实时将 MongoDB 6.0.17+ 或 7.0.13+ 集群迁移(拉取)到 Atlas 中
如果源集群和目标集群都运行 MongoDB MongoDB 6.0.17+ 或 7.0.13+,则 Atlas 可使用本节所述的过程,将源集群拉取到 Atlas 集群。
此进程使用 mongosync作为底层数据迁移工具,从而实现更快的实时迁移并减少停机时间:
Atlas 将数据从源集群同步到目标集群,直到您将应用程序切换到目标 Atlas 集群。
一旦到达以下过程中的切换步骤:
停止写入源集群。
停止应用程序实例,将其指向 Atlas 集群, 然后重新启动。
限制
Cluster-to-Cluster Sync 限制适用于此次实时迁移。
实时迁移(拉取)不支持:
MongoDB 8.0 或快速发布版本作为源集群或目标集群版本。
实时迁移不支持将Atlas Search索引从源集群迁移到目标集群。
支持的迁移路径
本节介绍的 Atlas 实时迁移支持以下 迁移路径:
Source Cluster MongoDB Version | Destination Atlas Cluster MongoDB Version |
---|---|
6.0.17 | 6.0.17 |
7.0.13 | 7.0.13 |
必需的访问权限
要实时迁移数据,您必须拥有对 Atlas 的 Project Owner
访问权限。
拥有 Organization Owner
访问权限的用户必须将自己作为 Project Owner
添加到项目中。
支持的源和目标集群配置对
对于此类实时迁移,Atlas 支持以下源和目标集群配置对:
源集群配置 | 目标集群配置 | 实时迁移支持 | 注意 |
---|---|---|---|
独立运行的实例 | 任何类型的集群 | 在使用此迁移进程迁移独立的源集群之前,请从独立运行模式切换到副本集模式。 | |
副本集(Replica Set) | 副本集(Replica Set) | ||
副本集(Replica Set) | 分片集群 | 运行此类迁移时,您可以指定分片参数。要了解更多信息,请参阅本节中的实时迁移过程和此分片示例。 | |
分片集群 | 分片集群 | 源集群和目标集群之间的分片数量可能不同。源分片集群必须使用 CSRS(配置服务器副本集)。如要了解详细信息,请参阅副本集配置服务器。 | |
分片集群 | 副本集(Replica Set) |
先决条件
如果集群在启用身份验证的情况下运行,请满足以下先决条件:
对于副本集,将管理员数据库的
backup
和readAnyDatabase
角色授予将运行迁移进程的用户。对于分片集群,将管理员数据库上的
backup
、readAnyDatabase
和clusterMonitor
角色授予要运行迁移进程的用户。确保指定的用户存在于每个分片和配置服务器副本集中。用户必须具有允许执行以下操作的权限:停止或启动分片集群负载均衡器。
读取主机上的所有数据库和集合。
读取主机上的 oplog。
确保此用户已使用 SCRAM-SHA-1 和 SCRAM-SHA-256 进行身份验证。如要了解更多信息,请参阅源集群安全。
网络访问
为以下组件配置网络权限:
源集群防火墙允许来自实时迁移服务器的流量
源集群的防火墙都必须授予 MongoDB 实时迁移服务器对源集群的访问权限。
Atlas 实时迁移过程 通过 MongoDB 控制的实时迁移服务器传输数据流。Atlas 会在实时迁移过程中 提供 MongoDB 实时迁移服务器的 IP 范围。 授予这些 IP 范围访问源集群的权限。这样, MongoDB 实时迁移服务器就可以连接到源集群。
注意
如果贵组织有严格的网络要求,且您无法启用 MongoDB 实时迁移服务器所需的网络访问权限,请参阅将社区部署实时迁移到 Atlas。
Atlas 集群允许来自应用程序服务器的流量
Atlas 允许从添加到项目 IP 访问列表的主机连接到集群。将应用程序主机的 IP 地址或 CIDR 区块添加到项目 IP 访问列表中。在开始迁移过程之前执行此操作。
Atlas 会将 MongoDB 迁移服务器的 IP 地址 临时添加到项目 IP 访问列表中。迁移过程中, 无法编辑或删除此条目。过程完成后, Atlas 会删除此条目。
要了解如何向 Atlas IP 访问列表添加条目,请参阅配置 IP 访问列表条目。
迁移前验证
在启动以下实时迁移过程之前, Atlas 会对源群集和目标群集进行验证检查,并验证:
源集群和目标集群的 MongoDB 版本至少为FCV 6.0.17 + 且匹配,或者至少为FCV 7.0.13 + 且匹配。
源群集的数据库用户拥有源群集安全性中所述的正确权限。
目标Atlas 集群不得有数据。如果在开始之前集群有任何数据,您可以选择在实时迁移进程中清除目标集群上的数据。或者,您可以在开始迁移过程之前手动删除目标集群上的数据。
源集群安全性
各种内置角色提供了足够的权限。例如:
对于源副本集集群,MongoDB 用户必须具有 readAnyDatabase
和 backup
角色。
对于源分片集群,MongoDB 用户必须具有 readAnyDatabase
、backup
和 clusterMonitor
角色。
如要验证将运行实时迁移进程的数据库用户是否具有这些角色,请在 admin
数据库上运行 db.getUser() 命令。例如,对于副本集,运行:
use admin db.getUser("admin") { "_id" : "admin.admin", "user" : "admin", "db" : "admin", "roles" : [ { "role" : "backup", "db" : "admin" }, { "role" : "readAnyDatabase", "db" : "admin" } ] } ...
在实时迁移过程的演示屏幕提示时,指定 Atlas 的用户名和密码。
Atlas 仅支持使用 SCRAM 连接到强制执行身份验证的源集群。
MongoDB 如何保护实时迁移服务器
向 Atlas 进行任何提取式实时迁移时, Atlas 会管理运行实时迁移的服务器,并将数据从源集群发送到目标集群。
MongoDB 采取以下措施来保护您的数据在传输到 Atlas 过程中的 完整性和保密性:
MongoDB 会对 Atlas 托管的实时迁移服务器和目标集群之间的传输数据进行加密。如果需要对源集群和 Atlas 托管的迁移服务器之间传输的数据进行加密,请在源集群上配置 TLS。
MongoDB 保护对 Atlas 托管的迁移服务器实例的访问, 就像保护对 Atlas 其他部分的访问一样。
在需要干预以调查和恢复关键服务的极少数情况下,MongoDB 遵循最低权限原则,仅授权一小部分有权限的用户在修复关键问题所需的最短时间内访问 Atlas 集群。MongoDB 要求这些用户使用 MFA 登录 Atlas 集群,并通过堡垒主机建立 SSH 连接。授予此类特权用户访问权限需要获得 MongoDB 高级管理层的批准。MongoDB 不允许任何其他 MongoDB 人员访问您的 MongoDB Atlas 集群。
MongoDB 仅允许将特权用户帐户用于特权活动。要执行非特权活动,特权用户必须使用单独的帐户。特权用户帐户不能使用共享凭据。特权用户帐户必须遵守 Atlas 安全白皮书第 4.3.3 节所述的密码要求。
您可以在 Atlas 中限制包括特权用户在内的所有 MongoDB 人员访问集群。如果您选择限制此类访问,而 MongoDB 认为该访问对于解决支持问题是必要的,则 MongoDB 必须首先请求您的许可,然后您可以决定是否临时恢复特权用户的访问权限,恢复时间最长不超过 24 小时。您可以随时撤销授予 24 小时临时访问权限。启用此限制可能会导致响应和解决支持问题的时间增加,从而对 Atlas 集群的可用性产生负面影响。
MongoDB 每季度审查一次特权用户访问授权。 此外,MongoDB 还会在不再需要特权用户访问权限时取消其访问权限, 包括在该特权用户更换角色或离开公司后 24 小时内 取消其访问权限。我们还会记录 MongoDB 人员对 Atlas 集群的 任何访问权限,并将审核日志保留至少六年, 其中包括时间戳、行为者、操作和输出。MongoDB采用 自动和手动审查相结合的方式来扫描这些审核日志。
如需了解有关 Atlas 安全的更多信息,请参阅“Atlas 安全”白皮书。请特别查看“MongoDB 人员访问 MongoDB Atlas 集群”部分。
Considerations
### 网络加密
提取实时迁移期间,如果源集群不对数据使用 TLS 加密, 则从源集群到 Atlas 的流量不会加密。 开始提取实时迁移过程之前, 确定是否可以接受这种情况。
数据库用户和角色
Atlas 不会将任何用户或角色数据迁移到目标集群。
如果源集群不使用身份验证,则必须在 Atlas 中创建用户, 因为 Atlas 不支持在没有身份验证的情况下运行。
如果源集群强制执行身份验证,则必须重新创建应用程序在目标 Atlas 集群上使用的凭证。Atlas 使用 SCRAM 进行用户身份验证。如需了解更多信息,请参阅“配置数据库用户”。
源集群负载均衡器和目标集群负载均衡器
为了避免在迁移过程中对写入性能产生任何影响, Atlas会在过程开始时停止源集群和目标集群上的分分片集群均衡器,并在过程结束时启动负载均衡器。
如果您取消实时迁移, Atlas会重新启动源集群和目标集群上的负载均衡器。
如果在成功实时迁移结束后, Atlas无法重新启动源集群或目标集群上的负载负载均衡器,则会出现警告横幅,指示您必须手动重新启动源集群或目标集群负载负载均衡器。
目标集群配置
配置目标集群时,请考虑以下几点:
目标Atlas 集群不得有数据。如果在开始之前集群有任何数据,您可以选择在实时迁移进程中清除目标集群上的数据。或者,您可以在开始迁移过程之前手动删除目标集群上的数据。
实时迁移进程通过 MongoDB 托管的实时迁移服务器流式传输数据。 每台服务器都运行在距离源集群最近的地区 所托管的基础架构上。以下地区可用:
- 欧洲
法兰克福
爱尔兰
London
- Americas
美国东部
美国西部
- 亚太地区
孟买
新加坡
悉尼
Tokyo
使用 Atlas 中与源集群上托管的应用程序服务器或部署相比,网络延迟最小的目标集群云区域。理想情况下,您的应用程序服务器应在云中运行,与目标 Atlas 集群的主区域位于同一区域。要了解更多信息,请参阅云提供商。
Atlas 中的目标集群必须在 RAM、CPU 和存储方面与源部署相匹配或超过源部署。配置足够大的目标集群,使其能够同时容纳迁移过程和预期工作负载,或将目标集群扩展到具有更强处理能力、更高带宽或更高磁盘 IO 的层级。
要最大限度地提高迁移性能,目标集群至少要使用 M40 集群。 迁移大型数据集时,请使用配置 6000 IOPS 或更高的磁盘的 M80 集群。
您还可以选择在迁移过程中临时增加目标 Atlas 集群的大小。
将应用程序的工作负载迁移到Atlas中的集群后,请联系支持以获取进一步性能调优和目标集群大小调整方面的帮助,从而最大限度地降低成本。
为避免意外的大小更改,请禁用目标集群上的自动扩展功能。要了解更多信息,请参阅管理集群。
为了防止oplog集合无限制增长,并确保实时迁移的延迟窗口保持在oplog复制延迟窗口的范围内,请在实时迁移进程中将oplog大小设立为足够大的固定值。
要了解详情,请参阅:
如果您在遵循这些建议后仍发现性能问题,请联系支持人员。
您无法选择
M0
(免费套餐)或M2/M5
共享层集群作为实时迁移的目标集群。当 Atlas 实时迁移正在运行时,请勿更改
featureCompatibilityVersion
标志。
避免目标集群上的工作负载
避免在目标集群上运行任何工作负载, 包括可能在与实时迁移进程不重叠的命名空间上运行的工作负载。 此操作可避免 实时迁移进程中潜在的锁定冲突和性能下降。
请勿对同一目标集群同时执行多个迁移。
在实时迁移进程同步时,请勿启动应用程序到目标集群的切换进程。
避免云备份
在实时迁移期间,Atlas 停止拍摄目标集群的按需云备份快照。一旦您完成本页面实时迁移过程中的切换步骤,Atlas 将根据备份策略,恢复拍摄云备份快照。
避免选举
在源群集或目标群集出现临时网络中断和选举时, 实时迁移进程会尽最大努力继续迁移。 但是,这些事件可能会导致实时迁移进程失败。 如果实时迁移进程无法自动恢复,请重新启动。
迁移您的集群
注意
暂存和生产迁移
考虑运行此过程两次。首先运行部分迁移,此操作在 Perform the Cutover 步骤停止。这将创建一个最新的 Atlas 支持的临时集群,通过支持 Atlas 集群 MongoDB 版本的最新驱动程序版本测试应用程序的行为和性能。
在测试应用程序后, 您可以使用单独的 Atlas 集群运行完整的迁移过程, 创建 Atlas 支持的生产环境。
迁移前检查清单
在开始实时迁移过程之前:
如果您还没有目标集群,请创建新的 Atlas 部署并根据需要进行配置。有关创建 Atlas 集群的完整文档,请参阅创建集群。
部署 Atlas 集群后, 请确保您可以从运行应用程序的所有客户端硬件将连接到该集群。测试 您的连接字符串有助于确保您的数据迁移过程 可以在最短的停机时间内完成。
如果您尚未安装
mongosh
,请下载并安装到代表性的客户端机器。使用 Atlas UI 中的连接字符串连接到目标集群。更多信息,请参阅通过
mongosh
连接。
一旦您验证与目标集群的连接,请启动实时迁移过程。
步骤
启动迁移过程。
选择目标 Atlas 集群。
导航到目标 Atlas 集群,然后单击省略号 ... 按钮。在集群列表中,省略号 ... 按钮出现在集群名称下方。当您查看集群详细信息时,省略号 ... 显示在屏幕右侧的 Connect(连接)和 Configuration(配置)按钮旁边。
单击 Migrate Data to this Cluster(连接)。
Atlas 会显示演示屏幕, 说明如何进行实时迁移。此进程将数据 从源集群同步到新的目标集群。完成 演示后,您可以将应用程序指向新集群。
收集源集群的以下详细信息,以便于迁移:
对于副本集,源集群主节点 (primary node in the replica set)节点的主机名和端口。 示例,
mongoPrimary.example.net:27017
。 默认, Atlas仅连接到源集群的主节点 (primary node in the replica set)节点。 为了提高弹性并便于在需要时进行故障转移, Atlas会获取其他源集群节点的IP地址(前提是这些节点具有公开可用的 DNS 记录)。对于分片集群,每个分片的每个
mongos
的主机名和端口。例如,mongos.example.net:27017
.用于连接源集群的数据库身份验证用户名和密码。对于副本集,数据库用户必须拥有
readAnyDatabase
和backup
角色。对于分片集群,数据库用户必须拥有readAnyDatabase
、backup
和clusterMonitor
角色。如果源集群使用
TLS/SSL
且未使用公共证书颁发机构 (CA),则您将需要源集群CA文件。
按照演示屏幕的说明准备信息,然后单击“I'm Ready To Migrate”。
Atlas 显示一个演练屏幕,收集连接到源集群所需的信息。
Atlas 会在演示屏幕顶部 显示负责实时迁移的 MongoDB 实时迁移服务器的 IP 地址。 配置源集群防火墙, 允许访问显示的 IP 地址。
对于副本集,请在提供的文本框中输入 源集群主成员的主机名和端口。 对于分片集群,请输入以下各个
mongos
的主机名和端口。如果要将副本集迁移至分片集群:
如果您想对分片进行分片,请单击Include sharding parameters中的复选标记,然后将分片配置JSON粘贴到使用分片示例的文本框中。 将此配置保存在外部文件中,以备日后参考。
分片配置 JSON 定义了
shardingEntries
数组,该数组指定了要进行分片的集合和用于分片的键。MongoDB 仅对包含在此数组中的集合进行分片。要了解更多信息,请参阅分片。如果省略了指定分片配置,则可以在将集群迁移到 Atlas 后对目标集群上的集合分片。
除分片配置外,服务中的目标集群上还必须存在指定分片键的兼容索引。
单击 Create supporting indexes 中的复选标记,以便 MongoDB 在 Atlas 中的目标集群上自动创建支持分片键索引。
如果源集群强制执行身份验证,请在提供的文本框中输入用户名和密码。
有关 Atlas 实时迁移所需的用户权限的指导,请参阅源集群安全性。
对于副本集, Atlas显示开关Verify data post-migration (recommended) 。如果启用此设置, Atlas会在迁移后自动验证支持的数据。如果禁用此设置,则必须手动运行完整数据验证。要学习;了解更多信息,请参阅验证迁移。
如果源集群使用
TLS/SSL
,且未使用公共证书颁发机构 (CA),请切换 Is encryption in transit enabled?(是否启用传输加密?)开关,然后将源集群 CA 文件的内容复制到规定的文本框中。如果目标集群有任何现有数据,请选中用于删除此数据的选项:Clear any existing data on your destination cluster,然后输入目标集群的名称。 Atlas删除现有数据。如果您未选中此选项,并且目标集群在迁移进程有任何数据,则迁移将失败并出现验证错误。
单击 Validate 以确认 Atlas 可以连接到源集群。
如果验证失败,请检查:
您已将 Atlas 添加到源集群的 IP 访问列表。
所提供的用户凭证,已经存放在源集群上,并且拥具所需的权限。
只有当源集群需要此功能时,才会启用 Is encryption in transit enabled?(是否启用了传输加密?)开关。
提供的 CA 文件,若有的话,有效且正确。
单击 Start Migration(开始迁移),以开始迁移过程。
迁移进程开始后,Atlas 用户界面将显示目标 Atlas 集群的 Migrating Data 演示屏幕。 随着目标集群继续执行迁移进程,演练屏幕会更新。迁移进程包括:
对源集群数据的新写入应用于目标集群数据。
将数据从源集群复制到目标集群。
完成目标集群上的迁移。
正在运行验证进程(如果已启用)。如果您在启用Verify data post-migration (recommended) 设置的情况下开始迁移, Atlas会通知您它已对支持的类型执行数据验证。如果您在禁用验证的情况下开始迁移, Atlas会要求您手动验证数据。要学习;了解更多信息,请参阅验证迁移。
迁移进程的最后阶段会显示一个延迟时间值, 表示源集群和目标集群之间的当前延迟。
到期窗口即将到期时,您会收到一封电子邮件通知。
当源集群的滞后接近于零并且迁移进程已赶上时, Atlas会激活Cutover to your destination cluster按钮,并指示源集群和目标集群处于同步状态。 继续执行下一步。
执行切换。
切换是一个将应用程序的读取和写入从源集群定向到目标集群的三步进程。
当Atlas检测到源集群和目标集群几乎同步时,它会启动一个可延长的120小时( 5天)计时器,以开始实时迁移过程的切换阶段。 120小时后, Atlas将停止与源集群同步。
在迁移进程的此阶段,您可以继续切换或延长同步期,然后继续切换。
如果单击I'm ready to cutover , Atlas将启动切换进程。
如果单击Extend Sync ,并且扩展同步成功完成, Atlas将确认源集群和目标集群处于同步状态。 继续执行切换进程。 如果同步时间已过期,您可以重试迁移。
如果迁移即将过期,Atlas 会向您发送一封类似于以下示例的电子邮件:
A migration to your Atlas cluster will expire in <number> hours! Navigate to your destination cluster to start the cutover process. If you don't take any action within <number> hours, the migration will be cancelled and you will need to start again. You can also extend the migration process if you need more time.
单击I'm ready to cutover 。 快速执行三步切换进程,确保最大限度地减少应用程序的最短停机时间。
单击Proceed to cutover 。 切换进程分为三步:
停止写入源集群。 单击I confirm that I've stopped writes to my source cluster 。 单击Finalize migration继续。
等待几分钟, Atlas将完成迁移。 Atlas执行以下动作来完成进程:
从目标群集的 IP 访问列表中 删除MongoDB 实时迁移服务器子网。
删除实时迁移用于将数据导入到目标集群的数据库用户。
如果转换进程已进行至少 12 小时,Atlas 会向您发送一封电子邮件,建议您检查迁移进程或联系支持人员。
如果迁移成功,则会显示You have successfully migrated to Atlas页面。 Atlas显示同步更改的状态、应用程序停机时间、迁移进程的持续时间、复制的初始数据量以及复制的集合数量。
通过比较文档计数和运行哈希比较,验证数据是否已传输到目标集群。要学习;了解更多信息,请参阅Cluster-to-Cluster Sync:验证数据传输。
单击Connect to your new cluster 。 Atlas会将您重定向到Connect to Atlas页面,您可以在其中选择连接方法。
连接到集群后,恢复写入目标集群。
迁移支持
如果迁移在实时迁移过程的任何阶段失败,Atlas 将通过电子邮件通知您,并提供链接来浏览迁移结果。
如果您对本文档未涵盖的迁移支持有任何疑问,或者在迁移进程中遇到错误,请通过 Atlas UI 寻求支持。
要提交支持票证:
在 Atlas 中,转到 Project Support(项目设置)页面。
如果尚未显示,请从导航栏上的 Organizations 菜单中选择包含所需项目的组织。
如果尚未显示,请从导航栏的Projects菜单中选择所需的项目。
在 Projects(项目)菜单旁边,展开 Options(选项)菜单,然后单击 Project Support(项目设置)。
显示项目支持页面。