云搜索服务迁移指南

在云搜索迁移场景中，您可以通过 Logstash、reindex 和 TOS 快照等多种方式完成数据迁移，本文介绍各迁移场景对应的迁移方案，使用限制和使用场景。

Logstash

适用场景

• 对实时性要求不高。
• 对指定查询结果集进行迁移。
• 迁移时需对数据进行处理。
• 支持不兼容的 ES 集群版本迁移，例如 2.x 迁移到 6.x/7.x，5.x 到 7.x。

使用限制

• 源 Elasticsearch、Logstash 和 目标 云搜索实例需要保证网络连通性。
• 源 Elasticsearch、Logstash 和目标实例版本需满足兼容性要求。
• 如果需要同步增量数据，需确保源端数据的 ID 和目标端 ID一致，并且需配置 schedule 定时任务。
• 如索引 settings 或 mappings 有不兼容配置，需手动处理。

reindex

适用场景

• 源端数据量较小，且对迁移速度要求不高的场景。
• 仅对查询结果进行迁移的场景。
• 不想使用、依赖外部工具可以考虑 reindex API。

使用限制

• 需要全量重启目标集群修改配置：reindex.remote.whitelist。
• 源集群、目标集群网络互通。
• 云搜索 V2 版本无法使用 reindex API。

TOS 快照

适用场景

• 源端数据量较大，如 TB，PB 级别，速度最快。
• 适用于同账号或跨账号云搜索服务间迁移数据。

使用限制

• 源集群，目标集群需要与 TOS 网络联通，保证使用的 IAM 账号具有访问，写入 TOS 存储桶的权限。
• 无法迁移增量数据。

elasticsearch-dump

适用场景

• 数据量较小，索引数量不多的迁移场景
• 源集群，目标集群与安装 elasticsearch-dump 工具的云服务器网络需要互通。

• https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-reindex.html
• https://www.volcengine.com/docs/6465/71247
• https://github.com/elasticsearch-dump/elasticsearch-dump

如果您有其他问题，欢迎您联系火山引擎技术支持服务