Elasticsearch Reindex API 完整指南｜重新索引数据、优化性能与避免常见陷阱

如果你已经使用 Elasticsearch 一段时间了，你可能会遇到需要重新索引数据的情况。无论是更改映射、升级版本，还是重组文档，这些场景都需要用到 Elasticsearch 的 Reindex API。本指南将全面介绍 Reindex API 的功能、使用方法、常见用例、性能优化技巧以及可能遇到的陷阱。

什么是 Elasticsearch Reindex API？

API 支持在迁移过程中对文档进行转换、过滤或修改。

其工作原理是从源索引读取文档并将其写入目标索引。由于重新索引是一个资源密集型操作，Elasticsearch 默认会在后台异步执行，以减少对集群性能的影响。

需要注意的是，重新索引不会修改源索引，而是创建一个新的数据副本，便于在迁移或转换完成之前进行调整。

需要重新索引的常见场景

以下是一些需要重新索引的典型场景：

• 修改索引映射：当需要更新字段类型或分析器时，通常需要创建一个新的索引并将数据迁移过去。
• Elasticsearch 版本升级：主要版本升级可能引入破坏性更改，要求重新索引以适配新版本。
• 转换现有数据：在存储到新索引之前，可能需要对文档进行修改，例如重命名字段或调整数据格式。
• 拆分或合并索引：当需要重组数据时，重新索引可以帮助将文档正确分配到新索引中。

如何执行简单的重新索引操作

以下是使用 Reindex API 的基本方法：

POST _reindex
{
  "source": {
    "index": "old_index"
  },
  "dest": {
    "index": "new_index"
  }
}

此命令会将所有文档从 old_index 复制到 new_index，不进行任何修改。

使用查询过滤数据

如果需要在重新索引时过滤文档，可以在 source 块中添加查询。例如，仅复制状态为“活动”的文档：

POST _reindex
{
  "source": {
    "index": "old_index",
    "query": {
      "term": {
        "status": "active"
      }
    }
  },
  "dest": {
    "index": "new_index"
  }
}

使用脚本修改文档

在重新索引过程中，可以通过脚本对文档进行修改。例如，为每个文档添加一个时间戳字段：

POST _reindex
{
  "source": {
    "index": "old_index"
  },
  "dest": {
    "index": "new_index"
  },
  "script": {
    "source": "ctx._source['timestamp'] = params.timestamp",
    "params": {
      "timestamp": "2023-10-01T00:00:00"
    }
  }
}

通过脚本，还可以重命名字段、修改值或删除字段。

优化大型数据集的重新索引性能

对大型数据集进行重新索引可能会对集群性能造成压力。以下是一些优化建议：

• 使用切片并行执行：通过切片功能同时运行多个重新索引操作，加快进程。例如：

  POST _reindex
  {
  "source": {
    "index": "old_index",
    "slice": {
      "id": 0,
      "max": 5
    }
  },
  "dest": {
    "index": "new_index"
  }
  }

  重复此操作，将 id 从 0 到 4 依次设置。

• 限制批处理大小：避免单次请求处理过多文档导致集群过载：

  POST _reindex
  {
  "source": {
    "index": "old_index",
    "size": 1000
  },
  "dest": {
    "index": "new_index"
  }
  }

• 限制请求速率：通过限制每秒请求数来防止集群过载：

  POST _reindex?requests_per_second=500

监控重新索引进度

重新索引是一项耗时操作，监控其进度非常重要。可以使用以下命令查看活动任务的状态：

GET _tasks?actions=*reindex

准备重新索引的步骤

在执行重新索引之前，确保索引设置正确，以避免数据不一致或写入冲突。

1. 启用写块

为了防止源索引在重新索引过程中被修改，可以启用写块：

PUT old_index/_settings
{
  "index.blocks.write": true
}

2. 创建目标索引

在重新索引之前，确保目标索引已存在，并且具有正确的映射和设置：

PUT new_index
{
  "mappings": {
    "properties": {
      "field_name": {
        "type": "keyword"
      }
    }
  }
}

3. 验证资源可用性

检查集群运行状况和磁盘空间，确保重新索引不会导致系统过载：

GET _cluster/health
GET _cat/allocation?v

4. 执行重新索引

完成准备工作后，可以安全地执行重新索引操作。完成后，记得移除写块：

PUT old_index/_settings
{
  "index.blocks.write": false
}

处理映射冲突

如果源索引和目标索引的字段类型不兼容，可能会导致重新索引失败。以下是解决方法：

1. 识别映射差异

比较源索引和目标索引的映射，找出字段类型的差异。

2. 创建正确的目标索引

根据需要调整目标索引的映射，确保字段类型兼容。

3. 使用脚本转换字段

在重新索引过程中，通过脚本动态转换字段类型。例如，将 text 类型转换为 keyword：

POST _reindex
{
  "source": {
    "index": "old_index"
  },
  "dest": {
    "index": "new_index"
  },
  "script": {
    "source": "ctx._source['field_name'] = ctx._source['field_name'].toLowerCase()"
  }
}

4. 删除冲突字段

如果某些字段无法转换，可以在重新索引时将其排除：

POST _reindex
{
  "source": {
    "index": "old_index"
  },
  "dest": {
    "index": "new_index"
  },
  "script": {
    "source": "ctx._source.remove('conflicting_field')"
  }
}

常见问题及解决方法

1. 操作超时

• 增加超时时间：POST _reindex?timeout=10m
• 使用切片并行执行：参考上文切片示例。
• 减小批处理大小："size": 500

2. 映射冲突

确保目标索引映射兼容，必要时使用脚本转换字段。

3. 文档缺失

检查查询过滤器和批量请求的失败情况，确保所有文档都被正确迁移。

4. 磁盘空间不足

在重新索引前清理旧索引，并启用索引压缩：

PUT new_index/_settings
{
  "index.codec": "best_compression"
}

5. 集群性能问题

限制请求速率，并在非高峰时段执行重新索引。

总结

在生产环境中使用 Elasticsearch 时，重新索引是不可避免的操作。通过遵循上述最佳实践，可以有效避免常见问题，并确保重新索引过程高效且安全。在将更改应用到实时数据之前，建议在测试环境中验证操作。

索引愉快！

原文链接: https://last9.io/blog/elasticsearch-reindex-api/