数据管理

edit

您存储在 Elasticsearch 中的数据通常分为以下两类:

  • 内容:您想要搜索的项目集合,例如产品目录
  • 时间序列数据:持续生成的带时间戳的数据流,例如日志条目

内容可能会频繁更新, 但内容的价值在一段时间内保持相对稳定。 您希望能够快速检索项目,无论它们有多旧。

时间序列数据随着时间的推移不断积累,因此您需要策略来平衡数据的价值与存储成本。随着数据的老化,它往往变得不那么重要且不常被访问,因此您可以将其移动到性能较低、成本较低的硬件上。对于最旧的数据,重要的是您能够访问这些数据。查询时间较长是可以接受的。

为了帮助您管理数据,Elasticsearch 提供了以下功能:

内置数据流生命周期处于技术预览阶段,可能会在未来的版本中进行更改或移除。Elastic 将努力修复任何问题,但此功能不受官方 GA 功能支持 SLA 的约束。

ILM 可以用于管理索引和数据流,并允许您:

  • 定义数据的保留期限。保留期限是您的数据将在Elasticsearch中存储的最短时间。 超过此期限的数据可以被Elasticsearch删除。
  • 定义具有不同性能特征的多层数据节点
  • 根据您的性能需求和保留策略,自动将索引过渡到数据层。
  • 利用存储在远程仓库中的可搜索快照,为您的旧索引提供弹性,同时降低运营成本并保持搜索性能。
  • 对存储在性能较低硬件上的数据执行异步搜索

数据流生命周期功能较少,但注重简洁性,因此可以轻松实现以下操作:

  • 定义数据的保留期限。保留期限是数据在Elasticsearch中存储的最短时间。 超过此期限的数据可以在以后由Elasticsearch删除。
  • 通过执行后台操作来提高数据流的性能,这些操作将优化数据流的存储方式。