Elasticsearch 基础

Elasticsearch 是一个分布式搜索和分析引擎、可扩展的数据存储和向量数据库，基于Apache Lucene构建。 它针对生产规模工作负载的速度和相关性进行了优化。 使用Elasticsearch来搜索、索引、存储和分析各种形状和大小的数据，几乎实时进行。

Elasticsearch 是 Elastic Stack 的核心。 与 Kibana 结合使用，它驱动以下 Elastic 解决方案：

Elasticsearch 被用于广泛且不断增长的用例范围。以下是一些例子：

可观测性

搜索

安全

这只是Elasticsearch支持的搜索、可观测性和安全性用例的一个示例。 请参阅Elastic的客户成功案例，了解跨多个行业的具体示例。

要使用 Elasticsearch，您需要一个正在运行的 Elasticsearch 服务实例。 您可以通过多种方式部署 Elasticsearch。

快速开始选项

托管选项

高级选项

索引是 Elasticsearch 中存储的基本单位，是一个逻辑命名空间，用于存储具有相似特征的数据。 在您部署 Elasticsearch 后，您将通过创建一个索引来开始存储您的数据。

索引是由名称或别名唯一标识的文档集合。 这个唯一的名称很重要，因为它用于在搜索查询和其他操作中定位索引。

Elasticsearch 以 JSON 文档的形式序列化和存储数据。 文档是一组字段，这些字段是包含您数据的键值对。 每个文档都有一个唯一的 ID，您可以创建它或让 Elasticsearch 自动生成。

一个简单的 Elasticsearch 文档可能看起来像这样：

{
  "_index": "my-first-elasticsearch-index",
  "_id": "DyFpo5EBxE8fzbb95DOa",
  "_version": 1,
  "_seq_no": 0,
  "_primary_term": 1,
  "found": true,
  "_source": {
    "email": "john@smith.com",
    "first_name": "John",
    "last_name": "Smith",
    "info": {
      "bio": "Eco-warrior and defender of the weak",
      "age": 25,
      "interests": [
        "dolphins",
        "whales"
      ]
    },
    "join_date": "2024/05/01"
  }
}

索引文档包含数据和元数据。元数据字段是存储有关文档信息的系统字段。 在Elasticsearch中，元数据字段以一个下划线为前缀。 例如，以下字段是元数据字段：

每个索引都有一个映射或模式，用于定义文档中的字段如何被索引。 映射定义了每个字段的数据类型，字段应如何被索引， 以及它应如何存储。 当向Elasticsearch添加文档时，您有两种映射选项：

有多种方法可以将数据导入Elasticsearch。 您选择的选项取决于您处理的是带时间戳的数据还是不带时间戳的数据，数据来源，数据的复杂性等等。

通用内容是指不包含时间戳的数据。 这可以是诸如向量嵌入、网站内容、产品目录等数据。 对于通用内容，您有以下选项可以将数据添加到Elasticsearch索引中：

Elasticsearch 中的时间戳数据指的是包含时间戳字段的数据集。如果你使用 Elastic Common Schema (ECS)，这个字段名为 @timestamp。 这可以是日志、指标和跟踪等数据。

对于带有时间戳的数据，您有以下选项可以将数据添加到 Elasticsearch 数据流中：

您可以将 Elasticsearch 用作基本文档存储来检索文档及其元数据。 然而，Elasticsearch 的真正强大之处在于其高级搜索和分析功能。

您将结合使用API端点和查询语言来与您的数据进行交互。

使用REST API来管理您的Elasticsearch集群，并对您的数据进行索引和搜索。 为了测试目的，您可以直接从命令行或通过Kibana中的Dev Tools Console提交请求。 从您的应用程序中，您可以使用您选择的编程语言中的客户端。

请参考Elasticsearch入门，了解如何使用_search端点、向Elasticsearch添加数据以及在查询DSL语法中运行基本搜索的实践示例。

Elasticsearch 提供了多种查询语言来与您的数据进行交互。

查询DSL 是Elasticsearch目前的主要查询语言。

ES|QL 是一种新的管道查询语言和计算引擎，首次添加于版本 8.11。

ES|QL 尚未支持 Query DSL 的所有功能，如全文搜索和语义搜索。 期待在每次发布中看到新的 ES|QL 功能和功能。

请参阅查询语言以获取Elasticsearch中可用的查询语言的完整概述。

查询DSL是一种功能齐全的JSON风格查询语言，能够实现复杂的搜索、过滤和聚合。 它是Elasticsearch目前最原始且最强大的查询语言。

The _search endpoint 接受使用查询DSL语法编写的查询。

查询DSL支持多种搜索技术，包括以下内容：

了解Query DSL支持的完整查询范围。

您还可以使用查询DSL过滤数据。 过滤器使您能够通过检索符合特定字段级别条件的文档来包含或排除文档。 使用filter参数的查询表示过滤上下文。

聚合是使用查询DSL分析Elasticsearch数据的主要工具。 聚合使您能够构建数据的复杂摘要，并深入了解关键指标、模式和趋势。

因为聚合利用了用于搜索的相同数据结构，所以它们也非常快。这使得您能够实时分析和可视化您的数据。您可以在同一数据上同时搜索文档、过滤结果并执行分析，所有这些操作都在一个请求中完成。这意味着聚合是在搜索查询的上下文中计算的。

以下聚合类型可用：

通过指定搜索API的aggs参数来运行聚合。 了解更多信息请参阅运行聚合。

Elasticsearch 查询语言 (ES|QL) 是一种用于过滤、转换和分析数据的管道查询语言。 ES|QL 构建在一个新的计算引擎之上，其中搜索、聚合和转换函数直接在 Elasticsearch 本身中执行。 ES|QL 语法也可以在各种 Kibana 工具中使用。

The _query endpoint 接受使用 ES|QL 语法编写的查询。

今天，它支持Query DSL中可用功能的一个子集，如聚合、过滤和转换。 它还不支持全文搜索或语义搜索。

它配备了一套全面的函数和操作符，用于处理数据，并与Kibana的Discover、仪表板和可视化功能进行了强大的集成。

了解更多信息请参阅ES|QL 入门，或尝试我们的培训课程。

下表总结了所有可用的Elasticsearch查询语言，以帮助您为您的用例选择合适的查询语言。

许多团队依赖Elasticsearch来运行他们的关键服务。为了保持这些服务的运行，您可以设计您的Elasticsearch部署，以保持Elasticsearch的可用性，即使在发生大规模中断的情况下。为了保持其快速运行，您还可以设计您的部署，以响应生产工作负载。

Elasticsearch 旨在始终保持可用状态，并根据您的需求进行扩展。它通过分布式架构实现这一点。通过分布集群，您可以保持 Elastic 在线并对请求做出响应。

在失败的情况下，Elasticsearch 提供了跨集群复制和集群快照工具，可以帮助您快速回退或恢复。您还可以使用跨集群复制来根据用户的地理位置和您的资源来提供请求。

Elasticsearch 还提供了安全性和监控工具，帮助您保持集群的高可用性。

您可以向集群中添加服务器（节点）以增加容量，并且 Elasticsearch 会自动在所有可用节点之间分发您的数据和查询负载。

Elastic 能够通过将索引细分为 分片 来在节点之间分布您的数据。Elasticsearch 中的每个索引都是一个或多个物理分片的分组，其中每个分片是一个自包含的 Lucene 索引，包含索引中的一部分文档。通过将索引中的文档分布到多个分片，并将这些分片分布到多个节点，Elasticsearch 提高了索引和查询的容量。

有两种类型的分片：主分片和副本分片。索引中的每个文档都属于一个主分片。副本分片是主分片的副本。副本在集群中的节点之间维护数据的冗余副本。这可以防止硬件故障并增加处理读取请求（如搜索或检索文档）的能力。

集群中的分片副本会自动在节点之间进行平衡，以提供扩展性和高可用性。所有节点都了解集群中的所有其他节点，并可以将客户端请求转发到适当的节点。这使得Elasticsearch能够在集群中分配索引和查询负载。

如果你是第一次探索 Elasticsearch 或在开发环境中工作，那么你可以使用一个单节点集群并创建只有一个分片的索引。然而，在生产环境中，你应该构建一个多节点集群和具有多个分片的索引，以提高性能和韧性。

要了解如何优化集群中的分片数量和大小，请参阅分片大小。 要了解读写操作如何在分片和分片副本之间复制，请参阅读写文档。 要调整分片在节点之间的分配和平衡方式，请参阅分片分配、迁移和恢复。

为了有效地在节点之间分配读写操作，集群中的节点需要良好的、可靠的连接。为了提供更好的连接，通常将节点放置在同一个数据中心或附近的数据中心。

将节点放置在单一位置会使您面临单点故障的风险，这可能导致整个集群离线。为了保持高可用性，您可以通过实施跨集群复制（CCR）来准备一个备用集群，以便在灾难发生时接管服务。

CCR 提供了一种自动将索引从主集群同步到可以作为热备份的辅助远程集群的方法。如果主集群发生故障，辅助集群可以接管。

您还可以使用CCR创建辅助集群，以便在地理位置上接近用户的地方处理读取请求。

了解更多关于跨集群复制以及关于设计弹性的内容。

与任何企业系统一样，您需要工具来保护、管理和监控您的 Elasticsearch 集群。集成到 Elasticsearch 中的安全、监控和管理功能使您能够使用 Kibana 作为管理集群的控制中心。

了解如何保护Elasticsearch集群。

了解如何监控您的集群。

Elasticsearch 提供了许多选项，使您能够配置集群以满足您组织的目标、要求和限制。您可以查看以下指南，了解如何调整集群以满足您的需求：

许多Elasticsearch选项都有不同的性能考虑和权衡。确定适合您使用场景的最佳配置的最佳方法是通过使用您自己的数据和查询进行测试。