Elasticsearch 版本 8.6.0

edit

Elasticsearch 版本 8.6.0

edit

另请参阅 8.6 中的重大变更

已知问题

edit
  • 使用 settings.json 文件配置 Elasticsearch 的编排器在主节点选举期间可能会遇到死锁(问题:#92812

    要解决死锁问题,请删除settings.json文件并重启受影响的节点。

  • 解析请求时,当数组中的最后一个元素被过滤掉(例如使用 _source_includes)时,解析会失败。这是由于 Jackson 解析器中的一个错误。已在 Elasticsearch 8.6.1 中修复(#91456
  • 当使用ingest attachment processor时,Tika与log4j 2.18.0及更高版本(在Elasticsearch 8.4.0中引入)的交互会导致过多的日志记录。这种日志记录非常过多,以至于可能导致集群不稳定,甚至使集群无法使用,节点必须重新启动。(问题:#91964)。此问题已在Elasticsearch 8.7.0中修复(#93878

    要解决此问题,请升级到 8.7.0 或更高版本。

  • 分片重新平衡可能会暂时导致集群不平衡

    从8.6.0开始,默认的分片再平衡算法将计算最终期望的平衡状态,然后进行分片移动以协调集群的当前状态与期望状态。然而,分片移动的顺序可能会偏向某些节点,导致集群在协调过程中暂时变得不平衡。一如既往,一旦节点达到磁盘水位线,它将不会接受任何额外的分片,但这种偏斜可能会导致节点比正常操作中更频繁地达到其磁盘水位线。一旦协调过程完成,集群将再次达到平衡。

    为避免此问题,请升级到8.8.0或更高版本。

Bug 修复

edit
Aggregations
  • GeoBoundsAggregations 拒绝子聚合 #91073 (问题: #91072)
Allocation
  • 在为存在于期望平衡中的节点执行disassociateDeadNodes时避免NPE #91659
  • 在假设重启之前检查NodesShutdownMetadata类型 #90807
Authentication
  • 修复JWKs重新加载的连接请求超时的时间单位 #92080
  • 提高使用DN的角色映射性能 #92074
  • 提高JwkSet重新加载的健壮性 #92081
  • 支持6.7版本之前的存储身份验证头 #92221
Authorization
  • 使向REST响应添加认证信息更加健壮 #92168
  • 安全移除datemath特殊处理 #91047
Cluster Coordination
  • 修复 TransportMasterNodeAction 不必要地持有CS引用 #90724 (问题: #89220)
  • 在发布中包含最后提交的数据 #92259 (问题: #90158)
  • 不安全的引导内存优化 #92493
EQL
  • EQL序列:支持多值连接 #89965
Graph
  • 修复了响应中图API的timed out字段的潜在问题 #91006
Health
  • 在诊断NO_VALID_SHARD_COPY时,不考虑未分配的原因 #92416
  • 修复在评估非数据节点的磁盘健康状况时出现的NPE #92643
  • shards_availability指标的短URL中使用https #92310
Indices APIs
  • 在更新组件模板时触发索引设置提供程序 #91615 (问题: #91592)
Infra/Core
  • 检查元数据中的保留状态 Metadata.isGlobalStateEquals #92124
  • 数据流不可用异常元数据 #91461
  • 修复在追加空 BytesRef 时的 BytesRefArray #91364
  • 修复带有单个名称或模式的请求的索引表达式选项 #91231
  • 强制初始化 log4j 中的 Unbox #92377 (问题: #91964)
  • 在基于文件的设置中,等待安全索引准备好进行角色映射 #92173 (问题: #91939)
  • 索引表达式排除永远不会触发“未找到” #90902
  • 从主状态执行器内部更新错误状态 #90346 (问题: #90337)
Infra/Scripting
  • 修复以d/f结尾的十六进制字面量的编译问题 #91501 (问题: #88614)
Ingest Node
  • 修复了EnrichCoordinatorProxyAction中的竞争条件,该条件可能导致队列中的项目卡住 #90688 (问题: #90598)
Machine Learning
  • 在创建DF分析目标索引时复制更多设置 #91546 (问题: #89795)
  • 修复无统计信息错误消息 #2410
  • 修复无可用计数错误消息 #2414
  • 防止输入序列过长,适用于问答模型 #91924
  • 在生成前提高关闭文件的性能 #2424
  • 在执行数据馈送的前置权限验证时跳过远程集群 #91895 (问题: #87832)
  • 支持数据框分析中包含逗号的字段 analyzed_fields #91710 (问题: #72541)
  • 验证规则过滤器在打开异常检测API时是否存在 #92207
Mapping
  • 在解析映射和文档时合并字段名称验证 #91328
  • 修复在术语聚合中处理空键的情况 #90822
Monitoring
  • 修复 logstash loadavg(xpack 案例)#90494
  • [堆栈监控] 更新 ES 模块映射 #90649
Network
  • 在分块XContent时处理异常清理 #92024
  • 修复分块API在HEAD请求中发送不正确的响应 #92042 (问题: #92032)
  • 在关闭时拒绝连接尝试 #92465
SQL
  • 修复在未跟踪总点击量时记录日志的NPE问题 #92425
Search
  • 允许根据评分函数使用不同的衰减值 #91195 (问题: #78887)
  • 修复DFS分析中的时间错误 #92421
Snapshot/Restore
  • 简化和优化非缓存存储库实例的RepositoryData去重 #91851 (问题: #89952)
Store
  • 修复了 ByteSizeCachingDirectory 中的 numOpenOutputs 和 modCount #92440 (问题: #92434)
Transform
  • 在执行前置权限验证时跳过远程集群 #91788
Vector Search
  • 使 knn 搜索请求完全可取消 #90612

弃用

edit
Allocation
  • 弃用 /_cluster/reroute 响应中的 state 字段 #90399
  • 确保平衡阈值至少为 1 #92100
Ingest Node
  • 弃用 remove_binary 默认值为 false 的 ingest attachment 处理器 #90460
Mapping
  • 静默弃用元数据字段定义中的类型、字段、copy_to和boost #90989 (问题: #35389)

增强功能

edit
Allocation
  • 在滚动期间清除前一个写索引的预测写入负载和分片大小 #91590
  • 在滚动期间预测平均分片大小 #91561
  • 在滚动期间预测写入负载 #91425
  • 改进分片平衡 #91603
  • 引入期望平衡分配器 #91343
  • 限制分片重新分配重试次数 #90296
  • 预验证节点移除API #88952
  • 设置默认的 cluster.routing.allocation.balance.disk_usage #91951
  • 在数据流滚动期间将写入负载存储在 IndexMetadata#91019
  • 更新默认的 cluster.routing.allocation.balance.disk_usage #92065
  • DesiredBalance: 通过 _internal/desired_balance 暴露它 #91038 (问题: #90583)
Authorization
  • [Fleet] 为 kibana_system 添加了 logs-elastic_agent* 读取权限 #91701
CRUD
Geo
  • 笛卡尔点和形状的质心聚合 #89216 (问题: #90156)
  • 改进 H3#hexRing 逻辑并添加 H3#areNeighborCells 方法 #91140
  • 将 SpatialUtils 移动到 geo 库 #88088 (问题: #86607)
  • 减少 H3#geoToH3 中的对象分配数量并加快计算速度 #91492
  • 支持点和对形状的 cartesian_bounds 聚合 #91298 (问题: #90157)
ILM+SLM
  • ILM: 获取支持通配符名称的策略 #89238
Infra/Core
  • 将APM全局标签作为前缀/后缀设置处理 #91438 (问题: #91278)
  • 改进表达式中的日期数学排除 #90298
  • 引入一个阶段,在常量字符串上使用String.equals,而不是默认相等性 #91362 (问题: #91235)
  • 为旧索引提供更具操作性的错误 #91243
  • 操作符/索引模板 #90143
  • 操作符/摄取 #89735
  • 传输线程和_hot_threads #90482 (问题: #90334)
  • 将XContent升级到Jackson 2.14.0并启用Fast Double Parser #90553
Infra/Plugins
  • 在加载稳定插件时创建占位符插件 #90870
  • 示例稳定插件 #90805
  • 使 extendedPlugins, HasNativeControllermoduleName 在插件描述符中可选 #90835
  • NamedComponent 名称参数重命名为值 #91306
Infra/Scripting
  • 在painless中对null接收者使用显式的null检查,而不是NPE #91347 (问题: #91236)
Machine Learning
  • 为频繁项添加过滤参数 #91137
  • categorize_text 聚合的输出添加正则表达式 #90723
  • 添加按 change_point 数值过滤和排序桶的功能 #91299
  • 添加更新训练模型部署 number_of_allocations 的API #90728
  • 在异常检测结果索引中将时间戳别名为@timestamp #90812
  • 允许 model_aliases 与Pytorch训练模型一起使用 #91296
  • 允许在文件结构查找器中将时间戳字段覆盖为空 #90764
  • 每天审核一次数据馈送未见数据的消息 #91774
  • 低优先级训练模型部署 #91234 (问题: #91024)
  • 提供有关异常评分因素的附加信息 #90675
Mapping
  • 在记录未映射字段时不要创建IndexCaps对象 #90806 (问题: #90796)
  • 聚合指标双精度添加最大最小值验证 #90381
Recovery
  • 一旦分片启动,移除调整索引设置 #90391 (问题: #90127)
Rollup
  • 测试降采样运行时字段和安全性 #90593
Search
  • 添加 LimitedOffsetsEnum 到 Limited 偏移标记 #86110 (问题: #86109)
  • 为 dfs 阶段添加分析和文档 #90536 (问题: #89713)
  • 使用映射哈希批量合并字段能力响应 #86323
  • 增强解析查询时的嵌套深度跟踪 #90425
  • 公开关于搜索使用的遥测数据 #91528
  • 在使用嵌套映射的存档索引中返回文档 #90585 (问题: #90523)
  • 对 IP 范围查询使用 IndexOrDocValues 查询 #90303 (问题: #83658)
Snapshot/Restore
  • 将快照池的最大大小增加到10 #90282 (问题: #89608)
  • 将快照速度与节点带宽设置绑定 #91021 (问题: #57023)
Store
  • 允许插件包装由IndexModule创建的Lucene目录 #91556
TLS
  • 在SSL诊断消息中添加证书的开始/到期日期 #89461
TSDB
  • 从动态映射模板生成index.routing_path #90552 (问题: #90528)
  • 支持合成_source中的格式错误数字 #90428
  • 支持_doc_count字段的合成_source #91465
  • 合成_source: 在许多情况下支持field #89950
  • 合成_source: 对ipignore_malformed #90038
  • 合成_source: 支持wildcard字段 #90196
Transform
  • 添加健康部分以转换统计信息 #90760
  • 支持在转换聚合中使用 aggregate_metric_double 字段类型 #91045
Vector Search
  • 为knn向量查询添加分析信息 #90200

新功能

edit
Distributed
  • 添加带有功能标志和设置的“索引”和“搜索”节点角色 #90993
EQL
Health
  • RestGetHealthAction 使用分块编码 #91515 (问题: #90223)
  • [HealthAPI] 使用 RestCancellableNodeClient 基础设施 #91587
Machine Learning
  • 使 categorize_text 聚合 GA #88600
Vector Search
  • 为字节大小的向量添加字段数据和脚本支持 #91184
  • 添加对索引字节大小的knn向量的支持 #90774

回归

edit
Infra/Core
  • 恢复“从快照服务中移除ImmutableOpenMap#90287

升级

edit
Infra/Logging
Network
  • 升级到 Netty 4.1.82.Final #90604
  • 升级到 Netty 4.1.84 #91271
Snapshot/Restore
  • 将GCS SDK升级到2.13.1 #92327