Elasticsearch 版本 8.9.0

edit

Elasticsearch 版本 8.9.0

edit

另请参阅 8.9 中的重大变更

已知问题

edit
  • 问答系统在长输入文本上失败。如果提供给任务的上下文长度超过模型的 max_sequence_length 且 truncate 设置为 none,则推理失败并显示消息 question answering result has invalid dimension。(问题: #97917)
  • 由于GC JVM设置更改导致的高内存压力

    此版本的 Elasticsearch 捆绑了 JDK 20。在 JDK 20 中,预防性 GC 默认被禁用。这可能会导致在某些负载模式下检索大文档时,内存压力增加和 CircuitBreakerExceptions 数量增加。(问题: #99592)

    如果此更改影响您对 Elasticsearch 的使用,请考虑通过添加 JVM 参数 -XX:+UnlockDiagnosticVMOptions -XX:+G1UsePreventiveGC(参考: JDK 20 发布说明)重新启用之前的行为。需要注意的是,此解决方法是临时的,仅适用于 JDK 20,该版本与 Elasticsearch 8.10.2 及以下版本捆绑在一起。后续版本将捆绑 JDK 21+,其中此设置 已被移除。指定这些 JVM 参数将阻止 JVM(以及 Elasticsearch 节点)启动。

重大变更

edit
Aggregations
  • 将TDigestState默认切换为使用HybridDigest #96904

Bug 修复

edit
Allocation
  • 尝试修复延迟分配 #95921
  • 修复Desired Balance API中的NPE #97775
  • 修复节点替换期间的自动扩展 #96281
Authorization
  • 解析没有前缀查询的通配符应用程序名称 #96479 (问题: #96465)
CRUD
  • 修复更新API中的retry_on_conflict参数,使其不会无限重试 #96262
  • 处理TransportUpdateAction#handleUpdateFailureWithRetry中的失败 #97290 (问题: #97286)
Cluster Coordination
  • 尽量避免使用 getStateForMasterService #97304
  • 在发布失败时成为候选者 #96490 (问题: #96273)
  • 修复集群设置更新任务确认 #97111
Data streams
  • 在根级别接受时间戳作为对象 #97401
Geo
  • 修复创建空geo_lines时的错误 #97509 (问题: #97311)
  • 修复时间序列geo_line以在MergedGeoLines中包含reduce阶段 #96953 (问题: #96983)
  • 支持将Byte和Short作为矢量瓦片特征 #97619 (问题: #97612)
ILM+SLM
  • 限制我们为每次SLM调用存储的详细字段长度 #97038 (问题: #96918)
Infra/CLI
Infra/Core
  • 在静态初始化中捕获最大处理器 #97119 (问题: #97088)
  • 正确地将cgroups2中的微秒cpu统计信息解释为纳秒 #96924 (问题: #96089)
Infra/Logging
  • 添加 slf4j-nop 以防止启动警告 #95459
Infra/REST API
  • 修复 RestRequest 中的 tchar 模式 #96406
Infra/Scripting
  • 修复了在未知超接口上的Painless方法查找 #97062 (问题: #97022)
Infra/Settings
Ingest Node
  • 修复当格式为epoch_millisDateProcessor的问题 #95996
  • 通过防御性复制输入来修复GeoIpDownloaderStatsAction$NodeResponse的序列化 #96777 (问题: #96438)
  • 在reroute处理器中修剪字段引用 #96941 (问题: #96939)
Machine Learning
  • 捕获推理过程中抛出的异常并报告为错误 #2542
  • 修复WordPiece分词,其中去除重音导致空字符串 #97354
  • 提高模型下载器的健壮性 #97274
  • 通过单独评估批量推理来防止高内存使用 #2538
Mapping
  • 在解析映射时避免栈溢出 #95705 (问题: #52098)
  • 修复映射解析逻辑以确定合成源是否处于活动状态 #97355 (问题: #97320)
Ranking
  • 修复 sub_searches 序列化错误 #97587
Recovery
Search
  • 防止在存在子聚合时实例化top_metrics #96180 (问题: #95663)
  • 在构建FetchSubPhaseProcessors之前设置新的提供者 #97460 (问题: #96284)
Snapshot/Restore
  • 修复blob缓存竞争/断言错误 #96458
  • 修复仅从缓存部分恢复的文件的重复/恢复字节 #95987 (问题: #95970, #95994)
  • 修复从缓存恢复的文件的重复/恢复字节 #97278 (问题: #95994)
  • 重构 RestoreClusterStateListener 以使用 ClusterStateObserver #96662 (问题: #96425)
TSDB
  • 错误消息,用于配置错误的TSDB索引 #96956 (问题: #96445)
  • 时间序列的最小分数 #96878
Task Management
  • TransportTasksAction 中改进可取消性 #96279
Transform
  • 改进即将完成的转换的报告状态 #95672

增强功能

edit
Aggregations
  • SearchExecutionContext 添加集群设置以配置 TDigestExecutionHint #96943
  • 为低基数关键词字段上的基数聚合添加动态修剪支持 #92060
  • 使 TDigestState 可配置 #96794
  • HybridDigest 中合并大摘要时跳过 SortingDigest #97099
  • 支持在 top_hits 中检索值 #95828
Allocation
  • 在模拟中初始化分片时考虑expectedShardSize #95734
Analysis
  • 创建 .synonyms 系统索引 #95548
Application
  • 向搜索应用程序添加模板参数 #95674
  • 分块分析堆栈跟踪响应 #96340
  • [分析] 添加状态 API #96272
  • [分析] 允许升级托管的 ILM 策略 #96550
  • [分析] 为 K/V 索引引入 ILM #96268
  • [分析] 需要 POST 来检索堆栈跟踪 #96790
  • [分析] 调整默认的 ILM 策略 #96516
  • [搜索应用程序] 在存储的 mustache 模板中支持数组 #96197
Authentication
  • 带有安全性的头部验证器 #95112
Authorization
  • 将搜索ALC过滤器索引前缀添加到企业搜索用户 #96885
  • 确保检查应用程序权限与嵌套有限角色一起工作 #96970
Autoscaling
  • 将未分配分片的碎片解释信息添加到 ReactiveReason #88590(问题:#85243
DLM
  • 为DLM添加自动强制合并功能 #95204
  • data_lifecycle添加到_xpack/usage API #96177
  • 添加manage_data_stream_lifecycle索引权限,并扩展view_index_metadata以访问数据流生命周期API #95512
  • 允许显式地将数据生命周期和保留期设置为空 #95979
Data streams
  • 为 `logs-- 数据流添加对 logs@custom 组件模板的支持 #95481 (问题: #95469)
  • 添加 ECS 动态映射组件并默认将其应用于日志数据流 #96171 (问题: #95538)
  • 调整 ECS 动态模板以支持 subobjects: false #96712
  • 如果日志数据流中的 message 字段包含 JSON 内容,则自动解析日志事件 #96083 (问题: #95522)
  • logs-*-* 数据流中的 ignore_malformed 默认值更改为 true #95329 (问题: #95224)
  • 如果日志数据流中的文档缺少 @timestamp,则为其设置 @timestamp,并添加对自定义管道的支持 #95971 (问题: #95537, #95551)
  • 更新数据流的隐式时间戳 ignore_malformed 设置 #96051
Engine
  • translog writer 文件的缓存修改时间 #95107
  • 当分片变为搜索活跃时触发刷新 #96321 (问题: #95544)
Geo
  • GeoHashGridTiler 添加暴力破解方法 #96863
  • 资产跟踪 - 时间序列聚合中的 geo_line #94954
ILM+SLM
  • 将GET _ilm/policy响应分块 #97251 (问题: #96569)
  • 将获取生命周期API移动到管理线程池并使其可取消 #97248 (问题: #96568)
  • 减少WaitForNoFollowersStep请求索引分片统计信息 #94510
Indices APIs
  • 在启动时引导分析索引 #95666
Infra/Node Lifecycle
  • SIGTERM 节点关闭类型 #95430
Ingest Node
  • 为丰富字段添加映射 #96056
  • Ingest: 通过Elastic内部API桥接器公开reroute查询/重置 #96958
Machine Learning
  • 改进了对内存限制的遵守 #2469
  • 改进了对长桶长度的日历周期性组件的检测 #2493
  • 改进了对时间偏移的检测,例如夏令时 #2479
Mapping
  • 允许无符号长字段使用衰减函数 #96394 (问题: #89603)
Ranking
  • 为搜索端点添加多个用于排名的查询 #96224
Recovery
  • 实现 StartRecoveryRequest#getDescription #95731
Search
  • 添加搜索分片端点 #94534
  • 不在EarlyTerminationExceptionTimeExceededException中生成堆栈跟踪 #95910
  • 功能/加速二进制向量解码 #96716
  • 通过使用Lucene函数提高暴力向量搜索速度 #96617
  • 将搜索空闲信息包含到分片统计信息中 #95740 (问题: #95727)
  • 将CCS与新的search_shards API集成 #95894 (问题: #93730)
  • 引入过滤收集器管理器 #96824
  • 引入最小分数收集器管理器 #96834
  • 在查询常量关键字字段时跳过分片 #96161 (问题: #95541)
  • 支持在异步搜索中减少CCS的往返次数 #96012
  • 支持在关键字规范化器中使用patter_replace过滤器 #96588
  • 支持rank_feature字段类型的null_value #95811
Security
  • 添加 "_storage" 内部用户 #95694
Snapshot/Restore
  • 减少blob缓存服务获取的开销 #96399
Stats
  • ingest信息添加到集群信息端点 #96328 (问题: #95392)
  • script信息添加到集群信息端点 #96613 (问题: #95394)
  • thread_pool信息添加到集群信息端点 #96407 (问题: #95393)
TSDB
  • 功能:为时间序列速率聚合添加单位支持 #96605 (问题: #94630)
Vector Search
  • 利用SIMD硬件指令在向量搜索中 #96453 (问题: #96370)

新功能

edit
Application
  • 在行为分析中启用分析地理IP #96624
Authorization
  • 支持将API密钥的访问限制为仅某些工作流程 #96744
Data streams
  • 添加自动安装摄取管道并从索引模板中引用它们的能力 #95782
Geo
ILM+SLM
  • 增强 ILM 健康指示器 #96092
Infra/Node Lifecycle
  • 优雅地关闭elasticsearch #96363
Infra/Plugins
  • [Fleet] 添加 .fleet-secrets 系统索引 #95625 (问题: #95143)
Machine Learning
  • 添加对 xlm_roberta 分词模型的支持 #94089
  • 从 query_vector_builder 文档中移除技术预览提示 #96735
Snapshot/Restore
  • 将仓库限流指标添加到节点统计API响应中 #96678 (问题: #89385)
Stats

升级

edit
Infra/Transport API
  • TransportVersion 更新到第一个非发布版本号。传输协议现在独立于发布版本进行版本控制。#95286
Network
  • 将Netty升级到4.1.92 #95575
  • 将Netty升级到4.1.94.Final #97112
Search
  • 将Lucene升级到9.7.0快照 #96433
  • 升级到新的lucene快照9.7.0-snapshot-a8602d6ef88 #96741