Elasticsearch 版本 8.15.0
editElasticsearch 版本 8.15.0
edit另请参阅 8.15 中的重大变更。
已知问题
edit-
用于运行机器学习模型的
pytorch_inference进程可能会消耗大量内存。 在可用内存有限的环境中，操作系统内存不足杀手会终止pytorch_inference进程以回收内存。这可能导致推理请求失败。 Elasticsearch会在pytorch_inference进程被终止后自动重启，最多在24小时内重启四次。（问题：#110530） -
在
time_series和categorize_text聚合下的管道聚合永远不会返回（问题：#111679） -
如果[
bootstrap.memory_lock设置为true](https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration-memory.html#bootstrap-memory_lock)，Elasticsearch将无法在Windows机器上启动。 可以降级到早期版本，升级到8.15.1，或者按照手册中的建议完全禁用交换而不是使用内存锁定功能（问题：#111847） -
批量API响应中的
took字段不正确，可能非常大。假设此值将在特定范围内（例如，它适合32位有符号整数）的客户端可能会遇到错误（问题：#111854） -
如果使用
xpack.security.authc.realms.*.files.role_mapping配置选项配置自定义角色映射，Elasticsearch将无法启动。作为解决方法，可以使用REST API配置自定义角色映射（问题：#112503） -
ES|QL查询可能导致节点因内存不足错误而崩溃，当：
- 多个索引匹配查询模式
- 这些索引有许多冲突的字段映射
-
许多这些字段都包含在请求中。 这些问题消耗堆内存，增加了OOM错误的可能性。（问题：#111964, #111358）。 在Kibana中，当使用Discover或向仪表板添加字段统计面板时，您可能会间接执行这些查询。
要解决此问题，您有多种选择：
- 降级到早期版本
- 在发布后升级到8.15.2
- 按照说明在Kibana中禁用ES|QL查询
- 在Discover中将默认数据视图更改为较小的索引集和/或具有较少映射冲突的索引。
-
合成源错误。合成源可能在运行时无法生成_source，导致get API失败或搜索API部分失败。结果是受影响的文档无法检索_source。没有解决方法，唯一的选项是在发布后升级到8.15.2。
如果你使用合成源，那么如果以下情况为真，你可能会受到这个错误的影响： 如果你拥有的字段数量超过了
index.mapping.total_fields.limit设置所允许的数量。 如果你使用动态映射并且启用了index.mapping.total_fields.ignore_dynamic_beyond_limit设置。
重大变更
editBug 修复
edit- Aggregations
- Allocation
- Analysis
-
- 唯一令牌过滤器的正确位置 #109395
- Authentication
- Authorization
- Autoscaling
-
-
在自动扩展API中公开
?master_timeout#108759
-
在自动扩展API中公开
- CRUD
-
- 在复制后操作失败后更新检查点 #109908
- Cluster Coordination
- Data streams
- Distributed
- Downsampling
- ES|QL
-
- ESQL: 将 "substring" 函数更改为在空字符串上不返回 null #109174
- ESQL: 修复 Join 引用 #109989
- ESQL: 修复 LOOKUP 属性阴影 #109807 (问题: #109392)
- ESQL: 修复 Max 双精度负数错误并添加 Max 和 Min 的测试 #110586
-
ESQL: 修复
IpPrefix函数未正确处理ByteRefs#109205 (问题: #109198) -
ESQL: 修复函数的 equals
hashCode#107947 (问题: #104393) - ESQL: 修复在 Project 下推时的变量阴影 #108360 (问题: #108008)
- ESQL: 验证唯一的计划属性名称 #110488 (问题: #110541)
- ESQL: 从反引号改为引号 #108395
- ESQL: 使命名参数对象真正按请求处理 #110046 (问题: #110028)
- ES|QL: 修复覆盖输入的 DISSECT #110201 (问题: #110184)
- ES|QL: 将查询深度限制为 500 层 #108089 (问题: #107752)
- ES|QL: 将最大表达式深度减少到 400 #111186 (问题: #109846)
- 修复 ST_DISTANCE Lucene 下推复杂谓词 #110391 (问题: #110349)
-
修复缺少字段时 MV_EXPAND 的
ClassCastException#110096 (问题: #109974) - 修复 STATS 分组键中类型转换的联合类型错误 #110476 (问题: #109922, #110477)
- 修复多个同名列的联合类型问题 #110793 (问题: #110490, #109916)
- [ESQL] Count_distinct(_source) 应返回 400 #110824
- [ESQL] 修复大数值负数的解析 #110665 (问题: #104323)
-
[ESQL] 迁移
SimplifyComparisonArithmetics优化 #109256 (问题: #108388, #108743)
- Engine
-
-
异步关闭
IndexShard#108145
-
异步关闭
- Highlighting
-
- 修复了普通高亮器返回不完整片段的问题 #110707
- ILM+SLM
-
-
允许
read_slm调用 GET /_slm/status #108333
-
允许
- Indices APIs
-
-
为每个
NodesDataTiersUsageTransport创建一个新的NodeRequest，参考#108379
-
为每个
- Infra/Core
- Infra/Metrics
-
-
提供带有
MapperService的文档大小报告器 #109794
-
提供带有
- Infra/Node Lifecycle
- Infra/REST API
- Ingest Node
- Machine Learning
-
- 允许在摄取中引用时删除ELSER推理服务 #108146
-
避免
InferenceRunner死锁 #109551 -
正确处理
_cat训练模型API和使用统计中的重复模型ID #109126 - 如果无法获取叶子读取器上下文，请勿使用全局序数策略 #108459
- 修复训练模型分配更新器中的NPE #108942
- 修复序列化推理删除响应 #109384
- 修复“作用域后使用堆栈”内存错误 #2673
-
修复
ml.get_categories规范中的尾部斜杠 #110146 - 处理推理抛出的任何异常 #2680
- 增加批量请求的响应大小限制 #110112
- 将请求卸载到通用线程池 #109104 (问题: #109100)
- 传播准确的部署超时 #109534 (问题: #109407)
- 重构TextEmbeddingResults以使用基元而非对象 #108161
-
在
QuestionAnsweringConfig中要求问题为非空 #107972 - 启动训练模型部署API请求查询参数现在覆盖主体参数 #109487
- 在删除训练模型时抑制摄取管道的弃用警告 #108679 (问题: #105004)
- 在AD结果索引上使用默认的translog持久性 #108999
- 对内部推理服务使用多节点路由操作 #109358
-
[推理API] 在
RateLimitSettings#of中提取可选的长整型而非整型 #108602 - [推理API] 修复推理删除端点响应的序列化 #110431
-
[推理API] 在推理API中用
inference_id替换model_id，除非存储时使用 #111366
- Mapping
- Network
- Packaging
- Ranking
- Rollup
-
- 修复两个rollup规范中的尾部斜杠 #110176
- Search
- Security
- Snapshot/Restore
-
- 在多仓库获取快照请求处理中更严格的失败处理 #107191
- TSDB
- Transform
-
-
始终选择用户的
maxPageSize值 #109876 (问题: #109844) - 删除时优雅退出 #107917 (问题: #107266)
- 修复目标索引创建期间的NPE #108891 (问题: #108890)
-
将
indexServiceSafe异常转发给监听器 #108517 (问题: #108418) - 在Stop/Abort API上停止Indexer #107792
-
处理
IndexNotFoundException#108394 (问题: #107263) - 防止清理期间的并发作业 #109047
-
将
VersionConflict重定向到重置代码 #108070 - 将最大页面大小重置为设置值 #109449 (问题: #109308)
-
始终选择用户的
- Vector Search
- Watcher
弃用
edit增强功能
edit- Aggregations
- Allocation
- Application
- Authentication
-
- 公开API密钥缓存指标 #109078
- Authorization
- Data streams
-
- 将metrics@custom组件模板添加到metrics--索引模板 #109540 (问题: #109475)
- Apm-data: 默认启用插件 #108860
- Apm-data: 忽略格式错误的字段和过多的动态字段 #108444
- Apm-data: 提高默认管道的性能 #108396 (问题: #108290)
- Apm-data: 提高索引的弹性 #108227
- Apm-data: 提高优先级高于Fleet模板 #108885
- Apm-data: 增加模板的版本 #108340
- Apm-data: 为logs-apm.*数据流设置codec: best_compression #108862
-
从metrics索引模板中移除
default_field: message#110651
- Distributed
- ES|QL
-
-
为3个
BytesRefs添加BlockHash#108165 -
允许
LuceneSourceOperator提前终止 #108820 -
检查
CsvTests所需功能是否存在 #108684 - ESQL: 添加聚合节点级别减少 #107876
- ESQL: 添加更多时间跨度单位 #108300
- ESQL: 实现LOOKUP，一个“内联”的丰富 #107987 (问题: #107306)
-
ESQL: 将
TopList重命名为Top #110347 - ESQL: 联合类型支持 #107545 (问题: #100603)
- ESQL: 添加REPEAT字符串函数 #109220
- ES|QL 在计算引擎中添加原始浮点支持 #109746 (问题: #109178)
- ES|QL 在计算引擎中添加所有聚合器的原始浮点变体 #109781
- ES|QL: 向量化eval #109332
- 使用Lucene圆交查询优化ST_DISTANCE过滤 #110102 (问题: #109972)
- 优化序号分组中的单值 #108118
- 重写不转换类型的类型转换函数 #108713 (问题: #107716)
- ST_DISTANCE函数 #108764 (问题: #108212)
- 在ESQL中支持指标计数器类型 #107877
- [ESQL] CBRT函数 #108574
-
[ES|QL] 当算术运算符的另一侧是
date_period或time_duration时，将字符串转换为日期时间 #108455 -
[ES|QL] 在
EsqlQueryRequest中支持命名和位置参数 #108421 (问题: #107029) -
[ES|QL]
weighted_avg#109993
-
为3个
- Engine
- Geo
-
-
优化单值字段的
GeoBounds和GeoCentroid聚合 #107663
-
优化单值字段的
- Health
-
-
在
HealthPeriodicLogger中记录非绿色指标的日志 #108266
-
在
- Highlighting
- Infra/Core
- Infra/Metrics
- Ingest Node
-
-
在geoip处理器中添加
continent_code支持 #108780 (问题: #85820) - 在geoip处理器中添加对连接类型数据库的支持 #108683
- 在geoip处理器中添加对域名数据库的支持 #108639
- 在geoip处理器中添加对ISP数据库的支持 #108651
-
在enrich缓存统计信息中添加
hits_time_in_millis和misses_time_in_millis#107579 -
在geoip处理器的企业数据库中添加
user_type支持 #108687 - 在geoip统计信息中添加人类可读的时间 #107647
- 在摄取统计信息中包含文档大小信息 #107240 (问题: #106386)
- 使摄取字节统计名称更具描述性 #108786
- 即使值为0，也返回摄取字节统计信息 #108796
- 在重新路由后测试管道运行 #108693
-
在geoip处理器中添加
- Logs
- Machine Learning
-
- 将Anthropic消息集成添加到推理API #109893
-
添加
sparse_vector查询 #108254 - 将模型下载进度添加到下载任务状态 #107676
- 为推理API添加速率限制支持 #107706
- 将重新排序任务添加到Elasticsearch内部推理服务 #108452
- 默认将HF服务设置为余弦相似度 #109967
- GA更新训练模型操作 #108868
- 处理“JSON内存分配器字节”字段 #109653
- 推理处理器：当所有字段缺失时跳过推理 #108131
- 将“在..处没有统计信息”消息记录为警告 #2684
- 优化单值字段的频繁项集聚合 #108130
- 句子分块器 #110334
- [推理API] 将Amazon Bedrock支持添加到推理API #110248
- [推理API] 将Mistral嵌入支持添加到推理API #109194
- [推理API] 在删除推理端点时检查相关管道 #109123
- Mapping
-
- 将忽略的字段值添加到合成源 #107567
-
将FLS应用于
IgnoredSourceFieldMapper的内容 #109931 - 二进制字段默认启用索引模式的文档值… #107739 (问题: #107554)
- 功能/带注释的文本存储默认值 #107922 (问题: #107734)
-
在平展字段的合成源中处理
ignore_above#110214 - 如果需要，将关键字字段加入到备用合成源中 #110016
- 当文档值…时，将数字字段加入到备用合成源中 #110160
- 在合成源文档中反映最新更改 #109501
-
使用
dynamic覆盖存储对象字段的源 #108911 - 存储嵌套对象的源 #108818
-
当使用
ignore_malformed时，支持geo_point的合成源 #109651 -
当使用
ignore_malformed时，支持scaled_float和unsigned_long的合成源 #109506 -
当使用
ignore_malformed时，支持日期字段的合成源 #109410 -
在直方图字段中支持合成源与
ignore_malformed一起使用 #109882 - 跟踪对象数组的源 #108417 (问题: #90708)
- 跟踪禁用对象的合成源 #108051
- Network
-
- 检测网络线程上的长时间运行任务 #109204
- Ranking
-
-
为
RankBuilders启用分析，并为RRF添加测试 #109470
-
为
- Relevance
- Search
-
- 为x64上的int7添加AVX-512优化的向量距离函数 #109084
-
添加
SparseVectorStats#108793 -
为顶级
knn子句添加_name支持 #107645 (问题: #106254, #107448) - 为x64上的int7添加SIMD (AVX2)优化的向量距离函数 #108088
-
为可搜索快照添加
event.ingested字段的最小/最大范围到集群状态 #106252 - 为索引段API添加每个字段的KNN向量格式 #107216
- 在kuromoji分析插件中添加对hiragana_uppercase和katakana_uppercase分词过滤器的支持 #106553
- 在rrf中添加对explain的支持 #108682
- 允许使用字段折叠的重新评分器 #107779 (问题: #27243)
- 将存储字段切换到ZSTD进行压缩 #103374
- 限制前缀查询中的值 #108537 (问题: #108486)
- 使密集向量字段类型可更新 #106591
- 多值稀疏向量支持 #109007
- Security
- Snapshot/Restore
- Stats
-
- DocsStats: 添加人类可读的字节大小 #109720
- TSDB
- Vector Search
新功能
edit- Aggregations
-
-
选择退出并行化的
scripted_metric#109597
-
选择退出并行化的
- Application
-
- [Connector API] 添加声明同步作业端点 #109480
- ES|QL
- Infra/REST API
-
- 添加一个功能API来检查节点和集群功能 #106820
- Ingest Node
- Logs
- Machine Learning
-
- 为推理服务添加对Azure AI Studio嵌入和完成的支持。#108472
- Mapping
-
-
添加
semantic_text字段类型和semantic查询 #110338 - 为合成源添加通用回退实现 #108222
-
通过回退实现为
geo_shape添加合成源支持 #108881 - 为二进制字段添加合成源支持 #107549
- 默认启用回退合成源 #109370 (问题: #106460)
-
为
point和shape启用回退合成源 #109312 -
为
token_count启用回退合成源 #109044 - 为带注释的文本字段实现合成源支持 #107735
- 为范围字段实现合成源支持 #107081
- 在回退合成源实现中支持数组 #108878
-
当 ignore_malf… 时，为
aggregate_metric_double支持合成源 #108746
-
添加
- Ranking
-
- 添加文本相似度重排序检索器 #109813
- Relevance
-
- 将查询规则标记为GA #110004
- Search
- Security
-
- 查询角色 API #108733
- Transform
-
- 引入 _transform/_node_stats API #107279
- Vector Search
-
-
为
dense_vectors添加了新的bitelement_type#110059
-
为