设置数据流
edit设置数据流
edit要设置数据流，请按照以下步骤操作：
您还可以将索引别名转换为数据流。
创建索引生命周期策略
edit虽然可选，但我们建议使用 ILM 来自动管理您的数据流的备份索引。ILM 需要一个索引生命周期策略。
要在 Kibana 中创建索引生命周期策略，请打开主菜单并转到 堆栈管理 > 索引生命周期策略。点击 创建策略。
您还可以使用创建生命周期策略 API。
PUT _ilm/policy/my-lifecycle-policy
{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_primary_shard_size": "50gb"
}
}
},
"warm": {
"min_age": "30d",
"actions": {
"shrink": {
"number_of_shards": 1
},
"forcemerge": {
"max_num_segments": 1
}
}
},
"cold": {
"min_age": "60d",
"actions": {
"searchable_snapshot": {
"snapshot_repository": "found-snapshots"
}
}
},
"frozen": {
"min_age": "90d",
"actions": {
"searchable_snapshot": {
"snapshot_repository": "found-snapshots"
}
}
},
"delete": {
"min_age": "735d",
"actions": {
"delete": {}
}
}
}
}
}
创建组件模板
edit数据流需要一个匹配的索引模板。在大多数情况下，您使用一个或多个组件模板来编写此索引模板。通常，您为映射和索引设置使用单独的组件模板。这使您可以在多个索引模板中重用组件模板。
在创建组件模板时，请包含：
-
一个用于
@timestamp字段的date或date_nanos映射。如果你不指定映射，Elasticsearch会将@timestamp映射为一个具有默认选项的date字段。 -
在
index.lifecycle.name索引设置中的生命周期策略。
在映射您的字段时，请使用Elastic Common Schema (ECS)。ECS 字段默认与多个 Elastic Stack 功能集成。
如果你不确定如何映射你的字段，可以使用运行时字段在搜索时从非结构化内容中提取字段。例如，你可以将日志消息索引到一个通配符字段，并在搜索期间从这个字段中提取IP地址和其他数据。
要在 Kibana 中创建组件模板，请打开主菜单并转到 堆栈管理 > 索引管理。在 索引模板 视图中，点击 创建组件模板。
您还可以使用创建组件模板 API。
# Creates a component template for mappings
PUT _component_template/my-mappings
{
"template": {
"mappings": {
"properties": {
"@timestamp": {
"type": "date",
"format": "date_optional_time||epoch_millis"
},
"message": {
"type": "wildcard"
}
}
}
},
"_meta": {
"description": "Mappings for @timestamp and message fields",
"my-custom-meta-field": "More arbitrary metadata"
}
}
# Creates a component template for index settings
PUT _component_template/my-settings
{
"template": {
"settings": {
"index.lifecycle.name": "my-lifecycle-policy"
}
},
"_meta": {
"description": "Settings for ILM",
"my-custom-meta-field": "More arbitrary metadata"
}
}
创建索引模板
edit使用您的组件模板创建一个索引模板。指定：
要在 Kibana 中创建索引模板，请打开主菜单并转到 堆栈管理 > 索引管理。在 索引模板 视图中，点击 创建模板。
您还可以使用创建索引模板 API。
包含 data_stream 对象以启用数据流。
PUT _index_template/my-index-template
{
"index_patterns": ["my-data-stream*"],
"data_stream": { },
"composed_of": [ "my-mappings", "my-settings" ],
"priority": 500,
"_meta": {
"description": "Template for my time series data",
"my-custom-meta-field": "More arbitrary metadata"
}
}
创建数据流
edit索引请求 将文档添加到数据流中。这些请求必须使用 op_type 为 create。文档必须包含一个 @timestamp 字段。
要自动创建您的数据流，请提交一个针对流名称的索引请求。此名称必须与您的索引模板中的一个索引模式匹配。
PUT my-data-stream/_bulk
{ "create":{ } }
{ "@timestamp": "2099-05-06T16:21:15.000Z", "message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736" }
{ "create":{ } }
{ "@timestamp": "2099-05-06T16:25:42.000Z", "message": "192.0.2.255 - - [06/May/2099:16:25:42 +0000] \"GET /favicon.ico HTTP/1.0\" 200 3638" }
POST my-data-stream/_doc
{
"@timestamp": "2099-05-06T16:21:15.000Z",
"message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736"
}
您也可以使用创建数据流 API手动创建数据流。数据流的名称必须仍然匹配您的模板中的一个索引模式。
PUT _data_stream/my-data-stream
保护数据流
edit使用索引权限来控制对数据流的访问。授予数据流的权限会同时授予其支持索引的相同权限。
例如，请参见数据流权限。
将索引别名转换为数据流
edit在Elasticsearch 7.9之前，您通常会使用一个 带有写入索引的索引别名 来管理时间序列数据。数据流取代了这一功能，减少了维护工作量，并自动与数据层集成。
要将具有写入索引的索引别名转换为具有相同名称的数据流，请使用迁移到数据流API。在转换过程中，别名的索引成为流的隐藏后备索引。别名的写入索引成为流的写入索引。该流仍然需要一个启用了数据流的匹配索引模板。
POST _data_stream/_migrate/my-time-series-data
获取数据流的信息
edit要在 Kibana 中获取有关数据流的信息，请打开主菜单并转到 堆栈管理 > 索引管理。在 数据流 视图中，点击 数据流的名称。
您也可以使用获取数据流 API。
GET _data_stream/my-data-stream
删除数据流
edit要在 Kibana 中删除数据流及其支持索引，请打开主菜单并转到 堆栈管理 > 索引管理。在 数据流 视图中，点击垃圾桶图标。该图标仅在你拥有数据流的 delete_index 安全权限 时显示。
您还可以使用删除数据流 API。
DELETE _data_stream/my-data-stream