
红伞连接 是一种声明式的数据无关流处理服务,专为高效、无状态的处理步骤设计。它提供了基于事务的弹性,带有背压机制,确保在连接到至少一次源和接收器时,至少一次交付,而无需在传输过程中持久化消息。
连接管道使用YAML文件进行配置,该文件按层次结构组织组件。每个部分代表不同的组件类型,例如输入、处理器和输出,这些组件可以包含嵌套的子组件和动态值。
Qdrant 输出 组件允许将向量数据流式传输到 RedPanda 管道中的 Qdrant 集合中。
Example
一旦输入和处理器设置完成,输出的示例配置将如下所示:
input:
# https://docs.redpanda.com/redpanda-connect/components/inputs/about/
pipeline:
processors:
# https://docs.redpanda.com/redpanda-connect/components/processors/about/
output:
label: "qdrant-output"
qdrant:
max_in_flight: 64
batching:
count: 8
grpc_host: xyz-example.eu-central.aws.cloud.qdrant.io:6334
api_token: "<provide-your-own-key>"
tls:
enabled: true
# skip_cert_verify: false
# enable_renegotiation: false
# root_cas: ""
# root_cas_file: ""
# client_certs: []
collection_name: "<collection_name>"
id: root = uuid_v4()
vector_mapping: 'root = {"some_dense": this.vector, "some_sparse": {"indices": [23,325,532],"values": [0.352,0.532,0.532]}}'
payload_mapping: 'root = {"field": this.value, "field_2": 987}'
