InfinyOn Fluvio 是一个用 Rust 编写的开源平台，用于高速实时数据处理。它是云原生的，设计用于与任何基础设施类型一起工作，从裸机硬件到容器化平台。
与Qdrant的使用
使用Qdrant Fluvio 连接器，您可以将记录从Fluvio主题流式传输到Qdrant集合，利用Fluvio的交付保证和高吞吐量。
先决条件
- 一个Fluvio安装。您可以参考Fluvio 快速入门获取安装指南。
- 要连接的Qdrant服务器。您可以设置一个本地实例或在cloud.qdrant.io上设置一个免费的云实例。
下载连接器
在设置 Fluvio 后运行以下命令。
cdk hub download qdrant/qdrant-sink@0.1.0
示例配置
config.yaml
apiVersion: 0.1.0
meta:
version: 0.1.0
name: my-qdrant-connector
type: qdrant-sink
topic: topic-name
secrets:
- name: QDRANT_API_KEY
qdrant:
url: https://xyz-example.eu-central.aws.cloud.qdrant.io:6334
api_key: "${{ secrets.QDRANT_API_KEY }}"
secrets.txt
QDRANT_API_KEY=<SOME_API_KEY>
运行中
cdk deploy start --ipkg qdrant-qdrant-sink-0.1.0.ipkg -c config.yaml --secrets secrets.txt
生成消息
你现在可以运行以下命令来生成要写入Qdrant的消息。
fluvio produce topic-name
消息格式
此接收器连接器支持带有密集/稀疏/多维向量的消息。
点击每个以展开。
Unnamed/Default vector
参考：创建带有默认向量的集合。
{
"collection_name": "{collection_name}",
"id": 1,
"vectors": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
],
"payload": {
"name": "fluvio",
"description": "Solution for distributed stream processing",
"url": "https://www.fluvio.io/"
}
}
Named multiple vectors
参考：创建包含多个向量的集合。
{
"collection_name": "{collection_name}",
"id": 1,
"vectors": {
"some-dense": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
],
"some-other-dense": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
]
},
"payload": {
"name": "fluvio",
"description": "Solution for distributed stream processing",
"url": "https://www.fluvio.io/"
}
}
Sparse vectors
参考：创建带有稀疏向量的集合。
{
"collection_name": "{collection_name}",
"id": 1,
"vectors": {
"some-sparse": {
"indices": [
0,
1,
2,
3,
4,
5,
6,
7,
8,
9
],
"values": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8,
0.9,
1.0
]
}
},
"payload": {
"name": "fluvio",
"description": "Solution for distributed stream processing",
"url": "https://www.fluvio.io/"
}
}
Multi-vector
{
"collection_name": "{collection_name}",
"id": 1,
"vectors": {
"some-multi": [
[
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8,
0.9,
1.0
],
[
1.0,
0.9,
0.8,
0.5,
0.4,
0.8,
0.6,
0.4,
0.2,
0.1
]
]
},
"payload": {
"name": "fluvio",
"description": "Solution for distributed stream processing",
"url": "https://www.fluvio.io/"
}
}
Combination of named dense and sparse vectors
参考：
{
"collection_name": "{collection_name}",
"id": "a10435b5-2a58-427a-a3a0-a5d845b147b7",
"vectors": {
"some-other-dense": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
],
"some-sparse": {
"indices": [
0,
1,
2,
3,
4,
5,
6,
7,
8,
9
],
"values": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8,
0.9,
1.0
]
}
},
"payload": {
"name": "fluvio",
"description": "Solution for distributed stream processing",
"url": "https://www.fluvio.io/"
}
}