由Apache Kafka®的原始创建者构建，Confluent Cloud是一个云原生的完整数据流平台，可在AWS、Azure和Google Cloud上使用。该平台包括一个完全托管、弹性扩展的Kafka引擎，120多个连接器，无服务器的Apache Flink®，企业级安全控制，以及一个强大的治理套件。
通过我们的Qdrant-Kafka 接收连接器，Qdrant成为了与Confluent连接技术合作伙伴计划的一部分。它将完全管理的数据流直接从Confluent Cloud带到组织，使组织更容易通过完全管理的Apache Kafka服务将任何数据流式传输到Qdrant。
用法
先决条件
- 一个Confluent Cloud账户。您可以从免费试用开始，前30天有信用额度。
- 要连接的Qdrant实例。您可以在cloud.qdrant.io获取一个免费的云实例。
安装
从Confluent Hub下载最新的连接器zip文件。
在Confluent上配置环境和集群，并创建一个主题以生成消息。
导航到Confluent集群的
Connectors部分，然后点击Add Plugin。上传包含以下信息的zip文件。
- Once installed, navigate to the connector and set the following configuration values.
将占位符值替换为您的凭据。
- Add the Qdrant instance host to the allowed networking endpoints.
- Start the connector.
生成消息
您现在可以为配置的主题生成消息，它们将被写入配置的Qdrant实例中。
消息格式
连接器支持以下格式的消息。
点击每个以展开。
Unnamed/Default vector
参考：创建带有默认向量的集合。
{
"collection_name": "{collection_name}",
"id": 1,
"vector": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
],
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}
Named multiple vectors
参考：创建包含多个向量的集合。
{
"collection_name": "{collection_name}",
"id": 1,
"vector": {
"some-dense": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
],
"some-other-dense": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
]
},
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}
Sparse vectors
参考：创建带有稀疏向量的集合。
{
"collection_name": "{collection_name}",
"id": 1,
"vector": {
"some-sparse": {
"indices": [
0,
1,
2,
3,
4,
5,
6,
7,
8,
9
],
"values": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8,
0.9,
1.0
]
}
},
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}
Multi-vectors
参考：
{
"collection_name": "{collection_name}",
"id": 1,
"vector": {
"some-multi": [
[
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8,
0.9,
1.0
],
[
1.0,
0.9,
0.8,
0.5,
0.4,
0.8,
0.6,
0.4,
0.2,
0.1
]
]
},
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}
Combination of named dense and sparse vectors
参考：
{
"collection_name": "{collection_name}",
"id": "a10435b5-2a58-427a-a3a0-a5d845b147b7",
"vector": {
"some-other-dense": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8
],
"some-sparse": {
"indices": [
0,
1,
2,
3,
4,
5,
6,
7,
8,
9
],
"values": [
0.1,
0.2,
0.3,
0.4,
0.5,
0.6,
0.7,
0.8,
0.9,
1.0
]
}
},
"payload": {
"name": "kafka",
"description": "Kafka is a distributed streaming platform",
"url": "https://kafka.apache.org/"
}
}