柴郡猫

柴郡猫是一个开源框架，允许你在许多大型语言模型（LLM）之上开发智能代理。你可以开发自定义的AI架构，以协助你完成广泛的任务。

Cheshire cat

柴郡猫和Qdrant

Cheshire Cat 使用 Qdrant 作为默认的向量内存用于摄取和检索文档。

# Decide host and port for your Cat. Default will be localhost:1865
CORE_HOST=localhost
CORE_PORT=1865

# Qdrant server
# QDRANT_HOST=localhost
# QDRANT_PORT=6333

Cheshire Cat 充分利用了 Qdrant 的以下特性：

集合别名用于管理从一个嵌入者到另一个嵌入者的更改。
量化在速度、内存使用和结果质量之间取得良好平衡。
快照不错过任何信息。
社区

RAG Pipeline

如何使用柴郡猫

需求

要运行Cheshire Cat，您需要在系统上已经安装Docker和docker-compose。

docker run --rm -it -p 1865:80 ghcr.io/cheshire-cat-ai/core:latest

与柴郡猫聊天在 localhost:1865/admin。
您也可以通过REST API进行交互，并在localhost:1865/docs上尝试端点

查看github上的说明以获取更全面的快速入门指南。

LLM的首次配置

在浏览器中打开管理门户，地址为 localhost:1865/admin。
在Settings选项卡中配置LLM。
如果您没有使用Settings选项卡明确选择它，Embedder将遵循LLM。

下一步

欲了解更多信息，请参阅Cheshire Cat的文档和博客。

这个页面有用吗？

本页内容：