Skip to main content

重新排序

tip

LiteLLM 遵循 cohere api 请求/响应格式 用于重新排序 API。

LiteLLM Python SDK 使用​

快速开始​

from litellm import rerank
import os

os.environ["COHERE_API_KEY"] = "sk-.."

query = "美国的首都是什么？"
documents = [
    "卡森城是美国内华达州的首府。",
    "北马里亚纳群岛是太平洋中的一组岛屿。它的首府是塞班岛。",
    "华盛顿特区是美国的首都。",
    "在美国成为一个国家之前，死刑就已经存在了。",
]

response = rerank(
    model="cohere/rerank-english-v3.0",
    query=query,
    documents=documents,
    top_n=3,
)
print(response)

异步使用​

from litellm import arerank
import os, asyncio

os.environ["COHERE_API_KEY"] = "sk-.."

async def test_async_rerank(): 
    query = "美国的首都是什么？"
    documents = [
        "卡森城是美国内华达州的首府。",
        "北马里亚纳群岛是太平洋中的一组岛屿。它的首府是塞班岛。",
        "华盛顿特区是美国的首都。",
        "在美国成为一个国家之前，死刑就已经存在了。",
    ]

    response = await arerank(
        model="cohere/rerank-english-v3.0",
        query=query,
        documents=documents,
        top_n=3,
    )
    print(response)

asyncio.run(test_async_rerank())

LiteLLM 代理使用​

LiteLLM 提供了一个与 cohere api 兼容的 /rerank 端点用于重新排序调用。

设置

将此添加到您的 litellm 代理 config.yaml 中

model_list:
  - model_name: Salesforce/Llama-Rank-V1
    litellm_params:
      model: together_ai/Salesforce/Llama-Rank-V1
      api_key: os.environ/TOGETHERAI_API_KEY
  - model_name: rerank-english-v3.0
    litellm_params:
      model: cohere/rerank-english-v3.0
      api_key: os.environ/COHERE_API_KEY

启动 litellm

litellm --config /path/to/config.yaml

# 运行在 http://0.0.0.0:4000

测试请求

curl http://0.0.0.0:4000/rerank \
  -H "Authorization: Bearer sk-1234" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "rerank-english-v3.0",
    "query": "美国的首都是什么？",
    "documents": [
        "卡森城是美国内华达州的首府。",
        "北马里亚纳群岛是太平洋中的一组岛屿。它的首府是塞班岛。",
        "华盛顿特区是美国的首都。",
        "在美国成为一个国家之前，死刑就已经存在了。"
    ],
    "top_n": 3
  }'

支持的提供商​

提供商使用链接
Cohere使用
Together AI使用
Azure AI使用
优云智算