Skip to main content

删除不支持的参数

通过您的LLM提供商删除不支持的OpenAI参数。

快速开始​

import litellm
import os

# 设置密钥
os.environ["COHERE_API_KEY"] = "co-.."

litellm.drop_params = True # 👈 关键更改

response = litellm.completion(
                model="command-r",
                messages=[{"role": "user", "content": "Hey, how's it going?"}],
                response_format={"key": "value"},
            )

LiteLLM根据提供商和模型映射所有支持的openai参数（例如，函数调用在bedrock上的anthropic支持，但在titan上不支持）。

查看 litellm.get_supported_openai_params("command-r") 代码

如果某个提供商/模型不支持某个特定参数，您可以删除它。

OpenAI代理使用​

litellm_settings:
    drop_params: true

在 completion(..) 中传递 drop_params​

仅在调用特定模型时删除参数

import litellm
import os

# 设置密钥
os.environ["COHERE_API_KEY"] = "co-.."

response = litellm.completion(
                model="command-r",
                messages=[{"role": "user", "content": "Hey, how's it going?"}],
                response_format={"key": "value"},
                drop_params=True
            )
- litellm_params:
    api_base: my-base
    model: openai/my-model
    drop_params: true # 👈 关键更改
  model_name: my-model

指定要删除的参数​

在调用提供商时删除特定参数（例如，对于vllm删除'logit_bias'）

使用 additional_drop_params

import litellm
import os

# 设置密钥
os.environ["COHERE_API_KEY"] = "co-.."

response = litellm.completion(
                model="command-r",
                messages=[{"role": "user", "content": "Hey, how's it going?"}],
                response_format={"key": "value"},
                additional_drop_params=["response_format"]
            )
- litellm_params:
    api_base: my-base
    model: openai/my-model
    additional_drop_params: ["response_format"] # 👈 关键更改
  model_name: my-model

additional_drop_params: 列表或null - 是您在调用模型时希望删除的openai参数列表。

优云智算