Skip to main content

模型管理

添加新模型 + 无需重启代理即可获取模型信息。

在 Config.yaml 中​

model_list:
  - model_name: text-davinci-003
    litellm_params: 
      model: "text-completion-openai/text-davinci-003"
    model_info: 
      metadata: "这里是关于模型的额外元数据" # 通过 GET /model/info 返回

获取模型信息 - /model/info​

从 /model/info 端点检索每个模型的详细信息，包括来自 config.yaml 文件的描述，以及从您设置的 model_info 和 litellm 模型成本映射中提取的额外模型信息（例如，最大令牌数、每个输入令牌的成本等）。出于安全考虑，敏感信息如 API 密钥被排除。

curl -X GET "http://0.0.0.0:4000/model/info" \
     -H "accept: application/json" \

添加新模型​

通过 /model/new API 向代理添加新模型，无需重启代理即可添加模型。

curl -X POST "http://0.0.0.0:4000/model/new" \
    -H "accept: application/json" \
    -H "Content-Type: application/json" \
    -d '{ "model_name": "azure-gpt-turbo", "litellm_params": {"model": "azure/gpt-3.5-turbo", "api_key": "os.environ/AZURE_API_KEY", "api_base": "my-azure-api-base"} }'

模型参数结构​

添加新模型时，您的 JSON 有效载荷应符合以下结构：

  • model_name: 新模型的名称（必填）。
  • litellm_params: 包含特定于 Litellm 设置的参数的字典（必填）。
  • model_info: 提供有关模型的额外信息的可选字典。

以下是如何构建您的 ModelParams 的示例：

{
  "model_name": "my_awesome_model",
  "litellm_params": {
    "some_parameter": "some_value",
    "another_parameter": "another_value"
  },
  "model_info": {
    "author": "Your Name",
    "version": "1.0",
    "description": "模型的简要描述。"
  }
}

请记住，由于这两个端点都处于 [BETA] 阶段，您可能需要访问 API 描述中链接的相关 GitHub 问题以检查更新或提供反馈：

对 beta 端点的反馈非常有价值，并有助于为所有用户改进 API。

添加额外模型信息​

如果您希望为模型添加显示名称、描述和标签，只需使用 model_info:

model_list:
  - model_name: "gpt-4"
    litellm_params:
      model: "gpt-4"
      api_key: "os.environ/OPENAI_API_KEY"
    model_info: # 👈 关键更改
      my_custom_key: "my_custom_value"

使用方法​

  1. 添加额外信息到模型
model_list:
  - model_name: "gpt-4"
    litellm_params:
      model: "gpt-4"
      api_key: "os.environ/OPENAI_API_KEY"
    model_info: # 👈 关键更改
      my_custom_key: "my_custom_value"
  1. 使用 /model/info 调用

使用有权访问模型 gpt-4 的密钥。

curl -L -X GET 'http://0.0.0.0:4000/v1/model/info' \
-H 'Authorization: Bearer LITELLM_KEY' \
  1. 预期响应

返回的 model_info = 您的自定义 model_info + (如果存在) LITELLM 模型信息

LiteLLM 模型信息如何找到

告诉我们如何改进这一点！

{
    "data": [
        {
            "model_name": "gpt-4",
            "litellm_params": {
                "model": "gpt-4"
            },
            "model_info": {
                "id": "e889baacd17f591cce4c63639275ba5e8dc60765d6c553e6ee5a504b19e50ddc",
                "db_model": false,
                "my_custom_key": "my_custom_value", # 👈 自定义信息
                "key": "gpt-4", # 👈 LiteLLM 模型信息/成本映射中的键 - https://github.com/BerriAI/litellm/blob/main/model_prices_and_context_window.json
                "max_tokens": 4096,
                "max_input_tokens": 8192,
                "max_output_tokens": 4096,
                "input_cost_per_token": 3e-05,
                "input_cost_per_character": null,
                "input_cost_per_token_above_128k_tokens": null,
                "output_cost_per_token": 6e-05,
                "output_cost_per_character": null,
                "output_cost_per_token_above_128k_tokens": null,
                "output_cost_per_character_above_128k_tokens": null,
                "output_vector_size": null,
                "litellm_provider": "openai",
                "mode": "chat"
            }
        },
    ]
}

什么是 3D 打印？​

3D 打印（也称为增材制造）是一种通过逐层构建材料来创建三维物体的工艺。这个过程从 3D 模型开始，通常是使用计算机辅助设计 (CAD) 软件创建的。

3D 打印的工作原理​

3D 打印机使用各种材料，包括塑料、金属、陶瓷和生物材料，将 3D 模型转化为物理对象。基本步骤包括：

  1. 创建 3D 模型：使用 CAD 软件设计物体。
  2. 切片：将 3D 模型分割成数百或数千个薄层。
  3. 打印：3D 打印机逐层构建物体，通常从底部开始，逐渐向上。

3D 打印的应用​

3D 打印在多个行业中具有广泛的应用，包括：

  • 医疗保健：用于制作定制假肢、植入物和医疗设备。
  • 汽车工业：用于快速原型制作和生产轻量化部件。
  • 航空航天：用于制造高强度、轻量化的组件。
  • 消费品：用于按需生产定制产品。

3D 打印的类型​

  1. 熔融沉积建模 (FDM)：最常见的 3D 打印技术，使用热塑性细丝。
  2. 选择性激光烧结 (SLS)：使用激光熔化粉末材料。
  3. 立体光刻 (SLA)：使用激光固化液体树脂。
  4. 数字光处理 (DLP)：类似于 SLA，但使用数字光源。

3D 打印的优势​

  • 定制化：能够生产高度定制的物品。
  • 速度：比传统制造方法更快地创建原型。
  • 成本效益：减少了材料浪费和生产成本。
  • 复杂性：可以制造复杂的几何形状，这在传统制造中难以实现。

3D 打印的挑战​

  • 材料限制：可用的材料种类有限。
  • 表面光洁度：打印物品的表面可能不够光滑。
  • 尺寸限制：打印机的构建体积可能限制了物体的大小。
  • 成本：高质量 3D 打印机的初始投资可能很高。

3D 打印的未来​

随着技术的进步，3D 打印有望变得更加高效、多功能和经济实惠。未来可能会看到更多行业采用 3D 打印，从而彻底改变产品的设计和制造方式。

优云智算