跳至主要内容

pb.deployments.create

注意：此方法用于创建私有无服务器部署。您也可以通过共享端点查询基础模型或微调模型。

pb.deployments.create

     创建一个新的私有无服务器部署

参数:​

       name: str
       私有无服务器部署的名称

       描述: str, 默认 None
       部署的描述

       config: 部署配置

返回:​

       部署

示例:​

创建一个新的私有无服务器部署

pb.deployments.create(
    name="my-mistral-7b",
    config=DeploymentConfig(
        base_model="mistral-7b-instruct-v0-2",
        # cooldown_time=3600,  # Value in seconds, defaults to 3600 (1hr)
        min_replicas=0,  # Auto-scales to 0 replicas when not in use
        max_replicas=1
    )
    # description="", # Optional
)

使用几种不同的配置参数：

pb.deployments.create(
  name="my-llama-3-8b",
  config=DeploymentConfig(
    base_model="llama-3-8b",
    max_total_tokens=4094,  # Change the default context window size
    quantization="fp8",  # Enable quantization
    requests_logging_enabled=True,  # Enable request logging
    preloaded_adapters=["my-adapter/1", "my-adapter/2"],  # Preload adapters for performance
    prefix_caching=True  # Enable prefix caching
  )
)

Notes
  • base_model 可以是 Hugging Face 仓库/模型路径，也可以来自可用模型列表的简称。