跳至主要内容

UpdateDeploymentConfig

以下是更新部署配置的类定义。它继承自Pydantic中定义的BaseModel。

class UpdateDeploymentConfig(BaseModel):
    cooldown_time: PositiveInt | None = Field(default=None)
    custom_args: list[str] | None = Field(default=None)
    hf_token: str | None = Field(default=None)
    min_replicas: NonNegativeInt | None = Field(default=None)
    max_replicas: PositiveInt | None = Field(default=None)
    scale_up_threshold: PositiveInt | None = Field(default=None)
    max_total_tokens: int | None = Field(default=None)
    lorax_image_tag: str | None = Field(default=None)
    request_logging_enabled: bool | None = Field(default=None)
    direct_ingress: bool | None = Field(default=None)
    preloaded_adapters: list[str] | None = Field(default=None)
    speculator: str | None = Field(default=None)
    prefix_caching: bool | None = Field(default=None)

这些字段的含义与DeploymentConfig中的字段相同。

请注意，有大量（高级）配置参数是通过custom_args字段配置的。更多信息请参阅DeploymentConfig的custom_args部分。

所有这些字段的默认值都是None。在更新部署时，任何设置为None的字段将保持其当前部署值不变。非None字段将被更新为字段中指定的值。 更多信息请参阅更新部署。

NOTES
  • 要将lorax版本更新至最新支持的版本，请将lorax_image_tag设置为。
  • 当更新为新的custom_args值时，必须提供新custom_args字段的完整值。例如，如果现有值是['foo']而您希望它变为['foo', 'bar']，则必须提供['foo', 'bar']作为新值。