配置

推测解码模式的配置。

ModeloptConfig EagleConfig

基础：ModeloptBaseConfig

Eagle 配置。

显示默认配置为JSON

{
   "eagle_num_layers": 1
}

field eagle_num_layers: int

显示详情

在eagle模型中使用的解码器数量。

ModeloptConfig MedusaConfig

基础：ModeloptBaseConfig

Medusa 配置。

显示默认配置为JSON

{
   "medusa_num_heads": 2,
   "medusa_num_layers": 1
}

field medusa_num_heads: int

显示详情

添加到模型中的美杜莎头数量。

field medusa_num_layers: int

显示详情

在medusa头中使用的ResBlocks数量。

ModeloptConfig RedrafterConfig

基础：ModeloptBaseConfig

Redrafter 配置。

显示默认配置为JSON

{
   "redrafter_predict_n_tokens": 2,
   "redrafter_num_layers": 1
}

field redrafter_num_layers: int

显示详情

在lm头中使用的ResBlocks数量。

field redrafter_predict_n_tokens: int

显示详情

redrafter 将预测的 token 数量