推测性
模块
推测解码模式的配置。 |
|
鹰优化方法。 |
|
美杜莎优化方法。 |
|
此模块包含量化模式的模式描述符。 |
|
处理第三方模块的推测性插件。 |
|
Redrafter 优化方法。 |
|
面向用户的API,用于将模型转换为modelopt.torch.speculative.MedusaModel。 |
|
用于推测性解码的工具。 |
推测解码优化。
模块
推测解码模式的配置。 |
|
鹰优化方法。 |
|
美杜莎优化方法。 |
|
此模块包含量化模式的模式描述符。 |
|
处理第三方模块的推测性插件。 |
|
Redrafter 优化方法。 |
|
面向用户的API,用于将模型转换为modelopt.torch.speculative.MedusaModel。 |
|
用于推测性解码的工具。 |
推测解码优化。