推测性

模块

modelopt.torch.speculative.config	推测解码模式的配置。
modelopt.torch.speculative.eagle	鹰优化方法。
modelopt.torch.speculative.medusa	美杜莎优化方法。
modelopt.torch.speculative.mode	此模块包含量化模式的模式描述符。
modelopt.torch.speculative.plugins	处理第三方模块的推测性插件。
modelopt.torch.speculative.redrafter	Redrafter 优化方法。
modelopt.torch.speculative.speculative_decoding	面向用户的API，用于将模型转换为modelopt.torch.speculative.MedusaModel。
modelopt.torch.speculative.utils	用于推测性解码的工具。

推测解码优化。