兼容性矩阵¶

以下表格展示了互斥功能特性及在某些硬件上的支持情况。

使用的符号具有以下含义：

注意

检查带有链接的❌或🟠，查看不支持功能/硬件组合的跟踪问题。

功能 x 功能¶

功能	CP	APC	LoRA	SD	CUDA图	池化	编码-解码	对数概率	提示对数概率	异步输出	多步	多模态	最优选择	束搜索
CP	✅
APC	✅	✅
LoRA	✅	✅	✅
SD	✅	✅	❌	✅
CUDA图	✅	✅	✅	✅	✅
pooling	🟠*	🟠*	✅	❌	✅	✅
enc-dec	❌	❌	❌	❌	✅	✅	✅
logP	✅	✅	✅	✅	✅	❌	✅	✅
prmpt logP	✅	✅	✅	✅	✅	❌	✅	✅	✅
异步输出	✅	✅	✅	❌	✅	❌	❌	✅	✅	✅
多步骤	❌	✅	❌	❌	✅	❌	❌	✅	✅	✅	✅
mm	✅	✅	🟠^{^}	❔	✅	✅	✅	✅	✅	✅	❔	✅
best-of	✅	✅	✅	❌	✅	❌	✅	✅	✅	❔	❌	✅	✅
beam-search	✅	✅	✅	❌	✅	❌	✅	✅	✅	❔	❌	❔	✅	✅

* 分块预填充和前缀缓存仅适用于最后词元池化。
^{^} LoRA仅适用于多模态模型的语言主干部分。

特性	Volta	Turing	Ampere	Ada	Hopper	CPU	AMD	TPU
CP	❌	✅	✅	✅	✅	✅	✅	✅
APC	❌	✅	✅	✅	✅	✅	✅	✅
LoRA	✅	✅	✅	✅	✅	✅	✅	✅
SD	✅	✅	✅	✅	✅	✅	✅	❌
CUDA图	✅	✅	✅	✅	✅	❌	✅	❌
pooling	✅	✅	✅	✅	✅	✅	✅	❌
编码-解码	✅	✅	✅	✅	✅	✅	❌	❌
mm	✅	✅	✅	✅	✅	✅	✅	❌
logP	✅	✅	✅	✅	✅	✅	✅	❌
提示词日志概率	✅	✅	✅	✅	✅	✅	✅	❌
异步输出	✅	✅	✅	✅	✅	❌	❌	❌
多步骤	✅	✅	✅	✅	✅	❌	✅	❌
best-of	✅	✅	✅	✅	✅	✅	✅	❌
beam-search	✅	✅	✅	✅	✅	✅	✅	❌

注意

有关AWS Neuron硬件支持的功能，请参阅通过NxD Inference后端实现的功能支持