Shortcuts

SDPBackend

class torch.nn.attention.SDPBackend

一个类似于枚举的类,包含用于缩放点积注意力的不同后端。 这个后端类设计用于与 sdpa_kernel 上下文管理器一起使用。

The following Enums are available:
  • 错误:尝试确定后端时发生错误。

  • 数学: 用于缩放点积注意力的数学后端。

  • FLASH_ATTENTION: 用于缩放点积注意力的闪存注意力后端。

  • EFFICIENT_ATTENTION: 用于缩放点积注意力的有效注意力后端。

  • CUDNN_ATTENTION: 用于缩放点积注意力的cuDNN后端。

详情请参见 torch.nn.attention.sdpa_kernel()

警告

此类处于测试阶段,可能会发生变化。

property name
优云智算