快速

快速#

rms_norm(x, weight, eps, *[, stream])

均方根归一化(RMS norm)。

layer_norm(x, weight, bias, eps, *[, stream])

层归一化。

rope(a, dims, *, traditional, base, scale, ...)

对输入应用旋转位置编码。

scaled_dot_product_attention(q, k, v, *, scale)

多头注意力的快速实现:O = softmax(Q @ K.T, dim=-1) @ V.

metal_kernel(name, input_names, ...[, ...])

从源字符串定义的jit编译的自定义Metal内核。