Keras 3 API 文档 / Keras自然语言处理(KerasNLP) / 预训练模型 / FNet 是一种变换模型架构,它使用傅里叶变换代替标准深度神经网络中的注意力机制。傅里叶变换在理论和实践中是一种有效的工具,广泛应用于各种信号处理任务。在 FNet 中,这一变换被成功应用于文本处理任务,简化了计算并提高了模型的效率。

FNet 是一种变换模型架构,它使用傅里叶变换代替标准深度神经网络中的注意力机制。傅里叶变换在理论和实践中是一种有效的工具,广泛应用于各种信号处理任务。在 FNet 中,这一变换被成功应用于文本处理任务,简化了计算并提高了模型的效率。

FNet分词器

FNet预处理器层

FNetBackbone模型

FNet分类器模型

FNetMaskedLM模型

FNetMaskedLM预处理层