从图的角度重新审视经典模型

  • Capsule [paper] [tutorial] [PyTorch code]: 这个新的计算机视觉模型有两个关键思想。首先,增强特征表示,采用向量形式(而不是标量),称为capsule。其次,用动态路由替代最大池化。动态路由的思想是通过非参数化的消息传递将较低层次的capsule集成到一个或多个较高层次的capsule中。一个教程展示了如何使用DGL API实现后者。

  • Transformer [paper] [tutorial] [PyTorch code]Universal Transformer [paper] [tutorial] [PyTorch code]: 这两个模型用多层多头注意力机制取代了循环神经网络(RNNs),以编码和发现句子中标记之间的结构。这些注意力机制被类似地表述为带有消息传递的图操作。

胶囊网络

Capsule Network

Transformer 作为图神经网络

Transformer as a Graph Neural Network