🆕 dgl.graphbolt
dgl.graphbolt 是一个用于GNN的数据加载框架,它为数据管道的每个阶段提供了定义良好的API和多种标准实现。
Dataset
数据集是图结构数据、特征数据和任务的集合。
一个抽象的数据集,提供了访问训练所需数据的抽象。 |
|
一个从磁盘读取图拓扑、特征数据和训练/验证/测试集的磁盘数据集。 |
|
一个实用类,用于从AWS S3下载内置数据集并将其加载为 |
|
一个用于传统DGLDataset的Graphbolt数据集。 |
|
一个抽象任务,由元信息和训练/验证/测试集组成。 |
图表
图是节点和边的集合。它可以是同构图或异构图。
用于采样图的类。 |
|
CSC格式的采样图。 |
特征与特征存储
特征是一组数据(张量、数组)。特征存储是特征的集合。
用于访问的特征数据的包装器。 |
|
一个用于管理多个访问功能的存储。 |
|
一个基本的功能存储,用于管理多个功能以供访问。 |
|
一个基于pytorch的特征包装器。 |
|
一个用于管理多个基于pytorch的功能以供访问的存储。 |
|
GPU缓存的特性包装了一个备用特性。 |
DataLoader
数据加载器用于遍历数据集并生成小批量数据。
多进程数据加载器。 |
ItemSet
一个项目集是一个可迭代的项目集合。
张量或张量元组的包装器。 |
|
Dictionary wrapper of ItemSet. |
ItemSampler
项目采样器用于从项目集中采样项目。
一个用于遍历输入项并创建子集的采样器。 |
|
一个采样器,用于迭代输入项并分布式创建子集。 |
MiniBatch
小批量是采样子图及其对应特征的集合。它是训练GNN模型的基本单位。
用于graphbolt中数据结构的复合数据类。 |
|
一个用于操作小批量数据的小批量转换器。 |
NegativeSampler
负采样器用于从小批量中采样负样本。
用于生成负样本并返回正负样本混合的负采样器。 |
|
基于均匀分布为每个源节点采样负目标节点。 |
SubgraphSampler
子图采样器用于从图中采样子图。
用于从较大图中的给定节点集中采样子图的子图采样器。 |
|
一个用于采样子图的抽象类。 |
|
从图中采样邻居边并返回一个子图。 |
|
从图中采样邻居边并返回子图。 |
|
CSCSamplingGraph的采样子图。 |
|
对给定节点的入边所诱导的子图进行采样。 |
FeatureFetcher
特征提取器用于从特征存储中提取特征。
用于在graphbolt中获取节点/边的特征的特征提取器。 |
CopyTo
此数据管道用于将数据复制到设备。
将从前一个DataPipe生成的每个元素传输到给定设备的DataPipe。 |
实用工具
从CSC表示创建一个FusedCSCSamplingGraph对象。 |
|
从共享内存加载一个FusedCSCSamplingGraph对象。 |
|
将DGLGraph转换为FusedCSCSamplingGraph。 |
|
将规范的etype从字符串转换为元组。 |
|
将规范的etype从元组转换为字符串。 |
|
测试 elements 的每个元素是否在 test_elements 中。 |
|
设置Graphbolt的随机种子。 |
|
返回一个新的张量,该张量使用索引中的条目沿维度dim对输入张量进行索引。 |
|
将给定的indptr偏移张量转换为COO格式张量。 |
|
此函数查找给定edges的反向边并返回它们的组合。 |
|
从迷你批次中的采样子图中排除种子边及其反向边。 |
|
将csc格式中的行(源)ID重新标记为从0开始的连续范围,并返回每种类型的原始行节点ID。 |
|
压缩节点张量列表。 |
|
紧凑的csc格式并返回唯一的节点(按类型)。 |