pylibwholegraph.torch.embedding.create_embedding_from_filelist#
- pylibwholegraph.torch.embedding.create_embedding_from_filelist(comm: WholeMemoryCommunicator, memory_type: str, memory_location: str, filelist: Union[List[str], str], dtype: dtype, last_dim_size: int, *, cache_policy: Optional[WholeMemoryCachePolicy] = None, embedding_entry_partition: Optional[List[int]] = None, gather_sms: int = -1, round_robin_size: int = 0)#
从文件列表创建嵌入 :param comm: WholeMemoryCommunicator :param memory_type: WholeMemory 类型，应为连续、分块或分布式 :param memory_location: WholeMemory 位置，应为 cpu 或 cuda :param filelist: 文件列表 :param dtype: 数据类型 :param last_dim_size: 最后一维的大小 :param cache_policy: 缓存策略 :param embedding_entry_partition: 基于条目的等级分区;
embedding_entry_partition[i] 决定了第 i 个等级的条目数量，并且应该是一个正整数；embedding_entry_partition 的总和应该等于总条目数量；如果为 None，条目将被平均分配。
- Parameters:
gather_sms – 在收集过程中使用的SMs数量
round_robin_size – 使用轮询分片策略的连续嵌入大小
- Returns: