Slurm¶

这包含了TorchX Slurm调度器，可用于在Slurm集群上运行TorchX组件。

class torchx.schedulers.slurm_scheduler.SlurmScheduler(session_name: str)[source]¶

基础类: DirWorkspaceMixin, Scheduler[SlurmOpts]

SlurmScheduler 是 TorchX 与 slurm 的调度接口。TorchX 期望 slurm CLI 工具在本地已安装并且作业计费功能已启用。

每个应用程序定义都是通过sbatch使用异构作业进行调度的。每个角色的每个副本都有一个独特的shell脚本，其中包含其资源分配和参数，然后使用sbatch一起启动它们。

日志可以通过torchx log以组合形式获取，也可以通过编程API获取，并且在作业启动目录中以slurm---.out的形式存在。如果TorchX运行在与作业创建目录不同的目录中，则无法找到日志。

传递给它的某些配置选项会作为SBATCH参数添加到每个副本中。有关参数的详细信息，请参见https://slurm.schedmd.com/sbatch.html#SECTION_OPTIONS。

Slurm作业继承当前活动的conda或virtualenv并在当前工作目录中运行。这与local_cwd调度器的行为一致。

更多信息请参见：

$ torchx run --scheduler slurm utils.echo --msg hello
slurm://torchx_user/1234
$ torchx status slurm://torchx_user/1234
$ less slurm-1234.out
...

配置选项

    usage:
        [partition=PARTITION],[time=TIME],[comment=COMMENT],[constraint=CONSTRAINT],[mail-user=MAIL-USER],[mail-type=MAIL-TYPE],[job_dir=JOB_DIR]

    optional arguments:
        partition=PARTITION (str, None)
            The partition to run the job in.
        time=TIME (str, None)
            The maximum time the job is allowed to run for. Formats:             "minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours",             "days-hours:minutes" or "days-hours:minutes:seconds"
        comment=COMMENT (str, None)
            Comment to set on the slurm job.
        constraint=CONSTRAINT (str, None)
            Constraint to use for the slurm job.
        mail-user=MAIL-USER (str, None)
            User to mail on job end.
        mail-type=MAIL-TYPE (str, None)
            What events to mail users on.
        job_dir=JOB_DIR (str, None)
            The directory to place the job code and outputs. The
            directory must not exist and will be created. To enable log
            iteration, jobs will be tracked in ``.torchxslurmjobdirs``.
            

兼容性

功能	调度器支持
获取日志	✔️
分布式作业	✔️
取消任务	✔️
描述工作	部分支持。SlurmScheduler 将返回作业和副本状态，但不提供完整的原始 AppSpec。
工作区 / 补丁	如果指定了 ``job_dir``，DirWorkspaceMixin 将创建一个新的隔离目录，其中包含工作区的快照。
挂载	❌
弹性	❌

如果一个分区配置的RealMemory少于1GB，我们将禁用内存请求以解决https://github.com/aws/aws-parallelcluster/issues/2198。

describe(app_id: str) → Optional[DescribeAppResponse][source]¶

描述指定的应用程序。

Returns:: AppDef 描述或如果应用程序不存在则为 None。

list() → List[ListAppResponse][source]¶: 对于在调度程序上启动的应用程序，此API返回一个ListAppResponse对象列表，每个对象都包含应用程序ID及其状态。注意：此API处于原型阶段，可能会发生变化。

log_iter(app_id: str, role_name: str, k: int = 0, regex: Optional[str] = None, since: Optional[datetime] = None, until: Optional[datetime] = None, should_tail: bool = False, streams: Optional[Stream] = None) → Iterable[str][source]¶

返回一个迭代器，用于遍历k``th replica of the ``role的日志行。当所有符合条件的日志行都被读取后，迭代器结束。

如果调度程序支持基于时间的光标获取自定义时间范围内的日志行，则since和until字段会被尊重，否则它们会被忽略。不指定since和until等同于获取所有可用的日志行。如果until为空，则迭代器的行为类似于tail -f，跟随日志输出直到作业达到终止状态。

日志的确切定义取决于调度程序。一些调度程序可能将stderr或stdout视为日志，而其他调度程序可能从日志文件中读取日志。

行为和假设：

如果在一个不存在的应用程序上调用，会产生未定义行为调用者应在调用此方法之前使用exists(app_id)检查应用程序是否存在。
不是有状态的，使用相同参数调用此方法两次会返回一个新的迭代器。之前的迭代进度会丢失。
并不总是支持日志尾部查看。并非所有调度器都支持实时日志迭代（例如，在应用程序运行时查看日志尾部）。请参考特定调度器的文档以了解迭代器的行为。

3.1 If the scheduler supports log-tailing, it should be controlled: 通过 should_tail 参数。

不保证日志的保留。当调用此方法时，底层调度程序可能已经清除了此应用程序的日志记录。如果是这样，此方法会引发任意异常。
如果 should_tail 为 True，该方法仅在可访问的日志行完全耗尽且应用程序达到最终状态时引发 StopIteration 异常。例如，如果应用程序卡住并且不产生任何日志行，则迭代器会阻塞，直到应用程序最终被终止（无论是通过超时还是手动），此时它会引发 StopIteration。

如果 should_tail 为 False，当没有更多日志时，该方法会引发 StopIteration。
不需要所有调度程序都支持。
一些调度器可能通过支持__getitem__来支持行光标（例如iter[50]跳转到第50条日志行）。
Whitespace is preserved, each new line should include \n. To
支持交互式进度条，返回的行不需要包含\n，但应在打印时不换行以正确处理\r回车符。

Parameters:: streams – 要选择的IO输出流。选项之一：combined, stdout, stderr。如果调度程序不支持所选的流，它将抛出一个ValueError。
Returns:: 一个Iterator，用于遍历指定角色副本的日志行
Raises:: NotImplementedError – 如果调度程序不支持日志迭代

schedule(dryrun_info: AppDryRunInfo[SlurmBatchRequest]) → str[source]¶

与submit相同，只是它接受一个AppDryRunInfo。鼓励实现者实现此方法，而不是直接实现submit，因为submit可以通过以下方式轻松实现：

dryrun_info = self.submit_dryrun(app, cfg)
return schedule(dryrun_info)

torchx.schedulers.slurm_scheduler.create_scheduler(session_name: str, **kwargs: Any) → SlurmScheduler[source]¶

class torchx.schedulers.slurm_scheduler.SlurmBatchRequest(cmd: List[str], replicas: Dict[str, SlurmReplicaRequest], job_dir: Optional[str], max_retries: int)[source]¶

保存用于通过sbatch启动slurm作业的参数。

materialize() → str[source]¶: materialize 返回可以传递给 sbatch 以运行作业的脚本内容。

class torchx.schedulers.slurm_scheduler.SlurmReplicaRequest(name: str, entrypoint: str, args: List[str], srun_opts: Dict[str, str], sbatch_opts: Dict[str, Optional[str]], env: Dict[str, str])[source]¶

保存了在slurm上运行的单个副本的参数，并且可以具体化为一个bash脚本。

classmethod from_role(name: str, role: 角色, cfg: SlurmOpts, nomem: bool) → SlurmReplicaRequest[source]¶: from_role 为特定角色和名称创建一个 SlurmReplicaRequest。

materialize() → Tuple[List[str], List[str]][source]¶: materialize 返回此角色的 sbatch 和 srun 组。它们应按照 slurm 异构组使用 : 进行组合。