命令行界面

工作流程

你可以通过简单地将你的sky launch命令替换为sky bench launch来使用SkyPilot Benchmark：

# Launch mytask on a V100 VM and a T4 VM
$ sky bench launch mytask.yaml --gpus V100,T4 --benchmark mybench

第二个命令将同时在V100虚拟机和T4虚拟机上启动mytask.yaml，并使用基准名称mybench。 任务完成后，您可以使用sky bench show查看基准测试结果：

# Show the benchmark report on `mybench`
$ sky bench show mybench

CLUSTER              RESOURCES                          STATUS    DURATION  SPENT($)  STEPS  SEC/STEP  $/STEP  EST(hr)  EST($)
sky-bench-mybench-0  1x GCP(n1-highmem-8, {'V100': 1})  FINISHED  12m 51s   0.6317    -       -         -       -        -
sky-bench-mybench-1  1x AWS(g4dn.xlarge, {'T4': 1})     FINISHED  16m 19s   0.1430    -       -         -       -        -

在报告中，SkyPilot 显示了 mybench 在每个虚拟机上的持续时间和成本。 虚拟机可以通过 sky bench down 或 sky down 终止：

# Terminate all the clusters used for `mybench`
$ sky bench down mybench

# Terminate all the clusters used for `mybench` except `sky-bench-mybench-0`
$ sky bench down mybench --exclude sky-bench-mybench-0

# Terminate individual clusters as usual
$ sky down sky-bench-mybench-0

注意

由sky bench launch启动的每个集群将在任务完成后5分钟自动停止。 然而，您不必重新启动这些集群。 无论集群的状态如何，sky bench show都将提供基准测试结果。

注意

SkyPilot 基准测试不考虑配置和设置的时间/成本。 报告中的列（如 DURATION 和 SPENT($)）表示执行任务 YAML 中 run 部分所花费的时间/成本。

注意

在这里，除了DURATION和SPENT($)之外的列都是空的。 要获取完整的基准测试报告，请参考SkyCallback。

管理基准测试报告

sky bench ls 显示你拥有的基准测试报告列表：

# List all the benchmark reports
$ sky bench ls

BENCHMARK  TASK         LAUNCHED             CANDIDATE 1                    CANDIDATE 2            CANDIDATE 3            CANDIDATE 4
bert       bert_qa      2022-08-10 10:07:27  1x Standard_NC6_Promo (K80:1)  1x g4dn.xlarge (T4:1)  1x g5.xlarge (A10G:1)  1x n1-highmem-8 (V100:1)
mybench    mytask       2022-08-10 11:24:27  1x n1-highmem-8 (V100:1)       1x g4dn.xlarge (T4:1)

要删除基准测试报告，请使用 sky bench delete：

# Delete the benchmark report on `mybench`
$ sky bench delete mybench