欢迎来到SkyPilot!#
在任何基础设施上运行AI — 统一、更快、更便宜
SkyPilot 是一个用于在任何基础设施上运行 AI 和批量工作负载的框架,提供统一的执行、高成本节省和高 GPU 可用性。
SkyPilot 抽象化了基础设施的负担:
SkyPilot 支持多个集群、云和硬件 (the Sky):
带上您预留的GPU、Kubernetes集群或12+云服务
灵活的资源调配 GPU、TPU、CPU,并自动重试
SkyPilot 降低您的云成本并最大化GPU可用性:
Autostop: 自动清理闲置资源
Managed Spot: 使用 spot 实例节省 3-6 倍成本,具有抢占自动恢复功能
Optimizer: 通过自动选择最便宜且最可用的基础设施,节省2倍成本
SkyPilot 支持您现有的 GPU、TPU 和 CPU 工作负载,无需更改代码。
当前支持的基础设施 (Kubernetes; AWS, GCP, Azure, OCI, Lambda Cloud, Fluidstack, RunPod, Cudo, Paperspace, Cloudflare, Samsung, IBM, VMware vSphere):
准备好开始了吗?#
安装 SkyPilot 只需1分钟。然后,在快速入门中,2分钟内启动您的第一个开发集群。
SkyPilot 是 BYOC:所有内容都在您的云账户、VPC 和集群中启动。
联系SkyPilot团队#
您可以在SkyPilot Slack上与SkyPilot团队和社区聊天。
了解更多#
要了解更多信息,请参阅概念:天空计算和SkyPilot博客。
可运行的示例:
SkyPilot上的LLMs
Mixtral 8x7B; Mistral 7B (来自官方的Mistral团队)
vLLM: 在云端以24倍速度服务LLM (来自官方vLLM团队)
SGLang: 快速且富有表现力的云端LLM服务 (来自官方SGLang团队)
Vicuna 聊天机器人:训练与部署(来自官方 Vicuna 团队)
在这里添加你的内容,并在llm/中查看更多!
框架示例:PyTorch DDP, DeepSpeed, JAX/Flax on TPU, Stable Diffusion, Detectron2, Distributed TensorFlow, NeMo, programmatic grid search, Docker, Cog, Unsloth, Ollama, llm.c, Airflow 和 更多。
案例研究和集成:社区聚焦
关注更新:
阅读研究:
SkyPilot 论文 和 演讲 (NSDI 2023)
Sky Computing 愿景论文 (HotOS 2021)