BAIZE AI RESOURCE

AI训练任务管理系统

Pai

Pai 仓库提供 OpenPAI 集群系统，用于在自有或云端集群中提交和管理深度学习任务。用户可以通过网页门户上传任务配置，或从任务模板中选择示例，减少多人共用计算资源时的任务提交和资源管理负担。

获取资源
Pai

资源介绍

Pai 仓库提供 OpenPAI 的部署文件、网页门户及任务示例，面向需要在集群中运行深度学习任务的团队。管理员需要先准备集群并完成配置、部署；使用者随后可在网页门户提交任务，例如上传任务 YAML 配置，或从任务模板中选择配置。仓库还提供 PyTorch、TensorFlow 等训练示例，便于将已有训练任务整理成可提交的配置。它解决的是多人使用集群时，任务提交入口分散、计算资源需要统一管理的问题；并非打开网页就能直接使用的在线训练服务。

核心能力

网页提交训练任务

网页门户的任务提交插件支持上传 job v2 YAML 文件、选择任务模板，或填写表单创建任务配置。

训练任务示例

仓库包含 PyTorch、TensorFlow 等框架的图像分类任务配置示例，可作为编写集群任务配置的参考。

集群扩缩容配套工具

仓库提供独立的 Autoscaler 工具；在文档所述的 Azure 虚拟机环境中，可依据集群状态调整工作节点数量。

使用方法

  1. 由管理员准备 Kubernetes 集群，并填写 OpenPAI 的集群配置。

  2. 按仓库提供的部署配置安装 OpenPAI；采用 Azure AKS Engine 方案时，需另行准备 Azure 资源和相应工具。

  3. 部署完成后，使用者进入网页门户，上传任务 YAML、选择任务模板或填写任务配置并提交。

使用案例

提交图像分类训练

使用场景研究团队需要在集群中运行 PyTorch 图像分类任务。

参考仓库中的 PyTorch 任务示例准备配置，再通过网页门户提交任务，交由已部署的 OpenPAI 集群运行。

按负载调整 Azure 集群

使用场景管理员需要随集群使用情况调整工作节点。

在符合文档所述条件的 Azure 虚拟机集群中配置并运行独立的 Autoscaler，使其监测集群状态并调整节点数量。

包含内容

pai-source.zip
README-中文安装说明.md
LICENSE-MIT.txt
THIRD-PARTY-NOTICES.md
SHA256.txt

常见问题

网页门户可以通过哪些方式提交 job v2？
仓库提供的 Submit Job v2 插件支持上传本地 YAML 文件、从任务模板中选择，或使用表单填写任务配置；该插件需要单独构建并配置到网页门户。
在 Azure 上使用集群自动扩缩容需要配置什么？
仓库中的独立 Autoscaler 工具要求在配置文件中填写 OpenPAI REST 服务地址、访问令牌和 Azure 资源组，并登录 Azure 后运行。
仓库提供哪些训练任务示例？
仓库列有 PyTorch、TensorFlow 的 CIFAR-10 示例，以及多个分布式训练任务配置，可用于参考如何编写提交给集群的任务。