James Demmel 教授 (加州大学伯克利分校): Colossal-AI 让分布式训练高效、易用、可扩展。
(返回顶端)
Colossal-AI 为您提供了一系列并行训练组件。我们的目标是让您的分布式 AI 模型训练像普通的单 GPU 模型一样简单。我们提供的友好工具可以让您在几行代码内快速开始分布式训练。
- 并行化策略
- 数据并行
- 流水线并行
- 1维, 2维, 2.5维, 3维 张量并行
- 序列并行
- 零冗余优化器 (ZeRO)
- 异构内存管理
- 使用友好
- 基于参数文件的并行化
(返回顶端)
- 14倍批大小和5倍训练速度（张量并行=64）
- 释放 50% GPU 资源占用, 或 10.7% 加速
- 降低11倍 GPU 显存占用，或超线性扩展（张量并行）
GPT-2.png)
- 用相同的硬件条件训练24倍大的模型
- 超3倍的吞吐量
- 2倍训练速度，或1.5倍序列长度
- PaLM-colossalai: 可扩展的谷歌 Pathways Language Model (PaLM) 实现。
请访问我们的文档和教程以了解详情。
(返回顶端)
- 用相同的硬件条件训练20倍大的模型
- 用相同的硬件条件训练34倍大的模型
您可以访问我们下载页面来安装Colossal-AI，在这个页面上发布的版本都预编译了CUDA扩展。
此文档将与版本库的主分支保持一致。如果您遇到任何问题，欢迎给我们提 issue :)
git clone https://github.com/hpcaitech/ColossalAI.git
cd ColossalAI
# install dependency
pip install -r requirements/requirements.txt
# install colossalai
pip install .如果您不想安装和启用 CUDA 内核融合（使用融合优化器时强制安装）：
NO_CUDA_EXT=1 pip install .(返回顶端)
运行以下命令从我们提供的 docker 文件中建立 docker 镜像。
cd ColossalAI
docker build -t colossalai ./docker运行以下命令从以交互式启动 docker 镜像.
docker run -ti --gpus all --rm --ipc=host colossalai bash(返回顶端)
欢迎通过论坛, Slack, 或微信加入 Colossal-AI 社区，与我们分享你的建议和问题。
欢迎为该项目做出贡献，请参阅贡献指南。
真诚感谢所有贡献者！
贡献者头像的展示顺序是随机的。
(返回顶端)
parallel = dict(
pipeline=2,
tensor=dict(mode='2.5d', depth = 1, size=4)
)zero = dict(
model_config=dict(
tensor_placement_policy='auto',
shard_strategy=TensorShardStrategy(),
reuse_fp16_shard=True
),
optimizer_config=dict(initial_scale=2**5, gpu_margin_mem_ratio=0.2)
)(返回顶端)
@article{bian2021colossal,
title={Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel Training},
author={Bian, Zhengda and Liu, Hongxin and Wang, Boxiang and Huang, Haichen and Li, Yongbin and Wang, Chuanrui and Cui, Fan and You, Yang},
journal={arXiv preprint arXiv:2110.14883},
year={2021}
}
(返回顶端)