-
Megatron-LM源码系列(一)：模型并行初始化: https://www.mltalks.com/posts/2207923116/
-
Megatron-LM源码系列(六)：Distributed-Optimizer分布式优化器实现Part1: https://www.mltalks.com/posts/3749485165/
-
深入理解 Megatron-LM（1）基础知识：https://zhuanlan.zhihu.com/p/650234985
Megatron-LM源码系列(一)：模型并行初始化: https://www.mltalks.com/posts/2207923116/
Megatron-LM源码系列(六)：Distributed-Optimizer分布式优化器实现Part1: https://www.mltalks.com/posts/3749485165/
深入理解 Megatron-LM（1）基础知识：https://zhuanlan.zhihu.com/p/650234985