本文最后更新于32 天前，其中的信息可能已经过时，如有错误请发送邮件到207666282@qq.com
模型结构与模型搭建基础
- megatron-lm并行方式之tensor_parallel
- megatron-lm并行方式之sequence_parallel
- megatron-lm并行方式之expert_tensor_parallel
- megatron-lm并行方式之expert_parallel
- megatron-lm并行方式之context_parallel
- megatron-lm并行方式之pipline_parallel
- megatron-lm并行方式之data_parallel
进阶
- 并行方式初始化及其数据流
- megatron-lm训练显存占用分析
- ETP与EP
- large EP
megatron模型模块
- attention模块
- linear_attention
- MoE
- MTP
megatron功能
- recompute
- activation offload
- sequence pack
其他知识点
- 模型转换
- torch.compile
- quantization
- etc…..