分布式相关 » History » Version 3
jun chen, 07/26/2025 05:53 PM
| 1 | 1 | jun chen | # 分布式相关 |
|---|---|---|---|
| 2 | |||
| 3 | 从softmax到context parallell |
||
| 4 | |||
| 5 | 针对超长上下文模型训练的序列并行方案简介 |
||
| 6 | 2 | jun chen | |
| 7 | deepspeed-zero3 分享 |
||
| 8 | 3 | jun chen | |
| 9 | |A |B | |
||
| 10 | |--|--| |
||
| 11 | | 综合课程 | https://github.com/gpu-mode/lectures?tab=readme-ov-file | |
||
| 12 | | 综合课程 | https://llmsystem.github.io/llmsystem2024spring/docs/Syllabus/ | |
||
| 13 | | 纯 NLP | https://princeton-nlp.github.io/cos484/ | |
||
| 14 | | 综合课程 | https://hao-ai-lab.github.io/cse234-w25/index.html https://hao-ai-lab.github.io/dsc291-s24/ | |