分布式相关¶

从softmax到context parallell

针对超长上下文模型训练的序列并行方案简介

deepspeed-zero3 分享

A	B
综合课程	https://github.com/gpu-mode/lectures?tab=readme-ov-file
综合课程	https://llmsystem.github.io/llmsystem2024spring/docs/Syllabus/
纯 NLP	https://princeton-nlp.github.io/cos484/
综合课程	https://hao-ai-lab.github.io/cse234-w25/index.html https://hao-ai-lab.github.io/dsc291-s24/

Files (0)

AI_ML