大模型基础架构岗面经
- moe和dense模型的区别,各自的优缺点 a. 参数量,计算量,训练效果,如何选择
- deepspeed原理,你是否可以从理论上对 ds 的 stage3 阶段的性能进行分析
- 混合并行策略是否了解,介绍一下 TP,PP,DP 的使用场景
- 介绍一下混合精度训练的原理和优势 ● 追问量化技术是否了解
- 是否了解 Hopper 架构的新特性,对 flash-attention3 是否了解,两者的结合如何
- 介绍一下 SM,SP,warp 相关概念和关系(感觉想问 warp-group...
- 力扣手撕:岛屿数量
- 未来发展方向,对 LLM 行业的态度及意向