moe和dense模型的区别，各自的优缺点 a. 参数量，计算量，训练效果，如何选择deepspeed原理，你是否可以从理论上对 ds 的 stage3 阶段的性能进行分析混合并行策略是否了解，介绍一下 TP，PP，DP 的使用场景介绍一下混合精度训练的原理和优势 ● 追问量化技术是否了解是否了解 Hopper 架构的新特性，对 flash-attention3 是否了解，两者的结合如何介绍一下 SM，SP，warp 相关概念和关系（感觉想问 warp-group...力扣手撕：岛屿数量未来发展方向，对 LLM 行业的态度及意向