是否了解萃取技术，偏特化全特化（为什么乱入了模版编程）模型的并行策略有什么，策略的选择是如何确定的，如何排序并行策略组你对于流水线并行的理解是什么对于数据并行的理解解决显存不够的方法有哪些，对显存优化的选择有什么看法什么是 scale lawdeepspeed的特点是什么？各个zero stage都有什么用？对于长文本的训练，有什么解决优化方案请介绍一下 transformer 的结构没有手撕，美滋滋

moe和dense模型的区别，各自的优缺点 a. 参数量，计算量，训练效果，如何选择deepspeed原理，你是否可以从理论上对 ds 的 stage3 阶段的性能进行分析混合并行策略是否了解，介绍一下 TP，PP，DP 的使用场景介绍一下混合精度训练的原理和优势 ● 追问量化技术是否了解是否了解 Hopper 架构的新特性，对 flash-attention3 是否了解，两者的结合如何介绍一下 SM，SP，warp 相关概念和关系（感觉想问 warp-group...力扣手撕：岛屿数量未来发展方向，对 LLM 行业的态度及意向

1. 当训练推理卡规模倍增的情况下，最容易产生瓶颈的位置可能是什么  a. 请展开分析产生的原因  b. 对于此类问题，有什么优化或者缓解方案2. 请解释并介绍一下 Roofline 模型，如何判断性能已经达到计算瓶颈3. 在 C++中，若数组越界写使得其他的数据结构被写坏了，工程现场保留了 coredump 文件，你应该如何排查这个错误4. 请介绍一下你理解的 Flash-attention5. 当进行 GEMM 计算时，一定可以保证它是一个计算瓶颈算子吗，如果要你去优化它，你的思路是什么。6. 对于性能优化的定位和瓶颈的检测，你有什么方法吗7. 手撕：手写包含 GQA 的 attention 模块实现#面经##infra#

第一次在牛客上写代码题，有一个问题。这个题目我测了几组感觉是没有问题的，并且提供的测试用例也是正确的。但是提交之后显示是错误，通过率为0%。我不知道是我输出格式的问题还是超时的问题，因为没有提示。希望大家能指点一下 #include<iostream> #include<algorithm> #include<vector> #include<map> #include<math.h> using namespace std; int main(){     ...