蚂蚁 算法工程一面

投的是算法工程 算法工程岗位。做的是 Ai infra。
实际上是做大模型推理加速训练加速之类的优化框架， 没啥经验。
1. 自我介绍
2. 介绍一下自己第二段实习遇到的难点（就从算法和工程两块随便说了一点）
3.C++指针和引用的区别
4.STL 常用吗？ map 的具体实现懂吗？（红黑树，不过用 umap 更多，哈希表）
5.那你介绍一下哈希表的常用实现方式。（就讲了一下拉链法， 桶，重哈希啥的）
6. 智能指针了解吗？ 介绍一下
7. 右值引用知道吗？移动语义介绍一下。
8.transformer 的结构了解吗？介绍一下
9.有了解过大模型的并行优化方式吗？（随便讲了一下模型并行 数据并行 流水线并行）
10.那我现在一个 gpu 都放不下一层怎么办？（张量并行）
11.那你知道张量并行怎么设计吗？就是矩阵之类的怎么拆？（这个不太了解了）
12. deepspeed 和 megatronLM 有了解吗？（不太了解其实，只用过，什么 3D 并行
13.flash attention 有了解吗？（大概讲了一下 QKV 中间状态不保存， 后向重新计算， 还有 softmax 分块计算）
代码题
字符串反转 to be or not to be 反转成 be to not or be to

整体而言不难，但是主要是整体问的都比较底层和框架一点，其实都不太了解， 不知道面试官咋看。