科大讯飞 飞星计划 NLP方向 二面面经

岗位：AI研究算法工程师-深度学习框架和平台方向发个面经攒攒人品  - 自我介绍；  - 大四毕设就做32卡训练？资源那里的；  - 训练&推理那个更想做那个、那个更擅长；  - 对CDUA、OpenCL的了解程度；  - 千卡分布式训练项目介绍；  - 介绍LAMB优化器、和Adam比较；  - LAMB优化器和分布式有什么关系；  - FP16量化训练的策略；O0、O1、O2、O3；  - reduce、allreduce、ring-allreduce区别；  - allreduce和ring-allreduce通信容量对比；  - 你们提出的分阶段local LAMB怎么实现、解决了什么问题；  - deepspeed使用过嘛，还有那些并行策略；  - 介绍ZeRO，ZeRO 1、ZeRO 2、ZeRO 3的区别和性能；  - 还了解什么？overlap  - overlap介绍一下原理，发生在分布式训练的那个阶段（结合代码说）；  - 张量并行、流水并行、混合并行；  - 语言问题，为什么没有写python、写的cpp、java；  - cpp的函数参数传递方式；python的函数参数传递方式；  - 指针和引用的区别；  - python的垃圾回收机制；  - CUDA做过那些工作、写过那些算子；  - 意向地要求  - 无手撕  - 反问：主要做的工作；

一面 2024/8/2 下午16:50-17:30自我介绍问了一下硕士期间做的方向介绍一下大模型实习怎么构造的数据集prompt怎么构建的如何筛选出高质量的数据集？怎么做的SFT你们对数据集中模型的输出有什么要求大模型为什么会有重复输出或者不能停止的现象？从哪些方面可以解决？能够保证大模型两次输出的结果一样吗？为什么？batch_size度对模型的输出有什么影响了解思维链吗思维链有什么好处，从模型训练和损失函数等方面说说为什么要转大模型方向对传统的NLP方向有什么了解文本分类和情感分类啥的有做过相关项目吗对RAG了解吗，为什么要有RAG问了博客的一些事情，主要什么内容第一意向是北京，合肥能不能...

关于项目简单问了问……八股问了bpe，beam search，top p，top k。beam search这块的路径概率不太熟，被轻微拷打了一下。无手撕，考了道智力题，秒了。全程20min结束。希望能进个二面吧……

bg：2本 top2硕 tx一段大模型实习 学校研究方向及其抽象基本没面试官问 秋招主要投递大模型应用/NLP岗位简单总结下科大讯飞面试体验，流程推进极慢，每次推进基本都要两周左右，面试无手撕，算法困难户友好timeline：2024.8.11 科大讯飞-飞星计划 NLP 简历投递2024.8.22 科大讯飞-飞星计划 NLP 一面 1H左右面试问题：1. 自我介绍2. 拷打tx实习项目，大概用时20min3. 考察常见八股，常见结构的大模型代表（encoder-only、decoder-only、encoder-decoder）以及他们为什么是那些结构； ...