科大讯飞 飞星计划 NLP方向 一面面经

关于项目简单问了问……八股问了bpe，beam search，top p，top k。beam search这块的路径概率不太熟，被轻微拷打了一下。无手撕，考了道智力题，秒了。全程20min结束。希望能进个二面吧……

时长40min，无手撕。深挖技术和编程理解1.自我介绍2.深度学习经历：模型类型，模型组成，名词解释/别称，特点和优势。对U-net的了解？VAE中AE都有哪些？讲讲ADAM，常用的求解器？常用的损失函数？3.大模型经历：参数大小怎么算，文件多大，用了什么卡，占多大显存，多机多卡多线程操作和命令？数据质量怎么控制？4.Pytorch和Python熟练程度：变量类型，数据类型，浮点数占字节大小，list和tuple区别？什么平台做开发？如果想忽略错误继续运行要怎么做？5.反问。总之反正就是逮着问，问到不会为止。可能问我10个问题，我能完整回答的就2 3个，看来不是这块料。牛友们加油！

岗位：AI研究算法工程师-深度学习框架和平台方向发个面经攒攒人品  - 自我介绍；  - 大四毕设就做32卡训练？资源那里的；  - 训练&推理那个更想做那个、那个更擅长；  - 对CDUA、OpenCL的了解程度；  - 千卡分布式训练项目介绍；  - 介绍LAMB优化器、和Adam比较；  - LAMB优化器和分布式有什么关系；  - FP16量化训练的策略；O0、O1、O2、O3；  - reduce、allreduce、ring-allreduce区别；  - allreduce和ring-allreduce通信容量对比；  - 你们提出的分阶段local LAMB怎么实现、解决了什么问题；  - deepspeed使用过嘛，还有那些并行策略；  - 介绍ZeRO，ZeRO 1、ZeRO 2、ZeRO 3的区别和性能；  - 还了解什么？overlap  - overlap介绍一下原理，发生在分布式训练的那个阶段（结合代码说）；  - 张量并行、流水并行、混合并行；  - 语言问题，为什么没有写python、写的cpp、java；  - cpp的函数参数传递方式；python的函数参数传递方式；  - 指针和引用的区别；  - python的垃圾回收机制；  - CUDA做过那些工作、写过那些算子；  - 意向地要求  - 无手撕  - 反问：主要做的工作；

bg：2本 top2硕 tx一段大模型实习 学校研究方向及其抽象基本没面试官问 秋招主要投递大模型应用/NLP岗位简单总结下科大讯飞面试体验，流程推进极慢，每次推进基本都要两周左右，面试无手撕，算法困难户友好timeline：2024.8.11 科大讯飞-飞星计划 NLP 简历投递2024.8.22 科大讯飞-飞星计划 NLP 一面 1H左右面试问题：1. 自我介绍2. 拷打tx实习项目，大概用时20min3. 考察常见八股，常见结构的大模型代表（encoder-only、decoder-only、encoder-decoder）以及他们为什么是那些结构； ...