首先申明，这次面试官也很温柔，甚至感觉有点i呢，但面试过程略显尴尬，对st不做更多评价。面试时间55分钟，没有写代码。面了一趟下来很多很多问题都忘了，因为不熟…回忆版面试题如下：1. 不用开摄像头。2. 自我介绍（开始前提示是算法岗，别介绍太多开发工作）3. 开始介绍他们的工作内容4. 我反问：你跟一面面试官不是一个组吗？ 面试官答：你已经一面过了吗？（开始反应过来莫名其妙被不明来历的一面拷打，面试内容可见前几天的面经）下面是正式面试过程问的问题太碎了太碎了，而且面试官也在想要怎么问^ - ^5. 项目经历问了很久，面试官是做多模态的，对llm不是很懂（我也不知道怎么进这个组的面试了）6. 问题集中在diffusionc model，stylegan，因为项目用了这个，他问为什么用stylegan，这么老的模型，问了些细节，真回忆不起来了。7. unet，resnet，clip都问了一下…主要是都没回答好。8. lora具体是怎么实现的，一般训哪些参数？9. p-tuning v1/2问了下细节10. llama的loss函数11. 用没用过DDP和deepspeed，有什么区别12. 多分类任务如果发现都分到了一个label，怎么排查原因，怎么解决，数据不均匀怎么办，不改数据集pytorch代码怎么改？13. 常见的位置编码知道哪些？图像怎么处理？超过长度怎么办？padding？截断？14. transformer结构讲一下15. 给你text讲一下转成embedding的流程16. clip的位置编码，好像问了怎么外推17. 有没有自己实现过dataload？…其他的想不起来了就这样吧自由提问1. 组里后面的工作计划，面试官好像也不太清楚2. 想篇research，组里有实习生纯research，有一半一半的3. 问我对这个工作感不感兴趣，因为不完全是llm4. 他们之前只用过llama2，又说现在换了个更好的，但是没想起来是啥，也只是微调了一下5. 没啥想问的，确实没很大兴趣。

面试时长40分钟自由交流15分钟面试官小姐姐超超超超温柔1. 自我介绍2. 问大模型实习项目，做了什么，用了什么开源模型，主要是chatglm和llama3. 有没有尝试过改原模型的设计，比如结构或者loss函数？为什么不？3. 说一下chatglm或llama与传统transformer结构的区别，有哪些改动，和可以借鉴的地方？主要从模型结构、layer norm、激活方式、位置编码回答4. 在实际训练或微调的过程中遇到了哪些问题，是怎么解决的？主要讨论了下精度问题、梯度爆炸、loss出现nan5. 说说bf16、fp16、fp32的区别6. 简单讲了下deepspeed7. 微调的话用了哪些方法？讲主要是lora8. 追问了下我们用lora调哪些参数？不同参数怎么选？什么影响？……想不起来了一部分7. 代码实现transformer原来的sinusoidal位置编码团队介绍主要做的产品是Soul X系列目前算法组将近100个人，其中NLP组不到20个人，目前主要工作在Role Play方向，AI狼人杀也在其中。国内海外都有相关产品，业务赚钱为主，发专利为辅，有发专利的Okr，没发过论文，但有往技术自研转型的趋势。资源方面的话H800，不到100张。

35分钟左右面试官很温柔1.自我介绍2.介绍实习中大模型的工作3.针对实习提问，比较好奇怎么做的4.算法题：拆分单词。。写完还没跑就让我交了…事后发现代码有问题…5.微调用了什么框架？6.有没有全量微调过？7.提问团队介绍1.做的产品是一个海外的大模型，没记住名字，隐约听他提到了对话问答NPC2.NLP团队和CV团队差不多都是15人左右3.可以实习转正，说备注一下跟二面面试官聊4.早9.半晚7，说工程加班算法还好5.400多张A100/A8006.支持自己用公司机器验证idea，但是正式员工不会带发论文7.感觉他们skymusic做得不错就问了下，说跟他们团队有过交流好奇大佬们提问环节都会问啥！求教

面试时长100分钟临时通知面试，临时找会议室女面试官很温柔自我介绍实习项目问怎么不考虑继续实习介绍一下llama的位置编码方式介绍RoPE的逻辑问知道怎么把RoPE扩展到二维吗？发来一篇苏神最近的博客https://kexue.fm/archives/10040 让先看10分钟抠细节，忘了、、、现场读一篇论文 https://arxiv.org/pdf/2402.13753.pdf 也是跟RoPE有关的，先看几分钟问了解过PI和NTK吗，表示不知道，让看文中的描述理解一下抠细节，问变量含义，看finding看method看图看表，太细了忘了问当审稿人给多少分，自己在做多模态位置编码的时候会不会参考这篇工作。。上面全程答得稀碎，中途还有人进会议室叫我跟他换…💔算法题：给你一个整数 n ，返回 和为 n 的完全平方数的最少数量 。介绍团队工作，world model，视频生成因面试官电脑没电自动关机而结束没提问G，很G

40分钟左右，面试官很温柔整体流程如下：自我介绍大模型实习项目介绍手撕multi head self-attention熟悉哪些微调方法代码中除根号d的原因知道哪些norm方式layer norm与batch norm的区别pre跟post norm的区别自由提问团队介绍1. 大模型：mathgpt，做数学题2. 进去做 rlhf，这个方向目前3-4人3. 业务岗，不以发paper 为目的，但可以发4. 算力：1k多卡的h800，不可自由使用5. 希望尽快到岗