9.1 同花顺 大模型（2+1）🚀主要是以项目为主，掺杂八股，八股具体如下（忘记顺序是什么样子）：1. Transformer的自注意力机制及相比RNN的优势？2. 自注意力计算中为何除以 $$\sqrt{d_k} $$？3. 现在LLM微调的方式有哪些？ 再问Adapter和Lora的区别？4. LLM的架构有哪些？现在使用的是那种？为什么？5. Prefix LM与Causal LM区别？6. RLHF流程? 当时不太懂，没深问，现在需要多了解7. 如何优化大模型训练速度？8. 跨模态对齐你是如何做的？Q-Former与MLP适配器的优劣。9. LLM训练中遇到Loss突增如何解决？#实习# #秋招# #大模型# #nlp# #金融# #算法# #八股#

字节很喜欢深挖简历，通常不会直接问八卦，而是结合项目问，所以项目一定要吃透，用到的技术要理解的很深入，此外会有面试官结合他们的业务问一些场景问题，问如果是你你会怎么做等等。一，二，三面都是这个模式，我把一些他们根据简历问的通用问题记录一下，供大家参考。1.使用SFT进行微调时的训练数据是如何构造的，如果缺少训练数据有没有什么方法？2.看你使用的是千问大模型，请问千问的模型结构，创新点是什么？3.看到你在SFT的基础上使用了dpo来训练，为什么要使用dpo，sft不行吗？4.sft解决不好的badcase，为啥dpo就能解决了？你认为sft适合解决那类问题？dpo又适合解决哪类问题？5.dpo的...

科大讯飞 NLP (2+1+1) 🚀主要是以项目为主，如果项目有论文支撑，直接对着你的论文直接开讲，中间打断提问发散问题, 最后八股拷打。八股如下包含飞星计划以及秋招正式批：Lora为什么在工业界这么吃香？原因是什么？LLM的分布式框架了解过吗？展开讲一下它们的优缺点？大模型的训练的完整流程是什么样子的？为什么要先经过SFT微调，在RL？DPO和PPO有什么区别？你更喜欢使用那种？当时浅浅回答了下，喜欢DPO，优点说明下。DPO的公式给我写一下或者口述一下？当时没写出来🙄DPO跟对比学习有哪些相同点和不同点？我的项目用了后者 跨模态对齐如何做的，你都了解那些对齐方式？模型的幻觉问题？以及RAG的好处？如何利用RAG去缓解模型环节？ROPE给我介绍一下？代码能写下吗?（当时还不会写🙄）你了解哪些多模态encoder？没有Leetcode🫡，但对着论文拷打发散问题很难受🤕#八股# #牛客解忧铺# #大模型# #nlp# #算法#