算法面经3：nlp和llm，商汤科技

#八股# 科大讯飞 NLP (2+1+1) 🚀主要是以项目为主，如果项目有论文支撑，直接对着你的论文直接开讲，中间打断提问发散问题, 最后八股拷打。八股如下包含飞星计划以及秋招正式批：Lora为什么在工业界这么吃香？原因是什么？LLM的分布式框架了解过吗？展开讲一下它们的优缺点？大模型的训练的完整流程是什么样子的？为什么要先经过SFT微调，在RL？DPO和PPO有什么区别？你更喜欢使用那种？当时浅浅回答了下，喜欢DPO，优点说明下。DPO的公式给我写一下或者口述一下？当时没写出来🙄DPO跟对比学习有哪些相同点和不同点？我的项目用了后者 跨模态对齐如何做的，你都了解那些对齐方式？模型的幻觉问题？以及RAG的好处？如何利用RAG去缓解模型环节？ROPE给我介绍一下？代码能写下吗?（当时还不会写🙄）你了解哪些多模态encoder？没有Leetcode🫡，但对着论文拷打发散问题很难受🤕#八股# #牛客解忧铺# #算法# #大模型# #nlp# #科大讯飞求职进展汇总# #ai算法工程师# #实习# #秋招# #春招#

字节很喜欢深挖简历，通常不会直接问八卦，而是结合项目问，所以项目一定要吃透，用到的技术要理解的很深入，此外会有面试官结合他们的业务问一些场景问题，问如果是你你会怎么做等等。一，二，三面都是这个模式，我把一些他们根据简历问的通用问题记录一下，供大家参考。1.使用SFT进行微调时的训练数据是如何构造的，如果缺少训练数据有没有什么方法？2.看你使用的是千问大模型，请问千问的模型结构，创新点是什么？3.看到你在SFT的基础上使用了dpo来训练，为什么要使用dpo，sft不行吗？4.sft解决不好的badcase，为啥dpo就能解决了？你认为sft适合解决那类问题？dpo又适合解决哪类问题？5.dpo的...

1)  详细介绍论文框架设计   论文的动机，能否应用在实际场景。2）能否出来实习3）写多头注意力机制4）大模型用过吗5）想做业务还是研究