飞猪大模型 一二面整理

这次面试的问题都比较有意思，记录一下：1、介绍一下之前工作的业务场景(code LLM)2、你微调过这么多不同家的大模型(LLama、Qwen、codellam、mistral等)，都有什么区别(在业务上，并不是八股结构)3、在业务上比较有效的微调手段4、具体代码翻译场景下，遇到的两种不同语言的函数不能完全一致对应，该用什么方法解决。    我提出说用一些RAG可以解决5、使用工程手段解决4好，还是使用SFT解决4好，6、如何进行5的SFT    我认为这是一个较难的问题，还是说之前在工作的时候是使用RAG解决的，此外又讲了一些在数据构造上的手段和prompt上的手段7、面试官认为可以使用RLHF解决（似乎他没有完全理解我说的业务场景）    讲了使用DPO的做法8、讲一下DPO、PPO、GRPO、KTO    其他的讲了，不了解KTO8.5、为什么不考虑对Base直接做DPO9、问DPO的数据如何构造10、问RAG问题的痛点在哪里、优点在哪里11、是否了解COT    讲了另外一段NLP实习做的COT的经历11.5、问COT从数理逻辑上为什么奏效12、问之前具体负责了哪些工作，是否具体做过训练的内容    表明做过（正常流程下面要问DeepSpeed了，但并没有问）13、问Attention上都有哪些优化措施    把GQA和FlashAttention搞混了好像这次面的比较差，可能要挂，来攒攒人品

先自我介绍。项目。感觉面试官不太懂多模态。也没问啥。无八股。做题。代码：三数之和。钉钉出现故障，面试官口述了问题，然后让我讲了一下思路。反问。面试官说了很多。挺能聊的。岗位主要是做 agent 相关，用户出行规划、订票(机票火车票)建议。工作内容还可以，不是那么无聊。感觉不太匹配，50%概率挂。

📖面试问题：#找实习#(4.9)Q1:简单介绍一下在研究生期间的科研和实习经历。Q2:介绍一下简历上那个完整的大模型项目。Q3:做这个项目的背景，做项目的动机。Q4:第三个项目是实习项目吗？Q5:对第1个项目有用NER的方法吗？微调前base模型的准确率是多少？Q6:第2个项目的数据集构造是不是有问题？这些数据的判断是不是对大模型来说太简单了？Q7:有用传统方法来测你构造数据集的有效性吗？比如用BERTQ8:介绍一下Lora的原理。Q9:LORA基于什么问题，什么样的模型可以用LORA进行微调？什么是低秩分解？Q10:LORA的初始化方法。Q11:两个权重矩阵的初始化。Q12:项目中的可解释性模块是什么？Q13:介绍一下Int8和FP32的区别是什么？Q14:Int8的表示范围。Q15:Int8和FP32前向计算的区别。Q16:除了大模型，你对推荐系统，CV模型有了解吗？手撕代码：lc82. 删除排序链表中的重复元素 II反问：做什么业务（淘宝直播生态和主播智能手卡）进组后做什么业务（预训练）🙌面试体验：挺好的，注重业务，八股并不多。

自我介绍项目。用文本进行图像搜索项目，用户的输入文本和训练使用的有偏差怎么办（例如比较口语化）？从现场弄一些数据进行微调，或者给用户一下提示，让用户知道怎么样能更好的匹配。无做题。反问：岗位相关。为什么支付宝现在支付会减几块钱？以及碰一碰。因为wx一般大家都是打开的，买东西的时候，不用切换app进行支付。简单的优势就导致支付宝落在了下风，因此用优惠和碰一碰来和wx竞争。40 min结束。一分钟后面试通过。蚂蚁的面试流程真是舒服啊！