大模型算法面经手撕MLP

#面经#背景工作4年，长期从事深度学习相关工作。目前的主要方向是垂直领域大模型和RAG相关项目。  xdm本期要5个点赞！！有点赞继续分享面试问题1. LoRA原理，微调的哪些层，相关训练参数设置， epoch、learning_rate等等2.RAG 切片怎么做的？3. 微调中遇到了哪些问题，怎么解决？4. embedding 召回优化5. 原生模型复读不严重，为什么微调后复读严重？  感觉现在模型不咋重复了。。6. 领域知识能不能通过LoRA微调得到7. 如何解决大模型幻觉？或者说如何缓解吧8. loss 除以 10 和学习率除以10 有区别没？主要考优化器9. self-attention为什么要做qkv的线性变换？一开始听着这个题目，懵的10.机器学习懂不懂？11. self-attention 为什么 要做softmax？给你两个字符串，比如s1=acdk, s2=ckad，每次可以把s1的任意一个字母移动到末尾，问最少移动次数使s1=s2。如果不存在，则返回-1；题目：没见过，做不来。很想开cursor给它秒了。。。#牛客创作赏金赛#点赞给个鼓励吧~ 祝我们都拿到满意的offer!#ai智能作图#

目前已经是毕业几年的老鸟了，因为面试过别人，所以面小公司相对轻松。背景，研究生以来一直从事深度学习相关工作。目前在做垂直领域大模型和一些RAG。Q1：为什么跳槽？接下来基本是对着简历找感兴趣的地方。Q2: RAG 讲一讲你这个项目Q3: 分片怎么优化的？Q4: 评测怎么做的?Q5：什么时候RAG什么时候微调？Q6：self-instructQ7: 微调方法Q8: DPOQ9: 团队构成Q10: 产品不懂技术，如何缓解这带来的问题最后是反问。先拿小公司试试手，这个一面看起来问得比较浅。从我的经验来看，大概是想要确认你是否真的做过相关工作。欢迎大家小窗交流沟通。后面会陆续更新~

学弟刚工作不久，最近给我吐槽自己躺又躺不平，卷也卷不动，焦虑甚至失眠，对于他这种反复仰卧起坐的选手该怎么办？当然，我可以和他一起分析原因，但今天从更高更远的视角来分析一下：首先，从工作岗位角度，问问自己当初接受这个岗位offer的核心原因在哪里，工作岗位的目标实现困难是自己意愿不够，还是能力不够，还是外部原因导致。通过分析后再逐步解决动机，能力和条件的问题，避免反复仰卧起坐。其次，从职业发展角度，问问自己的职业目标到底要成为什么样：企业家，管理者，行业专家等，看看自己目前的工作是不是帮助实现自己的职业目标。如果不是的话，要么调整目标，要么调整心态，当然也可以尝试寻找新工作机会。最后，从人生发展...