🔥 互联网求职必备！大模型知识点全攻略，产品研发同学速来！

今天老师给大家分享大模型项目准备经验，供各位同学参考学习。1️⃣大模型流程✅数据处理：1.参考 deepseek 、 llama 、 qwen 等技术报告的数据清洗工作；2.强烈建议使用 Data - Juicer 做启发式数据清洗工具；3.做数据多样性探索，保证 Prompt 的多样性；4.做数据质量增强，用强基座做数据改写等。做拒绝采样保证 response 的" Online "性质。✅开始训练：1.卡多做 CPT ，没卡就基于 Base 模型做 Post - Training ;2.不同规则的模型调参差异大，参考大厂技术报告和其他博客；3.试试不同的训练策略，有挺多 fancy 的增量预训练和 Post - Training 方法，多试试；✅评估 Case :1.在常见的 Benchmark 上看看效果，脚本都有现成的；2.不要只看指标和 loss ,多分析 case ，知道加什么数据，摸清模型的边界能力，持续迭代优化模型能力；3.基座或者 Chat 作为 Baseline ，对比看看效果。2️⃣做一个垂域大模型项目资源准备：你需要准备至少4张3090级别的显卡，核数足够多的 CPU 。✅前期准备：1．调研业务，设计业务场景，分析可行性（数据，技术，实用性）;2．会爬虫；3.需要留钱买 API ;✅数据处理：1．爬的数据很脏，一定要做数据清洗；2.如果垂域没那么垂直，比如法律方向，大概率 Base 模型见过了，可以选择不做垂域和通用的数据配比；评估 Case :搞两个 Benchmark ，垂域和通用的，通用不能掉点太多;评估下一致性，从训练集里按任务分层抽样看看 case ;3️⃣做一个大模型应用做完上面两个项目后，其实都可以在此基础上构建一个大模型应用，目前最多的就是 rag 或者 agent 嘛，讲讲如何构建一个 RAG 。✅前置能力：1．学下 Langchain 和 Llama - index ;2.看看简单的 workflow 怎么做的，强烈推荐看看 Anthropic 的《 Building effective agents 》;3．有一定的工程能力。✅参考框架：1.Langchian- Chatchat ，之前笔记就推荐了， rag 很有影响力的开源项目，而且可优化点多；2.Qanything;3.自己手搓个 workflow .可优化点：内容供给；重排策略;微调 embedding ;意图分流单独训个 agent ;优化归纳📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系

已发意向一面手撕：三数之和过实习预训练数据构造数据配比如果现在重做一遍项目，怎么跟DeepSeek的技术结合能不能直接通过RL训练chat模型大模型八股sft、dpo的区别，什么时候用哪个MHA、GQA、MLA的异同从Bert开始讲，位置编码的演进和注意力机制的关系py八股除了py外，还有用什么语言进程、线程区别，什么时候用哪个平常用的什么包，numpy、pandas有用吗生成器、迭代器日常有没有其他在投，城市偏好反问评价？整体不错业务？有训练做知识注入、也有做问答系统流程？三面，两面技术一面hr大概40min二面无手撕聊科研介绍实习灾难性遗忘怎么缓解的sft后什么情况下用dpo对大模型的发展...

这次面试的问题都比较有意思，记录一下：1、介绍一下之前工作的业务场景(code LLM)2、你微调过这么多不同家的大模型(LLama、Qwen、codellam、mistral等)，都有什么区别(在业务上，并不是八股结构)3、在业务上比较有效的微调手段4、具体代码翻译场景下，遇到的两种不同语言的函数不能完全一致对应，该用什么方法解决。    我提出说用一些RAG可以解决5、使用工程手段解决4好，还是使用SFT解决4好，6、如何进行5的SFT    我认为这是一个较难的问题，还是说之前在工作的时候是使用RAG解决的，此外又讲了一些在数据构造上的手段和prompt上的手段7、面试官认为可以使用RLHF解决（似乎他没有完全理解我说的业务场景）    讲了使用DPO的做法8、讲一下DPO、PPO、GRPO、KTO    其他的讲了，不了解KTO8.5、为什么不考虑对Base直接做DPO9、问DPO的数据如何构造10、问RAG问题的痛点在哪里、优点在哪里11、是否了解COT    讲了另外一段NLP实习做的COT的经历11.5、问COT从数理逻辑上为什么奏效12、问之前具体负责了哪些工作，是否具体做过训练的内容    表明做过（正常流程下面要问DeepSpeed了，但并没有问）13、问Attention上都有哪些优化措施    把GQA和FlashAttention搞混了好像这次面的比较差，可能要挂，来攒攒人品

这家小厂问的八股我个人感觉有些奇怪，整体问题都很基础，和其他厂侧重方向不一样，而且技术面了三次，三个面试官都是40多岁样子，简历上的项目都没咋问，八股问的特别基础可以说没啥难度？感觉让我提问都比他们问的有深度。第一天面试，写笔试题和个人信息，和两个面试官面试。笔试部分第一页是六道Java选择题第二页是两个简答题，和开发框架以及数据库相关，整体比较简单第一个面试官先做一个简单自我介绍1.Java这方面你做了什么项目？2.本科阶段有学Java吗？3.Java集合类有没有了解过？4.这些底层的数据结构是什么样的？原理是什么样的？5.Map扩容这块了解吗？6.Map同步类怎么写？支持并发的？7.有没有...