百度 实习 大模型 一面

📖面试问题：#找实习#(4.9)Q1:简单介绍一下在研究生期间的科研和实习经历。Q2:介绍一下简历上那个完整的大模型项目。Q3:做这个项目的背景，做项目的动机。Q4:第三个项目是实习项目吗？Q5:对第1个项目有用NER的方法吗？微调前base模型的准确率是多少？Q6:第2个项目的数据集构造是不是有问题？这些数据的判断是不是对大模型来说太简单了？Q7:有用传统方法来测你构造数据集的有效性吗？比如用BERTQ8:介绍一下Lora的原理。Q9:LORA基于什么问题，什么样的模型可以用LORA进行微调？什么是低秩分解？Q10:LORA的初始化方法。Q11:两个权重矩阵的初始化。Q12:项目中的可解释性模块是什么？Q13:介绍一下Int8和FP32的区别是什么？Q14:Int8的表示范围。Q15:Int8和FP32前向计算的区别。Q16:除了大模型，你对推荐系统，CV模型有了解吗？手撕代码：lc82. 删除排序链表中的重复元素 II反问：做什么业务（淘宝直播生态和主播智能手卡）进组后做什么业务（预训练）🙌面试体验：挺好的，注重业务，八股并不多。

1.介绍项目，项目相关。2.项目中的漏洞，引到分布式事务。3.分布式锁4.缓存击穿相关（只会最简单的永不过期和加锁，后面恶补。面试官后面说了可以直接限流和熔断的方式，但没怎么了解过）5.redis和mysql的一致性保证。6.redis的常见数据结构，介绍一下跳表。7.redis的数据持久化机制8.B树和B+树9.SQL语句执行过程中各个关键字的执行顺序10.平常如何使用大模型的11.有没有了解AI12.手撕：经典LC1.两数之和13.反问总结：基本常见八股，但很多也不是很熟练。是做AI平台的部门，所以问了些大模型，不太会答。面试官全程没露脸，而我傻傻地开了全程。百度流程很怪，捞我面试的是官网...

今天老师给大家分享大模型项目准备经验，供各位同学参考学习。1️⃣大模型流程✅数据处理：1.参考 deepseek 、 llama 、 qwen 等技术报告的数据清洗工作；2.强烈建议使用 Data - Juicer 做启发式数据清洗工具；3.做数据多样性探索，保证 Prompt 的多样性；4.做数据质量增强，用强基座做数据改写等。做拒绝采样保证 response 的" Online "性质。✅开始训练：1.卡多做 CPT ，没卡就基于 Base 模型做 Post - Training ;2.不同规则的模型调参差异大，参考大厂技术报告和其他博客；3.试试不同的训练策略，有挺多 fancy 的增量预训练和 Post - Training 方法，多试试；✅评估 Case :1.在常见的 Benchmark 上看看效果，脚本都有现成的；2.不要只看指标和 loss ,多分析 case ，知道加什么数据，摸清模型的边界能力，持续迭代优化模型能力；3.基座或者 Chat 作为 Baseline ，对比看看效果。2️⃣做一个垂域大模型项目资源准备：你需要准备至少4张3090级别的显卡，核数足够多的 CPU 。✅前期准备：1．调研业务，设计业务场景，分析可行性（数据，技术，实用性）;2．会爬虫；3.需要留钱买 API ;✅数据处理：1．爬的数据很脏，一定要做数据清洗；2.如果垂域没那么垂直，比如法律方向，大概率 Base 模型见过了，可以选择不做垂域和通用的数据配比；评估 Case :搞两个 Benchmark ，垂域和通用的，通用不能掉点太多;评估下一致性，从训练集里按任务分层抽样看看 case ;3️⃣做一个大模型应用做完上面两个项目后，其实都可以在此基础上构建一个大模型应用，目前最多的就是 rag 或者 agent 嘛，讲讲如何构建一个 RAG 。✅前置能力：1．学下 Langchain 和 Llama - index ;2.看看简单的 workflow 怎么做的，强烈推荐看看 Anthropic 的《 Building effective agents 》;3．有一定的工程能力。✅参考框架：1.Langchian- Chatchat ，之前笔记就推荐了， rag 很有影响力的开源项目，而且可优化点多；2.Qanything;3.自己手搓个 workflow .可优化点：内容供给；重排策略;微调 embedding ;意图分流单独训个 agent ;优化归纳📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系

最近发现一个超级重要的求职趋势：几乎所有大厂的产品、研发岗位笔面试都开始考察大模型相关知识了！🤯 不懂大模型，简直寸步难行！今天就来分享牛客网最新上线的大模型专项练习，帮你轻松应对面试难题！👇💫 为什么大模型知识这么重要？现在的互联网公司几乎都在布局AI大模型，无论是产品设计还是技术开发，都需要对大模型有基本认知。面试官最爱问的就是这些新知识点，提前准备绝对能让你脱颖而出！✨🧠 大模型专项练习内容揭秘牛客网的大模型专项练习分为两大板块，超级全面：1.大模型基础概念篇 - 必备八股文这部分就像是大模型的"八股文"，包含了：Transformer架构详解注意力机制原理微...