大模型

9.1 同花顺 大模型（2+1）🚀主要是以项目为主，掺杂八股，八股具体如下（忘记顺序是什么样子）：1. Transformer的自注意力机制及相比RNN的优势？2. 自注意力计算中为何除以 $$\sqrt{d_k} $$？3. 现在LLM微调的方式有哪些？ 再问Adapter和Lora的区别？4. LLM的架构有哪些？现在使用的是那种？为什么？5. Prefix LM与Causal LM区别？6. RLHF流程? 当时不太懂，没深问，现在需要多了解7. 如何优化大模型训练速度？8. 跨模态对齐你是如何做的？Q-Former与MLP适配器的优劣。9. LLM训练中遇到Loss突增如何解决？#实习# #秋招# #大模型# #nlp# #金融# #算法# #八股#

部门与岗位：TEG - 混元大模型团队 - 大模型对齐一面自我介绍，过实习，讲论文，论文过的比较细，有说的笼统的地方面试官会实时进行询问交流了解哪些大模型，简要挑一两个介绍一下，当时说了 Qwen 和 DeepSeek，然后面试官又问了这两个有什么区别接着上一问，为什么大家都开始探索 MoE 架构，MoE 相比 Dense 有什么好处在之前实习的时候用 LoRA 微调过 Qwen，于是问了有没有全量微调过，有没有对比过两者的性能表现讲一下大模型训练和推理的流程，SFT 和 RLHF 的作用分别是什么在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式代码：22. 括号生成代码：多头自注意力一面问的八股还是比较多的，问的也比较细，而且还写了两道代码题，整个面试花的时间也比较多，大概一个半小时左右二面自我介绍，过实习和论文，面试官会一起进行探讨，包括工作的动机、贡献和结果，也会提一些问题和建议之前实习用 DeepSpeed 微调过 Qwen2-72B，于是面试官问了 ZeRO-1，ZeRO-2，ZeRO-3 三个模式的区别当时你用 DeepSpeed ZeRO-3 来微调 Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存除了 DeepSpeed，还用过其他的什么优化方法吗我看你也用到了 LoRA，知道 LoRA 的原理吗，A 和 B 两个矩阵怎么初始化，有了解过其他的初始化方法吗对 RLHF 了解的多吗代码：3. 无重复字符的最长子串二面更多的是结合具体的工作来问的，从用到的东西来引出问题，问的也比较灵活。当然因为部门主要是做对齐的，所以也大概聊了聊 RLHF三面自我介绍，挑一个觉得做的比较好的论文和实习讲一下，面试官问的比较详细，为什么选现在这种方案，为什么 work，其他方案有考虑吗在微调 Qwen 的时候，数据是怎么构造的，有用到什么数据清洗方法吗，数据配比是怎么做的讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗在做对齐的时候，为什么 SFT 之后还要做 RLHF，只用 SFT 可以吗知道哪些强化学习算法，除了 PPO 和 DPO 这些呢，DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改进开放题：对目前大模型的发展有什么看法代码：零钱的两个题 322. 零钱兑换518. 零钱兑换 II三面面试官更聚焦于对齐这一块的内容，考的比较深。由于之前没有接触过强化学习，答得还是比较吃力的，不过面试官还挺好的，会一起讨论来做引导四面自我介绍，过论文和实习，问的也比较细，这里能明显的感受出来面试官的视角更系统，会把这些工作串起来问我看你简历上没写 RLHF，平常有用过 RLHF 吗推导一下神经网络反向传播的过程一道排列组合的概率题开放题：你觉得大模型目前还有哪些可以改进的点四面整体更看重思维和基础，没有考察什么八股总结一共四轮技术面，整体来说强度比较大，对于大模型八股的考察比较细，对大模型的理解问的也比较深刻，包括一些数理逻辑基础，考察的比较全面需要内推码的可以用下面这个链接：内推链接：https://join.qq.com/resume.html?k=ANQI6RfQ3rhPS2dpyIkeSw#26届实习##大模型##八股##面经##腾讯##内推#

自上一段实习之后，3月下旬又开始找实习了目前情况 两个礼拜面5oc4唯品会（最终选择）欢聚深信服电信1.针对简历拷打关于智能客服机器人链路，具体模块做法与选择原因，调优等模型训练的调优，数据工程等2.面试中经典的八股模型的选择，项目背景是什么mha gqa介绍（有概率手撕）bn与ln区别 ln为什么worklora  ppo dpo细节与流程adam+warmup+余弦退火的优化策略embedding类模型 如何训练的  底层原理等rag召回的流程3.一些经验与理解由于本鼠鼠面的都是业务类岗位，因此只懂大模型肯定是不行，面试中也很少会问模型结构之类的问题（虽然这是基本功了），更注重于业务如何适配大模型，如何调优。因此鼠鼠认为业务岗适配能力排序如下 业务的理解，数据工程的能力，模型算法的能力，加班抗压的能力  面试前最好根据组内业务进行突击复习，会有意想不到的收获4.感想希望暑期或研二上能去一线厂 maybe远航去北京 杭州 深圳等    广州的除了一线厂（腾讯，字节等）其他基本都打过交道也拿过offer  #实习# #算法# #大模型#

腾讯 NLP (2+1) 🥲🥲 HR面后挂了1. 实习+项目介绍 2. 讲一下大模型的发展史3. 分布式架构你了解什么？展开描述下4. 跨模态对齐的方式有哪些？为什么现在逐渐不使用Q-Former？5. Baichuan2-7B的模型架构怎么样的？它的位置编码怎么实现的？跟Qwen家的位置实现编码有何不同？6. Qwen-VL有使用了解过吗？它的架构怎么样的？有什么独特之处？7. 说一下Adapter和P-tuning以及Lora之间的区别和联系？8. 你的数据集如何构建的？如何评测的？请详细展开说下9. 你在进行数据集评估过程中，遇到哪些困难？怎么解决的？10. RAG检索的内容是否真的相关？有没有进行Rerank或者其它别的操作？11. 对于Agent你有什么看法？12. 强化学习DPO了解过吗？跟PPO的区别？有什么好处？13. 请谈一下大模型完整训练过程以及每一阶段有什么作用？14. 你如果让你来评价你自己，你觉得自己的优势是什么？15. 你自己职业规划有什么想法？16. 你如何看待这个职业？#腾讯# #大模型# 面经 #校招# 实习内推 #互联网大厂# nlp自然语言处理 #腾讯校招# 腾讯客服 #ai算法工程师#

链接：https://hrrecommend.antgroup.com/guide.html?code=1kyR9L0XfFQtcvTW6CoTv1V5CiF1AdD7eoVIj%2FDSuNQUM8KV1z4rH%2F5xNBunn8QK我们是一支决策智能算法Agent团队，参与蚂蚁金融科技FinTech的商业化赛道，有着优秀的人才资源、算法能力及丰富的业务场景；我们的工作是，应用先进的人工智能、研发智能化Agent产品及解决方案。并不断创新方法，打破业界桎梏。我们的客户，包含银行消金、证券保险、航旅出行、政府、制造，以及大量新兴互联网产业公司。当前业务正处于飞速增长阶段，各项业务线增长趋势强劲，我们也在不停地探索这块充满无限可能的领域！我们的优势:- 充足 GPU 集群算力支持， 完整的数据闭环和丰富的业务场景，涉及金融、营销、风控等场景。- 与研究和工程能力兼备的团队成员合作，专注兼顾实际效果和研究深度的大模型落地【转正实习】算法工程师-自然语言处理-LLM描述1. 推进数据建设、指令微调(SFT)、偏好对齐(RLHF)、垂直领域继续预训练等模型优化方面的工作，提高模型质量2. 优化复杂指令、长上下、多轮对话等任务下的模型基础能力3. 探索模型推理能力的增强和优化。4. 推动大模型在搜索、工具调用、多智能体场景下的模型落地5. 深入研究和探索大模型在ToB企业服务中的更多使用场景，拓展模型的应用范围，如搜索、风控、营销、金融等各类场景要求1、硕士研究生及以上学历，计算机科学、人工智能、自然语言处理等相关领域2、优秀的代码能力、数据结构和基础算法功底，Pytorch熟练，熟悉大模型训练与加速框架诸如Deepspeed/Megatron-LM等3、良好自驱力和沟通协作能力，能和团队一起探索新技术，推进技术进步加分项：有领域顶级会议文章(NeurIPS、ICML、ICLR、CVPR、ICCV、ACL、KDD等)、有编程/AI 比赛获奖（ACM/ICPC、NOI/IOI、Top Coder、Kaggle等）优先熟悉NLP相关的算法和技术，熟悉大模型预训练、SFT与RL算法者优先【转正实习】算法工程师-自然语言处理-Agent描述1、深入探索LLM Agent在业务场景的落地，推动AI技术在实际应用中的突破2、Agent研发： 1）设计并实现基于LLM的业务场景Agent，提升端到端的成功率 2）探索LLM Reasoning技术（如思维链、多步推理），提升复杂场景Agent能力 3）构建端到端系统，涵盖意图识别、知识检索、工具调用、结果生成，提升用户体验3、Agent应用探索：   1) 探索创新应用场景（如个性化知识助手、自动化RPA工具、Computer Use等），探索技术边界。  2) 探索Multi-Agent下的通信协议标准化、任务分解机制、记忆/决策模块设计等技术，提升复杂场景下的自主决策效率要求1、硕士研究生及以上学历，计算机科学、人工智能、自然语言处理等相关领域； 2、熟悉Agent架构、熟悉Prompt Engineering、熟悉开源Agent框架如Langchain、CrewAI、MetaGPT等。3、良好自驱力和沟通协作能力，能和团队一起探索新技术，推进技术进步。加分项：在ACL/EMNLP/NeurIPS等顶会发表LLM或搜索相关论文；有开源项目（如LangChain、AutoGPT）贡献或独立AI Agent开发经验；、#大模型##智能体##蚂蚁##字节##阿里##腾讯##美团##京东#

商汤 LLM (2+0)🥲 二面后挂了1. 主要是以项目为主，讲完项目，提问发散问题以及八股。2. Baichuan2-7B的架构讲一下，有什么特别之处？3. Lora微调7B模型，可训练参数是多少？显存占用如何？4. 介绍下Lora以及qlora的区别5. 其它多模态对齐方式有哪些？6. LSTM与Transformer的区别，以及后者的优势？7. 讲解下scaling law8. 预训练一般分为哪些阶段，每个阶段的特点有何区别？#春招# #实习# #秋招# #ai算法工程师# #大模型# #nlp算法工程师# #商汤科技#

#八股# 科大讯飞 NLP (2+1+1) 🚀主要是以项目为主，如果项目有论文支撑，直接对着你的论文直接开讲，中间打断提问发散问题, 最后八股拷打。八股如下包含飞星计划以及秋招正式批：Lora为什么在工业界这么吃香？原因是什么？LLM的分布式框架了解过吗？展开讲一下它们的优缺点？大模型的训练的完整流程是什么样子的？为什么要先经过SFT微调，在RL？DPO和PPO有什么区别？你更喜欢使用那种？当时浅浅回答了下，喜欢DPO，优点说明下。DPO的公式给我写一下或者口述一下？当时没写出来🙄DPO跟对比学习有哪些相同点和不同点？我的项目用了后者 跨模态对齐如何做的，你都了解那些对齐方式？模型的幻觉问题？以及RAG的好处？如何利用RAG去缓解模型环节？ROPE给我介绍一下？代码能写下吗?（当时还不会写🙄）你了解哪些多模态encoder？没有Leetcode🫡，但对着论文拷打发散问题很难受🤕#八股# #牛客解忧铺# #算法# #大模型# #nlp# #科大讯飞求职进展汇总# #ai算法工程师# #实习# #秋招# #春招#