腾讯-混元大模型面经-华5硕-主页内tui腾讯-混元大模型面经-华5硕部门与岗位：TEG - 混元大模型团队 - 大模型对齐一面自我介绍，过实习，讲论文，论文过的比较细，有说的笼统的地方面试官会实时进行询问交流了解哪些大模型，简要挑一两个介绍一下，当时说了 Qwen 和 DeepSeek，然后面试官又问了这两个有什么区别接着上一问，为什么大家都开始探索 MoE 架构，MoE 相比 Dense 有什么好处在之前实习的时候用 LoRA 微调过 Qwen，于是问了有没有全量微调过，有没有对比过两者的性能表现讲一下大模型训练和推理的流程，SFT 和 RLHF 的作用分别是什么在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式代码：22. 括号生成代码：多头自注意力一面问的八股还是比较多的，问的也比较细，而且还写了两道代码题，整个面试花的时间也比较多，大概一个半小时左右二面自我介绍，过实习和论文，面试官会一起进行探讨，包括工作的动机、贡献和结果，也会提一些问题和建议之前实习用 DeepSpeed 微调过 Qwen2-72B，于是面试官问了 ZeRO-1，ZeRO-2，ZeRO-3 三个模式的区别当时你用 DeepSpeed ZeRO-3 来微调 Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存除了 DeepSpeed，还用过其他的什么优化方法吗我看你也用到了 LoRA，知道 LoRA 的原理吗，A 和 B 两个矩阵怎么初始化，有了解过其他的初始化方法吗对 RLHF 了解的多吗代码：3. 无重复字符的最长子串二面更多的是结合具体的工作来问的，从用到的东西来引出问题，问的也比较灵活。当然因为部门主要是做对齐的，所以也大概聊了聊 RLHF三面自我介绍，挑一个觉得做的比较好的论文和实习讲一下，面试官问的比较详细，为什么选现在这种方案，为什么 work，其他方案有考虑吗在微调 Qwen 的时候，数据是怎么构造的，有用到什么数据清洗方法吗，数据配比是怎么做的讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗在做对齐的时候，为什么 SFT 之后还要做 RLHF，只用 SFT 可以吗知道哪些强化学习算法，除了 PPO 和 DPO 这些呢，DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改进开放题：对目前大模型的发展有什么看法代码：零钱的两个题 322. 零钱兑换518. 零钱兑换 II三面面试官更聚焦于对齐这一块的内容，考的比较深。由于之前没有接触过强化学习，答得还是比较吃力的，不过面试官还挺好的，会一起讨论来做引导四面自我介绍，过论文和实习，问的也比较细，这里能明显的感受出来面试官的视角更系统，会把这些工作串起来问我看你简历上没写 RLHF，平常有用过 RLHF 吗推导一下神经网络反向传播的过程一道排列组合的概率题开放题：你觉得大模型目前还有哪些可以改进的点四面整体更看重思维和基础，没有考察什么八股总结一共四轮技术面，整体来说强度比较大，对于大模型八股的考察比较细，对大模型的理解问的也比较深刻，包括一些数理逻辑基础，考察的比较全面需要内推码的可以用下面这个链接：内推链接：https://join.qq.com/resume.html?k=ANQI6RfQ3rhPS2dpyIkeSw#26届实习##大模型##八股##面经##腾讯##内推#

真实工作体验：实习体验入职之前就了解到部门对于每个暑期实习生都有明确且精细的培养计划，入职以后也是按照正职的要求来做事，对于暑期实习生的重视程度可见一斑。所以作为实习生既有压力，但更重要的是获得了一个飞速成长的机会。TME虽然前几年独立于腾讯本部，但是入职之后感觉几乎是藕断丝连，导师很多也都是本部来的，包括腾讯系的平台能力、方法论其实也都有所继承，大差不差，可学习成长利用的资源非常之多这一周疯狂输入新业务知识、own的产品框架、进行中的需求背景目标进度，不停地想参透产品设计底层逻辑，观察产品指标、收入，对产品的现状有了基本的了解。但也被导师提醒需要主动与组长、leader约1v1，讲讲自己的进...

#offer比较#

本菜鸡什么时候才能找到大厂暑期实习呀😭======2.25一面======两道算法题：leetcode.343整数拆分、79.单词搜索八股1.谈谈你对Java反射的理解。2.动态代理是什么意思呢？3.业务当中如何考虑线程池4.线程池的工作原理5.什么场景会出现死锁？6.什么方案防止、优化死锁？7.SpringBoot接口没测试，调用接口失败了，HTTP响应码是多少？8.如何去处理项目中异常的呢？9.Try catch块catch了三种异常，但是第二个异常已经catch到了，那还会调用第三个异常吗？10.Spring Boot中AOP，你会在什么场景去使用切面呢？11.Spring Boot项目中如何引用一个自动注入的类？12.Resource、AutoWire你习惯用哪个？13.微服务14.XML中MyBatis Plus中可以使用吗？15.实体字段和表中字段不匹配，有什么办法关联？16.如何实现分页？17.缓存用过哪些？18.常见Redis数据类型19.Redis实现队列的方案？20.一般用过哪些消息队列？21.主流的RabbitMQ、RocketMQ、Kafhka，如何进行技术选型的？======3.6二面======1.技术方面的自我介绍2.哪一个比较有挑战？3.这个项目属于什么项目？4.自己动手写的主要模块包括哪些？5.省略一些项目相关的问题…6.做一个简单的并发小题目（会用FutureTask7.对自己的技术做一个优势/劣势的描述？如何总结？======3.17三面======一些普通八股大数据下使用快排还是归并排序智力题：五个海盗分100金币======3.19四面(已挂😡)======1.个人基本情况了解（手头是否有其他offer...2.解释一下Spring当中IOC3.concurrentHashMap 1.8如何保证线程安全4.了解I/O多路复用？Java当中NIO有用吗？5.对AI了解的程度，是否看了DeepSeek论文？（懵了6.有没有做过模型调优，如何对DeepSeek进一步去做强化学习、SFT7.做Fine-Tuning的常见方式 Lora了解吗？8.强化学习中，GLPO策略和PPO策略有什么区别？9.Redission的动态限流，如何去做动态的算法？10.Websocket，如何保证底层连接的机制？？？11.布隆过滤器具体算法描述12.布隆过滤器是概率的，怎么样提高布隆过滤器的概率？13.智力题：3L和5L水桶 装4L水14.打探其他公司面试进度（我都不知道要不要老实说 pov：四面感觉体验很差，面试官问的偏的离谱。此外面试官态度感觉有点敷衍，略微消极，能从摄像头中看得出来。我投的后端开发，AI底层没答上来。#暑期实习   #  #JAVA# #腾讯# #26届实习转正#