元象大模型面试

一面一上来先做了道栈的原创题，之后就是问项目，主要是数据部分。第二天约的二面，二面是纯聊项目，压力非常大，堪比商汤的三面。对方应该是一个领导过一个大型基座模型分布式训练项目的leader。从一个垂域大模型从零开始的数据收集，清洗，评估，增强，到模型的训练，评测，微调策略，scalinglaw实验，到分布式训练，4D并行，节点通信，坏点检测，再到算法上的decoder only，attention演进路线，rwkv和mamba的局限性和创新点全程事无巨细的拷打。面下来感觉元象还是挺有野心的，一只手抓底座，一只手抓业务，应该是腾讯系的初创公司吧，卡不算少，至少是1000多张，但不知道是不是a100起步。想问一下有无面过元象的牛友，专业复试-未处理是还没出结果的意思呢还是未通过的意思呢。#牛客创作赏金赛#

CSP-J信奥普及组课程优惠码立减180https://www.nowcoder.com/courses/cover/live/230?coupon=AxL4k9m

不怎么发面经，但是元象的面试体验是目前面过所有的公司体验最好的，所以写出来分享一下大模型应用组：（面的时间比较早好些问题忘了）8.24 投递9.13 一面 30min- 深挖实习- deepspeed原理- LoRA原理- LN的作用- 为什么LN能使模型训练更稳定- 无手撕9.19 二面挂 30min- 全程深挖我的实习经历，无八股无手撕（面试官一直解释说是想鸡蛋里挑骨头，挺实诚的，行吧）9.23 被大模型研发组捞9.25 刚一面完 1h：- 深挖实习- deepspeed原理- deepspeed和以往张量并行的区别- transformer结构- 拷打多头注意力（为什么多头更好，能不能单头）- Llama相对于Transformer decoder的改进点- RMSNorm和LN的区别- prenorm和postnorm的区别- 模型训练时显存占用（优化器，梯度，激活值等都怎么估计，假设模型7b）- 序列并行的原理- 介绍一下位置编码（和面试官讨论了RoPE和NTK系列的位置编码）- RoPE为什么能够表示相对位置- RoPE怎么作用的，如何旋转（我说完后面试官从数学角度补充了他的理解，鼠鼠受益良多）- VLLM原理- 为什么需要KV-cache- “写个题呗，简单点的，反转链表吧”这三场面试的面试官都很有礼貌。尤其刚面完的这场，面试官基础和技术都很强，感觉他没少看苏神博客，对原理拷打的很细致。很多问题我说完之后他会补上自己的理解和我讨论，不像是在面试哈哈哈。但是也感觉自己的所有积累也被他翻了个底朝天，收获很多，许愿一个二面～

       我是23届的，正式工作也一年多了，今天我想和大家分享我的前端工作体验，以及在这个小团队中成长的点滴。        一开始加入该公司也是一个很巧合的事情，当时正好有一天起的很早，然后面试了，从之前实习公司离职后加入了该公司实习（理由: 纯属实习工资是前面那公司的1.5，不过强度也大了些）。        刚开始工作的时候就会有一些比较陌生的东西，比如aws，d3等，即是充满挑战又是很有趣的，不断的去尝试新的东西，迭代优化旧的代码，不正是写代码的乐趣之...