字节大模型二面面经

不得不说字节效率真高一面拷打论文transformer和llama的LN有什么区别，手写RMSNormFFN有什么不同，写Relu和SwiGLU数据清洗流程质量过滤用什么模型PPL公式是什么BERT的预训练任务、embedding讲讲位置编码你认为好的prompt的范式是什么开放性问题：端到端的大模型和多个小模型，各自的优缺点是什么手撕：两道easy当天约面二面拷打论文介绍模型数据清洗流程采用什么样的策略、什么样的数据才会便于模型学习数据配比能说下思路吗主流LLM模型结构设计有什么特点如何评估LLM训LLM最大的困难是什么前沿LLM有了解哪些工具调用怎么实现国内LLM有了解哪些LLM推理能力的天花板现在是什么程度无手撕面我1h，口干舌燥当天约面三面问硬件、硬件利用率讲讲deepspeed几个阶段，分别分片什么、代价是什么模型训练时间如何估计DP和DDP的区别最多用过多少张卡训练过程如何做模型监控数据配比怎么量化才是一个好的方案讲一下预训练数据处理预训练和SFT如何评估encoder-decoder、encoder、decoder区别讲一下文本输入大模型到输出的过程decoding策略大模型结构有哪些变化拷打论文手撕：cross-attention部门就不开盒了，仅供参考另外，秋招真是太耽误打游戏了不说了，猿神，启动！

组是负责处理字节内部事宜的工作，可以说是什么都干，监测票据、查找文本特殊信息、总结文件等等。拷打实习transformer 前馈神经网络的结构， 为什么会先提升维度后缩小维度multihead 如果改变head个数会影响参数量吗大模型是temperature先起作用还是top p如何解决幻觉，复读机问题如何处理局部最优点过拟合l1,l2区别，用法力扣1650  二叉树的最近公共祖先

腾讯-暑期实习-推荐算法-初试(已offer)暑期实习的面经现在才有空发出来哈哈哈个人背景：双985Timeline：2.25投递，3.4通知初试，3.5初试，3.8复试，3.10 HR面，3.12 HR电话沟通offer，3.15 正式offer邮件面试部门：PCG腾讯会议面了一个半小时，过程如下：1.先简单介绍一下自己。2.挑一个你觉得最能体现你的能力的项目经历展开讲讲。我挑了我正在投稿的论文来讲。然后面试官让我先介绍一下研究任务的背景。因为面试官对我做的任务不了解，所以我几乎是边讲边给他解释一些生疏的概念（在这种时候怎么简短有效地向别人解释新概念就很体现个人表达能力了）。之后就是深挖项目，问的很细，处理的数据集是什么格式，模型输入是什么，样本是什么，模型怎么训练的，full-batch还是mini-batch，有监督还是无监督，数据集太大为什么用 CPU 训练不用 GPU，怎么优化等等（氪金，买 v100 卡、mini-batch、分布式多卡训练）。然后问我 F1-macro 指标怎么计算的（F1是precision 和 recall 的调和平均，F1-macro 和 F1-micro 求平均的计算方式略有不同）。我看你的 AUC 指标挺高的，你觉得这样的性能提升幅度算大吗（AUC 的提升幅度比较小，一点点的提升都是突破）？AUC 指标的数值意义是什么，不用库函数的话具体计算公式是什么（具体计算方式我只记得一个大概的要做排序什么的了，面试官说基本上是这样）。3.对推荐系统感兴趣吗？了解推荐算法吗？（因为我的简历里有写了解具体的推荐算法），自己挑一个算法展开讲讲（我挑了 YouTubeDNN 进行介绍）。然后问 YouTubeDNN 和 DSSM 的区别是什么（我从两者双塔结构的区别、对 Item embedding 处理的区别进行了分析）。4.面试官口头表述出了两道 medium 代码题，都是动态规划：）力扣对应题目见下方。我是直接在 vscode 上写然后讲思路的。5.可以实习多久，什么时候可以开始实习，有在考虑其他公司的机会吗？我说这个不太方面透露，面试官笑了：）所以这个问题一般怎么回答比较好。有什么想问的问题，我问了一下部门的业务方向是什么，面试官说是QQ的部门，做QQ短视频推荐的，然后让我打开QQ看一下就知道了。我打开QQ找了一下才看到，面试官说你是不是把QQ卸了：）我说我平时比较忙，QQ基本上只用聊天功能哈哈哈哈哈哈哈（好吧）。力扣对应题目：【1143. 最长公共子序列】（原题，代码见图片）给定两个字符串 text1 和 text2，返回这两个字符串的最长公共子序列的长度。如果不存在公共子序列，返回 0。一个字符串的子序列是指这样一个新的字符串：它是由原字符串在不改变字符的相对顺序的情况下删除某些字符（也可以不删除任何字符）后组成的新字符串。例如，"ace" 是 "abcde" 的子序列，但 "aec" 不是 "abcde" 的子序列。两个字符串的公共子序列是这两个字符串所共同拥有的子序列。（我直接用二维 dp 秒了，然后面试官问我 text1 和 text2 的当前字符不相等时的状态转移方程求 max 为什么不加一个 dp[i-1][j-1]，我还想了一点时间怀疑自己的代码，最后说 dp[i-1][j-1] 的情况已经包含在了 dp[i-1][j] 和 dp[i][j-1] 里了。然后面试官问我如果要求最长公共子序列具体的序列是什么怎么求，然后我就蒙了，思考了很久，觉得可以用 dfs 爆搜，然后还是用 dp 的话可不可以将 dp 数组的 int 改成 string，但是这样字符不相等的时候状态会分裂，所以应该比较难做，最后面试官说把这个当做课后题我回去再思考一下吧）【最长公共子串】（好像没找到 string 类型的原题，但是有数组类型原题【718. 最长重复子数组】，代码见图片）直接把上一题【1143. 最长公共子序列】的求公共子序列改成求公共子串。（面试官还是继续从上面那题展开考我变体，问我把求公共子序列改成求公共子串要怎么求。我一开始还想着用扩展 kmp (z函数) 解，但是发现这样需要把其中一个字符串的所有子串先求出来，多此一举，就还是用二维 dp 秒了。其实代码就是把【1143. 最长公共子序列】的第二个状态转移方程变一下，然后用一个 maxLen 实时更新求到的最长公共子串）复盘：1.前面经过几次面试， 现在对面试的流程和自己的简历内容已经比较熟悉了，但是因为对推荐算法的知识是新学的，所以遗忘很快，需要抽时间复习一下。2.这次直接出了两道中等动态规划题，差点招架不住，因为动态规划真的是我最弱的知识点，动态规划的题只要一难一变化我很容易就歇菜：）所以还是多练练动态规划吧：） #腾讯#  #暑期实习#  #面经#  #算法#

一面 2024/7/24 晚上19:00-20:00自我介绍介绍实习，问了七八个问题手撕单层MLP做回归手撕Beam Search手撕单层MLP做二分类感觉手撕MLP这个基本上是minimax的必考题，幸好提前看了面经二面 2024/7/31 晚上20:00-20:30自我介绍介绍实习介绍一下实习中某个方法的细节数据集构建细节开放场景题，如果要训练一个长文本的翻译模型，如何构建数据集明确说我背景有点弱，不太适合做模型感觉minimax门槛比较高，二面面试官的态度有点一言难尽直接说我背景太弱了，无论是学校还是实习还是paper，在他们这边都只适合去做数据，不太...