智谱大模型算法工程师（OC）

预训练数据收集流程隐私过滤是怎么做的怎么用OCR算法解决读取pdf公式语料以及双栏pdf的问题预训练数据集构建中的亮点数据质量评估方式垂域评测集的构建方式微调评测集是怎么做的，全参微调还是lora，lora原理图文模型是怎么做的没有八股，coding是旋转图像和编辑距离二选一。全程都是问项目。团子面试体验太好了，面试官情绪价值拉满，就迟到一分钟但还是道歉，全程点头微笑，快比我还礼貌客气，编程题竟然还能二选一，反问的时候解答的也很有耐心。周五晚面完今天约了晚上二面，过了就卸载饿了么，求团子给个机会吧。#美团求职进展汇总#

pytorch中的DataLoader是多线程还是多进程；如何查看进程；GPT-2和T5-small大小cpp中的数组实际存储是连续的嘛；是虚拟内存中连续还是物理内存连续；平时cpp开发在32位环境还是64位环境；32位环境还是64位环境怎么看；32位和64位区别；1B参数模型ZeRO2内存减少量；1B参数模型显存占用计算；ZeRO2相比数据并行为什么没有增加通信容量；分布式训练通信发生在什么地方；通信容量是多少；一个卡需要通信参数量为B，AllReduce通信量计算；手撕原创算法题；感觉方向不是很匹配，不知道为什么这么多开发的问题，分布式训练推理优化、大模型反而问的很少

不怎么发面经，但是元象的面试体验是目前面过所有的公司体验最好的，所以写出来分享一下更新 ——————————————9.30 二面10.08 HR面（系统里写的联创面，以为是联合创始人面，结果是HR面）HR很真诚，说不养鱼，很快谈薪————————————————大模型应用组：（面的时间比较早好些问题忘了）8.24 投递9.13 一面 30min- 深挖实习- deepspeed原理- LoRA原理- LN的作用- 为什么LN能使模型训练更稳定- 无手撕9.19 二面挂 30min- 全程深挖我的实习经历，无八股无手撕（面试官一直解释说是想鸡蛋里挑骨头，挺实诚的，行吧）9.23 被大模型研发组捞9.25 刚一面完 1h：- 深挖实习- deepspeed原理- deepspeed和以往张量并行的区别- transformer结构- 拷打多头注意力（为什么多头更好，能不能单头）- Llama相对于Transformer decoder的改进点- RMSNorm和LN的区别- prenorm和postnorm的区别- 模型训练时显存占用（优化器，梯度，激活值等都怎么估计，假设模型7b）- 序列并行的原理- 介绍一下位置编码（和面试官讨论了RoPE和NTK系列的位置编码）- RoPE为什么能够表示相对位置- RoPE怎么作用的，如何旋转（我说完后面试官从数学角度补充了他的理解，鼠鼠受益良多）- VLLM原理- 为什么需要KV-cache- “写个题呗，简单点的，反转链表吧”这三场面试的面试官都很有礼貌。尤其刚面完的这场，面试官基础和技术都很强，感觉他没少看苏神博客，对原理拷打的很细致。很多问题我说完之后他会补上自己的理解和我讨论，不像是在面试哈哈哈。但是也感觉自己的所有积累也被他翻了个底朝天，收获很多，许愿一个二面～

滴滴 机器学习基础平台 面经发个面经攒攒人品 - 量化的工作介绍； - W4A8； - SIMD中浮点数和整数指令； - 量化的逻辑，如果计算； - W怎么计算到4位，A怎么计算到8位； - 量化校准策略； - 其他量化方法； - FP16训练精度损失问题如何解决； - 增大BS为什么会减少通信次数； - 更新和保存的overlap如何做； - GPT-2迁移后如何验证是对的； - 激活值、梯度、权重分别怎么验证； - 微调怎么做的； - LORA微调、Prompt微调； - GPU架构，A100有那些计算资源； - Tensor core介绍； -...