字节 大模型 二面凉经

base：深圳 10月10号投，11号一面，效率很快。40min 一面1.自我介绍2.手撕代码：回文数 3.个人项目    1.个人项目的出发点    2.项目的服务有什么    3.怎么部署的大模型    4.langchain 怎么使用的    5.Agent设计的工具类等细节4. Transformer面试官着重问的是个人项目的实现细节，算法问的不是很多。

pytorch中的DataLoader是多线程还是多进程；如何查看进程；GPT-2和T5-small大小cpp中的数组实际存储是连续的嘛；是虚拟内存中连续还是物理内存连续；平时cpp开发在32位环境还是64位环境；32位环境还是64位环境怎么看；32位和64位区别；1B参数模型ZeRO2内存减少量；1B参数模型显存占用计算；ZeRO2相比数据并行为什么没有增加通信容量；分布式训练通信发生在什么地方；通信容量是多少；一个卡需要通信参数量为B，AllReduce通信量计算；手撕原创算法题；感觉方向不是很匹配，不知道为什么这么多开发的问题，分布式训练推理优化、大模型反而问的很少

一家大模型创业公司，base深圳一面数据来源、配比思路模型评估分词器训练学习率选取并行策略灾难性遗忘MoE讲下论文二面数据来源、清洗、配比质量过滤方法模型结构演变训练框架讲下论文三面hr问成绩遇到什么协作困难问offer情况了解元象吗网上有人开奖了，感觉不是很高的样子…

没想到居然给过了？？？！！！今天下午HR电话联系发了二面-----------------10.21 更新-----------------结果：挂了，但整体面试体验很好（除了公司难蚌的网络）先自我介绍，不过网络卡顿比较严重，面试官中途一直没怎么听清，断断续续的，本来先拷打项目的，就直接进coding环节了一共两道手撕：1）实现softmax，秒撕，但是公式记错了（跟之前科研做OoD Detection时候的写的softmax变式记混了），自己也觉得有问题但就是没发现在哪儿，寄 2）给定一个单调递增数组，且满足大小关系：2 * a[i-1] 手撕感觉寄的差不多之后，又开始结合项目拷打八股（其实就是挑项目里的点问八股，不关注项目本身），深挖了LoRA的原理和细节（只是用过没有深入了解细节，被挖出来了）为什么DeCoder Only是目前大模型的主流，有什么考量和优势在？为什么ResNet没有像transformer结构上不断地堆参数规模？总体来说，面试专业度挺满意的，感觉比理想一面（还搞KPI）和宁德时代好太多。最近忙着搞开题和实习，很久没看八股了，最近不少面试被问到准备过的感觉都答得一般，得再抓一手了。 #你都收到了哪些公司的感谢信？#  #小鹏汽车#  #秋招#  #算法工程师#