字节大模型一面面经

字节跳动一面8.23算法工程师-国际化广告业务上来就是问项目(rag用的什么向量库，优化手段)lora微调原理，transformer自注意力机制，bert和gpt区别手撕算法，最长公共子序列

8.28 美团一面 纯纯的搞笑面前言：本来美团的面经不该在这个时间点来写的，我也并不想写，因为这面经写出来没有丝毫的价值，本该着手去写的已挂的百度二面面经，但在我看到我的美团校招流程变成回到人才库时，我必须写点什么吐槽这件事。1.自我介绍2.看我的简历里面没有学校的经历，为什么？（学校的经历和求职的需求百分之百不符合）3.看我许久以前的简历是找java的，为什么改了？（礼貌的回答了）4.让我选一个项目聊，我选了目前实习做的项目，大语言模型做类似判别的任务。5.我这个项目的场景下，大模型的输入是啥？我回答是文字。6.大模型的输出是啥？我回答也是文字。7.这个loss是怎么计算的？我回答，toke...

不得不说字节效率真高一面拷打论文transformer和llama的LN有什么区别，手写RMSNormFFN有什么不同，写Relu和SwiGLU数据清洗流程质量过滤用什么模型PPL公式是什么BERT的预训练任务、embedding讲讲位置编码你认为好的prompt的范式是什么开放性问题：端到端的大模型和多个小模型，各自的优缺点是什么手撕：两道easy当天约面二面拷打论文介绍模型数据清洗流程采用什么样的策略、什么样的数据才会便于模型学习数据配比能说下思路吗主流LLM模型结构设计有什么特点如何评估LLM训LLM最大的困难是什么前沿LLM有了解哪些工具调用怎么实现国内LLM有了解哪些LLM推理能力的天花板现在是什么程度无手撕面我1h，口干舌燥当天约面三面问硬件、硬件利用率讲讲deepspeed几个阶段，分别分片什么、代价是什么模型训练时间如何估计DP和DDP的区别最多用过多少张卡训练过程如何做模型监控数据配比怎么量化才是一个好的方案讲一下预训练数据处理预训练和SFT如何评估encoder-decoder、encoder、decoder区别讲一下文本输入大模型到输出的过程decoding策略大模型结构有哪些变化拷打论文手撕：cross-attention部门就不开盒了，仅供参考另外，秋招真是太耽误打游戏了不说了，猿神，启动！

bg：2本 top2硕 tx一段大模型实习 学校研究方向及其抽象基本没面试官问 秋招主要投递大模型应用/NLP岗位简单总结下科大讯飞面试体验，流程推进极慢，每次推进基本都要两周左右，面试无手撕，算法困难户友好timeline：2024.8.11 科大讯飞-飞星计划 NLP 简历投递2024.8.22 科大讯飞-飞星计划 NLP 一面 1H左右面试问题：1. 自我介绍2. 拷打tx实习项目，大概用时20min3. 考察常见八股，常见结构的大模型代表（encoder-only、decoder-only、encoder-decoder）以及他们为什么是那些结构； ...