这次面的是工程院 bing 团队的 LLM 应用组，问的问题量不大，有一些比较开放性的问题比较有意思。1.自我介绍 两面都有2. 主要会根据项目做一些介绍，这个一面久，二面短一些。3. 一面问了 transformer 结构4. 有没有做过大模型之外的 NLP 相关的内容（简单讲了讲）二面的开放性问题5. 做 rag 应用的时候， 如果幻觉问题严重怎么办？比如已经给了很多 rag 召回的内容了，但是还是错误很多，尤其是一些时间数字类的信息，很容易不准确。（我回答：类似于指令微调，构造对应的数据集， 微调强化大模型对检索的内容的跟随能力）6.接着上面，那你觉得这种数据集怎么构造呢？ 检索的内容和问题很好弄，但是答案怎么获取方便？（我： 我觉得可以反向构造，我先从网络上爬一堆内容作为答案，比如把新闻里的一些信息作为答案，然后让大模型比如 gpt4 生成对应的问题， 再检索召回相关的内容，构造数据集。 面试官说这个想法还挺有意思的）7. 我想通过加噪声的方式提高模型的鲁棒性， 你觉得这个噪声应该怎么加好？ 或者说怎么确定加在 token 的什么位置，加什么 token？（不太懂，我就说从我一般的理解，加噪声都是从 embedding 去加的， 比如随机加一些高斯噪声提高鲁棒性）8.如果我做 rag 召回的相关内容里，会有人恶意注入了一些错误的信息， 你觉得会影响大模型的生成内容吗？怎么避免？（我认为肯定会有影响， 因为关注的信息有错。 我觉得可以提高召回的信息量， 从而稀释错误信息占比来解决）9.接着上面的回答， 我们的输入长度有限制，不能无限加召回的内容怎么办？（可以在检索召回链路中再加一层，类似于粗排后再精排一次，从而减少错误信息的量）其他的不记得了，就是感觉现在面试很喜欢问一些开放性问题。代码题一面编辑距离， 二面是一个有序数组左边平移一定位置后的数组，找到一个 target 的下标。都不算难。

1.自我介绍2.抓着项目的一些问面试官喜欢问从顶层的实验设计的一些东西我的实验为什么要选用 cos 距离或者 mse？能不能用 KL散度？是不能用还是不好用？KL 散度和交叉熵的区别和联系是什么？（都是我没考虑过的问题 有点汗流浃背）既然你用到了那么多微调方式， 那你有什么实验过程中探究了 lora 的比如 秩之类的参数的影响吗？prompt tuning  ptuning v2 有啥区别？（说完他觉得我说的太八股太宏观了，又讲了一堆原理）为什么 p v 2 比 prefix tuning 要减去那个 lstm 和 linear？ 我说论文里说适配 NLG 任务，好像记错了。有没有接触过强化学习？为什么你们只考虑微调，是因为啥原因？你是用几张卡跑实验？多大参数的模型？跑的时候内存占用量多大？有没有试过全量微调？ 那你想一下，假如我用 deepspeed 的几种版本， 全量微调7B 模型，内存占用多大？最后大概的意思就是说他比较看重实验最初的一些设计能力， 不能蹬 OOM 再来解决。让我之后要多理解一下 deepspeed。说社招看的多这些理解能力。反正基本上就是项目围绕讲。 后面说我项目做的，工程应该能力不错。 代码题也是那种很简单的处理数据。

面试官是美女姐姐，人真好。1. 自我介绍2.项目介绍以及项目中一些难点比如怎么处理幻觉， 怎么处理类似于灾难性遗忘的情况？有没有接触过 RLHF 之类的。3. 了解这些大模型的一些底层逻辑吗？实际上就是从 GLM LLAMA 这些的结构不同回答，就是激活函数 layer norm，位置嵌入，mask，预训练处理啥的说了一通。4. 你平常刷 leetcode 吗？ 我说刷她：那就不考你算法题了5. 反问业务

两面一起的，轮流来，侧重点不同。一面1.自我介绍2.讲一下自己在实习中遇到的一些难点，怎么解决。3.算法题 给我一个链表的数组，实现他们的有序合并（先沟通思路，然后在实现。写了个归并）4.实现代码后， 面试官问我如果是我，我会从哪些 case 去测试。反问二面1.自我介绍2. 对封装继承多态的理解3.进程和线程怎么理解的4. 进程线程的通信方式，哪些独有哪有共有5. 栈和队列有啥区别6. 既然说到底层用数组或者链表实现，你觉得他们二者有啥优劣（重点是说出数组的随机读取）7.了解泛型编程吗？这个相关的代码题不能用库，实现泛型编程的 栈， 要实现 pop push （先聊了一下思路，用数组还是链表实现？ 引导了一下，决定用链表头插实现）8. 再让你实现 getmax，你会怎么实现？沟通了一下 然后他希望我用之前实现的 stack 去做， 我没 get 到面试官的意思，想在里面直接修改，（最后没写的很好）后面面试官给我看了一下具体实现，原来是用 Stack 再封装成 MaxStack，说是想看看我的面向对象的 sense 。然后时间不够了， 反问一下。

1. 实习经历拷打主要是针对我上一段字节实习去问八股也没问啥，后面问了三个题2. 给你两个数组，要用两个线程交替输出。 可以写伪代码。（用了两个锁，然后面试官说这样会死锁，又加了一个。 他说用条件变量更简单）3. 代码题 长度 N 的数组，元素范围是 1 到 N，要你在 On 时间复杂度，O1 空间复杂度下求频率。（要原地技术，我思路是对的，但是 swap 函数前后元素变了，我给忘了，bug 一直肉眼看不出来，最后就讲了一下思路。早知道问能不能用自己的 ide debug4. 代码题之后出了个场景提 10 个 100G 的 query 日志文件 每个文件一行都是一个 query ，一台机器内存 10G 可以多台机器，让我想怎么快速找出 top100 频率的 query（也没回答的特别 ok）看了看简历是，第二段是算法，就没问了。 代码题花的时间有点久。

有点搞笑，用他们那个奇怪的会议软件，捣鼓了半天音频。然后问的内容和一面也完全不一样， 也都不是我简历的侧重点。1.自我介绍2.你用 python 怎么实现并发？（蚌， 用的是组里封装的，我也不知道是什么，也没背过 py go 的面经，随便扯了一下）3. go 和 py 并发有什么区别（不知道不了解，随便说了一下协程）4. clickhouse 和其他的一些数据库啥区别（不懂，只会用 瞎说了一下开发的时候怎么选什么数据库）意识到我不会之后，问我我熟悉什么。我说我熟悉 Cpp 的一些底层知识， 大模型主要是算法相关的一些内容。go py 主要就是作为开发 web 工具，实习里也不可能了解那么多原理。然后开始问大模型相关。。。。5. 你有写过调度器吗（我：调度器是什么？）6. 那你有用过 gpt 的代码编辑器吗？（我：啊？copilot 么？没有了解过，后面查了才知道，应该也是一种应用。）7.问我懂不懂容器，k8s 之类的这个时候我已经不想面了。。。我就说，这些东西我两段实习和项目都没有接触过，都不会。然后开始说：我不知道咱们这个岗位的需求是什么， 一面的时候也没问过这些东西，和他沟通业务当时可能也没太清楚。 所以也没准备这些知识点， 确实是有一些准备不佳。如果不匹配的话也没事。他就问我有什么反问的吗？ 我说我一般都会反问业务的具体内容，一面也问了。但是我看好像可能不是很合适的样子，如果这个岗位确实需要那些东西，我也不会， 也没必要问太多了。他问我为什么不投算法，我说我投的是算法，HR 建议我投这个后端，我说也可以。然后问我之前是面过一面了吗？我说是。他说那他和老板说一下这个情况。

WXG 二面挂了，两面面评都很差，找人捞都捞不动了🥲。上周后面面了几家， 整体都很随意， 就没有总结。美团和百川智能的大模型二面，整体都是问了一下项目，题都没做。百川因为是做数据对大模型效果的研究，会问一些相关的场景题1. 让我设计一个实验，来研究数据的作用。2. 有没有看过一些大模型数据相关的论文？讲一讲智谱一面就随便聊项目，也没做题，30 分钟。但是入职很急，今天 HR 面拒了（挂了）。字节推荐架构一面回老东家，面试官直接翻出交接文档，对着简历问1. 自我介绍2.重点问实习的一些细节，比如如何决定对应的数据是存在 clickhouse hive redis 还是啥数据库？大模型的一些项目是什么内容。什么是梯度攻击3. webserver 相关的， epoll 有什么优势？为什么用这个代码写了个编辑距离。

没有理解，一个不会。第一次做这种笔试题， 怎么牛客网那么多 A 三题的。还是刷的太少了，阿里系秋招再来吧。都不知道怎么准备这种题。

感觉有点太 KPI 了先来写了三道题，用的还是一个网页编辑器一样的，不能运行，也没有提示。1. On复杂度计算数组 nums 中两个数乘积的最大和最小2.On 复杂度计算数组 nums 两个数（x+y)平方的 sum3. 和上次一样的，字符串数字乘法实现。写了 50分钟，面试官说第一题有问题让我在看看。就有个人找他聊天了十多分钟，我没看出来问题。 然后他讲了一下第一题的问题，也没让我改。问了一下字节的实习经历，做了啥，有什么难点。就让我反问了。。

好像是到店事业部的应用算法组吧，做的是具体 toB tos 的一些到店 app 相关应用，科研内容很少。1.自我介绍2.问大模型实习的项目3.ChatGLM LLAMA QWEN 这些你都有微调过吗？4.为什么你要用 lora 和 p tuning v2，有啥好处？5.CHATGLM 的训练 loss 你知道怎么计算吗？（详细讲了一下 glm 的训练过程）6.你了解 CHATGPT 的训练过程吗？（预训练 针对 chat 或者 instruction 的持续预训练或者微调？ RLHF）7.为什么这些大模型都要做 chat 版本？（因为能提高知名度。。）8.那你有了解 RLHF 怎么做的吗？（不懂，随便说了几句，就说我不会）9. 你现在确定了自己的方向吗？是做算法还是？（横向比较吧，算法或者算法工程看具体内容，开发更看 title 含金量）还有一些忘记了10.代码题，特定区间的反转链表。面试官每个问题都会停顿很久，有点尴尬。但是问的还挺简单的。

有两个面试官，一个面后端，一个面算法。1.自我介绍2.实习项目介绍你在字节的实习中， 数据聚合过滤是指的什么？3. 介绍一下常见的 peft 微调办法的原理，优缺点4.微调场景题， 如果你有一个可以微调的大模型， 有一个 prompt 模板， 但是发现效果不好。 你会怎么考虑这个问题？5. 假定我们有一个 rag 应用开发，有一个大模型的接口，你怎么用 go 去实现这个高并发开发？（不会，瞎说）还有一点不记得了，问的内容很少，不到 15 分钟，自己实习介绍了 15 分钟。给了一个算法题， 是给一个 json 文件， 然后按每个 key 的 value 的 list 长度来决定概率，随机读取对应 key 的 value 中的随机两条，不够就读一条。直到全部读完，概率是动态变化的。（和上午百川的代码题思路非常像）

被拷打了一个半小时， 感觉也寄了。1.自我介绍2. 针对字节的实习，问我 flask 和 go 的 gin 框架的体验和区别（我黑人问号，以为走错了，不记得了，随便说了几句。3.你熟悉 C++，说一下堆和栈的区别4.数据结构中堆栈队列介绍一下。5. 拷打第二份实习大模型的具体内容， 主要还是我介绍。6. 你知道预训练的一些并行方式吗？（说没接触过预训练， 大概讲了一下知道的两种常用并行，就是数据并行和模型并行解释了一下）7.你知道预训练的数据应该怎么预处理吗？（没懂，我说针对质量进行过滤吧？8.换句话说， 如果我不需要对所有的数据都训练，只需要对每一部分有权重的取数据怎么做？（我：最暴力的方法就是每一块都按比重选一定数量再用于训练）你这个是离线方式，我在线想要调试各种方式怎么做？（我：随机数然后映射到对应的数据去随机取？）9.你知道 Llama 用了多少 token 数据训练吗？（我 这真没记）10. 你知道 flask attention 吗？（没用过，不知道原理，只知道这个东西存在。。11.那你知道 flask attention 能有多大的性能提升吗？ 不知道12. 你知道最早的 attention 做机器翻译，它的注意力怎么得的吗？（不记得，瞎说一通）13. 这个 attention 和 self attention 的 QKV 怎么来的？（attention 应该是初始化的吧？巴拉巴拉瞎说14. 有了解过最近那些超长文本大模型的预训练吗？（没有了解具体原理，但是应该就是加大数据训练长度， 用外推更好的位置嵌入吧？）15. 你说到外推性，那你了解常见的提高外推能力的方式吗？（主要还是位置编码吧？ 给他讲解了一下 ALIBI 这个方式）16 讲一下你对旋转位置编码的理解。17 位置和注意力分数的曲线是什么样子的呢？（一条向上的抛物线，位置越远注意力越小）18. 这个曲线会不会和三角函数一样呢？（我觉得如果是用 Transformer 原本的位置嵌入可能会吧。。。。其他的应该不会？）19 回到我们刚刚说的数据处理， 你能不能用代码实现一下看看？（自己电脑没装 Python  pytorch，就用 Cpp 写，简单写了个逻辑， 随机数有点问题，也跑不通，大概说了一下方式）在写个反转链表反问：

1. 自我介绍2.做算法题两个整数，修改二进制位使得二者相同要多少次修改？给两个不限制大小的数字，求乘法。三数之和，求最接近 target 的和。代码题写的很差，给了 45 分钟，第一个题只考虑了正整数。。用了异或，第二个题没理解清楚，用了 int 64， 是给 string。 第三个题双指针没啥难度。最后写了一道半， 面试官给我时间重写第二题和第一题，也没改完，就讲了一下思路。3. 拷打字节实习内容（汗流浃背）4. 稍微问了一下蚂蚁的算法实习内容5. 介绍一下虚拟内存6.直接 new 一个 1GB 大小的数组怎么实现的， 还是说虚拟地址7.不用虚拟地址，只用物理地址不可以吗？8. 两个线程可以同时读写一个文件吗？可以同时读吗？不会出现读一半的情况吗？9.拷打 webserver 项目。为什么用 epoll， proactor 和 reactor 有啥区别？双链表实现心跳机制是什么？介绍一下。 用 vector 不行吗？10.看到你简历说熟悉 TCP 协议， 为什么 TCP 要三次握手，两次不行吗？反问：对我的评价：代码题不理解要及时问， 基础还可以， 但是字节的实习体现了工作量，没体现技术难点。有没有后续： 不能保证， 只能往上反馈结果， 如果有下一轮面试可能快的话这周，慢的话两周。

1. 自我介绍2.项目介绍3. 你的项目有用到很多微调方式，能给我解释一下吗？（lora pv2 prompt tuning 等）4. 能详细介绍一下 Transformer 结构吗？5. bert 在训练的时候， 如果一个 batch size 的内容长度不一样， 这个怎么解决？（我说的加 padding token）6. 那加 padding token 会不会对计算结果有影响？（反应了很久没理解问题， 我就说从预训练一开始就这样，应该不会影响的 ，相当于 pad token 这块都是-100 不计算 loss）7. 这个 loss 是什么 交叉熵还有几个提问给忘记了 做了一道 mid 难度的 dp 题，1-26 对应 a 到 z，给一个 nums 字符串，有多少种转换方式。 第一次写没考虑 0， 他给的 case 没过，改了一下。