帮转字节强化学习算法实习

最近比较忙，面试也没停，不记得太多了，写一些我觉得比较有意思的。来源淘天 度小满 快手 字节等1. Bert 的结构和预训练任务2.Bert 的 MLM 任务和 word2vec 的上下文预测中间有啥区别？3. 知不知道 rag 用的 embedding 和 bert 的区别？4. rag 检索会有啥优化？5. lora 微调在显存上主要节省的是哪部分空间？（优化器）6. 微调数据集怎么做的采样？怎么优化？7. 强化学习的一些，DPO 的一些优化8. attention 有哪些优化？（其实不太懂，我就说 GQA MQA）其他的大部分八股都是很常见的，主要是最近被连续问了两次 embedding 相关，可以看看 bge 的预训练任务代码比较常规吧，有意思的是二分类器输入 100 bs 的 64 维度输入和 Y label，自己实现 sigmoid BCE layerNorm， 先过一个 Linear 再过 layerNorm 再过 Linear 再计算 loss 返回

1.自我介绍2.介绍下鹅厂实习的亮点balabala一大堆3.你跟我说下你们那抽奖发货如果失败了怎么处理的？异步的嘛？如果你在抽奖时失败了怎么做？你们回滚怎么做的？4.你用到了责任链模式？责任链模式和解析引擎的区别是什么讲一讲5.kafka熟悉吗？你刚才提到了超时，如果我想构建一个超时重传的队列你怎么设计的？6.你刚刚提到优先级队列，那么如果只用一个队列你能实现吗？7.好的你提到用LRU算法的思想，构建一个链表，那你能分析下时间复杂度吗8.我们把问题简化一下，就是一个有序链表插入一个数据的时间复杂度，分析一下9.redis用过吗？redis持久化介绍下吧10.redis中AOF重写是异步的还是...

985本硕现在研一，从一个做llm的不放实习要考勤的导师换到了一个做强化学习的半放养的导师。强化学习肯定不能拿来就业了，而且组里没资源，也发不出什么论文来。所以我打算自己学一个方向，网上做一个小项目，靠项目去实习。目前感兴趣的有：llm，推荐算法，aigc等等。但是话又说回来，也有人劝我java启动，我转念一想，学java就算卷不了大厂，去国企的话也是用的java，好像出路宽一点。但我目前研一，还是想自学一个算法的方向然后去试试的，大家有什么建议吗

线下去所里面试的，总共40个人（都是硕士和博士，而且很多是博士），据说只能留下十几个。面试要带成绩单、专利、论文。平均每个人时长10min，不过我排序比较靠后，到我的时候赶上中午吃饭时间了，所以我就面了6分钟就结束了。首先1分钟自我介绍，高考分数和省排名，有没有对象。然后问了项目的背景，来源，难点，怎么解决的，几个人合作的，负责那个部分，主要做了哪些工作。然后问了其余两个项目类似的问题。总结：问的比较简单，应该比较看中学历，成绩，项目方向对口。