百度-NLP算法一面

base深圳，政府业务9.25 一面1、项目2、RAG有哪些模块，展开讲讲3、微调检索模型的时候为什么加入指令？4、bge-reranker有的时候会导致将一些字面相似的文档排在前面，有什么解决方案吗？5、多轮对话怎么训练？6、手撕达到目标值的最短子数组面完后没消息了，官网也看不到流程。

1. tokenizer的作用？为什么bert要用专门的tokenizerBert有自己的tokenizer，是自己训练好的词表，并且在起止位置都加上了特殊符号注意：尽管tokenizer翻译为分词器，但功能并不仅限于分词，还包括映射词表，添加特殊符号，统一长度（padding、截断）2. 相对位置编码的作用？Rope、Abili1）一定程度上实现长度外推性2）能够获取文本位置中的相对关系3. 大模型是怎么训练出来的？decoder ： 预训练SFT：问答微调RLHF：人工排序，对齐人类偏好4. huggingface里面为什么有些方法可以调用，但是不能查看源码实现面向对象、python的动态特性、导入包、本地方法？5. 用户怎么获取大模型的有害信息（安全问题，赛博奶奶）

9.28 一面1、构建搜索二叉树2、项目3、逻辑回归介绍一下，损失函数4、逻辑回归缓解过拟合的方法5、l1和l2正则化的区别6、为什么l1可以起到稀疏特征筛选的作用？代码题没写出来==================10.13 二面/再次一面1、项目2、如何确保模型输出的格式正确？3、解码方式有了解吗？4、能否从解码方式上约束模型输出？5、大模型结构了解吗？6、注意力机制公式，为什么要除以根号k的维度？不除以的分布是什么，除以后的分布是什么？7、手撕零钱问题8、实现开根号代码题再次没写出来。。。。。。。。。挂了

体验非常非常差，面试官迟到一小时，面的时候刚睡醒，kpi连演都不演了八股1. 大模型微调用到了什么框架2. Lora的训练原理和使用是怎么样的？3. llama的模型结构4. Pre-norm和Post-norm的差别是什么