大模型基础架构岗面经（二）

1、自我介绍2、项目介绍3、项目指令集构建细节4、RAG怎么做的，召回效果5、Lora原理，微调哪些层、怎么矩阵初始化的，不能都初始化为0吗？6、bert了解吗？bert的改进了解吗？bert和gpt有什么区别？7、transformer自注意力，计算过程，softmax为什么要进行缩放，不缩放会导致什么？8、llm的解码参数（top-k，top-p，Temperature，Beam Search）9、clip的对比学习，对比学习中的Temperature和llm解码器的Temperature是一个东西吗？10、了解blip吗？11、聊了一下论文的做法，问了为什么这么做，不那么做12、强化学习，ppo，dpo13、reward模型的损失函数（rank loss）？14、算法题：钥匙和房间（问为什么不用python写），写完思路就行了，没调，因为输入输出好像有问题，面试官说这样就行了。15、反问面试官很好，我没讲对的会纠正我。最后反问学习建议的时候，他说下次面试别切屏。更新：面完10分钟约了二面#算法##大模型算法工程师##面经#

1.简要的介绍一下相关的项目经历2.Python继承和封装这两个概念3.神经网络里的话，它的一个学习率过大会发生什么呢4.像要是这个过拟合要怎么处理呢5.L1和L2正则化的一个区别主要是在哪一块呢6.k折的交叉验证，它的k值要怎么取比较合适呢7.可以直接拿来做文本分类的方法。会有了解哪一些呢8.那像如果是在一个大的数据集里面，来训练决策树的话，怎么样能够用比较少的时间，来完成训练呢

第一课：忠义第二课：忘本第三课：背刺