大模型基础架构岗面经（二）

1. 自然语言理解模块具体是怎么实现的？基于Bert，大模型升级2. Bert怎么实现自然语言理解模块3. 数据集是怎么构建的？4. 序列标注的CRF有什么作用？5. 分类问题分成几类？6. 准确率怎么衡量？更新：已挂

1.项目拷打2.介绍transformer的具体结构3.绝对位置编码与相对位置编码的区别4.Group Query Attention (GQA) 机制5.介绍一下MOE6.多模态大模型怎样融合不同模态的信息7.反问

1. 在任务对话系统中，大模型的成本较高，有没有自己微调或者调用接口？哪种合适？2. Agent是什么概念？编排指的是什么？3. 大模型中agent的主流框架？4. 在RAG的知识库构建中，文本是什么格式的？PDF、WORD？设计OCR吗？5. 有哪些工业界使用的OCR接口？6. 用大模型做embedding，维度是不是很大？怎么解决？7. 有哪些语义向量模型，效果比较好？了解BGE吗？8. 文本匹配时，为什么有些embedding模型效果比较好？（从训练方式的角度考虑）9. 有哪些向量数据库？10. 海量向量查找算法有哪些？11. 向量检索完成后，怎么做召回？12. 大模型设计的算法有哪些？13. 主流大模型和Transformer的区别？14. 旋转位置编码了解吗？它的旋转角度代表什么？15. RoPE的长度外推是怎么做的？16. RNSNorm和LayerNorm的区别？公式是什么样的？17. LayerNorm会引入可学习的参数吗？引入的目的是什么？18. 大模型的Attention层结构有什么区别？19. attention层有哪些实现方式？self-attention、Cross-attention、local-attention

 据说是pdd部门里强度偏低的？有没有了解的佬们交流一下 #拼多多#