算法面经2：nlp和llm，ai教育医疗科大讯飞

9.1 同花顺 大模型（2+1）🚀主要是以项目为主，掺杂八股，八股具体如下（忘记顺序是什么样子）：1. Transformer的自注意力机制及相比RNN的优势？2. 自注意力计算中为何除以 $$\sqrt{d_k} $$？3. 现在LLM微调的方式有哪些？ 再问Adapter和Lora的区别？4. LLM的架构有哪些？现在使用的是那种？为什么？5. Prefix LM与Causal LM区别？6. RLHF流程? 当时不太懂，没深问，现在需要多了解7. 如何优化大模型训练速度？8. 跨模态对齐你是如何做的？Q-Former与MLP适配器的优劣。9. LLM训练中遇到Loss突增如何解决？#实习# #秋招# #大模型# #nlp# #金融# #算法# #八股#

刷题笔记合集🔗 题目描述 两端通过TLV格式的报文来通信，现在收到对端的一个TLV格式的消息包，要求生成匹配后的(tag, length, valueOffset)列表。 具体要求如下: 消息包中多组tag、length、value紧密排列 tag和length各占1字节(uint8_t) value所占字节数等于length的值 需要填充每个tag对应的length和valueOffset值 valueOffset为value在原消息包中的起始偏移量(从0开始,以字节为单位) 若tag匹配失败,则length和valueOffset都为0 tag值按升序排列且不重复 消息包尾...

科大讯飞 NLP (2+1+1) 🚀主要是以项目为主，如果项目有论文支撑，直接对着你的论文直接开讲，中间打断提问发散问题, 最后八股拷打。八股如下包含飞星计划以及秋招正式批：Lora为什么在工业界这么吃香？原因是什么？LLM的分布式框架了解过吗？展开讲一下它们的优缺点？大模型的训练的完整流程是什么样子的？为什么要先经过SFT微调，在RL？DPO和PPO有什么区别？你更喜欢使用那种？当时浅浅回答了下，喜欢DPO，优点说明下。DPO的公式给我写一下或者口述一下？当时没写出来🙄DPO跟对比学习有哪些相同点和不同点？我的项目用了后者 跨模态对齐如何做的，你都了解那些对齐方式？模型的幻觉问题？以及RAG的好处？如何利用RAG去缓解模型环节？ROPE给我介绍一下？代码能写下吗?（当时还不会写🙄）你了解哪些多模态encoder？没有Leetcode🫡，但对着论文拷打发散问题很难受🤕#八股# #牛客解忧铺# #大模型# #nlp# #算法#