NLP算法面经7

主要问项目 量化 用的gptq 后量化 量化用了什么数据 性能下降怎么样 训练时量化 qlora 介绍一下分词器 有哪些 按子词 字符分 bpe bbpe sentencepiece 你怎么训练的蒸馏 白盒蒸馏 loss怎么设计 我说kl散度 面试官说 这个很基础 有没有了解别的 不了解 面完就去了解介绍下 dpo ppo 区别什么的 没什么逻辑的说了一下ppo 老说不好 我说我能说一下loss 不过漏说了一个部分 然后又从loss角度说了一下dpo 简单问了 rag 的步骤之类的还有一些忘了  面试官很好还有就是城市选择 主合肥了 反问下午约二面希望二面也能过了 #科大讯飞#  #科大讯飞一面#

一面简历项目如何计算模型的参数量？Deepseek R1有哪些特点？有了解过预训练模型吗Code：合并有序数组反问二面简历项目Deepseek MLAKV Cache有哪些好处GRPO，PPO，DPO各自的优势和劣势Code：层次遍历二叉树反问，base主要做RL相关的，3.24OC

✅一面1️⃣时间:1h+自我介绍2️⃣项目介绍:问的很细，过程中不停打断提问算法竞赛项目，整体数据处理流程、模型效果评估方法、心得体会3️⃣八股:简单介绍一下 BERT 和 TransformerAttention 和 self-attention 有什么区别？4️⃣Transformer 的复杂度Bert 用的什么位置编码，为什么要用正弦余弦来做位置编码？还知道其他哪些位置编码？5️⃣除了 bert 还做过哪些模型的微调？为什么现在的大模型大多是 decoder-only 的架构？6️⃣讲一下生成式语言模型的工作机理用过 LoRA 吗？讲一下原理？7️⃣算法题最大子段和跳台阶其他问后续安排和实习时长，以及反问✅二面1️⃣自我介绍2️⃣项目:深挖八股Transformer 结构和 LSTM 的区别和优势，Transformer 怎么体现时序信息？3️⃣Transformer Encoder 和 Decoder 的输入输出和结构BatchNorm 更多用在视觉上，LayerNorm 更多用在语言上，为什么有没 chatGLM，LLaMA 等部署、微调经历？4️⃣有没有了解过大模型加速推理？5️⃣讲一下 Flash Attention?6️⃣算法题先说思路再写代码1、数组中的第K个最大元素2、数组 nums 表示若干个区间的集合，请你合并所有重叠的区间，并返回一个不重叠的区间数组，该数组需恰好覆盖输入中的所有区间。输入: nums =[[1,3],[2,6],[8,10],[15,18]]输出：[[1,6],[8,10],[15,18]]📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

前两天，我有一个朋友总结了一下自己参加拼多多的面试过程。PDD的面试整体流程不太重，两轮技术面+1轮HR面，技术一面主要侧重八股文+项目，技术二面主要侧重场景题+设计。还有就是一些算法。首先说八股文吧，面试中问到的这些八股文包括RocketMQ、分布式锁、ThreadLocal这些我之前都背过，基本上没啥好说的。JVM堆栈这个刚开始是有点出乎我意料的，没想到问的这么简单。但是后面问了一个对象一定都在堆上吗， 这个幸好我前一天刚刚看过。要不然真就gg了。二面问的场景题比较多，但是也不是完全无迹可寻，其实主要就是一个TOP K问题，一个秒杀场景的问题【拼多多集团-PDD校园招聘】内推链接：http...