京东nlp三面凉经

技术二面，两个面试官一个看起来年轻一点，一个看起来更大一点，估计是大老板上。面下来感觉半挂半过，也是偏向于技术+行为面，更多会看个人潜力，这也是我尴尬的地方。1.自我介绍年轻面试官先问1. 介绍一下你这个项目2. 有没有涉及到模型训练（有，讲了一下）3.你这个 prompt 是怎么调的？格式结构化有没有遇到问题？4.一般你怎么去评估你的这个模型？后面就开始尴尬了5.除了大模型，你还有做其他 NLP 的项目吗？（之前做过 bert 情感分析项目）6.其他的呢，比如传统一些的机器学习，你有没有一些经历？（本科学过一点，但是毕竟没做业务还是不熟悉）7. 哪一个算法是你最擅长的？机器学习或者深度学习（支支吾吾，很害怕问机器学习，真不会啊。 我就说，基本还是 transformer 出来之后的那些，早一点的 attention word2vec 也知道一点点）8. 那你大学里哪一门课学的最好？（很慌，我说这个问题感觉有点坑啊，有点不敢回答）面试官笑着说，要想哪个最好问是吧？那我们就不问这个了。9. 你本科数学，运筹学学过吗（学过，但是太久了不记得了）遗传算法还能讲的出来吗（大脑一片空白，讲不出来。。。）10.推荐算法有接触过吗？（我说 这个有一些，之前在蚂蚁实习做过 Deep FM 框架的一些东西，但是他没接着问）11.给你一个场景，假设让你用 bert 或者 transformer 做一个文本分类，你能很快搭建吗（我：这个应该很快，给 bert 加一个分类头，训练一下。 一开始以为要写代码很慌。后面就是随便问了一下）换第二个面试官，更大的那个，就比较行为面了1. 看起来大模型是你的长板啊，那你能讲讲你学习大模型的路线吗？（讲了讲实习中学习，看论文，看代码）2. 你在模型上线做 a b 实验有什么个人体会吗（按照模型评测讲了一通）3. 你做这些微调，有没有一些总结？就是这些算法直接的一些区别？（讲了一下 peft 那些区别）4. 你觉得你是动手能力更强类型还是理论知识更强的类型？（动手能力更强，但是动手能力的拓展需要理论知识做基础）其他还有一些忘记了反问：1. 具体业务，智能客服，设计那些具体的细分方向？2.部门业务的长远规划（大面试官说你这个是问前景吧？就给我说了一通客服部门提级，扩招的一些被重视的情况）3.对校招生的要求（比较看个人潜力，但是也不仅仅看学习能力。 所以会问一些本科成绩啊之类的，但是还是希望实习经验也够，能快速上手）4.流程，是最后一面吗？（正常应该是的）被第一个面试官问机器学习和传统 NLP 学习课程一连串打懵了。最后一个反问里，面试官说一般是最后一面，看个人情况会有调整，你可以等 HR 通知。 所以生死不明。———————————————周一就挂了。。。。不得不说挂的还挺迅速，也算是好事吧，不泡池子。

整个过程主要围绕技术问题展开，没有涉及太多项目、实习或论文的内容，整体感觉比较标准化。RLHF（Reinforcement Learning from Human Feedback）的流程是什么？请描述InstructionGPT的流程。文档切分是如何进行的？普通模型的query fine tuning和SFT有什么区别？请解释Transformer模型的结构。你用过哪些文本特征提取器？介绍一下CLIP。VIT的patches是如何制作和编码的？请写出softmax的公式。Self attention的公式是什么，为什么要除以sqrt(dk)？Transformer的mask是如何操作的？大模...

问的比较基础，有些拷打的挺深。估计还是没论文和竞赛，一面完第二天就挂了1. 在任务对话系统中，大模型的成本较高，有没有自己微调或者调用接口？哪种合适？2. Agent是什么概念？编排指的是什么？3. 大模型中agent的主流框架？4. 在RAG的知识库构建中，文本是什么格式的？PDF、WORD？设计OCR吗？5. 有哪些工业界使用的OCR接口？6. 用大模型做embedding，维度是不是很大？怎么解决？7. 有哪些语义向量模型，效果比较好？了解BGE吗？8. 文本匹配时，为什么有些embedding模型效果比较好？（从训练方式的角度考虑）9. 有哪些向量数据库？10. 海量向量查找算法有哪些？11. 向量检索完成后，怎么做召回？12. 大模型设计的算法有哪些？13. 主流大模型和Transformer的区别？14. 旋转位置编码了解吗？它的旋转角度代表什么？15. RoPE的长度外推是怎么做的？16. RNSNorm和LayerNorm的区别？公式是什么样的？17. LayerNorm会引入可学习的参数吗？引入的目的是什么？18. 大模型的Attention层结构有什么区别？19. attention层有哪些实现方式？self-attention、Cross-attention、local-attention·

bg：2本 top2硕 tx一段大模型实习 学校研究方向及其抽象基本没面试官问 秋招主要投递大模型应用/NLP岗位简单总结下科大讯飞面试体验，流程推进极慢，每次推进基本都要两周左右，面试无手撕，算法困难户友好timeline：2024.8.11 科大讯飞-飞星计划 NLP 简历投递2024.8.22 科大讯飞-飞星计划 NLP 一面 1H左右面试问题：1. 自我介绍2. 拷打tx实习项目，大概用时20min3. 考察常见八股，常见结构的大模型代表（encoder-only、decoder-only、encoder-decoder）以及他们为什么是那些结构； ...