6.28 文心一言多模态大模型实习二面

应该是某部门里的算法团队，有大模型相关的1.自我介绍2.项目详细拷打3.长记忆这块除了 rag，你们有试过长文本模型吗？为什么不好？你们使用的扩充到 32K 的模型还是预训练本身就 32K 的模型？4.你们记忆检索怎么检索的？有做什么优化吗？5. 有没有了解过 loss in middle？（应该是这个？应该是说中间的注意下降吧？不是很懂这个原理）6.DPO PPO 能讲一下它们的区别吗？有没有了解过更前沿的 RLHF？7.DPO 里你刚刚说的 reject chosen 的 loss 里的概率是怎么计算的知道吗？8. 简单讲讲 transformer bert 一类的模型的结构吧。9.attention 公式是什么？为什么要除以根号 dk？10. 你们模型效果怎么评估？上线有具体准确率之类的要求吗？11. 安全对齐这块，你们有做样本分布统计吗？ 就是具体涉及到哪些类？代码题最大乘积连续子数组

急招大模型算法实习工作职责：文心一言基础能力优化，对齐Alignment，可扩展监督，方法论探索，数据建设。要求：-国内外重点院校研究生；-计算机、数学、人工智能等相关专业硕士及以上学历-具备机器学习/深度学习/自然语言处理理论背景和实践经验，具备英文文献阅读能力；-熟练掌握python编程语言，了解相关深度学习框架加分项：-大模型相关任务经验-在NLP领域顶级学术会议（ACL、EMNLP、COLING等）发表过高质量论文base: 百度-自然语言处理部-北京组JD接受邮箱：yaopan02@baidu.com

#算法实习##本科实习##多模态大模型##大模型#本人985软件工程本科，目前刚刚结束保研，保研到了top2，之前有做过一些多模态方面的工作（从0实现一个tiny llava），想问一下本科生想找LLM/多模态大模型（更偏向多模态大模型）的实习岗难吗，另外，是否按照blip->clip->llava->internvl->QwenVL...等流程准备多模态大模型的面试，感谢各位学长姐和大神解答！

实习拷打1.pprof使用，定位内存对象问题2.敏感词过滤，AC自动机，trie树，kmp算法3.MySQL优化(我扩展到lsm树了，这个就是最大的败笔，面试官听完什么都没说，直接过了)4.请求折叠，Redis缓存(纯尬聊)5.easyExcel百万数据导入导出6.rocketmq和Kafka区别场景题1.topk问题，数组很大，内存很小，找到最大的10个数，我脱口而出小顶堆，换了个难的2.n个文件，存URL，找到两两之间的交集算法编辑距离(3分钟秒了)[捂脸]反问环节1.大模型在字节电商业务中的使用(ai助手以及开发)2.ddd架构在字节应用广泛吗？(字节重快速开发，迭代上线，每个组架构和风...