大模型面经 - 字节

面试的部门是字节seedlm二面感觉面试官很和善面试问题：- transformer 的 decoder 和 llama 有啥区别，他们的位置编码有啥区别？ 三角函数位置编码和 ROPE 公式很像啊，他们是怎么实现不同的功能？（一个加 embedding 一个加 KQV，但是公式很像但是推理完全不一样吧，不太会答）- 介绍一下RLHF流程，包括哪几步- llm有哪些评估指标？如何评估模型？- lora原理细节，为什么可以加速？什么是秩？- reward bench上的reward model分哪几类？reward model如何训练的，训练目标是什么？- dpo训练的损失函数和训练目标，dpo如何改进代码题：- 给定长度为 n+1 的数组 nums，其中元素取值范围为 [1, n]，求唯一的重复数。- 手写多头注意力mha，写完后让加位置编码（因为之前写过了，继续吟唱）

java一面：40分钟1、四类八种基础数据类型及其包装类，装箱拆箱2、String类可以继承吗，final说说，final修饰StringBuffer还可以append吗3、介绍项目，刚提到项目中数据从其他渠道流入系统，数据丢失了怎么处理？4、创建线程的那几种方式？主线程可以捕获到子线程的异常吗？Callable接口？5、共享变量问题 ？回答了加锁或者阻塞队列，应该想考察的valotile关键字6、jvm内存模型-堆、栈、程序计算器、方法区，好像不是他想要的7、gc方面的，怎么判断对象是否回收，怎么回收，分代回收，比例多少，大对象怎么分配，怎么判断是大对象8、集合了解哪些？Collection...

补3月1日📍面试单位：隐私和数据保护办公室👜面试岗位：大模型算法工程实习生📖面试问题：先自我介绍，然后问简历上的项目。无手撕代码。🙌面试体验：似乎是日常实习，时间太远细节不记得了。#找实习#

“上班的动力是什么？——食堂今日菜单！” 我说食堂养猪技术一流应该没人反驳吧...别人打工压力大日渐消瘦，我打工一顿不吃饿得慌，免费晚餐必须薅，打工再累也要吃出仪式感～ 实习就是边干饭边成长。虽然每天要和10086个文档和会议相爱相杀，但公司氛围真的超nice！在众安实习的快乐=50%食堂+40%成长+10%美景✨（在公司就能看见东方明珠特别爽！给力带教团-绩优导师带你快速上手;只要你有想法，都有机会涉猎;成长不设限-表现优异的同学设立晋升快车道，资源满满关爱你的体验。 具有市场竞争力的工资，福利满满-员工食堂、通信补贴、节日活动、员工俱乐部，生日关怀、员工补充医疗保险、父母体检、家属...