双非硕好难

1.实习介绍2.介绍Transformer，Decoder中的cross-attention3.vllm原理，如何调度4.分布式训练的架构，业务场景是什么5.NCCL通信底层算法6.protobuf反序列化中，传输错误的解决方案7.Java Spring是否了解8.手撕：LFU+反转链表II

1.八股：一个7B参数的大语言模型，在训练和推理时分别需要多少显存？影响显存占用的关键因素有哪些？2.八股：SFT 阶段，7B 和 70B 模型的学习率设置通常有何不同？背后的原理是什么？3.项目：DPO 训练过程中，你会重点关注哪些评估指标？为什么？4.项目：训练一个基于 pair 对的 reward 模型，loss 函数怎么写？如果是非 pair 形式（只标注最优 response），loss 又该如何设计？5.项目：DPO数据构造中常出现正负样本不均衡问题，你有哪些解决方案？6.项目：用DPO缓解幻觉时，如果反而引入了新的幻觉，可能是什么原因？7.项目：DPO中的beta参数代表什么？过大或过小会带来什么影响？8.项目：你在微调时是否观察过不同层的梯度差异？9.项目：不同参数高效微调方法（如 LoRA vs Adapter）在你的任务上效果对比如何？

👋个人背景：双非硕-日常实习-第一份实习，之后也打算干多模态大模型方向的研究，不知道这第一份实习的话选择哪个公司对会自己之后找工作更好一点，感觉能干个三个月以上，求求牛友推荐👏offer1：蔚来 多模态大模型 base北京💯offer2：bilibili多模态大模型 base上海

主包27届，目前在做大模型应用开发实习目前工作之余在补大模型相关的一些知识以及刷力扣了解到大模型应用开发这个岗本身还是偏后端的所以在考虑要不要把Java补上，但时间有点紧有点犹豫想听听各位大佬的意见🙏如果不补，纯Python的话，就业面会不会很窄