字节模型训练师一面挂

bg :本硕985，机器人+材料的交叉学科，目前研一，无科研产出，估计秋招的时候也没有，因为做的方向又窄又难，文章质量差的话实验室根本不让发预期：硕士毕业的时候想找个要么高薪，要么收入一般但稳定点的工作，未来经济状况就是自己养自己，没多一个人养我，我也不会多养一个代码水平一般，这几天在补数据结构，刷hot100；想找实习，不知道往哪个方向去找，目前有想法的是产品、数据开发、大模型。考虑产品是因为感觉自己技术太薄弱了，机器学习这些都知道皮毛，也没怎么训练过模型；考虑数据开发是因为数据相关的岗位还可以去外企看看；大模型就是因为给的钱多，我自己了解之后也不排斥。想问大家，我的情况选哪个好一点谢谢～

LAMB优化器介绍 增大bs，学习率如何调整，模型很大，bs不变呢？ 你知道的并行切分策略； ZeRO介绍； pp并行下每张卡的显存、计算量一样嘛，激活值呢？ DCU和华为AI加速卡区别、生态、通信库； 千卡项目详细介绍一下； 异步保存方面详细介绍； DDP/DeepSpeed中的一些异步保存机制； T5 和 GPT-2的差异； transformer结构； 残差连接的作用； 3D并行相关； 意向地

目前接到某自动驾驶公司offer，提供了3个可选的岗位选择：选择1:感知算法后处理，主要做测距、建模、滤波、目标跟踪等，不是感知模型训练！我对这方面也不太懂。选择2:感知算法的推理、量化和部署还有前后处理工作。选择3:自动驾驶C++消息通信中间件开发。本人情况：海外硕，无论文，有cv算法工作经验，自学C++开发。三个方向待遇相同，考虑到未来跳槽选择广度和发展前景，请问各位大佬选择哪个方向就业前景更好？

一面 实习主要工作介绍； 千卡训练项目介绍； 竞赛项目介绍； 手撕：反转矩阵； 技术规划； 有什么其他offer； python深拷贝和浅拷贝区别； CPP的三种智能指针和用法； 写时拷贝原理 零拷贝原理 二面 大模型分布式训练的流程、并行策略考虑； 各种并行策略介绍； TP为什么有按行/列两种； 按行/列对应的是什么； Megatron-SP介绍， Transformer架构，有那些层、算子； encoder和incoder介绍，特点； FlashAttention介绍； online softmax介绍； block是软件还是硬件的； CUDA有哪些优化方法； 访存优化方法有哪些；...