美团 大模型后台开发凉经
- pytorch中的DataLoader是多线程还是多进程；
- 如何查看进程；
- GPT-2和T5-small大小
- cpp中的数组实际存储是连续的嘛；
- 是虚拟内存中连续还是物理内存连续；
- 平时cpp开发在32位环境还是64位环境；
- 32位环境还是64位环境怎么看；
- 32位和64位区别；
- 1B参数模型ZeRO2内存减少量；
- 1B参数模型显存占用计算；
- ZeRO2相比数据并行为什么没有增加通信容量；
- 分布式训练通信发生在什么地方；
- 通信容量是多少；
- 一个卡需要通信参数量为B，AllReduce通信量计算；
- 手撕原创算法题；
感觉方向不是很匹配，不知道为什么这么多开发的问题，分布式训练推理优化、大模型反而问的很少
哔哩哔哩一面98人在聊
查看3道真题和解析
投递国家电网等公司10个岗位