一、准备工作1、模型训练的优化器、梯度占多少显存：模型的大小、优化器的类型、训练数据的批量大小（batch size）以及是否采用混合精度训练，例如，对于Adam优化器，显存占用大约为模型参数数量的两倍；通常梯度与模型参数的显存占用相同；混合精度训练；梯度累积；模型并行和数据并行；优化器状态分片；2、假如说有个200B的模型，如何设计在16张卡上分布式训练比较合理：评估计算资源、显存需求、数据模型流水线并行3、加速ai算法推理：算法优化（批处理、剪枝、量化、压缩、改进）、硬件优化（GPGPU、FPGA、分布式）、其他（预处理、超参调整）4、kvcache优化：共用kvcache（MQA、GQA）、量化、稀疏化、窗口优化、推理框架优化、预处理优化5、算子融合：conv+bn、conv+pool、fc+fc、conv+activation、rnn6、虚函数：基类virtual、派生类override、多态、动态绑定、抽象类、纯虚函数、虚函数表、基类指针指向派生类对象7、进程和线程：进程-操作系统的最基本执行单元，并发独立；线程：更小的基本单位，共享，并发；8、网络七层模型：物理-链路-网络-传输-会话-表示-应用9、程序崩溃的原因与排查方法：资源不足、系统错误、第三方库或插件错误、内存泄露、不确定的变量、设备兼容、逻辑错误、病毒、驱动；方法：调试工具、日志信息、环境测试、版本回退、内存检查、性能分析、代码审查10、多线程加锁：多个线程可能会同时访问和修改同一资源（如全局变量、共享内存等），这可能导致数据不一致或线程安全问题，synchronized关键字11、死锁：两个或多个线程在执行过程中，因争夺资源而造成的一种相互等待的现象，避免一个线程同时申请多个锁，保持加锁顺序一致，锁超时机制12、Python的变量类型有数值、字符串、列表、元祖、集合、字典、数组13、python中set集合的特点：无序、唯一、可变、数学操作（交并差）、关系测试、不可哈希、自动去重14、linux常见操作：ls、cd、pwd显示完整路径、mkdir、rm、cp、mv、touch、cat、more翻页、less翻页、head翻页、tail翻页、find、grep、df显示磁盘信息、du显示目录信息、top进程情况、ps当前进程、ping、ifconfig、wget下载、curl下载、useradd用户操作、userdel、groupadd用户组操作、groupdel、passwd密码、tar打包盒和解压、gzip、gunzip打包和解压gz文件、zip、unzip打包和解压zip文件、info信息、sudo管理员、chmod更改权限、kill、reboot重启、shutdown关机、ss查看端口、su用户切换、15、python的列表生成器：[expression for item in iterable]16、shell的指定文本查找：grep、find、awk、sed、vim17、python异常处理：try、except、finally、else18、深拷贝与浅拷贝：浅拷贝在类上拷贝的是地址，深拷贝就是完全独立的拷贝19、python的迭代器：__iter__和__next__;生成器：yield,每次调用执行下一个yield20、时间局部性和空间局部性是计算机程序在执行过程中表现出的两种重要特性。它们分别描述了数据项在时间和空间上的访问模式21、静态变量存放在内存的全局存储区（c++和python）方法区（java）22、面向对象：对象、类、封装、继承、多态23、怎么从一百万个数里面找第k大的：排序后访问、快排24、快排的具体思路：选基准、分区、递归排序、合并25、priority_queue默认是最大堆，也就是队列顶部是最大值，priority_queue<int, vector<int>, greater<int>> qmax;相反less就是最小堆；二、正式一面-岗位是NLP的，和我的经历CV不对口1、自我介绍：读简历就完事了，7分钟；技术面试官说很详细，估计是因为nlp和cv不是很互通，全程三个人开摄像头；2、人力面：本科成绩、为什么没保研、工作的公司名称、工作与现在的工作有没有关系、研究生专业、专业研究方向、研究生成绩、论文发表了吗、投递了哪个期刊、奖学金情况、成绩好为什么没有国奖、专利、python的代码量、代码行数、社团活动。3、技术面：模型的基础调优用过哪些，遇到过什么困难和解决方案；超参调整如何手动设置初始值（lr、warmup、batchsize、正则、dropout、激活函数、基于经验）；收敛慢怎么办（lr、初始化权重、数据质量、模型结构、优化器、梯度、正则、训练时间）；各种优化器介绍（SGD随机梯度下降、momentum动量法、RMSprop指数加权平均、Adam）；transformer结构的了解（多头注意力、编码器解码器、前馈神经网络、kvq键值查询）；yolo和detr的优缺点和适用场景（yolo实时、detr复杂高精度）；算法量化PTQ和QAT的介绍；激活值溢出（合适的scale和zero_point、Q/DQ、INT32中间值）；什么时候可以用更复杂的量化方法；对大模型有多少了解；大模型RAG（检索增强生成）或者其他大模型demo；NLP哪些前沿算法有了解；项目介绍（搜索方向、igpt应用（图像分类、补全、特征提取））；是否接受转型；4、反问：长沙有岗位吗；有5、结论：给钱就签
中兴三面10人在聊
查看32道真题和解析