AI infra独角兽公司一面

1. 当训练推理卡规模倍增的情况下,最容易产生瓶颈的位置可能是什么
  a. 请展开分析产生的原因
  b. 对于此类问题,有什么优化或者缓解方案
2. 请解释并介绍一下 Roofline 模型,如何判断性能已经达到计算瓶颈
3. 在 C++中,若数组越界写使得其他的数据结构被写坏了,工程现场保留了 coredump 文件,你应该如何排查这个错误
4. 请介绍一下你理解的 Flash-attention
5. 当进行 GEMM 计算时,一定可以保证它是一个计算瓶颈算子吗,如果要你去优化它,你的思路是什么。
6. 对于性能优化的定位和瓶颈的检测,你有什么方法吗
7. 手撕:手写包含 GQA 的 attention 模块实现

#面经##infra#
全部评论
佬面的是minimax吗?怀疑我们碰到了一个面试官,第三题他也问过我。后续我二面挂了
2 回复 分享
发布于 08-28 00:09 上海

相关推荐

10-11 22:39
复旦大学 Java
通义实验室-AI数据引擎团队招聘团队介绍:通义实验室系统AI实验室,致力于阿里大模型相关的系统化工程工作;魔搭,灵积,通义千问,每一款阿里出品的大模型产品都有我们团队的印记;而AI数据引擎团队,主要解决大模型训练过程中的数据生产问题。训练数据在大模型训练中是至关重要的,它是模型学习和泛化的基础;高质量、多样性和代表性的训练数据可以帮助模型获得更好的性能和更广泛的应用能力。我们团队的工作包含了海量预训练数据的采集、预处理,SFT/RLHF等模型alignment所需的精细数据的生产(标注、评测),训练数据集的体系化管理、索引、使用、增效,线上训练数据回流解决方案,等一系列大模型训练和部署过程中会遇到的数据生命周期相关问题;在这里你会深度发掘模型和数据之间的联系,迅速得接入大模型训练数据生产背后的魔鬼细节,将对大模型的相关认知持续推到新高度。职位描述:参与AI数据平台的研发工作。1. 海量分布式采集系统:高并发系统的吞吐优化、线性扩容,降本增效,对于网站安全机制的深入理解。2. 数据标注系统:高可用的API系统的开发和维护,二次开发体系的建设(AWS SageMaker GroundTruth),特定标注模版的开发和算法辅助优化(如视频自动跟踪,图片自动分割)。3. 数据处理系统:高质量训练数据集的流程构建,百亿级向量去重算法的研发,向量提取模型的研发和部署,高质量数据集的构建(对标RedPands,Lainon5B,DataComp)。4. 数据管理系统:多模态数据的存储体系构建,多模态检索系统的研发和优化,Python SDK的研发,高质量数据集的构建。感兴趣的同学可发送简历到jiahaijun.jhj@alibaba-inc.com
投递阿里巴巴等公司10个岗位
点赞 评论 收藏
分享
3 13 评论
分享
牛客网
牛客企业服务