大模型推理

#大模型推理#  #大模型#  #面试#  #秋招# 求高手指点🙏🏻

RT  投算法每次能过简历但是一面试就说我bg偏工程…但是看开发岗也没有跟大模型推理沾边的  就很迷惑 #秋招#  #面试#  #算法#  #大模型#  #大模型推理#

现在有两个地方看起来比较合适，一个是去做业务场景落地，比如大模型应用到业务上，微调，agent这些；一个是去做基础技术，比如大模型 KV cache 等等优化，针对多模态场景的 KV cache 等等。两个平台都不错，图片上就是第二个。我的情况是，博士读书期间主要做科研，写论文，做的是多模态算法，改改网络结构，发发论文这些。感觉很多师兄师姐都是去做业务场景落地，不过工作可能也比较偏数据处理，业务调优等等。好处就是这个岗位需求大，跳槽也容易。坏处就是卷。。。基础技术研发感觉比较偏底层，做 kv 复用，kv检索等等，里面研究员，博士比较多。这个岗位好处是技术比较深，坏处可能需求量少，做模型基础平台技术不需要太多人请问大家这两个应该怎么选呢 #计算机# #深度学习与神经网络# #多模态# #大模型#  #大模型推理# #offer帮选#

bg一段芯片厂推理框架开发实习一个推理框架开发的项目一面一面的面试官是搞算法的，可能对推理相关的内容了解的不多，主要是针对CUDA的内容问的，比如内存模型，加速方法等，不算深入。顺便还考了一个softmax的CUDA手撕。其他的就是针对简历上提到的一些工作进行了提问，因为面试官本身也了解不深入，所以算是给他回答一些疑惑。手撕除了上面说到的CUDA，还有LC19删除链表的倒数第N个节点。二面一开始就是对项目和实习进行了询问，属于聊天型的。然后从简历出发，考了一些八股，flash attention、attention的计算复杂度，llama模型结构，为什么注意力分数计算要除以根号d，KV cac...

https://mp.weixin.qq.com/s/96NdHInxMUnd_et5WQQMBw #大模型# #大模型面试# #大模型推理#

工作岗位：快手-AI平台-大模型小型化算法实习生工作地点：北京市海淀区西二旗中路29号元中心岗位要求：● 数理要求: 熟练掌握线性代数，概率论，信息论，凸优化等基础知识；了解矩阵论, 随机过程等● 框架要求: 精通PyTorch，熟练大模型并行框架的应用，包括 DeepSpeed，Megatron-LM● 代码要求: 精通Python● 对模型加速的算法研究有浓厚的兴趣，特别是针对LLM和SoRA等前沿模型的推理加速探索● 有论文发表经验优先，提供算力支持对创新idea的研究和应用岗位职责：● 负责快手内部AIGC大模型的推理部署效率优化需求，包括但不限于Diffusion采样时间优化，Dif...