技术栈符合吗?大模型推理加速一般需要有深度学习基础对模型的网络结构很熟悉,现在很多优化的点在算子上,要写cuda,还要熟悉一些推理框架vllm这些,感觉是不是要学的基础比较多。如果没啥基础,短期的实习感觉不太会出成果

相关推荐

2024-11-20 18:25
安徽大学 Java
点赞 评论 收藏
分享
牛客网
牛客企业服务