大模型推理内存优化
200-400元/天
机器学习 杭州 硕士 5天/周 最少3个月 有转正
岗位关键词
岗位职责
岗位职责
参与及负责大模型推理引擎的系统和架构设计。
参与深度优化大模型推理引擎的性能，包括提高吞吐与降低延时。
推进对用户query的处理
岗位要求
1. 硕士及以上，具备机器学习经验基础，熟悉常见机器学习、深度学习算法，熟悉机器学习框架，比如Pytorch
2. 有CPU、GPU优化的经验
3. 对大模型推理内存管理有了解，比如flashattention等
以下是加分项：
1. 有对推理框架的内存管理有研发经验
2. 有对分布式训练或者推理优化相关的研究
3. 有在顶会顶刊发表文章
牛客安全提示：如发现虚假招聘、广告，或以任何名义索要证件、费用，或诱导异地入职、参与培训等均属违法行为，发现请
立即举报