岗位职责
岗位职责:
1.负责开发公司的大模型推理框架,推动大模型相关算法落地,打造高吞吐、低延时的推理系统
2.持续优化大模型推理服务框架,提升服务稳定性和框架易用性
3.持续优化大模型推理服务性能,提升吞吐,降低延迟并优化整体成本
4.跟进和探索前沿的大模型推理技术,不断追求业务突破
岗位要求
任职要求:
1.本科以及上学历;具有扎实的计算机基础知识,熟悉操作系统和计算机网络。熟悉c/c++和python语言。熟悉transformers、stable diffusion等主流模型原理
2.精通至少一种主流的深度学习框架,如pytorch/tensorflow
3.精通至少一种主流的模型推理框架,如tensorR/onnxruntime
4.具有良好的团队合作和沟通能力,能够与跨部门团队紧密合作,共同推进项目成功
加分项:
1.有大模型推理加速优化经验者优先,如llama,gpt2等
2.熟悉GPU高性能计算常用加速技术,了解常用的CUDA优化方法者优先