快手内推实习-大模型

大语言模型算法实习生

职位描述
1、负责快手基座大语言模型优化工作，主要为SFT、RLHF方向的模型训练和优化工作，包括但不限于SFT训练、Reject Sampling、PPO训练，RM训练等。
2、跟踪大语言模型方向前沿问题的研究，参与建设并持续保持部门大模型技术在业界的技术先进性，保持创新，实现业界SOTA模型。
3、候选人需要有一定的研究和科研背景，鼓励在RLHF方向做出一些原创性工作，同时有发表专利和论文的机会。

任职要求
1、对NLP，强化学习，大语言模型等相关领域有一定的理解，在其中一个或多个方向有深入的研究经历；
2、优秀的工程实践能力，熟悉Pytorch/Tensorflow等深度学习框架，掌握大规模并行训练技术；
3、有大模型训练经验，熟悉Megatron/Deepspeed等常见大模型训练框架，对ChatGPT, GPT-4等大模型有深入研究且有实际训练经验者优先；
4、在国际会议发表论文者优先，包括但不限于NeurIPS, ICML, ICLR, ACL, EMNLP等会议。
5、实习时长最好在6个月以上

团队介绍
快手 AI 团队都在专业领域有着出色的表现，研究成果频繁出现在国际顶级会议和期刊上，也多次在全球性比赛中获奖。2022 年至今，快手 AI 团队已发表 130 多篇顶会论文，覆盖机器学习、自然语言处理、图像识别、语音识别、搜推广等多项研究领域，包含 ICCV/CVPR (21), ACM MM (9) , KDD (9), SIGIR (9) 等顶级会议。

快意大模型
快意大模型(KwaiYii) 是由快手AI团队从零开始独立研发的一系列大规模语言模型(Large Language Model，LLM)。快意大模型在中文和英文上都具备非常强悍的能力。KwaiYii-13B-Base预训练模型在绝大部分权威的中/英文Benchmark上取得了同等模型尺寸下的State-Of-The-Art效果。例如，该模型在MMLU、CMMLU、C-Eval、HumanEval等Benchmark上目前处于同等模型规模的领先水平。

投递方式：
私信联系我，部门初筛通过后发起面试。#内推##实习#