商汤研究院基础视觉组大模型岗位实习&校招&社招
商汤研究院基础视觉组大模型岗位实习&校招&社招，hc还有不少。（帖子还在就说明有效）
正式员工
我组工作时间10-7-5（把事儿做完就行），工作氛围相当好。欢迎加入我们，和我们一起探索最前沿大模型技术的应用和落地，做出能够改变世界的有价值、有影响力的成果！
关于实习
实习生待遇：base上海、北京，400/day，福利：每天50租房补贴，20的餐补。晚上8点之后回去有额外的25元晚餐餐补，10点之后回去可以免费用滴滴。实习主要工作内容就是LLM，MLLM的业务相关，包括处理业务数据，针对特定业务训大模型，模型性能评估，模型量化部署等。欢迎对大模型感兴趣、积累大模型在业务端落地与应用经验的同学投递，能学到很多东西。
目前组里做大模型工作的实习生都发了转正offer
内推邮箱及简历格式
邮箱主题/简历文件命名格式：实习/校招/社招+意向岗位+姓名
此贴长期有效，简历内推投递邮箱：jiangtan@sensetime.com
有什么问题也可以回帖问我。
组别介绍
商汤研究院基础视觉组是商汤前研究执行总监代季峰博士( https://jifengdai.org/ )建立，致力于提出和实现最前沿的算法，保持算法在工业界和学术界的领先，推动视觉理解、智能决策和深度学习算法在众多实际应用领域的性能优化和落地，相关工作已落地服务于本田、广汽、合众、一汽等知名客户。
近期，我组发布了书生2.5多模态多任务通用大模型。在物体检测标杆数据集COCO上，书生2.5 取得了 65.5 的 mAP，是世界上唯一超过65 mAP的模型；在图像分类标杆数据集ImageNet上，书生2.5是唯一准确率超过90.0%的开源大模型；我们基于大语言模型提出全新框架 GITM, 在经典游戏《我的世界》中打造了通才AI智能体；我们提出了端到端的视觉中心任务框架 VisionLLM, 将图像视为外语为视觉和语言任务提供了统一的视角。我们提出基于点击和语言驱动的视觉交互系统 InternGPT，实现用户与多模态大模型的便捷交互。
在自动驾驶领域，我组参与感知决策一体工作UniAD获得CVPR 2023 Best Paper Award Candidate，是自动驾驶领域的唯一一篇；我组提出的 BEVFormer 系列工作以大幅领先的优势获得知名自动驾驶比赛Waymo Challenge 2022 - 3D Camera-Only Detection赛道冠军，nuScenes榜单Camera-only检测任务榜单第一；并亦取得 Waymo Challenge 2022 - 3D Semantic Segmentation榜单第一名，Occupancy and Flow Prediction榜单第三名；我组主持CVPR 2023 3D Occupancy Prediction Challenge，提出Occupancy数据集和基线方法OccNet，比赛吸引了来自10个国家和地区的149支参赛队伍，包含英伟达，华为，阿里巴巴等知名机构参加。
另外，组内ICLR 2021（Review评分并列第二）Oral论文 Deformable DETR 获得商汤最佳论文奖(Citation 2200+)，知名比赛Meta LVIS Challenge 2020曾获第一名。本组的研究方向包括且不限于超大规模预训练模型，多模态学习，视觉Transformer，物体检测，语义分割，自动驾驶，无监督/自监督学习，GAN，行为识别，SLAM等。
在招岗位
业务大模型岗位——base 北京，上海
岗位一、大模型研究员(多模态基模型)
工作职责
- 负责研发多模态基础模型，可处理图像，文本，语音等多模态数据，负责网络结构框架的整体设计和优化。
- 负责探索多模态领域内的最新研究成果和技术进展，熟悉BLIP, LLaVA, mini-GPT4等多模态模型。
- 构建和维护多模态数据集，负责多模态大模型的业务落地和推广。
任职要求
- 计算机科学、人工智能、机器学习或相关领域，硕士及以上学历。
- 熟悉Python/C++编程，掌握PyTorch等框架。
- 熟悉多模态数据的处理和表示方法，如图像与文本、语音等数据模态的融合。
- 熟悉熟悉多模态模型的训练，熟悉经典模型结构如blip2
额外加分项，满足一项或多项
- 有较强的研究能力，于CCF B类以上会议或期刊发表过论文。
- 有较强的竞赛成绩，获得过ACM，NOI，NOIP或其他商业代码竞赛的任意奖项。
- 有较强的学术比赛经验或者在知名数据集的Leaderboard上排名靠前。
- 有较强的代码能力，有高质量的中大型项目或个人开源项目的经验。
- 有较强的钻研精神，对部分语言、系统、算法有深刻的探索和理解。
- 学习成绩优秀，有较高的GPA。
- 有自我驱动力，勤奋好学。
岗位二、大模型研究员(通用视觉方向)
工作职责
- 在通用视觉领域开展研究，负责视觉数据的处理，负责视觉大模型网络结构的设计和训练。
- 负责探索领域内的最新研究成果和技术进展，在相关领域发表论文和专利。
- 将通用视觉模型与实际业务场景结合，如用到自动驾驶场景中提升感知模型的性能。
任职要求
- 计算机科学、人工智能、机器学习或相关领域，硕士及以上学历。
- 熟悉Python/C++编程，掌握PyTorch等框架
- 熟悉计算机视觉，熟悉目标检测、语义分割等常见的视觉技术
- 熟悉Transformer，EVA, SAM等模型架构
额外加分项，满足一项或多项
- 有较强的研究能力，于CCF B类以上会议或期刊发表过论文。
- 有较强的竞赛成绩，获得过ACM，NOI，NOIP或其他商业代码竞赛的任意奖项。
- 有较强的学术比赛经验或者在知名数据集的Leaderboard上排名靠前。
- 有较强的代码能力，有高质量的中大型项目或个人开源项目的经验。
- 有较强的钻研精神，对部分语言、系统、算法有深刻的探索和理解。
- 学习成绩优秀，有较高的GPA。
- 有自我驱动力，勤奋好学。
岗位三、大模型研究员(具身智能)
工作职责
- 在Embodied AI领域开展研究，探索大模型结构的设计、构建和训练。
- 设计和实现具身智能系统的感知、控制、规划和决策等技术，以实现智能体在复杂环境中的自主行为。
- 负责探索领域内的最新研究成果和技术进展，并将其应用到实际项目中。
任职要求
- 计算机科学、人工智能、机器学习或相关领域，硕士及以上学历。
- 在Embodied AI领域有丰富的研究和开发经验，对具身智能技术有深入理解。
- 熟悉Python/C++编程，掌握PyTorch等框架。
- 熟悉强化学习算法，具备在具身智能系统中应用的经验。
额外加分项，满足一项或多项
- 有较强的研究能力，于CCF B类以上会议或期刊发表过论文。
- 有较强的竞赛成绩，获得过ACM，NOI，NOIP或其他商业代码竞赛的任意奖项。
- 有较强的学术比赛经验或者在知名数据集的Leaderboard上排名靠前。
- 有较强的代码能力，有高质量的中大型项目或个人开源项目的经验。
- 有较强的钻研精神，对部分语言、系统、算法有深刻的探索和理解。
- 学习成绩优秀，有较高的GPA。
- 有自我驱动力，勤奋好学。
岗位四、大模型研究员(多模态 - NLP方向)
工作职责
- 负责研发NLP领域大模型，紧跟前沿技术进展，负责大语言模型的训练和finetune
- 负责大语言模型CoT, 涌现能力，推理能力等方面的研究
- 负责大语言模型轻量化算法的研发，探索大规模数据下模型架构设计与优化方法
- 将大语言模型与视觉模型相结合，探索多模态模型的设计
任职要求
- 计算机科学、人工智能、机器学习或相关领域，硕士及以上学历。
- 熟悉Python/C++编程，掌握PyTorch等框架。
- 对NLP相关研究方向有深入的理解和实践经验。
- 熟悉Transformer，GPT，自回归模型等网络结构框架。
- 熟悉大模型微调技术，如LoRA、Adapter，指令微调等
额外加分项，满足一项或多项
- 有较强的研究能力，于CCF B类以上会议或期刊发表过论文。
- 有较强的竞赛成绩，获得过ACM，NOI，NOIP或其他商业代码竞赛的任意奖项。
- 有较强的学术比赛经验或者在知名数据集的Leaderboard上排名靠前。
- 有较强的代码能力，有高质量的中大型项目或个人开源项目的经验。
- 有较强的钻研精神，对部分语言、系统、算法有深刻的探索和理解。
- 学习成绩优秀，有较高的GPA。
- 有自我驱动力，勤奋好学。
岗位五、大模型研究员(平台系统)
工作职责
- 参与大模型训练的工具设计和开发，提升大模型训练性能，提高训练集群利用效率。
- 负责大模型通用平台的搭建，使用Langchain等工具将大模型与外部API结合，拓展大模型能力。
- 探索前沿大模型训练相关技术的发展，包括但不限于算子优化, 计算划分与调度、动态重计算、流水线优化等。
任职要求
- 对主流大模型算法的从算子到训练框架层面有相关理论与实践经验, 具备良好的快速学习和理解能力，有团队协作精神，有责任心，乐于接受挑战。
- 对主流大模型训练工具, deepspeed, megatron, apex有实践与改良经验。
- 了解GPU体系结构，有NVIDIA CUDA开发经验。
- 有计算机相关背景，了解机器学习和计算机体系结构等基础知识。
- 熟悉c++ 或者python，了解一种深度学习平台。
额外加分项，满足一项或多项
- 有较强的研究能力，于CCF B类以上会议或期刊发表过论文。
- 有较强的竞赛成绩，获得过ACM，NOI，NOIP或其他商业代码竞赛的任意奖项。
- 有较强的学术比赛经验或者在知名数据集的Leaderboard上排名靠前。
- 有较强的代码能力，有高质量的中大型项目或个人开源项目的经验。
- 有较强的钻研精神，对部分语言、系统、算法有深刻的探索和理解。
- 学习成绩优秀，有较高的GPA。
- 有自我驱动力，勤奋好学。
自驾大模型岗位——base 北京，上海，深圳，香港
岗位一、自动驾驶AGI研究员 (NLP/多模态相关)
工作职责
- 参与实现基于超大语言模型（LLM）相关算法支持的自动驾驶AGI算法与系统搭建，推动自动驾驶AGI的创新发展，致力于探索前沿算法的研究与落地。
- 参与研发自动驾驶AGI相关的算法：包括不限于：自监督学习、小样本、零样本学习、多模态训练、 超大规模模型预训练等
- 维护相关研究和业务方向的基准（代码、数据、Prompt/Instruction等），将创新算法沉淀为论文、技术报告或专利
任职要求
- 硕士及以上学历，计算机、电子信息或软件等相关专业，有NLP/多模态相关经验的其他专业背景亦可
- 有较强的研究能力和代码能力，熟练使用深度学习框架
- 具有优秀的分析问题和解决问题的能力
- 具有良好的沟通和团队合作能力，富有工作激情敢于突破创新
- 在国际顶尖期刊或会议（如ACL, EMNLP， NACCL，NeurIPS等）发表过论文, 知名NLP比赛中有优异表现
- 有语言/多模态超大模型 (如类ChatGPT/GPT-4)研发应用和Prompt/Instruct Learning研究或工程经验的优先
岗位二、自动驾驶研究员 (世界模型World Model 方向)
工作职责
- 负责开展自动驾驶领域世界模型的研发与迭代
- 参与AIGC(图像、视频)算法的开发与优化，研究问题如视频生成、生成质量优化、可控生成等；
- 跟踪AIGC领域的前沿技术，开展具备创新性的高水平研究，保持技术在业界的领先和竞争力，参与申请专利和发表高水平论文；
任职要求
- 计算机科学、人工智能、机器学习或相关领域，硕士及以上学历。
- 熟悉Python/C++编程，掌握PyTorch等框架。
- 熟悉多模态数据的处理和表示方法，如图像与文本等数据模态。
- 熟悉AIGC模型的训练，熟悉经典模型结构如Diffusion等
岗位三、自动驾驶研究员 (数据方向)
工作职责
- 参与智驾AGI大模型数据流程设计和工具的开发，提升大模型流程效能，持续提高训练质量。
- 配合进行学术和业务场景的目标细分、拆解，协调对齐数据生产和算法开发过程，指导大模型迭代研发。
- 负责跟进调研多模态分析前沿问题和学术界动态，并结合实际场景整合模型评价方案，推进多模态大模型落地。
任职要求
- 逻辑清晰，有团队协作精神，有责任心，乐于接受挑战。
- 有计算机相关背景，熟悉深度学习、计算机视觉、多模态评价等基本知识。
- 熟悉C++ 或者Python，或精通其他语言，有较好代码理解能力。
- 熟悉Linux，具备一定的开发经验，熟悉常见问题的解决方案。
岗位四、自动驾驶研究员 (决策方向)
工作职责
- 和感知算法团队并肩探索，推动自动驾驶算法的创新发展，与海内外多家知名车企携手，致力于推动前沿算法的落地。
- 研发用于自动驾驶的行为决策、路径规划等算法，将成果部署于自动驾驶车辆，解决真实场景中遇到的问题。
- 负责探索自动驾驶决策规划前沿算法发展，利用强化学习、逆强化学习、RLHF、Transformer大模型等工具，不断优化迭代算法，推动模型驱动的端到端决策规划算法的实现与落地，保证自动驾驶产品在相关领域的先进性和竞争力。
任职要求
- 相信自动驾驶领域的发展与应用，逻辑清晰，具备良好的快速学习和理解能力，有团队协作精神，有责任心，乐于接受挑战。
- 有计算机、自动化、机器人等专业相关背景，或相关的实际工作经验。
- 熟悉C++ 或者Python，对决策规划某个方面技术有一定的了解，有志于推动落地。
- 熟悉一种深度学习平台PyTorch，TensorFlow等。
岗位五、自动驾驶研究员 (感知方向)
工作职责
- 和感知算法团队并肩探索，推动自动驾驶算法的创新发展，与海内外多家知名车企携手，致力于推动前沿算法的落地。
- 研发用于自动驾驶的计算机视觉感知算法，包括但不限于: 2D/mono3D/环视bev感知，3D点云感知。涉及目标检测、语义/实例分割，属性理解，点云检测/分割，模型压缩量化，知识蒸馏等任务，成果将直接用于自动驾驶场景中。
- 负责探索深度学习前沿算法发展，结合超大模型、数据闭环、多模态学习、无监督学习、半监督学习等先进工具，不断优化迭代，保证感知产品在相关领域的先进性和竞争力。
任职要求
- 相信自动驾驶领域的发展与应用，逻辑清晰，具备良好的快速学习和理解能力，动手能力强，善于定义问题和解决问题
- 有计算机相关背景，熟悉深度学习以及计算机视觉等基本知识，有扎实的算法和数据结构知识。
- 具有良好的编程风格，文档撰写能力，团队协作和沟通表达能力
- 熟悉一种深度学习平台PyTorch，TensorFlow等 ，熟悉C++ 或者Python。
岗位六、自动驾驶研究员 (感知融合方向)
工作职责
- 负责行人、车辆、人脸等通用目标的单传感器、多传感器融合跟踪算法的开发；
- 负责解决光照，阴影，遮挡，交错等实际应用中的多目标跟踪问题；
- 负责视觉、激光雷达、毫米波雷达等多传感器融合算法研发。
任职要求
- 计算机科学、图像处理、模式识别、通信工程、应用数学等相关专业；
- 熟悉机器学习基本理论，扎实的概率统计、线性代数、数值优化基础，深刻理解特征工程，对特征建模有自己的理解；
- 熟悉滤波器(如卡尔曼滤波或粒子滤波)、光流、SURF、SIFT等常用算法知识；能跟踪多目标跟踪等前沿论文；
岗位七、自动驾驶研究员 (数据仿真生成)
工作职责
- 负责探索深度学习前沿算法发展，发展自动驾驶场景的仿真建模，包括2D场景，3D场景的建模
- 负责生成和维护自动驾驶数据，与感知算法团体并肩探索，推动感知算法性能的边界，致力于推动前沿算法的落地
- 负责搭建数据仿真引擎平台，与感知决策团队配合，实现感知-决策-规划一体化任务的仿真
任职要求
- 计算机、机器学习、模式识别等相关专业，硕士及以上学历
- 扎实的计算机视觉和工程技术能力，熟悉Python/C++编程，掌握PyTorch等框架
- 独立分析和解决问题的能力，良好的沟通能力
- 对三维重建，数据仿真，数据生成等领域有深入了解
岗位八、自动驾驶研究员 (三维重建)
工作职责
- 基于Lidar，视觉等三维场景重建算法研究及工程落地
- 负责多源传感器融合定位，包括基于视觉、GNSS、IMU、Lidar等对多传感器的通用融合定位框架
- 负责搭建数据平台，与感知团队紧密配合，提供高质量的重建数据
任职要求
- 熟悉三维视觉基础理论，如多视图几何。
- 数学基础较为扎实（线性代数、数值优化、概率论等）。
- 有一定编程基础（Python, C/C++，Linux)。
- 具有多源传感器处理的相关知识和经验。
- 熟悉基于滤波和优化的状态估计算法。
- 熟悉常用VO、VIO、SLAM、SFM算法。
