商汤研究院招聘JD(实习、校招、社招)

岗位目录：（所有岗位均有实习、校招与社招名额）

自动驾驶AGI研究员（NLP/多模型相关）
自动驾驶研究员(感知方向)
自动驾驶研究员(感知融合方向)
自动驾驶研究员(数据仿真生成)
自动驾驶研究员(三维重建)
自动驾驶研究员(决策方向）

组别介绍

商汤研究院基础视觉组是商汤研究执行总监代季峰博士( https://jifengdai.org/ )建立，致力于提出和实现最前沿的算法，保持算法在工业界和学术界的领先，推动视觉理解、智能决策和深度学习算法在众多实际应用领域的性能优化和落地，相关工作已落地服务于本田、广汽、合众、一汽等知名客户。我组参与主持CVPR 2023 3D Occupancy Prediction Challenge，提出occupancy数据集和预测方法；感知决策一体工作UniAD获得CVPR 2023 best paper candidate；我组获得知名自动驾驶比赛Waymo Challenge 2022 - 3D Camera-Only Detection赛道冠军，3D Semantic Segmentation榜单第一名，Occupancy and Flow Prediction榜单第三名，nuScenes榜单Camera-only检测任务榜单第一；组内ICLR 2021（Review评分并列第二）Oral论文Deformable DETR获得商汤最佳论文奖(Citation 1600+)，知名比赛LVIS Challenge 2020曾获第一名。近期，我组发布了书生2.5多模态多任务通用大模型。在物体检测标杆数据集COCO上，书生2.5 取得了 65.5 的 mAP，是世界上唯一超过65 mAP的模型；在图像分类标杆数据集ImageNet上，书生2.5是唯一准确率超过90.0%的模型，同时也是世界上开源模型中ImageNet准确度最高，规模最大的模型；我们基于大语言模型提出全新框架GITM, 在经典游戏《我的世界》中打造了通才AI智能体；我们提出了端到端的视觉中心任务框架VisionLLM, 将图像视为外语为视觉和语言任务提供了统一的视角。我们提出基于点击和语言驱动的视觉交互系统InternGPT，实现用户与多模态大模型的便捷交互。

本组的研究方向包括且不限于超大规模预训练模型，多模态学习，视觉Transformer，物体检测，语义分割，自动驾驶，无监督/自监督学习，GAN，行为识别，SLAM等。

自动驾驶AGI研究员（NLP/多模型相关）

【工作职责】

参与实现基于超大语言模型（LLM）相关算法支持的自动驾驶AGI算法与系统搭建，推动自动驾驶AGI的创新发展，致力于探索前沿算法的研究与落地。
参与研发自动驾驶AGI相关的算法：包括不限于：自监督学习、小样本、零样本学习、多模态训练、超大规模模型预训练等
维护相关研究和业务方向的基准（代码、数据、Prompt/Instruction等），将创新算法沉淀为论文、技术报告或专利

【任职要求】

硕士及以上学历，计算机、电子信息或软件等相关专业，有NLP/多模态相关经验的其他专业背景亦可
有较强的研究能力和代码能力，熟练使用深度学习框架
具有优秀的分析问题和解决问题的能力
具有良好的沟通和团队合作能力，富有工作激情敢于突破创新
在国际顶尖期刊或会议（如ACL, EMNLP， NACCL，NeurIPS等）发表过论文, 知名NLP比赛中有优异表现
有语言/多模态超大模型 (如类ChatGPT/GPT-4)研发应用和Prompt/Instruct Learning研究或工程经验的优先

额外加分项，满足一项或多项

有岗位相关的论文发表经历或实习/工作经历；
对深度学习研究某一领域有一定了解。
有较强的研究能力，于CCF B类以上会议或期刊发表过论文。
有较强的竞赛成绩，获得过ACM，NOI，NOIP或其他商业代码竞赛的任意奖项。
有较强的学术比赛经验或者在知名数据集的Leaderboard上排名靠前。
有较强的代码能力，有高质量的中大型项目或个人开源项目的经验。
有较强的钻研精神，对部分语言、系统、算法有深刻的探索和理解。
作为主要研发人员参加过计算机视觉领域的项目。
学习成绩优秀，有较高的GPA。
有自我驱动力，勤奋好学。

自动驾驶研究员(感知方向)

【工作职责】

和感知算法团队并肩探索，推动自动驾驶算法的创新发展，与海内外多家知名车企携手，致力于推动前沿算法的落地。
研发用于自动驾驶的计算机视觉感知算法，包括但不限于: 2D/mono3D/环视bev感知，3D点云感知。涉及目标检测、语义/实例分割，属性理解，点云检测/分割，模型压缩量化，知识蒸馏等任务，成果将直接用于自动驾驶场景中。
负责探索深度学习前沿算法发展，结合超大模型、数据闭环、多模态学习、无监督学习、半监督学习等先进工具，不断优化迭代，保证感知产品在相关领域的先进性和竞争力。

【任职要求】

相信自动驾驶领域的发展与应用，逻辑清晰，具备良好的快速学习和理解能力，动手能力强，善于定义问题和解决问题
有计算机相关背景，熟悉深度学习以及计算机视觉等基本知识，有扎实的算法和数据结构知识。
具有良好的编程风格，文档撰写能力，团队协作和沟通表达能力
熟悉一种深度学习平台PyTorch，TensorFlow等，熟悉C++ 或者Python。

额外加分项，满足一项或多项

有岗位相关的论文发表经历或实习/工作经历；
有L2, L2+, 辅助驾驶项目量产感知算法经验
有实际量产SOC的落地部署经验
对深度学习研究某一领域有一定了解。
有较强的研究能力，于CCF B类以上会议或期刊发表过论文。
有较强的竞赛成绩，获得过ACM，NOI，NOIP或其他商业代码竞赛的任意奖项。
有较强的学术比赛经验或者在知名数据集的Leaderboard上排名靠前。
有较强的代码能力，有高质量的中大型项目或个人开源项目的经验。
有较强的钻研精神，对部分语言、系统、算法有深刻的探索和理解。
作为主要研发人员参加过计算机视觉领域的项目。
学习成绩优秀，有较高的GPA。
有自我驱动力，勤奋好学。

自动驾驶研究员(感知融合方向)

【工作职责】

负责行人、车辆、人脸等通用目标的单传感器、多传感器融合跟踪算法的开发；
负责解决光照，阴影，遮挡，交错等实际应用中的多目标跟踪问题；
负责视觉、激光雷达、毫米波雷达等多传感器融合算法研发。

【任职要求】

计算机科学、图像处理、模式识别、通信工程、应用数学等相关专业；
熟悉机器学习基本理论，扎实的概率统计、线性代数、数值优化基础，深刻理解特征工程，对特征建模有自己的理解；
熟悉滤波器(如卡尔曼滤波或粒子滤波)、光流、SURF、SIFT等常用算法知识；能跟踪多目标跟踪等前沿论文；

额外加分项，满足一项或多项

有岗位相关的论文发表经历或实习/工作经历；
有L2, L2+, 辅助驾驶项目量产感知算法经验
有较强的研究能力，于CCF B类以上会议或期刊发表过论文。
有较强的竞赛成绩，获得过ACM，NOI，NOIP或其他商业代码竞赛的任意奖项。
有较强的学术比赛经验或者在知名数据集的Leaderboard上排名靠前。
有较强的代码能力，有高质量的中大型项目或个人开源项目的经验。
有较强的钻研精神，对部分语言、系统、算法有深刻的探索和理解。
学习成绩优秀，有较高的GPA。
有自我驱动力，勤奋好学。

自动驾驶研究员(数据仿真生成)

【工作职责】

负责探索深度学习前沿算法发展，发展自动驾驶场景的仿真建模，包括2D场景，3D场景的建模
负责生成和维护自动驾驶数据，与感知算法团体并肩探索，推动感知算法性能的边界，致力于推动前沿算法的落地
负责搭建数据仿真引擎平台，与感知决策团队配合，实现感知-决策-规划一体化任务的仿真

【任职要求】

计算机、机器学习、模式识别等相关专业，硕士及以上学历
扎实的计算机视觉和工程技术能力，熟悉Python/C++编程，掌握PyTorch等框架
独立分析和解决问题的能力，良好的沟通能力
对三维重建，数据仿真，数据生成等领域有深入了解

额外加分项，满足一项或多项

有岗位相关的论文发表经历或实习/工作经历；
熟悉常见AI生成模型框架，包括GAN、VAE、VQGAN、Diffusion等
熟悉多模态如CLIP等transformer跨模态表征模型，有NLP、多模态、AI生成模型等方向上实践经验，对深度学习或大模型学习领域有深刻理解。
有较强的研究能力，于CCF B类以上会议或期刊发表过论文。
有较强的竞赛成绩，获得过ACM，NOI，NOIP或其他商业代码竞赛的任意奖项。
有较强的学术比赛经验或者在知名数据集的Leaderboard上排名靠前。
有较强的代码能力，有高质量的中大型项目或个人开源项目的经验。
有较强的钻研精神，对部分语言、系统、算法有深刻的探索和理解。
学习成绩优秀，有较高的GPA。
有自我驱动力，勤奋好学。

自动驾驶研究员(三维重建)

【工作职责】

基于Lidar，视觉等三维场景重建算法研究及工程落地
负责多源传感器融合定位，包括基于视觉、GNSS、IMU、Lidar等对多传感器的通用融合定位框架
负责搭建数据平台，与感知团队紧密配合，提供高质量的重建数据

【任职要求】

熟悉三维视觉基础理论，如多视图几何。
数学基础较为扎实（线性代数、数值优化、概率论等）。
有一定编程基础（Python, C/C++，Linux)。
具有多源传感器处理的相关知识和经验。
熟悉基于滤波和优化的状态估计算法。
熟悉常用VO、VIO、SLAM、SFM算法。

额外加分项，满足一项或多项

有三维视觉或机器人相关的论文发表经历或实习/工作经历；
有三维重建开发的实践经验，如实际处理过原始传感器数据。
有较强的研究能力，于CCF B类以上会议或期刊发表过论文。
有较强的竞赛成绩，获得过ACM，NOI，NOIP或其他商业代码竞赛的任意奖项。
有较强的学术比赛经验或者在知名数据集的Leaderboard上排名靠前。
有较强的代码能力，有高质量的中大型项目或个人开源项目的经验。
有较强的钻研精神，对部分语言、系统、算法有深刻的探索和理解。
学习成绩优秀，有较高的GPA。
有自我驱动力，勤奋好学。

自动驾驶研究员（决策方向）

【工作职责】

和感知算法团队并肩探索，推动自动驾驶算法的创新发展，与海内外多家知名车企携手，致力于推动前沿算法的落地。
研发用于自动驾驶的行为决策、路径规划等算法，将成果部署于自动驾驶车辆，解决真实场景中遇到的问题。
负责探索自动驾驶决策规划前沿算法发展，利用强化学习、逆强化学习、RLHF、Transformer大模型等工具，不断优化迭代算法，推动模型驱动的端到端决策规划算法的实现与落地，保证自动驾驶产品在相关领域的先进性和竞争力。