大数据开发工程师

岗位职责： 1、负责内容数据的采集、清洗、存储、分析统计以及数据可视化； 2、数据采集包含对接公司内部其他平台提供的数据接口，线上采集的日志、自行爬取等； 3、数据清洗包含对内容异常值等脏数据过滤，按需字段提取、HTML标签去除，敏感信息脱敏等； 4、数据存储包含数据落地入仓，比如Hive/Kafka/HDFS 5、数据分析统计包含制作数据关系报表，mysql关系表建设维护，使用spark/storm做统计分析等； 6、数据可视化包含使用表格、图等展示数据分析的结果，比如利用率等；

部门介绍： 负责面向下一代搜索推荐广告引擎的团队，多模态算法团队秉承普惠AI的理念，紧随学界业界前沿，积极探索通用计算机视觉算法并已取得阶段性成果。利用以十亿为单位的多模态数据资产和成百上千卡的强大算力，探索具备出色zero-shot/few-shot能力的预训练模型，并正在适配迁移到多个广泛下游落地业务场景，如火如荼。当前，我们已成功打造了文-图-视频多模态搜索和推荐引擎基底，落地于华为终端图库、HDC、广告、大搜等商业产品；我们还将继续打造多模态创作引擎，实现文本驱动的图像和视频生成和编辑。同时，我们围绕昇腾亲和加速提出并落地了多个独创算法，业界领先，并在MindSpore框架上开辟Auto Boost根据地。