大数据开发工程师

岗位职责： 1．负责企业级大数据平台的设计、开发、维护与优化，参与实时和离线数仓设计、数据模型体系的构建和开发，提供统一、可靠的离线和实时数据服务； 2．构建高效、稳定的数据处理流程，解决海量数据(TB/PB级）下的性能瓶颈问题； 3．负责数据治理，建立数据规范，优化数据链路，保证数据时效和数据质量 4．负责实时计算（如Flink、Kafka）与离线计算（如Hive、Spark）任务的开发与调优； 5．协同数据管理部门、业务团队完成数据驱动的决策支持，提供可落地的数据解决方案； 6．跟踪大数据领域前沿技术（如湖仓一体、流批一体、AI工程化），推动技术升级与创新 职位要求： 1.学历背景 -计算机科学、软件工程、统计学等相关专业本科及以上学历，985/211优先。 -两年及以上大数据开发经验，最短一份工作经历不少于一年。有复杂业务场景的实战经验者优先。校招生本硕均985/211或海外本硕QS前100者优先。 2.技术要求 -精通Hadoop生态体系（HDFS/YARN/Hive/Spark/HBase等），熟悉分布式系统原理。研究过Hadoop或者Spark源代码的优先； -熟练掌握至少一门编程语言（Java/Scala/Python/Shell/SQL)，具备高性能代码开发能力者优先； -熟悉实时计算框架（Flink、Kafka Streams）及消息队列（Kafka/Pulsar）者优先； -熟悉云原生大数据技术（华为云Mars产品等）者优先； -有数据治理、数据安全（如脱敏、权限控制）经验者优先； -熟悉数据仓库建模、ETL开发，对数据平台和数据分析等有一定的了解者优先。 3.其他能力 -良好的逻辑思维和沟通表达能力，有一定的组织协调能力，有团队合作精神，学习能力强： -技术视野开阔，有强烈的上进心和求知欲，善于学习和运用新知识；

校招生本硕均为985/211者优先