- 岗位职责
岗位职责:
1、负责公有云serverless spark/sql的设计架构和开发工作。
2、负责saas级别统一元数据服务,数据发现和数据治理服务的开发架构工作。
3、负责数据湖 数据入湖模块的设计和开发工作。
- 岗位要求
岗位要求:
1、精通大数据计算、存储、tableformat、元数据方向中的一个或多个领域。对spark/flink/presto/alluxio,iceberg/hudi,hive metastore/a6n/metacat 其中一个或者多个开源项目有深度理解。
2、熟悉cloud native相关技术,k8s,etcd,contour等。
3、熟悉大数据serverless相关技术,livy,genie加分。
4、具有良好的学习能力、沟通能力、团队合作意识,强烈的责任心与主动性。
5、精通java,熟悉spring cloud;对微服务,服务治理或者service mesh有经验加分。
6、有分布式机器学习框架经验加分,大数据与机器学习结合平台研发经验加分。
7、有公有云大数据平台产品研发经验,或者基于公有云搭建平台级云原生数据平台经验加分。