- 岗位职责
岗位描述:
1.参与公司大数据平台产品:异构数据同步,ETL以及海量非文本数据存储等产品的研发工作
2.参与设计数据仓库数据模型
3.熟悉hadoop,spark,hbase,hive,flink,elasticsearch等开源组件,可以对线上产品进行调优
4.负责报表需求沟通,分析维度设计以及可视乎分析
5.公司领导安排的其他工作
岗位要求:
1.扎实的java,scala语言基础,熟悉lambda表达式
2.熟悉Hadoop生态圈,有单独部署CDH或HDP开源版本部署经验者优先
3.有离线数据仓库设计和开发经验者优先
4.有异构数据源同步数据以及数据流转经验者优先
5.参与过java项目开发
6.掌握使用过flink,hive,spark,kafka等工具
7.至少两年大数据相关工作经验