大数据开发实习生

岗位职责 1. 负责数据抽取、清洗、转换、去重、装载等数据接入开发工作；负责批量离线处理和流式实时数据计算任务的开发工作；负责Open API，类SQL查询、UDF函数等数据服务的开发工作，为数据分析应用和数据科学应用提供数据输出支持； 2. 负责明细报表和大屏、移动看板的开发、测试和维护工作，支持业务用户取数和自助分析数据； 3. 支持大数据平台的搭建、升级、改造和迁移，包括开发、测试和正式环境的安装、配置、调试和恢复； 4. 支持公司各业务部门的数据分析需求，和业务专家密切合作，共同完成分析系统需求，设计技术方案、进行数据分析应用的开发和测试。

岗位要求 1. 熟悉Spark或Flink其中一种；熟悉HDFS，Hive，Hbase，Impala，Hue，Sqoop，Kettle等大数据开发工具； 2. 熟悉python、scala和java中至少一种开发语言，并熟练掌握其中一种； 3. 熟悉常见数据可视化工具Power BI,QlikSence,Tableau等； 4.了解主流大数据平台Apache Hadoop，Cloudera Hadoop的搭建和日常管理。