数据开发工程师

工作职责：
1. 数据湖构建: 收集存储各交易所、数据商提供的数据；与研究同事沟通需求，开发程序
对市场基础数据进行初始评估，清洗计算，供因子计算和策略开发使用；
2. 数据维护: 关注数据更新任务的执行情况，确保数据及时更新。理解数据内容的基础
上，编写检查程序对数据进行质量检查，确保数据质量，及时发现并处理数据异常；
3. 用户支持: 协助研究同事使用数据，处理异常，推荐正确的数据集，改进使用效率；
4. 数据治理：规划数据治理框架和数据标准，包含数据标准管理、主数据管理、元数据
管理、数据质量管理、数据生命周期管理等领域的规划；制定数据标准、数据管理体
系和流程。
任职要求：
1. 国内外知名大学本科及以上学历，计算机等相关专业；
2. 2-4 年数据相关工作经历；
3. 做事细心负责，注意细节，有求知欲；
4. 优秀的沟通能力，执行力及团队合作精神。
技能要求：
5. 熟悉 Linux 操作系统，能够编写 Shell 脚本
6. 熟悉 SQL 语法，有 Clickhouse, MySQL, MS SQL Server 等数据库使用经验优先
7. 熟悉 Scala 或 Python，熟练使用 SparkSQL 进行数据处理
8. 熟悉各类存储系统，有 MinIO, HDFS 使用经验优先
9. 熟悉 Airflow 等调度执行工具，熟悉 Hudi 等数据湖工具
10. 了解数据治理的相关概念，有实际项目经验优先
11. 了解 Datahub, Metserver 等元数据管理工具
12. 了解 Docker, Kubernetes, Jenkins 等 CI/CD 工具
引流
芷瀚
卡方
上国象
貔坤
上善御富
启林
盈赢
茂源
佳期
会世
成均
元盛资本
蒙玺
纽达
锐天
高塔
同花顺
凯读
鸣熙
金湖无量
敦和
世纪前沿
雷根
顽岩
灏象
德劭
偲科聆
香农
量派
卓识
奥奇.齐夫
衍盛
桥水
赫富
知至恒
天算量化
量道
文艺复兴
中信期货
千惠
艾略特
九坤
虑得
衍复
集微
金戈量锐
思勰
念空
致诚卓远
希格斯
涵德
城堡投资
通怡
海悦
高盈国际
泛态
火币
靖奇
衍舟
玄元
量游
盛泉恒元
二西格玛
量桥
伯兄
双隆
龙旗
天演
盛冠达
凯纳
千象
鲁民投
明崚
君拙
磐通
灵均
量盈
黑翼
平方和
问月
元胜投资
艾方
高维