分享一下我在大数据方向的学习路线，列出的基本上是必须掌握的内容。对于项目方面，建议先离线后实时项目，再之后便是数据湖等项目。另外推荐《大数据之路》这本书，里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章，源码等。比如：阿里的学习文档、美团的技术文档等，在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。 1. Java：JAVA SE、JVM、JUC （刚开始只需要看Java基础就可以，不要花太多时间在Java的学习上，也不需要学习一些web框架，因为不管是源码二次开发，UDF开发，还是数仓都不需要用到这些框架，除非涉及到数据平台开发。 2. Linux+Shell，熟悉基本操作即可 3. Git、Maven（了解会用，如果需要使用能快速学习上手使用即可） 4. Hadoop（重点，HDFS，MapReduce，Yarn） 5. Zookeeper 6. Hadoop高可用（了解即可） 7. Flume 8. Kafka（重点，时间紧张的话可以大致了解用途，后面可以和Flink一起学，主要用来处理实时数据） 9. Hive（重点，需要熟练了解原理，并且会写HQL，以及一些优化，是基础） 10. Spark（重点，大部分公司都是写SparkSQL，并且调优，需要明白底层原理，内存结构，SparkUI等，来不及的话可以先跳过Java API编写Spark代码的学习） 11. Maxwell、DataX、DolphinScheduler（项目中数据同步、模拟日常调度工作） 12. 离线数仓项目：sgg电商数仓6.0（跟着做完这个项目，就知道数仓、维度模型、指标体系等等，以及生产中一些内容。这套教程比较全面，若来不及可以选择sgg其它离线数仓项目）。学到这里可以去找实习，实时数仓等技术可以在实习中抽空学 13. Flink（重点） 14. MPP架构（如：Doris、Clickhouse、StarRocks） 15. 实时数仓项目 16. 数据治理 17. 数据湖、湖仓一体 18. 刷算法、刷sql、刷场景题 #数据开发工程师# #秋招# #春招# #实习# #大厂#

求问大数据开发学习路线

全站热榜

创作者周榜