分享一下我在大数据方向的学习路线，列出的基本上是必须掌握的内容。对于项目方面，建议先离线后实时项目，再之后便是数据湖等项目。另外推荐《大数据之路》这本书，里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章，源码等。比如：阿里的学习文档、美团的技术文档等，在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。1. Java：JAVA SE、JVM、JUC（刚开始只需要看Java基础就可以，不要花太多时间在Java的学习上，也不需要学习一些web框架，因为不管是源码二次开发，UDF开发，还是数仓都不需要用到这些框架，除非涉及到数据平台开发。2. Linux+Shell，熟悉基本操作即可3. Git、Maven（了解会用，如果需要使用能快速学习上手使用即可）4. Hadoop（重点，HDFS，MapReduce，Yarn）5. Zookeeper6. Hadoop高可用（了解即可）7. Flume8. Kafka（重点，时间紧张的话可以大致了解用途，后面可以和Flink一起学，主要用来处理实时数据）9. Hive（重点，需要熟练了解原理，并且会写HQL，以及一些优化，是基础）10. Spark（重点，大部分公司都是写SparkSQL，并且调优，需要明白底层原理，内存结构，SparkUI等，来不及的话可以先跳过Java API编写Spark代码的学习）11. Maxwell、DataX、DolphinScheduler（项目中数据同步、模拟日常调度工作）12. 离线数仓项目：sgg电商数仓6.0（跟着做完这个项目，就知道数仓、维度模型、指标体系等等，以及生产中一些内容。这套教程比较全面，若来不及可以选择sgg其它离线数仓项目）。学到这里可以去找实习，实时数仓等技术可以在实习中抽空学13. Flink（重点）14. MPP架构（如：Doris、Clickhouse、StarRocks）15. 实时数仓项目16. 数据治理17. 数据湖、湖仓一体18. 刷算法、刷sql、刷场景题 #数据开发工程师# #秋招#  #春招#  #实习#  #大厂#

1. 那我这边直接问你一些逻辑性的问题，比如说就不是那种算法类逻辑，就是正常的业务逻辑。比如说我现在有一个电商行业的一个痛点问题，就是比如说我要做一个活动，那这个时候可能它的并发量就会很高，那我提前告诉你说，可能我们大概一个月以后会有这样的情况，你会怎么处理这个问题呢？嗯嗯，你大概说一下思路就可以。2. 我看这一提到了 Redis 的过期策略，你能大概说一下吗？3. 您大概说一下那个 MySQL 的比如查询优化，就是大概我需要关注哪些点？ 4. 说一个比较常见的情况，比如说可能我的数据量很大，然后可能这个查询可能它怎么说他要去拉取这个数据，从文件系统拉取这个数据，然后这个速率到了这个磁盘的极限，有没有办法去解这个问题呃？#软件开发笔面经#