大数据学习路线

个人学习路线,望各位大佬指正,不喜勿喷:

一、前言(基础):

| 编程基础四大件

| 这根学什么语言、后续从事什么编程方向均无关,只要是做编程开发,这四个计算机基础就是无法避开的,这基础四大件真的比编程语言还重要!!!

数据结构和算法

可以说这个直接决定了⾯试的成败!⼏种基础数据结构类型得烂熟于⼼,⽐如:字符串、链表、⼆叉树、堆、栈、队列、哈希等;基

基本的⼏⼤算法也要了如指掌,⽐如查找、排序、动态规划、分治等等。建议LeetCode多刷题。

参考资料: 《⼤话数据结构》、《算法》、《剑指offer》、《LeetCode刷题》等

计算机网络

此处的计算机⽹络指的就是TCP/IP协议栈,可以说它是当下互联⽹通信的基⽯,⽆论如何⼀定要对TCP/IP的协议栈了如指掌,主要就是学习和掌握原理,包括:ARP协议、IP协议、ICMP协议、TCP和UDP协议、DNS协议、HTTP协议、HTTPS协议。

参考书籍: 《TCP/IP详解》等

操作系统

该部分重点包括:进程和线程的相关原理(原⼦性、并发、锁)、内存相关原理(内存分布、内存调度)

参考书籍:《深⼊理解计算机系统》等

设计模式

倒不需要23种设计模式全部记住,常见的几个如:单例模式、⼯⼚模式、代理模式、策略模式、模板⽅法模式建议熟练于心。

参考书籍:《⼤话设计模式》、《设计模式之禅》等

二、语言基础

语言

Java

语言基础

JVM虚拟机

并发/多线程编程

Scala

基于Java衍生出的编程语言,在大数据行业使用较为广泛

基本开发工具

Linux操作系统

服务器使用最多的操作系统内核

SSH终端

shell 通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。

IDEA

IDEA 全称 IntelliJ IDEA,是java编程语言的集成开发环境。IntelliJ在业界被公认为最好的Java开发工具,尤其在智能代码助手、代码自动提示、重构、JavaEE支持、各类版本工具(git、svn等)、JUnit、CVS整合、代码分析、 创新的GUI设计等方面的功能可以说是超常的。

Git

是一个开源的分布式版本控制系统,可以有效、高速地处理从很小到非常大的项目版本管理。也是Linus Torvalds为了帮助管理Linux内核开发而开发的一个开放源码的版本控制软件。

Maven

Maven项目对象模型(POM),可以通过一小段描述信息来管理项目的构建,报告和文档的项目管理工具软件。

三、大数据组件学习

Hadoop(★★★★★)

Hadoop是由一个Apache基金会所开发的分布式系统基础架构,主要解决海量数据的存储和海量数据的分析计算问题,广义上来说,Hadoop通常是指一个更加广泛的概念--Hadoop生态圈。

Sqoop

Sqoop是一款开源的工具,主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

Zookeeper

它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。

Hive(★★★★★)

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。

Flume

Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;

Kafka(★★★★★)

Kafka是一种高吞吐量的分布式发布订阅消息系统;

HBase

HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。

Spark(★★★★)

Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。

Flink(★★★)

Flink是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。

四、项目

离线数仓

数据采集

数仓系统搭建

数据可视化

......

实时数仓

五、实习

| 完成了上述部分80%左右的学习即可开始准备实习

八股文

数据结构/算法

六、最后

| 个人认为学习途中非常有意义的事

1、坚定的信念

2、制定任务和计划

3、持续的激励及正向反馈很重要

4、总结与反思

#大数据暑期实习##大数据##大数据学习路线#
全部评论
为什么我没有早点刷到这篇帖子哭哭
2 回复 分享
发布于 2023-02-20 12:30 湖南
写的真的好详细 太贴心拉
2 回复 分享
发布于 2023-02-20 13:21 江苏
这些需要学多久
1 回复 分享
发布于 2023-02-27 15:27 广东
可以
点赞 回复 分享
发布于 2023-04-17 13:03 浙江
老哥如果时间不足的话,做离线数仓还是做实时数仓比较好
点赞 回复 分享
发布于 2023-06-01 02:05 广东
大数据的八股文去哪里看啊?哪里的全一些
点赞 回复 分享
发布于 04-13 03:34 宁夏

相关推荐

大家好!总结经验,实打实的经验!文章虽长,句句真心。背景:本科:民办三本汽车服务工程专业硕士:二本航天工程专业从8.20到11.12历时两个多月,拿下两个offer。一个是海博思创产品测试岗(年薪20w),一个是家门口央企销售岗(待遇尚可)。具体可详见之前选offer帖子。首先,和极大多数人一样,我是一个普通的学生,没有名校的光环,而且专业也不是很好(专业对口的极少)。估计大部分硕士都比我这个背景要强。但是,我是一个非常勤奋非常重视秋招的人。从上大学开始觉醒学习 ——> 六级,国家励志奖学金,研究生一等学业奖学金,大厂优秀实习生,项目经历。无论是从四六级还是奖学金还是实习,我该有的都有,还差dang员和科研论文就更完美了。大前提心态!和大多数人一样,我同样是投很多简历石沉大海。我也有过迷茫,失望,无助,emo……但是我从来没有放弃过。应届生,智联,boss,前程无忧,包括线下去过七所高校参加线下招聘会。我一直对自己说的话就是:1.宁可白跑一趟浪费时间精力,我也不会放过任何一个机会。2.充分准备,别给你机会你却不中用啊!3.认真对待每一次面试,哪怕是kpi。我觉得很关键的因素是认知和心态问题。好多人只在网上投不去线下,也有一些背景不好的同学觉得自己菜不敢去好学校参加校招(大部分公司对学历学校看的没那么重要)。而我,线上投了一千多份,线下也有一百多份。沉默,内向,不主动,脸皮薄,只会让机会白白流失!我觉得大前提第一是多投(尽量投与自己经历相关的岗位,哪怕专业不对口也无所谓)。第二永不放弃。另外,我觉得找工作还是运气占一半甚至更多。而运气就是来自于不放弃,认真对待的前提下。不要因为身边人拿了offer就怀疑自己能力问题,只是机缘未到罢了。少抱怨,多实干。我知道大环境很差(目前我们班15个人拿offer只有三个),我也知道我学校层次不好专业就业面很窄,但我从未抱怨过太多。关于简历我觉得多做几版有针对性简历,有针对的去投效果更好。改简历,我已经改了十几版了,一定要把自己与岗位的匹配度表现出来。改简历需要耐心,不要嫌麻烦。总之来说,简历上东西自己一定要心知肚明,并且简历上的每一个字都不是废话。而且,简历可以包装(吹牛),但一定要有度,你要熟悉这个东西,即使你没做过你也可以写,没问题的,加油!关于面试我总共面试过10家公司,大部分都是线下投的给的面试也有应届生app投的。每次面试前,无论大小,想去与否,都一定要认真复习。把简历上的知识,都必须心知肚明。而且多看看别人的面经,八股也要准备。反复去背自我介绍,去准备那些常问的问题。可以说我现在已经成了面试老油子了,任何时刻开始面试我都基本上能hold住。面试就是要多练,内向只会败北。面试禁忌:不要说自己能力不行,应届生要什么能力。我拿offer并不全是因为我个人努力,因为我身边的很多人都一直在帮助我,鼓励我,支持我。包括很多未曾见面的网友,这些都是我的贵人,非常感谢他们!感激不尽。最后,秋招可能马上结束了,希望我的一点经验能帮到目前没有找到工作的同学。我希望你们不要放弃,踏下心来继续投或者专心学习项目丰富简历,准备战春招。目前就写这些吧,后续有想法了再继续补充。祝好!各位! #你的秋招简历被谁挂了?#  #你的简历改到第几版了#  #你觉得第一学历对求职有影响吗?#  #你见过最离谱的招聘要求是什么?#  #你觉得专业和学校哪个对薪资影响最大#  #简历中的项目经历要怎么写#  #简历被挂麻了,求建议#
点赞 评论 收藏
分享
评论
55
312
分享
牛客网
牛客企业服务