首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
但求有恒的啊本
华南农业大学 数据分析师
关注
已关注
取消关注
化学跨考广东双一流计算机专硕29岁毕业,请教下大佬们能按这个方向学习走大数据开发吗,想进国企(年纪大了),求求各位大佬指点下。目前已经学了sql,c++,拿过水赛程序设计铜奖,个人情况目前马上研二上,手上有一篇ei水会,一篇sci二区在投,时间序列风电预测项目10月份结题,清华大数据挑战赛国二,校文献综述二等奖,院级一等奖,英语四级,绩点前5%。
@来杯冰可乐叭:
数仓/数据开发-零基础入坑(小白学习路径)
烫
这段时间各大公司的春招陆续开始了,但是也有很多同学还在因为刚刚入坑或者还在纠结,对学习路径比较迷茫。(这也是去年的我)所以这边总结一下,一个面向面试的学习路径,后面也会补充上全面的学习路径。面向面试就是掌握到基本能应付暑期实习面试的基本技能和知识,足以在春招实习招聘中应对,但是如果要在秋招里乱杀还是得全面学习的哟[诶嘿]。1 计算机基础1.1 基础八股文《计算机组成原理》《数据结构》《操作系统》《计算机网络》这四门课程是计算机专业的必学,虽然在大数据开发/数仓开发的面试场景中80%的时候并不会问道相关的八股,但是部分大厂(字节、阿里、快手(这是我面试到的))还是会问一些基本知识比如:TCP&UDP、三次握手、四次挥手、http等,所以只要去找一些常见的问题背下来就好1.2 算法基础所谓的算法基础实际上就是数据结构、算法题,盯着牛客、LetCode去刷题就好,每天三道美滋滋,面试手撕不用怕。暑期实习能有个100-150道基本能cover实习面试,如果时间实在来不及直接去做“剑指offer”的系列题,容易碰到原题或者类似题。如果是秋招的话得有个300左右的题量,建议直接刷LetCode题库的前300,不论笔试还是面试都会原题。(一定要总结同类题思路!!!数组、动态规划、DFS、BFS等等)2 编程语言2.1 SQL如果是数仓、数开,SQL 是必备技能(SQL Boy/SQL Gril[牛泪]),笔试面试都会考到,建议直接到牛客刷题。这部分的SQL题要重视,不论是笔试还是面试手撕60%概率是SQL题,如果有一定基础建议直接刷牛客的大厂真题:这里面的SQL题难度基本够了,也比较全面,难度也符合到一些实际生产场景(强力推荐!!👍)2.2 Java&Scala由于很多大数据组件都是由Java编写,所以JAVA也是数开/数仓的基本技能,虽然在实际工作中用到JAVA并不多,大部分时候就是写个UDF等。不过,我们在面试中还是会以JavaSE的要求来提问,所以需要背的八股以及补充的也比较多。不过如果时间不够的话,建议直接背常见Java八股题(面向面试嘛)。但最最基础的还是得会写一些Java,所以建议大家刷Letcode用Java去练习。Spark和Flink的底层有Scala编写,而且相对而言Scala在部分场景较Java更符合大数据场景,所以偶尔用到,但是面试基本不会问到,浅学即可,不要投入太多时间。2.3 Python锦上添花,无也无妨。但是如果会用Python做一个深度学习、机器学习的模型(调包侠也行)在面试官那里会有一定加分,部分团队会有相关的工作,但是还是要保证基础。3 大数据组件大数据组件非常的多,如果是全面学习的话,建议按照尚硅谷的学习路径去进行。如果只是面向面试学这几个Hadoop、Kafka、ZooKeeper、Hive、Hbase、Spark、Mysql即可。但是如果是要做实时开发还需要补充Spark Streaming、Flink,此外全面的学习还需要有Azkaban(任务调度)、clickhouse(OLAP)、redis等组件。3.1 Hadoop数据存储基本上还是使用 HDFS。MapReduce 虽然使用较少,但其思想十分重要,必会,也是调优的基础。Yarn 调度非常常用,但面试中很少考到。常问:HDFS读写流程、MR流程、Shuffle流程3.2 Spark现在的离线计算引擎机会都是 Spark3.0引擎,很少用到 MapReduce 了,所以也是必会。需要掌握与 MapReduce 的区别。常问:spark作业提交流程、Spark宽窄依赖&血缘、spark的持久化&缓存机制、Spark和MR的区别、Sprak和MR的Shuffle的区别3.3 KafkaKafka作为发布订阅消息队列,基本也是常问的,哪怕在Java开发也常常会有kafka的问题:Kafka数据重复、Kafka消息数据积压,Kafka消费能力不足怎么处理?Kafka 零拷贝、Kafka高效读写数据问的频率相对其他几个较少,掌握核心原理即可3.4 MysqlMysql的涉及到数据库的基础知识,基本也是每次面试必问,而且问题常常会从数据库底层原理以知道sql调优常问:Mysql索引、数据库事务、四种隔离级别、MVCC、谓词下推、执行计划等等MySQL一定要多准备一些3.5 Hive作为构建数据仓库的工具,常常会从Hive延伸到数据仓库模型的问题,或者从hadoop的问题延伸到Hive来。有两种方式:Spark on Hive:写 Spark SQL,Spark 读取的数据源是 Hive。就是通过 Spark SQL,加载 Hive 的配置文件,获取到 Hive 的元数据信息。Spark SQL 获取到 Hive 的元数据信息之后就可以拿到 Hive 的所有表的数据。接下来就可以通过 Spark SQL 来操作 Hive 表中的数据。Hive on Spark:写 Hive SQL。Hive 将自己的 MapReduce 计算引擎替换为Spark,当我们执行 HiveSQL(HQL) 时底层不是将 HQL 转换为 MapReduce 任务,而是跑的 Spark 任务。常问问题:Hive的架构、HQL转成MR的流程、数据倾斜、小文件问题(前面两个需要扩展到hadoop和spark的数据倾斜和小文件)、Hive优化、Hive常用调优参数4 数仓模型数据仓库的原理作为数仓开发工程师的核心技能,绝对是我们的高频问题,基本99%的面试官都会提问到相关的问题。完整的数仓架构需要了解。建模理论(星型建模、ER 建模)需要了解。推荐看阿里的《大数据之路》,需要这本书的电子版可以私信我。其中最重要的是,对数据仓库的理解、数仓分层、为什么这么设计、维度建模(既然我单独写了这一部分,足以见得绝对是Top1的重要性)5 数据治理了解一下概念即可。实习招聘考的少,秋招考的多。包括元数据管理、数据质量、血缘等。6 项目经历学完上述内容后,那么必然需要一个数据仓库的项目来完善个人简历,还是推荐尚硅谷。数仓这块如果咱们自己很难有实际项目,这边给推荐两个。第一:B站尚硅谷,可以跟着视频做项目,离线和实时的都有,项目内容也比较贴近真实开发场景,坏处是做的人很多,烂大街。第二:github,找大数据开发的项目,含金量更好,但需要自己投入大量的时间。如果是暑期实习的话我这边建议还是做尚硅谷的项目,只要能吃透,应对实习面试够了。 项目讲解:STAR原则学完以上所有这些(面向面试),根据我个人的经验,大概会在40-60天,其实时间也不短。建议大家在学完Hadoop之后就可以开始投一些简历,然后通过面试去不断磨砺个人技术理解,愈战愈勇。再者,面试之后也会发现,其实知识的深度重要性大于广度,与其花很多时间去把整个大数据链路学完,不如完成基础内容,然后自己去实操去思考问题,再通过一定的面试技巧(简历引导、语言问题引导、面试节奏掌握)等,就可以很顺利的通过大部分的面试。最后!!祝大家都能在春招中拿到满意的Offer!希望能帮到大家!!
点赞 123
评论 51
全部评论
推荐
最新
楼层
还没有回复哦~
相关推荐
昨天 19:05
门头沟学院 Java
15岁以来的人生之路
关于年龄问题,我应该是1998年11月19日出生(农历),然后身份证办理在1999年7月19日。所以身份证是1999年,而年龄是1998年。 关于李荣的爱情之路:刘XX->周玥令(本人)->郭鑫(俩月不到)->周煊令(本人)->颜克敏(租房对门,李荣最终结婚对象,湖南人士),其他都是山西忻州人士。关于什么舔狗、买奶茶、每天帮忙打扫卫生和我没有任何关系。 关于求学之路本科(晋中太谷)、研究生(浙江杭州)。 关于和研究生导师的谈话次数:三次。 关于感情问题只和一个女生有过纠缠,别的女生只吃过饭and聊过天,之外没有做过...
点赞
评论
收藏
分享
03-14 12:09
四川大学 嵌入式工程师
美团校招宣讲会重点总结
1.据往届的数据统计,60%的简历都发给了第一个月就网申的同学。今年是2月26号开始网申的,所以建议大家这月内就投递。 2.25年春季校园招聘一共有9次笔试机会。4月1日前,投递转正实习会有两次笔试机会,取最高分。 3.如果笔试时间冲突,忽略这封邮件就好,会顺延到下一次又给你发通知。 4.实习面试一般两轮,一周以内就结束了。暑期转正率很高 5.牛客网上有往年的笔试真题可以练习
点赞
评论
收藏
分享
02-10 20:34
西安电子科技大学 自动化
实习简历这样写,还要改什么吗
漂亮的海豚在炒股:
把西电加粗
简历互助
点赞
评论
收藏
分享
03-17 23:52
已编辑
杭州电子科技大学 Java
一面面经
📍面试公司:某100-499人厂👜面试岗位:Java实习🕰️面试时间:29分钟左右📖面试问题:1、自我介绍2、讲讲从输入用户名密码,到展示具体页面的逻辑3、根据不同用户显示不同菜单,这方面数据库怎么设计4、大文件断点续传设计思路5、接口联调时,你和同事各执一词:你根据日志证明你已经把数据发出去了,同事说没收到。说说排查思路6、项目部署上线后出现bug,日志排查不出,本地测试没问题,如何排查?面试官后面还举个例子说比如是测试边界值没有覆盖,异常又被捕获了看不出来。7、介绍下linux基本命令8、linux操作系统中如何实现定时任务,比如每天凌晨1点执行一次。9、反问:(1)公司的主要业务...
查看8道真题和解析
软件开发笔面经
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
拒绝焦虑,从26暑期实习er做起!
4.3W
2
...
27届java选手如何破局?
3.7W
3
...
双非鼠暑期面经(已oc字节)
1.9W
4
...
美团优选暑期后端一面
1.1W
5
...
(1-20)计算机 Java后端 实习 and 秋招 面试高频问题汇总
8808
6
...
每个人都应该在北京生活四年
8332
7
...
26届阿里云暑期实习Java开发一面面经
6470
8
...
26届双非蚂蚁暑期实习一面(安全部门)
6270
9
...
生活有感
5712
10
...
借钱后续:还我了但是过了几天又问我借钱了🤦♀️
5207
创作者周榜
更多
正在热议
更多
#
实习要如何选择和准备?
#
4668次浏览
191人参与
#
我想去国央企的原因
#
52122次浏览
310人参与
#
携程求职进展汇总
#
198861次浏览
1684人参与
#
字节求职进展汇总
#
698769次浏览
7121人参与
#
机械人值得去的车企
#
12556次浏览
106人参与
#
美团求职进展汇总
#
1598959次浏览
14314人参与
#
满分简历要如何准备?
#
9197次浏览
217人参与
#
我心目中的理想工作是这样的
#
53014次浏览
735人参与
#
机械人的offer怎么选
#
124140次浏览
713人参与
#
应届生初入职场,求建议
#
165298次浏览
2399人参与
#
运营面经
#
90745次浏览
1150人参与
#
第一份工作应该选高薪还是热爱?
#
35591次浏览
271人参与
#
参加完秋招的机械人,还参加春招吗?
#
32897次浏览
382人参与
#
扒一扒那些奇葩实习经历
#
15497次浏览
543人参与
#
哪个瞬间让你对大厂祛魅了?
#
255918次浏览
1623人参与
#
许愿池
#
252121次浏览
2758人参与
#
秋招OC许愿
#
298967次浏览
2367人参与
#
数字马力求职进展汇总
#
159370次浏览
1392人参与
#
非技术投递记录
#
563066次浏览
6232人参与
#
你觉得哪一届的校招最难?
#
158011次浏览
1282人参与
#
牛友打假中心
#
28670次浏览
2263人参与
牛客网
牛客企业服务