哈哈哈,你是老六 level
获赞
1471
粉丝
378
关注
13
看过 TA
8223
门头沟学院
2022
大数据开发工程师
IP属地:北京
暂未填写个人简介
私信
关注
2023-04-10 21:21
已编辑
门头沟学院 大数据开发工程师
京东 大数据开发 22k-26k 双非本
0 点赞 评论 收藏
分享
#牛客创作充电计划# 大数据的学习方式以及实际开发项目讲到大数据很多人都感觉技术比较新学习的框架很多,编程语言都要,还有就是数据比较大对于头发也掉的多,下面我来介绍一下我的大数据学习计划以及接到一个项目该怎么实际上手开始开发大数据学习:其实我就是从一个菜鸟一步步到能自己独立开发并且能自己搭建企业级别的数仓,在大学前3年我甚至连jdk环境变量都不会配置,后面也是慢慢成长起来的,刚入门大数据很感谢我的一位老师是他教了我大数据基本框架搭建,后面就是自学了,我来讲一下新手要会哪些技术哈,首先Hadoop,hive,spark,SQL这几项是入门级别的,一定要会,后面可以从Kafka,flink,streamset,nifi,etl,数仓建模等等开始做了,这些是一个大数据开发工程师都是必须经历的,对于以上的技术栈也是我目前掌握的,如果以上你会的上班肯定没问题,可以搭建一个企业级别的数仓了学习方法:其实学习方法很多,很多培训机构都会有招生,但这个是花钱的,我喜欢自学不花钱还能学到很多东西,尤其是自己遇到一个报错花了很久解决我这时候就会写一篇博客来给后面遇到同样坑的,还有就是看网课,哔哩哔哩很多网课比如尚硅谷,黑马,尚学堂等等吧,都有很多网课自己有耐心经常看并且做总结学会了独立开发这样进步最快,看官网是最有效的,尤其是新出现的框架一定要学会看官网,尤其是一些特定的方法和函数,还有就是对外的api都是官网会有介绍的,我ck之前就遇到很多问题都是看官网解决的,百度csdn都是可以的里面的很多博客都有很经典的报错,通过这个也是可以解决大部分问题,如果以上都不能解决那就要自己慢慢解决了,可能解决一个报错要一周或者更久,我就有一个报错花了我一周才解决,以上等等都是可以学习的实际开发项目:对于接到一个新的需求和项目首先是要和需求方沟通需求,如果需求不明确绝对不能开始开发,如果出现问题就是你负责,还有就是一定要对于其中的需求进行深挖将后期可能会遇到的问题解决了,之后就是部门内部开始需求会一般部门会出一个技术方案部门和总监一般会过来一起评审确定可行性,对于有疑问和不对的地方会提出来完成后就会进行开发,后面开发完成就是测试没问题进行上线,上线了一般还会观察几天将任务跑的没问题就可以和需求方对接了,这其中可能会有新的问题出现这时候就要一起进行评审了没我呢在修改
0 点赞 评论 收藏
分享
#牛客创作充电计划# 聊聊大数据岗位(岗位,面试,工作)和需要懂的技术栈1,岗位哈:在我的理解中,大数据的工作其实还是很多的,其中主流是数据仓库一个公司有大数据就一定有数仓,其次就是还会有大数据etl工程师这个岗位一般是确保每天数仓的数据同步以及确保数据不能丢,如果事情比较急可能还会安排值班,还有就是大数据运维,大家都知道肯定有运维来维护集群,大数据运维还和别的运维不一样里面的很多配置需要懂大数据技术的人才能配置还有就是任务挂掉资源不足等,这种要专门的运维才能懂,其次就是还要有实时计算等等,干风控的肯定会有实时计算,对于flink的窗口,状态,定时器肯定要非常熟练这种也是对于技术要求很高的,至少要干几年的老手才能独立设计这个风控架构和实现2,面试,其实面试就是很常规都是问会哪些技术然后根据你的项目来问实现过程,还有就是面试官遇到的问题可能也会找你问,对于这种问题如果不是干过的人或者是了解比较深是难回答的,这种就要你有经验了,还有就是要钱了,如果你要25k起步那么你说的范围就要25-28,一定不要说啥20-28,就要直接说死最低下限对于要钱一定不要不好意思,当时我校招直接一口价直接要16面试前问清楚如果没有到直接就可以不面了3,工作,我来讲一下大数据日常的工作哈,拿数仓为例,大数据其实可以说是非常核心的工作也是非常重要的部门,管理全公司的所有数据也是直接对接公司的管理层需求也是很大的,尤其是建模和提供数据服务,对于数据来说调用是非常大的,对于所有的业务线基本上都会要数据,每天可能还会有数据异常以及调度任务的失败都是需要专人来解决的,还有就是风控的任务也是非常重要,对于这种活技术要求高并且部署任务资源和优化也是要考虑的,每天大数据开发工程师都是开发这种,一般任务排期都比较满,还有就是大数据团队一般也不要太多人,一般都是某个人负责一个模块4,最后来说一下大数据需要会的技术栈哈,还是拿数仓为例首先就是数据同步工具,主流的一般有这种,sqoop(一般是小数据,比如维度表),nifi做实时同步和全量拉取都可以,datax也是可以的数据建模工具:hive,建模理论,实时计算:flink,kafka数据服务:ck,superset,hbase,impala以上只是要会的框架,对于开发语言Java,Scala,python基本上都要会点,对于后端的
投递牛客等公司10个岗位
0 点赞 评论 收藏
分享
关注他的用户也关注了:
牛客网
牛客企业服务