在阿里干了一年SQL BOY,不想干了?
推荐阅读文章列表
前言
我相信大家跟我有一样的苦恼,特别是在大厂的朋友们,是不是觉得干数据研发,每天就是写SQL,没什么技术含量!!!感觉自己曾经学习的一些吊炸天的技术完全无用武之地,比如Java、MapReduce、Spark、Kafka、Zookeeper、Hbase等等,那么再写几年SQL,自己的技术不就都荒废了吗?
作为一名在多家大厂干过的SQL BOY(字节、阿里、滴滴、美团、快手等等),今天来跟大家聊聊 我们是否应该继续干数据研发呢?
答疑解惑
先基本介绍一下大数据相关的岗位,一般分为三个方向:数据平台、离线数仓、实时数仓;数据平台需要具备后端开发以及大数据组件二次开发的能力,技术要求较高,中小公司基本上没有自研平台,他们会直接去买类似阿里云提供的dataworks平台;离线数仓和实时数仓都是写SQL,实时方向需要使用到的大数据组件会更多,相比离线而言技术挑战略高一点
然后我们就剖析一下,为什么数仓基本都在写SQL呢?
最开始是没有大数据平台的,那么我们就需要自己搭建大数据集群 -> 开发Java/Scala代码 -> git提交 -> 打包jar -> shell脚本 ->调度工具,这个流程是相当繁琐的,所以需要有平台帮助我们管理代码、任务提交、周期调度、血缘管理等等,这样我们就专注在业务代码的开发,业务代码写Java/Scala/SQL都是可以的,但SQL的学习成本一定是最低的,因此大厂都会选择SQL作为数仓的核心技术栈,提高业务需求的开发效率,为企业提供更快的数据决策
那么我们是否还要继续写SQL呢?
如果你想做更有技术挑战的事情,那么就会离业务越来越远,两者很难兼得。个人而言,我不太偏向一个新人(工作经历不超过3年)待在一家只需要写SQL的公司,因为工作前三年,正是精进技术的时候,一定要突破自己的舒适圈。
如果不想写SQL,我们何去何从?
我认识很多做数据的朋友都想从SQL转向平台开发,这个确实是一个不错的选择,但公司不会让你干你不擅长的事情,没有项目经历怎么转到平台开发呢?最近我正在做一个类似dataworks的数据平台项目,后期我会出一套数据平台的项目课程,预计2025年3月上线,带领大家从0到1搭建一个完整的大数据平台,帮助大家摆脱SQL的束缚,完成SQL Boy/Girl的破圈行动
#数据人的面试交流地##职场吐槽大会##大数据开发#