中途转行ETL开发工程师必掌握的调度工具Taskctl Web免费应用版

ETL工程师其实是一个特别简单的岗位。

为什么:

ETL就是数据仓库项目建设和日常维护中的一种工作,ETL,就是抽取、转换、装载的英文缩写。但是这个现实中都是使用相应工具软件的。至于怎么抽取,怎么转换、怎么装载,都是与具体业务相结合的。
图片说明
比如每天晚8点抽取,a+b转换成c,从A设备读出a和b,计算成c之后存到W设备上。这就是ETL要干的事。特别简单。没有技术含量。但是工作量却比较大。但是工作量主要发生在初始阶段,因为日后变成那个自动化的软件执行就没什么工作量了。所以ETL这工作的复杂性在于项目建设阶段,当项目建成就变成自动化的运维了。这样一来ETL工作就不难了。
图片说明
正因为上面说的,所以ETL工程师的技术性不高,主要的问题在于相关的ETL软件会用。其他的就是业务问题。因为抽取的频率,以及如何抽取是由业务上的要求决定的。甚至如何转换也是业务需要决定的,装载同样依赖业务要求。所以这并不是技术问题。

etl的工具种类

现在etl网上开源或商用付费版的同类工具有很多。

其中开源(免费)较为突出的工具:Kettle,xxl-job,oozie,Azkaban以及11月刚上线的Taskctl-Web应用版

企业付费版:Taskctl,Moia Comtrol,Comtrol-m等等还有许多

关于你怎么办

找一个简单的项目经验包装一下自己;其次关于ETL软件现在实际上市面上可以下载到的试用版,你随便找一种能找到的就行。在这里个人比较推荐小白可以先以Taskctl-Web免费版这款工具作为入门学习了解;

图片说明

理由:taskctl是一个开放的调度平台,为了适应诸如Datastage、Informatic、kettle、一体机、大数据、存储过程、java以及各种脚本任务程序的支持与扩展,同时保证不同任务类型的应用统一,taskctl对作业的控制采用插件驱动机制,从而实现不同技术平台、不同作业类型调度控制,很多金融、零售、制造、物流等近100家头部公司都在使用该产品的 taskctl 6.0商业付费版,其中Web免费版更是在11月为了迎合中小企业以及个人项目级学习的需要横向扩展的一款轻量级调度工具;还是一个能跑动10万级作业数的商业级软件竟然永久免费,永久免费,永久免费!!!!不香吗

将软件使用明白了。就可以去应聘了。因为ETL软件其实大同小异,会用一个,别的简单操作熟练一下也能会。这没什么技术难度。

工具下载
全部评论

相关推荐

评论
点赞
1
分享

创作者周榜

更多
牛客网
牛客企业服务