大数据之路——阿里巴巴大数据实践:总述

阿里巴巴大数据系统架构图:

  1. Aplus.JS是web端日志采集技术
  2. UserTask是APP端日志采集技术
  3. TimeTunel(TT)是一个实时消息处理平台,类似于kafka+storm
  4. DataX是一个数据同步工具,将下层的不同的DB兼容在一起4. DataX是一个数据同步工具,将下层的不同的DB兼容在一起
  5. MaxCompute是离线计算平台
  6. StreamCompute是实时计算平台
  7. OneData是数据整理和管理的体系和工具,构建统一、规范、可共享的全栈数据体系,避免数据的冗余和重复建设,避免数据烟囱(无法被使用到的信息)和不一致。
  8. 各种计算出来的,分类后的数据存储在数据服务层,数据服务层构建在众多的数据库,如:MySQL,HBase等等之上,后续逐渐迁移到阿里云云数据库ApsaraDB for RDS上(简称RDB)和表格储存TableStore上。
  9. 其他的应用层需要使用数据,就要调用OneService层的接口(如:承接集团用户识别、用户画像等复杂数据查询)
  10. 应用层的技术就五花八门,常见的流量分析平台,搜索,广告推荐等等。
全部评论

相关推荐

11-03 14:38
重庆大学 Java
AAA求offer教程:我手都抬起来了又揣裤兜了
点赞 评论 收藏
分享
评论
点赞
1
分享
牛客网
牛客企业服务