时间概念类型 对于流式数据处理，最大的特点是数据上具有时间的属性特征，Flink根据实际产生的位置不同，将时间区分为三种时间概念，分别为事件生成时间（EventTime）、事件接入时间（Ingestion Time）和事件处理时间（Processing Time）。 事件时间（EventTime）是创建事件的时间。通常用事件中的时间戳记来描述，例如由生产传感器或生产服务附加。Flink通过时间戳分配器访问事件时间戳。 接收时间（Ingestion Time）是事件在源操作员进入Flink数据流的时间。 处理时间（Processing Time）是每个执行基于时间的操作的操作员的本地时间。...

参考链接:https://ververica.cn/developers/build-from-zero/ 简单的构建一个ApacheFlink的应用程序 开发环境的准备： 这里我是在Windows上运行的。在本地机器上需要有Java8.x和maven环境首先我们创建一个Maven工程pom如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http...

转载 作者：崔星灿整理：高赟https://ververica.cn/developers/apache-flink-basic-zero-iii-datastream-api-programming/ 1. 流处理基本概念 对于什么是流处理，从不同的角度有不同的定义。其实流处理与批处理这两个概念是对立统一的，它们的关系有点类似于对于 Java 中的 ArrayList 中的元素，是直接看作一个有限数据集并用下标去访问，还是用迭代器去访问。 图1. 左图硬币分类器。硬币分类器也可以看作一个流处理系统，用于硬币分类的各部分组件提前串联在一起，硬币不断进入系统，并最终被输出到不同的队列中供后续使...

转载 作者：沙晟阳（成阳） https://ververica.cn/developers/flink-basic-tutorial-1-environmental-construction/本文主要面向于初次接触 Apache Flink（以下简称Flink）、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink，并着手相关开发调试工作。 课程内容包括： Flink 开发环境的部署和配置 运行 Flink 应用（包括：单机 Standalone 模式、多机 Standalone 模式和 Yarn 集群模式） 一、Flink 开发环境部署和配置 Flin...

转载 作者：陈守元 & 戴资力https://ververica.cn/developers/flink-basic-tutorial-1-basic-concept/ 一、Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。 1. Flink Application 了解Flink 应用开发需要先理解Flink 的Streams、State、Time 等基础处理语义以及Flink 兼顾灵活性和方便性的多层次API。 Stream...

Spark压缩文件性能分析 HDFS上分布式文件存储，成为大数据平台首选存储平台。而Spark往往以HDFS文件为输入，为保持兼容性，Spark支持多种格式文件读取，大数据场景下，性能瓶颈往往是IO，而不是CPU算力，所以对文件的压缩处理成为了很必要的手段。Spark为提供兼容性，同时支持多种压缩包直接读取，方便于用户使用，不用提前对压缩格式处理，但各种压缩格式各有优缺点，若不注意将导致Spark的能力无法发挥出来。故对Spark计算压缩文件做一个分析。 支持的压缩格式 首先来看一下Spark读取HDFS文件常用的压缩格式： 执行对比分析 实验数据：同一个文件包，json格式文件数据处理逻辑：...

什么是ApacheZeppelin？ Apache Zeppelin 是一个可以进行大数据可视化分析的交互式开发系统，可以承担数据接入、数据发现、数据分析、数据可视化、数据协作等任务，其前端提供丰富的可视化图形库，不限于SparkSQL，后端支持HBase、Flink 等大数据系统以插件扩展的方式，并支持Spark、Python、JDBC、Markdown、Shell 等各种常用Interpreter，这使得开发者可以方便地使用SQL 在 Zeppelin 中做数据开发。在 Zeppelin 中还可以完成机器学习的数据预处理、算法开发和调试、算法作业调度的工作，同时，Zeppelin 还提供了...

6.1 基本查询（Select…From） 6.1.1 全表和特定列查询 1）全表查询hive (default)> select * from emp;2）选择特定列查询hive (default)> select empno, ename from emp;注意：（1）SQL 语言大小写不敏感。（2）SQL 可以写在一行或者多行（3）关键字不能被缩写也不能分行（4）各子句一般要分行写。（5）使用缩进提高语句的可读性。 6.1.2 列别名 1）重命名一个列。2）便于计算。3）紧跟列名，也可以在列名和别名之间加入关键字‘AS’4）案例实***r> （1）查询名称和部门 hi...

1.1什么是搜索？ 百度：我们比如说想找寻任何的信息的时候，就会上百度去搜索一下，比如说找一部自己喜欢的电影，或者说找一本喜欢的书，或者找一条感兴趣的新闻（提到搜索的第一印象）。百度 != 搜索1）互联网的搜索：电商网站，招聘网站，新闻网站，各种app2）IT系统的搜索：OA软件，办公自动化软件，会议管理，日程管理，项目管理。搜索，就是在任何场景下，找寻你想要的信息，这个时候，会输入一段你要搜索的关键字，然后就期望找到这个关键字相关的有些信息 1.2 如果用数据库做搜索会怎么样？ 1.3 什么是全文检索和Lucene？ 1）全文检索，倒排索引全文检索是指计算机索引程序通过扫描文章中的每一个...

1.1 什么是Spark？ Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。2013年Spark加入Apache软件基金会最重要的三大分布式计算系统开源项目之一（hadoop、Spark、Storm）Spark、206个节点、23分钟、100TB数据 2014年打破了Hadoop保持的基准排序记录Hadoop、2000个节点、72分钟、100TB数据Spark用十分之一的计算资源获得了比Hadoop快3倍的速度Spark的特点运行速度快：使用DAG执行引擎以支持循环数据流与内存计算容易使用：支持...

3.1 Kafka生产过程分析 3.1.1 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。 3.1.2 分区（Partition） Kafka集群有多个消息代理服务器（broker-server）组成，发布到Kafka集群的每条消息都有一个类别，用主题（topic）来表示。通常，不同应用产生不同类型的数据，可以设置不同的主题。一个主题一般会有多个消息的订阅者，当生产者发布消息到某个主题时，订阅了这个主题的消费者都可以接收到生成者写...

1.1、Flume 定义 ApacheFlume是一个分布式的、可靠的、可用的系统，用于有效地收集、聚合和将大量日志数据从许多不同的源转移到一个集中的数据存储区。ApacheFlume的使用不仅限于记录数据聚合。由于数据源是可定制的，Flume可以用来传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息以及几乎任何可能的数据源。ApacheFlume是Apache软件基金会的顶级项目。 1.2 Flume组成架构 Flume组成架构如图1-1，图1-2所示： 1.2.1.Agent Agent是一个jvm进程，它以事件的形式将数据从源头送至目的，是Flume数据传输的的...

1.1 Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn公司开发，并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。3）Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个...

HBase的起源 HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，BigTable是一个管理结构化数据的分布式存储系统，它可以扩展到非常大：如在成千上万的商用服务器上存储PB级的数据..…一个稀疏的、分布式的、持久的多维排序映射。官方网站：http://hbase.apache.org-- 2006 年 Google 发表 BigTable ***-- 2006 年开始开发 HBase-- 2008 年北京成功开奥运会，程序员默默地将 HBase 弄成了 Hadoop 的子项目-- 2010 年 HBase 成为 Apach...