Join多种应用 Map join（Distributedcache分布式缓存） 使用场景：一张表十分小、一张表很大。 解决方案 在map端缓存多张表，提前处理业务逻辑，这样增加map端业务，减少reduce端数据的压力，尽可能的减少数据倾斜。 具体办法：采用distributedcache ​ （1）在mapper的setup阶段，将文件读取到缓存集合中。 ​ （2）在驱动函数中加载缓存。 ​ job.addCacheFile(new URI(“file:/e:/mapjoincache/pd.txt”));// 缓存普通文件到task运行节点 R...

Hadoop数据压缩 概述 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/O压力。 ​ 鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。 ​ 如果磁盘I/O和网络带宽影响了MapReduce作业性能，在任意...

Yarn Hadoop1.x和Hadoop2.x架构区别 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。 在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算 Yarn概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn基本架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等...

WordCount案例 需求1：统计一堆文件中单词出现的个数 在一堆给定的文本文件中统计输出每一个单词出现的总次数 数据准备： 分析 ​ 按照mapreduce编程规范，分别编写Mapper，Reducer，Driver。 分析 编写mapper类 import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; i...

流量汇总案例 需求1：统计手机号耗费的总上行流量、下行流量、总流量（序列化） 统计每一个手机号耗费的总上行流量、下行流量、总流量 数据准备 原始数据格式： 时间戳、电话号码、基站的物理地址、访问网址的ip、网站域名、数据包、接包数、上行/传流量、下行/载流量、响应码 输出数据格式: 1356·0436666 1116 954 2070 手机号码 上行流量 下行流量 总流量 分析 基本思路 Map阶段： 读取一行数据，切分字段 抽取手机号、上行流量、下行流量 以手机号为key，bea...

辅助排序和二次排序案例（GroupingComparator） 需求 有如下订单 订单id 商品id 成交金额 0000001 Pdt_01 222.8 0000001 Pdt_06 25.8 0000002 Pdt_03 522.8 0000002 Pdt_04 122.4 0000002 Pdt_05 722.4 0000003 Pdt_01 222.8 ...

过滤日志及自定义日志输出（自定义OutputFormat） 需求 过滤输入的log日志中是否包含it 包含it的网站输出到e:/it.log 不包含it的网站输出到e:/other.log 输入数据 输出预期 具体流程 自定义一个outputformat import java.io.IOException; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hado...

MapReduce中多表合并 需求 订单数据表t_order： id pid amount 1001 01 1 1002 02 2 1003 03 3 商品信息表t_product 将商品信息表中数据根据商品pid合并到订单数据表中。最终数据形式： 需求1：Reduce端表合并（数据倾斜） 通过将关联条件作为map输出的key，将两表满足join条件的数据并携带数据所来源的文件信息，发往同一个reduce task，在...

简单解析版 需求:去除日志中字段长度小于等于11的日志。 输入数据 实现代码: 编写LogMapper import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class LogMapper extends Mapper&lt...

倒排索引案例（多job串联） 需求：有大量的文本（文档、网页），需要建立搜索索引 第一次预期输出结果 it--a.txt 3 it--b.txt 2 it--c.txt 2 pingping--a.txt 1 pingping--b.txt 3 pingping--c.txt 1 ss--a.txt 2 ss--b.txt 1 ss--c.txt 1 第二次预期输出结果 it c.txt-->2 b.txt-->2 a.txt-->3 pingping c.txt-->1 b.txt-->3 a.txt-->1 ...

共同好友案例 需求 以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） 求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？ 需求分析 先求出A、B、C、….等是谁的好友 第一次输出结果 A I,K,C,B,G,F,H,O,D, B A,F,J,E, C A,E,B,H,F,G,K, D G,C,K,A,L,F,E,H, E G,M,L,H,A,F,B,D, F L,M,D,C,G,A, G M, H O, I O,C, J O, K B, L D,E, M E,F, O A,H,I,J,F, 第二次输...

压缩解压案例 数据流的压缩和解压缩 CompressionCodec有两个方法可以用于轻松地压缩或解压缩数据。要想对正在被写入一个输出流的数据进行压缩，我们可以使用createOutputStream(OutputStreamout)方法创建一个CompressionOutputStream，将其以压缩格式写入底层的流。相反，要想对从输入流读取而来的数据进行解压缩，则调用createInputStream(InputStreamin)函数，从而获得一个CompressionInputStream，从而从底层的流读取未压缩的数据。 测试一下如下压缩方式： import java....

两表Join 未优化版本 Bean.java import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; /* * 人员和地址的通用bean */ public class Bean implements WritableComparable<Bean> { private String userNo = ""; ...