重要概念 架构 Standalone模式下才有Master和Worker的叫法。 Master：类似YARN中的ResourceManager。作用：①监控Worker，接收对Worker的注册；②接收Client提交的Application，调度等待的Application并向Worker提交。 Worker：类似YARN中的NodeManager，掌管着所在节点的资源信息。作用：①通过RegisterWorker注册到Master;②发送心跳信息；③根据Master发送的Application配置进程环境，启动ExecutorBackend（执行Task所需的临时进程）。 Execut...

通过hbase shell进入命令行窗口 基本操作 查看 list：查看有哪些表 格式：list 举例：list，输出所有的表 count：查看表有多少列 格式：count '表名' 举例：count 'student' get：获取列的值 格式：get '表名', '行键'或者get '表名', '行键', '列族（字段）' 举例：get 'student', '1001'或get 'student', '1001', 'info:name 创建 create: 创建表 格式：create '表名', { NAME => '列族名1', 属性名 => 属性值...

声明：此系列文章来自http://webdataanalysis.net/category/web-data-warehouse/ 数据仓库的价值 相信大家都了解数据仓库的4个基本特征：面向主题的、集成的、相对稳定的、记录历史的，而数据仓库的价值正是基于这4个特征体现的： 1、高效的数据组织形式   面向主题的特性决定了数据仓库拥有业务数据库所无法拥有的高效的数据组织形式，更加完整的数据体系，清晰的数据分类和分层机制。因为所有数据在进入数据仓库之前都经过清洗和过滤，使原始数据不再杂乱无章，基于优化查询的组织形式，有效提高数据获取、统计和分析的效率。 2、时间价值   数据仓库的构建将大大...

进入mysql，输入show variables like 'bin_log'查看是否开启binlog 如果没有，则在/etc/my.cnf文件中添加如下内容 [mysqld] server-id= 1 log-bin= mysql-bin binlog_format= row 重启mysql，sudo service mysql restart 输入show variables like 'bin_log'查看是否开启binlog 创建一个文件夹存放canal，mkdir /opt/module/canal 创建一个Maven项目，并且添加Scala依赖，pom文件如下 ...

如何实现 SQL ALTER TABLE <表名> ADD COLUMN `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP AFTER `<create_time前一个字段>`, ADD COLUMN `update_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP AFTER `create_time`; SQL的作用 添加记录时会设置create_time和update_time为当前时...

TODO 数据仓库表结构的设计 Redis的使用 Netty的使用 NIO Tez引擎 埋点数据的格式 Hadoop RPC https://blog.csdn.net/rj08zhou/article/details/80647296https://blog.csdn.net/hfcloudeagle/article/details/84465859 Hive的模型和建模等数据仓库方面知识 http://webdataanalysis.net/web-data-warehouse/multidimensional-data-model/https://zhuanlan.zhihu.com...

MapReduce是一种编程模型，将任务分为两个阶段：Map和Reduce，用户只需编写map()和reduce()两个函数就可以完成简单的分布式程序的设计。MapReduce能够解决的问题有一个共同特点：任务可以被分解成多个子问题，且这些子问题相对独立，彼此之间不会有牵制，待并行完成这些子问题后，任务便被解决。 第一个MapReduce程序(WordCount) 代码 package edu.hut; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import...

要点 创建用户，配置sudo免密 useradd csw：创建用户 passwd csw：设置密码 sudo vim /etc/sudoers：然后添加对应的项 更改主机名，设置静态IP sudo vim /etc/sysconfig/network：设置主机名 sudo vim /etc/udev/rules.d/70-persistent-net.rules：设置单个网卡 sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0：设置静态IP 关闭*** sudo service iptables stop ssh免密登陆 ssh-...

Hive Hive主要实现了两个功能： 提供了一个存储和管理元数据的HiveMetastore，以库和表的形式管理HDFS中的元数据。 实现了一套将SQL转换为MapReduce程序的执行引擎。 Hive执行原理 所有的命令和查询都会进入Driver（驱动模块），通过该模块对输入进行解析编译，对需求的计算进行优化，然后按照指定的步骤执行（通常是启动多个MapReduce任务（Job）来执行）， 当需要启动MapReduce任务（Job）时，Hive本身是不会生成Java MapReduce程序的。Hive通过一个表示“Job执行任务”的XML文件驱动执行内置的、原生的Mapper模...

Class类位于java.lang包中，是一个泛型类，任何类型都有class对象，包括int，void 重要方法 获取类的名称信息：Class类是一个泛型类，主要方法getName()、getSimpleName()、getCanonicalName()、getPackage() 获取字段信息：getFields()、getDeclaredFields()、getField(String name)、getDeclaredField(String name) 获取方法信息：getMethods()、getDeclaredMethods()、getMethod(String name, Cl...

主要是实现动态增强接口的功能具体实现： 写一个接口，接口中封装了客户端需要的操作。 写一个委托类实现该接口 写一个代理类实现InvocationHandler接口，这个类中存在委托类的引用 客户端利用Proxy类的静态方法（反射技术），让接口关联代理实现类的对象，利用接口来调用方法，实际通过代理来访问委托类的方法。 静态代理 写一个接口A，定义一些功能 写一个类B，实现接口 写一个类C，实现接口，并且C的内部有一个B实例，构造方法中也需要传入一个B对象b，重写接口方法时实际上是调用b对象的对应方法，但是此时可以添加一些其他的操作，相当于加强了类。 图示 代码 // 静...

要弄清楚反射，先得弄清楚类加载过程和Class类中的内容 类加载过程 ClassLoader类有三个具体实现，AppClassLoader，ExtClassLoader，BootStrapClassLoader，并且类中有一个parent对象指向父加载器。 当执行类加载过程时，执行loadClass()方***对进行类的字符串进行加锁，并且先判断是否加载过这个类，如果父类不为空，则调用parent.loadClass()；加载成功则直接返回Class对象。 当加载失败时会执行findClass()方法（用户来重写，默认直接抛出ClassNotFoundException），在findCla...

要点 找出判断的条件 何时退出循环 举例 无重复数字的普通二分查找 找出判断的条件：用arr[mid]和target去比较。如果arr[mid] == target时，返回mid；如果arr[mid] > target时，说明要找的值在左边，right = mid - 1；arr[mid] < target时，说明要找的值在右边，left = mid + 1；如果退出循环时还没有找到匹配到的项，则直接返回-1。 何时退出循环：left <= right时执行循环体。 代码 public class Solution { public int searc...