累加器（accumulator）是Spark中提供的一种分布式的变量机制，其原理类似于mapreduce，即分布式的改变，然后聚合这些改变。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。 Spark内置的提供了Long和Double类型的累加器。下面是一个简单的使用示例，在这个例子中我们在过滤掉RDD中奇数的同时进行计数，最后计算剩下整数的和。   1 val sparkConf = new SparkConf().setAppName("Test").setMaster("local[2]") 2 ...

ROW_NUMBER，RANK()，DENSE_RANK() 先了解这三个之间的区别： Rank()：1,2,2,4,5（一般用这个较多，不会影响总排名） Dense_rank()：1,2,2,3,4,5（会影响最终排名） Row_number()：1,2,3,4,5,6（按照行数显示）   语法格式：row_number() OVER (partition by COL1 order by COL2 desc ) rank partition by：类似hive的建表，分区的意思； order by ：排序，默认是升序，加desc降序； ran...

Spark内部执行机制 1.1 内部执行流程   如下图1为分布式集群上spark应用程序的一般执行框架。主要由sparkcontext（spark上下文）、cluster manager(资源管理器)和▪executor（单个节点的执行进程）。其中cluster manager负责整个集群的统一资源管理。executor是应用执行的主要进程，内部含有多个task线程以及内存空间。   图1 spark分布式部署图   详细流程图如下图2: ...

原文地址：https://cloud.tencent.com/developer/article/1006043 前言 最近在跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase相关技术的分享，由于Hbase涵盖的内容比较多，因此计划分享2期，下面就是针对第一期Hbase技术分享整体而成，第一期的主要内容如下: 一、Hbase介绍 二、Hbase的Region介绍 三、Hbase的写逻辑介绍 四、Hbase的故障恢复 五、Hbase的拆分和合并 如下ppt所示： ...

一个算法命题：给定字符串S[0…N-1]，设计算法，枚举S的全排列。如：123，全排列就是：123,132,213,231,312,321 个人愚昧，搞了一天半，才终于把字典排列搞出来，看不到大神写的代码，我的代码还有很多优化之处，先记录下，递归现在还是有点蒙。   java代码：递归实现（考虑有重复的字符） 以字符串1234为例：1 – 2342 – 1343 – 2144 – 231如何保证不遗漏： 每次递归前，保证1234的顺序不变。   1 package stringtest; 2 import java.util.ArrayList; 3 import ja...

第一个版本：   位运算符的计算主要用在二进制中。 实际开发中也经常会遇到需要用到这些运算符的时候，同时这些运算符也被作为基础的面试笔试题。 所以了解这些运算符对程序员来说是十分必要的。 于此，记录下我所理解的运算符： 如果以开关开灯论： 有这样两个开关，0为开关关闭，1为开关打开。 与（&）运算 与运算进行的是这样的算法： 0&0=0,0&1=0,1&0=0,1&1=1 在与运算中两个开关是串联的，如果我们要开灯，需要两个开关都打开...

  count函数是用来统计表中或数组中记录的一个函数，下面我来介绍在MySQL中count函数用法与性能比较吧。 count(*) 它返回检索行的数目， 不论其是否包含 NULL值。 SELECT 从一个表中检索，而不检索其它的列，并且没有 WHERE子句时， COUNT(*)被优化到最快的返回速度。   例如：SELECT COUNT(*) FROM student; COUNT(DISTINCT 字段)，返回不同的非NULL值数目；若找不到匹配的项，则COUNT...

ZooKeeper并没有直接采用Paxos算法，而是采用一种被称为ZAB（ZooKeeper Atomic Broadcast）的一致性协议 ZooKeeper是一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能 ZooKeeper致力于提供一个高性能、高可用，具有严格的顺序访问控制能力（主要是写操作的严格顺序性）的分布式协调服务 ZooKeeper会将全量数据保存在内存中，以此提高服务器吞吐、减少延迟 对于每个来自客户端...

泊松是法国数学家、物理学家和力学家。他一生致力科学事业，成果颇多。有许多著名的公式定理以他的名字命名，比如概率论中著名的泊松分布。      有一次闲暇时，他提出过一个有趣的问题，后称为：“泊松分酒”。在我国古代也提出过类似问题，遗憾的是没有进行彻底探索，其中流传较多是：“韩信走马分油”问题。      有3个容器，容量分别为12升，8升，5升。其中12升中装满油，另外两个空着。要求你只用3个容器操作，最后使得某个容器中正好有6升油。      下面的列表是可能的操作状态记录： 12,0,0 4,8,0 4,3,5 9,3,0 9,0,3 1,8,3 1,6,5      每行3个数据，分别表...

  先看下自己的JAVA_HOME里面有没有空格目录，如果有的话，先把JAVA_HOME换个没空格的位置。     在windows系统本地运行spark的wordcount程序，会出现一个异常，但不影响现有程序运行。 总归是一个异常，老是爆红，看着心烦，下面是异常信息 让我们源码追踪一下，看看到底是什么原因导致，点击第一行爆红的异常信息提示，就是（shell.java:355） 看到我的截图提示，大概了解什么原因了。发现HADOOP_HOME_DIR为null,右边outline里面找到一个私有静态变量叫HADOOP_HOME_DIR， 点击看看是...

一、Redis主从复制 主从复制：主节点负责写数据，从节点负责读数据，主节点定期把数据同步到从节点保证数据的一致性 1. 主从复制的相关操作 a,配置主从复制方式一、新增redis6380.conf, 加入 slaveof 192.168.152.128 6379, 在6379启动完后再启6380，完成配置；b,配置主从复制方式二、redis-server --slaveof 192.168.152.128 6379 临时生效 c,查看状态：info replicationd,断开主从复制：在slave节点，执行6380:>slaveof no onee,断开后再变成主从...

欢迎光临............... 首先我们要搞清楚链表是啥玩意儿？先看看定义：         讲链表之前我们先说说Java内存的分配情况：我们new对象的时候，会在java堆中为对象分配内存，当我们调用方法的时候，会将方法加载到方法区，在方法区保存了加载类的信息，常量，静态变量等等。搞明白这个我们再来讲链表。       链表是一种物理存储单元上非连续、非顺序的存储结构，数据元素的逻辑顺序是通过链表中的指针链接次序实现的。链表由一系列结点（链表中每一个元素称为结点）组成，结点可以在运行时动态生成。每个结点包括两个部分：一个是存储数据元素的数据域，另一个是存储下一个结点地址的指针域。 ...

据说单链表反转问题面试中经常问，而链表这个东西相对于数组的确稍微难想象，因此今天纪录一下单链表反转的代码。 1，先定义一个节点类。 1 public class Node { 2 int index; 3 Node next; 4 5 public Node(int index, Node next) { 6 this.index = index; 7 this.next = next; 8 } 9 } 2，我一共写了三种方法 （1）迭代法。先将下一节点纪录下来，然后让当前节点指向上一节点，再将当前节点纪录下来,再让下一节点变为当前节点 public Node r...