0 相关源码 1 Spark环境安装 ◆ Spark 由scala语言编写,提供多种语言接口,需要JVM ◆ 官方为我们提供了Spark 编译好的版本,可以不必进行手动编译 ◆ Spark安装不难,配置需要注意,并且不一定需要Hadoop环境 下载 解压 tar zxvf spark-2.4.1-bin-hadoop2.7.tgz 2 Spark配置 ◆ 在配置前尽量先阅读官方文档,避免直接从网上找配置教程 ◆ 要为节点设 置好使用的内存,否则可能导致节点利用率低; ◆ 注意spark中IP与端口号的配置,以免UnknownHostExc...

1 MLlib概述 1.1 MLlib 介绍 ◆ 是基于Spark core的机器学习库,具有Spark的优点 ◆ 底层计算经过优化,比常规编码效率往往要高 ◆ 实现了多种机器学习算法,可以进行模型训练及预测 1.2 Spark MLlib实现的算法 ◆ 逻辑回归 朴素贝叶斯 线性回归 SVM 决策树 LDA 矩阵分解 1.3 Spark MLlib官方介绍 1.3.1 搜索官方文档 1.3.2 阅读文档 - 机器学习库（MLlib）指南 简介 MLlib是Spark的机器学习（ML）库。 其目标是使实用的机器学习可扩展且简单。 从较高的层面来说，它提供了以下工具...

1 导学 1.1 开源大数据技术 1.2 提高竞争力必备 1.3 教程规划 1.7 预备知识 了解大数据相关基础知识 熟悉Linux基本命令 熟悉Scala语言的编程方法 有一定的数学基础 1.8 环境参数 Spark : 2.3.0 JDK : 1.8 IDE : IDEA 2 机器学习概述 2.1 机器学习概念 2.2 机器学习发展史 2.3 机器学习(ML) & 人工智能(AI) 2.4 机器学习的一般功能 ◆分类 识别图像中人脸的性别是男还是女 ◆聚类 发掘喜欢类型的...

0 相关源码 1 YARN产生背景 YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题： 单点故障 节点压力大 不易扩展 1.1 MapReduce1.x时的架构 可以看到，1.x时,即 Master/Slave 主从结构，在集群上的表现就是一个JobTracker带多个TaskTracker JobTracker负责资源管理和作业调度 TaskTracker 定期向JobTracker汇报本节点的健康状况、资源使用情况以及作业执行情况 接收来自JobTracker的命令，例如启动任务或结束任务等。 1.2 该架构存在的...

期待已久的Spring Boot 2.1.4 RELEASE版本已于今天四月初正式发布! Spring Boot版本很多，作为使用Spring Boot的技术人而言，版本的选择也尤为重要 登录 官网 不难发现 Spring Boot已默更新到Spring Boot 2.1.4版本(RELEASE 版本) 我们一起来看看Spring Boot 2.1.4带来了哪些新变化。 任何框架版本的选取建议使用稳定版本(RELEASE版本)，切勿使用SNAPSHORT版本 SNAPSHORT：代表不稳定、尚处于开发中的版本，快照版本，依赖库中的jar正处于开发的阶段，会被经常被...

源码 1 HDFS概述及设计目标 1.1 什么是HDFS： Hadoop实现的一个分布式文件系统（Hadoop Distributed File System），简称HDFS 源自于Google的GFS论文 论文发表于2003年，HDFS是GFS的克隆版 1.2 HDFS的设计目标： 非常巨大的分布式文件系统 运行在普通廉价的硬件上 易扩展、为用户提供性能不错的文件存储服务 HDFS官方文档地址 2 HDFS架构 HDFS是主/从式的架构。一个HDFS集群会有一个NameNode（简称NN），也就是命名节点，该节点作为主服务器存在（master server）. NameNode用...

相关源码 官网首页 1 简介 名字的由来Hadoop这个名字不是一个缩写，而是一个虚构的名字。该项目的创建者，Doug Cutting解释Hadoop的得名 ：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子恰恰是这方面的高手。” 介绍 2 应用 搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务 搜索引擎，从海量的数据中筛选出用户所需要的数据 日志分析，是目前大数据技术最主流的应用场景，因为数据挖掘、分析大部分都是基于日志的 商业智能，我们都知道数据是人工智能的燃料，通过海量的数据能够训...

联系我 Java开发技术交流Q群 gayhub

相关源码 本章首先让大家学习到Spring Security权限框架的架构，之后大家可以学习到Spring Security权限框架的核心概念，包括拦截器、数据库管理、缓存、自定义决策等等，之后会手把手带大家基于Spring Boot+Spring Security搭建一套演练环境，并带着大家在Spring Security权限框架常见的应用场景下对框架常用的API功能进行编码... 1 Spring Security权限管理框架介绍 1.1 常见认证模式 1.1.1 Basic 模式 HTTP协议规范中有两种认证方式，一种是Basic认证，另外一种是Digest 认证，这两种方式都属于无状...

Redis 对外提供数据访问服务时，使用的是常驻内存的数据。为了在Redis Server重启之后数据还可以得到恢复，Redis具备将数据持久化到硬盘中的能力。 1 持久化的作用 2 RDB Redis Server在有多db 中存储的key-value可以理解为Redis的一个状态当发生写操作时，Redis就会从一个状态切换到另外一个状态基于全量的持久化就是在某个时刻，将Redis的所有数据持久化到硬盘中，形成一个快照。当Redis 重启时，通过加载最近一个快照数据，可以将Redis 恢复至最近一次持久化状态上。 2.1 全量写入流程 包含2种方式：save 和 bgsavesave 可以...

相关源码 搭建scrapy的开发环境，本文介绍scrapy的常用命令以及工程目录结构分析，本文中也会详细的讲解xpath和css选择器的使用。然后通过scrapy提供的spider完成所有文章的爬取。然后详细讲解item以及item loader方式完成具体字段的提取后使用scrapy提供的pipeline分别将数据保存到json文件以及mysql数据库中. 首先爬取一个网站前，我们需要分析网络的url结构，伯乐在线的网站结构是采用顶级域名下有二级域名，来区分每种类别的信息，并且在文章专栏里面 有一个 http://web.jobbole.com/all-posts/ 是所...

1 Java内存模型(JMM)的意义 Java虚拟机规范中试图定义一种Java内存模型来屏蔽掉各种硬件和操作系统的内存访问差异，规定 线程如何,何时能看到其他线程修改过的共享变量的值 在必要时如何同步地访问共享变量 以实现让Java程序在各种平台下都能达到一致性的内存访问效果。 2 主内存与工作内存 Java内存模型的主要目标是定义各个变量的访问规则即在虚拟机中将变量存储到内存和从内存中取出变量值这样的底层细节 此处的变量包括了实例域，静态域和构成数组对象的元素，但不包括局部变量与方法参数，因为后者是线程私有的，不存在竞争 为了获得比较好的执行效率，JMM并没有限制执行引擎使用处理器的...

Java是面向对象的静态强类型语言，声明并创建对象的代码很常见，根据某个类声明一个引用变量指向被创建的对象，并使用此引用变量操作该对象 在实例化对象的过程中，JVM中发生了什么呢? (1)下面从最简单的 代码进行分析，利用javap -verbose- p命令查看对象创建的字节码● new : 如果找不到Class对象,则进行类加载加载成功后,则在堆中分配内存,从Object开始到本类路径上的所有属性值都要分配内存分配完毕之后，进行零值初始化在分配过程中，注意引用是占据存储空间的,它是一个变量,占用4个字节这个指令完毕后，将指向实例对象的引用变量压入虛拟机栈顶 ● dup : 在栈顶复制该引用...