2019-07-24 17:51 已编辑华为_2012实验室_Java工程师

关注

基于Spark的机器学习实践 (二) - 初识MLlib

1 MLlib概述

1.1 MLlib 介绍

◆ 是基于Spark core的机器学习库,具有Spark的优点

◆ 底层计算经过优化,比常规编码效率往往要高

◆ 实现了多种机器学习算法,可以进行模型训练及预测

1.2 Spark MLlib实现的算法

◆ 逻辑回归朴素贝叶斯线性回归 SVM 决策树 LDA 矩阵分解

1.3 Spark MLlib官方介绍

1.3.1 搜索官方文档

1.3.2 阅读文档 - 机器学习库（MLlib）指南

简介

MLlib是Spark的机器学习（ML）库。其目标是使实用的机器学习可扩展且简单。从较高的层面来说，它提供了以下工具：

ML算法：常见的学习算法，如分类，回归，聚类和协同过滤
特征化：特征提取，转换，降维和选择
管道：用于构建，评估和调整ML管道的工具
持久性：保存和加载算法，模型和管道
实用程序：线性代数，统计，数据处理等。

公告：基于DataFrame的API是主要的API

基于MLlib RDD的API现在处于维护模式。

从Spark 2.0开始，spark.mllib包中基于RDD的API已进入维护模式。 Spark的主要机器学习API现在是spark.ml包中基于DataFrame的API

有什么影响？

MLlib仍将支持spark.mllib中基于RDD的API以及错误修复
MLlib不会为基于RDD的API添加新功能
在Spark 2.x版本中，MLlib将为基于DataFrames的API添加功能，以实现与基于RDD的API的功能奇偶校验。
在达到功能奇偶校验（粗略估计Spark 2.3）之后，将弃用基于RDD的API。
预计基于RDD的API将在Spark 3.0中删除。

为什么MLlib会切换到基于DataFrame的API？

DataFrames提供比RDD更加用户友好的API。 DataFrame的许多好处包括Spark数据源，SQL / DataFrame查询，Tungsten和Catalyst优化以及跨语言的统一API。
基于DataFrame的MLlib API跨ML算法和多种语言提供统一的API。
DataFrames有助于实用的ML管道，特别是功能转换。有关详细信息，请参阅管道指南

什么是“Spark ML”？

“Spark ML”不是官方名称，但偶尔用于指代基于MLlib DataFrame的API。这主要是由于基于DataFrame的API使用的org.apache.spark.ml Scala包名称，以及我们最初用来强调管道概念的“Spark ML Pipelines”术语。

MLlib已被弃用吗？

不，MLlib包括基于RDD的API和基于DataFrame的API。基于RDD的API现在处于维护模式。但是，API都不被弃用，也不是MLlib

依赖关系

MLlib使用线性代数包Breeze，它依赖于netlib-java进行优化的数值处理。如果本机库1在运行时不可用，您将看到一条警告消息，而将使用纯JVM实现。

由于运行时专有二进制文件的许可问题，我们默认不包括netlib-java的本机代理。要配置netlib-java / Breeze以使用系统优化的二进制文件，请包含com.github.fommil.netlib：all：1.1.2（或使用-Pnetlib-lgpl构建Spark）作为项目的依赖项并阅读netlib-java文档为您的平台提供其他安装说明。

最受欢迎的原生BLAS，如英特尔MKL，OpenBLAS，可以在一次操作中使用多个线程，这可能与Spark的执行模型冲突。

配置这些BLAS实现以使用单个线程进行操作实际上可以提高性能（请参阅SPARK-21305）。通常最好将此与每个Spark任务配置使用的核心数相匹配，默认情况下为1，通常保留为1。

请参考以下资源，了解如何配置这些BLAS实现使用的线程数：Intel MKL和OpenBLAS。

要在Python中使用MLlib，您将需要NumPy 1.4或更高版本。

2.3中的亮点

下面的列表重点介绍了Spark 2.3版本中添加到MLlib的一些新功能和增强功能：

添加了内置支持将图像读入DataFrame（SPARK-21866）。
添加了OneHotEncoderEstimator，应该使用它来代替现有的OneHotEncoder转换器。新的估算器支持转换多个列。
QuantileDiscretizer和Bucketizer（SPARK-22397和SPARK-20542）也增加了多列支持
添加了一个新的FeatureHasher变换器（SPARK-13969）。
在使用TrainValidationSplit或CrossValidator（SPARK-19357）执行交叉验证时，添加了对并行评估多个模型的支持。
改进了对Python中自定义管道组件的支持（请参阅SPARK-21633和SPARK-21542）。
DataFrame函数用于矢量列的描述性摘要统计（SPARK-19634）。
Huber损失的稳健线性回归（SPARK-3181）。

打破变化

逻辑回归模型摘要的类和特征层次结构被更改为更清晰，更好地适应了多类摘要的添加。对于将LogisticRegressionTrainingSummary强制转换为BinaryLogisticRegressionTrainingSummary的用户代码，这是一个重大变化。用户应该使用model.binarySummary方法。有关更多详细信息，请参阅SPARK-17139（请注意，这是一个实验API）。这不会影响Python摘要方法，它对于多项和二进制情况仍然可以正常工作。

废弃和行为变化

弃用

OneHotEncoder已被弃用，将在3.0中删除。它已被新的OneHotEncoderEstimator所取代（参见SPARK-13030）。请注意，OneHotEncoderEstimator将在3.0中重命名为OneHotEncoder（但OneHotEncoderEstimator将保留为别名）。

行为的变化

SPARK-21027：OneVsRest中使用的默认并行度现在设置为1（即串行）。在2.2及更早版本中，并行度级别设置为Scala中的默认线程池大小。
SPARK-22156：当numIterations设置为大于1时，Word2Vec的学习速率更新不正确。这将导致2.3和早期版本之间的训练结果不同。
SPARK-21681：修复了多项Logistic回归中的边缘案例错误，当某些特征的方差为零时，导致系数不正确。
SPARK-16957：树算法现在使用中点来分割值。这可能会改变模型训练的结果。
SPARK-14657：修复了RFormula在没有截距的情况下生成的特征与R中的输出不一致的问题。这可能会改变此场景中模型训练的结果。

2 MLlib的数据结构

2.1 本地向量(Local vector)

具有整数类型和基于0的索引和双类型值

本地向量的基类是Vector，我们提供了两个实现：DenseVector 和 SparseVector

◆ 本地向量是存储在本地节点上的,其基本数据类型是Vector.
其有两个子集，分别是密集的与稀疏的

密集向量由表示其条目值的双数组支持
而稀疏向量由两个并行数组支持：索引和值

我们一般使用Vectors工厂类来生成
例如:

◆ Vectors.dense(1.0,2.0,3.0) 主要使用稠密的

◆ Vectors.sparse(3,(0,1),(1,2),(2,3)) 稀疏的了解即可

向量（1.00.03.0）可以密集格式表示为1.00.03.0，或以稀疏格式表示为（3，02，1.03.0），其中3是矢量的大小。

2.2 标签数据(Labeled point)

与标签/响应相关联的局部矢量，密集或稀疏
在MLlib中，用于监督学习算法。我们使用双重存储标签，所以我们可以在回归和分类中使用标记点
对于二进制分类，标签应为0（负）或1（正）
对于多类分类，标签应该是从零开始的类索引：0，1，2，…

标记点由事例类 LabeledPoint 表示

◆ 我们在前面介绍过"监督学习”, 知道监督学习是(x,y)数据形式，其中这个y就是标签,X是特征向量
标签数据也是一样,我们看一下这个代码

LabeledPoint(1.0,Vectors.dense(1.0,2.0,3.0))

2.3 本地矩阵

本地矩阵具有整数类型的行和列索引和双类型值，存储在单个机器上。 MLlib支持密集矩阵，其入口值以列主序列存储在单个双阵列中，稀疏矩阵的非零入口值以列主要顺序存储在压缩稀疏列（CSC）格式中

与向量相似,本地矩阵类型为Matrix , 分为稠密与稀疏两种类型。同样使
用工厂方法Matrices来生成。但是要注意，MLlib的矩阵是按列存储的。
例如下面创建一个3x3的单位矩阵:

Matrices.dense(3,3,Array(1,0,0,0,1,0,0,0,1))

类似地,稀疏矩阵的创建方法

Matrices.sparse(3,3,Array(0,1,2,3),Array(0,1,2),Array(1,1,1))

2.4 分布式矩阵

◆ 把一个矩数据分布式存储到多个RDD中
将分布式矩阵进行数据转换需要全局的shuffle函数
最基本的分布式矩阵是RowMatrix.

分布式矩阵具有长类型的行和列索引和双类型值，分布式存储在一个或多个RDD中。选择正确的格式来存储大型和分布式矩阵是非常重要的。将分布式矩阵转换为不同的格式可能需要全局shuffle，这是相当昂贵的。到目前为止已经实现了四种类型的分布式矩阵。

基本类型称为RowMatrix。 RowMatrix是没有有意义的行索引的行向分布式矩阵，例如特征向量的集合。它由其行的RDD支持，其中每行是局部向量。我们假设RowMatrix的列数不是很大，因此单个本地向量可以合理地传递给驱动程序，也可以使用单个节点进行存储/操作。 IndexedRowMatrix与RowMatrix类似，但具有行索引，可用于标识行和执行连接。 CoordinateMatrix是以坐标 list(COO) 格式存储的分布式矩阵，由其条目的RDD支持。 BlockMatrix是由MatrixBlock的RDD支持的分布式矩阵，它是（Int，Int，Matrix）的元组。