1. 请你说说dropout的作用 什么是dropout：典型的神经网络训练过程是将输入通过网络进行正向传导，然后将误差进行反向传播，dropout在这个过程中，网络中的节点以概率p被随机丢弃，本次训练中，被丢弃的节点不再起作用，但是接下来的训练中，之前的“丢弃”节点可能继续被“丢弃”，也可能加入训练。（p一般设置为0.5，也可以根据模型的过拟合风险情况调整，加大或者减小） dropout原理： 图1 dropout训练类似于bagging训练中的“投票”，对于全连接神经网络而言，用相同的数据集训练n个不同的神经网络可能会得到多个不同的结果，然后利用“投票”机制决定胜出者，从而提升网络性...

Spark的执行机制Spark是一种类Hadoop MapReduce的通用并行计算框架，spark基于map reduce算法来实现分布式计算。Spark的中间数据放到内存中，对于迭代运算效率更高，并且相比Hadoop提供了更多的数据集操作类型，如map, filter, flatMap, sample等（称为Transformation）。同时spark还提供了count，collect，reduce等action操作。图1.1 是Spark在分布式集群上的一般执行框架，包括了sparkcontext（上下文），cluster manager（资源管理器），executor（单个节点的执行...