前言

大家好，我是鬼仔。今天继续带来《机器学习高频面试题详解》专栏的第1.2节：逻辑回归，这是本周鬼仔更新的第二篇专栏文章，鬼仔希望写的每篇专栏文章能够将一个知识点讲透、讲深，也希望读者能从鬼仔的文章中有所收获。

欢迎大家订阅该专栏，目前这篇是试读，后续的文章需要订阅才能查看哦（每周一更/两更），专栏预计更新30篇文章（只增不减），具体内容可以看专栏介绍，大家的支持是鬼仔更新的动力！

二、面试真题

6. 梯度下降算法有哪几种分类，各有什么优缺点？

（1）批量梯度下降(BGD)：批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。

优点：

• 一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行，迭代的次数相对较少。
• 由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优。

缺点：

• 当样本数目很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。

（2）随机梯度下降(SGD)：每次迭代使用一个样本来对参数进行更新。使得训练速度加快。

优点：

• 由于不是在全部训练数据上的损失函数，而是在每轮迭代中，随机优化某一条训练数据上的损失函数，这样每一轮参数的更新速度大大加快。

缺点：

• 准确度下降。由于即使在目标函数为强凸函数的情况下，SGD仍旧无法做到线性收敛。
• 可能会收敛到局部最优，由于单个样本并不能代表全体样本的趋势。
• 不易于并行实现。

（3）小批量梯度下降(MBGD)：是对批量梯度下降以及随机梯度下降的一个折中办法。其思想是：每次迭代使用 batch_size个样本来对参数进行更新。

优点：

• 通过矩阵运算，每次在一个batch上优化神经网络参数并不会比单个数据慢太多。
• 每次使用一个batch可以大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果。
• 可实现并行化。

缺点：

• batch_size的不当选择可能会带来一些问题。

7. 在MBGD（mini-Batch Gradient Descent）算法中