lightGBM困惑
关于lightGBM有一些疑问的点(不确定自己的理解是不是对的),望大牛解惑。
lightGBM同时利用了Boosting和Bagging.
我下面的理解不确定对不对:
1)boost设置为gbdt(假设),针对每一个类生成一棵树。
2)n_estimators参数代表Boosting迭代的次数。
3)bagging_freq代表经过多少次迭代对样本集进行重新采样,则这里的迭代我理解的应该和上面boosting的迭代不是一个概念,这里的迭代是针对经过n_estimators次Boosting的强学习器。如果bagging_freq的值为5,则这样的强学习器有5个,其中这5个不同的强学习器的输入样本是数据集A“有放回抽样”获取来的,而数据集A是通过设定bagging_fraction从总样本中获取的。然后这5个强学习器,做Bagging,获取一个“更强”的学习器。之后再从总样本中取 总样本数*bagging_fraction个样本作为数据集A1,同样的,得到一个“更强”的学习器。
我觉得我这样理解很有可能是有问题的,但是目前找不到资料去验证。针对这些Bagging后的值怎么去影响最后结果,我也不清楚,是最后针对这些Bagging的结果投票选众数吗?还是在此基础上再做一次Bagging?望牛友指出错误,感谢万分~
#机器学习#