【有书共读】《机器学习》读书笔记CH11-CH12
第十一章 特征选择与稀疏学习
特征定义
相关特征：对当前学习任务有用的属性。
无关特征：对当前学习任务没有。
冗余特征：包含的信息能从其他特征中推演出来。
冗余特征在很多时候不起作用，去除它们会减轻学习过程的负担。但有时冗余特征会降低学习任务的难度。
特征选择的两个环节：子集搜索、子集评价。
子集搜索：“前向”搜索、“后向”搜索、“双向”搜索。
子集评价：信息增益、能判断两个划分差异的机制。
将特征子集搜索机制与子集评价机制相结合，即可得到特征选择方法。
常见的特征选择方法有：过滤式、包裹式、嵌入式。
过滤式：先对数据集进行特征选择、然后再训练学习器，特征选择过程与后续学习器无关
包裹式：特征选择直接吧最终将要使用的学习器的性能作为特征子集评价准则
嵌入式：将特征选择过程与学习器训练过程融为一体。两者在同一个优化过程中完成，即在学习器训练过程中自动地进行了特征选择。LARS是一种嵌入式特征选择方法。
字典学习：为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表示形式，从而使学习任务得以简化，模型复杂度得以降低。
压缩感知：根据部分信息来恢复全部信息。
第十二章 计算理论学习
1、试计算决策树桩假设空间的VC维。
若是非连续属性，通过决策树一次划分无法确定节点个数，那么可能导致VC维无限大。仅考虑连续属性单变量的决策树桩。由于决策树的划分是与坐标轴平行的超平面，显然平面上的2个点是可以被打散的，即VC维大于等于2。
对于平面的3各点，如果其中两个点的连线与一条坐标轴平行，另两个点的连线与另一坐标轴平行。比如(0,0),(0,1),(1,0)(0,0),(0,1),(1,0)三个点，无法通过一个与坐标轴平行的超平面来划分。所以VC维小于3。
所以决策树桩假设空间的VC维是2。
2、决策树分类器的假设空间VC维可以为无穷大。
由于决策树如果不限制伸展，会包含整个假设空间。对任意多的样本，决策树可以使得训练误差为0，所以VC维是无穷大。
提示
查看16道真题和解析
