# k近邻和朴素贝叶斯 ## k近邻 k近邻很简单…… k近邻是一个不需要训练的算法,但是想要实现还是需要一些算法来优化的。 通过给定的距离度量,在训练集$T$中找到与$x$最邻近的$k$个点,$k$的值需要设定,,然后根据某一种分类决策规则,决定$x$的种类$y$,比如根据多数表决: $$ y=\arg \max_{c_j} \sum_{x_i \in N_k(x)}I(y_i=c_j),\ \ \ \ i=1,2,...,K $$ 其中,$I$为指示函数。 ### 距离度量 根据线性代数中对范数的定义,我们有: $$ L_p(x_i,x_j)=\Large{\big(\sum_...