机器学习算法优缺点对比及选择（汇总篇）

如何选择一个最佳的K值，这取决于数据。一般情况下，在分类时较大的K值能够减小噪声的影响，但会使类别之间的界限变得模糊。一个较好的K值可通过各种启发式技术来获取，比如，交叉验证。另外噪声和非相关性特征向量的存在会使K近邻算法的准确性减小。近邻算法具有较强的一致性结果，随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的K值，K近邻保证错误率不会超过贝叶斯理论误差率。

KNN算法的优点

1. 理论成熟，思想简单，既可以用来做分类也可以用来做回归；

2. 可用于非线性分类；

3. 训练时间复杂度为O(n)；

4. 对数据没有假设，准确度高，对outlier不敏感；

5. KNN是一种在线技术，新数据可以直接加入数据集而不必进行重新训练；

6. KNN理论简单，容易实现。

缺点

1. 样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）效果差；

2. 需要大量内存；

3. 对于样本容量大的数据集计算量比较大（体现在距离计算上）；

4. 样本不平衡时，预测偏差比较大。如：某一类的样本比较少，而其它类样本比较多；

5. KNN每一次分类都会重新进行一次全局运算；

6. k值大小的选择没有理论选择最优，往往是结合K-折交叉验证得到最优k值选择。

KNN算法应用领域

文本分类、模式识别、聚类分析，多分类领域

3.5 决策树

决策树的一大优势就是易于解释。它可以毫无压力地处理特征间的交互关系并且是非参数化的，因此你不必担心异常值或者数据是否线性可分（举个例子，决策树能轻松处理好类别A在某个特征维度x的末端，类别B在中间，然后类别A又出现在特征维度x前端的情况）。它的缺点之一就是不支持在线学习，于是在新样本到来后，决策树需要全部重建。另一个缺点就是容易出现过拟合，但这也就是诸如随机森林RF（或提升树boosted tree）之类的集成方法的切入点。另外，随机森林经常是很多分类问题的赢家（通常比支持向量机好上那么一丁点），它训练快速并且可调，同时你无须担心要像支持向量机那样调一大堆参数，所以在以前都一直很受欢迎。

决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。

信息熵的计算公式如下:

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!