当前位置：首页 > news >正文

K 近邻算法入门指南：明氏距离与皮尔森距离的基础讲解

news 来源：原创 2025/5/18 2:18:49

1、K近邻算法介绍

K近邻(k-Nearest Neighbor，KNN)分类算法的思路是：在特征空间中，如果一个样本附近的k个最近样本的大多数属于某一个类别，则该样本也属于这个类别。K近邻算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

总的来说，K 近邻算法就是靠找离待分类样本最近的一些已知分类的样本，根据它们的类别情况来给待分类样本确定类别的一种方法。

2、K近邻算法实现

首先K近邻算法是 lazy-learning 算法，在一开始并不需要对训练集进行这样的训练操作，它只是简单地存储训练样本集，等到有新的数据需要分类时才开始真正的处理工作，所以说它不需要使用训练集进行训练，具有 “惰性” 的特点。这点与决策树、神经网络等算法，要在训练阶段花费大量时间去调整模型参数、构建模型结构等有明显区别。

其次，K近邻算法的训练样本集就是用来辅助对新数据进行分类判断的一个数据集合。在这个集合里，每个数据都带有相应的标签，所谓标签就是表明这个数据所属的类别是什么。

随后，信数据输入后会进行2个操作，第一个是特征比较：把新数据所具备的各个特征，和训练样本集中每个数据对应的特征逐一进行对比。第二个是提取最近邻数据的分类标签：通过比较后，算法会从样本集中找出与新数据最相似的数据，这里一般是选取前 K 个最相似的数据，这就是 “K 近邻” 里 “K” 的含义所在。这个 “K” 通常是设定为不大于 20 的整数。

最后，在选出了 K 个最相似的数据后，查看这 K 个数据分别属于哪些类别，然后统计各个类别出现的次数，哪个类别出现的次数最多，就把这个出现次数最多的类别作为新输入的那个无标签数据的分类。

K近邻分类算法的实现步骤如下：

（1）计算距离：计算新数据与训练集中每个样本的距离，按照距离从小到大的顺序排序。

（2）选择近邻：选取与新数据距离最小的前K个点。

（3）判定类别：计算前K个点所在类别的出现频率，返回出现频率最高的类别作为新数据的预测分类。

K近邻算法不仅可以用于分类，还可以用于回归。此时将算法实现步骤中的第（3）步变为计算K个近邻的目标变量的平均值作为新样本的预测值。

K近邻算法衡量样本之间距离的方法包括明氏距离(Minkowski Distance)和皮尔森距离(Pearson Distance)2种。

（1）明氏距离（欧氏距离、曼氏距离）

明氏距离（Minkowski Distance）是衡量两个数据点之间距离的一种度量方式。它是欧氏距离、曼哈顿距离等的一种广义形式。