计算机视觉图像特征提取入门：Harris角点与SIFT算法

计算机视觉图像特征提取入门：Harris角点与SIFT算法，在计算机视觉领域，图像特征提取是一项至关重要的基础任务。它旨在从图像中提取具有代表性和独特性的信息，这些信息能够帮助计算机理解图像内容，为后续的目标识别、图像匹配、图像分割等高级任务提供有力支持。Harris 角点和 SIFT（尺度不变特征变换）算法作为经典的图像特征提取方法，在学术界和工业界都得到了广泛应用。Harris 角点能够有效地检测出图像中的角点特征，这些角点往往是图像中物体形状的关键转折点，蕴含着丰富的结构信息。SIFT 算法则更为强大，它能够提取出具有尺度不变性、旋转不变性等特性的特征点，即使在图像发生尺度变化、旋转、光照变化等复杂情况下，也能准确地匹配和识别特征。本文将深入探讨 Harris 角点和 SIFT 算法的原理、实现步骤，并通过大量的代码示例帮助读者更好地理解和应用这两种算法。

一、前言

    计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。

---

👉👉👉 🥇 点击进入计算机视觉专栏，计算机视觉（CV）是人工智能的重要分支，致力于让机器通过数字图像或视频获取、处理和分析视觉信息，并模拟人类视觉的认知能力。本专栏涵盖基础概念、技术应用、前沿研究和实战案例等方向。

👉👉👉 🥇 点击进入计算机网络技术专栏，本专栏旨在深入探讨计算机网络的核心概念、关键技术、协议标准以及最新发展趋势，帮助读者全面理解网络通信的原理与实践。

👉👉👉 🥇 点击进入网络安全知识专栏，本专栏详细介绍了网络安全入门：理解基本概念和术语，网络安全的五大核心领域：防护、检测、响应、恢复与治理，常见的网络攻击类型及防范技巧，网络安全防护层次：从物理到应用的多重保障，企业网络安全的十大挑战及解决方案等。

二、Harris 角点检测算法​

2.1 Harris 角点的定义与直观理解​

2.1.1 角点的概念​

    在图像中，角点是指那些在多个方向上都有显著变化的点。从直观上看，角点可以被认为是图像中物体轮廓的转折点或者是不同区域的交汇点。例如，在一幅建筑图像中，建筑物的墙角、窗户的角落等都是典型的角点。角点具有丰富的信息，对于图像的配准、目标识别等任务具有重要意义。因为角点在图像中的位置相对稳定，即使图像发生一定程度的变形、旋转或光照变化，角点仍然能够保持其独特的特征，从而为后续的图像处理提供可靠的参考点。​

2.1.2 Harris 角点的判定依据​

    Harris 角点检测算法基于图像局部窗口的灰度变化来判断是否为角点。假设在图像中存在一个以点(x,y)为中心的小窗口W，当这个窗口在图像上进行微小移动(u,v)时，窗口内的灰度变化可以通过以下公式计算：​

其中，I(x,y)表示图像在点(x,y)处的灰度值。如果在某个方向上移动窗口时，灰度变化E(u,v)较大，说明该点周围的图像特征在这个方向上变化明显。Harris 角点检测通过计算窗口在x和y方向上的一阶导数，构建一个2×2的矩阵M：​
​

2.2 Harris 角点检测的实现步骤​

2.2.1 计算图像的梯度​

首先，需要计算图像在x和y方向上的梯度。这可以通过使用一些常见的梯度算子来实现，如 Sobel 算子。Sobel 算子是一个3×3的卷积核，在x方向上的卷积核为：​
​

在y方向上的卷积核为：​
​

2.2.2 构建结构张量矩阵​

2.2.3 计算 Harris 响应值​

利用前面构建的矩阵M，计算每个像素点的 Harris 响应值R。通过遍历图像中的所有像素点，计算出每个点的R值，得到一幅 Harris 响应图像。​

2.2.4 非极大值抑制与阈值筛选​

在得到 Harris 响应图像后，需要进行非极大值抑制操作。这是因为在角点周围的区域，Harris 响应值可能也会比较大，但这些点并不是真正的角点。非极大值抑制的目的是在局部邻域内，只保留 Harris 响应值最大的点，抑制其他点。具体做法是，对于每个像素点，将其 Harris 响应值与邻域内的其他像素点进行比较，如果该点的响应值不是邻域内最大的，则将其值设为 0。最后，通过设定一个阈值，筛选出 Harris 响应值大于该阈值的点，这些点即为检测到的 Harris 角点。​

2.2.5 代码示例（Python + OpenCV）​

import cv2​
import numpy as np​
​
# 读取图像​
image = cv2.imread('example.jpg')​
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)​
​
# 使用OpenCV的Harris角点检测函数​
dst = cv2.cornerHarris(gray, 2, 3, 0.04)​
​
# 对检测结果进行膨胀，用于标记角点，仅为了可视化​
dst = cv2.dilate(dst, None)​
​
# 设置阈值，这里根据图像的具体情况进行调整​
image[dst > 0.01 * dst.max()] = [0, 0, 255]​
​
cv2.imshow('Harris Corners', image)​
cv2.waitKey(0)​
cv2.destroyAllWindows()​

    在这段代码中，首先使用cv2.imread读取图像，并将其转换为灰度图像。然后，调用cv2.cornerHarris函数进行 Harris 角点检测，该函数的参数依次为输入的灰度图像、角点检测时考虑的邻域大小（这里设为 2）、Sobel 算子的孔径大小（设为 3）以及 Harris 响应值计算中的常数k（设为 0.04）。接着，对检测结果dst进行膨胀操作，这一步主要是为了在可视化时能够更清晰地看到角点。最后，通过设定一个阈值（这里是 Harris 响应值最大值的 0.01 倍），将检测到的角点在原图像上标记为红色并显示出来。​

2.3 Harris 角点检测的应用场景​

2.3.1 图像配准​

    在图像配准任务中，需要将不同时间、不同视角或不同传感器获取的图像进行对齐。Harris 角点由于其在图像中的稳定性，可以作为图像之间的对应点。通过检测两幅图像中的 Harris 角点，然后使用一些匹配算法（如基于欧式距离的最近邻匹配算法）找到角点之间的对应关系，进而计算出图像之间的变换矩阵（如平移、旋转、缩放等变换），实现图像的配准。例如，在医学图像领域，需要将同一患者不同时期的 CT 图像进行配准，Harris 角点检测可以帮助找到图像中的关键特征点，实现图像的准确对齐，便于医生观察病情的变化。​

2.3.2 目标识别​

    在目标识别任务中，Harris 角点可以作为目标物体的特征描述子。通过提取目标物体图像中的 Harris 角点，并将其与训练集中的目标特征进行匹配，可以识别出图像中的目标物体。例如，在智能安防系统中，要识别监控图像中的行人、车辆等目标，Harris 角点检测可以提取目标的关键特征，结合机器学习算法（如支持向量机）进行目标分类和识别。​

2.3.3 运动估计​

    在视频分析中，通过检测相邻帧图像中的 Harris 角点，并跟踪这些角点在不同帧之间的运动轨迹，可以实现对物体运动的估计。这在自动驾驶系统中具有重要应用，通过分析摄像头采集的视频帧中的 Harris 角点运动，能够判断车辆周围物体的运动方向和速度，为自动驾驶决策提供依据。​

三、SIFT 算法​

3.1 SIFT 算法的核心思想与特点​

3.1.1 尺度不变性与旋转不变性​

    SIFT 算法的核心目标是提取出具有尺度不变性和旋转不变性的特征点。尺度不变性意味着无论图像是放大还是缩小，提取的特征点都能保持一致。旋转不变性则保证图像在发生旋转时，特征点的描述也不会改变。这使得 SIFT 算法在处理不同尺度和旋转状态下的图像时具有很强的鲁棒性。例如，在识别一个物体时，无论该物体在图像中是远处的小物体还是近处的大物体，也无论物体是正放还是旋转了一定角度，SIFT 算法都能提取出相同或相似的特征点，从而准确地识别出物体。​

3.1.2 特征点描述子的构建​

    SIFT 算法通过构建独特的特征点描述子来表征每个特征点。特征点描述子是一个向量，它包含了特征点周围邻域内的图像梯度信息。SIFT 算法将特征点邻域划分为多个子区域，计算每个子区域内的梯度方向直方图，然后将这些直方图信息组合起来，形成一个高维的特征向量。这个特征向量能够准确地描述特征点周围的图像结构，并且在图像发生尺度、旋转和光照变化时，具有较好的稳定性。例如，对于一个在不同光照条件下拍摄的同一物体图像，SIFT 特征点描述子能够保持相似性，从而实现准确的特征匹配。​

3.2 SIFT 算法的实现步骤​

3.2.1 尺度空间构建​

3.2.2 关键点检测​

    在尺度空间中，通过比较每个像素点与其邻域内的像素点（包括同层和上下层的邻域）来检测关键点。具体来说，对于每个像素点，将其与同尺度下周围
8个邻域像素点以及上下相邻尺度层对应位置的9×2个像素点进行比较，如果该像素点是这些邻域像素点中的极大值或极小值点，则该点被认为是一个潜在的关键点。这一步骤能够检测出在不同尺度下具有显著特征变化的点，这些点对尺度变化具有一定的不变性。​

3.2.3 关键点精确定位​

    检测到的潜在关键点可能由于噪声等因素存在位置偏差，需要进行精确定位。SIFT 算法通过拟合三维二次函数来精确确定关键点的位置和尺度。对于每个潜在关键点，利用其周围邻域的像素值构建一个二次函数，通过求解该二次函数的极值点来得到关键点的精确位置和尺度。同时，还会去除那些响应值较低（即特征不明显）的关键点以及位于边缘区域的关键点，以提高关键点的质量。​

3.2.4 方向分配​

    为每个关键点分配一个主方向，使得特征描述子具有旋转不变性。在关键点的邻域内，计算每个像素点的梯度方向和幅值。然后，构建一个梯度方向直方图，直方图的范围通常是0−360°，将邻域内的梯度方向分配到对应的直方图区间内。取直方图中最大值对应的方向作为关键点的主方向，如果存在其他方向的梯度幅值超过最大值的80%，则将这些方向也作为关键点的辅方向。通过为关键点分配方向，在构建特征描述子时可以基于该方向进行归一化处理，使得特征描述子在图像旋转时保持不变。​

3.2.5 特征描述子生成​

    以关键点为中心，取一定大小的邻域（通常为16×16像素），将其划分为4×4个小区域。对于每个小区域，计算其梯度方向直方图（通常分为8个方向区间）。将这些小区域的梯度方向直方图信息依次排列，形成一个4×4×8=128维的特征向量，这个向量就是该关键点的 SIFT 特征描述子。在计算过程中，还会对梯度幅值进行高斯加权，使得靠近关键点中心的像素对特征描述子的贡献更大。这样生成的特征描述子能够充分描述关键点周围的图像结构，并且对尺度、旋转和光照变化具有较强的鲁棒性。​

3.2.6 代码示例（Python + OpenCV）​

import cv2​
import numpy as np​
​
# 读取图像​
image = cv2.imread('example.jpg')​
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)​
​
# 创建SIFT对象​
sift = cv2.SIFT_create()​
​
# 检测关键点和计算描述子​
keypoints, descriptors = sift.detectAndCompute(gray, None)​
​
# 在图像上绘制关键点​
image_with_keypoints = cv2.drawKeypoints(image, keypoints, None, color=(0, 255, 0), flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)​
​
cv2.imshow('SIFT Keypoints', image_with_keypoints)​
cv2.waitKey(0)​
cv2.destroyAllWindows()​

​    在这段代码中，首先读取图像并将其转换为灰度图像。然后，使用cv2.SIFT_create()创建一个 SIFT 对象。接着，调用detectAndCompute方法，该方法会自动检测图像中的关键点并计算其描述子，返回的keypoints是检测到的关键点列表，descriptors是对应的特征描述子数组。最后，使用cv2.drawKeypoints函数在原图像上绘制出检测到的关键点，将绘制后的图像显示出来。这里绘制关键点时，使用了cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS标志，该标志会绘制出关键点的大小和方向等详细信息，使可视化效果更丰富。​

3.3 SIFT 算法的应用场景​

3.3.1 图像匹配​

​    SIFT 算法在图像匹配领域有着广泛的应用。通过提取两幅图像中的 SIFT 特征点和描述子，使用一些匹配算法（如 BFMatch（Brute - Force Match）暴力匹配算法），计算两幅图像中特征描述子之间的距离（通常使用欧氏距离或余弦距离），找到距离最小的特征点对，从而实现图像之间的匹配。例如，在图像检索系统中，用户上传一幅查询图像，系统通过提取查询图像和数据库中图像的 SIFT 特征，进行特征匹配，找出与查询图像最相似的图像。在全景图像拼接中，通过匹配相邻图像之间的 SIFT 特征点，确定图像之间的重叠区域和变换关系，实现​图像的无缝拼接，生成广阔视角的全景图像。在实际操作中，匹配得到的特征点对需要经过进一步筛选，去除误匹配点，以提高匹配精度。常用的方法有随机抽样一致性（RANSAC）算法，它通过随机选取部分特征点对来估计变换模型，并计算其他点对与该模型的符合程度，多次迭代后保留最符合模型的点对集合，从而得到准确的匹配结果用于后续操作。​

3.3.2 目标跟踪​

​    在目标跟踪任务中，SIFT 算法能够有效应对目标在视频序列中出现的尺度变化和旋转等情况。首先在初始帧中提取目标物体的 SIFT 特征点和描述子，建立目标模板。然后在后续帧中，通过搜索与目标模板特征描述子最匹配的特征点，确定目标的位置。例如在监控视频中跟踪特定车辆，即使车辆在行驶过程中由于远近变化出现尺度改变，或者因转弯产生旋转，SIFT 算法凭借其尺度和旋转不变性，依然可以准确地跟踪车辆。通过不断更新目标模板的特征点和描述子，还能适应目标外观的缓慢变化，提高跟踪的稳定性和持续性。​

3.3.3 三维重建​

​    SIFT 算法在三维重建领域发挥着重要作用。从多个不同视角拍摄的图像中提取 SIFT 特征点并进行匹配，通过三角测量原理，可以计算出这些特征点在三维空间中的坐标。例如在文物数字化三维重建中，对文物从不同角度拍摄大量图像，利用 SIFT 算法匹配不同图像中的相同特征点，结合相机的内参和外参信息（相机内部参数如焦距、主点位置，外部参数如相机在世界坐标系中的位置和姿态），精确计算特征点的三维坐标，进而构建文物的三维模型。这种基于 SIFT 特征的三维重建方法能够准确还原文物的细节特征，为文物保护、展览展示等提供高精度的数字化资源。​

3.4 SIFT 算法的优缺点分析​

3.4.1 优点​

​    强大的不变性：SIFT 算法最显著的优点是其尺度不变性和旋转不变性，这使得它在处理不同尺度和旋转状态下的图像时表现出色，极大地提高了特征提取和匹配的准确性与鲁棒性，适用于各种复杂场景下的计算机视觉任务。​

​    独特的特征描述子：SIFT 算法生成的 128 维特征描述子能够全面且细致地描述关键点周围的图像结构信息，并且在光照变化等情况下仍能保持较好的稳定性，为图像匹配和目标识别提供了可靠的特征表示。​

​    广泛的适用性：由于其良好的性能，SIFT 算法在图像匹配、目标跟踪、三维重建、图像检索等众多计算机视觉领域都有广泛的应用，成为一种通用且有效的特征提取方法。​

3.4.2 缺点​

​    计算复杂度高：SIFT 算法涉及到尺度空间构建、关键点检测、方向分配和特征描述子生成等多个复杂步骤，计算量巨大。构建尺度空间需要对图像进行多次高斯模糊和下采样操作，关键点检测要在不同尺度层的邻域内进行大量比较，这使得算法运行时间较长，对计算资源要求较高，在实时性要求苛刻的应用场景中可能受到限制。​

​    对边缘特征提取不足：SIFT 算法在检测关键点时，倾向于选择图像中纹理丰富的区域，对于一些边缘特征明显但纹理相对较少的物体，可能无法提取足够数量的有效关键点，影响算法在这类场景下的性能。例如在识别简单几何形状（如直线边框的矩形物体）时，SIFT 算法可能无法准确提取足够特征用于可靠识别。​

四、Harris 角点与 SIFT 算法的对比​

4.1 特征特性对比​

​    Harris 角点主要关注图像中的角点特征，即物体轮廓的转折点。这些角点在图像中的位置相对稳定，对于图像的局部结构变化敏感，但缺乏尺度和旋转不变性。如果图像发生尺度变化或旋转，Harris 角点的位置和数量可能会发生较大改变。而 SIFT 算法提取的特征点具有尺度不变性、旋转不变性和一定的光照不变性。无论图像如何缩放、旋转或光照条件如何变化，SIFT 算法都能提取出相对稳定且具有代表性的特征点，在复杂变换情况下的适应性更强。​

4.2 计算复杂度对比​

​    Harris 角点检测算法相对简单，计算复杂度较低。其主要计算步骤包括图像梯度计算、结构张量矩阵构建和 Harris 响应值计算等，计算量主要集中在图像的局部邻域内。而 SIFT 算法由于涉及多尺度空间构建、关键点在不同尺度和邻域的比较、方向分配以及高维特征描述子生成等复杂操作，计算复杂度远高于 Harris 角点检测算法。在处理大规模图像数据集或对实时性要求较高的应用中，Harris 角点检测算法可能更具优势，而 SIFT 算法则需要强大的计算资源支持。​

4.3 应用场景适应性对比​

​    Harris 角点检测适用于对图像局部结构特征敏感且图像变换相对较小的场景，如简单的图像配准（在图像尺度和旋转变化不大时）、目标物体具有明显角点特征的目标识别（如建筑物识别）以及视频中物体运动轨迹的初步分析（当物体运动导致的尺度和旋转变化不剧烈时）。SIFT 算法则广泛应用于需要处理图像复杂变换的场景，如不同拍摄角度和尺度下的图像匹配（如全景图像拼接、图像检索）、目标在视频中存在明显尺度和旋转变化的目标跟踪（如运动中的车辆、旋转的机械零件跟踪）以及基于多视角图像的高精度三维重建（如文物、建筑的三维建模）。​

五、总结与展望​

​    Harris 角点检测算法和 SIFT 算法作为计算机视觉中经典的图像特征提取方法，各自具有独特的优势和适用场景。Harris 角点检测算法简单高效，能够准确提取图像中的角点特征，为图像配准、目标识别等任务提供基础支持，尤其适用于对局部结构敏感且图像变换较小的场景。SIFT 算法则以其强大的尺度、旋转不变性和独特的特征描述子，在处理复杂图像变换的任务中表现卓越，广泛应用于图像匹配、目标跟踪和三维重建等领域。然而，随着计算机视觉技术的不断发展和应用需求的日益复杂，这两种算法也面临着挑战。例如，在实时性要求极高的自动驾驶、智能监控等场景中，SIFT 算法的高计算复杂度成为瓶颈；而 Harris 角点检测算法在面对复杂图像变换时的局限性也需要进一步克服。​

​    未来，图像特征提取技术的发展方向可能集中在以下几个方面。一方面，研究人员将致力于开发更加高效、快速的特征提取算法，在保证特征提取准确性和鲁棒性的同时，降低计算复杂度，提高算法的实时性能。例如，基于深度学习的特征提取方法逐渐兴起，通过构建深度神经网络模型，可以自动学习图像中的特征表示，并且在一些场景下能够实现快速、准确的特征提取。另一方面，结合多种特征提取方法的优势，形成混合特征提取策略也是一个重要趋势。例如，将 Harris 角点检测与 SIFT 算法相结合，或者将传统特征提取方法与深度学习特征提取方法融合，充分发挥不同方法在不同场景下的优势，提高计算机视觉系统在复杂环境中的性能。此外，针对特定应用场景，开发定制化的特征提取算法也是未来的研究重点之一。例如，在医学图像分析中，根据医学图像的特点（如灰度分布、组织结构等），设计专门的特征提取算法，以满足医学诊断对图像特征分析的高精度和高可靠性要求。通过不断的研究和创新，图像特征提取技术将在计算机视觉领域发挥更加重要的作用，推动相关技术在更多领域的广泛应用和发展。​

致读者一封信

        亲爱的朋友，无论前路如何漫长与崎岖，都请怀揣梦想的火种，因为在生活的广袤星空中，总有一颗属于你的璀璨星辰在熠熠生辉，静候你抵达。

         愿你在这纷繁世间，能时常收获微小而确定的幸福，如春日微风轻拂面庞，所有的疲惫与烦恼都能被温柔以待，内心永远充盈着安宁与慰藉。

        至此，文章已至尾声，而您的故事仍在续写，不知您对文中所叙有何独特见解？期待您在心中与我对话，开启思想的新交流。

---

----------- 业精于勤，荒于嬉 -----------

----------- 行成于思，毁于随 -----------

---

---

     💞 关注博主 带你实现畅游前后端

     🏰 大屏可视化 带你体验酷炫大屏

     💯 神秘个人简介 带你体验不一样得介绍

     🎀 酷炫邀请函 带你体验高大上得邀请

---

     ① 🉑提供云服务部署；
     ② 🉑提供前端、后端、应用程序、H5、小程序、公众号等相关业务；
     ③ 🉑提供产品测评，产品推广业务；
     如🈶合作请联系我，期待您的联系。
    注：本文撰写于CSDN平台,作者：xcLeigh（所有权归作者所有） ，https://xcleigh.blog.csdn.net/，如果相关下载没有跳转，请查看这个地址，相关链接没有跳转，皆是抄袭本文，转载请备注本文原地址。

---

     亲，码字不易，动动小手，欢迎 点赞 ➕ 收藏，如 🈶 问题请留言（评论），博主看见后一定及时给您答复，💌💌💌

---

原文地址：https://xcleigh.blog.csdn.net/article/details/147002576（防止抄袭，原文地址不可删除）