当前位置：首页 > news >正文

从ground_truth mask中获取图像的轮廓图

news 来源：原创 2025/5/9 11:58:07

引言在图像取证领域，主要分为检测和定位两个方面。检测就是判断一张图片是否为伪造图，定位与传统意义上的语义分割任务相近，就是定位伪造像素的区域。如果单纯使用语义分割网络训练，只能获得次优解，而像多任务学习那样结合边缘检测的网络分支则可以实现较好的检测和定位效果。边缘检测就需要获取从ground_truth mask中获取图像的轮廓信息。在本文中主要讲解如何用open-cv 的built-in内置形态学函数获取轮廓图以及一篇文章IML-ViT: Benchmarking Image Manipulation Localization by Vision Transformer编写的代码获取轮廓图。

文章目录

一、Open-CV库获取edge mask
- 1.1 erosion操作
- 1.2 dilation操作
- 1.3 edge mask操作
- 1.4 open操作
- 1.5 close 操作
二、IML-ViT获取edge mask
- 2.1 核心操作详解
- 2.2 完整流程图展示
- 2.3完整代码展示

一、Open-CV库获取edge mask

要想从掩码图像（ground_truth mask）中获取edge mask，其实质就是对掩码图进行膨胀操作和腐蚀操作，然后用膨胀图减去腐蚀图就可以获得边缘掩码图。为让大家更好的了解腐蚀和膨胀是怎么实现的。本章将详细展示每个操作的可视化结果展示

1.1 erosion操作

（1）腐蚀操作函数

cv2.erode(src: UMat, kernel: UMat, iterations)

src:要求传入的图像
kernel:进行卷积运算的卷积核，一般长宽为奇数的全1矩阵
腐蚀操作实质就是用卷积核对二值掩码图像（白色为1，黑色为0）进行加法运算操作，当二值图像和卷积核覆盖区域都是1时值为1，否则值为0。

（2）操作样例

	raw_img = np.array(Image.open('./test_1.png'))imgs = [raw_img]kernel_sizes = [0]for i in range(3,13,2):kernel = np.ones((i,i),np.uint8)img_ero = cv2.erode(raw_img,kernel,iterations=1)imgs.append(img_ero)kernel_sizes.append(i)plt.subplot(2, 3, 1)plt.title('raw image')plt.imshow(imgs[0], cmap='gray')for i in range(1,6):plt.subplot(2,3,i+1)plt.title(f'kernel_size {kernel_sizes[i]}')plt.imshow(imgs[i],cmap='gray')plt.show()

在这里插入图片描述

卷积核越大，图像腐蚀的越严重，图像中小的白色区域变成黑色。

1.2 dilation操作

（1）膨胀操作函数

cv2.dilate(src: UMat, kernel: UMat, iterations)

src:要求传入的图像
kernel:进行卷积运算的卷积核，一般长宽为奇数的全1矩阵
膨胀操作则与腐蚀操作相反，实质就是用卷积核对二值掩码图像（白色为1，黑色为0）进行加法运算操作，当二值图像和卷积核覆盖区域只要有1时就为1。

（2）操作样例

	raw_img = np.array(Image.open('./test_1.png'))imgs = [raw_img]kernel_sizes = [0]for i in range(3,13,2):kernel = np.ones((i,i),np.uint8)img_dil = cv2.dilate(raw_img,kernel,iterations=1)imgs.append(img_dil)kernel_sizes.append(i)plt.subplot(2, 3, 1)plt.title('raw image')plt.imshow(imgs[0], cmap='gray')for i in range(1,6):plt.subplot(2,3,i+1)plt.title(f'kernel_size {kernel_sizes[i]}')plt.imshow(imgs[i],cmap='gray')plt.show()

在这里插入图片描述
卷积核越大，图像膨胀越严重，图像中白色区域范围变大。

1.3 edge mask操作

（1）轮廓图操作函数
获取二值掩码的轮廓区域，主要就是采用膨胀图减去腐蚀图

edge mask = dilate-erode

此外也可以直接采用形态梯度（Morphological Gradient）函数获取轮廓图

cv2.morphologyEx(raw_img,cv2.MORPH_GRADIENT,kernel)

（2）操作样例

    raw_img = np.array(Image.open('./test_1.png'))plt.subplot(1, 5, 1)plt.title('raw image')plt.imshow(raw_img, cmap='gray')kernel = np.ones((5, 5), np.uint8)img_erd = cv2.erode(raw_img,kernel,iterations=1)plt.subplot(1, 5, 2)plt.title(f'erode image')plt.imshow(img_erd, cmap='gray')img_dil = cv2.dilate(raw_img,kernel,iterations=1)plt.subplot(1, 5, 3)plt.title(f'dilate image')plt.imshow(img_dil, cmap='gray')edge_img = img_dil-img_erdplt.subplot(1, 5, 4)plt.title(f'edge image')plt.imshow(edge_img, cmap='gray')gradient_img = cv2.morphologyEx(raw_img,cv2.MORPH_GRADIENT,kernel)plt.subplot(1, 5, 5)plt.title('gradient image')plt.imshow(gradient_img, cmap='gray')plt.show()

在这里插入图片描述

1.4 open操作

（1）open操作函数
open操作主要用于去除噪声（椒盐噪声中的白色噪点），缺点是影响图像中的白色区域。具体操作是先进行腐蚀操作随后进行膨胀操作。

open = dilate(erode(src))

也可以直接使用以下命令

opening = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel)

(2)操作样例

	raw_img = np.array(Image.open('./test_1.png'))plt.subplot(1, 3, 1)plt.title('raw image')plt.imshow(raw_img, cmap='gray')kernel = np.ones((5, 5), np.uint8)img_erd = cv2.erode(raw_img,kernel,iterations=1)img_open = cv2.dilate(img_erd,kernel,iterations=1)plt.subplot(1, 3, 2)plt.title('open_e_d image')plt.imshow(img_open, cmap='gray')opening = cv2.morphologyEx(raw_img, cv2.MORPH_OPEN, kernel)plt.subplot(1, 3, 3)plt.title('open image')plt.imshow(opening, cmap='gray')plt.show()

在这里插入图片描述
(3)不同尺寸卷积核的open操作样例

	raw_img = np.array(Image.open('./test_1.png'))plt.subplot(2, 3, 1)plt.title('raw image')plt.imshow(raw_img, cmap='gray')imgs = [raw_img]kernel_sizes = [0]for i in range(3,13,2):kernel = np.ones((i,i),np.uint8)img_open = cv2.morphologyEx(raw_img, cv2.MORPH_OPEN, kernel)imgs.append(img_open)kernel_sizes.append(i)plt.subplot(2, 3, 1)plt.title('raw image')plt.imshow(imgs[0], cmap='gray')for i in range(1,6):plt.subplot(2,3,i+1)plt.title(f'kernel_size {kernel_sizes[i]}')plt.imshow(imgs[i],cmap='gray')plt.show()

在这里插入图片描述
卷积核越大，白色区域越小

1.5 close 操作

（1）close操作函数
close操作主要用于填充操作，缺点是影响图像中的黑色区域，会将非黑噪声区域当做噪声处理。具体操作是先进行膨胀操作随后进行腐蚀操作。

close = erode(dilate(src))

也可以直接使用以下命令

closing = cv2.morphologyEx(img, cv2.MORPH_CLOSE, kernel)

(2)操作样例

	raw_img = np.array(Image.open('./test_1.png'))plt.subplot(2, 3, 1)plt.title('raw image')plt.imshow(raw_img, cmap='gray')imgs = [raw_img]kernel_sizes = [0]for i in range(3,13,2):kernel = np.ones((i,i),np.uint8)img_close = cv2.morphologyEx(raw_img, cv2.MORPH_CLOSE, kernel)imgs.append(img_close)kernel_sizes.append(i)plt.subplot(2, 3, 1)plt.title('raw image')plt.imshow(imgs[0], cmap='gray')for i in range(1,6):plt.subplot(2,3,i+1)plt.title(f'kernel_size {kernel_sizes[i]}')plt.imshow(imgs[i],cmap='gray')plt.show()

在这里插入图片描述

二、IML-ViT获取edge mask

下面一边讲解核心代码操作流程，一边用示意图展示增强代码可解释性，代码具体细节大家可以阅读代码自己了解掌握，不做过多赘述。

2.1 核心操作详解

（1）对图像进行预处理，取值范围变成[0~1],原始图像预处理后的示意图如图(a)，像素1代表目标（用蓝色框）,像素0代表背景（用白色框）。
在这里插入图片描述
（2）对预处理后的图像image(取值范围0~1)，进行膨胀操作，核心代码语句

dilate = self._dilate(image, kernel_size=kernel_size)

（4）对1-org_image图像进行dilate膨胀操作等同于erosion腐蚀，结果图如图(d)所示。灰色框表示被腐蚀区域。

erosion = self._dilate(1 - image, kernel_size=kernel_size)

在这里插入图片描述
（5）腐蚀后的图-膨胀后的图，获取边缘信息。
但是对获取的边缘信息又进行三步处理：取绝对值、取反和+1操作，才可以获得想要的轮廓图。通过流程图可以让大家更直观了解每一步的结果

diff = -torch.abs(erosion - dilate) + 1

先进行erosion(d) - dilate(b)操作，结果如图(e)。灰色框为轮廓区域，‘-‘表示’-1’。

在这里插入图片描述
对结果图(e)取绝对值后取反变成(f),

对示意图(f)进行’+1’操作，相当于将轮廓区域变成1，其他区域为0。结果为示意图(g)

2.2 完整流程图展示

在这里插入图片描述

2.3完整代码展示

class EdgeGenerator(torch.nn.Module):"""generate the 'edge bar' for a 0-1 mask Groundtruth of a imageAlgorithm is based on 'Morphological Dilation and Difference Reduction'Which implemented with fixed-weight Convolution layer with weight matrix looks like a cross,for example, if kernel size is 3, the weight matrix is:[[0, 1, 0],[1, 1, 1],[0, 1, 0]]"""def __init__(self, kernel_size=3) -> None:super().__init__()self.kernel_size = kernel_sizedef _dilate(self, image, kernel_size=3):"""Doings dilation on the imageArgs:image (_type_): 0-1 tensor in shape (B, C, H, W)"""assert kernel_size % 2 == 1, "Kernel size must be odd"assert image.shape[2] > kernel_size and image.shape[3] > kernel_size, "Image must be larger than kernel size"# kernel = torch.zeros((1, 1, kernel_size, kernel_size))# kernel[0, 0, kernel_size // 2: kernel_size // 2 + 1, :] = 1# kernel[0, 0, :, kernel_size // 2: kernel_size // 2 + 1] = 1kernel = torch.ones((1, 1, kernel_size, kernel_size))kernel = kernel.float()# print(kernel)res = F.conv2d(image, kernel.view([1, 1, kernel_size, kernel_size]), stride=1, padding=kernel_size // 2)return (res > 0) * 1.0def _find_edge(self, image, kernel_size=3, return_all=False):"""Find 0-1 edges of the imageArgs:image (_type_): 0-1 ndarray in shape (B, C, H, W)"""image = torch.as_tensor(image).float()shape = image.shapeif len(shape) == 2:image = image.reshape([1, 1, shape[0], shape[1]])if len(shape) == 3:image = image.reshape([1, shape[0], shape[1], shape[2]])assert image.shape[1] == 1, "Image must be single channel"img = self._dilate(image, kernel_size=kernel_size)erosion = self._dilate(1 - image, kernel_size=kernel_size)diff = -torch.abs(erosion - img) + 1diff = (diff > 0) * 1.0# res = dilate(diff)diff = diff.numpy()if return_all:return diff, img, erosionelse:return diffdef forward(self, x, return_all=False):"""Args:image (_type_): 0-1 ndarray in shape (B, C, H, W)"""return self._find_edge(x, self.kernel_size, return_all=return_all)if __name__ == '__main__':img_path = r'./test_1.png'raw_img = np.array(Image.open('./test_1.png'))img = (raw_img>127)*1.0edge_generator = EdgeGenerator(kernel_size=5)edge, img_dilate, img_erosion = edge_generator(img[None,None,:,:],return_all=True)print(edge.shape)plt.imshow(edge[0,0],cmap='gray')plt.show()

文章目录

一、Open-CV库获取edge mask

1.1 erosion操作

1.2 dilation操作

1.3 edge mask操作

1.4 open操作

1.5 close 操作

二、IML-ViT获取edge mask

2.1 核心操作详解

2.2 完整流程图展示

2.3完整代码展示

相关文章：