VTK知识学习（37）-频域处理

1、前言

        在图像处理和分析中，经常会将图像从图像空间转换到其他空间中，并利用这些空间的性质对转换后的数据进行分析处理。图像频域处理借助空间变换将图像从图像空间转换到频域空间，根据频域空间的性质对数据进行处理(如滤波)，最后通过空间变换将处理后的数据变换至图像空间。最常用的频域转换是傅里叶变换。傅里叶变换的计算量较大，人们为了提高速度，提出了快速傅里叶变换。该变换得到了广泛应用。

2、快速傅里叶变换

1）概述

        快速傅里叶变换(Fast Fourier Transform，FFT)是根据离散傅里叶变换的奇、偶、虚、实等特性，对离散傅里叶变换的算法进行改进获得的。FFT是可逆的,其逆变换为RFFT。FFT在数字图像处理中有着广泛的应用，例如数字图像频域滤波、去噪、增强等。在 VTK中 FFT和 RFFT这两种变换都已经实现，对应的类分别为vtkImageFFT和vtkImageRFFT。vtkmageFFT 和 vtkmageRFFT 的输入为实数或复数数据，输出均为复数数据。因此，vtkImageFFT与 vtklmageRFFT的输出结果不能直接显示，因为 VTK 会将其当作彩色图像显需要通过 vtkmageExtractComponents 类提取某一组分进行图像显示。

2）代码

private void TestFFTAndRFFT()
{//读取图像vtkJPEGReader reader = vtkJPEGReader.New();reader.SetFileName("F:\\code\\VTK\\TestActiViz\\data\\lena-gray.jpg");reader.Update();//进行二维快速傅里叶变换vtkImageFFT fftFilte = vtkImageFFT.New();fftFilte.SetInputConnection(reader.GetOutputPort());fftFilte.SetDimensionality(2);fftFilte.Update();//提取某一组分图像进行显示vtkImageExtractComponents fftExtractReal = vtkImageExtractComponents.New();fftExtractReal.SetInputConnection(fftFilte.GetOutputPort());fftExtractReal.SetComponents(0); //指定提取实部图像//转换数据类型为unsigned chardouble[] range = fftExtractReal.GetOutput().GetScalarRange();vtkImageShiftScale shiftScale = vtkImageShiftScale.New();shiftScale.SetOutputScalarTypeToUnsignedChar();shiftScale.SetScale(255 / (range[1] - range[0]));shiftScale.SetShift(-range[0]);shiftScale.SetInputConnection(fftExtractReal.GetOutputPort());shiftScale.Update();vtkImageRFFT rfftFilter = vtkImageRFFT.New();rfftFilter.SetInputConnection(fftFilte.GetOutputPort());rfftFilter.SetDimensionality(2);rfftFilter.Update();vtkImageExtractComponents ifftExtractReal = vtkImageExtractComponents.New();ifftExtractReal.SetInputConnection(rfftFilter.GetOutputPort());ifftExtractReal.SetComponents(0);vtkImageCast rfftCastFilter = vtkImageCast.New();rfftCastFilter.SetInputConnection(ifftExtractReal.GetOutputPort());rfftCastFilter.SetOutputScalarTypeToUnsignedChar();rfftCastFilter.Update();ShowImageBy3(reader.GetOutput(), shiftScale.GetOutput(), rfftCastFilter.GetOutput());
}

3）效果

4）说明

        首先定义一个 vtkImageFFT 对象，用于接收reader 的输出，进行二维快速傅里叶变换。其输出为一个像素类型为复数的 vtkImageData 数据，即每个像素值为两个组分:复数的实部和虚部。因此如果直接显示这个 vtkImageData 数据，会发现是一幅彩色图像。如果需要显示频域图像，需要通过 vklmageExtractComponents 类来提取某一个组分图像再进行显示。示例定义 vtklmageExtractComponents 类对象，利用函数 SetComponents(0)指定提取实部图像显示;由于 vtkmageActor 类仅支持unsigned char 数据类型的图像，利用 vtkImageCast 类的SetOutputScalarTypeToUnsignedChar()指定输出类型为unsigned char，将FFT 结果图像转换为
需要的类型。

        逆变换的过程也与此类似:首先定义vkImageRFFT对象，并接受输入为tkmageFFT对象的输出，执行 Update()完成快速傅里叶逆变换。vtkImageRFFT的输出同样为一幅复数图像，通常不能直接显示或者进行其他操作。快速傅里叶逆变换的图像中虚数部分值为0，实数部分图像即为重建的原始图像，因此再次利用vkImageExtractComponents 类提取实数部分图像，并通过 vtkImageCast的 SetOutputScalarTypeToUnsignedChar()将图像转换为 unsigned char类型进行显示。

        图像通过 FFT 变换到频域空间后，可以通过改变不同的频率分量来对图像进行处理。图像频域处理的步骤为:先将空域图像通过FFT变换到频域图像，设计一个滤波器对不同频率的频域分量进行处理:再将处理后的频域图像通过 RFFT变换回空域中，得到处理后的图像。

        VTK频率域的图像处理步骤：

        滤波器的设计需要根据具体需求来选择，主要分为低通滤波器和高通滤波器。

3、理想低通滤波器

1）概述

        低通滤波是将频域图像中的高频部分滤除而保留低频部分。图像的边缘和噪声对应于频域图像中的高频部分，而低通滤波的作用即是减弱这部分的能量，从而达到图像平滑去噪的目的。最简单的低通滤波器是理想低通滤波器，其基本思想是给定一个频率阈值，将高于该阈值的所有部分设置为0，而低于该频率的部分保持不变。这里的“理想”是指该滤波器不能用电子元器件来实现，但是可以通过计算机来模拟。

2）代码

private void TestIdealLowPass()
{//读取图像vtkJPEGReader reader = vtkJPEGReader.New();reader.SetFileName("F:\\code\\VTK\\TestActiViz\\data\\lena-gray.jpg");reader.Update();//将图像转换到频域空间vtkImageFFT fftFilter = vtkImageFFT.New();fftFilter.SetInputConnection(reader.GetOutputPort());fftFilter.Update();//对频域图像做理想低能滤波，需要设置每个方向的截断频率vtkImageIdealLowPass lowPassFilter = vtkImageIdealLowPass.New();lowPassFilter.SetInputConnection(fftFilter.GetOutputPort());lowPassFilter.SetXCutOff(0.05);lowPassFilter.SetYCutOff(0.05);lowPassFilter.Update();//将处理后的频域图像转换成空域图像 转换后图像的每个像素都是一个复数 vtkImageRFFT rfftFilter = vtkImageRFFT.New();rfftFilter.SetInputConnection(lowPassFilter.GetOutputPort());rfftFilter.Update();//将图像的第一个分量提取出来显示，否则图像不能正确显示。vtkImageExtractComponents ifftExtractReal = vtkImageExtractComponents.New();ifftExtractReal.SetInputConnection(rfftFilter.GetOutputPort());ifftExtractReal.SetComponents(0);//将double类型转换为 unsigned char类型vtkImageCast castFilter = vtkImageCast.New();castFilter.SetInputConnection(ifftExtractReal.GetOutputPort());castFilter.SetOutputScalarTypeToUnsignedChar();castFilter.Update();ShowImageBy2(reader.GetOutput(), castFilter.GetOutput());
}

3）效果

4）说明

        先通过 vtkImageFFT将图像转换到频域空间。vtkImageldealLowPass 对频域图像做理想低通滤波，需要用户设置每个方向的截断频率，相应的设置函数为 SetXCutOff()和 SetYCutOff()。执行完毕，需要通过 vtkImageRFFT将处理后的频域图像转换成空域图像。需要注意的是，转换后图像的每个像素都是一个复数，需要用vtkImageExtractComponents 将该图像的第一个分量提取出来显示，否则图像不能正确显示。由于傅里叶变换输入和输出的数据类型都是 double，为了方便显示，还需将其转换为unsigned char 类型(这里由 vtkImageCast 类负责类型转换)。

        从结果看，在过滤掉图像的高频部分后，图像变得模糊，丢失了许多细节，另外还可以看到理想低通滤波后图像会存在一定的振铃效应这也是理想低通滤波的特点。

4、巴特沃斯低通滤波

1）概述

        在实际应用中，经常使用的低通滤波器是巴特沃斯滤波器。巴特沃斯滤波器对应的转移函数(可以看作一个系数矩阵)是

                
        其中，D(u,v)表示频域点(u,v)到频域图像原点的距离，D0为截止频率，当 D(u,v)=D0 时，H(u,v)=0.5，即对应的频域能量将为原来的一半。因为巴特沃斯低通滤波器在高低频间的过渡平滑，因此不会出现明显的振铃效应。

        VTK中实现巴特沃斯低通滤波器的类是vtkImageButterworthLowPass。
 

2）代码

        

private void TestButterworthLow()
{//读取图像vtkJPEGReader reader = vtkJPEGReader.New();reader.SetFileName("F:\\code\\VTK\\TestActiViz\\data\\lena-gray.jpg");reader.Update();//将图像转换到频域空间vtkImageFFT fftFilter = vtkImageFFT.New();fftFilter.SetInputConnection(reader.GetOutputPort());fftFilter.Update();vtkImageButterworthLowPass lowPassFilter = vtkImageButterworthLowPass.New();lowPassFilter.SetInputConnection(fftFilter.GetOutputPort());lowPassFilter.SetXCutOff(0.05);lowPassFilter.SetYCutOff(0.05);lowPassFilter.Update();//将处理后的频域图像转换成空域图像 转换后图像的每个像素都是一个复数 vtkImageRFFT rfftFilter = vtkImageRFFT.New();rfftFilter.SetInputConnection(lowPassFilter.GetOutputPort());rfftFilter.Update();//将图像的第一个分量提取出来显示，否则图像不能正确显示。vtkImageExtractComponents ifftExtractReal = vtkImageExtractComponents.New();ifftExtractReal.SetInputConnection(rfftFilter.GetOutputPort());ifftExtractReal.SetComponents(0);//将double类型转换为 unsigned char类型vtkImageCast castFilter = vtkImageCast.New();castFilter.SetInputConnection(ifftExtractReal.GetOutputPort());castFilter.SetOutputScalarTypeToUnsignedChar();castFilter.Update();ShowImageBy2(reader.GetOutput(), castFilter.GetOutput());
}

3）效果

4）说明

        vtklmageButterworthLowPass 的使用方法与理想低通滤波器一样，为了便于比较，在设置X和Y方向的截止频率时，应与理想低通滤波器的设置保持一致。

        从结果来看，巴特沃斯低通滤波器产生的图像更为平滑，不会出现振铃现象。

5、理想高通滤波器

1）概述

        高通滤波与低通滤波正好相反，是让频域图像的高频部分通过而抑制低频部分。图像的边缘对应高频分量，因此高通滤波的效果是图像锐化。同样，最简单的高通滤波器是理想高通滤波器。其基本思想是通过设置一个频率阈值，让高于该值的频率部分通过，而低于阈值的低频部分设置为0。

2）代码

private void TestIdealHighPass()
{//读取图像vtkJPEGReader reader = vtkJPEGReader.New();reader.SetFileName("F:\\code\\VTK\\TestActiViz\\data\\lena-gray.jpg");reader.Update();//将图像转换到频域空间vtkImageFFT fftFilter = vtkImageFFT.New();fftFilter.SetInputConnection(reader.GetOutputPort());fftFilter.Update();vtkImageIdealHighPass lowPassFilter = vtkImageIdealHighPass.New();lowPassFilter.SetInputConnection(fftFilter.GetOutputPort());lowPassFilter.SetXCutOff(0.1);lowPassFilter.SetYCutOff(0.1);lowPassFilter.Update();//将处理后的频域图像转换成空域图像 转换后图像的每个像素都是一个复数 vtkImageRFFT rfftFilter = vtkImageRFFT.New();rfftFilter.SetInputConnection(lowPassFilter.GetOutputPort());rfftFilter.Update();//将图像的第一个分量提取出来显示，否则图像不能正确显示。vtkImageExtractComponents ifftExtractReal = vtkImageExtractComponents.New();ifftExtractReal.SetInputConnection(rfftFilter.GetOutputPort());ifftExtractReal.SetComponents(0);//将double类型转换为 unsigned char类型vtkImageCast castFilter = vtkImageCast.New();castFilter.SetInputConnection(ifftExtractReal.GetOutputPort());castFilter.SetOutputScalarTypeToUnsignedChar();castFilter.Update();ShowImageBy2(reader.GetOutput(), castFilter.GetOutput());
}

3）效果

4）说明

        同低通滤波一样，通过 SetXCutOff()和 SetYCutOff()设置X和Y方向的截止频率。

        从结果可以看出，理想高通滤波后图像得到锐化处理图像仅剩下边缘。

6、巴特沃斯高通滤波器

1）概述

        理想高通滤波器不能通过电子元器件来实现，而且存在振铃现象。在实际应用中，最常使用的高通滤波器是巴特沃斯高通滤波器。该滤波器的转移函数为

                ​​​​​​​
        D(u,v)表示频域中点到频域平面的距离，D。是截止频率。当 D(u,v)大于 D。时，对应的H(u,v)逐渐接近 1，从而使得高频部分得以通过;而当 D(u,v)小于 D。时，H(u,v)逐渐接近 0,实现低频部分过滤。巴特沃斯高通滤波器在 VTK中对应的类是 vtklmageButterworthHighPass类。

2）代码

private void TestButterworthHigh(){//读取图像vtkJPEGReader reader = vtkJPEGReader.New();reader.SetFileName("F:\\code\\VTK\\TestActiViz\\data\\lena-gray.jpg");reader.Update();//将图像转换到频域空间vtkImageFFT fftFilter = vtkImageFFT.New();fftFilter.SetInputConnection(reader.GetOutputPort());fftFilter.Update();vtkImageButterworthHighPass lowPassFilter = vtkImageButterworthHighPass.New();lowPassFilter.SetInputConnection(fftFilter.GetOutputPort());lowPassFilter.SetXCutOff(0.05);lowPassFilter.SetYCutOff(0.05);lowPassFilter.Update();//将处理后的频域图像转换成空域图像 转换后图像的每个像素都是一个复数 vtkImageRFFT rfftFilter = vtkImageRFFT.New();rfftFilter.SetInputConnection(lowPassFilter.GetOutputPort());rfftFilter.Update();//将图像的第一个分量提取出来显示，否则图像不能正确显示。vtkImageExtractComponents ifftExtractReal = vtkImageExtractComponents.New();ifftExtractReal.SetInputConnection(rfftFilter.GetOutputPort());ifftExtractReal.SetComponents(0);//将double类型转换为 unsigned char类型vtkImageCast castFilter = vtkImageCast.New();castFilter.SetInputConnection(ifftExtractReal.GetOutputPort());castFilter.SetOutputScalarTypeToUnsignedChar();castFilter.Update();ShowImageBy2(reader.GetOutput(), castFilter.GetOutput());}

3）效果