CN111311529B - 基于反卷积网络和引导滤波的医学图像融合方法 - Google Patents
基于反卷积网络和引导滤波的医学图像融合方法 Download PDFInfo
- Publication number
- CN111311529B CN111311529B CN202010074946.8A CN202010074946A CN111311529B CN 111311529 B CN111311529 B CN 111311529B CN 202010074946 A CN202010074946 A CN 202010074946A CN 111311529 B CN111311529 B CN 111311529B
- Authority
- CN
- China
- Prior art keywords
- image
- fused
- medical
- low
- frequency characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 29
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 7
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 238000010586 diagram Methods 0.000 claims description 85
- 238000013528 artificial neural network Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000002068 genetic effect Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于反卷积网络和引导滤波的医学图像融合方法,主要解决现有技术融合图像分辨率低的问题,其实现方案为:获取待融合的两幅医学图像;构造空域中的低、高通滤波器,并替换反卷积网络原本的随机化滤波器,得到初始化后的反卷积网络;对初始化后的反卷积网络进行训练,并获得待融合医学图像的低、高频特征图;优化引导滤波器的参数,对待融合医学图像的低、高频特征图进行滤波,得到待融合图像低、高频特征图的重定义权重图;加权融合这两种特征图的重定义权重图,得到融合后的低、高频特征图;将融合后的低、高频特征图输入到训练后的反卷积网络中,得到医学融合图像。本发明提高了融合图像的分辨率,可用于对医学图像的处理。
Description
技术领域
本发明属于图像处理技术领域,主要涉及一种医学图像融合方法,可用于临床中对图像的分析与处理。
背景技术
医学CT图像和MRI图像用于医疗诊断,主要为了确定病变区域,对病变区域有效且精确的定位。CT图像对人体骨骼成像较好,但软组织可见能力却不高,MRI图像在神经***、软组织等区域成像较好,但对骨骼却无法成像。CT图像和MRI图像的融合图像能够将两种成像方式的优势集中起来,为医疗工作者提供诊断参考依据。
反卷积神经网络是由Zeiler等人在过去几年间提出和改进的一种使用无监督且自适应训练方式的网络。反卷积神经网络是可采用推断分解手段建立层级图像表示的一种架构。这些分层特征图像包含了低、中、高等全尺度的信息,同时这些分层特征图像也能够重构回输入图像。反卷积神经网络与卷积神经网络的相同之处在于都存在卷积和池化运算,其思想大体相似,不同之处在于卷积神经网络是执行输入图像和滤波器从底层到上层的卷积运算,实现获取上层的特征图。而反卷积神经网络中特征图与滤波器的卷积是从顶层向下层依次实施的。
图像滤波的应用很广泛,在计算机视觉和图形学中都有所涉及,它可以减少图像中的噪声,或者提取出图像中有用的结构。线性平移不变滤波器的内核在空间上是不变的,并且与图像的内容无关,但是在很多情况下,需要在对图像滤波的过程中包含给定引导图像的信息,双边滤波器可以起到平滑作用并保留图像边缘,但在图像边缘附近可能会出现梯度反转。2010年,何凯明首次提出引导滤波器的概念,引导滤波器作为一种保边滤波器,它的滤波器核能够根据图像内容进行改变,在滤除图像噪声的同时还能保留图像的边缘信息和细节信息,并且克服了双边滤波器存在的缺点,算法复杂度低,效率较高,因此引导滤波应用于图像融合中能取得较好的结果。
2018年,申请公布号为CN108596222A,名称为“基于反卷积神经网络的图像融合方法”的专利申请,该方法先设置反卷积神经网络;获取训练样本集;用训练样本集对反卷积神经网络进行训练;用训练好的反卷积神经网络推断待融合图像的特征图;对待融合图像的特征图进行融合;用融合后的特征图和训练好的反卷积神经网络中的滤波器进行卷积求和,获得融合图像。然而,在反卷积神经网络训练过程中,由于所使用的是随机滤波器,无法针对性的获得各个频率的特征图,并且使用所有待融合图像对滤波器进行训练,导致不同内容的图像所得到的滤波器特性均相同,无法根据不同的图像内容对滤波器进行调整,融合图像分辨率低,评价参数低。
2017年,公开号为107194902A,名称为“图像融合中自动确定引导滤波器参数的方法”,公开了一种图像融合中自动确定引导滤波器参数的方法,该方法首先通过遍历调整参数ε的中间变化指数a',得到调整参数εa',并将其代入引导滤波方程,再将此引导滤波器方程用于图像融合,并将融合图像的评价参数收敛时εa'的值作为最佳调整参数;其次,以步长为1,遍历窗口半径r的值,代入引导滤波方程,并将此引导滤波器方程用于图像融合,得到融合后图像的评价参数曲线C(r),评价参数曲线C(r)的最值点时对应的r的值即为最佳的窗口半径rb。然而通过遍历的方法寻找最优解的效率较为低下,时间复杂度较高。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷,提出一种基于反卷积网络和引导滤波的医学图像融合方法,以根据图像内容对滤波器进行调整,提高融合图像的分辨率低和评价参数,并提高引导滤波器参数优化的效率。
为实现上述目的,本发明的技术方案包括如下步骤:
(1)从数据库中选取对同一部位拍摄的一幅CT图像和一幅MRI图像作为待融合医学图像;
(2)初始化反卷积神经网络:
(2a)构造低通滤波器和高通滤波器,即一个低通巴特沃斯滤波器和三个高通巴特沃斯滤波器;
(2b)用已构造的通滤波器和高通滤波器替换反卷积神经网络原本的随机化滤波器,得到初始化后的反卷积神经网络;
(3)获取待融合医学图像的低频特征图和高频特征图:
(3a)将获取的一幅待融合CT图像和一幅待融合MRI图像输入到初始化反卷积神经网络中;
(3b)保持初始化后的反卷积神经网络的滤波器不变,初始化待融合CT图像和待融合MRI图像的特征图并不断对其进行调整,计算特征图与滤波器重构得到的图像与其对应的原图像之间的重构误差,重构误差最小时,得到待融合CT图像和MRI图像的最优特征图;
(3c)保持最优特征图不变,不断改变反卷积神经网络中的滤波器,计算最优特征图与滤波器重构得到的图像与其对应的原图像之间的重构误差,重构误差最小时,得到已完成滤波器学习的反卷积神经网络;
(3d)将这幅待融合CT图像和这幅待融合MRI图像,再输入到已完成滤波器学习的反卷积神经网络中,分解获得待融合医学图像低频特征图和高频特征图;
(4)应用引导滤波融合规则分别对医学图像的低频特征图和高频特征图进行融合;
(4a)利用遗传算法优化引导滤波器的窗口半径r,获得引导滤波器最佳窗口半径rb:
设遗传优化算法的适应度函数为:其中,σ(r)为在窗口半径r处融合后图像的标准差,σ(1)为r=1时融合后图像的标准差,为r处融合后图像的平均梯度,为r=1时融合后图像的平均梯度,ES(r)为r处融合后图像的边缘强度,ES(1)为r=1时融合后图像的边缘强度r的取值范围为1至M为引导滤波器引导图像在行方向上的像素个数,N为引导滤波器引导图像在列方向上的像素个数;
计算C(r)的最大值,此时r的值即为引导滤波器最佳窗口半径rb;
(4b)判断待融合医学CT图像低频特征图在每个像素点上的值是否大于待融合医学MRI图像低频特征图对应像素点位置上的值:
若是,则将1作为对应像素点位置的低频特征图的第一权重图W1L,
否则,则将1作为对应像素点位置的低频特征图的第二权重图W2L,其余像素点的值均为0;
(4c)判断待融合医学CT图像高频特征图在每个像素点上的值是否大于待融合医学MRI图像高频特征图对应像素点位置上的值:
若是,则将1作为对应像素点位置的高频特征图的第一权重图W1H,
否则,将1作为对应像素点位置的高频特征图的第二权重图W2H,其余像素点的值均为0;
(4d)计算待融合医学CT图像低频特征图的方差σ1L和待融合医学MRI图像低频特征图的方差σ2L,设置引导滤波器的低频调整参数为εl1=σ1L×σ2L×10-20,最佳窗口半径为rb,利用引导滤波器分别对低频特征图的第一权重图W1L和第二权重图W2L进行滤波,得到待融合医学图像低频特征图的第一重定义权重图M1L和第二重定义权重图M2L;
(4e)计算待融合医学CT图像高频特征图的方差σ1H和待融合医学MRI图像高频特征图的方差σ2H,设置引导滤波器的高频调整参数为εl2=σ1H×σ2H×10-20,引导滤波器的窗口半径为rb,利用引导滤波器分别对待融合医学图像高频特征图的第一权重图W1H和第二权重图W2H进行滤波,得到待融合医学图像高频特征图的第一重定义权重图M1H和第二重定义权重图M2H;
(4f)对待融合医学图像低频特征图的第一重定义权重图、第二重定义权重图和低频特征图进行加权融合,得到融合后的低频特征图;
(4g)对待融合医学图像高频特征图的第一重定义权重图、第二重定义权重图和高频特征图进行加权融合,得到融合后的高频特征图;
(5)将融合后的低频特征图和高频特征图输入到已完成学习的反卷积神经网络中,重构得到医学融合图像。
本发明与现有的技术相比,具有以下优点:
第一,本发明设计不同截止频率的滤波器,应用于反卷积神经网络中,且在网络训练时根据图像内容获得最优截止频率滤波器,相比现有技术使用随机滤波器,得到的融合图像更具有频率针对性。
第二,本发明训练滤波器时使用两幅同一部位拍摄的待融合图像,而不再是使用传统的训练集,获得的训练后滤波器更能切合待融合图像的特征,可保留待融合图像的特性。
第三,本发明应用遗传优化算法对引导滤波器的参数进行优化,消除了现有技术中引导滤波器参数优化速度过慢的缺点。
附图说明
图1是本发明的实现总流程图;
图2是本发明中用引导滤波融合医学图像特征图的子流程图;
图3是本发明实施例采用的两幅待融合医学图像;
图4为用现有技术对图3进行医学融合的仿真结果图;
图5为用本发明对图3进行医学融合的仿真结果图。
具体实施方式
下面结合附图对本发明的具体实施例作和效果进一步详细描述。
参照图1,本实例的实施步骤如下:
步骤1,获取待融合医学图像。
从数据库中选取对同一部位拍摄的一幅CT图像和一幅MRI图像作为待融合医学图像,如图3所示,其中图3(a)为对脑部同一部位拍摄的医学图像,为灰度的电子计算机断层扫描图像CT图像,图3(b)为对脑部同一部位拍摄的医学图像,为灰度的核磁共振图像MRI图像。
步骤2,初始化反卷积神经网络。
(2.1)构造低通滤波器和高通滤波器,即一个低通巴特沃斯滤波器和三个高通巴特沃斯滤波器:
(2.1.1)利用巴特沃斯低通滤波器和高通滤波器的传递函数计算得到时域中的低通滤波器L(u,v)和高通滤波器H(u,v):
其中,u和v为频域平面的横方向和纵方向坐标位置,D(u,v)为频率点(u,v)到频率原点的像素距离,D0为截止频率,n为滤波器阶数;
本实例采用一个低通滤波器,三个高通滤波器,每个滤波器的大小均为5*5,阶数n=4;
(2.1.2)对时域中的低通滤波器和高通滤波器进行二维逆傅里叶变换,得到低通滤波器和高通滤波器,该滤波器的截止频率以小波变换的主要频率π/2和π/2为基准,设置不同的截止频率组合,共15组,如下表1所示:
表1低通滤波器和高通滤波器截止频率组合
组数 | 低通截止频率 | 高通截止频率 |
1 | π/8 | π/8 |
2 | π/4 | π/4 |
3 | π/2 | π/2 |
4 | 5π/8 | 5π/8 |
5 | 3π/4 | 3π/4 |
6 | π/8 | π/4 |
7 | π/8 | π/2 |
8 | π/8 | 5π/8 |
9 | π/8 | 3π/4 |
10 | π/4 | π/2 |
11 | π/4 | 5π/8 |
12 | π/4 | 3π/4 |
13 | π/2 | 5π/8 |
14 | π/2 | 3π/4 |
15 | 5π/8 | 3π/4 |
(2.2)用已构造低通滤波器和高通滤波器替换反卷积神经网络原本的随机化滤波器,得到初始化后的反卷积神经网络。
步骤3,获取待融合医学图像的低频特征图和高频特征图。
(3.1)将获取的一幅待融合CT图像和一幅待融合MRI图像输入到初始化反卷积神经网络中;
(3.2)保持初始化后的反卷积神经网络的滤波器不变,初始化待融合CT图像和待融合MRI图像的特征图并不断对其进行调整,计算特征图与滤波器重构得到的图像与其对应的原图像之间的重构误差,重构误差最小时,得到待融合CT图像和MRI图像的最优特征图;
(3.3)保持最优特征图不变,不断改变反卷积神经网络中的滤波器,计算最优特征图与滤波器重构得到的图像与其对应的原图像之间的重构误差,重构误差最小时,得到已完成滤波器学习的反卷积神经网络;
(3.4)将一幅待融合CT图像和一幅待融合MRI图像,再输入到已完成滤波器学习的反卷积神经网络中,分解得到待融合医学图像低频特征图和高频特征图。
步骤4,利用遗传算法优化引导滤波器的窗口半径r,获得引导滤波器最佳窗口半径rb。
(4.1)设遗传优化算法的适应度函数为:
其中,σ(r)为在窗口半径r处融合后图像的标准差,计算公式为:
σ(1)为r=1时融合后图像的标准差;
式中,Sx(i,j)和Sy(i,j)分别表示医学融合图像在(i,j)处行方向和列方向的Sobel算子:
ES(r)为r处融合后图像的边缘强度,计算公式为:
式中,HOE(i,j),VOE(i,j),DOE(i,j),BOE(i,j)分别是医学融合图像在水平、垂直、对角线和反对角线上的一阶偏导数,定义如下:
HOE(i,j)=|Bi-1,j+1+2Bi,j+1+Bi+1,j+1-Bi-1,j-1-2Bi,j-1-Bi+1,j-1|/4
VOE(i,j)=|Bi+1,j-1+2Bi+1,j+Bi+1,j+1-Bi-1,j-1-2Bi-1,j-Bi-1,j+1|/4
DOE(i,j)=|2Bi-1,j-1+Bi-1,j+Bi,j-1-2Bi+1,j+1-Bi,j+1-Bi+1,j|/4
NOE(i,j)=|2Bi-1,j+1+Bi-1,j+Bi,j+1-2Bi+1,j-1-Bi,j-1-Bi+1,j|/4。
ES(1)为r=1时融合后图像的边缘强度;
(4.2)计算C(r)的最大值,此时r的值即为引导滤波器最佳窗口半径rb。
步骤5,应用引导滤波融合规则对医学图像的低频特征图进行融合。
(5.1)判断待融合医学CT图像低频特征图在每个像素点上的值是否大于待融合医学MRI图像低频特征图对应像素点位置上的值:
若是,则将1作为对应像素点位置的低频特征图的第一权重图W1L,
否则,则将1作为对应像素点位置的低频特征图的第二权重图W2L,其余像素点的值均为0;
待融合医学图像特征图的低频特征图的第一权重图W1L和第二权重图W2L的表达式分别为:
其中,LCT表示待融合医学CT图像低频特征图,LMRI表示待融合医学MRI图像低频特征图;
(5.2)获取待融合医学图像低频特征图的第一重定义权重图M1L和第二重定义权重图M2L:
其中,X1表示待融合医学CT图像低频特征图的横方向上像素个数,Y1表示待融合医学CT图像低频特征图的列方向上像素个数,Ci,j表示待融合医学CT图像低频特征图在点(i,j)处的像素值;
(5.2.2)计算待融合医学CT图像低频特征图的方差σ1L:
其中,X2表示待融合医学MRI图像低频特征图的横方向上像素个数,Y2表示待融合医学MRI图像低频特征图的列方向上像素个数,Mi,j表示待融合医学MRI图像低频特征图在点(i,j)处的像素值;
(5.2.4)计算待融合医学MRI图像低频特征图的方差σ2L:
(5.2.5)设置引导滤波器的低频调整参数为εl1=σ1L×σ2L×10-20,最佳窗口半径为rb,将待融合医学图像低频特征图的第一权重图W1L作为引导滤波器的输入图像,将待融合医学CT图像低频特征图作为引导滤波器的引导图像,利用引导滤波器对输入图像和引导图像进行滤波,得到待融合医学图像低频特征图的第一重定义权重图M1L:
M1L=GL(W1L,HCT_L)
其中,GL表示低频引导滤波器,HCT_L为待融合医学CT图像低频特征图;
(5.2.6)将待融合医学图像低频特征图的第二权重图W2L作为引导滤波器的输入图像,将待融合医学MRI图像低频特征图作为引导滤波器的引导图像,利用引导滤波器对输入图像和引导图像进行滤波,得到待融合医学图像低频特征图的第二重定义权重图M2L:
M2L=GL(W2L,HMRI_H)
其中,HMRI_H为待融合医学MRI图像低频特征图;
(5.3)对待融合医学图像低频特征图的第一重定义权重图、第二重定义权重图和低频特征图进行加权融合,得到融合后的低频特征图:
LN=LCT×M1L+LMRI×M2L
其中,LN表示医学图像融合后的低频特征图,LCT表示待融合医学CT图像低频特征图,LMRI表示待融合医学MRI图像低频特征图,M1L表示待融合医学图像低频特征图的第一重定义权重图,M2L表示待融合医学图像低频特征图的第二重定义权重图。
步骤6,应用引导滤波融合规则对医学图像的高频特征图进行融合。
(6.1)判断待融合医学CT图像高频特征图在每个像素点上的值是否大于待融合医学MRI图像高频特征图对应像素点位置上的值:
若是,则将1作为对应像素点位置的高频特征图的第一权重图W1H,
否则,将1作为对应像素点位置的高频特征图的第二权重图W2H,其余像素点的值均为0;
待融合医学图像高频特征图的第一权重图W1H和第二权重图W2H的表达式分别为:
其中,HCT表示融合医学CT图像高频特征图,HMRI表示待融合医学MRI图像高频特征图;
(6.2)获取待融合医学图像高频特征图的第一重定义权重图M1H和第二重定义权重图M2H:
其中,M1表示待融合医学CT图像高频特征图的横方向上像素个数,N1表示待融合医学CT图像高频特征图的列方向上像素个数,Ti,j表示待融合医学CT图像高频特征图在点(i,j)处的像素值;
(6.2.2)计算待融合医学CT图像高频特征图的方差σ1H:
其中,M2表示待融合医学MRI图像高频特征图的横方向上像素个数,N2表示待融合医学MRI图像高频特征图的横方向上像素个数,Ri,j表示待融合医学MRI图像高频特征图在点(i,j)处的像素值;
(6.2.4)计算待融合医学MRI图像高频特征图的方差σ2H:
(6.2.5)设置引导滤波器的高频调整参数为εl2=σ1H×σ2H×10-20,引导滤波器的窗口半径为rb,将待融合医学图像高频特征图的第一权重图W1H作为引导滤波器的输入图像,将待融合医学CT图像高频特征图作为引导滤波器的引导图像,利用引导滤波器对输入图像和引导图像进行滤波,得到待融合医学图像高频特征图的第一重定义权重图M1H:
M1H=GH(W1H,HCT_H)
其中,GH表示高频引导滤波器,HCT_H为待融合医学CT图像高频特征图;
(6.2.6)将待融合医学图像高频特征图的第二权重图W2H作为引导滤波器的输入图像,将待融合医学MRI图像高频特征图作为引导滤波器的引导图像,利用引导滤波器对输入图像和引导图像进行滤波,得到待融合医学图像高频特征图的第二重定义权重图M2H:
M2H=GH(W2H,HMRI_H),
其中,HMRI_H为待融合医学MRI图像高频特征图;
(6.3)对待融合医学图像高频特征图的第一重定义权重图、第二重定义权重图和高频特征图进行加权融合,得到融合后的高频特征图;
HN=HCT×M1H+HMRI×M2H
其中,HN表示医学图像融合后的高频特征图,HCT表示待融合医学CT图像高频特征图,HMRI表示待融合医学MRI图像高频特征图,M1H表示待融合医学图像高频特征图的第一重定义权重图,M2H表示待融合医学图像高频特征图的第二重定义权重图。
步骤7,将融合后的低频特征图和高频特征图输入到已完成学习的反卷积神经网络中,重构得到医学融合图像。
下面结合仿真实验,对本发明的技术效果作进一步详细描述。
1.仿真条件和内容:
本发明的仿真实验采用的硬件测试平台是:处理器为Inter Core i7,主频为2.4GHz,内存8GB;软件平台为Windows 10 64位操作***、Matlab R2017b进行仿真测试。
2.仿真内容与结果:
仿真1,用现有技术小波变换方法对图3的CT图像和MRI图像进行融合仿真,结果如图4所示。
仿真2,用本发明对图3的CT图像和MRI图像进行融合仿真,结果如图5所示。
对比图4与图5可发现,本实施例的仿真结果图像分辨率更高,图像更清晰。
将本实施例医学融合图像与现有技术在三个评价参数上进行对比,评价参数分别为医学融合图像的标准差、平均梯度、边缘强度,分别计算本发明和现有技术医学融合图像的标准差、平均梯度、边缘强度,结果如表2所示。
表2医学融合图像评价参数表
由表2中可见,本发明所得的医学融合图像的标准差、平均梯度和边缘强度,三个评价参数与现有技术相比更高,说明本方法图像信息丰富,图像分辨率高,边缘信息更丰富,融合效果更好。
综上所述,本发明用于医学图像融合能够取得较好的融合结果,能更好的应用在临床医疗诊断中。
以上描述仅是本发明的一个具体实例,并未构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (8)
1.一种基于反卷积网络和引导滤波的医学图像融合方法,其特征在于,包括如下:
(1)从数据库中选取对同一部位拍摄的一幅CT图像和一幅MRI图像作为待融合医学图像;
(2)初始化反卷积神经网络:
(2a)构造低通滤波器和高通滤波器,即一个低通巴特沃斯滤波器和三个高通巴特沃斯滤波器;
(2b)用已构造的通滤波器和高通滤波器替换反卷积神经网络原本的随机化滤波器,得到初始化后的反卷积神经网络;
(3)获取待融合医学图像的低频特征图和高频特征图:
(3a)将获取的一幅待融合CT图像和一幅待融合MRI图像输入到初始化反卷积神经网络中;
(3b)保持初始化后的反卷积神经网络的滤波器不变,初始化待融合CT图像和待融合MRI图像的特征图并不断对其进行调整,计算特征图与滤波器重构得到的图像与其对应的原图像之间的重构误差,重构误差最小时,得到待融合CT图像和MRI图像的最优特征图;
(3c)保持最优特征图不变,不断改变反卷积神经网络中的滤波器,计算最优特征图与滤波器重构得到的图像与其对应的原图像之间的重构误差,重构误差最小时,得到已完成滤波器学习的反卷积神经网络;
(3d)将这幅待融合CT图像和这幅待融合MRI图像,再输入到已完成滤波器学习的反卷积神经网络中,分解获得待融合医学图像低频特征图和高频特征图;
(4)应用引导滤波融合规则分别对医学图像的低频特征图和高频特征图进行融合;
(4a)利用遗传算法优化引导滤波器的窗口半径r,获得引导滤波器最佳窗口半径rb:
设遗传优化算法的适应度函数为:其中,σ(r)为在窗口半径r处融合后图像的标准差,σ(1)为r=1时融合后图像的标准差,为窗口半径r处融合后图像的平均梯度,为r=1时融合后图像的平均梯度,ES(r)为窗口半径r处融合后图像的边缘强度,ES(1)为r=1时融合后图像的边缘强度,窗口半径r的取值范围为1至M为引导滤波器引导图像在行方向上的像素个数,N为引导滤波器引导图像在列方向上的像素个数;
计算C(r)的最大值,此时r的值即为引导滤波器最佳窗口半径rb;
(4b)判断待融合医学CT图像低频特征图在每个像素点上的值是否大于待融合医学MRI图像低频特征图对应像素点位置上的值:
若是,则将1作为对应像素点位置的低频特征图的第一权重图W1L,
否则,则将1作为对应像素点位置的低频特征图的第二权重图W2L,其余像素点的值均为0;
(4c)判断待融合医学CT图像高频特征图在每个像素点上的值是否大于待融合医学MRI图像高频特征图对应像素点位置上的值:
若是,则将1作为对应像素点位置的高频特征图的第一权重图W1H,
否则,将1作为对应像素点位置的高频特征图的第二权重图W2H,其余像素点的值均为0;
(4d)计算待融合医学CT图像低频特征图的方差σ1L和待融合医学MRI图像低频特征图的方差σ2L,设置引导滤波器的低频调整参数为εl1=σ1L×σ2L×10-20,最佳窗口半径为rb,利用引导滤波器分别对低频特征图的第一权重图W1L和第二权重图W2L进行滤波,得到待融合医学图像低频特征图的第一重定义权重图M1L和第二重定义权重图M2L;
(4e)计算待融合医学CT图像高频特征图的方差σ1H和待融合医学MRI图像高频特征图的方差σ2H,设置引导滤波器的高频调整参数为εl2=σ1H×σ2H×10-20,引导滤波器的窗口半径为rb,利用引导滤波器分别对待融合医学图像高频特征图的第一权重图W1H和第二权重图W2H进行滤波,得到待融合医学图像高频特征图的第一重定义权重图M1H和第二重定义权重图M2H;
(4f)对待融合医学图像低频特征图的第一重定义权重图、第二重定义权重图和低频特征图进行加权融合,得到融合后的低频特征图;
(4g)对待融合医学图像高频特征图的第一重定义权重图、第二重定义权重图和高频特征图进行加权融合,得到融合后的高频特征图;
(5)将融合后的低频特征图和高频特征图输入到已完成学习的反卷积神经网络中,重构得到医学融合图像。
3.根据权利要求1所述的方法,其特征在于,(4d)中计算待融合医学CT图像低频特征图的方差σ1L和待融合医学MRI图像低频特征图的方差σ2L,其实现如下:
其中,X1表示待融合医学CT图像低频特征图的横方向上像素个数,Y1表示待融合医学CT图像低频特征图的列方向上像素个数,Ci,j表示待融合医学CT图像低频特征图在点(i,j)处的像素值;
(4d2)计算待融合医学CT图像低频特征图的方差σ1L:
其中,X2表示待融合医学MRI图像低频特征图的横方向上像素个数,Y2表示待融合医学MRI图像低频特征图的列方向上像素个数,Mi,j表示待融合医学MRI图像低频特征图在点(i,j)处的像素值;
(4d4)计算待融合医学MRI图像低频特征图的方差σ2L:
4.根据权利要求1所述的方法,其特征在于,(4e)中计算待融合医学CT图像高频特征图的方差σ1H和待融合医学MRI图像高频特征图的方差σ2H,其实现如下:
其中,M1表示待融合医学CT图像高频特征图的横方向上像素个数,N1表示待融合医学CT图像高频特征图的列方向上像素个数,Ti,j表示待融合医学CT图像高频特征图在点(i,j)处的像素值;
(4e2)计算待融合医学CT图像高频特征图的方差σ1H:
其中,M2表示待融合医学MRI图像高频特征图的横方向上像素个数,N2表示待融合医学MRI图像高频特征图的横方向上像素个数,Ri,j表示待融合医学MRI图像高频特征图在点(i,j)处的像素值;
(4e4)计算待融合医学MRI图像高频特征图的方差σ2H:
5.根据权利要求1所述的方法,其特征在于,(4d)中利用引导滤波器分别对低频特征图的第一权重图W1L和第二权重图W2L进行滤波,其实现如下:
(4d1)将待融合医学图像低频特征图的第一权重图W1L作为引导滤波器的输入图像,将待融合医学CT图像低频特征图作为引导滤波器的引导图像,对输入图像和引导图像进行滤波,得到待融合医学图像低频特征图的第一重定义权重图M1L:
M1L=GL(W1L,HCT_L),
其中,GL表示低频引导滤波器,HCT_L为待融合医学CT图像低频特征图;
(4d2)将待融合医学图像低频特征图的第二权重图W2L作为引导滤波器的输入图像,将待融合医学MRI图像低频特征图作为引导滤波器的引导图像,对输入图像和引导图像进行滤波,得到待融合医学图像低频特征图的第二重定义权重图M2L:
M2L=GL(W2L,HMRI_H)
其中,HMRI_H为待融合医学MRI图像低频特征图。
6.根据权利要求1所述的方法,其特征在于,(4e)中利用引导滤波器分别对待融合医学图像高频特征图的第一权重图W1H和第二权重图W2H进行滤波,其实现如下:
(4e1)将待融合医学图像高频特征图的第一权重图W1H作为引导滤波器的输入图像,将待融合医学CT图像高频特征图作为引导滤波器的引导图像,对输入图像和引导图像进行滤波,得到待融合医学图像高频特征图的第一重定义权重图M1H:
M1H=GH(W1H,HCT_H)
其中,GH表示高频引导滤波器,HCT_H为待融合医学CT图像高频特征图;
(4e2)将待融合医学图像高频特征图的第二权重图W2H作为引导滤波器的输入图像,将待融合医学MRI图像高频特征图作为引导滤波器的引导图像,对输入图像和引导图像进行滤波,得到待融合医学图像高频特征图的第二重定义权重图M2H:
M2H=GH(W2H,HMRI_H)
其中,HMRI_H为待融合医学MRI图像高频特征图。
7.根据权利要求1所述的方法,其特征在于,(4f)中对待融合医学图像低频特征图的第一重定义权重图、第二重定义权重图和低频特征图进行加权融合,通过如下公式进行:
LN=LCT×M1L+LMRI×M2L
其中,LN表示医学图像融合后的低频特征图,LCT表示待融合医学CT图像低频特征图,LMRI表示待融合医学MRI图像低频特征图,M1L表示待融合医学图像低频特征图的第一重定义权重图,M2L表示待融合医学图像低频特征图的第二重定义权重图。
8.根据权利要求1所述的方法,其特征在于,(4g)中对待融合医学图像高频特征图的第一重定义权重图、第二重定义权重图和高频特征图进行加权融合,通过如下公式进行:
HN=HCT×M1H+HMRI×M2H
其中,HN表示医学图像融合后的高频特征图,HCT表示待融合医学CT图像高频特征图,HMRI表示待融合医学MRI图像高频特征图,M1H表示待融合医学图像高频特征图的第一重定义权重图,M2H表示待融合医学图像高频特征图的第二重定义权重图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010074946.8A CN111311529B (zh) | 2020-01-22 | 2020-01-22 | 基于反卷积网络和引导滤波的医学图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010074946.8A CN111311529B (zh) | 2020-01-22 | 2020-01-22 | 基于反卷积网络和引导滤波的医学图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111311529A CN111311529A (zh) | 2020-06-19 |
CN111311529B true CN111311529B (zh) | 2022-07-01 |
Family
ID=71145295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010074946.8A Active CN111311529B (zh) | 2020-01-22 | 2020-01-22 | 基于反卷积网络和引导滤波的医学图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111311529B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117952858B (zh) * | 2024-03-27 | 2024-06-11 | 中国人民解放军总医院第一医学中心 | 基于磁共振成像的脑电神经活动定位与分辨率增强方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648174A (zh) * | 2018-04-04 | 2018-10-12 | 上海交通大学 | 一种基于自动对焦技术的多层图像融合方法及*** |
CN108872991A (zh) * | 2018-05-04 | 2018-11-23 | 上海西井信息科技有限公司 | 目标物检测与识别方法、装置、电子设备、存储介质 |
CN110070518A (zh) * | 2019-03-15 | 2019-07-30 | 南京航空航天大学 | 一种基于双路径支持下的高光谱图像超分辨率制图方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2992357A4 (en) * | 2013-04-29 | 2017-01-18 | Nokia Technologies OY | A method and apparatus for fusing distance data from a distance sensing camera with an image |
-
2020
- 2020-01-22 CN CN202010074946.8A patent/CN111311529B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648174A (zh) * | 2018-04-04 | 2018-10-12 | 上海交通大学 | 一种基于自动对焦技术的多层图像融合方法及*** |
CN108872991A (zh) * | 2018-05-04 | 2018-11-23 | 上海西井信息科技有限公司 | 目标物检测与识别方法、装置、电子设备、存储介质 |
CN110070518A (zh) * | 2019-03-15 | 2019-07-30 | 南京航空航天大学 | 一种基于双路径支持下的高光谱图像超分辨率制图方法 |
Non-Patent Citations (2)
Title |
---|
《A new fusion model for classification of the lung diseases using genetic algorithm》;C.Bhuvaneswari et al;《Enyptian Informatics Journal》;20140606;全文 * |
《超分辨率图像重构算法的研究》;雷丽明;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090415(第2009年第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111311529A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Asha et al. | Multi-modal medical image fusion with adaptive weighted combination of NSST bands using chaotic grey wolf optimization | |
Ramlal et al. | An improved multimodal medical image fusion scheme based on hybrid combination of nonsubsampled contourlet transform and stationary wavelet transform | |
CN103942780B (zh) | 基于改进模糊连接度算法的丘脑及其子结构分割方法 | |
Zhou et al. | An iterative speckle filtering algorithm for ultrasound images based on bayesian nonlocal means filter model | |
CN113837974B (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
CN116993628B (zh) | 一种用于肿瘤射频消融引导的ct图像增强*** | |
CN106910179A (zh) | 基于小波变换的多模态医学图像融合方法 | |
CN109685814A (zh) | 基于mspcnn的胆囊结石超声图像全自动分割方法 | |
Wang et al. | Multimodal medical image fusion based on Gabor representation combination of multi-CNN and fuzzy neural network | |
CN113344810A (zh) | 基于动态数据分布的图像增强方法 | |
CN111311529B (zh) | 基于反卷积网络和引导滤波的医学图像融合方法 | |
CN115984157A (zh) | 一种基于分频域融合的多模态医学图像融合方法 | |
CN115546136A (zh) | 一种医学图像的图像处理方法、设备及装置 | |
Lepcha et al. | Multimodal medical image fusion based on pixel significance using anisotropic diffusion and cross bilateral filter | |
El-Shafai et al. | An efficient medical image deep fusion model based on convolutional neural networks | |
CN109389567B (zh) | 一种快速光学成像数据的稀疏滤波方法 | |
Kumar et al. | Spatial mutual information based detail preserving magnetic resonance image enhancement | |
Chandrashekar et al. | Assessment of non-linear filters for MRI images | |
Zhang et al. | Research on image fusion algorithm based on NSST frequency division and improved LSCN | |
Ben Gharsallah et al. | Phase congruency-based filtering approach combined with a convolutional network for lung CT image analysis | |
CN109903262B (zh) | 一种图像融合的方法、***及相关装置 | |
CN109377461B (zh) | 一种基于nsct的乳腺x射线图像自适应增强方法 | |
Mahapatra et al. | An optimal statistical feature‐based transformation function for enhancement of retinal images using adaptive enhanced leader particle swarm optimization | |
Fang et al. | Color endoscopic image enhancement technology based on nonlinear unsharp mask and CLAHE | |
CN106570837B (zh) | 基于高斯多尺度空间的脑组织mri图像偏移场校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |