CN112150564A - 基于深度卷积神经网络医学图像融合算法 - Google Patents
基于深度卷积神经网络医学图像融合算法 Download PDFInfo
- Publication number
- CN112150564A CN112150564A CN202010852509.4A CN202010852509A CN112150564A CN 112150564 A CN112150564 A CN 112150564A CN 202010852509 A CN202010852509 A CN 202010852509A CN 112150564 A CN112150564 A CN 112150564A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- layer
- algorithm
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 title claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 title claims description 17
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000007499 fusion processing Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000010845 search algorithm Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000005284 excitation Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 11
- 238000007500 overflow downdraw method Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000004088 simulation Methods 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度卷积神经网络医学图像融合算法。目前医学图像的融合方法很多,但在临床应用中还存在着许多尚未解决的技术难题。首先由于各种成像***的成像原理不同,其图像采集方式、格式以及图像的大小、质量、空间与时间特性都有很大差别。本发明包括如下步骤:输入CT图像和MRI图像,进行图像预处理操作;将两张图像进行归一化处理,将不同源的图像整合在同一像素级下;采用最佳的配准方法对图像进行配准处理,使用搜索算法,在搜索空间中找到使得相似性度量最优的解;将配准之后的子带图像进行像素级图像融合处理,将融合之后的子带图像通过多尺度Retinex算法进行特征提取增强。本发明用于基于深度卷积神经网络医学图像融合算法。
Description
技术领域:
本发明涉及医学图像融合技术领域,具体涉及一种基于深度卷积神经网络医学图像融合算法。
背景技术:
随着医学及计算机技术的发展,医学影像已经成为临床医生诊断、治疗或制定手术计划的一种常规的辅助手段,无论是疾病诊断、手术计划的确定与模拟,还是手术计划的实施与监控都离不开医学影像给出的准确的信息。不同的医学影像可以提供人体相关脏器和组织的不同信息,不同成像技术对人体同一解剖结构所得到的形态和功能信息往往是互为差异、互为补充的。因此,利用图像融合技术,可以对不同医学影像信息进行适当的集成,在一幅图像上同时表达来自多种成像源的信息,毫无疑问,融合得到的图像可以为临床医生对病灶的观察和对疾病的诊断提供更加直观、全面和清晰的判断依据,提高疾病诊断的准确性和正确性,也必将推动现代医学临床技术的进步。
图像融合就是将用不同方法获得的同一景物的图像(或用同-方法在不同时刻获得的图像)采用某种算法进行综合处理,以得到一个新的、满足要求的图像。通过将多个图像融合,可克服由单一图像带来的图像在几何、光谱和空间分辨率等方面存在的局限性和差异性,提高图像的质量,从而有利于对物理现象和事件定位、识别和解释。
医学影像学是临床诊断信息的重要来源之一。根据医学图像所提供的信息内涵,可将医学影像分为两大类:解剖结构图像(CT、MRI、B超等)和功能图像(SPECT、PET等)。它们为医学诊断提供了不同模态的图像,这些多模态的医学图像可以提供不同的医学信息,各有其优缺点:功能图像分辨率较差,但它提供的脏器功能代谢信息是解剖图像所不能替代的;解剖图像以高分辨率提供了脏器的解剖形态信息(功能图像无法提供脏器或病灶的解剖细节),但无法反映脏器的功能情况。如: CT图像具有很高的分辨力,骨骼成像非常清晰,对病灶的定位提供了良好的参照,但对病灶本身的显示就较差;MRI图像虽然空间分辨力比不上CT图像,而且又缺乏刚性的骨组织作为定位参照,但是它对软组织成像清晰,有利于病灶范围的确定;PET图像对正常组织的显示不敏感,但是它对***、神经、腺体和肿瘤组织的显示极为敏感,能够突出、立体、多角度地显示病变组织。目前各种成像设备的研究都已取得了很大的进步,各自图像的空间分辨率和图像质量有很大的提高,但由于成像原理不同所造成的图像信息局限性,使得单独使用某-类图象的效果并不理想,且进展缓慢,往往事倍功半,所以医学图像融合技术应运而生。
目前医学图像融合中常用的还是像素级的图像融合方法,主要算法有加权平均法、基于图像分割的融合法、对比度调制法、逻辑滤波法、多分辨塔式算法、小波变换法等。虽然目前医学图像的融合方法很多,但在临床应用中还存在着许多尚未解决的技术难题。首先由于各种成像***的成像原理不同,其图像采集方式、格式以及图像的大小、质量、空间与时间特性都有很大差别,因此研究稳定且精度较高的全自动医学图像配准与融合方法是图像融合技术的难点之一,其次图像理解是医学图像融合的最终目的,图像融合的潜力在于综合处理应用各种成像设备所得信息以获得新的有助于临床诊断的信息,由于图像融合技术目前还是一个全新的研究领域,因此如何理解和利用这些新的综合信息,还需要不断地实验和证明。
发明内容:
本发明的目的是提供一种基于深度卷积神经网络医学图像融合算法,采用深度卷积神经网络通过卷积层数的选取,使得测试图像的融合精度更高。
上述的目的通过以下的技术方案实现:
一种基于深度卷积神经网络医学图像融合算法,该算法包括如下步骤:
步骤一、输入CT图像和MRI图像,进行图像预处理操作,包括灰度,二值化,滤波去噪 ;
步骤二、将两张图像进行归一化处理,将不同源的图像整合在同一像素级下;
步骤三、采用最佳的配准方法对图像进行配准处理,使用搜索算法,在搜索空间中找到使得相似性度量最优的解;
步骤四、将配准之后的子带图像进行像素级图像融合处理,将融合之后的子带图像通过多尺度Retinex算法进行特征提取增强,多尺度Retinex是在单尺度Retinex算法的基础上发展而来,单尺度Retinex算法的具体流程如下:
(1)读入原图S(x,y),若为灰度图,则将图像每个像素的灰度值由整数值转换为浮点数,并转换到对数域;若输入是彩图,将图像的每个颜色分类分别处理,将每个分量的像素值由整数值转换为浮点数,并转换到对数域中,方面后面的数据计算;
其中r(x,y)为输出图像,*为卷积符号,F(x,y)为中心环绕函数,可以表示为:
(4)
其中C表示为高斯环绕尺度,λ是一个尺度,它的取值必须满足以下条件:
(2)输入尺度C,在离散条件下,积分转换为求和,进一步确定参数λ的值;
(3)根据前面的公式,计算得到r(x,y),果是彩图,则每个通道均为ri=(x,y);
(4)将r(x,y)从对数域转换到实数域得到输出图像R(x,y);
(5)对R(x,y)线性拉伸并以相应的格式输出显示;
多尺度Retinex算法是在单尺度Retinex算法的基础上发展而来,多尺度Retinex算法的计算公式如下:
其中式子中的K是高斯中心环绕函数的个数,当K=1时,多尺度Retinex算法退化为单尺度Retinex算法;
步骤五、进入到已经训练好的深度卷积神经网络里进行图像的特征匹配,进行分类决策,最后得到融合的图像;
深度卷积神经网络主要是由输入层、卷积层、激活函数、池化层、全连接层组成;
输入层:深度卷积网络将图片作为网络的输入,通过训练提取特征,将图片进行预处理;
卷积层:通过卷积运算是对输入进行另一种表示,卷积层视为黑盒子,输出看作是输入的另外一种表示,整个网络的训练所需的中间参数;
池化层:通过池化处理缩小图片特征尺寸,2*2的池化使特征图大小减半,采用大小为3*3,步长为2,pad=0的卷积核替换池化层;
激活函数:网络中卷积层的激励函数和池化层的激励函数都是线性整流函数,网络中引入非线性类似ReLU的变体函数;
全连接层:常见的网络会含有两个全连接层,第二个全连接层的输出与分类个数的输出对应,第一个卷积层通过全局平均池化层等替换;
步骤六、利用源图像的评价指标,对融合之后图像的参数进行计算对比源图。
所述的基于深度卷积神经网络医学图像融合算法,所述的步骤三将配准之后的子带图像进行像素级图像融合采用Contourlet变换。
有益效果:
1.本发明采用深度卷积神经网络,通过卷积层数的选取,使得测试图像的融合精度更高,将不同源的CT图和MRI图像融合之后,利用深度卷积神经网络对细节特征进行匹配,分类决策,提高特征信息配对的成功率,使得两者结合达到信息互补,让医生对疾病的预判确诊率更高,确定疾病的病灶更加精确。
2.本发明结合了Contourlet变换,Contourlet变换能够仅利用少量的非零系数有效地捕捉图像中的光滑轮廓,而且它通过使用迭代方向滤波器组可以在高频实现任意多个方向的分解,从而提供图像在任意方向上的细节信息,在融合过程中,Contourlet 变换应能很好地利用各幅源图像在各个方向上的细节信息,并最终将重要的信息转移至融合图像中,同时加入了Retinex图像增强算法,使得图像的特征得到增强,还采用更加科学的图像融合评价指标对融合之后的图像进行质量评估,通过互补信息和冗余信息的优化组合导出更有效的图像,强化所包含的信息、增强图像理解的可靠性,利用两者的有机联合优势提高整体***的效用,融合后的结果图像具有较好的置信度,鲁棒性,可靠性,分类性。
附图说明:
附图1是本发明的流程图;
附图2是深度卷积神经网络结构;
附图3是ReLU函数及其改进函数;
附图4是CT图像 ;
附图5是MRI图像;
附图6是简单融合方法仿真效果图;
附图7是塔式分解方法仿真效果图;
附图8是小波变换仿真效果图;
附图9是融合深度卷积网络仿真效果图。
具体实施方式:
实施例1:
一种基于深度卷积神经网络医学图像融合算法,该算法包括如下步骤:
步骤一、输入CT图像和MRI图像,进行图像预处理操作,包括灰度,二值化,滤波去噪 ;
步骤二、将两张图像进行归一化处理,将不同源的图像整合在同一像素级下;
步骤三、采用最佳的配准方法对图像进行配准处理,使用搜索算法,在搜索空间中找到使得相似性度量最优的解;
步骤四、将配准之后的子带图像进行像素级图像融合处理,将融合之后的子带图像通过多尺度Retinex算法进行特征提取增强,多尺度Retinex是在单尺度Retinex算法的基础上发展而来,单尺度Retinex算法的具体流程如下:
(1)读入原图S(x,y),若为灰度图,则将图像每个像素的灰度值由整数值转换为浮点数,并转换到对数域;若输入是彩图,将图像的每个颜色分类分别处理,将每个分量的像素值由整数值转换为浮点数,并转换到对数域中,方面后面的数据计算;
其中r(x,y)为输出图像,*为卷积符号,F(x,y)为中心环绕函数,可以表示为:
(4)
其中C表示为高斯环绕尺度,λ是一个尺度,它的取值必须满足以下条件:
(2)输入尺度C,在离散条件下,积分转换为求和,进一步确定参数λ的值;
(3)根据前面的公式,计算得到r(x,y),果是彩图,则每个通道均为ri=(x,y);
(4)将r(x,y)从对数域转换到实数域得到输出图像R(x,y);
(5)对R(x,y)线性拉伸并以相应的格式输出显示;
多尺度Retinex算法是在单尺度Retinex算法的基础上发展而来,多尺度Retinex算法的计算公式如下:
其中式子中的K是高斯中心环绕函数的个数,当K=1时,多尺度Retinex算法退化为单尺度Retinex算法;
步骤五、进入到已经训练好的深度卷积神经网络里进行图像的特征匹配,进行分类决策,最后得到融合的图像;
深度卷积神经网络主要是由输入层、卷积层、激活函数、池化层、全连接层组成,以下将以人脸识别为例结合说明书附图2对网络的各个组成部分进行简单的介绍:
输入层:深度卷积网络可直接将图片作为网络的输入,通过训练提取特征,但是为了获得更好的效果,通常需要将图片进行预处理,在人脸识别中,就需要进行人脸检测等处理,此外在样本不足的情况下会需要进行样本增强处理,包括旋转、平移,剪切、增加噪声、颜色变换等;
卷积层:通过卷积运算实质是对输入进行另一种表示,若将卷积层视为黑盒子,可以将输出看作是输入的另外一种表示,而整个网络的训练也就是训练出这种表示所需的中间参数;
池化层:是卷积神经网络中的一种对数据进行的特殊处理操作,通过池化处理缩小图片特征尺寸,能有效的去除由上一层的结果作为输入而带来的计算量较大的问题,2*2的池化可以使特征图大小减半,后常采用大小为3*3,步长为2,pad=0的卷积核替换池化层,可实现类似的效果;
激活函数:网络中卷积层的激励函数和池化层的激励函数都是线性整流函数,网络中引入非线性类似ReLU的变体函数,常见的激活函数如说明书附图3所示;
全连接层:该层是网络中消耗参数最多的层,若全连接层的输入是3*3*100,全连接层的输出是256,则该层需要3*3*100* 256个参数;而一般的卷积层,若卷积核为3*3,输出为256,则仅需3*3*256个参数,常见的网络会含有两个全连接层,第二个全连接层的输出与分类个数的输出对应,第一个卷积层是可以通过全局平均池化层等替换;
步骤六、利用源图像的评价指标,对融合之后图像的参数进行计算对比源图。
实施例2:
根据实施例1所述的基于深度卷积神经网络医学图像融合算法,所述的步骤三将配准之后的子带图像进行像素级图像融合采用Contourlet变换。
图像融合的目的是为了得到符合人眼视觉感知的综合图像,目前小波变换因具有良好的视觉多尺度性和时频局部特性,而广泛应用于图像融合领域。但是对于二维图像数据结构,占据很重要地位的直线、曲线以及边缘方向等细节信息,小波变换不能有效表示,多尺度几何分析中非下采样contourlet变换(NonsubsaJnpled contourlet transfbrm,NSCT)被称为真正的图像最稀疏表示,它继承小波的多尺度性与时频局部性,又有多方向性与各向异性,同时解决了contourlet变换由于次采样而造成的振铃效应而具有平移不变性。
利用轮廓波变换和DCNN相结合,使得融合之后的图像各个方向的细节信息缺失减少,轮廓波变换继承了曲波变换的优良特性,Contourlet变换能够仅利用少量的非零系数有效地捕捉图像中的光滑轮廓,而且它通过使用迭代方向滤波器组可以在高频实现任意多个方向的分解,从而提供图像在任意方向上的细节信息,因此,Contourlet变换具有较高的方向敏感性和较好的非线性逼近性能,在融合过程中,Contourlet 变换应能很好地利用各幅源图像在各个方向上的细节信息,并最终将重要的信息转移至融合图像中。
常用像素级的图像融合技术有简单加权方法,多分辨塔式方法、小波变换方法的图像融合方法等:
简单加权方法对参加融合的源图像不做任何变换或分解,只进行选择、平均或加权平均等简单处理后合成一副融合图像,仿真效果如说明书附图6所示。
多分辨塔式方法是由Bur和Alclon提出的金字塔式图像分解方法,Toat 提出了基于亮度对比度的多尺度的低通金字塔分层融合方法。按照塔式结构形成方法的不同,多分辨塔式图像融合算法可分为高斯拉普拉斯金字塔、梯度金字塔、 比率低通金字塔、形态学金字塔等,仿真效果如说明书附图7所示。
小波变换方法利用小波变换的优良特性,与金字塔式方法相比较,小波融合所作的修改就是用小波变换代替了塔式变换,根据分解形式的不同,基于小波变换的图像融合技术可分为金字塔形小波融合技术和树状小波融合技术,仿真效果如说明书附图8所示。
Claims (2)
1.一种基于深度卷积神经网络医学图像融合算法,其特征是:该算法包括如下步骤:
步骤一、输入CT图像和MRI图像,进行图像预处理操作,包括灰度,二值化,滤波去噪;
步骤二、将两张图像进行归一化处理,将不同源的图像整合在同一像素级下;
步骤三、采用最佳的配准方法对图像进行配准处理,使用搜索算法,在搜索空间中找到使得相似性度量最优的解;
步骤四、将配准之后的子带图像进行像素级图像融合处理,将融合之后的子带图像通过多尺度Retinex算法进行特征提取增强,多尺度Retinex是在单尺度Retinex算法的基础上发展而来,单尺度Retinex算法的具体流程如下:
(1)读入原图S(x,y),若为灰度图,则将图像每个像素的灰度值由整数值转换为浮点数,并转换到对数域;若输入是彩图,将图像的每个颜色分类分别处理,将每个分量的像素值由整数值转换为浮点数,并转换到对数域中,方面后面的数据计算;
其中r(x,y)为输出图像,*为卷积符号,F(x,y)为中心环绕函数,可以表示为:
(4)
其中C表示为高斯环绕尺度,λ是一个尺度,它的取值必须满足以下条件:
(2)输入尺度C,在离散条件下,积分转换为求和,进一步确定参数λ的值;
(3)根据前面的公式,计算得到r(x,y),果是彩图,则每个通道均为ri=(x,y);
(4)将r(x,y)从对数域转换到实数域得到输出图像R(x,y);
(5)对R(x,y)线性拉伸并以相应的格式输出显示;
多尺度Retinex算法是在单尺度Retinex算法的基础上发展而来,多尺度Retinex算法的计算公式如下:
其中式子中的K是高斯中心环绕函数的个数,当K=1时,多尺度Retinex算法退化为单尺度Retinex算法;
步骤五、进入到已经训练好的深度卷积神经网络里进行图像的特征匹配,进行分类决策,最后得到融合的图像;
深度卷积神经网络主要是由输入层、卷积层、激活函数、池化层、全连接层组成;
输入层:深度卷积网络将图片作为网络的输入,通过训练提取特征,将图片进行预处理;
卷积层:通过卷积运算是对输入进行另一种表示,卷积层视为黑盒子,输出看作是输入的另外一种表示,整个网络的训练所需的中间参数;
池化层:通过池化处理缩小图片特征尺寸,2*2的池化使特征图大小减半,采用大小为3*3,步长为2,pad=0的卷积核替换池化层;
激活函数:网络中卷积层的激励函数和池化层的激励函数都是线性整流函数,网络中引入非线性类似ReLU的变体函数;
全连接层:常见的网络会含有两个全连接层,第二个全连接层的输出与分类个数的输出对应,第一个卷积层通过全局平均池化层等替换;
步骤六、利用源图像的评价指标,对融合之后图像的参数进行计算对比源图。
2.根据权利要求1所述的基于深度卷积神经网络医学图像融合算法,其特征是:所述的步骤三将配准之后的子带图像进行像素级图像融合采用Contourlet变换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010852509.4A CN112150564A (zh) | 2020-08-21 | 2020-08-21 | 基于深度卷积神经网络医学图像融合算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010852509.4A CN112150564A (zh) | 2020-08-21 | 2020-08-21 | 基于深度卷积神经网络医学图像融合算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112150564A true CN112150564A (zh) | 2020-12-29 |
Family
ID=73888458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010852509.4A Pending CN112150564A (zh) | 2020-08-21 | 2020-08-21 | 基于深度卷积神经网络医学图像融合算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112150564A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112686935A (zh) * | 2021-01-12 | 2021-04-20 | 武汉大学 | 基于特征融合的机载测深雷达与多光谱卫星影像配准方法 |
CN117036878A (zh) * | 2023-07-19 | 2023-11-10 | 北京透彻未来科技有限公司 | 一种人工智能预测图像与数字病理图像融合的方法及*** |
CN117038064A (zh) * | 2023-10-07 | 2023-11-10 | 之江实验室 | 一种辅助分析算法的评估方法、装置、存储介质及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160117821A1 (en) * | 2014-10-23 | 2016-04-28 | Hanwha Techwin Co., Ltd. | Apparatus and method for registering images |
CN106373109A (zh) * | 2016-08-31 | 2017-02-01 | 南方医科大学 | 一种医学图像模态合成的方法 |
CN108428225A (zh) * | 2018-01-30 | 2018-08-21 | 李家菊 | 基于多尺度多特征的影像科用脑部图像融合识别方法 |
CN109272010A (zh) * | 2018-07-27 | 2019-01-25 | 吉林大学 | 基于卷积神经网络的多尺度遥感图像融合方法 |
-
2020
- 2020-08-21 CN CN202010852509.4A patent/CN112150564A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160117821A1 (en) * | 2014-10-23 | 2016-04-28 | Hanwha Techwin Co., Ltd. | Apparatus and method for registering images |
CN106373109A (zh) * | 2016-08-31 | 2017-02-01 | 南方医科大学 | 一种医学图像模态合成的方法 |
CN108428225A (zh) * | 2018-01-30 | 2018-08-21 | 李家菊 | 基于多尺度多特征的影像科用脑部图像融合识别方法 |
CN109272010A (zh) * | 2018-07-27 | 2019-01-25 | 吉林大学 | 基于卷积神经网络的多尺度遥感图像融合方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112686935A (zh) * | 2021-01-12 | 2021-04-20 | 武汉大学 | 基于特征融合的机载测深雷达与多光谱卫星影像配准方法 |
CN112686935B (zh) * | 2021-01-12 | 2023-08-15 | 武汉大学 | 基于特征融合的机载测深雷达与多光谱卫星影像配准方法 |
CN117036878A (zh) * | 2023-07-19 | 2023-11-10 | 北京透彻未来科技有限公司 | 一种人工智能预测图像与数字病理图像融合的方法及*** |
CN117036878B (zh) * | 2023-07-19 | 2024-03-26 | 北京透彻未来科技有限公司 | 一种人工智能预测图像与数字病理图像融合的方法及*** |
CN117038064A (zh) * | 2023-10-07 | 2023-11-10 | 之江实验室 | 一种辅助分析算法的评估方法、装置、存储介质及设备 |
CN117038064B (zh) * | 2023-10-07 | 2024-01-09 | 之江实验室 | 一种辅助分析算法的评估方法、装置、存储介质及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Medical image fusion based on convolutional neural networks and non-subsampled contourlet transform | |
Faragallah et al. | A comprehensive survey analysis for present solutions of medical image fusion and future directions | |
Yang et al. | Multimodal sensor medical image fusion based on type-2 fuzzy logic in NSCT domain | |
CN112150564A (zh) | 基于深度卷积神经网络医学图像融合算法 | |
Zhou et al. | Deep learning methods for medical image fusion: A review | |
CN112102385B (zh) | 一种基于深度学习的多模态肝脏磁共振影像配准*** | |
CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
Nair et al. | MAMIF: multimodal adaptive medical image fusion based on B-spline registration and non-subsampled shearlet transform | |
CN105512670B (zh) | 基于keca特征降维和聚类的hrct周围神经分割 | |
Sreeja et al. | Image fusion through deep convolutional neural network | |
Shen et al. | 3D Gabor wavelets for evaluating SPM normalization algorithm | |
Tawfik et al. | Multimodal medical image fusion using stacked auto-encoder in NSCT domain | |
Hao et al. | Magnetic resonance image segmentation based on multi-scale convolutional neural network | |
CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
Jie et al. | Medical image fusion based on extended difference-of-Gaussians and edge-preserving | |
Liu et al. | BTMF-GAN: A multi-modal MRI fusion generative adversarial network for brain tumors | |
Cai et al. | Triple multi-scale adversarial learning with self-attention and quality loss for unpaired fundus fluorescein angiography synthesis | |
Wu et al. | Continuous refinement-based digital pathology image assistance scheme in medical decision-making systems | |
Dong et al. | Deep shearlet network for change detection in SAR images | |
Chauhan et al. | Medical image fusion methods: Review and application in cardiac diagnosis | |
Verma et al. | Role of deep learning in classification of brain MRI images for prediction of disorders: a survey of emerging trends | |
Rani et al. | Recent medical image fusion techniques: a review | |
CN116152235A (zh) | 一种肺癌ct到pet的医学图像跨模态合成方法 | |
Radhika et al. | Medical image enhancement: a review | |
Muthiah et al. | Fusion of MRI and PET images using deep learning neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |