CN109272024B - 一种基于卷积神经网络的图像融合方法 - Google Patents
一种基于卷积神经网络的图像融合方法 Download PDFInfo
- Publication number
- CN109272024B CN109272024B CN201810991787.0A CN201810991787A CN109272024B CN 109272024 B CN109272024 B CN 109272024B CN 201810991787 A CN201810991787 A CN 201810991787A CN 109272024 B CN109272024 B CN 109272024B
- Authority
- CN
- China
- Prior art keywords
- picture
- fusion
- fused
- feature mapping
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于卷积神经网络的图像融合方法,属于信息融合、图像处理领域。本发明通过训练并使用卷积神经网络来获得融合图片。通过针对待融合图片选定训练集预先对卷积神经网络进行训练,整个训练过程属于监督训练;在训练过程中涉及到图片的分析与合成;再使用训练好的两组模型权值前馈网络的分析和反馈网络的合成,用于深度神经网络融合模型。训练和融合过程中的融合法则均采用基于深度学习的sigmoid函数融合法则。本发明避免了融合过程中出现冗余信息以及相关信息的遗漏。
Description
技术领域
本发明涉及一种基于卷积神经网络的图像融合方法,属于图像融合领域。
背景技术
图像融合是将两个或者两个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或者图像序列信息加以综合,以生成新的有关此场景届时的信息处理过程。
随着多源图像融合技术的发展,其在军事和民用领域的应用更为深入,并且对经济和国防事业的建设都有重要的意义。多源图像大致分为多传感器图像、遥感多源图像、多聚焦图像、时间序列图像。而多聚焦图像和时间序列图像都是采用同种传感器的不同成像方式或不用成像时间获得的。特别的,多聚焦图像是由同种传感器采用不同的成像方式(聚焦点的不同)获得的。多聚焦图像的融合是图像融合研究中一类具有代表性的问题。由于光学镜头的成像原理可知,物体在镜头的共轭平面时,成清晰的像,处于共轭平面以外的物体将出现不同程度的模糊,当模糊程度不超过光学***的景深时,物体所成的像仍然可以看做是清晰的。光学***的景深指保证在像平面能获得清晰的像的物体在物放空间前后移动的最大距离,由于光学镜头的景深有限,使得在拍摄是很难获取一幅所有景物都聚焦清晰的图像。所以仅仅依靠成像***本身很难解决这一问题。因此这个问题的有效解决方法是对同一场景拍摄几幅聚焦点不同的图像,然后,将其融合为一幅场景内所有景物均被聚焦的图像,这种图像融合被称为多聚焦图像融合。
医学图像融合(medical image fusion,MIF)是将来自相同或不同成像设备采集的同一组织或器官的相关图像,经过适当的空间配准和叠加,加以必要的变换处理,使其在空间位置、空间坐标上达到匹配。
医学成像已经成为包括诊断,治疗计划和手术导航在内的各种临床应用中不可替代的组成部分。为了向医生提供用于临床目的的足够的信息,通常需要用多种形式获得的医学图像,诸如X射线,计算机断层摄影(CT),磁共振(MR),正电子发射断层摄影(PET),单光子发射计算机断层摄影(SPECT)等。由于成像机制的不同,具有不同形态的医学图像关注不同类别的器官/组织信息。例如,CT图像通常用于骨骼和种植体等密集结构的精确定位,MR图像可以提供具有高分辨率解剖信息的优异的软组织细节,而血流和代谢变化的功能信息可以由PET和SPECT图像提供,但空间分辨率低。多模态医学图像融合旨在通过生成可视化的合成图像,将不同来源图像中包含的补充信息相结合,从而帮助医生为各种目的做出更容易更好的决策。
传统的融合方法,比如变换域和空间域方法,前者将图像进行系数变换然后在系数空间进行融合再反变换,得到融合图像。后者直接在图像的空间信息上进行融合。然而这两类方法中滤波器组都是人为设定的,所以在滤波的过程中会漏掉很多相关信息并引入冗余信息。
发明内容
本发明提供一种基于卷积神经网络的多聚焦图片和医学图片融合技术,基于卷积神经网络,通过训练网络模型得到权值,基于变换域的思想分解与合成图片,避免融合过程中出现冗余信息以及相关信息的遗漏。
本发明的技术方案是:首先针对待融合图片特性选定训练数据集并对其进行预处理,针对待融合图片选取若干图片作为训练数据集,并对选取的图片进行模糊处理,形成由原清晰图片和模糊图片组成的训练数据集;模糊处理时可以对图片的不同区域进行处理得到不同的模糊图片,而训练数据集中数据数量越多,训练得到的结果以及最后的图像融合的到的效果越好。
然后通过监督训练利用卷积神经网络模型对训练数据集获得模型权值,将原清晰图片和模糊图片输入卷积神经网络模型得到对应的特征映射,将模糊图片的特征映射通过融合法则得到了融合后的特征映射,计算原清晰图片的特征映射和模糊图片融合后的特征映射的差值,并使差值达到最小误差,获得对待融合图片分析的前馈网络权值weight_f与合成图片的反馈网络权值weight_b;
最后将训练获得的权值应用到模型上对图像进行融合,将一张白噪声图片和待融合图片输入卷积神经网络模型得到对应的特征映射,利用融合法则对待融合图片的特征映射进行融合进而获得融合后的特征映射,计算待融合图片融合后的特征映射与白噪声图片的特征映射的差值,并使差值最小化,对此时的白噪声图片进行逆运算得到最终的融合图片。
如图1所示,其中卷积神经网络模型采用VGG16模型,训练和融合过程中的融合法则均采用SIGMOID函数,具体步骤如图2-3所示:
Step1训练数据集的选取与处理
Step2利用卷积神经网络模型进行训练
在训练过程中我们同时在一个模型中训练两组权值数据,初始VGG16的权值为ImageNet权值数据,通过对一组图片数据,如IA与和将图片IA、模糊图片和输入到初始的VGG16模型中我们可以得到对应的5层特征映射。
在融合时也可采用绝对值最大化来计算权重:
Step3利用Step2得到的两组网络权值对待融合图片进行融合
在VGG16模型初始化时读入两组权值数据,将一张白噪声图片Iw、待融合图片I1和I2经过VGG16模型得到对应的5层特征映射:
对和通过sigmoid融合法则得到融合后的特征映射再迭代计算和之间的误差并使误差Ls最小化,此时的白噪声图片映射已经无限接近融合的映射此时的白噪声图片即融合图片最后对WF运行分解图片时的逆运算,获得最终的融合图片IF,
本发明的有益效果:本发明所使用的的滤波器组均为学习得到的滤波器,可以有效的避免人为设计滤波器的缺陷。比如在图片的活跃区域测量和权值的分配等问题,并且使用基于深度学习SIGMOID函数设计的新的融合法则,减少了***的参数,避免融合过程中出现冗余信息以及相关信息的遗漏,最终融合结果更理想。
附图说明
图1是卷积神经网络VGG16结构图;
图2是本发明训练模型逻辑图;
图3是本发明融合模型逻辑图;
图4中(a)和(b)是两幅待融合医学图片,(c)为融合结果;
图5是多聚焦图片训练数据集;
图6中(a)和(b)是两幅待融合多聚焦图片,(c)为其融合结果。
图7是医学图片训练数据集。
具体实施方式
下面结合附图和具体实施例,对本发明作进一步说明。
实施例1:采用上述发明内容中的方法对如图4中(a)和(b)两幅待融合多聚焦图片进行融合,我们选择了如图5所示的7副高清图片并在裁剪后,用MATLAB对其进行模糊得到70副训练图片集。
将70幅训练数据图片转换成.h5文件后输入到训练模型中,其中训练集包含两组数据,一组是真实的清晰图片,另一组是在清晰图片基础上模糊的十幅图片,此时真实图片就是标注的图片,用于误差的计算。经过多次迭代后,得到模型的两组权值并保存。
对VGG16模型权值进行初始化(读取训练生成的两组权值),待融合图片经过网络后会得到五个特征映射(对应VGG16的五层),只有对特征映射应用融合法则得到融合后的特征映射,与此同时我们对网络输入一张白噪声图片,也会得到对应的五张特征映射,之后计算白噪声图片的特征映射与融合的特征映射之间的误差,经过100次迭代后损失函数达到最小值,此时两组特征映射的相似度无限接近,最后对迭代后得到的白噪声映射(已相同于融合的映射)运行卷积的逆运算(VGG16网络的反向计算过程)得到最后的融合图片即图4中的c所示,其结果与现有技术的对比如表1所示。
表1本方法和现有技术对多聚焦图片融合结果对比表
表1展示了本方法和一些传统方法的客观评价指标(Objective Assessment ofMultiresolution Image Fusion Algorithms for Context Enhancement in NightVision:A Comparative Study)。为了便于分析,我们从图片特征Qg,结构相似度Qs和人眼Qcv指标来评价。而对比方法来自刘羽的图片融合工具箱,可在网络上获取。其中包括曲波变换(curvelet),拉普拉斯变换(LP),非下采样Contourlet(NSCT)变换和稀疏表示(SR)。在表1中可以看到,本方法在这三种指标中都占据了明显优势,特别在Qcv上,通过神经网络去分析图片更符合人类的理解认知。
实施例2:采用发明内容中的方法以及实施例1中的具体取值对如图6中(a)和(b)两幅待融合医学图片进行融合,一副为CT图像,一副为MRI图像,其训练数据集如图7所示,最后的融合图片即图6中的c所示,其结果与现有技术的对比如表2所示。
表2本方法和现有技术对医学图片融合结果对比表
方法 | Qg | Qs | Qcv |
Curvelet | 0.3974 | 0.6316 | 1917.1 |
LP | 0.6419 | 0.6353 | 1450.7 |
NSCT | 0.6516 | 0.6923 | 1507.0 |
SR | 0.8465 | 0.9151 | 1716.9 |
本专利 | 0.7535 | 0.9220 | 2212.6 |
由表2可以看出,本方法在对医学图片进行融合时相对于其他常规方法占据明显优势,特别在Qcv这一指标上,说明了通过神经网络去分析图片更符合人类的理解认知。
上面结合附图对本发明的具体实施例作了详细说明,但是本发明并不限于上述实施例,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (2)
1.一种基于卷积神经网络的图像融合方法,其特征在于:首先针对待融合图片特性选定训练数据集并对其进行预处理,针对待融合图片选取若干图片作为训练数据集,并对选取的图片进行模糊处理,形成由原清晰图片和模糊图片组成的训练数据集;
然后通过监督训练利用卷积神经网络模型对训练数据集获得模型权值,将原清晰图片和模糊图片输入卷积神经网络模型得到对应的特征映射,将模糊图片的特征映射通过融合法则得到了融合后的特征映射,计算原清晰图片的特征映射和模糊图片融合后的特征映射的差值,并使差值达到最小误差,获得对待融合图片分析的前馈网络权值weight_f与合成图片的反馈网络权值weight_b;
最后将训练获得的权值应用到模型上对图像进行融合,将一张白噪声图片和待融合图片输入卷积神经网络模型得到对应的特征映射,利用融合法则对待融合图片的特征映射进行融合进而获得融合后的特征映射,计算待融合图片融合后的特征映射与白噪声图片的特征映射的差值,并使差值最小化,对此时的白噪声图片进行逆运算得到最终的融合图片。
2.根据权利要求1所述的基于卷积神经网络的图像融合方法,其特征在于:所述卷积神经网络模型采用VGG16模型,训练和融合过程中的融合法则均采用SIGMOID函数,具体步骤如下:
Step1训练数据集的选取与处理
Step2利用卷积神经网络模型进行训练
Step3利用Step2得到的两组网络权值对待融合图片进行融合
在VGG16模型初始化时读入两组权值数据,将一张白噪声图片Iw、待融合图片I1和I2经过VGG16模型得到对应的5层特征映射
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810991787.0A CN109272024B (zh) | 2018-08-29 | 2018-08-29 | 一种基于卷积神经网络的图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810991787.0A CN109272024B (zh) | 2018-08-29 | 2018-08-29 | 一种基于卷积神经网络的图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109272024A CN109272024A (zh) | 2019-01-25 |
CN109272024B true CN109272024B (zh) | 2021-08-20 |
Family
ID=65154560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810991787.0A Active CN109272024B (zh) | 2018-08-29 | 2018-08-29 | 一种基于卷积神经网络的图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109272024B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102059011B1 (ko) * | 2019-04-30 | 2019-12-24 | 엘아이지넥스원 주식회사 | 딥러닝을 기반으로 하는 융합 영상 생성장치 및 방법 |
KR102086067B1 (ko) * | 2019-04-30 | 2020-03-06 | 엘아이지넥스원 주식회사 | 융합 영상 생성장치 및 방법 |
CN110363122B (zh) * | 2019-07-03 | 2022-10-11 | 昆明理工大学 | 一种基于多层特征对齐的跨域目标检测方法 |
CN110600105B (zh) * | 2019-08-27 | 2022-02-01 | 武汉科技大学 | 一种ct影像数据处理方法、装置及存储介质 |
CN111242937A (zh) * | 2020-01-17 | 2020-06-05 | 东南大学 | 一种用于图像清晰度判别的神经网络的设计方法 |
CN111340722B (zh) * | 2020-02-20 | 2023-05-26 | Oppo广东移动通信有限公司 | 图像处理方法、处理装置、终端设备及可读存储介质 |
CN113012087B (zh) * | 2021-03-31 | 2022-11-04 | 中南大学 | 基于卷积神经网络的图像融合方法 |
CN113112439B (zh) * | 2021-04-14 | 2023-05-16 | 展讯半导体(南京)有限公司 | 图像融合方法、图像融合模型的训练方法、装置和设备 |
CN113658151B (zh) * | 2021-08-24 | 2023-11-24 | 泰安市中心医院 | 一种乳腺病变磁共振图像分类方法、设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101980290A (zh) * | 2010-10-29 | 2011-02-23 | 西安电子科技大学 | 抗噪声环境多聚焦图像融合方法 |
CN103400360A (zh) * | 2013-08-03 | 2013-11-20 | 浙江农林大学 | 基于Wedgelet和NSCT的多源图像融合方法 |
CN103700083A (zh) * | 2013-12-26 | 2014-04-02 | 中国人民解放军***武汉总医院 | 基于自适应模糊神经网络模型ct灌注图像智能融合方法 |
CN107240085A (zh) * | 2017-05-08 | 2017-10-10 | 广州智慧城市发展研究院 | 一种基于卷积神经网络模型的图像融合方法及*** |
-
2018
- 2018-08-29 CN CN201810991787.0A patent/CN109272024B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101980290A (zh) * | 2010-10-29 | 2011-02-23 | 西安电子科技大学 | 抗噪声环境多聚焦图像融合方法 |
CN103400360A (zh) * | 2013-08-03 | 2013-11-20 | 浙江农林大学 | 基于Wedgelet和NSCT的多源图像融合方法 |
CN103700083A (zh) * | 2013-12-26 | 2014-04-02 | 中国人民解放军***武汉总医院 | 基于自适应模糊神经网络模型ct灌注图像智能融合方法 |
CN107240085A (zh) * | 2017-05-08 | 2017-10-10 | 广州智慧城市发展研究院 | 一种基于卷积神经网络模型的图像融合方法及*** |
Non-Patent Citations (3)
Title |
---|
"Double Weight-Based SAR and Infrared Sensor Fusion for Automatic Ground Target Recognition with Deep Learning";Sungho Kim etc.;《Remote Sens.》;20180131;第1-24页 * |
"Multi-focus image fusion with the all convolutional neural network";DU Chao-ben etc;《https://doi.org/10.1007/s11801-018-7207-x》;20180131;第1-5页 * |
"基于监督学习的Takagi Sugeno Kang 模糊***图像融合方法研究";李奕 等;《电子与信息学报》;20140531;第1-7页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109272024A (zh) | 2019-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109272024B (zh) | 一种基于卷积神经网络的图像融合方法 | |
Laves et al. | A dataset of laryngeal endoscopic images with comparative study on convolution neural network-based semantic segmentation | |
US20180225847A1 (en) | Systems and methods for data and model-driven image reconstruction and enhancement | |
Fu et al. | A deep learning reconstruction framework for differential phase-contrast computed tomography with incomplete data | |
CN112614169B (zh) | 基于深度学习网络的2d/3d脊椎ct层级配准方法 | |
CN112598649B (zh) | 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 | |
Shuaiqi et al. | Medical image fusion based on rolling guidance filter and spiking cortical model | |
Tong et al. | X-ray2Shape: reconstruction of 3D liver shape from a single 2D projection image | |
Teixeira et al. | Generating synthetic x-ray images of a person from the surface geometry | |
Che et al. | AMNet: Adaptive multi-level network for deformable registration of 3D brain MR images | |
Sun et al. | Building a patient-specific model using transfer learning for four-dimensional cone beam computed tomography augmentation | |
Poonkodi et al. | 3D-MedTranCSGAN: 3D medical image transformation using CSGAN | |
Danilov et al. | Boosting segmentation accuracy of the deep learning models based on the synthetic data generation | |
Gao et al. | 3DSRNet: 3D Spine Reconstruction Network Using 2D Orthogonal X-ray Images Based on Deep Learning | |
Wu et al. | 3D texture reconstruction of abdominal cavity based on monocular vision SLAM for minimally invasive surgery | |
Kurz | Directional estimation for robotic beating heart surgery | |
CN115731444A (zh) | 一种基于人工智能和超像素分割的医学影像融合方法 | |
Oulbacha et al. | MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms | |
Nie et al. | Dual adversarial learning with attention mechanism for fine-grained medical image synthesis | |
Kläser et al. | Uncertainty-aware multi-resolution whole-body MR to CT synthesis | |
Nissan et al. | Virtopsy: The Virtual Autopsy | |
Ma et al. | SEN-FCB: an unsupervised twinning neural network for image registration | |
Liu et al. | Multiple organ localization in dual-modality pet/ct images based on transformer network with one-to-one object query | |
Chong | 3D reconstruction of laparoscope images with contrastive learning methods | |
Syben | Known Operator Learning for a Hybrid Magnetic Resonance/X-ray Imaging Acquisition Scheme |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |