CN114943650A - 一种图像去模糊方法、装置、计算机设备和存储介质 - Google Patents
一种图像去模糊方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114943650A CN114943650A CN202210390268.5A CN202210390268A CN114943650A CN 114943650 A CN114943650 A CN 114943650A CN 202210390268 A CN202210390268 A CN 202210390268A CN 114943650 A CN114943650 A CN 114943650A
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- deblurred
- convolution
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000001537 neural effect Effects 0.000 claims abstract description 67
- 230000007246 mechanism Effects 0.000 claims abstract description 47
- 230000006870 function Effects 0.000 claims description 61
- 238000012549 training Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 8
- 230000003213 activating effect Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 11
- 238000011160 research Methods 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 46
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002054 transplantation Methods 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 208000009443 Vascular Malformations Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像去模糊方法、装置、计算机设备和存储介质，该方法包括：获取目标对象的待处理图像；配置已训练好的卷积神经模型，其中，卷积神经模型包括卷积单元、多个稠密残差单元以及注意力机制单元，卷积单元用于提取模糊图像的浅层特征，多个稠密残差单元用于基于浅层特征提取模糊图像的深层特征，注意力机制单元用于增大深层特征的感兴趣区域的权重；将待处理图像输入卷积神经模型，获取去模糊的目标图像。本申请实施例，通过上述方式提高了对图像的去模糊效果，达到得到清晰图像的目的，从而保证通过识别该图像进行的后续研究更加准确。
Description
技术领域
本申请涉及图像处理技术领域，尤其是涉及到一种图像去模糊方法、图像去模糊装置、计算机设备和可读存储介质。
背景技术
血管造影(Digital Substraction Angiography，DSA)是一种使X射线序列图像中的血管可视化，并以此来进行血管疾病的诊断和治疗的强大技术，在诊断和治疗过程中经常需要对血管进行清晰的显示，从而确定病变的位置和形态，比如动脉瘤、血管狭窄、血管畸形等。而图像的模糊通常是由多种退化因素引起的，如物体的移动、焦点的大小以及焦点的抖动等，因此退化因素的复杂性导致将模糊图像映射到清晰空间充满不确定性，为图像复原增加了难度。
并且，DSA图像相比于自然图像，组织结构更加复杂，图像质量也有差距，因此直接将处理自然图像的方案移植过来充满了挑战。
发明内容
有鉴于此，本申请提供了一种图像去模糊方法、图像去模糊装置、计算机设备和可读存储介质，提高了对图像的去模糊效果，达到得到清晰图像的目的。
第一方面，本申请实施例提供了一种图像去模糊方法，包括：获取目标对象的待处理图像；配置已训练好的卷积神经模型，其中，卷积神经模型包括卷积单元、多个稠密残差单元以及注意力机制单元，卷积单元用于提取模糊图像的浅层特征，多个稠密残差单元用于基于浅层特征提取模糊图像的深层特征，注意力机制单元用于增大深层特征的感兴趣区域的权重；将待处理图像输入卷积神经模型，获取去模糊的目标图像。
根据本申请实施例的上述图像去模糊方法，还可以具有以下附加技术特征：
在上述技术方案中，可选地，在配置已训练好的卷积神经模型之前，该方法还包括：在第一焦点的曝光条件下采集采样对象的清晰图像，以及在第二焦点的曝光条件下采集采样对象的模糊图像，其中第一焦点的尺寸小于第二焦点的尺寸；将模糊图像输入卷积神经模型进行模型训练，输出去模糊图像；在去模糊图像与清晰图像之间的目标损失函数的精度大于或等于预设精度阈值，或者模型训练的迭代次数大于或等于预设迭代次数阈值的情况下，结束模型训练，保存卷积神经模型。
在上述任一技术方案中，可选地，将模糊图像输入卷积神经模型进行模型训练，输出去模糊图像，包括：利用卷积单元提取模糊图像的浅层特征；将浅层特征作为输入，利用多个稠密残差单元串联的方式提模糊图像的深层特征；利用注意力机制单元增大深层特征的感兴趣区域的权重；将浅层特征与深层特征进行逐像素相加，得到去模糊图像。
在上述任一技术方案中，可选地，将模糊图像输入卷积神经模型进行模型训练，输出去模糊图像，包括：将模糊图像输入卷积神经模型，并设置学习率、预设迭代次数阈值，以及初始化卷积神经模型各单元的权重和偏置，进行模型训练，输出去模糊图像。
在上述任一技术方案中，可选地，目标损失函数loss＝λ1×L1+λ2×L2，其中，L1为第一损失函数，L2为第二损失函数，λ1为第一损失函数的权重系数，λ2为第二损失函数的权重系数；第一损失函数L1＝∑|Ideblurred-Ilabel|，第二损失函数L2＝∑(f(Ideblurred)-f(Ilabel))2，其中，Ideblurred为卷积神经模型输出的去模糊图像，Ilabel为清晰图像，f(Ideblurred)为卷积神经模型输出的去模糊图像进行高维特征提取后的特征图，f(Ilabel)为清晰图像进行高维特征提取后的特征图。
在上述任一技术方案中，可选地，稠密残差单元的数量为n个，每个稠密残差单元包括m个卷积层，第j个稠密残差单元的输入为Fj-1，输出为Fj，其中j为大于或等于1且小于或等于n的整数，当j等于1时，第j个稠密残差单元的输入为浅层特征，当j大于1时，第j个稠密残差单元的输入为第j-1个稠密残差单元的输出；对于第j个稠密残差单元，第1个卷积层将Fj-1作为输入，输出特征f1，第i个卷积层将Fj-1和前i-1个所有卷积层输出的特征作为输入，输出特征fi，再将Fj-1、特征f1和所有特征fi进行级联得到fCj，最后将fCj与Fj-1逐像素相加，得到第j个稠密残差单元的输出Fj，其中i为大于1且小于或等于m的整数。
在上述任一技术方案中，可选地，注意力机制单元包括第一卷积层、修正线性单元、第二卷积层和Sigmoid函数单元；其中，深层特征作为注意力机制单元的输入，利用第一卷积层进行处理，再利用修正线性单元进行激活，然后利用第二卷积层进行处理，再利用Sigmoid函数单元进行激活，得到目标权重系数，最后将目标权重系数与深层特征进行逐像素相乘，得到注意力机制单元的输出。
第二方面，本申请实施例提供了一种图像去模糊装置，包括：获取模块，用于获取目标对象的待处理图像；配置模块，用于配置已训练好的卷积神经模型，其中，卷积神经模型包括卷积单元、多个稠密残差单元以及注意力机制单元，卷积单元用于提取模糊图像的浅层特征，多个稠密残差单元用于基于浅层特征提取模糊图像的深层特征，注意力机制单元用于增大深层特征的感兴趣区域的权重；去模糊模块，用于将待处理图像输入卷积神经模型，获取去模糊的目标图像。
第三方面，本申请实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的图像去模糊方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的图像去模糊方法的步骤。
第五方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的图像去模糊方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的图像去模糊方法。
在本申请实施例中，首先，获取目标对象的待处理图像，然后确定已经训练好的卷积神经模型，该卷积神经模型包括卷积单元、多个稠密残差单元以及注意力机制单元，针对上述待处理图像，可以使用卷积单元进行特征提取处理，再采用多个稠密残差单元串联的方式来进一步地提取特征，之后使用注意力机制单元加大对提取特征的感兴趣区域的权重。最后，利用训练好的卷积神经模型对待处理图像进行去模糊处理，得到去模糊后的较清晰的目标图像。本申请实施例，通过上述方式提高了对图像的去模糊效果，达到得到清晰图像的目的，从而保证通过识别该图像进行的后续研究更加准确。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了本申请实施例的图像去模糊方法的流程示意图；
图2示出了本申请实施例的卷积神经网络的网络结构；
图3示出了本申请实施例的稠密残差单元的网络结构；
图4示出了本申请实施例的注意力机制单元的网络结构；
图5示出了本申请实施例的图像去模糊装置的结构示意框图；
图6示出了本申请实施例的计算机设备的结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
相关技术中，传统的去卷积的方法，对于模糊核已知的场景比较适用，但是真实场景的图像模糊核并非已知，需要使用各种约束和先验推断模糊核，进而对图像进行去模糊，该过程涉及对模糊核的评估，其评估的准确程度直接影响图像去模糊的效果，其中包括大量参数的调优，过程较为繁琐。而基于深度学习的去模糊方法，早期主要集中在模糊核的估计上，然而由于现实场景中模糊核是极其复杂的，很难通过单个模糊核的训练适用于所有的场景。
本申请提出一种基于深度学习的图像去模糊方法，通过搭建针对图像的训练数据集，采用稠密连接与残差连接相结合的网络结构，采用注意力机制单元，使用多个损失函数共同监督的方式，实现图像的去模糊。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像去模糊方法、图像去模糊装置、计算机设备和可读存储介质进行详细地说明。
在本实施例中提供了一种图像去模糊方法，如图1所示，该方法包括：
步骤101，获取目标对象的待处理图像。
在该步骤中，获取目标对象的待处理图像，其中，目标对象的待处理图像的获取方式在此不做具体限定，例如可以是实时采集的，也可以是通过某些途径获取的(例如其它方共享)。
步骤102，配置已训练好的卷积神经模型，其中，卷积神经模型包括卷积单元、多个稠密残差单元以及注意力机制单元，卷积单元用于提取模糊图像的浅层特征，多个稠密残差单元用于基于浅层特征提取模糊图像的深层特征，注意力机制单元用于增大深层特征的感兴趣区域的权重。
在该步骤中，确定已经训练好的卷积神经模型，该卷积神经模型包括卷积单元、多个稠密残差单元以及注意力机制单元，针对上述待处理图像，可以使用卷积单元进行特征提取处理，再采用多个稠密残差单元串联的方式来进一步地提取特征，之后使用注意力机制单元加大对提取特征的感兴趣区域的权重。
需要说明的是，这个步骤还可能存在模型的迭代优化。
步骤103，将待处理图像输入卷积神经模型，获取去模糊的目标图像。
在该步骤中，利用训练好的卷积神经模型对待处理图像进行去模糊处理，得到去模糊后的较清晰的目标图像。
本申请实施例，通过上述方式提高了对图像的去模糊效果，达到得到清晰图像的目的，从而保证通过识别该图像进行的后续研究更加准确。
在本申请的一个实施例中，上述目标对象可以为患者，目标对象的待处理图像可以为患者的DSA图像，本申请提供了一种DSA图像去模糊的方法，提高了对DSA图像的去模糊效果，使得满足通过DSA图像对于血管病变的位置和形态的更准确地识别。
值得注意的是，DSA图像相比于视频监控、遥感图像等领域的自然图像，其组织结构更加复杂，图像质量也有差距，因此利用基于深度学习的图像去模糊方法对DSA图像进行去模糊是需要付出创造性的劳动的。
在本申请的一个实施例中，在配置已训练好的卷积神经模型之前，该方法还包括：
(1)在第一焦点的曝光条件下采集采样对象的清晰图像，以及在第二焦点的曝光条件下采集采样对象的模糊图像，其中第一焦点的尺寸小于第二焦点的尺寸。
在该步骤中，搭建用于模型训练的数据集，具体地，通过拍摄采样对象的一系列的相对应的清晰-模糊图像对，即可完成数据集的搭建。其中，采样对象可以包括但不限于DSA体模、患者等，清晰图像为DSA体模或患者的清晰的DSA图像，模糊图像为DSA体模或患者的模糊的DSA图像。
(2)设置卷积神经模型以及目标损失函数。
在该步骤中，使用卷积神经网络作为图像去模糊的处理模型，且设置卷积神经网络包括卷积单元、多个稠密残差单元以及注意力机制单元，使用卷积单元进行特征提取处理，再采用多个稠密残差单元串联的方式来进一步地提取特征，之后使用注意力机制单元加大对提取特征的感兴趣区域的权重。
以及设置用于确定模型收敛的多监督的目标损失函数，用于后续的模型训练。
(3)将模糊图像输入卷积神经模型进行模型训练，输出去模糊图像。
在该步骤中，将采集到的模糊图像输入至设置的卷积神经模型中，输出去模糊图像。
(4)在去模糊图像与清晰图像之间的目标损失函数的精度大于或等于预设精度阈值，或者模型训练的迭代次数大于或等于预设迭代次数阈值的情况下，结束模型训练，保存卷积神经模型。
在该步骤中，在训练的过程中，获取去模糊图像与清晰图像之间的目标损失函数的精度，并对该精度以及进行模型训练的迭代次数判断，当目标损失函数的精度大于或等于预设精度阈值，或者模型训练的迭代次数大于或等于预设迭代次数阈值时，表明模型收敛，此时结束模型训练，保存所得到的卷积神经模型。
本申请实施例，通过上述方式建立用于对图像进行准确地去模糊处理的卷积神经模型，进而提高对图像的去模糊效果。
以下以构建用于对DSA图像进行去模糊处理的卷积神经模型为例，给出本申请实施例的具体实现方案：
步骤一，搭建用于模型训练的数据集。具体地，在第一焦点的曝光条件下采集采样对象的清晰图像，以及在第二焦点的曝光条件下采集采样对象的模糊图像，其中第一焦点的尺寸小于第二焦点的尺寸。
在该实施例中，采集采样对象的清晰图像，该数据基于人体仿真体模或者患者，在小焦点(也即第一焦点)的曝光条件下由DSA图像采集设备(例如，Neusoft Angio30C)拍摄得到，拍摄内容涉及采样对象的各个部位，如头、胸(含心脏)、腹、上下肢等。
采集与上述清晰图像相对应的模糊图像，该数据的采集方法与上述清晰图像类似，唯一的不同在于使用大焦点(也即第二焦点)进行曝光，其它曝光条件(例如，床高、体模位置、电压、电流等)保持一致。
经过上述步骤，通过拍摄一系列的小焦-大焦相对应的清晰-模糊图像对，完成数据集的搭建。
本申请实施例，通过转换曝光时的焦点设置，搭建模型训练的数据集，使得图像更具有针对性，避免直接移植开源的自然图像集所带来的场景不适等问题。
步骤二，将上述图像对中的模糊图像作为输入，对应的清晰图像作为目标(真值)图像，使用卷积神经网络进行处理。卷积神经网络的网络结构如图2所示，包括卷积单元201和深层特征提取模块，其中深层特征提取模块包括多个稠密残差单元202和注意力机制单元203。
将大焦拍摄的模糊图像作为卷积神经网络的输入，首先利用单层的卷积单元直接提取模糊图像的浅层特征F0，该卷积单元的尺寸为3×3×64。
将浅层特征F0作为深层特征提取模块的输入，使用残差连接、n组稠密残差单元202串联的方式提取深层特征。每一个稠密残差单元202输出的深层特征记为Fj，j＝1,2,...,n。为了充分融合深层特征，将所有稠密残差单元202输出的深层特征Fj进行级联，得到深层特征FC。
将深层特征FC输入到注意力机制单元203，提取特征后得到FA。
将卷积单元201输出的浅层特征F0与注意力机制单元203输出的FA进行逐像素相加，即可得到最后的输出图像，也就是去模糊后的图像。
具体地，稠密残差单元的网络结构如图3所示，采用稠密连接与残差连接相结合的方式，每一个稠密残差单元包含m组卷积层，卷积核尺寸均为3×3×64。
对于第1个稠密残差单元(也即j＝1)，其第1个卷积层将浅层特征F0作为输入，输出特征f1，之后每层都接受浅层特征F0和前面所有层输出的特征作为输入，也即第i个卷积层将Fj-1和前i-1个所有卷积层输出的特征作为输入，输出特征fi，i＝2,...,m，由此加大了特征复用。然后，将最后一层提取的特征fm与其输入(也即f1至fm-1)以及浅层特征F0进行级联，得到fC1，再将fC1与F0逐像素相加，得到第1个稠密残差单元的输出F1。
对于第2个至第n个稠密残差单元中的任一稠密残差单元(也即j＝2,...,n)，其第1个卷积层将其前一个稠密残差单元的输出Fj-1作为输入，输出特征f1，之后每层都接受其前一个稠密残差单元的输出Fj-1和前面所有层输出的特征作为输入，由此加大了特征复用。然后，将最后一层提取的特征fm与其输入(也即f1至fm-1)以及其前一个稠密残差单元的输出Fj-1进行级联，得到fCj，再将fCj与Fj-1逐像素相加，得到该稠密残差单元的输出Fj。
注意力机制单元的网络结构如图4所示，包括第一卷积层、修正线性单元(ReLU)、第二卷积层和Sigmoid函数单元。将多个稠密残差单元的特征级联后的深层特征FC作为注意力机制单元的输入，注意力机制单元采用注意力机制，通过使卷积神经模型针对特征图的不同位置学习不同的权重，也就是，加大对深层特征FC的感兴趣区域的权重，同时减小非感兴趣区域的权重，使得卷积神经模型学习更重要的信息，提升训练输出的准确性。
注意力机制单元具体的原理为：首先，使用第一卷积层进行处理，其卷积核大小为3×3，随后用ReLU进行激活；然后，使用第二卷积层进行处理，此时卷积核大小为1×1，随后使用Sigmoid函数进行激活，将变量映射到(0，1)范围内，转化成目标权重系数；最后，将输出的目标权重系数与深层特征FC进行逐像素相乘，即可得到注意力机制单元的输出FA。
通过上述方式，采用稠密连接与残差连接相结合的网络结构，使用注意力机制单元，加大特征复用，使得浅层特征与深层特征充分融合，同时增大感兴趣区域的权重，提高模型收敛的准确性。
步骤三，采用多监督的目标损失函数。
为尽可能提高去模糊图像的边缘信息，采用多个损失函数同时监督的方式，降低卷积神经网络输出的去模糊图像Ideblurred与清晰图像Ilabel之间的误差。具体实现方式如下：
使用第一损失函数(也即L1损失函数)L1＝∑|Ideblurred-Ilabel|；
使用第二损失函数(也即感知损失函数)L2＝∑(f(Ideblurred)-f(Ilabel))2，其中Ideblurred、Ilabel均使用超分辨率测试序列(Visual Geometry Group，VGG)网络前16层卷积层进行高维特征提取，得到特征图，输出分别为f(Ideblurred)、f(Ilabel)，然后计算两者之间的均方误差，即为第二损失函数。
对两个损失函数设置不同的权重求和，即为目标损失函数loss＝λ1×L1+λ2×L2，λ1为第一损失函数的权重系数，λ2为第二损失函数的权重系数。
通过上述方式，使用L1损失函数与感知损失函数共同监督的方式，避免了单纯使用L1损失函数带来的过度平滑问题，提高了边缘等高频信息的表达能力。
步骤四，模型的训练。
完成上述步骤之后，即可进行模型的训练。将模糊图像送入卷积神经模型，设置学习率、预设迭代次数阈值，随机初始化各单元的权重和偏置，当卷积神经模型的输出结果与清晰图像之间的目标损失函数的精度达到预设要求或者训练达到预设迭代次数阈值时，结束训练，保存训练好的模型。
步骤五，模型的测试。
在测试阶段，将需要处理的模糊图像输入到训练好的卷积神经模型中，输出即为去模糊后的清晰图像。
本申请实施例，通过搭建针对DSA图像的数据集，采用稠密连接与残差连接相结合的网络结构，采用注意力机制单元加大对感兴趣区域的权重，同时使用L1损失函数与感知损失函数共同监督的方式，提高了对DSA图像的去模糊效果。
作为上述图像去模糊方法的具体实现，本申请实施例提供了一种图像去模糊装置。如图5所示，该图像去模糊装置500包括：获取模块501、配置模块502以及去模糊模块503。
其中，获取模块501用于获取目标对象的待处理图像；配置模块502用于配置已训练好的卷积神经模型，其中，卷积神经模型包括卷积单元、多个稠密残差单元以及注意力机制单元，卷积单元用于提取模糊图像的浅层特征，多个稠密残差单元用于基于浅层特征提取模糊图像的深层特征，注意力机制单元用于增大深层特征的感兴趣区域的权重；去模糊模块503用于将待处理图像输入卷积神经模型，获取去模糊的目标图像。
在该实施例中，首先，获取目标对象的待处理图像，然后确定已经训练好的卷积神经模型，该卷积神经模型包括卷积单元、多个稠密残差单元以及注意力机制单元，针对上述待处理图像，可以使用卷积单元进行特征提取处理，再采用多个稠密残差单元串联的方式来进一步地提取特征，之后使用注意力机制单元加大对提取特征的感兴趣区域的权重。最后，利用训练好的卷积神经模型对待处理图像进行去模糊处理，得到去模糊后的较清晰的目标图像。
本申请实施例，通过上述方式提高了对图像的去模糊效果，达到得到清晰图像的目的，从而保证通过识别该图像进行的后续研究更加准确。
进一步地，该装置还包括：采集模块，用于在第一焦点的曝光条件下采集采样对象的清晰图像，以及在第二焦点的曝光条件下采集采样对象的模糊图像，其中第一焦点的尺寸小于第二焦点的尺寸；训练模块，用于：将模糊图像输入卷积神经模型进行模型训练，输出去模糊图像；在去模糊图像与清晰图像之间的目标损失函数的精度大于或等于预设精度阈值，或者模型训练的迭代次数大于或等于预设迭代次数阈值的情况下，结束模型训练，保存卷积神经模型。
进一步地，训练模块具体用于：利用卷积单元提取模糊图像的浅层特征；将浅层特征作为输入，利用多个稠密残差单元串联的方式提模糊图像的深层特征；利用注意力机制单元增大深层特征的感兴趣区域的权重；将浅层特征与深层特征进行逐像素相加，得到去模糊图像。
进一步地，训练模块具体用于：将模糊图像输入卷积神经模型，并设置学习率、预设迭代次数阈值，以及初始化卷积神经模型各单元的权重和偏置，进行模型训练，输出去模糊图像。
进一步地，目标损失函数loss＝λ1×L1+λ2×L2，其中，L1为第一损失函数，L2为第二损失函数，λ1为第一损失函数的权重系数，λ2为第二损失函数的权重系数；第一损失函数L1＝∑|Ideblurred-Ilabel|，第二损失函数L2＝∑(f(Ideblurred)-f(Ilabel))2，其中，Ideblurred为卷积神经模型输出的去模糊图像，Ilabel为清晰图像，f(Ideblurred)为卷积神经模型输出的去模糊图像进行高维特征提取后的特征图，f(Ilabel)为清晰图像进行高维特征提取后的特征图。
进一步地，稠密残差单元的数量为n个，每个稠密残差单元包括m个卷积层，第j个稠密残差单元的输入为Fj-1，输出为Fj，其中j为大于或等于1且小于或等于n的整数，当j等于1时，第j个稠密残差单元的输入为浅层特征，当j大于1时，第j个稠密残差单元的输入为第j-1个稠密残差单元的输出；对于第j个稠密残差单元，第1个卷积层将Fj-1作为输入，输出特征f1，第i个卷积层将Fj-1和前i-1个所有卷积层输出的特征作为输入，输出特征fi，再将Fj-1、特征f1和所有特征fi进行级联得到fCj，最后将fCj与Fj-1逐像素相加，得到第j个稠密残差单元的输出Fj，其中i为大于1且小于或等于m的整数。
进一步地，注意力机制单元包括第一卷积层、修正线性单元、第二卷积层和Sigmoid函数单元；其中，深层特征作为注意力机制单元的输入，利用第一卷积层进行处理，再利用修正线性单元进行激活，然后利用第二卷积层进行处理，再利用Sigmoid函数单元进行激活，得到目标权重系数，最后将目标权重系数与深层特征进行逐像素相乘，得到注意力机制单元的输出。
本申请实施例中的图像去模糊装置500可以是计算机设备，也可以是计算机设备中的部件，例如集成电路或芯片。该计算机设备可以是终端，也可以为除终端之外的其他设备。示例性的，计算机设备可以为平板电脑、笔记本电脑、掌上电脑、车载计算机设备、移动上网装置(Mobile Internet Device，MID)、机器人、超级移动个人计算机(Ultra-MobilePersonal Computer，UMPC)、上网本或者个人数字助理(Personal Digital Assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(Personal Computer，PC)等，本申请实施例不作具体限定。
本申请实施例中的图像去模糊装置500可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。
本申请实施例提供的图像去模糊装置500能够实现图1和图2的图像去模糊方法实施例实现的各个过程，为避免重复，这里不再赘述。
本申请实施例还提供一种计算机设备，如图6所示，该计算机设备600包括处理器601和存储器602，存储器602上存储有可在处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述图像去模糊方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的计算机设备包括移动计算机设备和非移动计算机设备。
存储器602可用于存储软件程序以及各种数据。存储器602可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器602可以包括易失性存储器或非易失性存储器，或者，存储器602可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器602包括但不限于这些和任意其它适合类型的存储器。
处理器601可包括一个或多个处理单元；可选的，处理器601集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作***、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像去模糊方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述图像去模糊方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
本申请实施例还提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像去模糊方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种图像去模糊方法，其特征在于，包括：
获取目标对象的待处理图像；
配置已训练好的卷积神经模型，其中，所述卷积神经模型包括卷积单元、多个稠密残差单元以及注意力机制单元，所述卷积单元用于提取所述模糊图像的浅层特征，所述多个稠密残差单元用于基于所述浅层特征提取所述模糊图像的深层特征，所述注意力机制单元用于增大所述深层特征的感兴趣区域的权重；
将所述待处理图像输入所述卷积神经模型，获取去模糊的目标图像。
2.根据权利要求1所述的方法，其特征在于，在所述配置已训练好的卷积神经模型之前，还包括：
在第一焦点的曝光条件下采集采样对象的清晰图像，以及在第二焦点的曝光条件下采集所述采样对象的模糊图像，其中所述第一焦点的尺寸小于所述第二焦点的尺寸；
将所述模糊图像输入卷积神经模型进行模型训练，输出去模糊图像；
在所述去模糊图像与所述清晰图像之间的目标损失函数的精度大于或等于预设精度阈值，或者模型训练的迭代次数大于或等于预设迭代次数阈值的情况下，结束模型训练，保存所述卷积神经模型。
3.根据权利要求2所述的方法，其特征在于，所述将所述模糊图像输入卷积神经模型进行模型训练，输出去模糊图像，包括：
利用所述卷积单元提取所述模糊图像的浅层特征；
将所述浅层特征作为输入，利用所述多个稠密残差单元串联的方式提所述模糊图像的深层特征；
利用所述注意力机制单元增大所述深层特征的感兴趣区域的权重；
将所述浅层特征与所述深层特征进行逐像素相加，得到所述去模糊图像。
4.根据权利要求2所述的方法，其特征在于，所述将所述模糊图像输入卷积神经模型进行模型训练，输出去模糊图像，包括：
将所述模糊图像输入所述卷积神经模型，并设置学习率、所述预设迭代次数阈值，以及初始化所述所述卷积神经模型各单元的权重和偏置，进行模型训练，输出所述去模糊图像。
5.根据权利要求2所述的方法，其特征在于，
所述目标损失函数loss＝λ1×L1+λ2×L2，其中，L1为第一损失函数，L2为第二损失函数，λ1为所述第一损失函数的权重系数，λ2为所述第二损失函数的权重系数；
所述第一损失函数L1＝∑|Ideblurred-Ilabel|，所述第二损失函数L2＝∑(f(Ideblurred)-f(Ilabel))2，其中，Ideblurred为所述卷积神经模型输出的去模糊图像，Ilabel为所述清晰图像，f(Ideblurred)为所述卷积神经模型输出的去模糊图像进行高维特征提取后的特征图，f(Ilabel)为所述清晰图像进行高维特征提取后的特征图。
6.根据权利要求1至5中任一项所述的方法，其特征在于，
所述稠密残差单元的数量为n个，每个所述稠密残差单元包括m个卷积层，第j个稠密残差单元的输入为Fj-1，输出为Fj，其中j为大于或等于1且小于或等于n的整数，当j等于1时，所述第j个稠密残差单元的输入为所述浅层特征，当j大于1时，所述第j个稠密残差单元的输入为第j-1个稠密残差单元的输出；
对于所述第j个稠密残差单元，第1个卷积层将Fj-1作为输入，输出特征f1，第i个卷积层将Fj-1和前i-1个所有卷积层输出的特征作为输入，输出特征fi，再将Fj-1、所述特征f1和所有所述特征fi进行级联得到fCj，最后将fCj与Fj-1逐像素相加，得到所述第j个稠密残差单元的输出Fj，其中i为大于1且小于或等于m的整数。
7.根据权利要求1至5中任一项所述的方法，其特征在于，
所述注意力机制单元包括第一卷积层、修正线性单元、第二卷积层和Sigmoid函数单元；
其中，所述深层特征作为所述注意力机制单元的输入，利用所述第一卷积层进行处理，再利用所述修正线性单元进行激活，然后利用所述第二卷积层进行处理，再利用所述Sigmoid函数单元进行激活，得到目标权重系数，最后将所述目标权重系数与所述深层特征进行逐像素相乘，得到所述注意力机制单元的输出。
8.一种图像去模糊装置，其特征在于，包括：
获取模块，用于获取目标对象的待处理图像；
配置模块，用于配置已训练好的卷积神经模型，其中，所述卷积神经模型包括卷积单元、多个稠密残差单元以及注意力机制单元，所述卷积单元用于提取所述模糊图像的浅层特征，所述多个稠密残差单元用于基于所述浅层特征提取所述模糊图像的深层特征，所述注意力机制单元用于增大所述深层特征的感兴趣区域的权重；
去模糊模块，用于将所述待处理图像输入所述卷积神经模型，获取去模糊的目标图像。
9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器存储存储有在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至7中任一项所述的图像去模糊方法的步骤。
10.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的图像去模糊方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210390268.5A CN114943650A (zh) | 2022-04-14 | 2022-04-14 | 一种图像去模糊方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210390268.5A CN114943650A (zh) | 2022-04-14 | 2022-04-14 | 一种图像去模糊方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114943650A true CN114943650A (zh) | 2022-08-26 |
Family
ID=82907434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210390268.5A Pending CN114943650A (zh) | 2022-04-14 | 2022-04-14 | 一种图像去模糊方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114943650A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112016507A (zh) * | 2020-09-07 | 2020-12-01 | 平安科技（深圳）有限公司 | 基于超分辨率的车辆检测方法、装置、设备及存储介质 |
| CN112330542A (zh) * | 2020-11-18 | 2021-02-05 | 重庆邮电大学 | 基于crcsan网络的图像重建***及方法 |
| US20210224647A1 (en) * | 2020-01-17 | 2021-07-22 | National Central University | Model training apparatus and method |
| CN113409191A (zh) * | 2021-06-02 | 2021-09-17 | 广东工业大学 | 一种基于注意力反馈机制的轻量级图像超分方法及*** |
| CN113506222A (zh) * | 2021-07-30 | 2021-10-15 | 合肥工业大学 | 一种基于卷积神经网络的多模态图像超分辨方法 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及*** |
| CN114140353A (zh) * | 2021-11-25 | 2022-03-04 | 苏州大学 | 一种基于通道注意力的Swin-Transformer图像去噪方法及*** |
-
2022
- 2022-04-14 CN CN202210390268.5A patent/CN114943650A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210224647A1 (en) * | 2020-01-17 | 2021-07-22 | National Central University | Model training apparatus and method |
| CN112016507A (zh) * | 2020-09-07 | 2020-12-01 | 平安科技（深圳）有限公司 | 基于超分辨率的车辆检测方法、装置、设备及存储介质 |
| CN112330542A (zh) * | 2020-11-18 | 2021-02-05 | 重庆邮电大学 | 基于crcsan网络的图像重建***及方法 |
| CN113409191A (zh) * | 2021-06-02 | 2021-09-17 | 广东工业大学 | 一种基于注意力反馈机制的轻量级图像超分方法及*** |
| CN113506222A (zh) * | 2021-07-30 | 2021-10-15 | 合肥工业大学 | 一种基于卷积神经网络的多模态图像超分辨方法 |
| CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及*** |
| CN114140353A (zh) * | 2021-11-25 | 2022-03-04 | 苏州大学 | 一种基于通道注意力的Swin-Transformer图像去噪方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111680447B (zh) | 血流特征预测方法、装置、计算机设备和存储介质 | |
| CN113454981B (zh) | 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术 | |
| CN110008817B (zh) | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 | |
| JP2022528539A (ja) | ビデオ内視鏡検査における品質評価 | |
| CN111553867B (zh) | 一种图像去模糊方法、装置、计算机设备及存储介质 | |
| CN109166139B (zh) | 一种结合快速背景抑制的尺度自适应目标跟踪方法 | |
| US20230011053A1 (en) | Learning data generating system and learning data generating method | |
| US11182925B2 (en) | Method of determining a correspondence between frames of medical image data with and without contrast medium through probability distribution maps relating to position of a feature | |
| CN111626379B (zh) | 肺炎x光图像检测方法 | |
| CN115239716B (zh) | 一种基于形状先验U-Net的医学图像分割方法 | |
| CN112862835A (zh) | 冠脉血管分割方法、装置、设备及计算机可读存储介质 | |
| KR102419270B1 (ko) | Mlp 기반 아키텍처를 통한 의료영상 세그먼테이션 장치 및 그 방법 | |
| CN113870313B (zh) | 一种动作迁移方法 | |
| CN111275703A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
| CN114821580A (zh) | 一种分阶段融入去噪模块的含噪图像分割方法 | |
| EP4343680A1 (en) | De-noising data | |
| CN117197349A (zh) | 一种ct图像重建方法及装置 | |
| CN109685803B (zh) | 一种左心室图像分割方法、装置、设备及存储介质 | |
| CN116993812A (zh) | 冠脉血管中心线的提取方法、装置、设备及存储介质 | |
| CN114943650A (zh) | 一种图像去模糊方法、装置、计算机设备和存储介质 | |
| Chua et al. | Enhanced image super-resolution technique using convolutional neural network | |
| CN113744171A (zh) | 血管钙化图像分割方法、***和可读存储介质 | |
| CN116228781A (zh) | 冠脉血管分割方法、装置、电子设备及存储介质 | |
| CN114881930B (zh) | 基于降维定位的3d目标检测方法、装置、设备和存储介质 | |
| US20230079164A1 (en) | Image registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |