CN111462041A - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111462041A
CN111462041A CN202010137174.8A CN202010137174A CN111462041A CN 111462041 A CN111462041 A CN 111462041A CN 202010137174 A CN202010137174 A CN 202010137174A CN 111462041 A CN111462041 A CN 111462041A
Authority
CN
China
Prior art keywords
convolution
image
characteristic information
level
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010137174.8A
Other languages
English (en)
Other versions
CN111462041B (zh
Inventor
张朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Beijing Neusoft Medical Equipment Co Ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Beijing Neusoft Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd, Beijing Neusoft Medical Equipment Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN202010137174.8A priority Critical patent/CN111462041B/zh
Publication of CN111462041A publication Critical patent/CN111462041A/zh
Application granted granted Critical
Publication of CN111462041B publication Critical patent/CN111462041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开提供一种图像处理方法、装置、设备及存储介质，所述利用预先训练的神经网络对血管造影图像进行处理，所述神经网络包括卷积单元、N个级联的卷积循环单元和上采样卷积单元；所述方法包括：将所述输入图像输入至卷积单元，获取所述输入图像的初始特征信息，所述输入图像为血管造影图像序列中的一帧；将所述初始特征信息输入至第一级卷积循环单元，得到各级卷积循环单元输出的中间特征信息；对初始特征信息和第N级卷积循环单元输出的中间特征信息相加，得到结合特征信息；将所述结合特征信息输入至上采样卷积单元，对所述结合特征信息进行上采样卷积操作，并根据所得到的上采样结果得到目标重建图像，其中，N为正整数。

Description

图像处理方法、装置、设备及存储介质
技术领域
本公开涉及医疗设备技术领域，具体涉及一种图像处理方法、装置、设备及存储介质。
背景技术
血管造影(Digital Substraction Angiography，简称DSA)是一种是利用显影剂和X光使血管可视化，从而生成血管造影图像序列的技术；该技术用来对血管疾病进行诊断和治疗，由于治疗过程中经常会涉及到血管支架、弹簧圈等精细附件的置入，因此需要在图像中保证这些细节清楚完整，以为医生制定治疗方案提供准确的依据。得到分辨率较高的血管造影图像需要长时间的、焦点集中的X光照射，这显然是对受检体(即患者)的健康不利的。因此既需要尽量避免血管造影过程中影响受检体的健康，又需要获得高分辨率的血管造影图像。
发明内容
本公开提供图像处理方法、装置、设备及存储介质。
具体地，本公开是通过如下技术方案实现的：
第一方面，提供一种图像处理方法，利用预先训练的神经网络对血管造影图像进行处理，所述神经网络包括卷积单元、N个级联的卷积循环单元和上采样卷积单元；所述方法包括：将所述输入图像输入至卷积单元，获取所述输入图像的初始特征信息，所述输入图像为血管造影图像序列中的一帧；将所述初始特征信息输入至第一级卷积循环单元，得到各级卷积循环单元输出的中间特征信息；对初始特征信息和第N级卷积循环单元输出的中间特征信息相加，得到结合特征信息；将所述结合特征信息输入至上采样卷积单元，对所述结合特征信息进行上采样卷积操作，并根据所得到的上采样结果得到目标重建图像，其中，N为正整数。
可选地，所述卷积单元包括第一卷积子单元和第二卷积子单元；所述将所述输入图像输入至卷积单元，获取所述输入图像的初始特征信息，包括：将所述输入图像输入至所述第一卷积子单元，得到第一初始特征信息；将级联的多个特征信息输入至所述第二卷积子单元，得到第二初始特征信息，所述级联的多个特征信息包括第一初始特征信息和第二卷积子单元对于所述输入图像的前一帧输出的第二初始特征信息。
可选地，所述卷积循环单元包括第一卷积循环子单元和第二卷积循环子单元，其中，各级第一卷积循环子单元输入至下一级卷积循环子单元；所述将所述初始特征信息输入至第一级卷积循环单元，得到各级卷积循环单元输出的中间特征信息，包括：将所述初始特征信息输入至第一级卷积循环子单元，得到各级卷积循环子单元输出的第一中间特征信息；将级联的多个特征信息输入至各级卷积循环单元中的第二卷积循环子单元，得到第二中间特征信息，对于第i级第二卷积循环子单元，所述级联的多个特征信息包括第i级第一卷积循环子单元对于所述输入图像输出的第一中间特征信息、第i-1级第二卷积循环子单元对于所述输入图像输出的第二中间特征信息和第i级第二卷积循环子单元对于所述输入图像的前一帧输出的第二中间特征信息，其中，i为小于或等于N的正整数。
可选地，所述神经网络还包括M级上采样卷积子单元；将所述结合特征信息进行上采样卷积操作，并根据所得到的上采样结果得到目标重建图像包括：将所述结合特征信息输入至第j级上采样卷积子单元，输出第j级上采样结果；根据第j级上采样结果得到第j级重建图像，并将所述第j级重建图像作为输入图像得到所述结合特征信息；将所述第j级上采样结果和所述结合特征信息相加，并将相加的结果输入至第j+1级上采样卷积子单元；根据第M级上采样卷积子单元输出的第M级上采样结果得到目标重建图像，其中，M为正整数，j为小于或等于M-1的正整数。
可选地，在获取输入图像的初始特征信息之前，所述处理方法还包括：将预先获得的图像训练集中的一个第一分辨率图像输入至所述神经网络，其中，所述图像训练集包括血管造影图像对序列，每一个所述血管造影图像对均包括针对同一血管造影图像的第一分辨率图像和第二分辨率图像，所述第二分辨率图像包括与各级上采样卷积单元的放大倍数相对应的各级第二分辨图像，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率；获得所述神经网络中各级上采样卷积单元对应的各级重建图像；根据第一分辨率图像对应的各级重建图像和第一分辨率图像对应的各级第二分辨率图像确定网络损失值；基于所述网络损失值，对神经网络的网络参数进行调整。
可选地，所述根据第一分辨率图像对应的各级重建图像和第一分辨率图像对应的各级第二分辨率图像确定网络损失值，包括：分别根据第一分辨率图像对应的每级输出图像和第一分辨率图像对应的第二分辨率图像确定各级损失值；分别根据各级重建图像对应的权重和各级损失值确定网络损失值；所述基于所述网络损失值，对神经网络的网络参数进行调整，包括：当网络损失值小于预设损失值阈值时，停止对神经网络的网络参数的调整，和/或当调整次数超过预设次数阈值时，停止对神经网络的网络参数的调整。
可选地，在将预先获得的图像训练集中的一个第一分辨率图像输入至所述神经网络，所述处理方法还包括：获取第二分辨率图像序列，所述序列中的第二分辨率图像包括与各级上采样卷积单元的放大倍数相对应的各级第二分辨图像；对与最高级上采样卷积单元的放大倍数相对应的第二分辨率图像进行低分辨率处理，得到对应的第一分辨率图像，所述第二分辨率图像和对应的第一分辨率图像组成一个血管造影图像对；根据第二分辨率图像序列的顺序排列所述血管造影图像对，形成图像训练集。
可选地，所述对与最高级上采样卷积单元的放大倍数相对应的第二分辨率图像进行低分辨率处理，得到对应的第一分辨率图像，包括：使用高斯核函数对所述第二分辨率图像进行模糊处理；使用双三次插值法对经模糊处理的第二分辨率图像进行下采样处理，得到对应的第一分辨率图像。
第二方面，提供一种图像处理装置，利用预先训练的神经网络对血管造影图像进行处理，所述神经网络包括卷积单元、N个级联的卷积循环单元和上采样卷积单元；所述装置包括：初始特征获取模块，所述第一模块用于获取输入图像的初始特征信息，所述输入图像为血管造影图像序列中的一帧；中间特征获取模块，所述第二模块用于将所述初始特征信息输入至第一级卷积循环单元，得到各级卷积循环单元输出的中间特征信息；结合特征获取模块，所述第三模块用于对初始特征信息和第N级卷积循环单元输出的中间特征信息相加，得到结合特征信息；重建模块，所述重建模块用于将所述结合特征信息进行上采样卷积操作，并根据所得到的上采样结果得到目标重建图像，其中，N为正整数。
可选地，所述卷积单元包括第一卷积子单元和第二卷积子单元；所述初始特征获取单元具体用于：将所述输入图像输入至所述第一卷积子单元，得到第一初始特征信息；将级联的多个特征信息输入至所述第二卷积子单元，得到第二初始特征信息，所述级联的多个特征信息包括第一初始特征信息和第二循环子单元对于所述输入图像的前一帧输出的第二初始特征信息。
可选地，所述卷积循环单元包括第一卷积循环子单元和第二卷积循环子单元，其中，各级第一卷积循环子单元输入至下一级卷积循环子单元；所述中间特征获取单元具体用于：将所述初始特征信息输入至第一级卷积循环子单元，得到各级卷积循环子单元输出的第一中间特征信息；将级联的多个特征信息输入至各级卷积循环单元中的第二卷积循环子单元，得到第二中间特征信息，对于第i级第二卷积循环子单元，所述级联的多个特征信息包括第i级第一卷积循环子单元对于所述输入图像输出的第一中间特征信息、第i-1级第二卷积循环子单元对于所述输入图像输出的第二中间特征信息和第i级第二卷积循环子单元对于所述输入图像的前一帧输出的第二中间特征信息，其中，i为小于或等于N的正整数。
可选地，在获取输入图像的初始特征信息之前，所述卷积单元包括第一卷积子单元和第二卷积子单元；所述将所述输入图像输入至卷积单元，获取所述输入图像的初始特征信息，包括：将所述输入图像输入至所述第一卷积子单元，得到第一初始特征信息；将级联的多个特征信息输入至所述第二卷积子单元，得到第二初始特征信息，所述级联的多个特征信息包括第一初始特征信息和第二卷积子单元对于所述输入图像的前一帧输出的第二初始特征信息。
可选地，所述神经网络还包括M级上采样卷积子单元；所述重建单元具体用于：将所述结合特征信息输入至第j级上采样卷积子单元，输出第j级上采样结果；根据第j级上采样结果得到第j级重建图像，并将所述第j级重建图像作为输入图像得到所述结合特征信息；将所述第j级上采样结果和所述结合特征信息相加，并将相加的结果输入至第j+1级上采样卷积子单元；根据第M级上采样卷积子单元输出的第M级上采样结果得到目标重建图像，其中，M为正整数，j为小于或等于M-1的正整数。
可选地，所述装置还包括训练单元，用于：将预先获得的图像训练集中的一个第一分辨率图像输入至所述神经网络，其中，所述图像训练集包括血管造影图像对序列，每一个所述血管造影图像对均包括针对同一血管造影图像的第一分辨率图像和第二分辨率图像，所述第二分辨率图像包括与各级上采样卷积单元的放大倍数相对应的各级第二分辨图像，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率；获得所述神经网络中各级上采样卷积单元对应的各级重建图像；根据第一分辨率图像对应的各级重建图像和第一分辨率图像对应的各级第二分辨率图像确定网络损失值；基于所述网络损失值，对神经网络的网络参数进行调整。
可选地，所述训练单元在用于根据第一分辨率图像对应的各级重建图像和第一分辨率图像对应的各级第二分辨率图像确定网络损失值时，具体用于：分别根据第一分辨率图像对应的每级输出图像和第一分辨率图像对应的第二分辨率图像确定各级损失值；分别根据各级重建图像对应的权重和各级损失值确定网络损失值；所述基于所述网络损失值，对神经网络的网络参数进行调整，包括：当网络损失值小于预设损失值阈值时，停止对神经网络的网络参数的调整，和/或当调整次数超过预设次数阈值时，停止对神经网络的网络参数的调整。
可选地，所述装置还包括训练集获取单元，用于在将预先获得的图像训练集中的一个第一分辨率图像输入至所述神经网络，所述处理方法还包括：获取第二分辨率图像序列，所述序列中的第二分辨率图像包括与各级上采样卷积单元的放大倍数相对应的各级第二分辨图像；对与最高级上采样卷积单元的放大倍数相对应的第二分辨率图像进行低分辨率处理，得到对应的第一分辨率图像，所述第二分辨率图像和对应的第一分辨率图像组成一个血管造影图像对；根据第二分辨率图像序列的顺序排列所述血管造影图像对，形成图像训练集。
可选地，所述训练集获取单元在用于对与最高级上采样卷积单元的放大倍数相对应的第二分辨率图像进行低分辨率处理，得到对应的第一分辨率图像时，具体用于：使用高斯核函数对所述第二分辨率图像进行模糊处理；使用双三次插值法对经模糊处理的第二分辨率图像进行下采样处理，得到对应的第一分辨率图像。
第三方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于任一项上述的方法进行图像处理。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现任一项上述的方法。
本说明书的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，通过获取输入图像的初始特征信息和各级卷积循环单元输出的中间特征信息，再通过对初始特征信息和最后一级卷积循环单元输出的结合特征信息进行上采样卷积操作，并根据所得到的上采样结果得到目标重建图像，通过残差连接和多组卷积循环单元串联的方式提取更深层的特征，并将浅层特征与深层特征进行融合，提高了输入图像的分辨率，从而使图像中的细节更加清楚完整。
附图说明
图1是本公开一示例性实施例示出的图像处理方法的流程图；
图2是本公开一示例性实施例示出的图像处理方法示意图；
图3是本公开一示例性实施例示出的卷积循环单元的结构示意图；
图4是本公开一示例性实施例示出的获取初始特征信息的方法示意图；
图5是本公开一示例性实施例示出的获取中间特征信息的方法示意图；
图6是本公开一示例性实施例示出的上采样卷积方法示意图；
图7是本公开一示例性实施例示出的上采样卷积方法流程图；
图8是本公开一示例性实施例示出的训练神经网络的流程图；
图9是本公开一示例性实施例示出的构建图像训练集的流程图；
图10是本公开一示例性实施例示出的图像处理装置的结构示意图；
图11是本公开一示例性实施例示出的设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
血管造影(Digital Substraction Angiography，简称DSA)是一种是利用显影剂和X光使血管可视化，从而生成血管造影图像序列的技术；该技术用来对血管疾病进行诊断和治疗，由于治疗过程中经常会涉及到血管支架、弹簧圈等精细附件的置入，因此需要在图像中保证这些细节清楚完整，以为医生制定治疗方案提供准确的依据。得到分辨率较高的血管造影图像需要时间的、焦点集中的X光照射，这显然是对受检体(即患者)的健康不利的。因此既需要尽量避免血管造影过程中影响受检体的健康，又需要获得高分辨率的血管造影图像。
首先，本公开提供了一种图像处理方法，对血管造影图像序列进行超分辨率处理，从而提高血管造影图像的分辨率。血管造影过程中便可以最大程度的减小对受检体(即患者)健康的不利影响，但是这样得到血管造影图像往往不能清楚显示图像中的细节，不能满足医生诊断和治疗对于清晰度的要求。图像分辨率低的问题，则通过该处理方法予以解决，具体的方法可以使用基于双线性插值和双三次插值等插值的处理方法，这类方法直观且容易实现，但是重建出的图像较平滑，图像边缘或细节等高频信息很容易损失；还可以使用基于重建的处理方法，包括频域方法、凸集投影方法、最大后验概率方法等，这类方法通常需要加入复杂的先验知识作为约束来保留更多细节，但是当放大倍数增大时，性能往往会下降，并且有较大的时间消耗；还可以使用基于学习的处理方法，该方法通常利用机器学习得到低分辨率图像与其相对应的高分辨率图像之间的映射关系，这类方法中基于单张图像提高分辨率的方式，只是考虑了空间相关性，对于图像序列的应用场景来说缺少对多帧图像之间时间相关性信息的充分利用，而基于图像序列(如视频)提高分辨率的方式，是利用多帧图像进行亚像素级的运动补充，在图像对齐的基础上重建高分辨率图像序列，超分辨率效果并不理想。
血管造影图像序列中相邻帧间存在很强的关联性，而且其包含的信息复杂、精细结构多，因此对于低分辨率图像的超分辨率处理要求高，上述几种方法在分辨率提高倍数较大时，容易出现过于平滑的现象，而且常用的对于多帧图像进行运动补偿的方法不仅会增加计算难度，而且对于相邻帧间的信息利用不充分，不能在提高分辨率的同时清楚的显示支架和弹簧圈等细节。
基于此，请参照附图1，本公开还提供了一种图像处理方法，该方法利用预先训练的神经网络对血管造影图像进行处理，所述神经网络包括卷积单元、N个级联的卷积循环单元和上采样卷积单元；所述方法包括下述步骤101～104。
在步骤101中，将所述输入图像输入至卷积单元，获取所述输入图像的初始特征信息，所述输入图像为血管造影图像序列中的一帧。
在本公开的实施例中，输入图像为血管造影直接得到的图像，由于分辨率较低，在一些情况下不适合直接应用于诊断和治疗，也就是该处理方法的客体，需要通过该方法对其分辨率进行提高，从而满足诊断和治疗的需要。
在本公开的实施例中，处理方法的目的是对输入图像的分辨率进行提高，从而得到分辨率较高的图像，因此输入图像即为低分辨率图像，输出的图像即为超分辨率图像。
参见图2所示的图像处理方法示意图，将低分辨率图像的输入图像输入至卷积单元210，可以获得该低分辨率图像的初始特征信息F0。
在一个示例中，卷积单元可以包括单层卷积层，例如尺寸为3*3*64的卷积层。
在步骤102中，将所述初始特征信息输入至第一级卷积循环单元，得到各级卷积循环单元输出的中间特征信息。
对于N个级联的卷积循环单元，每一级卷积循环单元提取的特征信息均输入至其下一级的卷积循环单元。
如图2所示，卷积单元210输出的初始特征信息F0输入至第1级卷积循环单元221，第1级卷积循环单元221提取输入图像图像的第1级中间特征信息F1；第1级中间特征信息F1被输入至第2级卷积循环单元222，第2级卷积循环单元222提取输入图像的第2级中间特征信息F2，以此类推，每级卷积循环单元均输出一个第二特征信息Fm(m为小于N的整数)，第N级卷积循环单元输出第N级中间特征信息FN。
在一个示例中，每个卷积循环单元的结构可以如图3所示。每个卷积循环单元包含多组采用密集连接与残差连接相结合的方式连接的卷积层，卷积层尺寸例如均为3*3*64，每层都接受前面所有层的特征作为输入，加大了特征复用，并将最后一层提取的特征与输入逐像素相加，得到该卷积循环单元的输出。
步骤103中，对初始特征信息和第N级卷积循环单元输出的中间特征信息相加，得到结合特征信息。
输入图像经卷积单元的特征提取操作所得到的初始特征信息F0是浅层特征信息，而在经过多级卷积循环单元的卷积循环操作处理后，所得到的中间特征信息FN是深层特征信息，通过将初始特征信息F0与中间特征信息FN相加得到结合特征信息FC，对浅层特征信息和深层特征信息进行了融合。
在步骤104中，将所述结合特征信息输入至上采样卷积单元，对所述结合特征信息进行上采样卷积操作，并根据所得到的上采样结果得到目标重建图像。
通过对结合特征信息上采样卷积操作，得到了更高分辨率的特征信息，通过上采样结果以得到相较于图像输入图像具有更高分辨率的目标重建图像。对于上采样结果，例如可以通过1*1的卷积核获得目标重建图像。
本公开实施例中，通过获取输入图像的初始特征信息和各级卷积循环单元输出的中间特征信息，再通过对初始特征信息和最后一级卷积循环单元输出的结合特征信息进行上采样卷积操作，并根据所得到的上采样结果得到目标重建图像，通过残差连接和多组卷积循环单元串联的方式提取更深层的特征，并将浅层特征与深层特征进行融合，提高了输入图像的分辨率，从而使图像中的细节更加清楚完整。
对于图2所示的神经网络结构，在各个卷积循环单元所输入的特征信息，皆为针对输入图像，也即是当前时刻图像的特征信息的情况下，可以将这种神经网络称为单帧神经网络。而在各个卷积循环单元所输入的特征，不仅与当前时刻图像的特征信息相关，还和之前时刻图像的特征信息相关的情况下，可以将这种神经网络称为融合神经网络。以下结合图4和图5对融合神经网络进行具体描述。
图4示出了利用融合神经网络获取初始特征信息的方法示意图。如图4所示，卷积单元400包含第一卷积子单元410和第二卷积子单元420，其中第一卷积子单元410和第二卷积子单元420均可以包含一个或多个卷积层。
根据输入图像获取初始特征信息的过程如下：首先，将输入图像输入至第一卷积子单元410，得到第一初始特征信息F01；接下来，将级联的多个特征信息输入至所述第二卷积子单元420，得到第二初始特征信息F02，所述级联的多个特征信息包括第一初始特征信息F01和第二卷积子单元420对于所述输入图像的前一帧输出的第二初始特征信息F02。也即是说，第一卷积子单元410输出的第一初始特征信息F01和前一帧的第二初始特征信息F02级联后，输入到第二卷积子单元420，第二卷积子单元420输出针对当前帧的第二初始特征信息F02。第一初始特征信息F01和第二初始特征信息F02形成卷积单元400的初始特征信息F0。
对于每级卷积循环单元，其中的第一卷积循环子单元输出的第一中间特征信息和第二卷积循环子单元输出的第二中间特征信息，构成了该级卷积循环单元输出的中间特征信息。
在本公开实施例中，卷积单元输出的初始特征信息融合了前一帧图像的特征信息，利用了血管造影图像序列的时间相关性，有利于提高目标重建图像的分辨率。
图5示出了利用融合神经网络获取中间特征信息的方法示意图。各个卷积循环单元包括第一卷积循环子单元和第二卷积循环子单元，并且各级第一卷积循环子单元输入至下一级卷积循环子单元。
根据初始特征信息获取中间特征信息的过程如下：
将所述特征信息输入至第一级卷积循环子单元511，得到各级卷积循环子单元输出的第一中间特征信息。在一个示例中，可以将初始特征信息F0中的第一初始特征信息F01输入至第一级卷积循环子单元511，第一级卷积循环子单元511输出第一中间特征信息F11，第一级卷积循环子单元512输出第一中间特征信息F12，以此类推，第一第一级卷积循环子单元51N输出第一中间特征信息F1N。
将级联的多个特征信息输入至各级卷积循环单元中的第二卷积循环子单元，得到第二中间特征信息，对于第i级第二卷积循环子单元，所述级联的多个特征信息包括第i级第一卷积循环子单元对于所述输入图像输出的第一中间特征信息、第i-1级第二卷积循环子单元对于所述输入图像输出的第二中间特征信息和第i级第二卷积循环子单元对于所述输入图像的前一帧输出的第二中间特征信息，其中，i为小于或等于N的正整数。
以第2级第二卷积循环子单元为例，级联输入的多个特征信息包括第2级第一卷积循环子单元对于输入图像，也即当前帧，输出的第一中间特征信息F11，第1级第二卷积循环子单元对于当前帧输出的第二中间特征信息F21，以及第2级第二卷积循环子单元对于前一帧输出的第二中间特征信息F21。
在本公开实施例中，各级卷积循环单元输出的中间特征信息都融合了前一帧图像的特征信息以及对应级的初始特征信息，利用了血管造影图像序列的时间相关性和空间相关性，有利于提高目标重建图像的分辨率，使得目标重建图像中的细节更加清楚完整。
在本公开的一些实施例中，可以利用亚像素卷积层构建上采样卷积单元，例如，可以利用M级上采样卷积子单元来构建上采样卷积单元，其中，对于放大倍数较大的场景，如4倍，8倍等，可以采用逐级放大的方式得到最终的超分辨率图像。
图6示出了上采样卷积的方法示意图。如图6所示，上采样卷积单元包括M个上采样卷积子单元611、612…61M。图7示出了上采样卷积方法的流程图。
在步骤701中，将所述结合特征信息输入至第j级上采样卷积子单元，输出第j级上采样结果；
在步骤702中，根据第j级上采样结果得到第j级重建图像，并将所述第j级重建图像作为输入图像得到所述结合特征信息；
在步骤703中，将所述第j级上采样卷积单元和所述结合特征信息相加，并将相加的结合输入至第j+1级上采样卷积单元；
在步骤704中，根据第M级上采样卷积单元输出的第M级上采样结果得到目标重建图像，其中，M为正整数，j为小于或等于M-1的正整数。
也即，对于第1级上采样子单元611，输入的是针对输入图像得到的结合特征信息Fc0，根据输出的上采样结果进行图像重建，得到重建图像P1，并将重建图像P1作为输入图像输入至神经网络，得到针对重建图像P1的结合特征信息Fc1。接下来，将第1级上采样子单元611输出的上采样结果，和针对重建图像P1的结合特征信息Fc1输入相加的结合输入至第2级上级采样子单元612，以此类推，直至第M级上采样卷积子单元输出第M级上采样结果，并根据所述上采样结果得到目标重建图像。
在本公开实施例中，各级上采样卷积子单元的上采样过程是对输入图像提高分辨率的过程，且各级上采样卷积子单元是逐倍增加输入图像的分辨率的。最后一级(即第M级)的重建图像分辨率最高，对应的放大倍数最大，因此将其确定为目标重建图像。4倍放大倍数为例，第1级上采样卷积子单元得到放大2倍的超分图像，然后将该超分图像作为第2级上采样卷积子单元的输入，层叠之前的残差网络结构和上采样卷积子单元的输出，得到放大4倍的超分图像，改善了直接放大4倍导致的超分图像过于平滑的缺陷。
本公开通过将残差网络结构和多个上采样卷积子单元的结构相结合，能够实现对输入图像的分辨率逐级放大的目的，有效提升了神经网络的网络性能，能够重建出充分利用时空信息、保持细节的超分辨率图像。
请参照附图8，本公开还提供了对神经网络预先训练的方法，具体的包括步骤801至步骤804。
在步骤801中，将预先获得的图像训练集中的一个第一分辨率图像输入至所述神经网络，其中，所述图像训练集包括血管造影图像对序列，每一个所述血管造影图像对均包括针对同一血管的第一分辨率图像和第二分辨率图像，所述第二分辨率图像包括与各级上采样卷积单元的放大倍数相对应的各级第二分辨图像，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率。
其中的第一分辨率图像和第二分辨率图像由于存在分辨率的大小关系，因此第一分辨率图像可以称为低分辨率图像，第二分辨率图像可以称为高分辨率图像(真实图像)。对神经网络进行训练，以使第一分辨率图像输入至神经网络后，能够输出分辨率接近第二分辨率图像的图像。
在步骤802中，获得所述神经网络中各级上采样卷积单元对应的各级重建图像。
如前所述，图像处理过程中，各级上采样卷积单元能够输出各级重建图像，在训练过程中，神经网络执行同样的输入输出操作，因此也能够输出对应于第一分辨率图像的各级重建图像。
在步骤803中，根据第一分辨率图像对应的各级重建图像和第一分辨率图像对应的第二分辨率图像确定网络损失值。
在本步骤中，各级重建图像的分辨率提高倍数逐渐增加，因此分辨率逐渐提高，越来越接近第二分辨率图像的分辨率，因此可以通过各级重建图像与各级第二分辨率图像的分辨率差距确定网络损失值。
在一个示例中，首先，分别根据第一分辨率图像对应的每级输出图像和第一分辨率图像对应的第二分辨率图像确定对应的各级损失值；再分别根据各级重建图像对应的权重和各级损失值确定网络损失值。
在本公开实施例中，所采用的损失函数如公式(1)所示：
Ltotal＝λ1L1+λ2L2+…λMLM (1)
其中，L1、L2、…、LM为各级上次样卷积单元的损失，λ1、λ2、…、λM各级损失对应的权重，其可以根据所需要的目标重建图像的分辨率具体设置。
计算每级重建图像与相应的第二分辨率图像的损失值，每个上采样卷积单元的重建结果均进行监督，降低了各级分辨率图像与各级第二分辨率图像之间的误差。
在步骤804中，基于所述网络损失值，对神经网络的网络参数进行调整。
在本步骤中，通过网络损失值能够反馈出神经网路的网络参数的偏差，通过对网络参数的调整，逐渐最小化网络损失值，使各级重建图像与各级第二分辨率图像间的差异逐渐缩小。
在一个示例中，当网络损失值小于预设损失值阈值时，停止对神经网络的网络参数的调整，和/或当调整次数超过预设次数阈值时，停止对神经网络的网络参数的调整。由于训练开始时设置了学习率和迭代次数，且随机初始化了各层和各级的权重与偏差，因此当当网络损失值小于预设损失值阈值时即为损失函数精度达到了预设要求，当调整次数超过预设次数阈值即为达到最大迭代次数，因此两种情况都可以结束训练，保存训练好的模型。
该训练方法基于深度学习，相比于传统方法，它可以直接学习低分辨率图像到高分辨率图像之间的映射关系，是一种端对端的学习方法，使用完成训练的神经网络进行图像处理，能够取得比传统方法更好的超分效果。
请参照附图9，本公开还提供了构建图像训练集的方法，具体的包括步骤901至步骤903。
在步骤901中，获取第二分辨率图像序列，所述序列中的第二分辨率图像包括与各级上采样卷积单元的放大倍数相对应的各级第二分辨图像。
举例来说，对于两级上采样卷积单元，第一级上采样卷积单元对应的放大倍数为2，第二级上采样卷积单元对应的放大倍数为4，则所述序列中的第二分辨率图像包括两级第二分辨率图像，分别与2倍放大倍数和4倍放大倍数相对应。
在本步骤中，可以通过收集临床中的高分辨率的血管造影图像序列来获得第二分辨率图像序列，高分辨率的血管造影图像是在小焦点的X光和长时间的照射条件下由血管造影设备拍摄得到的，而且这些高分辨率图像至少需要包含弹簧圈、支架、细小血管等对象中的一个。
在步骤902中，对与最高级上采样卷积单元的放大倍数相对应的第二分辨率图像进行低分辨率处理，得到对应的第一分辨率图像，所述第二分辨率图像和对应的第一分辨率图像组成一个血管造影图像对。
对于以上示例，所形成的一个血管造影图像对包括与4倍放大倍数对应的第二分辨率图像、与2倍放大倍数对应的第二分辨率图像，以及对应的第一分辨率图像，其中，所述第一分辨率图像通过对4倍放大倍数对应的第二分辨率图像进行低分辨率处理获得。
在本步骤中，对第二分辨率图像进行低分辨率处理，所得到的第一分辨率图像应尽可能贴近临床实际拍摄的低分辨率图像，这样预测时才会得到与训练过程接近的图像性能。通过第二分辨率图像的低分辨率处理所得到的第一分辨率图像是与之对应的，二者所包含的内容完全相同，区别仅在于分辨率不同，因此以第一分辨率图像作为输入图像，神经网络所输出的目标重建图像若接近第二分辨率图像，则神经网络的处理能力强，处理结果可靠，若与第二分辨率图像的分辨率差距较大，则神经网络的处理能力差，处理结果不可靠，需要对神经网络的网络参数进行调整。
在一个示例中，对第一分辨率图像的低分辨率处理是按照下述步骤进行的：首先，使用高斯核函数对与最高级上采样卷积单元的放大倍数相对应的第二分辨率图像进行低分辨率处理；再使用双三次插值法对第二分辨率图像进行下采样处理，得到对应的第一分辨率图像。
在步骤903中，根据第二分辨率图像序列的顺序排列血管造影图像对，形成图像训练集。
由于每一个第一分辨率图像均形成了对应的血管造影图像对，因此原来的第一分辨率图像序列对应形成血管造影图像对序列，而血管造影图像对序列又是用来对神经网络进行训练的，即每一个血管造影图像对中的第一分辨率图像作为输入图像，对应的第二分辨率图像作为目标图像，因此血管造影图像对序列即为图像训练集。神经网络训练过程中挑选其中的部分或全部血管造影图像对进行训练。
第二方面，如图10所示，提供一种图像处理装置，利用预先训练的神经网络对血管造影图像进行处理，所述神经网络包括卷积单元、N个级联的卷积循环单元和上采样卷积单元；所述装置包括：初始特征获取模块，所述第一模块用于获取输入图像的初始特征信息，所述输入图像为血管造影图像序列中的一帧；中间特征获取模块，所述第二模块用于将所述初始特征信息输入至第一级卷积循环单元，得到各级卷积循环单元输出的中间特征信息；结合特征获取模块，所述第三模块用于对初始特征信息和第N级卷积循环单元输出的中间特征信息相加，得到结合特征信息；重建模块，所述重建模块用于将所述结合特征信息进行上采样卷积操作，并根据所得到的上采样结果得到目标重建图像，其中，N为正整数。
在一些实施例中，所述卷积单元包括第一卷积子单元和第二卷积子单元；所述初始特征获取单元具体用于：将所述输入图像输入至所述第一卷积子单元，得到第一初始特征信息；将级联的多个特征信息输入至所述第二卷积子单元，得到第二初始特征信息，所述级联的多个特征信息包括第一初始特征信息和第二卷积子单元对于所述输入图像的前一帧输出的第二初始特征信息。
在一些实施例中，所述卷积循环单元包括第一卷积循环子单元和第二卷积循环子单元，其中，各级第一卷积循环子单元输入至下一级卷积循环子单元；所述中间特征获取单元具体用于：将所述初始特征信息输入至第一级卷积循环子单元，得到各级卷积循环子单元输出的第一中间特征信息；将级联的多个特征信息输入至各级卷积循环单元中的第二卷积循环子单元，得到第二中间特征信息，对于第i级第二卷积循环子单元，所述级联的多个特征信息包括第i级第一卷积循环子单元对于所述输入图像输出的第一中间特征信息、第i-1级第二卷积循环子单元对于所述输入图像输出的第二中间特征信息和第i级第二卷积循环子单元对于所述输入图像的前一帧输出的第二中间特征信息，其中，i为小于或等于N的正整数。
在一些实施例中，在获取输入图像的初始特征信息之前，所述卷积单元包括第一卷积子单元和第二卷积子单元；所述将所述输入图像输入至卷积单元，获取所述输入图像的初始特征信息，包括：将所述输入图像输入至所述第一卷积子单元，得到第一初始特征信息；将级联的多个特征信息输入至所述第二卷积子单元，得到第二初始特征信息，所述级联的多个特征信息包括第一初始特征信息和第二循环子单元对于所述输入图像的前一帧输出的第二初始特征信息。
在一些实施例中，所述神经网络还包括M级上采样卷积子单元；所述重建单元具体用于：将所述结合特征信息输入至第j级上采样卷积子单元，输出第j级上采样结果；根据第j级上采样结果得到第j级重建图像，并将所述第j级重建图像作为输入图像得到所述结合特征信息；将所述第j级上采样结果和所述结合特征信息相加，并将相加的结果输入至第j+1级上采样卷积子单元；根据第M级上采样卷积子单元输出的第M级上采样结果得到目标重建图像，其中，M为正整数，j为小于或等于M-1的正整数。
在一些实施例中，所述装置还包括训练单元，用于：将预先获得的图像训练集中的一个第一分辨率图像输入至所述神经网络，其中，所述图像训练集包括血管造影图像对序列，每一个所述血管造影图像对均包括针对同一血管造影图像的第一分辨率图像和第二分辨率图像，所述第二分辨率图像包括与各级上采样卷积单元的放大倍数相对应的各级第二分辨图像，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率；获得所述神经网络中各级上采样卷积单元对应的各级重建图像；根据第一分辨率图像对应的各级重建图像和第一分辨率图像对应的各级第二分辨率图像确定网络损失值；基于所述网络损失值，对神经网络的网络参数进行调整。
在一些实施例中，所述训练单元在用于根据第一分辨率图像对应的各级重建图像和第一分辨率图像对应的各级第二分辨率图像确定网络损失值时，具体用于：分别根据第一分辨率图像对应的每级输出图像和第一分辨率图像对应的第二分辨率图像确定各级损失值；分别根据各级重建图像对应的权重和各级损失值确定网络损失值；所述基于所述网络损失值，对神经网络的网络参数进行调整，包括：当网络损失值小于预设损失值阈值时，停止对神经网络的网络参数的调整，和/或当调整次数超过预设次数阈值时，停止对神经网络的网络参数的调整。
在一些实施例中，所述装置还包括训练集获取单元，用于在将预先获得的图像训练集中的一个第一分辨率图像输入至所述神经网络，所述处理方法还包括：获取第二分辨率图像序列，所述序列中的第二分辨率图像包括与各级上采样卷积单元的放大倍数相对应的各级第二分辨图像；对与最高级上采样卷积单元的放大倍数相对应的第二分辨率图像进行低分辨率处理，得到对应的第一分辨率图像，所述第二分辨率图像和对应的第一分辨率图像组成一个血管造影图像对；根据第二分辨率图像序列的顺序排列所述血管造影图像对，形成图像训练集。
在一些实施例中，所述训练集获取单元在用于对与最高级上采样卷积单元的放大倍数相对应的第二分辨率图像进行低分辨率处理时，具体用于：使用高斯核函数对第二分辨率图像进行模糊处理；使用双三次插值法对经模糊处理的第二分辨率图像进行下采样处理，得到对应的第一分辨率图像。
第三方面，如图11所示，提供一种设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于任一项上述的方法进行图像处理。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现任一项上述的方法。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位***(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种***模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和***通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，利用预先训练的神经网络对血管造影图像进行处理，所述神经网络包括卷积单元、N个级联的卷积循环单元和上采样卷积单元；所述方法包括：
将所述输入图像输入至卷积单元，获取所述输入图像的初始特征信息，所述输入图像为血管造影图像序列中的一帧；
将所述初始特征信息输入至第一级卷积循环单元，得到各级卷积循环单元输出的中间特征信息；
对初始特征信息和第N级卷积循环单元输出的中间特征信息相加，得到结合特征信息；
将所述结合特征信息输入至上采样卷积单元，对所述结合特征信息进行上采样卷积操作，并根据所得到的上采样结果得到目标重建图像，其中，N为正整数。
2.根据权利要求1所述的方法，其特征在于，所述卷积单元包括第一卷积子单元和第二卷积子单元；
所述将所述输入图像输入至卷积单元，获取所述输入图像的初始特征信息，包括：
将所述输入图像输入至所述第一卷积子单元，得到第一初始特征信息；
将级联的多个特征信息输入至所述第二卷积子单元，得到第二初始特征信息，所述级联的多个特征信息包括第一初始特征信息和第二卷积子单元对于所述输入图像的前一帧输出的第二初始特征信息。
3.根据权利要求1所述的方法，其特征在于，所述卷积循环单元包括第一卷积循环子单元和第二卷积循环子单元，其中，各级第一卷积循环子单元输入至下一级卷积循环子单元；
所述将所述初始特征信息输入至第一级卷积循环单元，得到各级卷积循环单元输出的中间特征信息，包括：
将所述初始特征信息输入至第一级卷积循环子单元，得到各级卷积循环子单元输出的第一中间特征信息；
将级联的多个特征信息输入至各级卷积循环单元中的第二卷积循环子单元，得到第二中间特征信息，对于第i级第二卷积循环子单元，所述级联的多个特征信息包括第i级第一卷积循环子单元对于所述输入图像输出的第一中间特征信息、第i-1级第二卷积循环子单元对于所述输入图像输出的第二中间特征信息和第i级第二卷积循环子单元对于所述输入图像的前一帧输出的第二中间特征信息，其中，i为小于或等于N的正整数。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述神经网络还包括M级上采样卷积子单元；所述将所述结合特征信息输入至上采样卷积单元，对所述结合特征信息进行上采样卷积操作，并根据所得到的上采样结果得到目标重建图像包括：
将所述结合特征信息输入至第j级上采样卷积子单元，输出第j级上采样结果；
根据第j级上采样结果得到第j级重建图像，并将所述第j级重建图像作为输入图像得到所述结合特征信息；
将所述第j级上采样结果和所述结合特征信息相加，并将相加的结果输入至第j+1级上采样卷积子单元；
根据第M级上采样卷积子单元输出的第M级上采样结果得到目标重建图像，其中，M为正整数，j为小于或等于M-1的正整数。
5.根据权利要求4所述的方法，其特征在于，所述处理方法还包括：
在获取输入图像的初始特征信息之前，将预先获得的图像训练集中的一个第一分辨率图像输入至所述神经网络，其中，所述图像训练集包括血管造影图像对序列，每一个所述血管造影图像对均包括针对同一血管造影图像的第一分辨率图像和第二分辨率图像，所述第二分辨率图像包括与各级上采样卷积单元的放大倍数相对应的各级第二分辨图像，所述第一分辨率图像的分辨率低于所述第二分辨率图像的分辨率；
获得所述神经网络中各级上采样卷积单元对应的各级重建图像；
根据第一分辨率图像对应的各级重建图像和第一分辨率图像对应的各级第二分辨率图像确定网络损失值；
基于所述网络损失值，对神经网络的网络参数进行调整。
6.根据权利要求5所述的方法，其特征在于，所述根据第一分辨率图像对应的各级重建图像和第一分辨率图像对应的各级第二分辨率图像确定网络损失值，包括：
分别根据第一分辨率图像对应的每级输出图像和第一分辨率图像对应的第二分辨率图像确定各级损失值；
分别根据各级重建图像对应的权重和各级损失值确定网络损失值；
所述基于所述网络损失值，对神经网络的网络参数进行调整，包括：
当网络损失值小于预设损失值阈值时，停止对神经网络的网络参数的调整，和/或当调整次数超过预设次数阈值时，停止对神经网络的网络参数的调整。
7.根据权利要求5或6所述的方法，其特征在于，在将预先获得的图像训练集中的一个第一分辨率图像输入至所述神经网络，所述处理方法还包括：
获取第二分辨率图像序列，所述序列中的第二分辨率图像包括与各级上采样卷积单元的放大倍数相对应的各级第二分辨图像；
对与最高级上采样卷积单元的放大倍数相对应的第二分辨率图像进行低分辨率处理，得到对应的第一分辨率图像，所述第二分辨率图像和对应的第一分辨率图像组成一个血管造影图像对；
根据第二分辨率图像序列的顺序排列所述血管造影图像对，形成图像训练集。
8.根据权利要求7所述的方法，其特征在于，所述对与最高级上采样卷积单元的放大倍数相对应的第二分辨率图像进行低分辨率处理，得到对应的第一分辨率图像，包括：
使用高斯核函数对所述第二分辨率图像进行模糊处理；
使用双三次插值法对经模糊处理的第二分辨率图像进行下采样处理，得到对应的第一分辨率图像。
9.一种图像处理装置，其特征在于，利用预先训练的神经网络对血管造影图像进行处理，所述神经网络包括卷积单元、N个级联的卷积循环单元和上采样卷积单元；所述装置包括：
初始特征获取模块，所述第一模块用于获取输入图像的初始特征信息，所述输入图像为血管造影图像序列中的一帧；
中间特征获取模块，所述第二模块用于将所述初始特征信息输入至第一级卷积循环单元，得到各级卷积循环单元输出的中间特征信息；
结合特征获取模块，所述第三模块用于对初始特征信息和第N级卷积循环单元输出的中间特征信息相加，得到结合特征信息；
重建模块，所述重建模块用于将所述结合特征信息进行上采样卷积操作，并根据所得到的上采样结果得到目标重建图像，其中，N为正整数。
10.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于权利要求1至8中任一项所述的方法进行图像处理。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至8中任一项所述的方法。
CN202010137174.8A 2020-03-02 2020-03-02 图像处理方法、装置、设备及存储介质 Active CN111462041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010137174.8A CN111462041B (zh) 2020-03-02 2020-03-02 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010137174.8A CN111462041B (zh) 2020-03-02 2020-03-02 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111462041A true CN111462041A (zh) 2020-07-28
CN111462041B CN111462041B (zh) 2023-05-05

Family

ID=71684156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010137174.8A Active CN111462041B (zh) 2020-03-02 2020-03-02 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111462041B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116525121A (zh) * 2023-07-05 2023-08-01 昆明同心医联科技有限公司 栓塞动脉瘤的首发弹簧圈推荐模型建立方法及其应用

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080062287A1 (en) * 2006-05-08 2008-03-13 Agrawal Amit K Increasing Object Resolutions from a Motion-Blurred Image
JP2017034682A (ja) * 2016-09-08 2017-02-09 株式会社ニコン 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
CN108376386A (zh) * 2018-03-23 2018-08-07 深圳天琴医疗科技有限公司 一种图像的超分辨率模型的构建方法及装置
CN109272452A (zh) * 2018-08-30 2019-01-25 北京大学 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN109345449A (zh) * 2018-07-17 2019-02-15 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN109886871A (zh) * 2019-01-07 2019-06-14 国家新闻出版广电总局广播科学研究院 基于通道注意力机制和多层特征融合的图像超分辨率方法
CN110097611A (zh) * 2019-04-28 2019-08-06 上海联影智能医疗科技有限公司 图像重建方法、装置、设备及存储介质
CN110717856A (zh) * 2019-09-03 2020-01-21 天津大学 一种用于医学成像的超分辨率重建算法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080062287A1 (en) * 2006-05-08 2008-03-13 Agrawal Amit K Increasing Object Resolutions from a Motion-Blurred Image
JP2017034682A (ja) * 2016-09-08 2017-02-09 株式会社ニコン 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
CN108376386A (zh) * 2018-03-23 2018-08-07 深圳天琴医疗科技有限公司 一种图像的超分辨率模型的构建方法及装置
CN109345449A (zh) * 2018-07-17 2019-02-15 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN109272452A (zh) * 2018-08-30 2019-01-25 北京大学 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN109886871A (zh) * 2019-01-07 2019-06-14 国家新闻出版广电总局广播科学研究院 基于通道注意力机制和多层特征融合的图像超分辨率方法
CN110097611A (zh) * 2019-04-28 2019-08-06 上海联影智能医疗科技有限公司 图像重建方法、装置、设备及存储介质
CN110717856A (zh) * 2019-09-03 2020-01-21 天津大学 一种用于医学成像的超分辨率重建算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
C.A. SEGALL 等: "Bayesian resolution enhancement of compressed video", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
JIWON KIM 等: "Deeply-Recursive Convolutional Network for Image Super-Resolution", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
刘颖 等: "图像超分辨率技术的回顾与展望", 《计算机科学与探索》 *
唐家军 等: "功能型复合深度网络的图像超分辨率重建", 《计算机科学与探索》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116525121A (zh) * 2023-07-05 2023-08-01 昆明同心医联科技有限公司 栓塞动脉瘤的首发弹簧圈推荐模型建立方法及其应用
CN116525121B (zh) * 2023-07-05 2023-09-26 昆明同心医联科技有限公司 栓塞动脉瘤的首发弹簧圈推荐模型建立方法及其应用

Also Published As

Publication number Publication date
CN111462041B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
Dong et al. Multi-scale boosted dehazing network with dense feature fusion
US10991100B2 (en) Disease detection algorithms trainable with small number of positive samples
EP3719744A1 (en) Method and system for machine learning based segmentation of contrast filled coronary artery vessels on medical images
CN112489154A (zh) 基于局部优化生成对抗网络的mri运动伪影校正方法
CN109525859A (zh) 模型训练、图像发送、图像处理方法及相关装置设备
US11360180B2 (en) Methods, systems, and computer readable media for using a trained adversarial network for performing retrospective magnetic resonance imaging (MRI) artifact correction
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
Upadhyay et al. A mixed-supervision multilevel gan framework for image quality enhancement
WO2023005140A1 (zh) 视频数据处理方法、装置、设备以及存储介质
Rivadeneira et al. Thermal image super-resolution challenge-pbvs 2021
Shin et al. COSMOS: cross-modality unsupervised domain adaptation for 3D medical image segmentation based on target-aware domain translation and iterative self-training
CN116681584A (zh) 一种多级扩散图像超分辨算法
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN111462041B (zh) 图像处理方法、装置、设备及存储介质
CN115731214A (zh) 一种基于人工智能的医学图像分割方法及装置
Liu et al. Facial image inpainting using multi-level generative network
Ni et al. SSCA‐Net: Simultaneous Self‐and Channel‐Attention Neural Network for Multiscale Structure‐Preserving Vessel Segmentation
CN111462004B (zh) 图像增强方法和装置、计算机设备、存储介质
Park et al. Blended-transfer learning for compressed-sensing cardiac CINE MRI
CN113506226B (zh) 运动模糊复原方法及***
CN108629739B (zh) Hdr图像的生成方法、装置及移动终端
CN111382845B (zh) 一种基于自注意力机制的模板重建方法
CN113538236A (zh) 一种基于生成对抗网络的图像超分辨率重构方法
Kumar et al. Fractional Sailfish Optimizer with Deep Convolution Neural Network for Compressive Sensing Based Magnetic Resonance Image Reconstruction
Wu et al. Combined spatial and temporal deep learning for image noise reduction of fluoroscopic x-ray sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant