CN109741254B - 字典训练及图像超分辨重建方法、***、设备及存储介质 - Google Patents
字典训练及图像超分辨重建方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN109741254B CN109741254B CN201811519177.7A CN201811519177A CN109741254B CN 109741254 B CN109741254 B CN 109741254B CN 201811519177 A CN201811519177 A CN 201811519177A CN 109741254 B CN109741254 B CN 109741254B
- Authority
- CN
- China
- Prior art keywords
- resolution
- low
- sample
- sample image
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 title abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 63
- 238000010801 machine learning Methods 0.000 claims abstract description 48
- 238000004422 calculation algorithm Methods 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 25
- 238000003066 decision tree Methods 0.000 claims description 18
- 238000002591 computed tomography Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 4
- 238000005316 response function Methods 0.000 claims description 4
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000002600 positron emission tomography Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 13
- 230000005855 radiation Effects 0.000 abstract description 7
- 238000012216 screening Methods 0.000 abstract description 3
- 230000014509 gene expression Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005469 granulation Methods 0.000 description 1
- 230000003179 granulation Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明适用计算机技术领域，提供了一种字典训练及图像超分辨重建方法、***、设备及存储介质，该方法包括：获得低分辨率待处理图像后，利用所获取的高、低分辨率字典对其进行图像超分辨重建，得到高分辨率成像图像，其中涉及：通过定义并机器学习相应的高、低分辨率样本特征数据之间的映射关系；对得到的多个映射关系进行机器学习分类筛选，得到一个最终的映射关系；以该最终的映射关系进行机器学习，得到相应的高、低分辨率字典。这样，可采用低辐射剂量、短CT时间成像得到的低分辨率成像图像，重建得到高分辨率图像，可减少因病人运动而引起的伪影现象的发生，从而在保证CT图像质量的同时实现快速扫描，且降低辐射剂量。
Description
技术领域
本发明属于计算机技术领域，尤其涉及一种字典训练及图像超分辨重建方法、***、设备及存储介质。
背景技术
电子计算机断层扫描(Computed Tomography，CT)是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作断面扫描，可用于多种疾病的检查，是我国装机量最大的医疗影像诊断设备之一。
通过低剂量的CT得到的图像分辨率低，通常会具有高噪音、较为模糊且颗粒化明显，这对于临床医学上的观察是不可靠的，非常有可能造成误诊的情况，目前为保证CT图像高分辨率，采用的是高剂量的CT，但高剂量CT会产生高强度的辐射而对病人身体产生极大的伤害，并且由于需要全采样，因此CT时间较长，同时容易出现因病人运动而引起的伪影现象。
发明内容
本发明的目的在于提供一种字典训练及图像超分辨重建方法、***、设备及存储介质，旨在解决现有技术所存在的、无法在保证CT图像质量的同时降低对病人的辐射剂量的问题。
一方面，本发明提供了一种字典获取方法，所述字典获取方法包括下述步骤：
获得高分辨率样本图像以及与所述高分辨率样本图像对应的低分辨率样本图像；
从所述高分辨率样本图像中选取高分辨率样本图像块，从所述低分辨率样本图像中选取与所述高分辨率样本图像块对应的低分辨率样本图像块，以组成样本图像块对；
对所述样本图像块对中的高分辨率样本图像块及所述低分辨率样本图像块进行特征提取，得到组成样本图像块对数据的高分辨率样本特征数据及低分辨率样本特征数据；
基于所述高分辨率样本图像块在高分辨率字典上的稀疏表达与所述低分辨率样本图像块在对应的低分辨率字典上的稀疏表达一致，定义所述样本图像块对数据中所述高分辨率样本特征数据与所述低分辨率样本特征数据之间的映射关系，所述映射关系依赖于所述低分辨率样本特征数据；
将所述样本图像块对数据分组后所得到的每个样本图像块对数据组，分别采用第一机器学习算法进行学习，得到每一所述第一机器学习算法所对应的、映射关系临时最优解；
通过第二机器学习算法，从所述映射关系临时最优解的集合中，确定一所述映射关系临时最优解作为映射关系最终解；
以所述映射关系最终解及所述低分辨率样本特征数据，计算得到高分辨率临时样本特征数据，所述高分辨率临时样本特征数据以及所述低分辨率样本特征数据组成临时样本图像块对数据；
将所述临时样本图像块对数据采用相应的第三机器学习算法进行学习，解出所述高分辨率字典及所述低分辨率字典，所述第三机器学习算法中定义有所述高分辨率临时样本特征数据、所述低分辨率样本特征数据、所述高分辨率字典及所述低分辨率字典的约束关系。
进一步的，所述第一机器学习算法具体为：决策树算法，所述决策树算法中定义了节点***函数，所述节点***函数以一依赖于所述低分辨率样本特征数据的响应函数作为约束条件。
进一步的，所述决策树算法中还定义了一依赖于所述低分辨率样本特征数据及所述高分辨率样本特征数据的质量函数。
进一步的，所述决策树算法的决策树数量及深度因需适应性选择。
另一方面，本发明还提供了一种图像超分辨重建方法，所述图像超分辨重建方法基于如上述的字典获取方法，所述图像超分辨重建方法包括：
获得低分辨率待处理图像；
利用所述高分辨率字典及所述低分辨率字典，对所述低分辨率待处理图像进行图像超分辨重建。
进一步的，所述字典获取方法或所述图像超分辨重建方法应用于电子计算机断层扫描CT图像、正电子发射型计算机断层显像PET图像或单光子发射型计算机断层成像SPECT图像。
另一方面，本发明提供了一种计算***，所述***包括：
预处理单元，用于获得高分辨率样本图像以及与所述高分辨率样本图像对应的低分辨率样本图像；从所述高分辨率样本图像中选取高分辨率样本图像块，从所述低分辨率样本图像中选取与所述高分辨率样本图像块对应的低分辨率样本图像块，以组成样本图像块对；对所述样本图像块对中的高分辨率样本图像块及所述低分辨率样本图像块进行特征提取，得到组成样本图像块对数据的高分辨率样本特征数据及低分辨率样本特征数据；以及，
字典获取单元，用于基于所述高分辨率样本图像块在高分辨率字典上的稀疏表达与所述低分辨率样本图像块在对应的低分辨率字典上的稀疏表达一致，定义所述样本图像块对数据中所述高分辨率样本特征数据与所述低分辨率样本特征数据之间的映射关系，所述映射关系依赖于所述低分辨率样本特征数据；将所述样本图像块对数据分组后所得到的每个样本图像块对数据组，分别采用第一机器学习算法进行学习，得到每一所述第一机器学习算法所对应的、映射关系临时最优解；通过第二机器学习算法，从所述映射关系临时最优解的集合中，确定一所述映射关系临时最优解作为映射关系最终解；以所述映射关系最终解及所述低分辨率样本特征数据，计算得到高分辨率临时样本特征数据，所述高分辨率临时样本特征数据以及所述低分辨率样本特征数据组成临时样本图像块对数据；将所述临时样本图像块对数据采用相应的第三机器学习算法进行学习，解出所述高分辨率字典及所述低分辨率字典，所述第三机器学习算法中建立了所述高分辨率临时样本特征数据、所述低分辨率样本特征数据、所述高分辨率字典及所述低分辨率字典的约束关系。
进一步的，所述***还包括：
重建单元，用于获得低分辨率待处理图像；利用所述高分辨率字典及所述低分辨率字典，对所述低分辨率待处理图像进行图像超分辨重建。
另一方面，本发明还提供了一种计算设备，包括存储器及处理器，所述处理器执行所述存储器中存储的计算机程序时实现如上述方法中的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法中的步骤。
本发明在获得低分辨率待处理图像后，利用所获取的高、低分辨率字典对其进行图像超分辨重建，得到高分辨率成像图像，其中涉及：通过定义并机器学习相应的高、低分辨率样本特征数据之间的映射关系；对得到的多个映射关系进行机器学习分类筛选，得到一个最终的映射关系；以该最终的映射关系进行机器学习，得到相应的高、低分辨率字典。这样，可采用低辐射剂量、短CT时间成像得到的低分辨率成像图像，重建得到高分辨率图像，可减少因病人运动而引起的伪影现象的发生，从而在保证CT图像质量的同时实现快速扫描，且降低辐射剂量。
附图说明
图1是本发明实施例一提供的字典获取方法的实现流程图；
图2是本发明实施例所涉及的高分辨率样本图像；
图3是本发明实施例所涉及的低分辨率样本图像；
图4是本发明实施例四提供的图像超分辨重建方法的实现流程图；
图5是本发明实施例所涉及的高分辨率成像图像；
图6是图2中的细节A放大图；
图7是图3中的细节B放大图；
图8是图5中的细节C放大图；
图9是本发明实施例五提供的计算***的结构示意图；
图10是本发明实施例六提供的计算***的结构示意图；
图11是本发明实施例七提供的计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的字典获取方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，获得高分辨率样本图像以及与高分辨率样本图像对应的低分辨率样本图像。
本实施例中，在进行字典获取处理前，需要准备样本图像集合，该集合中存在样本图像对，样本图像对包含针对于同一场景的相对应的高分辨率样本图像以及低分辨率样本图像，如图2及图3所示。高分辨率样本图像以及低分辨率样本图像的获得，可以通过对同一场景进行高、低剂量CT获得，或者，通过对高分辨率样本图像进行双三次插值下采样模拟图像退化，得到低分辨率样本图像，或者，通过低分辨率样本图像的超分辨重建，得到高分辨率样本图像等。不论采用何种途径得到高、低分辨率样本图像，样本图像的质量要尽可能满足期望要求，这样才能训练出符合期望的字典。
在步骤S102中，从高分辨率样本图像中选取高分辨率样本图像块，从低分辨率样本图像中选取与高分辨率样本图像块对应的低分辨率样本图像块，以组成样本图像块对。
本实施例中，高、低分辨率样本图像块也是相对应的，也就是说，高、低分辨率样本图像块所对应的是上述场景中的同一区域。
在步骤S103中，对样本图像块对中的高分辨率样本图像块及低分辨率样本图像块进行特征提取，得到组成样本图像块对数据的高分辨率样本特征数据XH及低分辨率样本特征数据XL。样本图像块对数据可为{XH，XL}。
本实施例中，可对样本图像块进行相应的高频和/或中频分量的提取，得到相应的样本特征数据，或者，对样本图像块的一阶梯度特征和/或二阶梯度特征，得到相应的样本特征数据等。
相应的，本步骤中可能还涉及需要对提取得到的数据加入相应的特征算子处理，例如：将提取得到的数据与相应的特征算子相乘，最终才得到样本特征数据。
在步骤S104中，基于高分辨率样本图像块在高分辨率字典DH上的稀疏表达与低分辨率样本图像块在对应的低分辨率字典DL上的稀疏表达一致，定义样本图像块对数据中高分辨率样本特征数据XH与低分辨率样本特征数据XL之间的映射关系W(XL)，映射关系W(XL)依赖于低分辨率样本特征数据。
本实施例中，高分辨率样本图像块在高分辨率字典DH上的稀疏表达为：
XH＝DH×α
其中，α为稀疏表达式。
而低分辨率样本图像块在低分辨率字典DL上的稀疏表达为：
XL＝DL×α
上述两个稀疏表达中，稀疏表达式α一致。
基于此，可定义样本图像块对数据中高分辨率样本特征数据XH与低分辨率样本特征数据XL之间的映射关系W(XL)，映射关系W(XL)依赖于低分辨率样本特征数据，即：
XH＝XL×W(XL)
在步骤S105中，将样本图像块对数据{XH，XL}分组后所得到的每个样本图像块对数据组，分别采用第一机器学习算法进行学习，得到每一第一机器学习算法所对应的、映射关系临时最优解。
本实施例中，第一机器学习算法可以为决策树算法、K最临近(K NearestNeighbors，KNN)算法或其他机器学习算法，可将N个样本图像块对数据{XH，XL}分成M组(N、M为自然数)样本图像块对数据组，利用第一机器学习算法对每一样本图像块对数据组进行学习，得到M个相应的映射关系W(XL)临时最优解。
在步骤S106中，通过第二机器学习算法，从映射关系W(XL)临时最优解的集合中，确定一映射关系W(XL)临时最优解作为映射关系W(XL)最终解。
本实施例中，当得到M个相应的映射关系W(XL)临时最优解时，需要从这些临时最优解中，选择一个作为映射关系W(XL)最终解，具体可通过投票选择算法，以大部分临时最优解所最接近的一临时最优解，作为映射关系最终解Wbest(XL)。
在步骤S107中，以映射关系最终解Wbest(XL)及低分辨率样本特征数据XL，计算得到高分辨率临时样本特征数据XH’，高分辨率临时样本特征数据XH’以及低分辨率样本特征数据XL组成临时样本图像块对数据{XH’，XL}。
本实施例中，可通过下式，得到高分辨率临时样本特征数据XH’：
XH’＝Wbest(XL)×XL
在步骤S108中，将临时样本图像块对数据{XH’，XL}采用相应的第三机器学习算法进行学习，解出高分辨率字典DH及低分辨率字典DL，第三机器学习算法中定义有高分辨率临时样本特征数据XH’、低分辨率样本特征数据XL、高分辨率字典DH及低分辨率字典DL的约束关系。
本实施例中，可确定一上述约束关系的定义函数：
其中，E为高分辨率字典DH及低分辨率字典DL之间的连接矩阵，Γ(E)为E的规范约束，
为取l2范数。
当上述定义函数满足最小值时，即可确定出相应的高分辨率字典DH及低分辨率字典DL。
实施本实施例，获取高、低分辨率字典具体涉及：通过定义并机器学习相应的高、低分辨率样本特征数据之间的映射关系；对得到的多个映射关系进行机器学习分类筛选，得到一个最终的映射关系；以该最终的映射关系进行机器学习，得到相应的高、低分辨率字典，进而利用所获取的高、低分辨率字典对其进行图像超分辨重建，得到高分辨率成像图像。这样，可采用低辐射剂量、短CT时间成像得到的低分辨率成像图像，重建得到高分辨率图像，可减少因病人运动而引起的伪影现象的发生，从而在保证CT图像质量的同时实现快速扫描，且降低辐射剂量。另外，由于上述字典的获取与传统的、计算量偏大且运行时间过长的字典训练方法不同，本实施例的字典获取方法包含的是计算上述映射关系，计算量得到有效减少，运行时间相对偏短，可提高整体计算效率。
实施例二：
本实施例在实施例一基础上，进一步提供了如下内容：
第一机器学习算法具体为：决策树算法，该决策树算法中定义了节点***函数δ(XL,θ)，节点***函数δ(XL,θ)以一依赖于低分辨率样本特征数据XL的响应函数rθ(XL)作为约束条件，具体如下：
rθ(XL)＝XL[θ1]-θth，
其中，Θth为一门限值，[·]为取XL的一维，
第一机器学习算法中还定义了一依赖于低分辨率样本特征数据XL及高分辨率样本特征数据XH的质量函数Q(δ,θ,XL,XH)，由此作为特征选择的依据，具体如下：
其中，Le、Ri作为决策树向下***的左、右节点，即为根据相关的约束和条件作出的选择以达到分类器分类的效果，即：
其中，
为正则表达式，σ是个选择函数，可为一个基函数，一般机器学习中需要通过定义基函数来完成分类器工作，本文中的机器学习属于弱分类器，其基函数不能过于复杂否则计算量极大，采用一般的线性函数即可。
实施例三：
本实施例在实施例二基础上，进一步提供了如下内容：
本实施例中，决策树算法的决策树数量n及深度ξmax可因需适应性选择。
在具体应用中，决策树数量n不同，得到最后结果的效果也不同，n越大效果越好，但是也会达到一个饱和状态，大概在n＝10左右即达到饱和，每个决策树的算法是相同的，其节点***函数δ(XL,θ)是同一个。
实施例四：
本实施例提供了一种图像超分辨重建方法，该图像超分辨重建方法基于如上述的字典获取方法，图像超分辨重建方法主要包括如图4所示的流程：
在步骤S401中，获得低分辨率待处理图像。
在步骤S402中，利用字典获取方法中获取的高分辨率字典DH及低分辨率字典DL，对低分辨率待处理图像进行图像超分辨重建。
本实施例中，对低分辨率待处理图像进行图像超分辨重建可直接利用上述字典获取方法中获取的高分辨率字典DH及低分辨率字典DL来进行处理，具体可包括：对低分辨率待处理图像进行分块、特征提取、在代价函数满足最小时得到稀疏表达式α、再由稀疏表达式α及高分辨率字典DH得到高分辨率成像图像特征数据，最终重建出高分辨率成像图像，代价函数可如下式：
其中，||·||1为取l1范数，λ为常量参数。
上述字典获取方法或图像超分辨重建方法不仅可应用于CT图像，还可以应用于正电子发射型计算机断层显像(Positron Emission ComputedTomography，PET)图像或单光子发射型计算机断层成像(Single Photon Emission Computed Tomography，SPECT)图像等的处理。
结合图2、图3及图5，可以发现：通过本实施例的图像超分辨重建方法处理，如图3所示的低分辨率待处理图像可重建为如图5所示的高分辨率成像图像，如图5所示的高分辨率成像图像与如图2所示的高分辨率样本图像质量相当。图2、图3及图5中对应位置的细节放大图可分别参考图6、图7及图8。
对低分辨率待处理图像进行图像超分辨重建还可包括上述字典获取方法中获取的高分辨率字典DH及低分辨率字典DL的过程。
实施例五：
图9示出了本发明实施例五提供的计算***的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
预处理单元901，用于获得高分辨率样本图像以及与高分辨率样本图像对应的低分辨率样本图像；从高分辨率样本图像中选取高分辨率样本图像块，从低分辨率样本图像中选取与高分辨率样本图像块对应的低分辨率样本图像块，以组成样本图像块对；对样本图像块对中的高分辨率样本图像块及低分辨率样本图像块进行特征提取，得到组成样本图像块对数据的高分辨率样本特征数据及低分辨率样本特征数据；以及，
字典获取单元902，用于基于高分辨率样本图像块在高分辨率字典上的稀疏表达与低分辨率样本图像块在对应的低分辨率字典上的稀疏表达一致，定义样本图像块对数据中高分辨率样本特征数据与低分辨率样本特征数据之间的映射关系，映射关系依赖于低分辨率样本特征数据；将样本图像块对数据分组后所得到的每个样本图像块对数据组，分别采用第一机器学习算法进行学习，得到每一所述第一机器学习算法所对应的、映射关系临时最优解；通过第二机器学习算法，从映射关系临时最优解的集合中，确定一映射关系临时最优解作为映射关系最终解；以映射关系最终解及低分辨率样本特征数据，计算得到高分辨率临时样本特征数据，高分辨率临时样本特征数据以及低分辨率样本特征数据组成临时样本图像块对数据；将临时样本图像块对数据采用相应的第三机器学习算法进行学习，解出高分辨率字典及低分辨率字典，第三机器学习算法中建立了高分辨率临时样本特征数据、低分辨率样本特征数据、高分辨率字典及低分辨率字典的约束关系。
在本发明实施例中，各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元实现上述相应方法实施例中的步骤，例如图1所示的步骤S101至S108，具体此处不再赘述。
实施例六：
本实施例在实施例五基础上，进一步提供了如下内容：
如图10所示，本实施例中，计算***还包括：
重建单元1001，用于获得低分辨率待处理图像；利用高分辨率字典及低分辨率字典，对低分辨率待处理图像进行图像超分辨重建。
同样，在本发明实施例中，各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元实现上述相应方法实施例中的步骤，例如图4所示的步骤S401至S402，具体此处不再赘述。
实施例七：
图11示出了本发明实施例七提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的计算设备包括处理器1101及存储器1102，处理器1101执行存储器1102中存储的计算机程序1103时实现上述各个方法实施例中的步骤，例如图1所示的步骤S101至S108。或者，处理器1101执行计算机程序1103时实现上述各装置实施例中各单元的功能，例如图9所示单元901至902的功能。
本发明实施例的计算设备可以为计算机或计算机网络***。该计算设备中处理器1101执行计算机程序1103时实现上述各方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
实施例八：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤，例如，图1所示的步骤S101至S108。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图9所示单元901至902的功能。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种字典获取方法，其特征在于，所述字典获取方法包括下述步骤：
获得高分辨率样本图像以及与所述高分辨率样本图像对应的低分辨率样本图像；
从所述高分辨率样本图像中选取高分辨率样本图像块，从所述低分辨率样本图像中选取与所述高分辨率样本图像块对应的低分辨率样本图像块，以组成样本图像块对；
对所述样本图像块对中的高分辨率样本图像块及所述低分辨率样本图像块进行特征提取，得到组成样本图像块对数据的高分辨率样本特征数据及低分辨率样本特征数据；
基于所述高分辨率样本图像块在高分辨率字典上的稀疏表达与所述低分辨率样本图像块在对应的低分辨率字典上的稀疏表达一致，定义所述样本图像块对数据中所述高分辨率样本特征数据与所述低分辨率样本特征数据之间的映射关系，所述映射关系依赖于所述低分辨率样本特征数据；
将所述样本图像块对数据分组后所得到的每个样本图像块对数据组，分别采用第一机器学习算法进行学习，得到每一所述第一机器学习算法所对应的、映射关系临时最优解；所述第一机器学习算法具体为：决策树算法，所述决策树算法中定义了节点***函数，所述节点***函数以一依赖于所述低分辨率样本特征数据的响应函数作为约束条件；
通过第二机器学习算法，从所述映射关系临时最优解的集合中，确定一所述映射关系临时最优解作为映射关系最终解；
以所述映射关系最终解及所述低分辨率样本特征数据，计算得到高分辨率临时样本特征数据，所述高分辨率临时样本特征数据以及所述低分辨率样本特征数据组成临时样本图像块对数据；
将所述临时样本图像块对数据采用相应的第三机器学习算法进行学习，解出所述高分辨率字典及所述低分辨率字典，所述第三机器学习算法中定义有所述高分辨率临时样本特征数据、所述低分辨率样本特征数据、所述高分辨率字典及所述低分辨率字典的约束关系；
所述约束关系的定义函数为：
其中，E为高分辨率字典DH及低分辨率字典DL之间的连接矩阵，Γ(E)为E的规范约束，
为取l2范数，XH’为高分辨率临时样本特征数据，XL为低分辨率样本特征数据；
其中，高分辨率临时样本特征数据为：
XH’＝Wbest(XL)×XL
其中，XH’为高分辨率临时样本特征数据，XL为低分辨率样本特征数据，Wbest(XL)为映射关系最终解。
2.如权利要求1所述的字典获取方法，其特征在于，所述决策树算法中还定义了一依赖于所述低分辨率样本特征数据及所述高分辨率样本特征数据的质量函数。
3.如权利要求1所述的字典获取方法，其特征在于，所述决策树算法的决策树数量及深度因需适应性选择。
4.一种图像超分辨重建方法，其特征在于，所述图像超分辨重建方法基于如权利要求1至3中任一项所述的字典获取方法，所述图像超分辨重建方法包括：
获得低分辨率待处理图像；
利用所述高分辨率字典及所述低分辨率字典，对所述低分辨率待处理图像进行图像超分辨重建。
5.如权利要求4所述的图像超分辨重建方法，其特征在于，所述图像超分辨重建方法应用于电子计算机断层扫描CT图像、正电子发射型计算机断层显像PET图像或单光子发射型计算机断层成像SPECT图像。
6.一种计算***，其特征在于，所述***包括：预处理单元，用于获得高分辨率样本图像以及与所述高分辨率样本图像对应的低分辨率样本图像；从所述高分辨率样本图像中选取高分辨率样本图像块，从所述低分辨率样本图像中选取与所述高分辨率样本图像块对应的低分辨率样本图像块，以组成样本图像块对；对所述样本图像块对中的高分辨率样本图像块及所述低分辨率样本图像块进行特征提取，得到组成样本图像块对数据的高分辨率样本特征数据及低分辨率样本特征数据；以及，
字典获取单元，用于基于所述高分辨率样本图像块在高分辨率字典上的稀疏表达与所述低分辨率样本图像块在对应的低分辨率字典上的稀疏表达一致，定义所述样本图像块对数据中所述高分辨率样本特征数据与所述低分辨率样本特征数据之间的映射关系，所述映射关系依赖于所述低分辨率样本特征数据；将所述样本图像块对数据分组后所得到的每个样本图像块对数据组，分别采用第一机器学习算法进行学习，得到每一所述第一机器学习算法所对应的、映射关系临时最优解；通过第二机器学习算法，从所述映射关系临时最优解的集合中，确定一所述映射关系临时最优解作为映射关系最终解；以所述映射关系最终解及所述低分辨率样本特征数据，计算得到高分辨率临时样本特征数据，所述高分辨率临时样本特征数据以及所述低分辨率样本特征数据组成临时样本图像块对数据；将所述临时样本图像块对数据采用相应的第三机器学习算法进行学习，解出所述高分辨率字典及所述低分辨率字典，所述第三机器学习算法中建立了所述高分辨率临时样本特征数据、所述低分辨率样本特征数据、所述高分辨率字典及所述低分辨率字典的约束关系；
其中，所述第一机器学习算法具体为：决策树算法，所述决策树算法中定义了节点***函数，所述节点***函数以一依赖于所述低分辨率样本特征数据的响应函数作为约束条件；
所述约束关系的定义函数为：
其中，E为高分辨率字典DH及低分辨率字典DL之间的连接矩阵，Γ(E)为E的规范约束，
为取l2范数，XH’为高分辨率临时样本特征数据，XL为低分辨率样本特征数据；
其中，高分辨率临时样本特征数据为：
XH’＝Wbest(XL)×XL
其中，XH’为高分辨率临时样本特征数据，XL为低分辨率样本特征数据，Wbest(XL)为映射关系最终解。
7.如权利要求6所述的***，其特征在于，所述***还包括：重建单元，用于获得低分辨率待处理图像；利用所述高分辨率字典及所述低分辨率字典，对所述低分辨率待处理图像进行图像超分辨重建。
8.一种计算设备，包括存储器及处理器，其特征在于，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求4至5任一项所述的图像超分辨重建方法中的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求4至5任一项所述的图像超分辨重建方法中的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811519177.7A CN109741254B (zh) | 2018-12-12 | 2018-12-12 | 字典训练及图像超分辨重建方法、***、设备及存储介质 |
| PCT/CN2019/071173 WO2020118830A1 (zh) | 2018-12-12 | 2019-01-10 | 字典训练及图像超分辨重建方法、***、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811519177.7A CN109741254B (zh) | 2018-12-12 | 2018-12-12 | 字典训练及图像超分辨重建方法、***、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109741254A CN109741254A (zh) | 2019-05-10 |
| CN109741254B true CN109741254B (zh) | 2022-09-27 |
Family
ID=66358881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811519177.7A Active CN109741254B (zh) | 2018-12-12 | 2018-12-12 | 字典训练及图像超分辨重建方法、***、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109741254B (zh) |
| WO (1) | WO2020118830A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325695B (zh) * | 2020-02-29 | 2023-04-07 | 深圳先进技术研究院 | 基于多剂量等级的低剂量图像增强方法、***及存储介质 |
| CN113450427B (zh) * | 2021-06-29 | 2023-09-01 | 深圳高性能医疗器械国家研究院有限公司 | 基于联合字典学习和深度网络的pet图像重建方法 |
| CN113628109B (zh) * | 2021-07-16 | 2023-11-28 | 上海交通大学 | 基于可学习字典的人脸五官超分辨率方法和***、介质 |
| CN115841866B (zh) * | 2023-02-20 | 2023-05-23 | 北京唯迈医疗设备有限公司 | 一种低辐射剂量图像的生成方法、终端设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013026659A (ja) * | 2011-07-15 | 2013-02-04 | Univ Of Tsukuba | 超解像画像処理装置及び超解像画像処理用辞書作成装置 |
| WO2017075768A1 (zh) * | 2015-11-04 | 2017-05-11 | 北京大学深圳研究生院 | 一种基于字典匹配的图像超分辨率重建方法及装置 |
| CN106780342A (zh) * | 2016-12-28 | 2017-05-31 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
| CN107767337A (zh) * | 2017-09-29 | 2018-03-06 | 深圳先进技术研究院 | 一种图像超分辨率重建方法、装置、移动终端及存储介质 |
| CN108550111A (zh) * | 2018-03-30 | 2018-09-18 | 西安工程大学 | 一种基于多级字典学习的残差实例回归超分辨重建方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9542725B2 (en) * | 2012-11-29 | 2017-01-10 | Nec Corporation | Image processing device, image processing method and medium |
| CN106296583B (zh) * | 2016-08-01 | 2019-06-04 | 西北工业大学 | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 |
| CN107133915A (zh) * | 2017-04-21 | 2017-09-05 | 西安科技大学 | 一种基于学习的图像超分辨率重构方法 |
| CN107341765B (zh) * | 2017-05-05 | 2020-04-28 | 西安邮电大学 | 一种基于卡通纹理分解的图像超分辨率重建方法 |
| CN107492070B (zh) * | 2017-07-10 | 2019-12-03 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
-
2018
- 2018-12-12 CN CN201811519177.7A patent/CN109741254B/zh active Active
-
2019
- 2019-01-10 WO PCT/CN2019/071173 patent/WO2020118830A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013026659A (ja) * | 2011-07-15 | 2013-02-04 | Univ Of Tsukuba | 超解像画像処理装置及び超解像画像処理用辞書作成装置 |
| WO2017075768A1 (zh) * | 2015-11-04 | 2017-05-11 | 北京大学深圳研究生院 | 一种基于字典匹配的图像超分辨率重建方法及装置 |
| CN106780342A (zh) * | 2016-12-28 | 2017-05-31 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
| CN107767337A (zh) * | 2017-09-29 | 2018-03-06 | 深圳先进技术研究院 | 一种图像超分辨率重建方法、装置、移动终端及存储介质 |
| CN108550111A (zh) * | 2018-03-30 | 2018-09-18 | 西安工程大学 | 一种基于多级字典学习的残差实例回归超分辨重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| Couple dictionary training for image super-resolution;Yang J et al;《IEEE Trans. Image Process》;20121231;第3467-3478页 * |
| 基于稀疏编码和随机森林的多帧图像超分辨率算法;包莹莹;《电子设计工程》;20170430;第158-162页 * |
| 基于随机森林的单幅图像超分辨重建算法研究;卢欢;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20180215;第I138-2473页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020118830A1 (zh) | 2020-06-18 |
| CN109741254A (zh) | 2019-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146988B (zh) | 基于vaegan的非完全投影ct图像重建方法 | |
| CN109741254B (zh) | 字典训练及图像超分辨重建方法、***、设备及存储介质 | |
| CN111325686B (zh) | 一种基于深度学习的低剂量pet三维重建方法 | |
| Heinrich et al. | Residual U-net convolutional neural network architecture for low-dose CT denoising | |
| CN107481297B (zh) | 一种基于卷积神经网络的ct图像重建方法 | |
| Whiteley et al. | FastPET: near real-time reconstruction of PET histo-image data using a neural network | |
| CN106683144A (zh) | 一种图像迭代重建方法及装置 | |
| CN111612689B (zh) | 医学图像处理方法、装置、计算机设备和可读存储介质 | |
| KR20190135618A (ko) | 뉴럴 네트워크를 이용한 내부 전산단층 촬영 영상 처리 방법 및 그 장치 | |
| He et al. | Downsampled imaging geometric modeling for accurate CT reconstruction via deep learning | |
| CN111325695B (zh) | 基于多剂量等级的低剂量图像增强方法、***及存储介质 | |
| Li et al. | Learning non-local perfusion textures for high-quality computed tomography perfusion imaging | |
| CN114358285A (zh) | 一种基于流模型的pet***衰减校正方法 | |
| US11455755B2 (en) | Methods and apparatus for neural network based image reconstruction | |
| CN117876261A (zh) | 一种基于深度学习的cbct散射校正成像方法 | |
| US20230386036A1 (en) | Methods and systems for medical imaging | |
| Whiteley et al. | FastPET: Near real-time PET reconstruction from histo-images using a neural network | |
| Jiao et al. | Fast PET reconstruction using multi-scale fully convolutional neural networks | |
| Liang et al. | A model-based unsupervised deep learning method for low-dose CT reconstruction | |
| CN116245969A (zh) | 一种基于深度神经网络的低剂量pet图像重建方法 | |
| WO2020209826A1 (en) | Deep reinforcement learning for computer assisted reading and analysis | |
| KR102329938B1 (ko) | 뉴럴 네트워크를 이용한 콘빔 단층촬영 영상 처리 방법 및 그 장치 | |
| Xie et al. | 3D few-view CT image reconstruction with deep learning | |
| Pereira et al. | Extreme sparse X-ray computed laminography via convolutional neural networks | |
| Liang et al. | A model-based deep learning reconstruction for X-Ray CT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |