CN110517299B - 基于局部特征熵的弹性图像配准算法 - Google Patents
基于局部特征熵的弹性图像配准算法 Download PDFInfo
- Publication number
- CN110517299B CN110517299B CN201910633713.4A CN201910633713A CN110517299B CN 110517299 B CN110517299 B CN 110517299B CN 201910633713 A CN201910633713 A CN 201910633713A CN 110517299 B CN110517299 B CN 110517299B
- Authority
- CN
- China
- Prior art keywords
- image
- entropy
- local
- registration
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 39
- 230000007547 defect Effects 0.000 claims abstract description 16
- 238000007667 floating Methods 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 19
- 238000011524 similarity measure Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 8
- 238000005452 bending Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011002 quantification Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 2
- 230000001788 irregular Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims 1
- 238000009795 derivation Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000004088 simulation Methods 0.000 description 16
- 238000002372 labelling Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 5
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 210000004884 grey matter Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
一种基于局部特征熵的弹性图像配准算法，通过分析局部边界熵存在的不足以及导致这种不足的原因，针对性地对这些不足进行改进处理，从而达到探测更多图像特征纹理的目的，能够用于多模态图像弹性配准任务中，并且获得相对较高的配准精度，可为目标空间定位和多模态信息的融合提供重要理论支撑。
Description
技术领域
本发明具体涉及图像处理技术领域，特别是针对图像存在较低的组织对比度，严重的灰度均匀等现象时的弹性配准处理，可辅助临床医学图像中兴趣目标的空间定位和多模态图像信息的融合。
背景技术
图像配准是一个寻找最优空间变换的处理技术，其通过相似性测度量化待配准图像间的信息差异，利用优化算法将差异最小化从而找到最优的空间变换参数，实现图像位置与形态信息的充分对齐。这种图像处理技术能够辅助图像理解与分析、多模态图像信息融合、以及目标定位和形态探测等临床任务，因而具有十分重要的临床诊断价值和研究意义。目前，已有大量的图像弹性配准算法，它们通常被分为基于灰度的配准(intensitybased methods)和基于特征的配准(feature based methods)。基于灰度的配准方法主要通过开发合适的相似性测度评估待配准图像间的信息差异。相似性测度的信息量化性能直接决定了图像配准的准确程度。现有的相似性测度往往无法有效量化局部模糊区域内的信息差异，从而导致较大的局部配准误差。这种不足主要是由于局部区域具有较低的组织对比度和严重的灰度不均匀现象引起的，并且仅仅使用像素灰度是无法充分降低上述现象的影响的。为了降低弱组织对比度和灰度不均匀的影响，基于特征的配准方法被提出并得到了广泛的研究。这类方法不直接使用像素灰度信息执行图像的配准，而是利用特征描述算子将图像灰度转化为具有独特属性的特征纹理，通过特征纹理实现待配准图像信息的量化。特征算子具有越好的图像信息探测能力，弱对比度和灰度不均匀现象对图像配准的影响就越小。因此，如何设计合适的特征描述算子就成为一个重要的研究方向。这不仅关系到图像中不同特征纹理的提取，而且决定了图像全局与局部区域的配准精确性。
为了设计合适的特征描述算子提取图像中潜在的纹理信息，便需要分析局部邻域内每个像素和它相邻像素在灰度和位置上的相对信息差异，并将这种信息差异通过一个选定的函数(如高斯函数)转化为一个易于辨别的特征值。特征算子的信息转化要具有如下特性：
(1)不同图像信息转化后要对应不同的特征值，并且特征值的分布要在一个相对合理的取值范围内；(2)图像具有的纹理特征在转化后要能够很好的保存下来，防止某种信息的探测而导致其他信息的丢失。满足这两个特性的图像特征算子有很多，其中局部边界熵能够在一定程度上实现图像边界信息的提取，并被用于图像分割任务中。但是该算子存在一个明显的不足，即边界熵的计算使用了取模运算符，该运算符无法分辨灰度值小于局部均值的像素，从而无法有效降低弱组织对比度和灰度不均匀的影响。因此，合理改进局部边界熵的计算将能够有效抑制上述不利因素的影响，辅助和提升局部区域的图像配准精度。
特征描述算子提出后便可以将待配准图像转化为特征纹理图(feature map)，如何评估特征纹理图之间的信息差异就需要设计一个配准相似性测度。常用的相似性测度有差的平方和(sum of squared differences)，互相关(cross correlation)以及互信息(mutual information)等。这些测度中，差的平方和具有计算简便，收敛快速的特点而得到广泛应用。为此，本发明使用差的平方和量化特征纹理图之间的信息差异，并最小化这种特征信息差异实现原始灰度图像的配准。
发明内容
为了解决现有技术中存在的不足，本发明提供了基于局部特征熵的弹性图像配准算法，通过设计两个新的特征熵算子探测图像模糊区域内的潜在纹理信息，并将上述特征纹理用于图像配准中，使用差的平方和测度评估特征纹理之间的信息差异，执行待配准图像之间信息的量化，进而实现图像的弹性配准。
本发明的主要计算思路为：通过分析局部边界熵存在的不足以及导致这种不足的原因，针对性地对这些不足进行改进处理，从而达到探测更多图像特征纹理的目的。具体步骤如下：
(1)局部特征熵算子的开发:将像素灰度与局部灰度均值之间的差值整合到局部边界熵算子中，从而引出两种新的局部结构描述算子,即局部不均匀熵和局部结构熵，实现局部区域内不同图像特征纹理的提取；
(2)基于局部特征熵的相似性测度:一副图像使用局部边界熵、局部不均匀熵、以及局部结构熵三种特征算子处理后可以得到三幅不同的特征熵图,这些特征熵图像从不同的方面对图像进行纹理刻画，整合起来构成一个特征熵矢量用于图像配准任务中，从而实现灰度图像到特征熵矢量的转换；利用这种转换关系，将待配准的两幅图像,即参考图像和浮动图像转化为参考矢量和浮动矢量，通过计算这两个特征熵矢量间差的平方和，即可量化原始待配准图像间信息差异,使用优化算法最小化上述差的平方和测度，便可以实现图像间的空间位置对齐；
(3)自由形变配准框架:利用优化算法最小化待配准图像间的信息差异,即特征熵矢量之间差的平方和时，需要逐渐变换浮动图像并使其一步步向参考图像靠近，直到参考图像与浮动图像完全重叠到一起,浮动图像的空间变换在弹性图像配准中一般是通过自由形变配准框架实现的,该配准框架是基于三次样条函数发展而来，通过多个样条函数插值计算浮动图像中每个像素点的位置偏离量，实现浮动图像的位置变换,因为三次样条函数是二阶导连续的，这使得基于自由形变的空间变换能够解析地模拟图像全局与局部范围内像素的位置变动,像素位置变动后，其对应的灰度也需要使用插值技术进行更新，图像中每个像素的位置与灰度更新完成后，便可以得到一副新的浮动图像,新的浮动图像与原始参考图像重新开始下一轮的计算，循环该过程直至图像间信息差异不再变化，即图像配准完成。
所述的步骤(1)局部特征熵算子的开发步骤如下：局部边界熵可表示为：
其中，m为局部图像区域内的灰度平均值(mean)，ΠX为一个中心在X处且边长为r的三维正方形区域，I(y)为坐标位置y处的像素灰度，p(y)为灰度I(y)对应的概率分布，log(·)为自然对数运算符，mod(·)为取模运算符，因为取模运算符无法有效探测灰度值小于局部均值(即I<m)的像素，从而导致局部边界熵算子具有有限的边界探测能力，为了改善取模运算符存在的不足，我们将像素灰度与灰度均值的差引入p(y)的计算中，得到一种新的概率p1(y)，具体表示如下：
其中，|·|表示绝对值运算符。这个概率能够在一定程度上缓解取模运算符存在的不足，增强像素灰度与局部灰度均值之间的信息变化。基于这个新的概率分布，可以得到一个局部不均匀熵，可表示为：
根据上述的两个概率分布可以看出，同时利用取模运算符和局部灰度均值可有效探测图像间的信息差异。因此，可以从上述两个概率分布中引出两个新的图像，它们分别表示为：
这两个新的图像可以作为原始图像的灰度变种(intensity variants)，它们从不同的方面阐述了原始图像内相邻像素间的灰度变化。根据原始图像和它的两个灰度变种，可以构建另外一个灰度变种，具体表示为：
I3(y)＝|(I1(y)+I2(y)-I(y))I(y)|
利用这个灰度变种，可以设计一个新的灰度概率分布和一个新的局部特征算子，它们分别可表示为：
这个特征算子被称为局部结构熵(local structural entropy,STR)；
根据上面提到的局部边界熵，局部不均匀熵，以及局部结构熵算子(即LEE(X)，INH(X)和STR(X))，可以看出在图像中任一坐标位置X处将对应三种不同的特征熵信息，因此可以将它们同时用于图像配准中，辅助待配准图像信息的量化。
所述的步骤(2)其中基于局部特征熵的相似性测度中所述的相似性测度构建步骤如下：
利用三种特征熵算子LEE(X)，INH(X)和STR(X)可以将待配准的参考图像与浮动图像转变为参考特征熵矢量图和浮动特征熵矢量图，分别用VR和VF表示，具体计算公式为：
其中，三个特征熵算子对参考图像处理后的结果为LEER(X),INHR(X),STRR(X)，
对浮动图像处理后的结果为LEEF(X),INHF(X),STRF(X)；
配准过程中，当特征熵矢量VR和VF间对应的每个矢量分量的差异最小时，即说明待配准图像在空间上处于完全对齐状态，即配准完成；
为了评估特征熵矢量VR和VF间的差异，本发明使用差的平方和作为相似性测度量化它们间的不一致性，具体计算公式可表示为：
其中，Ω为全局图像区域，T(X,Φ)为一个以Φ为参数的空间变换。
所述的步骤(3)自由形变配准框架中图像弹性得空间变换的构建步骤如下：(3a)在空间变换T(X,Φ)中，其对应的变换参数Φ可用一个Nx×Ny×Nz的网格表示，彼此相邻的网格间距在三个图像坐标轴方向上可用s＝(sx,sy,sz)表示，每个网格的交叉点(即网格结节)在坐标(i,j,k)处对应的位置偏移为di,j,k，对于浮动图像中任一像素点X＝(x,y,z)，其对应的空间变换T(X,Φ)为：
其中，
u＝x/sx-i-1,v＝y/sy-i-1,w＝z/sz-i-1,
为向下取整运算符，Ll表示样条函数中第l个基函数，它可以表示为L0(t)＝(1-t)3/6，L1(t)＝(3t3-6t2+4)/6，L2(t)＝(-3t3+3t2+3t+1)/6和L3(t)＝t3/6，其中0≤t<1；
(3b)在图像配准中，为了保证空间变形场的平滑和避免不符合实际的图像变形，需要在相似性测度的计算中对变形场的施加不规则形变的约束项，这个约束项被称为弯曲能量(bending energy)，其计算公式为：
其中，B(·)为弯曲能量，N为参与运算的像素数目。将这个约束项整合到相似性测度中，可得到最终的图像配准量化函数，即C＝(1-λ)S(Φ)+λB(Φ)，其中λ为权重因子。
本发明的有益效果是：本发明提供了一种基于局部特征熵的弹性图像配准算法，通过分析局部边界熵存在的不足以及导致这种不足的原因，针对性地对这些不足进行改进处理，从而达到探测更多图像特征纹理的目的，能够用于多模态图像弹性配准任务中，并且获得相对较高的配准精度，可为目标空间定位和多模态信息的融合提供重要理论支撑。
附图说明
图1是本发明的流程图。
图2是本发明针对公开的人工合成磁共振图像进行的仿真实验，第一列为参考图像及其对应的手工标注，第二列为浮动图像及其标注图，第三列为配准前后参考标注图与浮动标注图之间的差。
图3是本发明针对临床磁共振图像进行的仿真实验，第一列为参考图像及其对应的手工标注，第二列为浮动图像及其标注图，第三列为配准前后参考标注图与浮动标注图之间的差；
图4是本发明针对临床磁共振图像进行的仿真实验，第一列为参考图像及其对应的手工标注，第二列为浮动图像及其标注图，第三列为配准前后参考标注图与浮动标注图之间的差；
图5是本发明算法与现有的几种图像配准算法的结果对比。
具体实施方式
本发明的总体思路为：
(1)局部边界熵算子对应的概率分布是通过取模运算符计算而来，该运算符用于保存灰度小于局部均值的像素和截断灰度值大于局部均值的像素，从而选择性地实现局部区域内灰度差异的增强。这种选择性操作导致边界熵算子无法有效探测某些区域内的图像纹理信息。为了克服局部边界熵存在的不足，可以在其对应的概率分布计算中引入像素灰度与局部均值平方后的差值，缓解取模运算符存在的不足；或者将取模运算符用于原始图像灰度上得到两个不同的灰度变种。有效整合原始灰度和它的两个变种，可以构建新的特征熵算子(即局部不均匀熵和局部结构熵)。
(2)利用上述特征熵算子(局部边界熵、局部不均匀熵、以及局部结构熵)可以得到一副图像对应的三个不同的特征纹理图(feature map)。这些纹理图从不同的方面刻画图像具有的潜在特征信息，并且这些特征信息是互相关联和相互补充的。单独使用这些特征信息执行图像配准中将可能得到精度有限的配准结果。为此，本发明同时将这些特征信息用于图像配准中以获得更好的配准精度，并使用差的平方和量化它们间的信息差异。
(3)图像弹性配准除了相似性测度外还需要一个关键的空间变换(spacetransform)，用于执行每个像素位置信息的变换。弹性空间变换通常是基于三次样条函数(cube B-spline function)构建而成的，即自由形变(free form deformation,FFD)。在该形变框架下，每个像素点的位置偏移通过三个样条函数的共同插值计算得到。
下面结合附图对基于局部结构算子的弹性图像配准算法做进一步描述；
参考图1，本发明基于局部特征熵的弹性图像配准算法，包括如下步骤：
步骤1，构建能够有效增强局部灰度变异，提取潜在纹理信息的局部特征熵算子
(1a)根据局部边界熵算子对应概率分布计算存在的不足，在图像中取一个大小为r×r×r的矩形区域(r为局部区域的边长)，将区域内的像素灰度正则化处理，通过公式
和p(y)＝mod(I(y),m)/m，以及p1(y)＝mod(|I2(y)-m2|,m)/m计算两种不同的概率分布，将它们应用到图像熵的计算中，即可得到两种不同的特征熵信息(即局部边界熵和局部不均匀熵)。为了进一步探测图像中的特征纹理，根据上述两种概率分布构建原始灰度对应的变种(即I1(y)＝mod(I(y),m)和I2(y)＝mod(|I2(y)-m2|,m))，然后将原始灰度和它的两个灰度变种整合起来，设计一个新的灰度变种(即I3(y)＝|(I1(y)+I2(y)-I(y))I(y)|)用于图像纹理特征的提取。具体地，将p(y)的计算公式应用到I3(y)上可得的一种新的概率分布(即p2(y)＝mod(I3(y),m)/m)，利用这个概率分布即可求出局部结构熵特征。
(1b)使用上述特征熵算子(即局部边界熵，局部不均匀熵、以及局部结构熵)处理一幅图像可以得到三种不同的特征纹理。这些特征纹理从不同的方面刻画图像中的目标物体，且特征纹理之间能够相互补充，因此将它们同时用于图像配准，共同约束配准过程中相似性测度和优化算法的更新，从而实现高质量的配准。
步骤2，基于局部特征熵的相似性测度
将上述三种局部特征熵算子整合起来，可以构成一个与像素灰度对应的特征熵矢量(entropy vector)。将该特征熵算子用于图像配准中将能够获得比单个特征熵配准更好的配准精度。基于此，可将待配准的参考与浮动图像转化为参考与浮动特征熵矢量图，利用差的平方和测度(sum of squared differences)便可计算两幅特征熵矢量图之间的大小与方向差异，辅助原始待配准图像间信息差异的评估。
步骤3，自由形变配准框架
图像配准中，优化算法会搜索的空间变换用于变换浮动图像，实现浮动图像与参考图像间信息差异的最小化(即相似性测度的最小化)。常用的弹性空间变换是基于三次样条函数的自由形变模型；这些模型具有二阶微分，因此能够平滑地模拟局部和全局区域的图像形变。当优化算法搜索到最优的空间变换参数时，待配准图像处于空间对齐状态，配准完成。
1、仿真条件：
本发明在Windows 10 64bit Intel(R)Core(TM)i7-6700HQ [email protected] RAM16GB平台上的MATLAB 2013a软件上进行仿真模拟的，仿真数据选用公开的磁共振图像数据进行弹性配准实验，实验数据来源网址分别为https://brainweb.bic.mni.mcgill.ca/brainweb/和http://www.loni.ucla.edu/Atlases/LPBA40/。
2、仿真内容与结果
1)仿真实验1：
本仿真实验使用人工合成的多模态磁共振图像进行配准实验，验证算法的有效性，实验结果呈现在图2中：
从图像配准前后的对比中可以看出：配准前待配准的多模态两幅图像存在较大的灰度、位置以及形态学上的差异；但是配准后两幅图像间的不一致性明显降低。
图2中，第一列为参考磁共振图像及其对应的手工标注，分别标注出了脑部白质(white matter,WM)、灰质(gray matter,GM)以及脑脊液(cerebrospinal fluid,CSF)三种不同的脑组织，第二列分别为浮动图像及其对应的手工标注，第三列为配准前和配准后参考与浮动手工标注图之间的差。从图中可以看出，本算法能够有效降低手工标注图像间的形态学差异。
2)仿真实验2：
本仿真实验使用相同模态的临床磁共振图像进行弹性配准实验，验证算法对临床实际图像的配准性能，配准结果呈现在图3中：
图3中，第一列为相同模态的参考磁共振图像及其对应的手工标注图，标注兴趣区域分别为白质、灰质和脑脊液，第二列分别为浮动图像及其对应的手工标注，第三列为配准前和配准后两幅手工标注图像间的差。从图中可以看出，配准前两幅图像存在较大的位置误差，配准后图像间的位置和形态学差异显著降低了。
3)仿真实验3：
本仿真实验使用相同模态的临床磁共振图像进行弹性配准实验，验证算法对临床实际图像的配准性能，配准结果呈现在图4中：
图4中，第一列为相同模态的参考磁共振图像和浮动磁共振图像，第二列分别为参考图像和浮动图像中54个兴趣区域对应的手工标注，第三列为配准前和配准后两幅手工标注图像间的差图。从图中可以看出，配准前两幅图像存在较大的位置误差，配准后图像间的位置和形态学差异显著降低了。
3)仿真实验4：
在本仿真实验中，通过对比本算法与已有配准算法(即eSSD算法，NMI算法以及MIND算法)间的性能差异，验证本文发明的图像配准有效性。
对比实验使用多模态的临床磁共振图像进行的配准性能对比，实验结果通过重叠精度(Dice Similarity Coefficient,DSC)量化三个兴趣区域(即脑白质、灰质、脑脊液)间的重合比例，该指标可表示如下：
其中，A表示参考图像的手工标注结果，B为算法配准后的结果，∩表示交集操作符，N(·)为给定区域内像素数目求解函数.DSC的取值范围在0到1之间，且DSC越大，表示算法配准越准确。
仿真实验的对比结果参考图5，从图中能够较为直接地观察到MIND算法在两个兴趣区域上获得了最高的DSC值，因此具有最好的配准精度；本文的算法稍微弱于MIND算法，但是明显比eSSD和NMI算法具有更好的配准性能。
对比结果表明，在全局图像范围内本文发明的算法能够与现有的配准算法(如MIND)在配准性能上具有相似的配准精度，而且优于eSSD和NMI算法。
各位技术人员须知：虽然本发明已按照上述具体实施方式做了描述，但是本发明的发明思想并不仅限于此发明，任何运用本发明思想的改装，都将纳入本专利专利权保护范围内。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种基于局部特征熵的弹性图像配准算法，其特征在于，包括以下步骤：
(1)局部特征熵算子的开发:将像素灰度与局部灰度均值之间的差值整合到局部边界熵算子中，从而引出两种新的局部结构描述算子,即局部不均匀熵和局部结构熵，实现局部区域内不同图像特征纹理的提取,所述的局部特征熵算子的开发步骤如下：局部边界熵可表示为：
其中，m为局部图像区域内的灰度平均值(mean)，ΠX为一个中心在X处且边长为r的三维正方形区域，I(y)为坐标位置y处的像素灰度，p(y)为灰度I(y)对应的概率分布，log(·)为自然对数运算符，mod(·)为取模运算符，因为取模运算符无法有效探测灰度值小于局部均值(即I＜m)的像素，从而导致局部边界熵算子具有有限的边界探测能力，为了改善取模运算符存在的不足，我们将像素灰度与灰度均值的差引入p(y)的计算中，得到一种新的概率p1(y)，具体表示如下：
其中，|·|表示绝对值运算符，这个概率能够在一定程度上缓解取模运算符存在的不足，增强像素灰度与局部灰度均值之间的信息变化，基于这个新的概率分布，可以得到一个局部不均匀熵，可表示为：
根据上述的两个概率分布可以看出，同时利用取模运算符和局部灰度均值可有效探测图像间的信息差异，因此，可以从上述两个概率分布中引出两个新的图像，它们分别表示为：
这两个新的图像可以作为原始图像的灰度变种，它们从不同的方面阐述了原始图像内相邻像素间的灰度变化，根据原始图像和它的两个灰度变种，可以构建另外一个灰度变种，具体表示为：
I3(y)＝|(I1(y)+I2(y)-I(y))I(y)|
利用这个灰度变种，可以设计一个新的灰度概率分布和一个新的局部特征算子，它们分别可表示为：
这个特征算子被称为局部结构熵；
根据上面提到的局部边界熵，局部不均匀熵，以及局部结构熵算子即LEE(X)，INH(X)和STR(X)，可以看出在图像中任一坐标位置X处将对应三种不同的特征熵信息，因此可以将它们同时用于图像配准中，辅助待配准图像信息的量化；
(2)基于局部特征熵的相似性测度:一副图像使用局部边界熵、局部不均匀熵、以及局部结构熵三种特征算子处理后可以得到三幅不同的特征熵图,这些特征熵图像从不同的方面对图像进行纹理刻画，整合起来构成一个特征熵矢量用于图像配准任务中，从而实现灰度图像到特征熵矢量的转换；利用这种转换关系，将待配准的两幅图像,即参考图像和浮动图像转化为参考矢量和浮动矢量，通过计算这两个特征熵矢量间差的平方和，即可量化原始待配准图像间信息差异,使用优化算法最小化上述差的平方和测度，便可以实现图像间的空间位置对齐；
(3)自由形变配准框架:利用优化算法最小化待配准图像间的信息差异,即特征熵矢量之间差的平方和时，需要逐渐变换浮动图像并使其一步步向参考图像靠近，直到参考图像与浮动图像完全重叠到一起,浮动图像的空间变换在弹性图像配准中一般是通过自由形变配准框架实现的,该配准框架是基于三次样条函数发展而来，通过多个样条函数插值计算浮动图像中每个像素点的位置偏移量，实现浮动图像的位置变换,因为三次样条函数是二阶导连续的，这使得基于自由形变的空间变换能够解析地模拟图像全局与局部范围内像素的位置变动,像素位置变动后，其对应的灰度也需要使用插值技术进行更新，图像中每个像素的位置与灰度更新完成后，便可以得到一副新的浮动图像,新的浮动图像与原始参考图像重新开始下一轮的计算，循环该过程直至图像间信息差异不再变化，即图像配准完成。
2.根据权利要求1所述的基于局部特征熵的弹性图像配准算法，其特征在于，所述的步骤(2)其中基于局部特征熵的相似性测度中所述的相似性测度构建步骤如下：
利用三种特征熵算子LEE(X)，INH(X)和STR(X)可以将待配准的参考图像与浮动图像转变为参考特征熵矢量图和浮动特征熵矢量图，分别用VR和VF表示，具体计算公式为：
其中，三个特征熵算子对参考图像处理后的结果为LEER(X),INHR(X),STRR(X)，对浮动图像处理后的结果为LEEF(X),INHF(X),STRF(X)；
配准过程中，当特征熵矢量VR和VF间对应的每个矢量分量的差异最小时，即说明待配准图像在空间上处于完全对齐状态，即配准完成；
为了评估特征熵矢量VR和VF间的差异，本发明使用差的平方和作为相似性测度量化它们间的不一致性，具体计算公式可表示为：
其中，Ω为全局图像区域，T(X,Φ)为一个以Φ为参数的空间变换。
3.根据权利要求1所述的基于局部特征熵的弹性图像配准算法，其特征在于，所述的步骤(3)自由形变配准框架中图像弹性得空间变换的构建步骤如下：
(3a)在空间变换T(X,Φ)中，其对应的变换参数Φ可用一个Nx×Ny×Nz的网格表示，彼此相邻的网格间距在三个图像坐标轴方向上可用s＝(sx,sy,sz)表示，每个网格的交叉点(即网格结节)在坐标(i,j,k)处对应的位置偏移为di,j,k，对于浮动图像中任一像素点X＝(x,y,z)，其对应的空间变换T(X,Φ)为：
其中，
为向下取整运算符，Ll表示样条函数中第l个基函数，它可以表示为L0(t)＝(1-t)3/6，L1(t)＝(3t3-6t2+4)/6，L2(t)＝(-3t3+3t2+3t+1)/6和L3(t)＝t3/6，其中0≤t＜1；
(3b)在图像配准中，为了保证空间变形场的平滑和避免不符合实际的图像变形，需要在相似性测度的计算中对变形场的施加不规则形变的约束项，这个约束项被称为弯曲能量(bending energy)，其计算公式为：
其中，B(·)为弯曲能量，N为参与运算的像素数目，将这个约束项整合到相似性测度中，可得到最终的图像配准量化函数，即C＝(1-λ)S(Φ)+λB(Φ)，其中λ为权重因子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910633713.4A CN110517299B (zh) | 2019-07-15 | 2019-07-15 | 基于局部特征熵的弹性图像配准算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910633713.4A CN110517299B (zh) | 2019-07-15 | 2019-07-15 | 基于局部特征熵的弹性图像配准算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110517299A CN110517299A (zh) | 2019-11-29 |
| CN110517299B true CN110517299B (zh) | 2021-10-26 |
Family
ID=68623340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910633713.4A Active CN110517299B (zh) | 2019-07-15 | 2019-07-15 | 基于局部特征熵的弹性图像配准算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110517299B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465883B (zh) * | 2020-11-23 | 2022-03-29 | 山东科技大学 | 一种高精度曲面非均匀图像配准方法 |
| CN114943753A (zh) * | 2022-06-15 | 2022-08-26 | 北京理工大学 | 基于局部结构矢量对齐的位姿配准方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101238993A (zh) * | 2008-02-01 | 2008-08-13 | 哈尔滨工业大学 | 基于整数提升小波多分辨分析的医学超声图像配准方法 |
| CN102651132A (zh) * | 2012-04-06 | 2012-08-29 | 华中科技大学 | 一种基于交叉视觉皮质模型的医学图像配准方法 |
| CN104361629A (zh) * | 2014-12-01 | 2015-02-18 | 北京航空航天大学 | 一种基于流线变形的烟模型空间编辑方法 |
| CN106204550A (zh) * | 2016-06-30 | 2016-12-07 | 华中科技大学 | 一种非刚性多模医学图像的配准方法及*** |
| CN107194956A (zh) * | 2017-05-16 | 2017-09-22 | 山东大学 | 一种非刚性医学图像配准方法 |
| CN108416802A (zh) * | 2018-03-05 | 2018-08-17 | 华中科技大学 | 一种基于深度学习的多模医学图像非刚性配准方法及*** |
| CN109557031A (zh) * | 2018-11-06 | 2019-04-02 | 核工业北京地质研究院 | 一种岩心高光谱蚀变信息提取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100042375A1 (en) * | 2007-08-08 | 2010-02-18 | Wisconsin Alumni Research Foundation | System and Method for Designing Proteins |
-
2019
- 2019-07-15 CN CN201910633713.4A patent/CN110517299B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101238993A (zh) * | 2008-02-01 | 2008-08-13 | 哈尔滨工业大学 | 基于整数提升小波多分辨分析的医学超声图像配准方法 |
| CN102651132A (zh) * | 2012-04-06 | 2012-08-29 | 华中科技大学 | 一种基于交叉视觉皮质模型的医学图像配准方法 |
| CN104361629A (zh) * | 2014-12-01 | 2015-02-18 | 北京航空航天大学 | 一种基于流线变形的烟模型空间编辑方法 |
| CN106204550A (zh) * | 2016-06-30 | 2016-12-07 | 华中科技大学 | 一种非刚性多模医学图像的配准方法及*** |
| CN107194956A (zh) * | 2017-05-16 | 2017-09-22 | 山东大学 | 一种非刚性医学图像配准方法 |
| CN108416802A (zh) * | 2018-03-05 | 2018-08-17 | 华中科技大学 | 一种基于深度学习的多模医学图像非刚性配准方法及*** |
| CN109557031A (zh) * | 2018-11-06 | 2019-04-02 | 核工业北京地质研究院 | 一种岩心高光谱蚀变信息提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110517299A (zh) | 2019-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103310453B (zh) | 一种基于子图像角点特征的快速图像配准方法 | |
| Zhang et al. | A graph-based optimization algorithm for fragmented image reassembly | |
| Ourselin et al. | Reconstructing a 3D structure from serial histological sections | |
| US9305203B2 (en) | Method for registering fingerprint image | |
| US20050169512A1 (en) | Model-based localization and measurement of miniature surface mount components | |
| CN104424629A (zh) | 一种x光胸片肺部分割方法和装置 | |
| US8983199B2 (en) | Apparatus and method for generating image feature data | |
| CN104021547A (zh) | 肺部 ct 的三维配准方法 | |
| CN116664605B (zh) | 基于扩散模型和多模态融合的医学图像肿瘤分割方法 | |
| CN111105452B (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| CN110517299B (zh) | 基于局部特征熵的弹性图像配准算法 | |
| CN110517300B (zh) | 基于局部结构算子的弹性图像配准算法 | |
| Gan et al. | Multi-dimensional mutual information based robust image registration using maximum distance-gradient-magnitude | |
| CN107316327B (zh) | 一种断骨模型配准方法 | |
| Liang et al. | An algorithm for concrete crack extraction and identification based on machine vision | |
| CN104318559A (zh) | 用于视频图像匹配的特征点快速检测方法 | |
| Wu et al. | TPS-HAMMER: Improving HAMMER registration algorithm by soft correspondence matching and thin-plate splines based deformation interpolation | |
| US8203607B2 (en) | Incorporating prior information from pre aligned image pairs into EMST-based image registration | |
| Yammine et al. | Novel similarity-invariant line descriptor and matching algorithm for global motion estimation | |
| CN110992310A (zh) | 一种确定纵隔***所在分区的方法及装置 | |
| Chen et al. | An adaptive feature region-based line segment matching method for viewpoint-changed images with discontinuous parallax and poor textures | |
| CN109829502B (zh) | 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法 | |
| Zhu et al. | Global and local geometric constrained feature matching for high resolution remote sensing images | |
| CN109993695B (zh) | 一种不规则图形标注的图像碎片拼接方法及*** | |
| CN104574396B (zh) | 一种直线检测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |