CN111127532B - 基于深度学习特征光流的医学图像形变配准方法及*** - Google Patents

基于深度学习特征光流的医学图像形变配准方法及*** Download PDF

Info

Publication number
CN111127532B
CN111127532B CN201911413634.9A CN201911413634A CN111127532B CN 111127532 B CN111127532 B CN 111127532B CN 201911413634 A CN201911413634 A CN 201911413634A CN 111127532 B CN111127532 B CN 111127532B
Authority
CN
China
Prior art keywords
optical flow
image
registration
deep learning
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201911413634.9A
Other languages
English (en)
Other versions
CN111127532A (zh
Inventor
胡金蓉
李达平
雷志琴
吴锡
周激流
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN201911413634.9A priority Critical patent/CN111127532B/zh
Publication of CN111127532A publication Critical patent/CN111127532A/zh
Application granted granted Critical
Publication of CN111127532B publication Critical patent/CN111127532B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，公开了一种基于深度学习特征光流的医学图像形变配准方法及***，提取像素所在图像块，用训练好的Siamese网络提取像素所在图像块的深度学习特征，基于该特征求解光流场。本发明通过Siamese特征提取良好的特征描述符，提高像素点的匹配精度；通过对比损失函数学习到的映射关系，使得在高维空间中相同类别但距离较远的点在特征维空间中距离更近；而不同类别但距离较近的点在特征维空间中距离更远；基于对比损失函数训练的Siamese卷积神经网络提取的Siamese特征比SIFT特征以及一般的深度学习特征等区分度更高、更稳定，更适宜于差异计算和得到更加准确的计算结果。

Description

基于深度学习特征光流的医学图像形变配准方法及***
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于深度学习特征光流的医学图像形变配准方法及***。
背景技术
目前，最接近的现有技术：光流法(Optical Flow)通过计算参照图像和待配准图像间的光流场来进行配准，是一种有效的形变配准方法。现有光流法基于图像间像素的灰度值的Demons算法或SIFT特征差异的SIFT Flow光流法来求解光流场，不能处理大形变和真实地描述形变场，无法获得精确的配准结果。
现有技术中的Demons算法：该算法基于图像间像素灰度值差异来计算光流。仅靠灰度值这一特征不能准确地估算光流场，同时由于该算法中浮动图像的每一个像素点都可以自由移动，可能使浮动图像中具有某一特定灰度值的所有像素点映射到参考图像中的同一像素，导致图像配准错误。
SIFT Flow光流法采用了双层置信度传播(Dual-layer Belief Propagation)算法和从粗到精的特征匹配策略来求解光流场。在该算法中，由于SIFT特征是一种基于图像梯度信息的特征，在图像梯度变化不大的情况下，容易造成误匹配。而且，SIFT特征不能表征图像更高层次的抽象特征，无法进行更为精确的光流场估计。
综上所述，现有技术存在的问题是：(1)现有光流法基于图像间像素的灰度值或SIFT特征差异来求解光流场，不能处理大形变和真实地描述形变场，无法获得精确的配准结果。为了解决该问题，提出通过深度卷积神经网络提取更准确、区分度更大、更稳定的特征，从而达到更精确的配准结果。
(2)Demons算法仅靠灰度值这一特征不能准确地估算光流场，同时浮动图像和参考图像的像素之间容易出现一对多映射而导致错误的配准结果。为了解决该问题，使用通过对比损失函数学习映射关系，以此得到更加准确的配准结果。
(3)SIFT Flow采用了双层置信度传播(Dual-layer Belief Propagatio n)算法和从粗到精的特征匹配策略来求解光流场。在该算法中SIFT特征在图像梯度变化不大的情况下，容易造成误匹配。而且，SIFT特征不能表征图像更高层次的抽象特征，无法进行更为精确的光流场估计。为了解决该问题，提出在通过使用更稳定、区分度更高、易于差异计算的基于图像间像素的Siamese特征来求解光流场，实验结果表明，得到的光流场更加精确和鲁棒。
解决上述技术问题的难度：为了解决现有光流法基于图像间像素的灰度值或SIFT特征差异来求解光流场，不能处理大形变和真实地描述形变场，无法获得精确的配准结果的问题，设计了一种Siamese卷积神经网络来提取像素所在图像块的深度学习特征，该Siamese特征具有SIFT特征不具有区分度高，可以解决在变化不明显的医学图像中，容易造成的误匹配问题。难度为难。
为了解决Demons算法容易出现的一对多映射而导致错误的光流场问题，提出通过基于对比损失函数训练的Siamese卷积神经网络提取的更适应于差异计算的Siamese特征来计算更加准确的光流场。
解决上述技术问题的意义：本发明为了解决Demons算法仅靠灰度值这一特征不能准确地估算光流场，同时浮动图像和参考图像的像素之间容易出现一对多映射而导致难以取得精确的配准结果问题，本发明提出使用区分度高、稳定性强Siamese特征，基于该特征可以准确计算光流场。
Siamese Flow算法是基于深度学习的，可以更加精确地刻画不同特征之间的差异，同时解决SIFT Flow光流法不能表征图像更高层次的抽象特征问题，以提高像素点的匹配精度，得到更加精确形变场。
该算法可以解决基于梯度信息的SIFT特征存在的误匹配，可以处理对比度弱、结构复杂的医学图像。
发明内容
针对现有技术存在的问题，本发明提供了一种基于深度学习特征光流的医学图像形变配准方法及***。
本发明是这样实现的，一种基于深度学习特征光流的医学图像形变配准方法包括：
步骤一，稠密地提取像素所在图像块(特征提取)。
步骤二，再用训练好的Siamese网络提取像素的深度学习特征(光流场估计)。
步骤三，最后基于该特征求解光流场(变换插值)。
进一步，步骤一中，通过Siamese卷积神经网络提取像素所在图像块的Siamese特征；网络的输入为8×8图像块，输出为128维的Siamese特征向量；网络所有的卷积层都采用Relu激活函数，在全连接层后面加入Dropout防止过拟合。
进一步，步骤二训练Siamese网络中，进行Siamese网络设置，包括：
1)网络的损失函数定义如下公式所示：
Figure BDA0002350611450000031
N为输入样本个数，di＝||xi1-xi2||2为每对样本的欧式距离；margin是一个为1的常数；yi是输入样本对的标签，正负样本分别用1,0表示；当为同一类时，则优化di尽量减小，当为不同类别时，则是让max(margin-di,0)2尽量减小；
2)提出基于Siamese特征光流场的能量损失函数；
Figure BDA0002350611450000032
其中，计算参照图像中点p和待配准图像中点q的Siamese特征的绝对值误差和。
进一步，步骤二中训练的Siamese网络包括：
网络框架：采用Keras，Epochs设置为50，Batch Size设置为512；
网络优化算法：使用现有的RMSprop(Root Mean Square Prop)优化算法，初始学习率设为0.001，动量因子设置为0.9；
训练环境：用GPU训练。
进一步，步骤三求解光流场中，采用双层置信度传播算法和从粗到精的特征匹配策略求解光流场。
进一步，步骤三后，还需进行配准图像，求得光流场后，对待配准图像采用现有的三次样条插值算法做变换插值得到配准图像。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述基于深度学习特征光流的医学图像形变配准方法。
本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于深度学习特征光流的医学图像形变配准方法。
本发明的另一目的在于提供一种实现所述基于深度学习特征光流的医学图像形变配准方法的基于深度学习特征光流的医学图像形变配准***，所述基于深度学习特征光流的医学图像形变配准***包括：
特征提取模块，用于稠密地提取像素所在图像块；
光流场估计模块，用于利用训练好的Siamese网络提取像素的深度学习特征；
变换插值模块，基于该特征求解光流场。
进一步，所述基于深度学习特征光流的医学图像形变配准***进一步包括：
图像配准模块，用于求得光流场后，对待配准图像采用三次样条插值算法做变换插值得到配准图像。
综上所述，本发明的优点及积极效果为：本发明稠密地提取像素所在图像块(特征提取)，再用训练好的Siamese网络提取像素的深度学习特征(光流场估计)，最后基于该特征求解光流场(变换插值)。由于深度卷积神经网络良好的特征表示能力，本发明算法求得的光流场更接近真实形变场。该算法配准效果优于Demons算法和SIFT Flow光流法以及Elastix软件，具有精确、鲁棒、可处理大形变的优点。
本发明为了解决在Demons算法中，待配准图像每一个像素都可以自由移动，会使得在待配准图像中具有某一个特定灰度值的所有像素都映射到参照图像上的同一像素，从而导致错误的配准结果的问题。通过Siamese特征提取良好的特征描述符，提高像素点的匹配精度，得到更加精确鲁棒的形变场；通过对比损失函数学习到的映射关系。可以使得在高维空间中相同类别但距离较远的点在特征维空间中距离更近；而不同类别但距离较近的点在特征维空间中距离更远。基于对比损失函数训练的Siamese卷积神经网络提取的Siamese特征比SIFT特征以及一般的深度学习特征等区分度更高、更稳定，更适宜于差异计算和得到更加准确的计算结果。
附图说明
图1是本发明实施例提供的基于深度学习特征光流的医学图像形变配准方法流程图。
图2是本发明实施例提供的基于深度学习特征光流的医学图像形变配准方法路线图。
图3是本发明实施例提供的网络结构图。
图4是本发明实施例提供的基于深度学习特征光流的医学图像形变配准***实例图。
图5是本发明实施例提供的基于深度学习特征光流的医学图像形变配准***示意图。
图中：1、特征提取模块；2、光流场估计模块；3、变换插值模块；4、图像配准模块。
图6是本发明实施例提供的BrainWeb差异图(形变参数λ＝150)。(a)参照图像；(b)待配准图像；(c)参照图像和待配准图像的差异图；(d)Demons配准结果图；(e)SIFT Flow配准结果图；(f)Elastix配准结果图；(g)Siamese Flow配准结果图；(h)Demons配准结果差异图；(i)SIFT Flow配准结果差异图；(j)Elastix配准结果差异图；(k)Siamese Flow配准结果差异图。
图7是本发明实施例提供ACDC差异图(形变参数λ＝150)。(a)参照图像；(b)待配准图像；(c)参照图像和待配准图像的差异图；(d)Demons配准结果图；(e)SIFT Flow配准结果图；(f)Elastix配准结果图；(g)Siamese Flow配准结果图；(h)Demons配准结果差异图；(i)SIFT Flow配准结果差异图；(j)Elastix配准结果差异图；(k)Siamese Flow配准结果差异图。
图8是本发明实施例提供的EMPIRE10差异图(形变参数λ＝250)。(a)参照图像；(b)待配准图像；(c)参照图像和待配准图像的差异图；(d)Demons配准结果图；(e)SIFT Flow配准结果图；(f)Elastix配准结果图；(g)Siamese Flow配准结果图；(h)Demons配准结果差异图；(i)SIFT Flow配准结果差异图；(j)Elastix配准结果差异图；(k)Siamese Flow配准结果差异图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有光流法基于图像间像素的灰度值或SIFT特征差异来求解光流场，不能处理大形变和真实地描述形变场，无法获得精确的配准结果。Demons算法仅靠灰度值这一特征不能准确地估算光流场，同时浮动图像和参考图像的像素之间容易出现一对多映射而导致难以取得精确的配准结果问题，SIFT Flow中，SIFT特征在图像梯度变化不大的情况下，容易造成误匹配。而且，SIFT特征不能表征图像更高层次的抽象特征，无法进行更为精确的光流场估计。
针对现有技术存在的问题，本发明提供了一种基于深度学习特征光流的医学图像形变配准方法及***，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于深度学习特征光流的医学图像形变配准方法包括：
S101，稠密地提取像素所在图像块(特征提取)。
S102，用训练好的Siamese网络提取像素的深度学习特征(光流场估计)。
S103，基于该特征求解光流场(变换插值)。
步骤S101中，进行Siamese特征提取。通过设计的一种Siamese卷积神经网络来提取像素所在图像块的Siamese特征，网络结构如图3所示。网络的输入为的8×8图像块，输出为128维的Siamese特征向量；网络所有的卷积层都采用Relu激活函数，在全连接层1(Fc1)后面加入了一个Dropout防止过拟合。
步骤S102用训练好的Siamese网络提取像素的深度学习特征(光流场估计)中，进行Siamese网络设置，包括：
1)网络的损失函数是比损失函数(Contrastive Loss)，其定义如公式(1)所示：
Figure BDA0002350611450000071
N为输入样本个数，di＝||xi1-xi2||2为每对样本的欧式距离；margin是一个为1的常数；yi是输入样本对的标签，正负样本分别用1,0表示；当为同一类时，则优化di尽量减小，当为不同类别时，则是让max(margin-di,0)2尽量减小。
2)提出基于Siamese特征光流场的能量损失函数。
Figure BDA0002350611450000072
Figure BDA0002350611450000081
其中，式(2)为数据项，计算参照图像中点p和待配准图像中点q的Siamese特征的绝对值误差和；式(3)、(4)为正则项。
步骤S102中训练Siamese网络包括：
网络框架：采用Keras(Tensorflow后端)，Epochs设置为50，Batch Size设置为512。
网络优化算法：使用RMSprop优化算法，初始学习率设为0.001，动量因子设置为0.9。
训练环境：用GPU训练。
步骤S103求解光流场中。采用了双层置信度传播算法和从粗到精的特征匹配策略来求解光流场。
步骤S103后，进行配准图像。求得光流场后，对待配准图像采用三次样条插值算法做变换插值得到配准图像。
图2是本发明实施例提供的基于深度学习特征光流的医学图像形变配准方法路线图。
如图4-图5所示，本发明提供的基于深度学习特征光流的医学图像形变配准***包括：
特征提取模块1，用于稠密地提取像素所在图像块。
光流场估计模块2，用于利用训练好的Siamese网络提取像素的深度学习特征。
变换插值模块3，基于该特征求解光流场。
图像配准模块4，用于求得光流场后，对待配准图像采用三次样条插值算法做变换插值得到配准图像。
下面结合具体实验对本发明作进一步描述。
①实验参数设置
本发明将和Demons算法、SIFT Flow光流法和开源软件Elastix进行实验对比。实验中对比算法的主要参数设置如下：Demons算法中，直方图级别数设置为1024，迭代次数设置为50；SIFT Flow光流法中，正则项系数η设置为0.005，α设置为2，迭代次数设置为200；Elastix算法中，变换类型设置为“BSPLINE”，迭代次数设置为500。
②实验评测指标
A、RMSD(Root Mean Squared Difference)。RMSD可以反应两幅图之间的差异，其计算公式如下：
Figure BDA0002350611450000091
其中，I1和I2是需要计算RMSD的两幅图像，I1(xi)和I2(xi)是两幅图中相同位置点的灰度值，ΩI为I1和I2的图像域，|ΩI|为I1的像素个数(和I2中像素个数相同)，通过计算灰度值的均方根误差来衡量两幅图的相似性。固定图像和配准后图像的RMSD值越小，表示两幅图像中相同位置点的灰度值越近似，整幅图也越相似，配准效果越好。
B、DICE COEFFICIENT。DICE COEFFICIENT用来评估感兴趣区域的配准精度，通过计算ROI(Region ofInteresting)的重合度来评估配准效果，其表达式如下：
Figure BDA0002350611450000092
其中，X，Y分别是两幅图ROI的面积，X∩Y是重叠部分面积。固定图像和配准后图像的ROI所求DICE值越大，表示ROI重合度越高，配准效果越好。
C、差异图。差异图是可视化评估配准效果的最常用技术之一。通过将两幅图像的差异绝对值映射到灰度空间中，其中，差异绝对值越小的地方越暗淡，差异绝对值越大的地方越明亮。
③实验结果
A、配准结果
在BrainWeb、EMPIRE10数据集以及不同形变强度α(依次为50、100、150、200)影响下，对本发明方法及三种对比方法进行了配准精度比较实验。其中，BrainWeb和EMPIRE10分别随机取20对参照图像和待配准图像(同一形变强度)，对实验结果取平均值。表1给出了参照图像与待配准图像(形变图像)的Demons、SIFT Flow、Elastix以及本发明方法SiameseFlow所得配准图像的RMSD平均值。表2给出了参照图像Mask与待配准图像Mask的Demons、SIFT Flow、Elastix以及本发明方法Siamese Flow所得配准图像对应Mask之间的DICE平均值。
表1 BrainWeb与EMPIRE10配准前后的RMSD平均值
数据集 配准前 Demons SIFT Flow Elastix Siamese Flow
BrainWeb(λ＝50) 13.4995 1.6058 1.8556 1.5575 1.4993
BrainWeb(λ＝100) 24.0700 5.5993 6.2845 4.6100 4.1537
BrainWeb(λ＝150) 33.1581 11.7212 8.4916 7.3635 5.8927
BrainWeb(λ＝200) 35.8655 15.6968 12.2182 10.5017 6.8428
EMPIRE10(λ＝50) 11.0737 6.8969 5.1111 5.9442 2.7277
EMPIRE10(λ＝100) 15.9267 8.9559 6.0131 7.3422 3.3316
EMPIRE10(λ＝150) 21.2234 11.7477 7.3080 8.5241 4.1567
EMPIRE10(λ＝200) 22.4466 14.1875 8.4884 9.6205 5.0380
表2 EMPIRE10配准前后的DICE平均值
数据集 配准前 Demons SIFT Flow Elastix Siamese Flow
EMPIRE10(λ＝50) 0.9822 0.9970 0.9953 0.9993 0.9997
EMPIRE10(λ＝100) 0.9643 0.9961 0.9938 0.9989 0.9991
EMPIRE10(λ＝150) 0.9297 0.9853 0.9912 0.9962 0.9967
EMPIRE10(λ＝200) 0.9199 0.9788 0.9884 0.9940 0.9961
图6BrainWeb差异图(形变参数λ＝150)。(a)参照图像；(b)待配准图像；(c)参照图像和待配准图像的差异图；(d)Demons配准结果图；(e)SIFT Flow配准结果图；(f)Elastix配准结果图；(g)Siamese Flow配准结果图；(h)Demons配准结果差异图；(i)SIFT Flow配准结果差异图；(j)Elastix配准结果差异图；(k)Siamese Flow配准结果差异图。
从表1和表2中的数据可以看出，相比于Demons、SIFT Flow和Elastix，SiameseFlow取得了最低的RMSD值和最高的DICE值，配准精度最高。同时，图6展示了Demons、SIFTFlow、Elastix和Siamese Flow对BrainWeb图像配准的差异图：图6(g)相较于图6(a)-(f)，差异图颜色最为暗淡，表明差异较小，配准效果最好。差异图进一步地从视觉上表明Siamese Flow配准精度最高。
B、泛化能力
为了评估本算法的泛化能力，实验将采用没有参与网络训练的ACDC和NPC数据集，在不同形变强度λ(依次为50、100、150、200)影响下，对本发明方法及其他三种方法进行对比实验。其中，ACDC和NPC分别随机取20对参照图像和待配准图像(同一形变强度)，对实验结果取平均值。表3给出了参照图像与待配准图像(形变图像)的Demons、SIFT Flow、Elastix以及Siamese Flow所得配准图像的RMSD平均值。表4给出了参照图像Mask与待配准图像Mask的Demons、SIFT Flow、Elastix以及Siamese Flow所得配准图像对应Mask之间的DICE平均值。
表3 ACDC与NPC配准前后的RMSD平均值
Figure BDA0002350611450000111
表4 ACDC配准前后的DICE平均值
数据集 配准前 Demons SIFTFlow Elastix SiameseFlow
ACDC(λ＝50) 0.9889 0.9986 0.9966 0.9991 0.9995
ACDC(λ＝100) 0.9682 0.9956 0.9929 0.9979 0.9987
ACDC(λ＝150) 0.9516 0.9822 0.9908 0.9946 0.9964
ACDC(λ＝200) 0.9364 0.9752 0.9871 0.9921 0.9935
图7.ACDC差异图(形变参数λ＝150)。(a)参照图像；(b)待配准图像；(c)参照图像和待配准图像的差异图；(d)Demons配准结果图；(e)SIFT Flow配准结果图；(f)Elastix配准结果图；(g)Siamese Flow配准结果图；(h)Demons配准结果差异图；(i)SIFT Flow配准结果差异图；(j)Elastix配准结果差异图；(k)Siamese Flow配准结果差异图。
从表3和表4中的数据可以看出，本发明方法Siamese Flow在没有参与训练的数据集上仍然取得了最低的RMSD值和最高的DICE值，配准精度高于Demons、SIFT Flow和Elastix。同时，图7展示了Demons、SIFT Flow、Elastix和Siamese Flow对ACDC图像配准的差异图：图7(g)相较于图7(a)-(f)，差异图颜色最为暗淡，表明差异较小，配准效果最好。差异图表明Siamese Flow具有鲁棒性，能够对其它类似医学图像进行形变配准，且配准精度高于其它几种方法。
C、大形变
由于肺部和心脏常常由于人体生理活动(呼吸、心跳等)产生大形变，所以本实验采用大形变参数λ＝250，以评测Siamese Flow处理大形变的能力。在EMPIRE10、ACDC数据集上，对本发明方法及其他三种方法进行对比实验。其中，EMPIRE10和ACDC分别随机取20对参照图像和待配准图像(同一形变强度)，对实验结果取平均值。表5给出了参照图像与待配准图像(形变图像)的Demons、SIFT Flow、Elastix以及Siamese Flow所得配准图像的RMSD平均值。表6给出了参照图像Mask与待配准图像Mask以及Demons、SIFT Flow、Elastix以及Siamese Flow所得配准图像对应的Mask之间的DICE平均值。
表5 EMPIRE10与ACDC配准前后的RMSD平均值
Figure BDA0002350611450000131
表6 EMPIRE10与ACDC配准前后的DICE平均值
Figure BDA0002350611450000132
图8.EMPIRE10差异图(形变参数λ＝250)。(a)参照图像；(b)待配准图像；(c)参照图像和待配准图像的差异图；(d)Demons配准结果图；(e)SIFT Flow配准结果图；(f)Elastix配准结果图；(g)Siamese Flow配准结果图；(h)Demons配准结果差异图；(i)SIFTFlow配准结果差异图；(j)Elastix配准结果差异图；(k)Siamese Flow配准结果差异图。
从表5和表6的数据可以看出，即使在大形变等级λ＝250下，相比于Demons、SIFTFlow和Elastix，Siamese Flow仍然取得了最低的RMSD值和最高的DICE值，配准精度最高。同时，图8展示了Demons、SIFT Flow、Elastix和Siamese Flow对EMPIRE10图像配准的差异图：图8(g)相较于图8(a)-(f)，差异图颜色最为暗淡，表明差异较小，配准效果最好。从差异图的视觉效果可以看出，Siamese Flow明显优于其他几种方法，表明了其具有处理大形变的能力，且配准精度较高。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习特征光流的医学图像形变配准方法，其特征在于，所述基于深度学习特征光流的医学图像形变配准方法包括以下步骤：
步骤一，稠密地提取像素所在图像块；通过Siamese卷积神经网络提取像素所在图像块的Siamese特征；网络的输入为8×8图像块，输出为128维的Siamese特征向量；网络所有的卷积层采用Relu激活函数，在全连接层后面加入Dropout防止过拟合；
步骤二，用训练好的Siamese网络提取像素的深度学习特征；训练Siamese网络中，进行Siamese网络设置，包括：
1)网络的损失函数为如下公式：
Figure FDA0002764249710000011
N为输入样本个数，di＝||xi1-xi2||2为每对样本的欧式距离；margin是一个为1的常数；yi是输入样本对的标签，正负样本分别用1,0表示；当为同一类时，则优化di减小，当为不同类别时，则max(margin-di,0)2减小；
2)提出基于Siamese特征光流场的能量损失函数；
Figure FDA0002764249710000012
该函数分为三个部分，第一部分为数据项，第二部分和第三部分均为正则项；其中，计算参照图像中点p和待配准图像中点q的Siamese特征的绝对值误差和；
步骤三，基于该特征求解光流场。
2.如权利要求1所述的基于深度学习特征光流的医学图像形变配准方法，其特征在于，步骤二中训练的Siamese网络包括：
网络框架：采用Keras，Epochs设置为50，Batch Size设置为512；
网络优化算法：使用RMSprop优化算法，初始学习率为0.001，动量因子为0.9；
训练环境：用GPU训练。
3.如权利要求1所述的基于深度学习特征光流的医学图像形变配准方法，其特征在于，步骤三求解光流场中，采用双层置信度传播算法和从粗到精的特征匹配策略求解光流场。
4.如权利要求1所述的基于深度学习特征光流的医学图像形变配准方法，其特征在于，步骤三后，还需进行配准图像，求得光流场后，对待配准图像采用三次样条插值算法做变换插值得到配准图像。
5.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-4任意一项所述的基于深度学习特征光流的医学图像形变配准方法。
6.一种基于深度学习特征光流的医学图像形变配准***，实现权利要求1～4任意一项所述基于深度学习特征光流的医学图像形变配准方法，其特征在于，所述基于深度学习特征光流的医学图像形变配准***包括：
特征提取模块，用于稠密地提取像素所在图像块；
光流场估计模块，用于利用训练好的Siamese网络提取像素的深度学习特征；
变换插值模块，基于该特征求解光流场。
7.如权利要求6所述的基于深度学习特征光流的医学图像形变配准***，其特征在于，所述基于深度学习特征光流的医学图像形变配准***进一步包括：
图像配准模块，用于求得光流场后，对待配准图像采用三次样条插值算法做变换插值得到配准图像。
CN201911413634.9A 2019-12-31 2019-12-31 基于深度学习特征光流的医学图像形变配准方法及*** Expired - Fee Related CN111127532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911413634.9A CN111127532B (zh) 2019-12-31 2019-12-31 基于深度学习特征光流的医学图像形变配准方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911413634.9A CN111127532B (zh) 2019-12-31 2019-12-31 基于深度学习特征光流的医学图像形变配准方法及***

Publications (2)

Publication Number Publication Date
CN111127532A CN111127532A (zh) 2020-05-08
CN111127532B true CN111127532B (zh) 2020-12-22

Family

ID=70506581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911413634.9A Expired - Fee Related CN111127532B (zh) 2019-12-31 2019-12-31 基于深度学习特征光流的医学图像形变配准方法及***

Country Status (1)

Country Link
CN (1) CN111127532B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113242547B (zh) * 2021-04-02 2022-10-04 浙江大学 一种基于深度学习的无线信号中用户行为隐私的滤除方法、***及无线信号收发装置
CN114485417B (zh) * 2022-01-07 2022-12-13 哈尔滨工业大学 一种结构振动位移识别方法及***
CN116363175A (zh) * 2022-12-21 2023-06-30 北京化工大学 基于注意力机制的极化sar图像配准方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101297321A (zh) * 2005-10-25 2008-10-29 布拉科成像S.P.A.公司 配准图像的方法，用于执行配准图像的方法的算法，用于使用所述算法配准图像的程序以及处理生物医学图像以减少由对象移动导致的成像伪影的方法
CN103700101A (zh) * 2013-12-19 2014-04-02 华东师范大学 一种非刚性脑图像配准方法
CN109409263A (zh) * 2018-10-12 2019-03-01 武汉大学 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
CN110390351A (zh) * 2019-06-24 2019-10-29 浙江大学 一种基于深度学习的致痫灶三维自动定位***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204299B2 (en) * 2015-11-04 2019-02-12 Nec Corporation Unsupervised matching in fine-grained datasets for single-view object reconstruction
US10467767B2 (en) * 2016-12-23 2019-11-05 International Business Machines Corporation 3D segmentation reconstruction from 2D slices
CN109711316B (zh) * 2018-12-21 2022-10-21 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN109801314B (zh) * 2019-01-17 2020-10-02 同济大学 一种基于深度学习的双目动态视觉传感器立体匹配方法
CN110136175A (zh) * 2019-05-21 2019-08-16 杭州电子科技大学 一种基于神经网络的室内典型场景匹配定位方法
CN110490881A (zh) * 2019-08-19 2019-11-22 腾讯科技（深圳）有限公司 医学影像分割方法、装置、计算机设备及可读存储介质
CN110619655B (zh) * 2019-08-23 2022-03-29 深圳大学 一种融合光流信息和Siamese框架的目标跟踪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101297321A (zh) * 2005-10-25 2008-10-29 布拉科成像S.P.A.公司 配准图像的方法，用于执行配准图像的方法的算法，用于使用所述算法配准图像的程序以及处理生物医学图像以减少由对象移动导致的成像伪影的方法
CN103700101A (zh) * 2013-12-19 2014-04-02 华东师范大学 一种非刚性脑图像配准方法
CN109409263A (zh) * 2018-10-12 2019-03-01 武汉大学 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
CN110390351A (zh) * 2019-06-24 2019-10-29 浙江大学 一种基于深度学习的致痫灶三维自动定位***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Efficient MRF deformation model for non-rigid image matching;Alexander Shekhovtsov等;《Computer Vision and Image Understanding》;20080723;第112卷(第1期);第91-99页 *
Modern Techniques and Applications for Real-Time Non-rigid Registration;Sofien Bouaziz等;《SA "16: SIGGRAPH ASIA 2016 Courses》;20161108;第1-25页 *
基于光流和多层次B样条自由变形的医学图像鲁棒形变配准;王敏尤 等;《上海交通大学学报》;20081028;第42卷(第10期);第1660-1664页 *

Also Published As

Publication number Publication date
CN111127532A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111127532B (zh) 基于深度学习特征光流的医学图像形变配准方法及***
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
CN109272512B (zh) 一种自动分割左心室内外膜的方法
CN106530341B (zh) 一种保持局部拓扑不变性的点配准算法
CN107169954B (zh) 一种基于并行卷积神经网络的图像显著性检测方法
CN113361542B (zh) 一种基于深度学习的局部特征提取方法
CN111260701B (zh) 多模态视网膜眼底图像配准方法及装置
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
CN111652317A (zh) 基于贝叶斯深度学习的超参数图像分割方法
CN103679720A (zh) 一种基于小波分解与Harris角点检测的快速图像配准方法
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN107301643A (zh) 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法
CN104331885A (zh) 一种基于投票线聚类的圆形目标检测方法
Sun et al. 3d segmentation of pulmonary nodules based on multi-view and semi-supervised
Liu et al. An enhanced neural network based on deep metric learning for skin lesion segmentation
CN113379788B (zh) 一种基于三元组网络的目标跟踪稳定性方法
Lorette et al. Fully unsupervised fuzzy clustering with entropy criterion
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
Sang et al. Robust non-rigid point registration based on feature-dependant finite mixture model
CN111553250B (zh) 一种基于人脸特征点的精准面瘫程度评测方法及装置
CN111080649B (zh) 一种基于黎曼流形空间的图像分割处理方法及***
CN110008902B (zh) 一种融合基本特征和形变特征的手指静脉识别方法及***
CN109886320B (zh) 一种人体股骨x光片智能识读方法及***
CN111553249B (zh) 一种cv下基于h-b分级的精准面瘫程度评测方法及装置
CN115331021A (zh) 基于多层特征自身差异融合的动态特征提取与描述方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201222

Termination date: 20211231