CN113763441B - 无监督学习的医学图像配准方法及*** - Google Patents
无监督学习的医学图像配准方法及*** Download PDFInfo
- Publication number
- CN113763441B CN113763441B CN202110984076.2A CN202110984076A CN113763441B CN 113763441 B CN113763441 B CN 113763441B CN 202110984076 A CN202110984076 A CN 202110984076A CN 113763441 B CN113763441 B CN 113763441B
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- deformation field
- network
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims abstract description 13
- 238000011524 similarity measure Methods 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 230000004913 activation Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000007547 defect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种无监督学***滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。本发明无需预先准备的分割标签或形变场标签,可对不同模态中的大形变区域得到较好的配准精度,且本发明的配准速度快、可达到实时性效果。
Description
技术领域
本发明涉及医学图像配准领域,特别涉及一种无监督学习的医学图像配准方法及***。
背景技术
现有的多模态医学图像配准多基于迭代数值优化方法,需在迭代过程中反复进行数值优化,计算量巨大,导致计算耗时过长,无法做到实时性。深度学习方法的推理速度快,但难以感知多模态图像中的大形变区域,难以实现大形变配准,现有的深度学习方法需要大量组织分割标签或形变场标签,在实际应用中通常获取以上标签。
所以,现在需要一种更可靠的方案。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种无监督学习的医学图像配准方法及***。
为解决上述技术问题,本发明采用的技术方案是:一种无监督学习的医学图像配准方法,包括以下步骤:
1)构建深度学习配准网络,其包括空间自注意力配准网络和多分辨率图像配准网络;
2)将图像对:固定图像F和待配准的浮动图像M输入深度学习配准网络中,得到固定图像F和浮动图像M之间的形变场
3)基于形变场采用三线性插值对浮动图像M进行空间变换,得到最终的配准结果/>配准过程中,将配准结果/>与固定图像F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。
优选的是,所述步骤2)中,图像对:固定图像F和浮动图像M输入空间自注意力配准网络进行不同程度的下采样,形成多个低分辨率的图像,得到图像对之间的粗配准形变场然后通过多分辨率图像配准网络对低分辨率的图像进行配准,最终得到固定图像F和浮动图像M之间的形变场/>
优选的是,所述空间自注意力配准网络包括编码模块、解码模块和自注意力门控模块;
图像对:固定图像F和浮动图像M连接为2通道图像作为空间自注意力配准网络的输入,依次经过编码和解码阶段,最终得到3通道的粗配准形变场
其中,编码阶段使用卷积核大小为3、步长为1的3D卷积层,并且每个卷积后面都紧接着LeakyReLU激活层;并且在编码阶段,使用两个最大池化层来下采样空间维度,同时增加通道深度;
其中,解码阶段交替使用上采样层、跨越连接和卷积层来逐步传递特征,最后经过一个步长为1的卷积和SoftSign激活层输出目标形变场;
其中,跨越连接采用自注意力门控模块连接,以将来自编解码阶段的不同水平信息合并到空间特征图上。
优选的是,其中,自注意力门控模块通过连接编码和解码阶段不同尺度的邻阶特征图,来获取空间维度上的不同权值,进而保留相关区域激活,去除不相关或者噪声响应,具体包括:
首先对解码阶段的当前特征图C进行上采样操作,得到与先前特征图P通道数目和图像大小一致的特征图C′;
然后沿着通道轴对P和C′分别采用平均池化和最大池化,并且将结果相加,得到一个有效的文本特征描述CF;
对于CF,再进行卷积核大小为1、步长为1的标准卷积操作后,得到的注意力特征图AF通过Sigmoid激活来归一化,消除差异性噪声;
最后,将AF与P进行体素间对位相乘,可得到具有丰富上下文信息的空间注意力特征图。
优选的是,所述步骤2)中,通过多分辨率图像配准网络得到形变场的步骤具体包括:
2-1)首先,将输入的固定图像F和浮动图像M均通过三线性插值分别下采样为原来图像大小的1/2和1/4,即F=2F2=4F1,M=2M2=4M1;
2-2)将图像对(F1,M1)作为第一阶段的输入,通过空间自注意力配准网络计算图像F1和图像M1之间的形变场
2-3)对上采样,得到与图像对F2、M2大小一样的形变场/>将/>作为形变场并对M2进行空间形变得到/>
2-4)将图像对作为第二阶段的输入,通过空间自注意力配准网络计算图像F2和图像/>之间的形变场/>将/>与/>相加得到/>
2-5)对上采样,得到与图像对F、M大小一样的形变场/>利用形变场/>对M进行空间形变得到/>
2-6)将图像对作为第二阶段的输入,通过空间自注意力配准网络计算图像F和图像/>之间的形变场/>将/>与/>相加得到最终的形变场/>
优选的是,损失函数L的表达式为:
其中,为配准结果/>与固定图像F的结构信息相似测度,Lsmooth为平滑约束项,LJet为雅可比负值折叠罚项,α、β和γ均为权值。
优选的是,α、β和γ分别为10、0.5和200。
优选的是,其中,的计算方法包括以下步骤:
3-1)对于图像I中的任意一点x的局部结构用六邻域进行表示:中心图块是以点x为中心、大小为p×p×p的图像块,外周是与中心图块距离为r的六邻域块;x点的邻域结构描述由x与六邻域图像块的高斯核距离来表示,假设六邻域中任一图像块为xi,则x与xi的高斯核距离表示为:
表示6组图像对的均方欧氏距离之和,其中,每组图像对表示为:
其中,i=1,2...6,Dp(I,x,xi)表示6组图像对的均方欧氏距离之和,其中的每组图像对(x,xi)的均方欧氏距离为:以x为中心的图像块Ip(x)与以xi为中心的图像块Ip(xi)之间的均方欧氏距离;
其中,σ2是所有图像对的均方欧氏距离的期望值,即:
3-2)计算出所有的高斯核距离,定义模态无关邻域特征损失MIND为:
MIND=[dgauss(I,x,xi)},i=1,2...6;
3-3)定义为:
其中,N=6。
优选的是,其中,LJet的表达式为:
其中,M是中的全部元素总数,σ(·)表示一个线性激活函数,对所有正值都是线性的,负值全部为零;/>代表形变场/>的在位置p上的雅可比矩阵;
的表达式为:
本发明还提供一种无监督学习的医学图像配准***,其采用如上所述的方法进行医学图像配准。
本发明的有益效果是:本发明提供的无监督学习的医学图像配准方法,无需预先准备的分割标签或形变场标签,可对不同模态中的大形变区域得到较好的配准精度,且本发明的配准速度快、可达到实时性效果。
附图说明
图1为本发明的无监督学习的医学图像配准方法的原理框架图;
图2为本发明的空间自注意力配准网络的结构图;
图3为本发明的自注意力门控模块的结构图;
图4为本发明的多分辨率图像配准网络的原理流程图;
图5为MIND邻域结构图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例1
本实施例提供一种无监督学习的医学图像配准方法,包括以下步骤:
1)构建深度学习配准网络,其包括空间自注意力配准网络和多分辨率图像配准网络;
2)将图像对:固定图像F和待配准的浮动图像M输入深度学习配准网络中,得到固定图像F和浮动图像M之间的形变场
其中,图像对:固定图像F和浮动图像M输入空间自注意力配准网络进行不同程度的下采样,形成多个低分辨率的图像,得到图像对之间的粗配准形变场然后通过多分辨率图像配准网络对低分辨率的图像进行配准,最终得到固定图像F和浮动图像M之间的形变场/>。
给定一对三维图像:固定图像F和浮动图像M,配准的目的就是寻找一组最优的形变转换参数使得配准后的浮动图像/>与固定图像F在形态和解剖结构上对齐。本发明建了一个深度学习网络模型,直接估计F和M之间的形变场,可表示为:
其中f表示深度学习网络要学习的映射函数,θ是网络参数,是估计得到的形变场。一般通过最大化相似测度函数来训练网络,学习最优的网络参数/>其图像配准过程可表示为:
式中S表示固定图像F和配准后图像之间的相似测度,R是为了保持/>的平滑性而添加的正则项,/>代表非线性形变操作。
3)基于形变场采用三线性插值对浮动图像M进行空间变换,得到最终的配准结果/>配准过程中,将配准结果/>与固定图像F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。
参照图1,为本发明的整体配准框架。
参照图2,本实施例中,空间自注意力配准网络包括编码模块、解码模块和自注意力门控模块;
图像对:固定图像F和浮动图像M连接为2通道图像作为空间自注意力配准网络的输入,依次经过编码和解码阶段,最终得到3通道的粗配准形变场
其中,编码阶段使用卷积核大小为3、步长为1的3D卷积层,并且每个卷积后面都紧接着参数为0.2的LeakyReLU激活层;并且在编码阶段,使用两个最大池化层来下采样空间维度,同时增加通道深度;
其中,解码阶段交替使用上采样层、跨越连接和卷积层来逐步传递特征,最后经过一个步长为1的卷积和SoftSign激活层输出目标形变场;
一般在学***特征的消失,编解码路径上都会使用跨越连接。在优选的实施例中,跨越连接采用自注意力门控模块连接,以将来自编解码阶段的不同水平信息合并到空间特征图上。
参照图3,其中,自注意力门控模块通过连接编码和解码阶段不同尺度的邻阶特征图,来获取空间维度上的不同权值,进而保留相关区域激活,去除不相关或者噪声响应,具体包括:
首先对解码阶段的当前特征图C(Current Feature Map)进行上采样操作,得到与先前特征图P(Previous Feature Map)通道数目和图像大小一致的特征图C′;
然后沿着通道轴对P和C′分别采用平均池化和最大池化,并且将结果相加,得到一个有效的文本特征描述CF(Context Feature);
对于CF,再进行卷积核大小为1、步长为1的标准卷积操作后,得到的注意力特征图AF(Attention Feature)通过Sigmoid激活来归一化,消除差异性噪声;
最后,将AF与P进行体素间对位相乘,可得到具有丰富上下文信息的空间注意力特征图。由于仅使用池化操作和卷积核为1的卷积操作,增加的必须优化的参数几乎为零,所以可以配合更加深层的网络使用,而几乎不增加额外的时间成本。
图像配准的困难程度受结构差异较大区域对齐程度的影响,一般来说,差异较大区域与大形变关系密切,并且难以对齐。为了进一步提升网络抓取图像间结构差异的能力,本实施例中在跨越连接层前加入了空间自注意力门控模块,利用不同水平的空间和文本信息能突出大形变区域,精细化形变场。
本实施例中,参照图4,在步骤2)中,通过多分辨率图像配准网络得到形变场的步骤具体包括:
2-1)首先,将输入的固定图像F和浮动图像M均通过三线性插值分别下采样为原来图像大小的1/2和1/4,即F=2F2=4F1,M=2M2=4M1;
2-2)将图像对(F1,M1)作为第一阶段的输入,通过空间自注意力配准网络计算图像F1和图像M1之间的形变场
2-3)对上采样,得到与图像对F2、M2大小一样的形变场/>将/>作为形变场并对M2进行空间形变得到/>
2-4)将图像对作为第二阶段的输入,通过空间自注意力配准网络计算图像F2和图像/>之间的形变场/>将/>与/>相加得到/>
2-5)对上采样,得到与图像对F、M大小一样的形变场/>利用形变场/>对M进行空间形变得到/>
2-6)将图像对作为第二阶段的输入,通过空间自注意力配准网络计算图像F和图像/>之间的形变场/>将/>与/>相加得到最终的形变场/>
深度学习网络存在固有的视野域较小的缺陷,不利于较大形变的配准,由于网络的直接优化较为困难,收敛较慢且容易陷入局优,本实施例中,基于残差形变估计思想,提出了了一个多分辨率图像配准网络,将大形变配准问题简化为从粗到细的逐步配准的问题,能克服以上缺陷。
在本实施例中,损失函数L的表达式为:
其中,为配准结果/>与固定图像F的结构信息相似测度,Lsmooth为平滑约束项,LJet为雅可比负值折叠罚项,α、β和γ均为权值。在一种优选的实施例中,α、β和γ分别为10、0.5和200。
对于多模态图像配准,相似测度需要摆脱模态的限制,能够真正度量多模态图像对的相似性。为了解决这个问题,本发明引入基于结构信息的相似性损失,即模态无关邻域特征(MIND)损失。MIND被定义在基于自相似的非局部(non-local)图像块上,依赖局部图像结构信息而不是图像灰度分布。具体的,本实施例中,的计算方法包括以下步骤:
3-1)参照图5,对于图像I中的任意一点x的局部结构用六邻域进行表示:中心图块是以点x为中心、大小为p×p×p的图像块,外周是与中心图块距离为r的六邻域块;x点的邻域结构描述由x与六邻域图像块的高斯核距离来表示,假设六邻域中任一图像块为xi,则x与xi的高斯核距离表示为:
表示6组图像对的均方欧氏距离之和,其中,每组图像对表示为:
其中,i=1,2...6,Dp(I,x,xi)表示6组图像对的均方欧氏距离之和,其中的每组图像对(x,xi)的均方欧氏距离为:以x为中心的图像块Ip(x)与以xi为中心的图像块Ip(xi)之间的均方欧氏距离;
其中,σ2是所有图像对的均方欧氏距离的期望值,即:
3-2)计算出所有的高斯核距离,定义模态无关邻域特征损失MIND为:
MIND={dgauss(I,x,xi)},i=1,2...6;
3-3)定义为:
本实施例中采用六邻域,所以N=6;当然也可以采用八邻域,十六邻域等。
在图像配准过程中,所有的体素不一定经历相同的形变量,严重变形的体素会导致折叠或者撕裂现象。为了减少上述情况发生,本发明中提出使用基于雅可比负值折叠罚项的动态折叠罚项来进一步约束形变。
具体的,其中,雅可比负值折叠罚项LJet的表达式为:
其中,M是中的全部元素总数,σ(·)表示一个线性激活函数,对所有正值都是线性的,负值全部为零,本实施例中,设置σ(·)为ReLU函数;/>代表形变场/>的在位置p上的雅可比矩阵;
的表达式为:
其中,x、y、z在这里是表示方向,即x轴方向,y轴方向和z轴方向。
形变场的雅可比矩阵是三个方向的形变导数的二阶张量,其行列式可以用于分析形变场的局部状态。例如:点为正值,表示点p在其邻域范围内能够保持方向性。相反的,如果点/>为负值,表示点p在其邻域范围内存在折叠,导致正常的拓扑性遭到破坏。我们根据此事实,在雅可比负值体素上嵌入反折叠罚项,这样,雅可比行列式中负值区域将受到惩罚,正值区域几乎不受影响。进一步的,本实施例中还联合使用平滑约束项Lsmooth,在反折叠的同时还能尽量保持整体形变的平滑。
实施例2
本实施例提供一种无监督学习的医学图像配准***,其采用实施例1的方法进行医学CT和MR图像的配准。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节。
Claims (6)
1.一种无监督学习的医学图像配准方法,其特征在于,包括以下步骤:
1)构建深度学习配准网络,其包括空间自注意力配准网络和多分辨率图像配准网络;
2)将图像对:固定图像F和待配准的浮动图像M输入深度学习配准网络中,得到固定图像F和浮动图像M之间的形变场
3)基于形变场采用三线性插值对浮动图像M进行空间变换,得到最终的配准结果配准过程中,将配准结果/>与固定图像F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化;
所述步骤2)中,通过多分辨率图像配准网络得到形变场的步骤具体包括:
2-1)首先,将输入的固定图像F和浮动图像M均通过三线性插值分别下采样为原来图像大小的1/2和1/4,即F=2F2=4F1,M=2M2=4M1;
2-2)将图像对(F1,M1)作为第一阶段的输入,通过空间自注意力配准网络计算图像F1和图像M1之间的形变场
2-3)对上采样,得到与图像对F2、M2大小一样的形变场/>将/>作为形变场并对M2进行空间形变得到/>
2-4)将图像对作为第二阶段的输入,通过空间自注意力配准网络计算图像F2和图像/>之间的形变场/>将/>与/>相加得到/>
2-5)对上采样,得到与图像对F、M大小一样的形变场/>利用形变场/>对M进行空间形变得到/>
2-6)将图像对作为第二阶段的输入,通过空间自注意力配准网络计算图像F和图像/>之间的形变场/>将/>与/>相加得到最终的形变场/>
损失函数L的表达式为:
其中,为配准结果/>与固定图像F的结构信息相似测度,Lsmooth为平滑约束项,LJet为雅可比负值折叠罚项,α、β和γ均为权值;
其中,的计算方法包括以下步骤:
3-1)对于图像I中的任意一点x的局部结构用六邻域进行表示:中心图块是以点x为中心、大小为p×p×p的图像块,外周是与中心图块距离为r的六邻域块;x点的邻域结构描述由x与六邻域图像块的高斯核距离来表示,假设六邻域中任一图像块为xi,则x与xi的高斯核距离表示为:
表示6组图像对的均方欧氏距离之和,其中,每组图像对表示为:
其中,i=1,2...6,Dp(I,x,xi)表示6组图像对的均方欧氏距离之和,其中的每组图像对(x,xi)的均方欧氏距离为:以x为中心的图像块Ip(x)与以xi为中心的图像块Ip(xi)之间的均方欧氏距离;
其中,σ2是所有图像对的均方欧氏距离的期望值,即:
3-2)计算出所有的高斯核距离,定义模态无关邻域特征损失MIND为:
MIND={dgauss(I,x,xi)},i=1,2...6;
3-3)定义为:
其中,N=6。
2.根据权利要求1所述的无监督学习的医学图像配准方法,其特征在于,所述步骤2)中,图像对:固定图像F和浮动图像M输入空间自注意力配准网络进行不同程度的下采样,形成多个低分辨率的图像,得到图像对之间的粗配准形变场然后通过多分辨率图像配准网络对低分辨率的图像进行配准,最终得到固定图像F和浮动图像M之间的形变场/>
3.根据权利要求2所述的无监督学习的医学图像配准方法,其特征在于,所述空间自注意力配准网络包括编码模块、解码模块和自注意力门控模块;
图像对:固定图像F和浮动图像M连接为2通道图像作为空间自注意力配准网络的输入,依次经过编码和解码阶段,最终得到3通道的粗配准形变场
其中,编码阶段使用卷积核大小为3、步长为1的3D卷积层,并且每个卷积后面都紧接着LeakyReLU激活层;并且在编码阶段,使用两个最大池化层来下采样空间维度,同时增加通道深度;
其中,解码阶段交替使用上采样层、跨越连接和卷积层来逐步传递特征,最后经过一个步长为1的卷积和SoftSign激活层输出目标形变场;
其中,跨越连接采用自注意力门控模块连接,以将来自编解码阶段的不同水平信息合并到空间特征图上。
4.根据权利要求3所述的无监督学习的医学图像配准方法,其特征在于,其中,自注意力门控模块通过连接编码和解码阶段不同尺度的邻阶特征图,来获取空间维度上的不同权值,进而保留相关区域激活,去除不相关或者噪声响应,具体包括:
首先对解码阶段的当前特征图C进行上采样操作,得到与先前特征图P通道数目和图像大小一致的特征图C';
然后沿着通道轴对P和C'分别采用平均池化和最大池化,并且将结果相加,得到一个有效的文本特征描述CF;
对于CF,再进行卷积核大小为1、步长为1的标准卷积操作后,得到的注意力特征图AF通过Sigmoid激活来归一化,消除差异性噪声;
最后,将AF与P进行体素间对位相乘,可得到具有丰富上下文信息的空间注意力特征图。
5.根据权利要求4所述的无监督学习的医学图像配准方法,其特征在于,α、β和γ分别为10、0.5和200。
6.根据权利要求5所述的无监督学习的医学图像配准方法,其特征在于,其中,LJet的表达式为:
其中,M是中的全部元素总数,σ(·)表示一个线性激活函数,对所有正值都是线性的,负值全部为零;/>代表形变场/>的在位置p上的雅可比矩阵;
的表达式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110984076.2A CN113763441B (zh) | 2021-08-25 | 2021-08-25 | 无监督学习的医学图像配准方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110984076.2A CN113763441B (zh) | 2021-08-25 | 2021-08-25 | 无监督学习的医学图像配准方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113763441A CN113763441A (zh) | 2021-12-07 |
CN113763441B true CN113763441B (zh) | 2024-01-26 |
Family
ID=78791279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110984076.2A Active CN113763441B (zh) | 2021-08-25 | 2021-08-25 | 无监督学习的医学图像配准方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113763441B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114445471A (zh) * | 2022-01-26 | 2022-05-06 | 山东大学 | 基于多标准融合的多模态医学图像配准方法及*** |
CN114359360B (zh) * | 2022-03-17 | 2022-06-10 | 成都信息工程大学 | 一种基于对抗的双向一致性约束医学图像配准算法 |
CN115690178A (zh) * | 2022-10-21 | 2023-02-03 | 上海精劢医疗科技有限公司 | 基于深度学习的跨模块非刚体配准方法、***及介质 |
CN116051609B (zh) * | 2023-01-18 | 2023-08-18 | 东北林业大学 | 一种基于带限变形傅里叶网络的无监督医学图像配准方法 |
CN116958217B (zh) * | 2023-08-02 | 2024-03-29 | 德智鸿(上海)机器人有限责任公司 | 一种mri与ct多模态3d自动配准方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299216A (zh) * | 2018-10-29 | 2019-02-01 | 山东师范大学 | 一种融合监督信息的跨模态哈希检索方法和*** |
CN110599528A (zh) * | 2019-09-03 | 2019-12-20 | 济南大学 | 一种基于神经网络的无监督三维医学图像配准方法及*** |
CN111242959A (zh) * | 2020-01-15 | 2020-06-05 | 中国科学院苏州生物医学工程技术研究所 | 基于卷积神经网络的多模态医学图像的目标区域提取方法 |
CN111524170A (zh) * | 2020-04-13 | 2020-08-11 | 中南大学 | 一种基于无监督深度学习的肺部ct图像配准方法 |
CN112150425A (zh) * | 2020-09-16 | 2020-12-29 | 北京工业大学 | 一种基于神经网络的无监督血管内超声图像配准方法 |
CN112330724A (zh) * | 2020-10-15 | 2021-02-05 | 贵州大学 | 一种基于集成注意力增强的无监督多模态图像配准方法 |
CN112802072A (zh) * | 2021-02-23 | 2021-05-14 | 临沂大学 | 基于对抗学习的医学图像配准方法及*** |
CN112967178A (zh) * | 2021-03-08 | 2021-06-15 | 烟台艾睿光电科技有限公司 | 一种图像转换方法、装置、设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11449759B2 (en) * | 2018-01-03 | 2022-09-20 | Siemens Heathcare Gmbh | Medical imaging diffeomorphic registration based on machine learning |
CN112602099A (zh) * | 2018-08-24 | 2021-04-02 | 阿特瑞斯公司 | 基于深度学习的配准 |
US11348227B2 (en) * | 2018-09-04 | 2022-05-31 | The Trustees Of The University Of Pennsylvania | Image registration using a fully convolutional network |
US10842445B2 (en) * | 2018-11-08 | 2020-11-24 | General Electric Company | System and method for unsupervised deep learning for deformable image registration |
-
2021
- 2021-08-25 CN CN202110984076.2A patent/CN113763441B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299216A (zh) * | 2018-10-29 | 2019-02-01 | 山东师范大学 | 一种融合监督信息的跨模态哈希检索方法和*** |
CN110599528A (zh) * | 2019-09-03 | 2019-12-20 | 济南大学 | 一种基于神经网络的无监督三维医学图像配准方法及*** |
CN111242959A (zh) * | 2020-01-15 | 2020-06-05 | 中国科学院苏州生物医学工程技术研究所 | 基于卷积神经网络的多模态医学图像的目标区域提取方法 |
CN111524170A (zh) * | 2020-04-13 | 2020-08-11 | 中南大学 | 一种基于无监督深度学习的肺部ct图像配准方法 |
CN112150425A (zh) * | 2020-09-16 | 2020-12-29 | 北京工业大学 | 一种基于神经网络的无监督血管内超声图像配准方法 |
CN112330724A (zh) * | 2020-10-15 | 2021-02-05 | 贵州大学 | 一种基于集成注意力增强的无监督多模态图像配准方法 |
CN112802072A (zh) * | 2021-02-23 | 2021-05-14 | 临沂大学 | 基于对抗学习的医学图像配准方法及*** |
CN112967178A (zh) * | 2021-03-08 | 2021-06-15 | 烟台艾睿光电科技有限公司 | 一种图像转换方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于深度学习的医学图像配准技术研究进展;郭艳芬,崔喆,杨智鹏;计算机工程与应用;第57卷(第15期);第1-8页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113763441A (zh) | 2021-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113763441B (zh) | 无监督学习的医学图像配准方法及*** | |
CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
CN109191476B (zh) | 基于U-net网络结构的生物医学图像自动分割新方法 | |
CN112183501B (zh) | 深度伪造图像检测方法及装置 | |
CN109726627B (zh) | 一种神经网络模型训练及通用接地线的检测方法 | |
CN106339998A (zh) | 基于对比度金字塔变换的多聚焦图像融合方法 | |
CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及*** | |
CN110136122B (zh) | 一种基于注意力深度特征重建的脑mr图像分割方法 | |
CN107633522A (zh) | 基于局部相似性活动轮廓模型的脑部图像分割方法和*** | |
CN113763442A (zh) | 一种可变形医学图像配准方法及*** | |
CN114037714B (zh) | 一种面向******穿刺的3d mr与trus图像分割方法 | |
CN111402138A (zh) | 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法 | |
CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
CN112489050A (zh) | 一种基于特征迁移的半监督实例分割算法 | |
CN110956119B (zh) | 一种图像中目标检测的方法 | |
CN111161271A (zh) | 一种超声图像分割方法 | |
CN115457020B (zh) | 一种融合残差图像信息的2d医学图像配准方法 | |
CN112163990B (zh) | 360度图像的显著性预测方法及*** | |
CN111242999A (zh) | 基于上采样及精确重匹配的视差估计优化方法 | |
CN113066025A (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
CN115578427A (zh) | 基于深度学习的无监督单模态医学图像配准方法 | |
CN107146211A (zh) | 基于线扩散函数和双边滤波的视网膜血管图像降噪方法 | |
CN112489048B (zh) | 一种基于深度网络的视神经自动分割方法 | |
CN116977387A (zh) | 基于形变场融合的可变形医学图像配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |