CN111091589B - 基于多尺度监督学习的超声和核磁图像配准方法及装置 - Google Patents
基于多尺度监督学习的超声和核磁图像配准方法及装置 Download PDFInfo
- Publication number
- CN111091589B CN111091589B CN201911168691.5A CN201911168691A CN111091589B CN 111091589 B CN111091589 B CN 111091589B CN 201911168691 A CN201911168691 A CN 201911168691A CN 111091589 B CN111091589 B CN 111091589B
- Authority
- CN
- China
- Prior art keywords
- image
- magnetic resonance
- images
- ultrasonic
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims abstract description 31
- 238000002604 ultrasonography Methods 0.000 claims abstract description 30
- 238000011524 similarity measure Methods 0.000 claims abstract description 25
- 210000004185 liver Anatomy 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000009499 grossing Methods 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 5
- 210000004204 blood vessel Anatomy 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 210000001631 vena cava inferior Anatomy 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000005311 nuclear magnetism Effects 0.000 claims 1
- 210000001519 tissue Anatomy 0.000 description 10
- 210000000056 organ Anatomy 0.000 description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 208000014018 liver neoplasm Diseases 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
基于多尺度监督学***滑项三个损失函数对神经网络进行训练；(5)根据配准参数将磁共振和超声图像配准。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于多尺度监督学习的超声和核磁图像配准方法，以及基于多尺度监督学习的超声和核磁图像配准装置。
背景技术
肝癌以其高发病率、高死亡率的特点成为我国人民面临的重大疾病威胁之一。基于超声US(即，超声波扫描，ultrasound scan)实时引导的肝脏肿瘤消融手术，由于其具有成本低，创面小等优点而成为临床医学重点发展方向。然而超声图像相对于只能术前采集的磁共振MR(即，磁共振共像，Magnetic Resonance Imaging)图像而言，成像质量低，视野范围窄，难以提供全面的解剖细节信息。所以在临床手术过程中将两种图像进行配准融合来进行辅助治疗可以达到更好的治疗效果。因此超声以及磁共振图像的配准融合是必要的。
传统基于迭代的图像配准算法，往往根据形变后的浮动图像和固定图像之间的相似性测度差异，寻求最优解。这些相似性测度包括MI(互信息)，NMI(归一化互信息)，CC(相关系数)，NCC(归一化相关系数)等，以及后来一些学者提出的基于图像灰度梯度的MIND(模态独立的邻域描述子)在超声和磁共振图像配准中取得了一定的进展。但由于超声和磁共振图像之间巨大的差异以及肝脏部位因呼吸和位姿造成的大形变，传统算法很难得到满意的结果，并且常常会因陷入局部最优而得到不满意的结果。
近些年来，由于深度学习可以通过图像的表观差异与形变场之间的对应关系从而学习到配准所需的形变场参数，已经逐渐应用到多模态图像配准中来。基于深度学习的配准方法主要包括：以传统算法得到形变场作为金标准来训练配准网络；或者以已知相似性测度作为神经网络的损失函数，无需金标准。
这些网络一经训练完成，在测试阶段不用经过繁重的迭代过程就可以得到配准结果，加快了配准的速度，但由于它们用的都是既有的传统相似性测度，难以应用到超声到磁共振图像的多模态图像配准。
最近一些学者提出以超声和磁共振图像中的重要器官或血管等管状结构的分割标签的重叠率作为多尺度监督学习金标准来训练配准网络，成功的将超声***的超声磁共振图像配准到其对应的磁共振图像。但仍存在以下问题：
1.人工标注标签，无法避免误差。
2.人工标签是稀疏的，有些区域无法进行有效的监督。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于多尺度监督学习的超声和核磁图像配准方法，其在测试阶段只需要输入对应的超声和磁共振图像便可以直接预测出由超声图像到磁共振图像的形变场，完成超声到磁共振图像的配准过程，无需传统算法的迭代过程，在速度和准确度上都可以得到大幅度的提升。
本发明的技术方案是：这种基于多尺度监督学习的超声和核磁图像配准方法，其包括以下步骤：
(1)采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
(2)构建基于3DUnet的配准基本框架；
(3)对3DUnet进一步优化，得到基于多尺度监督神经网络；
(4)将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
(5)测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述三维超声图像进行配准。
本发明将超声、磁共振图像中对应重要器官结构分割出来，用分割标签匹配差异，超声图像形变后与磁共振图像的基于梯度描述子的相似性测度差异，以及对形变场起到平滑作用的正则项，这三个损失函数共同作为神经网络的训练损失；在传统的3Dunet网络上进行修改，得到基于多尺度监督神经网络；将对应的磁共振图像和超声图像，首先进行刚性配准，将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；因此在测试阶段只需要输入对应的超声和磁共振图像便可以直接预测出由超声图像到磁共振图像的形变场，完成超声到磁共振图像的配准过程，无需传统算法的迭代过程，在速度和准确度上都可以得到大幅度的提升。
还提供了基于多尺度监督学习的超声和核磁图像配准装置，其包括：
采集分割模块，其配置来采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
框架构建模块，其配置来构建基于3DUnet的配准基本框架；
优化模块，其配置来对3DUnet进一步优化，得到基于多尺度监督神经网络；
刚性配准及网络训练模块，其配准来将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
实时配准模块，其配准来测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述三维超声图像进行配准。
附图说明
图1是根据本发明的基于多尺度监督学习的超声和核磁图像配准方法的整体架构。
图2示出了根据本发明的基于多尺度监督学习的超声和核磁图像配准方法的各级的损失函数。
图3是根据本发明的基于多尺度监督学习的超声和核磁图像配准方法的流程图。
具体实施方式
对于基于深度学***滑作用的正则项，这三个损失函数共同作为神经网络的训练损失。需要分割的重要解剖结构包括器官轮廓，血管等管状结构边界。为了追求更高的配准精度以及提高配准网络的鲁棒性，在传统的3Dunet网络上进行修改，在解码网络中加入多尺度策略：先预测低分辨率形变场，用低分辨形变场初始化更高分辨率的形变场，在经过四个由低到高的分辨率尺度后，得到原图大小的稠密形变场。该网络一经训练完成，测试阶段只需要输入对应的超声和磁共振图像，便可以直接预测出由超声图像到磁共振图像的形变场，完成超声到磁共振图像的配准过程。
如图3所示，这种基于多尺度监督学习的超声和核磁图像配准方法，其包括以下步骤：
(1)采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
(2)构建基于3DUnet的配准基本框架；
(3)对3DUnet进一步优化，得到基于多尺度监督神经网络；
(4)将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
(5)测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述三维超声图像进行配准。
本发明将超声、磁共振图像中对应重要器官结构分割出来，用分割标签匹配差异，超声图像形变后与磁共振图像的基于梯度描述子的相似性测度差异，以及对形变场起到平滑作用的正则项，这三个损失函数共同作为神经网络的训练损失；在传统的3Dunet网络上进行修改，得到基于多尺度监督神经网络；将对应的磁共振图像和超声图像，首先进行刚性配准，将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；因此在测试阶段只需要输入对应的超声和磁共振图像便可以直接预测出由超声图像到磁共振图像的形变场，完成超声到磁共振图像的配准过程，无需传统算法的迭代过程，在速度和准确度上都可以得到大幅度的提升。
优选地，所述步骤(2)中，配准网络框架为：将待配准的三维超声图像和磁共振图像叠加在一起，作为两个通道一起输入到基于3Dunet的编码解码网络中，网络输出通道数为三的形变场；将形变场作用到超声图像Simg上得到形变后的图像Warpimg；与此同时，将形变场/>作用到预先人工分割好的超声图像的标签Slabel上，得到形变后的超声标签Warplabel。
优选地，所述步骤(2)中，网络的损失函数包括：磁共振图像和形变图像基于梯度的多模态测度MIND(Timg，Warpimg)、形变后的超声图像的标签和磁共振图像标签基于灰度差的均方根SSD(Tlabel,Warplabel)、对形变场的平滑约束项
优选地，所述步骤(3)中，在3Dunet编码解码的基础上进行改进，编码阶段经历五次下采样；每一层三维卷积后都加入了批标准化BN层和leakyrelu非线性激活函数；在解码阶段，分别在图像的以及全尺寸这四个尺度下输出通道数为三的张量作为形变场/>为大小为原图/>的形变场，并对该尺度下的形变场计算损失约束；下层输出的形变场张量又作为更高级分辨率形变场的初始化输入到解码网络的后一层；对每一级的损失计算，将形变场作用在对应的浮动的三维超声图像，从而计算形变后图像与固定的磁共振图像的局部自相似性测度MIND，以及形变场梯度的L2范数；对于最后全尺寸的/>形变场，再添加形变后图像与固定分割图像的差异这个损失。
优选地，所述步骤(3)中，对神经网络进行训练包括：训练过程中神经网络预测得到的不同尺度的形变场分别为16,32,64,128.的三维矩阵*3得到的四维矩阵；将每一级尺度的形变场，作用到对应的超声图像/>上，/>为原超声图像下采样到/>从而得到/>以及超声的分割二值图像上/>
优选地，所述步骤(2)中，磁共振图像和形变图像基于梯度的多模态测度MIND为公式(1)
其中I代表磁共振图像或者超声图像，x代表图像中的一点，n为归一化常数，r∈R代表搜索半径；其中：Dp(I,x1,x2)＝∑p∈P(I(x1+p)-I(x2+p)2，计算的是在搜索区域R内的所有小块与以两个体素x1和x2为中心的小块内的像素灰度之差的平方和SSD，V(I,x)为对方差的估计，最后两幅多模态图像I,J的相似性测度为公式(2)
r＝1,p＝0，
每一级下采样到对应尺寸的(尺寸为原图大小的1/2n-1的源图像和目标图像)，该级相似性测度损失为公式(3)
优选地，所述步骤(2)中，对每一级损失函数加入形变场梯度的L2范数，作为正则损失，各个级的正则损失函数为公式(4)
其中代表形变场，Ω代表图像空间
参考图2，各级的损失函数为公式(5)
其中η＝1,γ＝1。
优选地，所述步骤(2)中，在最后一级加入分割标签损失公式(6)
得到整体损失函数为公式(7)
Loss＝αLossseg+β(0.08*loss1+0.04*loss2+0.02*loss3+0.01*loss4) (7)
其中α＝0.1，β＝10。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于多尺度监督学习的超声和核磁图像配准装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
采集分割模块，其配置来采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
框架构建模块，其配置来构建基于3DUnet的配准基本框架；
优化模块，其配置来对3DUnet进一步优化，得到基于多尺度监督神经网络；
刚性配准及网络训练模块，其配准来将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
实时配准模块，其配准来测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述三维超声图像进行配准。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (8)
1.基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：其包括以下步骤：
(1)采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
(2)构建基于3DUnet的配准基本框架；
(3)对3DUnet进一步优化，得到基于多尺度监督神经网络；
(4)将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
(5)测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述超声图像进行配准；
所述步骤(3)中，在3DUnet编码解码的基础上进行改进，编码阶段经历五次下采样；每一层三维卷积后都加入了批标准化BN层和leakyrelu非线性激活函数；在解码阶段，分别在图像的以及全尺寸这四个尺度下输出通道数为三的张量作为形变场为大小为原图/>的形变场，并对该尺度下的形变场计算损失约束；下层输出的形变场张量又作为更高级分辨率形变场的初始化输入到解码网络的后一层；对每一级的损失计算，将形变场作用在对应的浮动的三维超声图像，从而计算形变后图像与固定的磁共振图像的局部自相似性测度MIND，以及形变场梯度的L2范数；对于最后全尺寸的/>形变场，再添加形变后图像与固定分割图像的差异这个损失。
2.根据权利要求1所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(2)中，配准网络框架为：将待配准的三维超声图像和磁共振图像叠加在一起，作为两个通道一起输入到基于3DUnet的编码解码网络中，网络输出通道数为三的形变场；将形变场作用到超声图像Simg上得到形变后的图像Warpimg；与此同时，将形变场/>作用到预先人工分割好的超声图像的标签Slabel上，得到形变后的超声标签Warplabel。
3.根据权利要求2所述的基于多尺度监督学***滑约束项
4.根据权利要求3所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(3)中，对神经网络进行训练包括：训练过程中神经网络预测得到的不同尺度的形变场分别为16,32,64,128的三维矩阵*3得到的四维矩阵；将每一级尺度的形变场，作用到对应的超声图像/>上，/>为原超声图像下采样到/>从而得到以及超声的分割二值图像上/>
5.根据权利要求4所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(2)中，磁共振图像和形变图像基于梯度的多模态测度MIND为公式(1)
其中I代表磁共振图像或者超声图像，x代表图像中的一点，n为归一化常数，r∈R代表搜索半径；其中：Dp(I,x1,x2)＝∑p∈P(I(x1+p)-I(x2+p)2)，计算的是在搜索区域R内的所有小块与以两个体素x1和x2为中心的小块内的像素灰度之差的平方和SSD，V(I,x)为对方差的估计，最后两幅多模态图像I,J的相似性测度为公式(2)
r＝1,p＝0，
每一级下采样到对应尺寸的其尺寸为原图大小的1/2n-1的源图像和目标图像，该级相似性测度损失为公式(3)
6.根据权利要求5所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(2)中，对每一级损失函数加入形变场梯度的L2范数，作为正则损失，各个级的正则损失函数为公式(4)
其中代表形变场，Ω代表图像空间
各级的损失函数为公式(5)
其中η＝1,γ＝1。
7.根据权利要求6所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(2)中，在最后一级加入分割标
签损失公式(6)
得到整体损失函数为公式(7)
Loss＝αLossseg+β(0.08*loss1+0.04*loss2+0.02*loss3+0.01*loss4) (7)
其中α＝0.1，β＝10。
8.基于多尺度监督学习的超声和核磁图像配准装置，其特征在于：
其包括：
采集分割模块，其配置来采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
框架构建模块，其配置来构建基于3DUnet的配准基本框架；
优化模块，其配置来对3DUnet进一步优化，得到基于多尺度监督神经网络；所述优化模块中，在3DUnet编码解码的基础上进行改进，编码阶段经历五次下采样；每一层三维卷积后都加入了批标准化BN层和leakyrelu非线性激活函数；在解码阶段，分别在图像的以及全尺寸这四个尺度下输出通道数为三的张量作为形变场为大小为原图/>的形变场，并对该尺度下的形变场计算损失约束；下层输出的形变场张量又作为更高级分辨率形变场的初始化输入到解码网络的后一层；对每一级的损失计算，将形变场作用在对应的浮动的三维超声图像，从而计算形变后图像与固定的磁共振图像的局部自相似性测度MIND，以及形变场梯度的L2范数；对于最后全尺寸的/>形变场，再添加形变后图像与固定分割图像的差异这个损失；
刚性配准及网络训练模块，其配置来将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
实时配准模块，其配置来测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述超声图像进行配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911168691.5A CN111091589B (zh) | 2019-11-25 | 2019-11-25 | 基于多尺度监督学习的超声和核磁图像配准方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911168691.5A CN111091589B (zh) | 2019-11-25 | 2019-11-25 | 基于多尺度监督学习的超声和核磁图像配准方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111091589A CN111091589A (zh) | 2020-05-01 |
| CN111091589B true CN111091589B (zh) | 2023-11-17 |
Family
ID=70394156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911168691.5A Active CN111091589B (zh) | 2019-11-25 | 2019-11-25 | 基于多尺度监督学习的超声和核磁图像配准方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111091589B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724423B (zh) * | 2020-06-03 | 2022-10-25 | 西安交通大学 | 基于流体散度损失的微分同胚的非刚体配准方法 |
| CN111657883B (zh) * | 2020-06-03 | 2021-05-04 | 北京理工大学 | 基于序列造影的冠脉syntax分数自动计算方法与*** |
| CN111784706B (zh) * | 2020-06-28 | 2021-06-04 | 广州柏视医疗科技有限公司 | 鼻咽癌原发肿瘤图像自动识别方法及*** |
| CN111932443B (zh) * | 2020-07-16 | 2024-04-02 | 江苏师范大学 | 多尺度表达结合造影剂提升超声与磁共振配准精度的方法 |
| CN111798498A (zh) * | 2020-07-16 | 2020-10-20 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN112084840A (zh) * | 2020-07-24 | 2020-12-15 | 浙江工业大学 | 一种基于三维nmi的指静脉识别方法 |
| CN111950714B (zh) * | 2020-08-24 | 2024-06-18 | 重庆市云迈科技有限公司 | 一种基于3d全卷积神经网络的能谱ct图像域材料识别方法 |
| CN111709976B (zh) * | 2020-08-24 | 2020-11-06 | 湖南国科智瞳科技有限公司 | 一种显微图像的快速配准方法、***及计算机设备 |
| CN112184781A (zh) * | 2020-09-14 | 2021-01-05 | 中国科学院深圳先进技术研究院 | 超声图像和ct图像的配准方法、装置及设备 |
| CN112150425B (zh) * | 2020-09-16 | 2024-05-24 | 北京工业大学 | 一种基于神经网络的无监督血管内超声图像配准方法 |
| CN112435281B (zh) * | 2020-09-23 | 2022-06-24 | 山东师范大学 | 一种基于对抗学习的多光谱眼底图像分析方法及*** |
| CN112419377B (zh) * | 2020-11-20 | 2021-10-08 | 推想医疗科技股份有限公司 | 配准图像确定方法及配准图像确定装置 |
| CN113112534B (zh) * | 2021-04-20 | 2022-10-18 | 安徽大学 | 一种基于迭代式自监督的三维生物医学图像配准方法 |
| CN113298854B (zh) * | 2021-05-27 | 2022-02-01 | 广州柏视医疗科技有限公司 | 基于标记点的图像配准方法 |
| CN113409349B (zh) * | 2021-05-27 | 2022-04-19 | 拓微摹心数据科技(南京)有限公司 | 一种基于人工智能的主动脉结构图像自动分割方法 |
| CN113450397B (zh) * | 2021-06-25 | 2022-04-01 | 广州柏视医疗科技有限公司 | 基于深度学习的图像形变配准方法 |
| CN113689480A (zh) * | 2021-08-20 | 2021-11-23 | 北京理工大学 | 基于管状结构检测的三维us/mr配准融合方法及装置 |
| CN116777959A (zh) * | 2022-03-10 | 2023-09-19 | 中国科学院深圳先进技术研究院 | 核磁共振图像批量配准方法及*** |
| CN114693753B (zh) * | 2022-03-24 | 2024-05-03 | 北京理工大学 | 基于纹理保持约束的三维超声弹性配准方法及装置 |
| CN115393527A (zh) * | 2022-09-14 | 2022-11-25 | 北京富益辰医疗科技有限公司 | 基于多模影像与交互设备的解剖导航构建方法及装置 |
| CN116563096B (zh) * | 2023-07-11 | 2023-09-26 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 用于图像配准的形变场的确定方法、装置以及电子设备 |
| CN116645576B (zh) * | 2023-07-26 | 2023-09-19 | 深圳华声医疗技术股份有限公司 | 超声图像标签处理方法、装置、超声设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106373108A (zh) * | 2016-08-29 | 2017-02-01 | 王磊 | 一种将实时超声图像与术前核磁图像进行融合的方法及装置 |
| CN109360181A (zh) * | 2018-10-29 | 2019-02-19 | 中惠医疗科技（上海）有限公司 | 超声图像与核磁图像融合方法和*** |
| CN110163897A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 一种基于合成超声图像的多模态图像配准方法 |
| CN110189369A (zh) * | 2019-06-05 | 2019-08-30 | 深圳大学 | 一种超声与磁共振图像融合配准方法及终端设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493347B (zh) * | 2017-09-12 | 2021-03-23 | 深圳科亚医疗科技有限公司 | 在图像中对稀疏分布的对象进行分割的方法和*** |
-
2019
- 2019-11-25 CN CN201911168691.5A patent/CN111091589B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106373108A (zh) * | 2016-08-29 | 2017-02-01 | 王磊 | 一种将实时超声图像与术前核磁图像进行融合的方法及装置 |
| CN109360181A (zh) * | 2018-10-29 | 2019-02-19 | 中惠医疗科技（上海）有限公司 | 超声图像与核磁图像融合方法和*** |
| CN110163897A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 一种基于合成超声图像的多模态图像配准方法 |
| CN110189369A (zh) * | 2019-06-05 | 2019-08-30 | 深圳大学 | 一种超声与磁共振图像融合配准方法及终端设备 |
Non-Patent Citations (2)
| Title |
|---|
| Bart R.Thomson 等.Hepatic vessel segmentation using a reduced filter 3D U-Net in ultrasound imaging.《arXiv:1907.12109v1[eess.IV]》.2019,第1-4页. * |
| 苏新宇 等.基于心脏磁共振端州电影图像的右心室分割新进展.《波普学杂志》.2019,第36卷(第3期),第377-391页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111091589A (zh) | 2020-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111091589B (zh) | 基于多尺度监督学习的超声和核磁图像配准方法及装置 | |
| Zhou et al. | Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method | |
| Maier et al. | A gentle introduction to deep learning in medical image processing | |
| Mahapatra et al. | Joint registration and segmentation of xray images using generative adversarial networks | |
| Shan et al. | Unsupervised end-to-end learning for deformable medical image registration | |
| US20190220977A1 (en) | Cross-Domain Image Analysis and Cross-Domain Image Synthesis Using Deep Image-to-Image Networks and Adversarial Networks | |
| CN109859184B (zh) | 一种连续扫描乳腺超声图像的实时检测与决策融合方法 | |
| CN111640120A (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| Yuan et al. | Prostate segmentation with encoder-decoder densely connected convolutional network (Ed-Densenet) | |
| CN110838140A (zh) | 基于混合监督学习的超声和核磁图像配准融合方法及装置 | |
| Maity et al. | Automatic lung parenchyma segmentation using a deep convolutional neural network from chest X-rays | |
| Zhu et al. | DualMMP-GAN: Dual-scale multi-modality perceptual generative adversarial network for medical image segmentation | |
| Sokooti et al. | Hierarchical prediction of registration misalignment using a convolutional LSTM: Application to chest CT scans | |
| CN117274599A (zh) | 一种基于组合双任务自编码器的脑磁共振分割方法及*** | |
| Sreeja et al. | Image fusion through deep convolutional neural network | |
| CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
| CN116993793A (zh) | 基于自适应多门控混合专家模型的腹部多器官配准方法 | |
| Zhao et al. | MPSHT: multiple progressive sampling hybrid model multi-organ segmentation | |
| Mishra et al. | Global U-net with amalgamation of inception model and improved kernel variation for MRI brain image segmentation | |
| Chatterjee et al. | A survey on techniques used in medical imaging processing | |
| Murmu et al. | A novel Gateaux derivatives with efficient DCNN-Resunet method for segmenting multi-class brain tumor | |
| CN112164447B (zh) | 图像处理方法、装置、设备及存储介质 | |
| Korez et al. | Intervertebral disc segmentation in MR images with 3D convolutional networks | |
| CN113450394B (zh) | 一种基于Siamese网络的异尺寸图像配准方法 | |
| Lu et al. | Multi-category domain-dependent feature-based medical image translation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |