CN115375971B - 多模态医学图像配准模型训练方法、配准方法、***及设备 - Google Patents
多模态医学图像配准模型训练方法、配准方法、***及设备 Download PDFInfo
- Publication number
- CN115375971B CN115375971B CN202211024408.3A CN202211024408A CN115375971B CN 115375971 B CN115375971 B CN 115375971B CN 202211024408 A CN202211024408 A CN 202211024408A CN 115375971 B CN115375971 B CN 115375971B
- Authority
- CN
- China
- Prior art keywords
- image
- vector sequence
- moving image
- reference image
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012549 training Methods 0.000 title claims abstract description 75
- 239000013598 vector Substances 0.000 claims abstract description 462
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 27
- 239000002131 composite material Substances 0.000 claims description 20
- 230000003321 amplification Effects 0.000 claims description 18
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 18
- 238000012952 Resampling Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 7
- 210000000920 organ at risk Anatomy 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000001959 radiotherapy Methods 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000005176 gastrointestinal motility Effects 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007102 metabolic function Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请涉及一种多模态医学图像配准模型训练方法、配准方法、***及设备，应用于医学图像配准技术领域，其方法包括：对医学数据图像样本进行预处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列；将参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列输入图像配准网络模型，生成形变场；基于形变场和损失函数计算网络损失；基于误差反向传播算法调整图像配准网络模型的参数；重复执行输入图像样本、计算网络损失和调整模型参数的过程，直至损失函数不再减小时完成训练，得到训练好的图像配准网络模型。本申请具有提高配准结果的稳定性的效果。
Description
技术领域
本申请涉及医学图像配准的技术领域，尤其是涉及一种多模态医学图像配准模型训练方法、配准方法、***及设备。
背景技术
医学图像配准是将不同时间、不同医学设备采集的图像转换到统一的空间坐标系下，使相同空间位置上的图像信息对应于相同的解剖结构，从而融合不同时间、设备采集的信息，完成监测病灶变化，融合多模态信息辅助诊断等等，因此在医学图像处理中有广泛的应用。典型配准应用有辅助诊断、手术规划、手术导航、放疗靶区勾画、病灶形变监测、剂量映射与剂量累积、图像引导放射治疗、自适应放疗等应用。多模态图像配准是配准在不同时间，由不同类型设备采集的同一病人多幅图像的技术，它用于综合不同类型图像过的优势，为诊断和治疗提供更多的信息，因此具有重要的研究意义和应用价值。
与处理同一设备采集的多幅图像的单模态图像配准相比，多模态图像配准面临更多的技术挑战。由于不同模态成像方式与原理的差异，相同解剖结构在不同模态图像中存在明显的差异。例如CT图像分辨率高，成像范围大，可提供明显的解剖结构信息，但是无法精细区分不同类型软组织；而MR图像序对软组织差异敏感，可以区分脑白质和脑灰质等不同的软组织列，而且序列变化多，但每次采集的图像范围相对较小；PET图像分辨率低，但可呈现代谢功能情况，对肿瘤诊断非常有帮助。除了由于成像技术引起的图像像素值对比差异外，由于不同时间采集图像时病人的呼吸运动，***变化，肠胃蠕动，膀胱充盈程度等原因，图像中脏器大小、形态也存在明显的差异。探索适合描述多模态图像匹配程度地相似性指标，以及解决过大的局部形变情况、符合实际解剖变化的形变场约束，是多模态医学图像配准技术亟待解决地难题。
发明内容
为了提高配准结果的稳定性，本申请提供一种多模态医学图像配准模型训练方法、配准方法、***及设备。
第一方面，本申请提供一种多模态医学图像配准模型训练方法，采用如下的技术方案：
一种多模态医学图像配准模型训练方法，包括：
对医学数据图像样本进行预处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列，其中，所述数据图像样本包括多组成对的参考图像和移动图像；
将所述参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列输入所述图像配准网络模型，生成形变场；
基于所述形变场和损失函数计算网络损失；
基于误差反向传播算法调整所述图像配准网络模型的参数；
重复执行输入图像样本、计算网络损失和调整模型参数的过程，直至所述损失函数不再减小时完成训练，得到训练好的图像配准网络模型。
通过采用上述技术方案，无需经过刚体配准处理，可直接用于不同模态，不同尺寸的图像进行配准，可在更大的范围内搜索匹配位置，避免了CNN中感受野限制，从而提高配准结果的稳定性。
可选的，所述对所述医学数据图像样本进行图像预处理的步骤包括：
将所述参考图像和所述移动图像分别进行各向同性重采样处理，生成各向同性的3D参考图像和3D移动图像；
将所述参考图像、所述移动图像、所述3D参考图像和所述3D移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列。
可选的，所述将所述参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列输入所述图像配准网络模型，生成形变场包括：
将所述参考图像矢量序列作为交叉注意力模块中查询向量输入，将所述3D参考图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；
基于所述参考图像矢量序列和所述3D参考图像矢量序列的输入计算编码器交叉注意力模块的第一级别参考图像特征矢量序列；
将第N-1级别的所述参考图像矢量序列和所述3D参考图像矢量序列复原为复原医学数据图像，将所述复原医学数据图像经过降采样操作，生成第N级别的参考图像数量序列和第N级别的3D参考图像矢量序列，其中，N＝2，……，n；
将所述第N级别的参考图像数量序列作为交叉注意力模块中查询向量输入，将所述第N级别的3D参考图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；
基于所述第N级别的参考图像矢量序列和所述第N级别的3D参考图像矢量序列的输入计算编码器交叉注意力模块的第N级别参考图像特征矢量序列；
将所述移动图像矢量序列作为交叉注意力模块中查询向量输入，将所述3D移动图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；
基于所述移动图像矢量序列和所述3D移动图像矢量序列的输入计算编码器交叉注意力模块的第一级别移动图像特征矢量序列；
将第N-1级别的所述移动图像矢量序列和所述3D移动图像矢量序列复原为复原医学数据图像，将所述复原医学数据图像经过降采样操作，生成第N级别的移动图像数量序列和第N级别的3D移动图像矢量序列，其中，N＝2，……，n；
将所述第N级别的移动图像数量序列作为交叉注意力模块中查询向量输入，将所述第N级别的3D移动图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；
基于所述第N级别的移动图像矢量序列和所述第N级别的3D移动图像矢量序列的输入计算编码器交叉注意力模块的第N级别移动图像特征矢量序列；
将全部级别的参考图像特征矢量序列和全部级别的移动图像特征矢量序列输入解码器交叉注意力模块进行解码，获取所述解码器输出的形变场。
可选的，所述将所述参考图像特征矢量序列和所述移动图像特征矢量序列输入解码器交叉注意力模块进行解码包括：
将每一级别的参考图像特征矢量序列作为当前级别交叉注意力模块中查询向量输入，将每一级别的移动图像特征矢量序列作为所述当前级别交叉注意力模块中键向量和值向量输入，生成多个级别的输出结果；
将所述多个级别的输出结果复原为所述复原医学数据图像，将当前级别的所述复原医学数据图像上采样后与上一级别的所述复原医学数据图像进行连接操作；
将链接后的全部级别的所述复原医学数据图像经过卷积操作和GELU激活，经过前向传播与叠加归一化处理。
可选的，所述基于所述形变场和损失函数计算网络损失包括：
获取多个医学形变图像，其中所述医学形变图像为对所述参考图像和/或所述移动图像进行扩增处理的图像；
基于所述医学形变图像和所述医学数据图像样本生成训练样本；
对所述参考图像和/或所述移动图像进行扩增处理，生成多个医学形变图像；
将所述训练样本送入所述图像配准网络模型，两两进行配准得到多个形变场；
基于所述多个形变场确定复合自约束损失和配准损失，其中，所述配准损失包括连续性损失、相似性损失和轮廓重合度损失；
基于所述复合自约束损失和所述配准损失得到所述损失函数。
可选的，所述基于所述复合自约束损失和所述配准损失得到所述损失函数包括：将所述复合自约束损失和所述配准损失输入到所述损失函数的损失函数公式；
所述损失函数公式为：
Loss＝LossDeformation+αLossSimilarity+βLossContour+γLossContinuous；
其中，α、β和γ是指定的超参数，用于控制不同损失占总体损失的权重，LossDeformation为形变场复合自约束条件，LossSimilarity为相似性损失，LossContour为轮廓约束条件，LossContinuous为形变场连续性约束条件。
第二方面，本申请提供一种多模态医学图像配准方法，采用如下的技术方案：
一种多模态医学图像配准方法，包括：
对参考图像和移动图像分别进行各向同性重采样处理，生成各向同性的3D参考图像和3D移动图像；
将所述参考图像、所述移动图像、所述3D参考图像和所述3D移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列；
将所述参考图像矢量序列、所述移动图像矢量序列、所述3D参考图像矢量序列和所述3D移动图像矢量序列像输入至第一方面所述的多模态医学图像配准模型训练方法所建立的所述图像配准网络模型，生成配准后的移动图像。
通过采用上述技术方案，无需经过刚体配准处理，可直接用于不同模态，不同尺寸的图像进行配准，可在更大的范围内搜索匹配位置，避免了CNN中感受野限制，从而提高配准结果的稳定性。
第三方面，本申请提供一种多模态医学图像配准***，采用如下的技术方案：
一种多模态医学图像配准***，包括：
各向各向同性采集模块，用于对参考图像和移动图像分别进行各向同性重采样处理，生成各向同性的3D参考图像和3D移动图像；
子块划分及位置编码模块，用于将所述参考图像、所述移动图像、所述3D参考图像和所述3D移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列；
图像配准网络模型，用于根据所述参考图像矢量序列、所述移动图像矢量序列、所述3D参考图像矢量序列和所述3D移动图像矢量序列生成形变场；
形变配准模块，用于根据所述形变场对所述移动图像进行配准，生成配准后的移动图像；训练模块，用于对所述图像配准网络模型进行训练。
通过采用上述技术方案，无需经过刚体配准处理，可直接用于不同模态，不同尺寸的图像进行配准，可在更大的范围内搜索匹配位置，避免了CNN中感受野限制，从而提高配准结果的稳定性。
第四方面，本申请提供一种电子设备，采用如下的技术方案：
一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行第一方面任一项所述的多模态医学图像配准模型训练方法的计算机程序。
第五方面，本申请提供一种计算机可读存储设备，采用如下的技术方案：
一种计算机可读存储设备，存储有能够被处理器加载并执行第一方面任一项所述的多模态医学图像配准模型训练方法的计算机程序。
附图说明
图1是本申请实施例提供的一种多模态医学图像配准模型训练方法的流程示意图。
图2是本申请实施例提供的一种多模态医学图像配准模型训练方法的结构框图。
图3是本申请实施例提供的参考图像编码过程的结构框图。
图4是本申请实施例提供的移动图像编码过程的结构框图。
图5是本申请实施例提供的解码过程的结构框图。
图6是本申请实施例提供的并行交叉注意力模块的结构框图。
图7是本申请实施例提供的并行交叉注意力模块计算过程的结构框图。
图8是本申请实施例提供的整体勾画区域和勾画轮廓的结构示意图。
图9是本申请实施例提供的一种多模态医学图像配准方法的流程示意图。
图10是本申请实施例提供的一种多模态医学图像配准***的流程示意图。
图11是本申请实施例提供的电子设备的结构框图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
图1为本申请实施例提供的一种多模态医学图像配准模型训练方法的流程示意图，图2为本申请实施例提供的一种多模态医学图像配准模型训练方法的结构框图。
如图1和图2所示，该方法主要流程描述如下(步骤S101～S105)：
步骤S101，对医学数据图像样本进行预处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列，其中，数据图像样本包括多组成对的参考图像和移动图像；
在本实施例中，医学数据图像样本的类型包括但不限于CT图像、MR图像以及PET图像。其中，每组中的参考图像和移动图像均为不同模态的图像，例如，参考图像为CT图像，移动图像为MR图像，或者参考图像为CT图像，移动图像为PET图像等。
需要说明的是，医学数据图像样本中每组成对的参考图像和移动图像为同一病人同一解析部位的两张医学数据图像，在本实施例中，对两种不同模的医学数据图像进行图像配准时，医学数据图像样本中会存在多组参考图像和移动图像，例如，多组不同部位的CT图像和MR图像的参考图像和移动图像。
针对步骤S101，将参考图像和移动图像分别进行各向同性重采样处理，生成各向同性的3D参考图像和3D移动图像；将参考图像、移动图像、3D参考图像和3D移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列。
在本实施例中，针对同一病人在不同时间使用不同医学设备采集的不同模态医学数据图像，除了不同模态医学数据图像之间的明暗对比存在明显差异外，医学数据图像呈现的所检查的身体范围、分辨率以及尺寸都存在差异。在对医学数据图像样本进行配准之前，将待处理的参考图像和移动图像按照统一的采样间隔对参考图像和移动图像沿着相同病人坐标系方向重新采样，生成各向同性的3D参考图像和3D移动图像。其中，待处理的移动图像和参考图像通常为等间隔的2D图像，将移动图像和参考图像均经过各个方向等间隔采样，得到由同样尺寸立体块组成的体数据。
在本实施例中，在进行子块划分时，Transformer处理的是一组长度为C的矢量构成的矢量序列，其输出也是同样个数长度不变的矢量序列。一般的基于Transformer的配准网络是将图像划分为p×p×p个相邻但是无重叠的小子块，将每个子块中图像信息按照指定方式生成一个矢量。由于整幅图被划分为
个子块，则生成了
个矢量。对矢量进行线性变换，叠加位置编码后，作为Transformer的多头注意力机制的输入。由于配准过程中只关心原有输入的参考图像上各个像素的在移动图像上匹配位置，而不需要获取各向同性图像3D参考图像上各个像素点位置，因此，输入图像配准网络模型中的查询向量Query以及键向量Key和值向量Value是由不同的矢量序列的。
由于提供查询向量的矢量序列决定了注意力机制输出的矢量的个数，而配准只关心原始的参考图像上各个像素匹配的位置，因此本提案是在原始输入的图像的各个像素位置周围，采样出按照同一分辨率采样获得的大小为p×p×p的子图子块，其中，p通常设置为5，将子图经过线性变换后获得指定长度为C的医学数据图像信息矢量；再计算这个子块的对应的位置编码，该编码长度是3；将位置编码前置载图像信息矢量的方式合并生成长度为C+3的子块对应的矢量，从而完成了对应于编码网络查询向量矢量的子块划分与位置编码的处理。原始输入图像如果是W×H×N大小，则生成查询向量的矢量序列则包含W×H×N个矢量。由于最顶层和最底层的一层图像，无法以该层图像上像素位置为中心生成子块，须将该层上像素位置设置为子块最顶端或者最底端，完成同一分辨率的p×p×p的子图子块的生成，中间部分均以图像上像素为中心，生成p×p×p的子图子块。
用于提供键向量和值向量的矢量序列是由按照同一分辨率重采样后的各向同性的体数据生成的，将重采样后的各向同性数据划分为相邻但是没有重叠部分的子块，如果各向同性数据尺寸为Wiso×Hiso×Niso，可将其划分为
个p×p×p的子图，其中，符号
表示向下取整，符号
表示向上取整。重采样后的各向同性数据存在无法划分为整数个标准尺寸的子块的可能，从而可以舍去不包含感兴趣区域的最边缘的不完整子块，所以
和
向下取整，当不完整子块包含感兴趣区域时候，需要
向上补齐，通过复制最邻近位置信息补齐子块，完成后面线性变换与位置编码，生成提供键向量和值向量的矢量序列。
在本实施例中，参考图像用F表示，移动图像用M表示，3D参考图像用Fiso表示，3D移动图像用Miso表示，采样间隔用ps表示，在进行位置编码时，3D参考图像的各向同性数据的尺寸为WFiso×HFiso×NFiso，将其感兴趣区域的中心点位置编码为(0，0，0)，将每个子块左上角点的位置偏离中心点位置的偏移矢量，以WFiso×ps长度视为单位1，归一化偏移矢量即为位置编码。按照此规则，对应3D参考图像最顶端左上角点子块的位置编码设置为
按照此规则，参考图上生成查询向量的矢量序列的子块进行位置编码，将医学数据图像覆盖体数据中心点的位置编码设置为(0，0，0)，计算子块左上角点距离中心点的偏移量，然后按照WFiso×ps长度视为单位1的方式，归一化偏移矢量，即获得位置编码。对3D移动图像数据上的子块的位置编码，计算其覆盖体数据中心点的位置编码设置为(0，0，0)，计算子块左上角点相对于中心点的偏移量，按照WFiso×ps长度视为单位1的方式，归一化偏移矢量得到位置编码。
步骤S102，将参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列输入图像配准网络模型，生成形变场；
针对步骤S102，图像配准网络模型包括编码器和解码器，基于编码器和解码器生成形变场，在进行编码时，将参考图像矢量序列作为交叉注意力模块中查询向量输入，将3D参考图像矢量序列作为交叉注意力模块中键向量和值向量输入；基于参考图像矢量序列和3D参考图像矢量序列的输入计算编码器交叉注意力模块的第一级别参考特征输出矢量序列；将第N-1级别的参考图像矢量序列和3D参考图像矢量序列复原为复原医学数据图像，将复原医学数据图像经过降采样操作，生成第N级别的参考图像数量序列和第N级别的3D参考图像矢量序列，其中，N＝2，……，n；将第N级别的参考图像数量序列作为交叉注意力模块中查询向量输入，将第N级别的3D参考图像矢量序列作为交叉注意力模块中键向量和值向量输入；基于第N级别的参考图像矢量序列和第N级别的3D参考图像矢量序列的输入计算编码器交叉注意力模块的第N级别参考特征输出矢量序列；将移动图像矢量序列作为交叉注意力模块中查询向量输入，将3D移动图像矢量序列作为交叉注意力模块中键向量和值向量输入；基于移动图像矢量序列和3D移动图像矢量序列的输入计算编码器交叉注意力模块的第一级别移动特征输出矢量序列；将第N-1级别的移动图像矢量序列和3D移动图像矢量序列复原为复原医学数据图像，将复原医学数据图像经过降采样操作，生成第N级别的移动图像数量序列和第N级别的3D移动图像矢量序列，其中，N＝2，……，n；将第N级别的移动图像数量序列作为交叉注意力模块中查询向量输入，将第N级别的3D移动图像矢量序列作为交叉注意力模块中键向量和值向量输入；基于第N级别的移动图像矢量序列和第N级别的3D移动图像矢量序列的输入计算编码器交叉注意力模块的第N级别移动特征输出矢量序列；将全部级别的参考特征输出矢量序列和全部级别的移动特征输出矢量序列输入解码器交叉注意力模块进行解码，获取解码器输出的形变场。
在本实施例中，由于参考图像和移动图像的模态、尺寸不同，因此将参考图像和移动图像分别进行编码。
参考图像矢量序列提供编码器的计算交叉注意力模块中的查询向量矢量序列，3D参考图像矢量序列用于提供注意力模块中的键向量和值向量矢量序列，经过至少一遍并行交叉注意力模块的处理后，获得第一级别参考特征输出矢量序列XF1，第一级别参考特征输出矢量序列XF1为后续并行交叉注意力模块提供键向量和值向量矢量序列，同一级别中提供查询向量矢量序列的来源是一致的。为了获得不同尺度的信息，需要将当前级别的上一级别的矢量序列复原为复原医学数据图像，即构成矢量的元素作为该位置的不同特征，按照原来排布方式生成复原医学数据图像。例如，第一级别的参考图像序列可以复原为(C+3)×W×H×N的特征。经过stride＝2的3*3*3的3D卷积进行降采样操作，获得
的特征后，将其矢量化，构成
个矢量，每个矢量长度为(C+3)的矢量，由参考图像特征降采样获得矢量序列为第N级别的并行交叉注意力模块提供查询向量矢量序列，而3D参考图像特征降采样的特征矢量用于提供键向量和值向量矢量序列。依次获得不同尺度的参考特征矢量序列XF1、XF2、……XFn，完成参考图像的编码过程。
在本实施例中，以N最大为3进行举例说明，参照图3，参考图像矢量序列提供查询向量矢量序列，3D参考图像矢量序列提供键向量个值向量矢量序列输入至每一个并行交叉注意力模块，经过至少一个交叉注意力模块处理后，生成第一级别参考特征输出矢量序列XF1，第一级别参考特征输出矢量序列中的将参考图像矢量序列和3D参考图像矢量序列分别复原为第二级别复原医学数据图像，将第二级别的复原医学数据图像经过stride＝2的3*3*3的3D卷积进行降采样操作后，生成第二级别参考图像矢量序列和第二级别3D参考图像矢量序列，第二级别参考图像矢量序列同样提供查询向量矢量序列，第二级别3D参考图像矢量序列同样提供键向量和值向量矢量序列，将第二级别的查询向量、键向量和值向量输入第二级别中的每一个并行交叉注意力模块，进过至少一个交叉注意力模块处理后，生成第二级别参考特征输出矢量序列XF2，将第二级别的经过stride＝2的3*3*3的3D卷积进行降采样操作后复原医学数据图像直接复原为第三级别的复原医学数据图像，将第三级别的复原医学数据图像经过stride＝2的3*3*3的3D卷积进行降采样操作后，生成第三级别参考图像矢量序列和第三级别3D参考图像矢量序列，第三级别参考图像矢量序列同样提供查询向量矢量序列，第三级别3D参考图像矢量序列同样提供键向量和值向量矢量序列，将第三级别的查询向量、键向量和值向量输入第三级别中的每一个并行交叉注意力模块，进过至少一个交叉注意力模块处理后，生成第三级别参考特征输出矢量序列XF3。
需要说明的是，参考特征输出矢量序列的级数需要根据实际需求设定，可以设置为一级或者多级，当设置为一级时，则无需将参考图像矢量序列和3D参考图像矢量序列复原为复原医学数据图像。
相似的，移动图像编码过程与参考图像编码过程一致，移动图像矢量序列提供编码器的计算交叉注意力模块中的查询向量矢量序列，3D移动图像矢量序列用于提供注意力模块中的键向量和值向量矢量序列，经过至少一遍并行交叉注意力模块的处理后，获得第一级别移动特征输出矢量序列XF1，第一级别移动特征输出矢量序列XF1为后续并行交叉注意力模块提供键向量和值向量矢量序列，同一级别中提供查询向量矢量序列的来源是一致的。为了获得不同尺度的信息，需要将当前级别的上一级别的矢量序列复原为复原医学数据图像，即构成矢量的元素作为该位置的不同特征，按照原来排布方式生成复原医学数据图像。例如，第一级别的移动图像序列可以复原为(C+3)×W×H×N的特征。经过stride＝2的3*3*3的3D卷积进行降采样操作，获得
的特征后，将其矢量化，构成
个矢量，每个矢量长度为(C+3)的矢量，由移动图像特征降采样获得矢量序列为第N级别的并行交叉注意力模块提供查询向量矢量序列，而3D移动图像特征降采样的特征矢量用于提供键向量和值向量矢量序列。依次获得不同尺度的移动特征矢量序列XM1、XM2、……XMn，完成移动图像的编码过程。
在本实施例中，以N最大为3进行举例说明，参照图4，移动图像矢量序列提供查询向量矢量序列，3D移动图像矢量序列提供键向量个值向量矢量序列输入至每一个并行交叉注意力模块，经过至少一个交叉注意力模块处理后，生成第一级别移动特征输出矢量序列XM1，第一级别移动特征输出矢量序列中的将移动图像矢量序列和3D移动图像矢量序列分别复原为第二级别复原医学数据图像，将第二级别的复原医学数据图像经过stride＝2的3*3*3的3D卷积进行降采样操作后，生成第二级别移动图像矢量序列和第二级别3D移动图像矢量序列，第二级别移动图像矢量序列同样提供查询向量矢量序列，第二级别3D移动图像矢量序列同样提供键向量和值向量矢量序列，将第二级别的查询向量、键向量和值向量输入第二级别中的每一个并行交叉注意力模块，进过至少一个交叉注意力模块处理后，生成第二级别移动特征输出矢量序列XM2，将第二级别的经过stride＝2的3*3*3的3D卷积进行降采样操作后复原医学数据图像直接复原为第三级别的复原医学数据图像，将第三级别的复原医学数据图像经过stride＝2的3*3*3的3D卷积进行降采样操作后，生成第三级别移动图像矢量序列和第三级别3D移动图像矢量序列，第三级别移动图像矢量序列同样提供查询向量矢量序列，第三级别3D移动图像矢量序列同样提供键向量和值向量矢量序列，将第三级别的查询向量、键向量和值向量输入第三级别中的每一个并行交叉注意力模块，进过至少一个交叉注意力模块处理后，生成第三级别移动特征输出矢量序列XM3。
需要说明的是，移动特征输出矢量序列的级数需要根据实际需求设定，可以设置为一级或者多级，当设置为一级时，则无需将移动图像矢量序列和3D移动图像矢量序列复原为复原医学数据图像。
需要说明的是，由于参考图像和移动图像的尺寸不同，同一级别的参考特征矢量序列与移动图像特征矢量序列包含的矢量的个数可以是相同的还可以是不同的，但每个矢量的长度一致均为(C+3)。
在本实施例中，在进行解码时，将每一级别的参考特征输出矢量序列作为当前级别交叉注意力模块中查询向量输入，将每一级别的移动特征输出矢量序列作为当前级别交叉注意力模块中键向量和值向量输入，生成多个级别的输出结果；将多个级别的输出结果复原为复原医学数据图像，将当前级别的复原医学数据图像上采样后与上一级别的复原医学数据图像进行连接操作；将链接后的全部级别的复原医学数据图像经过卷积操作和GELU激活，经过前向传播与叠加归一化处理。
解码器中的Transformer根据参考图像特征矢量与移动特征矢量之间的匹配程度，进行注意力加权，进而逐步获取参考图像匹配位置的信息。每一级别的参考特征矢量序列为后续并行交叉注意力模块提供查询向量，而移动特征矢量序列负责提供键向量和值向量。经过至少一遍并行交叉注意力模块的处理后，需要将每一级别的并行交叉注意力模块输出结果复原为复原医学数据图像，为了融合不同尺度获取的信息，由最低级别的复原医学数据图像上采样后与上一级别的复原医学数据图像进行连接操作，经过3*3*3的卷积操作和GELU激活后，继续与上一级别的复原医学数据图像继续经过3*3*3的卷积操作和GELU激活直至链接全部级别的复原医学数据图像，完成解码过程。由于位置编码过程将WFiso×ps视为1进行归一化，因此解码网络提供的3D形变场结果是归一化的形变场，需要乘以WFiso×ps生成真实形变场。
在本实施例中，以上述级别为三举例说明，参照图5，第三级别参考特征矢量序列XF3提供查询向量矢量序列，第三级别移动特征矢量序列XM3提供键向量和值向量数量序列，经过至少一个平行交叉注意力模块处理后，复原为第三级别的复原医学数据图像，将第三级别的复原医学数据图像上采样与第二级别的复原医学数据图像进行连接操作，经过3*3*3的卷积操作和GELU激活后，继续与第一级别的复原医学数据图像连接操作，再次经过3*3*3的卷积操作和GELU激活，再经过1*1*1的卷积操作和GELU激活后，进行故意划形变场进行归一化处理生成真实形变场。
需要说明的是，在进行解码处理时，由最低级别开始向上一级别逐层进行上采样处理，当只有第一级别时，则无需进行上采样处理，直接由第一级别的复原医学数据图像经过3*3*3的卷积操作和GELU激活，再经过1*1*1的卷积操作和GELU激活后，进行故意划形变场进行归一化处理生成真实形变场。
在本实施例中，由于提供查询向量序列的矢量个数与提供键向量和值向量的矢量序列个数不一致，所以对原有多头注意力机制进行了修改。
如图所示6，采用了多个基本的交叉注意力模块并行处理，获取不同的特征，经过合并各个交叉注意力模块的特征矢量后，通过前向传播的方式将特征矢量的尺度同一为(C+3)，再经过前向传播与叠加归一化处理，获得了交叉注意力模块输出矢量。
如图7所示，提供查询向量Query序列的输入矢量序列设为X，提供键向量Key和值向量Value的输入矢量序列设置为Y。首先，将待学习的线性变换矩阵Wq作用于序列X中的所有矢量，获得查询向量序列：
q1＝Wq×x1，q2＝Wq×x2，……，qNx＝Wq×xNx；
再将线性变换矩阵Wk作用于序列Y中的所有的矢量，获得键向量序列：
k1＝Wk×y1，k2＝Wk×y2，……，kNy＝Wk×yNy；
接着将变换矩阵Wv作用于序列Y中的所有的矢量，获得值向量序列：
v1＝Wv×y1，v2＝Wv×y2，……，vNy＝Wv×yNy；
接着，计算第i个查询向量与所有键向量的点积结果，获得与注意力相关的参数：
αi，j＝qi×kj，i＝1，2，……，Nx，j＝1，2，……，Ny；
将注意力得分利用Softmax进行归一化处理，得到注意力得分：
最后利用注意力得分作为权重，加权平均值向量序列，获得输出矢量序列：
输出矢量序列与输入矢量序列中包含的矢量个数相同，矢量的长度均为(C+3)。
步骤S103，基于形变场和损失函数计算网络损失；
步骤S104，基于误差反向传播算法调整图像配准网络模型的参数；
针对步骤S103，获取多个医学形变图像，其中医学形变图像为对参考图像和/或移动图像进行扩增处理的图像；基于医学形变图像和医学数据图像样本生成训练样本；对参考图像和/或移动图像进行扩增处理，生成多个医学形变图像；将训练样本送入图像配准网络模型，两两进行配准得到多个形变场；基于多个形变场确定复合自约束损失和配准损失，其中，配准损失包括连续性损失、相似性损失和轮廓重合度损失；基于复合自约束损失和配准损失得到损失函数。
在对图像配准网络模型进行训练时，每次只加载一组参考图像和移动图像，但是会对每组参考图像和移动图像进行处理，得到多张医学数据图像，并将多张医学数据图像组成一组训练样本。
在本实施例中，可以仅对参考图像或者移动图像中的其中一项进行扩增处理，还可以同时对参考图像和移动图像两项均进行扩增处理，在进行扩增处理时，可以只将参考图像和/或移动图像进行一次扩增处理，还可以对参考图像和/或移动图像进行多次扩增处理，对此不做具体限定。
其中，扩增处理包括对参考图像或移动图像进行随机的旋转平移和拉伸操作，从而到多张医学数据图像，进而增加每组训练样本中图像数据的多样性，确保图像配准网络模型能够获取对旋转、平移和拉伸不变性的稳定的配准密切相关的特征，指导图像配准网络模型的训练优化过程，确保图像配准网络模型可以处理大的形变、拉伸的情况。
下面对参考图像和移动图像进行说明：
当将图像A配准到图像B时，那么A图像为移动图像，B图像为参考图像；当将图像B配准到图像A时，那么B图像为移动图像，A图像为参考图像。
在本实施例中分别针对训练样本包含一张扩增图像和多张扩增图像的情况对形变场进行说明。
(一)训练样本包含一张扩增图像
当训练样本包括一张扩增图像时，将医学数据图像两两组合形成一个第一图像组和一个第二图像组，其中，第二图像组包括一个参考图像和一个移动图像组应的扩增图像或一个移动图像和一个参考图像组应的扩增图像；将第一图像组和第二图像组输入图像配准网络模型中，生成一个第一图像组对应的形变场和一个第二图像组对应的形变场；
在本实施例中，扩增图像以移动图像组应的扩增图像为例进行说明，此时训练样本包括一张参考图像、一张移动图像和一张移动图像组应的扩增图像，移动图像组应的扩增图像用A1(M)表示，训练样本中存在一个第一图像组{M，F}，一个第二图像组{A1(M)，F}，将第一图像组输入图像配准网络中得到一个形变场φ1，将第二图像组输入图像配准网络模型中得到一个形变场φ2。
(二)训练样本包含多张扩增图像
当训练样本包括多张扩增图像时，将训练样本中的所有医学数据图像两两组合形成一个第一图像组和多个第二图像组，其中，每个第二图像组均包括一个参考图像和一个移动图像，其中，每个第二图像组中的参考图像和移动图像至少一个为扩增图像；将第一图像组和多个第二图像组输入图像配准网络模型中，生成一个第一图像组对应的形变场和每个第二图像组对应的形变场。
在本实施例中，以两个扩增图像为例进行说明，其中一个扩增图像为参考图像组应的扩增图像，另一个扩增图像为移动图像组应的扩增图像，此时训练样本包括一张参考图像、一张移动图像和两张扩增图像，其中，参考图像用F表示，移动图像用M表示，移动图像组应的扩增图像用A1(M)表示，参考图像组应的扩增图像为A2F,训练样本中存在一个第一图像组{M，F}，三个第二图像组{A1(M)，F}、{M，A2(F)}和{A1(M)，A2(F)}，将第一图像组输入图像配准网络中得到一个形变场φ1，将第二图像组分别输入图像配准网络模型中得到三个形变场φ2、φ3和φ4。
需要说明的是，多组训练样本中第二图像组的数量可以相同，还可以不同，对此不做具体限定。
步骤S104，基于每个训练样本中的多个形变场计算每个训练样本中的形变场复合自约束条件和配准损失，配准损失包括相似损失、形变场连续性的约束条件以及轮廓约束条件；下面分别针对计算每组训练样本的形变场复合自约束条件，相似损失、形变场连续性的约束条件以及轮廓约束条件进行说明：
关于形变场复合自约束条件，在本实施例中以训练样本包含一个第二图像组和多个第二图像组的情况进行说明。
(一)训练样本包含一个第二图像组
当训练样本包括一个第二图像组时，将每组训练样本中的第一图像组中的形变场作用于第一图像组中的移动图像，生成配准后的移动图像；将配准后的移动图像与第一图像组中的参考图像进行匹配得到第一配准等式；将第二图像组对应的形变场作用于第二图像组的移动图像，生成配准后的移动图像；将配准后的移动图像与第二图像组中的参考图像进行匹配，得到第二图像组对应的第二配准等式；将每个第二配准等式与第一配准等式结合，得到第二图像组与第一图像组之间的形变场的关系；基于第二图像组与第一图像组之间的形变场的关系确定每组训练样本的自约束条件，将自约束条件作为形变场复合自约束条件LossDeformation。
在本实施例中，例如，第一图像组对应的形变场为φ1，参考图像为F,移动图像为M，将形变场φ1作用于移动图像M，生成配准后的移动图像为φ1(M)，第一配准等式为φ1(M)＝F。
第二图像组对应的形变场为φ2,第二图像组中的移动图像为扩增图像A1(M)，参考图像为F,将形变场φ2作用于移动图像A1(M)生成配准后的移动图像为φ2(A1(M))，生成的第二配准等式为φ2(A1(M))＝F。
对第一配准等式和第二配准等式进行处理得到第二图像组与第一图像组之间的形变场的关系为φ2(A1)＝φ1，基于第二图像组与第一图像组之间的形变场的关系确定本组训练样本的自约束条件为‖φ2(A1)-φ1‖2,由于本组训练样本只有一个第二图像组，所以本组的训练样本的形变场复合自约束条件LossDeformation为‖φ2(A1)-φ1‖2。
(二)训练样本包含多个第二图像组
当训练样本包括多个第二图像组时，将每组训练样本中的第一图像组中的形变场作用于第一图像组中的移动图像，生成配准后的移动图像；将配准后的移动图像与第一图像组中的参考图像进行匹配得到第一配准等式；将每个第二图像组对应的形变场作用于每个第二图像组的移动图像，生成配准后的移动图像；将每个配准后的移动图像与每个第二图像组中的参考图像进行匹配，得到第二图像组对应的第二配准等式；将每个第二配准等式与第一配准等式结合，得到每个第二图像组与第一图像组之间的形变场的关系；基于每个第二图像组与第一图像组之间的形变场的关系确定多个自约束条件，将多个自约束条件进行叠加，得到总的自约条件；将总的自约束条件作为形变场复合自约束条件LossDeformation。
在本实施例中，例如，第一图像组对应的形变场为φ1，参考图像为F，移动图像为M，将形变场φ1作用于移动图像M，生成配准后的移动图像为φ1(M)，第一配准等式为φ1(M)＝F。
形变场φ2对应的参考图像为F，移动图像为A1(M)，将形变场φ2作用于移动图像A1(M)，生成配准后的移动图像为φ2(A1(M))，第一配准等式为φ2(A1(M))＝F，对第一配准等式和第二配准等式进行处理得到第二图像组与第一图像组之间的形变场的关系为φ2(A1)＝φ1，基于第二图像组与第一图像组之间的形变场的关系确定本组训练样本的自约束条件为‖φ2(A1)-φ1‖2,由于本组训练样本只有一个第二图像组，所以本组的训练样本的形变场复合自约束条件LossDeformation为‖φ2(A1)-φ1‖2。
形变场φ3对应的参考图像为A2F，移动图像为M，将形变场φ3作用于移动图像M，生成配准后的移动图像为φ3(M)，第二配准等式为φ3(M)＝A2(F)，对第一配准等式和第二配准等式进行处理得到第二图像组与第一图像组之间的形变场的关系为A2(φ1(M))＝φ3(M)，基于第二图像组与第一图像组之间的形变场的关系确定本组训练样本的自约束条件为‖A2(φ1)-φ3‖2。
形变场φ4对应的参考图像为A2F，移动图像为A1(M)，将形变场φ4作用于移动图像A1(M)，生成配准后的移动图像为φ4(A1(M))，第二配准等式为φ4(A1(M))＝A2(F)，对第一配准等式和第二配准等式进行处理得到第二图像组与第一图像组之间的形变场的关系为A2(φ1(M))＝A2(φ1(M))，基于第二图像组与第一图像组之间的形变场的关系确定本组训练样本的自约束条件为‖φ4(A1)-A2(φ1)‖2。
将所有的自约束条件相加得到本组训练样本的复合自约束条件LossDeformation为‖φ2(A1)-φ1‖2+‖A2(φ1)-φ3‖2+‖φ4(A1)-A2(φ1)‖2。
特别说明的是，当训练样本中包含多个第二图像组时，按照上述方法计算每对第二图像组的自约束条件，将第一图像组的自约束条件和所有第二图像组的自约束条件相加，得到本组训练样本的复合自约束条件LossDeformation。
关于轮廓约束条件LossContour的计算具体如下：
基于第一图像组中的参考图像勾画区域的mask以及配准后的移动图像勾画区域的mask计算DSC系数；基于Dice系数确定第一轮廓约束LossContour1；基于每个第二图像组中的参考图像勾画区域的mask以及配准后的移动图像勾画区域的mask计算DSC系数；基于Dice系数确定第二轮廓约束LossContour2；对第一轮廓约束LossContour1和所有的第二轮廓约束LossContour2进行求和，得到总的轮廓约束；将总的轮廓约束作为轮廓约束条件LossContour；LossContour在形变比较大的勾画区域内，采用形变前后轮廓Dice损失计算，而在相对稳定区域采用整理勾画区域的Dice损失计算，也可以采用二者叠加的结果作为结构约束损失。
在具备某些器官或者组织标注信息的基础上，基于整体勾画区域的轮廓损失是指利用如图a所示的参考图像勾画的区域的mask与形变后移动图像勾画区域mask计算DSC(Dice系数)，其对应的结构损失为1-DSC。图b为图像勾画区域边界mask信息，它是由勾画区域mask向外扩3mm后的结果mask1与勾画区域向内缩3mm后获得的mask2，进行非运算后得到的。利用参考图像勾画区域边界mask与形变后的移动图像勾画区域边界mask信息计算其DSC，对应的结构损失为1-DSC。
其中，DSC(Dice similarity coefficient)也叫做Dice系数，用于衡量两个二值化图A，B的重合程度DSC(A,B)。在本实施例中，A表示参考图像上某一个危及器官的标注的二值图，危及器官部分标注为1，其他部分标注为0；B表示再移动图像熵标记同一危及器官，经过形变场变形后的二值化图，其中危及器官标注为1，其他部分标注为0，mask即为参考图像或移动图像勾画部分的二值化图。
DSC其计算公式如下所示：
就是做出正确分割部分所占比例，分割越好，则DSC越大。
如果将其作为loss，需要LossContour＝1-DSC(A,B)；
为了强调对标注区域轮廓的变化的跟随能力，在使用危及器官标注的计算DiceLoss基础上，还可以引入对轮廓Dice组成部分：
Border(A)＝Dilate(A，3)∩(～Dilate(A，-3))
其中Border是提取轮廓mask的操作，以Border(A)为例说明，是将轮廓A首先外扩3mm得到Dilate(A，3)，然后将轮廓内缩3mm得到Dilate(A，-3)，然后对Dilate(A，-3)求反(～Dilate(A，-3))，将外扩和内缩求反的结果进行与操作，就能获得危及器官标注的轮廓mask信息，进而可按照公式Border(A)＝Dilate(A，3)∩(～Dilate(A，-3))计算轮廓约束损失。
需要说明的是，每组训练样本的轮廓约束条件LossContour是将第一图像组和所有第二图像组的轮廓约束条件相加得到的。
关于形变场连续性约束条件LossContinuous的计算具体如下：
基于第一图像组的形变场计算各个像素位置
的
的第一雅可比行列式；基于第一雅可比行列式确定第一形变场连续性约束LossContinuous1；基于每个第二图像组的形变场计算各个像素位置
的
的第二雅可比行列式；基于第二雅可比行列式确定第二形变场连续性约束LossContinuous2；对第一形变场连续性约束LossContinuous1和所有的第二形变场连续性约束LossContinuous2进行求和，得到形变场连续性约束条件LossContinuous；
LossContinuous主要用于约束刚性结构比较好的勾画范围点的形变场的不能出现折叠。
利用形变场φ计算各个像素位置
处的形变场的
的Jacobian矩阵即雅可比行列式：
若要形变场没有折叠现象发生，需要让Jacobian行列式的值
大于0，即
为了确保形变场不出现折叠现象，需要考察每个像素位置的Jacobian行列式的值，如果该值大于零，行列式损失S
最小为零；如果行列式的值小于等于零则损失S
最大值为1，形变场整体的loss是所有点行列式损失的平均值。
其计算公式如下：
需要说明的是，每组训练样本的形变场连续性约束条件LossContinuous是将第一图像组和所有第二图像组的形变场连续性约束相加得到的。
关于相似性损失LossSimilarity的计算具体如下：
基于互信息计算公式计算第一图像对中的参考图像和移动图形的第一互信息，基于第一互信息计算第一相似性损失LossSimilarity1；基于互信息计算公式计算每个第二图像对中的参考图像和移动图形的第二互信息，基于第二互信息计算第二相似性损失LossSimilarity2；对第一相似性损失LossSimilarity1和所有的第二相似性损失LossSimilarity2求和，得到总体相似性损失LossSimilarity。
互信息I(A,B)是衡量两个随机变量相关程度，也可以用于计算图像相似性。其中A是参考图像，B是利用形变场变形后得移动图像，互信息计算公式为：
LossSimilarity(A，B)＝2-I(A，B)；
由于互信息是在[0,2)之间分布的，因此在本实施例中互信息参数为2，将相似性损失LossSimilarity表示为2-I(A，B)，来满足相似性损失越小，图像越相似。
其中，H(A)表示参考图像的熵，H(B)表示形变场变形后得移动图像的熵，他们分别是由图像的单边概率密度PA(a)，PB(b)计算获得。H(a，b)是交叉熵，由两者的联合概率密度PAB(a，b)计算获得，单边概率密度PA(a)是利用统计直方图计算获得，PAB(a，b)是联合统计直方图计算获的。如果想要获得对形变场连续可导的互信息，再计算统计直方图的时候可以加入Parzen窗，就是当前位置x处像素值为B(x)，B(x)不仅对落入的bin有贡献，还对相邻的几个bin也有贡献，具体贡献值可利用N阶B样条函数确定，进行联合直方图计算，然后再计算单边的统计直方图。
需要说明的是，每组训练样本的相似性损失LossSimilarity是将第一图像组和所有第二图像组的互信息损失相加得到的。
具体的，将形变场复合自约束条件和配准损失输入损失函数：
Loss＝LossDeformation+αLossSimilarity+βLossContour+γLossContinuous中，计算每组训练样本的网络损失，其中，α、β和γ是指定的超参数，用于控制不同损失占总体损失的权重，LossDeformation为形变场复合自约束条件，LossSimilarity为相似性损失，LossContour为轮廓约束条件，LossContinuous为形变场连续性约束条件。
步骤S105，重复执行输入图像样本、计算网络损失和调整模型参数的过程，直至损失函数不再减小时完成训练，得到训练好的图像配准网络模型。
在本实施例中，在训练时，每次配准结束后均对当前配准计算一次损失函数，利用误差反向传播算法修改损失函数，直至配准结束后的损失函数再次利用反向传播进行修改无法再减小时停止训练，从而得到训练好的图像配准网络模型。
图9为本申请实施例提供的一种多模态医学图像配准方法的流程示意图。
如图9所示，该方法主要流程描述如下(步骤S201～S203)：
步骤S201，对参考图像和移动图像分别进行各向同性重采样处理，生成各向同性的3D参考图像和3D移动图像；
在本实施例中，参考图像和移动图像的预处理方式与上述多模态医学图像配准模型训练方法中的预处理方式相同，均为将参考图像和移动图像按照统一的采样间隔沿着相同病人坐标系方向重采样，生成各向同性的3D参考图形和3D移动图像，将参考图像、移动图像、3D参考图像和3D移动图像分别进行子块划分和位置编码生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列，具体图像预处理方式在此不做进一步赘述。
步骤S202，将参考图像、移动图像、3D参考图像和3D移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列。
步骤S203，将参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列像输入至由权利要求1至5任一项的多模态医学图像配准模型训练方法所建立的图像配准网络模型，生成配准后的移动图像。
在本实施例中，将待配准的参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列送入训练好的图像配准网络模型中，进过训练好的图像配准网络模型处理输出配准图像。
需要说明的是，待配准的参考图像和移动图像的图像类型需要与图像配准网络模型支持的配准图像的图像类型一致，例如图像配准网络模型支持的配准图像为CT图像和MR图像，则待配准的参考图像和移动图像需要分别为CT图像和MR图像。
图10为本申请实施例提供的一种多模态医学图像配准***的流程示意图。
如图10所示，多模态医学图像配准***包括：各向同性采集模块，子块划分及位置编码模块，图像配准网络模型和形变配准模块。各向同性采集模块，用于参考图像和移动图像分别进行各向同性重采样处理；子块划分及位置编码模块，用于将参考图像、移动图像、3D参考图像和3D移动图像分别进行子块划分和位置编码处理；图像配准网络模型，用于对待配准的医学图像进行配准并输出配准图像；形变配准模块，用于计算损失函数，利用损失函数对图像配准网络模型进行训练。
图11为本申请实施例提供的电子设备300的结构框图。
如图11所示，电子设备300包括处理器301和存储器302，还可以进一步包括信息输入/信息输出(I/O)接口303、通信组件304中的一种或多种以及通信总线305。
其中，处理器301用于控制电子设备300的整体操作，以完成上述的多模态医学数据图像配准模型建立方法的全部或部分步骤；存储器302用于存储各种类型的数据以支持在电子设备300的操作，这些数据例如可以包括用于在该电子设备300上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random AccessMemory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory，EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、只读存储器(Read-Only Memory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。
I/O接口303为处理器301和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件304用于电子设备300与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearField Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件104可以包括：Wi-Fi部件，蓝牙部件，NFC部件。
电子设备300可以被一个或多个应用专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的多模态医学数据图像配准模型建立方法。
通信总线305可包括一通路，在上述组件之间传送信息。通信总线305可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。通信总线305可以分为地址总线、数据总线、控制总线等。
电子设备300可以包括但不限于移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端，还可以为服务器等。
本申请还提供一种计算机可读存储设备，计算机可读存储设备上存储有计算机程序，计算机程序被处理器执行时实现上述的多模态医学数据图像配准模型建立方法的步骤。
该计算机可读存储设备可以包括：U盘、移动硬盘、只读存储器(R ead-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的设备。
术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种多模态医学图像配准模型训练方法，其特征在于，包括：
对医学数据图像样本进行预处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列，其中，所述数据图像样本包括多组成对的参考图像和移动图像；
将所述参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列输入图像配准网络模型，生成形变场；
基于所述形变场和损失函数计算网络损失；
基于误差反向传播算法调整所述图像配准网络模型的参数；
重复执行输入图像样本、计算网络损失和调整模型参数的过程，直至所述损失函数不再减小时完成训练，得到训练好的图像配准网络模型；
所述对医学数据图像样本进行预处理的步骤包括：
将所述参考图像和所述移动图像分别进行各向同性重采样处理，生成各向同性的3D参考图像和3D移动图像；
将所述参考图像、所述移动图像、所述3D参考图像和所述3D移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列；
所述将所述参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列输入所述图像配准网络模型，生成形变场包括：
将所述参考图像矢量序列作为交叉注意力模块中查询向量输入，将所述3D参考图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；
基于所述参考图像矢量序列和所述3D参考图像矢量序列的输入计算编码器交叉注意力模块的第一级别参考图像特征矢量序列；
将第N-1级别的所述参考图像矢量序列和所述3D参考图像矢量序列复原为复原医学数据图像，将所述复原医学数据图像经过降采样操作，生成第N级别的参考图像数量序列和第N级别的3D参考图像矢量序列，其中，N＝2，……，n；
将所述第N级别的参考图像数量序列作为交叉注意力模块中查询向量输入，将所述第N级别的3D参考图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；
基于所述第N级别的参考图像矢量序列和所述第N级别的3D参考图像矢量序列的输入计算编码器交叉注意力模块的第N级别参考图像特征矢量序列；
将所述移动图像矢量序列作为交叉注意力模块中查询向量输入，将所述3D移动图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；
基于所述移动图像矢量序列和所述3D移动图像矢量序列的输入计算编码器交叉注意力模块的第一级别移动图像特征矢量序列；
将第N-1级别的所述移动图像矢量序列和所述3D移动图像矢量序列复原为复原医学数据图像，将所述复原医学数据图像经过降采样操作，生成第N级别的移动图像数量序列和第N级别的3D移动图像矢量序列，其中，N＝2，……，n；
将所述第N级别的移动图像数量序列作为交叉注意力模块中查询向量输入，将所述第N级别的3D移动图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；
基于所述第N级别的移动图像矢量序列和所述第N级别的3D移动图像矢量序列的输入计算编码器交叉注意力模块的第N级别移动图像特征矢量序列；
将全部级别的参考图像特征矢量序列和全部级别的移动图像特征矢量序列输入解码器交叉注意力模块进行解码，获取所述解码器输出的形变场。
2.根据权利要求1所述的方法，其特征在于，所述将全部级别的参考图像特征矢量序列和全部级别的移动图像特征矢量序列输入解码器交叉注意力模块进行解码包括：
将每一级别的参考图像特征矢量序列作为当前级别交叉注意力模块中查询向量输入，将每一级别的移动图像特征矢量序列作为所述当前级别交叉注意力模块中键向量和值向量输入，生成多个级别的输出结果；
将所述多个级别的输出结果复原为所述复原医学数据图像，将当前级别的所述复原医学数据图像上采样后与上一级别的所述复原医学数据图像进行连接操作；
将链接后的全部级别的所述复原医学数据图像经过卷积操作和GELU激活，经过前向传播与叠加归一化处理。
3.根据权利要求2所述的方法，其特征在于，所述基于所述形变场和损失函数计算网络损失包括：
获取多个医学形变图像，其中所述医学形变图像为对所述参考图像和/或所述移动图像进行扩增处理的图像；
基于所述医学形变图像和所述医学数据图像样本生成训练样本；
对所述参考图像和/或所述移动图像进行扩增处理，生成多个医学形变图像；
将所述训练样本送入所述图像配准网络模型，两两进行配准得到多个形变场；
基于所述多个形变场确定复合自约束损失和配准损失，其中，所述配准损失包括连续性损失、相似性损失和轮廓重合度损失；
基于所述复合自约束损失和所述配准损失得到所述损失函数。
4.根据权利要求3所述的方法，其特征在于，所述基于所述复合自约束损失和所述配准损失得到所述损失函数包括：
将所述复合自约束损失和所述配准损失输入到所述损失函数的损失函数公式；
所述损失函数公式为：
Loss＝LossDeformation+αLossSimilarity+βLossContour+γLossContinuous；
其中，α、β和γ是指定的超参数，用于控制不同损失占总体损失的权重，LossDeformation为形变场复合自约束条件，LossSimilarity为相似性损失，LossContour为轮廓约束条件，LossContinuous为形变场连续性约束条件。
5.一种多模态医学图像配准方法，其特征在于，包括：
对参考图像和移动图像分别进行各向同性重采样处理，生成各向同性的3D参考图像和3D移动图像；
将所述参考图像、所述移动图像、所述3D参考图像和所述3D移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列；
将所述参考图像矢量序列、所述移动图像矢量序列、所述3D参考图像矢量序列和所述3D移动图像矢量序列像输入至由权利要求1至3任一项所述的多模态医学图像配准模型训练方法所建立的图像配准网络模型，生成配准后的移动图像。
6.一种多模态医学图像配准***，其特征在于，包括：
各向同性采集模块，用于对参考图像和移动图像分别进行各向同性重采样处理，生成各向同性的3D参考图像和3D移动图像；
子块划分及位置编码模块，用于将所述参考图像、所述移动图像、所述3D参考图像和所述3D移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列；
图像配准网络模型，用于根据所述参考图像矢量序列、所述移动图像矢量序列、所述3D参考图像矢量序列和所述3D移动图像矢量序列生成形变场；
形变配准模块，用于根据所述形变场对所述移动图像进行配准，生成配准后的移动图像；
训练模块，用于对所述图像配准网络模型进行训练；
各向同性采集模块具体用于将所述参考图像和所述移动图像分别进行各向同性重采样处理，生成各向同性的3D参考图像和3D移动图像；将所述参考图像、所述移动图像、所述3D参考图像和所述3D移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3D参考图像矢量序列和3D移动图像矢量序列；
图像配准网络模型具体用于将所述参考图像矢量序列作为交叉注意力模块中查询向量输入，将所述3D参考图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；基于所述参考图像矢量序列和所述3D参考图像矢量序列的输入计算编码器交叉注意力模块的第一级别参考图像特征矢量序列；将第N-1级别的所述参考图像矢量序列和所述3D参考图像矢量序列复原为复原医学数据图像，将所述复原医学数据图像经过降采样操作，生成第N级别的参考图像数量序列和第N级别的3D参考图像矢量序列，其中，N＝2，……，n；将所述第N级别的参考图像数量序列作为交叉注意力模块中查询向量输入，将所述第N级别的3D参考图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；基于所述第N级别的参考图像矢量序列和所述第N级别的3D参考图像矢量序列的输入计算编码器交叉注意力模块的第N级别参考图像特征矢量序列；将所述移动图像矢量序列作为交叉注意力模块中查询向量输入，将所述3D移动图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；基于所述移动图像矢量序列和所述3D移动图像矢量序列的输入计算编码器交叉注意力模块的第一级别移动图像特征矢量序列；将第N-1级别的所述移动图像矢量序列和所述3D移动图像矢量序列复原为复原医学数据图像，将所述复原医学数据图像经过降采样操作，生成第N级别的移动图像数量序列和第N级别的3D移动图像矢量序列，其中，N＝2，……，n；将所述第N级别的移动图像数量序列作为交叉注意力模块中查询向量输入，将所述第N级别的3D移动图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；基于所述第N级别的移动图像矢量序列和所述第N级别的3D移动图像矢量序列的输入计算编码器交叉注意力模块的第N级别移动图像特征矢量序列；将全部级别的参考图像特征矢量序列和全部级别的移动图像特征矢量序列输入解码器交叉注意力模块进行解码，获取所述解码器输出的形变场。
7.一种电子设备，其特征在于，包括处理器，所述处理器与存储器耦合；
所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如权利要求1至4任一项所述的方法。
8.一种计算机可读存储设备，其特征在于，包括计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得所述计算机执行如权利要求1至4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211024408.3A CN115375971B (zh) | 2022-08-24 | 2022-08-24 | 多模态医学图像配准模型训练方法、配准方法、***及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211024408.3A CN115375971B (zh) | 2022-08-24 | 2022-08-24 | 多模态医学图像配准模型训练方法、配准方法、***及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115375971A CN115375971A (zh) | 2022-11-22 |
| CN115375971B true CN115375971B (zh) | 2023-04-25 |
Family
ID=84068469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211024408.3A Active CN115375971B (zh) | 2022-08-24 | 2022-08-24 | 多模态医学图像配准模型训练方法、配准方法、***及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115375971B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116189884B (zh) * | 2023-04-24 | 2023-07-25 | 成都中医药大学 | 一种基于面部视觉的多模态融合中医体质判别方法及*** |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11154196B2 (en) * | 2017-06-20 | 2021-10-26 | Siemens Healthcare Gmbh | Deep-learnt tissue deformation for medical imaging |
| CN111862174B (zh) * | 2020-07-08 | 2023-10-03 | 清华大学深圳国际研究生院 | 一种跨模态医学图像配准方法及装置 |
| CN113269815B (zh) * | 2021-05-14 | 2022-10-25 | 中山大学肿瘤防治中心 | 一种基于深度学习的医学图像配准方法及终端 |
| CN114119689B (zh) * | 2021-12-02 | 2024-06-07 | 厦门大学 | 基于深度学习的多模态医学图像无监督配准方法及*** |
| CN114445471A (zh) * | 2022-01-26 | 2022-05-06 | 山东大学 | 基于多标准融合的多模态医学图像配准方法及*** |
-
2022
- 2022-08-24 CN CN202211024408.3A patent/CN115375971B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115375971A (zh) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | COVID-19 CT image synthesis with a conditional generative adversarial network | |
| Khouloud et al. | W-net and inception residual network for skin lesion segmentation and classification | |
| Cao et al. | Deformable image registration based on similarity-steered CNN regression | |
| JP2022518446A (ja) | 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム | |
| US8811697B2 (en) | Data transmission in remote computer assisted detection | |
| CN109754396B (zh) | 图像的配准方法、装置、计算机设备和存储介质 | |
| Sokooti et al. | 3D convolutional neural networks image registration based on efficient supervised learning from artificial deformations | |
| CN111951281B (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN115359103B (zh) | 图像配准网络模型及其建立方法、设备及介质 | |
| CN115272250B (zh) | 确定病灶位置方法、装置、计算机设备和存储介质 | |
| CN115375971B (zh) | 多模态医学图像配准模型训练方法、配准方法、***及设备 | |
| Shu et al. | LVC-Net: Medical image segmentation with noisy label based on local visual cues | |
| Wang et al. | Multiscale transunet++: dense hybrid u-net with transformer for medical image segmentation | |
| CN113506308A (zh) | 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法 | |
| CN112132878A (zh) | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 | |
| CN114596318A (zh) | 一种基于Transformer的乳腺癌磁共振成像病灶分割方法 | |
| Kläser et al. | Deep boosted regression for MR to CT synthesis | |
| Uzunova et al. | Generation of annotated brain tumor MRIs with tumor-induced tissue deformations for training and assessment of neural networks | |
| Zhang et al. | A diffeomorphic unsupervised method for deformable soft tissue image registration | |
| CN115345928A (zh) | 关键点的获取方法、计算机设备和存储介质 | |
| Yuan et al. | FM-Unet: Biomedical image segmentation based on feedback mechanism Unet | |
| Tran et al. | Deep learning-based inpainting for chest X-ray image | |
| US20230099906A1 (en) | Image registration method, computer device, and storage medium | |
| CN116485853A (zh) | 一种基于深度学习神经网络的医学图像配准方法和装置 | |
| Zhang et al. | A spine segmentation method under an arbitrary field of view based on 3d swin transformer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |