CN111210465A - 图像配准方法、装置、计算机设备和可读存储介质 - Google Patents
图像配准方法、装置、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN111210465A CN111210465A CN201911424759.1A CN201911424759A CN111210465A CN 111210465 A CN111210465 A CN 111210465A CN 201911424759 A CN201911424759 A CN 201911424759A CN 111210465 A CN111210465 A CN 111210465A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- registered
- features
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000000605 extraction Methods 0.000 claims abstract description 106
- 230000006870 function Effects 0.000 claims description 123
- 238000013528 artificial neural network Methods 0.000 claims description 59
- 238000012549 training Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 15
- 238000007667 floating Methods 0.000 claims description 3
- 238000002591 computed tomography Methods 0.000 description 46
- 238000002595 magnetic resonance imaging Methods 0.000 description 18
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种图像配准方法、装置、计算机设备和可读存储介质，该方法包括：获取待配准图像和参考图像；待配准图像和参考图像为不同模态的图像；将待配准图像和参考图像分别输入预设的特征提取模型，得到待配准图像的特征和参考图像的特征；待配准图像的特征和参考图像的特征为同一特征空间中的特征；将待配准图像的特征和参考图像的特征输入预设的变形场预测模型，得到将待配准图像配准到参考图像的变形场；根据变形场，对待配准图像进行图像配准。该方法能够对待配准图像进行准确有效地配准，提高了对待配准图像的配准效率和准确度。
Description
技术领域
本发明涉及医学图像领域，特别是涉及一种图像配准方法、装置、计算机设备和可读存储介质。
背景技术
图像配准是将两幅不同模态的图像进行空间匹配的过程，例如，将图像A配准到图像B的过程中，B是参考图像，A是浮动图像，得到的结果是图像A配准到图像B的空间变换关系。图像配准是医学影像处理的基础，在图像信息融合、辅助诊断、手术规划、手术导航以及医学基础理论研究等领域发挥着十分重要的作用。图像配准的本质是将两张图像的内容一一匹配。
传统技术中，对不同模态的图像进行图像配准时，例如，对模态为A的图像和模态为B的图像进行配准时，是先将模态为A的图像转换为模态为B的图像，然后利用同模态的配准方法，对不同模态的图像进行配准。
但是，传统的图像配准方法存在配准结果不准确的问题。
发明内容
基于此，有必要针对传统的图像配准方法存在配准结果不准确的问题，提供一种图像配准方法、装置、计算机设备和可读存储介质。
第一方面，本发明实施例提供一种图像配准方法，所述方法包括：
获取待配准图像和参考图像；所述待配准图像和所述参考图像为不同模态的图像；
将所述待配准图像和所述参考图像分别输入预设的特征提取模型，得到所述待配准图像的特征和所述参考图像的特征；所述待配准图像的特征和所述参考图像的特征为同一特征空间中的特征；
将所述待配准图像的特征和所述参考图像的特征输入预设的变形场预测模型，得到将所述待配准图像配准到所述参考图像的变形场；
根据所述变形场，对所述待配准图像进行图像配准。
第二方面，本发明实施例提供一种图像配准装置，所述装置包括：
第一获取模块，用于获取待配准图像和参考图像；所述待配准图像和所述参考图像为不同模态的图像；
特征提取模块，用于将所述待配准图像和所述参考图像分别输入预设的特征提取模型，得到所述待配准图像的特征和所述参考图像的特征；所述待配准图像的特征和所述参考图像的特征为同一特征空间中的特征；
第二获取模块，用于将所述待配准图像的特征和所述参考图像的特征输入预设的变形场预测模型，得到将所述待配准图像配准到所述参考图像的变形场；
配准模块，用于根据所述变形场，对所述待配准图像进行图像配准。
第三方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待配准图像和参考图像；所述待配准图像和所述参考图像为不同模态的图像；
将所述待配准图像和所述参考图像分别输入预设的特征提取模型，得到所述待配准图像的特征和所述参考图像的特征；所述待配准图像的特征和所述参考图像的特征为同一特征空间中的特征；
将所述待配准图像的特征和所述参考图像的特征输入预设的变形场预测模型，得到将所述待配准图像配准到所述参考图像的变形场；
根据所述变形场，对所述待配准图像进行图像配准。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待配准图像和参考图像；所述待配准图像和所述参考图像为不同模态的图像；
将所述待配准图像和所述参考图像分别输入预设的特征提取模型，得到所述待配准图像的特征和所述参考图像的特征；所述待配准图像的特征和所述参考图像的特征为同一特征空间中的特征；
将所述待配准图像的特征和所述参考图像的特征输入预设的变形场预测模型，得到将所述待配准图像配准到所述参考图像的变形场；
根据所述变形场，对所述待配准图像进行图像配准。
上述实施例提供的图像配准方法、装置、计算机设备和可读存储介质中，计算机设备获取待配准图像和参考图像，待配准图像和参考图像为不同模态的图像，将待配准图像和参考图像分别输入预设的特征提取模型，得到待配准图像的特征和参考图像的特征，待配准图像的特征和参考图像的特征为同一特征空间中的特征，将待配准图像的特征和参考图像的特征输入预设的变形场预测模型，得到待配准图像配准到参考图像的变形场，根据变形场，对待配准图像进行图像配准。在该方法中，计算机设备将待配准图像和参考图像分别输入预设的特征提取模型，得到的待配准图像的特征和参考图像的特征为同一特征空间中的特征，由于待配准图像的特征和参考图像的特征为同一特征空间中的特征，因此，待配准图像特征值和参考图像特征值相等的区域所包含的图像内容也是相同的，这样再将待配准图像的特征和参考图像的特征输入预设的变形场预测模型，能够快速准确地得到待配准图像配准到参考图像的变形场，提高了得到的将待配准图像配准到参考图像的变形场的效率和准确度，进而提高了根据得到的变形场对待配准图像进行图像配准的效率和准确度。
附图说明
图1为一个实施例提供的计算机设备的内部结构示意图；
图2为一个实施例提供的图像配准方法的流程示意图；
图2a为一个实施例提供的图像配准的流程示意图；
图3为另一个实施例提供的图像配准方法的流程示意图；
图4为另一个实施例提供的图像配准方法的流程示意图；
图4a为一个实施例提供的预设的特征提取模型的训练过程示意图；
图5为另一个实施例提供的图像配准方法的流程示意图；
图6为另一个实施例提供的图像配准方法的流程示意图；
图7为一个实施例提供的图像配准装置结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像配准方法，可以适用于如图1所示的计算机设备。该计算机设备包括通过***总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的，该计算机设备还可以包括网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以是服务器，可以是个人计算机，还可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。
传统技术中，对不同模态的图像进行图像配准时，例如，对模态为A的图像和模态为B的图像进行配准时，是先将模态为A的图像转换为模态为B的图像，然后利用同模态的配准方法，对不同模态的图像进行配准。但是，传统的图像配准方法存在配准结果不准确的问题。为此，本申请实施例提供一种图像配准方法，基于模态转换的特征空间映射算法，将不同模态的图像映射到相同的特征空间，在这个特征空间里，来源于不同模态的两个特征图的对应通道包含了相同的内容信息。因此，不同模态、相同内容的图像可以计算得出相同的特征图，特征图的值相等的区域包含的图像内容也相同，将不同模态的图像映射到相同特征空间后，使用基本的同模态配准方法来对这两组特征进行配准，从而实现不同模态图像间的配准。在本申请中，通过预设的特征提取模型能够将不同模态的图像映射到相同特征空间，其中，对预设的特征提取模型训练的思想是：使用基于对抗生成网络的方法进行特征空间的寻找和映射，首先通过判别器的辅助无监督的实现两种模态图像之间的互相重建，然后，为了保证图像生成的同时不会丢失细节，还需要保证CT模态的图像迁移至MR模态的图像再迁移回CT图像时与原始CT图像内容完全一致，因此引入循环一致性损失，保证可以实现两种不同模态的互相迁移，进一步地，为了让两个模态图像的特征图是一一对应的，引入特征相似性损失，保证从不同模态的图像提取的特征的特征数和大小是完全一致的，至此来实现将不同模态的图像映射到相同特征空间，并得到预设的特征提取模型。
需要说明的是，本申请实施例提供的图像配准方法，其执行主体可以是图像配准装置，该图像配准装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。
下面以具体的实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为一个实施例提供的图像配准方法的流程示意图。图2a为一个实施例提供的图像配准的流程示意图。本实施例涉及的是计算机设备获取待配准图像和参考图像同一特征空间中的特征，将待配准图像的特征和参考图像的特征输入预设的变形场预测模型，根据得到的将待配准图像配准到参考图像的变形场，对待配准图像进行图像配准的具体实现过程。如图2所示，该方法可以包括：
S201，获取待配准图像和参考图像；待配准图像和参考图像为不同模态的图像。
具体的，计算机设备获取不同模态的待配准图像和参考图像。其中，不同模态的图像是指利用不同成像原理、不同成像设备得到的图像，例如，利用计算机断层扫描(Computed Tomography,CT)，核磁共振(Magnetic Resonance Imaging,MRI)，正电子发射计算机断层扫描(Positron Emission Tomography,PET)，功能磁共振(functionalMagnetic Resonance Imaging,fMRI)等成像设备得到的图像均是不同模态的图像。示例性地，在本实施例中，待配准图像可以为MRI图像，参考图像可以为CT图像。可选的，计算机设备可以从影像归档和通信***(Picture Archiving and Communication Systems，PACS)服务器中获取不同模态的待配准图像和参考图像，也可以直接从不同的医学影像设备中获取不同模态的待配准图像和参考图像。可选的，计算机设备获取到待配准图像和参考图像后，可以对待配准图像和参考图像进行像素值归一化处理、刚性配准等预处理操作，其中，刚性配准是指对待配准图像进行简单的图像整体移动，如平移、旋转等。
S202，将待配准图像和参考图像分别输入预设的特征提取模型，得到待配准图像的特征和参考图像的特征；待配准图像的特征和参考图像的特征为同一特征空间中的特征。
具体的，计算机设备将待配准图像和参考图像分别输入预设的特征提取模型，得到待配准图像的特征和参考图像的特征。其中，待配准图像的特征和参考图像的特征为同一特征空间中的特征。需要说明的是，在该特征空间中，来源于不同模态的两个图像的特征图对应通道包含了相同的内容信息，在该特征空间中同一组织、同一器官的不同模态的图像可以计算出相同的特征图，不同模态的图像的特征图的值相等的区域包含的图像内容也相同。可以理解的是，从待配准图像中提取待配准图像的特征的过程是将待配准图像对应的原始数据映射到一个更高维的特征空间的过程，该特征空间中的特征是对待配准图像对应的原始数据更高维的抽象，同样地，从参考图像中提取参考图像的特征的过程也是将参考图像对应的原始数据映射到一个更高维的特征空间的过程，该特征空间中的特征是对参考图像对应的原始数据更高维的抽象，因此，通过特征提取模型，可以将待配准图像和参考图像均映射到同一个更高维的特征空间中，得到在同一特征空间中的待配准图像的特征和参考图像的特征。可选的，计算机设备将待配准图像和参考图像分别输入预设的特征提取模型后，特征提取模型可以通过卷积、池化等一系列操作，将待配准图像和参考图像映射到相同的特征空间，得到待配准图像的特征和参考图像的特征。
S203，将待配准图像的特征和参考图像的特征输入预设的变形场预测模型，得到将待配准图像配准到参考图像的变形场。
具体的，计算机设备将待配准图像的特征和参考图像的特征输入预设的变形场预测模型，得到待配准图像配准到参考图像的变形场。可以理解的是，待配准图像的特征和参考图像的特征为同一特征空间中的特征，变形场预测模型可以使用基于特征相似性的配准方法，对待配准图像的特征和参考图像的特征进行特征提取，从而得到待配准图像配准到参考图像的变形场。
S204，根据变形场，对待配准图像进行图像配准。
具体的，计算机设备根据将待配准图像配准到参考图像的变形场，对待配准图像进行图像配准，使待配准图像的特征在形变之后能与参考图像的特征达到最大的相似性，得到配准结果。示例性地，以待配准图像为MRI图像，参考图像为CT为例，如图2a所示，图2a为计算机设备对待配准图像进行配准的流程示意图。
在本实施例中，计算机设备将待配准图像和参考图像分别输入预设的特征提取模型，得到的待配准图像的特征和参考图像的特征为同一特征空间中的特征，由于待配准图像的特征和参考图像的特征为同一特征空间中的特征，因此，待配准图像特征值和参考图像特征值相等的区域所包含的图像内容也是相同的，这样再将待配准图像的特征和参考图像的特征输入预设的变形场预测模型，能够快速准确地得到待配准图像配准到参考图像的变形场，提高了得到的将待配准图像配准到参考图像的变形场的效率和准确度，进而提高了根据得到的变形场对待配准图像进行图像配准的效率和准确度。
图3为另一个实施例提供的图像配准方法的流程示意图。本实施例涉及的是计算机设备将待配准图像和参考图像分别输入预设的特征提取模型，得到待配准图像的特征和参考图像的特征的具体实现过程。如图3所示，在上述实施例的基础上，作为一种可选的实施方式，上述预设的特征提取模型包括第一特征提取模型和第二特征提取模型，上述S202，包括：
S301，将待配准图像输入第一特征提取模型，得到待配准图像的特征。
具体的，计算机设备将待配准图像输入第一特征提取模型，得到待配准图像的特征。可以理解的是，将待配准图像输入第一特征提取模型，得到待配准图像的特征的过程是将待配准图像输入第一特征提取模型，将待配准图像对应的原始数据映射到一个更高维的空间，从而得到待配准图像的特征。可选的，第一特征提取模型可以对输入的待配准图像进行卷积、池化等一系列操作，将待配准图像映射到预设的特征空间，得到待配准图像的特征。
S302，将参考图像输入第二特征提取模型，得到参考图像的特征。
具体的，计算机设备将参考图像输入第二特征提取模型，得到参考图像的特征。可以理解的是，将参考图像输入第二特征提取模型，得到参考图像的特征的过程是将待配准图像输入第二特征提取模型，将参考图像对应的原始数据映射到S301中所述的更高维的空间，从而得到参考图像的特征。需要说明的是，在对第一特征提取模型和第二特征提取模型进行训练时采用了基于对抗生成网络的方法进行特征空间的寻找和映射，从而保证了通过第一特征提取模型得到的待配准图像的特征与通过第二特征提取模型得到的参考图像的特征为同一特征空间的特征。可选的，第二特征提取模型可以对输入的参考图像进行卷积、池化等一系列操作，将待参考图像映射到上述S301中的预设的特征空间，得到参考图像的特征。
可选的，计算机设备可以先将待配准图像输入第一特征提取模型，得到待配准图像的特征，再将参考图像输入第二特征提取模型，得到参考图像的特征；可以将待配准图像和参考图像同时分别输入第一特征提取模型、第二特征提取模型，得到待配准图像的特征和参考图像的特征。
在本实施例中，计算机设备将待配准图像输入第一特征提取模型，将参考图像输入第二特征提取模型，通过第一特征提取和第二特征提取模型能够将待配准图像对应的原始数据和参考图像对应的原始数据映射到同一个更高维度的特征空间中，能够快速准确地得到在同一特征空间中的待配准图像的特征和参考图像的特征，提高了得到待配准图像的特征和参考图像的特征的效率和准确度。
图4为另一个实施例提供的图像配准方法的流程示意图。图4a为一个实施例提供的预设的特征提取模型的训练过程示意图。本实施例涉及的是计算机设备得到预设的特征提取模型的具体实现过程。如图4所示，在上述实施例的基础上，作为一种可选的实施方式，预设的特征提取模型的训练过程包括：
S401，获取第一样本图像和第二样本图像；第一样本图像和第二样本图像为两幅不同模态的图像。
具体的，计算机设备获取为不同模态的第一样本图像和第二样本图像。可选的，如图4a所示，第一样本图像可以为MRI图像，第二样本图像可以为CT图像。可选的，计算机设备可以从影像归档和通信***(Picture Archiving and Communication Systems，PACS)服务器中获取不同模态的第一样本图像和第二样本图像，也可以直接从不同的医学影像设备中获取不同模态的第一样本图像和第二样本图像。
S402，将第一样本图像输入预设的第一初始神经网络，得到第一样本特征及第一预测图像；第一预测图像的模态与第二样本图像的模态相同。
具体的，计算机设备将第一样本图像输入预设的第一初始神经网络(如图4a中的GMR)，得到第一样本特征及第一预测图像。其中，第一预测图像的模态与第二样本图像的模态相同，继续以S401中描述的第一样本图像为MRI图像，第二样本图像为CT图像为例进行说明，也就是，若第二样本图像是CT图像，则通过预设的第一初始神经网络得到的第一预测图像也是CT图像。需要说明的是，第一样本特征为第一样本图像所对应的样本特征，第一预测图像为根据第一样本图像对应的第一样本特征生成的与第二样本图像的模态相同的图像。
S403，将第一预测图像和第二样本图像输入预设的第一初始判别网络，得到第一预测图像的第一判别结果；根据第一判别结果与第二样本图像的真伪属性，对第一初始判别网络进行训练，得到第一判别网络；第一判别结果用于指示第一预测图像的真伪属性。
具体的，计算机设备将第一预测图像和第二样本图像输入预设的第一初始判别网络(如图4a中的DCT)，得到用于指示第一预测图像的真伪属性的第一判别结果；根据第一判别结果与第二样本图像的真伪属性，得到第一初始判别网络损失函数的值，根据第一初始判别网络损失函数的值对第一初始判别网络进行训练，将第一初始判别网络损失函数的值达到稳定值时对应的第一初始判别网络确定为第一判别网络。继续以S401中描述的第一样本图像为MRI图像，第二样本图像为CT图像为例进行说明，可选的，计算机设备可以利用公式
得到第一初始判别网络损失函数的值，式中，
表示第一初始判别网络损失函数的值，DCT(CT)表示第二样本图像的真伪属性，其取值为0到1之间的值，DCT(CT)的取值越大表示第二样本图像为真的可能性越高，DCT(CT)的取值越小表示第二样本图像为伪图像的可能性越高，示例性地，若DCT(CT)的取值为0.8，则可以确定第二样本图像为真，若DCT(CT)的取值为0.2，则可以确定第二样本图像为伪图像；DCT(GMR(MR))表示第一判别结果，其取值为0到1之间的值，DCT(GMR(MR))的取值越大表示第一预测图像为真的可能性越高，DCT(GMR(MR))的取值越小表示第一预测图像为伪图像的可能性越高，示例性地，若DCT(GMR(MR))的取值为0.9，则可以确定第一预测图像为真，若DCT(GMR(MR))的取值为0.1，则可以确定第一预测图像为伪图像。
S404，将第二样本图像输入预设的第二初始神经网络，得到第二样本特征及第二预测图像；第二预测图像的模态与第一样本图像的模态相同。
具体的，计算机设备将第二样本图像输入预设的第二初始神经网络(如图4a中的GCT)，得到第二样本特征及第二预测图像。其中，第二预测图像的模态与第一样本图像的模态相同，继续以S401中描述的第一样本图像为MRI图像，第二样本图像为CT图像为例进行说明，也就是，若第一样本图像是CT图像，则通过预设的第二初始神经网络得到的第二预测图像也是MRI图像。需要说明的是，第二样本特征为第二样本图像所对应的样本特征，第二预测图像为根据第二样本图像对应的第二样本特征生成的与第一样本图像的模态相同的图像。
S405，将第二预测图像和第一样本图像输入预设的第二初始判别网络，得到第二预测图像的第二判别结果；根据第二判别结果与第一样本图像的真伪属性，对第二初始判别网络进行训练，得到第二判别网络；第二判别结果用于指示第二预测图像的真伪属性。
具体的，计算机设备将第二预测图像和第一样本图像输入预设的第二初始判别网络(如图4a中的DMR)，得到用于指示第二预测图像的真伪属性的第二判别结果；根据第二判别结果与第一样本图像的真伪属性，得到第二初始判别网络损失函数的值，根据第二初始判别网络损失函数的值对第二初始判别网络进行训练，将第二初始判别网络损失函数的值达到稳定值时对应的第二初始判别网络确定为第二判别网络。继续以S401中描述的第一样本图像为MRI图像，第二样本图像为CT图像为例进行说明，可选的，计算机设备可以利用公式
获取第二初始判别网络损失函数的值，式中，
表示第二初始判别网络损失函数的值，DMR(MR)表示第一样本图像的真伪属性，其取值为0到1之间的值，DMR(MR)的取值越大表示第一样本图像为真的可能性越高，DMR(MR)的取值越小表示第一样本图像为伪图像的可能性越高，示例性地，若DMR(MR)的取值为0.7，则可以确定第一样本图像为真，若DMR(MR)的取值为0.1，则可以确定第一样本图像为伪图像；DMR(GCT(CT))表示第二判别结果，其取值为0到1之间的值，DMR(GCT(CT))的取值越大表示第二预测图像为真的可能性越高，DMR(GCT(CT))的取值越小表示第二预测图像为伪图像的可能性越高，示例性地，若DMR(GCT(CT))的取值为0.9，则可以确定第二预测图像为真，若DMR(GCT(CT))的取值为0.2，则可以确定第二预测图像为伪图像。
S406，根据第一样本图像、第二样本图像、第一预测图像、第二预测图像、第一样本特征、第二样本特征、第一判别结果与第二判别结果，分别对第一初始神经网络、第二初始神经网络进行训练，得到第一特征提取模型、第二特征提取模型。
具体的，计算机设备根据第一样本图像、第二样本图像、第一预测图像、第二预测图像、第一样本特征、第二样本特征、第一判别结果与第二判别结果，分别对第一初始神经网络、第二初始神经网络进行训练，得到第一特征提取模型、第二特征提取模型。可选的，计算机设备可以根据第一样本图像、第二样本图像、第一预测图像、第二预测图像、第一样本特征、第二样本特征、第一判别结果与第二判别结果，得到第一初始神经网络的损失函数的值、第二初始神经网络的损失函数的值，根据第一初始神经网络的损失函数的值对第一初始神经网络进行训练，得到第一特征提取模型，根据第二初始神经网络的损失函数的值对第二初始神经网络进行训练，得到第二特征提取模型。
在本实施例中，计算机设备通过第一初始神经网络能够得到第一样本特征以及与第二样本图像的模态相同的第一预测图像，将第一预测图像和第二样本图像输入预设的第一初始判别网络，能够得到用于指示第一预测图像的真伪属性的第一判别结果，通过第二初始神经网络能够得到第二样本特征以及与第一样本图像的模态相同的第二预测图像，将第二预测图像和第一样本图像输入预设的第二初始判别网络，能够得到用于指示第二预测图像的真伪属性的第二判别结果，进而可以根据第一样本图像、第二样本图像、第一预测图像、第二预测图像、第一样本特征、第二样本特征、第一判别结果与第二判别结果，基于对抗生成网络的方法进行特征空间的寻找和映射，实现第一样本图像和第二样本图像之间的相互重建，能够对第一初始神经网络、第二初始神经网络进行准确地训练，提高了得到的第一特征提取模型、第二特征提取模型的准确度；另外，计算机设备根据第一判别结果与第二样本图像的真伪属性能够准确地得到第一初始判别网络的损失函数值，能够对第一初始判别网络进行准确地训练，提高了得到的第一判别网络的准确度，根据第二判别结果与第一样本图像的真伪属性能够准确地得到第二初始判别网络的损失函数的值，能够对第二初始判别网络进行准确地训练，提高了得到的第二判别网络的准确度。
图5为另一个实施例提供的图像配准方法的流程示意图。本实施例涉及的是计算机设备得到第一特征提取模型和第二特征提取模型的具体实现过程。如图5所示，在上述实施例的基础上，作为一种可选的实施方式，上述S406，包括：
S501，根据第一判别结果，得到第一损失函数的值。
具体的，计算机设备根据第一判别结果，得到第一损失函数的值。示例性地，本实施例继续以S401中描述的第一样本图像为MRI图像，第二样本图像为CT图像为例，可选的，计算机设备可以通过公式
得到第一损失函数的值，式中，
表示第一损失函数的值，DCT(GMR(MR))表示第一判别结果。
S502，根据第二判别结果，得到第二损失函数的值。
具体的，计算机设备根据第二判别结果，得到第二损失函数的值。示例性地，本实施例继续以S401中描述的第一样本图像为MRI图像，第二样本图像为CT图像为例，可选的，计算机设备可以通过公式
得到第二损失函数的值，式中，
表示第二损失函数的值，DMR(GCT(CT))表示第二判别结果。
S503，将第二预测图像输入第一初始神经网络，得到第三样本特征及第三预测图像；第三预测图像的模态与第二样本图像的模态相同。
具体的，计算机设备将第二预测图像输入第一初始神经网络，得到第三样本特征及第三预测图像；其中，第三预测图像的模态与第二样本图像的模态相同，第三样本特征为第二预测图像对应的样本特征。示例性地，本实施例继续以S401中描述的第一样本图像为MRI图像，第二样本图像为CT图像为例，也就是第二预测图像为MRI图像，计算机设备将第二预测图像输入第一初始神经网络，得到第二预测图像对应的第三样本特征，以及与第二样本图像的模态相同的第三预测图像，也就是得到第三预测图像为CT图像。需要说明的是，第三预测图像为根据第二预测图像对应的第三样本特征生成的与第二样本图像的模态相同的图像
S504，将第一预测图像输入第二初始神经网络，得到第四样本特征及第四预测图像；第四预测图像的模态与第一样本图像的模态相同。
具体的，计算机设备将第一预测图像输入第二初始神经网络，得到第四样本特征及第四预测图像；其中，第四预测图像的模态与第一样本图像的模态相同，第四样本特征为第一预测图像对应的样本特征。示例性地，本实施例继续以S401中描述的第一样本图像为MRI图像，第二样本图像为CT图像为例，也就是第一预测图像为CT图像，计算机设备将第一预测图像输入第二初始神经网络，得到第一预测图像对应的第四样本特征，以及与第一样本图像的模态相同的第四预测图像，也就是得到第四预测图像为MRI图像。需要说明的是，第四预测图像为根据第一预测图像对应的第四样本特征生成的与第一样本图像的模态相同的图像。
S505，根据第二样本图像与第三预测图像、第一样本图像与第四预测图像，获取第三损失函数的值。
具体的，计算机设备根据第二样本图像与第三预测图像、第一样本图像与第四预测图像，获取第三损失函数的值。可选的，计算机设备可以根据第二样本图像与第三预测图像间的损失，得到第五损失函数的值，根据第一样本图像与第四预测图像间的损失，得到第六损失函数的值，将第五损失函数的值与第六损失函数的值之和，确定为第三损失函数的值。可选的，继续以S401中描述的第一样本图像为MRI图像，第二样本图像为CT图像为例，计算机设备可以通过公式
得到第五损失函数的值，通过公式
得到第六损失函数的值，并将
与
的和确定为第三损失函数的值Lcycle，式中，
表示第五损失函数的值，MSE为均方误差函数，CT表示第二样本图像，GMR(GCT(CT))表示第三预测图像，
表示第六损失函数的值，MR表示第一样本图像，GCT(GMR(MR))表示第四预测图像。
S506，根据第一样本特征与第四样本特征、第二样本特征与第三样本特征，获取第四损失函数的值。
具体的，计算机设备根据第一样本特征与第四样本特征、第二样本特征与第三样本特征，获取第四损失函数的值。可选的，计算机设备可以根据第一样本特征与第四样本特征间的损失，得到第七损失函数的值，根据第二样本特征与第三样本特征间的损失，得到第八损失函数的值，将第七损失函数的值与第八损失函数的值之和，确定为第四损失函数的值。可选的，继续以S401中描述的第一样本图像为MRI图像，第二样本图像为CT图像为例，计算机设备可以通过公式LCT＝MSE(CNNCT(CT),CNNMR(GCT(CT)))得到第七损失函数的值，通过公式LMR＝MSE(CNNMR(MR),CNNCT(GMR(MR)))得到第八损失函数的值，并将LCT与LMR的和确定为第四损失函数的值Lsim，式中，LCT表示第七损失函数的值，MSE为均方误差函数，CNNCT(CT)表示第一样本特征，CNNMR(GCT(CT))表示第四样本特征，LMR表示第八损失函数的值，CNNMR(MR)表示第二样本特征，CNNCT(GMR(MR))表示第三样本特征。其中，CNNMR和CNNCT所提取的特征的通道数和大小是完全一致的，均方误差函数MSE的作用是保证从MR图像中提取到的特征与从CT图像中提取到的特征的每一个通道表达相同的含义，均方误差函数MSE也可以用其他损失函数替代，包括但不限于L1损失函数、互信息、相关系数等。
S507，根据第一损失函数的值、第三损失函数的值以及第四损失函数的值，对初始第一神经网络进行训练，得到第一特征提取模型。
具体的，计算机设备根据第一损失函数的值、第三损失函数的值以及第四损失函数的值，对初始第一神经网络进行训练，得到第一特征提取模型。可选的，继续以上述实施例中的描述为例，计算机设备可以将第一损失函数的值
第三损失函数的值Lcycle以及第四损失函数的值Lsim之和确定为初始第一神经网络的损失函数的值，对初始第一神经网络进行训练，将初始第一神经网络的损失函数的值达到稳定时对应的初始第一神经网络确定为第一特征提取模型。
S508，根据第二损失函数的值、第三损失函数的值以及第四损失函数的值，对初始第二神经网络进行训练，得到第二特征提取模型。
具体的，计算机设备根据第二损失函数的值、第三损失函数的值以及第四损失函数的值，对初始第二神经网络进行训练，得到第二特征提取模型。可选的，继续以上述实施例中的描述为例，计算机设备可以将第一损失函数的值
第三损失函数的值Lcycle以及第四损失函数的值Lsim之和确定为初始第二神经网络的损失函数的值，对初始第二神经网络进行训练，将初始第二神经网络的损失函数的值达到稳定时对应的初始第二神经网络确定为第一特征提取模型。至此，通过对初始第一神经网络进行训练得到的第一特征提取模型，和通过对初始第二神经网络进行训练得到的第二特征提取模型，可以将不同模态的图像映射到相同的特征空间中，在这个特征空间下，每一个特征通道所代表的含义分别一一对应。
在本实施例中，计算机设备通过获取的第一损失函数的值、第三损失函数的值以及第四损失函数的值，能够对初始第一神经网络进行准确地训练，提高了得到的第一特征提取模型的准确度，通过获取的第二损失函数的值、第三损失函数的值以及第四损失函数的值，能够对初始第二神经网络进行比较准确地训练，提高了得到的第二特征提取模型的准确度。
图6为另一个实施例提供的图像配准方法的流程示意图。本实施例涉及的是计算机设备得到预设的变形场预测模型的具体实现过程。如图6所示，在上述实施例的基础上，作为一种可选的实施方式，预设的变形场预测模型的训练过程包括：
S601，获取第一样本图像的特征和第二样本图像的特征；第一样本图像的特征和第二样本图像的特征为同一特征空间的特征。
具体的，计算机设备获取第一样本图像的特征和第二样本图像的特征。其中，第一样本图像的特征和第二样本图像的特征为同一特征空间的特征。可选的，计算机设备可以通过特征提取模型获取为同一特征空间的第一样本图像的特征和第二样本图像的特征。需要说明的是，若获取的样本图像为两幅不同模态的样本图像，则可以通过特征提取模型先将该样本图像映射到相同的特征空间，再提取第一样本图像的特征和第二样本图像的特征；若获取的样本图像为两幅同模态的样本图像，则可以直接通过特征提取模型提取第一样本图像的特征和第二样本图像的特征。
S602，将第一样本图像的特征和第二样本图像的特征输入预设的初始变形场预测模型，得到将第一样本图像配准到第二样本图像的样本变形场。
具体的，计算机设备将第一样本图像的特征和第二样本图像的特征输入预设的初始变形场预测模型，得到将第一样本图像配准到第二样本图像的样本变形场。其中，样本变形场为第一样本图像与第二样本图像的空间映射关系，根据样本变形场可以将第一样本图像配准为第二样本图像。
S603，根据样本变形场和所述第二样本图像的特征，对预设的初始变形场预测模型进行训练，得到预设的变形场预测模型。
具体的，计算机设备根据样本变形场，对第一样本图像的特征进行变换处理，得到变换后的特征，然后，根据变换后的特征和第二样本图像的特征，得到初始变形场预测模型的损失函数的值，根据初始变形场预测模型的损失函数的值对预设的初始变形场预测模型进行训练，将初始变形场预测模型的损失函数的值达到稳定值时对应的初始变形场预测模型确定为预设的变形场预测模型。可选的，初始变形场预测模型的损失函数可以为diff损失函数，也可以为均方误差函数或L1损失函数。示例性地，以第一样本图像的特征为MRI图像的特征，第二样本图像的特征为CT图像的特征为例，计算机设备可以通过公式L＝Diff(FCT,FMR)计算初始变形场预测模型的损失函数，式中，L表示初始变形场预测模型的损失函数的值，FCT表示第二样本图像的特征，FMR为对第一样图像的特征进行变换处理后得到的变换后的特征。
在本实施例中，计算机设备通过将同一特征空间的第一样本图像的特征和第二样本图像的特征输入预设的初始变形场预测模型，得到第一样本图像配准到第二样本图像的样本变形场，根据样本变形场，对第一样本图像的特征进行变换处理，得到变换后的特征，根据变换后的特征和第二样本图像的特征对预设的初始变形场预测模型进行训练，通过对第一样本图像的特征进行变换处理后得到的变换后的特征和第二样本图像的特征能够对预设的初始变形场预测模型进行准确地训练，提高了得到的变形场预测模型的准确度。
应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图7为一个实施例提供的图像配准装置结构示意图。如图7所示，该装置可以包括：第一获取模块10、特征提取模块11、第二获取模块12和配准模块13。
具体的，第一获取模块10，用于获取待配准图像和参考图像；待配准图像和参考图像为不同模态的图像；
特征提取模块11，用于将待配准图像和参考图像分别输入预设的特征提取模型，得到待配准图像的特征和参考图像的特征；待配准图像的特征和参考图像的特征为同一特征空间中的特征；
第二获取模块12，用于将待配准图像的特征和浮动图像的特征输入预设的变形场预测模型，得到将待配准图像配准到参考图像的变形场；
配准模块13，用于根据变形场，对待配准图像进行图像配准。
本实施例提供的图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述预设的特征提取模型包括第一特征提取模型和第二特征提取模型，上述特征提取模块11包括第一特征提取单元和第二特征提取单元。
具体的，第一特征提取单元，用于将待配准图像输入第一特征提取模型，得到待配准图像的特征；
第二特征提取单元，用于将参考图像输入第二特征提取模型，得到参考图像的特征。
本实施例提供的图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述装置还包括：第三获取模块、第四获取模块、第五获取模块、第六获取模块、第七获取模块和第一训练模块。
具体的，第三获取模块，用于获取第一样本图像和第二样本图像；第一样本图像和第二样本图像为两幅不同模态的图像；
第四获取模块，用于将第一样本图像输入预设的第一初始神经网络，得到第一样本特征及第一预测图像；第一预测图像的模态与第二样本图像的模态相同；
第五获取模块，用于将第一预测图像和第二样本图像输入预设的第一初始判别网络，得到第一预测图像的第一判别结果；根据第一判别结果与第二样本图像的真伪属性，对第一初始判别网络进行训练，得到第一判别网络；第一判别结果用于指示第一预测图像的真伪属性；
第六获取模块，用于将第二样本图像输入预设的第二初始神经网络，得到第二样本特征及第二预测图像；第二预测图像的模态与第一样本图像的模态相同；
第七获取模块，用于将第二预测图像和第一样本图像输入预设的第二初始判别网络，得到第二预测图像的第二判别结果；根据第二判别结果与第一样本图像的真伪属性，对第二初始判别网络进行训练，得到第二判别网络；第二判别结果用于指示第二预测图像的真伪属性；
第一训练模块，用于根据第一样本图像、第二样本图像、第一预测图像、第二预测图像、第一样本特征、第二样本特征、第一判别结果与第二判别结果，分别对第一初始神经网络、第二初始神经网络进行训练，得到第一特征提取模型、第二特征提取模型。
本实施例提供的图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述第一训练模块包括：第一获取单元、第二获取单元、第三获取单元、第四获取单元、第五获取单元、第六获取单元、第一训练单元和第二训练单元。
具体的，第一获取单元，用于根据第一判别结果，得到第一损失函数的值；
第二获取单元，用于根据第二判别结果，得到第二损失函数的值；
第三获取单元，用于将第二预测图像输入第一初始神经网络，得到第三样本特征及第三预测图像；第三预测图像的模态与第二样本图像的模态相同；
第四获取单元，用于将第一预测图像输入第二初始神经网络，得到第四样本特征及第四预测图像；第四预测图像的模态与第一样本图像的模态相同；
第五获取单元，用于根据第二样本图像与第三预测图像、第一样本图像与第四预测图像，获取第三损失函数的值；
第六获取单元，用于根据第一样本特征与第四样本特征、第二样本特征与第三样本特征，获取第四损失函数的值；
第一训练单元，用于根据第一损失函数的值、第三损失函数的值以及第四损失函数的值，对初始第一神经网络进行训练，得到第一特征提取模型；
第二训练单元，用于根据第二损失函数的值、第三损失函数的值以及第四损失函数的值，对初始第二神经网络进行训练，得到第二特征提取模型。
本实施例提供的图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述第五获取单元，具体用于根据第二样本图像与第三预测图像间的损失，得到第五损失函数的值；根据第一样本图像与第四预测图像间的损失，得到第六损失函数的值；将第五损失函数的值与第六损失函数的值之和，确定为第三损失函数的值。
本实施例提供的图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述第六获取单元，具体用于根据第一样本特征与第四样本特征间的损失，得到第七损失函数的值；根据第二样本特征与第三样本特征间的损失，得到第八损失函数的值；将第七损失函数的值与第八损失函数的值之和，确定为第四损失函数的值。
本实施例提供的图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述装置还包括：第八获取模块、第九获取模块、变换模块和第二训练模块。
具体的，第八获取模块，用于获取第一样本图像的特征和第二样本图像的特征；第一样本图像的特征和第二样本图像的特征为同一特征空间的特征；
第九获取模块，用于将第一样本图像的特征和第二样本图像的特征输入预设的初始变形场预测模型，得到将第一样本图像配准到第二样本图像的样本变形场；
第二训练模块，用于根据样本变形场和第二样本图像的特征，对预设的初始变形场预测模型进行训练，得到预设的变形场预测模型。
本实施例提供的图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于图像配准装置的具体限定可以参见上文中对于图像配准方法的限定，在此不再赘述。上述图像配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待配准图像和参考图像；待配准图像和参考图像为不同模态的图像；
将待配准图像和参考图像分别输入预设的特征提取模型，得到待配准图像的特征和参考图像的特征；待配准图像的特征和参考图像的特征为同一特征空间中的特征；
将待配准图像的特征和参考图像的特征输入预设的变形场预测模型，得到将待配准图像配准到参考图像的变形场；
根据变形场，对待配准图像进行图像配准。
上述实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待配准图像和参考图像；待配准图像和参考图像为不同模态的图像；
将待配准图像和参考图像分别输入预设的特征提取模型，得到待配准图像的特征和参考图像的特征；待配准图像的特征和参考图像的特征为同一特征空间中的特征；
将待配准图像的特征和参考图像的特征输入预设的变形场预测模型，得到将待配准图像配准到参考图像的变形场；
根据变形场，对待配准图像进行图像配准。
上述实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像配准方法，其特征在于，所述方法包括：
获取待配准图像和参考图像；所述待配准图像和所述参考图像为不同模态的图像；
将所述待配准图像和所述参考图像分别输入预设的特征提取模型，得到所述待配准图像的特征和所述参考图像的特征；所述待配准图像的特征和所述参考图像的特征为同一特征空间中的特征；
将所述待配准图像的特征和所述参考图像的特征输入预设的变形场预测模型，得到将所述待配准图像配准到所述参考图像的变形场；
根据所述变形场，对所述待配准图像进行图像配准。
2.根据权利要求1所述的方法，其特征在于，所述预设的特征提取模型包括第一特征提取模型和第二特征提取模型；所述将所述待配准图像和所述参考图像分别输入预设的特征提取模型，得到所述待配准图像的特征和所述参考图像的特征，包括：
将所述待配准图像输入所述第一特征提取模型，得到所述待配准图像的特征；
将所述参考图像输入所述第二特征提取模型，得到所述参考图像的特征。
3.根据权利要求2所述的方法，其特征在于，所述预设的特征提取模型的训练过程包括：
获取第一样本图像和第二样本图像；所述第一样本图像和所述第二样本图像为两幅不同模态的图像；
将所述第一样本图像输入预设的第一初始神经网络，得到第一样本特征及第一预测图像；所述第一预测图像的模态与所述第二样本图像的模态相同；
将所述第一预测图像和所述第二样本图像输入预设的第一初始判别网络，得到所述第一预测图像的第一判别结果；根据所述第一判别结果与所述第二样本图像的真伪属性，对所述第一初始判别网络进行训练，得到第一判别网络；所述第一判别结果用于指示所述第一预测图像的真伪属性；
将所述第二样本图像输入预设的第二初始神经网络，得到第二样本特征及第二预测图像；所述第二预测图像的模态与所述第一样本图像的模态相同；
将所述第二预测图像和所述第一样本图像输入预设的第二初始判别网络，得到所述第二预测图像的第二判别结果；根据所述第二判别结果与所述第一样本图像的真伪属性，对所述第二初始判别网络进行训练，得到第二判别网络；所述第二判别结果用于指示所述第二预测图像的真伪属性；
根据所述第一样本图像、所述第二样本图像、所述第一预测图像、所述第二预测图像、所述第一样本特征、所述第二样本特征、所述第一判别结果与所述第二判别结果，分别对所述第一初始神经网络、所述第二初始神经网络进行训练，得到所述第一特征提取模型、所述第二特征提取模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一样本图像、所述第二样本图像、所述第一预测图像、所述第二预测图像、所述第一样本特征、所述第二样本特征、所述第一判别结果与所述第二判别结果，分别对所述第一初始神经网络、所述第二初始神经网络进行训练，得到所述第一特征提取模型、所述第二特征提取模型，包括：
根据所述第一判别结果，得到第一损失函数的值；
根据所述第二判别结果，得到第二损失函数的值；
将所述第二预测图像输入所述第一初始神经网络，得到第三样本特征及第三预测图像；所述第三预测图像的模态与所述第二样本图像的模态相同；
将所述第一预测图像输入所述第二初始神经网络，得到第四样本特征及第四预测图像；所述第四预测图像的模态与所述第一样本图像的模态相同；
根据所述第二样本图像与所述第三预测图像、所述第一样本图像与所述第四预测图像，获取第三损失函数的值；
根据所述第一样本特征与所述第四样本特征、所述第二样本特征与所述第三样本特征，获取第四损失函数的值；
根据所述第一损失函数的值、所述第三损失函数的值以及所述第四损失函数的值，对所述初始第一神经网络进行训练，得到所述第一特征提取模型；
根据所述第二损失函数的值、所述第三损失函数的值以及所述第四损失函数的值，对所述初始第二神经网络进行训练，得到所述第二特征提取模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第二样本图像与所述第三预测图像、所述第一样本图像与所述第四预测图像，获取第三损失函数的值，包括：
根据所述第二样本图像与所述第三预测图像间的损失，得到第五损失函数的值；
根据所述第一样本图像与所述第四预测图像间的损失，得到第六损失函数的值；
将所述第五损失函数的值与所述第六损失函数的值之和，确定为所述第三损失函数的值。
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一样本特征与所述第四样本特征、所述第二样本特征与所述第三样本特征，获取第四损失函数的值，包括：
根据所述第一样本特征与所述第四样本特征间的损失，得到第七损失函数的值；
根据所述第二样本特征与所述第三样本特征间的损失，得到第八损失函数的值；
将所述第七损失函数的值与所述第八损失函数的值之和，确定为所述第四损失函数的值。
7.根据权利要求1所述的方法，其特征在于，所述预设的变形场预测模型的训练过程包括：
获取第一样本图像的特征和第二样本图像的特征；所述第一样本图像的特征和所述第二样本图像的特征为同一特征空间的特征；
将所述第一样本图像的特征和所述第二样本图像的特征输入预设的初始变形场预测模型，得到将所述第一样本图像配准到所述第二样本图像的样本变形场；
根据所述样本变形场和所述第二样本图像的特征，对所述预设的初始变形场预测模型进行训练，得到所述预设的变形场预测模型。
8.一种图像配准装置，其特征在于，所述装置包括：
第一获取模块，用于获取待配准图像和参考图像；所述待配准图像和所述参考图像为不同模态的图像；
特征提取模块，用于将所述待配准图像和所述参考图像分别输入预设的特征提取模型，得到所述待配准图像的特征和所述参考图像的特征；所述待配准图像的特征和所述参考图像的特征为同一特征空间中的特征；
第二获取模块，用于将所述待配准图像的特征和所述浮动图像的特征输入预设的变形场预测模型，得到将所述待配准图像配准到所述参考图像的变形场；
配准模块，用于根据所述变形场，对所述待配准图像进行图像配准。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911424759.1A CN111210465B (zh) | 2019-12-31 | 2019-12-31 | 图像配准方法、装置、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911424759.1A CN111210465B (zh) | 2019-12-31 | 2019-12-31 | 图像配准方法、装置、计算机设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111210465A true CN111210465A (zh) | 2020-05-29 |
| CN111210465B CN111210465B (zh) | 2024-03-22 |
Family
ID=70788304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911424759.1A Active CN111210465B (zh) | 2019-12-31 | 2019-12-31 | 图像配准方法、装置、计算机设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111210465B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102385A (zh) * | 2020-08-20 | 2020-12-18 | 复旦大学 | 一种基于深度学习的多模态肝脏磁共振影像配准*** |
| CN112419376A (zh) * | 2020-11-20 | 2021-02-26 | 上海联影智能医疗科技有限公司 | 图像配准方法、电子设备及存储介质 |
| CN113538533A (zh) * | 2021-06-22 | 2021-10-22 | 南方医科大学 | 一种脊柱配准方法、装置、设备及计算机存储介质 |
| CN113870327A (zh) * | 2021-09-18 | 2021-12-31 | 大连理工大学 | 基于预测多层次变形场的医学图像配准方法 |
| US20230260141A1 (en) * | 2022-02-16 | 2023-08-17 | Siemens Medical Solutions Usa, Inc. | Deep learning for registering anatomical to functional images |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080267483A1 (en) * | 2007-04-30 | 2008-10-30 | Siemens Medical Solutions Usa, Inc. | Registration of Medical Images Using Learned-Based Matching Functions |
| CN109598745A (zh) * | 2018-12-25 | 2019-04-09 | 上海联影智能医疗科技有限公司 | 图像配准方法、装置和计算机设备 |
| CN109767461A (zh) * | 2018-12-28 | 2019-05-17 | 上海联影智能医疗科技有限公司 | 医学影像配准方法、装置、计算机设备和存储介质 |
| CN109767460A (zh) * | 2018-12-27 | 2019-05-17 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110021037A (zh) * | 2019-04-17 | 2019-07-16 | 南昌航空大学 | 一种基于生成对抗网络的图像非刚性配准方法及*** |
| CN110599526A (zh) * | 2019-08-06 | 2019-12-20 | 上海联影智能医疗科技有限公司 | 图像配准方法、计算机设备和存储介质 |
-
2019
- 2019-12-31 CN CN201911424759.1A patent/CN111210465B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080267483A1 (en) * | 2007-04-30 | 2008-10-30 | Siemens Medical Solutions Usa, Inc. | Registration of Medical Images Using Learned-Based Matching Functions |
| CN109598745A (zh) * | 2018-12-25 | 2019-04-09 | 上海联影智能医疗科技有限公司 | 图像配准方法、装置和计算机设备 |
| CN109767460A (zh) * | 2018-12-27 | 2019-05-17 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109767461A (zh) * | 2018-12-28 | 2019-05-17 | 上海联影智能医疗科技有限公司 | 医学影像配准方法、装置、计算机设备和存储介质 |
| CN110021037A (zh) * | 2019-04-17 | 2019-07-16 | 南昌航空大学 | 一种基于生成对抗网络的图像非刚性配准方法及*** |
| CN110599526A (zh) * | 2019-08-06 | 2019-12-20 | 上海联影智能医疗科技有限公司 | 图像配准方法、计算机设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| KEYVAN KASIRI ET AL.: "Self-similarity measure for multi-modal image registration", pages 4498 - 4502 * |
| 刘薇: "医学图像配准的关键技术研究", no. 01, pages 138 - 102 * |
| 张杰等: ""虚拟中国人男性一号"多模态图像配准", no. 05, pages 329 - 332 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102385A (zh) * | 2020-08-20 | 2020-12-18 | 复旦大学 | 一种基于深度学习的多模态肝脏磁共振影像配准*** |
| CN112419376A (zh) * | 2020-11-20 | 2021-02-26 | 上海联影智能医疗科技有限公司 | 图像配准方法、电子设备及存储介质 |
| CN112419376B (zh) * | 2020-11-20 | 2024-02-27 | 上海联影智能医疗科技有限公司 | 图像配准方法、电子设备及存储介质 |
| CN113538533A (zh) * | 2021-06-22 | 2021-10-22 | 南方医科大学 | 一种脊柱配准方法、装置、设备及计算机存储介质 |
| CN113870327A (zh) * | 2021-09-18 | 2021-12-31 | 大连理工大学 | 基于预测多层次变形场的医学图像配准方法 |
| CN113870327B (zh) * | 2021-09-18 | 2024-05-21 | 大连理工大学 | 基于预测多层次变形场的医学图像配准方法 |
| US20230260141A1 (en) * | 2022-02-16 | 2023-08-17 | Siemens Medical Solutions Usa, Inc. | Deep learning for registering anatomical to functional images |
| EP4231234A1 (en) * | 2022-02-16 | 2023-08-23 | Siemens Medical Solutions USA, Inc. | Deep learning for registering anatomical to functional images |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111210465B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111210465B (zh) | 图像配准方法、装置、计算机设备和可读存储介质 | |
| US10810735B2 (en) | Method and apparatus for analyzing medical image | |
| US10210613B2 (en) | Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training | |
| CN109598745B (zh) | 图像配准方法、装置和计算机设备 | |
| CN109754447B (zh) | 图像生成方法、装置、设备和存储介质 | |
| CN111429421B (zh) | 模型生成方法、医学图像分割方法、装置、设备及介质 | |
| CN110599526B (zh) | 图像配准方法、计算机设备和存储介质 | |
| CN111161269B (zh) | 图像分割方法、计算机设备和可读存储介质 | |
| CN112801875B (zh) | 超分辨率重建方法、装置、计算机设备和存储介质 | |
| WO2022032824A1 (zh) | 图像分割方法、装置、设备及存储介质 | |
| WO2022057309A1 (zh) | 肺部特征识别方法、装置、计算机设备及存储介质 | |
| CN112102235B (zh) | 人体部位识别方法、计算机设备和存储介质 | |
| CN110827369B (zh) | 欠采样模型生成方法、图像重建方法、设备和存储介质 | |
| CN115272250B (zh) | 确定病灶位置方法、装置、计算机设备和存储介质 | |
| CN111583184A (zh) | 图像分析方法、网络、计算机设备和存储介质 | |
| CN112530550A (zh) | 影像报告生成方法、装置、计算机设备和存储介质 | |
| CN111223158B (zh) | 心脏冠脉图像的伪影校正方法和可读存储介质 | |
| CN110490841B (zh) | 计算机辅助影像分析方法、计算机设备和存储介质 | |
| CN109961435B (zh) | 脑图像获取方法、装置、设备及存储介质 | |
| CN111027469B (zh) | 人体部位识别方法、计算机设备和可读存储介质 | |
| EP3044756A1 (en) | Method and apparatus for generating image alignment data | |
| CN111209946B (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
| CN111582449A (zh) | 一种目标域检测网络的训练方法、装置、设备及存储介质 | |
| US20230099906A1 (en) | Image registration method, computer device, and storage medium | |
| CN116630239A (zh) | 影像分析方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |