CN115908512A - 医学图像的可变形配准 - Google Patents

医学图像的可变形配准 Download PDF

Info

Publication number
CN115908512A
CN115908512A CN202210920454.5A CN202210920454A CN115908512A CN 115908512 A CN115908512 A CN 115908512A CN 202210920454 A CN202210920454 A CN 202210920454A CN 115908512 A CN115908512 A CN 115908512A
Authority
CN
China
Prior art keywords
image
aligned
liver
registration
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210920454.5A
Other languages
English (en)
Inventor
G·J·J·帕尔马
G·帕迪亚塞克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN115908512A publication Critical patent/CN115908512A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及医学图像的可变形配准。执行图像配准的***和计算机实现的方法。一种方法包括接收在不同时间从患者获取的第一图像和第二图像，并且在第一图像和第二图像中的每一个中，检测成像对象在图像坐标系中的上边界和检测成像对象在图像坐标系中的下边界。该方法还包括基于第一图像和第二图像中的每一个的上边界和下边界，裁剪和填充第一图像和第二图像中的至少一个以创建对准的第一图像和对准的第二图像，并且对对准的第一图像和对准的第二图像执行配准模型以计算对准的第一图像和对准的第二图像之间的变形场。

Description

医学图像的可变形配准
技术领域
本文描述的实施例涉及用于执行医学图像的可变形配准(deformableregistration)的***和方法，医学图像例如是肝脏三维(3D)计算机断层扫描(CT)图像。
发明内容
图像配准通常是指将不同的图像变换到公共坐标系中，这允许更容易且更准确地分析和比较经配准的图像。例如，通常针对从同一患者采集的医学图像执行图像配准，其中，图像是在不同时间采集的。例如，可以执行配准以补偿成像过程或扫描期间的患者定位和移动。图像配准通常用于临床环境中以诊断各种医学状况，例如，以在计算机断层扫描(CT)图像内诊断和跟踪肝脏肿瘤。
在基于表面的肝脏配准中，在不考虑内部肝脏体积的情况下肝脏表面被配准。然而，当CT扫描不包括完整的肝脏体积时，这种过程是有问题的。在这种情况下，可以拉伸部分肝脏图像以拟合另一CT扫描中的完整肝脏的表面。这种拉伸导致部分肝脏的不正确配准。与基于表面的肝脏配准相关联的另一问题是，可能无法最佳地配准位于肝脏中或肝脏表面上的肿瘤，这可能对肿瘤跟踪有影响。
因此，本文描述的实施例提供了用于通过对准共同肝脏区域和区域内的标志同时忽略缺失的肝脏区域来执行图像配准的方法和***。该图像配准可以基于使用诸如CT图像的训练图像的数据集训练的深度学习模型，其中，训练基于除了肝脏表面之外的肝脏标志。一旦训练好，该模型可以检测扫描中遗漏的肝脏区域，并且可以将配准集中在共同的肝脏区域上。
特别地，本文描述的一些实施例提供了一种执行图像配准的计算机实现的方法。该方法包括接收在不同时间从患者采集的第一图像和第二图像，并且在第一图像和第二图像的每一个中，检测成像对象在图像坐标系中的上边界和检测成像对象在图像坐标系中的下边界。该方法还包括基于第一图像和第二图像中的每一个的上边界和下边界，裁剪和填充第一图像和第二图像中的至少一个以创建对准的第一图像和对准的第二图像，并且对对准的第一图像和对准的第二图像执行配准模型以计算对准的第一图像和对准的第二图像之间的变形场。
本文描述的其他实施例提供了一种用于执行图像配准的***。该***包括电子处理器。电子处理器被配置成接收第一图像和第二图像，第一图像和第二图像是在不同时间从患者采集的，并且在第一图像和第二图像中的每一个中，检测成像对象在图像坐标系中的上边界和检测成像对象在图像坐标系中的下边界。电子处理器还被配置为基于第一图像和第二图像中的每一个的上边界和下边界，修剪和填补第一图像和第二图像中的至少一个以创建对准的第一图像和对准的第二图像，并且对对准的第一图像和对准的第二图像执行配准模型以计算对准的第一图像和对准的第二图像之间的变形场。
本文描述的其他实施例提供了存储指令的计算机可读介质，该指令在由电子处理器执行时执行一组功能。该组功能包括接收第一图像和第二图像，第一图像和第二图像是在不同时间从患者采集的，并且在第一图像和第二图像的每一个中，检测成像对象在图像坐标系中的上边界和检测成像对象在图像坐标系中的下边界。该组功能还包括基于第一图像和第二图像中的每一个的上边界和下边界，裁剪和填充第一图像和第二图像中的至少一个以创建对准的第一图像和对准的第二图像，并且对对准的第一图像和对准的第二图像执行配准模型以计算对准的第一图像和对准的第二图像之间的变形场。
通过考虑详细描述和附图，实施例的其它方面将变得清晰。
附图说明
图1示出了执行基于表面的图像配准的示例。
图2和3示出了根据一些实施例的使用共同肝脏区域执行图像配准的示例。
图4示出了根据一些实施例的识别共同肝脏区域的示例。
图5是示出根据一些实施例的训练用于配准图像的模型的方法的流程图。
图6是示出根据一些实施例的推断图像的方法的流程图。
图7示出了根据一些实施例的用于执行图像配准的***的框图。
具体实施方式
在详细说明任何实施例之前，应当理解，实施例在其应用方面不限于在以下描述中阐述或在以下附图中示出的部件的构造和布置的细节。其它实施例能够以各种方式实践或执行。
而且，应当理解，本文所使用的措辞和术语是为了描述的目的，而不应当被认为是限制。“包括(including)”、“包含(comprising)”或“具有(having)”及其变型在本文中的使用意味着包括其后列出的项目及其等同物以及附加项目。术语“挂载(mounted)”、“连接(connected)”和“耦合(coupled)”被广泛地使用，并且包括直接和间接的挂载、连接和耦合。此外，“连接”和“耦合”不限于物理或机械连接或耦合，并且可以包括电连接或耦合，无论是直接的还是间接的。而且，可以使用包括直接连接、无线连接等的任何已知手段来执行电子通信和通知。
多个基于硬件和软件的设备以及多个不同的结构组件可被用来实现这些实施例。另外，实施例可以包括硬件、软件和电子部件或模块，为了讨论的目的，可以将其图示和描述为好像大多数部件仅以硬件实现。然而，本领域的普通技术人员基于对该详细说明的阅读将认识到，在至少一个实施例中，实施例的基于电子的方面可以在可由一个或多个处理器执行的软件(例如，存储在计算机可读介质上)中实现。因此，应当注意，可以利用多个基于硬件和软件的设备以及多个不同的结构组件来实现这些实施例。例如，如在说明书中描述的“计算设备”和“服务器”可以包括一个或多个电子处理器、包括计算机可读介质的一个或多个存储器模块、一个或多个输入/输出接口以及连接组件的各种连接(例如，***总线)。
如上所述，基于表面的图像配准可能导致失真，并且使得难以准确跟踪肿瘤。例如，图1示出了患者肝脏的两次计算机断层扫描(CT)扫描(扫描A和扫描B)。扫描A捕获了包括第一病变102和第二病变104的整个肝脏体积100。相比之下，扫描B捕获不完整的肝区106，其仅包括第一病变102。如图1所示，使用基于表面的肝脏配准，扫描B的内部区域被强制跟随扫描A的内部区域，而不管这些区域内存在的病变(或其他标志)。具体地，来自扫描B的不完整肝体积106被拉伸以适合来自扫描A的完整肝体积100，这使配准的扫描B中的第一病变102变形，并且因此产生患者的肝脏内病变的不精确图像。包括Dice系数的以下损失函数捕获扫描A和配准的扫描B之间的损失或误差，其中D是变形场，A是扫描A中的肝脏的体积，并且B是扫描B中的肝脏的体积。
Figure BDA0003777341360000031
因此，为了解决图像配准的这些和其他问题，本文的实施例提供了用于执行医学图像的可变形配准的***和方法，其补偿患者定位和移动，同时考虑内部器官体积以产生准确跟踪病变(诸如肝脏病变)的最佳配准的器官。
例如，图2和3示出了根据一些实施例的使用共同肝脏区域执行图像配准的示例。如图2和3所示，使用与图1中所使用的相同的CT扫描，使用扫描B和扫描A之间的共同肝脏体积(即，分别在扫描A和扫描B中的区域108和110)以及该共同肝脏体积108和110内的匹配病变102产生配准的扫描B。具体地，如图3所示，为了识别共同的体积或区域108和110，在扫描A中识别肝脏体积100的上边界112和下边界114，以及在扫描B中识别肝脏体积106的上边界116和下边界118，这些边界可以用于对准两个图像中的肝脏体积，并识别两次扫描(例如，在扫描B中)之间缺失的肝脏部分120，并因此识别共同区域108和110。如图3所示，肝脏体积106可延伸超过CT扫描的边界，如缺失的肝脏部分120所表示的。在这种情况下，缺失的肝脏部分120是从Scan B的肝脏的物理上边界和下边界估计(例如，上边界116和下边界118)导出的。
因此，与图1中所示的配准的扫描B(使用表面拉伸产生)相比，通过识别在扫描B中缺少的肝脏体积并使用肝脏标志执行配准，图2和3中所示的配准的扫描B提供了病变102的更精确表示。换言之，使用本文描述的图像配准过程，识别肝脏标志并检测缺失的肝脏区域，使得配准聚焦于在扫描A和扫描B中找到的共同肝脏区域以及这些区域内的匹配标志。如下面更详细描述的，肝脏标志可以包括肝脏的外表面、病变的外表面、所拍摄的肝脏体积的边界或范围、或与肝脏、病变或两者相关联的其它可识别标志。
下面的损失函数可以与图2和3中所示的图像配准一起使用，其中D是变形场，Ac和Bc分别是共同的肝脏体积A和共同的肝脏体积B(即区域108和110)，并且Li A和Li B分别是共同的肝脏体积A中的第i个病变和共同的肝脏体积B中的第i个病变。因此，该损失函数集中在扫描之间的共同体积以及这些共同体积内的病变。特别地，以下损失函数包括共同的肝脏Dice系数以及共同的病变Dice系数。
Figure BDA0003777341360000041
在一些实施例中，损失项
Figure BDA0003777341360000042
可以用本领域已知的替代损失项代替。类似地，在一些实施例中，可以用类似地分别识别肝脏和病变的共同域的替代度量来替换共同肝脏Dice系数、共同病变Dice系数或这两者。例如，替代度量可以包括重叠度量或基于距离的度量。然而，这些替代度量可以类似地使用共同的域(在损失函数的第一和第二项中)。
在一些实施例中，主成分分析(PCA)可以用于确保在用于产生配准扫描的两个扫描中患者的肝脏被定向在相同的方向上。
图4提供了识别两次扫描之间的共同区域的进一步细节。如图4所示，在步骤1中，获取肝脏扫描(即，扫描400和扫描405)。在此示例中，扫描400是对患者肝脏的全面扫描，而扫描405是对患者肝脏的部分扫描。在步骤2中，执行肝脏检测以识别患者肝脏在扫描400和405的坐标系中的边界，例如具有上边界和下边界的边界框。在一些实施例中，使用被配置为识别器官或身体部位(例如肝脏)的深度学习模型来识别边界。这些模型在本领域中是众所周知的，因此在此不再详细描述。如步骤2所示，在扫描400的图像坐标系中的扫描400中扫描的患者肝脏的边界被检测并标识为ABox＝{Amin,Amax}。类似地，在扫描405的图像坐标系中的扫描405中扫描的患者肝脏的边界被检测并标识为BBox＝{Bmin,Bmax}。在此示例中，两次扫描中的肝脏边界(Amin,Bmin,Amax,Bmax)在扫描400和405中均使用虚线表示。
在步骤3中，基于肝脏边界的位置，例如通过以下等式，确定在两次扫描中患者肝脏之间的偏移：
Offset(A,B)＝Min(B)-Min(A)
应当理解，该偏移可以在下边界或上边界(例如，基于最小值之间的差或最大值之间的差)上计算。此外，为了处理边界估计之间的小差异，可以使用两个偏移版本的组合(例如，平均值)。
在所提供的示例中，肝脏在扫描405处于比肝脏在扫描400中的位置更低的位置，如在肝脏在扫描400和扫描405的顶部处的两条虚线之间的朝下的箭头所示。
在步骤4中，扫描400和扫描405中的患者的肝脏都被对准。在一些实施例中，这种对准可以使用以下等式来执行：
B.min＝B.min-Offset(A,B)
B.max＝B.max-Offset(A,B)
在扫描400和扫描405中的患者肝脏被对准之后，在步骤5中确定两次扫描之间的共同的区域410和415，可以使用以下等式确定每次扫描中的共同的区域(CR)410和415：
CR.max＝Min(A.max,B.max)
CR.min＝Max(A.min,B.min)
在步骤6中，患者的肝脏被裁剪和填充。例如，扫描400和405两者被裁剪以移除对准的边界框之外的区域，并且扫描之一(即，扫描400)中的非共同的区域被用于填补另一扫描(即，扫描405)，使得扫描具有相等的大小或尺寸。共同的区域410和415用于上述的损失函数，以遮蔽在配准中使用的肝脏区域。应当理解，上述共同区域识别过程可以对在任一扫描的顶部或底部切割的部分肝脏扫描执行。
图4中所示的示例扫描400和405中的坐标与所计算的偏移相当。如果用于表示边界的坐标系是单位长度(例如毫米)，或者如果两次扫描之间的间隔相同，则这是正确的。在单位长度的情况下，执行附加步骤以转换(例如，除以切片间隔)扫描400和405两者中的边界。在间隔的情况下，坐标可以按原样使用(即，不需要转换步骤)。或者，在一些实施例中，通过对输入检查进行重采样，间隔可以被强制为相同。
上述共同的区域识别过程可以用作执行图像配准以及训练模型(例如，采用深度学习算法)以执行图像配准的一部分。例如，为了训练模型以在对准的、共同的肝脏区域上执行图像配准，必须使用这样的图像来训练模型。图5是示出根据一个实施例的训练模型的方法500的流程图，该模型例如是神经网络，用于如本文所述地配准CT扫描。方法500是关于两个图像扫描来描述的，但是应当理解，训练过程可以针对多个图像扫描集合来执行以形成模型的训练数据集。
如图5所示，方法500包括在两个CT扫描或图像(例如，CT扫描505和CT扫描510)的每一个中检测肝脏(在515)。在该示例中，扫描505可被称为固定扫描，而扫描510可被称为移动扫描，其中扫描510(表示具有潜在患者移动的图像)将被配准到扫描505。扫描505和扫描510在不同的时间帧从患者获取。如上所述，可以使用已知的肝脏检测模型或算法来执行肝脏检测，该肝脏检测模型或算法至少输出在每次扫描中捕获的肝脏的边界框。
在确定肝脏的边界之后(在502)，例如通过使用在图4的步骤4中讨论的等式来对准扫描505和510的肝脏(在520)。在肝脏对准的情况下，例如通过使用在图4的步骤5中讨论的等式，在扫描505和扫描510的每一个中识别共同的肝脏区域525和共同的肝脏区域530。
从共同的肝脏区域525和530，在这些区域内选择一组共同的病变(在535)，其中该组中每个选择的病变存在于共同的肝脏区域525和共同的肝脏区域530中。换句话说，为共同的肝脏区域525确定一组共同的肝脏病变540，并为共同的肝脏区域530确定一组共同的肝脏病变545，其中这些集合之一中的每个病变也包括在另一集合中。
如图5所示，共同的肝脏区域525、共同的肝脏区域530、共同的肝脏病变540、以及共同的肝脏病变545被输入到配准模型以配准共同的肝脏区域525和共同的肝脏区域535(在550)。具体而言，配准模型基于共同的肝脏区域525和共同的肝脏区域530生成变形场555。变形场555用于将共同的肝脏区域530配准到共同的肝脏区域525以及所识别的病变(即共同的肝脏病变545到共同的肝脏病变540)。因此，如图5所示，配准模型输出配准的共同的肝脏区域560和配准的共同的肝脏病变565。作为训练过程的一部分，配准模型使用生成的变形场555、配准的共同的肝脏区域560、共同的肝脏区域525、配准的共同的肝脏病变565、以及共同的肝脏病变540来计算配准损失函数(参见，例如，包括共同的肝脏Dice系数和共同的病变Dice系数的上述损失函数)，使用深度学习优化来最小化该配准损失函数，以找到用于配准模型的配准算法参数。
在训练配准模式之后，可以使用模型来配准两个图像或扫描(例如，不需要如在训练过程期间执行的病变选择)。例如，图6是示出了使用根据方法500训练的模型使用共同的肝脏区域执行图像配准的方法600的流程图。
如图6所示，方法600包括在两个CT扫描或图像(例如，CT扫描605和CT扫描610)的每一个中检测肝脏(在615)。在此实例中，扫描605可被称为固定扫描并且扫描610可被称为移动扫描，其中扫描610(表示具有潜在患者移动的图像)将被配准到扫描605。扫描605和扫描610在不同的时间帧从患者获取。如上所述，可以使用已知的肝脏检测模型或算法来执行肝脏检测，该肝脏检测模型或算法至少输出在每次扫描中捕获的肝脏的边界框。如上所述，在一些实施例中，边界框可以识别估计的物理肝脏边界。
在确定肝脏的边界之后(在615)，例如通过使用图4的步骤4中讨论的等式对准扫描605和610的肝脏(在620)，在肝脏对准的情况下，例如通过使用图4的步骤5中讨论的方程在扫描605和扫描610的每一个中识别共同的肝脏区域625和共同的肝脏区域630。
如图6所示，共同的肝脏区域625和共同的肝脏区域630输入到配准模型(如上所述训练的)以生成配准的共同的肝脏645(即，配准扫描610至扫描605)。
如上所述，与其它图像配准技术相比，通过聚焦于共同的肝脏区域并匹配该共同的肝脏区域内的病变或其它标志，配准的共同的肝脏645更准确地反映患者肝脏和病变的大小、形状和体积。
应当理解，此处所描述的功能可以经由诸如一个或多个服务器等一个或多个计算设备来执行。例如，图7示出了用于训练配准模型(例如神经网络)以执行本文所述的图像配准的***700。该相同的***700也可以用于使用训练的模型来执行图像配准。然而，在其他实施例中，训练的配准模型可以由与用于训练模型的***不同的***应用或使用。
如图7所示，***700包括服务器705和图像储存库715。服务器705和图像储存库715通过一个或多个有线或无线通信网络720进行通信。通信网络720的部分可使用诸如因特网等的广域网、诸如BluetoothTM网络或Wi-Fi等的局域网、及其组合或衍生物来实现。应当理解，***700可以包括更多或更少的服务器，并且图7中所示的单个服务器705纯粹是出于说明性目的。例如，在一些实施例中，本文描述的功能经由分布式或云计算环境中的多个服务器来执行。此外，在一些实施例中，服务器705可以与多个图像储存库通信。此外，在一些实施例中，图像储存库可以与图像储存库715组合。此外，在一些实施例中，***700中示出的组件可以通过一个或多个中间设备(未示出)进行通信。
在一些实施例中，图像储存库715存储医学图像，例如CT图像扫描。例如，图像储存库715可以是例如图片存档与通信***(PACS)、云存储环境等。
如图7所示，服务器705包括电子处理器750、存储器755和通信接口760。电子处理器750、存储器755和通信接口760无线地、通过有线通信信道或总线、或其组合进行通信。服务器705可以包括各种配置中的除了图7中所示的那些组件之外的附加组件。例如，在一些实施例中，服务器705包括多个电子处理器、多个存储器模块、多个通信接口或其组合。此外，应当理解，这里描述的由服务器705执行的功能可以由位于各个地理位置的多个计算机以分布式的方式执行。例如，本文中描述为由服务器705执行的功能可以由包括在云计算环境中的多个计算机执行。
电子处理器750可以是(例如)微处理器、专用集成电路(ASIC)等。电子处理器750通常配置成执行软件指令以执行一组功能，包括本文所述的功能。存储器755包括计算机可读介质并且存储数据，包括可由电子处理器750执行的指令。通信接口760可以是例如有线或无线收发器或端口，用于通过通信网络720以及可选地通过一个或多个附加通信网络或连接进行通信。
如图7所示，服务器705的存储器455存储配准模型765，并且可以包括神经网络。同样如图7所示，存储器455还存储训练集770，如上所述，其可以包括用于训练配准模型765的多个CT扫描(例如，从图像储存库715中检索)。尽管图7中未示出，但是存储器755还存储可由电子处理器750执行以使用训练集770来训练配准模型765的指令。存储器755可以存储附加指令，诸如用于测试配准模型765、应用配准模型765(如所训练的)以执行两个或更多个扫描之间的图像配准或者其组合的指令。
本文描述的实施例提供了用于通过聚焦于两次扫描之间的共同区域以及每个共同区域中的标志(例如，病变)来执行图像配准的方法和***。因此，与基于表面的图像配准相比，本文描述的实施例更好地保持了患者肝脏的形状并且重建了肝脏内的一个或多个病变的位置。该方法和***可以包括使用损失函数训练的配准模型，该损失函数集中于扫描的共同的区域(例如，使用上下边界估计计算的)以及在这些区域内可见的病变，其中，在使用深度学习优化的这种训练期间，使损失函数(包括共同的肝脏Dice系数和共同的病变Dice系数)最小化。
应当理解，尽管上面使用CT肝脏扫描描述了所述方法和***，但是这里描述的方法和***可以应用于其他类型的图像和其他标记的器官结构。例如，本文描述的方法和***可以应用于2D/3D图像、磁共振图像(MRI)、正电子发射断层扫描(PET扫描)、数字***断层合成扫描(DBT扫描)等，并且可以用于各种标记的器官结构，例如血管、血管树节点、导管等。此外，本文描述的方法和***可以应用于任何数量的扫描。另外，与需要先验信息来确定配准区域的其他***不同，例如，病变尺寸或位置，本文描述的实施例自动确定配准区域。因此，本文描述的实施例可以用于配准图像，而不管先前扫描、报告或注释的存在。因此，本文描述的实施例可应用于初始以及连续扫描。关于本申请，术语“病变”和“肿瘤”可互换使用。另外，术语“扫描”和“图像”可互换使用。
在以下权利要求中阐述实施例的各个特征和优点。

Claims (20)

1.一种执行图像配准的计算机实现的方法，所述方法包括：
接收第一图像和第二图像，所述第一图像和所述第二图像是在不同时间从患者获取的；
在所述第一图像和所述第二图像中的每一个中：
检测成像对象在图像坐标系中的上边界，以及
检测所述成像对象在所述图像坐标系中的下边界；
基于所述第一图像和所述第二图像中的每一个的所述上边界和所述下边界，裁剪和填充所述第一图像和所述第二图像中的至少一个以产生对准的第一图像和对准的第二图像；以及
对所述对准的第一图像和所述对准的第二图像执行配准模型，以计算所述对准的第一图像与所述对准的第二图像之间的变形场。
2.根据权利要求1所述的方法，其中，接收所述第一图像和所述第二图像包括接收所述患者的肝脏的第一三维图像和所述患者的所述肝脏的第二三维图像。
3.根据权利要求2所述的方法，其中，所述第一三维图像是计算机断层扫描图像，并且所述第二三维图像是计算机断层扫描图像。
4.根据权利要求2所述的方法，其中，所述第一三维图像是磁共振图像，并且所述第二三维图像是磁共振图像。
5.根据权利要求1所述的方法，其中检测所述第一图像和所述第二图像中的每一个中的所述成像对象的上边界包括使用深度学习模型检测所述第一图像和所述第二图像中的每一个中的上边界。
6.根据权利要求1所述的方法，其中检测所述第一图像和所述第二图像中的每一个中的所述成像对象的下边界包括使用深度学习模型检测所述第一图像和所述第二图像中的每一个中的下边界。
7.根据权利要求1所述的方法，其中，执行所述配准模型包括执行使用损失函数训练的深度学习模型，所述损失函数包括聚焦于所述对准的第一图像和所述对准的第二图像内的所述成像对象的共同的部分的项。
8.根据权利要求7所述的方法，其中，所述损失函数包括聚焦在所述对准的第一图像和所述对准的第二图像两者中可见的一个或多个病变上的项。
9.一种用于执行图像配准的***，所述***包括：
电子处理器，其被配置为：
接收第一图像和第二图像，所述第一图像和所述第二图像是在不同时间从患者获取的，
在所述第一图像和所述第二图像中的每一个中：
检测成像对象在图像坐标系中的上边界，以及
检测所述成像对象在所述图像坐标系中的下边界，
基于所述第一图像和所述第二图像中的每一个的上边界和下边界，裁剪和填充第一图像和第二图像中的至少一个以产生对准的第一图像和对准的第二图像，以及
对所述对准的第一图像和所述对准的第二图像执行配准模型以计算所述对准的第一图像与所述对准的第二图像之间的变形场。
10.根据权利要求9所述的***，其中，所述第一图像是所述患者的肝脏的第一三维图像，并且所述第二图像是所述患者的所述肝脏的第二三维图像。
11.根据权利要求10所述的***，其中，所述第一三维图像是计算机断层扫描图像，并且所述第二三维图像是计算机断层扫描图像。
12.根据权利要求9所述的***，其中所述电子处理器被配置成经由深度学习模型检测所述成像对象在所述第一图像和所述第二图像中的每一个中的上边界和下边界。
13.根据权利要求9所述的***，其中，所述电子处理器被配置成通过执行使用损失函数训练的深度学习模型来执行所述配准模型，所述损失函数包括聚焦于所述对准的第一图像和所述对准的第二图像内的所述成像对象的共同的部分的项。
14.根据权利要求13所述的***，其中，所述损失函数包括聚焦于在所述对准的第一图像和所述对准的第二图像两者中可见的一个或多个病变的项。
15.一种存储指令的计算机可读介质，所述指令在由电子处理器执行时执行一组功能，所述一组功能包括：
接收第一图像和第二图像，所述第一图像和所述第二图像是在不同时间从患者获取的；
在所述第一图像和所述第二图像中的每一个中：
检测成像对象在图像坐标系中的上边界，以及
检测所述成像对象在所述图像坐标系中的下边界；
基于所述第一图像和所述第二图像中的每一个的上边界和下边界，裁剪和填充所述第一图像和所述第二图像中的至少一个以产生对准的第一图像和对准的第二图像；以及
对所述对准的第一图像和所述对准的第二图像执行配准模型以计算所述对准的第一图像与所述对准的第二图像之间的变形场。
16.根据权利要求15所述的计算机可读介质，其中，接收所述第一图像和所述第二图像包括接收所述患者的肝脏的第一三维图像和所述患者的肝脏的第二三维图像。
17.根据权利要求16所述的计算机可读介质，其中，所述第一三维图像是从由计算机断层扫描图像和磁共振图像组成的组中选择的一个，并且所述第二三维图像是从由计算机断层扫描图像和磁共振图像组成的组中选择的一个。
18.根据权利要求15所述的计算机可读介质，其中检测所述成像对象在所述第一图像和所述第二图像中的每一个中的上边界和下边界包括使用深度学习模型检测所述第一图像和所述第二图像中的每一个中的上边界和下边界。
19.根据权利要求15所述的计算机可读介质，其中，执行所述配准模型包括执行使用损失函数训练的深度学习模型，所述损失函数包括聚焦于所述对准的第一图像和所述对准的第二图像内的所述成像对象的共同的部分的项。
20.根据权利要求19所述的计算机可读介质，其中，所述损失函数包括聚焦于在所述对准的第一图像和所述对准的第二图像两者中可见的一个或多个病变的项。
CN202210920454.5A 2021-08-13 2022-08-02 医学图像的可变形配准 Pending CN115908512A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/402,247 US12033336B2 (en) 2021-08-13 2021-08-13 Deformable registration of medical images
US17/402247 2021-08-13

Publications (1)

Publication Number Publication Date
CN115908512A true CN115908512A (zh) 2023-04-04

Family

ID=85176892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210920454.5A Pending CN115908512A (zh) 2021-08-13 2022-08-02 医学图像的可变形配准

Country Status (3)

Country Link
US (1) US12033336B2 (zh)
JP (1) JP2023026400A (zh)
CN (1) CN115908512A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230181165A1 (en) * 2021-12-15 2023-06-15 GE Precision Healthcare LLC System and methods for image fusion

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070167784A1 (en) * 2005-12-13 2007-07-19 Raj Shekhar Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
US8121362B2 (en) * 2007-04-30 2012-02-21 Siemens Medical Solutions Usa, Inc. Registration of medical images using learned-based matching functions
US10593051B2 (en) 2017-12-20 2020-03-17 International Business Machines Corporation Medical image registration guided by target lesion
CN109754414A (zh) * 2018-12-27 2019-05-14 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
JP2023026400A (ja) 2023-02-24
US20230052401A1 (en) 2023-02-16
US12033336B2 (en) 2024-07-09

Similar Documents

Publication Publication Date Title
Prevost et al. 3D freehand ultrasound without external tracking using deep learning
US7916918B2 (en) Diagnostic system for multimodality mammography
CN107886508B (zh) 差分减影方法和医学图像处理方法及***
JP4917733B2 (ja) 尤度最大化を利用した画像位置合わせシステム及び方法
KR101267759B1 (ko) 화상 처리 장치, 화상 처리 방법 및 저장 매체
US9035941B2 (en) Image processing apparatus and image processing method
US8406491B2 (en) Image registration method for medical image sequences
US10542955B2 (en) Method and apparatus for medical image registration
US10318839B2 (en) Method for automatic detection of anatomical landmarks in volumetric data
US8805045B2 (en) Interaction method for regions of-interest in time series images
US20060110071A1 (en) Method and system of entropy-based image registration
JP2006512960A (ja) 画像位置合わせ方法及び医用画像データ処理装置
Patias Medical imaging challenges photogrammetry
JP2009072433A (ja) サイズ計測装置、画像表示装置、サイズ計測プログラム、および画像表示プログラム
CN115908512A (zh) 医学图像的可变形配准
Weon et al. Position tracking of moving liver lesion based on real‐time registration between 2D ultrasound and 3D preoperative images
CN111462018B (zh) 图像中的影像摆正方法、计算机设备和存储介质
Wright et al. Complete fetal head compounding from multi-view 3D ultrasound
KR101154355B1 (ko) 좌심실 자동 분할 방법
US11257219B2 (en) Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data
WO2023032436A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2005270635A (ja) 画像処理方法及び処理装置
KR101993381B1 (ko) 장기 변형모델을 추정하는 방법, 장치 및 의료영상시스템
US11341661B2 (en) Method and apparatus for registering live medical image with anatomical model
Sheehan et al. Measurement of right ventricular volume from biplane contrast ventriculograms: Validation by cast and three‐dimensional echo

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination