CN114930390A - 用于将活体医学图像与解剖模型配准的方法和装置 - Google Patents

Abstract

本文描述了一种将受试者的医学图像与受试者的3D模型配准的方法，其包括通过将受试者上的标记与3D模型上的相应标记对准来全局校准3D模型；和通过将受试者的内部结构的扫描图像与3D模型的相应内部结构对准来局部校准3D模型。本文还描述了一种执行该方法的装置。

Description

用于将活体医学图像与解剖模型配准的方法和装置

背景技术

医学成像涉及用于创建活体例如患者的内部的视觉表征的技术和过程。视觉表征，通常称为“医学图像”，揭示了从活体外部无法观察到的活体的器官、组织或结构的运作或功能。医学从业者，例如医生或兽医，可以将视觉表征作为医学诊断或临床分析的一部分，随后确定是否或如何将医疗干预或治疗应用于活体。

附图说明

当与附图一起阅读时，从以下详细描述中可以最好地理解本公开的各方面。值得注意的是，根据行业的标准作法，各种特征并未按比例绘制。事实上，为了讨论的清晰，可以任意增大或减小各种特征的尺寸：

图1A是根据一些实施例的医学图像配准方法的流程图和示意图；

图1B是根据一些实施例的具有受试者3D模型的受试者医学图像；

图2是根据一些实施例的从3D模型数据库中选择表示该受试者的3D模型的方法的流程图；

图3A是根据一些实施例的通过对准受试者上的标记来全局校准3D模型的方法的流程图；

图3B是根据一些实施例的具有标记的受试者和在3D模型上的对应标记的医学图像；

图4A是根据一些实施例的通过将受试者的内部结构的扫描图像与3D模型的对应内部结构对准来局部校准3D模型的流程图；

图4B是根据一些实施例的受试者的医学图像、扫描图像和标准平面；

图4C是根据一些实施例的通过将受试者的内部结构的扫描图像与3D模型的对应内部结构对准来局部校准3D模型的流程图；

图4D是根据一些实施例的受试者的医学图像和3D模型；

图5是根据一些实施例的将受试者的医学图像与该受试者的3D模型配准的装置的图。

具体实施方式

本公开的详细描述主要根据过程、步骤、逻辑块、处理或直接或间接类似于本公开中设想的装置或***的操作的其他符号表示来呈现。本领域技术人员典型地使用这些描述和陈述来最有效地将其工作的实质传达给本领域的其他技术人员。

在此提及“一个实施例”或“一些实施例”是指结合实施例描述的特定特征、结构或特性可以被包括在本公开的至少一个实施例中。在说明书的各个地方出现的短语“在一个实施例中”并不一定都是指同一实施例，也不是与其他实施例相互排斥的单独的或替代的实施例。此外，过程流程图或图表中的块的顺序或表示本公开的一个或多个实施例的序号的使用并不固有地指示任何特定的顺序，也不暗示对本公开的任何限制。

在一些实施例中，本说明书针对将受试者的医学图像与患者的解剖模型配准的方法和装置。在一些实施例中，该方法和装置在包括超声扫描在内的各种临床医学或诊断应用中实施。

在一些实施例中，受试者是人。在一些实施方案中，受试者是动物。为简单起见，本说明书将参考人类受试者来描述装置的方法。然而，本领域普通技术人员将理解该方法或装置适用于动物受试者或其他受试者。

医学成像的一个主要挑战在于视觉表征的非直观性。这种不直观的性质使得对医学图像的正确解释更加困难。在某些情况下，在从业者能够以令人满意的准确性和细节解释或以其他方式理解医学图像之前，需要进行多年的广泛医学培训。

在一些应用中，医学图像构成患者身体解剖结构的二维(2D)横截面，而不是被检查的实际身体对象的三维(3D)复制品，身体对象是器官、组织或结构。因此，在2D医学图像和身体对象的解剖结构之间建立相关性并非易事。换言之，识别2D医学图像代表3D身体对象的哪个解剖截面，以及在解剖截面中显示了哪些内部结构，并非易事。

因此，找到更直观的方法将2D医学图像与被检查的3D身体对象相关联将有助于准确的医学评估。

将受试者的医学图像与3D模型配准的方法

参考图1A和图1B，在一些实施例中，本说明书指向将受试者的医学图像与该受试者的3D模型配准的方法。

在一些实施例中，该方法包括从3D模型数据库中选择代表受试者的3D模型(步骤100)，通过将受试者上的标记与3D模型上的相应标记对准来校准3D模型(步骤200)；和通过将受试者的内部结构的扫描图像与3D模型的相应内部结构对准来校准3D模型(步骤300)。如本文所用，短语“内部结构”是指未暴露在受试者外表面上的受试者的身体结构。内部结构包括器官、皮下组织等。

在一些实施例中，可以省略步骤100，并且在步骤200或300中使用的受试者的3D模型是一般或通用模型，其同样适用于不同性别、身高、体重、种族、年龄等的各种受试者。根据这些实施例，受试者特定信息的条目不被用于将医学图像与3D模型配准。然而，由于人类个体的外部和内部尺寸的变化，基于受试者特定信息从3D模型数据库中选择3D模型将获得具有更接近受试者的尺寸的3D模型，从而使校准步骤200和300(下面详细描述)更准确和计算量更少。

大量的3D人体模型可用于游戏和动画行业。尽管游戏和动画行业的许多3D人体模型不符合医疗级要求，但有些模型能够满足这些要求。此外，如下详述，可以校准3D模型以更好地表示受试者的外部和内部尺寸。校准后的3D模型可以被存储并且用作第二个受试者的初始未校准3D模型，并且针对第二个受试者进行校准。因此，在一些实施例中，3D模型数据库包括来自游戏或动画行业的3D人体模型。

用于解剖学研究的3D模型通常比游戏和动画行业中可用的3D人体模型具有更好的质量。此外，这些3D模型通常包括人体的内部结构，例如器官。因此，在一些实施例中，3D模型数据库包括用于解剖学研究的3D模型。在一些实施例中，3D模型数据库包括来自可视人计划的3D模型，这些模型是从尸体切片的图片重建的。由于来自可视人计划模型的3D模型是由真人构建的，因此这些3D模型的质量很好，至少是因为高分辨率和真实的解剖特征。

参考图2，在一些实施例中，从3D模型数据库中选择代表受试者的3D模型(步骤100)包括基于受试者的信息来选择3D模型。

在一些实施例中，3D模型数据库包括代表受试者身体的3D模型条目。在一些实施例中，3D模型的条目不仅包括受试者的外部形状，还包括受试者的内部结构。在一些实施例中，3D模型的每个条目都标记有与条目相关的信息，例如外部尺寸或内部结构的尺寸。

在一些实施例中，从3D模型数据库中选择代表受试者的3D模型(步骤100)包括输入受试者的信息(步骤101)。

在一些实施例中，受试者的信息被输入到计算机的存储器中。在一些实施例中，信息包括受试者的人口统计信息，例如受试者的性别、身高、体重、种族、年龄等。在一些实施例中，信息包括受试者的个人信息，例如身体测量值、体脂百分比(BFP)、体重指数(BMI)等。在一些实施例中，包括人口统计信息和个人信息。

如果受试者的人口统计信息或个人信息充分，则可以估计受试者身体的外部尺寸，甚至估计受试者的内部结构例如器官的尺寸。

因此，在一些实施例中，从3D模型数据库中选择代表受试者的3D模型(步骤100)还包括确定输入的信息是否充分(步骤103)。在一些实施例中，该确定是由计算机的处理器做出的。在一些实施例中，处理器为输入的每个项目分配一个值并且计算总值。如果总值大于或等于预定值，则处理器确定在步骤101中输入的信息足以选择3D模型；如果总值小于预定值，则处理器确定在步骤101中输入的信息不充分。

在一些实施例中，当步骤103确定在步骤101中输入的信息不充分时，从3D模型数据库中选择代表受试者的3D模型(步骤100)还包括用3D扫描仪扫描受试者(步骤105)。

在一些实施例中，3D扫描仪包括具有摄像头并且安装有3D扫描应用程序的智能手机，专业的3D扫描仪诸如医疗3D扫描仪，或计算机断层扫描仪(也称为“计算机化轴向断层扫描仪”，“CT扫描仪”或“CAT扫描仪”，以下简称“CT扫描仪”)。智能手机是一种便宜且容易获得的选择，但仅允许粗略估计受试者的外部尺寸。专业的3D扫描仪更昂贵，但允许相当准确地估计受试者的外部尺寸。CT扫描仪通常是最昂贵且最不容易得到的，并且会导致对受试者的辐射，但可以非常准确地估计受试者的外部尺寸和内部器官的尺寸。因此，在选择3D扫描仪时应考虑特定类型扫描仪的成本和收益。在3D扫描步骤105之后，继续从数据库中选择最能代表受试者的模型(步骤107)。

在一些实施例中，当步骤103确定在步骤101中输入的信息充分时，继续从数据库中选择最能代表受试者的模型(步骤107)，而不进行步骤105。

在步骤107中，能够根据在步骤101中输入的受试者的人口统计/个人信息估计受试者的尺寸(包括外部尺寸或内部器官的尺寸)，或者根据来自步骤105的3D扫描的结果来估计受试者的尺寸。在一些实施例中，尺寸的估计由处理器执行。在一些实施例中，估计的尺寸与存储在数据库中的3D模型的尺寸相匹配。在一些实施例中，存储在数据库中的3D模型标记有相关的人口统计/个人信息，并且匹配直接基于人口统计/个人信息；根据这些实施例，受试者尺寸的估计可以省略也可以不省略。在一些实施例中，匹配由处理器执行。在一些实施例中，由处理器从数据库中选择具有与估计尺寸最佳匹配的尺寸的3D模型。

参考图3A和图3B，在一些实施例中，通过将受试者上的标记与3D模型上的相应标记对准来校准3D模型(步骤200)使用基准标记来执行校准。美国申请No.15/610,127中描述了基准标记的使用，该申请的全部内容通过引用并入本文。

在一些实施例中，通过将受试者上的标记与3D模型上的相应标记对准来校准3D模型(步骤200)包括在物理坐标系和虚拟坐标系之间进行校准(步骤201)。参见图3B，如本文所用，术语“物理坐标系”是指表示受试者所在的真实世界空间的坐标系(如图3B中具有轴X、Y和Z的坐标系所表示的)，而术语“虚拟坐标系”是指3D模型所在的虚拟空间的坐标系(如图3B中具有轴X′、Y′和Z′的坐标系所表示的)。

在一些实施例中，在物理坐标系和虚拟坐标系之间进行校准(步骤201)包括将附接到或包括位置传感器的探针移动到对应于虚拟空间中的位置的一个或多个真实世界空间位置，并且通过导航传感器确定位置传感器的真实世界坐标。在一些实施例中，位置传感器和导航传感器是跟踪***的一部分。在一些实施例中，跟踪***是GPS跟踪***、光学跟踪***或电磁跟踪***。在一些实施例中，跟踪***是跟踪X、Y和Z轴上的旋转(θX、θY和θZ)的三自由度(3DOF)跟踪***。在一些实施例中，跟踪***是跟踪X、Y和Z轴上的位置和旋转的6DOF跟踪***。本领域的普通技术人员可以理解，3DOF跟踪***相对便宜但不太准确；6DOF跟踪***更昂贵，但允许跟踪位置传感器和探针的位置和方向。

在一些实施例中，通过将受试者上的标记与3D模型上的相应标记对准来校准3D模型(步骤200)包括选择3D模型上与受试者上的基准标记相对应的标记(步骤203)。

在一些实施例中，通过将受试者上的标记与3D模型上的相应标记对准来全局校准3D模型(步骤200)还包括将探针移动到基准标记以记录探针的位置，从而得出基准标记的真实世界位置(步骤205)。在一些实施例中，记录探针的位置可以使用包括位置传感器或导航传感器的跟踪***以类似于上述的那些方式来执行。

尽管本领域普通技术人员预期在校准中使用的基准标记越多，校准结果将越准确，但本发明人已经发现较大数量的基准标记通常不一定转化为更好的校准结果。因此，在一些实施例中，基准标记的数量范围从1到10，例如2到8，例如2到6，例如3到5。基准标记的数量的选择取决于应进行校准的身体部位。例如，在一些实施例中，当仅针对受试者的腹部执行超声扫描时，仅使用腹部中或附近的基准标记，因为仅在腹部区域中需要精确校准。类似地，在一些实施例中，如果要仅针对受试者的大脑执行超声扫描，则仅使用头部上或头部附近的基准标记。

由于将探针移动到基准标记以记录探针的位置可能需要一些时间，并且在此期间受试者可能无法保持位置，因此在一些实施例中，步骤205包括推导出基准标记在受试者上的相对位置。根据这些实施例，将参考传感器附接到受试者，并且基准标记相对于参考传感器的位置由处理器使用位置传感器、导航传感器和参考传感器的输入推导出。参考传感器在校准受试者的躯干区域时效果很好，因为躯干的外部可以被认为是刚性的。本领域普通技术人员将理解，能够以与本文中局部校准步骤300中描述的类似方式使用参考传感器。

在一些实施例中，全局校准3D模型(步骤200)还包括基于基准标记的真实世界位置和对应标记的虚拟位置之间的相关性计算受试者的外表面和3D模型之间的变换矩阵(步骤207)。在一些实施例中，变换矩阵是刚性变换矩阵或仿射变换矩阵。在一些实施例中，变换矩阵是能够在两个坐标系之间来回变换任何位置的矩阵。在一些实施例中，变换矩阵是能够处理两组标记坐标之间的平移、旋转和缩放的矩阵。在一些实施例中，计算变换矩阵(步骤207)能够使用能够跨所有三个方向计算均匀缩放的算法或能够在不同方向上给出不同比例因子的算法来执行。本发明人已经发现，能够在不同方向上给出不同比例因子的算法能够在一定程度上更好地解决3D模型和受试者之间的大小差异。

在一些实施例中，全局校准3D模型还包括通过将变换矩阵应用于3D模型来全局校准3D模型(步骤209)。

参考图4A、图4B、图4C和图4D，在一些实施例中，将受试者的医学图像与3D模型配准的方法包括通过将受试者的内部结构的扫描图像与3D模型的相应内部结构对准来局部校准3D模型(步骤300)。

本发明人已经发现，虽然全局校准或局部校准有时会产生有用的结果，但全局校准和局部校准两者的结合具有协同效应。以躯干为例，全局校准解决了受试者与3D模型之间躯干的方向、位置和比例差异。躯干内的结构诸如肝脏的相对位置和方向在不同受试者之间仍可能存在显着差异。局部校准解决了躯干内的这种相对差异。换言之，全局校准和局部校准，当两者都执行时，产生的结果远比单独的全局校准或单独的局部校准更令人满意。

尽管全局校准步骤200能够校准3D模型的位置、方向和比例以解决3D模型和受试者之间的差异，但是步骤200仅校准3D模型的外部尺寸。然而，本领域的普通技术人员可以理解，对于不同的受试者，内部结构的位置和方向往往是不同的。因为内部结构没有暴露，所以将传感器放置在内部结构上是不可行的。这使得无法使用如步骤200中描述的基准标记。为了解决内部结构的这种差异，进行局部校准步骤300以对准3D模型和受试者之间的特定内部结构。

尽管不同受试者的内部结构可能有不同的位置和方向，但内部结构的整体形状是相似的。因此，局部校准步骤300可以作为内部结构的扫描图像和标准平面之间的关联(步骤310)来执行(参见图4A和图4B)，或者作为受试者的内部结构的重建3D模型和3D模型的内部结构之间的关联(步骤320)来执行(参见图4C和图4D)。

参考图4A和图4B，在一些实施例中，通过将内部结构的扫描图像与标准平面相关联来执行步骤300(步骤310)包括：在3D模型中选择包括可识别的内部结构的标准平面(步骤311)；获得受试者的显示与标准平面类似的内部结构的扫描图像(步骤313)；基于标准平面和扫描图像之间的相关性，计算受试者的内部结构和3D模型的内部结构之间的变换矩阵(步骤315)；和通过将变换矩阵应用于3D模型的内部结构来局部校准3D模型(步骤317)。

在一些实施例中，在3D模型中选择包括可识别的内部结构的标准平面(步骤311)包括选择显示内部结构的独特横截面的标准平面。本发明人已经发现，对于许多器官，一个独特的横截面标准平面足以用于器官的局部校准。

在一些实施例中，获得受试者的显示与标准平面类似的内部结构的扫描图像(步骤313)包括在虚拟坐标系中显示虚拟探针和指示扫描图像是在哪个扫描平面上拍摄的。根据这些实施例，在获得扫描图像时可以简化操作者对探针的放置。

在一些实施例中，获得受试者的显示与标准平面类似的内部结构的扫描图像(步骤313)包括移动探针直到获得尽可能接近标准平面的扫描图像。在一些实施例中，步骤313包括由处理器计算扫描图像与3D模型中标准平面的图像的相似性指数；当相似性指数等于或大于预定值时，由处理器选择扫描图像。在一些实施例中，处理器在由探针拍摄的多个扫描图像中选择具有最大相似性指数的扫描图像。

在一些实施例中，计算相似性指数包括由处理器利用边界检测算法将标准平面的图像和扫描图像转换为模板；以及由处理器通过执行模板的仿射不变模板匹配计算相似性指数。

在一些实施例中，步骤315中的变换矩阵的计算与上述步骤207中的那些相同或相似。

上述步骤200和310能够解决受试者的内部结构与3D模型的内部结构之间的位置、方向和比例差异。除了位置、方向和比例之外，同一器官在两个不同受试者之间的形状也可以不同。为了解决形状差异，矩阵能够基于受试者的内部结构的重建3D模型和3D模型的内部结构之间的相关性来计算(步骤320)。

参照图4C和图4D，在一些实施例中，通过将受试者的内部结构的重建3D模型与3D模型的内部结构相关联来执行步骤300(步骤320)包括：由处理器构建受试者的内部结构的扫描图像的3D体积(步骤321)；由处理器从扫描图像的3D体积中提取内部结构的3D模型(步骤323)；由处理器基于提取的内部结构3D模型的形状与3D模型的内部结构的形状之间的相关性，计算受试者的内部结构与3D模型的内部结构之间的变换矩阵(步骤325)；和由处理器通过将变换矩阵应用于3D模型的内部结构来局部校准3D模型(步骤327)。

在一些实施例中，提取内部结构的3D模型(步骤321)包括通过分割算法从扫描图像的3D体积中提取内部结构的3D模型。

在一些实施例中，计算变换矩阵(步骤325)包括：由处理器识别所提取的内部结构的3D模型的表面点；以及由处理器基于表面点采用迭代云点(ICP)算法计算变换矩阵。由于从内部结构的3D模型获得的表面点的数量可能非常大，在一些实施例中，由处理器对表面点进行剔除，从而减少计算量和提高性能。

在一些实施例中，变换根据变形模型执行。在一些实施例中，在变形期间，模型上的控制点列表被移动。在一些实施例中，在变形期间中，将两个模型的重心作为参考并且保持静止，调整3D模型的表面点以使这些表面点与受试者上的表面点的位置相匹配。

在一些实施例中，受试者与3D模型之间的相关性以及在步骤200和300中获得的变换矩阵被用于训练人工神经网络***。由于GPU、FPGA、ASIC等的发展和可用数据量的不断增加，计算能力快速提高，人工神经网络诸如卷积神经网络已经在许多不同的领域进行了广泛的实验。一般来说，人工神经网络的工作原理如下：人工神经网络被供给大量训练数据，其中预期结果是已知的。人工网络的权重因子根据网络产生的结果与预期结果之间的误差进行调整。当将足够量的训练数据馈送到人工神经***时，神经网络将按照预期的方式产生结果。当不属于训练数据的新数据被馈送到经过训练的人工神经网络时，网络应该产生一个结果，该结果能够被用于做出决策。这个过程称为推断。人工神经网络能够产生两种类型的结果：离散结果或连续结果。离散结果常用于解决分类问题，而连续结果常用于解决回归问题。

如上所述的人工神经网络***能够被用于步骤200、310和320中的变换矩阵的计算。这里，将参考步骤310描述人工神经网络***的使用。

在一些实施例中，该将受试者的医学图像与该受试者的3D模型配准的方法还包括在3D模型上显示对应于由探针生成的图像切片的虚拟图像切片(步骤400)。在一些实施例中，虚拟图像切片显示在3D模型上的虚拟平面中并且包括内部结构的横截面图像。虚拟平面对应于探针的扫描平面，横截面图像对应于被扫描的内部结构的横截面。

在一些实施例中，配准问题被视为分类问题。根据这些实施例，生成对应于特定内部结构的标准平面的一组虚拟切片。然后，从多个不同的受试者中获得与标准平面对应的多个扫描图像。建立扫描图像与来自3D模型的切片之间的关系，并且用于训练人工神经网络。在训练之后，当给定来自受试者的与内部结构的标准平面相对应的新扫描图像时，神经网络应该能够将图像分类为对应于来自3D模型的虚拟切片中的一个。超声虽然是不受约束的探索性扫描，但在寻找标准平面时，扫描通常会遵循认可机构的一些协议。因此，能够将超声图像分类为对应于标准平面中的一个就足够了。

在一些实施例中，配准问题被视为回归问题。根据这些实施例，人工神经网络的结果是被用于产生匹配切片的参数。这些参数包括平移角度和旋转角度。当获得了足够数量的与标准平面对应的扫描图像时，从3D模型中获得相应的切片，并且记录被用于获得切片的参数。在人工神经网络的训练过程中，扫描图像被用作输入，对应于扫描图像的切片图像的已知参数被用作输出。一旦训练完成，训练神经网络就会被输入一个新的扫描图像并且输出一组参数。然后使用该组参数在3D模型中生成匹配切片。由于参数空间通常很大，因此与将问题视为分类时的解决方案相比，需要更大量的训练数据才能获得相似的结果。

将受试者的医学图像与3D模型配准的装置

在一些实施例中，本说明书针对将受试者的医学图像与该受试者的3D模型配准的装置600。

在一些实施例中，装置600通过与上述的那些类似的方法将医学图像与3D模型配准。

在一些实施例中，装置600包括跟踪***620；处理器640；和存储器650。

在一些实施例中，跟踪***620包括：被附接到探针610的位置传感器621；和导航传感器623。在一些实施例中，导航传感器被配置为经由位置传感器检测探针610的位置和方向。在一些实施例中，跟踪***620还包括参考传感器625，参考传感器625被配置为附接到受试者并且检测受试者的位置。在一些实施例中，跟踪***620，包括跟踪***620的部件，以与上面详述的那些类似的方式运行。

在一些实施例中，装置600包括探针610。在一些实施例中，探针610是超声探针，例如超声传感器。

在一些实施例中，装置600还包括3D扫描仪630。在一些实施例中，3D扫描仪630被配置成以与上面详述的那些类似的方式运行。

在一些实施例中，存储器650存储受试者的3D模型。在一些实施例中，3D模型包括受试者内部结构的3D模型。在一些实施例中，存储器包括3D模型数据库651，其包括多个3D模型条目。根据这些实施例，该多个条目中的每个条目都标记有关于3D模型条目的信息，并且可以从条目中选择最能代表受试者的3D模型。在一些实施例中，3D模型数据库类似于上面详述的那些。

在一些实施例中，处理器640被配置为：通过将受试者上的标记与3D模型上的相应标记对准来全局校准3D模型；和通过将受试者的内部结构的扫描图像与3D模型的内部结构对准来局部校准3D模型。在一些实施例中，处理器执行全局校准和局部校准的方式与上面详述的类似。

在一些实施例中，处理器640进一步被配置为通过以下步骤从3D模型数据库中选择表示受试者的初始3D模型：将受试者的信息与标记到3D模型数据库651的条目的信息进行比较；和选择标记有与受试者信息匹配的信息的初始3D模型。在一些实施例中，该信息包括性别、身高、体重、种族或年龄等人口统计信息，身体测量值、体脂百分比(BFP)或体重指数(BMI)或外部尺寸等个人信息。

在一些实施例中，处理器640被配置为通过以下步骤全局校准3D模型：接收代表基准标记的位置的探针的位置以记录基准标记的真实世界位置，其中基准标记是位于受试者的外表面上的与3D模型上的标记相对应的标记；基于基准标记的真实世界位置与对应标记的虚拟位置之间的相关性，计算受试者外表面与3D模型之间的变换矩阵；和通过将变换矩阵应用于3D模型来全局校准3D模型。在一些实施例中，变换矩阵是刚性变换矩阵或仿射变换矩阵。

在一些实施例中，处理器640被配置为通过以下步骤局部校准3D模型：选择3D模型的标准平面，其中标准平面包括3D模型中的内部结构的横截面；选择受试者的扫描图像，其中扫描图像包括与标准平面中的横截面相似的内部结构的横截面；计算两个横截面之间的变换矩阵；和通过将变换矩阵应用于3D模型的内部结构，对3D模型进行局部校准。

在一些实施例中，处理器被配置为通过以下步骤选择受试者的扫描图像，该扫描图像包括内部结构的与标准平面中包括的横截面相似的横截面：计算扫描图像与3D模型中标准平面的图像的相似性指数；以及当相似性指数等于或大于预定值时，选择该扫描图像。

在一些实施例中，处理器被配置为通过以下方式计算相似性指数：使用边界检测算法将标准平面的图像和扫描图像转换为模板；以及通过执行模板的仿射不变模板匹配计算相似性指数。

在一些实施例中，处理器640被配置为通过以下步骤局部校准3D模型：构建受试者的内部结构的扫描图像的3D体积；从扫描图像的3D体积中提取内部结构的3D模型；基于提取的内部结构的3D模型的形状与3D模型中的内部结构的形状之间的相关性，计算受试者的内部结构与3D模型的内部结构之间的变换矩阵；和通过将变换矩阵应用于3D模型的内部结构来局部校准3D模型。

在一些实施例中，处理器640被配置为通过以下步骤提取内部结构的3D模型：通过分割算法从扫描图像的3D体积中提取内部结构的3D模型。

在一些实施例中，处理器640被配置为通过以下步骤计算变换矩阵：识别所提取的内部结构的3D模型的表面点；和基于表面点采用迭代云点(ICP)算法计算变换矩阵。

在一些实施例中，处理器640被配置为通过以下步骤计算变换矩阵：计算所提取的内部结构的3D模型的重心；和基于重心计算变换矩阵。

在一些实施例中，装置600还包括被配置为在3D模型上显示对应于由探针610生成的图像切片的虚拟图像切片的显示器。

在一些实施例中，处理器640被配置为通过以下步骤在局部校准3D模型：通过向人工神经网络***馈送训练数据来训练人工神经网络***，该训练数据包括内部结构的图像和具有已知预期结果的内部结构的对应3D模型；和通过应用训练好的人工神经网络校准3D模型的内部结构。

在一些实施例中，处理器是一个单处理器。在一些实施例中，处理器是多个处理器。在一些实施例中，处理器包括中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)处理器、专用集成电路(ASIC)处理器或其组合。

从前述内容中，将理解，本公开的各种实施方式已经在本文中出于说明的目的进行了描述，并且可以在不脱离本公开的范围和精神的情况下进行各种修改。因此，本文所公开的各种实施方式并非旨在限制，真实范围和精神由所附权利要求指示。

Claims (20)

1.一种将受试者的医学图像与三维(3D)模型配准的方法，其包括：

由处理器通过将所述受试者上的标记与所述3D模型上的相应标记对准来全局校准所述3D模型；和

由所述处理器通过将所述受试者的内部结构的扫描图像与所述3D模型的相应内部结构对准来局部校准所述3D模型。

2.根据权利要求1所述的方法，还包括从3D模型数据库中选择代表所述受试者的初始3D模型，其中选择所述初始3D模型包括：

由所述处理器将所述受试者的信息与标记为所述3D模型数据库的条目的信息进行比较；和

由所述处理器选择标记有与所述受试者的信息匹配的信息的所述初始3D模型。

3.根据权利要求2所述的方法，其中所述信息包括人口统计信息，其包括性别、身高、体重、种族、年龄、身体测量值、体脂百分比(BFP)或体重指数(BMI)或外部尺寸。

4.根据权利要求1所述的方法，其中全局校准所述3D模型包括：

选择所述3D模型上与所述受试者上的基准标记相对应的标记；

将探针移动到所述基准标记以记录所述探针的位置，从而得出所述基准标记的真实世界位置；

由所述处理器基于所述基准标记的所述真实世界位置和对应标记的虚拟位置之间的相关性，计算受试者的外表面和所述3D模型之间的变换矩阵；和

由所述处理器通过将所述变换矩阵应用于所述3D模型来全局校准所述3D模型。

5.根据权利要求4所述的方法，其中所述变换矩阵是刚性变换矩阵或仿射变换矩阵。

6.根据权利要求1所述的方法，其中局部校准所述3D模型包括：

选择所述3D模型的标准平面，其中所述标准平面包括所述3D模型中的内部结构的横截面；

获得所述受试者的扫描图像，其中所述扫描图像包括与所述标准平面中的横截面相似的内部结构的横截面；

由所述处理器计算两个横截面之间的变换矩阵；和

由所述处理器通过将所述变换矩阵应用于所述3D模型的内部结构，对所述3D模型进行局部校准。

7.根据权利要求6所述的方法，其中获得所述受试者的包括与所述标准平面中的横截面相似的内部结构的横截面的扫描图像包括：

由所述处理器计算所述扫描图像与所述3D模型中的所述标准平面的图像的相似性指数；和

当所述相似性指数等于或大于预定值时，由所述处理器选择所述扫描图像。

8.根据权利要求7所述的方法，其中计算所述相似性指数包括：

由所述处理器使用边界检测算法将所述标准平面的图像和所述扫描图像转换为模板；和

由所述处理器通过执行所述模板的仿射不变模板匹配来计算所述相似性指数。

9.根据权利要求1所述的方法，其中局部校准所述3D模型包括：

由所述处理器构建所述受试者的内部结构的扫描图像的3D体积；

由所述处理器从扫描图像的3D体积中提取内部结构的3D模型；

由所述处理器基于所提取的内部结构的3D模型的形状与所述3D模型中内部结构的形状之间的相关性，计算所述受试者的内部结构与所述3D模型的内部结构之间的变换矩阵；和

由所述处理器通过将所述变换矩阵应用于所述3D模型的内部结构，对所述3D模型进行局部校准。

10.根据权利要求9所述的方法，其中提取所述内部结构的所述3D模型包括：

通过分割算法从扫描图像的3D体积中提取所述内部结构的所述3D模型。

11.根据权利要求9所述的方法，其中计算所述变换矩阵包括：

由所述处理器识别所提取的内部结构的3D模型的表面点；和

由所述处理器基于所述表面点使用迭代云点(ICP)算法计算所述变换矩阵。

12.根据权利要求9所述的方法，其中计算所述变换矩阵包括：

由所述处理器计算所提取的内部结构的3D模型的重心；和

由所述处理器基于所述重心计算所述变换矩阵。

13.根据权利要求1所述的方法，还包括在所述3D模型上显示对应于由探针生成的图像切片的虚拟图像切片。

14.根据权利要求1所述的方法，其中局部校准所述3D模型包括：

通过向人工神经网络***馈送训练数据来训练所述人工神经网络***，所述训练数据包括内部结构的图像和具有已知预期结果的内部结构的对应3D模型；和

通过应用训练好的人工神经网络校准所述3D模型的内部结构。

15.一种将受试者的医学图像与3D模型配准的装置，包括：

跟踪***，其包括：

位置传感器，其中所述位置传感器可附接至探针；和

导航传感器，其中所述导航传感器被配置为经由所述位置传感器检测所述探针的位置和方向；

用于存储受试者的3D模型的存储器，其中所述3D模型包括受试者的内部结构的3D模型；和

连接至所述跟踪***的处理器，其中所述处理器被配置为：

通过将受试者上的标记与所述3D模型上的相应标记对准来全局校准所述3D模型；和

通过将受试者的内部结构的扫描图像与所述3D模型的内部结构对准来局部校准所述3D模型。

16.根据权利要求15所述的装置，其中所述存储器存储3D模型数据库，所述处理器进一步被配置为通过以下步骤从3D模型数据库中选择表示受试者的初始3D模型：

将受试者的信息与标记为所述3D模型数据库的条目的信息进行比较；和

选择标记有与受试者信息匹配的信息的所述初始3D模型。

17.根据权利要求15所述的装置，其中所述处理器被配置为通过以下步骤全局校准所述3D模型：

接收代表基准标记的位置的探针位置以记录所述基准标记的真实世界位置，其中所述基准标记是位于受试者的外表面上的与所述3D模型上的标记相对应的标记；

基于所述基准标记的所述真实世界位置和对应标记的虚拟位置之间的相关性，计算受试者的外表面和所述3D模型之间的变换矩阵：和

通过将所述变换矩阵应用于所述3D模型来全局校准所述3D模型。

18.根据权利要求15所述的装置，其中所述处理器被配置为通过以下步骤局部校准所述3D模型：

选择所述3D模型的标准平面，其中所述标准平面包括所述3D模型中的内部结构的横截面；

选择所述受试者的来自所述探针的扫描图像，其中所述扫描图像包括与所述标准平面中的横截面相似的内部结构的横截面；

计算所述两个横截面之间的变换矩阵；和

通过将所述变换矩阵应用于所述3D模型的内部结构，对所述3D模型进行局部校准。

19.根据权利要求15所述的装置，其中所述处理器被配置为通过以下步骤局部校准所述3D模型：

构建所述受试者的内部结构的扫描图像的3D体积；

从所述扫描图像的3D体积中提取内部结构的3D模型；

基于所提取的内部结构的3D模型的形状与所述3D模型中内部结构的形状之间的相关性，计算受试者的内部结构与所述3D模型的内部结构之间的变换矩阵；和

通过将所述变换矩阵应用于所述3D模型的内部结构，对所述3D模型进行局部校准。

20.根据权利要求15所述的装置，其中所述处理器被配置为通过以下步骤局部校准所述3D模型：

通过建立内部结构的图像和具有已知预期结果的内部结构的对应3D模型之间的相关性，来训练人工神经网络模型；

将训练好的人工神经网络模型存储在所述存储器中；和

通过应用所述人工神经网络模型来校准所述3D模型的内部结构。

Images