CN109584350B - 医学诊断成像中的测量点确定 - Google Patents

Abstract

本发明涉及医学诊断成像中的测量点确定。对于利用医学扫描仪（10）的成像中的测量点确定（68），用户选择（64）图像上的位置。不是使用该位置，而是识别（68）与在图像中表示的局部边界或标志相对应的“预期”位置。医学扫描仪使用简单用户接口（22）以更精确地确定（68）用于测量的点。从用户选择的位置投射（66）一个或多个射线。通过检查沿所述一个或多个射线的数据来查找（68）实际位置。对于2D成像，在平面中投射（66）射线。对于3D成像，沿着视向投射（66）射线以查找深度。沿射线或围绕射线的强度被用于查找（68）实际位置，诸如通过将机器学习分类器应用到围绕射线的有限区或通过查找相对于阈值的沿射线的强度。

Description

医学诊断成像中的测量点确定

背景技术

本实施例涉及医学诊断成像。现代心脏病学中的许多决策基于解剖的定量测量结果，该定量测量结果是从非侵入式成像非侵入式地导出的。与心脏直视手术相比，心脏的维度在正常功能中不同。

利用描轮廓工具量化二维（2D）图像上的平面结构要求耗时且勤勉地手动画轮廓。方便的用户交互是重要的，特别是在介入性设置中，其中可能存在由于许多不同活动发生而导致的有限自由度和/或在该设置中可用的有限用户接口（例如，操纵杆控制装置）。

扫描仪技术中的最近进步使得能够对心脏进行三维加时间（3D+t）实时超声成像。3D成像可能使量化甚至更加困难。3D成像被承认与传统2D成像相比提供了对解剖形状的更好理解。另一方面，操作2D超声成像的复杂度比3D低且常常在临床实践中优选。而且，对于解剖量化，测量是在利用附加用户接口（诸如，轨迹球控制装置或桌边操纵杆控制装置）选择的2D多平面重新格式化或重构（MPR）图像上执行的。

利用机器学习技术，以全自动或半自动的方式高效且鲁棒地对规则的解剖结构进行建模。然而，应对解剖易变性可能是富有挑战性的，特别是在例外情况中。此外，机器学习技术被训练成提供具体分段和/或测量，但是用户可能想要取决于他们的需要来定义定制维度。用于以快速直观的方式从3D图像导出通用的任意定量信息的高效工作流程仍然要定义。

发明内容

作为介绍，下面描述的优选实施例包括用于在利用医学扫描仪的成像中的测量点确定的方法、计算机可读介质和***。用户选择图像上的位置。不是使用该位置，而是识别与在图像中表示的局部边界或标志（landmark）相对应的“预期”位置。医学扫描仪使用简单用户接口以更精确地确定用于测量的点。从用户选择的位置投射一个或多个射线。通过检查沿该一个或多个射线的数据来查找实际位置。对于2D成像（例如，根据3D体积计算的MPR或者本机或2D扫描图像），射线被投射在平面内（即，与平面平行）。对于3D成像，沿着朝向3D体积的视向（view direction）投射射线以查找深度。沿射线或围绕射线的强度被用于查找实际位置，诸如通过将机器学习分类器应用到围绕射线的有限区或通过查找相对于阈值的沿射线的强度。

在第一方面中，提供了一种用于在利用超声扫描仪的成像中的测量点确定的方法。从超声数据三维地绘制超声图像，所述超声数据将患者组织的体积表示到显示器上。用户输入设备接收所述超声图像上的测量卡尺的定位。沿着从所述测量卡尺的所述定位到所述体积中的视向来定义射线。基于来自被限于围绕并包括所述射线的所述体积的子区的超声数据的输入，利用机器学习分类器来识别沿所述射线的深度。图像处理器计算作为所述测量卡尺的所述定位和所述深度的函数的量。输出所述量。

在第二方面中，提供了一种用于在利用医学扫描仪的成像中的测量点确定的方法。显示器显示从表示患者组织的强度映射的医学图像。用户输入设备接收所述医学图像上的测量卡尺的定位。定义从所述测量卡尺的所述定位延伸的射线。基于来自被限于围绕并包括所述射线的子区的强度来识别沿所述射线的位置。图像处理器计算作为所述位置的函数的量。输出所述量。

在第三方面中，一种医学超声***包括：超声扫描仪，被配置成扫描患者的体积；用户输入设备，被配置成接收所述患者的体积的体绘制图像上的定位的指示；以及图像处理器。所述图像处理器被配置成沿着视向从所述定位投射射线；基于来自所述体积的扫描的超声数据来选择沿所述射线的位置；以及生成指示所述定位和所述位置处的点的图形。

本发明由所附权利要求限定，并且该章节中没有内容应当被视为对那些权利要求的限制。下面结合优选实施例讨论本发明的进一步方面和优势，并且稍后可以独立地或以组合方式要求保护本发明的进一步方面和优势。

附图说明

部件和附图不必按比例绘制，取而代之，重点在于图示本发明的原理。此外，在附图中，遍及不同视图，相似的附图标记标示对应的部分。

图1是用于在医学成像中的测量点确定的方法的实施例的流程图；

图2示出了具有针对距离计算而定义的点的体绘制医学图像的示例；

图3示出了具有针对距离计算而定义的点的体绘制医学图像的其他示例；

图4示出了用于手动追踪医学图像中的边界的示例序列；

图5示出了利用体积的不同绘制的描轮廓的示例；以及

图6是用于测量点确定的***的一个实施例的框图。

具体实施方式

用户接口允许由用户进行的不精确的卡尺放置，并针对量化而自动选择经改善的定位。利用医学扫描仪（诸如，利用计算机断层扫描（CT）、磁共振（MR）、超声（例如，TEE、TTE、ICE或另一个种类的换能器）或这些模态的组合）获取2D平面或3D体积数据集。标志、轮廓或体积网状物以半自动的方式被高效地标记在3D体积可视化或2D平面（例如，2D MPR）图像上。在被可视化为体绘制中的表面或2D图像中的定位的结构上手动选择期望位置。然后选择或建议鼠标指针附近的结构，诸如选择器官或血池的边界或者选择有区别的解剖标志。可以利用覆盖的图形对所选择的标志点和轮廓进行可视化，并基于该点来计算测量结果。如果3D+t是可用的（例如，在心脏超声情况下，3D TEE、TTE或体积ICE），则可以在随时间有变化的情况下执行量化。量化可以与其他成像相关，该其他成像诸如是用于将来自超声的解剖和测量图形覆盖在透视检查上的融合多模态成像。

在一个实施例中，针对3D体积扫描提供标志化和测量结果。提供与体积医学图像的3D可视化的用户直观交互。识别被可视化为表面（例如，在3D心脏超声扫描的情况下，血液-组织界面）的器官部分上的点。用户仅在3D体积可视化上进行点击，而不是必须滚动通过正交MPR直到找到并验证期望3D位置。图像处理器在点击时使用光标的所选择的定位，并使用射线投射以放置点，例如放置在心内膜壁上、放置在二尖瓣环、叶状器官或被可视化为不透明表面的包括医学植入物的任何其他结构上。对于2D成像（例如，在MPR上），用户选择然后使用射线投射而被推断到边界或标志的定位。对于追踪，可以使用射线投射将用户的不精确的“涂写（scribbling）”改善成沿着附近边界。通过将搜索限于沿局部射线的数据，与查找整个边界相比，该改善可以实时发生。

该方案允许直接在体绘制上标示一个或多个位置，从而减少用于查找每个位置的繁琐的MPR导航。没有MPR需要被定位以定义深度和/或3D点，这是由于可以在体绘制中直接放置点。在体绘制或2D图像（例如，MPR）上对任意形状的描轮廓被促进，从而允许用户较不精确地进行追踪。通过实时标志识别提供了针对高级工作流程的平滑交互，这是由于搜索被限于与用户选择的定位邻近的区。在使用机器学习以准确地查找标志的情况下，射线限制的搜索区允许更快速地识别标志和/或允许训练对器官或器官的部分而言通用的分类器。不论器官如何，都可以应用相同的分类器以查找边界，从而使标志确定鲁棒且多用途。典型地，广泛的器官建模以秒量级的运行时间进行操作，而不必以交互式帧速率进行操作。通过减小所定义的射线周围的搜索空间，提供了更快速的识别。通过在扫描转换之前对球坐标中的数据进行操作且从而减少计算时间来提供进一步的加速。

图1示出了用于在利用医学扫描仪（诸如，超声扫描仪）的成像中的测量点确定的方法的一个实施例。对于医学成像中的量化，用户选择点或点系列。图像处理器基于被局部化到点的边界或标志搜索来改善该选择，从而在不要求精确的用户录入的情况下允许半自动快速点确定。可以使用来自用户选择的点的射线投射来在平面图像或体绘制上执行点确定。

该方法由医学诊断成像***、查验站、工作站、计算机、PACS站、服务器、其组合或用于医学图像处理的另一设备来实现。例如，图6中示出的超声***10或存储器14以及图像处理器12实现该方法。可以使用诸如代替超声的CT或MR之类的其他***或扫描仪。在又其他实施例中，计算机、服务器或工作站从存储器获得医学图像数据，并且，不提供医学扫描仪。

针对超声成像提供了本文中的示例。在可替换实施例中，使用能够进行医学成像的其他医学模态，诸如磁共振、计算机断层扫描、正电子发射断层扫描、单光子发射计算机断层扫描或X射线。

按所示出的次序或不同的次序来执行该方法。表示平面或体积的相同数据集用于所有行为62-74。对于数据集的序列，诸如在心跳周期期间，在行为68中识别一个数据集中的位置之后执行行为70而不是行为64-68。在行为72和74中计算并输出作为时间的函数的量。可替换地，通过该序列针对每个数据集和对应的时间而重复行为64-68。

利用扫描实时地或在后扫描查验中执行这些行为。可以使用用于测量的给定数据集的冻结操作或选择。用户可以在扫描时查看图像并与图像交互，诸如与冻结图像交互，其中然后通过序列实时地对点位置进行跟踪。

可以执行附加的、不同的或更少的行为。例如，行为70是可选的。作为另一个示例，执行扫描以获取用于行为62中的显示的数据。在又一个示例中，在行为72中计算量而不在行为74中输出。在一个示例中，不执行行为72和74，但是取而代之，利用图像输出所选择的一个或多个点的图形或其他高亮。

在行为62中，图像处理器或医学扫描仪显示医学图像。为了显示医学图像，对患者进行扫描。对于扫描，超声换能器被定位成与患者相邻、在患者上或在患者内。在一个实施例中，对体积扫描换能器进行定位，诸如机械摇摆器、经食管超声心动图（TEE）阵列、心内超声心动图（ICE）阵列或多维阵列。对于平面或2D成像，可以使用体积扫描换能器（例如，对于MPR）或2D成像换能器（例如，1D阵列）。对于与患者相邻或在患者上的情况，换能器被直接定位在皮肤上或声学耦合到患者的皮肤。对于在患者内的情况，使用可定位在患者内的手术中、腔间、ICE阵列、TEE阵列或另一换能器以从患者内进行扫描。

用户可以手动地定位换能器，诸如使用手持探头或操纵导向线。可替换地，机器人或机械机构对换能器进行定位。

对患者的体积区进行扫描。可替换地，对患者的2D或仅平面进行扫描。可以从食管或通过另一个声窗对整个心脏或心脏的部分进行扫描。可以对患者的其他器官或部分进行扫描。诸如心脏、器官、血管、流体室、凝块、损伤、肌肉和/或组织之类的一个或多个对象处于该区内。阵列生成声能且接收响应回声。

获得一个或多个超声数据集。超声数据与所显示的图像（例如，所检测到且经扫描转换的超声数据）、经波束赋形的数据、所检测到的数据和/或经扫描转换的数据相对应。超声数据表示患者的区。针对多个平面切片的数据可以表示体积区。可替换地，使用体积扫描。

超声数据属于任何成像模式，诸如流动模式或B模式。流动模式包括运动的多普勒或其他估计（例如，颜色或者多普勒速度或能量）。结构的形状或空间方面可以被反映在B模式数据中。

在行为62中，显示设备显示医学图像。该医学图像是从表示患者中的组织和/或其他对象的强度而映射的。扫描提供了强度。例如，该强度是来自超声扫描的B模式或流动模式值。作为另一个示例，通过在检测之前进行波束赋形来生成该强度。在检测之后，可以对该强度的标量值进行扫描转换，从而以不同格式提供强度。通过将标量值映射到动态范围并且利用图像增益，生成显示值作为强度。医学图像是彩色或灰阶图像。可以提供心脏成像或身体其他部分的成像。

在一个实施例中，医学图像是由超声扫描的组织的体积的体绘制图像。使用表面绘制、投影、路径追踪或其他体绘制技术，将表示体积的数据绘制到图像。图像处理器（例如，图形处理单元）在显示器上绘制图像。

该图像包括来自整个体积或该体积的非平面部分的信息。例如，给定像素的值是从沿着沿经过该像素的查看方向传递的线的多个体素确定的。使用比较，选择表面的值（例如，最高的或阈值以上的第一个）。在另一个方案中，α混合或其他投影方案将沿该线的数据进行组合。体绘制图像是从在三个维度中间隔开的数据生成的，而不是属于体积中的平面。利用超声，可以提供实时体积扫描，从而允许实时显示体绘制超声图像的序列。

在另一个实施例中，从表示仅平面的强度生成医学图像。对平面进行扫描，并且从该扫描生成图像。可替换地，在体积中定义平面。来自表示该平面的体积或3D扫描的强度被用于生成医学图像，诸如利用MPR。可以使用内插以从体积数据集确定仅平面上的强度。

在行为64中，用户输入设备接收医学图像上的测量卡尺的定位。处理器从用户输入设备接收该定位。例如，在图2中，用户使用用户输入设备将卡尺42或测量指示放置在体绘制图像38上。用户将卡尺42定位在用于测量的期望位置处。一旦被定位，用户就激活测量卡尺，诸如通过压下按钮（例如，点击鼠标）。

输入设备在所显示的医学图像（诸如，三维对象的所绘制的体积图像）上提供用户选择的测量位置。对于体绘制，屏幕上的位置与相对于或沿着体绘制图像的查看方向的可能深度的范围相对应。三个维度中的点是基于体绘制图像38上的2D位置的用户选择而不确定的。用户输入定位还可能是不精确的。对于2D成像，位置与用户所录入的位置附近的可能标志或边界位置的范围相对应。用户输入定位可能是不精确的。

可以接收多于一个卡尺42的定位。对于距离测量，接收测量形状（例如，椭圆形或盒状）或者两个或更多个卡尺42（例如，图2的左边两个图像）的定位，并且可以显示链接该两个定位的图形44。在行为68的识别和/或行为72的计算之后显示图形44。对于面积或体积测量，可以接收三个或更多个卡尺定位44。例如，用户追踪诸如血液/组织边界之类的边界。

在图1的行为66中，图像处理器定义从每个测量卡尺的定位延伸的射线。该射线在一个方向（即，开始于该定位处）或多个方向（即，延伸通过该定位）上延伸。用户输入定位确定该射线上的点。

阵列的长度被设置为默认值。该长度可以基于所成像的面积或体积，诸如延伸到视野的边缘。射线可以终止于离卡尺定位44给定距离。可以使用任何长度。

射线的方向基于成像的类型。对于2D图像或表示仅平面的图像，该射线处于平面内。通过或从卡尺定位来定义具有任何角间距的多个射线。例如，定义在一个或多个方向上延伸的4个、8个或16个射线。可替换地，一个或多个射线延伸出平面，诸如其中体积扫描被执行并用于生成平面图像（例如，MPR）。在其他可替换方案中，形成单个射线，诸如沿着利用用户将卡尺定位在其上的2D MPR图像显示的体绘制的视向。

对于体绘制医学图像，沿着一个方向定义单个射线。射线沿着视向延伸。沿着从或经过卡尺44的定位的视向定义射线。射线在一个或两个方向上从该定位延伸。例如，利用沿射线居中的定位投射射线，或者射线在相反的方向上延伸超出该定位。来自体绘制图像的3D绘制的视向定义了射线的方向。鼠标定位或相机定位提供了体积中的视向以及像素或位置以用于射线投射。沿着朝向体积的相机方向追踪射线，像在绘制3D体积可视化时的射线投射那样。可替换地，形成多个射线，诸如具有从相机发散的不同角间距的射线或者具有从用户选择的像素的相机或投影平面的法线处的中心射线的平行射线。

针对每个用户所选定位来定义一个或多个射线。在标志正被定位的情况下，可以接收单个用户所选定位。在距离正被测量的情况下，可以接收两个用户所选定位。在面积或体积正被测量的情况下，接收两个（例如，由两个位置定义的拟合面积形状）、三个（例如，由三个位置定义的拟合体积或面积形状）或更多个（例如，边界的用户追踪）。附加地，可以在后续步骤中改善这些形状。针对每个用户输入定位来定义射线。可以针对其他定位（诸如，在用户输入定位之间内插的位置）来定义射线。射线的定义被重复任何次数。

射线定义扫描数据的子集。例如，射线定义平面或体积中的线。超声强度包括沿该线的强度或者可通过内插而形成为沿该线的强度。可替换地，射线以圆柱形、圆锥形或关于该射线的其他形状定义扫描数据的子集。不是仅使用沿该射线的强度，而是使用沿平行射线或离该射线给定距离内的强度。

沿该线或处于该子集中的强度可以表示边界或其他标志。在行为68中，图像处理器识别沿射线的位置。在存在多个射线的情况下，图像处理器识别沿射线之一的位置，所以也识别具体射线。在射线定义了包括离该射线一定距离内的位置的体积或面积子集（即，被限于围绕并包括该射线的子区）的情况下，图像处理器识别面积或体积中的位置。

对于每个用户输入定位以及对应的一个或多个射线，对位置进行识别。针对从用户输入接收到的每个定位重复该识别。

在针对给定定位而定义多个射线的情况下，查找沿每个射线的位置。然后选择与用户录入的定位最接近的位置。对于平面中的射线，选择与用户录入的定位最接近的边界或标志的射线和对应位置。针对该位置的搜索沿着所点击的点周围的同心射线而伸展。对于通过体积而投射的射线，用户定位不具有所定义的深度。取而代之，对沿从相机定位的视向或射线的第一边界或标志进行定位。在深度和两个维度中用户录入的定位处识别三个维度中的位置。识别鼠标指针下面的3D体积的体绘制视图上的点，其中该体积对于用户而言看起来不透明。

基于强度（例如，医学扫描数据）来识别位置。使用来自射线或围绕且包括该射线的子区的强度以进行识别。可以可替换地或附加地使用其他信息，诸如根据强度计算的梯度、来自其他模态的扫描数据和/或临床信息（例如，年龄、性别、体重和/或血液生物标记值）。

使用针对所显示的图像的强度（即，显示值）或来自处理链中的其他点的强度。例如，使用来自在扫描转换（即，以极坐标或球坐标扫描格式）之前的所检测到的超声数据的强度。在另一个示例中，使用在映射到显示值之前的以笛卡尔坐标格式（即，经扫描转换）存在的强度。该强度可以或可以不受动态范围和图像增益映射的影响。

在一个实施例中，阈值被用于识别位置。从针对2D医学图像的用户选择的点开始或者从针对3D绘制图像的相机定位开始，对强度进行检查。将每个强度与阈值进行比较。识别阈值以上的第一个强度的位置。识别阈值以上的最接近的强度。可以对该强度进行低通滤波，或者该位置可以是其中给定数目的相邻强度处于阈值以上。超过阈值识别出位置。可替换地，落在阈值以下识别出位置。

在一个实施例中，强度用于建立不透明性。体绘制技术被用于识别位置。在沿着射线穿过体积时，使用传递函数对体素值进行映射（例如，以匹配实际体积可视化）。任何图像增益和动态范围被用于适配于绘制器的可视化设置，与体绘制类似。对沿射线的体素进行整合，直到到达与不透明体积表面相对应的预定义阈值。“从屏幕开始”（即，沿着从世界坐标中的所点击的点开始的视锥体的“***面”的法线）朝向体积而穿过空间。在没有整合的情况下，对体积强度进行采样，直到超过某个强度阈值。

在另一个实施例中，机器学习分类器定义位置。使用基于学习的方法以鲁棒地从强度确定位置，而不是直接使用体积强度。强度和/或从强度导出的输入特征值（例如，哈尔（Haar）小波）被输入到机器学习分类器。在另一个实施例中，将强度与高斯-黑森（Hessian-of-Gaussian）或其他滤波器内核进行卷积以确定图像中的判别点。卷积的结果被输入到该分类器。向机器学习分类器提供来自由一个或多个射线定义的子区的信息。

该分类器基于输入特征向量来输出位置的识别。通过对机器学习分类器的应用来识别深度、标志和/或边界点。例如，基于来自被限于围绕并包括射线的体积的子区的超声数据的输入，利用机器学习分类器来识别沿射线的深度。

为了加速分类器的应用，使用子区。基于所定义的射线的子区限制搜索区，而不是试图对来自视野的整个器官或器官的部分进行分段。例如，子区小于所扫描的体积的5%。这可以允许对标志、边界或其他位置进行更快速的识别。由于搜索区是有限的，因此机器学习分类器可以被训练成不论具体器官如何都识别位置。一个分类器可以被训练成查找边界，而不专用于器官的部分或甚至器官。该推广可以避免耗时的器官专用训练且重要地概括了该技术对任意器官和标志的适用性。在可替换实施例中，机器学习分类器是器官、组织或具体部分。

在一个示例中，机器学习分类器被训练成从超声数据和/或来自针对子区的超声数据的梯度识别沿视向的深度。该训练是为了查找沿器官边界（诸如，心内血池边界）的点。体积梯度和强度被组合成组合特征向量。利用来自不同注释的集合的这些特征对分类器（诸如，概率提升树、支持向量机、神经网络、贝叶斯网络或深度神经网络）进行训练（即，利用真值（ground truth）-已知位置来训练来自患者的心室和/或瓣膜扫描的数据）。在分类器对不同器官或扫描应用而言将是通用的情况下，训练数据包括来自不同器官和/或扫描应用的样本。一旦被训练，分类器就在运行时沿着所投射的射线对针对给定患者的数据进行评估。

在另一个示例中，机器学***面或体绘制图像上的一般或不精确位置中的用户输入以及所得到的所定义的一个或多个射线，分类器用于“快照”到标志上，诸如二尖瓣三角区、心脏瓣膜连合、二尖瓣环、心肌顶点、肺静脉、LAA孔口或针对最接近的边界的点。

机器学习分类器可以是一个或多个矩阵。给定输入特征向量的值，那么分类器被训练成输出位置。例如，向经训练的神经网络提供被空间裁剪到射线定义的子区的强度，神经网络将滤波器内核与其他卷积的输入和/或结果进行卷积，并从卷积的结果确定位置。输出可以是概率图（例如，热图），其中基于该图来选择位置，诸如选择具有最大概率的位置或者选择在较大概率的区中居中的位置。

在一个实施例中，使用深度学习，诸如训练深度图像到图像神经网络。该训练学习用于与输入强度和/或其他数据进行卷积的滤波器内核，而不是基于程序员建立的输入特征向量进行训练。可替换地，可以使用SegNet的3D扩展或其他深度学习技术。神经网络学习特征并学习基于所学习的特征来查找位置。

在另一个实施例中，应用深度强化学习。通过强化来学习一系列图像处理行为。分类器学习执行识别位置的行为。人工代理学习如何通过强化来查找标志。

在沿着射线步进以查找血液-组织界面时，分类器针对体积或平面中的相应采样位置而对输入特征向量进行评估。以该方式，该识别与阈值相比对抗噪声、伪像或丢失而言更鲁棒。该训练可以在相应的点或射线邻域周围以不同分辨率结合情境。经训练的分类器然后通过在采样位置的邻域上进行扫描来输出附近的标志点。

为了查找三个维度中的边界，用户可以将多个定位放置在体绘制图像上。然后通过基于被限于射线邻域的输入应用机器学习分类器来查找边界位置。然后可以使用强度和所识别的位置将网状物拟合到所识别的位置。

为了在2D图像中描轮廓，识别轮廓的位置。图4示出了MPR图像上的示例。用户放置光标且然后围绕边界进行追踪，该边界在该示例中是血液组织边界。图像的上行按从左到右的顺序示出了手动追踪进展。图像处理器然后使用光标位置以识别实际边界的接近位置。通过搜索附近的腔边界（例如，在MPR平面内投射射线并确定器官或血池边界位置），用户可以仅围绕期望结构的附近进行“涂写”而不是细致地追踪。基于与鼠标指针邻近的高强度来确定实际轮廓。鼠标指针不直接悬停在腔的边界上，而是沿着其邻近处而移动，从而消除了细致地追踪的需要。图4的下图像示出了在图像上覆盖的轮廓的测量结果，诸如轮廓长度或者曲线的最小和最大直径。

出于任何目的，基于强度以及定位的用户输入来确定2D或3D中的位置。该位置可以基于体绘制图像上的用户输入，其中针对给定像素的深度可能是含糊的。该位置可以基于体绘制图像或表示仅平面的2D图像上的用户输入（其中该用户输入是不精确的），从而允许更容易的选择。图像处理器基于强度和用户输入定位来识别该位置。

在图1的行为70中，图像处理器通过序列来跟踪所识别的2D或3D位置。例如，通过序列的图像的超声数据来跟踪定位和深度（即，3D点）。不是重复用户输入以及对应的射线定义和位置识别，而是使用跟踪。

可以使用任何跟踪，诸如斑点跟踪、基于从一个图像到另一个图像的跟踪的机器学习分类、或者随时间的对给定位置或区的任何其他跟踪。分离地跟踪每个点，或者该跟踪包括针对正被跟踪的多个点的联立解。该跟踪是通过随时间表示患者的数据集而进行的。该跟踪可以计及换能器和/或患者运动，从而随时间或者随着通过扫描来获取新数据集而动态地更新所识别的位置。

例如，在MitraClip介入的情况下，图像处理器在行为68中识别穿刺部位的位置。随着表示患者体积的新数据集被获取，随时间对该位置进行跟踪。类似地，对递送导管的尖端进行定位。基于还跟踪该尖端，可以持续或定期地更新这两个位置之间的距离。

在实时标志跟踪的情况下，位置识别技术可以增强在图像上实时放置标志的用户体验。一旦鼠标光标悬停在MPR上方，就可以确定器官或心脏血池的最接近的边界。一旦被确定，那么就可以立即随时间对该边界位置进行跟踪。可以通过移动鼠标指针并激活点来在稍后图像中校正该位置，从而更新开始定位以在该稍后图像中跟踪标志。该跟踪然后从由来自新输入定位的射线投射识别的位置继续进行。可替换地，重复位置识别而不是跟踪。在又其他可替换方案中，针对给定时间或阶段而不是针对其他时间或阶段来识别位置。

在行为72中，图像处理器计算作为位置的函数的量。2D或3D位置被用于测量或其他量化。例如，由用户在体绘制上输入的2D位置加上在行为68中识别的深度被用于量化。在另一个示例中，基于用户输入而在行为68中识别以定义用于搜索的区的3D点被用于量化。

可以计算任何量。例如，计算两个端点之间的距离。通过将卡尺放置在组织中的不同位置处，测量位置之间的距离。可以测量损伤的大小、胎儿的长度、骨骼的宽度或长度、或者其他解剖结构的尺寸。用户可以识别体绘制图像而不是MPR中的位置。作为另一个示例，执行面积、周长、体积或其他空间量度。

处理器将所定义的一个或多个点用于计算。对于距离，计算被定位在体积中的两个端点之间的距离。体素的体积或大小的空间范围是从扫描几何形状中知晓的。通过定义三维空间中的两个端点，计算点之间的距离。该距离是关于三维空间的，而不是作为两个维度中的点之间的距离。在一些实施例中，全部两个点可以处于相同的平面上。平面中的处理器辅助位置识别允许点的更不精确且因而更容易的放置。

对于面积、体积、周长或其他量度，可以识别多于两个点。用户可以指示针对种子的三维空间中的位置。处理器执行边界检测，诸如使用阈值化、随机游走或梯度处理、使用种子点以识别在计算中使用的边界。使用所识别的位置和强度数据的曲线或形状拟合可以被用于计算针对该拟合曲线或形状的量。

测量由超声数据表示的三维对象的空间方面。该测量基于在医学图像上输入且通过对强度进行图像处理而更具体地放置的一个或多个位置。

图2和3示出了计算作为该量的距离。体绘制图像38上的卡尺42处的用户选择的位置被用于识别深度（即，查找3D点）。由于相机角度被设置成使得用户对感兴趣的位置进行可视化，因此沿着射线线路查找边界查找感兴趣的深度。在对点的放置之间对视图进行或不进行重定向的情况下放置两个点之后，计算距离。在图2的示例中，该距离是二尖瓣环AP的直径（即，短轴）。在图3的示例中，该距离是LAA孔口直径。

图4和5示出了基于边界的计算。根据边界计算面积或体积的尺寸（例如，直径）、面积、体积和/或其他量。边界至少部分基于2D或3D中的点的识别。在图4的示例中，用户追踪2D图像中的边界以计算短轴和长轴。在图5的示例中，用户追踪在体绘制中表示的非平面结构的轮廓。顶部两行的图像和底部行中的左图像示出了指示虚拟绘制上的定位的光标放置。可以针对定位中的一些的放置来旋转该虚拟绘制。对于每个定位，基于强度来定位3D点。曲线被拟合到该点或者从该点内插。例如，形成厄尔密（Hermite）样条。该曲线形成轮廓。在该示例中，轮廓是针对二尖瓣环的。根据轮廓计算量，诸如测量轮廓的长度或周长、面积、最小直径和/或最大直径。在其他示例中，对网状物进行拟合以定义3D边界，从而允许对体积的计算。

在可替换实施例中，不计算量。取而代之，针对视觉检查而识别标志或边界。

在图1的行为74中，图像处理器输出量。该量被输出到显示器，诸如将该量添加到由显示设备读取的显示平面存储器或缓存器。其他输出包括对打印机、对存储器或在网络上的输出。

该量被显示成与体绘制或2D医学图像相邻、在体绘制或2D医学图像上、或者与体绘制或2D医学图像分离。例如，两个卡尺42之间的距离被显示在体绘制图像的组织表示上方，或被显示在背景中而不是在该组织表示上方。在图像的实时序列被呈现的情况下，可以在用于指示一个或多个位置的图像之后生成的一个或多个图像上示出该量。在后续图像上显示该量。可以跟踪或独立地识别针对该数据集的对应位置。

输出该量作为文本值或数值。在其他实施例中，以曲线图、图表、波形、电子表格或该量的其他指示物来输出该量。可以输出作为时间的函数的该量以示出心跳周期或其他时段内的变化。该量可以由其自身输出或与其他值组合地输出。例如，输出通过心跳或呼吸周期的体积数据集的序列或随时间的测量结果。作为另一个示例，将该量与表示范数、偏差或异常结果的其他量一起输出。可以提供医学图像上的其他输出，诸如正在进行的测量的图形表示（例如，针对距离量度的端点之间的虚线，或者针对面积或体积相关测量的轮廓或网状物）。

可以执行其他显示变化。例如，在识别体积中的3D点之后，可以将正交MPR与该点对准。MPR以该点为中心，从而允许用户在给定了用户的一般或不准确的卡尺定位的情况下验证图像处理器已经识别出期望的点。

多模态成像引导可以提供增强的程序性工作流程和结果。在MitraClip部署作为微创疗法的情况下，透视被用于引导递送导管和设备部署，而超声3D TEE或体积ICE被用于引导经中隔穿刺以及在部署之前设备或递送导管的定位。透视是提供对递送导管和设备的良好可视化的2D投影。

可以将来自一个模式（例如，超声）的测量结果或量与医学成像的另一个模式（例如，透视）进行配准。例如，在透视图像中检测超声换能器的定位和取向。该检测用于在空间上对准或配准坐标系。因此，可以从超声中的位置确定透视投影中的位置。该位置和/或量然后可以作为图形而覆盖在透视图像上。例如，从递送导管的尖端到经中隔穿刺部位的距离以及从超声确定的经中隔穿刺部位的位置覆盖在透视图像上以协助导航递送导管。

在完成经中隔穿刺之后，递送导管被推进到左心房中，指向针对性的解剖结构。在下一个步骤中，闭合设备被***并推进到递送导管的尖端。计算并输出闭合设备与用于部署的位置之间的距离。一旦闭合设备到达了它到如从超声确定的穿刺部位的最优距离，该***就示出在透视图像上覆盖的对应消息。可以对该距离进行颜色编码以指示相对范围或适当定位，诸如在它大于4mm的情况下为绿色，否则，如果在3.5mm以下为红色，并且如果在4mm与3.5mm之间为黄色。一旦处于期望距离，那么就可以完全使用透视或者透视和3D TEE或体积ICE的组合来部署闭合设备。

图6示出了用于在医学成像中进行测量的医学诊断成像***10。***10是医学诊断超声成像***，但可以是计算机、工作站、数据库、服务器或其他成像***。可以使用其他医学成像***，诸如计算机断层扫描或磁共振***。

***10实现了图1的方法或不同的方法。***10提供了医学图像上的测量工具。使用***10，临床医生可以测量感兴趣的解剖结构，并利用在三维或二维空间中定义的点之间的准确测量来评估结构的相对定位，尽管用户输入图像上的不精确位置或针对体绘制图像上的输入的深度含糊。通过基于邻近位置的用户输入查找期望位置来实时地或快速地查找一个或多个点。

***10包括处理器12、存储器14、显示器16、换能器18和用户输入22。可以提供附加的、不同的或更少的部件。例如，***10包括发射波束赋形器、接收波束赋形器、B模式检测器、多普勒检测器、谐波响应检测器、造影剂检测器、扫描转换器、滤波器、其组合、或者其他现在已知或稍后开发的医学诊断超声***部件。作为另一个示例，***10不包括换能器18。

换能器18是可操作以在声能和电能之间转换的压电或电容性设备。换能器18是元件的阵列，诸如一维、多维或二维阵列。例如，换能器18是TEE、TTE或ICE探头。可替换地，换能器18是用于一个维度中的机械扫描以及另一个维度中的电扫描的摇摆器。在其他可替换方案中，换能器18是一维阵列。

***10使用换能器18以扫描体积或平面。电气和/或机械转向允许沿不同扫描线的发射和接收。可以使用任何扫描模式。在一个实施例中，发射波束对于沿多个扫描线的接收（诸如，针对每次发射而接收一组最多16个或更多个接收线）而言足够宽。在另一个实施例中，针对沿多个、大量或所有扫描线的接收而提供平面、准直或发散的发射波形。

响应于扫描而提供表示平面或体积的超声数据。超声数据由波束赋形器来波束赋形、由检测器来检测和/或由扫描转换器来扫描转换。超声数据可以以任何格式存在，该任何格式诸如是极坐标或笛卡尔坐标、具有平面之间的极坐标间距的笛卡尔坐标、或另一个格式。在其他实施例中，通过传递（诸如，从可移除介质或在网络上）获取超声数据。还可以获取表示体积的其他类型的医学数据。

存储器14是缓存器、高速缓存、RAM、可移除介质、硬盘驱动器、磁性的、光学的或者其他现在已知或稍后开发的存储器。存储器14可以是单个设备或者是两个或更多个设备的组。存储器14被示出在***10内，但可以处于***10外部或远离于***10的其他部件。

存储器14存储超声数据和/或位置信息。例如，存储器14存储流量或组织运动估计（例如，速度、能量或这两者）和/或B模式超声数据。医学图像数据是二维或三维数据集（例如，表示来自分布在三个维度（n×m×o，其中n、m和o都是大于1的整数）中的位置的声学响应的数据）或者这种集合的序列。例如，存储心脏的部分、一个或多个心跳周期内的集合序列。可以提供多个集合，诸如与从不同角度或位置对相同患者、器官或区进行成像相关联。该数据表示患者的体积或平面，诸如表示心脏的部分或全部。

对于实时成像，超声数据绕过存储器14、被暂时存储在存储器14中或从存储器14加载。实时成像可以允许数据获取与成像之间的几分之一秒或甚至几秒的延迟。例如，通过与通过扫描对数据进行获取基本上同时生成图像来提供实时成像。在进行扫描以获取接下来或后续的数据集时，针对先前的数据集生成图像。该成像在用于获取数据的相同成像时期期间发生。用于实时操作的获取和成像之间的延迟的量可以变化。在可替换实施例中，超声数据从先前的成像时期存储在存储器14中，且被用于在没有同时发生的获取的情况下进行成像。

对于测量，可以使用仅一个数据集。获取体积或平面的仅一个数据集或扫描，或者从序列中选择一个数据集或扫描，诸如使用“冻结”操作。可替换地，在提供实时成像时进行测量。确定随时间的测量。

附加地或可替换地，存储器14是具有处理指令的计算机可读储存介质。存储器14存储表示可由所编程的图像处理器12执行的用于测量点确定的指令的数据。在计算机可读储存介质或存储器（诸如，高速缓存、缓存器、RAM、可移除介质、硬盘驱动器或其他计算机可读储存介质）上提供用于实现本文中讨论的过程、方法和/或技术的指令。计算机可读储存介质包括各种类型的易失性和非易失性储存介质。响应于存储在计算机可读储存介质中或存储在计算机可读储存介质上的一个或多个指令集，执行本文中描述或附图中图示的功能、行为或任务。该功能、行为或任务独立于特定类型的指令集、储存介质、处理器或处理策略，且可以由单独地或以组合方式操作的软件、硬件、集成电路、固件、微代码等等来执行。同样地，处理策略可以包括多处理、多任务、并行处理等等。在一个实施例中，在可移除介质设备上存储指令以供本地或远程***读取。在其他实施例中，在远程位置中存储指令以用于通过计算机网络或在电话线上传送。在又其他实施例中，在给定的计算机、CPU、GPU或***内存储指令。

用户输入设备22是按钮、滑块、旋钮、键盘、鼠标、轨迹球、触摸屏、触摸板、其组合、或者其他现在已知或稍后开发的用户输入设备。用户可以对用户输入设备22进行操作以设置绘制值（例如，定义剪切平面、选择绘制类型或设置偏角）、选择MPR平面布置、更改一个或多个平面的定位、选择医学图像上的测量位置、和/或对***10进行操作。例如，用户输入设备22从用户接收诸如体绘制图像之类的医学图像上的定位的指示。可以接收多个这种测量位置。作为另一个示例，用户输入设备22接收用于体绘制的视向和/或一个或多个MPR的定位的用户指示。

图像处理器12是通用处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合、或者其他现在已知或稍后开发的用于处理医学图像数据的设备。图像处理器12是单个设备、多个设备或网络。对于多于一个设备，可以使用处理的并行或顺序划分。组成处理器12的不同设备可以执行不同功能，诸如分离地操作的体绘制图形处理单元和用于计算测量结果的控制处理器。在一个实施例中，图像处理器12是医学诊断成像***（诸如，医学诊断超声成像***10）的控制处理器或其他处理器。在另一个实施例中，图像处理器12是成像查验工作站或PACS***的处理器。在又一个实施例中，图像处理器12是体绘制处理器。

图像处理器12由硬件、固件和/或软件配置。例如，图像处理器12依照所存储的指令进行操作以执行本文中描述的各种行为，诸如图1的行为62、64、66、68、70、72和74。

在一个实施例中，图像处理器12被配置成显示医学图像并基于用户接口接收医学图像上的位置的用户输入。例如，从超声数据生成患者体积的MPR和/或体绘制。可以使用任何类型的体绘制，诸如沿着来自视点的射线线路或在视向上进行投影。可以提供照明、传递函数或其他体绘制操作。

图像处理器12被配置成沿着视向从定位投射射线或在平面中从定位投射射线。图像处理器12被配置成基于来自体积或平面的扫描的超声数据来选择沿着或围绕该射线的位置。该选择使用射线投射、绘制传递函数、阈值化和/或机器学习分类器的应用。例如，由投射的射线定义的子体积中的超声数据被输入到机器学习分类器，该机器学习分类器响应性地输出子体积内的位置或被限制在射线上的位置。

图像处理器12被配置成生成指示点的图形。例如，在图像中对用户输入定位以及图像处理器12确定的深度或位置处的3D点进行标记。可以生成针对基于所选择的位置的所计算的量的图形。该图形是相对于医学图像的测量位置的虚折线或其他指示物。

图像处理器12被配置成计算作为2D或3D点的函数的值。使用测量位置，处理器12计算诸如距离之类的值。可以将该量与图像一起输出到显示器16。

显示设备16是CRT、LCD、等离子体、监视器、投影仪、打印机或者其他现在已知或稍后开发的显示设备。通过将来自处理器的图像加载到显示缓存器中来配置显示器16。可替换地，通过从显示缓存器读出或接收针对像素的显示值来配置显示器16。

显示器16被配置成显示医学图像（例如，体绘制）、剪切平面导航用户界面、MPR图像、平面图形、卡尺、测量图形和/或用户界面工具。体绘制由其自身显示或与平面的图像组合地显示。可以在显示器16的屏幕的不同部分中（诸如，在不同窗口中）显示多个图像。显示器16被配置成显示图形和/或值，诸如在测量中计算的量。

尽管上面已经通过参考各种实施例描述了本发明，但是应当理解的是，可以在不脱离本发明的范围的情况下做出许多改变和修改。因此所意图的是，以上详细描述应当被视为说明性的而不进行限制，并且应当理解的是，意图限定本发明的精神和范围的是包括所有等同物的所附权利要求。

Claims (15)

1.一种用于在利用超声扫描仪的成像中的测量点确定的方法，所述方法包括：

在显示器上显示(62)从表示患者组织的体积的超声数据三维地绘制的超声图像；

从用户输入设备接收(64)所述超声图像上的测量卡尺的定位；

沿着从所述测量卡尺的所述定位到所述体积中的视向定义(66)射线，所述射线从所述测量卡尺的所述定位延伸出所述测量卡尺被定位在其上的二维平面到所述体积中；

基于来自被限于围绕并包括所述射线的所述体积的子区的超声数据的输入，利用机器学习分类器来识别(68)沿所述射线的深度；

由图像处理器计算(72)作为所述测量卡尺的所述定位和所述深度的函数的量；以及

输出(74)所述量。

2.如权利要求1所述的方法，其中显示(62)包括显示(62)所述超声图像作为图像的序列中的体绘制心脏图像；并且进一步包括通过所述序列的图像的超声数据来跟踪(70)所述定位和深度。

3.如权利要求1所述的方法，其中定义(66)所述射线包括：关于所述视向进行射线投射，所述视向是来自三维绘制的视向。

4.如权利要求1所述的方法，其中识别(68)所述深度包括：利用来自所述超声数据的强度以及来自针对所述子区的所述超声数据的梯度来识别(68)所述深度。

5.如权利要求1所述的方法，其中识别(68)所述深度包括：利用所述机器学习分类器来识别(68)所述深度，所述机器学习分类器包括概率提升树或深度神经网络学习分类器。

6.如权利要求1所述的方法，其中识别(68)所述深度包括：利用从不同器官的样本训练的所述机器学习分类器来识别(68)所述深度。

7.如权利要求1所述的方法，其中计算(72)包括：计算(72)作为所述量的距离、所述定位以及定义(66)所述体积中所述距离的端部的点。

8.如权利要求1所述的方法，其中计算(72)包括：利用所述定位以及定义(66)面积或体积的边界的三个维度中的点的点来计算(72)所述面积、体积、或者所述面积或体积的尺寸。

9.一种用于在利用医学扫描仪的成像中的测量点确定的方法，所述方法包括：

在显示器上显示(62)从表示患者组织的强度映射的医学图像；

从用户输入设备接收(64)所述医学图像上的测量卡尺的定位；

定义(66)从所述测量卡尺的所述定位延伸的射线，所述射线从所述测量卡尺的所述定位延伸出所述测量卡尺被定位在其上的二维平面到体积中；

基于来自被限于围绕并包括所述射线的子区的强度来识别(68)沿所述射线的位置；以及

由图像处理器计算(72)作为所述位置的函数的量；以及

输出(74)所述量。

10.如权利要求9所述的方法，其中显示(62)包括显示(62)表示仅平面的医学图像，其中定义(66)所述射线包括：定义(66)所述射线作为所述平面中的多个射线中的一个，所述射线具有与所述定位最接近的位置处的边界。

11.如权利要求9所述的方法，进一步包括：在追踪边界时针对其他定位而重复接收(64)、定义(66)和识别(68)，并且其中计算(72)包括作为所述边界的函数而进行计算(72)。

12.如权利要求9所述的方法，其中识别(68)所述位置包括：利用所述子区的强度到机器学习分类器的输入来进行识别(68)。

13.如权利要求9所述的方法，其中显示(62)包括体绘制，其中所述强度包括表示所述患者的组织的三维部分的超声数据，其中定义(66)所述射线包括沿着体绘制医学图像的视向定义(66)所述射线，并且其中识别(68)所述位置包括：基于来自围绕并包括所述射线的子区的强度，如在两个维度中的定位以及深度处那样在三个维度中识别(68)所述位置。

14.一种医学超声***，包括：

超声扫描仪(10)，被配置成扫描患者的体积；

用户输入设备(22)，被配置成接收所述患者的体积的体绘制图像上测量卡尺的定位的指示；以及

图像处理器(12)，被配置成：沿着视向从所述定位投射射线，基于来自所述体积的扫描的超声数据来选择沿所述射线的位置，并生成指示所述定位和所述位置处的点的图形，所述射线从所述测量卡尺的所述定位延伸出所述测量卡尺被定位在其上的二维平面到所述体积中。

15.如权利要求14所述的医学超声***，其中所述图像处理器(12)被配置成：通过将围绕并包括所述射线的子体积中的超声数据应用到机器学习分类器来进行选择。