CN116583224A - 用于器官移动性的定量评估的***、方法和装置 - Google Patents

用于器官移动性的定量评估的***、方法和装置 Download PDF

Info

Publication number
CN116583224A
CN116583224A CN202180083828.6A CN202180083828A CN116583224A CN 116583224 A CN116583224 A CN 116583224A CN 202180083828 A CN202180083828 A CN 202180083828A CN 116583224 A CN116583224 A CN 116583224A
Authority
CN
China
Prior art keywords
mobility
displacement
processor
velocity
image frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180083828.6A
Other languages
English (en)
Inventor
C·埃里克
谢华
李倩茜
R·Q·埃尔坎普
汪世英
E·布吕内勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN116583224A publication Critical patent/CN116583224A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种超声成像***可以分析图像帧的时间序列中的标志的运动以确定一个或多个标志的移动性。在一些示例中，可以通过一个或多个人工智能模型来分析图像帧的序列，以检测标志并针对检测到的标志生成流场。可以分析流场以确定标志的移动的各向同性。各向同性分析可以用于生成定量的移动性指数。

Description

用于器官移动性的定量评估的***、方法和装置
技术领域
本公开涉及用于基于超声成像来评估器官移动性的成像***和方法。特别地，用于生成卵巢和骨盆器官移动性的定量评估的成像***和方法。
背景技术
子宫内膜异位在其生殖年限期间(通常在15-49岁之间)影响1/10的妇女，这在世界范围内约有1.76亿妇女。子宫内侧上的衬里称为子宫内膜。子宫内膜异位是在子宫外发现类似于子宫内膜的组织的临床状况。这引发慢性炎症过程，并且子宫周围的组织开始结疤。当子宫内膜增厚以为受精卵的着床作好准备时，这种炎性过程在***期间通常是严重的。如果卵未受精，子宫内膜作为***的正常部分脱落。然而，在一些情况下，子宫内膜在月经期间不能完全离开身体。相反，它附着于子宫周围的器官，诸如输卵管、卵巢或大肠和小肠(直肠乙状结肠，特别是如深度浸润性子宫内膜异位)，这造成病变。病变是炎症过程的一部分；因此，它们也脱落并引起多种症状，包括极度疼痛、周期性疼痛(痛经)、慢性骨盆疼痛、肠问题和***。子宫内膜异位被检测和处置的越早，结果越好。子宫内膜异位的处置通常涉及药物或外科手术，这取决于病变的扩散及其大小。止痛药通常是非处方止痛药，并且通常推荐激素疗法，因为它减缓子宫内膜组织生长并防止子宫内膜组织的新植入(例如激素避孕药)。如果病变太大或在妊娠之前去除子宫内膜异位植入物，则腹腔镜外科手术通常是一种选择。
子宫内膜异位的检测主要利用经***超声成像(TVUS)进行。在超声检查中，子宫内膜瘤是***，其具有均匀的低回声，内部没有血液证据。功能性囊肿在***的不同阶段内消失或变得更小，而子宫内膜异位在没有处置的情况下不会收缩。标准TVUS指南建议在常规检查中检查子宫和卵巢。然而，在存在慢性疼痛的情况下，该检查仅是程序的一部分。当患者被转诊以便进行深度TVUS时，骨盆和直肠检查对于确定和排除闭塞或子宫内膜异位的存在是必要的。对这些患者的检查的最重要的部分是评估卵巢和子宫的移动性、盲管、肠壁和直肠***隔以及直肠子宫凹陷。特别地，器官移动性的研究已被证明是能够检测肠粘连的方法，并且最重要的是理解在存在子宫内膜异位的情况下子宫和卵巢之间相对于其他器官的闭塞的严重性。器官移动性(或其缺乏)也可以用于评估其他医学状况，诸如检测由于瘢痕组织(例如，肥大性瘢痕形成)的粘连。
发明内容
可以评估图像帧内器官的移动和/或器官的聚类位移，以提供一个或多个移动性图和/或移动性指数(例如，器官移动性指数)，其在一些示例中可以是定量的。移动性指数可以用作临床疾病(例如子宫内膜异位)的指标。然而，移动性指数可以用于其他医学状况，其中，器官相对于彼此的移动指示状况(例如，来自增生性瘢痕形成的粘连)。
所述***、方法和装置可以在B模式图像上实施骨盆器官(例如，子宫、卵巢、髂内血管)的标志检测。在一些示例中，人工智能(AI)(例如，深度学习、机器学习等)可以用于标志检测。在一些示例中，可以通过经***超声(TVUS)图像来采集B模式图像。可以使用AI来评估骨盆标志的B模式帧间绝对位移和/或全局移动。所述***、方法和装置可以生成二维(2D)位移和/或速度图。然后可以评估该图以确定运动的各向同性和/或各向异性。基于该评估，可以生成移动性图，其可以允许用户确定视场中的哪些骨盆结构是固定的(例如，附着到另一结构)或移动的。在一些示例中，所述***、方法和装置可以生成卵巢移动性指数(OMI)，其可以基于与所生成的图中的移动组织的量相比的固定组织的量。
可选地，在一些示例中，所述***、方法和装置可以基于速度图的速度矢量的分布来对器官位移进行聚类。可选地，在一些示例中，可以提取惯性测量单元(IMU)数据以检测推拉移动以及探头旋转，以确定对所收集的数据的哪个时间段应用OMI处理，给出关于适当执行的探头运动的用户反馈，和/或排除对由于突然/不正确的探头运动而在图像中具有损坏的运动模式的数据的处理。
根据本公开的至少一个示例，一种超声成像***可以被配置为提供标志移动性的量化，并且所述***可以包括非瞬态计算机可读介质和至少一个处理器，所述非瞬态计算机可读介质被编码有指令并且被配置为存储图像帧的时间序列，所述至少一个处理器与所述非瞬态计算机可读介质通信并且被配置为执行所述指令，其中，当被执行时，所述指令使所述至少一个处理器确定一个或多个标志是否存在于图像帧的所述序列中的个体图像帧中，输出指示被确定为存在于所述个体图像帧中的所述一个或多个标志的位置的边界框，至少部分地基于所述边界框输出针对被确定为存在于所述个体图像帧中的所述一个或多个标志的流场，至少部分地基于所述流场生成位移场的值，至少部分地基于所述流场生成指示运动的方向和量值的速度矢量的值，通过取空间平均位移场的量值除以位移场的量值/速度矢量的比率来计算位移/速度各向同性值，以及至少部分地基于所述位移/速度各向同性值生成移动性图或移动性指数中的至少一项。
根据本公开的至少一个示例，一种用于提供标志移动性的量化的方法可以包括接收图像帧的序列，确定一个或多个标志是否存在于图像帧的所述序列中的个体图像帧中，提供指示被确定为存在于所述个体图像帧中的所述一个或多个标志的位置的边界框，至少部分地基于所述边界框或图像帧的所述序列的整个帧生成针对被确定为存在于所述个体图像帧中的所述一个或多个标志的流场，至少部分地基于所述流场生成位移场的值，至少部分地基于所述流场生成指示运动的方向和量值的速度矢量的值，通过取空间平均位移场的量值除以位移场的量值/速度矢量的比率来计算位移/速度各向同性值，以及至少部分地基于所述位移/速度各向同性值生成移动性图或移动性指数中的至少一项。在一些实施例中，用于提供标志移动性的量化的方法是计算机实施的方法。在一些实施例中，确定所述一个或多个标志是否存在和提供所述边界框由第一人工智能(AI)模型执行，并且其中，生成所述流场由第二人工智能(AI)模型执行。在实施例中，所述第二AI模型包括FlowNet网络。在一些其他实施例中，用于提供标志移动性的量化的方法还包括：至少部分地基于所述位移/速度各向同性值来对所述移动性图进行分割；以及至少部分地基于对所述移动性图的分割来生成包括一个或多个区域的移动性掩模。在一些实施例中，用于提供标志移动性的量化的方法还包括：基于所述一个或多个标志的相对移动或绝对移动中的至少一项来对存在于图像帧的所述序列中的个体图像帧中的所述一个或多个标志进行聚类。在一些实施例中，用于提供标志移动性的量化的方法还包括生成基于所述位移场的所述值的位移图或基于所述速度矢量的所述值的速度图中的至少一项。在一些实施例中，用于提供标志移动性的量化的方法包括：从惯性测量单元接收针对超声探头的探头移动数据；以及从所述图像序列中排除与所述超声探头的突然运动或所述超声探头的旋转运动中的至少一项相关联的所述图像序列的各个图像。在一些实施例中，所述移动性指数指示临床状况的水平。
根据本公开的至少一个示例，存在一种包括计算机可读介质的计算机程序产品。所述计算机可读介质具有实施在其中的计算机可读代码，并且所述计算机可读代码被配置为使得在由合适的计算机或处理器执行时使所述计算机或处理器执行用于提供标志移动性的量化的方法。
附图说明
图1示出了在子宫内膜异位情况和正常情况的推拉程序期间的B模式帧序列的示例。
图2是根据本公开的原理的超声***的框图。
图3是图示根据本公开的原理的人工智能模型的输入和输出的示意图。
图4是图示根据本公开的原理的适于实施人工智能模型的神经网络的示意图。
图5A示出了根据本公开的原理的示例位移图。
图5B示出了根据本公开的原理的示例速度图。
图6示出了根据本公开的原理的示例移动性图。
图7示出了根据本公开的原理的移动性掩模的示例。
图8是根据本公开的原理的骨盆器官的示例聚类图。
图9是根据本公开的原理的用于训练和部署神经网络的过程的框图。
图10是根据本公开的原理的方法的流程图。
图11是图示根据本公开的原理的示例处理器的框图。
具体实施方式
下面对某些实施例的描述本质上仅仅是示例性的，而决不是为了限制本发明或其应用或用途。在下面对本***和方法的实施例的详细描述中，参考了附图，这些附图构成了本描述的部分，并且以图示的方式示出了可以实践所描述的***和方法的具体实施例。足够详细地描述了这些实施例，以使得本领域技术人员能够实践当前公开的装置、***和方法，并且应当理解，在不脱离本公开的精神和范围的情况下，可以利用其他实施例，并且可以进行结构和逻辑上的改变。此外，为了清楚起见，当某些特征对本领域技术人员来说是显而易见的时，将不会讨论这些特征的详细描述，以免模糊对本装置、***和方法的描述。因此，下面的详细描述不是限制性的，并且本***的范围仅由权利要求来限定。
器官移动性可以是某些医学状况的程度和/或严重性的指标。例如，经由TVUS评估的卵巢移动性可以用作指示在存在子宫内膜异位的情况下闭塞的程度和严重性的“软标记”。由于盆腔粘连的卵巢固定和输卵管降低的移动性可以是盆腔子宫内膜异位的特征。
通常，在深度超声检查期间进行移动性评估，以找出骨盆器官是否彼此粘连。例如，对于子宫内膜异位，卵巢粘连或不粘连到其他盆腔器官。在继续进行腹腔镜外科手术之前，知道闭塞程度可能是必要的。
目前，没有器官移动性的定量评估。例如，在当前的临床实践中，由专家超声医师定性评估固定或移动的卵巢。通过评估卵巢相对于子宫和同侧髂内血管的移动性来诊断卵巢移动性。通过利用TVUS探头在卵巢上施加温和的压力(推拉)来进行评估。如果卵巢在温和的压力下在同侧髂内血管或子宫上自由移动，则它们可以被认为是“移动的”。当卵巢由于骨盆粘连的存在而不相对于子宫和/或卵巢窝自由移动时，卵巢被认为是“固定的”。如今，这种评估不是定量地进行的，而是它仅通过在TVUS期间对骨盆器官的灵活性的定性观察来支持。
图1示出了在子宫内膜异位情况和正常情况的推拉程序期间的B模式帧序列的示例。在左列中，存在严重程度的闭塞，因为囊肿附着到相邻的骨盆组织，并且当超声医师试图推动骨盆结构以双重检查其移动性时，整个结构非常固定。在右列上，对健康子宫执行完全相同的推拉程序，其中，骨盆器官非常自由地移动(图像上的特征在每个帧中都是变化的)。
子宫内膜异位的检测越早，它可以被处置得越早。在目前的实践中，特别是在早期阶段的子宫内膜异位的检测可能被没有经验的超声医师遗漏。这是一个日益增长的问题，因为经训练的超声医师的数量被发达国家和发展中国家超声的日益增长的使用所超过。因此，器官移动性(诸如卵巢移动性)的定量度量可以是期望的。器官移动性的定量评估可以改善与器官移动性相关的各种医学状况(例如子宫内膜异位)的检测和诊断。
根据本公开，人工智能(AI)可以用于通过检查(一个或多个)器官相对于相邻骨盆器官的运动来进行对器官移动性(例如卵巢移动性)的智能评估。如本文所使用的，AI是指机器学***。可以利用移动性指数来对一起移动的骨盆标志(例如，在存在深度浸润性骨盆子宫内膜异位的情况下，卵巢和子宫作为单个块移动)进行聚类。另外地或替代地，移动性指数可以用于生成移动性掩模。移动性掩模可以与B模式图像并排显示给用户，以指示在器官移动性评估程序期间视场中的闭塞水平(例如，利用TVUS探头施加温和的压力)。
图2示出了根据本公开的原理构建的超声成像***200的框图。根据本公开的超声成像***200可以包括换能器阵列214，其可以被包括在超声探头212(例如，外部探头或内部探头，诸如经***超声(TVUS)探头)中。换能器阵列214被配置为发射超声信号(例如，波束、波)并接收响应于超声信号的回波。可以使用各种换能器阵列，例如，线性阵列、弯曲阵列或相控阵列。例如，换能器阵列214能够包括换能器元件的二维阵列(如图所示)，该二维阵列能够在仰角和方位角这两个维度上扫描，以用于2D成像和/或3D成像。众所周知，轴向方向是垂直于阵列面的方向(在弯曲阵列的情况下，轴向方向呈扇形散开)，方位角方向通常由阵列的纵向维度来定义，而仰角方向横切于方位角方向。
可选地，在一些示例中，超声探头212可以包括惯性测量单元(IMU)270。IMU 270可以包括加速度计、陀螺仪、磁力计和/或其组合。IMU 270可以提供与探头212的速度、加速度、旋转、角速率和/或取向有关的数据(统称为探头移动数据)。
在一些实施例中，换能器阵列214可以被耦合到微波束形成器116，微波束形成器116可以位于超声探头212中，并且可以通过阵列214中的换能器元件来控制对信号的发射和接收。在一些实施例中，微波束形成器216可以通过阵列214中的激活元件(例如，在任何给定时间时定义激活孔径的阵列的元件的激活子集)来控制对信号的发射和接收。
在一些实施例中，微波束形成器216可以例如通过探头线缆或无线地耦合到发射/接收(T/R)开关218，其在发射与接收之间切换并且保护主波束形成器222免受高能发射信号的影响。在一些实施例中，例如在便携式超声***中，T/R开关218和***中的其他元件能够被包括在超声探头212中，而不是被包括在可以容纳图像处理电子器件的超声***基座中。超声***基座通常包括软件和硬件部件，包括用于信号处理和图像数据生成的电路以及用于提供用户接口的可执行指令(例如，处理电路250和用户接口224)。
在微波束形成器216的控制下从换能器阵列214的超声信号发射由发射控制器220来指导，该发射控制器220可以被耦合到T/R开关218和主波束形成器222。发射控制器220可以控制波束***控的方向。波束可以从换能器阵列214(垂直于换能器阵列214)直线操控，或以不同的角度操控以获得更宽的视场。发射控制器220还可以被耦合到用户接口224并且接收来自用户对用户控键的操作的输入。用户接口224可以包括一个或多个输入设备，例如，控制面板252，其可以包括一个或多个机械控件(例如，按钮、编码器等)、触敏控件(例如，轨迹板、触摸屏等)和/或其他已知的输入设备。
在一些实施例中，由微波束形成器216产生的部分波束形成的信号可以被耦合到主波束形成器222，在主波束形成器222中，来自换能器元件的个体片的部分波束形成的信号可以被组合成完全波束形成的信号。在一些实施例中，省去了微波束形成器216，并且换能器阵列214处于执行所有信号波束形成的主波束形成器222的控制之下。在具有和不具有微波束形成器216的实施例中，主波束形成器222的波束形成的信号都被耦合到处理电路250，其可以包括一个或多个处理器(例如，信号处理器226、B模式处理器228、多普勒处理器260以及一个或多个图像生成和处理部件268)，其被配置为根据波束形成的信号(例如，波束形成的RF数据)来产生超声图像。
信号处理器226可以被配置为以各种方式(例如，带通滤波、抽取、I和Q分量分离以及谐波信号分离)处理接收到的波束形成的RF数据。信号处理器226还可以执行额外的信号增强，例如，散斑抑制、信号复合和噪声消除。经处理的信号(也被称为I和Q分量或IQ信号)可以被耦合到额外的下游信号处理电路以用于图像生成。IQ信号可以被耦合到***内的多条信号路径，其中的每条信号路径可以与适合用于生成不同类型的图像数据(例如，B模式图像数据、多普勒图像数据)的信号处理部件的特定布置相关联。例如，该***可以包括B模式信号路径258，B模式信号路径258将来自信号处理器226的信号耦合到B模式处理器228，以用于产生B模式图像数据。
B模式处理器能够采用幅度检测来对体内结构进行成像。由B模式处理器228产生的信号可以被耦合到扫描转换器230和/或多平面重新格式化器232。扫描转换器230可以被配置为将回波信号根据它们被接收的空间关系布置成期望的图像格式。例如，扫描转换器230可以将回波信号布置成二维(2D)扇形格式，或金字塔形或其他形状的三维(3D)格式。多平面重新格式化器232能够将从身体的体积区域中的公共平面中的点接收到的回波转换成该平面的超声图像(例如，B模式图像)，例如，如在美国专利号6443896(Detmer)中所描述的那样。在一些实施例中，扫描转换器230和多平面重新格式化器232可以被实施为一个或多个处理器。
体积绘制器234可以生成如从给定参考点观看到的3D数据集的图像(也被称为投影、绘制或绘制结果)，例如，如在美国专利号6530885(Entrekin等人)中所描述的那样。在一些实施例中，体积绘制器234可以被实施为一个或多个处理器。体积绘制器234可以通过任何已知的或未来已知的技术(例如，表面绘制和最大强度绘制)来生成绘制(例如，正绘制或负绘制)。
在一些实施例中，该***可以包括将来自信号处理器226的输出耦合到多普勒处理器260的多普勒信号路径262。多普勒处理器260可以被配置为估计多普勒频移并生成多普勒图像数据。多普勒图像数据可以包括彩色数据，然后用B模式(即，灰度)图像数据叠加该彩色数据以进行显示。多普勒处理器260可以被配置为例如使用壁滤波器来滤除不想要的信号(即，与非移动组织相关联的噪声或杂乱信号)。多普勒处理器260还可以被配置为根据已知的技术来估计速度和功率。例如，多普勒处理器可以包括诸如自相关器的多普勒估计器，其中，速度(多普勒频率、谱多普勒)估计基于lag-1自相关函数的自变量，而多普勒功率估计基于lag-0自相关函数的量值。还能够通过已知的相位域(例如，诸如MUSIC、ESPRIT等参数频率估计器)或时域(例如，互相关)信号处理技术来估计运动。代替速度估计器或除了速度估计器以外，能够使用与速度的时间或空间分布有关的其他估计器，例如，加速度的估计器，或时间和/或空间速度导数的估计器。在一些实施例中，速度和/或功率估计可以经历进一步的阈值检测以进一步降低噪声，并且还经历分割和后处理(例如，填充和平滑)。然后，可以根据颜色图将速度和/或功率估计映射到期望的显示颜色范围。彩色数据(也被称为多普勒图像数据)然后可以被耦合到扫描转换器230，在扫描转换器230中，多普勒图像数据可以被转换成期望的图像格式，并且被叠加在组织结构的B模式图像上，以形成彩色多普勒或功率多普勒图像。在一些示例中，在将彩色多普勒图像叠加到B模式图像上之前，可以使用功率估计(例如，lag-0自相关信息)来掩蔽或分割彩色多普勒中的流动(例如，速度估计)。
来自扫描转换器230、多平面重新格式化器232和/或体积绘制器234的输出可以被耦合到图像处理器236，以用于在图像显示器238上显示之前进行进一步的增强、缓冲和临时存储。图形处理器240可以生成与图像一起显示的图形叠加。这些图形叠加能够包含例如标准识别信息(例如，患者姓名)、图像的日期和时间、成像参数等。出于这些目的，图形处理器可以被配置为从用户接口224接收输入，例如，键入的患者姓名或其他注释。用户接口224也能够被耦合到多平面重新格式化器232，以用于选择和控制对多个多平面重新格式化(MPR)图像的显示。
***200可以包括本地存储器242。本地存储器242可以被实施为任何合适的非瞬态计算机可读介质(例如，闪存驱动器、磁盘驱动器)。本地存储器242可以存储由***200生成的数据，包括超声图像、可执行指令、成像参数、训练数据集或***200操作所需的任何其他信息。在一些示例中，本地存储器242可以包括可以是相同或不同类型的多个存储器。例如，本地存储器242可以包括动态随机存取存储器(DRAM)和闪存存储器。
如前面所提到的，***200包括用户接口224。用户接口224可以包括显示器238和控制面板252。显示器238可以包括使用各种已知的显示技术(例如，LCD、LED、OLED或等离子显示技术)实施的显示设备。在一些实施例中，显示器238可以包括多个显示器。控制面板252可以被配置为接收用户输入(例如，检查类型、成像参数)。控制面板252可以包括一个或多个硬控件(例如，按钮、旋钮、拨号盘、编码器、鼠标、轨迹球等)。在一些实施例中，控制面板252可以额外地或替代地包括在触敏显示器上提供的软控件(例如，GUI控制元件或被简称为GUI控件)。在一些实施例中，显示器238可以是触敏显示器，其包括控制面板252的一个或多个软控件。
在一些实施例中，图2所示的各个部件可以被组合。例如，多平面重新格式化器232和体积绘制器234可以被实施为单个处理器。在一些实施例中，图2所示的各个部件可以被实施为单独的部件。例如，信号处理器226可以被实施为用于每种成像模式(例如，B模式、多普勒)的单独的信号处理器。在另一示例中，图像处理器236可以被实施为用于不同任务和/或相同任务的并行处理的单独处理器。在一些实施例中，图2所示的各个处理器中的一个或多个处理器可以由通用处理器和/或被配置为执行特定任务的微处理器来实施。在一些示例中，可以通过从非瞬态计算机可读介质(例如，从本地存储器242)提供用于任务的指令来配置处理器。然后可以由处理器执行指令。在一些实施例中，各个处理器中的一个或多个处理器可以被实施为专用电路。在一些实施例中，各个处理器中的一个或多个处理器(例如，图像处理器236)可以用一个或多个图形处理单元(GPU)来实施。
将参考卵巢移动性和子宫内膜异位的检测和/或分级来描述本公开的原理。然而，这仅仅是出于示例性目的，并且本公开的原理可以应用于其他器官的移动性以及其他状况的检测和/或分级。例如，本公开的原理还可以应用于膀胱和/或肠的移动性。其他状况可以包括瘢痕形成和/或拉伸的支持组织(例如，筋膜、韧带)。在另一示例中，可以评估可植入设备的移动性以确定适当的放置/植入。
在移动性检查期间，用户可以向超声探头212施加推拉运动，以向一个或多个器官施加压力。例如，在经***检查期间，可以***和移除(或部分移除)TVUS探头以向骨盆器官(诸如卵巢)施加压力。压力可能使器官的暂时位移。超声***200可以在移动性检查期间经由探头212的换能器阵列214采集图像帧的时间序列。图像帧可以包括换能器阵列214的视场中的一个或多个器官。例如，在卵巢移动性检查中，一个或两个卵巢、子宫的至少一部分、肠的至少一部分和/或髂内血管的至少一部分可以存在于图像帧或至少一些图像帧中。
然后可以由一个或多个处理器(诸如图像处理器236)分析图像帧序列。在一些示例中，图像处理器236可以包括任何一个或多个机器学习、AI算法和/或多个神经网络(统称为AI模型)。在一些示例中，图像处理器236可以包括深度神经网络(DNN)、卷积神经网络(CNN)、递归神经网络(RNN)、自动编码器神经网络和/或单步检测器等中的一个或多个，以对图像帧中的器官进行分割和识别(例如，标志检测)，评估器官的帧间位移和移动(例如，移动分析)，和/或生成器官位移的聚类(例如，聚类分析)。AI模型可以以硬件(例如，神经网络的神经元通过物理部件来表示)和/或软件(例如，神经元和路径以软件应用的方式被实施)部件的方式被实施。根据本公开实施的神经网络可以使用各种各样的拓扑和学习算法，以用于训练神经网络以产生期望的输出。例如，基于软件的神经网络可以使用被配置为执行指令的处理器(例如，单或多核CPU、单个GPU或GPU集群、或被布置用于并行处理的处理器)来实施，所述指令可以被存储在计算机可读介质中，并且当被执行时，所述指令使处理器执行经训练的算法。在一些示例中，图像处理器236可以结合其他图像处理方法(例如，分割、直方图分析)来实施AI。
在各种示例中，AI模型可以使用各种各样的目前已知或随后开发的学习技术来进行训练以获得被配置为分析超声图像、测量和/或统计形式的输入数据的神经网络(例如，经训练的算法或节点的基于硬件的***)。在一些实施例中，AI模型可以被统计地训练。即，AI模型可以利用数据集来进行训练，并且被部署在***200上并由图像处理器236来实施。在一些实施例中，AI模型可以被动态地训练。在这些示例中，AI模型可以利用初始数据集来进行训练，并且被部署在***200上。然而，AI模型可以在AI模型部署在***200上并由图像处理器236实施之后基于由该***采集的超声图像继续训练并且被修改。
在一些示例中，AI模型中的一个或多个的输出可以用于生成位移图、速度图、移动性图和/或移动性掩模。该图可以用于确定运动/位移的各向同性和/或各向异性。所确定的各向同性和/或各向异性可以用于生成器官移动性(例如，闭塞)指数(OMI)。在一些示例中，图、各向同性和/或各向异性的确定和/或OMI可以由图像处理器236生成。
可选地，在一些示例中，来自IMU 270的探头移动数据可以被提供给一个或多个处理器，诸如图像处理器236、B模式处理器228和/或扫描转换器230。探头移动数据可以用于确定将序列的哪些图像帧提供给AI以进行分析。例如，可以从分析中排除包括与由于突然/不正确的探头运动的图像帧中的受损运动模式相关联的数据的图像帧。另外地或替代地，探头移动数据可以用于为移动性检查提供关于针对推拉技术的探头运动的适当执行的用户反馈。
对于一致的移动性测量，探头212应当对周围组织施加显著的推动，而同时，探头212不应当旋转。旋转可能导致平面外运动。平面外运动可能在AI的运动跟踪中产生不准确性，例如，由于正被跟踪的结构的更快的去相关速率。此外，如果器官结构在仰角维度上改变形状，则平面外运动可能在没有运动的情况下产生运动模式的错误印象。通过使用来自IMU 270的数据区分推拉移动与探头的旋转以选择性地处理数据和/或向用户提供关于推拉运动的正确执行的反馈，可以减少操作者在执行移动性检查时的可变性。
图3是图示根据本公开的原理的人工智能模型的输入和输出的示意图。在一些示例中，AI模型可以由包括在超声成像***(诸如超声成像***200)中的一个或多个处理器来实施。
在移动性检查期间采集的图像帧300的时间序列可以被提供给检测图像帧300的序列内的器官和/或其他生理特征(例如，血管)(统称为标志)的标志检测和/或器官分类AI模型304。图像帧300的序列可能已经由超声探头(诸如超声探头212)采集。可选地，在一些示例中，探头移动数据302可以用于在被提供给标志检测AI模型304之前从图像帧300的序列中阻挡/移除个体帧。例如，可以从提供给标志检测AI模型304的图像帧300的序列中排除与突然和/或不正确(例如，旋转)运动相关联的图像帧。在一些示例中，探头移动数据302可以由与探头相关联的IMU(诸如IMU 270)提供。
在一些示例中，标志检测AI模型304可以包括多个深度学习网络，其中，可以利用来自一个网络的输出来发起对被设计用于学习不同任务的新深度学习网络的训练，意味着可以利用多个网络来获得标志检测AI模型304的最终输出。同时检测和分割(SDS)(YOLOv2,MobileNet SSD lite,SSD:Single Shot MultiBox Detector networks)是可以被训练为在图像帧300的序列中执行标志检测的合适深度学习网络的示例。在一些示例中，标志检测AI模型304的输出306可以包括一个或多个预测的边界框(BB)处于图像坐标(xo，zo，BB的宽度，BB的高度)中的位置，其中，每个BB与不同的标志(例如，子宫、卵巢和髂血管)相关联。在一些示例中，标志检测AI模型304的输出306可以是图像帧300的序列，其中，边界框被标记、链接和/或以其他方式与图像帧300的序列中的适当图像帧相关联。另外地或替代地，在一些示例中，可以通过其他图像分割技术(例如，边缘检测、直方图分析)执行标志检测以生成边界框。
来自标志检测AI模型304的输出306可以被提供给移动分析AI模型308。在输出306可以包括边界框的坐标和/或整个对应图像帧的示例中，还可以将图像帧300的序列提供给移动分析模型308。移动分析AI模型308可以包括被训练为提取光流的深度学习网络，光流即为由标志检测AI模型304检测到的标志的(一个或多个)运动模式。换句话说，移动分析AI模型308确定器官和/或其他生理特征跨时间上相邻图像帧的2D位移。将参考图4更详细地描述可以包括在移动分析模型308中的合适深度学习网络。另外地或替代地，可以通过诸如散斑分析的其他技术来执行移动分析。
由移动分析AI模型308生成的输出可以用于生成位移场的位移值和速度矢量的值。这些值可以用于生成位移图310和/或速度图312。位移图310提供标志的位移场的图形描绘，并且速度图312提供图像序列300的个体图像帧的个体像素的移动的量值和方向的图形描绘。参考图5A示出和描述了示例位移图，并且参考图5B示出和描述了示例速度图。
可以分别分析位移图310和速度图312的位移和速度数据，以量化位移/速度各向同性。各向同性的程度是空间平均位移/速度矢量的量值与位移/速度矢量的量值的比率。量化的各向同性值可以用于生成移动性图318。参考图6示出和描述了示例移动性图。在一些示例中，移动性图318可以由一个或多个处理器(诸如图像处理器236)生成。
为了生成移动性图318而提供的各向同性数据可以用于生成定量移动性指数(例如，闭塞指数)320。根据从移动分析AI模型308确定的标志(例如，骨盆结构)的绝对和相对移动、以及来自标志检测AI模型304的用于标志检测的边界框，可以确定自由和固定组织。例如，对于卵巢移动性，如果TVUS B模式图像具有300×300的大小并且B模式相邻图像(帧N和帧N+1)上的标志占据75％的视场，则可以从位移相关性中提取多少组织自由移动或被固定。在一些示例中，移动性指数320可以是自由移动的组织与总组织相比的百分比。在这些示例中，高百分比可以指示高移动性，并且低百分比可以指示低移动性。在一些应用中，移动性指数320可以用于对医学状况进行检测和/或分级。例如，当移动性指数320等于或低于阈值时，可以确定状况。在另一示例中，可以基于移动性指数320的值的范围而将状况确定为某个等级。在一些示例中，移动性指数320可以由一个或多个处理器(诸如图像处理器236)生成。
为了生成移动性图318而提供的各向同性数据可以用于生成移动性掩模322。移动性掩模322可以是来自移动性图318的数据的用户友好描绘，其叠加在图像帧300的序列中的至少一幅图像上。移动性掩模322可以基于来自移动性图318的移动性数据而通过轮廓、颜色和/或阴影来描绘不同的区域。参考图7示出和描述了示例性移动性掩模。在一些示例中，移动性掩模322可以由一个或多个处理器(诸如图像处理器236)生成。
可选地，可以将移动分析AI模型308的输出和标志检测AI模型304的输出提供给聚类分析AI模型314。当输出306不包括图像帧300时，还可以将图像帧300提供给聚类分析AI模型314。聚类分析AI模型314可以分析速度矢量跨图像帧300的序列中的时间上相邻帧移动的空间相干性。聚类分析AI模型314可以被训练为根据标志的绝对和相对移动来对标志进行聚类。在一些示例中，聚类分析AI模型314包括深度学习模型，以确定在轨迹分布中包括多少独特组。在一些示例中，模型可以使用G均值聚类算法，G均值聚类算法可以使用统计测试自动发现聚类的数量。在其他示例中，可以使用其他算法和/或模型。在一些示例中，轨迹聚类可以用于淡化骨盆标志的边界处的移动。聚类分析AI模型314可以输出聚类图316。在图8中示出了骨盆器官的示例聚类图。
在一些示例中，图3中所示的所有AI模型可以由不同的处理器实施。在一些示例中，图3中所示的AI模型中的一个或多个可以由相同的处理器实施。在一些示例中，AI模型中的一个或多个可以由多个处理器实施。在一些示例中，移动性图318、移动性指数320和/或移动性掩模322可以由与用于实施AI模型的至少一个处理器相同或不同的(一个或多个)处理器生成。
图4是图示根据本公开的原理的适于实施人工智能模型的神经网络的示意图。在一些示例中，移动分析模型308可以包括一个或多个卷积神经网络。在一些示例中，卷积神经网络中的一个或多个卷积神经网络可以是FlowNet网络400。FlowNet是被设计为学习相邻帧之间的相关性并且依赖于对象(例如，标志)跨帧的位移的卷积神经网络。FlowNet络网络400的输入可以是连续图像帧402(例如，图像帧300的时间序列)和对象位置信息(例如，来自标志检测AI模型304的输出306)。FlowNet网络400可以输出针对图像帧402内的对象的预测流场404。流场404也可以可互换地称为位移场。流场404可以允许对与帧402内的对象相关的绝对运动和/或全局移动的分析。在一些示例中，流场404可以用于分别生成位移和/或速度图，诸如位移图310和速度图312。
在图4所示的示例FlowNet网络400中，连续图像帧被输入到单独的相同处理流中。处理流包括一个或多个卷积层。在经过单独的处理流之后，图像帧由比较由处理流的最后卷积层输出的特征图的相关性层组合。组合的图像帧经过一个或多个卷积层以生成预测流场404。可选地，输出可以经过变分细化层以生成预测流场404。FlowNet网络400的附加细节和替代结构可以在A.
Dosovitskiy等人的“FlowNet:Learning Optical Flow with ConvolutionalNetworks”(2015IEEE International Conference on Computer Vision(ICCV),Santiago,2015,第2758-2766页)中找到。
流场404可以利用如图4中所示的FlowNet网络400来生成。替代地，可以使用诸如散斑跟踪的其他方法来识别图像帧402中的标志的运动。在一些示例中，可以通过利用传统的帧间跟踪方法(诸如用于训练FlowNet网络400的散斑跟踪)生成流图来获得流模式的基准真相生成。
图5A示出了根据本公开的原理的示例位移图。在一些示例中，可以根据通过归一化由运动分析AI模型(诸如运动分析AI模型308)输出的流场(例如，流场404)而生成的位移场的值来生成位移图。基于从健康对象的卵巢移动性检查采集的数据来生成位移图500和502，并且基于从患有子宫内膜异位的对象(例如，不健康对象)采集的数据来生成位移图504和506。在健康对象的位移图500、502中，流场的模式比在不健康对象的位移图504、506中更异质，表明位移是非常混乱的。相反，对于不健康对象，其中，骨盆组织完全在相同方向上以高相关性移动(如通过位移图505、506的均匀阴影的大面积所示)，表明闭塞看起来是严重的。显然，帧间位移在健康对象中更加混乱。
图5B示出了根据本公开的原理的示例速度图。速度图可以提供被图示为叠加在图像帧上的抖动箭头的矢量，其中，矢量指示图像帧的像素的运动的方向和量值。可以基于速度矢量的值来生成速度图，所述速度矢量的值基于对图像帧的序列中的标志的运动的跟踪，例如，基于由运动分析AI模型(诸如运动分析AI模型308)输出的流场。速度图508、510、516和518基于从健康对象的卵巢移动性检查采集的数据生成，并且速度图512和514基于从患有子宫内膜异位的对象(例如，不健康对象)采集的数据来生成。在一些应用中，健康情况可能与速度矢量的混乱或随机分布(例如，各向异性)相关联，而更各向同性的分布与不健康情况相关联。在一些应用中，速度图可以帮助用户理解组织闭塞的程度。例如，在速度图512和514中，在不健康情况下，抖动箭头都移动到几乎相同的方向(向上和向下)。相反，对于健康对象，存在更混乱的移动，其中，速度矢量指向速度图508、510、516和518中的各种不同方向。
分别用于生成图5A和5B中所示的位移和速度图的位移和速度数据可以用于生成称为位移/速度各向同性的针对器官移动性的定量度量。位移/速度各向同性被计算为空间平均位移/速度矢量的量值与位移/速度矢量的量值(例如，来自图5A中所示的位移图的数据的平均值和来自图5B中所示的速度图的数据的平均量值)的比率。位移/速度各向同性是无量纲参数，并且可以用于量化移动组织的位移/速度模式。
图6示出了根据本公开的原理的示例移动性图。移动性图600和602根据在移动性检查期间从健康对象采集的数据来生成，并且移动性图604和606根据从患有子宫内膜异位的对象(例如，不健康对象)采集的数据来生成。移动性图600、602、604和606是根据用于生成位移和速度图(诸如图5A和5B中所示的位移和速度图)的数据生成的位移/速度各向同性的图形表示。在一些示例中，位移/速度各向同性值的数量可以等于来自被分析的图像帧的序列的图像帧中的像素的数量。
在健康对象中，组织运动在多个方向上非常混乱。如在移动性图600、602中看到的，空间平均位移/速度矢量被抵消，导致非常低的各向同性/高各向异性(例如，接近零的值)。在一些应用中，各向异性运动可以与“移动性”相关联和/或被称为“移动性”。在不健康对象中，组织运动在几乎相同方向上更加均匀得多。在移动性图604、606中，空间平均位移/速度矢量根本没有被抵消，导致非常高的各向同性(例如，接近一的值)。
虽然位移/速度各向同性是移动性的定量度量，但是移动性图(诸如图6中所示的那些)对于用户(特别是新手用户)来说可能难以解读。因此，在一些应用中，可以向用户提供更用户友好的移动性描绘。
图7示出了根据本公开的原理的移动性掩模的示例。移动性掩模700、702和704根据在移动性检查期间从患有子宫内膜异位的对象(例如，不健康对象)采集的数据来生成，并且移动性掩模706、708和710根据从健康对象采集的数据来生成。图7中所示的移动性掩模可以通过对对应的移动性图(诸如图6中所示的那些)进行分割来生成。具有相等和/或类似位移/速度各向同性值的区域可以被分组成不同的区域，诸如在移动性掩模704中指示的区域712、714和716。在一些示例中，区域712、714、716可以基于位移/速度各向同性值的阈值和/或值的范围。在一些示例中，具有不同位移/速度各向同性值或其范围的区域可以用不同的颜色、模式和/或强度显示。在一些示例(诸如图7所示的示例)中，移动性掩模可以叠加到来自图像帧的序列(例如，图像帧300的序列)的一个或多个图像帧上。在一些示例中，移动性掩模可以与对应的移动性图并排地提供在显示器(诸如显示器238)上。
显示在移动性掩模上的信息可以提供更容易解读的与视场中的标志位移程度有关的信息(与移动性图相比)以及与速度矢量的分布有关的各向同性/各向异性信息。例如，如移动性掩模706、708和710中所示的自由移动的卵巢显示骨盆标志的低程度的闭塞。在存在组织闭塞和子宫内膜异位的情况下，诸如在移动性掩模700、702和704中，卵巢可能看起来“固定”，并且一些或所有标志可以作为块都一起移动，显示速度矢量的非常高的位移各向同性。
在一些应用中，向用户生成示出闭塞程度的视觉反馈(例如利用如图7中所示的移动掩模)可以帮助用户在早期阶段可视化与器官移动相关性的医学状况(例如子宫内膜异位)的发作。
如前所述，移动性基于“自由移动”组织的量对比“固定”组织的量。例如，移动性指数可基于具有等于或低于阈值的位移/速度各向同性值的像素对比像素的总数量的百分比。例如，图7左侧的不健康对象可以具有15％的移动性指数，而图7右侧的健康对象可以具有75％的移动性指数。在一些示例中，移动性指数可以与移动性掩模和/或移动性图一起显示。在一些示例中，移动性指数可以与图像帧一起显示，而不显示移动性掩模和/或移动性图。
可选地，流场(例如，流场404)和/或来自根据流场生成的位移和速度图(例如，图5A和5B中所示的位移和速度图)的数据可以通过聚类分析AI模型(诸如聚类分析AI模型314)来分析。图8是根据本公开的原理的骨盆器官的示例聚类图。聚类图800通过位移来对骨盆器官(例如，标志)进行聚类。聚类图800可以提供对哪些器官被融合和/或影响其他器官的移动性的洞察。
图9示出了根据本公开的原理的用于训练和部署神经网络的过程的框图。图9所示的过程可以用于训练由医学成像***实施的AI模型，诸如图3中所示的AI模型。图9的左侧(阶段1)图示了AI模型的训练。为了训练AI模型，包括输入阵列和输出分类的多个实例的训练集可以被呈现给(一个或多个)AI模型的(一种或多种)训练算法(例如，AlexNet训练算法，如Krizhevsky,A.、Sutskever,I.和Hinton,G.E.的“ImageNet Classification withDeep Convolutional Neural Networks”
(NIPS 2012)所描述的，或其后代)。训练可以涉及选择起始架构912和准备训练数据914。起始架构912可以是空白架构(例如，具有定义的层和节点布置但没有任何先前训练的权重的架构)或经部分训练的模型(例如，开端网络)，所述经部分训练的模型然后可以被进一步定制以用于超声图像的分类。起始架构912(例如，空白权重)和训练数据914被提供给训练引擎910(例如，ADAM优化器)以用于训练模型。在足够次数的迭代后(例如，当模型在可接受的误差内一致地执行时)，模型920被认为已被训练好并准备好了部署，在图9的中间(阶段2)图示出这种情况。在图9的右侧(或阶段3)，(经由推理引擎930)应用经训练的模型920来分析新的数据932，新的数据932是在初始训练期间(在阶段1中)没有呈现给模型的数据。例如，新的数据932可以包括未知图像，诸如在扫描患者期间获取的实况超声图像(例如，在移动性检查期间的骨盆图像)。经由引擎930实施的经训练的模型920用于根据模型920的训练对未知图像进行分类以提供输出934(例如，生成边界框、流场、聚类图)。然后，输出934可以被该***用于后续过程940(例如，生成位移和/或速度图、生成移动性图和/或掩模、生成OMI)。
在使用经训练的模型920来实施由处理器(诸如图像处理器236)执行的神经网络的实施例中，起始架构可以是卷积神经网络或深度卷积神经网络的起始架构，该起始架构可以被训练为检测标志、分析移动和/或执行标志的聚类分析。训练数据914可以包括多幅(数百幅，常常为数千幅或甚至更多幅)经注释/标记的图像(也被称为训练图像)。应当理解，训练图像不需要包括由成像***产生的完整图像(例如表示超声探头的完整视场或整个MRI体积)，而是可以包括图像的片或部分，例如，包括感兴趣器官的那些部分。
在各种实施例中，经训练的AI模型可以被至少部分地实施在包括由处理器(例如，图像处理器236)运行的可执行指令的计算机可读介质中。
在一些示例中，为了获得用于检测标志的基准真相以便训练标志检测AI模型(诸如标志检测AI模型304)，经训练的超声医师可以通过将边界框放置在存在于视场中(例如，在图像帧中可见)的每个器官(例如，标志)周围来注释B模式图像的序列中的B模式图像。在一些应用中，例如对于子宫内膜异位检测，可以在推拉移动性评估程序期间采集的每个TVUS B模式帧上进行该标记程序。在一些示例中，也可以利用由该组训练图像的边界框标记的器官来生成基准真相光流掩模以训练移动分析AI模型，诸如移动分析AI模型308。
图10是根据本公开的原理的方法的流程图。在一些示例中，方法1000可以全部或部分地由超声成像***(诸如图2中所示的***200)执行。在一些示例中，方法1000可以全部或部分地由超声成像***的至少一个处理器(诸如图像处理器236)执行。方法1000可以提供标志移动性的量化。标志可以包括器官、血管、其他生理特征和/或植入设备。
如在框1002处指示的，至少一个处理器可以接收图像帧的序列。在一些示例中，图像帧可以是B模式图像帧。在一些示例中，该序列可以是时间序列。如在框1004和1006处指示的，至少一个处理器可以确定一个或多个标志是否存在于图像帧的序列中的个体图像帧中，并且提供指示被确定为存在于个体图像帧中的一个或多个标志的位置的边界框。在一些示例中，确定是否存在一个或多个标志并提供边界框由一个或多个处理器实施的AI模型(诸如标志检测AI模型304)执行。
至少一个处理器可以至少部分地基于边界框或替代地基于整个帧针对被确定为存在于个体图像帧中的一个或多个标志生成流场，如通过框1008指示的。在一些示例中，生成流场由至少一个处理器实施的AI模型(诸如移动分析AI模型308)执行。在一些示例中，AI模型包括FlowNet网络，诸如FlowNet网络400。
至少一个处理器可以至少部分地基于流场来生成包括位移场的值的位移图以及包括指示运动的方向和量值的速度矢量的值的速度图，如通过框1010和1012指示的。
如在框1014处指示的，至少一个处理器可以计算位移/速度各向同性值。在一些示例中，可以通过取空间平均位移场的量值除以位移场的量值/速度矢量的比率来计算该值。
至少一个处理器可以至少部分地基于位移/速度各向同性值来生成移动性图，如在框1016处指示的。
可选地，在一些示例中，如在框1018处指示的，至少一个处理器可以基于对位移/速度各向同性值的分析来计算移动性指数。
可选地，在一些示例中，至少一个处理器可至少部分地基于位移/速度各向同性值来对移动性图进行分割，并且至少部分地基于对移动性图的分割来生成包括一个或多个区域的移动性掩模。移动性掩模可以与移动性图一起显示和/或叠加在图像帧的图像序列中的图像帧上。
可选地，至少一个处理器可以基于一个或多个标志的相对移动或绝对移动中的至少一项来对存在于图像帧的序列中的个体图像帧中的一个或多个标志进行聚类。在一些示例中，聚类由至少一个处理器实施的AI模型(诸如聚类分析AI模型314)执行。在一些示例中，AI模型包括G均值聚类算法。
可选地，在一些示例中，至少一个处理器可以从惯性测量单元(例如，IMU 270)接收超声探头(例如，超声探头212)的探头移动数据，并且从图像序列中排除与超声探头的突然运动或超声探头的旋转运动中的至少一项相关联的图像序列中的个体图像。
图11是根据本公开的原理的示例处理器1100的框图。处理器1100可以用来实施本文中描述的一个或多个处理器和/或控制器，例如，图2中示出的图像处理器236和/或图2中示出的任何其他处理器或控制器。处理器1100可以是任何合适的处理器类型，包括但不限于微处理器、微控制器、数字信号处理器(DSP)、现场可编程阵列(FPGA)(其中，FPGA已经被编程为形成处理器)、图形处理单元(GPU)、专用电路(ASIC)(其中ASIC已经被设计为形成处理器)或其组合。
处理器1100可以包括一个或多个核心1102。核心1102可以包括一个或多个算术逻辑单元(ALU)1104。在一些实施例中，除了代替ALU 1104之外或代替ALU 1104，核心1102可以包括浮点逻辑单元(FPLU)1106和/或数字信号处理单元(DSPU)1108。
处理器1100可以包括被通信性地耦合到核心1102的一个或多个寄存器1112。寄存器1112可以使用专用的逻辑门电路(例如，触发器)和/或任何存储器技术来实施。在一些实施例中，寄存器1112可以使用静态存储器来实施。寄存器可以向核心1102提供数据、指令和地址。
在一些实施例中，处理器1100可以包括被通信性地耦合到核心1102的一个或多个水平的高速缓冲存储器1110。高速缓冲存储器1110可以向核心1102提供用于执行的计算机可读指令。高速缓冲存储器1110可以提供用于由核心1102处理的数据。在一些实施例中，计算机可读指令可以已经被本地存储器(例如，被附接到外部总线1116的本地存储器)提供给高速缓冲存储器1110。高速缓冲存储器1110可以利用任何合适的高速缓冲存储器类型来实施，例如，氧化金属半导体(MOS)存储器，诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)和/或任何其他合适的存储器技术。
处理器1100可以包括控制器1114，控制器1114可以控制从被包括在***中的其他处理器和/部件(例如，图2中示出的控制面板252和扫描转换器230)到处理器1100的输入和/或从处理器1100到被包括在***中的其他处理器和/部件(例如，图2中示出的显示器238和体积绘制器234)的输出。控制器1114可以控制ALU 1104、FPLU 1106和/或DSPU 1108中的数据路径。控制器1114可以被实施为一个或多个状态机、数据路径和/或专用的控制逻辑。控制器1114的门可以被实施为独立的门、FPGA、ASIC或任何其他合适的技术。
寄存器1112和高速缓冲存储器1110可以经由内部连接1120A、1120B、1120C和1120D与控制器1114和核心1102通信。内部连接可以被实施为总线、多路复用器、纵横开关和/或任何其他合适的连接技术。
用于处理器1100的输入和输出可以经由总线1116来提供，总线1116可以包括一个或多个导电线。总线1116可以被通信性地耦合到处理器1100的一个或多个部件，例如控制器1114、高速缓冲存储器1110和/或寄存器1112。总线1116可以被耦合到***的一个或多个部件，诸如之前提到的显示器238和控制面板252。
总线1116可以被耦合到一个或多个外部存储器。外部存储器可以包括只读存储器(ROM)
1132。ROM 1132可以是带掩模的ROM、电可编程只读存储器(EPROM)或任何其他合适的技术。外部存储器可以包括随机存取存储器(RAM)1133。RAM 1133可以是静态RAM、电池供电静态RAM、动态RAM(DRAM)或任何其他合适的技术。外部存储器可以包括电可擦除可编程只读存储器(EEPROM)1135。外部存储器可以包括闪速存储器1134。外部存储器可以包括磁性存储设备，诸如磁盘1136。在一些实施例中，外部存储器可以被包括在***(诸如图2中示出的超声成像***200)中，例如本地存储器242。
本文公开的***、方法和装置可以提供一种基于深度学习来表征器官移动性的定量的且独立于操作者的技术。可以通过检查器官相对于相邻器官的运动来进行器官移动性的智能评估。在超声医师的移动性检查期间，所述***、方法和装置可以跟踪全局位移并计算B模式超声中的骨盆标志的位移/速度各向同性。可以使用称为移动性指数和/或闭塞指数的度量来对一起移动的骨盆标志(例如，在存在深度浸润性骨盆子宫内膜异位的情况下，卵巢和子宫作为单个块移动)进行聚类并生成移动性掩模。器官移动性的量化和可视化可以帮助医师做出对某些医学状况(诸如子宫内膜异位)的更确信的诊断。
虽然本文描述的示例讨论了对超声图像数据的处理，但是应当理解，本公开的原理不限于超声，并且可以应用于来自诸如磁共振成像和计算机断层摄影的其他模态的图像数据。
在使用可编程设备(例如，基于计算机的***或可编程逻辑单元)实施部件、***和/或方法的各种实施例中，应当理解，能够使用各种已知的或后来开发的编程语言(例如，“C”、“C++”、“C#”、“Java”、“Python”等)来实施上述***和方法。因此，能够准备可以包含能够指导诸如计算机的设备的信息的各种存储介质(例如，计算机磁盘、光盘、电子存储器等)来实现上述***和/或方法。一旦适当的设备访问了被包含在存储介质上的信息和程序，存储介质就能够向设备提供信息和程序，从而使得设备能够执行本文所述的***和/或方法的功能。例如，如果向计算机提供包含适当材料(例如，源文件、目标文件、可执行文件等)的计算机磁盘，则计算机可以接收该信息，适当配置其自身并执行在上面的图表和流程图中概述的各种***和方法的功能，从而实施各种功能。也就是说，计算机可以从磁盘中接收与上述***和/或方法的不同单元有关的各种信息的部分，实施个体***和/或方法并协调上述个体***和/或方法的功能。
鉴于本公开内容，应当注意，本文描述的各种方法和设备能够以硬件、软件和固件来实施。另外，各种方法和参数仅作为示例被包括在内，而不具有任何限制意义。鉴于本公开，本领域技术人员能够在确定他们自己的技术和所需仪器时实施本教导来影响这些技术，同时保持在本发明的范围内。本文描述的处理器中的一个或多个处理器的功能可以并入更少数量或单个处理单元(例如，CPU)中，并且可以使用专用集成电路(ASIC)或被编程为响应于可执行指令而执行本文所述的功能的通用处理电路来实施。
虽然已经具体参考超声成像***描述了本***，但是还可以设想到，本***能够被扩展到其他医学成像***，在其他医学成像***中，以***方式获得一幅或多幅图像。因此，本***可以用于获得和/或记录以下图像信息，这些图像信息涉及但不限于肾脏、睾丸、乳腺、卵巢、子宫、甲状腺、肝脏、肺、肌肉骨骼、脾脏、心脏、动脉和脉管***，以及与超声引导的介入相关的其他成像应用。另外，本***还可以包括可以与常规的成像***一起使用的一个或多个程序，使得所述一个或多个程序可以提供本***的特征和优点。在研究本公开后，本公开内容的某些额外优点和特征对于本领域技术人员而言可以是显而易见的，或本领域技术人员在采用本公开的新颖***和方法时能够经历本公开的某些额外优点和特征。本***和方法的另一个优点可以是能够容易地升级常规的医学图像***以涵盖使用本***、设备和方法的特征和优点。
当然，应当理解，本文描述的示例、实施例或过程中的任一个可以与一个或多个其他示例、实施例和/或过程进行组合，或可以被分开/执行在根据本***、设备和方法的单独设备或设备部分中。
最后，上述讨论仅旨在说明本***，而不应被解释为将权利要求限制到任何特定的实施例或实施例组。因此，虽然已经参考示例性实施例具体详细地描述了本***，但是还应当理解，本领域技术人员可以在不脱离如权利要求所阐述的本发明的更广泛和预期的精神和范围的情况下设计出许多修改和替代实施例。因此，说明书和附图应被视为是说明性的，而不是要限制权利要求的范围。

Claims (15)

1.一种被配置为提供标志移动性的量化的超声成像***，所述***包括：
非瞬态计算机可读介质，其被编码有指令并且被配置为存储图像帧的时间序列；以及
至少一个处理器，其与所述非瞬态计算机可读介质通信并且被配置为执行所述指令，其中，当被执行时，所述指令使所述至少一个处理器：
确定一个或多个标志是否存在于图像帧的所述序列中的个体图像帧中；
输出指示被确定为存在于所述个体图像帧中的所述一个或多个标志的位置的边界框；
至少部分地基于所述边界框输出针对被确定为存在于所述个体图像帧中的所述一个或多个标志的流场；
至少部分地基于所述流场生成位移场的值；
至少部分地基于所述流场生成指示运动的方向和量值的速度矢量的值；
通过取空间平均位移场的量值除以位移场的量值/所述速度矢量的比率来计算位移/速度各向同性值；以及
至少部分地基于所述位移/速度各向同性值生成移动性图或移动性指数中的至少一项。
2.根据权利要求1所述的***，其中，所述移动性指数基于等于或低于阈值的值的百分比。
3.根据权利要求1所述的***，其中，所述位移/速度各向同性值指示临床状况或所述临床状况的严重性。
4.根据权利要求3所述的***，其中，所述临床状况包括子宫内膜异位。
5.根据权利要求1所述的***，其中，所述指令还使所述至少一个处理器：
至少部分地基于所述位移/速度各向同性值来对所述移动性图进行分割；以及
至少部分地基于所述移动性图的分割来生成包括一个或多个区域的移动性掩模。
6.根据权利要求5所述的***，其中，所述一个或多个区域具有所述位移/速度各向同性值的不同值或值范围中的至少一项。
7.根据权利要求5所述的***，其中，所述指令还使所述至少一个处理器生成用于将所述移动性掩模叠加在图像帧的所述序列中的图像帧上的显示数据。
8.根据权利要求1所述的***，其中，所述指令还使所述至少一个处理器基于所述一个或多个标志的相对移动或绝对移动中的至少一项来对存在于图像帧的所述序列中的个体图像帧中的所述一个或多个标志进行聚类。
9.根据权利要求1所述的***，还包括：
超声探头，其包括惯性测量单元，所述惯性测量单元被配置为测量所述超声探头的移动并输出探头移动数据，
其中，所述指令还使所述至少一个处理器从至少部分地基于所述探头移动数据的分析中排除来自图像帧的所述序列中的个体图像帧。
10.根据权利要求8所述的***，其中，基于所述探头移动数据，所排除的个体图像帧与所述超声探头的突然运动或所述超声探头的旋转运动中的至少一项相关联。
11.根据权利要求8所述的***，还包括用户接口，
其中，所述指令还使所述至少一个处理器经由所述用户接口提供关于适当执行的探头运动的反馈。
12.根据权利要求1所述的***，其中，所述指令还使所述至少一个处理器生成基于所述位移场的所述值的位移图或基于所述速度矢量的所述值的速度图中的至少一项。
13.一种用于提供标志移动性的量化的方法，所述方法包括：
接收图像帧的序列；
确定一个或多个标志是否存在于图像帧的所述序列中的个体图像帧中；
提供指示被确定为存在于所述个体图像帧中的所述一个或多个标志的位置的边界框；
至少部分地基于所述边界框或图像帧的所述序列的整个帧生成针对被确定为存在于所述个体图像帧中的所述一个或多个标志的流场；
至少部分地基于所述流场生成位移场的值；
至少部分地基于所述流场生成指示运动的方向和量值的速度矢量的值；
通过取空间平均位移场的量值除以位移场的量值/所述速度矢量的比率来计算位移/速度各向同性值；以及
至少部分地基于所述位移/速度各向同性值生成移动性图或移动性指数中的至少一项。
14.根据权利要求13所述的方法，其中，确定所述一个或多个标志是否存在和提供所述边界框由第一人工智能(AI)模型执行，并且其中，生成所述流场由第二人工智能(AI)模型执行。
15.一种包括计算机可读介质的计算机程序产品，所述计算机可读介质具有实施在其中的计算机可读代码，其特征在于，所述计算机可读代码被配置为使得在由合适的计算机或处理器执行时使所述计算机或处理器执行根据权利要求13所述的方法。
CN202180083828.6A 2020-12-17 2021-12-14 用于器官移动性的定量评估的***、方法和装置 Pending CN116583224A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063126966P 2020-12-17 2020-12-17
US63/126,966 2020-12-17
PCT/EP2021/085579 WO2022128975A1 (en) 2020-12-17 2021-12-14 Systems, methods, and apparatuses for quantitative assessment of organ mobility

Publications (1)

Publication Number Publication Date
CN116583224A true CN116583224A (zh) 2023-08-11

Family

ID=79270148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180083828.6A Pending CN116583224A (zh) 2020-12-17 2021-12-14 用于器官移动性的定量评估的***、方法和装置

Country Status (4)

Country Link
US (1) US20240065668A1 (zh)
EP (1) EP4262568B1 (zh)
CN (1) CN116583224A (zh)
WO (1) WO2022128975A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
WO2019078577A1 (en) * 2017-10-16 2019-04-25 Samsung Medison Co., Ltd. METHODS AND SYSTEMS FOR ASSESSING OVARIAN PARAMETERS FROM ULTRASONIC IMAGES

Also Published As

Publication number Publication date
EP4262568A1 (en) 2023-10-25
WO2022128975A1 (en) 2022-06-23
EP4262568B1 (en) 2024-07-10
US20240065668A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
CN110381845B (zh) 具有用于导出成像数据和组织信息的神经网络的超声成像***
US11364013B2 (en) Ultrasound imaging system with a neural network for image formation and tissue characterization
US20210177373A1 (en) Ultrasound system with an artificial neural network for guided liver imaging
US20200405269A1 (en) Ultrasound system with a neural network for producing images from undersampled ultrasound data
JP7462816B2 (ja) ベクトルフローデータを使用する擾乱した血流の自動検出及び視覚化のためのシステム及び方法
US20110125016A1 (en) Fetal rendering in medical diagnostic ultrasound
EP2846310A2 (en) Method and apparatus for registering medical images
US20200170615A1 (en) Ultrasound system with extraction of image planes from volume data using touch interaction with an image
US20210401407A1 (en) Identifying an intervntional device in medical images
CN114159093A (zh) 用于基于所采集的超声图像视图中的实时解剖结构识别来调整用户界面元素的方法和***
EP3905960A1 (en) Systems and methods for contrast enhanced imaging
JP2017523004A (ja) 液体プールを検出し識別するための音響流
KR20170118540A (ko) 의료 영상 처리 방법 및 의료 영상 처리 장치
CN115334975A (zh) 用于对心外膜脂肪组织进行成像和测量的***和方法
Lee et al. Wide-field 3d ultrasound imaging platform with a semi-automatic 3d segmentation algorithm for quantitative analysis of rotator cuff tears
EP4262568B1 (en) Systems, methods, and apparatuses for quantitative assessment of organ mobility
WO2024013114A1 (en) Systems and methods for imaging screening
US20230228873A1 (en) Systems and methods for generating color doppler images from short and undersampled ensembles
US20230377246A1 (en) Rendering of b-mode images based on tissue differentiation
Berthomier et al. Deep Venous Thrombosis: Database creation and image preprocessing
CN115187501A (zh) 用于识别非均质性肝脏脂肪的***、方法和装置
WO2021099171A1 (en) Systems and methods for imaging screening
CN112754524A (zh) 蠕动的检测方法、超声成像设备和计算机存储介质
JP2023552782A (ja) 造影撮影のための装置、システム及び方法
CN116758158A (zh) 一种医学超声检测探头位姿调整方法、介质及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination