CN117651526A - 用于注释医学图像的***、方法和装置 - Google Patents

用于注释医学图像的***、方法和装置 Download PDF

Info

Publication number
CN117651526A
CN117651526A CN202280046139.2A CN202280046139A CN117651526A CN 117651526 A CN117651526 A CN 117651526A CN 202280046139 A CN202280046139 A CN 202280046139A CN 117651526 A CN117651526 A CN 117651526A
Authority
CN
China
Prior art keywords
ultrasound
processor
probe
annotation
ultrasound probe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280046139.2A
Other languages
English (en)
Inventor
A·阿加瓦尔
S·R·福克斯
C·D·皮茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN117651526A publication Critical patent/CN117651526A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

超声成像***可以分析所采集的图像、超声探头的位置和取向以及使用数据以提供针对所采集的图像的建议的注释。所述注释可以具有各种形式，例如文本和身体标记物图标。

Description

用于注释医学图像的***、方法和装置
技术领域
本公开内容涉及用于自动或半自动地注释医学图像的成像***和方法。具体地，公开了用于自动或半自动地生成超声图像的注释的成像***和方法。
背景技术
在典型的超声检查期间，用户(例如，超声医师)可以以各种成像模式和取向采集感兴趣的解剖结构的多幅图像。例如，对于北美的典型肝脏超声检查，用户将采集肝脏、肾脏、胆囊等的多幅图像，以供医师同时或稍后查看。为了帮助读取超声图像以及出于存档目的，超声检查医师会对图像进行注释，以告知察看者扫描的细节。在典型的工作流程中，超声医师使用超声探头进行扫描，直到获得所需的图像平面。然后超声医师“冻结”所需的图像平面上的图像。用户在冻结的图像上进行所需的注释。注释可以包括文本标签、身体标记物图标和/或测量结果等。一旦用户满意，就可以“获取”带注释的图像。也就是说，图像被存储(保存)在超声成像***的计算机可读存储器中和/或提供给图片存档计算机***(PACS)。
图1是来自超声成像***的显示的示例，包括超声图像上的注释。显示100包括肝脏的超声图像102以及注释104和106。标签104是文本注释，其提供关于超声图像102中的解剖结构、解剖结构的区域和成像平面的信息。在图1所示的示例中，标签104指示图像是肝脏左侧(LT)部分的矢状(SAG)平面。身体标记物106是如下的注释，其提供对象身体108的部分的图形描绘以及指示超声探头110相对于身体108的位置和取向的图标。在图1中示出的示例中，身体标记物106包括躯干的图形和放置在躯干顶部附近的超声探头，其中波束被朝向肚脐转向。虽然超声图像102可以包括图1中所示的标签104和身体标记物106注释两者，但是当前，标签104在北美更常使用，而身体标记物106在欧洲和亚洲更常使用。
用户手动输入标签和/或从预加载列表中选择标签(例如，通过导航一个或多个下拉菜单)。对于身体标记物，用户从菜单中选择适合身体标记物的图形，并手动将指示超声探头的位置和方向的图标放置在图形上(例如，使用选择按钮以及箭头键和/或轨迹球)。这两种类型的注释都需要用户花费大量时间，特别是当必须采集和注释许多图像时。例如，典型的腹部检查需要40-50幅图像。
一些超声成像***提供“智能检查”功能，自动用标签、身体标记物和/或其他注释来注释超声图像。然而，“智能检查”通常要求用户以特定顺序采集图像，并且可能无法容纳用户希望采集用于检查的所有图像。因此，需要用于减少注释超声图像的时间的改进技术。
发明内容
成像***用户花费大量时间为超声图像分配注释，例如标签和身体标记物。公开了当用户采集各种图像时自动或半自动应用标签和/或身体标记物的***、方法和装置。这可以为用户节省大量时间，并根据他们的体验进行定制。
根据本公开的至少一个示例，一种超声成像***可以被配置为对超声图像进行注释并且可以包括被配置为采集超声图像的超声探头、编码有指令并且被配置为存储超声图像的非瞬态计算机可读介质，以及与非瞬态计算机可读介质通信并被配置为执行指令的至少一个处理器，其中，当被执行时，指令使得超声成像***：确定所述超声图像中存在的解剖特征，确定成像平面、超声探头的位置或超声探头的取向中的至少一项，至少部分地基于所确定的解剖特征和所确定的成像平面、所确定的超声探头的位置或所确定的超声探头的取向中的至少一项来生成确定要应用于所述超声图像的注释，并且提供所述超声图像并且将注释保存到非瞬态计算机可读介质中以供存储。
根据本公开的至少一个示例，一种用于注释超声图像的方法可以包括：接收由超声探头采集的超声图像；利用至少一个处理器确定所述超声图像中存在的解剖特征；利用所述至少一个处理器来确定成像平面、超声探头的位置或超声探头的取向中的至少一项，利用所述至少一个处理器来至少部分地基于所确定的解剖特征以及以下中的至少一项来确定要应用于超声图像的注释：所确定的成像平面、所确定的超声探头的位置、或者所确定的超声探头的取向，并且将所述超声图像和所述注释提供给显示器或用于存储的非瞬态计算机可读介质中的至少一项。
附图说明
图1是来自超声成像***的显示的示例，包括超声图像上的注释。
图2是根据本公开的原理的超声***的框图。
图3是提供根据本公开的示例的超声成像***中的数据流的概览的框图。
图4是根据本公开的示例的一个或多个日志文件的统计分析的示例的图形描绘。
图5是根据本公开的示例的一个或多个日志文件的统计分析的示例的图形描绘。
图6是根据本公开的示例的可用于数据的神经网络的图示。
图7是根据本公开的示例的可用于分析数据的长期短期存储器模型的单元的图示。
图8是根据本公开的示例的可用于分析数据的决策树的图示。
图9是根据本公开的原理的用于训练和部署神经网络的过程的框图。
图10是根据本公开的原理的方法的流程图。
图11是图示根据本公开的示例的示例处理器的框图。
具体实施方式
对特定实施例的以下描述本质上仅是示例性的，并且决不旨在限制本发明或其应用或用途。在本***和方法的实施例的以下详细描述中，参考了附图并且通过图示的方式示出了可以实践所描述的***和方法的特定实施例，附图形成实施例的一部分。足够详细地描述了这些实施例以使得本领域技术人员能够实践当前公开的装置、***和方法，并且应当理解，可以利用其他实施例，并且可以在不脱离本公开内容的精神和范围的情况下进行结构和逻辑上的改变。此外，为了清楚起见，当对本领域技术人员显而易见的情况下，将不讨论对某些特征的详细描述，以便不掩盖对本公开的装置、***和方法的描述。因此，不应当从限制性意义上看待以下详细描述，并且本***的范围仅由权利要求界定。
根据本公开的示例，超声成像***可以基于一个或多个信息源来自动注释超声图像(例如，向超声图像应用注释)：在超声图像中识别的解剖特征、先前使用的注释、先前采集的超声图像、使用数据和/或超声探头跟踪数据。
图2示出了根据本公开原理构建的超声成像***200的框图。根据本公开的超声成像***200可以包括换能器阵列214，换能器阵列214可以被包括在超声探头212中，例如外部探头或内部探头，例如经***超声(TVUS)探头和给经食管超声心动图(TEE)探头。换能器阵列214被配置为发射超声信号(例如，波束、波)并且响应于超声信号而接收回波。可以使用多种换能器阵列，例如线性阵列、弯曲阵列或相控阵列。换能器阵列214例如可以包括能够在高度和方位维度上扫描以用于2D和/或3D成像的换能器元件的二维阵列(图所示)。众所周知，轴向是垂直于阵列面的方向(在弯曲阵列的情况下，轴向扇出)，方位角方向通常由阵列的纵向尺寸定义，而仰角方向横向于方位角方向。
任选地，在一些示例中，超声探头212可以包括跟踪设备270。在一些示例中，跟踪设备270可以包括惯性测量单元(IMU)。IMU可以包括加速计、陀螺仪、磁力计和/或其组合。IMU可以提供与探头212的速度、加速度、旋转、角速率和/或取向有关的数据。在一些示例中，跟踪设备270可以还包括或者替代地包括电磁跟踪设备。电磁跟踪设备可以独立地提供探头212的位置和/或取向信息和/或可以与探头跟踪***272结合操作。探头跟踪***272可以发送和/或接收来自电磁跟踪设备270的信号，并且将关于探头212的位置和/或取向的信息提供给超声成像***200，例如提供给本地存储器242。合适的探头跟踪***272的示例是Philips Healthcare的PercuNav***，但是在其他示例中可以使用其他跟踪***。与由跟踪设备270提供的探头212的速度、加速度、旋转、角速率、位置和/或取向相关联的数据可以统称为探头跟踪数据。
在一些实施例中，换能器阵列214可以被耦合到微波束形成器116，其可以位于超声探头212中，并且其可以控制阵列214中的换能器元件对信号的发送和接收。在一些实施例中，微波束形成器216可以通过阵列214中的活动元件(例如，在任何给定时间限定活动孔径的阵列元件的活动子集)来控制信号的发送和接收。
在一些实施例中，微波束形成器216可以例如通过探测线缆或无线地耦合到发射/接收(T/R)开关218，其在发射与接收之间切换并且保护主波束形成器222免受高能发射信号的影响。在一些实施例中，例如在便携式超声***中，T/R开关218和***中的其他元件可以包括在超声探头212中而不是超声***底座中，超声***底座可以容纳图像处理电子设备。超声***基座通常包括软件和硬件组件，包括用于信号处理和图像数据生成的电路以及用于提供用户接口(例如，处理电路250和用户接口224)的可执行指令。
在微波束形成器216的控制下，来自换能器阵列214的超声信号的发射由发射控制器220引导，发射控制器220可以被耦合到T/R开关218和主波束形成器222。发射控制器220可以控制波束被转向的方向。波束可以被转向为从换能器阵列214垂直向前(垂直于换能器阵列26)，或者以不同的角度用于更宽的视场。发射控制器220还可以被耦合到用户接口224并且根据用户对用户控件的操作来接收输入。用户接口224可以包括一个或多个输入设备，例如控制面板252，控制面板252可以包括一个或多个机械控件(例如，按钮、编码器等)、触敏控件(例如，触控板、触摸屏或类似)和/或其他已知的输入设备。
在一些实施例中，由微波束形成器216产生的部分波束形成的信号可以被耦合到波束形成器222，其中，来自换能器元件的个体贴片的部分波束形成的信号可以被组合为完全波束形成的信号。在一些实施例中，微波束成形器216被省去，并且换能器阵列214受到执行信号的所有波束成形的主波束成形器222的控制。在具有和不具有微波束形成器216的实施例中，主波束形成器222的波束形成信号被耦合到处理电路250，其可以包括一个或多个处理器(例如，信号处理器226、B模式处理器228、多普勒处理器260和一个或多个图像生成和处理部件268)被配置为根据波束形成的信号(例如，波束形成的RF数据)来产生超声图像。
信号处理器226可以被配置为以各种方式处理接收的波束形成的RF数据，例如带通滤波、抽取、I和Q分量分离、以及谐波信号分离。处理器226还可以执行的信号增强，例如纹波降低、信号复合、以及噪声消除。经处理的信号(也称为I和Q分量或IQ信号)可以被耦合到额外的下游信号处理电路以生成图像。IQ信号可以被耦合到***内的多个信号路径，每个信号路径可以与适合于生成不同类型的图像数据(例如，B模式图像数据、多普勒图像数据)的信号处理部件的特定布置相关联。例如，所述***可以包括B模式信号路径258，其将来自信号处理器226的信号耦合到B模式处理器228以产生B模式图像数据。
B模式处理器可以采用幅值检测来对身体中的结构进行成像。由B模式处理器228产生的信号可以被耦合到扫描转换器230和/或多平面重新格式化器232。扫描转换器230可以被配置为以期望的图像格式来根据回波信号被接收的空间关系来布置回波信号。例如，扫描转换器230可以将回波信号布置为二维扇区形格式，或者锥体或其他形状的三维(3D)格式。多平面重新格式化器232能够将从身体的体积区域中的共同平面中的点接收到的回波转换为该平面的超声图像(例如，B模式图像)，例如，如在美国专利US6443896(Detmer)中所描述。在一些实施例中，扫描转换器230和多平面重新格式化器232可以实现为一个或多个处理器。
体积绘制器234可以生成从给定参考点观看的3D数据集的图像(也称为投影、绘制或绘制项)，例如，如美国专利US6530885(Entrekin等人)中所描述。在一些实施例中，体积绘制器234可以被实现为一个或多个处理器。体绘制器234可以通过诸如表面绘制和最大强度绘制的任何已知或未来已知技术来生成绘制，诸如正片绘制或负片绘制。
在一些实施例中，***可以包括将来自信号处理器226的输出耦合到多普勒处理器260的多普勒信号路径262。多普勒处理器260可以被配置为估计多普勒频移并生成多普勒图像数据。多普勒图像数据可以包括颜色数据，然后将其与B模式(即灰度)图像数据叠加以供显示。多普勒处理器260可以被配置为例如使用壁滤波器来过滤掉不需要的信号(即，与非移动组织相关联的噪声或杂波)。多普勒处理器260还可以被配置为根据已知技术来估计速度和功率。例如，多普勒处理器可以包括诸如自相关器的多普勒估计器，其中速度(多普勒频率、谱多普勒)估计是基于滞后一自相关函数的参数而多普勒功率估计是基于滞后零自相关函数的的幅值。还可以通过已知的相位域(例如，参数频率估计器，例如MUSIC、ESPRIT等)或时域(例如，互相关)信号处理技术来估计运动。可以使用与速度的时间或空间分布相关的其他估计器，例如加速度或时间和/或空间速度导数的估计器来代替速度估计器或作为速度估计器的附加。在一些实施例中，速度和功率估计可以经历进一步的阈值检测以进一步降低噪声，以及分割和后处理，例如填充和平滑。然后可以根据色图将速度和/或功率估计映射到期望范围的显示颜色。颜色数据，也称为多普勒图像数据，然后可以被耦合到扫描转换器230，其中，多普勒图像数据可以被转换为所需的图像格式并叠加在组织结构的B模式图像上以形成彩色多普勒或功率多普勒图像。在一些示例中，在将彩色多普勒图像叠加到B模式图像上之前，功率估计(例如，滞后0自相关信息)可以用于掩蔽或分割彩色多普勒中的流(例如，速度估计)。
来自扫描转换器230、多平面重新格式化器232和/或体积绘制器234的输出可以被耦合到图像处理器236以在图像显示器238上被显示之前进一步增强、缓冲和临时存储。图形处理器240可以生成图形叠加以用于与图像一起显示。这些图形叠加可以包括标准识别信息，例如图像的患者姓名、日期和时间、成像参数等等。出于这些目的，图形处理器240可以被配置为从用户接口224接收输入，例如键入的患者姓名或其他注释(例如，标签、身体标记物)。用户接口224还可以耦合到多平面重新格式化器232，用于选择和控制多个经多平面重新格式化的(MPR)图像的显示。
***200可以包括本地存储器242。本地存储器242可以被实现为任何合适的非瞬态计算机可读介质(例如，闪存驱动器、磁盘驱动器)。本地存储器242可以存储由***200生成的数据(包括超声图像、可执行指令、成像参数)、包括使用数据的日志文件、训练数据集或***200的操作所需的任何其他信息。在一些示例中，本地存储器242可以包括多个存储器，这些存储器可以是相同类型的或不同类型的存储器。例如，本地存储器242可以包括动态随机存取存储器(DRAM)和闪存。
如前所述，***200包括用户接口224。用户接口224可以包括显示器238和控制面板252。显示器238可以包括使用诸如LCD、LED、OLED或等离子显示技术的各种已知的显示技术实现的显示设备。在一些实施例中，显示器238可以包括多个显示器。控制面板252可以被配置为接收用户输入(例如，检查类型、成像参数)。控制面板252可以包括一个或多个硬控件(例如，按钮、旋钮、刻度盘、编码器、鼠标、轨迹球或其他)。在一些实施例中，控制面板252可以额外地或替代地包括在触敏显示器上提供的软控件(例如，GUI控制元素或简称为GUI控件)。在一些实施例中，显示器238可以是包括控制面板252的一个或多个软控件的触敏显示器。
在一些实施例中，图2中所示的各种部件都可以组合。例如，图像处理器236和图形处理器240可以实现为单个处理器。在一些实施例中，图2中所示的各种部件可以实现为单独的部件。例如，信号处理器226可以被实现为针对每个成像模态(例如，B模式、多普勒)的单独的信号处理器。在另一示例中，图像处理器236可以被实现为用于不同任务和/或同一任务的并行处理的单独处理器。在一些实施例中，图2中所示的各种处理器中的一个或多个由被配置为执行指定任务的通用处理器和/或微处理器来实现。在一些示例中，可以通过从非瞬态计算机可读介质(例如，从本地存储器242)提供用于任务的指令来配置处理器。然后指令可以由处理器执行。在一些实施例中，各种处理器中的一个或多个可以实现为专用电路。在一些实施例中，各种处理器中的一个或多个(例如，图像处理器236)可以用一个或多个图形处理单元(GPU)来实现。
根据本公开的示例，***200的一个或多个处理器，例如图像处理器236和/或图形处理器240，可以自动或半自动地注释由***200采集的超声图像。
在一些示例中，一个或多个处理器可以包括被训练来注释超声图像的任何一种或多种机器学习、人工智能(AI)算法和/或多个神经网络(统称为AI模型)。在一些示例中，一个或多个处理器可以包括深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、自动编码器神经网络和/或单次激发探测器等。AI模型可以在硬件(例如，神经网络的神经元由物理部件表示)和/或软件(例如，在软件应用程序中实现的神经元和路径)部件中实现。根据本公开实现的神经网络可以使用各种拓扑和学习算法来训练神经网络以产生期望的输出。例如，可以使用被配置为执行指令的处理器(例如，单核或多核CPU，单个GPU或GPU集群或被布置用于并行处理的多个处理器)来实现基于软件的神经网络，所述指令可以被存储在计算机可读介质中，并且所述指令在运行时使所述处理器执行经训练的算法。在一些示例中，一个或多个处理器可以结合其他图像处理或数据分析方法(例如，分割、直方图分析、统计分析)来实现AI。
在各种示例中，可以使用多种当前已知或以后开发的学习技术中的任一种来训练AI模型以获得被配置为分析以下形式的输入数据的神经网络(例如，经训练的算法或基于硬件的节点***)：超声图像、使用数据、探头跟踪数据、用户输入、测量结果和/或统计结果。在一些实施例中，AI可以被静态地训练。也就是说，AI模型可以用数据集来训练并且部署在***200上并且由一个或多个处理器来实现。在一些实施例中，AI模型可以被动态地训练。在这些示例中，AI模型可以用初始数据集进行训练并且被部署在***200上。然而，在将AI模型部署在***上并由一个或多个处理器实现之后，AI模型可以基于***200采集的超声图像继续训练和修改。
在一些示例中，超声成像***200可以接收使用数据并将其存储在计算机可读介质(例如，本地存储器242)中。使用数据的示例包括但不限于添加到超声图像的注释、击键、按钮按下、对硬控制的其他操作(例如转动拨盘、翻转开关)、屏幕触摸、对软控制的其他操作(例如，滑动、捏合)、菜单选择和导航以及语音命令。在一些示例中，可以接收额外的使用数据，例如超声***的地理位置、所使用的超声探头的类型(例如，类型、品牌、型号)、唯一用户标识符、检查类型和/或什么对象当前正由超声成像***成像。在一些示例中，使用数据可以由用户经由诸如用户接口224的用户接口、诸如图像处理器236和/或图形处理器240之类的处理器、超声探头(例如，超声探头212)、和/或预编程并存储在超声成像***(例如，本地存储器242)中而被提供。
在一些示例中，使用数据中的一些或全部可以被写入并存储在计算机可读文件(例如日志文件)中，以供以后检索和分析。在一些示例中，日志文件可以存储用户与超声成像***的交互中的一些或全部的记录。日志文件可以包括时间和/或序列数据，使得可以确定用户与超声成像***进行的不同交互的时间和/或序列。时间数据可以包括与每次交互(例如，每次击键、超声图像上的每个注释)相关联的时间戳。在一些示例中，日志文件可以按照交互发生的顺序将交互存储在列表中，使得即使日志文件中没有包括时间戳也可以确定交互的顺序。在一些示例中，日志文件可以指示与日志文件中记录的交互相关联的特定用户。例如，如果用户使用唯一标识符(例如，用户名、密码)登录到超声成像***，则该唯一标识符可以被存储在日志文件中。日志文件可以是文本文件、电子表格、数据库和/或可以由一个或多个处理器分析的任何其他合适的文件或数据结构。在一些示例中，超声成像***的一个或多个处理器可以收集使用数据并将使用数据写入一个或多个日志文件，所述日志文件可以被存储在计算机可读介质中。在一些示例中，成像***可以从一个或多个其他成像***接收日志文件和/或其他使用数据。日志文件和/或其他使用数据可以被存储在本地存储器中。日志文件和/或其他使用数据可以通过任何合适的方法来接收，包括无线(例如，蓝牙、WiFi)和有线(例如，以太网电缆、USB设备)方法。在一些示例中，来自一个或多个用户以及来自一个或多个成像***的使用数据可用于自动和/或半自动地注释超声图像。
图3是提供根据本公开的示例的超声成像***中的数据流的概览的框图。解剖识别AI模型306可以由一个或多个处理器来实现，例如***200的图像处理器236。解剖识别模型306可以接收超声图像300。超声图像300可以由诸如探头212的探头来采集。在一些示例中，解剖识别AI模型306可被训练以识别超声图像300中的一个或多个解剖特征。解剖特征可以包括器官、器官的子区域和/或器官的特征。在一些示例中，解剖识别AI模型306可以被训练来识别采集超声图像300的成像平面。在一些示例中，解剖识别AI模型306可以被训练以在采集超声图像300时识别超声探头的位置和/或取向。在一些示例中，当用户用探头扫描时，解剖识别AI模型306可以连续地尝试识别超声图像300中的解剖特征。在一些示例中，解剖识别AI模型306可以等待，直到用户已经冻结图像。
任选地，解剖识别AI模型306还可以接收探头跟踪数据302。探头跟踪数据302可以至少部分地由诸如探头跟踪设备270的探头跟踪设备和/或诸如探头跟踪***272的探头跟踪***来提供。解剖识别AI模型306可以分析探头跟踪数据302以帮助确定解剖特征、图像平面、超声探头的位置和/或超声探头的取向。
任选地，解剖识别AI模型306还可以接收使用数据304。使用数据304可以由诸如用户接口224的用户接口和/或日志文件来提供。解剖识别AI模型306可以分析使用数据304以帮助确定解剖特征、图像平面、超声探头的位置和/或超声探头的取向。例如，使用数据304可以包括先前采集的超声图像和/或应用于先前采集的超声图像的注释。
由解剖识别AI模型306确定的解剖特征、图像平面、超声探头的位置和/或超声探头的取向可以被提供给图像注释AI模型308。图像注释AI模型308可以被训练为至少部分地基于对解剖识别AI模型306的输出的分析来将一个或多个注释310应用到图像300。在图3中所示的示例中，图像注释AI模型308为图像300提供标签310(经主动脉远端)。
任选地，在一些示例中，图像注释AI模型308可以接收使用数据304。图像注释AI模型308可以分析使用数据304以帮助确定要应用于图像300的注释。例如，图像注释AI模型308可以分析使用数据304确定用户是否更喜欢在注释中使用“长”或“矢状”。在另一示例中，图像注释AI模型308可以分析使用数据304以确定用户是否更喜欢使用身体标记物、标签和/或两者作为注释。在又一示例中，图像注释AI模型308可以分析包括在使用数据304中的先前应用的注释以确定要应用于当前图像的注释。
在一些示例中，解剖识别AI模型306可以执行图像识别，并且图像注释模型308可以自动应用注释而无需任何用户干预。在一些示例中，AI模型306、308可以半自动地执行它们各自的任务。在这些示例中，用户可以采集初始超声图像并手动应用注释(例如，标签、身体标记物、其组合)。AI模型306、308可以使用用户注释的图像作为“种子”来做出它们各自的确定。
在一些示例中，当解剖识别AI模型306在用户扫描时执行确定时，注释310也可以在扫描时由图像注释AI模型308确定并提供给显示器，例如显示器238。因此，注释310可以随着用户在不同位置和/或方向上扫描而改变。然而，一些用户可能会发现改变注释310分散注意力。因此，在一些示例中，当探头跟踪数据302指示探头静止时，可以提供注释310。在其他示例中，可以在用户冻结当前图像时提供注释310。
一旦图像300和注释310被提供在显示器上，用户可以通过保存经注释的图像300而不进行改变来接受注释310。如果用户认为注释310不正确和/或更喜欢不同风格的注释310(例如，心房vs耳廓、上方vs上部)，则用户可以在保存图像300之前经由用户接口移除和/或改变注释310。在一些示例中，用户是否接受由图像注释AI模型308提供的注释310或改变注释310可以由超声成像***保存并用于训练图像注释AI模型308和/或解剖识别AI模型306。
尽管图3中示出了两个独立的AI模型，但是在一些示例中，解剖识别AI模型306和图像注释AI模型308可以被实现为执行AI模型306、308两者的任务的单个AI模型。在一些示例中，解剖识别AI模型306和/或图像注释AI模型308可以实现AI模型和传统上不被认为是AI模型的分析技术(例如，统计分析)的组合来做出确定。
在一些示例中，可以通过统计方法来分析使用数据(例如，诸如存储在一个或多个日志文件中的使用数据)。图4中示出了根据本公开的示例的一个或多个日志文件的统计分析的示例的图形描绘。诸如超声成像***200的超声成像***的处理器400可以接收一个或多个日志文件402以供分析。在一些示例中，处理器400可以由图像处理器236和/或图形处理器240来实现。在一些示例中，处理器400可以实现一个或多个AI模型，例如AI模型306和/或AI模型308。处理器400可以分析日志文件402中的使用数据以计算与用户输入例如注释、采集的超声图像)有关的各种统计数据以提供一个或多个输出404。在图4中所示的具体示例中，处理器400可以确定一个或多个注释(例如，注释A、注释B、注释C)被选择(例如，在控制面板和/或菜单上选择)和/或被一个或多个用户接受(例如，超声成像***由自动或半自动地应用注释并且该注释未被用户改变)，以及一个或多个注释中的每个可能被选择和/或接受的百分比可能性。在一些示例中，百分比可能性可以基于特定注释被选择的总次数除以所有注释选择的总数。
在一些示例中，处理器400的输出404可以用于确定用于注释的用户优选语言和/或图形。例如，输出404可用于确定用户是否喜欢使用“RT”或“RIGHT”作为标签来注释右肾的图像。
图5中示出了根据本公开的另一示例的一个或多个日志文件的统计分析的示例的图形描绘。诸如超声成像***200的超声成像***的处理器500可以接收一个或多个日志文件502以供分析。在一些示例中，处理器500可以由图像处理器236和/或图形处理器240来实现。在一些示例中，处理器500可以实现一个或多个AI模型，例如AI模型306和/或AI模型308。处理器500可以分析日志文件502中的使用数据以计算与由一个或多个用户选择和/或接受的注释有关的各种统计数据以提供一个或多个输出504、506。如图5中所示，处理器500可以分析日志文件以确定注释选择/接受的一个或多个序列。处理器500可以使用移动窗口来搜索序列，可以搜索指示序列开始的特定命令和/或注释选择(例如，“冻结”、“检查类型”)和/或其他方法(例如，当注释选择之间的时间间隔超过最大持续时间时序列结束)。对于开始序列的一个或多个注释选择，处理器500可以计算下一注释被选择的百分比可能性。例如，如输出504所示，当在序列的开始处应用注释A时，处理器500计算一个或多个其他注释(例如，注释B、C等)在序列中接下来被选择/接受的概率(例如，百分比可能性)。如在输出504中所示，处理器500还可计算在注释A之后选择一个或多个其他控件之后选择一个或多个其他注释(例如，注释D、注释E等)的概率。对概率的该计算可以持续任何所需的序列长度。
基于输出504，处理器500可以计算由用户选择和/或接受的最可能的注释的序列。如输出506中所示，可以确定在注释A被用户应用到超声图像之后注释B具有最高的被用户选择的概率，并且在注释B已被用户选择后，注释C具有被用户应用的最高概率。
在一些示例中，处理器500的输出506可以用于至少部分地基于先前应用的注释来确定要应用于超声图像的一个或多个注释。在一些应用中，这可以允许自动和/或半自动注释适应诊所和/或个人用户的特定协议。
对日志文件的分析，包括参考图4和图5描述的统计分析的示例，可以在接收使用数据并将其记录(例如，实时捕获)到日志文件时执行和/或可以在稍后的时间执行分析(例如，工作流程中的暂停、检查结束、用户注销)。虽然已经描述了对日志文件的统计分析，但在一些示例中，超声成像***的一个或多个处理器(例如，图像处理器236、图形处理器240)可以实现一个或多个经训练的AI模型，用于分析是否在日志文件中的使用数据或其他格式(例如，在存储到日志文件之前进行实时捕获)。
可以用于分析使用数据和/或超声图像的AI模型的示例包括但不限于决策树、卷积神经网络和长短期记忆(LSTM)网络。在一些示例中，诸如探头跟踪数据302的探头跟踪数据也可以由一个或多个AI模型来分析。在一些示例中，与使非AI模型技术相比，使用一个或多个AI模型可以允许更快和/或更准确地确定超声图像中的解剖特征、成像平面、探头位置、探头定向和/或要应用于超声图像的注释。
图6是根据本公开的示例的可用于分析数据的神经网络的图示。在一些示例中，神经网络600可以由诸如超声成像***200的超声成像***的一个或多个处理器(例如，图像处理器236、图形处理器240)来实现。在一些示例中，神经网络600可以被包括在AI模型306和/或AI模型308中。在一些示例中，神经网络600可以是具有单个层和/或多维层的卷积网络。神经网络600可包括一个或多个输入节点602。在一些示例中，输入节点602可以被组织在神经网络600的层中。输入节点602可以通过权重604而被耦合到隐藏单元606的一个或多个层608。在一些示例中，隐藏单元606可以至少部分地基于相关联的权重604对来自输入节点602的一个或多个输入执行操作。在一些示例中，隐藏单元606可以通过权重610而被耦合到隐藏单元612的一个或多个层614。隐藏单元612可以至少部分地基于权重610对来自隐藏单元606的一个或多个输出执行操作。隐藏单元612的输出可以被提供给输出节点616以提供神经网络600的输出(例如，推断、确定、预测)。尽管在图6中示出了一个输出节点616，但是在一些示例中，神经网络可以具有多个输出节点616。在一些示例中，输出可以伴随有置信水平。置信水平可以是从0到1的值，并且包括0到1，其中置信水平0指示神经网络600没有信心输出结果是正确的，而置信水平1指示神经网络600 100％确信输出结果是正确的。
在一些示例中，在一个或多个输入节点602处提供的对神经网络600的输入可以包括日志文件、实时捕获使用数据、探头跟踪数据和/或由超声探头采集的图像。在一些示例中，在输出节点616处提供的输出结果可以包括对应用于图像的下一个注释的预测、对可能由特定用户使用的注释的预测、可能在特定检查类型期间使用的注释和/或对特定解剖特征进行成像时可能使用的注释。在一些示例中，在输出节点616处提供的输出可以包括：对超声图像中的一个或多个解剖特征(例如，器官、器官的子区域和/或器官的特征)的确定、采集超声图像的成像平面，采集超声图像时超声探头的位置和/或方向。
神经网络600的输出可以被超声成像***用来自动或半自动地将注释应用到超声图像。
图7是根据本公开的示例的可用于分析数据的长短期记忆(LSTM)模型的单元的图示。在一些示例中，LSTM模型可以由诸如超声成像***200的超声成像***的一个或多个处理器(例如，图像处理器236、图形处理器240)来实现。LSTM模型是一种循环神经网络，其能够学习长期依赖性。因此，LSTM模型可以适于分析和预测序列，例如应用的注释的序列、采集的图像和/或超声探头的移动。LSTM模型通常包含多个耦合在一起的单元。单元的数量可以至少部分地基于要由LSTM分析的序列的长度。为了简单起见，图7中仅示出了单个单元700。在一些示例中，包括单元700的LSTM可以被包括在AI模型306和/或AI模型308中。
穿过单元700顶部的变量C是单元的状态。先前LSTM单元Ct-1的状态可以被提供给单元700作为输入。可以通过单元700来选择性地添加数据或从单元的状态中删除数据。数据的添加或删除由三个“门”控制，每个门都包含一个单独的神经网络层。单元700的修改或未修改状态可以由单元700提供给下一个LSTM单元作为Ct。
穿过单元700底部的变量h是LSTM模型的隐藏状态向量。先前单元ht-1的隐藏状态向量可以被提供给单元700作为输入。隐藏状态向量ht-1可以通过提供给单元700的LSTM模型的当前输入xt来修改。还可以基于单元700Ct的状态来修改隐藏状态向量。单元700处的经修改的隐藏状态向量可以被提供为输出ht。输出ht可以作为隐藏状态向量提供给下一个LSTM单元和/或被提供为LSTM模型的输出。
现在转向单元700的内部工作，用于控制单元C的状态的第一门(例如，遗忘门)包括第一层702。在一些示例中，所述第一层是S形层。S形层可以接收隐藏状态向量ht-1和当前输入xt的串联。第一层702提供输出ft，其包括指示来自先前单元状态的哪些数据应当被单元700“忘记”以及来自先前单元状态的哪些数据应当被单元700“记住”的权重。在点操作704处将先前的单元状态Ct-1乘以ft以去除被确定为要由第一层702遗忘的任何数据。
第二门(例如，输入门)包括第二层706和第三层710。第二层706和第三层710两者接收隐藏状态向量ht-1和当前输入xt的串联。在一些示例中，第二层706是S形函数。第二层706提供输出it，其包括指示需要将什么数据添加到单元状态C的权重。在一些示例中，第三层710可以包括tanh函数。第三层710可以生成向量Ct，所述向量包括可以从ht-1和xt添加到单元状态的所有可能的数据。权重it和向量Ct通过点运算708相乘。点操作708生成包括要添加到单元状态C的数据的向量。在点操作712处将数据添加到单元状态C以获得当前单元状态Ct。
第三门(例如，输出门)包括第四层714。在一些示例中，第四层714是S形函数。第四层714接收隐藏状态向量ht-1和当前输入xt的串联，并提供输出ot，其包括指示单元状态Ct的哪些数据应当被提供为单元700的隐藏状态向量ht的权重。在点运算716处，通过tanh函数将单元状态Ct的数据转变为向量，并且然后通过点运算718将单元状态Ct乘以ot以生成隐藏状态向量/输出向量ht。在一些示例中，输出向量ht可以伴随有置信值，类似于卷积神经网络的输出，例如参考图6描述的卷积神经网络的输出。
如图7中所示，单元700是“中间”单元。即，单元700从LSTM模型中的前一单元接收输入Ct-1和ht-1，并将输出Ct和ht提供给LSTM中的下一个单元。如果单元700是LSTM中的第一个单元，则它将仅接收输入xt。如果单元700是LSTM中的最后一个单元，则输出ht和Ct将不会提供给另一个单元。
在超声成像***的处理器(例如，图像处理器236、图形处理器240)实现LSTM模型的一些示例中，当前输入xt可以包括与应用于超声图像的注释、超声图像和/或探头跟踪有关的数据。隐藏状态向量ht-1可以包括与先前预测有关的数据，例如注释、超声图像中的解剖特征、超声探头的位置和/或取向、和/或图像平面。单元状态Ct-1可以包括与用户选择和/或接受的先前注释有关的数据。在一些示例中，LSTM模型的输出ht可以由超声成像***的处理器和/或另一处理器使用以将注释应用到超声图像。
图8是根据本公开的示例的可用于分析数据的决策树的图示。在一些示例中，决策树800可以由诸如超声成像***200的超声成像***的一个或多个处理器(例如，图像处理器236、图形处理器240)来实现。在一些示例中，决策树800可以被包括在AI模型306和/或AI模型308中。
决策树800包括测试的多个层804、806、808以做出关于输入802的确定。在特定层应用的测试可以至少部分地基于在先前层做出的确定。在图8中所示的示例中，决策树800被实现为分析超声图像数据，并且超声图像被提供为输入802。然而，在其他示例中，决策树800可以被实现为分析其他类型的数据(例如，使用数据、探头跟踪数据)或额外类型的数据。例如，输入802可以包括超声图像和探头跟踪数据两者。
在第一决策层804中，在作为输入802提供的超声图像中识别器官。在一些示例中，第一决策层804可以包括AI模型，例如神经网络600，以确定图像中的器官。在第二决策层806处，可以做出一个或多个额外的决策，这取决于在决策层804中识别出什么器官。例如，如果识别了肝脏，则在第二决策层806处，做出关于以下的决策：超声图像是沿着肝脏的长轴如，矢状)平面还是横向平面采集的、图像是从肝的左侧还是右侧采集的，下腔静脉或主动脉在图像中是否可见，和/或是否存在门静脉高压或静脉曲张出血。在一些示例中，可以使用一种或多种AI模型(例如，神经网络、LSTM)来确定一项或多项决策。在一些示例中，可以使用在第一决策层804中使用的相同数据(例如，超声图像)。在一些示例中，可以使用不同的和/或额外的数据来在第二决策层806中做出确定。例如，除了超声图像之外，还可以使用探头跟踪数据。
根据第二决策层806中做出的决策，可以在第三决策层808中做出额外的决策。例如，一旦确定了长轴平面或横向平面，就可以确定它是肝脏的上区域、中间区域还是下区域，或者它是肝脏的中间区域、侧向区域还是内侧区域。类似于第一决策层804和第二决策层806，第三决策层808可以使用一个或多个AI模型来做出一个或多个确定。
一旦做出了所有确定，就可以提供决策层804、806、808中的一个或多个的一个或多个确定作为输出。在一些示例中，输出可以用于确定要应用于超声图像的注释。尽管在图8中提供的示例中示出了三个决策层，但是本发明并不限于此，在其他示例中，决策树800可以包括更多或更少的决策层。
如本文所述，AI模型(例如，AI模型306、AI模型308、神经网络600、包括单元700的LSTM以及决策树800)可以提供与一个或多个输出相关联的置信水平。在一些示例中，如果与输出相关联的置信水平等于或高于阈值(例如，超过50％、超过70％、90％以上等)，则处理器(例如，图像处理器236，图形处理器240)可以仅向超声图像应用注释。在一些示例中，如果置信水平低于阈值，则处理器可以不向超声图像应用注释。在一些示例中，这可能意味着不执行任何操作和/或提示用户手动提供注释。
尽管本文已经描述了卷积神经网络、LSTM模型和决策树，但是这些AI模型仅作为示例提供，并且本公开的原理不限于这些特定模型。此外，在一些示例中，统计分析技术，诸如参考图4和53描述的那些技术，可以与一个或多个AI模型组合使用来分析数据。在一些示例中，AI模型和/或统计分析技术可以至少部分地由运行计算机可读指令的一个或多个处理器来实现。计算机可读指令可以由诸如本地存储器242的非瞬态计算机可读存储器提供给一个或多个处理器。
图9示出了根据本公开的原理的用于训练和部署神经网络的过程的框图。图9中所示的过程可以用于训练由医学成像***实现的AI模型，例如图3中所示的AI模型306、308。图9的左侧，阶段1，图示了AI模型的训练。为了训练AI模型，可以将包括输入数据和输出分类的多个实例的训练集呈现给(一个或多个)AI模型的(一个或多个)训练算法(例如，AlexNet训练算法，如下文所描述的，Krizhevsky,A.，Sutskever,I.和Hinton,GE.“ImageNet Classification with Deep Convolutional Neural Networks,”NIPS2012或其后续文章)。训练可以涉及对起始架构的选择912和训练数据的准备914。起始架构912可以是空白架构(例如，具有定义的层和节点布置但没有任何先前训练的权重的架构)或部分训练的模型，例如初始网络，其然后可以被进一步定制用于超声图像、跟踪数据和/或使用数据的分类。起始架构912(例如，空白权重)和训练数据914被提供给训练引擎910(例如，ADAM优化器)用于训练模型。在足够次数的迭代之后(例如，当模型在可接受的误差内一致地执行时)，模型920被称为被训练并准备好部署，这在图9的中间(阶段2)中示出。图9的右侧，或者阶段3，应用训练的模型920(经由推理引擎930)来分析新数据932，新数据932是在初始训练期间(在阶段1中)尚未呈现给模型的数据。例如，新数据932可以包括未知图像，例如在患者扫描期间采集的实时超声图像和/或由用户手动应用于未知图像的注释。经由引擎930实现的训练模型920用于根据模型920的训练对未知图像进行分类，以提供输出934(例如，解剖特征、图像平面、探头的位置和/或取向、注释)。输出934然后可以被***用于后续过程940(例如，应用注释、生成带注释的图像)。在一些示例中，在动态训练训练模型的情况下，可以将示为现场训练938的附加数据提供给推理引擎930。附加数据可以包括新数据932、指示用户是接受还是改变所提供的注释的数据和/或其他数据。
在训练模型920用于实现由诸如图像处理器236和/或图形处理器240的处理器执行的神经网络的实施例中，起始架构可以是卷积神经网络或深度卷积神经网络的架构。训练数据914可以包括多幅(数百幅、通常数千幅或甚至更多)带注释的图像、相关联的使用数据和/或相关联的探头跟踪数据。
图10是根据本公开的示例的方法的流程图。方法1000可以是用于自动或半自动地注释超声图像的方法。在一些示例中，方法1000可以由诸如超声成像***200的超声成像***来执行。在一些示例中，方法1000的全部或部分可以由一个或多个处理器执行，例如图像处理器236和/或图形处理器240。在一些示例中，一个或多个处理器可以实现一个或多个AI模型，诸如图3和图6-8中所示的那些，以执行方法1000的一些或全部。在一些示例中，一个或多个处理器可以实现一种或多种统计分析技术，诸如图4和图5中所示的那些技术，以执行方法1000中的一些或全部。
超声成像***的一个或多个处理器可以接收由超声探头采集的超声图像，如框1002所旨示。至少部分地基于所述超声图像，一个或多个处理器可以确定所述超声图像中存在的解剖特征，如框1004所示。在一些示例中，所述一个或多个处理器还可以确定成像平面、超声探头的位置或超声探头的取向中的至少一项，如框1006所指示。如框1008所示，所述一个或多个处理器可以确定要应用于所述超声图像的注释。所确定的注释可以至少部分地基于所确定的解剖特征以及所确定的成像平面、所确定的超声探头的位置或所确定的超声探头的取向中的至少一项。一个或多个处理器可将超声图像和注释提供给显示器或用于存储的非瞬态计算机可读介质中的至少一项，如框1010所示。
在一些示例中，所述一个或多个处理器还可接收探头跟踪数据和/或使用数据以用于在框1004、1006和/或1008中做出确定。在一些示例中，可以至少部分地通过一种或多种AI模型和/或统计分析方法来执行所述确定中的一个或多个。
图11是图示根据本公开的原理的示例处理器1100的框图。处理器1100可用于实现本文描述的一个或多个处理器和/或控制器，例如图2中所示的图像处理器236和/或图2所示的任何其他处理器或控制器。处理器1100可以是任何合适的处理器类型，包括但不限于微处理器、微控制器、数字信号处理器(DSP)、现场可编程阵列(FPGA)，其中FPGA已被编程以形成处理器、图形处理单元(GPU)、专用电路(ASIC)，其中ASIC被设计为形成处理器，或它们的组合。
处理器1100可以包括一个或多个核1102。核1102可以包括一个或多个算术逻辑单元(ALU)1104。在一些实施例中，除了ALU 204之外或代替ALU 1104，核1102可以包括浮点逻辑单元(FPLU)1106和/或数字信号处理单元(DPU)1108。
处理器1100可以包括通信地耦合到核1102的一个或多个寄存器1112。可以使用专用逻辑门电路(例如，触发器)和/或任何存储器技术来实现寄存器1112。在一些实施例中，寄存器1112可以使用静态存储器来实现。寄存器可以向核1102提供数据、指令和地址。
在一些实施例中，处理器1100可以包括通信地耦合到核1102的一个或多个级别的高速缓存存储器1110。高速缓存存储器1110可以向核1102提供计算机可读指令以供执行。高速缓存存储器1110可以提供数据以供核1102处理。在一些实施例中，计算机可读指令可能已经由本地存储器(例如，附接到外部总线1116的本地存储器)提供给高速缓存存储器1110。高速缓存存储器1110可以用任何合适的高速缓存存储器类型来实现，例如金属氧化物半导体(MOS)存储器，诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)和/或任何其他合适的存储器技术。诸如上述的计算机可读介质可以存储当由处理器执行时部署当前公开的技术的指令。
处理器1100可以包括控制器1114，其可以控制从其他处理器和/或***中包括的部件(例如，图2中所示的控制面板252和扫描转换器230)到处理器1100的输入和/或来自处理器1100的到***中包括的其他处理器和/或部件(例如，图2中所示的显示器238和体积绘制器234)的输出。控制器1114可以控制ALU 1104、FPLU 1106和/或DSPU 1108中的数据路径。控制器1114可以实现为一个或多个状态机、数据路径和/或专用控制逻辑。控制器1114的门可以实现为独立门、FPGA、ASIC或任何其他合适的技术。
寄存器1112和高速缓存1110可以通过内部连接1120A、1120B、1120C和1120D与控制器1114和核1102通信。内部连接可以实现为总线、多路复用器、纵横开关(crossbarswitch)和/或任何其他合适的连接技术。
处理器1100的输入和输出可以通过总线1116提供，所述总线可以包括一条或多条导线。总线1116可以通信地耦合到处理器1100的一个或多个部件，例如控制器1114、高速缓存1110和/或寄存器1112。总线1116可以耦合到***的一个或多个部件，例如前面提到的显示器238和控制面板252。
总线1116可以被耦合到一个或多个外部存储器。外部存储器可以包括只读存储器(ROM)1132。ROM 1132可以是掩码ROM、电可编程只读存储器(EPROM)或任何其他合适的技术。外部存储器可以包括随机存取存储器(RAM)1133。RAM 1133可以是静态RAM、电池备份的静态RAM、动态RAM(DRAM)或任何其他合适的技术。外部存储器可以包括电可擦除可编程只读存储器(EEPROM)1135。外部存储器可以包括闪存1134。外部存储器可以包括磁存储设备，例如磁盘1136。在一些实施例中，外部存储器可以包括在***中，例图2中所示的超声成像***200，例如本地存储器242。
本文公开的***、方法和装置可以自动和/或半自动地向超声图像应用注释，例如标签和/或身体标记物。在一些应用中，这可以通过减少用户手动应用注释所需的时间来减少检查时间。
尽管本文描述的示例讨论了超声图像数据的处理，但是应当理解，本公开的原理不限于超声并且可以应用于来自诸如磁共振成像和计算机断层扫描的其他模态的图像数据。
在使用诸如基于计算机的***或可编程逻辑的可编程设备来实现部件、***和/或方法的各种实施例中，应当理解，上述***和方法可以使用各种已知的或以后开发的编程语言，例如“C”、“C++”、“C#”、“Java”、“Python”等中的任一种来的实现。因此，可以准备各种存储介质，例如磁性计算机磁盘、光盘、电子存储器等，其可以包含可以指导例如计算机的设备以实现上述***和/或方法的信息。一旦适当的设备可以访问包含在存储介质上的信息和程序，存储介质就可以将信息和程序提供给该设备，从而使该设备能够执行本文描述的***和/或方法的功能。例如，如果将包含适当材料(例如源文件、目标文件、可执行文件等)的计算机盘提供给计算机，则计算机可以接收所述信息，对其自身进行适当的配置并执行上面的图解和流程图中描绘的各种***和方法的功能以实现各种功能。也就是说，计算机可以从磁盘接收与上述***和/或方法的不同元素有关的信息的各个部分，实现个体***和/或方法，并协调以上描述个体***和/或方法的功能。
鉴于本公开，应当注意，本文描述的各种方法和设备可以以硬件、软件和固件来实现。此外，各种方法和参数仅作为示例而被包括，而没有任何限制意义。鉴于本公开，本领域普通技术人员可以在确定他们自己的技术和影响这些技术的所需设备的情况下实施本教导，同时仍在本公开的范围内。本文中描述的一个或多个处理器的功能可以被合并到更少的数目或单个处理单元(例如，CPU)中，并且可以使用被编程为响应于可执行指令而执行本文描述的功能的专用集成电路(ASIC)或通用处理电路来实现。
尽管可能已经特别参考超声成像***描述了本***，但是还预期，本***可以扩展到以***的方式获得一幅或多幅图像的其他医学成像***。因此，本***可用于获得和/或记录与肾、睾丸、乳腺、卵巢、子宫、甲状腺、肝、肺、肌肉骨骼、脾、心脏、动脉和血管***有关的图像信息，以及与超声引导干预相关的其他成像应用，但不限于其。此外，本***还可以包括可以与常规成像***一起使用的一个或多个程序，使得它们可以提供本***的特征和优点。通过研究本公开，本公开的某些其他优点和特征对于本领域技术人员而言可能是显而易见的，或者可以由采用本公开的新颖***和方法的人员来体验。本发明的***和方法的另一个优点可以是可以容易地升级传统的医学成像***以并入本***、设备和方法的特征和优点。
当然，应当理解，根据本***、设备和方法，本文中描述的示例、实施例或过程中的任何一个可与一个或多个其他示例我、实施例和/或过程相组合，或是分离的，和/或在分立设备或设备部分之中执行。
最终，以上讨论旨在仅仅为对本发明的***的说明并且不应理解为将所附权利要求限制到任何特定的实施例或实施例的组。因而，虽然已经参考示范性实施例详细描述了本***，但是也应领会到，在不脱离如权利要求书所提出的本***的更宽且意旨的精神和范围的情况下，本领域技术人员可以设计出众多的变型和替代实施例。因此，说明书和附图应被视为是以说明性的方式并且不旨在限制随附权利要求的范围。

Claims (20)

1.一种被配置为对超声图像进行注释的超声成像***，所述***包括：
超声探头(212)，其被配置为采集超声信号；
处理电路(250)，其被配置为根据所述超声信号来产生超声图像；
非瞬态计算机可读介质(242)，其被编码有指令并且被配置为存储所述超声图像；以及
至少一个处理器(236、240)，其与所述非瞬态计算机可读介质通信并且被配置为运行所述指令，其中，当被运行时，所述指令使所述超声成像***：
确定所述超声图像中存在的解剖特征；
确定以下中的至少一项：成像平面、所述超声探头的位置或所述超声探头的取向；并且
至少部分地基于所确定的解剖特征以及以下中的至少一项来确定要应用于所述超声图像的注释：所确定的成像平面、所确定的所述超声探头的位置或所确定的所述超声探头的取向。
2.根据权利要求1所述的***，还包括显示器，所述显示器被配置为显示所述超声图像，其中，所述至少一个处理器还被配置为提供所述注释以供在所述超声图像上显示。
3.根据权利要求2所述的***，还包括用户接口，所述用户接口被配置为允许用户改变由所述至少一个处理器提供的所述注释。
4.根据权利要求1所述的***，还包括用户接口，所述用户接口被配置为接收来自用户的输入，其中，所述输入作为使用数据被存储在所述非瞬态计算机可读介质中，并且其中，所述注释是基于所述使用数据来确定的。
5.根据权利要求4所述的***，其中，所述注释是基于对所述使用数据的统计分析来确定的。
6.根据权利要求2所述的***，其中，所述指令响应于在所述处理器上运行而使所述处理器：
响应于确定所述超声探头处于运动中而指示以下中的至少一项：(i)从所述显示器去除注释，以及(ii)停止向所述显示器提供注释；并且
响应于确定所述超声探头静止而指示以下中的至少一项：(i)使注释返回到所述显示器，以及(ii)重新提供到所述显示器。
7.根据权利要求2所述的***，其中，对所述注释的所述提供响应于确定所述超声探头处于以下中的至少一项而改变：相对于所确定的解剖特征或对第二确定的解剖特征的识别中的至少一项的第二确定的位置取向或第二确定的取向。
8.根据权利要求1所述的***，其中，所述至少一个处理器实施一种或多种人工智能(AI)模型以确定以下中的至少一项：所述注释、所述解剖特征、所述成像平面、所述超声探头的所述位置或所述超声探头的所述取向。
9.根据权利要求8所述的***，其中，所述一个或多个AI模型包括神经网络。
10.根据权利要求8所述的***，其中，所述一个或多个AI模型包括决策树。
11.根据权利要求1所述的***，还包括探头跟踪设备，所述探头跟踪设备被耦合到所述超声探头并且被配置为向所述至少一个处理器提供探头跟踪数据以确定以下中的至少一项：所述解剖特征、所述成像平面、所述超声探头的所述位置，或者所述超声探头的所述取向。
12.根据权利要求11所述的***，其中，所述探头跟踪设备是电磁探头跟踪设备。
13.根据权利要求1所述的***，其中，所述处理电路被包含在所述超声探头内。
14.根据权利要求1所述的***，其中，所述注释包括图形身体标记物。
15.一种用于对超声图像进行注释的方法，所述方法包括：
接收由耦合到处理电路(250)的超声探头(212)采集的超声图像；
利用至少一个处理器(236、240)来确定所述超声图像中存在的解剖特征；
利用所述至少一个处理器来确定以下中的至少一项：成像平面、所述超声探头的位置或所述超声探头的取向；并且
利用所述至少一个处理器来至少部分地基于所确定的解剖特征以及以下中的至少一项来确定要应用于所述超声图像的注释：所确定的成像平面、所确定的所述超声探头的位置或所确定的所述超声探头的取向。
16.根据权利要求15所述的方法，还包括从耦合到所述超声探头的探头跟踪设备接收探头跟踪数据，其中，对所述注释的确定基于所述探头跟踪数据。
17.根据权利要求15所述的方法，其中，确定所述注释、所述解剖特征、所述成像平面、所述超声探头的所述位置或所述超声探头的所述取向中的至少一项是由一个或多个人工智能(AI)模型执行的。
18.根据权利要求17所述的方法，其中，所述一个或多个AI模型包括神经网络、长短期记忆模型或决策树中的至少一种。
19.根据权利要求15所述的方法，还包括从用户接口或非瞬态计算机可读介质中的至少一项接收使用数据，其中，对所述注释的确定是基于所述使用数据的。
20.一种用于对超声进行注释的计算机可读介质，所述计算机可读介质包括当在处理器上被运行时使所述处理器执行以下操作的指令：
接收由耦合到处理电路(250)的超声探头(212)采集的超声图像；
利用至少一个处理器(236、240)来确定所述超声图像中存在的解剖特征；
利用所述至少一个处理器来确定以下中的至少一项：成像平面、所述超声探头的位置或所述超声探头的取向；并且
利用所述至少一个处理器来至少部分地基于所确定的解剖特征以及以下中的至少一项来确定要应用于所述超声图像的注释：所确定的成像平面、所确定的所述超声探头的位置或所确定的所述超声探头的取向。
CN202280046139.2A 2021-06-28 2022-06-10 用于注释医学图像的***、方法和装置 Pending CN117651526A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163215632P 2021-06-28 2021-06-28
US63/215,632 2021-06-28
PCT/EP2022/065808 WO2023274682A1 (en) 2021-06-28 2022-06-10 Systems, methods, and apparatuses for annotating medical images

Publications (1)

Publication Number Publication Date
CN117651526A true CN117651526A (zh) 2024-03-05

Family

ID=82214121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280046139.2A Pending CN117651526A (zh) 2021-06-28 2022-06-10 用于注释医学图像的***、方法和装置

Country Status (4)

Country Link
EP (1) EP4362806A1 (zh)
JP (1) JP2024525218A (zh)
CN (1) CN117651526A (zh)
WO (1) WO2023274682A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
US10026338B2 (en) * 2004-11-30 2018-07-17 The Regents Of The University Of California Embedded motion sensing technology for integration within commercial ultrasound probes
US8460190B2 (en) * 2006-12-21 2013-06-11 Siemens Medical Solutions Usa, Inc. Automated image interpretation with transducer position or orientation sensing for medical ultrasound
US11653897B2 (en) * 2016-07-07 2023-05-23 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus
EP4061230B1 (en) * 2019-11-21 2024-05-15 Koninklijke Philips N.V. Systems and methods for obtaining medical ultrasound images

Also Published As

Publication number Publication date
EP4362806A1 (en) 2024-05-08
WO2023274682A1 (en) 2023-01-05
JP2024525218A (ja) 2024-07-10

Similar Documents

Publication Publication Date Title
KR102269467B1 (ko) 의료 진단 이미징에서의 측정 포인트 결정
US20210177373A1 (en) Ultrasound system with an artificial neural network for guided liver imaging
JP2021191429A (ja) 医療画像のアノテーションのための装置、方法、及びシステム
EP2846310A2 (en) Method and apparatus for registering medical images
US20170124700A1 (en) Method and system for measuring a volume from an ultrasound image
US10952705B2 (en) Method and system for creating and utilizing a patient-specific organ model from ultrasound image data
US20230062672A1 (en) Ultrasonic diagnostic apparatus and method for operating same
KR20220032067A (ko) 데이터 처리 방법, 장치, 기기 및 저장매체
CN112955934A (zh) 识别医学图像中的介入设备
KR20200080906A (ko) 초음파 진단 장치 및 그 동작 방법
CN113194837A (zh) 用于帧索引和图像复查的***和方法
US20230240656A1 (en) Adaptable user interface for a medical imaging system
US20230346339A1 (en) Systems and methods for imaging and measuring epicardial adipose tissue
JP2020507388A (ja) 解剖学的特徴の超音波評価
CN114098797B (zh) 用于提供解剖取向指示符的方法和***
CN117651526A (zh) 用于注释医学图像的***、方法和装置
CN115969414A (zh) 用于在超声成像期间使用分析辅助的方法和***
US11890143B2 (en) Ultrasound imaging system and method for identifying connected regions
US20210128113A1 (en) Method and apparatus for displaying ultrasound image of target object
US20220287686A1 (en) System and method for real-time fusion of acoustic image with reference image
US20220207743A1 (en) System and method for two dimensional acoustic image compounding via deep learning
US20240173007A1 (en) Method and apparatus with user guidance and automated image setting selection for mitral regurgitation evaluation
WO2024013114A1 (en) Systems and methods for imaging screening
WO2024047143A1 (en) Ultrasound exam tracking
EP4320587A1 (en) Systems, methods, and apparatuses for identifying inhomogeneous liver fat

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination