CN112004478A - 多模态融合靶向活检期间的自动路径校正 - Google Patents

多模态融合靶向活检期间的自动路径校正 Download PDF

Info

Publication number
CN112004478A
CN112004478A CN201980014144.3A CN201980014144A CN112004478A CN 112004478 A CN112004478 A CN 112004478A CN 201980014144 A CN201980014144 A CN 201980014144A CN 112004478 A CN112004478 A CN 112004478A
Authority
CN
China
Prior art keywords
biopsy
ultrasound
tissue
user interface
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980014144.3A
Other languages
English (en)
Inventor
A·M·塔赫玛塞比马拉古奥施
P·阿博尔马苏米
P·穆萨维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of British Columbia
Koninklijke Philips NV
Original Assignee
University of British Columbia
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of British Columbia, Koninklijke Philips NV filed Critical University of British Columbia
Publication of CN112004478A publication Critical patent/CN112004478A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/0233—Pointed or sharp biopsy instruments
    • A61B10/0241—Pointed or sharp biopsy instruments for prostate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0487—Special user inputs or interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本公开描述了超声成像***和方法，其被配置为描绘目标区域内的身体组织的子区域并且确定用于对组织进行采样的活检路径。***可以包括被配置为对目标区域内的活检平面成像的超声换能器。与所述换能器通信的处理器可以获得与换能器采集的回波信号相关联的顺序数据帧的时间序列，并且将神经网络应用于所述数据帧。所述神经网络可以确定所述数据帧中各种组织类型的空间位置和标识。还可以生成并在用户接口上显示标记在目标区域内识别的组织类型的坐标的空间分布图。所述处理器还可以经由用户接口接收指示要收集的靶向活检样本的用户输入，所述用户活检样本可以用于确定经校正的活检路径。

Description

多模态融合靶向活检期间的自动路径校正
技术领域
本公开涉及用于使用神经网络来识别癌症组织的不同区域并确定用于对组织进行采样的定制的活检路径的超声***和方法。具体实施方式还涉及被配置为生成组织分布图的***，所述组织分布图标记在组织的超声扫描期间沿着活检路径存在的癌症组织的不同类型和空间位置。
背景技术
***癌是男性中最常见的癌症，并且是美国第三大与癌症相关的主要死因。每年有超过23万美国男性被诊断出患有***癌，并且有近30000人死于该疾病。泌尿科医师已使用经直肠超声成像(TRUS)对***成像，引导活检甚至处置癌症组织。***具有不同质的回声性，但是在超声图像中癌症组织与健康组织没有区别。结果，现有技术将TRUS数据与通过多参数磁共振成像(mpMRI)收集的术前数据融合在一起，其可以识别癌症组织，从而基于癌症组织的存在来改善活检引导。为了将通过mpMRI识别的可能癌症位置转换为TRUS导出的特定坐标以进行活检，可以使用图像配准技术。
mpMRI-TRUS融合技术面临的挑战之一是活检二维实时TRUS图像上的活检位置未对齐，这导致了次优的活检靶向。这是由于以下事实：在最初的TRUS***扫掠之后，mpMRI与TRUS数据之间的对齐可能只执行了一次。在图像配准和活检之间的时间中，通常在几十分钟的量级中，***可以从采集3D TRUS扫描的初始状态开始移动和/或变形。因此，在进行活检时，由mpMRI-TRUS数据的配准得到的变换可能不准确。因此，可能期望能够在活检期间识别并在空间上描绘癌症组织的离散区域的新的***。
发明内容
本公开描述了超声成像***和方法，用于识别沿活检平面存在的不同类型的身体组织，包括所识别的每种组织类型的空间位置。由公开的***描绘的组织类型可以包括器官内的各种等级的癌症组织，例如***、乳腺、肝等。可以在活检流程(例如***的经直肠活检)期间实施示例***，其可以涉及从针对活检靶向的区域采集顺序超声数据帧的时间序列。示例***可以应用经训练的神经网络以确定癌症组织的标识(identity)和空间坐标。该信息可用于生成活检平面的组织分布图，沿着所述活检平面，超声数据被采集。基于组织分布图，可以确定校正的活检路径。考虑到临床指南、个人偏好、可行性约束和/或患者特定的诊断和处置计划，仅列举几个示例，经校正的活检路径可以结合关于特定组织类型的优先级进行活检的用户输入。在一些实施例中，可以生成并且任选地显示用于以到达校正的活检路径的必要的方式来调整超声换能器或活检针的指令。
根据一些示例，超声成像***可以包括超声换能器，所述超声换能器被配置为响应于沿着目标区域内的活检平面发射的超声脉冲而采集回波信号。还可以包括与所述超声换能器通信的至少一个处理器。所述处理器可以被配置为获得与回波信号相关联的顺序数据帧的时间序列，并将神经网络应用于顺序数据帧的所述时间序列。神经网络可以确定所述顺序数据帧中多种组织类型的空间位置和标识。应用神经网络的处理器可以还生成要在与处理器通信的用户接口上显示的空间分布图，所述空间分布图标记在所述目标区域内识别的多种组织类型的坐标。所述处理器还可以经由用户接口来接收指示靶向活检样本的用户输入，并且基于所述靶向活检样本来生成经校正的活检路径。
在一些示例中，顺序数据帧的所述时间序列可以体现为射频信号、B模式信号、多普勒信号或其组合。在一些实施例中，超声换能器可以与活检针耦合，并且处理器可以还被配置为生成用于调整超声换能器以使活检针与所述经校正的活检路径对齐的指令。在一些示例中，所述多种组织类型可以包括各种等级的癌症组织。在一些实施例中，所述目标区域可以包括***。在一些示例中，靶向活检样本可以指定最大数量的不同组织类型、最大量的单个组织类型、特定组织类型，或者其组合。在一些实施例中，用户输入可以体现对预设的靶向活检样本选项的选择或靶向活检样本的叙述性描述。在一些示例中，用户接口可以包括被配置为接收用户输入的触摸屏，并且所述用户输入可以包括在触摸屏上显示的虚拟针的移动。在一些实施例中，所述处理器可以被配置为生成并使得在用户接口上显示从活检平面采集的实时超声图像。在一些示例中，处理器可以还被配置为将空间分布图叠加在实时超声图像上。在一些实施例中，神经网络可以与训练算法可操作地相关联，所述训练算法被配置为接收已知输入和已知输出的阵列，并且已知输入可以包括超声图像帧，所述超声图像帧包含至少一种组织类型和与超声图像帧中包含的所至少一种组织相关联的组织病理学分类。在一些示例中，可以以大约5到大约9MHz的频率发送超声脉冲。在一些实施例中，可以使用目标区域的mpMRI数据来生成空间分布图。
根据一些示例，超声成像的方法可以包括：响应于沿着目标区域内的活检平面发射的超声脉冲而采集回波信号；获得与回波信号相关联的顺序数据帧的时间序列；将神经网络应用于顺序数据帧的所述时间序列，其中，所述神经网络确定所述顺序数据帧中的多种组织类型的空间位置和标识；生成要在与处理器通信的用户接口上显示的空间分布图，所述空间分布图标记在所述目标区域内识别的多种组织类型的坐标；经由所述用户接口来接收指示靶向活检样本的用户输入；并且基于所述靶向活检样本来生成经校正的活检路径。
在一些示例中，所述多种组织类型可以包括各种等级的癌症组织。在一些实施例中，方法可以还包括针对经校正的活检路径应用可行性约束，所述可行性约束基于活检的物理限制。在一些实施例中，方法可以还包括生成用于调整超声换能器以将活检针与经校正的活检路径对齐的指令。在一些实施例中，方法可以还包括将空间分布图叠加在显示在用户接口上的实时超声图像上。在一些示例中，可以通过直接的用户与在用户接口上显示的空间分布图的交互来生成经校正的活检路径。在一些实施例中，可以通过辨认对于多种组织类型中的每种的组织病理学分类唯一的超声特征来识别多种组织类型的标识。
附图说明
图1是根据本公开原理的利用超声探头和耦合到其的活检针进行的经直肠活检的示意图。
图2是根据本公开原理的用超声探头和安装在模板上的活检针进行的***活检的示意图。
图3是根据本公开原理的超声***的框图。
图4是根据本公开原理的另一超声***的框图。
图5是根据本公开原理的指示叠加在超声图像上的各种组织类型的组织分布图的示意图。
图6是根据本公开原理执行的超声成像方法的流程图。
具体实施方式
对特定实施例的以下描述本质上仅是示例性的，并且决不旨在限制本发明或其应用或用途。在本***和方法的实施例的以下详细描述中，参考了附图并且通过图示的方式示出了可以实践所描述的***和方法的特定实施例，附图形成实施例人一部分。足够详细地描述这些实施例以使得本领域技术人员能够实践当前公开的***和方法，并且应当理解，可以利用其他实施例，并且可以在不脱离本***的精神和范围的情况下进行结构和逻辑上的改变。此外，为了清楚起见，当对本领域技术人员显而易见的情况下，将不讨论对某些特征的详细描述，以便不掩盖对本***的描述。因此，不应当从限制性意义上看待以下详细描述，并且本***的范围仅由权利要求界定。
根据本公开的超声***可以利用神经网络，例如深度神经网络(DNN)、卷积神经网络(CNN)等，以识别和区分存在于进行超声成像的目标区域内的各种组织类型，例如各种等级的癌症组织。神经网络可以还描绘沿活检平面识别的每种组织类型的不同子区域。在一些示例中，可以使用多种当前已知的或以后开发的机器学***面内的空间位置，任选地生成显示组织分布的目标区域图。与神经网络通信地耦合的处理器然后可以确定针对侵入性对象(例如针)的经校正的活检路径。经校正的路径可以被配置为确保由例如治疗临床医师的用户优先化的对(一种或多种)特定组织类型(例如特定癌症等级)的收集。使用超声确定目标区域内特定等级的癌症组织的空间分布，并基于所述分布信息来确定经校正的活检路径，提高了诊断的准确性和基于诊断的治疗决策。
根据本发明原理的超声***可以包括或可操作地耦合到超声换能器，所述超声换能器被配置为朝着例如人体或其特定部分的介质发送超声脉冲，并响应于超声脉冲而生成回波信号。超声***可以包括被配置为执行发送和/或接收波束形成的波束形成器，以及被配置为显示由超声成像***生成的超声图像的显示器。超声成像***可以包括一个或多个处理器和神经网络。超声***可以与mpMRI***耦合，从而实现两个部件之间的通信。超声***还可以与被配置为沿着预定的活检路径发射到目标组织中的活检针或活检枪针耦合。
根据本公开实现的神经网络可以是硬件的(例如，神经元由物理部件表示)或基于软件的(例如，在软件应用程序中实现的神经元和路径)，并且可以使用多种拓扑和学***面成像的不同组织类型。超声***可以包括显示器和/或图形处理器，其可操作以显示实况超声图像和表示图像中存在的各种组织类型的组织分布图。还可以在用于在超声***的用户接口上显示的显示窗口中显示附加图形信息，其可以包括注释、用户指令、组织信息、患者信息、指示符和其他图形成分，其可以是交互式的，例如，响应于用户的触摸。在一些实施例中，可以将包括与癌症组织类型和坐标有关的信息的超声图像和组织信息提供给存储和/或存储设备，例如图片归档及通信***(PACS)，以用于报告目的或将来的机器训练(例如，继续增强神经网络的性能)。在一些示例中，在扫描期间获得的超声图像可以不显示给操作超声***的用户，而是可以在执行超声扫描时由***实时分析癌症组织的存在、不存在和/或分布。
图1示出了根据本公开的原理执行的经直肠活检流程100的示例。流程100，也可以称为“徒手”经直肠活检，涉及使用与活检针104耦合的超声探头102，所述超声探头可以直接安装在探头上或适配器装备上，例如针引导，在某些示例中与探头耦合。探头102和针104可以一起***患者的直肠中，直到两个部件的远端邻近***106和膀胱108。在该位置，超声探头102可以发射超声脉冲并响应于来自***106的脉冲而采集回波信号，并且针104可以沿着由探头的取向所指示的路径收集组织样本。根据本文中公开的***和方法，可以基于经由超声成像收集的组织信息来调整针104的投影活检路径，从而生成与原始活检路径不同的经校正的活检路径。例如，在接收由探头102采集的超声数据之后和/或同时，本文中公开的***可以沿着由探头成像的活检平面确定并显示***106内存在的各种类型的癌症和良性组织的空间分布。然后，所述分布信息可以用于确定经校正的活检路径，所述经校正的活检路径可以至少部分地基于用户针对活检关于特定组织类型指定的偏好。然后可以调整探头102和活检针104以使针与经校正的活检路径对齐，并且可以将针沿该路径******106中以收集组织样本用于进一步分析。尽管图1示出了经直肠活检过程，但是本文中所述的***和方法不限于***成像，并且可以针对各种组织类型和器官(例如***、肝脏、肾脏等)来实施。
图2示出了根据本公开的原理执行的经***活检流程200的示例。如图所示，经***活检流程200还涉及使用超声探头202和活检针204。与经直肠活检流程100不同，用于经***活检的针204没有直接安装在探头202或与探头耦合的适配器上。替代的是，将针204选择性地***由模板206限定的各种狭槽中，从而使得针可以独立于探头移动。在流程200期间，将超声探头202***患者的直肠中，直到探头的远端邻近***208。基于使用探头202收集的超声图像，本文中公开的***可以确定***208内存在的各种癌症和良性组织类型的空间分布。可以确定响应于***接收到的用户偏好的经校正的活检路径，其指示了特定狭槽，针204通过所述狭槽被***到模板206上。将针204与经校正的活检路径对齐后，可以将针穿过模板206，通过患者的***，并且最终沿活检路径进入***208以用于组织收集。
图3示出了根据本公开原理配置的示例超声***300。如图所示，在一些实施例中，***300可以包括超声数据采集单元310，所述超声数据采集单元310可以与侵入性设备311(例如，活检针)耦合。超声数据采集单元310可以包括超声换能器或探头，所述超声换能器或探头包括超声传感器阵列312，所述超声传感器阵列312被配置为将超声脉冲314发送到对象(例如***)的目标区域316中，并且响应于所发送的脉冲来接收回波318。在一些示例中，超声数据采集单元310还可以包括波束形成器320和信号处理器322，其可以被配置为提取在阵列312处顺序接收的体现多幅超声图像帧324的额外的时间序列数据。为了收集时间序列数据，可以在一段时间内，例如小于1秒、直到大约2、大约4、大约6、大约8、大约16、大约24、大约48或大约60秒从同一目标区域316采集一系列超声图像帧。在成像时可以采用各种屏气和/或图像配准技术，以补偿通常在正常呼吸期间可能发生的目标区域316的运动和/或变形。在不同的示例中，数据采集单元310的一个或多个部件可以被改变或者甚至被省略，并且可以收集各种类型的超声数据。使用超声数据帧的连续的集合，可以生成来自目标区域316的时间序列数据，例如，如美国专利申请公开US 2010/0063393A1中所述，其全部内容通过引用合并于此。在一些示例中，数据采集单元310可以被配置为以特定的帧速率(例如，大约5MHz至大约9MHz)来采集射频(RF)数据。在另外的示例中，数据采集单元310可以被配置为生成经处理的超声数据，例如，B模式、A模式、M模式、多普勒或3D数据。在一些示例中，信号处理器322可以与传感器阵列312一起被容纳，或者可以与耦合至其的传感器物理上分离但是通信地(例如，经由有线或无线连接)耦合到其。
***300可以还包括与数据采集单元310通信地耦合的一个或多个处理器。在一些示例中，***可以包括数据处理器326，例如，计算模块或电路(例如，专用集成电路(ASIC))，其被配置为实现神经网络327。神经网络327可以被配置为接收图像帧324，图像帧324可以包括与回波信号318相关联的顺序数据帧324的时间序列，并且识别存在的组织类型，例如图像帧内的各种等级的癌症组织或良性组织。神经网络327还可被配置为确定在目标区域316内识别出的组织类型的空间位置，并生成在成像区域内存在的组织类型的组织分布图。
为了训练神经网络327，可以将各种类型的训练数据328输入到网络中。训练数据328可以包括体现对应于特定组织类型的超声特征的图像数据，以及特定组织类型的组织病理学分类。通过训练，神经网络327可以学习将某些超声特征与特定的组织病理学组织分类相关联。可以才多种方式收集用于训练的输入数据。例如，对于包括在大量患者人群中的每个人类对象，可以从特定目标区域(例如，***)收集时间序列超声数据。还可以从每个对象中收集成像目标区域的物理组织样本，然后可以根据组织病理学指南对其进行分类。因此，可以针对患者群体中的每个对象收集两个数据集：第一数据集包含目标区域的时间序列超声数据，第二数据集包含与在所述第一数据集中表示的每个目标区域相对应的组织病理学分类。因此，真实情况即，针对患者群体中表示的每个样本，给定的组织区域是癌症的还是良性的，以及每个样本内存在的任何癌症组织的(一个或多个)特定等级，是已知的。癌症组织的等级可以基于格里森评分***，所述***以1到5的等级为组织样本分配数字评分，每个数字表示癌症的侵略性，例如低、中或高。较低的格里森评分通常表示正常或轻度异常的组织，而较高的格里森评分通常表示异常且有时为癌症的组织。
可以将时域和频域分析应用于输入训练数据328，以从其提取代表性特征。使用神经网络327的框架，所提取的特征以及每个组织样本的已知真实情况，可以训练网络内的分类器层以基于从超声信号导出的所提取特征来分离和解读组织区域并识别癌症组织等级。换句话说，神经网络327可以通过处理从良性组织收集的大量超声特征来学习良性组织超声信号是什么样的。同样，神经网络327可以通过处理从癌症组织收集的大量超声特征来学习癌症组织是什么样的。
在训练神经网络327以区分良性组织特征与癌症组织特征以及彼此不同的癌症组织特征之后，网络可以被配置为在实时收集的超声数据内沿着活检平面识别特定组织类型以及其空间坐标。在特定示例中，可以在超声成像期间生成RF时间序列数据，所述数据体现了由数据采集单元310从自目标区域316接收的回波318提取的信号。然后可以将数据输入经训练的神经网络327，所述经训练的神经网络被配置为从数据中提取特定特征。可以由神经网络327内的分类器层检查特征，所述分类器层被配置为例如基于所提取的特征根据格里森分数来识别(一个或多个)组织类型。可以将识别出的组织类型映射到目标区域316内的空间位置，并且可以从神经网络327输出显示组织类型分布的图。来自神经网络327的关于组织分布的输出可以与mpMRI数据融合以生成组织类型分布图。在一些实施例中，数据处理器326可以与mpMRI***329通信地耦合，所述mpMRI***329可以被配置为执行mpMRI和/或存储与由超声数据采集单元310成像的目标区域316相对应的术前mpMRI数据。与图3中所示的超声成像***300兼容的mpMRI***的示例包括皇家飞利浦有限公司(“飞利浦”)的UroNav。飞利浦UroNav是装备有多模式融合功能的***癌靶向活检平台。数据处理器326可以被配置为在应用神经网络327之前或之后将mpMRI数据与超声图像数据融合。
由神经网络327输出的组织分布数据可以被数据处理器326或一个或多个额外的或替代的处理器用来确定经校正的活检路径。经校正的活检路径的配置可以根据用户的喜好而变化，并且在某些情况下，可以在没有用户输入的情况下自动确定校正的活检路径。自动活检路径校正可以操作以产生导致组织类型多样性最大的活检的路径，例如，使目标区域内存在的不同癌症等级的数量最大化。活检路径校正定制的额外示例在下面结合图5详细描述。
如图3进一步所示，***300还可以包括与数据处理器326和用户接口332耦合的显示处理器330。在一些示例中，显示处理器330可以被配置为生成来自图像帧324和组织分布图336的实时超声图像334。组织分布图336可以包括原始活检路径的位置的指示，其可以基于执行超声成像的超声换能器的角度和方向。组织分布图336还可包括由***300确定的经校正的活检路径。另外，用户接口332还可以被配置为显示一个或多个消息337，其可以包括用于以将耦合到其的活检针311与经校正的活检路径对齐所必需的方式来调整超声换能器312的指令。在一些示例中，消息337可以包括警报，所述警报可以向用户传达无法可行地获得与用户的偏好一致的经校正的活检路径。用户接口332还可被配置为在超声扫描之前、期间或之后的任何时间接收用户输入338。在一些示例中，用户输入338可以包括预设路径校正选项的选择，所述预设路径校正选项指定要沿着校正的活检路径获得的组织类型。示例性预设选择可以体现为“最大化组织多样性”，“最大化4+5级组织”或“最大化癌症组织”的指令。在另外的示例中，用户输入338可以包括由用户输入的专设偏好。根据这样的示例，***300可以包括自然语言处理器，其被配置为解析和/或解释由用户输入的文本。
图4是根据本公开原理的另一超声***的框图。图4中所示的一个或多个部件可以被包括在被配置为识别沿着目标区域的活检平面存在的特定组织类型，确定所识别的组织类型的空间分布，生成描绘空间分布的组织分布图和/或确定经校正的活检路径，所述经校正的活检路径被配置为根据用户偏好对在目标区域中识别出的组织进行采样。例如，信号处理器322或数据处理器326的任何上述功能可以由图4中所示的一个或多个处理部件来实现和/或控制，包括例如信号处理器426、B模式处理器428、扫描转换器430、多平面重新格式化器423、体积绘制器434和/或图像处理器436。
在图4的超声成像***中，超声探头412包括换能器阵列414，所述换能器阵列414用于将超声发射到包含诸如***或其他器官的特征的区域中，并响应于所发射的波而接收回波信息。在各种实施例中，换能器阵列414可以是矩阵阵列或一维线性阵列。换能器阵列可以耦合到探头412中的微波束形成器416，其可以控制阵列中的换能器元件的信号的发送和接收，使得时间序列数据被探头412收集。在所示的示例中，微波束形成器416通过探测线缆耦合到发射/接收(T/R)开关418，其在发射与接收之间切换并保护主波束形成器422免受高能发射信号的影响。在一些实施例中，T/R开关418和***中的其他元件可以包括在换能器探头中，而不是在单独的超声***部件中。能够在微波束形成器416的控制下的从换能器阵列414的超声束的发射由耦合到T/R开关418和波束形成器422的发射控制器420指示，其从例如用户对用户接口或控制面板424的操作接收输入。可以由发射控制器420控制的功能是波束操纵的方向。波束可以***纵为从换能器阵列垂直向前(垂直于换能器阵列)，或者以不同的角度用于更宽的视场。由微波束形成器416产生的部分波束形成的信号被耦合到波束形成器422，其中，来自换能器元件的个体面片的部分波束形成的信号被组合为完全波束形成的信号。
波束形成的信号可以被传送到信号处理器426。信号处理器426可以以各种方式处理接收的回波信号，例如带通滤波、抽取、I和Q分量分离和/或谐波信号分离。处理器426还可以通过纹波降低、信号复合和/或噪声消除来执行的信号增强。在一些示例中，由信号处理器426采用的不同处理技术生成的数据可以被神经网络用来识别由超声数据内包含的独特超声信号指示的不同组织类型。在一些示例中，经处理的信号可以被耦合到B模式处理器428。由B模式处理器428产生的信号可以被耦合到扫描转换器430和多平面重新格式化器432。扫描转换器430能够以期望的图像格式来根据回波信号被接收的空间关系来布置回波信号。例如，扫描转换器430可以将回波信号布置成二维(2D)扇形形状的格式。多平面重新格式化器432能够将从身体的体积区域中的共同平面中的点接收到的回波转换为该平面的超声图像，如在美国专利US 6443896(Detmer)中所描述。在一些示例中，体积绘制器434可以将3D数据集的回波信号转换成如从给定参考点所看到的投影的3D图像，例如，在美国专利US 6530885(Entrekin等人)中所描述。2D或3D图像可以被从扫描转换器120、多平面重新格式化器432、以及体积绘制器434传送到图像处理器436用于进一步增强、缓存和/或临时存储，以在图像显示器437上显示。在它们的显示之前，可以实施神经网络438以识别由探头412成像的目标区域内存在的组织类型，并且描绘出这样的组织类型的空间分布。神经网络438还可以被配置为基于所执行的识别和空间描绘来产生组织分布图。在实施例中，神经网络438可以在各种处理阶段被实现，例如，在由图像处理器436、体绘制器434、多平面重新格式化器432和/或扫描转换器430执行的处理之前。在特定示例中，神经网络438可以应用于原始RF数据，即，无需由B模式处理器428执行的处理。图形处理器440可以生成图形叠加以用于与超声图像一起显示。这些图形叠加可以包含例如标准识别信息，例如患者姓名、图像的日期和时间、成像参数等，以及神经网络438生成的各种输出，例如组织分布图、原始活检路径、经校正的活检路径、指向用户的消息和/或用于在活检过程中调整超声探头412和/或与探头协同使用的活检针的指示。在一些示例中，图形处理器440可以从用户接口424接收输入，例如键入的患者姓名或确认***400的用户已经确认了从界面显示或发出的指令。用户接口424还可以接收体现用户偏好的输入，以用于选择特定目标组织类型。可以将在用户接口处接收到的输入与由神经网络生成的组织分布图进行比较，并最终用于确定与选择相符的经校正的活检路径。用户接口还可以耦合到多平面重新格式化器432，用于选择和控制多个经多平面重新格式化的(MPR)图像的显示。
图5是根据本公开原理的组织分布图502的示意图，所述组织分布图502叠加到显示在交互式用户接口505上的超声图像504上。由本文描述的神经网络生成的组织分布图502可以突出显示多个不同的组织子区域502a、502b、502c。如图所示，图502可以被限制在器官506内。器官的边界508可以通过例如在超声成像和活检之前离线收集的mpMRI数据来获得，并且与超声成像数据融合。示出了原始活检路径510以及经校正的活检路径512。
每个子区域502a、502b、502c包含不同的组织类型，如在此特定实施例中根据格里森评分***确定的。特别地，第一子区域502a包含具有格里森分数为4+5的组织，而第二子区域502b包含具有格里森分数为3+4的组织，并且第三子区域502c包含具有格里森分数为3+3的组织。因此，第一子区域502a包含表现出最强侵略性生长的组织，从而使得该组织最可能是癌症的。原始活检路径510穿过在图502中描绘的每个子区域502a、502b、502c；但是，并不是每个子区域都被相等地采样。例如，第一子区域502a仅与原始活检路径510相切地相交。尤其是因为第一子区域502a容纳了最具侵略性的组织，所以用户可以选择修改原始活检路径510以到达经校正的活检路径512。从图502可以清楚地看到，经校正的活检路径512直接穿过每个子区域502a、502b、502c，从而增加了从其收集足够的组织样本的可能性。
可以以各种方式确定经校正的活检路径512，其可以至少部分地取决于用户输入的偏好，所述用户可以鉴于临床目标而将特定组织类型优先于其他组织类型。例如，用户可以指定应当对特定的癌症等级，例如4+5进行活检，而与沿着成像的活检平面可能与目标区域一起出现的其他癌症组织等级无关。这样的偏好可以在用户接口505处被接收并且被用来确定与所述偏好相符的经校正的活检路径。在一些实施例中，偏好可以被存储为可由用户选择的预设选项。预设选项可以包括用于***的指令，所述指令用于确定经校正的活检路径，所述经校正的活检路径被配置为收集特定比率的不同组织类型，或者按照特定的临床指南收集组织类型。例如，用户可以指定经校正的活检路径必须被配置为从第一子区域502a获得50％的组织样本，从第二子区域502b获得30％的组织样本，以及从第三子区域502c获得的20％的组织样本。如上所述，用户偏好还可以以专设的方式接收，例如，通过对(一种或多种)目标组织类型的叙述性描述。无论是体现在预设选择还是临时描述中，都可以按照采集足以对特定患者进行准确的临床诊断的活检样本所需的方式自定义用户偏好。用户可以在各种时间自定义路径校正偏好。在一些实施例中，用户可以在超声扫描之前输入偏好。在一些示例中，用户可以在获得组织类型分布信息之后修改偏好。额外地或替代地，用户可以通过经由用户接口505直接与组织分布图502交互来直接指定经校正的活检路径。根据这样的示例，用户可以单击(或者如果用户接口包括触摸屏，则简单地触摸)表示原始活检路径的针、线或图标，并将其拖动到用户接口上的第二经校正的位置。在一些示例中，用户接口505可以被配置为使得用户可以选择以“学习模式”操作超声***，在此期间，***响应于由神经网络输出并且在用户接口上显示的空间分布数据而自动适应用户输入。另外，经校正的活检路径512可以自动地针对活检前mpMRI位置与经超声实时确定的空间坐标之间的任何未对齐进行校正。
根据确定满足指定的用户偏好的经校正的活检路径512，***可以应用“最可行”的约束，所述约束可以包括几何约束，所述几何约束限制在给定活检流程的设置的情况下实际可行的经校正的活检路径的数量。例如，基于沿着这样的特定路径获得样本所需的活检收集角度，应用最可行的约束可以消除物理上不可能的经校正的活检路径。最可行的约束条件可以在确定一个或多个经校正的活检路径512之后但是任选地在这样的路径显示在用户接口505上之前应用。该***可以还被配置为在最可行的约束影响经校正的路径结果时传达警报。在一些示例中，可以显示多个经校正的活检路径512，其被配置为组合地满足从用户接收的偏好。当已经确定最可行的约束影响结果时，和/或沿着任一给定的活检路径不可能满足所接收的用户偏好时，可以自动生成并显示多个路径确定。
组织分布图502的配置可以变化。在一些实施例中，图502可以包括被配置为用不同的颜色标记不同的组织类型的颜色图。例如，良性组织可以用蓝色指示，而具有高的格里森评分的癌症组织可以用红色或橙色指示。另外或可替代地，如图所示，图502可以被配置为将格里森分数直接叠加到相应的组织子区域上。在一些示例中，用户接口还可被配置为示出从颜色图和在其上显示的(多个)活检路径导出的各种统计结果。例如，用户接口可以显示给定活检路径中包括的每个组织等级的覆盖百分比。用户接口可以显示由神经网络识别的所有组织类型的空间坐标和边界。
用户接口505可以被配置为以将探头/针与经校正的活检路径512对齐所必需的方式，根据正在执行徒手还是经***的活检来显示用于调整超声探头和/或活检针的指令。例如，用户接口505可以显示例如读取“横向倾斜”，“背面倾斜”或“旋转90度”的指令。可以根据各种通信模式来传达指令。在一些示例中，指令可以以文本格式显示，而在其他示例中，指令可以以音频格式或使用符号、图形等进行通信。在另外的实施例中，指令可以与被配置为在无需人工干预的情况下调整超声探头和/或活检针的机构通信，例如，使用与探头和/或活检针耦合的机器人电枢。示例还可以涉及对一种或多种超声成像模态的自动调整，例如，波束角、焦深、采集帧率等。
图6是根据本公开原理执行的超声成像方法的流程图。示例方法600示出了本文描述的超声***和/或设备可以以任何顺序利用的步骤，用于沿着活检平面描绘组织类型和空间位置、生成空间分布图以及确定经校正的活检路径。
在所示的实施例中，所述方法在框602处开始于“响应于沿目标区域内的活检平面发射的超声脉冲而采集回波信号”。根据正在执行的活检，目标区域可能变化。在一些示例中，目标区域可以包括***。可以采用各种类型的超声换能器来采集回波信号。换能器可以被专门配置为适应不同的身体特征。例如，可以使用经直肠超声探头。
在框604处，所述方法涉及“获得与回波信号相关联的顺序数据帧的时间序列”。顺序数据帧的时间序列可以体现射频信号、B模式信号、多普勒信号或其组合。
在框606处，所述方法涉及“将神经网络应用于顺序数据帧的所述时间序列，其中，所述神经网络确定所述顺序数据帧中的多种组织类型的空间位置和标识。”在一些示例中，所述多种组织类型可以包括各种等级的癌症组织，例如中等侵略性、高度侵略性或轻微异常。在一些示例中，癌症组织等级可以根据格里森评分在1至5范围内的数字范围内定义。在各种实施例中，可以通过识别对于每种组织类型的组织病理学分类唯一的超声特征来识别组织类型。
在框608处，所述方法涉及“生成要在与处理器通信的用户接口上显示的空间分布图，所述空间分布图标记在所述目标区域内识别的多种组织类型的坐标。”在一些实施例中，所述空间分布图可以叠加在显示在用户接口上的实时超声图像上。另外或替代地，所述空间分布图可以是颜色图。
在框610，所述方法包括“经由用户接口接收指示靶向活检样本的用户输入”。靶向活检样本可以根据用户偏好指定最大数量的不同组织类型，最大量的单个组织类型和/或要采样的特定组织类型。
在框612处，所述方法涉及“基于所述靶向活检样本来生成经校正的活检路径”。所述经校正的活检路径可以通过与用户界面上显示的空间分布图的直接用户交互来生成。其他因素也可能影响经校正的活检路径。例如，所述方法可以还包括对经校正的活检路径施加可行性约束。可行性约束可以基于正在执行的活检过程的物理限制。例如，物理限制可能与以某些角度定位活检针的现实性有关。内部身体结构以及超声换能器设备的形状和尺寸都可能影响可行性约束。实施例还可以涉及生成指令，所述指令用于以将活检针与经校正的活检路径对齐所需的方式来调整超声换能器，到鉴于可行性约束这样的对齐是可能的程度。
在使用诸如基于计算机的***或可编程逻辑的可编程设备来实现部件、***和/或方法的各种实施例中，应当理解，上述***和方法可以使用各种已知的或以后开发的编程语言，例如“C”，“C++”，“FORTRAN”，“Pascal”，“VHDL”等中的任一种来的实现。因此，可以准备各种存储介质，例如磁性计算机磁盘、光盘、电子存储器等，其可以包含可以指导例如计算机的设备以实现上述***和/或方法的信息。一旦适当的设备可以访问包含在存储介质上的信息和程序，存储介质就可以将信息和程序提供给该设备，从而使该设备能够执行本文描述的***和/或方法的功能。例如，如果将包含适当材料(例如源文件、目标文件、可执行文件等)的计算机盘提供给计算机，则计算机可以接收所述信息，对其自身进行适当的配置并执行上面的图解和流程图中描绘的各种***和方法的功能以实现各种功能。也就是说，计算机可以从磁盘接收与上述***和/或方法的不同元素有关的信息的各个部分，实现个体***和/或方法，并协调以上描述个体***和/或方法的功能。
鉴于本公开，应当注意，本文描述的各种方法和设备可以以硬件、软件和固件来实现。此外，各种方法和参数仅作为示例而被包括，而没有任何限制意义。鉴于本公开，本领域普通技术人员可以在确定他们自己的技术和影响这些技术的所需设备的情况下实施本教导，同时仍在本公开的范围内。本文中描述的一个或多个处理器的功能可以被合并到更少的数目或单个处理单元(例如，CPU)中，并且可以使用被编程为响应于可执行指令而执行本文描述的功能的专用集成电路(ASIC)或通用处理电路来实现。
尽管可能已经特别参考超声成像***描述了本***，但是还可以想到，本***可以扩展到以***的方式获得一幅或多幅图像的其他医学成像***。因此，本***可用于获得和/或记录与肾、睾丸、乳腺、卵巢、子宫、甲状腺、肝、肺、肌肉骨骼、脾、心脏、动脉和血管***有关的图像信息，以及与超声引导干预相关的其他成像应用，但不限于其。此外，本***还可以包括可以与常规成像***一起使用的一个或多个程序，使得它们可以提供本***的特征和优点。通过研究本公开，本公开的某些其他优点和特征对于本领域技术人员而言可能是显而易见的，或者可以由采用本公开的新颖***和方法的人员来体验。本***和方法的另一个优点可以是可以容易地升级传统的医学成像***以并入本***、设备和方法的特征和优点。
当然，应当理解，根据本***、设备和方法，本文中描述的示例、实施例或过程中的任何一个可与一个或多个其他示例我、实施例和/或过程相组合，或是分离的，和/或在分立设备或设备部分之中执行。
最终，以上讨论旨在仅仅为对本发明的***的说明并且不应理解为将所附权利要求限制到任何特定的实施例或实施例的组。因而，虽然已经参考示范性实施例详细描述了本***，但是也应领会到，在不脱离如权利要求书所提出的本***的更宽且意旨的精神和范围的情况下，本领域技术人员可以设计出众多的变型和替代实施例。因此，说明书和附图应被视为是以说明性的方式并且不旨在限制随附权利要求的范围。

Claims (20)

1.一种超声成像***，包括：
超声换能器，其被配置为响应于沿着目标区域内的活检平面发射的超声脉冲而采集回波信号；
处理器，其与所述超声换能器通信并且被配置为：
获得与所述回波信号相关联的顺序数据帧的时间序列；
将神经网络应用于顺序数据帧的所述时间序列，其中，所述神经网络确定所述顺序数据帧中的多种组织类型的空间位置和标识；
生成要在与所述处理器通信的用户接口上显示的空间分布图，所述空间分布图标记在所述目标区域内识别的所述多种组织类型的坐标；
经由所述用户接口来接收指示靶向活检样本的用户输入；并且
基于所述靶向活检样本来生成经校正的活检路径。
2.根据权利要求1所述的超声成像***，其中，顺序数据帧的所述时间序列体现了射频信号、B模式信号、多普勒信号或其组合。
3.根据权利要求1所述的超声成像***，其中，所述超声换能器与活检针耦合，并且所述处理器还被配置为生成用于调整所述超声换能器以使所述活检针与所述经校正的活检路径对齐的指令。
4.根据权利要求1所述的超声成像***，其中，所述多种组织类型包括各种等级的癌症组织。
5.根据权利要求1所述的超声成像***，其中，所述目标区域包括***。
6.根据权利要求1所述的超声成像***，其中，所述靶向活检样本包括最大数量的不同组织类型、最大量的单个组织类型、特定组织类型，或者其组合。
7.根据权利要求1所述的超声成像***，其中，所述用户输入包括对预设的靶向活检样本选项的选择或对所述靶向活检样本的叙述性描述。
8.根据权利要求1所述的超声成像***，其中，所述用户接口包括被配置为接收所述用户输入的触摸屏，并且其中，所述用户输入包括在所述触摸屏上显示的虚拟针的移动。
9.根据权利要求1所述的超声成像***，其中，所述处理器被配置为生成并且使得在所述用户接口上显示从所述活检平面采集的实况超声图像。
10.根据权利要求9所述的超声成像***，其中，所述处理器还被配置为将所述空间分布图叠加在所述实况超声图像上。
11.根据权利要求1所述的超声成像***，其中，所述神经网络与训练算法可操作地相关联，所述训练算法被配置为接收已知输入和已知输出的阵列，其中，所述已知输入包括包含至少一种组织类型的超声图像帧以及与包含在所述超声图像帧中的所述至少一种组织类型相关联的组织病理学分类。
12.根据权利要求1所述的超声成像***，其中，所述超声脉冲以大约5到大约9MHz的频率发送。
13.根据权利要求1所述的超声成像***，其中，所述空间分布图是使用所述目标区域的mpMRI数据来生成的。
14.一种超声成像的方法，所述方法包括：
响应于沿目标区域内的活检平面发射的超声脉冲而采集回波信号；
获得与所述回波信号相关联的顺序数据帧的时间序列；
将神经网络应用于顺序数据帧的所述时间序列，其中，所述神经网络确定所述顺序数据帧中的多种组织类型的空间位置和标识；
生成要在与所述处理器通信的用户接口上显示的空间分布图，所述空间分布图标记在所述目标区域内识别的所述多种组织类型的坐标；
经由所述用户接口来接收指示靶向活检样本的用户输入；并且
基于所述靶向活检样本来生成经校正的活检路径。
15.根据权利要求14所述的方法，其中，所述多种组织类型包括各种等级的癌症组织。
16.根据权利要求14所述的方法，还包括针对所述经校正的活检路径施加可行性约束，其中，所述可行性约束基于活检的物理限制。
17.根据权利要求14所述的方法，还包括生成用于调整超声换能器以将活检针与所述经校正的活检路径对齐的指令。
18.根据权利要求14所述的方法，还包括将所述空间分布图叠加于在所述用户接口上显示的实况超声图像上。
19.根据权利要求14所述的方法，其中，所述经校正的活检路径是通过与在所述用户接口上显示的所述空间分布图的直接用户交互来生成的。
20.根据权利要求14所述的方法，其中，多种组织类型的所述标识是通过辨认对于所述多种组织类型中的每种组织类型的组织病理学分类唯一的超声特征来识别的。
CN201980014144.3A 2018-01-19 2019-01-07 多模态融合靶向活检期间的自动路径校正 Pending CN112004478A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862619277P 2018-01-19 2018-01-19
US62/619,277 2018-01-19
PCT/EP2019/050191 WO2019141526A1 (en) 2018-01-19 2019-01-07 Automated path correction during multi-modal fusion targeted biopsy

Publications (1)

Publication Number Publication Date
CN112004478A true CN112004478A (zh) 2020-11-27

Family

ID=65009764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980014144.3A Pending CN112004478A (zh) 2018-01-19 2019-01-07 多模态融合靶向活检期间的自动路径校正

Country Status (5)

Country Link
US (1) US20200345325A1 (zh)
EP (1) EP3740132A1 (zh)
JP (1) JP7442449B2 (zh)
CN (1) CN112004478A (zh)
WO (1) WO2019141526A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3853598A4 (en) 2018-09-18 2022-04-13 The University of British Columbia ULTRASOUND ANALYSIS OF A SUBJECT
US11415657B2 (en) * 2019-09-30 2022-08-16 Silicon Laboratories Inc. Angle of arrival using machine learning
US20210153838A1 (en) * 2019-11-21 2021-05-27 Hsiao-Ching Nien Method and Apparatus of Intelligent Analysis for Liver Tumor
JP2023077827A (ja) * 2021-11-25 2023-06-06 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
CN117218433A (zh) * 2023-09-13 2023-12-12 珠海圣美生物诊断技术有限公司 居家多癌种检测装置和多模态融合模型构建方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030135115A1 (en) * 1997-11-24 2003-07-17 Burdette Everette C. Method and apparatus for spatial registration and mapping of a biopsy needle during a tissue biopsy
CN101150989A (zh) * 2003-06-03 2008-03-26 阿利兹菲西奥尼克斯有限公司 通过声学换能器对颅内压的无创确定
US20120143029A1 (en) * 2007-11-26 2012-06-07 Bard Access Systems, Inc. Systems and methods for guiding a medical instrument
CN102915465A (zh) * 2012-10-24 2013-02-06 河海大学常州校区 一种基于移动生物刺激神经网络的多机器人联合编队方法
CN103285531A (zh) * 2012-02-28 2013-09-11 美国西门子医疗解决公司 与成像的高强度聚焦超声配准
CN103371870A (zh) * 2013-07-16 2013-10-30 深圳先进技术研究院 一种基于多模影像的外科手术导航***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6238342B1 (en) * 1998-05-26 2001-05-29 Riverside Research Institute Ultrasonic tissue-type classification and imaging methods and apparatus
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
WO2007137411A1 (en) 2006-05-26 2007-12-06 Queen's University At Kingston Method for improved ultrasonic detection
WO2014073649A1 (ja) 2012-11-09 2014-05-15 株式会社東芝 穿刺支援装置
JP6157864B2 (ja) 2013-01-31 2017-07-05 東芝メディカルシステムズ株式会社 医用画像診断装置及び穿刺術支援装置
JP5920746B1 (ja) 2015-01-08 2016-05-18 学校法人早稲田大学 穿刺支援システム
US20180125446A1 (en) 2015-06-04 2018-05-10 Koninklijke Philips N.V. System and method for precision diagnosis and therapy augmented by cancer grade maps
JP6670607B2 (ja) 2015-12-28 2020-03-25 キヤノンメディカルシステムズ株式会社 超音波診断装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030135115A1 (en) * 1997-11-24 2003-07-17 Burdette Everette C. Method and apparatus for spatial registration and mapping of a biopsy needle during a tissue biopsy
CN101150989A (zh) * 2003-06-03 2008-03-26 阿利兹菲西奥尼克斯有限公司 通过声学换能器对颅内压的无创确定
US20120143029A1 (en) * 2007-11-26 2012-06-07 Bard Access Systems, Inc. Systems and methods for guiding a medical instrument
CN103285531A (zh) * 2012-02-28 2013-09-11 美国西门子医疗解决公司 与成像的高强度聚焦超声配准
CN102915465A (zh) * 2012-10-24 2013-02-06 河海大学常州校区 一种基于移动生物刺激神经网络的多机器人联合编队方法
CN103371870A (zh) * 2013-07-16 2013-10-30 深圳先进技术研究院 一种基于多模影像的外科手术导航***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHEKOOFEH AZIZI: "《detection and grading of prostate cancer using temporal enhanced ultrasound：combining deep neural networks and tissue mimicking simulations》", 《INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY》, pages 1293 - 1305 *

Also Published As

Publication number Publication date
US20200345325A1 (en) 2020-11-05
WO2019141526A1 (en) 2019-07-25
JP2021510584A (ja) 2021-04-30
EP3740132A1 (en) 2020-11-25
JP7442449B2 (ja) 2024-03-04

Similar Documents

Publication Publication Date Title
JP7442449B2 (ja) マルチモーダル融合標的生検中の自動化されたパス補正
JP7357015B2 (ja) 生検予測及び超音波撮像によるガイド並びに関連するデバイス、システム、及び方法
JP7407790B2 (ja) 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
CN112716521B (zh) 具有自动图像呈现的超声成像***
CN106470612B (zh) 响应于解剖定性而平移超声阵列
EP2994053B1 (en) 3d ultrasound imaging system
EP2341836B1 (en) Generation of standard protocols for review of 3d ultrasound image data
EP3363365A1 (en) Automatic imaging plane selection for echocardiography
US20100286518A1 (en) Ultrasound system and method to deliver therapy based on user defined treatment spaces
US20190216423A1 (en) Ultrasound imaging apparatus and method of controlling the same
CN111432731A (zh) 用于检测图像伪影的智能超声***
JP2011505951A (ja) 取得された画像データに反応するフィードバックを用いる微調整及び位置決め制御を持つロボット超音波システム
CN105451663A (zh) 对目标视图的超声采集反馈引导
US20210089812A1 (en) Medical Imaging Device and Image Processing Method
CN104905812A (zh) 用于显示对象的多个不同图像的方法和设备
JP7325544B2 (ja) 頭蓋超音波データの取得をガイドするための方法及びシステム
US20160038125A1 (en) Guided semiautomatic alignment of ultrasound volumes
US20230181148A1 (en) Vascular system visualization
EP3310437B1 (en) Ultrasound guided radiotherapy system
CN114845642A (zh) 用于超声成像的智能测量辅助以及相关联的设备、***和方法
KR102467282B1 (ko) 의료 영상을 이용하는 중재시술 시스템 및 방법
US11896434B2 (en) Systems and methods for frame indexing and image review
US10376234B2 (en) Ultrasonic imaging apparatus and a method for imaging a specular object and a target anatomy in a tissue using ultrasound
EP3787518B1 (en) Shear wave amplitude reconstruction for tissue elasticity monitoring and display
CN106462967B (zh) 用于超声图像的基于模型的分割的采集取向相关特征

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination