CN111315301B - 用于将超声***图像与其他成像模态的***图像相关的超声***和方法 - Google Patents

用于将超声***图像与其他成像模态的***图像相关的超声***和方法 Download PDF

Info

Publication number
CN111315301B
CN111315301B CN201880072505.5A CN201880072505A CN111315301B CN 111315301 B CN111315301 B CN 111315301B CN 201880072505 A CN201880072505 A CN 201880072505A CN 111315301 B CN111315301 B CN 111315301B
Authority
CN
China
Prior art keywords
lesion
location
ultrasound
imaging
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880072505.5A
Other languages
English (en)
Other versions
CN111315301A (zh
Inventor
G·C-H·吴
D·金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111315301A publication Critical patent/CN111315301A/zh
Application granted granted Critical
Publication of CN111315301B publication Critical patent/CN111315301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本公开描述了超声成像***和方法，所述超声成像***和方法可用于辅助临床医师在超声检查期间定位病变，所述病变是先前从由另一个成像***，例如，磁共振成像***，采集的图像中定位的。公开了病变位置接口，所述病变位置接口在显示器上提供预测的病变位置的视觉指示。可以通过包括在本文中公开的超声成像***中的变形模型来确定预测的病变位置。

Description

用于将超声***图像与其他成像模态的***图像相关的超声 ***和方法
背景技术
本公开总体上涉及将来自两个或更多个不同医学成像***(例如磁共振(MR)成像和超声成像***)的图像相关。MR***成像可以用于筛查和诊断目的，例如以识别对象组织中肿瘤的存在和/或量化与肿瘤相关联的参数。MR***成像在高风险患者中更为常见，例如具有***癌和/或特定RCA2突变的先前历史的患者。MR***成像高度敏感，并且一些患者中，与传统的X射线***摄影术相比，可以提供更早的发现。但是，MR成像的高灵敏度可能会导致误报。通常，在开始处置之前，在MR扫描得到阳性结果之后，进行随诊超声检查。超声可用于从MR图像确认病变、表征病变和/或引导在MR扫描中发现的病变的活检。
MR***成像通常在患者俯卧(即，面朝下)且不支撑(一个或两个)***的情况下进行。相反，超声检查通常是在患者仰卧(即，面朝上)的情况下，将要扫描的一侧的胳膊举过头顶来执行。用于MR和超声的不同患者位置可能会导致在两个***的图像之间具有不同外观的解剖结构。由于在两个成像***之间***的不同位置，病变的形状和/或位置也可能偏移。这些差异可能导致在超声检查期间难以发现MR图像中记录的病变。大的***尺寸和/或多个病变可能加剧这些困难。因此，可能需要用于在随后的超声检查期间定位在MR扫描中发现的病变的工具。例如，在随后的超声成像中关联MR发现的能力和/或置信度可以便于超声引导的***检查，而不是更加昂贵的机架内MR引导的***检查，甚至在发现的特征在于来自超声检查的发现为良性的情况下也避免进行后续检查。
美国专利申请US 2006/0251301公开了一种方法和设备，该方法和设备使用来自一种评估方法的***的感兴趣项的(例如病变)已知位置，来预测针对另一种评估方法的所述项的位置。美国专利申请US 2012/0114213公开了一种用于多模态***成像的***。
发明内容
描述了可以改善超声***图像与通过其他模态采集的***图像之间的相关性的超声成像***和方法。
根据本公开原理的示例超声成像***可以包括：用户接口，其包括显示器和用户输入设备；存储器，其***作性耦合到所述用户接口；以及处理器，其***作性耦合到所述用户接口和所述存储器。所述存储器可以包括处理器可执行指令，所述处理器可执行指令在由处理器执行时可以使所述用户接口提供预测的病变位置的视觉指示，例如，以用于引导使用超声成像的图像数据采集，并且还可以使所述用户接口显示由所述超声成像***采集的超声图像。在一些实施例中，所述存储器可以包括处理器可执行指令，所述处理器可执行指令用于接收相对于使用第一成像模态的先前采集的图像数据的病变(例如，MR图像数据集)的可疑位置的指示，并且生成当使用不同的模态(例如，超声)对病变进行成像时的病变的预测位置。
根据本公开的原理的示例方法可以包括：接收包括与(一个或多个)可疑病变位置有关的信息的先前采集的图像数据；将变形模型应用于先前采集的图像数据以生成预测的病变位置；并且将预测病变位置提供给病变位置接口。在一些实施例中，一种方法可以包括：接收通过使用第一模态对组织进行成像而采集的成像数据(例如，MR体积数据集)；接收对成像组织内病变的可疑位置的指示；将变形模型应用于病变的可疑位置以生成当使用第二模态对组织进行成像时所述病变的预测的位置；并且在病变位置接口上提供预测位置的图形表示，所述病变位置接口与能经由第二形态进行成像的成像***相关联。
根据本公开原理的示例性非瞬态计算机可读介质可以包括用于预测超声成像***上的病变位置的处理器可执行指令，所述处理器可执行指令在被执行时可以使所述超声成像***：将变形模型应用于先前采集的图像，显示预测的病变位置，采集实况超声图像，并且显示所述实况超声图像。
本公开的方面，例如本文描述的用户接口和/或方法的特定元件，可以体现在包括处理器可执行指令的计算机可读介质中。例如，包括用于执行所描述的任何方法的处理器可执行指令的存储器可以被包括在根据本公开的超声成像***中。在一些实施例中，用于提供一个或多个图形用户接口或其元素的处理器可执行指令可以被合并到软件包中以在分析工作站上运行。本公开的各方面可以如下面进一步描述的那样促进超声图像的离线查看和分析，但是应当理解，本文描述的原理可以等同地应用于在线图像查看分析(例如，在超声***期间或图像采集后不久在超声***上执行的分析)。
附图说明
图1以框图形式示出了根据本公开的原理构造的超声成像***100。
图2示出了根据本公开原理的可用于***成像的超声成像***的图示。
图3示出了根据本公开原理的与病变位置接口300相关联的用户接口元件。
图4示出了根据本公开原理的身体标记和相关的注释。
图5是根据本公开原理的用于在当前超声检查中定位在先前采集的图像中记录的病变的示例过程的流程图。
图6是根据本公开原理的用于确定病变的预测位置的过程的流程图。
图7是根据本公开原理的用于在超声成像***上提供病变位置的视觉指示的过程的流程图。
具体实施方式
特定示例性实施例的以下描述本质上仅是示例性的，并且决不旨在限制本公开或其应用或用途。在本***和方法的实施例的以下详细描述中，参考了附图，附图形成其一部分，并且其中，通过图示的方式示出了可以实践所描述的***和方法的特定实施例。足够详细地描述这些实施例以使得本领域技术人员能够实践当前公开的***和方法，并且应当理解，可以利用其他实施例，并且可以在不脱离本***的精神和范围的情况下进行结构和逻辑上的改变。此外，为了清楚起见，当对本领域技术人员显而易见的情况下，将不讨论对某些特征的详细描述，以便不淹没对本***的描述。因此，不应当从限制性意义上看待以下详细描述，并且本***的范围仅由权利要求界定。
患者，尤其是那些被认为患有***癌的高风险患者，可能会通过磁共振(MR)成像对他们的***进行成像。尽管MR高度敏感并可以早期发现***癌，但MR可能容易出现假阳性。因此，在MR检测到病变后，患者通常接受随诊超声检查。超声检查可以包括对病变进行成像，表征病变(例如，大小、组织刚度、血流)和/或对病变执行引导的活检(例如，穿刺活检)。
执行后续超声检查的临床医师通常与执行MR扫描或分析图像的临床医师不同。临床医师可以接收患者的MR图像和/或来自分析了MR图像的放射科医师的报告。然后，基于图像的视觉检查和/或报告的解释，临床医师必须尝试在患者的***中发现与MR图像中相同的一个或多个病变，以关联发现。
MR***成像和超声成像是在患者处于不同位置的情况下执行的。MR***扫描常在患者俯卧(即，面朝下)且不支撑(一个或两个)***的情况下进行。这可以使重力延伸***组织，以实现更好的MR成像。相反，超声检查通常是在患者仰卧(即，面朝上)的情况下进行的，将要扫描的一侧的胳膊抬过头以伸展***组织，同时允许超声探头与***进行充分的声学接触。由于患者的位置不同，***组织可能会受到不同的压力和拉伸力，这可能会改变***组织的形状和/或位置。另外，由探头施加在组织上的压力可以进一步移位***组织，这可能进一步贡献于将两种不同模态之间的成像数据相关的问题。一个模态(例如，MR成像)与第二模态(例如，超声成像)之间的***变形的差异可能使临床医师难以在经由另一模态的成像期间(例如，在超声检查期间)定位在来自第一模态(例如，MR图像)的图像中记录的病变。例如，病变可以采取不同的形状，被另一组织结构遮盖和/或出现在***内的另一位置。解剖界标(例如，***、乳晕)也可能会改变外观和/或它们相对于病变的相对位置可能改变。此外，超声和MR容易出现不同的成像伪影，这可能会妨碍病变位置。例如，超声图像可能包括来自库珀韧带的阴影，这在MR成像中是不会遇到的。在一些情况下，为了避免伪影遮挡病变，执行超声检查的临床医师可能必须从与来自MR图像的***不同视图相对应的角度来对病变成像。
当前，临床医师在超声检查期间通过徒手扫描来手动搜索病变。可能需要大量的***组织扫描量和/或大量的扫描角度来定位病变。定位病变的时间可能很长，尤其是在***较大和/或有多个病变要定位的情况下。临床医师的经验也可能是在超声检查过程中定位病变所需时间的一个因素。即使当临床医师在超声检查期间发现病变时，临床医师也可能不确定超声检查期间发现的病变对应于MR图像中发现的病变。
如本文所述，当执行随访超声检查时，超声***可以从一种模态接收成像数据(例如，一个或多个MR体积数据集)。可以在超声检查之前将成像数据或其部分(例如，MR体积数据集或来自该数据集的图像的子集)加载到超声成像***中。感兴趣病变可能已经在MR数据集中被标记。MR数据集中的病变标记可能已经由临床医师在超声成像***上进行了标记，或者在将MR数据集加载到超声成像***之前，可能已经标记了MR数据集(例如，以识别感兴趣病变)。超声成像***可以包括***变形模型，其可以模拟在超声检查期间用MR成像的***将如何变形(例如，形状、位置)。变形模型可以分析MR成像数据，并预测在超声检查期间MR数据集中的记录的病变可以位于***中的何处。
超声成像***可以还包括图形用户接口(例如，病变位置接口)，所述图形用户接口可以提供***的视觉指示(例如，图形表示)，所述视觉指示可以可互换地称为***标记，以及在超声检查期间至少部分基于通过变形模型调整后的MR成像数据来提供病变的预测位置。图形表示可以将临床医师引导至***中的位置以进行扫描以定位在MR数据集中标记的目标病变。由病变位置接口提供的引导，其操作可以通过变形模型增强，可以减少在超声检查过程中定位病变所需的时间，和/或可以增加临床医师对超声检定中定位的是与相应的MR图像中所记录的相同病变的信心。
尽管本文提供的示例描述了为后续的超声检查分析MR***图像，但是本公开的原理可以被应用于分析X射线***摄影图像和其他***成像模态(例如3D***断层合成)的图像。例如，在X射线***摄影中，通常在患者站立并且***被压在两个板之间的同时采集图像。可以将超声成像***的变形模型应用于所得的X射线图像，并且可以通过病变位置接口向执行超声检查的临床医师提供所得的病变的预测位置。
本文中所描述的超声成像***可以包括：用户接口，其包括显示器和用户输入设备；存储器，其操作性耦合到所述用户接口；以及处理器，其操作性连接到所述用户接口和存储器。所述存储器可以包括处理器可执行指令，所述处理器可执行指令在由处理器运行时使用户接口提供对预测的病变位置的视觉指示(例如，叠加有注释的身体标记)并且显示由所述超声成像***采集的超声图像。所述存储器可以还包括处理器可执行指令，所述处理器可执行指令在由处理器执行时使处理器将变形模型应用于先前采集的图像，以确定预测的病变位置并将预测的病变位置提供给所述用户接口。所述用户接口还可以从用户输入设备接收实际病变位置，并提供对实际病变位置的视觉指示。为了进一步辐助临床医师，用户接口可以提供建议的位置中的至少一个的视觉指示(例如，超声探头相对于诸如***的某些解剖界标的距离和角度)，和/或提供指示超声探头的当前位置中的至少一个的视觉提示。除了由临床医师在超声检查期间采集的超声图像之外，用户接口还可以显示先前采集的图像(例如MR图像)。
现在首先参考图1，以方框图的形式示出了根据本公开的原理构建的超声***100。超声成像***100可以用于至少部分地实现本文描述的任何超声成像***。图1示出了超声成像***100，其包括超声探头102、换能器阵列132、微波束形成器130、发射/接收(T/R)开关108、波束形成器110、发射控制器114、信号处理器112、B模式处理器122、扫描转换器120、多平面重新格式化器126、体绘制器124、图像处理器118、图形处理器116、用户接口104、输入设备134和输出设备128。图1中所示的部件仅是说明性的，并且其他变型，包括去除部件、组合部件、重新布置部件和替换部件，都被预期。
在图1的超声成像***100中，超声探头106包括用于发射超声并接收回波信息的换能器阵列132。各种换能器阵列在本领域中是公知的，例如，线性阵列、凸型阵列或相控阵列。换能器阵列132例如可以包括能够在高度和方位维度上扫描以用于2D和/或3D成像的换能器元件的二维阵列。在某些情况下，换能器阵列132可以耦合到通常位于超声探头106中的微波束形成器130，所述微波束形成器130控制阵列中的换能器元件对信号的发送和接收。在图1所示的示例中，微波束形成器130例如通过探头电缆或无线地耦合到发送/接收T/R开关108，其在发送与接收之间切换。T/R开关108因此可以保护波束形成器110免受高能量发射信号的影响。在一些实施例中，T/R开关108和***的其他元件可以包括在换能器探头中，而不是在单独的超声***基座中。
如果在特定实施例中存在，则在微波束形成器130的控制下，来自换能器阵列132的超声束的传输由耦合到T/R开关108和波束形成器110的传输控制器114引导。发射控制器114从用户接口104的输入设备134的用户操作接收输入。可以使用控制面板(例如，触摸屏、控制台或二者的组合)来实现输入设备134，所述控制面板可以包括软和/或硬控制。由发射控制器114控制的功能之一是波束被转向的方向。波束可以***纵为从换能器阵列垂直向前(垂直于换能器阵列)，或者以不同的角度用于更宽的视场。在包括微波束形成器的实施例中，由微波束形成器130产生的部分波束形成的信号被耦合到主波束形成器110，其中，来自换能器元件的个体面片的部分波束形成的信号被组合为完全波束形成的信号。在其他实施例中，来自阵列132的信号被传输到波束形成器110，所述，所述波束形成器110响应于来自阵列的信号而形成波束形成的信号。
波束形成的信号可以被耦合到信号处理器112。信号处理器112可以以各种方式处理接收的回波信号，例如带通滤波、抽取、I和Q分量分离以及谐波信号分离。处理器112还可以执行的信号增强，例如纹波降低、信号复合、以及噪声消除。经处理的信号可以被耦合到B模式处理器122，B模式处理器1128可以采用幅度检测来对身体中的结构进行成像。在采集3D数据的情况下，由B模式处理器产生的信号可以被耦合到扫描转换器30和多平面重新格式化器126。扫描转换器120以期望的图像格式来根据回波信号被接收的空间关系来布置回波信号。例如，扫描转换器120可以将回波信号布置为二维扇区形格式，或者锥体三维(3D)图像。多平面重新格式化器126能够将从身体的体积区域中的共同平面中的点接收到的回波转换为该平面的超声图像，如在美国专利6443896(Detmer)中所描述。体积绘制器124将3D数据集的回波信号转换成如从给定参考点所看到的投影的3D图像，例如，在美国专利6530885(Entrekin等人)中所描述。2D或3D图像可以被从扫描转换器120、多平面重新格式化器126、以及体积绘制器124耦合到图像处理器118用于进一步增强、缓存和临时存储，以在输出设备128上显示。输出设备128可以包括使用诸如LCD、LED、OLED或等离子显示技术的各种已知的显示技术实现的显示设备。
图形处理器116可以生成图形叠加以用于与超声图像一起显示。这些图形叠加可以包括标准识别信息，例如图像的患者姓名、日期和时间、成像参数等等。图形处理器可以从输入设备134接收输入，例如键入的患者姓名。输入设备134可以包括一个或多个机械控件，例如按钮、转盘、轨迹球、物理键盘等，在本文中也可以称为硬控件。替代地或额外地，输入设备134可以包括一个或多个软控件，例如按钮、菜单、软键盘以及例如使用触敏技术(例如，电阻、电容或光学触摸屏)实现的其他用户接口控制元件。为此，超声成像***100可以包括用户接口处理器(即，处理器140)，其可以控制用户接口的操作，诸如与软控件相关联的功能。一个或多个用户控件可以其同定位于一个控制面板上。例如，可以在控制台上提供一个或多个机械控件，和/或可以将一个或多个软控件共同放置在触摸屏上，所述触摸屏可以附接到控制台或与控制台集成在一起。
超声图像和相关联的图形叠加可以存储在存储器136中，例如用于离线分析。在一些实施例中，存储器136可以包括设置在超声***基座中的本地存储器。在一些实施例中，存储器136可以包括图片存档及通信***(PACS)的存储设备。在一些实施例中，超声图像和相关联的数据可以本地和远程地存储在PACS服务器上。如本文所述，存储器136可以存储从其他成像***采集的图像。例如，存储器136可以存储由另一超声成像***、磁共振成像***和/或X射线***摄影***采集的图像。
另外，存储器136可以存储处理器可执行指令，所述处理器可执行指令包括用于执行与用户接口104相关联的功能的指令。用户接口104还可以耦合到多平面重新格式化器126，用于选择和控制多个经多平面重新格式化的(MPR)图像的显示。如本文所述，存储器136可以存储处理器可执行指令，所述处理器可执行指令包括用于执行与组织变形模型相关联的功能的指令。在一些实施例中，存储器136可以包括多个存储器。
在一些实施例中，两个或更多个处理部件(例如，波束形成器110、信号处理器112、B模式处理器122、扫描转换器120、多平面重新格式化器126、体积绘制器124、图像处理器118、图形处理器116、处理器140等)的功能，可以被组合为单个处理单元，也可以在多个处理单元之间划分。例如，处理器140可以包括两个处理器：用户接口处理器和变形模型处理器。在另一个示例中，图形处理器116和图像处理器118可以组合成单个处理器。
根据本公开的原理，传感器138可以被附接到超声探头106，并且可以与位置跟踪***106(例如，电磁(EM)跟踪***)操作性相关联，使得传感器138的空间位置可以被跟踪和/或记录。处理器140可以被配置为相对于对象配准超声探头106，并且基于配准以及从位置跟踪***102接收的位置数据，确定探头相对于对象的空间位置。处理器可以还被配置为将位置数据与通过位置跟踪探头采集的图像相关联。
根据本公开的原理，处理器140可以被配置和/或进一步被配置为接收与由另一成像***采集的图像相关联的图像和/或数据，例如存储在存储器136中的图像和/或数据。处理器140可以被配置为至少部分地基于接收到的图像和/或数据来应用组织变形模型，以生成对象在组织内的预测位置(例如，病变、解剖界标)。处理器140可以将预测的位置提供给图像处理器124、图形处理器116、存储器136和/或用户接口104。
处理器140可以从存储器136接收用于变形模型的指令。在一些实施例中，处理器140可以经由用户输入设备134从用户(例如，临床医师)接收额外的数据。例如，用户可以提供关于尺寸(例如，***的宽度、体积)和/或组织组成(例如，脂肪、腺体、肌肉)的数据。在一些实施例中，处理器140可以将分割模型应用于所接收的图像以确定组织组成和/或尺寸。在另一个示例中，用户可以在由另一成像***采集的图像中指示病变的位置。在另一示例中，用户可以指示要应用的变形模型的类型(例如，仰卧至俯卧，压缩至未压缩)。
在一些实施例中可以用来实现组织变形模型的组织变形模型的示例在美国专利申请US 13/666600“Apparatus and methods of compensating for organ deformationof internal structures to images,and applications of same”(Miga等人)中进行了描述。在一些实施例中，组织变形模型可以是***变形模型。在美国专利申请号US 14/000068“System and method forproviding registration between breast shapesbefore and during surgery”(Barth等人)中描述了可用于实施组织变形模型的***变形模型的示例。可以在一些实施例中使用的***变形模型的其他示例在“BreastDeformation Modelling:Comparison of Methods to Obtain a Patient SpecificUnloaded Configuration,”Eiben,B.等人,Medical Imaging 2014:Image-GuidedProcedures,Robotic Interventions,and Modeling,Proc.Of SPIE Vol.9036,903615，以及“Biomechanically Guided Prone-to-Supine Image Registration of Breast MRIUsing an Estimated Reference State,”Eiben,B.等人,2013IEEE 10th InternationalSymposium on Biomedical Imaging:From Nano to Macro,San Francisco,CA,USA，2013年4月7日至11日。提供这些组织变形模型仅出于示例目的。本公开的原理不限于所引用的示例。
图2示出了根据本公开原理的可用于***成像的超声成像***的图示。图2示出了超声成像***200、超声成像设备202、探头204、显示器206、实时图像208、位置跟踪***210、患者212、用户接口216、关节臂218、触摸屏220、基座222和病变位置接口224。图2中所示的部件仅是说明性的，并且其他变型，包括去除部件、组合部件、重新布置部件和替换部件，都被预期。
超声成像***200可以包括图1中的超声成像***100的一个或多个部件。超声成像***200可以包括超声成像设备202，其可以是基于推车的超声成像设备、手持式成像设备或其他便携式成像设备。例如，超声成像设备202的一个或多个处理部件(例如，波束形成器、存储器、信号处理器、B模式处理器、扫描转换器、多平面重新格式化器、体绘制器、图像处理器、图形处理器和/或其他)可以在基座222中提供可以控制超声成像设备的各种操作的处理器(可以是移动基座)。超声成像***200可以包括显示器206。显示器206可以经由关节运动臂218附接到基座222，以用于重新放置显示器206，从而允许其他人(例如，患者，另一位超声临床医师或临床医师)观看显示的图像。
超声成像设备202可以经由有线(例如，电缆)或无线(例如，Wi-Fi)连接连接到探头204。可以使用探头204来扫描对象(例如，患者212)的***组织。探头204可以被配置用于徒手操作。通过徒手，通常是指由临床医师(例如，超声技术人员、放射线医师)而不是由机器控制的致动器来操纵(例如，移动)探头。探头204的操作可以部分地通过用户接口216来控制。用户接口216可以包括输入部件，例如机械和软控件，以及输出部件，例如视觉、听觉和触觉反馈设备。可以使用可以在显示器206、触摸屏220或其组合上提供的图形用户接口(GUI)元素来实现用户接口216的一个或多个部件。例如，用探头204采集的图像(例如，实时图像208)可以显示在显示器206上、触摸屏220上或两者上。可以在显示器206、触摸屏220或两者上提供由超声成像***200和/或另一成像***(例如，MR成像***)先前采集的图像。在一些实施例中，先前采集的图像可以与实时图像208同时显示。用户接口可以被配置为提供用于控制超声***的操作的GUI元素。例如，可以在触摸屏220上提供一个或多个GUI控件。
用户接口216可以包括病变位置接口224。病变位置接口224可以提供一个或多个用户接口元素以帮助临床医师定位先前在来自不同成像***(例如，MR***)的图像中发现的病变。病变位置接口224的一个或多个元素可以被实现为GUI元素，其可以被提供在显示器206、触摸屏220或其组合上。病变位置接口224的一个或多个元素可以同时或在不同时间在一个或多个界面窗口中提供。
病变位置接口可以包括位置控件，其可以包括在触摸屏220上提供的GUI控件，下面将进一步描述其示例。在一些实施例中，例如在常规工作站上，可以使用对诸如鼠标、轨迹球、触摸板、键盘等的常规输入设备进行响应的GUI控件来实现位置控制。位置控件可以使得用户能够提供相对于先前采集的图像数据(例如，使用诸如MR的第一模态采集的成像数据)的可疑病变位置的指示，然后可以将该可疑位置用于生成预测的超声扫描组织时病变的位置。可以基于变形模型来生成预测的病变位置，所述变形模型考虑了两种成像模态在患者位置上的差异。预测的病变位置可以例如通过在病变位置接口224的解剖学代表性图形上提供预测的病变位置的图形表示来用于指导后续的超声扫描。病变位置接口224可以包括可以在超声***的显示器、工作站的显示器或另一显示器上显示的图形。图形可以被配置为以解剖学智能的方式显示信息(例如，一个或多个标记，其可以指示预测的病变位置)，例如通过在解剖学代表性的图形226(也称身体标记)上或旁边显示标记228来显示信息。解剖学代表性图形226可以包括解剖学部分或器官的二维或三维绘制。在当前上下文中，解剖学智能的可以替代地或额外地指代标记228在解剖学代表性图形上的自动放置，所述标记可以基于由变形模型调整的、先前采集的数据集中所指示的可疑位置来指示病变的预测位置。。如所描述的，可以利用位置跟踪的探头来采集图像数据，因此，解剖学智能可以替代地或额外地指代在特定图像的采集期间基于探头的位置将标记228自动放置在身体标记226上(例如，表示探头相对于解剖结构的当前位置和/或角度，探头的建议的位置和/或角度和/或两者的组合的图形)。在示出的示例中，解剖学代表性图形226可以是示出对应于成像的***的***侧的***图形。***图形可以叠加有一个或多个标记228，如将进一步描述的。标记228也可以被放置在身体标记的旁边(例如，在身体标记的上方、下方或任何一侧)。标记228(例如，符号和/或指示符)可以包括字母数字符号和/或几何形状。在一些实施例中，图形226可能不是解剖学上的表示，而是可以是时钟图的形式，其中标记被叠加或设置在时钟图附近。
超声成像***200可以与位置跟踪***210操作性相关联。位置跟踪***210可以是电磁(EM)跟踪***。EM跟踪***通常包括EM场发生器和传感器。传感器可以附接到探头204(例如，嵌入在探头204的壳体内或外部)。在一些实施例中，可以使用台式EM场发生器。EM场发生器可以相对于支撑对象的支撑表面(例如检查台)并且因此相对于患者是可移动的。这可以使得能够重新定位EM场发生器，使得EM场包围要扫描的器官或组织(例如，左***、右***)。在一些实施例中，电磁场发生器可以相对于支撑表面固定。在其他实施例中，可以使用不同类型的位置跟踪***，例如光学跟踪***(例如，视频、红外)。
用位置跟踪的探头采集的成像数据可以使超声成像***200的处理器能够确定对象在由此产生的超声图像内的相对位置。例如，超声成像***200的处理器可以使用来自位置跟踪***210的位置数据来估计探头相对于患者212的空间位置，然后该位置数据可以促进从利用位置跟踪探头(例如探头204)采集的图像中提取相关信息。例如，超声成像***可以将通过位置跟踪的探头采集的图像与由另一成像***采集的图像和/或在先前的超声检查期间采集的图像相关。探头位置数据可以包括关于探头的位置信息，例如探头在3D空间中的位置和取向。超声成像***200可以使得用户能够相对于患者的解剖结构配准探头204。例如，超声成像***200可以被配置为当被放置在相关的解剖界标(例如，***的***、***的边界等)处时将探头的空间位置与相应的界标相关联。
如所描述的，超声成像设备202可以接收从诸如MR***的另一成像***采集的图像。所接收的图像可以被存储在超声成像设备202所包括的存储器中。在一些实施例中，由超声成像***200采集的接收图像和/或超声图像可以根据标准格式(例如，DICOM格式)并附加有相应的病变位置和/或探头位置数据存储在单帧或多帧图像文件中。在一些实施例中，可以例如使用时钟角度、距***的距离和距皮肤线的深度来记录病变位置。在一些实施例中，临床医师可以在显示器206和/或触摸屏220上查看接收到的图像，并且经由用户接口216添加指示接收到的图像中的病变位置信息的标记。在一些实施例中，临床医师可以进一步在图像上指示组织类型和/或组成。例如，临床医师可以手动分割从另一成像***接收的图像的不同区域，以便指示组织类型和/或组成。
从先前模态接收的图像数据可以被提供给超声成像设备202所包括的处理器，在某些情况下，所述图像数据可以包括指示可疑病变位置标记的信息。处理器可将组织变形模型应用于所接收的图像数据，以确定一个或多个预测的病变位置。可以经由病变位置接口224，例如经由指示病变228在身体标记226上的最高似然位置的图形，将预测的病变位置提供给临床医师。在一些实施例中，处理器还可以确定探头相对于解剖结构的建议放置(例如，超声探头204相对于***或其他解剖界标的位置和/或角度)，以对病变进行超声成像。
超声成像***200可以同时显示病变位置接口224，从其他成像模态导入的图像或数据集和/或实时超声图像208。临床医师可以在检查期间保存和/或注释采集的超声图像。在检查期间，用户还可以继续在导入的数据(例如，从MR)上标记不同的病变。在一些实施例中，同时显示来自先前采集的图像数据的图像，以使用户能够标记可疑的病变位置，然后将这些位置用于生成用于第二成像模态(在这种情况下为超声)的预测的病变位置。处理器可以使用对接收到的图像的附加标记来修改预测的病变位置，并且可以在病变位置接口224上更新经修改的预测。
当病变与超声探头204一起定位时，临床医师可以用病变的实际位置注释超声图像。如果病变的实际位置与预测位置不同，则可以更新病变位置接口224内的病变预测图形以指示病变的实际位置。在一些实施例中，病变的实际位置和预测的位置可以由病变位置接口224同时显示。这可以为临床医师提供关于将要定位的其他病变的预测位置可能不准确的估计。在一些实施例中，病变的实际位置可以被提供给处理器。处理器可以使用预测的病变位置和实际的病变位置之间的差异来自适应地修改变形模型，这可以提高变形模型的准确性。
一旦在超声检查期间定位了病变，临床医师就可以测量其尺寸和/或其他特性(例如，刚度)。这些额外的测量结果可以显示在屏幕上，并与图像和/或图像集(例如电影回放)一起存储。临床医师还可以使用超声成像***200来引导病变的活检。超声图像、相关联的测量和/或病变位置(例如，实际病变位置、预测的病变位置)可以存储在超声成像***200的存储器中。图像和/或注释可以由超声成像***自动存储和/或响应于临床医师的输入。超声检查后可以检查超声图像和/或注释。
根据本公开的原理，超声成像***的用户接口(例如，用户接口216)可以被配置为基于由变形模型确定的预测的病变位置来提供预测的病变位置的视觉指示。可以至少部分地基于由另一成像***采集的图像中的病变位置的标记来确定预测的病变位置。在一些实施例中，可以通过显示叠加有相关病变位置信息(例如，一个或多个位置指示符、注释或其他)的身体标记来提供对预测的病变位置的视觉指示。在一些实施例中，可以基于位置跟踪在身体标记上叠加建议的超声探头的位置和/或角度或表示超声探头的实际位置的线。
现在还参考图3和图4，进一步描述了根据本公开的原理的用户接口元件的示例。用户接口可以被配置为提供病变位置接口，病变位置接口可以包括一个或多个用户接口元件，用于定位病变，采集和/或注释***超声图像，和/或在从另一成像***接收的图像上标记病变位置。例如，病变位置接口可以被配置为显示身体标记，在***超声的情况下，所述身体标记可以是***图形。***图形可以提供正被成像和/或表征的对应***侧面的图示，例如，当对右***进行成像或表征时可以显示右***图形，而当对左***进行成像或表征时可以显示左***图形。身体标记可以叠加有相关的病变位置信息，例如与单个预测和/或实际病变位置或一个或多个预测病变位置的区域相关联的一个或多个指示符。
图3示出了根据本公开原理的与病变位置接口300相关联的用户接口元件。图3分别示出了病变位置接口300、接收的图像302、实时图像304、身体标记306和308。病变位置接口300的一个或多个元素可以显示在超声成像***的显示器上，例如显示器206。病变位置接口300的一个或多个元素可以额外地或替代地显示在触摸屏上，例如超声成像***200的触摸屏220。病变位置接口300的元件可以同时或顺序提供，并且可以布置在一个或多个界面窗口中。另外，尽管未在图3中示出，但是病变位置接口300可以提供一个或多个用户控件，诸如布局、图形和注释按钮，其可以例如在超声成像***200的触摸屏220上提供。用户接口元素的特定示例或布置仅是说明性的，并且在不脱离本公开的范围的情况下，可以采用这些元素的其他实施例(例如，硬控件与软控件)或布置。在图2的示例中，病变位置接口300的一个或多个元件可以用于实现病变位置接口224。
接收到的图像302可以是来自另一个成像***的图像，所述图像包括临床医师在超声检查期间正在搜索的病变。在一些实施例中，接收到的图像302是来自在另一模态中从***采集的体数据集的单个切片。用户可以手动滚动浏览体积数据集中的不同切片，直到显示所需的切片。此时，用户可以指示感兴趣的病变在切片上的什么位置。在其他实施例中，当体积数据被部分地配准到实时超声图像时，接收图像302可以是来自与临床医师当前正在使用超声成像***进行成像的组织的位置相对应的一组接收图像(例如，体积的切片)的图像。也就是说，超声探头中的位置跟踪可以确定从中采集实况图像304的组织。可以将位置提供给处理器，并且处理器可以检索对应的接收图像302以进行显示。
身体标记306可以包括在解剖结构上指示病变的预测位置的注释。在图3所示的示例中，带阴影的椭圆体表示预测病变位于***的区域。向临床医师提供预测位置可以减少在超声检查期间要探询的体积和/或减少定位病变所需的时间。在图3中未示出的一些实施例中，身体标记306可以包括额外的指示器，以建议用于定位病变的超声探头的位置和/或角度。
实时图像304可以是当前由超声探头采集的图像。在一些实施例中，实时图像304可以被临床医师保存的超声图像代替。例如，临床医师可以采集一幅或多幅超声图像并暂停检查以向所采集的图像添加注释。注释可以包括标记病变的实际位置、病变的尺寸和/或病变的其他性质(例如，刚度)。图像和/或注释可以存储在超声成像***的存储器中以供以后查看。在采集和/或注释图像之后，临床医师可以返回采集实时图像或结束检查。
身体标记308可以包括注释，其指示病变的预测位置在解剖结构上的位置，类似于身体标记306。在一些实施例中，如图3中所示，身体标记308可包括指示超声探头的当前位置和/或角度的额外图形。在一些实施例中，仅呈现身体标记306或308。
当在超声检查期间要定位多个病变时，病变位置接口300可以提供针对要被定位的所有病变的预测位置的视觉指示。替代地，病变位置接口300可以一次提供单个病变的预测位置。临床医师可以在多个病变的预测位置之间切换。在一些实施例中，病变位置接口300可以提供临床医师当前正在定位一组病变中的哪个病变的指示(例如，2个中的第1个、4个中的第3个)。这可以减少临床医师在找到所有病变之前结束检查的机会。当临床医师注释病变的实际位置时，病变位置接口300可以自动将实际位置与来自所接收图像的特定病变相关联，和/或临床医师可以手动指示来自所接收图像的哪个病变与实际位置相关联。
图4示出了根据本公开原理的身体标记和相关的注释。身体标记400包括注释402，注释402指示病变的预测位置。类似地，身体标记404包括注释406a和406b，其指示多个病变的预测位置。尽管注释402、406a和406b被示为圆形，但是可以使用其他注释(例如，X、正方形、数字)。身体标记408包括注释410，注释410是病变的一个或多个预测位置所位于的区域的阴影椭圆体。身体标记412包括注释414和416，其分别指示所述区域内病变的预测位置和实际位置。临床医师可能已经通过超声成像***的用户输入设备添加了实际位置。尽管注释410和414被示为椭圆体，但是可以使用其他区域指示符(例如，象限、径向段)。身体标记418包括注释420和注释422，注释420指示病变的一个或多个预测位置所位于的区域，注释422指示用于可视化病变的建议探头位置。身体标记424还包括注释426和428，其分别指示一个或多个病变的预测位置所位于的区域以及用于可视化病变的建议的超声探头位置。另外，身体标记424包括注释430，其指示超声探头的当前位置。当前位置可以由本文所述的探头跟踪***提供。当临床医师移动超声探头时，可以在身体标记424上更新注释430。图4中显示的身体标记和注释仅出于示例目的。可以提供其他类型的注释和/或注释的组合。在一些实施例中，临床医师可以经由用户接口选择在身体标记上提供哪些注释。
本文所述的超声成像***可以将变形模型应用于先前采集的图像，显示预测的病变位置，采集实况超声图像，并显示所述实况超声图像。超声成像***可以显示先前采集的图像。在检查期间，超声成像***可以从用户输入设备接收实际病变位置，并向执行检查的临床医师显示实际病变位置。实际病变位置和与实际病变位置相关联的实时超声图像可以被存储在超声成像***中。这可以响应于临床医师的输入来完成，或者在一些实施例中可以是自动的。
超声成像***可执行本文中所描述的一种或多种方法。例如，由超声成像***的至少一部分(例如，处理器)执行的方法可以包括：接收带注释的图像(例如，具有标记的病变位置的MR体积)；接收变形模型类型(例如，仰卧)；将变形模型应用于带注释的图像以生成预测的病变位置；并且将预测的病变位置提供给病变位置接口(例如病变位置接口224)。
图5是根据本公开原理的用于在当前超声检查中定位在先前采集的图像中记录的病变的示例过程的流程图500。在步骤502，临床医师可以将先前采集的图像加载到超声成像***(例如，超声成像***100或超声成像***200)中。先前采集的图像可能已通过MR成像***或3D***断层合成***采集。在步骤504，临床医师可以在超声成像***的显示器上查看加载的图像，并通过用户接口用可疑病变的位置标记图像。当图像已经包括病变标记时，可以省略步骤504。临床医师可以在步骤506输入组织特性(例如，组成、尺寸)，其包括但不限于识别所接收图像中具有腺体组织的区域以及具有脂肪组织的其他区域以及胸壁和胸壁肌肉的位置。替代地，在步骤506，超声成像***可以自动处理加载的图像以确定组织性质。在步骤508，可以选择要应用的组织变形模型。例如，如果加载的图像是通过MR成像***采集的，则可以选择俯卧到仰卧的变形模型。在本公开的一些实施例中，临床医师可以选择要应用的组织变形模型。在本公开的一些其他实施例中，可以通过超声成像***自动选择要应用的组织变形模型。
在超声成像***应用变形模型之后，在步骤510，临床医师可以查看预测的病变位置的视觉指示。在一些实施例中，可以在包括病变位置接口的显示器上提供预测的病变位置。在步骤512，临床医师可以用超声探头采集一幅或多幅超声图像。临床医师采集图像的位置可以至少部分地基于显示器上提供的预测病变位置。当发现病变时，在步骤514，临床医师可以注释超声图像以指示实际病变位置。在一些实施例中，临床医师可以保存图像和/或注释。在一些实施例中，图像和/或注释可以被自动保存。如果需要，在步骤516，临床医师可以对病变进行测量(例如，尺寸、特性)和/或添加额外的注释。在一些实施例中，临床医师可以对病变进行活检。活检可以由超声图像引导。如果在先前采集的图像中检测到多个病变，则可以针对每个病变重复步骤510-516。
图6是根据本公开原理的用于确定病变的预测位置的过程的流程图600。在一些实施例中，图6所示的过程可以由处理器(例如，处理器140)来执行。在一些实施例中，用于执行流程图600中的处理的指令可以作为处理器可执行指令存储在处理器可访问的存储器中。在步骤602，可以接收一个或多个带注释的图像和/或图像数据。接收到的图像可以对应于先前采集的图像。注释可以包括病变位置信息。先前采集的图像可能已经由另一成像***采集。
在步骤604，可以对图像进行分割和/或以其他方式处理以提取组织特性(例如，大小、组成)。替代地，在步骤606，例如可以如临床医师经由用户输入设备所提供的那样接收组织特性。在一些实施例中，步骤604和606都可以被执行。即，可以通过分析图像来确定一些组织特性，而接收其他组织特性。在步骤608，可以接收组织变形模型类型。变形模型类型可以指示要应用什么变形模型(例如，俯卧到仰卧)。在一些实施例中，变形模型类型可以由临床医师经由用户输入设备提供。在其他实施例中，可以基于与接收到的图像一起存储的采集信息来确定变形模型类型。尽管顺序地示出了步骤604、606和608，但是它们可以以不同的顺序或同时执行。例如，可以在步骤604之前执行步骤608。
在步骤610，可以将组织变形模型应用于所接收的图像以确定预测的病变位置。在一些实施例中，组织变形模型可以是***变形模型。可以使用的变形模型包括但不限于参考图1提供的示例(例如，美国专利申请US13/666,600和US 14/000,068号)。由变形模型确定的预测的病变位置可以对应于在超声检查期间病变可以位于的位置。在步骤612，可以将预测的病变位置提供给病变位置接口、存储器、显示器、图形处理器、图像处理器和/或其组合。在步骤614，可以提供建议的超声探头位置和/或角度。建议的位置和/或角度可以至少部分地基于预测的病变位置。在一些实施例中，可以省略步骤614。
任选地，在步骤616，可以接收实际病变位置。实际病变位置可以由临床医师基于用超声成像***采集的超声图像输入。在步骤618，可以至少部分地基于实际病变位置来修改在步骤610应用的变形模型。基于实际病变位置修改变形模型可以提高变形模型的准确性。在一些实施例中，仅当实际病变位置在预测位置之外和/或距预测病变位置大于阈值距离时(例如，超过100mm，超过500mm，超过1cm)才可以修改变形模型。阈值距离可以由变形模型和/或临床医师设置。在步骤618之后，可以将变形模型重新应用于现有数据和/或可以将变形模型修改以用于将来的超声检查。
图7是根据本公开原理的用于在超声成像***上提供病变位置的视觉指示的过程700的流程图。在一些实施例中，过程700可以至少部分地由病变位置接口(例如，病变位置接口224)执行。在步骤702，可以显示先前采集的图像。显示先前采集的图像可以允许临床医师用病变位置和/或其他信息标记图像。在一些实施例中，先前采集的图像已经包括病变标记。临床医师可以选择不显示先前采集的图像。在步骤704，可以接收预测的病变位置。在一些实施例中，可以从处理器接收预测的病变位置，所述处理器被配置为执行组织变形模型。在步骤706，可以提供预测的病变位置的视觉指示。例如，如图2-4所示，可以在身体标记上以圆形或椭圆形图形提供预测的病变位置。在步骤708，可以提供建议的超声探头位置和/或角度的视觉指示。例如，如图2-4所示，建议的位置和/或角度可以作为在身体标记上的线图提供。在一些实施例中，可以省略步骤708。
在步骤710，可以显示实时图像。实时图像可以由超声成像***的超声探头采集。尽管在步骤702-708之后示出了步骤710，但是步骤710可以在步骤702-708之前和/或同时执行。在步骤712，可以提供视觉指示当前探头的位置和/或角度。例如，如图2-4所示，当前位置和/或角度可以被提供为在身体标记上的注释。尽管在步骤702-710之后示出了步骤712，但是步骤712可以在步骤702-710之前和/或同时执行。
在步骤714，可以接收实际病变位置。可以经由用户输入设备(例如，键盘触摸屏)来接收实际病变位置。实际病变位置可与超声图像和/或电影胶片的帧相关联。在一些实施例中，实际病变位置和/或图像可以存储在超声成像***的存储器中。在步骤716，可以提供对实际病变位置的视觉指示。例如，实际病变位置可以作为人体标记上的注释提供，如图4所示。
如本文所述，通过将组织变形模型应用于由其他成像模态提供的图像和病变位置并且在超声检查期间向临床医师提供预计病变位置的视觉指示，可以更快速和/或准确地定位在通过另一成像模式(例如，MR、X射线)采集的图像中发现的病变。
鉴于本公开，应当注意，本文描述的各种方法和设备可以以硬件、软件和固件来实现。此外，各种方法和参数仅作为示例而被包括，而没有任何限制意义。鉴于本公开，本领域普通技术人员可以在确定他们自己的技术和影响这些技术的所需设备的情况下实施本教导，同时仍在本公开的范围内。本文中描述的一个或多个处理器的功能可以被合并到更少的数目或单个处理单元(例如，CPU)中，并且可以使用被编程为响应于可执行指令而执行本文描述的功能的专用集成电路(ASIC)或通用处理电路来实现。
尽管已经参考MR和超声成像***描述了本***，但是本***可以扩展到其他成像技术。此外，本***还可以包括一个或多个元件，其可以与具有或不具有实时成像部件的非超声成像***一起使用，使得它们可以提供本***的特征和优点。
应当理解，根据本***、设备和方法，本文中描述的示例、实施例或过程中的任何一个可与一个或多个其他示例我、实施例和/或过程相组合，或是分离的，和/或在分立设备或设备部分之中执行。最终，以上讨论旨在仅仅为对本发明的***的说明并且不应理解为将所附权利要求限制到任何特定的实施例或实施例的组。因而，虽然已经参考示范性实施例详细描述了本***，但是也应领会到，在不脱离如权利要求书所提出的本***的更宽且意旨的精神和范围的情况下，本领域技术人员可以设计出众多的变型和替代实施例。因此，说明书和附图应被视为是以说明性的方式并且不旨在限制随附权利要求的范围。

Claims (14)

1.一种成像***(100)，包括：
用户接口(104)，其包括显示器(128)和用户输入设备(134)；
存储器(136)，其***作性耦合到所述用户接口；以及
处理器(140)，其***作性耦合到所述用户接口和所述存储器；
其中，所述存储器包括处理器可执行指令，所述处理器可执行指令能够由所述处理器运行以：
接收通过使用第一成像模态对组织进行成像而采集的成像数据；
在所述用户接口处接收对相对于接收到的成像数据的被成像的组织内的病变的可疑位置的指示；
基于所述接收到的成像数据来选择变形模型；
将所选择的变形模型应用到所述病变的所述可疑位置以生成当使用第二成像模态对所述组织进行成像时的所述病变的预测的位置，其中，所述变形模型考虑了在所述第一成像模态与所述第二成像模态之间所述组织的变形的差异；
在所述用户接口处提供所述病变的所述预测的位置的视觉指示，以用于引导使用所述第二成像模态的图像数据采集；
从所述用户输入设备(134)接收实际病变位置；并且
仅当所述实际病变位置与所述病变的所述预测的位置之间的差大于阈值距离时修改所述变形模型。
2.根据权利要求1所述的***(100)，其中，所述处理器可执行指令还被配置为使所述用户接口(104)提供对所述实际病变位置的视觉指示。
3.根据权利要求1所述的***(100)，其中，所述第二成像模态是超声，并且所述处理器可执行指令还被配置为使所述用户接口(104)提供对用于对所述病变进行成像的超声探头的建议的位置中的至少一个的视觉指示。
4.根据权利要求1所述的***(100)，其中，所述第二成像模态是超声，并且所述处理器可执行指令还使所述用户接口(104)提供对超声探头相对于解剖界标的当前位置和角度中的至少一个的视觉指示。
5.根据权利要求1所述的***(100)，其中，所述处理器可执行指令还被配置为使所述用户接口(104)显示从所述接收到的成像数据生成的图像。
6.根据权利要求5所述的***(100)，其中，所述接收到的成像数据包括由磁共振成像***采集的成像数据。
7.根据权利要求1所述的***，其中，对所述预测的病变位置的所述视觉指示是叠加在身体标记上的图形。
8.根据前述权利要求中的任一项所述的***(100)，其中，所述成像数据被存储在所述存储器(136)中。
9.一种成像方法，包括：
接收通过使用第一成像模态对组织进行成像而采集的成像数据；
接收对相对于接收到的成像数据的被成像的组织内的病变的可疑位置的指示；
基于所述接收到的成像数据来选择变形模型；
将所选择的变形模型应用于所述病变的所述可疑位置以生成当使用第二成像模态对所述组织进行成像时所述病变的预测的位置，其中，所述变形模型考虑了在所述第一成像模态与所述第二成像模态之间所述组织的变形的差异；
提供对所述预测的位置的视觉指示以用于引导使用所述第二成像模态的图像数据采集；
从用户输入设备(134)接收实际病变位置；并且
仅当所述实际病变位置与所述病变的所述预测的位置之间的差大于阈值距离时修改所述变形模型。
10.根据权利要求9所述的方法，还包括分析所接收的成像数据以确定组织特性或者从所述用户输入设备接收组织特征。
11.根据权利要求9所述的方法，其中，所述第二成像模态是超声，所述方法还包括响应于超声图像上的实时注释而接收对更新的病变位置的指示。
12.根据权利要求9所述的方法，其中，所述变形模型被配置为被配置为近似在俯卧位成像的***组织到在仰卧位置成像的***组织的位移。
13.一种包括用于预测***上病变位置的处理器可执行指令的非瞬态计算机可读介质，所述处理器可执行指令在被运行时会使所述***：
接收通过使用第一成像模态对组织进行成像而采集的成像数据；
接收对相对于接收到的成像数据的被成像的组织内的病变的可疑位置的指示；
基于所述接收到的成像数据来选择变形模型；
将所选择的变形模型应用到所述病变的所述可疑位置以生成当使用第二成像模态对所述组织进行成像时的所述病变的预测的位置，其中，所述变形模型考虑了在所述第一成像模态与所述第二成像模态之间所述组织的变形的差异；并且
提供对所述病变的所述预测的位置的视觉指示以用于引导使用所述第二成像模态的图像数据采集；
从用户输入设备(134)接收实际病变位置；并且
仅当所述实际病变位置与所述病变的所述预测的位置之间的差大于阈值距离时修改所述变形模型。
14.根据权利要求13所述的包括处理器可执行指令的非瞬态计算机可读介质，其中，所述第二成像模态是超声，并且所述处理器可执行指令在被运行时还使所述***采集实况超声图像并且显示实况超声图像。
CN201880072505.5A 2017-11-08 2018-10-29 用于将超声***图像与其他成像模态的***图像相关的超声***和方法 Active CN111315301B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762582983P 2017-11-08 2017-11-08
US62/582,983 2017-11-08
PCT/EP2018/079531 WO2019091807A1 (en) 2017-11-08 2018-10-29 Ultrasound system and method for correlation between ultrasound breast images and breast images of other imaging modalities

Publications (2)

Publication Number Publication Date
CN111315301A CN111315301A (zh) 2020-06-19
CN111315301B true CN111315301B (zh) 2024-03-22

Family

ID=64051560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880072505.5A Active CN111315301B (zh) 2017-11-08 2018-10-29 用于将超声***图像与其他成像模态的***图像相关的超声***和方法

Country Status (5)

Country Link
US (1) US11839507B2 (zh)
EP (1) EP3706635B1 (zh)
JP (1) JP7431729B2 (zh)
CN (1) CN111315301B (zh)
WO (1) WO2019091807A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200104103A (ko) * 2019-02-26 2020-09-03 삼성메디슨 주식회사 초음파 영상과 타 모달리티(modality) 영상을 정합하는 초음파 영상 장치 및 그 동작 방법
JP7146697B2 (ja) * 2019-06-21 2022-10-04 富士フイルム株式会社 医用画像撮影システム
US11883206B2 (en) 2019-07-29 2024-01-30 Hologic, Inc. Personalized breast imaging system
KR20220069946A (ko) 2019-09-27 2022-05-27 홀로직, 인크. 2d/3d 유방 영상들을 검토하는 판독 시간 및 판독 복잡도를 예측하기 위한 ai 시스템
US11712224B2 (en) * 2019-10-11 2023-08-01 GE Precision Healthcare LLC Method and systems for context awareness enabled ultrasound scanning
CN115334973A (zh) * 2020-03-27 2022-11-11 豪洛捷公司 用于关联多成像模态中的关注区域的***和方法
WO2021195084A1 (en) * 2020-03-27 2021-09-30 Hologic, Inc. Systems and methods for identifying regions of interest in multiple imaging modalities
US11481038B2 (en) 2020-03-27 2022-10-25 Hologic, Inc. Gesture recognition in controlling medical hardware or software
CN112133411A (zh) * 2020-09-09 2020-12-25 上海黛美医疗科技有限公司 一种图像处理***及方法
WO2022060552A1 (en) * 2020-09-18 2022-03-24 Hologic, Inc. Correlating regions of interest
WO2022064981A1 (ja) * 2020-09-24 2022-03-31 富士フイルム株式会社 超音波システムおよび超音波システムの制御方法
US11620746B2 (en) 2020-11-10 2023-04-04 International Business Machines Corporation MRI annotation
CN113662573B (zh) * 2021-09-10 2023-06-30 上海联影医疗科技股份有限公司 乳腺病灶定位方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101035468A (zh) * 2004-10-08 2007-09-12 皇家飞利浦电子股份有限公司 带有身体标记注释的超声波成像***

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
US20060074287A1 (en) * 2004-09-30 2006-04-06 General Electric Company Systems, methods and apparatus for dual mammography image detection
US20060251301A1 (en) * 2004-11-02 2006-11-09 Mcnamara Michael P Jr Method and apparatus for determining correlation between spatial coordinates in breast
EP2081494B1 (en) 2006-11-16 2018-07-11 Vanderbilt University System and method of compensating for organ deformation
JP5632913B2 (ja) 2009-07-17 2014-11-26 コーニンクレッカ フィリップス エヌ ヴェ マルチモダリティ胸部撮像に関するシステム、方法及びプログラム
US9439621B2 (en) 2009-11-27 2016-09-13 Qview, Medical Inc Reduced image reading time and improved patient flow in automated breast ultrasound using enchanced, whole breast navigator overview images
JP2012147939A (ja) 2011-01-19 2012-08-09 Toshiba Corp 画像処理装置
WO2012112907A2 (en) 2011-02-17 2012-08-23 Dartmouth College System and method for providing registration between breast shapes before and during surgery
JP5858636B2 (ja) 2011-04-13 2016-02-10 キヤノン株式会社 画像処理装置、その処理方法及びプログラム
US9433389B2 (en) * 2011-07-12 2016-09-06 University Of Maryland, Baltimore Method for monitoring the accuracy of tissue motion prediction from surrogates
JP6000705B2 (ja) 2012-07-17 2016-10-05 キヤノン株式会社 データ処理装置及びデータ処理方法
US9119585B2 (en) * 2013-03-15 2015-09-01 Metritrack, Inc. Sensor attachment for three dimensional mapping display systems for diagnostic ultrasound machines
JP2015104465A (ja) * 2013-11-29 2015-06-08 コニカミノルタ株式会社 医用画像システム及びプログラム
KR20150074304A (ko) * 2013-12-23 2015-07-02 삼성전자주식회사 의료 영상 정보를 제공하는 방법 및 그 장치
JP6331922B2 (ja) 2014-09-22 2018-05-30 コニカミノルタ株式会社 医用画像システム及びプログラム
US20160210774A1 (en) * 2015-01-15 2016-07-21 QT Ultrasound LLC Breast density estimation
US20190076125A1 (en) * 2015-10-08 2019-03-14 Koninklijke Philips N.V. Apparatuses, methods, and systems for annotation of medical images
EP3389503B1 (en) * 2015-12-18 2019-10-30 Koninklijke Philips N.V. Apparatus and method for characterizing a tissue of a subject
US10507338B2 (en) * 2016-10-31 2019-12-17 Canon Medical Systems Corporation Particle beam radiotherapy system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101035468A (zh) * 2004-10-08 2007-09-12 皇家飞利浦电子股份有限公司 带有身体标记注释的超声波成像***

Also Published As

Publication number Publication date
RU2020118527A (ru) 2021-12-08
US11839507B2 (en) 2023-12-12
EP3706635B1 (en) 2023-03-15
CN111315301A (zh) 2020-06-19
US20200323512A1 (en) 2020-10-15
JP7431729B2 (ja) 2024-02-15
EP3706635A1 (en) 2020-09-16
RU2020118527A3 (zh) 2022-03-04
JP2021502150A (ja) 2021-01-28
WO2019091807A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
CN111315301B (zh) 用于将超声***图像与其他成像模态的***图像相关的超声***和方法
JP7167285B2 (ja) 超音波システム及び***組織撮像のための方法
JP6559917B2 (ja) 超音波システム並びに***組織の撮像及び***超音波画像のアノテーション方法
CN105243676B (zh) 显示超声图像的方法及其所用的超声设备
EP3013244B1 (en) System and method for mapping ultrasound shear wave elastography measurements
US20110208052A1 (en) Breast ultrasound annotation user interface
US10228785B2 (en) Ultrasound diagnosis apparatus and method and computer-readable storage medium
JP2018529475A (ja) 医療画像のアノテーションのための装置、方法、及びシステム
KR20150024167A (ko) 바디 마커 생성 방법 및 초음파 진단 장치
JP6258026B2 (ja) 超音波診断装置
CN112137643A (zh) 用于在定量超声中纵向监测的感兴趣区域定位
US20240057970A1 (en) Ultrasound image acquisition, tracking and review
RU2779836C2 (ru) Ультразвуковая система и способ для корреляции между ультразвуковыми изображениями груди и изображениями груди других методов визуализации

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant