CN107980148B - 对图像进行融合以考虑运动补偿的***和方法 - Google Patents

对图像进行融合以考虑运动补偿的***和方法 Download PDF

Info

Publication number
CN107980148B
CN107980148B CN201680026452.4A CN201680026452A CN107980148B CN 107980148 B CN107980148 B CN 107980148B CN 201680026452 A CN201680026452 A CN 201680026452A CN 107980148 B CN107980148 B CN 107980148B
Authority
CN
China
Prior art keywords
image
pose
view
baseline
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680026452.4A
Other languages
English (en)
Other versions
CN107980148A (zh
Inventor
J·克吕克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN107980148A publication Critical patent/CN107980148A/zh
Application granted granted Critical
Publication of CN107980148B publication Critical patent/CN107980148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种用于对图像进行融合以考虑运动补偿的***包括：成像模态(110)，其被配置为获得基线图像和当前图像。实况跟踪***(115)被配置为跟踪用于捕获所述基线图像和当前图像的成像仪器，所述实况跟踪***具有与所述基线图像和所述当前图像配准的坐标系。姿态分析器单元(132)被配置为使用所述实况跟踪***来采用针对所述基线图像的姿态与针对所述当前视图图像的姿态之间的视场差异来生成成功参数。所述成功参数被传递以提供关于图像采集的反馈以用于所述基线图像与所述当前视图图像之间的运动补偿。

Description

对图像进行融合以考虑运动补偿的***和方法
技术领域
本公开涉及运动补偿，更具体而言，涉及用于考虑医学图像中的患者运动的***、接口和方法。
背景技术
可以使用对超声探头的电磁(EM)跟踪和EM坐标系与先前图像的坐标系的配准来实现超声与先前图像(相同的模态的或其它成像模态)的多模态“融合”成像。建立配准的自动方法可以基于采集EM跟踪的三维(3D) 超声(US)体积(称为基线3DUS)，随后是手动的或自动的基于图像的基线3DUS到先前静态图像(例如，计算机断层摄影(CT)图像)的配准。
如果发生内部器官运动(例如，由于呼吸)，则实况超声成像与先前图像之间的配准将不再准确。特别地，如果操作者正在计划诸如针***到肿瘤内的介入，则操作者通常将要求屏气以中断肿瘤运动。然而，在这种屏气期间肿瘤的位置通常不同于在基线3DUS采集期间的位置。因此，利用先前静态图像的融合图像可能遭受不准确。
已经尝试基于图像的配准方法来将当前或“实况”超声图像重新配准回基线3DUS以补偿器官运动。然而，如果要配准的图像之间的交叠或相似性不足，则这种配准方法不鲁棒或不准确。
发明内容
根据本原理，一种用于融合图像以考虑运动补偿的***包括被配置为获得基线图像和当前图像的成像模态。实况跟踪***被配置为跟踪用于捕获所述基线图像和所述当前图像的成像仪器，所述实况跟踪***具有与所述基线图像和所述当前图像配准的坐标系。姿态分析器单元被配置为使用实况跟踪***来采用针对所述基线图像的姿态与针对所述当前视图图像的姿态之间的视场差异来生成成功参数。传递所述成功参数以提供关于最佳图像采集的反馈以用于所述基线图像与所述当前视图图像之间的运动补偿。
用于融合图像以考虑运动补偿的另一***包括被配置为获得基线超声图像和实况超声图像的超声***。实况跟踪***被配置为针对所述基线图像和所述当前图像来跟踪超声探头，所述实况跟踪***具有与所述基线图像和所述当前图像配准的坐标系。姿态分析器单元被配置为使用所述实况跟踪***来采用针对所述基线图像的姿态与针对所述当前视图图像的姿态之间的视场差异来生成成功参数。传递所述成功参数以提供关于最佳图像采集的反馈以用于所述基线图像与所述当前视图图像之间的运动补偿。姿态引导单元被配置为向用户提供方向以达到针对当前视图图像的令人满意的姿态。配准***被配置为将所述静态图像与所述基线图像和所述当前图像中的一幅或多幅进行配准。
一种用于融合图像以考虑运动补偿的方法包括：捕获基线图像；采集目标区的实况图像；跟踪成像仪器以获得针对捕获所述基线图像的姿态并且获得针对所述实况图像的当前视图的姿态，使得跟踪***的坐标系与所述基线图像和所述实况图像配准；分析针对当前视图的姿态，以使用所述跟踪***来来比较针对所述基线图像的姿态与针对所述当前视图的姿态之间的视场差异以生成成功参数；传递所述成功参数以提供关于最佳图像采集的反馈以用于所述基线图像与所述当前视图之间的运动补偿；并且如果所述成功参数足够，则以所述当前视图的所述姿态采集新图像。
根据以下对本公开的说明性实施例的详细描述，本公开的这些及其他目标、特征以及优点将变得显而易见，本公开的说明性实施例要结合附图进行阅读。
附图说明
本公开将参考下图而详细地呈现下面的优选的实施例的描述，其中：
图1是示出根据一个实施例的对运动进行补偿的图像融合***的方框图/流程图；
图2是示出根据说明性实施例的用于融合图像同时对运动进行补偿的方法的流程图；
图3是示出根据说明性实施例的用于确定成功参数的针对基线和当前姿态的视场的图示；并且
图4是示出根据另一说明性实施例的用于融合图像同时对运动进行补偿的方法的流程图。
具体实施方式
根据本原理、***、方法和接口，向操作者提供关于当前视图的成功参数的反馈，并且可以为用户提供引导以实现具有最佳成功参数的视图。成功参数是与要配准的图像(视场(FOV))之间的交叠或相似性有关的参数。没有运动补偿，当发生器官运动时，融合成像变得较不准确并且不太有用。手动运动补偿繁琐、不准确并且依赖于用户。仅当要用于配准的实况图像与基线图像具有足够的交叠和相似度(“成功参数”)时，自动的基于图像的运动补偿才是快速和准确的。由于操作者对超声视图的成功参数进行评估并不是微不足道的，因而操作者可以采集3DUS(三维超声)图像，并通过“试错法”来尝试运动补偿，从而导致失败的配准尝试，时间浪费，以及操作者不满。
本原理在采集图像和进行运动补偿之前提供关于当前视图的成功参数的反馈，并且提供指向具有高或最佳成功参数的视图的引导。本原理在多模态“融合”成像过程中造成有效的运动补偿。使用“实况”或“当前”超声体积的相对于先前的“静态”超声体积的基于图像的配准来补偿运动。静态体积继而可以预先配准到另一模态，例如计算机断层摄影(CT)图像。基于配准的运动补偿使用实况和静态图像来找到足够的相似性和交叠(成功参数)。
在一个实施例中，对视场进行比较以识别针对成像装备的相似的姿态，以实现基线与实况图像之间的充分交叠(成功参数)。接口提供关于这些成功参数的实况反馈，以引导用户采集实况图像，其允许与静态图像的成功和准确的配准。
在一个运动补偿实施例中，操作者采集可以与先前静态3DUS配准的实况、电磁(EM)跟踪的3D超声(3DUS)图像。基于EM跟踪和3DUS 的已知视场(FOV)，可以计算当前视图和静态图像之间的相对姿态和交叠。该信息被提供给操作者以识别适合于运动补偿同时也适用于对期望的目标区(例如，肿瘤)进行成像的视图。在替代实施例中，操作者输入期望的目标区，并且***计算一个或若干个合适的视图从而以与静态图像的足够的交叠和相似度进行成像，以允许成功的运动补偿。然后，***可以向操作者提供引导，以将超声探头置于针对3DUS采集的预先计算的姿态中或接近其。在其他实施例中，可以采用基线和与前视图之间的图像相似度来找到最佳视场匹配。
应当理解，本发明将关于医学成像仪器来描述；然而，本发明的教导要广泛得多并且可应用于运动补偿是有用的任何成像仪器。在一些实施例中，在跟踪或分析复杂生物或机械***中采用本原理。具体而言，本原理适用于生物***的内部跟踪程序、以及身体中所有区(例如肺、胃肠道、***器官、血管等)中的程序。附图中描绘的元件可以实现于硬件和软件的各种组合中并提供可以在单个元件或多个元件中进行组合的功能。
可以利用专用硬件以及与适当软件相关联的能够执行软件的硬件来提供附图中所示的各种元件的功能。当由处理器提供时，所述功能可以由单个专用处理器、单个共享处理器或者由多个独立处理器(其中一些可能是共享的)来提供。此外，术语“处理器”或“控制器”的明确使用不应被解读为仅仅指能够执行软件的硬件，并且能够隐含地包括，但不限于，数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性存储器等。
此外，本文中提到原理、方面和本发明实施例的所有陈述以及其具体范例都旨在涵盖其结构上和功能上的等价方案。此外，旨在使这样的等价方案既包括当前已知的等价方案，又包括未来开发的等价方案(即，开发出的执行相同的功能的元件，而不管其结构如何)。因而，例如，本领域技术人员将认识到，本文中呈现的方框图表示体现本发明的原理的示范性***部件和/或电路的概念图。类似地，应当认识到，流程图、程序框图等均表示实质上可以在计算机可读存储介质内表示，因而可由计算机或处理器执行的各种过程，而不管是否明确示出了这样的计算机或处理器。
此外，本发明的实施例可以采取计算机程序产品的形式，可由提供程序代码的计算机可用或计算机可读介质访问所述计算机程序产品，以供计算机或者任何指令执行***使用或者与之结合使用。就本说明书的目的而言，计算机可用或计算机可读介质可以是任何可以包括、存储、交换、传播或发送程序的设备，所述程序供指令执行***、设备或装置使用或者与之结合使用。所述介质可以是电子、磁、光、电磁、红外或半导体***(或者设备或装置)或传播介质。计算机可读介质的例子包括半导体或固态存储器、磁带、可拆卸计算机软盘、随机存取存储器(RAM)、只读存储器 (ROM)、刚性磁盘和光盘。当前的光盘的例子包括光盘-只读存储器 (CD-ROM)、光盘-读/写(CD-R/W)、蓝光碟TM和DVD。
在对本原理的“一个实施例”或“一实施例”的说明中的引用以及其变型意指结合实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，出现在贯穿说明书的各个地方的短语“在一个实施例中”或“在实施例中”以及任何其他变型的出现不一定全部参考相同实施例。
应认识到，以下“/”、“和/或”和“……中的至少一个”(例如，在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下)中的任一个的使用旨在涵盖：仅选择第一列出项(A)、仅选择第二列出项(B)、或者选择这两项(A和B)。作为另一范例，在“A、B和/或C”和“A、 B和C中的至少一个”的情况下，这样的短语旨在涵盖：仅选择第一列出项(A)、或者仅选择第二列出项(B)、或者仅选择第三列出项(C)、或者仅选择第一列出项和第二列出项(A和B)、或者仅选择第一列出项和第三列出项(A和C)、或者仅选择第二列出项和第三列出项(B和C)、或者选择所有三个项(A和B和C)。如对于本领域和相关领域中的普通技术人员显而易见的，这可以针对如所列出的许多项进行扩展。
还将理解，当诸如例如图像、图像区域或叠加的元素被称为在另一元素“上”或“之上”时，其可以直接在另一元素上或也可以存在中间元件。相反，当元件被称为“直接在另一元件上”或“直接在另一元件之上”时，不存在中间元件。还将理解，当元件被称为“连接”或“耦合”到另一元件时，其可以直接连接或耦合到另一元件，或者可以存在中间元件。相反，当元件被称为“直接连接到另一元件”或“直接耦合到另一元件”时，不存在中间元件。
现在参考附图并且首先参考图1，附图中相似的数字代表相同或相似的元件，根据一个实施例示例性地示出用于图像的***100。***100可以包括计算机或其他工作站或控制台112，从其执行过程被监督和/或管理和/或成像融合被执行。工作站112优选包括一个或多个处理器114以及用于存储程序和应用的存储器116。存储器116可以存储被配置为熔合来自相同或不同成像模态的图像的多个模块、单元应用和/或程序。应当理解，被描述为存储在存储器116中的模块实际上除了软件之外或代替软件可以包括电子电路或其它硬件部件，包括连接器，电线，电路板，集成电路芯片，存储器设备等。
存储器116包括姿态分析器单元132，姿态分析器单元132从存储在跟踪的基线存储器124中的基线3DUS以及从现场/当前图像111接收空间姿态跟踪信息以计算成功参数，所述空间姿态跟踪信息可以在成像探头102 的当前/实况位置处被采集时被存储在跟踪的当前存储器126中。成像探头 102可以包括用于对象130的实况或实时成像的超声探头。使用电磁(EM) 跟踪115来跟踪成像探头102，但是可以采用其他跟踪技术。姿态分析器单元132将信息(成功参数)传递到显示器118，并且任选地传递到姿态引导单元138。姿态引导单元138可以经由显示器118和/或接口120上的图形用户接口来接收用户输入(目标区)。姿态分析器单元132计算交叠和相似度(成功参数)以用于测量视场相似度，姿态引导单元138提供关于如何重新定位探头102以获得针对图像的最佳视场的直接信息。作为示例，姿态分析器单元132可以提供交叠百分比(例如，55％交叠)作为反馈，而姿态引导单元138可以提供指令，例如“向左移动探头”，以实现更高的交叠百分比。
为用户提供实况反馈和/或指导，以实现执行任务的最佳姿态，复现基线图像，增加与先前静态图像的良好配准的概率等。
显示器118也可以允许用户与工作站112及其部件和功能或***100 内的任何其他元件交互。这通过接口120进一步方便，接口120可以包括键盘、鼠标、游戏杆、触觉设备、麦克风、扬声器、光或其他***或控件以允许来自工作站的用户反馈和与工作站112的交互。接口120可以提供向操作者显示的反馈和引导，并且因此在***的显示器118上是可见的，如果采用音频反馈则是可听的，如果采用触觉反馈则是振动的等等。
***100提供基于超声探头102的空间跟踪(例如，使用EM跟踪设备140和EM探头跟踪115的EM跟踪)的超声融合成像***。应当理解，也可以采用其他跟踪技术，例如光学形状感测等。配准单元134(例如，多模态配准模块)为不同模态提供与存储在存储器122中的先前静态图像的配准或者到其的配准。可以通过任何成像模态108(诸如，例如CT，磁共振，X射线，US等)来捕获先前的静态图像122。成像模态108可以出现于流程期间，或者可以从先前的流程或捕获的图像提供静态图像122。配准单元134将来自存储器122的先前静态图像与存储在存储器124中的采集的空间跟踪基线3DUS体积进行配准。
在新图像3DUS 126被采集、存储和/或用于配准之前，采用来自实况探头跟踪115和来自实况成像模式110的超声图像111的已知视场的信息来连续计算和显示当前视图与存储在存储器124中的基线3DU的交叠和姿态相似性(例如，提供成功参数的相对旋转等)。
成功参数还可以对从实况图像提取的图像相似度(例如，图像对比度，亮度，信息内容或其他特征)进行量度。注意，基于图像的成功参数(来自实况图像)需要2D或初步图像(111)(例如，实况和/或基线图像)的采集和处理，而其他成功参数仅需要姿态跟踪信息(以及超声视场的知识- 但不需要图像)。
虽然描述了US，但其他成像模态可以被用作成像模态110。注意，交叠越小、图像之间的相对旋转越大，图像配准越不可能成功。运动补偿单元128考虑新图像3DUS 126与基线3DUS图像124之间的运动，并将运动补偿信息提供给配准单元136，运动补偿信息被用于向将EM***140的 EM坐标系与静态图像122配准并且提供配准以用于将基线图像124配准到来自配准单元134的静态图像122。
运动补偿配准单元128计算基线图像124与跟踪的当前图像126之间的图像差。姿态分析器单元132采用该信息来在采集新图像之前计算当前姿态的成功参数。应当理解，虽然单独地描述了配准单元和模块，但是可以通过单个或多个配准单元、引擎或程序来执行各种坐标系的配准，变换的计算和其他配准功能。
在替代的实施例中，***100还使用后引导单元138来计算和提供引导以采集最佳视图。最佳视图的计算可以使用期望的目标区域的操作者输入来用于对诸如肿瘤的成像，以找到对肿瘤进行成像的视图，同时保持足够的成功参数以用于运动补偿。
***100能在基于跟踪的超声融合成像***上操作，如
Figure DEST_PATH_BDA0001459375450000082
Figure DEST_PATH_BDA0001459375450000081
产品，但是本发明的原理可以被应用到其他设备，并且可以包括其他成像模态。在特别有用的实施例中，本原理能在采集3DUS基线图像124的***上操作，该3D基线图像124继而由配准单元134配准到要与实况超声图像126融合的先前的静态图像(例如，CT)122。一个目标是提供一种有效的工作流程和方法，用于补偿从3DUS基线图像124捕获的时间之后可能发生的器官运动。在融合成像期间，超声***通常处于“实况 2D”模式，并且来自超声扫描器的实况2D图像111(经由当前配准单元134、 136)与先前静态图像(CT)122融合。
操作者对诸如肿瘤的特定目标区的融合成像感兴趣，并且将移动超声探头102以探索对肿瘤进行可视化的不同方式。肿瘤的不同视图是可能的，但是仅一些可能具有与用于运动补偿的基线3DUS 124的足够的交叠和姿态相似性(成功参数)。
***100连续计算并显示成功参数，使得操作者能够以足够的成功参数来识别肿瘤的视图。操作者任选地进行以获得患者的呼吸保持，采集肿瘤的实况2D/3DUS图像111，其一旦采集就被存储在当前视图存储器126 中。通过采集新的3DUS图像(存储在存储器126中)来触发运动补偿单元128。
***100通过将实况3DUS图像126与基线3DUS 124进行配准并使用配准单元134的配准结果来更新显示的融合图像以执行运动补偿。更新的融合图像现在可由操作者用于将肿瘤可视化或执行干预(例如针***)。
参考图2，示意性地示出了用于基于跟踪的超声融合成像的方法。在框 202中，对融合成像***进行初始化。采集基线图像并存储其姿态。将所采集的图像与先前图像(例如，相同体积的静态图像)配准。特别地，获得 3DUS基线图像的采集，其继而被配准到要与实况超声融合的先前静态图像 (例如，CT)。在框204中，获得目标区的实况图像。实况图像可以是例如 2D或3DUS图像。超声***通常处于“实况2D”模式，并且来自超声扫描器的实况2D图像与现有静态图像(CT)融合(经由当前配准)。
在框206中，采用实况跟踪信息(例如EM姿态和/或图像特征)以及基线姿态和/或图像来计算和显示成功参数。任选地，来自框204的实况2D 图像也可以用于计算成功参数。可以采用实况2D图像的特征，例如图像亮度、对比度等来检测针对成功的运动补偿的良好成像条件。一个目标是提供一种有效的工作流程和方法，用于补偿从3DUS基线图像之时以来可能发生的器官运动。***连续计算并显示成功参数，使得操作者能够以足够的成功参数来识别肿瘤的视图。
在框208中，执行成功参数的质量的确定。如果成功参数足够，则路径继续到框210。否则，路径返回到框204。操作者通过对诸如肿瘤的特定目标区的融合成像感兴趣，并且将移动超声探头以探索对肿瘤进行可视化的不同方式。肿瘤的不同视图是可能的，但是仅一些可能具有与用于运动补偿的基线3DUS的足够的交叠和姿态相似性(成功参数)。
在框210中，可以任选地请求患者呼吸保持。在框212中，触发新图像(例如，3DUS)的采集。当成功参数足够时进行此。在框214中，将新采集的图像(例如，3DUS)配准到基线图像上。操作者可以继续从获得患者的呼吸保持，在当前视图中采集肿瘤的实况3DUS，并且利用采集的3DUS 来触发运动补偿。
在框216中，来自框214的配准结果用于更新与先前US图像(基线或先前采集的US图像)的配准。该***通过将实况3DUS与基线3DUS配准来执行运动补偿，并且使用配准结果更新融合图像。在框218中，进行融合质量的确定。如果质量好，则路径结束，并且更新的融合图像现在可以由操作者使用以对肿瘤进行可视化或执行介入(例如针***)。否则，路径返回到框204以重新尝试更新融合图像。
参考图3，示图示出了超声成像交叠以描述图1的姿态分析器单元132 中的成功参数的计算。图像交叠和相对姿态可以被计算为成功参数(为了简单起见，在图3中以2D示出)。超声探头312、314每个被定位成分别提供不同的视图302和304。使用基线3DUS的姿态(变换：TUS2EM_base(针对基线图像的US到EM配准))(视图302)和当前3DUS视图的姿态(变换：TUS2EM_current(针对当前图像的US到EM配准))(视图304)，计算两个视图302和304之间的相对姿态变换Tcurrent2base(当前图像到基线图像融合) ＝inv(TUS2EM_base)·TUS2EM_current。在该示例中，视图302包括基线3DUS姿态，并且视图304包括当前3DUS姿态。已知超声视场(FOV)(扇区图像 306和/或308)被用于计算阴影图像区域310的交叠。根据相对姿态变换 Tcurrent2base直接计算图像角度差异，α。成功参数可以包括角度(α)和阴影区310。如果角度α＝0，并且阴影区域310与视图302、304符合，则不存在要被补偿的运动。成功参数还可以包括从在不同视图中采集的2D US图像中提取的参数，例如亮度，对比度或其他图像特征。
再次参考图1并且继续参考图3，***100可以提供用于优化超声视图的成功参数的反馈和引导。为此，姿态分析器单元132将被连接到姿态引导单元138，以计算增加或优化参数所需的超声探头运动。该信息被传送到显示器118以向操作者示出指示(例如，“向左移动”，“顺时针旋转”)。姿态引导单元138可以使用先前的静态图像122(例如，CT)和从其导出的信息(例如，皮肤表面)来确定可接受的超声姿态(例如，超声探头触摸皮肤)。
在另一个实施例中，***100可以提供反馈和引导以优化对用户提供的目标区进行成像的超声视图的成功参数。为此，接口120将允许操作者输入3DUS基线124或先前的静态图像122中的目标区域。信息被传递到姿态引导单元138，以计算朝向这样的视图的引导，所述视图对目标区进行成像同时最大化成功参数。
通过将探头位置和旋转视为要优化的输入参数(可能受限于如从先前的静态图像122导出的患者皮肤上的位置)并且定义要最小化的代价函数f (其与针对在当前姿态采集的3DUS运动补偿成功的可能性反相关)，姿态分析器单元132可以计算地解决姿态优化问题。一个合适的代价函数包括：
f_A(pi)＝100/百分比交叠(pi)+w*(1-|α(pi)|/90) 公式1
其中，pi是定义探头的当前姿态的探头平移和旋转参数的集合{tx，ty，tz，rx，ry，rz}；
f_A(pi)是与姿态pi相关联的总“代价”；
百分比交叠(pi)是通过基线3DUS和当前3DUS成像的区的相对交叠 (例如，100x绝对交叠除以总视场)；
α(pi)是基线3DUS与当前3DUS之间的旋转角度，以度为单位；并且
w是用于平衡交叠和旋转度量的相对贡献的加权因子。
对于使用用户提供的目标区的实施例，可以修改代价函数以同时反映对目标区成像的要求。例如，
f_B(pi)＝f_A(pi)/T(pi) 公式2
其中，T(pi)是单位阶跃函数，如果目标区完全处于当前视场中，则为1，否则非常小(例如，1e-10)，使得f_B(pi)中的“代价”变得非常大。
使用一个或多个代价函数，用户可以移动US探头并且在接近目标区域时被从显示器118上或从接口120给予音频、视觉、触觉等反馈，以引导操作者达到针对运动补偿的最佳姿态。代价函数可以被配置为评估不同的图像视场以及图像参数之间的交叠和/或旋转用于确定图像相似性，例如，根据2D/初步和/或基线图像。姿态引导单元138还可以针对最佳姿态和图像相似度采用一个或多个代价函数以向用户提供引导命令。
参考图4，根据本原理说明性地示出了用于融合图像以考虑运动补偿的方法。在框402中，捕获基线图像。在框404中，获得目标区的实况图像。实况图像可以是2D图像或提供初步图像。在框406中，跟踪成像仪器以获得针对捕获基线图像的姿态并且获得针对当前图像的当前视图的姿态，使得跟踪***具有与基线图像和实况图像配准的坐标系。在框408中，分析当前视图的姿态，以使用跟踪***来比较针对基线图像的姿态与当前视图的姿态之间的视场差异以生成成功参数。此外，也可以计算和比较来自实况图像和基线图像的参数/图像特征。在框410中，传递成功参数以提供针对基线图像与当前视图图像之间的运动补偿的最佳图像采集的反馈。成功参数对基线图像与当前视图图像之间的视场交叠和姿态相似性进行量度。成功参数可以包括用于实现交叠、姿态相似性和图像相似性的不同参数，例如角度、位置、面积、百分比、图像对比度、亮度或其他量或特征。
在框412中，如果成功参数足够，则以当前视图的姿态采集新图像。这可能是完整的3D图像，而不是2D图像或初步图像。成功参数的充分性可以由用户确定或者可以被自动设置或者被设置为默认值。确定姿态是否提供与所述基线图像的姿态的视场相当的针对当前姿态的视场，以允许用户复现所述基线图像视场。例如，可以设置基线视场和当前视场之间的阈值，即，例如，90％交叠，以确定充分性。还考虑了其他准则。
在框414中，可以将基线图像与当前视图图像配准。在框416中，可以将静态图像(例如，CT，MRI等)与基线图像和(一幅或多幅)当前图像中的一幅或多幅配准。该配准可以在任何时间发生，并且优选地在关于基线图像被配准到静态图像的早期阶段(例如，规划)期间发生。
在框418中，使用姿态引导单元向用户提供方向，以实现针对当前视图图像的令人满意的姿态。姿态引导单元可以包括和计算代价函数来评估不同图像视场之间的交叠。代价函数还可以考虑例如实况图像(例如，初步2D图像)与基线图像之间的图像参数。图像参数可以包括对比度、亮度、内容信息等。
在框420中，通过反馈活动来引导用户动作，以实现针对当前视图图像的令人满意的姿态。反馈活动可以包括视觉信号(例如，闪光，图像)，文本命令，音频信号(例如，嘟嘟声，语音命令)，触觉信号(例如，振动强度，振动变化)等中的至少一个。
在解释所附的权利要求时，应当理解：
a)“包括”一词不排除在给定权利要求中所列举的其他元件或动作之外的元件或动作的存在；
b)在元件之前的词语“一”或“一个”不排除多个这样的元件的存在；
c)在权利要求中的任何附图标记不限制其范围；
d)若干“单元”可以由相同项或者硬件或软件实施的结构或功能来表示；并且
e)并不旨在要求特定动作的特定顺序，除非专门指出。
在已经描述了用于医学流程中的图像补偿的***和方法的优选实施例 (意在是例示性的而非限制性的)之后，要指出的是，本领域的技术人员鉴于以上教导能够进行修改和变型。因此要理解，可以在所披露的公开的特定实施例中做出改变，这些改变处于所公开的实施例的由所附权利要求界定的范围之内。在已经这样描述了专利法所要求的细节和特性之后，在随附的权利要求中阐述了所主张或期望由专利证书保护的内容。

Claims (16)

1.一种用于对图像进行融合以考虑运动补偿的***，包括：
成像模态(110)，其被配置为获得基线图像和当前图像；
实况跟踪***(115)，其被配置为跟踪成像仪器，以获得用于捕获所述基线图像的姿态和用于捕获所述当前图像的当前视图的姿态，所述实况跟踪***具有与所述基线图像和所述当前图像配准的坐标系；以及
姿态分析单元(132)，其配置为使用所述实况跟踪***来基于在用于捕获所述基线图像的姿态与用于捕获所述当前视图的姿态之间进行比较的视场差异来生成成功参数并且向用户传递所述成功参数作为反馈，所述成功参数辅助图像采集以用于所述基线图像与所述当前视图图像之间的运动补偿。
2.根据权利要求1所述的***，其中，所述姿态分析单元(132)还被配置为生成所述成功参数作为所述基线图像与所述当前视图图像之间的交叠和姿态相似性的度量。
3.根据权利要求1所述的***，其中，所述姿态分析单元(132)还被配置为生成所述成功参数作为所述基线图像与在当前姿态拍摄的实况图像之间的图像相似度的度量。
4.根据权利要求1所述的***，其中，所述姿态分析单元(132)确定用于捕获所述当前视图的姿态是否提供与用于捕获所述基线图像的姿态的视场相似的视场，以允许用户复现所述基线图像视场。
5.根据权利要求1所述的***，还包括姿态引导单元(138)，所述姿态引导单元被配置为向用户提供指示移动所述成像仪器的方向的方向信息以达到针对所述当前视图图像的期望的姿态。
6.根据权利要求5所述的***，其中，所述姿态引导单元(138)包括代价函数，所述代价函数被配置为评估所述基线图像与所述当前视图图像之间的不同图像视场和/或图像参数之间的交叠和/或旋转。
7.根据权利要求1所述的***，还包括接口(120)，所述接口被配置为通过反馈活动来引导用户动作以实现针对所述当前视图图像的期望的姿态。
8.根据权利要求7所述的***，其中，所述反馈活动包括视觉信号、文本命令、音频信号和触觉信号中的至少一种以将所述用户动作引导到所述期望的姿态。
9.一种用于对图像进行融合以考虑运动补偿的方法，包括：
捕获基线图像；
采集目标区的实况图像；
跟踪成像仪器以获得用于捕获所述基线图像的姿态并且获得用于捕获所述实况图像的当前视图的姿态，使得跟踪***的坐标系与所述基线图像和所述实况图像配准；
分析针对当前视图的姿态，以使用所述跟踪***来比较针对所述基线图像的姿态与针对所述当前视图的姿态之间的视场差异以生成成功参数；
传递所述成功参数以提供关于图像采集的反馈以用于所述基线图像与所述当前视图之间的运动补偿；并且
如果所述成功参数足够，则以所述当前视图的所述姿态采集新图像。
10.根据权利要求9所述的方法，其中，所述成功参数对所述基线图像与所述当前视图之间的交叠和姿态相似性进行量度。
11.根据权利要求9所述的方法，其中，所述成功参数对所述基线图像与在所述当前视图的所述姿态拍摄的实况图像之间的图像相似度进行量度。
12.根据权利要求9所述的方法，还包括确定用于捕获所述当前视图的姿态是否提供与用于捕获所述基线图像的姿态的视场相当的视场，以允许用户复现所述基线图像视场。
13.根据权利要求9所述的方法，还包括向用户提供方向信息以使用姿态引导单元来实现针对所述当前视图的期望的姿态。
14.根据权利要求13所述的方法，其中，所述姿态引导单元包括代价函数，所述代价函数被配置为评估所述基线图像与实况图像之间的不同图像视场和/或图像参数之间的交叠。
15.根据权利要求9所述的方法，还包括通过反馈活动来引导用户动作以实现针对所述当前视图图像的期望的姿态，其中，所述反馈活动包括视觉信号、文本命令、音频信号和触觉信号中的至少一种。
16.一种存储有指令的计算机可读介质，所述指令在被运行时，适于执行根据权利要求9-15中的任一项所述的方法。
CN201680026452.4A 2015-05-07 2016-05-09 对图像进行融合以考虑运动补偿的***和方法 Active CN107980148B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562158011P 2015-05-07 2015-05-07
US62/158,011 2015-05-07
PCT/IB2016/052623 WO2016178198A1 (en) 2015-05-07 2016-05-09 System and method for motion compensation in medical procedures

Publications (2)

Publication Number Publication Date
CN107980148A CN107980148A (zh) 2018-05-01
CN107980148B true CN107980148B (zh) 2022-06-28

Family

ID=56072372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680026452.4A Active CN107980148B (zh) 2015-05-07 2016-05-09 对图像进行融合以考虑运动补偿的***和方法

Country Status (5)

Country Link
US (1) US10893851B2 (zh)
EP (1) EP3291735A1 (zh)
JP (1) JP6714019B2 (zh)
CN (1) CN107980148B (zh)
WO (1) WO2016178198A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016175758A2 (en) 2015-04-28 2016-11-03 Analogic Corporation Image guided steering of a transducer array and/or an instrument
CN107980148B (zh) * 2015-05-07 2022-06-28 皇家飞利浦有限公司 对图像进行融合以考虑运动补偿的***和方法
RU2769065C2 (ru) * 2017-05-11 2022-03-28 Конинклейке Филипс Н.В. Технологический процесс, система и способ компенсации движения при ультразвуковых процедурах
US20200275915A1 (en) * 2017-09-08 2020-09-03 Koninklijke Philips N.V. Ultrasound probe localization with drift correction
EP3482690A1 (en) * 2017-11-14 2019-05-15 Koninklijke Philips N.V. Ultrasound tracking and visualization
EP3721411B1 (en) * 2017-12-04 2021-04-21 Koninklijke Philips N.V. Image data processing method, device and system
WO2019222317A1 (en) * 2018-05-15 2019-11-21 New York University System and method for orientating capture of ultrasound images
CN111292277B (zh) * 2018-12-10 2021-02-09 深圳迈瑞生物医疗电子股份有限公司 超声融合成像方法及超声融合成像导航***
KR20200109467A (ko) * 2019-03-13 2020-09-23 삼성전자주식회사 전자 장치 및 그 제어 방법
NL2023588B1 (en) * 2019-07-29 2021-02-18 Elitac Vibrotactile feedback arrangement
US11607200B2 (en) * 2019-08-13 2023-03-21 GE Precision Healthcare LLC Methods and system for camera-aided ultrasound scan setup and control
US20210045716A1 (en) * 2019-08-13 2021-02-18 GE Precision Healthcare LLC Method and system for providing interaction with a visual artificial intelligence ultrasound image segmentation module
CN112130134B (zh) * 2020-08-17 2023-12-05 河北汉光重工有限责任公司 一种基于时间补偿的实时基线修正方法
US20230172585A1 (en) * 2021-12-03 2023-06-08 GE Precision Healthcare LLC Methods and systems for live image acquisition

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7127090B2 (en) * 2001-07-30 2006-10-24 Accuimage Diagnostics Corp Methods and systems for combining a plurality of radiographic images
DE10149795B4 (de) * 2001-10-09 2006-04-06 Siemens Ag Semiautomatische Registrierung zur Überlagerung zweier medizinischer Bilddatensätze
JP4088104B2 (ja) * 2002-06-12 2008-05-21 株式会社東芝 超音波診断装置
CA2573217C (en) * 2004-08-09 2013-04-09 Bracco Research Sa An image registration method and apparatus for medical imaging based on mulptiple masks
US20060093192A1 (en) * 2004-11-03 2006-05-04 Bechtel J S Finger guide device
JP4470187B2 (ja) * 2004-12-03 2010-06-02 株式会社日立メディコ 超音波装置、超音波撮像プログラム及び超音波撮像方法
US7840042B2 (en) * 2006-01-20 2010-11-23 3M Innovative Properties Company Superposition for visualization of three-dimensional data acquisition
US20080186378A1 (en) * 2007-02-06 2008-08-07 Feimo Shen Method and apparatus for guiding towards targets during motion
US9597041B2 (en) * 2007-03-30 2017-03-21 General Electric Company Sequential image acquisition with updating method and system
CN101053531A (zh) * 2007-05-17 2007-10-17 上海交通大学 基于多模式增敏成像融合的早期肿瘤定位跟踪方法
WO2009063361A1 (en) * 2007-11-14 2009-05-22 Koninklijke Philips Electronics, N.V. System and method for quantitative 3d ceus analysis
CN101868737B (zh) * 2007-11-16 2013-04-24 皇家飞利浦电子股份有限公司 使用3d对比增强超声的介入导航
WO2009085204A2 (en) * 2007-12-23 2009-07-09 Oraya Therapeutics, Inc. Methods and devices for detecting, controlling, and predicting radiation delivery
US7801271B2 (en) * 2007-12-23 2010-09-21 Oraya Therapeutics, Inc. Methods and devices for orthovoltage ocular radiotherapy and treatment planning
JP2009200713A (ja) * 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
WO2010037436A1 (en) 2008-09-30 2010-04-08 Mediri Gmbh 3d motion detection and correction by object tracking in ultrasound images
EP2210844B1 (en) * 2009-01-26 2012-04-04 Neopost Technologies Method and apparatus for feeding and folding sheets
US9412044B2 (en) * 2009-06-09 2016-08-09 Siemens Aktiengesellschaft Method of compensation of respiratory motion in cardiac imaging
DE102010009295B4 (de) * 2010-02-25 2019-02-21 Siemens Healthcare Gmbh Verfahren zur Darstellung eines zu untersuchenden und/oder behandelnden Bereichs
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US20140194793A1 (en) * 2010-05-14 2014-07-10 Kai Medical, Inc. Systems and methods for non-contact multiparameter vital signs monitoring, apnea therapy, apnea diagnosis, and snore therapy
WO2011143631A2 (en) * 2010-05-14 2011-11-17 Kai Medical, Inc. Systems and methods for non-contact multiparameter vital signs monitoring, apnea therapy, sway cancellation, patient identification, and subject monitoring sensors
US9135707B2 (en) * 2010-06-28 2015-09-15 Koninklijke Philips N.V. Real-time quality control of EM calibration
CN103402453B (zh) * 2011-03-03 2016-11-16 皇家飞利浦有限公司 用于导航***的自动初始化和配准的***和方法
US8810640B2 (en) * 2011-05-16 2014-08-19 Ut-Battelle, Llc Intrinsic feature-based pose measurement for imaging motion compensation
JP2011205681A (ja) * 2011-05-27 2011-10-13 Hitachi Ltd 記録方法
US8588501B2 (en) * 2011-07-29 2013-11-19 Siemens Aktiengesellschaft Automatic pose initialization for accurate 2-D/3-D registration applied to abdominal aortic aneurysm endovascular repair
KR20140049137A (ko) * 2012-10-12 2014-04-25 삼성전자주식회사 의료영상 분석장치 및 방법
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
WO2014110069A1 (en) * 2013-01-11 2014-07-17 The Cleveland Clinic Foundation Alignment of manipulable sensor assembly
US9131922B2 (en) * 2013-01-29 2015-09-15 Eigen, Inc. Calibration for 3D reconstruction of medical images from a sequence of 2D images
US10278584B2 (en) * 2013-03-11 2019-05-07 Carestream Dental Technology Topco Limited Method and system for three-dimensional imaging
US9838670B2 (en) * 2013-03-11 2017-12-05 Carestream Health, Inc. Method and system for three-dimensional imaging
CN105744854B (zh) * 2013-11-06 2020-07-03 皇家飞利浦有限公司 用于在剃刮过程中引导用户的***和方法
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US20160106381A1 (en) * 2014-10-20 2016-04-21 General Electric Company Ultrasound probe with tactile indicator
US9626589B1 (en) * 2015-01-19 2017-04-18 Ricoh Co., Ltd. Preview image acquisition user interface for linear panoramic image stitching
JP6436442B2 (ja) * 2015-04-10 2018-12-12 キヤノン株式会社 光音響装置および画像処理方法
CN107980148B (zh) * 2015-05-07 2022-06-28 皇家飞利浦有限公司 对图像进行融合以考虑运动补偿的***和方法
US10646199B2 (en) * 2015-10-19 2020-05-12 Clarius Mobile Health Corp. Systems and methods for remote graphical feedback of ultrasound scanning technique
CN112957074A (zh) * 2016-03-09 2021-06-15 安科诺思公司 利用人工智能网络的超声图像识别***和方法
EP3574504A1 (en) * 2017-01-24 2019-12-04 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment

Also Published As

Publication number Publication date
EP3291735A1 (en) 2018-03-14
WO2016178198A1 (en) 2016-11-10
JP2018518226A (ja) 2018-07-12
US20180146955A1 (en) 2018-05-31
US10893851B2 (en) 2021-01-19
JP6714019B2 (ja) 2020-06-24
CN107980148A (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
CN107980148B (zh) 对图像进行融合以考虑运动补偿的***和方法
KR102013866B1 (ko) 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치
US9978141B2 (en) System and method for fused image based navigation with late marker placement
US9687204B2 (en) Method and system for registration of ultrasound and physiological models to X-ray fluoroscopic images
US9665936B2 (en) Systems and methods for see-through views of patients
US10762380B2 (en) Registration system for registering an imaging device with a tracking device
US10977787B2 (en) Feedback for multi-modality auto-registration
US10424067B2 (en) Image processing apparatus, image processing method and storage medium
US10796498B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
US10786309B2 (en) Radiation-free registration of an optical shape sensing system to an imaging system
JP6541363B2 (ja) 画像処理装置、画像処理方法およびプログラム
EP3463097B1 (en) Correcting probe induced deformation in an ultrasound fusing imaging system
US20140147027A1 (en) Intra-operative image correction for image-guided interventions
US9588666B2 (en) Image processing apparatus, image processing method, and storage medium
JP2015529478A (ja) ポータブルデバイスを用いたライブビデオ上への術前データのオーバーレイ及び登録
US8588490B2 (en) Image-based diagnosis assistance apparatus, its operation method and program
US10699424B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium with generation of deformed images
CN105030265A (zh) 图像显示设备、方法以及存储图像显示程序的存储介质
US20240095936A1 (en) Combining angiographic information with fluoroscopic images
Banerjee Fast 4D Ultrasound Registration for Image Guided Liver Interventions
CN116763401A (zh) 一种穿刺路径规划***、方法及手术机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant