CN1981710B - 使用生理数据分割和配准多模态图像 - Google Patents

使用生理数据分割和配准多模态图像 Download PDF

Info

Publication number
CN1981710B
CN1981710B CN200610172951.2A CN200610172951A CN1981710B CN 1981710 B CN1981710 B CN 1981710B CN 200610172951 A CN200610172951 A CN 200610172951A CN 1981710 B CN1981710 B CN 1981710B
Authority
CN
China
Prior art keywords
image
registration
function information
heart
conduit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200610172951.2A
Other languages
English (en)
Other versions
CN1981710A (zh
Inventor
A·普赖斯
Y·施瓦茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Inc
Original Assignee
Biosense Webster Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Inc filed Critical Biosense Webster Inc
Publication of CN1981710A publication Critical patent/CN1981710A/zh
Application granted granted Critical
Publication of CN1981710B publication Critical patent/CN1981710B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0538—Measuring electrical impedance or conductance of a portion of the body invasively, e.g. using a catheter
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/28—Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
    • A61B5/283—Invasive
    • A61B5/287—Holders for multiple electrodes, e.g. electrode catheters for electrophysiological study [EPS]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/063—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using impedance measurements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis
    • A61B6/541—Control of apparatus or devices for radiation diagnosis involving acquisition triggered by a physiological signal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A61B8/543—Control of the diagnostic device involving acquisition triggered by a physiological signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了用于配准绘图和图像的***和方法，包括使用绘图和图像中的生理或功能信息，而不是仅使用定位信息来分割三维图像和将图像与电解剖绘图配准。本发明的典型应用包括将心脏的电解剖绘图与预先采集的或实时的三维图像配准。可以在三维图像和绘图上定位和准确绘制诸如心脏中受损组织的特征，在电解剖绘图中该受损组织典型具有低于健康组织的电压。

Description

使用生理数据分割和配准多模态图像
技术领域
本发明涉及解剖成像和电解剖绘图。更特别地，本发明涉及通过不同模态采集的心脏图像和电解剖图的同步显示。
背景技术
本领域公知用于三维几何绘图和再现心内表面的方法。例如，美国专利No.5,738,096描述基于使探测器接触心壁上的多个位置并确定探测器在每个位置的位置坐标来绘制心内膜的方法，该专利通过引用合并于此。将这些位置坐标组合以形成至少一部分心脏的图。
目前公知采用桥接导管与位置检测一起执行超声成像。例如，在共同转让的美国专利No.6,690,963、6,716,166和6,773,402中公开了这种设备，这些专利通过引用合并于此。医学应用包括体腔的三维绘图，以及腔壁厚度和腔壁速度的测量和电活动的绘图。在医学应用中，通常由不同模态获得体器官的绘图和图像，该绘图和图像彼此相关解释。例如，心脏的电解剖图和诸如三维超声图像的一图像的相关性。
基于检测体内探测器位置的电生理和物理绘图***目前可在市场上购买。其中，可从地址是3333 Diamond Canyon Road Diamond Bar，CA 91765的BiosenseWebster Inc.购买的Carto-
Figure G061H2951220070122D000011
***是用于通过导管定位自动关联局部电活动并对电活动绘图的***。
现有的用于将解剖图像和电解剖绘图与通过不同模态获得的三维图像配准的方法一般依靠定位数据。将绘图导管放置在诸如心脏的感兴趣器官中的多个已知位置，并记录位置坐标。这些相同的位置被标记或以其它形式记录在三维图像中。这种技术通常需要***的操作者除作为绘图过程本身进行的操作外还要花费时间去寻找和标记配准所需的位置。
授予Robb等人的美国专利No.5,568,384描述了使用准确配准和重叠将三维多模态图像集合成单个合成图像的方法。最初使用半自动分割技术从两个或更多个待匹配的不同图像中提取表面。这些表面表现为具有待匹配的共有特征的轮廓。对一个表面图像执行距离变换，并使用距离图像展开用于该匹配过程的成本函数。几何变换包括三维平移、旋转和缩放比例以适应不同位置、方向和尺寸的图像。匹配过程包括有效搜索该多参数空间并调节一个或多个表面以找到它们中使成本函数最小化的最佳拟合。通过使用大量起始点来解决局部最小值问题。采用金字塔多分辨率(pyramid multi-resolution)方法加速距离变换计算和多参数最小化过程。使用在多分辨率搜索中隐含的多阀值实现噪声处理中的鲁棒性。该方法可以配准部分重叠的表面和分段的表面。
在A Review of Cardiac Image Registration Methods，Timo
Figure G061H2951220070122D000021
等人，IEEETrasactions on Medical Imaging，Vol.21，No.9，p.1011，September 2002这篇文献中，评论了心脏图像配准方法的目前状况。心脏图像的配准被指出是图像配准的特别复杂的问题，这是因为心脏是运动身体内非刚性运动的器官，并且准确定位的解剖界标相对较少。
发明内容
根据本发明的公开实施例，提供用于将绘图与图像配准的可选***和方法，包括分割三维图像和使用解剖绘图中的生理或功能信息，结合特定定位点，将该图像与解剖绘图配准。在临床领域，医生通常在心里将来自不同模态的图像信息结合。基于根据本发明使用生理数据的计算机程序的配准使准确性更高并且速度更快。
在本发明的一个实施例中，在电解剖图中的电压值用在已知产生这种值的预先采集的三维图像中或实时三维图像中的特征来识别。例如，心脏中的受损组织在电解剖图中典型具有低于健康组织的电压。在电解剖图上被绘制成低电压区域的损伤可以与在三维图像中绘制的对应结构配准。
在本发明的另一实施例中，可使用其它电势测量来分割图像。例如，可以基于瓣膜和周围心内膜之间的电势差来绘制心脏中瓣膜的定位和形状。其它电特征也可用于分割和配准。例如，当导管进入心室时，通过在局部心电图中P波的消失可以识别出绘制导管从心房到心室的运动。作为另一应用，使用基于阻抗的定位***，在该***中测量绘制导管和体表电极之间的电阻抗，通过当导管从左心房移动到静脉时阻抗的增加可以确定肺静脉的定位。
在本发明的又一实施例中，如果在胸腔的计算机断层扫描(CT)成像期间病人穿着体表电极“背心”，电极将显现在CT图像中。使用电极执行的ECG测量提供可以向内投影到心脏表面的电模型。心脏的电解剖图同样产生可以向外投影到体表的心脏的电模型。两个电模型可以彼此配准以便将心脏的电解剖图与CT图像配准。
本发明提供一种用于绘制患者体内结构的方法，该方法通过以下步骤实现：捕获该结构的三维图像，产生具有关于在多个点测量的该结构的功能信息的该结构的三维绘图，通过自动用图像中至少一个解剖特征来识别绘图上的至少一个对应功能特征，将图像与绘图配准，以及显示来自与图像配准的绘图的功能信息。
该方法的一个方面包括将探测器***该结构，该探测器包括用于确定该探测器位置和方向信息的位置传感器。
在该方法的另一方面中，产生功能模型包括通过将探测器与该结构上的多个接触点接触而产生电模型，和使用该探测器的位置传感器获得关于每个接触点的位置和方向信息。
根据该方法的另一方面，该结构包括心脏，其中功能信息包括在每个接触点采集的局部心电图特征。
根据该方法的又一方面，该特征是P波，包括当所述P波存在时识别所述接触点的心房定位，和当所述P波消失时识别所述接触点的心室定位。
根据该方法的一个方面，功能信息包括在接触点的电压的幅度。
该方法的另一方面包括通过绘制心脏区域来识别心脏中的心肌损伤，其中该区域中的接触点的电压低于位于该区域外的接触点的电压。
该方法的另一方面包括通过绘制心脏的区域来识别心脏的瓣膜，其中所述接触点的电压与位于该区域外的接触点的电压不同。
根据该方法的另一方面，功能信息包括在体表和各个接触点之间的阻抗。
根据该方法的又一方面，图像是包括心脏表示的身体的胸腔的计算机断层扫描图像。
该方法的另一方面包括将多个表面电极放置在患者的胸腔上，和通过使用表面电极实现心电图来产生外部电模型，其中配准图像和绘图包括将电模型向外投影到心脏的表示上和将外部电模型向内投影到心脏的表示上，以将外部电模型与电模型和心脏的所述表示配准的附加步骤。
根据该方法的又一方面，图像是超声图像。
根据该方法的又一方面，功能信息是温度、该结构中的流体流速、化学性质或该结构的机械活动。
本发明提供了一种用于绘制患者体内结构的设备，包括用于捕获该结构的三维图像的成像设备，和连接到该成像设备的处理器，其中处理器可有效产生该结构的三维功能绘图，该功能绘图包括关于在该结构上多个点测量的结构的功能信息。通过自动用图像中的至少一个解剖特征识别功能图中至少一个对应功能特征，处理器可有效将图像与绘图配准。该设备包括连接到处理器用于显示来自与图像配准的绘图的功能信息的显示设备。
附图说明
为了更好地理解本发明，将参考附图以举例的方式具体描述本发明，其中相同的元件用相同的附图标记表示，其中：
图1是根据本发明的实施例用于成像和绘制病人心脏的***的视图；
图2是根据本发明的实施例在图1所述***中使用的导管远端的实施例的示意图；
图3是心脏图像的简化几何表示，该图像已准备与根据本发明的公开实施例定位的另一诊断图像配准；
图4是根据本发明的公开实施例的心脏的诊断图像的分解示意图；
图5是根据本发明的公开实施例的心脏的电解剖绘图、相应的三维解剖图像和合成图像的简化表示，在合成图像中一部分电解剖绘图被显示与解剖图像配准；
图6是根据本发明的替换实施例的心脏的电解剖绘图、相应的三维解剖图像和合成图像的简化表示，在合成图像中一部分电解剖绘图被显示为与解剖图像配准。
具体实施方式
在下面的描述中，为了完全理解本发明给出了很多具体细节。然而，本领域普通技术人员应当清楚，本发明可以在没有这些具体细节的情况下实施。在另外的例子中，为了更清楚地理解本发明，没有详细示出用于常规算法和处理的公知电路、控制逻辑和计算机程序指令的细节。
实现本发明的软件程序码典型地保存在诸如计算机可读介质的永久存储器中。在客户机-服务器环境中，这种软件程序码可以储存在客户机或服务器中。软件程序码可以包含在数据处理***使用的任何一种公知介质中。该介质包括但不限于磁和光存储设备，诸如磁盘驱动器、磁带、光盘(CD)、数字化视频盘(DVD)，以及采用和不采用调制了计算机指令信号的载波体现在传输介质中的计算机指令信号。例如，传输介质可以包括诸如互联网的通信网络。另外，虽然本发明可以在计算机软件中实现，作为可选方式，实现本发明所必须的功能可以使用诸如专用集成电路的硬件部件或其它硬件，或一些硬件组件和软件的组合部分地或全部实现。
***概述
现在参考附图，先参考图1，根据本发明的一个实施例，该附图示出了用于对病人心脏24进行成像和绘图的***20，该***适合执行关于心脏24的诊断和治疗过程。该***包括导管28，该导管由医生经由皮肤***心脏的腔室或血管结构中。导管28典型地包括用于由医生操作导管的手柄29。适当控制手柄可以使医生根据需要调整、定位和定向导管的远端。
***20包括测量导管28的位置坐标和方向坐标的定位子***。在本专利申请全文中，术语“定位”是指导管的空间坐标，术语“方向”是指导管的角度坐标或旋转。术语“位置”是指导管的全部位置信息，包括定位和方向坐标。
在一个实施例中，定位子***包括确定导管28的位置和方向的磁位置跟踪***。定位子***在其附近的预定工作体积中产生磁场，并检测导管处的这些磁场。定位子***典型地包括诸如场发生线圈30的一组外部发射器，其位于病人外部的固定、已知位置。线圈30在心脏24附近产生典型为电磁场的场。
在替换实施例中，导管中的发射器如线圈产生电磁场，该电磁场由病人体外的传感器(未示出)接收。
位置传感器响应所检测的场将涉及位置的电信号通过穿过导管的电缆33传送到控制台34。可替换地，位置传感器可以通过无线链路将信号传送到控制台。控制台包括基于由位置传感器32发送的信号计算导管28的定位和方向的定位处理器36。定位处理器36典型地对来自导管28的信号进行接收、放大、滤波、数字化和其它处理。
例如，在美国专利6,690,963、6,618,612和6,332,089以及美国专利申请2002/0065455 A1、2004/0147920 A1以及2004/0068178 A1中描述了用于该目的的一些位置跟踪***，上述文献的公开内容通过引用全部合并于此。虽然图1所示的定位子***使用了磁场，下面描述的方法可以使用任何其它合适的定位子***如基于电磁场、声音或超声测量的***来实施。
可替换地，***20可以采用可从地址是3333 Diamond Canyon Road DiamondBar，CA 91765的Biosense Webster Inc.提供的Carto-
Figure G061H2951220070122D000061
Navigation System实现，将其适当改进以执行下述过程。例如，***20可适用于(加以必要变更)采用在上述美国专利No.6716,166和6,773,402中公开的导管来采集超声图像，用于与配置导管在相同或不同时期的位置的图像或表示同时地显示在接近实时的超声图像中，以及显示在很多不同的组合中。
当用于***治疗设备和植入物时，导管28配备有被***所需位置的柔性导线。可以有选择地装备诸如侧口(未示出)的辅助口以满足使用植入物和治疗设备的需要。
现在参考图2，该图示意性示出根据本发明的实施例的导管28(图1)的远端的实施例。场发生线圈30(图1)产生的场由导管28内的位置传感器32检测。导管28包括超声成像传感器。超声传感器典型地包括超声换能器阵列40。在一个实施例中，换能器为压电换能器。超声换能器位于窗41内或邻近，该窗41在导管的本体或侧壁内限定了开口。导管28典型地具有至少一个内腔37，该内腔37可以容纳导线和导管以有助于部署治疗设备。
换能器40作为定相阵列工作，通过窗23从阵列孔共同发射超声束。虽然以直线阵列配置示出换能器，也可以使用其它阵列配置，例如圆形或凸面配置。在一个实施例中，换能器阵列发射短脉冲超声能量，然后切换到用于接收从周围组织反射的超声信号的接收模式。典型地，以受到控制的方式单独驱动换能器40，以调整超声束到所需方向。通过适当定时换能器，所产生的超声束可以给出同心弯曲的波峰，以便将超声束聚焦在离换能器阵列给定的距离处。因而，***20(图1)将换能器阵列用作定相阵列并实施能调整和聚焦超声束的发射/接收扫描机制，以产生二维超声图像。
在一个实施例中，超声传感器包括16-64个换能器40，优选包括48-64个换能器。典型地，换能器以典型14cm的穿透深度产生中心频率在5-10MHz范围内的超声能量。该穿透深度的范围典型地从几毫米到约16厘米，并且取决于超声传感器的特性、周围组织的特性和工作频率。在替换实施例中，可以使用其它合适的频率范围和穿透深度。
在接收被反射的超声回波后，基于所反射的声信号或回波的电信号由换能器40通过穿过导管28的电缆33发送到控制台34中的图像处理器42(图1)，该图像处理器42将该电信号转换成二维，典型扇形的超声图像。图像处理器42典型地计算或确定位置和方向信息，显示实时超声图像，执行三维图像或立体再现和其它功能，这些将在下面更具体地描述。
在一些实施例中，图像处理器使用超声图像和位置信息以产生病人心脏的目标结构的三维模型。该三维模型以显示器44上的二维投影显示给医生。
在一些实施例中，导管的远端还包括至少一个电极46，其用于执行诊断功能、治疗功能或两者兼而有之，例如电生理绘图和射频(RF)切除。在一个实施例中，电极46被用于检测局部电势。由电极46测量的电势可用于对在心内表面的接触点的局部电活动绘图。当电极46接触心脏24(图1)的内表面上的点或置于其附近时，该电极测量该点的局部电势。所测量的电势被转换成电信号并通过导管发送到图像处理器，以显示为反映每个接触点的功能数据或活动的图。在其它实施例中，从另一导管获得局部电势，该导管包括合适的电极和位置传感器，该电极和位置传感器都连接到控制台34。在一些应用中，电极46可用于确定导管何时接触瓣膜，因为瓣膜的电势低于心肌内的电势。
虽然将电极46显示为单环电极，导管可以包括任何数目任何形式的电极。例如，导管可以包括两个或更多个环电极，多个点电极或点电极阵列，尖电极或用于执行上述诊断和治疗功能的这些电极种类的组合。
位置传感器32典型地位于导管28的远端，邻近电极46和换能器40。典型地，超声传感器的位置传感器32、电极46和换能器40相互之间的位置和方向偏移量为常量。这些偏移量典型地由定位处理器36用于在给出位置传感器32的测量位置时导出超声传感器和电极46的坐标。在另一实施例中，导管28包括两个或更多位置传感器32，每个位置传感器32相对于电极46和换能器40的位置和方向偏移量恒定。在一些实施例中，偏移量(或等价的校准参数)被预先校准并储存在定位处理器36中。可替换地，偏移量可以储存在安装在导管28的手柄29(图1)中的存储设备中(例如可电编程只读存储器或EPROM)。
位置传感器32典型包括三个不同心线圈(未示出)，例如上面引证的美国专利No.6,690,963中描述的。可替换地，可以使用任何其它合适的位置传感器布置方式，例如包括任何数目的同心或不同心线圈的传感器、霍耳效应(Hall-effect)传感器或磁致电阻传感器。
典型地，超声图像和位置测量都通过相对于体表面心电图信号或心内心电图的门控信号和图像捕获与心脏周期同步。(在一个实施例中ECG信号可以由电极46产生。)由于在心脏周期收缩和松弛期间心脏的特性改变它们的形状和位置，典型以相对该周期的特定定时执行整个成像处理。在一些实施例中，由导管进行的附加测量，例如各种组织特征的测量、温度和血流测量，也与心电图(ECG)信号同步。这些测量也与由位置传感器32进行的对应位置测量相关。如下所述，附加测量典型地叠加在再现的三维模型上。
在一些实施例中，位置测量和超声图像的采集与由***20产生的内部发生信号同步。例如，该同步机制可用于避免由某个信号引起的超声图像中的干扰。在这个例子中，图像采集和位置测量的定时被设置成相对于该干扰信号的特定偏移量，从而在没有干扰的情况下采集图像。偏移量可以被临时调整以保持无干扰的图像采集。可替换地，测量和采集可以与外部提供的同步信号同步。
在一个实施例中，***20包括驱动超声换能器40的超声驱动器39。能够用于此目的的合适的超声驱动器的一个例子是由Analogic Corporation，8 CentennialDrive，Peabody，MA 01960生产的AN2300TM超声***。在该实施例中，超声驱动器执行图像处理器42的一些功能，驱动超声传感器和产生二维超声图像。该超声驱动器可以支持本领域公知的不同成像模式，例如B-模式、M-模式、CW多普勒和彩色流多普勒。
典型地，使用被软件编程以执行在此所述功能的通用计算机实现定位和图像处理器。该软件可以以电子形式例如通过网络下载到计算机，或者可替换的其可以储存在有形介质，例如CD-ROM上提供给计算机。定位处理器和图像处理器可以分别使用独立的计算机或使用一个计算机实现，或可以与***20的其它计算功能结合。附加地或可替换地，至少一些定位和图像处理功能可以使用专用硬件执行。
二维解剖成像
重新参考图1，产生心脏的门控图如超声、SPECT、图像，并与导管28的定位数据相关。门控图像可以与另一图像配准，或者与用于在冠状窦中部署治疗设备的相同或不同导管的位置配准。具有共同受让人的美国专利No.6,650,927中公开了合适的配准技术，该专利通过引用合并于此。该技术被简要描述：
现在参考图3，其是心脏图像54的简化几何表示，根据本发明的公开的实施例该图像已准备与另一诊断图像配准。下面进一步具体描述图像54的准备细节。表面56大致对应于心脏表面。定义坐标系，其中在表面56上的每个点58由离顶点60的距离R和相对向下方向62(即，相对于患者26的腹部和身体后端)的角α表示。为了将另一结构与图像54配准，轴64和顶点60在图像54上被标识出，并使用由导管28(图1)上的传感器提供的定位信息对准待配准结构的相应位置、界标或基准标志。该过程优选是自动的，但附加地或可替换地可以由操作者执行或辅助执行。调整待配准的结构的比例，使得其尺寸尽量匹配图像54的尺寸。
现在参考图4，其是根据本发明所公开的实施例的心脏24(图1)的诊断图像66的分解示意图。该图使用牛眼再现技术产生。图像66包括垂直于轴64的一叠平行切片68。典型地沿着轴64以固定切片增量获得切片。每个切片显示一截面70。
三维解剖成像
重新参考图1，在共同受让的申请No.11/115,002中描述了三维成像，该申请于4月26日申请，名称为“使用超声轮廓再现的三维心脏成像”(Three-DimensionalCardiac Imaging Using Ultrasound Contour Resconstruction)，该申请通过引用合并于此。对该方法的简要描述将有助于理解本发明。
基本上，所公开的方法将在如上所述的导管28的不同位置采集的二维超声图像组合为目标结构的单个三维模型。典型地，医生将导管28通过合适的血管***心脏腔室中，然后通过在该腔室内的不同位置之间移动导管来扫描目标结构。在每个导管位置中，图像处理器42采集和产生二维超声图像。
重新参考图1，在部署治疗设备或植入物期间，***20的定位子***测量和计算导管28的当前位置。所计算的位置与相应的一个或多个切片68储存在一起(图3)。典型地，导管28的每个位置以坐标形式表示，例如六维坐标(X、Y、Z轴位置、以及倾斜、偏转和旋转角方向)。
图像处理器42接下来给在图像集中标识出的感兴趣轮廓分配三维坐标。这些图像的平面在三维空间中的定位和方向通过与图像一起储存的位置信息被获知。因此，图像处理器能够确定在二维图像中任何像素的三维坐标。当分配坐标时，图像处理器典型地使用包括位置传感器和超声传感器之间的位置和方向偏移量的所储存的校准数据，如上所述。
可替换地，***20(图1)在不再现三维模型的情况下可用于三维显示和投影二维超声图像。例如，医生可以采集单个二维超声图像。可以使用下述过程标记在该图像上的感兴趣轮廓。然后，***20可以将超声图像在三维空间中定向和投影。在医疗过程期间，该***可以连续跟踪和显示执行该医疗过程的导管的三维位置，该导管可能不同于采集图像的导管，在该图像上配准当前执行医疗过程的导管。
功能成像技术
现在参考图5，其显示了根据本发明所公开实施例的心脏的电解剖图72、相应的三维解剖图像74，以及合成图像75，其中一部分电解剖图72的复制部分与解剖图像74配准。图像如上所述被采集和再现。在图5下部显示了参考ECG示踪图76。电解剖图72揭示了相对低电压区78。感兴趣区80绘制在解剖图像74上，其与心肌创伤一致。心脏中的创伤组织影响心肌功能，这是由于其在电解剖图中典型具有比健康组织低的电压，如区域78所示。通过将区域80与区域78配准形成合成图像。
可替换实施例
在本发明的另一实施例中，电势可用于分割图像。例如，可以基于在瓣膜和周围心内膜之间的电势差来绘制心脏中瓣膜的位置和形状。
现在参考图6，其显示了根据本发明所公开的实施例的心脏的电解剖图82、相应同时采集的三维解剖图像84以及合成图像90，其中电解剖图82的复制部分与解剖图像84配准。在解剖图像84上二尖瓣和主动脉瓣的定位可以由操作者基于心脏的形态学外形确定。在电解剖图82上，相对低电活动区域86、88分别表示主动脉瓣和二尖瓣。在将包括区域86、88的电解剖图82的相应部分与解剖图像84的操作者标识的区域配准后，最终的整个心脏的合成图像90可以接近实时地提供给操作者。
其它电特征也可用于分割和配准。例如，当导管进入心室时，绘制导管从心房到心室的运动可以由局部心电图中的P波的消失来识别。作为另一例子，在基于阻抗的定位***中，其中测量绘制导管和体表电极之间的电阻抗，当导管从左心房移动到静脉中时，肺静脉的定位可以通过阻抗升高来识别。
在本发明的一个实施例中，将可从Biosense-Webster购买的NOGATM软件用于配准。该软件使用滤波器来检测双极EKG中的P波，因而可以将在基础区的瓣膜的纤维环上的点与明显在心房中的点区分开。所使用的算法基本上限定体表QRS复合波及其P波定位，然后寻找在双极窗中该时间范围中的偏转。必须满足两个预先限定的参数：(1)偏转的峰间电压必须在0-0.5mV的范围中。(2)QRS复合波的偏转与幅度的比率必须在0-100％的范围中。通常，认为0.1mV的峰间电压已经超过了噪声电平并表现为真偏转信号。25％的比率似乎足够了。如果第一或第二参数增加，则少数点将符合标准而大部分真正的基点将失去。另一方面，参数减小导致有效点的丢失(假阳性增加)。在典型的左心室绘图中，该算法典型地检测3-10个点，这些点实际上几乎总是确实的基础定位。
在本发明的又一实施例中，如果在胸腔的计算机断层扫描(CT)成像期间病人身穿体表电极“背心”，则电极将在CT图像上显示出。使用电极执行的ECG测量提供可以向内投影到心脏表面的电模型。心脏的电解剖图同样产生可以向外投影到身体表面的心脏电模型。两个电模型可以彼此配准以便将心脏的电解剖图与CT图像配准。配准算法使用定位信息和电活动信息。
可以被绘图和用于图像配准和分割的其它生理数据包括体温、血流速率、化学特性和机械活动。例如，如上述美国专利No.6,716,166和6,773,402中所公开的，在多普勒图像中由超声导管检测的高速流动区域可以被识别并与在三维解剖图像中看到的血管中的狭窄配准。作为另一例子，化学传感器可用于识别NADPH水平低的心脏区域，指示局部缺血。这种区域可以与使用磁共振光谱学获得的图像中看到的相应的局部缺血区配准。在Circulation.1995；92：15-23中由Takahiro Yabe等人发表的论文“Quantitative Measurements of Cardiac Phosphorus Metabolites inCoronary Artery Disease by 31P Magnetic Resonance Spectroscopy”中所述的技术适用于显示这种区域。
本领域普通技术人员应当理解，本发明不限于上文已经特别显示和描述的内容。相反，本发明的范围包括上文描述的各种特征的结合方案和亚结合方案，以及现有技术中没有的、本领域普通技术人员通过阅读前面的说明书就会想到的变化方案和修改方案。

Claims (13)

1.一种用于绘制对象体内结构的方法，包括：捕获所述结构的三维图像，所述结构具有显示在所述图像中的解剖特征，
特征在于，所述方法还包括以下步骤：
产生包括所述结构的三维绘图的功能模型，所述绘图包括关于在所述结构上多个点测量的所述结构的功能信息，所述绘图展示所述结构的功能特征；
通过自动用所述图像中的至少一个所述解剖特征来识别至少一个对应的所述功能特征，将所述图像与所述绘图配准；
显示来自与所述图像配准的所述绘图的所述功能信息；以及
利用所述功能信息的电特征来分割所述功能模型。
2.根据权利要求1的方法，其中所述图像是包括心脏表示的所述对象体的胸腔的计算机断层扫描图像。
3.根据权利要求1的方法，其中所述图像是超声图像。
4.根据权利要求1的方法，其中所述功能信息是温度、在所述结构中的流体流速、化学性质或所述结构的机械活动。
5.一种用于绘制对象体内结构的设备，包括用于捕获所述结构的三维图像的成像设备，所述结构具有显示在所述图像中的解剖特征，
特征在于，所述设备还包括：
连接到所述成像设备的处理器，所述处理器可用于产生功能模型，该模型包括所述结构的三维绘图，所述绘图包括关于在所述结构上多个点测量的所述结构的功能信息，所述绘图展示所述结构的功能特征，所述处理器通过自动用所述图像中的至少一个所述解剖特征来识别至少一个对应的所述功能特征，用于将所述图像与所述绘图配准；
连接到所述处理器的显示设备，用于显示来自与所述图像配准的所述绘图的所述功能信息,
其中，所述功能模型被利用所述功能信息的电特征进行分割。
6.根据权利要求5的设备，还包括连接到所述处理器并适用于***所述结构的探测器，所述探测器具有用于确定所述探测器的位置和方向信息的位置传感器。
7.根据权利要求6的设备，其中所述功能模型包括当所述探测器接触所述结构上的多个接触点时的电模型，并且响应所述探测器的所述位置传感器，所述处理器可用于获得关于每个所述接触点的位置和方向信息。
8.根据权利要求7的设备，其中所述结构包括心脏，并且其中所述功能信息包括在每个所述接触点采集的局部心电图特征。
9.根据权利要求7的设备，其中所述功能信息包括在所述接触点的电压的幅度。
10.根据权利要求7的设备，其中所述功能信息包括在所述对象体表面和每一所述接触点之间的阻抗。
11.根据权利要求7的设备，其中所述图像是包括心脏表示的所述对象体的胸腔的计算机断层扫描图像。
12.根据权利要求5的设备，其中所述图像是超声图。
13.根据权利要求5的设备，其中所述功能信息是温度、所述结构中的流体流速、化学性质或所述结构的机械活动。
CN200610172951.2A 2005-08-30 2006-08-30 使用生理数据分割和配准多模态图像 Expired - Fee Related CN1981710B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/215,435 US20070049817A1 (en) 2005-08-30 2005-08-30 Segmentation and registration of multimodal images using physiological data
US11/215435 2005-08-30

Publications (2)

Publication Number Publication Date
CN1981710A CN1981710A (zh) 2007-06-20
CN1981710B true CN1981710B (zh) 2015-07-29

Family

ID=37497451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200610172951.2A Expired - Fee Related CN1981710B (zh) 2005-08-30 2006-08-30 使用生理数据分割和配准多模态图像

Country Status (10)

Country Link
US (1) US20070049817A1 (zh)
EP (1) EP1760661B1 (zh)
JP (1) JP5253723B2 (zh)
KR (1) KR20070026135A (zh)
CN (1) CN1981710B (zh)
AU (1) AU2006203713B2 (zh)
BR (1) BRPI0603750A (zh)
CA (1) CA2557027C (zh)
IL (1) IL177625A0 (zh)
MX (1) MXPA06009867A (zh)

Families Citing this family (180)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US8180601B2 (en) 2006-03-09 2012-05-15 The Cleveland Clinic Foundation Systems and methods for determining volume of activation for deep brain stimulation
US8209027B2 (en) 2004-07-07 2012-06-26 The Cleveland Clinic Foundation System and method to design structure for delivering electrical energy to tissue
US7346382B2 (en) * 2004-07-07 2008-03-18 The Cleveland Clinic Foundation Brain stimulation models, systems, devices, and methods
US8784336B2 (en) 2005-08-24 2014-07-22 C. R. Bard, Inc. Stylet apparatuses and methods of manufacture
US8606360B2 (en) * 2006-03-09 2013-12-10 The Cleveland Clinic Foundation Systems and methods for determining volume of activation for spinal cord and peripheral nerve stimulation
US7855723B2 (en) * 2006-03-21 2010-12-21 Biosense Webster, Inc. Image registration using locally-weighted fitting
CA2659898C (en) 2006-08-03 2017-08-29 Christoph Scharf Method and device for determining and presenting surface charge and dipole densities on cardiac walls
US7831076B2 (en) 2006-12-08 2010-11-09 Biosense Webster, Inc. Coloring electroanatomical maps to indicate ultrasound data acquisition
US7941213B2 (en) * 2006-12-28 2011-05-10 Medtronic, Inc. System and method to evaluate electrode position and spacing
US7957784B2 (en) * 2006-12-29 2011-06-07 St. Jude Medical, Atrial Fibrillation Division, Inc. Body surface mapping system
US7996055B2 (en) 2006-12-29 2011-08-09 St. Jude Medical, Atrial Fibrillation Division, Inc. Cardiac navigation system including electrode array for use therewith
US20080170654A1 (en) * 2007-01-15 2008-07-17 John Eric Tkaczyk Method and apparatus of ct cardiac diagnostic imaging using a priori motion information from 3d ultrasound and ecg gating
GB2459225B (en) * 2007-01-16 2011-07-20 Simbionix Ltd Preoperative surgical simulation
US8543338B2 (en) * 2007-01-16 2013-09-24 Simbionix Ltd. System and method for performing computerized simulations for image-guided procedures using a patient specific model
CN101711125B (zh) 2007-04-18 2016-03-16 美敦力公司 针对非荧光镜植入的长期植入性有源固定医疗电子导联
JP5173303B2 (ja) * 2007-07-27 2013-04-03 株式会社東芝 医用画像処理装置及び医用画像診断装置
JP5337367B2 (ja) * 2007-10-31 2013-11-06 株式会社東芝 医用画像表示装置
US8103070B2 (en) * 2007-11-22 2012-01-24 Toshiba Medical Visualization Systems Europe, Limited Volume rendering apparatus and method
EP2712547B1 (en) 2007-11-26 2015-09-30 C. R. Bard, Inc. Integrated system for intravascular placement of a catheter
US9649048B2 (en) 2007-11-26 2017-05-16 C. R. Bard, Inc. Systems and methods for breaching a sterile field for intravascular placement of a catheter
US8781555B2 (en) 2007-11-26 2014-07-15 C. R. Bard, Inc. System for placement of a catheter including a signal-generating stylet
US9521961B2 (en) 2007-11-26 2016-12-20 C. R. Bard, Inc. Systems and methods for guiding a medical instrument
US10751509B2 (en) 2007-11-26 2020-08-25 C. R. Bard, Inc. Iconic representations for guidance of an indwelling medical device
US8320711B2 (en) * 2007-12-05 2012-11-27 Biosense Webster, Inc. Anatomical modeling from a 3-D image and a surface mapping
RU2493593C2 (ru) * 2007-12-13 2013-09-20 Конинклейке Филипс Электроникс Н.В. Способ извлечения данных из набора данных медицинских изображений
RU2472442C2 (ru) * 2007-12-18 2013-01-20 Конинклейке Филипс Электроникс, Н.В. Система для комплексного слияния данных формирования изображения на основании статистических моделей анатомии
US20110175903A1 (en) * 2007-12-20 2011-07-21 Quantum Medical Technology, Inc. Systems for generating and displaying three-dimensional images and methods therefor
WO2009090547A2 (en) 2008-01-17 2009-07-23 Christoph Scharf A device and method for the geometric determination of electrical dipole densities on the cardiac wall
US9220889B2 (en) 2008-02-11 2015-12-29 Intelect Medical, Inc. Directional electrode devices with locating features
US8019440B2 (en) 2008-02-12 2011-09-13 Intelect Medical, Inc. Directional lead assembly
WO2009106784A1 (en) * 2008-02-25 2009-09-03 Inventive Medical Limited Medical training method and apparatus
CN101983035B (zh) * 2008-04-03 2013-02-13 皇家飞利浦电子股份有限公司 呼吸确定装置
US8494608B2 (en) * 2008-04-18 2013-07-23 Medtronic, Inc. Method and apparatus for mapping a structure
US8532734B2 (en) * 2008-04-18 2013-09-10 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8340751B2 (en) * 2008-04-18 2012-12-25 Medtronic, Inc. Method and apparatus for determining tracking a virtual point defined relative to a tracked member
US8839798B2 (en) * 2008-04-18 2014-09-23 Medtronic, Inc. System and method for determining sheath location
US8457371B2 (en) * 2008-04-18 2013-06-04 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8663120B2 (en) * 2008-04-18 2014-03-04 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8326433B2 (en) * 2008-05-15 2012-12-04 Intelect Medical, Inc. Clinician programmer system and method for calculating volumes of activation for monopolar and bipolar electrode configurations
US9272153B2 (en) 2008-05-15 2016-03-01 Boston Scientific Neuromodulation Corporation VOA generation system and method using a fiber specific analysis
US8200466B2 (en) 2008-07-21 2012-06-12 The Board Of Trustees Of The Leland Stanford Junior University Method for tuning patient-specific cardiovascular simulations
EP2313143B1 (en) 2008-08-22 2014-09-24 C.R. Bard, Inc. Catheter assembly including ecg sensor and magnetic assemblies
DE102008047644B4 (de) * 2008-09-17 2015-09-10 Siemens Aktiengesellschaft Verfahren zur Registrierung zweier Bildgebungsmodalitäten
AU2009322153B2 (en) 2008-12-04 2016-07-07 The Cleveland Clinic Foundation System and method to define target volume for stimulation in brain
US8175681B2 (en) 2008-12-16 2012-05-08 Medtronic Navigation Inc. Combination of electromagnetic and electropotential localization
CN101836862B (zh) * 2009-03-16 2014-03-26 上海微创医疗器械（集团）有限公司 人体腔室内壁三维标测方法及其设备和***
US9405886B2 (en) 2009-03-17 2016-08-02 The Board Of Trustees Of The Leland Stanford Junior University Method for determining cardiovascular information
CN102395999B (zh) * 2009-04-15 2014-08-20 皇家飞利浦电子股份有限公司 医学图像数据的量化
US9439735B2 (en) 2009-06-08 2016-09-13 MRI Interventions, Inc. MRI-guided interventional systems that can track and generate dynamic visualizations of flexible intrabody devices in near real time
US9532724B2 (en) 2009-06-12 2017-01-03 Bard Access Systems, Inc. Apparatus and method for catheter navigation using endovascular energy mapping
EP2442718B1 (en) 2009-06-16 2018-04-25 MRI Interventions, Inc. Mri-guided devices and mri-guided interventional systems that can track and generate dynamic visualizations of the devices in near real time
WO2011019760A2 (en) 2009-08-10 2011-02-17 Romedex International Srl Devices and methods for endovascular electrography
JP5734295B2 (ja) 2009-08-27 2015-06-17 ザ クリーブランド クリニック ファウンデーション 組織活性の部位を推定するためのシステムおよび方法
US8494614B2 (en) 2009-08-31 2013-07-23 Regents Of The University Of Minnesota Combination localization system
US8494613B2 (en) 2009-08-31 2013-07-23 Medtronic, Inc. Combination localization system
JP5642184B2 (ja) * 2009-09-14 2014-12-17 コーニンクレッカ フィリップス エヌ ヴェ Ｍｐｉを用いた非侵襲的心臓内心電図検査法のための装置及びその作動方法
US8355774B2 (en) * 2009-10-30 2013-01-15 Medtronic, Inc. System and method to evaluate electrode position and spacing
JP5689662B2 (ja) * 2009-12-09 2015-03-25 株式会社東芝 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
US8761478B2 (en) * 2009-12-15 2014-06-24 General Electric Company System and method for tomographic data acquisition and image reconstruction
US10069668B2 (en) * 2009-12-31 2018-09-04 Mediguide Ltd. Compensation of motion in a moving organ using an internal position reference sensor
ES2811107T3 (es) 2010-02-02 2021-03-10 Bard Inc C R Aparato y método para conducción de catéter y localización de punta
US20110213260A1 (en) * 2010-02-26 2011-09-01 Pacesetter, Inc. Crt lead placement based on optimal branch selection and optimal site selection
US8204172B1 (en) 2010-03-17 2012-06-19 General Electric Company System and method of prior image constrained image reconstruction using short scan image data and objective function minimization
ES2370727B2 (es) 2010-03-18 2013-03-13 Universidad Politécnica de Madrid Método para visualizar la información contenida en imágenes tridimensionales del corazón.
CN103037761B (zh) 2010-05-28 2016-11-02 C·R·巴德股份有限公司 用于针和医疗部件的***引导***
WO2011150376A1 (en) 2010-05-28 2011-12-01 C.R. Bard, Inc. Apparatus for use with needle insertion guidance system
AU2011267853B2 (en) 2010-06-14 2016-12-08 Boston Scientific Neuromodulation Corporation Programming interface for spinal cord neuromodulation
US8315812B2 (en) 2010-08-12 2012-11-20 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
EP2605699A4 (en) 2010-08-20 2015-01-07 Bard Inc C R ECG ASSISTED CATHETER END POSITIONING RECONFIRMATION
CN101984928B (zh) * 2010-09-29 2012-06-13 北京大学 一种多模态分子层析成像***
US20120165671A1 (en) * 2010-12-27 2012-06-28 Hill Anthony D Identification of objects in ultrasound
US10524765B2 (en) * 2010-12-27 2020-01-07 St. Jude Medical, Atrial Fibrillation Division, Inc. Refinement of an anatomical model using ultrasound
US9875339B2 (en) 2011-01-27 2018-01-23 Simbionix Ltd. System and method for generating a patient-specific digital image-based model of an anatomical structure
WO2012117366A1 (en) * 2011-03-02 2012-09-07 Koninklijke Philips Electronics N.V. Visualization for navigation guidance
CA2829626C (en) 2011-03-10 2020-06-16 Acutus Medical, Inc. Device and method for the geometric determination of electrical dipole densities on the cardiac wall
JP6005723B2 (ja) 2011-03-29 2016-10-12 ボストン サイエンティフィック ニューロモデュレイション コーポレイション 画像位置合わせのためのシステムおよび方法
US9592389B2 (en) 2011-05-27 2017-03-14 Boston Scientific Neuromodulation Corporation Visualization of relevant stimulation leadwire electrodes relative to selected stimulation information
WO2013018079A1 (en) * 2011-08-03 2013-02-07 Flip Technologies Limited A catheter and a system and a method for locating a catheter in a vessel
WO2013023073A1 (en) 2011-08-09 2013-02-14 Boston Scientific Neuromodulation Corporation System and method for weighted atlas generation
WO2013023077A1 (en) 2011-08-09 2013-02-14 Boston Scientific Neuromodulation Corporation Voa generation system and method using a fiber specific analysis
WO2013023076A2 (en) 2011-08-09 2013-02-14 Boston Scientific Neuromodulation Corporation Control and/or quantification of target stimulation volume overlap and interface therefor
US9925382B2 (en) 2011-08-09 2018-03-27 Boston Scientific Neuromodulation Corporation Systems and methods for stimulation-related volume analysis, creation, and sharing
EP2750758B1 (en) 2011-09-01 2020-06-17 Boston Scientific Neuromodulation Corporation System for targeted brain stimulation using electrical parameter maps
JP6259762B2 (ja) * 2011-10-12 2018-01-10 カーディオインサイト テクノロジーズ インコーポレイテッド 空間的に関連する電気情報用の検知ゾーン
US9081488B2 (en) 2011-10-19 2015-07-14 Boston Scientific Neuromodulation Corporation Stimulation leadwire and volume of activation control and display interface
EP2830485B1 (en) * 2012-03-27 2021-03-10 Koninklijke Philips N.V. Integration delayed optical feedback in image guidance
US9844325B2 (en) 2012-05-18 2017-12-19 Koninklijke Philips N.V. Voxel tagging using fiber optic shape sensing
US20130317339A1 (en) 2012-05-23 2013-11-28 Biosense Webster (Israel), Ltd. Endobronchial catheter
EP2879757B1 (en) 2012-08-04 2019-06-26 Boston Scientific Neuromodulation Corporation Systems and methods for storing and transferring registration, atlas, and lead information between medical devices
WO2014036081A1 (en) 2012-08-28 2014-03-06 Boston Scientific Neuromodulation Corporation Capture and visualization of clinical effects data in relation to a lead and/or locus of stimulation
AU2013308531B2 (en) 2012-08-31 2018-05-10 Acutus Medical, Inc. Catheter system and methods of medical uses of same, including diagnostic and treatment uses for the heart
CN103857344B (zh) * 2012-09-20 2016-09-28 东芝医疗***株式会社 图像处理***、x射线诊断装置以及图像处理方法
US9792412B2 (en) 2012-11-01 2017-10-17 Boston Scientific Neuromodulation Corporation Systems and methods for VOA model generation and use
DE102012222201A1 (de) * 2012-12-04 2014-06-18 Siemens Aktiengesellschaft Verfahren und Hybridbildgebungsmodalität zur Erzeugung eines Kombinationsbildes
WO2014106153A1 (en) * 2012-12-31 2014-07-03 Mako Surgical Corp. Systems and methods of registration using an ultrasound probe
WO2014115056A1 (en) * 2013-01-22 2014-07-31 Koninklijke Philips N.V. Ultrasound probe and ultrasound imaging system
EP2948045B1 (en) 2013-01-24 2022-04-13 Tylerton International Holdings Inc. Body structure imaging
CN105358070B (zh) 2013-02-08 2018-03-23 阿库图森医疗有限公司 带有柔性印刷电路板的可膨胀导管组件
US9031642B2 (en) 2013-02-21 2015-05-12 Medtronic, Inc. Methods for simultaneous cardiac substrate mapping using spatial correlation maps between neighboring unipolar electrograms
AU2014227964B2 (en) 2013-03-15 2016-12-15 Boston Scientific Neuromodulation Corporation Clinical response data mapping
US10271810B2 (en) 2013-04-02 2019-04-30 St. Jude Medical International Holding S.à r. l. Enhanced compensation of motion in a moving organ using processed reference sensor data
EP2983579A2 (en) * 2013-04-12 2016-02-17 NinePoint Medical, Inc. Multiple aperture, multiple modal optical systems and methods
US9576107B2 (en) * 2013-07-09 2017-02-21 Biosense Webster (Israel) Ltd. Model based reconstruction of the heart from sparse samples
US9351657B2 (en) * 2013-07-19 2016-05-31 Biosense Webster (Israel) Ltd. Cardiac activity visualization with frequency discrimination
USD748137S1 (en) * 2013-08-20 2016-01-26 Biosense Webster (Israel) Ltd. Portion of a computer screen with an icon
CN105744985B (zh) 2013-09-08 2020-04-07 泰勒顿国际公司 控制减弱的心区的检测
CA2922941C (en) 2013-09-13 2021-11-16 Acutus Medical, Inc. Devices and methods for determination of electrical dipole densities on a cardiac surface
EP3057660B1 (en) * 2013-10-16 2019-07-31 Koninklijke Philips N.V. Estimating position of an organ with a biomechanical model
EP3827874A1 (en) 2013-11-14 2021-06-02 Boston Scientific Neuromodulation Corporation Systems and visualization tools for stimulation and sensing of neural systems with system-level interaction models
US9572535B2 (en) 2013-12-05 2017-02-21 Biosense Webster (Israel) Ltd. Dynamic mapping point filtering using a pre-acquired image
US9289145B2 (en) 2013-12-05 2016-03-22 Medtronic, Inc. Identification of abnormal cardiac substrate during left-ventricular pacing
WO2015104672A2 (en) 2014-01-10 2015-07-16 Tylerton International Holdings Inc. Detection of scar and fibrous cardiac zones
EP3073910B1 (en) 2014-02-06 2020-07-15 C.R. Bard, Inc. Systems for guidance and placement of an intravascular device
EP3122246B1 (en) 2014-03-25 2022-05-04 Acutus Medical, Inc. Cardiac analysis user interface system and method
EP3139827A1 (en) * 2014-05-09 2017-03-15 Boston Scientific Scimed, Inc. Medical devices for mapping cardiac tissue
US9730603B2 (en) 2014-06-20 2017-08-15 Boston Scientific Scimed Inc. Medical devices for mapping cardiac tissue
US9959388B2 (en) 2014-07-24 2018-05-01 Boston Scientific Neuromodulation Corporation Systems, devices, and methods for providing electrical stimulation therapy feedback
US10265528B2 (en) 2014-07-30 2019-04-23 Boston Scientific Neuromodulation Corporation Systems and methods for electrical stimulation-related patient population volume analysis and use
US10272247B2 (en) 2014-07-30 2019-04-30 Boston Scientific Neuromodulation Corporation Systems and methods for stimulation-related volume analysis, creation, and sharing with integrated surgical planning and stimulation programming
EP3204112A1 (en) 2014-10-07 2017-08-16 Boston Scientific Neuromodulation Corporation Systems, devices, and methods for electrical stimulation using feedback to adjust stimulation parameters
US9955889B2 (en) 2014-11-03 2018-05-01 Biosense Webster (Israel) Ltd. Registration maps using intra-cardiac signals
PL227985B1 (pl) 2014-11-07 2018-02-28 Medidata Społka Z Ograniczoną Odpowiedzialnością Elektrofizjologiczny cewnik diagnostyczny zwłaszcza do pozyskiwania biopsji endomiokardialnej tkanek serca
US10973584B2 (en) 2015-01-19 2021-04-13 Bard Access Systems, Inc. Device and method for vascular access
US10362965B2 (en) * 2015-04-22 2019-07-30 Acclarent, Inc. System and method to map structures of nasal cavity
CA2984921A1 (en) 2015-05-12 2016-11-17 Acutus Medical, Inc. Ultrasound sequencing system and method
WO2016183179A1 (en) 2015-05-12 2016-11-17 Acutus Medical, Inc. Cardiac virtualization test tank and testing system and method
JP7030521B2 (ja) 2015-05-13 2022-03-07 アクタス メディカル インク 心臓情報の取得および解析に役立つ位置特定システム
CN107530542B (zh) 2015-05-26 2020-10-13 波士顿科学神经调制公司 用于分析电刺激和选择或操纵激活量的***
US10780283B2 (en) 2015-05-26 2020-09-22 Boston Scientific Neuromodulation Corporation Systems and methods for analyzing electrical stimulation and selecting or manipulating volumes of activation
US10349890B2 (en) 2015-06-26 2019-07-16 C. R. Bard, Inc. Connector interface for ECG-based catheter positioning system
US20160375248A1 (en) 2015-06-29 2016-12-29 Boston Scientific Neuromodulation Corporation Systems and methods for selecting stimulation parameters based on stimulation target region, effects, or side effects
EP3280491B1 (en) 2015-06-29 2023-03-01 Boston Scientific Neuromodulation Corporation Systems for selecting stimulation parameters by targeting and steering
US10638954B2 (en) * 2015-07-23 2020-05-05 Biosense Webster (Israel) Ltd. Surface registration of a CT image with a magnetic tracking system
EP3359252B1 (en) 2015-10-09 2020-09-09 Boston Scientific Neuromodulation Corporation System and methods for clinical effects mapping for directional stimulations leads
US10271906B2 (en) 2015-11-06 2019-04-30 Biosense Webster (Israel) Ltd. Updating a volumetric map
US10524695B2 (en) * 2015-12-22 2020-01-07 Biosense Webster (Israel) Ltd. Registration between coordinate systems for visualizing a tool
US10244963B2 (en) 2015-12-22 2019-04-02 Biosense Webster (Israel) Ltd. Ascertaining a position and orientation for visualizing a tool
US10078713B2 (en) 2015-12-24 2018-09-18 Biosense Webster (Israel) Ltd. Global mapping catheter contact optimization
WO2017132403A1 (en) * 2016-01-26 2017-08-03 The Regents Of The University Of California Symplectomorphic image registration
US11000207B2 (en) 2016-01-29 2021-05-11 C. R. Bard, Inc. Multiple coil system for tracking a medical device
US10716942B2 (en) 2016-04-25 2020-07-21 Boston Scientific Neuromodulation Corporation System and methods for directional steering of electrical stimulation
JP6937321B2 (ja) 2016-05-03 2021-09-22 アクタス メディカル インクＡｃｕｔｕｓ Ｍｅｄｉｃａｌ，Ｉｎｃ． 心臓情報動的表示システム
US10776456B2 (en) 2016-06-24 2020-09-15 Boston Scientific Neuromodulation Corporation Systems and methods for visual analytics of clinical effects
US10350404B2 (en) 2016-09-02 2019-07-16 Boston Scientific Neuromodulation Corporation Systems and methods for visualizing and directing stimulation of neural elements
US10780282B2 (en) 2016-09-20 2020-09-22 Boston Scientific Neuromodulation Corporation Systems and methods for steering electrical stimulation of patient tissue and determining stimulation parameters
EP3493876B1 (en) 2016-10-14 2021-03-17 Boston Scientific Neuromodulation Corporation Systems for closed-loop determination of stimulation parameter settings for an electrical simulation system
WO2018078540A1 (en) 2016-10-25 2018-05-03 Navix International Limited Systems and methods for registration of intra-body electrical readings with a pre-acquired three dimensional image
US11129574B2 (en) 2016-12-12 2021-09-28 Biosense Webster (Israel) Ltd. Real time electroanatomical coloring of the heart
CN110167629B (zh) 2017-01-03 2023-07-18 波士顿科学神经调制公司 用于选择兼容mri的刺激参数的***和方法
WO2018132334A1 (en) 2017-01-10 2018-07-19 Boston Scientific Neuromodulation Corporation Systems and methods for creating stimulation programs based on user-defined areas or volumes
WO2018130974A1 (en) 2017-01-12 2018-07-19 Navix International Limited Systems and methods for reconstruction of intra-body electrical readings to anatomical structure
US11730395B2 (en) 2017-01-12 2023-08-22 Navix International Limited Reconstruction of an anatomical structure from intrabody measurements
US11471067B2 (en) 2017-01-12 2022-10-18 Navix International Limited Intrabody probe navigation by electrical self-sensing
US11083517B2 (en) 2017-01-19 2021-08-10 Biosense Webster (Israel) Ltd. Enhancing efficiency of repeat ablation by merging current and previous maps
WO2018165221A1 (en) 2017-03-06 2018-09-13 The Regents Of The University Of California Joint estimation with space-time entropy regularization
US10625082B2 (en) 2017-03-15 2020-04-21 Boston Scientific Neuromodulation Corporation Visualization of deep brain stimulation efficacy
WO2018187090A1 (en) 2017-04-03 2018-10-11 Boston Scientific Neuromodulation Corporation Systems and methods for estimating a volume of activation using a compressed database of threshold values
FR3066302B1 (fr) * 2017-05-10 2019-07-05 Universite de Bordeaux Methode de segmentation d'une image tridimensionnelle pour la generation d'un modele de paroi du myocarde pour la detection d'au moins une zone de circulation electrique singuliere
US20180360342A1 (en) 2017-06-16 2018-12-20 Biosense Webster (Israel) Ltd. Renal ablation and visualization system and method with composite anatomical display image
CN110944710B (zh) 2017-07-14 2023-12-29 波士顿科学神经调制公司 估计电刺激的临床效果的***和方法
EP3634569A1 (en) 2017-08-15 2020-04-15 Boston Scientific Neuromodulation Corporation Systems and methods for controlling electrical stimulation using multiple stimulation fields
US11583202B2 (en) 2017-08-17 2023-02-21 Navix International Limited Field gradient-based remote imaging
US11304603B2 (en) * 2017-08-21 2022-04-19 Biosense Webster (Israel) Ltd. Advanced current location (ACL) automatic map rotation to detect holes in current position map (CPM) mapping
US10492704B2 (en) * 2017-08-29 2019-12-03 Biosense Webster (Israel) Ltd. Medical patch for simultaneously sensing ECG signals and impedance-indicative electrical signals
US10682181B2 (en) * 2017-09-06 2020-06-16 Biosense Webster (Israel) Ltd. Methods and systems for modeling and registration of 3-dimensional images of the heart
US10595938B2 (en) 2017-12-13 2020-03-24 Biosense Webster (Israel) Ltd. Estimating cardiac catheter proximity to the esophagus
US11135008B2 (en) 2017-12-13 2021-10-05 Biosense Webster (Israel) Ltd. Graphical user interface (GUI) for displaying estimated cardiac catheter proximity to the esophagus
WO2019210202A1 (en) 2018-04-27 2019-10-31 Boston Scientific Neuromodulation Corporation Multi-mode electrical stimulation systems and methods of making and using
EP3784332B1 (en) 2018-04-27 2023-04-26 Boston Scientific Neuromodulation Corporation Systems for visualizing and programming electrical stimulation
US11877840B2 (en) 2018-05-29 2024-01-23 Biosense Webster (Israel) Ltd. Catheter localization using current location combined with magnetic-field sensing
EP3852622A1 (en) 2018-10-16 2021-07-28 Bard Access Systems, Inc. Safety-equipped connection systems and methods thereof for establishing electrical connections
US11006886B2 (en) * 2018-12-20 2021-05-18 Biosense Webster (Israel) Ltd. Visualization of different cardiac rhythms using different timing-pattern displays
JP7277131B2 (ja) * 2018-12-26 2023-05-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11131737B2 (en) 2019-06-04 2021-09-28 The Regents Of The University Of California Joint estimation diffusion imaging (JEDI)
KR102404272B1 (ko) * 2020-05-06 2022-06-02 인천대학교 산학협력단 심장 챔버 영상의 경계를 구분하는 영상 분석 장치 및 방법
CN113870339A (zh) * 2020-06-30 2021-12-31 上海微创电生理医疗科技股份有限公司 图像处理方法、装置、计算机设备、存储介质及标测***
EP3967236A1 (en) * 2020-09-10 2022-03-16 Koninklijke Philips N.V. Method of registering ultrasound images to an anatomical map
CN112150516A (zh) * 2020-09-26 2020-12-29 首都医科大学附属北京安贞医院 基于体表电极的电解剖图与ct图像的配准方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5738096A (en) * 1993-07-20 1998-04-14 Biosense, Inc. Cardiac electromechanics
CN1445725A (zh) * 2003-04-29 2003-10-01 上海交通大学 脑外科手术导航***中解剖图谱的三维可视化应用方法
CN1631321A (zh) * 2003-12-23 2005-06-29 中国科学院自动化研究所 一种基于互信息敏感区域的多模态医学图像配准方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4882679A (en) * 1987-11-27 1989-11-21 Picker International, Inc. System to reformat images for three-dimensional display
US5568384A (en) * 1992-10-13 1996-10-22 Mayo Foundation For Medical Education And Research Biomedical imaging and analysis
US5433198A (en) * 1993-03-11 1995-07-18 Desai; Jawahar M. Apparatus and method for cardiac ablation
US6690963B2 (en) * 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
ES2212079T3 (es) * 1996-02-15 2004-07-16 Biosense, Inc. Sonda marcadora de posicion.
EP0891152B1 (en) * 1996-02-15 2003-11-26 Biosense, Inc. Independently positionable transducers for location system
JP2001291088A (ja) * 2000-04-07 2001-10-19 Ge Yokogawa Medical Systems Ltd 医用画像表示装置
US6650927B1 (en) * 2000-08-18 2003-11-18 Biosense, Inc. Rendering of diagnostic imaging data on a three-dimensional map
US6716166B2 (en) * 2000-08-18 2004-04-06 Biosense, Inc. Three-dimensional reconstruction using ultrasound
US6447453B1 (en) * 2000-12-07 2002-09-10 Koninklijke Philips Electronics N.V. Analysis of cardiac performance using ultrasonic diagnostic images
US6773402B2 (en) * 2001-07-10 2004-08-10 Biosense, Inc. Location sensing with real-time ultrasound imaging
US20040068178A1 (en) * 2002-09-17 2004-04-08 Assaf Govari High-gradient recursive locating system
US7306593B2 (en) * 2002-10-21 2007-12-11 Biosense, Inc. Prediction and assessment of ablation of cardiac tissue

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5738096A (en) * 1993-07-20 1998-04-14 Biosense, Inc. Cardiac electromechanics
CN1445725A (zh) * 2003-04-29 2003-10-01 上海交通大学 脑外科手术导航***中解剖图谱的三维可视化应用方法
CN1631321A (zh) * 2003-12-23 2005-06-29 中国科学院自动化研究所 一种基于互信息敏感区域的多模态医学图像配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Heart-Surface Reconstruction and ECG Electrodes Localization Using Fluoroscopy, Epipolar Geometry and Stereovision: Application to Noninvasive Imaging of Cardiac Electrical Activity;Raja N. Ghanem et;《IEEE Transactions on Medical Imaging》;20031031;第22卷(第10期);p.1307-1318 *
Integration of Cardiac Magnetic Resonance Imaging With Three-Dimensional Electroanatomic Mapping to Guide Left Ventricular Catheter Manipulation Feasibility in a Porcine Model of Healed Myocardial Infarction;Vivek Y. Reddy et;《Journal of the American College of Cardiology》;20041207;第44卷(第11期);p.2202-2213 *

Also Published As

Publication number Publication date
AU2006203713A1 (en) 2007-03-15
JP5253723B2 (ja) 2013-07-31
EP1760661A3 (en) 2009-06-17
EP1760661A2 (en) 2007-03-07
CN1981710A (zh) 2007-06-20
JP2007061617A (ja) 2007-03-15
CA2557027A1 (en) 2007-02-28
MXPA06009867A (es) 2007-02-27
AU2006203713B2 (en) 2012-09-27
US20070049817A1 (en) 2007-03-01
KR20070026135A (ko) 2007-03-08
BRPI0603750A (pt) 2007-08-14
IL177625A0 (en) 2006-12-31
CA2557027C (en) 2016-01-05
EP1760661B1 (en) 2018-06-06

Similar Documents

Publication Publication Date Title
CN1981710B (zh) 使用生理数据分割和配准多模态图像
EP1749475B1 (en) Monitoring of percutaneous mitral valvuloplasty
CN1853574B (zh) 超声数据以预获取图像的配准
CN1853573B (zh) 使用超声以预获取图像配准电解剖图
EP1720039B1 (en) Display of a two-dimensional fan shaped ultrasound field
JP5622995B2 (ja) 超音波システム用のビーム方向を用いたカテーテル先端部の表示
US20060116575A1 (en) Method and system for registering an image with a navigation reference catheter
US20060253024A1 (en) Software product for three-dimensional cardiac imaging using ultrasound contour reconstruction
KR20060112241A (ko) 초음파 윤곽부 재구성을 이용한 3―차원적 심장 이미징
JP2002143179A (ja) ３次元マップにおける診断用画像データのレンダリング
MXPA06008664A (en) Monitoring of percutaneous mitral valvuloplasty

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150729

Termination date: 20180830