JP6386998B2 - 制限された探索空間を使用した医療装置のレジストレーションのためのシステム及び方法 - Google Patents

制限された探索空間を使用した医療装置のレジストレーションのためのシステム及び方法 Download PDF

Info

Publication number
JP6386998B2
JP6386998B2 JP2015512720A JP2015512720A JP6386998B2 JP 6386998 B2 JP6386998 B2 JP 6386998B2 JP 2015512720 A JP2015512720 A JP 2015512720A JP 2015512720 A JP2015512720 A JP 2015512720A JP 6386998 B2 JP6386998 B2 JP 6386998B2
Authority
JP
Japan
Prior art keywords
instrument
point
image
anatomical
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015512720A
Other languages
English (en)
Other versions
JP2015519130A (ja
Inventor
デュインダム,ヴィンセント
ショプラ,プラシャント
Original Assignee
インテュイティブ サージカル オペレーションズ, インコーポレイテッド
インテュイティブ サージカル オペレーションズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテュイティブ サージカル オペレーションズ, インコーポレイテッド, インテュイティブ サージカル オペレーションズ, インコーポレイテッド filed Critical インテュイティブ サージカル オペレーションズ, インコーポレイテッド
Publication of JP2015519130A publication Critical patent/JP2015519130A/ja
Application granted granted Critical
Publication of JP6386998B2 publication Critical patent/JP6386998B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743Type of operation; Specification of treatment sites
    • A61B2017/00809Lung operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108Computer aided selection or customisation of medical implants or cutting guides
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、医療処置の間に患者の解剖学的形態内の医療装置を追跡するためのシステム及び方法を対象としており、特に、制限された探索空間を使用した患者の解剖学的形態内の医療装置を効率的に追跡するためのシステム及び方法を対象としている。
最小侵襲医療技術は、診断又は外科手術手技の間にダメージを受ける組織の量を減らし、その結果、患者の回復時間を短くする、不快感を減らす、及び、有害な副作用を減らすように意図される。そのような最小侵襲技術は、患者の解剖学的形態における自然孔を介して、又は、1つ又は複数の外科的切開を介して行ってもよい。これらの自然孔又は切開を介して、臨床医は、手術器具を挿入して標的組織位置に到達してもよい。標的組織位置に到達するために、最小侵襲手術器具は、肺、大腸、腸管、腎臓、心臓、循環器系等の解剖学的システム内の自然の又は外科的に作られた連結した通路を進んでもよい。ナビゲーション補助システムは、臨床医が手術器具の経路を定める、及び、解剖学的形態に対するダメージを回避するのに寄与する。これらのシステムは、実際の空間における又は処置前若しくは同時発生の画像に関する手術器具の形状、ポーズ及び位置をより正確に表す位置及び形状センサの使用を具体化することができる。多くの解剖学的通路が密集した動的な解剖学的システムにおいて及び/又は解剖学的領域において、最小侵襲器具を解剖学的システムに正確に位置合わせすることは、時間のかかる且つ多量のコンピュータ処理を必要とする作業である。
改善されたシステム及び方法が、最小侵襲器具を解剖学的システムに位置合わせするシステム及び方法の精度及び能率を上げるために必要とされる。
本発明の実施形態が、以下に続く特許請求の範囲によって要約される。
一実施形態において、方法が、記憶される患者の解剖学的形態の画像における連結した解剖学的構造体を同定するステップ、及び、連結した解剖学的構造体を表す複数の連鎖要素を生成するステップを含む。当該方法は、連結した解剖学的構造体のうち少なくとも1つの構造体内に置かれた器具上のポイントに対応する追跡データを受信するステップ、及び、その器具上のポイントを、複数の連鎖要素のうちの1つにマッチさせるステップも含む。
別の実施形態において、医療システムが、可撓性の器具であって、該器具上のポイントに対する追跡データを提供するように適応されたセンサを含む器具、及び、患者の解剖学的形態の画像を記憶するメモリを含む。当該システムは、記憶される患者の解剖学的形態の画像における連結した解剖学的構造体を同定し、さらに、連結した解剖学的構造体を表す複数の連鎖要素を生成するプロセッサも含む。プロセッサはまた、連結した解剖学的構造体のうち少なくとも1つの構造体内に置かれた器具上のポイントに対応する追跡データを受信し、さらに、その器具上のポイントを、複数の連鎖要素のうちの1つにマッチさせる。
別の実施形態において、方法が、患者の解剖学的形態の一組の連結した通路の画像を生成するステップ、及び、器具上のポイントに対する位置情報を受信するステップであって、その情報が、連結した通路に対するそのポイントの位置を示す、ステップを含む。当該方法は、前記ポイントに対する調整された位置情報を生成するステップであって、患者の解剖学的形態の一組の連結した通路を、連鎖した円筒の構造体としてモデリングすることを含む、ステップ、及び、調整された位置情報を用いて、調整された器具の画像を作成するステップも含む。当該方法は、一組の連結した通路の画像及び調整された器具の画像を含む合成画像を生成するステップも含む。
本開示の態様は、以下の詳細な説明から、付随の図と共に読まれた場合に最も理解される。当産業における標準的技法に従って、種々の特徴は一定の比例に応じて描かれているのではないということが強調される。実際、種々の特徴の大きさは、考察を明瞭にするため、任意に増やすか又は減らしてもよい。加えて、本開示は、種々の例において参照番号及び/又は文字を繰り返してもよい。この繰り返しは、単純性及び明瞭性のためであり、それ自体が、考察される種々の実施形態及び/又は構成間の関係を決定するわけではない。
本開示の実施形態によるロボット手術システムを示した図である。 本開示の態様を利用した手術器具システムを例示した図である。 最小侵襲器具の画像に位置合わせされたヒトの肺の画像を示した図である。 最小侵襲器具の視点からヒトの肺の領域を描いた、ヒトの肺の内部画像を示した図である。 肺の気管支通路の一部を例示した図である。 図4の気管支通路を表す複数の円筒形の連鎖要素を例示した図である。 円筒形の連鎖要素を例示した図である。 器具のポイントを解剖学的通路まで動かす(snapping)ための方法を例示した流れ図である。 円筒形の連鎖要素を例示した図である。 円筒形の連鎖要素の中心線まで映し出された(projected)器具のポイントを例示した図である。
以下の本発明の実施形態の詳細な説明において、数多くの特定の詳細が明記され、開示される実施形態の完全な理解を提供している。しかし、この開示の実施形態は、これらの特定の詳細を要することなく実行されてもよいということが当業者には明らかである。他の例において、よく知られた方法、手順、構成要素及び回路は、本発明の実施形態の態様を不必要に不明瞭にしないように詳細に記載されていない。
以下の実施形態は、種々の器具及び器具の一部を、三次元空間におけるその状態の観点から説明している。本明細書において使用される場合、「位置」という用語は、(例えば、デカルトX、Y、Z座標に沿った3つの並進移動(translational)自由度等)三次元空間における対象又は対象の一部の位置を意味する。本明細書において使用される場合、「方向」という用語は、対象又は対象の一部の回転による配置(3つの回転自由度、例えばロール、ピッチ及びヨー等)を意味する。本明細書において使用される場合、「ポーズ」という用語は、(全部で6つの自由度までで)少なくとも1つの並進移動自由度における対象又は対象の一部の位置、及び、少なくとも1つの回転自由度におけるその対象又は対象の一部の方向を意味する。本明細書において使用される場合、「形状」という用語は、対象に沿って測定される一組のポーズ、位置又は方向を意味する。
図面の図1を参考にすると、ロボット手術システムが、参照番号100によって概して示されている。図1において示されているように、ロボットシステム100は、一般に、患者Pに対して種々の処理を行うことにおいて手術器具104を操作するための外科用マニピュレーターアセンブリ102を含む。アセンブリ102は、手術台Oに載せられるか又はその近くにある。マスターアセンブリ106は、外科医Sが手術部位を見るのを、及び、マニピュレーターアセンブリ102を制御するのを可能にする。
別の実施形態において、ロボットシステムは、2つ以上のマニピュレーターアセンブリを含んでもよい。マニピュレーターアセンブリの正確な数は、複数の要因の中でも外科手術手技及び手術室内の空間制限次第である。
マスターアセンブリ106は、手術台Oと同じ室内に通常置かれる外科医のコンソールCに置かれてもよい。しかし、外科医Sは、患者Pとは異なる部屋又は完全に異なる建物に置くことができるということが理解されるべきである。マスターアセンブリ106は、一般に、任意の支持物108、及び、マニピュレーターアセンブリ102を制御するための1つ又は複数の制御装置112を含む。1つ又は複数の制御装置112は、ジョイスティック、トラックボール、グローブ、トリガーガン、手動操作制御装置又は音声認識装置等、いかなる数の種々の入力装置を含んでもよい。いくつかの実施形態において、1つ又は複数の制御装置112には、付随の手術器具104と同じ自由度が提供されて、テレプレゼンス、又は、1つ又は複数の制御装置112が器具104と一体であるという知覚を外科医に提供するため、外科医は、器具104を直接制御しているという強い感覚を有する。いくつかの実施形態において、制御装置112は、6つの自由度で動く手動の入力装置であり、(例えば、はさみ口(grasping jaw)を閉じるため、電極に電位を加えるため又は薬物治療を送達するため等)器具を作動させるための作動可能ハンドルも含んでよい。
可視化システム110は、手術部位の同時発生又はリアルタイム画像が外科医コンソールCに提供されるように、(以下でより詳細に記載される)目視鏡(viewing scope)アセンブリを含んでもよい。同時発生画像は、例えば、手術部位内に置かれた内視鏡によってキャプチャされる二次元又は三次元画像であってもよい。この実施形態において、可視化システム100は、手術器具104に統合して又は取外し可能に結合されてもよい内視鏡的構成要素を含む。しかし、別の実施形態において、別のマニピュレーターアセンブリに取り付けられた別の内視鏡を手術器具と共に使用し、手術部位を画像表示してもよい。可視化システム110は、1つ又は複数のコンピュータプロセッサと相互作用するか又さもなければ1つ又は複数のコンピュータプロセッサによって実行されるハードウェア、ファームウェア、ソフトウェア又はその組み合わせとして実行されてもよく、1つ又は複数のコンピュータプロセッサは、(以下に記載される)制御システム116のプロセッサを含んでもよい。
表示システム111は、可視化システム110によってキャプチャされた手術部位及び手術器具の画像を表示してもよい。ディスプレイ111及びマスター制御装置112は、スコープアセンブリにおける画像処理装置と手術器具との相対位置が、外科医の眼と手との相対位置と類似するように方向づけられてもよく、従って、オペレータは、実質的に本当に目の前で作業空間を見ているかのように、手術器具104及び手動の制御を操縦することができる。本当に目の前でとは、画像の提示が、本当の眺望の画像であり、手術器具104を物理的に操縦しているオペレータの視点をシミュレートしているということを意味している。
或いは又は加えて、モニター111は、コンピュータ断層撮影法(CT)、磁気共鳴画像法(MRI)、蛍光透視法、サーモグラフィー、超音波、光干渉断層撮影法(OCT)、熱画像測定、インピーダンス画像法、レーザー画像法又はナノチューブX線画像法等の画像処理技術を使用して手術前に記録された及び/又はモデリングされた手術部位の画像を示してもよい。示された手術前画像は、二次元、三次元又は四次元画像を含んでもよい。
いくつかの実施形態において、モニター111は、手術器具の実際の位置が、手術前又は同時発生の画像に位置合わせされて(すなわち動的に参照されて)手術器具の先端の位置の内部の手術部位の仮想的な画像を外科医Sに与える仮想的なナビゲーション画像を表示してもよい。手術器具の先端の画像又は他のグラフィカル若しくは英数字の表示を仮想的な画像に重ねて、手術器具を制御する外科医を補助してもよい。或いは、手術器具は、仮想的な画像において可視でなくてもよい。
他の実施形態において、モニター111は、手術器具の実際の位置が、手術前又は同時発生の画像に位置合わせされて、外部視点からの手術位置内の手術器具の仮想的な画像を外科医Sに与える仮想的なナビゲーション画像を表示してもよい。手術器具の一部の画像又は他のグラフィカル若しくは英数字の表示を仮想的な画像に重ねて、手術器具を制御する外科医を補助してもよい。
図1において示されているように、制御システム116は、外科用マニピュレーターアセンブリ102とマスターアセンブリ106と画像及び表示システム110との間の制御に影響を与えるための少なくとも1つのプロセッサ及び典型的には複数のプロセッサを含む。制御システム116は、本明細書において記載される方法の一部又は全てを実行するソフトウェアプログラミング命令も含む。制御システム116は、図1の概略図において単一のブロックとして示されているけれども、このシステムは、処理の少なくとも一部が任意で入力装置に隣接して行わる、一部がマニピュレーターに隣接して行われる等、(例えば、外科用マニピュレーターアセンブリ102及び/又はマスターアセンブリ106上に)多くのデータ処理回路を含んでもよい。種々様々な集中型又は分散型データ処理アーキテクチャーのいずれも利用してよい。同様に、プログラミングコードを、多くの別のプログラム若しくはサブルーチンとして実行してもよく、又は、本明細書に記載されるロボットシステムの多くの他の態様に統合させてもよい。一実施形態において、制御システム116は、Bluetooth(登録商標)、IrDA、HomeRF、IEEE802.11、DECT及びWireless Telemetry等の無線通信プロトコルをサポートしてもよい。
いくつかの実施形態において、制御システム116は、手術器具104からの力及びトルクフィードバックを手動の制御装置112に提供するためにサーボコントローラを含んでもよい。いかなる適した従来又は専門のサーボコントローラも使用してよい。サーボコントローラは、マニピュレーターアセンブリ102とは別であってもよく、又は、マニピュレーターアセンブリ102と一体であってもよい。いくつかの実施形態において、サーボコントローラ及びマニピュレーターアセンブリは、患者の体に隣接して置かれるロボットアームカートの一部として提供される。サーボコントローラは、体内の開口部を介して患者の体内の内部手術部位内に延びる器具をマニピュレーターアセンブリに動かすように命令する信号を送る。
手術器具104を支えるマニピュレーターアセンブリ102のそれぞれが、一般的にはセットアップ接合と呼ばれる一連の手動でつなげることができるリンケージ、及び、ロボットマニピュレーターを含んでもよい。ロボットマニピュレーターアセンブリ102は、一連の作動装置(例えばモータ等)によって駆動されてもよい。これらのモータは、制御システム116からのコマンドに応答してロボットマニピュレーターを積極的に動かす。モータは、自然に又は外科的に作られた解剖学的孔の中に手術器具を進めるよう、及び、複数の自由度において手術器具の遠位端を動かすように手術器具にさらに結合され、複数の自由度は、(例えばX、Y、Zの直進運動等の)3つの直線運動度、及び、(例えば、ロール、ピッチ、ヨー等の)3つの回転運動度を含んでもよい。加えて、モータを使用して、生検装置等のはさみ口において組織をとらえるために、器具のつなげることができるエンドエフェクタを作動させることができる。
図2は、手術器具システム104を含む追跡される器具システム118及びそのインターフェースシステムを例示している。手術器具システム104は、インターフェース122によって、マニピュレーターアセンブリ102及び可視化システム110に結合される可撓性の器具120を含む。器具120は、可撓体124、その遠位端128にて先端126、及び、その近位端130にてインターフェース122を有している。可撓体124は、例えば点線のバージョンの曲げられた先端126によって示されているように先端を制御可能に曲げる又は回転させるため、及び、いくつかの実施形態においては任意のエンドエフェクタ132を制御するために、インターフェース122と先端126との間を延びるケーブル、リンケージ又は他の操縦制御装置(図示せず)を収容している。可撓性の器具は、上記の操縦制御装置を含んで操縦可能であってもよく、又は、器具の曲りのオペレータ制御に対して統合された機構を有することなく操縦不可能であってもよい。エンドエフェクタは、例えば標的組織の所定の処理に影響を与えるため等、医療作用に対して操作可能な作業遠位部分であってもよい。例えば、いくつかのエンドエフェクタは、外科用メス、刃又は電極等、1つの作業部材を有する。図2の実施形態において示されているもの等の他のエンドエフェクタは、例えば、鉗子、捕捉器具、はさみ又はクリップアプライヤー等、一対又は複数の作業部材を有する。電気活性化エンドエフェクタの例として、電気外科的な電極、トランスデューサー及びセンサ等が挙げられる。エンドエフェクタは、例えば、流体送達、付属品導入及び生検抽出等を要する吸引、吸入、灌漑、処理を行うために、流体、ガス又は固形物を運ぶための導管も含んでよい。他の実施形態において、可撓体124は1つ又は複数の管腔を定めることができ、管腔を介して、手術器具を展開し、さらに、標的手術位置にて使用することができる。
器具120は画像キャプチャ要素134を含むこともでき、画像キャプチャ要素134は、表示システム111による表示のために、可視化システム110に送られ、さらに、可視化システム110によって処理される画像をキャプチャするために、遠位端128にて配置される双眼実体カメラ又は単眼実体カメラを含んでもよい。或いは、画像キャプチャ要素134は、ファイバースコープ等、器具120の近位端上の画像及び処理システムに結合するコヒーレント光ファイバー束であってもよい。画像キャプチャ要素134は、可視又は赤外線/紫外線スペクトルにおける画像データをキャプチャするために、単一又は多スペクトル感応性であってもよい。
追跡システム135は、遠位端128並びに器具120に沿った1つ又は複数のセグメント137の位置、方向、速度、ポーズ及び/又は形状を決定するために、電磁(EM)センサシステム136及び形状センサシステム138を含む。追跡システムはまた、記憶される患者の解剖学的形態の画像と、患者に固定されたリファレンスフレームにおける形状センサとを位置合わせするために使用してもよい。レジストレーションは、或いは、当業者によって理解されるEMセンサシステムを利用しない他の技術を使用して行ってもよい。例証的な組のセグメント137のみが図2において描かれているけれども、遠位端128と近位端130との間の、且つ、先端126を含む器具120の全長は、複数のセグメントへと効果的に分割されてもよい。追跡システム135は、1つ又は複数のコンピュータプロセッサと相互作用するか又さもなければ1つ又は複数のコンピュータプロセッサによって実行されるハードウェア、ファームウェア、ソフトウェア又はその組み合わせとして実行されてもよく、1つ又は複数のコンピュータプロセッサは、制御システム116のプロセッサを含んでもよい。
EMセンサシステム136は、外部で生成される電磁場に供することができる1つ又は複数の導電コイルを含む。EMセンサシステム136のそれぞれのコイルは、次に、外部で生成される電磁場に対するコイルの位置及び方向次第である特徴を有する誘導電気信号を生じる。一実施形態において、EMセンサシステムは、例えば、3つの位置座標X、Y、Z、並びに、基点のピッチ、ヨー及びロールを示す3つの配向角度等、6つの自由度を測定するように構成され及び置かれてもよい。EMセンサシステムのさらなる説明が、全内容を本願に援用する“Six−Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked”を開示している1999年8月11日に出願した米国特許第6,380,732号において提供されている。
センサシステム138は、(例えば、内部のチャネル(図示せず)内に提供される、又は、外側に載せられる等)可撓体124に合わせられた光ファイバー140を含む。追跡システム135は、光ファイバー140の近位端に結合される。この実施形態において、ファイバー140は、約200μmの直径を有する。他の実施形態において、その大きさは、より大きいか又はより小さくてもよい。
光ファイバー140は、器具120の形状を決定するための光ファイバー曲げセンサを形成する。別の手段において、ファイバーブラッググレーティング(Fiber Bragg Gratings(FBG))を含む光ファイバーが、1つ又は複数の大きさの構造体におけるひずみ測定試験を提供するために使用される。三次元における光ファイバーの形状及び相対位置をモニターするための種々のシステム及び方法が、全内容を本願に援用する“Fiber optic position and shape sensing device and method relating thereto”を開示している2005年7月13日に出願した米国特許出願第11/180,389号、“Fiber−optic shape and relative position sensing”を開示している2004年7月16日に出願した米国仮特許出願第60/588,336号、及び、“Optical Fibre Bend Sensor”を開示している1998年6月17日に出願した米国特許第6,389,187号において記載されている。他の手段において、レイリー散乱、ラマン散乱、ブリュアン散乱及び蛍光散乱等、他のひずみ感知技術を利用するセンサが適していてもよい。他の別の実施形態において、器具120の形状は、他の技術を使用して決定されてもよい。例えば、器具の先端のポーズの経緯が、ナビゲーション表示を更新するための期間よりも短いある時間の間、又は、(例えば吸息及び呼息等)変化する動きの間記憶される場合、そのポーズの経緯を使用して、その期間にわたって装置の形状を再現することができる。別の例として、過去のポーズ、位置又は方向のデータは、呼吸等、変化する動きのサイクルに沿った器具の既知のポイントに対して記憶してもよい。この記憶されたデータを使用して、器具に関する形状の情報を開発してもよい。或いは、器具に沿って置かれるEMセンサ等の一連の位置センサを、形状感知のために使用することができる。或いは、特に解剖学的通路が概して静的である場合に、処理の間の器具上のEMセンサ等の位置センサからのデータの経緯を使用して器具の形状を表してもよい。或いは、外部の磁場によって位置又は方向が制御される無線装置を、形状感知のために使用してもよい。その位置の経緯を使用して、ナビゲートされた通路に対する形状を決定してもよい。
この実施形態において、光ファイバー140は、1つのクラッド146内に複数のコアを含んでもよい。各コアは、各コアにおける光が、他のコアにおいて運ばれている光と著しく相互作用しないように、充分な距離及びコアを隔てるクラッドを持ったシングルモードであってもよい。他の実施形態において、コアの数は変わってもよく、又は、各コアは、別の光ファイバー内に含有されてもよい。
いくつかの実施形態において、FBGのアレイが、各コア内に提供されている。各FBGは、屈折率において空間的周期性を生成するように、一連のコアの屈折率の変調を含む。間隔は、各率の変化からの部分的な反射が、狭帯域の波長に対してコヒーレントに合算され、その結果、はるかに広い帯域を通過させながら、この狭帯域の波長のみを反射するように選ばれてもよい。FBGを製作している間に、変調は既知の距離によって間隔があけられ、その結果、既知の域の波長の反射を引き起こしている。しかし、ひずみがファイバーコア上で誘発される場合、変調の間隔は、コア内のひずみの量に応じて変わる。或いは、光ファイバーの曲げと共に変わる後方散乱又は他の光学現象を使用して、各コア内のひずみを決定することができる。
従って、ひずみを測定するために、光がファイバーまで送られ、戻ってくる光の特徴が測定される。例えば、FBGは、ファイバー上のひずみ及びその温度の結果である反射波長を生じる。このFBG技術は、Smart Fibres社(Bracknell,England)等の種々の供給源から商業的に入手可能である。ロボット手術に対する位置センサにおけるFBG技術の使用は、全内容を本願に援用する“Robotic Surgery System Including Position Sensors Using Fiber Bragg Gratings”を開示している2006年7月20日に出願した米国特許第7,930,065号において記載されている。
マルチコアファイバーに適用される場合、光ファイバーの曲げは、各コア内の波長シフトをモニターすることによって測定することができるコア上のひずみを誘発する。3つ以上のコアをファイバー内の軸外しで配置させることによって、ファイバーの曲げは、コアのそれぞれに異なるひずみを誘発する。これらのひずみは、局所的なファイバーの曲げ度の結果である。例えば、FBGを含有するコアの領域は、ファイバーが曲げられるポイントにて置かれた場合、その結果、それらのポイントでの曲げの量を決定するために使用することができる。既知のFBG領域の間隔と組み合わされたこれらのデータは、ファイバーの形状を再現するために使用することができる。そのようなシステムは、Luna Innovations社(Blacksburg、Va)によって記載されてきた。
上記のように、光ファイバー140は、器具120の少なくとも一部の形状をモニターするために使用される。より明確には、光ファイバー140を通過する光が、手術器具120の形状を検出するため、及び、その情報を利用して外科手術手技を補助するために、追跡システム135によって処理される。追跡システム135は、器具120の形状を決定するために使用される光を生成及び検出するための検出システムを含んでもよい。この情報は、次に、手術器具の一部の速度及び加速度等、他の関連する変数を決定するために使用することができる。これらの変数のうち1つ又は複数の変数の正確な測定値をリアルタイムで得ることによって、コントローラは、ロボット手術システムの精度を改善する、及び、構成要素部品を駆動させることにおいて導入されるエラーを補うことができる。感知は、ロボットシステムによって作動される自由度のみに限定されてもよく、又は、(例えば、接合間の未作動の堅い部材の曲げ等)受動自由度にも、(例えば、作動された器具の動き等)能動自由度にも適用されてもよい。
追跡システム135からの情報は、ナビゲーションシステム142に送られてもよく、そこで、可視化システム110からの情報及び/又は手術前に撮られた画像と組み合わされて、器具120の制御において使用するために、表示システム111上でリアルタイムの位置情報を外科医又は他のオペレータに提供する。制御システム116は、器具120を置くためのフィードバックとしてその位置情報を利用してもよい。手術器具を手術画像に位置合わせする及びそれを表示するために光ファイバーセンサを使用するための種々のシステムが、全内容を本願に援用する“Medical System Providing Dynamic Registration of a Model of an Anatomical Structure for Image−Guided Surgery”を開示している2011年5月13日に出願した米国特許出願第13/107,562号において提供されている。
図2の実施形態において、器具104は、ロボット手術システム100内で遠隔操作される。別の実施形態において、マニピュレーターアセンブリは、直接のオペレータ制御と交換されてもよい。直接の操作の別の手段において、種々のハンドル及びオペレータインターフェースを、器具のハンドヘルドの操作のために含ませてもよい。
図3aは、可撓性の器具120等、可撓性の器具の器具の画像154に位置合わせされた、肺の外からの視点からのヒトの肺152の画像151を含む合成画像150を描いている。肺152の画像151は、手術前に記録された画像から生成されてもよく、又は、外科手術手技の間に同時に生成されてもよい。合成画像150は、表示システム111を介して表示されてもよい。器具120が、肺152の気管支通路156を通って進められるに従い、追跡システム135及び/又は可視化システム110からの情報が使用され、肺の画像151に器具の画像154を位置合わせする。肺152の画像151は、例えば、吸気又は呼気の状態の肺を描くために変わってもよい。器具の画像154は、気管支通路156を通った器具120の前進又は後退を描くために変わってもよい。時折、合成画像150は、器具の画像の一部154´が気管支通路の外側にあるように、器具の画像154を誤ってレンダリングしてもよい。器具が気管支通路内に置かれるように器具の画像を正すためのシステム及び方法が以下に記載される。
図3bは、器具120の視点からの肺の領域を描いた、ヒトの肺152の内部画像160を描いている。画像160は、肺152の描写された部分に置かれながら器具120によって外科手術手技の間に撮られた同時発生の画像であってもよい。より明確には、画像は、可視化システム110によってキャプチャされてもよい。或いは、画像160は、追跡システム135によって決定された器具120の先端の位置に基づき選択される手術前に記録された画像であってもよい。
多くは、EMセンサシステム136及び形状センサシステム138を含む追跡システム135が、解剖学的通路の外側にある器具120の器具の先端126若しくは1つ又は複数のセグメント137に対する位置を計算してもよい。これはおそらく、(解剖学的通路の壁は破られていないと仮定して)わずかな測定エラーを示す。そのようなエラーは、肺又は心臓等の特定の解剖学的構造体の動的な性質から生じ得る。例えば、吸息及び呼息は、肺の気管支通路の位置及びサイズを変える。或いは、エラーは、解剖学的通路内の手術器具の存在によって引き起こされる組織の変形から生じ得る。器具の画像及び患者の解剖学的形態の画像が共に位置合わせされる及び表示される場合に、器具の位置を正すために、及び、通路内の器具の1つ又は複数のポイントを正確に突き止めるために、選択された器具のポイントは、解剖学的通路の壁上の位置まで、又は、解剖学的通路の管腔まで動かされるか若しくはグラフィカルに位置合わせされてもよい。
一実施形態において、器具上のポイントを解剖学的通路まで動かすことは、記憶された解剖学的通路の画像をモデリングすることによって始められる。図4は、手術前の画像においてキャプチャされた肺の気管支構造体202の一部の三次元モデル200である。気管支構造体202は、別々の気管支通路204乃至216を含む。気管支通路204乃至216を通る一連の中心点が、解剖学的中心線218を形成している。画像200は、複数の手術前画像から形成された合成画像であってもよい。図5は、気管支通路204乃至216を表す円筒形の連鎖要素304乃至316の三次元の連結された構造体302の実例300である。以下において詳細に説明されるように、連結した円筒形の連鎖要素304乃至316は、解剖学的中心線218から決定される。連結された円筒構造体302として気管支構造体202を表すことによって、器具のポイントの位置が突き止められる特定の気管支通路を決定するための探索空間が減らされ得る。枝分かれした解剖学的通路を参照することが多くあるけれども、本願のシステム及び実施形態は、一連のつなげられた円筒として単一の通路をモデリングすることにも適用可能である。これは、通路が、その長手方向に沿って曲がっているか又はその直径が変わっている場合に特に有用であり得る。
図6は、円筒形の連鎖要素304の実例である。円筒形の連鎖要素304は、解剖学的中心線218の枝320に周りに形成される。枝320は、枝の両端に基点BP0及び基点BP1を含む。円筒の中心線322は、基点BP0と基点BP1との間の最短距離にわたっている。円筒形の連鎖要素304の全体の半径Rは、半径Rと半径Rとの組み合わされた長さであり得る。半径Rは、解剖学的中心線218と円筒の中心線322との最大偏差である。従って、中心線間の偏差が大きいほど、全体の円筒半径の近似値も大きい。半径Rは、例えばモデル200から得られた気管支通路204の平均半径である。一実施形態において、円筒形の連鎖要素304は、球面形状の末端324、326を含み得る。重複する球面形状の末端324、326は、連鎖要素304をモデリングすることと付随するコンピュータ計算の義務を単純にすることができ、さらに、理解しやすい「接合」要素に隣接する連鎖要素を提供することができる。しかし、種々の他の実施形態において、円筒形の連鎖要素304は、(例えば、平ら、角度のついた、切子面のついた、又は、いかなる他のモデリング構成等)いかなる構成の末端も有し得る。
種々の他の実施形態において、全体の半径Rは種々の別の様式において、枝320に対する所望のレベルの描写を提供するように定めることができるということに留意されたい。例えば、いくつかの実施形態において、全体の半径Rは単純に、気管支通路204の平均半径(すなわち半径R2)、気管支通路204の最大半径、又は、気管支通路204のいかなる他の適切な特徴と同等であり得る。他の実施形態において、半径R(又は、円筒形の連鎖要素304に沿った所定の「バッファ」距離若しくは可変半径等、いかなる他の調整係数)を、上記の気管支通路に関連する半径のいずれにも加えることができる。
図7は、器具154の三次元のポイントPを気管支通路まで動かすための方法を例示した流れ図400である。この方法は、例えば図3aにおいて示されているように、形状センサ及び/又はEMセンサからの情報を含む追跡システム情報が、ポイントPを含む器具の一部を気管支通路の外側に置く場合に、ポイントPでの器具の画像を正すために使用してもよい。最初に、連結した解剖学的構造体が、記憶される患者の解剖学的形態の画像において同定される。連結した解剖学的構造体は、枝分かれした解剖学的通路を含み、各通路は、少なくとも1つの他の通路に連結している。複数の円筒形の連鎖要素が、上記の連結した解剖学的構造体を表すために生成される。
ステップ402にて、ポイントPが同定されて、気管支通路まで動かされる。ポイントPは、気管支通路の外側の位置まで追跡されてきた気管支器具上のポイントとして同定されてもよい。いくつかの実施形態において、ポイントPは、気管支器具の遠位の先端であってもよいが、別の実施形態において、ポイントPは、気管支通路内の器具に沿ったいかなるポイントであってもよい。ステップ404にて、ポイントPに対する円筒形の連鎖要素304乃至316の最も近いものが同定される。例えば、ポイントPと各円筒形の連鎖要素304乃至316との距離を決定するために、円筒形の連鎖要素に対するポイントPの一般的な位置が第一に決定される。計算されることになる距離は、ポイントPと、基点BP0及びBP1を含むそれぞれの要素の円筒の中心線上の最も近いポイントとの距離であるため、円筒形の連鎖要素のそれぞれに対するポイントPの一般的な位置が考慮される。
図8を参考にすると、ポイントPは、円筒形の連鎖要素304に対する3つの位置のうち1つにあってもよい。第一に、ポイントPは、BP0付近の領域A内のPであり得る。第二に、ポイントPは、BP0とBP1との間の領域B内のPであり得る。第三に、ポイントPは、BP1付近の領域C内のPであり得る。ポイントPが置かれている領域を決定するために、BP0からBP1までの単位座標ベクトルVと、BP0からPまでのベクトルとの内積が計算される。内積がゼロ未満である場合、Pは、BP0に最も近い(領域A)。内積が、BP0からBP1までである場合、Pは、BP1により近い(領域C)。内積がそうでなければ、Pは、BP0からBP1までの中間点のどこかにある。円筒形の連鎖要素304に対するポイントPの位置が決定された後、Pから中心線322上の最も近いポイントまでの距離が計算される。このポイントPの位置及び距離の決定は、円筒形の連鎖要素304乃至316のそれぞれに対して行われる。Pへの最短距離を有した円筒形の連鎖要素304乃至316が、最も近い円筒形の連鎖要素と考慮される。さらなる処理が、これらの最も近い円筒形の連鎖要素に対してのみ行われる。一実施形態において、最も近い5つの円筒形の連鎖要素が選ばれてもよいが、他の実施形態において、より多く又はより少ない要素が適し得る。
ステップ406にて、ポイントPに最も近い円筒形の連鎖要素に対して、最も近い円筒形の連鎖要素のそれぞれに対する解剖学的中心線上の最も近いポイントを同定するために探索が行われる。解剖学的中心線上の最も近いポイントが、最も近い円筒形の連鎖要素のそれぞれに対して決定された後、最も近い総括解剖学的中心線ポイントPを有した円筒形の連鎖要素が選ばれる。
ステップ408にて、及び、図9を参考にして、最も近い円筒形の連鎖要素の解剖学的中心線に沿った最終ポイントPが決定される。より明確には、リファインメント計算(refinement calculation)が行われて、最終ポイントPが、2つの中心線ポイントPとPi+1との間、又は、PiとPi−1との間にあるかどうかが決定される。最終ポイントPが決定された後で、ポイントPは、Pの気管支通路の直径とほぼ等しい半径を有するPの周りの球体と交わるまで、Pに向かう直線に沿って映し出される。ポイントPは、ポイントPが動かされる気管支通路の壁上の位置を表している。ステップ410にて、ポイントPは、円筒形の連鎖要素の外側又は円筒形の連鎖要素の内側にあるかどうか決定するために評価される。ポイントPが円筒形の連鎖要素の内側にある場合、ステップ412にて、器具の画像上のレンダリングされたポイントPの画像が、共に位置合わせされた肺の画像上の気管支通路内に維持される。ポイントPが円筒形の連鎖要素の外側にある場合、ステップ414にて、器具の画像上のレンダリングされたポイントPの画像が、PとPとの間の映し出されたもの(projection)に沿ってポイントPまで調整又は動かされ、ポイントPにて、その映し出されたものは気管支通路の壁と交わる。ステップ416にて、訂正された器具の画像154と位置合わせされた、ヒトの肺152の画像151を描く訂正された合成画像150が用意される。訂正された画像において、ポイントPは、気管支壁の外側に延びるのではなく気管支通路まで動かされている。
上記のシステム及び方法は、気管支通路の壁に沿った各ポイントにて、又は、気管支通路の中心線に沿った各ポイントにて包括的に考慮することによって、正しい気管支通路までポイントPを直接動かすことを試みる「力ずくの」方法と比較して、時間を短縮する及びコンピュータ処理資源の保全をすることができる。例えば、本開示の方法を用いた動かす処理に対する時間は、力づくの方法に対する210μsと比較して、約35μsであってもよい。
可撓性の器具の少なくとも一部の画像を、解剖学的システムの画像に位置合わせするための別のシステム及び方法が、全内容を本願に援用する“Systems and Methods for Deformation Compensation Using Shape Sensing”を開示している米国特許出願第(参照番号ISRG04300)、及び、“Systems and Methods for Registration of a Medical Device Using Rapid Pose Search”を開示している米国特許出願第(参照番号ISRG03740)において開示されている。参照システム及び方法によって具体化されるこれらの態様は上記のシステム及び方法と共に使用して、可撓性の器具の少なくとも一部の画像を、解剖学的システムの画像に正確に位置合わせする別の方法を提供してもよい。
レジストレーションシステム及び方法が、遠隔操作又は手動の外科手術システムに関して本明細書において記載されてきたけれども、これらのレジストレーションシステム及び方法は、種々の医療器具及び医療以外の器具において応用されることになり、さもなければ、それらの種々の医療器具及び医療以外の器具において、正確な器具の画像レジストレーションは、時間がかかり過ぎるか、又は、多量のコンピュータ処理を要する。
本開示のシステム及び方法は、肺の連結した気管支通路において使用するために例示されてきたけれども、大腸、腸管、腎臓、脳、心臓又は循環器系等を含む種々の解剖学的システムのいずれにおける自然の又は外科的に作られた連結した通路を介した他の組織のナビゲーション及び処置にも適している。本開示の方法及び実施形態は、非外科的適用にも適している。
本発明の実施形態における1つ又は複数の要素は、制御システム116等のコンピュータシステムのプロセッサ上で行うようにソフトウェアにおいて実行されてもよい。ソフトウェアにおいて実行される場合、本発明の実施形態の要素は、本質的に、必要なタスクを行うコードセグメントである。プログラム又はコードセグメントは、プロセッサ可読記憶媒体又は装置において記憶することができ、伝送媒体又は通信リンクにわたる搬送波で表されるコンピュータデータシグナルとしてダウンロードされてもよい。プロセッサ可読記憶装置は、光媒体、半導体媒体及び磁気媒体を含む、情報を記憶することができるいかなる媒体を含んでもよい。プロセッサ可読記憶装置の例として、電子回路、半導体素子、半導体メモリ素子、読取り専用メモリ(ROM)、フラッシュメモリ、消去プログラム可能読取り専用メモリ(EPROM)、フロッピー(登録商標)ディスケット、CD−ROM、光ディスク、ハードディスク又は他の記憶装置が挙げられる。コードセグメントは、インターネット、イントラネット等のコンピュータネットワークを介してダウンロードされてもよい。
示された処理及び表示は、いかなる特定のコンピュータ又は他の装置にも本質的には関連しないということに留意されたい。種々の汎用システムを、本明細書における教示によるプログラムと共に使用することができるか、又は、記載される動作を行うためにより専門の装置を構成するのに便利であると証明することができる。種々のこれらのシステムに対する要求される構造は、特許請求の範囲における要素として明らかになる。加えて、本発明の実施形態は、いかなる特定のプログラム言語を参考にしても記載されない。種々のプログラム言語を使用して、本明細書において記載される本発明の教示を実行してもよいということが正しく理解されることになる。
本発明の特定の例証的な実施形態が記載され、さらに、付随の図面において示されてきたけれども、そのような実施形態は単に広義の発明を例示したものであって、その広義の発明を限定するのではないということ、及び、本発明の実施形態は、種々の他の修正が当業者に対して生じ得るため、示され且つ記載される特定の構造及び配置に限定されないということが理解されることになる。
上記の実施形態は円筒形の連鎖を使用して解剖学的構造体をモデリングするけれども、当業者は、本発明の真意から逸脱することなく、明確な表面を有したさらなる境界表面連鎖をどのようにして使用するのか知っている。例えば、楕円体の、双曲的な、回転楕円体の連鎖を使用することができる。一般に、境界エンベロープタイプの明確な表面を、上記の実施形態のいずれに対しても使用することができる。

Claims (20)

  1. 記憶される患者の解剖学的形態の画像における連結した解剖学的構造体を同定するステップ、
    前記連結した解剖学的構造体を表す複数の連鎖要素を生成するステップであって、各連鎖要素は、前記連結した解剖学的構造に関連した解剖学的中心線の周りに形成された境界面を含む、生成するステップと、
    前記連結した解剖学的構造体のうち少なくとも1つの構造体内に置かれた器具上のポイントに対応する追跡データを受信するステップ、及び
    前記器具上のポイントを、前記複数の連鎖要素のうちの1つにマッチさせるステップ、を含み、
    前記器具上のポイントを、前記複数の連鎖要素のうちの1つにマッチさせるステップが、前記器具上のポイントの位置座標に最も近い前記複数の連鎖要素の組を決定するステップを含み、且つ前記組における各連鎖要素に対して、前記器具上のポイントと前記連鎖要素の解剖学的中心線との距離を決定するステップをさらに含む、
    方法。
  2. 前記記憶される患者の解剖学的形態の画像を作成するために、コンピュータメモリ装置内に手術前の医療画像を受けるステップ、
    をさらに含む、請求項1に記載の方法。
  3. 前記連結した解剖学的構造体は肺の気道を含む、請求項1に記載の方法。
  4. 前記組における最も近い連鎖要素を同定するステップをさらに含む、請求項に記載の方法。
  5. 前記最も近い連鎖要素の解剖学的中心線まで、前記器具上のポイントを映し出すステップをさらに含む、請求項に記載の方法。
  6. 前記解剖学的中心線から半径の距離にて、前記映し出されたものに沿ったスナッピングポイントを同定するステップをさらに含む、請求項に記載の方法。
  7. 前記器具上のポイントが、前記最も近い連鎖要素を通る前記解剖学的中心線の2つの基点のうちの1つに最も近いか、又は、前記2つの基点間の中間点に最も近いかどうかを決定するステップをさらに含む、請求項に記載の方法。
  8. 可撓性の器具であって、該器具上のポイントに対する追跡データを提供するように適応されたセンサを含む器具、
    患者の解剖学的形態の画像を記憶するメモリ、及び、
    前記記憶される患者の解剖学的形態の画像における連結した解剖学的構造体を同定し、
    前記連結した解剖学的構造体を表す複数の連鎖要素を生成することであって、各連鎖要素は、前記連結した解剖学的構造に関連した解剖学的中心線の周りに形成された境界面を含む、生成し、
    前記連結した解剖学的構造体のうち少なくとも1つの構造体内に置かれた前記器具上のポイントに対応する前記追跡データを受信し、さらに、
    前記器具上のポイントを、前記複数の連鎖要素のうちの1つにマッチさせる、
    ように構成されるプロセッサ、を含み、
    前記プロセッサは、前記器具上のポイントの位置座標に最も近い前記複数の連鎖要素の組を決定することによって、前記器具上のポイントを、前記複数の連鎖要素のうちの1つにマッチさせるよう構成され、且つ前記組における各連鎖要素に対して、前記器具上のポイントと前記連鎖要素の解剖学的中心線との距離を決定するようさらに構成される、
    医療システム。
  9. 前記記憶される患者の解剖学的形態の画像が、手術前に記録される医療画像を含む、請求項に記載の医療システム。
  10. 前記連結した解剖学的構造体が肺の気道を含む、請求項に記載の医療システム。
  11. 前記プロセッサが、前記組における最も近い連鎖要素を同定するようさらに構成される、請求項に記載の医療システム。
  12. 前記プロセッサが、前記最も近い連鎖要素の解剖学的中心線まで前記器具上のポイントを映し出すようさらに構成される、請求項11に記載の医療システム。
  13. 前記プロセッサが、前記解剖学的中心線から半径の距離にて、前記映し出されたものに沿ったスナッピングポイントを同定するようさらに構成される、請求項12に記載の医療システム。
  14. 前記プロセッサは、前記器具上のポイントが、前記最も近い連鎖要素を通る前記解剖学的中心線の2つの基点のうちの1つに最も近いか、又は、前記2つの基点間の中間点に最も近いかどうかを決定するようさらに構成される、請求項12に記載の医療システム。
  15. 前記プロセッサが、前記連結した解剖学的構造体の画像と、前記患者の解剖学的形態内の前記器具上のポイントの画像とを含む合成画像を生成するようさらに構成される、請求項に記載の医療システム。
  16. 患者の解剖学的形態の一組の連結した通路の画像を生成するステップであって、各通路は、前記患者の解剖学的形態の連結した通路に関連した解剖学的中心線の周りに形成された境界面を含む、生成するステップ、
    器具上のポイントに対する位置情報を受信するステップであって、前記情報が、前記連結した通路に対する前記ポイントの位置を示す、ステップ、
    前記ポイントに対する調整された位置情報を生成するステップであって、前記患者の解剖学的形態の一組の連結した通路を、連鎖した境界表面の要素の構造体としてモデリング
    することを含む、ステップ、
    前記調整された位置情報を用いて、調整された器具の画像を作成するステップ、及び、
    前記一組の連結した通路の画像と前記調整された器具の画像とを含む合成画像を生成するステップ、を含み、
    前記ポイントに対する調整された位置情報を生成するステップが、複数の連鎖された境界表面の要素の構造体における最も近い連鎖された境界表面の要素を同定することを含み、且つ前記器具上のポイントと前記同定された境界面の要素の解剖学的中心線との距離を決定することをさらに含む、
    方法。
  17. 前記一組の連結した通路の画像を生成するステップが、コンピュータメモリ装置内に手術前の医療画像を受けることを含む、請求項16に記載の方法。
  18. 前記器具上のポイントに対する位置情報を受信するステップが、前記患者の解剖学的形態の連結した通路の1つの外側に前記器具上のポイントを置いている位置情報を受信することを含む、請求項16に記載の方法。
  19. 前記器具上のポイントに対する位置情報を受信するステップが、前記連結した通路の1つにおいて前記器具上のポイントを置いている位置情報を受信することを含む、請求項16に記載の方法。
  20. 前記ポイントに対する調整された位置情報を生成するステップが、前記ポイントに対する位置情報を、前記最も近い連鎖された境界表面の要素の壁上の位置に変えることをさらに含む、請求項16に記載の方法。
JP2015512720A 2012-05-14 2013-05-13 制限された探索空間を使用した医療装置のレジストレーションのためのシステム及び方法 Active JP6386998B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261646654P 2012-05-14 2012-05-14
US61/646,654 2012-05-14
PCT/US2013/040775 WO2013173227A1 (en) 2012-05-14 2013-05-13 Systems and methods for registration of a medical device using a reduced search space
US13/892,871 US10299698B2 (en) 2012-05-14 2013-05-13 Systems and methods for registration of a medical device using a reduced search space
US13/892,871 2013-05-13

Publications (2)

Publication Number Publication Date
JP2015519130A JP2015519130A (ja) 2015-07-09
JP6386998B2 true JP6386998B2 (ja) 2018-09-05

Family

ID=49549153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015512720A Active JP6386998B2 (ja) 2012-05-14 2013-05-13 制限された探索空間を使用した医療装置のレジストレーションのためのシステム及び方法

Country Status (6)

Country Link
US (6) US10154800B2 (ja)
EP (2) EP2849670B1 (ja)
JP (1) JP6386998B2 (ja)
KR (1) KR102214145B1 (ja)
CN (2) CN109452930B (ja)
WO (1) WO2013173227A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
JP6386998B2 (ja) 2012-05-14 2018-09-05 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 制限された探索空間を使用した医療装置のレジストレーションのためのシステム及び方法
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
WO2013173229A1 (en) 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for deformation compensation using shape sensing
US20140267330A1 (en) * 2013-03-14 2014-09-18 Volcano Corporation Systems and methods for managing medical image data for multiple users
US9592095B2 (en) 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
CN105939647B (zh) * 2013-10-24 2020-01-21 奥瑞斯健康公司 机器人辅助腔内外科手术***及相关方法
JP6431678B2 (ja) * 2014-03-20 2018-11-28 オリンパス株式会社 挿入形状検出装置
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9974525B2 (en) 2014-10-31 2018-05-22 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
EP3037056B1 (en) 2014-12-23 2021-04-21 Stryker European Holdings I, LLC System for reconstructing a trajectory of an optical fiber
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US9652862B1 (en) * 2015-10-23 2017-05-16 Wisconsin Alumni Research Foundation System and method for dynamic device tracking using medical imaging systems
US10827930B2 (en) * 2016-02-26 2020-11-10 Niramai Health Analytix Pvt Ltd Privacy booth for breast cancer screening
US20180049808A1 (en) * 2016-08-17 2018-02-22 Covidien Lp Method of using soft point features to predict breathing cycles and improve end registration
AU2017340607B2 (en) * 2016-10-05 2022-10-27 Nuvasive, Inc. Surgical navigation system and related methods
CN110167477B (zh) * 2017-02-01 2023-12-29 直观外科手术操作公司 图像引导手术的配准***和方法
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
JP6745748B2 (ja) * 2017-03-16 2020-08-26 富士フイルム株式会社 内視鏡位置特定装置、その作動方法およびプログラム
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US10893843B2 (en) 2017-10-10 2021-01-19 Covidien Lp System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
US11116420B2 (en) 2017-12-26 2021-09-14 Biosense Webster (Israel) Ltd. Monitoring distance to selected anatomical structures during a procedure
WO2019134898A1 (en) 2018-01-02 2019-07-11 Koninklijke Philips N.V. Animated position display of an oss interventional device
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US11373330B2 (en) * 2018-03-27 2022-06-28 Siemens Healthcare Gmbh Image-based guidance for device path planning based on penalty function values and distances between ROI centerline and backprojected instrument centerline
WO2019222395A1 (en) * 2018-05-16 2019-11-21 Intuitive Surgical Operations, Inc. System and method for hybrid control using eye tracking
WO2019231891A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Path-based navigation of tubular networks
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US10973579B2 (en) 2018-12-28 2021-04-13 Industrial Technology Research Institute Optical system
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
CN111685895B (zh) * 2019-10-29 2021-07-20 成都博恩思医学机器人有限公司 一种手术机器人的手术器械类型自动识别***
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
WO2022146996A1 (en) * 2020-12-30 2022-07-07 Intuitive Surgical Operations, Inc. Systems for updating a graphical user interface based upon intraoperative imaging
US20230053189A1 (en) * 2021-08-11 2023-02-16 Terumo Cardiovascular Systems Corporation Augmented-reality endoscopic vessel harvesting
WO2023183806A1 (en) * 2022-03-24 2023-09-28 Intuitive Surgical Operations, Inc. Systems for planning and providing navigation guidance for anatomic lumen treatment

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
WO1998036236A1 (en) 1997-02-13 1998-08-20 Super Dimension Ltd. Six-degree tracking system
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
DE10117751A1 (de) 2001-04-09 2002-11-21 Siemens Ag Modellierung von Momentanzuständen medizinischer Objekte in Abhängigkeit von zumindest einer Messgröße
EP2380487B1 (en) * 2002-04-17 2021-03-31 Covidien LP Endoscope structures for navigating to a target in branched structure
JP4009639B2 (ja) * 2002-07-31 2007-11-21 オリンパス株式会社 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム
US6892090B2 (en) 2002-08-19 2005-05-10 Surgical Navigation Technologies, Inc. Method and apparatus for virtual endoscopy
WO2005000101A2 (en) 2003-06-12 2005-01-06 University Of Utah Research Foundation Apparatus, systems and methods for diagnosing carpal tunnel syndrome
US7822461B2 (en) * 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
JP4022192B2 (ja) * 2003-10-31 2007-12-12 オリンパス株式会社 挿入支援システム
WO2005055496A2 (en) * 2003-11-26 2005-06-16 Viatronix Incorporated System and method for optimization of vessel centerlines
WO2005058137A2 (en) * 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
US20070142749A1 (en) 2004-03-04 2007-06-21 Oussama Khatib Apparatus for medical and/or simulation procedures
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
DE102004043695B4 (de) * 2004-09-09 2006-09-28 Siemens Ag Verfahren zur einfachen geometrischen Visualisierung tubulärer anatomischer Strukturen
US7912260B2 (en) 2004-11-29 2011-03-22 Koninklijke Philips Electronics N. V. Multi-component vessel segmentation
EP1832223B1 (en) 2004-12-27 2017-10-25 Olympus Corporation Medical image processing apparatus, and medical image processing method
US8611983B2 (en) 2005-01-18 2013-12-17 Philips Electronics Ltd Method and apparatus for guiding an instrument to a target in the lung
EP1851720B1 (en) * 2005-02-11 2009-07-29 Koninklijke Philips Electronics N.V. Method of automatic extraction of the pulmonary artery tree from 3d medical images
US7646903B2 (en) 2005-06-22 2010-01-12 Siemens Medical Solutions Usa, Inc. System and method for path based tree matching
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
JP4822142B2 (ja) * 2006-05-02 2011-11-24 国立大学法人名古屋大学 内視鏡挿入支援システム及び内視鏡挿入支援方法
US8270693B2 (en) 2007-04-03 2012-09-18 M2S Anatomical visualization and measurement system
EP2193499B1 (en) * 2007-10-01 2016-07-20 Koninklijke Philips N.V. Detection and tracking of interventional tools
US20110093243A1 (en) 2007-11-14 2011-04-21 Tawhai Merryn H Method for multi-scale meshing of branching biological structures
US10388066B2 (en) * 2008-02-12 2019-08-20 Covidien Lp Controlled perspective guidance method
US8219179B2 (en) * 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US8270694B2 (en) 2008-04-23 2012-09-18 Aditya Koolwal Systems, methods and devices for correlating reference locations using image data
JP5372407B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US20120069167A1 (en) * 2009-05-18 2012-03-22 Koninklijke Philips Electronics N.V. Marker-free tracking registration and calibration for em-tracked endoscopic system
US8675940B2 (en) * 2009-10-27 2014-03-18 Siemens Aktiengesellschaft Generation of moving vascular models and blood flow analysis from moving vascular models and phase contrast MRI
US20110184238A1 (en) * 2010-01-28 2011-07-28 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
CN102740755B (zh) * 2010-02-22 2015-04-22 奥林巴斯医疗株式会社 医疗设备
US8526699B2 (en) * 2010-03-12 2013-09-03 Siemens Aktiengesellschaft Method and system for automatic detection and classification of coronary stenoses in cardiac CT volumes
EP2599033B1 (en) 2010-07-29 2021-03-31 Sync-RX, Ltd. Co-use of endoluminal data and extraluminal imaging
US9615886B2 (en) 2010-09-15 2017-04-11 Koninklijke Philips N.V. Robotic control of an endoscope from blood vessel tree images
US8764683B2 (en) * 2010-12-29 2014-07-01 Mediguide Ltd. Medical device guidewire with a position sensor
US8827934B2 (en) 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
WO2013029644A1 (en) 2011-08-26 2013-03-07 Brainlab Ag Method or determining the shape of a surgical instrument and surgical instrument having a deformable body
CN102949240B (zh) * 2011-08-26 2014-11-26 高欣 一种影像导航肺部介入手术***
US8948487B2 (en) 2011-09-28 2015-02-03 Siemens Aktiengesellschaft Non-rigid 2D/3D registration of coronary artery models with live fluoroscopy images
WO2013173229A1 (en) 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for deformation compensation using shape sensing
WO2013173234A1 (en) 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for registration of a medical device using rapid pose search
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
JP6386998B2 (ja) 2012-05-14 2018-09-05 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 制限された探索空間を使用した医療装置のレジストレーションのためのシステム及び方法
EP2983578B1 (en) * 2013-04-12 2018-09-26 Koninklijke Philips N.V. Shape sensed ultrasound probe for fractional flow reserve simulation
US11471082B2 (en) 2017-12-13 2022-10-18 Medtronic Minimed, Inc. Complex redundancy in continuous glucose monitoring

Also Published As

Publication number Publication date
US20130303894A1 (en) 2013-11-14
WO2013173227A1 (en) 2013-11-21
US20220151508A1 (en) 2022-05-19
EP2849670A4 (en) 2016-08-17
US11266327B2 (en) 2022-03-08
US20240049980A1 (en) 2024-02-15
CN104302241B (zh) 2018-10-23
US11737682B2 (en) 2023-08-29
KR102214145B1 (ko) 2021-02-09
CN104302241A (zh) 2015-01-21
US20190175060A1 (en) 2019-06-13
EP2849670B1 (en) 2019-03-27
US11375919B2 (en) 2022-07-05
KR20150017326A (ko) 2015-02-16
CN109452930B (zh) 2021-10-29
EP3524184B1 (en) 2021-02-24
CN109452930A (zh) 2019-03-12
EP2849670A1 (en) 2015-03-25
US10299698B2 (en) 2019-05-28
US20190320937A1 (en) 2019-10-24
US20130303890A1 (en) 2013-11-14
US10154800B2 (en) 2018-12-18
JP2015519130A (ja) 2015-07-09
EP3524184A1 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
US11737682B2 (en) Systems and methods for registration of a medical device using a reduced search space
JP6666379B2 (ja) 形状センシングを使用した変形補償のためのシステム及び方法
JP6976303B2 (ja) 介入器具を追跡するための形状センサーシステム及びこのシステムの使用方法
US11607107B2 (en) Systems and methods for medical instrument force sensing
US10376178B2 (en) Systems and methods for registration of a medical device using rapid pose search
KR102301021B1 (ko) 다중 비전 시스템의 정합을 위한 시스템 및 방법
KR20210156301A (ko) 중재 도구의 가상 항행을 위한 조직의 비강체 변형을 위한 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180619

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180810

R150 Certificate of patent or registration of utility model

Ref document number: 6386998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250