JP2018521774A - ボリュームイメージの対話型平面スライスからの内視鏡誘導 - Google Patents

ボリュームイメージの対話型平面スライスからの内視鏡誘導 Download PDF

Info

Publication number
JP2018521774A
JP2018521774A JP2018502666A JP2018502666A JP2018521774A JP 2018521774 A JP2018521774 A JP 2018521774A JP 2018502666 A JP2018502666 A JP 2018502666A JP 2018502666 A JP2018502666 A JP 2018502666A JP 2018521774 A JP2018521774 A JP 2018521774A
Authority
JP
Japan
Prior art keywords
endoscope
volume image
endoscopic
interactive
guidance controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018502666A
Other languages
English (en)
Other versions
JP6975131B2 (ja
JP2018521774A5 (ja
Inventor
アリエ レイブ レインステイン
アリエ レイブ レインステイン
アレクサンドラ ポポヴィッチ
アレクサンドラ ポポヴィッチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018521774A publication Critical patent/JP2018521774A/ja
Publication of JP2018521774A5 publication Critical patent/JP2018521774A5/ja
Application granted granted Critical
Publication of JP6975131B2 publication Critical patent/JP6975131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/30—Clipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡２０及び内視鏡誘導コントローラ３０を利用する内視鏡イメージングシステム１０である。動作時、内視鏡２０は、解剖学的領域内部の解剖学的構造の内視鏡ビデオ２３を生成する。内視鏡誘導コントローラ３０は、前記内視鏡ビデオ２３と、前記解剖学的領域のボリュームイメージ４４との位置合わせに応じて、前記ボリュームイメージ４４の１つ又は複数の対話型平面スライス３２を含む、グラフィックユーザインターフェイス３１とのユーザ対話５０を制御するとともに、前記グラフィックユーザインターフェイス３１との前記ユーザ対話５０に応じて、前記内視鏡誘導コントローラ３０は、前記ボリュームイメージ４４の前記対話型平面スライス３２から導出される解剖学的構造に対する、内視鏡２０の位置決めを制御する。ロボット式内視鏡イメージングシステム１１は、ロボット２３を内視鏡イメージングシステム１０に組み入れ、それによって内視鏡誘導コントローラ３０は、解剖学的構造に対する内視鏡２０の、ロボット２３による位置決めを制御する。

Description

本開示は、一般的には、対象者の解剖学的構造を含む解剖学的領域の内視鏡イメージングを使用する、低侵襲手術（ｍｉｎｉｍａｌｌｙ ｉｎｖａｓｉｖｅ ｐｒｏｃｅｄｕｒｅ）（例えば、心臓外科手術、腹腔鏡外科手術、自然開口部経管腔外科手術、単一切開腹腔鏡外科手術、肺／気管支鏡外科手術及び診断的介入）中の内視鏡の誘導に関する。本開示は、具体的には、解剖学的領域内部の解剖学的構造の内視鏡イメージングに位置合わせされた、解剖学的領域のボリュームイメージの対話型平面スライスとのユーザ対話に基づく、内視鏡誘導技法に関する。
低侵襲外科手術は、小さな孔を通して患者の体内に挿入される細長い器具を使用して行われる。これらの手術中の主要な可視化方法は、内視鏡イメージングである。ロボット誘導低侵襲外科手術においては、そのような器具の１つ又は複数が、ロボットデバイス、特に内視鏡によって保持されて制御される。
低侵襲外科手術チームを支援するために、視認可能な内視鏡ビューと、解剖学的領域の術前３次元（３Ｄ）イメージング（例えば、ＣＴ、Ｘ線又はＭＲＩモダリティ）との間で、イメージ位置合わせが達成される。術前３Ｄイメージングとライブ内視鏡ビデオ配信との位置合わせが完了した後には、術前イメージング座標系と内視鏡イメージング座標系との間の変換が分かる。
位置合わせが求められると、当該技術において知られているように、解剖学的領域の術前３Ｄイメージからセグメント化された解剖学的構造の診断的に関連する特徴のオーバーレイが、解剖学的領域の内視鏡ビデオの上に重ね合わせられて、外科手術チームに対して視覚的な支援を与える。通常、この重ね合わせを行うことができるためには、カメラ較正マトリックスが分かっている必要があり、これには、誤差を生じやすく、臨床現場においては実用的ではない較正手順が必要とされる。較正から、当該技術において知られているように、外科手術チームは、内視鏡を保持するロボットシステムを、内視鏡ビデオ内部のオーバーレイされた解剖学的構造上の選ばれた場所に向かって誘導して、関連する解剖学的特徴が内視鏡ビデオの中で隠されている場合でも、チームが内視鏡を誘導することを可能にする。較正の代替として、当該技術において知られているように、ロボットの運動を、ロボットの運動のリモートセンタによる非較正視覚サーボ制御を使用して誘導してもよい。
較正された、又は非較正の内視鏡に対して、当該技術において知られているように、ロボットシステムを術前３Ｄイメージングから直接的に誘導してもよい。例えば、外科手術チームが解剖学的領域の術前３Ｄイメージ上の点を選択すると、術前イメージング座標系と内視鏡イメージング座標系との位置合わせを使用して、ハイライトされた点がライブ内視鏡ビデオ上の関連する点に変換される。次いで、ロボットシステムが、当該技術において知られているように、その点に向かって内視鏡を誘導する。
低侵襲手術中に、前述した内視鏡の既知の誘導について生じることのある、いくつかの問題がある。
第１に、術前３Ｄイメージからセグメント化された解剖学的構造の特徴は、解剖学的構造の所望の視点を選択するために経路誘導して配向させるのが、それ単独だけでは困難である（例えば、心臓の術前３Ｄイメージからの動脈樹セグメントは、心臓の所望の視点を選択するために、経路誘導して配向させるのが難しい）。さらに、解剖学的特徴のセグメント化が不十分であれば、解剖学的構造は、経路誘導することがさらに困難になる。
第２に、外科手術チームは、３Ｄボリューム自体とは反対に、術前３Ｄイメージのスライス（例えば、軸方向、冠状（ｃｏｒｏｎａｌ）、及び矢状（ｓａｇｉｔｔａｌ）のイメージスライス）を分析して経路誘導することの方により慣れていることがある。
第３に、セグメント化された術前イメージの通常の３Ｄ可視化によると、外科手術チームは、セグメント化された解剖学的構造の表面特徴を見ることだけが可能となり、したがって、外科手術チームが、術前３Ｄイメージ内部に示される解剖学的構造の内部特徴に基づいて、ロボットシステムを経路誘導することはできない。
本開示は、外科手術チームが、対話型平面スライスを操作して、解剖学的領域（例えば、臓器）内部の関心のある解剖学的構造の内部又は外部の関心部位を見つけて、ハイライトされた関心部位に向くように内視鏡を手動式又はロボット式で誘導することができる、解剖学的領域のボリュームイメージの対話型平面スライスを表示する発明を提供する。より具体的には、本開示の発明は、ライブ内視鏡ビデオ配信において、及び／又は３Ｄボリュームデータにおいてさえ視認できない解剖学的構造の関心点をユーザが選択することを容易化して、解剖学的領域内部のその関心点に向かって手動式又はロボット式で内視鏡を経路誘導する。
本開示の発明の一形態は、内視鏡と内視鏡誘導コントローラとを使用する、内視鏡イメージングシステムである。構造的設計によって、内視鏡は、解剖学的領域内部の解剖学的構造の内視鏡ビデオを生成することができる。内視鏡誘導コントローラは、内視鏡ビデオと解剖学的領域のボリュームイメージとの位置合わせに応じて、ボリュームイメージの１つ又は複数の対話型平面スライスを含む、グラフィックユーザインターフェイスとのユーザ対話を制御することができる。グラフィックユーザインターフェイスとのユーザの対話に応じて、内視鏡誘導コントローラはさらに、ボリュームイメージの対話型平面スライスから導出される解剖学的構造に対する内視鏡の位置決めを制御することができる。
本開示の発明の第２の形態は、内視鏡イメージングシステム中にロボットを組み入れた、ロボット式内視鏡イメージングシステムである。具体的には、グラフィックユーザインターフェイスとのユーザの対話に応じて、内視鏡誘導コントローラは、ボリュームイメージの対話型平面スライスから導出される解剖学的構造に対する内視鏡の、ロボットによる位置決めを制御することができる。
本開示の発明の目的では、「内視鏡」という用語は、本開示の技術において理解され、本明細書において例示的に記述されるような、体内からのイメージングを行う能力を備えて構造的に構成された、任意のデバイスを広義に包含する。内視鏡の例としては、これらに限定はされないが、可撓性又は剛性の、任意の種類のスコープ（例えば、内視鏡、関節鏡、気管支鏡、胆管内視鏡、大腸内視鏡、膀胱鏡、十二指腸鏡、胃鏡、子宮鏡、腹腔鏡、喉頭鏡、神経鏡、耳鏡、プッシュ腸鏡、鼻咽頭鏡、Ｓ字結腸鏡、上顎洞内視鏡、胸腔鏡、膣鏡、胸腔鏡、Ｓ状結腸鏡、神経内視鏡等）及びイメージシステムを装備するスコープに類似する任意のデバイスを挙げることができる。イメージングは局所的であり、表面イメージは、光ファイバ、レンズ、及び微細化された（例えば、ＣＣＤ式）イメージングシステム（例えば、腹腔鏡超音波）を用いて、光学的に取得される。
本開示の発明の目的では、「コントローラ」の用語は、引き続き以下に記述されるように、本開示の様々な発明原理の応用を制御するための、ワークステーションに収容されるか、又は連結された、特定用途メインボード又は特定用途集積回路のすべての構造的構成を広義に包含する。コントローラの構造的構成は、これらに限定はされないが、プロセッサ、コンピュータ使用可能／コンピュータ可読記憶媒体、オペレーティングシステム、アプリケーションモジュール、周辺デバイスコントローラ、スロット及びポートを含む。
ワークステーションの例としては、これらに限定はされないが、１つ又は複数のコンピューティングデバイス（例えば、クライアントコンピュータ、デスクトップ、及びタブレット）、ディスプレイ／モニタ、及び１つ又は複数の入力デバイス（例えば、キーボード、ジョイスティック、及びマウス）のアセンブリが挙げられる。
本開示の発明の目的では、「アプリケーションモジュール」という用語は、電子回路及び／又は実行可能プログラム（例えば、実行可能ソフトウェア及び／又はファームウェア）で構成されるコントローラの構成要素を広義に包含する。
本開示の発明の目的では、本明細書において「コントローラ」という用語に対して使用されている「内視鏡誘導」というラベルは、「コントローラ」という用語に対していかなる追加の限定を明示又は暗示することなく、本明細書に記載され特許請求されるようなコントローラを識別する役割を果たす。
本開示の発明の目的では、「ロボット」という用語は、特定の内視鏡手術に対して望ましい、エンドエフェクタを操作するために１つ又は複数のジョイントの動力化制御を備えて構造的に構成された任意のロボットデバイスを広義に包含する。ロボットの例としては、これらに限定はされないが、剛性セグメントによって直列に接続されたジョイントを有する直列ロボット、並列順に装着されたジョイントと剛性セグメントを有する並列ロボット（例えば、当該技術において知られている、スチュワートプラットフォーム（Ｓｔｅｗａｒｔ ｐｌａｔｆｏｒｍ））、又は直列キネマティクスと並列キネマティクスの任意の混成の組合せが挙げられる。
本開示の発明の目的では、「内視鏡ビデオ」という用語は、当該技術において知られている内視鏡によって生成される視覚イメージのストリームを広義に包含し、「ボリュームイメージ」という用語は、当該技術において知られている、任意の術前又は術中の３Ｄイメージデータ（例えば、ＣＴ、ＭＲＩ、又はＸ線）を広義に包含する。
本開示の発明の目的では、これらに限定はされないが、「位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）」、「表示」、「グラフィックユーザインターフェイス」、「ユーザ対話」、「ユーザナビゲーション」、「ユーザ選択」、及び「関心点」を含む技術用語は、本開示の技術において理解されるように、また本明細書において例示的に記述されるように解釈される。
本開示の発明の目的では、「対話型平面スライス（ｉｎｔｅｒａｃｔｉｖｅ ｐｌａｎａｒ ｓｌｉｃｅ）」という用語は、グラフィックユーザインターフェイスの対話型構成要素である、ボリュームイメージの平面イメージを広義に包含する。
本開示の発明の目的では、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」及び「導出される（ｄｅｒｉｖｅｄ）」という用語、並びにそれらの任意の単語時制は、本開示の技術において理解されるように、また本明細書において例示的に記述されるように解釈されるべきである。
本開示の発明の第３の形態は、内視鏡が解剖学的領域内部の解剖学的構造の内視鏡ビデオを生成するステップを含む、ロボット式内視鏡イメージング方法である。このロボット式内視鏡イメージング方法は、内視鏡誘導コントローラが、解剖学的領域の内視鏡ビデオとボリュームイメージとの位置合わせに応じて、ボリュームイメージの対話型平面スライスを含む、グラフィックユーザインターフェイスとのユーザ対話を制御するステップと、内視鏡誘導コントローラが、グラフィックユーザインターフェイスとのユーザ対話に応じて、ボリュームイメージの対話型平面スライスから導出される解剖学的構造に対する、内視鏡のロボットによる位置決めを制御するステップとをさらに含む。
本開示の前述の形態及びその他の形態に加えて、本開示の様々な特徴及び利点は、添付の図面と合わせて読まれる、本開示の様々な実施形態についての以下の詳細な説明から、さらに明白になるであろう。詳細な説明及び図面は、限定ではなく、本開示の単に説明であって、本開示の範囲は、添付の特許請求の範囲及びその均等物により定義される。
本開示の発明原理による、内視鏡イメージングシステムの例示的な実施形態を示す図である。 本開示の発明原理による、ロボット式内視鏡イメージングシステムの例示的な実施形態を示す図である。 本開示の発明原理による、図２に示されたロボット式内視鏡イメージングシステムの例示的な実施形態を使用する、低侵襲心臓手術を示す図である。 本開示の発明原理による、内視鏡イメージング方法の例示的な実施形態を表わす、フローチャートである。 本開示の発明原理による、セグメント化されたボリュームイメージを含むグラフィックユーザインターフェイスの例示的な実施形態を示す図である。 本発明の発明原理による、対話型平面スライス内部の関心点のユーザ選択の例示的な実施形態を示す図である。 本開示の発明原理による、直交する対話型平面スライスの交差部の例示的な実施形態を示す図である。 本開示の発明原理による、内視鏡の位置決め制御の例示的な実施形態を示す図である。 本開示の発明原理による、セグメント化されたボリュームイメージのクリッピングの例示的な実施形態を示す図である。 本開示の発明原理による、セグメント化されたボリュームイメージのクリッピングの例示的な実施形態を示す図である。 本開示の発明原理による、クリッピングされたセグメント化されたボリュームイメージを含むグラフィックユーザインターフェイスの例示的な実施形態を示す図である。 本開示の発明原理による、クリッピングされたセグメント化されたボリュームイメージを含むグラフィックユーザインターフェイスの例示的な実施形態を示す図である。
本開示の理解を促進するために、図１及び図２の以下の説明は、例示的な心臓外科手術中の、内視鏡イメージングシステム１０と、ロボット式内視鏡イメージングシステム１１との基本的な発明原理をそれぞれ教示する。図１及び図２の説明から、当業者は、内視鏡、特に関節式プラットフォーム又はロボットによって保持される内視鏡を使用する、任意のタイプの低侵襲手術に対する、本開示の発明原理の応用の仕方に気付くであろう。
図１を参照すると、内視鏡イメージングシステム１０は、内視鏡２０、ビデオキャプチャデバイス２１、及び内視鏡誘導コントローラ３０を使用する。
心臓外科手術のために、内視鏡２０が、当該技術において知られているように、患者の心臓領域中への小さな孔を介して、患者の体内に挿入される。動作時、内視鏡２０は、患者の心臓領域内部の心臓の内視鏡イメージを生成するために、孔の内部に戦略的に位置決めされ、ビデオキャプチャデバイス２１は、内視鏡２０からの内視鏡イメージを、コンピュータ可読のデジタルフレーム２２の時系列の内視鏡ビデオに変換する。
内視鏡誘導コントローラ３０は、内視鏡ビデオ２３のデジタルフレームと、心臓領域からセグメント化された心臓のボリュームイメージ４２（例えば、セグメント化された心臓の、術前又は術中のＣＴ、ＭＲＩ、又はＸ線３Ｄイメージ）の両方を処理して、内視鏡ビデオ２３とボリュームイメージ４２を位置合わせする位置合わせルーチンを実行し、それによって、内視鏡２０のイメージング座標系とボリュームイメージングモダリティのイメージング座標系との間の変換が分かる。
実際には、任意のタイプの位置合わせルーチンを、内視鏡誘導コントローラ３０によって実行してもよい。一実施形態において、当該技術において知られている、冠動脈バイパス手術のために、内視鏡誘導コントローラ３０は、ボリュームイメージ４２のセグメント化された心臓から抽出された動脈樹の、内視鏡ビデオ２３内部に見られる動脈樹の枝へのマッチングを伴う、位置合わせルーチンを実行する。この実施形態のために、内視鏡誘導コントローラ３０は、当該技術において知られている、ボリュームイメージ４２のセグメント化された心臓から動脈樹を抽出するか、又は抽出された動脈樹のボリュームイメージ４４を処理してもよい。
イメージ位置合わせに基づいて、ボリュームイメージ４２上での関心点のユーザ選択を使用して、その関心点を、内視鏡２０のイメージング座標系内部の関連する点に変換してもよく、それによって内視鏡２０は、内視鏡ビデオ内部のそのような点をイメージングするための関連する点に向かって誘導される。このために、内視鏡誘導コントローラ３０は、ボリュームイメージ４４の１つ又は複数の対話型平面スライス３２を含む、グラフィックユーザインターフェイス３１とのユーザ対話（「ＵＩ」）５０を制御する。対話型平面スライス３２の例としては、これらに限られないが、図示されているような、対話型軸方向スライス３２ａ、対話型冠状スライス３２ｂ、及び対話型矢状スライス３２ｃが挙げられる。
ユーザ対話５０を促進するために、実際には、グラフィックユーザインターフェイス３０は、対話型平面スライス３２とインターフェイスするために、グラフィックアイコン、視覚インジケータ等を表示する。一実施形態において、グラフィックユーザインターフェイス３０は、セグメント化されたボリュームイメージ４２のスライスセレクタ及び／又はセグメント化されたボリュームイメージ４２のそれぞれの表示された平面ビューに対するスクリーンスライダを表示し、それによってハードウェア入力デバイス（例えば、マウス、キーボード、ジョイスティック、タッチパッド等）をユーザ操作して、当該技術において知られているように、スライスセレクタ及び／又はスクリーンスライダを操作してもよい。
ユーザ対話５０は、ボリュームイメージ４２の対話型平面スライス３２を通じてのユーザナビゲーションを伴い、これによって、ユーザは、ボリュームイメージ４２内部のセグメント化された心臓の特定の平面ビューを選択して、内視鏡２０の視野が、セグメント化された心臓の選択された平面ビューに対応する状態で、内視鏡２０を位置決めするために、心臓領域内部で内視鏡２０を誘導することができる。代替的に、セグメント化された心臓の特定の関心の平面ビューのユーザ選択から、ユーザはさらに、内視鏡２０の視野が、セグメント化された心臓の選択された関心点に対応する状態で、内視鏡２０を位置決めするために、選択された平面ビュー内部で特定の関心点を選択することができる。
ユーザ対話５０を補助するために、実際には、当該技術において知られているように、グラフィックユーザインターフェイス３１は、デジタルフレーム２２の内視鏡ビデオ２３、ボリュームイメージ４２の拡大内視鏡ビデオ２４、及び回転可能なセグメント化された心臓のボリュームイメージ４５の表示をさらに含む。一実施形態において、ボリュームイメージ４４の抽出された動脈樹のオーバーレイは、当該技術において知られているように、内視鏡ビデオ２３及び／又は内視鏡ビデオ２４上にオーバーレイされて、ボリュームイメージ４２は、当該技術において知られているように、セグメント化された心臓と抽出された動脈樹の異なる配色によって示してもよい。
内視鏡２０の誘導目的で、実際には、当該技術において知られているように、内視鏡誘導コントローラ３０は、内視鏡ビデオ２３の現在の平面ビューと、ボリュームイメージ４２の対話型平面スライス３２を介しての、関心の平面ビュー及び／又は関心点のユーザ選択との間の、空間的差分及び／又は角度的差分を確かめる。確認された空間的差分及び／又は確認された角度的差分から、内視鏡誘導コントローラは、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点をイメージングするために、内視鏡２０を位置決めするための内視鏡経路を決定する。内視鏡経路の決定のために、内視鏡誘導コントローラ３０は、当該技術において知られているように、内視鏡２０のカメラ較正マトリックスから、又は当該技術において知られているように、内視鏡ビデオ２３及び／又はボリュームイメージ４２のセグメント化された心臓上への、ボリュームイメージ４４の抽出された動脈樹のオーバーレイを伴う、内視鏡２０の非較正視覚サーボ制御から、ユーザ選択の平面ビューの中心場所及び／又はユーザ選択の関心点の場所を求める。
内視鏡２０の手動誘導に対して、決定された内視鏡経路は、システム１０のユーザに視覚的及び／又は聴覚的に伝達され、それによって、ユーザは、手操作により、且つ／又は関節式プラットフォーム／ロボットの操作により、患者の切開孔に対して、内視鏡２０を指定の距離及び／又は指定の角度だけ、直線的に変位、旋回及び／又は回転させて、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点をイメージングするために、内視鏡２０を位置決めすることができる。
図２を参照すると、内視鏡２０の自動ロボット誘導のために、システム１１は、内視鏡２０を制御するためのシステム１０を備えるロボット２５を組み入れ、内視鏡誘導コントローラ３０の実施形態３０ａは、当該技術において知られているように、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点をイメージングするために、患者の切開孔に対して、内視鏡２０を指定された距離及び／又は指定された角度だけ、直線的に変位、旋回、及び／又は回転させて、内視鏡２０を位置決めするために、ロボット作動コマンド３３をロボット２５に伝達する。
本開示の発明原理のさらなる理解を促進するために、図３〜図９の以下の説明は、斜視型（ｏｂｌｉｑｕｅ）内視鏡２０ａを保持する球形ロボット２５ａと、その中に設置された内視鏡誘導コントローラ３０ａを有するワークステーション１２とを使用する、ロボット式内視鏡イメージングシステム１１の一実施形態の発明原理をさらに教示する。図３〜図９の説明から、当業者は、内視鏡、特にロボットに保持された内視鏡を利用する任意のタイプの低侵襲手術に対する本開示の発明原理の応用の仕方をさらに思い付くであろう。
図３を参照すると、イメージングモダリティ４０（例えば、ＣＴ、ＭＲＩ、又はＸ線モダリティ）は、心臓イメージャ４１の形態のアプリケーションモジュールと、当該技術において知られている血管樹抽出器４６とを含み、ワークステーション１２は、モニタ１３、キーボード１４、コンピュータ１５、及びデータベース１６の既知のアレンジメントを含む。
図３及び図４を参照すると、術前段階の間、患者９０は、フローチャート６０の術前ステージＳ６２の間にイメージングモダリティ４０による患者９０の心臓領域９１をイメージングするために、手術台上に置かれる。具体的には、ステージＳ６２では、心臓イメージャ４１が心臓９２のセグメント化されたボリュームイメージ４２ａを生成し、血管樹抽出器４６が心臓９２に関連する血管樹９３の抽出ボリュームイメージ４４ａを生成する。両方のイメージ４２ａ及び４４ａとも、ワークステーション１２のデータベース１６内に記憶される。
術中段階では、当該技術において知られているように、斜視型内視鏡２０ａが、患者９０の心臓領域中への小さい穴を介して患者９０に挿入される。動作時、斜視型内視鏡２０ａは、患者９０の心臓９２の内視鏡ビデオの、斜視型内視鏡２０ａによる生成を開始するために、孔内部に戦略的に位置づけられており、内視鏡誘導コントローラ３０ａは、本開示のグラフィックユーザインターフェイス３１ａの発明原理に従って、心臓９２のユーザ選択の平面ビュー及び／又はユーザ選択の関心点をイメージングするために、心臓９２に対する、斜視型内視鏡２０ａの球形ロボット２５ａによるさらなる位置決めを制御する。
具体的には、フローチャート６０の術中ステージＳ６４では、ワークステーション１２のモニタ１３上に表示されたグラフィックユーザインターフェイス３１ａとの、キーボード１４を介したユーザ対話が行われる。
図５に示されるような一実施形態においては、グラフィックユーザインターフェイス３１ａは、以下の表示を含む。
（１）ボリュームイメージ４４ａの抽出された動脈樹のオーバーレイを有する、心臓９２の内視鏡ビデオ７０（図３）、
（２）ボリュームイメージ４４ａの拡張内視鏡ビデオ７１、
（３）ボリュームイメージ４２ａからの回転可能なセグメント化された心臓のボリュームイメージ７２、及び
（４）ボリュームイメージ４２ａの対話型軸方向スライス７３ａ、対話型冠状スライス７３ｂ、及び対話型矢状スライス７３ｃ（図３）。
第２の実施形態において、ボリュームイメージ７２は、図８Ａに示されるような対話型平面スライスのユーザ選択によってクリッピングして、対話型平面スライスを含むクリッピングされたボリュームイメージ７２ａを、図９Ａに示されるように、グラフィックユーザインターフェイス３１ａによって表示してもよい。
第３の実施形態においては、ボリュームイメージ７２を、図８Ｂに示されるように対話型平面スライスのユーザ選択によってクリッピングして、対話型平面スライスを含むクリッピングされたボリュームイメージ７２ｂを、図９Ｂに示されるようにグラフィックユーザインターフェイス３１ａによって表示してもよい。
ユーザ対話には、当該技術において知られているように、スライスセレクタの起動を経由してのボリュームイメージ４２ａを介する対話型平面スライス７３ａ〜７３ｃの１つを通じてのユーザナビゲーションを含めてもよく、それによって、ユーザは、ボリュームイメージ４２ａ内部のセグメント化された心臓の特定の平面ビューを選択して、斜視型内視鏡２０ａの視野がセグメント化された心臓の選択された平面ビューに対応する状態で、球形ロボット２５ａを介して、斜視型内視鏡２０ａの位置決めするために、心臓領域内部で斜視型内視鏡２０ａを誘導することができる。
実際には、内視鏡誘導コントローラ３０ａは、関心点のユーザ選択のユーザ確認を受け取るまで、ロボット２５ａによる斜視型内視鏡２０ａのいかなる運動もなく、ユーザ誘導計画目的で、ボリュームイメージ４２ａの平面ビューのユーザ選択を表示してもよい。さらに、ユーザ誘導計画目的で、ユーザ選択の平面ビューを拡張内視鏡ビデオ７１の内部で表示し、且つ／又はボリュームイメージ４２ａのセグメント化された心臓を回転させて、ユーザ選択の平面ビューを中心に合わせてもよい。
ユーザ対話には、当該技術において知られているように、スライスセレクタを介したボリュームイメージ４２ａの対話型平面スライス７３ａ〜７３ｃの１つを通じてのユーザナビゲーションをさらに伴い、これによって、ユーザは、斜視型内視鏡２０ａの視野がセグメント化された心臓の選択された関心点に対応した状態で、球形ロボット２５ａを介して、斜視型内視鏡２０ａを位置決めするために、選択された平面ビュー内部で特定の関心点を選択することができる。例えば、図６Ａに示されるように、対話型平面スライス７３におけるＸの記号で示されている関心点のユーザ選択は、分析目的で内視鏡ビデオ７０内にボックスで表わされている。さらに、対応するボックスは、拡張内視鏡ビデオ７１内部に表示し、且つ／又はボリュームイメージ４２ａのセグメント化された心臓を回転させて、ユーザ選択の関心点を中心に合わせてもよい。
実際には、内視鏡誘導コントローラ３０ａは、関心点のユーザ選択のユーザ確認を受け取るまで、球形ロボット２５ａによる斜視型内視鏡２０ａのいかなる運動もなく、ユーザ誘導計画目的で、ボリュームイメージ４２ａの対話型平面スライス上の関心点のユーザ選択を表示してもよい。さらに、ユーザ誘導計画目的で、ユーザ選択の関心点を拡張内視鏡ビデオ７１の内部で表示し、且つ／又はボリュームイメージ４２ａのセグメント化された心臓を回転させて、ユーザ選択の関心点を中心に合わせてもよい。
ユーザ対話には、当該技術において知られているように、スライスセレクタを介してボリュームイメージ４２ａの１つ又は複数の対話型平面スライス７３ａ〜７３ｃを通じてのユーザナビゲーションをさらに伴い、これによって、ユーザは、斜視型内視鏡２０ａの視野がセグメント化された心臓の選択された関心点に対応する状態で、球形ロボット２５ａを介して、斜視型内視鏡２０ａを位置決めするために、対話型平面スライス７３ａ〜７３ｃの直交交差部に対応する特定の関心点を選択することができる。例えば、図６Ｂに示されるように、対話型平面スライス７３ａ〜７３ｃを通じてのユーザナビゲーションは、対話型平面スライス７３ａ〜７３ｃの直交交差部に対応する、関心点７４を選択する。
実際には、内視鏡誘導コントローラ３０ａは、関心点のユーザ選択のユーザ確認を受け取るまで、ロボット２５ａによる斜視型内視鏡２０ａのいかなる運動もなく、ユーザ誘導計画目的で、ボリュームイメージ４２ａの対話型平面スライス７３ａ〜７３ｃの直交交差部を表示してもよい。さらに、ユーザ誘導計画目的で、対話型平面スライス７３ａ〜７３ｃの直交交差部を拡張内視鏡ビデオ７１の内部で表示し、且つ／又はボリュームイメージ４２ａのセグメント化された心臓を回転させて、対話型平面スライス７３ａ〜７３ｃの直交交差部を中心に合わせてもよい。
図３及び図４に戻って参照すると、フローチャート６０の術中ステージＳ６６では、内視鏡誘導コントローラ３０ａが、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点に対応する内視鏡経路を生成する。
具体的には、内視鏡誘導コントローラ３０は、内視鏡ビデオ７０の現在の平面ビューと、ボリュームイメージ４２ａの対話型平面スライス７３ａ〜７３ｃを介する、関心の平面ビュー及び／又は関心点のユーザ選択との間の、空間的差分及び／又は角度的差分を確かめる。確認された空間的差分及び／又は確認された角度的差分から、内視鏡誘導コントローラは、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点をイメージングするための、斜視型内視鏡２０ａを位置決めするための内視鏡経路を決定する。内視鏡経路の決定のために、内視鏡誘導コントローラ３０は、当該技術において知られているように、内視鏡２０のカメラ較正マトリックスから、又は当該技術において知られているように、内視鏡ビデオ２３及び／又はボリュームイメージ４２ａのセグメント化された心臓上への、ボリュームイメージ４４ａの抽出された動脈樹のオーバーレイを伴う、内視鏡２０の非較正視覚サーボ制御から、ユーザ選択の平面ビューの中心場所、及び／又はユーザ選択の関心点の場所を求める。
斜視型内視鏡２０ａの自動ロボット誘導のために、内視鏡誘導コントローラ３０ａは、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点のイメージングのために、斜視型内視鏡２０ａを患者の切開孔に対して指定の角度だけ回転且つ／又は旋回させて、斜視型内視鏡２０ａを位置決めするために、当該技術において知られているように、ロボット作動コマンドを球形ロボット２５ａに伝達する。例えば、図７に示されるように、心臓領域９１中への患者９０の切開点９４の長手軸９５は、ユーザ選択の平面ビュー及び／又はユーザ選択の関心点をイメージングするために、切開孔９４に対して指定の角度だけ斜視型内視鏡２０ａを旋回及び／又は回転させて、斜視型内視鏡２０ａを位置決めする基礎としての役割を果たす。
図３及び図４に戻って参照すると、ステージＳ６６の間の初期内視鏡経路生成の後に、内視鏡誘導コントローラ３０ａは、グラフィックユーザインターフェイス３１ａとの追加のユーザ対話のためにステージＳ６４に戻るか、又は手術の完了時に停止してもよい。
図１〜図９を参照すると、当業者は、それには限定はされないが、解剖学的領域内部での、特にロボット式の内視鏡誘導のためのロバストな技法を含む、本開示の多くの利点に気付くであろう。
さらに、本明細書において提供された教示を考慮すれば当業者は気付くように、本開示／明細書に記述された、及び／又は図１〜図９に図示された、特徴、要素、構成要素、その他は、電子構成要素／回路、ハードウェア、実行可能なソフトウェア及び実行可能なファームウェアの様々な組合せとして実現して、単一の要素又は複数の要素として組み合わせてもよい機能を提供してもよい。例えば、図１〜図９に図示／図解／記述された様々な特徴、要素、構成要素、等の機能は、専用のハードウェアの使用、並びに適当なソフトウェアと連携してソフトウェアを実行することのできるハードウェアの使用によって提供することができる。プロセッサによって提供されるときには、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又はその一部が共有化且つ／又は多重化されてもよい、複数の個別のプロセッサによって、提供することができる。さらに、「プロセッサ」という用語の明示的な使用は、ソフトウェアを実行することのできるハードウェアのみを排他的に意味するものとは考えるべきではなく、限定ではなく、デジタルシグナルプロセッサ（「ＤＳＰ」）ハードウェア、メモリ（例えば、ソフトウェアを記憶するための読出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、不揮発性記憶等）及びプロセスを実行及び／又は制御することのできる（及び／又は構成可能な）、実質的に任意の手段及び／又はマシン（ハードウェア、ソフトウェア、ファームウェア、回路、それらの組合せ等を含む）を暗示的に含めることができる。
さらに、本明細書において本発明の原理、観点、及び実施形態、並びにそれらの具体的な実施例を記述するすべての記載は、それらの構造的及び機能的な均等物の両方を包含することを意図するものである。さらに、そのような均等物は、現在分かっている均等物、並びに将来において開発される均等物（例えば、構造にかかわらず、同一又は実質的に類似する機能を実行することのできる、開発される任意の要素）の両方を含めることを意図している。すなわち、例えば、本明細書において与えられた教示を考慮すれば、本明細書に提示された、任意のブロック図は、本発明の原理を具現化する、実証的なシステム構成要素及び／又は回路の概観を表わすことができることが、当業者によって理解されるであろう。同様に、当業者は、本明細書において提供された教示を考慮して、任意のフローチャート、フロー図、その他は、コンピュータ可読記憶媒体において実質的に表わされ、それによって、コンピュータ又はプロセッサが明示されていても、いなくても、そのようなコンピュータ、プロセッサ又は処理能力を有するその他のデバイスによって実行することができる、様々なプロセスを表わすことができることを理解する筈である。
さらに、本開示の例示的実施形態は、例えば、コンピュータ又は任意の命令実行システムによる、又はそれと接続しての使用のための、プログラムコード及び／又は命令を提供する、コンピュータ使用可能及び／又はコンピュータ可読記憶媒体からアクセス可能な、コンピュータプログラムプロダクト又はアプリケーションモジュールの形態をとることができる。本開示によれば、コンピュータ使用可能又はコンピュータ可読記憶媒体は、命令実行システム、装置又はデバイスによる、又はそれと接続して使用するためのプログラムを、例えば、含む、記憶する、伝達する、伝播する又は輸送することのできる、任意の装置とすることができる。そのような例示的な媒体は、例えば、電子、磁気、光学、電磁気、赤外又は半導体システム（又は装置若しくはデバイス）或いは伝播媒体とすることができる。コンピュータ可読媒体の例としては、例えば、半導体又はソリッドステートメモリ、磁気テープ、着脱可能コンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュ（ドライブ）、リジッド磁気ディスク及び光学ディスクが挙げられる。光学ディスクの現在の例としては、コンパクトディスク−リードオンリーメモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−リード／ライト（ＣＤ−Ｒ／Ｗ）及びＤＶＤが挙げられる。さらに、今後に開発される可能性のある任意の新規のコンピュータ可読媒体も、本開示の例示的実施形態により使用されるか、又は参照される、コンピュータ可読媒体として考慮されるものと理解すべきである。
ボリュームイメージスライスからの、新規で進歩性のある内視鏡誘導の好ましい実施形態及び例示的実施形態について記述したが（それらの実施形態は例示を意図しており、限定的ではない）、図１〜図９を含み、本明細書において与えられた教示に照らせば、当業者によって修正及び変形を行うことが可能であることに留意されたい。したがって、本明細書に開示された実施形態の範囲内である、本開示の好ましい実施形態及び例示的実施形態において／対して、変更を行うことが可能であることを理解すべきである。
さらに、本開示によるデバイスにおいて使用／実施してもよいデバイスを組み入れ、且つ／又は実装している、対応且つ／又は関係するシステムも、本開示の範囲に含めることを意図するとともに、そのように考慮される。さらに、本開示によるデバイス及び／又はシステムを製造及び／又は使用する、対応且つ／又は関係する方法も、本開示の範囲に含まれるものと意図され、且つ考慮される。

Claims (20)

  1. 解剖学的領域内部の解剖学的構造の内視鏡ビデオを生成する内視鏡と、
    前記内視鏡に動作可能に接続された、内視鏡誘導コントローラと
    を含み、
    前記内視鏡誘導コントローラは、前記内視鏡ビデオと、前記解剖学的領域のボリュームイメージとの位置合わせに応じて、前記ボリュームイメージの少なくとも１つの対話型平面スライスを含む、グラフィックユーザインターフェイスとのユーザ対話を制御するとともに、
    前記内視鏡誘導コントローラはさらに、前記グラフィックユーザインターフェイスとの前記ユーザ対話に応じて、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡の位置決めを制御する、
    内視鏡イメージングシステム。
  2. 前記少なくとも１つの対話型平面スライスが、
    前記ボリュームイメージの対話型軸方向スライス、
    前記ボリュームイメージの対話型冠状スライス、及び
    前記ボリュームイメージの対話型矢状スライス
    のうちの少なくとも１つを含む、請求項１に記載の内視鏡イメージングシステム。
  3. 前記解剖学的構造に対する前記内視鏡の位置決めを制御するために、
    前記内視鏡誘導コントローラは、前記ボリュームイメージの複数の対話型平面スライスを通じてのユーザナビゲーションに応答するとともに、
    前記内視鏡誘導コントローラは、前記ボリュームイメージの前記複数の対話型平面スライスを通じての前記ユーザナビゲーションから導出される、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスのユーザ選択にさらに応答する、請求項１に記載の内視鏡イメージングシステム。
  4. 前記解剖学的領域内部の前記解剖学的構造に対する前記内視鏡の位置決めを制御するために、前記内視鏡誘導コントローラは、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスの前記ユーザ選択から導出される前記ボリュームイメージの前記少なくとも１つの対話型平面スライス内部の関心点のユーザ選択に対してさらに応答する、請求項３に記載の内視鏡イメージングシステム。
  5. 前記グラフィックユーザインターフェイスが、前記内視鏡ビデオの表示をさらに含み、
    前記解剖学的構造に対する前記内視鏡の位置決めを制御するために、
    前記内視鏡誘導コントローラは、前記ボリュームイメージの前記少なくとも１つの対話型平面スライス内部の関心点のユーザ選択に応答するとともに、
    前記内視鏡誘導コントローラは、前記内視鏡ビデオ内部の前記関心点の前記ユーザ選択の表示を制御する、請求項１に記載の内視鏡イメージングシステム。
  6. 前記グラフィックユーザインターフェイスは、前記ボリュームイメージから導出される前記解剖学的構造のボリュームセグメンテーションの表示をさらに含み、
    前記解剖学的構造に対する前記内視鏡の位置決めを制御するために、前記内視鏡誘導コントローラは、さらに、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造の前記ボリュームセグメンテーションのクリッピングの表示を制御する、請求項１に記載の内視鏡イメージングシステム。
  7. 前記解剖学的領域内部の前記解剖学的構造に対する前記内視鏡の位置決めを制御するために、前記内視鏡誘導コントローラが、前記解剖学的構造の前記ボリュームセグメンテーションの前記クリッピング内部の関心点のユーザ選択に対してさらに応答する、請求項６に記載の内視鏡イメージングシステム。
  8. 前記グラフィックユーザインターフェイスが、
    前記解剖学的領域内部の前記解剖学的構造の前記内視鏡ビデオと、
    前記解剖学的領域の前記ボリュームイメージの拡張内視鏡ビューと
    をさらに含む、請求項１に記載の内視鏡イメージングシステム。
  9. 解剖学的領域内部の解剖学的構造の内視鏡ビデオを生成するための内視鏡と、
    前記解剖学的領域内部で前記解剖学的構造に対して前記内視鏡を位置決めするために、前記内視鏡に動作可能に接続されたロボットと、
    前記内視鏡と前記ロボットとに動作可能に接続された内視鏡誘導コントローラと
    を備え、
    前記内視鏡誘導コントローラは、前記内視鏡ビデオと、前記解剖学的領域のボリュームイメージとの位置合わせに応じて、前記ボリュームイメージの少なくとも１つの対話型平面スライスを含むグラフィックユーザインターフェイスとのユーザ対話を制御するとともに、
    前記内視鏡誘導コントローラはさらに、前記グラフィックユーザインターフェイスとのユーザ対話に応じて、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御する、ロボット式内視鏡イメージングシステム。
  10. 前記少なくとも１つの対話型平面スライスが、
    前記ボリュームイメージの対話型軸方向スライス、
    前記ボリュームイメージの対話型冠状スライス、及び
    前記ボリュームイメージの対話型矢状スライス
    のうちの少なくとも１つを含む、請求項９に記載のロボット式内視鏡イメージングシステム。
  11. 前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御するために、前記内視鏡誘導コントローラは、前記ボリュームイメージの複数の対話型平面スライスを通じてのユーザナビゲーションに応答するとともに、前記内視鏡誘導コントローラは、前記ボリュームイメージの前記複数の対話型平面スライスを通じての前記ユーザナビゲーションから導出される、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスのユーザ選択にさらに応答する、請求項９に記載のロボット式内視鏡イメージングシステム。
  12. 前記解剖学的領域内部の前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御するために、前記内視鏡誘導コントローラは、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスの前記ユーザ選択から導出される前記ボリュームイメージの前記少なくとも１つの対話型平面スライス内部の関心点のユーザ選択に対してさらに応答する、請求項１１に記載のロボット式内視鏡イメージングシステム。
  13. 前記グラフィックユーザインターフェイスが、前記内視鏡ビデオの表示をさらに含み、
    前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御するために、前記内視鏡誘導コントローラは、前記ボリュームイメージの前記少なくとも１つの対話型平面スライス内部の関心点のユーザ選択に応答するとともに、前記内視鏡誘導コントローラは、前記内視鏡ビデオ内部の前記関心点の前記ユーザ選択の表示を制御する、請求項９に記載のロボット式内視鏡イメージングシステム。
  14. 前記グラフィックユーザインターフェイスは、前記解剖学的領域の前記ボリュームイメージから導出される前記解剖学的構造のボリュームセグメンテーションをさらに含み、
    前記解剖学的領域内部の前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御するために、前記内視鏡誘導コントローラは、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造の前記ボリュームセグメンテーションのクリッピングの表示をさらに制御する、請求項９に記載のロボット式内視鏡イメージングシステム。
  15. 前記解剖学的領域内部の前記解剖学的構造に対する前記内視鏡の、前記ロボットによる位置決めを制御するために、前記内視鏡誘導コントローラが、前記解剖学的構造の前記ボリュームセグメンテーションの前記クリッピング内部の関心点のユーザ選択に対してさらに応答する、請求項１４に記載のロボット式内視鏡イメージングシステム。
  16. 内視鏡が、解剖学的領域内部の解剖学的構造の内視鏡ビデオを生成するステップと、
    内視鏡誘導コントローラが、前記内視鏡ビデオと、前記解剖学的領域のボリュームイメージとの位置合わせに応じて、前記ボリュームイメージの少なくとも１つの対話型平面スライスを含むグラフィックユーザインターフェイスとのユーザ対話を制御するステップと、
    前記内視鏡誘導コントローラが、前記グラフィックユーザインターフェイスとのユーザ対話に応じて、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡のロボットによる位置決めを制御するステップと
    を有する、ロボット式内視鏡イメージング方法。
  17. 前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御する前記ステップは、
    前記内視鏡誘導コントローラが、前記解剖学的領域の前記ボリュームイメージの複数の対話型平面スライスを通じてのユーザナビゲーションに応答するステップと、
    前記内視鏡誘導コントローラが、前記解剖学的領域の前記ボリュームイメージの前記複数の対話型平面スライスを通じての前記ユーザナビゲーションから導出される、前記解剖学的領域の前記ボリュームイメージの前記少なくとも１つの対話型平面スライスのユーザ選択に応答するステップと
    を含む、請求項１６に記載のロボット式内視鏡イメージング方法。
  18. 前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡の前記ロボットによる位置決めを制御する前記ステップは、
    前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスの前記ユーザ選択から導出される前記ボリュームイメージの前記少なくとも１つの対話型平面スライス内部の関心点のユーザ選択に応答するステップをさらに含む、請求項１７に記載のロボット式内視鏡イメージング方法。
  19. 前記グラフィックユーザインターフェイスが、前記解剖学的領域内部の前記解剖学的構造の前記内視鏡ビデオをさらに含み、
    前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡の前記ロボットによる前記位置決めを制御する前記ステップは、
    前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライス内部の関心点のユーザ選択に応答するステップと、
    前記内視鏡誘導コントローラが、前記解剖学的領域内部の前記解剖学的構造の前記内視鏡ビデオ内部の前記関心点の表示を制御するステップと
    を含む、請求項１６に記載のロボット式内視鏡イメージング方法。
  20. 前記グラフィックユーザインターフェイスが、前記解剖学的領域の前記ボリュームイメージから導出される前記解剖学的構造のボリュームセグメンテーションの表示をさらに含み、
    前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造に対する前記内視鏡の前記ロボットによる前記位置決めを制御するステップは、
    前記内視鏡誘導コントローラが、前記ボリュームイメージの前記少なくとも１つの対話型平面スライスから導出される前記解剖学的構造の前記ボリュームセグメンテーションのクリッピングの表示を制御するステップと、
    前記内視鏡誘導コントローラが、前記解剖学的構造の前記ボリュームセグメンテーションの前記クリッピング内部の関心点のユーザ選択に応答するステップと
    を含む、請求項１６に記載のロボット式内視鏡イメージング方法。
JP2018502666A 2015-07-23 2016-07-07 ボリュームイメージの対話型平面スライスからの内視鏡誘導 Active JP6975131B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562195810P 2015-07-23 2015-07-23
US62/195,810 2015-07-23
PCT/IB2016/054066 WO2017013521A1 (en) 2015-07-23 2016-07-07 Endoscope guidance from interactive planar slices of a volume image

Publications (3)

Publication Number Publication Date
JP2018521774A true JP2018521774A (ja) 2018-08-09
JP2018521774A5 JP2018521774A5 (ja) 2019-08-15
JP6975131B2 JP6975131B2 (ja) 2021-12-01

Family

ID=56507627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018502666A Active JP6975131B2 (ja) 2015-07-23 2016-07-07 ボリュームイメージの対話型平面スライスからの内視鏡誘導

Country Status (5)

Country Link
US (1) US11596292B2 (ja)
EP (1) EP3324819A1 (ja)
JP (1) JP6975131B2 (ja)
CN (1) CN107847111B (ja)
WO (1) WO2017013521A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6835587B2 (ja) * 2014-02-19 2021-02-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医用４ｄイメージングにおける動き適応型可視化
CN107689045B (zh) * 2017-09-06 2021-06-29 艾瑞迈迪医疗科技（北京）有限公司 内窥镜微创手术导航的图像显示方法、装置及***
CN110989884A (zh) * 2019-11-29 2020-04-10 北京市商汤科技开发有限公司 图像定位的操作显示方法及装置、电子设备和存储介质
WO2022005954A2 (en) * 2020-06-30 2022-01-06 Intuitive Surgical Operations, Inc. Systems and methods for tag-based instrument control
US20230053189A1 (en) * 2021-08-11 2023-02-16 Terumo Cardiovascular Systems Corporation Augmented-reality endoscopic vessel harvesting

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130315452A1 (en) * 2012-05-22 2013-11-28 Orca Health, Inc. Personalized anatomical diagnostics and simulations
US20140022283A1 (en) * 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus
JP2015505502A (ja) * 2012-02-06 2015-02-23 コーニンクレッカ フィリップス エヌ ヴェ 血管ツリー画像内での見えない分岐部の検出

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970499A (en) * 1997-04-11 1999-10-19 Smith; Kurt R. Method and apparatus for producing and accessing composite data
US6348058B1 (en) * 1997-12-12 2002-02-19 Surgical Navigation Technologies, Inc. Image guided spinal surgery guide, system, and method for use thereof
US7300398B2 (en) * 2003-08-14 2007-11-27 Siemens Medical Solutions Usa, Inc. Method and apparatus for registration of virtual endoscopic images
WO2005023086A2 (en) * 2003-08-25 2005-03-17 University Of North Carolina At Chapel Hill Systems, methods, and computer program products for analysis of vessel attributes for diagnosis, disease staging, and surgical planning
JP3847744B2 (ja) * 2003-11-04 2006-11-22 オリンパス株式会社 挿入支援システム
JP4343723B2 (ja) * 2004-01-30 2009-10-14 オリンパス株式会社 挿入支援システム
DE102004011154B3 (de) * 2004-03-08 2005-11-24 Siemens Ag Verfahren zur Registrierung einer Folge von 2D-Bilddaten eines Hohlraumorgans mit 3D-Bilddaten des Hohlraumorgans
JP2008539028A (ja) * 2005-04-29 2008-11-13 ヴァンダービルト ユニバーシティ 生体の蝸牛へのアクセスを提供するための画像誘導を使用するシステムおよび方法
US9314222B2 (en) * 2005-07-07 2016-04-19 Stereotaxis, Inc. Operation of a remote medical navigation system using ultrasound image
US20070127793A1 (en) * 2005-11-23 2007-06-07 Beckett Bob L Real-time interactive data analysis management tool
US20080292164A1 (en) * 2006-08-29 2008-11-27 Siemens Corporate Research, Inc. System and method for coregistration and analysis of non-concurrent diffuse optical and magnetic resonance breast images
US8098911B2 (en) * 2006-12-05 2012-01-17 Siemens Aktiengesellschaft Method and system for registration of contrast-enhanced images with volume-preserving constraint
EP2143038A4 (en) 2007-02-20 2011-01-26 Philip L Gildenberg VIDEOSTEREREOTAXY- AND AUDIOSTEREOTAXY-ASSISTED SURGICAL PROCEDURES AND METHODS
US20080317204A1 (en) * 2007-03-16 2008-12-25 Cyberheart, Inc. Radiation treatment planning and delivery for moving targets in the heart
US8315689B2 (en) * 2007-09-24 2012-11-20 MRI Interventions, Inc. MRI surgical systems for real-time visualizations using MRI image data and predefined data of surgical tools
EP2348954A1 (en) * 2008-10-20 2011-08-03 Koninklijke Philips Electronics N.V. Image-based localization method and system
US8355553B2 (en) * 2008-11-22 2013-01-15 General Electric Company Systems, apparatus and processes for automated medical image segmentation using a statistical model
CA2761844C (en) * 2009-05-14 2017-11-28 University Health Network Quantitative endoscopy
US8693760B2 (en) * 2009-06-25 2014-04-08 Hitachi Medical Corporation Medical imaging apparatus
JP2014522247A (ja) * 2011-03-29 2014-09-04 ボストン サイエンティフィック ニューロモデュレイション コーポレイション リード線位置付けのためのシステムおよび方法
WO2012131660A1 (en) * 2011-04-01 2012-10-04 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system for spinal and other surgeries
US20120249546A1 (en) * 2011-04-04 2012-10-04 Vida Diagnostics, Inc. Methods and systems for visualization and analysis of sublobar regions of the lung
US9330490B2 (en) * 2011-04-29 2016-05-03 University Health Network Methods and systems for visualization of 3D parametric data during 2D imaging
US9123155B2 (en) 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
CN103957832B (zh) * 2011-10-26 2016-09-28 皇家飞利浦有限公司 血管树图像的内窥镜配准
JP2015523133A (ja) * 2012-06-15 2015-08-13 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡低侵襲手術のための誘導切開計画
US9387083B2 (en) * 2013-01-30 2016-07-12 Conformis, Inc. Acquiring and utilizing kinematic information for patient-adapted implants, tools and surgical procedures
US9459770B2 (en) * 2013-03-15 2016-10-04 Covidien Lp Pathway planning system and method
CN105307687A (zh) * 2013-03-15 2016-02-03 索隆-基特林癌症研究协会 多模态的基于二氧化硅的纳米粒子
US20140276001A1 (en) * 2013-03-15 2014-09-18 Queen's University At Kingston Device and Method for Image-Guided Surgery
RU2692206C2 (ru) * 2013-05-09 2019-06-21 Конинклейке Филипс Н.В. Роботизированное управление эндоскопом на основе анатомических признаков

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015505502A (ja) * 2012-02-06 2015-02-23 コーニンクレッカ フィリップス エヌ ヴェ 血管ツリー画像内での見えない分岐部の検出
US20130315452A1 (en) * 2012-05-22 2013-11-28 Orca Health, Inc. Personalized anatomical diagnostics and simulations
US20140022283A1 (en) * 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus

Also Published As

Publication number Publication date
JP6975131B2 (ja) 2021-12-01
CN107847111B (zh) 2022-04-08
US20180214214A1 (en) 2018-08-02
EP3324819A1 (en) 2018-05-30
WO2017013521A1 (en) 2017-01-26
US11596292B2 (en) 2023-03-07
CN107847111A (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
US10835344B2 (en) Display of preoperative and intraoperative images
JP6174676B2 (ja) 術前及び術中３ｄ画像を用いて内視鏡を手動操作するガイダンスツール及びガイド下内視鏡ナビゲーションのための装置の作動方法
JP7133474B2 (ja) 内視鏡画像及び超音波画像の画像ベースの融合
RU2692206C2 (ru) Роботизированное управление эндоскопом на основе анатомических признаков
JP6122875B2 (ja) 血管ツリー画像内での見えない分岐部の検出
JP6382802B2 (ja) ロボット操作される内視鏡を使用した血管可視化の向上
CN106572887B (zh) X射线套件中的图像整合和机器人内窥镜控制
JP6975131B2 (ja) ボリュームイメージの対話型平面スライスからの内視鏡誘導
JP2019511931A (ja) 輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせ
US20190069955A1 (en) Control unit, system and method for controlling hybrid robot having rigid proximal portion and flexible distal portion
Abdurahiman et al. Human-computer interfacing for control of angulated scopes in robotic scope assistant systems
US20200359994A1 (en) System and method for guiding ultrasound probe
JP2020520027A (ja) 解剖学的モデルの仮想拡張

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190704

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211105

R150 Certificate of patent or registration of utility model

Ref document number: 6975131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150