JP2005500096A - ガイドシステム - Google Patents
ガイドシステム Download PDFInfo
- Publication number
- JP2005500096A JP2005500096A JP2003503112A JP2003503112A JP2005500096A JP 2005500096 A JP2005500096 A JP 2005500096A JP 2003503112 A JP2003503112 A JP 2003503112A JP 2003503112 A JP2003503112 A JP 2003503112A JP 2005500096 A JP2005500096 A JP 2005500096A
- Authority
- JP
- Japan
- Prior art keywords
- image
- probe
- user
- processing device
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Robotics (AREA)
- Processing Or Creating Images (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Iron Core Of Rotating Electric Machines (AREA)
- Crystals, And After-Treatments Of Crystals (AREA)
Abstract
形成された三次元領域で手術を実施する使用者が使用するためのガイドシステムを開示する。該システムは、手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、該画像を使用者に表示するためのディスプレイと、使用者が見うる位置を有するプローブと、システムによってプローブの位置を追跡し、かつ、その位置をデータ処理装置に伝送するためのトラッキング装置とを含み、データ処理装置は、使用者がプローブを形成された領域の外側で、その周囲にある選択領域に移動させると、システムへの対応する指示に各々関連付けられる1つまたはそれ以上の仮想ボタンを生成するように構成され、データ処理装置は、使用者による仮想ボタンのいずれかの選択を登録し、該選択はその仮想ボタンの見かけの位置に対してプローブを配置されることを含んでおり、該選択に基づいてコンピュータ生成画像を変更するように構成される。
Description
【技術分野】
【0001】
本発明は、ガイドシステムに関し、さらに詳しくは、手術を実施する際に外科医を支援するための手術ナビゲーションシステムに関するが、これに限定されない。また、本発明は、そのようなシステムを制御するための方法および装置に関する。
【背景技術】
【0002】
画像ガイドシステムは神経外科で幅広く採用されており、広範囲の外科処置の精度を高め、かつ侵襲性を低減することが証明されてきた。現在、画像ガイド外科システム(「ナビゲーションシステム」)は、手術前に、例えば、MRIまたはCTによって、収集したデータから構築される一連の画像に基づいており、該画像は光学的トラッキングシステムによって現実の患者に対して位置合わせされる。これを行なうために、患者の皮膚に検出マーカを配置し、マーカを画像化データ上で見うるマーカの対応物と相関させる。外科手術中、画像は画面上の3直交平面に画像ボリュームを通して表示される一方、外科医は、トラッキングシステムによって追跡されるプローブを保持する。プローブを手術領域内に導入すると、プローブ先端の位置は画像上にアイコンとして表わされる。手術前の画像化データを実際の手術空間とリンクさせることによって、ナビゲーションシステムは、周囲の構造に対するツールの正確な位置に関する有用な情報を外科医に提供し、手術中の状態を手術前の計画に関連付けるのを助ける。
【0003】
これらの利点にもかかわらず、現行ナビゲーションシステムは様々な欠点を免れない。
【0004】
第1に、外科医は、ナビゲーション手順中に手術場面から目を逸らして、コンピュータモニタを見る必要がある。これは外科手術のワークフローを中断させる傾向があり、実際には、手術はしばしば2人がかりの仕事になり、外科医が顕微鏡を通して手術場面を見て、その助手がモニタを見ながら外科医に助言する必要がある。
【0005】
第2に、手術中に画像を操作すること、例えば、CTとMRIとの間の切替、画面のウィンドウの変更、計画段階からのマーカまたはセグメント化構造の起動、色およびコントラスト調整などは、キーボード、マウス、またはタッチスクリーンの操作を必要とし、そのため外科医は注意をそらされ、かつ機器を滅菌布で包装する必要があるので面倒である。プローブ型制御装置が提案されているが(Hinckley K, Pausch R, Goble C J, Kassel N, F :A Survey of Design Issues in Spatial Input, Proceedings of ACM UIST'94 Symposium on User Interface Software & Technology, pp. 213-222、 および Mackinlay J, Card S, Robertson G:Rapid Controlled Movement Through a Virtual 3D Workspace, Comp. Grap., 24(4), 1990, 171-176 を参照されたい) 、全て使用に欠点がある。
【0006】
第3に、画像化データを2D直交スライスとして提示する全ての現行ナビゲーションシステムに共通する問題は、外科医が、頭の中で再構成した3D情報を含む画像系列の空間的方向性を、手術中に覆われる患者の頭の向きに対して関連付けなければならないことである。
【0007】
患者の肉眼による光景をコンピュータ生成画像と結合することによって、シースルー(透視)補強を使用するシステムが現在検討されている(Blackwell M, O'Toole RV, Morgan F, Gregor L:Performance and Accuracy experiments with 3D and 2D Image overlay systems. Proceedings of MRCAS 95, Baltimore, USA, 1995, pp 312-317、および、DiGioia, Anthony M., Branislav Jaramaz, Robert V. O'Toole, David A. Simon, and Takeo Kanade. Medical Robotics And Computer Assisted Surgery In Orthopaedics. In Interactive Technology and the New Paradigm for Healthcare, ed. K. Morgan, R.M. Satava, H.B. Sieberg, R. Mattheus, and J.P. Christensen. 88-90. IOS Press, 1995 を参照されたい)。このシステムでは、上下逆さまのモニタ上の倒立画像をハーフミラーで手術場面に重ね合わせて画像を結合する。使用者はミラーおよび下の患者を見渡しながら、ヘッドトラッキングシステムを装着する。しかし、著者らは、仮想物体と実物体との間にかなりの誤差があることを報告している。
【0008】
現在、研究開発中の他のシステムは、コンピュータ生成画像を、手術室(手術シアター)の固定位置に配置されたカメラまたは使用者の頭部装着ディスプレイを通して得られた手術の光景の映像と結合する。結合された信号は次いで、使用者のHMD(頭部装着ディスプレイ)に伝達される。そのようなプロジェクトの3つの例が、開示されている(Fuchs H, Mark A, Livingston, Ramesh Raskar, D'nardo Colucci, Kurtis Keller, Andrei State, Jessica R. Crawford, Paul Rademacher, Samuel H. Drake, and Anthony A. Meyer, MD. Augmented Reality Visualization for Laparoscopic Surgery. Proceedings of First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI '98), 1998年10月11-13日, Massachusetts Institute of Technology, Cambridge, MA, USA、 Fuchs H, State A, Pisano ED, Garrett WF, Gentaro Hirota, Mark A. Livingston, Mary C. Whitton, Pizer SM. (Towards) Performing Ultrasound-Guided Needle Biopsies from within a Head-Mounted Display. Proceedings of Visualization in Biomedical Computing 1996, (Hamburg, Germany, 1996年9月22-25日), pgs. 591-600、および、 State, Andrei, Mark A. Livingston, Gentaro Hirota, William F. Garrett, Mary C. Whitton, Henry Fuchs, and Etta D. Pisano (MD). Technologies for Augmented-Reality Systems: realizing Ultrasound-Guided Needle Biopsies. Proceedings of SIGGRAPH 96 (New Orleans, LA, 1996年8月4-9日), in Computer Graphics Proceedings, Annual Conference Series 1996, ACM SIGGRARH, pgs. 439-446を参照)。
【0009】
別の技術(Edwards PJ, Hawkes DJ, Hill DLG, Jewell D, Spink R, Strong A, Gleeson M:Augmented reality in the stereo microscope for Otolaryngology and neurosurgical Guidance. Proceedings of MRCAS 95, Baltimore, USA, 1995, pp 8-15を参照)は、3Dグラフィックスを重ねた表示用の装置として、手術用顕微鏡を使用する。顕微鏡の光チャネルへの立体構造の「画像注入」により、外科医は手術場面の上に重ねられた画像を見る。この技術は、操作機能を有することなく、比較的低い解像度の単純なメッシュを手術場面に重ね合わせるものである。著者らは、実視に対して重ね合わされたデータの立体認知に関する難しさを報告している。
【0010】
これらの技術は、使用者の案内用に意図されたものであるが、全て用途および使い勝手において制限される。
【0011】
【非特許文献1】
Hinckley K, Pausch R, Goble C J, Kassel N, F :A Survey of Design Issues in Spatial Input, Proceedings of ACM UIST'94 Symposium on User Interface Software & Technology, pp. 213-222
【0012】
【非特許文献2】
Mackinlay J, Card S, Robertson G:Rapid Controlled Movement Through a Virtual 3D Workspace, Comp. Grap., 24(4), 1990, 171-176
【0013】
【非特許文献3】
Blackwell M, O'Toole RV, Morgan F, Gregor L:Performance and Accuracy experiments with 3D and 2D Image overlay systems. Proceedings of MRCAS 95, Baltimore, USA, 1995, pp 312-317
【0014】
【非特許文献4】
DiGioia, Anthony M., Branislav Jaramaz, Robert V. O'Toole, David A. Simon, and Takeo Kanade. Medical Robotics And Computer Assisted Surgery In Orthopaedics. In Interactive Technology and the New Paradigm for Healthcare, ed. K. Morgan, R.M. Satava, H.B. Sieberg, R. Mattheus, and J.P. Christensen. 88-90. IOS Press, 1995
【0015】
【非特許文献5】
Fuchs H, Mark A, Livingston, Ramesh Raskar, D'nardo Colucci, Kurtis Keller, Andrei State, Jessica R. Crawford, Paul Rademacher, Samuel H. Drake, and Anthony A. Meyer, MD. Augmented Reality Visualization for Laparoscopic Surgery. Proceedings of First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI '98), 1998年10月11-13日, Massachusetts Institute of Technology, Cambridge, MA, USA
【0016】
【非特許文献6】
Fuchs H, State A, Pisano ED, Garrett WF, Gentaro Hirota, Mark A. Livingston, Mary C. Whitton, Pizer SM. (Towards) Performing Ultrasound-Guided Needle Biopsies from within a Head-Mounted Display. Proceedings of Visualization in Biomedical Computing 1996, (Hamburg, Germany, 1996年9月22-25日), pgs. 591-600
【0017】
【非特許文献7】
State, Andrei, Mark A. Livingston, Gentaro Hirota, William F. Garrett, Mary C. Whitton, Henry Fuchs, and Etta D. Pisano (MD). Technologies for Augmented-Reality Systems: realizing Ultrasound-Guided Needle Biopsies. Proceedings of SIGGRAPH 96 (New Orleans, LA, 1996年8月4-9日), in Computer Graphics Proceedings, Annual Conference Series 1996, ACM SIGGRARH, pgs. 439-446
【発明の開示】
【発明が解決しようとする課題】
【0018】
本発明は、上記の問題の少なくとも1つに対処し、新規かつ有用なナビゲーションシステムならびにそれらを制御するための方法および装置を提案することを目的とする。
【0019】
特に、本発明は、外科手術中に使用することができるシステムに関連する。しかし、本発明の適用は外科手術に限定されず、以下に述べるシステムおよび方法は、細心の注意を要する手術ないし操作にも使用でき、また、手術中のみならず計画段階中においても、使用することができる。
【0020】
本発明は、手術室でナビゲーション手順中に、例えばコンピュータ生成画像のフォーマットを変更するために、容易かつ迅速に手術ナビゲーションシステムを操作できることが重要であるとの知見によっている。また、コンピュータ生成画像を使用することによって、手術現場で直接特定の外科処置をシミュレートできることは有利である。
【課題を解決するための手段】
【0021】
概略すると、本発明は、手術の対象者のコンピュータ生成画像(3Dおよび/または2Dスライス)を表示するためのディスプレイを有する画像に基づくガイドシステムを使用する際に形成される領域内で手術(例えば、外科手術)を行なう使用者によって保持されるプローブを提案する。該プローブの位置は、ガイドシステムによって追跡され、また、例えば、システムが、使用者がプローブを直接見ることを可能にしたり、または、コンピュータ生成画像がプローブの位置を示すアイコンを含むことにより、使用者はプローブの位置を見ることができる。プローブを動かすことによって、使用者はシステム内にプローブを制御するための情報を入力して、例えば、コンピュータによって示される画像内において対象者の肉体形状を変化させることができる。
【0022】
本発明は、形成された三次元領域で手術を実施する使用者が使用するためのガイドシステムであって、手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、画像を使用者に表示するためのディスプレイと、使用者がその位置を見ることができるプローブと、システムによってプローブの位置を追跡し、かつ、その位置をデータ処理装置に伝送するためのトラッキング装置を含み、
該データ処理装置は、使用者がプローブを形成された領域の外側で、その領域の周囲にある選択領域に移動させると、システムへの対応する指示に各々関連付けられる1つまたはそれ以上の仮想ボタンを生成するように構成され、
該データ処理装置は、使用者による前記仮想ボタンのいずれかの選択を登録し、該選択はその仮想ボタンの見かけの位置に対して前記プローブを配置されることを含んでおり、前記選択に基づいてコンピュータ生成画像を変更するように構成される、
ガイドシステムを提供する。
【0023】
形成された領域は「バウンディングボックス(bounding box)」と称され、使用者はプローブをバウンディングボックスから外に移動させることによって、仮想領域を表示させることができる。これにより、使用者が仮想ボタンを表示させるために実行すべき動きを低減させることができる。
【0024】
仮想ボタンの1つを指し示すために、使用者はプローブをその仮想ボタン内の位置に移動させればよい。好ましくは、所望の仮想ボタンの方向に、例えば、所定の許容差でそのボタンの中心方向に、プローブの長さ方向を一致させればよいようにする。後者により、ボタンの1つを指し示すために、プローブをわずかに動かすだけで済む。この方向を一致させることでボタンの1つを指し示す場合、使用者は選択を確認するために、好ましくは、足踏み操作スイッチなど、使用者の手以外で操作する別のデータ入力装置を使用して、別の確認コマンドを出させるようにしてもよい。使用者がプローブを正確に向けることができるように、プローブからその長さ方向に伸長する線を、使用者に表示するようにしてもよい。線が、予め定められた長さを持つようにして、あるいは、使用者がその長さを制御することにより、例えば、使用者が仮想ボタンをその方向によってだけでなく、プローブからの距離によっても指し示すことができるようにしてもよい。
【0025】
コンピュータ生成画像は、対象者の実際の画像に重ねられることが最も好ましく、かつ、外科医が装着する半透明頭部装着立体ディスプレイ(HMD)に表示されることが好ましい。これにより、外科医は半透明ディスプレイ(例えば、半透明接眼鏡)を通して得られる手術対象者の実際の光景に重ねてコンピュータ生成画像を見ることができる。このHDMは追跡され、コンピュータはこの追跡に基づいて画像を生成するので、外科医が動いても、実際の画像およびコンピュータ生成画像は位置合わせ状態を維持する。
【0026】
システムは2つのモードで使用することができる。第1に、肉眼による手術中、使用者は、半透明モードでディスプレイを覗き込み、手術領域上に重ねられた立体コンピュータグラフィックスを見る。これにより、外科医が切開を行なう前に「通常の視線を超えて」見ること、例えば、腫瘍の位置、頭蓋底、その他の目標の構造の可視化が可能となる。
【0027】
第2に、顕微鏡手術の場合、同じ立体ディスプレイを立体顕微鏡に、例えば、その双眼の頂部に、取り付けることができ、使用者の動きを追跡する代わりに、立体顕微鏡の位置は追跡される。ディスプレイのコンピュータグラフィックスは、追跡される顕微鏡の倍率および焦点のパラメータにリンクされるので、「仮想的」光景を手術領域に反映させることができる。
【0028】
ディスプレイに表示される3Dデータは、以前に「VIVIAN」の名称で発行され、シンガポールのVolume Interactions社によって開発された、「VizDexter」と呼ばれるコンピュータによる神経外科手術プランニングパッケージによってコンピュータグラフィックス化することができる。「VizDexter」は、「Dextroscope(デキストロスコープ)」の仮想現実環境において、マルチモード(CTおよびMRI融合)画像の使用を可能にする(例えば、Kockro RA, Serra L, Yeo TT, Chumpon C, Sitoh YY, Chua GG, Ng Hern, Lee E, Lee YH, Nowinski WL:Planning Simulation of Neurosurgery in a Virtual Reality Environment. Neurosurgery Journal 46[1], 118-137. 2000. 9, および、Serra L, Kockro RA, Chua GG, Ng H, Lee E, Lee YH, Chan C, Nowinski W:Multimodal Volume-based Tumor Neurosurgery Planning in the Virtual Workbench, Proceedings of the First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), Massachusetts, Institute of Technology, Cambridge MA, USA, 1998年10月11-13日 pp. 1007-1016、に開示されている。これらの刊行物の開示を引用によりすべてそのまま本明細書に組み込まれる)。
【0029】
上記において、本発明をシステムの観点から表現したが、システムの使用者によって実行される方法としても表現されうる。
【発明を実施するための最良の形態】
【0030】
本発明の実施形態を、図面を参考としながら、実施例により説明するが、実施形態はこの実施例には限定されない。
【0031】
本発明の実施形態を使用して外科手術を実施する前に、標準的CTおよび/またはMRIスキャナなどによって、患者を走査する。こうして生成された画像系列は、前記デキストロスコープ(Dextroscope)の仮想現実環境に転送される。データは、前述したデキストロスコープについて記述する刊行物に開示された方法で、相互に位置合わせされ、多モード立体オブジェクトとして表示される。デキストロスコープのプランニングセッション中に、使用者は関連する外科構造を識別し、それらを3Dオブジェクトとして表示する(セグメンテーションと呼ばれるプロセス)。加えて、目印点および手術経路を標識化することができる。実際の手術前に、3DデータはOR(手術室:手術シアターとしても知られている)内のナビゲーションシステムに転送される。
【0032】
本発明の実施形態であるシステムを図1に図示する。様々な要素は同縮尺では示されていない。このシステムは、立体LCD頭部装着ディスプレイ(HMD)1を含む(我々は現在ソニーLDI 100を使用している)。ディスプレイは使用者に装着されるか、または、構造5に支持された手術用顕微鏡3上に装着し、接続することができる。また、システムは、プローブ9の位置だけでなく、HMD1および顕微鏡3の位置も追跡する光学的トラッキング装置7を含む。このようなトラッキング装置7は市販されている(Northern Digital社、Polaris)。システムは、リアルタイムの立体グラフィックスによる描画、およびケーブル13を介してHDM1にコンピュータ生成画像を伝送することが可能なコンピュータ11を含む。システムは、ケーブル17を介してコンピュータ11に信号を伝送するフットスイッチ15を含む。さらに、顕微鏡3の設定が、ケーブル19を介してコンピュータ11に伝送される。これについては、後述する。手術の対象者は21として示されている。
【0033】
我々は、物体に付着させた3つの反射型球形マーカを検出することによって動作する受動トラッキング装置7を使用する。ペン形プローブ9などのマーカを担持する物体の形状を知り、かつ校正することによって、トラッキング装置の2つのカメラによってカバーされる3D空間内で、その正確な位置を決定することができる。LCDディスプレイ1を追跡するために、その上部正面縁に沿って、すなわちディスプレイ装着者の額近くに、3つのマーカを付着させた。この際、顕微鏡3は、顕微鏡3に取り付けられた特注支持構造に取り付けられた反射型マーカによって、追跡される。顕微鏡移動の大部分の間、ナビゲーションシステムのカメラへの自由な視線が得られるようになっている。顕微鏡手術中、第2支持構造は、双眼の上にLCDディスプレイ1を装着することを可能にする。Polarisのトラッキング装置7および顕微鏡3は、コンピュータ11とそのシリアルポートを介して通信する。コンピュータの別のポートには、外科処置中に仮想インタフェースを操作するためのフットスイッチ15が接続される。
【0034】
患者21の頭は、画像化手順前に皮膚に接着され、かつ、外科手術が開始されるまで皮膚上に維持される。皮膚マーカ(基点)の助けを借りて、手術前の体積データに位置合わせされる。通常、少なくとも6個の基点が必要である。デキストロスコープの手術前のプランニング手順中に、マーカは識別され標識化される。手術室で、トラッキングシステムによって追跡されるプローブは、画像上で標識化されたものに対応する実世界の(皮膚上)の基点を指し示すために使用される。次いで3Dデータは、単純な半自動位置合わせ手順を使用して、患者に位置合わせされる。位置合わせ手順は、仮想世界を対応する実世界に変換する変換マトリックスを生み出す。この位置合わせ手順は、ほとんどの最新神経外科ナビゲーションシステムにおいて標準的である。
【0035】
画像と患者の位置合わせ手順が完了した後、外科医はHMD1を着用し、セグメント化された画像データが立体的に再構成されて表示されたディスプレイ1の半透明画面を通して、患者21を見る。外科医は、実際の患者に直接重ねられ、かつX線で見るのとほぼ同様の3Dデータを知覚し、観察位置を変えることで、患者の頭の「内部」に現れる3D構造を異なる角度から見ることができる。
【0036】
最初に、顕微鏡3を使わないシステムの使用法を説明する。このシステムを「STAR」(See Through Augmented Reality:シースルー補強現実)と称する。コンピュータ11で生成された立体画像の右目および左目の映像を、HMD1の右および左のLCDにそれぞれ表示する。患者の頭の大きさおよびHMD1までの距離を校正した後、コンピュータ11は外科医の目に映る実際の患者21と正確に一致する画像を生成し、これにより外科医は、プランニング中に形成された手術のコンセプトと実際の患者21との間の正確な対応を理解することができる。仮想のターゲット構造を見ながら、外科医は手術場面から目を逸らすことなく、理想的な皮膚切開、開頭術、および病巣への経路を選択することができる。STARの適用は神経外科を越えて、頭蓋顔面外科または整形外科の分野にまで及び、プランニングセッション中に生成された補強3Dデータの仮想誘導により、骨の再建作業をより正確に実行することができる。
【0037】
使用者はまた、外科医の手中にある実際のペン形被追跡プローブ9に対応する仮想プローブを見る。このプローブにより、使用者は、3Dデータの制御を可能にする仮想3Dインタフェースを作動させ、かつ制御する。後述する通り、プローブ自体も独特のシミュレーションおよびナビゲーションツールにすることができる。
【0038】
MAAR(Microscope assisted augmented reality:顕微鏡支援補強現実)と称する、顕微鏡3を使用するナビゲーションについて説明する。図1のシステムを使用する場合、HMD1を顕微鏡の双眼より上にある支持構造5に取り付け、HDM1のシースルーモードを停止し、コンピュータ11によって供給される画像だけを残す。これらの画像は、顕微鏡3の立体映像出力(ケーブル19を介してコンピュータ11に伝送される、左右両チャネル)の組合せであると共に、コンピュータ11自体によって生成される立体セグメント化3D画像化データである。画像はHMD1に表示され、それぞれの信号強度はビデオミキサによって調整可能である。ディスプレイの3Dデータによってナビゲーションを行なうためには、データは顕微鏡を通した実際の光景(またはその映像信号それぞれ)と正確に一致する必要がある。このために、コンピュータ11は顕微鏡3の光学の設定の知識を使用して、3Dグラフィックスの生成を助ける。顕微鏡のズームおよび焦点のためのモータ値は、シリアルポート(RS232インタフェース)を介して顕微鏡から読み出され、コンピュータ11に伝送される。次いで、予め定められた式を用いて実際の倍率および焦点面が計算される。顕微鏡の位置および向き(姿勢)は、光学的トラッキングシステムから得られる。そして、コンピュータ11は、顕微鏡の倍率、焦点面、および視点が一致するコンピュータ生成画像を3D画像化データの立体画像として生成する。この画像はHMD1に表示される。顕微鏡光学の仕組みを利用して、正確な画像がオンラインで生成されるので、外科医は、手術中に、カメラの校正なく、またはシステム性能に影響を及ぼすことなく、ズームおよび焦点の値を変更することができる。顕微鏡3はリアルタイムで追跡されるので、外科医は顕微鏡3を自由に動かして様々な視点を得ることができる。クロップ面(crop plane)を顕微鏡3の焦点面に結びつけることによって、使用者は、顕微鏡の焦点値を変更することにより、仮想3D画像化データをスライスすることができる。
【0039】
STARおよびMAARの両方で、HMD1によって使用者に提示される、コンピュータ生成画像の内に仮想プローブとして表示される被追跡プローブ9を使用することにより、仮想物体に対する操作がリアルタイムで可能となる。
【0040】
上記では本発明を、顕微鏡3から分離可能なHMD1に供給される画像の点から説明したが、本発明の範囲内の代替例では、顕微鏡の光チャネルへのLCDに基づく画像「注入」システムを使用することによって、3Dコンピュータ生成データを顕微鏡3による光景の上に直接重ねることもできる。この場合、MAARを実行するために、分離可能なHMDを必要としない。
【0041】
ナビゲーション手順中に、MAARまたはSTARのいずれかにより、使用者は、実際の手術の光景に補強された患者の3D画像化データを見る。特に、仮想データは通常、異なる画像スケッチおよびそれらの3Dセグメンテーション(腫瘍、血管、頭蓋底の部分、マーカ、および目印など)から構成されるので、使用者は、それをナビゲーション上の必要に適応させるために、手術中にデータを操作できることが必要である。例えば、3Dデータの透明性を隠し/示しまたは制御し、クロップ面を調整し、距離を測定し、あるいはデータをインポートするために、ツールが必要とされる。本発明によれば、外科医は、受動的被追跡ペン形プローブ9およびフットスイッチ15を使用するだけで、したがって手術室でのキーボードおよびマウスの使用を回避して、コンピュータ11を操作してHMD1に表示される3Dデータを変更することができる。
【0042】
外科医が患者の頭部付近で被追跡プローブを動かすと、プローブ9は患者の頭の周囲に形成された仮想バウンディングボックス内に存在する。これを図2(a)に示す。マーカの位置は25で示される。バウンディング(bounding)ボックス(これは仮想空間ではなく、現実空間にある)は、破線で示されるが、手術が行われる対象領域を取り囲んでいる。この状態で、コンピュータ生成画像は、対象者の画像化データを使用者に示す。さらに、プローブ9に対応する仮想プローブがHMD1の、仮想3D画像化データの現実に対応する位置に表示される。
【0043】
プローブがトラッキングシステムに見えない場合、すなわち、その反射型マーカが隠れるか、あるいはトラッキングボリュームの外にある場合、仮想プローブは消え、外科医はHMDに表示された補強患者データだけを見る。これを図2(c)に示す。
【0044】
外科医がプローブ9を患者の頭部から離し、仮想バウンディングボックスの外に出したが、それがトラッキングシステムの視界内に維持されている場合(図2(b)に示す)、透視システムは、使用者がコントロールパネルであるコンピュータ生成画像だけを見るように、光景を切り替える。このパネルを図3に示す。次いで仮想ハンドヘルドプローブ27が、その先端から光線29が発射される状態で表示され、仮想世界における仮想レーザプローブのように見える。コントロールパネル上のボタン31は、仮想光線をそれらに向けることによって選択することができる。選択されると、フットスイッチを使用してボタンを押すことにより、スイッチオン/オフを切り換えることができる。
【0045】
コントロールパネルは、立体的に表示されるときに、使用者から約1.5mの快適な距離に現れるように配置される。仮想プローブ27自体は、外科医の手中にある実際のプローブ9の動きを現実的に反映し、その結果、小さい手首の動きによりコントロールパネル上の仮想ボタンを指し示すことができる。
【0046】
手術室の空間制約の中で、特に手術用顕微鏡による手術中、上述の操作方法は、外科医が広範囲のナビゲーション関連ツールに快適かつ迅速にアクセスすることを可能にする。2つの要素が重要である。第一に、フローティングコントロールパネルを起動する仮想空間が、患者の頭部を近接距離で取り囲むことにより、外科医の手首がトラッキングシステムの視界内にある限り、外科医が患者の頭部からどの方向にでも簡単な手首の動きによりパネルを操作することができる。第二の重要な要素は、ひとたび仮想ツールラックが見えるようになると、そのツール全部が、周囲の手術用機器と衝突するような空中での大きい動きを必要とせず、小さい手首の動きによって作動させることができることである。外科医は、その手の動きを視覚的に制御する必要なく、かつしたがって手術のワークフローからあまり気を逸らすことなく、ディスプレイ上のデータを見ながら、静止した状態でも快適にナビゲーションを行なうことができるので、これは重要である。この作用を図4に示す。図4は、プローブの先端から光線が発射される様子を示している。
【0047】
仮想インタフェースパネル内で、外科医は、1組の機能にアクセスして、例えば次のように、データの表示を変更することができる。
【0048】
・ 様々な画像形式および/または3Dオブジェクトを隠す/示す。例えば、軟組織の手術では、幾つかのMRIにより得たセグメンテーション(またはオリジナルのMRI面そのもの)に切り替える必要がある。一方、骨に対する作業中は、CTにより得た構造を切り替える必要がある。
【0049】
・ データの表示を、単平面/三平面/3Dフルボリュームに変更する。
【0050】
・ 画像化データをプローブまたは顕微鏡にリンクする。これにより、オンラインクロップ面(データが3Dボリュームとして現れる場合)、単平面、または三平面画像の中心点を、顕微鏡の焦点面、または手術領域に導入することができる仮想的に伸長可能なプローブ(後述)のいずれかにリンクすることができる。
【0051】
・ 仮想プローブを起動し、これを仮想的に伸長させたり、後退させることにより、仮想ドリルおよび修復ツールのような手術中のシミュレーションツール、測定ツール、または組織の収縮またはクリップ配置をシミュレートするツールを制御する(図6参照)。
【0052】
・ 色および透明度調整テーブルを作動させる。
【0053】
・ MAARシステムとSTARシステム間の切替を行なう。
【0054】
・ 手術中の画像化データをインポートし、位置合わせするツール、すなわち3D超音波を作動させる。
【0055】
我々は、仮想プローブを、手術腔部内で補強データを直接操作して、手術の各ステップのナビゲーションおよびシミュレーションを行なうことを可能とするツールにする方法を開発した。
【0056】
第1に、実施例による新規のナビゲーション機能を説明する。仮想ツールラックで選択することによって、ボリューメトリック(体積的)3Dデータをプローブにリンクさせると、プローブの先端の方向に対して垂直なクロップ面が生成される。外科医がプローブを手術場面に導入し、フットスイッチを押すと、フットスイッチを押し続ける限り、プローブから延長する線が仮想的に伸び、患者データをスライスしていくように、表示面がプローブの先端から離れて、線の長さに一致する面が表示される。フットスイッチを離すと、面は最後の位置に留まる。フットスイッチを次回に押すと、線は短くなり、面はそれに相応して、フットスイッチが解除されるまでプローブの先端に向かって移動する。この方法で、フットスイッチを交互に押すことによって、切断面を出し入れすることができ、データの様々な部分を検討することができる。各段階で、コンピュータ11は切断面に基づくデータを、例えば手術の対象者の単平面スライスとして生成する。仮想プローブ延長の長さはオンラインで表示され、手術腔部の深さに関して距離の測定ができる。データを単平面として表示するように選択した場合、この単独面もプローブに対して垂直であり、それは同様の仕方で出入りさせることができる。データを三平面モード、すなわち原点で交わる3つの直交平面で表示する場合、三平面原点は延長可能なプローブにリンクされる。
【0057】
代替的に、かつ任意に、コンピュータ11によって生成されるデータを顕微鏡設定にリンクさせることもでき、この場合、切断面は顕微鏡の焦点面に配置される。この面は、プローブからの線を延長することにより、および/または顕微鏡の焦点ボタンを使用することにより、動かすことができる。
【0058】
図5は、3種類の組織を組み合わせたコンピュータ生成画像を示す。コンピュータ断層撮影(CT)データからボリューメトリック(体積的)に再構成された骨が白く示され、CTと表示されている。血管を示す血管造影(MRA)データは、赤(写真では黒)など第2の色で画像に表示される。磁気共鳴画像データ(MRI)は軟組織をグレーで示し、仮想プローブに対して垂直な面に単平面モードで表示される。MRIのコンピュータ生成画像は、顕微鏡の焦点面にリンクすることによって取り入れられる。プローブを仮想的に延長することによって、MRI面は手術領域の深さまで移動し、使用者は病変(この場合、頸静脈神経線維腫)の空間的範囲を検討することができる。
【0059】
このツールは、プランニングの段階中に配置された外科的に重要な目印(一般的に3個または4個)までのオンライン上の距離を外科医に提供するために使用することもできる。ナビゲーション中、専用の色を有する線がプローブから各目印まで示され、各目印からの距離が各線の横に表示される。目印のこの表示は、フローティングコントロールパネルを用いてオン/オフすることができる。
【0060】
第2に、我々は、本実例により実行することのできる新規のシミュレーション機能を説明する。仮想ドリルツールは、仮想プローブに取り付けられ、ドリルとして作用する仮想球体からなり、ボクセル(3Dピクセル)を切除することによって、リアルタイムで補強仮想データ内に導入できる。球形ドリルは、上述の通りフットスイッチを交互に押すことによって、プローブと球形ドリルとの間に伸長するように描かれる線の長さを変化させることで仮想的に伸長させたり、後退させることが可能である。外科医はこうして、ハンドヘルドプローブを動かすことによって、任意の位置を穿孔することができる。使用者に見える実際の画像とコンピュータ生成画像の組合せを図6に示す。図6aは、患者の頭蓋骨の仮想画像を仮想ツールと共に示す。図6bは、患者の実際の頭蓋骨を、外科医の手中にある実際のペンと共に示し、この場合、その先端は実際の骨の上に載っているか、またはそのわずか上にある。図6cは使用者の頭部装着ディスプレイを通した使用者の視界を示し、そこでは図6aの仮想画像が図6bの実際の画像にそれと相互に位置合わせされて重ねられ、仮想骨内の可視腔部が、伸長可能なボクセル切除球体により穿孔されている。
【0061】
システムはさらに、「修復ツール」を含み、ドリルツールによって切除されたボクセルを修復することを除いては、ドリルツールと同様の働きをする。
【0062】
この実施例によって提供される手術中のシミュレーションツールは、頭蓋底における微細な骨作業中に特に有用である。これにより、外科医は、正確に重ね合わされた3DのCTデータを使用することにより、幾つかの方向に沿って骨の切除のシミュレーションを行なうことができる。実際の骨作業を実行する前に、周囲の構造に関連する最適な穿孔経路を探索し、仮想的にリハーサルすることができる。実際の穿孔中は、重ねられた仮想穿孔データに正確に従うことができる。穿孔の他、上述の伸長可能な仮想プローブは、実際の手術の前に、重ね合わされたデータ上で、軟組織を収縮したり、あるいはクリップまたはボーンスクリューを配置するなど、他の外科手術をシミュレートするためにも使用することができる。仮想プローブは、その後の実際の外科手術におけるステップをより正確かつ安全に実行するために、まさしく手術現場で補強3Dデータを精査しかつ正しく操作することを可能にするツールと見ることができる。
【0063】
本発明を上述のように、単一の実施例のみに関連して説明したが、本発明の範囲内で様々な変形が可能であることは、当業者には明白である。例えば、好ましくはないが、図6に表示から線の表現を省略して、ツールおよびプローブだけを示すことが可能である。しかし線は依然として、ツールの長手方向のプローブとツールとの間の制御可能な距離として、概念的に存在する。
【図面の簡単な説明】
【0064】
【図1】本発明の実施例によるシステムの外科手術中の使用状態を示す図である。
【図2】本発明の実施例における仮想的に境界付けられたボックスと、このボックスとプローブおよび仮想制御パネルの関係を示す図である。
【図3】本実施例において生成された制御パネルを示す図である。
【図4】本実施例において、わずかな手首の動きで、離れたパネル上のボタンを制御する状態を示す概念図である。
【図5】本実施例において、ナビゲーションツールとして機能する仮想的に伸長可能なプローブの使用状態を示す図である。
【図6a】本実施例において、仮想手術中の仮想的に伸長可能なドリルの使用状態を示す図であり、コンピュータにより生成された仮想画像を示す図である。
【図6b】本実施例において、仮想手術中の仮想的に伸長可能なドリルの使用状態を示す図であり、現実の画像を示す図である。
【図6c】本実施例において、仮想手術中の仮想的に伸長可能なドリルの使用状態を示す図であり、仮想画像と現実画像を重ねた状態を示す図である。
【0001】
本発明は、ガイドシステムに関し、さらに詳しくは、手術を実施する際に外科医を支援するための手術ナビゲーションシステムに関するが、これに限定されない。また、本発明は、そのようなシステムを制御するための方法および装置に関する。
【背景技術】
【0002】
画像ガイドシステムは神経外科で幅広く採用されており、広範囲の外科処置の精度を高め、かつ侵襲性を低減することが証明されてきた。現在、画像ガイド外科システム(「ナビゲーションシステム」)は、手術前に、例えば、MRIまたはCTによって、収集したデータから構築される一連の画像に基づいており、該画像は光学的トラッキングシステムによって現実の患者に対して位置合わせされる。これを行なうために、患者の皮膚に検出マーカを配置し、マーカを画像化データ上で見うるマーカの対応物と相関させる。外科手術中、画像は画面上の3直交平面に画像ボリュームを通して表示される一方、外科医は、トラッキングシステムによって追跡されるプローブを保持する。プローブを手術領域内に導入すると、プローブ先端の位置は画像上にアイコンとして表わされる。手術前の画像化データを実際の手術空間とリンクさせることによって、ナビゲーションシステムは、周囲の構造に対するツールの正確な位置に関する有用な情報を外科医に提供し、手術中の状態を手術前の計画に関連付けるのを助ける。
【0003】
これらの利点にもかかわらず、現行ナビゲーションシステムは様々な欠点を免れない。
【0004】
第1に、外科医は、ナビゲーション手順中に手術場面から目を逸らして、コンピュータモニタを見る必要がある。これは外科手術のワークフローを中断させる傾向があり、実際には、手術はしばしば2人がかりの仕事になり、外科医が顕微鏡を通して手術場面を見て、その助手がモニタを見ながら外科医に助言する必要がある。
【0005】
第2に、手術中に画像を操作すること、例えば、CTとMRIとの間の切替、画面のウィンドウの変更、計画段階からのマーカまたはセグメント化構造の起動、色およびコントラスト調整などは、キーボード、マウス、またはタッチスクリーンの操作を必要とし、そのため外科医は注意をそらされ、かつ機器を滅菌布で包装する必要があるので面倒である。プローブ型制御装置が提案されているが(Hinckley K, Pausch R, Goble C J, Kassel N, F :A Survey of Design Issues in Spatial Input, Proceedings of ACM UIST'94 Symposium on User Interface Software & Technology, pp. 213-222、 および Mackinlay J, Card S, Robertson G:Rapid Controlled Movement Through a Virtual 3D Workspace, Comp. Grap., 24(4), 1990, 171-176 を参照されたい) 、全て使用に欠点がある。
【0006】
第3に、画像化データを2D直交スライスとして提示する全ての現行ナビゲーションシステムに共通する問題は、外科医が、頭の中で再構成した3D情報を含む画像系列の空間的方向性を、手術中に覆われる患者の頭の向きに対して関連付けなければならないことである。
【0007】
患者の肉眼による光景をコンピュータ生成画像と結合することによって、シースルー(透視)補強を使用するシステムが現在検討されている(Blackwell M, O'Toole RV, Morgan F, Gregor L:Performance and Accuracy experiments with 3D and 2D Image overlay systems. Proceedings of MRCAS 95, Baltimore, USA, 1995, pp 312-317、および、DiGioia, Anthony M., Branislav Jaramaz, Robert V. O'Toole, David A. Simon, and Takeo Kanade. Medical Robotics And Computer Assisted Surgery In Orthopaedics. In Interactive Technology and the New Paradigm for Healthcare, ed. K. Morgan, R.M. Satava, H.B. Sieberg, R. Mattheus, and J.P. Christensen. 88-90. IOS Press, 1995 を参照されたい)。このシステムでは、上下逆さまのモニタ上の倒立画像をハーフミラーで手術場面に重ね合わせて画像を結合する。使用者はミラーおよび下の患者を見渡しながら、ヘッドトラッキングシステムを装着する。しかし、著者らは、仮想物体と実物体との間にかなりの誤差があることを報告している。
【0008】
現在、研究開発中の他のシステムは、コンピュータ生成画像を、手術室(手術シアター)の固定位置に配置されたカメラまたは使用者の頭部装着ディスプレイを通して得られた手術の光景の映像と結合する。結合された信号は次いで、使用者のHMD(頭部装着ディスプレイ)に伝達される。そのようなプロジェクトの3つの例が、開示されている(Fuchs H, Mark A, Livingston, Ramesh Raskar, D'nardo Colucci, Kurtis Keller, Andrei State, Jessica R. Crawford, Paul Rademacher, Samuel H. Drake, and Anthony A. Meyer, MD. Augmented Reality Visualization for Laparoscopic Surgery. Proceedings of First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI '98), 1998年10月11-13日, Massachusetts Institute of Technology, Cambridge, MA, USA、 Fuchs H, State A, Pisano ED, Garrett WF, Gentaro Hirota, Mark A. Livingston, Mary C. Whitton, Pizer SM. (Towards) Performing Ultrasound-Guided Needle Biopsies from within a Head-Mounted Display. Proceedings of Visualization in Biomedical Computing 1996, (Hamburg, Germany, 1996年9月22-25日), pgs. 591-600、および、 State, Andrei, Mark A. Livingston, Gentaro Hirota, William F. Garrett, Mary C. Whitton, Henry Fuchs, and Etta D. Pisano (MD). Technologies for Augmented-Reality Systems: realizing Ultrasound-Guided Needle Biopsies. Proceedings of SIGGRAPH 96 (New Orleans, LA, 1996年8月4-9日), in Computer Graphics Proceedings, Annual Conference Series 1996, ACM SIGGRARH, pgs. 439-446を参照)。
【0009】
別の技術(Edwards PJ, Hawkes DJ, Hill DLG, Jewell D, Spink R, Strong A, Gleeson M:Augmented reality in the stereo microscope for Otolaryngology and neurosurgical Guidance. Proceedings of MRCAS 95, Baltimore, USA, 1995, pp 8-15を参照)は、3Dグラフィックスを重ねた表示用の装置として、手術用顕微鏡を使用する。顕微鏡の光チャネルへの立体構造の「画像注入」により、外科医は手術場面の上に重ねられた画像を見る。この技術は、操作機能を有することなく、比較的低い解像度の単純なメッシュを手術場面に重ね合わせるものである。著者らは、実視に対して重ね合わされたデータの立体認知に関する難しさを報告している。
【0010】
これらの技術は、使用者の案内用に意図されたものであるが、全て用途および使い勝手において制限される。
【0011】
【非特許文献1】
Hinckley K, Pausch R, Goble C J, Kassel N, F :A Survey of Design Issues in Spatial Input, Proceedings of ACM UIST'94 Symposium on User Interface Software & Technology, pp. 213-222
【0012】
【非特許文献2】
Mackinlay J, Card S, Robertson G:Rapid Controlled Movement Through a Virtual 3D Workspace, Comp. Grap., 24(4), 1990, 171-176
【0013】
【非特許文献3】
Blackwell M, O'Toole RV, Morgan F, Gregor L:Performance and Accuracy experiments with 3D and 2D Image overlay systems. Proceedings of MRCAS 95, Baltimore, USA, 1995, pp 312-317
【0014】
【非特許文献4】
DiGioia, Anthony M., Branislav Jaramaz, Robert V. O'Toole, David A. Simon, and Takeo Kanade. Medical Robotics And Computer Assisted Surgery In Orthopaedics. In Interactive Technology and the New Paradigm for Healthcare, ed. K. Morgan, R.M. Satava, H.B. Sieberg, R. Mattheus, and J.P. Christensen. 88-90. IOS Press, 1995
【0015】
【非特許文献5】
Fuchs H, Mark A, Livingston, Ramesh Raskar, D'nardo Colucci, Kurtis Keller, Andrei State, Jessica R. Crawford, Paul Rademacher, Samuel H. Drake, and Anthony A. Meyer, MD. Augmented Reality Visualization for Laparoscopic Surgery. Proceedings of First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI '98), 1998年10月11-13日, Massachusetts Institute of Technology, Cambridge, MA, USA
【0016】
【非特許文献6】
Fuchs H, State A, Pisano ED, Garrett WF, Gentaro Hirota, Mark A. Livingston, Mary C. Whitton, Pizer SM. (Towards) Performing Ultrasound-Guided Needle Biopsies from within a Head-Mounted Display. Proceedings of Visualization in Biomedical Computing 1996, (Hamburg, Germany, 1996年9月22-25日), pgs. 591-600
【0017】
【非特許文献7】
State, Andrei, Mark A. Livingston, Gentaro Hirota, William F. Garrett, Mary C. Whitton, Henry Fuchs, and Etta D. Pisano (MD). Technologies for Augmented-Reality Systems: realizing Ultrasound-Guided Needle Biopsies. Proceedings of SIGGRAPH 96 (New Orleans, LA, 1996年8月4-9日), in Computer Graphics Proceedings, Annual Conference Series 1996, ACM SIGGRARH, pgs. 439-446
【発明の開示】
【発明が解決しようとする課題】
【0018】
本発明は、上記の問題の少なくとも1つに対処し、新規かつ有用なナビゲーションシステムならびにそれらを制御するための方法および装置を提案することを目的とする。
【0019】
特に、本発明は、外科手術中に使用することができるシステムに関連する。しかし、本発明の適用は外科手術に限定されず、以下に述べるシステムおよび方法は、細心の注意を要する手術ないし操作にも使用でき、また、手術中のみならず計画段階中においても、使用することができる。
【0020】
本発明は、手術室でナビゲーション手順中に、例えばコンピュータ生成画像のフォーマットを変更するために、容易かつ迅速に手術ナビゲーションシステムを操作できることが重要であるとの知見によっている。また、コンピュータ生成画像を使用することによって、手術現場で直接特定の外科処置をシミュレートできることは有利である。
【課題を解決するための手段】
【0021】
概略すると、本発明は、手術の対象者のコンピュータ生成画像(3Dおよび/または2Dスライス)を表示するためのディスプレイを有する画像に基づくガイドシステムを使用する際に形成される領域内で手術(例えば、外科手術)を行なう使用者によって保持されるプローブを提案する。該プローブの位置は、ガイドシステムによって追跡され、また、例えば、システムが、使用者がプローブを直接見ることを可能にしたり、または、コンピュータ生成画像がプローブの位置を示すアイコンを含むことにより、使用者はプローブの位置を見ることができる。プローブを動かすことによって、使用者はシステム内にプローブを制御するための情報を入力して、例えば、コンピュータによって示される画像内において対象者の肉体形状を変化させることができる。
【0022】
本発明は、形成された三次元領域で手術を実施する使用者が使用するためのガイドシステムであって、手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、画像を使用者に表示するためのディスプレイと、使用者がその位置を見ることができるプローブと、システムによってプローブの位置を追跡し、かつ、その位置をデータ処理装置に伝送するためのトラッキング装置を含み、
該データ処理装置は、使用者がプローブを形成された領域の外側で、その領域の周囲にある選択領域に移動させると、システムへの対応する指示に各々関連付けられる1つまたはそれ以上の仮想ボタンを生成するように構成され、
該データ処理装置は、使用者による前記仮想ボタンのいずれかの選択を登録し、該選択はその仮想ボタンの見かけの位置に対して前記プローブを配置されることを含んでおり、前記選択に基づいてコンピュータ生成画像を変更するように構成される、
ガイドシステムを提供する。
【0023】
形成された領域は「バウンディングボックス(bounding box)」と称され、使用者はプローブをバウンディングボックスから外に移動させることによって、仮想領域を表示させることができる。これにより、使用者が仮想ボタンを表示させるために実行すべき動きを低減させることができる。
【0024】
仮想ボタンの1つを指し示すために、使用者はプローブをその仮想ボタン内の位置に移動させればよい。好ましくは、所望の仮想ボタンの方向に、例えば、所定の許容差でそのボタンの中心方向に、プローブの長さ方向を一致させればよいようにする。後者により、ボタンの1つを指し示すために、プローブをわずかに動かすだけで済む。この方向を一致させることでボタンの1つを指し示す場合、使用者は選択を確認するために、好ましくは、足踏み操作スイッチなど、使用者の手以外で操作する別のデータ入力装置を使用して、別の確認コマンドを出させるようにしてもよい。使用者がプローブを正確に向けることができるように、プローブからその長さ方向に伸長する線を、使用者に表示するようにしてもよい。線が、予め定められた長さを持つようにして、あるいは、使用者がその長さを制御することにより、例えば、使用者が仮想ボタンをその方向によってだけでなく、プローブからの距離によっても指し示すことができるようにしてもよい。
【0025】
コンピュータ生成画像は、対象者の実際の画像に重ねられることが最も好ましく、かつ、外科医が装着する半透明頭部装着立体ディスプレイ(HMD)に表示されることが好ましい。これにより、外科医は半透明ディスプレイ(例えば、半透明接眼鏡)を通して得られる手術対象者の実際の光景に重ねてコンピュータ生成画像を見ることができる。このHDMは追跡され、コンピュータはこの追跡に基づいて画像を生成するので、外科医が動いても、実際の画像およびコンピュータ生成画像は位置合わせ状態を維持する。
【0026】
システムは2つのモードで使用することができる。第1に、肉眼による手術中、使用者は、半透明モードでディスプレイを覗き込み、手術領域上に重ねられた立体コンピュータグラフィックスを見る。これにより、外科医が切開を行なう前に「通常の視線を超えて」見ること、例えば、腫瘍の位置、頭蓋底、その他の目標の構造の可視化が可能となる。
【0027】
第2に、顕微鏡手術の場合、同じ立体ディスプレイを立体顕微鏡に、例えば、その双眼の頂部に、取り付けることができ、使用者の動きを追跡する代わりに、立体顕微鏡の位置は追跡される。ディスプレイのコンピュータグラフィックスは、追跡される顕微鏡の倍率および焦点のパラメータにリンクされるので、「仮想的」光景を手術領域に反映させることができる。
【0028】
ディスプレイに表示される3Dデータは、以前に「VIVIAN」の名称で発行され、シンガポールのVolume Interactions社によって開発された、「VizDexter」と呼ばれるコンピュータによる神経外科手術プランニングパッケージによってコンピュータグラフィックス化することができる。「VizDexter」は、「Dextroscope(デキストロスコープ)」の仮想現実環境において、マルチモード(CTおよびMRI融合)画像の使用を可能にする(例えば、Kockro RA, Serra L, Yeo TT, Chumpon C, Sitoh YY, Chua GG, Ng Hern, Lee E, Lee YH, Nowinski WL:Planning Simulation of Neurosurgery in a Virtual Reality Environment. Neurosurgery Journal 46[1], 118-137. 2000. 9, および、Serra L, Kockro RA, Chua GG, Ng H, Lee E, Lee YH, Chan C, Nowinski W:Multimodal Volume-based Tumor Neurosurgery Planning in the Virtual Workbench, Proceedings of the First International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), Massachusetts, Institute of Technology, Cambridge MA, USA, 1998年10月11-13日 pp. 1007-1016、に開示されている。これらの刊行物の開示を引用によりすべてそのまま本明細書に組み込まれる)。
【0029】
上記において、本発明をシステムの観点から表現したが、システムの使用者によって実行される方法としても表現されうる。
【発明を実施するための最良の形態】
【0030】
本発明の実施形態を、図面を参考としながら、実施例により説明するが、実施形態はこの実施例には限定されない。
【0031】
本発明の実施形態を使用して外科手術を実施する前に、標準的CTおよび/またはMRIスキャナなどによって、患者を走査する。こうして生成された画像系列は、前記デキストロスコープ(Dextroscope)の仮想現実環境に転送される。データは、前述したデキストロスコープについて記述する刊行物に開示された方法で、相互に位置合わせされ、多モード立体オブジェクトとして表示される。デキストロスコープのプランニングセッション中に、使用者は関連する外科構造を識別し、それらを3Dオブジェクトとして表示する(セグメンテーションと呼ばれるプロセス)。加えて、目印点および手術経路を標識化することができる。実際の手術前に、3DデータはOR(手術室:手術シアターとしても知られている)内のナビゲーションシステムに転送される。
【0032】
本発明の実施形態であるシステムを図1に図示する。様々な要素は同縮尺では示されていない。このシステムは、立体LCD頭部装着ディスプレイ(HMD)1を含む(我々は現在ソニーLDI 100を使用している)。ディスプレイは使用者に装着されるか、または、構造5に支持された手術用顕微鏡3上に装着し、接続することができる。また、システムは、プローブ9の位置だけでなく、HMD1および顕微鏡3の位置も追跡する光学的トラッキング装置7を含む。このようなトラッキング装置7は市販されている(Northern Digital社、Polaris)。システムは、リアルタイムの立体グラフィックスによる描画、およびケーブル13を介してHDM1にコンピュータ生成画像を伝送することが可能なコンピュータ11を含む。システムは、ケーブル17を介してコンピュータ11に信号を伝送するフットスイッチ15を含む。さらに、顕微鏡3の設定が、ケーブル19を介してコンピュータ11に伝送される。これについては、後述する。手術の対象者は21として示されている。
【0033】
我々は、物体に付着させた3つの反射型球形マーカを検出することによって動作する受動トラッキング装置7を使用する。ペン形プローブ9などのマーカを担持する物体の形状を知り、かつ校正することによって、トラッキング装置の2つのカメラによってカバーされる3D空間内で、その正確な位置を決定することができる。LCDディスプレイ1を追跡するために、その上部正面縁に沿って、すなわちディスプレイ装着者の額近くに、3つのマーカを付着させた。この際、顕微鏡3は、顕微鏡3に取り付けられた特注支持構造に取り付けられた反射型マーカによって、追跡される。顕微鏡移動の大部分の間、ナビゲーションシステムのカメラへの自由な視線が得られるようになっている。顕微鏡手術中、第2支持構造は、双眼の上にLCDディスプレイ1を装着することを可能にする。Polarisのトラッキング装置7および顕微鏡3は、コンピュータ11とそのシリアルポートを介して通信する。コンピュータの別のポートには、外科処置中に仮想インタフェースを操作するためのフットスイッチ15が接続される。
【0034】
患者21の頭は、画像化手順前に皮膚に接着され、かつ、外科手術が開始されるまで皮膚上に維持される。皮膚マーカ(基点)の助けを借りて、手術前の体積データに位置合わせされる。通常、少なくとも6個の基点が必要である。デキストロスコープの手術前のプランニング手順中に、マーカは識別され標識化される。手術室で、トラッキングシステムによって追跡されるプローブは、画像上で標識化されたものに対応する実世界の(皮膚上)の基点を指し示すために使用される。次いで3Dデータは、単純な半自動位置合わせ手順を使用して、患者に位置合わせされる。位置合わせ手順は、仮想世界を対応する実世界に変換する変換マトリックスを生み出す。この位置合わせ手順は、ほとんどの最新神経外科ナビゲーションシステムにおいて標準的である。
【0035】
画像と患者の位置合わせ手順が完了した後、外科医はHMD1を着用し、セグメント化された画像データが立体的に再構成されて表示されたディスプレイ1の半透明画面を通して、患者21を見る。外科医は、実際の患者に直接重ねられ、かつX線で見るのとほぼ同様の3Dデータを知覚し、観察位置を変えることで、患者の頭の「内部」に現れる3D構造を異なる角度から見ることができる。
【0036】
最初に、顕微鏡3を使わないシステムの使用法を説明する。このシステムを「STAR」(See Through Augmented Reality:シースルー補強現実)と称する。コンピュータ11で生成された立体画像の右目および左目の映像を、HMD1の右および左のLCDにそれぞれ表示する。患者の頭の大きさおよびHMD1までの距離を校正した後、コンピュータ11は外科医の目に映る実際の患者21と正確に一致する画像を生成し、これにより外科医は、プランニング中に形成された手術のコンセプトと実際の患者21との間の正確な対応を理解することができる。仮想のターゲット構造を見ながら、外科医は手術場面から目を逸らすことなく、理想的な皮膚切開、開頭術、および病巣への経路を選択することができる。STARの適用は神経外科を越えて、頭蓋顔面外科または整形外科の分野にまで及び、プランニングセッション中に生成された補強3Dデータの仮想誘導により、骨の再建作業をより正確に実行することができる。
【0037】
使用者はまた、外科医の手中にある実際のペン形被追跡プローブ9に対応する仮想プローブを見る。このプローブにより、使用者は、3Dデータの制御を可能にする仮想3Dインタフェースを作動させ、かつ制御する。後述する通り、プローブ自体も独特のシミュレーションおよびナビゲーションツールにすることができる。
【0038】
MAAR(Microscope assisted augmented reality:顕微鏡支援補強現実)と称する、顕微鏡3を使用するナビゲーションについて説明する。図1のシステムを使用する場合、HMD1を顕微鏡の双眼より上にある支持構造5に取り付け、HDM1のシースルーモードを停止し、コンピュータ11によって供給される画像だけを残す。これらの画像は、顕微鏡3の立体映像出力(ケーブル19を介してコンピュータ11に伝送される、左右両チャネル)の組合せであると共に、コンピュータ11自体によって生成される立体セグメント化3D画像化データである。画像はHMD1に表示され、それぞれの信号強度はビデオミキサによって調整可能である。ディスプレイの3Dデータによってナビゲーションを行なうためには、データは顕微鏡を通した実際の光景(またはその映像信号それぞれ)と正確に一致する必要がある。このために、コンピュータ11は顕微鏡3の光学の設定の知識を使用して、3Dグラフィックスの生成を助ける。顕微鏡のズームおよび焦点のためのモータ値は、シリアルポート(RS232インタフェース)を介して顕微鏡から読み出され、コンピュータ11に伝送される。次いで、予め定められた式を用いて実際の倍率および焦点面が計算される。顕微鏡の位置および向き(姿勢)は、光学的トラッキングシステムから得られる。そして、コンピュータ11は、顕微鏡の倍率、焦点面、および視点が一致するコンピュータ生成画像を3D画像化データの立体画像として生成する。この画像はHMD1に表示される。顕微鏡光学の仕組みを利用して、正確な画像がオンラインで生成されるので、外科医は、手術中に、カメラの校正なく、またはシステム性能に影響を及ぼすことなく、ズームおよび焦点の値を変更することができる。顕微鏡3はリアルタイムで追跡されるので、外科医は顕微鏡3を自由に動かして様々な視点を得ることができる。クロップ面(crop plane)を顕微鏡3の焦点面に結びつけることによって、使用者は、顕微鏡の焦点値を変更することにより、仮想3D画像化データをスライスすることができる。
【0039】
STARおよびMAARの両方で、HMD1によって使用者に提示される、コンピュータ生成画像の内に仮想プローブとして表示される被追跡プローブ9を使用することにより、仮想物体に対する操作がリアルタイムで可能となる。
【0040】
上記では本発明を、顕微鏡3から分離可能なHMD1に供給される画像の点から説明したが、本発明の範囲内の代替例では、顕微鏡の光チャネルへのLCDに基づく画像「注入」システムを使用することによって、3Dコンピュータ生成データを顕微鏡3による光景の上に直接重ねることもできる。この場合、MAARを実行するために、分離可能なHMDを必要としない。
【0041】
ナビゲーション手順中に、MAARまたはSTARのいずれかにより、使用者は、実際の手術の光景に補強された患者の3D画像化データを見る。特に、仮想データは通常、異なる画像スケッチおよびそれらの3Dセグメンテーション(腫瘍、血管、頭蓋底の部分、マーカ、および目印など)から構成されるので、使用者は、それをナビゲーション上の必要に適応させるために、手術中にデータを操作できることが必要である。例えば、3Dデータの透明性を隠し/示しまたは制御し、クロップ面を調整し、距離を測定し、あるいはデータをインポートするために、ツールが必要とされる。本発明によれば、外科医は、受動的被追跡ペン形プローブ9およびフットスイッチ15を使用するだけで、したがって手術室でのキーボードおよびマウスの使用を回避して、コンピュータ11を操作してHMD1に表示される3Dデータを変更することができる。
【0042】
外科医が患者の頭部付近で被追跡プローブを動かすと、プローブ9は患者の頭の周囲に形成された仮想バウンディングボックス内に存在する。これを図2(a)に示す。マーカの位置は25で示される。バウンディング(bounding)ボックス(これは仮想空間ではなく、現実空間にある)は、破線で示されるが、手術が行われる対象領域を取り囲んでいる。この状態で、コンピュータ生成画像は、対象者の画像化データを使用者に示す。さらに、プローブ9に対応する仮想プローブがHMD1の、仮想3D画像化データの現実に対応する位置に表示される。
【0043】
プローブがトラッキングシステムに見えない場合、すなわち、その反射型マーカが隠れるか、あるいはトラッキングボリュームの外にある場合、仮想プローブは消え、外科医はHMDに表示された補強患者データだけを見る。これを図2(c)に示す。
【0044】
外科医がプローブ9を患者の頭部から離し、仮想バウンディングボックスの外に出したが、それがトラッキングシステムの視界内に維持されている場合(図2(b)に示す)、透視システムは、使用者がコントロールパネルであるコンピュータ生成画像だけを見るように、光景を切り替える。このパネルを図3に示す。次いで仮想ハンドヘルドプローブ27が、その先端から光線29が発射される状態で表示され、仮想世界における仮想レーザプローブのように見える。コントロールパネル上のボタン31は、仮想光線をそれらに向けることによって選択することができる。選択されると、フットスイッチを使用してボタンを押すことにより、スイッチオン/オフを切り換えることができる。
【0045】
コントロールパネルは、立体的に表示されるときに、使用者から約1.5mの快適な距離に現れるように配置される。仮想プローブ27自体は、外科医の手中にある実際のプローブ9の動きを現実的に反映し、その結果、小さい手首の動きによりコントロールパネル上の仮想ボタンを指し示すことができる。
【0046】
手術室の空間制約の中で、特に手術用顕微鏡による手術中、上述の操作方法は、外科医が広範囲のナビゲーション関連ツールに快適かつ迅速にアクセスすることを可能にする。2つの要素が重要である。第一に、フローティングコントロールパネルを起動する仮想空間が、患者の頭部を近接距離で取り囲むことにより、外科医の手首がトラッキングシステムの視界内にある限り、外科医が患者の頭部からどの方向にでも簡単な手首の動きによりパネルを操作することができる。第二の重要な要素は、ひとたび仮想ツールラックが見えるようになると、そのツール全部が、周囲の手術用機器と衝突するような空中での大きい動きを必要とせず、小さい手首の動きによって作動させることができることである。外科医は、その手の動きを視覚的に制御する必要なく、かつしたがって手術のワークフローからあまり気を逸らすことなく、ディスプレイ上のデータを見ながら、静止した状態でも快適にナビゲーションを行なうことができるので、これは重要である。この作用を図4に示す。図4は、プローブの先端から光線が発射される様子を示している。
【0047】
仮想インタフェースパネル内で、外科医は、1組の機能にアクセスして、例えば次のように、データの表示を変更することができる。
【0048】
・ 様々な画像形式および/または3Dオブジェクトを隠す/示す。例えば、軟組織の手術では、幾つかのMRIにより得たセグメンテーション(またはオリジナルのMRI面そのもの)に切り替える必要がある。一方、骨に対する作業中は、CTにより得た構造を切り替える必要がある。
【0049】
・ データの表示を、単平面/三平面/3Dフルボリュームに変更する。
【0050】
・ 画像化データをプローブまたは顕微鏡にリンクする。これにより、オンラインクロップ面(データが3Dボリュームとして現れる場合)、単平面、または三平面画像の中心点を、顕微鏡の焦点面、または手術領域に導入することができる仮想的に伸長可能なプローブ(後述)のいずれかにリンクすることができる。
【0051】
・ 仮想プローブを起動し、これを仮想的に伸長させたり、後退させることにより、仮想ドリルおよび修復ツールのような手術中のシミュレーションツール、測定ツール、または組織の収縮またはクリップ配置をシミュレートするツールを制御する(図6参照)。
【0052】
・ 色および透明度調整テーブルを作動させる。
【0053】
・ MAARシステムとSTARシステム間の切替を行なう。
【0054】
・ 手術中の画像化データをインポートし、位置合わせするツール、すなわち3D超音波を作動させる。
【0055】
我々は、仮想プローブを、手術腔部内で補強データを直接操作して、手術の各ステップのナビゲーションおよびシミュレーションを行なうことを可能とするツールにする方法を開発した。
【0056】
第1に、実施例による新規のナビゲーション機能を説明する。仮想ツールラックで選択することによって、ボリューメトリック(体積的)3Dデータをプローブにリンクさせると、プローブの先端の方向に対して垂直なクロップ面が生成される。外科医がプローブを手術場面に導入し、フットスイッチを押すと、フットスイッチを押し続ける限り、プローブから延長する線が仮想的に伸び、患者データをスライスしていくように、表示面がプローブの先端から離れて、線の長さに一致する面が表示される。フットスイッチを離すと、面は最後の位置に留まる。フットスイッチを次回に押すと、線は短くなり、面はそれに相応して、フットスイッチが解除されるまでプローブの先端に向かって移動する。この方法で、フットスイッチを交互に押すことによって、切断面を出し入れすることができ、データの様々な部分を検討することができる。各段階で、コンピュータ11は切断面に基づくデータを、例えば手術の対象者の単平面スライスとして生成する。仮想プローブ延長の長さはオンラインで表示され、手術腔部の深さに関して距離の測定ができる。データを単平面として表示するように選択した場合、この単独面もプローブに対して垂直であり、それは同様の仕方で出入りさせることができる。データを三平面モード、すなわち原点で交わる3つの直交平面で表示する場合、三平面原点は延長可能なプローブにリンクされる。
【0057】
代替的に、かつ任意に、コンピュータ11によって生成されるデータを顕微鏡設定にリンクさせることもでき、この場合、切断面は顕微鏡の焦点面に配置される。この面は、プローブからの線を延長することにより、および/または顕微鏡の焦点ボタンを使用することにより、動かすことができる。
【0058】
図5は、3種類の組織を組み合わせたコンピュータ生成画像を示す。コンピュータ断層撮影(CT)データからボリューメトリック(体積的)に再構成された骨が白く示され、CTと表示されている。血管を示す血管造影(MRA)データは、赤(写真では黒)など第2の色で画像に表示される。磁気共鳴画像データ(MRI)は軟組織をグレーで示し、仮想プローブに対して垂直な面に単平面モードで表示される。MRIのコンピュータ生成画像は、顕微鏡の焦点面にリンクすることによって取り入れられる。プローブを仮想的に延長することによって、MRI面は手術領域の深さまで移動し、使用者は病変(この場合、頸静脈神経線維腫)の空間的範囲を検討することができる。
【0059】
このツールは、プランニングの段階中に配置された外科的に重要な目印(一般的に3個または4個)までのオンライン上の距離を外科医に提供するために使用することもできる。ナビゲーション中、専用の色を有する線がプローブから各目印まで示され、各目印からの距離が各線の横に表示される。目印のこの表示は、フローティングコントロールパネルを用いてオン/オフすることができる。
【0060】
第2に、我々は、本実例により実行することのできる新規のシミュレーション機能を説明する。仮想ドリルツールは、仮想プローブに取り付けられ、ドリルとして作用する仮想球体からなり、ボクセル(3Dピクセル)を切除することによって、リアルタイムで補強仮想データ内に導入できる。球形ドリルは、上述の通りフットスイッチを交互に押すことによって、プローブと球形ドリルとの間に伸長するように描かれる線の長さを変化させることで仮想的に伸長させたり、後退させることが可能である。外科医はこうして、ハンドヘルドプローブを動かすことによって、任意の位置を穿孔することができる。使用者に見える実際の画像とコンピュータ生成画像の組合せを図6に示す。図6aは、患者の頭蓋骨の仮想画像を仮想ツールと共に示す。図6bは、患者の実際の頭蓋骨を、外科医の手中にある実際のペンと共に示し、この場合、その先端は実際の骨の上に載っているか、またはそのわずか上にある。図6cは使用者の頭部装着ディスプレイを通した使用者の視界を示し、そこでは図6aの仮想画像が図6bの実際の画像にそれと相互に位置合わせされて重ねられ、仮想骨内の可視腔部が、伸長可能なボクセル切除球体により穿孔されている。
【0061】
システムはさらに、「修復ツール」を含み、ドリルツールによって切除されたボクセルを修復することを除いては、ドリルツールと同様の働きをする。
【0062】
この実施例によって提供される手術中のシミュレーションツールは、頭蓋底における微細な骨作業中に特に有用である。これにより、外科医は、正確に重ね合わされた3DのCTデータを使用することにより、幾つかの方向に沿って骨の切除のシミュレーションを行なうことができる。実際の骨作業を実行する前に、周囲の構造に関連する最適な穿孔経路を探索し、仮想的にリハーサルすることができる。実際の穿孔中は、重ねられた仮想穿孔データに正確に従うことができる。穿孔の他、上述の伸長可能な仮想プローブは、実際の手術の前に、重ね合わされたデータ上で、軟組織を収縮したり、あるいはクリップまたはボーンスクリューを配置するなど、他の外科手術をシミュレートするためにも使用することができる。仮想プローブは、その後の実際の外科手術におけるステップをより正確かつ安全に実行するために、まさしく手術現場で補強3Dデータを精査しかつ正しく操作することを可能にするツールと見ることができる。
【0063】
本発明を上述のように、単一の実施例のみに関連して説明したが、本発明の範囲内で様々な変形が可能であることは、当業者には明白である。例えば、好ましくはないが、図6に表示から線の表現を省略して、ツールおよびプローブだけを示すことが可能である。しかし線は依然として、ツールの長手方向のプローブとツールとの間の制御可能な距離として、概念的に存在する。
【図面の簡単な説明】
【0064】
【図1】本発明の実施例によるシステムの外科手術中の使用状態を示す図である。
【図2】本発明の実施例における仮想的に境界付けられたボックスと、このボックスとプローブおよび仮想制御パネルの関係を示す図である。
【図3】本実施例において生成された制御パネルを示す図である。
【図4】本実施例において、わずかな手首の動きで、離れたパネル上のボタンを制御する状態を示す概念図である。
【図5】本実施例において、ナビゲーションツールとして機能する仮想的に伸長可能なプローブの使用状態を示す図である。
【図6a】本実施例において、仮想手術中の仮想的に伸長可能なドリルの使用状態を示す図であり、コンピュータにより生成された仮想画像を示す図である。
【図6b】本実施例において、仮想手術中の仮想的に伸長可能なドリルの使用状態を示す図であり、現実の画像を示す図である。
【図6c】本実施例において、仮想手術中の仮想的に伸長可能なドリルの使用状態を示す図であり、仮想画像と現実画像を重ねた状態を示す図である。
Claims (11)
- 形成された三次元領域で手術を実施する使用者が使用するためのガイドシステムであって、
手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、前記画像を前記使用者に表示するためのディスプレイと、前記使用者が見うる位置を有するプローブと、前記システムによって前記プローブの位置を追跡し、かつ、その位置を前記データ処理装置に伝送するためのトラッキング装置とを含み、
前記データ処理装置は、前記使用者が前記プローブを前記形成された領域の外側で、その周囲にある選択領域に移動させると、前記システムへの対応する指示に各々関連付けられる1つまたはそれ以上の仮想ボタンを生成するように構成され、
前記データ処理装置は、前記使用者による前記仮想ボタンのいずれかの選択を登録し、前記選択がその仮想ボタンの見かけの位置に対して前記プローブを配置されることを含んでおり、前記選択に基づいてコンピュータ生成画像を変更するように構成される、
システム。 - 前記データ処理装置が、手術対象者の画像を前記対象者の上に重ね合わせて生成するように構成された、請求項1に記載のシステム。
- 前記プローブの配置が、前記プローブの長手軸を前記ボタンに一致させることを含む、請求項1または2に記載のシステム。
- 前記仮想ボタンが表示される間、前記データ処理装置が、画像内に前記プローブからその長手軸に平行に伸長する線を含むように構成される、請求項3に記載のシステム。
- 前記ディスプレイが使用者の頭部に装着するように構成され、前記使用者は前記ディスプレイを通して前記手術対象者を見ることができるので、前記コンピュータ生成画像が画像の対象者の実像に重ね合わせて見え、前記トラッキング装置は、前記ディスプレイの位置を監視し、かつ前記ディスプレイの監視された位置を前記処理装置に伝送し、前記処理装置は、前記ディスプレイの位置に従って前記コンピュータ生成画像を修正して、前記コンピュータ生成画像と前記実像とを立体的に位置合わせされた状態に維持するように構成された、請求項1〜4のいずれかに記載のシステム。
- 前記ディスプレイが顕微鏡に取り付けられるように構成され、前記使用者は前記ディスプレイを通して顕微鏡画像を見ることができるので、前記コンピュータ生成画像が前記顕微鏡画像に重ね合わせて見え、前記トラッキング装置は、前記顕微鏡の位置を監視し、かつ前記顕微鏡の監視された位置を前記処理装置に伝送し、前記処理装置は、前記顕微鏡の位置に従って前記コンピュータ生成画像を修正して、前記コンピュータ生成画像と前記実像とを立体的に位置合わせされた状態に維持するように構成された、請求項1〜5のいずれかに記載のシステム。
- 形成された三次元領域で画像ガイドシステムからの案内により手術を実施する使用者が、前記画像ガイドシステムによって前記使用者に表示される画像を修正するために使用する方法であって、
前記システムは、手術対象者の画像を対象者と相互に位置合わせした状態で生成するためのデータ処理装置と、前記画像を前記使用者に表示するためのディスプレイと、前記使用者が見うる位置を有するプローブと、前記システムによって前記プローブの位置を追跡し、かつ、その位置を前記データ処理装置に伝送するためのトラッキング装置とを含み、
前記使用者が、前記プローブを前記形成された領域の外側で、その周囲にある選択領域に移動させ、
前記データ処理装置が、前記選択領域内に前記プローブの位置を登録すると、それにより、前記システムへの対応する指示に各々関連付けられる1つまたはそれ以上の仮想ボタンを画像内に生成し、
前記使用者が前記ボタンの1つを選択し、前記選択がその仮想ボタンの見かけの位置に対して前記プローブを配置し、
前記データ処理装置が前記選択を登録し、対応する指示に基づいて前記コンピュータ生成画像を修正すること、
を含む方法。 - 前記データ処理装置が、前記手術対象者の画像を前記対象者に重ね合わせて生成する、請求項7に記載の方法。
- 前記データ処理装置が前記仮想ボタンを表示する間、該データ処理装置がさらに前記プローブからその長手軸に平行に伸長する線を表示し、前記プローブの配置が前記プローブの前記長手軸を前記ボタンに一致させることを含む、請求項7に記載の方法。
- 前記ディスプレイが使用者の頭部に装着するように構成され、前記使用者は前記ディスプレイを通して前記手術対象者を見ることができるので、前記コンピュータ生成画像が画像の対象者の実像に重ね合わせて見え、前記トラッキング装置は、前記ディスプレイの位置を監視し、かつ前記ディスプレイの監視された位置を前記処理装置に伝送し、前記処理装置は、前記ディスプレイの位置に従って前記コンピュータ生成画像を修正して、前記コンピュータ生成画像と前記実像とを立体的に位置合わせされた状態に維持するように構成された、請求項7〜9のいずれかに記載の方法。
- 前記ディスプレイが顕微鏡に取り付けられるように構成され、前記使用者は前記ディスプレイを通して顕微鏡画像を見ることができるので、前記コンピュータ生成画像が前記顕微鏡画像に重ね合わせて見え、前記トラッキング装置は、前記顕微鏡の位置を監視し、かつ前記顕微鏡の監視された位置を前記処理装置に伝送し、前記処理装置は、前記顕微鏡の位置に従って前記コンピュータ生成画像を修正して、前記コンピュータ生成画像と前記実像とを立体的に位置合わせされた状態に維持するように構成された、請求項7〜9のいずれかに記載の方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/SG2001/000118 WO2002100284A1 (en) | 2001-06-13 | 2001-06-13 | A guide system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005500096A true JP2005500096A (ja) | 2005-01-06 |
Family
ID=20428952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003503112A Pending JP2005500096A (ja) | 2001-06-13 | 2001-06-13 | ガイドシステム |
Country Status (9)
Country | Link |
---|---|
US (1) | US7493153B2 (ja) |
EP (1) | EP1395194B1 (ja) |
JP (1) | JP2005500096A (ja) |
AT (1) | ATE371414T1 (ja) |
CA (1) | CA2486520A1 (ja) |
DE (1) | DE60130264T2 (ja) |
ES (1) | ES2292593T3 (ja) |
TW (1) | TW572749B (ja) |
WO (1) | WO2002100284A1 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009512932A (ja) * | 2005-10-21 | 2009-03-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | プロファイルフラグを用いた医療画像のインタラクティブプロービング及び注釈方法及びシステム |
JP2010259497A (ja) * | 2009-04-30 | 2010-11-18 | Osaka Univ | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 |
WO2011142165A1 (ja) * | 2010-05-10 | 2011-11-17 | オリンパス株式会社 | 操作入力装置およびマニピュレータシステム |
JP2012079177A (ja) * | 2010-10-04 | 2012-04-19 | Panasonic Corp | 仮想物体操作装置 |
KR101181366B1 (ko) * | 2011-02-21 | 2012-09-17 | 한양대학교 산학협력단 | 수술 환부의 실시간 그래픽 표현 방법 |
JP2014023947A (ja) * | 2013-09-26 | 2014-02-06 | Toshiba Corp | 医用画像観察システム、及び医用画像観察装置 |
JP2015100437A (ja) * | 2013-11-22 | 2015-06-04 | 京セラメディカル株式会社 | 外科手術用ナビゲーションシステム |
JP6063599B1 (ja) * | 2016-08-01 | 2017-01-18 | 林 俊輔 | インプラント手術補助システムおよびインプラント手術補助方法 |
JP2017191546A (ja) * | 2016-04-15 | 2017-10-19 | ミラマ サービス インク | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 |
JP2018534011A (ja) * | 2015-10-14 | 2018-11-22 | サージカル シアター エルエルシー | 拡張現実感手術ナビゲーション |
JP2019534734A (ja) * | 2016-09-22 | 2019-12-05 | メドトロニック・ナビゲーション,インコーポレーテッド | 誘導される処置システム |
JP2020516003A (ja) * | 2017-03-30 | 2020-05-28 | ノバラッド コーポレイションNovarad Corporation | 三次元データによる患者のリアルタイムビューの拡張 |
JP2021126519A (ja) * | 2020-02-10 | 2021-09-02 | グローバス メディカル インコーポレイティッド | 外科手術におけるコンピュータ支援ナビゲーションのための光学器具追跡ボリュームのエクステンデッドリアリティ視覚化 |
WO2022201736A1 (ja) * | 2021-03-25 | 2022-09-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
US11944272B2 (en) | 2017-12-07 | 2024-04-02 | Medtronic Xomed, Inc. | System and method for assisting visualization during a procedure |
Families Citing this family (231)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8944070B2 (en) | 1999-04-07 | 2015-02-03 | Intuitive Surgical Operations, Inc. | Non-force reflecting method for providing tool force information to a user of a telesurgical system |
US7190331B2 (en) * | 2002-06-06 | 2007-03-13 | Siemens Corporate Research, Inc. | System and method for measuring the registration accuracy of an augmented reality system |
FR2842977A1 (fr) * | 2002-07-24 | 2004-01-30 | Total Immersion | Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video |
WO2004016178A2 (en) * | 2002-08-16 | 2004-02-26 | Orthosoft Inc. | Interface apparatus for passive tracking systems and method of use thereof |
ES2231035B1 (es) * | 2003-10-30 | 2006-07-01 | Frontera Azul Systems, S.L. | Sistema y procedimiento de comunicacion basada en realidad virtual. |
WO2005045729A1 (de) * | 2003-11-10 | 2005-05-19 | Siemens Aktiengesellschaft | System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität |
US7815644B2 (en) * | 2003-12-19 | 2010-10-19 | Masini Michael A | Instrumentation and methods for refining image-guided and navigation-based surgical procedures |
JP4522129B2 (ja) * | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
US9155373B2 (en) * | 2004-08-02 | 2015-10-13 | Invention Science Fund I, Llc | Medical overlay mirror |
US20060173268A1 (en) * | 2005-01-28 | 2006-08-03 | General Electric Company | Methods and systems for controlling acquisition of images |
US9295379B2 (en) * | 2005-04-18 | 2016-03-29 | M.S.T. Medical Surgery Technologies Ltd. | Device and methods of improving laparoscopic surgery |
US9789608B2 (en) | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
US8179423B2 (en) * | 2005-08-22 | 2012-05-15 | Ricoh Company, Ltd. | Image display system, an image display method, a coding method, and a printed matter for stereoscopic viewing |
JP4794957B2 (ja) | 2005-09-14 | 2011-10-19 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
US8219178B2 (en) | 2007-02-16 | 2012-07-10 | Catholic Healthcare West | Method and system for performing invasive medical procedures using a surgical robot |
US10653497B2 (en) | 2006-02-16 | 2020-05-19 | Globus Medical, Inc. | Surgical tool systems and methods |
US10893912B2 (en) | 2006-02-16 | 2021-01-19 | Globus Medical Inc. | Surgical tool systems and methods |
US10357184B2 (en) | 2012-06-21 | 2019-07-23 | Globus Medical, Inc. | Surgical tool systems and method |
IL181470A (en) * | 2006-02-24 | 2012-04-30 | Visionsense Ltd | Method and system for navigation within a flexible organ in the human body |
DE102006015349A1 (de) * | 2006-04-03 | 2007-10-11 | Siemens Ag | Medizinisches Navigations- und Ortungssystem enthaltend ein Bediensystem und Verfahren zur Bedienung |
JP4847184B2 (ja) * | 2006-04-06 | 2011-12-28 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
DE602007012886D1 (de) | 2006-04-12 | 2011-04-14 | Nassir Navab | Virtuelle penetrierende spiegelvorrichtung zur visualisierung von virtuellen objekten in angiografischen anwendungen |
WO2007115826A2 (en) * | 2006-04-12 | 2007-10-18 | Nassir Navab | Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment |
WO2007128377A1 (en) * | 2006-05-04 | 2007-11-15 | Nassir Navab | Virtual penetrating mirror device for visualizing virtual objects in endoscopic applications |
US10008017B2 (en) | 2006-06-29 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
US9718190B2 (en) | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
US20090192523A1 (en) | 2006-06-29 | 2009-07-30 | Intuitive Surgical, Inc. | Synthetic representation of a surgical instrument |
US10258425B2 (en) | 2008-06-27 | 2019-04-16 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
EP1925962A1 (en) * | 2006-11-21 | 2008-05-28 | Swiss Medical Technology GmbH | Stereo video microscope system |
US9469034B2 (en) | 2007-06-13 | 2016-10-18 | Intuitive Surgical Operations, Inc. | Method and system for switching modes of a robotic system |
US9089256B2 (en) | 2008-06-27 | 2015-07-28 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
US9138129B2 (en) | 2007-06-13 | 2015-09-22 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
US9084623B2 (en) | 2009-08-15 | 2015-07-21 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
US8620473B2 (en) | 2007-06-13 | 2013-12-31 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
US8401229B2 (en) | 2007-09-04 | 2013-03-19 | Objectvideo, Inc. | Stationary target detection by exploiting changes in background model |
JP5250251B2 (ja) * | 2007-12-17 | 2013-07-31 | イマグノーシス株式会社 | 医用撮影用マーカーおよびその活用プログラム |
US9881520B2 (en) * | 2008-01-08 | 2018-01-30 | Immersion Medical, Inc. | Virtual tool manipulation system |
DE102008023468A1 (de) * | 2008-05-14 | 2009-11-19 | Siemens Aktiengesellschaft | Anordnung und Verfahren zur Bedienung von Geräten |
DE102008027832A1 (de) * | 2008-06-11 | 2009-12-17 | Vrmagic Gmbh | Ophthalmoskop-Simulator |
US8864652B2 (en) | 2008-06-27 | 2014-10-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip |
EP2168028A1 (de) * | 2008-07-21 | 2010-03-31 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zum steuern eines systems |
US8624836B1 (en) | 2008-10-24 | 2014-01-07 | Google Inc. | Gesture-based small device input |
US20100240988A1 (en) * | 2009-03-19 | 2010-09-23 | Kenneth Varga | Computer-aided system for 360 degree heads up display of safety/mission critical data |
US8876830B2 (en) | 2009-08-13 | 2014-11-04 | Zimmer, Inc. | Virtual implant placement in the OR |
US9492927B2 (en) | 2009-08-15 | 2016-11-15 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
US8918211B2 (en) | 2010-02-12 | 2014-12-23 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
DE102009058802B4 (de) | 2009-12-18 | 2018-03-29 | Airbus Operations Gmbh | Anordnung zur kombinierten Darstellung eines realen und eines virtuellen Modells |
US20110257482A1 (en) * | 2010-04-16 | 2011-10-20 | Brannon James K | Laser Beam Collimation Apparatus |
JP5675236B2 (ja) * | 2010-09-10 | 2015-02-25 | オリンパス株式会社 | マニピュレータシステムの制御装置、マニピュレータシステム、及びマニピュレータシステムの制御方法 |
WO2012060897A1 (en) * | 2010-11-02 | 2012-05-10 | Superdimension, Ltd. | Image viewing application and method for orientationally sensitive display devices |
US8698843B2 (en) | 2010-11-02 | 2014-04-15 | Google Inc. | Range of focus in an augmented reality application |
US8890896B1 (en) | 2010-11-02 | 2014-11-18 | Google Inc. | Image recognition in an augmented reality application |
US9529424B2 (en) * | 2010-11-05 | 2016-12-27 | Microsoft Technology Licensing, Llc | Augmented reality with direct user interaction |
US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
EP2477059A1 (en) * | 2011-01-14 | 2012-07-18 | BAE Systems PLC | An Apparatus for Presenting an Image and a Method of Presenting the Image |
WO2012095664A1 (en) * | 2011-01-14 | 2012-07-19 | Bae Systems Plc | An apparatus for presenting an image and a method of presenting the image |
US9788905B2 (en) | 2011-03-30 | 2017-10-17 | Surgical Theater LLC | Method and system for simulating surgical procedures |
WO2012131660A1 (en) | 2011-04-01 | 2012-10-04 | Ecole Polytechnique Federale De Lausanne (Epfl) | Robotic system for spinal and other surgeries |
US8932063B2 (en) * | 2011-04-15 | 2015-01-13 | Ams Research Corporation | BPH laser ablation simulation |
JP5800616B2 (ja) * | 2011-07-15 | 2015-10-28 | オリンパス株式会社 | マニピュレータシステム |
US9886552B2 (en) * | 2011-08-12 | 2018-02-06 | Help Lighting, Inc. | System and method for image registration of multiple video streams |
US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
US9153195B2 (en) | 2011-08-17 | 2015-10-06 | Microsoft Technology Licensing, Llc | Providing contextual personal information by a mixed reality device |
WO2013028908A1 (en) | 2011-08-24 | 2013-02-28 | Microsoft Corporation | Touch and social cues as inputs into a computer |
US20130257692A1 (en) | 2012-04-02 | 2013-10-03 | Atheer, Inc. | Method and apparatus for ego-centric 3d human computer interface |
US9020203B2 (en) | 2012-05-21 | 2015-04-28 | Vipaar, Llc | System and method for managing spatiotemporal uncertainty |
CN104271066B (zh) | 2012-05-25 | 2017-10-24 | 外科手术室公司 | 具有不用手的控制的混合图像/场景再现器 |
US11317971B2 (en) | 2012-06-21 | 2022-05-03 | Globus Medical, Inc. | Systems and methods related to robotic guidance in surgery |
US10646280B2 (en) | 2012-06-21 | 2020-05-12 | Globus Medical, Inc. | System and method for surgical tool insertion using multiaxis force and moment feedback |
US11864839B2 (en) | 2012-06-21 | 2024-01-09 | Globus Medical Inc. | Methods of adjusting a virtual implant and related surgical navigation systems |
US11857266B2 (en) | 2012-06-21 | 2024-01-02 | Globus Medical, Inc. | System for a surveillance marker in robotic-assisted surgery |
US10842461B2 (en) | 2012-06-21 | 2020-11-24 | Globus Medical, Inc. | Systems and methods of checking registrations for surgical systems |
US11786324B2 (en) | 2012-06-21 | 2023-10-17 | Globus Medical, Inc. | Surgical robotic automation with tracking markers |
US11607149B2 (en) | 2012-06-21 | 2023-03-21 | Globus Medical Inc. | Surgical tool systems and method |
US10350013B2 (en) | 2012-06-21 | 2019-07-16 | Globus Medical, Inc. | Surgical tool systems and methods |
US11793570B2 (en) | 2012-06-21 | 2023-10-24 | Globus Medical Inc. | Surgical robotic automation with tracking markers |
US11045267B2 (en) | 2012-06-21 | 2021-06-29 | Globus Medical, Inc. | Surgical robotic automation with tracking markers |
US10231791B2 (en) | 2012-06-21 | 2019-03-19 | Globus Medical, Inc. | Infrared signal based position recognition system for use with a robot-assisted surgery |
US11857149B2 (en) | 2012-06-21 | 2024-01-02 | Globus Medical, Inc. | Surgical robotic systems with target trajectory deviation monitoring and related methods |
US12004905B2 (en) | 2012-06-21 | 2024-06-11 | Globus Medical, Inc. | Medical imaging systems using robotic actuators and related methods |
WO2013192598A1 (en) | 2012-06-21 | 2013-12-27 | Excelsius Surgical, L.L.C. | Surgical robot platform |
US10136954B2 (en) | 2012-06-21 | 2018-11-27 | Globus Medical, Inc. | Surgical tool systems and method |
US11864745B2 (en) | 2012-06-21 | 2024-01-09 | Globus Medical, Inc. | Surgical robotic system with retractor |
US11896446B2 (en) | 2012-06-21 | 2024-02-13 | Globus Medical, Inc | Surgical robotic automation with tracking markers |
US11298196B2 (en) | 2012-06-21 | 2022-04-12 | Globus Medical Inc. | Surgical robotic automation with tracking markers and controlled tool advancement |
US10799298B2 (en) | 2012-06-21 | 2020-10-13 | Globus Medical Inc. | Robotic fluoroscopic navigation |
US11395706B2 (en) | 2012-06-21 | 2022-07-26 | Globus Medical Inc. | Surgical robot platform |
US11589771B2 (en) | 2012-06-21 | 2023-02-28 | Globus Medical Inc. | Method for recording probe movement and determining an extent of matter removed |
US10758315B2 (en) | 2012-06-21 | 2020-09-01 | Globus Medical Inc. | Method and system for improving 2D-3D registration convergence |
US10624710B2 (en) | 2012-06-21 | 2020-04-21 | Globus Medical, Inc. | System and method for measuring depth of instrumentation |
US11963755B2 (en) | 2012-06-21 | 2024-04-23 | Globus Medical Inc. | Apparatus for recording probe movement |
US11116576B2 (en) | 2012-06-21 | 2021-09-14 | Globus Medical Inc. | Dynamic reference arrays and methods of use |
US11253327B2 (en) | 2012-06-21 | 2022-02-22 | Globus Medical, Inc. | Systems and methods for automatically changing an end-effector on a surgical robot |
US11399900B2 (en) | 2012-06-21 | 2022-08-02 | Globus Medical, Inc. | Robotic systems providing co-registration using natural fiducials and related methods |
US10874466B2 (en) | 2012-06-21 | 2020-12-29 | Globus Medical, Inc. | System and method for surgical tool insertion using multiaxis force and moment feedback |
US11974822B2 (en) | 2012-06-21 | 2024-05-07 | Globus Medical Inc. | Method for a surveillance marker in robotic-assisted surgery |
IL221863A (en) | 2012-09-10 | 2014-01-30 | Elbit Systems Ltd | Digital video photography system when analyzing and displaying |
US10241638B2 (en) | 2012-11-02 | 2019-03-26 | Atheer, Inc. | Method and apparatus for a three dimensional interface |
US9437036B2 (en) * | 2012-12-04 | 2016-09-06 | Samsung Medison Co., Ltd. | Medical system, medical imaging apparatus, and method of providing three-dimensional marker |
US9710968B2 (en) | 2012-12-26 | 2017-07-18 | Help Lightning, Inc. | System and method for role-switching in multi-reality environments |
TWI586327B (zh) * | 2012-12-27 | 2017-06-11 | Metal Ind Research&Development Centre | Image projection system |
US10507066B2 (en) | 2013-02-15 | 2019-12-17 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
CA2902550A1 (en) * | 2013-02-26 | 2014-09-04 | Butterfly Network, Inc. | Transmissive imaging and related apparatus and methods |
DE102013107041A1 (de) * | 2013-04-18 | 2014-10-23 | Carl Gustav Carus Management Gmbh | Ultraschallsystem und Verfahren zur Kommunikation zwischen einem Ultraschallgerät und einer bidirektionalen Datenbrille |
CN104224320B (zh) * | 2013-06-19 | 2016-08-10 | 上海优益基医疗器械有限公司 | 一种基于手术导航的无线面配准工具及其实现方法 |
US9940750B2 (en) | 2013-06-27 | 2018-04-10 | Help Lighting, Inc. | System and method for role negotiation in multi-reality environments |
KR102097705B1 (ko) * | 2013-09-10 | 2020-04-07 | 삼성디스플레이 주식회사 | 디스플레이 장치, 디스플레이 시스템 및 그 제어 방법 |
US9283048B2 (en) | 2013-10-04 | 2016-03-15 | KB Medical SA | Apparatus and systems for precise guidance of surgical tools |
US10447947B2 (en) * | 2013-10-25 | 2019-10-15 | The University Of Akron | Multipurpose imaging and display system |
JP5611441B1 (ja) * | 2013-11-29 | 2014-10-22 | スキルアップジャパン株式会社 | 顕微鏡用映像処理装置、および医療用顕微鏡システム |
US9626801B2 (en) | 2013-12-31 | 2017-04-18 | Daqri, Llc | Visualization of physical characteristics in augmented reality |
US9558592B2 (en) * | 2013-12-31 | 2017-01-31 | Daqri, Llc | Visualization of physical interactions in augmented reality |
US9241771B2 (en) | 2014-01-15 | 2016-01-26 | KB Medical SA | Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery |
ES2662410T3 (es) * | 2014-01-29 | 2018-04-06 | Becton, Dickinson And Company | Dispositivo electrónico portátil para realzar la visualización durante la inserción de un dispositivo invasivo |
US10039605B2 (en) | 2014-02-11 | 2018-08-07 | Globus Medical, Inc. | Sterile handle for controlling a robotic surgical system from a sterile field |
EP4383272A2 (en) * | 2014-02-21 | 2024-06-12 | The University of Akron | Imaging and display system for guiding medical interventions |
WO2015154069A1 (en) | 2014-04-04 | 2015-10-08 | Surgical Theater LLC | Dynamic and interactive navigation in a surgical environment |
EP3134022B1 (en) | 2014-04-24 | 2018-01-10 | KB Medical SA | Surgical instrument holder for use with a robotic surgical system |
US10828120B2 (en) | 2014-06-19 | 2020-11-10 | Kb Medical, Sa | Systems and methods for performing minimally invasive surgery |
US10765438B2 (en) | 2014-07-14 | 2020-09-08 | KB Medical SA | Anti-skid surgical instrument for use in preparing holes in bone tissue |
WO2016008880A1 (en) | 2014-07-14 | 2016-01-21 | KB Medical SA | Anti-skid surgical instrument for use in preparing holes in bone tissue |
US11103316B2 (en) | 2014-12-02 | 2021-08-31 | Globus Medical Inc. | Robot assisted volume removal during surgery |
US10013808B2 (en) | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
US20180020992A1 (en) * | 2015-02-16 | 2018-01-25 | Dimensions And Shapes, Llc | Systems and methods for medical visualization |
EP3258872B1 (en) | 2015-02-18 | 2023-04-26 | KB Medical SA | Systems for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique |
DE102015002729A1 (de) * | 2015-02-27 | 2016-09-01 | Carl Zeiss Meditec Ag | Ophthalmologische Lasertherapievorrichtung und Verfahren zur Erzeugung cornealer Zugangsschnitte |
EP3069679A1 (en) * | 2015-03-18 | 2016-09-21 | Metronor AS | A system for precision guidance of surgical procedures on a patient |
GB2536650A (en) | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
US20160287337A1 (en) * | 2015-03-31 | 2016-10-06 | Luke J. Aram | Orthopaedic surgical system and method for patient-specific surgical procedure |
US20160331584A1 (en) * | 2015-05-14 | 2016-11-17 | Novartis Ag | Surgical tool tracking to control surgical system |
US10409443B2 (en) * | 2015-06-24 | 2019-09-10 | Microsoft Technology Licensing, Llc | Contextual cursor display based on hand tracking |
CN106344152B (zh) * | 2015-07-13 | 2020-04-28 | 中国科学院深圳先进技术研究院 | 腹部外科手术导航配准方法及*** |
US10058394B2 (en) | 2015-07-31 | 2018-08-28 | Globus Medical, Inc. | Robot arm and methods of use |
US10646298B2 (en) | 2015-07-31 | 2020-05-12 | Globus Medical, Inc. | Robot arm and methods of use |
US10080615B2 (en) | 2015-08-12 | 2018-09-25 | Globus Medical, Inc. | Devices and methods for temporary mounting of parts to bone |
WO2017037127A1 (en) | 2015-08-31 | 2017-03-09 | KB Medical SA | Robotic surgical systems and methods |
US10034716B2 (en) | 2015-09-14 | 2018-07-31 | Globus Medical, Inc. | Surgical robotic systems and methods thereof |
US9771092B2 (en) | 2015-10-13 | 2017-09-26 | Globus Medical, Inc. | Stabilizer wheel assembly and methods of use |
ITUB20155830A1 (it) | 2015-11-23 | 2017-05-23 | R A W Srl | "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori" |
US11386556B2 (en) | 2015-12-18 | 2022-07-12 | Orthogrid Systems Holdings, Llc | Deformed grid based intra-operative system and method of use |
US10052170B2 (en) | 2015-12-18 | 2018-08-21 | MediLux Capitol Holdings, S.A.R.L. | Mixed reality imaging system, apparatus and surgical suite |
US11058378B2 (en) | 2016-02-03 | 2021-07-13 | Globus Medical, Inc. | Portable medical imaging system |
US11883217B2 (en) | 2016-02-03 | 2024-01-30 | Globus Medical, Inc. | Portable medical imaging system and method |
US10842453B2 (en) | 2016-02-03 | 2020-11-24 | Globus Medical, Inc. | Portable medical imaging system |
US10448910B2 (en) | 2016-02-03 | 2019-10-22 | Globus Medical, Inc. | Portable medical imaging system |
US10117632B2 (en) | 2016-02-03 | 2018-11-06 | Globus Medical, Inc. | Portable medical imaging system with beam scanning collimator |
US10866119B2 (en) | 2016-03-14 | 2020-12-15 | Globus Medical, Inc. | Metal detector for detecting insertion of a surgical device into a hollow tube |
EP3241518A3 (en) | 2016-04-11 | 2018-01-24 | Globus Medical, Inc | Surgical tool systems and methods |
DE102016106993A1 (de) * | 2016-04-15 | 2017-10-19 | Carl Zeiss Microscopy Gmbh | Steuer- und Konfiguriereinheit sowie Verfahren zum Steuern und Konfigurieren eines Mikroskops |
CN105938665A (zh) * | 2016-06-22 | 2016-09-14 | 扬州立兴科技发展合伙企业(有限合伙) | 一种远程音视频手术示教*** |
EP3285107B2 (en) * | 2016-08-16 | 2024-02-28 | Leica Instruments (Singapore) Pte. Ltd. | Surgical microscope with gesture control and method for a gesture control of a surgical microscope |
US10973585B2 (en) | 2016-09-21 | 2021-04-13 | Alcon Inc. | Systems and methods for tracking the orientation of surgical tools |
US11039893B2 (en) | 2016-10-21 | 2021-06-22 | Globus Medical, Inc. | Robotic surgical systems |
JP2018114280A (ja) | 2017-01-18 | 2018-07-26 | ケービー メディカル エスアー | ロボット外科用システムのための汎用器具ガイド、外科用器具システム、及びそれらの使用方法 |
EP3360502A3 (en) | 2017-01-18 | 2018-10-31 | KB Medical SA | Robotic navigation of robotic surgical systems |
EP3351202B1 (en) | 2017-01-18 | 2021-09-08 | KB Medical SA | Universal instrument guide for robotic surgical systems |
EP3593226B1 (en) * | 2017-03-10 | 2022-08-03 | Brainlab AG | Medical augmented reality navigation |
US11071594B2 (en) | 2017-03-16 | 2021-07-27 | KB Medical SA | Robotic navigation of robotic surgical systems |
DE102017107489B3 (de) * | 2017-04-07 | 2018-07-05 | Carl Zeiss Microscopy Gmbh | Mikroskopanordnung zur Aufnahme und Darstellung dreidimensionaler Bilder einer Probe |
US10675094B2 (en) | 2017-07-21 | 2020-06-09 | Globus Medical Inc. | Robot surgical platform |
US10861236B2 (en) | 2017-09-08 | 2020-12-08 | Surgical Theater, Inc. | Dual mode augmented reality surgical system and method |
US11794338B2 (en) | 2017-11-09 | 2023-10-24 | Globus Medical Inc. | Robotic rod benders and related mechanical and motor housings |
EP3492032B1 (en) | 2017-11-09 | 2023-01-04 | Globus Medical, Inc. | Surgical robotic systems for bending surgical rods |
US11382666B2 (en) | 2017-11-09 | 2022-07-12 | Globus Medical Inc. | Methods providing bend plans for surgical rods and related controllers and computer program products |
US11134862B2 (en) | 2017-11-10 | 2021-10-05 | Globus Medical, Inc. | Methods of selecting surgical implants and related devices |
TWI642404B (zh) * | 2017-12-06 | 2018-12-01 | 奇美醫療財團法人奇美醫院 | Bone surgery navigation system and image navigation method for bone surgery |
US20190254753A1 (en) | 2018-02-19 | 2019-08-22 | Globus Medical, Inc. | Augmented reality navigation systems for use with robotic surgical systems and methods of their use |
CN108536288A (zh) * | 2018-03-27 | 2018-09-14 | 网易(杭州)网络有限公司 | 虚拟现实中交互操作的处理方法和装置 |
US10573023B2 (en) | 2018-04-09 | 2020-02-25 | Globus Medical, Inc. | Predictive visualization of medical imaging scanner component movement |
WO2019211741A1 (en) | 2018-05-02 | 2019-11-07 | Augmedics Ltd. | Registration of a fiducial marker for an augmented reality system |
US11574561B2 (en) | 2018-05-18 | 2023-02-07 | Marion Surgical | Virtual reality surgical system including a surgical tool assembly with haptic feedback |
EP3810012A1 (en) | 2018-06-19 | 2021-04-28 | Tornier, Inc. | Mixed reality-aided education using virtual models or virtual representations for orthopedic surgical procedures |
CN109003269B (zh) * | 2018-07-19 | 2021-10-08 | 哈尔滨工业大学 | 一种能提高医生效率的医学影像病灶的标注提取方法 |
US11540794B2 (en) | 2018-09-12 | 2023-01-03 | Orthogrid Systesm Holdings, LLC | Artificial intelligence intra-operative surgical guidance system and method of use |
JP7466928B2 (ja) | 2018-09-12 | 2024-04-15 | オルソグリッド システムズ ホールディング,エルエルシー | 人工知能の術中外科的ガイダンスシステムと使用方法 |
US11615593B2 (en) * | 2018-09-21 | 2023-03-28 | Lg Electronics Inc. | Mobile terminal and control method thereof |
US11337742B2 (en) | 2018-11-05 | 2022-05-24 | Globus Medical Inc | Compliant orthopedic driver |
US11278360B2 (en) | 2018-11-16 | 2022-03-22 | Globus Medical, Inc. | End-effectors for surgical robotic systems having sealed optical components |
US11766296B2 (en) * | 2018-11-26 | 2023-09-26 | Augmedics Ltd. | Tracking system for image-guided surgery |
US10939977B2 (en) | 2018-11-26 | 2021-03-09 | Augmedics Ltd. | Positioning marker |
US11744655B2 (en) | 2018-12-04 | 2023-09-05 | Globus Medical, Inc. | Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems |
US11602402B2 (en) | 2018-12-04 | 2023-03-14 | Globus Medical, Inc. | Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems |
US11918313B2 (en) | 2019-03-15 | 2024-03-05 | Globus Medical Inc. | Active end effectors for surgical robots |
US11419616B2 (en) | 2019-03-22 | 2022-08-23 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
US20200297357A1 (en) | 2019-03-22 | 2020-09-24 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
US11806084B2 (en) | 2019-03-22 | 2023-11-07 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices |
US11382549B2 (en) | 2019-03-22 | 2022-07-12 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices |
US11571265B2 (en) | 2019-03-22 | 2023-02-07 | Globus Medical Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
US11317978B2 (en) | 2019-03-22 | 2022-05-03 | Globus Medical, Inc. | System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices |
WO2020205714A1 (en) * | 2019-03-29 | 2020-10-08 | Eagle View Imaging,Inc. | Surgical planning, surgical navigation and imaging system |
US11045179B2 (en) | 2019-05-20 | 2021-06-29 | Global Medical Inc | Robot-mounted retractor system |
US11628023B2 (en) | 2019-07-10 | 2023-04-18 | Globus Medical, Inc. | Robotic navigational system for interbody implants |
US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
US11571171B2 (en) | 2019-09-24 | 2023-02-07 | Globus Medical, Inc. | Compound curve cable chain |
US11426178B2 (en) | 2019-09-27 | 2022-08-30 | Globus Medical Inc. | Systems and methods for navigating a pin guide driver |
US11890066B2 (en) | 2019-09-30 | 2024-02-06 | Globus Medical, Inc | Surgical robot with passive end effector |
US11864857B2 (en) | 2019-09-27 | 2024-01-09 | Globus Medical, Inc. | Surgical robot with passive end effector |
US11510684B2 (en) | 2019-10-14 | 2022-11-29 | Globus Medical, Inc. | Rotary motion passive end effector for surgical robots in orthopedic surgeries |
EP3809094B1 (de) * | 2019-10-18 | 2024-04-17 | Carl Zeiss Industrielle Messtechnik GmbH | Verfahren und anordnung zum visualisieren von sensorsignalen eines optischen sensors eines koordinatenmessgeräts sowie verfahren und anordnung zum visualisieren eines sensors eines koordinatenmessgeräts |
US11992373B2 (en) | 2019-12-10 | 2024-05-28 | Globus Medical, Inc | Augmented reality headset with varied opacity for navigated robotic surgery |
US11382712B2 (en) | 2019-12-22 | 2022-07-12 | Augmedics Ltd. | Mirroring in image guided surgery |
US11623086B2 (en) | 2020-01-24 | 2023-04-11 | Medtronic Xomed, Inc. | System and method for therapy |
US11167140B2 (en) | 2020-01-24 | 2021-11-09 | Medtronic Xomed, Inc. | System and method for therapy |
US11666755B2 (en) | 2020-01-24 | 2023-06-06 | Medtronic Xomed, Inc. | System and method for therapy |
US11167127B2 (en) | 2020-01-24 | 2021-11-09 | Medtronic Xomed, Inc. | System and method for therapy |
US11464581B2 (en) | 2020-01-28 | 2022-10-11 | Globus Medical, Inc. | Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums |
US11207150B2 (en) | 2020-02-19 | 2021-12-28 | Globus Medical, Inc. | Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment |
US11217020B2 (en) | 2020-03-16 | 2022-01-04 | Snap Inc. | 3D cutout image modification |
US11253216B2 (en) | 2020-04-28 | 2022-02-22 | Globus Medical Inc. | Fixtures for fluoroscopic imaging systems and related navigation systems and methods |
US11607277B2 (en) | 2020-04-29 | 2023-03-21 | Globus Medical, Inc. | Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery |
US11510750B2 (en) | 2020-05-08 | 2022-11-29 | Globus Medical, Inc. | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications |
US11153555B1 (en) | 2020-05-08 | 2021-10-19 | Globus Medical Inc. | Extended reality headset camera system for computer assisted navigation in surgery |
US11382700B2 (en) | 2020-05-08 | 2022-07-12 | Globus Medical Inc. | Extended reality headset tool tracking and control |
US11317973B2 (en) | 2020-06-09 | 2022-05-03 | Globus Medical, Inc. | Camera tracking bar for computer assisted navigation during surgery |
US11389252B2 (en) | 2020-06-15 | 2022-07-19 | Augmedics Ltd. | Rotating marker for image guided surgery |
US11382713B2 (en) | 2020-06-16 | 2022-07-12 | Globus Medical, Inc. | Navigated surgical system with eye to XR headset display calibration |
US11877807B2 (en) | 2020-07-10 | 2024-01-23 | Globus Medical, Inc | Instruments for navigated orthopedic surgeries |
US11793588B2 (en) | 2020-07-23 | 2023-10-24 | Globus Medical, Inc. | Sterile draping of robotic arms |
CN111991080A (zh) * | 2020-08-26 | 2020-11-27 | 南京哈雷智能科技有限公司 | 一种手术入口的确定方法和*** |
US11737831B2 (en) | 2020-09-02 | 2023-08-29 | Globus Medical Inc. | Surgical object tracking template generation for computer assisted navigation during surgical procedure |
US11523785B2 (en) | 2020-09-24 | 2022-12-13 | Globus Medical, Inc. | Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement |
US11911112B2 (en) | 2020-10-27 | 2024-02-27 | Globus Medical, Inc. | Robotic navigational system |
US11941814B2 (en) | 2020-11-04 | 2024-03-26 | Globus Medical Inc. | Auto segmentation using 2-D images taken during 3-D imaging spin |
US11717350B2 (en) | 2020-11-24 | 2023-08-08 | Globus Medical Inc. | Methods for robotic assistance and navigation in spinal surgery and related systems |
US11857273B2 (en) | 2021-07-06 | 2024-01-02 | Globus Medical, Inc. | Ultrasonic robotic surgical navigation |
US11896445B2 (en) | 2021-07-07 | 2024-02-13 | Augmedics Ltd. | Iliac pin and adapter |
US11439444B1 (en) | 2021-07-22 | 2022-09-13 | Globus Medical, Inc. | Screw tower and rod reduction tool |
US11995757B2 (en) | 2021-10-29 | 2024-05-28 | Snap Inc. | Customized animation from video |
US12020358B2 (en) | 2021-10-29 | 2024-06-25 | Snap Inc. | Animated custom sticker creation |
US11918304B2 (en) | 2021-12-20 | 2024-03-05 | Globus Medical, Inc | Flat panel registration fixture and method of using same |
WO2024057210A1 (en) | 2022-09-13 | 2024-03-21 | Augmedics Ltd. | Augmented reality eyewear for image-guided medical intervention |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07204210A (ja) * | 1994-01-24 | 1995-08-08 | Shimadzu Corp | 手術器具の位置表示装置 |
JPH0928713A (ja) * | 1995-07-20 | 1997-02-04 | Olympus Optical Co Ltd | 内視鏡下外科手術装置 |
JPH11197159A (ja) * | 1998-01-13 | 1999-07-27 | Hitachi Ltd | 手術支援システム |
JP2001066511A (ja) * | 1999-08-31 | 2001-03-16 | Asahi Optical Co Ltd | 顕微鏡 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5662111A (en) * | 1991-01-28 | 1997-09-02 | Cosman; Eric R. | Process of stereotactic optical navigation |
US5394202A (en) * | 1993-01-14 | 1995-02-28 | Sun Microsystems, Inc. | Method and apparatus for generating high resolution 3D images in a head tracked stereo display system |
US5729475A (en) * | 1995-12-27 | 1998-03-17 | Romanik, Jr.; Carl J. | Optical system for accurate monitoring of the position and orientation of an object |
US6847336B1 (en) * | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
SG77682A1 (en) * | 1998-05-21 | 2001-01-16 | Univ Singapore | A display system |
JP2002526188A (ja) * | 1998-09-24 | 2002-08-20 | スーパー ディメンション リミテッド | 体内への医療処置中にカテーテルの位置を判定するためのシステム及び方法 |
US7027642B2 (en) * | 2000-04-28 | 2006-04-11 | Orametrix, Inc. | Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects |
WO2002100285A1 (en) * | 2001-06-13 | 2002-12-19 | Volume Interactions Pte Ltd | A guide system and a probe therefor |
CA2523727A1 (en) * | 2003-04-28 | 2005-01-06 | Bracco Imaging Spa | Surgical navigation imaging system |
US20060020204A1 (en) * | 2004-07-01 | 2006-01-26 | Bracco Imaging, S.P.A. | System and method for three-dimensional space management and visualization of ultrasound data ("SonoDEX") |
-
2001
- 2001-06-13 EP EP01938960A patent/EP1395194B1/en not_active Expired - Lifetime
- 2001-06-13 ES ES01938960T patent/ES2292593T3/es not_active Expired - Lifetime
- 2001-06-13 AT AT01938960T patent/ATE371414T1/de not_active IP Right Cessation
- 2001-06-13 JP JP2003503112A patent/JP2005500096A/ja active Pending
- 2001-06-13 US US10/480,490 patent/US7493153B2/en not_active Expired - Lifetime
- 2001-06-13 CA CA002486520A patent/CA2486520A1/en not_active Abandoned
- 2001-06-13 DE DE60130264T patent/DE60130264T2/de not_active Expired - Fee Related
- 2001-06-13 WO PCT/SG2001/000118 patent/WO2002100284A1/en active IP Right Grant
-
2002
- 2002-06-12 TW TW91112823A patent/TW572749B/zh not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07204210A (ja) * | 1994-01-24 | 1995-08-08 | Shimadzu Corp | 手術器具の位置表示装置 |
JPH0928713A (ja) * | 1995-07-20 | 1997-02-04 | Olympus Optical Co Ltd | 内視鏡下外科手術装置 |
JPH11197159A (ja) * | 1998-01-13 | 1999-07-27 | Hitachi Ltd | 手術支援システム |
JP2001066511A (ja) * | 1999-08-31 | 2001-03-16 | Asahi Optical Co Ltd | 顕微鏡 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009512932A (ja) * | 2005-10-21 | 2009-03-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | プロファイルフラグを用いた医療画像のインタラクティブプロービング及び注釈方法及びシステム |
JP2010259497A (ja) * | 2009-04-30 | 2010-11-18 | Osaka Univ | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 |
WO2011142165A1 (ja) * | 2010-05-10 | 2011-11-17 | オリンパス株式会社 | 操作入力装置およびマニピュレータシステム |
JP2011237987A (ja) * | 2010-05-10 | 2011-11-24 | Olympus Corp | 操作入力装置およびマニピュレータシステム |
US9361818B2 (en) | 2010-05-10 | 2016-06-07 | Olympus Corporation | Operation input device and manipulator system |
JP2012079177A (ja) * | 2010-10-04 | 2012-04-19 | Panasonic Corp | 仮想物体操作装置 |
KR101181366B1 (ko) * | 2011-02-21 | 2012-09-17 | 한양대학교 산학협력단 | 수술 환부의 실시간 그래픽 표현 방법 |
JP2014023947A (ja) * | 2013-09-26 | 2014-02-06 | Toshiba Corp | 医用画像観察システム、及び医用画像観察装置 |
JP2015100437A (ja) * | 2013-11-22 | 2015-06-04 | 京セラメディカル株式会社 | 外科手術用ナビゲーションシステム |
JP2018534011A (ja) * | 2015-10-14 | 2018-11-22 | サージカル シアター エルエルシー | 拡張現実感手術ナビゲーション |
JP2017191546A (ja) * | 2016-04-15 | 2017-10-19 | ミラマ サービス インク | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 |
JP2018019772A (ja) * | 2016-08-01 | 2018-02-08 | 林 俊輔 | インプラント手術補助システムおよびインプラント手術補助方法 |
JP6063599B1 (ja) * | 2016-08-01 | 2017-01-18 | 林 俊輔 | インプラント手術補助システムおよびインプラント手術補助方法 |
JP2019534734A (ja) * | 2016-09-22 | 2019-12-05 | メドトロニック・ナビゲーション,インコーポレーテッド | 誘導される処置システム |
US11839433B2 (en) | 2016-09-22 | 2023-12-12 | Medtronic Navigation, Inc. | System for guided procedures |
JP2020516003A (ja) * | 2017-03-30 | 2020-05-28 | ノバラッド コーポレイションNovarad Corporation | 三次元データによる患者のリアルタイムビューの拡張 |
US11004271B2 (en) | 2017-03-30 | 2021-05-11 | Novarad Corporation | Augmenting real-time views of a patient with three-dimensional data |
US11481987B2 (en) | 2017-03-30 | 2022-10-25 | Novarad Corporation | Augmenting real-time views of a patient with three-dimensional data |
US11944272B2 (en) | 2017-12-07 | 2024-04-02 | Medtronic Xomed, Inc. | System and method for assisting visualization during a procedure |
JP2021126519A (ja) * | 2020-02-10 | 2021-09-02 | グローバス メディカル インコーポレイティッド | 外科手術におけるコンピュータ支援ナビゲーションのための光学器具追跡ボリュームのエクステンデッドリアリティ視覚化 |
US11382699B2 (en) | 2020-02-10 | 2022-07-12 | Globus Medical Inc. | Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery |
WO2022201736A1 (ja) * | 2021-03-25 | 2022-09-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
ES2292593T3 (es) | 2008-03-16 |
WO2002100284A1 (en) | 2002-12-19 |
DE60130264D1 (de) | 2007-10-11 |
US20050203367A1 (en) | 2005-09-15 |
EP1395194B1 (en) | 2007-08-29 |
CA2486520A1 (en) | 2002-12-19 |
US7493153B2 (en) | 2009-02-17 |
TW572749B (en) | 2004-01-21 |
DE60130264T2 (de) | 2008-05-21 |
ATE371414T1 (de) | 2007-09-15 |
EP1395194A1 (en) | 2004-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1395194B1 (en) | A guide system | |
CA2486525C (en) | A guide system and a probe therefor | |
US11707330B2 (en) | Systems and methods for surgical navigation | |
EP3443923B1 (en) | Surgical navigation system for providing an augmented reality image during operation | |
US20210267698A1 (en) | Graphical user interface for a surgical navigation system and method for providing an augmented reality image during operation | |
US20230255446A1 (en) | Surgical visualization systems and displays | |
US5749362A (en) | Method of creating an image of an anatomical feature where the feature is within a patient's body | |
WO2008076079A1 (en) | Methods and apparatuses for cursor control in image guided surgery | |
KR20080068640A (ko) | 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작 | |
CN114727848A (zh) | 用于ent规程的可视化***和方法 | |
CN110169821B (zh) | 一种图像处理方法、装置及*** | |
Weber et al. | The navigated image viewer–evaluation in maxillofacial surgery | |
Drouin et al. | Interaction in augmented reality image-guided surgery | |
US20240206988A1 (en) | Graphical user interface for a surgical navigation system | |
Shamir et al. | An augmented reality guidance probe and method for image-guided surgical navigation | |
Saucer et al. | A head-mounted display system for augmented reality image guidance: towards clinical evaluation for imri-guided nuerosurgery | |
Weber et al. | Application of different visualization concepts in the navigated image viewer | |
Sudra et al. | Technical experience from clinical studies with INPRES and a concept for a miniature augmented reality system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110322 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110809 |