JPH08280710A - 実時間医用装置及び患者に医用手順を遂行するために操作者を支援する方法 - Google Patents

実時間医用装置及び患者に医用手順を遂行するために操作者を支援する方法

Info

Publication number
JPH08280710A
JPH08280710A JP7299431A JP29943195A JPH08280710A JP H08280710 A JPH08280710 A JP H08280710A JP 7299431 A JP7299431 A JP 7299431A JP 29943195 A JP29943195 A JP 29943195A JP H08280710 A JPH08280710 A JP H08280710A
Authority
JP
Japan
Prior art keywords
patient
operator
image
screen
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7299431A
Other languages
English (en)
Inventor
Charles L Dumoulin
チャールズ・ルシアン・デュムリン
Robert D Darrow
ロバート・デイビッド・ダロー
William J Adams
ウィリアム・ジョン・アダムス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JPH08280710A publication Critical patent/JPH08280710A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Radiography Using Non-Light Waves (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

(57)【要約】 【課題】 操作者が患者の内部構造及び外部構造の両方
を実時間で見ることができるようにする実時間医用装置
を提供する。 【解決手段】 対話形表示システムが半透明スクリーン
250上に内部構造の画像を重ね合わせる。半透明スク
リーン250を通して、外科医は医用手順の間に患者1
を見る。イメージング・システムで得られた画像から、
重ね合わせる画像が求められる。侵襲装置3も追跡さ
れ、半透明スクリーン250上に表示される。侵襲装置
3の予定経路を示しており、侵襲装置3から伸びている
射線も表示することができる。画像は外科医から見た患
者1と合わされて、医用手順の間に実時間で表示され
る。これにより、外科医は、内部構造及び外部構造、そ
れらの間の関係、並びに侵襲装置3の予定経路を見るこ
とができ、それに応じて手順を調整することができる。

Description

【発明の詳細な説明】
【0001】
【関連出願との関係】本出願のパリ条約に基づく優先権
主張の基礎となる米国特許出願は、1993年6月21
日に出願されたシー・エル・デュムリン、アール・ディ
ー・ダロー、ダブリュー・ジェー・アダムス(C.L.
Dumoulin,R.D.Darrow,W.J.A
dams)による米国特許出願第08/078,335
号(特願平6−135286に対応)、「医用手順の間
に身体構造の可視化を増強するための表示システム」
(A Display System For Enh
ancing Visualization Of B
ody Structures During Med
ical Procedures)の部分継続出願であ
る。この出願は、この出願と共に出願された出願人控え
番号RD−24,025(特願平7−297965に対
応)、「対話形三次元指示装置」(An Intera
ctive Three−dimensional(3
D) Pointing Device)、並びに19
93年4月20日に出願されたクリス・ナフィス、ティ
ム・ケリハー、ハーベイ・クライン、ビル・ローレンセ
ン、デイビッド・アルトベリ、ロン・キキニス、ロバー
ト・ダロー及びチャールズ・デュムリン(Chris
Nafis,Tim Kelliher,Harvey
Cline,Bill Lorensen,David
Altobelli,Ron Kikinis,Ro
bert Darrow and Charles D
umoulin)による米国特許出願第08/049,
913号(特願平6−523167に対応)、「手術の
間に身体構造の可視化を増強するためのコンピュータ・
グラフィックス及びライブ・ビデオ・システム」(Co
mputer Graphic and Live V
ideo System forEnhancing
Visualization of Body Str
uctures During Surgery)に関
連している。これら両方の出願は共に、ここに参照され
るべきものであり、本発明の譲り受け人に譲渡されてい
る。
【0002】本出願は又、1991年12月23日に出
願されたウィリアム・イー・ローレンセン、ハーベイ・
イー・クライン、ブルース・ティータ及びジーグワルト
・ルトケ(William E.Lorensen,H
arvey E.Cline,Bruce Teete
r and Siegwalt Ludke)による米
国特許出願第07/812,394号、「立体モデルの
表面に対する立体カットを表示するためのシステム」
(System For DisplayingSol
id Cuts For Surfaces of S
olid Models)、1991年12月23日に
出願されたハーベイ・イー・クライン、ウィリアム・イ
ー・ローレンセン及びジーグワルト・ルトケ(Harv
ey E.Cline,William E.Lore
nsen and Siegwalt Ludke)に
よる米国特許出願第07/812,479号、「分割立
方体を用いたスパン法による立体モデルの作成」(So
lid Models Generation By
Span Method Using Dividin
g Cubes)、並びに1991年12月23日に出
願されたハーベイ・イー・クライン、ウィリアム・イー
・ローレンセン及びジーグワルト・ルトケ(Harve
y E.Cline,William E.Loren
sen and Siegwalt Ludke)によ
る米国特許出願第07/812,395号、「三次元モ
デルで手術のカットを表示するための装置及び方法」
(Apparatus and Method For
Displaying Surgical Cuts
in Three−Dimensional Mod
els)に関連している。これらはすべて、ここに参照
されるべきものであり、本発明の譲り受け人に譲渡され
ている。
【0003】
【産業上の利用分野】本発明は、医用手順の間に解剖学
的構造を可視化する際に、医師、例えば外科医を支援す
るためのシステムに関し、更に詳しくは、開業医が内部
及び外部の両方の解剖学的構造を実時間で見ることがで
きるようにするシステムに関する。
【0004】
【従来の技術】現在、手術の間に、並びに内視鏡検査
法、生検法及び移植のような他の医用手順の間に、医師
は手術室で患者のいくつかの静止した放射線写真画像を
見る。これらは通常、磁気共鳴(MR(magneti
c resonance))、コンピュータ断層撮影
(CT(computed tomograph
y))、通常のX線画像又は超音波画像の透明なフィル
ム・レンダリングである。これらの画像は二次元の静止
画像であるので、医師は見ている二次元画像から、患者
の内部の所望の内部構造の実際の三次元(3D)の位置
及び形状を判定しなければならない。外科医は内部構造
の三次元モデルを概念的に構成し、これらの内部構造を
自分が切らなければならない患者の見える外部構造と互
いに関連させる。これは難しいことが多い。二次元画像
のスケール及び方向が、外科医の見ているものと異なる
ことがあり、又、外科医が患者及び医用診断画像の両方
を同時に見ることができないことがあるからである。
【0005】手術の間に内部構造の位置決めに用いられ
ているもう1つの手法は、走触性の手術として知られて
いる。これについては、アイトリプルイー・トランザク
ションズ・オン・バイオメディカル・エンジニアリング
誌所載のビー・エー・カル、ピー・ジェー・ケリー及び
エス・ジェー・ゴアスの論文「CO2 レーザ及びCT取
得データベースを用いて頭蓋内の腫瘍を除去するための
対話形走触性手術システム」(”Interactiv
e Stereotactic Surgical S
ystem for the Removal of
Intracranial Tumors Utili
zing the CO2 Laserand CT−D
erived Database” by B.A.K
all,P.J.Kelly and S.J.Goe
rss, IEEE Transactions on
Biomedical Engineering,v
ol.BME−32,no.2,pp.112−11
6,1985)、並びにメディカル・イメージング誌所
載のビー・エー・カル、ピー・ジェー・ケリー及びエス
・ジェー・ゴアスの論文「包括的なコンピュータ援用デ
ータ収集治療計画作成及び対話形手術」(”Compr
ehensive Computer−Assiste
d Data Collection Treatme
nt Planning and Interacti
ve Surgery” by B.A.Kall,
P.J.Kelly and S.J.Goerss,
Medical Imaging,vol.767,
pp.509−514,1987)に記述されている。
この手法では、CT又はMR手順の前に堅固な機械的フ
レームが患者に取り付けられる。結果として得られる画
像には、フレームとその標識点とを見ることができる。
フレームの機構によって、プローブが画像内の特定の位
置に位置決めされる。この手法の欠点は、フレームによ
って患者への接近が制限されること、及び手術の間に患
者が動いた場合に、画像が患者に従わない静止画像であ
るということである。
【0006】内部構造の位置決めのために用いられてい
る第3の手法が、アイトリプルイー・トランザクション
ズ・オン・バイオメディカル・エンジニアリング誌所載
のイー・エム・フリーツ、ジェー・ダブリュー・ストロ
ーベーン、ジェー・エフ・ハッチ及びディー・ダブリュ
ー・ロバーツの論文「神経外科のための無フレーム走触
性手術顕微鏡」(”A Frameless Ster
eotaxic Operating Microsc
ope for Neurosurgery”by
E.M.Friets,J.W.Strohbehn,
J.F.Hatch and D.W.Robert
s, IEEE Transactions on B
iomedical Engineering,vo
l.36,no.6,pp.608−617,June
1989)に記述されている。
【0007】解剖学的構造の三次元モデルは、上述の
「関連出願との関係」の欄に列挙された出願に記述され
ているように、異なる医用イメージング形式のデータか
ら作成することができる。これらの出願では、患者の内
部構造のモデルの作成及び操作、並びに所望の方向にお
ける選択された構造の画像の操作者への供給について記
述されている。これらにより、内部構造を立体モデルと
して可視化することができる。
【0008】現在、手術及び他の医用手順において医師
を支援するためのシステムであって、患者の外部構造と
正しい関係で、内部構造のコンピュータ生成表示を対話
的に表示し、侵襲装置の実際の経路及び仮想経路の可視
化を可能とするシステムが必要とされている。
【0009】
【発明の目的】本発明の1つの目的は、患者がその位置
を変えても、又は操作者がその視角を変えても、外部構
造の上に内部構造の画像を同時に重ね合わせることによ
り手術を支援するシステムを提供することにある。本発
明のもう1つの目的は、外部構造の上に、同じスケール
を有しており、同じ方向角から見た所望の内部構造を表
示する対話形システムを提供することにある。
【0010】本発明のもう1つの目的は、厄介なヘッド
ギアを用いることなく、外科医の視野内の患者の外部構
造の上に重ね合わされた放射線写真画像のヘッドアップ
表示装置を外科医に提供することにある。本発明のもう
1つの目的は、被検体の内部構造に対する侵襲装置の可
視像を与えるために侵襲装置と統合された表示システム
を提供することにある。
【0011】
【発明の概要】患者の対話的な内部画像及び外部画像を
表示するための実時間手術装置が、操作者が患者の露出
した表面とコンピュータで生成された患者の内部構造の
画像とを同時に見ることができるようにしている半透明
な表示スクリーンを用いている。侵襲(invasiv
e)装置を表す記号が、内部構造及び外部画像の両方に
対して正しく表示された位置で、コンピュータで生成さ
れた画像に重ね合わされている。
【0012】医用イメージング装置又はコンピュータ支
援設計(CAD(computerassisted
design))システムが、患者の内部構造の三次元
(3D(three−dimensional))イメ
ージングデータをワークステーションに供給している。
患者、半透明スクリーン、操作者の目、及び患者内に挿
入されることになっている侵襲装置の三次元の位置及び
方向が実時間で監視されている。ワークステーションは
患者の内部構造の三次元コンピュータ生成モデルを作成
しており、これらの三次元コンピュータ生成モデルは、
医用イメージング装置を更に必要とせずに操作すること
ができる。そのモデルの二次元コンピュータ生成画像を
対話形式で方向を変えてスケーリングすることにより、
半透明な表示装置上のコンピュータ生成画像の表示は半
透明スクリーンを通した患者の操作者可視画像と一致す
る。
【0013】新規であると考えられる本発明の特徴は、
特許請求の範囲に詳細に述べられている。しかしなが
ら、本発明自体の構成及び動作方法、並びに本発明の上
述以外の目的及び利点は、図面を参照した以下の説明に
より最もよく理解することができる。
【0014】
【実施例】図1において、手術のような医用手順を行う
べき被検体、即ち患者1が、医用イメージング装置10
によって走査される。医用イメージング装置10は、患
者の内部構造から多次元の体積測定データ、例えば三次
元(3D)のデータを作成することが可能な磁気共鳴
(MR(magnetic resonance))イ
メージング装置、コンピュータ軸方向断層撮影(CAT
(computedaxial tomograph
y))装置、ボジトロン放射形断層撮影(PET(po
sitron emission tomograph
y))装置又は類似のイメージング装置とすることがで
きる。イメージング後に、装置10はモデル・ワークス
テーション100に体積測定データを供給する。一旦体
積測定データがモデル・ワークステーション100に供
給されれば、イメージング装置10はもはや必要でなく
なる。このことは重要である。というのは、いくつかの
医用手順は患者がイメージング装置の範囲内に位置して
いる状態で行う必要がないからである。患者がイメージ
ング装置の範囲内に位置している状態で行なわなければ
ならないということは、MRイメージングの場合に阻害
要因となり得る。代替実施例では、医用手順の間にイメ
ージング装置10を対話形式で用いることができる。モ
デル・ワークステーション100は体積測定データを記
憶すると共に、スケーリング、回転及び他の操作を行う
ことが可能なデータから、コンピュータで生成されるモ
デルを作成する。もはや、イメージング装置10は必要
でなくなる。
【0015】操作者350、例えば医師又は医療助手が
患者1を監視する。半透明スクリーン250が患者1と
操作者350との間に挿入されている。操作者350、
半透明スクリーン250及び患者1を監視すると共に追
跡する追跡装置50が、操作者350、被検体1、半透
明スクリーン250及び侵襲装置3の位置及び方向、即
ち、横揺れ(ロール)α、縦揺れ(ピッチ)θ、偏揺れ
(ヨー)φを測定する。1992年7月5日付のアセン
ション・テクノロジ・コーポレーションの据え付け取り
扱い説明書「小鳥の群れ」の緒言1〜3頁、付録1の8
9頁及び付録3の93頁(”The Flock of
Birds” Installation and
Operation Guide, Ascensio
n Technology Corporation,
July 5, 1992,in the Intr
oduction pp.1−3, Appendix
1,p.89 and Appendix 3,p.9
3)に記述されているように、追跡装置50は自由度が
6の追跡装置とすることができる。
【0016】患者1はデカルト座標系の原点(x,y,
z)=(0,0,0)にあるものと仮定する。従って、
患者1に対するすべての位置は、単に(x,y,z)位
置となる。患者1、半透明スクリーン250及び操作者
350の位置及び方向は、追跡装置50によってモデル
・ワークステーション100に対話形式で供給される。
他の実施例では、位置及び方向は手動でモデル・ワーク
ステーション(1つ又は複数)に供給することもでき
る。
【0017】モデル・ワークステーション100は、そ
れが受け取った三次元の体積測定データを処理すると共
に、データの選択されたレンダリング(表現)を作成す
る。1つのレンダリング法は、異なる型の組織の間の表
面を測定する。次に、互いに隣接した類似の型の組織の
結合性を測定する。三次元画像データにおける信号の性
質に基づく組織の型の弁別は、分別(segmenta
tion)として知られている。三次元(3D)の体積
測定データを内部構造に分別したときに、各々の内部構
造はモデル・ワークステーション100によって個別の
立体として扱うことができる。モデル・ワークステーシ
ョンは、所望の内部構造を選択的に表示し、構造を色分
けし、内部構造の切断、回転及び並進を行うことによ
り、所望の仕方でこれらの画像を操作して、モデル・ワ
ークステーション100を動かしている操作者に可視画
像を与える。
【0018】三次元データセット内の選択された特徴の
二次元投影を発生する代替のレンダリング方法が、19
93年8月3日に付与された米国特許第5,233,2
99号、エス・ピー・スーザ、ダブリュー・ジェー・ア
ダムス及びシー・エル・デュムリン(S.P.Souz
a,W.J.Adams and C.L.Dumou
lin)による「三次元データから二次元画像を発生す
るための投影方法」(Projection Meth
ods for Producing Two−Dim
ensional Images from Thre
e−Dimensional Data)に記述されて
いる。例えば、三次元位相コントラスト又は飛行時間磁
気共鳴血管造影から二次元投影血管造影を抜き出すこと
ができる。いくつかの投影アルゴリズムが可能である。
これらの投影アルゴリズムは、三次元データを通る選択
された投影射線に沿った最大画素強度の検出、選択され
た投影射線の平均画素強度の測定、及び選択された投影
射線に沿ったすべての画素の標準偏差の測定を含んでい
る。
【0019】モデル・ワークステーション100は、ワ
ークステーション・ビュー入力装置60から、そして位
置及び方向を追跡する追跡装置50から入力データを受
け取って、患者1の内部構造を表示する方向を選択す
る。ワークステーション・ビュー入力装置60は、マウ
ス若しくはトラックボールのようなコンピュータ・ポイ
ンタ(指示)装置、又は画像を切るべき平面並びに視角
及びスケールを示す任意の入力装置とすることができ
る。モデル・ワークステーション100は、操作者35
0の見る実時間シーンと一致している患者1の内部構造
の対話形コンピュータ生成画像を合成する。記号発生装
置5が、侵襲装置3の位置及び方向を示す記号を発生す
る。選択的に、侵襲装置3から伸びている射線を描い
て、侵襲装置3の現在の予定経路を示すこともできる。
【0020】対話形コンピュータ生成画像は、半透明ス
クリーン250の所要表示フォーマットに応じて、コン
ピュータ・モニタ信号、例えばRGBコンピュータ・モ
ニタ信号からビデオ・フォーマットに変換することがで
きる。この変換は、対話形コンピュータ生成画像を走査
変換器192(破線で示す)に通すことによって行われ
る。コンピュータ生成画像は、患者1と操作者350と
の間に挟まれている半透明スクリーン250に供給され
る。半透明スクリーン250は、操作者350の見る患
者1の外部構造とモデル・ワークステーション100か
らのコンピュータ生成画像との所望の混合を行う。半透
明スクリーン250は、例えばワークステーション・ビ
ュー入力装置60を介して、操作者からの入力信号を受
け取ることができる。これには、各々の画像の透明度、
又は他の種々の特殊効果のどれでも含めることができ
る。非常に有用な特殊効果の1つは、可動窓である。可
動窓は、もう1つの画像に0%の透明性(100%の不
透明性)を重ね合わせたものである。窓画像が外部構造
の上に重ね合わされた内部構造の画像であるときには、
これにより窓内で切り取った外部構造の幻影が作成さ
れ、下方にある内部構造が露出される。他の従来のビデ
オ特殊効果を用いることもできる。半透明スクリーン2
50によって、操作者350は内部構造及び外部構造の
両方を同時に見ることができる。医用手順の間に患者が
動いても、操作者350が見る結果のシーンは、患者1
の対話形実時間画像である。内部構造と、露出している
外部構造に対する内部構造の関係とが同時に表示される
ので、本発明を使用する外科医は、外部構造のどこを切
るべきかについての非常に正確な表示を認識することに
より、重大な内部構造を回避しつつ、所望の内部構造に
到達する。
【0021】図2は本発明の代替実施例を示す。この実
施例では、操作者350は患者1の内部構造及び外部構
造の立体的なビュー(view)を受け取る。操作者3
50の各々の目は患者に対する向きが異なっているの
で、各々の目に異なるビューが与えられる。追跡装置5
0は、操作者350の第1及び第2の目、患者1、半透
明スクリーン250及び侵襲装置3の位置(x1,y
1,z1)及び方向角(α1,φ1,θ1)を追跡す
る。操作者の第2の目の位置及び方向は、追跡装置50
によって独立に測定することができる。又は、第1の目
の位置及び方向を用いて、第2の目の位置及び方向を計
算することができる。これらの位置及び方向は、第1の
モデル・ワークステーション100a及び第2のモデル
・ワークステーション100bに供給される。モデル・
ワークステーション100a及び100bは、操作者3
50の各々の目のビューにそれぞれ対応している位置
(x1,y1,z1)及び方向(α1,φ1,θ1)、
並びに位置(x2,y2,z2)及び(α2,φ2,θ
2)で右及び左のコンピュータ・グラフィック画像をそ
れぞれ作成する。
【0022】記号発生装置5は侵襲装置3の位置及び方
向を受け取って、半透明スクリーン250の適当な位置
及び方向に記号を表示する。記号は、侵襲装置3の予定
経路を示す射線によって延長してもよい。ワークステー
ション・ビュー入力装置60及びイメージング装置10
からの制御信号は共に、第1のモデル・ワークステーシ
ョン100aに送ることができる。第1のモデル・ワー
クステーション100aは通信路140を介して、第2
のモデル・ワークステーション100bに制御信号を伝
搬するか、又はその代わりに、制御信号を両方のモデル
・ワークステーションに直接送ることができる。
【0023】半透明スクリーン250で必要とされる場
合には、左及び右のビューにそれぞれ関係している左及
び右のコンピュータ生成画像がビデオ・フォーマットに
変換される。この変換は、走査変換器192a及び19
2b(破線で示す)によって行われ、走査変換器192
a及び192bは、変換されたコンピュータ生成信号を
シーケンサ198に送る。シーケンサ198は、ステレ
オスコピック・ディスプレイズ・アンド・アプリケーシ
ョンズ・プロシーディングズ・エスピーアイイー誌所載
のエム・スタークスによる「フィールド順次の立体的な
運動画像及び映像のビデオテープ録画、編集及び表示を
行うための低コストな携帯用装置」(”Portabl
e, Low Cost Devices for V
ideotaping,Editing, and D
isplaying FieldSequential
Stereoscopic Motion Pict
ures and Video” by M.Star
ks, Stereoscopic Displays
and Applications Proc.SP
IE Vol.1256,pp.266−271,19
90)に記述されているような通常のビデオ・シーケン
サとすることができる。
【0024】シーケンサ198は、左のコンピュータ生
成画像を半透明スクリーン250に送る。シーケンサ1
98は次に、右のコンピュータ生成画像を半透明スクリ
ーン250に送る。シーケンサ198は同期して毎秒多
数回、左のビューと右のビューとを切り換える。半透明
スクリーン250に表示された画像が時間多重化される
ことにより、操作者の左目と右目とに対する画像が交互
に作成される。立体的ビュアー252はシーケンサ19
8に同期して、操作者の左目又は右目の視力を阻止する
ように動作する。これにより、反対側の目は瞬間、半透
明スクリーン250上の画像を見ることができ、このこ
とが反対の右目又は左目についても同様に行われる。こ
れにより操作者350は、右目が何も見ていない間に左
目で左の画像を見ることができ、左目が何も見ていない
間に右目で右の画像を見ることができ、これを素早く連
続して行うことができる。これにより立体的な幻影が作
成され、半透明スクリーン250に表示された画像を見
る際に深さを認識するための次元が付加される。手術で
は、深さの認識は非常に有益である。深さを認識するこ
とにより、視覚的に構造の位置決めを行う助けとなる寸
法が付加されるからである。このことは、複雑で細心の
注意を要する手術において特に重要である。
【0025】本発明の両方の実施例に対して、コンピュ
ータ画像を操作者350の見る外部構造と合わせ(一致
させ)なければならない。操作者からの手動入力により
コンピュータ生成画像の回転、並進及びスケーリングを
行ってコンピュータ生成画像を半透明スクリーンを介し
て見えるシーンと一致させることにより、又は追跡装置
50を用いて初期パラメータを設定することにより、初
期設定を行うことができる。
【0026】三次元モデルと患者1の可視画像とが一旦
揃えば、追跡装置50は視角と視野とを一定に保つ。こ
れにより、患者1の操作者のビューとコンピュータ生成
画像との間の実時間の対話的な同期化を行うことができ
る。各内部構造の画像は立体に似たものに分別すること
ができるので、この画像は立体として操作することがで
きる。患者の構造の場合、外科医は医用イメージングに
よって患者からデータを取得することができ、次に手術
の前にモデルを操作して所望の結果の計画を立てること
により手術を計画することができる。このことは、複雑
な復元手術では普通のことである。一旦計画が決められ
ると、この計画は記憶されて、手術の間に再生すること
ができる。内部構造の画像は、実際の患者と一致するよ
うに、対話的に方向付けされると共にスケーリングされ
る。
【0027】ユーザは図1及び図2のワークステーショ
ン・ビュー入力装置60を用いることにより、モデルの
構造を切るべき平面をそれぞれ選択し、モデルの三次元
の方向を選択すると共に、ワークステーション・ビュー
領域を決めるスクリーン・カット平面を選択する。モデ
ル・ワークステーションは、モデル・カット平面内の点
を決定するためのクリッピング回路と、点及び法線ベク
トルを回転させるための回転回路と、分別プロセッサ
と、各々の点での法線ベクトルの方向に基づくシェーデ
ィング(shading)を決定するシェーディング回
路とを含んでいてもよい。更に、スクリーン・クリッピ
ング回路を用いて、スクリーン・カット平面によって画
定されている領域内の点を決定することができる。モデ
ル・ワークステーションは又、ビデオ信号を発生するた
めの表示回路を含んでいてもよい。このビデオ信号は、
適当な表示装置に伝搬されると、所望の表示領域及びス
クリーン・カット平面内にある多重表面の画像を生成す
る。
【0028】切除手術のような徹底的な手術、又は大き
な外傷の場合には、正常な組織が何であるかを正しく決
定するために残っている構造が殆どない。これらの場合
には、付加的なモデル・ワークステーションに正常な構
造のモデルを記憶させることもできる。この正常な構造
のモデルは、表示されている他の画像と混合されて、復
元手術のガイドとしての役割を果たす。これは、付加的
なワークステーション又はモデル操作盤によって具体化
することができる。
【0029】本発明の本実施例では、操作者350と患
者1との間に半透明スクリーン250が挿入されてい
る。スクリーン250は液晶表示装置で構成することが
でき、又は、スクリーン250はビデオ・モニタからの
画像を反射している部分的に銀めっきされた鏡で構成す
ることができる。半透明スクリーン250は、患者1の
関心のある領域の寸法と寸法がほぼ等しい比較的大きい
装置として構成することができる。又はその代わりに、
半透明スクリーン250を小さな寸法として、操作者の
目に比較的近接して配置し、ヘッドギア又はアイウェア
に組み入れることができる。
【0030】本発明の一実施例では、半透明スクリーン
は可動アーム7に取り付けられている。可動アーム7に
よって、患者1と操作者350との間の任意の位置にス
クリーンを配置することができる。これにより、頭に装
着された表示装置では不可能となる本発明の使用が可能
となる。例えば、半透明スクリーン250を書き込み可
能な表面である材料で形成すると、操作者350はイン
ク・マーカを用いて関心のある領域(例えば、切開の位
置)を描いたり又は注釈を書いたりすることができ、こ
れらは近くにいる他の人も見ることができる。
【0031】頭に装着された表示装置では可能でない本
発明のもう1つの使用は、表示スクリーンの位置及び方
向を用いて、スクリーンに表示される画像を判定するこ
とである。次に入力装置60を用いて、患者の内部の画
像平面の深さを調整することができる。従って、これを
用いて、患者を走査して内部構造を探し、侵襲装置の予
定経路が正しいかどうかを判定することができる。
【0032】選択的に、侵襲装置を保持する侵襲位置決
め器9がシステムに付加される。これも追跡手段50に
よって追跡され、侵襲装置の位置及び方向が監視されて
モデル・ワークステーションに供給される。追跡するこ
とが好ましい点は、端点及び侵襲位置決め器9の少なく
とも1つの他方の点であり、これにより、侵襲装置の位
置と共に方向が確かめられる。
【0033】新規な可視化システムのいくつかの現在好
ましい実施例を詳細に説明してきたが、当業者は多数の
改変及び変更を考え付き得る。従って、本発明の要旨に
入るこのようなすべての改変及び変更を包含するように
特許請求の範囲を記載してあることは理解されるべきで
ある。
【図面の簡単な説明】
【図1】本発明による医用表示装置の第1の実施例の概
略ブロック図である。
【図2】本発明による医用表示装置の第2の実施例の概
略ブロック図である。
【符号の説明】
1 患者 3 侵襲装置 5 記号発生装置 7 可動アーム 10 医用イメージング装置 50 追跡装置 100、100a、100b モデル・ワークステーシ
ョン 250 半透明スクリーン 252 立体的ビュアー 350 操作者
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G03B 42/02 A61B 5/05 380 (72)発明者 ウィリアム・ジョン・アダムス アメリカ合衆国、ニューヨーク州、クリフ トン・パーク、バルデペナス・レーン、6 番

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 操作者による患者のビューと一致してい
    る患者の内部構造の対話形画像を操作者に表示する実時
    間医用装置であって、 (a) 与えられた画像を、当該スクリーンを通して見
    える構造に重ね合わされて現れるように調整可能な透明
    度で表示する半透明スクリーンと、 (b) 前記操作者が前記半透明スクリーンを通して前
    記患者を見ることができるように、前記操作者と前記患
    者との間の選択された位置に前記半透明スクリーンを保
    持する機械的アームと、 (c) 前記操作者、前記患者及び前記半透明スクリー
    ンの位置及び方向を繰り返し測定する追跡装置と、 (d) 該追跡装置に接続されており、前記位置及び方
    向を受け取ると共に、一組の記憶されたイメージングデ
    ータから前記操作者、前記患者及び前記半透明スクリー
    ンの相対位置及び方向と一致した内部構造の画像を前記
    半透明スクリーン上に形成するワークステーションとを
    備えた実時間医用装置。
  2. 【請求項2】 前記患者の内部構造の一組の三次元イメ
    ージングデータを求める医用イメージング・システムを
    更に含んでいる請求項1に記載の実時間医用装置。
  3. 【請求項3】 (a) 前記追跡装置により追跡されて
    いる位置及び方向を有している侵襲装置と、 (b) 該侵襲装置の位置及び方向を示す記号を前記半
    透明スクリーン上に重ね合わせる記号発生手段とを更に
    含んでいる請求項1に記載の実時間医用装置。
  4. 【請求項4】 前記記号発生手段は、前記侵襲装置の現
    在の方向及び前記患者の内部構造への前記侵襲装置の予
    定経路を示す射線を表示する手段を更に含んでいる請求
    項1に記載の実時間医用装置。
  5. 【請求項5】 前記追跡装置は、前記操作者の各々の目
    に対応している第1の位置及び方向並びに第2の位置及
    び方向を決定しており、前記ワークステーションは、前
    記第1の位置及び方向に関連した画像を形成しており、 (a) 前記第2の位置及び方向から見たときの前記患
    者の内部構造の第2の画像を前記イメージングデータか
    ら形成する第2のワークステーションと、 (b) 前記半透明スクリーンと同期した立体表示手段
    であって、第1のコンピュータ生成画像が表示されてい
    るときに前記操作者の一方の目のみが前記半透明スクリ
    ーンを見ることができるようにすると共に第2のコンピ
    ュータ生成画像が表示されているときに前記操作者の他
    方の目が前記半透明スクリーンを見ることができるよう
    にし、これにより前記患者の外部構造の上に重ね合わさ
    れた内部構造の三次元画像を模擬する立体表示手段とを
    更に含んでいる請求項1に記載の実時間医用装置。
  6. 【請求項6】 前記半透明スクリーンは、その上に書か
    れたり消されたりすることの可能な材料で構成されてい
    る表面を有している請求項1に記載の実時間医用装置。
  7. 【請求項7】 患者に医用手順を遂行するために操作者
    を支援する方法であって、 (a) 前記患者の内部構造から多次元医用イメージン
    グデータを取得する工程と、 (b) 前記操作者と前記患者との間で位置及び方向を
    選択する工程と、 (c) 前記操作者が自立形の半透明スクリーンを通し
    て前記患者を見ることができるように、選択された前記
    位置及び方向に前記半透明スクリーンを位置決めする工
    程と、 (d) 前記患者、前記操作者及び前記半透明スクリー
    ンの位置(x,y,z)及び方向角(α,φ,θ)を測
    定する工程と、 (e) 前記医用イメージングデータから、測定された
    前記位置(x,y,z)及び方向角(α,φ,θ)と一
    致した前記内部構造のコンピュータ生成画像を形成する
    工程と、 (f) 前記医用手順で前記操作者を支援するために前
    記患者の上に重ね合わされた内部構造の幻影を形成する
    ように、前記半透明スクリーン上に所望の透明度で前記
    コンピュータ生成画像を表示する工程とを備えた患者に
    医用手順を遂行するために操作者を支援する方法。
  8. 【請求項8】 前記多次元医用イメージングデータを取
    得する工程は、医用イメージング・システムにより実時
    間で実行される請求項7に記載の操作者を支援する方
    法。
  9. 【請求項9】 前記コンピュータ画像を形成する工程
    は、 (a) 前記医用イメージングデータから、前記測定さ
    れた位置及び方向角に一致した前記内部構造の一対のコ
    ンピュータ生成立体画像を形成する工程を含んでおり、 前記コンピュータ生成画像を表示する工程は、 (b) 前記医用手順で前記操作者を支援するために前
    記患者の上に重ね合わされた内部構造の立体幻影を形成
    するように、前記半透明スクリーン上に所望の透明度で
    前記一対のコンピュータ生成画像を表示する工程を含ん
    でいる請求項7に記載の操作者を支援する方法。
  10. 【請求項10】 前記操作者による前記患者のビューに
    対応するように左のコンピュータ生成画像及び右のコン
    ピュータ生成画像の距離及び方向角を調整する工程を更
    に含んでいる請求項7に記載の操作者を支援する方法。
JP7299431A 1994-11-17 1995-11-17 実時間医用装置及び患者に医用手順を遂行するために操作者を支援する方法 Pending JPH08280710A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US34078494A 1994-11-17 1994-11-17
US08/340784 1994-11-17

Publications (1)

Publication Number Publication Date
JPH08280710A true JPH08280710A (ja) 1996-10-29

Family

ID=23334931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7299431A Pending JPH08280710A (ja) 1994-11-17 1995-11-17 実時間医用装置及び患者に医用手順を遂行するために操作者を支援する方法

Country Status (2)

Country Link
JP (1) JPH08280710A (ja)
DE (1) DE19542605A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001017408A (ja) * 1999-06-10 2001-01-23 General Electric Co <Ge> Mriシステム及びmri走査を行う方法
EP1080695A1 (en) 1999-08-31 2001-03-07 Hitachi, Ltd. Medical treatment apparatus and method for supporting or controlling medical treatment
JP2006158767A (ja) * 2004-12-09 2006-06-22 Hitachi Medical Corp 核磁気共鳴撮像装置
JP2007518521A (ja) * 2004-01-20 2007-07-12 スミス アンド ネフュー インコーポレーテッド 低侵襲性の切開口のためのシステムおよび方法
JP2013205526A (ja) * 2012-03-28 2013-10-07 Sony Corp 表示装置および表示制御方法
WO2019092954A1 (ja) * 2017-11-07 2019-05-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示装置、および医療用観察装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10210650B4 (de) * 2002-03-11 2005-04-28 Siemens Ag Verfahren zur dreidimensionalen Darstellung eines Untersuchungsbereichs eines Patienten in Form eines 3D-Rekonstruktionsbilds und medizinische Untersuchungs- und/oder Behandlungseinrichtung
DE10340546B4 (de) 2003-09-01 2006-04-20 Siemens Ag Verfahren und Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen
DE10340544B4 (de) * 2003-09-01 2006-08-03 Siemens Ag Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen
DE102005059209B4 (de) 2005-12-12 2010-11-25 Siemens Ag Verfahren und Vorrichtung zur Visualisierung einer Folge von tomographischen Bilddatensätzen

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001017408A (ja) * 1999-06-10 2001-01-23 General Electric Co <Ge> Mriシステム及びmri走査を行う方法
EP1080695A1 (en) 1999-08-31 2001-03-07 Hitachi, Ltd. Medical treatment apparatus and method for supporting or controlling medical treatment
US6557558B1 (en) 1999-08-31 2003-05-06 Hitachi, Ltd. Medical treatment apparatus
JP2007518521A (ja) * 2004-01-20 2007-07-12 スミス アンド ネフュー インコーポレーテッド 低侵襲性の切開口のためのシステムおよび方法
JP2006158767A (ja) * 2004-12-09 2006-06-22 Hitachi Medical Corp 核磁気共鳴撮像装置
JP2013205526A (ja) * 2012-03-28 2013-10-07 Sony Corp 表示装置および表示制御方法
US9952657B2 (en) 2012-03-28 2018-04-24 Sony Corporation Display apparatus and display control method
WO2019092954A1 (ja) * 2017-11-07 2019-05-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示装置、および医療用観察装置
JPWO2019092954A1 (ja) * 2017-11-07 2020-11-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示装置、および医療用観察装置
US11376095B2 (en) 2017-11-07 2022-07-05 Sony Olympus Medical Solutions Inc. Medical display device and medical observation device

Also Published As

Publication number Publication date
DE19542605A1 (de) 1996-05-23

Similar Documents

Publication Publication Date Title
US5526812A (en) Display system for enhancing visualization of body structures during medical procedures
Bichlmeier et al. The virtual mirror: a new interaction paradigm for augmented reality environments
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
Jolesz et al. Interactive virtual endoscopy.
EP0741540B1 (en) Imaging device and method
JP2022017422A (ja) 拡張現実感手術ナビゲーション
US6049622A (en) Graphic navigational guides for accurate image orientation and navigation
JP2021522918A (ja) 介入手術を実行するためのライブ3dホログラフィックガイダンス及びナビゲーション
JPH07508449A (ja) 外科手術の際に身体構造をよく見える様にするコンピュータ・グラフィック及びライブ・ビデオ・システム
Navab et al. Laparoscopic virtual mirror new interaction paradigm for monitor based augmented reality
EP1011424A1 (en) Imaging device and method
JPH07136175A (ja) 実時間医用装置および方法
Liu et al. Toward intraoperative image-guided transoral robotic surgery
JP3198130B2 (ja) 手術シミュレーションシステム
JP2001084409A (ja) 三次元画像処理方法及び三次元画像処理装置
Abou El-Seoud et al. An interactive mixed reality ray tracing rendering mobile application of medical data in minimally invasive surgeries
Wiet et al. A volumetric approach to virtual simulation of functional endoscopic sinus surgery
JP2001276066A (ja) 三次元画像処理装置
JPH08280710A (ja) 実時間医用装置及び患者に医用手順を遂行するために操作者を支援する方法
Huang et al. Augmented reality-based autostereoscopic surgical visualization system for telesurgery
Suthau et al. A concept work for Augmented Reality visualisation based on a medical application in liver surgery
Adams et al. CAS—a navigation support for surgery
Robb et al. Patient-specific anatomic models from three dimensional medical image data for clinical applications in surgery and endoscopy
Vogt Real-Time Augmented Reality for Image-Guided Interventions
Bichlmeier et al. Evaluation of the virtual mirror as a navigational aid for augmented reality driven minimally invasive procedures

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060307

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060822