JP3769316B2 - 実時間三次元指示装置及び被検体内の三次元位置を確認する際に操作者を支援する方法 - Google Patents
実時間三次元指示装置及び被検体内の三次元位置を確認する際に操作者を支援する方法 Download PDFInfo
- Publication number
- JP3769316B2 JP3769316B2 JP29796595A JP29796595A JP3769316B2 JP 3769316 B2 JP3769316 B2 JP 3769316B2 JP 29796595 A JP29796595 A JP 29796595A JP 29796595 A JP29796595 A JP 29796595A JP 3769316 B2 JP3769316 B2 JP 3769316B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- operator
- screen
- dimensional
- translucent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Physical Education & Sports Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【0001】
【産業上の利用分野】
本発明は、コンピュータ・グラフィックスに関し、更に詳しくは、三次元の指示装置に関する。
【0002】
【従来の技術】
二次元(2D)の点の指示及び位置決めの目的で計算装置と共に使用されている多くの公知の装置がある。例えば、コンピュータ・マウス、描画タブレット及びライトペンである。これらの装置では、二次元位置を確認するために光学的又は機械的な手段が用いられている。
【0003】
三次元(3D)の位置決め装置もある。これらの装置は、電磁、音響又は赤外線の原理を用いて三次元の点を位置決めする。
赤外線位置決め装置及び光学的位置決め装置は、発生源と受信器との間の可視照準線を必要とする。音響位置決め装置では、音を障害なしに受けなければならない。そうでないと、計算された三次元の位置に誤差が生じる。
【0004】
これらの装置は主として、被検体外部の点を追跡するために用いられている。それらの性質のため、それらは固体被検体の内側の点を位置決めするように容易に改造することができない。
固体被検体の内部点を位置決めするようにこれらを変形することができれば、選択すべき内部位置を示す操作者への(フィードバック)帰還はない。更に操作者は、被検体の内部構造を可視化することができない。
【0005】
現在、固体被検体内の位置を非侵入的に選択する際に操作者を支援する装置が必要とされている。
【0006】
【発明の目的】
本発明の1つの目的は、たとえ患者が姿勢を変えても、又は操作者がその視角を変えても、外部構造の上に内部構造の画像を同時に重ねることにより手術を支援するシステムを提供することにある。
本発明のもう1つの目的は、外部構造の上に所望の内部構造を正しく合わせて表示する対話システムを提供することにある。
【0007】
本発明のもう1つの目的は、被検体の外部構造の上に重ねられた内部構造の画像のヘッドアップ表示装置を操作者に提供することにある。
本発明のもう1つの目的は、被検体の対応する外部構造の上に重ねられるべき内部構造及び表面の選択を可能にする対話システムを提供することにある。
本発明のもう1つの目的は、被検体内に物理的物体を配置することなく、操作者が被検体内の選択された位置を指示できるようにする指示システムを提供することにある。
【0008】
【発明の概要】
被検体内の三次元(3D)の位置を対話的に指示する実時間装置は、半透明スクリーン上に被検体の内部構造及び外部構造の正しく重ねられた画像を表示する。これにより操作者は、被検体内の三次元位置を対話形式で見て確認することができる。
【0009】
被検体の内部構造の表現がワークステーションに与えられる。この表現は、イメージング手段又はCAD/CAMシステムのような手段によって発生されて、事前に記憶されるようにしてもよい。操作者は、半透明スクリーンを通して被検体の外部構造が操作者に見えるように、可動アームによって保持された半透明スクリーンを操作者と被検体との間に配置する。被検体、半透明スクリーン及び操作者の三次元の位置及び方向は、実時間で追跡装置によって監視され、ワークステーションに与えられる。ワークステーションは追跡装置から位置及び方向を受け取り、操作者の視角に対応する内部構造の画像を作成する。内部構造と外部構造とが正しく合わさるように、この画像は被検体の外部構造のビュー(view)の上に重ねられる。
【0010】
一実施例では、半透明スクリーンは、スクリーン上に十字線のような確認手段を有していてもよく、スクリーンから所定の画像深さで初期化される。この初期化により、三次元の点である「目標点」が十字線の中心から照準線に沿った画像深さとなるように定められる。この「目標点」は、操作者が操作者自身、被検体又はスクリーンを物理的に動かすことにより選択される。ビューも変化して、操作者が被検体を「覗く」ことにより目標点を確認することができる。これらの目標点は、三次元座標として他の出力装置に対話的に供給することができる。十字線及び画像深さにより、選択された点として確認された現在の「目標点」を、作動したときに確認する入力装置を用いることもできる。
【0011】
代替の実施例では、三次元の目標点を画定するために、スクリーンの位置及び方向と共に二次元(2D)指示装置が用いられている。このような二次元入力装置の1つは、スクリーン上のタッチセンサを用いて、操作者によってタッチされた(触れられた)二次元位置を確認する。スクリーンの位置及び方向と共にこの二次元位置から三次元位置が得られる。
【0012】
上述の各実施例は、深さ認識を与える立体形でも用いることができる。
新規であると考えられる本発明の特徴は、特許請求の範囲に明確に記述されている。しかしながら、本発明自体の構成及び動作、並びに本発明の上述した以外の目的及び利点は、図面と共に以下の説明を参照することにより最も良く理解することができる。
【0013】
【実施例】
図1において、被検体1の内部構造の表現がモデル・ワークステーション100に与えられる。この表現は、計算機支援設計(CAD)/計算機支援製造(CAM)システムによって作成されたコンピュータ・モデルであってもよく、又は被検体の内部構造から三次元データのような多次元体積測定データを作成することが可能な磁気共鳴(MR(magnetic resonance))イメージング装置、コンピュータ軸方向断層撮影(CAT(computed axial tomography))装置、ポジトロン放射形断層撮影(PET(positron emission tomography))、若しくは類似のイメージング装置のようなイメージング(作像)装置10で被検体1を走査することによって取得してもよい。イメージング後に、装置10は体積測定データをモデル・ワークステーション100に供給する。いったん体積測定データがモデル・ワークステーション100に供給されれば、イメージング装置10はもはや必要とされない。このことは重要である。MRイメージングの場合に圧迫的になり得るイメージング装置の範囲内に位置している被検体に対して、いくつかの手順を行う必要がないからである。代替の実施例では、その手順の間にイメージング装置10を対話形式で用いてもよい。モデル・ワークステーション100は体積測定データを記憶すると共に、スケーリング、回転及び他の操作を加えることが可能なデータからコンピュータ生成モデルを作成し、イメージング装置10はもはや必要でない。
【0014】
半透明スクリーン250は、操作者350が被検体1と操作者350との間に半透明スクリーン250を対話形式で配置することができるように、可動アーム7によって保持されている。半透明スクリーンは、書いたり消したりすることのできる表面材料で構成されていてもよい。
追跡(トラッキング)装置50は、操作者350、半透明スクリーン250及び被検体1の位置及び方向を監視する。
【0015】
操作者350は、半透明スクリーン250を動かしながら半透明スクリーン250を通して被検体1の外部構造を見る。追跡装置50は、位置及び方向をモデル・ワークステーション100に供給する。モデル・ワークステーション100は、操作者の外部構造のビューに対応する内部構造の画像を作成する。内部構造と外部構造とが「合わせ」られる。外部構造と正しく合わされた内部構造を表現するように幾何学的配列とスケーリングとが行われれば、コンピュータ・モデルの表現及び表示の従来の方法を用いてもよい。スクリーン深さ距離が予め選択され、スクリーン上の位置も予め選択されていれば、三次元の「目標点(ターゲット・ポイント)」は、半透明スクリーン250からスクリーン深さだけ離れて投影されたスクリーン位置であることを確認することができる。スクリーン位置は、スクリーン上の十字線等によって確認することができる。半透明スクリーン250を傾けて動かすことにより、操作者350は被検体1内の任意の位置に「目標点」を位置決めすることができる。操作者が半透明スクリーンを被検体に近付けるにつれて、イメージング平面は被検体内に深く入る。操作者350が半透明スクリーンを操作者に近付けるにつれて、イメージング平面は操作者に近付く。操作者350が見るモデル・ワークステーション100によって作成された内部構造のビューは、スクリーンの位置/方向及びスクリーン深さに関連している。従って、操作者は被検体を覗いて、三次元の点を選択することができる。モデル・ワークステーション100は、幾何学的配列を計算して「目標点」を三次元の位置に変換するのに必要な情報のすべてを有している。次に、これらの三次元位置は出力装置101に供給される。出力装置101はこれらの三次元位置を用いる。出力装置101は、固体対象物内で定められた三次元位置を必要とする任意の装置であってもよい。
【0016】
モデル・ワークステーション100からの信号は、半透明スクリーン250の必要とする表示フォーマットに応じて、スキャン変換器192(点線で示してある)を通すことによりRGBコンピュータ・モニタ信号のようなコンピュータ・モニタ信号からビデオ・フォーマットに変換することができる。
本発明は更に、入力装置253を含んでいてもよい。入力装置253によって、操作者350は現在の「目標点」を選択された点として選択することができるか、又は入力装置が作動して三次元飛翔経路を通して「目標点」を「引っ張る」ときにスクリーンを動かすことにより、操作者350は多数の三次元の点を選択することができる。多数の端点を従来知られているやり方で選択及び連結することにより、線、曲線、形状及び体積を画定することができる。
【0017】
システムの有用性に付加されるもう1つの要素は、記号発生器5を用いることである。記号発生器5は追跡装置に接続されることにより、配置又は位置情報を受け取って、「目標点」の位置を確認する。次に記号発生器5は、被検体1の内部構造及び外部構造の両方に対する「目標点」の位置を示す記号を半透明スクリーン250上に表示する。「目標点」の情報は、この位置を知っている他の素子から受け取ってもよい。
【0018】
図2には、本発明の第2の実施例の概略ブロック図が示されている。前の実施例と同じ名称及び参照番号を有しているブロックは、同じように動作する。
この実施例では、スクリーンの位置が選択可能である。第1の実施例では、スクリーン上に印を付けた固定スクリーン位置が用いられている。第2の実施例では、入力装置251を用いることにより、操作者350はスクリーン位置を対話形式で選択することができる。スクリーン位置がスクリーン深さと組み合わされたときに、「目標点」が決定される。操作者350がタッチしたスクリーン位置を入力装置251が確認するために、タッチセンサであることが好ましい。
【0019】
スクリーン深さは、第1の実施例のように固定されていてもよいし、又は入力装置251のような入力装置を介して初期設定されていてもよい。スクリーン深さを入力装置251を介してシステムに供給してもよい。
前と同様に操作者は、スクリーンにタッチして、スクリーンを動かしながら指をスクリーンに接触させ続けることにより、三次元位置を選択し、飛翔経路を通して「引っ張る」ことができる。
【0020】
前の実施例で説明したように、前と同様に動作する記号発生器5及び入力装置253を選択的に付加してもよい。
これにより、三次元のインタフェースが効果的に得られる。この三次元のインタフェースは、関心のある区域全体にわたってイメージング平面を動かすことにより、操作者が被検体の体積を通して探索することを可能にする非常に論理的な方法である。
【0021】
内部画像から外部画像への透明度、又は他の種々の特殊効果は、適当な入力装置によって再び選択することができる。
被検体、操作者及び半透明スクリーンが追跡されていると共に、作成された画像は、追跡された位置及び方向に基づいているので、たとえ被検体1が動いても、操作者350は被検体1内の点を対話形式で選択することができる。
【0022】
図3は本発明のもう1つの実施例を示す。この実施例では、操作者350は被検体1の内部構造及び外部構造の立体的なビューを受け取る。操作者350の各々の目は被検体に対して向きが異なるので、各々の目に異なるビューが与えられる。追跡装置50は操作者350の第1の目と被検体1との間の相対位置(x1 ,y1 ,z1 )及び方向(α1 ,φ1 ,θ1 )を追跡する。追跡装置50は又、操作者350の第2の目と被検体1との間の第2の位置(x2 ,y2 ,z2 )及び方向(α2 ,φ2 ,θ2 )を追跡する。第2の位置及び方向は、追跡装置50によって独立に測定することができろ。又は、第1の目の位置及び方向を用いて第2の目の位置及び方向を計算することができる。位置及び方向は第1のモデル・ワークステーション100a及び第2のモデル・ワークステーション100bに供給される。第1のモデル・ワークステーション100a及び第2のモデル・ワークステーション100bは、操作者350の各々の目のビューにそれぞれ対応している位置(x1 ,y1 ,z1 )及び方向(α1 ,φ1 ,θ1 )、並びに位置(x2 ,y2 ,z2 )及び方向(α2 ,φ2 ,θ2 )における右及び左のコンピュータ・グラフィック画像をそれぞれ作成する。
【0023】
スキャン変換器192a及び192b(点線で示されている)が必要とする場合には、左及び右のビューにそれぞれ関する左及び右のコンピュータ生成画像がビデオ・フォーマットに変換される。スキャン変換器192a及び192bは、変換されたコンピュータ生成信号をシーケンサ198に送る。シーケンサ198は従来のビデオ・シーケンサであってもよい。シーケンサ198は左のコンピュータ生成画像を半透明スクリーン250に送る。次に、シーケンサ198は右のコンピュータ生成画像を半透明スクリーン250に送る。シーケンサ198は毎秒何回も同期して右のビューと左のビュー目との間を切り替わる。
【0024】
半透明スクリーン250上に表示される画像は、時間多重化されることにより、操作者の左目と右目とに対する画像を交互に作成する。立体観察器252がシーケンサ198に同期して、操作者の左目又は右目の視野を阻止するように動作する。これにより、反対側の目は半透明スクリーン250上の画像を瞬間の間、見ることができ、このことが反対の右目又は左目についても同様に行われる。これにより操作者350は、右目が何も見ていない間に左目で左の画像を見ることができ、左目が何も見ていない間に右目で右の画像を見ることができ、これを素早く連続して行うことができる。これにより立体的な幻影が作成され、半透明スクリーン250に表示された画像を見る際に深さを認識するための次元が付加される。このときに操作者は、パララックスを用いて被検体1内の三次元の点を対話的に選択することができる。
【0025】
本発明のすべての実施例について、モデル・ワークステーションによって作成された画像は、操作者350が見る外部構造と合わせ(一致させ)なければならない。初期設定を行うために、操作者からの手動入力によりコンピュータ生成画像の回転、並進及びスケーリングを行って、コンピュータ生成画像が半透明スクリーンを通して見た光景と一致するようにしてもよい。又は、追跡装置50を用いて初期パラメータを設定してもよい。いったん三次元モデルと被検体1の可視画像とが揃えば、追跡装置50はそれらを合ったままにする。
【0026】
本発明のこれらの実施例では、操作者350と被検体1との間に挿入されている半透明スクリーン250は、液晶ディスプレイで構成されており、又は、ビデオモニタからの画像を反射する鏡であって、一部が銀から成る鏡で構成することができる。入力/出力スクリーン250は、被検体1の関心のある領域の寸法にほぼ等しい比較的大きな寸法を有している。
【0027】
新規な可視化システムの現在好ましいいくつかの実施例について詳細に説明してきたが、当業者には多くの改変及び変更が明らかとなるはずである。従って、特許請求の範囲は、本発明の要旨に合致するこのようなすべての改変及び変更を包含するように記述されていることが理解されるはずである。
【図面の簡単な説明】
【図1】本発明による対話形三次元指示装置の第1の実施例の概略ブロック図である。
【図2】本発明による対話形三次元指示装置の第2の実施例の概略ブロック図である。
【図3】本発明による対話形三次元指示装置の第3の実施例の概略ブロック図である。
【符号の説明】
1 被検体
5 記号発生器
7 可動アーム
10 イメージング装置
50 追跡装置
100 モデル・ワークステーション
250 半透明スクリーン
252 立体観察器
253 入力装置
350 操作者
【産業上の利用分野】
本発明は、コンピュータ・グラフィックスに関し、更に詳しくは、三次元の指示装置に関する。
【0002】
【従来の技術】
二次元(2D)の点の指示及び位置決めの目的で計算装置と共に使用されている多くの公知の装置がある。例えば、コンピュータ・マウス、描画タブレット及びライトペンである。これらの装置では、二次元位置を確認するために光学的又は機械的な手段が用いられている。
【0003】
三次元(3D)の位置決め装置もある。これらの装置は、電磁、音響又は赤外線の原理を用いて三次元の点を位置決めする。
赤外線位置決め装置及び光学的位置決め装置は、発生源と受信器との間の可視照準線を必要とする。音響位置決め装置では、音を障害なしに受けなければならない。そうでないと、計算された三次元の位置に誤差が生じる。
【0004】
これらの装置は主として、被検体外部の点を追跡するために用いられている。それらの性質のため、それらは固体被検体の内側の点を位置決めするように容易に改造することができない。
固体被検体の内部点を位置決めするようにこれらを変形することができれば、選択すべき内部位置を示す操作者への(フィードバック)帰還はない。更に操作者は、被検体の内部構造を可視化することができない。
【0005】
現在、固体被検体内の位置を非侵入的に選択する際に操作者を支援する装置が必要とされている。
【0006】
【発明の目的】
本発明の1つの目的は、たとえ患者が姿勢を変えても、又は操作者がその視角を変えても、外部構造の上に内部構造の画像を同時に重ねることにより手術を支援するシステムを提供することにある。
本発明のもう1つの目的は、外部構造の上に所望の内部構造を正しく合わせて表示する対話システムを提供することにある。
【0007】
本発明のもう1つの目的は、被検体の外部構造の上に重ねられた内部構造の画像のヘッドアップ表示装置を操作者に提供することにある。
本発明のもう1つの目的は、被検体の対応する外部構造の上に重ねられるべき内部構造及び表面の選択を可能にする対話システムを提供することにある。
本発明のもう1つの目的は、被検体内に物理的物体を配置することなく、操作者が被検体内の選択された位置を指示できるようにする指示システムを提供することにある。
【0008】
【発明の概要】
被検体内の三次元(3D)の位置を対話的に指示する実時間装置は、半透明スクリーン上に被検体の内部構造及び外部構造の正しく重ねられた画像を表示する。これにより操作者は、被検体内の三次元位置を対話形式で見て確認することができる。
【0009】
被検体の内部構造の表現がワークステーションに与えられる。この表現は、イメージング手段又はCAD/CAMシステムのような手段によって発生されて、事前に記憶されるようにしてもよい。操作者は、半透明スクリーンを通して被検体の外部構造が操作者に見えるように、可動アームによって保持された半透明スクリーンを操作者と被検体との間に配置する。被検体、半透明スクリーン及び操作者の三次元の位置及び方向は、実時間で追跡装置によって監視され、ワークステーションに与えられる。ワークステーションは追跡装置から位置及び方向を受け取り、操作者の視角に対応する内部構造の画像を作成する。内部構造と外部構造とが正しく合わさるように、この画像は被検体の外部構造のビュー(view)の上に重ねられる。
【0010】
一実施例では、半透明スクリーンは、スクリーン上に十字線のような確認手段を有していてもよく、スクリーンから所定の画像深さで初期化される。この初期化により、三次元の点である「目標点」が十字線の中心から照準線に沿った画像深さとなるように定められる。この「目標点」は、操作者が操作者自身、被検体又はスクリーンを物理的に動かすことにより選択される。ビューも変化して、操作者が被検体を「覗く」ことにより目標点を確認することができる。これらの目標点は、三次元座標として他の出力装置に対話的に供給することができる。十字線及び画像深さにより、選択された点として確認された現在の「目標点」を、作動したときに確認する入力装置を用いることもできる。
【0011】
代替の実施例では、三次元の目標点を画定するために、スクリーンの位置及び方向と共に二次元(2D)指示装置が用いられている。このような二次元入力装置の1つは、スクリーン上のタッチセンサを用いて、操作者によってタッチされた(触れられた)二次元位置を確認する。スクリーンの位置及び方向と共にこの二次元位置から三次元位置が得られる。
【0012】
上述の各実施例は、深さ認識を与える立体形でも用いることができる。
新規であると考えられる本発明の特徴は、特許請求の範囲に明確に記述されている。しかしながら、本発明自体の構成及び動作、並びに本発明の上述した以外の目的及び利点は、図面と共に以下の説明を参照することにより最も良く理解することができる。
【0013】
【実施例】
図1において、被検体1の内部構造の表現がモデル・ワークステーション100に与えられる。この表現は、計算機支援設計(CAD)/計算機支援製造(CAM)システムによって作成されたコンピュータ・モデルであってもよく、又は被検体の内部構造から三次元データのような多次元体積測定データを作成することが可能な磁気共鳴(MR(magnetic resonance))イメージング装置、コンピュータ軸方向断層撮影(CAT(computed axial tomography))装置、ポジトロン放射形断層撮影(PET(positron emission tomography))、若しくは類似のイメージング装置のようなイメージング(作像)装置10で被検体1を走査することによって取得してもよい。イメージング後に、装置10は体積測定データをモデル・ワークステーション100に供給する。いったん体積測定データがモデル・ワークステーション100に供給されれば、イメージング装置10はもはや必要とされない。このことは重要である。MRイメージングの場合に圧迫的になり得るイメージング装置の範囲内に位置している被検体に対して、いくつかの手順を行う必要がないからである。代替の実施例では、その手順の間にイメージング装置10を対話形式で用いてもよい。モデル・ワークステーション100は体積測定データを記憶すると共に、スケーリング、回転及び他の操作を加えることが可能なデータからコンピュータ生成モデルを作成し、イメージング装置10はもはや必要でない。
【0014】
半透明スクリーン250は、操作者350が被検体1と操作者350との間に半透明スクリーン250を対話形式で配置することができるように、可動アーム7によって保持されている。半透明スクリーンは、書いたり消したりすることのできる表面材料で構成されていてもよい。
追跡(トラッキング)装置50は、操作者350、半透明スクリーン250及び被検体1の位置及び方向を監視する。
【0015】
操作者350は、半透明スクリーン250を動かしながら半透明スクリーン250を通して被検体1の外部構造を見る。追跡装置50は、位置及び方向をモデル・ワークステーション100に供給する。モデル・ワークステーション100は、操作者の外部構造のビューに対応する内部構造の画像を作成する。内部構造と外部構造とが「合わせ」られる。外部構造と正しく合わされた内部構造を表現するように幾何学的配列とスケーリングとが行われれば、コンピュータ・モデルの表現及び表示の従来の方法を用いてもよい。スクリーン深さ距離が予め選択され、スクリーン上の位置も予め選択されていれば、三次元の「目標点(ターゲット・ポイント)」は、半透明スクリーン250からスクリーン深さだけ離れて投影されたスクリーン位置であることを確認することができる。スクリーン位置は、スクリーン上の十字線等によって確認することができる。半透明スクリーン250を傾けて動かすことにより、操作者350は被検体1内の任意の位置に「目標点」を位置決めすることができる。操作者が半透明スクリーンを被検体に近付けるにつれて、イメージング平面は被検体内に深く入る。操作者350が半透明スクリーンを操作者に近付けるにつれて、イメージング平面は操作者に近付く。操作者350が見るモデル・ワークステーション100によって作成された内部構造のビューは、スクリーンの位置/方向及びスクリーン深さに関連している。従って、操作者は被検体を覗いて、三次元の点を選択することができる。モデル・ワークステーション100は、幾何学的配列を計算して「目標点」を三次元の位置に変換するのに必要な情報のすべてを有している。次に、これらの三次元位置は出力装置101に供給される。出力装置101はこれらの三次元位置を用いる。出力装置101は、固体対象物内で定められた三次元位置を必要とする任意の装置であってもよい。
【0016】
モデル・ワークステーション100からの信号は、半透明スクリーン250の必要とする表示フォーマットに応じて、スキャン変換器192(点線で示してある)を通すことによりRGBコンピュータ・モニタ信号のようなコンピュータ・モニタ信号からビデオ・フォーマットに変換することができる。
本発明は更に、入力装置253を含んでいてもよい。入力装置253によって、操作者350は現在の「目標点」を選択された点として選択することができるか、又は入力装置が作動して三次元飛翔経路を通して「目標点」を「引っ張る」ときにスクリーンを動かすことにより、操作者350は多数の三次元の点を選択することができる。多数の端点を従来知られているやり方で選択及び連結することにより、線、曲線、形状及び体積を画定することができる。
【0017】
システムの有用性に付加されるもう1つの要素は、記号発生器5を用いることである。記号発生器5は追跡装置に接続されることにより、配置又は位置情報を受け取って、「目標点」の位置を確認する。次に記号発生器5は、被検体1の内部構造及び外部構造の両方に対する「目標点」の位置を示す記号を半透明スクリーン250上に表示する。「目標点」の情報は、この位置を知っている他の素子から受け取ってもよい。
【0018】
図2には、本発明の第2の実施例の概略ブロック図が示されている。前の実施例と同じ名称及び参照番号を有しているブロックは、同じように動作する。
この実施例では、スクリーンの位置が選択可能である。第1の実施例では、スクリーン上に印を付けた固定スクリーン位置が用いられている。第2の実施例では、入力装置251を用いることにより、操作者350はスクリーン位置を対話形式で選択することができる。スクリーン位置がスクリーン深さと組み合わされたときに、「目標点」が決定される。操作者350がタッチしたスクリーン位置を入力装置251が確認するために、タッチセンサであることが好ましい。
【0019】
スクリーン深さは、第1の実施例のように固定されていてもよいし、又は入力装置251のような入力装置を介して初期設定されていてもよい。スクリーン深さを入力装置251を介してシステムに供給してもよい。
前と同様に操作者は、スクリーンにタッチして、スクリーンを動かしながら指をスクリーンに接触させ続けることにより、三次元位置を選択し、飛翔経路を通して「引っ張る」ことができる。
【0020】
前の実施例で説明したように、前と同様に動作する記号発生器5及び入力装置253を選択的に付加してもよい。
これにより、三次元のインタフェースが効果的に得られる。この三次元のインタフェースは、関心のある区域全体にわたってイメージング平面を動かすことにより、操作者が被検体の体積を通して探索することを可能にする非常に論理的な方法である。
【0021】
内部画像から外部画像への透明度、又は他の種々の特殊効果は、適当な入力装置によって再び選択することができる。
被検体、操作者及び半透明スクリーンが追跡されていると共に、作成された画像は、追跡された位置及び方向に基づいているので、たとえ被検体1が動いても、操作者350は被検体1内の点を対話形式で選択することができる。
【0022】
図3は本発明のもう1つの実施例を示す。この実施例では、操作者350は被検体1の内部構造及び外部構造の立体的なビューを受け取る。操作者350の各々の目は被検体に対して向きが異なるので、各々の目に異なるビューが与えられる。追跡装置50は操作者350の第1の目と被検体1との間の相対位置(x1 ,y1 ,z1 )及び方向(α1 ,φ1 ,θ1 )を追跡する。追跡装置50は又、操作者350の第2の目と被検体1との間の第2の位置(x2 ,y2 ,z2 )及び方向(α2 ,φ2 ,θ2 )を追跡する。第2の位置及び方向は、追跡装置50によって独立に測定することができろ。又は、第1の目の位置及び方向を用いて第2の目の位置及び方向を計算することができる。位置及び方向は第1のモデル・ワークステーション100a及び第2のモデル・ワークステーション100bに供給される。第1のモデル・ワークステーション100a及び第2のモデル・ワークステーション100bは、操作者350の各々の目のビューにそれぞれ対応している位置(x1 ,y1 ,z1 )及び方向(α1 ,φ1 ,θ1 )、並びに位置(x2 ,y2 ,z2 )及び方向(α2 ,φ2 ,θ2 )における右及び左のコンピュータ・グラフィック画像をそれぞれ作成する。
【0023】
スキャン変換器192a及び192b(点線で示されている)が必要とする場合には、左及び右のビューにそれぞれ関する左及び右のコンピュータ生成画像がビデオ・フォーマットに変換される。スキャン変換器192a及び192bは、変換されたコンピュータ生成信号をシーケンサ198に送る。シーケンサ198は従来のビデオ・シーケンサであってもよい。シーケンサ198は左のコンピュータ生成画像を半透明スクリーン250に送る。次に、シーケンサ198は右のコンピュータ生成画像を半透明スクリーン250に送る。シーケンサ198は毎秒何回も同期して右のビューと左のビュー目との間を切り替わる。
【0024】
半透明スクリーン250上に表示される画像は、時間多重化されることにより、操作者の左目と右目とに対する画像を交互に作成する。立体観察器252がシーケンサ198に同期して、操作者の左目又は右目の視野を阻止するように動作する。これにより、反対側の目は半透明スクリーン250上の画像を瞬間の間、見ることができ、このことが反対の右目又は左目についても同様に行われる。これにより操作者350は、右目が何も見ていない間に左目で左の画像を見ることができ、左目が何も見ていない間に右目で右の画像を見ることができ、これを素早く連続して行うことができる。これにより立体的な幻影が作成され、半透明スクリーン250に表示された画像を見る際に深さを認識するための次元が付加される。このときに操作者は、パララックスを用いて被検体1内の三次元の点を対話的に選択することができる。
【0025】
本発明のすべての実施例について、モデル・ワークステーションによって作成された画像は、操作者350が見る外部構造と合わせ(一致させ)なければならない。初期設定を行うために、操作者からの手動入力によりコンピュータ生成画像の回転、並進及びスケーリングを行って、コンピュータ生成画像が半透明スクリーンを通して見た光景と一致するようにしてもよい。又は、追跡装置50を用いて初期パラメータを設定してもよい。いったん三次元モデルと被検体1の可視画像とが揃えば、追跡装置50はそれらを合ったままにする。
【0026】
本発明のこれらの実施例では、操作者350と被検体1との間に挿入されている半透明スクリーン250は、液晶ディスプレイで構成されており、又は、ビデオモニタからの画像を反射する鏡であって、一部が銀から成る鏡で構成することができる。入力/出力スクリーン250は、被検体1の関心のある領域の寸法にほぼ等しい比較的大きな寸法を有している。
【0027】
新規な可視化システムの現在好ましいいくつかの実施例について詳細に説明してきたが、当業者には多くの改変及び変更が明らかとなるはずである。従って、特許請求の範囲は、本発明の要旨に合致するこのようなすべての改変及び変更を包含するように記述されていることが理解されるはずである。
【図面の簡単な説明】
【図1】本発明による対話形三次元指示装置の第1の実施例の概略ブロック図である。
【図2】本発明による対話形三次元指示装置の第2の実施例の概略ブロック図である。
【図3】本発明による対話形三次元指示装置の第3の実施例の概略ブロック図である。
【符号の説明】
1 被検体
5 記号発生器
7 可動アーム
10 イメージング装置
50 追跡装置
100 モデル・ワークステーション
250 半透明スクリーン
252 立体観察器
253 入力装置
350 操作者
Claims (9)
- 被検体内の三次元位置を確認するための実時間三次元指示装置であって、
(a) 前記被検体と操作者との間に配置されている半透明スクリーンであって、供給された画像を表示して、該スクリーンを通して見た前記被検体の外部構造に重ね合わせる半透明スクリーンと、
(b)前記操作者が前記半透明スクリーンを通して前記被検体を見るように、前記操作者と前記被検体との間で前記操作者により選択された位置及び方向に前記半透明スクリーンを保持する可動な機械的アームと、
(c)前記操作者により選択された前記半透明スクリーンの二次元位置を指示すると共に、該位置をスクリーン位置として確認するタッチセンサと、
(d) 前記操作者、前記被検体及び前記半透明スクリーンの位置及び方向を繰り返し測定する追跡装置と、
(e)前記追跡装置に接続されている記号発生ユニットであって、前記被検体からのスクリーン距離に基づいて深さを決定し、前記内部構造及び外部構造に対して適当な関係で前記半透明スクリーン上に、スクリーン位置と深さによって定義される目標位置を表す記号を表示する記号発生ユニットと、
(f) 該追跡装置に接続されており、前記被検体、操作者及び前記半透明スクリーンの位置及び方向を受け取り、前記操作者、前記被検体及び前記半透明スクリーンの該位置及び該方向に一致した前記半透明スクリーン上の一組のイメージングデータから前記被検体の内部構造の画像を作成する、ワークステーションとを備えた実時間三次元指示装置。 - 前記半透明スクリーンは、前記内部構造及び外部構造の画像の相対透明度を調整することが可能なスクリーンである請求項1に記載の実時間三次元指示装置。
- 前記被検体の内部構造の一組の三次元イメージングデータを獲得すると共に、該一組の三次元イメージングデータを前記ワークステーションに供給するイメージング装置を更に含んでいる請求項1に記載の実時間三次元指示装置。
- 前記ワークステーションは、内部構造の画像の立体対を作成しており、前記半透明スクリーンに同期している立体表示手段であって、操作者の各々の目に画像の各々の前記立体対を供給することにより、前記被検体の外部構造に重ね合わされた内部構造及び前記被検体の外部構造の三次元画像を模擬する立体表示手段を更に含んでいる請求項1に記載の実時間三次元指示装置。
- 前記半透明スクリーンは、その上に書かれたり消されたりすることの可能な材料で構成されている表面を含んでいる請求項1に記載の実時間三次元指示装置。
- 被検体内の三次元位置を確認する際に操作者を支援する方法であって、(a) 前記被検体の内部構造を画定している多次元イメージングデータを取得する工程と、
(b) 操作者と前記被検体との間に選択された位置及び方向で半透明スクリーンを配置し、前記操作者が前記半透明スクリーンを通して前記被検体の外部構造を見ることができるようにする工程と、
(c) 前記被検体、前記操作者及び前記半透明スクリーンの位置及び方向を測定する工程と、
(d) 前記半透明スクリーンから選択された距離のイメージング平面での前記イメージングデータから測定された位置及び方向に一致した前記半透明スクリーンに前記内部構造のコンピュータ生成画像を重ね合わせる工程と、
(e) 前記操作者によりタッチされた半透明スクリーンの位置を決定する工程と、
(f) 該位置を前記選択されたスクリーン位置として確認する工程と、
(g) 前記スクリーンと前記被験体の距離の関数である、前記被験体内の深さを計算する工程と、
(h) 前記選択されたスクリーン位置からの深さである、目標位置を表す記号を前記スクリーン上に生成する工程と、
を備えた被検体内の三次元位置を確認する際に操作者を支援する方法。 - 前記コンピュータ生成画像を重ね合わせる工程の後に、現在の目標位置を選択された点として確認するために入力装置を動作させる工程を更に含んでいる請求項6に記載の三次元位置を確認する際に操作者を支援する方法。
- 前記工程(b)から工程(e)は、前記被検体内の三次元の点を確認しながら前記操作者が内部構造及び外部構造を対話形式で見ることができるように繰り返される請求項6に記載の三次元位置を確認する際に操作者を支援する方法。
- 被検体内の構造の格納したコンピュータ・グラフィック・モデルの選択された三次元位置を操作者が対話的に選択するための実時間三次元指示装置であって、
(a) 前記操作者が前記半透明スクリーンを通して前記被検体の外部構造を見ることができ、該外部構造に重ね合わせた内部構造の画像を表示する半透明スクリーンと、
(b)前記スクリーンと接続され、前記操作者と前記被検体との間における操作者が決定した位置で前記半透明スクリーンを調整可能に保持するために第2の端が固定された機械的アームと、
(c)前記操作者が触れた二次元位置を対話的に決定するタッチセンサと、
(d) 前記半透明スクリーン、前記操作者及び、前記被検体の位置及び方向を繰り返し測定する追跡装置と、
(e) 前記半透明スクリーン、前記タッチセンサ及び、前記追跡装置に接続されているワークステーションであって、前記被検体、操作者及び前記半透明スクリーンの位置及び方向を受け取り、前記操作者、の該位置及び該方向における前記被験体の外部構造とともに格納された、前記被検体の内部構造のコンピュータ・グラフィック・モデルを作成する、ワークステーションと、
(f)前記追跡装置に接続されている記号発生ユニットであって、前記スクリーンと前記被検体の距離を特定し、該距離の関数である前記被験体内の前記スクリーンに垂直な深さを特定し、前記スクリーンを通して前記操作者の位置及び角度で見た、選択された二次元スクリーン位置と深さによって定義される三次元位置を表す記号を前記スクリーン上に表示する記号発生ユニットと、
を備えた実時間三次元指示装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/340783 | 1994-11-17 | ||
US08/340,783 US5694142A (en) | 1993-06-21 | 1994-11-17 | Interactive digital arrow (d'arrow) three-dimensional (3D) pointing |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08279059A JPH08279059A (ja) | 1996-10-22 |
JP3769316B2 true JP3769316B2 (ja) | 2006-04-26 |
Family
ID=23334923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29796595A Expired - Fee Related JP3769316B2 (ja) | 1994-11-17 | 1995-11-16 | 実時間三次元指示装置及び被検体内の三次元位置を確認する際に操作者を支援する方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US5694142A (ja) |
JP (1) | JP3769316B2 (ja) |
DE (1) | DE19542604A1 (ja) |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6417969B1 (en) | 1988-07-01 | 2002-07-09 | Deluca Michael | Multiple viewer headset display apparatus and method with second person icon display |
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
US6483948B1 (en) * | 1994-12-23 | 2002-11-19 | Leica Ag | Microscope, in particular a stereomicroscope, and a method of superimposing two images |
US5894298A (en) * | 1997-03-14 | 1999-04-13 | Northern Telecom Limited | Display apparatus |
US6426745B1 (en) | 1997-04-28 | 2002-07-30 | Computer Associates Think, Inc. | Manipulating graphic objects in 3D scenes |
US6064354A (en) * | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
US6135958A (en) | 1998-08-06 | 2000-10-24 | Acuson Corporation | Ultrasound imaging system with touch-pad pointing device |
US6448964B1 (en) | 1999-03-15 | 2002-09-10 | Computer Associates Think, Inc. | Graphic object manipulating tool |
US6275721B1 (en) * | 1999-06-10 | 2001-08-14 | General Electriccompany | Interactive MRI scan control using an in-bore scan control device |
ATE543546T1 (de) * | 1999-06-11 | 2012-02-15 | Canon Kk | Vorrichtung und verfahren zur darstellung eines von mehreren benutzern geteilten raumes, wo wirklichkeit zum teil einbezogen wird, entsprechende spielvorrichtung und entsprechendes schnittstellenverfahren |
JP3608448B2 (ja) | 1999-08-31 | 2005-01-12 | 株式会社日立製作所 | 治療装置 |
AU1792101A (en) | 1999-11-22 | 2001-06-04 | Sl3D, Inc. | Stereoscopic telescope with camera |
DE10033723C1 (de) * | 2000-07-12 | 2002-02-21 | Siemens Ag | Visualisierung von Positionen und Orientierung von intrakorporal geführten Instrumenten während eines chirurgischen Eingriffs |
US20020055861A1 (en) * | 2000-11-08 | 2002-05-09 | King Daniel A. | Claiming system and method |
DE10100335B4 (de) * | 2001-01-03 | 2017-02-09 | Carl Zeiss Meditec Ag | Vorrichtung zur Anzeige einer Größe im Blickfeld eines Benutzers und Verwendung der Vorrichtung |
US6478432B1 (en) | 2001-07-13 | 2002-11-12 | Chad D. Dyner | Dynamically generated interactive real imaging device |
US7251352B2 (en) * | 2001-08-16 | 2007-07-31 | Siemens Corporate Research, Inc. | Marking 3D locations from ultrasound images |
ATE261273T1 (de) * | 2001-12-18 | 2004-03-15 | Brainlab Ag | Projektion von patientenbilddaten aus durchleuchtungs- bzw. schichtbilderfassungsverfahren auf videobilder |
DE10204430A1 (de) * | 2002-02-04 | 2003-08-07 | Zeiss Carl | Stereo-Mikroskopieverfahren und Stereo-Mikroskopiesystem |
US7203911B2 (en) * | 2002-05-13 | 2007-04-10 | Microsoft Corporation | Altering a display on a viewing device based upon a user proximity to the viewing device |
AU2003246906A1 (en) * | 2002-06-25 | 2004-01-06 | Michael Nicholas Dalton | Apparatus and method for superimposing images over an object |
JP2006513509A (ja) * | 2003-02-03 | 2006-04-20 | シーメンス アクチエンゲゼルシヤフト | 合成情報の投影 |
US20040204645A1 (en) * | 2003-04-10 | 2004-10-14 | Vahid Saadat | Scope position and orientation feedback device |
DE50306656D1 (de) * | 2003-04-25 | 2007-04-12 | Brainlab Ag | Visualisierungsvorrichtung für kombinierte Patienten- und Objektbilddaten mit einer Eingabevorrichtung und Visualisierungsverfahren |
EP1625488A2 (en) * | 2003-05-20 | 2006-02-15 | Lego A/S | Method and system for manipulating a digital representation of a three-dimensional object |
US7463823B2 (en) * | 2003-07-24 | 2008-12-09 | Brainlab Ag | Stereoscopic visualization device for patient image data and video images |
JP2005236421A (ja) * | 2004-02-17 | 2005-09-02 | Aruze Corp | 画像表示システム |
DE102004022330B3 (de) * | 2004-05-06 | 2005-10-20 | Leica Microsystems Schweiz Ag | Mikroskop |
US7407297B2 (en) * | 2004-08-18 | 2008-08-05 | Klip Collective, Inc. | Image projection system and method |
US8066384B2 (en) * | 2004-08-18 | 2011-11-29 | Klip Collective, Inc. | Image projection kit and method and system of distributing image content for use with the same |
DE102004049258B4 (de) * | 2004-10-04 | 2007-04-26 | Universität Tübingen | Vorrichtung, Verfahren zur Steuerung von operationsunterstützenden medizinischen Informationssystemen und digitales Speichermedium |
WO2006116488A2 (en) * | 2005-04-25 | 2006-11-02 | Xoran Technologies, Inc. | Ct system with synthetic view generation |
KR100672605B1 (ko) * | 2006-03-30 | 2007-01-24 | 엘지전자 주식회사 | 아이템 선택 방법 및 이를 위한 단말기 |
US20080027306A1 (en) * | 2006-07-31 | 2008-01-31 | General Electric Company | System and method for initiating a diagnostic imaging scan |
US9687170B2 (en) * | 2008-03-11 | 2017-06-27 | General Electric Company | System and method for performing magnetic resonance imaging scan operations from within a scan room |
TW201004607A (en) * | 2008-07-25 | 2010-02-01 | Been-Der Yang | Image guided navigation system and method thereof |
US9248000B2 (en) * | 2008-08-15 | 2016-02-02 | Stryker European Holdings I, Llc | System for and method of visualizing an interior of body |
US8657809B2 (en) | 2010-09-29 | 2014-02-25 | Stryker Leibinger Gmbh & Co., Kg | Surgical navigation system |
US20120289811A1 (en) * | 2011-05-13 | 2012-11-15 | Tyco Healthcare Group Lp | Mask on monitor hernia locator |
JP2013017146A (ja) * | 2011-07-06 | 2013-01-24 | Sony Corp | 表示制御装置、表示制御方法およびプログラム |
DE102011112617A1 (de) * | 2011-09-08 | 2013-03-14 | Eads Deutschland Gmbh | Kooperativer 3D-Arbeitsplatz |
WO2013040498A1 (en) | 2011-09-16 | 2013-03-21 | Translucent Medical, Inc. | System and method for virtually tracking a surgical tool on a movable display |
CN104135898B (zh) | 2012-01-06 | 2017-04-05 | 日升研发控股有限责任公司 | 陈列架模块和组合式陈列架*** |
US20140022283A1 (en) * | 2012-07-20 | 2014-01-23 | University Health Network | Augmented reality apparatus |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US11020016B2 (en) | 2013-05-30 | 2021-06-01 | Auris Health, Inc. | System and method for displaying anatomy and devices on a movable display |
CA2935434C (en) | 2014-01-10 | 2020-10-27 | Nokia Technologies Oy | Display of a visual representation of a view |
JP6398248B2 (ja) * | 2014-01-21 | 2018-10-03 | セイコーエプソン株式会社 | 位置検出システム、及び、位置検出システムの制御方法 |
US10339579B2 (en) | 2015-05-04 | 2019-07-02 | Sunrise R&D Holdings, Llc | Systems and methods for controlling shelf display units and for graphically presenting information on shelf display units |
US11376095B2 (en) * | 2017-11-07 | 2022-07-05 | Sony Olympus Medical Solutions Inc. | Medical display device and medical observation device |
CN108307186B (zh) * | 2018-02-07 | 2020-02-14 | 深圳市华星光电半导体显示技术有限公司 | 裸眼3d图像的显示控制方法、装置、存储介质及终端 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4232334A (en) * | 1979-05-22 | 1980-11-04 | Revlon, Inc. | Cosmetic apparatus and method |
US5493595A (en) * | 1982-02-24 | 1996-02-20 | Schoolman Scientific Corp. | Stereoscopically displayed three dimensional medical imaging |
FR2558973B1 (fr) * | 1984-01-30 | 1987-02-20 | Bourdier Jean Claude | Procede d'ajustement dimensionnel d'images en serie, a combiner avec des images naturelles propres - notamment derriere un miroir - pour passer en revue des collections de parures telles que vetements, bijoux, etc.; installation et collections d'images pour la mise en oeuvre de ce procede et images mixtes ainsi obtenues |
US5142275A (en) * | 1984-12-10 | 1992-08-25 | General Electric Company | Method and means for manipulating images in a video display |
US4823285A (en) * | 1985-11-12 | 1989-04-18 | Blancato Vito L | Method for displaying hairstyles |
US5019976A (en) * | 1987-06-08 | 1991-05-28 | New World Down Hole Tools | Method and system for retrieving text associated with a reference image correspondence to a selected patient image |
GB8715184D0 (en) * | 1987-06-29 | 1987-10-21 | Gec Avionics | Stereoscopic presentation of data |
JP2714164B2 (ja) * | 1989-07-31 | 1998-02-16 | 株式会社東芝 | 三次元画像表示装置 |
JP2622620B2 (ja) * | 1989-11-07 | 1997-06-18 | プロクシマ コーポレイション | コンピュータにより発生されたデイスプレイ可視像を変更するためのコンピュータ入力システム |
US5025314A (en) * | 1990-07-30 | 1991-06-18 | Xerox Corporation | Apparatus allowing remote interactive use of a plurality of writing surfaces |
JPH0568268A (ja) * | 1991-03-04 | 1993-03-19 | Sharp Corp | 立体視画像作成装置および立体視画像作成方法 |
US5371778A (en) * | 1991-11-29 | 1994-12-06 | Picker International, Inc. | Concurrent display and adjustment of 3D projection, coronal slice, sagittal slice, and transverse slice images |
US5252950A (en) * | 1991-12-20 | 1993-10-12 | Apple Computer, Inc. | Display with rangefinder |
US5367614A (en) * | 1992-04-01 | 1994-11-22 | Grumman Aerospace Corporation | Three-dimensional computer image variable perspective display system |
US5568384A (en) * | 1992-10-13 | 1996-10-22 | Mayo Foundation For Medical Education And Research | Biomedical imaging and analysis |
US5368309A (en) * | 1993-05-14 | 1994-11-29 | The Walt Disney Company | Method and apparatus for a virtual video game |
US5569895A (en) * | 1993-05-27 | 1996-10-29 | International Business Machines Corporation | I/O assembly for use with point of sale terminals and other computing systems |
US5526812A (en) * | 1993-06-21 | 1996-06-18 | General Electric Company | Display system for enhancing visualization of body structures during medical procedures |
US5491510A (en) * | 1993-12-03 | 1996-02-13 | Texas Instruments Incorporated | System and method for simultaneously viewing a scene and an obscured object |
-
1994
- 1994-11-17 US US08/340,783 patent/US5694142A/en not_active Expired - Fee Related
-
1995
- 1995-11-15 DE DE19542604A patent/DE19542604A1/de not_active Withdrawn
- 1995-11-16 JP JP29796595A patent/JP3769316B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH08279059A (ja) | 1996-10-22 |
DE19542604A1 (de) | 1996-05-23 |
US5694142A (en) | 1997-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3769316B2 (ja) | 実時間三次元指示装置及び被検体内の三次元位置を確認する際に操作者を支援する方法 | |
US6049622A (en) | Graphic navigational guides for accurate image orientation and navigation | |
KR101908033B1 (ko) | 광시야각 디스플레이들 및 사용자 인터페이스들 | |
Liao et al. | Surgical navigation by autostereoscopic image overlay of integral videography | |
Schmandt | Spatial input/display correspondence in a stereoscopic computer graphic work station | |
US5526812A (en) | Display system for enhancing visualization of body structures during medical procedures | |
EP1292877B1 (en) | Apparatus and method for indicating a target by image processing without three-dimensional modeling | |
JP2011521318A (ja) | インタラクティブな仮想現実画像生成システム | |
US20060126927A1 (en) | Horizontal perspective representation | |
JP6112689B1 (ja) | 重畳画像表示システム | |
WO2007115826A2 (en) | Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment | |
Bordegoni et al. | Haptic and sound interface for shape rendering | |
JP6887449B2 (ja) | レンダリングされた画像を照明するシステム及び方法 | |
US7567701B2 (en) | Input system for orientation in a three-dimensional visualization and method for visualization of three-dimensional data sets | |
Vogt et al. | Reality augmentation for medical procedures: System architecture, single camera marker tracking, and system evaluation | |
Oda et al. | 3D referencing techniques for physical objects in shared augmented reality | |
US20160299565A1 (en) | Eye tracking for registration of a haptic device with a holograph | |
Martin-Gomez et al. | Augmented mirrors | |
Livingston | Vision-based tracking with dynamic structured light for video see-through augmented reality | |
JPH06131442A (ja) | 3次元虚像造形装置 | |
Yasumuro et al. | Projection-based augmented reality with automated shape scanning | |
CN103718211A (zh) | 三维成像数据察看器和/或察看 | |
Li et al. | 3d volume visualization and screen-based interaction with dynamic ray casting on autostereoscopic display | |
JP2006343954A (ja) | 画像処理方法、画像処理装置 | |
JPS5856152B2 (ja) | 立体図形読取表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060206 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |