JP4660771B2

JP4660771B2 - 三次元像表示装置

Info

Publication number: JP4660771B2
Application number: JP2006263092A
Authority: JP
Inventors: 竜吾木島
Original assignee: Gifu University
Current assignee: Gifu University
Priority date: 2006-09-27
Filing date: 2006-09-27
Publication date: 2011-03-30
Anticipated expiration: 2026-09-27
Also published as: JP2008085641A

Description

この発明は、対象物の内部を三次元(立体)的に表示すると共に、該内部の一部分を三次元的に拡大して表示する三次元像表示装置に関するものである。

対象物の形状に対応した形状を有する実物体をスクリーンとして用い、この対象物に関連した情報を実物体スクリーン上に表示することで、実物体(実空間)に仮想物体(三次元像)を挿入するような情報提供手法が知られている。例えば、対象物を人体とし、実物体スクリーンとして人体形状の実物体(人体模型)を用い、この人体模型上に対象物の人体内部のデータである人体内部情報(三次元構造)を表示することで、好適な人体内部情報の提供が可能となる。

このような対象物の内部情報の提供をなす三次元像表示装置が、例えば以下の非特許文献１に開示されており、人体の内部(各種臓器および骨格)が、人体の胴体型に成形された実物体スクリーンに表示されるようになっている。ここで、三次元像表示装置とは、予め記憶させた三次元構造から内部を表示したい対象物の三次元画像データを生成し、このデータの基づいた画像を実物体に投影することで、該実物体に対象物の内部構造が埋め込まれたような状態を表示する装置である。また、人体内部情報は、運動視差や両眼視差を利用することで、観察者から三次元的に認識できるように実物体スクリーン上に表示されている。
"A Virtual Anatomical Torso for Medical Education using Free From Image Projection" Procs of the Tenth International Conference on VSMM 2004, pp678-685

この三次元像表示装置は、対象物内部の全体構造を把握する点では好適であるが、対象物内部の一部を詳細に観察する場合には、解像度が低く充分な観察に適さないといった問題があった。この問題を解決する手段として、詳細な観察を望む部位を二次元ディスプレイに拡大して表示する方法が考えられる。しかしこの場合、詳細な観察を望む部位が二次元ディスプレイに平面的に表示されるため、対象物の内部構造と二次元ディスプレイとを一体的に関連付けた観察ができなくなってしまう。すなわち、対象物の内部構造の三次元的な位置および三次元的な大きさ等を直感的に認識し得る三次元像表示装置を用いる利点が損なわれてしまう。

この発明は、前述した従来の技術に内在している前記問題に鑑み、これを好適に解決するべく提案されたものであって、対象物の内部の一部分を三次元的に拡大表示する際に、拡大表示に係る画像と該対象物とを一体的に関連付けた表示を可能とする三次元像表示装置を提供することを目的とする。

前記課題を克服し、所期の目的を達成するため、請求項１に記載の発明に係る三次元像表示装置は、対象物の三次元画像が投影・表示される第１三次元スクリーンと、前記第１三次元スクリーンの位置および姿勢を計測する第１位置姿勢計測手段と、前記第１三次元スクリーンを観察する観察者の視点位置を計測する観察者位置計測手段と、対象物の三次元構造を記憶する記憶手段と、前記第１位置姿勢計測手段に計測される前記第１三次元スクリーンの位置および姿勢並びに観察者位置計測手段に計測される該第１三次元スクリーンを観察する観察者の視点位置の相対関係に基づいて、前記記憶手段に記憶された三次元構造から三次元画像データを生成する第１生成手段と、前記第１生成手段により生成された三次元画像データに基づいた三次元画像を投影する第１投影手段とを備える三次元像表示装置であって、
前記第１三次元スクリーンに表示される三次元画像における任意の拡大表示部位の三次元部分画像データを生成する第２生成手段と、
前記第２生成手段で生成された三次元部分画像データに基づいた三次元部分画像を投影する第２投影手段と、
前記第２投影手段により三次元部分画像が投影・表示される第２三次元スクリーンとを備え、
前記第２三次元スクリーンに表示される三次元部分画像の表示倍率を、前記第１三次元スクリーンに表示される三次元画像の表示倍率より大きくしたことを要旨とする。
従って、請求項１に係る発明によれば、対象物の内部の一部分を三次元的に拡大表示した画像と該対象物とを一体的に関連付けた表示が可能となる。また、対象物の内部構造の三次元的な位置および三次元的な大きさ等を直感的に認識し得る。

請求項２に記載の発明では、前記第２三次元スクリーンは、半球形状であることを要旨とする。
従って、請求項２に係る発明によれば、三次元部分画像の形状に関係なく、第２三次元スクリーンに該三次元部分画像を好適に表示し得る。また、観察者の位置に関係なく好適な表示が可能となる。

請求項３に記載の発明では、前記第２投影手段は、前記三次元部分画像を半球形状の前記第２三次元スクリーンの内部に投影することを要旨とする。
従って、請求項３に係る発明によれば、三次元部分画像の形状に関係なく、第２三次元スクリーンに該三次元部分画像を好適に表示し得る。また、観察者の位置に関係なく好適な表示が可能となる。更に、第２投影手段および第２三次元スクリーンを一体的に構成し得るため、三次元像表示装置の構成を簡略化し得る。

請求項４に記載の発明では、前記第２三次元スクリーンの位置および姿勢を計測する第２位置姿勢計測手段を備え、前記第２生成手段は、該第２位置姿勢計測手段によって計測される該第２三次元スクリーンの位置および姿勢と、前記観察者位置計測手段で計測される観察者の視点位置との相対関係に基づいて三次元部分画像データを生成することを要旨とする。
従って、請求項４に係る発明によれば、第２三次元スクリーンの位置および姿勢の変化に対応させて第２三次元スクリーンに表示される三次元部分画像を変化させることが可能となり、対象物における任意の拡大表示部位を様々な角度から観察し得るため、観察者の利便性が向上する。

請求項５に記載の発明では、前記第２位置姿勢計測手段により計測される第２三次元スクリーンの位置および姿勢の変化をリセットするリセット手段を備え、このリセット手段の作動により、該第２三次元スクリーンに表示される三次元部分画像の表示姿勢を、前記第１三次元スクリーンに表示される三次元画像の表示姿勢に一致させるよう、前記第２生成手段が該三次元部分画像の基となる三次元部分画像データを生成することを要旨とする。
従って、請求項５に係る発明によれば、第２三次元スクリーンの位置および姿勢を変化させて、第１三次元スクリーンに表示される三次元画像の表示姿勢と、該第２三次元スクリーンに表示される三次元部分画像の表示姿勢とが一致しなくなった場合に、迅速に両三次元スクリーンの表示姿勢を一致させ得るため、観察者の利便性が向上する。

請求項６に記載の発明では、前記三次元画像における任意の拡大表示部位を指定する指定具を備え、この指定具により指定した該三次元画像の任意の拡大表示部位が第２三次元スクリーンに拡大表示されるようにしたことを要旨とする。
従って、請求項６に係る発明によれば、観察者が詳細に観察したい部位を任意に指定できるため、観察者の利便性が向上する。

以上に説明した如く、本発明に係る三次元像表示装置によれば、対象物の内部の一部分を三次元的に拡大表示する際に、拡大表示に係る画像と該対象物とを一体的に関連付けた表示が可能となる。

次に、本発明に係る三次元像表示装置につき、好適な実施例を挙げて、添付図面を参照して以下説明する。なお実施例では、内部を表示する対象物として人体(胴部)を用い、また人体内にカテーテルを挿入した際の人体内の様子を擬似的に観察するカテーテル挿入シミュレーターを運用する三次元像表示装置を例に挙げて説明する。

実施例に係る三次元像表示装置１０は、図１に示す如く、装置全体の記憶・演算等をなすコンピュータの如き計算機２０と、第１投影手段３０と、第２投影手段３２と、第１三次元スクリーン４０と、第２三次元スクリーン５０とを基本的に備える。前記計算機２０は、記憶手段２２、第１生成手段２４および第２生成手段２６を有し、三次元像表示装置１０の全体的な制御を行なっている。ここで前記記憶手段２２は、対象物としての人体の三次元構造(人体内部情報)と、第１三次元スクリーン４０および第２三次元スクリーン５０の夫々に係る表面形状データと、カテーテルＫ(後述)の形状データと、第１投影手段３０および第２投影手段３２の配置位置とを記憶している。この人体内部情報は、ボクセルデータで構成されており、少なくとも人体内の各種臓器および骨格のデータおよび体内に挿入されるカテーテルＫの通過経路(血管)データより構成されている例を示す。なお、カテーテルＫの形状データとは、該カテーテルＫが通過経路(血管)内に挿入された様子を表示するためカテーテルＫ全体の形状に係るデータである。

また、実施例に係る三次元像表示装置１０を使用する観察者Ｖは、計算機２０に接続された観察者位置計測手段６０を保持するようにされている。この観察者位置計測手段６０は、両三次元スクリーン４０,５０を観察する観察者Ｖの視点位置を計測する手段である。実施例では、３Ｄ位置センサが用いられ、観察者Ｖの頭部、特には眼鏡等に装着される。そして、三次元像表示装置１０を構成する各要素は、有線または無線で必要とされる信号を伝送可能なように電気的に接続されている。

前記第１三次元スクリーン４０は、前記第１投影手段３０により三次元画像ＡＤが投影・表示されるディスプレイであり、立体的な胴体形状物が使用されている。ここで第１三次元スクリーン４０は、この第１三次元スクリーン４０の位置および姿勢の変化を計測する第１位置姿勢計測手段４２を有しており、実施例では磁気を用いた３Ｄ位置姿勢センサが使用されている。この第１位置姿勢計測手段４２によって、観察者位置計測手段６０で計測される観察者Ｖの視点位置に対する第１三次元スクリーン４０の相対的な位置および姿勢を計算機２０が常に把握可能となっている。また、第１三次元スクリーン４０において人体の大腿部に対応する位置には、カテーテルＫの挿入部４０ａが設けられている。そして、この挿入部４０ａの近傍に挿入部４０ａから挿入されるカテーテルＫの長さを計測する指定具としてのカテーテル長計測手段２８が備えられている。

前記第１生成手段２４は、前記記憶手段２２に記憶された各種情報と、前記カテーテル長計測手段２８に計測されるカテーテルＫの長さと、前記第１位置姿勢計測手段４２に計測される前記第１三次元スクリーン４０の位置および姿勢並びに観察者位置計測手段６０に計測される観察者Ｖの視点位置の相対関係とに基づいて、第１三次元スクリーン４０に表示する三次元画像ＡＤの基となる三次元画像データを生成する。ここで、前記第１生成手段２４が利用する前記記憶手段２２の各種情報とは、人体内部情報、第１投影手段３０の配置位置、第１三次元スクリーン４０の表面形状データおよびカテーテルＫの形状データである。また三次元画像データは、第１三次元スクリーン４０の位置・姿勢に対応して表示される人体内の各種臓器および骨格の画像に係る情報である。そして、前記第１三次元スクリーン４０に対して、前記第１投影手段３０が第１生成手段２４により生成された三次元画像データに基づいた三次元画像ＡＤを投影することにより、該第１三次元スクリーン４０に三次元画像ＡＤが表示されるように構成される。本実施例では、前記第１投影手段３０としてプロジェクタが使用されている。

また前記第１生成手段２４は、前記第１位置姿勢計測手段４２に計測される第１三次元スクリーン４０の位置と、観察者位置計測手段６０に計測される観察者Ｖの視点位置と、記憶手段２２に記憶されている第１投影手段３０の配置位置との相対関係の確定により、以下の非特許文献２に開示されている双対レンダリングによって三次元画像データを生成している。この双対レンダリングによって生成された三次元画像データは、胴体形状物である第１三次元スクリーン４０に、観察者Ｖから歪みのない三次元画像ＡＤとして認識されるように表示される。すなわち、前記第１三次元スクリーン４０に人体内部情報を三次元的に表示した画像と人体とを一体的に関連付けた表示を可能とし、人体の内部構造の三次元的な位置および三次元的な大きさ等を直感的に認識し得る。
"人型への投影を用いた医学教育システム", 日本バーチャルリアリティ学会, 第９回大会論文抄録集, pp.101, 2004, VRSJ

この第１生成手段２４は、第１位置姿勢計測手段４２および観察者位置計測手段６０で夫々計測される第１三次元スクリーン４０および観察者Ｖの相対的な位置および姿勢に対応して、第１投影手段３０によって第１三次元スクリーン４０に投影・表示される三次元画像ＡＤの基となる三次元画像データを常に生成するよう構成されている。すなわち、第１位置姿勢計測手段４２および観察者位置計測手段６０で夫々計測される第１三次元スクリーン４０および観察者Ｖの相対的な位置および姿勢を常に把握することで、第１三次元スクリーン４０の位置および姿勢の変化や観察者Ｖの視線位置の変化に対応した三次元画像データが第１生成手段２４によって生成される。

ここで、第１三次元スクリーン４０の相対的な位置および姿勢に対応する三次元画像データとは、観察者Ｖが第１三次元スクリーン４０に表示される三次元画像ＡＤを観察した際に、該三次元画像ＡＤが第１三次元スクリーン４０内に人体内部情報を埋め込んだ三次元的な画像として、現実に形成されている人体の内部構造のように認識できるデータを指す。なお、実施例では第１位置姿勢計測手段４２は、第１三次元スクリーン４０に取り付けられているが、該第１位置姿勢計測手段４２と第１三次元スクリーン４０とを分離して、例えば光学的な方法で該第１三次元スクリーン４０の位置および姿勢の変化を計測するようにしてもよい。

前記第２三次元スクリーン５０は、前記第２投影手段３２により三次元部分画像ＰＤが投影・表示されるディスプレイである。本実施例では、第２投影手段３２に向けて突出した半球状物が使用され、半球状物の外面に第２投影手段３２から投影された三次元部分画像ＰＤが表示されるように構成されている。ここで第２三次元スクリーン５０の形状は、半球状には限定されるものではない。前記第２三次元スクリーン５０の形状を半球状とする場合、三次元部分画像ＰＤの形状に関係なく、第２三次元スクリーン５０に該三次元部分画像ＰＤを好適に表示し得る。また第２三次元スクリーン５０は、この第２三次元スクリーン５０の位置および姿勢を計測する第２位置姿勢計測手段５２を有している。実施例では第２位置姿勢計測手段５２として、前記第１位置姿勢計測手段４２と同様の磁気を用いた３Ｄ位置姿勢センサが使用されている。この第２位置姿勢計測手段５２によって、観察者位置計測手段６０で計測される観察者Ｖの視点位置と第２三次元スクリーン５０との相対的な位置および姿勢の把握が常に可能となっている。

前記第２生成手段２６は、前記記憶手段２２に記憶された各種情報と、前記第２位置姿勢計測手段５２に計測される前記第２三次元スクリーン５０の位置および姿勢並びに観察者位置計測手段６０に計測される観察者Ｖの視点位置の相対関係と、前記第１三次元スクリーン４０に表示される三次元画像ＡＤにおける任意の拡大表示部位Ｐの情報とに基づいて、第２三次元スクリーン５０に表示する三次元部分画像ＰＤの基となる三次元部分画像データを生成する。ここで、前記第２生成手段２６が利用する前記記憶手段２２の各種情報とは、人体内部情報、第２投影手段３２の配置位置、第２三次元スクリーン５０の表面形状データおよびカテーテルＫの形状データである。また三次元部分画像データは、前記第１三次元スクリーン４０に表示される三次元画像ＡＤの任意の拡大表示部位Ｐを拡大表示する三次元部分画像ＰＤの基となる情報である。

ここで三次元部分画像ＰＤの拡大倍率は、第２三次元スクリーン５０で詳細に表示する三次元部分画像ＰＤに求められる解像度に応じて任意に決定される。本実施例においては、第１三次元スクリーン４０内に挿入されるカテーテルＫの先端位置が任意の拡大表示部位Ｐとされている。すなわち、任意の拡大表示部位Ｐは、第１三次元スクリーン４０に設けられる挿入部４０ａから挿入されるカテーテルＫの長さを計測する指定具としてのカテーテル長計測手段２８によって決定される。すなわち、挿入部４０ａに挿入されたカテーテルＫの先端位置における三次元画像データに基づいて三次元部分画像データが生成される。

また前記第２生成手段２６は、前記第２位置姿勢計測手段５２に計測される第２三次元スクリーン５０と、観察者位置計測手段６０に計測される観察者Ｖの視点位置と、記憶手段２２に記憶されている第２投影手段３２の配置位置との相対関係の確定により、前記第１生成手段２４と同様に双対レンダリングによって三次元部分画像データを生成している。この三次元部分画像データは、半球状物である第２三次元スクリーン５０に、観察者Ｖから歪みのない三次元部分画像ＰＤとして認識されるように表示される。

更に前記第２生成手段２６は、前記第２位置姿勢計測手段５２により計測される第２三次元スクリーン５０の位置および姿勢の変化をリセットするリセット手段６２を備えている。このリセット手段６２は、第２位置姿勢計測手段５２で計測される第２三次元スクリーン５０の位置および姿勢が入力され、該第２三次元スクリーン５０の位置および姿勢が一定の条件(後述)を満たしたことを検出した場合に作動する。そしてリセット手段６２が作動すると、第２位置姿勢計測手段５２が計測する位置または姿勢に拘わらず第２三次元スクリーン５０に表示される三次元部分画像ＰＤの表示姿勢を、第１三次元スクリーン４０に表示される三次元画像ＡＤの表示姿勢に一致させるよう、第２生成手段２６が該三次元部分画像ＰＤの基となる三次元部分画像データを生成する。そして、前記第２三次元スクリーン５０に対して、前記第２投影手段３２が第２生成手段２６により生成された三次元部分画像データに基づいた三次元部分画像ＰＤを投影することにより、該第２三次元スクリーン５０に三次元部分画像ＰＤが表示されるように構成される。本実施例では前記第２投影手段３２として、プロジェクタが使用されている。

この第２生成手段２６は、第２位置姿勢計測手段５２および観察者位置計測手段６０で夫々計測される第２三次元スクリーン５０および観察者Ｖの相対的な位置および姿勢に対応して、第２投影手段３２によって第２三次元スクリーン５０に投影・表示される三次元部分画像ＰＤの基となる三次元部分画像データを常に生成するよう構成されている。すなわち、第２位置姿勢計測手段５２および観察者位置計測手段６０で夫々計測される第２三次元スクリーン５０および観察者Ｖの相対的な位置および姿勢を常に把握することで、第２三次元スクリーン５０の位置および姿勢の変化や観察者Ｖの視線位置の変化に対応した三次元画像データが第２生成手段２６によって生成される。

ここで、第２三次元スクリーン５０の相対的な位置および姿勢に対応する三次元部分画像データとは、観察者Ｖが第２三次元スクリーン５０に表示される三次元部分画像ＰＤを観察した際に、該三次元部分画像ＰＤが第２三次元スクリーン５０内に人体内部情報を埋め込んだ三次元的な画像として、現実に形成されている人体の内部構造のように認識できるデータを指す。なお、実施例では第２位置姿勢計測手段５２は、第２三次元スクリーン５０に取り付けられているが、該第２位置姿勢計測手段５２と第２三次元スクリーン５０とを分離して、例えば光学的な方法で該第２三次元スクリーン５０の位置・姿勢の変化を計測するようにしてもよい。

なお、第１三次元スクリーン４０および第２三次元スクリーン５０の表面については、夫々第１投影手段３０および第２投影手段３２から夫々投影される三次元画像ＡＤおよび三次元部分画像ＰＤを表示した際に、表示内容に影響しないよう例えば明色無地とすることが好ましい。

〔実施例の作用〕
次に、実施例に係る三次元像表示装置１０の作用について説明する。ここで、第１三次元スクリーン４０および第２三次元スクリーン５０は、夫々第１投影手段３０および第２投影手段３２の投影範囲に配置され、また観察者Ｖは観察者位置計測手段６０を保持した状態で、該第１三次元スクリーン４０および第２三次元スクリーン５０を観察できる位置にいるものとする。また、三次元像表示装置１０の作動開始後、第２位置姿勢計測手段５２が第２三次元スクリーン５０の位置または姿勢の変化を計測するまでは、前記第２三次元スクリーン５０に表示される三次元部分画像ＰＤの表示姿勢は、図２に示す如く、第１三次元スクリーン４０に表示される三次元画像ＡＤの表示姿勢と一致した状態となっている。

そして前記記憶手段２２には、ボクセルデータで構成された対象物である人体についての人体内部情報と、第１三次元スクリーン４０および第２三次元スクリーン５０の表面形状データと、カテーテルＫの形状データと、第１投影手段３０および第２投影手段３２の配置位置等の情報が予め入力されているものとする。前記カテーテル長計測手段２８については、カテーテルＫが第１三次元スクリーン４０の挿入部４０ａには挿入されておらず、該カテーテルＫの先端位置を決定するカテーテルＫの第１三次元スクリーン４０への挿入長さがゼロとなるように、すなわち第２三次元スクリーン５０に表示される任意の拡大表示部位Ｐが挿入部４０ａの形成位置と一致するようにされている。

前記三次元像表示装置１０の作動は、図３に示す如く、基本的に三次元画像データに関係する三次元画像データ生成段階Ｓ１および三次元画像表示段階Ｓ２と、三次元部分画像データに関係する三次元部分画像データ生成段階Ｓ３、三次元部分画像表示段階Ｓ４およびリセット手段作動確認段階Ｓ５とからなる。そして、これら三次元画像データ生成段階Ｓ１および三次元画像表示段階Ｓ２と、三次元部分画像データ生成段階Ｓ３、三次元部分画像表示段階Ｓ４およびリセット手段作動確認段階Ｓ５とは、夫々繰り返し実施されている。

三次元像表示装置１０では、前記三次元画像データ生成段階Ｓ１において、図４に示すようにデータが処理される。すなわち、前記記憶手段２２に記憶された各種情報を基本とし、更に第１位置姿勢計測手段４２、観察者位置計測手段６０およびカテーテル長計測手段２８からの夫々の情報を加えて、第１生成手段２４が、第１三次元スクリーン４０に表示すべき三次元画像ＡＤの基となる三次元画像データを生成する。ここで、前記三次元画像データ生成段階Ｓ１において用いられる記憶手段２２に記憶された各種情報とは、人体内部情報、第１投影手段３０の配置位置、第１三次元スクリーン４０の表面形状データおよびカテーテルＫの形状データである。

このように前記第１生成手段２４で生成された三次元画像データは、三次元画像表示段階Ｓ２の実行によって第１投影手段３０に送られ、この三次元画像データに基づいた三次元画像ＡＤが第１三次元スクリーン４０に向けて投影される。これにより第１三次元スクリーン４０に、三次元画像ＡＤが投影・表示される。そして、第１位置姿勢計測手段４２で計測される第１三次元スクリーン４０の位置および姿勢や、観察者位置計測手段６０で計測される観察者Ｖの視線位置や、カテーテル長計測手段２８で計測されるカテーテルＫの先端位置が変化すれば、これに伴って第１三次元スクリーン４０に投影・表示される三次元画像ＡＤが変化して、常に観察者Ｖが観察したい三次元画像ＡＤが提供される。

また、前記第１生成手段２４で生成された三次元画像データと、カテーテル長計測手段２８で計測されるカテーテルＫの先端位置に基づいた任意の拡大表示部位Ｐのデータとは、第２投影手段３２で第２三次元スクリーン５０に投影・表示される三次元部分画像ＰＤの基となる三次元部分画像データの生成にも使用されている。このため、第１三次元スクリーン４０の位置および姿勢や、観察者Ｖの視線位置や、カテーテルＫの先端位置の変化に対応して三次元画像ＡＤが変化すれば、この三次元画像ＡＤの変化に対応した三次元部分画像ＰＤが第２三次元スクリーン５０に表示されることになる。

前記三次元部分画像データ生成段階Ｓ３において三次元像表示装置１０は、前記記憶手段２２に記憶された各種情報と、前記三次元画像データ生成段階Ｓ１で得られた任意の拡大表示部位Ｐにおける三次元画像データとを基本とし、更に第２位置姿勢計測手段５２からの情報を加えることで、第２生成手段２６によって第２三次元スクリーン５０に表示すべき三次元部分画像ＰＤの基となる三次元部分画像データを生成している(図４参照)。ここで、前記三次元部分画像データ生成段階Ｓ３において用いられる記憶手段２２に記憶された各種情報とは、人体内部情報、第２投影手段３２の配置位置、第２三次元スクリーン５０の表面形状データおよびカテーテルＫの形状データである。

このように前記第２生成手段２６で生成された三次元部分画像データは、三次元部分画像表示段階Ｓ４の実行によって第２投影手段３２に送られ、この三次元部分画像データに基づいた三次元部分画像ＰＤが半球状の第２三次元スクリーン５０に向けて投影される。これにより第２三次元スクリーン５０には、三次元部分画像ＰＤが投影・表示された状態となる。そして、第２位置姿勢計測手段５２で計測される第２三次元スクリーン５０の位置および姿勢が単独で変化すれば、第１三次元スクリーン４０に表示される三次元画像ＡＤに表示姿勢に拘わらず、これに伴って第２三次元スクリーン５０に投影・表示される三次元部分画像ＰＤが変化する。すなわち、前記第２三次元スクリーン５０に、常に観察者Ｖが観察したい拡大表示部位Ｐについての三次元部分画像ＰＤが提供され、様々な角度からの観察も可能となる。

また、前記第２三次元スクリーン５０の形状が半球状であるため、三次元部分画像ＰＤの形状に関係なく、第２三次元スクリーン５０に該三次元部分画像ＰＤを好適に表示し得る。そして、カテーテル長計測手段２８によって観察者Ｖが詳細に観察したい任意の拡大表示部位Ｐを好適に指定できるため、観察者の利便性が向上する。

前記リセット手段作動確認段階Ｓ５は、第２三次元スクリーン５０の位置および姿勢を計測する第２位置姿勢計測手段５２を用いて、該第２三次元スクリーン５０の位置および姿勢が一定の条件を満たしているかを確認する段階である。実施例における条件は、前記第２三次元スクリーン５０が最初に配置された高さ位置で水平状態となることで満たされる。そして、第２位置姿勢計測手段５２で計測される第２三次元スクリーン５０の位置および姿勢が、前述した条件を満たしている場合には、第２位置姿勢計測手段５２による第２三次元スクリーン５０の位置および姿勢の計測についての情報がリセットされる。すなわち、リセット手段６２が作動するまでの第２三次元スクリーン５０の位置または姿勢に拘わらず、該第２三次元スクリーン５０の表示姿勢が、第１三次元スクリーン４０の表示姿勢と一致するよう、第２生成手段２６が三次元部分画像データを生成する。一方、第２位置姿勢計測手段５２で計測される第２三次元スクリーン５０の位置または姿勢が、前述した条件を満たしていない場合には、第２位置姿勢計測手段５２による第２三次元スクリーン５０の位置および姿勢の計測についての情報はリセットされず、図３のフローに従ってそのまま三次元部分画像データ生成段階Ｓ３に戻る。すなわち、前記第２三次元スクリーン５０の位置および姿勢に応じた三次元部分画像ＰＤが、該第２三次元スクリーン５０に表示される。なお、ここでは前記リセット手段６２が作動する条件を、「第２三次元スクリーン５０が最初に配置された高さ位置で水平状態になっていること」としているが、本発明は特にこれに限定されず、観察者Ｖの三次元像表示装置１０の使用形態等に合わせて、適宜設定すればよい。

基本的に、前述した三次元画像データ生成段階Ｓ１および三次元画像表示段階Ｓ２と、三次元部分画像データ生成段階Ｓ３、三次元部分画像表示段階Ｓ４およびリセット手段作動確認段階Ｓ５とが夫々繰り返し実施されることで、三次元画像データに基づいた三次元画像ＡＤが第１三次元スクリーン４０に表示され、三次元部分画像データに基づいた三次元部分画像ＰＤが第２三次元スクリーン５０に表示されている。この状態から、(ａ)観察者Ｖの視点位置が変化した場合、(ｂ)第１三次元スクリーン４０の位置・姿勢が変化した場合、(ｃ)第１三次元スクリーン４０に挿入されたカテーテルＫの長さが変化した場合、(ｄ)第２三次元スクリーン５０の位置・姿勢が変化した場合、を分けて説明する。しかし、これら(ａ)〜(ｄ)の作用は、夫々の変化が複合的に発生した場合には、(ａ)〜(ｄ)の作用は同時複合的に発生し、その都度、適切な三次元画像データおよび三次元部分画像データが生成される。

〔ａ．観察者Ｖの視点位置が変化した場合〕
観察者Ｖの視点位置の変化は、観察者位置計測手段６０によって検出される。この観察者Ｖの視点位置の変化は、観察者位置計測手段６０から第１生成手段２４に入力される。そして、変化した観察者Ｖの視点と第１三次元スクリーン４０との位置関係から、この新しい位置関係に対応した三次元画像データが第１生成手段２４で生成され、該三次元画像データに基づいた三次元画像ＡＤが第１三次元スクリーン４０に投影・表示される。すなわち、この観察者位置計測手段６０および第１生成手段２４の働きにより、前記第１三次元スクリーン４０に現実に形成されている人体の内部構造のように認識される三次元画像ＡＤは、観察者Ｖの視点位置の変化した場合であってもこれに対応して変化する。

このとき、この新しい観察者Ｖの視線位置に対応した三次元画像データは第２生成手段２６に送られる。これにより第２生成手段２６は、新しい観察者Ｖの視線位置に対応した三次元部分画像データを生成し、該三次元部分画像データに基づいた三次元部分画像ＰＤが第２三次元スクリーン５０に投影・表示される。すなわち、観察者位置計測手段６０および第１生成手段２４と、第２生成手段２６との働きにより、前記第２三次元スクリーン５０で、任意の拡大表示部位Ｐに係る三次元画像ＡＤを拡大して、現実に形成されている人体の内部構造のように認識される三次元部分画像ＰＤは、観察者Ｖの視点位置の変化した場合であってもこれに対応して変化する。

〔ｂ．第１三次元スクリーン４０の位置・姿勢が変化した場合〕
第１三次元スクリーン４０の位置・姿勢の変化は、第１位置姿勢計測手段４２によって検出される。この第１三次元スクリーン４０の位置・姿勢の変化は、第１位置姿勢計測手段４２から第１生成手段２４に入力される。そして、変化後の第１三次元スクリーン４０の位置・姿勢に対応した三次元画像データが第１生成手段２４で生成され、該三次元画像データに基づいた三次元画像ＡＤが第１三次元スクリーン４０に投影・表示される。すなわち、この第１位置姿勢計測手段４２および第１生成手段２４の働きにより、前記第１三次元スクリーン４０に現実に形成されている人体の内部構造のように認識される三次元画像ＡＤは、観察者Ｖが第１三次元スクリーン４０を横にずらしたり、裏返す等の姿勢を変化させた場合であってもこれに対応して変化する。

このとき、この新しい第１三次元スクリーン４０の位置・姿勢に対応した三次元画像データは第２生成手段２６に送られる。これにより第２生成手段２６は、新しい第１三次元スクリーン４０の位置・姿勢に対応した三次元部分画像データを生成し、該三次元部分画像データに基づいた三次元部分画像ＰＤが第２三次元スクリーン５０に投影・表示される。すなわち、第１位置姿勢計測手段４２および第１生成手段２４と、第２生成手段２６との働きにより、前記第２三次元スクリーン５０で、任意の拡大表示部位Ｐに係る三次元画像ＡＤを拡大して、現実に形成されている人体の内部構造のように認識される三次元部分画像ＰＤは、観察者Ｖが第１三次元スクリーン４０を横にずらしたり、裏返す等の姿勢を変化させた場合であってもこれに対応して変化する。

〔ｃ．第１三次元スクリーン４０に挿入されたカテーテルＫの長さが変化した場合〕
第１三次元スクリーン４０の挿入部４０ａから挿入されたカテーテルＫの長さの変化は、カテーテル長計測手段２８によって検出される。このカテーテルＫの長さの変化は、カテーテル長計測手段２８から第１生成手段２４に入力される。そして、カテーテルＫの長さの変化から算出したカテーテルＫの先端位置から、変化後のカテーテルＫの先端位置に対応した三次元画像データが第１生成手段２４で生成され、該三次元画像データに基づいた三次元画像ＡＤが第１三次元スクリーン４０に投影・表示される。すなわち、このカテーテル長計測手段２８および第１生成手段２４の働きにより、観察者Ｖは常にカテーテルＫの先端位置を、三次元画像データに基づいた三次元画像ＡＤ内に把握し得る。

このとき、この新しいカテーテルＫの先端位置に対応した拡大表示部位Ｐに係る三次元画像データは第２生成手段２６に送られる。これにより第２生成手段２６は、新しいカテーテルＫの先端位置に対応した三次元部分画像データを生成し、該三次元部分画像データに基づいた三次元部分画像ＰＤが第２三次元スクリーン５０に投影・表示される。すなわち、カテーテル長計測手段２８および第１生成手段２４と、第２生成手段２６との働きにより、前記第２三次元スクリーン５０で、任意の拡大表示部位Ｐに係る三次元画像ＡＤを拡大して、現実に形成されている人体の内部構造のように認識される三次元部分画像ＰＤは、カテーテルＫの先端位置を変化させた場合であってもこれに対応して変化する。

〔ｄ．第２三次元スクリーン５０の位置・姿勢が変化した場合〕
第２三次元スクリーン５０の位置・姿勢の変化は、第２位置姿勢計測手段５２によって検出される。この第２三次元スクリーン５０の位置・姿勢の変化は、第２位置姿勢計測手段５２から第２生成手段２６に入力される。そして、変化後の第２三次元スクリーン５０の位置・姿勢に対応した三次元部分画像データが第２生成手段２６で生成され、該三次元部分画像データに基づいた三次元部分画像ＰＤが第２三次元スクリーン５０に投影・表示される。すなわち、この第２位置姿勢計測手段５２およびこの第２生成手段２６の働きにより、前記第２三次元スクリーン５０で、任意の拡大表示部位Ｐに係る三次元画像ＡＤを拡大して、現実に形成されている人体の内部構造のように認識される三次元部分画像ＰＤは、観察者Ｖが第１三次元スクリーン４０を横にずらしたり、裏返す等の姿勢を変化させた場合であってもこれに対応して変化する。

このようにして、第１三次元スクリーン４０および第２三次元スクリーン５０の位置・姿勢が観察者Ｖに対して変化した場合、両三次元スクリーン４０,５０の位置・姿勢の変化に応じた三次元画像データや三次元部分画像データが第１生成手段２４や第２生成手段２６で即座に生成される。そして、第１生成手段２４および第２生成手段２６で夫々生成された三次元画像データおよび三次元部分画像データに基づいた三次元画像ＡＤまたは三次元部分画像ＰＤが、第１三次元スクリーン４０または第２三次元スクリーン５０に表示される。すなわち、人体の内部の一部分を三次元的に拡大表示した画像と、該人体とを一体的に関連付けた表示が可能となり、人体の内部構造の三次元的な位置および三次元的な大きさ等を直感的に認識し得る。

ここで(ｄ)に前述した如く、第２三次元スクリーン５０の位置・姿勢だけが変化した場合には、該第２三次元スクリーン５０に表示される三次元部分画像ＰＤは、該第２三次元スクリーン５０の位置・姿勢の変化に対応して変化する。このとき三次元部分画像ＰＤの表示姿勢は、最初に配置された際の第１三次元スクリーン４０に表示される三次元画像ＡＤの表示姿勢と一致しなくなり、該三次元画像ＡＤの表示姿勢とは別の表示姿勢となって関連が失われる。すなわち、前記三次元画像ＡＤの表示姿勢とは異なる表示姿勢の三次元部分画像ＰＤを、分離して観察できるようになる。このため、前記三次元画像ＡＤにおいて詳細に観察したい拡大表示部位Ｐを拡大して表示している三次元部分画像ＰＤだけを、様々な方向から観察可能となり、観察者Ｖの利便性を大きく向上し得る。

このように、前記第２三次元スクリーン５０の位置または姿勢を単独で変化させ、第１三次元スクリーン４０に表示される三次元画像ＡＤと第２三次元スクリーン５０に表示される三次元部分画像ＰＤとの表示姿勢の関連がいったん失われた場合、該三次元画像ＡＤと三次元部分画像ＰＤとの表示姿勢を一致させるように、該第２三次元スクリーン５０の位置または姿勢を変化させるよう操作するには困難が伴う。そこで実施例においては、リセット手段６２を用いたリセット手段作動確認段階Ｓ５によって、観察者Ｖが第２三次元スクリーン５０が最初に配置された高さ位置で水平状態にすることで、必要に応じて該第２三次元スクリーン５０に表示される三次元部分画像ＰＤの表示姿勢と三次元画像ＡＤの表示姿勢とを一致させ得るようになっている。この三次元部分画像ＰＤの表示姿勢と三次元画像ＡＤの表示姿勢との一致によって、第２三次元スクリーン５０に表示される三次元部分画像ＰＤと、人体の各種臓器等との一体的な関連付けは回復する。すなわち、迅速に両三次元スクリーン４０,５０の表示姿勢を一致させ得るため、観察者の利便性が向上する。

〔変更例について〕
実施例では、指定具としてカテーテル長計測手段２８を採用し、常にカテーテルＫの先端部分が任意の拡大表示部位Ｐとして指定され、該拡大表示部位Ｐが第２三次元スクリーン５０に拡大表示されるように構成されているが、本発明はこれに限定されない。例えば、図５に示す如く、位置および姿勢を計測する計測手段を備えるレーザーポインタの如き器具を指定具として採用してもよい。この場合、レーザーポインタの位置および姿勢を計測する計測手段からの情報と、第２三次元スクリーン５０に備えられる第２位置姿勢計測手段５２からの情報とを統合することで、算出される三次元画像ＡＤ上において該レーザーポインタが発するレーザー光線のポイントする部位が拡大表示部位Ｐとして指定される。すなわち、観察者Ｖが詳細に観察したい任意の拡大表示部位Ｐを任意に指定できるため、該観察者Ｖの利便性を向上させ得る。また、本実施例においても、カテーテル長計測手段２８の使用と併せてこのような別の指定具を採用し、観察者Ｖが適宜使い分けるようにしてもよい。

また実施例では、リセット手段６２は第２生成手段２６に設けられて、第２三次元スクリーン５０の位置および姿勢が一定条件を満たした場合に、前記第２位置姿勢計測手段５２により計測される第２三次元スクリーン５０の位置および姿勢の変化をリセットしている。しかし、本発明はこれに限定されるものではなく、観察者Ｖの操作や、音声入力等によって反応するボタン式や音声反応式のリセット手段６２を採用してもよい。すなわち、第２三次元スクリーン５０の位置および姿勢を変化させて、第１三次元スクリーン４０に表示される三次元画像ＡＤの表示姿勢と、該第２三次元スクリーン５０に表示される三次元部分画像ＰＤの表示姿勢とが一致しなくなった場合に、該第２三次元スクリーン５０の位置・姿勢を変化させなくても、迅速に両三次元スクリーン４０,５０の表示姿勢を一致させ得るため、観察者Ｖの利便性が向上する。

更に実施例では、両位置姿勢計測手段４２,５２および観察者位置計測手段６０が、対応する両スクリーン４０,５０および観察者Ｖの位置等に変化がない場合でも、逐次並列的に三次元画像データ生成段階Ｓ１および三次元画像表示段階Ｓ２と、三次元部分画像データ生成段階Ｓ３、三次元部分画像表示段階Ｓ４およびリセット手段作動確認段階Ｓ５とを繰り返すようになっている。しかし、本発明はこれに限定されるものではなく、図６に示す如く、三次元画像表示段階Ｓ２の処理後に実施する三次元画像生成判別段階Ｓ６を、リセット手段作動確認段階Ｓ５の処理後に実施する三次元部分画像生成判別段階Ｓ７を夫々設けてもよい。

すなわち、第１生成手段２４における三次元画像データの生成に関しては、三次元画像生成判別段階Ｓ６において第１位置姿勢計測手段４２、観察者位置計測手段６０またはカテーテル長計測手段２８が夫々計測している第１三次元スクリーン４０の位置および姿勢、観察者Ｖの視点位置またはカテーテル先端位置を表す任意の拡大表示部位Ｐの位置の変化を検出した場合には、三次元画像データ生成段階Ｓ１に戻り、変化が検出されない場合には三次元画像表示段階Ｓ２に戻ることになる。また、第２生成手段２６における三次元部分画像データの生成に関しては、三次元部分画像生成判別段階Ｓ７において第２位置姿勢計測手段５２が第２三次元スクリーン５０の位置または姿勢の変化を検出した場合には、三次元部分画像データ生成段階Ｓ３に戻り、変化が検出されない場合には三次元部分画像表示段階Ｓ４に戻ることになる。このようなフローを利用することで、前記第１生成手段２４および第２生成手段２６をなす計算機２０の負荷を軽減し得る効果を奏する。

また前述の指定具２８またはリセット手段６２や、その他の操作器具に、第２三次元スクリーン５０に表示する三次元部分画像ＰＤの、三次元画像ＡＤに対する拡大倍率の変更機能を持たせるようにしてもよい。この場合、観察者Ｖの詳細に観察したい任意の拡大表示部位Ｐを、必要に応じて好適な大きさで観察し得る。

更に実施例では、第２三次元スクリーン５０の形状は半球状とされ、半球状物の外部に第２投影手段３２から投影された三次元部分画像ＰＤが表示されている。しかし、本発明はこれに限定されず、図７に示す三次元像表示装置７０のように、第２三次元スクリーン５０を中空の半球状物とし、この内部に向けて第２投影手段３２から三次元部分画像ＰＤを投影するように一体的に構成した三次元部分画像表示手段７２を用いてもよい。この場合、第２投影手段および第２三次元スクリーンを一体的に構成し得るため、三次元像表示装置の構成を簡略化し得る。

なおこの場合、観察者Ｖは、前記第２三次元スクリーン５０の内部に投影される三次元部分画像ＰＤを、該第２三次元スクリーン５０を構成する壁面を介して外部から観察することになる。このため、前記第２三次元スクリーン５０については、第２投影手段３２が第２三次元スクリーン５０の内部へ三次元部分画像ＰＤを投影した際に、該第２三次元スクリーン５０の外部への表示内容に影響しないよう例えば色を明色無地として、壁面を三次元部分画像ＰＤが充分透過するよう構成することが好ましい。

この他、実施例では内部を表示する対象物として人体を用いた例を挙げているが、本発明はこれに限定されるものではない。多数の構成要素が三次元的に組み合わさり、分解等しなければ外部からの内部構造の把握が困難であって、分解が困難なもの、例えばエンジンや、三次元的に構成された基板等を対象物としてもよい。

本発明の好適な実施例に係る三次元像表示装置を示す概略図である。第１三次元スクリーンに表示される三次元画像の表示姿勢と、第２三次元スクリーンに表示される三次元部分画像の表示姿勢とが一致した状態を示す概略図である。実施例に係る三次元像表示装置の作動内容を示すフロー図である。図３に示す三次元像表示装置が三次元画像データ生成段階Ｓ１、三次元画像表示段階Ｓ２、三次元部分画像データ生成段階Ｓ３および三次元部分画像表示段階Ｓ４の各段階におけるデータの流れを示す図である。変更例に係る三次元像表示装置を示す概略図である。更に別の変更例に係る三次元像表示装置の作動内容を示すフロー図である。更に別の変更例に係る三次元像表示装置を示す概略図である。

符号の説明

２２記憶手段、２４第１生成手段、２６第２生成手段、２８指定具
３０第１投影手段、３２第２投影手段、４０第１三次元スクリーン
４２第１位置姿勢計測手段、５０第２三次元スクリーン
６０観察者位置計測手段、６２リセット手段
ＡＤ三次元画像、Ｐ拡大表示部位、ＰＤ三次元部分画像、Ｖ観察者

Claims

対象物の三次元画像(AD)が投影・表示される第１三次元スクリーン(40)と、前記第１三次元スクリーン(40)の位置および姿勢を計測する第１位置姿勢計測手段(42)と、前記第１三次元スクリーン(40)を観察する観察者(V)の視点位置を計測する観察者位置計測手段(60)と、対象物の三次元構造を記憶する記憶手段(22)と、前記第１位置姿勢計測手段(42)に計測される前記第１三次元スクリーン(40)の位置および姿勢並びに観察者位置計測手段(60)に計測される該第１三次元スクリーン(40)を観察する観察者(V)の視点位置の相対関係に基づいて、前記記憶手段(22)に記憶された三次元構造から三次元画像データを生成する第１生成手段(24)と、前記第１生成手段(24)により生成された三次元画像データに基づいた三次元画像(AD)を第１三次元スクリーン(40)に投影する第１投影手段(30)とを備える三次元像表示装置であって、
前記第１三次元スクリーン(40)に表示される三次元画像(AD)における任意の拡大表示部位(P)の三次元部分画像データを生成する第２生成手段(26)と、
前記第２生成手段(26)で生成された三次元部分画像データに基づいた三次元部分画像(PD)を投影する第２投影手段(32)と、
前記第２投影手段(32)により三次元部分画像(PD)が投影・表示される第２三次元スクリーン(50)とを備え、
前記第２三次元スクリーン(50)に表示される三次元部分画像(PD)の表示倍率を、前記第１三次元スクリーン(40)に表示される三次元画像(AD)の表示倍率より大きくした
ことを特徴とする三次元像表示装置。
前記第２三次元スクリーン(50)は、半球形状である請求項１記載の三次元像表示装置。
前記第２投影手段(32)は、前記三次元部分画像(PD)を半球形状の前記第２三次元スクリーン(50)の内部に投影する請求項２記載の三次元像表示装置。
前記第２三次元スクリーン(50)の位置および姿勢を計測する第２位置姿勢計測手段(52)を備え、前記第２生成手段(26)は、該第２位置姿勢計測手段(52)によって計測される該第２三次元スクリーン(50)の位置および姿勢と、前記観察者位置計測手段(60)で計測される観察者(V)の視点位置との相対関係に基づいて三次元部分画像データを生成する請求項１〜３の何れか一項に記載の三次元像表示装置。
前記第２位置姿勢計測手段(52)により計測される第２三次元スクリーン(50)の位置および姿勢の変化をリセットするリセット手段(62)を備え、このリセット手段(62)の作動により、該第２三次元スクリーン(50)に表示される三次元部分画像(PD)の表示姿勢を、前記第１三次元スクリーン(40)に表示される三次元画像(AD)の表示姿勢に一致させるよう、前記第２生成手段(26)が該三次元部分画像(PD)の基となる三次元部分画像データを生成する請求項４記載の三次元像表示装置。
前記三次元画像(AD)における任意の拡大表示部位(P)を指定する指定具(28)を備え、この指定具(28)により指定した該三次元画像(AD)の任意の拡大表示部位(P)が第２三次元スクリーン(50)に拡大表示されるようにした請求項１〜５の何れか一項に記載の三次元像表示装置。