JP2009278456A - 映像表示装置 - Google Patents

Abstract

【課題】従来の立体映像表示装置では、表示されている物体の形状を直感的に把握することが難しかった。
【解決手段】立体映像を表示する立体表示部１０１と２次元映像を表示する２次元表示部（図に示す１０２は入力部を兼ねた２次元表示入力部である。）とを備え、前記２次元表示部に、立体表示部１０１で表示している立体像に関する情報を表示するようにした。立体表示部１０１に表示する立体像に関する情報は、所定の視点位置に関する前記立体像の正面図、平面図、側面図、透視投影図のうち少なくとも１つを含む画像情報である。また、ユーザの視点位置を推定する視点推定部を備え、前記画像情報は、前記視点推定部が推定した視点位置に基づいて生成される。
【選択図】図１

Description

本発明は、立体映像を表示する映像表示装置に関する。

立体映像を表示可能な映像表示装置として、特許文献１に記載の技術がある。特許文献１に記載の技術は、インテグラルフォトグラフィの原理に基づき、特殊な眼鏡や訓練を必要とせずに、ユーザが立体像を知覚できるようにしたものである。

また、２次元表示のテーブル型ディスプレイとして、特許文献２〜４に記載の技術がある。特許文献２に記載の技術は、ユーザ位置の検出手段を備え、検出されたユーザ位置に基づいて映像表示面に表示される画像の向きを制御し、また、複数ユーザが個別にウィンドウを開き、データ入力等の操作ができるものである。特許文献３に記載の技術は、映像表示面上にペンで書き込まれた会議内容等の情報を該映像表示面に表示している画像情報と合わせて撮影し、パーソナルコンピュータ等に記憶するものであり、特許文献４に記載の技術は、表示部をタッチパネル仕様にしたものである。

特開２００６−１３３４５５号公報 特開２０００−１６３１７９号公報 特許３６４３９０７号公報 特開２００１−７５７３３号公報

特許文献１に記載の技術では、表示されている立体像の形状を直感的に把握することが難しかった。左右の目の間の距離または視力などの身体的要素や、空間認識能力の大小といった要素による個人差はあるものの、形状の凹凸やテクスチャ等、両眼視差を知覚するための助けとなる特徴が十分に存在しない場合には特に顕著である。同様の課題は、広く一般の立体映像表示装置について存在する。

本発明の目的は、ユーザが物体形状をより直感的に把握し易くなるような映像表示装置を提供することにある。

前記課題を解決するため、本発明の映像表示装置では、立体映像を表示する立体表示部と２次元映像を表示する２次元表示部とを備え、前記２次元表示部に、前記立体表示部で表示している立体像に関する情報を表示するようにした。

本発明によれば、物体形状の把握に役立つより多くの情報を分かり易くユーザに提示することで、従来技術に比べ、ユーザが前記物体の形状をより直感的に把握し易くなる。

以下、本発明の実施例について詳細に説明する。

以下、図１乃至図１２を用いて、本発明の第一の実施例について説明する。本実施例は、例えば、立体電子図鑑や立体データの編集を行うための携帯電子機器に適用するに好適な例である。

図１は本実施例の映像表示装置１００の外観図であり、映像表示装置１００を手にしたユーザの、左手側に立体表示部１０１が、右手側に２次元表示入力部１０２が、それぞれ配置されることを想定した場合の図である。

立体表示部１０１は、所与の立体形状情報に基づく所望の立体像、あるいは所望の立体像に近い立体像が、複数の視点位置から観賞できるものであり、例えば、蝿の目状のマイクロレンズアレイを備えた、インテグラルフォトグラフィ方式（あるいは「インテグラルイメージング方式」とも呼ばれる）の裸眼立体視ディスプレイである。尚、立体表示部１０１の具体的な実施形態はこれに限るものではなく、例えば、レンチキュラーレンズを備えたインテグラルフォトグラフィ方式の裸眼立体視ディスプレイであってもよいし、ホログラフィックディスプレイを始めとするインテグラルフォトグラフィ方式以外の光線再生方式のディスプレイであってもよいし、視差バリア方式等、光線再生方式とは異なる原理による裸眼立体視ディスプレイであってもよい。

２次元表示入力部１０２は、２次元画面上での情報表示及び２次元画面上での情報入力を行うものであり、２次元表示部１０２ａとコマンド入力部１０２ｂで構成される。２次元表示入力部１０２の具体的な例は、例えば、タッチパネルディスプレイである。

２次元表示部１０２ａには立体表示部１０１で表示している立体像に関する情報が表示されるように構成し、コマンド入力部１０２ｂからは、例えばペン型のインタフェースにより、２次元表示部１０２ａの画面上の位置の指定が行えるように構成する。このような構成とすることにより、２次元画面上での線画の描画や、２次元画面上に表示されているスライドバー上のスライダーの移動、２次元画面上に表示されているボタンの押下、等の入力を行うことができる。

撮影部１０３ａと距離画像取得部１０３ｂは、映像表示装置１００を使用するユーザの視点位置を推定するための情報を取得する視点情報取得部１０３を構成するものであり、ユーザの視点位置の存在範囲として設計時に想定した空間領域内の情報が取得できるような位置と姿勢で設置する。尚、前記空間領域は、映像表示装置１００に対する相対的な空間領域として定義されるものである。撮影部１０３ａの具体的な例は、例えばデジタルカメラであり、距離画像取得部１０３ｂの具体的な例は、例えばＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）型距離画像センサである。

映像表示装置１００は、撮影部１０３ａ及び距離画像取得部１０３ｂが接続されている図示しない第一のセンサ接続部１０４ａのほか、第二のセンサ接続部１０４ｂを備える。第一のセンサ設置部１０４ａと第二のセンサ設置部１０４ｂとは、立体表示部１０１及び２次元表示入力部１０２を挟んで対面に位置するようにされており、撮影部１０３ａ及び距離画像取得部１０３ｂを対にして、第一のセンサ接続部１０４ａと第二のセンサ接続部１０４ｂのいずれにも接続できるような構成とされている。尚、撮影部１０３ａと距離画像取得部１０３ｂの対が、第一のセンサ接続部１０４ａと第二のセンサ接続部１０４ｂのどちらに接続しているかという情報は、公知の技術を使って自動で検出できるように構成し、検出した結果は、逐次、後述の記憶部２０２にセンサ接続情報３０４として格納するように構成する。

尚、映像表示装置１００の外観には、図示しない電源スイッチも備える。

図２は本実施例の映像表示装置１００の構成図である。本実施例の映像表示装置１００は、演算処理部２０１、記憶部２０２、傾き検出部２０３、立体表示部１０１、２次元表示部１０２ａ、コマンド入力部１０２ｂ、及び、視点情報取得部１０３で構成される。

演算処理部２０１は、記憶部２０２に記憶されたプログラム及びデータを使用して、適宜記憶部２０２を使用しながらコマンド入力部１０２ｂから入力されたコマンドに対する処理を行うものであり、例えば、ＣＰＵである。

記憶部２０２は、後述（図３）のプログラム及びデータのほか、演算処理部２０１が為す処理の途中で一時的に生成される中間データを格納するものであり、例えば、ＲＡＭとハードディスクの組や、フラッシュメモリである。

傾き検出部２０３は、立体表示部１０１の傾きを検出するものであり、例えば３軸加速度センサである。傾き検出部２０３は、立体表示部１０１の局所座標系のｘ軸と傾き検出部２０３のｘ軸、立体表示部１０１の局所座標系のｙ軸と傾き検出部２０３のｙ軸、立体表示部１０１の局所座標系のｚ軸と傾き検出部２０３のｚ軸、とが互いに同じ向きとなるように設置される。傾き検出部２０３の検出する傾きの情報は、具体的には、ｘ軸が水平面と成す角度αと、ｙ軸が水平面と成す角度βと、ｚ軸が鉛直軸と成す角度γと、で構成され、後述の傾き情報３１０として記憶部２０２に、逐次、格納される。尚、本実施例では、αとβの符号は水平面より上向きを正とし、鉛直軸の方向は鉛直上向きを正とする。また、例示した３軸加速度センサによって得られる各軸の重力加速度検出値から、傾き情報（α，β，γ）を算出する方法は、公知である。

図３は本実施例の記憶部２０２に格納するプログラム及びデータを表す図である。尚、演算処理部２０１が為す処理の途中で一時的に生成される中間データについては、図３における記載を省略した。また、図４は本実施例の局所座標系の取り方を表す図である。

映像表示プログラム３００は、立体表示部１０１及び２次元表示部１０２ａで表示する映像を、時々刻々変化し得る状態に基づいて生成し、立体表示部１０１及び２次元表示部１０２ａで表示するための制御を行うプログラムである。映像表示プログラム３００の処理の詳細は、後述（図６）する。

選択物体情報３０１は、コマンド入力部１０２ｂから入力されたコマンドに基づき設定される情報であり、物体情報３１５として格納されている複数の物体のうち、どの物体を立体表示部１０１及び２次元表示部１０２ａで表示するかを示す情報である。

表示種別情報３０２は、コマンド入力部１０２ｂから入力されたコマンドに基づき設定される情報である。２次元表示部１０２ａで表示する情報の内容を規定する情報であり、取り得る値は「付加情報」「正面図」「平面図」「側面図」「透視投影図」のうちの１つである。

ここで「正面図」とは、立体表示部１０１で表示している立体像を視点位置基準の局所座標系（後述）のｙｚ平面に正射影した画像のことであり、「平面図」とは、立体表示部１０１で表示している立体像を視点位置基準の局所座標系（後述）のｘｙ平面に正射影した画像のことであり、「側面図」とは、立体表示部１０１で表示している立体像を視点位置基準の局所座標系（後述）のｘｚ平面に正射影した画像のことである。また、「透視投影図」とは、立体表示部１０１で表示している立体像を、表示用視点情報３０７で示される視点位置と表示用パラメタ３０９とに基づく透視投影によって写像した画像のことである。各々の画像の具体的な生成方法については後述（図１０）する。

表示倍率情報３０３は、２次元表示部１０２ａで表示する画像の２次元的な拡大縮小を行うための情報であり、拡大率を表す非負のスカラー値である。

センサ接続情報３０４は、撮影部１０３ａと距離画像取得部１０３ｂの対が、現在、第一のセンサ接続部１０４ａと第二のセンサ接続部１０４ｂのどちらに接続されているかを示す情報である。

視点追従モード情報３０５は、コマンド入力部１０２ｂから入力されたコマンドに基づき設定される情報である。２次元表示部１０２ａで表示する情報を生成するための視点位置としてどのような視点位置を使用するかを規定する情報であり、取り得る値は、現在のユーザの視点位置を使用する「常時追従」、コマンド入力部１０２ｂから所定のコマンドが入力された時点におけるユーザの視点位置を使用する「スポット追従」、映像表示装置１００の設計値として予め与えられている視点位置を使用する「視点固定」のうちの１つである。

基準面選択情報３０６は、コマンド入力部１０２ｂから入力されたコマンドに基づき設定される情報である。立体表示部１０１で表示する立体像を生成するための基準面を規定する情報であり、取り得る値は、立体像として表示される物体の局所座標系のｚ軸方向を立体表示部１０１の局所座標系（後述）のｚ軸方向に一致させる「立体表示面」と、立体像として表示される物体の局所座標系のｚ軸方向を鉛直軸の方向に一致させる「水平面」のうちの、いずれか１つである。

表示用視点情報３０７は、２次元表示部１０２ａに表示する映像を生成する際に使用される視点位置の情報である。表示用視点情報３０７の座標値は、立体表示部１０１の局所座標系（後述）を基準とする。表示用視点情報３０７としては、後述（図１１）の視点位置推定処理で推定された視点位置か、標準視点情報３０８に規定された視点位置の、いずれかが格納される。

標準視点情報３０８は、ユーザの視点位置を追従しない場合に使用される視点位置の情報であり、平均的なユーザを想定し、映像表示装置１００の設計値として予め与えておくものである。標準視点情報３０８の座標値は、立体表示部１０１の局所座標系（後述）を基準として設計されたものを格納しておく。

画像生成用パラメタ３０９は、公知の技術を用いて、立体表示部１０１で表示する立体映像、及び、２次元表示部１０２ａで表示する映像を生成するためのパラメタの集合であり、立体表示部１０１の各画素及び２次元表示部１０２ａの各画素に対して該画素が担当する光線を規定するための情報である。立体表示部１０１に関しては、例えば、視野角、レンズ配置、画素配置、等の情報であり、２次元表示部１０２ａに関しては、例えば、立体表示部１０１の局所座標系と２次元表示入力部１０２の局所座標系との間のスケール変換ファクタ（即ち後述の「ｋ」の値）であるが、これらに限るものではない。

立体表示部１０１の局所座標系は、図４の４０１に示すようなｘｙｚ座標系として定める。即ち、矩形状の映像表示領域の中心を原点とし、映像表示面上にｘ軸とｙ軸をｙ軸が矩形の底辺と平行になるように配し、ｙ軸の正の向きが２次元表示入力部１０２を配した側、ｚ軸の正の向きが立体表示部１０１の映像表示面を観賞できる側、となるような、３次元かつ右手系の直交座標系として定める。

また、２次元表示入力部１０２の局所座標系は、図４の４０２に示すようなｘｙ座標系として定める。即ち、矩形状の映像表示領域の中心を原点とし、映像表示面上にｘ軸とｙ軸をｘ軸が矩形の底辺と平行になるように配し、ｘ軸の負の向きが立体表示部１０１を配した側、ｙ軸の正の向きが矩形の中央から底辺へと向かう向き、となるような、２次元の直交座標系として定める。

記憶部２０２に格納されている傾き情報３１０は、傾き検出部２０３の検出した立体表示部１０１の傾き情報（α，β，γ）であり、傾き検出部２０３により逐次更新される。

座標反転情報３１１は、２次元表示入力部１０２における表示と入力とを、前述の２次元表示入力部１０２の局所座標系を基準として行うか、前述の２次元表示入力部１０２の局所座標系を該座標系の原点を中心として１８０度回転させた座標系（以下では「反転座標系」と呼ぶ）を基準として行うか、を規定する情報であり、取り得る値は、局所座標系を基準とする「座標反転無し」と反転座標系を基準とする「座標反転有り」のうちのいずれか１つである。

立体表示部１０１で立体像として表示される物体の局所座標系は、立体表示部１０１の局所座標系と同様に、３次元かつ右手系の直交座標系として構成し、物体の局所座標系のｚ軸方向が立体表示部１０１の局所座標系におけるｚ軸方向と一致するように構成する。立体像回転情報３１２は、物体を立体像として表示する際に、物体を、物体の局所座標系のｚ軸の周りに、どれだけの角度だけ回転させて表示するかを規定する情報である。Ｎを整数値としたときに、（Ｄ＋３６０×Ｎ）度の回転は（Ｄ）度の回転と同一の作用を表すことになるため、立体像回転情報３１２としては、前記「Ｎ」の値を調整して０度以上３６０度未満の数値となるようにした（このような調整を以下では「標準化」と呼ぶ）後に、値を格納するよう構成する。尚、反時計回りの方向を正の値とする。

視点位置基準基底ベクトル情報３１３は、表示用視点情報３０７に依存して変化する局所座標系の直交基底を成す基底ベクトルの情報である。数式を使用して説明すると、次のようになる。まず、ｚ軸の方向を

で定める。ここで、ｖは表示用視点情報３０７で規定される３次元の視点位置を表すベクトルであり、ｏは注視点の３次元位置を表すベクトルである。直感的な意味としては、視点位置とは所謂目の位置であり、注視点とは目が見ようとしている位置である。注視点の位置は、実際に計測するのではなく、所与の値を使用する。表示する物体ごとに異なる値を設定しておくようにしてもよいし、例えば、立体表示部１０１の局所座標系の座標原点に固定するようにしてもよい。ｚ軸は、即ち、表示用視点位置から注視点位置へと向かう軸である。尚、ｅｚはｚ軸方向の方向ベクトルである。

次に、ｘ軸とｙ軸の方向を

または

で定める。ｚ軸の方向が立体表示部１０１の局所座標系のｚ軸の方向に平行でない場合には［数２］を用い、平行である場合には［数３］を用いる。即ち、通常の場合には［数２］を用いて、ｘ軸を「ｚ軸と立体表示部１０１の局所座標系のｚ軸とで張られる平面に垂直な方向の軸」、ｙ軸を「前記平面内でｚ軸と直交する軸」として定めるが、ｚ軸の方向が立体表示部１０１の局所座標系のｚ軸の方向に平行となる場合には、前記平面を定めることができないため、例外として、表示用視点情報３０７の変更前後で前記平面が不変となるように、［数３］を用いてｘ軸とｙ軸とを定める。尚、ｅｘとｅｙは、それぞれｘ軸方向とｙ軸方向の方向ベクトルである。各方向ベクトルを上記のように定めることで、｛ｅｘ，ｅｙ，ｅｚ｝は３次元の正規直交基底を成す。

次に、実際に２次元表示部１０２ａで表示する画像を生成するために使用する基底ベクトル｛Ｅｘ，Ｅｙ，Ｅｚ｝を

で生成する。即ち、正規直交基底｛ｅｘ，ｅｙ，ｅｚ｝に対し、立体表示部１０１の局所座標系と２次元表示入力部１０２の局所座標系との間のスケールの違いを吸収したものが、直交基底｛Ｅｘ，Ｅｙ，Ｅｚ｝である。スケール変換ファクタｋは、スカラーの定数であり、あらかじめ設計値に基づいて計算し、画像生成用パラメタ３０９として格納しておく。

表示種別情報３０２が「透視投影図」の場合には、立体表示部１０１の局所座標系における３次元の位置ベクトルｔの座標値と、２次元表示部１０２ａ上の座標値（ｘ，ｙ）との間の関係は、

のようになる。ここでｓは表示倍率情報３０３として記憶部２０２に格納されている拡大率である。（ｘ，ｙ，ｈ）が未知数であるが、これは

のように算出する。尚、（ｘ，ｙ）が与えられた場合の［数５］の右辺の座標を、以下では「（ｘ，ｙ）に対応する立体空間位置」と呼ぶ。

一方、表示種別情報３０２が「正面図」「平面図」「側面図」のいずれかである場合には、立体表示部１０１の局所座標系における３次元の位置ベクトルｔの座標値に

のような座標変換を行って、射影方向を軸に平行とした上で、正射影の処理を行う。

以上［数１］乃至［数７］の説明における各ベクトルの表現は、立体表示部１０１の局所座標系を基準とした表現とする。視点位置基準基底ベクトル情報３１３としては、以上のように定められた｛ｅｘ，ｅｙ，ｅｚ｝及び｛Ｅｘ，Ｅｙ，Ｅｚ｝を格納しておく。

視点情報取得部の設計情報３１４は、撮影部１０３ａが撮影した撮影画像データと距離画像取得部１０３ｂが取得した距離画像データの各々において、画像データ上の位置から該位置に投影される半直線を算出するための情報である。該半直線の表現は、立体表示部１０１の局所座標系を基準とする。撮影部１０３ａ、距離画像取得部１０３ｂ、のいずれに対しても、半直線の始点位置となる投影中心の位置と、画素毎の方向ベクトルとを記憶しておけばよいが、例えば撮影部１０３ａの場合であれば、投影中心の位置のほか、投影面の原点の座標と投影面を張る２本の基底ベクトルとを立体表示部１０１の局所座標系を基準とした表現で記憶しておき、各画素に対応する方向ベクトルをその都度計算によって求めるようにしてもよい。例えば、図５の場合であれば、ピンホールモデルで表される撮影部１０３ａに対して、立体表示部１０１の局所座標系における、投影中心５０１の位置と、投影面５０２の原点の座標と、投影面５０２を張る２本の基底ベクトルと、を記憶しておくことにより、撮影画像データ上の位置、即ち２次元の位置から、該位置に対応する投影面上の位置５０３を求めることができ、さらに、投影中心５０１を始点として前記の位置５０３を通る半直線５０４の方向を表すベクトルとして、前記方向ベクトルを算出することができる。尚、方向ベクトルの算出に用いるパラメタを記憶しておけば十分である点については、距離画像取得部１０３ｂについても同様である。

物体情報３１５は、１つ以上の物体に関する、立体形状情報３１５ａ、付加情報３１５ｂ、及び、表示用立体情報３１５ｃ、の組で構成される。

立体形状情報３１５ａは、物体の立体形状を定めるための情報であり、例えば、頂点と辺と面の情報を有するポリゴンモデルである。頂点の情報としては、モデルに含まれる頂点の数の情報と、各頂点の３次元座標を備えるように構成し、辺の情報としては、モデルに含まれる辺の数の情報と、各辺の両端の頂点を特定する情報を備えるように構成し、面の情報としては、モデルに含まれる面の数の情報と、各面を構成する頂点を特定する情報と、各面を構成する辺を特定する情報と、各面に貼るテクスチャの情報と、を備えるように構成する。尚、各面を構成する頂点を特定する情報に関しては、各面の外向き法線方向に基づき、反時計回りに順序良く格納するようにする。各頂点の３次元座標は、物体の局所座標系を基準とした値であり、立体表示部１０１で立体像として表示されるに好適な大きさの値を設定しておく。

付加情報３１５ｂは、当該物体の名称やサムネイル画像、部位ごとの特徴に関する注釈や寸法などの情報であり、図面情報と文字情報とが混在し得る情報である。

表示用立体情報３１５ｃは、物体形状情報３１５ａに対して基準面選択情報３０６と立体像回転情報３１２とを反映させた情報であり、立体形状情報３１５ａに対して各頂点の３次元座標のみが異なる情報である。各頂点の３次元座標は、立体表示部１０１の局所座標系を基準として表す。

図６は本実施例の映像表示処理のフロー図である。本実施例の映像表示処理は、映像表示装置１００の電源が投入されたことを契機に開始され、映像表示装置１００の電源が切断されるまで、演算処理部２０１によって実行され続ける処理である。

映像表示処理が開始されると、まず、ステップＳ６０１において物体選択処理を行う。ステップＳ６０１の物体選択処理は、記憶部２０２に格納されている物体情報３１５の中から、立体表示部１０１及び２次元表示部１０２ａで表示する物体を選択し、該物体の識別情報を、選択物体情報３０１として記憶部２０２に格納する処理である。具体的には、例えば、物体情報３１５の中に含まれている物体の名称やサムネイル画像の一覧を２次元表示部１０２ａで表示することで、選択できる物体の一覧をユーザに提示し、コマンド入力部１０２ｂから入力されたユーザの選択結果を、選択物体情報３０１として格納すればよい。

次に、ステップＳ６０２で表示更新処理を行う。ステップＳ６０２の表示更新処理は、立体表示部１０１に表示する映像、及び、２次元表示部１０２ａに表示する映像を、記憶部２０２に格納されているデータに基づいて更新する処理である。ステップＳ６０２の表示更新処理の詳細は、後述（図１０）する。

次に、ステップＳ６０３でコマンド入力の有無を判定する。ステップＳ６０３の処理で新規のコマンド入力「あり」と判定された場合には、ステップＳ６０４の処理へと進む。一方、新規のコマンド入力「なし」と判定された場合には、ステップＳ６０２の表示更新処理に戻って処理を続ける。

ステップＳ６０４の処理は、入力されたコマンドが設定変更コマンドであったか否かを判定する処理である。入力されたコマンドが設定変更コマンドであった場合は、ステップＳ６０５へと進み、後述（図７）の設定変更処理を行った後、ステップＳ６０２の表示更新処理に戻って処理を続ける。一方、入力されたコマンドが設定変更コマンドでなかった場合にはステップＳ６０６の処理へと進む。尚、設定変更コマンドとは、より詳細には、立体像回転コマンド、表示種別変更コマンド、表示倍率変更コマンド、追従モード変更コマンド、あるいは、基準面変更コマンドである。

ステップＳ６０６の処理は、入力されたコマンドが形状変更コマンドであったか否かを判定する処理である。入力されたコマンドが形状変更コマンドであった場合は、ステップＳ６０７へと進み、後述（図８）の形状変更処理を行った後、ステップＳ６０２の表示更新処理に戻って処理を続ける。一方、入力されたコマンドが形状変更コマンドでなかった場合にはステップＳ６０８の処理へと進む。

ステップＳ６０８の処理は、入力されたコマンドが物体選択コマンドであったか否かを判定する処理である。入力されたコマンドが物体選択コマンドであった場合は、ステップＳ６０１の物体選択処理に戻って処理を続け、入力されたコマンドが物体選択コマンドでなかった場合にはステップＳ６０２の表示更新処理に戻って処理を続ける。

図７は本実施例の設定変更処理のフロー図である。

設定変更処理が開始されると、まず、ステップＳ７０１において、入力された設定変更コマンドが、より詳細には立体像回転コマンドであったか否かを判定する。入力された設定変更コマンドが立体像回転コマンドであった場合は、ステップＳ７０６の立体像回転処理を行った後、設定変更処理を終了する。一方、入力された設定変更コマンドが立体像回転コマンドでなかった場合には、ステップＳ７０２の処理へと進む。

ステップＳ７０２の処理は、入力された設定変更コマンドが、より詳細には表示種別変更コマンドであったか否かを判定する処理である。入力された設定変更コマンドが表示種別変更コマンドであった場合には、ステップＳ７０７の表示種別変更処理を行った後、設定変更処理を終了する。一方、入力された設定変更コマンドが表示種別変更コマンドでなかった場合には、ステップＳ７０３の処理へと進む。

ステップＳ７０３の処理は、入力された設定変更コマンドが、より詳細には表示倍率変更コマンドであったか否かを判定する処理である。入力された設定変更コマンドが表示倍率変更コマンドであった場合は、ステップＳ７０８の表示倍率変更処理を行った後、設定変更処理を終了する。一方、入力された設定変更コマンドが表示倍率変更コマンドでなかった場合には、ステップＳ７０４の処理へと進む。

ステップＳ７０４の処理は、入力された設定変更コマンドが、より詳細には追従モード変更コマンドであったか否かを判定する処理である。入力された設定変更コマンドが追従モード変更コマンドであった場合には、ステップＳ７０９の追従モード変更処理を行った後、設定変更処理を終了する。一方、入力された設定変更コマンドが追従モード変更コマンドでなかった場合には、ステップＳ７０５の処理へと進む。

ステップＳ７０５の処理は、入力された設定変更コマンドが、より詳細には基準面変更コマンドであったか否かを判定する処理である。入力された設定変更コマンドが基準面変更コマンドであった場合は、ステップＳ７１０の基準面変更処理を行った後、設定変更処理を終了する。一方、入力された設定変更コマンドが基準面変更コマンドでなかった場合には、そのまま設定変更処理を終了する。

ステップＳ７０６の立体像回転処理は、コマンド入力部１０２ｂから入力された情報に基づき、記憶部２０２に格納されている立体像回転情報３１２を更新する処理である。具体的には、２次元表示部１０２ａの映像表示領域内に下辺に沿うようにスライドバーをポップアップ表示し、該スライドバー上のスライダーの位置をコマンド入力部１０２ｂから変更することで、回転量を入力する。回転量はスライドバーの中央を原点とし、スライダーがスライドバーの中央にある場合に「０度の回転」を表し、スライダーがスライドバーの中央から右に動くに従って反時計回りの回転量が線形に増加し、スライダーがスライドバーの右端に到達した段階で「反時計回りに３６０度の回転」を表すようにする。尚、スライダーがスライドバーの中央から左に動く場合は、回転の向きが時計回りとなることを表す以外は、スライダーが右に動く場合と同様である。立体像回転情報３１２の更新は、現在立体像回転情報３１２として格納されている値を参照し、反時計回りの場合には前記参照した値に入力された値（絶対値）を加え、時計回りの場合には前記参照した値から入力された値（絶対値）を減じて、立体像回転情報３１２として記憶部２０２に格納することで行う。尚、演算結果は標準化した後に記憶部２０２に格納するように構成する。演算結果を記憶部２０２に格納後、立体像回転処理を終了する。尚、回転量の入力後、ポップアップ表示は消去する。

ステップＳ７０７の表示種別変更処理は、コマンド入力部１０２ｂから入力された情報に基づき、表示種別情報３０２を更新する処理である。具体的には、２次元表示部１０２ａの映像表示領域内に下辺に沿うように「付加情報」「正面図」「平面図」「側面図」「透視投影図」の五者択一の選択ボタンをポップアップ表示し、該選択ボタンのうちの一つを、コマンド入力部１０２ｂから選択することで、選択したい表示種別を入力する。選択したい表示種別の入力後、該入力された表示種別に従って表示種別情報３０２を更新し、表示種別変更処理を終了する。尚、表示種別の選択後、ポップアップ表示は消去する。

ステップＳ７０８の表示倍率変更処理は、コマンド入力部１０２ｂから入力された情報に基づき、表示倍率情報３０３または座標反転情報３１１を更新する処理である。具体的には、２次元表示部１０２ａの映像表示領域内に下辺に沿うように、スライドバーと、「右利き用」「左利き用」の二者択一の選択ボタンをポップアップ表示し、前記スライドバー上のスライダーの位置をコマンド入力部１０２ｂから変更することで表示倍率を入力し、または、前記選択ボタンのうちの一つをコマンド入力部１０２ｂから選択することで座標反転の有無を入力する。表示倍率に関しては、スライドバーの左端を原点とし、スライダーがスライドバーの左端にある場合に「０倍」を表し、スライダーがスライドバーの左端から右に動くに従って倍率が線形に高くなり、スライダーがスライドバーの右端に到達した段階で所定の最大倍率を表すように構成する。また、座標反転の有無に関しては、「右利き用」が選択された場合には「座標反転無し」、「左利き用」が選択された場合には「座標反転有り」がそれぞれ入力されたものとする。表示倍率が入力された場合には、表示倍率情報３０３の値を前記入力された表示倍率に設定し、表示倍率変更処理を終了する。また、座標反転の有無が入力された場合には、前記入力された座標反転の有無に従って座標反転情報３１１の値を更新し、表示倍率変更処理を終了する。尚、表示倍率の入力後、または、上下反転の有無の入力後、ポップアップ表示は消去する。

ステップＳ７０９の追従モード変更処理は、コマンド入力部１０２ｂから入力された情報に基づき、視点追従モード情報３０５を更新する処理である。具体的には、２次元表示部１０２ａの映像表示領域内に下辺に沿うように「常時追従」「スポット追従」「視点固定」の三者択一の選択ボタンをポップアップ表示し、該選択ボタンのうちの一つを、コマンド入力部１０２ｂから選択することで、選択したい視点追従モードを入力する。選択したい視点追従モードの入力後、該入力された視点追従モードに従って視点追従モード情報３０５を更新し、その後、表示用視点情報３０７を更新して、視点追従モード変更処理を終了する。表示用視点情報３０７の更新は、選択された視点追従モードが「常時追従」または「スポット追従」の場合には、後述（図１１）の視点位置推定処理を実施することで行い、選択された視点追従モードが「視点固定」の場合には、標準視点情報３０８を表示用視点情報３０７に複製することで行う。尚、視点追従モードの選択後、ポップアップ表示は消去する。

ステップＳ７１０の基準面変更処理は、コマンド入力部１０２ｂから入力された情報に基づき、基準面選択情報３０６を更新する処理である。具体的には、２次元表示部１０２ａの映像表示領域内に下辺に沿うように「立体表示面」「水平面」の二者択一の選択ボタンをポップアップ表示し、該選択ボタンのうちの一つをコマンド入力部１０２ｂから選択することで、選択したい基準面を入力する。選択したい基準面の入力後、該入力された基準面に従って基準面選択情報３０６を更新し、基準面変更処理を終了する。尚、基準面の選択後、ポップアップ表示は消去する。

尚、以上で説明したステップＳ７０６乃至Ｓ７１０におけるポップアップ表示、及び、コマンド入力部１０２ｂを用いた情報入力に関しては、記憶部２０２に格納されている座標反転情報３１１を参照し、２次元表示入力部１０２の局所座標系と反転座標系のうち適切な方を基準の座標系として、表示及び入力の処理を行うように構成する。

図８は本実施例の形状変更処理のフロー図である。本実施例の形状変更処理は、２次元表示部１０２ａで表示されている画像上で、移動させたい頂点をコマンド入力部１０２ｂで選択し、続いて、該頂点をどの位置に動かすかを、同じく２次元表示部１０２ａで表示されている画像上で、コマンド入力部１０２ｂを用いて指定して、立体形状情報３１５ａを変更する処理である。尚、立体像上の１点だけを移動する場合について説明するが、本発明の実施形態はこれに限るものではない。

形状変更処理が開始されると、まず、ステップＳ８０１において、現在記憶部２０２に格納されている表示種別情報３０２の値が「付加情報」であるか否かを判定する。表示種別情報３０２の値が「付加情報」であった場合、形状変更処理を終了する。一方、表示種別情報３０２の値が「付加情報」でなかった場合、ステップＳ８０２の処理へと進む。

ステップＳ８０２の処理は、現在記憶部２０２に格納されている表示種別情報３０２の値が「透視投影図」であるか否かを判定する処理である。表示種別情報３０２の値が「透視投影図」であった場合には、ステップＳ８０３の透視投影用着目点選択処理へと進み、表示種別情報３０２の値が「透視投影図」でなかった場合には、ステップＳ８０５の正射影用着目点選択処理へと進む。

ステップＳ８０３の透視投影用着目点選択処理は、コマンド入力部１０２ｂから為された、２次元表示部１０２ａの映像表示領域上の位置（以下「選択位置」と呼ぶ）の入力に基づいて、移動させたい頂点を選択する処理である。このとき、「前記選択位置が、表示用立体情報３１５ｃとして記憶されている頂点のうち現在２次元表示部１０２ａ上に描画されている頂点の、いずれかの位置に一致しているとは限らない」という前提の下、尤もらしい頂点の一つを選択するようにする。具体的には、表示用視点情報３０７と画像生成用パラメタ３０９と視点位置基準基底ベクトル情報３１３とを参照することにより、前記選択位置に対応する半直線が算出できるため、表示用立体情報３１５ｃとして記憶されている頂点のうち現在２次元表示部１０２ａ上に描画されている頂点のすべてに対して前記半直線との距離を算出し、距離が最小の頂点を選択する。

例えば、図９の場合であれば、まず、表示用の視点位置９０１と画像生成用パラメタ３０９及び視点位置基準基底ベクトル情報３１３とで定まる投影面９０２及び投影面９０２上で前記選択位置に対応する位置９０３から、前記選択位置に対応する半直線９０４を算出し、続いて現在２次元表示部１０２ａで表示している物体（該物体の投影面９０２上における像を、像９０５に示す）の表示用立体情報（該表示用立体情報で表現される立体を、立体９０６に示す）を参照して、半直線９０４との距離が最小となる頂点９０７を選択すればよい。

尚、距離の算出は、表示用視点情報３０７を参照して得られた視点位置をｖ、半直線の方向ベクトルをｄ、距離を算出したい頂点の位置をｐとした場合、ｐの位置から前記半直線に下ろした垂線のベクトルが

のように表されるため、この長さを求めればよい。このとき、内積の符号が負となる場合は、前記垂線の足が前記半直線上に乗っていないことを意味するため、選択対象から除外する。尚、ｖとｄとｐは３次元のベクトルであり、ｄは長さ１に正規化しておく。一方、各頂点が現在２次元表示部１０２ａ上に描画されているか否かの判定は、例えば、表示用視点情報３０７を参照して得られた視点位置に関するデプスバッファを生成し、該デプスバッファ上のデプス値と各頂点のデプス値とを比較することで実施すればよい。頂点を選択した後、ステップＳ８０４に進む。

ステップＳ８０４の透視投影用変更先算出処理は、コマンド入力部１０２ｂから為された、２次元表示部１０２ａの映像表示領域上の位置（以下「指定位置」と呼ぶ）の入力に基づいて、ステップＳ８０３で選択した頂点を移動させる位置を算出する処理である。具体的には、表示用視点情報３０７と画像生成用パラメタ３０９とを参照することにより、前記指定位置に対応する半直線が算出できるため、該半直線上で、ステップＳ８０３で選択した頂点の３次元位置に最も近い３次元位置を、移動先の３次元位置として算出する。より詳細には、表示用視点情報３０７を参照して得られた視点位置をｖ、半直線の方向ベクトルをｄ、ステップＳ８０３で選択した頂点の位置をｐとした場合、

で表される位置を変更先の位置とする。尚、ｖとｄとｐは３次元のベクトルであり、ｄは長さ１に正規化しておく。変更先の位置を算出後、ステップＳ８０７の局所形状変更処理に進む。

ステップＳ８０５の正射影用着目点選択処理は、投影方法が透視投影ではなく正射影である点を除いては、ステップＳ８０３の処理と同様である。「前記選択位置が、表示用立体情報３１５ｃとして記憶されている頂点のうち現在２次元表示部１０２ａ上に描画されている頂点の、いずれかの位置に一致しているとは限らない」という前提の下で、尤もらしい頂点の一つを選択するために、表示用立体情報３１５ｃとして記憶されている頂点のうち現在２次元表示部１０２ａ上に描画されている頂点のすべてに対して、２次元表示入力部１０２の局所座標系上で、前記選択位置との距離を算出し、距離が最小の頂点を選択する。各頂点が現在２次元表示部１０２ａ上に描画されているか否かの判定は、例えば、射影方向に関するデプスバッファを生成し、該デプスバッファ上のデプス値と各頂点のデプス値とを比較することで実施すればよい。頂点の選択後、ステップＳ８０６に進む。

ステップＳ８０６の正射影用変更先算出処理は、投影方法が透視投影ではなく正射影である点を除いては、ステップＳ８０４の処理と同様である。投影方法が正射影の場合、選択された頂点を含み、射影方向に垂直な平面上に、指定された３次元位置を射影し、変更先の３次元位置とする。例えば、ステップＳ８０５で選択した頂点の位置をｐ、射影方向の方向ベクトルをｄ、コマンド入力部１０２ｂから入力された指定位置に対応する立体空間位置をｖとした場合、

で表される位置を変更先の位置とする。尚、ｖとｄとｐは３次元のベクトルであり、ｄは長さ１に正規化しておく。変更先の位置を算出後、ステップＳ８０７の局所形状変更処理に進む。

ステップＳ８０７の局所形状変更処理は、ステップＳ８０３またはステップＳ８０５で選択された頂点と、ステップＳ８０４またはステップＳ８０６で算出された変更先の位置に基づいて、選択物体情報３０１で規定される物体に関する立体形状情報３１５ａを変更する処理である。具体的には、表示用立体情報３１５ｃの選択した頂点に関する座標値を算出された変更先の位置に更新した後、立体形状情報３１５ａから表示用立体情報３１５ｃを生成する変換（後述）の逆写像にあたる座標変換を用いて、表示用立体情報３１５ｃから立体形状情報３１５ａを生成すればよい。より詳細には、基準面選択情報３０６の値が「立体表示面」である場合、変換前の座標値（Ｘ，Ｙ，Ｚ）から変換後の座標値（ｘ，ｙ，ｚ）を

によって算出する。ただし、［数１１］は立体像回転情報３１２の値がθである場合の例である。一方、基準面選択情報３０６の値が「水平面」である場合には、変換前の座標値（Ｘ，Ｙ，Ｚ）から変換後の座標値（ｘ，ｙ，ｚ）を

によって算出する。ただし［数１２］は立体像回転情報３１２の値がθであり、傾き情報３１０の値が（α，β，γ）である場合の例である。表示用立体情報３１５ｃのすべての頂点の座標値に関して変換後の座標値を算出した後、変換結果を立体形状情報３１５ａとして格納し、ステップＳ８０７の局所形状変更処理を終了する。

ステップＳ８０７の局所形状変更処理の終了後、形状変更処理を終了する。

図１０は本実施例の表示更新処理のフロー図である。
表示更新処理が開始されると、まず、ステップＳ１００１において、表示用立体情報生成処理を行う。ステップＳ１００１の表示用立体情報生成処理は、選択物体情報３０１で規定される物体に関する立体形状情報３１５ａから、基準面選択情報３０６、傾き情報３１０、及び、立体像回転情報３１２に基づいて、立体表示部１０１で実際に表示する立体像の情報である表示用立体情報３１５ｃを生成する処理である。具体的には、選択物体情報３０１で規定される物体に関する立体形状情報３１５ａに含まれる各頂点の３次元座標に対して、回転行列による座標変換を行う。

まず、基準面選択情報３０６の値が「立体表示面」である場合には、立体像回転情報３１２を反映させる処理を行う。具体的には、立体像回転情報３１２の値がθである場合、変換前の座標値（ｘ，ｙ，ｚ）から変換後の座標値（Ｘ，Ｙ，Ｚ）を

によって算出する。算出後、変換結果を表示用立体情報３１５ｃとして格納し、表示用立体情報生成処理を終了する。

一方、基準面選択情報３０６の値が「水平面」である場合には、さらに、表示された立体像のｚ軸方向を鉛直方向に一致させるための座標変換を行う必要がある。例えば、立体表示部１０１の右手側が高くなるように傾いている場合であれば、そのまま表示すると物体の局所座標系のｚ軸が左手側に傾いてしまうため、立体表示部１０１の局所座標系において、選択された物体を右に傾けたものを表示用立体とする必要がある。従って、傾き情報３１０の値が（α，β，γ）である場合に、変換前の座標値（ｘ，ｙ，ｚ）から変換後の座標値（Ｘ，Ｙ，Ｚ）を

によって算出する。算出後、変換結果を表示用立体情報３１５ｃとして格納し、表示用立体情報生成処理を終了する。

ステップＳ１００２の立体映像生成表示処理は、立体表示部１０１で所望の立体像が観賞されるような画素値を決定する処理である。表示用立体情報３１５ｃと画像生成用パラメタ３０９とに基づいて、公知の技術を用いて実施すればよい。

ステップＳ１００３の処理は、現在記憶部２０２に格納されている表示種別情報３０２の値が「付加情報」であるか否かを判定する処理である。表示種別情報３０２の値が「付加情報」であった場合は、ステップＳ１００４の付加情報表示処理を行った後、表示更新処理を終了する。一方、表示種別情報３０２の値が「付加情報」でなかった場合は、ステップＳ１００５の処理へと進む。

ステップＳ１００４の付加情報表示処理は、記憶部２０２に格納されている座標反転情報３１１を参照して基準とする座標系を決定し、該基準とする座標系に基づいて、付加情報３１５ｂのうち現在選択されている物体に対応する情報を、２次元表示部１０２ａに表示する処理であり、容易に実施可能である。

ステップＳ１００５の処理は、記憶部２０２に格納されている視点追従モード情報３０５の値が「常時追従」であるか否かを判定する処理である。視点追従モード情報３０５の値が「常時追従」であった場合には、ステップＳ１００６の視点位置推定処理を行った後、ステップＳ１００７の２次元画像生成処理へと進む。一方、視点追従モード情報３０５の値が「常時追従」でなかった場合には、そのままステップＳ１００７の２次元画像生成処理へと進む。

ステップＳ１００６の視点位置推定処理は、立体表示部１０１の局所座標系を基準とした現在のユーザの視点位置を推定し、表示用視点情報３０７を更新する処理である。ステップＳ１００６の視点位置推定処理の詳細は、後述（図１１）する。

ステップＳ１００７の２次元画像生成処理は、２次元表示部１０２ａで所望の映像が得られるように各画素の画素値を決定する処理である。選択物体情報３０１で規定される物体に関して、表示種別情報３０２、表示倍率情報３０３、表示用視点情報３０７、画像生成用パラメタ３０９、及び、表示用立体情報３１５ｃに基づいて、公知の技術を用いて実施すればよい。正射影の場合、即ち表示種別情報３０２の値が「正面図」「平面図」「側面図」のいずれかである場合、投影される面に垂直な軸（それぞれ、ｚ軸、ｙ軸、ｘ軸）の負の側から正の側へ向く方向に射影するものとするが、コマンド入力部１０２ｂを用いて該方向をどちらにするか選択するような構成としてもよい。

ステップＳ１００８の２次元画像表示処理は、ステップＳ１００７で生成された２次元画像を、記憶部２０２に格納されている座標反転情報３１１を参照して基準とする座標系を決定し、該基準とする座標系に基づいて、２次元表示部１０２ａで表示する処理である。

ステップＳ１００８の２次元画像表示処理の終了後、表示更新処理を終了する。
図１１は、本実施例の視点位置推定処理のフロー図である。視点位置推定処理は、視点情報取得部１０３から取得した情報に基づき、ユーザの視点位置、または、ユーザの視点位置の近似値を推定する処理である。

視点位置推定処理が開始されると、まず、ステップＳ１１０１において、視点情報取得処理を行う。ステップＳ１１０１の視点情報取得処理は、妥当性チェック処理を行った後、撮影部１０３ａで撮影画像データを取得し、かつ、距離画像取得部１０３ｂで距離画像データを取得する処理である。妥当性チェック処理は、センサ接続情報３０４と座標反転情報３１１とを参照し、「座標反転無し」の場合には撮影部１０３ａと距離画像取得部１０３ｂの対が第一のセンサ接続部１０４ａに接続されていることを、「座標反転有り」の場合には撮影部１０３ａと距離画像取得部１０３ｂの対が第二のセンサ接続部１０４ｂに接続されていることを、それぞれ確認する処理である。「座標反転無し」の場合で撮影部１０３ａと距離画像取得部１０３ｂの対が第一のセンサ接続部１０４ａに接続されていない場合や、「座標反転有り」の場合で撮影部１０３ａと距離画像取得部１０３ｂの対が第二のセンサ接続部１０４ｂに接続されていない場合には、撮影部１０３ａと距離画像取得部１０３ｂの対を正しいセンサ接続部に接続する旨を２次元表示部１０２ａに表示し、撮影部１０３ａと距離画像取得部１０３ｂの対が正しいセンサ接続部に接続されたことがセンサ接続情報３０４から確認されるまで、センサ接続情報３０４の値を定期的に確認しながら待機する。

次に、ステップＳ１１０２で、顔検出処理を行う。ステップＳ１１０２の顔検出処理は、ステップＳ１１０１で取得した撮影画像データ上において、公知の技術を用いて顔領域を検出する処理である。複数の領域が顔領域として検出された場合には、最も近くに存在する顔を検出したと予想される領域、即ち、最も画素数の多い領域１つのみを、所望の顔領域として検出する。

次に、ステップＳ１１０３で、存在方向算出処理を行う。ステップＳ１１０３の存在方向算出処理は、ユーザの視点位置の近似値としてのユーザの顔の中心位置が存在し得る半直線を算出する処理である。具体的には、ステップＳ１１０２で検出された顔領域から重心位置を算出し、記憶部２０２に格納されている視点情報取得部の設計情報３１４を参照して対応する半直線を求めればよい。

次に、ステップＳ１１０４で交点算出処理を行う。ステップＳ１１０４の交点算出処理は、ステップＳ１１０１で取得した距離画像データで定義される曲面と、ステップＳ１１０３で算出した半直線との交点の３次元座標を算出する処理である。具体的には、次のような処理を行えばよい。距離画像データ上の各単位格子を対角線で二分割して生成される三角形メッシュに対して、各々の三角形ポリゴンの頂点を、該頂点に対応する距離データに基づいて、該頂点の位置に対応する半直線上で適切な位置に動かし、複数の三角形ポリゴンの集合として成る曲面を生成する。その後に、該生成された曲面を構成する各々の三角形ポリゴンとステップＳ１１０３で算出した半直線との交点を計算することで、目的の交点座標を算出する。前記半直線との交点を有する三角形ポリゴンが複数存在する場合には、撮影部１０３ａの投影中心の位置から最も近い位置の交点の座標値を採用し、前記半直線との交点を有する三角形ポリゴンが存在しない場合には、標準視点情報３０８で規定される座標値を採用する。

算出した交点の座標値を表示用視点情報３０７として記憶部２０２に格納し、該表示用視点情報３０７を用いて視点位置基準基底ベクトル情報３１３を更新した後、ステップＳ１１０４の交点算出処理を終了する。

ステップＳ１１０３及びステップＳ１１０４の処理を直感的に説明すると、図１２のようになる。即ち、まずステップＳ１１０３において、撮影部１０３ａの投影中心の位置１２０１を始点とし、撮影画像データ上において検出された顔領域の重心位置に対応する、撮影部１０３ａの投影面１２０２上の位置１２０３を通るような半直線１２０４を算出する。次に、ステップＳ１１０４において、位置１２０５を投影中心とする距離画像取得部１０３ｂによって取得された距離画像データに基づいて生成された、三角形ポリゴンの集合として成る曲面１２０６と、前記半直線１２０４との交点１２０７の座標値を算出して、表示用視点情報３０７として記憶部２０２に格納する。

尚、距離画像データから三角形ポリゴンの集合として成る曲面を生成する方法は、公知の技術を用いればよく、一方向のみの対角線を採用する方法や、面と面の成す角度を考慮して採用する対角線を決定する方法のほか、例えば、細分割（ｓｕｂｄｉｖｉｓｉｏｎ）と呼ばれる技術によって、より滑らかな曲面を生成するようにしてもよい。

ステップＳ１１０４の交点算出処理の終了後、視点位置推定処理を終了する。
以上、本実施例によれば、立体表示部で表示している立体像に関する平面図や透視投影図等の画像情報、または、部位ごとの注釈や寸法等の付加情報を、適宜、２次元表示部で表示するように構成したため、ユーザが直感的に物体形状を把握することを支援することができる。さらに、前記画像情報に関しては、想定されるユーザの視点位置、または、計測に基づいて推定されたユーザの視点位置、を考慮した情報としたために、ユーザが直感的に物体形状を把握することを、より容易にしている。

また、前記視点位置の推定を、撮影部で生成した撮影画像に基づく処理としたことで、ユーザの視点位置の存在し得る範囲が広範にわたる場合であってもユーザの視点位置を容易に推定できる。

また、本実施例では、立体表示部で表示している立体像の形状に関する変更を、２次元表示部で表示している情報を変更することで実施しているため、例えばフォースフィードバック機能を備えたペン型インタフェースを用いて立体像に直接変更を加えるような装置に比べ、より容易に、よりユーザの変更意図に近い変更を立体像に施すことができる。

また、本実施例では、２次元表示部とコマンド入力部とを合わせてタッチパネルディスプレイとして構成したため、立体表示部で表示している立体像を所定の方法で写像した２次元画像との比較を視覚的に行いながら、コマンド入力部からコマンドを入力することができる。従って、例えば、物体形状の変更を伴わずに２次元入力表示部において画像を描画できるようなコマンドを備えた構成とすれば、立体表示部で表示した立体像をユーザが２次元表示部で直感的に模写することができ、本発明の映像表示装置をユーザの立体感覚の醸成に役立つ装置として提供することもできる。

また、本実施例では、２次元映像を１８０度回転させて表示するか否かを設定できるように構成したため、ユーザが右利きの場合にも左利きの場合にも、立体像を遮ることなく２次元表示入力部でのコマンド入力操作ができる。即ち、本実施例の映像表示装置は、反転表示の有無を設定する反転表示設定部を備えており、反転表示有りと設定された場合に２次元表示部１０２ａで表示される映像は、反転表示無しと設定された場合に２次元表示部１０２ａで表示される映像を、所定の点（例えば２次元表示入力部１０２の局所座標系４０２の原点）に関して１８０度回転させたものであるように成されている。

また、本実施例では、２次元表示部１０２ａで透視投影図を表示する際、その生成に関して、所謂「焦点距離」に相当する値を、表示用視点情報３０７に基づいて変更されるような構成とした。これにより、ユーザの視点位置が立体表示部１０１に近い場合も立体表示部１０１から離れている場合も、２次元表示部１０２ａで表示される立体像の透視投影図の大きさは概ね同じ大きさとなり、形状理解のための補助情報としては、より適した情報として、ユーザに提示することができる。これは即ち、ユーザの視点位置が立体表示部１０１に近い場合に透視投影によって２次元画像を生成する際の画角を、ユーザの視点位置が立体表示部１０１から離れている場合に透視投影によって２次元画像を生成する際の画角に比べ、広くしたことに相当する。尚、本発明の実施形態はこれに限るものではなく、焦点距離を固定値として、立体像までの遠近感をも含めた補助情報としてユーザに提示してもよいことは言うまでもない。そのような変更は、容易である。

また、本実施例では、基準面を水平面とする場合、傾き検出部が検出した映像表示装置の傾きに基づき、立体表示部で表示される立体像を、前記立体表示部の傾きに依らず上下方向が一定となるように表示したため、例えば、本発明を携帯電子機器に対して適用した際、歩行しながらの使用で映像表示装置が揺れる場合や、電車の中などで映像表示装置を傾けて使用せざるを得ない場合においても、ユーザに立体像を安定して提示することができるため、ユーザが直感的に物体形状を把握することを支援することができる。

尚、本実施例では、２次元表示部１０２ａとコマンド入力部１０２ｂとを一体化させ、タッチパネルディスプレイとして構成したが、本発明の実施形態は、これに限るものではない。コマンド入力部１０２ｂは、２次元表示部１０２ａの映像表示領域上でのコマンド入力が可能であるように構成されていればよく、２次元表示部１０２ａとコマンド入力部１０２ｂとを一体化させてタッチパネルディスプレイとして構成する代わりに、例えば、光センサ内蔵システム液晶ディスプレイとして構成してもよいし、例えば、２次元表示部１０２ａとコマンド入力部１０２ｂとを分離した構成とし、コマンド入力部１０２ｂとして、キーボードとマウスを使用するようにしてもよい。コマンド入力部１０２ｂとしてキーボードを使用した場合には、例えば、ステップＳ６０１の物体選択処理を文字入力によって実施する、すなわち、コマンド入力部１０２ｂから文字列として入力された名称に等しい名称の物体を選択して選択物体情報３０１として格納するような構成とすることもできるし、また、例えば、ステップＳ７０６の立体像回転処理における回転量を、コマンド入力部１０２ｂからの数値入力に基づいて設定するような構成とすることもできる。同様に、例えば、ステップＳ７０８の表示倍率変更処理における表示倍率を、コマンド入力部１０２ｂからの数値入力に基づいて設定するような構成とすることも可能である。また、コマンド入力部１０２ｂとして、別途ボタンやダイヤル等の情報入力機構を備えるようにしてもよい。例えば、「視点追従モードを『スポット追従』に設定し視点位置推定処理を実施する」ためのボタンを別途備えた構成としてもよいし、表示倍率を変更できるようなダイヤルを別途備えた構成としてもよい。

また、本実施例では、２次元表示部１０２ａで表示される画像情報としてはテクスチャ付きのものを扱ったが、本発明の実施形態はこれに限るものではなく、例えば、「ワイヤフレーム表示」と「テクスチャ表示」の２種類の表示方法をコマンド入力部１０２ｂからの入力に従って切り替えられるような構成としてもよい。

また、本実施例では、視点情報取得部１０３を撮影部１０３ａと距離画像取得部１０３ｂとで構成し、視点位置推定処理において視点情報取得部１０３で取得した視点情報に基づいて視点位置を推定したが、本発明の実施形態はこれに限るものではない。例えば、円形魚眼レンズを備えた２つの撮影部を互いに異なる位置に設置し、それらを視点情報取得部として、顔認識とステレオ視の原理から視点位置を推定するような構成としてもよい。円形魚眼レンズを備えた撮影部を用いる場合には、該撮影部を立体表示部１０１の局所座標系におけるｚ座標が正の領域全体が撮影できるように設置することで、立体表示部１０１で表示した映像を観賞するユーザの視点位置の存在可能な範囲のほぼ全域に関して、画像情報を取得することができる。さらに、傾き検出部２０３が視点情報取得部１０３を兼ねるような構成としてもよい。例えば、傾き検出部２０３が検出した傾き（α，β，γ）が（０，０，０）の場合にユーザの視点位置が標準視点情報３０８で規定された空間位置に一致するとし、立体表示部１０１の局所座標系の原点の位置とユーザの視点位置との間の関係は変わらないとして、立体表示部１０１の局所座標系におけるユーザの視点位置の表現を、傾き検出部２０３が検出した立体表示部１０１の傾きの影響を考慮して計算すればよい。この計算は３次元の回転行列による座標変換であり、容易である。

また、視点情報取得部１０３として空間的に十分な範囲の情報が取得できるデバイスを使用する場合には、視点情報取得部１０３を、ユーザの視界を妨げないように、映像表示装置１００の中央付近に設置するようにしてもよい。このような構成とすることにより、センサ接続部を複数備える必要がなくなり、装置構成を単純化することができる上、２次元表示部における映像の反転表示の有無に拘らず、視点情報取得部１０３の設置位置を移動する必要がなくなるという効果を奏する。

また、本実施例では、ユーザの視点位置の推定を、撮影部１０３ａで撮影した画像から顔認識技術を用いて実施するような構成としたが、本発明の実施形態はこれに限るものではなく、種々の視点位置推定技術を使用することができる。例えば、ユーザに装着させる装着具として高再帰性光学反射マーカーを備えた装着具を備え、該装着具を装着したユーザの視点位置を、前記マーカー位置を取得することで推定するようにしてもよい。尚、高再帰性光学反射マーカーの位置を取得する技術は、例えばモーションキャプチャシステムで使用されている、公知の技術である。

また、本実施例では、物体情報３１５を記憶部２０２に格納しておく構成としたが、本発明の実施形態はこれに限るものではない。例えば、映像表示装置１００の電源投入の度に外部のデータベースに接続するような構成としてもよいし、ネットワークインタフェースを備え、物体の名称をキーワードとしてインターネット上の情報を検索して取得するような構成としてもよい。また、コンパクトフラッシュカードやＣＤ−ＲＯＭ等の着脱可能な外部媒体との間で情報の授受が行えるようなインタフェースを映像表示装置１００が備える構成とし、物体情報３１５を該着脱可能な媒体を用いて供給するようにしてもよい。いずれの場合も、表示用立体情報３１５ｃの書き込みが不可である場合には、表示用立体情報３１５ｃを記憶部２０２に格納するように構成すればよい。

また、本実施例では、立体像の回転は、物体の局所座標系のｚ軸の周りの回転のみに限定し、また、回転量を直接入力するような構成としたが、本発明の実施形態はこれに限るものではない。例えば、物体の回転量を回転行列として記憶部２０２に格納し、回転方向と回転量とを入力して該回転行列を更新するような構成とすることで、物体を自由に回転して立体像として表示することができる。また、例えば、「右回転」と「左回転」のボタンを各々備えるような構成とし、単位回転量を設計値として与えておいて、前記ボタンの押下により各々のボタンに対応する方向に前記単位回転量の分だけ立体像を回転させるように、立体像回転情報３１２を更新する構成としてもよい。

また、本実施例では、立体表示部１０１に対する２次元表示部１０２ａでの反転表示は図１０の表示更新処理において実施したが、本発明の実施形態はこれに限るものではない。例えば、立体表示部１０１と２次元表示入力部１０２とを物理的に分離可能な構成とし、立体表示部１０１の右辺の側、２次元表示入力部１０２の左辺の側及び右辺の側に、それぞれ信号の授受ができる接続部を備えたような構成としてもよい。そのような構成とした場合、立体表示部１０１の右辺の側と２次元表示入力部１０２の左辺の側の接続部同士を接続した場合には反転表示無しの状態となり、立体表示部１０１の右辺の側と２次元表示入力部１０２の右辺の側の接続部同士を接続した場合には、２次元表示入力部１０２自体が相対的に１８０度回転しているため、表示更新処理における場合分けの必要なしに反転表示有りの状態とすることができる。

また、本実施例では、側面図や平面図の描画において、選択されている物体のみを描画していたが、これに加えて、表示用視点情報３０７として記憶部２０２に格納されている視点位置を描画するようにしてもよい。このようにすることにより、ユーザがより直感的に状況を把握することができる。

また、本実施例では、立体形状情報３１５ａはポリゴンモデルであるとし、形状変更処理は選択された頂点１点だけの座標値を変更する場合について説明したが、本発明の実施形態はこれに限るものではない。例えば、物体の形状をＮＵＲＢＳ曲面を用いてモデル化しておき、その制御点の位置を変更することで形状変更処理を行うようにしてもよい。また、例えば、各頂点の形状変更前後の変位に基づくエネルギー（変位が大きいほどエネルギーが高い）と隣接する頂点間の形状変形前後の距離の変化に基づくエネルギー（距離の変化が大きいほどエネルギーが高い）とに基づくエネルギー関数を定義しておき、該エネルギー関数の値を小さくするように複数の頂点の座標値を変更する構成としてもよい。

また、本実施例では、２次元表示入力部１０２を用いて物体情報３１５に施す変更内容として、形状変形処理を行う例について説明したが、本発明の実施形態はこれに限るものではない。例えば、２次元表示入力部１０２を用いてテクスチャを描き直し、該テクスチャを用いて立体形状情報３１５ａに含まれるテクスチャの内容を更新するような構成とすることで、立体表示部１０１で表示している立体像の「塗り絵」を実現することができる。このとき、テクスチャの内容の更新は、表示用視点情報３０７で規定される視点位置から「見えている」領域のみを対象とするが、この可視判定は、例えば、図８で説明したのと同様に、表示種別情報３０２の値に対応したデプスバッファを生成し、各面を成すポリゴンに対して、視点位置と該ポリゴンで規定される視体積に含まれる領域に対応するデプス値の最大値と、前記ポリゴンの頂点のデプス値の最小値とを比較して、前記最小値の方が小さくなるような面を候補として残し、その後に、候補として残っている複数の面同士の交差判定を行って、実際に見えている領域を算出すればよい。

以下、図１３を用いて、本発明の第二の実施例について説明する。本実施例は、立体像の全体形状を把握するために、立体像の多くの部分を同時に観賞したい場合に好適な例である。尚、実施例１と同様な部分に関しては、同じ符号を付け、説明は省略した。

図１３は、本実施例の映像表示装置１３００の外観図である。本実施例の映像表示装置１３００は、実施例１の映像表示装置１００に第二の立体表示部１３０１を加え、立体表示部１３０１に表示する立体像を、立体表示部１０１に表示する立体像に対して、反時計回りに９０度、回転させるように構成したものである。具体的には、立体表示部１３０１に表示させる立体像の向きを、立体表示部１０１に表示する立体像を該立体像の表示用座標系のｚ軸の周りに反時計回りに９０度回転させた向きに等しくなるように、表示する。

このような構成とすることで、例えば、立体表示部１０１において立体像の前面と左側面がユーザに観賞されている場合には、立体表示部１３０１において立体像の左側面と背面とがユーザに観賞されることになるため、形状を把握するためのより多くの手掛かりをユーザに同時に提示することができ、ユーザが立体像の形状をより直感的に把握することを支援できる。

尚、例えば、処理の対象とする立体像を選択するための領域を、２次元表示部１０２ａの映像表示領域の左下部分と右下部分に備え、実施例１の図８及び図１０で説明した処理における２次元表示入力部１０２に関する処理に関して、前記左下部分の領域がコマンド入力部１０２ｂとしてのペン型インタフェースによってポイントされた場合には、立体表示部１０１に表示されている立体像に対して処理を行い、一方、前記右下部分の領域がペン型インタフェースによってポイントされた場合には、立体表示部１３０１に表示されている立体像に対して処理を行うような構成としてもよい。いずれの処理も、簡単な座標変換によって、実施例１の場合と同様に実施することができる。

結局、本実施例は、同一の物体に関する立体映像を表示する立体表示部を複数備え、立体表示部１３０１には、所定の視点位置において立体表示部１０１で表示している立体像とは異なった向きの立体像が鑑賞されるように成されている映像表示装置であり、それぞれの立体表示部に、他の立体表示部で表示している立体像とは異なる向きの立体像が表示される映像表示装置である。

以下、図１４を用いて本発明の第三の実施例について説明する。本実施例は、例えば、テーブル型映像表示装置を用いて複数のユーザが共同作業を行なうような場合に好適な例である。尚、実施例１乃至２と同様な部分に関しては、同じ符号を付け、説明は省略した。

図１４は本実施例の映像表示装置１４００の平面図である。本実施例の映像表示装置１４００は、テーブル型の映像表示装置であり、４人のユーザ１４４１乃至１４４４が互いに同一の物体を観賞するために使用することを想定したものである。

映像表示装置１４００は、立体表示部１４０１乃至１４０４と、２次元表示入力部１４１１乃至１４１４と、視点位置取得部１４２１乃至１４２４と、回転角入力リング１４３１乃至１４３４と、を備えるように構成する。

立体表示部１４０１乃至１４０４の映像表示領域の形状は円形とし、その各々の周囲にユーザの視界を妨げないように回転角入力リング１４３１乃至１４３４を配置する。各々の回転角入力リング１４３１乃至１４３４は、時計回りと反時計回りの両方に回転させることが可能であり、該回転方向と回転量とを検出し、立体像回転コマンドに対応する情報としてコマンド入力ができるように構成する。

立体表示部１４０１乃至１４０４は、その映像表示面を同一水平面上に配し、立体表示部１４０１乃至１４０４の各々の局所座標系のｚ座標の方向を、前記水平面の法線方向、即ち鉛直方向上向きに一致するように定める。即ち、本実施例では、立体表示部１０１で表示する立体像を生成するための基準面は「立体表示面」でも「水平面」でも同一の面のことであり、実施例１で説明した基準面に関する処理は、省略する。

立体表示部１４０２で表示される立体像の向きは、立体表示部１４０１で表示される立体像を立体表示部１４０１の局所座標系のｚ軸の周りに反時計回りに９０度回転した向きとなるように、立体表示部１４０３で表示される立体像の向きは、立体表示部１４０２で表示される立体像を立体表示部１４０２の局所座標系のｚ軸の周りに反時計回りに９０度回転した向きとなるように、立体表示部１４０４で表示される立体像の向きは、立体表示部１４０３で表示される立体像を立体表示部１４０３の局所座標系のｚ軸の周りに反時計回りに９０度回転した向きとなるように、立体表示部１４０１で表示される立体像の向きは、立体表示部１４０４で表示される立体像を立体表示部１４０４の局所座標系のｚ軸の周りに反時計回りに９０度回転した向きとなるように、各々、表示する。

２次元表示入力部１４１１に表示される情報は、立体表示部１４０１に表示されている立体像または立体表示部１４０２に表示されている立体像と、視点位置取得部１４２１が取得したユーザ１４４１の視点位置とに基づいて生成されたものであり、２次元表示入力部１４１２に表示される情報は、立体表示部１４０２に表示されている立体像または立体表示部１４０３に表示されている立体像と、視点位置取得部１４２２が取得したユーザ１４４２の視点位置とに基づいて生成されたものであり、２次元表示入力部１４１３に表示される情報は、立体表示部１４０３に表示されている立体像または立体表示部１４０４に表示されている立体像と、視点位置取得部１４２３が取得したユーザ１４４３の視点位置とに基づいて生成されたものであり、２次元表示入力部１４１４に表示される情報は、立体表示部１４０４に表示されている立体像または立体表示部１４０１に表示されている立体像と、視点位置取得部１４２４が取得したユーザ１４４４の視点位置とに基づいて生成されたものである。

立体表示部１４０１乃至１４０４で表示する立体像については、複数のユーザが同時に観賞するものであるから、実施例１で説明した処理のうち、該立体像に関する処理については、排他制御を行うようにする。具体的な排他制御の方法としては、２次元表示入力部１４１１乃至１４１４及び回転角入力リング１４３１乃至１４３４からのコマンド入力のうち、同時に１つからのコマンド入力だけを受理して処理を行うようにする。より詳細には、物体選択処理Ｓ６０１、形状変更処理Ｓ６０７、及び、立体像回転処理Ｓ７０６について、コマンド入力の排他制御を行うようにする。

以上、本実施例によれば、１つの立体表示部を複数のユーザで共有することができるため、同一の立体像の形状把握のための手掛かりを、実施例２の場合に比べて効率よく複数のユーザに提示することができる。

また、テーブル型の映像表示装置において、立体表示部を複数備える構成とし、各々のユーザが自分の近くにある立体表示部を用いて立体像を観賞するようにしたため、立体表示部をテーブル中央付近に一つだけ備える構成とし、全てのユーザが該中央付近の立体表示部を用いて立体像を観賞するようにした場合に比べ、各々の立体表示部が担当する空間領域を狭く設計することができ、それに伴い、再生する光線の空間密度をより高くすることができるため、より形状把握のし易い立体像をユーザに提供することができる。

また、立体表示部の映像表示領域の形状を円形とし、立体像の回転に関するコマンド入力を回転入力リングからも実施可能であるような構成としたため、ユーザがより直感的で簡便な方法により立体像を回転させることができ、ユーザが立体像の形状を把握することに集中することを支援できる。

尚、本実施例では、四角形の形状をしたテーブルに対して、各頂点に当たる部分に立体表示部を、各辺に当たる部分に２次元表示入力部を配した構成としたが、本発明の実施の形態はこれに限るものではなく、例えば、一般に、多角形の形状をしたテーブルに対して同様の配置を行って実施することができる。例えば、形状が正Ｎ角形の場合には、各々の立体表示部で表示する立体像の向きを、該各々の立体表示部の各々左隣の立体表示部で表示される立体像を該左隣の立体表示部の局所座標系のｚ軸の周りに反時計回りに（３６０／Ｎ）度回転した向きとなるように、各々、表示すればよい。

結局、本実施例は、同一の物体に関する立体映像を表示する複数個の立体表示部を備え、第一の立体表示部で表示した映像と第二の立体表示部で表示した映像とを観賞できる第一の視点位置から第一の立体表示部を見た場合に観賞される映像が、第二の視点位置から第二の立体表示部を見た場合に観賞される映像と等しくされるように成されている映像表示装置であり、各立体表示部では対応する各視点位置から見た場合に同じ映像が観賞されるように表示される映像表示装置である。

また、例えば、壁際に設置する場合などで、ユーザが映像を見る位置が限定される場合には、図１５に平面図を示した映像表示装置１５００のように、複数のユーザに共有される一つ以上の立体表示部と、単独のユーザによって観賞されることを想定した一つ以上の立体表示部と、の両方を備えるような構成としてもよい（以下、「変形例）と呼ぶ）。尚、図１５において、図１４と同じ符号は図１４と同じものを表す。

本変形例の映像表示装置１５００は、同一の物体に関する立体映像を表示する３つの立体表示部１４０１乃至１４０３と、２次元映像を表示する２つの２次元表示入力部１４１１乃至１４１２を備え、２次元表示入力部１４１１には、立体表示部１４０１で表示している立体像のユーザ１４４１の視点位置に関する画像情報と、立体表示部１４０２で表示している立体像のユーザ１４４１の視点位置に関する画像情報の、いずれか一方または両方が表示されるように成されており、２次元表示入力部１４１２には、立体表示部１４０２で表示している立体像のユーザ１４４２の視点位置に関する画像情報と、立体表示部１４０３で表示している立体像のユーザ１４４２の視点位置に関する画像情報の、いずれか一方または両方が表示されるように成されている映像表示装置である。

また、本実施例では円形の映像表示領域の周囲に配置した回転角入力リングを回転させることによって回転方向と回転量とを検出するような構成としたが、本発明の実施形態はこれに限るものではない。例えば、回転角入力リング自体は動かさずに、回転角入力リングに触れている指の動きを、静電容量方式等、公知の方法で検出することで回転方向と回転量とを検出するような構成としてもよいし、映像表示領域とは別の位置に配置した円盤状のダイヤルを回転させることで回転方向と回転量とを検出するような構成としてもよい。いずれの場合にも、円弧状の動きによって回転を表現できるため、ユーザがより直感的で簡便な方法により立体像を回転させることができる。

尚、実施例１、２においても、実施例３と同様に、立体表示部を円形としたり、円形の映像表示領域の周囲に配置した回転角入力リング等により回転方向と回転量を検出するようにしてもよい。

以上で説明したように、本発明の本質は、物体形状の把握に役立つより多くの情報を分かり易くユーザに提示することで、ユーザが直感的に物体形状を把握できるようにした点にあり、前記各々の実施例に記載の特徴を、用途に合わせて適宜組み合わせて使用してもよいことは言うまでもなく、前記各々の実施例に記載の構成は、発明の趣旨に反しない範囲内で種々変更し得ることも言うまでもない。例えば、表示用立体情報３１５ｃは立体表示部で表示する立体像に関する変更があった場合にのみ生成すればよく、必ずしも表示更新処理の度に生成する必要はない。また、立体形状情報３１５ａに含まれる座標値については、立体表示部１０１の仕様に依らず所定の基準に基づいた大きさの値を設定しておき、立体形状情報３１５ａから表示用立体情報３１５ｃを生成する処理と、表示用立体情報３１５ｃから立体形状情報３１５ａを更新する処理とにおいて、物体の局所座標系と立体表示部１０１の局所座標系との間のスケール変換を行うような構成としてもよい。その場合、仕様の異なる複数の映像表示装置に対して、同一の物体情報を使用することができる。

実施例１の映像表示装置の外観図。 実施例１の映像表示装置の構成図。 実施例１の記憶部に格納するプログラム及びデータを表す図。 実施例１の局所座標系の取り方を表す図。 実施例１の視点情報取得部の設計情報３１４の説明図。 実施例１の映像表示処理のフロー図。 実施例１の設定変更処理のフロー図。 実施例１の形状変更処理のフロー図。 実施例１の透視投影用着目点選択処理の説明図。 実施例１の表示更新処理のフロー図。 実施例１の視点位置推定処理のフロー図。 実施例１の視点位置推定処理の説明図。 実施例２の映像表示装置の外観図。 実施例３の映像表示装置の平面図。 実施例３の映像表示装置の第２の利用形態を示す平面図。

符号の説明

１００・・・映像表示装置、
１０１・・・立体表示部、
１０２・・・２次元表示入力部、
１０３ａ・・・撮影部、
１０３ｂ・・・距離画像取得部、
１０４ｂ・・・センサ接続部、
４０１・・・立体表示部の局所座標系、
４０２・・・２次元表示入力部の局所座標系、
５０１・・・撮影部の投影中心、
５０２・・・撮影部の投影面、
５０３・・・撮影画像データ上の位置に対応する投影面上の位置、
５０４・・・撮影画像データ上の位置に対応する半直線、
９０１・・・表示用の視点位置、
９０２・・・投影面、
９０３・・・選択位置に対応する投影面上の位置、
９０４・・・選択位置に対応する半直線、
９０５・・・表示用立体情報で表現される立体の投影面上における像、
９０６・・・表示用立体情報で表現される立体、
９０７・・・立体の頂点のうち半直線との距離が最小となる頂点、
１２０１・・・撮影部の投影中心、
１２０２・・・撮影部の投影面、
１２０３・・・投影面上における顔領域の重心位置、
１２０４・・・投影中心を始点とし顔領域の重心位置を通る半直線、
１２０５・・・距離画像取得部の投影中心、
１２０６・・・距離画像データに基づいて生成される曲面、
１２０７・・・半直線と曲面との交点、
１３００・・・映像表示装置、
１３０１・・・立体表示部、
１４００・・・映像表示装置、
１４０１、１４０２、１４０３、１４０４・・・立体表示部、
１４１１、１４１２、１４１３、１４１４・・・２次元表示入力部、
１４２１、１４２２、１４２３、１４２４・・・視点位置取得部、
１４３１、１４３２、１４３３、１４３４・・・回転角入力リング、
１４４１、１４４２、１４４３、１４４４・・・ユーザ、
１５００・・・映像表示装置。

Claims (18)

1. 立体映像を表示する立体表示部と２次元映像を表示する２次元表示部を備え、
   前記２次元表示部には前記立体表示部で表示している立体像に関する情報が表示されるように成されていること、
   を特徴とする映像表示装置。
2. 前記立体像に関する情報は画像情報であること、を特徴とする、請求項１記載の映像表示装置。
3. 前記画像情報は、所定の視点位置に関する前記立体像の正面図、平面図、側面図、透視投影図のうち少なくとも１つを含むこと、
   を特徴とする、請求項２記載の映像表示装置。
4. ユーザの視点位置を推定する視点推定部を備え、
   前記画像情報は、前記視点推定部が推定した視点位置に基づいて生成されること、
   を特徴とする、請求項２記載の映像表示装置。
5. 前記画像情報は前記視点推定部が推定した視点位置に関する前記立体像の透視投影図であり、
   前記立体像の透視投影図は、前記視点推定部が推定した視点位置に基づく画角に基づいて生成されること、
   を特徴とする、請求項４記載の映像表示装置。
6. 前記画像情報には、前記視点推定部が推定した視点位置が描画されていること、
   を特徴とする、請求項４記載の映像表示装置。
7. 前記視点推定部は、撮影部を備え、該撮影部が撮影した画像データに基づいてユーザの視点位置を推定すること、
   を特徴とする、請求項４記載の映像表示装置。
8. 前記撮影部は、魚眼レンズを備えたこと、
   を特徴とする、請求項７記載の映像表示装置。
9. 前記２次元表示部で表示されている画像情報に関して変更コマンドを入力するコマンド入力部と、
   前記変更コマンドに基づいて、前記立体表示部で表示している立体像の情報を更新するデータ更新部と、
   を備えたことを特徴とする、請求項２記載の映像表示装置。
10. 前記コマンド入力部は、前記２次元表示部の映像表示領域上で変更コマンドを入力できるように成されていること、
    を特徴とする、請求項９記載の映像表示装置。
11. 反転表示の有無を設定する反転表示設定部を備え、
    反転表示有りと設定された場合に前記２次元表示部で表示される映像は、反転表示無しと設定された場合に前記２次元表示部で表示される映像を、所定の点に関して１８０度回転させたものとされていること、
    を特徴とする、請求項９記載の映像表示装置。
12. 前記立体表示部と前記２次元表示部は、２つの結合形態で一体と成すことができるような分離可能な構成とされており、
    第一の結合形態で結合した場合の前記立体表示部と前記２次元表示部との関係は、第二の結合形態で結合した場合の前記立体表示部と前記２次元表示部との関係に対して、前記２次元表示部を所定の点に関して１８０度回転させた関係と成されていること、
    を特徴とする、請求項９記載の映像表示装置。
13. 同一の物体に関する立体映像を表示する立体表示部を複数備え、
    第二の立体表示部には、所定の視点位置において第一の立体表示部で表示している立体像とは異なる向きの立体像が観賞されるように成されていること、
    を特徴とする映像表示装置。
14. テーブル型の映像表示装置であって、
    同一の物体に関する立体映像を表示する立体表示部を複数備え、
    第一の視点位置から第一の立体表示部を見た場合に観賞される映像は、第二の視点位置から第二の立体表示部を見た場合に観賞される映像と等しくされていること、
    を特徴とする映像表示装置。
15. 同一の物体に関する立体映像を表示する３つの立体表示部と、２次元映像を表示する２つの２次元表示部を備え、
    第一の２次元表示部には、第一の立体表示部で表示している立体像の第一の視点位置に関する画像情報と、第二の立体表示部で表示している立体像の前記第一の視点位置に関する画像情報の、いずれか一方または両方が表示されるように成されており、
    第二の２次元表示部には、前記第二の立体表示部で表示している立体像の第二の視点位置に関する画像情報と、第三の立体表示部で表示している立体像の前記第二の視点位置に関する画像情報の、いずれか一方または両方が表示されるように成されていること、
    を特徴とする映像表示装置。
16. 立体映像を表示する立体表示部と、前記立体表示部の３次元の傾きを検出する傾き検出部を備え、
    前記立体表示部で表示される立体像は、前記傾き検出部の検出した傾きに基づいて、前記立体表示部の傾きに依らず上下方向が一定となるように成されていること、
    を特徴とする映像表示装置。
17. 立体映像を表示する映像表示領域の形状が円形である立体表示部と、
    該映像表示領域の周囲に配されたリング状の回転角入力部を備え、
    前記回転角入力部から入力された回転角に基づき、前記立体表示部で表示する立体像の向きを変更すること、
    を特徴とする映像表示装置。
18. 前記立体表示部は、光線再生方式の裸眼立体視ディスプレイであること、
    を特徴とする請求項１記載の映像表示装置。

Images