JP2006106950A - 画像表示装置、画像表示方法、及びプログラム - Google Patents

Abstract

【課題】仮想三次元対象物をその周囲の環境物に連動した映り込みとともに表示する。
【解決手段】画像を表示するための画像表示部と、仮想三次元対象物の画像を画像表示部に表示させるための対象物情報を記憶する対象物情報記憶部と、画像表示部の周囲における環境物の映像情報を取得するための映像情報取得部と、対象物情報記憶部に記憶された対象物情報と、映像情報取得部により取得された映像情報とに基づいて、画像表示部に表示すべき仮想三次元対象物の画像に対する環境物の映り込みを示す映り込み情報を生成する映り込み情報生成部と、対象物情報記憶部に記憶された対象物情報と、映り込み情報生成部により生成された映り込み情報とを用いて、環境物の映り込みを含む仮想三次元対象物の画像を画像表示部に表示させる画像表示制御部と、を備えたことを特徴とする画像表示装置。
【選択図】 図１

Description

本発明は、例えば仮想的なロボットを動的に表示する画像表示装置及び画像表示方法、並びに当該画像表示装置に当該画像表示方法を実施させるプログラムに関する。

人間の日常生活の場で活動するロボットは、人間にとって違和感無く意思疎通のし易い姿かたちを有することが望ましいとされている。このように、人間や動物等の生物の姿を模して作成され、あたかも生物どうしの如く違和感の無い意思疎通が可能なロボットが比較的多く知られている。特に、人間が意思疎通を行う際に最も重要な要素は顔の表情であるため、ロボットの顔に関する研究及び開発が比較的多く行われている。例えば、画像表示部に人間や生物等の頭部を周囲の状況に応じて変化させて表示させることにより、その頭部を違和感無く表現できる比較的安価なロボットが知られている（例えば、特許文献１参照。）。

また、生物にとって顔の印象を大きく左右する目は、「心の鏡」や「目は口ほどにものを言う」等と言われるほど、意思疎通を行う上で極めて重要な要素であるため、ロボットの目を生物の目の如く精密に動作させることは、人間とロボットとの意思疎通を円滑にする上で有効であるとされている。例えば、透明凸状体を設けてなる電子表示素子を用い、感情に対応した電気信号に基づく目に類似したパターン表示により感情表現を行うべく構成された人工目及びこれを用いたロボットが知られている（例えば、特許文献２参照。）。
特開２００３−１８７２６７号公報 特開２００３−２０５４８９号公報

ところで、一般に実世界に散在する物体の表面には、その周囲の景色（環境物）や光源（環境物）の映り込みが生じるはずである。よって、実在する生物の目、髪、顔の皮膚等も同じくその表面に映り込みが生じるはずである。特に、生物どうしが意思疎通を行う上で重要な目には、周囲の景色や光源の映り込みが鮮明に生じるはずである。

しかしながら、例えば、特許文献１に開示されたロボットの場合、画像表示部に表示されたロボットの頭部に対する周囲の景色の映り込みは考慮されていない。また、例えば、特許文献２に開示された人工目及びこれを用いたロボットの場合にもやはり周囲の景色や光源の映り込みは考慮されていない。このような映り込みの生じないロボットに対して、人間は意思疎通を行う上で心理的抵抗を抱く虞がある。特にロボットの目が、生きた人間や動物の如き光沢感や透明感を欠く場合、静的で生気がないこのようなロボットに対して、人間は意思疎通を行う上でより心理的抵抗を抱く虞がある。

本発明はかかる課題に鑑みてなされたものであり、その目的とするところは、仮想三次元対象物を、その周囲の景色や光源等の環境物に連動した映り込みとともに表示可能な画像表示装置、画像表示方法、及びプログラムを提供することにある。

前記課題を解決するための発明は、画像を表示するための画像表示部と、仮想三次元対象物の画像を前記画像表示部に表示させるための対象物情報を記憶する対象物情報記憶部と、前記画像表示部の周囲における環境物の映像情報を取得するための映像情報取得部と、前記対象物情報記憶部に記憶された対象物情報と、前記映像情報取得部により取得された映像情報とに基づいて、前記画像表示部に表示すべき仮想三次元対象物の画像に対する前記環境物の映り込みを示す映り込み情報を生成する映り込み情報生成部と、前記対象物情報記憶部に記憶された対象物情報と、前記映り込み情報生成部により生成された映り込み情報とを用いて、前記環境物の映り込みを含む前記仮想三次元対象物の画像を前記画像表示部に表示させる画像表示制御部と、を備えたことを特徴とする画像表示装置である。

この画像表示装置によれば、画像表示部に表示すべき仮想三次元対象物の画像に対して、例えば周囲の景色や光源等の映り込みを実現できる。ここで、例えば、映像情報取得部が所定頻度で映像情報を取得する都度これにともなう映り込み情報が映り込み情報生成部により更新されれば、仮想三次元対象物に対して周囲の景色の変化の様子が映り込んだ動的な画像を表示できる。同様に、仮想三次元対象物に対して光源が移動したり点滅したりする様子が映り込んだ動的な画像を表示できる。つまり、仮想三次元対象物をその周囲の景色や光源等の環境物に連動した映り込みとともに表示可能な画像表示装置を提供できる。

また、かかる画像表示装置において、前記映り込み情報生成部により生成された映り込み情報を記憶する映り込み情報記憶部を更に備え、前記映像情報取得部は、前記映像情報を所定頻度で取得し、前記映り込み情報生成部は、前記映像情報取得部により前記映像情報が新たに取得される都度、前記新たに取得された映像情報に基づいて新たな前記映り込み情報を生成し、前記映り込み情報記憶部に記憶された過去の前記映り込み情報を前記新たな映り込み情報により更新し、前記画像表示制御部は、前記映像情報取得部により前記映像情報が新たに取得される都度、前記映り込み情報記憶部に記憶された前記新たな映り込み情報を用いる、ことが好ましい。

また、かかる画像表示装置において、前記環境物は、前記画像表示部に表示すべき仮想三次元対象物の画像の周囲にある景色を含み、前記対象物情報は、該当の仮想三次元対象物の形状を示す形状情報を含み、前記映り込み情報生成部は、前記仮想三次元対象物の形状情報と、前記景色の映像情報とに基づいて、前記仮想三次元対象物に対する前記景色の映り込みの位置を示す景色位置情報を前記映り込み情報として生成する、ことが好ましい。

また、かかる画像表示装置において、前記対象物情報は、該当の仮想三次元対象物の鏡面反射率及び／又は透明度を示す光学情報を含み、前記映り込み情報生成部は、前記光学情報に更に基づいて、前記仮想三次元対象物の色及び前記景色の色を混色する割合を示す混色割合情報を前記映り込み情報として生成する、ことが好ましい。

また、かかる画像表示装置において、前記映り込み情報生成部は、前記映像情報取得部により取得された映像情報に基づいて、テクスチャデータを生成する、ことが好ましい。

また、かかる画像表示装置において、前記画像表示制御部はテクスチャマッピング処理を実施する、ことが好ましい。

また、かかる画像表示装置において、前記環境物は、前記画像表示部に表示すべき仮想三次元対象物の画像の周囲にある光源を含み、前記映り込み情報生成部は、前記光源の映像情報に基づいて、前記光源の位置を示す光源位置情報、前記光源の大きさを示す光源サイズ情報、前記光源の色合いを示す光源色合い情報、及び前記光源の明るさを示す光源明るさ情報のうちの少なくとも１つを前記映り込み情報として生成する、ことが好ましい。

また、かかる画像表示装置において、前記映り込み情報生成部は、前記映像情報取得部により取得された映像情報に二値化処理及びラベリング処理を実施して、前記光源位置情報、前記光源サイズ情報、前記光源色合い情報、及び前記光源明るさ情報のうちの少なくとも１つを前記映り込み情報として生成する、ことが好ましい。

また、かかる画像表示装置において、前記画像表示制御部はシェーディング処理を実施する、ことが好ましい。

また、かかる画像表示装置において、前記仮想三次元対象物は生物の目であってもよい。

また、かかる画像表示装置において、前記仮想三次元対象物は生物の目を含む当該生物の頭部であってもよい。

また、かかる画像表示装置において、前記画像表示部は、多面体をなすディスプレイを有してなり、前記映像情報取得部は、前記多面体の各面の周囲における前記環境物の前記映像情報を取得すべく複数のカメラを有してなってもよい。

また、かかる画像表示装置において、前記画像表示部は、曲面で形成されるディスプレイを有してなり、前記映像情報取得部は、前記曲面の周囲における前記環境物の前記映像情報を取得すべく１つ又は複数のカメラを有してなってもよい。

また、かかる画像表示装置において、前記画像表示部は、投影型ディスプレイを有してなり、前記映像情報取得部は、前記投影型ディスプレイの投影面の周囲における前記環境物の前記映像情報を取得すべく１つ又は複数のカメラを有してなってもよい。

また、前記課題を解決するための発明は、画像を表示するための画像表示部と、仮想三次元対象物の画像を前記画像表示部に表示させるための対象物情報を記憶する対象物情報記憶部と、を有する画像表示装置の画像表示方法であって、前記画像表示部の周囲における環境物の映像情報を取得する映像情報取得ステップと、前記対象物情報記憶部に記憶された対象物情報と、前記映像情報取得ステップにおいて取得された映像情報とに基づいて、前記画像表示部に表示すべき仮想三次元対象物の画像に対する前記環境物の映り込みを示す映り込み情報を生成する映り込み情報生成ステップと、前記対象物情報記憶部に記憶された対象物情報と、前記映り込み情報生成ステップにおいて生成された映り込み情報とを用いて、前記環境物の映り込みを含む前記仮想三次元対象物の画像を前記画像表示部に表示させる画像表示制御ステップと、を備えてなる。

また、前記課題を解決するための発明は、画像を表示するための画像表示部と、仮想三次元対象物の画像を前記画像表示部に表示させるための対象物情報を記憶する対象物情報記憶部と、を有する画像表示装置に画像表示方法を実施させるプログラムであって、前記画像表示部の周囲における環境物の映像情報を取得する映像情報取得ステップと、前記対象物情報記憶部に記憶された対象物情報と、前記映像情報取得ステップにおいて取得された映像情報とに基づいて、前記画像表示部に表示すべき仮想三次元対象物の画像に対する前記環境物の映り込みを示す映り込み情報を生成する映り込み情報生成ステップと、前記対象物情報記憶部に記憶された対象物情報と、前記映り込み情報生成ステップにおいて生成された映り込み情報とを用いて、前記環境物の映り込みを含む前記仮想三次元対象物の画像を前記画像表示部に表示させる画像表示制御ステップと、を備えてなる。

仮想三次元対象物を、その周囲の景色や光源等の環境物に連動した映り込みとともに表示可能な画像表示装置、画像表示方法、及びプログラムを提供できる。

以下、図面を参照しつつ、本発明の画像表示装置、画像表示方法、及びプログラムの実施の形態について説明する。

＝＝＝画像表示装置＝＝＝
＜＜＜全体構成＞＞＞
図１は、本実施の形態のロボット表示装置（画像表示装置）１００の構成例を示すブロック図である。同図に例示されるように、ロボット表示装置１００は、主として、表示装置（画像表示部）１と、カメラ（映像情報取得部）６と、計算機７とを備えて構成されている。ここで、表示装置１及びカメラ６は、計算機７と通信可能に接続されている。本実施の形態のロボットとは、例えば人間に模した頭部を表現する三次元モデル（仮想三次元対象物）９のことであり、表示装置１に画像として表示される概念的なものである。一方、本実施の形態のロボット表示装置１００とは、頭部を中心とした実在的なロボットの一部をなすものとみなしてよい。尚、以後「頭部」なる記載は、人間の首から上の顔及び頭を意味するものとする。

表示装置１は、例えば略平面体の液晶カラーディスプレイであり、本実施の形態のロボットの例えば頭部全体の画像を表示するものである。この場合、この略平面体が本実施の形態のロボットの頭部正面つまり顔であるとみなしてよい。

カメラ６は、表示装置１の近傍に設けられその周囲の映像を電子的なデータとして取得する例えばＣＣＤカメラである。後述するように、本実施の形態のカメラ６は、表示装置１のディスプレイ面の側、つまりおよそ２πの立体角の映像を取得可能に方向付けられているものとする。また、映像情報取得部はカメラに限定されるものではなく、例えば、ＣＭＯＳ等で構成されているイメージセンサ、光センサ等であってもよい。

計算機７は、表示装置１及びカメラ６の周囲の景色及び光源の映り込みをともなうロボットの画像を表示するためのデータを生成し、この画像を表示装置１に表示させる機能を有する情報処理装置である。また、計算機７は、表示装置１及びカメラ６を制御する機能を有する情報処理装置でもある。以降、「周囲」なる記載は、表示装置１及びカメラ６と相対する周囲を意味するものとする。

上記の機能を実現すべく、計算機７は後述する三次元モデルデータ（対象物情報）３及び後述する映り込みデータ（映り込み情報）４を記憶するための記憶部（対象物情報記憶部、映り込み情報記憶部）３４を備えている。この記憶部３４としては、例えば計算機７に対してその内部又は外部に接続可能なハードディスク等が好ましい。三次元モデルデータ３は、人間に模したロボットの頭部を表現した三次元モデル９の形状及び材質に関するデータであり、映り込みデータ４は、三次元モデル９に生じる映り込みに関するデータである。また、後述するように、映り込みデータ４は、三次元モデル９に生じる景色の映り込みに関するデータ１４と、三次元モデル９に生じる光源の映り込みに関するデータ１５とを備えて構成されている（図６参照）。更に、後述するように、三次元モデル９に生じる景色の映り込みに関するデータ１４は、テクスチャの画像データ１７と、テクスチャをマッピングする位置に関するデータ（景色位置情報）１８と、テクスチャと三次元モデル９の表面の色とを混色する割合に関するデータ（混色割合情報）１９とを備えて構成されている（図６参照）。更にまた、後述するように、テクスチャの画像データ１７は、画素数のデータ２０と、ＲＧＢ値のデータ２１と、輝度値のデータ２２とを備えて構成されている（図６参照）。加えて、後述するように、三次元モデル９に生じる光源の映り込みに関するデータ１５は、周囲の光源の位置データ２３（光源位置情報）と、周囲の光源の大きさデータ（光源サイズ情報）２４と、周囲の光源の色データ（光源色合い情報）２５と、周囲の光源の明るさデータ（光源明るさ情報）２６とを備えて構成されている。

また、上記の機能を実現すべく、計算機７は、記憶部３４に記憶された三次元モデルデータ３と、カメラ６により取得された周囲の映像に関するデータ（映像情報）１６（図６参照）とに基づいて映り込みデータ４を生成し且つこの映り込みデータ４を記憶部３４に上書きさせるためのプログラム（不図示）を記憶する適宜なメモリ（不図示）を備えている。このプログラムは、計算機７が備える適宜なＣＰＵ（不図示）に上記の処理を実施させるものである。以降、このプログラム及びＣＰＵを映り込みデータ生成部（映り込み情報生成部）５と称する。尚、計算機７は、このような処理を実施する独立したモジュールを映り込みデータ生成部５として備えていてもよい。

更に、上記の機能を実現すべく、計算機７は、記憶部３４に記憶された三次元モデルデータ３と映り込みデータ４とを用いて、周囲の景色及び光源が映り込んだ三次元モデル９の画像を表示装置１に表示させるプログラム（不図示）を記憶する適宜なメモリ（不図示）を備えている。このプログラムは、計算機７が備える適宜なＣＰＵ（不図示）に上記の処理を実施させるものである。以降、このプログラム及びＣＰＵを、三次元モデル表示部（画像表示制御部）２と称する。尚、計算機７は、このような処理を実施する独立したモジュールを三次元モデル表示部２として備えていてもよい。

＜＜＜映像情報取得部の構成＞＞＞
図２はカメラ６（映像情報取得部）の方向及びその視野角について説明するための三次元空間の模式図である。カメラ６は、表示装置１の周辺に設置されてこの表示装置１の周囲の映像を取得できるように構成されている。一般に、カメラ６の向く方向は、三次元空間座標のｙ軸からｘ軸の方向に角度αをなし、三次元空間座標のｙ軸からｚ軸の方向に角度βをなすベクトルＡにより記述できる。また、カメラ６の水平方向の視野角は２γ、垂直方向の視野角は２δで記述できる。図３及び図４の模式図は、それぞれ、図２の三次元空間のｘ−ｙ平面への投影図及び図２の三次元空間のｙ−ｚ平面への投影図である。

尚、図２において、三次元モデル９の三次元空間座標は、表示装置１の表示面に相対して水平左向きを正とするｘ軸と、手前向きを正とするｙ軸と、垂直上向きを正とするｚ軸と、表示面の中心に対応する原点Ｏ（０、０、０）とからなるものとする。

＜＜＜画像表示制御部の構成及びこれにより処理されるデータの構成＞＞＞
図５は、本実施の形態の三次元モデル表示部（画像表示制御部）２の構成、及びこれにより処理されるデータの構成を説明するための模式図である。同図の中央の白抜きの矢印で示されるように、三次元モデル表示部２は、三次元モデルデータ３と映り込みデータ４とに基づいて、映り込み８をともなう三次元モデル９の画像を表示装置１に表示させる機能を有する。前述したように、映り込みデータ４は、三次元モデル９に生じる景色の映り込みに関するデータ１４と、三次元モデル９に生じる光源の映り込みに関するデータ１５とを備えて構成されている。

三次元モデル９に生じる景色の映り込みについて、本実施の形態の三次元モデル表示部２が、該当するデータ１４と三次元モデルデータ３とに基づいて、景色の映り込みをともなう画像を表示装置１に表示させる方法として、テクスチャマッピングが採用されている。テクスチャマッピングは、コンピュータグラフィクスにおいて仮想的な物体の表面に画像を仮想的に貼り付けることにより、物体の質感を高める公知の方法である。ここで、貼り付ける画像をテクスチャと称する。物体の表面を構成する単位片に対応する各頂点にテクスチャ内の任意の点を対応付けることで、テクスチャが貼り付けられた物体の画像を表示できる。また、テクスチャを物体に貼り付ける際、テクスチャの各画素の色を物体表面の色に混ぜ合わせた画像を表示できる。尚、テクスチャマッピングの詳細は、「ＯｐｅｎＧＬによる３次元ＣＧプログラミング」、林武文・加藤清敬著／コロナ社発行のｐ．１０７等で開示されている。

このように、本実施の形態の三次元モデル表示部２は、周囲の映像をテクスチャとして三次元モデル９にマッピングすることにより、周囲の状況に応じた映り込みを生じる三次元モデル９の画像を表示するように構成されている。

三次元モデル９に生じる光源の映り込みについて、本実施の形態の三次元モデル表示部２が、該当するデータ１５と三次元モデルデータ３とに基づいて、光源の映り込みをともなう画像を表示装置１に表示させる方法として、シェーディングが採用されている。シェーディングは、コンピュータグラフィクスにおいて仮想的な光源と仮想的な物体の色や形等とに応じて物体表面の色や明るさ等を変化させることにより、物体の表面の光沢感、透明感、立体感等を表現する公知の方法である。光源の位置、向き、色、明るさ等を設定することにより、物体の形状及び材質に関するデータに基づいて陰影のついた物体の画像を表示できる。尚、シューディングの詳細は、「ＯｐｅｎＧＬによる３次元ＣＧプログラミング」、林武文・加藤清敬著／コロナ社発行のｐ．７９等で開示されている。

このように、本実施の形態の三次元モデル表示部２は、仮想空間における光源の位置等を周囲の光源の位置等に応じて変化させつつ、このシェーディングを行うことにより、周囲の光源が反映された三次元モデル９の画像を表示するように構成されている。

尚、図５における三次元モデルデータ３の三次元空間座標の構成は、図２乃至図４に例示されるものと同じである。また、テクスチャ即ち、景色の映り込みに関するデータ１４及び光源の映り込みに関するデータ１５の二次元座標（ｕ，ｖ）は、テクスチャに相対して水平右向きを正とするｕ軸と、垂直上向きを正とするｖ軸と、テクスチャの左下隅に対応する原点Ｃ（０、０）とからなる。また、二次元座標（ｕ，ｖ）は、映像の大きさに拠らず、０≦ｕ≦１且つ0≦ｖ≦１の範囲に映像全体が収まるように構成されている。

＜＜＜映り込み情報生成部の構成及びこれにより処理されるデータの構成＞＞＞
図６は映り込みデータ生成部（映り込み情報生成部）５の構成、及びこれにより処理されるデータの構成を説明するための模式図である。同図の中央の白抜きの矢印で示されるように、映り込みデータ生成部５は、三次元モデルデータ３と周囲の映像に関するデータ１６とに基づいて、映り込みデータ４を生成する機能を有する。

前述したように、映り込みデータ４を構成する三次元モデル９に生じる景色の映り込みに関するデータ１４は、三次元モデル９にマッピングするテクスチャの画像データ１７と、テクスチャをマッピングする位置に関するデータ１８と、テクスチャと三次元モデル９の表面の色とを混色する割合に関するデータ１９とを備えて構成されている。このテクスチャの画像データ１７は、テクスチャのサイズを表す縦横の画素数のデータ２０と、各画素の色を表すＲＧＢ値のデータ２１と、明るさを表す輝度値のデータ２２とを備えて構成されている。

図７の模式図に例示されるように、テクスチャ内の点の座標を二次元座標（ｕ，ｖ）で表わし、三次元モデル９の表面を構成する単位片（図７の挿入図の斜線部）に対応する頂点の座標を三次元空間座標（ｘ、ｙ、ｚ）で表す場合を考える。この三次元モデル９の頂点（ｘ、ｙ、ｚ）は、三次元モデルデータ３（図６）に含まれ三次元モデル９の形状を示す形状データ（形状情報、不図示）に基づくものである。また、テクスチャ内の点の座標（ｕ、ｖ）は、周囲の映像に関するデータ１６（図６）に基づくものである。映り込みデータ生成部５は、三次元モデル９の頂点（ｘ、ｙ、ｚ）に対応するテクスチャ内の点の座標（ｕ，ｖ）を算出することにより、テクスチャをマッピングする位置に関するデータ１８（図６）を生成するように構成されている。

三次元空間座標（ｘ、ｙ、ｚ）と二次元座標（ｕ、ｖ）とは、前述したカメラ６の方向を示すための極座標（θ、φ）を通じて関係付けられる。図２乃至図４に例示された三次元空間においてα−γ≦θ≦α＋γ及びβ−δ≦φ≦β＋δなるカメラ６の視野角で規定される領域の映像のデータをテクスチャのデータとする場合、二次元座標（ｕ、ｖ）と極座標（θ、φ）との関係は、後記の「数１」及び「数２」により表わされる。これより、二次元座標のｕ軸上の変数ｕは、後記の「数３」の如く表わされる。また、二次元座標のｖ軸上の変数ｖは、後記の「数４」の如く表わされる。ここで、前述した通り、ｕ及びｖは、０≦ｕ≦１且つ０≦ｖ≦１のように規格化されている。一方、極座標（θ、φ）は、三次元空間座標（ｘ、ｙ、ｚ）により、後記の「数５」及び「数６」の如く表わされる。以上から、三次元空間座標における三次元モデル９の頂点の座標（ｘ、ｙ、ｚ）と二次元座標におけるテクスチャ内の点の座標（ｕ、ｖ）との関係は、後記の「数７」及び「数８」により表わされる。

また、映り込みデータ生成部５は、前述した形状データと、三次元モデルデータ３（図６）に含まれ三次元モデル９の鏡面反射率及び透明度を示す光学データ（光学情報、不図示）とに基づき、テクスチャと三次元モデル９の表面の色とを混色する割合に関するデータ１９を生成するように構成されている（図６）。

一方、前述したように、映り込みデータ４を構成する三次元モデル９に生じる光源の映り込みに関するデータ１５は、周囲の光源の位置データ２３と、大きさデー２４と、色データ２５と、明るさデータ２６とを備えて構成されている。

映り込みデータ生成部５は、周囲の映像に関するデータ１６を二値化処理し、輝度の高い画素の集合毎にラベリング処理を行うように構成されている。ラベリング処理とは、所定の閾値よりも輝度の高い画素の集合を抽出してこれを光源とみなし、このような集合のそれぞれを識別するための番号（ラベル）を付す処理である。また、映り込みデータ生成部５は、ラベリングした各部分を光源とみなし、その位置座標と面積とから、光源の位置データ２３と大きさデータ２４とをそれぞれ生成するように構成されている。更に、映り込みデータ生成部５は、ラベリングした各部分に含まれる全画素のＲＧＢ値の平均と輝度値の平均とから、光源の色データ２５と明るさデータ２６とをそれぞれ生成するように構成されている。

＝＝＝画像表示方法＝＝＝
＜＜＜全体の処理の流れ＞＞＞
図８は、前述した構成を備えたロボット表示装置１００が本実施の形態の画像表示方法を実施する際の計算機７（図１）の処理の手順を示すフローチャートである。
先ず、計算機７は、記憶部３４（図１）に記憶された三次元モデルデータ３（図１）に基づいて、仮想空間を表示装置１に表示する際の方向及び位置の設定、仮想空間において三次元モデル９を照らし出す初期の光源の設定といった環境設定や三次元モデル９の形成等の初期化を実施する（Ｓ１０１）。
次に、計算機７は、カメラ６（図１）に、周囲の映像に関するデータ１６（図６）を取得させる（Ｓ１０２）。後述するように、本実施の形態では、このステップＳ１０２は適宜な頻度で繰り返し実施される。
次に、計算機７の映り込みデータ生成部５（図１）は、記憶部３４に記憶された三次元モデルデータ３と、カメラ６により取得された周囲の映像に関するデータ１６とに基づいて、三次元モデル９にこの映像を反映させる位置を算出し、三次元モデル９に生じる景色の映り込みに関するデータ１４（図６）を生成する（Ｓ１０３）。
また、この映り込みデータ生成部５は、主として周囲の映像に関するデータ１６に基づいて、周囲の光源の位置、大きさ、色合い、及び明るさを推定し、三次元モデル９に生じる光源の映り込みに関するデータ１５（図６）を生成する（Ｓ１０４）。
更に、この映り込みデータ生成部５は、ステップＳ１０３及びＳ１０４で新しく生成された映り込みデータ４により、記憶部３４に記憶された過去の映り込みデータ４を更新する（Ｓ１０５）。
最後に、計算機７の三次元モデル表示部２（図１）は、記憶部３４において更新された映り込みに関するデータ４と、三次元モデルデータ３とに基づいて、映り込みをともなう三次元モデル９の画像を表示装置１（図１）に表示させる（Ｓ１０６）。

以上、計算機７がステップＳ１０２乃至Ｓ１０６の処理を所定頻度で繰り返し実施することにより、表示装置１に画像が表示されたロボットの頭部に対して、周囲の景色や光源の映り込みを実現できる。例えば、表示装置１の周りの景色が変化すると、ロボットの頭部に対して景色の変化の様子が映り込む。また、表示装置１の周りの光源が移動したり点滅したりすると、ロボットの頭部に対して光源が移動したり点滅したりする様子が映り込む。つまり、本実施の形態では、ロボットの頭部の画像を表示しているため、例えばロボットの上半身や体全体等の画像を表示する場合に比べて、映り込みによるロボットの実在性の効果がより顕著になっている。また、本実施の形態では、ロボットの画像は動的に表示しているため、例えば静的な画像の場合に比べて、動的な変化をともなう映り込みによるロボットの実在性の効果がより顕著になっている。

＜＜＜景色の映り込みに関するデータ生成処理の流れ＞＞＞
図９は、図８に例示された画像表示方法のステップＳ１０３における計算機７の処理の手順をより詳細に示すフローチャートである。
先ず、映り込みデータ生成部５は、前述したように、周囲の映像に関するデータ１６に基づいてテクスチャの画像データ１７を生成する（Ｓ１０３１）。
次に、映り込みデータ生成部５は、前述したように、三次元モデル９の頂点（ｘ、ｙ、ｚ）に対応するテクスチャ内の点の座標（ｕ、ｖ）を２つの等式「数７」及び「数８」を用いて算出し、テクスチャをマッピングする位置に関するデータ１８（図６）を生成する（Ｓ１０３２）。
次に、映り込みデータ生成部５は、前述したように、三次元モデルデータ３に含まれ三次元モデル９の形状を示す形状データと、三次元モデルデータ３に含まれ三次元モデル９の鏡面反射率及び透明度を示す光学データとに基づき、テクスチャと三次元モデル９の表面の色とを混色する割合に関するデータ１９（図６）を生成する（Ｓ１０３３）。

＜＜＜光源の映り込みに関するデータ生成処理の流れ＞＞＞
図１０は、図８に例示された画像表示方法のステップＳ１０４における計算機７の処理の手順をより詳細に示すフローチャートである。
先ず、映り込みデータ生成部５は、前述したように、周囲の映像に関するデータ１６に対して二値化処理を実施する（Ｓ１０４１）。
次に、映り込みデータ生成部５は、前述したように、輝度の高い画素の集合毎にラベリング処理を実施する（Ｓ１０４２）。
次に、映り込みデータ生成部５は、前述したように、ラベリングした各部分を光源として、その位置座標と面積とから光源の位置データ２３と大きさデータ２４とをそれぞれ生成する（Ｓ１０４３）。
また、映り込みデータ生成部５は、前述したように、ラベリングした各部分に含まれる全画素のＲＧＢ値の平均と輝度値の平均とから、光源の色データ２５と明るさデータ２６とをそれぞれ生成する（Ｓ１０４４）。

＜＜＜仮想三次元対象物の画像表示処理の流れ＞＞＞
図１１は、図８に例示された画像表示方法のステップＳ１０６における計算機７の処理の手順をより詳細に示すフローチャートである。
先ず、三次元モデル表示部２は、ステップＳ１０３１において生成されたテクスチャの画像データ１７をテクスチャデータとして記憶部３４に記憶させる（Ｓ１０６１）。
次に、三次元モデル表示部２は、ステップＳ１０３２において生成されたテクスチャをマッピングする位置に関するデータ１８に基づいて、三次元モデル９の各頂点にテクスチャの座標を設定する（Ｓ１０６２）。
また、三次元モデル表示部２は、ステップＳ１０３３において生成されたテクスチャと三次元モデル９の表面の色とを混色する割合に関するデータ１９に基づいて、テクスチャの鮮明さを設定する（Ｓ１０６３）。
更に、三次元モデル表示部２は、ステップＳ１０４３及びＳ１０４４において生成された光源の位置データ２３、大きさデータ２４、色データ２５、及び明るさデータ２６に基づいて、三次元空間における光源の位置、大きさ、色、及び明るさを設定する（Ｓ１０６４）。
最後に、三次元モデル表示部２は、前述した各データに基づいて、テクスチャマッピングとシェーディングとを施した三次元モデル９の画像を表示装置１に表示させる（Ｓ１０６５）。

図１２の模式図に例示されるように、本実施の形態のロボット表示装置１００によれば、その周囲の景色及び光源に応じて映り込み８が生じる三次元モデル９の画像が表示装置１に表示される。周囲が明るい場合（図１２（ａ））及び周囲が暗い場合（図１２（ｂ））のそれぞれに応じて、目元の拡大図１０のように鏡面反射率の高い眼球の部分１１は、特に映り込みが鮮明に表れる。また、鏡面反射率の低い皮膚の部分１２でも周囲の景色や光源が反映され単調な肌色一色ではなく、微細な色合いの変化が生じる。更に、光源１３からの強い光を受けた部分は、明るく輝いて表示される。

このように、本実施の形態のロボット表示装置１００によれば、ロボットの目の透明感、髪の光沢感など頭部全体の質感を高めることができる。特に生物が意思疎通を行う上で非常に重要である「目」をより精巧に実現できるため、人とロボットとが意思疎通を行う際、人のロボットに対する心理的抵抗が和らげられることが期待できる。

尚、前述した実施の形態の表示装置１は、ロボットの頭部全体の画像を表示するため人間の頭部程度の大きさのものが用いられているが、これに限定されるものではなく、例えば目の大きさ程度の小型なものを使用しこれに１つの眼球のみの画像を表示させてもよい。

また、前述した実施の形態の表示装置１は略平面体のディスプレイであるが、これに限定されるものではない。例えば、図１３の模式図に例示されるように、薄型の液晶ディスプレイを曲げ成型してなる筒状体のディスプレイであってもよい。この場合、この筒状体のディスプレイがロボットの頭部であるとみなしてよい。このような４面の平面体（多面体）のディスプレイからなる３６０°の表示範囲を有する表示装置２００に対応するためには、図１３に例示されるように、複数（例えば４つ）のカメラ３００を用いることが好ましい。この場合のカメラ３００の個数も４つに限定されるものではなく、要するに３６０°の視野角を実現するような個数であれば、２個以上の如何なる個数であってもよい。

或いは、表示装置は、液晶やＬＥＤ等からなるフレキシブルディスプレイが曲げられて、例えば図１３の筒状体と類似の円筒状をなすもの（曲面で形成されるディスプレイ）であってもよい。このようなフレキシブルディスプレイとしては、例えば公知の低温ポリシリコンＴＦＴ液晶ディスプレイを使用すればよい。また、表示装置は、例えば、球状型や人間の顔型等の投影面を有しこれに画像が投影される半透明スクリーン（投影型ディスプレイ）であってもよい。カメラの個数は、上記円筒状をなす曲面、上記球状型や顔型等の投影面に対応する視野角を実現するような個数であればよい。

＝＝＝その他の実施の形態＝＝＝
前述した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく変更、改良され得るとともに、本発明にはその等価物も含まれる。

前述した実施の形態では、人間に模したロボットの頭部を三次元モデル９としたが、これに限定されるものではなく、例えばロボットの体全体を三次元モデル９としてもよい。このようにすれば、例えば１つのディスプレイによりロボットの体全体の画像をあたかも実在するかの如く表示できるため、コストの面で有利になり得る。

また、前述した実施の形態では、ロボットの三次元モデル９の画像が動的に表示されるものであったが、これに限定されるものではなく、例えば、所定時期に撮影された周囲の映像に基づく画像が静的に表示されてもよい。このようにすれば、情報処理速度の比較的遅い一般の計算機を用いたロボットを実現できるため、コスト面で有利になり得る。

本実施の形態のロボット表示装置の構成例を示すブロック図である。 本実施の形態のカメラの方向及びその視野角について説明するための三次元空間座標の模式図である。 図２の三次元空間座標のｘ−ｙ平面への投影図である。 図２の三次元空間座標のｙ−ｚ平面への投影図である。 本実施の形態の三次元モデル表示部及びこれにより処理されるデータの構成を説明するための模式図である。 本実施の形態の映り込みデータ生成部及びこれにより処理されるデータの構成を説明するための模式図である。 本実施の形態の三次元モデルの頂点の座標と、テクスチャ内の点の座標との関係を示す模式図である。 本実施の形態の計算機の全体処理の手順を示すフローチャートである。 本実施の形態の計算機の映り込みデータ生成部の処理の手順を示すフローチャートである。 本実施の形態の計算機の映り込みデータ生成部の処理の手順を示すもう一つのフローチャートである。 本実施の形態の計算機の三次元モデル表示部の処理の手順を示すフローチャートである。 （ａ）は周囲が明るい場合の本実施の形態の映り込みをともなう３次元モデルの画像表示の状態を示す模式図であり、（ｂ）は周囲が暗い場合の本実施の形態の映り込みをともなう３次元モデルの画像表示の状態を示す模式図である。 本実施の形態の表示装置及びカメラのもう一つの構成例を示す模式図である。

符号の説明

１、２００ 表示装置 ２ 三次元モデル表示部
３ 三次元モデルデータ ４ 映り込みデータ
５ 映り込みデータ生成部 ６、３００ カメラ
７ 計算機 ８ 三次元モデルに生じる映り込み
９ 三次元モデル １０ 目元の拡大図
１１ 眼球の部分 １２ 皮膚の部分
１３ 光源 １４ 景色の映り込みに関するデータ
１５ 光源の映り込みに関するデータ １６ 周囲の映像に関するデータ
１７ テクスチャの画像データ
１８ テクスチャをマッピングする位置に関するデータ
１９ テクスチャと三次元モデルの表面の色とを混色する割合に関するデータ
２０ 画素数のデータ ２１ ＲＧＢ値のデータ
２２ 輝度値のデータ ２３ 光源の位置データ
２４ 光源の大きさデータ ２５ 光源の色データ
２６ 光源の明るさデータ １００ ロボット表示装置

Claims (16)

1. 画像を表示するための画像表示部と、
   仮想三次元対象物の画像を前記画像表示部に表示させるための対象物情報を記憶する対象物情報記憶部と、
   前記画像表示部の周囲における環境物の映像情報を取得するための映像情報取得部と、
   前記対象物情報記憶部に記憶された対象物情報と、前記映像情報取得部により取得された映像情報とに基づいて、前記画像表示部に表示すべき仮想三次元対象物の画像に対する前記環境物の映り込みを示す映り込み情報を生成する映り込み情報生成部と、
   前記対象物情報記憶部に記憶された対象物情報と、前記映り込み情報生成部により生成された映り込み情報とを用いて、前記環境物の映り込みを含む前記仮想三次元対象物の画像を前記画像表示部に表示させる画像表示制御部と、
   を備えたことを特徴とする画像表示装置。
2. 前記映り込み情報生成部により生成された映り込み情報を記憶する映り込み情報記憶部を更に備え、
   前記映像情報取得部は、前記映像情報を所定頻度で取得し、
   前記映り込み情報生成部は、前記映像情報取得部により前記映像情報が新たに取得される都度、前記新たに取得された映像情報に基づいて新たな前記映り込み情報を生成し、前記映り込み情報記憶部に記憶された過去の前記映り込み情報を前記新たな映り込み情報により更新し、
   前記画像表示制御部は、前記映像情報取得部により前記映像情報が新たに取得される都度、前記映り込み情報記憶部に記憶された前記新たな映り込み情報を用いる、
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記環境物は、前記画像表示部に表示すべき仮想三次元対象物の画像の周囲にある景色を含み、
   前記対象物情報は、該当の仮想三次元対象物の形状を示す形状情報を含み、
   前記映り込み情報生成部は、前記仮想三次元対象物の形状情報と、前記景色の映像情報とに基づいて、前記仮想三次元対象物に対する前記景色の映り込みの位置を示す景色位置情報を前記映り込み情報として生成する、
   ことを特徴とする請求項１又は２に記載の画像表示装置。
4. 前記対象物情報は、該当の仮想三次元対象物の鏡面反射率及び／又は透明度を示す光学情報を含み、
   前記映り込み情報生成部は、前記光学情報に更に基づいて、前記仮想三次元対象物の色及び前記景色の色を混色する割合を示す混色割合情報を前記映り込み情報として生成する、
   ことを特徴とする請求項３に記載の画像表示装置。
5. 前記映り込み情報生成部は、前記映像情報取得部により取得された映像情報に基づいて、テクスチャデータを生成する、ことを特徴とする請求項３又は４に記載の画像表示装置。
6. 前記画像表示制御部はテクスチャマッピング処理を実施する、ことを特徴とする請求項５に記載の画像表示装置。
7. 前記環境物は、前記画像表示部に表示すべき仮想三次元対象物の画像の周囲にある光源を含み、
   前記映り込み情報生成部は、前記光源の映像情報に基づいて、前記光源の位置を示す光源位置情報、前記光源の大きさを示す光源サイズ情報、前記光源の色合いを示す光源色合い情報、及び前記光源の明るさを示す光源明るさ情報のうちの少なくとも１つを前記映り込み情報として生成する、
   ことを特徴とする請求項１乃至６の何れかに記載の画像表示装置。
8. 前記映り込み情報生成部は、前記映像情報取得部により取得された映像情報に二値化処理及びラベリング処理を実施して、前記光源位置情報、前記光源サイズ情報、前記光源色合い情報、及び前記光源明るさ情報のうちの少なくとも１つを前記映り込み情報として生成する、ことを特徴とする請求項７に記載の画像表示装置。
9. 前記画像表示制御部はシェーディング処理を実施する、ことを特徴とする請求項８に記載の画像表示装置。
10. 前記仮想三次元対象物は生物の目である、ことを特徴とする請求項１乃至９の何れかに記載の画像表示装置。
11. 前記仮想三次元対象物は生物の目を含む当該生物の頭部である、ことを特徴とする請求項１乃至９の何れかに記載の画像表示装置。
12. 前記画像表示部は、多面体をなすディスプレイを有してなり、
    前記映像情報取得部は、前記多面体の各面の周囲における前記環境物の前記映像情報を取得すべく複数のカメラを有してなる、
    ことを特徴とする請求項１に記載の画像表示装置。
13. 前記画像表示部は、曲面で形成されるディスプレイを有してなり、
    前記映像情報取得部は、前記曲面の周囲における前記環境物の前記映像情報を取得すべく１つ又は複数のカメラを有してなる、
    ことを特徴とする請求項１に記載の画像表示装置。
14. 前記画像表示部は、投影型ディスプレイを有してなり、
    前記映像情報取得部は、前記投影型ディスプレイの投影面の周囲における前記環境物の前記映像情報を取得すべく１つ又は複数のカメラを有してなる、
    ことを特徴とする請求項１に記載の画像表示装置。
15. 画像を表示するための画像表示部と、仮想三次元対象物の画像を前記画像表示部に表示させるための対象物情報を記憶する対象物情報記憶部と、を有する画像表示装置の画像表示方法であって、
    前記画像表示部の周囲における環境物の映像情報を取得する映像情報取得ステップと、
    前記対象物情報記憶部に記憶された対象物情報と、前記映像情報取得ステップにおいて取得された映像情報とに基づいて、前記画像表示部に表示すべき仮想三次元対象物の画像に対する前記環境物の映り込みを示す映り込み情報を生成する映り込み情報生成ステップと、
    前記対象物情報記憶部に記憶された対象物情報と、前記映り込み情報生成ステップにおいて生成された映り込み情報とを用いて、前記環境物の映り込みを含む前記仮想三次元対象物の画像を前記画像表示部に表示させる画像表示制御ステップと、
    を備えたことを特徴とする画像表示方法。
16. 画像を表示するための画像表示部と、仮想三次元対象物の画像を前記画像表示部に表示させるための対象物情報を記憶する対象物情報記憶部と、を有する画像表示装置に画像表示方法を実施させるプログラムであって、
    前記画像表示部の周囲における環境物の映像情報を取得する映像情報取得ステップと、
    前記対象物情報記憶部に記憶された対象物情報と、前記映像情報取得ステップにおいて取得された映像情報とに基づいて、前記画像表示部に表示すべき仮想三次元対象物の画像に対する前記環境物の映り込みを示す映り込み情報を生成する映り込み情報生成ステップと、
    前記対象物情報記憶部に記憶された対象物情報と、前記映り込み情報生成ステップにおいて生成された映り込み情報とを用いて、前記環境物の映り込みを含む前記仮想三次元対象物の画像を前記画像表示部に表示させる画像表示制御ステップと、
    を備えたことを特徴とするプログラム。