JP2005092363A - 画像生成装置および画像生成プログラム - Google Patents

Abstract

【課題】 テレビ受像機等の表示画面に表示する際に鑑賞者の位置から見て常に歪みのない画像を生成することのできる画像生成装置を提供する。
【解決手段】 画像生成装置１は、鑑賞者の位置を検出する鑑賞者位置検出手段１１と、鑑賞者の位置と表示画面の画面領域とを、仮想空間上に、仮想鑑賞者位置と仮想画面領域として設定する仮想空間設定手段１２と、この仮想鑑賞者位置を仮想視点とし、仮想平面上に、仮想視点と仮想画面領域の各頂点とを通る直線と仮想平面との交点によって囲まれる領域を変換仮想画面領域とし、変換仮想画面領域を含む矩形の領域を生成画像領域として設定する仮想平面設定手段１３と、変換仮想画面領域上に表示画像を合成する画像合成手段１５と、変換仮想画面領域内の画像を生成画像領域に対応付けて変換する画像変換手段１６とを備えることを特徴とする。
【選択図】 図１

Description

本発明は、表示画面に表示する画像を生成するための技術に関し、特に、表示画面に対する鑑賞者の位置に応じて、表示画面に表示する画像を生成する画像生成装置および画像生成プログラムに関する。

従来、テレビ受像機やコンピュータディスプレイ等の表示画面に表示する映像は、鑑賞者が画面と正対して見ることを前提として表示されている。そのため、鑑賞者が表示画面に対して正対していないときには、この鑑賞者から見ると表示画面上の映像は歪んで見える。

また、プロジェクタ等の映像投射装置から、スクリーンに対してあおり投射のような正対しない位置からの投射を行った際に、投射された画像に台形歪みが生じることがある。そのため、投射する際にスクリーン上で歪みが生じない画像となるように、投射位置や投射面の位置に応じて投射する映像に、この台形歪みを打ち消すような歪みを加えることで、投射した映像に歪みを生じさせずに表示する機能が備わっている映像投射装置が開示されている（特許文献１参照）。

さらに、スクリーンに対する鑑賞者の位置に応じて、投射する映像をリアルタイムで更新し、常に鑑賞者の位置から見えるべき映像を投射するバーチャルリアリティシステムが提案されている（非特許文献１参照）。このシステムは、六方をスクリーンで囲まれた部屋に、天井からケーブルでつながった立体めがねをした鑑賞者が入り、この鑑賞者の位置を検出して、その視点、視線から見えるべき３次元構造の映像をスクリーンに投射するものである。
特開２００３−７８８４２号公報（段落０００９〜００３０、図３等） 井門 俊治、"ＣＡＶＥ研究会報告"、［online］、埼玉工業大学情報工学科、［平成１５年７月１８日検索］、インターネット＜URL:http://www.viz-journal.kgt.co.jp/topics/cave.html＞

しかしながら、通常のテレビ受像機やコンピュータディスプレイ等の表示画面に表示する映像や、特許文献１の映像投射装置は、鑑賞者が表示された映像を正対する位置から見ることを前提としたもので、鑑賞者が映像を斜めの方向から見る場合には、鑑賞者は歪んだ映像を見なければならない。そのため、その映像の内容を鑑賞者が認識しにくい、あるいは、正しく認識できないなどの問題が生じる。

また、非特許文献１のシステムでは、立体映像を鑑賞者の視点に合わせて複数のスクリーンに投射するものであるが、このシステムを実現するにはシステム専用の大掛かりな設備が必要となる。また、投射する画像を生成するためには、画像にして投射する被写体の３次元の情報が必要となり、それに基づいて各スクリーンの画像を生成するため、一般に放送されている映像やリアルタイムで撮像された映像等をこのシステムで鑑賞することはできないという問題がある。

本発明は、前記従来技術の課題を解決するために成されたもので、テレビ受像機やコンピュータディスプレイ等の一般的な表示装置を用い、表示画面に表示する際に鑑賞者の位置から見て常に歪みのない画像を、放送波やネットワークを介して配信される映像等の既存の映像や、リアルタイムで撮像された映像等から生成することのできる画像生成装置および画像生成プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の画像生成装置は、表示画像を表示画面に表示する際に、鑑賞者が前記表示画面に対して正対位置からずれた位置で前記表示画像を見たときに発生する、前記表示画像の歪みを除去するために前記表示画面に逆歪みを付加した逆歪み付加画像を生成する画像生成装置であって、鑑賞者位置検出手段と、仮想空間設定手段と、仮想平面設定手段と、画像合成手段と、画像変換手段とを備える構成とした。

かかる構成によれば、画像生成装置は、鑑賞者位置検出手段によって、鑑賞者の位置を検出し、仮想空間設定手段によって、鑑賞者位置検出手段で検出された鑑賞者の位置および表示画面の画面領域を、仮想空間上において、仮想鑑賞者位置および仮想画面領域として設定する。そして、仮想平面設定手段によって、仮想空間設定手段で設定された仮想鑑賞者位置を仮想視点とし、この仮想視点から前記仮想画面領域の中心を通る半直線を法線とする仮想平面を設定する。さらに、仮想視点と仮想画面領域の各頂点とを通る直線とこの仮想平面との交点によって囲まれる領域を、仮想平面上に変換仮想画面領域として設定し、また、この変換仮想画面領域を含み、仮想画面領域の縦横比を持つ矩形の領域を、仮想平面上に生成画像領域として設定する。

そして、画像合成手段によって、仮想平面設定手段で設定された変換仮想画面領域に表示画像の少なくとも一部が含まれるように表示画像を合成し、画像変換手段によって、画像合成手段で合成した表示画像の少なくとも一部を含む、変換仮想画面領域内の画像を生成画像領域に対応付けて変換し、逆歪み付加画像を生成する。この変換によって、表示画像に逆歪みが付加される。この表示画像に付加される逆歪みとは、鑑賞者が表示画面に対して正対位置からずれた位置で表示画像を見たときに発生する、表示画像の歪みを補正する歪みであり、この逆歪みが付加された逆歪み付加画像は、表示画面に表示する際に、鑑賞者から見て歪みのない画像となる。これによって、鑑賞者が表示画面に対して正対位置からずれた位置で見たときにも、表示画面に表示する際に鑑賞者から見て歪みのない逆歪み付加画像を、表示画像から生成することができる。

ここで、表示画面とは逆歪み付加画像を提示する提示部であり、例えば、逆歪み付加画像をディスプレイに表示する場合には、表示画面はこのディスプレイの画面にあたり、また逆歪み付加画像をプロジェクタ等の映像投射装置によってスクリーンに投射する場合には、表示画面は、この映像投射装置によって映像が投射される領域にあたるものである。

また、鑑賞者位置検出手段によって鑑賞者を検出する方法としては、例えば、２台以上のカメラで鑑賞者を撮像し、顔検出技術等の被写体検出技術によって、この撮像画像から鑑賞者の顔を検出し、鑑賞者の位置を特定するようにしても良く、また、鑑賞者に位置検出用のセンサを装着させ、鑑賞者を検出するようにしても良い。さらに、鑑賞者の位置とは、鑑賞者の視点（目）の位置を表し、例えば、カメラで撮像された撮像画像から鑑賞者の顔を検出し、鑑賞者の目の位置を特定する場合に、検出された顔の位置に目の位置までのオフセットを加え、目の位置を特定しても良いが、本発明の鑑賞者を検出する方法は、これらの方法に限定されるものではなく、鑑賞者の視点（目）の位置を検出できるものであれば良い。

さらに、画像合成手段は、表示画像を合成する際に、表示画像は少なくともその一部が変換仮想画面領域内に含まれるように合成すれば良く、例えば、表示画像全体が変換仮想画面領域内に収まるように合成しても良いし、あるいは、表示画像を生成画像領域全体に合成しても良い。ここで、表示画像全体が変換仮想画面領域内に収まるように合成すると、変換仮想画面領域内の画像を生成画像領域に対応付けて変換した後に、入力した表示画像全体が含まれる逆歪み付加画像が生成される。また、表示画像を生成画像領域全体に合成すると、変換後に、入力した表示画像が全面に合成されて、空白の部分のない逆歪み付加画像が生成される。

また、請求項２に記載の画像生成装置は、請求項１に記載の画像生成装置において、前記表示画像を生成するための３次元画像データを記憶する３次元画像データ記憶手段と、前記３次元画像データに基づいて、前記鑑賞者の位置に対応する前記表示画像を生成する表示画像生成手段とを備え、前記画像合成手段が、前記表示画像生成手段によって生成された表示画像を合成する構成とした。

かかる構成によれば、画像生成装置は、３次元画像データ記憶手段によって、表示画像を生成するための３次元画像データを記憶する。そして、表示画像生成手段によって、３次元画像データに基づいて、鑑賞者の位置に対応する表示画像を生成し、画像合成手段によってこの表示画像を合成するため、鑑賞者の位置に応じて逆歪み付加画像の内容を変えることができる。

また、請求項３に記載の画像生成プログラムは、表示画像を表示画面に表示する際に、鑑賞者が前記表示画面に対して正対位置からずれた位置で前記表示画像を見たときに発生する、前記表示画像の歪みを除去するために前記表示画面に逆歪みを付加した逆歪み付加画像を生成するために、コンピュータを、前記鑑賞者の位置を検出する鑑賞者位置検出手段、この鑑賞者位置検出手段で検出された前記鑑賞者の位置と前記表示画面の画面領域とを、仮想空間上において、仮想鑑賞者位置と仮想画面領域として設定する仮想空間設定手段、この仮想空間設定手段で設定された仮想鑑賞者位置を仮想視点とし、この仮想視点から前記仮想画面領域の中心を通る半直線を法線とする仮想平面上に、前記仮想視点と前記仮想画面領域の各頂点とを通る直線と前記仮想平面との交点によって囲まれる領域を変換仮想画面領域とし、前記変換仮想画面領域を含み、前記仮想画面領域の縦横比を持つ矩形の領域を生成画像領域として設定する仮想平面設定手段、この仮想平面設定手段で設定された前記変換仮想画面領域に、前記表示画像の少なくとも一部が含まれるように前記表示画像を合成する画像合成手段、この画像合成手段で合成した前記表示画像の少なくとも一部を含む、前記変換仮想画面領域内の画像を前記生成画像領域に対応付けて変換し、前記逆歪み付加画像を生成する画像変換手段として機能させることとした。

かかる構成によれば、画像生成プログラムは、鑑賞者位置検出手段によって、鑑賞者の位置を検出し、仮想空間設定手段によって、鑑賞者位置検出手段で検出された鑑賞者の位置と表示画面の画面領域を、仮想空間上において、仮想鑑賞者位置と仮想画面領域として設定する。そして、仮想平面設定手段によって、仮想空間設定手段で設定された仮想鑑賞者位置を仮想視点とし、この仮想視点から前記仮想画面領域の中心を通る半直線を法線とする仮想平面を設定する。さらに、仮想視点と仮想画面領域の各頂点とを通る直線とこの仮想平面との交点によって囲まれる領域を、仮想平面上に変換仮想画面領域として設定し、また、変換仮想画面領域を含み、仮想画面領域の縦横比を持つ矩形の領域を、仮想平面上に生成画像領域として設定する。

そして、画像合成手段によって、仮想平面設定手段で設定された変換仮想画面領域に表示画像の少なくとも一部が含まれるように、表示画像を合成し、画像変換手段によって、画像合成手段で合成した表示画像の少なくとも一部を含む、変換仮想画面領域内の画像を生成画像領域に対応付けて変換し、逆歪み付加画像を生成する。これによって、鑑賞者が前記表示画面に対して正対位置からずれた位置で見たときにも、表示画面に表示する際に鑑賞者から見て歪みのない逆歪み付加画像を、表示画像から生成することができる。

本発明に係る画像生成装置および画像生成プログラムでは、以下のような優れた効果を奏する。

請求項１または請求項３に記載の発明によれば、鑑賞者の位置を検出し、その位置に基づいて、表示画面に表示した際に鑑賞者の位置から見た時に発生する歪みを除去するための逆歪みを付加した画像を、表示画像から生成することができる。これによって、生成された逆歪み付加画像を表示画面に表示する際に、鑑賞者が表示画面に対して正対位置からずれた位置で見る場合であっても、鑑賞者がその内容を正しく認識できるようになる。また、既存の画像からも逆歪み付加画像を生成することができ、さらに、専用の表示装置を必要としないため、例えば、放送波等を介して配信される映像をテレビ受像機の画面に表示する場合や、あるいは、テレビ電話のようにリアルタイムで撮影した映像を表示画面に表示する場合など、表示画面に表示する様々な画像（映像）に対して適用することができる。

請求項２に記載の発明によれば、画像生成装置は、鑑賞者の位置に基づいて、表示画像を生成して合成するため、鑑賞者の位置に応じて逆歪み付加画像の内容を変えることができる。これによって、鑑賞者の位置に応じた情報を提供できる画像を生成することができ、例えば、鑑賞者が見たい部分の画像が表示されるようにその位置を変化させた場合に、鑑賞者の見たい部分の画像を表示画面に表示するようにすることができる。

以下、本発明の実施の形態について図面を参照して説明する。この実施の形態では、二つの実施の形態について説明する。

［画像生成装置の構成（第一の実施の形態）］
図１は、本発明における第一の実施の形態である画像生成装置の構成を示したブロック図である。画像生成装置１は、テレビ番組等の映像が入力され、入力された映像のフレームごとに、表示画面に表示する際に鑑賞者の位置から見て歪みのない画像となるような逆歪み付加画像を生成するものである。ここでは、画像生成装置１は、鑑賞者位置検出手段１１と、仮想空間設定手段１２と、仮想平面設定手段１３と、入力手段１４と、画像合成手段１５と、画像変換手段１６と、表示手段１７とを備えている。また、ここでは、画像生成装置１は、鑑賞者の位置を検出するための２台の位置検出カメラ２，２、画像等を表示する表示装置４とを外部に接続している。

鑑賞者位置検出手段１１は、位置検出カメラ２，２から撮像画像を入力し、鑑賞者の目（視点）の位置を検出するものである。鑑賞者位置検出手段１１は、鑑賞者検出部１１ａと鑑賞者位置算出部１１ｂとを備える。

鑑賞者検出部１１ａは、位置検出カメラ２，２の撮像画像から鑑賞者の顔を検出するものである。ここでは、２台の位置検出カメラ２，２によって鑑賞者を撮像し、各々の撮像画像から鑑賞者の顔を検出する。なお、この鑑賞者検出部１１ａにおける顔検出は、公知の顔検出の技術を用いて実現することができる。また、位置検出カメラ２，２によって撮像された撮像画像から鑑賞者の位置を検出する方法は顔検出に限定される必要は無く、撮像画像から人物を検出する検出方法であれば良い。さらに、ここでは位置検出カメラ２，２によって撮像された撮像画像から鑑賞者の位置を検出しているが、例えば、鑑賞者に位置検出用のセンサを装着させて、そのセンサから発せられる信号に基づいて、鑑賞者検出部１１ａが鑑賞者を検出するようにしても良い。

鑑賞者位置算出部１１ｂは、鑑賞者検出部１１ａで検出した検出結果から鑑賞者の目（視点）の位置を算出するものである。鑑賞者位置算出部１１ｂは、鑑賞者検出部１１ａから、位置検出カメラ２，２によって撮像された撮像画像について鑑賞者の顔を検出した検出結果が入力され、その検出結果から鑑賞者の目（視点）の位置を算出する。なお、ここでは位置検出カメラ２を２台備える構成としているが、画像生成装置１は、鑑賞者の目の３次元の位置を算出するために、位置検出カメラを２台以上備えていれば良い。そして、ここで算出した算出結果は、仮想空間設定手段１２へ出力される。

仮想空間設定手段１２は、鑑賞者位置算出部１１ｂから入力される鑑賞者の目の位置の算出結果と、予め登録された表示装置４の表示画面の位置および大きさとに基づいて、鑑賞者の目の位置と、表示装置４の表示画面の領域とを、仮想空間上に設定するものである。仮想空間設定手段１２は、仮想画面領域設定部１２ａと仮想鑑賞者位置設定部１２ｂとを備える。

仮想画面領域設定部１２ａは、予め登録された表示装置４の表示画面の位置および大きさに基づいて、仮想空間の座標軸を設定し、表示装置４の表示画面の領域を、この仮想空間上に、仮想画面領域として設定するものである。そして、仮想画面領域設定部１２ａは、この仮想空間上の仮想画面領域を表す仮想画面領域情報を仮想平面設定手段１３に出力する。

仮想鑑賞者位置設定部１２ｂは、鑑賞者位置算出部１１ｂから入力される鑑賞者の目の位置の算出結果と、予め登録された位置検出カメラ２，２の位置とに基づいて、鑑賞者の目の位置を、仮想画面領域設定部１２ａによって設定された仮想空間上に、仮想鑑賞者位置として設定するものである。そして、仮想鑑賞者位置設定部１２ｂは、仮想空間上の仮想鑑賞者位置を表す仮想鑑賞者位置情報を仮想平面設定手段１３に出力する。

ここで、図２を参照（適宜図１参照）して、仮想空間上に仮想鑑賞者位置と仮想画面領域を設定する例について説明する。図２（ａ）は、表示装置４と位置検出カメラ２，２と、鑑賞者Ｖが実空間に配置されている状態を示した説明図、（ｂ）は、仮想空間上に仮想鑑賞者位置と仮想画面領域を設定する例を示した説明図である。

図２（ａ）に示すように、表示装置４と位置検出カメラ２，２と、鑑賞者Ｖが実空間に配置されている。そして、仮想空間設定手段１２には、鑑賞者位置算出部１１ｂから、位置検出カメラ２，２によって撮像された撮像画像に基づいて算出された鑑賞者の位置が入力される。そして、仮想画面領域設定部１２ａは、予め登録された表示装置４の表示画面の位置に基づいて、図２（ｂ）に示す、仮想空間の座標軸を設定する。つまり、表示装置４の表示画面の中心点Ｐｏからの地平面への垂線と地平面との交点を空間座標の原点Ｏとして、この原点Ｏを通り、表示画面の長手方向に平行なＸ軸、原点Ｏから鉛直方向にＹ軸、Ｘ軸とＹ軸に対して直交する方向にＺ軸を設定する。

そして、予め登録された表示装置４の表示画面の位置と大きさとに基づいて、この仮想空間上に仮想画面領域Ｄｖを設定する。ここで、表示画面の位置として、表示画面の中心Ｐｏの地表面から高さがｈ、表示画面の大きさとして、表示画面の幅と高さがそれぞれ２ｗと２ｔであることが予め登録されていたとする。そこで、仮想画面領域設定部１２ａは、仮想画面領域Ｄｖの中心Ｐｏの座標がＰｏ＝（０，ｈ，０）、仮想画面領域Ｄｖの頂点Ｐａ，Ｐｂ，Ｐｃ，Ｐｂの座標がＰａ＝（−ｗ，ｈ＋ｔ，０）、Ｐｂ＝（−ｗ，ｈ−ｔ，０）、Ｐｃ＝（ｗ，ｈ−ｔ，０）、Ｐｄ＝（ｗ，ｈ＋ｔ，０）となる仮想画面領域Ｄｖを設定し、仮想画面領域Ｄｖの中心Ｐｏの座標と各頂点Ｐａ，Ｐｂ，Ｐｃ，Ｐｂの座標を仮想画面領域情報として仮想平面設定手段１３に出力する。

また、仮想鑑賞者位置設定部１２ｂは、鑑賞者位置算出部１１ｂから入力される鑑賞者の目の位置の算出結果と、予め登録された位置検出カメラ２，２の位置とに基づいて、鑑賞者の目の位置を、図２（ｂ）に示す仮想空間上に、仮想鑑賞者位置として設定する。ここで、位置検出カメラ２，２の位置と表示画面の位置と、鑑賞者位置算出部１１ｂから入力される鑑賞者の目の位置の算出結果とに基づいて、鑑賞者の位置Ｐｐの座標がＰｐ＝（ｘｐ，ｙｐ，ｚｐ）と算出されたとする。そこで、仮想鑑賞者位置設定部１２ｂは、鑑賞者の位置Ｐｐの座標を仮想鑑賞者位置情報として仮想平面設定手段１３に出力する。

図１に戻って説明を続ける。仮想平面設定手段１３は、仮想空間設定手段１２から入力される仮想鑑賞者位置情報と仮想画面領域情報とに基づいて、仮想鑑賞者位置を仮想視点とし、この仮想視点から前記仮想画面領域の中心を通る半直線を法線とする仮想平面を設定し、この仮想平面上に変換仮想画面領域と生成画像領域とを設定するものである。仮想平面設定手段１３は変換仮想画面領域設定部１３ａと生成画像領域設定部１３ｂとを備える。

変換仮想画面領域設定部１３ａは、仮想空間設定手段１２から入力される仮想鑑賞者位置情報と仮想画面領域情報とに基づいて、仮想視点（仮想鑑賞者位置）から前記仮想画面領域の中心を通る半直線を法線とする仮想平面を設定し、この仮想平面上に変換仮想画面領域を設定するものである。この変換仮想画面領域は、仮想画面領域の各頂点と仮想視点とを通る直線と仮想平面との交点によって囲まれる領域である。

生成画像領域設定部１３ｂは、変換仮想画面領域設定部１３ａで設定された変換仮想画面領域を含み、仮想画面領域と同じ縦横比を持つ矩形の領域を、仮想平面上に生成画像領域として設定するものである。そして、生成画像領域設定部１３ｂは、この仮想平面上に座標軸を設定し、この生成画像領域と、変換仮想画面領域設定部１３ａで設定された変換仮想画面領域とを仮想平面上の座標に変換し、仮想平面上における変換仮想画面領域を表す変換仮想画面領域情報と、生成画像領域を表す生成画像領域情報とを画像合成手段１５に出力する。

ここで、図３を参照（適宜図１参照）して、仮想平面上に変換仮想画面領域と生成画像領域を設定する例について説明する。図３（ａ）は、仮想平面上に変換仮想画面領域を設定する例を示した説明図、（ｂ）は、仮想平面上に生成画像領域を設定する例を示した説明図である。

まず、変換仮想画面領域設定部１３ａに、仮想空間設定手段１２から、仮想鑑賞者位置情報と仮想画面領域情報が入力される。そして、図３（ａ）に示すように、変換仮想画面領域設定部１３ａは、仮想鑑賞者位置情報の示す鑑賞者の位置を仮想視点Ｐｐとし、この仮想視点Ｐｐから仮想画面領域Ｄｖの中心Ｐｏを通る半直線を法線とする仮想平面を設定する。例えば、仮想鑑賞者位置情報に仮想視点Ｐｐの座標としてＰｐ＝（ｘｐ，ｙｐ，ｚｐ）、仮想画面領域情報に仮想画面領域Ｄｖの中心Ｐｏの座標としてＰｏ＝（０，ｈ，０）が含まれている場合に、変換仮想画面領域設定部１３ａは、仮想視点Ｐｐから仮想画面領域の中心Ｐｏを通る半直線を設定し、この半直線を法線とする仮想平面を設定する。つまり、この半直線と同じ傾きを持つベクトルとして、仮想視点Ｐｐから仮想画面領域Ｄｖの中心Ｐｏへのベクトルｖ＝（−ｘｐ，ｈ−ｙｐ，−ｚｐ）を算出し、このベクトルｖに直交する仮想平面Ｓを設定する。なお、図３（ａ）では仮想平面Ｓを仮想視点Ｐｐと仮想画面領域Ｄｖの中心Ｐｏの間に設定しているが、この仮想平面は仮想視点Ｐｐから見て仮想画面領域Ｄｖの中心Ｐｏを隔てる位置に設定するようにしても良く、また、仮想画面領域Ｄｖの中心Ｐｏを含む位置に設定するようにしても良い。

さらに、変換仮想画面領域設定部１３ａは、仮想平面上に変換仮想画面領域を設定する。つまり、図３（ａ）に示すように、変換仮想画面領域設定部１３ａは、仮想画面領域Ｄｖの各頂点Ｐａ，Ｐｂ，Ｐｃ，Ｐｄと仮想視点Ｐｐとを通る直線Ｌａ，Ｌｂ，Ｌｃ，Ｌｄと仮想平面Ｓとの交点Ｐａ’，Ｐｂ’，Ｐｃ’，Ｐｄ’によって囲まれる領域を変換仮想画面領域Ｄｖ’として設定する。

そして、生成画像領域設定部１３ｂは、変換仮想画面領域設定部１３ａによって設定された変換仮想画面領域を含む生成画像領域を仮想平面Ｓ上に設定する。つまり図３（ｂ）に示すように、生成画像領域設定部１３ｂは、仮想平面Ｓ上に変換仮想画面領域設定部１３ａで設定された変換仮想画面領域Ｄｖ’を含み、仮想画面領域Ｄｖと同じ縦横比を持つ矩形の領域を生成画像領域Ｉｖとして設定する。

さらに、生成画像領域設定部１３ｂは、この仮想平面上に座標軸を設定し、この生成画像領域と変換仮想画面領域とを仮想平面上の座標に変換する。例えば、図３（ｂ）に示すように、生成画像領域設定部１３ｂは生成画像領域Ｉｖの各頂点Ｐａ”，Ｐｂ”，Ｐｃ”，Ｐｄ”の仮想平面Ｓ上の座標ｓｐａ”，ｓｐｂ”，ｓｐｃ”，ｓｐｄ”がｓｐａ”＝（０，１）、ｓｐｂ”＝（０，０）、ｓｐｃ”＝（１，０）、ｓｐｄ”＝（１，１）となるように、仮想平面Ｓの座標軸ｓｘとｓｙを設定し、変換仮想画面領域Ｄｖ’の頂点Ｐａ’，Ｐｂ’，Ｐｃ’，Ｐｄ’を仮想平面上の座標ｓｐａ’，ｓｐｂ’，ｓｐｃ’，ｓｐｄ’に変換する。そして、生成画像領域設定部１３ｂは、変換仮想画面領域Ｄｖ’の頂点ｓｐａ’，ｓｐｂ’，ｓｐｃ’，ｓｐｄ’の仮想平面Ｓ上の座標を変換仮想画面領域情報として、生成画像領域Ｉｖの頂点ｓｐａ”，ｓｐｂ”，ｓｐｃ”，ｓｐｄ”の仮想平面Ｓ上の座標を生成画像領域情報として画像合成手段１５に出力する。

図１に戻って説明を続ける。入力手段１４は、表示画像を入力するものである。この入力手段１４によって入力される表示画像は、例えば、後記する画像変換手段１６によって変換され、表示画面に対して正対位置からずれた位置で見たときに発生する歪みを除去されるものである。入力された表示画像は、画像合成手段１５へ出力される。

画像合成手段１５は、仮想平面設定手段１３で設定された仮想平面上に表示画像を合成する領域である画像合成領域を設定し、この画像合成領域に入力手段１４から入力された表示画像を合成するものである。画像合成手段１５は、画像合成領域設定部１５ａと画像合成実行部１５ｂとを備える。

画像合成領域設定部１５ａは、仮想平面設定手段１３で設定された仮想平面上に、入力手段１４から入力された表示画像を合成する領域である画像合成領域を設定するものである。

画像合成実行部１５ｂは、画像合成領域設定部１５ａで設定された画像合成領域内に、入力手段１４から入力された表示画像を合成するものである。このとき、画像合成実行部１５ｂは、表示画像の少なくとも一部が変換仮想画面領域に含まれるように表示画像を合成する。そして、画像合成実行部１５ｂによって、表示画像を合成された生成画像領域上の画像は、画像変換手段１６に出力される。

ここで、画像合成実行部１５ｂが、表示画像の少なくとも一部が変換仮想画面領域に含まれるように表示画像を合成するためには、画像合成領域設定部１５ａは、画像合成領域と変換仮想画面領域の少なくとも一部が重複するように、画像合成領域を設定する必要がある。そして、画像合成領域設定部１５ａによって設定される画像合成領域と変換仮想画面領域との重複する範囲の画像が、後記する画像変換手段１６によって変換されて生成される逆歪み付加画像に含まれる画像となる。よって、例えば、画像合成領域設定部１５ａが、変換仮想画面領域にこの画像合成領域全体を含ませるように画像合成領域を設定するようにすると、画像変換手段１６によって変換されて生成される逆歪み付加画像には、合成した表示画像全体を含ませることができる。また、画像合成領域設定部１５ａが、変換仮想画面領域に画像合成領域の一部を含ませるように画像合成領域を設定するようにすると、画像変換手段１６によって変換して生成される逆歪み付加画像には、合成した表示画像のうち、画像合成領域と変換仮想画面領域の重複する範囲の画像のみを含ませることができる。

ここで、図４を参照（適宜図１参照）して、画像合成手段１５が、仮想平面上に画像合成領域を設定し、表示画像を合成する例について説明する。図４は、仮想平面上に画像合成領域を設定し、表示画像を合成する例を示した説明図である。

画像合成領域設定部１５ａは、生成画像領域設定部１３ｂから入力された変換仮想画面領域情報と生成画像領域情報とに基づいて、仮想平面設定手段１３で設定された仮想平面上に画像合成領域を設定する。例えば、図４に示すように、生成画像領域設定部１３ｂによって、仮想平面Ｓ上に頂点ｓｐａ’，ｓｐｂ’，ｓｐｃ’，ｓｐｄ’をもつ変換仮想画面領域Ｄｖ’と、頂点ｓｐａ”，ｓｐｂ”，ｓｐｃ”，ｓｐｄ”をもつ生成画像領域Ｉｖとが設定されたとする。そして、画像合成領域設定部１５ａは、変換仮想画面領域Ｄｖ’内に、頂点ｓｐｅ、ｓｐｆ、ｓｐｇ、ｓｐｈによって囲まれる画像合成領域Ｄｉを設定する。

さらに、画像合成実行部１５ｂは、画像合成領域に入力手段１４から入力された表示画像を合成する。図４では、入力手段１４から、「正しいアスペクト」という文字が描画された表示画像が入力されたとして、この表示画像を画像合成領域Ｄｉに合成している。そして、画像合成実行部１５ｂは、生成画像領域Ｉｖ内の画像を、画像変換手段１６に出力する。

図１に戻って説明を続ける。画像変換手段１６は、画像合成実行部１５ｂから入力された生成画像領域上の画像から、変換仮想画面領域内の画像を生成画像領域に対応付けて変換し、逆歪み付加画像を生成するものである。ここで、画像変換手段１６は、画像合成実行部１５ｂから入力された生成画像領域上の画像に含まれる、変換仮想画面領域内の画像を、変換仮想画面領域を生成画像領域に一致させるように変形させる（変換する）。そして、この変換された画像を逆歪み付加画像として表示手段１７に出力する。

ここで、図４および図５を参照（適宜図１参照）して、画像合成実行部１５ｂから入力された生成画像領域上の画像から、変換仮想画面領域内の画像を生成画像領域に対応付けて変換し、逆歪み付加画像を生成する例について説明する。図５（ａ）は、図４の変換仮想画面領域内の画像を生成画像領域に対応付けて変換した逆歪み付加画像を示した説明図、（ｂ）は、（ａ）の逆歪み付加画像を表示画面に表示して鑑賞者の位置から見たときの逆歪み付加画像を示した説明図である。

図４に示すような、生成画像領域Ｉｖ内の画像が画像合成実行部１５ｂから入力された場合に、画像変換手段１６は、変換仮想画面領域Ｄｖ’内の画像を生成画像領域に対応付けて変換し、逆歪み付加画像を生成する。つまり、画像変換手段１６は、図４の変換仮想画面領域Ｄｖ’の頂点ｓｐａ’，ｓｐｂ’，ｓｐｃ’，ｓｐｄ’が、それぞれ生成画像領域Ｉｖの頂点ｓｐａ”，ｓｐｂ”，ｓｐｃ”，ｓｐｄ”と一致するように、変換仮想画面領域Ｄｖ’内の画像を変形させる処理を行う。この変換仮想画面領域Ｄｖ’内の画像の変換は、透視変換などの画像変換技術によって実現できる。

そして、この変換によって、変換仮想画面領域Ｄｖ’内の画像全体が変形され、変換仮想画面領域Ｄｖ’内の画像は、図５（ａ）に示すように、鑑賞者の位置に対応して変形された画像、つまり、逆歪みが付加された画像となり、この逆歪み付加画像は、表示画面に表示して鑑賞者の位置から見ると、図５（ｂ）のように見えるものとなる。

図１に戻って説明を続ける。表示手段１７は、画像変換手段１６から入力された逆歪み付加画像を解析して、表示可能な出力形式に変換して表示装置４へ出力するものである。

以上、本発明に係る画像生成装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、ここでは、画像生成装置１によって生成された逆歪み付加画像を、外部に接続した表示装置４によって表示する場合について説明したが、表示装置４の代わりに、外部に映像投射装置を接続して、画像生成装置１によって生成された逆歪み付加画像を、映像投射装置から投射させてスクリーン等に表示する構成としても良い。この場合、画像生成装置１は、スクリーン上の画像を投射する領域の大きさと位置とを予め登録しておき、仮想空間設定手段１２によって、鑑賞者の位置と、画像を投射する領域とを仮想空間上に仮想鑑賞者位置と仮想画面領域として設定し、画像変換手段１６によって変換された逆歪み付加画像を、映像投射装置に出力することで実現できる。

なお、画像生成装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることで実現することができる。このプログラム（画像生成プログラム）は、通信回線を介して配布することもできるし、また、ＣＤ−ＲＯＭ等の記録媒体に記録して配布することも可能である。

［画像生成装置の動作（第一の実施の形態）］
次に、図６を参照（適宜図１参照）して、本発明における画像生成装置１の動作について説明する。図６は、画像生成装置が、表示画面に対して正対位置からずれた位置で鑑賞者が表示画像を見たときに発生する、画像の歪みを除去した逆歪み付加画像を生成する動作を示したフローチャートである。

画像生成装置１は、表示装置４の表示画面の位置および大きさと、位置検出カメラ２，２の位置を登録する（ステップＳ１１）。ここで、表示画面の位置と大きさとは、例えば、表示画面の中心の位置（地表面からの高さ）と表示画面の幅と高さや、表示画面の下辺左端の地表面からの高さと表示画面の縦と横の辺の長さなどで表しても良いし、あるいは、基準となる座標軸を設けておき、その座標によって表すようにしても良い。また、位置検出カメラ２，２の位置とは、表示画面からの位置を特定できるものであれば良い。

また、画像生成装置１は、鑑賞者を撮像した撮像画像を、位置検出カメラ２，２から入力する（ステップＳ１２）。

（鑑賞者位置検出ステップ）
そして、鑑賞者位置検出手段１１の鑑賞者検出部１１ａは、位置検出カメラ２，２から入力された各々の撮像画像から鑑賞者の顔を検出する（ステップＳ１３）。さらに、鑑賞者位置検出手段１１の鑑賞者位置算出部１１ｂは、鑑賞者検出部１１ａで検出された検出結果から鑑賞者の目（視点）の位置を算出する（ステップＳ１４）。

（仮想空間設定ステップ）
そして、仮想空間設定手段１２の仮想画面領域設定部１２ａは、仮想空間の座標軸を設定する（ステップＳ１５）。さらに、仮想画面領域設定部１２ａは、ステップＳ１１において登録された表示画面の位置と大きさに基づいて、仮想空間上に仮想画面領域を設定する（ステップＳ１６）。また、仮想空間設定手段１２の仮想鑑賞者位置設定部１２ｂは、ステップＳ１４において、鑑賞者位置算出部１１ｂによって算出された鑑賞者の目の位置の算出結果と、予め登録された位置検出カメラ２，２の位置とに基づいて、鑑賞者の目の位置を仮想空間上に仮想鑑賞者位置として設定する（ステップＳ１７）。

（仮想平面設定ステップ）
そして、仮想平面設定手段１３の変換仮想画面領域設定部１３ａは、ステップＳ１６において設定された仮想画面領域の中心の位置（仮想空間上の座標）と、ステップＳ１７において設定された仮想鑑賞者位置（仮想空間上の座標）とに基づいて、仮想視点（仮想鑑賞者位置）から前記仮想画面領域の中心を通る半直線を法線とする仮想平面を設定する（ステップＳ１８）。さらに、変換仮想画面領域設定部１３ａは、ステップＳ１６において設定された仮想画像領域の各頂点と仮想視点とを通る直線と仮想平面との交点の座標を算出し、仮想平面上のこれらの交点によって囲まれる領域を変換仮想画面領域として設定する（ステップＳ１９）。さらに、仮想平面設定手段１３の生成画像領域設定部１３ｂは、ステップＳ１９において、変換仮想画面領域設定部１３ａによって設定された変換仮想画面領域を含み、仮想画面領域と同じ縦横比の矩形の領域を、仮想平面上に生成画像領域として設定する（ステップＳ２０）。また、生成画像領域設定部１３ｂは、仮想平面上に座標軸を設定し、生成画像領域と変換仮想画面領域とを仮想平面上の座標に変換する（ステップＳ２１）。

そして、入力手段１４は、表示画面に表示するための表示画像を入力する（ステップＳ２２）。

（画像合成ステップ）
また、画像合成手段１５の画像合成領域設定部１５ａは、ステップＳ１８において、仮想平面設定手段１３によって設定された仮想平面上に画像合成領域を設定する（ステップＳ２３）。そして、画像合成手段１５の画像合成実行部１５ｂは、この仮想平面上の画像合成領域に、ステップＳ２２において入力された表示画像を合成する（ステップＳ２４）。

（画像変換ステップ）
さらに、画像変換手段１６は、ステップＳ２４において表示画像を合成された生成画像領域上の画像から、変換仮想画面領域内の画像を生成画像領域に対応付けて変換し、逆歪み付加画像を生成する（ステップＳ２５）。

そして、表示手段１７は、ステップＳ２５で生成された逆歪み付加画像を表示装置４の表示画面に表示する（ステップＳ２６）。

そして、表示画面を生成する動作を終了しない場合（ステップＳ２７でＮｏ）、つまり新たな表示画像が入力手段１４から入力される場合には、ステップＳ１２に戻って、位置検出カメラ２，２から撮像画像を入力する動作以降の動作を行う。一方、表示画面を生成する動作を終了する場合（ステップＳ２７でＹｅｓ）、つまり新たな表示画像が入力手段１４から入力されない場合には、動作を終了する。

以上の動作によって、画像生成装置１は、位置検出カメラから入力される撮像画像から、鑑賞者の位置を検出し、その鑑賞者の位置と表示画面の位置と大きさとに基づいて、表示画面に対して正対位置からずれた位置で鑑賞者が見たときに発生する歪みを除去するための逆歪みを入力される表示画像に付加した逆歪み付加画像を生成することができる。そして、入力される表示画像ごとに鑑賞者の位置を検出して、逆歪みを付加した画像を生成するため、鑑賞者の表示画面に対する位置を常時検出し、鑑賞者から見て常に歪みの無い映像を生成することができる。

なお、ここでは、仮想平面設定手段１３の生成画像領域設定部１３ｂが、仮想平面上に生成画像領域を設定した（ステップＳ２０）後に、仮想平面上に座標軸を設定して変換仮想画面領域と生成画像領域とを平面座標に変換し（ステップＳ２１）、続いて、画像合成手段１５の画像合成領域設定部１５ａが、仮想平面上に画像合成領域を設定し（ステップＳ２３）、さらに、画像合成実行部１５ｂが、この画像合成領域に表示画像を合成する（ステップＳ２４）場合について説明したが、生成画像領域設定部１３ｂによって設定される生成画像領域は、画像変換手段１６が、変換画像領域内の画像を変換する（ステップＳ２５）前に設定されていれば良く、例えば、画像変換装置１が、変換仮想画面領域を設定した（ステップＳ１９）後に、仮想平面上に座標軸を設定して変換仮想画面領域を平面座標に変換し（ステップＳ２１）、そして、この仮想平面上に画像合成領域を設定して（ステップＳ２３）、この画像合成領域に表示画像を合成し（ステップＳ２４）、その後に、仮想平面上に生成画像領域を設定する（ステップＳ２０）ようにしても良い。

［画像生成装置の利用例１］
次に、図７を参照（適宜図１参照）して、本発明にかかる画像生成装置の利用例について説明する。ここでは、テレビスタジオでの合成映像の制作時に、出演者には見えるが、テレビカメラには映らない間欠投射光の技術（特願２００１−１４２２６２号公報参照）によって、出演者に文字や図などの情報の提示を行う場合に、この画像生成装置１を適用する例について説明する。図７（ａ）は、出演者への情報を提示するための表示画像を投射装置から投射する例を示した説明図、（ｂ）は、出演者への情報を提示するための表示画像を、画像生成装置（図示せず）によって、出演者から見た画像の歪みを除去して投射装置から投射する状態を示す説明図である。

従来、図７（ａ）に示すように、投射装置Ｒによって、出演者Ｖへの情報を提示するための表示画像をそのまま投射すると、投射された映像Ｉの近くに出演者Ｖがいる場合には、この出演者Ｖから見ると映像Ｉは歪んで見える。

そこで、スタジオ内の天井等に位置検出カメラ２，２（図示せず）を設置して、出演者Ｖを含めたスタジオ内を撮像し、この撮像画像を画像生成装置１に入力するようにする。また、画像生成装置１には、出演者Ｖに対する文字や図などの情報を含んだ表示画像を入力し、この表示画像を投射するための投射装置を接続して、生成された逆歪み付加画像を投射装置からスクリーン等に投射させるようにする。また、投射装置Ｒによって画像が投射される部分の位置と大きさとを予め画像生成装置１に登録しておく。すると、画像生成装置１は、位置検出カメラ２によって撮像された撮像画像から出演者Ｖの位置を検出して、この出演者Ｖの位置と、画像が投射される部分の位置および大きさとに応じて、出演者Ｖから見た画像の歪みを除去した逆歪み付加画像を生成する。そして、図７（ｂ）に示すように、投射装置Ｒによって、出演者Ｖから見て歪みの無い画像Ｉ’が投射される。このように、出演者に文字や図などの情報の提示する際に画像生成装置１を適用することで、投射（表示）される映像（画像）の近くに出演者（鑑賞者）がいる場合でも、出演者から見て歪みを除去した映像を表示することができ、出演者に対して有効に情報を提示することができる。

［画像生成装置の利用例２］
次に、図８を参照（適宜図１参照）して、本発明にかかる画像生成装置１の他の利用例について説明する。ここでは、テレビ受像機にこの画像生成装置１を適用し、鑑賞者のテレビ受像機からの位置に応じて、テレビ番組とそれ以外の情報とを含む逆歪み付加画像を生成してテレビ受像機に表示させる例について説明する。図８（ａ）は、鑑賞者が表示画面に正対する位置から、画像生成装置（図示せず）によって生成された逆歪み付加画像を見る状態を示す説明図、（ｂ）は、鑑賞者が表示画面に対して上の位置から、画像生成装置（図示せず）によって生成された逆歪み付加画像を見る状態を示す説明図、（ｃ）は、鑑賞者が表示画面に対して左の位置から、画像生成装置（図示せず）によって生成された逆歪み付加画像を見る状態を示す説明図である。

図８（ａ）に示すように、鑑賞者Ｖがテレビ受像機の表示画面Ｆに正対する位置から表示画面Ｆを見る場合には、画像生成装置１は、位置検出カメラ２，２から入力される撮像画像から鑑賞者Ｖの位置を検出し、表示画面Ｆ全体にテレビ番組の映像を表示させる。

また、鑑賞者Ｖが表示画面Ｆの正対位置から大きくずれた位置で表示画面Ｆを見ると、画像生成装置１は、位置検出カメラ２，２から入力される撮像画像から鑑賞者Ｖの位置を検出する。そして、検出された表示画面Ｆに対する鑑賞者Ｖの位置に応じて、画像生成装置１は、画像合成手段１５の画像合成領域設定部１５ａによって、仮想平面上の変換仮想画面領域内に二つ以上の画像合成領域を設定する。ここで、画像生成装置１には、外部からテレビ番組の映像以外に、他の情報を含む画像を入力されており、画像合成実行部１５ｂは、設定された複数の画像合成領域にそれぞれ異なる表示画像を合成する。これによって、鑑賞者のテレビ受像機からの位置に応じて、テレビ受像機にテレビ番組とそれ以外の情報とを含む逆歪み付加画像を表示することができる。

例えば、図８（ｂ）の例は、鑑賞者Ｖがテレビ受像機の表示画面Ｆに対して上の位置から表示画面Ｆを見る場合を示し、このとき、画像生成装置１は、画像合成領域設定部１５ａによって、検出された鑑賞者Ｖの位置に応じて変換仮想画面領域内に上下に２つの画像合成領域を設定する。そして、画像生成装置１は、画像合成実行部１５ｂによって、上に位置する画像合成領域にはテレビ番組の画像を、下に位置する画像合成領域には、例えば、外部から入力された、時刻を表示する画像を合成する。さらに、画像生成装置１は、画像変換手段１６によって、この画像を変換して逆歪み付加画像を生成し、表示手段１７によって、この逆歪み付加画像を表示画面Ｆに表示させる。これによって、鑑賞者Ｖが上の位置から見ているにもかかわらず、テレビ受像機に表示された逆歪み付加画像は鑑賞者Ｖから見て歪みのない画像となり、さらに、テレビ番組の映像の下には時刻の画像Ｉ₁が表示されたものとなっている。

また、図８（ｃ）の例は、鑑賞者Ｖがテレビ受像機の表示画面Ｆに対して左の位置から表示画面Ｆを見る場合を示し、このとき、画像生成装置１は、検出された鑑賞者Ｖの位置に応じて変換仮想画面領域内に左右に２つの画像合成領域を設定する。そして、画像生成装置１は、左に位置する画像合成領域にはテレビ番組の画像を、右に位置する画像合成領域には、例えば、外部から入力された、テレビ受像機の調整メニューを表示する画像を合成する。さらに、画像生成装置１は、この画像を変換して逆歪み付加画像を生成し、この逆歪み付加画像を表示画面Ｆに表示させる。これによって、表示された逆歪み付加画像は、鑑賞者Ｖから見て歪みのない画像となり、さらに、テレビ番組の映像の右にはテレビ受像機の調整メニューの画像Ｉ₂が表示されたものとなっている。

これによって、画像生成装置１は、複数の表示画像を同時に入力し、表示画面に対する鑑賞者の位置に基づいて一以上の表示画像を合成し、表示画面に表示した際に鑑賞者から見て歪みが生じない逆歪み付加画像を生成する。このとき、鑑賞者の位置に応じて複数の表示画像を組み合わせた画像を表示することができるため、鑑賞者が所望する情報を含む画像を提示させるために表示画面に対する位置を変えることで、画像生成装置１は、その位置に対応する画像、つまり鑑賞者の所望する画像を含む逆歪み付加画像を生成し、表示画面に表示させることができる。

［画像生成装置（第二の実施の形態）］
次に、図９を参照して、本発明における第二の実施の形態である画像生成装置１Ｂについて説明する。図９は、本発明における第二の実施の形態である画像生成装置の構成を示したブロック図である。図９に示すように、画像生成装置１Ｂは、鑑賞者の位置に基づいて画像（コンピュータグラフィックス）を生成し、その画像から逆歪み付加画像を生成するものである。

画像生成装置１Ｂは、画像生成装置１に、仮想平面設定手段１３Ｂと、画像合成手段１５Ｂと、表示画像生成手段１８と、描画データベース１９とを付加して構成した。画像生成装置１内の仮想平面設定手段１３Ｂ、画像合成手段１５Ｂ、表示画像生成手段１８および描画データベース１９以外の構成は、図１に示したものと同一であるので、同一の符号を付し、説明を省略する。

仮想平面設定手段１３Ｂは、仮想鑑賞者位置を仮想視点とし、この仮想視点から前記仮想画面領域の中心を通る半直線を法線とする仮想平面を設定し、変換仮想画面領域と生成画像領域とを設定するものである。そして、生成画像領域設定部１３Ｂｂは、仮想平面上における変換仮想画面領域を表す変換仮想画面領域情報と、生成画像領域とを表す生成画像領域情報とを画像合成手段１５に出力する。また、生成画像領域設定部１３Ｂｂは、仮想空間上における生成画像領域を表す生成画像領域空間情報と、仮想空間設定手段１２から入力される仮想鑑賞者位置情報および仮想画面領域情報とを表示画像生成手段１８に出力する。なお、この仮想平面設定手段１３Ｂは、仮想平面設定手段１３（図１）に比べて出力先が増えているだけで機能は同じものである。

表示画像生成手段１８は、仮想平面設定手段１３Ｂから入力される仮想鑑賞者位置情報と仮想画面領域情報と生成画像領域空間情報とに基づいて表示画像を生成するものである。表示画像生成手段１８は、表示画像生成範囲設定部１８ａと表示画像生成実行部１８ｂとを備える。

表示画像生成範囲設定部１８ａは、仮想平面設定手段１３Ｂから入力される仮想鑑賞者位置情報と仮想画面領域情報と生成画像領域空間情報とに基づいて、表示画像生成範囲を設定するものである。ここで、表示画像生成範囲は、後記する表示画像生成実行部１８ｂによって表示画像（コンピュータグラフィックス）を生成する範囲を表すものであり、仮想鑑賞者位置を仮想視点とし、仮想視点から変換仮想画面領域の各頂点を結んだ直線によって囲まれる範囲である。

ここで、図１０を参照（適宜図９参照）して、仮想鑑賞者位置情報と仮想画面領域情報と生成画像領域空間情報とに基づいて、表示画像生成範囲設定部１８ａが、表示画像生成範囲を設定する例について説明する。図１０は、仮想鑑賞者位置情報と仮想画面領域情報と生成画像領域空間情報とに基づいて、表示画像生成範囲を設定する例を示した説明図である。

まず、表示画像生成範囲設定部１８ａは、仮想空間設定手段１２と仮想平面設定手段１３Ｂで設定された、仮想空間上の仮想鑑賞者位置と生成画像領域を、後記する表示画像生成実行部１８ｂで表示画像（コンピュータグラフィックス）を生成する際に基準となる座標（以下、ＣＧ座標という）に変換する。ここで、仮想画面領域とＣＧ座標の座標軸との関係、あるいは仮想空間の座標軸とＣＧ座標の座標軸との関係等を予め定めておくことで、仮想鑑賞者位置および生成画像領域の座標をＣＧ座標に変換することができる。例えば、図１０に示すように、表示画像生成範囲設定部１８ａは、ＣＧ座標の座標軸ｇＸ，ｇＹ，ｇＺを設定し、仮想空間設定手段１２が設定した仮想鑑賞者位置Ｐｐおよび仮想平面設定手段１３Ｂが設定した生成画像領域ＩｖをＣＧ座標に変換する。つまり、仮想鑑賞者位置Ｐｐと生成画像領域Ｉｖの各頂点Ｐａ”，Ｐｂ”，Ｐｃ”，Ｐｄ”の座標をＣＧ座標に変換し、ＣＧ座標上の仮想鑑賞者位置ｇＰｐと生成画像領域の各頂点ｇＰａ”，ｇＰｂ”，ｇＰｃ”，ｇＰｄ”とを算出する。

また、表示画像生成範囲設定部１８ａは、仮想鑑賞者位置を仮想視点とし、仮想視点から変換仮想画面領域の各頂点を結んだ直線によって囲まれる範囲を表示画像生成範囲とする。つまり、図１０に示すように、表示画像生成範囲設定部１８ａは、仮想鑑賞者位置ｇＰｐを仮想視点ｇＰｐとする。さらに、表示画像生成範囲設定部１８ａは、この仮想視点ｇＰｐから、生成画像領域Ｉｖの各頂点ｇＰａ”，ｇＰｂ”，ｇＰｃ”，ｇＰｄ”を結んだ直線ｇＬａ，ｇＬｂ，ｇＬｃ，ｇＬｄによって囲まれる範囲Ｕを表示画像生成範囲とする。

図９に戻って説明を続ける。表示画像生成実行部１８ｂは、描画データベース１９に基づいて、表示画像生成範囲設定部１８ａで設定された表示画像生成範囲内の、仮想視点から見た画像を生成するものである。ここで、表示画像生成実行部１８ｂによる画像（コンピュータグラフィックス）の生成は、公知のコンピュータグラフィックス生成技術によって実現できる。そして、表示画像生成実行部１８ｂによって生成された表示画像は、画像合成手段１５に出力される。

描画データベース１９（３次元画像データ記憶手段）は、表示画像生成実行部１８ｂにおいて、画像（コンピュータグラフィックス）の生成等に必要となる種々のデータを記憶するもので、半導体メモリ、ハードディスク等の一般的な記録媒体である。この描画データベース１９は、表示画像生成実行部１８ｂによって参照され、仮想視点から見た表示画像生成範囲内の画像を生成する際に用いられる。

画像合成手段１５Ｂは、仮想平面上に、表示画像を合成する領域である画像合成領域を設定し、この画像合成領域に表示画像生成手段１８から入力された表示画像を合成するものである。画像合成手段１５Ｂは、画像合成領域設定部１５Ｂａと画像合成実行部１５Ｂｂとを備える。

画像合成領域設定部１５Ｂａは、表示画像生成手段１８から入力された表示画像を合成する領域である画像合成領域を設定するものである。ここで、画像合成領域は入力された表示画像を合成する領域であり、この入力された表示画像は、表示画像生成手段１８によって生成された、生成画像領域に対応する画像であるので、画像合成領域設定部１５Ｂａは、生成画像領域を画像合成領域として設定する。

画像合成実行部１５Ｂｂは、画像合成領域設定部１５Ｂａで設定された画像合成領域内に表示画像生成手段１８から入力された表示画像を合成するものである。そして、画像合成実行部１５Ｂｂによって、表示画像を合成された生成画像領域上の画像は、画像変換手段１６に出力される。なお、この画像合成実行部１５Ｂｂは、画像合成実行部１５ｂ（図１）に比べて表示画像の入力先を入力手段１４（図１）から表示画像生成手段１８としただけで機能は同じものである。

ここで、図１１と図１２を参照（適宜図９参照）して、画像合成手段１５Ｂが、画像合成領域を設定して表示画像を合成し、画像変換手段１６が、画像を変換する例について説明する。図１１（ａ）は、表示画像生成手段１８から入力された表示画像の例を示した説明図、（ｂ）は、仮想平面上に画像合成領域を設定する例を示した説明図、（ｃ）は、画像合成領域内に表示画像を合成する例を示した説明図である。また、図１２（ａ）は、図１１で合成された画像内の、変換仮想画面領域内の画像を示す説明図、（ｂ）は、（ａ）の変換仮想画面領域内の画像を変換して逆歪み付加画像を生成する例を示した説明図である。

図１１（ａ）に示すように、表示画像生成手段１８から表示画像Ｇが入力され、図１１（ｂ）に示すように、仮想平面設定手段１３Ｂによって、生成画像領域Ｉｖと変換仮想画面領域Ｄｖ’とを設定した場合に、画像合成手段１５Ｂの画像合成領域設定部１５Ｂａは、生成画像領域Ｉｖを画像合成領域Ｄｉとする。そして、画像合成実行部１５Ｂｂは、図１１（ｃ）に示すように、画像合成領域設定部１５Ｂａが設定した画像合成領域Ｄｉ（Ｉｖ）内に、表示画像Ｇを合成する。また、画像合成実行部１５Ｂｂは、この生成画像領域Ｉｖ内の画像を画像変換手段１６に出力する。

さらに、画像変換手段１６は、画像合成実行部１５Ｂｂから入力された画像（図１１（ｃ））から、図１２（ａ）に示す、変換画面領域内Ｄｖ’の画像を生成画像領域Ｉｖに対応付けて変換し、逆歪み付加画像を生成する。つまり、画像変換手段１６は、変換仮想画面領域Ｄｖ’の頂点ｓｐａ’，ｓｐｂ’，ｓｐｃ’，ｓｐｄ’が、それぞれ生成画像領域Ｉｖの頂点ｓｐａ”，ｓｐｂ”，ｓｐｃ”，ｓｐｄ”と一致するように、変換仮想画面領域Ｄｖ’内の画像を変形させる処理を行う。この処理によって、変換仮想画面領域Ｄｖ’内の画像全体が変形される。そして、変換仮想画面領域Ｄｖ’内の画像は、図１２（ｂ）に示すように、鑑賞者の位置の対応して変形された画像となり、この逆歪み付加画像は、表示装置４の表示画面に表示して鑑賞者の位置から見ると、図１２（ａ）に示す画像の、領域Ｄｖ’内の画像のように見えるものとなる。

これによって、画像生成装置１Ｂは、鑑賞者の位置に対応する表示画像を生成し、その表示画像から、表示画面に表示した際に鑑賞者から見て歪みが生じない逆歪み付加画像を生成する。そして、画像生成装置１Ｂは、ＣＧ座標上に仮想画面領域と仮想鑑賞者位置（仮想視点）を設定し、この仮想視点から見た表示画像（コンピュータグラフィックス）を生成して、この表示画像から表示画面を生成するので、鑑賞者が表示画面に対する位置を変えると、まるで窓から向こうの景色を鑑賞者が見ているように、表示画面に表示される逆歪み付加画像を鑑賞者の位置の移動に伴って変えることができる。例えば、鑑賞者が表示画面を上から見下ろすと、画像生成装置１Ｂは鑑賞者の位置を検出し、その位置に対応する逆歪み付加画像を生成する。そして、表示画面には、鑑賞者が表示画面に対して正対する位置から見る場合に表示される画像より下の部分にあたる画像が表示される。そのため、例えば、鑑賞者が見たい部分の画像が表示されるように鑑賞者の位置を変化させた場合に、画像生成装置１Ｂは、鑑賞者の見たい部分の画像を表示装置４の表示画面に表示させることができる。

以上、画像生成装置１Ｂの構成について説明したが、画像生成装置１Ｂは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して画像生成プログラムとして動作させることも可能である。

なお、ここでは、表示画像生成手段１８の表示画像生成範囲設定部１８ａは、仮想視点から生成画像領域の各頂点を結んだ直線に囲まれる範囲を表示画像生成範囲とし、画像合成手段１５Ｂの画像合成領域設定部１５Ｂａは、生成画像領域を画像合成領域として設定するようにしたが、例えば、表示画像生成範囲設定部１８ａが、仮想視点から変換仮想画面領域の各頂点を結んだ直線によって囲まれる領域を表示画像生成範囲とし、画像合成領域設定部１５Ｂａが、変換仮想画面領域を画像合成領域とするようにしても良いし、表示画像生成範囲設定部１８ａが、仮想平面上の任意の領域（図示せず）を設定し、この仮想平面上の任意の領域と仮想視点とに基づいて表示画像生成範囲を設定し、画像合成領域設定部１５Ｂａが、前記の仮想平面上の任意の領域を画像合成領域とするようにしても良い。

また、仮想空間設定手段１２が設定する仮想空間の座標と、表示画像生成実行部１８ｂで画像（コンピュータグラフィックス）を生成する際に基準となる座標（ＣＧ座標）とを同一に設定しても良く、このようにすることで、表示画像生成範囲設定部１８ａは、仮想空間上の仮想鑑賞者位置と仮想画面領域と生成画像領域をＣＧ座標に変換する必要がなくなる。

さらに、ここでは、表示画像生成手段１８は描画データベースに基づいて、表示画像生成範囲内のコンピュータグラフィックスを生成する構成としたが、画像生成装置１Ｂが画像を入力する手段である入力手段（図示せず）を備え、この入力手段を介して画像を入力し、その画像から表示画像生成範囲に対応する画像（表示画像）を生成（抽出）する構成としても良い。このとき、入力手段から入力された画像は、表示画像生成手段１８に入力されるようにする。そして、この入力された画像と仮想画面領域との対応関係を予め定めておき、それに基づいて、表示画像生成範囲設定部１８ａは、ＣＧ座標に対応する３次元座標を設定する。さらに、表示画像生成範囲設定部１８ａは、この３次元座標上に、入力された画像と、仮想画面領域、仮想視点および生成画像領域とを設定し、表示画像生成範囲を設定する。また、表示画像生成実行部１８ｂは、入力手段から入力された画像から、表示画像生成範囲に対応する画像を抽出することで、表示画像生成手段１８は、鑑賞者の位置に対応する表示画像を、入力される画像から生成することができる。

［画像生成装置の利用例３］
ここで、図１３を参照（適宜図９参照）して、本発明にかかる画像生成装置１Ｂの利用例について説明する。ここでは、この画像生成装置１Ｂをテレビ電話に適用する例について説明する。図１３（ａ）は、通話相手の室内を広角カメラで撮像する状態を示す説明図、（ｂ）は、（ａ）で撮像された画像から画像生成装置１Ｂ（図示せず）によって生成された逆歪み付加画像を、操作者が様々な角度から見る状態を示す説明図、（ｃ）は、操作者の表示画面に対する位置に対応して、画像生成装置１Ｂ（図示せず）が広角カメラで撮像された画像から抽出する画像を示す説明図である。

図１３（ａ）に示すように、通話相手の部屋に広角カメラＣを設置して室内を撮像する。そして、この画像を通信回線等を介して、画像生成装置１Ｂに入力する。ここで、テレビ電話の表示画面Ｆに対して正対位置、つまり、図１３（ｂ）の操作者（鑑賞者）Ｖ_Aの位置に操作者がいる場合には、画像生成装置１Ｂは、操作者Ｖ_Aの位置を検出し、操作者Ｖ_Aの位置に対応した表示画像を広角カメラＣの画像から抽出（生成）する。ここで、図１３（ｃ）に示すような画像が、広角カメラＣからの画像生成装置１Ｂに入力されていたとすると、画像生成装置１Ｂは、広角カメラＣで撮像された画像と、広角カメラＣの位置とを対応させて３次元座標上に配置し、この３次元座標上の広角カメラの位置と仮想画面領域とを対応させて、３次元座標上に仮想視点および生成画像領域とを設定することで、操作者の表示画面に対する位置に応じた画像を抽出（生成）することができる。ここでは、画像生成装置１Ｂは、テレビ電話の表示画面Ｆに正対する位置にいる操作者Ｖ_Aに対応する画像として、図１３（ｃ）の画像の中央の部分の画像Ｇ_Aを抽出する。そして、画像生成装置１Ｂは、この画像Ｇ_Aを表示画面Ｆに表示した際に、操作者Ｖ_Aから見て歪みが生じないように変換して、テレビ電話の表示画面Ｆに表示させる。

また、操作者がテレビ電話の表示画面Ｆに対して正対位置より左側、つまり、図１３（ｂ）の操作者Ｖ_Bの位置から見る場合には、画像生成装置１Ｂは、操作者Ｖ_Bの位置を検出し、この位置に対応した表示画像を広角カメラＣの画像から抽出（生成）する。画像生成装置１Ｂは、表示画面Ｆに対して左側の位置にいる操作者Ｖ_Bに対応する表示画像として、図１３（ｃ）の画像の右の部分の画像Ｇ_Bを、広角カメラＣから入力された画像から抽出する。そして、画像生成装置１Ｂは、この画像Ｇ_Bを表示画面Ｆに表示した際に、操作者Ｖ_Bから見て歪みがないように変換して、テレビ電話の表示画面Ｆに表示させる。同様に、操作者がテレビ電話の表示画面Ｆに対して正対位置より右側、つまり、図１３（ｂ）の操作者Ｖ_Cの位置から見る場合には、画像生成装置１Ｂは、図１３（ｃ）の画像の左の部分の画像Ｇ_Cを、広角カメラＣから入力された画像から抽出し、この画像Ｇ_Cを表示画面Ｆに表示した際に、操作者Ｖ_Cから見て歪みがないように変換して、表示画面Ｆに表示させる。

これによって、従来のテレビ電話では、テレビ電話の表示画面に表示されている範囲の映像しか見られなかったところを、操作者（鑑賞者）が表示画面に対する位置を変えることで、これまでは表示されなかった映像を表示させるようにすることができる。そして、表示画面に表示する表示画像を操作者の位置に応じて抽出するので、操作者がテレビ電話の表示画面に対する位置を変えると、まるで窓から向こうの景色を操作者が見ているように、テレビ電話の表示画面に表示される逆歪み付加画像を操作者の位置の移動に伴って変えることができる。

本発明における第一の実施の形態である画像生成装置の構成を示したブロック図である。 （ａ）は、実空間に表示装置と位置検出カメラと、鑑賞者が実空間に配置されている状態を示した説明図、（ｂ）は、仮想空間上に仮想鑑賞者位置と仮想画面領域を設定する例を示した説明図である。 （ａ）は、仮想平面上に変換仮想画面領域を設定する例を示した説明図、（ｂ）は、仮想平面上に生成画像領域を設定する例を示した説明図である。 仮想平面上に画像合成領域を設定し、表示画像を合成する例を示した説明図である。 （ａ）は、図４の変換仮想画面領域内の画像を生成画像領域に対応付けて変換した逆歪み付加画像を示した説明図、（ｂ）は、（ａ）の逆歪み付加画像を表示画面に表示して鑑賞者の位置から見たときの逆歪み付加画像を示した説明図である。 画像生成装置が、表示画面に対して正対位置からずれた位置で画像を見たときに発生する、画像の歪みを除去した逆歪み付加画像を生成する動作を示したフローチャートである。 （ａ）は、出演者への情報を提示するための表示画像を投射装置から投射する例を示した説明図、（ｂ）は、出演者への情報を提示するための表示画像を、画像生成装置によって、出演者から見た画像の歪みを除去して投射装置から投射する状態を示す説明図である。 （ａ）は、鑑賞者が表示画面に正対する位置から逆歪み付加画像を見る状態を示す説明図、（ｂ）は、鑑賞者が表示画面に対して上の位置から逆歪み付加画像を見る状態を示す説明図、（ｃ）は、鑑賞者が表示画面に対して左の位置から逆歪み付加画像を見る状態を示す説明図である。 本発明における第二の実施の形態である画像生成装置の構成を示したブロック図である。 仮想鑑賞者位置情報と仮想画面領域情報と生成画像領域空間情報とに基づいて、表示画像生成範囲を設定する例を示した説明図である。 （ａ）は、表示画像生成手段から入力された表示画像の例を示した説明図、（ｂ）は、仮想平面上に画像合成領域を設定する例を示した説明図、（ｃ）は、画像合成領域内に表示画像を合成する例を示した説明図である。 （ａ）は、図１１で合成した画像内の、変換仮想画面領域内の画像を示す説明図、（ｂ）は、（ａ）の変換仮想画面領域内の画像を変換して逆歪み付加画像を生成する例を示した説明図である。 （ａ）は、室内を広角カメラで撮像する状態を示す説明図、（ｂ）は、(ａ)で撮像された画像から画像生成装置によって生成された逆歪み付加画像を、操作者が様々な角度から見る状態を示す説明図、（ｃ）は、操作者の表示画面に対する位置に対応して、画像生成装置が広角カメラで撮像された画像から抽出する画像を示す説明図である。

符号の説明

１，１Ｂ 画像生成装置
１１ 鑑賞者位置検出手段
１２ 仮想空間設定手段
１３，１３Ｂ 仮想平面設定手段
１５，１５Ｂ 画像合成手段
１６ 画像変換手段
１８ 表示画像生成手段
１９ 描画データベース（３次元画像データ記憶手段）
Ｐｐ 仮想鑑賞者位置（仮想視点）
Ｄｖ 仮想画面領域
Ｄｖ’ 変換仮想画面領域
Ｉｖ 生成画像領域

Claims (3)

1. 表示画像を表示画面に表示する際に、鑑賞者が前記表示画面に対して正対位置からずれた位置で前記表示画像を見たときに発生する、前記表示画像の歪みを除去するために前記表示画像に逆歪みを付加した逆歪み付加画像を生成する画像生成装置であって、
   前記鑑賞者の位置を検出する鑑賞者位置検出手段と、
   この鑑賞者位置検出手段で検出された前記鑑賞者の位置と前記表示画面の画面領域とを、仮想空間上において、仮想鑑賞者位置と仮想画面領域として設定する仮想空間設定手段と、
   この仮想空間設定手段で設定された仮想鑑賞者位置を仮想視点とし、この仮想視点から前記仮想画面領域の中心を通る半直線を法線とする仮想平面上に、前記仮想視点と前記仮想画面領域の各頂点とを通る直線と前記仮想平面との交点によって囲まれる領域を変換仮想画面領域とし、前記変換仮想画面領域を含み、前記仮想画面領域の縦横比を持つ矩形の領域を生成画像領域として設定する仮想平面設定手段と、
   この仮想平面設定手段で設定された前記変換仮想画面領域に、前記表示画像の少なくとも一部が含まれるように前記表示画像を合成する画像合成手段と、
   この画像合成手段で合成した前記表示画像の少なくとも一部を含む、前記変換仮想画面領域内の画像を前記生成画像領域に対応付けて変換し、前記逆歪み付加画像を生成する画像変換手段とを備えることを特徴とする画像生成装置。
2. 前記表示画像を生成するための３次元画像データを記憶する３次元画像データ記憶手段と、
   前記３次元画像データに基づいて、前記鑑賞者の位置に対応する前記表示画像を生成する表示画像生成手段とを備え、
   前記画像合成手段が、前記表示画像生成手段によって生成された表示画像を合成することを特徴とする請求項１に記載の画像生成装置。
3. 表示画像を表示画面に表示する際に、鑑賞者が前記表示画面に対して正対位置からずれた位置で前記表示画像を見たときに発生する、前記表示画像の歪みを除去するために前記表示画面に逆歪みを付加した逆歪み付加画像を生成するために、コンピュータを、
   前記鑑賞者の位置を検出する鑑賞者位置検出手段、
   この鑑賞者位置検出手段で検出された前記鑑賞者の位置と前記表示画面の画面領域とを、仮想空間上において、仮想鑑賞者位置と仮想画面領域として設定する仮想空間設定手段、
   この仮想空間設定手段で設定された仮想鑑賞者位置を仮想視点とし、この仮想視点から前記仮想画面領域の中心を通る半直線を法線とする仮想平面上に、前記仮想視点と前記仮想画面領域の各頂点とを通る直線と前記仮想平面との交点によって囲まれる領域を変換仮想画面領域とし、前記変換仮想画面領域を含み、前記仮想画面領域の縦横比を持つ矩形の領域を生成画像領域として設定する仮想平面設定手段、
   この仮想平面設定手段で設定された前記変換仮想画面領域に、前記表示画像の少なくとも一部が含まれるように前記表示画像を合成する画像合成手段、
   この画像合成手段で合成した前記表示画像の少なくとも一部を含む、前記変換仮想画面領域内の画像を前記生成画像領域に対応付けて変換し、前記逆歪み付加画像を生成する画像変換手段として機能させることを特徴とする画像生成プログラム。
   

Images