JP2011114381A - 映像信号処理装置、仮想現実感生成システム - Google Patents

Abstract

【課題】 複雑な画像処理演算を行うことなく簡単な処理を行うことができる映像信号処理装置、仮想現実感生成システムを提供する。
【解決手段】 歪み補正／画像処理ユニット３は、任意形状の投影面のスクリーン１に映像光を投影させる出力映像信号をプロジェクタ２ａ、２ｂに出力するために、平面の投影面に映像光を投影させるための平面映像信号を入力し、平面の投影面と任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルを参照して、平面映像信号の画素ごとに歪み補正処理を施して、投影面に映像光を投影させるための出力映像信号を作成し、画像処理テーブルを参照して所定の画像処理を行って出力映像信号を作成する。そして、歪み補正／画像処理ユニット３により作成された出力映像信号をプロジェクタ２ａ、２ｂに出力する。
【選択図】 図１

Description

本発明は、平面映像信号を任意形状のスクリーンに投射しても、歪みなく映し出すことができるように、入力映像信号に予め歪み補正を施す映像信号処理装置、それを用いて構成される仮想現実感生成システムに関する。

任意形状のスクリーンへ歪み無く映像を投射する技術は、仮想現実感生成装置で既に実用化されている。例えば、その先行技術としては、特許文献１，２等が挙げられる。

これらの仮想現実完成性装置では、入力映像信号が、当該仮想現実感生成装置用に生成したＣＧの信号であったり、ＤＶ信号であった。また、歪み無く映像を投影するための歪み補正の関係式（歪み補正の前後の映像同士の関連の記述、歪み補正テーブル）の生成は、当該システムの内部で行っていた。

特許第３３８７４８７号公報 特開２００７−２５１９１４号公報

しかしながら、上述した技術では、入力可能な映像信号が限定されていたり、歪み補正の関係式の生成を同一システム内で行うため、３次元の計算処理を行うことが必要となり、システムが複雑になったり、高スペックの機器が必要となったりする。また、各種の画像処理についても、当該画像処理のための関係式の演算を同一システム内で行うため、システムが複雑になったり、高スペックの機器が必要となったりする。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、複雑な画像処理演算を行うことなく簡単な処理を行うことができる映像信号処理装置、仮想現実感生成システムを提供することを目的とする。

本発明に係る映像信号処理装置は、任意形状の投影面に映像光を投影させる出力映像信号を投影手段に出力する映像信号処理装置であって、平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力手段を備える。本発明は、上述の課題を解決するために、平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルを参照して、前記平面映像信号の画素ごとに歪み補正処理を施して、前記投影面に映像光を投影させるための出力映像信号を作成する歪み補正手段と、所定の画像処理を行って出力映像信号を作成するので、画像処理手段と、前記画像処理手段により作成された出力映像信号を前記投影手段に出力する出力手段とを備える。

本発明に係る映像信号処理装置において、前記画像処理手段は、予め保持した画像処理テーブルを用いて演算処理を行うことにより前記所定の画像処理を行うことが望ましい。

本発明に係る映像信号処理装置において、前記画像処理手段は、前記歪み補正手段により作成された出力映像信号を入力信号とし、前記所定の画像処理を行っても良い。

本発明に係る映像信号処理装置において、前記歪み補正手段は、前記画像処理手段により作成された出力映像信号を入力信号とし、当該出力映像信号に対して歪み補正処理を行っても良い。

本発明に係る映像信号処理装置において、前記画像処理テーブルを、外部より取り込んでも良い。

本発明に係る仮想現実感生成システムは、観察者に凹面を向けた任意形状の投影面を有し、当該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、請求項１乃至請求項５のいれか一項に記載の映像信号処理装置と、前記映像信号処理装置から出力された出力映像信号に基づいた映像を前記スクリーンに投影する投影手段とを備える。

本発明に係る映像信号処理装置によれば、歪み補正テーブルを参照して平面映像信号の画素ごとに歪み補正処理を施して、投影面に映像光を投影させるための出力映像信号を作成すると共に、所定の画像処理を行って出力映像信号を作成するので、２次元における座標変換及び画像処理を行うのみで、３次元処理を行うことなく出力映像信号を作成できる。したがって、本発明に係る映像信号処理装置によれば、観察者に視認させる映像の歪み抑制及び画像処理を簡単な構成でリアルタイムに実現できる。

本発明に係る映像信号処理装置によれば、予め保持した画像処理テーブルを用いて演算処理を行うので、画像処理を簡単な構成でリアルタイムに実現できる。

本発明に係る映像信号処理装置において、歪み補正手段により作成された出力映像信号を入力信号とし、所定の画像処理を行うので、歪み補正が施された映像に対する画像処理を簡単な構成でリアルタイムに実現できる。

本発明に係る映像信号処理装置において、画像処理手段により作成された出力映像信号を入力信号とし、当該出力映像信号に対して歪み補正処理を行うので、画像処理を施した映像に対する歪み補正を簡単な構成でリアルタイムに実現できる。

本発明に係る映像信号処理装置において、画像処理テーブルを、外部より取り込んで画像処理を行うので、内部で画像処理テーブルを作成する必要なく、観察者に視認させる映像の歪み抑制及び画像処理を簡単な構成でリアルタイムに実現できる。

本発明に係る仮想現実感生成システムは、観察者に凹面を向けた任意形状の投影面を有し、当該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンに対して映像を投影する場合であっても、上述の映像信号処理装置を備えることにより、２次元における座標変換及び画像処理を行うのみで、３次元処理を行うことなく出力映像信号を作成できる。したがって、本発明に係る仮想現実感生成システムによれば、観察者に視認させる映像の歪み抑制及び画像処理を簡単な構成でリアルタイムに実現できる。

本発明を適用した一実施形態として示す仮想現実感生成システムの構成を示すブロック図である。 本発明を適用した一実施形態として示す歪み補正／画像処理ユニットのハードウェア的な構成を示すブロック図である。 本発明を適用した一実施形態として示す歪み補正／画像処理ユニットのソフトウェア的な構成を示すブロック図である。 歪み補正テーブルを利用した歪み補正処理を説明するための図であり、（ａ）は歪み補正前の平面映像、（ｂ）は歪み補正後の出力映像である。 本発明を適用した一実施形態として示す歪み補正／画像処理ユニットによる歪み補正処理及び画像処理を説明する図であり、（ａ）は歪み補正前の映像、（ｂ）は歪み補正後の映像、（ｃ）は画像処理後の映像である。 本発明を適用した一実施形態として示す歪み補正／画像処理ユニットによる歪み補正処理及び画像処理を説明する図であり、（ａ）は歪み補正及び画像処理前の映像、（ｂ）は歪み補正及び画像処理後の映像である。 本発明を適用した一実施形態として示す歪み補正／画像処理ユニットによる歪み補正処理及び画像処理を説明する図であり、（ａ）は画像処理前の映像、（ｂ）は画像処理後の映像、（ｃ）は歪み補正後の映像である。 本発明を適用した一実施形態として示す歪み補正／画像処理ユニットによる歪み補正処理及び画像処理を説明する図であり、（ａ）は画像処理後の映像、（ｂ）は歪み補正後の映像である。 本発明を適用した一実施形態として示す歪み補正／画像処理ユニットによるガンマ補正を行うための画像処理テーブルを示す図である。 本発明を適用した一実施形態として示す歪み補正／画像処理ユニットによるグレースケール化処理を行うための画像処理テーブルを示す図であり、（ａ）は単純モードの画像処理テーブル、（ｂ）はＮＴＳＣ系加重平均法モードの画像処理テーブルである。 本発明を適用した一実施形態として示す歪み補正／画像処理ユニットによる２値化処理を行うための画像処理テーブルを示す図であり、（ａ）は単色判定モードの画像処理テーブル、（ｂ）は全色判定モードの画像処理テーブルである。 本発明を適用した一実施形態として示す歪み補正／画像処理ユニットによるコントラスト調整を行うための画像処理テーブルを示す図である。 本発明を適用した一実施形態として示す歪み補正／画像処理ユニットによる色反転処理を行うための画像処理テーブルを示す図であり、（ａ）は全色を用いる画像処理テーブル、（ｂ）は単一色を用いる画像処理テーブルである。 輝度補正テーブルを利用した輝度補正処理を説明するための図であり、（ａ）は補正処理前の平面映像、（ｂ）は輝度補正処理後の出力映像、（ｃ）は輝度補正及び歪み補正後の出力映像である。 輝度補正テーブルを利用した輝度補正処理を説明するための図であり、（ａ）は歪み補正処理前の平面映像、（ｂ）は歪み補正処理後の出力映像、（ｃ）は輝度補正及び歪み補正後の出力映像である。 パラメータ調整用パーソナルコンピュータのスクリーンモデル創造部のブロック図である。 球面モデルの入力パラメータを示す図である。 球面の一部を切り欠いたモデルの入力パラメータを示す図である。 球面スクリーンの一部を切り欠いた正面形状を示す図である。 円筒モデルの入力パラメータを示す図である。 複数平面の入力パラメータを示す図である。 スクリーンの球面形状に対する歪み補正処理を説明するための図である。 歪み補正処理の内容を示す図である。 半球状のスクリーンの中央部で切断した図４の二次元断面図である。 グリッド映像の歪み補正のイメージ図である。 出力画像の各画素の色情報を、入力画像の対応するｘ方向に隣接する２画素から生成する場合のイメージ図である。 入力画像のｘ方向において隣接する２画素の色情報を混合して、出力画像の色情報を計算する説明図である。 出力画像の各画素の色情報を、入力画像の対応するｙ方向に隣接する２画素から生成する場合のイメージ図である。 入力画像のｙ方向において隣接する２画素の色情報を混合して、出力画像の色情報を計算する説明図である。 出力画像の各画素の色情報を、入力画像の対応するｘ方向及びｙ方向に隣接する４画素から生成する場合のイメージ図である。 入力画像のｘ方向及びｙ方向において隣接する４画素の色情報を混合して、出力画像の色情報を計算する説明図である。 出力画像の各画素の色情報を入力画像の対応するｘ方向に隣接する２画素から生成する場合において入力画像の入力順に出力画像に変換する処理の説明図であり、（ａ）は入力画像の先頭の画素Ｐ１，Ｐ２を入力した時点での処理の説明図であり、（ｂ）は画素Ｐ２に続く画素Ｐ３を入力した時点での処理の説明図である。 出力画像の各画素の色情報を入力画像の対応するｙ方向に隣接する２画素から生成する場合において入力画像の入力順に出力画像に変換する処理の説明図であり、（ａ）は入力画像の画素Ｐ１，Ｐ２を入力した時点での処理の説明図であり、（ｂ）は画素Ｐ２に続く画素Ｐ４を入力した時点での処理の説明図である。 出力画像の各画素の色情報を入力画像の対応するｘ方向及びｙ方向に隣接する４画素から生成する場合において入力画像の入力順に出力画像に変換する処理の説明図であり、（ａ）は入力画像の先頭の画素Ｐ１〜Ｐ４を入力した時点での処理の説明図であり、（ｂ）は画素Ｐ４に続く画素Ｐ６を入力した時点での処理の説明図である。 出力画像の各画素の色情報を入力画像の対応するｘ方向に隣接する２画素から生成する場合において出力画像の出力順に変換する処理の説明図であり、（ａ）は出力画像の先頭画素Ｐ１’を生成する説明図であり、（ｂ）は先頭画素Ｐ１’に続く画素Ｐ２’を生成する説明図である。 出力画像の各画素の色情報を入力画像の対応するｙ方向に隣接する２画素から生成する場合において出力画像の出力順に変換する処理の説明図であり、（ａ）は出力画像の先頭画素Ｐ１’を生成する説明図であり、（ｂ）は先頭画素Ｐ１’に続く画素Ｐ２’を生成する説明図である。 出力画像の各画素の色情報を入力画像の対応するｘ方向及びｙ方向に隣接する４画素から生成する場合において出力画像の出力順に変換する処理の説明図であり、（ａ）は出力画像の先頭画素Ｐ１’を生成する説明図であり、（ｂ）は先頭画素Ｐ１’に続く画素Ｐ２’を生成する説明図である。

以下、本発明の実施の形態について図面を参照して説明する。

本発明を適用した仮想現実感生成システムは、図１に示すように、観察者に凹面を向けた任意形状の投影面を有し、当該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーン１を有する。この仮想現実感生成システムは、スクリーン１に３次元の映像光を投影するために、投影手段である２台のプロジェクタ２ａ、２ｂからなる映像投影機器２によって右眼用映像光と左眼用映像光とからなる出力映像を出射する。これにより、仮想現実感生成システムは、観察者に仮想現実感を与える映像を提示する。

この仮想現実感生成システムは、映像信号処理装置である歪み補正／画像処理ユニット３に、プロジェクタ２ａ、２ｂと映像生成機器４とパラメータ調整用パーソナルコンピュータ５とが接続されている。

歪み補正／画像処理ユニット３は、任意形状の投影面のスクリーン１に映像光が投影されたときの映像歪みを補正して出力映像信号を作成し、当該出力映像信号に所定の画像処理を施す映像信号処理を行う。なお、パラメータ調整用パーソナルコンピュータ５は、歪み補正／画像処理ユニット３に常時接続されている必要はない。パラメータ調整用パーソナルコンピュータ５は、後述するように画像処理テーブル、歪み補正テーブル、輝度補正テーブル、制御信号等を歪み補正／画像処理ユニット３に出力するときのみ接続されていれば良いものである。また、この歪み補正／画像処理ユニット３は、パラメータ調整用パーソナルコンピュータ５からテーブルが供給される場合のみならず、内部で各テーブルを作成しても良いことは勿論である。

スクリーン１は、プロジェクタ２ａ、２ｂからの右眼用映像光と左眼用映像光とを鏡面反射する。なお、このスクリーン１の投影面形状としては、球体の一部を利用した半球状、円筒状などが挙げられ、複数の平面を接続した形状であっても良い。

プロジェクタ２ａ、２ｂは、右眼用映像光と左眼用映像光とを出射するために、歪み補正／画像処理ユニット３から右眼用映像信号と左眼用映像信号とからなる出力映像信号を受信する。これらプロジェクタ２ａ、２ｂは、歪み補正／画像処理ユニット３の２チャンネルの映像出力端子３ｅ，３ｆのそれぞれに接続されている。

なお、観察者に立体視をさせる場合、例えばプロジェクタ２ａに右眼用偏光フィルター、プロジェクタ２ｂに左眼用偏光フィルターを装着させ、スクリーン１としては鏡面反射スクリーンを使用し、観察者には偏光フィルターに対応した偏光メガネを装着させる。また、プロジェクタとしては、２台である必要はなく、１台のプロジェクタから時分割で右眼用映像光と左眼用映像光とを交互に出射するものであっても良い。

映像生成機器４は、平面映像光を出射するための映像信号を記憶する記憶媒体を備えている。この映像生成機器４としては、パーソナルコンピュータ、ビデオデッキやＤＶＤデッキ等の映像再生装置、ビデオカメラ、立体カメラなどが挙げられる。なお、映像生成機器４は、４チャンネル分の出力端子を有し、歪み補正／画像処理ユニット３の１チャンネル〜４チャンネルの映像入力端子３ａ，３ｂ，３ｃ，３ｄに接続されている。なお、図１乃至図３に示した例では、４チャンネル入力、２チャンネル出力の構成を示しているが、入出力ともに１チャンネルのみであっても良い。

パラメータ調整用パーソナルコンピュータ５は、画像処理テーブル、歪み補正テーブル及び輝度補正テーブルを作成して、歪み補正／画像処理ユニット３に供給する。

歪み補正テーブルは、スクリーン１の曲面形状に合わせて歪み補正／画像処理ユニット３で平面映像信号に歪み補正を施すためのものである。この歪み補正テーブルは、平面の投影面と任意形状の投影面のメッシュモデルとの対応マップである。この歪み補正テーブルは、歪み補正後の出力画像の画素に対応する、歪み補正前の入力画像の画素と、その画素からのずれ量を記述することで、入力画像の複数の画素の色情報を適切な割合で混合して出力画像の画素の色情報とすることも可能としたテーブルであっても良い。

平面の投影面と任意形状の投影面のメッシュモデルとの対応マップのみを記述した歪み補正テーブルは、例えば、入力画像の画素座標（５，７）と出力画像の画素座標（６，８）とを対応させて記述している。また、入力画像の複数の画素の色情報から出力画像の画素の色情報を作成できる歪み補正テーブルは、例えば、ｘ方向に０．５５，ｙ方向に０．３のずれ量がある場合に、入力画像の画素座標（５．５５，７．３）と出力画像の画素座標（６，８）とを対応させて記述している。

輝度補正テーブルは、平面映像信号に輝度補正を施すためのものである。輝度補正テーブルは、歪み補正処理前の平面映像信号又は歪み補正処理後の出力映像信号の各画素を何倍の輝度にするかを記述したテーブルである。

画像処理テーブルは、平面映像信号により描かれる各画素ごとに、所定の画像処理を施すためのものである。この所定の画像処理は、リアルタイムに処理する必要があるものとして、ガンマ補正処理、グレースケール化処理、２値化処理、コントラスト調整処理、色反転処理、エッジ強調（シャープネス）処理が含まれる。画像処理テーブルは、これらの所定の画像処理を行うためのパラメータを格納している。

歪み補正／画像処理ユニット３は、パラメータ調整用パーソナルコンピュータ５と接続された外部入力端子３ｇを備え、画像処理テーブル、歪み補正テーブル、輝度補正テーブルを入力する。なお、このパラメータ調整用パーソナルコンピュータ５による歪み補正テーブルの作成処理については後述する。

パラメータ調整用パーソナルコンピュータ５は、プロジェクタ２ａ、２ｂの動作を制御する制御信号を歪み補正／画像処理ユニット３に出力する。この制御信号は、プロジェクタ２ａ、２ｂの映像光の出力開始及び停止をはじめとして、プロジェクタ２ａ、２ｂの映像投影位置や映像サイズ、ズーム倍率、色調整などのあらゆるプロジェクタ２ａ、２ｂの制御コマンドを含む。この制御信号は、歪み補正／画像処理ユニット３によって入力されて、歪み補正／画像処理ユニット３の外部出力端子３ｈを介してプロジェクタ２ａ、２ｂのそれぞれに供給される。

歪み補正／画像処理ユニット３は、そのハードウェア構成を図２に示す。歪み補正／画像処理ユニット３は、映像入力側の信号方式変換回路１１と、映像信号処理回路１２と、外部機器制御回路１３と、デジタルシグナルプロセッサ（ＤＳＰ）１４と、計算用メモリ１５と、テーブル用メモリ１６と、映像出力側の信号方式変換回路１７と、制御信号用メモリ１８とを備える。

このようなハードウェア構成を有する歪み補正／画像処理ユニット３は、その機能的なソフトウェア構成を図３に示す。歪み補正／画像処理ユニット３は、入力映像処理部２１と、映像切替／分配部２２と、映像合成部２３と、歪み補正／画像処理部２４と、出力映像処理部２５と、同期処理部２６と、変換テーブル読み込み／保存部２７と、外部機器制御部２８と、制御信号読み込み／保存部２９とを有する。

信号方式変換回路１１は、映像入力端子３ａ，３ｂ，３ｃ，３ｄを介して映像生成機器４からの映像を入力する入力映像処理部２１として機能する。この信号方式変換回路１１は、映像生成機器４からの平面映像信号として、コンポジット信号、セパレート信号、コンポーネント信号、ディジタルビデオ信号等を入力する。なお、このように複数種類の平面映像信号を入力可能な構成である場合、映像入力端子３ａ，３ｂ，３ｃ，３ｄは、それぞれの方式に準じた端子形状であるＤＶＩ−Ｉ端子、ＲＧＢ端子、Ｓ端子、コンポジット端子、Ｄ端子などとなっている。このように、あらゆる種類の平面映像信号を入力可能とすることによって、入力する平面映像信号の種類幅を広げている。信号方式変換回路１１は、映像入力端子３ａ，３ｂ，３ｃ，３ｄを介して平面映像信号を入力したことに応じて、当該平面映像信号の方式を、後段の映像信号処理回路１２等で処理可能な方式にデコードして、映像信号処理回路１２に出力する。

映像信号処理回路１２は、図３における映像切替／分配部２２となる映像切替／分配回路、映像合成部２３となる映像合成回路、歪み補正／画像処理部２４となる映像補正回路、同期処理部２６となる同期処理回路を有している。この映像信号処理回路１２は、映像切替／分配部２２によって入力映像処理部２１からの平面映像信号の切替又は分配を行い、複数の平面映像信号を合成する場合には映像合成部２３で映像合成を行って、歪み補正／画像処理部２４に供給する。

歪み補正／画像処理部２４は、変換テーブル読み込み／保存部２７に予め記憶された歪み補正テーブルを参照して、画素毎の座標変換処理を行うことによって平面映像信号を出力映像信号に変換する歪み補正処理を行う。また、歪み補正／画像処理部２４は、変換テーブル読み込み／保存部２７に予め記憶された画像処理テーブルを参照して、画素毎の画像処理を行うことによって出力映像信号に所定の画像処理を施す。更に、歪み補正／画像処理部２４は、変換テーブル読み込み／保存部２７に記憶された輝度補正テーブルを参照して、画素ごとの輝度値を変換することによって平面映像信号を出力映像信号に変換する輝度補正処理を行う。

更に、歪み補正／画像処理部２４は、歪み補正処理の座標変換の際に、歪み補正テーブル内部に記述されたずれ量を参照することで、出力画像の画素に関連した入力画像の複数の画素の色情報をもとに出力画像の画素の色情報を生成することもできる。この画像処理、歪み補正処理、輝度補正処理を行うに際して、映像信号処理回路１２（歪み補正／画像処理部２４）は、計算用メモリ１５を作業領域として利用する。

この歪み補正／画像処理部２４による歪み補正処理は、図４（ａ）に示す平面映像信号１００の画素ａ，ｂ，ｃを、図４（ｂ）に示す出力映像信号１００’の画素ａ’，ｂ’，ｃ’に変換することによって、歪み補正を行う。この出力映像信号１００’は、任意形状の投影面となっているスクリーン１のメッシュモデルに従って、座標変換が施された結果である。

歪み補正／画像処理部２４は、図５（ａ）に示す平面映像信号１００に含まれる画素データを、歪み補正テーブル１１０を参照して座標変換する。これにより、歪み補正／画像処理部２４は、平面映像信号１００を、図５（ｂ）に示す中間映像信号１００’に変換する。更に、歪み補正／画像処理部２４は、中間映像信号１００’に含まれる画素データを、画像処理テーブル１２０を参照して画素ごとに画像処理を施す。これにより、歪み補正／画像処理部２４は、中間映像信号１００’を、図５（ｃ）に示す出力映像信号１００”に変換する。この画像処理テーブル１２０を用いた画像処理は、歪み補正テーブル１１０を用いた座標変換が終了し、中間映像信号１００’が完成したタイミングで、当該中間映像信号１００’の各画素について、画像処理テーブル１２０を用いて行うことができる。

また、歪み補正／画像処理部２４は、図６（ａ）に示す平面映像信号１００の画素の座標値を、歪み補正テーブル１１０を参照して図６（ｂ）に示す出力映像信号１００’の各画素の座標値を変換する。歪み補正／画像処理部２４は、各画素の座標値を変換したタイミングで、当該画素に対して、画像処理テーブル１２０を参照して、画像処理を行う。これにより、歪み補正／画像処理部２４は、図５で説明したように、平面映像信号１００の全体に対して歪み補正を終了した後に画像処理をする場合と比較して、歪み補正及び画像処理の双方に要する処理時間を短くすることができる。

更に、歪み補正／画像処理部２４は、図７（ａ）に示す平面映像信号１００に含まれる画素データに対して、画像処理テーブル１２０を参照して画像処理を施す。これにより、歪み補正／画像処理部２４は、平面映像信号１００を、図７（ｂ）に示す中間映像信号１００’に変換する。更に、歪み補正／画像処理部２４は、中間映像信号１００’に含まれる画素データを、歪み補正テーブル１１０を参照して座標変換する。これにより、歪み補正／画像処理部２４は、中間映像信号１００’を、図７（ｃ）に示す出力映像信号１００”に変換する。この歪み補正テーブル１１０を用いた座標変換処理は、画像処理テーブル１２０を用いた画像処理が終了し、中間映像信号１００’が完成したタイミングで、当該中間映像信号１００’の各画素について、歪み補正テーブル１１０を用いて行うことができる。このように、歪み補正／画像処理部２４は、図５で説明した場合とは逆に、先に画像処理テーブル１２０を用いた画像処理を行い、その後に、歪み補正テーブル１１０を用いた座標変換処理を行うこともできる。

更にまた、歪み補正／画像処理部２４は、歪み補正／画像処理ユニット３が外部から平面映像信号１００の取込を完了したタイミングで、当該図８（ａ）の平面映像信号１００の各画素に対して画像処理テーブル１２０を参照した画像処理を行う。そして、歪み補正／画像処理部２４は、画像処理済みの平面映像信号１００の各画素の座標値を、歪み補正テーブル１１０を参照して変換して図８（ｂ）の出力映像信号１００’を作成する。これにより、歪み補正／画像処理部２４は、図７で説明したように、平面映像信号１００の全体に対して画像処理を終了した後に歪み補正処理をする場合と比較して、歪み補正及び画像処理の双方に要する処理時間を短くすることができる。

このような歪み補正／画像処理部２４は、図９乃至図１３に示す何れか一つ又は複数の画像処理テーブルを用いて、画像処理を行う。

図９に示す画像処理テーブルは、画像などの色のデータと、それが実際に出力される際の出力映像信号の相対関係を調節して、より自然に近い画像を得るためのガンマ補正処理を行うためのものである。このガンマ補正に用いられる画像処理テーブルは、Ｒ成分用のテーブル、Ｇ成分用のテーブル、Ｂ成分用のテーブルとを含む。各テーブルは、入力値（ＩＮＰＵＴ）と出力値（ＯＵＴＰＵＴ）とが対応付けて格納されている。

このガンマ補正の画像処理テーブルは、
出力値＝（入力値／２５５）^{（１／γ）}×２５５
となるように入力値（Ｒinput，Ｇinput，Ｂinput）に対する出力値（Ｒoutput，Ｂoutput，Ｇoutput）が設定されている。上記式において、γはガンマ値である。このガンマ補正の画像処理テーブルは、上記式に従って、予めパラメータ調整用パーソナルコンピュータ５又は歪み補正／画像処理ユニット３の内部にて生成されて記憶されている。

歪み補正／画像処理部２４は、ガンマ補正の画像処理テーブルを参照して、画像処理対象となる映像信号における各画素のＲ成分の入力値から、Ｒ成分の出力値を得る。同様に、画像処理対象となる映像信号における各画素のＧ成分の入力値から、Ｇ成分の出力値を得て、画像処理対象となる映像信号における各画素のＢ成分の入力値から、Ｂ成分の出力値を得る。これにより、歪み補正／画像処理部２４は、ガンマ補正が施された出力映像信号を得ることができる。

図１０に示す画像処理テーブルは、フルカラー画像から２５６階調のグレースケール画像へ変換するグレースケール化処理を行うためのものである。このグレースケール化処理の画像処理テーブルとしては、図１０（ａ）に示す単純モードの画像処理テーブルと、図１０（ｂ）に示すＮＴＳＣ（National Television System Committee）系加重平均法モードの画像処理テーブルとがある。歪み補正／画像処理部２４は、例えば操作入力部６の操作を外部機器制御部２８が検出して、何れかのグレースケール化処理のモードが設定される。これに応じて、歪み補正／画像処理部２４は、何れかのモードの画像処理テーブルを使用して、入力映像信号にグレースケール化処理を施す。

単純モードのグレースケール化処理を行うための画像処理テーブルは、
出力値＝（Ｒinput＋Ｇinput＋Ｂinput）／３
となるように、入力値に対する出力値が設定されている。これにより、歪み補正／画像処理部２４は、Ｒ成分、Ｇ成分、Ｂ成分の平均を取って、出力値を決定できる。出力値は、上式により算出される値であり、Ｒ成分の信号値Ｒoutput、Ｇ成分の信号値Ｇoutput、Ｂ成分の信号値Ｂoutputで同一値とする。

ＮＴＳＣ系加重平均法モードのグレースケール化処理を行うための画像処理テーブルは、
出力値＝0.298912×Ｒinput＋0.586611×Ｇinput＋0.114478×Ｂinput
となるように、入力値（Ｒinput，Ｇinput，Ｂinput）に対する出力値（Ｒoutput，Ｂoutput，Ｇoutput）が設定されている。出力値は、上式により算出される値であり、Ｒ成分の信号値Ｒoutput、Ｇ成分の信号値Ｇoutput、Ｂ成分の信号値Ｂoutputで同一値とする。このＮＴＳＣ系加重平均法は、単純モードのグレースケール化処理を行うと青色であった部分が妙に明るく感じたり、緑色だった部分が暗く感じる画像となってしまう。これは人間の視覚における色に対する感度特性が、一般的に緑色の輝度には敏感に反応し、青色の輝度にはあまり反応しないという傾向があるためである。このために、歪み補正／画像処理部２４は、ＮＴＳＣ系加重平均法によって、グレースケール化処理を行うこともできる。

このように、歪み補正／画像処理部２４は、グレースケール化処理を行うモードが選択された時に、上記の式に従って画像処理テーブルを作成する、又は、予め各モードについて作成しておいた画像処理テーブルを選択することができる。なお、予め各モードの画像処理テーブルを作成しておくことにより、グレースケール化処理の事前処理を簡単にできる。

図１１に示す画像処理テーブルは、入力画像を白と黒の２階調の画像に変換する２値化処理を行うためのものである。この２値化処理の画像処理テーブルとしては、図１１（ａ）に示す単色判定モードの画像処理テーブルと、図１１（ｂ）に示す全色判定モードの画像処理テーブルとがある。歪み補正／画像処理部２４は、例えば操作入力部６の操作を外部機器制御部２８が検出して、何れかの２値化処理のモードが設定される。これに応じて、歪み補正／画像処理部２４は、何れかのモードの画像処理テーブルを使用して、入力映像信号に２値化処理を施す。

単色判定モードの２値化処理を行うための画像処理テーブルは、入力値が所定の閾値α以上である場合には出力値を「２５５」とし、入力値が所定の閾値αより低い場合には出力値を「０」とする。ここで、入力値は、Ｒ成分の信号値Ｒinput、Ｇ成分の信号値Ｇinput、Ｂ成分の信号値Ｂinputの何れかを用いる。また、出力値は、Ｒ成分の信号値Ｒoutput、Ｇ成分の信号値Ｇoutput、Ｂ成分の信号値Ｂoutputで同一値とする。

全色判定モードの２値化処理を行うための画像処理テーブルは、Ｒ成分の信号値、Ｇ成分の信号値、Ｂ成分の信号値の平均値を入力値とする。歪み補正／画像処理部２４は、当該入力値が所定の閾値α以上である場合には出力値を「２５５」とし、入力値が所定の閾値αより低い場合には出力値を「０」とする。出力値は、Ｒ成分の信号値Ｒoutput、Ｇ成分の信号値Ｇoutput、Ｂ成分の信号値Ｂoutputで同一値とする。

歪み補正／画像処理部２４は、２値化処理を行うモード及び閾値αが選択された時に、画像処理テーブルを作成する、又は、予め各モード及び閾値αについて作成しておいた画像処理テーブルを選択することができる。

図１２に示す画像処理テーブルは、色の明暗の差異を変化させるコントラスト調整処理を行うためのものである。

このコントラスト調整処理に用いられる画像処理テーブルは、入力値（ＩＮＰＵＴ）と出力値（ＯＵＴＰＵＴ）とが対応付けて格納されている。このコントラスト調整処理の画像処理テーブルは、Ｒ成分の入力値Ｒinput，Ｇ成分の入力値Ｇinput，Ｂ成分の入力値Ｂinputに対して、Ｒ成分の出力値Ｒoutput，Ｇ成分の出力値Ｇoutput，Ｂ成分の値Ｂoutputが、下記の式によって設定されている。

Ｒoutput＝ｔａｎθ（Ｒinput−１２７）＋１２７
Ｇoutput＝ｔａｎθ（Ｇinput−１２７）＋１２７
Ｂoutput＝ｔａｎθ（Ｂinput−１２７）＋１２７
上記式において、θは調整値である。このθは、操作入力部６に対するユーザの操作に応じて、歪み補正／画像処理部２４が決定する。この場合、予め複数段階のｔａｎθを用意しておき、当該複数段階のｔａｎθのうちの何れかのｔａｎθをユーザの操作に応じて選択できるようにしても良い。

歪み補正／画像処理部２４は、入力された調整値θと、上記式とを用いて、図１２に示すコントラスト調整処理の画像処理テーブルを作成して、変換テーブル読み込み／保存部２７に記憶させる。また、このコントラスト調整処理の画像処理テーブルは、予めパラメータ調整用パーソナルコンピュータ５にて生成されて、変換テーブル読み込み／保存部２７に記憶しておいても良い。

歪み補正／画像処理部２４は、コントラスト調整処理の画像処理テーブルを参照して、画像処理対象となる映像信号における各画素のＲ成分の入力値から、Ｒ成分の出力値を得る。同様に、画像処理対象となる映像信号における各画素のＧ成分の入力値から、Ｇ成分の出力値を得て、画像処理対象となる映像信号における各画素のＢ成分の入力値から、Ｂ成分の出力値を得る。これにより、歪み補正／画像処理部２４は、コントラスト調整が施された出力映像信号を得ることができる。

図１３に示す画像処理テーブルは、色反転処理を行うためのものである。

この色反転処理に用いられる画像処理テーブルは、図１３（ａ）に示すように、Ｒ成分の入力値Ｒinput，Ｇ成分の入力値Ｇinput，Ｂ成分の入力値Ｂinputごとに、Ｒ成分の出力値Ｒoutput，Ｇ成分の出力値Ｇoutput，Ｂ成分の値Ｂoutputが対応付けられている。この色反転処理の画像処理テーブルは、Ｒ成分の入力値Ｒinput，Ｇ成分の入力値Ｇinput，Ｂ成分の入力値Ｂinputに対して、Ｒ成分の出力値Ｒoutput，Ｇ成分の出力値Ｇoutput，Ｂ成分の値Ｂoutputが、例えば下記の式によって設定されている。

Ｒoutput＝２５５−Ｒinput
Ｇoutput＝２５５−Ｇinput
Ｂoutput＝２５５−Ｂinput
また、他の色反転処理のための画像処理テーブルは、図１３（ｂ）に示すように、単一の入力値inputに対して単一の出力値outputが設定されているものであっても良い。ここで、入力値inputは、Ｒ成分の入力値Ｒinput，Ｇ成分の入力値Ｇinput，Ｂ成分の入力値Ｂinputの何れかである。また、出力値outputは、Ｒ成分の出力値Ｒoutput，Ｇ成分の出力値Ｇoutput，Ｂ成分の値Ｂoutputの何れかである。

歪み補正／画像処理部２４は、上記式とを用いて、図１３（ａ）又は図１３（ｂ）に示す色反転処理の画像処理テーブルを作成して、変換テーブル読み込み／保存部２７に記憶させる。また、この色反転処理の画像処理テーブルは、予めパラメータ調整用パーソナルコンピュータ５にて生成されて、変換テーブル読み込み／保存部２７に記憶しておいても良い。

歪み補正／画像処理部２４は、図１３（ａ）の画像処理テーブルを用いる場合、色反転処理の画像処理テーブルを参照して、画像処理対象となる映像信号における各画素のＲ成分の入力値から、Ｒ成分の出力値を得る。同様に、画像処理対象となる映像信号における各画素のＧ成分の入力値から、Ｇ成分の出力値を得て、画像処理対象となる映像信号における各画素のＢ成分の入力値から、Ｂ成分の出力値を得る。これにより、歪み補正／画像処理部２４は、コントラスト調整が施された出力映像信号を得ることができる。

歪み補正／画像処理部２４は、図１３（ｂ）の画像処理テーブルを用いる場合、Ｒ成分の入力値Ｒinput，Ｇ成分の入力値Ｇinput，Ｂ成分の入力値Ｂinputのそれぞれに対して、歪み補正／画像処理部２４は、出力値output＝２５５−入力値inputの演算を行って、Ｒ成分の出力値Ｒoutput，Ｇ成分の出力値Ｇoutput，Ｂ成分の値Ｂoutputを得る。

更に、歪み補正／画像処理部２４は、画像処理として、エッジ強調処理（シャープネス処理）を行うこともできる。例えば、操作入力部６のユーザの操作に応じて、エッジ強調に用いるフィルタの種類が選択される。そして、歪み補正／画像処理部２４又は歪み補正／画像処理ユニット３は、選択されたフィルタの種類に従って、エッジ強調処理を行うことができる。このエッジ強調処理に用いるフィルタとしては、Laplacian フィルタ、Sobelフィルタ、Prewittフィルタが挙げられる。また、一般的なエッジ強調処理における調整も可能としても良い。

更に、歪み補正／画像処理部２４は、映像を投影するスクリーン１の部位に対応する映像部分ごとに、異なる画像処理テーブルを用いて画像処理を行っても良い。例えば、スクリーン１がドーム型である場合には、スクリーン１の中心部分とスクリーン１の縁部分とでは調整値が異なる中心用の画像処理テーブルと縁部用の画像処理テーブルとを変換テーブル読み込み／保存部２７に記憶しておく。例えば、映像部分を指定するユーザ操作及び映像部分ごとに異なる画像処理のパラメータを設定するユーザ操作を操作入力部６が検出して、歪み補正／画像処理部２４が当該映像部分及び映像部分ごとのパラメータを入力する。そして、歪み補正／画像処理部２４は、映像部分ごとにパラメータが異なる画像処理テーブルを作成することができる。

例えばドーム型のスクリーン１に対して一様のコントラストの映像を視認させたい場合、コントラスト調整のためのｔａｎθを、ドーム型のスクリーン１の中心部分とドーム型のスクリーン１の縁部分とで異なる値としても良い。これにより、歪み補正／画像処理部２４は、映像部分ごとにｔａｎθを変えたコントラスト調整用の複数のテーブルを作成することができる。そして、歪み補正／画像処理部２４は、複数のテーブルを参照して、スクリーン１の中心部分に投影される映像に対しては、中心用のｔａｎθでコントラスト調整を施す。また、歪み補正／画像処理部２４は、スクリーン１の縁部分に投影される映像に対しては縁部分のｔａｎθでコントラスト調整を施す。

このように、歪み補正／画像処理ユニット３は、映像部分ごとの画像処理のパラメータを最適化でき、映像部分ごとに最適な画像処理を施すことができる。

つぎに、歪み補正／画像処理部２４による輝度補正処理について説明する。

歪み補正／画像処理部２４による輝度補正処理は、変換テーブル読み込み／保存部２７に歪み補正処理後の出力映像信号に対応した輝度補正テーブルが記憶されている場合には、図１４に示す処理となる。すなわち、先ず図１４（ａ）に示す平面映像信号１００に対して輝度補正処理を施し、図１４（ｂ）の平面映像信号１００’を作成し、その後に、当該平面映像信号１００’に歪み補正処理が施して、図１４（ｃ）の出力映像信号１００”を作成する。この輝度補正処理及び歪み補正処理に対し、歪み補正／画像処理部２４は、外部から平面映像信号１００を入力したタイミング、平面映像信号１００’を作成するタイミング、歪み補正処理を施して出力映像信号１００”を作成するタイミングで画像処理を行うことができる。

また、輝度補正処理は、変換テーブル読み込み／保存部２７に歪み補正処理前の平面映像信号に対応した輝度補正テーブルが記憶されている場合には、図１５に示す処理となる。すなわち、図１５（ａ）に示す平面映像信号１００が歪み補正処理された結果である図１５（ｂ）の出力映像信号１００’に対して、当該歪み補正後の画素ａ’，ｂ’，ｃ’の輝度を変換して、図１５（ｃ）に示す新たな輝度補正後の画素ａ”，ｂ”，ｃ”を含む出力映像信号１００”とする。この輝度補正処理及び歪み補正処理に対し、歪み補正／画像処理部２４は、外部から平面映像信号１００を入力したタイミング、歪み補正処理を施して出力映像信号１００’を作成するタイミング、輝度補正処理を施して出力映像信号１００”を作成するタイミングで画像処理を行うことができる。

なお、歪み補正／画像処理部２４の歪み補正処理では、歪み補正処理の座標変換の際に、歪み補正テーブル内部に記述されたずれ量を参照することで、出力画像の画素に関連した入力画像の複数の画素の色情報をもとに出力画像の画素の色情報を生成することもできる。この出力画像の画素の色情報を補間して作成する処理を含む歪み補正処理の詳細については、後述する。

この歪み補正／画像処理部２４によって、画像処理、歪み補正処理及び輝度補正処理が施された出力映像信号は、出力映像処理部２５（信号方式変換回路１７）に渡されて、当該出力映像処理部２５からプロジェクタ２ａ、２ｂに供給される。このとき、出力映像処理部２５（信号方式変換回路１７）は、出力映像信号をプロジェクタ２ａ、２ｂで映像投影可能な信号方式に変換して出力する。なお、映像出力端子３ｅ，３ｄは、出力映像信号の方式に準じた端子形状であるＤＶＩ−Ｉ端子、ＲＧＢ端子などとなっている。

また、この歪み補正／画像処理ユニット３において、同期処理部２６は、リアルタイムで入力映像処理部２１、映像切替／分配部２２、映像合成部２３、歪み補正／画像処理部２４及び出力映像処理部２５を動作させるために同期処理部２６によって、各部間の映像信号の処理タイミング、映像信号転送タイミングを制御している。この歪み補正／画像処理ユニット３は、デジタルシグナルプロセッサ１４によって、映像信号処理回路１２のソフトウェア的な処理が制御されている。

更に、歪み補正／画像処理ユニット３は、パラメータ調整用パーソナルコンピュータ５から供給された制御信号を制御信号読み込み／保存部２９で受信・保存し、外部機器制御回路１３（外部機器制御部２８）が、適宜、制御信号を制御信号読み込み／保存部２９から選択し、当該制御信号を外部出力端子３ｈを通じてプロジェクタ２ａ，２ｂに転送する。なお、歪み補正／画像処理ユニット３からプロジェクタ２ａ，２ｂに送信する制御信号は、図３に示すように、ユーザに操作される押しボタンやリモコンなどの操作入力部６からの操作入力信号に応じて、外部機器制御部２８から出力しても良い。これによって、制御信号読み込み／保存部２９に保存されている制御信号をユーザが自由に切り換えながらプロジェクタ２ａ，２ｂを制御させることができる。

このように、歪み補正／画像処理ユニット３によれば、事前に変換テーブル読み込み／保存部２７に画像処理テーブル、歪み補正テーブル、輝度補正テーブルを記憶させておく。そして、歪み補正／画像処理ユニット３は、プロジェクタ２ａ、２ｂからスクリーン１に映像光を出射させるに際して平面映像信号に画像処理、歪み補正処理、輝度補正処理を施す場合に、２次元における画像処理、座標変換、輝度変換を行うのみで、３次元処理を行うことなく出力映像信号を作成できる。すなわち、歪み補正の関係式の生成を外部のパラメータ調整用パーソナルコンピュータ５で行い、当該パラメータ調整用パーソナルコンピュータ５の処理結果を歪み補正テーブルとして入力できる。したがって、歪み補正／画像処理ユニット３内部において、３次元の計算処理を必要とせず、２次元の計算処理のみで歪み補正が可能である。また、画像処理、輝度補正処理についても、歪み補正／画像処理ユニット３内部において、３次元の計算処理を必要とせず、２次元の計算処理のみで画像処理、輝度補正が可能である。したがって、歪み補正／画像処理ユニット３によれば、観察者に視認させる映像の画像処理、輝度補正、歪み抑制を簡単な構成でリアルタイムに実現できる。

また、この歪み補正／画像処理ユニット３によれば、様々な種類の映像信号に対して上述の処理を施すことができ、入力映像の種類に対する制限を軽減できる。

更に、歪み補正／画像処理ユニット３は、複数の平面映像信号を同時に入力すると共に、映像信号を複数同時に出力する構成となっている。映像信号処理回路１２は、同時に複数の平面映像信号を入力した場合に、当該複数の平面映像信号を選択して、歪み補正をした出力映像信号を信号方式変換回路１７に出力することができ、当該複数の平面映像信号を合成して信号方式変換回路１７から出力させることができる。この複数の平面映像信号のうち信号方式変換回路１７に出力する出力映像信号を選択する条件は、パラメータ調整用パーソナルコンピュータ５によって設定できる。また、複数の平面映像信号を合成する前に、当該複数の平面映像信号の映像サイズを統一するように映像の拡大、縮小処理を施すことが望ましい。

また、複数の平面映像信号を同時に入力した場合、ＤＳＰ１４で構成される同期処理部２６によって、複数の平面映像信号の処理タイミングの同期を取ることができる。これによって、２台のプロジェクタ２ａ，２ｂを使用して立体視をさせることもできる。

更に、上述した映像信号処理回路１２は、複数の平面映像信号を用いて、当該複数の平面映像信号間で視差を与えて合成した視差付き平面映像信号を作成しても良い。例えば、３チャンネル入力の場合、チャンネル３の平面映像信号をチャンネル１の平面映像信号とチャンネル２の平面映像信号に対して視差を付けて合成して、視差付き平面映像信号を作成してもよく、４チャンネル入力の場合、チャンネル３、チャンネル４の平面映像信号をそれぞれチャンネル１、チャンネル２の平面映像信号に視差を付けて合成して、視差付き平面映像信号を作成してもよい。このような視差付き平面映像信号の作成処理の条件は、パラメータ調整用パーソナルコンピュータ５によって設定でき、当該設定によって、スクリーン１に歪みがない立体映像を表示させることができる。

つぎに、上述したように構成された仮想現実感生成システムにおいて、パラメータ調整用パーソナルコンピュータ５による歪み補正テーブルの作成処理について説明する。

パラメータ調整用パーソナルコンピュータ５は、歪み補正テーブルに関するテーブル・作成出力部の機能として、スクリーンモデル創造部、プロジェクタ配置・セットアップ部、ユーザ位置設定部を主として有する。スクリーンモデル創造部は、図１６に示すように、スクリーン１のメッシュモデルを創造するものである。このスクリーンモデル創造部は、先ず、基本的な３つのモデルが記憶されている。すなわち、球形のみのモデル３１と、円筒のみのモデル３２と、混合モデル３３とである。混合モデル３３は、球形を主とし他の平面又は曲面を混合した球面混合モデル３４と、円筒を主として他の平面又は曲面を混合した円筒混合モデル３５と、平面を主として他の平面又は曲面を混合した平面混合モデル３６とから構成されている。そして、各モデル３１、３２、３４〜３６の内容は、何れか１つを設定し、更に、入力パラメータ３１ａ，３２ａ，３４ａ〜３６ａを入力することで、実際のスクリーン１に適応したメッシュモデル３１ｂ、３２ｂ、３４ｂ〜３６ｂを作成することができる。なお、スクリーンモデル創造部に記憶しておく基本的なモデルとしては、図１６に示したモデル３１〜３３に限らず、当該モデル３１〜３３と並列して、楕円形のモデル、長方形のモデルなども設定しておき、入力パラメータの入力、メッシュモデルの作成を行うことができる。これによって、楕円形や長方形、当該楕円形や長方形を複数組み合わせたスクリーン１であっても、当該スクリーン１に投影した映像に歪みを発生させない歪み補正テーブルを作成できる。

基本モデルと入力パラメータとしては、以下のとおりである。

図１７で示すように球面（真球の一部）の場合、入力パラメータとしては、球の半径Ｒと、球の中心から切断面までの距離Ａとである。

ここで、球は、式１のように表される。

ｘ２＋ｙ２＋ｚ２＝Ｒ２ （式１）
ここで、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−ｚ１≦ｚ≦ｚ１である。ｙ１は、式１において、ｘ＝Ａ、ｚ＝０を代入することによって求められ、ｚ１は、式１において、ｚ＝Ａ、ｙ＝０を代入することによって求められ、ｙ１＝ｚ１となる。従って、上述のようにスクリーン１が球面の場合、パラメータ調整用パーソナルコンピュータ５への入力パラメータとしては、球の半径Ｒと、球の中心から切断面までの距離Ａとを入力すればよい。

また、図１８で示すように、原点（ｘ軸線）からｙ方向にＢの位置で球面の一部を切り欠いたスクリーン１である場合、スクリーン１の投影面は、図１９（ａ）のようになり、Ｂが負の位置（図１８のように下（−ｙ方向））の場合、Ａ≦ｘ≦Ｒ、−Ｂ≦ｙ≦ｙ１、−ｚ１≦ｚ≦ｚ１であり、ｙ１は、式１において、ｘ＝Ａ、ｚ＝０を代入することによって求められ、ｚ１は、式１において、ｘ＝Ａ、ｙ＝０を代入することによって求められ、ｘ１は、式１において、ｙ＝−Ｂ、ｚ＝０を代入することによって求められる。従って、パラメータ調整用パーソナルコンピュータ５への入力パラメータとしては、球の半径Ｒと、球の中心から切断面までの距離Ａと、原点から切り欠く位置までの距離Ｂとを入力すればよい。

同様に、上、右、左で切断した場合は、それぞれ図１９（ｂ）、図１９（ｃ）、図１９（ｄ）のようなスクリーン１となり、式１は、以下のようになる。図１９（ｂ）で示すように上にＢの高さで切断した場合、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦Ｂ、−ｚ１≦ｚ≦ｚ１である。図１９（ｃ）で示すように右にＢの距離で切断した場合、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−ｚ１≦ｚ≦Ｂである。図１９（ｄ）で示すように左にＢの距離で切断した場合、Ａ≦ｘ≦Ｒ、−ｙ１≦ｙ≦ｙ１、−Ｂ≦ｚ≦ｚ１である。なお、パラメータ調整用パーソナルコンピュータ５への入力パラメータを増やせば、２箇所以上の切断位置の組み合わせたスクリーン１である場合であっても良い。

一方、図２０は、円筒を切断したアーチ面を示し、この場合、パラメータ調整用パーソナルコンピュータ５への入力パラメータとしては、アーチの半径Ｒと、円の中心から切断面までの距離Ａと、アーチの高さＨとである。

ここで、円は、式２のように表させる。

ｘ２＋ｚ２＝Ｒ２ （式２）
ここで、Ａ≦ｘ≦Ｒ、０＜ｙ≦Ｈ、−ｚ１≦ｚ≦ｚ１の制限を加えることで、アーチの表面の式となる。ｚ１は、式２において、ｘ＝Ａを代入することによって求められる。

さらにまた、図２１（ａ）は、複数平面（長方形の面が複数存在）からなるスクリーン１の投影面の場合を示し、この場合、パラメータ調整用パーソナルコンピュータ５への入力パラメータとしては、図２１（ｂ）で示すような上面から見たときの面の配置と、面の高さＨとである。図２１（ｂ）の場合、
ｚ＝−ｘ＋１（０≦ｘ＜１） （式３−１）
ｚ＝０（１≦ｘ＜３） （式３−２）
ｚ＝ｘ−３（３≦ｘ≦４） （式３−３）
０＜ｙ≦Ｈ （式３−４）
である。

また、複数同じ大きさの球面を真横に並べたスクリーン１の場合には、パラメータ調整用パーソナルコンピュータ５への入力パラメータとしては、図１７または図１８、１９で示す例と同様に、半径Ｒと、切断面までの距離Ａと、切り欠く位置までの距離Ｂと、個数とを入力すればよい。すなわち、例えば、上下に２つの球面スクリーンを並べてスクリーン１とした場合、図１９（ａ）と図１９（ｂ）とを組み合わせることで実現することができ、同様に左右に２つの球面スクリーンを並べるスクリーン１とした場合、図１９（ｃ）と図１９（ｄ）とを組み合わせることで実現することができ、パラメータ調整用パーソナルコンピュータ５への入力パラメータとしては、前述のように、半径Ｒと、切断面までの距離Ａと、切り欠く位置までの距離Ｂと、個数とを入力すればよいことが理解される。

複数の円筒面のスクリーン１の場合には、上面から見た配置図に、面の高さＨと、各スクリーン１の半径Ｒ及び距離Ａと、個数とを入力すればよい。このようにして、スクリーン１の投影面の関数式が決まるので、ｘ、ｙ、ｚに適当な値を代入することで、或る一定個数以上のスクリーン１上の点をサンプリング点として記録することで、スクリーン１の投影面形状を特定することができる。各スクリーン１の投影面の関数式は、スクリーンモデル創造部において、予め各モデル３１，３２，３４〜３６内に格納されて、歪み補正テーブルの設定時に呼び出すことができる。そして、入力パラメータ３１ａ，３２ａ，３４ａ〜３６ａとして上記のパラメータを入力するだけで、パラメータ調整用パーソナルコンピュータ５により、実際のスクリーン１に適応したメッシュモデル３１ｂ、３２ｂ、３４ｂ〜３６ｂを作成することができる。

なお、上記のようなスクリーン１の投影面上のサンプリング点は、ｘ軸周り、ｙ軸周り、ｚ軸周りに回転可能（傾いたスクリーン１を定義可能）である。

すなわち、ｘ軸周りのα度の回転は、式４で表すことができる。

また、ｙ軸周りのβ度の回転は、式５で表すことができる。

さらにまた、ｚ軸周りのγ度の回転は、式６で表すことができる。

パラメータ調整用パーソナルコンピュータ５は、このようにして得たスクリーン１の投影面上のサンプリング点に、歪み補正／画像処理ユニット３に入力される平面映像信号の各サンプリング点をマッピングさせる対応マップを歪み補正テーブルとして作成することで、歪み補正／画像処理ユニット３で歪み補正処理を行わせることができ、平面映像信号の各画素を歪み補正テーブルで対応した画素に割り付けてゆくことで、歪み補正処理が施された出力映像信号を作成させることができる。

この歪み補正テーブルは、使用するスクリーン１の投影面形状が決定し、パラメータ調整用パーソナルコンピュータ５に各パラメータを入力し、一旦作成すれば、パラメータ等の変更がない限り変更する必要なくパラメータ調整用パーソナルコンピュータ５から歪み補正／画像処理ユニット３に供給されて、歪み補正／画像処理ユニット３内に記憶される。

以上の図１７〜図２１を用いた説明は、図２２に示すようなスクリーン１の投影面形状に対する歪み補正処理を歪み補正／画像処理ユニット３によって実行させるものである。

すなわち、平面の投影面に対する平面映像信号を、そのまま球形のスクリーン１に投影すると、図２２（ａ）に示すように歪んだ映像となり、このため球形のスクリーン１に投影された映像の歪みが無くなるように、図２２（ｂ）に示すように予め歪ませた出力映像信号を作成するものである。しかしながら、プロジェクタ２ａ、２ｂのスクリーン１に対する配置位置の違い及び観察者のスクリーン１に対する位置の違いなどから、さらなる歪み補正が必要になる。従って、上述のようにして求めた歪み補正テーブルには、さらにそのような補正を施すことができるようになる。

以下に、投影面が球面のスクリーン１に対するプロジェクタ２ａ、２ｂ及び観察者の位置の違いに対する歪み補正テーブルの作成処理について説明する。この処理は、プロジェクタ配置・セットアップ部及びユーザ位置設定部からの入力に応答してパラメータ調整用パーソナルコンピュータ５によって行われる。

図２３は、上述した球面補正に、プロジェクタ２ａ、２ｂ及び観察者の位置補正を含めた歪み補正の手法を説明するための図である。先ず補正にあたり、図２３に示すように、観察者の視点位置よりビューフラスタム及びプロジェクタ２ａ、２ｂの投影位置より映像投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をＰ０、底面をＰ_０，０、Ｐ_ｍ，ｎ、Ｐ_０，ｎとする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をＱ_０、底面をＱ_０，０、Ｑ_ｍ，０、Ｑ_ｍ，ｎ、Ｑ_０，ｎとして表現される。ここで、ｍ，ｎは映像解像度を表すものとし、映像信号が、例えばＳＸＧＡの場合は、ｍ＝１２７９，ｎ＝１０２３である。なお、底面は仮想スクリーン面とも呼ばれる。

ここで、簡易表現のため、ｍ＝ｉにおけるｙ−ｚ二次元断面から見たイメージを図２４に示す。先ず、仮想スクリーン面１ａ内に点Ｐ_ｉ，ｊを想定し、ベクトルＰ_０Ｐ_ｉ，ｊとドーム型のスクリーン１（メッシュモデル３１ｂ，３２ｂ，３４ｂ〜３６ｂ）との交点Ｐ_ｉ，ｊを求める。ｉ，ｊを、０≦ｉ≦ｍ，０≦ｊ≦ｎで変化してゆくと、Ｐ_ｉ，ｊ→Ｑ_ｉ，ｊ対応マップを作成することができ、この対応マップが映像の歪みに対する逆補正となる。

すなわち、先ずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取り出し、このイメージにＰ_ｉ，ｊ→Ｑ_ｉ，ｊ対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行わせることで、歪み補正を実現させる。グリッド映像にＰ_ｉ，ｊ→Ｑ_ｉ，ｊ対応マップを適用したイメージを図２５（ａ），（ｂ）に示す（すなわち図２４とは逆になる）。この歪み補正処理は、スクリーン１の投影面形状を制限しない。従って、上述のようにして求めた球面のメッシュモデル３１ｂだけでなく、他のメッシュモデル３２ｂ、３４ｂ〜３６ｂ等へも適用可能である。

このように、パラメータ調整用パーソナルコンピュータ５によって歪み補正処理を行わせるための歪み補正テーブルを使用させる。これにより、平面の表示面に対する平面映像信号に対して逐次歪み補正処理をさせて、映像光をプロジェクタ２ａ、２ｂから出射させることができ、任意形状のスクリーン１に歪みの無い映像を表示させることができる。

つぎに、上述した、歪み補正テーブル内部に記述されたずれ量を参照することで、歪み補正処理の座標変換の際に、出力画像の画素に関連した入力画像の複数の画素の色情報をもとに出力画像の画素の色情報を生成する処理について説明する。この処理は、例えば色情報補間式歪み補正処理と称する。

以下に説明する色情報補間式歪み補正処理を行う場合であっても、歪み補正／画像処理部２４は、当該色情報補間式歪み補正処理前又は後の画素に対して画像処理テーブルを用いた画像処理を行うことができる。

この色情報補間式歪み補正処理は、必ずしも行わなければならない処理ではない。ただし、この色情報補間式歪み補正処理を行うことにより、単に歪み補正処理をした場合と比べて、出力画像のジャギーを軽減することが可能となる。

歪み補正／画像処理部２４は、歪み補正テーブルによって平面映像信号を出力映像信号に変換する歪み補正処理をする際に、歪み補正テーブルによる変換前の平面映像信号の画素の代表点が、変換後の出力映像信号の画素の代表点からずれるずれ量に相当する割合で、変換前の複数の画素の色情報を混合した色情報を、変換後の画素の色情報にして、出力映像信号を作成する。具体的には、歪み補正／画像処理部２４は、変換前のｘ方向で隣り合う２画素内における変換後の画素の代表点の位置に応じて、平面映像信号の２画素内の色情報を混合して出力映像信号を作成する。又は、歪み補正／画像処理部２４は、変換前のｙ方向で隣り合う２画素内における変換後の画素の代表点の位置に応じて、平面映像信号の２画素内の色情報を混合して、出力映像信号を作成する。

ここで、スクリーン１の投影面上のサンプリング点に平面映像信号のサンプリング点をマッピングさせる対応マップを歪み補正テーブルとして変換テーブル読み込み／保存部２７に記憶しておく。そして、平面映像信号の各画素を歪み補正テーブルで対応した画素に割り付けてゆく際に、平面映像信号の１画素を出力映像信号の１画素に対応させる。この場合、画素が映像解像度によって規定される有限の大きさを有していることにより、座標位置の丸めに相当する誤差が生じて、変換後の出力画像で階段状の色むら、いわゆるジャギーが目立つ場合がある。丸めによる誤差は変換前の画素の代表点、例えば画素の中心位置が変換後の画素の代表点から離れた位置に対応することによって生じる。このことから、当該ずれ量に相当する割合で、平面映像信号において隣接する画素の色情報を利用して出力映像信号の色情報を補間する。これによって、出力映像信号に発生するジャギーを低減する。

例えばｘ方向においてずれがある場合、図２６に示すように、ｘ方向において隣接する平面映像信号（以下、入力画像１００と呼ぶ。）の画素Ｐ１，Ｐ２を出力映像信号（以下、出力画像１００’と呼ぶ。）の画素Ｐ１’に変換し、ｘ方向において隣接する入力画像１００の画素Ｐ３，Ｐ４を出力画像１００’の画素Ｐ２’に変換するに際して、入力画像１００のｘ方向にて隣接する画素Ｐ１，Ｐ２の色情報を用いて出力画像１００’の画素Ｐ１’の色情報を作成し、入力画像１００のｘ方向にて隣接する画素Ｐ３，Ｐ４の色情報を用いて出力画像１００’の画素Ｐ２’の色情報を作成する。

ｘ方向のずれ量Δｘは、０以上１未満で表現でき、０又は１のときは隣接する何れかの画素の代表点に一致するものとして表現できる。すなわち、入力画像１００のｘ方向で隣接する２画素が出力画像１００’において１画素に変換されるに際して、ずれ量Δｘが入力画像１００と出力画像１００’との間で存在する場合、図２７（ａ）に示すように、入力画像１００における画素Ｐ１（ｘ，ｙ）の色情報と隣接する画素Ｐ２（ｘ＋１，ｙ）の色情報とを、１−Δｘ：Δｘの割合で平均化した仮想画素Ｐ（ｘ＋Δｘ，ｙ）の色情報Ｃ_{ｘ＋Δｘ，ｙ}＝Ｃ_ｘ，ｙ（１−Δｘ）＋Ｃｘ＋１，ｙΔｘを出力画像１００’の画素の色情報とすることができる。また、図２７（ｂ）に示すように、仮想の入力画素（ｘ＋Δｘ，ｙ）に対応する出力画像１００’の変換後画素Ｐ’（ｕ，ｖ）の色情報を
Ｃｘ＋Δｘ，ｙ＝Ｃｘ，ｙ（１−Δｘ）＋Ｃｘ＋１，ｙΔｘ
とすることができる。

このように歪み補正／画像処理ユニット３は、入力画像１００と出力画像１００’との間でｘ方向のずれがあり、ｘ方向の２画素を用いて色情報補間式歪み補正処理を行って出力画像１００’を作成するために、ずれ量の記述が含まれる歪み補正テーブルを変換テーブル読み込み／保存部２７に記憶しておく。そして、図２６に示したように、歪み補正／画像処理部２４は、出力画像１００’の画素Ｐ１’，Ｐ２’を、それぞれ入力画像１００のｘ方向の２画素から生成する。従って、入力画像１００の２画素と出力画像１００’の１画素は、入力画像１００の２画素の色情報がそれぞれどの程度の割合で、出力画像１００’の画素の色情報に影響を及ぼしているかに応じて、色情報が算出される。

ここで、出力画像１００’の画素（ｕ，ｖ）が対応する入力画像１００の画素が、画素（ｘ，ｙ）からΔｘだけずれているとすると、出力画像１００’の画素（ｕ，ｖ）を、入力画像１００の仮想画素（ｘ＋Δｘ，ｙ）と対応しているというずれ量の記述が含まれる歪み補正テーブルを作成しておく。これにより、歪み補正／画像処理部２４は、出力画像１００’の画素（ｕ，ｖ）の色情報を、画素（ｘ，ｙ）と画素（ｘ＋１，ｙ）との色情報を（１−Δｘ）：Δｘの割合で含むように混合して、出力画像１００’の画素（ｕ，ｖ）の色情報Ｃ_ｕ，ｖを、
Ｃ_ｕ，ｖ＝Ｃ_ｘ，ｙ（１−Δｘ）＋Ｃ_{ｘ＋１，ｙ}Δｘ
という式で演算することができる。

また、ｙ方向にずれがある場合、図２８に示すように、ｙ方向において隣接する入力画像１００の画素Ｐ１，Ｐ２を出力画像１００’の画素Ｐ１’に変換する。また、ｙ方向において隣接する入力画像１００の画素Ｐ３，Ｐ４を出力画像１００’の画素Ｐ２’に変換する。このとき、入力画像１００のｙ方向にて隣接する画素Ｐ１，Ｐ２の色情報を用いて出力画像１００’の画素Ｐ１’の色情報を作成し、入力画像１００のｙ方向にて隣接する画素Ｐ３，Ｐ４の色情報を用いて出力画像１００’の画素Ｐ２’の色情報を作成する。

ｙ方向のずれ量Δｙは、０以上１未満で表現でき、０又は１のときは隣接する何れかの画素の代表点に一致するものとして表現できる。すなわち、入力画像１００のｙ方向で隣接する２画素が出力画像１００’において１画素に変換されるに際して、ずれ量Δｙが入力画像１００と出力画像１００’との間で存在する場合、図２９（ａ）に示すように、入力画像１００における画素Ｐ１（ｘ，ｙ）の色情報と隣接する画素Ｐ２（ｘ，ｙ＋１）の色情報とを、１−Δｙ：Δｙの割合で平均化した仮想画素Ｐ（ｘ，ｙ＋Δｙ）の色情報Ｃ_{ｘ，ｙ＋Δｙ}＝Ｃ_ｘ，ｙ（１−Δｙ）＋Ｃ_{ｘ，ｙ＋１}Δｙを出力画像１００’の画素の色情報とすることができる。また、図２９（ｂ）に示すように、仮想の入力画素（ｘ，ｙ＋Δｙ）に対応する出力画像１００’の変換後画素Ｐ’（ｕ，ｖ）の色情報を
Ｃ_{ｘ，ｙ＋Δｙ}＝Ｃ_ｘ，ｙ（１−Δｙ）＋Ｃ_{ｘ，ｙ＋１}Δｙ
とすることができる。

このように歪み補正／画像処理ユニット３は、入力画像１００と出力画像１００’との間でｙ方向のずれがあり、ｙ方向の２画素を用いて色情報補間式歪み補正処理を行って出力画像１００’を作成する。このために、ずれ量の記述が含まれる歪み補正テーブルを変換テーブル読み込み／保存部２７に記憶する。そして、図２８に示したように、歪み補正／画像処理部２４は、出力画像１００’の画素Ｐ１’，Ｐ２’を、それぞれ入力画像１００のｙ方向の２画素から生成する。従って、入力画像１００の２画素と出力画像１００’の１画素は、入力画像１００の２画素の色情報がそれぞれどの程度の割合で、出力画像１００’の画素の色情報に影響を及ぼしているかに応じて、出力画像１００’の色情報を算出する。

ここで、出力画像１００’の画素（ｕ，ｖ）が対応する入力画像１００の画素が、画素（ｘ，ｙ）からΔｙだけずれているとする。この場合、出力画像１００’の画素（ｕ，ｖ）を、入力画像１００の仮想画素（ｘ，ｙ＋Δｙ）と対応しているというずれ量の記述が含まれる歪み補正テーブルを作成しておく。これにより、歪み補正／画像処理部２４は、出力画像１００’の画素（ｕ，ｖ）の色情報を、画素（ｘ，ｙ）と画素（ｘ，ｙ＋１）との色情報を（１−Δｙ）：Δｙの割合で含むように混合して、出力画像１００’の画素（ｕ，ｖ）の色情報Ｃｕ，ｖを、
Ｃ_ｕ，ｖ＝Ｃ_ｘ，ｙ（１−Δｙ）＋Ｃ_{ｘ，ｙ＋１}Δｙ
という式で演算することができる。

更に、ｘ方向及びｙ方向においてずれがある場合、図３０に示すように、ｘ方向及びｙ方向において隣接する入力画像１００の画素Ｐ１〜Ｐ４を出力画像１００’の画素Ｐ１’に変換する。また、ｘ方向及びｙ方向において隣接する入力画像１００の画素Ｐ５〜Ｐ８を出力画像１００’の画素Ｐ２’に変換する。このとき、入力画像１００のｘ方向及びｙ方向にて隣接する画素Ｐ１〜Ｐ４の色情報を用いて出力画像１００’の画素Ｐ１’の色情報を作成する。また、入力画像１００のｘ方向及びｙ方向にて隣接する画素Ｐ５〜Ｐ８の色情報を用いて出力画像１００’の画素Ｐ２’の色情報を作成する。

ｘ方向にΔｘ、ｙ方向にΔｙのずれがある場合には、入力画像１００のｘ方向及びｙ方向で隣接する４画素が出力画像１００’において１画素に変換される。このとき、図３１（ａ）に示すように、入力画像１００における画素Ｐ１（ｘ，ｙ）の色情報と画素Ｐ２（ｘ＋１，ｙ）の色情報と画素Ｐ３（ｘ，ｙ＋１）の色情報と画素Ｐ４（ｘ＋１，ｙ＋１）の色情報とを用いて、（１−Δｘ）（１−Δｙ）：Δｘ（１−Δｙ）：（１−Δｘ）Δｙ：ΔｘΔｙの割合で平均化する。これにより、４画素を混合した色情報Ｃ_{ｘ＋Δｘ，ｙ＋Δｙ}＝Ｃ_ｘ，ｙ（１−Δｘ）（１−Δｙ）＋Ｃ_{ｘ＋１，ｙ}Δｘ（１−Δｙ）＋Ｃ_{ｘ，ｙ＋１}（１−Δｘ）Δｙ＋Ｃ_{ｘ＋１，ｙ＋１}ΔｘΔｙを得ることができる。また、図３１（ｂ）に示すように、仮想の入力画素（ｘ＋Δｘ，ｙ＋Δｙ）に対応する出力画像１００’の変換後画素Ｐ’（ｕ，ｖ）の色情報を
Ｃ_{ｘ＋Δｘ，ｙ＋Δｙ}＝Ｃ_ｘ，ｙ（１−Δｘ）（１−Δｙ）＋Ｃ_{ｘ＋１，ｙ}Δｘ（１−Δｙ）＋Ｃ_{ｘ，ｙ＋１}（１−Δｘ）Δｙ＋Ｃ_{ｘ＋１，ｙ＋１}ΔｘΔｙ
とすることができる。

このように仮想現実感生成システムは、入力画像１００と出力画像１００’との間でｘ方向及びｙ方向のずれがあり、ｘ方向及びｙ方向の２画素を用いて色情報補間式歪み補正処理を行って出力画像１００’を作成する。このために、ずれ量の記述が含まれる歪み補正テーブルを変換テーブル読み込み／保存部２７に記憶する。そして、図３０に示したように、歪み補正／画像処理部２４は、出力画像１００’の画素Ｐ１’，Ｐ２’を、それぞれ入力画像１００のｘ方向及びｙ方向の４画素から生成する。従って、入力画像１００の４画素と出力画像１００’の１画素は、入力画像１００の４画素の色情報がそれぞれどの程度の割合で、出力画像１００’の画素の色情報に影響を及ぼしているかに応じて、出力画像１００’の色情報を算出する。

ここで、出力画像１００’の画素（ｕ，ｖ）が対応する入力画像１００の画素が、画素（ｘ，ｙ）からΔｘ、Δｙだけずれているとすると、出力画像１００’の画素（ｕ，ｖ）を、入力画像１００の仮想画素（ｘ＋Δｘ，ｙ＋Δｙ）と対応しているというずれ量の記述が含まれる歪み補正テーブルを作成しておく。これにより、歪み補正／画像処理部２４は、出力画像１００’の画素（ｕ，ｖ）の色情報を、画素（ｘ，ｙ）と画素（ｘ＋１，ｙ）と画素（ｘ，ｙ＋１）と画素（ｘ＋１，ｙ＋１）との色情報を（１−Δｘ）（１−Δｙ）：Δｘ（１−Δｙ）：（１−Δｘ）Δｙ：ΔｘΔｙの割合で含むように混合して、出力画像１００’の画素（ｕ，ｖ）の色情報Ｃ_ｕ，ｖを、
Ｃ_ｕ，ｖ＝Ｃ_ｘ，ｙ（１−Δｘ）（１−Δｙ）＋Ｃ_{ｘ＋１，ｙ}Δｘ（１−Δｙ）＋Ｃ_{ｘ，ｙ＋１}（１−Δｘ）Δｙ＋Ｃ_{ｘ＋１，ｙ＋１}ΔｘΔｙ
という式で演算することができる。

このような色情報補間式歪み補正処理を行うための歪み補正テーブルは、出力画像の画素ごとに、補間対象となる入力画像の画素（２個以上）、ずれ量を記憶しておくことによって構成できる。このずれ量は、歪み補正テーブルによる座標変換によって得られた画素位置のｘ座標、ｙ座標における小数部分である。通常、出力画像１００’のある画素（ｕ，ｖ）が入力画像１００（１０，５）という整数値の画素に対応していることとなる。しかし、本発明を適用した仮想現実感生成システムにおいては、出力画像１００’のある画素（ｕ，ｖ）が入力画像１００の２〜４個の画素に跨っていることを考慮する。例えば、出力画像１００’のある画素が、入力画像１００の（１０．３，５．５５）の画素に対応するといったように、ｘ方向は０．３画素分、ｙ方向は０．５５画素分という小数点分のずれがあるとする。なお、ｘ方向のみ又はｙ方向のみに隣接した２画素を用いて出力画像１００’の色情報を作成する場合には、歪み補正テーブルは、ｘ方向又はｙ方向のずれ量のみを登録しておけばよい。

また、この歪み補正テーブルにおけるずれ量は、上記の（１０．３，５．５５）といった表記、又は、（０．３，０．５５）といった小数分のみを記憶するといった表記の何れであっても良い。更に、歪み補正テーブル中のずれ量は、小数第１位までの表記を１０倍して０〜９の整数値で記述しておいても良く、小数第２位までの表記を１００倍して０〜１００の整数値で記述しておいても良い。この場合、色情報補間式歪み補正処理を行う際に、ずれ量を１０又は１００で除算して用いる。こうすることで、歪み補正テーブル中に小数値で表される情報をなくし、整数値で表される情報のみを持つことが可能となる。更にまた、色情報補間式歪み補正処理等を行う歪み補正／画像処理ユニット３の処理がｎ進数で行われる場合、ずれ量を０〜ｎのｒ乗−１の値で記述しておき、色情報補間式歪み補正処理に際して、当該ずれ量をｎのｒ乗で除算して用いても良い。この場合、色情報補間式歪み補正処理を行う際に、０〜ｎのｒ乗−１の値で記述されたずれ量（ｎ進数）をｒ個右にシフトするだけでよい。例えば、歪み補正／画像処理ユニット３の処理が２進数で行われる場合、ずれ量を０〜１５（２^４−１）の整数値で記述しておき、色情報補間式歪み補正処理を行う際に、ずれ量を１６で除算して用いる。１６で除算する処理は、ビット列を４つ右にシフトするだけである。なお、ずれ量は８（２の４乗），３２（２の５乗）等であっても良い。

ずれ量を整数値の０〜９、０〜１００、又は歪み補正／画像処理ユニット３が２進数で処理するために０〜１６とした場合には、それぞれ、精度が０．１、０．０１又は１／１６となる。しかし、整数値でずれ量を表記するために使用するビット数は、小数でずれ量を表記するために使用するずれ量よりも格段に少なくすることができ、歪み補正テーブルのデータ量の削減ができる。また、歪み補正／画像処理ユニット３が処理するｎ進数に応じたずれ量の表記とする。これにより、歪み補正テーブル中に小数値で表される情報をなくして整数値で表される情報のみを持つことが可能となるだけでなく、整数値のずれ量を１０又は１００で除算するよりも処理量を減らすことが可能となる。

以上のように、本発明を適用した仮想現実感生成システムによれば、歪み補正テーブルによって歪み補正処理を行うと共に、変換後の出力画像１００’の各画素の画素情報（色情報）を計算する。このために、各画素に対応する入力画像１００の少なくともｘ方向、または、ｙ方向の２画素を用いるので、出力画像１００’内で隣り合う画素間での色情報の変化を滑らかにすることができ、ジャギーを軽減することができる。

なお、色情報補間式歪み補正処理は、基本的にはｘ方向及びｙ方向において隣接する４画素の入力画像１００によって行うことが望ましい。しかし、スクリーン１に表示させる映像の絵柄に応じてｘ方向又はｙ方向のみにて隣接する２画素で出力画像１００’の色情報を求めても、ジャギーの発生を抑制できる。例えば、映像内上下方向に向いた柱が立ち並んでいるような画像をスクリーン１に投影する場合には、ｙ方向に隣接する２画素で出力画像１００’の色情報を作成する必要が薄い。逆に、映像内左右方向に向いた棒が多く存在するような画像をスクリーン１に投影する場合には、ｘ方向に隣接する２画素で出力画像１００’の色情報を作成する必要が薄い。また、スクリーン１に投影する映像が格子状の絵柄である場合には、ｘ方向又はｙ方向のみにて隣接する画素の色情報を用いて出力画像１００’の色情報を作成しても周期的なジャギーが発生する可能性がある。

また、上述したずれ量の記述が含まれる歪み補正テーブルを用いる色情報補間式歪み補正処理において、入力画像１００及び出力画像１００’の色情報としてＲＧＢ（red−green−blue）やＣＭＹ（cyan−magenta−yellow）といった複数の原色信号を用いても良い。この場合、歪み補正／画像処理部２４は、Ｒ（赤色成分）信号、Ｇ（緑色成分）信号、Ｂ（青色成分）信号、あるいはＣ（シアン）信号、Ｍ（マゼンタ）信号、Ｙ（イエロー）信号の各原色ごとに独立に同一の処理方法で、入力画像１００における隣接画素の色情報を混合して出力画像１００’の色情報を作成する。３原色、特にＲＧＢで色情報を表現した場合は、コンピュータグラフィック画像やプロジェクタ２ａ、２ｂへの出力画像１００’の色表現方式に適合するという利点があり、ジャギーの少ない出力画像１００’を得ることができる。また、各原色ごとに並列化して出力画像１００’の色情報を作成することができるために、色情報補間式歪み補正処理の高速化が可能となる。更に、ＲＧＢの３原色に加えて、透明度のα値についても、ＲＧＢの３原色と同様に並列して色情報補間式歪み補正処理を行って出力画像１００’の色情報を作成しても良い。

更に、上述したずれ量の記述が含まれる歪み補正テーブルを用いる色情報補間式歪み補正処理において、入力画像１００及び出力画像１００’の色情報としてＹＵＶ（ＹＣｂＣｒ）などの輝度情報（Ｙ）と色差情報とからなる信号を用いても良い。色差信号は、Ｕ（輝度信号と青色成分の差），Ｖ（輝度信号と赤色成分の差）である。この場合、歪み補正／画像処理部２４は、輝度情報と色差情報ごとに独立に同一の処理方法で、入力画像１００における隣接画素の色情報を混合して出力画像１００’の色情報を作成する。これにより、出力画像１００’の色表現方式に適合した色情報によって色情報補間式歪み補正処理を行うことができる。また、輝度情報に敏感で、色差情報には敏感でないという人間の視覚特性を利用して、入力画像１００の輝度情報のみを用いて色情報補間式歪み補正処理を行って出力画像１００’の輝度情報を求め、色差情報を用いた色情報補間式歪み補正処理は複数の画素ごとに間引いて行うことができ、色情報補間式歪み補正処理の高速化が可能となる。例えば、輝度情報については、ｘ方向及びｙ方向の４画素から出力画像１００’の輝度情報を作成することに対し、色差情報については当該４画素のうちの斜め方向の２画素のみを用いて出力画像１００’の色差情報を作成しても良い。

つぎに、上述した色情報補間式歪み補正処理を行うためのずれ量の記述が含まれる歪み補正テーブルを、入力画像１００の入力順に記述した場合の仮想現実感生成システムの動作について説明する。

色情報補間式歪み補正処理の処理対象となる入力画像１００は、映像入力端子３ａ，３ｂ，３ｃ，３ｄに入力されて、入力映像処理部２１、映像切替／分配部２２及び映像合成部２３を経由して歪み補正／画像処理部２４に供給される。一般的に、入力画像１００の走査線に沿って、画素ごとに順次データが歪み補正／画像処理部２４に供給される。

入力画像１００の入力画素順に従って色情報補間式歪み補正処理を行う場合、歪み補正／画像処理ユニット３は、入力順に記述された入力画像１００の画素座標に対応させて、当該画素の変換後の出力画像１００’における画素座標を記述した歪み補正テーブルを変換テーブル読み込み／保存部２７に記憶させておく。この歪み補正テーブルは、パラメータ調整用パーソナルコンピュータ５によって作成される。また、この歪み補正テーブルには、色情報補間式歪み補正処理のためのずれ量も記述されている。

歪み補正／画像処理部２４は、図３２（ａ）、（ｂ）の入力画像に示すように、入力画像１００の画素がＰ１，Ｐ２，Ｐ３・・・といった順序で入力される場合であって、ｘ方向に隣接する入力画像１００の２画素の色情報を混合して、出力画像１００’の画素の色情報を作成する。この場合には、先ず、最初の２画素Ｐ１，Ｐ２を読み込んだ時点で、当該２画素Ｐ１，Ｐ２を用いて計算可能な出力画像１００’の色情報の全てを算出する。この例においては、２画素Ｐ１，Ｐ２の色情報を混合して、図３２（ａ）に示す出力画像１００’の画素Ｐ１’，Ｐ２’，Ｐ３’の色情報を作成する。この場合、歪み補正テーブルには、入力画像１００の画素Ｐ１と画素Ｐ２が、出力画像１００’の画素Ｐ１’，Ｐ２’，Ｐ３’に対応し、それぞれの色情報は、それぞれ入力画像１００の画素Ｐ２，Ｐ３をそれぞれのずれ量に合わせた割合で混合した色情報になるように処理する。なお、出力画像１００’の画素Ｐ１’，Ｐ２’，Ｐ３’それぞれを作成するに際しての入力画像１００の画素Ｐ１，Ｐ２の混合度合いはそれぞれ異なるものとなっている。

次に、図３２（ｂ）に示すように、歪み補正／画像処理部２４に画素Ｐ１，Ｐ２に続く画素Ｐ３が入力されると、歪み補正／画像処理部２４は、当該画素Ｐ２，Ｐ３の色情報を用いて計算可能な出力画像１００’の色情報の全てを算出する。この例においては、歪み補正テーブルを参照して、入力画像１００の画素Ｐ２、Ｐ３が、出力画像１００’の画素Ｐ４’、Ｐ５’に対応する。出力画像１００’の画素Ｐ４’、Ｐ５’の画素の色情報は、それぞれ入力画像１００の画素Ｐ２、Ｐ３をそれぞれのずれ量に合わせた割合で混合した色情報になるように処理する。

このように、入力画像１００のｘ方向の２画素を最初から順に一つずつ最後の２画素になるまでずらしていき、入力画像１００のそれぞれの２画素から計算可能な出力画像１００’の画素の色情報のすべてを求めていく。これにより、出力画像１００’のすべての画素の色情報を求める。これにより、歪み補正／画像処理部２４は、常に少なくとも入力画像１００のｘ方向における２画素を読み込んでおけばよく、１画素分の読み込みに必要な時間遅れで、色情報補間式歪み補正処理を行うことができる。よって、歪み補正／画像処理部２４におけるデータ待ち時間を最小にでき、歪み補正／画像処理部２４における処理遅れを少なくできる。

また、歪み補正／画像処理部２４は、図３３（ａ）、（ｂ）の入力画像に示すように、入力画像１００の画素が第１ライン（走査線）の先頭からＰ１，Ｐ３，・・・と入力され、第２ラインの先頭からＰ２，Ｐ４・・・といった順序で入力されるとする。また、ｙ方向に隣接する入力画像１００の２画素の色情報を混合して、出力画像１００’の画素の色情報を作成するとする。これらの場合には、第１ラインの先頭画素Ｐ１及び第２ラインの先頭画素Ｐ２を読み込んだ時点で、当該２画素Ｐ１，Ｐ２を用いて計算可能な出力画像１００’の色情報の全てを算出する。なお、歪み補正／画像処理部２４は、画素Ｐ２が入力されるまで第１ラインの画素を記憶しておく。この例においては、２画素Ｐ１，Ｐ２の色情報を混合して、図３３（ａ）に示す出力画像１００’の画素Ｐ１’，Ｐ２’の色情報を作成する。この場合、歪み補正テーブルには、入力画像１００の画素Ｐ１と画素Ｐ２が、出力画像１００’の画素Ｐ１’、Ｐ２’に対応し、それぞれの色情報は入力画像１００の画素Ｐ１、Ｐ２をそれぞれのずれ量に合わせた割合で混合した色情報になることが記述されている。なお、出力画像１００’の画素Ｐ１’，Ｐ２’それぞれを作成するに際しての入力画像１００の画素Ｐ１，Ｐ２の混合度合いはそれぞれ異なるものとなっている。

次に、図３３（ｂ）に示すように、歪み補正／画像処理部２４に画素Ｐ２に続く画素Ｐ４が入力されると、歪み補正／画像処理部２４は、当該画素Ｐ３，Ｐ４の色情報を用いて計算可能な出力画像１００’の色情報の全てを算出する。この例においては、歪み補正テーブルを参照して、入力画像１００の画素Ｐ３、Ｐ４が、出力画像１００’の画素Ｐ３’に対応し、出力画像１００’の画素Ｐ３’の画素の色情報は、入力画像１００の画素Ｐ３、Ｐ４をずれ量に合わせた割合で混合した色情報になるように処理する。

このように、入力画像１００のｙ方向に隣接する２画素を歪み補正／画像処理部２４で入力した時点で色情報補間式歪み補正処理を行うことで、出力画像１００’のすべての画素の色情報を求める。なお、歪み補正／画像処理部２４は、常に少なくとも計算用メモリ１５にｘ方向の１ライン＋１画素を読み込んでおけばよい。これにより、歪み補正／画像処理部２４は、ｘ方向１ライン分の遅れで色情報補間式歪み補正処理を行うことによってデータ待ち時間を少なくでき、歪み補正／画像処理部２４における処理遅れを少なくできる。

更に、歪み補正／画像処理部２４は、図３４（ａ）、（ｂ）の入力画像に示すように、入力画像１００の画素が第１ラインの先頭からＰ１，Ｐ２，・・・と入力され、第２ラインの先頭からＰ３，Ｐ４・・・といった順序で入力されるとする。また、ｘ方向及びｙ方向に隣接する入力画像１００の４画素の色情報を混合して、出力画像１００’の画素の色情報を作成するとする。これらの場合には、第１ラインの先頭２画素Ｐ１，Ｐ２を読み込み且つ第２ラインの先頭２画素Ｐ３，Ｐ４を読み込んだ時点で、当該４画素Ｐ１〜Ｐ４を用いて計算可能な出力画像１００’の色情報の全てを算出する。この例においては、４画素Ｐ１〜Ｐ４の色情報を混合して、図３４（ａ）に示す出力画像１００’の画素Ｐ１’の色情報を作成する。この場合、歪み補正テーブルには、入力画像１００の画素Ｐ１〜Ｐ４が、出力画像１００’の画素Ｐ１’に対応し、その色情報は入力画像１００の画素Ｐ１〜Ｐ４をずれ量に合わせた割合で混合した色情報になることが記述されている。

次に、図３４（ｂ）に示すように、歪み補正／画像処理部２４に画素Ｐ４に続く画素Ｐ６が入力されるとする。このとき、歪み補正／画像処理部２４は、第１ラインの入力時に記憶しておいた画素Ｐ２，Ｐ５及び画素Ｐ４，Ｐ６の色情報を用いて計算可能な出力画像１００’の色情報の全てを算出する。この例においては、歪み補正テーブルを参照して、入力画像１００の画素Ｐ２、Ｐ５、Ｐ４、Ｐ６が、出力画像１００’の画素Ｐ２’、Ｐ３’、Ｐ４’に対応する。出力画像１００’の画素Ｐ２’、Ｐ３’、Ｐ４’の画素の色情報は、それぞれ入力画像１００の画素Ｐ２、Ｐ５、Ｐ４、Ｐ６をそれぞれのずれ量に合わせた割合で混合した色情報になるように処理する。

このように、入力画像１００のｘ方向及びｙ方向に隣接する４画素を歪み補正／画像処理部２４で入力した時点で色情報補間式歪み補正処理を行うことで、出力画像１００’のすべての画素の色情報を求める。なお、歪み補正／画像処理部２４は、常に少なくとも計算用メモリ１５にｘ方向の１ライン＋２画素を読み込んでおけばよい。これにより、歪み補正／画像処理部２４は、ｘ方向及びｙ方向の双方にずれがある場合であっても、ｘ方向１ライン分＋１画素分の遅れで色情報補間式歪み補正処理を行うことによってデータ待ち時間を少なくでき、歪み補正／画像処理部２４における処理遅れを少なくできる。

つぎに、上述した色情報補間式歪み補正処理を行うための歪み補正テーブルを、出力画像１００’の出力順に記述した場合の仮想現実感生成システムの動作について説明する。

色情報補間式歪み補正処理の処理後の出力画像１００’は、歪み補正／画像処理部２４から出力映像処理部２５に出力される。一般的に、入力画像１００の走査線に沿って、画素ごとに順次データが歪み補正／画像処理部２４から出力映像処理部２５に出力される。一般的な出力画像１００’が走査線に沿って画素ごとに順次データを読み飛ばし無く出力することを考慮すると、出力側の画素の順に歪み補正テーブルを表現した場合、歪み補正処理における出力側の画素座標が自明である。このため、歪み補正テーブルの先頭から入力側の画素座標のみを記述した対応マップとできる。これにより、歪み補正テーブルの大きさが小さくできて、変換テーブル読み込み／保存部２７の記憶領域が節約できる。また、この歪み補正テーブルには、色情報補間式歪み補正処理のためのずれ量も記述されている。ずれ量の記述を含む歪み補正テーブルは、パラメータ調整用パーソナルコンピュータ５によって作成される。

このような歪み補正テーブルを変換テーブル読み込み／保存部２７に記憶した場合であって、ｘ方向に隣接する入力画像１００の２画素の色情報を混合して、出力画像１００’の画素の色情報を作成するとする。この場合には、歪み補正／画像処理部２４は、図３５（ａ）に示すように、先ず、入力画像１００の先頭から歪み補正テーブルの先頭に記述された入力画像１００のｘ方向に隣接した２画素Ｐ１，Ｐ２を読み込んだ時点で、当該ｘ方向に隣接した２画素Ｐ１，Ｐ２を用いて出力画像１００’の先頭画素Ｐ１’の色情報を作成する。そして、歪み補正／画像処理部２４は、当該画素Ｐ１’のデータを出力映像処理部２５に出力する。

次に、図３５（ｂ）に示すように、出力画像１００’の画素Ｐ１’に続く画素Ｐ２’を作成する。このために、歪み補正／画像処理部２４は、歪み補正テーブルを参照して入力画像１００のｘ方向に隣接した２画素Ｐ３，Ｐ４を読み込む。そして、歪み補正／画像処理部２４は、当該ｘ方向に隣接した２画素Ｐ３，Ｐ４の色情報を用いて出力画像１００’の画素Ｐ２’の色情報を作成して、当該画素Ｐ２’のデータを出力映像処理部２５に出力する。

また、ｙ方向に隣接する入力画像１００の２画素の色情報を混合して、出力画像１００’の画素の色情報を作成するとする。この場合には、歪み補正／画像処理部２４は、図３６（ａ）に示すように、先ず、入力画像１００の先頭から歪み補正テーブルの先頭に記述された入力画像１００のｙ方向に隣接した２画素Ｐ１，Ｐ２を読み込む。この時点で、歪み補正／画像処理部２４は、当該ｙ方向に隣接した２画素Ｐ１，Ｐ２を用いて出力画像１００’の先頭画素Ｐ１’の色情報を作成して、当該画素Ｐ１’のデータを出力映像処理部２５に出力する。

次に、図３６（ｂ）に示すように、出力画像１００’の画素Ｐ１’に続く画素Ｐ２’を作成する。このために、歪み補正／画像処理部２４は、歪み補正テーブルを参照して入力画像１００のｙ方向に隣接した２画素Ｐ３，Ｐ４を読み込む。すると、歪み補正／画像処理部２４は、当該ｙ方向に隣接した２画素Ｐ３，Ｐ４の色情報を用いて出力画像１００’の画素Ｐ２’の色情報を作成して、当該画素Ｐ２’のデータを出力映像処理部２５に出力する。

更に、ｘ方向及びｙ方向に隣接する入力画像１００の４画素の色情報を混合して、出力画像１００’の画素の色情報を作成するとする。この場合には、歪み補正／画像処理部２４は、図３７（ａ）に示すように、先ず、入力画像１００の先頭から歪み補正テーブルの先頭に記述された入力画像１００のｘ方向及びｙ方向に隣接した４画素Ｐ１〜Ｐ４を読み込む。この時点で、歪み補正／画像処理部２４は、当該ｘ方向及びｙ方向に隣接した４画素Ｐ１〜Ｐ４を用いて出力画像１００’の先頭画素Ｐ１’の色情報を作成して、当該画素Ｐ１’のデータを出力映像処理部２５に出力する。

次に、図３７（ｂ）に示すように、出力画像１００’の画素Ｐ１’に続く画素Ｐ２’を作成する。このために、歪み補正／画像処理部２４は、歪み補正テーブルを参照して入力画像１００のｘ方向及びｙ方向に隣接した４画素Ｐ５〜Ｐ８を読み込む。すると、歪み補正／画像処理部２４は、当該ｘ方向及びｙ方向に隣接した４画素Ｐ５〜Ｐ８の色情報を用いて出力画像１００’の画素Ｐ２’の色情報を作成して、当該画素Ｐ２’のデータを出力映像処理部２５に出力する。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

例えば、上述した実施の形態では、２軸直交座標における方形画素を用いて、ｘ方向又はｙ方向に隣接する２画素を用いた色補間、又は、ｘ方向及びｙ方向に隣接する４画素を用いた色補間を行うことについて説明した。しかし、三角形画素からなる３軸座標系の映像信号の場合には、三角形画素の隣接する６個の６角形形状の画素群を用いて色補間をすることもできる。

１ スクリーン
２ 映像投影機器
２ａ，２ｂ プロジェクタ
３ 歪み補正／画像処理ユニット
３ａ，３ｂ，３ｃ，３ｄ 映像入力端子
３ｅ，３ｄ 映像出力端子
３ｇ 外部入力端子
３ｈ 外部出力端子
４ 映像生成機器
５ パラメータ調整用パーソナルコンピュータ
６ 操作入力部
１１ 信号方式変換回路
１２ 映像信号処理回路
１３ 外部機器制御回路
１４ デジタルシグナルプロセッサ
１５ 計算用メモリ
１６ テーブル用メモリ
１７ 信号方式変換回路
１８ 制御信号用メモリ
２１ 入力映像処理部
２２ 映像切替／分配部
２３ 映像合成部
２４ 歪み補正／画像処理部
２５ 出力映像処理部
２６ 同期処理部
２７ 変換テーブル読み込み／保存部
２８ 外部機器制御部
２９ 制御信号読み込み／保存部
３１ モデル
３１，３２，３４〜３６ モデル
３１ａ，３２ａ，３４ａ〜３６ａ 入力パラメータ
３１ｂ，３２ｂ，３４ｂ〜３６ｂ メッシュモデル
３３ 混合モデル
３４ 球面混合モデル
３５ 円筒混合モデル
３６ 平面混合モデル

Claims (6)

1. 任意形状の投影面に映像光を投影させる出力映像信号を投影手段に出力する映像信号処理装置であって、
   平面の投影面に映像光を投影させるための平面映像信号を入力する映像信号入力手段と、
   平面の投影面と前記任意形状の投影面のメッシュモデルとの対応マップである歪み補正テーブルを参照して、前記平面映像信号の画素ごとに歪み補正処理を施して、前記投影面に映像光を投影させるための出力映像信号を作成する歪み補正手段と、
   所定の画像処理を行って出力映像信号を作成する画像処理手段と、
   前記画像処理手段により作成された出力映像信号を前記投影手段に出力する出力手段と
   を備えたことを特徴とする映像信号処理装置。
2. 前記画像処理手段は、予め保持した画像処理テーブルを用いて演算処理を行うことにより前記所定の画像処理を行うことを特徴とする請求項１に記載の映像信号処理装置。
3. 前記画像処理手段は、前記歪み補正手段により作成された出力映像信号を入力信号とし、前記所定の画像処理を行うことを特徴とする請求項１又は請求項２に記載の映像信号処理装置。
4. 前記歪み補正手段は、前記画像処理手段により作成された出力映像信号を入力信号とし、当該出力映像信号に対して歪み補正処理を行うことを特徴とする請求項１又は２に記載の映像信号処理装置。
5. 前記画像処理テーブルを、外部より取り込むことを特徴とする請求項１乃至請求項４の何れか一項に記載の映像信号処理装置。
6. 観察者に凹面を向けた任意形状の投影面を有し、当該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、
   請求項１乃至請求項５の何れか一項に記載の映像信号処理装置と、
   前記映像信号処理装置から出力された出力映像信号に基づいた映像を前記スクリーンに投影する投影手段と
   を備えたことを特徴とする仮想現実感生成システム。

Images