JP2006221599A - マッピング関数生成方法及びその装置並びに複合映像生成方法及びその装置 - Google Patents

Abstract

【課題】二次曲面スクリーンに複数プロジェクタからの映像を任意の視点から歪み無く見せる。
【解決手段】スクリーンに投影された点をプロジェクタｉ座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数とその逆関数を求める。プロジェクタ毎にマッピング関数の逆関数を得る。各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め求めた各プロジェクタ毎のマッピングの逆関数により、生成した映像を歪み補正した映像をピクセルバッファに生成し、各プロジェクタからピクセルバッファにおいて歪み補正した映像を二次曲面スクリーンに投影する。
【選択図】 図1

Description

この発明は、コンピュータグラフィックスによる並列映像発生に際して用いるマッピング関数の生成方法及び複合映像発生の方法並びにこれらの装置、さらにはその応用に関するものである。

訓練用シミュレータや研究用シミュレータにおいて没入感・臨場感を得るためには、高い解像度と広い視野が要求される。これをコストパフォーマンス良く実現する方法として、平面スクリーンに多数のプロジェクタから逆歪みをかけた映像を投影して連続した画像に統合するプロジェクタモザイクあるいはマルチプロジェクション技術が期待されている。従来から電子回路やレンズを用いて光学的に歪みを補正する方法は広く用いられていたが、スクリーンのサイズが固定されたり、プロジェクタ設置時の調整が複雑など多くの問題がある。また、複数配置して大画面を構成するため、境目を緩和する専用回路付きの高価なプロジェクタが必要となり、位置合わせやプロジェクタの特性および経年変化による輝度ズレの調整などにも多大の時間と労力を要する。
また、非特許文献１に示したように、設置位置が不明なプロジェクタｊ（１…ｎ）から投影した映像と、同様に設置位置が不明なカメラで撮像したスクリーン上の歪み映像とが３行３列のマトリクスにより対応づけられ、このマトリクスを利用してプロジェクタ座標の映像に逆歪みをかけ、映像の歪み補正を行うものがあるが、平面スクリーンに限られている。
社団法人情報処理学会、「ＦＩＴ２００３ 情報科学技術フォーラム 一般講演論文集 第３分冊」二〇〇三年八月二十五日発行、ｐ．４０１〜４０３

本発明は、部分画像を投影する比較的低解像度のプロジェクトを複数台用いて、高解像度の大画面をドーム等の二次曲面スクリーン上に表示する実時間映像発生が容易になる方法および手段を提供することにある。

上記課題を解決するため請求項１に係るマッピング関数生成方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラと、コンピュータと、記憶装置とを有し、コンピュータによる処理であって、基準座標系から視点座標系への変換行列（Ｍ）と、カメラ座標から基準座標系への変換行列（Ｓ）とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列（Ｈ）を得る第１の過程と、前記変換行列（Ｈ）を用いて、カメラ座標系で求めた二次曲面パラメータ（Ｑ）から仮定視点を原点とする視点座標系における二次曲面パラメータ（Ｑｖ）を求める第２の過程と、前記二次曲面パラメータ（Ｑｖ）を用いて、前記スクリーンに投影された点をプロジェクタｉ座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数を求める第３の過程と、前記マッピング関数よりその逆関数を求める第４の過程と、第１の過程から第４の過程を前記複数プロジェクタのｎ回繰り返して、プロジェクタ毎にマッピング関数の逆関数を得て前記記憶装置に格納する第５の過程と、からなることを特徴とするものである。

上記課題を解決するため請求項２に係る複合映像生成方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とするものである。

上記課題を解決するため請求項３に係る複合映像生成方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラと、コンピュータと、記憶装置とを有し、コンピュータによる処理であって、基準座標系から視点座標系への変換行列（Ｍ）と、カメラ座標から基準座標系への変換行列（Ｓ）とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列（Ｈ）を得る第１の過程と、前記変換行列（Ｈ）を用いて、カメラ座標系で求めた二次曲面パラメータ（Ｑ）から右目又は左目のいずれか一方の仮定視点を原点とする前記右目又は左目のいずれか一方の視点座標系及び右目又は左目のいずれか他方の仮定視点を原点とする前記右目又は左目のいずれか他方の視点座標系における二次曲面パラメータ（Ｑｖ）を求める第２の過程と、前記求めた右目及び左目の視点座標系における二次曲面パラメータ（Ｑｖ）を用いて、前記スクリーンに投影された点をプロジェクタｉ座標系から見た点と、任意の右目及び左目の仮定視点から見た点との対応を示すマッピング関数を求める第３の過程と、前記マッピング関数よりその逆関数を求める第４の過程と、第１の過程から第４の過程を前記複数プロジェクタのｎ回繰り返して、プロジェクタ毎に右目及び左目用のマッピング関数の逆関数を得て前記記憶装置に格納する第５の過程と、からなることを特徴とするものである。

上記課題を解決するため請求項４に係る複合映像発生方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタ毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項３において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、各プロジェクタから前記ピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とするものである。

上記課題を解決するため請求項５に係る複合映像発生方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通して重複する部分を有するように配置された複数ｎのプロジェクタと、コンピュータと、記憶装置とを有し、前記コンピュータにより各プロジェクタが投影する領域毎の映像を生成するとともに予め請求項１において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第２の過程からなることを特徴とするものである。

上記課題を解決するため請求項６に係る複合映像発生方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第１の過程と、各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とするものである。

上記課題を解決するため請求項７に係る複合映像発生方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項３において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第１の過程と、各プロジェクタから前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とするものである。

上記課題を解決するため請求項８に係る複合映像発生方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通にして重複する部分を有するように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第１の過程と、各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第２の過程からなることを特徴とするものである。

上記課題を解決するため請求項９に係る複合映像発生方法は、請求項６又は請求項７又は請求項８に記載のものにおいて、ビデオ機器が、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータであることを特徴とするものである。

上記課題を解決するため請求項１０に係る複合映像生成方法は、請求項２又は請求項４又は請求項５又は請求項６又は請求項７又は請求項８又は請求項９に記載のものにおいて、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数ｎのプロジェクタと、コンピュータと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラとを有し、前記スクリーンに前記プロジェクタのいずれもから投影しない状態でカメラにより撮影する第１の過程と、前記各プロジェクタより前記スクリーンに黒状態の映像を投影してカメラにより撮影するとともに複数ｎのプロジェクタのｎ回繰り返す第２の過程と、コンピュータにおいて、第２の過程による各プロジェクタ毎の映像の輝度から第１の過程により得られた映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得る第３の過程と、コンピュータにおいて、各プロジェクタの映像の前記重複する部分のコントラストを前記オフセット値分下げるとともに輝度をオフセット値分上げて映像生成する第４の過程とからなることを特徴とするものである。

上記課題を解決するため請求項１１に係る複合映像発生方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ前方に設けた偏光板と、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第２の過程と、夜間情景を表すときに前記偏光板により減光させる第３の過程からなることを特徴とするものである。

上記課題を解決するため請求項１２に係るマッピング関数生成装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラと、コンピュータと、記憶装置とを有し、基準座標系から視点座標系への変換行列（Ｍ）と、カメラ座標から基準座標系への変換行列（Ｓ）とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列（Ｈ）を得る変換行列計算手段と、前記変換行列（Ｈ）を用いて、カメラ座標系で求めた二次曲面パラメータ（Ｑ）から仮定視点を原点とする視点座標系における二次曲面パラメータ（Ｑｖ）を求める二次曲面パラメータ（Ｑｖ）計算手段と、前記二次曲面パラメータ（Ｑｖ）を用いて、前記スクリーンに投影された点をプロジェクタｉ座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数及びその逆関数を求めるマッピング関数及び逆関数計算手段と、前記複数プロジェクタ毎にマッピング関数及びその逆関数を格納する記憶装置とからなることを特徴とするものである。

上記課題を解決するため請求項１３に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１２において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数ｎのプロジェクタとからなることを特徴とするものである。

上記課題を解決するため請求項１４に係るマッピング関数生成装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラと、コンピュータと、記憶装置とを有し、基準座標系から視点座標系への変換行列（Ｍ）と、カメラ座標から基準座標系への変換行列（Ｓ）とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列（Ｈ）を得る変換行列計算手段と、前記変換行列（Ｈ）を用いて、カメラ座標系で求めた二次曲面パラメータ（Ｑ）から右目又は左目のいずれか一方の仮定視点を原点とする前記右目又は左目のいずれか一方の視点座標系及び右目又は左目のいずれか他方の仮定視点を原点とする前記右目又は左目のいずれか他方の視点座標系における二次曲面パラメータ（Ｑｖ）を求める二次曲面パラメータ（Ｑｖ）計算手段と、前記求めた右目及び左目の視点座標系における二次曲面パラメータ（Ｑｖ）を用いて、前記スクリーンに投影された点をプロジェクタｉ座標系から見た点と、任意の右目及び左目の仮定視点から見た点との対応を示すマッピング関数及びその逆関数を求めるマッピング関数及び逆関数計算手段と、前記複数プロジェクタ毎に右目及び左目用のマッピング関数及びその逆関数を格納する記憶装置とからなることを特徴とするものである。

上記課題を解決するため請求項１５に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタ毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項１４において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、各プロジェクタからピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数ｎのプロジェクタとからなることを特徴とするものである。

上記課題を解決するため請求項１６に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通して重複する部分を有するように配置された複数ｎのプロジェクタと、コンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１２において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数ｎのプロジェクタとからなることを特徴とするものである。

上記課題を解決するため請求項１７に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１２において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、前記歪み補正した各映像を前記二次曲面スクリーンに投影する複数ｎの各プロジェクタとからなることを特徴とするものである。

上記課題を解決するため請求項１８に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１４において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数ｎの各プロジェクタからなることを特徴とするものである。

上記課題を解決するため請求項１９に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通にして重複する部分を有するように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１２において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数ｎのプロジェクタからなることを特徴とするものである。

上記課題を解決するため請求項２０に係る複合映像発生装置は、請求項１７又は請求項１８又は請求項１９記載のものにおいて、ビデオ機器が、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータであることを特徴とするものである。

上記課題を解決するため請求項２１に係る複合映像発生装置は、請求項９又は請求項１１又は請求項１２又は請求項１７又は請求項１８又は請求項１９又は請求項２０に記載のものにおいて、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラとを有し、プロジェクタの何れからも投影しない第１の状態のスクリーンを撮影するとともに前記各プロジェクタより黒状態を投影したスクリーンの第２の状態をプロジェクタ毎に撮影するカメラと、前記カメラが撮影した前記第２の状態を投影した各プロジェクタ毎の映像の輝度から、前記第１の状態を撮影した映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得るオフセット計算手段と、前記各コンピュータにより各プロジェクタ毎の映像の前記重複する部分のコントラストを前記オフセット値分下げるとともに輝度をオフセット値分上げて映像生成する映像生成手段とからなることを特徴とするものである。

上記課題を解決するため請求項２２に係る複合映像発生装置は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、偏光板と、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１２において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数ｎのプロジェクタと、前記各プロジェクタ前方に設け、夜間情景を表すときに各プロジェクタからの光量を減光させる偏光板とからなることを特徴とするものである。
複合映像発生装置。

上記課題を解決するため請求項２３に係る複合映像発生装置は、請求項１２又は請求項１４に記載のものにおいて、各プロジェクタが自由度を持ったフレキシブルアームにより基台に取り付けられたことを特徴とするものである。

上記課題を解決するため請求項２４に係る複合映像発生装置は、請求項１３又は請求項１５〜２２のいずれかに記載のものにおいて、各プロジェクタが自由度を持ったフレキシブルアームにより基台に取り付けられたことを特徴とするものである。

請求項１に係るマッピング関数生成方法によると、二次曲面であるとの想定を利用することにより基準点としての中心での曲面の形を決めることができ、これにより、仮定視点を原点とする視点座標系における二次曲面パラメータ（Ｑｖ）を、数学的に求めることができ、距離の計算を伴わないので精度を向上させることができ、また、特殊な装置を使わず安価に実現することができる。

請求項２に係る複合映像発生方法によると、１つの二次曲面スクリーンに投影する映像を複数のプロジェクタとそれらに備えたコンピュータにより生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、複数のプロジェクタに備えたコンピュータの処理は、それぞれ異なる映像をレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、従来のようにデータベース映像の解像度に依存せずに、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項３に係るマッピング関数生成方法によると、二次曲面であるとの想定を利用することにより基準点としての中心での曲面の形を決めることができ、これにより、仮定視点を原点とする視点座標系における右目用と左目用の二次曲面パラメータ（Ｑｖ）を、数学的に求めることができ、距離の計算を伴わないので精度を向上させることができ、また、特殊な装置を使わず安価に実現することができる。

請求項４に係る複合映像発生方法によると、１つの二次曲面スクリーンに投影する映像を複数のプロジェクタとそれらに備えたコンピュータにより生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、複数のプロジェクタに備えたコンピュータの処理は、それぞれ異なる領域の映像を右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、従来のようにデータベース映像の解像度に依存せずに、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項５に係る複合映像発生方法によると、プロジェクタを数台使用し投影領域を重ね合わせることよって投影領域の明るさを向上させるため、高価なプロジェクタを使用せず必要な明るさを得ることができ、プロジェクタの台数の変更により投影領域の明るさを調整することができ、プロジェクタの重ね合わせと歪み補正を組み合わせることにより、決まった位置の明るさを向上させることができる。

請求項６に係る複合映像生成方法によると、１つの二次曲面スクリーンに投影する映像をビデオ機器により生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、ビデオ機器の映像の処理は、分割したそれぞれプロジェクタ毎に異なる映像をレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項７に係る複合映像生成方法によると、１つの二次曲面スクリーンに投影する映像をビデオ機器により生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、ビデオ機器の映像の処理は、分割したそれぞれプロジェクタ毎に異なる映像を右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項８に係る複合映像生成方法によると、プロジェクタを数台使用し投影領域を重ね合わせることよって投影領域の明るさを向上させるため、高価なプロジェクタを使用せず必要な明るさを得ることができ、プロジェクタの台数の変更により投影領域の明るさを調整することができ、プロジェクタの重ね合わせと歪み補正を組み合わせることにより、決まった位置の明るさを向上させることができる。

請求項９に係る複合映像生成方法によると、ビデオ機器としてテレビジョン装置、ビデオ再生装置、パーソナルコンピュータ等の家庭用の機器を用いて、簡単に実現することができる。

請求項１０に係る複合映像生成方法によると、黒を出した状態でのプロジェクタ投影領域の重複部分における輝度の目立ちを軽減することができ、特別なブレンディング用装置を必要とすることなく、例えばグラフィックスボードの機能を用いて実現することができる。

請求項１１に係る複合映像発生方法によると、段階的に減光することができるため最適な減光率に調整が行うことができるので各プロジェクタによる投影領域の重複部分がより目立たなくすることが可能となる。

請求項１２に係るマッピング関数生成装置によると、二次曲面であるとの想定を利用することにより基準点としての中心での曲面の形を決めることができ、これにより、仮定視点を原点とする視点座標系における二次曲面パラメータ（Ｑｖ）を、数学的に求めることができ、距離の計算を伴わないので精度を向上させることができ、また、特殊な装置を使わず安価に実現することができる。

請求項１３に係る複合映像発生装置によると、１つの二次曲面スクリーンに投影する映像を複数のプロジェクタとそれらに備えたコンピュータにより生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、複数のプロジェクタに備えたコンピュータの処理は、それぞれ異なる映像をレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、従来のようにデータベース映像の解像度に依存せずに、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項１４に係るマッピング関数生成装置によると、二次曲面であるとの想定を利用することにより基準点としての中心での曲面の形を決めることができ、これにより、仮定視点を原点とする視点座標系における右目用と左目用の二次曲面パラメータ（Ｑｖ）を、数学的に求めることができ、距離の計算を伴わないので精度を向上させることができ、また、特殊な装置を使わず安価に実現することができる。

請求項１５に係る複合映像発生装置によると、１つの二次曲面スクリーンに投影する映像を複数のプロジェクタとそれらに備えたコンピュータにより生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、複数のプロジェクタに備えたコンピュータの処理は、それぞれ異なる領域の映像を右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、従来のようにデータベース映像の解像度に依存せずに、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項１６に係る複合映像発生装置によると、プロジェクタを数台使用し投影領域を重ね合わせることよって投影領域の明るさを向上させるため、高価なプロジェクタを使用せず必要な明るさを得ることができ、プロジェクタの台数の変更により投影領域の明るさを調整することができ、プロジェクタの重ね合わせと歪み補正を組み合わせることにより、決まった位置の明るさを向上させることができる。

請求項１７に係る複合映像生成装置によると、１つの二次曲面スクリーンに投影する映像をビデオ機器により生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、ビデオ機器の映像の処理は、分割したそれぞれプロジェクタ毎に異なる映像をレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項１８に係る複合映像生成装置によると、１つの二次曲面スクリーンに投影する映像をビデオ機器により生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、ビデオ機器の映像の処理は、分割したそれぞれプロジェクタ毎に異なる映像を右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項１９に係る複合映像生成装置によると、プロジェクタを数台使用し投影領域を重ね合わせることよって投影領域の明るさを向上させるため、高価なプロジェクタを使用せず必要な明るさを得ることができ、プロジェクタの台数の変更により投影領域の明るさを調整することができ、プロジェクタの重ね合わせと歪み補正を組み合わせることにより、決まった位置の明るさを向上させることができる。

請求項２０に係る複合映像生成装置によると、ビデオ機器としてテレビジョン装置、ビデオ再生装置、パーソナルコンピュータ等の家庭用の機器を用いて、簡単に実現することができる。

請求項２１に係る複合映像生成装置によると、黒を出した状態でのプロジェクタ投影領域の重複部分における輝度の目立ちを軽減することができ、特別なブレンディング用装置を必要とすることなく、例えばグラフィックスボードの機能を用いて実現することができる。

請求項２２に係る複合映像発生装置によると、段階的に減光することができるため最適な減光率に調整が行うことができるので各プロジェクタによる投影領域の重複部分がより目立たなくすることが可能となる。

請求項２３に係るマッピング関数生成装置によると、スクリーンとプロジェクタを取り付ける基台との位置関係を厳密に設定しなくともフレキシブルアームにより調整幅が広範囲となるため、短時間で表示システムを構成することができる。

請求項２４に係る複合映像生成装置によると、スクリーンとプロジェクタを取り付ける基台との位置関係を厳密に設定しなくともフレキシブルアームにより調整幅が広範囲となるため、短時間で表示システムを構成することができる。

（［１］二次曲面スクリーンに係るマッピング関数、その逆関数及び映像発生）
以下、本発明の実施例について図を参照して説明する。図１（ａ）は二次曲面スクリーンに係るマッピング関数の生成方法の一実施例を説明するフロー図、及び図１（ｂ）は二次曲面スクリーンに係る映像発生方法の一実施例を説明するフロー図である。図２（ａ），（ｂ），（ｃ）は二次曲面スクリーンに係る補正関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。図２において、１０１は二次曲面スクリーン、１０２ｊ（ｊ＝１，２，３，…ｎ）は前記スクリーン前方に設けられるプロジェクタ、１０３ｊは前記プロジェクタ１０２ｊ毎に対応して備えられる複数のコンピュータである。１０４１，１０４２はデジタルカメラ、１０５は前記デジタルカメラ１０４を接続するコンピュータ、１０６はコンピュータ１０５内の変換行列計算手段、１０７はコンピュータ１０５内の二次曲面パラメータ（Ｑｖ）計算手段、１０８はコンピュータ１０５内の記憶装置、１０９ｊは各コンピュータ１０３ｊ内のマッピング関数及び逆関数計算手段、１１０ｊは各コンピュータ１０３ｊ内の記憶装置、１１１ｊは各コンピュータ１０３ｊに備えられる画像生成手段、１１２ａｊ，１１２ｂｊは各コンピュータ１０３ｊに備えられるピクセルバッファであり、当該コンピュータ１０３ｊ、画像生成手段１１１ｊとともに映像生成手段を構成する。１１３は各コンピュータ１０３ｊ，１０５を接続するネットワークである。１１４ｊは各コンピュータ１０３ｊのオフセット計算手段である。

（プロジェクタの配置取り付け）
二次曲面スクリーン１０１はその面が二次曲面例えば球面を形成し、周囲を円形に形成している。図３（ａ）のように二次曲面スクリーン１０１は基台３０１の上に支持枠３０２により固定される。基台３０１の左右の端に支持柱３０３，３０４が設けられ、支持柱３０３，３０４のそれぞれには２機づつのフレキシブルアーム３０５１，３０５２と３０５３，３０５４が取り付けられる。フレキシブルアーム３０５１，３０５２，３０５３，３０５４には、プロジェクタ１０２１，１０２２，１０２３，１０２４がそれぞれ取り付けられ、二次曲面スクリーン１０１の凹面に対向するように周囲前方に位置させる。図３（ｂ）に例えばフレキシブルアーム３０５１とプロジェクタ１０２１の連結状態を示す。プロジェクタ１０２１，１０２２，１０２３，１０２４から二次曲面スクリーン１０１に光を投影すると、図３（ｃ）のように二次曲面スクリーン１０１に正対して見た場合で説明すると、４つの投影光の領域が互いに重なる部分を有するようにし、中央部に光が当たらない部分が生じないように、フレキシブルアーム３０５１，３０５２，３０５３，３０５４を調整する。この時、各プロジェクタ１０２１，１０２２，１０２３，１０２４からの各投影領域（各領域を一点鎖線、二点鎖線、三点鎖線、四点鎖線で示している。）がスクリーンをカバーしていればよく、形状、面積を同じにする必要はない。
なお、実施例において、二次曲面スクリーン１０１を球面としたがこれに限らず双曲面、楕円面等で形成しても良く、また、表示面を凹面にしたが凸面でも良い。さらに、プロジェクタの数を４の場合を説明するが、数に制限なく本発明が適用できる。

（歪み補正の原理）
視点と視点と投影中心が一致する場合、映像歪みは生じない。しかし、一般的には視点と投影中心は一致しないため歪みが発生する。この歪みを補正するには、視点から見て歪みが無くなるように、予め、投影する原画像に対して逆の歪みをかけて投影すれば良い。
図４に逆歪みによる歪み補正の模式図を示す。図４では、プロジェクタの投影により発生する歪ｆを映像発生時ｆ^−１で逆歪をかけて投影するとｆ（ｆ^−１）で歪が相殺されることを示している。すなわち、プロジェクタ映像とスクリーン上の歪を関係付けるマッピング関数ｆを求める。その逆関数ｆ^−１はマッピング関数より求められる。図４では歪みを検出する段階において設置するカメラ位置及び方向が視点及び視線方向と同じであると想定している。

以下の手順により、マッピング関数を求める。
（［１−１］スクリーン上の複数点の３Ｄ座標位置の計測）
いずれかの例えばプロジェクタ１０２ｊから光点を二次曲面スクリーン１０１に投影する。光点は、予め定められたテストパターンを構成する所定の座標点を示す。この光点をステレオカメラを構成するデジタルカメラ１０４１，１０４２で撮像することにより三次元位置Ｐ_ｉを三角測量の原理から求める。ｉは点数を示す。このときステレオカメラは所定のキャリブレーション処理によりそれぞれのカメラのレンズの焦点距離や画素数の内部特性を示す内部パラメータ及び外部位置関係を示す外部パラメータが分かっていることを前提としている。左カメラ１０４１の内部及び外部パラメータを表すマトリクスをＡ_ｃ１、Ｍ_ｃ１とする。同様に右カメラ１０４２の内部及び外部パラメータを表すマトリクスをＡ_ｃ２、Ｍ_ｃ２とする。このとき、スクリーン上三次元位置Ｐ_ｉと左カメラ画像上の光点の位置ｐ_ｉ ^ｃ１、右カメラ画像上の光点の位置ｐ_ｉ ^ｃ２との関係は
ｐ_ｉ ^ｃ１＝Ａ_ｃ１Ｍ_ｃ１Ｐ_ｉ
ｐ_ｉ ^ｃ２＝Ａ_ｃ２Ｍ_ｃ２Ｐ_ｉ （１）
で表される。ここで、Ｍ_ｃ１、Ｍ_ｃ２は
Ｍ_ｃ１＝［Ｉ｜０］
Ｍ_ｃ２＝［Ｒ_ｃ２｜Ｔ_ｃ２］ （２）
である。
左カメラ１０４１の投影中心を座標の原点とするため、左カメラ１０４１の外部パラメータＭ_ｃ１は単位マトリクスＩを用いて表される。また、右カメラ１０４２の投影中心は左カメラ１０４１の投影中心から回転Ｒ_ｃ２、平行移動Ｔ_ｃ２させた位置となるため、右カメラ１０４２の外部パラメータＭ_ｃ２はＲ_ｃ２、Ｔ_ｃ２を用いて表すことができる。図５、図６において、左カメラ１０４１の投影中心（Ｃｅｎｔｅｒ Ｏｆ Ｐｒｏｊｅｃｔｉｏｎ）（以後ＣＯＰと呼ぶ場合がある。）をＣＯＰ_ｃ１、右カメラ１０４２のＣＯＰをＣＯＰ_ｃ２とする。また、各カメラのＣＯＰと画像上の光点の位置を結んだ直線をｌ_ｃ１、ｌ_ｃ２とするとスクリーン上の三次元位置Ｐ_ｉはｌ_ｃ１、ｌ_ｃ２を用いてこれらの交点に推定することができる。交点が見つからないときは、ｌ_ｃ１、ｌ_ｃ２の距離が最小となる共通法線を求め、その法線の中点をＰ_ｉとして決定する。また、プロジェクタ画像座標上の光点の位置をｐ_ｉ ^ｐｊ、プロジェクタの内部パラメータを表すマトリクスをＡ_ｐｊとすると、ｐ_ｉ ^ｐｊ、Ａ_ｐｊ、Ｐ_ｉ、左カメラ１０４１のＣＯＰを原点としたときのプロジェクタの回転マトリクスＲ_ｐｊ、平行移動マトリクスＴ_ｐｊは以下の関係を持つ。
ｐ_ｉ ^ｐｊ＝Ａ_ｐｊ［Ｒ_ｐｊ｜Ｔ_ｐｊ］Ｐ_ｉ （３）
ここで、ｊはプロジェクタ数を表す。また、プロジェクタ画像座標上の位置ｐ_ｉ ^ｐｊはテストパターンの点の位置であるため既知である。Ａ_ｐｊは所定のキャリブレーション処理により得ているため既知である。よって、ｐ_ｉ ^ｐｊ，Ａ_ｐｊ，Ｐ_ｉを用いてＲ_ｐｊ，Ｔ_ｐｊを求めることができる。Ｒ_ｐｊ，Ｔ_ｐｊは対応関係を持つすべてのｐ_ｉ ^ｐｊ，Ｐ_ｉを用いて繰り返し計算を行ない、誤差が最小となるときの値を用いる。これらの計算は、カメラ１０４１，１０４２が接続されるコンピュータ１０５において行われ、これらの計算結果は記憶装置１０８に記憶される。
次に、以上の方法を用いて得られたプロジェクタの内部パラメータを利用して二次曲面の種類（球面、双曲面、楕円面等）と形状を表す情報である二次曲面パラメータＱを求める。

（［１−２］二次曲面パラメータＱの計算）
マッピング関数ｆ（）を求めるためには二次曲面Ｑを求める必要がある。そこでまず、左カメラ１０４１のプロジェクションマトリクスをＰ^ｃ１、プロジェクタのプロジェクションマトリクスをＰ_ｊ ^ｐｒｊとして、これらのプロジェクションマトリクス、左カメラ画像上の光点の位置ｐ_ｉ ^ｃ１、プロジェクタ画像座標上のテストパターンの一光点であるコーナー位置ｐ_ｉ ^ｐｊを用いて、三次元位置Ｐ_ｉを求める。求める方法としてはステレオカメラで三次元位置を求めた場合と同様の方法を用いる。計算は、カメラ１０４１，１０４２が接続されるコンピュータ１０５において行われる。ここで、Ｐ^ｃ１、Ｐ_ｊ ^ｐｒｊは以下のように表される。
Ｐ^ｃ１ ＝Ａ_ｃ１［Ｉ｜０］
Ｐ_ｊ ^ｐｒｊ＝Ａ_ｐｊ［Ｒ_ｐｊ｜Ｔ_ｐｊ］ （４）
求めた三次元位置Ｐ_ｉが二次曲面Ｑの上にあるとき、

であり、この関数をＱの要素を並べたベクトル《Ｖ》を用いて変形すれば、

（ここで、例えば《ｈ′》はベクトルｈ′を示す表記である。なお、この明細書、図面においてベクトル表記を、《 》を用いた場合と、矢印を上部に付した場合と白抜き又は肉太の場合とで併用して表す場合がある。）
Ｎ点（Ｎ≧９）用いれば、以下の連立方程式が成立する。
Ｘ《Ｖ》 ＝ 《０》
但し ＸはＮ行１０列のマトリクスである。
この連立方程式を解けば、《Ｖ》、即ちＱが求まる。

（［１−３］マッピング関数ｆ（）の導出の原理）
二次曲面例えばスクリーン上の１点

を、異なる視点即ちプロジェクタ１０２ｊ及びカメラ１０４１又は１０４２から見たときの像ｐ_ｉ及びｐ_ｉ′の関係を示すマッピング関数ｆを求める。以下、図７をもとに説明する。すなわち、カメラの位置及び方向が視点及び視線方向と同じである場合を考える。
今、射影空間Ｐ^２における点を

、射影空間ｐ^３における対応する点を

とすれば、

の対応がある。但し、式中のｔは転置を示す。
また、Ｐ^３の点

をプロジェクタの座標系Ψから見たｐ^２の点を

、カメラ座標系Ψ′から見た点を

とすれば、

ここで、

はΨ′におけるエピポールであり、Ｈはホモグラフィー行列である。
今、

が二次曲面上にあるとの制約を課すと、

より

これを展開して、次のλに関する二次方程式を得る。（λは図７の

と

との関係を示す倍率

、Ｑ_３３は二次曲面規定マトリクスＱの上から３×３部を抜き出したもので回転を示す。また、《ｑ》は平行移動量、
である。）

ｑ_４４＝１として良いので、これを解き、λを求めると、

式（８）に、このλを代入して整理すれば、

となる。
右辺は

でまとめられ、次式を得る。

と置けば次式となる。

これが、カメラ設置位置と視点が一致する場合における、スクリーン１０１に投影された点

をプロジェクタ座標Ψから見た点

と、カメラ座標系Ψ′から見た点

の対応を示すマッピング関数

である。

（［１−４］対角化仮想カメラ法によるマッピング関数）
（［１−４−１］原理）
カメラ設置位置と視点が一致しない場合でも、スクリーンの形状情報を用いて、視点にカメラを仮想的に移してキャリブレーションが行えることを説明する。
訓練装置等の精度を要求される表示システムにおいては、視点位置は基準点からの変位により規定されるのが普通である。例えば、ドームスクリーンの場合ドーム中心を通る基線の後方１ｍなどと基準点からの変位で規定される。図８に、基準点８０１、カメラ８０２の設置位置及び姿勢、並びに８０３で参照される視点及び視線方向すなわち仮想カメラの位置及び姿勢の関係を示す。設置位置・姿勢が不確かなカメラから、指定された視点位置・姿勢に直接移す回転・平行移動量を求めると考えず、一旦基準点に正確に移し、この点からの変位を用いて最終的に指定された視点位置・姿勢に移動すると二段階で考える。この考えに立てば、スクリーンが二次曲面の場合、一般的に基準点はスクリーンの中心であるので、カメラを任意の位置・姿勢から基準点の位置・姿勢へ移動することは、二次曲面規定行列の対角化に対応する。この対応を用いればカメラの姿勢位置を実際に計測することなく、曖昧な位置姿勢から基準点への移動量が正確に求まり、最終的に指定された視点の位置姿勢へ移動できる。これは、カメラを仮想的に指定の視点位置姿勢に配置してキャリブレーションを行ったことに対応する。

（［１−４−２］対角化による中心への移動）
カメラ座標系で求めた二次曲面の種類と形状を表す情報である二次曲面パラメータをＱ、視点を原点とする視点座標系における二次曲面パラメータをＱ_ｖとする。両者の関係は、Ｈを視点座標系からカメラ座標系への変換（移動、回転）行列として次式で与えられる。
Ｑ_ｖ ＝ Ｈ^ｔＱＨ （１６）
二次曲面パラメータＱは、前記（［１−２］二次曲面パラメータＱの計算）により説明した方法で得られる。
カメラ座標系から二次曲面の中心を原点とする基準座標系への変換行列をＳとし、基準座標系から視点座標系への変換行列をＭとする二段階の変換を考えれば、Ｈは次式で表される。
Ｈ ＝ ＭＳ （１７）
Ｓは、式（１８）のようにＱを対角化する。

このＳは式（１９）のように分解することができる。

ここで、Ｒ_３３は式（２０）に示すＱ_３３を対角化する回転行列であり、Ｑ_３３及びｑは式（２０）で示されたＱの成分である。また、ΛはＱ_３３を対角化した行列、すなわちＲ_３３ ^−１Ｑ_３３Ｒ_３３である。この回転行列Ｒ_３３によりＱ_３３が対角化されることは数学的に保証されている。

式（１７）の導出を説明する。
座標変換によるＱの対角化Ｓ^ｔＱＳを、Ｑを対角化する相似変換Ｓ^−１ＱＳと捉えて直接的にＳを求められない。なぜならば、Ｓは回転行列Ｒと平行移動行列Ｔの積からなるがＴによりＳが正規直交行列とならないからである。
しかしＳの３行３列の回転成分Ｒ２２は正規直交行列となるため座標変換による対角化問題を相似変換の問題へおきかえることが可能である。すなわち、座標変換によるＱ_３３の対角化Ｒ^−１ _３３Ｑ_３３Ｒ_３３＝Λは相似変換の問題に帰着できる。これにより、未知のＲ_３３がＱ_３３の固有ベクトルを並べたものとして決まり、

となる。展開すると

ここで対角行列Ｄは、

の関係から次の連立する方程式ができる。

上の２式より、

Ｒ_３３及びＴを用いてＳを求めれば、

Ｍは設計時に指定される既知の変換行列であるのでＨが決まり、これによりＱｖが求まり、最終的にマッピング関数ｆ（）が式（１５）から計算できる。発明者はこの方法を「対角化仮想カメラ法」と呼ぶ。

すなわち、Ｍは設計時に指定される既知の変換行列であるので、変換行列計算手段１０６の計算によりＨが決まり（図１（ａ）のステップＰ１０１）、これにより二次曲面パラメータ（Ｑｖ）計算手段１０７の計算においてＱｖが求まる（図１（ａ）のステップＰ１０２）。これらの結果はテーブルとして記憶装置１０８に格納しておく。各コンピュータ１０３ｊのマッピング関数及び逆関数計算手段１０９ｊにおいてマッピング関数ｆ（）が式（１５）から計算できる（図１（ａ）のステップＰ１０３）。マッピング関数及び逆関数計算手段１０９ｊでは、マッピング関数ｆ（）からその逆関数を求める（図１（ａ）のステップＰ１０４）。ステップＰ１０１からステップＰ１０２、ステップＰ１０３、ステップＰ１０４をプロジェクタ１０２ｊの複数ｎ回（実施例ではｎ＝４）繰り返した後、前記ステップＰ１０４で求めた逆関数を各コンピュータ１０３ｊの記憶装置１１０ｊに格納する（図１（ａ）のステップＰ１０５）。これら一連の処理に得られるマッピング関数及び逆関数を適当な数の仮想視点について、予め求めてテーブルとして保持しておく。

（［２］並列処理による負荷分散）
スクリーンの円周は、正対した位置から俯瞰しない限り、楕円となる。前記の「［１−４−２］対角化による中心への移動」において説明した対角化により仮想した視点位置をスクリーンに正対することが可能となるため、円に概説する矩形を計算により直接求めることができ、オーバーラップを許した視野分割ができる。

（［２−１］矩形を用いた視野角の分割
図９（ａ）にスクリーンの縁を表す円に外接する矩形とそれを用いた視野の分割とオーバーラップの関係を示す。また、図９（ｂ）に視野角の分割法を示す。以下では、図中の投影可能領域内に各分割が含まれるとして説明する。

（［２−２］複合するための変換行列）
以下では、視野の４分割（４並列）を例に変換行列の計算を示す。しかし、ここでの議論は、４分割以外でも一般性を失うことはない。プロジェクタ１０２ｊのプロジェクタ座標から仮想のカメラ座標（図９（ａ）に示す４分割した領域）へのマッピング関数ｆ^ｊ（）は以下のようにして求める。
（１）スクリーンの半径ｒを求め、これを用いて図９（ａ）に示すＷ_ｒｃｔ及びＨ_ｒｃｔを計算する。
（２）円に外接する矩形領域を重複部Ｈ_ｏｖｅｒ，Ｗ_ｏｖｅｒを持つように４等分、外接矩形表示領域から、４等分された該当領域への変換行列Ｈ^ｊ _ｒｃｔを計算する。
（３）Ｈ^ｊ _ｒｃｔを用いて当該プロジェクタ１０２ｊに対応して備えられるコンピュータ１０３ｊのマッピング関数及び逆関数計算手段１０９ｊにおいてマッピング関数ｆ^ｊ（）を計算する。
以下、順に説明する。

（［２−２−１］円の半径）
前記した式（１５）の平方根の中の

を用いた

はカメラ座標でのスクリーンの縁を表す楕円を示す式である。従って、カメラ座標系における二次曲面行列Ｑを、視点座標系に変換したＱ_ｖを用いて計算し直したＥに対応するＥ_ｖを用いた以下の式

は、スクリーンに正対する視点座標系でのスクリーンの縁に対応する円を示す式となる。
また、Ｅｖで規定される円と任意の点

の距離ｄは、

の関係がある。
ここで、

として展開すれば、
ｅ_１１ｘ^２ _ｉ＋２ｅ_１２ｘ_ｉｙ_ｉ
＋２ｅ_１３ｘ_ｉ＋２ｅ_２３ｙ_ｉ
＋ｅ_２２ｙ^２ _ｉ＋ｅ_３３
＝ｄ^２ （２８）
この距離ｄが最大となる点が、円の中心であり、また、このときの距離が半径となる。ｄを最大とする点

は次の関係を満足する。

上式で示した連立方程式を解けば、

この座標点は、円の中心であるので、（ｘ_ｃ，ｙ_ｃ）と表記する。この中心点（ｘ_ｃ，ｙ_ｃ）を用いれば、半径ｒは、
ｒ＝√（ｅ_１１ｘ^２ _ｃ＋２ｅ_１２ｘ_ｃｙ_ｃ＋２ｅ_１３ｘ_ｃ
＋２ｅ_２３ｙ_ｃ＋ｅ_２２ｙ^２ _ｃ＋ｅ_３３） （３１）
となる。

（［２−２−２］視野の分割）
図９（ａ）のように横方向の投影映像の重なりの幅をＷ_ｏｖｅｒ、縦方向の重なり幅をＨ_ｏｖｅｒとすれば、分割した視野の大きさＷｒｃｔ及びＨｒｃｔは次式となる。

これを用いて、図９（ａ）に示す原点をＯとする座標系から原点をＯ^ｊとする各視野の座標系への変換行列は、以下となる。

各視野は、各プロジェクタ１０２ｊ毎の映像が投影される領域を決める。

（［２−２−３］マッピング関数ｆ（））
式（１５）にＨｊｒｃｔを操作した以下の式が上記のように視野角を分割した場合のプロジェクタ１０２ｊに関する新たなマッピング関数ｆ^ｊ（）である。

（［２−３］輝度調整）
投影領域の重複部分は輝度が高くなるため投影する映像の輝度を補正する必要がある。この輝度補正は、スクリーン上で重複する各プロジェクタの画素位置に重み係数を予めテーブルとして保持しておき、歪み補正時に画素値と対応する重み係数の乗算により行われる。重みの決定方法を図１０に示す。図１０のプログラムは疑似言語で記述したものである。
ここで、（ｐ，ｑ）はカメラ座標系における画素位置、ｉ，ｊは（１…４）のプロジェクタ番号、Ｈはプロジェクタの横方向の画素数、Ｗは縦方向の画素数、α^ｉ（ｐ^ｉ，ｑ^ｉ）はプロジェクタｉの画素位置（ｐ^ｉ，ｑ^ｉ）における重み係数をそれぞれ表す。プロジェクタｉとプロジェクタｊの重なり部分を判定してその部分の重みを重複幅に反比例して与えている。

（［３］プロジェクタの漏れ光によるブラックオフセットの軽減）
（［３−１］ブラックオフセットの軽減の必要性）
複数のプロジェクタを用いて高解像度の映像を生成しようとする場合、各プロジェクタの投影領域に重複部分が生じる。重複部分は各プロジェクタの輝度が加算され、重複しない部分よりも明るくなる。プロジェクタが完全な黒を表示できれば問題ないが、投影する映像が黒であっても、プロジェクタの漏れ光により投影される領域は完全に黒にはならない（図１１（ａ）参照）。また、重複領域はそれぞれのプロジェクタの漏れ光が重なるためさらに明るくなる。つまり、プロジェクタの漏れ光によりブラックオフセットが生じ、黒を出した状態でも重複部分が目立つことになる。

（［３−２］ブラックオフセットの軽減）
プロジェクタの漏れ光によるブラックオフセット部分はプロジェクタに依存しており調整することはできない。調整できるのは投影する映像の色のみである。単純な色のかさ上げでは色の値が１．０以上になった場合（色の値を０．０〜１．０に正規化してある。）にその色が１．０に補正されてしまい元の映像の色と異なってしまう。そこで元の映像のコントラストを下げ、色を保持しながらかさ上げをすることで色の変化が生じないようにする（図１１（ｂ）参照）。実現方法としては、Ｃｇ（Ｃ ｆｏｒ Ｇｒａｐｈｉｃｓ ｂｙ ｎＶｉｄｉａ）言語を用いてグラフィックスボードが持つｆｒａｇｍｅｎｔ ｓｈａｄｅｒ機能を活用し、撮影する映像の色を補正することで重複部分の輝度の目立ち（図１１（ｃ）、図１１（ｄ）参照）を軽減させる。
Ｃｇで用いた色の補正式は以下の式（３５）の通りである。この式を用いることでブラックレベルを調整し、重複部分のブレンディングを行うαブレンド機能を利用することができる（図１１（ｅ）参照）。そして、ブラックオフセットによる輝度のズレを軽減することができる。
Ｃ＿ｎｅｗ
＝Ｋ＊Ｃ＿ｏｒｇ＋Ｃ＿ｏｆｆｓｅｔ （３５）
但し、
Ｃ＿ｎｅｗ：補正された色（Ｔｈｅ ｃｏｒｒｅｃｔｅｄ ｃｏｌｏｒ）
Ｋ：コントラストを下げる係数（Ｔｈｅ ｃｏｅｆｆｉｃｉｅｎｔ ｆｏｒ ｒｅｄｕｃｉｎｇ ｔｈｅ ｃｏｎｔｒａｓｔ）
Ｃ＿ｏｒｇ：画像のオリジナルの輝度（Ｔｈｅ ｏｒｉｇｉｎａｌ ｃｏｌｏｒ ｏｆ ｉｍａｇｅ）
Ｃ＿ｏｆｆｓｅｔ：輝度のオフセット（Ｔｈｅ ｏｆｆｓｅｔ ｏｆ ｃｏｌｏｒ）

（［３−３］ＫおよびＣ＿ｏｆｆｓｅｔの計算方法）
カメラ画像の輝度から決定する。
１．プロジェクタ１０２１〜１０２４から何も投影しない状態をカメラ１０４１で撮像する。（Ｂａｃｋｇｒｏｕｎｄ Ｉｍａｇｅとして使用する。）その画像をＩｍｇ＿ｂｋｇｒｎｄとする（図１２のステップＰ１２０１）。
２．各プロジェクタ１０２１〜１０２４から黒を出した状態をカメラ１０４１で撮影する（図１２のステップＰ１２０２）。その画像をＩｍｇ＿ｂｌｋｏｆｓｔ＿ｎとする。ｎはプロジェクタの番号とする。画像から得られる輝度をＩとすると、オフセット計算部１１４ｊにおいて以下の計算をする。

（図１２のステップＰ１２０３）
なお、式（３６）の分母のＷｉｍｇ，Ｈｉｍｇはそれぞれカメラでスクリーン１０１を撮像したときのスクリーン１０１の周囲にある矩形の幅、高さである（図９（ａ）参照）。式（３８）の分母の２５６は例えばカメラが持つ輝度値を８ｂｉｔで持つとした場合の２^８＝２５６である。

これらにより式（３５）を得て、補正した色を得る（図１２のステップＰ１２０４）。

（［３］映像発生）
従来、映像のレンダリングを行う場合に、一般的にはグラフィックスボードが持つフレームバッファ（メモリ領域）に映像を書き込み、そのバッファをディスプレイやプロジェクタなどを経由して表示するものであった。
プロジェクションクラスタ（複数のプロジェクタの投影領域のそれぞれの全体によりスクリーンをカバーするようにしたもの）では、映像の歪みを補正する際にバッファに保持されている映像データに対しサンプリング（映像の参照）を行い参照したデータを元に映像を再度作成することで歪みを補正する。このバッファが大きければ大きいほど映像を高精細に描画することができる。このバッファがフレームバッファの場合、フレームバッファはディスプレイやプロジェクタとの解像度に依存するため、ディスプレイやプロジェクタの解像度以上にバッファを大きくすることはできない。よって、高解像度化をディスプレイやプロジェクタの機能以上にすることが難しい。
本発明において、映像データを格納する際に、フレームバッファの代わりにピクセルバッファを使用する。直接ピクセルバッファへ格納しオフスクリーンレンダリングを行うことで、ディスプレイやプロジェクタの解像度の制限を受けない。ピクセルバッファのサイズは２のべき乗という制限はあるが任意に設定可能である。実際には、グラフィックスカードの機能にも依存するためピクセルバッファのサイズにも限界は存在するが、フレームバッファよりも大きなサイズのバッファを確保することができる。
ピクセルバッファのサイズは任意に決定され、ディスプレイの解像度以上の映像をバッファに格納する。ここではバッファサイズを２０４８×２０４８とする。
ピクセルバッファを使用する場合、直接バッファにレンダリングすることができるためフレームバッファを使用する必要がない。また、ＯｐｅｎＧＬの拡張命令を使用することで、ピクセルバッファに格納されたデータを直接テクスチャとして扱うことができる。
図２のピクセルバッファ１１２ａ，１１２ｂは、Ｑｕａｄｒｉｃ Ｔｒａｎｓｆｅｒ（ＱＴ）を用いてデータのサンプリングを行う。ＱＴはカメラ画像座標からプロジェクタ画像座標への変換を表し、その逆変換（ＱＴ＿ｉｎｖ）はプロジェクタ画像座標からカメラ画像座標への変換を表す。プロジェクションクラスタではＱＴ＿ｉｎｖを用いてデータのサンプリングを行う。
サンプリング方法としては、プロジェクタ画像座標の（０，０）から順に（１０２４，７６８）までの座標を走査し、その位置がカメラ画像座標ではどの位置に対応するかを求める。また、カメラをＯｐｅｎＧＬ上の視点と考えると、テクスチャメモリの格納した映像をカメラから見た映像とみなすことができる。この関係（ここでは変換マトリクス

とする）を利用し、プロジェクタ画像座標のある位置がテクスチャ座標のどの位置に対応するかを求めることができ、そのテクスチャ座標の位置の色をサンプリングして色情報として保持する（図１４参照）。
サンプリング結果を元に歪み補正を施した映像を作成し、プロジェクタから投影する。投影された映像はスクリーン上で正しく映像として表示される。
図２の各プロジェクタ１０３ｊ毎に備えられたコンピュータ１０３ｊの画像生成手段１１１ｊにより生成された画像を、ピクセルバッファ１１２ｊａにレンダリングし、この画像を当該プロジェクタ１０３ｊについて求めたマッピングの逆関数ｆ^−１（）により、歪み補正した映像をピクセルバッファ１１２ｊｂに生成する（図１（ｂ）のステップＳ１０１）。この歪み補正した映像を各プロジェクタ１０３ｊから二次曲面スクリーン１０１に投影する（図１（ｂ）のステップＳ１０２）。

前述の（［２−３］輝度調整）においては投影領域の重複部分の広さを図９（ａ）のように重ならない部分よりも比較的小さく設定してあるが、図１３（ａ）のように例えば２台のプロジェクタ１３０１、１３０２による投影領域１３０３，１３０４の重複部分を大きくして、複合映像発生し、重ね合わせにより投影領域の明るさを向上することができる。このとき、スクリーンは上記のように二次曲面でも良いが、平面スクリーン１３０５であっても良い。
この２台のプロジェクタ使用の場合も、図２の２台のコンピュータ１０２１，１０２２により各プロジェクタ１０２１，１０２２毎の映像を生成するとともに各プロジェクタ１０２１，１０２２毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ１１２ａに生成し（図１３（ｂ）のステップＳ１３０１）、各プロジェクタ１０２１，１０２２からピクセルバッファ１１２ｂにおいて歪み補正した映像を二次曲面スクリーン１０１に投影して前記共通して重複する部分の明るさを大きくする（図１３（ｂ）のステップＳ１３０２）。

前述の（［３］プロジェクタの漏れ光によるブラックオフセットの軽減）において、プロジェクタが完全な黒を表示できれば問題ないが、投影する映像が黒であっても、プロジェクタの漏れ光により投影される領域は完全に黒にはならないことを説明した。これは、夜間の暗い情景の映像を投影している場合では人間の目がわずかな輝度差に対しても敏感に感じ取れる為、一層目立ちやすい傾向となる。
この場合、考えられる措置として、ソフト的に投影する元の映像の輝度を補正することで、ブラックオフセットによって生じる重複領域の輝度を下げ重複部分の目立ちを軽減させることができるが、これだけで夜間のシーンでは完全に重複部分を認識させないようにするのは困難である。
このため、元の映像の輝度の補正と合わせて偏光板を組み合わせて重複部分に対する減光率を段階的に調整することで、重複部分をより感じさせない映像を表示することが可能となる。
減光率を段階的に調整可能なフローを図１５（ａ）に、その装置を図１５（ｂ）に示す。図１５（ｂ）において、１５０１はプロジェクタ、１５０２は偏光子、１５０３は検光子、１５０４は前記検光子１５０３を回転させるモータ、歯車、その他の機械部品、電気回路を含む回転手段である。１５０６は、検光子の周囲に設け前記回転手段１５０４の歯車とかみ合うように形成した歯車の歯である。
偏光子１５０２は、それ自身が位置するプロジェクタ１５０１の映像領域が図示しない他のプロジェクタとの映像領域との重複部分に対応した個所の範囲をカバーする（カバーするように斜線で示している。）。検光子１５０３の回転状態により、プロジェクタ１５０１からスクリーンへの投影光について重複部分のみの輝度を調整する。
Ｍａｌｕの法則により
Ｉ（θ）＝Ｉ（０）ｃｏｓ２θ
ただし、Ｉ（θ）：偏光子と検光子を通過した際の光の強度
Ｉ（０）：偏光子を通過した際の光の強度
となるため検光子の角度を変えることで重複部分の輝度を調整することが可能となる。
図２の各コンピュータ１０３ｊにより各プロジェクタ１０２ｊ毎の映像をピクセルバッファ１１２ａに生成するとともに、各プロジェクタ１０２ｊ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ１１２ｂに生成する（Ｐ１５０１）。各プロジェクタ１０２ｊから前記ピクセルバッファ１１２ｂにおいて歪み補正した映像を二次曲面スクリーン１０１に投影する（Ｐ１５０２）。夜間情景を表すときに操作者は回転手段１５０４を操作し、検光子１５０３を回転させる。検光子１５０３の回転に応じて、プロジェクタ１０２ｊからの光を減光させる（Ｐ１５０３）。
重複部分の輝度を各プロジェクタ１０２ｊ単体による輝度と同程度まで落とせば重複部分は目立たなくなる。

（ステレオ映像表示への応用）
上述した技術は、ステレオ映像表示においても実現することができる。図１６（ａ）は二次曲面スクリーンに係るマッピング関数の生成方法の一実施例を説明するフロー図、及び図１６（ｂ）は二次曲面スクリーンに係る映像発生方法の一実施例を説明するフロー図である。図１７は二次曲面スクリーンに係る補正関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。図１７において、１６０１は二次曲面スクリーン、１６０２ｊ（ｊ＝１，２，３，…ｎ）は前記スクリーン前方に設けられるプロジェクタ、１６０３ｊは前記プロジェクタ１６０２ｊ毎に対応して備えられる複数のコンピュータである。１６０４１，１６０４２はデジタルカメラ、１６０５は前記デジタルカメラ１６０４を接続するコンピュータ、１６０６はコンピュータ１６０５内の変換行列計算手段、１６０７はコンピュータ１０５内の二次曲面パラメータ（Ｑｖ）計算手段、１６０８はコンピュータ１６０５内の記憶装置、１６０９ｊは各コンピュータ１６０３ｊ内のマッピング関数及び逆関数計算手段、１６１０ｊは各コンピュータ１０３ｊ内の記憶装置、１６１１は各コンピュータ１６０３ｊに備えられる画像生成手段、１６１２ａ，１６１２ｂは各コンピュータ１６０３ｊに備えられるピクセルバッファである。１６１３は各コンピュータ１０３ｊ，１０５を接続するネットワークである。１６１４は各コンピュータ１６０３ｊのオフセット計算手段である。

（［１］ステレオ表示のための二次曲面スクリーンに係るマッピング関数、その逆関数）
ステレオ表示は、前述の実施例１において、１つの視点の代わりに、左右両目の視点についてマッピング関数及び逆マッピング関数を求めて、左右それぞれの目用の画像を発生するものである。
すなわち、ステレオ表示のための二次曲面スクリーンに係るマッピング関数、その逆関数は、以下のように得る。
基準座標系から視点座標系への変換行列（Ｍ）と、カメラ座標から基準座標系への変換行列（Ｓ）とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、変換行列計算手段１６０６の計算により視点座標系からカメラ座標系への変換行列（Ｈ）を得る（図１６（ａ）のステップＰ１６０１）。前記変換行列（Ｈ）を用いて、カメラ座標系で求めた二次曲面パラメータ（Ｑ）から右目又は左目のいずれか一方の仮定視点を原点とする前記右目又は左目のいずれか一方の視点座標系及び右目又は左目のいずれか他方の仮定視点を原点とする前記右目又は左目のいずれか他方の視点座標系における二次曲面パラメータ（Ｑｖ）を二次曲面パラメータ（Ｑｖ）計算手段１６０７の計算により求める（図１６（ａ）のステップＰ１６０２）。これらの結果はテーブルとして記憶装置１６０８に格納しておく。マッピング関数及び逆関数計算手段１６０９ｊでは、前記求めた右目及び左目の視点座標系における二次曲面パラメータ（Ｑｖ）を用いて、前記スクリーン１６０１に投影された点をプロジェクタｉ座標系から見た点と、任意の右目及び左目の仮定視点から見た点との対応を示すマッピング関数を求める（図１６（ａ）のステップＰ１６０３）。前記マッピング関数よりその逆関数を求める（図１６（ａ）のステップＰ１６０４）。ステップＰ１６０１からステップＰ１６０４を前記複数プロジェクタのｎ回繰り返して、プロジェクタ毎に右目及び左目用のマッピング関数の逆関数を得て前記記憶装置１６０１ｊに格納する（図１６（ａ）のステップＰ１６０５）。

（［２］ステレオ映像発生）
また、ステレオ表示は以下のように行う。
各コンピュータ１６０３ｊの画像生成手段１６１１ｊにより各プロジェクタ１６０２ｊ毎の右目用及び左目用の映像をピクセルバッファ１６１２ｊａに生成するとともに上記のように求めた各プロジェクタ１６０２ｊ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ１６１２ｊｂに生成する（図１６（ｂ）のステップＳ１６０１）。各プロジェクタ１６０２ｊから前記ピクセルバッファ１６１２ｂにおいて歪み補正した右目用及び左目用の映像を交互に前記二次曲面スクリーン１６０１に投影する（図１６（ｂ）のステップＳ１６０２）。

実施例２として説明した技術もステレオ表示に適用することができる。実施例３として説明した技術もステレオ表示に適用することができる。

図１８（ａ）は実施例５を説明する機能ブロック図であり、１８０１はビデオ機器であり、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータ等を用いる。１８０２は歪み補正映像生成部、１８０３はビデオ機器１８０１の信号を歪み補正映像生成部１８０２での処理に適するように信号変換する変換器、１８０４は変換器１８０３からの出力信号を一時格納するメモリ、１８０５，１８０６，１８０７，１８０８はプロジェクタとスクリーンとの位置に応じて実施例１で説明したようにマッピング関数の逆関数により映像を歪み補正する歪み補正手段、１８０９，１８１０，１８１１，１８１２は歪み補正した映像を一時格納する補正後メモリ、１８１３，１８１４，１８１５，１８１６は補正した映像信号をプロジェクタに投影するに適した信号に変換する変換器、１８１７，１８１８，１８１９，１８２０はプロジェクタ、１８２１は二次曲面スクリーンである。
マッピング関数及びその逆関数は、実施例１で説明したように図示しないコンピュータにより求めておく。
メモリ１０８４はフレームメモリで構成する場合があるが、これである必要はなく、ラインメモリでもよい。また、メモリ１０８４は必須のものでなく、変換器１８０３から直接歪み補正手段１８０５〜１８０８に直接接続してもよい。補正後メモリ１８０９，１８１０，１８１１，１８１２は、フレームメモリで構成する場合があるが、これである必要はなく、ラインメモリでもよい。また、補正後メモリ１８０９，１８１０，１８１１，１８１２は必須のものでなく、歪み補正手段１８０５，１８０６，１８０７，１８０８のそれぞれは直接に変換器１８１３，１８１４，１８１５，１８１６に接続してもよい。
プロジェクタ１８１７，１８１８，１８１９，１８２０の数は任意の数ｎを用いることができ、この実施例では４台の例を図示した。

ビデオ機器１８０１からの映像（図１８（ｂ））は、変換器１８０３で処理に適するように変換され、メモリ１８０４に一時格納される。メモリ１８０４の映像は、プロジェクタ１８１７，１８１８，１８１９，１８２０のそれぞれに投影される範囲で分割されて、その範囲でそれぞれが歪み補正手段１８０５，１８０６，１８０７，１８０８に歪み補正され（図１９のステップＳＴ１９０１）て、補正後メモリ１８０９，１８１０，１８１１，１８１２に一時格納される（図１８（ｃ））。映像信号は、変換器１８１３，１８１４，１８１５，１８１６で処理され、プロジェクタ１８１７，１８１８，１８１９，１８２０によりスクリーン１８２１に投影される（図１９のステップＳＴ１９０２）。

変換器１８１３，１８１４，１８１５，１８１６において、実施例１の（［２−３］輝度調整）において説明したように輝度調整により、各プロジェクタ１８１７，１８１８，１８１９，１８２０の互いに重複する投影領域の輝度を補正することができる。

図１８において、図示しないコンピュータにより、実施例１の（［３］プロジェクタの漏れ光によるブラックオフセットの軽減）において説明したようにオフセット調整がされている。

例えば、２台のプロジェクタの投影領域の重複部分を大きくして、上述の実施例２のようにして、共通して重複する部分の明るさを大きくすることができる。
ビデオ機器１８０１からの映像は、変換器１８０３で処理に適するように変換され、メモリ１８０４に一時格納される。メモリ１８０４の映像は、プロジェクタ１８１７，１８１８，１８１９，１８２０のそれぞれに投影される範囲で分割されて、その範囲でそれぞれが歪み補正手段１８０５，１８０６，１８０７，１８０８に歪み補正され（図２０のステップＳＴ２００１）て、補正後メモリ１８０９，１８１０，１８１１，１８１２に一時格納される。映像信号は、変換器１８１３，１８１４，１８１５，１８１６で処理され、プロジェクタ１８１７，１８１８，１８１９，１８２０によりスクリーン１８２１に投影して共通して重複する部分の明るさを大きくする（図２０のステップＳＴ２００２）。

各プロジェクタ１８１７，１８１８，１８１９，１８２０の前方に実施例３のような偏光子と検光子を配置して、プロジェクタからの光を減光して、プロジェクタの漏れ光を目立たなくすることができる。

偶数個のプロジェクタ１８１７，１８１８，１８１９，１８２０を右目用と左見用に区分して、実施例４を適用して、左右両目の視点についてマッピング関数及び逆マッピング関数を求めて、ビデオ機器１８０１からの映像に立体用の映像を用いてステレオ映像を実現することができる。
例えば、プロジェクタ１８１７，１８１９を右目用、プロジェクタ１８１８，１８２０を左目用とする。
ビデオ機器１８０１からの各プロジェクタ１８１７，１８１８，１８１９，１８２０の右目用及び左目用の映像が、各プロジェクタ１８１７，１８１８，１８１９，１８２０の右目用及び左目用のマッピングの逆関数により、歪み補正される（図２１のステップＳＴ２１０１）。各プロジェクタ１８１７，１８１８，１８１９，１８２０から前記歪み補正された右目用及び左目用の映像が交互に前記二次曲面スクリーン１８２１に投影される（図２１のステップＳＴ２１０２）。

マッピング関数の生成方法及び映像発生方法の一実施例を説明するフロー図である。 マッピング関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。 プロジェクタの配置取り付けを説明する図である。 逆歪みによる歪み補正の模式図である。 スクリーン上の点を説明する図である。 スクリーン上の点を説明する図である。 スクリーン上の点を異なる視点から見たときのイメージ平面における位置関係を説明する図である。 カメラ設置位置から基準点を経て視点位置への移動を説明する図である。 スクリーンの視野の分割と視野角を説明する図である。 重複部分の重さの決定方法を説明するプログラムである。 オフセットの軽減を説明する図である。 オフセットの軽減法を説明するフロー図である。 複合映像の重ね合わせによる明るさ向上を説明する図である。 ピクセルバッファによるサンプリングを説明する図である。 夜間情景の投影時の重複部分の輝度調整を説明する図である。 マッピング関数の生成方法及び映像発生方法の一実施例を説明するフロー図である。 マッピング関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。 映像発生装置の一実施例を説明する機能ブロック図及び歪み補正の説明である。 映像発生方法の一実施例を説明するフロー図である。 複合映像の重ね合わせによる明るさ向上を説明するフロー図である。 映像発生方法の一実施例を説明するフロー図である。

符号の説明

１０１…二次曲面スクリーン、１０２ｊ（ｊ＝１，２，３，…ｎ）…プロジェクタ、１０３ｊ…コンピュータ、１０４１，１０４２…デジタルカメラ、１０５…コンピュータ、１０６…変換行列計算手段、１０７…二次曲面パラメータ（Ｑｖ）計算手段、１０８…記憶装置、１０９ｊ…マッピング関数及び逆関数計算手段、１１０ｊ…記憶装置、１１１…画像生成手段、１１２ａ，１１２ｂ…ピクセルバッファ、１１３…ネットワーク。

Claims (24)

1. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラと、コンピュータと、記憶装置とを有し、
   コンピュータによる処理であって、
   基準座標系から視点座標系への変換行列（Ｍ）と、カメラ座標から基準座標系への変換行列（Ｓ）とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列（Ｈ）を得る第１の過程と、
   前記変換行列（Ｈ）を用いて、カメラ座標系で求めた二次曲面パラメータ（Ｑ）から仮定視点を原点とする視点座標系における二次曲面パラメータ（Ｑｖ）を求める第２の過程と、
   前記二次曲面パラメータ（Ｑｖ）を用いて、前記スクリーンに投影された点をプロジェクタｉ座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数を求める第３の過程と、
   前記マッピング関数よりその逆関数を求める第４の過程と、
   第１の過程から第４の過程を前記複数プロジェクタのｎ回繰り返して、プロジェクタ毎にマッピング関数の逆関数を得て前記記憶装置に格納する第５の過程と、
   からなることを特徴とするマッピング関数生成方法。
2. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
   前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、
   各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とする複合映像発生方法。
3. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラと、コンピュータと、記憶装置とを有し、
   コンピュータによる処理であって、
   基準座標系から視点座標系への変換行列（Ｍ）と、カメラ座標から基準座標系への変換行列（Ｓ）とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列（Ｈ）を得る第１の過程と、
   前記変換行列（Ｈ）を用いて、カメラ座標系で求めた二次曲面パラメータ（Ｑ）から右目又は左目のいずれか一方の仮定視点を原点とする前記右目又は左目のいずれか一方の視点座標系及び右目又は左目のいずれか他方の仮定視点を原点とする前記右目又は左目のいずれか他方の視点座標系における二次曲面パラメータ（Ｑｖ）を求める第２の過程と、
   前記求めた右目及び左目の視点座標系における二次曲面パラメータ（Ｑｖ）を用いて、前記スクリーンに投影された点をプロジェクタｉ座標系から見た点と、任意の右目及び左目の仮定視点から見た点との対応を示すマッピング関数を求める第３の過程と、
   前記マッピング関数よりその逆関数を求める第４の過程と、
   第１の過程から第４の過程を前記複数プロジェクタのｎ回繰り返して、プロジェクタ毎に右目及び左目用のマッピング関数の逆関数を得て前記記憶装置に格納する第５の過程と、
   からなることを特徴とするマッピング関数生成方法。
4. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
   前記各コンピュータにより各プロジェクタ毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項３において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、
   各プロジェクタから前記ピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とする複合映像発生方法。
5. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通して重複する部分を有するように配置された複数ｎのプロジェクタと、コンピュータと、記憶装置とを有し、
   前記コンピュータにより各プロジェクタが投影する領域毎の映像を生成するとともに予め請求項１において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、
   各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第２の過程からなることを特徴とする複合映像発生方法。
6. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、
   前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第１の過程と、
   各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とする複合映像発生方法。
7. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、
   前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項３において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第１の過程と、
   各プロジェクタから前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とする複合映像発生方法。
8. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通にして重複する部分を有するように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、
   前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第１の過程と、
   各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第２の過程からなることを特徴とする複合映像発生方法。
9. ビデオ機器が、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータであることを特徴とする請求項６又は請求項７又は請求項８記載の複合映像発生方法。
10. 請求項２又は請求項４又は請求項５又は請求項６又は請求項７又は請求項８又は請求項９に記載の複合映像発生方法において、
    二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数ｎのプロジェクタと、コンピュータと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラとを有し、
    前記スクリーンに前記プロジェクタのいずれもから投影しない状態でカメラにより撮影する第１の過程と、
    前記各プロジェクタより前記スクリーンに黒状態の映像を投影してカメラにより撮影するとともに複数ｎのプロジェクタのｎ回繰り返す第２の過程と、
    コンピュータにおいて、第２の過程による各プロジェクタ毎の映像の輝度から第１の過程により得られた映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得る第３の過程と、
    コンピュータにおいて、各プロジェクタの映像の前記重複する部分のコントラストを前記オフセット値分下げるとともに輝度をオフセット値分上げて映像生成する第４の過程とからなることを特徴とする複合映像生成方法。
11. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ前方に設けた偏光板と、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
    前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、
    各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第２の過程と、
    夜間情景を表すときに前記偏光板により減光させる第３の過程からなることを特徴とする複合映像発生方法。
12. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラと、コンピュータと、記憶装置とを有し、
    基準座標系から視点座標系への変換行列（Ｍ）と、カメラ座標から基準座標系への変換行列（Ｓ）とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列（Ｈ）を得る変換行列計算手段と、
    前記変換行列（Ｈ）を用いて、カメラ座標系で求めた二次曲面パラメータ（Ｑ）から仮定視点を原点とする視点座標系における二次曲面パラメータ（Ｑｖ）を求める二次曲面パラメータ（Ｑｖ）計算手段と、
    前記二次曲面パラメータ（Ｑｖ）を用いて、前記スクリーンに投影された点をプロジェクタｉ座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数及びその逆関数を求めるマッピング関数及び逆関数計算手段と、
    前記複数プロジェクタ毎にマッピング関数及びその逆関数を格納する記憶装置と
    からなることを特徴とするマッピング関数生成装置。
13. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
    前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１２において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
    前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数ｎのプロジェクタとからなることを特徴とする複合映像発生装置。
14. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラと、コンピュータと、記憶装置とを有し、
    基準座標系から視点座標系への変換行列（Ｍ）と、カメラ座標から基準座標系への変換行列（Ｓ）とにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列（Ｈ）を得る変換行列計算手段と、
    前記変換行列（Ｈ）を用いて、カメラ座標系で求めた二次曲面パラメータ（Ｑ）から右目又は左目のいずれか一方の仮定視点を原点とする前記右目又は左目のいずれか一方の視点座標系及び右目又は左目のいずれか他方の仮定視点を原点とする前記右目又は左目のいずれか他方の視点座標系における二次曲面パラメータ（Ｑｖ）を求める二次曲面パラメータ（Ｑｖ）計算手段と、
    前記求めた右目及び左目の視点座標系における二次曲面パラメータ（Ｑｖ）を用いて、前記スクリーンに投影された点をプロジェクタｉ座標系から見た点と、任意の右目及び左目の仮定視点から見た点との対応を示すマッピング関数及びその逆関数を求めるマッピング関数及び逆関数計算手段と、
    前記複数プロジェクタ毎に右目及び左目用のマッピング関数及びその逆関数を格納する記憶装置とからなることを特徴とするマッピング関数生成装置。
15. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
    前記各コンピュータにより各プロジェクタ毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項１４において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
    前記ピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数ｎのプロジェクタとからなることを特徴とする複合映像発生装置。
16. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通して重複する部分を有するように配置された複数ｎのプロジェクタと、コンピュータと、記憶装置とを有し、
    前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１２において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
    前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数ｎのプロジェクタとからなることを特徴とする複合映像発生装置。
17. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、
    前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１２において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、
    前記歪み補正した各映像を前記二次曲面スクリーンに投影する複数ｎの各プロジェクタとからなることを特徴とする複合映像発生装置。
18. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、
    前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１４において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、
    前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数ｎの各プロジェクタからなることを特徴とする複合映像発生装置。
19. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通にして重複する部分を有するように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、
    前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１２において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、
    前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数ｎのプロジェクタからなることを特徴とする複合映像発生装置。
20. ビデオ機器が、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータであることを特徴とする請求項１７又は請求項１８又は請求項１９記載の複合映像発生装置。
21. 請求項９又は請求項１１又は請求項１２又は請求項１７又は請求項１８又は請求項１９又は請求項２０に記載の複合映像発生装置において、
    二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影するように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたカメラとを有し、
    プロジェクタの何れからも投影しない第１の状態のスクリーンを撮影するとともに前記各プロジェクタより黒状態を投影したスクリーンの第２の状態をプロジェクタ毎に撮影するカメラと、
    前記カメラが撮影した前記第２の状態を投影した各プロジェクタ毎の映像の輝度から、前記第１の状態を撮影した映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得るオフセット計算手段と、
    前記各コンピュータにより各プロジェクタ毎の映像の前記重複する部分のコントラストを前記オフセット値分下げるとともに輝度をオフセット値分上げて映像生成する映像生成手段とからなることを特徴とする複合映像生成装置。
22. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する各領域が重複する部分を有して連続になるように配置された複数ｎのプロジェクタと、偏光板と、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
    前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１２において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
    前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数ｎのプロジェクタと、
    前記各プロジェクタ前方に設け、夜間情景を表すときに各プロジェクタからの光量を減光させる偏光板とからなることを特徴とする複合映像発生装置。
23. 各プロジェクタが自由度を持ったフレキシブルアームにより基台に取り付けられたことを特徴とする請求項１２又は請求項１４に記載のマッピング関数生成装置。
24. 各プロジェクタが自由度を持ったフレキシブルアームにより基台に取り付けられたことを特徴とする請求項１３又は請求項１５〜２２のいずれかに記載の複合映像生成装置。
    

Images