JP2007300540A - 映像表示システム - Google Patents

Abstract

【課題】表示される映像を調整位置とは異なる視点位置から見る場合に生じる映像品質の劣化を簡易に補正することのできる映像表示システムを提供する。
【解決手段】観客に提示するための映像を生成し出力する映像生成部と、前記映像生成部の出力した映像をパラメタ記憶部に格納した画素値変換パラメタに基づいて補正して出力する補正部と、前記補正部の出力した映像を観客に提示する映像表示部と、第一の調整位置において良好な補正結果が得られる第一の画素値変換パラメタを記憶する第一の記憶部と、第二の調整位置において良好な補正結果が得られる第二の画素値変換パラメタを記憶する第二の記憶部と、前記第一及び第二の画素値変換パラメタを用いて第三の画素値変換パラメタを算出し前記パラメタ記憶部に格納するパラメタ合成部を備える。
【選択図】図１

Description

本発明は、映像表示面上に表示される映像を複数の視点位置において鑑賞するに適した映像表示システムに関する。

複数の視点位置において映像を鑑賞することのできる映像表示システムでは、一般に、映像を鑑賞する位置によって映像の見え方が異なる。見え方の変化は、映像表示面の指向性が高い場合は顕著であり、ある視点位置から高品質な映像が鑑賞できる場合であっても別の視点位置からは低品質の映像しか鑑賞することができない、という現象が発生する。

このような現象は、複数のプロジェクタから投映された映像をスクリーン上で光学的に合成して一つの映像として観客に提示する類の映像表示システム（以下、「マルチプロジェクション映像表示システム」と呼ぶ）において特に重要な課題となる。

マルチプロジェクション映像表示システムでは、一般に、スクリーン上で隣り合う映像が互いに重なり合うように映像を投映し、重複投映部分に対して、光学的に、あるいは画像処理技術により、エッジブレンドと呼ばれる処理を施すことによって、複数映像の滑らかな接続を実現している。ここで、エッジブレンド処理とは、互いに重複して投映されている複数の映像が適切な比率で混合されるように各々の映像を加工する処理であり、通常、光学的な処理だけではなく所与の変換パラメタに基づいて入力画像の画素値を変換した上でプロジェクタから投映することにより実施される。

スクリーンの指向性が高い場合には、ある視点位置に対して適切な比率で混合されるように調整しても、別の視点位置に対しては適切な比率で混合されていないという結果になる。このため、指向性の高いスクリーンを使用したマルチプロジェクション映像表示システムにおいては、調整時の視点位置を除く多くの視点位置において映像の繋ぎ目が目立っていた。

このような問題点を改善する技術として、特許文献１が知られている。この文献には、映像表示システムの調整に用いる第１の視点位置とは異なる第２の視点位置において映像を鑑賞する場合に生じる問題を改善する技術が開示されている。この技術は、あらかじめ前記第１の視点位置および第２の視点位置におけるスクリーンの指向性に関する特性を計測しておき、映像表示システムの調整時においては、前記第１の視点位置に設置したカメラを用いて従来の調整技術による変換パラメタ推定処理を行う際に、その前処理として、前記第１の視点位置と前記第２の視点位置との前記スクリーンの指向性に関する特性の違いを考慮した補正処理を加える、というものである。なお、この補正処理は、具体的には、調整用にカメラで撮影した画像データに対して、前記第１の視点位置での見え方と前記第２の視点位置での見え方の違いを補正する処理である。
特開２００４−８０１６０号公報

特許文献１記載の技術では、予め想定する視点位置毎にスクリーンの指向性に関する特性を計測しておく必要がある。すなわち、映像を鑑賞することのできる位置が広範囲に渡る場合に計測コストが高くなる。また、想定していない視点位置については、想定済みの視点位置に対応する変換パラメタのひとつを選択することにより対応するか、あるいはスクリーンの指向性に関する特性を計測し直すことが必要となる。

また、前記技術では、（１）まず、観客の視点位置を決定し、（２）次にスクリーンの指向性に関する補正を施し、（３）その上で補正された画像データから実際に使用する変換パラメタを算出する、という処理フローが必要となる。このため、観客の視点位置を決定してから変換パラメタが生成されるまでの計算コストが高くなる。

本発明はこれらの問題点を鑑みてなされたもので、表示される映像を調整位置とは異なる視点位置から見る場合に生じる映像品質の劣化を簡易に補正することのできる映像表示システムを提供するものである。

本発明は上記課題を解決するため、次のような手段を採用した。

観客に提示するための映像を生成し出力する映像生成部と、前記映像生成部の出力した映像をパラメタ記憶部に格納した画素値変換パラメタに基づいて補正して出力する補正部と、前記補正部の出力した映像を観客に提示する映像表示部と、第一の調整位置において良好な補正結果が得られる第一の画素値変換パラメタを記憶する第一の記憶部と、第二の調整位置において良好な補正結果が得られる第二の画素値変換パラメタを記憶する第二の記憶部と、前記第一及び第二の画素値変換パラメタを用いて第三の画素値変換パラメタを算出し前記パラメタ記憶部に格納するパラメタ合成部を備える。

本発明は、以上の構成を備えるため、表示される映像を調整位置とは異なる視点位置から見る場合に生じる映像品質の劣化を簡易に補正することができる。

以下、第１の実施形態について説明する。本実施形態は、駅の連絡通路に設置する映像表示システムなど、線状に分布する観客に対して映像を提示するような映像表示システムに適用する場合に好適な例である。

図１は、本実施形態における映像表示システムを説明する図である。図において、スクリーン１１０は、背面投射型のスクリーンである。スクリーン１１０上には、図示しないプロジェクタ２２０（２２０−１乃至２２０−４）により、背面側、すなわちスクリーン１１０を挟んで通路と反対側から映像が投映されている。プロジェクタ２２０−１乃至２２０−４は、水平投映範囲１３０（１３０−１乃至１３０−４）で示されるように隣り合う映像が互いに重複するように配置される。

図示しない映像生成装置２００が出力した映像に、図示しない映像補正装置２１０を用いて幾何補正処理および画素値変換処理を施してプロジェクタ２２０から投映することにより、スクリーン１１０上に複数の映像が全体として滑らかに繋がった１つの映像として表示される。

本実施形態では、スクリーン１１０として、背面投射型の平面形状のスクリーンを使用したが、これに限られるものではない。例えば、正面投射型のスクリーンを使用してもよいし、曲面形状のスクリーンを使用してもよい。なお、曲面形状のスクリーンを使用する場合は、後述の調整位置の数を増やしておくことが望ましい。

観客１４０（１４０−１乃至１４０−３）は、例えば、駅の連絡通路を歩きながら壁面のスクリーン１１０に表示される映像を眺める歩行者である。本実施形態では、観客１４０の空間的な分布を観客分布検出部１２０で検出し、検出した分布は前記画素値変換処理で使用する画素値変換パラメタに反映させる。

観客分布検出部１２０（１２０−１乃至１２０−３）は、監視カメラを使用し、背景差分などの既存の技術を用いて移動体の検出を行うものである。ただし、観客分布検出部１２０は、観客の空間分布が検出できるものであればよく、本実施形態に限定されるものではない。例えば、ステレオビジョンセンサ、赤外線センサ、圧力センサ等、用途に応じて適宜、既存の技術を用いたセンサを使用することができる。

なお、本実施形態では、観客の空間分布を、通路に沿った１次元の分布として図示したが、通路の幅が広い場合には２次元の分布で考えてもよい。また、高い建物の吹き抜け等に設置したスクリーンに映像を表示するような場合には３次元の分布で考えるようにしてもよい。

映像補正装置２１０を用いてスクリーン１１０上で滑らかに繋がった１つの映像を得るためには、あらかじめ前記幾何補正処理および前記画素値変換処理で使用する幾何補正パラメタおよび画素値変換パラメタを生成しておくことが必要である。調整位置において綺麗に見えるようなパラメタを得る場合には、これらは既存の技術で生成することができる。なお、前記画素値変換パラメタは調整した位置に依存して異なるパラメタとなる。特に本実施形態のように背面投射型のスクリーンを使用した場合、該スクリーンの光学特性は指向性が高く、調整位置への依存度が高くなる。

本実施形態においては、調整位置１００−１乃至１００−３のそれぞれの位置（３箇所）毎にそれぞれ綺麗に見えるような画素値変換パラメタを生成しておき（このとき、例えば調整位置１００−１で調整した画素値変換パラメタを使用して調整位置１００−３から映像を鑑賞すると、複数の映像の繋ぎ目が暗く沈んで見える等の品質劣化が見られる）、これら３つの画素値変換パラメタを、観客の分布に応じて混合して使用する。なお、この詳細は図２乃至図５を用いて説明する。

前記調整位置１００（１００−１乃至１００−３）の配置は、観客が分布可能な範囲の両端および中央付近とするとよい。これにより、複数の画素値変換パラメタを混合する際に本質的に内挿処理だけで済むようにすることができ、誤差による悪影響を低減することができる。なお、調整位置の数は２箇所以上であればよく、３箇所に限るものではない。調整位置は、観客が分布可能な範囲の両端に加え、観客が分布可能な範囲の内部に必要なだけ設定すればよい。また、観客が分布可能な範囲の両端での映像品質を重視しない場合には、調整位置１００を観客が分布可能な範囲の両端に配置する必要はない。この場合、複数の画素値変換パラメタを混合する際に、内挿処理によって混合することができる部分については内挿処理によって混合し、それ以外の部分に関しては外挿処理によって混合すればよい。

図２は、映像表示システムの詳細を説明する図である。なお、図２において図１に示される部分と同一部分については同一符号を付してその説明を省略する。

本実施形態の映像表示システムは、映像生成装置２００、映像補正装置２１０、プロジェクタ２２０、およびスクリーン１１０を備える。このシステムでは、映像生成装置２００により生成した映像を映像補正装置２１０で補正し、補正後の映像データをプロジェクタ２２０からスクリーン１１０上に投映することにより、観客に対して映像を提供する。

映像生成装置２００は、プロジェクタ２２０の台数に等しい４チャンネル分の映像を画像補正部２１５に供給する。具体的な構成としては、マトリクススイッチャを用いて１つの映像を必要なチャンネル数だけ複製して出力するような構成であってもよいし、スキャンコンバータを用いて１つの映像から各チャンネルの担当部分の領域を切り出して出力するような構成としてもよいし、それらを併用するような構成としてもよい。また、あらかじめ各チャンネルの担当領域毎に分割して磁気ディスク装置や光ディスク等の記憶媒体に格納しておいた映像を、複数の機器で同期を取りながら再生するような構成としてもよい。その他、用途に応じて適宜、既存の技術を用いた映像生成装置を単体或いは組み合わせて使用することができる。

プロジェクタ２２０としては、液晶プロジェクタ等、用途に応じて適宜既存の技術を用いた装置を使用することができる。なお、入力された映像に応じてコントラスト等を自動で調整する機能が付いている装置を使用する場合には、前記自動調整機能をＯＦＦにしておくことが必要である。

映像補正装置２１０は、観客分布検出部１２０、演算処理装置２１１、主記憶装置２１３、外部記憶装置２１４、および画像補正部２１５を備える。

演算処理装置２１１は、外部記憶装置２１４から必要に応じてプログラムやデータを主記憶装置２１３に読み込みつつ、画像補正部２１５に格納する画素値変換パラメタの更新を始めとする各種処理を行う。

主記憶装置２１３には、演算処理装置２１１によって外部記憶装置２１４から読み込まれるプログラムやデータの他、観客分布データ２３１を一時的に格納する。観客分布データ２３１は、観客の人数と各々の観客の位置情報で構成され、図１で説明した観客分布検出部１２０によって逐次更新される。なお、本実施形態では観客分布データ２３１を主記憶装置２１３に格納するようにしたが、外部記憶装置２１４に格納するようにし、必要に応じて主記憶装置２１３に読み込むようにしてもよい。

外部記憶装置２１４には、パラメタ初期化プログラム２４１、パラメタ更新プログラム２４２、設計データ２４３、調整済み幾何補正パラメタデータ２４４、調整済み画素値変換パラメタデータ２４５を格納する。外部記憶装置２１４としては、磁気ディスク装置や光ディスク等を使用することができる。また、外部記憶装置２１４の代わりにデータ通信装置を備えるような構成として、外部記憶装置２１４に格納していたプログラムやデータを、ネットワーク等を介してシステムの外部から取得するようにしてもよい。

画像補正部２１５は、映像生成装置２００から供給される映像に対して、幾何補正および色や明るさに関する補正を施してプロジェクタ２２０に供給する。本実施形態においては入力チャンネルと出力チャンネルを１対１に対応させ、後述（図３）の画像補正装置３００を４つ使用する構成とする。なお、本明細書では、一貫して入力チャンネル数と出力チャンネル数が同数となるような構成で説明を行うが、これは本質には関係なく、例えば、複数の入力映像を繋ぎ合わせて格納することが可能であるような大きさを持ったフレームバッファを備えるような構成とすることにより、入出力のチャンネル数が異なる場合にも適用することができる。

パラメタ初期化プログラム２４１は、演算処理装置２１１によってシステム起動を契機にして開始され、１度だけ実行される。具体的には、画像補正部２１５に対し入出力の映像信号形式の設定等の初期化処理を行い、さらに、調整済み幾何補正パラメタデータ２４４（後述）を画像補正部２１５に設定し、さらに、調整済み画素値変換パラメタデータ２４５（後述）のうち調整位置１００−２に関連して記憶されている、各々のプロジェクタ２２０−１乃至２２０−４に対応する画素値変換パラメタを画像補正部２１５に設定する処理を行う。

なお、画素値変換パラメタに関しては、調整位置１００−２ではなく調整位置１００−１や調整位置１００−３に関連して記憶されているものを設定してもよいし、後述（図５）の処理で生成された画素値変換パラメタを外部記憶装置２１４に記憶しておき、それを設定するようにしてもよい。また、画像補正装置３００（図３）のパラメタ記憶部３１６を不揮発性のメモリ等で構成し、幾何補正パラメタ３２２および画素値変換パラメタ３２３をシステム終了後も保持しておけるようにした場合には、システムの２回目以降の起動時においては、パラメタ初期化プログラム２４１で幾何補正パラメタおよび画素値変換パラメタを画像補正装置３００に設定する処理を省略してもよい。

パラメタ更新プログラム２４２は、パラメタ初期化プログラム２４１の終了を契機として開始され、システムが動作している間は繰り返し実行される。パラメタ更新プログラム２４２の詳細は後述（図５）する。

パラメタ更新プログラム２４２を実行する際、演算処理装置２１１は、映像表示システム全体に固有の基準座標系に基づいて処理を行う。設計データ２４３は、該基準座標系における各々の調整位置１００−１〜１００−３の座標値、スクリーン１１０に固有の座標系を基準座標系に変換するためのパラメタ、観客分布検出部１２０に固有の座標系を基準座標系に変換するためのパラメタ、各々のプロジェクタ２２０−１乃至２２０−４に固有の座標系をスクリーン１１０に固有の座標系に変換するためのパラメタ、および映像生成装置２００から供給される各チャンネルの映像に固有の座標系を各々対応するプロジェクタ２２０−１乃至２２０−４に固有の座標系に変換するためのパラメタを含む座標変換のためのデータである。設計データ２４３は、映像表示システムの設計時にあらかじめ決定された設計値を用いる。演算処理装置２１１は、必要に応じて設計データ２４３に基づき、既知の方法を用いて各々の装置に固有の座標系で表現されたデータを基準座標系での表現に変換して使用する。

調整済み幾何補正パラメタデータ２４４は、各々のプロジェクタ２２０−１乃至２２０−４に対応する調整済みの幾何補正パラメタの集合、すなわち、スクリーン１１０上で映像が幾何学的に滑らかに繋がるような幾何補正パラメタの集合である。このような幾何補正パラメタは、既存の技術を用いてあらかじめ生成しておく。具体的には、単純に設計値に基づいて生成してもよいし、調整用の撮像装置を備える構成として、例えば特開２００２−７２３５９号公報に記載の方法によって生成してもよい。また、同じく調整用の撮像装置を備える構成として、映像生成装置２００が供給する各チャンネルの映像に固有の座標系と、所定の位置（設計値としてあらかじめ与えられた位置）から所定の条件（設計値としてあらかじめ与えられた姿勢や画角）において調整用の撮像装置でスクリーン１１０上の映像全体を撮影した撮影画像データ上の座標系との対応を、映像生成装置２００が供給する各チャンネルごとに空間コード化法（井口征士，佐藤宏介，３次元画像計測，昭晃堂，東京，１９９０，ｐｐ．８０−９１）等の既存の方法によって生成した上で、該生成した座標系対応データと、設計値から算出した「撮影画像データ上の座標系において映像生成装置２００が供給する各チャンネルの映像がどのように撮影されているべきか」というデータに基づいて、生成するようにしてもよい。なお、幾何補正パラメタの具体的な実施形態については後述（図３）する。

また、調整済み画素値変換パラメタデータ２４５は、調整位置１００−１乃至１００−３のそれぞれの位置で調整された、各々のプロジェクタ２２０−１乃至２２０−４に対応する画素値変換パラメタの集合であり、各々の調整位置１００−１乃至１００−３に関連付けて記憶される。このような画素値変換パラメタ、即ち、所定の調整位置で映像を鑑賞するのに好適な画素値変換パラメタは、既存の技術、例えば、特願２００６−２４６２７号、あるいは特開２００２−７２３５９号公報に記載の技術などを用いてあらかじめ生成しておく。なお、画素値変換パラメタの具体的な実施形態については後述（図４）する。

図３は、画像補正装置３００の詳細を説明する図である。画像補正装置３００は、映像入力部３１０、フレームメモリ３１１、幾何補正部３１２、画素値変換部３１３、映像出力部３１４、パラメタ設定部３１５、およびパラメタ記憶部３１６を備える。パラメタ記憶部３１６には、幾何補正パラメタ３２２および画素値変換パラメタ３２３を格納する。

映像入力部３１０は、映像生成装置２００から供給された１チャンネル分の映像を読み込み、デジタル画像データとしてフレームメモリ３１１に書き込む。該映像がアナログ信号で供給される場合には、Ａ／Ｄ変換器を備えた構成とすればよい。

フレームメモリ３１１は、１チャンネル分の入力映像が格納可能な大きさのメモリを２フレーム分だけ備える構成とし、１フレーム分を映像入力部からの書き込み用に、残りの１フレーム分を幾何補正部からの読み出し用に、奇数フレームと偶数フレームとで役割を交互に交代しながら使用される。

幾何補正部３１２は、パラメタ記憶部３１６に格納されている幾何補正パラメタ３２２に基づいてフレームメモリ３１１上の画像データに幾何補正を行った結果の画像データを画素値変換部３１３に対して出力する。ここで、幾何補正パラメタ３２２は、幾何補正部３１２の出力する画像データの各々の画素に対して該画素の画素値をフレームメモリ３１１上のどの画素を参照してどのように決定するかを定義したパラメタである。例えば、各画素について実数値Ｘと実数値Ｙの組を格納しておき、それをフレームメモリ上の（Ｘ，Ｙ）という座標値に対応させて、基準色（例えばＲ，Ｇ，Ｂ）毎に、四近傍画素の双線形補間によって画素値を定めるように実装すればよい。なお、フレームメモリ上に対応する座標値がない場合には、幾何補正パラメタ３２２の当該位置にあらかじめ定めた例外値を入れておき、幾何補正部３１２はこのような画素に対して常に「黒」すなわち（Ｒ，Ｇ，Ｂ）＝（０，０，０）を出力するように構成する。

画素値変換部３１３は、パラメタ記憶部３１６に格納されている画素値変換パラメタ３２３に基づいて、幾何補正部３１２から入力された画像中の各画素に対して画素値を変換して映像出力部３１４に対して出力するものであり、映像の色や明るさの補正に相当する処理を行う部分である。画素値変換部３１３の入力および出力となる画像の解像度は、いずれも画像補正装置３００の出力となる映像の解像度に等しい。画素値変換パラメタ３２３の詳細は後述する（図４）。

映像出力部３１４は、画素値変換部３１３から出力された画像データを映像信号に変換してプロジェクタ２２０に出力する。プロジェクタ２２０がアナログ映像信号を投映するように構成されている場合には、Ｄ／Ａ変換器を備えた構成とすればよい。

パラメタ設定部３１５は、演算処理装置２１１の指示により画像補正装置３００に入力された幾何補正パラメタをパラメタ記憶部３１６に幾何補正パラメタ３２２として記憶させ、かつ、演算処理装置２１１の指示により画像補正装置３００に入力された画素値変換パラメタをパラメタ記憶部３１６に画素値変換パラメタ３２３として記憶させる。

フレームメモリ３１１およびパラメタ記憶部３１６としてはＲＡＭを、幾何補正部３１２および画素値変換部３１３としてはＦＰＧＡやＡＳＩＣを使用し、パラメタ設定部３１５としてはＵＳＢやＰＣＩバス等の入力インタフェースとこの制御および入力されたデータを処理するためのＦＰＧＡやＡＳＩＣ等の組を使用することができる。しかし、これらを使用することに限定されるものではない。

なお、画像補正装置３００の構成は図３の構成に限るものではない。例えば、映像生成装置２００からあらかじめ必要な幾何補正を施した映像が供給される場合や、スクリーン１１０とプロジェクタ２２０とを厳密に正しく設置した場合など、画像補正装置３００で幾何補正を施す必要がない場合には幾何補正部３１２を省略してもよい。この場合には、パラメタ記憶部３１６に幾何補正パラメタ３２２を記憶する必要もない。

また、例えば、想定される幾何補正量の最大値（この場合、垂直方向の変化量の最大値）があらかじめ与えられている場合には、読み書きのタイミングを１ライン毎に制御することで、フレームメモリ３１１を、前記幾何補正量の最大値に依存して決まるライン数だけのラインバッファに代えて実施することもできる。

図４は、画素値変換パラメタ３２３の表現方法を説明する図である。画素値変換パラメタ３２３は、画素毎および基準色（例えばＲ，Ｇ，Ｂ）毎に独立して、入力画素値に対して出力画素値が一意に定まるような特性関数４００を備える。図の例では、特性関数４００は区分線形関数であり、入力画素値０、６４、１２８、１９２、２５５のそれぞれに対して出力画素値Ｌ０、Ｌ１、Ｌ２、Ｌ３、Ｌ４を対応させることで定義される。なお、特性関数４００の表現方法はこれに限るものではなく、区分線形関数の区分数の変更やルックアップテーブルによる表現、モデル表現（例えば、「出力画素値を正規化したものは入力画素値を正規化したもののγ乗に等しい」とモデル化し、各画素および各色毎にオフセットの値など正規化に必要となるパラメタとγの値とを保持するようにする）等、種々の表現を用いることができる。

図５は、本実施形態のパラメタ更新プログラム２４２の処理を説明する図である。この処理は、パラメタ初期化プログラム２４１の終了を契機として開始され、システムが動作している間は繰り返し実行される。

演算処理装置２１１は、パラメタ更新プログラム２４２を外部記憶装置２１４から主記憶装置２１３に読み込んで実行する。実行が開始されると、まず、観客分布検出部１２０が非同期で更新している最新の観客分布データ２３１を読み込む（Ｓ５０１）。

次に、パラメタ合成処理を行う（Ｓ５０２）。パラメタ合成処理は、観客分布データ２３１、設計データ２４３、および調整済み画素値変換パラメタデータ２４５に基づいて、現在の観客分布に対して最適であると期待される画素値変換パラメタを生成し、生成した画素値変換パラメタで画像補正装置３００内の画素値変換パラメタを更新する処理である。本処理は、各々のプロジェクタ２２０−１乃至２２０−４に対応する画素値変換パラメタ毎に独立に実施することができる。

本実施形態では、まず、個々の観客毎に独立に、該観客にとって最適であると期待される画素値変換パラメタ（以下、「暫定画素値変換パラメタ」と呼ぶ）を算出し、算出された複数（観客分布データ２３１に検出されている観客数に等しい）の暫定画素値変換パラメタをもとに実際に画像補正装置３００内の画素値変換パラメタを更新するための画素値変換パラメタ（以下、「更新画素値変換パラメタ」と呼ぶ）を算出する。

観客ａに対応する暫定画素値変換パラメタは、（１）式にしたがって算出する。

ここで、Ｔａ（Ｘ）は暫定画素値変換パラメタの画素位置Ｘにおけるパラメタの値（本実施形態では図４の（Ｌ０，Ｌ１，Ｌ２，Ｌ３，Ｌ４）で表されるベクトル値）である。Ｗｅ（Ｙｐ，Ｙａ）は調整位置ｐの基準座標系上の座標Ｙｐと観客ａの基準座標系上の座標Ｙａとで決定される重み値であり、調整位置ｐに関する総和が１になるように正規化されている。Ｔｐ（Ｘ）は調整位置ｐに対応する調整済み画素値変換パラメタの画素位置Ｘにおける値であり、Ｔａ（Ｘ）と同様のベクトル値である。

Ｗｅ（Ｙｐ，Ｙａ）は、例えば、（２）式を用いて算出した値を正規化することで算出できる。

ここで、εは所与の定数であり、観客ａの位置Ｙａが、ある調整位置Ｙｐに一致する場合に、暫定画素値変換パラメタが該調整位置ｐに対応する調整済み画素値変換パラメタと略一致するような値を設定しておく。例えば、最も近い２つの調整位置の間のユークリッド距離がｄである場合、ｄ／１００００という値を設定すればよい。また、Ｄ（Ｙｐ，Ｙａ）はＹｐとＹａの間のユークリッド距離である。

更新画素値変換パラメタは、前記のように算出された複数の暫定画素値変換パラメタを用いて、（３）式にしたがって算出する。

ここで、Ｔ（Ｘ）は更新画素値変換パラメタの画素位置Ｘにおけるパラメタの値（ベクトル値）であり、Ｗｘ（Ｙｘ，Ｙａ）は画素位置Ｘの基準座標系上の座標Ｙｘと観客ａの基準座標系上の座標Ｙａとで決定される重み値であり、観客ａに関する総和が１になるように正規化されている。Ｔａ（Ｘ）は暫定画素値変換パラメタの画素位置Ｘにおけるパラメタの値（ベクトル値）である。

Ｗｘ（Ｙｘ，Ｙａ）は、例えば、（４）式を用いて算出した値を正規化することで算出することができる。

ここで、Ｄ（Ｙｘ，Ｙａ）はＹｘとＹａの間のユークリッド距離である。

前記パラメタ合成処理（Ｓ５０２）の終了後、演算処理装置２１１は、パラメタ登録処理を行う（Ｓ５０３）。パラメタ登録処理は、パラメタ合成処理（Ｓ５０２）で生成した更新画素値変換パラメタを、各々対応する画像補正装置３００の画素値変換パラメタ３２３として登録する処理である。この処理は、各々のプロジェクタ２２０−１乃至２２０−４に対応する更新を同時に実施するように構成することが望ましい。

パラメタ登録処理（Ｓ５０３）の終了後、演算処理装置２１１は、パラメタ更新プログラム２４２の実行を終了する。

なお、本実施形態では、パラメタ合成処理（Ｓ５０２）を、（ａ）暫定画素値変換パラメタの生成、および（ｂ）更新画素値変換パラメタの生成の２段階に分けて実施したが、これらを合成して一回の計算で実施するようにしてもよい。この場合には、あらかじめ（１）式を（３）式に代入して整理した式を用いることにより実施すればよい。

また、本実施形態では、パラメタ合成処理（Ｓ５０２）を複数の調整済み画素値変換パラメタの重み付き平均をとる処理としたが、これに限るものではない。例えば、暫定画素値変換パラメタの生成においては、観客ａの存在する区間を判別し、該区間の両端の調整位置における調整済み画素値変換パラメタから内挿処理によって暫定画素値変換パラメタを生成してもよい。あるいは、より単純に、一番近い調整位置における調整済み画素値変換パラメタをそのまま暫定画素値変換パラメタとして使用するようにしてもよい。

また、本実施形態では、重み値の計算をユークリッド距離で実施したが、これに限るものではない。例えば、図１に示されているように、調整位置１００−１乃至１００−３を結ぶ想定経路を設定し、基準座標系の座標値を該想定経路上の１次元の座標値に変換する変換関数を用いて変換した上で、その１次元の座標値を用いて計算してもよい。前記変換関数は、例えば基準座標系の座標値をそれに最も近い想定経路上の座標値に変換するような関数であってもよいし、また、基準座標系で表されている空間をあらかじめ複数の小領域に分割し、該小領域の各々について想定経路上の座標値を規定した変換テーブルをあらかじめ作成しておき、該変換テーブルを用いて変換するようなものでもよい。なお、前記想定経路を、想定される観客の平均的な身長を考慮して設定してもよいことは、言うまでもない。

このように、重み値の計算を１次元の座標値に基づいて実施するような実施形態とすることにより、想定経路が曲線となる場合に、「距離」を道のりとして扱うことができるため、より好適であると期待できる画素値変換パラメタを得ることができる。

また、観客分布検出部が観客ａの視点位置を厳密に検出することが困難である場合にも、検出の際の分散が大きく誤差も大きいと予想される高さ方向の成分の悪影響を抑え、好適であると期待できる画素値変換パラメタを得ることができる。なお、高さ方向の視点の存在範囲は観客の個体差に依存して決まるものであり、観客の移動量に依存して決まる視点の存在範囲に比べ一般に狭いため、完全に無視した場合でもこの影響は軽微である。

以上説明したように、本実施形態によれば、現在の観客分布を検出し、観客の視点位置に依存しない数箇所の計測位置においてあらかじめ調整しておいた調整済み画素値変換パラメタを、観客分布に基づいて混合することによって、検出された観客分布において最適であると期待される画素値変換パラメタを生成することができる。このため、大域的な最適化を必要とせず、個別に単純な方法で画素値変換パラメタを生成することができ、従来技術に比べより低いコストで観客が感じる映像の品質を向上させることができる。

なお、本実施形態においては、基準座標系における各々の調整位置１００−１乃至１００−３の座標値を設計値として与えたが、調整済み画素値変換パラメタを生成する際に、各々のプロジェクタ２２０−１乃至２２０−４に固有の座標系と調整に使用する撮影装置に固有の座標系との間の対応関係を定義した座標間対応データを生成する場合には、該座標間対応データと設計データ２４３とから既存の方法を用いて推定した値を使用してもよい。

また、本実施形態においては、調整済み画素値変換パラメタデータ２４５は画素値変換パラメタの集合であるとしたが、この「画素値変換パラメタ」とは、画像補正装置３００に格納する画素値変換パラメタ３２３と同等以上の情報を備えるものであればよく、具体的な表現方法は異なっていてもよい。

また、本実施形態においては、観客分布検出部１２０を用いてすべての観客の空間分布を検出したが、これに限るものではない。例えば、デパートの吹抜けに階を跨るように縦長に設置されたスクリーンに、前記吹抜けの中央部に設置されたガラス張りのエレベーターの乗客に向けた映像を表示するような場合には、デパートの各階に存在する観客は無視し、エレベーターの位置に１人だけ観客がいるものとして、すなわちエレベーターの高さの関数として、画素値変換パラメタを生成すればよい。

また、本実施形態においては、パラメタ更新プログラム２４２を繰り返し実行することで、画像補正部２１５に設定する画素値変換パラメタを逐次更新し、観客分布検出部１２０がその都度検出した観客分布に適した映像を提示できるようにしたが、これに限るものではない。例えば、遊園地のジェットコースターを囲むように設置したスクリーンに観客とのインタラクションのない映像を表示するような場合には、あらかじめ出発時刻を起点とした各時刻における観客の位置を計算することによって、各時刻に対して適切な画素値変換パラメタをあらかじめ生成し、該画素値変換パラメタに基づいて画像補正部２１５で為される補正と等価な補正を施した映像をあらかじめ生成した上で、その補正済みの映像を映像生成装置２００からプロジェクタ２２０に対して映像補正装置２１０を介さずに直接出力するようにしてもよい。

また、本実施形態は、例えば、調整位置１００−２で調整した画素値変換パラメタを画像補正部に格納して画像補正を行いたいが調整位置１００−２に直接撮影装置を設置して調整を行うことができないような場合に、調整位置１００−１で調整した画素値変換パラメタと調整位置１００−３で調整した画素値変換パラメタとを合成して調整位置１００−２における画素値変換パラメタを生成するような用途にも適用することが可能である。

次に、第２の実施形態を説明する。本実施形態は、動く歩道やエスカレータの脇に設置する映像表示システムなど、定点観測によって観客分布の時間的な変化が予測しやすい映像表示システムに適用する場合に好適な例である。

図６は、本実施形態の映像表示システムを説明する図である。なお、図において図１に示される部分と同一部分については同一符号を付してその説明を省略する。

スクリーン１１０には、図１の例と同様に映像が投映されている。ただし、本実施形態においては、映像補正装置として、図１における映像補正装置に代え、映像補正装置７１０（図７）が使用される。

観客６４０（６４０−１乃至６４０−３）は、例えば、動く歩道６３０に乗って壁面のスクリーン１１０に表示されている映像を眺める歩行者である。本実施形態では、観客６４０−１乃至６４０−３がそれぞれ動く歩道６３０に乗った時刻を入場者検出部６２０で検出し、検出時刻と現在時刻、および動く歩道６３０の動く速度６３１を基に観客６４０の空間的な分布を推定した上で、前記画素値変換処理で使用する画素値変換パラメタに反映させる。

入場者検出部６２０は、レーザを用いた距離センサであり、動く歩道６３０の入口に設置され、センサで検出される距離の変化を利用して観客が動く歩道６３０に乗ったことを検出する。入場者検出部６２０は、検出した情報に基づいて、逐次、入場者データ７３２（図７）を更新する。なお、入場者検出部６２０は、定点において人流を検出できるようなものであればよく、実施の形態は本実施形態に限定されるものではない。例えば、ステレオビジョンセンサ、赤外線センサ、圧力センサ等、用途に応じて適宜既存の技術を用いたセンサを使用することができる。

図７は、映像表示システムの詳細を説明する図である。なお、図において図２に示される部分と同一部分については同一符号を付してその説明を省略する。

本実施形態の映像表示システムは、映像生成装置２００、映像補正装置７１０、プロジェクタ２２０、およびスクリーン１１０を備え、映像生成装置２００で生成した映像を映像補正装置７１０で補正し、補正後の映像データをプロジェクタ２２０からスクリーン１１０上に投映することにより、観客に対して映像を提供する。

映像補正装置７１０は、入場者検出部６２０、演算処理装置２１１、主記憶装置２１３、外部記憶装置２１４、および画像補正部２１５を備える。

主記憶装置２１３には、演算処理装置２１１によって外部記憶装置２１４から読み込まれるプログラムやデータの他に、入場者データ７３２を一時的に格納する。入場者データ７３２は図６で説明した入場者検出部６２０によって逐次更新されるデータであり、この詳細は後述（図８）する。

外部記憶装置２１４には、パラメタ初期化プログラム２４１、パラメタ更新プログラム７４２、設計データ７４３、調整済み幾何補正パラメタデータ２４４、調整済み画素値変換パラメタデータ２４５を格納する。

パラメタ更新プログラム７４２は、パラメタ初期化プログラム２４１の終了を契機として開始され、システムが動作している間は、単位時間Δｔ毎に繰り返し実行される。パラメタ更新プログラム７４２の詳細は後述（図９）する。

設計データ７４３は、パラメタ更新プログラム７４２で使用される重み値を含むデータである。本実施形態は、動く歩道が単位時間Δｔの間に全体長の１／８だけ進む場合の例であり、動く歩道６３０を８つの区間に等しく分割し、各区間に存在すると推測される観客の位置をあらかじめ定めた当該区間を代表する位置で近似することで処理を単純化する。 重み値Ｗｅ（Ｙｐ，Ｙｓ）および重み値Ｗｘ（Ｙｘ，Ｙｓ）に関しては、各区間の中央の位置の座標値Ｙｓを用いて、第１の実施形態と同様に計算すればよい。Ｙｓは設計値として求めることが可能であるため、これらの重み値はあらかじめ計算しておくことができる。なお、Ｗｅ（Ｙｐ，Ｙｓ）に関しては正規化した値を使用するが、Ｗｘ（Ｙｘ，Ｙｓ）に関しては正規化の必要はない。

なお、本実施形態のような用途では、一般に、観客の斜め前に位置する部分の映像が綺麗に見えることが重要であると推測される。また、観客がすでに通り過ぎてしまった部分の映像の重要度は低いと予想される。このため、Ｗｘ（Ｙｘ，Ｙｓ）の値を計算する際には、それらの要素を考慮して計算するようにしてもよい。例えば、動く歩道６３０の動く速度６３１を所定の大きさに正規化した上でＹｓに加え、Ｗｘ（Ｙｘ，Ｙｓ）の値をその位置を基準として計算するようにしてもよいし、動く歩道６３０の動く速度６３１とＹｓからＹｘに向かうベクトルを大きさ１に正規化したものとの内積をＷｘ（Ｙｘ，Ｙｓ）の値に反映させるようにしてもよい。

図８は、入場者データ７３２のデータ構造を説明する図である。本実施形態では、動く歩道６３０を８つの区間に分割して扱うため、各々の区間に存在すると見做される人数を格納するための領域を８つ用意する。本実施形態の場合、一定時間が経過した後には観客が動く歩道の出口を出てしまっていると考えられるため、計数データは一定時間の経過後には不要になる。従って本実施形態では、入場者データ７３２をリングバッファとして保持する。

入場者検出部６２０は、入場者を検出すると、現在時刻ポインタ８００が指し示す領域８１０のデータを「１」増やす。演算処理装置２１１は、単位時間Δｔ毎に現在時刻ポインタ８００を右に１つ移動させ、移動後の領域のデータを「０」に初期化する。なお、現在時刻ポインタ８００が最も右の領域８１２を指している場合には、最も左の領域８１３に移動させる。

図８の状態においては、領域８１０に記憶されている人数が動く歩道の入口に最も近い区間（ｓ＝１）に存在すると推測される観客の人数を表し、領域８１３に向かって徐々に出口に近い区間に移動し、領域８１１に記憶されている人数が動く歩道の出口に最も近い区間（ｓ＝８）に存在すると推測される観客の人数を表している。

リングバッファの具体的な例としては、人数を格納する領域を配列として確保し、現在時刻ポインタ８００を当該配列のインデックスとして保持すればよい。

図９は、パラメタ更新プログラム７４２の処理を説明する図である。この処理は、パラメタ初期化プログラム２４１の終了を契機として開始され、システムが動作している間は繰り返し実行される。

演算処理装置２１１は、パラメタ更新プログラム７４２を外部記憶装置２１４から主記憶装置２１３に読み込んで実行することにより、まず、入場者検出部６２０が非同期に更新している最新の入場者データ７３２を読み込む（Ｓ９０１）。

次に、観客分布推定処理を行う（Ｓ９０２）。観客分布推定処理は、入場者データから観客の人数と各々の観客の位置情報を推定する処理である。本実施形態では、入場者データ７３２が本質的に等価な情報を備えているため具体的な処理は必要ないが、動く歩道の長さや速度等のデータに基づいてより厳密な計算を行うことが必要な場合には、観客分布推定処理（Ｓ９０２）において観客分布を推定し、推定した観客分布を観客分布データ７３１として主記憶装置２１３に格納した上で、パラメタ合成処理（Ｓ９０３）において該観客分布データ７３１を用いて第１の実施形態と同様の処理を行うようにすればよい。

観客分布推定処理（Ｓ９０２）の終了後、演算処理装置２１１は、パラメタ合成処理を行う（Ｓ９０３）。パラメタ合成処理（Ｓ９０３）は（５）式および（６）式を用いて、第１の実施形態におけるパラメタ合成処理（Ｓ５０２）と同様に実行する。

なお、本実施形態においては、重み値Ｗｅ（Ｙｐ，Ｙｓ）およびＷｘ（Ｙｘ，Ｙｓ）は設計データ７４３に記憶されている値を使用する。ここで、ρ（ｓ）は区間ｓに存在すると推測される人数であり、入場者データ７３２から得ることができる。

パラメタ合成処理（Ｓ９０３）の終了後、演算処理装置２１１はパラメタ登録処理（Ｓ９０４）を実施して、パラメタ更新プログラム７４２の実行を終了する。パラメタ登録処理（Ｓ９０４）は、第１の実施形態におけるパラメタ登録処理（Ｓ５０３）（図５）と同様に実施すればよい。

以上、本実施形態によれば、定点観測と適切なモデル化により現在の観客分布を推定することにより、第１の実施形態に比べて観客の分布を簡易な方法で得ることができ、また、推定した観客分布を複数の区間に離散化して扱い、各区間に関係する重み値をあらかじめ設計値として保持しておくことで、第１の実施形態に比べてパラメタ合成処理を簡易な方法で実施することができる。すなわち、本実施形態によれば、第１の実施形態に比べてさらに低いコストで観客が感じる映像の品質を向上させることができる。

なお、本実施形態では動く歩道の入口だけで入場者の計数を実施したが、さらに動く歩道上の数点において該位置を通過する観客数を計数することで、より実際に近い観客の分布を推定し、画素値変換パラメタに反映させるようにしてもよい。

また、本実施形態の本質は、定点計測によるデータから観客の分布を推定して最適と期待される画素値変換パラメタを生成することにあるため、例えば、双方向の動く歩道である場合や、動く歩道上を歩く観客がいる場合にも、それぞれに対応するモデルを作成し、該モデルに従って観客の分布を推定することにより、例示した形態と同様に、観客の分布に対して最適と期待される画素値変換パラメタを生成することができる。

また、本実施形態においては、ρ（ｓ）に関する重み付き平均としてパラメタ合成処理を実施したが、これに限るものではない。例えば、ρ（ｓ）が最大となる区間ｓだけに基づいて、すなわち他の区間に関してはρ（ｓ）を０であるとみなして、パラメタ合成処理を実施するようにしてもよい。

次に、第３の実施形態を説明する。本実施形態は、第２の実施形態で使用していた画像補正装置３００に代え、図１０で説明する画像補正装置１０００を使用することにより、システム運用時のデータ転送コストを考慮して処理コストの低減を図ったものである。なお、本実施形態においては、説明を簡便にするため、Ｗｘ（Ｙｘ，Ｙｓ）＝１であるとして説明を行うが、これに限るものではない。Ｗｘ（Ｙｘ，Ｙｓ）はあらかじめ計算しておくことのできる固定値であるから、この値が画素毎に異なる値を有する場合には、後述のパラメタ記憶部３１６（図１０）に各区間に対応するＷｘ（Ｙｘ，Ｙｓ）のデータを格納する領域を設けた上で、画素値合成部１０１１の処理を、Ｗｘ（Ｙｘ，Ｙｓ）を加味した重み付き平均を取るように変更すればよい。

図１０は、本実施形態の画像補正装置を説明する図である。なお、図において図３に示される部分と同一部分については同一符号を付してその説明を省略する。

画像補正装置１０００は、映像入力部３１０、フレームメモリ３１１、幾何補正部３１２、画素値変換部１０１０、画素値合成部１０１１、映像出力部３１４、パラメタ設定部３１５、およびパラメタ記憶部３１６を備える。パラメタ記憶部３１６には、幾何補正パラメタ３２２、画素値変換パラメタ１０２０、混合比率パラメタ１０２１、および混合重みパラメタ１０２２を格納する。

画素値変換パラメタ１０２０は、調整済みの画素値変換パラメタであり、調整位置の数（本実施形態では１００−１乃至１００−３の「３」）に等しい数のパラメタを含む。画素値変換パラメタ１０２０は、システムの起動時に演算処理装置２１１によってあらかじめ画像補正装置１０００に設定されるパラメタである。

混合比率パラメタ１０２１は、各区間における各々の画素値変換パラメタの混合比率（全画素に共通のベクトル値）であり、Ｗｅ（Ｙｐ，Ｙｓ）に相当し、区間数（本実施形態では「８」）に等しい数のパラメタを含む。混合比率パラメタ１０２１は、システムの起動時に演算処理装置２１１によってあらかじめ画像補正装置１０００に設定されるパラメタである。

混合重みパラメタ１０２２は、各区間に存在すると推定される人数であり、入場者データ７３２に相当するパラメタである。このため、入場者データ７３２と同様に、リングバッファで保持してもよく、この場合には、単位時間Δｔ毎に演算処理装置２１１が確定した最新の通過人数を画像補正装置１０００に送信し、送信された情報を受信したパラメタ設定部３１５が現在時刻ポインタの更新を行った上で、更新後の位置に受信した情報を書き込むようにする。なお、単純に、演算処理装置が各区間に存在すると推定される人数を毎回すべて送信するようにしてもよい。

画素値変換部１０１０は、パラメタ記憶部３１６に記憶されている画素値変換パラメタ１０２０と混合比率パラメタ１０２１とに基づいて、幾何補正部３１２から入力された画像中の各画素に対して画素値を変換して画素値合成部に対して出力するものである。ここで、画素値の変換は区間毎に独立に実施され、区間数に等しい数の画像（以下、「暫定画像」と呼ぶ）が画素値合成部に対して出力される。暫定画像とは、該画像を画像補正装置１０００の補正結果としてそのまま出力した場合に、該画像に対応する区間において最適な見え方が得られると期待される画像である。

画素値合成部１０１１は、画素値変換部１０１０から入力された区間数に等しいだけの数の暫定画像を、パラメタ記憶部３１６に記憶されている混合重みパラメタ１０２２に基づいて合成し、映像出力部３１４に対して出力するものである。具体的には、画素毎に、各区間に対応する暫定画像の画素値に各区間の人数を乗算した上ですべての区間の乗算結果を加算し、加算結果を全区間の人数の総和で除算する。

以上、本実施形態によれば、混合重みパラメタ１０２２（あるいはこの一部）のみを画像補正部に送信するだけで第２の実施形態と類似の処理を実現することができる。このため、データ転送コストも考慮した場合、すなわち、パラメタ設定部３１５を介したデータ転送が画像補正装置内のデータ転送に比べて遅い場合に、第２の実施形態に比べてさらに低いコストで観客が感じる映像の品質を向上させることができる。

次に、第４の実施形態について説明する。本実施形態は、映画館や会議室等、観客の分布が２次元的な広がりを持つような映像表示システムに適用する場合に好適である。また、観客の重要度に座席の価格などに応じた優劣があり、各々の観客に前記重要度の優劣に見合った品質の映像を提供するような映像表示システムを構築する場合に特に好適である。

図１１は、本実施形態の映像表示システムを説明する図である。本実施形態では、あらかじめ調整位置１１００−１乃至１１００−４のそれぞれにおいて綺麗に見えるような画素値変換パラメタを生成しておき、それら４つの画素値変換パラメタを、観客の分布に応じて混合して使用する。観客の分布が２次元的な広がりを持つことが想定される場合には、図示されているように、調整位置１１００の分布も、想定される観客の分布を概ね覆うように２次元に分布させることが望ましい。

斜線を付した座席１１２０は特別席であり、他の座席１１２１は一般席である。特別席の鑑賞券は、通常、一般席の鑑賞券に比べて高い価格で販売されるため、それに見合った映像品質が要求される。本実施形態では、特別席の観客に、一般席の観客に比べて高品質な映像を提供する。

図１２は、映像表示システムの詳細を説明する図である。なお、図において図２に示される部分と同一部分については同一符号を付してその説明を省略する。

本実施形態の映像表示システムは、映像生成装置２００、映像補正装置１２１０、プロジェクタ２２０、およびスクリーン１１０を備え、映像生成装置２００で生成した映像を映像補正装置１２１０で補正し、補正後の映像データをプロジェクタ２２０からスクリーン１１０上に投映することにより、観客に対して映像を提供する。

映像補正装置１２１０は、演算処理装置２１１、主記憶装置２１３、外部記憶装置２１４、画像補正部２１５、およびデータ通信装置１２６０を備える。

主記憶装置２１３には、演算処理装置２１１によって外部記憶装置２１４から読み込まれるプログラムやデータの他、観客分布データ１２３１を一時的に格納する。観客分布データ１２３１は、観客の人数と各々の観客の座席情報とで構成され、パラメタ更新プログラム１２４２の実行時に、各座席の発券情報を図示しない（外部の）鑑賞券発券システム等の管理するデータベースからデータ通信装置１２６０を介して読み込むことにより更新する。

外部記憶装置２１４には、パラメタ初期化プログラム２４１、パラメタ更新プログラム１２４２、設計データ１２４３、調整済み幾何補正パラメタデータ２４４、調整済み画素値変換パラメタデータ２４５を格納する。

設計データ１２４３は、各調整位置の座標、各座席の座標、および各座席の重要度を含むデータである。各座席の重要度は、システム管理者がシステム運営方針（鑑賞券の価格差を重要度にどの程度反映させるか）に従ってあらかじめ定めたものを格納する。

パラメタ更新プログラム１２４２は、各回の上映毎に繰り返し実行されるものであり、第１の実施形態におけるパラメタ更新プログラム２４２（図５）と同様の処理フローである。

たとえば、観客分布データ読み込み処理（Ｓ５０１）は、各座席の販売状況データを、外部の鑑賞券発券システム等の管理するデータベースからデータ通信装置１２６０を使用してネットワーク経由で読み込むことにより実施する。

パラメタ合成処理（Ｓ５０２）は、前記（５）式および（６）式に基づいて実施する。このとき、区間ｓを座席ｓに読み替え、ρ（ｓ）を座席ｓの重要度と読み替え、さらに「Ｗｘ（Ｙｘ，Ｙｓ）＝１」として実施する。ただし、座席ｓの鑑賞券が発券されていない場合には、座席ｓの重要度を０として扱う。なお、「Ｗｘ（Ｙｘ，Ｙｓ）＝１」とするのは、本実施形態のような用途においては各座席の観客は映像全体を視野に入れているため、画素位置に依存して重み値を変化させるのは適切でないと考えられるためであり、必要に応じてＷｘ（Ｙｘ，Ｙｓ）の値を他の実施形態と同様に画素毎・座席毎に個別の値とすることは可能である。

以上、本実施形態によれば、観客の分布が２次元的な広がりを持っており、観客毎に重要度に差がある場合にも、前記重要度を反映させつつ、低いコストで観客が感じる映像の品質を向上させることができる。

なお、パラメタ更新プログラム１２４２は、発券状況の変化に依存して実行するようにしてもよい。また、Ｗｅ（Ｙｐ，Ｙｓ）の計算方法に関しては、例えば、調整位置１１００−１乃至１１００−４を母点として２次元空間をドロネー三角形分割し、各座席に対して該座席を含む三角形の頂点にあたる調整位置のみを使って線形補間によって算出する等、他の方法によって実施してもよい。

また、本実施例においては、あらかじめ位置と重要度とが固定されている座席に対して各座席の販売状況データに基づいてパラメタ合成処理を実施したが、これに限るものではない。例えば、イベント会場に設置された映像表示システムであれば、各々の観客に渡された名札等に付属させた無線タグを読み込むことによって個人を識別し、各々の観客の位置と重要度とを検出した上で、検出された位置と重要度とに基づいてパラメタ合成処理を実施するようにしてもよい。

次に、第５の実施形態について説明する。本実施形態は、光線再生方式の映像表示システムの調整に適用する場合に好適である。ここで、光線再生方式の映像表示システムは、裸眼立体視等の用途で広く利用されている公知の技術である。

本実施形態では、映像表示装置として、光線再生方式の一方式であるインテグラルフォトグラフィ技術を用いた装置を使用する。インテグラルフォトグラフィ技術においては、光線制御子として、レンズアレイを使用する。まず、前記装置の概要を図１３および図１４を用いて説明した後に、図１５〜図１７で本実施形態について説明する。

図１３および図１４は、それぞれ、本実施形態の映像表示装置の映像表示方法を説明するための側面図および平面図である。

図１３において、観客は、映像表示面１３１０に表示された映像を、レンズアレイ１３２０を通して鑑賞する。このときの映像の見え方は、次のようになる。

図１４において、各々の矩形は映像表示面１３１０上の画素を示し、各々の円はレンズアレイ１３２０上のレンズを示している。各々のレンズには、映像表示面１３１０上の担当する領域が決められており、観客には、各レンズの位置に、該レンズが担当する領域のうちの１点が見える。各々のレンズに関して、担当領域中のどの位置が見えるかは、観客の鑑賞位置に依存して光学的に決定される。例えば、レンズ１４２１の担当領域は縦４画素×横４画素から成る矩形領域１４１１であり、ある鑑賞位置からは、レンズ１４２１の位置に、斜線を付した画素１４１２があるように見える。なお、各鑑賞位置に対して各々のレンズの位置に前記レンズの担当領域中のどの位置が見えるかは設計値から計算によって求めることができる。その際、図１４の斜線で示すように、各々の担当領域中で相対的に同一位置が見えるとは限らないため、各々のレンズに対して計算を行うことが必要である。

図１５は、本実施形態の映像表示システムおよびその調整システムを説明する図である。なお、図において図２に示される部分と同一部分については同一符号を付してこの説明を省略する。

本実施形態の映像表示システムは、映像生成装置１５００、画像補正装置１５１０、映像表示装置１５２０を備え、映像生成装置１５００で生成した映像を、画像補正装置１５１０で画素値変換パラメタ１５１１に基づいて補正し、補正後の映像データを映像表示装置１５２０で表示することにより、観客に対して映像を提供するものである。

また、本実施形態の調整システムは、パラメタ生成装置１５５０、撮影装置１５６０、撮影条件制御装置１５７０を備え、画像補正装置１５１０内の画素値変換パラメタ１５１１を変更しながら、映像表示装置１５２０で表示された映像を撮影した撮影画像データに基づき、映像表示システムで良好な映像を表示するのに適した画素値変換パラメタ１５１１を生成するものである。

映像生成装置１５００は、映像表示装置１５２０を用いて表示するのに好適な１チャンネル分の映像を生成して、画像補正装置１５１０に供給する。例えば、ＤＶＤプレイヤーを用いてＤＶＤメディアに記録された所定の映像を供給するようにしてもよいし、ＰＣを用いてインタラクティブなコンテンツ映像を供給するようにしてもよいが、これらの例に限るものではない。

画像補正装置１５１０は、画像補正装置３００（図３）からフレームメモリ３１１と幾何補正部３１２を取り除いたものである。すなわち、幾何補正機能を備えないため、パラメタ記憶部３１６に幾何補正パラメタ３２２を格納する必要もない。なお、本実施形態の映像表示システムにおいて、画像補正装置１５１０の代わりに画像補正装置３００を用いてもよいことは言うまでもない。

映像表示装置１５２０は光線再生方式の映像表示装置であり、本実施形態では、画像補正装置１５１０から送信された画像データを表示する映像表示面１３１０と、レンズアレイ１３２０を備える。なお、レンズアレイを備えたシステムへの適用に限定されるものではなく、例えば、レンチキュラーレンズを備えた映像表示システムなど、他の光線再生方式の映像表示システムに対しても適用可能である。

パラメタ生成装置１５５０は、演算処理装置２１１、主記憶装置２１３、外部記憶装置２１４、画像補正制御部１５５１、撮影制御部１５５２、および撮影条件制御部１５５３を備える。主記憶装置２１３には演算処理装置２１１によって外部記憶装置２１４から読み込まれるプログラムやデータを一時的に格納する。

外部記憶装置２１４には、パラメタ生成プログラム１５４１、パラメタ調整プログラム１５４２、パターン表示プログラム１５４３、撮影条件制御プログラム１５４４、設計データ１５４５、調整用パターンデータ１５４６、座標対応データ１５４７、および調整済み画素値変換パラメタデータ１５４８を格納する。

パラメタ生成プログラム１５４１は、調整システムの起動を契機に開始され、映像表示システムで使用するに適した画素値変換パラメタを生成して画像補正装置１５１０に設定するプログラムである。該プログラムの詳細は後述（図１６）する。

パラメタ調整プログラム１５４２は、パラメタ生成プログラム１５４１の実行中に呼び出されるプログラムであり、調整済み画素値変換パラメタデータ１５４８を生成するものである。該プログラムの詳細は後述（図１７）する。

パターン表示プログラム１５４３は、該プログラムの入力として、あるパターン画像データが与えられた時に、入力された映像に依存せずに画像補正装置１５１０が前記パターン画像データに現在処理対象としている調整済み画素値変換パラメタを施した結果を出力するような画素値変換パラメタを生成して、画像補正装置１５１０に設定するプログラムである。具体的には、画素毎に独立に、現在処理対象としている調整済み画素値変換パラメタに基づく変換結果を算出し、すべての入力画素値に対して該変換結果が出力画素値となるような画素値変換パラメタを生成し設定する。

撮影条件制御プログラム１５４４は、演算処理装置２１１が撮影条件制御部１５５３を介して撮影条件制御装置１５７０の制御を行うために使用するプログラムであり、位置と姿勢を規定するための６つのパラメタから、撮影条件制御装置１５７０を制御するための制御コマンドを生成するものである。

設計データ１５４５には、あらかじめ設計値として決めたデータが格納される。本実施形態では、調整ポイント（＝撮影を行う位置）の数、映像表示面１３１０上の各々の画素に対応する該画素の担当する光線方向を表す方向ベクトル（大きさが１になるように正規化されている）、同じく各々の画素に対応する該画素の担当であるレンズの識別子と、各々のレンズに対応する各調整ポイントの方向を表す方向ベクトル（大きさが１になるように正規化されている）、ならびに各々の調整ポイントに対応する撮影装置１５６０の位置および姿勢を制御するための情報とを含むように構成する。

調整用パターンデータ１５４６には、パラメタ調整プログラムにおいて使用される、複数枚の調整用パターン画像データが格納されている。具体的には、グレイコードパターン等、図１７のパラメタ調整処理における座標対応データ生成処理（Ｓ１７０３）およびフィードバック調整処理（Ｓ１７０４）で使用する画像データを含むように構成する。

座標対応データ１５４７は、映像表示面１３１０上の座標値と撮影装置１５６０で撮影した撮影画像データ上の座標値との対応関係を表現したデータであり、パラメタ調整プログラム１５４２の実行時に生成されて格納される。

調整済み画素値変換パラメタデータ１５４８は、複数の調整済み画素値変換パラメタの集合体であり、個々の調整済み画素値変換パラメタは、複数の調整ポイントのいずれかに対応し、当該調整ポイントで鑑賞した場合に良好な映像が見られる画素値変換パラメタである。調整済み画素値変換パラメタデータ１５４８は、パラメタ調整プログラム１５４２の実行時に生成されて、格納される。本実施形態では、各々の調整済み画素値変換パラメタの初期値は恒等変換パラメタとするが、２回目以降の調整では、前回の調整結果をそのまま使用するようにしてもよい。

画像補正制御部１５５１は、演算処理装置２１１の指示に従い、画像補正装置１５１０に画素値変換パラメタ１５１１を格納する処理を行う。画像補正装置１５１０との間のデータ送受信のインタフェースとしては、画像補正装置１５１０側に合わせたものを使用する。また、映像表示システムが調整システムを常時備えるような構成とする場合には、画像補正制御部１５５１を備えた構成とせずに、画像補正装置１５１０をパラメタ生成装置１５５０のデータバスに直接接続するような構成としてもよい。

撮影制御部１５５２は、演算処理装置２１１の指示に従い、撮影装置１５６０に制御コマンドを送信することで、撮影装置１５６０の制御を行う。また、撮影装置１５６０から送信された撮影画像データを受信し、演算処理装置２１１の指示に従って、主記憶装置２１３または外部記憶装置２１４に格納する処理を行う。撮影装置１５６０との間の制御コマンドや撮影画像データの送受信のためのインタフェースとしては、ＵＳＢインタフェースやＩＥＥＥ１３９４インタフェース等、撮影装置１５６０側のインタフェースに合わせたものを使用する。

撮影条件制御部１５５３は、演算処理装置２１１の指示に従い、撮影条件制御装置１５７０に制御コマンドを送信することで撮影条件制御装置１５７０の制御を行う。撮影条件制御装置１５７０との間の制御コマンドの送受信のためのインタフェースとしては、ＲＳ−２３２Ｃインタフェース等、撮影条件制御装置１５７０側のインタフェースに合わせたものを使用する。

撮影装置１５６０は、例えばデジタルカメラであり、撮影制御部１５５２から送信された制御コマンドによって、露出の設定、被写体の撮影、および撮影した画像データの送信を行う機能を備えたものである。撮影制御部１５５２との間の制御コマンドや撮影画像データの授受のためのインタフェースとしては、ＵＳＢインタフェースや、ＩＥＥＥ１３９４インタフェース等、既存のインタフェースを使用することができる。

撮影条件制御装置１５７０は、例えばロボットハンドであり、撮影装置１５６０を保持し、撮影条件制御部１５５３から送信された制御コマンドによって、撮影装置１５６０の位置と姿勢を制御する。撮影条件制御部１５５３との間の制御コマンドの送受信のためのインタフェースとしては、ＲＳ−２３２Ｃインタフェース等、既存のインタフェースを使用することができる。

図１６は、本実施形態のパラメタ生成プログラム１５４１の処理を説明する図である。

パラメタ生成処理は、まず最初にパラメタ調整処理を行って調整済み画素値変換パラメタデータ１５４８を生成し（Ｓ１６０１）、次に、パラメタ合成処理（Ｓ１６０２）において、各々の画素毎に、パラメタ調整処理（Ｓ１６０１）で生成した調整済み画素値変換パラメタデータ１５４８に基づいて画素値変換パラメタを生成し、生成された画素値変換パラメタを画像補正装置１５１０に画素値変換パラメタ１５１１として設定する処理である。なお、パラメタ調整処理（Ｓ１６０１）の処理の詳細は後述（図１７）する。

パラメタ合成処理（Ｓ１６０２）では、各々の画素に対して、該画素の担当する方向と、該画素の担当となっているレンズに対して各調整ポイントがどの方向にあるかの情報から、各調整ポイントに対応する重み値を決定し、該重み値に基づいて各々の調整済み画素値変換パラメタの当該画素に対応するパラメタ値（ベクトル値）の重み付き平均をとって当該画素の画素値変換パラメタとする。重み値の決定方法は、例えば、前記担当方向と調整ポイントの方向とのそれぞれを表現する方向ベクトル同士の内積の値を使用すればよい。生成した前記画素値変換パラメタは、画像補正装置１５１０に画素値変換パラメタ１５１１として格納する。なお、実際の撮影装置１５６０の位置が各々の調整ポイントの位置と厳密に一致しない場合にも、各レンズに対する各調整ポイントの方向については設計値をこのまま使用して近似計算すればよいが、座標対応データ１５４７と設計値から正しい位置を推定して使用するようにしてもよい。

図１７は、本実施形態のパラメタ調整プログラム１５４２の処理を説明する図である。

パラメタ調整処理が開始されると、まず、調整ポイントのシリアル番号であるＮを０に初期化し（Ｓ１７０１）、次に、第Ｎ番目の調整ポイントに対して、撮影条件制御処理を行う（Ｓ１７０２）。撮影条件制御処理（Ｓ１７０２）は、設計データ１５４５で規定されている設計値に基づいて、撮影装置１５６０の位置と姿勢とを第Ｎ番目の調整ポイントに対応する位置と姿勢に合致するように制御する処理である。前記処理（Ｓ１７０２）は、演算処理装置２１１が撮影条件制御プログラム１５４４を使用して撮影条件制御部１５３３を介して撮影条件制御装置１５７０を制御することによって実施する。なお、前記制御は設計値に基づいて為されればよく、各装置の設置誤差等がある場合にも、制御後の映像表示装置１５２０と撮影装置１５６０の相対的な位置関係を厳密に理想的な条件に合わせる必要はない。

次に、座標対応データ生成処理（Ｓ１７０３）を行う。この処理は、撮影位置から見えている映像表示面１３１０上の座標値と、撮影装置１５６０で撮影した撮影画像データ上の座標値との対応関係を求めるものである。これは例えば、グレイコード（交番２進コード）と呼ばれる複数枚のパターン画像データ（縞の幅が異なる複数枚の縦縞および横縞の画像データを１セットにしたもの）の組を、パターン表示プログラム１５４３を繰り返し使用することによって映像表示装置１５２０で順次表示し、それらを撮影装置１５６０で順次撮影した撮影画像データに基づいて求めることができる。この方法は「空間コード化法」と呼ばれる方法であり、「井口征士，佐藤宏介，３次元画像計測，昭晃堂，東京，１９９０，ｐｐ．８０−９１」等に記載のある公知の技術である。なお、座標対応データ生成処理（Ｓ１７０３）おいて使用されるパターン画像データは、調整用パターンデータ１５４６の中に格納しておく。

次に、フィードバック調整処理を行う（Ｓ１７０４）。フィードバック調整処理（Ｓ１７０４）においては、同一のレンズが担当する複数の画素を同一視して、フィードバック調整を実施する。すなわち、同一のレンズが担当する複数の画素のうち実際に撮影されている画素は１画素だけであるが、誤差の影響を低減するため、同一のレンズが担当する複数の画素に対応する画素値変換パラメタに関しては、フィードバック調整処理（Ｓ１７０４）の実行中は常に互いに同じ変化をするように構成する。なお、具体的なフィードバック調整の方法に関しては、例えば、特願２００６−２４６２７号記載の方法を用いることができる。

次に、パラメタ補完処理を行う（Ｓ１７０５）。パラメタ補完処理（Ｓ１７０５）は、フィードバック調整処理（Ｓ１７０４）の結果生成された画素値変換パラメタに対して、座標対応データ生成処理（Ｓ１７０３）により撮影画像データとの座標値の対応関係が求まっている画素に対応する画素値変換パラメタに基づいて、その他の画素の画素値変換パラメタを再構成し、再構成後の画素値変換パラメタを、調整済み画素値変換パラメタデータ１５４８の第Ｎ番目の調整ポイントに対応する調整済み画素値変換パラメタとして格納する処理である。なお、前記再構成処理は、既存の内挿処理および外挿処理によって実施すればよい。

パラメタ補完処理（Ｓ１７０５）の終了後、調整が必要なすべての調整ポイントについて調整が完了したか否かを判定する（Ｓ１７０６）。まだ調整が完了していない調整ポイントがある場合には、調整ポイントのシリアル番号であるＮを「１」だけ増やし（Ｓ１７０７）、撮影条件制御処理（Ｓ１７０２）に戻って処理を続ける。すべての調整ポイントについて調整が完了している場合には、パラメタ調整処理を終了する。

以上説明したように、本実施形態によれば、光線再生方式の映像表示システムを使用する場合に、数多の視点位置において良好に鑑賞できる映像を、数箇所の調整ポイントにおける調整によって提供することができる。

なお、本実施形態では、撮影装置１５６０の位置や姿勢を撮影条件制御装置１５７０で制御しながら撮影したデータに基づいて調整を行ったが、この制御部分を、複数の撮影装置を備えることで代えることも可能である。すなわち、調整が必要な調整ポイントの数に等しい数の撮影装置を備え、設計値に基づいて位置と姿勢を固定した上で、映像表示システムの調整を開始すればよい。その際、複数の撮影装置の特性をできるだけ揃えておくことが望ましいが、本実施形態では複数の調整済み画素値変換パラメタの重み付き平均として画素値変換パラメタを生成しているため、個々の撮影装置の特性に多少のばらつきがある場合でも、破綻することなく調整が可能である。

また、本実施形態では、図１７におけるフィードバック調整処理（Ｓ１７０４）において、調整ポイントから見えている画素に対してフィードバック調整による調整を行ったが、個々の調整ポイントにおいては、各レンズを１画素と見立てた映像として扱うことができるため、他の調整方法、例えば特開２００２−７２３５９号公報に示される方法などを使用して調整するようにしてもよい。

次に、第６の実施形態について説明する。本実施形態は、小型の光線再生方式の映像表示システムの製造工程における調整フェーズにおいて、ロボットアームによって映像表示システムを運搬し、固定カメラを用いて次々に簡易調整していくような場合など、映像表示システムの簡易調整に適用する場合に好適である。

図１８は、本実施形態の映像表示システムおよびこの調整システムを説明する図である。なお、図において図１５に示される部分と同一部分については同一符号を付してこの説明を省略する。

本実施形態の調整システムは、パラメタ生成装置１８５０、撮影装置１５６０、姿勢制御装置１８７０を備える。また、パラメタ生成装置１８５０は、演算処理装置２１１、主記憶装置２１３、外部記憶装置２１４、画像補正制御部１５５１、撮影制御部１５５２、姿勢制御部１８５３を備える。また、外部記憶装置２１４には、パラメタ生成プログラム１８４１、パラメタ調整プログラム１８４２、パターン表示プログラム１５４３、姿勢制御プログラム１８４４、設計データ１８４５、調整用パターンデータ１８４６、および調整済み画素値変換パラメタデータ１８４７が格納される。

パラメタ生成プログラム１８４１は、パラメタ生成プログラム１５４１（図１５）においてパラメタ調整プログラム１５４２を使用して行っていたパラメタ調整処理の代わりに、パラメタ調整プログラム１８４２を使用してパラメタ調整処理を行うようにしたものである。なお、パラメタ調整プログラム１８４２の処理の詳細は後述（図１９）する。

姿勢制御プログラム１８４４は、演算処理装置２１１が姿勢制御部１８５３を介して姿勢制御装置１８７０の制御を行うために使用するプログラムであり、姿勢を規定するための３つの角度パラメタから、姿勢制御装置１８７０を制御するための制御コマンドを生成する。

設計データ１８４５には、あらかじめ設計値として決めたデータが格納される。本実施形態では、調整が必要な調整ポイント（調整に用いる複数の撮影位置）の数、各々の調整ポイントに対応する位置ずれの許容度、各々の調整ポイントに対応する映像表示装置の姿勢を制御するための情報、姿勢の微調整で使用する姿勢制御パラメタの変動範囲および変動間隔、ならびに図１９に示す調整要否の判定（Ｓ１９０４）において使用する閾値および撮影画像データ上の部分領域の情報とを含むように構成する。

調整用パターンデータ１８４６は、パターン表示プログラム１５４３の入力とするための複数枚の画像データの集合であり、各々の調整ポイント毎に独立に設計値に基づいてあらかじめ生成されたものである。具体的なパターンの特徴は後述（図１９）する。

調整済み画素値変換パラメタデータ１８４７は、複数の調整済み画素値変換パラメタの集合体であり、個々の調整済み画素値変換パラメタは、複数の調整ポイントのいずれかに対応し、対応する調整ポイントで鑑賞した場合に良好な映像が見られる画素値変換パラメタである。調整済み画素値変換パラメタデータ１８４７は、パラメタ調整プログラム１８４２の実行時に生成されて、格納される。本実施形態では、各々の調整済み画素値変換パラメタの初期値は恒等変換パラメタであるとするが、２回目以降の調整では、前回の調整結果をそのまま使用するようにしてもよい。なお、本実施形態は映像表示システムの簡易調整に主眼を置いた例であるため、各々の処理は各画素の特性を線形であると近似して実施する。すなわち、各々の調整済みパラメタは１次元ベクトル（Ｒ，Ｇ，Ｂの３色で扱う場合には３次元ベクトル）として扱い、入力画素値の最大値に対してのみ、撮影に基づいた調整を行う。

姿勢制御部１８５３は、演算処理装置２１１の指示に基づき、姿勢制御装置１８７０の動作を制御する。姿勢制御装置１８７０との間で制御コマンドの送受信に使用するインタフェースとしては、例えば、ＲＳ−２３２Ｃインタフェース等、姿勢制御装置１８７０側に合わせたものを使用する。

姿勢制御装置１８７０は、例えばロボットアームであり、映像表示装置１５２０を保持し、姿勢制御部１８５３から送られた制御コマンドに従って映像表示装置１５２０の姿勢を制御するものである。姿勢制御部１８５３との間の制御コマンドの送受信に使用するインタフェースとしては、ＲＳ−２３２Ｃインタフェース等、既存のインタフェースを使用することができる。

図１９は、本実施形態のパラメタ調整プログラム１８４２の処理を説明する図である。パラメタ調整処理が開始されると、まず、調整ポイントのシリアル番号であるＮを０に初期化する（Ｓ１９０１）。

次に、第Ｎ番目の調整用パターン表示処理を行う（Ｓ１９０２）。この処理は、第Ｎ番目の調整ポイントに対応する現在の調整済み画素値変換パラメタで、第Ｎ番目の調整ポイント用の調整用パターンを表示する処理である。ここで、第Ｎ番目の調整ポイント用の調整用パターンとは、第Ｎ番目の調整ポイントから見た場合には「白」が、それ以外のポイントから見た場合には「黒」が見えるように、黒地に白点を描画したパターンである（このときに「白」が描画されている画素を、以下「第Ｎ番目の調整ポイントに対応する制御点」と呼ぶ）。

調整用パターン表示処理（Ｓ１９０２）は、具体的には、第Ｎ番目の調整ポイントに対応する現在の調整済み画素値変換パラメタを格納した画像補正装置１５１０に第Ｎ番目の調整ポイント用の調整パターンが入力された時の画像補正装置１５１０の出力結果をパターン表示プログラム１５４３を用いて計算し、任意の入力に対して該計算結果を出力するような画素値変換パラメタを画像補正装置１５１０に格納する処理である。例えば、画素値変換パラメタとして図４で説明した表現方法のものを用いた場合には、各画素に対して、Ｌ０乃至Ｌ４がすべて出力したい画素値に等しくなるように設定することで、そのような画素値変換パラメタを生成することができる。なお、白点の大きさに関しては、設計データ１８４５に格納されている第Ｎ番目の調整ポイントに対応する位置ずれの許容度に合わせて決定される値を用いればよい。

次に、姿勢制御処理を行う（Ｓ１９０３）。姿勢制御処理（Ｓ１９０３）は、撮影装置１５６０が映像表示装置１５２０に対して相対的に第Ｎ番目の調整ポイントに位置するように、姿勢制御装置１８７０を制御して映像表示装置１５２０の姿勢を制御する処理である。具体的には、撮影装置１５６０がレンズアレイ１３２０を通して映像表示面１３１０を撮影したデータに基づいて、全体がもっとも明るく見えるように、映像表示装置１５２０の姿勢を制御する。

本実施形態は撮影装置１５６０と姿勢制御装置１８７０の位置を固定して実施する場合の例であり、設計データ１８４５に基づいて姿勢を制御した後、設置誤差を始めとする様々な誤差の影響を吸収するため、設計値周辺の姿勢制御パラメタに関してしらみつぶしに探索を行って最善のものを選択する。この探索における姿勢制御パラメタの変動範囲と姿勢制御パラメタの変動間隔に関しては、姿勢制御装置１８７０の仕様や想定される誤差の範囲に応じて決定され、あらかじめ設計データ１８４５内に格納されている値を使用する。

次に、第Ｎ番目の調整ポイントに対して調整が必要か否かを判定する（Ｓ１９０４）。調整要否の判定処理（Ｓ１９０４）は、撮影装置１５６０がレンズアレイ１３２０を通して映像表示面１３１０を撮影したデータ内において、映像表示領域内の複数の部分領域の各々に対して明るさの平均値を求め、この平均値の分散があらかじめ決めた閾値（設計データ１８４５内に格納されている）以下であれば調整不要と判断し、それ以外の場合には調整が必要であると判断する。なお、ここでは各部分領域の代表値を求めることができればよいため、平均値の代わりに中央値を使用するようにしてもよい。また、撮影画像データの画素値を明るさに変換するための特性関数が設計データとして与えられていない場合には、直接撮影画像データの画素値を使って計算してもよい。また、前記部分領域に関しては、各々の調整ポイント毎に設計値に基づいてあらかじめ計算し、設計データ１８４５内に格納しておくが、映像表示領域を検出するためのパターンを映像表示装置で表示し、それを撮影したデータに基づいて動的に作成するようにしてもよい。

なお、該部分領域の和集合が撮影画像データ上の映像表示領域の全体を覆っていることは必要でなく、撮影時の誤差の影響が緩和できる程度の大きさで、要求する精度に応じた個数の部分領域を抽出すればよい。例えば、撮影画像データ上の映像表示領域を３×３のほぼ同じ大きさの部分領域に分割し、該各々の部分領域の中央付近から、映像表示領域全体の５％程度の大きさの部分領域を抽出して判定に使用すればよい。

調整要否の判定処理（Ｓ１９０４）において調整が必要であると判定された場合には、パラメタ更新処理（Ｓ１９０５）を行い、調整用パターン表示処理（Ｓ１９０２）に戻って処理を続ける。

パラメタ更新処理（Ｓ１９０５）は、撮影装置１５６０がレンズアレイ１３２０を通して映像表示面１３１０を撮影したデータと、第Ｎ番目の調整ポイントに対応する現在の調整済み画素値変換パラメタとに基づき、第Ｎ番目の調整ポイントに対応する調整済み画素値変換パラメタを更新する処理である。この処理は、まず、第Ｎ番目の調整ポイントに対応する制御点の集合に対して、明るく撮影されている制御点を暗く撮影されている制御点に合わせるように各々の制御点に対するパラメタを修正し、次に、各々の画素に対応するパラメタの値を、前記制御点の各々に対する修正後のパラメタの値から双線形補間など既存の内挿法や外挿法によって決定することで実施する。調整が不十分である場合には、Ｓ１９０２乃至Ｓ１９０５の処理が繰り返して実施されるため、パラメタ更新処理（Ｓ１９０５）における制御点に対するパラメタの修正は、厳密に実施する必要はない。

調整要否の判定処理（Ｓ１９０４）において調整が不要であると判定された場合には、調整が必要なすべての調整ポイントについて調整が完了したか否かを判定する（Ｓ１９０６）。まだ調整が完了していない調整ポイントがある場合には、Ｓ１９０７で調整ポイントのシリアル番号であるＮを「１」だけ増やし、Ｓ１９０２に戻って処理を続ける。すべての調整ポイントについて調整が完了している場合には、パラメタ調整処理を終了する。

以上、本実施形態によれば、光線再生方式の映像表示システムの調整時に、撮影装置との位置関係が設計データと略一致するように映像表示装置の姿勢を制御した上で映像調整を行うようにしたことにより、複数の位置における撮影処理を含む調整処理全体における機器の総移動量を抑えながら光線再生方式の映像表示システムを調整することのできる調整システムを提供することができる。

次に、第７の実施形態について説明する。本実施形態は、携帯電話用のディスプレイとして光線再生方式の映像表示システムを適用する場合など、ユーザが目視で簡単に映像品質を調整できることが望ましい場合に好適な例である。

図２０は、本実施形態の映像表示システムおよびこの調整システムを説明する図である。なお、図において図１８に示される部分と同一部分については同一符号を付してこの説明を省略する。

本実施形態においては、パラメタ生成装置１８５０（図１８）から撮影制御部１５５２と姿勢制御部１８５３を取り除き、新たにコマンド入力部２０５２を備えたパラメタ生成装置２０５０を使用して画素値変換パラメタを生成する。

また、第６の実施形態（図１８）で使用していた撮影装置１５６０および姿勢制御装置１８７０は本実施形態では不要であり、このため、外部記憶装置２１４に格納していた姿勢制御プログラム１８４４も不要である。また、本実施形態では、パラメタ生成プログラム１８４１の代わりにパラメタ生成プログラム２０４１を、パラメタ調整プログラム１８４２の代わりにパラメタ調整プログラム２０４２を、設計データ１８４５の代わりに設計データ２０４５を、それぞれ外部記憶装置２１４に格納し、使用する。

コマンド入力部２０５２は、「パラメタ調整開始」コマンドと、画面の四隅のそれぞれに対する「明るくする」および「暗くする」というコマンドと、「現在の視点位置での調整を完了する」というコマンドを入力する機能を備えるものである。具体的には、キー入力インタフェースで構成すればよい。本実施形態では、パラメタ生成プログラム２０４１は、コマンド入力部２０５２からの「パラメタ調整開始」コマンドを契機にして演算処理装置２１１によって実行される。

パラメタ生成プログラム２０４１が実行されると、まず、パラメタ調整プログラム２０４２を用いてパラメタ調整処理が実施され、その後、第６の実施形態と同様にパラメタ合成処理が行われる。なお、パラメタ調整プログラム２０４２の処理の詳細は後述（図２１）する。

設計データ２０４５には、あらかじめ設計値として決めたデータが格納される。本実施形態では、各調整コマンドが各制御点に対してどのような修正を施すものかを定義したデータ、調整が必要な調整ポイント（＝調整に用いる複数の視点位置）の数、各調整ポイントにおける位置ずれの許容度、および各調整ポイントに対応する制御点の位置を含むように構成する。

図２１は、本実施形態のパラメタ調整プログラム２０４２の処理を説明する図である。

パラメタ調整処理が開始されると、まず、調整ポイントのシリアル番号であるＮを０に初期化し（Ｓ２１０１）、続いて、図１９のＳ１９０２と同様の方法によって第Ｎ番目の調整用パターン表示処理を行う（Ｓ２１０２）。

次に、ユーザコマンド入力処理を行う（Ｓ２１０３）。ユーザコマンド入力処理（Ｓ２１０３）処理では、演算処理装置２１１は、ユーザから何らかのコマンド入力が為されるまで、次の処理へ移らずにコマンド入力を待ち続ける。ユーザから何らかのコマンドが入力された場合、まずＳ２１０４において、入力されたコマンドが調整コマンドか否かを判定する。判定の結果が調整コマンドであった場合にはパラメタ更新処理（Ｓ２１０５）に移り、入力された調整コマンドの定義と第Ｎ番目の調整ポイントに対応する現在の調整済み画素値変換パラメタとに基づいて、第Ｎ番目の調整ポイントに対応する調整済み画素値変換パラメタの更新を行った上で、調整用パターン表示処理（Ｓ２１０２）に戻って処理を繰り返す。ここで、パラメタ更新処理（Ｓ２１０５）の処理は、実際に映像表示面１３１０上のどの位置が見えているかに依存せず、第Ｎ番目の調整ポイントに対応する制御点の集合に対して、調整コマンドに基づく修正を行った上で、各々の画素に対応するパラメタの値について該制御点の各々に対する修正後のパラメタの値から双線形補間など既存の内挿法や外挿法によって決定することによって実施する。

判定の結果が調整コマンドでない場合には、Ｓ２１０６において、入力されたコマンドが調整完了コマンドか否かを判定し、判定の結果が調整完了コマンドでない場合には、ユーザコマンド入力処理（Ｓ２１０３）に戻って処理を繰り返す。

判定の結果が調整完了コマンドである場合には、調整が必要なすべての調整ポイントについて調整が完了したか否かを判定し（Ｓ２１０７）、まだ調整が完了していない調整ポイントがある場合には調整ポイントのシリアル番号であるＮを「１」だけ増やして（Ｓ２１０８）、調整用パターン表示処理（Ｓ２１０２）に戻って処理を繰り返す。また、すべての調整ポイントについて調整が完了している場合には、パラメタ調整処理を終了する。

以上説明したように、本実施形態によれば、光線再生方式の映像表示システムの調整時に、ユーザが調整ポイントを視認できる画像を表示するようにしたことにより、ユーザが目視で簡単に映像品質を調整できる調整システムを提供することができる。

なお、本稿における本質は、実際に使用する画素値変換パラメタを、複数の調整位置の各々において映像が良好に鑑賞されるような画素値変換パラメタの集合から合成して生成する点にあり、前記各々の実施形態に記載の特徴を、用途に合わせて適宜組み合わせて使用してもよいことは言うまでもない。

以上説明したように、本実施形態によれば、入力画像の画素値を所与の変換パラメタに基づいて変換して表示する映像表示システムにおいて、システムの調整時に、複数の代表視点位置のそれぞれで良好な映像を鑑賞するための変換パラメタをそれぞれ独立に生成しておき、システムの運用時には観客の分布や表示位置などに応じて、それら複数の変換パラメタの混合比率を変えながら合成した変換パラメタを使用して、入力画像の画素値を変換し表示する。即ち、従来のように、指向性に関する特性を独立して扱うことで特定の視点位置における理論的に正しい変換パラメタを求めようとするのではなく、各々の代表視点位置に対応する変換パラメタには指向性に関する特性が既に織り込まれているとして、映像を鑑賞する視点位置の分布に合わせ、より簡易な方法で、尤もらしい変換パラメタを生成して使用する。

このため、複数の視点位置において映像を鑑賞することのできる映像表示システムにおいて、映像を鑑賞する位置によって映像の見え方が大きく異なる場合に、より低いコストで鑑賞者が感じる映像の品質を改善することができる。

第１の実施形態における映像表示システムを説明する図。 第１の実施形態における映像表示システムの詳細を説明する図。 第１の実施形態における画像補正装置３００の詳細を説明する図。 第１の実施形態における画素値変換パラメタ３２３の表現方法を説明する図。 第１の実施形態におけるパラメタ更新プログラム２４２の処理を説明する図。 第２の実施形態における映像表示システムを説明する図。 第２の実施形態における映像表示システムの詳細を説明する図。 第２の実施形態における入場者データ７３２のデータ構造を説明する図。 第２の実施形態におけるパラメタ更新プログラム７４２の処理を説明する図。 第３の実施形態における画像補正装置を説明する図。 第４の実施形態における映像表示システムを説明する図。 第４の実施形態における映像表示システムの詳細を説明する図。 第５の実施形態における映像表示装置の映像表示方法を説明するための側面図。 第５の実施形態における映像表示装置の映像表示方法を説明するための平面図。 第５の実施形態における映像表示システムおよびその調整システムを説明する図。 第５の実施形態におけるパラメタ生成プログラム１５４１の処理を説明する図。 第５の実施形態におけるパラメタ調整プログラム１５４２の処理を説明する図。 第６の実施形態における映像表示システムおよびその調整システムを説明する図。 第６の実施形態におけるパラメタ調整プログラム１８４２の処理を説明する図。 第７の実施形態における映像表示システムおよびその調整システムを説明する図。 第７の実施形態におけるパラメタ調整プログラム２０４２の処理を説明する図。

符号の説明

１００ 調整位置
１１０ スクリーン
１２０ 観客分布検出部
１３０ １台のプロジェクタの水平投映範囲
１４０ 観客
１３１０ 映像表示面
１３２０ レンズアレイ
１４１１ 矩形領域
１４１２ 画素
１４２１ レンズ

Claims (15)

1. 観客に提示するための映像を生成し出力する映像生成部と、
   前記映像生成部の出力した映像をパラメタ記憶部に格納した画素値変換パラメタに基づいて補正して出力する補正部と、
   前記補正部の出力した映像を観客に提示する映像表示部と、
   第一の調整位置において良好な補正結果が得られる第一の画素値変換パラメタを記憶する第一の記憶部と、
   第二の調整位置において良好な補正結果が得られる第二の画素値変換パラメタを記憶する第二の記憶部と、
   前記第一及び第二の画素値変換パラメタを用いて第三の画素値変換パラメタを算出し前記パラメタ記憶部に格納するパラメタ合成部と、
   を備える、映像表示システム。
2. 前記パラメタ合成部は、観客の空間的な分布を表す所与の観客分布データに基づいて、前記所与の観客分布に対して最適となるように前記第三の画素値変換パラメタを算出する、請求項１記載の映像表示システム。
3. 更に、観客の空間的な分布を検出する観客分布検出部を備え、
   前記パラメタ合成部は、前記観客分布検出部の検出した観客分布データに基づいて、検出された観客分布に対して最適となるように前記第三の画素値変換パラメタを算出する、請求項１記載の映像表示システム。
4. 前記観客分布検出部は、
   定点において観客の移動状況を計測する人流計測部と、
   前記人流計測部が計測した観客の移動状況に基づいて観客の空間的な分布を推定する観客分布推定部とで構成される、請求項３記載の映像表示システム。
5. 更に、
   個々の観客の重要度を判定する判定部を備え、
   前記パラメタ合成部は、前記観客分布データと前記判定部の判定した重要度とに基づいて、前記第三の画素値変換パラメタを算出する、請求項３記載の映像表示システム。
6. 各々に固有の重要度が予め付与された複数の座席と、
   前記複数の座席に対応する指定席券の発券状況を取得するための通信部を備え、
   前記パラメタ合成部は、前記通信部で取得した前記発券状況により特定される、観客分布と重要度とに基づいて、前記第三の画素値変換パラメタを算出する、請求項１記載の映像表示システム。
7. 前記パラメタ合成部は、前記第一及び第二の画素値変換パラメタを画素毎に独立な比率で混合することにより前記第三の画素値変換パラメタを算出する、請求項１記載の映像表示システム。
8. 前記映像表示部は、入力された映像を表示する映像表示面と該映像表示面上に設置された光線制御子とで構成されており、
   更に、
   観客の視点位置が前記第一の調整位置にあることを観客が視認するために前記映像生成部から出力する第一の画像、及び、観客の視点位置が前記第二の調整位置にあることを観客が視認するために前記映像生成部から出力する第二の画像、を格納する画像記憶部と、
   調整位置を選択する選択コマンド、及び、前記第一または第二の画素値変換パラメタを修正する修正コマンド、を入力するためのコマンド入力部と、
   コマンド入力部から入力されたコマンドに従って映像表示システムを制御するコマンド制御部を備え、
   前記コマンド制御部は、
   前記選択コマンドによって前記第一の調整位置が選択された場合には、前記映像生成部から前記第一の画像を出力し、
   前記選択コマンドによって前記第二の調整位置が選択された場合には、前記映像生成部から前記第二の画像を出力し、
   前記修正コマンドが入力された場合には、前記選択コマンドによって選択されている調整位置に対応する画素値変換パラメタに対して前記コマンド入力部から入力された修正を施した上で、修正後の前記第一及び第二の画素値変換パラメタを用いて前記パラメタ合成部で前記第三の画素値変換パラメタを算出し前記パラメタ記憶部に格納する、請求項１記載の映像表示システム。
9. 前記第一の画像は、前記第一の調整位置で観察された場合に明るく見え、かつ、その他の位置で観察された場合に暗く見えるものであり、
   前記第二の画像は、前記第二の調整位置で観察された場合に明るく見え、かつ、その他の位置で撮影された場合に暗く見えるものである、請求項８記載の映像表示システム。
10. 入力画像の明るさと色合いを補正して出力する画像補正装置において、
    調整位置の数に対応する個数の画素値変換パラメタを格納する第一の記憶部と、
    想定視点位置の数に対応する個数の混合比率パラメタを格納する第二の記憶部と、
    想定視点位置の数に対応する個数の混合重みパラメタを格納する第三の記憶部と、
    変換部と合成部を備え、
    前記変換部は、前記入力画像の各画素の画素値を前記画素値変換パラメタに基づいて変換した調整位置の数に等しい個数の画像を、前記混合比率パラメタに基づいて画素毎に混合することで、想定視点位置の数に等しい個数の暫定画像を生成し、
    前記合成部は、前記暫定画像を前記混合重みパラメタに基づいて画素毎に混合することで、出力画像を生成する、画像補正装置。
11. 観客に提示するための映像を生成し出力する映像生成部と、
    前記映像生成部の出力した映像をパラメタ記憶部に格納した画素値変換パラメタに基づいて補正して出力する補正部と、
    前記補正部の出力した映像を表示する映像表示部と、
    を備える映像表示システムの明るさと色合いを調整する調整方法において、
    第一の調整位置において良好な補正結果が得られる第一の画素値変換パラメタを生成するステップと、
    第二の調整位置において良好な補正結果が得られる第二の画素値変換パラメタを生成するステップと、
    調整結果として前記パラメタ記憶部に格納される第三の画素値変換パラメタを、前記第一及び第二の画素値変換パラメタを用いて算出するステップと、
    を備える、調整方法。
12. 観客に提示するための映像を生成し出力する映像生成部と、
    前記映像生成部の出力した映像をパラメタ記憶部に格納した画素値変換パラメタに基づいて補正して出力する補正部と、
    前記補正部の出力した映像を表示する映像表示部と、
    を備える映像表示システムの明るさと色合いを調整する調整システムにおいて、
    第一の調整位置において良好な補正結果が得られる第一の画素値変換パラメタ及び第二の調整位置において良好な補正結果が得られる第二の画素値変換パラメタを生成するパラメタ生成部と、
    前記第一及び第二の画素値変換パラメタを用いて第三の画素値変換パラメタを算出し前記パラメタ記憶部に格納するパラメタ合成部と、
    を備える、調整システム。
13. 前記パラメタ生成部は、第一の調整位置に設置された第一の撮影部と、第二の調整位置に設置された第二の撮影部と、を備えるように構成され、前記第一の画素値変換パラメタを前記第一の撮影部が前記映像表示部を撮影した撮影画像に基づいて生成し、前記第二の画素値変換パラメタを前記第二の撮影部が前記映像表示部を撮影した撮影画像に基づいて生成するように為されている、請求項１２記載の調整システム。
14. 前記映像表示部は、入力された映像を表示する映像表示面と該映像表示面上に設置された光線制御子とで構成されており、
    また、前記パラメタ生成部は、位置及び姿勢が固定された撮影部と、前記撮影部に対する前記映像表示部の位置及び姿勢を制御する姿勢制御部と、前記第一及び第二の調整位置を特定するために前記映像生成部から出力する第一及び第二の画像を記憶する画像記憶部を備えるように為されており、
    前記姿勢制御部は、各々の前記調整位置に対応する前記画像を前記映像生成部から出力し、前記撮影部で所望の画像が撮影されるように、前記撮影部に対する前記映像表示部の位置及び姿勢を制御する、請求項１２記載の調整システム。
15. 前記映像表示部は、入力された映像を表示する映像表示面と該映像表示面上に設置された光線制御子とで構成されており、
    前記パラメタ生成部は、撮影部と、前記映像表示部に対する前記撮影部の位置及び姿勢を制御する姿勢制御部と、前記第一及び第二の調整位置を特定するために前記映像生成部から出力する第一及び第二の画像を記憶する画像記憶部を備えるように為されており、
    前記姿勢制御部は、各々の前記調整位置に対応する前記画像を前記映像生成部から出力し、前記撮影部で所望の画像が撮影されるように、前記映像表示部に対する前記撮影部の位置及び姿勢を制御する、請求項１２記載の調整システム。

Images