JP2016224172A - 投影システム、画像処理装置、校正方法およびプログラム - Google Patents

Abstract

【課題】 投影システム、画像処理装置、校正方法およびプログラムを提供すること。【解決手段】 本投影システム１００は、複数の投影手段１５０により全体としての画像を投影するためのシステムであり、初期校正処理に際して、複数の投影手段１５０ａ〜１５０ｃが全体としての画像を投影する投影目標領域を画定する基準点の移動指示を受け付ける受領手段１７０と、初期校正処理で用いられた投影目標領域の基準点を記憶する記憶手段１３６と、イベントに応答して、再校正処理を開始させる制御手段１３４と、再校正処理に際して、記憶手段１３６に記憶された基準点に基づいて、投影目標領域を再設定する設定手段１３０と、設定手段１３０により再設定された投影目標領域に基づいて、複数の投影手段１５０に対する補正係数を計算する補正係数計算手段１２６と含む。【選択図】 図３

Description

本発明は、投影システム、画像処理装置、校正方法およびプログラムに関する。

近年、複数のプロジェクタからの投影像を互いに重複領域を持たせながら並べて、単一の高解像度な画像をスクリーン上に投影するマルチ・プロジェクション技術が注目を集めている。

上述したマルチ・プロジェクション技術に関しては、例えば、特許第３９０８２５５号（特許文献１）が知られている。特許文献１の画像投影システムでは、校正の際に、予め座標位置が既知である４つ以上の特徴点を有する基準画像を各プロジェクタからスクリーンに投影する。ここで、基準画像は、例えば一定間隔に輝点や十字を並べた格子模様等既知の画像である。そして、デジタルカメラにより撮像した基準画像中の上記特徴点の位置を検出し、その検出された各プロジェクタの４つ以上の特徴点の位置に基づき、各プロジェクタ毎の投影画像を変形し、かつ重複領域を検出してブレンディング処理を施す。この変形およびブレンディング処理された画像を複数のプロジェクタから互いに重複領域を持たせつつスクリーン上に並べて投影することによって、１つの高解像度な画像を投影することができる。

常設サイネージとして使われる場合には、一旦設置調整した後でも、振動などによる経時のプロジェクタの位置ずれは不可避であり、わずかなずれが大きな画質の劣化を引き起こす。このため、従来技術の投影システムでは、担当者が頻繁に常設している現場へ出向き、ズレが有るかを検査し、ズレが認められた場合は、メンテナンスのスキルを有する技術者が呼び出され、再度、カメラや三脚を用意して校正処理をし直さなければならず、煩雑であった。

上記背景から、初期校正後の再校正の際に、経時での位置ずれに起因した投影像の結合部における微小なずれを、カメラを三脚にセットしたり、手動での再微調整をする手間なく、簡便に再校正を行うことができる技術の開発が求められていた。

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、複数の投影手段により全体として画像を投影する投影システムであって、複数の投影手段間の位置ずれに起因した全体としての投影像の結合部におけるずれを、簡便に再校正することができる、投影システムを提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有する、複数の投影手段により全体としての画像を投影するための投影システムを提供する。本投影システムは、初期校正処理に際して、上記複数の投影手段が全体としての画像を投影する投影目標領域を画定する基準点の移動指示を受け付ける受領手段と、上記初期校正処理で用いられた投影目標領域の基準点を記憶する記憶手段と、イベントに応答して、再校正処理を開始させる制御手段と、上記再校正処理に際して、上記記憶手段に記憶された基準点に基づいて、投影目標領域を再設定する設定手段と、上記設定手段により再設定された投影目標領域に基づいて、上記複数の投影手段に対する補正係数を計算する補正係数計算手段と含む。

上記構成により、複数の投影手段により全体として画像を投影する投影システムであって、複数の投影手段間の位置ずれに起因した全体としての投影像の結合部におけるずれを、簡便に再校正することができる。

本実施形態による投影システムの全体構成を示す概略図。 本実施形態による投影システムにおける壁面、画像処理装置、プロジェクタおよびカメラの設置例を示す図。 本実施形態による投影システムの機能ブロック図。 本実施形態において、投影像を横一列に並べた３台のプロジェクタに対して生成される３つの校正用画像を例示する図。 本実施形態による初期校正時の全体的な処理の流れを示すフローチャート。 本実施形態において、投影目標領域の四隅の位置を微調整するためのユーザ・インタフェース画面を例示する図。 本実施形態による初期校正後の再校正時の全体的な処理の流れを示すフローチャート。 本実施形態による画像処理装置が複数のプロジェクタから投影させる校正用投影シーンを例示する図。 本実施形態において撮像画像の座標系上で抽出される各プロジェクタの校正点の組および四隅マーカの検出点を示す図。 本実施形態による再校正処理において校正エラーが発生する具体例を示す図。 本実施形態による補正係数算出部が実行する幾何補正係数の計算処理を示すフローチャート。 校正点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図。 撮像画像の座標系上における３つのプロジェクタの投影可能領域、投影目標領域およびコンテンツ画像のマッピングを説明する図。 プロジェクタ・メモリ上の各座標と、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置との対応付けを説明する図。 プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図。 （Ａ）幾何補正係数および（Ｂ）ブレンディング係数のデータ構造を例示する図。 本実施形態による補正処理部が実行する、補正係数に基づく補正処理を説明する図。 本実施形態による汎用コンピュータ装置のハードウェア構成を示す図。

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、投影システムの一例として、投影手段である複数のプロジェクタ１５０と、撮像手段である１つのカメラ１６０と、全体制御を行う画像処理装置１１０とを含む投影システム１００を用いて説明する。

（全体構成）
図１は、本実施形態による投影システム１００の全体構成を示す概略図である。図１に示す投影システム１００は、システムの全体制御を行う画像処理装置１１０と、複数のプロジェクタ１５０と、カメラ１６０と、入力装置１７０とを含み構成される。なお、投影システム１００は、特に限定されるものではないが、説明する実施形態では、３台のプロジェクタ１５０ａ〜１５０ｃの投影像を投影面上で合成し、単一のプロジェクタよりも大きな領域に画像を投影する、いわゆるマルチ・プロジェクションに対応した構成とされている。

画像処理装置１１０は、典型的には、パーソナル・コンピュータ、ワークステーションなどの汎用コンピュータとして構成される。なお、画像処理装置１１０は、汎用コンピュータに限定されるものではなく、専用コントローラとして実装されてもよいし、いずれかのプロジェクタ１５０に組み込まれてもよいし、タブレット・コンピュータのようなデバイスに組み込まれてもよい。

プロジェクタ１５０は、それぞれ、液晶方式、ＤＬＰ（Digital Light Processing）方式、ＬＣＯＳ（Liquid Crystal On Silicon）方式などを採用する投影装置である。カメラ１６０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などのイメージセンサと、イメージセンサの受光領域上に結像するためレンズなどの結像光学系とを含む撮像装置である。カメラ１６０は、ＷＥＢ（World Wide Web）カメラ、デジタル・スチル・カメラ、デジタル・ビデオ・カメラなどの専用デバイスとして構成されてよく、好ましい実施形態では、天吊りなどの形で常設される。

入力装置１７０は、マウス、キーボード、タッチパネル、操作パネルなどの入力装置であり、ユーザからの指示を受け付けることができる。入力装置１７０は、校正の結果や途中結果における微調整の際などに利用することができる。なお、入力装置１７０は、画像処理装置１１０、プロジェクタ１５０またはカメラ１６０に接続されたデバイスとして構成されてもよく、あるいは、これらの装置に組み込まれたデバイスとして構成されてもよい。

本投影システム１００においては、被投影領域を提供する投影体は、壁面１０２などである。壁面１０２は、説明する実施形態では、スクリーンなどのように投影対象と背景との境界を明示しない形で被投影領域を提供する。プロジェクタ１５０は、それぞれ、投影中心の位置をずらしながら壁面１０２上に投影するように設置されている。画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｃに投影させる複数の投影画像を生成し、対応するプロジェクタ１５０各々に投影画像各々を出力する。プロジェクタ１５０は、それぞれ、画像処理装置１１０から入力される投影画像を壁面１０２上に投影する。壁面１０２上には、図１に示すように、複数のプロジェクタ１５０ａ〜１５０ｃ各々からの複数の投影像１０４ａ〜１０４ｃが投影されている。この複数の投影像１０４ａ〜１０４ｃは、投影面上で重なり合わせられて、壁面１０２上の単一の投影像１０６に合成される。

投影システム１００では、投影モード前に、通常、校正処理が行われる。図１に示すカメラ１６０は、この校正処理の際に用いられる。画像処理装置１１０は、校正モード中、複数のプロジェクタ１５０それぞれに校正用の画像（以下、校正用画像と参照する。）を出力し、壁面１０２上に投影像（以下、校正用画像を投影したものを校正用投影像と参照する。）を投影させる。そして、プロジェクタ１５０により投影された壁面１０２上の校正用投影像が画角内に収まるように、カメラ１６０の視点および視野が設定され、校正用の撮像が行われることになる。画像処理装置１１０は、撮像された１以上の撮像画像（以下、校正用投影像が写り込んだ撮像画像を校正用撮像画像と参照する。）を用いて、校正処理を行い、校正完了後、校正結果に基づいてコンテンツ画像を補正しながら投影を行う。

図２は、本実施形態による投影システム１００における壁面１０２、画像処理装置１１０、プロジェクタ１５０およびカメラ１６０の設置例を示す。図２は、カメラ１６０を天吊りで常設した場合の設置例を示す。

上述した校正モード中、通常、壁面１０２上の投影の目標となる仮想的な投影目標領域（壁面の場合は、必ずしも境界が明示されない。）中に、連結された投影像が収まるようにユーザが目視で手動調整を行う。常設サイネージとして使われる場合には、一旦設置調整した後でも、振動などによる経時のプロジェクタの位置ずれは不可避である。図２に示すように、壁面１０２の投影目標領域中に連結された投影像が収まるように大凡の位置合わせを行っている場合は、投影像が全体としてずれる分には問題が少ない。しかしながら、経時の位置ずれは、通常、各プロジェクタ１５０毎に個別に生じるものであり、投影像の結合部のずれが数画素程度の微小なずれであっても、重複部分で文字が２重になるなど画質を著しく劣化させてしまう可能性がある。特に短焦点プロジェクタを用いる場合には顕著となる。上述した背景から、初期の校正作業をして投影目標領域に連結投影した後の再校正において、微小なずれを、カメラを三脚にセットしたり、手動での再微調整をする手間なく、簡便に再校正を行うことができることが求められる。

そこで、説明する実施形態では、投影システム１００は、初期校正処理に際して、複数のプロジェクタ（図１および図２の例では１５０ａ〜１５０ｃ）が全体としての画像を投影する投影目標領域（図１および図２の例では、仮想的な投影目標領域であり必ずしも境界が明示されない。）を画定する基準点の移動指示を受け付け、初期校正処理で用いられた投影目標領域の基準点を記憶する。そして、イベントに応答して、再校正処理を開始させて、再校正処理に際しては、記憶された基準点に基づいて、投影目標領域を再設定し、複数のプロジェクタ１５０に対する補正係数を計算する。

上記構成により、複数のプロジェクタ１５０により全体として画像を投影する投影システムにおいて、初期校正後の再校正の際に、経時での位置ずれに起因した投影像の結合部における微小なずれを、カメラを三脚にセットしたり、手動での再微調整をする手間なく、簡便に再校正を行うことができる。以下、図３を参照しながら、初期校正処理および初期校正後の再校正処理に関連する機能構成について説明する。

（機能構成）
図３は、本実施形態による投影システム１００の機能ブロック図である。画像処理装置１１０は、コンテンツ格納部１１２を含み、さらに、プロジェクタ毎に、補正処理部１１４ａ〜１１４ｃと、投影画像出力部１１６ａ〜１１６ｃと、切替部１２４ａ〜１２４ｃとを含む。画像処理装置１１０は、さらに、校正用シーン生成部１２０と、校正用画像格納部１２２と、校正用撮像画像入力部１２６と、特徴点抽出処理部１２８と、目標領域設定部１３０と、補正係数算出部１３２とを含み構成される。

コンテンツ格納部１１２は、単一の投影像１０６として投影する信号源のコンテンツ画像を格納する。コンテンツ格納部１１２は、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、着脱可能なリムーバブル・メディアなどの記憶領域として構成される。

なお、投影対象となるコンテンツ画像は、特に限定されるものではなく、静止画像ファイルとして与えられてもよいし、プレゼンテーションなどのアプリケーションやオペレーティング・システムの実行により生成される表示画面として与えられてもよいし、動画ファイル中の任意のタイミングのフレームとして与えられてもよい。以下、説明の便宜上、静止画像としてコンテンツ画像が与えられた場合を一例に説明する。

補正処理部１１４ａ〜１１４ｃは、システム１００に含まれるプロジェクタ１５０ａ〜１５０ｃに対応して設けられている。補正処理部１１４は、それぞれ、コンテンツ格納部１１２からコンテンツ画像を読み出し、補正処理を施し、対応するプロジェクタ用の投影画像を生成する。

投影画像出力部１１６ａ〜１１６ｃは、システム１００に含まれるプロジェクタ１５０ａ〜１５０ｃに対応して設けられている。投影画像出力部１１６は、それぞれ、対応するプロジェクタ１５０に接続されるディスプレイ出力インタフェースを含み構成され、接続されるプロジェクタ１５０に対し、切替部１２４で選択された入力画像を映像出力する。

切替部１２４ａ〜１２４ｃは、当該システム１００の動作モードに応じて、画像信号のフローを切り替える。切替部１２４は、コンテンツ画像を投影する投影モード中は、補正処理部１１４の出力に入力側を切り替え、校正モード中は、校正用画像格納部１２２の出力に入力側を切り替える。

校正用画像格納部１２２は、校正モード中に各プロジェクタ１５０から投影させるための校正用画像を格納する。校正用画像格納部１２２は、ＲＡＭ、ＨＤＤ、ＳＳＤ、着脱可能なリムーバブル・メディアなどの記憶領域として構成される。

本実施形態による校正処理では、複数回に分けて、校正のための撮像が行われる。画像処理装置１１０は、校正用画像格納部１２２から各校正用画像を読み出して、複数のプロジェクタ１５０ａ〜１５０ｃ各々から適時に出力させる。このとき、画像処理装置１１０は、複数のプロジェクタ１５０の投影像の位置関係を把握しており、全体として過不足なくすべてのプロジェクタ１５０の校正結果が得られるように、校正用画像を校正処理の各段階に応じて選択して投影する。各校正処理の段階における各プロジェクタが画像を投影して構成されるシーンを、以下、校正用投影シーンと参照する。

上述した各校正用投影シーンを構成する校正用画像は、校正用シーン生成部１２０により、典型的には静止画像として生成される。校正用シーン生成部１２０は、ユーザからプロジェクタ１５０の設置条件や投影の条件の入力に基づいて、各プロジェクタ１５０の最適化された校正用画像を生成する。設置条件は、例えば、３台のプロジェクタ１５０が設置されているといった条件を含むことができる。投影の条件としては、例えば、境界があいまいなスクリーンや境界が無い壁面などに投影するのか、境界が明示されるスクリーン内に投影されるのかといった条件を含むことができる。

図４（Ａ）〜（Ｃ）は、本実施形態において、投影像を横一列に並べた３台のプロジェクタ１５０ａ〜１５０ｃに対して生成される３つの校正用画像を例示する図である。図４に示すように、校正用画像２００は、投影像の歪みを検出するための校正点を規定する校正パターンの配列を含み構成される。校正パターンの配列は、プロジェクタ・メモリ上の座標を規定するものであり、任意の図形要素が所定の規則で配置されてなす模様として構成される。投影された校正パターンの配列がカメラ１６０により撮像され、その校正点の組が抽出され、座標が検出されることにより、各プロジェクタにおける投影像の台形歪みや局所的な歪みが検出される。

少なくとも隅の領域を担当する左右端のプロジェクタ１５０ａ，１５０ｃに対し生成される校正用画像には、さらに、校正パターンの配列の外側の領域に四隅マーカが設けられる。四隅マーカは、上記投影目標領域（壁面などの場合、設置者が想定する領域）の四隅を位置合わせする目安となるものであり、ユーザは、投影される四隅マーカが所定の領域内に収まるように、複数のプロジェクタ１５０の投影角度、ズームを調整すればよい。

四隅マーカは、本実施形態における位置合わせの目安となる位置合わせマーカを構成する。なお、説明する実施形態では、隅の領域を担当するプロジェクタ１５０ａ，１５０ｃに対する校正用画像に四隅マーカが含められるが、それぞれのプロジェクタ１５０ａ，１５０ｂ，１５０ｃに対する校正用画像の四隅に四隅マーカが設けられることを妨げるものではない。校正モード中、好適には少なくとも隅の領域を担当するプロジェクタ１５０ａ，１５０ｃに対し、生成された四隅マーカを含む校正用画像を出力する投影画像出力部１１６ａ，１１６ｃが、本実施形態における出力手段を構成する。

再び図３を参照すると、カメラ１６０は、投影された校正用投影像が画角に収まるように固定されており、校正用投影シーン毎に、投影された校正用投影像の撮像を行う。カメラ１６０で撮像された校正用撮像画像は、それぞれ、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢ（Universal Serial Bus）などの無線接続、または有線ＵＳＢや有線ＬＡＮなどの有線接続を介して、画像処理装置１１０へ送信される。あるいは、撮像された画像は、ＳＤカード（登録商標）やコンパクトフラッシュ（登録商標）などのリムーバブル・メディアを介して、画像処理装置１１０で読み取られる。校正用撮像画像入力部１２６は、カメラ１６０からの各撮像画像の入力を受ける。校正用撮像画像入力部１２６に入力された校正用撮像画像は、特徴点抽出処理部１２８に渡される。

特徴点抽出処理部１２８は、上述した１以上の校正用撮像画像各々から校正パターンの配列の校正点および四隅マーカの検出点を抽出する。特徴点抽出処理部１２８により抽出された校正点の座標情報は、補正係数算出部１３２に渡される。特徴点抽出処理部１２８により抽出された四隅マーカの検出点の座標情報は、目標領域設定部１３０に渡される。

目標領域設定部１３０は、初期校正において、渡された四隅マーカの検出点に基づき、投影目標領域を特徴付ける基準点の初期位置座標を設定する。初期校正において、投影目標領域を特徴付ける基準点の最終的な位置座標は、四隅マーカの検出点の位置座標を起点として、例えば、ユーザによる手動操作により設定される。

ユーザによる手動操作に関連して、入力装置１７０は、初期校正において、投影目標領域を画定する基準点の位置座標を移動させる移動指示を受け付ける受領手段を提供する。例えば、画像処理装置１１０のディスプレイ上に撮像中の撮像画像を表示し、その画像上で、現在の基準点の位置や現在の投影状態を表示しながら、ユーザからのマウスやカーソル移動などにより座標点を移動する操作を受けることによって、投影目標領域の基準点の座標の調整を受けることができる。

補正係数算出部１３２は、目標領域設定部１３０により設定された投影目標領域および渡された校正点に基づき、上記複数のプロジェクタ１５０ａ〜１５０ｃに対する補正係数を計算する。補正係数としては、幾何補正係数および投影像のブレンディングの補正係数が算出され、補正処理部１１４ａ〜１１４ｃに設定される。幾何補正係数は、位置合わせ、スケール合わせ、歪み補正などの幾何学的な補正を織り込んだ補正係数である。これに対して、ブレンディング係数は、重複領域の重ね合わせの際の色および輝度調整を行うための補正係数である。

補正処理部１１４は、それぞれ、計算された各種補正係数に基づき、全体として投影すべきコンテンツ画像から、プロジェクタ毎に出力すべき投影画像を生成する。コンテンツ画像を投影する投影モード中、切替部１２４は、補正処理部１１４の出力に入力側を切り替え、これに伴い、投影画像出力部１１６は、それぞれ、対応する補正処理部１１４の処理結果として与えられる投影画像を映像出力する。

また、図１に示す実施形態では、画像処理装置１１０は、さらに、再校正制御部１３４と、基準点記憶部１３６と、メンテナンス通知部１３８とを含み構成される。

再校正制御部１３４は、イベントに応答して再校正処理を開始させる制御を行う。再校正処理は、上述した校正用画像の投影と、投影された校正用画像の撮像と、各プロジェクタ１５０の校正点の抽出と、複数のプロジェクタ１５０ａ〜１５０ｃに対する補正係数の計算との再実行を含む。再校正処理を開始させる契機となるイベントとしては、例えば、画像処理装置１１０、プロジェクタ１５０またはカメラ１６０に対するユーザからの再校正を開始することを明示的に指示する操作を検出したことのイベント、予定されたスケジュールが到来したことのイベント、再校正処理を開始させるものとして事前定義された他のイベントを挙げることができる。予定されたスケジュールとしては、１日毎、１週間毎、１か月毎、毎月１日、所定のメンテナンス日といった任意の事前定義されたタイミングを挙げることができる。事前定義される他のイベントとしては、例えば、システムが起動または再起動したというイベント、加速度センサなどを搭載する場合に加速度センサが一定以上の動きを検知したというイベントを挙げることができ、これらのイベントの発生に応答して、再校正処理を開始させることができる。再校正制御部１３４は、本実施形態における制御手段を構成する。

基準点記憶部１３６は、上述した初期校正に際して補正係数を計算した際に投影目標領域を画定するために用いられた基準点の位置座標を記憶する。基準点記憶部１３６に記憶された基準点の位置座標は、再校正において、壁面１０２に投影する場合のように被投影領域と背景との境界が明示されないような場合に、暫定的な投影目標領域の四隅を画定する位置座標として利用される。

目標領域設定部１３０は、再校正において、基準点記憶部１３６に記憶された基準点を再校正の際の基準点として読み出し、投影目標領域を再設定する。補正係数算出部１３２は、再校正において、特徴点抽出処理部１２８から再度抽出された校正点を受けとり、再設定された投影目標領域に基づいて、複数のプロジェクタ１５０に対する補正係数を再計算する。基準点記憶部１３６、目標領域設定部１３０および補正係数算出部１３２は、それぞれ、本実施形態における記憶手段、設定手段および補正係数計算手段を構成する。

メンテナンス通知部１３８は、管理者やメンテナンス担当者などの事前設定された連絡先アドレスを登録しており、上述した再校正の際にエラーが発生した場合に、登録された連絡先アドレスに宛てて、メンテナンスを要請する通知を送信する。メンテナンス通知部１３８は、好ましくは、メンテナンスを要請する通知に加えて、エラーを発生させた状況を表す種々の情報や画像を送信することができる。通知は、特に限定されるものではないが、例えば電子メール送信や、ＳＭＳ（Short Message Service）メッセージやインスタント・メッセージとして送信される。メンテナンス通知部１３８は、本実施形態における登録手段および送信手段を構成する。

なお、図２に示す実施形態では、各機能部１１２〜１３８が単一の画像処理装置１１０上で実現されるものとして説明したが、投影システム１００の実施形態は、図２に示すものに限定されるものではない。他の実施形態では、台数の増加に伴う画像処理装置に集中する負荷を軽減するため、補正処理部１１４ａ〜１１４ｃ各々をプロジェクタ１５０ａ〜１５０ｃ各々上で実現してもよい。さらに他の実施形態では、各機能部１１２〜１３８を複数の画像処理装置上に分散実装してもよいし、すべての機能部１１２〜１３８をいずれかのプロジェクタ１５０上で実装してもよいし、画像処理装置１１０の機能と、複数のプロジェクタの機能とを備える単一の装置として構成してもよい。さらに、他の実施形態では、上述した特徴点抽出処理部１２８、目標領域設定部１３０および補正係数算出部１３２などの機能をサービスとしてネットワークを介して提供するサーバとして実装してもよい。

（初期校正時の全体処理フロー）
以下、本実施形態による初期校正時の校正処理について、図５に示すフローチャートおよび図６に示すグラフィカル・ユーザ・インタフェースを参照しながら、全体的な流れを説明する。図５は、本実施形態による初期校正時の校正処理の全体的な処理の流れを示すフローチャートである。なお、図５に示す処理フローは、プロジェクタ１５０の初回設置時、あるいは、配置変更した際に初回に実行されるものである。本実施形態において、初期校正とは、以降の再校正処理において基準となる校正状態を与えるものをいい、通常、初回設置時または配置変更時に実行されるが、これに限定されるものではない。図５に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ１００から開始される。

ステップＳ１０１では、画像処理装置１１０は、ユーザから入力された条件に基づいて、各校正用画像を生成し、校正用投影シーンを生成する。なお、ユーザから入力される条件は、本実施形態では被投影領域と背景との境界が明示されない態様での校正を想定しているので、境界が明示される場合に別の処理フローを行えるように、境界が明示される態様であるか否かの指定を含むことができる。ここでは、境界が明示されない態様での校正を行うものとして説明を続ける。ステップＳ１０２では、画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｃを用いて、生成された各校正用投影シーンを順番に投影し、カメラ１６０により各校正用投影シーンに対応して撮像された各校正用撮像画像を取得する。各校正用投影シーンおよび各校正用撮像画像の詳細については、設置後のメンテナンス時の再校正処理に関連して後述する。

ステップＳ１０３では、画像処理装置１１０は、取得された１以上の校正用撮像画像各々から特徴点を抽出する特徴点抽出処理を実行する。特徴点抽出処理の詳細については、再校正処理に関連して後述する。

ステップＳ１０４では、目標領域設定部１３０は、上記検出された四隅マーカの検出点の位置座標を受け取り、投影目標領域を特徴付ける四隅各々の基準点の位置座標を初期値として設定する。ステップＳ１０５では、詳細を後述するが、上記算出された校正点座標および上述した投影目標領域の基準点座標に基づいて、各プロジェクタの幾何補正係数を計算する。ステップＳ１０６では、画像処理装置１１０は、各プロジェクタのブレンディング係数を計算する。ステップＳ１０７では、画像処理装置１１０は、各補正処理部１１４に対し、ステップＳ１０５およびステップＳ１０６で計算されたプロジェクタ毎の幾何補正係数およびブレンディング係数を設定する。

ステップＳ１０８では、画像処理装置１１０は、投影すべきコンテンツ画像を読み出し、ステップＳ１０９では、コンテンツ画像に対し、プロジェクタ毎の補正処理部１１４で補正処理を実行する。ステップＳ１１０では、画像処理装置１１０は、補正されたプロジェクタ毎の投影画像をプロジェクタ毎の投影画像出力部１１６からそれぞれ出力させる。

上記ステップにより、検出された四隅マーカの検出点の位置座標を基準点の初期値として、投影目標領域が一旦画定され、これに収まるように投影像が補正される。ステップＳ１１１では、目標領域設定部１３０は、上記初期設定された四隅マーカの基準点（つまり検出点）を起点として、投影目標領域を画定する四隅各々の基準点の位置座標の手動調整を受け付けて、調整後の基準点の位置座標を設定する。その際に、ユーザは、コンテンツが投影された状態で、入力装置１７０を介して、マウスやカーソル移動などにより、コンテンツ四隅の基準点の座標を調整することができる。

図６は、本実施形態において、投影目標領域の四隅の位置を微調整するためのユーザ・インタフェース画面を例示する。図６に示す画面４００は、各四隅の座標値を調整するための設定領域４１０，４３０，４４０，４５０と、設定を反映させる指示を受け付ける「調整」ボタン４０２と、調整を終了する指示を受け付ける「終了」ボタン４０４とを含み構成される。

左上に対応する設定領域４１０を代表して説明すると、各設定領域には、四隅の位置座標（ｘ，ｙ）を表示するテキストボックス４１２，４１４と、四隅の位置座標を移動させる指示を受け付けるユーザ・インタフェース部品であるボタン４１６，４１８，４２０，４２２とが含まれる。ここでは、上下方向への移動のためのボタンを代表して説明する。

ユーザ・インタフェース画面４００では、ボタン４１８〜４２２により、上下複数段階の粒度（例えば±１０，±１の２段階）で微調整量を変位させる。あるいは、テキストボックス４１２，４１４に微調整後の座標値を直接入力してもよい。こうして投影目標領域の四隅の位置の微調整量がユーザ入力され、「調整」ボタン４０２が押下されると、投影目標領域を画定する基準点の座標が更新される。その後、引き続き、幾何補正係数が再計算され、ブレンディング係数が再計算され、コンテンツの投影が行われる。ユーザは、各調整後の全体としての投影像を目視しながら、この投影像を変形させつつ想定する領域に合わせ込むことにより、手動調整を行い、調整結果に満足したら、「終了」ボタン４０４を押下する。「終了」ボタン４０４の押下により、初期校正における手動調整が終了され、ステップＳ１１２へ処理が進められる。

ステップＳ１１２では、画像処理装置１１０は、手動調整された四隅各々の初期校正における最終的な基準点の位置座標を基準点記憶部１３６に記憶する。そして、ステップＳ１１３で、通常の投影モードに移行する。これにより、全体としてコンテンツ画像が投影目標領域内に投影されるようになる。

（初期校正後の再校正時の全体処理フロー）
図５に示した処理フローは、プロジェクタ１５０の初回設置時、または、配置変更した際に実行されるものであった。以下、図７を参照しながら、初期校正後の再校正時の処理フローについて説明する。なお、再校正とは、初期校正において与えられた校正状態を基準として、初期校正が完了された以降に再度実行されるものをいう。

図７に示す処理は、イベントに応答して、再校正制御部１３４により、ステップＳ２００から開始される。例えば、ユーザからの再校正を開始することを明示的に指示する操作を検出したことのイベント、予定されたスケジュールが到来したことのイベント、事前定義された他のイベントの発生に応答して、再校正処理が開始される。なお、再校正処理は、図２に示すようにカメラ１６０が天吊りなど常設固定の設置例を想定し、また背景との境界が明示されない態様での校正を想定している。

ステップＳ２０１では、画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｃを用いて、各校正用投影シーンの投影およびカメラ１６０による校正用撮像画像の取得を行う。

図８は、本実施形態による画像処理装置１１０が複数のプロジェクタ１５０ａ〜１５０ｃから投影させる校正用投影シーンを例示する図である。図８には、図４（Ａ）〜図４（Ｃ）に示した３つの校正用画像を各プロジェクタから順次投影する３つの校正用投影シーンが示されている。ここでは、図８を参照しながら、再校正処理における校正用投影シーンを説明するが、初期校正時の校正用投影シーンも同様のものとすることができる。

図８に示す例における撮像１回目の第１校正用投影シーンでは、画像処理装置１１０は、まず、第１プロジェクタ１５０ａから図４（Ａ）に示す第１校正用画像を投影させ、第２プロジェクタ１５０ｂおよび第３プロジェクタ１５０ｃからは何も投影しない。撮像２回目の第２シーンおよび撮像３回目の第３シーンは、同様に、プロジェクタ１５０ｂ，１５０ｃから、順次、図４（Ｂ）および（Ｃ）に示す校正用画像が投影される。あるプロジェクタが校正用画像を投影している間、他のプロジェクタからは何も投影されない。

カメラ１６０は、連結するすべてのプロジェクタ１５０ａ〜１５０ｃの投影像２１２，２１４，２１６全体が画角内に収まるようにして、上述した各段階での複数回の撮影を行う。カメラ１６０からの校正用投影シーン各々に対応した校正用撮像画像各々は、一括で、または順次に、画像処理装置１１０に取得され、ステップＳ２０２へ処理が進められる。あるいは、カメラ１６０から画像処理装置１１０へ撮像画像がストリーム配信され、画像処理装置１１０は、上述した各段階のタイミングに対応する各フレームの画像を取得する。

ステップＳ２０２では、画像処理装置１１０は、取得された１以上の校正用撮像画像各々から特徴点を抽出する特徴点抽出処理を実行する。特徴点抽出処理では、各プロジェクタ１５０の校正点の組の位置座標が、撮像画像の座標系において抽出される。ここでは、再校正処理における処理を説明しているが、初期校正時の処理についても併せて説明する。初期校正時には、さらに、四隅マーカの検出点の位置座標が、撮像画像の座標系において抽出される。

特徴点抽出処理では、画像処理装置１１０は、まず、各々の撮像画像におけるプロジェクタ１５０各々の投影像の校正パターン（円形状）を検出し、撮像画像の座標系におけるその重心座標を、校正点の座標（例えば小数点精度）として抽出する。円形状の重心座標は、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって、計算することができる。また、四隅マーカも同様であり、複数の撮像画像から、各々の撮像画像の座標系における四隅マーカの重心座標が検出され、その重心座標がマーカの検出点の座標として抽出される。

図９は、本実施形態において撮像画像の座標系上で抽出される各プロジェクタの校正点の組および四隅マーカの検出点を示す図である。図９には、撮像画像の座標系３００上において検出された３つのプロジェクタの校正点（白丸、黒丸，中抜きの丸）および四隅マーカの検出点（黒の四角）が表されている。なお、説明する実施形態では、カメラ１６０を固定して撮像しているため、得られる校正点座標および四隅マーカの検出点座標は、単一の座標系で表される。

ステップＳ２０３では、目標領域設定部１３０は、基準点記憶部１３６に記憶される、初期校正時の手動調整された投影目標領域の四隅の基準点の位置情報を読み出し、暫定的な投影目標領域の基準点として設定する。図９に示す撮像画像の座標系３００上の領域３１０は、撮像画像の座標系上での読み出された初期校正時の投影目標領域の四隅の基準点が画定する投影目標領域を示している。

ここで、初期校正時の基準点の位置座標を用いるが、カメラ１６０が同時にズレてしまっていると、その分のずれが発生する。しかしながら、特に短焦点プロジェクタの場合は、壁面１０２に近い位置から非常に広角に投影するため位置ズレに非常に敏感なのに対し、天吊りのような形でカメラ１６０を常設固定する場合、離れた位置から撮像する比較的軽量のカメラ１６０に生じるズレは、比較的に微小と考えられる。つまり、カメラ位置ズレによる撮像ズレが生じにくく、撮像画像の座標系が概ね一致するとして、初期校正時の基準点の位置座標を、再校正における撮像画像の座標系上でそのまま取り扱っても問題がないと考えられる。さらに、白い壁面に投影する場合など被投影領域と背景との境界が明示されない場合は、連結部の像のずれさえ解消されれば、多少全体がずれてもさほど気にならないと考えられる。また投影像間での数画素程度の微小なずれであれば、初回設置時の４隅位置が、投影可能領域外になる可能性は少なく、校正パターンも認識可能で再校正が可能であると考えられる。

ステップＳ２０４では、上記算出された校正点座標および上述した投影目標領域の基準点に基づいて、各プロジェクタの幾何補正係数を計算する。ステップＳ２０５では、画像処理装置１１０は、各プロジェクタのブレンディング係数を計算する。

ステップＳ２０６では、再校正制御部１３４は、再校正処理において、校正エラーが発生したか否かを判定する。ステップＳ２０６で、校正エラーが発生せず成功裏に再校正ができたと判定された場合（ＮＯ）は、ステップＳ２０７へ処理が分岐される。ステップＳ２０７では、画像処理装置１１０は、各補正処理部１１４に対し、ステップＳ２０４およびステップＳ２０５で計算されたプロジェクタ毎の幾何補正係数およびブレンディング係数を設定する。

ステップＳ２０８では、画像処理装置１１０は、投影すべきコンテンツ画像を読み出し、ステップＳ２０９では、コンテンツ画像に対し、プロジェクタ毎の補正処理部１１４で補正処理を実行する。ステップＳ２１０では、画像処理装置１１０は、補正されたプロジェクタ毎の投影画像をプロジェクタ毎の投影画像出力部１１６からそれぞれ出力させ、ステップＳ２１１で、通常の投影モードに移行する。

一方、ステップＳ２０６で、校正エラーが発生したと判定された場合（ＹＥＳ）は、ステップＳ２１２へ処理が分岐される。例えば、複数の投影像間に再校正処理の適用が不能な程度の大きなずれが発生したり、プロジェクタ１５０およびカメラ１６０になんらかの不具合や外乱が発生し、正常な投影や撮像ができなくなった場合に校正エラーが発生する。

図１０は、本実施形態による再校正処理において校正エラーが発生する具体例を示す図である。図１０に示す具体例は、プロジェクタ１５０が投影することが可能な最大の範囲である投影可能領域（検出方法は後述する。）３０４ａが、前回の投影目標領域３１０を満足できなくなった場合（Ｅ）を示している。

上述したような場合、投影目標領域に投影する補正係数算出において、投影可能領域外に投影目標領域がはみ出してしまうため、補正係数算出エラーとなる。図１０に示す例では、メンテナンス担当者が現地に行って、物理的にプロジェクタ１５０の位置を修正したり、光学的に投影像の位置を修正する必要性が高い。その他、ランプ切れや温度上昇によるエラーによる停止などプロジェクタ１５０に致命的な不具合が生じた場合や、故障や撮像系へのノイズなどの外乱などカメラ１６０に致命的な不具合が生じた場合にも、校正エラーが発生する可能性がある。いずれにしても人的なメンテナンスが必要な可能性が高い。

そこで、ステップＳ２１２では、メンテナンス通知部１３８は、事前設定された連絡先アドレスに宛てて、人的なメンテナンスを要請する通知を送信し、ステップＳ２１３で、エラーモードに移行する。

上記メンテナンス要請通知では、大きなずれが発生したことを理由とするのか、プロジェクタ１５０やカメラ１６０自体に不具合が生じたことを理由とするのかを担当者が把握できるように、以下のような情報を添付して通知することができる。

特定の実施形態においては、（１）エラーを発生させた再校正前の投影状態が撮像された撮像画像、（２）再校正の際に撮像された校正用撮像画像、（３）校正用撮像画像からのパターン認識の途中結果（校正点や四隅マーカの検出点や求められた基準点の座標など）、および（４）再実行の後の投影状態（つまり、エラー状態、不完全な校正状態、補正無しの状態）で撮像した撮像画像の少なくとも１つを送信することができる。

上述した情報をメンテナンス通知に添付することにより、通知を受けたメンテナンス担当者は、メンテナンスに向かう前に、ランプ切れや、外部からの光入射などカメラ撮像画像への外乱といった位置ズレではない理由に起因するエラーであるか、位置ズレに起因するエラーであるかといった現場の状況を把握することができるようになる。そして、状況に応じてプロジェクタ１５０の物理的な位置または光学的な手段（レンズシフト機能）などにより再校正可能な投影状態に戻しに現場に来るよう担当者を促すことができる。

一例としては、図８に示したような校正用画像を白地に黒のパターンとなるよう反転した画像を、全プロジェクタ１５０ａ〜１５０ｃから再校正前の状態で投影した場合の投影像を撮像した撮像画像を送信することができる。これにより、各プロジェクタ１５０の投影可能範囲と、校正パターンと、前回校正時の投影目標領域との相対的な位置関係や各プロジェクタ１５０の動作状態（例えば正常であるかランプ切れかなど）とを担当者が把握できるようになる。

上述した再校正処理は、ユーザが再校正を指示するのみで自動で行うことができるため、壁面への投影のように投影目標領域が明示されない場合にも、その場にいる校正作業に通じていない一般のユーザであっても、簡単に再校正して補正することが可能である。その際には、カメラ１６０を三脚にセットしたり、手持ちカメラで撮像し直したり、また投影状態を手動で微調整する手間がない。また、上述した再校正処理は、所定の期間毎など定期的に開始させることができるので、微小なずれを定期的に再補正することができる。常時ないし定期的に人間が監視しなくても、自動で微小なずれを補正することが可能となる。

また、再校正処理時に校正エラーとなった場合に、人的なメンテナンスが必要な事態が発生した可能性が高いことを管理者やメンテナンス担当者に通知することができる。またこの際、再校正できなかった原因が、プロジェクタが大きく位置ずれしたのか、その他の不具合（ランプが切れる、撮像カメラの故障、撮像時に外光などのノイズが加わったなどなど）なのかといった状況を管理者や担当者に事前に把握させることができる。

（幾何補正係数の計算）
以下、図１１〜図１４および図１６（Ａ）を参照しながら、各プロジェクタの幾何補正係数の計算処理の詳細について説明する。図１１は、本実施形態による補正係数算出部１３２が実行する幾何補正係数の計算処理を示すフローチャートである。図１１に示す処理は、図５に示したステップＳ１０５または図７に示したステップＳ２０４で呼び出されて、ステップＳ３００から開始される。

ステップＳ３０１では、補正係数算出部１３２は、プロジェクタ１５０各々について、撮像画像の座標系上の校正点座標各々を線形に外挿し、各プロジェクタ１５０の投影可能領域の外周座標を計算する。

図１２は、校正点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図である。図１２（Ａ）は、プロジェクタ・メモリ上の左上隅の４つの校正点を示し、図１２（Ｂ）は、撮像画像の座標系上の対応する４つの校正点を示す。図１２（Ａ）に示すように、プロジェクタ・メモリ上の外周座標（各プロジェクタの投影像の四隅および四辺上の校正点）は、外周部に位置する４つの校正点（例えばＰ００_Ｐ〜Ｐ１１_Ｐ）の四辺形パッチを外挿する位置（校正点間距離の例えば１．５倍の距離の位置）に定められる。

撮像画像座標系における各プロジェクタの投影可能領域に対応する外周画素の座標（四隅および四辺上の校正点）は、図１２（Ｂ）に示すように、外周部に位置する各４つの校正点座標から線形に外挿することによって計算することができる。同様に、外周座標（四隅および四辺上の校正点）以外のプロジェクタ・メモリ上の任意の座標点に対応する座標系上の点も、近傍の４点の校正点座標を線形に内挿または外挿して求めることができる。

上述した線形的な外挿をプロジェクタ毎に行うことにより、３つのプロジェクタ１５０ａ〜１５０ｃの投影可能領域（つまり全面白画像を投影して映る範囲である。）が撮像画像の座標系上で検出される。図１３には、撮像画像の座標系３００上において検出された３つのプロジェクタの投影可能領域３０４ａ〜３０４ｃが表されている。３つのプロジェクタの投影可能領域の論理和の領域は、これから投影像を投影する投影目標領域を余すところ無く充足していなければならない。再校正時において、前回の投影目標領域に関し充足されていない場合は、校正エラーが発生する。

また、図１３には、撮像画像の座標系上の四隅の基準点（Ｔ_ＬＴ，Ｔ_ＬＢ，Ｔ_ＲＴ，Ｔ_ＲＢ）が示されている。そして、初期校正時には四隅マーカの検出点として初期設定されたまたは手動調整された、再校正時には基準点記憶部１３６から読み出された位置座標で確定される四辺形の投影目標領域（撮像画像上では必ずしも矩形ではない。）３１０にコンテンツ画像を投影することが目標となる。

再び図１１を参照すると、ステップＳ３０２では、図１３の四隅の基準点座標による投影目標領域３１０へ矩形のコンテンツ画像をマップするため射影変換を求める。ここで、投影目標領域３１０からコンテンツ画像への射影変換をＨ_１とする。補正係数算出部１３２は、投影目標領域３１０を画定する基準点座標（Ｔ_ＬＴ，Ｔ_ＬＢ，Ｔ_ＲＴ，Ｔ_ＲＢ）と、コンテンツ画像の四隅の座標とに基づいて、投影目標領域３１０からコンテンツ画像への射影変換Ｈ_１の係数を計算する。射影変換Ｈ_１の計算方法は、ここでは詳細に説明しない。

ステップＳ３０３〜ステップＳ３０７のループでは、プロジェクタ毎に、ステップＳ２０４〜ステップＳ２０６で示す各処理が実行され、複数のプロジェクタ各々の幾何補正係数が求められる。

ステップＳ３０４では、補正係数算出部１３２は、上記求められた射影変換Ｈ_１により、撮像画像の座標系上の校正点座標を、コンテンツ画像の座標系に変換する。以下、投影目標領域３１０に貼り付けられた撮像画像の座標系上でのコンテンツ画像を「投影コンテンツ画像」と参照し、その元となるオリジナルのコンテンツ画像を「等倍コンテンツ画像」と参照する。

ステップＳ３０５では、補正係数算出部１３２は、プロジェクタ・メモリ上の校正点座標を、撮像画像の座標系を経由して、等倍コンテンツ画像の座標系の画素位置に対応付ける。ステップＳ３０６では、補正係数算出部１３２は、プロジェクタ・メモリ上の各整数画素座標を、撮像画像の座標系を経由して、等倍コンテンツ画像の座標系の画素位置へ線形補間により対応付ける。

ステップＳ３０４〜ステップＳ３０６で示す各処理で計算される幾何補正係数は、図１４に示すように、プロジェクタ・メモリ３３０上の各座標を、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置に対応付けるものである。

図１４に示すプロジェクタ・メモリ３３０ａの１つの校正点Ｐ４１_Ｐを代表して説明すると、プロジェクタ・メモリ３３０上の校正点Ｐ４１_Ｐに対しては、撮像画像の座標系３００上の対応点Ｐ４１_Ｃ（Ｘ_Ｐ４１Ｃ，Ｙ_Ｐ４１Ｃ）が抽出されている。そして、四辺形の投影目標領域３１０がコンテンツ画像にマップされるため、図１４に示すように、座標系３００上の位置座標Ｐ４１_Ｃに対しては、さらに、等倍コンテンツ画像上での対応する画素位置Ｐ４１_ｍ（Ｘ_Ｐ４１ｍ，Ｙ_Ｐ４１ｍ）が定まる。プロジェクタ・メモリ上の校正点Ｐ４１_Ｐ以外のすべての校正点Ｐｉｊ_Ｐについても同様に、等倍コンテンツ画像上での対応する画素位置が計算される。プロジェクタ・メモリ上の校正点以外の任意の座標については、近傍の２×２校正点のコンテンツ画像上での対応する画素位置を線形に補間（内挿または周辺部では外挿）することによって、等倍コンテンツ画像上での対応する画素位置を計算することができる。これにより、プロジェクタ・メモリ３３０ａ上の所定領域３３２ａの画素に対し、コンテンツ画像における第１プロジェクタ１５０ａが担当する領域の画素位置が対応付けられる。

図１６（Ａ）は、ステップＳ３０４〜ステップＳ３０６の処理で計算される１つのプロジェクタの幾何補正係数のデータ構造を例示する。図１６（Ａ）に示すように、こうして求めたプロジェクタ・メモリの全画素に対する等倍コンテンツ画像上での対応する画素位置が、幾何補正係数となる。

ステップＳ３０３〜ステップＳ３０７のループですべてのプロジェクタについて対応付けが完了すると、ステップＳ３０８に進められる。ステップＳ２０８では、本処理を終了し、初期校正時は図５、再校正時は図７に示した呼び出し元へ処理が戻される。

（ブレンディング係数の計算）
以下、図１５および図１６を参照しながら、各プロジェクタ１５０のブレンディング係数の計算処理の詳細について説明する。図１５は、プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図である。ブレンディング係数の計算処理では、注目するプロジェクタ毎に処理が実行され、複数のプロジェクタ１５０ａ〜１５０ｃ各々のブレンディング係数が求められる。

まず、補正係数算出部１３２は、撮像画像の座標系３００において、注目プロジェクタと、注目プロジェクタに隣接するプロジェクタとの投影可能領域の外周座標に基づき、これらの重複領域を検出する。図１５に示すように、撮像画像の座標系３００での投影目標領域３１０の最上辺から、左原点（○）から右方向へ探索し、順次下へ探索を進めることにより、まず、第１プロジェクタ１５０ａと第２プロジェクタ１５０ｂとの重複領域の開始点（●）および終了点（◎）が検出される。

図１５の下段のグラフで第１プロジェクタについて示すように、原点（○）から、重複領域の開始点（●）までの範囲の画素に対しては、ブレンディング係数が最大１に決定される。一方、重複領域の開始点（●）から終了点（◎）までの範囲の画素に対しては、開始点（●）からの水平距離に応じて、実際の明るさが線形に１．０から０へ徐々に落ちていくように、プロジェクタの入出力特性の逆補正をかけたブレンディング係数を算出する。

補正係数算出部１３２は、プロジェクタ・メモリ上の整数画素座標各々に対し、図１６（Ａ）に示すデータ構造によって対応付けられる撮像画像の座標系の座標（小数点）の最近傍の整数画素に割り当てられたブレンディング係数を対応付ける。

上述した処理により、複数のプロジェクタ１５０ａ〜１５０ｃの各々に対して、図１６（Ｂ）に示すように、プロジェクタ・メモリの全画素分のブレンディング係数が得られることになる。

（補正処理）
以下、図１６および図１７を参照しながら、上記補正係数に基づく補正処理の詳細について説明する。上述した補正係数算出部１３２で算出された各プロジェクタの幾何補正係数およびブレンディング係数は、図５に示したステップＳ１０７または図７に示した２０７で、各補正処理部１１４に設定される。

まず、補正処理部１１４は、プロジェクタ・メモリの全画素と、等倍コンテンツ画像上での対応する画素位置との対応付けデータを準備する。上述した補正係数算出部１３２での処理により、図１６（Ａ）に示すようなプロジェクタ・メモリの全画素に対する画素位置が求められているので、補正処理部１１４は、この対応付けデータをそのまま読み出す。

補正処理部１１４は、プロジェクタ・メモリの画素毎の参照すべき等倍コンテンツ画像上の画素位置（小数点数）に基づき、投影すべき等倍コンテンツ画像から、バイリニア、バイキュービックなどの画素補間方法によって中間画像を生成する。この中間画像は、幾何補正係数により、コンテンツ画像を検出した幾何歪みの逆に変形した画像である。補正処理部１１４は、さらに、生成された中間画像のＲ，Ｇ，Ｂ各色の画素値に対し、図１６（Ｂ）の対応付けデータにより対応付けられるブレンディング係数を乗じ、最終的な投影画像を生成する。

図１７は、上記補正係数に基づく補正処理を説明する図である。図１７には、３台のプロジェクタ１５０ａ〜１５０ｃについて、補正処理部１１４ａ〜１１４ｃによりコンテンツ画像から最終的に得られた投影画像３５０ａ〜３５０ｃが示されている。図１７に示すように、投影モード中、これらの投影画像３５０ａ〜３５０ｃが、プロジェクタ１５０ａ〜１５０ｃ各々から投影される。投影画像３５０ａ〜３５０ｃの投影像は、壁面１０２上で好適に重なり合わせられて単一の投影像３５４に合成される。

（ハードウェア構成）
以下、図１８を参照しながら、上述までの実施形態における画像処理装置１１０のハードウェア構成について説明する。画像処理装置１１０は、典型的には、汎用コンピュータ装置として構成される。図１８は、本実施形態による汎用コンピュータ装置のハードウェア構成を示す図である。

図１８に示す汎用コンピュータ装置１１０は、ＣＰＵ１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、サウスブリッジ１６とを含む。サウスブリッジ１６は、上記ノースブリッジ１４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担う。

ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、映像出力インタフェースを介してディスプレイ５０や上記プロジェクタ１５０に接続される。

サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ１３９４、ＵＳＢポート２８、補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、ＨＤＤやＳＳＤなどであり、コンピュータ装置を制御するためのＯＳ、上記機能部を実現するためのプログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、汎用コンピュータ装置１１０を有線および無線でネットワークに接続させるインタフェース機器であり、上記メンテナンス要請通知を送信するために用いられる。

ＵＳＢポート２８には、キーボード５２およびマウス５４などの入力装置１７０が接続されてもよく、上述した基準点の移動指示を含む操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による汎用コンピュータ装置１１０は、補助記憶装置３０からプログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。なお、プロジェクタ１５０およびカメラ１６０については、特に説明を行わないが、同様に、ＣＰＵおよびＲＡＭ等などのハードウェアや、特定の用途に応じたハードウェアを備えている。

以上説明したように、本発明の実施形態によれば、複数の投影手段により全体として画像を投影する投影システムであって、複数の投影手段間の位置ずれに起因した全体としての投影像の結合部におけるずれを、簡便に再校正することができる。

なお、上述までの説明では、３台のプロジェクタ１５０ａ〜１５０ｃの投影像を横一列に並べて全体としての画像を投影する実施形態について説明してきた。しかしながら、本実施形態による校正処理および再校正処理が適用できるマルチ・プロジェクションの態様は、これに限定されるものではなく、プロジェクタ１５０の台数は、３に限定されず、任意の台数とすることができる。また、投影様式も、横一列に限らず、縦一列に並べる態様でもよいし、２列以上の配列へ一般化することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…投影システム、１０２…壁面、１０４…投影像、１０６…単一の投影像、１１０…画像処理装置、１１２…コンテンツ格納部、１１４…補正処理部、１１６…投影画像出力部、１２４…切替部、１２０…校正用シーン生成部、１２２…校正用画像格納部、１２４…切替部、１２６…校正用撮像画像入力部、１２８…特徴点抽出処理部、１３０…目標領域設定部、１３２…補正係数算出部、１３４…再校正制御部、１３６…基準点記憶部、１３８…メンテナンス通知部、１５０…プロジェクタ、１６０…カメラ、１７０…入力装置、２００…校正用画像、２１２…投影像、２３０…投影像、２３２…投影像、３００…座標系、３０４…投影可能領域、３１０…投影目標領域、３３０…プロジェクタ・メモリ、３５０…投影画像、３５４…単一の投影像、４００…ユーザ・インタフェース画面、４１０，４３０，４４０，４５０…設定領域、４０２…「調整」ボタン、４０４…「終了」ボタン４０４、１２…ＣＰＵ、１４…ノースブリッジ、１６…サウスブリッジ、１８…ＲＡＭ、２０…グラフィックボード、２２…ＰＣＩ、２４…ＬＡＮポート、２６…ＩＥＥＥ１３９４ポート、２８…ＵＳＢポート、３０…補助記憶装置、３２…オーディオ入出力、３４…シリアルポート、５２…キーボード、５４…マウス

特許第３９０８２５５号

Claims (9)

1. 複数の投影手段により全体としての画像を投影するための投影システムであって、
   初期校正処理に際して、前記複数の投影手段が前記全体としての画像を投影する投影目標領域を画定する基準点の移動指示を受け付ける受領手段と、
   前記初期校正処理で用いられた前記投影目標領域の前記基準点を記憶する記憶手段と、
   イベントに応答して、再校正処理を開始させる制御手段と、
   前記再校正処理に際して、前記記憶手段に記憶された基準点に基づいて、前記投影目標領域を再設定する設定手段と、
   前記設定手段により再設定された前記投影目標領域に基づいて、前記複数の投影手段に対する補正係数を計算する補正係数計算手段と
   含む、投影システム。
2. 前記初期校正処理に際して、前記複数の投影手段のうちの隅の領域を担当する投影手段に対し、位置合わせの目安となる位置合わせマーカを含む校正用画像を出力する出力手段をさらに含み、前記受領手段は、前記初期校正処理に際して、前記位置合わせマーカの検出点の位置座標を起点として、前記基準点を移動させる移動指示を受け付ける、請求項１に記載の投影システム。
3. 前記再校正処理を開始させる契機となる前記イベントは、ユーザからの再校正を開始することを明示的に指示する操作を検出したことのイベント、予定されたスケジュールが到来したことのイベント、または再校正を開始するものとして事前定義されたイベントである、請求項１または２に記載の投影システム。
4. 事前設定された連絡先アドレスを登録する登録手段と、
   前記再校正処理の際にエラーが発生した場合に、前記登録手段に登録された連絡先アドレスに宛てて、メンテナンスを要請する通知を送信する送信手段と
   をさらに含む、請求項１〜３のいずれか１項に記載の投影システム。
5. 前記送信手段は、前記メンテナンスを要請する通知に加えて、エラーを発生させた再校正処理の前の前記投影手段の投影状態を撮像した撮像画像、エラーを発生させた再校正処理の際の校正用撮像画像、校正用撮像画像からのパターン認識の途中結果、およびエラーを発生させた再校正処理の後の前記投影手段の投影状態を撮像した撮像画像の少なくとも１つを送信する、請求項４に記載の投影システム。
6. 前記エラーは、前記初期校正処理で用いた基準点が画定する前記投影目標領域が、前記再校正処理に際して前記複数の投影手段各々が投影可能な領域の論理和により充足できない場合に発生する、請求項４または５に記載の投影システム。
7. 複数の投影手段と通信し、前記複数の投影手段により全体としての画像を投影するための画像処理装置であって、
   初期校正処理に際して、前記複数の投影手段が前記全体としての画像を投影する投影目標領域を画定する基準点の移動指示を受け付ける受領手段と、
   前記初期校正処理で用いられた前記投影目標領域の前記基準点を記憶する記憶手段と、
   イベントに応答して、再校正処理を開始させる制御手段と、
   前記再校正処理に際して、前記記憶手段に記憶された基準点に基づいて、前記投影目標領域を再設定する設定手段と、
   前記設定手段により再設定された前記投影目標領域に基づいて、前記複数の投影手段に対する補正係数を計算する補正係数計算手段と
   を含む、画像処理装置。
8. 複数の投影手段により全体としての画像を投影するためにコンピュータが実行する校正方法であって、コンピュータが、
   初期校正処理に際して、前記複数の投影手段が前記全体としての画像を投影する投影目標領域を画定する基準点の移動指示を受け付けるステップと、
   前記初期校正処理で用いられた前記投影目標領域の前記基準点を記憶するステップと、
   イベントに応答して、再校正処理を開始させるステップと、
   前記再校正処理に際して、前記記憶するステップで記憶された基準点に基づいて、前記投影目標領域を再設定するステップと、
   前記再設定するステップで再設定された前記投影目標領域に基づいて、前記複数の投影手段に対する補正係数を計算するステップと
   を含む、校正方法。
9. コンピュータを、請求項７に記載の画像処理装置の各手段として機能させるためのプログラム。