JP6569742B2 - 投影システム、画像処理装置、投影方法およびプログラム - Google Patents

Description

本発明は、１以上の投影手段により投影体上に像を投影するための投影システム、画像処理装置、投影方法および該画像処理装置を実現するためのプログラムに関する。

近年、プロジェクタを用いたデジタルサイネージが行われている。電車などの室内の側面や天井などや、天井がアーチ状になった通路やトンネル、アーケード商店街など、平面を垂直方向にのみ曲げた曲面状の部分は身の回りに多く存在する。また、電車の窓上のスペースなどを活用して広告を掲示することも行われている。このような背景から、上述したような曲面へ映像を投影したいという要望がある。

プロジェクタにより投影体へ所望の映像を投影する際に、スクリーンとなる投影体へ投影するための校正作業が行われる。例えば、マルチ・プロジェクションにおける校正処理として、特開２０１５−０５６８３４号公報（特許文献１）が知られている。特許文献１の従来技術では、校正パターンを投影し、カメラなどの撮像装置を用いて複数回に分けて撮像することにより校正を行う。上記校正により、複数のプロジェクタにより、適切な補正をかけて平面状のスクリーン上に画像を投影することが可能となる。

しかしながら、円筒内壁のようなスクリーンが１方向（例えば垂直方向）に曲がった曲面を有する投影体に投影する場合、観察者に違和感を与えてしまう場合があった。例えば、曲面を有する投影体に投影された投影像を観察する際に、校正時のカメラの視点の位置と離れた視点から観察した場合に、全体の補正後の画像が両端で膨らんでいるように見えてしまう場合があった。

特開２０１５−０５６８３４号公報

本発明は、上記点に鑑みてなされたものであり、本発明は、１以上の投影手段により投影体上に像を投影するための投影システムにおいて、１つの方向で曲がりを有する投影体に対し、複数の視点からの観察を考慮して投影像を補正することが可能な投影システムを提供することを目的とする。

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、下記特徴を有する投影システムを提供する。投影システムは、１以上の投影手段により、１つの方向で曲がりを有する投影体上に像を投影する。投影システムは、準備された複数の校正用撮像画像各々から、投影像の歪みを示す格子点の組を抽出する格子点抽出手段を含む。投影システムは、また、複数の校正用撮像画像のうちの上記投影体上に投影された校正パターンが上記１つの方向に関連してそれぞれ異なる撮像範囲で撮像された複数の画像間で、共通して抽出された注目の投影手段の格子点の組各々を、共通する座標系上に変換する格子点変換手段と、上記共通する座標系上の注目の投影手段の複数の組の格子点を位置に応じて合成する格子点合成手段を含む。投影システムは、さらに、合成された格子点の組に基づいて補正係数を計算する補正係数計算手段を含む。

上記構成により、１以上の投影手段により投影体上に像を投影するための投影システムにおいて、１つの方向で曲がりを有する投影体に対し、複数の視点からの観察を考慮して投影像を補正することが可能となる。

本実施形態による映像投影システムの全体構成を示す概略図。 本実施形態による映像投影システムの機能ブロック図。 本実施形態による映像投影システムで用いられる校正用画像を例示する図。 本実施形態による映像投影システムで用いられる他の種類の校正用画像を例示する図。 透視投影モデルについて説明する図。 平行投影モデルについて説明する図。 円筒内壁に投影した場合に観察者に与えられる違和感を説明する図。 円筒内壁に投影した場合に観察者に与えられる違和感を説明する図。 円筒内壁に投影した場合に観察者に与えられる違和感を説明する図。 円筒内壁に投影した場合に観察者に与えられる違和感を説明する図。 本実施形態による校正用シーン選択部が順次選択する校正用投影シーンおよびその撮影方法を説明する図。 本実施形態による校正用シーン選択部が順次選択する校正用投影シーンおよびその撮影方法を説明する図。 本実施形態による格子点抽出統合処理、各種補正係数の計算処理および補正係数に基づく補正処理の全体的な処理の流れを示すフローチャート。 本実施形態による格子点抽出統合部が実行する、格子点抽出統合処理を示すフローチャート。 本実施形態による格子点抽出統合部が実行する、格子点抽出統合処理を示すフローチャート。 各校正用投影シーンを撮影して準備された８つの校正用撮像画像と、これらの撮像画像間各々で求められる射影変換について説明する図。 注目のプロジェクタの格子点について、異なる撮像範囲での校正用撮像画像に基づく複数組の格子点座標値のブレンディング（格子点合成）方法を説明する図。 注目のプロジェクタの格子点について、異なる撮像範囲での校正用撮像画像に基づく複数組の格子点座標値のブレンディング（格子点合成）方法を説明する図。 統合座標系上に統合された各プロジェクタの格子点座標の集合を模式的に示す図。 左端に位置するプロジェクタについて異なる撮像範囲での校正用撮像画像に基づく複数組の格子点を合成する処理を説明する図。 両端に隣接するプロジェクタを有するプロジェクタについて異なる撮像範囲での校正用撮像画像に基づく複数組の格子点を合成する処理を説明する図。 統一された座標系上における４つのプロジェクタの投影範囲、補正後の投影目標領域および投影コンテンツ画像を説明する図。 統一された座標系上における４つのプロジェクタの投影範囲、補正後の投影目標領域および投影コンテンツ画像を説明する図。 幾何補正係数のデータ構造を例示する図。 ブレンディング係数のデータ構造を例示する図。 好適な実施形態において投影体が曲がりを有する垂直方向の画素間隔の校正処理について説明する図。 好適な実施形態において投影体が曲がりを有する垂直方向の画素間隔の校正処理について説明する図。 好適な実施形態において投影体が曲がりを有する垂直方向の画素間隔の校正処理について説明する図。 好適な実施形態において投影体が曲がりを有する垂直方向の画素間隔の校正処理について説明する図。 変形例の実施形態による１つのプロジェクタを有する映像投影システムの機能ブロック図。 他の実施形態による映像投影システムの機能ブロック図。 他の実施形態による各種補正係数の計算処理および補正係数に基づく補正処理の全体的な処理の流れを示すフローチャート。 他の実施形態による映像投影システムにおける画像処理装置が実行する外挿予測処理を示すフローチャート。 他の実施形態による映像投影システムにおける画像処理装置が実行する外挿予測処理の各段階の処理を説明する図。 他の実施形態による映像投影システムにおける画像処理装置が実行する外挿予測処理の各段階の処理を説明する図。 他の実施形態による映像投影システムにおける画像処理装置が実行する外挿予測処理の各段階の処理を説明する図。 他の実施形態における、線形外挿予測結果に基づく校正の精度について説明する図。 他の実施形態における、線形外挿予測結果に基づく校正の精度について説明する図。 他の実施形態における、線形外挿予測結果に基づく校正の精度について説明する図。 他の実施形態における、線形外挿予測結果に基づく校正の精度について説明する図。 他の実施形態による外挿予測結果に基づく投影像の重ね合わせの精度について説明する図。 他の実施形態による外挿予測結果に基づく投影像の重ね合わせの精度について説明する図。 他の実施形態による外挿予測結果に基づく投影像の重ね合わせの精度について説明する図。 １または複数の実施形態による画像処理装置を構成する汎用コンピュータ装置のハードウェア構成を示す図。

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、投影システムの一例として、投影手段である１以上のプロジェクタと、撮像手段である１つのカメラと、全体制御を行う画像処理装置とを含む映像投影システムを用いて説明する。
（全体構成）
図１は、本実施形態による映像投影システム１００の全体構成を示す概略図である。図１に示す映像投影システム１００は、システムの全体制御を行う画像処理装置１１０と、１以上のプロジェクタ１５０（例：１５０ａ〜１５０ｄ）と、カメラ１６０とを含み構成される。なお、説明する実施形態では、映像投影システム１００は、４台のプロジェクタ１５０ａ〜１５０ｄの投影像を投影面上で合成し、単一のプロジェクタよりも大きな領域に画像を投影する、いわゆる大画面のマルチ・プロジェクションに対応した構成とされている。

プロジェクタ１５０の数は、特に限定されるものではない。１台のプロジェクタ１５０を用いた通常のプロジェクションに対応した構成としてもよい。複数台のプロジェクタ１５０の投影像を投影面上で重ねて単一のプロジェクタ程度の領域に画像を投影する、いわゆるスタック・プロジェクションに対応した構成としてもよい。

画像処理装置１１０は、パーソナル・コンピュータ、ワークステーションなどの汎用コンピュータでもよい。なお、画像処理装置１１０は、汎用コンピュータに限定されるものではなく、専用コントローラとして実装されてもよいし、いずれかのプロジェクタ１５０に組み込まれてもよい。

プロジェクタ１５０は、それぞれ、液晶方式、ＣＲＴ（Cathode Ray Tube）方式、ＤＬＰ（Digital Light Processing）方式、ＬＣＯＳ（Liquid Crystal On Silicon）方式などを採用する投影装置である。カメラ１６０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などのイメージセンサと、イメージセンサの受光領域上に結像するためレンズなどの結像光学系とを含む撮像装置である。カメラ１６０は、ＷＥＢカメラ、デジタル・スチル・カメラ、デジタル・ビデオ・カメラなどの専用デバイスとして構成されてもよいし、あるいは、スマートフォン端末やタブレット端末などの汎用デバイスに組み込まれたデバイスとして構成されてもよい。

本映像投影システム１００においては、投影面を提供する投影体であるスクリーン１０２が設置されている。説明する実施形態において、スクリーン１０２は、図１の垂直方向に沿って曲がりを有する円筒形状を有しており、その円筒形状の内壁が投影面となっている。図１に示す複数のプロジェクタ１５０は、スクリーン１０２の曲がりと交差する水平方向に、それぞれ、投影の中心の位置をずらしながらスクリーン１０２上に投影像を投影できるように設置されている。なお、説明する実施形態では、垂直方向に曲がりを有する円筒の内壁をスクリーン１０２としている。しかし、特にこれに限定されるものではなく、１つの方向で曲がりを有する如何なる曲面を有していてもよい。

画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｄに投影させる複数の投影画像を生成し、対応するプロジェクタ１５０ａ〜１５０ｄ各々に投影画像各々を出力する。プロジェクタ１５０ａ〜１５０ｄは、それぞれ、画像処理装置１１０から入力される投影画像をスクリーン１０２上に投影する。スクリーン１０２上には、図１に示すように、複数のプロジェクタ１５０ａ〜１５０ｄ各々からの複数の投影像１０４ａ〜１０４ｄが投影されている。この複数の投影像１０４ａ〜１０４ｄは、投影面上で重なり合わせられて、単一の投影像１０６に合成される。

映像投影システム１００は、投影モード中、上述したように複数のプロジェクタ１５０ａ〜１５０ｄを用いて単一の投影像１０６を投影するが、上述した投影モード前に、校正処理が行われる。図１に示すカメラ１６０は、この校正処理の際に用いられる。画像処理装置１１０は、校正モード中、複数のプロジェクタ１５０ａ〜１５０ｄそれぞれに校正用の画像を出力し、スクリーン１０２上に校正用の投影像を投影させる。そして、所定のプロジェクタ１５０により投影されたスクリーン１０２上の投影像１０４がカメラ１６０の画角内に入るように、カメラ視点および視野が設定され、複数回の校正用の撮影が行われることになる。

カメラ１６０で撮像された撮像画像（以下、校正用投影像が写り込んだ撮像画像を校正用撮像画像と参照する。）は、それぞれ、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線接続、または有線ＵＳＢや有線ＬＡＮなどの有線接続を介して、画像処理装置１１０へ送信される。あるいは、カメラ１６０で撮像された校正用撮像画像は、ＳＤカードやコンパクトフラッシュ（登録商標）などのリムーバブル・メディアを介して、画像処理装置１１０で読み取られる。

画像処理装置１１０は、入力された複数の校正用撮像画像を用いて、複数のプロジェクタ１５０ａ〜１５０ｄの投影像各々の各種補正係数を計算する。画像処理装置１１０は、投影モード中、計算された各種補正係数に基づき、プロジェクタ１５０ａ〜１５０ｄ各々に投影させるための補正された投影画像を生成する。以下、図２〜図１７を参照しながら、各種補正係数の計算処理および補正係数に基づく補正処理について説明する。
（機能構成）
図２は、本実施形態による映像投影システム１００の機能ブロック図である。図２に示すシステム１００は、画像処理装置１１０上で動作する複数の機能ブロックを含む。画像処理装置１１０は、コンテンツ格納部１１２と、プロジェクタ毎の補正処理部１１４（例：１１４ａ〜１１４ｄ）と、プロジェクタ毎の投影画像出力部１１６（例：１１６ａ〜１１６ｄ）と、プロジェクタ毎の切替部１２２（例：１２２ａ〜１２２ｄ）とを含み構成される。画像処理装置１１０は、さらに、校正用画像格納部１１８と、校正用シーン選択部１２０と、校正用撮像画像入力部１２４と、格子点抽出統合部１３０と、補正係数算出部１４０とを含み構成される。

コンテンツ格納部１１２は、単一の投影像１０６として投影する対象であるコンテンツ画像を格納する。コンテンツ格納部１１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、着脱可能なリムーバブル・メディアなどの記憶領域として提供される。なお、投影対象となるコンテンツ画像は、プレゼンテーションなどのアプリケーションやオペレーティング・システムで生成される表示画面、静止画像ファイルの静止画、動画ファイル中の任意のタイミングのフレーム、外部入力される映像として与えられ得る。以下、説明の便宜上、静止画像としてコンテンツ画像が与えられた場合を一例に説明する。

補正処理部１１４ａ〜１１４ｄおよび投影画像出力部１１６ａ〜１１６ｄは、システム１００に含まれるプロジェクタ１５０ａ〜１５０ｄに対応して設けられている。補正処理部１１４は、それぞれ、コンテンツ格納部１１２からコンテンツ画像を読み出し、補正処理を施し、対応するプロジェクタ用の投影画像を生成する。投影画像出力部１１６は、それぞれ、対応するプロジェクタ１５０に接続されるディスプレイ出力を含み構成され、接続されるプロジェクタに対し、切替部１２２で選択された入力画像を映像出力する。

切替部１２２ａ〜１２２ｄは、当該システム１００の動作モードに応じて、画像のフローを切り替える。コンテンツ画像を投影する投影モード中は、切替部１２２は、補正処理部１１４の出力に入力側を切り替える。これに伴い、投影画像出力部１１６は、それぞれ、対応する補正処理部１１４によるコンテンツ画像に基づく処理結果を映像出力する。一方、校正モード中は、切替部１２２は、後述する校正用シーン選択部１２０の出力に入力側を切り替える。これに伴い、投影画像出力部１１６は、それぞれ、校正用シーン選択部１２０で選択して出力された校正用画像を映像出力する。

校正用画像格納部１１８は、校正モード中にプロジェクタ１５０から投影させるための校正用画像を格納する。校正用画像格納部１１８は、ＨＤＤ、ＳＳＤ、着脱可能なリムーバブル・メディアの記憶領域として提供される。校正画像は、特に限定されるものではないが、典型的には、事前に準備された静止画像として与えられる。

ここで、校正用画像は、投影像の格子点を規定する校正パターンおよび投影像の位置合わせ点を規定する位置合わせパターンの両方もしくは一方を含む。図３は、本実施形態による映像投影システム１００で用いられる２種類の校正用画像を例示する図である。図３Ａは、位置合わせパターン２０２ＬＴ，２０２ＲＴ，２０２ＬＢ，２０２ＲＢおよび校正パターン２０６の両方を含む第１の校正用画像２００を例示する。図３Ｂは、位置合わせパターン２１２ＬＴ，２１２ＲＴ，２１２ＬＢ，２１２ＲＢのみを含む第２校正用画像２１０を例示する。

校正パターン２０６は、プロジェクタ・メモリ上の座標を規定するものであり、任意の図形要素２０４が所定の規則で配置されてなす模様として構成される。スクリーン１０２上に投影された校正パターン２０６を撮像し、その格子点を抽出することにより、投影像の台形歪みや局所的な歪みを検出することができる。位置合わせパターン２０２，２１２は、校正用に撮像した画像間での投影像の基準位置（位置合わせ点）を規定するものであり、複数の任意の図形要素が所定の位置に配置されて構成される。スクリーン１０２上に投影された共通の位置合わせパターン２０２，２１２を収めて複数回撮像することにより、複数の撮像画像間で、位置合わせを行うことができる。

図３Ａと図３Ｂを参照しながら具体的なパターンについて説明したが、校正パターン２０６および位置合わせパターン２０２，２１２は、特に限定されるものではない。

ここで、再び図２を参照する。本実施形態による校正処理では、複数回に分けて、プロジェクタ１５０各々の投影像の幾何歪みを検出するための校正パターンの撮像が行われ、位置合わせパターンにより複数の撮像結果が統合される。校正用シーン選択部１２０は、上述した校正用画像格納部１１８から各校正用画像を読み出し、複数のプロジェクタ１５０ａ〜１５０ｄ各々に対し、適切な校正用画像を選択して出力する。校正用シーン選択部１２０は、複数のプロジェクタ１５０の投影像の位置関係を規定する情報を有しており、全体として過不足なく各プロジェクタ１５０の校正結果が得られるように校正処理の各段階に応じて校正用画像を選択する。各校正処理の段階における、１以上のプロジェクタ１５０で投影させる校正用画像を含み構成されるシーンを、以下、校正用投影シーンと参照する。

校正用シーン選択部１２０により、プロジェクタ１５０各々から、校正用投影シーンに応じた校正用画像が投影される。このとき、ユーザは、カメラ１６０を用いて、校正用投影シーン毎に、投影された校正用投影像が画角に収まるようにして撮影を行う。校正用撮像画像入力部１２４は、カメラ１６０からの無線接続、有線接続、リムーバブル・メディアを介して各撮像画像の入力を受けて、複数の校正用撮像画像を準備する。

格子点抽出統合部１３０は、上記校正用投影シーンに対応して校正用撮像画像入力部１２４で準備された各校正用撮像画像から、写り込んだ校正パターンの格子点を抽出する。補正係数算出部１４０は、格子点抽出統合部１３０により抽出された各プロジェクタ１５０毎の格子点に基づいて、補正処理部１１４ａ〜１１４ｂに対し設定する各種補正係数を計算する。

ここで、具体的な校正処理について説明する前に、以下、図４Ａ〜４Ｂおよび図５Ａ〜４Ｄを参照しながら、円筒内壁のような１方向（例えば垂直方向）に曲がった曲面を有する投影体に投影する場合に、観察者に与えられる違和感について検討する。

図４Ａは、透視投影モデルについて説明する図である。図４Ｂは、平行投影モデルについて説明する図である。図５Ａは、カメラ１６０と、横円筒内壁のスクリーン１０２との関係を示す図である。図５Ｂは、カメラで撮像された横円筒内壁のスクリーン画像２２０を示す図である。図５Ｃは、コンテンツを投影するために設定される、撮像画像座標系上で矩形形状を有する投影目標領域２２２を示す。図５Ｄは、投影目標領域に収まるよう補正された補正後投影像を平行投影した補正後画像２２６を示す。

円筒内壁のようなスクリーン１０２に投影する場合に、通常の校正方法では、上述したように、全体の補正後の画像が両端で膨らんでいるように見えてしまい、観察者に違和感を与えてしまう場合がある。これは、カメラを用いて校正を行う場合、通常、撮像画像の座標をスクリーン座標と同一とみなして、撮像画像座標系において、補正後の投影像が矩形となるような補正を行うためである。なお、このような不具合は、校正パターンを分割撮像する場合も、全スクリーンを一括して画角に収めて三脚固定したカメラで校正パターンを一括撮像する場合も同様であるため、以下、便宜上、一括撮像で単一のプロジェクタの投影像を補正するケースを一例として説明する。

カメラによる撮像は、３次元座標系（Ｘ，Ｙ，Ｚ）を２次元座標系（ｘ、ｙ）に変換することに相当するが、下記式上段に表されるような、透視投影変換（図４Ａに示す。）によりモデル化することができる。しかしながら、透視投影変換は、下記下段に表されるような３次元座標系での（Ｘ，Ｙ，Ｚ）の（Ｘ，Ｙ）座標をそのまま射影する正射影（または平行投影：図４Ｂに示す。）とは異なる結果を生じさせる。

矩形の平面スクリーンを正面から撮像した場合には、透視投影変換では、スクリーンとの距離に反比例して大きさが変化することにはなるが、透視投影変換であっても正射影の場合と同じように矩形に見えることになる。これに対し、奥行きのある横円筒内壁のような曲面スクリーンを正面から撮像した場合、正射影では矩形に変換されることになるが、透視投影変換では、図５Ｂに示すような糸巻き形状に見えることになる。すなわち、図５Ａおよび図５Ｂにおいて点線および破線で示すように、スクリーン１０２の各位置の奥行きに応じて、大きさが異なるため、手前にある部分は大きく、奥にある部分は小さく映り、矩形にはならず、上述した糸巻き形状に歪んで見えることになる。つまり、スクリーンが曲面となった場合には、撮像画像の座標は、曲面スクリーンを正面から見たときのｘｙ座標系で表したもの（平行射影したｘ、ｙ座標系）とは形状が異なることになる。

ここで、図５Ｃに示すように、この糸巻き形状に歪んだ撮像画像座標系において矩形の投影目標領域２２２に収まるように画像の補正を行うと、結果的に補正後の画像２２４は、カメラ視点で見た場合のみ矩形に見えることになり、矩形の壁紙を曲面に貼ったような補正とはならない。図５Ｄは、補正後の投影像を平行投影した画像を模式的に表しているが、このように、逆にたる型に膨らんだ壁紙を曲面に貼ったようになってしまうことになる。このため、カメラ視点から見た場合は、矩形に見え、カメラ視点から見るだけなら違和感はないが、例えばスクリーン左右端の正面から見た場合に、矩形の壁紙を貼ったような補正に比べてたる型に膨らんで投影されているで、観察者に違和感を与えることになる。

上述した通常の補正は、視聴者が１人であり、視聴位置がスクリーン正面中央に固定される場合は、視聴者の位置にカメラを置いて校正すれば問題がない可能性がある。しかしながら、横長に投影された投影像を、種々の位置の視点から複数人が見る場合は、投影像の端の方で観察した際にたる形状に膨らんで見えてしまうと、人は違和感を覚えやすい。

したがって、上述したような場合には、矩形の壁紙を曲面に貼ったように見せる補正の方が望ましい。それは、人間は、曲面に貼られたポスターやワインボトルのラベルのように、矩形の画像が曲面に貼られているものとして元の矩形の画像を想像して違和感なく認識することが期待されるからある。

そこで、本実施形態では、まず、校正用撮像画像入力部１２４が、１以上のプロジェクタ１５０のうちの注目するプロジェクタに関し、該注目するプロジェクタにより曲面スクリーン１０２上に投影された校正パターンが曲面スクリーン１０２の曲がりを有する方向に関連してそれぞれ異なる撮像範囲で撮像された複数の校正用撮像画像を準備する。そして、格子点抽出統合部１３０が、準備された複数の校正用撮像画像各々から、注目するプロジェクタの投影像の歪みを示す格子点の組を抽出し、共通して抽出された注目の投影手段の格子点の組各々を、共通する座標系上に変換し、上記共通する座標系上の注目するプロジェクタの複数組の格子点を位置に応じて合成し、合成された格子点の組を生成する。そして、補正係数算出部１４０が、合成された格子点の組に基づいて、プロジェクタに対する補正係数を計算する。

これにより、１つの方向で曲がりを有する投影体に対し、複数の視点からの観察でも違和感を与えないような投影像の補正を図る。

以下、図２、図６および図７を参照しながら、本実施形態による校正処理について、より詳細に説明する。図６および図７は、図２に示した校正用シーン選択部１２０が順次選択する校正用投影シーンおよびその撮像方法を説明する図である。図１に示すような４台のプロジェクタ１５０ａ〜１５０ｄを用いる実施形態においては、図６および図７に示す態様で校正用投影シーンを構成し、校正用撮像画像を準備することができる。

図６および図７に示すように、説明する実施形態では、８回の撮像に対応した８個の校正用投影シーンが準備される。第１の校正用投影シーン（撮像１枚目）では、左端に位置する第１プロジェクタ１５０ａが図３Ａに示す第１の校正用画像２００を投影する。このとき、他のプロジェクタ１５０ｂ，１５０ｃ、１５０ｄは、何も投影しない。この第１の校正用投影シーンにおいては、ユーザは、第１プロジェクタ１５０ａの投影像２３１ａをカメラ１６０の視野（破線で示す。）に収めて撮影を行うが、撮像範囲において、水平方向に沿って隣接するプロジェクタ１０５ｂ側に偏った領域（つまり右側）に、第１プロジェクタ１５０ａの投影像２３１ａが収まるように撮像が行われる。

第２の校正用投影シーン（撮像２枚目）では、第１プロジェクタ１５０ａが図３Ａに示す第１の校正用画像２００を投影し、第２プロジェクタ１５０ｂが図３Ｂに示す第２校正用画像２１０を投影する。第３および第４プロジェクタ１５０ｃ，１５０ｄは何も投影しない。この第２の校正用投影シーンにおいては、ユーザは、第１および第２プロジェクタ１５０ａ，１５０ｂの投影像２３２ａ，２３２ｂをカメラ１６０の視野に収めて撮影を行うことになる。このとき、第１プロジェクタ１５０ａに注目すると、撮像範囲における隣接するプロジェクタ１０５ｂ側の領域には、隣接するプロジェクタ１０５ｂが投影する投影像２３２ｂが収められる。このため、撮像範囲において、水平方向に沿って、隣接するプロジェクタ１０５ｂ側とは反対側に偏った領域（つまり左側）に、第１プロジェクタ１５０ａの投影像２３２ａが収められることになる。

つまり、第１および第２の校正用投影シーンにそれぞれ対応する第１および第２の校正用撮像画像は、互いに、スクリーン１０２の曲がりを有する方向と略垂直な方向（図１に示す場合は、水平方向）に沿ってずれた位置に、左端に位置する第１プロジェクタ１５０ａが投影した校正パターンが収められるような撮像範囲を有することなる。

第３の校正用投影シーン（撮像３枚目）では、第２のシーンとは反対に、第１プロジェクタ１５０ａが第２校正用画像２１０を投影し、第２プロジェクタ１５０ｂが第１の校正用画像２００を投影する。このとき、第３および第４プロジェクタ１５０ｃ，１５０ｄは、第１のシーン同様に何も投影しない。第３の校正用投影シーンにおいては、ユーザは、第２のシーンと略同一の撮像範囲で撮像を行うことになる。第４の校正用投影シーン（撮像４枚目）以降は、投影像の配列において、隣接する２つのプロジェクタ１５０の組み合わせを変更しながら、組み合わせ毎に、第１の校正用画像２００および第２校正用画像２１０を入れ替えて投影する２組のシーンを準備する。

最後から１つ前の第７の校正用投影シーン（撮像７枚目）は、上記入れ替えて撮像される２組のシーンに含まれるものであるが、右端に位置する第４プロジェクタ１５０ｄが第１の校正用画像２００を投影し、第３プロジェクタ１５０ｃが第２校正用画像２１０を投影する。第１および第２プロジェクタ１５０ａ、１５０ｂは何も投影しない。この第７の校正用投影シーンにおいては、ユーザは、第３および第４プロジェクタ１５０ｃ，１５０ｄの投影像２３７ｃ，２３７ｄをカメラ１６０の視野に収めて撮影を行うことになる。このとき、第４プロジェクタ１５０ｄに注目すると、撮像範囲における隣接するプロジェクタ１０５ｃ側の領域には、隣接するプロジェクタ１０５ｃが投影する投影像２３７ｃが収められる。このため、撮像範囲において、水平方向に沿って、隣接するプロジェクタ１０５ｃ側とは反対側に偏った領域（つまり右側）に、第４プロジェクタ１５０ｄの投影像２３７ｄが収まるように撮像されることになる。

最後になる第８の校正用投影シーン（撮像８枚目）では、第４プロジェクタ１５０ｄが第１の校正用画像２００を投影する。他のプロジェクタ１５０ａ，１５０ｂ，１５０ｃは何も投影しない。この第８の校正用投影シーンにおいては、ユーザは、第１のシーンと同様に、第４プロジェクタ１５０ｄの投影像２３８ｄをカメラ１６０の視野に収めて撮影を行うが、第１のシーンとは反対に、撮像範囲において、水平方向に沿って隣接するプロジェクタ１０５ｃ側に偏った領域（つまり左側）に、第４プロジェクタ１５０ｄの投影像２３８ｄが収まるように撮像が行われる。

つまり、第７および第８の校正用投影シーンにそれぞれ対応する第７および第８の校正用撮像画像は、互いに、スクリーン１０２の曲がりを有する方向と略垂直な方向（図１に示す場合は、水平方向）に沿ってずれた位置に、右端に位置する第４プロジェクタ１５０ｄが投影した校正パターンが収められるような撮像範囲を有することなる。

図６および図７に示すように、４台のプロジェクタを用いる場合は、第１と第２プロジェクタ、第２と第３プロジェクタ、および第３と第４プロジェクタの３つの組み合わせについてそれぞれ２組、さらに、端に位置する第１プロジェクタおよび第４プロジェクタ単独それぞれについて１つずつ、合計８つの校正用投影シーンが準備される。各校正用投影シーンの撮影では、図６および図７に示すように、カメラ１６０の撮影位置を移動し、組み合わせ（単独のものを含む。）間で異なる撮像範囲にずらしながら行われる。

ここで、異なる撮像範囲で撮像するとは、カメラ１６０の撮像範囲内に投影範囲が入るプロジェクタの組み合わせが変化（単独から２台の組み合わせへの変化、および、その逆も含む。）する程度にカメラの視点または向きの両方または一方を変えて撮像することをいう。なお、ユーザが同じ構図での撮像を意図し、手持ちで撮像する場合に生じ得る程度のカメラの視点、向きおよび画角のズレによっては、実質的な撮像範囲は変化しない。

再び図２を参照する。校正用撮像画像入力部１２４は、上述した各校正用投影シーンで投影された投影像を撮像した撮像画像の入力を受けて、複数の校正用撮像画像を記憶領域上に準備する。特定の実施形態においては、注目するプロジェクタ１５０に関し、当該注目するプロジェクタ１５０によりスクリーン１０２上に投影された校正パターンがそれぞれ異なる撮像範囲で撮像された複数の校正用撮像画像が準備される。

格子点抽出統合部１３０は、上記校正用投影シーンに対応して校正用撮像画像入力部１２４で準備された各校正用撮像画像から格子点を得る。格子点抽出統合部１３０は、より詳細には、特徴点抽出部１３２と、格子点変換部１３４と、格子点合成部１３６とを含み構成される。

特徴点抽出部１３２は、準備された複数の校正用撮像画像各々から特徴点を抽出する。ここで抽出される特徴点は、投影像の歪みを検出するための校正パターンに対応する格子点と、校正用画像間の位置合わせのための位置合わせパターンに対応する位置合わせ点とを含み得る。特徴点抽出部１３２は、本実施形態における格子点抽出手段および位置合わせ点抽出手段を構成する。

格子点変換部１３４は、合成の前処理として、注目する処理対象のプロジェクタ１５０に関し、上記異なる撮像範囲での複数組の格子点（この段階では、各格子点は各々の校正用撮像画像の座標系上の点である。）を、共通した座標系上に変換する。座標の変換は、上述した位置合わせ点に基づいて行う。

例えば、図６および図７に示す例では、端に位置する第１プロジェクタ１５０ａの校正パターンを含む投影像は、１枚目と２枚目の校正用撮像画像に共通して写り込んでいる。この第１プロジェクタ１５０ａの１枚目の撮像画像における格子点の組と、２枚目の撮像画像における格子点の組とが処理対象となる。第１プロジェクタ１５０ａの２枚目の撮像画像上の格子点は、例えば１枚目と２枚目の撮像画像で共通して写り込んでいる第１プロジェクタ１５０ａの位置合わせパターンに基づいて、１枚目の撮像画像の座標系上に変換される。こうして、共通する１枚目の撮像画像の座標系上の格子点の２組が得られる。

格子点合成部１３６は、格子点変換部１３４により共通座標系上に変換された上記異なる撮像範囲での撮像に基づく複数組の格子点を合成して、注目のプロジェクタ１５０に対し、合成された格子点の組を生成する。格子点合成部１３６は、本実施形態における格子点合成手段を構成するが、格子点の合成処理の詳細は、後述する。

格子点抽出統合部１３０は、すべてのプロジェクタ１５０の格子点の組を、統合された単一の座標系上に変換する。統合された単一の座標系（以下、統合座標系と参照する。）としては、特に限定されるものではないが、説明する実施形態では、スクリーン１０２に正対して撮像される１枚目の校正用撮像画像の座標系とすることができる。

補正係数算出部１４０は、統合座標系上の各プロジェクタ１５０毎の格子点の組に基づいて、補正処理部１１４ａ〜１１４ｂに対し設定する各種補正係数を計算する。補正係数算出部１４０は、より詳細には、幾何学的な補正係数を計算する幾何補正係数計算部１４２と、投影像の輝度のブレンディングの補正係数を算出するブレンディング係数計算部１４４とを含む。

ここで、ブレンディングとは、マルチプロジェクションで通常ブレンディングと言っているオーバーラップ部分の画素値を重み付けして１台分の明るさ、色になるように補正する処理とは別の幾何補正のための格子点座標の重み付け合成を言う。

幾何補正係数計算部１４２は、統合座標系上の格子点に基づいて、上記複数のプロジェクタ１５０各々から投影する投影画像を与えるプロジェクタ毎の幾何補正係数を計算する。幾何補正係数は、位置合わせ、スケール合わせ、歪み補正などの幾何学的な補正を織り込んだ補正係数である。

ブレンディング係数計算部１４４は、複数のプロジェクタ１５０各々に対し、注目するプロジェクタの投影像と、この注目するプロジェクタに隣接するプロジェクタ各々の投影像との間の重複領域を検出する。ブレンディング係数計算部１４４は、重複領域の検出結果に基づき、これらの投影像の重ね合わせを調整するブレンディング係数を計算する。このプロジェクタ毎のブレンディング係数により、スクリーン１０２上における複数のプロジェクタ１５０の投影像が重なる部分において、画像が滑らかに合成される。

補正処理部１１４は、それぞれ、幾何補正係数計算部１４２およびブレンディング係数計算部１４４によって計算された各種補正係数に基づき、コンテンツ画像からプロジェクタ毎の投影画像を生成する。

なお、図２に示す実施形態では、各機能部１１２〜１４４が単一の画像処理装置１１０上で実現されるものとして説明したが、映像投影システム１００の実施形態は、図２に示すものに限定されるものではない。他の実施形態では、台数の増加に伴う画像処理装置に集中する負荷を軽減するため、補正処理部１１４ａ〜１１４ｄ各々をプロジェクタ１５０ａ〜１５０ｄ各々上で実現してもよい。さらに他の実施形態では、各機能部１１２〜１４４を複数の画像処理装置上に分散実装してもよいし、すべての機能部１１２〜１４４をいずれかのプロジェクタ１５０上で実装してもよいし、画像処理装置１１０の機能と、複数のプロジェクタの機能とを備える単一の装置として構成してもよい。さらに、他の実施形態では、格子点抽出統合部１３０および補正係数算出部１４０の機能をサービスとしてネットワークを介して提供するサーバとして実装してもよい。
（全体処理フロー）
以下、図８を参照しながら補正処理の全体的な流れについて説明する。図８は、本実施形態による格子点抽出処理、各種補正係数の計算処理および補正係数に基づく補正処理の全体的な処理の流れを示すフローチャートである。図８に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ１００から開始される。

ステップＳ１０１では、画像処理装置１１０は、処理対象を識別する変数ｎを１に設定し、プロジェクタ１５０の台数Ｎを設定する。なお、ここでは、台数Ｎは、２以上であるものとする。

ステップＳ１０２では、１台目のプロジェクタから第１の校正用画像（格子および位置合わせパターンを含む。）を出力させ、１番目の校正用投影シーンを投影する。ここで、ユーザは、例えば画像処理装置１１０が行うガイダンスに従い、カメラ１６０の画角に投影中の１台目の校正用画像が収まるように、かつ、右側に偏らせて収まるように撮影を行う。ガイダンスとしては、例えば、ユーザに対し、カメラ１６０の画角に投影中の１台目の校正用画像が収まるように、かつ、右側に偏らせて収まるように撮影を行うよう指示するものである。

ステップＳ１０３では、ｎ台目のプロジェクタから第１の校正用画像（格子および位置合わせパターンを含む。）を出力させ、ｎ＋１台目のプロジェクタから第２校正用画像（位置合わせパターンのみを含む。）を出力させ、２ｎ番目の校正用投影シーンを投影する。ここで、ユーザは、例えば画像処理装置１１０が行うガイダンスに従い、カメラ１６０の画角に投影中のｎ台目およびｎ＋１台目の校正用画像が収まるように撮影を行う。

ステップＳ１０４では、ｎ台目のプロジェクタから第２校正用画像（位置合わせパターンのみ）を出力させ、ｎ＋１台目のプロジェクタから第１の校正用画像（格子および位置合わせパターンを含む。）を出力させ、２ｎ＋１番目の校正用投影シーンを投影する。

ステップＳ１０５では、処理対象の変数ｎが、組み合わせの数Ｎ−１に達したか否かを判定する。ステップＳ１０５で、まだＮ−１に達してないと判定された場合（ＮＯ）は、ステップＳ１０６へ処理を分岐させて、変数ｎを１だけ増分し、ステップＳ１０３へ処理を戻す。これに対して、ステップＳ１０５で、組み合わせの数Ｎ−１に達したと判定された場合（ＹＥＳ）は、ステップＳ１０７へ処理が分岐される。

ステップＳ１０７では、Ｎ台目のプロジェクタから第１の校正用画像（格子および位置合わせパターンを含む。）を出力させ、２Ｎ番目の校正用投影シーンを投影する。ここで、ユーザは、例えば画像処理装置１１０が行うガイダンスに従い、カメラ１６０の画角に投影中のＮ台目の校正用画像が収まるように、かつ、左側に偏らせて収まるように撮影を行う。ガイダンスとしては、例えば、ユーザに対し、カメラ１６０の画角に投影中のＮ台目の校正用画像が収まるように、かつ、右側に偏らせて収まるように撮影を行うよう指示するものである。

ステップＳ１０８では、画像処理装置１１０は、カメラ１６０からの複数の校正用撮像画像の入力をまとめて受けて、ステップＳ１０９へ処理を進める。なお、ここでは、一括で複数の校正用撮像画像の入力を受けるものとして説明するが、撮像毎に順次、校正用撮像画像の入力を受けてもよい。

ステップＳ１０９では、詳細を後述するが、画像処理装置１１０は、上記格子点抽出統合部１３０により、格子点抽出統合処理を実行する。ステップＳ１０９における格子点抽出統合処理により、すべてのプロジェクタ１５０の格子点の組が統合座標系上にて求められる。ステップＳ１１０では、画像処理装置１１０は、統合座標系上の各プロジェクタの格子点座標に基づき、各プロジェクタの幾何補正係数を計算する。ステップＳ１１１では、画像処理装置１１０は、各プロジェクタのブレンディング係数を計算する。

ステップＳ１１２では、画像処理装置１１０は、各補正処理部１１４に対し、ステップＳ１１０およびステップＳ１１１で計算されたプロジェクタ毎の幾何補正係数およびブレンディング係数を設定する。ステップＳ１１３では、画像処理装置１１０は、切替部１２２に対し、補正処理部１１４の出力に、投影画像出力部１１６の入力を切り替えさせて、投影モードに移行する。

画像処理装置１１０は、ステップＳ１１４で、コンテンツ画像を読み出し、ステップＳ１１５で、コンテンツ画像に対し、プロジェクタ毎の補正処理部１１４で補正処理を実行する。ステップＳ１１６では、画像処理装置１１０は、補正されたプロジェクタ毎の投影画像をプロジェクタ毎の投影画像出力部１１６からそれぞれ出力させ、ステップＳ１１７で、以降、通常モードに移行する。
（格子点抽出統合処理）
以下、図９〜図１５を参照しながら、各プロジェクタの格子点抽出統合処理の詳細について説明する。図９および図１０は、本実施形態による格子点抽出統合部１３０が実行する格子点抽出統合処理を示すフローチャートである。図９に示す処理は、図８に示したステップＳ１０９で呼び出されて、ステップＳ２００から開始される。

ステップＳ２０１では、特徴点抽出部１３２は、準備された複数の校正用撮像画像各々から、各々の撮像画像座標系におけるプロジェクタの投影像の円形状の重心座標を格子点座標（小数点精度）として抽出する。円形状の重心座標は、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって計算することができる。格子点座標は、図３Ａに示す校正パターンでは、全格子点についての（ｘ，ｙ）座標の配列として計算される。以下、ｊ枚目の校正用撮像画像におけるｉ台目のプロジェクタの格子点座標をＬ_ｉ，ｊで表す。

ステップＳ２０２では、特徴点抽出部１３２は、複数の校正用撮像画像各々から、各々の撮像画像座標系におけるプロジェクタ各々の投影像の矩形マーカの重心座標を位置合わせ点座標として抽出する。矩形マーカの重心座標も同様に、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって計算することができる。

ステップＳ２０３では、格子点抽出統合部１３０は、処理対象を識別する変数ｎを１で初期化し、ステップＳ２０４〜ステップＳ２０９では、両側に隣接したプロジェクタ１５０を有する２台目からＮ−１台目のプロジェクタ１５０について処理を行う。

図１１は、図６および図７に示す態様において、各校正用投影シーンを撮影して準備された８枚の校正用撮像画像と、これらの撮像画像間各々で求められる射影変換について説明する図である。

ステップＳ２０４では、格子点変換部１３４は、２ｎ＋１枚目の校正用撮像画像上のｎ＋１台目のプロジェクタの格子点座標Ｌ_{ｎ＋１，２ｎ＋１}を、射影変換により、２ｎ枚目の撮像画像の座標系上に変換し、格子点座標Ｌ_{ｎ＋１，２ｎ＋１→２ｎ}を計算する。以下、ｊ枚目の校正用撮像画像から抽出され、ｋ枚目の撮像画像の座標系上に変換されたｉ台目のプロジェクタの格子点座標をＬ_{ｉ，ｊ→ｋ}で表す。

ここでの射影変換は、２ｎ＋１枚目の撮像画像の座標系から２ｎ枚目の撮像画像の座標系上へ変換するものである。２ｎ＋１枚目の撮像画像の座標系から２ｎ枚目の撮像画像の座標系上へ変換する射影変換をＨ_{２ｎ＋１→２ｎ}で表す。射影変換Ｈ_{２ｎ＋１→２ｎ}の係数は、２ｎ＋１枚目および２ｎ枚目の校正用撮像画像で共通して写っているｎ＋１台目のプロジェクタの位置合わせ点の組に基づいて求めることができる。

ステップＳ２０５では、格子点変換部１３４は、２ｎ＋２枚目の撮像画像上のｎ＋１台目のプロジェクタの格子点座標Ｌ_{ｎ＋１，２ｎ＋２}を、射影変換Ｈ_{２ｎ＋２→２ｎ}により、２ｎ枚目の撮像画像の座標系上に変換し、格子点座標Ｌ_{ｎ＋１，２ｎ＋２→２ｎ}を計算する。ここでの射影変換Ｈ_{２ｎ＋２→２ｎ}の係数は、２ｎ＋２枚目および２ｎ枚目の校正用撮像画像で共通して写っているｎ＋１台目のプロジェクタの位置合わせ点の組に基づいて求めることができる。

２枚目および３枚目の撮像画像について、図１１を参照して説明すると、２枚目および３枚目の撮像画像の対には、撮像画像間で共通する第２プロジェクタ１５０ｂの投影像２３２ｂ，２３３ｂの矩形マーカ（実線の○で示されている。）の位置合わせ点座標の対が求められている。この場合、格子点変換部１３４は、この位置合わせ点座標の対に基づき、３枚目の撮像画像の座標系から２枚目の座標系へ変換する射影変換Ｈ_３→２の係数を計算する。同様に、２枚目および４枚目の校正用撮像画像の対について、第２プロジェクタ１５０ｂの投影像２３２ｂ，２３４ｂの矩形マーカ（実線の○で示されている。）の位置合わせ点座標の対に基づき、４枚目の撮像画像の座標系から２枚目の座標系へ変換する射影変換Ｈ_４→２の係数が計算される。

なお、４枚目および５枚目の撮像画像の対で、および、４枚目および６枚目の校正用撮像画像の対に関して、撮像画像間で共通する第３プロジェクタ１５０ｃの投影像２３４ｃ、２３５ｃ、２３６についても同様である。

ステップＳ２０６では、格子点合成部１３６は、注目するｎ＋１台目のプロジェクタの格子点を所定領域毎に区分けし、区分けに応じて、格子点座標Ｌ_{ｎ＋１，２ｎ}を計算する。より具体的には、ｎ＋１台目のプロジェクタの格子点のうち、（１）投影像の配列において左隣りのｎ台目のプロジェクタの投影範囲と重複する領域に含まれるものと、（２）右隣りのｎ＋２台目のプロジェクタの投影範囲と重複する領域に含まれるものと、（３）両重複領域のいずれにも含まれないｎ＋１台目のプロジェクタ単独の投影領域に含まれるものとが判別される。そして、注目するｎ＋１台目のプロジェクタの各格子点について上記区分けに基づいて、合成された格子点の座標値が求められる。

格子点合成部１３６は、（１）左隣りのｎ台目のプロジェクタとの重複領域（ｎ，ｎ＋１）に含まれると判定される格子点に対し、上記ステップＳ２０４で算出された格子点座標Ｌ_{ｎ＋１，２ｎ＋１→２ｎ}を格子点座標Ｌ_{ｎ＋１，２ｎ}として採用する。

格子点合成部１３６は、（２）右隣りのｎ＋２台目のプロジェクタとの重複領域（ｎ＋１，ｎ＋２）に含まれると判定される格子点に対し、上記ステップＳ２０５で算出された格子点座標Ｌ_{ｎ＋１，２ｎ＋２→２ｎ}を格子点Ｌ_{ｎ＋１，２ｎ}として採用する。

格子点合成部１３６は、（３）上記ｎ台目およびｎ＋２台目のプロジェクタの両投影範囲との重複領域（ｎ，ｎ＋１）または（ｎ＋１，ｎ＋２）のいずれにも含まれないと判定される格子点に対し、上記ステップＳ２０４で算出された組の対応する格子点座標Ｌ_{ｎ＋ １，２ｎ＋１→２ｎ}と、上記ステップＳ２０５で算出された組の対応する格子点座標Ｌ_{ｎ ＋１，２ｎ＋２→２ｎ}とをブレンディングし、ｎ＋１台目のプロジェクタの格子点Ｌ_{ｎ＋ １，２ｎ}を計算する。

図１２Ａは、ｎ＋１台目のプロジェクタの格子点について、異なる撮像範囲での校正用撮像画像に基づく複数組の格子点座標を用いた座標値のブレンディング方法を説明する図である。図１２Ａに示すように、ｎ＋１台目のプロジェクタ単独の投影領域に含まれる格子点については、重複領域（ｎ，ｎ＋１）で採用される組の対応する格子点座標Ｌ_{ｎ＋１ ，２ｎ＋１→２ｎ}と、重複領域（ｎ＋１，ｎ＋２）で採用される組の対応する格子点座標Ｌ_{ｎ＋１，２ｎ＋２→２ｎ}とを位置に応じてブレンディングした値を座標値として用いることができる。

ステップＳ２０７では、格子点抽出統合部１３０は、ｎ＋１台目の格子点座標Ｌ_{ｎ＋１ ，２ｎ}を、１以上の射影変換を適用して、１枚目の撮像画像の座標系上の格子点Ｌ_{ｎ＋１ ，１}を計算し、ステップＳ２０８へ処理を進める。

ステップＳ２０８では、格子点抽出統合部１３０は、処理対象を特定する変数ｎが、両側にプロジェクタがある最後のプロジェクタを示すＮ−２に達しているか否かに応じて、処理を分岐させる。ステップＳ２０８で、ｎがＮ−２に達していないと判定された場合（ＮＯ）は、ステップＳ２０９で、変数ｎを１だけ増分させて、ステップＳ２０４へ処理をループさせる。この場合、両側にプロジェクタがある次の注目するプロジェクタについて処理が繰り返される。一方、ステップＳ２０８で、ｎがＮ−２に達したと判定された場合（ＹＥＳ）は、ステップＳ２１０へ処理を分岐させる。

ステップＳ２１０〜ステップＳ２１６では、１番目のプロジェクタ１５０に対する格子点の合成処理が行われる。ステップＳ２１７〜ステップＳ２２４では、最後のＮ番目のプロジェクタ１５０に対する格子点の合成処理が行われる。以下、注目するプロジェクタが、投影像の配列において、曲がりの方向と略垂直な水平方向に沿った一方で他のプロジェクタと隣接し、他方で隣接していない、１番目および最後のＮ番目のプロジェクタ１５０である場合の格子点の合成処理について、より具体的に説明する。

ステップＳ２１０では、格子点変換部１３４は、２枚目の校正用撮像画像上の１台目のプロジェクタの格子点座標Ｌ_１，２を、射影変換Ｈ_２→１により、１枚目の撮像画像の座標系上に変換し、格子点座標Ｌ_{１，２→１}を計算する。

ステップＳ２１１では、格子点合成部１３６は、注目する１台目のプロジェクタの格子点を所定領域毎に区分けし、ポイントＡを介して、ステップＳ２１２へ処理が進められる。より具体的には、１台目のプロジェクタの格子点のうち、（１）投影像の配列において隣接する一方の２台目のプロジェクタの投影範囲と重複する領域に含まれるものと、（２）１台目のプロジェクタ単独の投影領域に含まれるものとが判別される。

注目する１台目のプロジェクタの格子点各々が、右隣の２台目のプロジェクタとの重複領域（１，２）に含まれるか否かは、３枚目の撮像画像の２台目のプロジェクタの格子点座標を射影変換Ｈ_３→２により変換した座標から外挿して求められる外周で囲まれた領域内に、２枚目の撮像画像の１台目のプロジェクタの格子点座標Ｌ_１，２各々が含まれるか否かを判定することによって判別することができる。

ステップＳ２１２〜ステップＳ２１６のループでは、注目する１台目のプロジェクタの格子点各々について、ステップＳ２１１でした区分けに基づいて、合成された格子点の座標値を求める。ステップＳ２１３では、格子点合成部１２６は、上記区分けに基づいて処理を分岐させる。

ステップＳ２１３で、処理対象の格子点が（１）２台目のプロジェクタとの重複領域（１，２）に含まれると判定された場合は、ステップＳ２１４へ処理が分岐される。ステップＳ２１４では、格子点合成部１３６は、上記２台目の投影範囲に重なる格子点に対し、上記ステップＳ２１０で算出された格子点座標Ｌ_{１，２→１}を格子点Ｌ_１，１として採用する。つまり、２台目の投影範囲に重なる格子点に対しては、それぞれ、１枚目および２枚目の校正用撮像画像のうちの隣接する２台目のプロジェクタの校正パターンが撮像されている３枚目の校正用投影画像と略同一の撮像範囲で撮像された一方（つまり２枚目の校正用撮像画像）に基づく組の格子点の座標値を用いて座標値が計算される。

ステップＳ２１３で、処理対象の格子点が（２）上記２台目のプロジェクタの投影範囲との重複領域（１，２）に含まれず単独の投影領域であると判定された場合は、ステップＳ２１５へ処理が進められる。ステップＳ２１５では、格子点合成部１３６は、投影範囲に重ならない格子点に対し、格子点座標Ｌ_１，１と、上記ステップＳ２１０で算出された組の対応する格子点座標Ｌ_{１，２→１}とをブレンディングし、１台目のプロジェクタの格子点Ｌ_１，１を計算する。

図１２Ｂは、１台目のプロジェクタの格子点について、異なる撮像範囲での校正用撮像画像に基づく複数組の格子点座標を用いたブレンディング方法を説明する図である。図１２Ｂに示すように、１台目のプロジェクタ単独の投影領域に含まれる格子点については、格子点座標Ｌ_１，１と、重複領域（１，２）で採用される組の対応する格子点座標Ｌ_{１， ２→１}とを位置に応じてブレンディングした値を用いることができる。このとき、重複領域の端から画像端までは単独投影領域とみなして、画像端で片方の重みが０となり、もう片方の重みが１になるように重み付けを行って、格子点座標の組の合成処理を行うことができる。

なお、説明する実施形態では、歪みの無い状態での格子点の水平位置に応じて線形にブレンディングするものとして説明したが、曲面スクリーンに特有に生じる歪みを考慮して、異なる関数形を用いてもよい。また、他の実施形態では、仮想的に固定幅のオーバーラップ部が存在するもとして、図１２Ａと同様な合成処理を行っても良い。

ステップＳ２１２〜ステップＳ２１６のループにおいて、１台目のプロジェクタのすべての格子点について処理完了すると、１台目のプロジェクタの格子点がすでに基準となる１枚目の画像座標系上であるので、そのまま、ステップＳ２１７以降の最後のプロジェクタに対する処理へ進められる。

ステップＳ２１７では、格子点変換部１３４は、最後の２ｎ＋４枚目の校正用撮像画像上のｎ＋２（＝Ｎ）台目のプロジェクタの格子点座標Ｌ_{ｎ＋２，２ｎ＋４}を、射影変換Ｈ２_{ｎ＋４→２ｎ＋３}により、２ｎ＋３枚目の撮像画像の座標系上に変換し、格子点座標Ｌ _{ｎ＋２，２ｎ＋４→２ｎ＋３}を計算する。

ステップＳ２１８では、格子点合成部１３６は、注目するｎ＋２（＝Ｎ）台目のプロジェクタの格子点を所定領域毎に区分けする。より具体的には、ｎ＋２（Ｎ）台目のプロジェクタの格子点のうち、（１）投影像の配列において隣接する一方のｎ＋１（Ｎ−１）台目のプロジェクタの投影範囲と重複する領域に含まれるものと、（２）ｎ＋２（＝Ｎ）台目のプロジェクタ単独の投影領域に含まれるものとが判別される。注目するｎ＋２（＝Ｎ）台目のプロジェクタの格子点が、左隣のｎ＋１（＝Ｎ−１）台目のプロジェクタとの重複領域（ｎ＋１，ｎ＋２）に含まれるか否かは、１台目で説明したものと同様の方法で判定することができる。

ステップＳ２１９〜ステップＳ２２３のループにおいては、注目するｎ＋２（＝Ｎ）台目のプロジェクタの各格子点について、ステップＳ２１８でした区分けに基づいて、合成された格子点の座標値を求める。ステップＳ２２０では、格子点合成部１２６は、上記区分けに基づいて処理を分岐させる。

ステップＳ２２０で、処理対象の格子点が（１）ｎ＋１（＝Ｎ−１）台目のプロジェクタとの重複領域（ｎ＋１，ｎ＋２）に含まれると判定された場合は、ステップＳ２２１へ処理が分岐される。ステップＳ２２１では、格子点合成部１３６は、上記ｎ＋１台目の投影範囲に重なる格子点に対し、上記ステップＳ２１７で算出された格子点座標Ｌ_{ｎ＋２， ２ｎ＋４→２ｎ＋３}を格子点Ｌ_{ｎ＋２，２ｎ＋３}として採用する。

ステップＳ２２０で、処理対象の格子点が（２）単独の投影領域であると判定された場合は、ステップＳ２２２へ処理が進められる。ステップＳ２２２では、格子点合成部１３６は、投影範囲に重ならない格子点に対し、格子点座標Ｌ_{ｎ＋２，２ｎ＋３}と、上記ステップＳ２１７で算出された組の対応する格子点座標Ｌ_{ｎ＋２，２ｎ＋４→２ｎ＋３}とをブレンディングし、ｎ＋２台目のプロジェクタの格子点Ｌ_{ｎ＋２，２ｎ＋３}を計算する。

ステップＳ２１９〜ステップＳ２２３のループにおいて、ｎ＋２（＝Ｎ）台目のプロジェクタのすべての格子点について処理完了すると、ステップＳ２２４へ処理が進められる。ステップＳ２２４では、格子点抽出統合部１３０は、ｎ＋２（＝Ｎ）台目の格子点座標Ｌ_{ｎ＋２，２ｎ＋３}を、１以上の射影変換を適用して、１枚目の撮像画像の座標系上の格子点Ｌ_{ｎ＋２，１}を計算し、ステップＳ２２５で本処理を終了させる。図１１に示すように、Ｎ＝４，ｎ＝２の場合、例えば７枚目の撮像画像の座標系上に変換された４台目のプロジェクタの格子点座標Ｌ_４，７は、射影変換Ｈ_７→６、射影変換Ｈ_６→４、射影変換Ｈ _４→２および射影変換Ｈ_２→１により、１枚目の格子点座標Ｌ_４，１に変換される。

以上のようにして、すべてのプロジェクタ１５０ａ〜１５０ｄの格子点座標が、例えば１枚目の校正用撮像画像の座標系に変換、統合され、格子点位置座標Ｌ_１，１〜Ｌ_Ｎ，１が算出される。なお、説明する実施形態においては、異なる撮像範囲で撮像された複数の校正用撮像画像間で共通する座標系に変換した後、格子点を合成し、単一の統合座標系へ変換するものとして説明した。しかしながら、変換の順序は、特に限定されるものではなく、他の実施形態では、単一の統合座標系へ変換した後に格子点の合成が行われてもよい。

図１３は、統合座標系３００上に統合された各プロジェクタの格子点座標の集合を模式的に示す図である。図１３に示すように、各プロジェクタの格子点座標の集合３０２ａ，３０２ｂ，３０２ｃ，３０２ｄは、それぞれ、１枚目の校正用撮像画像の統合座標系３００上に変換され、統合されている。なお、図１３には、撮像された複数のプロジェクタ１５０ａ〜１５０ｄの円形状が重ね合わせて表現されているが、画像自体は重ね合わせる必要はない。
（分割撮像および格子点合成の効果）
以下、図１４および図１５を参照しながら、分割撮像およびその後の撮像格子点座標の合成処理の効果について検討する。図１４に示すように、第１プロジェクタ１５０ａに関し、１枚目の撮像画像における校正用投影像の左端および２枚目の撮像画像における校正用投影像の右端は、カメラの画角の中央に位置している。カメラの画角の中央は、垂直方向にのみ曲がった曲面スクリーンでの透視変換による糸巻き状の歪みに対し、もっとも歪みの少ない領域となっている。さらに、垂直方向にのみ曲がった曲面スクリーンでの透視変換による歪みは、水平方向のみで発生するが、レンズ中心から外側へ行くに従って大きくなる性質があり、その歪み方には左右対称性がある。図１４中には、矢印にて、曲面スクリーンでの透視変換による糸巻き状の歪みの方向および強さが模式的に示されている。

上述したステップＳ２１４では、（１）重複領域に含まれると判定された格子点に対しては、上記ステップＳ２１０で算出された２枚目の撮像画像に基づく格子点座標Ｌ_{１，２ →１}が採用されている。これは、３枚目の撮像画像に基づく右側の２台目のプロジェクタの格子点に対し、略同一の撮像範囲である２枚目の撮像画像に基づく格子点座標Ｌ_{１，２ →１}の方が、異なる撮像範囲である１枚目の撮像画像に基づく格子点座標Ｌ_１，１よりも、カメラ１６０のレンズの歪みに起因したズレが少ないためである。

これに対し、上述したステップＳ２１５では、（２）投影範囲に重ならない単独投影領域の格子点に対し、格子点座標Ｌ_１，１と、上記ステップＳ２１０で算出された組の対応する格子点座標Ｌ_{１，２→１}とが位置に応じてブレンディングされている。

このとき、本実施形態では、図１４に示すように互いに逆方向の歪みを有する座標値Ｌ _１，１および座標値Ｌ_{１，２→１}が、図１２Ｂに示すように、歪みの少ない方が大きい重み付けがなされ、歪みの大きいほうが小さい重み付けでなされて、ブレンディングされることになる。このため、透視変換による糸巻き状の歪みは、結果的に軽減されることになる。つまり、カメラの画角の中央に位置する部分のみならず、その中間の単独投影領域についても、幾何補正の歪みは、単一の視点からの単一の格子点の組を用いて校正する場合に比べて小さくなることが期待される。

同様に、図１５には、両側に隣接するプロジェクタが存在するプロジェクタの撮像格子点座標の合成処理が示されている。両側に隣接するプロジェクタが存在するプロジェクタも同様に、重複領域（１）および（２）の間にある単独投影領域（３）は、図１２Ａに示すように、逆方向の歪みを持った座標値が歪みの少ない方が大きく、歪みの大きいほうが小さい重み付けでブレンディングされることになり、透視変換による糸巻き状の歪みは、結果的に軽減されることになる。したがって、カメラ画角の中央に位置する連結する重複領域のみならず、その中間の単独投影領域についても、幾何補正の歪みが、単一の視点からの単一の格子点の組を用いて補正する場合に比べて小さくなっていると考えられる。

このように、撮像範囲の異なる校正用撮像画像から得られた格子点の組を合成することにより、垂直方向にのみ曲がった曲面スクリーンを用いた場合のカメラ１６０による透視変換に起因した糸巻き形状の歪みを軽減することができる。種々の位置の視点から複数人が見るような場合でも、補正後の投影像の左右端でのたる状の膨らみを軽減し、人が覚える違和感を緩和することができる。複数視点で校正パターンを撮像した校正用撮像画像により校正されるので、投影された校正パターンをおおよそ平行射影した画像に近い校正画像による校正と同等の補正が実現される。

なお、上述した実施形態では、プロジェクタ１５０それぞれに対し、異なる撮像範囲で撮像された２つの校正用撮像画像が準備されているものとして説明した。しかしながら、プロジェクタ１５０毎の異なる撮像範囲で撮像された校正用撮像画像の数は、２に限定されるものでなく、３以上の校正用撮像画像を準備することを妨げるものではない。この場合、各々から格子点の組を抽出し、３以上の格子点の組を位置に応じて合成すればよい。（補正係数計算処理）
図１６Ａ〜１６Ｂは、統一された座標系上における４つのプロジェクタの投影範囲、補正後の投影目標領域および投影コンテンツ画像を説明する。以降、幾何補正係数計算部１４２は、すべてのプロジェクタ１５０各々の合成された格子点の組に基づいて、統合された撮像座標系において矩形の投影目標領域３１０を設定し、投影目標領域３１０に投影すべきコンテンツ画像３２０が貼り付けられるように各プロジェクタに対する幾何補正係数を計算する。

図１６Ａには、統合座標系３００上において検出された４つのプロジェクタの投影範囲３０４ａ〜３０４ｄが表されている。幾何補正係数計算部１４２は、統合座標系において、すべてのプロジェクタの投影範囲３０４の論理和（ＯＲ）を求めて、コンテンツ画像をマップするための補正後の投影目標領域３１０を上記論理和の領域内に設定する。補正後の投影目標領域３１０は、コンテンツ画像を、そのアスペクト比を保って、すべてのプロジェクタの投影範囲３０４ａ〜３０４ｄの論理和となる領域内に最大の大きさでマップするように設定される。

補正後の投影目標領域３１０は、図１６Ａの点線で示した矩形領域のように、矩形範囲内にコンテンツ画像のアスペクト比（例えばＭ：Ｎ）を保って最大サイズで割り付けられた領域となる。そして、図１６Ｂに示すように、この補正後の投影目標領域３１０に、投影すべきコンテンツ画像３２０が貼り付けられることになる。

図１７Ａは、計算された１つのプロジェクタの幾何補正係数のデータ構造を例示する。図１７Ａに示すように、こうして求めたプロジェクタ・メモリの全画素に対する画素位置が、幾何補正係数となる。図１７Ｂは、計算された１つのプロジェクタのブレンディング係数のデータ構造を例示する。図１７Ｂに示すように、プロジェクタ・メモリの全画素に対するブレンディング係数が求められる。

なお、幾何補正係数の計算およびブレンディング係数の計算については、合成された格子点の組を使用する点を除いて、通常と同様に行うことができるので、これ以上の説明は割愛する。補正処理も、全画素に対する幾何補正係数およびブレンディング係数が求められた以降は、通常と同様に行うことができるので、これ以上の説明は割愛する。
（垂直方向のスケール）
上述した校正処理により、校正パターンをおおよそ平行射影した画像に近い校正画像による校正が行えることになるが、垂直方向の画素間隔は、カメラ視点で見た場合に正しい画素間隔で見えるような補正がなされることになる。以下、投影体が曲がりを有する方向の画素間隔を改善することができる好適な実施形態による映像投影システムについて説明する。この好適な実施形態による校正処理は、スクリーンの曲率が大きい場合に好適に適用することが可能である。

好適な実施形態では、上述した校正パターンを投影した校正用撮像画像に加えて、校正パターンの撮像と同じ撮像条件で、図１８Ａに示すような貼り直し可能な等間隔の物理スケール（チェッカーパターンなど）２５０を、図１８Ｂに示すようにスクリーン曲面の表面上に垂直方向に貼って、撮像時のカメラ１６０の画角の中央にあたる位置に物理スケールがくるように撮像する。これにより、曲面スクリーンの曲がりを有する方向と略同一方向に伸びるよう投影面に張り付けられた物理スケールが略中央に収まるように撮像された撮像画像を準備する。

図１８Ｃは、カメラ１６０により撮像された曲面スクリーン画像２５２および物理スケール画像２５４を示す図である。好適な実施形態による補正係数算出部１４０は、撮像画像中の物理スケール画像２５４から、カメラの撮像画像（統合座標系）のｙ座標からコンテンツ画像のｙ'座標へのマッピングを規定する垂直方向の１次元補正情報を求めて、このスケール撮像画像に基づく座標補正を施して、幾何補正係数およびブレンディング係数を計算することができる。１次元の補正情報は、一定程度の粒度の物理スケールがあれば、図１８Ｄに示すように区分線形関数で近似することができる。また、上述した統合座標系への位置合わせを行うため、１つのプロジェクタ１５０から、位置合わせパターンを含む第２校正用画像を投影した状態で、上記物理スケールを撮像した画像を得てもよい。

なお、横円筒内壁をスクリーンとした場合のように、垂直方向のみ曲がった曲面で水平方向には均一な断面である場合は、垂直方向の画素間隔の伸び縮みは一定となる。このため、一箇所で分割撮像のどれか１枚で計測すればよいことになる。一方、横にした円錐台の内壁をスクリーンとした場合のように、スクリーンが先細りする形状を有している場合は、複数箇所で物理スケールを計測し、水平方向で補間することによって、各水平位置での垂直方向の１次元補正情報を計算することができる。

なお、上述した好適な実施形態では、垂直方向の画素間隔の変化を物理スケールにより計測するものとして説明した。しかしながら、曲面スクリーンの曲率が小さい場合は、そもそも歪みが無視できるので、物理スケールにより計測は、必要に応じて行えばよい。さらに、スクリーンの垂直断面の曲線情報と撮像時のカメラおよびスクリーンの相対角度の情報が与えられる場合は、それらの情報からシミュレーションにより上記１次元補正情報を計算してもよい。
（単一のプロジェクタを含む映像投影システム）
なお、上述までの実施形態では、主に２以上のプロジェクタを有する映像投影システムについて説明してきた。以下、単一のプロジェクタを含む映像投影システムにかかる変形例の実施形態について説明する。

図１９は、変形例の実施形態による映像投影システム４００の機能ブロック図である。図１９に示す画像処理装置４１０は、コンテンツ格納部４１２と、補正処理部４１４と、投影画像出力部４１６と、切替部４２２とを含み構成される。画像処理装置４１０は、さらに、校正用画像格納部４１８と、校正用シーン選択部４２０と、校正用撮像画像入力部４２４と、格子点抽出統合部４３０と、補正係数算出部４４０とを含み構成される。

格子点抽出統合部４３０は、より詳細には、特徴点抽出部４３２と、格子点変換部４３４と、格子点合成部４３６とを含み構成される。補正係数算出部４４０は、より詳細には、幾何学的な補正係数を計算する幾何補正係数計算部４４２を含む。

変形例の実施形態による校正用撮像画像入力部４２４は、プロジェクタ４５０によりスクリーン上に投影された校正パターンがスクリーンの曲がり方向に関連してそれぞれ異なる撮像範囲で撮像された複数の校正用撮像画像を準備する。ここでは、プロジェクタ４５０は、一台しかないので、曲がりの方向と略垂直な方向に視点をずらした異なる撮像範囲で撮像された２枚の校正用撮像画像を準備すればよい。特徴点抽出部４３２は、準備された複数の校正用撮像画像各々から特徴点を抽出する。格子点変換部４３４は、合成の前処理として、プロジェクタ４５０に関し、上記異なる撮像範囲での複数組の格子点を、共通した座標系上に変換する。座標の変換は、上述した位置合わせ点に基づいて行う。なお、変形例の実施形態では、プロジェクタ４５０が一台しかなく、２つの校正用撮像画像が得られるため、共通した座標系上への変換により、単一の統合座標系上での格子点が得られることになる。

格子点合成部４３６は、格子点変換部４３４により共通座標系上に変換された上記異なる撮像範囲での撮像に基づく複数組の格子点を合成して、プロジェクタ４５０に対し、合成された格子点の組を生成する。このとき、画像端から画像端まで、単独投影領域とみなして、一方の画像端で片方の重みが０となり、もう片方の重みが１になるように、他方の画像端で片方の重みが１となり、もう片方の重みが０になるように重み付けを行って、格子点座標の組の合成処理を行うことができる。
（外挿予測結果に基づく校正処理を実行する映像投影システム）
上述までの実施形態によれば、１以上の投影手段により投影体上に像を投影するための投影システムにおいて、１つの方向で曲がりを有する投影体に対し、複数の視点からの観察を考慮して投影像を補正することが可能となる。

一方、特に超短焦点プロジェクタを用いて、横円筒内壁のようなスクリーンが１方向に曲がった曲面を有する投影体に投影する場合に、校正パターンが存在しない外側領域において補正精度が劣化する場合がある。校正パターンが存在する領域内に画像が収まるように投影することも可能であるが、投影画像の校正パターンの外部領域に相当する部分を有効に活用ができなくなる。このため、校正のためのパターンが存在しない外部領域を含めて、高い精度での校正することを可能とすることも求められている。以下に説明する他の実施形態は、そのような技術的な要望に対応するものである。

以下、図２０〜図２５Ｃを参照しながら、他の実施形態について説明するが、図１〜図１７Ｂに示す実施形態と共通する部分があるので、以下、相違点を中心に説明する。なお、図１〜図１７Ｂに示す実施形態と同様のはたらきをする要素に対しては、同一符番を付している。

説明する他の実施形態における全体構成は、図１を参照して説明した実施形態と同様であるが、説明する他の実施形態においては、プロジェクタ１５０は、短焦点プロジェクタを用いることができ、より好ましくは、超至近投写が可能な超短焦点プロジェクタを用いることができる。

図２０は、他の実施形態による映像投影システム１００の機能ブロック図である。図２０に示すシステム１００は、画像処理装置１１０上で動作する複数の機能ブロックを含む。画像処理装置１１０は、図２に示したものと同様のはたらきをする、コンテンツ格納部１１２、プロジェクタ毎の補正処理部１１４ａ〜１１４ｄ、プロジェクタ毎の投影画像出力部１１６ａ〜１１６ｄ、プロジェクタ毎の切替部１２２ａ〜１２２ｄ、校正用画像格納部１１８、校正用シーン選択部１２０、校正用撮像画像入力部１２４、格子点抽出統合部１３０および補正係数算出部１４０に加えて、外挿予測部１７０を含み構成される。

校正用投影シーンおよびその撮像方法は、図６および図７に示したものと同様である。図６および図７に示すように、説明する他の実施形態では、台数の２倍の回数の撮像に対応した校正用投影シーンが準備されている。校正用投影シーンは、それぞれ注目する１つのプロジェクタ１５０から図３Ａに示す第１の校正用画像２００を投影したシーンを２つずつ含む。注目する１つのプロジェクタ１５０から図３Ａに示す第１の校正用画像２００を投影している間は、他のプロジェクタ１５０は、何も投影しないか、隣接するプロジェクタから図３Ｂに示す第２校正用画像２１０を投影する。各校正用投影シーンの撮影では、図６および図７に示すように、カメラ１６０の撮影位置を移動し、プロジェクタの組み合わせ（１のみ、１と２、２と３、３と４、４のみ）間で異なる撮像範囲にずらしながら行われる。

再び図２０を参照する。格子点抽出統合部１３０は、上記校正用投影シーンに対応して準備された各校正用撮像画像から、特徴点を抽出し、単一の座標系上に統合する。ここで抽出される特徴点は、投影像の歪みを検出するための校正パターン２０６に対応する格子点と、位置合わせパターン２０２，２１２に対応する位置合わせ点とを含み得る。特徴点は、撮像画像上で各図形要素の重心を求めることによって座標が求められる。格子点の座標は、プロジェクタメモリ上の座標と、カメラ１６０による撮像画像の座標系上の座標との対応付けを規定する。位置合わせ点の座標は、校正用画像間で位置合わせを行って単一の撮像画像の座標系上に統合する際の基準として用いられる。格子点抽出統合部１３０は、他の実施形態における抽出手段を構成する。

なお、図６および図７に示す例では、注目するプロジェクタ１５０各々について、異なる撮像範囲での複数組の格子点が得られている。このため、好適な実施形態では、上述までの実施形態と同様に、格子点抽出統合部１３０は、複数組の格子点を合成する処理を実行することができる。格子点の合成により、幾何補正における隣接し合うプロジェクタ１５０間の重複領域での相対的な位置ズレや、１つの方向で曲がりを有する投影体上への投影に起因した歪みを軽減することができる。

外挿予測部１７０は、校正パターン２０６に対応する格子点（以下、実測される格子点を実測格子点と参照する場合がある。）の外側部分に外挿した格子点（以下、外挿される格子点を外挿格子点と参照する場合がある。）の座標を予測する。外挿予測部１７０は、より詳細には、垂直方向外挿計算部１７２と、水平方向外挿計算部１７４とを含み構成される。

垂直方向外挿計算部１７２は、スクリーン１０２の曲がりを有する垂直方向に並ぶ複数の実測格子点の座標に基づいて、２次以上の関数形により、垂直方向に外挿される外挿格子点の座標を計算する。垂直方向外挿計算部１７２は、上方向および下方向の各方向について、外挿格子点の座標を計算する。

水平方向外挿計算部１７４は、曲がりを有する垂直方向とは異なる水平方向に並ぶ複数の格子点の座標に基づいて、水平方向に外挿される格子点の座標を計算する。水平方向外挿計算部１７４は、典型的には、１次の線形関数により、水平方向に外挿される格子点の座標を計算することができる。水平方向外挿計算部１７４は、左方向および右方向の各方向について、外挿格子点の座標を計算する。

垂直方向外挿計算部１７２および水平方向外挿計算部１７４は、それぞれ、他の実施形態における第１方向計算手段および第２方向計算手段を構成する。なお、説明する他の実施形態では、スクリーン１０２が垂直方向に曲がりを有するものとして説明され、これに対応して、垂直方向外挿計算部１７２が、２次以上の関数形により外挿格子点の座標を計算するものとして説明される。しかしながら、スクリーン１０２が水平方向に曲がりを有するさらに他の実施形態では、水平方向外挿計算部１７４が２次以上の関数形により外挿格子点の座標を計算することになる。

外挿予測部１７０による外挿格子点の座標の予測結果は、格子点抽出統合部１３０および補正係数算出部１４０へと提供される。外挿格子点の予測結果は、格子点抽出統合部１３０において格子点を合成する際、補正係数算出部１４０で幾何補正係数およびブレンディング補正係数を計算する際に用いられる。

補正係数算出部１４０は、得られた各プロジェクタ１５０毎の格子点（実測格子点および外挿格子点を含む。）に基づいて、補正処理部１１４ａ〜１１４ｂに対し設定する各種補正係数を計算する。

なお、図２０に示す他の実施形態でも、各機能部１１２〜１４４、１７０〜１７４が単一の画像処理装置１１０上で実現されるものとして説明したが、映像投影システム１００の実施形態は、図２０に示すものに限定されるものではない。さらに他の実施形態では、各機能部１１２〜１４４、１７０〜１７４を複数の画像処理装置上に分散実装してもよいし、すべての機能部１１２〜１４４、１７０〜１７４をいずれかのプロジェクタ１５０上で実装してもよいし、画像処理装置１１０の機能と、複数のプロジェクタの機能とを備える単一の装置として構成してもよい。さらに他の実施形態では、格子点抽出統合部１３０、外挿予測部１７０および補正係数算出部１４０の一部または全部の機能をサービスとしてネットワークを介して提供するサーバとして実装してもよい。

以下、図２１を参照しながら補正処理の全体的な流れについて説明する。図２１は、他の実施形態による格子点抽出処理、各種補正係数の計算処理および補正係数に基づく補正処理の全体的な処理の流れを示すフローチャートである。図２１に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ３００から開始される。

ステップＳ３０１では、画像処理装置１１０は、各校正用投影シーンに対応して各プロジェクタ１５０から校正用画像を出力させ、各校正用投影シーンに対応してカメラ１６０により撮像される校正用撮像画像の入力を受ける。なお、ここでは、図６および図７に示すような複数の校正用投影シーンに対応して、複数回の投影が行われ、ユーザは、例えば画像処理装置１１０が行うガイダンスに従い、複数回の撮像を行うものとする。また、複数の校正用撮像画像の入力は、すべての校正シーンの撮像が終わった後に一括で入力を受けてもよいし、各校正シーンでの撮像毎に順次、校正用撮像画像の入力を受けてもよい。校正用投影シーンの投影および撮像については、詳細は割愛する。

ステップＳ３０２では、画像処理装置１１０は、上記格子点抽出統合部１３０により、格子点抽出統合処理を実行する。なお、異なる校正用撮像画像に帰属する同一のプロジェクタ１５０の格子点の組を合成する際に、外挿予測部１７０による外挿予測結果が参照され得る。ステップＳ３０２における格子点抽出統合処理により、すべてのプロジェクタ１５０の格子点の組が統合された座標系上にて求められる。

ステップＳ３０３では、画像処理装置１１０は、統合座標系上の各プロジェクタの格子点座標に基づき、各プロジェクタの幾何補正係数を計算する。ステップＳ３０４では、画像処理装置１１０は、統合座標系上の各プロジェクタの格子点座標に基づき、各プロジェクタのブレンディング係数を計算する。なお、幾何補正係数およびブレンディング係数を計算する際に、外挿予測部１７０による外挿予測結果が参照され得る。

ステップＳ３０５では、画像処理装置１１０は、各補正処理部１１４に対し、ステップＳ３０３およびステップＳ３０４で計算されたプロジェクタ毎の幾何補正係数およびブレンディング係数を設定する。ステップＳ３０６では、画像処理装置１１０は、切替部１２２に対し、補正処理部１１４の出力に、投影画像出力部１１６の入力を切り替えさせて、投影モードに移行する。

画像処理装置１１０は、ステップＳ３０７で、コンテンツ画像を読み出し、ステップＳ３０８で、コンテンツ画像に対し、プロジェクタ毎の補正処理部１１４で補正処理を実行する。ステップＳ３０９では、画像処理装置１１０は、補正されたプロジェクタ毎の投影画像をプロジェクタ毎の投影画像出力部１１６からそれぞれ出力させ、ステップＳ３１０で、以降、通常モードに移行する。

なお、図２１に示した他の実施形態では、一度補正を行った後は、通常モードに移行するものとして説明した。しかしながら、これに限定されるものではなく、さらに他の実施形態では、通常モードに移行する前に、コンテンツ画像を投影する目標投影領域の四隅の位置を、スクリーン１０２の四隅に合うように調整する作業が行われてもよい。
（外挿予測処理）
以下、図２２および図２３Ａ〜２３Ｃを参照しながら、校正処理における外挿予測処理について、より詳細に説明する。図２２は、他の実施形態による映像投影システム１００における画像処理装置１１０が実行する外挿予測処理を示すフローチャートである。図２３Ａ〜２３Ｃは、他の実施形態による映像投影システム１００における外挿予測処理の各段階の処理を説明する図である。

図３Ａに示すように、プロジェクタ１５０から出力される第１の校正用画像２００には、図形要素（図３Ａでは円）が配列された校正パターン２０６が含まれる。しかしながら、校正パターン２０６は、校正用画像２００の中央の一部の領域を占めており、その外側には空白領域が存在する。この空白領域は、典型的には、校正パターンがスクリーン１０２外にはずれて投影されてしまって、一部の図形要素を欠いた状態や歪んだ状態で格子点の検出が行われてしまうことを防止するために設けられる。校正パターン２０６の内側の領域だけで、コンテンツを投影する目標投影領域を設定してもよいが、その場合、有効に使用できる画像領域が狭まってしまうことになる。そのため、校正パターン２０６の外側の空白領域を含めて校正を行うことが望ましい。そこで、他の実施形態による外挿予測部１７０は、校正パターン２０６の外側の空白領域の格子点と、撮像画像の座標系上の座標との対応付けを計算する。

図２３Ａ〜２３Ｃは、それぞれ、外挿予測処理における各段階の処理を示す。図２３Ａ〜２３Ｃそれぞれの左側の図は、プロジェクタメモリ上の左上隅周辺の格子点を表しており、右側の図は、対応する格子点の撮像画像座標系上の座標を表している。図２３Ａ〜２３Ｃそれぞれにおいて、黒丸は、実測格子点を表し、破線、一点鎖線および点線の丸は、外挿格子点を表す。破線、一点鎖線および点線の丸のうち灰色で塗られた丸は、その段階で予測済みの外挿格子点を表す。

図２２に示す処理は、図２１に示すステップＳ３０２、ステップＳ３０３およびステップＳ３０４などの外挿格子点を必要とする処理で呼び出されて、ステップＳ４００から開始される。ステップＳ４０１では、画像処理装置１１０は、外挿予測部１７０により、実測格子点の組を取得する。なお、図２３Ａに示すように、実測格子点（黒丸）には、撮像画像座標系上での座標情報が付されている。例えば、実測格子点が単一の座標系上に統合された後は、各実測格子点は、統合された座標系上の座標情報を保持する。

ステップＳ４０２〜ステップＳ４０６のループでは、上方向および下方向の各方向について、ステップＳ４０３〜ステップＳ４０５で示す処理が実行される。ステップＳ４０３では、画像処理装置１１０は、垂直方向外挿計算部１７２により、校正パターンの各列（垂直方向の並び）について、現時点の最外の所定数の格子点の座標を用いて、所定間隔だけ上方向（または下方向）へ外挿した外挿格子点の座標を計算する。なお、１回目のステップＳ４０３では、計算の基礎となる現時点の格子点には、ステップＳ４０１で与えられた実測格子点が含まれる。

ステップＳ４０３での外挿計算は、２次以上の関数形を用いて計算することができる。説明する他の実施形態では、ステップＳ４０３での外挿計算では、最外から３つの格子点の座標から、２次曲線により、最外の格子点から所定間隔分外挿された外挿格子点の座標が計算される。ここでの外挿を行う際の所定間隔は、プロジェクタメモリ上の間隔であり、例えば、校正パターン配列の１行分、１／２行分などの間隔が設定される。

現時点で最外の格子点（後述するように、２回目以降のステップＳ４０３では、前ステップまでで求められた外挿格子点となる。）の位置ベクトルをＸ［０］、それより１行分だけ内側にある格子点の位置ベクトルをＸ［１］、２行分だけ内側にある格子点の位置ベクトルをＸ［２］とすると、Ｘ［０］、Ｘ［１］およびＸ［２］の３点を通る曲線は、媒介変数ｔを用いた２次関数である下記式（１）で表される。

上記式（１）で表される曲線は、ｔ＝２の場合、Ｘ［２］を通り、ｔ＝１の場合、Ｘ［１］を通り、ｔ＝０の場合、Ｘ［０］を通ることになる。そして、１行分外挿する場合は、上記式（１）にｔ＝−１を代入して得られる下記式（２）を用いて計算することができる。

好ましい実施形態において、垂直方向外挿計算部１７２は、２次関数形で垂直方向に外挿された格子点の座標をそのまま推定座標として用いることができる。さらに他の実施形態では、垂直方向外挿計算部１７２は、下記式（３）を用いて、１次関数形で垂直方向に外挿された格子点の座標と、２次の関数形で垂直方向に外挿された格子点の座標とを所定の重みＲで掛け合わせて、推定座標を計算することができる。重みＲ＝１００とした場合が、上述した外挿格子点の座標をそのまま推定座標として用いる好ましい実施形態に対応する。

現時点で最外の格子点の位置ベクトルをＸ［０］、それより１行分だけ内側にある格子点の位置ベクトルをＸ［１］とすると、Ｘ［０］およびＸ［１］の２点を通る直線は、媒介変数ｔを用いた１次関数である下記式（４）で表される。

上記式（４）で表される直線は、ｔ＝１の場合、Ｘ［１］を通り、ｔ＝０の場合、Ｘ［０］を通ることになる。そして、１行分外挿する場合は、上記式（４）にｔ＝−１を代入して得られる下記式（５）を用いて計算することができる。

ステップＳ４０３により、校正パターン２０６の水平方向に並ぶ各列について外挿格子点が求められる。ステップＳ４０４では、画像処理装置１１０は、垂直方向外挿計算部１７２により、外挿された各列の格子点の座標を平滑化する。ここで、平滑化は、例えば、隣接する３列の外挿された格子点の座標の重心を、中心の列の格子点の座標として求めることにより行うことができる。この平滑化により、外挿格子点の波うちが軽減され、外挿の精度を向上することができる。なお、ステップＳ４０４の処理は、校正の精度を向上する観点から実行することが好ましいが、任意の処理である。

ステップＳ４０５では、画像処理装置１１０は、所定間隔だけ上方向（または下方向）へ外挿した結果、上端（または下端）に達したか否かを判定する。ステップＳ４０５で、上端（または下端）に達していないと判定された場合（ＮＯ）は、ステップＳ４０３へ処理をループさせて、上端（または下端）に達するまで、ステップＳ４０３およびＳ４０４の処理を繰り返させる。ステップＳ４０５で、上端（または下端）に達したと判定された場合（ＹＥＳ）は、ステップＳ４０６へ処理が進められる。

なお、上端（または下端）に達したか否かは、事前に定義された校正パターン２０６と校正パターン２０６の外側に画定される外周との関係に基づいて判定することができる。例えば、プロジェクタメモリ上で２．５行分だけ内側の位置から校正パターンの図形要素を設けるような定義がなされている場合は、上端（または下端）は、最外の格子点から上方向（または下方向）に２．５行分だけ上（または下）に位置するものとして定義される。このようにして、外挿格子点の座標の計算が、上端（または下端）に到達するまで繰り返される。

なお、２回目以降のステップＳ４０３では、計算時点の複数の格子点の座標に基づいて、さらに外挿される格子点の座標が計算される。２回目以降のステップＳ４０３における現時点の格子点には、ステップＳ４０１で与えられた実測格子点と、それ以前のステップＳ４０３で得られた外挿格子点とが含まれる。その際に、計算の基礎となる格子点の座標は、ステップＳ４０４で平滑化が行われる場合、平滑化された座標となる。また、上端は、最外の実測格子点から行の整数倍で定義されるとは限らないため、最終の回のステップＳ４０３では、事前に定義された校正パターンと外周との関係から、適切な間隔を見積もり（例えば、２．５行−１行×２回＝０．５行）、端数分（例えば０．５行）相当外挿した座標（例えばＸ［−０．５］）を計算すればよい。

このようにして、与えられた実測格子点の撮像画像座標系における、対象のプロジェクタ１５０の投影可能領域の上辺および下辺の上に位置する外挿格子点（図２３の例では、３回目）および中間位置の外挿格子点（図２３の例では１回目および２回目）の座標が、図２３（Ａ）に示すように外挿予測によって計算される。

上方向および下方向の両方についてステップＳ４０３〜ステップＳ４０５の処理が実行されると、ステップＳ４０２〜ステップＳ４０６のループを抜けて、ステップＳ４０７へ処理が進められる。ステップＳ４０７〜ステップＳ４０９のループでは、左方向および右方向の各方向について、ステップＳ４０８の処理が実行される。ステップＳ４０８では、画像処理装置１１０は、水平方向外挿計算部１７４により、各行について最外の所定数の格子点を用いて、左端（または右端）へ外挿した格子点を計算する。

説明する他の実施形態では、ステップＳ４０８での外挿計算は、１次の関数形を用いて線形外挿により行うことができる。説明する実施形態では、水平方向で最外に位置する２つの格子点の座標から、１次の関数形により、最外の格子点から所定間隔分、左側（または右側）に外挿された外挿格子点の座標を計算する。ここでの外挿を行う際の所定間隔は、事前に定義された左端（または右端）へ一度に外挿するための間隔でよい。例えば、プロジェクタメモリ上で２．５列分だけ内側の位置から校正パターンの図形要素を設けるような定義であれば、左端または右端は、最外の格子点から左方向（または右方向）に２．５列分だけ左（または右）に位置するものとして定義される。

このようにして、撮像画像座標系における対象のプロジェクタ１５０の投影可能領域の左辺および右辺の上の外挿格子点の座標が、図２３（Ｂ）に示すように外挿予測によって計算される。

左方向および右方向の両方についてステップＳ４０８の処理が実行されると、ステップＳ４０７〜ステップＳ４０９のループを抜けて、ステップＳ４１０へ処理が進められる。ステップＳ４１０〜ステップＳ４１２のループでは、左上、左下、右上および右下の各隅について、ステップＳ４１１の処理が実行される。ステップＳ４１１では、画像処理装置１１０は、外挿予測部１７０により、左上、左下、右上および右下のうちの該当隅の格子点に隣接する３点の格子点を用いて、該当隅の格子点の座標を決定することができる。

ステップＳ４１１での隅の格子点の座標は、特に限定されるものではないが、例えば、図２３（Ｃ）に示すように、外周部に位置する４つの格子点が平行四辺形となるように位置を決定することができる。あるいは、図２３（Ｃ）に示すように上辺および下辺について外挿格子点が求められているため、さらに他の実施形態では、上辺または下辺における最外の２つの外挿格子点から、水平方向に一度に外挿して四隅の点の座標を決定してもよい。

すべての隅についてステップＳ４１１の処理が実行されると、ステップＳ４１０〜ステップＳ４１２のループを抜けて、ステップＳ４１３へ処理が進められる。ステップＳ４１３では、画像処理装置１１０は、外挿予測部１７０により、実測格子点および外挿格子点を含む全格子点と、撮像画像座標系上の座標とを対応付けるテーブルを要求元の処理に返却し、ステップＳ４１４で本処理を終了する。

なお、上述した外挿格子点の計算と同様に、実測格子点および外挿格子点の座標以外のプロジェクタメモリ上の任意の座標点に対応する撮像画像座標系上の座標も、近傍の４点の格子点座標を内挿して求めることができる。

ここで、プロジェクタメモリ上の任意の座標点Ｑ_Ｐが、プロジェクタメモリ上での座標位置が近傍にある４つの格子点Ｐ００_Ｐ，Ｐ１０_Ｐ，Ｐ０１_Ｐ，Ｐ１１_Ｐにおいて、ｘ軸方向にｔ:１−ｔ（０＜ｔ＜１）で、ｙ軸方向にｓ：１−ｓ（０＜ｓ＜１）で内分する点だとする。すると、座標点Ｑ_Ｐに対応する撮像画像座標系上の点Ｑ_Ｃは、対応する４つの格子点Ｐ００_Ｃ，Ｐ１０_Ｃ，Ｐ０１_Ｃ，Ｐ１１_Ｃの座標ベクトルから、下記式（６）を用いて計算することができる。

画像全体では非線形な幾何歪みが生じ得るが、ここでは、その一部である２×２の格子点で構成される四辺形パッチの範囲では、線形な幾何歪みだと見なせることを前提としている。上記四辺形パッチのサイズが充分に小さいとみなせるためである。

上記ステップＳ４１３においては、上記式（６）を用いて、より細粒度のメッシュ（例えば０．５行および０．５列の間隔のメッシュ）にて格子点の座標を求めて、撮像画像座標系上の座標とを対応付けるテーブルを作成してもよい。
（外挿格子点を用いた補正係数計算処理）
好ましい実施形態においては、上記得られた外挿格子点は、（１）各プロジェクタ１５０の幾何補正係数の計算のために用いることができる。

精度高く求められた外挿格子点を用いて、投影可能領域の論理和の領域を検出することにより、コンテンツ画像をマップするための投影目標領域を、統合された座標系上で適切に設定することが可能となる。また、精度高く求められた外挿格子点を用いて幾何補正係数を計算することにより、プロジェクタメモリ上の座標と、コンテンツ画像上の画素位置との対応付けを、校正パターンの外側の領域を含めて精度高く求めることが可能となる。

また、好ましい実施形態においては、上記得られた外挿格子点は、（２）プロジェクタによる投影像をブレンドするブレンディング係数の計算のために用いることができる。

精度高く求められた外挿格子点を用いて隣接プロジェクタ間の重複領域を検出することにより、プロジェクタメモリ上の座標を当該プロジェクタ単独で投影する領域と、隣接プロジェクタの投影像とブレンドする領域とをより正しく区分することが可能となる。精度高く求められた外挿格子点を用いてブレンディング係数を計算することにより、プロジェクタメモリ上の各座標位置に対し、ブレンディング係数の計算を、校正パターンの外側の領域を含めて精度高く求めることが可能となる。
（外挿格子点を用いた格子点合成処理）
さらに好ましい実施形態においては、上記得られた外挿格子点は、（３）所定のプロジェクタ１５０について撮像範囲の異なる複数組の格子点を合成する際に、格子点各々が単独領域に該当するものであるか、または隣接するプロジェクタとの重複領域に該当するものであるかを判定するために用いることができる。

なお、撮像範囲の異なる複数組の格子点を合成する処理については、図９〜図１３を参照して説明した格子点抽出統合処理と同様であるが、例えば、ステップＳ２６０で、左右隣りのプロジェクタの投影範囲と重複する領域を検出する際に、上述までの格子点外挿処理を適用することができる。各プロジェクタについて、最外の外挿格子点により画定される外周が、撮像画像座標系上での投影範囲となる。また、ステップＳ２１１において、外周で囲まれた領域を求める際に、上述までの格子点外挿処理を適用することができる。

図１３には、統合座標系３００上に統合された各プロジェクタの格子点座標の集合が模式的に示されているが、この単一の座標系に統合された、各プロジェクタの格子点座標の集合３０２ａ，３０２ｂ，３０２ｃ，３０２ｄを実測格子点として、上述した格子点外挿処理を適用することにより、校正パターンの外側の領域を含めて精度高く幾何補正係数およびブレンディング係数を求めることが可能となる。なお、外挿格子点を含めて各プロジェクタに対して格子点の組が求められれば、幾何補正係数およびブレンディング係数の計算方法には、特段の変更はないため、補正係数計算について、これ以上の詳細な説明は割愛する。

なお、異なる撮像範囲で撮像された複数の校正用撮像画像間で共通する座標系に変換した後、格子点を合成し、単一の統合座標系へ変換してもよいが、変換の順序は、特に限定されるものではなく、単一の統合座標系へ変換した後に格子点の合成が行われてもよい。（外挿予測結果に基づく校正処理の利点）
以下、図２４Ａ〜２４Ｄおよび図２５Ａ〜２４Ｃを参照しながら、他の実施形態による外挿予測結果に基づく校正処理によって、プロジェクタ１５０の投影像の重ね合わせの精度が改善されることを示す。図２４Ａは、超短焦点プロジェクタを用いて垂直方向のみ曲がった曲面スクリーン１０２へ第１の校正用画像（校正パターンや位置合わせパターンの具体的な配置は、図３Ａ〜３Ｂに示したものと同一ではない点に留意されたい。）を投影し、スクリーン正面から撮像した場合の校正用撮像画像を例示する。図２４Ａに示すように、超短焦点プロジェクタを用いて垂直方向のみ曲がった曲面スクリーン１０２へ投影した場合は、投影像は、たる型に大きく歪み、一部スクリーンからはみ出して投影される。投影される校正パターンも、縦方向の列が同様に大きく曲線状になっていることが理解される。

図２４Ｂは、垂直方向および水平方向の両方について線形外挿により得られた外挿格子点を用いて２つの短焦点プロジェクタを校正した場合における、得られた２つのプロジェクタの投影像の重ね合わせ部分を示す。図２４Ｂに示すように、線形外挿により得られた外挿格子点が用いられた場合は、各短焦点プロジェクタの下部の外挿予測部分が開き気味の結果となっており、補正結果として、内側に閉じた形に補正されてしまうことが理解される。したがって、左側プロジェクタおよび右側プロジェクタの重複部分においては、図中の２つの矢印で示すように、左側プロジェクタの投影像は、実際より左へ曲がって補正され、右側プロジェクタの投影像は、実際より右へ曲がって補正されてしまっている。そして、画像としては、文字が左右に分かれてズレてしまっていることが理解される。

図２４Ｃは、垂直方向および水平方向の両方で線形外挿により得られた外挿格子点を例示する。黒い点が、該当列における実測格子点を示し、白い点が、該当列における線形外挿予測された外挿格子点を示す。これに対して、図２４Ｄは、第１の校正用画像の一部分を示し、白点により、該当列における円および位置合わせパターンの中心点が示されている。図２４Ｄを参照すると、外挿予測された軌跡は、外側にある位置合わせパターンの右端を通る予定となっているが、図２４Ｃに示す線形予測の結果では、位置合わせパターンの左端を通っていることが示される。図２４Ｃおよび図２４Ｄを比較すると明らかなように、外挿予測された軌跡は、予定よりも大きく左へ開いてしまっている。このため、校正パターンの垂直方向の外挿予測を線形に予測すると、垂直方向のみ曲がった曲面スクリーンへの超短焦点プロジェクタによるマルチ・プロジェクションでは特に、外側領域で誤差が大きくなってしまう。これが、投影像の重ね合わせのズレとしてマルチ・プロジェクションの投影像の画質の劣化を引き起こす。

これに対し、図２５Ａは、水平方向では線形外挿で、垂直方向では２次外挿（Ｒ＝１００）により得られた外挿格子点を例示する。図２４Ｃと同様に、黒い点が、該当列における実測格子点を示し、白い点が、該当列における外挿格子点を示す。図２５Ｂは、図２４Ｄと同じ図を図２５Ａに対して並べて示したものである。図２５Ａおよび図２５Ｂを比較すると明らかなように、他の実施形態による外挿予測処理で求められた軌跡は、図２５Ｂ示す予定通りに、位置合わせパターンの右端を通っていることが理解される。

図２５Ｃは、水平方向では線形外挿で、垂直方向では２次外挿により得られる外挿格子点を用いて２つの短焦点プロジェクタを校正した場合における、得られた２つのプロジェクタの投影像の重ね合わせ部分を示す。図２４Ｂと比較すると明らかなように、図２５Ｃに示す重ね合わせされた投影像においては、良好にズレなく投影像が重ね合わせられるように補正されていることが理解される。このように、スクリーン１０２が曲がりを有する方向に対応した方向で、２次以上の関数を用いて外挿することで得られた外挿格子点を用いて校正することにより、上述した格子点合成処理と相まって、超短焦点プロジェクタを用いたマルチ・プロジェクションの投影像の画質を向上させることも可能となる。
（ハードウェア構成）
以下、図２６を参照しながら、上述までの１または複数の実施形態における画像処理装置１１０のハードウェア構成について説明する。画像処理装置１１０は、典型的には、汎用コンピュータ装置として構成される。図２６は、１または複数の実施形態による汎用コンピュータ装置のハードウェア構成を示す図である。

汎用コンピュータ装置は、デスクトップ型のパーソナル・コンピュータ、ワークステーションなどとして構成されている。図２６に示す汎用コンピュータ装置は、ＣＰＵ（Central Processing Unit）１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、サウスブリッジ１６とを含む。サウスブリッジ１６は、上記ノースブリッジ１４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担う。

ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ（Random Access Memory）１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、アナログＲＧＢ、ＨＤＭＩ（登録商標）、High-Definition Multimedia Interface（登録商標）、ＤＶＩ（Digital Visual Interface）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）などの映像出力インタフェースを介してディスプレイ５０や上記プロジェクタ１５０に接続される。

サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ１３９４、ＵＳＢ（Universal Serial Bus）ポート２８、補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などであり、コンピュータ装置を制御するためのＯＳ、上記機能部を実現するためのプログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、汎用コンピュータ装置を有線および無線でネットワークに接続させるインタフェース機器である。

ＵＳＢポート２８には、キーボード５２およびマウス５４などの入力装置が接続されてもよく、操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による汎用コンピュータ装置は、補助記憶装置３０からプログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。なお、プロジェクタ１５０およびカメラ１６０については、特に説明を行わないが、同様に、ＣＰＵおよびＲＡＭ等などのハードウェアや、特定の用途に応じたハードウェアを備えている。

以上説明したように、本発明の実施形態によれば、１以上の投影手段により投影体上に像を投影するための投影システムにおいて、１つの方向で曲がりを有する投影体に対し、複数の視点からの観察を考慮して投影像を補正することが可能な投影システム、画像処理装置、投影方法およびプログラムを提供することができる。

さらに、本発明の他の実施形態によれば、パターンを含む画像から、該パターンに対応する複数の特徴点の外側領域へ外挿する特徴点の座標を精度高く求めることを可能とする、画像処理装置、撮像システム、画像処理方法およびプログラムを提供することができる。上記外側領域へ外挿する特徴点の座標を用いて投影手段の校正を行うことにより、複数の投影手段の投影像の重ね合わせた場合の画像の品質を向上させることができ、特に短焦点のプロジェクタを用いる場合に有利である。

電車などの室内の側面や天井や、天井がアーチ状になった通路やトンネル、アーケード商店街など、平面を垂直方向にのみ曲げた曲面状の部分は身の回りに多く存在するが、これらの曲面形状は、必ずしも幾何学的に単純な曲面となっていない場合がある。本実施形態による投影システムによれば、そのような任意の曲面を有するスクリーンに対し簡便に校正処理を実施することが可能となる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（VHSIC（Very High Speed Integrated Circuits） Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

本国際出願は、２０１６年１月１３日に出願した日本国特許出願２０１６−００４０６７号、２０１６年３月１７日に出願した日本国特許出願２０１６−０５３３３１号、及び、２０１６年１０月１４日に出願した日本国特許出願２０１６−２０２９４３号に基づく優先権を主張するものであり、日本国特許出願２０１６−００４０６７号、日本国特許出願２０１６−０５３３３１号、及び、日本国特許出願２０１６−２０２９４３の全内容をここに本国際出願に援用する。

１２ ＣＰＵ
１４ ノースブリッジ
１６ サウスブリッジ
１８ ＲＡＭ
２０ グラフィックボード
２２ ＰＣＩ
２４ ＬＡＮポート
２６ ＩＥＥＥ１３９４ポート
２８ ＵＳＢポート
３０ 補助記憶装置
３２ オーディオ入出力
３４ シリアルポート
５２ キーボード
５４ マウス
１００，４００ 映像投影システム
１０２ スクリーン
１０４ 投影像
１１０，４１０ 画像処理装置
１１２，４１２ コンテンツ格納部
１１４，４１４ 補正処理部
１１６，４１６ 投影画像出力部
１１８，４１８ 校正用画像格納部
１２０，４２０ 校正用シーン選択部
１２２，４２２ 切替部
１２４，１２４ 校正用撮像画像入力部
１３０，４３０ 格子点抽出統合部
１３２，４３２ 特徴点抽出部
１３４，４３４ 格子点変換部
１３６，４３６ 格子点合成部
１４０，４４０ 補正係数算出部
１４２，４４２ 幾何補正係数計算部
１４４ ブレンディング係数計算部
１５０，４５０ プロジェクタ
１６０，４６０ カメラ
１７０ 外挿予測部
１７２ 垂直方向外挿計算部
１７４ 水平方向外挿計算部
２００，２１０ 校正用画像
２０２，２１２ 位置合わせパターン
２０４ 図形要素
２０６ 校正パターン
２３１〜２３８ 投影像
２２０ スクリーン画像
２２２ 投影目標領域
２２６ 平行投影した補正後画像
２２４ 補正後の画像
２５０ 物理スケール
２５２ 曲面スクリーン画像
２５４ 物理スケール画像
３００ 統合座標系
３０２ 集合
３０４ 投影範囲
３１０ 補正後の投影目標領域
３２０ 投影コンテンツ画像

Claims (10)

1. １以上の投影手段により、１つの方向で曲がりを有する投影体上に像を投影するための投影システムであって、
   準備された複数の校正用撮像画像各々から、投影像の歪みを示す格子点の組を抽出する格子点抽出手段と、
   前記複数の校正用撮像画像のうちの前記投影体上に投影された校正パターンが前記１つの方向に関連してそれぞれ異なる撮像範囲で撮像された複数の画像間で、共通して抽出された注目の投影手段の格子点の組各々を、共通する座標系上に変換する格子点変換手段と、
   前記注目の投影手段が単独で投影する領域に該当する格子点に対し、それぞれ、前記複数の組の格子点をそれら複数の組の格子点の位置に応じて、それらの座標値を格子点合成ブレンディングして座標値を計算することで、前記共通する座標系上の前記注目の投影手段の複数の組の格子点を位置に応じて合成する格子点合成手段と、
   合成された格子点の組に基づいて補正係数を計算する補正係数計算手段と
   を含む、投影システム。
2. 前記異なる撮像範囲で撮像された複数の画像は、互いに、前記曲がりを有する１つの方向に対し略垂直な方向に沿ってずれた位置に前記投影された校正パターンが収められるような撮像範囲を有する、請求項１に記載の投影システム。
3. 前記複数の校正用撮像画像は、前記注目の投影手段に隣接する投影手段により前記投影体上に投影された校正パターンが撮像された画像をさらに含み、
   前記格子点合成手段は、
   前記注目の投影手段が、投影像の配列において、前記曲がりを有する１つの方向に対し略垂直な方向に沿った一方で他の投影手段と隣接し、他方で投影手段と隣接していない場合に、
   前記注目の投影手段の格子点のうちから、前記隣接する投影手段の投影範囲に重ならない前記単独で投影する領域に該当するものと、前記隣接する投影手段の投影範囲に重なるものとを判別する手段と、
   前記隣接する投影手段の投影範囲に重なる格子点に対し、それぞれ、前記異なる撮像範囲で撮像された複数の画像のうちの前記隣接する投影手段の前記画像と略同一の撮像範囲で撮像された一方に基づく組の格子点の座標値を用いて座標値を計算する手段と
   を含む、請求項１に記載の投影システム。
4. 前記複数の校正用撮像画像各々から、投影像の位置合わせ点を抽出する位置合わせ点抽出手段を含み、前記格子点変換手段は、前記共通して抽出された前記注目の投影手段の格子点の組各々を、前記位置合わせ点に基づき、前記共通する座標系上に変換する、請求項１，２，及び４のうちいずれか１項に記載の投影システム。
5. さらに、前記投影体の曲がりを有する前記１つの方向と略同一方向に伸びるよう前記投影体の表面に張り付けられた物理スケールが略中央に収まるように撮像されたスケール撮像画像をさらに準備する画像準備手段を含み、前記補正係数計算手段は、前記スケール撮像画像に基づく前記１つの方向での座標補正をさらに施す、請求項１，２，４，及び５のうちのいずれか１項に記載の投影システム。
6. それぞれ投影手段となる投影装置および校正用撮像画像を撮像するための撮像装置の両方または一方を含む、請求項１，２，４，５，及び６のうちのいずれか１項に記載の投影システム。
7. 前記投影システムは、
   抽出された複数の格子点のうちの曲がりを有する第１の方向に並ぶ複数の格子点の座標に基づいて、２次以上の関数形により前記第１の方向に外挿される格子点の座標を計算する第１方向計算手段と、
   抽出された複数の格子点のうちの前記第１の方向とは異なる第２の方向に並ぶ複数の格子点の座標に基づいて、前記第２の方向に外挿される格子点の座標を計算する第２方向計算手段と
   をさらに含み、前記補正係数計算手段は、抽出された格子点および外挿された格子点に基づいて、前記１以上の投影手段各々から投影する画像に対する補正係数を計算することを特徴とする、請求項１，２，４，５，６，及び７のうちいずれか１項に記載の投影システム。
8. １以上の投影手段により、１つの方向で曲がりを有する投影体上に像を投影するための画像処理装置であって
   準備された複数の校正用撮像画像各々から、投影像の歪みを示す格子点の組を抽出する格子点抽出手段と、
   前記複数の校正用撮像画像のうちの前記投影体上に投影された校正パターンが前記１つの方向に関連してそれぞれ異なる撮像範囲で撮像された複数の画像間で、共通して抽出された注目の投影手段の格子点の組各々を、共通する座標系上に変換する格子点変換手段と、
   前記注目の投影手段が単独で投影する領域に該当する格子点に対し、それぞれ、前記複数の組の格子点をそれら複数の組の格子点の位置に応じて、それらの座標値を格子点合成ブレンディングして座標値を計算することで、前記共通する座標系上の前記注目の投影手段の複数の組の格子点を位置に応じて合成する格子点合成手段と、
   合成された格子点の組に基づいて補正係数を計算する補正係数計算手段と
   を含む、画像処理装置。
9. １以上の投影手段により、１つの方向で曲がりを有する投影体上に像を投影するための投影方法であって、コンピュータが、
   複数の校正用撮像画像を準備するステップと、
   前記準備するステップで準備された前記複数の校正用撮像画像各々から、投影像の歪みを示す格子点の組を抽出するステップと、
   前記複数の校正用撮像画像のうちの前記投影体上に投影された校正パターンが前記１つの方向に関連してそれぞれ異なる撮像範囲で撮像された複数の画像間で、共通して抽出された注目の投影手段の格子点の組各々を、共通する座標系上に変換するステップと、
   前記注目の投影手段が単独で投影する領域に該当する格子点に対し、それぞれ、前記複数の組の格子点をそれら複数の組の格子点の位置に応じて、それらの座標値を格子点合成ブレンディングして座標値を計算することで、前記変換するステップで変換された前記共通する座標系上の前記注目の投影手段の複数の組の格子点を位置に応じて合成するステップと、
   前記合成するステップで合成された格子点の組に基づいて補正係数を計算するステップと
   を含む投影方法。
10. コンピュータを、請求項９に記載された画像処理装置の各手段として機能させるためのプログラム。