JP2015026992A - 投影システム、画像処理装置、投影方法およびプログラム - Google Patents

Abstract

【課題】 複数の投影手段により投影体上に像を投影するための投影システム等を提供すること。
【解決手段】 本投影システム１００は、複数の校正用撮像画像を準備する撮像画像準備手段１２４と、複数の校正用撮像画像各々から、投影手段１５０ａの投影像の歪みを示す格子点と、該投影手段１５０ａの投影像または他の投影手段１５０ｂの投影像の位置合わせ点とを少なくとも抽出する抽出手段１３２と、複数の校正用撮像画像から抽出された複数の投影手段１５０ａ〜１５０ｃ各々の投影像の格子点を、校正用撮像画像間で共通する位置合わせ点に基づいて、共通座標系上に変換する変換手段１３４と、共通座標系上の格子点に基づいて、複数の投影手段１５０ａ〜１５０ｃ各々から投影する投影画像を与える幾何補正係数を計算する幾何補正係数計算手段１３６とを含む。
【選択図】 図２

Description

本発明は、投影システム、画像処理装置、投影方法およびプログラムに関する。本発明は、より詳細には、複数の投影手段により投影体上に像を投影するための投影システム、該投影システムを構成する画像処理装置、該投影システムで実行される投影方法、および該画像処理装置を実現するためのプログラムに関する。

従来、複数のプロジェクタからの投影像を互いに重複領域を持たせながら並べて、１つの高解像度な画像をスクリーン上に投影するマルチ・プロジェクション技術が注目を集めている。

上述したマルチ・プロジェクション技術に関しては、例えば、特許第３９０８２５５号公報（特許文献１）が知られている。特許文献１の画像投影システムでは、予め座標位置が既知である４つ以上の特徴点を有する基準画像を各プロジェクタからスクリーンに投影する。ここで、基準画像は、例えば一定間隔に輝点や十字を並べた格子模様等既知の画像である。そして、デジタルカメラにより撮像した基準画像中の上記特徴点の位置を検出し、その検出された各プロジェクタの４つ以上の特徴点の位置に基づき、各プロジェクタ毎の投影画像を変形し、かつ重複領域を検出してブレンディング処理を施す。複数のプロジェクタからこの変形およびブレンディング処理された投影像を互いに重複領域を持たせつつスクリーン上に並べることによって、１つの高解像度な画像として投影される。

上述したマルチ・プロジェクションを行う場合、投影画像の位置合わせおよびスケール合わせのため、各プロジェクタから基準画像を順次または同時に投影し、撮像することを要する。しかしながら、基準画像を順次各プロジェクタから投影し、複数回で撮影する従来技術の方法では、カメラを三脚などで固定しなければならず、かつ、全プロジェクタの投影範囲が画角内に収まるように撮像する必要があった。したがって、三脚などの機材が必要となり利便性が低下してしまう点で、充分なものではなかった。また、プロジェクタ数が増大してくると、全プロジェクタの投影範囲を一度に画角内に収めて撮影することが困難になる場合があった。例えば、廊下の壁にマルチ・プロジェクションする場合は、廊下の幅員等の制約から、全プロジェクタの投影範囲を画角内に収めて撮影するための充分な距離を確保することが難しくなる。

これに対して、基準画像をプロジェクタから同時に投影し、撮影する従来技術の方法では、同時に投影するプロジェクタの基準画像における輝点や十字などの構造化パターンが重なりあってしまい、画像処理でこれらのパターンの帰属を判断しなければならない。このとき、プロジェクタ間でパターンが癒着してしまった場合は分離したり、パターンの帰属を判定したりすることが困難となり、充分なものではなかった。

また、特許第３４９７８０５号公報（特許文献２）は、分割撮像により、上述した画角内に全プロジェクタの投影範囲を収めずに構成する技術を開示する。しかしながら、特許文献２で分割撮像した画像を統合するためには、分割撮像する際のカメラの位置、向きを正確にコントロールする必要があり、このカメラ制御には専用の位置制御装置が必要となる。したがって、特許文献２の分割撮像の従来技術は、校正の簡便性、コストの点で充分なものではなかった。また、構造化パターンが重なり合う問題については、上記特許文献２では触れられていない。

複数のプロジェクタにより重ねて投影体上に像を投影するスタック投影の際に、構造化パターンが重なり合ったまま同時に投影して撮像し、後処理で分離する技術としては、特開２０１２−４７８４９号公報（特許文献３）が知られている。特許文献３の従来技術では、プロジェクタごとにＲ，Ｇ，Ｂなど波長域を変えたパターンを投影したり、偏光特性を変えたパターンを投影したりして、波長および偏光特性に基づいて事後的に重畳したパターンを分離する方法が開示されている。しかしながら、波長域を変えたパターンを投影する方法では、プロジェクタのＲ，Ｇ，Ｂの波長域とカメラのＲ，Ｇ，Ｂの波長域とは通常一致しないので、通常のカメラを使って独立な色信号として分離することは、容易ではなかった。偏光特性を変えたパターンを投影する方法では、専用の撮像装置が必要となりコストが増大するという問題があった。

その他、特開２０１１−１８２０７６号公報（特許文献４）は、パターン同士が重ならないように、パターン配置を工夫して、互いに位相をずらした複数種類のパターンを複数のプロジェクタで同時に投影し、撮影する方法を開示する。しかしながら、パターン抽出精度を確保するには、ある程度の大きさのパターンを投影する必要がある。その一方で、位置合わせの精度向上のためにパターンの空間的な密度を上げたい場合パターン間隔は狭くする必要がある。また、近年登場している超短焦点プロジェクタでは、スクリーンの至近距離から投影するので、フォーカスやわずかな設置条件、スクリーンの微妙な凹凸により投影像が非線形に歪みやすい。これらの理由から、パターン同士の重なりを回避して複数のプロジェクタで同時に投影し、撮影する方法には限界があった。

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、複数の投影手段により投影体上に像を投影するための投影システムにおいて、複数の投影手段から投影する画像の補正条件を、緩和された撮像条件下で求めることができる投影システム、画像処理装置、投影方法およびプログラムを提供することを目的とする。

本発明では、上記課題を解決するために、複数の投影手段により投影体上に像を投影するための投影システムであって、下記特徴を有する投影システムを提供する。本投影システムは、複数の校正用撮像画像を準備する撮像画像準備手段と、上記複数の校正用撮像画像各々から、投影手段の投影像の歪みを示す格子点と、該投影手段の投影像または他の投影手段の投影像の位置合わせ点とを少なくとも抽出する抽出手段と、上記抽出手段により複数の校正用撮像画像から抽出された複数の投影手段各々の投影像の格子点を、校正用撮像画像間で共通する位置合わせ点に基づいて、共通座標系上に変換する変換手段と、上記共通座標系上の格子点に基づいて、複数の投影手段各々から投影する投影画像を与える幾何補正係数を計算する幾何補正係数計算手段とを含む。

上記構成により、複数の投影手段により投影体上に像を投影するための投影システムにおいて、複数の投影手段から投影する画像の補正条件を、緩和された撮像条件下で求めることができる。

本実施形態によるプロジェクション・システムの全体構成を示す概略図。 本実施形態によるプロジェクション・システムの機能ブロック図。 本実施形態によるプロジェクション・システムで用いられる２種類の校正用画像を例示する図。 本実施形態による校正用シーン選択部が順次選択する、第１の態様の校正用投影シーンおよびその撮影方法を説明する図。 本実施形態による校正用シーン選択部が順次選択する、第２の態様の校正用投影シーンおよびその撮影方法を説明する図。 本実施形態による各種補正係数の計算処理および補正係数に基づく補正処理の全体的な処理の流れを示すフローチャート。 本実施形態による補正係数算出部が実行する、幾何補正係数の計算処理を示すフローチャート。 第１の態様の校正用投影シーンにおいて、各校正用投影シーンを撮影して準備された３つの校正用撮像画像と、これらの撮像画像間各々で計算される射影変換係数について説明する図。 第２の態様の校正用投影シーンにおいて、各校正用投影シーンを撮影して準備された２つの校正用撮像画像と、これら撮像画像間で計算される射影変換係数について説明する図。 共通座標系上に統合された各プロジェクタの格子点座標の集合を模式的に示す図。 統合された格子点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図。 共通座標系上における３つのプロジェクタの投影可能領域、補正後投影目標領域および投影コンテンツ画像を説明する図。 プロジェクタ・メモリ上の各座標と、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の座標との対応付けを説明する図。 本実施形態による補正係数算出部が実行する、ブレンディング係数の計算処理を示すフローチャート。 プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図。 プロジェクタの入出力特性を示すグラフ。 （Ａ）幾何補正係数および（Ｂ）ブレンディング計数のデータ構造を例示する図。 本実施形態による補正処理部が実行する、補正係数に基づく補正処理を説明する図。 （Ａ）第１校正用画像Ｃｉｊ、第２校正用画像Ａｉｊおよび第３校正用画像Ｃｉｊ＋Ａｉｊを例示する図および（Ｂ）格子パターンの重なりを説明する図。 水平方向３連の場合の校正用投影シーンおよびその撮影方法を説明する図。 垂直方向３連の場合の校正用投影シーンおよびその撮影方法を説明する図。 ３行３列の場合の校正用投影シーンおよびその撮像回数を優先した撮影方法を説明する図。 ３行３列の場合の校正用投影シーンおよびその画角を優先した撮影方法を説明する図。 本実施形態による画像処理装置を構成する汎用コンピュータ装置のハードウェア構成を示す図。

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、投影システムの一例として、投影手段である複数のプロジェクタと、撮像手段である１つのカメラと、全体制御を行う画像処理装置とを含むプロジェクション・システム１００を用いて説明する。

（全体構成）
図１は、本実施形態によるプロジェクション・システム１００の全体構成を示す概略図である。図１に示すプロジェクション・システム１００は、システムの全体制御を行う画像処理装置１１０と、複数のプロジェクタ１５０と、カメラ１６０とを含み構成される。なお、説明する実施形態では、プロジェクション・システム１００は、３台のプロジェクタ１５０ａ〜１５０ｃの投影像を投影面上で合成し、単一のプロジェクタよりも大きな領域に画像を投影する、いわゆる大画面のマルチ・プロジェクションに対応した構成とされている。

画像処理装置１１０は、典型的には、パーソナル・コンピュータ、ワークステーションなどの汎用コンピュータとして構成される。なお、画像処理装置１１０は、汎用コンピュータに限定されるものではなく、専用コントローラとして実装されてもよいし、いずれかのプロジェクタ１５０に組み込まれてもよい。

プロジェクタ１５０は、それぞれ、液晶方式、ＣＲＴ（Cathode Ray Tube）方式、ＤＬＰ（Digital Light Processing）方式、ＬＣＯＳ（Liquid Crystal On Silicon）方式などを採用する投影装置である。

カメラ１６０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などのイメージセンサと、イメージセンサの受光領域上に結像するためレンズなどの結像光学系とを含む撮像装置である。カメラ１６０は、ＷＥＢカメラ、デジタル・スチル・カメラ、デジタル・ビデオ・カメラなどの専用デバイスとして構成されてもよいし、あるいは、スマートフォン端末やタブレット端末などの汎用デバイスに組み込まれたデバイスとして構成されてもよい。

本プロジェクション・システム１００には、投影面を提供するスクリーン１０２が設置されている。プロジェクタ１５０は、それぞれ、プロジェクタ間で投影中心の位置をずらしながらスクリーン１０２上に投影するように設置されている。画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｃに投影させる複数の投影画像を生成し、対応するプロジェクタ１５０各々に投影画像各々を出力する。プロジェクタ１５０は、それぞれ、画像処理装置１１０から本プロジェクタ１５０に入力される投影画像を、投影体であるスクリーン１０２上に投影する。スクリーン１０２上には、図１に示すように、複数のプロジェクタ１５０ａ〜１５０ｃ各々からの複数の投影像１０４ａ〜１０４ｃが投影されている。複数のプロジェクタ１５０ａ〜１５０ｃからの複数の投影像１０４ａ〜１０４ｃは、投影面上で重なり合わせられて、単一の投影像１０６に合成される。

プロジェクション・システム１００は、投影モード中、上述したように複数のプロジェクタ１５０ａ〜１５０ｃを用いて単一の投影像１０６を投影するが、上述した投影モード前に、通常、校正処理が行われる。図１に示すカメラ１６０は、この校正処理の際に用いられる。画像処理装置１１０は、校正モード中、複数のプロジェクタ１５０それぞれに校正用画像を出力し、スクリーン１０２上に校正用投影像を投影させる。そして、所定のプロジェクタ１５０により投影されるスクリーン１０２上の投影像１０４がカメラ１６０の画角内に入るように、カメラ視点および視野が設定され、カメラ１６０により校正のため複数回の撮影が行われることになる。

カメラ１６０で撮像された撮像画像（以下、校正用投影像が写り込んだ撮像画像を校正用撮像画像と参照する。）は、それぞれ、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢ（Universal Serial Bus）などの無線接続、または有線ＵＳＢや有線ＬＡＮなどの有線接続を介して、画像処理装置１１０へ送信される。あるいは、カメラ１６０で撮像された校正用撮像画像は、ＳＤカード（登録商標）やコンパクトフラッシュ（登録商標）などのリムーバブル・メディアを介して、画像処理装置１１０で読み取られる。

画像処理装置１１０は、入力された複数の校正用撮像画像を用いて、複数のプロジェクタ１５０ａ〜１５０ｃの投影像各々の位置合わせ、スケール合わせ、歪み補正、および重複領域の輝度調整などを行うための各種補正係数を計算する。画像処理装置１１０は、投影モード中、計算された各種補正係数に基づき、プロジェクタ１５０ａ〜１５０ｃ各々に投影させるための補正された投影画像を生成する。以下、図２〜図５を参照しながら、各種補正係数の計算処理および補正係数に基づく補正処理の概要について説明する。

（全体機能構成）
図２は、本実施形態によるプロジェクション・システム１００の機能ブロック図である。図２に示すプロジェクション・システム１００は、画像処理装置１１０上で動作する複数の機能ブロックを含む。画像処理装置１１０は、コンテンツ格納部１１２と、プロジェクタ毎の補正処理部１１４ａ〜１１４ｃと、プロジェクタ毎の投影画像出力部１１６ａ〜１１６ｃと、プロジェクタ毎の切替部１２２ａ〜１２２ｃとを含み構成される。画像処理装置１１０は、さらに、校正用画像格納部１１８と、校正用シーン選択部１２０と、校正用撮像画像入力部１２４と、補正係数算出部１３０とを含み構成される。

コンテンツ格納部１１２は、単一の投影像１０６として投影する対象であるコンテンツ画像のファイルを格納する。コンテンツ格納部１１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、着脱可能なリムーバブル・メディアの記憶領域として構成される。なお、投影対象となるコンテンツ画像は、ワードプロセッサやプレゼンテーションなどのアプリケーションでファイルを実行した場合の表示画面として与えられてもよいし、静止画像として与えられてもよいし、動画ファイル中の任意のタイミングのフレームとして与えられてもよい。また、コンテンツ画像は、ファイルとして与えられる必要はなく、画像処理装置１１０がオペレーティング・システムの実行により生成する画面、画像処理装置１１０に外部入力される映像として与えられてもよい。以下、説明の便宜上、静止画像としてコンテンツ画像が与えられた場合を一例に説明する。

補正処理部１１４ａ〜１１４ｃは、システム１００に含まれるプロジェクタ１５０ａ〜１５０ｃに対応して設けられている。補正処理部１１４は、それぞれ、コンテンツ格納部１１２からコンテンツ画像を読み出し、補正処理を施し、対応するプロジェクタ用の投影画像を生成する。なお、補正処理部１１４ａ〜１１４ｃそれぞれが実行する処理については詳細を後述する。

投影画像出力部１１６ａ〜１１６ｃは、システム１００に含まれるプロジェクタ１５０ａ〜１５０ｃに対応して設けられている。投影画像出力部１１６は、それぞれ、対応するプロジェクタ１５０に接続されるディスプレイ出力を含み構成され、接続されるプロジェクタに対し、切替部１２２で選択された入力画像を映像出力する。

切替部１２２ａ〜１２２ｃは、当該システム１００の動作モードに応じて、画像のフローを切り替える。コンテンツ画像を投影する投影モード中は、切替部１２２は、補正処理部１１４の出力に入力側を切り替える。これに伴い、投影画像出力部１１６は、投影モード中は、それぞれ、対応する補正処理部１１４によるコンテンツ画像に基づく処理結果を映像出力する。一方、校正モード中は、切替部１２２は、後述する校正用シーン選択部１２０の出力に入力側を切り替える。これに伴い、投影画像出力部１１６は、校正モード中は、それぞれ、校正用シーン選択部１２０で選択して出力された校正用画像を映像出力する。

校正用画像格納部１１８は、校正モード中にプロジェクタ１５０から投影させるための校正用画像を格納する。校正用画像格納部１１８は、ＨＤＤ、ＳＳＤ、着脱可能なリムーバブル・メディアの記憶領域として構成される。校正画像は、典型的には、事前に準備された静止画像として与えられる。

ここで、校正用画像は、投影像の格子点を規定する格子パターンおよび投影像の位置合わせ点を規定する位置合わせパターンの両方または一方を含むものである。図３は、本実施形態によるプロジェクション・システム１００で用いられる２種類の校正用画像を例示する図である。図３（Ａ）は、位置合わせパターン２０２および格子パターン２０６の両方を含む第１校正用画像２００を例示する。図３（Ｂ）は、位置合わせパターン２１２のみを含む第２校正用画像２１０を例示する。

格子パターン２０６は、プロジェクタ・メモリ上の座標を規定するものであり、任意の図形要素が所定の規則で配置されてなす模様として構成される。スクリーン１０２上に投影された格子パターン２０６を撮像することにより、投影像の台形歪みや局所的な歪みを検出することができる。図３（Ａ）に例示する第１校正用画像２００では、格子パターン２０６は、プロジェクタ１５０の全投影領域を横に１０ブロック、縦に７ブロックに分割し、そのうちの中央の８×５ブロックに黒地上に白ベタの円２０４を格子状に並べたものが用いられている。

しかしながら、格子パターン２０６は、特に限定されるものではなく、図３（Ａ）のような背景に対してコントラストを有する円形状を２次元に配列した水玉模様のほか、背景に対してコントラストを有するドットを２次元に配列したドット模様、互いにコントラストを有する２色の正方形マスが水平および垂直方向に交互に配列された市松模様、背景に対してコントラストを有するラインを２次元に配列した格子模様など、種々の模様を用いることがきる。プロジェクタ１５０の全投影領域の分割方法も上述した態様に限定されるものではなく、要求される精度や画像処理装置１１０の性能に応じて、領域の分割数や領域の分割方法を決定すればよい。

位置合わせパターン２０２，２１２は、撮像画像間での投影像の基準位置（位置合わせ点）を規定するものであり、複数の任意の図形要素が所定の位置に配置されてなす模様として構成される。スクリーン１０２上に投影された共通の位置合わせパターン２０２，２１２を収めて複数回撮像することにより、複数の撮像画像間で、位置合わせを行うことができる。

位置合わせパターンおよび格子パターンの両方を含む第１校正用画像２００においては、位置合わせパターン２０２は、好適には、図３（Ａ）に示すように、格子パターン２０６が配置された領域の周辺の位置に配置することができる。位置合わせパターンのみを含む第２校正用画像２１０においても、図３（Ｂ）に示すように、図３（Ａ）に示した校正用画像と同じ位置（格子パターンが含まれるとしたら配置される領域の周辺の位置）に位置合わせパターン２１２が配置される。

図３（Ａ）に例示する第１校正用画像２００では、位置合わせパターン２０２は、プロジェクタ１５０の全投影画像領域の１０×７ブロックの外周の四隅に矩形マーカ２０２ＬＴ，２０２ＲＴ，２０２ＬＢ，２０２ＲＢを配置したものを用いている。図３（Ｂ）に例示する第２校正用画像でも同様に、位置合わせパターン２１２は、１０×７ブロックの外周の四隅に矩形マーカ２１２ＬＴ，２１２ＲＴ，２１２ＬＢ，２１２ＲＢを配置したものを用いている。

しかしながら、位置合わせパターン２０２，２１２は、特に限定されるものではない。位置合わせパターン２０２，２１２のマーカの形状は、円形など任意の図形要素としてよいし、マーカの数も、少なくとも４点あればよい。なお、位置合わせのためのマーカ数を多くすることにより、位置合わせ精度を向上させることができる。

ここで、再び図２を参照する。本実施形態による校正処理では、複数回に分けて、プロジェクタ１５０の投影像の幾何歪みを検出するための格子パターンの撮像が行われ、位置合わせパターンにより複数の撮像の結果が統合される。校正用シーン選択部１２０は、上述した校正用画像格納部１１８から各校正用画像を読み出し、複数のプロジェクタ１５０ａ〜１５０ｃ各々に対し、適切な校正用画像を選択して出力する。ここで、校正用シーン選択部１２０は、複数のプロジェクタ１５０の投影像の位置関係を把握しており、校正用画像は、全体として過不足なく各プロジェクタ１５０の校正結果が得られるように、校正処理の各段階に応じて選択される。少なくとも１つのプロジェクタ１５０で投影させる校正用画像を含む各校正処理の段階におけるシーンを、校正用投影シーンと参照する。

校正用シーン選択部１２０により、プロジェクタ１５０各々から、校正用投影シーンに応じた校正用画像が投影されることになる。このとき、ユーザは、カメラ１６０を用いて、校正用投影シーン毎に、投影された校正用投影像が画角に収まるようにして撮影を行う。校正用撮像画像入力部１２４は、カメラ１６０からの無線接続、有線接続、リムーバブル・メディアを介して各撮像画像の入力を受けて、校正処理のために複数の校正用撮像画像を準備する。なお、少なくとも１つの校正用投影シーンにおいては、ユーザは、スクリーンに対して正対して撮影することが求められ、典型的には、１回目の撮影が水準器などを用いてスクリーンに対して正対して行われる。この場合、２回目以降の撮影は、スクリーンに対して正対して行う必要はない。このスクリーン１０２に正対して撮像された校正用撮像画像を基準にして結果の統合が行われる。

図１に示すような３台のプロジェクタ１５０ａ〜１５０ｃを用いる実施形態においては、図４および図５に示す２つの態様で校正用投影シーンを構成し、校正用撮像画像を撮像することができる。図４は、第１の態様において、校正用シーン選択部１２０が順次選択する校正用投影シーンおよびその撮影方法を説明する図である。図５は、第２の態様において、校正用シーン選択部１２０が順次選択する校正用投影シーンおよびその撮影方法を説明する図である。

第１の態様では、図４に示すように、３回の撮像に対応した３個の校正用投影シーンが準備される。第１の校正用投影シーンでは、第１プロジェクタ１５０ａが図３（Ａ）に示す第１校正用画像２００を投影し、第２プロジェクタ１５０ｂが図３（Ｂ）に示す第２校正用画像２１０を投影する。第３プロジェクタ１５０ｃは何も投影しない。この第１の校正用投影シーンにおいては、カメラ１６０を用いて、第１および第２プロジェクタ１５０ａ，１５０ｂの投影像２３０ａ，２３０ｂが視野に収まるように撮影が行われる。

第２の校正用投影シーンでは、第１プロジェクタ１５０ａが何も投影せず、第２プロジェクタ１５０ｂが図３（Ａ）に示す第１校正用画像２００を投影し、第３プロジェクタ１５０ｃが図３（Ｂ）に示す第２校正用画像２１０を投影する。第２の校正用投影シーンにおいては、カメラ１６０を用いて、第２および第３プロジェクタ１５０ｂ，１５０ｃの投影像２３２ｂ，２３２ｃが視野に収まるように撮影が行われる。最後の第３の校正用投影シーンでは、第３プロジェクタ１５０ｃが図３（Ａ）に示す第１校正用画像２００を投影する。第１および第２プロジェクタ１５０ａ，１５０ｂは何も投影しない。この第３の校正用投影シーンにおいては、第３プロジェクタ１５０ｃの投影像２３４ｃが視野に収まるように撮影が行われる。

なお、図４では、投影像を水平方向に３つ並べる３台のプロジェクタ１５０ａ〜１５０ｃに対応して３個の校正用投影シーンが準備されている。しかしながら、Ｎ（Ｎ≧２）台のプロジェクタ１５０に対して一般化すると、下記のようにＮ個の校正用投影シーンを構成すればよいことになる。すなわち、第ｎ（１≦ｎ≦Ｎ−１。）番目の校正用投影シーンは、投影像の配列において、隣接するプロジェクタのうちの一方（ｎ台目）が図３（Ａ）に示すような位置合わせパターン（１台目は位置合わせパターンを必ずしも投影することを要さない。）および少なくとも格子パターンを含む校正用画像を投影し、かつ、他方（ｎ＋１台目）が図３（Ｂ）に示すような位置合わせパターンのみを含む校正用画像を投影するように準備される。最後となる第Ｎ番目の校正用投影シーンは、最後のプロジェクタ（Ｎ台目）が図３（Ａ）に示すような格子パターンおよび位置合わせパターンの両方を含む校正用画像を投影するように準備される。２つの校正用撮像画像において、共通するプロジェクタ１５０が投影する位置合わせパターンを用いて、結果の統合が行われる。

上述した第１の態様では、カメラ１６０が一度の撮影で収める範囲が最大でも２台分の投影範囲となるので、台数Ｎが増大したとしても、スクリーン１０２に対する奥行きの制約が緩和されるので、ひいては多様なスクリーンの並べ方に対応することができる。なお、投影像を垂直方向に並べる場合についても、投影像を２次元で一筆書きに並べる場合についても、同様である。

第２の態様では、図５に示すように、２回の撮像に対応した２個の校正用投影シーンが準備される。第１の校正用投影シーンでは、第１プロジェクタ１５０ａおよび第３プロジェクタ１５０ｃが図３（Ａ）に示す第１校正用画像２００を投影し、第２プロジェクタ１５０ｂが図３（Ｂ）に示す位置合わせパターンのみの第２校正用画像２１０を投影する。第２の校正用投影シーンでは、第２プロジェクタ１５０ｂが図３（Ａ）に示す第１校正用画像２００を投影する。第１および第３プロジェクタ１５０ａ，１５０ｃは何も投影しない。第１の校正用投影シーンにおいては、第１〜第３プロジェクタ１５０ａ〜１５０ｃの投影像２４０ａ〜２４０ｃが、第２の校正用投影シーンにおいては、第２プロジェクタ１５０ｂの投影像２４２ｂが、視野に収まるようにそれぞれカメラ１６０で撮影される。

なお、図５では、投影像を水平方向に３つ並べる３台のプロジェクタ１５０ａ〜１５０ｃに対応して２個の校正用投影シーンが準備されている。Ｎ（Ｎ≧３）台のプロジェクタ１５０に対し一般化すると、下記のように２個の校正用投影シーンを構成すればよいことになる。すなわち、第１の校正用投影シーンでは、投影像の配列において、複数のプロジェクタ１５０のうちの交互に選択された第１のグループのもの（例えば奇数台目）が少なくとも格子パターンを含む第１校正用画像を投影するように構成される。第２の校正用投影シーンでは、投影像の配列において、上記第１のグループのものにそれぞれ隣接する第２のグループのもの（例えば偶数台目）が格子パターンを投影するように構成される。さらに、上記第１の校正用投影シーンおよび第２の校正用投影シーンは、少なくとも１つの共通するプロジェクタが位置合わせパターンを投影するように構成される。

より好ましくは、第２のグループのもの（例えば偶数台目）が、第１の校正用投影シーンにおいて、位置合わせパターンのみを含む第２校正用画像を投影するように構成され、第２の校正用投影シーンにおいて、格子パターンおよび位置合わせパターンの両方を含む第１校正用画像を投影するように構成することができる。

上述した第２の態様では、カメラ１６０が一度の撮影で収める範囲が広くなるものの、撮影回数が２回で済むことになる。このため、スクリーン１０２に対する奥行きの制約上の問題が回避できる場合には、校正作業が簡素化される。なお、投影像を垂直方向に並べる場合についても同様である。また、上述した説明では、第１および第２のグループに対して１回ずつ全体の撮影を行うものとして説明した。しかしながら、他の実施形態では、必要な画角を小さくするために、第１および第２のグループそれぞれを複数回に分けて分割撮像し、グループ内で共通する位置合わせパターンを介して統合する態様としてもかまわない。

ここで、再び図２を参照する。補正係数算出部１３０は、校正用撮像画像入力部１２４により準備された複数の校正用撮像画像を読み出し、補正処理部１１４ａ〜１１４ｂに対し設定する各種補正係数を計算する。ここでは、各校正用撮像画像と、上述した校正用シーンとは、対応付けられて校正用撮像画像入力部１２４に与えられているものとする。補正係数算出部１３０は、より詳細には、特徴点抽出部１３２と、格子点変換部１３４と、幾何学的な補正係数を計算する幾何補正係数計算部１３６と、投影像のブレンディングの補正係数を算出するブレンディング係数計算部１３８とを含む。

特徴点抽出部１３２は、準備された複数の校正用撮像画像各々から特徴点を抽出する。ここで抽出される特徴点は、校正用画像の格子点パターンに対応する、投影像の歪みを示す格子点と、校正用画像の位置合わせパターンに対応する、校正用撮像装置間の位置合わせの基準となる位置合わせ点とを含みうる。

特徴点抽出部１３２により抽出されたプロジェクタ毎の格子点および撮像画像毎の位置合わせ点は、格子点変換部１３４へ渡される。格子点変換部１３４は、上記特徴点抽出部１３２により複数の校正用撮像画像から抽出されたプロジェクタ１５０各々の投影像の格子点（この段階では格子点は各々の校正用撮像画像の座標系上の点である。）を、校正用撮像画像間で共通する位置合わせ点に基づいて、共通座標系上に変換し、統合する。共通座標系としては、説明する実施形態では、スクリーン１０２に正対して撮像された第１の校正用撮像画像の座標系である。

格子点変換部１３４により共通座標系上に変換されたプロジェクタ毎の格子点は、幾何補正係数計算部１３６へ渡される。幾何補正係数計算部１３６は、共通座標系上の格子点に基づいて、上記複数のプロジェクタ１５０各々から投影する投影画像を与えるプロジェクタ毎の幾何補正係数を計算する。幾何補正係数は、位置合わせ、スケール合わせ、歪み補正などの幾何学的な補正を織り込んだ補正係数である。

ブレンディング係数計算部１３８は、複数のプロジェクタ１５０各々に対し、注目するプロジェクタ（例えば１５０ａ）の投影像と、この注目するプロジェクタに隣接するプロジェクタ各々（例えば１５０ｂ）の投影像との間の重複領域を検出する。ブレンディング係数計算部１３８は、重複領域の検出結果に基づき、これらの投影像の重ね合わせを調整するブレンディング係数を計算する。このプロジェクタ毎のブレンディング係数により、スクリーン１０２上における複数のプロジェクタ１５０の投影像が重なる部分において、画像が滑らかに合成される。

補正処理部１１４は、それぞれ、幾何補正係数計算部１３６およびブレンディング係数計算部１３８によって計算された各種補正係数に基づき、コンテンツ画像からプロジェクタ毎の投影画像を生成する。より具体的には、補正処理部１１４は、まず、幾何補正係数計算部１３６によって計算された幾何補正係数に基づき、コンテンツ画像から、プロジェクタ毎の中間画像を生成する。中間画像は、コンテンツ画像のプロジェクタが担当する画像を、検出された幾何歪みの逆に変形させたものとなる。補正処理部１１４は、続いて、上記中間画像に対し、上記ブレンディング係数計算部１３８によって計算されたブレンディング係数を乗じて、プロジェクタ毎の最終的な投影画像を算出する。投影モード中、切替部１２２によって、補正処理部１１４により計算された投影画像が選択され、プロジェクタ１５０に出力されることになる。

なお、図２に示す実施形態では、各機能部１１２〜１３８が単一の画像処理装置１１０上で実現されるものとして説明したが、プロジェクション・システム１００の実施形態は、図２に示すものに限定されるものではない。他の実施形態では、台数の増加に伴う画像処理装置の負荷を軽減するため、補正処理部１１４ａ〜１１４ｃ各々をプロジェクタ１５０ａ〜１５０ｃ各々上で実現してもよい。他の実施形態では、各機能部１１２〜１３８を複数の画像処理装置上に分散実装してもよし、すべての機能部１１２〜１３８をいずれかのプロジェクタ１５０上で実装してもよいし、画像処理装置１１０の機能と、複数のプロジェクタの機能とを備える単一の装置として構成してもよい。さらに、他の実施形態では、補正係数算出部１３０の機能をサービスとしてネットワークを介して提供するサーバとして実装してもよい。

（全体処理フロー）
以下、図６を参照しながら、各種補正係数の計算処理および補正係数に基づく補正処理の全体的な流れについて説明する。図６は、本実施形態による各種補正係数の計算処理および補正係数に基づく補正処理の全体的な処理の流れを示すフローチャートである。図６に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ１００から開始される。なお、図６には、ステップＳ１０１〜ステップＳ１０４で示す第１の態様と、ステップＳ１０５〜ステップＳ１０８で示す第２の態様との両方がまとめて示されていることに留意されたい。

図４に示す第１の態様では、ステップＳ１０１では、画像処理装置１１０は、第１プロジェクタ１５０ａから第１校正用画像（格子パターンを含む。）を出力させ、第２プロジェクタ１５０ｂから第２校正用画像（位置合わせパターンを含む。）を出力させる。ステップＳ１０２では、画像処理装置１１０は、第２プロジェクタ１５０ｂから第１校正用画像（格子パターンおよび位置合わせパターンを含む。）を出力させ、第３プロジェクタ１５０ｃから第２校正用画像（位置合わせパターンを含む。）を出力させる。ステップＳ１０３では、画像処理装置１１０は、第３プロジェクタ１５０ｃから第１校正用画像（格子パターンおよび位置合わせパターンを含む。）を出力させる。上記ステップＳ１０１〜ステップＳ１０３の各段階で、ユーザは、例えば画像処理装置１１０が行うガイダンスに従い、カメラ１６０の画角に投影中の校正用画像が収まるように撮影を行う。ステップＳ１０４では、画像処理装置１１０は、カメラ１６０からの複数の校正用撮像画像の入力をまとめて受けて、ステップＳ１０９へ処理が進められる。

これに対して図５に示す第２の態様では、ステップＳ１０５では、画像処理装置１１０は、第１および第３プロジェクタ１５０ａ，１５０ｃから第１校正用画像（格子パターンを含む。）を出力させ、第２プロジェクタ１５０ｂから第２校正用画像（位置合わせパターンを含む。）を出力させる。ステップＳ１０６では、画像処理装置１１０は、カメラ１６０からステップＳ１０５で撮像された校正用撮像画像の入力を受ける。ステップＳ１０７では、画像処理装置１１０は、第２プロジェクタ１５０ｂから第１校正用画像（格子パターンおよび位置合わせパターンを含む。）を出力させる。ステップＳ１０８では、画像処理装置１１０は、カメラ１６０からステップＳ１０７で撮像された校正用撮像画像の入力を受け、ステップＳ１０９へ処理が進められる。

ステップＳ１０９では、詳細を後述するが、画像処理装置１１０は、各プロジェクタの幾何補正係数を計算する。ステップＳ１０９におけるプロジェクタ毎の幾何補正係数算出処理では、各校正用撮影画像からの特徴点の抽出、各校正用撮像画像の格子点の共通座標軽への変換、および各プロジェクタの幾何補正係数の算出が行われる。ステップＳ１１０では、詳細を後述するが、画像処理装置１１０は、各プロジェクタのブレンディング係数を計算する。

ステップＳ１１１では、画像処理装置１１０は、各補正処理部１１４に対し、ステップＳ１０９およびステップＳ１１０で計算されたプロジェクタ毎の幾何補正係数およびブレンディング係数を設定する。ステップＳ１１２では、画像処理装置１１０は、切替部１２２に対し、補正処理部１１４の出力に、投影画像出力部１１６の入力を切り替えさせて、投影モードに移行する。

ステップＳ１１３では、画像処理装置１１０は、コンテンツ画像を読み出す。ステップＳ１１４では、画像処理装置１１０は、コンテンツ画像に対し、プロジェクタ毎の補正処理部１１４で補正処理を実行する。ステップＳ１１５では、画像処理装置１１０は、補正されたプロジェクタ毎の投影画像をプロジェクタ毎の投影画像出力部１１６からそれぞれ出力させる。

ステップＳ１１６では、画像処理装置１１０は、ユーザからの投影モードの終了指示を受け付けたか否かを判定する。ステップＳ１１６で、投影モードの終了指示を受け付けていないと判定された場合（ＮＯ）は、ステップＳ１１３へ処理をループさせ、投影画像を更新する。動画であれば次のフレームに対する処理へ進められる。ステップＳ１１６で、投影モードの終了指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ１１７へ処理を分岐させ、本処理を終了する。

（幾何補正係数の計算）
以下、図７〜図１３および図１７（Ａ）を参照しながら、各プロジェクタの幾何補正係数の計算処理の詳細について説明する。図７は、本実施形態による補正係数算出部１３０が実行する幾何補正係数の計算処理を示すフローチャートである。図７に示す処理は、図６に示したステップＳ１０９で呼び出されて、ステップＳ２００から開始される。

ステップＳ２０１では、特徴点抽出部１３２は、準備された複数の校正用撮像画像各々から、各々の撮像画像座標系におけるプロジェクタ１５０各々の投影像の円形状の重心座標を格子点座標（小数点精度）として抽出する。円形状の重心座標は、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって計算することができる。

ステップＳ２０２では、特徴点抽出部１３２は、複数の校正用撮像画像各々から、各々の撮像画像座標系におけるプロジェクタ１５０各々の投影像の矩形マーカの重心座標を位置合わせ点座標として抽出する。矩形マーカの重心座標も同様に、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって計算することができる。

図４に示した第１の態様について、より具体的に説明すると、特徴点抽出部１３２は、第ｎ（１≦ｎ≦Ｎ−１。）番目の校正用投影シーンを撮像した校正用撮像画像各々から、投影像の配列において、隣接するプロジェクタのうちの一方（ｎ台目）が投影する位置合わせパターン（１台目は必ずしも投影されない。）の位置合わせ点および少なくとも格子パターンの格子点と、他方（ｎ＋１台目）が投影する位置合わせパターンの位置合わせ点とを抽出する。最後の第Ｎ番目の校正用投影シーンを撮像した校正用撮像画像からは、最後のプロジェクタ（Ｎ台目）が投影する格子パターンの格子点と、位置合わせパターンの位置合わせ点とが抽出される。

なお、１つの校正用撮像画像において、一方のプロジェクタの円パターンと、他方のプロジェクタの４つの位置合わせ矩形マーカとは、互いの位置関係を利用して識別することができる。図４に示す第１の態様で校正用投影シーンが構成される場合は、円パターンの外側に矩形マーカが存在し、左右の隣接プロジェクタの８つの矩形マーカが、左側プロジェクタの左側２つの矩形マーカ、右側プロジェクタの左側２つの矩形マーカ、左側プロジェクタの右側２つの矩形マーカ、そして右側プロジェクタの右側２つの矩形マーカの順に存在する。このような位置関係に基づいて、各々の円パターンおよび矩形マーカを識別することができる。なお、位置関係以外にも、例えば、投影する矩形マーカの色や形をプロジェクタ毎に変更することによって、撮像された矩形マーカの色や形を識別し、これら識別された特徴に基づいて判別を行ってもよい。

図５に示した第２の態様について説明すると、特徴点抽出部１３２は、第１番目の校正用投影シーンを撮像した校正用撮像画像から、投影像の配列において、第１のグループのもの（例えば奇数台目）が投影する格子パターンの格子点を抽出する。第２番目の校正用投影シーンを撮像した校正用撮像画像からは、上記第２のグループのもの（例えば偶数台目）が投影する格子パターンの格子点が抽出される。特徴点抽出部１３２は、さらに、上記第１の校正用投影シーンおよび第２の校正用投影シーンをそれぞれ撮像した校正用撮像画像各々から、共通するプロジェクタ１５０が投影する位置合わせパターンの位置合わせ点を抽出する。

ステップＳ２０３では、格子点変換部１３４は、所定の校正用撮像画像の対について、撮像画像間で共通する矩形マーカの位置合わせ点座標に基づき、射影変換係数を計算する。ステップＳ２０４では、格子点変換部１３４は、ステップＳ２０３で計算された射影変換係数に基づき、プロジェクタ各々の投影像の格子点座標を、共通座標系に変換し、統合する。

図８は、第１の態様において、各校正用投影シーンを撮影して準備された３つの校正用撮像画像と、これらの撮像画像間各々で計算される射影変換係数について説明する図である。図９は、第２の態様において、各校正用投影シーンを撮影して準備された２つの校正用撮像画像と、これら撮像画像間で計算される射影変換係数について説明する図である。

第１の態様においては、図８に示すように、第１および第２の校正用撮像画像２５０，２６０の対について、撮像画像間で共通する第２プロジェクタ１５０ｂの投影像２５２ｂ，２６２ｂの矩形マーカ２５４，２６４の位置合わせ点座標の対が求められる。格子点変換部１３４は、この位置合わせ点座標の対（２５４，２６４）に基づき、第２の校正用撮像画像２６０の座標系から第１の校正用撮像画像２５０の座標系へ変換する射影変換の係数を計算する。同様に、第２および第３の校正用撮像画像２６０，２７０の対について、撮像画像間で共通する第３プロジェクタ１５０ｃの投影像２６２ｃ，２７２ｃの矩形マーカ２６４，２７４の位置合わせ点座標の対が求められる。この位置合わせ点座標の対（２６４，２７４）に基づき、第３の校正用撮像画像２７０の座標系から第２の校正用撮像画像２６０の座標系へ変換する射影変換の係数が計算される。

射影変換の変換式は、下記式（１）で表され、下記式（１）の分母を払って整理すると、下記式（２）で表す一次多項式に展開することができる。

上記式（１）および（２）中、ｘ，ｙは、変換前の平面座標を表し、ｕ，ｖは、変換後の平面座標を表し、ａ〜ｈの８つの係数は、射影変換係数を表す。上記式において、未知パラメータである８つの射影変換係数を算出するためには、最低でも８個の連立方程式を要するが、上述した２枚の校正用撮像画像における４つの位置合わせの対応点があれば、８個の変換式を生成することができる。この４つの矩形マーカの対応点から生成された８つの連立方程式を解くことにより、射影変換係数ａ〜ｈを求めることができる。

第１の態様において、２対の撮像画像間の射影変換係数ａ〜ｈがそれぞれ計算されると、格子点変換部１３４は、抽出された第２の校正用撮像画像の格子点を、第１の撮像画像の座標系へ変換する射影変換を実行する。格子点変換部１３４は、さらに、抽出された第３の校正用撮像画像の格子点を、第３の撮像画像の座標系から第２の撮像画像の座標系へ変換する射影変換を実行し、さらに、第２の撮像画像の座標系から第１の撮像画像の座標系へ変換する射影変換を実行する。これにより、すべてのプロジェクタ１５０ａ〜１５０ｃの格子点座標が、スクリーンに正対して撮影された第１の校正用撮像画像の座標系である共通座標系に変換され、統合される。

第２の態様においては、図９に示すように、第１および第２の校正用撮像画像２８０，２９０の対について、撮像画像間で共通する第２プロジェクタ１５０ｂの投影像２８２ｂ，２９２ｂの矩形マーカ２８４，２９４の位置合わせ点座標の対が求められる。そして、この位置合わせ点座標の対に基づき、第２の撮像画像２９０の座標系から第１の撮像画像２８０の座標系へ変換する射影変換の係数が計算される。格子点変換部１３４は、１組の校正用撮像画像間の射影変換係数ａ〜ｈに基づいて、第２の校正用撮像画像の抽出された格子点を、第１の撮像画像の座標系へ変換する射影変換を実行し、共通座標系に変換する。

図１０は、共通座標系３００上に統合された各プロジェクタの格子点座標の集合を模式的に示す図である。図１０に示すように、各プロジェクタの格子点座標の集合３０２ａ，３０２ｂ，３０２ｃは、それぞれ、第１の校正用撮像画像の共通座標系３００上に変換され、統合されている。なお、図１０には、撮像された複数のプロジェクタ１５０ａ〜１５０の円形状が重ね合わせて表現されているが、画像自体は重ね合わせる必要はない。

再び図７を参照すると、ステップＳ２０５では、幾何補正係数計算部１３６は、プロジェクタ１５０各々について、共通座標系上に変換および統合された格子点座標各々を線形に外挿し、投影可能領域の外周座標を計算する。

図１１は、統合された格子点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図である。図１１（Ａ）は、プロジェクタ・メモリ上の左上隅の４つの格子点を示し、図１１（Ｂ）は、共通座標系上の対応する４つの格子点を示す。図１１（Ａ）に示すように、プロジェクタ・メモリ上の外周座標（４隅および４辺上の格子点）は、外周部に位置する４つの格子点（例えばＰ００_Ｐ〜Ｐ１１_Ｐ）の四辺形パッチを外挿する位置（格子点間距離の１．５倍の距離の位置）に定められる。

共通座標系における各プロジェクタの投影可能領域に対応する外周画素の座標（４隅および４辺上の格子点）は、図１１（Ｂ）に示すように、外周部に位置する各４つの格子点座標から線形に外挿することによって計算することができる。同様に、外周座標（４隅および４辺上の格子点）以外のプロジェクタ・メモリ上の任意の座標点に対応する共通座標系上の点も、近傍の４点の格子点座標を線形に内挿または外挿して求めることができる。

ここで、プロジェクタ・メモリ上の任意の座標点Ｑ_Ｐが、プロジェクタ・メモリ上での座標位置が近傍にある４つの格子点Ｐ００_Ｐ，Ｐ１０_Ｐ，Ｐ０１_Ｐ，Ｐ１１_Ｐにおいて、ｘ軸方向にｔ:１−ｔ（０＜ｔ＜１）で、ｙ軸方向にｓ：１−ｓ（０＜ｓ＜１）で内分する点だとする。すると、座標点Ｑ_Ｐに対応する共通座標系上の点Ｑ_Ｃは、対応する４つの格子点Ｐ００_Ｃ，Ｐ１０_Ｃ，Ｐ０１_Ｃ，Ｐ１１_Ｃの座標ベクトルから、下記式（３）を用いて計算することができる。外挿する点の場合は、上記ｔおよびｓに対し、−１．５＜ｔ＜０、−１．５＜ｓ＜０の範囲を設定して下記式（３）を用いて計算することができる。

画像全体では非線形な幾何歪みが生じ得るが、ここでは、その一部である２×２の格子点で構成される四辺形パッチの範囲および外周に向かって所定量外挿した範囲では、線形な幾何歪みだと見なせることを前提としている。上記四辺形パッチのサイズが充分に小さいとみなせるためである。なお、説明する実施形態では、上記式（３）を用いて線形補間により対応点を計算するものとして説明する。しかしながら、他の実施形態では、隣接する４つの格子点のペアＰ００_Ｃ，Ｐ１０_Ｃ，Ｐ０１_Ｃ，Ｐ１１_Ｃ、Ｐ００_Ｐ，Ｐ１０_Ｐ，Ｐ０１_Ｐ，Ｐ１１_Ｐを用いて求められる射影変換により、プロジェクタ・メモリ上の点Ｑ_Ｐを共通座標系上での対応点Ｑ_Ｃに対応付けてもよい。

上述した線形的な外挿をプロジェクタ毎に行うことにより、３つのプロジェクタ１５０ａ〜１５０ｃの投影可能領域（つまり全面白画像を投影して映る範囲である。）が共通座標系上で検出される。図１２（Ａ）には、共通座標系３００上において検出された３つのプロジェクタの投影可能領域３０４ａ〜３０４ｃが表されている。第１プロジェクタ１５０ａの投影可能領域３０４ａは、実線の白線で示され、第２プロジェクタ１５０ｂの投影可能領域３０４ｂは、破線の白線で示され、第３プロジェクタ１５０ｃの投影可能領域３０４ｃは、２点鎖線の白線で示されている。

再び図７を参照すると、ステップＳ２０６では、幾何補正係数計算部１３６は、共通座標系において、すべてのプロジェクタの投影可能領域の論理和（ＯＲ）を求めて、コンテンツ画像をマップするための補正後投影目標領域を上記論理和の領域内に設定する。補正後投影目標領域は、コンテンツ画像を、そのアスペクト比を保って、すべてのプロジェクタの投影可能領域３０４ａ〜３０４ｃの論理和となる領域内に最大の大きさでマップするように設定される。

共通座標系上で各投影可能領域の４隅の点が既知であり、これらを結ぶ４つの辺（上辺、下辺、左辺、右辺）も、それぞれ格子点幅で線形区分された形で求まり、それらの存在範囲も把握される。したがって、共通座標系上での３つのプロジェクタの投影可能領域３０４ａ〜３０４ｃの上辺３０６Ｔ、および下辺３０６Ｂで挟まれた範囲、同じく左辺３０６Ｌ、右辺３０６Ｒで挟まれた範囲に、３つの論理和の領域内に取り得る矩形範囲が定まる。

補正後投影目標領域３１０は、図１２（Ａ）の点線で示した矩形領域のように、４辺３０６Ｔ，３０６Ｂ，３０６Ｌ，３０６Ｒの矩形範囲内にコンテンツ画像のアスペクト比（例えばＭ：Ｎ）を保って最大サイズで割り付けられた領域となる。図１２（Ａ）の例示では、若干縦方向に余りがあるので、上下に余白が設けられて、補正後投影目標領域がセンタリングされている。そして、図１２（Ｂ）に示すように、この補正後投影目標領域３１０に、投影すべきコンテンツ画像３２０が貼り付けられることになる。

再び図７を参照すると、ステップＳ２０７〜ステップＳ２１１のループでは、プロジェクタ毎に、ステップＳ２０８〜ステップＳ２１０で示す各処理が実行され、複数のプロジェクタ各々の幾何補正係数が求められる。ステップＳ２０８では、幾何補正係数計算部１３６は、共通座標系上の格子点座標を、元のコンテンツ画像の座標系に変換する。以下、共通座標系上で補正後投影目標領域３１０に貼り付けられるコンテンツ画像を「投影コンテンツ画像」と参照し、その元となるオリジナルのコンテンツ画像を「等倍コンテンツ画像」と参照する。

ステップＳ２０９では、幾何補正係数計算部１３６は、プロジェクタ・メモリ上の格子点座標を、共通座標系を経由して、等倍コンテンツ画像の座標系の画素位置に対応付ける。ステップＳ２１０では、幾何補正係数計算部１３６は、プロジェクタ・メモリ上の整数画素座標を、共通座標系を経由して、等倍コンテンツ画像の座標系の画素位置へ線形補間により対応付ける。

ステップＳ２０８〜ステップＳ２１０で示す各処理で計算される幾何補正係数は、図１３に示すように、プロジェクタ・メモリ３３０上の各座標を、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置に対応付けるものである。

図１３に示すプロジェクタ・メモリ３３０ａの１つの格子点Ｐ４２_Ｐを代表して説明すると、プロジェクタ・メモリ３３０上の格子点Ｐ４２_Ｐに対しては、共通座標系３００上の対応点Ｐ４２_Ｃ（Ｘ_Ｐ４２Ｃ，Ｙ_Ｐ４２Ｃ）が抽出されている。そして、補正後投影目標領域３１０にコンテンツ画像がマップされるため、図１３に示すように、共通座標系３００上の座標位置Ｐ４２_Ｃに対しては、さらに、等倍コンテンツ画像上での対応する画素位置Ｐ４２_ｍ（Ｘ_Ｐ４２ｍ，Ｙ_Ｐ４２ｍ）が定まる。

等倍コンテンツ画像上での対応する画素位置Ｐ４２_ｍ（Ｘ_Ｐ４２ｍ，Ｙ_Ｐ４２ｍ）は、共通座標系３００上の対応点Ｐ４２_Ｃの座標（Ｘ_Ｐ４２Ｃ，Ｙ_Ｐ４２Ｃ）から、以下式（４）で計算することができる。下記式（４）中、座標（Ｘ_０，Ｙ_０）は、共通座標系上での投影コンテンツ画像の左上の原点の座標であり、Ｒは、コンテンツ画像の変倍率を表す。なお、ここでは、説明の便宜上、等倍コンテンツ画像を、所定の変倍率Ｒで、そのまま補正後投影目標領域３１０にマップするものとしているが、コンテンツの共通座標系上へのマップの仕方は特に限定されるものではない。

プロジェクタ・メモリ上の格子点Ｐ４２_Ｐ以外のすべての格子点Ｐｉｊ_Ｐについても同様に、等倍コンテンツ画像上での対応する画素位置が計算される。プロジェクタ・メモリ上の格子点以外の任意の座標については、図１１を参照して説明した同様の方法により、近傍の２×２格子点のコンテンツ画像上での対応する画素位置を線形に補間（内挿または周辺部では外挿）することによって、等倍コンテンツ画像上での対応する画素位置を計算することができる。これにより、プロジェクタ・メモリ３３０ａ上の所定領域３３２ａの画素に対し、コンテンツ画像３２０における第１プロジェクタ１５０ａが担当する領域３２２ａの画素位置が対応付けられる。

図１７（Ａ）は、ステップＳ２０８〜ステップＳ２１０の処理で計算される１つのプロジェクタの幾何補正係数のデータ構造を例示する。図１７（Ａ）に示すように、こうして求めたプロジェクタ・メモリの全画素に対する等倍コンテンツ画像上での対応する画素位置が、幾何補正係数となる。

ステップＳ２０７〜ステップＳ２１１のループがプロジェクタ台数分だけ繰り返され、すべてのプロジェクタについて、プロジェクタ・メモリ上の整数画素座標と等倍コンテンツ画像の座標系との対応付けが完了すると、ステップＳ２１２に進められる。ステップＳ２１２では、本処理を終了し、図８に示した呼び出し元へ処理が戻される。これにより、すべてのプロジェクタ１５０ａ〜１５０ｃそれぞれのための幾何補正係数が準備される。

なお、説明する実施形態では、幾何補正係数として、プロジェクタ・メモリの全画素に対する等倍コンテンツ画像上での対応する画素位置を求めているが、これに限定されるものではない。他の実施形態では、プロジェクタ・メモリ上の各格子点Ｐｉｊ_Ｐに対する等倍コンテンツ画像上での画素位置Ｐｉｊ_ｍを幾何補正係数として求め、後述する補正処理部１１４で、格子点以外の座標については四辺形パッチ毎に射影変換あるいは線形変換することにより計算する態様としてもよい。

（ブレンディング係数の計算）
以下、図１４〜図１７を参照しながら、各プロジェクタのブレンディング係数の計算処理の詳細について説明する。図１４は、本実施形態による補正係数算出部１３０が実行するブレンディング係数の計算処理を示すフローチャートである。図１４に示す処理は、図６に示したステップＳ１１０で呼び出されて、ステップＳ３００から開始される。ステップＳ３０１〜ステップＳ３１３のループでは、注目するプロジェクタ毎に、ステップＳ３０２〜ステップＳ３１２で示す各処理が実行され、複数のプロジェクタ１５０ａ〜１５０ｃ各々のブレンディング係数が求められる。

ステップＳ３０２では、ブレンディング係数計算部１３８は、共通座標系３００において、注目プロジェクタと、該注目プロジェクタの隣接プロジェクタとの投影可能領域の外周座標に基づき、これらの重複領域を検出する。図１５は、プロジェクタ・メモリ３３０上の各座標に対するブレンディング係数の対応付けを説明する図である。図１５に示すように、共通座標系３００での補正後投影目標領域３１０の最上辺においては、左原点（○）から右方向へ探索することにより、第１プロジェクタ１５０ａと第２プロジェクタ１５０ｂとの重複領域の開始点（●）および終了点（◎）が検出される。他の水平ラインについても同様に重複領域の開始点および終了点が検出される。

再び図１４を参照すると、ステップＳ３０２では、ブレンディング係数計算部１３８は、まず、共通座標系の各座標に対するブレンディング係数を０で初期化する。ステップＳ３０４〜ステップＳ３１１のループでは、共通座標系の水平ライン（補正後投影目標領域に対応する部分のみでよい。）毎に、ステップＳ３０５〜ステップＳ３１０で示す各処理が実行される。ステップＳ３０５〜ステップＳ３１０で示す各処理により、共通座標系上の各座標位置に対し、ブレンディング係数の中間結果が割り当てられる。

ステップＳ３０５では、注目する水平ラインにおいて、上述した投影可能領域の外周座標と、検出された重複領域とに基づき、当該プロジェクタの投影可能領域の開始点および終了点、並びに隣接プロジェクタとの重複領域の開始点および終了点を設定する。

ステップＳ３０６〜ステップＳ３１０のループでは、共通座標系の水平ラインの各画素毎（投影可能領域内のみ。）に、ステップＳ３０７〜ステップＳ３０９で示す処理が実行される。ステップＳ３０７〜ステップＳ３０９で示す処理により、水平ラインにおける共通座標系上の各画素毎にブレンディング係数が決定される。

ステップＳ３０７では、ブレンディング係数計算部１３８は、注目する画素が重複領域に該当するか否かに応じて処理を分岐させる。ステップＳ３０７で、重複領域に該当しないと判定された場合（ＮＯ）は、ステップＳ３０８へ処理が進められる。この場合は、重複しない単独の投影可能領域に対応する画素であるため、ステップＳ３０８では、ブレンディング係数計算部１３８は、ブレンディング係数を最大値１に決定する。一方、ステップＳ３０７で、重複領域に該当すると判定された場合（ＹＥＳ）は、ステップＳ３０９へ処理が進められる。この場合は、隣接プロジェクタと重複する領域に対応する画素であるため、ステップＳ３０９では、ブレンディング係数計算部１３８は、ブレンディング係数を所定の関係式に従って計算する。

図１６は、プロジェクタの入出力特性のグラフを示すが、プロジェクタの入出力特性は、典型的には、線形とはならない。上記重複領域に対応する画素に対するブレンディング係数の計算では、この入出力特性の逆補正を一旦施して線形になるように補正した上で、両側のプロジェクタからの光量が合計して１となるように重み付けを行う。

具体的には、図１５の下段のグラフで第１プロジェクタについて示すように、原点（○）から、重複領域の開始点(●)までの範囲の画素に対しては、上記ステップＳ３０８でブレンディング係数が最大１に決定される。一方、重複領域の開始点(●)から終了点（◎）までの範囲の画素に対しては、上記ステップＳ３０９で、開始点（●)からの水平距離に応じて、実際の明るさが線形に１．０から０へ徐々に落ちていくように、プロジェクタの入出力特性の逆補正をかけたブレンディング係数を算出する。図１６に示すような入出力特性であれば、開始点から終了点まで距離で正規化した開始点からの水平距離ｘ（０．０≦ｘ≦１．０）に対するブレンディング係数ｙは、下記式（５）で計算することができる。

ステップＳ３０４〜ステップＳ３１１のループにより、共通座標系における整数画素各々に対しブレンディング係数の中間結果が決定される。投影可能領域以外の領域については、ステップＳ３０３の初期化により０が設定されている。ステップＳ３０４〜ステップＳ３１１のループで、共通座標系のすべての水平ラインについての処理が完了すると、ステップＳ３１２へ処理が進められる。補正後投影目標領域以外の水平ラインについては、ステップＳ３０３の初期化により各画素に０が設定されている。

ステップＳ３１２では、ブレンディング係数計算部１３８は、プロジェクタ・メモリ上の整数画素座標各々に対し、図１７（Ａ）に示すデータ構造によって対応付けられる共通座標系の座標（小数点）の最近傍の整数画素に割り当てられたブレンディング係数を対応付ける。図１７（Ｂ）は、ステップＳ３０２〜ステップＳ３１２の処理で計算された１つのプロジェクタのブレンディング係数のデータ構造を例示する。図１７（Ｂ）に示すように、プロジェクタ・メモリの全画素に対するブレンディング係数が求められる。

ステップＳ３０１〜ステップＳ３１３のループで、すべてプロジェクタについての処理が完了すると、ステップＳ３１４で本処理を終了し、図６に示した呼び出し元へ処理が戻される。

上述した処理により、複数のプロジェクタ１５０ａ〜１５０ｃの各々に対して、プロジェクタ・メモリの全画素分のブレンディング係数が得られることになる。なお、上述した説明では、第１プロジェクタ１５０ａと第２プロジェクタ１５０ａとの重複領域について説明している。第２プロジェクタ１５０ｂが対象となる場合は、左右の第１プロジェクタ１５０ａおよび第３プロジェクタ１５０ｃを合わせて、２つの重複領域についてブレンディング補正の計算が行われることとなる。

（補正処理）
以下、図１７および図１８を参照しながら、上記補正係数に基づく補正処理の詳細について説明する。図１８は、上記補正係数に基づく補正処理を説明する図である。上述した幾何補正係数計算部１３６で算出された各プロジェクタの幾何補正係数と、上述したブレンディング係数計算部１３８で算出された各プロジェクタのブレンディング係数とが、図６に示したステップＳ１１１で、各補正処理部１１４に設定される。

まず、補正処理部１１４は、プロジェクタ・メモリの全画素と、等倍コンテンツ画像上での対応する画素位置との対応付けデータを準備する。上述した幾何補正係数計算部１３６での処理により、図１７（Ａ）に示すようなプロジェクタ・メモリの全画素に対する画素位置が求められている場合は、補正処理部１１４は、図１７（Ａ）に示す対応付けデータをそのまま読み出す。プロジェクタ・メモリの格子点座標毎の等倍コンテンツ画像上での画素位置だけが与えられている場合は、格子点以外のプロジェクタ・メモリ上の全画素について、格子点の座標から線形補間等で、参照すべき等倍コンテンツ画像上の座標を計算し、図１７（Ａ）に示すような対応付けデータを計算する。

補正処理部１１４は、プロジェクタ・メモリの画素毎の参照すべき等倍コンテンツ画像上の画素位置（小数点数）に基づき、投影すべき等倍コンテンツ画像から、バイリニア、バイキュービックなどの画素補間方法によって中間画像を生成する。補正処理部１１４は、さらに、生成された中間画像のＲ，Ｇ，Ｂ各色の画素値に対し、図１７（Ｂ）の対応付けデータにより対応付けられるブレンディング係数を乗じ、最終的な投影画像を生成する。

図１８には、３台のプロジェクタ１５０ａ〜１５０ｃについて、補正処理部１１４ａ〜１１４ｃによりコンテンツ画像から最終的に得られた投影画像３５０ａ〜３５０ｃが示されている。図１８に示すように、投影モード中、これらの投影画像３５０ａ〜３５０ｃが、プロジェクタ１５０から投影される。投影画像３５０は、対応するプロジェクタ１５０が担当すべきコンテンツ画像の部分に対し各種補正がかけられているので、投影画像３５０ａ〜３５０ｃの投影像は、投影面上で好適に重なり合わせられて、単一の投影像３５２に合成される。

（校正用シーン選択部の変形例）
以下、図１９〜図２３を参照しながら、変形例の実施形態について説明する。上述までの説明では、水平方向または垂直方向に投影像を一列に並べてマルチ・プロジェクションを行う場合について説明した。図１９〜図２３は、２次元格子状（ｉｊ）に投影像を並べたマルチ・プロジェクションに一般化して説明するものである。

この変形例の実施形態においても、校正用シーン選択部１２０は、校正用画像格納部１１８から各校正用画像を読み出し、複数のプロジェクタ１５０ａ〜１５０ｃ各々に対し、適切な校正用画像を選択して出力する。この変形例の実施形態においては、校正用画像は、図１９（Ａ）に示す格子パターンのみを含む第１校正用画像Ｃｉｊと、位置合わせパターンのみを含む第２校正用画像Ａｉｊとの２種類がある。位置合わせパターンは、好適には、格子パターンが配置された領域の周辺の位置に配置することができる。第３の校正用画像も用いられるが、第１および第２校正用画像Ｃｉｊ，Ａｉｊを合成して得られる校正用画像Ｃｉｊ＋Ａｉｊとして提供される。

校正用シーン選択部１２０は、複数のプロジェクタｉｊの投影像の位置関係を把握しており、全体として過不足なく各プロジェクタ１５０の校正結果を得るため、下記（Ａ）〜（Ｄ）の条件が満たされるように、複数の校正用投影シーンを準備する。

第１の条件（Ａ）は、投影像の配列において、隣接するプロジェクタ１５０が同一シーンで同時に格子パターンを投影しないという条件である。つまり、図１９（Ｂ）に示すように、あるシーンにおいて、プロジェクタｉｊから格子パターンＣｉｊが投影される場合は、プロジェクタｉｊに隣接する８個のプロジェクタの格子パターンは投影することができない。第１の条件（Ａ）を満たすように複数の校正用投影シーンを準備することにより、隣接するプロジェクタの格子パターンの重なり合いが防止される。

第２の条件（Ｂ）は、複数の校正用投影シーン全体として、マルチ・プロジェクションに参加するすべてのプロジェクタの格子パターンＣｉｊが少なくとも１つずつ含まれるという条件である。第２の条件（Ｂ）を満たすように複数の校正用投影シーンを準備することにより、すべてのプロジェクタｉｊの投影像に対する歪み補正が行われることが保証される。

第３の条件（Ｃ）は、ひとつの校正用投影シーンは、他の校正用投影シーンの少なくとも１つとの間で共通するプロジェクタｉｊから投影される位置合わせパターンＡｉｊを含むという条件である。第４の条件（Ｄ）は、第３の条件（Ｃ）を前提として、複数の校正用投影シーン全体として、シーン間で共通する位置合わせパターンＡｉｊに基づきシーンを接続した場合に、校正用投影シーンをノードとし、上記接続をリンクとして１つの木構造が構成されるという条件である。校正用投影シーンをノードとし、上記接続をリンクとして木構造が構成されるということは、ルートとなる１つのシーンを撮像した校正用撮像画像の座標系に統合できることを意味する。したがって、第３の条件（Ｃ）および第４の条件（Ｄ）を満たすように複数の校正用投影シーンを準備することにより、すべてのシーンを撮像した校正用撮像画像の座標を、共通座標系に統合できることが保証される。

図２０および図２１は、それぞれ、上記（Ａ）〜（Ｄ）の条件が満たされるように構成された、校正用投影シーンおよびその撮影方法を説明する図である。図２０は、投影像を水平方向に３連結する例を示し、図２１は、投影像を垂直方向に３連結する例を示す。

図２０に示す態様では、３回の撮像に対応した３個の校正用投影シーンが準備される。３つの校正用投影シーン４０２，４１２，４２２は、校正用画像４００ｂ，４１０ｂおよび校正用画像４１０ｃ，４２０ｃに含まれるそれぞれ共通する位置合わせパターンＡ１０およびＡ２０によりリンクされ、ひとつの木構造Ｔ１を構成している。図２０に示す態様では、撮像回数が３回必要であるが、カメラ１６０の撮影は、プロジェクタ２台分の投影像が収まる画角で済むことになる。

図２１に示す態様では、２回の撮像に対応した２個の校正用投影シーンが準備される。２つの校正用投影シーン４３２，４４２は、校正用画像４３０ｂ，４４０ｂに含まれる共通する位置合わせパターンＡ０１によりリンクされ、ひとつの木構造Ｔ２を構成している。図２１に示す態様では、プロジェクタ３台分の画角で撮像することが必要になるが、撮像回数は２回必要で済むことになる。

図２２および図２３は、上記（Ａ）〜（Ｄ）の条件が満たされるように構成された校正用投影シーンおよびその撮影方法を説明する図である。図２２および図２３は、それぞれ、９台のプロジェクタを用いて投影像を３行３列で連結する場合を例示している。図２２は、３×３の全画面分をカメラ１６０の画角に収めて、４回撮像する例を示し、図２３は、１×２または２×１の２画面分を画角に収めて、９回撮像する例示する。

図２２に示す態様では、４回の撮像に対応した４個の校正用投影シーンが準備される。図２２に示す各校正用投影シーン４５０，４５２，４５４，４５６では、隣接するプロジェクタから格子パターンが同時に投影されておらず、上記第１の条件（Ａ）が満たされている。また、校正用投影シーン４５０，４５２，４５４，４５６すべてにおいて、プロジェクタｉｊの格子パターンＣｉｊ（ｉｊ＝００〜２２）すべてが１つずつ含まれており、上記第２の条件（Ｂ）が満たされている。また、Ａ０１，Ａ１０，Ａ１１で示すシーン間で共通する位置合わせパターンにより、３つの校正用投影シーン４５０，４５２，４５４，４５６が、木構造Ｔ３を構成しており、第３の条件（Ｃ）および第４の条件（Ｄ）が満たされている。図２２に示す態様では、プロジェクタの投影像３×３台分が収まる画角で撮像することが必要になるが、撮像回数は最小の４回で済む。

これに対して、図２３に示す態様では、９回の撮像に対応した９個の校正用投影シーンが準備される。図２３に示す各校正用投影シーン４６０〜４６８では、３行３列の配列において、中心から外周へ一筆書きに２台のプロジェクタずつ画角に収めて撮影が行われる。そして、第ｎ（１≦ｎ≦Ｎ−１。）番目の校正用投影シーンは、投影像の配列において、隣接するプロジェクタのうちの一方が位置合わせパターン（１台目は必ずしも投影することを要さない。）および少なくとも格子パターンを投影し、かつ、他方が位置合わせパターンＡｉｊを投影するように準備される。このため、校正用投影シーン４６０〜４６８は、木構造を構成しており、第１〜第４の条件が満たされている。図２３に示す態様では、撮像回数は９回必要となるが、カメラ１６０の撮影は、プロジェクタ２台分の投影像が収まる画角で済むことになる。

（ハードウェア構成）
以下、図２４を参照しながら、上述までの実施形態における画像処理装置１１０のハードウェア構成について説明する。画像処理装置１１０は、典型的には、汎用コンピュータ装置として構成される。図２４は、本実施形態による汎用コンピュータ装置のハードウェア構成を示す図である。

汎用コンピュータ装置１１０は、デスクトップ型のパーソナル・コンピュータ、ワークステーションなどとして構成されている。図２４に示す汎用コンピュータ装置１１０は、ＣＰＵ（Central Processing Unit）１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、サウスブリッジ１６とを含む。サウスブリッジ１６は、上記ノースブリッジ１４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担う。

ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ（Random Access Memory）１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、アナログＲＧＢ、ＨＤＭＩ（High-Definition Multimedia Interface；ＨＤＭＩおよびHigh-Definition Multimedia Interfaceは登録商標または商標である）、ＤＶＩ（Digital Visual Interface）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）などの映像出力インタフェースを介してディスプレイ５０や上記プロジェクタ１５０に接続される。

サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ１３９４、ＵＳＢ（Universal Serial Bus）ポート２８、補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などであり、コンピュータ装置を制御するためのＯＳ、上記機能部を実現するためのプログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、汎用コンピュータ装置１１０を有線および無線でネットワークに接続させるインタフェース機器である。

ＵＳＢポート２８には、キーボード５２およびマウス５４などの入力装置が接続されてもよく、操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による汎用コンピュータ装置１１０は、補助記憶装置３０からプログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。なお、プロジェクタ１５０およびカメラ１６０については、特に説明を行わないが、同様に、ＣＰＵおよびＲＡＭ等などのハードウェアや、特定の用途に応じたハードウェアを備えている。

以上説明した実施形態の構成により、隣接するプロジェクタ同士でのプロジェクタ・メモリ（出力画像）の座標系を規定し、投影像の歪みを検出する格子パターンの重なりを回避することが容易となる。ひいては、パターン分離のための画像処理を必要とする場合に比較して、精度良くパターン抽出を行うことができ、高精度な幾何補正およびブレンディング補正が可能となる。

また、位置合わせパターンのマーカを格子パターンの外側に設けることにより、位置合わせパターンと、格子パターンとが重ならないように投影することが容易となる。このため、複数回に分けて分割撮像した校正用撮像画像間の格子点座標同士の統合を高精度に行うことができる。さらに、位置合わせパターンを使用して分割撮像した校正用撮像画像を統合できるため、分割撮像中の三脚でのカメラ固定が不要であり、また、正確にカメラ位置、向きを制御する専用機材も必要がなく、緩和された撮像条件下で、低コストで簡便に、複数のプロジェクタに対する補正条件を求めることができる。

また、シーンの構成を工夫することにより、複数のプロジェクタの格子パターンを分割撮像できるので、マルチ・プロジェクションの画面数が増大しても、カメラによる撮像時の奥行きの制約等を回避することができる。また、カメラ撮像時の奥行きに対する要件が厳しくない場合には、カメラの画角に収める画面数を多くすることにより、校正のための撮像回数を少なくすることができ、ユーザの校正作業の工数を削減することができる。

以上説明したように、本発明の実施形態によれば、複数の投影手段により投影体上に像を投影するための投影システムにおいて、複数の投影手段から投影する画像の補正条件を、緩和された撮像条件下で求めることができる投影システム、画像処理装置、投影方法およびプログラムを提供することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（VHSIC（Very High Speed Integrated Circuits） Hardware Description Language））、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…プロジェクション・システム、１０２…スクリーン、１０４…投影像、１０６…単一の投影像、１１０…画像処理装置、１１２…コンテンツ格納部、１１４…補正処理部、１１６…投影画像出力部、１１８…校正用画像格納部、１２０…校正用シーン選択部、１２２…切替部、１２４…校正用撮像画像入力部、１３０…補正係数算出部、１３２…特徴点抽出部、１３４…格子点変換部、１３６…幾何補正係数計算部、１３８…ブレンディング係数計算部、１５０…プロジェクタ、１６０…カメラ、２００，２１０…校正用画像、２０２，２１２…位置合わせパターン、２０４…円、２０６…格子パターン、２３０，２３２，２３４，２４０，２４２，２５２，２６２，２７２，２８２，２９２…投影像、２５０，２６０，２７０，２８０，２９０…校正用撮像画像、２５４，２６４，２７４，２８４，２９４…矩形マーカ、３００…共通座標系、３０２…集合、３０４…投影可能領域、３０６…辺、３１０…補正後投影目標領域、３２０…投影コンテンツ画像、３３０…プロジェクタ・メモリ、３５０…投影像、３５２…単一の投影像、４００，４１０，４２０，４３０，４４０…校正用画像、４０２，４１２，４１２，４２２，４３２，４４２，４５０，４５２，４５４，４５６，４６０〜４６８…校正用投影シーン、１２…ＣＰＵ、１４…ノースブリッジ、１６…サウスブリッジ、１８…ＲＡＭ、２０…グラフィックボード、２２…ＰＣＩ、２４…ＬＡＮポート、２６…ＩＥＥＥ１３９４ポート、２８…ＵＳＢポート、３０…補助記憶装置、３２…オーディオ入出力、３４…シリアルポート、５２…キーボード、５４…マウス

特許第３９０８２５５号公報 特許第３４９７８０５号公報 特開２０１２−４７８４９号公報 特開２０１１−１８２０７６号公報

Claims (18)

1. 複数の投影手段により投影体上に像を投影するための投影システムであって、
   複数の校正用撮像画像を準備する撮像画像準備手段と、
   前記複数の校正用撮像画像各々から、投影手段の投影像の歪みを示す格子点と、該投影手段の投影像または他の投影手段の投影像の位置合わせ点とを少なくとも抽出する抽出手段と、
   前記抽出手段により前記複数の校正用撮像画像から抽出された前記複数の投影手段各々の投影像の格子点を、校正用撮像画像間で共通する位置合わせ点に基づいて、共通座標系上に変換する変換手段と、
   前記共通座標系上の格子点に基づいて、前記複数の投影手段各々から投影する投影画像を与える幾何補正係数を計算する幾何補正係数計算手段と
   を含む、投影システム。
2. 投影像の格子点を規定する格子パターンおよび校正用撮像画像間での位置合わせ点を規定する位置合わせパターンの両方または一方を含む校正用画像を投影手段に出力する画像出力手段をさらに含む、請求項１に記載の投影システム。
3. それぞれ、少なくとも１つの投影手段各々に出力する校正用画像を含む校正用投影シーンであって、（ａ）投影像の配列において隣接する投影手段が同一シーンで共に格子パターンを投影しないように、かつ、（ｂ）複数の校正用投影シーン全体として、前記複数の投影手段の格子パターンが少なくとも１つずつ含まれるように、かつ、（ｃ）前記複数の校正用投影シーンが、シーン間で共通する投影手段が投影する位置合わせパターンに基づく接続を介して、木構造を構成するように、当該校正用投影シーンを複数準備するシーン準備手段をさらに含む、請求項２に記載の投影システム。
4. 前記シーン準備手段は、投影像の配列において、隣接する投影手段のうちの一方が少なくとも格子パターンを投影し、かつ、他方が位置合わせパターンを投影するように、当該校正用投影シーンを１以上準備し、最後の投影手段が格子パターンおよび位置合わせパターンの両方を投影するように最後の当該校正用投影シーンを準備することを特徴とする、請求項３に記載の投影システム。
5. 前記シーン準備手段は、投影像の配列において、前記複数の投影手段のうちの第１のグループの投影手段が少なくとも格子パターンを投影するように、第１の校正用投影シーンを準備し、かつ、前記複数の投影手段のうちの第１のグループの投影手段にそれぞれ隣接する第２のグループの投影手段が少なくとも格子パターンを投影するように、第２の校正用投影シーンを準備し、かつ、前記第１の校正用投影シーンおよび第２の校正用投影シーンが、少なくとも１つの共通する投影手段が位置合わせパターンを投影するように、前記第１の校正用投影シーンおよび第２の校正用投影シーンを準備することを特徴とする、請求項３に記載の投影システム。
6. 前記位置合わせパターンは、投影像における前記格子パターンが配置される領域の周辺の位置に配置されることを特徴とする、請求項２〜５のいずれか１項に記載の投影システム。
7. 前記変換手段は、前記撮像画像準備手段により準備された前記複数の校正用撮像画像のうちの第１の校正用撮像画像と第２の校正用撮像画像との間で共通する位置合わせパターンの座標に基づき、前記第２の校正用撮像画像の座標系から前記第１の校正用撮像画像の座標系へ格子点を変換する射影変換を行う、請求項１〜６のいずれか１項に記載の投影システム。
8. 前記複数の投影手段各々に対し、注目する投影手段の投影像と、該注目する投影手段に隣接する投影手段各々の投影像との間の重複領域を検出し、前記注目する投影手段と前記隣接する投影手段各々との像の重ね合わせを調整するブレンディング係数を計算するブレンディング係数計算手段をさらに含む、請求項１〜７のいずれか１項に記載の投影システム。
9. 前記幾何補正係数計算手段によって計算された幾何補正係数に基づき、投影する対象の画像から、投影手段毎の中間画像を生成し、前記ブレンディング係数計算手段によって計算されたブレンディング係数に基づき、前記中間画像から投影手段毎の投影画像を算出する、投影手段毎の補正処理手段をさらに含む、請求項８に記載の投影システム。
10. それぞれ投影手段となる投影装置および校正用撮像画像を撮像するための撮像装置の両方または一方を含む、請求項１〜９のいずれか１項に記載の投影システム。
11. 複数の投影手段を用いた投影を行うための画像処理装置であって、
    複数の校正用撮像画像を準備する撮像画像準備手段と、
    前記複数の校正用撮像画像各々から、投影手段の投影像の歪みを示す格子点と、該投影手段の投影像または他の投影手段の投影像の位置合わせ点とを少なくとも抽出する抽出手段と、
    前記抽出手段により前記複数の校正用撮像画像から抽出された前記複数の投影手段各々の投影像の格子点を、校正用撮像画像間で共通する位置合わせ点に基づいて、共通座標系上に変換する変換手段と、
    前記共通座標系上の格子点に基づいて、前記複数の投影手段各々から投影する投影画像を与える幾何補正係数を計算する幾何補正係数計算手段と
    を含む、画像処理装置。
12. 前記抽出手段は、投影像の格子点を規定する格子パターンおよび校正用撮像画像間での位置合わせ点を規定する位置合わせパターンの両方または一方を含む１以上の校正用投影像が写り込んだ校正用撮像画像各々から、前記格子点および前記位置合わせ点の両方または一方を抽出する、請求項１１に記載の画像処理装置。
13. 前記撮像画像準備手段は、それぞれ、少なくとも１つの投影手段各々から投影された校正用投影像が写り込んだ校正用撮像画像であって、（ａ）校正用撮像画像各々において、投影像の配列において隣接する投影手段が投影する格子パターンが共に写り込んでおらず、かつ、（ｂ）複数の校正用撮像画像全体として、前記複数の投影手段の格子パターンが少なくとも１つずつ写り込んでおり、かつ、（ｃ）前記複数の校正用撮像画像が、撮像画像間で共通する投影手段が投影し撮像された位置合わせパターンに基づく接続を介して、木構造を構成している、当該校正用撮像画像を複数準備する、請求項１２に記載の画像処理装置。
14. 複数の投影手段により投影体上に像を投影するための投影方法であって、
    コンピュータが、複数の校正用撮像画像を準備するステップと、
    コンピュータが、前記複数の校正用撮像画像各々から、投影手段の投影像の歪みを示す格子点と、該投影手段の投影像または他の投影手段の投影像の位置合わせ点とを少なくとも抽出するステップと、
    コンピュータが、前記抽出するステップにより前記複数の校正用撮像画像から抽出された前記複数の投影手段各々の投影像の格子点を、校正用撮像画像間で共通する位置合わせ点に基づいて、共通座標系上に変換するステップと、
    コンピュータが、前記変換するステップで変換された前記共通座標系上の格子点に基づいて、前記複数の投影手段各々から投影する投影画像を与える幾何補正係数を計算するステップと
    を含む、投影方法。
15. 前記準備するステップの前に、投影手段が、投影像の格子点を規定する格子パターンおよび校正用撮像画像間での位置合わせ点を規定する位置合わせパターンの両方または一方を含む校正用画像を投影するステップを含み、前記準備するステップは、少なくとも１つの投影手段各々から投影された校正用投影像が写り込んだ校正用撮像画像の入力を受けるステップを含む、請求項１４に記載の投影方法。
16. 前記投影するステップの前に、（ａ）投影像の配列において隣接する投影手段が同一シーンで共に格子パターンを投影しないように、かつ、（ｂ）複数の校正用投影シーン全体として、前記複数の投影手段の格子パターンが少なくとも１つずつ含まれるように、かつ、（ｃ）前記複数の校正用投影シーンが、シーン間で共通する投影手段が投影する位置合わせパターンに基づく接続を介して、木構造を構成するように、校正用投影シーンを準備するステップをさらに含む、請求項１５に記載の投影方法。
17. コンピュータが、前記複数の投影手段各々について、注目する投影手段の投影像と、該注目する投影手段に隣接する投影手段各々の投影像との間の重複領域を検出するステップと、前記注目する投影手段と前記隣接する投影手段各々との像の重ね合わせを調整するブレンディング係数を計算するステップとをさらに実行し、前記投影方法は、さらに、
    コンピュータが、前記幾何補正係数を計算するステップで計算された幾何補正係数に基づき、投影する対象の画像から、投影手段毎の中間画像を生成するステップと、
    コンピュータが、前記ブレンディング係数を計算するステップで計算されたブレンディング係数に基づき、前記中間画像から投影手段毎の投影画像を算出するステップと、
    投影手段各々が、前記算出するステップで算出された投影手段毎の投影画像を投影するステップと
    をさらに含む、請求項１５または１６に記載の投影方法。
18. 複数の投影手段を用いた投影を行うための画像処理装置を実現するためのプログラムであって、コンピュータを、
    複数の校正用撮像画像を準備する撮像画像準備手段、
    前記複数の校正用撮像画像各々から、投影手段の投影像の歪みを示す格子点と、該投影手段の投影像または他の投影手段の投影像の位置合わせ点とを少なくとも抽出する抽出手段、
    前記抽出手段により前記複数の校正用撮像画像から抽出された前記複数の投影手段各々の投影像の格子点を、校正用撮像画像間で共通する位置合わせ点に基づいて、共通座標系上に変換する変換手段、および
    前記共通座標系上の格子点に基づいて、前記複数の投影手段各々から投影する投影画像を与える幾何補正係数を計算する幾何補正係数計算手段
    として機能させるためのプログラム。