JP2017055346A - 投影システム、画像処理装置およびプログラム - Google Patents

Abstract

【課題】 投影システム、画像処理装置およびプログラムを提供すること。【解決手段】 投影システム１００は、複数の投影手段１５０は、それぞれ複数の投影手段１５０を含む複数のグループを構成し、複数の投影手段１５０により被投影面上に像を投影する。投影システム１００は、複数の投影手段１５０各々に対し、校正パターンを含む校正用画像を出力する出力手段１１６と、それぞれ投影された校正用画像を含み撮像された複数の校正用撮像画像を取得する取得手段１２６と、複数の校正用撮像画像から、校正パターンに基づき記複数のグループ１５０各々の投影手段各々の投影像の歪みを示す校正点を抽出する抽出手段１２８と、抽出された校正点に基づいて、複数のグループ間で共通の目標投影領域に、複数のグループ各々が像を重ねて投影するよう、複数の投影手段１５０各々から投影する投影画像を与える補正係数を計算する補正係数計算手段１３０とを含む。【選択図】図３

Description

本発明は、投影システム、画像処理装置およびプログラムに関する。

近年、複数のプロジェクタからの投影像を重畳させてスクリーン上に投影し、画像の明るさを向上させるスタック投影が知られている。

上述したスタック投影に関しては、例えば、特許第３９０８２５５号公報（特許文献１）が知られている。特許文献１の画像投影システムでは、校正に際して、予め座標位置が既知である４つ以上の特徴点を有する基準画像データ、例えば一定間隔に輝点や十字を並べたものや格子模様など既知の画像を、平面スクリーンに投影して、デジタルカメラにより撮像する。そして、撮像した基準画像撮像データ中の上記特徴点の位置が検出され、スクリーン上で原画像に忠実な投影像となるように複数のプロジェクタ間の投影像のシフト量と上記スクリーンに対する各プロジェクタ同士の投影角度の違いに起因する投影像の歪みの違いおよび位置ずれ（シフト量）が補正される。これにより、２つのプロジェクタによる投影像を重畳させている。

上述したスタック投影を行う場合、通常、焦点距離の長いプロジェクタの場合は、プロジェクタを上下に重ねたり、横一列に並べたりすればよく、各プロジェクタの投影の向きを調整して投影像を重ねて同じ位置に投影させることも容易である。しかしながら、プロジェクタの焦点距離によっては、物理的な配置の制約からスタック投影を行うことが困難となる場合があった。

本発明は、上記従来技術に鑑みてなされたものであり、本発明は、複数の投影手段により被投影面上に像を投影するための投影システムにおいて、投影手段の物理的な配置が容易で、かつ、複数の投影像を重ねることで像の明るさを向上することができる、投影システムを提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有する、複数の投影手段により被投影面上に像を投影するための投影システムを提供する。複数の投影手段は、それぞれ複数の投影手段を含む複数のグループを構成する。本投影システムは、複数の投影手段各々に対し、校正パターンを含む校正用画像を出力する出力手段と、それぞれ投影された校正用画像を含み撮像された複数の校正用撮像画像を取得する取得手段と、取得した複数の校正用撮像画像から、校正パターンに基づき、複数のグループ各々の投影手段各々の投影像の歪みを示す校正点を抽出する抽出手段と、抽出された校正点に基づいて、複数のグループ間で共通の目標投影領域に、複数のグループ各々が像を重ねて投影するよう、複数の投影手段各々から投影する投影画像を与える補正係数を計算する補正係数計算手段とを含む。

上記構成により、複数の投影手段により被投影面上に像を投影するための投影システムにおいて、容易な投影手段の物理的な配置にて、複数の投影像を重ねることで像の明るさを向上することが可能となる。

本実施形態による投影システムの全体構成を示す概略図。 超短焦点プロジェクタからスクリーンに対して少しずれた角度で投影した場合の投影像を撮影した写真を示す図。 本実施形態による投影システムの機能ブロック図。 本実施形態による投影システムで用いられる各プロジェクタから投影する校正用画像を例示する図。 本実施形態による校正処理の全体的な処理の流れを示すフローチャート。 本実施形態において順次投影される校正用投影シーンおよびその撮影方法を説明する図（１／２）。 本実施形態において順次投影される校正用投影シーンおよびその撮影方法を説明する図（２／２）。 特定の実施形態において、目標投影領域の四隅の位置を微調整するためのユーザ・インタフェース画面を例示する図。 本実施形態において、校正用画像の投影像、各プロジェクタの投影可能領域、目標投影領域および被投影面の関係を撮像画像の座標系にて表す図。 本実施形態による補正係数計算部が実行する幾何補正係数の計算処理を示すフローチャート。 統合された校正点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図。 プロジェクタ・メモリ上の各座標と、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置との対応付けを説明する図。 プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図。 （Ａ）幾何補正係数および（Ｂ）ブレンディング係数のデータ構造を例示する図。 他の実施形態による投影システムの概略構成を示す概略図。 さらに他の実施形態による投影システムの概略構成を示す概略図。 本実施形態による汎用コンピュータ装置のハードウェア構成を示す図。

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、投影システムの一例として、投影手段である複数のプロジェクタ１５０と、１つのカメラ１６０と、全体制御を行う画像処理装置１１０とを含む投影システム１００を用いて説明する。

（全体構成）
図１は、本実施形態による投影システム１００の全体構成を示す概略図である。図１に示す投影システム１００は、システムの全体制御を行う画像処理装置１１０と、複数のプロジェクタ１５０と、カメラ１６０と、入力装置１７０とを含み構成される。なお、投影システム１００は、図１に示す実施形態では、合計５台のプロジェクタ１５０ａ〜１５０ｅの投影像１０４ａ〜１０４ｅを投影面上で合成し、単一のプロジェクタの投影可能領域よりも大きな領域に画像を投影する、いわゆるマルチ・プロジェクションに対応した構成とされている。

画像処理装置１１０は、典型的には、パーソナル・コンピュータ、ワークステーションなどの汎用コンピュータとして構成される。なお、画像処理装置１１０は、汎用コンピュータに限定されるものではなく、専用コントローラとして実装されてもよいし、いずれかのプロジェクタ１５０に組み込まれてもよいし、タブレット・コンピュータのようなデバイスに組み込まれてもよい。

プロジェクタ１５０は、それぞれ、液晶方式、ＤＬＰ（Digital Light Processing）方式、ＬＣＯＳ（Liquid Crystal On Silicon）方式などを採用する投影装置である。プロジェクタ１５０は、好ましくは、短焦点プロジェクタであり、より好ましくは、凹面ミラーを自由曲面ミラーとし、レンズ系と自由曲面ミラーとの間に屈曲ミラー設けた屈曲光学系を含む、超短焦点プロジェクタである。カメラ１６０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などのイメージセンサと、イメージセンサの受光領域上に結像するためレンズなどの結像光学系とを含む撮像装置である。カメラ１６０は、ＷＥＢ（World Wide Web）カメラ、デジタル・スチル・カメラ、デジタル・ビデオ・カメラなどの専用デバイスとして構成されてよい。

入力装置１７０は、マウス、キーボード、タッチパネル、操作パネルなどの入力装置であり、ユーザからの指示を受け付けることができる。入力装置１７０は、校正の結果や途中結果における微調整の際などに利用することができる。なお、入力装置１７０は、画像処理装置１１０、プロジェクタ１５０またはカメラ１６０に接続されたデバイスとして構成されてもよく、あるいは、これらの装置に組み込まれたデバイスとして構成されてもよい。

本投影システム１００においては、被投影面を提供する投影体は、スクリーンや壁面などである。プロジェクタ１５０は、それぞれ、投影中心の位置をずらしながら被投影面１０２上に投影するように設置されている。画像処理装置１１０は、複数のプロジェクタ１５０に投影させる複数の投影画像を生成し、対応するプロジェクタ１５０各々に投影画像各々を出力する。プロジェクタ１５０は、それぞれ、画像処理装置１１０から入力される投影画像を被投影面１０２上に投影する。被投影面１０２上には、図１に示すように、複数のプロジェクタ１５０各々からの複数の投影像１０４が投影されている。これらの複数の投影像１０４は、投影面上で重なり合わせられて、被投影面１０２上の単一の投影像１０６に合成される。

投影システム１００では、投影モード前に、通常、校正処理が行われる。図１に示すカメラ１６０は、この校正処理の際に用いられる。画像処理装置１１０は、校正モード中、複数のプロジェクタ１５０それぞれに校正用の画像（以下、校正用画像と参照する。）を出力し、被投影面１０２上に投影像（以下、校正用画像を投影したものを校正用投影像と参照する。）を投影させる。そして、プロジェクタ１５０により投影された被投影面１０２上の校正用投影像が画角内に収まるように、カメラ１６０の視点および視野が設定され、校正用の撮像が行われることになる。画像処理装置１１０は、撮像された複数の撮像画像（以下、校正用投影像が写り込んだ撮像画像を校正用撮像画像と参照する。）を用いて、校正処理を行い、校正完了後、校正結果に基づいてコンテンツ画像を補正しながら投影を行う。

一般的な投影システムにおいて、明るさを向上させることを目的としてスタック投影する場合、プロジェクタが通常の焦点距離の長いプロジェクタであれば、複数のプロジェクタを上下に重ねて配置したり、横一列に並べて配置したりすればよい。各プロジェクタの投影の向きを調整して投影像を重ねて同じ位置に投影させることにより、容易にスタック投影を実現することができる。焦点距離の長い通常のプロジェクタであれば、多少スクリーンと正対せずとも、ピントのずれが少なく、プロジェクタの投影方向の調整角度が比較的小さくて済み、幾何的な歪みは小さく、通常の台形歪み補正機能で容易に補正が可能であるからである。

しかしながら、焦点が短い短焦点プロジェクタ、特に超短焦点プロジェクタと呼ばれるプロジェクタの場合、焦点距離が短いため、投影像を重ねるにはプロジェクタの向きを比較的大きく調整しなければならない。図２は、超短焦点プロジェクタからスクリーンに少しずれた角度で投影した場合の投影像を撮影した写真を示す。図２に示す格子画像の投影例を参照すると理解されるように、スクリーンに対して少しでも斜めから投影してしまうと、非線形な幾何歪みが大きくなり、特に場所によるピントのずれ（例えば図２に示す写真中の右上部分）が非常に大きくなってしまう。

上記を考慮して、スクリーンに正対させるために、超短焦点プロジェクタを複数上下に重ねて配置しようとしても、一方のプロジェクタの本体が、他方のプロジェクタの光線や視野を遮ることになり、物理的な配置に大きな制約がかかってしまう。一方、複数の超短焦点プロジェクタを横一列に並べて配置しようとしても、上述したようにスクリーンに正対させて配置することができず、投影像の画質が劣化してしまうことになる。すなわち、短焦点プロジェクタでは、通常のプロジェクタと同様な方法でプロジェクタを積載したり横一列に並べたりする方法で、スタック投影を実現することが困難であった。

そこで、本実施形態による投影システム１００では、複数のプロジェクタ１５０を、それぞれ複数のプロジェクタを含む複数のグループに分けて構成し、それぞれのグループでは、所属する複数のプロジェクタ１５０からの投影像１０４を連結し、単一の投影像１０６を形成して投影するよう構成される。

投影システム１００は、上記複数のプロジェクタ１５０各々に対し、校正パターンを含む校正用画像を出力し、それぞれ投影された校正用画像を含み撮像された複数の校正用撮像画像を取得する。そして、投影システム１００は、取得された複数の校正用撮像画像から、上記校正パターンに基づいて、複数のグループ各々の投影手段各々の投影像の歪みを示す校正点を抽出し、抽出された校正点に基づいて、複数のグループ間で共通の目標投影領域に複数のグループ各々が像を重ねて投影するよう、複数の投影手段各々から投影する投影画像を与える補正係数を計算する。

上記構成により、グループ各々で全体としての投影像１０６が一層ずつ投影され、複数のグループからの複数の投影像１０６が、同じ位置にて重畳されて、これにより、一連結のマルチ・プロジェクションでは実現困難な明るさを実現することが可能となる。また、プロジェクタ１５０が超短焦点プロジェクタであったとしても、プロジェクタ１５０の物理的な配置に対する制約が緩和されており、容易な物理的な配置によってスタック投影を実現することが可能となる。

また好適な実施形態では、複数のグループでは、所属するプロジェクタ１５０の数が異なっており、より好ましい実施形態では、一方のグループに所属するプロジェクタ数は、他方のグループに所属するプロジェクタ数よりも１個多くなるように構成される（つまり、Ｎ個のグループと、Ｎ＋１個のグループを含む。）。そして、複数のプロジェクタ１５０は、被投影面１０２に対して略正対して概ね一列に互い違いに配置されるように配置される。このように構成することにより、プロジェクタ１５０が超短焦点プロジェクタであったとしても、容易な物理的な配置によりスタック投影を実現することが可能となる。

以下、図３を参照しながら、本実施形態による投影システムにおける、各種補正係数の計算処理および補正係数に基づく補正処理の概要について説明する。なお、以下に説明する実施形態では、Ｎ＝２として、３つの第１〜第３のプロジェクタ１５０ａ〜１５０ｃが、第１のグループを構成しており、２つの第４および第５のプロジェクタ１５０ｄ，１５０ｅが、第２のグループを構成しているものとして説明する。図１に示すように、プロジェクタ１５０ａ〜１５０ｅは、被投影面１０２に対して略正対して、概ね一列に互い違いに配置されるように配置されている。特に、図１に示す例では、すべてのプロジェクタ１５０ａ〜１５０ｅは、床置きされて、被投影面１０２に対して下方から投影するよう構成されている。

ここで、「概ね一列」とは、プロジェクタが厳密に一致するものに限定されず、プロジェクタ１５０の位置が凹凸することが許容されることを意味し、概ね一列に、好ましくはプロジェクタの投影光を他のプロジェクタの本体で遮られないように配置することを意味する。これは、被投影面１０２までの距離を同一として一列に並べると、台数少ない方のグループの連結した投影像が他方のグループグループの投影より小さくなってしまうところ、２つのグループで可能な限り大きな共通する投影領域を確保するためである。可能な限り大きな共通投影領域を確保するためには、台数少ない方の連結したグループの投影を大きくする方が好ましいため、台数少ない方のグループを若干スクリーンから離すと良い。なお、上記配置では、２つのグループのプロジェクタ１５０は、互い違いに設置されるため、被投影面１０２への正対は充分に確保することができる。

なお、説明する実施形態では、図１に示すような、２台と２＋１台のプロジェクタ１５０からなる２つのグループが、それぞれ２台連結のマルチ・プロジェクションおよび２＋１台連結のマルチ・プロジェクションを構成しており、これらが、各グループの投影可能領域の論理積で規定される領域内に像を重畳させて投影するものとして説明する。しかしながら、このような配置に限定されるものではなく、他の実施形態については、詳細を後述する。

（機能構成）
図３は、本実施形態による投影システム１００の機能ブロック図である。画像処理装置１１０は、コンテンツ格納部１１２を含み、さらに、プロジェクタ毎に、補正処理部１１４ａ〜１１４ｅと、投影画像出力部１１６ａ〜１１６ｅと、切替部１２４ａ〜１２４ｅとを含む。画像処理装置１１０は、さらに、校正用シーン生成部１２０と、校正用画像格納部１２２と、校正用撮像画像入力部１２６と、特徴点抽出処理部１２８と、補正係数計算部１３０と、目標投影領域調整部１３２とを含み構成される。

コンテンツ格納部１１２は、単一の投影像１０６として投影する信号源のコンテンツ画像を格納する。コンテンツ格納部１１２は、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、着脱可能なリムーバブル・メディアなどの記憶領域として構成される。なお、投影対象となるコンテンツ画像は、特に限定されるものではなく、静止画像ファイルとして与えられてもよいし、プレゼンテーションなどのアプリケーションやオペレーティング・システムの実行により生成される表示画面として与えられてもよいし、動画ファイル中の任意のタイミングのフレームとして与えられてもよい。以下、説明の便宜上、静止画像としてコンテンツ画像が与えられた場合を一例に説明する。

補正処理部１１４ａ〜１１４ｅは、投影システム１００に含まれるプロジェクタ１５０ａ〜１５０ｅに対応して設けられている。補正処理部１１４は、それぞれ、コンテンツ格納部１１２からコンテンツ画像を読み出し、補正処理を施し、対応するプロジェクタ用の投影画像を生成する。

投影画像出力部１１６ａ〜１１６ｅは、投影システム１００に含まれるプロジェクタ１５０ａ〜１５０ｅに対応して設けられている。投影画像出力部１１６は、それぞれ、対応するプロジェクタ１５０に接続されるディスプレイ出力インタフェースを含み構成され、接続されるプロジェクタ１５０に対し、切替部１２４で選択された入力画像を映像出力する。

切替部１２４ａ〜１２４ｅは、当該システム１００の動作モードに応じて、画像信号のフローを切り替える。切替部１２４は、コンテンツ画像を投影する投影モード中は、補正処理部１１４の出力に入力側を切り替え、校正モード中は、校正用画像格納部１２２の出力に入力側を切り替える。

校正用画像格納部１２２は、校正モード中に各プロジェクタ１５０から投影させるための校正用画像を格納する。校正用画像格納部１２２は、ＲＡＭ、ＨＤＤ、ＳＳＤ、着脱可能なリムーバブル・メディアなどの記憶領域として構成される。

本実施形態による校正処理では、複数回に分けて、校正のための撮像が行われる。画像処理装置１１０は、校正用画像格納部１２２から各校正用画像を読み出して、複数のプロジェクタ１５０ａ〜１５０ｅ各々から適時に出力させる。このとき、画像処理装置１１０は、ユーザ入力等に基づいて、複数のプロジェクタ１５０の投影像の位置関係を把握しており、全体として過不足なくすべてのプロジェクタ１５０の校正結果が得られるように、校正処理の各段階に応じて校正用画像を選択して投影する。各校正処理の段階における各プロジェクタが画像を投影して構成されるシーンを、以下、校正用投影シーンと参照する。

上述した各校正用投影シーンを構成する校正用画像は、校正用シーン生成部１２０により、典型的には静止画像として生成される。校正用シーン生成部１２０は、ユーザから入力されたプロジェクタ１５０の設置条件に基づいて、各プロジェクタ１５０の最適化された校正用画像を生成する。設置条件は、プロジェクタ台数およびグループ構成（例えば、３台のプロジェクタを含む第１のグループと、２台のプロジェクタを含む第２のグループとの合計５台プロジェクタが設置されているといった条件）を含むことができる。校正用シーン生成部１２０は、複数のグループのうちのプロジェクタ１５０各々が属するグループを判定し、各プロジェクタ１５０に応じた校正用画像を生成する、本実施形態における判定手段を構成する。

図４（Ａ）〜（Ｃ）は、本実施形態において、横一列に互い違いに並べた５台のうちの被投影面１０２に近い前方側の第１のグループに属するプロジェクタ１５０ａ〜１５０ｃに対して生成される３つの校正用画像２００ａ〜２００ｃを例示する。図４（Ｄ）および（Ｅ）は、５台のうちの被投影面から離れた後方側の第２のグループに属する２台のプロジェクタ１５０ｄ，１５０ｅに対して生成される２つの校正用画像２００ｄ，２００ｅを例示する。

図４に示すように、校正用画像２００は、投影像の歪みを検出するための校正点を規定する校正パターンの配列を含み構成される。校正パターンの配列は、プロジェクタ・メモリ上の座標を規定するものであり、任意の図形要素が所定の規則で配置されてなす模様として構成される。図４に示す例示では、黒地上に白ベタの円が等間隔に配列されている。投影された校正パターンの配列がカメラ１６０により撮像され、その校正点の組が抽出され、座標が検出されることにより、各プロジェクタにおける投影像の台形歪みや局所的な歪みが検出される。校正用画像２００は、好適には、校正パターンの配列の外側に一定の余白部が設けられる。校正モード中、各プロジェクタ１５０に対し、校正パターンを含む校正用画像を出力する投影画像出力部１１６が、本実施形態における出力手段を構成する。

単一の投影像１０６の隅の領域を担当する第１グループの左右端のプロジェクタ１５０ａ，１５０ｃに対する校正用画像２００ａ，２００ｃには、さらに、校正パターンの配列の外側の余白領域に四隅マーカが設けられる。四隅マーカは、上記目標投影領域をスクリーンなどの被投影面１０２の四隅に位置合わせする目安となるものである。ユーザは、投影される四隅マーカが被投影面１０２内に収まるように、複数のプロジェクタ１５０の投影角度、ズームを調整すればよい。図４に示す例示では、黒地上に白ベタの正方形が付加されている。四隅マーカは、本実施形態における位置合わせマーカを構成する。

なお、説明する実施形態では、第１のグループにおいて、左２隅の領域を担当するプロジェクタ１５０ａと右２隅の領域を担当するプロジェクタ１５０ｃとに対する校正用画像に四隅マーカが含められるが、これに限定されない。他の実施形態では、第２のグループにおいて隅の領域を担当するプロジェクタ１５０ｄ，１５０ｅに対する校正用画像に四隅マーカが含められてもよいし、それぞれのプロジェクタ１５０ａ〜１５０ｅに対する校正用画像の四隅に四隅マーカが設けられることを妨げるものではなく、位置合わせマーカが、校正パターンとは別の校正用画像として準備されることを妨げるものでもない。第１のグループおよび第２のグループあわせて、被投影面のすべての隅の位置合わせマーカが少なくとも１揃いすれば充分である。

再び図３を参照すると、カメラ１６０は、投影された校正用投影像が画角に収まるように固定されており、校正用投影シーン毎に、投影された校正用投影像の撮像を行う。カメラ１６０で撮像された校正用撮像画像は、それぞれ、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢ（Universal Serial Bus）などの無線接続、または有線ＵＳＢや有線ＬＡＮなどの有線接続を介して、画像処理装置１１０へ送信される。あるいは、撮像された画像は、ＳＤカード（登録商標）やコンパクトフラッシュ（登録商標）などのリムーバブル・メディアを介して、画像処理装置１１０で読み取られる。校正用撮像画像入力部１２６は、カメラ１６０からの各撮像画像の入力を受け、それぞれ投影された校正用画像を含み撮像された複数の校正用撮像画像を取得する、本実施形態における取得手段を構成する。

特徴点抽出処理部１２８は、上述した複数の校正用撮像画像から校正パターンの配列の校正点および四隅マーカの検出点を抽出する。特徴点抽出処理部１２８により抽出された校正点の座標情報および四隅マーカの検出点の座標情報は、補正係数計算部１３０に渡される。特徴点抽出処理部１２８は、本実施形態における抽出手段を構成する。

補正係数計算部１３０は、初期校正においては、渡された四隅マーカの検出点に基づき、目標投影領域を画定する基準点の初期位置座標を設定する。そして、補正係数計算部１３０は、設定した目標投影領域および渡された校正点に基づき、上記複数のプロジェクタ１５０ａ〜１５０ｅに対する補正係数を計算する。補正係数としては、幾何補正係数および投影像のブレンディングの補正係数が算出され、補正処理部１１４ａ〜１１４ｅに設定される。幾何補正係数は、位置合わせ、スケール合わせ、歪み補正などの幾何学的な補正を織り込んだ補正係数である。ブレンディング係数は、重複領域の重ね合わせの際の色および輝度調整を行うための補正係数である。

なお、初期校正で設定された基準点の位置座標は、四隅マーカの検出点の位置座標を起点として、例えば、ユーザによる手動操作により調整され得る。補正係数計算部１３０は、調整においては、最新の基準点により画定される目標投影領域および渡された校正点に基づき、上記複数のプロジェクタ１５０ａ〜１５０ｅに対する補正係数を再計算する。

目標投影領域調整部１３２は、ユーザによる手動操作に関連して、目標投影領域を画定する基準点の位置座標を移動させる移動指示を受け付ける受領手段である。例えば、画像処理装置１１０のディスプレイ上に撮像中の撮像画像を表示し、その画像上で、現在の基準点の位置や現在の投影状態を表示しながら、ユーザからのマウスやカーソル移動などにより座標点を移動する操作を受けることによって、目標投影領域の基準点の座標の調整を受けることができる。

補正処理部１１４は、それぞれ、計算された各種補正係数に基づき、全体として投影すべきコンテンツ画像から、プロジェクタ毎に出力すべき投影画像を生成する。コンテンツ画像を投影する投影モード中、切替部１２４は、補正処理部１１４の出力に入力側を切り替え、これに伴い、投影画像出力部１１６は、それぞれ、対応する補正処理部１１４の処理結果として与えられる投影画像を映像出力する。

なお、図３に示す実施形態では、各機能部１１２〜１３２が単一の画像処理装置１１０上で実現されるものとして説明したが、投影システム１００の実施形態は、図３に示すものに限定されるものではない。他の実施形態では、台数の増加に伴う画像処理装置に集中する負荷を軽減するため、補正処理部１１４ａ〜１１４ｅ各々をプロジェクタ１５０ａ〜１５０ｅ各々上で実現してもよい。さらに他の実施形態では、各機能部１１２〜１３２を複数の画像処理装置上に分散実装してもよいし、すべての機能部１１２〜１３２をいずれかのプロジェクタ１５０上で実装してもよいし、画像処理装置１１０の機能と、複数のプロジェクタの機能とを備える単一の装置として構成してもよい。さらに、他の実施形態では、上述した特徴点抽出処理部１２８、補正係数計算部１３０および目標投影領域調整部１３２などの機能をサービスとしてネットワークを介して提供するサーバとして実装してもよい。

（全体処理フロー）
以下、本実施形態による校正処理について、図５に示すフローチャート、並びに図６および図７に示す校正用投影シーンを参照しながら、全体的な流れを説明する。図５は、本実施形態による校正処理の全体的な処理の流れを示すフローチャートである。図５に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ１００から開始される。

ステップＳ１０１では、画像処理装置１１０は、ユーザからのプロジェクタ連結数、グループ構成などの設置条件およびスクリーンのアスペクト比などの形状特性の入力を受領する。ステップＳ１０２では、画像処理装置１１０は、上述したように、入力されたプロジェクの設置条件およびスクリーンの形状特性に基づいて、複数のグループのうちのプロジェクタ各々が含まれるグループを判定し、各プロジェクタに対する適切な校正用画像を生成し、校正用投影シーンを生成する。

ステップＳ１０３では、画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｅを用いて、生成された各校正用投影シーンを順番に投影し、カメラ１６０により各校正用投影シーンに対応して撮像された各校正用撮像画像を取得する。

図６および図７は、本実施形態による画像処理装置１１０が複数のプロジェクタ１５０ａ〜１５０ｅから投影させる校正用投影シーンを例示する図である。図６および図７には、図４（Ａ）〜（Ｅ）に示した５つの校正用画像を各プロジェクタから順次投影する５つの校正用投影シーンが示されている。

図６および図７に示す例では、撮像１回目の第１校正用投影シーンでは、画像処理装置１１０は、まず、第１プロジェクタ１５０ａから図４（Ａ）に示す校正用画像を投影させ、それ以外のプロジェクタ１５０ｂ〜１５０ｅからは何も投影しない。撮像２回目の第２シーンおよび撮像３回目の第３シーンは、同様に、プロジェクタ１５０ｂ，１５０ｃから、順次、図４（Ｂ）および（Ｃ）に示す校正用画像が投影される。ある１つのプロジェクタが校正用画像を投影している間、他のプロジェクタからは何も投影されない。撮像１回目から撮像３回目までの校正用投影シーンは、第１のグループに対する。

同様に、撮像４，５回目の第４および第５校正用投影シーンでは、画像処理装置１１０は、第４プロジェクタ１５０ｄおよび第５プロジェクタ１５０ｅから順次、図４（Ｄ）および図４（Ｅ）に示す校正用画像を投影させる。撮像４回目から撮像５回目までの校正用投影シーンは、第２のグループに対する。

ユーザは、連結するすべてのプロジェクタ１５０ａ〜１５０ｅの投影像２１２〜２２０全体が画角内に収まるようにカメラ１６０を三脚などで固定して、例えば画像処理装置１１０が行うガイダンスに従って、上述した各段階での複数回の撮影を行う。カメラ１６０からの校正用投影シーン各々に対応した校正用撮像画像各々は、一括で、または順次に、画像処理装置１１０に取得され、ステップＳ１０４へ処理が進められる。あるいは、画像処理装置１１０は、順次校正用投影シーンを出力し、タイミングを合わせて各段階での撮影を行い、校正用撮像画像を取得する。これにより、校正パターンや四隅マーカの位置を単一の座標系において抽出することが可能となる。

なお、説明する実施形態では、すべてのプロジェクタ１５０ａ〜１５０ｅの投影像全体が画角内に収まるようにカメラ１６０を三脚などで固定するものとして説明したが、これに限定されるものではない。他の実施形態では、共通のマーカなどにより撮像画像間の射影変換を求めて、分割して撮像した各撮像画像の座標系を単一の座標系に変換することで、分割撮像を行ってもよい。

ステップＳ１０４では、画像処理装置１１０は、取得された複数の校正用撮像画像各々から特徴点を抽出する特徴点抽出統合処理を実行する。特徴点抽出統合処理では、各プロジェクタの校正点の組および四隅マーカが規定する基準点の座標位置が、撮像座標系において抽出される。

特徴点抽出統合処理では、画像処理装置１１０は、まず、各々の撮像画像におけるプロジェクタ１５０各々の投影像の校正パターン（円形状）を検出し、撮像画像の座標系におけるその重心座標を、校正点の座標として抽出する。円形状の重心座標は、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって、計算することができる。また、四隅マーカも同様であり、複数の撮像画像から、各々の撮像画像の座標系における四隅マーカの重心座標が検出され、その重心座標が基準点の座標として抽出される。

以下、第１〜第５プロジェクタ１５０ａ〜１５０ｅの校正点の座標をＬ_１〜Ｌ_５で表し、四隅マーカの基準点の座標をＭ_１，Ｍ_３で表す。説明する実施形態では、カメラ１６０を固定して撮像しているため、得られる校正点座標Ｌ_１〜Ｌ_５および基準点座標Ｍ_１，Ｍ_３は、単一の座標系（撮像画像座標系）の座標である。

ステップＳ１０５では、詳細を後述するが、上記算出された校正点座標Ｌ_１〜Ｌ_５および基準点座標Ｍ_１，Ｍ_３に基づいて、各プロジェクタの幾何補正係数を計算する。ステップＳ１０６では、画像処理装置１１０は、各プロジェクタのブレンディング係数を計算する。ステップＳ１０７では、画像処理装置１１０は、各補正処理部１１４に対し、ステップＳ１０５およびステップＳ１０６で計算されたプロジェクタ毎の幾何補正係数およびブレンディング係数を設定する。

ステップＳ１０８では、画像処理装置１１０は、投影すべきコンテンツ画像を読み出し、ステップＳ１０９では、コンテンツ画像に対し、プロジェクタ毎の補正処理部１１４で補正処理を実行する。補正処理の開始により、切替部１２４は、補正処理部１１４の出力に、投影画像出力部１１６の入力を切り替えて、投影モードに移行する。ステップＳ１１０では、画像処理装置１１０は、補正されたプロジェクタ毎の投影画像をプロジェクタ毎の投影画像出力部１１６からそれぞれ出力させる。

このようにして、第１のグループの３つの投影像ならびに第２のグループの２つの投影像がそれぞれ１つに連結されかつ共通の目標投影領域に重畳して投影されるように、投影像各々の大きさおよび位置の補正が行われる。グループ内では、連結する投影像における重複部分の明るさがなだらかにつながるように画素値のブレンディング補正を行ったコンテンツ画像が投影され、グループ間では、第１のグループの連結投影像および第２のグループの連結投影像が重畳されて、ユーザが投影像で指定した四隅マーカ領域内へ表示されるようになる。

上記投影モードの初期において、コンテンツ画像が投影される領域の四隅をスクリーン１０２に一致させる調整作業を行うためのユーザ・インタフェースが、プロジェクタ１５０が投影する画面の一部や、別途設けられたディスプレイ画面上に表示される。

ユーザは、補正後の単一の投影像１０６が被投影面１０２に一致しているか否かを視察で確認し、上記ユーザ・インタフェースを介して、補正後の全体としての投影像１０６を被投影面１０２に合わせ込む調整を行うことができる。初期位置は、投影像が非線形に歪んでいる場合、四隅マーカの投影像を正確に矩形となるようにスクリーンの四隅に配置することは難しいので、通常、被投影面の四隅の少し内側に設定した領域となっている。そのため、全体としての投影像１０６を被投影面１０２の四隅へ少しずつ広げて行く調整となる。

図８は、特定の実施形態において、目標投影領域の四隅の位置を微調整するためのユーザ・インタフェース画面を例示する。図８に示す画面４００は、各四隅の座標値を調整するための設定領域４１０，４３０，４４０，４５０と、設定を反映させる指示を受け付ける「調整」ボタン４０２と、調整を終了する指示を受け付ける「終了」ボタン４０４とを含み構成される。

左上に対応する設定領域４１０を代表して説明すると、各設定領域には、四隅の位置座標（ｘ，ｙ）を表示するテキストボックス４１２，４１４と、四隅の座標位置を移動させる指示を受け付けるユーザ・インタフェース部品であるボタン４１６，４１８，４２０，４２２とが含まれる。なお図８に示す例では、調整量は２段階の大きさで行われている。

目標投影領域の四隅の位置の微調整量がユーザ入力され、「調整」ボタン４０２が押下されると、統合座標系で目標投影領域を画定する基準点の座標が更新される。ユーザは、上記ユーザ・インタフェースを用いて、目視により、コンテンツ画像を投影する目標投影領域の四隅を微調整しながら、コンテンツ画像がスクリーン１０２にぴったり収まったと判断すると、調整終了の指示を行うことになる。ステップＳ１１１では、画像処理装置１１０は、ユーザから四隅位置調整の終了指示を受け付けたか否かを判定する。

ステップＳ１１１で、四隅位置調整の終了指示を受け付けていないと判定された場合（ＮＯ）は、ステップＳ１１２へ処理が進められる。ステップＳ１１２では、画像処理装置１１０は、ユーザ・インタフェースを介して入力された調整量に基づき、目標投影領域の四隅を規定する基準点の位置座標を更新し、ステップＳ１０５へ処理をループさせる。これにより、調整結果が反映された状態で、各プロジェクタの幾何補正係数およびブレンディング係数の再計算が行われる。補正後の投影画像が被投影面に一致していると視察で確認するまで、ユーザは、繰り返し操作することができる。一方、ステップＳ１１１で、終了指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ１１３へ処理を分岐させ、調整を完了させて、通常の投影モードに移行する。

（複数のグループの補正係数）
以下、図９を参照しながら、複数のグループの各プロジェクタの補正係数の計算について説明する。図９は、本実施形態において、校正用画像の投影像と、目標投影領域と、被投影面との関係を撮像画像の座標系にて示す図である。

図９（Ａ）には、第１のグループの３つの校正用画像の投影像２１２ａ，２１４ｂ，２１６ｃが、撮像画像座標系３００上で重ね合わせられて表示されている。プロジェクタ１５０ａ，１５０ｂ，１５０ｃの投影可能領域（全面白色の画像を投影した場合の投影領域に対応する。）３０４ａ，３０４ｂ，３０４ｃも併せて図９（Ａ）中に示されている。また、図９（Ｂ）には、第２のグループの２つの校正用画像の投影像２１８ｄ，２２０ｅが、撮像画像座標系３００上で重ね合わせられて表されている。プロジェクタ１５０ｄ，１５０ｅの投影可能領域３０４ｄ，３０４ｅも図９（Ｂ）中に示されている。図９中、点線の白線で示された領域３１０が目標投影領域であり、初期においては、ユーザが被投影面１０２に位置あわせした四隅マーカで囲まれる４辺形領域であり、この領域は、必ずしも矩形ではない。黒い矩形３０２で表された領域は、被投影面１０２に対応する領域であり、この領域にちょうど全体としての投影像を収めたいということになる。

補正係数の計算においては、まず、第１グループの３連結のプロジェクタ用の補正係数の計算が、以下のように行われる。校正用画像の投影像２１２ａ，２１４ｂ，２１６ｃは、図９に示すように、プロジェクタの向きがスクリーンと正対していないと、台形歪みを生じたり、超短焦点プロジェクタではスクリーンの凸凹形状に起因する非線形な幾何歪みを生じたりし得る。このため、校正点座標Ｌ_１〜Ｌ_３および基準点座標Ｍ_１，Ｍ_３に基づいて、コンテンツ画像座標から目標投影領域（初期位置は投影像の四隅マーカ領域）３１０への射影変換により、幾何歪みを補正するとともに、３つのプロジェクタ１５０の投影像が、隣接するプロジェクタ間で重複部分を持ちつつ、重ね合わさって１つの大きなコンテンツ画像を投影し、４隅マーカで画定される目標投影領域３１０内へコンテンツ画像を収めて投影できるように、各プロジェクタ１５０に対し、幾何補正係数およびブレンディング係数が算出される。

補正係数の計算においては、続いて、校正点座標Ｌ_４，Ｌ_５および基準点座標Ｍ_１，Ｍ_３に基づいて、第２グループの２連結のプロジェクタ用の補正係数の計算が同様にして行われる。目標投影領域は、第１グループで検出された基準点座標Ｍ_１，Ｍ_３に基づいて画定される領域３１０を共通して用いることができる。

（幾何補正係数の計算）
以下、図１０〜図１２および図１４（Ａ）を参照しながら、各プロジェクタの幾何補正係数の計算処理の詳細について説明する。図１０は、本実施形態による補正係数計算部１３０が実行する幾何補正係数の計算処理を示すフローチャートである。図１０に示す処理は、図５に示したステップＳ１０５で呼び出されて、ステップＳ２００から開始される。

ステップＳ２０１では、補正係数計算部１３０は、各プロジェクタ１５０について、撮像画像の座標系上の校正点座標Ｌ_１〜Ｌ_５各々を線形に外挿し、各プロジェクタ１５０の投影可能領域の外周座標を計算する。

図１１は、校正点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図である。図１１（Ａ）は、プロジェクタ・メモリ上の左上隅の４つの校正点を示し、図１１（Ｂ）は、撮像画像の座標系上の対応する４つの校正点を示す。図１１（Ａ）に示すように、プロジェクタ・メモリ上の外周座標（各プロジェクタの投影像の四隅および四辺上の校正点）は、外周部に位置する４つの校正点（例えばＰ００_Ｐ〜Ｐ１１_Ｐ）の四辺形パッチを外挿する位置（校正点間距離の例えば１．５倍の距離の位置）に定められる。

撮像画像座標系における各プロジェクタの投影可能領域に対応する外周画素の座標（四隅および四辺上の校正点）は、図１１（Ｂ）に示すように、外周部に位置する各４つの校正点座標から線形に外挿することによって計算することができる。同様に、外周座標（四隅および四辺上の校正点）以外のプロジェクタ・メモリ上の任意の座標点に対応する座標系上の点も、近傍の４点の校正点座標を線形に内挿または外挿して求めることができる。

上述した線形的な外挿をプロジェクタ毎に行うことにより、第１のグループの３つのプロジェクタ１５０ａ〜１５０ｃの投影可能領域（つまり全面白画像を投影して映る範囲である。）が撮像画像の座標系上で検出される。図９（Ａ）には、撮像画像の座標系３００上において検出された３つのプロジェクタの投影可能領域３０４ａ〜３０４ｃが表されている。３つのプロジェクタの投影可能領域３０４ａ〜３０４ｃの論理和の領域は、これから投影像を投影する目標投影領域３１０を余すところ無く充足させることが求められる。

また、図９（Ｂ）には、撮像画像の座標系上の四隅の基準点が示されている。第２のグループについても同様にして、図９（Ｂ）に示すように、第２グループの２台のプロジェクタの格子点座標Ｌ_４，Ｌ_５が抽出され、投影可能領域３０４ｄ，３０４ｅが同様に検出される。なお、第２のグループも同様に、２台の投影可能領域３０４ｄ，ｅの論理和の領域は、これから投影像を投影する目標投影領域３１０を余すところ無く充足させることが求められる。

再び図１０を参照すると、ステップＳ２０２では、補正係数計算部１３０は、図９の四隅の基準点座標による目標投影領域３１０へ矩形のコンテンツ画像をマップするため射影変換を求める。ここで、目標投影領域３１０からコンテンツ画像への射影変換をＨ_１とする。補正係数計算部１３０は、目標投影領域３１０を画定する基準点座標Ｍ_１，Ｍ_３と、コンテンツ画像の四隅の座標とに基づいて、目標投影領域３１０からコンテンツ画像への射影変換Ｈ_１の係数を計算する。射影変換Ｈ_１の計算方法は、ここでは詳細に説明しない。

ステップＳ２０３〜ステップＳ２０７のループでは、プロジェクタ毎に、ステップＳ２０４〜ステップＳ２０６で示す各処理が実行され、複数のプロジェクタ各々の幾何補正係数が求められる。

ステップＳ２０４では、補正係数計算部１３０は、上記求められた射影変換Ｈ_１により、撮像画像の座標系上の校正点座標Ｌ_１〜Ｌ_５を、コンテンツ画像の座標系に変換する。以下、目標投影領域３１０に貼り付けられた撮像画像の座標系上でのコンテンツ画像を「投影コンテンツ画像」と参照し、その元となるオリジナルのコンテンツ画像を「等倍コンテンツ画像」と参照する。

ステップＳ２０５では、補正係数計算部１３０は、プロジェクタ・メモリ上の校正点座標を、撮像画像の座標系を経由して、等倍コンテンツ画像の座標系の画素位置に対応付ける。ステップＳ２０６では、補正係数計算部１３０は、プロジェクタ・メモリ上の各整数画素座標を、撮像画像の座標系を経由して、等倍コンテンツ画像の座標系の画素位置へ線形補間により対応付ける。

ステップＳ２０４〜ステップＳ２０６で示す各処理で計算される幾何補正係数は、図１２に示すように、プロジェクタ・メモリ３３０上の各座標を、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置に対応付けるものである。

図１２に示すプロジェクタ・メモリ３３０ａの１つの校正点Ｐ４２_Ｐを代表して説明すると、プロジェクタ・メモリ３３０上の校正点Ｐ４２_Ｐに対しては、撮像画像の座標系３００上の対応点Ｐ４２_Ｃ（Ｘ_Ｐ４２Ｃ，Ｙ_Ｐ４２Ｃ）が抽出されている。そして、四辺形の目標投影領域３１０がコンテンツ画像にマップされるため、図１２に示すように、座標系３００上の位置座標Ｐ４２_Ｃに対しては、さらに、等倍コンテンツ画像上での対応する画素位置Ｐ４２_ｍ（Ｘ_Ｐ４２ｍ，Ｙ_Ｐ４２ｍ）が定まる。プロジェクタ・メモリ上の校正点Ｐ４２_Ｐ以外のすべての校正点Ｐｉｊ_Ｐについても同様に、等倍コンテンツ画像上での対応する画素位置が計算される。プロジェクタ・メモリ上の校正点以外の任意の座標については、近傍の２×２校正点のコンテンツ画像上での対応する画素位置を線形に補間（内挿または周辺部では外挿）することによって、等倍コンテンツ画像上での対応する画素位置を計算することができる。これにより、プロジェクタ・メモリ３３０ａ上の所定領域３３２ａの画素に対し、コンテンツ画像における第１プロジェクタ１５０ａが担当する領域の画素位置が対応付けられる。

図１４（Ａ）は、ステップＳ２０４〜ステップＳ２０６の処理で計算される１つのプロジェクタの幾何補正係数のデータ構造を例示する。図１４（Ａ）に示すように、こうして求めたプロジェクタ・メモリの全画素に対する等倍コンテンツ画像上での対応する画素位置が、幾何補正係数となる。

ステップＳ２０３〜ステップＳ２０７のループですべてのプロジェクタについて対応付けが完了すると、ステップＳ２０８に進められる。ステップＳ２０８では、本処理を終了し、図５に示した呼び出し元へ処理が戻される。第２のグループについても同様に幾何補正係数が求められる。

（ブレンディング係数の計算）
以下、図１３および図１４を参照しながら、各プロジェクタ１５０のブレンディング係数の計算処理の詳細について説明する。図１３は、プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図である。ブレンディング係数の計算処理では、注目するプロジェクタ毎に処理が実行され、第１のグループの複数のプロジェクタ１５０ａ〜１５０ｃ各々のブレンディング係数が求められる。

まず、補正係数計算部１３０は、撮像画像の座標系３００において、注目プロジェクタと、注目プロジェクタに隣接するプロジェクタとの投影可能領域の外周座標に基づき、これらの重複領域を検出する。図１３に示すように、撮像画像の座標系３００での目標投影領域３１０の最上辺から、左原点（○）から右方向へ探索し、順次下へ探索を進めることにより、まず、第１プロジェクタ１５０ａと第２プロジェクタ１５０ｂとの重複領域の開始点（●）および終了点（◎）が検出される。

図１３の下段のグラフで第１プロジェクタについて示すように、原点（○）から、重複領域の開始点(●)までの範囲の画素に対しては、ブレンディング係数が最大１に決定される。一方、重複領域の開始点(●)から終了点（◎）までの範囲の画素に対しては、開始点（●)からの水平距離に応じて、実際の明るさが線形に１．０から０へ徐々に落ちていくように、プロジェクタの入出力特性の逆補正をかけたブレンディング係数を算出する。

補正係数計算部１３０は、プロジェクタ・メモリ上の整数画素座標各々に対し、図１４（Ａ）に示すデータ構造によって対応付けられる撮像画像の座標系の座標（小数点）の最近傍の整数画素に割り当てられたブレンディング係数を対応付ける。

上述した処理により、第１のグループの複数のプロジェクタ１５０ａ〜１５０ｃの各々に対して、図１４（Ｂ）に示すように、プロジェクタ・メモリの全画素分のブレンディング係数が得られることになる。第２のグループのプロジェクタ１５０ｄ，１５０ｅについても、同様に、ブレンディング補正係数の求め方は同様である。

（補正処理）
以下、図１４を参照しながら、上記補正係数に基づく補正処理の詳細について説明する。上述した補正係数計算部１３０で算出された各プロジェクタの幾何補正係数およびブレンディング係数は、図５に示したステップＳ１０７で、各補正処理部１１４に設定される。

まず、補正処理部１１４は、プロジェクタ・メモリの全画素と、等倍コンテンツ画像上での対応する画素位置との対応付けデータを準備する。上述した補正係数計算部１３０での処理により、図１４（Ａ）に示すようなプロジェクタ・メモリの全画素に対する画素位置が求められているので、補正処理部１１４は、この対応付けデータをそのまま読み出す。

補正処理部１１４は、プロジェクタ・メモリの画素毎の参照すべき等倍コンテンツ画像上の画素位置に基づき、投影すべき等倍コンテンツ画像から、バイリニア、バイキュービックなどの画素補間方法によって中間画像を生成する。この中間画像は、幾何補正係数により、コンテンツ画像を検出した幾何歪みの逆に変形した画像である。補正処理部１１４は、さらに、生成された中間画像のＲ，Ｇ，Ｂ各色の画素値に対し、図１４（Ｂ）の対応付けデータにより対応付けられるブレンディング係数を乗じ、最終的な投影画像を生成する。

以上説明した処理により、複数のプロジェクタ１５０により被投影面１０２上に像を投影するための投影システム１００において、特に超短焦点プロジェクタを用いる場合でも、プロジェクタ１５０の物理的な配置が容易で、かつ、複数の投影像を重ねることで像の明るさを向上することができる、投影システム１００を提供することが可能となる。

上記構成は、さらに、超短焦点プロジェクタを用いる場合でも、すべてのプロジェクタを床置きして設置することが可能となるという利点を有する。床置きおよび天吊りにより上下２段で投影することによりスタック投影を行うこともできるが、天吊りは大きな工事が必要であり、簡単な床置きだけでスタック投影することも望ましいためである。

さらに、プロジェクタは、一般に液晶ディスプレイなどと比較して明るいものを実現する技術的難易度が高い。このため高輝度の高価なプロジェクタ１台より、中低輝度の安価なプロジェクタを複数台用いて明るさを向上させられる本技術は、同程度の明るさを実現する上でもコスト上の利点を有する。

（投影様式の変形例）
上述までの説明は、３台のプロジェクタ１５０ａ〜１５０ｃおよび２台のプロジェクタ１５０ｄ，１５０ｅの投影像を横一列に並べて全体としての画像を重畳して投影する実施形態について説明してきた。しかしながら、本実施形態による校正処理が適用できる態様は、これに限定されるものではない。図１５および図１６は、本実施形態による校正処理を適用することができる他の実施形態を例示する。

図１５は、Ｎ＋１台のプロジェクタおよびＮ台のプロジェクタを含むセットを２つ準備し、それぞれのセットを床置き（５１０ａ〜５１０ｅ）および天吊り（５１０ｆ〜５１０ｊ）で設置し、４つのグループによるそれぞれの全体としての投影像１０６を重ねる投影システム５００の他の実施形態を示す。図１５に示すように配置することによって、さらに明るさを向上させることが可能なスタック投影を実現することができる。なお、四隅マーカによる目標投影領域の指定は、スタックされる４つのグループのいずれか１つを使用すればよい。

図１５は、２ｘ（Ｎ＋１）台のプロジェクタおよび２ｘＮ台のプロジェクタを準備し、４つのグループによるそれぞれの全体としての投影像５０６を重ねる実施形態を説明した。これに対して、図１６は、同様に２ｘ（Ｎ＋１）台のプロジェクタおよび２ｘＮ台のプロジェクタを準備するが、２つのグループに分けて、２つのグループでそれぞれの全体としての投影像５５６を重ねる投影システム５５０の他の実施形態を説明する。

図１６に示すように配置では、下方Ｎ＋１台のプロジェクタ（５６０ａ，５６０ｂ，５６０ｃ）および上方Ｎ＋１台（５６０ｆ、５６０ｇ、５６０ｈ）のプロジェクタが１つのグループを構成し、下方Ｎ台のプロジェクタ（５６０ｄ，５６０ｅ）および上方Ｎ台のプロジェクタ（５６０ｉ，５６０ｊ）が他のグループを構成している。同一グループ内では、左右のプロジェクタの投影領域に加えて、上下のプロジェクタの投影領域でさらに重複している。図１６に示すように、上下の投影像を一部重畳させて連結投影することで、さらに高解像度のスタック投影（図１６では、２ｘＮ連結、２ｘ（Ｎ＋１）連結の重畳投影である。）を実現することが可能となる。なお、四隅マーカによる目標投影領域の指定は、天吊りでスタックされるいずれか１つの左右端プロジェクタのそれぞれ左上端および右上端、床置きでスタックされるいずれか１つの左右端プロジェクタのそれぞれ左下端および右下端に四隅マーカを設ければよい。

（ハードウェア構成）
以下、図１７を参照しながら、上述までの実施形態における画像処理装置１１０のハードウェア構成について説明する。画像処理装置１１０は、典型的には、汎用コンピュータ装置として構成される。図１７は、本実施形態による汎用コンピュータ装置のハードウェア構成を示す図である。

図１７に示す汎用コンピュータ装置１１０は、ＣＰＵ１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、サウスブリッジ１６とを含む。サウスブリッジ１６は、上記ノースブリッジ１４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担う。

ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、映像出力インタフェースを介してディスプレイ５０や上記プロジェクタ１５０に接続される。

サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ１３９４、ＵＳＢポート２８、補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、ＨＤＤやＳＳＤなどであり、コンピュータ装置を制御するためのＯＳ、上記機能部を実現するためのプログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、汎用コンピュータ装置１１０を有線および無線でネットワークに接続させるインタフェース機器である。

ＵＳＢポート２８には、キーボード５２およびマウス５４などの入力装置１７０が接続されてもよく、上述した基準点の移動指示を含む操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による汎用コンピュータ装置１１０は、補助記憶装置３０からプログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。なお、プロジェクタ１５０およびカメラ１６０については、特に説明を行わないが、同様に、ＣＰＵおよびＲＡＭ等などのハードウェアや、特定の用途に応じたハードウェアを備えている。

以上説明したように、本発明の実施形態によれば、複数の投影手段により被投影面上に像を投影するための投影システムにおいて、投影手段の物理的な配置が容易で、かつ、複数の投影像を重ねることで像の明るさを向上することができる、投影システムを提供することができる。

なお、上述までの説明では、複数台のプロジェクタ１５０の投影像を横一列または横二列に並べて、さらに重畳して全体としての画像を投影する実施形態について説明してきた。しかしながら、本実施形態による校正処理が適用できるマルチ・プロジェクションの態様は、これに限定されるものではなく、プロジェクタ１５０の台数は、任意の台数とすることができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…投影システム、１０２…被投影面、１０４…投影像、１０６…単一の投影像、１１０…画像処理装置、１５０…プロジェクタ、１６０…カメラ、１７０…入力装置、１１２…コンテンツ格納部、１１４…補正処理部、１１６…投影画像出力部、１２０…校正用シーン生成部、１２２…校正用画像格納部、１２４…切替部、１２６…校正用撮像画像入力部、１２８…特徴点抽出処理部、１３０…補正係数計算部、１３２…目標投影領域調整部、２００…校正用画像、２１２…投影像、２１４…投影像、２１６…投影像、２１８…投影像、２２０…投影像、３００…撮像画像座標系、３０４…投影可能領域、３１０…目標投影領域、３３０…プロジェクタ・メモリ、４００…画面、４０２…「調整」ボタン、４０４…「終了」ボタン、４１０…設定領域、４１２…テキストボックス、４１４…テキストボックス、４１６…ボタン、４１８…ボタン、４２０…ボタン、４２２…ボタン、４３０…設定領域、４４０…設定領域、４５０…設定領域、５００…投影システム、５１０…プロジェクタ、５５０…投影システム、５６０…プロジェクタ、１２…ＣＰＵ、１４…ノースブリッジ、１６…サウスブリッジ、１８…ＲＡＭ、２０…グラフィックボード、２２…ＰＣＩ、２４…ＬＡＮポート、２６…ＩＥＥＥ１３９４ポート、２８…ＵＳＢポート、３０…補助記憶装置、３２…オーディオ入出力、３４…シリアルポート、５２…キーボード、５４…マウス

特許第３９０８２５５号公報

Claims (10)

1. 複数の投影手段により被投影面上に像を投影するための投影システムであって、
   前記複数の投影手段は、それぞれ複数の投影手段を含む複数のグループを構成し、前記投影システムは、
   前記複数の投影手段各々に対し、校正パターンを含む校正用画像を出力する出力手段と、
   それぞれ投影された前記校正用画像を含み撮像された複数の校正用撮像画像を取得する取得手段と、
   前記複数の校正用撮像画像から、前記校正パターンに基づき、前記複数のグループ各々の投影手段各々の投影像の歪みを示す校正点を抽出する抽出手段と、
   抽出された前記校正点に基づいて、前記複数のグループ間で共通の目標投影領域に、前記複数のグループ各々が像を重ねて投影するよう、前記複数の投影手段各々から投影する投影画像を与える補正係数を計算する補正係数計算手段と
   を含む、投影システム。
2. 前記複数のグループのうちの第１のグループおよび第２のグループは、それぞれ、投影像を連結して単一の像を形成させる、異なる数の投影手段を含み、前記第１のグループの投影手段および前記第２のグループの投影手段は、それぞれ、前記被投影面に略正対して一列に互い違いに配置される、請求項１に記載の投影システム。
3. 前記第１のグループの投影手段および前記第２のグループの投影手段は、前記被投影面に下方から投影するよう配置され、
   前記複数のグループのうちの第３のグループおよび第４のグループは、それぞれ、投影像を連結して単一の像を形成させる、異なる数の投影手段を含み、前記第３のグループの投影手段および前記第４のグループの投影手段は、それぞれ、前記被投影面に略正対して一列に互い違いに、前記被投影面に上方から投影するよう配置される、請求項２に記載の投影システム。
4. 前記複数のグループのうちの第１のグループおよび第２のグループは、それぞれ、投影像を連結して単一の像を形成させる、異なる数の投影手段を含み、前記第１のグループの一部の投影手段および前記第２のグループの一部の投影手段は、それぞれ、前記被投影面に略正対して一列に互い違いに、前記被投影面に下方から投影するよう配置され、前記第１のグループの残りの投影手段および前記第２のグループの残りの投影手段は、それぞれ、前記被投影面に略正対して一列に互い違いに、前記被投影面に上方から投影するよう配置される、請求項１に記載の投影システム。
5. 前記投影手段は、短焦点プロジェクタである、請求項１〜４のいずれか１項に記載の投影システム。
6. 隅を担当する投影手段に対する校正用画像は、前記校正点を規定する前記校正パターンとともに位置合わせマーカを含む校正用画像を含み、または、前記校正パターンを含む校正用画像と、前記校正パターンとは別に位置合わせマーカを含む校正用画像とを含み、前記抽出手段は、前記位置合わせマーカ一の位置を検出して、前記複数のグループ各々が像を重ねて投影する領域の基準点を抽出し、前記補正係数計算手段は、前記基準点に基づき前記共通の目標投影領域の初期位置を画定する、請求項１〜５のいずれか１項に記載の投影システム。
7. 前記投影システムは、さらに、
   前記複数の投影手段各々に対し、各々に対して算出された前記補正係数に基づき投影する画像を補正して投影画像を生成する補正手段と、
   前記共通の目標投影領域を画定する基準点の位置の調整を受領し、前記補正係数の再計算を呼び出す調整手段と
   を含む、請求項１〜６のいずれか１項に記載の投影システム。
8. 複数の投影手段により被投影面上に像を投影するための画像処理装置であって、
   複数のグループのうちの前記複数の投影手段各々が含まれるグループを判定する判定手段と、
   判定結果に基づいて、前記複数の投影手段各々に対し、校正パターンを含む校正用画像を出力させる出力手段と、
   それぞれ投影された前記校正用画像を含み撮像された複数の校正用撮像画像を取得する取得手段と、
   前記校正用撮像画像から、前記校正パターンに基づき、前記複数のグループ各々の投影手段各々の投影像の歪みを示す校正点を抽出する抽出手段と、
   抽出された前記校正点に基づいて、前記複数のグループ間で共通の目標投影領域に、前記複数のグループ各々が像を重ねて投影するよう、前記複数の投影手段各々から投影する投影画像を与える補正係数を計算する補正係数計算手段と
   を含む、画像処理装置。
9. 隅を担当する投影手段に対する校正用画像は、前記校正点を規定する前記校正パターンとともに位置合わせマーカ一を含む校正用画像を含み、または、前記校正パターンを含む校正用画像と、前記校正パターンとは別に位置合わせマーカ一を含む校正用画像とを含み、前記抽出手段は、前記位置合わせマーカ一の位置を検出して、前記複数のグループ各々が像を重ねて投影する領域の基準点を抽出し、前記補正係数計算手段は、前記基準点に基づき前記共通の目標投影領域の初期位置を画定し、前記画像処理装置は、さらに、
   前記複数の投影手段各々に対し、各々に対して算出された前記補正係数に基づき投影する画像を補正して投影画像を投影させる補正手段と、
   前記共通の目標投影領域を画定する前記基準点の位置の調整を受領し、前記補正係数の再計算を呼び出す調整手段と
   を含む、請求項８に記載の画像処理装置。
10. 複数の投影手段により被投影面上に像を投影するための画像処理装置を実現するためのプログラムであって、コンピュータを、
    複数のグループのうちの前記複数の投影手段各々が含まれるグループを判定する判定手段、
    判定結果に基づいて、前記複数の投影手段各々に対し、校正パターンを含む校正用画像を出力させる出力手段、
    それぞれ投影された前記校正用画像を含み撮像された複数の校正用撮像画像を取得する取得手段、
    前記校正用撮像画像から、前記複数のグループ各々の投影手段各々の投影像の歪みを示す校正点を抽出する抽出手段、および、
    抽出された前記校正点に基づいて、前記複数のグループ間で共通の目標投影領域に、前記複数のグループ各々が像を重ねて投影するよう、前記複数の投影手段各々から投影する投影画像を与える補正係数を計算する補正係数計算手段
    として機能させるためのプログラム。