JP2015068858A

JP2015068858A - 情報処理装置及びその制御方法、プログラム

Info

Publication number: JP2015068858A
Application number: JP2013200525A
Authority: JP
Inventors: 明日可和田; Asuka Wada
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-09-26
Filing date: 2013-09-26
Publication date: 2015-04-13
Anticipated expiration: 2033-09-26
Also published as: JP6289003B2; CN104519293A; US20150084992A1; EP2854400A1; US10134118B2

Abstract

【課題】任意の投影面における、投影装置からの投影画像を過去の投影状態と同じ状態で容易に投影可能とし、かつ投影装置の設置が容易となる。【解決手段】投影部が投影する投影面に関する投影面情報を取得する。取得する投影面情報より、投影部が投影する画像の投影領域に関する投影領域情報を抽出する。抽出する投影領域情報と、既に記憶されている投影領域情報とから、投影部が投影する画像を補正するための投影補正パラメータを算出する。算出する投影補正パラメータを、投影部が投影する画像に反映する。【選択図】図１０

Description

本発明は、投影部が投影する画像の表示を制御する情報処理技術に関するものである。

近年、プロジェクタの高精細化・高輝度化が進み、その用途が多様になっている。例えば、プロジェクタを建物の壁面や物体等の形状に合わせて投影するプロジェクションマッピングでは、比較的遠い投影面に対して投影位置の精度を高く投影することが求められる。また、複数台のプロジェクタを連携させ継ぎ目のない画像を投影するマルチプロジェクションシステムにおいても、画像が近接もしくは重なる領域のずれやぼけを防ぐために、投影位置の精度が求められる。

一方、プロジェクタの小型化・軽量化に伴い可搬性が向上した結果、利用時のみプロジェクタを設置する形態が増加している。前述のプロジェクションマッピングのように、従来は、一度設置した後は、プロジェクタを移動させなかったユースケースにおいても、例えば、週末のみプロジェクタを設置し投影する等の形態が予想される。

ここで、プロジェクタの投影領域の位置合わせは煩わしい。特に、投影面が遠い場合は、プロジェクタ設置位置の微小な変化が投影面上の投影位置や形に大きく影響する。そのため、プロジェクタを設置する度に位置合わせに多大な時間を要する。また、通常の会議室での投影においても位置合わせは煩わしく、プロジェクタの設置時間を少しでも短縮したいという要求がある。

上記問題を解決するために、スクリーン上のマーカと、プロジェクタから発するレーザポインタの輝点の位置を確認しながら設置位置を自動的に調整する方法がある（特許文献１）。

特開平１１−３２７０４２号公報

しかしながら、特許文献１の方法は、マーカが予め設置された特定の投影面（スクリーン等）を必要とする。また、投影面に対する投影位置や大きさが予め決まっている。そのため、プロジェクションマッピングのように任意の投影面に投影位置の精度を高く投影したいという要求に対応できない。

ここで、任意の投影面に投影する場合、その投影面に対する投影が初めての場合は、ユーザの希望する投影位置や投影の大きさ（以下、これを投影状態と称す）を推測することは難しい。しかしながら、過去に投影したことのある投影面であれば、例えば、前回の投影状態と同一の投影を希望しているという推測が可能となる。この推測をもとに過去の投影状態を自動的に再現することができれば、ユーザは同一投影面に対する２回目以降の投影時の設置が容易となる。

本発明は上記の課題を解決するためになされたものであり、任意の投影面における、投影装置からの投影画像を過去の投影状態と同じ状態で容易に投影可能とし、かつ投影装置の設置が容易となる情報処理技術を提供することを目的とする。

上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。即ち、
投影部が投影する画像の表示を制御する情報処理装置であって、
前記投影部が投影する投影面に関する投影面情報を取得する取得手段と、
前記取得手段が取得する投影面情報より、前記投影部が投影する画像の投影領域に関する投影領域情報を抽出する抽出手段と、
前記抽出手段が抽出する投影領域情報を記憶する記憶手段と、
前記抽出手段が抽出する投影領域情報と、前記記憶手段に既に記憶されている投影領域情報とから、前記投影部が投影する画像を補正するための投影補正パラメータを算出する算出手段と、
前記算出手段が算出する投影補正パラメータを、前記投影部が投影する画像に反映する反映手段と
を備える。

本発明によれば、任意の投影面における、投影装置からの投影画像を過去の投影状態と同じ状態で容易に投影可能とし、かつ投影装置の設置が容易となる。

プロジェクタ投影システムの構成を示すブロック図である。実施形態１の第一の投影領域情報を記憶する処理を表すフローチャートである。実施形態１の第一の投影状態の一例を表す図である。実施形態１の投影を停止した状態の一例を表す図である。実施形態１の壁面の特徴点群、及び投影領域の特徴点群を抽出する処理の詳細を表すフローチャートである。実施形態１の投影領域の特徴点群の抽出結果の一例を表す図である。実施形態１の壁面の特徴点群の抽出結果の一例を表す図である。実施形態１の投影領域の特徴点群の抽出結果の保持方法の一例を表す図である。実施形態１の壁面の特徴点群の抽出結果の保持方法の一例を表す図である。実施形態１の第二の投影領域を補正して投影する処理を表すフローチャートである。実施形態１の第二の投影状態の一例を表す図である。実施形態１の第二投影面情報を正規化し、正規化済第二投影面情報とする処理の詳細を表すフローチャートである。実施形態１の第二投影面情報における特徴点群の抽出結果の一例を表す図である。実施形態１の正規化した第二投影面情報の一例を表す図である。実施形態１の投影補正パラメータを算出する処理の詳細を表すフローチャートである。実施形態１の正規化済第二投影面情報における特徴点群の抽出結果の一例を表す図である。実施形態１の投影補正パラメータを反映した投影状態の一例を表す図である。実施形態２の第二の投影領域を補正して投影する処理を表すフローチャートである。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜実施形態１＞
図１は実施形態１のプロジェクタ投影システムの実施形態の構成を示すブロック図である。

図中、１０１は投影部であり、投影装置であるプロジェクタに入力された任意の画像をプロジェクタ前面のスクリーンや壁面に拡大して投影する。投影方式としては、液晶パネルに光を透過させて投影する投影方式、ＣＲＴに表示された画像を光学系を用いて拡大投影する投影方式等があるが、実施形態１では、これらの投影方式を限定しない。

１０２は投影面情報取得部であり、投影部１０１が投影する投影面の投影面情報を取得する。投影面情報の一例としては、投影画像及び画像を投影している壁面をカメラで撮影した画像が想定される。以下では、投影面情報として、撮影装置であるカメラで撮影した画像を取得する場合を例に挙げて説明する。

１０３は投影領域情報抽出部であり、投影面情報取得部１０２が取得する投影面情報より投影領域情報を抽出する。投影領域情報の一例としては、上記カメラで撮影した画像を画像解析することにより得られる特徴点群の位置情報、及び投影面情報が想定される。

１０４は投影領域情報記憶部であり、投影領域情報抽出部１０３が抽出する投影領域情報を記憶する。投影領域情報を記憶するタイミングは、プロジェクタやプロジェクタに付属するリモコンに備わるボタン等の入力部による操作によってユーザが指示しても良いし、投影開始後一定時間経過後等、プロジェクタの状態遷移に連動して自動的に記憶しても良い。以下では、投影領域情報を記憶するタイミングをユーザが指示するものとして説明を続ける。

１０５は投影補正パラメータ算出部であり、投影領域情報抽出部１０３が抽出する投影領域情報と投影領域情報記憶部１０４が既に記憶している投影領域情報から、投影部１０１から投影する画像を補正するための投影補正パラメータを算出する。投影補正パラメータとしては、変形情報、表示位置情報、拡大・縮小情報、キーストーン補正情報等、プロジェクタの機能と連動する様々な形態の少なくとも１つが想定される。

１０６は投影補正パラメータ反映部であり、投影補正パラメータ算出部１０５が算出する投影補正パラメータを投影部１０１が投影する画像に反映する。反映形態としては、電気的な画像の変形・オフセット・拡大・縮小や光学補正等プロジェクタの機能と連動する様々な形態が想定される。

尚、情報処理装置の１つとして実現されるプロジェクタ投影システムは、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。そして、これらの構成要素によって、図１に示される各種機能構成を実現する。これらの機能構成は、例えば、ＣＰＵが、ＲＯＭ等のメモリに記憶されているプログラムを読み出し実行することで実現することもできる。

図２は実施形態１における第一の投影領域情報を記憶する処理を表すフローチャートである。本処理は、ユーザが任意の壁面に初めて投影する際の処理に関る。以下では、本フローチャートに沿って、図３・図４の具体例を交えながら説明を加える。

ステップＳ２０１で、投影部１０１によって、ユーザがプロジェクタをユーザの希望する投影状態（投影位置、投影画像の大きさ）で画像を投影する。以下、これを第一の投影状態とする。図３に第一の投影状態一例を表す。図中、３０１はプロジェクタであり、３０２はプロジェクタ３０１からの画像を投影する建物の壁面、３０３はプロジェクタ３０１からの画像の投影領域を示す。ユーザは、プロジェクタ３０１の設置位置を調整しながら、もしくはプロジェクタ３０１に備わる投影位置調整機能を用いながら投影領域３０３の位置合わせを行う。その際、壁面３０２の形状や模様に対して投影領域３０３の位置を調整し、ユーザの希望する投影状態を実現する。

ステップＳ２０２で、投影部１０１によって、ユーザの希望する投影状態で投影していることを通知するユーザ操作を受付ける。このユーザ操作は、例えば、プロジェクタやプロジェクタに付属のリモコンに備わるボタン等の入力部の操作によって受付けるが、本実施形態ではこれらの入力部を限定しない。また、例えば、ユーザ操作と等価の通知をプロジェクタ内で自動的に生成して、ステップＳ２０２を省略することも可能である。プロジェクタ内で自動的に生成する方法としては、例えば、投影開始後、一定時間経過後、プロジェクタの状態遷移に連動する方法がある。

ステップＳ２０３で、投影面情報取得部１０２によって、投影部１０１が投影した壁面を撮影し、その撮影した投影面を第一投影面情報として取得する。図３の例では、投影面情報取得部１０２は、投影領域３０３とその周辺の壁面３０２を含む領域３０４を撮影し、この撮影した投影面を第一投影面情報として取得する。

ステップＳ２０４で、投影を一旦停止し、投影面情報取得部１０２によって、再度、壁面を撮影し、この撮影した投影面を基礎投影面情報として取得する。図４に投影を停止した状態の模式図を表す。プロジェクタ４０１からの投影を停止したことにより、投影先の壁面のみが撮影される。この際に撮影される領域４０２は、ステップＳ２０３で撮影した領域３０４と同一の領域を撮影することが好ましい。但し、領域３０４と領域４０２がずれた場合にも、例えば、取得する第一投影面情報と基礎投影面情報を正規化する補正処理を実施することにより、以下の処理を継続することが可能である。

ステップＳ２０５で、投影領域情報抽出部１０３によって、壁面の特徴点群、及び投影領域の特徴点群を抽出する。この処理の詳細は図５を用いて後述する。

ステップＳ２０６で、投影領域情報記憶部１０４によって、壁面の特徴点群、投影領域の特徴点群、第一投影面情報、及び基礎投影面情報を記憶する。

図５は実施形態１における壁面の特徴点群、及び投影領域の特徴点群を抽出する処理の詳細を表すフローチャートであり、これは図２のステップＳ２０５に対応する。以下では、本フローチャートに沿って、図６〜図９の具体例を交えながら説明を加える。

ステップＳ５０１で、投影領域情報抽出部１０３によって、第一投影面情報、及び基礎投影面情報からノイズを除去する。本ステップは、以降のステップＳ５０２及びステップＳ５０３の処理精度を向上させるための前処理であり、第一投影面情報及び基礎投影面情報の撮影状態に合わせて省略可能である。

ノイズの除去アルゴリズムとしては、例えば、画像全域の各画素に対してメディアンフィルタを適用する方法が広く知られているが、本実施形態ではノイズの除去アルゴリズムを限定しない。但し、続くステップＳ５０２以降の処理の精度を向上させるために、画像中の濃淡の急激な変化点（以降、これをエッジと称す）が損なわれないアルゴリズムを選択することができる。また、第一投影面情報、及び基礎投影面情報に対して同一のアルゴリズムを適用することができる。尚、メディアンフィルタは、ある領域内の画素値の中央値を出力とするフィルタであり、エッジを損なわずにノイズを除去する効果がある。

ステップＳ５０２で、投影領域情報抽出部１０３によって、第一投影面情報から複数の特徴点（Ａ群）を抽出する。特徴点の抽出アルゴリズムとしては、画像全域の各画素に対してラプラシアンフィルタを適用してエッジを強調する方法、ＫＬＴ法等が広く知られているが、本実施形態では抽出アルゴリズムを限定しない。尚、（式１）にラプラシアンフィルタの一例を示す。

図６に、第一投影面情報から特徴点を抽出した結果の一例を示す。この第一投影面情報はステップＳ２０３で取得されたものであり、図３で示す領域３０４に相当する。図中、６０１は投影領域、６０２は壁面であり、これらを取り囲むように特徴点６０３〜６１４が抽出されている。

ステップＳ５０３で、投影領域情報抽出部１０３によって、基礎投影面情報から複数の特徴点（Ｂ群）を抽出する。ここで利用する抽出アルゴリズム及びパラメータは、ステップＳ５０２で第一投影面情報に適用したものと同一とする。図７に、基礎投影面情報から特徴点を抽出した結果の一例を示す。この基礎投影面情報はステップＳ２０４で取得されたものであり、図４で示す領域４０２に相当する。図中、７０１は壁面であり、７０２〜７１２は抽出された壁面の特徴点である。

ステップＳ５０４で、投影領域情報抽出部１０３によって、特徴点（Ａ群）と特徴点（Ｂ群）を比較し、投影領域の特徴点群を抽出する。より具体的には、特徴点（Ｂ群）には存在しない特徴点を特徴点（Ａ群）から抜き出し、投影領域に対して推定される輪郭を当てはめることにより、投影領域の特徴点群を抽出する。図６及び図７の例では、投影領域６０１に対する特徴点６０３〜６０６が抽出される。

図８に、ステップＳ５０４により抽出した投影領域の特徴点群の抽出結果の投影領域情報記憶部１０４における保持方法の一例を表す。表８００は抽出された投影領域の特徴点の数だけ行を持ち、列８０１に第一投影面情報の左上を基点とする各特徴点の位置情報である座標（ｘ：ｙ）を保持する。例えば、行８０２は、図６の投影領域６０１の特徴点６０３に対応する。

ステップＳ５０５で、投影領域情報抽出部１０３によって、特徴点（Ｂ群）より、投影領域の特徴点群の外側近傍に位置する壁面の特徴点群を抽出する。より詳しくは、ステップＳ５０４より抽出され、図８に示す形で保持された投影領域の特徴点群より投影領域を推定し、その外側に位置する特徴点、即ち、投影領域外の壁面の特徴点を抽出する。図６及び図７の例では、壁面７０１に対する特徴点７０２〜７０９が抽出される。尚、特徴点７１０〜７１２については投影領域内に含まれると判断し除外される。

図９に、ステップＳ５０５により抽出した壁面の特徴点群の抽出結果の投影領域情報記憶部１０４における保持方法の一例を表す。表９００は抽出された壁面の特徴点の数だけ行を持ち、列９０１に基礎投影面情報の左上を基点とする各特徴点の座標（ｘ：ｙ）を保持する。例えば、行９０２は、図７の壁面７０１の特徴点７０２に対応する。

図１０は実施形態１における第二の投影領域を補正して投影する処理を表すフローチャートである。本処理は、ユーザが過去に投影したことがある壁面に、再度、投影する際の処理に関る。つまり、例えば、図２で説明した第一の投影状態を記憶した後にプロジェクタを一旦撤収し、その後、再度、設置する際の処理に相当する。以下では、本フローチャートに沿って、図１１の具体例を交えながら説明を加える。

ステップＳ１００１で、プロジェクタを再設置した後に、投影部１０１によって、画像を再投影する。以下、これを第二の投影状態とする。図１１に第二の投影状態の一例を表す。ユーザは第一の投影状態と同一の投影状態とするべくプロジェクタ１１０１を設置するものの、人手での設置では設置位置や設置角度の調整に限界がある。その結果、壁面１１０２に投影される投影領域１１０３が、ステップＳ２０１で投影した投影領域３０３に比べて異なる位置、形状となっている。

ステップＳ１００２で、投影部１０１によって、ステップＳ１００３以降の処理を進めるトリガとなるユーザ操作を受付ける。このユーザ操作は、例えば、プロジェクタやプロジェクタに付属のリモコンに備わるボタン等の入力部の操作によって受付けるが、本実施形態ではこれらの入力部を限定しない。また、ユーザ操作と等価の通知をプロジェクタ内で自動的に生成して、ステップＳ１００２を省略することも可能である。プロジェクタ内で自動的に生成する方法としては、例えば、投影開始後、一定時間経過後、プロジェクタの状態遷移に連動する方法がある。

ステップＳ１００３で、投影面情報取得部１０２によって、投影部１０１が投影した壁面を撮影し、その撮影した投影面を第二投影面情報として取得する。図１１の例では、領域１１０４を撮影し、この撮影した投影面を第二投影面情報として取得する。

ステップＳ１００４で、投影領域情報抽出部１０３によって、第二投影面情報を基礎投影面情報を用いて正規化し、正規化済第二投影面情報とする。この処理の詳細は図１２を用いて後述する。

ステップＳ１００５で、投影補正パラメータ算出部１０５によって、投影補正パラメータを算出する。この処理の詳細は図１５を用いて後述する。

ステップＳ１００６で、投影補正パラメータ反映部１０６によって、投影補正パラメータを投影対象の画像に反映し、投影する。投影補正パラメータの反映形態としては、電気的な画像の変形、オフセット、拡大・縮小や光学補正等、プロジェクタの機能と連動する様々な形態が想定される。

図１２は実施形態１における第二投影面情報を基礎投影面情報を用いて正規化し、正規化済第二投影面情報とする処理の詳細を表すフローチャートであり、これは図１０のステップＳ１００４に対応する。以下では、本フローチャートに沿って、図１３及び図１４の具体例を交えながら説明を加える。

ステップＳ１２０１で、投影領域情報抽出部１０３によって、第二投影面情報からノイズを除去する。この処理の詳細はステップＳ５０１と同等であり、適用するアルゴリズムは第一投影面情報、及び基礎投影面情報に適用したアルゴリズムと同一とすることができる。

ステップＳ１２０２で、投影領域情報抽出部１０３によって、第二投影面情報から複数の特徴点（Ｃ群）を抽出する。この処理の詳細はステップＳ５０２及びステップＳ５０３と同等であり、適用するアルゴリズムは同一とする。図１３に、第二投影面情報における壁面の特徴点群の抽出結果の一例を表す。この第二投影面情報はステップＳ１００３で取得されたものであり、図１１で示す領域１１０４に相当する。図中、１３０１は投影領域、１３０２は壁面であり、これらを取り囲むように特徴点が抽出されている。

ステップＳ１２０３で、投影領域情報抽出部１０３によって、基礎投影面情報から抽出済の特徴点（Ｂ群）に対応する第二投影面情報から抽出済の特徴点（Ｃ群）を３点以上抽出する。特徴点（Ｂ群）及び特徴点（Ｃ群）から対応する特徴点を抽出する方法としては、例えば、ＫＬＴ法を用いる。但し、本実施形態ではその抽出アルゴリズムを限定しない。図１３の例では、第二投影面情報から抽出済の特徴点１３０３〜１３０５が、それぞれ基礎投影面情報から抽出済の特徴点７０２・７０５・７０９に対応して抽出されたとして、以下の説明を続ける。

ステップＳ１２０４で、投影領域情報抽出部１０３によって、第二投影面情報を基礎投影面情報と同一の位置から撮影された画像に変換するための正規化パラメータを算出する。正規化パラメータは、（式２）のアフィン行列にステップＳ１２０３で抽出した３組の特徴点の座標を代入することにより求める。

（式２）中、ｘ、ｙが基礎投影面情報から抽出済の特徴点の座標、ｘ’、ｙ’が第二投影面情報から抽出済の特徴点の座標である。また、連立方程式を解くことによって算出されるａ、ｂ、ｃ、ｄは拡大縮小回転パラメータ、ｔ_x、ｔ_yは並行移動パラメータであり、これらを総じて正規化パラメータと称す。

ステップＳ１２０５で、投影領域情報抽出部１０３によって、第二投影面情報が示す投影面全域の画素に対してステップＳ１２０４で算出した正規化パラメータを適用し、正規化済第二投影面情報とする。図１４に、正規化済第二投影面情報の一例を表す。図中、１４０１は正規化された投影領域、１４０２は正規化された壁面である。また、プロット１４０３〜１４０５はそれぞれステップＳ１２０３により抽出された特徴点１３０３〜１３０５を正規化したものであり、その結果、基礎投影面情報から抽出済の特徴点７０２・７０５・７０９と座標が一致している。

図１５は、実施形態１における投影補正パラメータを算出する処理の詳細を表すフローチャートであり、これは図１０のステップＳ１００５に対応する。以下では、本フローチャートに沿って、図１６及び図１７の具体例を交えながら説明を加える。

ステップＳ１５０１で、投影領域情報抽出部１０３によって、正規化済第二投影面情報から複数の特徴点（Ｄ群）を抽出する。この処理の詳細はステップＳ５０２、ステップＳ５０３及びステップＳ１２０２と同一であり、適用するアルゴリズムは同一とする。図１６に、正規化済第二投影面情報における壁面の特徴点群の抽出結果の一例を表す。図中、１６０１は投影領域、１６０２は壁面であり、これらを取り囲むように特徴点が抽出されている。

ステップＳ１５０２で、投影領域情報抽出部１０３によって、第一投影面情報から抽出済の投影領域の特徴点に対応する正規化済第二投影面情報から抽出済の特徴点（Ｄ群）を抽出する。ここで、投影領域の特徴点はステップＳ５０４により抽出され、表８００の形態で保持されている。この投影領域の特徴点に対応する特徴点を抽出した結果として、図１６の特徴点１６０３〜１６０６を抽出する。

ステップＳ１５０３で、投影補正パラメータ算出部１０５によって、正規化済第二投影面情報上の投影領域を第一投影面情報上の投影領域に変形するための変形パラメータを算出する。この変形パラメータは、（式２）のアフィン行列にステップＳ１５０２で抽出した特徴点の中で３組の座標を代入することにより算出する。（式２）中、ｘ、ｙが正規化済第二投影面情報から抽出済の投影領域の特徴点の座標、ｘ’、ｙ’が第一投影面情報から抽出済の投影領域の特徴点の座標である。連立方程式を解くことによって算出されるａ、ｂ、ｃ、ｄは拡大縮小回転パラメータ、ｔ_x、ｔ_yは並行移動パラメータであり、これらを総じて変形パラメータと称す。

図１７は、ステップＳ１００６の処理結果として得られる投影補正パラメータを反映した投影状態の模式図である。図中、プロジェクタ１７０１は第一の投影状態でのプロジェクタ３０１の位置（中心軸）に比べて移動してはいるが、壁面１７０２に対する投影領域１７０３の位置は、第一の投影状態での壁面３０２に対する投影領域３０３の位置と差分が無い。このように、投影補正パラメータ算出部１０５は、投影領域情報抽出部１０３が抽出する投影領域情報が示す特徴点の位置と、投影領域情報記憶部１０４に既に記憶されている投影領域情報が示す特徴点の位置との差分が少なくなるあるいはなくなるような投影補正パラメータを算出する。

以上により、２回目以降の投影において投影領域を自動で補正（制御）し投影することが可能となる。

また、本実施形態では、ステップＳ２０４で投影を一旦停止した状態で壁面を撮影装置で撮影して基礎投影面情報を取得し、ステップＳ２０５で第一投影面情報及び基礎投影面情報から投影領域及び壁面の特徴点を抽出しているが、これに限定されない。例えば、ステップＳ２０４で第一投影面情報の取得時と異なる画像を投影した状態で壁面を撮影装置で撮影して基礎投影面情報を取得し、ステップＳ２０５で第一投影面情報及び基礎投影面情報から投影領域及び壁面の特徴点を抽出しても良い。

以上説明したように、実施形態１によれば、初回の投影時に投影領域と投影先の壁面の位置関係を示す情報を記憶しておき、その情報を利用して、次回以降の投影時における投影領域を補正する。これにより、任意の投影面において、プロジェクタからの投影画像を過去の投影状態と同じ状態で容易に投影可能となり、設置が容易となる。

＜実施形態２＞
実施形態２について、実施形態１との差異を中心に説明する。但し、本発明の技術的範囲がこの実施形態に限定されるものではない。

実施形態２では、図２に示す第一の投影領域情報を記憶する処理が独立に複数回実施された場合を想定する。例えば、プロジェクタを用いて異なる複数の壁面に画像を投影し、その各々の場面において第一の投影領域情報を記憶する。この場合、投影領域情報抽出部１０３に壁面の特徴点群、投影領域の特徴点群、及び基礎投影面情報がそれぞれ複数保持されることになる。

図１８は実施形態２における第二の投影領域を補正して投影する処理を表すフローチャートである。

ステップＳ１８０１で、プロジェクタを再設置した後に、投影部１０１によって、画像を再投影する。以下、これを第二の投影状態とする。

ステップＳ１８０２で、投影部１０１によって、ステップＳ１８０３以降の処理を進めるトリガとなるユーザ操作を受付ける。

ステップＳ１８０３で、投影面情報取得部１０２によって、投影した壁面を撮影し、その撮影した投影面を第二投影面情報として取得する。

ステップＳ１８０４で、投影領域情報抽出部１０３によって、複数保持されている基礎投影面情報の中から、第二投影面情報に類似の基礎投影面情報を選択する。類似の基礎投影面情報を選択する方法としては、ユーザからの選択指示によって選択しても良いし、遺伝的アルゴリズム等、広く知られているアルゴリズムを用いて、第二投影面情報と最も近似（最も類似度が高い）の基礎投影面情報を選択しても良い。

ステップＳ１８０５で、投影領域情報抽出部１０３によって、第二投影面情報を選択した基礎投影面情報を用いて正規化し、正規化済第二投影面情報とする。

ステップＳ１８０６で、投影補正パラメータ算出部１０５によって、投影補正パラメータを算出する。

ステップＳ１８０７で、投影補正パラメータ反映部１０６によって、投影補正パラメータを投影対象の画像に反映し、投影する。投影補正パラメータの反映形態としては、電気的な画像の変形、オフセット、拡大・縮小や光学補正などプロジェクタの機能と連動する様々な形態が想定される。

以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、複数の基礎投影面情報の中から第二投影面情報に類似の基礎投影面情報を選択しつつ、２回目以降の投影において投影領域を自動で補正し（制御し）投影することが可能となる。

＜実施形態３＞
上記実施形態では、具体例としてプロジェクションマッピングを扱い説明しているが、例えば、会議室やホームシアター等のその他の利用形態においても本実施形態は有効に作用する。

さらに、本発明の各部は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をＣＰＵ、プロセッサ等の情報処理装置にて実行することもできる。例えば、投影面情報取得部が市販のカメラ（外部装置）上に配置される場合にも、その投影面情報取得部がプロジェクタ上に配置される投影領域情報抽出部と通信部を介して接続することにより本実施形態は有効に作用する。

尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

投影部が投影する画像の表示を制御する情報処理装置であって、
前記投影部が投影する投影面に関する投影面情報を取得する取得手段と、
前記取得手段が取得する投影面情報より、前記投影部が投影する画像の投影領域に関する投影領域情報を抽出する抽出手段と、
前記抽出手段が抽出する投影領域情報を記憶する記憶手段と、
前記抽出手段が抽出する投影領域情報と、前記記憶手段に既に記憶されている投影領域情報とから、前記投影部が投影する画像を補正するための投影補正パラメータを算出する算出手段と、
前記算出手段が算出する投影補正パラメータを、前記投影部が投影する画像に反映する反映手段と
を備えることを特徴とする情報処理装置。
前記取得手段は、撮影装置によって前記投影面を撮影して得られる画像を、前記投影面情報として取得する
ことを特徴とする請求項１に記載の情報処理装置。
前記抽出手段は、前記投影領域情報として、前記投影面に存在する特徴点の位置情報と、前記投影面に前記投影部が投影する画像の特徴点の位置情報を少なくとも抽出する
ことを特徴とする請求項１に記載の情報処理装置。
前記抽出手段は、前記投影面情報が示す画像を画像解析することで、前記投影領域情報を抽出する
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
前記記憶手段は、ユーザ操作による入力を受付けた場合に前記抽出手段が抽出する投影領域情報を記憶する
ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
前記算出手段は、前記抽出手段が抽出する投影領域情報と、前記記憶手段に既に記憶されている投影領域情報との差分が少なくなるような前記投影補正パラメータを算出する
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
前記算出手段は、前記抽出手段が抽出する投影領域情報と、前記記憶手段に既に記憶されている複数の投影領域情報の中から選択された投影領域情報との差分が少なくなるような前記投影補正パラメータを算出する
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
前記選択された投影領域情報は、前記複数の投影領域情報の中の、前記抽出手段が抽出する投影領域情報と最も類似度が高い投影領域情報である、あるいは、前記複数の投影領域情報の中から、ユーザの選択指示によって選択された投影領域情報である
ことを特徴とする請求項７に記載の情報処理装置。
前記算出手段は、前記投影補正パラメータとして、画像の変形情報、表示位置情報、拡大・縮小情報、キーストーン補正情報の少なくとも１つを算出し、
前記反映手段は、前記算出手段が算出した投影補正パラメータに応じて、前記投影部が投影する画像を補正する
ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
前記取得手段は、前記投影部による投影が停止されている状態での基礎投影面に関する基礎投影面情報を取得し、
前記記憶手段に既に記憶されている投影領域情報は、前記基礎投影面情報より、前記抽出手段によって抽出された投影領域情報である
ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
前記取得手段は、通信部を介して接続される撮影装置が前記投影面を撮影して得られる画像を、前記通信部を介して前記投影面情報として取得する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
投影部が投影する画像の表示を制御する情報処理装置の制御方法であって、
前記投影部が投影する投影面に関する投影面情報を取得する取得工程と、
前記取得工程が取得する投影面情報より、前記投影部が投影する画像の投影領域に関する投影領域情報を抽出する抽出工程と、
前記抽出工程が抽出する投影領域情報と、記憶媒体に既に記憶されている投影領域情報とから、前記投影部が投影する画像を補正するための投影補正パラメータを算出する算出工程と、
前記算出工程が算出する投影補正パラメータを、前記投影部が投影する画像に反映する反映工程と
を備えることを特徴とする情報処理装置の制御方法。
投影部が投影する画像の表示を制御する情報処理装置の制御をコンピュータに機能させるためのプログラムであって、
前記コンピュータを、
前記投影部が投影する投影面に関する投影面情報を取得する取得手段と、
前記取得手段が取得する投影面情報より、前記投影部が投影する画像の投影領域に関する投影領域情報を抽出する抽出手段と、
前記抽出手段が抽出する投影領域情報を記憶する記憶手段と、
前記抽出手段が抽出する投影領域情報と、前記記憶手段に既に記憶されている投影領域情報とから、前記投影部が投影する画像を補正するための投影補正パラメータを算出する算出手段と、
前記算出手段が算出する投影補正パラメータを、前記投影部が投影する画像に反映する反映手段と
して機能させることを特徴とするプログラム。