JP2015035650A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】正確なキャリブレーションを行うことを可能とする。
【解決手段】撮影画像データ取得部１０１１及びソース信号取得部１０１６は、スクリーン上に投影された画像を撮影手段が撮影することにより生成された画像データを取得するとともに、当該画像に対応する投影信号のソース信号を取得する。対応関係生成部１０１２は、取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する。カラープロファイル更新部１０１７は、対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する。出力部１０１５は、更新されたカラープロファイルに基づいて、ソース信号を投影信号に変換する。
【選択図】図２

Description

本発明は、スクリーンに投影される画像の色を補正するための技術に関するものである。

ディスプレイやプロジェクタ等の表示装置のキャリブレーションを行う方法として、表示装置にカラーチャートを表示させ、当該カラーチャートを測色装置にて測色し、色を補正するためのカラープロファイルを測色値及び目標値に基づいて生成する方法が知られている。

しかしながら、測色装置は一般に高価であり、また、カラープロファイルを生成するためには専門の知識を有するため、一般ユーザが測色装置を購入してキャリブレーションを行うことは非常に困難である。特許文献１には、測色装置を用いずに、撮像された画像データからディスプレイのキャリブレーションを行う方法が開示されている。特許文献２には、ディスプレイに光センサを設け、光センサの検出値に基づいて表示信号の輝度を補正する方法が開示されている。

特開２００７−２０８６２９号公報 特開２００８−１８１０４４号公報

しかしながら、特許文献１に開示された技術では、キャリブレーションを行う際に色の特性を取得するためのカラーチャートを表示させる必要があるため、観視中の投影信号を切り替えなければならず、ユーザの観視の妨げになる。なお、特許文献１に開示された技術により、観視する前にキャリブレーションを実施しておけば、その時点での色補正は行えるが、観視している間に変化する投影色の変動を補正することはできない。特許文献２に開示された技術は、センサを設置した固定箇所における検出値に基づいて投影色を補正するものである。即ち、特許文献２に開示された技術は、投影された画像に使用される色全体の変動を補正するものではなく、投影された画像に使用される色に合わせた正確なキャリブレーションを行うことはできない。

そこで、本発明の目的は、正確なキャリブレーションを行うことを可能とすることにある。

本発明の画像処理装置は、スクリーン上に投影された画像を撮影手段が撮影することにより生成された画像データを取得するとともに、前記画像に対応する投影信号のソース信号を取得する取得手段と、前記取得手段により取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する生成手段と、前記生成手段により生成された前記対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する更新手段と、前記更新手段により更新された前記カラープロファイルに基づいて、ソース信号を投影信号に変換する変換手段とを有することを特徴とする。

本発明によれば、正確なキャリブレーションを行うことが可能となる。

本発明の実施形態に係る画像処理システムの構成を示す図である。 情報処理装置の機能的な構成を示す図である。 本発明の実施形態に係る情報処理装置の処理を示すフローチャートである。 対応関係情報の例を示す図である。 第１の実施形態における対応関係生成部の処理を示すフローチャートである。 図５のステップＳ３４における色値抽出処理の詳細を示すフローチャートである。 図３のステップＳ６におけるカラープロファイル更新部１０１７の処理の詳細を示すフローチャートである。 目標色再現データについて説明するための図である。 第２の実施形態における対応関係生成部の処理を示すフローチャートである。 図９のステップＳ８６における色抽出処理の詳細を示すフローチャートである。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る画像処理システムの構成を示す図である。図１において、１０１は、情報処理装置である。１０２は、撮影装置である。１１１は、プロジェクタである。情報処理装置１０１は、プロジェクタ１１１に対して投影信号を出力し、プロジェクタ１１１は、情報処理装置１０１から入力した投影信号に基づいて、スクリーンに対して画像を投影する。撮影装置１０２は、プロジェクタ１１１により投影された画像を撮影し、撮影処理により得られた画像データを情報処理装置１０１に対して出力する。情報処理装置１０１は、撮影装置１０２による撮影処理により得られた画像データと、投影信号の元となるソース信号とを取得し、ソース信号を投影信号に変換するためのカラープロファイルを生成する。次に、情報処理装置１０１は、生成したカラープロファイルに基づいて変換した投影信号をプロジェクタ１１１に対して出力する。本実施形態では、撮影装置１０２は、プロジェクタ１１１により投影される画像を常時撮影する。そして、撮影装置１０２の撮影処理により得られた画像データに基づいてカラープロファイルが随時更新される。

図２は、情報処理装置１０１の機能的な構成を示す図である。図２に示すように、情報処理装置１０１は、撮影画像データ取得部１０１１、対応関係生成部１０１２、補正パラメータ生成部１０１３、カラープロファイル保持部１０１４、出力部１０１５、ソース信号取得部１０１６及びカラープロファイル更新部１０１７を備える。なお、図２の１０１１〜１０１３及び１０１５〜１０１７は、情報処理装置１０１内において、ＣＰＵがＲＯＭやハードディスク等から必要なプログラム及びデータを読み出して実行することにより実現する機能的な構成である。また、カラープロファイル保持部１０１４は、例えばＲＡＭの一部記憶領域に相当する構成である。さらに、情報処理装置１０１は、バッファメモリを備える。このバッファメモリは、画像処理で用いられる各種データを格納する読み出し専用記憶装置（ＲＯＭ）として機能するとともに、計算処理時にＣＰＵが一時的な読み書きを行う記憶装置（ＲＡＭ）として機能する。なお、本実施形態における情報処理装置１０１のハードウェア構成は、コンピュータ等の公知の技術によって構成可能であるため、ハードウェアの詳細な説明は省略する。

撮影装置１０２は、プロジェクタ１１１により投影された画像を撮影する。撮影画像データ取得部１０１１は、撮影装置１０２の撮影処理により得られた画像データ（以下、撮影画像データと称す）を取得する。ソース信号取得部１０１６は、プロジェクタ１１１により投影された画像の元となるソース信号を取得する。対応関係生成部１０１２は、撮影画像データ取得部１０１１により取得された撮影画像データと、ソース信号取得部１０１６により取得されたソース信号との対応関係を示す対応関係情報を生成する。

補正パラメータ生成部１０１３は、カラープロファイルを更新するための補正パラメータを生成する。カラープロファイル保持部１０１４は、カラープロファイルを保持する。出力部１０１５は、プロジェクタ１１１で投影される画像に対応する投影信号を出力する。ソース信号取得部１０１６は、プロジェクタ１１１に対して出力される投影信号のソース信号を取得する。カラープロファイル更新部１０１７は、カラープロファイル保持部１０１４に保持されているカラープロファイルを更新する。出力部１０１５は、更新されたカラープロファイルを用いてソース信号を投影信号に変換し、プロジェクタ１１１に出力する。情報処理装置１０１は、上記一連の処理を繰り返すことにより、プロジェクタ１１１により投影される画像の変動を随時補正する。

次に、図３を参照しながら、情報処理装置１０１の処理について説明する。なお、図３に示す処理は、情報処理装置１０１内において、ＣＰＵがＲＯＭやハードディスク等から必要なデータ及びプログラムを読み出して実行することにより実現する処理である。

ステップＳ１において、撮影画像データ取得部１０１１は、通信回線を介して撮影装置１０２から撮影画像データを取得する。この撮影画像データは、プロジェクタ１１１により投影された画像を撮影装置１０２が撮影することにより生成された画像データである。なお、上記通信回線は、有線通信回線でもよいし、無線通信回線でもよい。

ステップＳ２において、ソース信号取得部１０１６は、プロジェクタ１１１に投影された画像に対応する投影信号のソース信号を１フレーム分取得する。なお、本実施形態では、ソース信号としてＲ（赤）、Ｇ（緑）及びＢ（青）の各８ビットの信号値を使用するが、他のビット数の信号値を使用してもよい。

ステップＳ３において、対応関係生成部１０１２は、ステップＳ１で取得された撮影画像データの画素値ＲｉＧｉＢｉ値と、ステップＳ２で取得されたソース信号の画素値ＲｓＧｓＢｓ値との対応関係を示す対応関係情報を生成する。対応関係を生成する際には、撮影画像データの画素値ＲｉＧｉＢｉ値とソース信号の画素値ＲｓＧｓＢｓ値間の解像度の違いや位置ずれ、及び、撮影画像データのノイズの影響によって、特に、高周波領域に位置する画素値間において正確な対応付けが難しい。このため、対応関係生成部１０１２は、所定のフィルタ処理や領域分割処理等の前処理を実施した後、ソース信号及び撮影画像データの部分領域における代表的な色値を抽出する処理を行う。これにより、対応関係生成部１０１２は、図４に示すように、ソース信号及び撮影画像データの各部分領域（No.1、No.2、No3・・・No.901、No902）について代表的な色値がテーブル形式で格納される対応関係情報を生成する。なお、対応関係生成部１０１２における処理の詳細については、後述する。

ステップＳ４において、補正パラメータ生成部１０１３は、対応関係生成部１０１２で生成された対応関係情報に基づいて、カラープロファイルを更新するための補正パラメータを生成する。本実施形態では、補正パラメータとして、次の式（１）に示すような３×４の行列係数を対応関係情報から最小二乗法によって算出するが、補正パラメータとして他の係数を用いてもよい。

ステップＳ５において、カラープロファイル更新部１０１７は、カラープロファイルを更新するか否かを判定する。本実施形態では、情報処理装置１０１に内蔵されたタイマにより計時される時間が５分を経過したか否かを判定する。５分を経過した場合、カラープロファイル更新部１０１７は、撮影装置１０２から撮影画像データを取得し、カラープロファイルの更新処理を行う。なお、計時する時間は５分に限らず、任意の時間でよい。また、撮影装置１０２で撮影し続けて、撮影画像データのフレーム毎にカラープロファイルを更新してもよいし、フレーム間の撮影画像データを解析し、フレーム間の撮影画像データの変化に基づいてカラープロファイルを更新してもよい。

ステップＳ６において、カラープロファイル更新部１０１７は、ステップＳ４で生成された補正パラメータを用いてカラープロファイルを更新する。カラープロファイル保持部１０１４は、カラープロファイル更新部１０１７により更新されたカラープロファイルを保持する。なお、カラープロファイル更新部１０１７における処理の詳細は後述する。

ステップＳ７において、出力部１０１５は、更新されたカラープロファイルを用いてソース信号を投影信号に変換し、変換した投影信号をプロジェクタ１１１に出力する。プロジェクタ１１１は、出力部１０１５から入力した投影信号に基づいて投影を行う。

次に、図５を参照しながら、対応関係生成部１０１２によるステップＳ３の処理について詳細に説明する。撮影画像データには、プロジェクタ１１１により投影された画像以外の色も含まれる。従って、ステップＳ３１において、対応関係生成部１０１２は、当該撮影画像データから、プロジェクタ１１１により投影された画像に該当する領域（以下、投影領域と称す）の画像データを抽出する。なお、本実施形態では、投影領域の抽出処理は、次のようにして行われる。即ち、予め定められた位置、又は、設定に基づいて定められた位置に、撮影装置１０２とプロジェクタ１１１とを設置し、撮影画像データ上における予め定められた座標から画像データが抽出される。例えば、画素数５７６０×３８４０で記録された撮影画像データから、左上座標(５００，３００)、左下座標（５００，３５４０）、右上座標（５２６０，３００）、右下座標（５２６０，３５４０）で囲まれる領域に該当する画像データが抽出される。なお、撮影装置１０２とプロジェクタ１１１との位置決めを行わず、画像認識技術を用いて撮影画像データから投影領域を検出して、投影領域に該当する画像データを抽出するようにしてもよい。本発明では、プロジェクタ１１１の投影領域に該当する画像データを撮影画像データから正確に抽出することができれば、その方法は問わない。

ステップＳ３２において、対応関係生成部１０１２は、ソース信号の解像度に合わせて、ステップＳ３１で抽出した投影領域の撮影画像データをアフィン変換する。なお、本実施形態では、ソース信号として画素数４０９６×２１６０の画像データを利用し、この解像度と一致するように、投影領域の撮影画像データをアフィン変換する。補正後の座標において画素の隙間が生じる場合には、４近傍画素を用いてバイリニア補間で画素値を決定してもよいし、さらに参照画素を増やしてバイキュービック補間等の補間処理を行ってもよいことはいうまでもない。また、アフィン変換の前処理として、撮影画像データの歪みを補正するためのパース補正を実施してもよい。

ステップＳ３３において、対応関係生成部１０１２は、ソース信号、及び、ステップＳ３２でアフィン変換した撮影画像データに対してローパスフィルタ処理を施す。これにより、ソース信号と撮影画像データ間の位置ずれ、及び、撮影画像データ中のノイズに起因する対応付けの精度低下を抑制することができる。

ステップＳ３４において、対応関係生成部１０１２は、ステップＳ３３でローパスフィルタ処理が施されたソース信号及び撮影画像データから、補正パラメータを生成するために必要な色値を抽出する。なお、色値抽出処理の詳細は後述する。

ステップＳ３５において、対応関係生成部１０１２は、ステップＳ３４で抽出した色値に基づいて対応関係情報を生成する。生成された対応関係情報は、情報処理装置１０１内のバッファメモリにおいて保存される。

次に、図６を参照しながら、図５のステップＳ３４における色値抽出処理について詳細に説明する。ステップＳ３４０において、対応関係生成部１０１２は、ステップＳ３３でローパスフィルタ処理が施された投影領域の撮影画像データを複数の領域に分割する。本実施形態では、分割単位を縦１００ピクセル及び横１００ピクセルとし、４０９６×２１６０の画像データを４１×２２の領域に分割する。なお、縦１００ピクセル又は横１００ピクセルを満たさない場合、縦又は横が１００ピクセル未満の領域で分割される。また、本実施形態では、分割単位を１００ピクセルとしているが、それ以外のピクセル数を分割単位としてもよい。なお、以下では、ステップＳ３４０の分割処理により生成された領域を、分割領域と称す。

ステップＳ３４１において、対応関係生成部１０１２は、ステップＳ３４０の分割処理により生成された分割領域のうちの何れか一つの分割領域を選択する。ステップＳ３４２において、対応関係生成部１０１２は、画素値抽出範囲の初期値を設定する。本実施形態では、画素値抽出範囲の初期値として、分割領域と同じ縦１００ピクセル及び横１００ピクセルとするが、他のピクセル数を初期値として設定してもよい。

ステップＳ３４３において、対応関係生成部１０１２は、分割領域の画素値抽出範囲から全ての画素値を抽出し、抽出した画素値の標準偏差を算出する。本実施形態では、分割領域内の色のばらつきとして標準偏差を用いるが、分散等の他の統計量を用いてもよい。

ステップＳ３４４において、対応関係生成部１０１２は、ステップＳ３４３で算出した標準偏差が閾値未満であるか否かを判定する。標準偏差が閾値未満である場合、処理はステップＳ３４６に移行する。標準偏差が閾値以上である場合、処理はステップＳ３４５に移行する。

ステップＳ３４５において、対応関係生成部１０１２は、分割領域の中央を基準に画素値抽出範囲を１画素分狭くする。そして、処理はステップＳ３４３に戻る。本実施形態では、分割領域の中央を基準にして画素値抽出範囲を調整しているが、分割領域の左上隅や右下隅を基準にして画素値抽出範囲を調整してもよい。また、本実施形態では、１画素分ずつ画素値抽出範囲を調整しているが、任意の画素分ずつ画素値抽出範囲を調整してもよい。

ステップＳ３４６において、対応関係生成部１０１２は、画素値抽出範囲内の画素値の平均値を算出する。ステップＳ３４７において、対応関係生成部１０１２は、画素値抽出範囲に対応するソース信号の領域内の画素値の平均値を算出する。

ステップＳ３４８において、対応関係生成部１０１２は、ステップＳ３４６及びＳ３４７で算出した平均値を色値として情報処理装置１０１内のバッファメモリに保存する。ステップＳ３４９において、対応関係生成部１０１２は、全ての分割領域について色値が算出されたか否かを判定する。全ての分割領域について色値が算出された場合、処理は終了する。一方、未だ色値が算出されていない分割領域が存在する場合、処理はステップＳ３４２に戻る。

次に、図７を参照しながら、図３のステップＳ６におけるカラープロファイル更新部１０１７の処理について詳細に説明する。

ステップＳ６１において、カラープロファイル更新部１０１７は、情報処理装置１０１内のバッファメモリから目標色再現データを取得する。ここでいう目標色再現データとは、プロジェクタ１１１に投影すべきターゲット色が記述されたデータである。より具体的には、目標色再現データは、図８（ａ）に示すように、所定のソース信号（No1、No2、No3・・・No.728、No729）に対応する画像を投影した際の撮影画像データの信号値ＲｔＧｔＢｔが記述されたファイルである。

本実施形態では、所定のソース信号としてＲＧＢ各９グリッドの均等格子点に並んだ７２９色の信号値を用いる。そして、本実施形態では、図８（ｂ）に示すように、この信号値を表す画像チャート８０１をプロジェクタ１１１により投影し、予め画像チャート８０１を撮影装置１０２により撮影する。そして、撮影された画像データが示す信号値ＲｔＧｔＢｔを目標色再現データとして事前にバッファメモリに保存しておくものとする。

ステップＳ６２において、カラープロファイル更新部１０１７は、ステップＳ４で生成された補正パラメータである行列係数を用いて、対象色再現データを算出する。対象色再現データは、ＲＧＢ各９グリッドの均等格子点に並ぶ信号値を行列係数により変換することで算出され、現状の再現色を示す対象色信号値ＲｄＧｄＢｄとしてバッファメモリに保存される。

ステップＳ６３において、カラープロファイル更新部１０１７は、ステップＳ６１で取得した目標色再現データ、及び、ステップＳ６２で算出した対象色再現データを用いて、カラープロファイルを生成する。ここでカラープロファイルには、ソース信号のＲＧＢ値とそれに対応する出力ＲＧＢ値とがルックアップテーブル（ＬＵＴ）の形式で記述される。このＬＵＴを用いることにより、下記の式（２）によりソース信号が所望の出力値へと変換される。なお、下式で＊は、ＬＵＴによる色変換を表す。
C_out_tgt = LUT_org ＊ C_s・・・式（２）
C_s：ソース信号
LUT_org：初期のカラープロファイル
C_out_tgt：目標色を再現するカラープロファイル変換後の出力値

ここで、経時変化等で色がずれた場合の信号の入出力関係を式（３）のように表す。
C_out_dst = G ＊ LUT_org ＊ C_s・・・式（３）
G：色の変動
C_out_dst：ソース信号が入力されたときの出力値

本実施形態では、色の変動が生じた際に目標色を再現するC_out_tgtを出力するためのカラープロファイルLUT_dst(G!＊LUT_org)を新たに生成し、更新することでキャリブレーションを行う。ステップＳ６３において、カラープロファイル更新部１０１７は、Ｓ６１におけるソース信号と目標色信号値との対応関係と、Ｓ６２で算出したソース信号と現状の再現色を示す対象色信号値との対応関係を用いて、目標色信号値を再現するＲＧＢ値を対象色信号値から探索することにより、LUT_dstを生成する。

なお、本実施形態では、上記探索をする空間としてＲＧＢの色空間を用いるが、ＲＧＢの色空間を人間の視覚により一致するＬａｂ色空間等の視覚均等色空間に変換し、当該色空間上で探索してもよい。Ｌａｂ色空間を用いることにより、例えば色域境界に分布する色が変動し、ターゲット色を現状のプロジェクタの投影色域で再現できない場合において、人間の見た目の色で最も近い色でターゲット色を再現することができる。なお、ＲＧＢ色空間からＬａｂ色空間への変換は、sRGBやAdobeRGB等の変換式を用いてＸＹＺ値への変換を行い、さらにＣＩＥ１９７６変換式を用いることで変換することができる。また、本実施形態では、ＣＩＥ１９７６変換式を用いるが、ＣＩＥＣＡＭ０２等の他の変換式を用いてもよい。さらに、本実施形態では、カラープロファイルとしてＬＵＴを用いた変換を行うが、変換特性を関数で数式化し、カラープロファイルに関数を記述して変換してもよいことはいうまでもない。

ステップＳ６４において、カラープロファイル更新部１０１７は、ステップＳ６３で生成したカラープロファイルで、カラープロファイル保持部１０１４に保存されているカラープロファイルを上書きすることにより、カラープロファイルを更新する。

以上のように、本実施形態によれば、カラーチャートを用いずに実際に見ている画像の投影信号を常時センシングしてキャリブレーションを行うことにより、ユーザの負担をかけずに正確なキャリブレーションを行うことができる。

次に、本発明の第２の実施形態について説明する。第１の実施形態では、１フレーム分のソース信号と撮影画像データとから補正パラメータを生成するための対応関係情報を生成した。これに対し、第２の実施形態では、複数のフレーム分のソース信号と撮影画像データとから対応関係情報を生成する方法について説明する。なお、第２の実施形態に係る画像処理システムの構成は、図１及び図２に示した第１の実施形態に係る画像処理システムの構成と同様であるため、以下の説明においても、図１及び図２に示した符号を用いるものとする。また、第２の実施形態は、図３のステップＳ３における対応関係生成部１０１２の処理が第１の実施形態と相違し、他は第１の実施形態と共通の処理を行うため、以下、第２の実施形態における図３のステップＳ３における処理についてのみ説明する。

以下、図９を参照しながら、第２の実施形態における対応関係生成部１０１２の処理について説明する。ステップＳ８１において、対応関係生成部１０１２は、撮影画像データ取得部１０１１から１フレーム分の撮影画像データを取得するとともに、ソース信号取得部１０１６から１フレーム分のソース信号を取得する。ステップＳ８２において、対応関係生成部１０１２は、３０フレーム分の撮影画像データ及びソース信号を取得したか否かを判定する。３０フレーム分の撮影画像データ及びソース信号を取得した場合、処理はステップＳ８３に移行する。一方、３０フレーム分の撮影画像データ及びソース信号を取得していない場合、処理はステップＳ８１に戻る。上述したように、本実施形態では、３０フレーム分の撮影画像データ及びソース信号を取得するものとするが、このフレーム数に限定されるものではない。

ステップＳ８３において、対応関係生成部１０１２は、３０フレーム分の撮影画像データ夫々から、プロジェクタ１１１による投影領域の画像データを抽出する。ステップＳ８４において、対応関係生成部１０１２は、ステップＳ８３で抽出された各投影領域の撮影画像データを、当該撮影画像データに対応するソース信号の解像度に合わせてアフィン変換する。

ステップＳ８５において、対応関係生成部１０１２は、ソース信号、及び、ステップＳ８４で変換したアフィン変換した撮影画像データに対してローパスフィルタ処理を施す。これにより、ソース信号と撮影画像データ間の位置ずれ、及び、撮影画像データ中のノイズに起因する対応付けの精度低下を抑制することができる。

ステップＳ８６において、対応関係生成部１０１２は、ステップＳ８５でローパスフィルタ処理が施された両画像データから、補正パラメータを作成するために必要な色値を抽出する。なお、色値抽出処理の詳細は後述する。ステップＳ８７において、対応関係生成部１０１２は、Ｓ８６で抽出した色値に基づいて対応関係情報を生成する。生成された対応関係情報は、情報処理装置１０１内のバッファメモリにおいて保存される。

次に、図１０を参照しながら、図９のステップＳ８６における色値抽出処理について詳細に説明する。ステップＳ８６０において、対応関係生成部１０１２は、３０フレームの撮影画像データ夫々について、ステップＳ８５でローパスフィルタ処理が施された投影領域の撮影画像データを複数の領域に分割する。本実施形態では、分割単位を縦１００ピクセル及び横１００ピクセルとし、４０９６×２１６０の画像データを４１×２２の領域に分割する。縦１００ピクセル又は横１００ピクセルを満たさない場合、縦又は横が１００ピクセル未満の領域で分割される。また、本実施形態では、分割単位を１００ピクセルとしているが、それ以外のピクセル数を分割単位としてもよい。なお、３０フレームの撮影画像データ間における領域分割方法は同一である。

ステップＳ８６１において、対応関係生成部１０１２は、ステップＳ９６０で分割された領域のうちの何れか一つの領域（以下、分割領域と称す）を選択する。なお、ここで選択される分割領域は、３０フレームの撮影画像データ間において対応する位置の領域である。

ステップＳ８６２において、対応関係生成部１０１２は、各フレームについて、ステップＳ８６１で選択された分割領域の画素値の平均値を算出する。ステップＳ８６３において、対応関係生成部１０１２は、フレーム間における当該分割領域の画素値の平均値を用いて、フレーム間における当該分割領域の画素値の標準偏差を算出する。本実施形態では、フレーム間における色のばらつきの指標として標準偏差を用いるが、分散等の他の統計量を用いてもよい。

ステップＳ８６４において、対応関係生成部１０１２は、ステップＳ８６３で算出した標準偏差が閾値未満であるか否かを判定する。標準偏差が閾値未満である場合、処理はステップＳ８６５に移行する。一方、標準偏差が閾値以上である場合、処理はステップＳ８６７に移行する。

ステップＳ８６５において、対応関係生成部１０１２は、フレーム間における当該分割領域の画素値の平均値を算出し、算出した平均値を色値としてバッファメモリに保存する。ステップＳ８６６において、対応関係生成部１０１２は、当該分割領域に対応する領域のソース信号を用いて、フレーム間におけるソース信号の画素値の平均値を算出し、算出した平均値を色値としてバッファメモリに保存する。

ステップＳ８６７において、対応関係生成部１０１２は、全ての分割領域について色値を算出したか否かを判定する。全ての分割領域について色値が算出された場合、処理は終了する。一方、未だ色値が算出されていない分割領域が存在する場合、処理はステップＳ８６２に戻る。

以上のように、第２の実施形態においては、複数のフレーム分のソース信号と撮影画像データとから対応関係情報を生成している。これにより、ソース信号及び撮影画像データを取得する際に同期が上手く取れない場合や、撮影画像データにノイズが含まれた場合においても、精度よくキャリブレーションを実施することができる。

対応関係生成部における処理において、第１及び第２の実施形態では、領域分割を行って色値を抽出する際に撮影画像データを基準に参照する座標をまず決定したが、ソース信号を基準に参照する座標を決定してもよい。また、第１の実施形態では、フレームの画像データ内の色の情報から、第２の実施形態では、フレーム画像データ間の色の情報からそれぞれ対応関係を生成したが、フレーム画像データ内とフレーム画像データ間の情報を組み合わせて対応関係を生成してもよい。

なお、上述した実施形態では、色値を算出する際に、撮影画像データ上の座標を基準にして色値を算出したが、ソース信号上の座標を基準にして色値を算出するようにしてもよい。また、第１の実施形態では、１フレーム分のソース信号と撮影画像データとから対応関係情報を生成し、第２の実施形態では、複数のフレーム分のソース信号と撮影画像データとから対応関係情報を生成しているが、本発明はこれに限らない。即ち、第１の実施形態の対応関係情報の生成方法と第２の実施形態の対応関係情報の生成方法とを組み合わせてもよい。

また、本発明は、上述した実施形態で説明した構成に制限されず、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、第１の実施形態で説明した情報処理装置１０１及び撮影装置１０２のうちの少なくとも何れか一方に相当する構成を、プロジェクタ装置１１１に内蔵してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：情報処理装置、１０２：撮影装置、１１１：プロジェクタ、１０１１：撮影画像データ取得部、１０１２：対応関係生成部、１０１３：補正パラメータ生成部、１０１４：カラープロファイル保持部、１０１５：出力部、１０１６：ソース信号取得部、１０１７：カラープロファイル更新部

Claims (5)

1. スクリーン上に投影された画像を撮影手段が撮影することにより生成された画像データを取得するとともに、前記画像に対応する投影信号のソース信号を取得する取得手段と、
   前記取得手段により取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する生成手段と、
   前記生成手段により生成された前記対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する更新手段と、
   前記更新手段により更新された前記カラープロファイルに基づいて、ソース信号を投影信号に変換する変換手段とを有することを特徴とする画像処理装置。
2. 前記生成手段は、前記取得手段により取得された１フレーム分の画像データにおける各部分領域内の画素値、及び、前記取得手段により取得された１フレーム分のソース信号における各部分領域内の画素値に基づいて、画像データの色値とソース信号の色値とを算出し、算出した画像データの色値とソース信号の色値とに基づいて前記対応関係情報を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記取得手段により取得された複数のフレーム分の画像データにおける各部分領域内の画素値、及び、前記取得手段により取得された複数のフレーム分の画像データにおける各部分領域内の画素値に基づいて、画像データの色値とソース信号の色値とを算出し、算出した画像データの色値とソース信号の色値とに基づいて前記対応関係情報を生成することを特徴とする請求項１に記載の画像処理装置。
4. 画像処理装置によって実行される画像処理方法であって、
   スクリーン上に投影された画像を撮影手段が撮影することにより生成された画像データを取得するとともに、前記画像に対応する投影信号のソース信号を取得する取得ステップと、
   前記取得ステップにより取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する生成ステップと、
   前記生成ステップにより生成された前記対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する更新ステップと、
   前記更新ステップにより更新された前記カラープロファイルに基づいて、ソース信号を投影信号に変換する変換ステップとを有することを特徴とする画像処理方法。
5. スクリーン上に投影された画像を撮影手段が撮影することにより生成された画像データを取得するとともに、前記画像に対応する投影信号のソース信号を取得する取得ステップと、
   前記取得ステップにより取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する生成ステップと、
   前記生成ステップにより生成された前記対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する更新ステップと、
   前記更新ステップにより更新された前記カラープロファイルに基づいて、ソース信号を投影信号に変換する変換ステップとをコンピュータに実行させるためのプログラム。

Images