JP6428266B2 - 色補正装置、色補正方法および色補正用プログラム - Google Patents

Description

本発明は、画像内の色を補正する色補正装置、色補正方法および色補正用プログラムに関する。

監視カメラなどで小売店などの入り口を撮影する際、外光と建物内の照明灯のように複数の光源から光が入射すると、その光の影響により同じカメラで撮影した画像内であっても位置によって色味が大きく異なるという問題があった。画像の領域ごとに色味が変化すると、監視カメラなどの撮影映像から、人物の特徴の１つである服装などの特定の色を判断したり、人物の同一性などを判断するのが難しくなる。

画像の色味を補正する方法の一つに、自然色、有彩色、原色、グレースケールなど基準とする複数の色が配置されたカラーチャートを用いて色補正を行う方法がある。本方法は、カラーチャートの撮影結果に基づいて、撮影画像に対して色補正パラメタを求めることで、画像の色味を補正することができる。

また、他にも非特許文献１，２に記載されているような輝度伝達関数を用いて色補正を行う方法がある。非特許文献１には、色味が異なるカメラ間でオブジェクトの対応付けを行う輝度伝達関数の例が記載されている。例えば、カメラＡで撮影した映像において、見かけが青色の服装を着ているＡさんは、カメラＢでは色味の変化のため服装の色が水色になることがある。本方法は、青色と水色の服装の画像特徴量を対応付けることで、カメラ間で色味が異なっていても、同一オブジェクトであることがわかるようにする。

また、非特許文献２には、光源の変動を考慮した輝度伝達関数が記載されている。

Omar Javed, Khurram Shafique, Zeeshan Rasheed, Mubarak Shah, "Modeling inter-camera space-time and appearance relationships for tracking across non-overlapping views", Computer Vision and Image Understanding(CVIU), vol 109, Issue 2, 2008, p.146-162. Bryan Prosser, Shaogang Gong, and Tao Xiang, "Multi-camera Matching under Illumination Change Over Time", Workshop on multi-camera and multi-modal Sensor fusion Algorithms and Applications-M2SFA2, 2008

しかし、単にカラーチャートを用いるだけでは、撮影画像全体の色味を補正することはできても、撮影範囲内の位置によって変化する物体の色味の補正には対応できない。また、複数の位置でカラーチャートを撮影することは可能であるが、撮影位置をどの程度の粒度で決めるかなどの判断が難しく、撮影コストが大きくなるという問題があった。また、時間変化による光源の変化についてはカラーチャートでは対応できないという問題があった。

また、非特許文献１に記載されている技術は、色味が異なるカメラ間でオブジェクトの対応付けを行うことを目的としており、１つのカメラで撮影した画像内における位置ごとの光源変化は想定していない。すなわち、非特許文献１には、カメラ内の光源変化を検出するために、１つのカメラで撮影した画像内で同一人物を対応付けることについては記載がない。

また、非特許文献１に記載されている技術は、オブジェクトを撮影するカメラが変わる時が、オブジェクトの色が変化するタイミングとしているため、同一カメラ内での画素上の色変化を検出することはできない。この点は、非特許文献２に記載されている技術も同様である。

そこで、本発明は、光源変化等によって色味が変化する領域ごとにカラーチャートを用意しなくても、画像内において領域ごとに変化する色味を容易に補正できる色補正装置、色補正方法および色補正用プログラムを提供することを目的とする。

本発明による色補正装置は、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、移動物体検出手段により検出された移動物体の動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、位置別色情報取得手段によって取得された移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する位置別色情報記憶手段と、取得した移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する色安定領域推定手段とを備え、色安定領域推定手段は、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定し、色安定領域推定手段による推定結果と、位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する色変換パラメタ算出手段と、色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する色補正手段とを備えることを特徴とする。また、本発明による色補正装置において、色安定領域推定手段は、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定してもよい。

本発明による色補正方法は、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出し、検出された移動物体の動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、取得した移動物体の位置と色との関係を示す情報を記憶手段に記憶させ、取得した移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定し、色安定領域の推定で、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定し、色安定領域の推定結果と、記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出し、算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正することを特徴とする。また、本発明による色補正方法は、色安定領域の推定で、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定してもよい。

本発明による色補正用プログラムは、コンピュータに、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、検出された移動物体の動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する処理、取得した移動物体の位置と色との関係を示す情報を記憶手段に記憶させる処理、および、取得した移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する処理を実行させ、色安定領域を推定する処理で、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定させ、色安定領域の推定結果と、記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する処理、および算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する処理をさらに実行させることを特徴とする。また、本発明による色補正用プログラムは、コンピュータに、色安定領域を推定する処理で、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定させてもよい。

本発明によれば、光源変化等によって色味が変化する領域ごとにカラーチャートを用意しなくても、画像内において領域ごとに変化する色味を容易に補正できる。

第１の実施形態の色補正装置の構成例を示すブロック図である。 第１の実施形態の色補正装置の動作例を示すフローチャートである。 第２の実施形態の色補正装置の構成例を示すブロック図である。 境界領域および色安定領域の例を示す説明図である。 位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。 位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。 位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。 位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。 画像特徴量変化量の集計結果の一例を示す説明図である。 画像特徴量変化量の集計結果の他の例を示す説明図である。 領域間の色変換パラメタの算出方法を説明するための説明図である。 領域間の色変換パラメタの算出方法を説明するための説明図である。 領域別の色補正パラメタの算出方法を説明するための説明図である。 第２の実施形態の色補正装置の動作例を示すフローチャートである。 本発明の概要を示すブロック図である。 本発明の概要を示すブロック図である。

実施形態１．
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１の実施形態の色補正装置の構成例を示すブロック図である。図１に示す色補正装置は、位置別色変化特徴抽出部１と、色安定領域推定部２と、領域別色補正パラメタ算出部３と、色補正部４とを備える。

位置別色変化特徴抽出部１は、撮影範囲の各位置における画像の色変化特徴を抽出する。位置別色変化特徴抽出部１は、例えば、固定カメラで撮影された撮影動画から移動物体が写っている領域（以下、移動物体領域という。）を抽出してトラッキング（追跡処理）し、移動物体領域の位置と色との関係および移動物体領域の位置と色変化との関係を示す情報を抽出してもよい。また、位置別色変化特徴抽出部１は、抽出した情報を記憶手段（図示せず）に保持しておく。移動物体領域の位置と色との関係を示す情報は、例えば、該当する移動物体領域について、撮影範囲内の位置と、該位置での画像内での色を示す情報（例えば、画像特徴量）とを対応づけた情報であってもよい。また、撮影範囲内の位置と色変化との関係を示す情報は、該当する移動物体領域について、撮影範囲内の位置と、該位置での隣接位置との間の画像内での色の変化量を示す情報とを対応づけた情報であってもよい。

位置別色変化特徴抽出部１は、例えば、色を示す情報として、色ヒストグラムを抽出してもよい。また、色の変化量を示す情報として、ヒストグラム間の距離を算出してもよい。ヒストグラム間の距離は、例えば、ヒストグラムインターセクションを利用して算出できる。色の変化量の算出には、方向情報（すなわち、ある位置に対し、移動物体がどの方向から入ってきたかを示す情報）が含まれていることが好ましい。上述のヒストグラムインターセクションは、その位置、方向に対して、ヒストグラムインターセクションの差分を関連づけることができる。

位置別色変化特徴抽出部１は、複数の移動物体についてトラッキングを行い、移動物体領域の撮影範囲内の位置と色との関係、および移動物体領域の撮影範囲内の位置と色変化との関係を示す情報を抽出する。これにより、撮影範囲内の主要な位置について画像の色変化特徴（隣接領域との間でどのような色の変化が起きたかを示す情報）を抽出する。

なお、１つの移動物体についてのトラッキング結果だけでも、その画像フレームに対する色補正は可能であるが、精度向上のためには、多くの移動物体についてのトラッキング結果があるのが好ましい。影や画像上のノイズ、何らかの要因における物体領域の変化に対して１つの移動物体に依存すると、精度が低下するからである。

色安定領域推定部２は、位置別色変化特徴抽出部１が抽出した情報に基づいて、位置ごとの色の特徴変化量（色に関する画像特徴量の変化量）を示す画像特徴量変化モデルを作成し、色安定領域を推定する。ここで、色安定領域とは、撮影範囲において色が安定している領域、すなわち色変化が起きにくい領域をいう。

色安定領域推定部２は、例えば、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成して、色の特徴変化量が大きい領域を境界領域とし、境界領域によって分けられた色の特徴変化量の小さい領域を各々１つの色安定領域と推定してもよい。この場合、境界領域によって分けられた色の特徴変化量の小さい領域の範囲は、同一照明条件下の色安定領域と推定される。

領域別色補正パラメタ算出部３は、色安定領域推定部２によって推定された色安定領域ごとに色補正パラメタを算出する。領域別色補正パラメタ算出部３は、例えば、１つの照明条件下でカラーチャートなどのレファレンス色が撮影されている場合には、そのリファレンス色の撮影結果に基づいて、当該領域（レファレンス色を有する物体が位置する色安定領域）に対する色補正パラメタを算出してもよい。１つの色安定領域で色補正パラメタが算出されれば、位置別色変化特徴抽出部１によって抽出された撮影範囲内の位置と色の関係を示す情報に基づいて、他の色安定領域についての色補正パラメタも算出できる。

また、領域別色補正パラメタ算出部３は、レファレンス色が撮影された画像が入力されない場合には、補正対象画像内の１つの色安定領域内の色味を基準にして、他の色安定領域内の色味がその基準とする色味に近づくように、各色安定領域での色補正パラメタを算出してもよい。

色補正部４は、領域別色補正パラメタ算出部３によって算出された色安定領域ごとの色補正パラメタに基づいて、対象画像の色を補正する。色補正部４は、色安定領域ごとに算出される色補正パラメタを用いて、色安定領域別に対象画像内の色を補正すればよい。

本実施形態において、位置別色変化特徴抽出部１、色安定領域推定部２、領域別色補正パラメタ算出部３および色補正部４は、例えば、ＣＰＵ等のプログラムに従って動作する情報処理装置によって実現される。また、図示省略しているが、位置別色変化特徴抽出部１が抽出した各位置における画像の色変化特徴や、色安定領域推定部２が推定した色安定領域に関する情報や、領域別色補正パラメタ算出部３が算出した色安定領域ごとの色補正パラメタや、補正対象画像の情報や、補正後の画像の情報等を必要に応じて記憶する記憶装置を備えていてもよい。

次に、図２を参照して本実施形態の動作を説明する。図２は、本実施形態の動作例を示すフローチャートである。撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像が入力されると、図２に示すように、まず位置別色変化特徴抽出部１が、各位置における画像の色変化特徴を抽出する（ステップＳ１）。

次いで、色安定領域推定部２は、位置別色変化特徴抽出部１による抽出結果に基づいて、補正対象画像または入力動画像の撮影範囲における色安定領域を推定する（ステップＳ２）。色安定領域推定部２は、例えば、位置別色変化特徴抽出部１によって抽出された撮影範囲内の位置と色変化との関係を示す情報に基づいて、補正対象画像の撮影範囲の位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成して、作成した画像特徴量変化モデルによって示される位置ごとの色の特徴変化量の大きさに基づいて、色安定領域を推定する。なお、補正対象画像の撮影範囲と入力動画像の撮影範囲は同じであるか対応関係が既知であることを前提としているので、いずれか一方の撮影範囲において色安定領域を求めれば、他方の撮影範囲における色安定領域も必然的に求まる。

次いで、領域別色補正パラメタ算出部３は、色安定領域ごとに色補正パラメタを算出する（ステップＳ３）。領域別色補正パラメタ算出部３は、例えば、色安定領域推定部２によって推定された色安定領域の情報と、位置別色変化特徴抽出部１によって抽出された撮影範囲内の位置と色の関係を示す情報とに基づいて、色安定領域ごとに色補正パラメタを算出する。

領域別色補正パラメタ算出部３によって領域別の色補正パラメタが算出されると、色補正部４は、領域別色補正パラメタ算出部３によって算出された色補正パラメタに基づいて、補正対象画像の色を補正する（ステップＳ４）。なお、境界領域については、位置別の色情報を基に補正することは可能であるが、本実施形態では、少なくとも色安定領域ごとに色補正パラメタを用意し、その色補正パラメタを用いて色安定領域別に色補正を行えばよいものとする。

以上のように、本実施形態によれば、移動物体の位置ごとの色の変化を把握し、その位置ごとの色の変化の様子を基に色安定領域を推定するとともに、それらの位置ごとの色に基づいて、色安定領域ごとに色補正パラメタを算出するので、監視カメラなどの固定カメラの撮影範囲に複数の種類の光源から光が入射する場合など、光の影響によって１つの画像内において領域ごとに色味が変化する場合であっても、そのような領域ごとに変化する色味を容易に補正できる。

従来技術では、カメラ間での人物の対応付けは一部の領域で行われていたが、色安定領域の抽出および色安定領域ごとの色の変化の様子を得るために、カメラの撮影範囲内で移動物体をトラッキングし、その物体の色と位置情報とを関連づけることは行われていない。これに対して、例えば、本実施形態では、カメラの撮影範囲内での移動物体を画像特徴量などを用いてトラッキングし、その物体の色と位置情報とを関連づけた情報を取得して、それを基に領域間の色の変化の有無（またはその程度）を推定する。そして、推定した領域間の色の変化の有無から色安定領域と推定する。その上で、推定された色安定領域ごとに移動物体の色の変化の様子から色補正パラメタを算出する。このように、移動物体の移動に伴う色変化の特徴（色変化の有無やその様子）を利用して、色安定領域の推定と色安定領域ごとの色補正パラメタを算出するので、画像内において領域ごとに変化する色味を容易に補正できる。すなわち、複数箇所にカラーチャートを配置しなくても、撮影領域の位置ごとに同一物体の色味が変化しないように画像内の色を補正したり、画像内の色味が本来の色に近い色味になるように画像内の色を補正できる。

また、本実施形態の位置別色変化特徴抽出部１および色安定領域推定部２が、位置別および時間別に画像の色変化特徴を抽出して、抽出結果に基づいて位置ごとおよび時間ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、時間別の色安定領域を推定してもよい。そのようにすれば、カメラの切り替え時といった明示の変化のタイミングがなくても、随時色変化を伴う領域を検出できるので、時間変化による光源の変化にも対応可能である。

実施形態２．
図３は、本発明の第２の実施形態の色補正装置の構成例を示すブロック図である。本実施形態の色補正装置は、図１で示した第１の実施形態の色補正装置のより具体的な構成の一例である。図３に示す色補正装置は、移動物体領域抽出部２１と、移動物体同定部２２と、位置別画像特徴量保持部２３と、境界情報算出部２４と、領域間色変換パラメタ算出部２５と、特定位置色補正パラメタ算出部２６と、領域別色補正パラメタ算出部２７と、色補正部２８とを備える。

本実施形態では、固定カメラで撮影された動画像を入力画像とする。また、補正対象画像は、同じ固定カメラで撮影された画像とする。なお、入力画像に含まれる１または複数のフレームであってもよい。なお、入力画像は、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像であれば、固定カメラで撮影された動画像でなくてもよい。また、入力画像は、撮影範囲と現実の位置との関係が既知であれば、複数の固定カメラで撮影された複数種類の動画像であってもよい。

移動物体領域抽出部２１は、動画像が入力されると、入力された動画像から移動物体を抽出する。移動物体領域抽出部２１は、より具体的には、入力画像内から移動物体が位置する領域（以下、物体領域という。）を抽出する。物体領域の抽出は、画像間の画素変化を見つけることによって行ってもよい。例えば、背景差分や、フレーム間差分を算出し、差分のあった画素領域を物体領域として検出してもよい。

また、移動物体領域抽出部２１は、物体領域の抽出の際に、学習によって生成される識別器（識別モデル）やテンプレートマッチングを用いた物体検出処理を行ってもよい。例えば、差分があったとして抽出した領域に写っているものが移動物体であるか否かの判定を行うため、一般的な移動物体の画像の特徴量を学習した識別器を生成し、生成した識別器に抽出した領域の画像情報を入力して、物体判定処理を行ってもよい。識別器には、サポートベクターマシン（ＳＶＭ）やアダブースト（ＡｄａＢｏｏｓｔ）などを利用できる。

また、移動物体領域抽出部２１は、後段で行われる同定処理および位置別の画像特徴量の算出処理のために、抽出した物体領域から色を表現する画像特徴量やトラッキングのための画像特徴量を抽出する。

色を表現する画像特徴量としては、具体的には、ＲＧＢ、ＨＳＶ、Ｌ＊ａ＊ｂ、Ｌ＊ｕ＊ｖなどの色空間における色ヒストグラムが挙げられる。また、トラッキングのための画像特徴量としては、利用するアルゴリズムによるが、前述した色を表現する画像特徴量の他、エッジ特徴量、局所的な領域を示す特徴量（Ｈａａｒ−ｌｉｋｅ、ＨＯＧ、ＳＩＦＴ、ＳＵＲＦ等）が挙げられる。なお、色を表現する画像特徴量およびトラッキングのための画像特徴量は、上述の例に限定されない。

また、移動物体領域抽出部２１は、物体識別等を行った場合、物体の特定位置の画像特徴量のみを抽出してもよい。例えば、人物識別を行った場合には、上半身の画像特徴量のみを抽出してもよい。

移動物体同定部２２は、移動物体領域抽出部２１によって抽出された物体領域の画像特徴量に基づいて、入力動画内において該移動物体をトラッキングする。移動物体同定部２２は、より具体的には、入力された動画内の各フレーム間で移動物体領域抽出部２１によって抽出された物体領域の同定処理を行う。移動物体同定部２２は、例えば、追跡を行って位置が変化する移動体の同一性を判定し、各フレームから抽出された移動体について同一であればその旨を示すＩＤを付与してもよい。また、移動物体同定部２２は、パン・チルド・ズーム（ＰＴＺ）カメラによって人物を追跡する場合などには、ＰＴＺによる画角変化や倍率変化を併せて記録してもよい。

物体の追跡方法には、例えば、画像差分等から変動した領域や、パターンマッチング、ＳＶＭやＡｄａＢｏｏｓｔなどの物体識別器で抽出した物体に対して、その物体の移動を、物体の色やエッジなどの画像特徴量で推定するトラッキング技術を利用できる。具体的には、ｍｅａｎ−ｓｈｉｆｔトラッキングや、パーティクルフィルタ、ＫＬＴ法、カルマンフィルタなどが利用できる。

このような同定処理により、各フレーム内における移動物体の位置を特定する。固定カメラで撮影された動画データの各フレーム内における移動物体の位置が特定されることによって、撮影領域における移動物体の移動経路や移動ごとの位置等の位置情報が特定される。フレーム画像内の位置から、撮影領域内の位置（現実の位置）への変換は、予め登録されている変換式またはカメラパラメータから算出される変換式を用いればよい。

位置別画像特徴量保持部２３は、物***置と色を示す画像特徴量とを結びつけて保持する。物***置は、例えば、移動物体領域抽出部２１によって抽出された物体領域の下端部分を設定してもよい。また、例えば識別器によって人物と判定している場合には、人物の足元位置を設定してもよい。また、ＰＴＺカメラを利用する場合には、物***置と色を示す画像特徴量とともに、変化する撮影範囲の位置関係を登録する。なお、実世界の撮影範囲を３次元として捉え、３次元領域における位置情報を設定したり、単純に画像上の位置情報（画素位置等）を設定することも可能である。

例えば、パンで１５度変化する場合、その変化前後での同一位置を把握する必要がある。移動物体同定部２２は、同定処理で画角変化や倍率変化を抽出している場合には、その情報に基づいて同一位置を抽出して、位置別画像特徴量保持部２３に登録してもよい。また、画像特徴量を利用して物体の同一位置を抽出することも可能である。この場合、ＳＵＲＦ（Speeded Up Robust Features）やＳＩＦＴ（Scale Invariant feature transform ）特徴量やテンプレートマッチングなどを利用して同一位置の判定を行ってもよい。

境界情報算出部２４は、位置別画像特徴量保持部２３に保持されている物***置と色を示す画像特徴量とを対応づけた情報に基づいて、撮影領域内（実空間）での色変化が起きる位置（境界領域）を算出して、色安定領域を推定する。

境界情報算出部２４は、例えば、位置別画像特徴量保持部２３に保持されている物***置と色を示す画像特徴量とを対応づけた情報に基づいて、撮影領域内を複数の部分領域に分割した各部分領域に対して、当該部分領域における隣接領域との間の画像特徴量の変化量（代表値）を示す画像特徴量変化モデルを生成してもよい。そして、生成した画像特徴量変換モデルを用いて、各部分領域が隣接領域に対して色変化が大きい領域を含んでいるか否か、または、各部分領域と隣接領域との境界が色変化が大きい領域であるか否かをしきい値処理などで判定して、色変化が大きい領域と判定された場合に、その領域が該当する実空間の撮影領域は色味が安定しない境界領域に属するものと判定してもよい。そのようにして得られた境界領域によって区切られた、色変化の小さい領域の範囲を同一照明条件下での色安定領域であると推定してもよい。なお、境界領域によって区切られた色変化の小さい領域の範囲として、例えば、境界領域によって分断されることなく、連続する領域として所定サイズ以上を確保した、画像特徴量の変化量の小さい領域群を抽出してもよい。

なお、各部分領域と隣接領域との境界に対して色変化が大きい領域か否かを判定する場合には、隣接領域との間の変化量の集計結果にどの隣接領域との間の変化量かを示す方向を持たせ、その方向が示す隣接領域との境界に相当する実空間の撮影領域内の位置を、色変化が起きる位置として抽出してもよい。そして、抽出された色変化が起きる位置を境界位置として、そのような境界位置によって区切られた、色変化が起きない領域の範囲を同一照明条件下での色安定領域であると推定してもよい。なお、境界位置が連続しない場合は、境界位置が連続するように補間処理などを行ってもよい。

図４は、境界領域および色安定領域の例を示す説明図である。図４に示す例では、固定カメラ３０１の撮影範囲３００内において、２つの異なる照明３０３，３０４による照射がなされ、かつ照明３０３の照射範囲３０５と、照明３０４の照射範囲３０６とが一部重なっている。すなわち、撮影範囲３００内には、照射範囲３０５に含まれる領域と、照射範囲３０６に含まれる領域と、照射範囲３０５および照射範囲３０６に含まれる領域とが存在している。図４に示す例では、このような状況下において、人物３０７等のトラッキングを行った結果、２つの境界領域に分けられた３つの色安定領域が推定されたことが示されている。具体的には、照明条件Ａ下での色安定領域と照明条件Ｂ下での色安定領域と照明条件Ｃ下での色安定領域の３つの色安定領域が検出された例が示されている。ここで、照明条件Ａ下での色安定領域は、照明３０４のみが照射する領域に相当する。また、照明条件Ｂ下での色安定領域は、照明３０３と照明３０４とが照射する領域に相当する。また、照明条件Ｃ下での色安定領域は、照明３０３のみが照射する領域に相当する。

以下、より具体的な方法を説明する。まず、境界情報算出部２４は、画像特徴量の変化量として、トラッキング結果に基づいて、時系列順に連続して抽出した移動物体の色の画像特徴量における差分（例えば、ヒストグラム間の距離等）を画像特徴量変化量として算出する。例えば、境界情報算出部２４は、時刻ｔにおける移動物体の色の画像特徴量と、時刻ｔ＋１における移動物体の色の画像特徴量の差分を算出する。この際、位置情報と移動方向情報とを同時に保持しておく。

そして、境界情報算出部２４は、位置ごとに算出した画像特徴量変化量を集計し、各位置に代表される画像特徴量変化量を算出する。集計処理では、物体が移動可能な領域（例えば、底面）を仮想的に分割して部分領域とし、隣接する部分領域間で画像特徴量変化量を算出、集計してもよい。領域を分割する方法は特に限定されないが、矩形の部分領域に分割してもよい。

また、境界情報算出部２４は、部分領域を設定する代わりに、仮想の測定基準点を複数設定してもよい。そのような場合には、境界情報算出部２４は、各測定基準点に一番近い位置情報との関連付けを行い、隣接する測定基準点間の画像特徴量変化量を算出、集計してもよい。

境界情報算出部２４は、例えば、算出した画像特徴量変化量を、算出に用いた隣接する部分領域または測定基準点の各々に、比較先の情報とともに対応づけて記憶してもよい。複数の物体について物体の移動ごとに画像特徴量変化量を算出し、それらを集計して、モデル化することで、各位置での画像特徴量の変化量の代表値を得る。

画像特徴量変化量の代表値を算出するモデルは、例えば、集計された位置ごとの画像特徴量変化量の平均や分散値を算出するモデルであってもよい。その際、集計数は各領域・点によって異なるため、変化量の正規化を行ってもよい。また、算出される代表値が、実際の光源変化の様子とより合致するように、所定のルールに従って影やノイズと思われる値の除去や、境界領域が連続するように補間処理などを行ってもよい。

図５〜図８は、位置ごとの画像特徴量変化量の集計方法を説明するための説明図である。図５は、カメラ視点映像の例を示す説明図である。図５において、４０１はフレーム範囲を示している。なお、４０２は壁、４０３は床面を示している。図５に示す例では、フレーム範囲４０１のカメラ視点映像において、人物４０４が時刻ｔから時刻ｔ＋１の間に図示した方向（人物４０４から見て前方斜め左方向）に移動した様子が写っていることを示している。

また、図６は、図５に示したフレーム範囲に含まれる被写体の実世界の位置関係を示す上面図である。図６では、カメラ４０５の撮影範囲を破線４０６で示している。なお、一点鎖線４０６’は、撮影範囲に含まれる床面領域を示している。

また、図７は、撮影範囲の床面領域４０６’を矩形の部分領域に分割する例を示す説明図である。境界情報算出部２４は、例えば、図７に示すように、撮影範囲の床面領域４０６’を複数の部分領域５０１に分割して、隣接する部分領域間（網掛け表示参照。）の画像特徴量の変化量を順次算出していき、それらを集計してもよい。なお、部分領域は矩形でなくてもよい。

また、図８は、撮影範囲の床面領域４０６’に複数の測定基準点を設ける例を示す説明図である。境界情報算出部２４は、例えば、図８に示すように、撮影範囲の床面領域４０６’に複数の測定基準点６０１を設けて、各測定基準点６０１に一番近い位置情報と関連付けを行い、隣接する測定基準点６０１間の画像特徴量の変化量を順次算出していき、それらを集計してもよい。また、任意に定めた測定基準点ごとに変化量を求める場合、内挿補間によって測定基準点間の変化量を算出してもよい。

境界情報算出部２４は、このようにして求めた各位置ごとの画像特徴量変化量の代表値に基づき、領域分類を行う。境界情報算出部２４は、例えば、求めた各位置ごとに画像特徴量変化量の代表値に対して閾値処理を行い、変化量が小さいと判断されたひとつづきの領域を１つの色安定領域としてもよい。また、例えば、閾値処理を行い、変化量が大きい領域の境目を境界領域として、境界領域で区切られる一定サイズ以上の領域を色安定領域としてもよい。

図９は、画像特徴量変化量の集計結果の一例を示す説明図である。図９に示す例では、部分領域ごとの画像特徴量変化量の代表値に基づき領域を分類した結果、画像特徴量変化量が所定の値以下となった隣接領域については同じ網掛けで示している。また、図９に示す例では、画像特徴量変化量が所定の値以上となった隣接領域との境界を、境界位置として実線で示している。すなわち、図９では、実線で囲まれた領域が１つの色安定領域に相当している。なお、図９に示す例では、撮影領域の範囲の関係で網掛けがされていない領域が各々１つの色安定領域とみなされた結果、計１０個の色安定領域が検出される。

また、図１０は、画像特徴量変化量の集計結果の他の例を示す説明図である。図１０は、等間隔に並べた測定基準点ごとに求めた画像特徴量の変化量の集計結果の一例を示す説明図である。なお、図１０に示す例では、測定基準点ごとに求めた画像特徴量変化量に基づき、内挿補間を行った後に領域を分類した結果、画像特徴量変化量が所定の値以上となった隣接領域との境界を、境界位置として実線で示し、その境界位置で区切られた領域を１つの色味安定領域として示している。すなわち、図１０に示す例では、実線で囲まれた領域が１つの色安定領域に相当している。なお、図１０に示す例では、撮影領域の範囲の関係で網掛けがされていない領域が各々１つの色安定領域とみなされた結果、計６個の色安定領域が検出される。

領域間色変換パラメタ算出部２５は、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する。色変換パラメタは、画像内の色を変換するためのパラメタであって、本実施形態においては、対象とする領域間の照明条件の違いを吸収し、画像内において同一物体の色を該領域間で同じ色味で表現するためのパラメタである。色変換パラメタは、一方の領域の色味を基準として他方の領域の色味を補正するという点で、色補正パラメタの一種であるといえる。

領域間色変換パラメタ算出部２５は、位置別画像特徴量保持部２３に保持されている位置別の画像特徴量に基づいて、色安定領域間の色変換パラメタを算出する。複数の画像特徴量を用いて変換パラメタを算出する場合には、領域間色変換パラメタ算出部２５は、色安定領域内で誤差が最小となるように計算してもよい。色変換パラメタの算出には、最小二乗法や、ロバスト推定、ＲＡＮＳＡＣ等を利用できる。

領域間色変換パラメタ算出部２５は、例えば、図１１において矢印で示すように、色安定領域６０２−６０４間の色変換パラメタを算出する場合、２つの色安定領域６０２および色安定領域６０４にて複数の物体の画像特徴量を収集し、収集した画像特徴量に基づいて、色安定領域６０２内の画像特徴量を色安定領域６０４内の画像特徴量に変換するための変換式、および色安定領域６０４内の画像特徴量を色安定領域６０２内の画像特徴量に変換するための変換式を算出すればよい。なお、一方の変換式から他方の変換式が求まる場合には、いずれか一方の変換式のみを求めればよい。図１１は、領域間の色変換パラメタの算出方法を説明するための説明図である。

色補正部２８は、領域間色変換パラメタ算出部２５が算出した領域別の色変換パラメタまたは後述する領域別色補正パラメタ算出部２７が算出した領域別の色補正パラメタを用いて、色安定領域間で同一物体の色味が変化しないように、または色安定領域内の色味がレファレンス色に近い色味になるように、画像内の色を領域別に補正する。

例えば、特定の物体の色味が移動先の領域で変化しないようにしたい場合には、色補正部２８が、物体の移動経路に沿って、色安定領域ごとに、領域間色変換パラメタ算出部２５が求めた各色安定領域間の色変換パラメタを用いて物体の色を変換すればよい。例えば、図１２に示すような特定の色安定領域において人物４０４の色を把握する目的で、領域間の色の変化をなくしたいという要望があったとする。このような場合には、人物４０４の移動経路に沿って、移動元の色安定領域と移動先の色安定領域間の色変換を順に行えばよい。図１２の例では、色安定領域６０５−６０４間と、色安定領域６０４−６０２間とで計２回の色変換を行えばよい。図１２は、色安定領域間の色変換パラメタの算出方法を説明するための説明図である。

また、色補正部２８は、例えば、後述する特定位置色補正パラメタ算出部２６および領域別色補正パラメタ算出部２７によって、基準光源下での色味へ補正するための色補正パラメタが算出されている場合には、算出されている領域別色補正パラメタを用いて色変換を行ってもよい。これにより、画像内の各色安定領域の色味を基準光源下での色味に変換することができる。

特定位置色補正パラメタ算出部２６は、基準とされる照明条件下（例えば、太陽光下）での発色状態（例えば、画像特徴量）が把握されている色（以下、レファレンス色という。）を有する物体が色安定領域に配置されている画像が入力されると、当該色安定領域での当該物体のレファレンス色の発色状態と、基準とされる照明条件下での発色状態とを比較して、当該色安定領域での発色状態を基準とされる照明条件下での発色状態に近づけるための当該色安定領域における色補正パラメタを算出する。なお、ここでの入力画像は、撮影範囲が移動物体を検出した動画像の撮影範囲と同じまたは一部重複している画像であればよい。

例えば、レファレンス色を有する物体Ｂが色安定領域Ａに配置された画像が入力されると、特定位置色補正パラメタ算出部２６は、画像内における色安定領域Ａにおける物体Ｂの発色状態を把握するために、入力画像から色安定領域Ａ内の物体Ｂの色（画像特徴量）を算出する。物体Ｂの色に関して、基準とされる照明条件下での画像特徴量と算出された色安定領域Ａ内での画像特徴量との間の変化量を求めることにより、色安定領域Ａでの色補正パラメタを算出できる。ここでいう物体Ｂは、カラーチャートであってもよい。

領域別色補正パラメタ算出部２７は、領域間色変換パラメタ算出部２５によって算出された領域間色変換パラメタと、特定位置色補正パラメタ算出部２６によって算出された特定位置の色補正パラメタとに基づいて、色安定領域ごとに、当該色安定領域内の発色状態を基準とされる照明条件下での発色状態に変換するための色補正パラメタを算出する。例えば、図１３に矢印で示すように、色安定領域６０３においてレファレンス色の発色状態の把握を行った場合には、当該色安定領域６０３と隣接する色安定領域６０４との間の色補正パラメタを、レファレンス色の発色状態の把握により算出された色安定領域６０３の色補正パラメタと、当該領域間の色変換パラメタすなわち色安定領域６０３−６０４間の色変換パラメタとに基づいて算出すればよい。同様に、色補正パラメタが算出された色安定領域６０４と隣接する色安定領域６０２との間の色補正パラメタを、算出した色安定領域６０４の色補正パラメタと、当該領域間の色変換パラメタすなわち６０４−６０２間の色変換パラメタとに基づいて算出すればよい。同様に、色補正パラメタが算出された色安定領域６０４と隣接する色安定領域６０５との間の色補正パラメタを、算出した色安定領域６０４の色補正パラメタと、当該領域間の色変換パラメタすなわち６０４−６０５間の色変換パラメタとに基づいて算出すればよい。同様に、色補正パラメタが算出された色安定領域６０５と隣接する色安定領域６０６との間の色補正パラメタを、算出した色安定領域６０５の色補正パラメタと、当該領域間の色変換パラメタすなわち６０５−６０６間の色変換パラメタとに基づいて算出すればよい。同様に、色補正パラメタが算出された色安定領域６０５と隣接する色安定領域６０７との間の色補正パラメタを、算出した色安定領域６０５の色補正パラメタと、当該領域間の色変換パラメタすなわち６０５−６０７間の色変換パラメタとに基づいて算出すればよい。このようにして、物体色の把握により算出された色安定領域から隣接する色安定領域へと順次色変換パラメタを算出すれば、各色安定領域の色補正パラメタを得られる。各色安定領域の色補正パラメタの算出方法は、色変換パラメタの算出方法と同様でよい。

本実施形態において、移動物体領域抽出部２１、移動物体同定部２２、境界情報算出部２４、領域間色変換パラメタ算出部２５、特定位置色補正パラメタ算出部２６、領域別色補正パラメタ算出部２７および色補正部２８は、例えば、ＣＰＵ等のプログラムに従って動作する情報処理装置によって実現される。また、位置別画像特徴量保持部２３は、記憶装置によって実現される。

なお、色補正装置は、図９や図１０に示すように、色安定領域毎の境界が判断可能な態様で色安定領域を表示装置に表示させる表示制御部（図示せず）を備えていてもよい。表示制御部が表示装置に図１０のように表示させた場合、色安定領域６０５と色安定領域６０４（図１２参照）とに対するクリック等のユーザの入力を受け付け、ユーザの入力があった色安定領域間で色補正の処理が実行されるようにしてもよい。

次に、本実施形態の動作について説明する。図１４は、本実施形態の動作例を示すフローチャートである。図１４に示す例では、まず、カメラのセッティングに併せて撮影領域の設定を行う（ステップＳ２１）。ここで、カメラパラメータを入力してもよい。

次いで、背景差分を検出するための初期化処理を行う（ステップＳ２２）。本処理は、トラッキング処理において背景差分を検出できるように、背景のみを撮影した動画をその旨とともに入力する。

そのような初期化処理が終了すると、補正対象画像と同じ固定カメラで撮影された動画像を入力し、移動物体の抽出処理を行う（ステップＳ２３）。ステップＳ２３では、移動物体領域抽出部２１が、入力された動画像から物体領域を抽出する。物体領域の抽出は、フレームごとに行ってもよいし、動画内における一定時間毎におこなってもよい。

物体領域を抽出すると、移動物体領域抽出部２１は、抽出した物体領域から色を表示する画像特徴量と、必要に応じてエッジ特徴量を抽出する（ステップＳ２４）。ここで抽出された画像特徴量は、撮影フレーム内における物体領域の位置を特定する情報とともに、ステップＳ２６で位置別画像特徴量保持部２３に保持される。

物体領域が抽出されると、移動物体同定部２２が、ステップＳ２４で抽出された当該物体領域の画像特徴量に基づいて、入力動画内において該移動物体をトラッキングする（ステップＳ２５）。移動物体同定部２２は、同定処理によって、位置が変化する移動体の同一性が判明したものに対して、各フレームから抽出された移動体に同一であることを示すＩＤを付与し、付与したＩＤ（移動体識別子）と、撮影フレーム内における物体領域の位置を特定する情報と、当該位置での画像特徴量と、撮影時刻または動画内における時間を示す情報とを対応づけて、位置別画像特徴量保持部２３に保持する（ステップＳ２６）。なお、撮影フレーム内における物体領域の位置を特定する情報の代わりに、または撮影フレーム内における物体領域の位置を特定する情報とともに、撮影領域における移動体の位置を特定する情報を保持してもよい。

ステップＳ２３〜ステップＳ２６までの処理を、複数の移動物体について行う。

複数の移動物体について、位置別画像特徴量保持部２３に情報が保持されると、境界情報算出部２４が、色安定領域を抽出する（ステップＳ２７）。境界情報算出部２４は、例えば、位置別画像特徴量保持部２３に保持されている物***置と色を示す画像特徴量とを対応づけた情報に基づいて、撮影領域内での色変化が起きる境界領域を算出して、色安定領域を推定してもよい。

色安定領域の推定処理が完了すると、領域間色変換パラメタ算出部２５が、位置別画像特徴量保持部２３に保持されている位置別の画像特徴量に基づいて、色安定領域間の色変換パラメタを算出する（ステップＳ２８）。

色安定領域間の色変換パラメタが算出されると、色補正部２８が、算出された色安定領域間の色変換パラメタに基づいて、画像内の色を領域別に補正する（ステップＳ２９）。このとき、レファレンス色を含むカラーチャート画像が入力されている場合には、色補正部２８は、特定位置色補正パラメタ算出部２６および領域別色補正パラメタ算出部２７に入力されたカラーチャート画像と算出された色安定領域間の色変換パラメタとを用いて、色安定領域別に色補正パラメタを算出させ、算出された色安定領域別の色補正パラメタに基づいて、画像内の色を領域別に補正してもよい。

カラーチャート画像は、例えば、背景差分をとるための初期撮影で撮影されたものであってもよい。すなわち、背景と一緒にレファレンス色を含むカラーチャートを撮影したものを最初に初期画像として入力してもよい。

以上のように、本実施形態によれば、移動物体の位置ごとの色の変化を把握し、その位置ごとの変化の様子を基に色安定領域を推定するとともに、それらの位置ごとの色に基づいて、色安定領域間の色変換パラメタを算出するので、算出した色安定領域間の色変換パラメタを基に領域別に色補正を行えば、監視カメラなどの固定カメラの撮影範囲に複数の種類の光源から光が入射する場合であっても、その光の影響によって１つの画像内において変化する色味を容易に補正できる。

また、本実施形態でも、移動物体領域抽出部２１が位置別および時間別に画像の色変化特徴を抽出して、境界情報算出部２４が移動物体領域抽出部２１による抽出結果に基づいて位置ごとおよび時間ごとの色安定領域を推定することによって、時間変化による光源の変化にも対応することが可能である。

次に、本発明の概要について説明する。図１５および図１６は、本発明の概要を示すブロック図である。図１５に示すように、本発明による色補正装置は、移動物体検出手段１０１と、位置別色情報取得手段１０２と、位置別色情報記憶手段１０３と、色安定領域推定手段１０４と、色変換パラメタ算出手段１０５と、色補正手段１０６とを備えている。

移動物体検出手段１０１（例えば、位置別色変化特徴抽出部１や移動物体領域抽出部２１）は、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出する。

位置別色情報取得手段１０２（例えば、位置別色変化特徴抽出部１や移動物体同定部２２）は、移動物体検出手段１０１により検出された移動物体の動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する。

位置別色情報記憶手段１０３（例えば、位置別画像特徴量保持部２３）は、位置別色情報取得手段１０２によって取得された移動体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する。

色安定領域推定手段１０４（例えば、色安定領域推定部２や境界情報算出部２４）は、位置別色情報記憶手段１０３に記憶されている移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけた情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する。

色変換パラメタ算出手段１０５（例えば、領域別色補正パラメタ算出部３や領域間色変換パラメタ算出部２５）は、色安定領域推定手段１０４による推定結果と、位置別色情報記憶手段１０３に記憶されている移動物体の位置と色との関係を示す情報に基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する。色変換パラメタ算出手段１０５は、例えば、色安定領域推定手段１０４による推定結果を基に、位置別色情報記憶手段１０３から各色安定領域における移動物体の色を示す情報を参照して、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する。

色補正手段１０６（例えば、色補正部４や色補正部２８）は、色変換パラメタ算出手段１０５によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する。

このような構成により、１つのカメラで撮影された画像内において変化する色味を容易に補正できる。例えば、領域ごとに同一物体の色味が変化しないようにする補正も容易にできる。また、例えば、一部の領域の色味に他の領域の色味を合わせるといった補正も容易に可能である。

また、本発明による色補正装置は、図１６に示すような構成であってもよい。図１６に示す色補正装置は、図１５に示す構成に加えて、特定領域色補正パラメタ算出手段１０７と、色補正パラメタ算出手段１０８とを備えている。

特定領域色補正パラメタ算出手段１０７（例えば、特定位置色補正パラメタ算出部２６）は、撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも１つの色安定領域に対して、当該領域での発色状態を、基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する。

色補正パラメタ算出手段１０８（例えば、領域別色補正パラメタ算出部２７）は、特定領域色補正パラメタ算出手段１０７によって算出された１つの色安定領域に対する色補正パラメタと、色変換パラメタ算出手段１０５によって算出された色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する。

このような構成の場合、色補正手段１０６は、色補正パラメタ算出手段１０８によって算出された色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を色安定領域別に補正してもよい。

このような構成によれば、１つのカメラで撮影された画像内において変化する色味を、各々、基準とされる照明条件下での色味に補正できる。

また、色安定領域推定手段１０４は、位置別色情報記憶手段１０３に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定してもよい。

また、色安定領域推定手段１０４は、位置別色情報記憶手段１０３に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定してもよい。

また、位置別色情報取得手段１０２は、移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得してもよい。

また、位置別色情報取得手段１０２は、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とその時の時刻とを取得し、色安定領域推定手段１０４は、位置別色情報取得手段１０２によって取得され位置別色情報記憶手段１０３に記憶された移動物体の位置と色との関係を示す情報に基づいて、時間別の色安定領域を推定してもよい。また、時間別の色安定領域の推定は、現実の時間の経過に伴って、然るべき時間に自動的に行われてもよい。例えば、色補正装置は、正午、１５時、１７時およびそれ以降は深夜まで１時間毎に自動的に色安定領域の推定を行い、色補正処理を実行するようにしてもよい。このように構成することにより、本発明の色補正装置は、屋外の天候や時間帯による画像上の色変化に対し自動的に補正を行うことが可能となる。

また、位置別色情報取得手段１０２は、移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得してもよい。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、前記移動物体検出手段により検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、前記位置別色情報取得手段によって取得された移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する位置別色情報記憶手段と、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する色安定領域推定手段と、前記色安定領域推定手段による推定結果と、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する色変換パラメタ算出手段と、前記色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する色補正手段とを備えたことを特徴とする色補正装置。

（付記２）撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも１つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する特定領域色補正パラメタ算出手段と、前記特定領域色補正パラメタ算出手段によって算出された１つの色安定領域に対する色補正パラメタと、色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する色補正パラメタ算出手段とを備え、色補正手段は、前記色補正パラメタ算出手段によって算出された色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正する付記１に記載の色補正装置。

（付記３）前記色安定領域推定手段は、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定する付記１または付記２に記載の色補正装置。

（付記４）前記色安定領域推定手段は、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定する付記１または付記２に記載の色補正装置。

（付記５）前記位置別色情報取得手段は、移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得する付記１から付記４のうちのいずれかに記載の色補正装置。

（付記６）前記位置別色情報取得手段は、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とその時の時刻とを取得し、色安定領域推定手段は、位置別色情報取得手段によって取得された移動物体についての位置と色と時刻との関係を示す情報に基づいて、時間別の色安定領域を推定する付記１から付記５のうちのいずれかに記載の色補正装置。

（付記７）前記位置別色情報取得手段は、移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得する付記１から付記６のうちのいずれかに記載の色補正装置。

（付記８）撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出し、検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、対応づけて記憶手段に記憶させ、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定し、前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出し、算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正することを特徴とする色補正方法。

（付記９）撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも１つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出し、算出された前記少なくとも１つの色安定領域に対する色補正パラメタと、色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出し、算出された前記色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正する付記８に記載の色補正方法。

（付記１０）前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定する付記８または付記９に記載の色補正方法。

（付記１１）前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定する付記８または付記９に記載の色補正方法。

（付記１２）移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得する付記８から付記１１のうちのいずれかに記載の色補正方法。

（付記１３）移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報と併せてその時の時刻とを取得し、取得された移動物体についての位置と色と時刻との関係を示す情報に基づいて、時間別の色安定領域を推定する付記８から付記１２のうちのいずれかに記載の色補正方法。

（付記１４）移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得する付記８から付記１３のうちのいずれかに記載の色補正方法。

（付記１５）コンピュータに、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、対応づけて記憶手段に記憶させる処理、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する処理、前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する処理、および算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する処理を実行させるための色補正用プログラム。

（付記１６）コンピュータに、撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも１つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する処理、および前記少なくとも１つの色安定領域における色補正パラメタと、前記色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する処理を実行させ、色を補正する処理で、算出された前記色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正させる付記１５に記載の色補正用プログラム。

（付記１７）コンピュータに、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの隣接位置との間の色を示す情報の変化量を集計させ、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出させて、色安定領域を推定させる付記１５または付記１６に記載の色補正用プログラム。

（付記１８）コンピュータに、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報に基づいて、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成させ、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定させる付記１５または付記１６に記載の色補正用プログラム。

（付記１９）コンピュータに、移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得させる付記１５から付記１８のうちのいずれかに記載の色補正用プログラム。

（付記２０）コンピュータに、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報と併せてその時の時刻とを取得させ、取得された移動物体についての位置と色と時刻との関係を示す情報に基づいて、時間別の色安定領域を推定させる付記１５から付記１９のうちのいずれかに記載の色補正用プログラム。

（付記２１）コンピュータに、移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得させる付記１５から付記２０のうちのいずれかに記載の色補正用プログラム。

（付記２２）撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、前記移動物体検出手段により検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を複数推定する色安定領域推定手段とを備えたことを特徴とする色補正装置。

（付記２３）推定した前記色安定領域毎の境界が判断可能な態様で色安定領域を表示装置に表示させる表示制御手段を備えた請求項２２に記載の色補正装置。

（付記２４）撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出し、検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を複数推定することを特徴とする色補正方法。

（付記２５）推定した前記色安定領域毎の境界が判断可能な態様で色安定領域を表示装置に表示させる付記２４に記載の色補正方法。

（付記２６）コンピュータに、撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する処理、および、取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を複数推定する処理を実行させるための色補正プログラム。

（付記２７）コンピュータに、推定した前記色安定領域毎の境界が判断可能な態様で色安定領域を表示装置に表示させる処理を実行させる付記２６に記載の色補正プログラム。

この出願は、２０１２年１１月２２日に出願された日本特許出願２０１２−２５５９８１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

産業上の利用の可能性

本発明は、監視カメラの撮影映像から人物の特徴の１つである服装などの色を判断したい場合など、カメラ映像の解析用途に好適に適用可能である。

１ 位置別色変化特徴抽出部
２ 色安定領域推定部
３ 領域別色補正パラメタ算出部
４ 色補正部
２１ 移動物体領域抽出部
２２ 移動物体同定部
２３ 位置別画像特徴量保持部
２４ 境界情報算出部
２５ 領域間色変換パラメタ算出部
２６ 特定位置色補正パラメタ算出部
２７ 領域別色補正パラメタ算出部
２８ 色補正部
１０１ 移動物体検出手段
１０２ 位置別色情報取得手段
１０３ 位置別色情報記憶手段
１０４ 色安定領域推定手段
１０５ 色変換パラメタ算出手段
１０６ 色補正手段
１０７ 特定領域色補正パラメタ算出手段
１０８ 色補正パラメタ算出手段

Claims (11)

1. 撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、
   前記移動物体検出手段により検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、
   前記位置別色情報取得手段によって取得された移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する位置別色情報記憶手段と、
   取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する色安定領域推定手段とを備え、
   前記色安定領域推定手段は、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定し、
   前記色安定領域推定手段による推定結果と、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する色変換パラメタ算出手段と、
   前記色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する色補正手段とを備える
   ことを特徴とする色補正装置。
2. 撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する移動物体検出手段と、
   前記移動物体検出手段により検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する位置別色情報取得手段と、
   前記位置別色情報取得手段によって取得された移動物体の移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを対応づけて記憶する位置別色情報記憶手段と、
   取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する色安定領域推定手段とを備え、
   前記色安定領域推定手段は、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定し、
   前記色安定領域推定手段による推定結果と、前記位置別色情報記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する色変換パラメタ算出手段と、
   前記色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する色補正手段とを備える
   ことを特徴とする色補正装置。
3. 撮影範囲が移動物体の検出に用いた動画像の撮影範囲と同じまたは一部重複している画像であって、レファレンス色を有する物体が色安定領域に配置されている画像から、少なくとも１つの色安定領域に対して、当該領域での発色状態を基準とされる照明条件下での発色状態に近づけるためのパラメタである色補正パラメタを算出する特定領域色補正パラメタ算出手段と、
   前記特定領域色補正パラメタ算出手段によって算出された１つの色安定領域に対する色補正パラメタと、色変換パラメタ算出手段によって算出された色安定領域間の色変換パラメタとに基づいて、色安定領域ごとに色補正パラメタを算出する色補正パラメタ算出手段とを備え、
   色補正手段は、前記色補正パラメタ算出手段によって算出された色安定領域ごとの色補正パラメタを用いて、補正対象画像の色を補正する
   請求項１または請求項２に記載の色補正装置。
4. 位置別色情報取得手段は、移動物体の色を示す情報として、当該移動物体の特定位置の色を示す情報を取得する
   請求項１から請求項３のうちのいずれか１項に記載の色補正装置。
5. 位置別色情報取得手段は、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とその時の時刻とを取得し、
   色安定領域推定手段は、位置別色情報取得手段によって取得された移動物体についての位置と色と時刻との関係を示す情報に基づいて、時間別の色安定領域を推定する
   請求項１から請求項４のうちのいずれか１項に記載の色補正装置。
6. 位置別色情報取得手段は、移動物体の位置を示す情報として、物体領域の下端部分の位置情報を取得する
   請求項１から請求項５のうちのいずれか１項に記載の色補正装置。
7. 前記色安定領域推定手段は、前記色安定領域を複数推定する
   請求項１から請求項５のうちのいずれか１項に記載の色補正装置。
8. 撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出し、
   検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、
   取得した前記移動物体の位置と色との関係を示す情報を記憶手段に記憶させ、
   取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定し、
   前記色安定領域の推定で、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定し、
   前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出し、
   算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する
   ことを特徴とする色補正方法。
9. 撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から移動物体を検出し、
   検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得し、
   取得した前記移動物体の位置と色との関係を示す情報を記憶手段に記憶させ、
   取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定し、
   前記色安定領域の推定で、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定し、
   前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出し、
   算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する
   ことを特徴とする色補正方法。
10. コンピュータに、
    撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、
    検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する処理、
    取得した前記移動物体の位置と色との関係を示す情報を記憶手段に記憶させる処理、および、
    取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する処理を実行させ、
    前記色安定領域を推定する処理で、位置ごとの隣接位置との間の色を示す情報の変化量を集計し、集計結果に基づいて撮影領域内で色変化が起きる位置を抽出することにより、色安定領域を推定させ、
    前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する処理、および
    算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する処理をさらに実行させる
    ための色補正用プログラム。
11. コンピュータに、
    撮影範囲が補正対象画像の撮影範囲と同じまたは補正対象画像の撮影範囲を全て含んでいる動画像から、移動物体を検出する処理、
    検出された移動物体の前記動画像内における同一性を判定し、移動に伴う当該移動物体の位置と画像内での当該移動物体の色を示す情報とを取得する処理、
    取得した前記移動物体の位置と色との関係を示す情報を記憶手段に記憶させる処理、および、
    取得した前記移動物体の位置と色との関係を示す情報に基づいて、撮影範囲において色が安定する領域である色安定領域を推定する処理を実行させ、
    前記色安定領域を推定する処理で、位置ごとの色の特徴変化量を示す画像特徴量変化モデルを作成し、作成された画像特徴量変化モデルによって示される位置ごとの色の特徴変化量に基づいて、色安定領域を推定させ、
    前記色安定領域の推定結果と、前記記憶手段に記憶されている移動物体の位置と色との関係を示す情報とに基づいて、前記色安定領域間で色を変換するためのパラメタである色変換パラメタを算出する処理、および
    算出された前記色安定領域間の色変換パラメタを用いて、補正対象画像の色を補正する処理をさらに実行させる
    ための色補正用プログラム。

Images