JP2015092643A - 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム - Google Patents

Abstract

【課題】色補正に適した背景領域の画素を選択するとともに、その画素を用いて入力画像の色を補正する画像処理装置等を提供する。
【解決手段】入力画像の画素値として適切でない画素である情報飽和画素と、入力画像と背景画像との差分が大きい画素と、所定の時間内での画素値の変動が大きい画素を除いた残りの画素を対象として、その背景画像の画素の位置に対応する、あらかじめ与える色補正によって近づけたい色味をもつ画像の画素の画素値を基に、色を補正する関数のパラメタを算出し、その関数を用いて入力画像の色補正を行う。また、照明変動の発生により、背景領域の抽出が困難な場合、照明変動を検知するとともに、入力画像と理想画像のエッジ成分を比較することにより、背景領域を抽出し、その背景領域の画素を用いて上述の入力画像の色補正を行う。
【選択図】 図１

Description

本発明は、例えば、撮影した画像を基に入力画像を補正する技術分野に関する。

近年、例えば、企業や公共施設などで、カメラを用いて、人物や物体をモニタすることにより、これら被写体および、その周辺に生じる変化を監視するシステムが増えつつある。

また、商業施設などでも、例えば、小売店に来店する人物の服装色などの傾向を把握することにより、マーケティングに活かすような試みもある。

係るモニタリングシステムのカメラは、屋外や屋内の多様な場所に設置されることにより、その被写体の色合い（いわゆる色味）は、例えば、強い日差しや、照明などの光により、画像が白っぽくなったり、薄暮、曇天、あるいは節電に伴う照明の低減により、画像が黒っぽくなったりする。さらには、色味は、上述した環境光が変化する中で、多様に変化する。

また、設置するカメラが複数台の場合は、カメラ自身の分光感度特性や、レンズ特性などの個体差の影響を受けることによって、その撮影画像の色味も多様となる可能性がある。

したがって、上述したように、被写体を監視したり、色を認識したりするためには、天候や、照明などの環境光や、カメラの光学特性などの影響で変化した被写体の色の情報を正確に抽出するとともに、入力画像の画素の色味が、なるべく広い色空間をとるように適切に補正する必要がある。

そこで、画像の色味補正技術としては、カラーチャートを用いた色補正手法がよく知られている。カラーチャートは、理想的な特定光源下において、色の値を計測した複数のパッチ（理想色の標本）からなる。これらのパッチの色の値（理想色の画素値）は公開されている。

ここで、画素値とは、画素が有する、濃淡を表す階調、および色情報である色調を離散的な数で表した値と定義する。階調を用いるか、色調を用いるかは、用いる色空間による。

これにより、任意の撮影環境下で、カラーチャートを撮影し、その際に測定された各パッチの画素値を、上述の理想色の画素値に近づけることによって、理想的な特定光源下で撮影した画像に近い画像を得ることができる。

その際に、理想色の画素値に近づけるような色補正パラメタを推定するとともに、その色補正パラメタを基にして得られる色補正関数を、入力画像の領域全体に適用することで、色補正された画像を得ることができる。

ここで、特許文献１に記載の技術は、監視カメラで予め撮影した背景画像に基いて、入力画像の色を補正する技術を開示する。

具体的には、設置者は、初期設定時に、背景画像の画素のいくつかの色をカラーチャートで校正しておき、それ以外の色は、補完することにより、近づけたい背景画像の画素の位置と、画素値とを、参照テーブルに保存する。

次に、特許文献１に記載の技術は、実際の入力画像の中から前景画像を除いて、背景画像を抽出するとともに、その画像中の画素値を時系列に調べ、ヒストグラムを作成する。そのヒストグラムの区画毎にもっとも頻度が高い画素の値を背景領域候補とする。

次に、上述の背景領域候補は、動物体であるか否かをフレーム間で差分を取ることにより、判定するとともに、動物体ではない場合は、背景領域として抽出する。

次に、特許文献１に記載の技術は、初期設定時に作成した、カラーチャートによって色を補正した背景画像の画素の位置と画素値を保持する参照テーブル内の、対応する位置の画素の画素値と、上述の手段によって実際の入力画像から抽出した背景領域の画素の画素値とを比較し、比較の結果、両者が異なった場合、色補正パラメタを更新する。

しかしながら、特許文献１に記載の技術は、画像中の画素値を時系列に調べることによって、ヒストグラムを作成する際に、そのヒストグラムのもっとも頻度が高い画素の値を背景領域候補とするので、それを基に補正した画像の色は、偏る可能性がある。

また、画素値が飽和する場合や、画素値が不安定になるエッジ成分がある場合、あるいは色補正に用いる背景画素の数の偏りが発生する場合に、求めた色補正用の参照テーブルでの色補正は、うまくいかない可能性がある。

特開２００７−１８３８７２号公報

上述した関連する技術では、基準となる背景画像の支配的な色に偏った色補正となる可能性がある。

また、画像が白っぽく（いわゆる、白とび）なる、画素値が飽和したりする場合や、黒っぽく（いわゆる、黒つぶれ）なる、画素値が不足したりする場合や、画素値が不安定になるエッジ成分などがある場合などで、色補正がうまくいかない可能性がある。

即ち、色をバランスよくするためには、基準となる画像の画素から、万遍なく選んで、入力画像の画素の色を補正する必要があるとともに、その際に、色補正をうまく行うには、入力画像から上述したような不安定な画素を除いて、色補正に適した背景画像を対象にした補正を考慮する必要がある。

本発明の主たる目的は、上述した課題を解決するために、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理装置等を提供することにある。

本発明は、上述した課題の解決を目的としてなされた。即ち、本発明に係る画像処理装置は、色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて複数の区画に分類し、該分類した区画毎に所定の個数の画素を選択するとともに、入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記入力画像を構成する画素から除いた画素である色補正候補画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする。

また、同目的を達成する本発明の他の見地である画像処理方法は、色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、
該画素の画素値に応じて、複数の区画に分類し、
該分類した区画毎に、所定の個数の画素を選択するとともに、
入力画像を構成する画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像を構成する画素から除いた画素である色補正候補画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする。

なお、同目的は、上記構成を有する画像処理装置、並びに対応する方法を、コンピュータによって実現するコンピュータ・プログラム、およびそのコンピュータ・プログラムが格納されている、コンピュータ読取り可能な記憶媒体によっても達成される。

さらに、同目的を解決する本発明の更なる他の見地である画像処理システムは、通信ネットワークを通して、互いに通信可能に接続された、カメラ設置現場に設置する情報処理装置からなる前記画像処理装置と、該画像処理装置から送信する画像を遠隔地でモニタリングする別の情報処理装置を有し、前記画像処理装置は、上記構成を有することを特徴とし、求めた色補正係数を基に、色補正関数を用いて前記入力画像の色を補正し、補正した画像を通信ネットワークを通して送信し、モニタリング現場でその画像を表示するシステムによって達成される。

本発明によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理装置等を提供することができる。

本発明の第１の実施形態に係る画像処理装置の概要を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置の概要を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置の概要を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置の前処理部の詳細を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置の色補正パラメタ算出部の詳細を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置の制御フローを示すフローチャートである。 本発明の第３の実施形態に係る画像処理装置の色補正用画素候補抽出部の変形例を示すブロック図である。 本発明の第４の実施形態に係る画像処理装置の概要を示すブロック図である。 本発明の第４の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図である。 本発明の第５の実施形態に係るコンピュータ・プログラムによる画像処理装置の概要を示すブロック図である。 本発明の第７の実施形態に係る画像処理システムの概要を示すブロック図である。

以下、本発明を実施する形態について図面を参照して詳細に説明する。

＜第１の実施形態＞
本発明の第１の実施形態の構成について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の概要を示すブロック図である。

本実施形態の画像処理装置１０の構成は、制御部１と、補正部２とからなる。

制御部１は、補正部２に接続する。制御部１は、入力画像１２に応じて、色補正係数１５を出力するとともに、その色補正係数１５を補正部２に渡す。

また、補正部２は、入力画像１２および色補正係数１５を入力するのに応じて、色補正結果画像１３を出力する。

なお、前処理部３は、予め、背景画像１１を撮影しておき、基準画像１４を制御部１に出力する。

ここで、基準画像１４とは、前処理部３によって、背景画像１１を、色見本(不図示、以下同様)を用いて色補正した画像である。

また、背景画像１１とは、本画像処理装置１０によって撮影する入力画像１２を構成する背景領域である。

また、色見本とは、例えば、色の標本を配列した板状の物体である。色見本は、特定照明環境下で、既知の値、つまり理想色の画素値を有する。

また、色補正係数１５とは、入力画像１２をなす画素の画素値を、対応する位置にある基準画像１４をなす画素の画素値に近づける際に用いる係数である。

本実施形態の画像処理装置の動作について説明する。

本画像処理装置１０の設置者は、本画像処理装置１０を設置する際に、前処理部３を用いて、任意の時刻の照明環境のもとで撮影した背景画像１１を、同じ条件で撮影した色見本を基準にして、色を補正することにより、基準画像１４を作成する。

次に、制御部１は、前処理部３から、入手する基準画像１４をなす画素の画素値に応じて、複数の区画（不図示、以下同様）に分類する。

次に、制御部１は、上述した複数の区画に分類した基準画像１４をなす画素を、分類した区画毎に、所定の個数ずつの画素を選択する。

ここで、制御部１は、基準画像１４をなす画素の画素値に応じて分類した区画毎に、それぞれ決まった数の画素をランダムに選択するので、その選択した画素の座標を、実画像に写像すると、まったくランダムな座標となり、つまり分散されて選択されることになる。

なお、その区画の画素値の数が少なくて、決まった数に満たない場合は、予め決めた最低限の数の範囲で選択すればよい。

次に、制御部１は、前記選択した画素に対応する位置の、処理対象の背景画像を含む入力画像１２の画素の画素値を、選択した画素の画素値に近づけるように補正する色補正係数１５を求めるとともに、補正部２へ出力する。

次に、補正部２は、その色補正係数１５を基にして、色補正関数（不図示、以下同様）を用いて入力画像１２を補正することにより、色補正結果画像１３を得る。

なお、制御部１は、入力画像１２が含む、たとえば、カメラの撮像回路などからのノイズを含む画素や、画素値が飽和した画素もしくは、画素値が不足した画素などの不必要な画素を、予め入力画像１２から、図示していない除去部により除去してもよい。

すなわち、本実施形態に係る画像処理装置１０によれば、前処理部３が出力する、背景画像１１を基にした基準画像１４をなす画素を、その画素値に応じて分類した区画毎に、所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像１２の画素を色補正するための色補正係数１５を算出する。

その求めた色補正係数１５を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像１２に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。

言い換えると、本実施形態の画像処理装置１０は、多様な照明環境で撮影した入力画像１２を、予め基準画像１４をなす画素を分類した区画毎から、所定の個数の画素を選ぶことにより、対応する入力画像１２の画素を分散するように選ぶことができる。

その選んだ基準画像１４をなす画素の画素値に近づけるように入力画像１２の色を補正するので、撮影した背景画像１１の色が偏っていたとしても、基準画像１４に近い色味を再現することができる。

つまり、本実施形態に係る画像処理装置によれば、背景画像を基にした、基準画像の様々な色を用いて、広範囲の色味を再現する画像処理装置を提供することができる。

以上、本発明の第１の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

＜第２の実施形態＞
次に、第１の実施形態を基本とする本発明の第２の実施形態について図を参照して、詳細に説明する。図２Ａおよび図２Ｂは、第２の実施形態に係る画像処理装置の概要を示すブロック図である。図２Ａに示す本画像処理装置１００の構成は、分類画素抽出部１０１、色補正パラメタ算出部１０３を有する。

分類画素抽出部１０１は、色補正パラメタ算出部１０３に接続する。また、色補正パラメタ算出部１０３は、色補正部１０４に接続する。

また、図２Ｂに示す本画像処理装置１００の構成では、図２Ａに対して、色補正用画素候補抽出部１０２を追加している。そして色補正用画素候補抽出部１０２は、色補正パラメタ算出部１０３に接続する。

ここで、図１に示す、第１の実施形態に係る画像処理装置の概要を示すブロック図と対比すると、分類画素抽出部１０１、色補正用画素候補抽出部１０２および色補正パラメタ算出部１０３は、第１の実施形態における制御部１に対応する。

また、色補正部１０４は、第１の実施形態における補正部２に対応する。

さらに、基準色画像情報１１０を出力する前処理部３は、図１に示す、第１の実施形態における概略ブロック図の点線で囲んだ前処理部３に対応する。

ここで、図２Ａおよび図２Ｂに示す、基準色画像情報１１０（これを、基準画像と呼ぶこともできる）は、入力画像１２０を色補正する際の基準となる色の情報である。

これは、本画像処理装置の設置現場において、前処理部３で、背景画像と同じ条件のもとで撮影したカラーチャート（不図示、以下同様。これを色見本と呼ぶこともできる）を用いて、その背景画像をあらかじめ色補正することによって生成する、図示していない理想的な画像の画素を、その画素の座標と画素値で表した情報である。

以下、本実施形態を構成する主要部分である前処理部３、分類画素抽出部１０１、色補正用画素候補抽出部１０２、および色補正パラメタ算出部１０３ならびに色補正部１０４について順次、説明する。

まず、図３を用いて、前処理部３について、その構成および接続を説明する。

図３は、本発明の第２の実施形態に係る画像処理装置に適用可能な前処理部３の詳細を示すブロック図である。

前処理部３は、ノイズ、画素値飽和および不足画素除去部２０１、カラーチャートによる色補正パラメタ算出部２０２、色補正部２０３、基準色画像情報抽出部２０４、エッジ算出部２１５、エッジヒストグラム算出部２０９、理想画像エッジヒストグラム情報蓄積部２０５とからなる。

背景画像２１０、カラーチャート画像２２０は、ノイズ、画素値飽和および不足画素除去部２０１に接続する。

ノイズ、画素値飽和および不足画素除去部２０１は、カラーチャートによる色補正パラメタ算出部２０２および色補正部２０３に接続する。

色補正部２０３は、カラーチャートによる色補正パラメタ算出部２０２からの色補正パラメタ２７０を受けるとともに、基準色画像情報抽出部２０４、およびエッジ算出部２１５に接続する。

エッジ算出部２１５は、エッジヒストグラム算出部２０９に接続する。エッジヒストグラム算出部２０９は、理想画像エッジヒストグラム情報蓄積部２０５に接続する。

次に、同じく図３を用いて、前処理部３の動作について説明する。

基準色画像情報１１０の算出には、任意の時刻の照明環境のもとで、運用の際のアングルで撮影した背景画像２１０と、それと同じ条件で撮影した、カラーチャート画像２２０を用いる。

カラーチャート画像２２０は、特定光源下で調べた、理想的な画素値があらかじめ分かっている、特定の色からなる領域であるパッチを複数枚含むカラーチャートを撮影することにより得る。

なお、カメラの撮像回路などによって生ずる不要なごま塩状の点や、画像の輪郭部に生じる、ぎざぎざ状の模様（いわゆる、ジャギー。以下、同様）などのノイズ、画素値飽和（いわゆる、白とび。以下、同様）や画素値不足（いわゆる、黒つぶれ。以下、同様）などの画素をノイズ、画素値飽和および不足画素除去部２０１で除去する。これらの不要な画素の具体的な除去方法については、後述する。

その後、カラーチャートによる色補正パラメタ算出部２０２は、カラーチャート画像２２０を手動もしくは、自動で識別することにより、カラーチャートの各パッチの色の値を抽出する。

そして、カラーチャートによる色補正パラメタ算出部２０２は、抽出した各パッチの画素値を、各パッチの理想的な画素値に近づけるような、色補正関数に与える色補正パラメタ２７０を求めるとともに出力する。

色補正部２０３は、カラーチャートを撮影したのと同じ条件で撮影した背景画像２１０を、上記で求めた色補正パラメタ２７０を適用して生成した、図示していない色補正関数で色補正することにより、理想画像２８０を求める。

そして、基準色画像情報抽出部２０４は、理想画像２８０の画素の座標とその画素値を示す基準色画像情報１１０を出力する。

すなわち、背景画像２１０を、カラーチャート画像２２０を用いて色補正した、理想画像２８０は、基準色画像情報１１０を有する基準画像の基となる画像ということができる。

ここで、色補正関数は、たとえば、線形変換や非線形変換を用いてもよい。

また、色補正パラメタ２７０は、カラーチャートによる色補正パラメタ算出部２０２で、上述の色補正関数を有する色補正行列、もしくは色補正テーブルによって与えられる。しかし、これらの変換方法に限定するわけではなく、他の方法を用いて変換してもよい。

また、色補正パラメタや、色補正関数は、撮影現場環境や、予め実験に基いて、確認された適切な変換方法と、それに基く適切なパラメタおよび関数とを用いる。

ここで、理想画像２８０は、さらに、エッジ算出部２１５によって図示していない理想画像のエッジ情報を抽出する。そして、エッジヒストグラム算出部２０９は、図示していない理想画像のエッジ情報を基に、エッジの強度と方向を示すエッジヒストグラムに分類するとともに、理想画像エッジヒストグラム情報２９５として抽出する。

得られた理想画像エッジヒストグラム情報２９５は、理想画像エッジヒストグラム情報蓄積部２０５に蓄積する。また、理想画像エッジヒストグラム情報蓄積部２０５のエッジヒストグラム情報は、後述する第４の実施形態で、入力画像１２０と、理想画像２８０のエッジヒストグラムの相関を抽出する、相関抽出部１２１３で用いる。

なお、上述した撮影現場環境での初期設置の際の、前処理部３に示す背景画像２１０、カラーチャート画像２２０の画像の取り込みは、図示していない、カメラの切替え回路を用いて、通常運用の際に用いるカメラを切替えて使うものとする。

次に、ノイズ、画素値飽和および不足画素除去部２０１の動作について説明する。

背景画像２１０や、カラーチャート画像２２０に存在する、たとえば、カメラの撮像回路などからの、ごま塩状の点や、輪郭部分のぎざぎざ状の模様などのノイズを除去する例としては、画像の平滑化処理などがあるが、この方法に限定するものではなく、上述のようなノイズが除去できれば、他の手法を用いてもかまわない。

また、画素値飽和、画素値不足の画素の除去方法については、ノイズ、画素値飽和および不足画素除去部２０１で、入力した背景画像２１０およびカラーチャート画像２２０の画素の画素値が、飽和している画素、あるいは不足している画素を検出し、その画素を予め除去する。

ここで、飽和した画素とは、画素値がダイナミックレンジの最大値を有する画素のことであり、つまり、実空間上での値は、その最大値を超えていた可能性がある画素のことを指しており、有意な情報を有さない除去されるべき画素である。

たとえば、ＲＧＢ（すなわち、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）色空間の場合で、各Ｒ、Ｇ、Ｂの値は、０〜２５５を取る際に、Ｒ、Ｇ、Ｂの要素の値のいずれかが２５５を超える画素は、画素値（つまりその要素の輝度値。以下、同様）を記録できず、画素の情報が飽和した可能性がある。反対に画素値が０の場合は、その画素値がない（不足している）ことを示す。

そのため、以下の数式１に示すように、ある色空間の画素（座標と画素値との組）が、閾値Ｔｈ１から、Ｔｈ２の範囲に含まれる画素のみ、画素情報が飽和していない有意な情報の画素として抽出する。

ここで、ｃは、色空間における色の要素（例えば、ＲＧＢ色空間の場合、Ｒ、またはＧ、またはＢ)であり、ｘｙはその画素の座標を指す。

Ｔｈ１（ｃ）＜画素（ｘ、ｙ、ｃ）＜Ｔｈ２（ｃ） ・・・・・・（式１）、
たとえば、色空間が、ＲＧＢ空間の場合で、取り得る値のレンジが０〜２５５の場合、Ｔｈ１（ｃ）は、０より少し大きめの値、一方、Ｔｈ２（ｃ）は、２５５より少し小さめの値を設定するとよい。このように、実際のＲＧＢ色空間のダイナミックレンジよりも少し内側の値に閾値を設定するのは、ノイズなどによる画素値の変動要因を考慮するものである。

つまり、Ｒ、Ｇ、Ｂのいずれかの色で、たとえば、１１〜２４４の値をとる場合は、Ｔh１（ｃ）＝１０、Ｔh２（ｃ）＝２４５となり、式１により、その座標の色が取る画素値の範囲は、１０＜画素（ｘ、ｙ、ｃ）＜２４５となる。なお、この値は例であり、この値に限定しているわけではない。

また、画素値飽和、画素値不足の画素の除去は、上述の方法に限定するものではなく、予め画素値飽和、画素値不足の画素を除去できれば、他の手法を用いてもかまわない。

上述したような手法で、ノイズ、画素値飽和および画素値不足画素を除去することによって、背景画像情報２５０およびカラーチャート画像情報２６０を得る。

引き続き、図２Ａおよび図２Ｂに示す本実施形態の分類画素抽出部１０１の動作について説明する。

分類画素抽出部１０１は、基準色画像情報１１０の画素値に応じて、画素をカテゴリ、すなわち区画毎に分類するとともに、各画素を、座標と画素値とからなる組として保持する。

そして、色補正パラメタ算出部１０３から入手した座標情報１４０と一致する分類画素抽出部１０１に保持された画素の座標と画素値とを、分類画素情報１５０として出力する。

画素の画素値による分類方法としては、画素値がたとえばＲＧＢ色空間で表現される場合、ＲＧＢ空間をＲ、Ｇ、Ｂの各要素がとる値に応じて、一定の間隔で分割した領域のそれぞれの区画に、画素を分類する。即ち、画素は、それぞれの区画内に、ヒストグラムのような分類で仕分けられる。

ただし、区画に分類する際の色空間や、分類方法は、必ずしも上述の方法に限定するものではなく、ＹＵＶ（ここで、Ｙは輝度信号、Ｕは青色成分の差分信号、Ｖは赤色成分の差分信号）などの他の色空間を用いて画素を分類してもよい。また、分類手法として、k-means法などのクラスタリング手法を用いて分類したクラスタを用いて動的にカテゴリを設定してもよいし、その他の分類手法を用いてもよい。

引き続き、図２Ｂに示す本実施形態の色補正用画素候補抽出部１０２の動作について、図４を用いてさらに詳細に説明する。図４は、本発明の第２の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図の例である。

色補正用画素候補抽出部１０２は、例えば、カメラの撮像回路などからのノイズが少なく、画素値が飽和、もしくは不足している画素を除いて、かつ、人物や物体などの前景物体がない画素は、色補正パラメタ情報１７０を算出する際に、誤差を抑えることができる安定的な画素と考え、その特徴を持つ画素を抽出することを目的とする。

図４に示す、色補正用画素候補抽出部１０２の構成、接続について説明する。

色補正用画素候補抽出部１０２は、背景モデル記憶装置１２１４、情報飽和画素抽出部１２０１、背景モデル差分抽出部１２０２、画素変動値算出部１２０３、安定画素判定部１２０４から成る。

情報飽和画素抽出部１２０１は、画素変動値算出部１２０３、安定画素判定部１２０４に接続する。

また、背景モデル差分抽出部１２０２は、背景モデル記憶装置１２１４、画素変動値算出部１２０３、および安定画素判定１２０４に接続する。

次に、色補正用画素候補抽出部１０２の動作について説明する。

図４に示す、色補正用画素候補抽出部１０２は、以下の３つの不安定な画素を除去することにより、安定な画素であり、色補正の候補となる、色補正用画素候補情報１６０を出力することを目的とする。

まず、情報飽和画素抽出部１２０１は、入力画像１２０を構成する背景領域の画素の画素値が飽和、もしくは不足している画素があれば、情報飽和画素を抽出し、情報飽和画素情報１２３０として安定画素判定部１２０４に出力する。

情報飽和画素の抽出手法については、図３にあるノイズ、画素値飽和および不足画素除去部２０１の画素値不足、画素値飽和除去と同じ機能を採用することができるので、本実施形態における説明は省略する。

次に、背景モデル差分抽出部１２０２は、入力画像１２０と、背景モデル記憶装置１２１４に蓄積された背景を示す背景モデル情報１２１０との差を算出し、この差分を背景モデル差分情報１２４０として、画素変動値算出部１２０３と、安定画素判定部１２０４に出力する。

つまり、背景モデル差分抽出部１２０２は、入力画像１２０の背景領域と、背景モデル記憶装置１２１４が初期値として保持する背景モデル情報１２１０の座標とが、一致する入力画像１２０の画素との画素値差分に応じて、画素が背景であるか否かを、判定した判定結果と、その座標とを保持するとともに、背景モデル差分情報１２４０を算出する。

また、背景差分モデル抽出部１２０２は、背景モデル画像が変化すれば、背景モデル記憶装置１２１４に蓄積された、背景モデルを背景モデル更新情報１２２０により更新する。

なお、背景モデル情報１２１０による背景領域抽出の一例としては、入力画像と背景モデル画像の差分による背景領域抽出手法で求めた背景領域の画素値で判定する方法がある。

また、背景モデル画像の更新方法の一例としては、上述のような方法で判定したのちに、背景モデル画像の画素値の重みづけ平均した結果を背景モデル画像の画素として更新する手法がある。

ただし、本発明は、背景画像か否かの判定方法や、背景画像が変化した場合の背景モデルの更新方法は、上述した手法に限定しているわけではなく、その他の背景領域を判定する手法と、背景モデル画像の更新方法の組み合わせでもかまわない。

さらに、画素変動値算出部１２０３は、情報飽和画素抽出部１２０１から出力する情報飽和画素情報１２３０と、背景モデル差分抽出部１２０２から出力する背景モデル差分情報１２４０とによって予め、それぞれ所定の閾値を越える画素を、入力画像１２０から除く。

そして、画素変動値算出部１２０３は、上記の不要な画素を除去したそれ以外の画素で構成する入力画像１２０の画素の座標と画素値を、所定の時間記録し、その記録した画素値の時間に対する変化を示す変動値を求める。

画素変動値算出部１２０３は、求めた変動値が、所定の値未満である画素を座標とともに記録した画素変動値情報１２５０を算出する。

画素値の変動値算出手法としては、例えば分散などがあるが、この手法に限定しているわけではなく、その他の変動を示す指標でもよい。

つまり、画素変動値算出部１２０３は、情報飽和画素情報１２３０の画素値が飽和していない画素で、かつ、背景モデル差分情報１２４０の背景領域と判定された画素の座標と一致する、入力画像１２０の各画素の画素値を所定の時間、記録するとともに、その画素値の変動を示す数値（変動値）を算出する。

なお、所定の時間、画素値を記録する際に、ある画素が情報飽和画素情報１２３０、背景モデル差分情報１２４０のどちらかに含まれる画素として、除かれる頻度が高い場合、変動値の算出に用いる記録される画素数が少なくなる。

そのため、記録される画素数が所定の個数以下の場合、その画素の変動値は算出しない。

そして、各画素の座標と変動値、また、変動値を算出しない座標を、画素変動値情報１２５０として安定画素判定部１２０４に出力する。

各画素値の変動値を示すには、所定の時間内の入力画像における各画素値の時間に対する変化を示す分散が利用できるが、この手法に限定するわけではなく、分散以外の変動値を算出する手法を用いても構わない。

次に、安定画素判定部１２０４は、情報飽和画素情報１２３０が有する画素の画素値が、飽和していないか、もしくは不足していない画素、または背景モデル差分情報１２４０が有する画素の判定が背景である画素、または画素変動値情報１２５０の変動値が所定の値以下の画素を、安定画素として抽出し、その座標と画素値を色補正用画素候補情報１６０として、色補正パラメタ算出部１０３に出力する。

引き続き、本実施形態に示す色補正パラメタ算出部１０３および色補正部１０４の動作について、図２Ｂと、図５を用いて詳細に説明する。

まず、図２Ｂに示す色補正パラメタ算出部１０３では、色補正用画素候補抽出部１０２の色補正用画素候補情報１６０、入力画像１２０、分類画素抽出部１０１の分類画素情報１５０を基に、色補正パラメタ情報１７０を算出する。

具体的には、色補正パラメタ算出部１０３は、分類画素情報１５０で、画素値に応じて分類した各区画のそれぞれから、所定の個数の画素を選択するとともに、その選択した座標に対応する、色補正用画素候補情報１６０に含まれる色補正に用いることが可能である画素の座標を抽出する。

その際に、選択する座標は、後述する座標情報１４０を用いて特定する。

もし、所定の個数を抽出できる画素が無い区画が存在する場合は、予め決めた、上述の所定の個数より少ない最低数以上の画素数があれば、その区画の画素を最低数以上抽出する。

ここで、最低数とは、画像内の領域が非常に小さく、色補正に用いるには画素数が少ないと判断するために用いる値である。

続いて、色補正パラメタ算出部１０３は、図示していない、後段の色補正関数に与える色補正パラメタ情報１７０を算出するとともに、色補正部１０４に出力する。

色補正部１０４では、色補正パラメタ算出部１０３から得た色補正パラメタ情報１７０を設定した、図示していない色補正関数を用いて入力画像１２０の領域の色補正を行うとともに、色補正結果画像１３０として出力する。

なお、色補正パラメタ算出方法は、図３に示す前処理部３で、カラーチャートによる色補正パラメタ算出部２０３で、色補正パラメタ２７０を算出する方法と同様であるので、本実施形態での説明は省略する。

引き続き、本実施形態に示す色補正パラメタ算出部１０３の動作について、図５を用いて、さらに詳しく説明する。

図５は、本発明の第２の実施形態に係る画像処理装置の色補正パラメタ算出部の詳細を示すブロック図である。

色補正パラメタ算出部１０３は、色補正パラメタ推定用画素情報選択部４０１と色補正パラメタ算出部４０２からなる。色補正パラメタ推定用画素情報選択部４０１は、色補正用パラメタ算出部４０２に接続する。

色補正パラメタ推定用画素情報選択部４０１は、分類画素情報１５０にある、画素値に応じて分類した各区画のそれぞれから、所定の個数の画素を座標情報１４０で指定することにより選択するとともに、対応する安定画素の座標である、色補正用画素候補情報１６０の画素を選択し、その選択した座標と画素値とを選択画素情報４１０として、色補正用パラメタ算出部４０２に渡す。

色補正用パラメタ推定用画素選択部４０１での画素の選択手法の別の例として、あらかじめ入力画像１２０を構成する画素に対して、ブロック（たとえば、入力画像に対して、横方向がＭ画素、縦方向がＮ画素）で分割した際のサイズを色補正用パラメタ推定用画素選択部４０１に設定しておく。

そして各ブロックの範囲毎に、画素値によって分類した区画内で、かつ、安定な画素をランダムに抽出する方法がある。

また、他の例としては、画像上のランダムな座標を設定し、その座標から所定の範囲に含まれる各区画の画素で、かつ、安定な画素を抽出する方法などが考えられる。

ただし、本発明は、色補正の対象である色補正用候補画素の選択方法を、上述した手法に限定しているわけではなく、分類した各区画の画素を選択することにより、対応する実画像の座標を分散するように選択できる手法であれば、その他の手法でもかまわない。

各区画の画素を所定の個数分を集めることができない場合、その区画に含まれる画素は、色補正には利用せず、選択画素情報４１０として出力しない。

色補正用パラメタ算出部４０２は、選択画素情報４１０の画素とその画素と同一座標にある入力画像１２０の画素値を用いて、色補正関数の色補正パラメタを算出し、色補正パラメタ情報１７０として色補正部１０４に出力する。

なお、図２Ａおよび図２Ｂに示す色補正部１０４は、色補正パラメタ情報１７０を用いる図示していない色補正関数として、前処理部３で述べたのと同様に、たとえば線形変換や、非線形変換などの関数を用いる。また、色補正パラメタはそれらの関数に対応したものであればよい。しかしこれらの手法に限定しているわけではなく、他の手法を用いてもかまわない。

次に、以上に述べた本実施形態の構成、接続、動作について、図２Ａおよび図２Ｂ、図３、図４、図５およびフローチャートを用いて説明する。

図６は、本発明の第２の実施形態に係る画像処理装置の制御フローを示すフローチャートである。

まず始めに、図３に示す、本実施形態の画像処理装置１００の前処理部３は、背景を撮影した画像と、それと同じ撮影条件（つまり、同じ時刻および同じ撮影アングル）で、カラーチャートを撮影した画像を用意する。

そして、図３に示す、カラーチャートによる色補正パラメタ算出部２０２は、撮影したカラーチャート画像２２０の画素値と、その公開されている理想的な画素値を比較することにより、色補正関数に与える色補正パラメタ２７０を算出する。

そして、図３に示す、色補正部２０３は、背景画像２１０から、ノイズや画素値が飽和した画素もしくは不足する画素を除いたあとの、背景画像情報２５０と、色補正パラメタ２７０を用いて、理想画像２８０を出力することにより、背景画像２１０をあらかじめ色補正しておく。

なお、この作業は、本画像処理装置１００の設置者が、現場に本画像処理装置１００を設置する際に、手動もしくは自動により行う初期設定である。

そして、図３に示す、基準色画像情報抽出部２０４は、理想画像２８０の画素の座標と画素値を、基準色画像情報１１０として出力する（ステップＳ１００１）。

次に、図２Ａおよび図２Ｂに示す分類画素抽出部１０１は、基準色画像情報１１０に含まれる画素を画素値に応じて、複数の区画に分類する。その分類結果を分類画素情報１５０として出力する（ステップＳ１００２）。

基準色画像情報１１０の分類方法は、本実施形態で述べた分類画素抽出部１０１の画素の分類方法を用いる。

次に、図４に示す、情報飽和画素抽出部１２０１は、情報飽和画素を、入力画像１２０の画素から抽出するとともに、情報飽和画素情報１２３０を出力する（ステップＳ１００３）。

なお、情報飽和画素には、画素値が飽和した画素の他に、画素値が、照明の明るさが不足することにより不足した画素も含む。

次に、図４に示す背景モデル差分抽出部１２０２は、入力画像１２０の背景領域と、背景モデル記憶装置１２１４に記憶した背景モデル情報１２１０の座標が一致する入力画像１２０の画素との画素値差分に応じて、その画素が、背景であるか否かを判定する。

背景モデル差分抽出部１２０２は、その判定結果と、その座標を背景モデル差分情報１２４０として出力する。（ステップＳ１００４）。

次に、図４に示す画素変動値算出部１２０３は、ステップＳ１００３で求めた情報飽和画素および、ステップＳ１００４で求めた背景モデル差分情報１２４０の背景領域ではないと判定する画素の座標を除いた、入力画像１２０の各画素の座標と画素値を所定の時間記録する。

そして、画素変動値算出部１２０３は、その記録した画素値の時間変化を示す変動値を求め、その変動値が所定の値未満である画素を、座標と画素値とともに、記録した画素変動値情報１２５０を抽出するとともに出力する（ステップＳ１００５）。

次に、図４に示す、色補正用画素候補抽出部１０２の安定画素抽出部１２０４は、ステップ１００３の情報飽和画素情報１２３０の画素と、ステップＳ１００４の背景モデル差分情報１２４０にある背景画像ではないと判定する画素と、ステップＳ１００５の画素変動値情報１２５０の変動値が所定の値以下の画素とを除去する。

そして、色補正用画素候補抽出部１０２の安定画素抽出部１２０４は、その画素の座標と画素値を、色補正用画素候補情報１６０として抽出するとともに出力する（ステップＳ１００６）。

次に、図５に示す、色補正パラメタ算出部１０３の色補正パラメタ推定用画素情報選択部４０１は、ステップＳ１００２にて、図２Ａおよび図２Ｂに示す、分類画素抽出部１０１が、出力する分類画素情報１５０の分類した各区画のそれぞれから、所定の個数の画素を、座標情報１４０を指定することによって、選択するとともに、その選択した画素の位置に対応する、色補正用画素候補情報１６０の画素を選択する。

その選択した画素を選択画素情報４１０として、色補正用パラメタ算出部４０２に出力する（ステップＳ１００７）。

次に、図５に示す、色補正パラメタ算出部１０３の、色補正用パラメタ算出部４０２は、ステップＳ１００７にて抽出した選択画素情報４１０の画素と、その座標に対応する入力画像１２０の画素値を基に、色補正関数に与える色補正パラメタ情報１７０を算出するとともに出力する（ステップＳ１００８）。

最後に、図２Ａおよび図２Ｂに示す色補正部１０４は、色補正パラメタ情報１７０を設定した、図示していない色補正関数に入力画像１２０を与え、入力画像１２０の領域を色補正するとともに、色補正した画像の座標と画素値とからなる色補正結果画像１３０を出力する（ステップＳ１００９）。

なお、入力画像１２０の画素に、不要な画素である、画素値が飽和するかもしくは不足する画素、入力画像１２０と、その背景領域の差分から背景領域ではないと判断する画素、および、入力画像１２０からそれらを除いた画素の単位時間あたりの変動値が所定の閾値を越える画素がなければ、予め入力画像１２０から除去する必要はなく、そのまま入力画像１２０を対象として色補正パラメタを算出してもよい。

その場合、図６に示す、ステップＳ１００３乃至ステップＳ１００６は省略することができる。

また、図２Ｂに示す、色補正用画素候補抽出部１０２の図４に示す、情報飽和画素抽出部１２０１、背景モデル差分抽出部１２０２、画素変動値算出部１２０３、安定画素判定部１２０４は、用いない。また、それにともなって、図５に示す、色補正用画素候補情報１６０は用いない。つまり、図２Ａに示す構成を用いてもよい。

すなわち、本実施形態に係る画像処理装置によれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。

そして、本実施形態に係る画像処理装置によれば、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。

また、その際に、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデルと入力画像の画素の画素値の差分が大きい画素と、単位時間あたりの上述した画素を入力画像から除いた残りの画素の変動値が大きい画素とを、予め入力画素から除いてから、上述の色補正を行うことにより、多様な時刻の照明環境で撮影した入力画像であっても、より基準画像に近い色味を再現することができる。

言い換えると、本実施形態の画像処理装置は、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。

その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正するので、背景画像の色に偏りにくく、また、外光の影響を受けにくい、基準画像に近い色味を再現することができる。

つまり、本実施形態に係る画像処理装置によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理装置を提供することができる。

以上、本発明の第２の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

＜第３の実施形態＞
次に、第２の実施形態を基本とした変形例である、第３の実施形態について説明する。

図７は、本発明の第３の実施形態に係る画像処理装置に適用可能な色補正用画素候補抽出部を示すブロック図である。

本実施形態では、第２の実施形態の図２Ｂに示す色補正用画素候補抽出部１０２に、予め除去すべき不安定な画素を除去するための処理として、照明が変動することにより画素値が変動しやすい、たとえば画像の輪郭部分を抽出するエッジ算出部１２０５と、背景画像の前面に重なる、たとえば前景画像を抽出する前景物体検出部１２０６を加えた点が異なる。

ここで、前景物体とは、入力画像の中で、背景画像より前面に存在する人や物などの物体と定義する。

このため、以下の説明においては、本実施形態の応用例に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２の実施形態と同様な構成についての重複する説明は省略する。

エッジ算出部１２０５、前景物体認識抽出部１２０６は、安定画素判定部１２０７に接続する。背景モデル記憶装置１２１４は、背景モデル差分抽出部１２０２に接続する。

エッジ算出部１２０５は、画素値の変動が一般的に大きいエッジ成分を除いた安定画素を抽出するためにエッジ成分を算出する。

すなわち、エッジ算出部１２０５は、入力画像１２０から、エッジ成分を抽出し、エッジの強度が所定の閾値以上の画素を、エッジ強度、方向および、その座標とを組みにした、エッジ情報１２４５として、安定画素判定部１２０７に出力する。

エッジ抽出手法としては、例えば、一次微分フィルタや、Ｓｏｂｅｌフィルタ、２次微分フィルタ（Ｌａｐｌａｃｉａｎフィルタなど）、Ｃａｎｎｙフィルタなどがあるが、これらに限定するわけではなく、その他のエッジ抽出手法を利用してもかまわない。

また、前景物体検出抽出部１２０６は、入力画像１２０の背景領域を隠してしまう可能性が高い物体（前景領域）を、物体検出技術を用いて検出するとともに、安定画素判定部１２０７で除去する。

例えば、入力画像１２０から画像特徴量を抽出し、あらかじめ用意した前景領域の画像特徴量と比較し、画像特徴量同士が類似する領域を前景領域として抽出する。

前景物体検出抽出部１２０６は、抽出した前景領域の座標とその画素値を物体抽出情報１２４６として安定画素判定部１２０７に出力する。物体検出技術の例としては、例えば、顔検出や頭部検出、人物検出などの検出技術がある。

これらの検出技術は、Ｈａａｒ−ｌｉｋｅ特徴量と、ＡｄａＢｏｏｓｔなどの学習アルゴリズムを利用した顔や頭部検出および、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）と学習アルゴリズムを利用した人物抽出など、たとえば輝度勾配、輝度差などの特徴量に着目するとともに学習する手法があるが、これらの手法に限定するわけではなく、その他の手法でもかまわない。

安定画素判定部１２０７は、図４に示す安定画素判定部１２０４と同じ方法で、安定画素を算出するが、その際に、エッジ情報１２４５である、エッジ強度が、所定の値以上の画素と、物体抽出情報１２４６が示す前傾物体の画素とをさらに除いた画素を安定画素とし、かかる安定画素を色補正用画素候補情報１６０として出力する。

すなわち、本実施形態に係る画像処理装置によれば、カラーチャートを用いて背景画像を色補正することによって得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。

そして、本実施形態に係る画像処理装置によれば、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。

また、その際に、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素を予め入力画素から除いてから、上述の色補正を行う。

さらに、上記に加えてエッジ強度が所定の値より大きい画素および、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素を、予め入力画素から除いてから、上述の色補正を行う。

これにより、本実施形態によれば、多様な時刻の多様な照明環境で撮影した入力画像でかつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。

言い換えると、本実施形態の画像処理装置は、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。

その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正するので、背景画像の色に偏りにくく、また、外乱の影響を受けにくい、基準画像に忠実な色味を再現することができる。

つまり、本実施形態に係る画像処理装置によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理装置を提供することが出来る。

以上、本発明の第３の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

＜第４の実施形態＞
次に、第２および第３の実施形態を基本とする第４の実施形態について説明する。図８は、第４の実施形態に係る画像処理装置の概要を示すブロック図である。

本実施形態は、図２Ｂに示す画像処理装置１００に、照明変動時に対するさらに頑健な色補正を可能とする機能を追加している。

そのために、色補正部１０７を含み、その色補正部１０７から色補正結果情報１８０を取り出して、色補正用画素候補抽出部１０６へ反映している点が異なる。

このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２および第３の実施形態と同様な構成についての重複する説明は省略する。

図８に示す、画像処理装置１００は、分類画素抽出部１０８、色補正用画素抽出部１０６、色補正パラメタ算出部１０５、色補正部１０７を含む。

図２Ｂに示す接続に加えて、図８に示す色補正部１０７は、色補正用画素候補抽出部１０６に接続している。

図８に示す、画像処理装置１００が有する色補正用画素候補抽出部１０６は、図２Ｂに示す機能に加え、背景領域の差分抽出などに影響がでるほどの照明変動が起きているかを、現在の色補正結果である、色補正結果情報１８０と、基準色画像情報１１０と、次の入力画像である入力画像１２０とを基に判定し、その判定結果に基いて、後述する安定画素の抽出方法を変更する。

安定画素抽出手法方法については、後述する図９に示す、安定画素判定部１２１２にて説明する。

色補正部１０７は、図２Ｂに示す機能に加え、入力画像１２０を色補正した色補正結果画像１３０の画素の座標と画素値に含まれる、色補正結果情報１８０を、色補正用画素候補抽出部１０６に出力する。色補正結果情報１８０に含まれる画素は、色補正に用いられる可能性がある画素のみでよく、色補正結果画像１３０の一部の画素でよい。

例えば、色補正結果情報１８０に含まれる画素は、分類画素抽出部１０８に蓄積された画素と同じ座標の画素でよく、その場合、分類画素抽出部１０８から分類画素情報１５０の画素の位置情報を、図示していない経路を通して得るものとする。

また、色補正結果情報１８０に含まれる画素は、色補正に用いる背景領域をあらかじめ色補正用画素候補情報１６０に、設定しておく場合、その設定領域の画素のみとしてもよい。

次に、図９は、本発明の第４の実施形態に係る画像処理装置の色補正用画素候補抽出部の詳細を示すブロック図である。

図９に示す色補正用画素候補抽出部１０６は、図７に示す色補正用画素候補抽出部１０２に、照明変動対応画素抽出部１２１１、補正画像差分抽出部１２０８、入力画像１２０のエッジ算出部１２１５、エッジヒストグラム算出部１２０９および相関抽出部１２１３を加えている点が異なる。

これにより、照明変動時に、背景領域抽出が困難になることに対して、照明変動を検知することにより、入力画像１２０と、色補正結果情報１８０、図９に図示していない理想画像２８０のエッジ相関を用いて、色補正に適用することができる安定な背景領域の画素を抽出するとともに、図８に示す、色補正用画素候補情報１６０を用いて、色補正パラメタ情報１７０を算出することによって、入力画像の色補正を頑健に行うことができる。

なお、図９に含まれる図７および、図８と同じ番号のブロックは同じ機能を持つため、本実施形態における説明を省略する。また、各機能のブロック間の接続について説明する。

色補正用画素候補抽出部１０６は、情報飽和画素抽出部１２０１、背景モデル差分抽出部１２０２、画素変動値算出部１２０３、エッジ算出部１２１５、エッジヒストグラム算出部１２０９、相関抽出部１２１３、照明変動対応画素抽出部１２１１、安定画素判定部１２１２、補正画像差分抽出部１２０８、背景モデル記憶装置１２１４とを含む。

情報飽和画素抽出部１２０１は、画素変動値算出部１２０３、照明変動対応画素抽出部１２１１および安定画素判定部１２１２に接続する。

背景モデル差分抽出部１２０２は、画素変動値算出部１２０３、照明変動対応画素抽出部１２１１および安定画素判定部１２１２に接続する。

画素変動値算出部１２０３は、照明変動対応画素抽出部１２１１および安定画素判定部１２１２に接続する。

エッジ算出部１２１５は、エッジヒストグラム算出部１２０９、および安定画素判定部１２１２に接続する。

エッジヒストグラム算出部１２０９は、相関抽出部１２１３に接続する。

相関抽出部１２１３は、安定画素判定部１２１２に接続する。

背景モデル記憶装置１２１４は、背景モデル差分抽出部１２０２に接続する。

照明変動対応画素抽出部１２１１は、補正画像差分抽出部１２０８、エッジ算出部１２１５、安定画素判定部１２１２に接続する。

補正画像差分抽出部１２０８は、背景モデル記憶装置１２１４、背景モデル差分抽出部１２０２、安定画素判定部１２１２に接続する。

前景物体検出部１２０６は、安定画素判定部１２１２に接続する。

次に、本実施形態における色補正用画素候補抽出部１０６の動作について説明する。

照明変動対応画素抽出部１２１１は、入力画像１２０を構成する背景領域と、背景モデル情報１２１０との座標が、一致する入力画像１２０の画像との画素値差分に応じて、画素が背景であるか否かを、判定した判定結果と、その座標とを保持する背景モデル差分情報１２７０に影響がある照明変動が起きているか否かを、後述の方法で判定する。

その判定した結果を、照明変動情報１２６５として、補正画像差分抽出部１２０８、安定画素判定部１２１２、エッジ算出部１２１５に出力する。

背景モデル画像の差分抽出に影響がある照明変動が発生しているかの判定は、全画素から情報飽和画素を除いた画素数に、背景モデル差分情報１２７０における、入力画像１２０の背景領域との画素値差分が、所定の閾値以上、生じている画素数がどのくらい含まれているかの割合によって判定する。

その割合が高い場合、照明変動が起きていると判定するとともに、その判定結果を照明変動情報１２６５として出力する。

また、照明変動情報１２６５は、照明変動発生時ではなく、照明変動発生後、その変動が安定したタイミングで出力する。

つまり、画素変動値算出部１２０３の画素変動値情報１２７５の画素値の変動値の大きさが、所定の値以下の場合、照明変動が発生した後に、その照明変動が落ち着いたタイミングと判定し、照明変動対応画素抽出部１２１１は、照明変動情報１２６５を出力する。

また、補正画像差分抽出部１２０８は、照明変動情報１２６５により、照明変動が発生したという判定を受け取った場合、現在の入力画像１２０が色補正された色補正結果情報１８０と、基準色画像情報１１０の画素の画素値の差分を抽出し、その画素値差分が、所定の値以下の画素の座標と画素値を、補正画像差分情報１２６０として、安定画素判定部１２１２に出力する。

補正差分抽出方法は、例えば、背景差分のように同じ座標の画素値の差を利用してもよい。しかし、この手法に限定するわけではなく、その他の差分を算出する手法を利用してもよい。

また、補正画像差分抽出部１２０８は、色補正結果情報１８０と、基準色画像情報１１０との差分抽出の際、差分値が所定の値以下である画素の座標と、その座標に対応する入力画像１２０の画素値に基づいて、背景モデル更新情報１２５５を作成し、背景モデル記憶装置１２１４の背景モデル画像を更新する。

背景モデル画像の更新方法は、第２の実施形態の色補正用画素候補抽出理部１０２で説明した、背景モデル画像の更新方法を利用することができる。

一方で、照明変動情報１２６５が、背景モデル画像の差分抽出に影響がある照明変動が発生していないという判定である場合、安定画素判定部１２１２に補正画像差分情報１２６０を出力しないか、または、色補正結果情報１８０と、基準色画像情報１１０との差分をとっていない色補正結果情報１８０を、補正画像差分情報１２６０として出力する。

また、エッジ算出部１２１５は、図７に示すエッジ算出部１２０５と同じ手法でエッジ算出を行い、エッジ情報１２８０を安定画素判定部１２１２に出力する。ただし、エッジヒストグラム算出部１２０９でエッジヒストグラム情報１２８５を算出する必要があるため、少なくとも２方向のエッジを抽出する。

エッジ情報１２８０の出力先は、照明変動情報１２６５の内容によって変化する。照明変動情報１２６５により照明変動が発生しているという判定を受けた場合、エッジヒストグラム算出部１２０９および、安定画素判定理部１２１２の両方にエッジ情報１２８０を出力する。

また、照明変動が発生していないという判定を受けた場合、エッジヒストグラム算出部１２０９にのみエッジ情報１２８０を出力する。

ここで、エッジヒストグラム算出部１２０９は、たとえば特定サイズで分割したブロックを算出し、各ブロックに含まれる各エッジ方向の頻度を算出することにより、エッジ方向をヒストグラムの区画（つまり、ビン）にした、エッジヒストグラムを作成する。

そして、エッジヒストグラム算出部１２０９は、各ブロックのエッジヒストグラムをエッジヒストグラム情報１２８５として、相関抽出部１２１３に出力する。

なお、エッジヒストグラムの算出方法として、例えば、複数の方向でのエッジ成分をエッジ算出部（図３に示す２１５や図９に示す１２１５）で算出しておき、各ブロックに含まれる各方向のエッジ成分の頻度からエッジヒストグラムを作成する方法がある。

その他に、縦横２方向のエッジ成分をエッジ算出部２１５や１２１５で算出し、各画素の横方向のエッジの強度を縦方向のエッジ強度で割り、そのアークタンジェント（ａｒｃｔａｎ（ｘ）すなわち、ｔａｎ（ｘ）の逆関数；xは、たとえば、各画素の横方向のエッジの強度を縦方向のエッジ強度で除算した値）の値をエッジ方向とし、各ブロックに含まれる各方向のエッジ成分の頻度からエッジヒストグラムを作成する方法がある。

なお、これらの手法に限定するわけではなく、これ以外のエッジヒストグラムを算出する手法を用いてもよい。

相関抽出部１２１３は、入力画像１２０から求めたエッジヒストグラム情報１２８５と、図９には図示していない、図３に示す前処理部３の説明で、基準色画像情報１１０を求める際に用いた、理想画像から求めた理想画像エッジヒストグラム情報２９５との相関を求めるとともに、相関情報１２９０として安定画素判定部１２１２に出力する。

そして、安定画素判定部１２１２は、照明変動情報１２６５の内容により、安定画素の作成方法を変更する。

安定画素判定部１２１２は、照明変動情報１２６５が、照明変動が発生していないという判定である場合、図４に示す安定画素判定部１２０４と同様の方法で、色補正用画素候補情報１６０を算出するとともに出力する。

一方、照明変動情報１２６５が、照明変動が発生しているという判定である場合、図９に示す入力画像１２０のエッジヒストグラム情報１２８５と、図３に示す理想画像エッジヒストグラム情報２９５とを相関抽出部１２１３で相関をとることにより、相関が高いブロック領域を抽出する。

次に、エッジ情報１２８０から、入力画像１２０のブロック領域内に含まれるエッジ成分の強度が低い画素を抽出する。次に、そのエッジ成分の強度が低い画素から、情報飽和画素情報１２３０により情報飽和画素を削除した画素を安定画素判定部１２１２で安定画素と判定し、色補正用画素候補情報１６０として出力する。

そして、色補正用画素候補抽出部１０６は、色補正用画素候補情報１６０を、図８に示す、色補正パラメタ算出部１０５へ出力する。

すなわち、本実施形態に係る画像処理装置によれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。

そして、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。

また、その際に、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画像から除いた残りの画素の変動値が大きい画素、および入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素を除く。

さらに、照明変動の際の、入力画像と理想画像との相関が高い領域のうち、エッジ強度が弱い画素を対象にして、上記の色補正を行うことにより、多様な時刻の多様な照明環境で撮影した入力画像でかつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。

言い換えると、本実施形態の画像処理装置は、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、上述した不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。

その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正をするので、背景画像の色に偏りにくく、また、外光の影響を受けにくい、基準画像に近い色味を再現することができる。

つまり、本実施形態に係る画像処理装置によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理装置を提供することが出来る。

以上、本発明の第４の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

＜第５の実施形態＞
次に、第２乃至第４の実施形態を基本とする、第５の実施形態について説明する。

本実施形態は、図１０に示す、情報処理装置を用いて、図２Ａまたは図２Ｂまたは図８に示す、画像処理装置１００の各機能ブロックを、図６に示す、本画像処理装置１００の制御フローであるソフトウェアと協働することにより動作する点が異なる。

このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２乃至第４の実施形態と同様な構成についての重複する説明は省略する。

図１０は、第５の実施形態に係るコンピュータ・プログラムによる画像処理装置の概要を示すブロック図である。

図１０に示す、情報処理装置による画像処理装置５００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ（以下、ＣＰＵと称する）５１、メモリ５２、ストレージ５３、記録媒体５４および、チップセットならびに、入出力コントローラを有するとともに、上述のＨＷと協働して動作するソフトウェアである、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（以下、ＯＳと称する）、Ａｐｐｌｉｃａｔｉｏｎ Ｓｏｆｔｗａｒｅ（以下、ＡＰと称する）を有する。

また、本情報処理装置による画像処理装置５００は、カメラ５５、モニタ５６、および、入力デバイスならびに、通信インタフェースを接続する。

次に、図１０に示す、本情報処理装置による画像処理装置５００の動作について説明する。

まず、本情報処理装置による画像処理装置５００の設置者は、カメラと、本装置を設置する現場において、本装置を起動ことにより、メモリ５２に、ＯＳおよび、必要なＡＰをストレージ５３から読込む。

なお、制御する際に必要となる、たとえば各閾値などの設定値情報は、たとえば、ストレージ５３または、チップセットの図示してない、読書き可能な不揮発性の記憶部に保持する。

ここで、保持する各閾値などの設定値情報とは、たとえば、図３に示す、前処理部３でいえば、ノイズ、画素値飽和および不足画素除去部２０１の、画素値飽和および不足画素を範囲を有する閾値で除去する際の閾値や、カラーチャートによる色補正パラメタ算出部２０２が出力する色補正パラメタ２７０などである。

次に、設置者は、本画像処理装置５００のＡＰの一部である図示していない初期設定プログラムを使って初期設定を実行する。

初期設定プログラムは、モニタ５６にガイダンスおよび撮影した画像を表示するので、設置者は、ガイダンスに従って入力デバイスを用いて、設置したカメラを用いた背景画像の撮影、同じくカラーチャートの撮影、および初期設定プログラムによる、カラーチャートを用いた色補正を手動もしくは自動で実行する。

これにより、本画像処理装置５００の前処理部３は、基準色画像情報１１０を出力する（図６に示すステップＳ１００１）。そして、初期設定後の、ＡＰの一部である図示していない運用プログラムを使って運用を開始する。その際、初期設定のために使用したモニタ５６、入力デバイスは、取り外してもよい。

次に、ＡＰの運用プログラムは、図２Ａまたは図２Ｂまたは図８に示す分類画素抽出部で、基準色画像情報１１０の画素の画素値に応じて各区画に分類するとともに、図６に示す、分類画素情報１５０を出力する（ステップＳ１００２）。

以降、ＡＰの運用プログラムは、第２の実施形態ですでに述べた、図６に示す制御フローの処理を順次、実行するため、途中の説明は省略する。そして、図２Ａまたは図２Ｂまたは図８に示す色補正部は、色補正結果画像１３０を出力する（ステップＳ１００９）。

なお、色補正の制御をする際に必要となる、上述した各閾値などの最新の設定値情報は、たとえば、ストレージ５３や、チップセットの図示していない、読書き可能な不揮発性記憶部で保持もしくは更新する。

ここで、更新する情報としては、たとえば、色補正パラメタや背景モデル画像などである。

以上に述べたように、図２Ａまたは図２Ｂまたは図８に示す、画像処理装置の概要を示すブロック図の各機能を動作させる、図６に示す画像処理装置の制御フローは、図１０に示す情報処理装置による画像処理装置５００にコンピュータ・プログラムとして用いることにより、同様の動作を実行するとともに同様の効果を得ることができる。

すなわち、上述の第２乃至第４の実施形態を例に説明した本発明は、画像処理装置５００を情報処理装置で実現するために、その動作説明において参照した図６に示す、制御フローの機能を、実現可能なＡＰつまり、コンピュータ・プログラムとして供給した後、そのコンピュータ・プログラムを画像処理装置５００として用意したＣＰＵ５１および協働するＯＳならびにＡＰを、メモリ５２に読出して実行することによって達成される。

ここで、当該ＣＰＵ５１に供給されるコンピュータ・プログラムは、読書き可能な不揮発性ストレージ５３に格納すればよい。

また、前記の場合において、当該装置内へのコンピュータ・プログラムの供給方法は、フロッピー（登録商標）ディスクやＣＤ−ＲＯＭ等の各種記録媒体５４を介して当該装置内にインストールする方法や、通信インタフェースを用いて、インターネット等の通信ネットワークを介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。

そして、このような場合において、本発明は、係るコンピュータ・プログラムを構成するコード、或いは係るコードが記録されたところの、コンピュータ読み取り可能な記憶媒体によって構成されると捉えることができる。

また、本画像処理装置の色補正を行う処理を、ソフトウェアによって行うことにより、汎用の情報処理装置を用いて画像処理装置を構成することができるとともに、プログラムおよび各閾値などの設定情報を書き換えるだけで、より柔軟に、幅広いカメラ設置現場の環境に対応することができるという効果がある。

つまり、本実施形態に係る画像処理システムによれば、多様な、環境光などの外乱に強く、背景画像を基にした、基準画像の様々な色を用いて、広範囲の色味を再現する画像処理装置を提供するとともに、ソフトウェアにより、現場環境に合わせて、より柔軟な色補正処理を行うことができる。

すなわち、本実施形態に係る画像処理方法とそのプログラム・ソフトウェアによれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。

そして、求めた色補正係数を用いた色補正関数を用いて、処理対象の背景画像を含む入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。

また、その際に、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素、および入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素を除く。

さらに、照明変動の際の、入力画像と理想画像との相関が高い領域のうち、エッジ成分が低い画素を対象にして、上記の色補正を行うことにより、多様な時刻の多様な照明環境で撮影した入力画像でかつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。

また、本画像処理装置を構成する情報処理装置が有するＣＰＵは、上述した入力画像の色を補正する制御を、ＯＳ、ＡＰであるプログラム・ソフトウェアと協働することにより、汎用性のある情報処理装置を用いて本画像処理装置を構成することができるとともに、プログラム・ソフトウェアや、各閾値などの設定値情報を書き換えるだけで、より柔軟に、幅広いカメラの設置環境に対応することができるという効果がある。

言い換えると、本実施形態の画像処理方法とそのプログラム・ソフトウェアは、多様な照明環境で撮影した入力画像であっても、プログラム・ソフトウェアを用いて、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、上述した不要な画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。

その求めた色補正パラメタから色補正関数を求めて、入力画像の色を補正するので、背景画像の色に偏りにくく、また、外光の影響を受けにくい、基準画像に近い色味を再現することができる。

つまり、本実施形態に係る画像処理方法とそのプログラム・ソフトウェアによれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理装置を提供することが出来る。

以上、本発明の第５の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

＜第６の実施形態＞
次に、第２乃至第５の実施形態を基本とする、変形例である第６の実施形態について説明する。

本実施形態は、たとえば、図２Ａまたは図２Ｂに示す、画像処理装置１００の分類画素抽出部１０１と、色補正用画素候補抽出部１０２と、色補正パラメタ算出部１０３と、色補正部１０４と、前処理部３とのいずれか、もしくは全てを、集積回路として構成する点が異なる。

このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２乃至第５の実施形態およびその変形例と同様な構成についての重複する説明は省略する。

本実施形態では、色補正をするための上述したような各機能ブロックに集積回路を適用することにより、系としての画像処理システムを構築することができる。

そのため、本画像処理装置１００は、本画像処理システム１００と読み替えることもできる。

そして、本画像処理システム１００は、上述した基本となる実施形態の変形例として、現在では一般的な技術である集積回路を用いることにより、上述した基本となる実施形態の効果に加えて、小型化、低消費電力化が可能となるとともに、これらに伴い、多様な現場への設置が容易になるという効果を得ることもできる。

そして、図６に示す、本画像処理システム１００の制御フローは、上述した集積回路により実行する。なお、図６に示す、制御フローは、第２の実施形態で説明しているので、省略する。

また、上述した図２Ａまたは図２Ｂに示す機能ブロックの一部を、消費電力との兼ね合いに応じて、集積回路化するとともに、残りはソフトウェアにより処理するように分担する装置構成としてもよい。

その場合、図６に示す、本画像処理システム１００の制御フローは、集積回路化する機能ブロック以外の機能を、ソフトウェアを用いて、ＣＰＵにおいて実行すればよい。

例えば、カメラの設置環境が変化することが少なければ、図６に示すステップＳ１００１を行う前処理部３は、集積回路化するとともに、残りの機能ブロックは、図６に示す、制御フローのステップＳ１００２以降をソフトウェアにより実行するようにすればよい。

また、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素と、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素および、照明変動の際の、入力画像と理想画像とのエッジ相関が高い領域を予め入力画素から除く必要がなければ、色補正用画素候補抽出部１０２は、用いず、当該機能ブロックは集積回路化をしないようにしてもよい。

その際は、不要な画素の影響は受けやすくなるが、簡素な構成で、かつ、安価にすることができる。

なお、各閾値などの設定値情報は、集積回路に内蔵する読書き可能な不揮発性記憶部(不図示、以下同様)、もしくは図６に示す、ストレージ５３において記憶するとともに、上述の閾値を柔軟に調整できるようにしてもよい。

すなわち、本実施形態に係る画像処理システムによれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に、所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する座標にある入力画像の画素を色補正するための色補正係数を算出する。

そして、求めた色補正係数を用いた色補正関数を用いて、入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。

また、その際に、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素および、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素を除く。

さらに、照明変動の際の、入力画像と理想画像との相関が高い領域のうち、エッジ成分が低い画素を対象にして、上記の色補正を行うことにより、多様な時刻の多様な照明環境で撮影した入力画像でかつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。

また、本画像処理システムが有する色補正を行うディスクリート(個別部品)回路もしくは、ソフトウェアを、集積回路によって実現することにより、本画像処理システムを、たとえば、小型化したり、ＣＰＵによって行う色補正を、集積回路によって行うことにより、低消費電力化したり、これらに伴い、本画像処理システムを多用な場所に設置しやすくなるという新たな効果を得ることができる。

さらに、一部分を集積回路化するとともに、残りをソフトウェアで分担する装置構成とすることにより、ＣＰＵの負荷や、コストのバランスをとることもできる。

言い換えると、本実施形態の画像処理システムは、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、不要な画素や、照明変動の際に生じる入力画像の変動に伴う画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。

その求めた色補正パラメタから色補正関数を求めて、処理対象の背景画像を含む入力画像の色を補正するので、背景画像の色に偏りにくく、外光の影響を受けにくい、基準画像に近い色味を再現することができる。

つまり、本実施形態に係る画像処理装置によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理システムを提供することが出来る。

以上、本発明の第６の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

＜第７の実施形態＞
次に、第２乃至第６の実施形態を基本とする、変形例である第７の実施形態について説明する。

本実施形態では、たとえば、カメラ設置現場と、そこで撮影した画像をモニタリングする現場が離れている場合、両者を、通信ネットワークを用いて接続することにより、遠隔地で撮影した被写体である人、物の様子をモニタしたり、人物の服装色などの傾向を把握することができる。

すなわち、例えば監視システム、あるいは被写体観察システムなどの画像処理システムを構築できる点が異なる。

このため、以下の説明においては、本実施形態に係る特徴的な部分を中心にさらに詳しく説明すると共に、上述した第２乃至第６の実施形態およびその変形例と同様な構成についての重複する説明は省略する。

本実施形態の構成を、図１１を用いて説明する。図１１は、第７の実施形態に係る画像処理システムの概要を示すブロック図である。

本画像処理システムは、情報処理装置からなる画像処理装置５００をカメラ設置現場に設置するとともに、本画像処理装置５００の通信インタフェースを用いることにより、通信ネットワークに接続する。

一方で、モニタ６１と、入力デバイスを有し、通信インタフェースを用いることにより、通信ネットワークに接続する、情報処理装置６００をモニタリング現場に設置する。この情報処理装置６００は、情報処理装置を用いた画像処理装置５００と同様の内部構成であるが、カメラ５５は用いない。

なお、情報処理装置からなる画像処理装置５００および、情報処理装置６００は、共に、汎用的な情報処理装置であっても、専用の情報処理装置であってもよい。

また、ここで用いる通信ネットワークは、本画像処理装置を設置する現場で用いるカメラで撮影した画像を伝送することが可能な帯域幅を有する、例えば、有線や無線を用いた専用回線やインターネットなどである。

図１１に示す、画像処理システムについて、その動作を説明する。

まず、設置者は、カメラ設置現場で本画像処理装置５００を設置する際に、画像処理装置５００において動作する、図示していないＡＰが有する初期設定プログラムを用いて、背景となる画像およびカラーチャートの画像を手動もしくは自動により、カメラ５５によって、撮影するとともに、色補正を行い、図示していない基準画像を本画像処理装置５００の内部に予め用意する。

以降、カメラ設置現場で、カメラ５５を用いて撮影した被写体画像は、画像処理装置５００で動作する、図示していないＡＰが有する運用プログラムを用いて色補正を行うとともに、通信インタフェースを用いて、通信ネットワークを通して、相手側の情報処理装置６００に送信する。

実際には、色補正をした画像は更に、通信ネットワークが有する帯域に対応するように、たとえば、図示していない画像圧縮を行ってから送信する。

情報処理装置６００は、受信した色補正された画像を、図示していないＡＰが有する表示プログラムを用いることにより、モニタ６１を用いて表示する。

実際には、受信した画像データは圧縮されているので、情報処理装置６００は、たとえば、図示していない、画像伸張を行ってから、色補正して送信されてきた画像を表示する。

以上により、モニタリング現場でモニタする観察者は、通信ネットワークを通して遠隔地にあるカメラ設置現場の、多様な照明環境で撮影したのちに色補正したカメラ画像をよい色味でモニタすることができる。

すなわち、本実施形態に係る画像処理システムによれば、背景画像をカラーチャートを用いて色補正して得た基準画像の画素の座標と画素値である基準色画像情報を、画素値に応じて区画毎に分類し、区画毎に所定の個数の画素を選択するとともに、その選択した画素を基準として、対応する入力画像の画素を色補正するための色補正係数を算出する。

そして、求めた色補正係数を用いた色補正関数を用いて、入力画像に適用することによって、色空間内で、より広範囲の色味に補正することができ、色再現性が向上するという効果を奏することができる。

また、その際に、対応する入力画像の画素に含まれる、不要な画素である、情報飽和画素と、背景モデル差分が大きい画素と、単位時間あたりの上述した画素を入力画素から除いた残りの画素の変動値が大きい画素および、入力画像の前景物体の画像特徴量があらかじめ用意する特徴量と近似する画素を除く。

さらに、照明変動の際の、入力画像と理想画像との相関が高い領域のうち、エッジ成分が低い画素を対象にして、上記の色補正を行うことにより、多様な時刻の多様な照明環境で撮影した入力画像でかつ、その画像に照明の変動や、前景物体の重なりがあったとしても、より基準画像に近い画像の色味を再現することができる。

また、本画像処理システムは、照明変動を含む、幅広い照明環境にあるカメラ設置現場で撮影した被写体の画像を、色補正したのち、通信ネットワークを通して、遠隔地のモニタリング現場にある表示機器を有する情報処理装置に伝送するとともに、画像を表示する。

これにより、カメラ設置現場での被写体である人や物および、人物の服装色の傾向を、遠隔地において、基準画像に近い色味で再現することができ、これらの監視や、観測を容易に行うことができる。

言い換えると、本実施形態の画像処理システムは、多様な照明環境で撮影した入力画像であっても、基準画像の画素を分類した区画毎に、所定の個数の画素を選ぶことにより、実画像の画素を分散するように選ぶとともに、予め入力画像から、不要な画素や、照明変動の際に生じる入力画像の変動に伴う画素を除いた画素に対して、選んだ基準画像の画素に近づけるような色補正パラメタを求める。

その求めた色補正パラメタから色補正関数を求めて、処理対象の背景画像を含む入力画像の色を補正するので、背景画像の色に偏りにくく、外光の影響を受けにくい、基準画像に近い色味を再現することができる。

つまり、本実施形態に係る画像処理装置によれば、多様な、環境光などの外乱に強く、広範囲の色味を再現する画像処理システムを提供することが出来る。

以上、本発明の第７の実施形態として、上述した構成および動作を例に説明したが、本発明は、必ずしも係る構成や動作には限定されない。

なお、上述した実施形態及びその変形例の一部又は全部は、以下の付記のようにも記載されうる。しかしながら、上述した実施形態及びその変形例により例示的に説明した本発明は、以下には限らない。即ち、
（付記１）
色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて複数の区画に分類し、該分類した区画毎に所定の個数の画素を選択するとともに、
入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記入力画像を構成する画素から除いた画素である色補正候補画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める
ことを特徴とする画像処理装置。
（付記２）
付記１に記載の画像処理の動作を行う制御部を備え、
前記制御部は、
基準画像である基準色画像の画素を、その画素値に応じて、複数の区画に分類する分類画素抽出部と、
前記分類した区画毎に、所定の個数の画素を選択し、該選択した画素の位置に対応する、前記処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数である色補正パラメタ情報を求める色補正パラメタ算出部と、
前記色補正パラメタ情報を求める際に、前記入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記処理対象の背景画像を含み前記入力画像を構成する画素から予め除いた色補正候補画素である色補正用画素候補情報とする色補正用画素候補抽出部と
を含むことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記複数種類の不安定要因は、所定の閾値よりも画素値が大きく飽和した画素、または画素値が前記所定の閾値よりも不足する画素のいずれかである情報飽和画素か、前記入力画像を構成する画素の画素値と、背景領域の画像である背景モデル画像を構成する画素の画素値との差分が、前記所定の閾値より大きい背景モデル差分画素か、前記情報飽和画素であり、かつ、前記背景モデル差分画素が、前記背景領域であると判定した画素と一致する前記入力画像の画素の画素値の所定時間当たりの変動が、所定の閾値より大きい画素値変動画素であり、前記制御部は、前記処理対象の背景画像を含み前記入力画像を構成する画素から、前記複数種類の不安定要因であるいずれかの画素を予め除いた前記色補正用画素候補情報を対象として、前記色補正パラメタ情報を求めることを特徴とする付記１または付記２に記載の画像処理装置。
（付記４）
前記入力画像の画素に含まれる、前記複数種類の不安定要因は、さらに、前記入力画像の輪郭であるエッジ成分の強度が所定の閾値より大であるエッジ画素か、前景物体の画素と、予め用意する物体画像の画素との特徴量の差が、所定の閾値より小である前景領域画素であり、前記制御部は、前記処理対象の背景画像を含み前記入力画像を構成する画素から、前記いずれかの画素を予め除いた前記色補正用画素候補情報を対象として、前記色補正パラメタ情報を求めることを特徴とする付記１乃至付記３に記載の画像処理装置。
（付記５）
前記色補正パラメタ情報を用いて、色補正関数を求めて、求めた該色補正関数を用いて、前記処理対象の背景画像を含む前記入力画像を色補正する補正部をさらに備えることを特徴とする付記１乃至付記４に記載の画像処理装置。
（付記６）
前記制御部は、前記背景モデル差分画素である背景モデル差分情報の抽出を阻害する照明変動が生じているか、否かの判定を、前記処理対象の背景画像を含み前記入力画像を構成する画素から、前記情報飽和画素を除いた画素数に対して、前記入力画像と前記背景モデル画像との画素の画素値の差分が、所定の閾値以上で生じている画素数の割合が、所定の閾値より高い場合、照明変動が起きていると判定するとともに、該判定結果に基いて出力する照明変動情報の内容に応じて、安定画素判定部における安定した画素の抽出方法を変更することを特徴とする付記１乃至付記４に記載の画像処理装置。
（付記７）
前記制御部は、前記照明変動が生じていることを判定し、該判定結果に基いて、前記照明変動情報として出力する際に、前記画素値変動画素の画素値の変動値の大きさが、所定の閾値以下の場合、前記照明変動が発生したのちに、該照明変動が安定したタイミングと判定し、前記照明変動情報として出力することを特徴とする付記１乃至付記４に記載の画像処理装置。
（付記８）
前記照明変動情報の内容に応じた、安定画素抽出方法の変更は、前記照明変動が生じていると判定する場合は、前記エッジ画素の座標と強度と方向との組からなるエッジ情報および、該エッジ情報を基にした、エッジヒストグラム情報から生成する相関情報とを、もしくは前記照明変動が生じていないと判定する場合は、前記エッジ情報を基にした、前記エッジヒストグラム情報から生成する前記相関情報のみを、前記安定画素判定部に出力することを特徴とする付記６または付記７に記載の画像処理装置。
（付記９）
前記制御部は、前記照明変動情報の内容に応じて、前記照明変動が生じていると判定する場合は、それぞれブロック領域に分割した前記背景画像を色見本で色補正した理想画像、および入力画像の、それぞれのエッジヒストグラム情報を基に、相関抽出部は、前記理想画像に対する前記入力画像のエッジヒストグラムの相関が高いブロック領域を抽出するとともに、前記安定画素判定部は、前記エッジ情報から、前記入力画像のブロック領域内に含まれるエッジ成分の強度が弱い画素を抽出し、前記エッジ成分の強度が所定の閾値より弱い画素から、前記情報飽和画素を除いた画素を前記色補正用画素候補情報として出力することを特徴とする付記７または付記８に記載の画像処理装置。
（付記１０）
前記制御部が有する、前記色補正用画素候補抽出部の補正画像差分抽出部は、前記照明変動情報が、照明変動が発生していると判定する場合で、次の入力画像が入力される際に、現在の前記入力画像を色補正した情報である色補正結果情報と、前記基準色画像情報との差分を抽出し、その差分が所定の閾値以下の座標と画素値を、補正画像差分情報として前記安定画素判定部へ出力するするとともに、前記補正画像差分情報の画素の画素値が所定の閾値以下である画素の座標と、その座標に対応する前記入力画像の画素値に基づいて、背景モデル更新情報を作成し、背景モデル記憶装置に格納している前記背景モデル画像を更新することを特徴とする付記１に記載の画像処理装置。
（付記１１）
前記制御部が有する前景物体検出部は、前記入力画像の前記背景領域を覆う可能性がある前景領域を、前記入力画像の画像特徴量と、予め用意した前記前景領域となり得る物体の画像特徴量とを比較し、画像特徴量同士が所定の閾値より大きい領域を類似する前記前景領域として抽出することにより、顔、頭部、あるいは人物などの物体を検知するとともに、前記安定画素判定部で、前記抽出した前景領域を構成する画素を予め除去することを特徴とする付記１または付記４に記載の画像処理装置。
（付記１２）
前記背景画像と、特定の照明環境のもとで理想的な画素値を有する色見本とを用いて、予め任意の時刻における照明環境で、手動もしくは自動により撮影した、複数の色の前記色見本であるカラーチャート画像の画素の画素値を、該カラーチャートが有する理想的な画素値に、それぞれ近づける、カラーチャートによる色補正パラメタを算出し、そのカラーチャートによる色補正パラメタに基づいて、同じ条件で撮影した前記背景画像を色補正することにより得た前記基準色画像の画素を、その座標と画素値の組とからなる、基準色画像情報として生成する前処理部をさらに備えることを特徴とする付記１または付記２に記載の画像処理装置。
（付記１３）
前記前処理部は、前記背景画像と、カラーチャート画像とに含まれる不要な画素であるノイズの画素、画素値が飽和した画素、および画素値が不足した画素を予め除去することを特徴とする付記１２に記載の画像処理装置。
（付記１４）
色見本を用いて背景画像を予め色補正した基準画像の画素を、該画素の画素値に応じて複数の区画に分類し、
該分類した区画毎に、所定の個数の画素を選択するとともに、
入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、
前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする画像処理の方法。
（付記１５）
画像処理装置を制御するコンピュータ・プログラムであって、そのコンピュータ・プログラムにより、
色見本を用いて背景画像を予め色補正した基準画像の画素を該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択するとともに、入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能を、コンピュータに実現させることを特徴とするコンピュータ・プログラム。
（付記１６）
色見本を用いて背景画像を予め色補正した基準画像の画素を、該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択するとともに、入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能の、いずれかの機能を集積回路によって実現することを特徴とする画像処理システム。
（付記１７）
通信ネットワークを通して、互いに通信可能に接続された、カメラ設置現場に設置する情報処理装置からなる前記画像処理装置と、該画像処理装置から送信する画像を遠隔地でモニタリングする別の情報処理装置を有し、前記画像処理装置は、付記１に記載の画像処理装置を用いることを特徴とする画像処理システム。

本発明は、上述した各実施形態には限定されず、例えば、企業や公共施設などでの人物や物体などのモニタリングに供するカメラ映像の画像処理に適用可能である。

１ 制御部
２ 補正部
３ 前処理部
１０ 画像処理装置
１１ 背景画像
１２ 入力画像
１３ 色補正結果画像
１４ 基準画像
１５ 色補正係数
１００ 画像処理装置
１０１ 分類画素抽出部
１０２ 色補正用画素候補抽出部
１０３ 色補正パラメタ算出部
１０４ 色補正部
１０５ 色補正パラメタ算出部
１０６ 色補正用画素候補抽出部
１０７ 色補正部
１０８ 分類画素抽出部
１１０ 基準色画像情報
１２０ 入力画像
１３０ 色補正結果画像
１４０ 座標情報
１５０ 分類画素情報
１６０ 色補正用画素候補情報
１７０ 色補正パラメタ情報
１８０ 色補正結果情報
２０１ ノイズ、画素値飽和および不足画素除去部
２０２ カラーチャートによる色補正パラメタ算出部
２０３ 色補正部
２０４ 基準色画像情報抽出部
２０５ 理想画像エッジヒストグラム情報蓄積部
２０９ エッジヒストグラム算出部
２１０ 背景画像
２１５ エッジ算出部
２２０ カラーチャート画像
２５０ 背景画像情報
２６０ カラーチャート画像情報
２７０ 色補正パラメタ
２８０ 理想画像
２９５ 理想画像エッジヒストグラム情報
４０１ 色補正パラメタ推定用画素情報選択部
４０２ 色補正用パラメタ算出部
４１０ 選択画素情報
１２０１ 情報飽和画素抽出部
１２０２ 背景モデル差分抽出部
１２０３ 画素変動値算出部
１２０４ 安定画素判定部
１２０５ エッジ算出部
１２０６ 前景物体検出部
１２０７ 安定画素判定部
１２０８ 補正画像差分抽出部
１２０９ エッジヒストグラム算出部
１２１０ 背景モデル情報
１２１１ 照明変動対応画素抽出部
１２１２ 安定画素判定部
１２１３ 相関抽出部
１２１４ 背景モデル記憶装置
１２１５ エッジ算出部
１２２０ 背景モデル更新情報
１２３０ 情報飽和画素情報
１２４０ 背景モデル差分情報
１２４５ エッジ情報
１２４６ 物体抽出情報
１２５０ 画素変動値情報
１２５５ 背景モデル更新情報
１２６０ 補正画像差分情報
１２６５ 照明変動情報
１２７０ 背景モデル差分情報
１２７５ 画素変動値情報
１２８０ エッジ情報
１２８５ エッジヒストグラム情報
１２９０ 相関情報

Claims (10)

1. 色見本を用いて背景画像を予め色補正した基準画像を構成する画素を、該画素の画素値に応じて複数の区画に分類し、該分類した区画毎に所定の個数の画素を選択するとともに、
   入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記入力画像を構成する画素から除いた画素である色補正候補画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理の動作を行う制御部を備え、
   前記制御部は、
   基準画像である基準色画像の画素を、その画素値に応じて、複数の区画に分類する分類画素抽出部と、
   前記分類した区画毎に、所定の個数の画素を選択し、該選択した画素の位置に対応する、前記処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数である色補正パラメタ情報を求める色補正パラメタ算出部と、
   前記色補正パラメタ情報を求める際に、前記入力画像を構成する画素に含まれる複数種類の不安定要因がそれぞれ所定の閾値を越える画素を前記処理対象の背景画像を含み前記入力画像を構成する画素から予め除いた色補正候補画素である色補正用画素候補情報とする色補正用画素候補抽出部と
   を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数種類の不安定要因は、所定の閾値よりも画素値が大きく飽和した画素、または画素値が前記所定の閾値よりも不足する画素のいずれかである情報飽和画素か、前記入力画像を構成する画素の画素値と、背景領域の画像である背景モデル画像を構成する画素の画素値との差分が、前記所定の閾値より大きい背景モデル差分画素か、前記情報飽和画素であり、かつ、前記背景モデル差分画素が、前記背景領域であると判定した画素と一致する前記入力画像の画素の画素値の所定時間当たりの変動が、所定の閾値より大きい画素値変動画素であり、前記制御部は、前記処理対象の背景画像を含み前記入力画像を構成する画素から、前記複数種類の不安定要因であるいずれかの画素を予め除いた前記色補正用画素候補情報を対象として、前記色補正パラメタ情報を求めることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記制御部は、前記背景モデル差分画素である背景モデル差分情報の抽出を阻害する照明変動が生じているか、否かの判定を、前記処理対象の背景画像を含み前記入力画像を構成する画素から、前記情報飽和画素を除いた画素数に対して、前記入力画像と前記背景モデル画像との画素の画素値の差分が、所定の閾値以上で生じている画素数の割合が、所定の閾値より高い場合、照明変動が起きていると判定するとともに、該判定結果に基いて出力する照明変動情報の内容に応じて、安定画素判定部における安定した画素の抽出方法を変更することを特徴とする請求項１乃至請求項３に記載の画像処理装置。
5. 前記照明変動情報の内容に応じた、安定画素抽出方法の変更は、前記照明変動が生じていると判定する場合は、前記エッジ画素の座標と強度と方向との組からなるエッジ情報および、該エッジ情報を基にした、エッジヒストグラム情報から生成する相関情報とを、もしくは前記照明変動が生じていないと判定する場合は、前記エッジ情報を基にした、前記エッジヒストグラム情報から生成する前記相関情報のみを、前記安定画素判定部に出力することを特徴とする請求項４に記載の画像処理装置。
6. 前記制御部は、前記照明変動情報の内容に応じて、前記照明変動が生じていると判定する場合は、それぞれブロック領域に分割した前記背景画像を色見本で色補正した理想画像、および入力画像の、それぞれのエッジヒストグラム情報を基に、相関抽出部は、前記理想画像に対する前記入力画像のエッジヒストグラムの相関が高いブロック領域を抽出するとともに、前記安定画素判定部は、前記エッジ情報から、前記入力画像のブロック領域内に含まれるエッジ成分の強度が弱い画素を抽出し、前記エッジ成分の強度が所定の閾値より弱い画素から、前記情報飽和画素を除いた画素を前記色補正用画素候補情報として出力することを特徴とする請求項４または請求項５に記載の画像処理装置。
7. 前記制御部が有する、前記色補正用画素候補抽出部の補正画像差分抽出部は、前記照明変動情報が、照明変動が発生していると判定する場合で、次の入力画像が入力される際に、現在の前記入力画像を色補正した情報である色補正結果情報と、前記基準色画像情報との差分を抽出し、その差分が所定の閾値以下の座標と画素値を、補正画像差分情報として前記安定画素判定部へ出力するするとともに、前記補正画像差分情報の画素の画素値が所定の閾値以下である画素の座標と、その座標に対応する前記入力画像の画素値に基づいて、背景モデル更新情報を作成し、背景モデル記憶装置に格納している前記背景モデル画像を更新することを特徴とする請求項１に記載の画像処理装置。
8. 色見本を用いて背景画像を予め色補正した基準画像の画素を、該画素の画素値に応じて複数の区画に分類し、
   該分類した区画毎に、所定の個数の画素を選択するとともに、
   入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、
   前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求めることを特徴とする画像処理の方法。
9. 画像処理装置を制御するコンピュータ・プログラムであって、そのコンピュータ・プログラムにより、
   色見本を用いて背景画像を予め色補正した基準画像の画素を該画素の画素値に応じて、複数の区画に分類し、該分類した区画毎に、所定の個数の画素を選択するとともに、入力画像の画素に含まれる、複数種類の不安定要因が、それぞれ所定の閾値を越える画素を、前記入力画像の画素から除いた画素に対して、前記選択した画素の位置に対応する、処理対象の背景画像を含み前記入力画像を構成する画素の画素値を、前記選択した画素の画素値に近づける色補正係数を求める機能を、コンピュータに実現させることを特徴とするコンピュータ・プログラム。
10. 通信ネットワークを通して、互いに通信可能に接続された、カメラ設置現場に設置する情報処理装置からなる前記画像処理装置と、該画像処理装置から送信する画像を遠隔地でモニタリングする別の情報処理装置を有し、前記画像処理装置は、請求項１に記載の画像処理装置を用いることを特徴とする画像処理システム。

Images