JP2016134803A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】複数のカメラの撮影範囲が重ならない場合に、ユーザに対する負荷を軽減して複数のカメラ間の色の違いを低減する。
【解決手段】複数のカメラで撮影された画像からそれぞれ被写体を検出する被写体検出手段と、前記被写体検出手段により検出された複数の被写体の中から、前記被写体の領域に含まれる形状または模様に基づいて同一の被写体か否かを判定する同一被写体判定手段と、前記同一被写体判定手段により同一であると判定されたそれぞれの被写体の領域の色情報に基づいて、前記複数のカメラで撮影された画像間の色の差異を補正するための補正パラメータを取得する取得手段と、を有する。
【選択図】図３

Description

本発明は、特に、画像中の同一の被写体の色の差を低減するために用いる好適な画像処理装置、画像処理方法、プログラム及び記録媒体に関する。

従来から、コンビニ、ショッピングモール、空港などに複数のカメラを設置し、設置された複数のカメラがネットワークを介してＰＣなどに接続されることによって複数の地点の監視を可能とするシステムがある。例えば、あるカメラにより過去に撮影された録画映像に含まれている万引き犯など特定の人物を、現在の複数のカメラの映像の中から探すといった使い方がある。このとき、録画済みの映像と現在の複数のカメラの映像とを並べて表示し、目視によって確認することにより、特定の人物が現在どのカメラの撮影範囲にいるかを知ることができる。

複数のカメラ映像から特定の人物を目視によって同定する際に、人物の色がずれていると正しく同定することが困難になる。カメラ上で再現される色は設置された場所の環境光の色温度により影響を受けることが知られている。例えば蛍光灯と白熱灯とで比べると、蛍光灯下では物体は青色が強く再現され、白熱灯下では物体は赤色が強く再現される。屋外では、晴天下の日なたと日陰とでは色温度が異なる。カメラは、様々な照明条件のもとに設置されるので、以上のような環境光の色温度の違いの影響を大きく受ける。また、カメラは、レンズなどの光学系や撮像素子などが異なると色再現特性が異なる。複数のカメラを設置する場合、全てのカメラを同じ色再現特性を持ったカメラで揃えることは難しい。結果としてカメラ間で色再現特性が異なることになる。

以上のように監視カメラのネットワークでは、カメラ間で色の違いが発生することは避けられない課題である。そこで、このようなカメラ間の色の違いを補正する技術が提案されている。

特許文献１には、撮影領域の一部が互いに重複するように配置された複数のカメラ間での補正の方法に関して開示されている。この方法では、重複した撮影領域を用いてカラーヒストグラム（ＲＧＢ信号の積算値）を色ごとに算出し、各カメラ画像間の算出した色ごとの積算値の差分が小さくなるように調整する。

特開２００７―３２９５５５号公報

しかしながら、従来の技術では、より広域を監視しようとした場合に課題が生じる。広域の場所になればなるほどカメラの撮影領域が常に重複するように設置することは難しくなるため、複数のカメラの撮影領域が重複しないことが多く起こりうる。このような場合には、色の違いを低減することができないため、特許文献１に記載の方法では色の違いを補正することができない。

従って、従来の技術では、カメラの撮影領域が重複していない場合は、カメラ間の色補正を行うために、ユーザにより、補正対象のカメラに対して基準チャートを撮影する指示を行ったり、同一人物画像の指定を行ったりする必要がある。このため、ユーザに多くの負荷がかかってしまう。
そこで、本発明は、複数のカメラの撮影範囲が重ならない場合に、ユーザに対する負荷を軽減して複数のカメラ間の色の違いを低減することを目的とする。

上記課題を解決するために、本発明におけるカメラ間色補正装置は、複数のカメラで撮影された画像からそれぞれ被写体を検出する被写体検出手段と、前記被写体検出手段により検出された複数の被写体の中から、前記被写体の領域に含まれる形状または模様に基づいて同一の被写体か否かを判定する同一被写体判定手段と、前記同一被写体判定手段により同一であると判定されたそれぞれの被写体の領域の色情報に基づいて、前記複数のカメラで撮影された画像間の色の差異を補正するための補正パラメータを取得する取得手段と、を有することを特徴とする。

本発明によれば、複数のカメラの撮影範囲が重ならない場合に、ユーザに対する負荷を軽減して複数のカメラ間の色の違いを低減することが可能となる。

カメラネットワークシステムのシステム構成の一例を示す図である。 カメラ間色補正装置、モニタリング装置、録画装置のハードウェア構成の一例を示す図である。 カメラ間色補正装置の機能構成の一例を示すブロック図である。 録画装置の機能構成の一例を示すブロック図である。 モニタリング装置の機能構成の一例を示す図である。 カメラ間色補正装置の処理の一例を示すフローチャートである。 カメラのレイアウト情報の一例を示す図である。 録画装置の処理の一例を示すフローチャートである。 モニタリング装置の処理の一例を示すフローチャートである。

図１は、カメラネットワークシステムのシステム構成の一例を示す図である。
撮像装置１０１〜１０３は、撮影した映像を、ネットワーク１０４を介してカメラ間色補正装置１０５などに送信する。本実施形態では、撮像装置１０１〜１０３は、カメラであるとする。また、本実施形態では、ネットワーク上の撮像装置１０１〜１０３は、互いに撮影範囲が重複していないものとする。

カメラ間色補正装置１０５は、ネットワークを介して受信した各撮像装置の映像を基に撮像装置が撮影する画像間の色の差異を補正するためのパラメータを生成する装置である。モニタリング装置１０６は、ネットワークを介して受信した各撮像装置の映像を表示して、ユーザによるモニタリングを可能にする装置である。録画装置１０７は、ネットワークを介して受信した各撮像装置の映像を録画する装置である。

図２は本実施形態におけるカメラ間色補正装置１０５、モニタリング装置１０６、及び録画装置１０７のハードウェア構成の一例を示すブロック図である。
ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されたプログラムを実行する。ＲＯＭ２０２は、不揮発性メモリであり、本実施形態の処理のプログラムやその他の制御に必要なプログラムやデータを格納する。ＲＡＭ２０３は、揮発性メモリであり、フレーム画像データやパターン判別結果などの一時的なデータを記憶する。

２次記憶装置２０４は、ハードディスクドライブやフラッシュメモリーなどの書き換え可能な２次記憶装置であり、画像情報や画像処理プログラムや、各種設定内容などを記憶する。記憶された情報は、ＲＡＭ２０３に転送されて、ＣＰＵ２０１は、前記情報を利用して、プログラムの実行、データの利用などを行う。２次記憶装置２０４は、コンピュータ読み取り可能な記録媒体の一例である。

入力装置２０５は、キーボードやマウスなどであり、ユーザからの入力を可能とするものである。表示装置２０６は、ブラウン管ＣＲＴや液晶ディスプレイなどであり、ユーザに対して処理結果などを表示するものである。ネットワークＩ／Ｆ２０７は、インターネットやイントラネットなどのネットワークと接続を行うモデムやＬＡＮなどである。ハードウェア構成要素２０１〜２０７は、バス２０８を介して、相互に接続し、データの入出力を行う。

図３〜５で後述するカメラ間色補正装置１０５、モニタリング装置１０６、録画装置１０７の機能はオペレーティングシステムの上で動作するソフトウェアのプログラムとして実装されている。

カメラ間色補正装置１０５のＣＰＵ２０１が、カメラ間色補正装置１０５のＲＯＭ２０２又は２次記憶装置２０４に記憶されたプログラムに基づき処理を実行することにより、後述する図３の機能及び図６のフローチャートの処理が実現される。

モニタリング装置１０６のＣＰＵ２０１が、モニタリング装置１０６のＲＯＭ２０２又は２次記憶装置２０４に記憶されたプログラムに基づき処理を実行することにより、後述する図５の機能及び図９のフローチャートの処理が実現される。

録画装置１０７のＣＰＵ２０１が、録画装置１０７のＲＯＭ２０２又は２次記憶装置２０４に記憶されたプログラムに基づき処理を実行することにより、後述する図４の機能及び図８のフローチャートの処理が実現される。

図３は本実施形態における画像処理装置の一例であるカメラ間色補正装置１０５の機能構成の一例を示したブロック図である。
映像受信部３０１は、ネットワーク１０４を経由して撮像装置１０１〜１０３で撮影された映像をネットワークＩ／Ｆ２０７を介して受信する。被写体検出部３０２は、映像受信部３０１により受信された映像から被写体（本実施形態では人物）の領域を検出する。

被写体属性情報抽出部３０３は、被写体検出部３０２により検出された被写体の領域から属性情報を抽出する。被写体の属性情報には、服の色、髪の色などといった色に関する情報と、顔、身長、サングラスの有無、髭の有無、鞄の所持の有無などといった色に関係しない情報と、がある。本実施形態における被写体属性情報抽出部３０３では色の補正を目的としているので、色に関連しない情報を抽出する。被写体属性情報記憶部３０４はＲＡＭ２０３や２次記憶装置２０４から構成されており、被写体属性情報抽出部３０３にて抽出された被写体属性情報を記憶する。

被写体色情報抽出部３０５は、被写体検出部３０２により抽出された被写体の領域から色情報を抽出する。被写体色情報記憶部３０６はＲＡＭ２０３や２次記憶装置２０４から構成されており、被写体色情報抽出部３０５で抽出された被写体の色情報を記憶する。被写体照合部３０７は、被写体属性情報記憶部３０４から所定の期間中に記憶された被写体属性情報を読み出して、撮像装置１０１〜１０３で撮影された映像中の被写体を照合する。被写体照合結果記憶部３０８はＲＡＭ２０３や２次記憶装置２０４から構成されており、被写体照合部３０７により照合された結果を記憶する。

同一被写体判定部３０９は、被写体照合結果記憶部３０８に記憶された被写体照合結果に基づいて、一方のカメラで撮影された映像中の被写体と他方のカメラで撮影された映像中の被写体とが同一か否かを判定する。色補正パラメータ生成部３１０は、同一被写体判定部３０９により同一の被写体と判定された被写体が占める映像中の領域の色情報を、被写体色情報記憶部３０６に記憶された色情報から読みだし、読みだした色情報に基づいて色補正パラメータを生成する。

色補正パラメータ記憶部３１１はＲＡＭ２０３や２次記憶装置２０４から構成されており、色補正パラメータ生成部３１０により生成された色補正パラメータを記憶する。色補正パラメータ送信部３１２は、モニタリング装置１０６からの要求に応じて、色補正パラメータを色補正パラメータ記憶部３１１から抽出し、ネットワーク１０４を介してモニタリング装置１０６へ送信する。

図４は、本実施形態における録画装置１０７の機能構成の一例を示すブロック図である。
映像受信部４０１は、撮像装置１０１〜１０３により撮影された映像を、ネットワーク１０４を経由してネットワークＩ／Ｆ２０７から受信する。映像記憶部４０２はＲＡＭ２０３や２次記憶装置２０４から構成されており、映像受信部４０１で受信した映像を記憶する。
映像再生部４０３は、モニタリング装置１０６からの要求に応じて、録画済みの映像を映像記憶部４０２から映像から抽出して再生する。映像送信部４０４は、映像再生部４０３によって再生された映像を、ネットワークＩ／Ｆ２０７からネットワーク１０４を経由してモニタリング装置１０６へ送信する。

図５は、本実施形態におけるモニタリング装置１０６の機能構成の一例を示すブロック図である。
カメラ組み合わせ指定部５０１は、入力装置２０５を介したユーザの操作に基づいて、モニタリング対象のカメラの組み合わせを指定する。

映像受信部５０２は、撮像装置１０１〜１０３で撮影された映像、又は、録画装置１０７から送信された映像を、ネットワーク１０４を経由してネットワークＩ／Ｆ２０７から受信する。色補正パラメータ受信部５０３は、カメラ組み合わせ指定部５０１で指定された撮像装置に対応する色補正パラメータを、カメラ間色補正装置１０５からネットワーク１０４を介して受信する。

色補正部５０４は、色補正パラメータ受信部５０３により受信された前記色補正パラメータに基づいて撮像装置の映像を補正する。表示部５０５は、色補正部５０４により補正済みの撮像装置の映像を、表示装置２０６に表示する。

次に本実施形態のカメラ間色補正装置１０５の処理の流れについて図６のフローチャートを用いて説明する。なお、カメラ間色補正装置１０５は、カメラネットワークを構築した際や、新しく撮像装置をネットワーク上に追加した際などにユーザの操作に基づいて起動する。図６の処理は、カメラ間色補正装置１０５が行う情報処理の一例である。

以下の処理において、設定された期間、設定された閾値、設定された検出ウィンドウの大きさ、設定された点、等の設定された値は、予めカメラ間色補正装置１０５内の２次記憶装置２０４等にファイル等として設定されているものとする。また、カメラ間色補正装置１０５は、カメラ間色補正装置１０５の入力装置２０５を介したユーザの入力に基づいて、前記ファイル等に設定された値を変更するようにしてもよい。また、本実施形態では、被写体として人物を検出する例について説明する。

Ｓ６０１において、映像受信部３０１は、ネットワーク１０４を介して撮像装置（カメラ）１０１〜１０３で撮影されたそれぞれの映像をフレーム画像の単位で受信する。なお、各撮像装置は、撮像装置に固有なカメラＩＤを保有しており、フレーム画像にはフレームＩＤとして時刻情報が付与される。フレーム画像は、前記カメラＩＤ及びフレームＩＤが関連付けられて各撮像装置から送信される。カメラ間色補正装置１０５により受信されたフレーム画像は、関連付けられたカメラＩＤ及びフレームＩＤによってどの撮像装置からいつ撮影された映像であるかを判別できる。

Ｓ６０２において、被写体検出部３０２は、Ｓ６０１で受信された前記受信映像内から被写体の検出を行う。以下では、Ｓ６０２で検出される被写体の領域情報を被写体領域情報とする。被写体検出の具体的な方法としては、予め背景のみが撮影された映像より背景モデルを生成しておき、これと入力映像との差分により検出する背景差分による方法がある。

また、被写体が人物である場合には、人物検出の他の手法としては例えば米国特許出願公開第２００７／０２３７３８７号に記載の方法がある。この方法は、設定された大きさの検出ウィンドウを入力画像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し人物であるか否かの２クラス判別を行う方法である。この方法では、判別には、アダブーストを使って多くの弱判別器を有効に組み合わせて判別器を構成し、判別精度を向上させる。また、この方法では、前記判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。弱判別器は、ＨＯＧ特徴量に基づいた判別を行う。そして、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに被写体でないパターンの候補をその場で除去し、それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って人物かどうかの判別を行う。

なお、本実施形態における被写体は、人物としているが、他の被写体についても適用可能である。例えば、被写体として車両を扱いたい場合は、米国特許出願公開第２００７／０２３７３８７号に記載されている判別器を車両について作ればよい。

以上のような手法により検出された被写体に対して、被写体検出部３０２は、被写体ＩＤを付与する。被写体ＩＤは、１つのフレーム画像内で複数の被写体が検出された際に区別をつけるためのものであり、フレーム画像内で一意に付与される。被写体領域情報は、フレーム画像の左上を原点とし、人物を囲む矩形の左上と右下との２点の前記フレーム画像中のｘ座標、ｙ座標で表す。さらに、被写体領域情報として、人物領域に対応する画素を１、それ以外の画素を０で表したマスク画像を含んでもよい。前記マスク画像を利用することによって、前記矩形の領域内の人物以外の画素と人物の画素とは、区別できるようになる。被写体検出部３０２は、検出した被写体領域情報を、前記カメラＩＤ、フレームＩＤ、被写体ＩＤと関連付け、被写体属性情報抽出部３０３及び被写体色情報抽出部３０５に対して出力する。

Ｓ６０３において、被写体属性情報抽出部３０３は、Ｓ６０２で検出された前記被写体領域情報が示す領域から被写体属性情報を抽出し、被写体属性情報記憶部３０４に記憶する。また、被写体属性情報抽出部３０３は、色に関連しない形状や模様の属性情報を抽出する。なお、被写体属性情報抽出部３０３は、後述するＳ６０７における同一被写体判定処理の精度を上げるために、より多種の属性情報を抽出しておくことが望ましい。属性情報抽出の方法は、様々なものがあるが、例えば以下のようなものがある。

顔の属性情報の抽出方法は、画像中の顔領域内から複数の矩形の小領域を切り出し、これら矩形小領域からＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量を抽出する方法である。また、顔の属性情報の抽出方法は、他に例えばＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉａｔｉｏｎ）特徴量を抽出する方法でもよい。なお、顔の属性情報の抽出方法には、複数の矩形領域のランダムな位置を選択したり、前処理として顔の器官（目、口、鼻）の位置を検出し、顔器官の位置の近傍より選択したりして、選択した位置の情報を抽出する方法がある。

また、鞄の有無などを示す属性情報は、前述のＬＢＰやＨＯＧといた画像から算出される数値的な特徴量ではなく、人間にとって意味をなす特徴であり、０から１の範囲の値で示される。鞄の有無であれば、０は鞄が無いことを示し、１は鞄が有ることを示す。鞄の有無などを示す属性情報は、画像のみから鞄などの有無をはっきりと断定できない場合もあるため、０．５など中間の値も取り得る。鞄の有無などを示す属性情報の抽出処理は、形状特徴であるＬＢＰ特徴量やＨＯＧ特徴量、又は、テクスチャ特徴に基づいて行われる。テクスチャ特徴の例としては、人物領域にＧａｂｏｒフィルタやＳｃｈｍｉｄフィルタを施した結果をヒストグラムとしたものが挙げられる。またテクスチャ特徴は、ＧａｂｏｒフィルタとＳｃｈｍｉｄフィルタとの２つのフィルタを使用してそれぞれヒストグラムを求め、前記ヒストグラムを連結して一つのヒストグラムとしたものでもよい。

識別器の生成方法は、以下のとおりである。前記生成方法は、多数の正解画像（例えば鞄を持った人物画像）と間違い画像（例えば鞄を持っていない人物画像）とを用意し、それぞれから特徴量を取得し、前記特徴量に基づき特徴量空間の中で正解とそうでないものを識別する識別器を生成する方法である。識別器としては、サポートベクターマシーン（ＳＶＭ）などの公知の手法が挙げられる。

被写体属性情報抽出部３０３は、サングラスの有無、髭の有無などの他の属性情報も同様にして抽出することができる。
以上のようにして、被写体属性情報抽出部３０３は、抽出された被写体属性情報を、前記カメラＩＤ、フレームＩＤ、（抽出した被写体の）被写体ＩＤ、被写体領域情報と関連付ける。なお、被写体属性情報抽出部３０３は、被写体属性情報を複数抽出する場合、前記被写体属性情報と被写体属性情報の種別毎に定義された被写体属性ＩＤとを関連付ける。これにより、後述するＳ６０６の照合処理の際に種別毎の照合を行うことができるようになる。

Ｓ６０４において、被写体色情報抽出部３０５は、前記被写体領域情報が示す領域から被写体の色情報を抽出し、被写体色情報記憶部３０６に記憶する。被写体の色情報を抽出する際には、まず、前記被写体領域情報が示す領域の矩形座標を参照し、フレーム画像から被写体の領域に含まれる画素を参照する。このとき、被写体領域情報にマスク画像が含まれている場合には、合せて参照することでより、矩形内に含まれる被写体以外の画素を除いて色情報を抽出できる。そして、被写体色情報抽出部３０５は、被写体の画素から色空間ＲＧＢを用いてＲ、Ｇ、Ｂごとに累積ヒストグラムを算出する。なお、同一の被写体であっても各カメラで撮影された際の姿勢が異なっているなどの条件により、累積値には、ばらつきが生じる。そこで、Ｓ６０５以降の処理に与える影響を除くために、累積ヒストグラムの規格化を行う。また、色空間は、ＲＧＢに限られるものではなく、ＨＳＶ、ＹＣｂＣｒなど他の色空間であってもよい。被写体色情報抽出部３０５は、抽出された前記累積ヒストグラムを、カメラＩＤ、フレームＩＤ、被写体ＩＤと関連付けて、被写体色情報記憶部３０６に記憶する。

Ｓ６０５において、カメラ間色補正装置１０５は、図６の処理を開始してから設定された期間が経過したかどうかを判定する。カメラ間色補正装置１０５は、前記設定された期間が経過したと判定した場合、Ｓ６０６の処理へ進み、前記設定された期間が経過していないと判定した場合、Ｓ６０１の処理へ進む。また、Ｓ６０１〜Ｓ６０４の一連の処理は、カメラごとに処理される。よって、カメラ間色補正装置１０５は、映像受信部３０１〜被写体色情報記憶部３０６までの構成をカメラごとに複数用意し、カメラごとに並列に処理するようにしてもよい。

前記設定された期間分の映像を処理した後であれば、同一の人物が歩き回り、複数のカメラで撮影されたと期待できる。同一の人物の色は現実の世界では変化しないことを活用すれば、カメラ間の色の補正を行うことができる。以下、色補正の詳細を述べる。

Ｓ６０６において、被写体照合部３０７は、順次、２つずつカメラＩＤの異なる被写体属性情報を被写体属性情報記憶部３０４から抽出し、抽出した被写体属性情報の照合を行い、被写体照合度を算出する。照合の方法としては、ユークリッド距離や、参考文献３にあるようにマハラノビス距離を予め学習しておくなどの方法が挙げられる。なお、照合処理は、被写体属性情報記憶部３０４に記憶されている被写体属性情報中のカメラＩＤの異なる全ての組み合わせについて行われる。被写体照合部３０７は、前記被写体照合度と共に、照合の対象となった第一のカメラＩＤ、フレームＩＤ、被写体ＩＤ及び第二のカメラＩＤ、フレームＩＤ、被写体ＩＤと関連付ける。そして、被写体照合部３０７は、照合結果として被写体照合結果記憶部３０８に記憶する。

Ｓ６０７において、同一被写体判定部３０９は、各カメラで撮影された被写体同士が同一であるか否かを判定する。このとき、同一被写体判定部３０９は、Ｓ６０６で算出された前記被写体照合度を設定された閾値と比較することによって、前記被写体照合度に関連付けられた被写体同士が同一であるか否か判定でき、閾値以上の被写体照合度であれば、同一被写体と判定する。なお、同一被写体判定部３０９は、色の情報を用いないため、映像中に出現する全ての被写体について同一か否かの判定を行うことはできない。しかし、目的は、色の情報以外で推定できる範囲の同一と判定された被写体の領域の色情報を用いて色補正を行うということであるため、問題はない。同一被写体判定部３０９は、このような一組のカメラで撮影された同一被写体を、カメラの組み合わせごとに複数得る。例えば、同一被写体判定部３０９は、本実施形態ではカメラが３台であるので、３Ｃ２＝３（組）ある組み合わせごとに複数の同一人物の領域の組み合わせを得る。組み合わせの数は、十分に得られることが望ましいため、設定された数に満たなかったら、Ｓ６０１の処理に戻るようにしてもよい。

なお、被写体属性情報が類似している人物同士、例えば人物Ａも人物Ｂも同様に鞄を持っており、サングラスをかけているというような場合、第一のカメラに映った人物Ａと第二のカメラに映った人物Ｂとの被写体照合度は、閾値以上になってしまう。このような状況を避け、同一の被写体である可能性を高めるため、同一被写体判定部３０９は、更に以下のような方法を用いてもよい。

一方のカメラから他方のカメラまで人物が歩いて到達するまでにかかる期間が十分に短ければ、同一の人物が撮影される可能性が高まる。そこで、同一被写体判定部３０９は、設定された閾値よりも近い関係にあるカメラ同士の組み合わせに限って被写体照合度を参照することにより、同一被写体の推定精度を高めることができる。

そのようなカメラの組み合わせは、次のようにして求めることができる。図７は、カメラのレイアウト情報の一例を示す図である。図７は、カメラが監視対象領域７００にどのように配置されているかを示すレイアウト情報を示す。カメラ間色補正装置１０５は、前記レイアウト情報に基づいて、カメラ同士の距離が設定された閾値よりも小さいカメラの組み合わせを求める。カメラ間色補正装置１０５は、カメラ間の距離としてユークリッド距離ではなく一つのカメラから他のカメラに至る経路を用いる。例えば図７の場合、カメラ７０１とカメラ７０２との距離は、カメラ７０１とカメラ７０３との距離よりもユークリッド距離としては小さいが、壁７０４があるために、迂回しなければカメラ７０１からカメラ７０２には到達できない。従ってカメラ７０２、７０３のうちカメラ７０１により距離が近いカメラは、カメラ７０３の方となる。カメラ間色補正装置１０５は、カメラ間の経路を、例えば、以下のようにして求めることができる。カメラ間色補正装置１０５は、各カメラの撮影範囲（図７の斜線で示された範囲７０５〜７０７）内に設定された点７０８〜７１０とカメラ間の経路を代表する点７１１〜７１２とを経路順に結んだ線分のユークリッド距離の和で求めることができる。

同一被写体判定部３０９は、前記被写体照合度に関連付けられた被写体同士が同一であると判定した場合、前記被写体照合度に関連付けられたカメラＩＤ、フレームＩＤ、被写体ＩＤを色補正パラメータ生成部３１０に出力する。

Ｓ６０８において、色補正パラメータ生成部３１０は、Ｓ６０７で出力されたカメラＩＤ、フレームＩＤ、被写体ＩＤ、に対応する色情報を、被写体色情報記憶部３０６から抽出する。そして、色補正パラメータ生成部３１０は、抽出した色情報に基づいて、色補正パラメータを生成する。本実施形態では、色補正パラメータ生成部３１０は、色補正パラメータとして、非特許文献１に記載の輝度伝達関数（以下、ＢＴＦ関数と呼ぶ）を用いる。ＢＴＦ関数は、同一の人物領域に含まれるある輝度値までの画素の人物領域に対する割合は不変であるという仮定に基づいており、前記人物領域の累積ヒストグラムより求められる。色補正パラメータ生成部３１０は、ＢＴＦ関数を、累積ヒストグラム間の各輝度値の関係を示すルックアップテーブルとして色補正パラメータ記憶部３１１に記憶する。例えば、カメラＩＤ＝１、カメラＩＤ＝２の間のＢＴＦ関数は、ＲＧＢの各色の値の範囲が０から２５５であるとすると、カメラＩＤ＝１のＲの各輝度値（０から２５５）に対して、対応するカメラＩＤ＝２のＲの輝度値がテーブルとして記載される。

なお、人物領域が持つ画素の値は、偏りがあることがある。そこで、一組のカメラに対して、前記偏りの影響に対応するために、十分な数の同一人物が撮影された画像に基づいて、色補正パラメータを決定する必要がある。そこで、Ｓ６０８の処理の前に、色の偏りがあるか否かを判定するステップを加え、偏りがあると判定されるときはＳ６０１に処理を戻し、再び、同一被写体の色情報を収集するようにしてもよい。色の偏りの判定方法には、例えば使用した同一被写体の色情報からヒストグラムを作成して全て積算し、ＲＧＢ各色の輝度値ごとのビンの頻度値が所定値以上となるかどうかで判断する方法がある。カメラ間色補正装置１０５は、所定値を下回るビンが存在するときは、偏りがあると判定する。

また、似た被写体属性情報を持っている被写体同士の場合、Ｓ６０７での被写体照合度に基づく判定処理においては、正しいかどうか区別がつかない。Ｓ６０８で、色補正パラメータ生成部３１０は、色補正パラメータを生成するためのデータに、同一でない被写体の色情報が含まれていれば、色補正パラメータを精度よく求めることは難しくなる。そのような影響を軽減するために、次のような方法を用いてもよい。

カメラ間色補正装置１０５は、Ｓ６０７で推定された全ての同一被写体の中からランダムに２つ取り出して複数のサブセットを作成し、ＲＡＭ２０３に一時保存する。そして、Ｓ６０８で、色補正パラメータ生成部３１０は、前記サブセットごとに色補正パラメータを生成する。次に、色補正パラメータ生成部３１０は、生成した複数の色補正パラメータから真の色補正パラメータを推定する処理を行う。色補正パラメータであるＢＴＦ関数は、一方のカメラの画像の輝度値に対する他方のカメラの画像の輝度値が記されたルックアップテーブルで表されている。複数のサブセットを作成したため、あるカメラに対して、別のカメラに対応するＢＴＦ関数は、複数生成されることになる。

カメラ間色補正装置１０５は、一方のカメラの画像の各輝度値に対して、複数のＢＴＦ関数から複数の輝度値を特定する。例えば、カメラ間色補正装置１０５は、カメラＩＤ＝１のＲの輝度値５０に対して、カメラＩＤ＝２のＲの輝度値として５２、１０４、５０、５６、７２を特定したとする。カメラ間色補正装置１０５は、カメラＩＤ＝２のＲの輝度値から２つ選択した場合の差分（距離）を求め、設定された閾値内の差分（距離）を持つ輝度値から平均を求める。例えば、前記閾値を５とすると、５２、１０４、５０、５６、７２から５０、５２、５６が抽出され、抽出した値の平均をとり５３を算出し、５３を最終的なカメラＩＤ＝１に対応するカメラＩＤ＝２のＲの輝度値とする。

以上のように、複数のサブセットを作成することにより、同一被写体の領域の画素の偏りがサブセットによって異なることが期待できる。よって、色補正パラメータ生成部３１０は、統計的に外れ値となる色補正パラメータの影響を除くことにより、精度の高い色補正パラメータが取得できる。

Ｓ６０９において、カメラ間色補正装置１０５は、モニタリング装置１０６から色補正の要求があるまで待機する。カメラ間色補正装置１０５は、色補正の要求があった場合に、Ｓ６１０の処理へ進む。

Ｓ６１０において、色補正パラメータ送信部３１２は、色補正の対象となるカメラの組み合わせに対応する色補正パラメータを色補正パラメータ記憶部３１１から抽出する。そして、色補正パラメータ送信部３１２は、抽出した色補正パラメータを、ネットワーク１０４を介してモニタリング装置１０６へ送信する。

次に本実施形態の録画装置１０７の処理の流れについて図８のフローチャートを用いて説明する。図８は、録画装置１０７の処理の一例を示すフローチャートである。
Ｓ８０１において、録画装置１０７は、入力装置２０５を介したユーザによる操作に基づいて、終了指示がなされたか否かを判定する。録画装置１０７は、終了指示がなされたと判定した場合、図８の処理を終了し、終了指示がなされていないと判定した場合、Ｓ８０２の処理へ進む。録画装置１０７は、ユーザから終了の指示がなされるまでＳ８０２〜Ｓ８０６までの処理を繰り返す。

Ｓ８０２において、映像受信部４０１は、ネットワーク１０４上の撮像装置１０１〜１０３で撮影された映像をフレーム画像の単位で受信し、受信した映像を映像記憶部４０２に記憶する。前述したように、各撮像装置は、撮像装置に固有なカメラＩＤを保有しており、フレーム画像は、フレームＩＤとして時刻情報を保有する。各撮像装置は、フレーム画像を、前記カメラＩＤ、フレームＩＤと関連付けて送信する。Ｓ８０２で受信したフレーム画像は、関連付けられたカメラＩＤ、フレームＩＤによってどの撮像装置からいつの映像であるかを判別できる。

Ｓ８０３において、録画装置１０７は、モニタリング装置１０６から録画映像の再生要求がなされたか否かを判定する。録画装置１０７は、録画映像の再生要求がなされたと判定した場合、Ｓ８０４の処理へ進み、録画映像の再生要求がなされていないと判定した場合、Ｓ８０１の処理へ進む。

Ｓ８０４において、映像再生部４０３は、Ｓ８０３で要求されたカメラＩＤ、フレームＩＤに基づいてフレーム画像を映像記憶部４０２から順次読みだして再生を行う。Ｓ８０５において、映像送信部４０４は、映像再生部４０３により再生された映像を、ネットワーク１０４を介してモニタリング装置１０６へ送信する。

Ｓ８０６において、録画装置１０７は、モニタリング装置１０６により再生の終了要求がなされたか否かを判定する。録画装置１０７は、再生の終了要求がなされたと判定した場合、Ｓ８０１の処理へ進み、再生の終了要求がなされていないと判定した場合、Ｓ８０４の処理へ進む。録画装置１０７は、再生の終了要求がなされるまでＳ８０４〜Ｓ８０５の処理を繰り返し、再生を続行する。

次に本実施形態におけるモニタリング装置１０６の処理の流れについて図９のフローチャートを用いて説明する。図９は、モニタリング装置１０６の処理の一例を示すフローチャートである。
Ｓ９０１において、カメラ組み合わせ指定部５０１は、入力装置２０５を介したユーザによる操作に基づいて、モニタリングの対象となるカメラの組み合わせの指定がされるまで待機する。本実施形態では、カメラの組み合わせとして、第１のカメラで現在撮影されている映像、第２のカメラで撮影され録画された映像が指定されるものとする。Ｓ９０１でカメラの組み合わせが指定されたら、Ｓ９０２において、モニタリング装置１０６は、指定されたカメラに対応するカメラＩＤを基に色補正パラメータをカメラ間色補正装置１０５に要求する。

Ｓ９０３において、色補正パラメータ受信部５０３は、Ｓ９０２で指定されたカメラの組み合わせに対応する色補正パラメータをカメラ間色補正装置１０５から受信する。Ｓ９０４において、映像受信部５０２は、Ｓ９０１で指定されたカメラの組み合わせのうち１つのカメラの映像を受信する。Ｓ９０５において、Ｓ９０４同様に、映像受信部５０２は、Ｓ９０１で指定されたカメラの組み合わせのうちＳ９０４で映像を受信しなかった方のカメラの録画映像を録画装置１０７から受信する。

Ｓ９０６において、色補正部５０４は、Ｓ９０３で色補正パラメータ受信部５０３により受信された色補正パラメータを使って色補正を行う。色補正処理は、ＲＧＢ各色の輝度値に対してＢＴＦ関数を適用して変換する。なお、第一のカメラの映像を第二のカメラの映像に合わせるように補正してもよいし、第２のカメラの映像を第１のカメラの映像に合わせるように補正してもよい。

Ｓ９０７において、表示部５０５は、補正済みの第１のカメラ映像と第２のカメラ映像とを表示装置２０６に表示する。Ｓ９０８において、モニタリング装置１０６は、入力装置２０５を介したユーザの操作に基づいて、モニタリングの終了が指示されたかどうかを判定する。モニタリング装置１０６は、モニタリングの終了が指示されたと判定した場合、図９の処理を終了し、モニタリングの終了が指示されていないと判定した場合、Ｓ９０４の処理へ進む。

本実施形態の処理により、カメラネットワークシステムは、基準チャートの撮影の指示や同一人物の指定などのユーザによる作業を不要にしてカメラ間の色補正を行うことができる。カメラ間色補正装置１０５は、色以外の被写体属性情報で推定可能な範囲で異なるカメラ映像に含まれる人物が同一か否かを判定する。カメラ間色補正装置１０５は、同一人物に含まれる色情報をもとに、カメラ間の色補正パラメータを求めることができる。モニタリング装置１０６は、前記色補正パラメータに基づいて、２つのカメラの画面を表示してモニタリングを行う際に色補正を行うことが可能となる。各カメラで映った人物の服装や髪の色が正しく再現されることにより、ユーザは、画面上の全ての人物について正しく同一人物であるかどうかを判定できるようになる。

本実施形態のカメラ間色補正装置１０５は、一つの装置で構成されるものとしたが、ネットワーク上の他の装置に各機能構成を分散させてもよい。例えば、撮像装置１０１〜１０３は、それぞれ被写体検出部３０２、被写体属性情報抽出部３０３、被写体色情報抽出部３０５を含むものとし、被写体属性情報や被写体色情報のみを他の装置に対して、ネットワークを介して送信するようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０２ 被写体検出部
３０３ 被写体属性情報抽出部
３０５ 被写体色情報抽出部
３０７ 被写体照合部
３０９ 同一被写体推定部
３１０ 色補正パラメータ生成部

Claims (10)

1. 複数のカメラで撮影された画像からそれぞれ被写体を検出する被写体検出手段と、
   前記被写体検出手段により検出された複数の被写体の中から、前記被写体の領域に含まれる形状または模様に基づいて同一の被写体か否かを判定する同一被写体判定手段と、
   前記同一被写体判定手段により同一であると判定されたそれぞれの被写体の領域の色情報に基づいて、前記複数のカメラで撮影された画像間の色の差異を補正するための補正パラメータを取得する取得手段と、
   を有することを特徴とする画像処理装置。
2. 前記同一被写体判定手段は、カメラ間の経路が設定された距離よりも短い複数のカメラで撮影された画像の中から同一の被写体か否かを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記同一被写体判定手段は、カメラのレイアウト情報に基づくカメラ間の経路が設定された距離よりも短いカメラで撮影された画像の中から同一の被写体か否かを判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記被写体検出手段により検出された被写体の領域から形状または模様に関する属性情報を抽出する被写体属性情報抽出手段と、
   前記被写体属性情報抽出手段により抽出された属性情報に基づいてカメラ間の複数の被写体を照合し、照合度を取得する被写体照合手段と、
   を更に有し、
   前記同一被写体判定手段は、前記被写体照合手段により取得された照合度に基づいて、同一の被写体か否かを判定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記同一の被写体から色情報を抽出する色情報抽出手段を更に有し、
   前記取得手段は、前記色情報抽出手段により抽出された前記被写体の色情報に基づいて、前記補正パラメータを取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記同一被写体判定手段は、同一であると判定した被写体の中から複数のサブセットを作成し、
   前記取得手段は、前記作成したサブセットごとに補正パラメータを生成し、前記作成した複数の補正パラメータに基づいて、最終的な補正パラメータを取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
7. 前記同一被写体判定手段により同一であると判定された被写体の領域の色に偏りがあるか否かを判定する偏り判定手段を更に有し、
   前記取得手段は、前記偏り判定手段により偏りがないと判定された場合、前記補正パラメータを取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
8. カメラ間色補正装置が実行する情報処理方法であって、
   複数のカメラの画像から被写体を検出する被写体検出ステップと、
   前記被写体検出ステップにより検出された複数の被写体が同一か否かを判定する同一被写体判定ステップと、
   前記複数のカメラの画像中の前記同一被写体判定ステップにより同一であると判定された複数の被写体の領域の色情報に基づいて、前記カメラの画像間の色の差異を補正する補正パラメータを取得する取得ステップと、
   を含むことを特徴とする画像処理方法。
9. コンピュータに
   複数のカメラの画像から被写体を検出する被写体検出ステップと、
   前記被写体検出ステップにより検出された複数の被写体が同一か否かを判定する同一被写体判定ステップと、
   前記複数のカメラの画像中の前記同一被写体判定ステップにより同一であると判定された複数の被写体の領域の色情報に基づいて、前記カメラの画像間の色の差異を補正する補正パラメータを取得する取得ステップと、
   を実行させるためのプログラム。
10. 請求項９に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images