JP5991224B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

この発明は、対象エリアの撮像画像を処理し、撮像されているオブジェクトを検出する技術に関する。

従来、可視光カメラで撮像した対象エリアの可視光画像を処理し、撮像されている人や車両等のオブジェクトの検出や、検出したオブジェクトの追跡を行う画像処理装置がある（特許文献１等参照）。特許文献１は、可視光カメラが撮像した対象エリアの可視光画像と、この対象エリアの背景画像と、の差分画像（背景差分画像）や、時間的に連続する２つの撮像画像（可視項画像）の差分画像（フレーム間差分画像）等を生成することにより、撮像されているオブジェクトの検出や追跡を行っている。

また、遠赤外線カメラで撮像した対象エリアの温度分布画像を処理し、撮像されている人や車両等のオブジェクトの検出や、検出したオブジェクトの追跡を行う画像処理装置もある（特許文献２参照）。特許文献２は、遠赤外線カメラで撮像した熱画像の各画素について、人物の温度に相当する輝度値（画素値）の上限しきい値と下限しきい値との範囲内にある画素と、この範囲内にない画素と、で区別した２値化画像を生成し、撮像されている人物を検出する構成である。遠赤外線カメラで撮像した対象エリアの温度分布画像であっても、可視光画像と同様に、背景差分画像やフレーム間差分画像を生成することにより、撮像されているオブジェクトの検出や追跡が行える。

特開平９−２６５５８５号公報 特開２００６−１０１３８４号公報

可視光画像による画像処理システムと、温度分布画像による画像処理システムと、を比較すると、可視光画像では、撮像されている人（検出された人）の顔を処理して、その人の性別、年齢等の属性を推定することや、データベースに登録されている登録者の顔との照合による個人認証等が行える点で、温度分布画像による画像処理に比べて有用である。また、撮像した可視光画像を表示器に表示し、係員等に顔を確認させることもできる。

一方で、可視光画像は、対象エリアの照度変化の影響を受けやすい。光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中した可視光画像の画像領域においては、オブジェクトの検出が適正に行えないことがある。すなわち、白トビや黒ツブレになった画素がある程度集中した可視光画像の画像領域については、オブジェクトの見逃しが生じやすい。オブジェクトの見逃しが生じると、対象エリアに進入したオブジェクトが検出できないだけでなく、追跡していたオブジェクトを見失うことになり、このオブジェクトの追跡に失敗する。

この発明の目的は、対象エリアに進入したオブジェクトの見逃しや、追跡しているオブジェクトを見失う事態の発生を抑えることで、可視光画像を処理して対象エリアに進入したオブジェクトの検出や追跡等を行う処理の信頼性を向上させることができる技術を提供することにある。

この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。

第１の画像入力部には、第１のカメラで撮像した対象エリアの可視光画像が入力される。また、第２の画像入力部には、第２のカメラで撮像した対象エリアの温度分布画像が入力される。第１のカメラは可視光画像を撮像するビデオカメラであり、第２のカメラは温度分布画像を撮像する遠赤外線カメラである。

第１の画像処理部は、第１の画像入力部に入力された可視光画像を処理し、その可視光画像に撮像されているオブジェクトを検出する。第１の画像処理部は、例えば、背景差分方式やフレーム間差分方式により、可視光画像に撮像されているオブジェクトを検出する。

第２の画像処理部は、第２の画像入力部に入力された温度分布画像を処理し、その温度分布画像に撮像されているオブジェクトを検出する。第２の画像処理部も、第１の画像処理部と同様に、例えば、背景差分方式やフレーム間差分方式により、温度分布画像に撮像されているオブジェクトを検出する。

画像領域抽出部は、第１の画像入力部に入力された対象エリアの可視光画像について、第１の画像処理部におけるオブジェクトの検出に適さない画像領域を抽出する。この画像領域抽出部は、光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中している画像領域を、第１の画像処理部におけるオブジェクトの検出に適さない画像領域として抽出する構成とすればよい。

また、画像領域抽出部は、第１の画像入力部に入力された対象エリアの可視光画像を複数に分割したブロック毎に、第１の画像処理部におけるオブジェクトの検出に適さない画像領域であるかどうかを判定するように構成してもよい。また、このように構成した場合には、可視光画像を複数に分割したブロック毎に、そのブロック内における、予め定めた画素値の範囲外である画素の総数に基づいて、第１の画像処理部におけるオブジェクトの検出に適さない画像領域であるかどうかを判定し、抽出する構成とすればよい。より具体的には、予め定めた画素値の範囲外である画素の総数が、予め定めた画素数を超えているブロックや、ブロック内における予め定めた画素値の範囲外である画素の総数と、このブロックの総画素数と、の比率が予め定めた比率を超えているブロックを、第１の画像処理部におけるオブジェクトの検出に適さない画像領域と判定し、抽出すればよい。

第２の画像処理部は、画像領域抽出部が抽出した第１の画像処理部におけるオブジェクトの検出に適さない可視光画像の画像領域に対応する、第２の画像入力部に入力された温度分布画像の画像領域を処理し、撮像されているオブジェクトを検出する。この第２の画像処理部は、処理負荷を抑えるために、画像領域抽出部が抽出しなかった可視光画像の画像領域（この領域については、第１の画像処理部によりオブジェクトの検出が行われる。）に対応する、第２の画像入力部に入力された温度分布画像の画像領域に対してオブジェクトの検出処理を行わない構成にするのが好ましい。

可視光画像において、光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中した画像領域については、第２の画像処理部が温度分布画像を処理してオブジェクトを検出するので、オブジェクトの見逃しを抑えることができる。これにより、可視光画像を処理して対象エリアに進入したオブジェクトの検出や追跡等を行う処理の信頼性を向上させることができる。

この発明によれば、可視光画像を処理して対象エリアに進入したオブジェクトの検出や追跡等を行う処理の信頼性を向上させることができる。

画像処理装置の主要部の構成を示す図である。 対象エリア、可視光画像、遠赤外線画像を示す図である。 オブジェクト検出処理を示すフローチャートである。

以下、この発明の実施形態である画像処理装置について説明する。

図１は、この発明の実施形態にかかる画像処理装置の主要部の構成を示す図である。

この画像処理装置１は、制御部２と、可視光画像入力部３と、遠赤外線画像入力部４と、画像処理部５と、入出力部６と、を備えている。

制御部２は、画像処理装置１本体各部の動作を制御する。

この画像処理装置１には、可視光カメラ１０（この発明で言う第１のカメラに相当する。）、および遠赤外線カメラ１１（この発明で言う第１のカメラに相当する。）が接続されている。可視光カメラ１０と、遠赤外線カメラ１１とは、略同じアングルで、且つ略同じ撮像倍率でオブジェクトの検出を行う対象エリアを撮像する。また、可視光カメラ１０、および遠赤外線カメラ１１は、この画像処理装置１本体に一体的に設けた構成であってもよいし、この画像処理装置１本体とは別筐体であってもよい。

可視光画像入力部３には、可視光カメラ１０が撮像した対象エリアの可視光画像が入力される。遠赤外線画像入力部４には、遠赤外線カメラ１１が撮像した対象エリアの遠赤外線画像（温度分布画像）が入力される。

画像処理部５は、可視光画像処理部５１と、遠赤外線画像処理部５２を有する。可視光画像処理部５１は、可視光画像入力部３に入力された可視光画像を処理し、撮像されているオブジェクトの検出等を行う。遠赤外線画像処理部５２は、遠赤外線画像入力部４に入力された遠赤外線画像を処理し、撮像されているオブジェクトの検出等を行う。

可視光画像処理部５１、および遠赤外線画像処理部５２が検出するオブジェクトは、その用途に応じて予め定めており、例えば人や車両である。また、可視光画像処理部５１は、オブジェクトとして人を検出する場合は、検出した人の顔を切り出し、その人の性別、年齢等の属性を推定する属性推定処理や、検出した人が予め登録されている登録者であるかどうかを認証する顔認証処理等を行う。また、可視光画像処理部５１は、オブジェクトとして車両を検出する場合は、その車両に取り付けられているナンバープレートを切り出し、このナンバープレートに表記されているナンバープレート番号を認識する文字認識処理等を行う。

なお、遠赤外線画像処理部５２は、処理する画像が遠赤外線画像であるので、上述の属性推定処理、顔認証処理、文字認識処理等を行うものではない。また、画像処理部５は、検出したオブジェクトの追跡等も行える。

入出力部６は、画像処理部５（可視光画像処理部５１、および遠赤外線画像処理部５２）の処理結果を、図示していない上位装置等に出力する。また、入出力部６は、上位装置等からの入力も受け付ける。

図２（Ａ）は、対象エリアを示す。図２（Ｂ）は、可視光カメラが撮像した対象エリアの可視光画像を示す。図２（Ｃ）は、遠赤外線カメラが撮像した対象エリアの遠赤外線画像を示す。

なお、図２（Ｃ）では、オブジェクトである人と、建物等の背景と、を区別しただけの２値画像で遠赤外線画像（温度分布画像）を示しているが、実際には各画素は温度に応じた画素値を示す多値の画像である。

上述したように、可視光カメラ１０と、遠赤外線カメラ１１とは、略同じアングルで、且つ略同じ撮像倍率で対象エリアを撮像している。

可視光画像処理部５１は、可視光画像入力部３に入力される可視光画像を複数のブロックに分割する設定を記憶している。図２（Ｂ）に示す破線が、可視光画像を複数のブロックに分割するラインであり、この例では、可視光画像を３×３の９ブロックに分割した例を示している。同様に、遠赤外線画像処理部５２は、遠赤外線画像入力部４に入力される遠赤外線画像を複数のブロックに分割する設定を記憶している。図２（Ｃ）に示す破線が、遠赤外線画像を複数のブロックに分割するラインであり、この例では、遠赤外線画像を３×３の９ブロックに分割した例を示している。

可視光画像と、遠赤外線画像とは、同じブロック数に分割する設定である。また、画像処理部５は、両画像間で、略同じ領域を撮像しているブロックの対応付けを記憶している。ブロックの分割数は、ここで例示した９ブロックに限らず、１２ブロックや１６ブロック等であってもよい。また、各ブロックのサイズは、均一であってもよいし、異なっていてもよい。

可視光画像処理部５１は、可視光カメラ１０が撮像した対象エリアの可視光画像と、この対象エリアの背景画像（以下、可視光背景画像と言う。）と、の差分画像（可視光背景差分画像）を生成することにより、撮像されているオブジェクトの検出や追跡等の処理を行うとともに、必要に応じて上述した属性推定処理、顔認証処理、文字認識処理等も行う。また、可視光画像処理部５１は、この対象エリアの可視光背景画像の更新も行う。

遠赤外線画像処理部５２は、遠赤外線カメラ１１が撮像した対象エリアの遠赤外線画像と、この対象エリアの背景画像（以下、遠赤外線背景画像と言う。）と、の差分画像（遠赤外線背景差分画像）を生成することにより、撮像されているオブジェクトの検出や追跡を行う。また、遠赤外線画像処理部５２は、この対象エリアの遠赤外線背景画像の更新も行う。

画像処理部５は、１チップのプロセッサで構成してもよいし、可視光画像処理部５１、および遠赤外線画像処理部５２を別々のプロセッサで構成してもよい。

なお、この例では、画像処理部５におけるオブジェクトの検出処理を、背景差分方式により行う例で説明するが、公知のフレーム間差分方式により行う方法であってもよいし、その他の方法であってもよい。

また、画像処理部５が、この発明にかかる画像処理方法を実行するコンピュータに相当し、また、この発明にかかる画像処理プログラムを実行させるコンピュータに相当する。

以下、この発明の実施形態である画像処理装置１の動作について説明する。

可視光カメラ１０と、遠赤外線カメラ１１とは、撮像タイミングを同期させている。可視光カメラ１０と、遠赤外線カメラ１１とは、それぞれ１秒間に１０フレーム程度の撮像画像を画像処理装置１に入力する。

可視光画像処理部５１は、可視光カメラ１０が撮像した対象エリアの可視光画像が可視光画像入力部３に入力されるごとに、入力された可視光画像を用いて、対象エリアの可視光背景画像を更新する。可視光画像処理部５１は、図示していないメモリに可視光背景画像を記憶する。この可視光背景画像の更新については、すでに様々な方法が提案され、公知であるので、ここでは説明を省略する。可視光背景画像の更新方法は、可視光カメラ１０の撮像特性や、対象エリアの環境等に応じて決定すればよい。

また、遠赤外線画像処理部５２は、遠赤外線カメラ１１が撮像した対象エリアの遠赤外線画像が遠赤外線画像入力部４に入力されるごとに、入力された遠赤外線画像を用いて、対象エリアの遠赤外線背景画像を更新する。遠赤外線画像処理部５２は、図示していないメモリに遠赤外線背景画像を記憶する。この遠赤外線背景画像の更新についても、すでに様々な方法が提案され、公知であるので、ここでは説明を省略する。遠赤外線背景画像の更新方法は、遠赤外線カメラ１１の撮像特性や、対象エリアの環境等に応じて決定すればよい。

次に、この画像処理装置１におけるオブジェクト検出処理について説明する。図３は、このオブジェクト検出処理を示すフローチャートである。

画像処理装置１は、可視光画像処理部５１が可視光画像入力部３に入力された可視光画像に対して、オブジェクトの検出に適さない画像領域を抽出する処理を行う（ｓ１）。ｓ１では、可視光画像処理部５１は、図２（Ｂ）に示す破線で分割したブロック毎に、そのブロックがオブジェクトの検出に適さない画像領域であるかどうかを判定し、オブジェクトの検出に適さないと判定したブロックを抽出する。

オブジェクトの検出に適さない画像領域（ブロック）であるかどうかの判定は、以下のようにして行う。まず、可視光画像処理部５１は、処理対象のブロック内の画素毎に、その画素の画素値（輝度値）が予め定めた画像値の範囲内であるかどうかを判定し、この範囲内でない画素の総数を計数する。この画素値の範囲は、下限が黒ツブレと判定する画素の画素値であり、上限が白トビと判定する画素の画素値である。

可視光画像処理部５１は、計数した画素の総数（画素値が上記の範囲外である画素の総数）が、予め定めた個数を超えていれば、オブジェクトの検出に適さない画像領域（ブロック）であると判定する。

また、この判定は、計数した画素の総数（画素値が上記の範囲外である画素の総数）と、処理対象のブロック内の総画素数との比率が、予め定めた値を超えていれば、オブジェクトの検出に適さない画像領域（ブロック）であると判定する処理としてもよい。

可視光画像処理部５１は、ｓ１でオブジェクトの検出に適さないと判定し、抽出したブロック以外に対してオブジェクトの検出処理を行う（ｓ２）。すなわち、可視光画像処理部５１は、ｓ２では、オブジェクトの検出に適している可視光画像の画像領域（ブロック）に対してオブジェクトの検出処理を行う。例えば、図２（Ｂ）に示す右上角のブロックを、ｓ１でオブジェクトの検出に適さないブロックとして抽出した場合、この右上角のブロック以外のブロックに対して、オブジェクトの検出処理を行う。可視光画像処理部５１は、全てのブロックに対してオブジェクトの検出処理を行ってもよいが、処理負荷を低減する目的から、ｓ１でオブジェクトの検出に適さないとして抽出したブロックについては、オブジェクトの検出処理を行わない構成とするのが好ましい。ｓ２では、この時点で記憶している可視光背景画像を用いて、可視光背景差分画像を生成し、撮像されているオブジェクトを検出する。

また、画像処理部５は、可視光画像処理部５１がｓ１でオブジェクトの検出に適さないと判定し、抽出したブロックの有無を判定し（ｓ３）、ｓ１で抽出されたブロックがなければ、ｓ２におけるオブジェクトの検出結果を上位装置に出力し（ｓ６）、ｓ１に戻る。

一方、画像処理部５は、ｓ１で抽出されたブロックがあれば、遠赤外線画像処理部５２で当該ブロックに対するオブジェクトの検出処理を行う（ｓ４）。例えば、図２（Ｂ）に示す右上角のブロックを、ｓ１でオブジェクトの検出に適さないブロックとして抽出した場合、図２（Ｃ）に示す右上角のブロックに対して、オブジェクトの検出処理を行う。

ｓ４では、遠赤外線画像処理部５２は、この時点で記憶している遠赤外線背景画像を用いて、遠赤外線背景差分画像を生成し、撮像されているオブジェクトを検出する。すなわち、光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中したことが原因で、可視光画像処理部５１がオブジェクトを適正に検出することができないブロックに対して、遠赤外線画像処理部５２がオブジェクトの検出処理を行う。

なお、遠赤外線画像処理部５２は、全てのブロックに対してオブジェクトの検出処理を行ってもよいが、処理負荷を低減する目的から、ｓ１でオブジェクトの検出に適さないとして抽出されなかったブロックについては、オブジェクトの検出処理を行わない構成とするのが好ましい。また、ｓ２でオブジェクトの検出処理を行う可視光画像と、ｓ４でオブジェクトの検出処理を行う遠赤外線画像と、は略同じタイミングで撮像された対象エリアの撮像画像である。

画像処理部５は、ｓ２における可視光画像処理部５１のオブジェクトの検出結果と、ｓ４における遠赤外線画像処理部５２のオブジェクトの検出結果と、を統合し（ｓ５）、これを今回のオブジェクトの検出結果として上位装置に出力する（ｓ６）。ｓ５では、ｓ１で抽出されなかったブロックについては、可視光画像処理部５１がｓ２で行ったオブジェクトの検出結果とし、ｓ１で抽出されたブロックについては、遠赤外線画像処理部５２がｓ４で行ったオブジェクトの検出結果とする統合を行う。

このように、この例にかかる画像処理装置１では、可視光画像において、光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中した画像領域については、遠赤外線画像を利用して撮像されているオブジェクトを検出する。このため、光量過多で白トビになった画素や、光量不足で黒ツブレになった画素がある程度集中した画像領域に撮像されているオブジェクトの見逃しが抑えられる。したがって、可視光画像を処理して対象エリアに進入したオブジェクトの検出や追跡等を行う処理の信頼性を向上させることができる。

なお、対象エリアに進入したオブジェクトの追跡については、画像処理部５で行ってもよいが、ｓ６で出力されたオブジェクト検出結果を用いて、上位装置が行う構成としてもよい。

１…画像処理装置
２…制御部
３…可視光画像入力部
４…遠赤外線画像入力部
５…画像処理部
６…入出力部
１０…可視光カメラ
１１…遠赤外線カメラ
５１…可視光画像処理部
５２…遠赤外線画像処理部

Claims (8)

1. 第１のカメラで撮像した対象エリアの可視光画像を入力する第１の画像入力部と、
   第２のカメラで撮像した前記対象エリアの温度分布画像を入力する第２の画像入力部と、
   前記第１の画像入力部に入力された可視光画像を処理し、その可視光画像に撮像されているオブジェクトを検出する第１の画像処理部と、
   前記第２の画像入力部に入力された温度分布画像を処理し、その温度分布画像に撮像されているオブジェクトを検出する第２の画像処理部と、
   前記第１の画像入力部に入力された前記対象エリアの可視光画像について、前記第１の画像処理部におけるオブジェクトの検出に適さない画像領域を抽出する画像領域抽出部と、を備え、
   前記第２の画像処理部は、前記画像領域抽出部が前記第１の画像処理部におけるオブジェクトの検出に適さないとして抽出した可視光画像の画像領域に対応する、前記第２の画像入力部に入力された温度分布画像の画像領域を処理し、撮像されているオブジェクトを検出する、画像処理装置。
2. 前記画像領域抽出部は、前記第１の画像入力部に入力された前記対象エリアの可視光画像を複数に分割したブロック毎に、前記第１の画像処理部におけるオブジェクトの検出に適さない画像領域であるかどうかを判定する、請求項１に記載の画像処理装置。
3. 前記画像領域抽出部は、前記第１の画像入力部に入力された前記対象エリアの可視光画像を複数に分割したブロック毎に、予め定めた画素値の範囲外である画素の総数に基づいて、前記第１の画像処理部におけるオブジェクトの検出に適さない画像領域であるかどうかを判定する、請求項２に記載の画像処理装置。
4. 前記画像領域抽出部は、前記第１の画像入力部に入力された前記対象エリアの可視光画像を複数に分割したブロック毎に、予め定めた画素値の範囲外である画素の総数と、このブロックの総画素数と、の比率に基づいて、前記第１の画像処理部におけるオブジェクトの検出に適さない画像領域であるかどうかを判定する、請求項３に記載の画像処理装置。
5. 前記第２の画像処理部は、前記画像領域抽出部が前記第１の画像処理部におけるオブジェクトの検出に適さないとして抽出しなかった画像領域については、この可視光画像の画像領域に対応する前記第２の画像入力部に入力された温度分布画像の画像領域に対するオブジェクトの検出を行わない、請求項１〜４のいずれかに記載の画像処理装置。
6. 前記第１の画像処理部、および前記第２の画像処理部によるオブジェクトの検出結果を統合し、出力する出力部を備えた請求項１〜５のいずれかに記載の画像処理装置。
7. 第１の画像入力部に入力された対象エリアの可視光画像を処理し、その可視光画像に撮像されているオブジェクトを検出する第１の画像処理ステップと、
   第２の画像入力部に入力された前記温度分布画像を処理し、その温度分布画像に撮像されているオブジェクトを検出する第２の画像処理ステップと、
   前記第１の画像入力部に入力された前記対象エリアの可視光画像について、前記第１の画像処理ステップにおけるオブジェクトの検出に適さない画像領域を抽出する画像領域抽出ステップと、をコンピュータが実行する画像処理方法であって、
   前記第２の画像処理ステップは、前記画像領域抽出ステップが前記第１の画像処理ステップにおけるオブジェクトの検出に適さないとして抽出した可視光画像の画像領域に対応する、前記第２の画像入力部に入力された温度分布画像の画像領域を処理し、撮像されているオブジェクトを検出するステップである、画像処理方法。
8. 第１の画像入力部に入力された対象エリアの可視光画像を処理し、その可視光画像に撮像されているオブジェクトを検出する第１の画像処理ステップと、
   第２の画像入力部に入力された前記温度分布画像を処理し、その温度分布画像に撮像されているオブジェクトを検出する第２の画像処理ステップと、
   前記第１の画像入力部に入力された前記対象エリアの可視光画像について、前記第１の画像処理ステップにおけるオブジェクトの検出に適さない画像領域を抽出する画像領域抽出ステップと、をコンピュータに実行させる画像処理プログラムであって、
   前記第２の画像処理ステップは、前記画像領域抽出ステップが前記第１の画像処理ステップにおけるオブジェクトの検出に適さないとして抽出した可視光画像の画像領域に対応する、前記第２の画像入力部に入力された温度分布画像の画像領域を処理し、撮像されているオブジェクトを検出するステップである、画像処理プログラム。

Images