JP2009010669A - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】画像処理装置において、撮像画像信号を基に所望の物体をより確実に検出できるようにする。
【解決手段】遠赤外線カメラ１１からの赤外線画像信号を基に、画素値が所定レベル以上となる第１の画像領域を抽出する白色抽出部２１と、遠赤外線カメラ１１と同じ方向を撮像する可視光カメラ１２からの可視光画像信号を基に、少なくとも画素値が所定レベル以上となる第２の画像領域を抽出する白色抽出部２２と、第１の画像領域と第２の画像領域との重複領域を抽出するＡＮＤ処理部２３と、赤外線画像信号のうち、上記の重複領域の各画素値を、所定の上限しきい値未満の画素値に置換する黒色置換部２４と、置換後の画像信号を基に、画素値が、上記の上限しきい値以上の帯域に設定された所定のしきい値以上となる画像領域を抽出する白色抽出部２５を備える。
【選択図】図２

Description

本発明は、入力画像信号を基に特定の被写体を検出するための画像処理装置、この画像処理機能を備えた撮像装置、画像処理方法およびプログラムに関し、特に、２種類のカメラからの画像信号を基に被写体検出処理を行う画像処理装置、撮像装置、画像処理方法およびプログラムに関する。

従来、撮像した画像信号を基に画像処理を行うことで、撮像範囲内の特定の物体を検出する種々の技術が考えられており、このような技術は監視カメラなどに用いられていた。また、可視光を検出して撮像する可視光カメラだけでなく、近赤外線カメラや遠赤外線カメラも知られており、これらは撮像対象の赤外線放射エネルギーを検出することで物体を識別できるようになっていた。

ところで、可視光カメラと赤外線カメラ（特に遠赤外線カメラ）とでは、それぞれの特性の違いから、比較的確実に識別可能な物体も異なる。例えば、可視光カメラによる撮像画像からは、波に浮かぶ物体を比較的容易に検出できるが、その物体が人間か、あるいはゴミかを識別することは容易ではなかった。一方、遠赤外線カメラによる撮像画像からは、波に浮かぶ物体が人間か、あるいはゴミかを比較的容易に識別できるが、白波と人間とを識別することは容易ではなかった。

また、１種類のカメラを用いて物体の検出精度を高めた画像監視装置として、背景の揺らぎを取り込むようにした基準画像との輝度差や、複数フレームの画像を加重平均して得た画像との輝度差などを参照することで、監視対象領域の日照条件が変化したときでも、侵入物体の誤検出や検出漏れを起こさないようにしたものがあった（例えば、特許文献１参照）。
特開２００２−３５２３４０号公報（段落番号〔００３４〕〜〔００４７〕、図１）

上記のように、可視光カメラと赤外線カメラとでは、それぞれについて検出しやすい物体とそうでない物体とが存在するので、それぞれのカメラでは必ずしも所望の物体を確実に検出できるとは限らなかった。上記の例では、可視光カメラと遠赤外線カメラとをそれぞれ単独で用いた場合には、波に浮かぶ人間を確実に検出することはできなかった。

本発明はこのような点に鑑みてなされたものであり、撮像画像信号を基に、所望の物体をより確実に検出できるようにした画像処理装置、撮像装置、画像処理方法およびプログラムを提供することを目的とする。

本発明では上記課題を解決するために、入力画像信号を基に特定の被写体を検出するための画像処理装置において、赤外線カメラからの赤外線画像信号を基に、画素値が第１のレベル帯域に含まれる第１の画像領域を抽出する第１の領域抽出部と、前記赤外線カメラと同じ方向を撮像する可視光カメラからの可視光画像信号を基に、画素値が第２のレベル帯域に含まれる第２の画像領域を抽出する第２の領域抽出部と、前記第１の画像領域または前記第２の画像領域のいずれか一方から、前記第１の画像領域と前記第２の画像領域との重複領域を除外した第３の画像領域を、前記特定の被写体を含む領域として出力する第３の画像領域抽出部と、を有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、赤外線カメラからの赤外線画像信号と、この赤外線カメラと同じ方向を撮像する可視光カメラからの可視光画像信号とを基に、被写体の検出処理が行われる。第１の領域抽出部は、赤外線画像信号を基に、画素値が第１のレベル帯域に含まれる第１の画像領域を抽出し、第２の領域抽出部は、可視光画像信号を基に、画素値が第２のレベル帯域に含まれる第２の画像領域を抽出する。第３の画像領域抽出部は、抽出された第１の画像領域または第２の画像領域のいずれか一方から、第１の画像領域と第２の画像領域との重複領域を除外した第３の画像領域を、検出の対象としていた特定の被写体を含む領域として出力する。このような処理では、第１の画像抽出部および第２の画像抽出部により共通に検出可能な被写体があったときに、この被写体以外の別の被写体を含むと考えられる領域が、第３の画像抽出部によって抽出される。

本発明の画像処理装置によれば、第１の画像抽出部および第２の画像抽出部により共通に検出可能な被写体があったときに、この被写体以外の別の被写体を含むと考えられる領域が、第３の画像抽出部によって抽出されるので、第１の画像抽出部または第２の画像抽出部のいずれか一方による領域抽出処理では、それらで共通に検出可能な被写体と識別不可能であった別の被写体を、第３の画像抽出部によって正確に検出できる。従って、赤外線カメラおよび可視光カメラをそれぞれ単体で使用した場合では検出が困難であった特定の被写体を、正確に検出できるようになる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。以下の実施の形態で説明する撮像装置は、被写体から反射または放射されている、異なる周波数帯域の光（電磁波）をそれぞれ検出可能な２つのカメラを備えている。ここでは、そのような撮像装置をハイブリッドカメラと呼称する。

［第１の実施の形態］
図１は、第１の実施の形態に係るハイブリッドカメラの構成について概略的に示す図である。

図１に示すハイブリッドカメラ１は、主として、遠赤外線領域の電磁波を検出可能な遠赤外線カメラ１１と、可視光を検出可能な可視光カメラ１２と、各カメラによる撮像画像を用いて信号処理を行う画像処理回路１３とを備えている。

遠赤外線カメラ１１および可視光カメラ１２は、それぞれ同じ方向を同じ画角で撮像する。遠赤外線カメラ１１は、遠赤外線を検出するセンサとして、例えば、照射された遠赤外線が持つエネルギー（熱）を検知する焦電素子、ボロメータなどを備えている。また、可視光カメラ１２は、可視光を検出するセンサとして、例えば、ＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサなどの固体撮像素子を備えている。

画像処理回路１３は、遠赤外線カメラ１１および可視光カメラ１２により撮像された画像信号を基に、各種の信号処理を行う。特に、本実施の形態では、これら双方の画像信号を基に、撮像範囲内から特定の物体を検出して、出力画像内においてその物体の検出を明示させるような処理を実行する。

なお、遠赤外線カメラ１１および可視光カメラ１２は、それぞれのセンサからの出力信号をデジタル信号に変換する機能を備え、画像処理回路１３は、遠赤外線カメラ１１および可視光カメラ１２から出力されるデジタル画像信号を基に処理を行う。また、遠赤外線カメラ１１および可視光カメラ１２は、それぞれ画素数の異なるセンサを具備していてもよい。ただし、この場合には、各カメラ（あるいはそれらの一方）の内部には解像度変換機能が設けられ、各カメラから画像処理回路１３に対しては、それぞれフレーム当たり同じ画素数のデジタル画像信号が出力されるようにする。

また、この実施の形態では、ハイブリッドカメラ１は通信回線を通じて外部の機器と接続することが可能になっている。図１では、外部機器としてパーソナルコンピュータ（ＰＣ）２が接続されており、例えば、ハイブリッドカメラ１の画像処理回路１３からの出力画像をＰＣ２のモニタにおいて表示させることや、出力画像信号をＰＣ２において保存することができるようになっている。これにより、ハイブリッドカメラ１による撮像領域をＰＣ２側から監視できるようになる。さらに、ハイブリッドカメラ１の動作制御や各種設定のための操作を、ＰＣ２側から行うことができるようにしてもよい。

図２は、第１の実施の形態に係るハイブリッドカメラのさらに詳細な内部構成を示す図である。
図２に示すように、ハイブリッドカメラ１の画像処理回路１３は、白色抽出部２１，２２、論理積（ＡＮＤ）処理部２３、黒色置換部２４、白色抽出部２５、表示枠生成部２６、合成処理部２７、および設定レジスタ２８を備えている。さらに、このハイブリッドカメラ１には、遠赤外線カメラ１１および可視光カメラ１２のそれぞれの撮像動作を同期させるための同期信号生成部２９が設けられている。

遠赤外線カメラ１１から出力される信号に基づく画像は、例えば白黒画像で表すことができる。白色抽出部２１は、遠赤外線カメラ１１からの画像信号から、所定のしきい値以上の階調を持つ領域を検出することで、白色領域を抽出する。白色抽出部２１は、白色領域を抽出するための階調しきい値を、設定レジスタ２８から読み込んで動作する。

一方、可視光カメラ１２から出力される画像信号は、Ｒ／Ｇ／Ｂ（Red/Green/Blue）の各色成分により構成される。白色抽出部２２は、可視光カメラ１２からの画像信号から、Ｒ／Ｇ／Ｂの各色成分と成分ごとのしきい値との比較結果、および、各色成分間の関係に基づいて、白色領域を抽出する。白色抽出部２１と同様に、白色抽出部２２も、白色領域を抽出するための各色成分のしきい値などの条件を、設定レジスタ２８から読み込んで動作する。

ＡＮＤ処理部２３は、白色抽出部２１および２２のそれぞれによって抽出された白色領域の論理積をとる。すなわち、ＡＮＤ処理部２３では、遠赤外線カメラ１１および可視光カメラ１２の双方により白色と判定された領域のみを抽出し、いずれか一方のみにより白色と判定された領域を除去する。

黒色置換部２４は、遠赤外線カメラ１１からの画像信号のうち、ＡＮＤ処理部２３により抽出された白色領域のみを最低階調値（０）に置換して、この領域を黒色に変換する。
白色抽出部２５は、黒色置換部２４からの画像信号から、所定のしきい値以上となる領域を検出して、白色領域を抽出する。この白色抽出部２５も、白色領域を抽出するための階調しきい値を、設定レジスタ２８から読み込んで動作する。

表示枠生成部２６は、白色抽出部２５により抽出された白色領域を視覚的に示すための画像領域を、合成処理部２７に対して出力する。ここでは例として、白色領域を包含する所定形状の表示枠を生成し、その表示枠の領域を合成処理部２７に出力する。また、表示枠生成部２６は、表示枠の形状、枠体の幅などを設定レジスタ２８から読み込み、それに応じて表示枠を生成する。

合成処理部２７は、可視光カメラ１２からの画像信号に対して、表示枠生成部２６により生成された表示枠を合成する。例えば、合成処理部２７は、可視光カメラ１２からの画像信号のうち、表示枠生成部２６から出力された表示枠の領域のみを所定の色に置換する。これにより、白色抽出部２５により抽出された白色領域の周囲に、所定の色の表示枠が表示された画像が生成される。また、合成処理部２７は、表示枠を表示するための色などを設定レジスタ２８から読み込み、それに応じて表示枠の合成を行う。

設定レジスタ２８は、画像処理回路１３内の動作に必要な各種設定情報を保持する。また、設定レジスタ２８の情報は、ハイブリッドカメラ１が備える入力部（図示せず）からの入力操作や、ＰＣ２などの外部機器での入力操作に応じて書き換えることができ、これにより、画像処理回路１３内の動作設定を変更できるようになっている。

また、遠赤外線カメラ１１および可視光カメラ１２は、同期信号生成部２９により生成されるタイミング信号に同期して、それぞれ同じタイミングで撮像動作を行う。なお、これらのカメラは、必ずしも完全に同じタイミングで撮像動作が実行される必要はない。例えば、各カメラの撮像間隔がそれぞれ異なるものとされてもよい。ただし、このような場合でも、言うまでもなく、各カメラの撮像タイミングはできるだけ近接していることが望ましい。

以上の構成を有するハイブリッドカメラ１では、遠赤外線カメラ１１および可視光カメラ１２の双方の物体検出結果を用いることで、それぞれ一方のみでは識別不可能であった物体を確実に検出できるようにしている。具体的には、以下の図３〜図５で説明するように、波の立った水面付近に存在する人間を確実に検出できるようにする。

図３〜図５は、ハイブリッドカメラ内の各部における画像信号に対応する画像例を示す図である。以下、これらの図を利用して、ハイブリッドカメラ１における物体検出処理の流れについて、順を追って具体的に説明する。

まず、本実施の形態では、遠赤外線カメラ１１からは、８ビットのデジタル画像信号が出力されるものとする。この場合、階調値“０”の画素が最も強い黒色となり、階調値“２５５”の画素が最も強い白色となる。一方、可視光カメラ１２からは、Ｒ／Ｇ／Ｂの各成分が８ビットずつのデジタル・カラー画像信号が出力されるものとする。画像信号におけるＲ／Ｇ／Ｂの各成分の値を“（ｒ／ｇ／ｂ）”と表すと、“（０／０／０）”である画素は最も強い黒色となり、“（２５５／２５５／２５５）”である画素は最も強い白色となる。

図３において、画像ｐ１およびｐ２は、遠赤外線カメラ１１および可視光カメラ１２によって同時に撮像されて出力された画像信号Ｐ１およびＰ２に対応している。これらの画像ｐ１およびｐ２には、被写体の例として、海面上の白波１０１および１０２と、これらの白波１０１および１０２を除く海面１０３と、海面１０３に浮かぶ人間１０４とが存在している。

ここで、遠赤外線カメラ１１により撮像された画像ｐ１では、白波１０１の階調値が“２５０”、白波１０２の階調値が“２５２”、海面１０３の階調値が“１０”、人間１０４の階調値が“２５１”であったとする。

一方、可視光カメラ１２により撮像された画像ｐ２では、白波１０１での各色成分の値が“（２５２／２５２／２５１）”、白波１０２での各色成分の値が“（２５０／２５０／２５０）”、海面１０３での各色成分の値が“（２０／２０／２００）”、人間１０４の領域での各色成分の値が“（３１／３２／３０）”であったとする。

白色抽出部２１では、遠赤外線カメラ１１からの画像信号Ｐ１のうち、所定のしきい値以上の階調を持つ領域が検出されることで、白色領域が抽出される。ここでは、階調しきい値の例として、設定レジスタ２８に“２５０”が設定されているものとする。

図３の画像ｐ３は、白色抽出部２１から出力される画像信号Ｐ３に対応しており、上記設定に基づく白色抽出部２１の処理により、画像ｐ１の被写体のうち、白波１０１および１０２と人間１０４のみが、白色領域として抽出される。なお、画像信号Ｐ３は、画素値として“０”と“１”のいずれかのみをとる２値画像信号とされ、抽出された白色領域（すなわち、白波１０１および１０２と人間１０４の各領域）の画素値が“１”とされ、その他の領域の画素値が“０”とされる。図３の画像ｐ３では、画素値“１”の領域を塗りつぶして示している。

一方、白色抽出部２２では、可視光カメラ１２からの画像信号から、Ｒ／Ｇ／Ｂの各色成分と成分ごとのしきい値との比較結果、および、各色成分間の関係に基づいて、白色領域が抽出される。ここでは例として、Ｒ／Ｇ／Ｂの成分の値がそれぞれしきい値ｔｈ＿ｒ，ｔｈ＿ｇ，ｔｈ＿ｂ以上であり、なおかつ、各色成分間の差が所定の値以内に収まっている場合に、その画素が白色であると判定する。後者の条件は、次の３式がすべて成立することである。
ｒ−ｒｌ≦ｇ≦ｒ＋ｒｈ，ｇ−ｇｌ≦ｂ≦ｇ＋ｇｈ，ｂ−ｂｌ≦ｒ≦ｂ＋ｂｈ
なお、上記の式において、ｒ，ｇ，ｂはそれぞれ画像信号Ｐ２におけるＲ成分、Ｇ成分、Ｂ成分の値を示す。また、ｒｌ，ｒｈ，ｇｌ，ｇｈ，ｂｌ，ｂｈは、それぞれ各色成分間の差のレンジを示す０以上の係数であって、ｒｌ≦ｔｈ＿ｒｈ，ｔｈ＿ｇｌ≦ｔｈ＿ｇｈ，ｔｈ＿ｂｌ≦ｔｈ＿ｂｈの関係を有する。

本実施の形態では、しきい値ｔｈ＿ｒ，ｔｈ＿ｇ，ｔｈ＿ｂがいずれも“２５０”、係数ｒｌ，ｒｈ，ｇｌ，ｇｈ，ｂｌ，ｂｈがいずれも“２”とされ、これらの設定値が設定レジスタ２８に設定されるものとする。

図３の画像ｐ４は、白色抽出部２２から出力される画像信号Ｐ４に対応しており、上記設定に基づく白色抽出部２２の処理により、画像ｐ２の被写体のうち、白波１０１および１０２のみが白色領域として抽出される。なお、画像信号Ｐ３と同様に、画像信号Ｐ４は画素値として“０”と“１”のいずれかのみをとる２値画像信号とされ、抽出された白色領域（すなわち、白波１０１および１０２の各領域）の画素値が“１”とされ、その他の領域の画素値が“０”とされる。図３の画像ｐ４では、画素値“１”の領域を塗りつぶして示している。

なお、白色抽出部２２における他の処理例として、Ｒ／Ｇ／Ｂの成分の値がそれぞれしきい値ｔｈ＿ｒ，ｔｈ＿ｇ，ｔｈ＿ｂ以上であることのみを条件として、白色領域を抽出してもよい。ただし、上述したように、さらに各色成分間の関係に関する条件も用いることで、より白色に近い領域を正確に抽出できるようになる。

次に、ＡＮＤ処理部２３により、白色抽出部２１および２２から各画像信号Ｐ３およびＰ４のそれぞれにおける対応する画素値同士の論理積が演算される。これにより、遠赤外線カメラ１１および可視光カメラ１２の双方により白色と判定された領域を示す画像信号Ｐ５が出力される。

図４の画像ｐ５はこの画像信号Ｐ５に対応しており、ＡＮＤ処理部２３の処理により、画像ｐ３およびｐ４における白色領域のうち、白波１０１および１０２のみが白色領域として抽出される。なお、画像信号Ｐ５は、画素値として“０”と“１”のいずれかのみをとる２値画像信号とされ、抽出された白色領域（すなわち、白波１０１および１０２の各領域）の画素値が“１”とされ、その他の領域の画素値が“０”とされる。図４の画像ｐ５では、画素値“１”の領域を塗りつぶして示している。

次に、黒色置換部２４により、遠赤外線カメラ１１からの画像信号Ｐ１のうち、ＡＮＤ処理部２３により抽出された白色領域のみが最低階調値（０）に置換され、この領域が黒色に変換される。図４の画像ｐ６は、黒色置換部２４から出力される画像信号Ｐ６に対応しており、黒色置換部２４の処理により、この画像ｐ６では、画像ｐ１内の白波１０１および１０２の領域の画素値が“０”とされて、黒色に変換される。

次に、白色抽出部２５により、黒色置換部２４からの画像信号Ｐ６から、所定のしきい値以上となる領域が検出されて、白色領域が再度抽出される。ここでは、階調しきい値の例として、設定レジスタ２８に“２５０”が設定されているものとする。

図４の画像ｐ７は、白色抽出部２５から出力される画像信号Ｐ７に対応している。上述したように、黒色置換部２４からの画像信号Ｐ６では、白波１０１および１０２の領域の画素値は“０”、海面１０３の画素値は“１０”、人間１０４の領域の画素値は“２５１”であったので、上記設定に基づく白色抽出部２５の処理により、画像ｐ６の被写体のうち、人間１０４の領域のみが白色領域として抽出される。

次に、表示枠生成部２６により、白色抽出部２５で抽出された白色領域を包含する所定形状の表示枠が生成され、その表示枠の位置を示す画像信号Ｐ８が出力される。図４の画像ｐ８は、この画像信号Ｐ８に対応している。ここでは例として、白色抽出部２５により抽出された人間１０４の領域を包含するような矩形の表示枠１０５が生成され、画像ｐ８では、この表示枠１０５に対応する領域の画素値のみが“１”とされ、他の領域の画素値が“０”とされる。

以上の処理によって人間が検出され、その検出位置を示す画像信号Ｐ８が出力されると、合成処理部２７では、可視光カメラ１２からの画像信号Ｐ２に対して、表示枠１０５を示す信号を合成する処理が実行される。ここでは例として、可視光カメラ１２からの画像信号Ｐ２の画素のうち、表示枠生成部２６からの画像信号Ｐ８の画素値が“１”である画素の値が、所定の色（例えば赤色）に対応する値に変換される。図５の画像ｐ９は、合成処理部２７から出力される画像信号Ｐ９に対応しており、この画像ｐ９上では、検出された人間１０４の領域を取り囲むように、所定の色の表示枠１０５が合成表示される。

以上説明した処理によれば、白波が立っている水面などに人間が存在しているときでも、この人間を正確に検出できるようになる。例えば、可視光カメラ１２では、水面に浮かぶ物体を比較的高精度に検出できるが、特に、その物体の周囲からの反射光が強いときや、あるいは周囲に白波などの明るい被写体が映っているときには、水面上の物体が相対的に暗くなるために、その物体が人間か否かを判別することが困難になる場合があった。一方、遠赤外線カメラ１１では、物体の温度を検出可能であることから、水面上の物体が人間であるか否かを比較的高精度に検出できる。しかし、水面に対して太陽光が強く照射しているときなどには、水面の白波が人間と同じような階調値をとってしまう場合があり、人間を白波と区別することが困難になる場合があった。

これに対して、上記処理によれば、可視光カメラ１２による撮像画像から白色領域を検出することで、白波の領域を検出し、遠赤外線カメラ１１による撮像画像から検出した人間の検出領域から、可視光カメラ１２に基づく白波の検出領域を除外することで、人間を白波と区別して正確に検出できる。そして、このような検出処理を、遠赤外線カメラ１１および可視光カメラ１２の各撮像画像信号の画素値をしきい値と比較する比較処理と、その比較結果に対する論理積演算とを主とする単純な処理で実行できる。従って、例えば人間の形状に対応するテンプレートを用いたパターンマッチングなどの複雑な処理を行った場合などと比較して、画像処理回路１３の回路規模や処理負荷が大幅に抑制されて、ハイブリッドカメラ１の製造コストや消費電力を低減でき、またその装置自体を小型化・軽量化できるようになる。

なお、以上の実施の形態の例では、白色抽出部２５により抽出された白色領域（すなわち、人間１０４の検出領域）を視覚的に示すための画像として、矩形の表示枠が生成されているが、例えば円形などの他の形状の表示枠が生成されてもよい。また、表示枠が点線などの他の種類の線により構成されてもよく、さらに、合成画像上で表示枠が点滅するようにしてもよい。また、表示枠が、抽出された人間１０４の領域の輪郭に沿って形成されるようにしてもよい。また、このような表示枠の形状や太さ、線の種類、表示方法などを、ユーザ操作に応じて任意に設定可能としてもよい。また、表示枠の周囲の色に応じて、自動的に表示枠が目立つ色に設定されるようにしてもよい。また、表示枠の合成表示とともに、アラーム音声を発したり、その音声信号を画像信号とともに出力してもよい。また、表示枠の代わりに、検出された物体（人間１０４）自体の色を変化させてもよい。

［第２の実施の形態］
図６は、第２の実施の形態に係るハイブリッドカメラの内部構成を示す図である。なお、この図６では、図２に対応するブロックには同じ符号を付して示しており、その説明を省略することにする。

図６に示す画像処理回路１３ａでは、遠赤外線カメラ１１および可視光カメラ１２の各出力画像信号から白色領域を抽出する白色抽出部２１および２２の後段に、白色抽出部２１および２２の出力画像信号について画素ごとに否定論理積をとる否定論理積（ＮＡＮＤ）処理部３１が設けられている。

前述したように、白色抽出部２１および２２からの各出力画像信号においては、それぞれで抽出された白色領域の画素値が“１”とされ、その他の領域の画素値が“０”とされている。従って、これらの出力画像信号の否定論理積をとることで、双方の白色抽出部２１および２２により白色と判定された領域（図３の画像ｐ３およびｐ４における白波１０１および１０２の領域）が除去され、一方でのみ白色と判定された領域（画像ｐ３の人間１０４の領域）のみが抽出される。

表示枠生成部２６では、このように抽出された白色領域に対して表示枠の位置が生成され、合成処理部２７では、可視光カメラ１２による撮像画像に対して、検出された白色領域（すなわち、人間を検出した領域）の周囲に表示枠を合成した合成画像の信号が生成される。

以上の処理により、この第２の実施の形態でも、第１の実施の形態と同様に、人間を白波と区別して正確に検出できる。そして、このような検出処理を、遠赤外線カメラ１１および可視光カメラ１２の各撮像画像信号の画素値をしきい値と比較する比較処理と、その比較結果に対する否定論理積演算とを主とする単純な処理で実行できる。

なお、以上の各実施の形態では、主として、２種類のカメラによる撮像画像信号に対するしきい値との比較処理と論理演算とによって、人間を正確に検出するようにしたが、このような処理に対して、より複雑な画像処理による公知の人間検出処理を組み合わせることで、より正確な人間検出を行うようにしてもよい。例えば、可視光カメラの出力画像信号を基に、肌色検出やテンプレート画像とのマッチング処理などを用いた人間検出処理を行い、この処理により検出された人間検出領域と、図２の白色抽出部２５あるいは図６のＮＡＮＤ処理部３１が出力する白色抽出領域とが一致したときに、その領域を人間が検出された領域と判定するようにしてもよい。

また、上記では、人間を白波と区別して検出できることを述べたが、遠赤外線カメラと可視光カメラとを用いた場合には、白波以外の別の物体と人間とを区別することもできる。例えば、遠赤外線カメラと可視光カメラの双方の撮像画像で概ね白色として検出される電灯（蛍光灯など）の光が存在する環境下でも、双方によるこの電灯の検出領域を除外することで、遠赤外線カメラにより白色として検出された人間のみを、電灯と区別して正確に検出することが可能になる。

また、雪山などでは、可視光カメラによる撮像画像信号からは、雪と人間とを区別しにくい。また、雪は遠赤外線カメラでは概ね黒色として検出され、可視光カメラでは白色として検出される。そこで、遠赤外線カメラによる撮像画像信号から抽出した黒色領域と、可視光カメラによる撮像画像信号から抽出した白色領域との論理積をとることで、雪の領域を除外し、残りの領域から遠赤外線カメラに基づく白色領域を抽出することで、人間を検出することもできる。

また、可視光カメラと組み合わせて使用するカメラとしては、遠赤外線カメラに限らず、近赤外線カメラなどの赤外線領域を検出するカメラを用いることもできる。さらに、赤外線カメラと可視光カメラとの組み合わせに限らず、異なる周波数帯域の光（電磁波）をそれぞれ検出可能な２つのカメラを備えているときに、特定の物体を他の物体と識別することが可能になる。すなわち、２種類のカメラの双方で第１の物体を検出する場合に、一方のカメラによる第１の物体の検出領域においてはこの第１の物体と識別不可能である第２の物体があり、他方のカメラによる第１の物体の検出領域においては第２の物体が検出されない場合には、双方のカメラによる第１の物体の検出領域に基づいて、第１のカメラによる第１の物体の検出領域からこの第１の物体の検出領域を正確に除外することで、第２の物体の検出領域のみを抽出することが可能になる。

また、上記の各実施の形態では、本発明を、２種類のカメラと物体検出用の画像処理回路とが一体となった装置に対して適用した場合について説明したが、この他に、２種類のカメラを外部に接続することで物体検出が可能となる画像処理装置に対して、本発明を適用することもできる。例えば、ＰＣなどの情報処理装置において、通信ケーブルなどを通じて２種類のカメラからの撮像信号の入力を受け、これらの入力信号を基に物体検出処理を行うようにしてもよい。

また、このような画像処理装置の処理機能は、コンピュータによって実現することができる。その場合、これらの処理機能の内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、これらの処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

第１の実施の形態に係るハイブリッドカメラの構成について概略的に示す図である。 第１の実施の形態に係るハイブリッドカメラのさらに詳細な内部構成を示す図である。 ハイブリッドカメラ内の各部における画像信号に対応する画像例を示す図（その１）である。 ハイブリッドカメラ内の各部における画像信号に対応する画像例を示す図（その２）である。 ハイブリッドカメラ内の各部における画像信号に対応する画像例を示す図（その３）である。 第２の実施の形態に係るハイブリッドカメラの内部構成を示す図である。

符号の説明

１……ハイブリッドカメラ、２……ＰＣ、１１……遠赤外線カメラ、１２……可視光カメラ、１３……画像処理回路、２１，２２，２５……白色抽出部、２３……論理積（ＡＮＤ）処理部、２４……黒色置換部、２６……表示枠生成部、２７……合成処理部、２８……設定レジスタ、２９……同期信号生成部

Claims (15)

1. 入力画像信号を基に特定の被写体を検出するための画像処理装置において、
   赤外線カメラからの赤外線画像信号を基に、画素値が第１のレベル帯域に含まれる第１の画像領域を抽出する第１の領域抽出部と、
   前記赤外線カメラと同じ方向を撮像する可視光カメラからの可視光画像信号を基に、画素値が第２のレベル帯域に含まれる第２の画像領域を抽出する第２の領域抽出部と、
   前記第１の画像領域または前記第２の画像領域のいずれか一方から、前記第１の画像領域と前記第２の画像領域との重複領域を除外した第３の画像領域を、前記特定の被写体を含む領域として出力する第３の画像領域抽出部と、
   を有することを特徴とする画像処理装置。
2. 前記第２の領域抽出部は、前記第２の画像領域として、少なくとも前記第２のレベル帯域と画素値との比較結果に基づき、所定の色領域に含まれる画素からなる領域を抽出することを特徴とする請求項１記載の画像処理装置。
3. 前記第１の領域抽出部は、前記第１の画像領域として、所定のレベル以上の画素値を持つ画素の領域を出力し、
   前記第２の領域抽出部は、前記第２の画像領域として、前記可視光画像信号の各色成分の画素値がそれぞれ所定のレベル以上をとることで少なくとも判定される白色領域を抽出することを特徴とする請求項２記載の画像処理装置。
4. 前記第３の領域抽出部は、前記第１の画像領域から、前記第１の画像領域と前記第２の画像領域との重複領域を除外した領域を、前記第３の画像領域として出力することを特徴とする請求項３記載の画像処理装置。
5. 前記第３の領域抽出部は、前記赤外線画像信号のうち、前記第１の画像領域と前記第２の画像領域との重複領域の各画素値を、所定の上限しきい値未満の画素値に置換し、置換後の画像信号を基に、画素値が、前記上限しきい値以上の帯域に設定された前記第２のレベル帯域に含まれる画像領域を抽出することで、前記第３の画像領域を出力することを特徴とする請求項３記載の画像処理装置。
6. 前記第３の領域抽出部は、前記第１の画像領域と前記第２の画像領域との重複領域を、前記第１の領域抽出部および前記第２の領域抽出部からの各画像信号に対する論理積演算を行うことで抽出することを特徴とする請求項５記載の画像処理装置。
7. 前記第３の領域抽出部は、前記第３の画像領域を、前記第１の領域抽出部および前記第２の領域抽出部からの各画像信号に対する否定論理積演算を行うことで抽出することを特徴とする請求項１記載の画像処理装置。
8. 前記第３の画像領域をユーザに対して視覚的に通知するための画像処理を、前記可視光画像信号に対して施す領域表示処理部をさらに有することを特徴とする請求項１記載の画像処理装置。
9. 前記領域表示処理部は、前記第３の画像領域をユーザに対して視覚的に通知するための表示画像を、前記可視光画像信号に基づく画像上に合成する処理を行うことを特徴とする請求項８記載の画像処理装置。
10. 前記表示画像は、前記第３の画像領域の周囲に配置される枠体であることを特徴とする請求項９記載の画像処理装置。
11. 前記赤外線画像信号は、遠赤外線帯域を検出した画像信号であることを特徴とする請求項１記載の画像処理装置。
12. 撮像画像信号を基に特定の被写体を検出する機能を備えた撮像装置において、
    赤外線カメラと、
    前記赤外線カメラと同じ方向を撮像する可視光カメラと、
    前記赤外線カメラからの赤外線画像信号を基に、画素値が第１のレベル帯域に含まれる第１の画像領域を抽出する第１の領域抽出部と、
    前記可視光カメラからの可視光画像信号を基に、画素値が第２のレベル帯域に含まれる第２の画像領域を抽出する第２の領域抽出部と、
    前記第１の画像領域または前記第２の画像領域のいずれか一方から、前記第１の画像領域と前記第２の画像領域との重複領域を除外した第３の画像領域を、前記特定の被写体を含む領域として出力する第３の画像領域抽出部と、
    を有することを特徴とする撮像装置。
13. 前記赤外線カメラと前記可視光カメラの双方の撮像タイミングを同期させるための同期信号を生成する同期信号生成部をさらに有することを特徴とする請求項１２記載の撮像装置。
14. 入力画像信号を基に特定の被写体を検出するための画像処理方法において、
    第１の領域抽出部が、赤外線カメラからの赤外線画像信号を基に、画素値が第１のレベル帯域に含まれる第１の画像領域を抽出し、
    第２の領域抽出部が、前記赤外線カメラと同じ方向を撮像する可視光カメラからの可視光画像信号を基に、画素値が第２のレベル帯域に含まれる第２の画像領域を抽出し、
    第３の画像領域抽出部が、前記第１の画像領域または前記第２の画像領域のいずれか一方から、前記第１の画像領域と前記第２の画像領域との重複領域を除外した第３の画像領域を、前記特定の被写体を含む領域として出力する、
    ことを特徴とする画像処理方法。
15. 入力画像信号を基に特定の被写体を検出するための画像処理プログラムにおいて、
    コンピュータを、
    赤外線カメラからの赤外線画像信号を基に、画素値が第１のレベル帯域に含まれる第１の画像領域を抽出する第１の領域抽出部、
    前記赤外線カメラと同じ方向を撮像する可視光カメラからの可視光画像信号を基に、画素値が第２のレベル帯域に含まれる第２の画像領域を抽出する第２の領域抽出部、
    前記第１の画像領域または前記第２の画像領域のいずれか一方から、前記第１の画像領域と前記第２の画像領域との重複領域を除外した第３の画像領域を、前記特定の被写体を含む領域として出力する第３の画像領域抽出部、
    として機能させることを特徴とする画像処理プログラム。

Images