JPWO2017073344A1 - 撮像システム、並びにオブジェクト検出装置及びその作動方法 - Google Patents

Abstract

撮像システム、並びにオブジェクト検出装置及びその作動方法において、赤外線画像においてオブジェクト検出が適切に実施しにくい状況が生じている場合でも対象物を正しく検出する。第１の対象物候補領域抽出手段２３は、赤外線撮像装置により撮像された赤外線画像から対象物が存在すると推測される第１の対象物候補領域を抽出する。第２の対象物候補領域抽出手段２４は、可視光撮像装置により撮像された可視光画像から対象物が存在すると推測される第２の対象物候補領域を抽出する。スコア統合手段２５は、第１の対象物候補領域における第１の評価値と、第２の対象物候補領域における第２の評価値とを重み付け加算して統合評価値を算出する。重み決定手段２６は、例えば環境温度に基づいて、重み付け加算における重みを決定する。対象物領域判定手段２７は、統合評価値に基づいて対象物領域を判定する。

Description

本発明は、撮像システムに関し、更に詳しくは、可視光を撮像する撮像装置と赤外線を撮像する撮像装置とを含む撮像システムに関する。また、本発明は、上記撮像システムに含まれるオブジェクト検出装置及びその作動方法に関する。

可視光カメラと赤外線カメラとを有する撮像システムが知られている（例えば特許文献１）。特許文献１において、可視光カメラと赤外線（遠赤外線）カメラとは、ほぼ同じアングル、かつほぼ同じ撮像倍率で、オブジェクトの検出を行う対象エリアを撮像する。特許文献１では、可視光カメラにより撮像された可視光画像と、遠赤外線カメラにより撮像された赤外線画像（温度分布画像）とにおいて、それぞれオブジェクト検出が実施される。

特許文献１では、オブジェクト検出に先立って、可視光画像において例えば白とび又は黒つぶれしている領域がオブジェクト検出に適さない画像領域として抽出され、可視光画像に対してその領域を除外してオブジェクト検出が実施される。赤外線画像については、可視光画像においてオブジェクト検出に適さない画像領域として抽出された領域以外の領域において、オブジェクト検出が実施される。これら２つのオブジェクト検出の結果を統合することで、画像全体に対するオブジェクト検出の結果が得られる。

一般に、可視光画像では、逆光などの要因で、オブジェクト検出が適切に実施しにくい状況が生じる場合がある。特許文献１では、そのような状況が生じている領域を、可視光画像においてオブジェクト検出に適さない画像領域として抽出し、その画像領域については、赤外線画像においてオブジェクト検出を実施する。このようにすることにより、オブジェクト検出の精度を向上できる効果が期待できる。

特開２０１４−１５７４５２号公報 特開２００４−１６３２５７号公報

しかしながら、オブジェクト検出が適切に実施しにくい状況は、可視光画像のみならず、赤外線画像においても発生しうる。例えば、人物の背景に、人物の表面温度に近い物体が存在する場合、人物と背景の物体との区別ができず、オブジェクトを正しく検出することが難しくなる。特許文献１では、赤外線画像におけるオブジェクト検出に適さない画像領域は考慮されていない。特許文献１では、可視光画像においてオブジェクト検出に適さない画像領域について遠赤外線画像によりオブジェクト検出を行うが、赤外線画像において、その画像領域がオブジェクト検出に適しているとは限らない。

また、特許文献１には、赤外線画像について、可視光画像におけるオブジェクト検出に適さない画像領域だけでなく、画像全体でオブジェクト検出を行ってもよい旨が記載されている。しかしながら、その場合に、画像全体に対して実施した赤外線画像に対するオブジェクト検出の結果を、オブジェクト検出に適さない画像領域以外の領域に対して実施した可視光画像に対するオブジェクト検出の結果とどのように統合するかについての具体的な記載はない。

ここで、複数の画像のそれぞれにおいてオブジェクト検出（顔検出）を行い、それらの結果に基づいて検出対象の顔が存在する位置を決定することが、特許文献２に記載されている。特許文献２では、２つの撮像装置を用い、一方の撮像装置を用いて撮像された画像（第１の画像）と、他方の撮像装置を用いて撮像された画像（第２の画像）との双方において顔検出を行う。特許文献２には、第１の画像に対する顔検出により算出されたスコアと、第２の画像に対する顔検出により算出されたスコアとを重み付け加算し、重み付け加算により得られたスコアがしきい値以上の場合に、顔が存在すると判定することも記載されている。撮像装置に関し、特許文献２には、一方の撮像装置は可視光センサ（撮像素子）の前面にＲ（Red）、Ｇ（Green)、及びＢ(Blue)のカラーフィルタを有するものであり、他方の撮像装置は可視光センサの前面に赤外線領域の光成分を透過するＩＲ（infrared）フィルタを有するものであってもよいことが記載されている。

しかしながら、一般に可視光センサは遠赤外線に対して感度を有していないため、特許文献２において撮像される赤外線画像は遠赤外線画像ではなく近赤外線画像である。また、特許文献２においては、可視光画像におけるオブジェクト検出が適切に実施しにくい状況も、赤外線画像におけるオブジェクト検出が適切に実施しにくい状況も考慮されていない。したがって、特許文献２において、可視光画像と赤外線画像とを用いて対象物を検出する場合で、かつ赤外線画像においてオブジェクト検出が適切に実施しにくい状況が生じている場合に、対象物を正しく検出することができない。

本発明は、上記事情に鑑み、可視光画像と赤外線画像とを用いて対象物を検出する場合に、赤外線画像においてオブジェクト検出が適切に実施しにくい状況が生じている場合でも、対象物を正しく検出することができるオブジェクト検出装置及びその作動方法を提供することを目的とする。

また、本発明は上記オブジェクト検出装置を含む撮像システムを提供することを目的とする。

上記目的を達成するために、本発明は、赤外線を撮像する第１の撮像装置と、可視光線を撮像する第２の撮像装置と、第１の撮像装置により撮像された赤外線画像から対象物が存在すると推測される第１の対象物候補領域を抽出する第１の対象物候補領域抽出部と、第２の撮像装置により撮像された可視光画像から対象物が存在すると推測される第２の対象物候補領域を抽出する第２の対象物候補領域抽出部と、第１の対象物候補領域における対象物らしさの度合いを示す第１の評価値と、第２の対象物候補領域における対象物らしさの度合いを示す第２の評価値とを重み付け加算して統合評価値を算出するスコア統合部と、周囲の環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて、重み付け加算における第１の評価値に対する第１の重み及び第２の評価値に対する第２の重みを決定する重み決定部と、統合評価値に基づいて対象物が存在する対象物領域を判定する対象物領域判定部と、可視光画像における対象物領域内の画素信号値に基づいて露出補正量を決定し、可視光画像の露出補正を実施する露出補正部とを備えた撮像システムを提供する。

ここで、第１の撮像装置の撮像領域において赤外線が発せられている場合、第１の撮像装置は、赤外線を、その放出エネルギー量に応じた信号強度で検出する。赤外線検出信号の信号強度は、赤外線画像の画素値に対応する。本発明において、撮像領域から発せられる赤外線エネルギー量は、第１の撮像装置によって撮像された赤外線画像の画素値から判別することが可能である。

本発明において、対象物は人物であってよい。重み決定部は、環境温度に基づいて重みを決定するものであってよく、その場合、Ｔ１を平均人体温度よりも低い温度とし、Ｔ２を平均人体温度よりも高い温度とした場合に、環境温度がＴ１以上でＴ２以下の温度範囲にある場合は、第１の重みを第２の重みよりも小さくすることが好ましい。

上記において、重み決定部は、環境温度がＴ１よりも５℃低い温度以上でかつＴ１以下の温度範囲では、環境温度がＴ１から低くなるにつれて第１の重みを環境温度がＴ１の場合の第１の重みから段階的に増加させ、及び／又は、環境温度がＴ２以上Ｔ２よりも５℃高い温度以下の温度範囲では、環境温度がＴ２から高くなるにつれて第１の重みを環境温度がＴ２の場合の第１の重みから段階的に増加させてもよい。

重み決定部は、赤外線エネルギー量に基づいて重みを決定するものであってもよく、その場合、対象物から放出される赤外線エネルギー量をＥｔとし、Ｅ１及びＥ２を正の実数とした場合に、第１の対象物候補領域がＥｔ−Ｅ１以上Ｅｔ＋Ｅ２以下の赤外線エネルギー量に対応した画素値を有する画素を含まない場合は、第１の重みを第２の重みよりも小さくしてもよい。

本発明において、対象物は人物であってよく、重み決定部は、環境温度と赤外線エネルギー量とに基づいて重みを決定してよく、Ｔ１を平均人体温度よりも低い温度とし、Ｔ２を平均人体温度よりも高い温度とし、対象物から放出される赤外線エネルギー量をＥｔとし、Ｅ１及びＥ２を正の実数とした場合に、環境温度がＴ１以上でＴ２以下の温度範囲にあり、かつ、第１の対象物候補領域がＥｔ−Ｅ１以上Ｅｔ＋Ｅ２以下の赤外線エネルギー量に対応した画素値を有する画素を含まない場合は、第１の重みを第２の重みよりも小さくしてもよい。

本発明の撮像システムは、可視光画像の輝度ヒストグラムに基づいて可視光画像における逆光状態の有無を判定する逆光判定部を更に有していてもよい。その場合、重み決定部は、逆光判定部での判定結果に基づいて第１の重み及び第２の重みの少なくとも一方を調整してもよい。

重み決定部は、逆光判定部で逆光状態と判定された場合、第１の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第１の重みよりも増加させ、及び／又は第２の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第２の重みよりも減少させてもよい。

本発明の撮像システムは、可視光画像に基づいて、風景、海、雪、及び山のうちの少なくとも１つを含む撮影シーンを認識するシーン認識部を更に有していてもよい。その場合、重み決定部は、シーン認識部でのシーン認識の結果に基づいて第１の重み及び第２の重みの少なくとも一方を調整してもよい。

重み決定部は、シーン認識部で撮影シーンが風景、海、雪、又は山であると認識された場合、第１の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第１の重みよりも増加させ、及び／又は第２の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第２の重みよりも減少させてもよい。

本発明の撮像システムは、赤外線画像中に、温度が第１のしきい値以下の領域の面積が第２のしきい値以上含まれるか否かを判定する低温領域判定部を更に有していてもよい。その場合、重み決定部は、低温領域判定部での判定結果に基づいて第１の重み及び第２の重みの少なくとも一方を調整してもよい。

重み決定部は、低温領域判定部で赤外線画像中に温度が第１のしきい値以下の領域の面積が第２のしきい値以上含まれると判定された場合、第１の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第１の重みよりも増加させ、及び／又は第２の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第２の重みよりも減少させてもよい。

本発明の撮像システムは、可視光画像及び赤外線画像に基づいて、第１の撮像装置と対象物との間に赤外線を遮蔽する遮蔽物が存在するか否かを判定する遮蔽物判定部を更に有していてもよい。その場合、重み決定部は、遮蔽物判定部での判定結果に基づいて第１の重み及び第２の重みの少なくとも一方を調整してもよい。

重み決定部は、遮蔽物判定部で第１の撮像装置と対象物との間に遮蔽物があると判定された場合、第１の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第１の重みよりも減少させ、及び／又は第２の重みを、環境温度及び赤外線エネルギー量の少なくとも一方に基づいて決定された第２の重みよりも増加させてもよい。

本発明の撮像システムにおいて、露出補正は、例えば、可視光画像における対象物領域内の画素信号値のヒストグラムに基づいて可視光画像の明るさを調整する処理を含む。あるいは、露出補正は、第２の撮像装置における露光時間を調整する処理を含むものであってもよい。

本発明は、また、赤外線を撮像する第１の撮像装置により撮像された赤外線画像から対象物が存在すると推測される第１の対象物候補領域を抽出する第１の対象物候補領域抽出部と、可視光線を撮像する第２の撮像装置により撮像された可視光画像から対象物が存在すると推測される第２の対象物候補領域を抽出する第２の対象物候補領域抽出部と、第１の対象物候補領域における対象物らしさの度合いを示す第１の評価値と、第２の対象物候補領域における対象物らしさの度合いを示す第２の評価値とを重み付け加算して統合評価値を算出するスコア統合部と、周囲の環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて、重み付け加算における第１の評価値に対する第１の重み及び第２の評価値に対する第２の重みを決定する重み決定部と、統合評価値に基づいて対象物が存在する対象物領域を判定する対象物領域判定部とを備えたオブジェクト検出装置を提供する。

さらに、本発明は、オブジェクト検出装置の作動方法であって、赤外線を撮像する第１の撮像装置により撮像された赤外線画像から対象物が存在すると推測される第１の対象物候補領域を抽出するステップと、可視光線を撮像する第２の撮像装置により撮像された可視光画像から対象物が存在すると推測される第２の対象物候補領域を抽出するステップと、周囲の環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて、第１の対象物候補領域における対象物らしさの度合いを示す第１の評価値に対する重み、及び第２の対象物候補領域における対象物らしさの度合いを示す第２の評価値に対する重みを決定するステップと、第１の重み及び第２の重みを用いて第１の評価値と第２の評価値とを重み付け加算して統合評価値を算出するステップと、統合評価値に基づいて対象物が存在する対象物領域を判定するステップとを有するオブジェクト検出装置の作動方法を提供する。

本発明の撮像システム、並びにオブジェクト検出装置及びその作動方法では、第１の撮像装置により撮像された赤外線画像と、第２の撮像装置により撮像された可視光画像とのそれぞれで対象物候補領域の抽出を行う。赤外線画像から抽出された第１の対象物候補領域における第１の評価値と、可視光画像から抽出された第２の対象物候補領域における第
２の評価値とを重み付け加算して統合し、重み付け加算により得られた統合評価値に基づいて対象物領域を判定する。本発明では、重み付け加算の重みを、環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて決定する。このようにすることで、赤外線画像においてオブジェクト検出が適切に実施しにくい状況が生じている場合でも、対象物を正しく検出することができる

本発明の第１実施形態に係る撮像システムを示すブロック図。 環境温度に応じた重み設定の一例を示すグラフ。 （ａ）は可視光画像の一例を示す図、（ｂ）は赤外線画像の一例を示す図。 露出補正後の可視光画像を示す図。 （ａ）は可視光画像の別の一例を示す図、（ｂ）は赤外線画像の別の一例を示す図。 撮像システムの動作手順を示すフローチャート。 本発明の第２実施形態に係る撮像システムを示すブロック図。 （ａ）は可視光画像の一例を示す図、（ｂ）は赤外線画像の一例を示す図。 露出補正後の可視光画像を示す図。 本発明の第３実施形態に係る撮像システムを示すブロック図。 本発明の第４実施形態に係る撮像システムを示すブロック図。 本発明の第５実施形態に係る撮像システムを示すブロック図。 本発明の第６実施形態に係る撮像システムを示すブロック図。 赤外線画像の一例を示す図。

以下、図面を参照しつつ本発明の実施形態を詳細に説明する。図１は、本発明の第１実施形態に係る撮像システムを示すブロック図である。撮像システム１００は、赤外線撮像装置１１、可視光撮像装置１２、オブジェクト検出装置２０、及び画像処理装置４０を備える。オブジェクト検出装置２０は、画像入力部２１及び２２と、対象物候補領域抽出手段２３及び２４と、スコア統合手段２５と、重み決定手段２６と、対象物領域判定手段２７とを有する。画像処理装置４０は露出補正手段４１を有する。

オブジェクト検出装置２０及び画像処理装置４０は、例えばプロセッサを有するコンピュータ装置として構成されており、プロセッサがプログラムに従って動作することにより、各部の機能が実現される。オブジェクト検出装置２０及び画像処理装置４０は、ＤＳＰ（Digital Signal Processor）などのＬＳＩ（Large Scale Integration）を有していてもよいし、ＦＰＧＡ（Field-Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）を有していてもよい。なお、オブジェクト検出装置２０と画像処理装置４０とは個別の装置に分離している必要はなく、１つの装置の中に、オブジェクト検出装置２０として機能する部分と画像処理装置４０として機能する部分とが構成されていてもよい。

赤外線撮像装置１１は第１の撮像装置であり、赤外線を撮像する。赤外線撮像装置１１は、典型的には、１以上のレンズを含む結像光学系と、結像光学系により形成された光学像を撮像して電気信号に変換する赤外線撮像素子（赤外センサ）とを有する。赤外センサは、例えば波長０．８３μｍから１０００μｍの範囲の赤外線を検出する。赤外センサは、特に、波長６μｍから１０００μｍの範囲の遠赤外線を検出するものであることが好ましい。赤外センサには、マイクロボロメータ又はＳＯＩ（Silicon on Insulator）ダイオード型などの熱型の赤外線センサを用いることができる。

可視光撮像装置１２は第２の撮像装置であり、可視光線を撮像する。可視光撮像装置１２は、典型的には、１以上のレンズを含む結像光学系と、結像光学系により形成された光学像を撮像して電気信号に変換する可視光撮像素子（可視光センサ）とを有する。可視光センサは、例えば波長約３８０ｎｍから約７５０ｎｍの範囲の可視光線を検出する。可視光センサは、近赤外線の波長領域の少なくとも一部において感度を有していてもよい。赤外線撮像装置１１と可視光撮像装置１２とは、ほぼ同じ撮像領域を撮像する。

画像入力部２１は、赤外線撮像装置１１により撮像された赤外線画像を入力する。対象物候補領域抽出手段（第１の対象物候補領域抽出部）２３は、赤外線画像から対象物が存在すると推測される第１の対象物候補領域を抽出する。第１の対象物候補領域抽出手段２３は、１つの赤外線画像に対して、複数の第１の対象物候補領域を抽出してもよい。第１の対象物候補領域抽出手段２３は、例えばカスケード接続された複数の弱判別器を有する。第１の対象物候補領域抽出手段２３において、弱判別器群は、例えばＡｄａｂｏｏｓｔなどのブースティングを用いた集団学習により構築されている。

第１の対象物候補領域抽出手段２３は、例えば赤外線画像から特徴量を抽出し、抽出した特徴量の基準特徴量に対する適合度を算出することにより、第１の対象物候補領域を抽出する。特徴量としては、輝度分布などの輝度特徴量、種々のウェーブレット特徴量、Ｈａａｒ−ｌｉｋｅ特徴量、Ｅｄｇｅｌｅｔ特徴量、ＥＯＨ（Edge of Orientation Histogram）特徴量、及びＨＯＧ（Histograms of Oriented Gradients）特徴量などを例示することができる。

画像入力部２２は、可視光撮像装置１２により撮像された可視光画像を入力する。対象物候補領域抽出手段（第２の対象物候補領域抽出部）２４は、可視光画像から対象物が存在すると推測される第２の対象物候補領域を抽出する。第２の対象物候補領域抽出手段２４における第２の対象物候補領域の抽出は、特徴量の抽出元の画像が赤外線画像から可視光画像になる点を除けば、第１の対象物候補領域抽出手段２３における第１の対象物候補領域の抽出と同じであってよい。第１の対象物候補領域抽出手段２３において赤外線画像から抽出される特徴量の種類と第２の対象物候補領域抽出手段２４において可視光画像から抽出される特徴量の種類とは同じであってもよい。あるいは、第１の対象物候補領域抽出手段２３と、第２の対象物候補領域抽出手段２４とで、画像から抽出される特徴量の種類が異なっていてもよい。

第１の対象物候補領域抽出手段２３及び第２の対象物候補領域抽出手段２４における対象物候補領域の抽出に用いられるアルゴリズムは特に限定されない。第１の対象物候補領域抽出手段２３及び第２の対象物候補領域抽出手段２４は、例えばパターンマッチングや、ニューラルネットワーク、特にその一種であるディープラーニングなどにより、対象物候補領域を抽出してもよい。

本実施形態では、主に検出の対象物として人物を考える。第１の対象物候補領域抽出手段２３は、抽出した第１の対象物候補領域ごとに、対象物らしさの度合いを示す第１の評価値を出力する。第２の対象物候補領域抽出手段２４は、抽出した第２の対象物候補領域ごとに、対象物らしさの度合いを示す第２の評価値を出力する。例えば第１の評価値が高いほど、赤外線画像における第１の対象物候補領域として抽出された部分に、検出の対象物である人物が存在する確率が高い。また、第２の評価値が高いほど、可視光画像における第２の対象物候補領域として抽出された部分に人物が存在する確率が高い。

スコア統合手段（スコア統合部）２５は、第１の対象物候補領域抽出手段２３が出力する第１の評価値と、第２の対象物候補領域抽出手段２４が出力する第２の評価値とを重み付け加算して統合評価値を算出する。重み決定手段（重み決定部）２６は、環境温度を計測する温度センサ１３の計測結果に基づいて、スコア統合手段２５による重み付け加算における第１の評価値に対する第１の重み、及び第２の評価値に対する第２の重みを決定する。第１の重みと第２の重みは、その合計値が１になるように規格化されていることが好ましい。重みの決定の詳細については後述する。ここで、第１の重み及び第２の重みの一方は０であることもあり得る。すなわち、重み付け加算の結果として、第１の評価値のみが統合評価値に含まれる場合もあり得るし、第２の評価値のみが統合評価値に含まれる場合もあり得る。

対象物領域判定手段（対象領域判定部）２７は、スコア統合手段２５により算出された統合評価値に基づいて、対象物が存在する領域を判定する。対象物領域判定手段２７は、例えば統合評価値が評価値のしきい値以上の対象物候補領域を、対象物が存在する領域（対象物領域）と判定する。露出補正手段（露出補正部）４１は、可視光撮像装置１２により撮像された可視光画像に対して露出補正処理を実施する。より詳細には、露出補正手段４１は、可視光画像における対象物領域内の画素信号値に基づいて露出補正量を決定し、その露出補正量で可視光画像の露出補正を実施する。

露出補正は、例えば可視光画像における対象物領域内の画素信号値のヒストグラムに基づいて可視光画像の明るさを調整する処理を含む。露出補正手段４１は、例えば一般的な画像の逆光補正の手法と同様な手法により可視光画像の露出補正を実施し、対象物領域におけるヒストグラムの幅を補正前よりも増大させてもよい。露出補正手段４１は、対象物領域の部分のみに対して露出補正を行ってもよいし、画像全体に対して露出補正を行ってもよい。露出補正手段４１は、対象物領域が複数存在する場合は、個々の対象物領域に対して露出補正を行ってもよい。あるいは、複数の対象物領域の何れか、例えば面積が最大のものにおける画素信号値に基づいて露出補正量を決定し、その露出補正量で画像全体を露出補正してもよい。

露出補正手段４１による露出補正後の画像は、撮像システム１００の出力画像として出力される。出力画像は、例えばハードディスク装置などの図示しない補助記憶装置に記憶される。補助記憶装置は、撮像システム１００とは異なる場所に設置されていてもよく、補助記憶装置は、撮像システム１００からインターネットなどのネットワークを介して可視光画像を受信し、記憶してもよい。補助記憶装置は、補正後の可視光画像に加えて、補正前の可視光画像を記憶してもよい。また、可視光画像だけでなく、赤外線画像を記憶してよい。

以下、重み決定手段２６における重みの決定について説明する。赤外線画像において、対象物（人物）の背景に何らかの物体が存在するときでも、その背景の物体が放出する赤外線エネルギー量と人物が放出する赤外線エネルギー量との差があれば、赤外線画像から対象物候補領域を抽出することができる。しかし、赤外線画像において、背景の物体が放出する赤外線エネルギー量と人物が放出する赤外線エネルギー量とに差がない状況では、赤外線画像において人物と背景の物体とを区別することができなくなり、対象物候補領域を抽出することができないか、或いは抽出された対象物候補領域の評価値（第１の評価値）が低くなる。

本実施形態では、環境温度に応じて物体が放出する赤外線エネルギー量が変化することに鑑み、温度が特定の範囲にある場合に、第１の評価値に対する重み（第１の重み）を下げることを考える。温度をＴ[Ｋ]とした場合、物体が放出する赤外線エネルギー量（Ｉ（Ｔ））は、σをステファン−ボルツマン定数（５．６７×１０^−８［Ｗ・ｍ^−２・Ｋ^−４］）として、ステファン−ボルツマンの公式より下記式で計算できる。
Ｉ＝σ×Ｔ^４ （１）
式（１）で計算される赤外線エネルギー量は、全波長域にわたったエネルギーの総量である。本来であれば、所望の波長域、例えば波長８μｍから１４μｍの波長域におけるエネルギー量を算出し、比較を行うことが好ましいが、ここでは説明簡略化のため、式（１）で算出されたエネルギーを所望の波長域におけるエネルギー量と仮定して説明する。

放出されるエネルギー量は、物体温度以外に、各物体が持つ放射率に依存する。例えば、式（１）で算出される赤外線エネルギー量が完全黒体（放射率ε＝１）から放出されるものであるとすると、放射率εが０．９８の同じ温度の物体（例えば人間の皮膚）から放出される赤外線エネルギー量は、式（１）で計算された赤外線エネルギー量に０．９８を乗じた値になる。３５℃から４５℃の温度範囲における種々の物体の放出赤外線エネルギー量をまとめたものを、下記表１に記す。

人間の体温は概ね３６℃から３７℃であるが、発汗、発熱、及び／又は雨などにより、皮膚温度は３５℃から４０℃の範囲で変化すると仮定する。その場合、人体の放出赤外線エネルギー量は、０．０５０３Ｗ／ｃｍ^２から０．０５３６Ｗ／ｃｍ^２程度となる。表１を参照すると、物体温度３５℃から４５℃の範囲において、放出赤外線エネルギー量が、人物の放射エネルギーの範囲である０．０５０３Ｗ／ｃｍ^２から０．０５３６Ｗ／ｃｍ^２の範囲に含まれる物体が存在する。物体の放出赤外線エネルギー量が人物の放出赤外線エネルギー量に近い場合、赤外線撮像装置１１において検出される赤外線検出信号の信号強度（赤外線画像における画素値）が近くなり、赤外線画像において人物が他の物体と同化する可能性がある。物体温度が気温に等しいと仮定した場合、気温３５℃から４５℃の温度範囲では、赤外線画像において人物が他の物体と同化する可能性があるため、赤外線画像における対象物候補領域の抽出はその信頼性が低いと考えられる。

そこで、本実施形態では、温度が赤外線画像における対象物候補領域の抽出の信頼性が低いと考えられる温度範囲にある場合は、第１の評価値に対する重みを低い値、例えば０に設定する。また、その温度範囲の周辺においても、重みを相対的に低く設定する。このような重み設定を行うことで、赤外線画像において人物と背景の物体とが同化しやすい状況となっている場合に、赤外線画像を用いた対象物候補領域の結果が、最終的な人物領域の判定に与える影響を抑制することができる。

例えば、重み決定手段２６は、環境温度をＴとし、Ｔ１を平均人体温度よりも低い温度とし、Ｔ２を平均人体温度よりも高い温度とした場合に、環境温度ＴがＴ１以上でＴ２以下の温度範囲にある場合（Ｔ１≦Ｔ≦Ｔ２）は、第１の評価値に対する第１の重みを第２の評価値に対する第２の重みよりも小さくする。Ｔ１は例えば３５℃であり、Ｔ２は例えば４５℃である。重み決定手段２６は、環境温度がＴ１よりも低いある温度、例えばＴ１よりも５℃低い温度以上でかつＴ１よりも低い温度範囲（Ｔ１−５℃≦Ｔ＜Ｔ１）では、環境温度がＴ１から低くなるにつれて第１の重みを環境温度がＴ１の場合の重みから段階的に増加させてもよい。また、重み決定手段２６は、環境温度がＴ２より高く、かつＴ２よりも高いある温度、例えばＴよりも５℃高い温度以下の温度範囲（Ｔ２＜Ｔ≦Ｔ２＋５℃）では、環境温度がＴ２から高くなるにつれて第１の重みを環境温度がＴ２の場合の重みから段階的に増加させてもよい。

図２に、環境温度に応じた重み設定の一例を示す。同図に示すグラフは、環境温度と、第１の評価値に対する第１の重みαとの関係を示す。第１の評価値に対する第１の重みαは、０以上１以下の値をとる。第２の評価値に対する第２の重みは（１−α）とする。統合評価値は、下記式で計算される。
統合評価値＝α×第１の評価値＋（１−α）×第２の評価値

図２に示す重み設定を採用した場合、重み決定手段２６は、温度センサ１３が計測した温度が３５℃以上４５℃以下の温度範囲に含まれる場合は第１の評価値に対する第１の重みαを０とする。この温度範囲では、第１の重みを０とすることで統合評価値は第２の評価値に等しくなる。重み決定手段２６は、環境温度が３０℃以下の場合、及び環境温度が５０℃以上の場合は、第１の評価値に対する第１の重みαを１とする。この場合、統合評価値は第１の評価値に等しくなる。３０℃より高く３５℃よりも低い温度範囲、及び４５℃よりも高く５０℃よりも低い温度範囲では、環境温度の変化に応じて、第１の評価値に対する第１の重みαを変化させる。

なお、図２では、３５℃以上４５℃以下の温度範囲において第１の重みαを０としているが、この温度範囲では第１の重みαが第２の重み（１-α）に対して相対的に低ければよく、第１の重みを０に設定することには限定されない。また、３０℃以下の温度範囲、及び５０℃以上の温度範囲では第１の重みαを１としているが、この温度範囲では第１の重みαが第２の重み（１−α）に対して相対的に高ければよく、第１の重みを１に設定することには限定されない。３０℃以下の温度範囲、及び／又は５０℃以上の温度範囲において、第１の重みαを、０．５より大きく１より小さい任意の値に設定してもよい。

図３（ａ）は可視光画像の一例を示し、（ｂ）は赤外線画像の一例を示す。どちらの画像にも、人物６０と樹木７０との２つの被写体が撮像されている。図３（ａ）に示す可視光画像では、撮像時の露光時間が少し短く、人物６０がやや黒く撮像されている。このような可視光画像に対して第２の対象物候補領域抽出手段２４が対象物候補領域（人物候補領域）の抽出を実施した結果として、人物６０が存在する領域に対して第２の評価値（スコア）“８０”が得られ、樹木７０が存在する領域に対して第２の評価値“５０”が得られたとする。例えば評価値のしきい値を“５０”として評価値がしきい値以上の領域を人物候補領域として抽出するとした場合、可視光画像単独で人物候補領域の抽出を行うと、人物６０が存在する領域と、樹木７０が存在する領域との双方が人物候補領域として抽出される。

第１の対象物候補領域抽出手段２３は、図３（ｂ）に示す赤外線画像に対して人物候補領域の抽出を実施する。第１の対象物候補領域抽出手段２３は、人物候補領域の抽出の結果として、人物６０が存在する領域に対して第１の評価値“９０”を得る。樹木７０については、放出赤外線エネルギー量が人物６０のそれに対して低く、人物６０とは異なり背景から明確に浮かび上がっていないため、第１の評価値は低く、例えば評価値“０”となる。この場合、赤外線画像単独で人物候補領域の抽出を行うと、人物６０が存在する領域が人物候補領域として抽出される。

スコア統合手段２５は、上記得られた第１の評価値と第２の評価値とを重み付け加算する。第１の評価値に対する第１の重み、及び第２の評価値に対する第２の重みが０．５であったとすると、人物６０が存在する領域についてスコア統合手段２５が算出する統合評価値（統合スコア）は９０×０．５＋８０×０．５＝８５となる。一方、樹木７０が存在する領域についてスコア統合手段２５が算出する統合評価値は０×０．５＋５０×０．５＝２５となる。対象物領域判定手段２７において統合評価値に基づいて人物領域を判定すると、人物６０が存在する領域は統合評価値が“８５”であり、しきい値“５０”を超えているので、その領域は人物領域であると判定される。樹木７０が存在する領域については、統合評価値がしきい値よりも低いため、人物領域と判定されない。赤外線画像を用いることで、可視光画像では形状的に人物と誤認しやすい樹木７０を、人物領域と誤判定することを避けることができる。

図４は、露出補正後の可視光画像を示す。露出補正手段４１は、対象物領域判定手段２７において対象物領域（人物領域）と判定された領域が適正露出となるように露出補正を行う。露出補正を行うことで、図３（ａ）においてやや黒くつぶれていた人物６０の画素値のヒストグラム分布が、輝度値が高い領域にまで広がる。これにより、図４に示すように、図３（ａ）においては明確に判別できなかった人物６０の目や口などが視認できるようになる。画像全体に対して露出補正を行った場合、人物６０が存在する領域以外にある被写体、例えば樹木７０が適正露出からずれて白とびすることがあるが、画像において関心がある被写体は、抽出された対象物（人物）であるため、大きな問題にはならない。

図５（ａ）は可視光画像の別の一例を示し、（ｂ）は赤外線画像の別の一例を示す。図５（ａ）に示す可視光画像、及び図５（ｂ）に示す赤外線画像では、人物６０と樹木７０と家屋８０とが被写体として撮像されている。家屋８０は、人物６０の撮像装置側から見て後方に存在しており、人物６０と家屋８０とは空間的に重なって撮像される。可視光画像から人物候補領域を抽出する場合、人物６０と家屋８０とが重なってはいるものの、色情報によって人物６０と家屋８０との分離が可能であり、人物６０が存在する領域を人物候補領域として抽出できる。

一方、気温が高く、家屋８０が放出する赤外線エネルギー量と人物６０が放出する赤外線エネルギー量とにあまり差がない場合、図５（ｂ）に示すように、赤外線画像において人物６０が家屋８０に同化する。この場合、赤外線画像から人物候補領域を抽出しても、評価値が高い領域は得られない。気温が低く、家屋８０が熱を帯びていない状況であれば、赤外線画像において人物６０がその背景にある家屋８０に同化することはなく、人物候補領域の抽出により、人物６０が存在する領域が人物候補領域として抽出できると考えられる。

本実施形態では、第１の評価値に対する第１の重みを温度に基づいて決定しており、温度センサ１３が計測した温度が、図５（ｂ）に示すように、人物６０が背景の家屋８０に同化しやすい温度範囲に含まれる場合には、第１の重みを例えば０に設定する。この場合は、可視光画像に対して実施された人物候補領域の抽出結果のみに基づいて人物領域が判定されるため、赤外線画像において適切に人物候補領域を抽出することが難しい状況でも、人物６０が存在する領域を人物領域と判定することができる。

続いて、動作手順を説明する。図６は、撮像システム１００の動作手順を示すフローチャートである。赤外線撮像装置１１は赤外線画像を撮像し、可視光撮像装置１２は可視光画像を撮像する（ステップＳ１）。第１の対象物候補領域抽出手段２３は、画像入力部２１を介して赤外線画像を取得し、赤外線画像から対象物候補領域を抽出する（ステップＳ２）。また、第２の対象物候補領域抽出手段２４は、画像入力部２２を介して可視光画像を取得し、可視光画像から対象物候補領域を抽出する。

スコア統合手段２５は、第１の対象物候補領域抽出手段２３と第２の対象物候補領域抽出手段２４との少なくとも一方で対象物候補領域が抽出されたか否かを判断する（ステップＳ３）。赤外線画像と可視光画像との何れからも対象物候補領域が抽出されなかった場合、ステップＳ１に戻り、次の赤外線画像及び可視光画像が撮像される。

赤外線画像と可視光画像との少なくとも一方で対象物候補領域が抽出されていると判断された場合、スコア統合手段２５は、第１の対象物候補領域抽出手段２３が出力する第１の評価値と第２の対象物候補領域抽出手段２４が出力する第２の評価値とを重み付け加算し、統合評価値を算出する（ステップＳ４）。スコア統合手段２５は、ステップＳ４では、重み決定手段２６により温度センサ１３が計測した温度に基づいて決定された重みで、第１の評価値と第２の評価値とを重み付け加算する。抽出された対象物候補領域が複数ある場合は、それぞれの対象物候補領域について、第１の評価値と第２の評価値とを重み付け加算する。

対象物領域判定手段２７は、ステップＳ４で算出された統合評価値に基づいて、対象物領域を判定する（ステップＳ５）。対象物領域判定手段２７は、ステップＳ５では、例えば統合評価値をしきい値処理することで、抽出された対象物候補領域が対象物領域であるか否かを判定する。対象物領域判定手段２７は、対象物領域と判定した領域の座標位置などを露出補正手段４１に通知する。赤外線画像と可視光画像とで撮像領域にズレが生じている場合は、そのズレも考慮したうえで、可視光画像における対象物領域の座標位置などを露出補正手段４１に通知する。

露出補正手段４１は、ステップＳ１で撮像された可視光画像に対して露出補正処理を実施する（ステップＳ６）。露出補正手段４１は、ステップＳ６では、可視光画像における、対象物領域と判定された領域内の画素の画素値を取得する。露出補正手段４１は、取得した画素値のヒストグラムなどを作成し、そのヒストグラムに基づいてトーンカーブの調整やヒストグラム平滑化などを行い、可視光画像の階調補正を実施する。露出補正がなされた可視光画像は、撮像システム１００の出力画像として出力される（ステップＳ７）。

本実施形態では、赤外線画像と可視光画像とのそれぞれにおいて対象物候補領域の抽出を行う。赤外線画像から抽出された対象物候補領域の評価値（第１の評価値）と、可視光画像から抽出された対象物候補領域の評価値（第２の評価値)とを重み付け加算して統合評価値を算出し、統合評価値に基づいて対象物領域を判定する。本実施形態では、特に、環境温度に基づいて重み付け加算の重みを決定する。環境温度が高く、対象物とその背景にある物体との区別がつきにくくなる状況では、第１の評価値に対する重みを０にし、或いは重みを小さくすることにより、可視光画像における対象物候補領域抽出の結果を重視した対象物領域の判定を行うことが可能である。このように、第１の評価値に対する重みと第２の評価値に対する重みとを適切に設定することで、両画像の特性に応じた対象物領域の判定が実現できる。本実施形態では、赤外線画像と可視光画像との特徴を利用して様々な状況において人物領域を安定して判定することができる。特に、赤外線画像において対象物の検出が適切に実施しにくい状況が生じている場合でも、対象物領域を正しく判定することができる。

撮像システム１００により、特定の対象物、例えば人物をメインの被写体として撮影したい場合でも、逆光などの要因で他の被写体に露出を合わせてしまい、人物を所望の露出で撮影できない場合がある。特に、光量差の大きいシーンでは、可視光カメラの特性上、人物が白とび・黒つぶれを起こすことがある。これに対応するため、逆光補正や顔検出を利用した露出補正など、さまざまな手法が提案されている。しかし、逆光補正は人物に限らず黒つぶれした領域の露出を補正する。また、顔検出の検出精度は姿勢や角度に応じて変化するため、人物領域を安定して判定するには不安がある。本実施形態では、赤外線画像の情報と可視光画像の情報を状況に応じて組み合わせて利用することで、人物領域を安定的に判定することができる。人物領域を安定的に判定できることで、その領域に合わせて適切な露出補正を行うことができ、監視カメラなど、特定の対象物の撮影を目的とする機器の使いやすさを大きく向上させることができる。

次いで、本発明の第２実施形態を説明する。図７は、本発明の第２実施形態に係る撮像システムを示すブロック図である。本実施形態の撮像システム１００ａは、オブジェクト検出装置２０ａ内に逆光判定手段２８を有する点で、図１に示す第１実施形態に係る撮像システム１００と相違する。その他の構成は第１実施形態で説明したものと同様でよい。

逆光判定手段（逆光判定部）２８は、可視光画像における逆光状態の有無を判定する。逆光判定手段２８は、例えば可視光画像の輝度ヒストグラムに基づいて、輝度値が黒に近い部分に偏っているか否かを判定することにより逆光状態の有無を判定する。重み決定手段２６は、逆光判定手段２８での判定結果に基づいて、第１の評価値に対する第１の重み及び第２の評価値に対する第２の重みの少なくとも一方を調整する。ここで、重みを調整するとは、環境温度に基づいて決定した重みを増減することを意味する。例えば環境温度に基づいて決定した重みに逆光判定の結果に基づく調整量を加減算することを意味する。あるいは、温度に基づいて決定した重みに逆光判定の結果に基づく係数を乗算することで重みを調整してもよい。

図８（ａ）は可視光画像の一例を示し、（ｂ）は赤外線画像の一例を示す。背景に太陽などが存在し、可視光画像において逆光状態が発生している場合、図８（ａ）に示すように、人物６０及び樹木７０の領域が黒くつぶれることがある。この場合、逆光状態が発生していない場合に比べて、可視光画像から対象物候補領域（人物候補領域）を抽出しにくくなる。一方、赤外線画像では、逆光状態が発生していても、人物６０が明瞭に画像化されており、人物候補領域の抽出に支障はない。したがって、逆光状態が発生している場合は、逆光状態が発生していない場合よりも、赤外線画像における人物候補領域の結果を重視して対象物の判定を行うことが好ましい。

重み決定手段２６は、逆光判定手段２８で逆光状態と判定された場合、第２の評価値に対する第２の重みを相対的に減少させることが好ましい。重み決定手段２６は、例えば第１の評価値に対する第１の重みを、例えば図２に示すグラフに従って環境温度に基づいて決定した重みよりも増加させる。重み決定手段２６は、これに代えて、又は加えて、第２の評価値に対する第２の重みを、環境温度に基づいて決定された重みよりも減少させてもよい。

図９は、露出補正後の可視光画像を示す。露出補正手段４１は、対象物領域判定手段２７において対象物領域（人物領域）と判定された領域が適正露出となるように露出補正を行う。露出補正を行うことで、図８（ａ）において黒くつぶれていた人物６０が適正露出で描画される。

本実施形態では、逆光判定手段２８は可視光画像における逆光状態の有無を判定する。逆光状態が発生している場合は、第２の評価値に対する第２の重みを相対的に減少させることで、統合評価値における第１の評価値の比重を上げることができ、安定的に対象物の判定を行うことができる。その他の効果は第１実施形態と同様である。

続いて本発明の第３実施形態を説明する。図１０は、本発明の第３実施形態に係る撮像システムを示すブロック図である。本実施形態に係る撮像システム１００ｂは、オブジェクト検出装置２０ｂ内にシーン認識手段２９を有する点で、図１に示す第１実施形態に係る撮像システム１００と相違する。その他の構成は第１実施形態と同様でよい。

シーン認識手段２９（シーン認識部）は、撮像された可視光画像に基づいて撮影シーンを認識する。撮影シーンは、風景、海、雪、及び山のうちの少なくとも１つを含む。シーン認識手段２９におけるシーン解析手法としては、例えば特開２００５−３１０１２３号に記載された手法、或いは特開２００５−１２２７２０号に記載された手法を用いることができる。本実施形態では、重み決定手段２６は、シーン認識手段２９によるシーン認識の結果に基づいて第１の重み及び第２の重みの少なくとも一方を調整する。

例えば、シーン認識手段２９により、可視光撮像装置１２によって撮像される可視光画像のシーンが風景や山などのシーンと判定された場合、可視光画像内には山や樹木などが被写体として写っていることが予想される。表１を参照すると、木の赤外線放射率は皮膚よりも低く、皮膚と同程度の温度であっても、木から放出される赤外線エネルギー量と皮膚から放出される赤外線エネルギー量とには差がある。したがって、人物の背景に樹木が存在したとしても、赤外線画像において人物と背景とが同化することはないと考えられる。

また、撮影シーンが風景、海、及び山の場合は、空などが背景になっていることが多いと考えられる。空から届く赤外線エネルギー量は低いため、人物の背景に空が存在したとしても、赤外線画像において人物と背景とが同化することはないと考えられる。また、気温が高い場合でも、海（海水）及び雪の温度は低いことから、シーン認識手段２９により認識されたシーンが海又は雪の場合も、赤外線画像において人物と背景とが同化することはないと考えられる。

重み決定手段２６は、シーン認識手段２９で撮影シーンが風景、海、雪、又は山であると認識された場合、第１の評価値に対する第１の重みを、環境温度に基づいて決定された重みよりも増加させる。重み決定手段２６は、これに代えて、又は加えて、第２の評価値に対する第２の重みを、環境温度に基づいて決定された重みよりも減少させてもよい。

本実施形態では、シーン認識手段２９は可視光撮像装置１２による撮影シーンを認識し、重み決定手段２６はシーン認識の結果に応じて重みを調整する。特定の撮影シーンでは赤外線画像において対象物と背景とが同化する可能性が低いことがある。重み決定手段２６は、そのような撮影シーンと認識されたときに、第１の評価値に対する第１の重みを相対的に増加させる。このようにすることで、統合評価値における第１の評価値の比重を上げることができ、赤外線画像の情報を利用して安定的に対象物の判定を行うことができる。その他の効果は第１実施形態と同様である。

引き続き、本発明の第４実施形態を説明する。図１１は、本発明の第４実施形態に係る撮像システムを示すブロック図である。本実施形態の撮像システム１００ｃは、オブジェクト検出装置２０ｃ内に低温領域判定手段３０を有する点で、図１に示す第１実施形態に係る撮像システム１００と相違する。その他の構成は、第１実施形態と同様でよい。

低温領域判定手段（低温領域判定部）３０は、赤外線画像中に含まれる低温の領域がどれくらい存在するかを判定する。低温領域判定手段３０は、赤外線画像における、温度が第１のしきい値（温度しきい値）以下の領域の面積を求め、その面積が第２のしきい値（面積しきい値）以上であるか否かを判定する。第１のしきい値は、例えば人体平均温度に基づいて決定される。重み決定手段２６は、低温領域判定手段３０での判定結果に基づいて、第１の評価値に対する第１の重み及び第２の評価値に対する第２の重みの少なくとも一方を調整する。

赤外線画像に低温の領域が多く含まれる場合、例えば空や海などが背景となっていることが考えられる。その場合には赤外線画像において人物と背景とが同化する可能性が低いため、第１の評価値に対する第１の重みを増加することが好ましい。重み決定手段２６は、低温領域判定手段３０で低温の領域が多く含まれると判定された場合、第１の重みを、環境温度に基づいて決定された第１の重みよりも増加させる。重み決定手段２６は、これに代えて、又は加えて、第２の重みを、環境温度に基づいて決定された重みよりも減少させてもよい。

本実施形態では、低温領域判定手段３０は、赤外線画像に低温の領域が多く含まれるか否かを判定する。低温の領域が多く含まれる場合、赤外線画像において対象物と背景とが同化する可能性が低いと考えられる。重み決定手段２６は、そのような場合は、第１の評価値に対する第１の重みを相対的に増加させる。このようにすることで、統合評価値における第１の評価値の比重を上げることができ、赤外線画像の情報を利用して安定的に対象物の判定を行うことができる。その他の効果は第１実施形態と同様である。

続いて、本発明の第５実施形態を説明する。図１２は、本発明の第５実施形態に係る撮像システムを示すブロック図である。本実施形態の撮像システム１００ｄは、オブジェクト検出装置２０ｄ内に遮蔽物判定手段３１を有する点で、図１に示す第１実施形態に係る撮像システム１００と相違する。その他の構成は、第１実施形態と同様でよい。

遮蔽物判定手段（遮蔽物判定部）３１は、可視光画像及び赤外線画像に基づいて、赤外線撮像装置１１と被写体との間に赤外線を遮蔽する遮蔽物が存在するか否かを判定する。遮蔽物判定手段３１は、可視光画像における被写体の輪郭形状と、赤外線画像における被写体の輪郭形状とを比較し、両者が一致しない場合に、遮蔽物が存在すると判定する。遮蔽物判定手段３１は、撮像領域をステレオ撮影するカメラを用い、そのカメラにより撮影された画像に基づいてガラスなどの遮蔽物の有無を判定してもよい。

重み決定手段２６は、遮蔽物判定手段３１での判定結果に基づいて、第１の評価値に対する第１の重み、及び第２の評価値に対する第２の重みの少なくとも一方を調整する。重み決定手段２６は、遮蔽物判定手段で赤外線撮像装置１１と被写体との間に遮蔽物があると判定された場合は、第１の評価値に対する第１の重みを、環境温度に基づいて決定された第１の重みよりも減少させる。重み決定手段２６は、これに代えて、又は加えて、第２の重みを、環境温度に基づいて決定された重みよりも増加させてもよい。

本実施形態では、遮蔽物判定手段３１は、赤外線撮像装置１１と被写体との間に赤外線を遮蔽する遮蔽物が存在するか否かを判定する。遮蔽物が存在する場合、可視光画像には対象物が写るが、赤外線画像には対象物が写らない可能性がある。そのような場合に、第１の評価値に対する第１の重みを相対的に減少させることで、統合評価値における第１の評価値の比重を下げることができる。この場合は、可視光画像の情報を利用して安定的に対象物の判定を行うことができる。その他の効果は第１実施形態と同様である。

続いて、本発明の第６実施形態を説明する。図１３は、本発明の第６実施形態に係る撮像システムを示すブロック図である。本実施形態の撮像システム１００ｅは、図１に示す画像処理装置４０に代えて制御装置５０を有する点で、第１実施形態と相違する。制御装置５０は、オブジェクト検出装置２０ｅによる対象物領域の判定結果を受けて、可視光撮像装置１２を制御する。可視光撮像装置１２は、露光時間制御部（図示せず）を有している。その他の構成は、第１実施形態と同様でよい。

制御装置５０は露出補正手段５１を有する。露出補正手段（露出補正部）５１は、可視光画像の露出補正処理を実施する。本実施形態では、露出補正は、可視光撮像装置における露光時間を調整する処理を含む。露出補正手段５１は、可視光画像における対象物領域内の画素信号値に基づいて、可視光撮像装置１２による次の撮像における露光時間を決定する。露出補正手段５１は、例えば可視光画像において人物領域が白とびしがちであれば、可視光撮像装置１２における露光時間を前回撮像時の露光時間よりも短くする。このように、撮像条件を変更することによっても、対象物が適切な露出で撮像された可視光画像を得ることができる。

なお、上記各実施形態では、重み決定手段２６が環境温度に基づいて重みを決定する例を説明したが、これには限定されない。重み決定手段２６は、環境温度に代えて、被写体の放出赤外線エネルギー量に基づいて重みを決定してもよい。被写体の放出赤外線エネルギー量は、被写体が存在する部分の赤外線検出信号の信号強度、及び赤外線画像の画素値に対応する。重み決定手段２６は、対象物から放出される赤外線エネルギー量をＥｔとし、Ｅ１及びＥ２を正の実数とした場合に、赤外線画像から抽出された第１の対象物候補領域がＥｔ−Ｅ１以上Ｅｔ＋Ｅ２以下の範囲の赤外線エネルギー量に対応した画素値を有する画素を含まない場合は、第１の評価値に対する第１の重みを第２の評価値に対する第２の重みよりも小さくしてもよい。例えば、対象物として人物を考えた場合、人物が放出する赤外線エネルギー量が０．０５０９Ｗ／ｃｍ^２であったとしたら、０．０５０９−Ｅ１以以上０．０５０９＋Ｅ２以下の赤外線エネルギー量を持つ画素が存在しない場合は、第１の重みを下げてもよい。Ｅ１とＥ２とは等しい値であってもよいし、異なる値であってもよい。

上記を具体例を用いて説明する。図１４は、赤外線画像の一例を示す。この赤外線画像では、人物６０が被写体として撮像されている。人物６０は、放出赤外線エネルギー量が比較的低い、言い換えれば比較的低温の空８５の領域と海９０の領域とを背景とする。人物６０から放出される赤外線エネルギー量を画素値（赤外線検出信号の信号強度）に換算した場合、その値は２００であったとする。同様に空８５から放出される赤外線エネルギー量を画素値に換算した値は１０であり、海９０から放出される赤外線エネルギー量を画素値に換算した値は５０であったとする。別の言い方をすれば、赤外線画像において、人物６０に対応する部分領域の画素値は２００であり、空８５に対応する部分領域の画素値は１０であり、海９０に対応する部分領域の画素値は５０であったとする。

赤外線画像から抽出された第１の対象物候補領域（人物候補領域）として図１４に示す領域Ｒ１と領域Ｒ２の２つの領域を考える。領域Ｒ１は人物６０が存在する領域を含む。領域Ｒ１内の画素値の最大値は２００であり、画素値の最小値は１０であり、領域内の画素値の平均値は１００であったとする。一方、領域Ｒ２は人物６０を含まない領域である。領域Ｒ２内の画素値の最大値は５０であり、画素値の最小値は１０であり、領域内の画素値の平均値は２５であったとする。

重み決定手段２６は、赤外線画像から抽出された第１の人物候補領域に、例えば人物６０から放出される赤外線エネルギー量に対応した画素値２００を中心とした±５０の範囲に含まれる画素値を有する画素が存在するか否かを調べる。そのような画素が存在しないか、又はそのような画素の数が画素数に関するしきい値以よりも少なかった場合、重み決定手段２６は、赤外線画像から抽出された第１の人物候補領域に対する第１の重みを、可視光画像から抽出された第２の人物候補領域に対する第２の重みよりも小さくする。別の言い方をすれば、重み決定手段２６は、第１の人物候補領域が１５０（２００−５０）以上２５０（２００＋５０）以下の画素値を有する画素を含まないか、又はそのような画素の数が少なかった場合、第１の重みを第２の重みよりも小さくする。重み決定手段２６は、第１の人物候補領域が、１５０（２００−５０）以上２５０（２００＋５０）以下の画素値を有する画素を画素数に関するしきい値以上含む場合、第１の重みを第２の重みよりも大きくしてもよい。

図１４では、領域Ｒ１の画素値の最大値は２００であり、領域Ｒ１には、画素値が１５０以上２５０以下の画素が比較的多く含まれる。この場合、重み決定手段２６は、領域Ｒ１ついて、第１の重みを第２の重みよりも大きくする。一方、領域Ｒ２では画素値は最大で５０であり、領域Ｒ２には、１５０以上２５０以下の画素値を有する画素が含まれない。この場合、重み決定手段２６は、領域Ｒ２について、第１の重みを第２の重みよりも小さくする。このような重みの制御により、赤外線エネルギーの放出源が人物であると考えられる部分を含む領域について、統合評価値における第１の評価値の重みを大きくして、赤外線画像における人物候補領域抽出の結果を重視した人物領域の判定を行うことができる。逆に、赤外線エネルギーの放出源が人物であると考えられる部分を含まない領域については、統合評価値における第１の評価値の重みを小さくし、可視光画像における対象物候補領域抽出の結果を重視した対象物領域の判定を行うことができる。

ここで、重み決定手段２６において、第１の人物候補領域における画素値の平均値と、人物から放出される赤外線エネルギー量に対応した画素値とを比較し、平均値が画素値２００を中心とした±５０の範囲に含まれない場合に第１の重みを第２の重みよりも小さくすることを考える。その場合、図１４に示す領域Ｒ１のように、人物６０が存在する領域であるものの、低温の背景領域の画素値が低いことから領域内の画素値の平均値が小さくなっている場合は、第１の重みが第２の重みよりも小さく設定されることになる。これに対し、上記したように、第１の人物候補領域に画素値が１５０以上２５０以下の画素が含まない場合に第１の重みを第２の重みよりも小さくする場合は、人物が含まれる可能性が高い第１の人物候補領域に対して、第１の重みが小さく設定されることを抑制できる。

上記では、重み決定手段２６が環境温度又は被写体の放出赤外線エネルギー量に基づいて重みを決定したが、これには限定されず、重み決定手段２６は、環境温度と被写体の放出赤外線エネルギー量との双方に基づいて重みを決定してもよい。その場合、重み決定手段２６は、環境温度がＴ１以上でＴ２以下の温度範囲にあり、かつ、赤外線画像から抽出された第１の対象物候補領域がＥｔ−Ｅ１以上Ｅｔ＋Ｅ２以下の範囲の赤外線エネルギー量に対応した画素値を有する画素を含まない場合に、第１の評価値に対する第１の重みを第２の評価値に対する第２の重みよりも小さくすればよい。

赤外エネルギー量に応じて重みを決定するのに代えて、赤外線エネルギー量に応じて、赤外線画像における特定の領域を、第１の対象物候補領域抽出手段２３における処理対象から除外してもよい。具体的には、第１の対象物候補領域抽出手段２３は、赤外線画像から、０．０５０９−Ｅ１以下、又は０．０５０９＋Ｅ２以上の赤外線エネルギー量を持つ領域を除外したうえで、対象物候補領域（人物候補領域）を抽出してもよい。その場合、Ｅ１の値を適切に設定することで、形状的に人物と誤認しやすい樹木を、誤って人物候補領域として抽出することを避けることができる。

上記各実施形態は任意に組み合わせることができる。例えば、第２実施形態から第５実施形態の各実施形態における構成を任意に組み合わせることができる。つまり、オブジェクト検出装置は、逆光判定手段２８、シーン認識手段２９、低温領域判定手段３０、及び遮蔽物判定手段３１の群から選択された２以上の手段を有していてもよい。また、第２実施形態から第５実施形態と第６実施形態とを組み合わせ、第２実施形態から第５実施形態の各実施形態の構成において、可視光撮像装置１２の露光時間を制御することで可視光画像の露出補正を行ってもよい。オブジェクト検出装置は、逆光判定手段２８、シーン認識手段２９、低温領域判定手段３０、及び遮蔽物判定手段３１の群から選択された２以上の手段を有している場合も、第６実施形態と同様に可視光撮像装置１２の露光時間を制御することで可視光画像の露出補正を行ってもよい。

以上、本発明をその好適な実施形態に基づいて説明したが、本発明の撮像システム、並びにオブジェクト検出装置及びその作動方法は、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。

１００：撮像システム
１１：赤外線撮像装置（第１の撮像装置）
１２：可視光撮像装置（第２の撮像装置）
２０：オブジェクト検出装置
２１、２２：画像入力部
２３、２４：対象物候補領域抽出手段
２５：スコア統合手段
２６：重み決定手段
２７：対象物領域判定手段
２８：逆光判定手段
２９：シーン認識手段
３０：低温領域判定手段
３１：遮蔽物判定手段
４０：画像処理装置
４１：露出補正手段
５０：制御装置
５１：露出補正手段
６０：人物
７０：樹木
８０：家屋
８５：空
９０：海

Claims (17)

1. 赤外線を撮像する第１の撮像装置と、
   可視光線を撮像する第２の撮像装置と、
   前記第１の撮像装置により撮像された赤外線画像から対象物が存在すると推測される第１の対象物候補領域を抽出する第１の対象物候補領域抽出部と、
   前記第２の撮像装置により撮像された可視光画像から前記対象物が存在すると推測される第２の対象物候補領域を抽出する第２の対象物候補領域抽出部と、
   前記第１の対象物候補領域における前記対象物らしさの度合いを示す第１の評価値と、前記第２の対象物候補領域における前記対象物らしさの度合いを示す第２の評価値とを重み付け加算して統合評価値を算出するスコア統合部と、
   周囲の環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて、前記重み付け加算における第１の評価値に対する第１の重み及び第２の評価値に対する第２の重みを決定する重み決定部と、
   前記統合評価値に基づいて前記対象物が存在する対象物領域を判定する対象物領域判定部と、
   前記可視光画像における前記対象物領域内の画素信号値に基づいて露出補正量を決定し、前記可視光画像の露出補正を実施する露出補正部とを備えた撮像システム。
2. 前記対象物は人物であり、前記重み決定部は、前記環境温度に基づいて前記重みを決定するものであり、Ｔ１を平均人体温度よりも低い温度とし、Ｔ２を平均人体温度よりも高い温度とした場合に、前記環境温度がＴ１以上でＴ２以下の温度範囲にある場合は、前記第１の重みを前記第２の重みよりも小さくする請求項１に記載の撮像システム。
3. 前記重み決定部は、前記環境温度がＴ１よりも５℃低い温度以上でかつＴ１以下の温度範囲では、前記環境温度がＴ１から低くなるにつれて前記第１の重みを前記環境温度がＴ１の場合の前記第１の重みから段階的に増加させ、及び／又は、前記環境温度がＴ２以上Ｔ２よりも５℃高い温度以下の温度範囲では、前記環境温度がＴ２から高くなるにつれて前記第１の重みを前記環境温度がＴ２の場合の前記第１の重みから段階的に増加させる請求項２に記載の撮像システム。
4. 前記重み決定部は、前記赤外線エネルギー量に基づいて前記重みを決定するものであり、前記対象物から放出される赤外線エネルギー量をＥｔとし、Ｅ１及びＥ２を正の実数とした場合に、前記赤外線画像における前記第１の対象物候補領域が、Ｅｔ−Ｅ１以上Ｅｔ＋Ｅ２以下の赤外線エネルギー量に対応した画素値を有する画素を含まない場合は、前記第１の重みを前記第２の重みよりも小さくする請求項１に記載の撮像システム。
5. 前記対象物は人物であり、前記重み決定部は、前記環境温度と前記赤外線エネルギー量とに基づいて前記重みを決定するものであり、Ｔ１を平均人体温度よりも低い温度とし、Ｔ２を平均人体温度よりも高い温度とし、前記対象物から放出される赤外線エネルギー量をＥｔとし、Ｅ１及びＥ２を正の実数とした場合に、前記環境温度がＴ１以上でＴ２以下の温度範囲にあり、かつ、前記赤外線画像における前記第１の対象物候補領域がＥｔ−Ｅ１以上Ｅｔ＋Ｅ２以下の赤外線エネルギー量に対応した画素値を有する画素を含まない場合は、前記第１の重みを前記第２の重みよりも小さくする請求項１に記載の撮像システム。
6. 前記可視光画像の輝度ヒストグラムに基づいて前記可視光画像における逆光状態の有無を判定する逆光判定部を更に有し、前記重み決定部は、前記逆光判定部での判定結果に基づいて前記第１の重み及び前記第２の重みの少なくとも一方を調整する請求項１から５何れか１項に記載の撮像システム。
7. 前記重み決定部は、前記逆光判定部で逆光状態と判定された場合、前記第１の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第１の重みよりも増加させ、及び／又は前記第２の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第２の重みよりも減少させる請求項６に記載の撮像システム。
8. 前記可視光画像に基づいて、風景、海、雪、及び山のうちの少なくとも１つを含む撮影シーンを認識するシーン認識部を更に有し、前記重み決定部は、前記シーン認識部でのシーン認識の結果に基づいて前記第１の重み及び前記第２の重みの少なくとも一方を調整する請求項１から７何れか１項に記載の撮像システム。
9. 前記重み決定部は、前記シーン認識部で撮影シーンが風景、海、雪、又は山であると認識された場合、前記第１の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第１の重みよりも増加させ、及び／又は前記第２の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第２の重みよりも減少させる請求項８に記載の撮像システム。
10. 前記赤外線画像中に、温度が第１のしきい値以下の領域の面積が第２のしきい値以上含まれるか否かを判定する低温領域判定部を更に有し、前記重み決定部は、前記低温領域判定部での判定結果に基づいて前記第１の重み及び前記第２の重みの少なくとも一方を調整する請求項１から９何れか１項に記載の撮像システム。
11. 前記重み決定部は、前記低温領域判定部で前記赤外線画像中に温度が第１のしきい値以下の領域の面積が第２のしきい値以上含まれると判定された場合、前記第１の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第１の重みよりも増加させ、及び／又は前記第２の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第２の重みよりも減少させる請求項１０に記載の撮像システム。
12. 前記可視光画像及び前記赤外線画像に基づいて、前記第１の撮像装置と前記対象物との間に前記赤外線を遮蔽する遮蔽物が存在するか否かを判定する遮蔽物判定部を更に有し、前記重み決定部は、前記遮蔽物判定部での判定結果に基づいて前記第１の重み及び前記第２の重みの少なくとも一方を調整する請求項１から９何れか１項に記載の撮像システム。
13. 前記重み決定部は、前記遮蔽物判定部で前記第１の撮像装置と前記対象物との間に遮蔽物があると判定された場合、前記第１の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第１の重みよりも減少させ、及び／又は前記第２の重みを、前記環境温度及び前記赤外線エネルギー量の少なくとも一方に基づいて決定された第２の重みよりも増加させる請求項１２に記載の撮像システム。
14. 前記露出補正は、前記可視光画像における前記対象物領域内の画素信号値のヒストグラムに基づいて前記可視光画像の明るさを調整する処理を含む請求項１から１３何れか１項に記載の撮像システム。
15. 前記露出補正は、前記第２の撮像装置における露光時間を調整する処理を含む請求項１から１３何れか１項に記載の撮像システム。
16. 赤外線を撮像する第１の撮像装置により撮像された赤外線画像から対象物が存在すると推測される第１の対象物候補領域を抽出する第１の対象物候補領域抽出部と、
    可視光線を撮像する第２の撮像装置により撮像された可視光画像から前記対象物が存在すると推測される第２の対象物候補領域を抽出する第２の対象物候補領域抽出部と、
    前記第１の対象物候補領域における前記対象物らしさの度合いを示す第１の評価値と、前記第２の対象物候補領域における前記対象物らしさの度合いを示す第２の評価値とを重み付け加算して統合評価値を算出するスコア統合部と、
    周囲の環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて、前記重み付け加算における第１の評価値に対する第１の重み及び第２の評価値に対する第２の重みを決定する重み決定部と、
    前記統合評価値に基づいて前記対象物が存在する対象物領域を判定する対象物領域判定部とを備えたオブジェクト検出装置。
17. オブジェクト検出装置の作動方法であって、
    赤外線を撮像する第１の撮像装置により撮像された赤外線画像から対象物が存在すると推測される第１の対象物候補領域を抽出するステップと、
    可視光線を撮像する第２の撮像装置により撮像された可視光画像から前記対象物が存在すると推測される第２の対象物候補領域を抽出するステップと、
    周囲の環境温度及び撮像領域から発せられる赤外線エネルギー量の少なくとも一方に基づいて、前記第１の対象物候補領域における前記対象物らしさの度合いを示す第１の評価値に対する重み、及び前記第２の対象物候補領域における前記対象物らしさの度合いを示す第２の評価値に対する重みを決定するステップと、
    前記第１の重み及び前記第２の重みを用いて前記第１の評価値と第２の評価値とを重み付け加算して統合評価値を算出するステップと、
    前記統合評価値に基づいて前記対象物が存在する対象物領域を判定するステップとを有するオブジェクト検出装置の作動方法。