JP2014048947A - 画像監視装置 - Google Patents

Abstract

【課題】残熱誤報を効果的に削減し、人物等の恒温移動物体の検出精度を向上させることを目的とする。
【解決手段】監視空間を撮像した熱画像を順次取得し、当該熱画像を画像処理して監視空間における恒温移動物体の有無を判定する画像監視装置であって、熱画像と基準画像とを比較して変化領域を抽出し、前記変化領域を時間的に追跡し、追跡した変化領域の温度が当該変化領域に対応する基準画像の画像領域の温度へと時間経過に伴って近づくほど、当該変化領域が恒温移動物体らしくないとする特徴量を算出し、算出した特徴量を用いて変化領域が恒温移動物体か否かを判定する。
【選択図】 図１

Description

本発明は、監視空間を撮像した熱画像を順次取得し、この順次取得した熱画像を画像処理して監視空間における人物等の恒温移動物体の有無を判定する画像監視装置に関する。

従来、熱画像カメラなどの撮像装置から入力される熱画像と過去の熱画像との変化態様から人物の特徴を示す画像領域を抽出し、監視空間における人物の存否やその人数を検出する画像監視装置が知られている。

この種の画像監視装置では、例えば、特許文献１に開示されているように、撮像装置が現在取得した熱画像と、人物がいない状態を撮像した熱画像などの予め記憶した基準画像（背景画像）とを比較して、両画像の差分を移動物体を示す変化領域として抽出し、抽出した変化領域の大きさや動き速度から該変化領域が人物によるものであるか否かを判定することにより、人物の存否やその人数を検出している。

特開平０８−０６９５２３号公報

しかしながら、この種の熱画像を用いた画像監視装置では、監視空間内に存在する人物等の体温によって温められた椅子や床等の背景物体が、当該人物等の立ち去った後であっても抽出され続けるといった問題があった（以下、当該変化領域を「残熱抽出」という）。このような残熱抽出が抽出されると、監視空間内に人物が存在しなくなったにもかかわらず、しばらくの間人物が存在するとして誤検知され続けるといった問題があった（以下、これを「残熱誤報」という）。

ところで、このような残熱抽出に対応する画像領域は、時間の経過に伴って元の背景物体の温度である基準画像の温度（以下、「背景温度」という）に近づくよう温度変化していく性質を有している。すなわち、人体によって温められた椅子や床などの変化領域の温度は、初めは人物の体温に近い温度で検出されるものの、時間の経過に伴って背景温度に近づくよう温度変化する。一方、人物等の恒温移動物体は時間の経過に関わらずその表面温度は略一定である。そこで、本発明は、このような性質の違いに着目し、温度が時間経過につれて背景温度に近づいていく変化領域を残熱抽出として判定することにより、残熱誤報を効果的に削減し、人物等の恒温移動物体の検出精度を向上させることを目的としたものである。

上記した目的を達成するために、本願請求項１に係る画像監視装置は、
監視空間を撮像した熱画像を順次取得し、該熱画像を画像処理して監視空間における恒温移動物体の有無を判定する画像監視装置であって、
前記熱画像と予め記憶した前記監視空間の基準画像とを比較して変化領域を抽出する抽出手段と、前記変化領域を時間的に追跡する追跡手段と、前記追跡手段にて追跡する前記変化領域の温度が該変化領域に対応する前記基準画像の画像領域の温度へと時間経過に伴って近づくほど、該変化領域が前記恒温移動物体らしくないとする特徴量を算出する特徴量算出手段と、前記特徴量を用いて前記変化領域が前記恒温移動物体か否かを判定する判定手段と、を備えることを特徴としている。

かかる構成により、本発明の抽出手段は、取得した熱画像と予め記憶した基準画像とを比較して変化領域を抽出する。なお、本発明では、基準画像として監視空間の背景画像などの過去に取得した熱画像などを適宜選択して採用することができる。そして、本発明の特徴量算出手段は、抽出手段にて抽出され追跡手段にて時間的に追跡された変化領域毎に温度の時間変化を調べる。なお、本発明では変化領域の温度や対応する基準画像の画像領域の温度（すなわち背景温度）として、例えば、それらの領域の各画素における平均温度値や、変化領域に含まれる画素の最大温度値、最小温度値、中央値等を利用することができる。そして、特徴量算出手段は、変化領域の温度が、時間経過に伴って背景温度に近づいていくほど、人物らしくないとする特徴量であって人物等によって生じた残熱抽出らしいことを示す特徴量である「残熱抽出らしさ度」を算出する。例えば、変化領域の温度と背景温度との温度差が時間経過につれて小さくなる傾向を示すほど、当該変化領域の残熱抽出らしさ度が大きく算出されるようにする。そして、本発明の判定手段は、算出した残熱抽出らしさ度が、例えば予め定めた判定閾値以上であるとき当該変化領域が人物ではなく残熱抽出らしいとして判定することによって、変化領域が人物であるか否かを判定する。前述のように、人物等の恒温移動物体の変化領域の温度は時間の経過に関わらず略一定である一方で、残熱抽出は時間の経過に伴って背景温度に近づくよう温度変化していく。したがって、このような残熱抽出の温度変化パターンとなっている変化領域については人らしくないとする特徴量（残熱抽出らしいとする特徴量）を求めて人物の存否判定に利用することによって、残熱誤報を効果的に削減し、人物等の恒温移動物体の検出精度を向上させることができる。

本願請求項２に係る画像監視装置は、請求項１の画像監視装置において、
前記特徴量算出手段は、前記追跡手段にて追跡する前記変化領域の温度と該変化領域に対応する基準画像の画像領域の温度との温度差の絶対値である差分温度値を求め、所定期間における該差分温度値の減少量が所定の閾値以上であるとき、該所定期間を差分温度値が減少している期間である減少期間とし、所定の評価期間に占める該減少期間の割合に応じて前記特徴量を算出することを特徴としている。

かかる構成により、本発明の特徴量算出手段は、現在から過去の所定の評価期間Ｔにおける複数フレームの熱画像と基準画像とを用いて、各フレームの変化領域毎にその温度と背景温度との温度差の絶対値（差分温度値）を求める演算を行い、当該評価期間Ｔにおける差分温度値の変化パターンを調べることにより、時間経過に伴って変化領域の温度が背景温度に近づいているかどうかを調べる。例えば、評価期間Ｔにおいて所定期間Δｔおきに差分温度値を算出し、当該差分温度値が時間の経過に伴い減少している変化を示していたとき、当該評価期間において変化領域の温度が背景温度に近づく変化を示していることがわかる。この際、所定期間Δｔにおける差分温度値の減少量が予め定めた閾値以上であったとき、当該所定期間Δｔにおいて差分温度値が減少したとみなす。一般に、熱画像カメラは、カメラ筐体等からの熱やセンサ自体の発熱等といった外乱の影響などにより、画素の出力値が安定せず、ノイズが生じ易い。そのため、上記構成のように、差分温度値の減少量が予め定めた閾値以上であることをもって所定期間Δｔを減少期間とみなすことにより、ノイズの影響を受け難くする。また、特徴量算出手段は、評価期間Ｔに占める減少期間の割合に応じて残熱抽出らしさ度を算出する。例えば、評価期間Ｔの全ての所定期間Δｔが減少期間であったときにのみ、当該変化領域が残熱抽出であることを示す値（残熱抽出らしさ度＝１）を算出する。また、より好適には、熱抽出らしさ度を評価期間Ｔに占める減少期間の割合に応じて０〜１の間で変化する値として算出してもよい。これにより、変化領域が残熱抽出であるにも関わらず、ノイズの影響を受けて差分温度値が閾値以上減少しない所定期間Δｔが存在する場合であっても、残熱抽出らしさ度を求めることができるため、ノイズの影響を受け難くすることができる。

本願請求項３に係る画像監視装置は、請求項２の画像監視装置において、
前記特徴量算出手段は、前記所定期間における前記差分温度値が大きいほど前記閾値を大きな値と設定することを特徴としている。

かかる構成により、本発明の特徴量算出手段は、所定期間Δｔにおける減少量を閾値判定する際に利用する閾値を、当該所定期間Δｔのいずれかの時刻（例えば、所定期間Δｔの最初の時刻又は終わりの時刻等）における差分温度値が大きいほど大きな値に設定する。例えば残熱抽出の発生直後のように残熱抽出の温度と背景温度との温度差（差分温度値）が大きいとき、一般に、残熱抽出の温度が背景温度に近づくよう比較的急激な温度変化がみられるものの、時間の経過とともに残熱抽出の温度と背景温度との温度差（差分温度値）が小さくなるに伴ってその温度変化は比較的緩やかになる。このように、変化領域の温度と背景温度との温度差である差分温度値が大きいほど、単位時間当たりに変化領域の温度が背景温度に近づく量である減少量は大きくなる傾向がある。したがって、差分温度値の大きさに関わらず固定の閾値を用いた場合、差分温度値が大きいときには閾値以上と判定され易く、また、差分温度値が小さいときには閾値以下と判定され易いため、変化領域が残熱抽出であるか否かを判定する精度が悪くなる。そのため、上記構成のように、差分温度値の大きさに応じて閾値を設定することにより、ラベル領域が人物であるか残熱抽出であるかを判定する精度を向上させて残熱誤報を削減することができる。

本願請求項４に係る画像監視装置は、請求項１〜請求項３の何れか一項の画像監視装置において、
前記特徴量算出手段は、前記追跡手段にて追跡する前記変化領域の前記熱画像上における位置が略一定であるとき前記特徴量を算出することを特徴としている。

かかる構成により、本発明の特徴量算出手段は、本発明の追跡手段にて追跡する変化領域について、例えば評価期間における重心位置の移動量を算出する。そして、特徴量算出手段は、熱画像上における位置が略一定であったときのみ、上記の残熱抽出らしさ度を算出するための処理を行い、位置が略一定でなかったとき当該変化領域についての残熱抽出らしさ度を０のままとして上記の残熱抽出らしさ度を算出するための処理を省略する。残熱抽出は人物等の体温によって温度変化した背景物体であり、これらの背景物体は人物とは異なって一般に静止物である。そのため、動きのある変化領域については残熱抽出らしさ度を算出せずに０として設定することにより、変化領域が人物であるか残熱抽出であるかを判定する精度を向上させることができ、さらに判定にかかる計算量を減少させることができる。

本願請求項５に係る画像監視装置は、請求項１〜請求項４の何れか一項の画像監視装置において、
前記特徴量算出手段は、前記変化領域の出現直前に前記判定手段にて前記恒温移動物体と判定された恒温移動物体変化領域が、該変化領域を包含する前記熱画像上の位置において所定の滞留判定期間以上滞留していたとき前記特徴量を算出することを特徴としている。

かかる構成により、本発明の特徴量算出手段は、変化領域の出現時刻の直前における数フレームの熱画像に存在する変化領域において、判定手段にて恒温移動物体と判定された変化領域（恒温移動物体変化領域）が存在していたか否かを判定する。そして、恒温移動物体変化領域が存在していたとき、出現した変化領域を包含する熱画像上の位置にいずれかの恒温移動物体変化領域が存在し、更に、当該恒温移動物体変化領域が予め定めた滞留判定期間以上滞留していたときのみ、上記の残熱抽出らしさ度を算出するための処理を行う。一方、このような恒温移動物体変化領域が存在していなかったときは、当該変化領域についての残熱抽出らしさ度を０に設定して上記の残熱抽出らしさ度を算出するための処理を省略する。残熱抽出は人物等の体温によって温度変化した背景物体に起因するため、一般に、残熱抽出が新規に出現する直前にはその原因となる人物等の恒温移動物体が存在しうる。いわば、このような恒温移動物体が、背景物体に接しながら滞留していたために残熱抽出が出現したと想定できる。したがって、このような原因となる恒温移動物体が存在しなかった場合は、新たに出現した変化領域は残熱抽出ではないとして、残熱抽出らしさ度を算出せずに０として設定することにより、変化領域が人物であるか残熱抽出であるかを判定する精度を向上させることができ、さらに判定にかかる計算量を減少させることができる。

本発明に係る画像監視装置によれば、変化領域の温度が時間経過につれて背景温度に近づいていくよう温度変化するほど、当該変化領域は恒温移動物体による変化領域ではなく残熱抽出らしいとする特徴量を算出して、当該特徴量を用いて恒温移動物体を検出することにより、恒温移動物体の検知性能を向上させることができる。

残熱抽出が生じるケースの説明図 画像監視装置の全体構成を示すブロック構成図 画像監視装置による全体動作の処理手順を示すフローチャート 特徴量算出処理の具体的処理手順を示すフローチャート 残熱抽出のラベル領域と人物ラベル領域とを重ね合わせた模式図 残熱抽出らしさ度算出処理の具体的処理手順を示すフローチャート 追跡ラベル領域の差分温度値の時間変化を例示した図

以下、建物内を監視空間とし、警備員等の監視者が当該監視空間を熱画像カメラにより撮像した熱画像によって監視空間内に存在する人物の数を監視する実施形態について、添付した図面を参照しながら詳細に説明する。本実施形態は、熱画像から抽出した変化領域の温度変化パターンが背景温度に近づくよう変化しているか否かを判定することにより、当該変化領域が残熱抽出であるか否かを判定することによって、残熱抽出を誤って人物として計数しないよう画像処理する機能を含む画像監視装置を提供するものである。

図１は残熱抽出が生じるケースを説明する図である。図１において（ａ）の列は、ある期間（時刻ｔ〜時刻ｔ＋ｎ＋３）において取得した熱画像１００であり、上から時系列に順に並べたものである。図１（ａ）中における符号１０１の点線で表した画像領域は、監視空間内に設置された椅子に相当する画像領域を本明細書における説明の都合上、便宜的に表示したものであり、実際には他の周囲の背景領域と略等しい温度であるため熱画像１００内に明確に輪郭が表示されることはない。また、図１（ａ）中における符号１０２の画像領域は、監視空間内に存在する人物に相当する領域（以下、「人物領域１０２」という）である。図１（ａ）に表すように、人物領域１０２に相当する人物は、時刻ｔ＋１で初めて出現し、時刻ｔ＋２〜時刻ｔ＋ｎの間椅子に着席し、時刻ｔ＋ｎ＋１に離席して、時刻ｔ＋ｎ＋２に熱画像カメラからフレームアウトしていることがわかる。ここで、時刻ｔ＋ｎ＋１にて、新たに生じた画像領域１０３は、人物領域１０２に相当する人物の体温によって温められた椅子の箇所に相当する領域である（以下、「残熱領域１０３」という）。

また、図１において（ｂ）の列は、同時刻の熱画像１００から後述する抽出手段にて変化領域を抽出した抽出画像１１０であり、上から時系列に順に並べたものである。図１（ｂ）中における符号１１２で示した領域は、熱画像１００の人物領域１０２に相当する変化領域１１２である。また、図１（ｂ）中における符号１１３で示した領域は、熱画像１００の残熱領域１０３に相当する変化領域、すなわち残熱抽出１１３である。図１（ｂ）に表すように、時刻ｔ＋１〜時刻ｔ＋ｎの間は、監視空間内に人物が一人であることを適切に判断できるものの、時刻ｔ＋ｎ＋１以降は残熱抽出１１３を誤って人物に相当する変化領域であると誤判定して、誤った人数（二人）を出力する恐れがある。そこで、本実施形態の画像監視装置１は、抽出された変化領域の時間的な温度変化パターンに基づいて、このような残熱抽出１１３を誤って人物として計数しないよう画像処理する機能を有するものである。

図２に示すように、本実施形態の画像監視装置１は、上述した機能を実現するべく、撮像部２、記憶部３、画像処理部４、出力部５を含んで概略構成される。

撮像部２は、例えば所定画素（例えば３２０×３２０画素）の赤外線検出素子を有し、監視空間から放射される赤外線をレンズやミラーなどの光学系により集光して検出し、検出した赤外線量に応じた監視空間の温度分布を熱画像として画像処理部４に出力する熱画像カメラである。撮像部２は、天井や壁に設置され上から斜め下方の空間を撮像している。その際、１フレームの熱画像を所定の時間間隔で取得して画像処理部４に出力する。

撮像部２は、その設置位置や撮像方向を示す外部パラメータと、焦点距離、画角、レンズ歪み、その他のレンズ特性や撮像素子の画素数を示す内部パラメータとを撮像パラメータとして含む。この撮像パラメータは、実際に計測を行うなどして得ることができ、予め記憶部３に記憶される。そして、この撮像パラメータを用いれば、熱画像中の画素位置を撮像部２の撮像面における座標（撮像面座標）と実空間における座標（実座標）との間で座標変換することが可能となる。本実施例では、この撮像パラメータを用いた（１）撮像面座標から実座標への変換及び（２）実座標から撮像面座標への変換の両変換を透視変換と総称している。

記憶部３は、画像監視装置１に関するカメラ設定情報３ａ（例えば撮像部２の設置高、俯角など）、画像処理部４の各種処理に使用される情報を記憶している。画像処理部４の各種処理に使用される情報としては、例えば撮像部２で取得するフレーム毎の熱画像、抽出手段４ａで熱画像から変化領域を抽出するために用いる基準画像３ｂの他、画像処理部４の各処理に用いられる設定値３ｃ（例えば、抽出手段４ａで用いる抽出閾値、特徴量算出手段４ｃで用いる各種閾値、判定手段４ｄで用いる判定閾値など）が含まれる。

画像処理部４は、ＣＰＵ等を備えたコンピュータで構成され、撮像部２からデジタル化された画像の入力を受け、後述する図３、図４、図６に示す一連の処理として、抽出処理、ラベリング処理、追跡処理、特徴量算出処理、判定処理を実行するべく、抽出部４ａ、追跡手段４ｂ、特徴量算出手段４ｃ、判定手段４ｄを含んでいる。

抽出手段４ａは、撮像部２で取得された熱画像の中から温度変化のある領域を変化領域として抽出する抽出処理を行っている。本実施例では、例えば予め過去の熱画像を基準画像３ｂとして記憶部３に保存しておき、今回取得した熱画像と基準画像３ｂとの差分が記憶部３に記憶された所定の抽出閾値以上である領域を温度変化があると判定し、この温度変化がある領域を変化領域として抽出する。この際、基準画像３ｂとして監視空間の背景の熱画像などの過去に取得した熱画像などを適宜選択して採用することができる。

また、抽出手段４ａは、抽出した各変化領域に対してラベリング処理を行っている。ラベリング処理とは、変化領域のある抽出画素に注目したときに、注目抽出画素の８近傍に隣接している抽出画素を一塊の抽出画素領域とみなし、各一塊の抽出画素領域に対して、画像内でユニークなラベルを割り当てる処理である。さらに、抽出手段４ａにおけるラベリング処理では、所定範囲にある複数の変化領域を一体の物体からなる変化領域とみなし、単一ラベルに統合するラベル統合処理を行っている。以下では、ラベリング処理によってラベルが付与された変化領域（ラベル統合処理によって統合された一又は複数の変化領域を含む）を「ラベル領域」という。なお、本発明における変化領域は、本実施形態におけるラベル領域（後述する追跡ラベル領域も含む）に対応する。

なお、本実施例では現在取得した熱画像における予め記憶した基準画像３ｂからの差分から変化領域を抽出しているが、これに限らず、画素値の時間変化をディジタルフィルタなどの周波数解析を行うことによって変化領域を抽出する方法を用いても良い。また、上記のラベル統合処理を省略することもできる。

追跡手段４ｂは、抽出手段４ａが抽出した変化領域を時間的に追跡するもので、抽出手段４ａによるラベリング処理で求まったラベル領域（変化領域）に対し、前回取得した画像の追跡ラベル領域との対応付けをする追跡処理を行っている。ここで、追跡ラベル領域とは、これまでに取得した画像において、同一の追跡物体によるラベル領域が常に同じラベルになるように、抽出手段４ａによるラベリング処理でのラベルと異なるユニークなラベル（以下、追跡ラベルという）を付与し直したラベル領域のことを指す。追跡処理を具体的に説明すると、現在新たに取得し処理中の熱画像のラベル領域について、画像内での位置関係や大きさなどに基づき、前回取得した熱画像の追跡ラベル領域と同一の追跡物体によるものかどうかを判定し、同一と判定された場合には、前回取得画像の追跡ラベル領域と同じ追跡ラベル領域を付与し直す。現在処理中の画像に存在するラベル領域であって、前回の追跡ラベル領域のいずれとも対応付けられないラベル領域については、新規出現追跡ラベル領域として追跡を開始し、新たな追跡ラベルを付与する。また、前回存在した追跡ラベル領域で、現在処理中の画像に出現したラベル領域のいずれとも対応付けられない追跡ラベル領域については、追跡を終了し、当該追跡ラベルを破棄する。

特徴量算出手段４ｃは、追跡手段４ｂにて追跡している各追跡ラベル領域の画像特徴に基づいて、各追跡ラベル領域が人物かどうか、残熱抽出かどうかを判定するための特徴量を算出する処理を実行する。なお、特徴量算出処理の詳細については追って説明するが、ここで算出される特徴量には、個々のラベル領域について基準画像３ｂとの温度差（差分温度値）の時間変化から求まる「残熱抽出らしさ度」が含まれる。さらに、個々のラベル領域について、ラベル領域の外接矩形のアスペクト比、記憶部３に記憶されている装置の設置高や俯角などを用いて算出される実空間での推定実サイズや推定実面積、これらから算出される人物らしさを表す値である「人物らしさ度」も特徴量に含まれる。

判定手段４ｄは、特徴量算出手段４ｃにて算出された追跡ラベル領域の特徴量（人物らしさ度、残熱抽出らしさ度）を元に、予め定められた判定条件に従って、個々の追跡ラベル領域が人物か否かを判定する判定処理を行う。なお、判定処理の詳細については追って説明する。また、判定手段４ｄは、人物と判定されたラベル領域の数を計数して、監視空間に存在する人数を出力部５に出力する。

出力部５は、画像処理部４の判定手段４ｄにて計数された人数を示す判定信号を外部に出力するもので、例えば表示器や音声発生装置などで構成される。出力部５は、画像処理部４の判定手段４ｄから監視空間に存在する人数を示す判定信号が入力されると、表示器や音声発生装置を駆動して、当該人数を監視者に知らせるための報知出力を行う。なお、出力部５は、不図示の警備装置や遠隔の監視センタなどと通信線を介して接続され、画像処理部４の判定手段４ｄから入力された判定信号を通信線に出力する通信Ｉ／Ｆとして構成することもできる。

（画像監視装置１の画像処理部の処理動作について）
次に、上記構成による画像監視装置１を用いて監視空間における人物の有無を判定し、その人数を出力する場合の画像処理部４の処理動作について図３を参照しながら説明する。なお、図３のフローチャートにおいて、ループ１はＳＴ２〜ＳＴ８の各処理を１フレームの熱画像を取得する毎に実行することを意味し、ループ２はＳＴ６、ＳＴ７の各処理を現在フレームの熱画像から抽出した追跡ラベル領域の数だけ実行することを意味している。

画像処理部４は、画像監視装置１が起動されると、設定情報取得処理を実行する（ＳＴ１）。設定情報取得処理では、予め設定される画像監視装置１に関するカメラ設定情報３ａや画像処理部４の各種処理に使用される各種情報を取得し、取得した情報を記憶部３に格納する。ここで言う情報とは、撮像部２の設置高や撮影方向、撮像部２より得られる画像の垂直方向及び水平方向の画素数、垂直画角や水平画角、基準画像３ｂ、各種閾値などである。

次に、画像処理部４は、熱画像取得処理を実行する（ＳＴ２）。熱画像取得処理では、撮像部２が監視空間の監視範囲を撮像した熱画像の取得を行う。なお、画像監視装置１の起動直後においては、抽出手段４ａで使用する基準画像３ｂの各画素値を、初めに取得した熱画像の温度値で初期化して、記憶部３に記憶する処理を行う。

次に、画像処理部４の抽出手段４ａにより抽出処理を実行する（ＳＴ３）。抽出処理では、熱画像取得処理で取得された熱画像から変化領域を抽出する。本実施形態では、今回取得した熱画像と基準画像３ｂとの差分が記憶部３に記憶された所定の抽出閾値以上であるか否かを各画素で判定することにより変化領域を抽出する。

次に、抽出手段４ａは、ＳＴ３にて抽出された変化領域に対してラベリング処理を行う（ＳＴ４）。本実施形態では、注目抽出画素の８近傍に隣接している抽出画素を一塊の抽出画素領域とみなし、ラベル付けするラベリング処理を行う。また、ラベリング処理では、所定範囲にある複数のラベル領域を一つのラベルに統合するラベル統合処理を行う。

次に、画像処理部４の追跡部４ｂにより追跡処理を実行する（ＳＴ５）。追跡処理では、ＳＴ４のラベリング処理によってラベル付けされたラベル領域に対し、前回取得した熱画像の追跡ラベル領域との対応付けを行う。なお、本処理では、熱画像内に追跡ラベルが存在するかどうかを判定し、熱画像内に追跡ラベルが一つも存在しない場合は、記憶部３に記憶された基準画像３ｂを新たに取得した熱画像で更新する処理を行う。

次に、画像処理部４の特徴量算出手段４ｃは、追跡処理で時間的に追跡した個々の追跡ラベル領域について、人物かどうか、残熱抽出かどうかを判定するための特徴量（人物らしさ度、残熱抽出らしさ度）を算出する特徴量算出処理を行う（ＳＴ６）。本実施形態では、後述するように残熱抽出らしさ度が０〜１の間の値を取ることとし、追跡ラベル領域が残熱抽出らしいほど大きな値をとることとする。また、人物らしさ度は、追跡ラベル領域が人物らしいときは１、人物らしくないときは０の値をとることとする。本処理の詳細については追って説明する。

次に、画像処理部４の判定手段４ｄは、特徴量算出手段４ｃで求めた特徴量を用いて、処理対象の追跡ラベル領域が人物によるものか否かの判定処理を行う（ＳＴ７）。判定処理では、まず、追跡ラベル領域の残熱抽出らしさ度が予め定めた残熱判定閾値Ｔｈ１（例えば、Ｔｈ１＝０．６）以上であるか否かを判定する。なお、本実施形態では、残熱判定閾値Ｔｈ１を予め記憶部３に設定していることとする。そして、追跡ラベル領域の残熱抽出らしさ度が残熱判定閾値Ｔｈ１以上であるとき、当該追跡ラベル領域は残熱抽出であるとみなし、監視空間に存在する人数に計数しない。一方、追跡ラベル領域の残熱抽出らしさ度が残熱判定閾値Ｔｈ１よりも小さいとき、当該追跡ラベル領域の人物らしさ度が１であるか否かを判定する。追跡ラベル領域の人物らしさ度が１ではないとき、当該追跡ラベル領域は人以外の移動物体（例えば、小動物）であるとみなし、監視空間に存在する人数に計数しない。一方、追跡ラベル領域の人物らしさ度が１であるとき、当該追跡ラベル領域は人物によるものとみなし、監視空間に存在する人数に計数する。なお、判定処理の結果、残熱抽出とみなされた追跡ラベル領域は、当該追跡ラベル領域に相当する基準画像３ｂの画像領域を、現在の熱画像を使って更新し、次の熱画像取得時に実行される処理においてラベル領域として抽出されないようにする。

次に、画像処理部４は、記憶部３を参照し、判定手段４ｄにて人物であるとして計数された人数を出力部５に出力する出力処理を行う（ＳＴ８）。このような画像処理部４による結果出力（判定出力）を受けて、出力部５は監視者に対して表示出力や音声出力等により監視空間に存在する人数を知らせるための報知出力を行うことができる。

（特徴量算出処理の詳細について）
次に、図３のフローチャートのＳＴ６における、画像処理部４の特徴量算出手段４ｃが実行する特徴量算出処理の詳細について図４を参照しながら説明する。なお、本処理は、ループ２にて処理の対象となっている追跡ラベル領域に対して実施される。

画像処理部４の特徴量算出手段４ｃは、まず、処理対象となっている追跡ラベル領域の外接矩形の頂点の座標値、外接矩形の幅や高さを算出する追跡ラベル領域の外接矩形座標計算処理を行う（ＳＴ１０）。

次に、特徴量算出手段４ｃは、ＳＴ１０の追跡ラベル領域の外接矩形座標計算処理で求めた外接矩形の頂点の座標値、幅や高さ、及び記憶部３に記憶されているカメラ設定情報３ａである画像監視装置の設置高・俯角を利用して透視変換することによって、追跡ラベル領域の実空間での推定実幅、推定実高さ、推定実面積を求める想定実サイズ算出処理を行う（ＳＴ１１）。

次に、特徴量算出手段４ｃは、人物らしさ度算出処理を実行する（ＳＴ１２）。人物らしさ度算出処理では、ＳＴ１２の想定実サイズ算出処理にて求めた追跡ラベル領域の外接矩形の実空間上での推定実幅と推定実高さを元に、追跡ラベル領域のサイズや形状が人らしいかどうかを表す人物らしさ度を計算する。具体的には、追跡ラベル領域の想定実面積が０．３〜２．５ｍ^２、かつ追跡ラベル外接矩形の高さに対する幅の比率が０．２〜１のときに人物らしさ度を１とし、それ以外の場合は人物らしさ度を０とする。なお、上記以外にも、追跡ラベル領域について、（１）推定実幅が６０ｃｍ以上１００ｃｍ以下、（２）推定実高さが７０ｃｍ以上２００ｃｍ以下といった条件を定め、（１）、（２）の両方の条件を満たす場合のみ人物らしさ度を１とし、（１）、（２）の条件の何れか一つでも満たさない場合は人物らしさ度を０とするように算出してもよい。そして、ここで算出した人物らしさ度を追跡ラベル領域のラベルに対応付けて記憶部３に記憶する処理を行う。

次に、特徴量算出手段４ｃは、処理対象の追跡ラベル領域の温度と、該追跡ラベル領域に対応する基準画像３ｂの領域の温度（背景温度）との温度差の絶対値である差分温度値Ｄを算出する差分温度値算出処理を行う（ＳＴ１３）。本実施形態では、差分温度値Ｄを求めるにあたって、まず、追跡ラベル領域の各画素において熱画像の温度（画素値）と、対応する基準画像３ｂの温度（画素値）との温度差の絶対値を求める。そして、追跡ラベル領域内の各画素において求めた温度差の絶対値の平均値を求めることによって差分温度値を算出している。差分温度値算出処理では、算出した差分温度値を後述する残熱抽出らしさ度算出処理にて利用できるよう、熱画像の取得時刻と追跡ラベルとに対応付けて記憶部３に記憶する。

次に、特徴量算出手段４ｃは、処理対象の追跡ラベル領域の移動量を算出する移動量算出処理を行う（ＳＴ１４）。移動量算出処理では、処理対象となっている追跡ラベル領域について、前フレームの重心位置（座標）と現在フレームの重心位置（座標）とからフレーム間の重心の移動距離を求め、この重心の移動距離の値を追跡ラベル領域の移動量として計算する。

次に、特徴量算出手段４ｃは、ＳＴ１３にて算出した移動量に基づいて処理対象となっている追跡ラベル領域が熱画像上における位置にて略一定であるか否かを判定する（ＳＴ１５）。略一定とは、追跡ラベル領域がノイズ等を考慮しても、移動しているとは認められない範囲のことである。具体的には、ＳＴ１４にて算出した移動量が予め定めた移動判定閾値Ｔｈ２（例えば４ピクセル）以下であったとき、追跡ラベル領域は熱画像上における位置にて略一定であると判定し（ＳＴ１５−Ｙｅｓ）、ＳＴ１６に処理を進める。一方、算出した移動量が予め定めた移動判定閾値Ｔｈ２よりも大きいとき、追跡ラベル領域は移動があったと判定し（ＳＴ１５−Ｎｏ）、ＳＴ２０にて残熱抽出らしさ度を０に設定する処理を行う。残熱抽出は人物等の体温によって温度変化した背景物体であり、これらの背景物体は人物とは異なって一般に静止物であるため、動きのある追跡ラベル領域については残熱抽出らしさ度を算出せずに０として設定することにより、変化領域が人物であるか残熱抽出であるかを判定する精度を向上させて残熱誤報を削減することができ、さらに判定にかかる計算量を減少させることができる。

ＳＴ１６では、特徴量算出手段４ｃは、処理対象となっている追跡ラベル領域の出現直前の期間において、当該追跡ラベル領域を包含する位置にて所定期間以上滞留している人物と判定されたラベル領域（以下、このような人物ラベル領域を「滞留人物ラベル領域」という）を検出する滞留人物ラベル領域検出処理を行う。ここで、人物ラベル領域とは、判定手段４ｄにて人物ラベルと判定された追跡ラベル領域のことをいい、本発明における恒温移動物体変化領域に対応する。

以下、図１のケースを例に挙げて滞留人物ラベル領域検出処理を詳細に説明する。ここで、図１のケースにおいて、現在時刻をｔ＋ｎ＋２とし、現在時刻ｔ＋ｎ＋２の変化領域１１３が処理対象の追跡ラベル領域となっている場合について説明する。滞留人物ラベル領域検出処理では、まず、処理対象の追跡ラベル領域の出現時刻を調べ、出現時刻の直前の期間、例えば出現時刻から遡って１０フレームの期間において人物ラベル領域が存在していたか否かを調べる。図１に表すように、処理対象の追跡ラベル領域１１３の出現時刻は時刻ｔ＋ｎ＋１であり、出現時刻の直前のフレームである時刻ｔ＋ｎには人物ラベル領域１１２が存在していることがわかる。続いて、滞留人物ラベル領域検出処理では、処理対象の追跡ラベル領域の出現時刻における位置と人物ラベル領域の位置との関係を調べ、処理対象の追跡ラベル領域を包含する位置に人物ラベル領域が存在するか否かを判定する。図５は、図１の時刻ｔ＋ｎ＋１における処理対象の追跡ラベル領域１１３と、当該追跡ラベル領域１１３の出現時刻の直前のフレームである時刻ｔ＋ｎにおける人物ラベル領域１１２とを、熱画像上の位置にて重ね合わせた模式図であり、図５において各ラベル領域をそれぞれ１１３ａ、１１２ａとして表している。図５に表すように、時刻ｔ＋ｎ＋１における処理対象の追跡ラベル領域１１３ａを人物ラベル領域１１２ａが包含する位置にあることが判る。このように、滞留人物ラベル領域検出処理では、両ラベル領域の位置関係を調べることにより、処理対象の追跡ラベル領域を包含する位置に人物ラベル領域が存在するか否かを判定する。続いて、滞留人物ラベル領域検出処理では、処理対象の追跡ラベル領域を包含する位置に人物ラベル領域が存在していたとき、当該人物ラベル領域が予め定めた滞留判定閾値Ｔｈ３以上、滞留しているか否かを判定することにより、滞留人物ラベル領域が存在するか否かを判定する。例えば、滞留判定閾値Ｔｈ３が６０フレームとして記憶部３に設定されていたとき、図１のケースにおいてｎ＝２００フレームであるとしたならば、人物ラベル領域１１２は滞留判定閾値Ｔｈ３以上滞留していると判定される。したがって、同図における人物ラベル領域１１２は、滞留人物ラベル領域であると判定される。なお、滞留判定閾値Ｔｈ３は、どれくらいの期間で背景物体が人物の体温によって変化するのかを予め実験によって定めた上で、記憶部３に設定しておくこととする。

次に、特徴量算出手段４ｃは、ＳＴ１６にて滞留人物ラベル領域が検出されたか否かによって処理を分岐する（ＳＴ１７）。ＳＴ１６にて滞留人物ラベル領域が検出されたとき（ＳＴ１７−Ｙｅｓ）、ＳＴ１８に処理を進める。一方、ＳＴ１６にて滞留人物ラベル領域が検出されなかったとき（ＳＴ１７−Ｎｏ）、ＳＴ２０にて残熱抽出らしさ度を０に設定する処理を行う。残熱抽出は人物等の体温によって温度変化した背景物体であるため、一般に、残熱抽出の出現直前にはその原因となる人物が背景物体に接しながら滞留していると想定できる。したがって、このような原因となる人物が存在しなかった場合は、新たに出現したラベル領域は残熱抽出ではないとして、残熱抽出らしさ度を算出せずに０として設定することにより、ラベル領域が人物であるか残熱抽出であるかを判定する精度を向上させて残熱誤報を削減することができ、さらに判定にかかる計算量を減少させることができる。

ＳＴ１８では、特徴量算出手段４ｃは、処理対象の追跡ラベル領域の出現時刻からの経過時間が予め定めた評価期間Ｔ（例えば６０秒）以上であるか否かを判定する。追跡ラベル領域の出現時刻からの経過時間が評価期間Ｔ以上であったとき（ＳＴ１８−Ｙｅｓ）、ＳＴ１９に処理を進める。追跡ラベル領域の出現時刻からの経過時間が評価期間Ｔ以上でなかったとき（ＳＴ１８−Ｎｏ）、ＳＴ２９にて残熱抽出らしさ度を０に設定する処理を行う。

ＳＴ１９では、特徴量算出手段４ｃは、残熱抽出らしさ度算出処理を実行する。以下、残熱抽出らしさ度算出処理の詳細について図６のフローチャートを参照しながら説明する。

残熱抽出らしさ度算出処理では、まず、現在時刻から過去の評価期間Ｔにおいて、予め定めた区分期間Δｔ毎にＳＴ１３にて記憶部３に記憶した差分温度値Ｄを読み出す処理を行う（ＳＴ３０）。なお、本発明における「所定期間Δｔ」は、本実施形態における区分期間Δｔに対応する。本実施形態では、評価期間Ｔを６０秒とし、区分期間Δｔを１０秒として６つの期間に区分し、各区分における差分温度値Ｄを読み出している。図７は、図１のケースにおける変化領域１１３を処理対象の追跡ラベル領域とした場合において、当該追跡ラベル領域１１３の評価期間Ｔにおける差分温度値Ｄの時間変化をグラフ化したものである。図７に表すように、ＳＴ３０では、現在から過去の評価期間Ｔ（６０秒前）における区分期間Δｔ（１０秒）おきの差分温度値Ｄ０〜Ｄ６を記憶部３から読み出す処理を行う。

図６のフローチャートにおいて、ループ３はＳＴ３１〜ＳＴ３４の各処理を区分期間Δｔ毎に実行することを意味している。そして、残熱抽出らしさ度算出処理の説明において選択Δｔとは、ループ３にて処理対象となっている区分期間Δｔをいう。

次に、ＳＴ３０にて読み出した差分温度値Ｄに基づいて、選択Δｔにおける減少量を算出する処理を行う（ＳＴ３１）。例えば、図７の例において、選択Δｔが−６０秒〜−５０秒の間の期間であるとき、当該選択Δｔにおける減少量はＤ６−Ｄ５によって算出することができる。同じように、選択Δｔが−５０秒〜−４０秒の間の期間であるとき、当該選択Δｔにおける減少量はＤ５−Ｄ４によって算出することができる。

次に、選択Δｔにおける差分温度値が大きいほど、減少量判定閾値Ｔｈ４が大きな値となるよう設定する処理を行う（ＳＴ３２）。本実施形態では、選択Δｔの開始時刻における差分温度値Ｄに予め実験で求めた１よりも小さい係数α（例えばα＝０．２）を乗じた値を減少量判定閾値Ｔｈ４として記憶部３に設定する処理を行っている。例えば、選択Δｔが−６０秒〜−５０秒の間の期間であるとき、当該選択Δｔにおける減少量判定閾値Ｔｈ４は、Ｄ６×αによって算出することができる。一般に、ラベル領域の温度と背景温度との温度差である差分温度値が大きいほど、単位時間当たりに変化領域の温度が背景温度に近づく量である減少量は大きくなる傾向がある。したがって、差分温度値の大きさに応じて閾値を設定することにより、ラベル領域が人物であるか残熱抽出であるかを判定する精度を向上させて残熱誤報を削減することができる。なお、本発明における「所定の閾値」とは、本実施形態における減少量判定閾値Ｔｈ４に対応する。

次に、ＳＴ３１で算出した選択Δｔにおける減少量と、ＳＴ３２にて設定した減少量判定閾値Ｔｈ４とを比較する処理を行う（ＳＴ３３）。選択Δｔにおける減少量が減少量判定閾値Ｔｈ４以上であるとき（ＳＴ３３−Ｙｅｓ）、当該選択Δｔを減少期間として設定する（ＳＴ３４）。ここで減少期間とは、追跡ラベル領域の温度が背景温度に近づいている（差分温度値Ｄが減少している）と判定される区分期間Δｔをいう。一方、減少量が減少量判定閾値Ｔｈ４よりも小さいとき（ＳＴ３３−Ｎｏ）、処理をループ３に進め、選択Δｔを変更してＳＴ３１からの処理を繰り返す。

ループ３にて、評価期間Ｔにおける全ての区分期間Δｔについて減少期間か否かが判定されると、これらの結果を用いて残熱抽出らしさ度を算出する処理を行う（ＳＴ３５）。本実施形態では、評価期間Ｔにおける減少期間の割合から残熱抽出らしさ度を算出する。例えば、評価期間Ｔ＝６０秒のうち、減少期間と判定された区分期間Δｔが５０秒（減少期間と判定された区分期間Δｔの数が５つ）であるとき、残熱抽出らしさ度を５０／６０≒０．８３と算出する。そして、ここで算出した残熱抽出らしさ度を追跡ラベル領域の追跡ラベルと時刻に対応付けて記憶部３に記憶する処理を行う。このように、評価期間Ｔに占める減少期間の割合に応じて残熱抽出らしさ度を算出することにより、ノイズの影響を受け難く、より精度の良い残熱抽出らしさ度を求めることができる。

ＳＴ３５にて残熱抽出らしさ度を算出すると、残熱抽出らしさ度算出処理を終了し、さらに特徴量算出処理も終了して、図３のＳＴ７の判定処理に処理を進める。

ところで、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施形態で実施されてもよいものである。また、実施形態に記載した効果は、これに限定されるものではない。

上記実施形態では、ＳＴ１３にて現在の熱画像と基準画像３ｂの温度差の絶対値を追跡ラベル領域内で平均した値を差分温度値Ｄとして算出している。しかし、これに限らず、追跡ラベル領域内で熱画像と基準画像３ｂとの差分値の代表値となりうる他の値を用いて差分温度値Ｄを算出してもよい。例えば、熱画像と基準画像３ｂの温度差の絶対値において、追跡ラベル領域内における最大値や最小値、中央値などを用いて差分温度値Ｄを算出してもよい。また、追跡ラベル領域内の熱画像の平均温度と、対応する基準画像３ｂの画像領域の平均温度との差分値の絶対値を差分温度値Ｄとして算出してもよい。

上記実施形態では、ＳＴ３０にて区分期間Δｔ毎に差分温度値Ｄを読出し、ＳＴ３１にてこれらの値をそのまま利用してΔｔにおける減少量を算出する処理を行っている。しかし、これに限らず、ＳＴ３０にて評価期間Ｔにおける全ての差分温度値Ｄを読出し、時系列に移動平均などのローパスフィルタを適用し、その結果に対する区分期間Δｔ毎の値を取り出して、Δｔにおける減少量を算出してもよい。これにより、熱画像の出力値が安定せずにノイズが多い場合であったとしても、これらのノイズの影響を受けずに評価期間における差分温度値の変化パターンを評価することができる。

上記実施形態では、ＳＴ３５にて現在時刻において求めた残熱抽出らしさ度を用いて、ＳＴ７にて追跡ラベル領域が残熱抽出か否かを閾値判定している。しかし、これに限らず、現在時刻から過去数フレームにおいて算出した残熱抽出らしさ度を使って閾値判定しても良い。例えば、過去５フレーム分の残熱抽出らしさ度を平均した値を用いてＳＴ７にて追跡ラベル領域が残熱抽出か否かを判定してもよい。これにより、熱画像の出力値が安定せずに（ノイズが多い）、残熱抽出らしさ度の値が安定しない場合であったとしても、これらの影響を受け難くすることができる。

上記実施形態では、ＳＴ１４にて追跡ラベル領域の前後フレームの重心移動距離から追跡ラベルの移動量を算出している。しかし、これに限らず、前後フレームの追跡ラベル領域の重なり度合いに応じて移動量を算出してもよい。また、評価期間Ｔにおける累積重心移動距離を移動量として算出してもよい。

上記実施形態では、選択Δｔの開始時刻における差分温度値Ｄに応じて減少量判定閾値Ｔｈ４を算出しているが、これに限らず、例えば、選択Δｔの終了時刻や中央時刻における差分温度値Ｄに応じて減少量判定閾値Ｔｈ４を算出してもよい。

上記実施形態では、人物を検出対象の恒温移動物体とする画像監視装置であるが、これに限らず、小動物などの人物以外の恒温移動物体を検出対象とする画像監視装置にも応用可能である。

１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・画像処理部
５・・・出力部
３ａ・・・カメラ設定情報
３ｂ・・・基準画像
３ｃ・・・設定値
４ａ・・・抽出手段
４ｂ・・・追跡手段
４ｃ・・・特徴量算出手段
４ｄ・・・判定手段
１００・・・熱画像
１１０・・・抽出画像
１０１・・・椅子に相当する領域
１０２・・・人物領域
１０３・・・残熱領域
１１０・・・抽出画像
１１２・・・人物の変化領域
１１３・・・残熱抽出

Claims (5)

1. 監視空間を撮像した熱画像を順次取得し、該熱画像を画像処理して監視空間における恒温移動物体の有無を判定する画像監視装置であって、
   前記熱画像と予め記憶した前記監視空間の基準画像とを比較して変化領域を抽出する抽出手段と、
   前記変化領域を時間的に追跡する追跡手段と、
   前記追跡手段にて追跡する前記変化領域の温度が該変化領域に対応する前記基準画像の画像領域の温度へと時間経過に伴って近づくほど、該変化領域が前記恒温移動物体らしくないとする特徴量を算出する特徴量算出手段と、
   前記特徴量を用いて前記変化領域が前記恒温移動物体か否かを判定する判定手段と、
   を備えることを特徴とした画像監視装置。
2. 前記特徴量算出手段は、前記追跡手段にて追跡する前記変化領域の温度と該変化領域に対応する基準画像の画像領域の温度との温度差の絶対値である差分温度値を求め、所定期間における該差分温度値の減少量が所定の閾値以上であるとき、該所定期間を差分温度値が減少している期間である減少期間とし、所定の評価期間に占める該減少期間の割合に応じて前記特徴量を算出する請求項１に記載の画像監視装置。
3. 前記特徴量算出手段は、前記所定期間における前記差分温度値が大きいほど前記閾値を大きな値と設定する
   請求項２に記載の画像監視装置。
4. 前記特徴量算出手段は、前記追跡手段にて追跡する前記変化領域の前記熱画像上における位置が略一定であるとき前記特徴量を算出する請求項１〜請求項３の何れか一項に記載の画像監視装置。
5. 前記特徴量算出手段は、前記変化領域の出現直前に前記判定手段にて前記恒温移動物体と判定された恒温移動物体変化領域が、該変化領域を包含する前記熱画像上の位置において所定の滞留判定期間以上滞留していたとき前記特徴量を算出する請求項１〜請求項４の何れか一項に記載の画像監視装置。
   
   

Images