JP2007018324A

JP2007018324A - 画像処理による侵入物体検出装置および方法およびプログラム

Info

Publication number: JP2007018324A
Application number: JP2005199990A
Authority: JP
Inventors: Yasuto Nakajima; 慶人中島
Original assignee: Central Research Institute of Electric Power Industry
Current assignee: Central Research Institute of Electric Power Industry
Priority date: 2005-07-08
Filing date: 2005-07-08
Publication date: 2007-01-25
Anticipated expiration: 2025-07-08
Also published as: JP4610005B2

Abstract

【課題】侵入者を検出する際の誤検出を減らし、処理時間の短縮により実時間処理をおこなう。
【解決手段】監視画像に設定した監視ライン上の画素の輝度値の時系列変化が大きい画素を検出し、監視画像を分割した区画のうち、時系列変化が大きい画素を含み、さらに移動速度の速い侵入物体を含んでいる順番に区画に優先順位を設定し、その優先順位に従って、区画内に侵入物体が撮影されているか否かのテンプレートマッチングを行うことにより侵入物体の検出を行う。

【選択図】図１

Description

本発明は、画像処理の方法および装置およびプログラムに関する。更に詳述すると本発明は、画像処理により照明変化や背景変化がある場所での使用に適した侵入物体検出装置および方法、プログラムに関する。

侵入者の監視方法として、画像処理を用いた侵入検出方式が知られている。これはＩＴＶカメラ等で撮影した画像内に人物が侵入すると画像内に輝度変化が発生することを利用したもので、その輝度変化を捉える方法が広く利用されている。特に、輝度変化を捉える方法としては、予め準備した背景画像と撮影画像の輝度値の差分を使う背景差分や、同一背景の時間的にわずかに離れた画像の画像間で画素値の差分を検出することにより、差分画像を作成するフレーム間差分がある。また、近くの物体を検出する場合には、フレーム間差分が有効であり、遠方の物体を検出する場合には、背景差分が有効であることから両方式を組み合わせたハイブリッド方式を用いた侵入検出方式が提案されている。（特許文献１参考）。

一方、ＩＴＶカメラで撮影した画像から、人体テンプレートとの比較により人物を検出する方法が提案されている（非特許文献１参照）。ここでは照度変化や背景変化に対し安定に人物検出が可能であることが示されている。

特開２００２−１７６６４０号 A. Mohan, C. Papageorgiou and T. Poggio: Example-based Object Detection in Images by Components, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 4,349-361, 2001

しかしながら、上述した背景差分、フレーム間差分、ハイブリッド方式を用いた侵入検出方式では、屋外での照明変化や草木の動き等の背景変化を検出する誤検出が多く発生する可能性がある。また、人物等を検出するには、画像全体を差分処理した後、さらに、ノイズ除去やラベリング処理により人物がいる候補領域を決定し、その候補領域に人物判定処理を行う必要があるためデータ処理量が多くなり、リアルタイム処理に向かないという問題点が存在する。

また、静止画像を利用し、人体テンプレートとの比較により人物を検出する方法においては、静止画像全体に人体テンプレートをスキャンさせながら比較処理するため、画像全体のデータ処理が必要となり、データ処理量が多くなる。このため、データ処理に時間がかかり、侵入物体の検出と同時に警報を発するといった実時間処理には向かず、監視装置としての機能を果たせないことがある。

そこで、本発明は、誤検出を減らすことができ、さらに、データ処理量を軽減することにより処理時間の短縮化を図り、実時間処理を可能とする侵入物体検出装置および方法、並びにプログラムを提供することを目的とする。

かかる目的を達成するため、請求項１記載の侵入物体検出方法は、撮影画像内に少なくとも一本以上の線分領域を設定する監視ライン設定処理と、前記線分領域上で、輝度値変化が大きい画素を抽出するライン監視処理と、前記撮影画像を一定区画に分割し、前記ライン監視処理により抽出された画素を含み、かつ移動速度が速い侵入物体が存在していると推定される区画順に優先順位を付ける優先区画決定処理と、前記優先区画決定処理により設定された前記区画の優先順位に従って、前記区画に撮影された画像と予め用意された侵入物体テンプレートとのマッチングにより前記区画内に侵入物体が存在しているか否かを判定する侵入物体判定処理とを行うようにしている。

また、請求項８記載の侵入物体検出装置は、撮影画像内に少なくとも一本以上の線分領域を設定する監視ライン設定手段と、前記線分領域上で、画素の輝度値変化が大きい画素を抽出するライン監視手段と、前記撮影画像を一定区画に分割し、前記ライン監視処理により抽出された画素を含み、かつ移動速度が速い侵入物体が存在していると推定される区画順に優先順位を付ける優先区画決定手段と、前記優先区画決定手段により設定された前記区画の優先順位に従って、前記区画に撮影された画像と予め用意された侵入物体テンプレートとのマッチングにより前記区画内に侵入物体が存在しているか否かを判定する侵入物体判定手段とを備えるようにしている。

また、請求項１５記載の侵入物体検出プログラムは、撮影画像を表示する出力装置上で設定された線分領域に対応する部分のアドレスを監視ラインとして主記憶装置に記憶する監視ライン設定手段と、前記線分領域上で輝度値変化が大きい画素のアドレスを主記憶装置に記憶するライン監視手段と、前記撮影画像をあらかじめ一定区画に分割して主記憶装置に記憶し、前記ライン監視手段により記憶された画素のアドレスを含み、かつ移動速度が速い侵入物体が存在していると推定される区画順に優先順位を付け、該優先順位を主記憶装置に記憶する優先区画決９定手段と、前記優先区画決定手段により主記憶装置に記憶された前記区画の優先順位に従って、前記区画に撮影された画像と、補助記憶装置から読み出した侵入物体テンプレートをマッチングにより前記区画内に侵入物体が存在しているか否かを判定する侵入物体判定手段としてコンピュータを機能させるようにしている。

したがって、侵入物体例えば不正侵入者等が線分領域（以下、監視ラインという）上を通過すると、監視ライン上の画素の輝度値変化が起こる。この輝度値変化が大きい画素を抽出し、さらに撮影画像をあらかじめ一定の区画に分割したうちの輝度値変化が大きい画素を含む区画を抽出し、該区画に対して優先順位を設定し、その区画の優先順位に従って、区画内に撮影された画像と予め用意された侵入物体テンプレートとのマッチングにより区画内に侵入物体が存在しているか否かを判定するようにしている。このようにして、データ処理範囲を監視ライン上の画素に限定し、さらに、監視ライン上での画素の輝度値変化が大きい画素のみを抽出し、処理の対象とすることで、静止している物体や、動きの少ない物体を除いて、侵入物体の可能性のある画素のみをデータ処理の対象とすることとしている。データ処理量を減らすことにより、データ処理時間を大幅に短縮し、実時間処理（約３０画像／秒）を可能とし、かつ誤検出の少ない侵入物体の検出を実現している。

請求項２記載の発明は、請求項１記載の侵入物体検出方法において、前記監視ライン設定処理は、前記線分領域を撮影画像内の必要に応じた位置と傾きに設定するようにしている。また、請求項９記載の発明は、請求項８記載の侵入物体検出装置において、前記監視ライン設定処理は、前記線分領域を撮影画像内の必要に応じた位置と傾きに設定するものである。したがって、侵入物体の検出には、侵入物体が監視ラインを通過することが必要となるので、侵入物体が通過する可能性の高い部分に、必要に応じて、侵入物体の検出が可能な位置と傾きで監視ラインを設定できるようにしている。

請求項３記載の発明は、請求項１または２記載の侵入物体検出方法において、前記ライン監視処理は、前記線分領域毎に、前記線分領域上のすべての画素を任意の記録時間に渡って記録した時空間画像を作成し、前記線分領域上の画素位置での輝度値が該画素位置で求めた任意の記録時間に渡る輝度値の平均値に対して予め設定した標準偏差の閾値倍の範囲を超える輝度値となる画素を検出し、前記検出された画素によって前記時空間画像上に形成される線分の長さを求めるようにしている。また、請求項１０記載の発明は、請求項８または９記載の侵入物体検出装置において、前記ライン監視手段は、前記線分領域毎に、前記線分領域上のすべての画素を任意の記録時間に渡って記録した時空間画像を作成し、前記線分領域上の画素位置での輝度値が該画素位置で求めた任意の記録時間に渡る輝度値の平均値に対して予め設定した標準偏差の閾値倍の範囲を超える輝度値となる画素を検出し、前記検出された画素によって前記時空間画像上に形成される線分の長さを求めるものである。したがって、監視ライン上の全画素を任意の記録時間に渡ってすべて記憶して時空間画像を作成し、さらに、侵入物体が監視ライン上を通過する際に、画素の輝度値変化が起こることを用いて、監視ライン上の画素位置での輝度値が予め設定した閾値を超える輝度値となった画素を検出し、その検出された画素によって時空間画像上に形成される線分の長さを求めるようにしている。監視ライン上の画素のデータ処理に限定して、データ処理量を減らすこととしている。

請求項４記載の発明は、請求項３記載の侵入物体検出方法において、前記ライン監視処理は、前記検出された画素を予め設定した閾値以上の画像フレーム数に渡って検出した場合に、前記時空間画像上に形成される線分として抽出するようにしている。また、請求項１１記載の発明は、請求項１０記載の侵入物体検出装置において、前記ライン監視手段は、前記検出された画素を予め設定した閾値以上の画像フレーム数に渡って検出した場合に、前記時空間画像上に形成される線分として抽出するものである。したがって、輝度値が大きく変化した画素が、予め設定した閾値以上の画像フレーム数にわたって検出された場合に、時空間画像上で線分として検出することとしている。輝度値の単発的な変化の検出を除くものである。

請求項５記載の発明は、請求項４記載の侵入物体検出方法において、前記優先区画決定処理は、前記ライン監視処理により求めた前記線分の長さと、撮影フレーム数から前記線分の傾きを求め、該傾きの大きさから侵入物体の移動速度を推定するようにしている。また、請求項１２記載の発明は、請求項１１記載の侵入物体検出装置において、前記優先区画決定手段は、前記ライン監視手段により求めた前記線分の長さと、撮影フレーム数から前記線分の傾きを求め、該傾きの大きさから侵入物体の移動速度を推定するものである。したがって、線分の長さと、撮影フレーム数から線分の傾きを求めて、傾きの大きい線分ほど侵入物体の移動速度は速く、傾きの小さい線分ほど侵入物体の移動速度は遅いものとして、監視ライン上の画素のデータ処理だけで、侵入物体の移動速度を推定することとしている。

請求項６記載の発明は、請求項５記載の侵入物体検出方法において、前記優先区画決定処理は、前記線分の傾きの大きさに従って前記線分領域上の画素に対して重み値を設定し、重み値の高い画素を含む前記区画に優先順位を設定するようにしている。また、請求項１３記載の発明は、請求項１２記載の侵入物体検出装置において、前記優先区画決定手段は、前記線分の傾きの大きさに従って前記線分領域上の画素に対して重み値を設定し、重み値の高い画素を含む前記区画に優先順位を設定するものである。したがって、線分の傾きの大きい監視ライン上の画素に対して高い重み値を設定して、高い重み値を含む区画に対して、侵入物体判定処理をおこなうための優先順位を高く設定することで、移動速度の速い侵入物体が存在すると推定される区画に対して高い優先順位を設定することとしている。

請求項７記載の発明は、請求項６記載の侵入物体検出方法において、前記優先区画決定処理は、前記侵入物体判定処理での優先区画内に侵入物体が存在していないと判定した場合に、該優先区画に対して、前記重み値を低い値に更新し、前記優先順位を抑制するようにしている。また、請求項１４記載の発明は、請求項１３記載の侵入物体検出装置において、前記優先区画決定手段は、前記侵入物体判定手段での優先区画内に侵入物体が存在していないと判定した場合に、該優先区画に対して、前記重み値を低い値に更新し、前記優先順位を抑制するものである。したがって、前のフレームで侵入物体が存在しないと判定した場合は、重み値を低い値に更新することで、次のフレーム処理での優先順位をさげることとして、一旦侵入物体が存在しないと判定した区画については、しばらく侵入物体判定処理を行わないこととしている。

以上説明したように、請求項１記載の侵入物体検出方法、請求項８記載の侵入物体検出装置、請求項１５記載の侵入物体検出プログラムによれば、侵入物体の監視を監視ライン上に限定し、監視ライン上の画像データ処理により、侵入者の検出を行うようにしているため、画像全体を処理する従来の方式に比べてデータ処理量を減らすことができる。また、侵入物体テンプレートとのマッチングを行う範囲を、監視画像上の優先区画に限定しているので、撮影画像全体に対してマッチング処理する方式に比べ、データ処理量を減らすことができる。即ち、データ処理量を減らすことにより、データ処理時間を大幅に短縮することができ、より高速に処理を行うことが可能となる。これにより、実時間処理（約３０画像／秒）が可能となり、監視装置の侵入物体を検出すると同時に警報等を発することができるようになる。また、既存の監視カメラを用いてソフトウェアにより実現可能としているので、新たな監視設備が必要となるものではなく、設備投資コストを抑えることができる。また、テンプレートマッチングを行うことにより、誤検出を減らすことができる。

また、請求項２記載の侵入物体検出方法、請求項９記載の侵入物体検出装置によれば、撮影画像内において侵入物体の動きを考慮して、侵入物体の検出が可能な位置と傾きに監視ラインを設定することができる。

また、請求項３記載の侵入物体検出方法、請求項１０記載の侵入物体検出装置によれば、線分領域上の画素のデータ処理に限定して、侵入物体の検出を行うようにしているので、撮影画像全体をデータ処理する必要がなく、処理時間を短縮し、実時間処理を可能とすることができる。

また、請求項４記載の侵入物体検出方法、請求項１１記載の侵入物体検出装置によれば、単発的な輝度値の変化の検出を除くことで、ノイズの除去を行うことができる。

また、請求項５記載の侵入物体検出方法、請求項１２記載の侵入物体検出装置によれば、監視ライン上の画素のデータ処理のみによって侵入物体の移動速度を推定することができる。

また、請求項６記載の侵入物体検出方法、請求項１３記載の侵入物体検出装置によれば、、監視ライン上の画素のデータ処理のみによって移動速度の速い侵入物体から侵入物体判定処理を行うことを可能にしている。画像全体をデータ処理する方式に比べ、データ処理量を減らすことができる。

また、請求項７記載の侵入物体検出方法、請求項１４記載の侵入物体検出装置によれば、前のフレームでの侵入物体判定処理の結果により、前記優先順位を抑制することができるので、一旦侵入物体が存在しないと判定した区画については、しばらく侵入物体判定処理を行わないことができ、効率的なデータ処理を可能としている。

以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。

図１から図２９に本発明の画像処理による侵入物体検出方法および装置およびプログラムの実施の一形態を示す。この侵入物体検出方法は、まず撮影画像内に監視ラインを設定し、監視ラインごとに時空間画像を作成し、監視ライン上で画素の輝度値の時系列変化が大きい画素を検出して、検出された画素によって時空間画像上に形成される線分（以下、変化パスという）の傾きの大きさを求める。更に、求められた変化パスの傾きの大きさによって、侵入物体の移動速度を推定し、移動速度の速い侵入物体を捉えた監視ライン上の画素を含む、撮影画像を予め分割しておいた区画に優先順位を設定し、その区画の優先順位に従って、区画内に撮影された画像と予め用意された侵入物体テンプレートとのマッチングにより区画内に侵入物体が存在しているか否かを判定するようにしている。

本発明の画像処理による侵入物体検出方法および装置およびプログラムは、例えば、図１に示すように、監視ライン設定（Ｓ１）、新規撮影画像入力（Ｓ２）、ライン監視処理（Ｓ３）、優先区画決定処理（Ｓ４）と、侵入物体判定処理（Ｓ５）と、侵入物体検知画像記録（Ｓ６）からなる。尚、図２１に侵入物体検出装置のハードウェア構成図の一例を示す。

監視ライン設定（Ｓ１）は、利用者がディスプレイなどの出力装置１４で、マウス、タブレット等の入力インターフェース１１を用いて画像上の必要な位置と傾きに線分領域を任意に設定するものである。出力装置１４には、監視画像が表示されているものとする。監視ラインの設定は、出力装置１４上で、線分の始点と終点をマウス等で指定する、または、マウス等でドラッグして線分を引くことにより設定される。主記憶装置１３は、指定された線分領域に対応する部分の監視画像上のアドレスを監視ラインとしてに記憶する。

本発明は、監視ライン上を侵入物体が通過することにより、当該侵入物体を検出するものである。そのため、監視ラインは、侵入物体の立ち入りや通過が禁止されている、または、制限されている箇所に、侵入物体が通過するような位置と傾きで設定する必要がある。そのためには、監視ラインの設定は、特定の位置や傾きにおいてのみ設定が可能であるのではなく、任意の位置と傾きで設定が可能であることが望ましい。本発明では、必要に応じた位置と傾きで監視画像上に監視ラインを設定することができるものとしているので、侵入物体の通過を捉えるために必要な位置と傾きで設定することができる。尚、監視ラインの設定数は特に限られるものではなく、一つの監視画像に対して必要な本数分を設定することができる。

監視ラインは、監視画像上に入力インターフェース１１を用いて設定するものであるが、例えば、侵入物体が通過する可能性の高い通路に設定したり、侵入禁止区域を囲むように複数設定することが効果的である。監視対象物が人物である場合には、立ち入り禁止区域や立ち入り制限区域に監視ラインを設定することが効果的である。具体的には、立ち入り禁止区域に通じる通路に設定することで侵入者を未然に検出することができる。また、監視ラインを立ち入り禁止区域を囲むように複数設定することで当該区域への侵入者を検出することができる。なお、監視対象は人物に限られるものではなく、車両、動物などであってもよい。例えば、監視対象が車両であれば、車両通過禁止区域に監視ラインを設定することで、車両の通過の検出を行うことができ、また、監視対象が動物であれば、動物園における動物の行動監視などにも用いることができるものである。

図５に監視ラインの設定の一例を示す。本実施形態では、例えば、電力会社内の充電部への人物の接近監視や侵入禁止領域での侵入監視を行うものとし、電力会社内の充電部への人物の接近を監視する監視画像から、侵入者の検出を行うものとしている。電力会社構内にある充電部は、人物が不用意に接近することは危険であるので立ち入り制限がされている場所である。このような場合は、電気所構内の充電部を囲むように監視ラインを設定することにより、人物の充電部への接近を検出することができ、事故を未然に防ぐことが可能となる。尚、本実施形態では、屋外での監視を行っているが、監視場所は屋外に限られるものではなく、屋内での監視も可能である。例えば、電気所構内の充電部を囲むように３本の監視ラインを設定することができる。このように、人物の立ち入りが制限されている場所を囲むように、任意の位置と傾きで監視ラインを設定することができることとしている。

新規撮影画像入力（Ｓ２）は、監視カメラにより撮影された監視画像（例えば、７２０×４８０画素）をＴＶレート(３０画像/秒)で、取得するものとする。尚、撮像手段は監視カメラに限定されるものではなくビデオカメラ等の撮像装置であってもよい。また、撮像手段は、本装置とは別途設置されていてもよく、例えば、撮影画像はインターネット網等を通じて取得するようにしても良い。また、フレームレート数もＴＶレートに限るものではない。尚、撮影画像はカラー画像であっても、グレースケール画像であっても良い。また、解像度も上記の解像度に限定されるものではない。

ライン監視処理（Ｓ３）は、監視ライン毎に時空間画像を作成するものとする。図２に時空間画像の一例を示す。時空間画像２とは、監視画像１上に設定された監視ライン３上のすべての画素を撮影フレーム（１からｎ番目まで）順に並べて作成する画像をいう。ここで、ｎは監視画像のフレーム数を示している。時空間画像は、更新されるものであり、ｎフレーム分の監視画像を取得したら、その後は常に更新されていくものである。尚、ｎはパラメータであり任意に設定することができる。尚、フレーム数とフレームレート数から記録時間ｔ（撮影時間）も求めることができる。

図３及び図４に、人物が通過した監視画像上のある画素値における輝度値の変化を計測した結果を示す。図４は、図３で示す監視画像内の×点部分８の輝度値（約６００フレーム分）の時系列変化を示したものである。図４は、約４００〜５００フレームにかけて人物が通過する様子を示している。人物が通過するときに輝度値が大きく変化する（４００〜５００フレームにかけての標準偏差１１．４）が、その他のフレームでは平均輝度値を前後しながら微小な変化（１００画像分の輝度値の標準偏差１．４）であることがわかった。×点部分８には、通常、アスファルトが撮影されている。同一の背景が撮影されている間は、画素の輝度値もほとんど変化しないが、侵入物体（人物）が×点部分を通過する地点で、大きな輝度値の変化が捉えられた。これにより、ある画素における輝度値のフレームごとの時系列変化を捉えることで、侵入物体の検出に用いることができることがわかった。

以上より、監視ライン上における画素の輝度値の時系列変化は、侵入物体が通過をしたときに大きな変化を示すことがわかった（図３及び図４）。即ち、撮影画像に設けられた監視ライン上の各画素の輝度値が一定時間の時系列変化が大きく変化した画素を抽出することにより、侵入物体の検出を行うことができることとなる。本実施形態では、画素の輝度値の時系列変化を捉えるため、監視画像上の画素の輝度値が予め設定した閾値以上となる画素を検出するようにしている。尚、本実施形態では、時系列変化を捉える基準として、画素の輝度値を基準としているが、各画素の色彩情報を基準として予め設定した閾値以上となる画素を抽出しても良い。

監視ライン上において、輝度値が大きく変化した画素（以下、変化点という）を抽出するようにしている。本実施形態においては、変化点を抽出するために、標準偏差を用いたシグマバンドを用いている。具体的には、時空間画像に新規に追加された監視画像の監視ラインの各画素位置の輝度値と１フレーム前までの各画素位置で求めた輝度値の平均値との差が、１フレーム前までの各画素位置での輝度値の平均値に対して求めた標準偏差の予め設定した閾値倍以内に収まるかで否かで変化点の抽出を行うものとしている。これにより、新規に追加された監視画像の監視ラインの各画素位置の輝度値が、同一の画素位置での輝度値に対して、どれくらいの変化をしているかを判断し、大きな変化をしたものを捉えることとしている。

なお、標準偏差に対して設定する閾値は任意に設定することが可能であり、侵入物体、背景変化に応じて適宜設定することができる。例えば、閾値を低く設定しておけば、より微小な輝度値の変化を検出することができるので、ノイズの少ない屋内での監視の場合等には有効である。また、検出する侵入物体に応じて最も効果的に検出可能な閾値を予め実験等により求めておくことで、ノイズの誤検出を減らすことができる。尚、本実施形態では、シグマバンドを用いて変化点の抽出を行っているが、変化点の抽出は、これに限られるものではない。例えば、輝度値平均から予め設定した閾値以上離れた輝度値を示した画素を変化点として抽出しても良い。尚、閾値の設定は必ずしも必要なものでなく、閾値の設定をせずに、標準偏差（１σ）を超えた画素を抽出するようにしても良い。

また、本実施形態においては、変化点を複数フレームに渡って検出した場合（以下、基準とするフレーム数を変化判定画像数とする）にのみ、その連続した変化点を変化パスとして抽出することとしている。変化点は、侵入物体の通過だけでなく、ノイズ（ブラックノイズ、太陽光の変化、陽炎、カメラ前での虫や鳥の通過など）による単発的な輝度値の変化によっても起こりうる。このため、変化判定画像数以上に渡って変化点を検出した場合のみ変化パスとして抽出することで、単発的な輝度値の変化を除くこととしている。これにより、ノイズの除去を行うこととしている。尚、変化判定画像数は任意に設定可能なパラメータであるので、撮影環境、監視対象物に応じて任意に設定することができる。

また、複数フレームに渡り連続する変化点を変化パスとして抽出することとしているが、侵入物体の通過により変化点が連続して捉えられている場合でも、ノイズの発生により逆に変化点として検出されない範囲の輝度値を示してしまうことで、変化点として抽出されず変化点の連続が途切れてしまう場合がある。この場合、変化パスとして抽出されない場合も起こりうるので、監視ライン上の変化点を周辺の画素に拡張しておく処理を行っている。例えば、本実施形態では、監視ライン上で変化点として検出された画素位置の監視ライン上の両隣に位置する画素も変化点として記録しておく処理をしている。このように、変化点の拡張処理をしておくことで、変化点の連続が途切れて、変化パスとして検出されなくなることを防いでいる。尚、拡張範囲は、任意に設定することができるものであり、両隣の画素に限られるものではない。本拡張処理は、必ずしも必要な処理ではない。例えば、ノイズの発生が少ないと考えられる場合などにおいては、省略してもよい。

なお、時空間画像の更新は、ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ（以下、ＦＩＦＯという）を用いておこなうこととしている。時空間画像の作成フレーム数ｎは、予め任意に設定することができる。例えば、６０画像にすれば、６０フレーム（２秒間）に渡る時空間画像を記録しておくことができる。時空間画像の更新は、具体的には、最新の撮影画像の監視ライン上の画素を時空間画像の最下位行に追加し、最上位行（最も前の撮影画像）を削除する処理を行うものである。これにより、常に最新フレームについてデータ処理を行い、一定時間経過後のフレームを削除することとしているので、複数フレームを同時に処理する方式に比べて、データ処理量を減らすことができる。尚、時空間画像の更新方式はＦＩＦＯに限られるものではなく、例えば、複数フレームを同時に追加、削除を行っても良い。

次に、図６に時空間画像における侵入物体と静止物体の変化点を記録し、線分として示したもの（以下、変化点記録ラインという）を示す。監視画像１上の監視ライン３から作成した時空間画像２を示している。尚、４ａは侵入物体の変化点記録ライン、変化５は静止物体の変化点記録ラインを示している。例えば、変化点記録ライン４ａは、侵入物体６が矢印の方向に進んだ場合の変化点記録ラインを表している。侵入物体６が、監視ライン上を通過することに伴って、変化点も監視ライン上を移動をするが、時空間画像は絶えず更新されていくので、変化点の連続を捉えた変化点記録ラインは線分４ａのような傾きを持つ線分を描くこととなる。尚、監視ライン３は、実際は線分領域であるが、理解を容易にするために、図６及び図７においては、一定の幅を持たせた記載としている。

また、監視ライン３上において侵入物体が通過していない部分は、撮影時間に渡って、同じ背景や建物などの静止物体が撮影されているので、画素の輝度値の変化は微小である。本来であれば、静止物体の画素値はほとんど変化しないので変化点としては、抽出されないが、ここでは、理解を容易にするために静止物体の画素値を抽出し、時空間画像上で侵入物体と同様に静止物体の変化点記録ライン５を示すと、時系列方向に平行に近似した垂線を描くこととなる。即ち、時空間画像上では、侵入物体は傾きを持つ線分を描き、静止物体は垂線を描くことがわかる。

また、図７に時空間画像における２つの侵入物体の変化点記録ラインの一例を示す。侵入物体の変化点記録ライン４ｂは、記録時間ｔに渡り監視ラインを通過したことを示す。また、侵入物体の変化点記録ライン４ｃは、記録時間ｔの約１／２分の時間で監視ラインを通過したことを示している。即ち、移動速度が速い侵入物体は、監視ライン上を短い時間で通過するので、侵入物体４ｃの方が侵入物体４ｂよりも移動速度が速いことが推定される。ここで、本実施形態では、変化点が変化判定画像数ｃ（例えばｃ＝４）以上に渡って記録された場合に変化パスとして抽出することとしている。変化パス７ｂと変化パス７ｃに着目すると、変化パス７ｂは、変化点記録ライン４ｂの４画像分の線分であり、変化パス７ｃは、変化点記録ライン４ｃの４画像分の線分である。ここで、監視ラインと、変化パスとの間の角度に注目すると、変化パス７ｃの方が変化パス７ｂより傾きが大きい（監視ラインと、変化パスとの間の角度が小さい）ことがわかる。侵入物体の変化パスは、移動速度が速いほど、変化パスの傾きは大きくなり（監視ラインと、変化パスとの間の角度が小さくなる）、逆に、移動速度が遅い侵入物体の変化パスは傾きが小さくなる（監視ラインと、変化パスとの間の角度が大きくなる）こととなる。本発明は、これを利用して、時空間画像内での変化パスの傾きの大きさから侵入物体の移動速度を推定することとしている。本実施形態では、監視ライン上の各画素位置で、監視ラインと変化パスとの間の角度に比例する変数を求め、これを記憶装置等に記録することとしている。

また、侵入物体が監視ラインに対し、垂直に通過した場合は、変化パスは垂線を描くので、検出できない場合も考え得るが、現実には侵入物体は、一定の幅を持つ物体であるので監視ラインに対してまったくの垂直に通過する（数フレーム間に渡って垂直である）ことは起こりにくい。また、本発明では、このような事態を避けるよう、監視ラインの設定をすることができることとしている。例えば、２本の監視ラインを傾きを変えて並べて設定しておけば、垂直に通過する物体もどちらかの監視ラインで検出可能である。更に、上記述べているデータ処理は、すべて撮影画像の１フレーム分での処理であり、現実には、撮影フレーム分処理が繰り返されるものである。このため、あるフレームにおいて、たまたま侵入物体が監視ラインに対し垂直に移動し、監視ラインと変化パスとの間の角度が大きくなって移動速度を遅いものと検出したとする。この場合、侵入物体の移動速度がどんなに速くても、侵入物体が通過するまでには、数フレームに渡って撮影されるものである。これを考慮すれば、１フレームの処理において検出を失敗しても、侵入物体の通過中のいずれかのフレームで検出処理が可能であれば、監視装置としての役割を果たすことができることとなる。

また、侵入物体は、一定の幅を持つ物体であるので、侵入物体が監視ラインを通過する際に検出される変化点は、通常、監視ライン上の複数の画素に連続して検出されることとなる。即ち、検出された変化点のすべてについて変化パスを求めても、隣接する画素であれば同一の物体を検出していることとなるので、本実施形態においては、変化点の連続する時空間画像上の画素の０行地点での中点と、ｃ行（ｃ＝変化判定画像数）地点での中点を繋いで変化パスとして抽出することとしている。これにより、一の侵入物体につき一の変化パスを抽出することとしている。

優先区画決定処理（Ｓ４）は、監視画像を少なくとも一以上の区画に予め分割し、分割された区画に対して、侵入物体判定処理（Ｓ５）を行うための優先順位を設定するためのものである。監視ライン上で変化パスが検出できた全画素に対して侵入物体判定処理を行うとデータ処理量が大きくなり、迅速な処理ができない。そこで、監視画像を少なくとも一以上の区画に分割し、当該区画に優先順位を設定して、その優先順位の高い区画から順番に侵入物体判定処理をおこなうことで、監視画像全体に侵入物判定処理をすることなく、侵入物体の検出を行うこととしている。これにより監視画像全体をデータ処理する方式に比べ、データ処理量を減らすことができ、実時間処理を可能にしている。

尚、監視画像の分割は予め設定しておくものとする。監視画像の分割は、例えば、監視画像をｍ画素単位の、ｐ×ｑ個の区画に分割するものである。例えば、画像全体が１００×１００画素の場合は、ｐ＝１０、ｑ＝１０と設定すれば、１００画素単位に１００区画に分類するものである。尚、区画は、出力装置１４等でｐ、ｑを指定し、監視画像の区画を主記憶装置１３に記憶させることによって設定する。尚、区画の設定方法は、これに限られるものではない。例えば、分割する区画数を入力することにより、区画の設定を行っても良い。

本実施形態では、優先順位の設定は、移動速度の速い侵入物体を見逃さないようにするため、分割された各区画内に速い侵入物体が含まれる順に優先順位を決定するものとしている。移動速度が速い侵入物体が、監視対象としている侵入物体である可能性が高いと考えられるので、より効果的に監視を行うことができるからである。移動速度が速い侵入物体の時空間画像内での変化パスは、傾きが大きくなるので、傾きの大きな変化パスを含む区画の順番にしたがって優先順位を決定するものとしている。

前記ライン監視処理（Ｓ３）により求めた監視ラインと変化パスとの間の角度に比例する変数に、後述する侵入物体判定処理で設定される重み係数（一つ前のフレームでの侵入物体判定処理の結果により定まる係数）をかけて監視ライン上の各画素に対する重み値を求めることとしている。次に、区画内で最大となる画素の重み値を、その区画の区画値として設定し、区画値の大きい順に区画に優先順位を設定するものとしている。尚、監視画像全体を分割した区画のうち、データ処理の対象とするのは、監視ラインを含んでいる区画のみである。具体的には、監視ライン設定（Ｓ１）で記憶された、線分領域（監視ライン）の画素のアドレスを、一つでも含んでいる区画を抽出して、さらに、そのうちで移動速度が速い侵入物体を含む区画に対して、移動速度の速い順番に優先順位を設定し、優先順位に従って、侵入物体判定処理を行うものとしている。優先順位は、例えば、侵入物体の移動速度が速い順に１，２，３…と順番に区画に優先順位をつけてもよいが、優先順位の付与方法は、これに限られるものではない。尚、優先順位に対して、実際に侵入物体判定処理を行うための閾値を設定することも可能である。例えば、閾値を３とした場合、優先順位が３までの３つの区画に対し、次の侵入物体判定処理を行うこととする。閾値を１とし、撮影画像の１フレーム分の処理において最大の区画値を示した区画についてだけ侵入物体判定処理を行うこともできる。尚、優先順位を設定せずに、監視ライン上で変化パスを検出した、すべての画素において侵入物体判定処理を行うようにしても良い。

監視ラインを含む区画に限定してデータ処理を行っているので、画像全体をデータ処理を行う必要がなくデータ処理量を減らすことができる。さらに、優先順位が設定された区画についてだけ、侵入物体判定処理を行うこととしているので、データ処理量を大幅に減らすことができる。尚、変化パスが検出されたすべての画素について侵入物体判定処理を行っても良い。また、予め監視画像全体を区画に分割しているのは、区画が重複して、同一の画素に対するデータ処理の重複を避けることができるという理由によるものである。したがって、重複部分の画素のデータ処理を除く処理を行う、又は重複部分のデータ処理を複数回行うようにすれば、撮影画像のうち監視ライン近辺のみを区画に分割して、その区画を優先区画として設定するようにしても良い。

侵入物体判定処理（Ｓ５）は、優先区画決定処理（Ｓ４）において設定された優先順位に従って、区画と侵入物体テンプレートをテンプレートマッチングにより判定する処理を行う。侵入物体判定処理の結果、区画内に侵入物体がいないと判定した場合と、侵入物体が存在すると判断した場合により、重み係数に異なる値を設定することとしている。重み係数は、次フレームの画像処理において、変化パスの傾きに比例する変数を求める際に用いられ、変数の値を更新する。これにより、優先順位を決定する重み値が更新されるので、結果として、区画の優先順位が更新されるものである。

本実施例では、予めサポートベクタマシンに学習用データとして記憶させた侵入物体の画像を判定処理に用いることとしている。これにより、精度の高い侵入物体判定処理を行うことを可能としている。尚、侵入物体の画像に加えて、侵入物体以外の画像（背景画像等）も学習用データとして同様に記憶させることにより、判定結果の精度を上げることができる。具体的には、侵入物体画像と侵入物体以外の２種類の画像集合を、例えば、Ｈａａｒウェブレット方式で変換した画像を用いてサポートベクタマシンで侵入物体テンプレートを事前に作成しておくことによる。尚、Ｈａａｒウェブレットとは、最も単純なウェブレット関数の一つである。尚、侵入物体テンプレートは、サポートベクタマシンで作成されたテンプレートに限られるものではなく、既存のテンプレートを予め計算機の記憶装置等に記憶させておく、または、本装置とは別途、外部の記憶装置に記憶させておいても良い。

また、本実施形態では、テンプレートマッチングに際し、人物画像と人物以外の画像（人物が撮影されていない監視画像の背景画像から任意に採取した画像）の２種類の画像集合を準備することとしているが、人物以外の画像は、必ずしも必要ではなく、人物画像のテンプレートがあれば判定可能である。人物以外の画像を予めサポートベクタマシンに記憶させておくことにより判定精度を上げることができる。また、車両の監視を行う際には、人物画像に代えて車両の画像を、動物の監視を行う際には、動物の画像を用意することにより、同様にテンプレートマッチングを行うものである。

また、マッチング方式は例えば、監視カメラで撮影した画像から、侵入物体テンプレートとの比較により人物を検出する方法（非特許文献１参照）を用いることととしているが、これに限定されるものではない。例えば、面積相関法などの他のテンプレートマッチング手法を用いても良い。

侵入物体検知画像記録（Ｓ６）は、監視画像のうち、侵入物体が検出された画像を記憶するものである。尚、監視画像は、侵入物体の検出の有無にかかわらず、撮影中継続して記録しても良い。また、一定時間ごとに、監視画像の記憶領域を更新しながら、監視画像の記録をおこなってもよい。尚、侵入物体検知画像の記録は、侵入物体の記録を残すためのものであるので、実時間処理が可能な本発明においては、侵入物体の検出と同時に警報を出すことができるので、必ずしも画像の記録は必要ではない。また、画像を記録する際も、本装置により行う必要はなく、例えば、インターネット網を通じて他のハードウェアで記録し、通報をおこなうようにしてもよい。

本発明は、実時間処理(約３０画像/秒)が可能で、既存のソフトウェアによる人物検知に比べ高速な方式を実現している。そのため、充電部接近監視などの監視処理速度が要求される場面に活用できると考えられる。また、ソフトウェアで実現しているため、既存の画像監視システムに導入が容易である。例えば、現在、発電所１箇所あたり約３０台以上の監視カメラが設置されている。今後は、さらにインターネット網を利用した監視カメラが増えると考えられるが、それらのカメラ全てに充電部接近判定用の安全監視装置を専用に準備することはコストがかかりすぎるため、実施は困難である。この点、本発明では、既設の監視カメラに接続している既存のハードウェアを用いて、ソフトウェアにより実現可能としているので、新たな設備投資の投資を行うことなく、実時間処理を可能とする監視を実現している。

さらに、本発明によれば、画素の値の変化から画像内の一部を侵入物体領域候補を抽出し、その侵入物体領域候補内で侵入物体テンプレートとの照合を行う方式としている。また、撮影画像内に監視ラインを設定することで、侵入物体の検出前における画像処理範囲を監視ライン上に限定している。このため、画像全体を処理する従来の方式に比べてデータ処理量を減らすことができる。したがって、データ処理時間を短縮することができ、侵入物体を検出すると同時に警報等を発することができるようになる。

以上に説明した侵入物体検出方法は、例えば周知のコンピュータを用いて、侵入物体検出装置として装置化できる。例えば図２１に侵入物体検出装置１０を示す。監視画像が撮影された映像が入力される入力インターフェース１１と、原画像やテンプレート画像等のデータが記録される外部記憶装置１２としてのハードディスクと、一時的な作業データ等が記録される主記憶装置１３としてのＲＡＭと、異常が検出された画像等が出力される出力装置１４と、中央処理演算装置（ＣＰＵ）１５等を備えている。上記のハードウェア資源は例えばバス１６を通じて電気的に接続されている。入力インターフェース１１は、例えば監視カメラから入力される又は映像が記録されたＤＶＤ等の媒体から読み込まれる信号をコンピュータでの処理が可能なデータに変換する機能や、映像を構成する各フレームをそれぞれ画像データとして外部記憶装置１２に記録する機能を有する。このような入力インターフェース１１として、例えば既存のＮＴＳＣ−ＲＧＢコンバータやフレームグラバまたはパーソナルコンピュータ用画像取り込みボード等を利用して良い。出力装置１４は、例えばディスプレイであり、異常が検出された画像やユーザインターフェース画面などが表示される。また、外部記憶装置１２には本発明の侵入物体検出プログラムが記録されており、当該プログラムがＣＰＵ１５に読み込まれ実行されることによって、コンピュータが侵入物体検出装置１０として機能する。

次に、本実施形態の侵入物体検出プログラムによって、侵入物体検出装置１０が人物の侵入を監視する場合に実行する処理の一例を、図２２から図２９までに示すフローチャートに沿って説明する。図２２に侵入物体検出装置１０が実行する処理の概要フローチャートを示す。まず、監視カメラから撮影画像を取り込みを行う（Ｓ１０１）。次に、監視ラインの設定を行う（Ｓ１０２）。尚、［ｎｏ］は、監視ラインを示すプログラム上の変数である。監視ライン［ｎｏ］は複数設定することができるので、設定した監視ライン数分、以下の処理（Ｓ１０４からＳ１０８）の処理を繰り返す（Ｓ１０３）。尚、Ｓ１０３にある、「ｎｏ＝１，監視ライン数，１」の記載は、一本目の監視ライン［ｎｏ］から、設定する監視ライン数まで、ｎｏに１ずつ加えながら（以下、インクリメントという）、ループ処理を行うことを示している。（「ａ,ｂ,ｃ」の記載は、ａにｃずつ加えながらｂまで処理をループさせることを意味している。以下、同様とする。）次に、監視ラインでの各画素位置で輝度値の標準偏差を算出し（Ｓ１０４）、監視ラインの時空間画像の更新と変化点の検出し（Ｓ１０５）、監視ラインの時空間画像内での変化点の拡張（Ｓ１０６）処理を行う。そして、指定フレーム数（変化判定画像数）に渡る変化があれば（Ｓ１０７；Ｙｅｓ）、時空間画像内での変化の長さ（傾き）の検出を行い（Ｓ１０８）、変化がなければ（Ｓ１０７；Ｎｏ）時空間画像内での変化の長さ（傾き）の検出処理は行わない。そして、全監視ラインから変化が重み値が最大である画素を含む区画を選択し（Ｓ１０９）、人体テンプレートとのマッチングを行い、人物判定を行うこととしている（Ｓ１１０）。人物判定結果により重み係数を更新するようにしている（Ｓ１１１）。人物判定結果について結果の出力（Ｓ１１２）を行う。人物を検出した場合は、検出結果の出力と同時に警報を発する処理を行うこととしている。尚、上記の処理は、監視画像のすべてのフレームについて実行されるものであるので、監視画像を撮影している間に渡って実行されるものである。監視画像が終了した場合に、本処理は終了する。

図２３に、監視ラインの設定処理（Ｓ１０２）を詳細化したフローチャートを示す。侵入物体検出装置１０は、出力装置１４上で指定された始点と終点の画像上のアドレスを記憶し（Ｓ１０２−２）、始点と終点の指定により確定する線分領域の画像上のすべてのアドレスを主記憶装置に記憶する（Ｓ１０２−３）。以上の処理（Ｓ１０２−２からＳ１０２−３まで）を設定する監視ライン数分繰り返す（Ｓ１０２−１）。以上で監視ライン設定処理を終了する。

監視ライン設定処理の終了後、ライン監視処理を行なう（Ｓ１０３からＳ１０８まで）。図２４にライン監視処理を詳細化したフローチャートのうち、平均値、標準偏差の算出処理を示すフローチャートを示す。この処理では、先ず、平均値カウンタａを０にセットする（Ｓ１０４−２）。そして、水平画素位置ｘでの輝度値を平均値カウンタａに加える処理（Ｓ１０４−４）を、記録時間ｔ（垂直画素方向）分繰り返す（Ｓ１０４−３）。その結果得た、平均値カウンタａを記録時間ｔで割って、水平画素位置ｘでの平均輝度を算出している（Ｓ１０４−５）。次に、標準偏差カウンタｓに０をセットする（Ｓ１０４−６）。各画素位置での輝度値と平均値との差を二乗した値を標準偏差カウンタｓに加えていく処理（Ｓ１０４−８）を記録時間ｔ分繰り返す（１０４−７）。その結果得られた、標準偏差カウンタｓをデータ数（ｔ−１）で割り平方根をとって標準偏差を算出している処理（Ｓ１０４−９）をしている。なお、上記の処理（Ｓ１０４−２からＳ１０４−９まで）を、監視ライン上のすべての画素位置で標準偏差を求める処理を繰り返す（Ｓ１０４−１）。以上でライン監視処理のうち平均値、標準偏差の算出処理を終了する。

図２５にライン監視処理を詳細化したフローチャートのうち、時空間画像の更新処理（Ｓ１０５）を示すフローチャートを示す。この処理では、最新の撮影画像を取得して、時空間画像上で最も時間が経過した画像を削除する処理（ＦＩＦＯ）を行うものである。まず、監視ラインの水平画素位置ｘの輝度値を、時空間画像の垂直画素方向に対し−１行に設定する（Ｓ１０５−２）。そして、新規追加分の輝度値と、各画素平均との標準偏差とのずれがの予め設定された閾値であるα倍以内であれば（Ｓ１０５−３；Ｙｅｓ）、記録用画像ＤＩＦの各画素に対応するフラグ領域に０を代入する（Ｓ１０５−４）。以下、フラグ領域とはデータ構造のうちフラグデータを格納する領域をいうものとする。α倍を超えれば（Ｓ１０５−３；Ｎｏ）、記録用画像ＤＩＦの各画素に対応するフラグ領域に１を代入し（Ｓ１０５−５）、変化点としている。なお、上記の処理（Ｓ１０５−２からＳ１０５−５まで）を、監視ラインの各画素位置で繰り返す（Ｓ１０５−１）。次に、時空間画像を垂直画素方向に対して上に１行シフトさせる処理（Ｓ１０５−７）を、時空間画像の全ての画素で繰り返す（Ｓ１０５−６）。以上で時空間画像の更新処理を終了する。

本実施形態の監視ラインの時空間画像内での変化点の拡張処理では、記録用画像ＤＩＦの線分をｘ座標に対し１座標分ずつ加算して線分を拡張し、これを作業用配列ＢＷとして新たに記録している。さらに、作業用配列ＢＷ内の任意の指定時間（変化判定画像数ｃ）に渡って連続的に変化する部分（作業用配列ＢＷのフラグ領域が連続して１である部分）を検出する。具体的には、作業用配列ＢＷの０行からｃ行まで作業用配列ＢＷのフラグ領域が１である部分が連続して検出できるかどうかを判断する。ｃ行に渡る変化点の連続を変化パスとして検出し、変化パスが検出された場合に示す時空間画像内での傾き検出処理を行うものとしている。

図２６にライン監視処理を詳細化したフローチャートのうち、監視ラインの時空間画像内での変化点の拡張処理（Ｓ１０６）を示すフローチャートを示す。この処理では、まず作業用配列ＢＷのフラグ領域を、初期化する（Ｓ１０６−１）。次に、記録用画像ＤＩＦのフラグ領域が１であれば（Ｓ１０６−４；Ｙｅｓ）、時空間画像内の変化点の領域の拡張を行う（Ｓ１０６−５）。なお、上記（Ｓ１０６−４からＳ１０６−５まで）の処理を、時空間画像のすべての画素で繰り返す（Ｓ１０６−２、Ｓ１０６−３）。以上で監視ラインの時空間画像内での変化点の拡張処理を終了する。

図２７にライン監視処理を詳細化したフローチャートのうち、変化判定画像数ｃに渡る変化を判定する処理（Ｓ１０７）を示すフローチャートを示す。時空間画像内に０行目から変化判定画像数ｃまで連続した変化があるかどうか判定し（Ｓ１０７−１からＳ１０７−２まで）、変化判定画像数ｃ行間に渡り変化が続いた部分があれば（Ｓ１０７−４；Ｙｅｓ）、処理Ａ（図２８）へ、変化判定画像数ｃ行間に渡る変化が続いた部分がなければ（Ｓ１０７−４；Ｎｏ）、処理Ｂ（図２８）へ進むものとする。この操作を監視ライン上のすべての画素で繰り返す処理（Ｓ１０７−３）を行う。以上で、変化判定画像数ｃに渡る変化を判定する処理を終了する。

図２８にライン監視処理を詳細化したフローチャートのうち、時空間画像内での傾き検出処理（Ｓ１０８）を示すフローチャートを示す。この処理では、時空間画像内に０行目から変化判定画像数ｃまで連続した変化を変化パスとして検出する（Ｓ１０８−１）。次に、変化パスの本数を数える処理（Ｓ１０８−２）をし、変化パスに通し番号を付与する（Ｓ１０８−３）。次に、番号が付与されたパスの０行での中点と、ｔ行での中点を求める（Ｓ１０８−４、Ｓ１０８−５）。さらに、番号を付与された変化パスの長さを計算する処理（Ｓ１０８−６）をし、パスの長さを計測する処理（Ｓ１０８−７）をおこなうものである。以上で、時空間画像内での傾き検出処理を終了する。

図２９に優先区画決定処理（Ｓ１０９）、人物判定処理（Ｓ１１０）、重み更新処理（Ｓ１１１）のフローチャートを示す。ｘに監視ラインの画素の監視画像内でのｘ座標、ｙに監視ラインの画素の監視画像内でのｙ座標を代入し（Ｓ１０９−２）、各画素位置で変化パスの長さが最大値を示す画素を設定する処理（Ｓ１０９−３）を行う。上記処理（Ｓ１０９−２からＳ１０９−３まで）を監視ラインの全画素で処理をループさせる（Ｓ１０９−１）。次に、重み値が０以上であり（Ｓ１０９−５；Ｙｅｓ）、変化パスの長さが０であれば（Ｓ１０９−６；Ｙｅｓ）、重み値ωからパラメータγを引いた値を重み値ωとする（ただし、最小値は０としている。）処理（Ｓ１０９−７）を行う。変化パスの長さが０でなければ（Ｓ１０９−６；Ｎｏ）、重み値ωを重み係数βに変化パスの長さを乗じた値を代入する（ただし、ωの最大値は２としている。）処理（Ｓ１０９−７）を行う。上記の処理（Ｓ１０９−５からＳ１０９−９まで）を繰り返す処理（Ｓ１０９−４）を行う。さらに、重み係数βの値を初期化し（Ｓ１０９−１０から１０９−１１まで）、重み値ωが最大となる監視画像上の座標を検出する（Ｓ１０９−１２）。その座標を含む区画と人物テンプレート画像とのテンプレートマッチングを行う（Ｓ１１０）。その結果、人物であれば重み係数βに１．０を、人物以外であれば重み係数βに０．５を代入して（Ｓ１１１−１、Ｓ−１１１−２）重み係数を更新することとしている。本実施形態の侵入物体検出プログラムにより侵入物体検出装置１０が実行する監視画像１フレーム分の処理は以上で終了となり、次のフレームの処理へ移る。また、人物を判定した場合には、判定結果について結果の出力（Ｓ１１２）を行い、検出結果の出力と同時に警報を発する処理を行うこととしている。

本発明は、実時間処理(約３０画像/秒)が可能で、既存のソフトウェアによる人物検知に比べ高速な方式となっている。そのため、充電部接近監視などの監視処理速度が要求される場面に活用できると考えられる。また、ソフトウェアで実現しているため、既存の画像監視システムに導入が容易である。

また、監視領域を監視ライン上に限定することで、画像のデータ処理範囲を限定し、処理の高速化を実現している。さらに、特にデータ処理量が多くなり時間のかかる侵入物体判定処理においても、はじめに侵入物体が存在する可能性が高い区画を絞り込んだうえで、可能性が高い区画のみにパターン認識を行うことで、データ処理量を減らしている。このように、データ処理量を減らすことで処理の高速化を実現し、実時間処理を可能としている。

なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、上述の実施形態ではカラー画像を原画像として各処理を行なったが、グレースケール画像を原画像として各処理を行なっても良い。また、閾値などの各パラメータ、例えば標準偏差の閾値などは、撮影条件などに合わせて適宜調節してよい。また、例えば、監視ラインを通過して検出された侵入物体の数をカウントして外部記憶装置１２に記憶させておいても良い。これにより、侵入物体の検出数の記録を残すことも可能である。

（実施例）
変化点の抽出には、標準偏差を用いたシグマバンドを用いた。まず、監視ライン上の各画素の輝度値について、時空間画像の高さに対する平均値と標準偏差の値を求めた（数式１）。次に、新規撮影画像を用い時空間画像を更新する際に時空間画像の下位行に新規追加する画素の輝度値が、平均からどの程度ずれているかを、上記求めた標準偏差σを用いたシグマバンドにより判定した（数式２）。

ここでｋはｋ番目の新規入力画像を示し、Ｍ_ｉ ^ｋ−１とＩ_ｉ ^ｋは、１画像前までのｎ画像分の輝度値の平均値と標準偏差を示す。各画素ｉの新規入力値と１画像前までの平均値との差が標準偏差の一定倍率α以内に収まるかどうかで判定をした。標準偏差の一定倍率α倍以上である場合にパラメータに１を、そうでなければパラメータに０を入れるものとした。尚、本実施例では、α＝４とした。これにより、標準偏差の４倍の範囲のシグマバンドを超えた輝度値を示した画素を変化点として抽出した。

次に、パラメータが１である画素を変化点として検出し、変化点が変化判定画像数以上連続して検出された場合、即ち、変化点の連続部分（変化パス）を検出した場合に監視ラインに進入物体が現れたものと判断することとした。尚、本実施例では、毎秒約７．５画像以上の処理速度で人物検知ができるように変化判定画像数を４画像（ｃ＝４）に設定した。これにより、ノイズの除去が可能であることがわかった。

次に、侵入物体の移動速度に比例する変数λ_ｉ ^ｋは、以下の方法により求めた。図８に時空間画像の一例を示す。時空間画像で侵入物体が作り出す変化パスの傾き角をθ_ｉとし、侵入物体の移動速度を時空間画像を使い以下のように計測した。監視ラインの各画素ｉでの時空間画像内での線分の傾きθ_ｉに比例する変数λ_ｉ ^ｋとし、以下の式により求めた。尚、ｃは変化判定画像数、ｃ’は変化判定画像数ｃ画像内での移動軌跡長(≧c)である。β_ｉ ^ｋ−１は、１フレーム前の侵入物体判定処理で決定された重み係数であり、侵入物体を検出した場合と、検出しなかった場合で、それぞれ異なる重み係数を設定する。重み係数は侵入物体判定処理で決定されるものである。

次に、監視ライン上の各画素に対する重み値ω_ｉ ^ｋは、数式４により求めた。尚、λ_ｉ ^ｋ監視ラインの各画素ｉでの時空間画像内での線分の傾きθ_ｉに比例する変数である。また、重み係数βは侵入物体判定処理の判定結果により決定された重み係数であり、侵入物体を検出した場合と、検出しなかった場合で、それぞれ異なる重み係数を設定した。（本実施例においては、人物と判断したときは１．０、人物でないと判断したときには０．５を設定し、重み値ω_ｉ ^ｋの上限値は２．０とした。）

＜数４＞
ω_ｉ ^ｋ＝ｍｉｎ（λ_ｉ ^ｋ，２．０)

ただし、数式４を用いて、重み値ω_ｉ ^ｋを求めるのはλ_ｉ ^ｋ≠０（変化パスの長さが０でない）の場合に限られるものとした。λ_ｉ ^ｋ＝０（変化パスの長さが０）である画素値は、変化パスが検出できていないが、侵入物体がその場に立ち止まった等の理由が考えられる。そのため、数式５により求めるものとした。（本実施例においては、ω_ｉ ^ｋの最小値は０とし、演算結果が０以下であれば０とするものとした。重み値を負に設定してしまうと、正しい優先順位の設定ができないからである。）尚、γはパラメータであり、任意に設定できるものとした。これにより、侵入物体の短時間の停止にも対応できるようにしている。パラメータγの値を大きくすると、重み値ω_ｉ ^ｋの値が低くなるので、しばらくの間、優先区画として抽出され難くなる。即ち、パラメータγにより変化パスが検出されなかった部分の重み値を、どの程度下げるかをコントロールして、優先順位をどの程度下げるかをコントロールできることとしている。

＜数５＞
ω_ｉ ^ｋ＝ｍａｘ（ω_ｉ ^ｋ−１−γ，０)

本実施例においては、数式４または、数式５により求められた、重み値ω_ｉ ^ｋの値が各区画内で最大値を示す画素の重み値を該区画の区画値として設定し、該区画値の大きい順に優先順位を決定するものとした。

図９にサポートベクタマシンでの学習に利用した人物画像例を示す画像を示す。本実施例では、予めサポートベクタマシンで作成された人体テンプレートと区画Ｒｍａｘとのテンプレートマッチングをおこなった。（区画Ｒｍａｘは、区画のうち区画値が最大となる区画を示す。）区間Ｒｍａｘの領域にウェブレット変換を行い、人体テンプレートとのマッチングを実施した。

本実施例では画像監視形態として、電力会社構内を撮影した監視カメラ画像によって、構内の充電部への人物接近監視を実時間処理で行うこと実験を行った。なお、人物は縦横３０×２５画素から１２０×６０画素程度の大きさで撮影され、毎フレーム６画素から１５画素程度の歩行速度を想定した。これは、ＴＶレート(３０画像/秒)で、歩行者を想定した状況である。そのため、あるポイントで人物の通過を判定するには、最低でも毎秒７．５画像程度の処理が必要となる。以下に実験結果を示す。

図１０（ａ）〜（ｃ）に示す３種類の撮影画像による実験結果を示す。図１０（ａ）に示す監視画像についての実験では、本システムの処理速度を調べるため、設備近傍を歩行する１名の被験者の検知速度を計測した。また、図１０（ｂ）に示す監視画像についての実験では撮影画像１５分の前半部分（７分）で収集した人物画像を使い、後半８分の不特定多数の人物検知を行った。特に、電力会社構内では設備以外にアスファルトや花壇等が背景になる場合があるため、背景が異なった場合の人物検知を比較した。また、図１０（ｃ）に示す監視画像についての実験では、状況変化に対する頑健性を調べるため、図１０（ｂ）で学習したシステムを用いて電力設備周辺での接近監視を行った。尚、本実験は監視カメラから監視画像（７２０×４８０画素）をＩＥＥＥ１３９４で読込み、１ＧＢのメモリを搭載した計算機（ＣＰＵクロック数：２．４ＧＨｚ）で実施した。それぞれの監視画像について、約１分４秒（１９００画像）の人物検知実験により、本システムの処理速度を計測した。

図１０（ａ）は曇りの日に撮影した照度変化の少ない画像であり、１名の被験者が電力設備に接近したり離れたりを繰返すシーンで構成されている。尚、表１に処理速度計測実験で利用した各種パラメータを示す。人物判定処理の学習に使う人物画像は、図１０（ａ）の約１分のビデオ画像から切り出した５５１画像を利用した。図９に学習に使用した人物画像の一例を示す。また、学習に利用する人物画像以外の背景画像は、図１０（ａ）の無人背景から切り出した２８３８画像を利用した。尚、監視ラインは画像内の電力設備フェンスを囲むように３本設定した（図１１）。

図１１に人物の検知例を示し、図１２に撮影画像全シーンに対する人物検知の時系列結果を示す。図１２のグラフ上側はライン監視処理が変化を検知した画像番号を示し、下側は人物判定処理が人物を検知した画像番号を示している。また、表２に人物が監視ラインに入ってから出るまでに一度でも反応があれば正解、監視ラインに入ってから出るまでに1度も反応がなければ未反応、人物以外の要因で反応した場合を誤反応として集計した結果を示す。（以下、この集計結果を「実験の要約結果」とする。）ライン監視処理では、３件の誤反応があるが、人物判定処理では、誤反応は０件であった。実験の結果、本システムにより実時間で人物検知ができることが分かった。また、実験画像の中から抽出した学習用の人物画像と背景画像を使うことで、人物をより高精度に検知できることが分かった。

これにより、約１分４秒の撮影画像（約１９００画像）を実時間処理（３０画像/秒）により処理が可能であることがわかった。表３に約１分４秒の撮影画像（約１９００画像）に対する人物検知の正解率等を示す。表３のライン監視処理欄は、人物による変化を正しく検知した画像数（正解反応）、人物以外で誤反応を示した画像数（誤反応）と、人物の通過中に反応を示さなかった画像数（未反応）を示している。人物判定処理欄は、ライン監視処理に反応した４７０画像に対し、人物判定処理を行った結果を示している。最終結果欄では、人物が現れない画像を含め全１９００画像での反応割合を示している。

次に、別の人物の画像を利用した不特定多数の人物検知実験結果を示す。また、屋外での監視ではアスファルトのような人工的な部分や、樹木が背景となる場合が多い。そこで、２種の背景に対しする実験結果を示す。本実験では、図１０（ｂ）の約１５分の画像のうち前半７分から切り出した２５人分の画像１４８６枚と、マサチューセッツ工科大学の歩行者画像データベース（９２４人分）の２４１０枚を人物の学習画像とした。背景画像として、人物が写っていない図１０（ｂ）の９２８１画像を機械学習に利用した。その後、残り８分の画像に現れる不特定多数の人物検知実験を行った。なお、表１に実験に使用した各種パラメータを示す。

図１０（ｂ）の１５分のビデオ画像は、太陽が雲で隠れるなどの大きい照度変化を多数含む画像であり、不特定多数の人物が画像中を通過するシーンである。アスファルトと樹木を背景にした実験結果を示す。

図１３に、アスファルトを背景とした監視結果例を示す。また、表４にビデオ画像後半８分（１４４００画像）の正解率等を示す。また、図１４に１４４００画像に対する提案方式の時系列結果を示す。また、表５に実験の要約結果を示す。表４に示すように、ライン監視処理では人物以外の影響で１５５画像の誤反応が観測された。いずれも、太陽が雲に隠れるときと現れるときに発生した誤反応であったが、人物判定処理では、誤反応は０件であった。これにより、太陽光の変化によるライン監視処理の誤反応を人物判定処理で完全に排除できることがわかった。

次に、図１５に樹木を背景とした監視結果例を示し、表６に正解率等を示す。また、図１６に１４４００画像に対する提案方式の時系列結果を示す。さらに、表７に実験の要約結果を示す。表４に示すアスファルト部分での監視では、輝度値のばらつきが小さいため日陰であっても太陽光の変化に反応しライン監視処理で誤反応を起こしていたが、樹木を背景とした表６の結果は、樹木部分の輝度のばらつきが大きいため、太陽光の変化にアスファルト部分よりも追従する結果が得られたが、ライン監視処理の誤反応はいずれも人物判断処理で排除できる結果となった。本実験結果により、学習事例と異なる不特定の人物に対して、安定に人物検知ができることを確認できた。また、背景がアスファルトや樹木であっても、安定した人物検知ができることが確認できた。

以上の実験による人物画像と背景画像で学習した結果を、図１０（ｃ）の撮影画像へ適用する。図１０（ｃ）の撮影画像は、３人の被験者がフェンスを触ったり登ったり、あるいはフェンスの前で立ち止まるシーンが含まれている。監視ラインは電力設備のフェンスを囲むように３本設定し（図１７）、表１に各種パラメータを示す。

図１８に監視実験結果例を示す。また、表８に図１０（ｃ）の６０００画像に対する正解率等を示す。さらに、図１９に時系列結果を、表１１に実験の要約結果を示す。監視ライン上で静止した場合、人物が背景とみなされるため、ライン監視処理が反応しない。そのため、監視ライン上で人物が静止している９１画像でライン監視処理が未反応となった。しかし、監視ラインへの出入りでは必ず反応があり、監視ラインへの侵入時変化を考慮すると未検出が０となる（表９）。移動しないで監視ラインに入ることは不可能なので、充電部接近監視目的は達成できることがわかった。

また、フェンスの揺れにより人物以外でライン監視処理が誤反応し、その近傍を人物判定処理で人物と誤判定した画像が発生したが、監視ライン近傍で、人物判定処理が誤判定を起こす場所を調べるため、監視ライン近傍全体に１０画素飛びに人物判定処理を実施した。図２０にその結果を示す。図２０から、人物以外に背景の柱を人物として誤検出していることが分かる。尚、図２０の誤検出位置は、表９で示す１件の誤反応が発生した場所である。本実験では、図１０（ｂ）の１枚の無人画像から得た背景画像のみを学習したシステムを用いた。そのため、学習に利用した背景画像にない柱を人物として誤判定しているが、フェンスや電力設備等のより多様な背景画像を学習することで人物判定の誤判定をなくし、より高い精度での検出が可能と考えられる。

本実施例におけるサポートベクタマシンでの人物判定式を数式６に示す。また、表１０に、図１０（ａ）に示す監視画像から取得した画像を使ったサポートベクタマシンによる学習結果を示す。線形サポートベクタマシンの学習率の結果は９７．７％であった。尚、線形サポートベクタマシンによる人物判定処理の１回の処理速度は特徴算出も含め約０．０１３秒であった。尚、線形カーネルＫ（ｘ，ｙ）＝ｘ・ｙ（内積）を、数式７により予め求めておくことで、φの計算を行わず、カーネル関数の計算に置き換え（カーネルトリックという）、φを直接計算せずに、処理の高速化を図っている。尚、表１１に、図１０（ｂ）の監視画像から取得した画像を使ったサポートベクタマシンによる学習結果を示す。

＜数７＞
φ ＝ Σｄ_ｉｘ_ｉ

ここでｘ_ｉが事例画像（人体テンプレート画像）、ｘが新たな入力画像（人物候補画像）、ｄ_ｉはパラメータ、Ｋは事例画像と入力画像の距離を計算するカーネル関数を示す。前記人物判定式ｆ（ｘ）の符号により、人物の可否を決定する。本実施例においては、入力画像ｘは入力画像のわずかな変化に影響を受けないように、画像をＨａａｒウェブレット変換で変換した画像を用いている。

本実施例では、監視ライン上での検知に失敗すると侵入物体の侵入を見過ごす可能性がある。より検知の精度をあげるには、重要な部分に２重の監視ラインを設けるなどの運用上の工夫が必要であることがわかった。また、侵入物体判定の精度の向上のためには、侵入物体の画像や背景画像をより多く用意して、監視シーンごとにサポートベクタマシンに学習を行う等の運用が有効となると考えられる。

侵入物体検出方法の概要を示すフローチャートである。時空間画像を説明する概念図である。画素の輝度値の時系列変化を計測するための実験に用いた画像である。図３の×印の画素位置での輝度値の時系列変化を示すグラフの一例であり、グラフの縦軸は輝度値を示し、横軸はフレーム数を示す。電力会社構内の充電部を囲む形で３本の監視ラインを設定した画像の一例である。時空間画像での、侵入物体と静止物体の変化点記録ラインを説明する概念図である。時空間画像での、侵入物体の変化点記録ラインと変化パスを説明する概念図である。時空間画像内で、侵入物体が作り出す変化パスの傾きを示した画像である。サポートベクタマシンでの学習に利用した人物画像の一例を示す画像である。監視画像の一例を示す画像であり、（ａ）は電力設備周辺を上部から撮影した監視画像の一例であり、（ｂ）は背景にアスファルトを含む監視画像の一例であり、（ｃ）は電力設備周辺での監視画像の一例である。人物の検出画像の一例を示す画像である。図１１の画像での輝度値の時系列変化の一例を示したグラフである。アスファルトを背景とする監視画像の一例を示す画像である。図１３の画像での輝度値の時系列変化の一例を示したグラフである。樹木を背景とする監視画像の一例を示す画像である。図１５の画像での輝度値の時系列変化の一例を示したグラフである。本発明での人物の検出画像の一例を示す画像である。本発明での人物の検出画像の一例を示す画像である。図１７の画像での輝度値の時系列変化の一例を示したグラフである。本発明での人物の検出画像の一例を示す画像である。侵入物体検出装置のハードウェア構成の一例を示す図である。侵入物体検出処理の全体を示すフローチャートである。監視ライン設定処理の一例を示すフローチャートである。ライン監視処理での平均値、標準偏差の算出処理の一例を示すフローチャートである。ライン監視処理での監視ラインの時空間画像の更新と変化点の検出処理の一例を示すフローチャートである。ライン監視処理での監視ラインの時空間画像内での変化点の拡張処理の一例を示すフローチャートである。ライン監視処理での一定の検査時間に渡る変化判定処理の一例を示すフローチャートである。ライン監視処理での時空間画像内での傾き検出処理の一例を示すフローチャートである。優先区画決定処理、人物判定処理、重み更新処理の一例のフローチャートである。

符号の説明

１０侵入物体検出装置

Claims

撮影画像内に少なくとも一本以上の線分領域を設定する監視ライン設定処理と、前記線分領域上で、輝度値変化が大きい画素を抽出するライン監視処理と、前記撮影画像を一定区画に分割し、前記ライン監視処理により抽出された画素を含み、かつ移動速度が速い侵入物体が存在していると推定される区画順に優先順位を付ける優先区画決定処理と、前記優先区画決定処理により設定された前記区画の優先順位に従って、前記区画に撮影された画像と予め用意された侵入物体テンプレートとのマッチングにより前記区画内に侵入物体が存在しているか否かを判定する侵入物体判定処理とを行うことを特徴とする画像処理による侵入物体検出方法。
前記監視ライン設定処理は、前記線分領域を撮影画像内の必要に応じた位置と傾きに設定するようにしたことを特徴とする請求項１記載の画像処理による侵入物体検出方法。
前記ライン監視処理は、前記線分領域毎に、前記線分領域上のすべての画素を任意の記録時間に渡って記録した時空間画像を作成し、前記線分領域上の画素位置での輝度値が該画素位置で求めた任意の記録時間に渡る輝度値の平均値に対して予め設定した標準偏差の閾値倍の範囲を超える輝度値となる画素を検出し、前記検出された画素によって前記時空間画像上に形成される線分の長さを求めるようにしたことを特徴とする請求項１または２記載の画像処理による侵入物体検出方法。
前記ライン監視処理は、前記検出された画素を予め設定した閾値以上の画像フレーム数に渡って検出した場合に、前記時空間画像上に形成される線分として抽出するようにしたことを特徴とする請求項３記載の画像処理による侵入物体検出方法。
前記優先区画決定処理は、前記ライン監視処理により求めた前記線分の長さと、撮影フレーム数から前記線分の傾きを求め、該傾きの大きさから侵入物体の移動速度を推定するようにしたことを特徴とする請求項４記載の画像処理による侵入物体検出方法。
前記優先区画決定処理は、前記線分の傾きの大きさに従って前記線分領域上の画素に対して重み値を設定し、重み値の高い画素を含む前記区画に優先順位を設定するようにしたことを特徴とする請求項５記載の画像処理による侵入物体検出方法。
前記優先区画決定処理は、前記侵入物体判定処理での優先区画内に侵入物体が存在していないと判定した場合に、該優先区画に対して、前記重み値を低い値に更新し、前記優先順位を抑制することを特徴とする請求項６記載の画像処理による侵入物体検出方法。
撮影画像内に少なくとも一本以上の線分領域を設定する監視ライン設定手段と、前記線分領域上で、画素の輝度値変化が大きい画素を抽出するライン監視手段と、前記撮影画像を一定区画に分割し、前記ライン監視処理により抽出された画素を含み、かつ移動速度が速い侵入物体が存在していると推定される区画順に優先順位を付ける優先区画決定手段と、前記優先区画決定手段により設定された前記区画の優先順位に従って、前記区画に撮影された画像と予め用意された侵入物体テンプレートとのマッチングにより前記区画内に侵入物体が存在しているか否かを判定する侵入物体判定手段とを備えることを特徴とする侵入物体検出装置。
前記監視ライン設定手段は、前記線分領域を撮影画像内の必要に応じた位置と傾きに設定するものである請求項８記載の侵入物体検出装置。
前記ライン監視手段は、前記線分領域毎に、前記線分領域上のすべての画素を任意の記録時間に渡って記録した時空間画像を作成し、前記線分領域上の画素位置での輝度値が該画素位置で求めた任意の記録時間に渡る輝度値の平均値に対して予め設定した標準偏差の閾値倍の範囲を超える輝度値となる画素を検出し、前記検出された画素によって前記時空間画像上に形成される線分の長さを求めるものである請求項８または９記載の侵入物体検出装置。
前記ライン監視手段は、前記検出された画素を予め設定した閾値以上の画像フレーム数に渡って検出した場合に、前記時空間画像上に形成される線分として抽出するものである請求項１０記載の侵入物体検出装置。
前記優先区画決定手段は、前記ライン監視手段により求めた前記線分の長さと、撮影フレーム数から前記線分の傾きを求め、該傾きの大きさから侵入物体の移動速度を推定するものである請求項１１記載の侵入物体検出装置。
前記優先区画決定手段は、前記線分の傾きの大きさに従って前記線分領域上の画素に対して重み値を設定し、重み値の高い画素を含む前記区画に優先順位を設定するものである請求項１２記載の侵入物体検出装置。
前記優先区画決定手段は、前記侵入物体判定手段での優先区画内に侵入物体が存在していないと判定した場合に、該優先区画に対して、前記重み値を低い値に更新し、前記優先順位を抑制するものである請求項１３記載の侵入物体検出装置。
撮影画像を表示する出力装置上で設定された線分領域に対応する部分のアドレスを監視ラインとして主記憶装置に記憶する監視ライン設定手段と、前記線分領域上で輝度値変化が大きい画素のアドレスを主記憶装置に記憶するライン監視手段と、前記撮影画像をあらかじめ一定区画に分割して主記憶装置に記憶し、前記ライン監視手段により記憶された画素のアドレスを含み、かつ移動速度が速い侵入物体が存在していると推定される区画順に優先順位を付け、該優先順位を主記憶装置に記憶する優先区画決定手段と、前記優先区画決定手段により主記憶装置に記憶された前記区画の優先順位に従って、前記区画に撮影された画像と、補助記憶装置から読み出した侵入物体テンプレートをマッチングにより前記区画内に侵入物体が存在しているか否かを判定する侵入物体判定手段としてコンピュータを機能させることを特徴とする侵入物体検出プログラム。