JP2005135014A - 物体検出装置 - Google Patents

Abstract

【課題】 物体検出対象となる画像に含まれる物体の画像を検出する物体検出装置で、ＴＶカメラ１の光軸方向や画角が変化した場合においても、正確な物体検出を行う。
【解決手段】 物体検出対象画像視野変化検出手段が物体検出対象となる画像の視野に関する変化（光軸方向や画角の変化）を検出し、検出条件設定手段が物体検出対象画像視野変化検出手段により検出される変化に基づいて、物体の画像を検出するために使用される検出条件を設定し、物体画像検出手段が検出条件設定手段により設定される検出条件を使用して、物体検出対象となる画像に含まれる物体の画像を検出する。
【選択図】 図１

Description

本発明は、例えば、撮像装置を用いた物体検出装置に関し、特に、撮像視野内の侵入物体を監視するために撮像装置から入力される画像信号から検出すべき対象物体を検出する物体検出装置や物体検出方法に関する。

例えば、テレビジョンカメラ（ＴＶカメラ）等の撮像装置を用いて、物体を監視することが行われている。また、有人監視ではなく、装置或いはシステムが自動的に監視を行う技術が検討等されている。
一例として、差分法を用いた監視では、ＴＶカメラ等から得られる画像と基準となる背景画像との輝度（或いは、画素値）の差分を検出し、当該検出値が所定の閾値（しきい値）と比べて大きい変化領域に物体が存在する或いはその可能性があるとして監視を行う。また、物体の検出条件として、例えば、マスク領域に関する条件や、大きさ判定に関する条件や、警戒領域に関する条件などが用いられる。

特開２００２−１３５６４４号公報 特開２００２−２７９４２９号公報 田村秀行監修、「コンピュータ画像処理入門」、総研出版、１９８５年、ｐ．１４９−１５３ 常谷茂之、他、「固定視点型パン・チルトステレオカメラを用いた対象追跡」、情報処理学会コンピュータビジョンとイメージメディア研究会の研究報告、２００１年、Ｎｏ１２７−１５

しかしながら、従来の物体検出装置や物体検出方法では、例えば、ＴＶカメラの光軸方向や画角が変化したような場合には、物体の検出条件を変更しなければならないといった問題があり、このような変更をしないと、正確な物体検出が行われなくなってしまうといった問題があった。
本発明は、このような従来の事情に鑑み為されたもので、例えば、ＴＶカメラの光軸方向や画角が変化したような場合においても、正確な物体検出を行うことができる物体検出装置や物体検出方法を提供することを目的とする。

上記目的を達成するため、本発明に係る物体検出装置では、次のようにして、物体検出対象となる画像に含まれる物体の画像を検出する。
すなわち、物体検出対象画像視野変化検出手段が、物体検出対象となる画像の視野に関する変化を検出する。検出条件設定手段が、物体検出対象画像視野変化検出手段により検出される変化に基づいて、物体の画像を検出するために使用される検出条件を設定する。物体画像検出手段が、検出条件設定手段により設定される検出条件を使用して、物体検出対象となる画像に含まれる物体の画像を検出する。
従って、物体検出対象となる画像の視野に関する変化に基づいて設定される検出条件を使用して当該画像に含まれる物体の画像が検出されるため、例えば、物体検出対象となる画像の視野に関する変化が生じるような場合においても、正確な物体検出を行うことができる。
ここで、物体検出対象となる画像や、物体や、物体検出対象となる画像の視野に関する変化や、検出条件としては、それぞれ、種々なものが用いられてもよい。
また、物体検出対象となる画像について視野に関する変化が生じた場合に、検出条件設定手段により検出条件を設定する仕方としては、種々な仕方が用いられてもよく、例えば、当該変化に対応して検出条件の方を補正するような仕方が用いられてもよく、或いは、当該変化に対応して物体検出対象となる画像の方を補正するような仕方が用いられてもよく、或いは、これら両方を補正するような仕方が用いられてもよい。

本発明に係る物体検出装置では、一構成例として、物体検出対象画像視野変化検出手段は、物体検出対象となる画像の視野に関する変化として、画像を撮像する装置（画像撮像装置）の光軸方向の変化と、画像を撮像する装置の画角の変化の一方又は両方を検出する。
従って、例えば、画像を撮像する装置の光軸方向や画角が変化したような場合においても、正確な物体検出を行うことができる。
ここで、画像を撮像する装置としては、種々な装置が用いられてもよく、例えば、ＴＶカメラなどを用いることができる。
また、画像を撮像する装置の光軸方向の変化としては、例えば、水平方向の変化や、垂直方向の変化が用いられる。一例として、水平方向をＸ軸方向とし、垂直方向をＹ軸方向とすると、光軸方向の変化の量をＸ軸方向の座標のずれ及びＹ軸方向の座標のずれにより表すことができる。
また、画像を撮像する装置の画角の変化としては、例えば、水平方向の変化や、垂直方向の変化が用いられる。一例として、水平方向をＸ軸方向とし、垂直方向をＹ軸方向とすると、画角の変化の量をＸ軸方向の座標の広がり或いは狭まり及びＹ軸方向の座標の広がり或いは狭まりにより表すことができ、或いは、Ｘ軸方向の角度及びＹ軸方向の角度により表すことができる。
また、画像を撮像する装置の光軸方向の変化や画角の変化は、例えば、人や装置による操作や制御により発生する場合があり、また、例えば、風などの屋外環境或いは屋内環境により発生する場合がある。

本発明に係る物体検出装置では、一構成例として、物体検出対象となる画像と比べて広い画像について、物体の画像を検出するために使用される検出条件を設定するための基準となる検出条件（基準検出条件）が設定される。そして、検出条件設定手段は、当該基準となる検出条件及び物体検出対象画像視野変化検出手段により検出される変化に基づいて、物体の画像を検出するために使用される検出条件を設定する。
従って、物体検出対象となる画像と比べて広い画像について設定された基準検出条件に基づいて検出条件が設定されるため、例えば、物体検出対象となる画像の視野に関する変化が生じたような場合においても、適切な検出条件を設定することができ、物体の画像を適切に検出することができる。
ここで、物体検出対象となる画像と比べて広い画像としては、種々な画像が用いられてもよく、例えば、物体検出対象となる画像の視野（例えば、フレーム）と比べて広い視野（例えば、フレーム）を有する画像を用いることができ、例えば、物体検出対象となる画像を全て内部に包含するような画像を用いることができる。
また、基準となる検出条件としては、種々なものが用いられてもよい。
また、基準となる検出条件としては、例えば、物体検出対象となる画像と比べて広い画像において、同様な役割を有する複数の基準検出条件を広範囲に分散して設定することが可能である。この場合、同様な役割を有する複数の基準検出条件が広範囲に分散されることにより、物体検出対象となる画像の視野に関する変化があった場合においても、当該変化後における物体検出対象となる画像に同様な役割を有する複数の基準検出条件のうちの1以上が含まれることが多くなる。
また、基準となる検出条件としては、例えば、可変に或いは予め固定的に装置に設定され、或いは、可変に或いは予め固定的に人により設定され、例えば、メモリなどに記憶される。

以下で、更に、本発明に係る構成例を示す。
例えば、物体検出対象となる画像と比べて広い画像は、監視領域画像として設定され、一例として、複数の画像を合成して生成される。また、複数の画像は、例えば、ＴＶカメラなどの撮像手段により撮像されて取得される。
一構成例として、検出条件として、テンプレート、基準となる背景画像（基準背景画像）、マスク領域、警戒領域、大きさ情報、速度情報のうちの１以上が用いられる。
一構成例として、物体検出対象となる画像と比べて広い画像において、複数のテンプレートが例えば互いに離隔させられて（つまり、分散されて）設定される。
一構成例として、物体検出対象となる画像と比べて広い画像から、物体検出対象となる画像に対する基準背景画像を抽出する。

一構成例として、テンプレートのマッチングにより、光軸方向の変化の量を検出する。例えば、物体検出対象となる画像の中から、基準背景画像中に設定された所定のテンプレートと輝度或いは画素値が一致或いは類似する部分を検出し、当該テンプレートと当該検出部分とのずれの量を検出する。そして、当該ずれの量を補正して、物体検出対象となる画像と基準背景画像などとの光軸方向変化によるずれを無くす。
一構成例として、画角変化前の焦点距離と画角変化後の焦点距離との比に基づいて、画角の変化の量（例えば、何倍であるかを表す値）を検出する。また、例えば、画角が操作されたことや、物体検出対象となる画像を撮像する撮像手段（例えば、カメラ）の画角が変化したことや、撮像手段の画角を変化させる画角変化手段（例えば、カメラ雲台や撮像レンズの制御）による画角変化が行われたことに応じて、画角の変化の量を検出する。そして、当該画角変化量を補正して、物体検出対象となる画像と基準背景画像などとの画角変化によるずれを無くす。

一構成例として、物体検出対象となる画像の輝度或いは画素値と基準背景画像の輝度或いは画素値との差分を検出し、当該検出される差分が所定の閾値以上又は所定の閾値を超える部分を変化部分として検出する。このような変化部分は、移動や変化する物体の画像に相当する可能性があるとみなすことができる。
一構成例として、マスク領域では、画像の輝度或いは画素値の変化があっても、物体の画像が存在するものとして検出しない、つまり、物体の画像を検出しない。
一構成例として、警戒領域については、警戒領域内に一部又は全部が含まれる物体の画像が検出された場合と、他の領域に物体の画像が検出された場合とで、人や装置に対して物体検出を知らせるための報知の態様を異ならせる。
一構成例として、検出すべき物体の大きさの情報については、当該大きさの所定数倍の範囲内に全部が含まれる物体の画像を検出することとし、又は、当該大きさの所定数倍の範囲内に少なくとも一部が含まれる物体の画像を検出することとする。
一構成例として、検出すべき物体の移動速度の情報については、当該移動速度から決定される範囲内に全部が含まれる物体の画像を検出することとし、又は、当該移動速度から決定される範囲内に少なくとも一部が含まれる物体の画像を検出することとする。

一構成例として、物体画像検出手段は、物体検出対象となる画像に含まれる部分が、検出条件設定手段により設定される検出条件を満たすか否かを判定して、当該検出条件を満たすと判定した部分を、物体検出対象となる画像に含まれる物体の画像（物体の画像の部分）として検出する。
一構成例として、検出条件設定手段は、物体検出対象画像視野変化検出手段により検出される変化に基づいて、基準となる検出条件や、物体検出対象となる画像と比べて広い画像や、物体検出対象となる画像のうちの１以上を補正して、物体検出対象となる画像に対して、物体の画像を検出するために使用される検出条件を設定する。具体例として、検出条件設定手段は、物体検出対象画像視野変化検出手段により検出される変化を補償するように、基準となる検出条件の座標や、物体検出対象となる画像と比べて広い画像の座標や、物体検出対象となる画像の座標のうちの１以上を補正して、基準となる検出条件の座標と物体検出対象となる画像の座標とを合わせて、物体検出対象となる画像に対して検出条件を設定する。

以上説明したように、本発明に係る物体検出装置や物体検出方法によると、例えば物体検出対象となる画像と比べて広い画像について基準となる検出条件が設定され、そして、例えば光軸方向変化や画角変化といった物体検出対象となる画像の視野に関する変化を検出し、当該検出した変化に基づいて、例えばマスク領域や警戒領域などといった物体の画像を検出するために使用される検出条件を設定し、当該設定した検出条件を使用して、物体検出対象となる画像に含まれる物体の画像を検出するようにしたため、例えば、光軸方向変化や画角変化といった物体検出対象となる画像の視野に関する変化が生じるような場合においても、正確な物体検出を行うことができる。

本発明に係る実施例を図面を参照して説明する。
本実施例に係る物体検出装置や物体検出方法では、ＴＶカメラの画角や光軸方向が変化した場合に、その変化を検出し、その変化に基づいて、マスク領域、警戒領域、検出すべき物体の大きさの情報、検出すべき物体の速度の情報といった、検出条件を修正する。これにより、本実施例に係る物体検出装置や物体検出方法では、ＴＶカメラの画角を変える場合や、光軸方向が変化する場合においても、その変化量を自動的に検出して、検出条件を修正することで、信頼性が高い正確な物体検出を行うことができる。

図1には、本実施例に係る物体検出装置（映像監視装置）のハードウエア構成の一例を示してある。
本実施例に係る物体検出装置は、撮像装置（ＴＶカメラ）１と、処理装置２と、操作部３と、外部記憶装置４と、出力モニタ（監視モニタ）５と、警告灯６を備える。
撮像装置１は、撮像部１１、電動旋回台（カメラ雲台）１２、ズームレンズ（撮像レンズ）１３から構成されている。
処理装置２は、画像入力部（画像入力Ｉ／Ｆ）２１、雲台制御部（雲台制御Ｉ／Ｆ）２２、レンズ制御部（レンズ制御Ｉ／Ｆ）２３、操作入力部（操作入力Ｉ／Ｆ）２４、画像メモリ２５、小型処理装置であるＭＰＵ（Micro Processing Unit）２６、ワークメモリ２７、外部入出力部（外部入出力Ｉ／Ｆ）２８、画像出力部（画像出力Ｉ／Ｆ）２９、警報出力部（警報出力Ｉ／Ｆ）３０、データバス３１から構成されている。
操作部３は、ジョイスティック４１や、ボタン４２、４３を有している。

撮像部１１は画像入力部２１と接続され、カメラ雲台１２は雲台制御部２２と接続され、撮像レンズ１３はレンズ制御部２３と接続され、操作部３は操作入力部４と接続され、外部記憶装置４は外部入出力部２８と接続され、出力モニタ５は画像出力部２９と接続され、警告灯６は警報出力部３０と接続されている。また、画像入力部２１、雲台制御部２２、レンズ制御部２３、操作入力部２４、画像メモリ２５、ＭＰＵ２６、ワークメモリ２７、外部入出力部２８、画像出力部２９、及び警報出力部３０は、データバス３１と接続されている。
カメラ雲台１２に搭載されて撮像レンズ１３を備えた撮像部１１（ＴＶカメラ１）は、監視対象（視野範囲）を撮像する。撮像された映像信号は、画像入力部２１からデータバス３１を介して画像メモリ２５に蓄積される。外部記憶装置４に記録されるプログラムなどのデータは、外部入出力部２８を介してワークメモリ２７に読み込まれ、或いは逆に、ワークメモリ２７から外部記憶装置４に保存される。ＭＰＵ２６は、外部記憶装置４に保存されていて装置実行時にワークメモリ２７にロードされるプログラムに従って、ワークメモリ２７内で画像メモリ２５に蓄積された画像の解析を行う。ＭＰＵ２６は、処理結果に応じて、データバス３１から、レンズ制御部２３を介して撮像レンズ１３を制御することや、雲台制御部２２を介してカメラ雲台１２を制御して撮像部１１（ＴＶカメラ１）の撮像視野を変えることや、画像出力部２９を介して出力モニタ５へ例えば侵入物体の検出結果に関する画像を表示することや、警報出力部３０を介して警告灯６を点灯することを行う。
なお、本例では、撮像装置１と処理装置２とが例えばケーブル等を介してすぐ近くに設置されている構成としたが、他の種々な配置が用いられてもよく、例えば、撮像装置１がネットワーク等を介して遠隔地にある処理装置２と接続されるような構成が用いられてもよい。
以下に示す各実施例では、上記図１に示した物体検出装置のハードウエア構成を例として、説明を行う。

本発明の第１実施例に係る物体検出装置及び物体検出方法を説明する。
図２は、本例に係る処理プロセスを説明するフローチャートである。
同図に示した処理プロセスは、例えば図１１に示される差分法を応用した監視方式の処理プロセスと同様な動作が行われるステップＳ１（初期化処理）、ステップＳ２（画像入力処理）、ステップＳ５（差分処理）、ステップＳ６（二値化処理）、ステップＳ８（マスク処理）、ステップＳ９（ラベリング処理）、ステップＳ１０（処理画像表示）、ステップＳ１４（物体存在判定処理）、ステップＳ１５（警報・モニタ表示処理）の処理手順に、所定のステップＳ３、Ｓ４、Ｓ７、Ｓ１１、Ｓ１２、Ｓ１３の処理手順を追加したものとなっている。このため、本例では、図１１に示される処理プロセスとは異なる処理手順（ステップＳ３、Ｓ４、Ｓ７、Ｓ１１、Ｓ１２、Ｓ１３）について詳しく説明し、同様な処理手順については説明を省略或いは簡略化する。

まず、初期化処理が行われ（ステップＳ１）、画像入力処理が行われる（ステップＳ２）。
次に、光軸方向変化量検出ステップでは、テンプレートマッチング法によってＴＶカメラ１の光軸方向の変化を検出する（ステップＳ３）。
図３を参照して、このような検出処理を説明する。
同図（Ａ）は画像７１においてテンプレートマッチングで使用するテンプレートの位置８１を表しており、同図（Ｂ）はＴＶカメラ１の揺れなどによって光軸方向が変化した瞬間の画像７２を表している。
まず、同図（Ａ）に示されるように予め監視領域内にテンプレートの位置８１を設定しておく。テンプレート位置８１としては、例えば、建物の屋根やひさしなどのように、風などに揺れない部分を指定する。次に、基準背景画像のテンプレートの位置８１の画像をテンプレート画像として、入力画像中でテンプレート画像と最も一致度が高い位置を検出する。一致度としては、例えば、正規化相関値ｒ（Δｘ、Δｙ）を適用することができ、これは式１で表される。

ここで、ｆ（ｘ、ｙ）は入力画像を表し、ｇ（ｘ、ｙ）はテンプレート画像（基準背景画像の部分画像）を表し、例えば画像の座標軸について画像の左上を原点（０、０）として、（ｘ０、ｙ０）はテンプレート位置８１の左上の座標を表し、Ｄはテンプレート画像の大きさ（例えば、横５０画素、縦４０画素）を表す。正規化相関値ｒ（Δｘ、Δｙ）は、「−１≦ｒ（Δｘ、Δｙ）≦＋１」の値を取り、入力画像とテンプレート画像とが完全に一致した場合には、“＋１．０”となる。テンプレートマッチングの処理は、Δｘ、Δｙを探索範囲（横Ｍｘ、縦Ｍｙ）内で走査した場合に、すなわち「−Ｍｘ≦Δｘ≦＋Ｍｘ、−Ｍｙ≦Δｙ≦＋Ｍｙ」と変化させた場合に、 正規化相関値ｒ（Δｘ、Δｙ）が最も大きくなる位置の変化量（Δｘ、Δｙ）を検出する処理である。
なお、探索範囲Ｍｘ、Ｍｙは、検出するＴＶカメラの光軸方向の変化の最大量を表し、実験的に求められ、例えば、Ｍｘ＝５０、Ｍｙ＝５０とする（例えば、非特許文献１参照。）。
図３（Ｂ）において、位置８１は設定したテンプレートの位置であり、位置８２はテンプレートマッチング法によって検出された位置である。すなわち、検出条件の設定時には位置８１にあったテンプレート画像が、ＴＶカメラ１の揺れなどによって光軸方向が変化して、位置８２へ移動している。よって、テンプレートマッチング時に得られた一致度が最も大きくなる位置の変化量（Δｘ、Δｙ）が、ＴＶカメラの光軸方向の変化量である。

次に、基準背景画像位置補正ステップでは、ＴＶカメラ１の光軸方向の変化量（Δｘ、Δｙ）に基づいて、「ｇ’（ｘ、ｙ）＝ｇ（ｘ−Δｘ、ｙ−Δｙ）」となる平行移動を行い、基準背景画像の入力画像に対する位置のずれを補正する（ステップＳ４）。ここで、ｇ（ｘ、ｙ）は補正前の基準背景画像を表し、ｇ’（ｘ、ｙ）は補正後の基準背景画像を表す。このような補正を行う理由は、本実施例では、入力画像の輝度の変化領域の検出に差分法を用いており、ＴＶカメラ１の揺れなどによって光軸方向が変化すると入力画像と基準背景画像との位置のずれが生じ、そのまま差分処理を実行すると、位置ずれを起こした場所で大きな差分が生じてしまうためである。
次に、位置が補正された基準背景画像を用いて差分処理が行われ（ステップＳ５）、二値化処理が行われる（ステップＳ６）。
次に、マスク領域位置ずれ補正処理ステップでは、上記した基準背景画像位置補正ステップと同様に、ＴＶカメラ１の光軸方向の変化によって生じた入力画像とマスク領域との位置のずれを補正する（ステップＳ７）。
例えば、マスク領域をｍ（ｘ、ｙ）とした場合、「ｍ’（ｘ、ｙ）＝ｍ（ｘ−Δｘ、ｙ−Δｙ）」となる画像の平行移動を行い、位置のずれを補正する。ここで、ｍ（ｘ、ｙ）は補正前のマスク領域を表し、ｍ’（ｘ、ｙ）は補正後のマスク領域を表す。このようにすることで、ＴＶカメラ１の光軸方向の変化が発生する場面においても、マスク領域を広めに設定することなく、マスク処理を実行することができる。
次に、位置が補正されたマスク領域を用いてマスク処理が行われ（ステップＳ８）、ラベリング処理が行われ（ステップＳ９）、処理画像表示処理が行われる（ステップＳ１０）。

次に、警戒領域補正ステップでは、警戒領域の位置をＴＶカメラ１の光軸方向の変化量（Δｘ、Δｙ）分だけ平行移動させる（ステップＳ１１）。本例では、例えば図１２に示される警戒領域２０１のように、警戒領域を矩形で設定しており、左上の座標と右下の座標（つまり、対角の関係にある２つの頂点の座標）により当該矩形を指定する。すなわち、補正前の警戒領域を「左上の座標（ｗｘ０、ｗｙ０）−右下の座標（ｗｘ１、ｗｙ１）」とした場合に、補正後の警戒領域を「左上の座標（ｗｘ０−Δｘ、ｗｙ０−Δｙ）−右下の座標（ｗｘ１−Δｘ、ｗｙ１−Δｙ）」とすることで、警戒領域の補正を行うことができる。
次に、大きさ条件算出ステップでは、例えば図１３を参照して説明されるような検出すべき物体の基準の大きさについて、補正を行う（ステップＳ１２）。当該補正は、例えば式２及び式３において予め設定した基準物体の位置ｙ１、ｙ２に対して、「ｙ１’＝ｙ１−Δｙ、ｙ２’＝ｙ２−Δｙ」となる変換を行い、これにより得られた結果を「ｙ１＝ｙ１’、ｙ２＝ｙ’２」のようにｙ１、ｙ２に代入して、式２及び式３に適用することで実行される。
次に、速度条件算出ステップでは、大きさ条件算出ステップによって得られた基準の大きさｄｘ３、ｄｙ３に基づいて、例えば、ｄｘ３及びｄｙ３の２／３の値を検出すべき物体の速度の情報とする。
次に、上記のようにして補正された物体の検出条件を用いて、物体が存在するか否かを判定し（ステップＳ１４）、存在すると判定した場合には警報の出力やモニタの表示を行う（ステップＳ１５）。

以上に示したステップＳ４（基準背景画像の位置の補正）、ステップＳ７（マスク領域の位置の補正）、ステップＳ１１（警戒領域の位置の補正）、ステップＳ１２（大きさ条件の補正）、ステップＳ１３（速度条件の算出）の各処理により、本例の物体検出装置や物体検出方法では、例えば、ＴＶカメラ１が風で揺れる場面やＴＶカメラ１を操作した際にＴＶカメラ１の光軸方向が変化したような場合においても、ＴＶカメラ１の光軸方向の変化量を自動的に検出して、光軸方向の変化量に基づいて検出条件を補正することができる。従って、ＴＶカメラ１の光軸方向の変化によって、例えば不感帯を広く設定しなければならないことから物体を検出することができる範囲が狭くなってしまうことや或いは変化領域の大きさ判定や警戒領域内に存在するか否かの判定が正確に行われなくなってしまうことを解消することができ、信頼性の高い正確な物体検出を行うことを実現することができる。
以上のように、本例では、ＴＶカメラ１の揺れを検出して、補正することができる。

ここで、本例では、物体の検出条件の基礎となる基準背景画像や、マスク領域や、警戒領域や、大きさ条件に関する設定値ｙ１、ｙ２などの位置をずらすことにより補正を行ったが、他の構成例として、物体の検出条件の基礎となる情報を補正せずに、入力画像の方をずらして補正するような構成とすることも可能である。
また、本例では、ＴＶカメラ１の撮像レンズ１３のレンズ制御を考慮していないが、更なる構成例として、レンズ制御を考慮して、焦点距離の変化量ｒを算出して、マスク領域等の大きさをｒ倍とするような処理を組み合わせて行うことも可能である。

本発明の第２実施例に係る物体検出装置及び物体検出方法を説明する。
本例の物体検出装置及び物体検出方法では、予め作成した監視領域画像上に、マスク領域、警戒領域、大きさ情報の基準の検出条件を設定しておき、監視員がＴＶカメラ１の画角や光軸方向を操作した場合に、監視領域画像上に設定した基準検出条件に基づいて監視条件を算出する。
図４は基準検出条件の設定処理のフローチャートである。
図４を用いて、基準検出条件の設定処理の流れの一例を説明する。
まず、初期化処理ステップでは、設定処理を実行するための外部機器、変数、画像メモリ等の初期化を行う（ステップＳ２１）。
次に、設定読み込み処理ステップでは、例えば、外部記憶装置４に記録した基準検出条件の設定を読み出す（ステップＳ２２）。ここで、基準検出条件を初めて設定する場合には、初期化処理ステップで初期化された基準検出条件の状態で設定作業を開始し、２回目以降からは、最後に設定した基準検出条件が読み出されて設定作業が開始される。

次に、カメラ雲台制御ステップ（ステップＳ２３）から領域スキャン完了判定ステップ（ステップＳ２５）までは、ＴＶカメラ１の基準となる画角から所定範囲の画像を入力する処理を行う。
具体的には、カメラ雲台制御ステップでは、基準となる画角の例えば ５０％の範囲を９回に分けてスキャンするために雲台を制御する（ステップＳ２３）。一例として、撮像素子として１／２型ＣＣＤ（素子サイズ 横６．４ｍｍ、縦４．８ｍｍ）を使用し、焦点距離を１０ｍｍとした場合、基準となる画角は、横方向３５．５°、縦方向２７．０°となる。カメラ雲台制御ステップでは、処理が実行される度に、基準となる画角から、左へ１７．７５°及び上へ１３．５０°、上へ１３．５０°、右へ１７．７５°及び上へ１３．５０°、左へ１７．７５°、移動なし、右へ１７．７５°、左へ１７．７５°及び下へ１３．５０°、下へ１３．５０°、右へ１７．７５°及び下へ１３．５０°とカメラ雲台１２を制御する。
次に、画像入力ステップでは、ＴＶカメラ１から、例えば横３２０画素、高さ２４０画素の入力画像を得る（ステップＳ２４）。
次に、領域スキャン完了（終了）判定ステップでは、カメラ雲台制御が所定の回数（本例では、９回）実行された場合には、画像合成処理ステップ（ステップＳ２６）へ分岐し、一方、所定の回数実行されていない場合には、カメラ雲台制御ステップ（ステップＳ２３）へ分岐する（ステップＳ２５）。

以上の処理を完了すると、図５（Ａ）〜（Ｉ）に示すような各画像９１〜９９が得られる。
次に画像合成処理ステップでは、図１０に示される画像９１〜９９を合成して１フレームの画像にする（ステップＳ２６）。
本例では、各画像９１〜９９が画像サイズの５０％分重なるように合成することにより、図６に示すような１フレームの画像を生成することができる。このようにして合成した画像は、基準となる画角の上下左右を５０％広げたものであり、この画像を監視領域画像と呼んで説明する。
ここで、本例では、スキャン回数９回、重なり量５０％で監視領域画像を作成したが、他の態様が用いられてもよく、例えば、スキャン回数を２５回（横方向、縦方向５分割）にすることや、重なり量を７５％にすることなどもできる。なお、基準となる画角に対して監視領域画像を広く設定し過ぎると、カメラの視差の影響で画像の合成が困難になる場合もあるため、例えば、監視領域画像は基準となる画角に対して上下左右５０％程度に留めるのが好ましい。また、例えば視点固定型カメラを用いることで、このような視差の問題を解消することも可能である。視点固定型カメラは、パンチルト制御を行っても視点位置が一定になるように設計されたカメラであり、このカメラを使用すると、光軸方向が変化してもカメラの視点位置が変化せず視差が発生しない。このような視点固定型カメラを応用したものも検討等されている（例えば、非特許文献２参照。）。

次に、マスク領域設定ステップでは、画像合成処理ステップによって合成された監視領域画像に対してマスク領域を設定する（ステップＳ２７）。マスク領域は、例えば、監視員が操作部（操作器）３を用いて、多角形の頂点を指定することなどにより、図６（Ａ）に示される監視領域画像１０１中の領域１１１のように、風などで揺れる可能性のある草木の部分を囲むように指定する。
次に、マスク設定完了判定ステップでは、監視員に対して、マスク領域１１１の設定操作が完了したか否かを例えば“ＹＥＳ”／“ＮＯ”（“はい”又は“いいえ”）を選択することができる形式で問い合わせ、監視員は、操作部３の操作により、マスク領域１１１の設定が完了した場合には“ＹＥＳ”を選択し、マスク領域１１１の設定が完了していない場合には“ＮＯ”を選択する（ステップＳ２８）。このようにして、マスク設定完了判定ステップでは、“ＹＥＳ”が選択された場合には警戒領域設定ステップ（ステップＳ２９）へ分岐し、“ＮＯ”が選択された場合にはマスク領域設定ステップ（ステップＳ２７）へ分岐する。

次に、警戒領域設定ステップでは、例えば、建物の入口や、敷地の門等に、具体例として、図６（Ａ）に示される監視領域画像１０１中の領域１１２、領域１１３、領域１１４、などのように、特に警戒レベルの高い領域を指定する（ステップＳ２９）。このような警戒領域１１２〜１１４に侵入物体が存在するか否かの情報は、警報・モニタ表示ステップ（図７のステップＳ５８）の警報の種類に反映され、例えば、警戒領域１１２〜１１４内に侵入物体が存在する場合には警告灯６を赤く点灯させ、警戒領域１１２〜１１４内に侵入者が存在しない場合には警告灯６を黄色に点灯させる等する。
次に、警戒領域設定完了判定ステップでは、上記したマスク設定完了判定ステップ（ステップＳ２８）と同様に、警戒領域１１２〜１１４の設定が終了したか否かを監視員に選択させ、警戒領域１１２〜１１４の設定が終了した場合には大きさ設定ステップ（ステップＳ３１）へ分岐し、警戒領域１１２〜１１４の設定が終了していない場合には警戒領域設定ステップ（ステップＳ２９）へ分岐する（ステップＳ３０）。

次に、大きさ設定ステップでは、例えば図１３を参照して説明されるように、侵入物体の基準となる大きさを設定する（ステップＳ３１）。図６（Ａ）に示した例では、矩形１１５、矩形１１６により設定される。つまり、監視員により設定された矩形１１５、矩形１１６に応じて、図１３に示されるｙ１、ｙ２などの値が決定され、式２及び式３の演算を行うためのパラメータの準備が完了する。
次に、大きさ設定完了判定ステップでは、上記したマスク設定完了判定ステップ（ステップＳ２８）と同様に、侵入物体の基準の大きさの設定が終了したか否かを監視員に選択させ、大きさの設定が終了した場合にはテンプレート設定ステップ（ステップＳ３２）へ分岐し、大きさの設定が終了していない場合には大きさ設定ステップ（ステップＳ３１）へ分岐する（ステップＳ３２）。

次に、テンプレート設定ステップでは、ＴＶカメラ１の光軸方向の変化を検出するためのテンプレートの位置を設定する（ステップＳ３３）。テンプレートの位置としては、例えば、建物の屋根やひさしなど、風などに揺れない部分を指定する。本例では、好ましい態様として、図６（Ａ）に示される複数の矩形１１７、矩形１１８、矩形１１９、矩形１２０のように、テンプレート位置を複数設定する。この理由は、ＴＶカメラ１の撮像レンズ１３を操作した場合や光軸方向が変わってしまった場合においても、画面内に少なくとも１つ以上のテンプレートが映るようにするためである。なお、複数のテンプレートを用いてマッチングを行うことにより、マッチングの精度を向上させることが可能である（例えば、特許文献１参照。）。
次に、テンプレート設定完了判定ステップでは、上記したマスク設定完了判定ステップ（ステップＳ２８）と同様に、ＴＶカメラ１の光軸方向の変化を検出するためのテンプレートの位置の設定が終了したか否かを監視員に選択させ、テンプレート位置の設定が終了した場合には設定保存処理ステップ（ステップＳ３５）へ分岐し、テンプレート位置の設定が終了していない場合にはテンプレート設定ステップ（ステップＳ３３）へ分岐する（ステップＳ３４）。
そして、設定保存処理ステップでは、上記したカメラ雲台制御ステップ（ステップＳ２３）からテンプレート設定完了判定ステップ（ステップＳ３４）までで得られた画像や基準となる検出条件の情報を、例えば外部記憶装置４に保存する。
以上により、基準検出条件の設定が完了する。

図７は、本例に係る処理プロセスを説明するフローチャートである。
同図に示した処理プロセスは、例えば図２に示される差分法を応用した監視方式の処理プロセスと同様な動作が行われるステップＳ４１（初期化処理）、ステップＳ４３（画像入力処理）、ステップＳ４８（差分処理）、ステップＳ４９（二値化処理）、ステップＳ５１（マスク処理）、ステップＳ５２（ラベリング処理）、ステップＳ５３（処理画像表示）、ステップＳ５７（物体存在判定処理）、ステップＳ５８（警報・モニタ表示処理）の処理手順と、図２に示される他のステップＳ３、Ｓ４、Ｓ７、Ｓ１１、Ｓ１２、Ｓ１３の処理と同等な処理を監視領域画像１０１の座標系に変換して実行するステップＳ４６（光軸方向変化量検出処理）、ステップＳ４７（基準背景画像位置補正処理）、ステップＳ５０（マスク領域位置ずれ補正処理）、ステップＳ５４（警戒領域補正処理）、ステップＳ５５（大きさ条件算出処理）、ステップＳ５６（速度条件算出処理）の処理手順に、所定のステップＳ４２、Ｓ４４、Ｓ４５の処理手順を追加したものとなっている。このため、本例では、図２に示される処理プロセスとは異なる処理手順（ステップＳ４２、Ｓ４４、Ｓ４５）について詳しく説明し、同様な処理手順については説明を省略或いは簡略化する。

まず、初期化処理が行われる（ステップＳ４１）。
次に、カメラ雲台制御ステップでは、監視員による操作部３の操作を入力し、カメラ雲台１２及び撮像レンズ１３を制御する（ステップＳ４２）。カメラ雲台制御ステップでは、例えば、操作部３のジョイスティック４１などを監視員が上下左右に動かすと、それに連動してカメラ雲台１２を制御し、ＴＶカメラ１の光軸を上下左右に変化させる。また、操作部３に付属するボタン４２、４３を監視員が押下すると、撮像レンズ１２の焦点距離を長くする、或いは、短くする。これにより、ズームアップやズームアウトが行われ、ＴＶカメラ１の画角を変えることが可能となる。
なお、本例では、カメラ雲台制御ステップとして、ユーザの操作によりカメラのパン・チルトやズーム制御が行われる構成としたが、他の構成例として、検出した物体の画像上での位置や、大きさや、移動量などに応じて自動的にパン・チルトやズーム制御を行うような構成が用いられてもよい。
次に、画像入力処理が行われる（ステップＳ４３）。
次に、画角変化算出ステップでは、基準検出条件を設定した際における撮像レンズ１２の焦点距離と画角操作後における撮像レンズ１２の焦点距離との比から、ＴＶカメラ１の画角変化を算出する（ステップＳ４４）。例えば、基準検出条件を設定した際における撮像レンズ１２の焦点距離ｆ０が１０ｍｍであり、画角変化後における撮像レンズ１２の焦点距離ｆ１が１２ｍｍであった場合には、画角の変化量ｒとしては、ｆ＝ｆ１÷ｆ０＝１．２倍（視野の角度は、横方向が３５．４９°から２９．９６°）に変化したこととなる。
次に、監視領域画像サイズ補正ステップでは、ＴＶカメラ１の画角の変化を補正するために、監視領域画像ｓ（ｘ、ｙ）の大きさをｒ倍し、これをｓ’（ｘ、ｙ）として、監視領域画像の大きさを補正する（ステップＳ４５）。ここで、本例では、監視領域画像について、画像の水平方向をｘ軸として、画像の垂直方向をｙ軸として、監視領域画像の左上の点を原点（０、０）とした場合における座標ｓ（ｘ、ｙ）で表す。そして、本例では、監視領域画像の座標系を基準にして処理を行う。

次に、光軸方向変化量検出ステップでは、監視領域画像上に設定した光軸方向の変化を検出するためのテンプレートを用いて、現在におけるＴＶカメラ１の光軸の変化を検出する（ステップＳ４６）。
例えば、監視領域画像ｓ（ｘ、ｙ）上に設定したテンプレートの位置を（ｘｔ、ｙｔ）とし、その縦横の大きさを（ｓｘ、ｓｙ）とすると、上記した監視領域画像サイズ補正ステップ（ステップＳ４５）によって画角変化を補正した監視領域画像ｓ’（ｘ、ｙ）上では、テンプレートの位置は（ｒ×ｘｔ、ｒ×ｙｔ）となり、その縦横の大きさは（ｒ×ｓｘ、ｒ×ｓｙ）となる。この画角変化を補正した監視領域画像ｓ’（ｘ、ｙ）上のテンプレートを用いて、テンプレートマッチングの手法により入力画像を走査して、マッチングする位置（ｘｍ、ｙｍ）を検出する。
マッチングした位置（ｘｍ、ｙｍ）は、画角変化を補正した監視領域画像ｓ’（ｘ、ｙ）上におけるテンプレートの位置（ｒ×ｘｔ、ｒ×ｙｔ）と一致するため、ＴＶカメラ１が揺れてカメラの光軸が時時刻々と変化するような場面においても、監視領域画像中ではテンプレートを一定の位置に捉えることができる。
すなわち、ＴＶカメラ１が揺れてカメラの光軸が変化しても、監視領域画像ｓ’（ｘ、ｙ）上で入力画像の位置を決定することができる。なお、入力画像の左上の座標は、監視領域画像ｓ’（ｘ、ｙ）上の（ｒ×ｘｔ−ｘｍ、ｒ×ｙｔ−ｙｍ）で表される。つまり、上記したマッチングする位置（ｘｍ、ｙｍ）は入力画像上でのテンプレート位置の左上の座標（ここで、座標軸は入力画像の左上を原点（０、０）とする）で表され、このマッチング位置が監視領域画像ｓ’（ｘ、ｙ）上のテンプレート位置（ｒ×ｘｔ、ｒ×ｙｔ）と一致するため、入力画像の左上の座標は監視領域画像ｓ’（ｘ、ｙ）上では（ｒ×ｘｔ−ｘｍ、ｒ×ｙｔ−ｙｍ）となる。
また、入力画像を監視領域画像ｓ’（ｘ、ｙ）上の座標系に変換して監視領域画像ｓ’（ｘ、ｙ）上で設定した基準検出条件と比較評価することにより、ＴＶカメラ１の画角を操作した場合や、ＴＶカメラ１が揺れるような場面においても、侵入物体の検出処理を実行することが可能となる。

ここで、上記した光軸方向変化量検出処理（ステップＳ４６）では、図６（Ａ）に示されるように複数のテンプレート１１７〜１２０を用意して、その中からいずれかのテンプレートを用いて入力画像とのマッチングを行い、マッチング位置を決定する。この処理の（パターン例１）（パターン例２）、（パターン例３）を示す。
（パターン例１）では、全てのテンプレートを用いて入力画像とのマッチングを行い、正規化相関値が最も大きくなる位置（ｘｍ、ｙｍ）と、その際に使用したテンプレートを特定する。なお、このパターン例では、処理時間が長くなる場合もある。
（パターン例２）では、入力画像内に存在するテンプレートのみを対象としてマッチングを行い、正規化相関値が最も大きくなる位置（ｘｍ、ｙｍ）を特定する。例えば、図６（Ａ）の監視領域画像の座標系における入力画像の大きさや位置については、初期の位置からどれだけパンやチルトさせたかといったカメラ雲台１２の制御情報と、撮像レンズ１３の焦点距離の情報から、一意に決定することが可能である。このため、入力画像内のテンプレートを選択することが可能である。
（パターン例３）では、上記した（パターン例２）において、更にＴＶカメラ１の揺れを考慮する。具体的には、入力画像と比べて（例えば、少し）大きい範囲を設定し、その範囲内に存在するテンプレートのみを対象としてマッチングを行い、正規化相関値が最も大きくなる位置（ｘｍ、ｙｍ）を特定する。

次に、基準背景画像位置補正ステップでは、監視領域画像ｓ’（ｘ、ｙ）から例えば（ｒ×ｘｔ−ｘｍ、ｒ×ｙｔ−ｙｍ）〜（ｒ×ｘｔ−ｘｍ＋３１９、ｒ×ｙｔ−ｙｍ＋２３９）の範囲の画像を抽出し、これを基準背景画像とする（ステップＳ４７）。なお、本例では、処理する画像のサイズが、横３２０画素、縦２４０画素であるとする。
ここで、図２に示される基準背景画像位置補正処理（ステップＳ４）では、予め作成した基準背景画像を平行移動することでＴＶカメラ１の光軸方向の変化を補正するため、平行移動によって画素が画像からはみ出して、処理に使用することが可能な画素が減少するのに対して、本例の基準背景画像位置補正処理（ステップＳ４７）では、処理する画像より広い範囲で作成した監視領域画像から基準背景画像を抽出するため、画素を減少させずに、差分処理を実行することができる。
次に、差分処理が行われ（ステップＳ４８）、二値化処理が行われる（ステップＳ４９）。
次に、マスク領域位置ずれ補正ステップでは、上記した基準背景画像位置補正ステップ（ステップＳ４７）と同様に、監視領域画像ｓ’（ｘ、ｙ）上に設定したマスク領域を（ｒ×ｘｔ−ｘｍ、ｒ×ｙｔ−ｙｍ）〜（ｒ×ｘｔ−ｘｍ＋３１９、ｒ×ｙｔ−ｙｍ＋２３９）の範囲で抽出し、続くマスク処理ステップ（ステップＳ５１）のマスク画像として適用する（ステップＳ５０）。
次に、マスク処理が行われ（ステップＳ５１）、ラベリング処理が行われる（ステップＳ５２）。
次に、警戒領域補正ステップでは、上記した基準背景画像位置補正ステップ（ステップＳ４７）と同様に、監視領域画像ｓ’（ｘ、ｙ）上に設定した警戒領域を（ｒ×ｘｔ−ｘｍ、ｒ×ｙｔ−ｙｍ）〜（ｒ×ｘｔ−ｘｍ＋３１９、ｒ×ｙｔ−ｙｍ＋２３９）の範囲で抽出し、続く物体存在判定ステップ（ステップＳ５７）において警戒領域内に侵入物体が存在するか否かの判定条件として適用する（ステップＳ５４）。

ここで、図８には、上記したマスク領域位置ずれ補正処理（ステップＳ５０）及び警戒領域補正処理（ステップＳ５４）の具体例を示してある。
同図（Ａ）には、監視領域画像１３１に対して設定されているマスク領域（又は、警戒領域）１４１の一例を示してある。同図（Ｂ）には、更に、入力画像の範囲１４２を示してある。そして、同図（Ｃ）には、入力画像の範囲１４２に基づいてマスク領域（又は、警戒領域）１４１から切り出される領域を斜線により示してある。一例として、同図（Ｄ）に示されるように、入力画像上におけるマスク領域の各頂点の座標を把握するような形式を用いることができ、他の例として、同図（Ｅ）に示されるように、入力画像の各画素を走査してマスク領域内の画素を把握するような形式を用いることができ、或いは、他の形式が用いられてもよい。
次に、大きさ条件算出ステップでは、差分法により検出された変化領域の外接矩形（例えば、図１０（Ｄ）に示される矩形１８４）の座標を監視領域画像ｓ’（ｘ、ｙ）上の座標へ変換し、侵入物体の基準となる大きさを算出する（ステップＳ５５）。ここで、例えば、図１３（Ｂ）に示されるような外接矩形２２３が検出されたとすると、検出結果から得られる画像の下端から外接矩形２２３の下端までの距離ｙ３は、画角変化を補正した監視領域画像ｓ’（ｘ、ｙ）上で距離ｙ３’＝４８０−（ｒ×ｙｔ−ｙｍ＋２４０）＋ｙ３となり、監視領域画像ｓ（ｘ、ｙ）上の座標系では、ｙ３’’＝ｙ３’÷ｒとなる。なお、入力画像のサイズを横３２０画素、縦２４０画素とし、監視領域画像のサイズを横６４０画素、縦４８０画素（基準となる画角の上下左右５０％拡大）とする。よって、ｙ＝ｙ３’’として、式２及び式３を適用することにより、監視領域画像ｓ（ｘ、ｙ）上での基準の大きさｄｘ３、ｄｙ３が算出され、入力画像上では基準の大きさはｄｘ３’＝ｄｘ３×ｒ、ｄｙ３’＝ｄｙ３×ｒと算出される。

次に、速度条件算出ステップでは、例えば、上記した大きさ条件算出ステップで算出された、入力画像上での基準の大きさｄｘ３’、ｄｙ３’の２／３倍値を検出すべき物体の速度の情報とする（ステップＳ５６）。
そして、物体存在判定処理が行われ（ステップＳ５７）、警報・モニタ表示処理が行われる（ステップＳ５８）。警戒領域補正処理（ステップＳ５４）、大きさ条件算出処理（ステップＳ５５）、速度条件算出処理（ステップＳ５６）で算出された検出条件は、物体存在判定処理（ステップＳ５７）で使用されて、差分法によって検出された変化領域が検出すべき物体であるか否かが判定される。
以上のように、本例では、ＴＶカメラ１の揺れや焦点距離の変化を検出して、補正することができる。また、本例では、予め、広い画角に対応して、検出条件を用意することにより、適切な補正を行うことができる。

ここで、本例では、レンズの焦点距離の変化量ｒに応じて監視領域画像の大きさを補正する構成を示したが、他の構成例として、入力画像の大きさを１／ｒ倍するような構成とすることも可能である。
また、本例では、図４に示されるカメラ雲台制御処理（ステップＳ２３）から画像合成処理（ステップＳ２６）までの処理により、図５に示される複数の画像９１〜９９から成る画像群から合成により図６（Ａ）に示されるような監視領域画像１０１を生成する構成を示したが、他の構成例として、撮像レンズ１３をズームアウトして、図６（Ａ）に示される画像１０１の画角に相当する画像を１回の撮影で取得するような構成とすることも可能である。また、図６（Ｂ）を例として説明すると、画像１０２の画角で撮影して監視領域画像を取得する場合には、通常の処理における画角（例えば、図７のフローの実行時における画像１２１や画像１２２の画角）と比べて高精細（高画素）な画像が得られるような撮影モードを用いることも可能である。

また、図５に示される画像９１〜９９から図１１（Ａ）に示される監視領域画像１０１を合成する例を参照して、パン・チルト・ズームの制御量から絶対座標を算出する方法の一例を示す。
すなわち、本例では、撮像素子として１／２型ＣＣＤ（素子サイズが横６．４ｍｍ、縦４．８ｍｍ）を使用して、焦点距離を１０ｍｍとして図６（Ａ）に示されるような監視領域画像１０１を合成する。この場合、入力画像の画角は横方向３５．５°、縦方向２７．０°となり、上下左右５０％の重なり量で合成しているため、監視領域画像１０１は、横方向７１．０°、縦方向５４．０°の画角を有する。また、入力画像の画素数が横３２０画素、縦２４０画素であるとすると、監視領域画像１０１は横６４０画素、縦４８０画素で構成される。従って、監視領域画像１０１は、一画素当たり、横０．０５５°／ｐｉｘ、縦０．０５６°／ｐｉｘの分解能を有する。一例として、監視領域画像１０１の中心をＴＶカメラ１の方向の原点（パン０°、チルト０°）とし、カメラ雲台１２の操作によってパンが−５°に変わり、チルトが＋３°に変わり、焦点距離が１５ｍｍに変わったとする。すると、入力画像の中心は、監視領域画像１０１の座標系で（６４０÷２−５÷０．０５５、４８０÷２＋３÷０．０５６）＝（２２９、２９４）へ移動する。また、焦点距離が変わったことによって、入力画像の画角は横方向２４．１°、縦方向 １８．２°となることから、入力画像の画角は監視領域画像１０１の座標系で、横２４．１÷０．０５５＝４３８画素に相当し、縦１８．２÷０．０５６＝３２５画素に相当する。つまり、入力画像は監視領域画像１０１の（２２９−４３８÷２、２９４−３２５÷２）〜（２２９＋４３８÷２、２９４＋３２５÷２）＝（１０、１３１）〜（４４８、４５６）の範囲にあることが分かる。

また、テンプレート或いはパン・チルト・ズームの制御量以外の情報から絶対座標を特定することができる方法の一例を示す。
すなわち、絶対座標をパン・チルト・ズームの制御量及びテンプレートを用いたマッチング処理によって算出することが可能であるが、他の構成例として、例えばドアなどのように監視領域内に存在する特定の物体に着目して、ドアノブの位置やドアの見かけの大きさなどを用いて絶対座標を算出するような構成とすることもできる。例えば、ズームの制御量を用いる代わりに、画角変化前と、画角変化後における着目物体の画像上でのみかけの大きさの変化量を用いるようにしても、画角の変化の量を検出することが可能である。
このように、テンプレートを用いて現在における入力画像の位置や大きさを把握する方法以外に、例えば、テンプレートを用いずに、カメラの旋回（パン、チルト）の情報やズームの情報から、現在の入力画像の位置や大きさを把握することも可能である。なお、カメラの旋回情報やズーム情報からだと、例えば、カメラの揺れに対応することはできない。また、テンプレートを用いた処理に際して、カメラの旋回（パン、チルト）の情報などを併用するようなことも可能である。
また、テンプレート或いはカメラの旋回（パン、チルト）情報やズーム情報によらずに、基準位置に対する現在における入力画像の位置を把握することができる他の処理を行ってもよく、これにより、予め広い画角で用意された検出条件を利用することが可能である。
また、検出条件の切り替えや更新方法の一例を示す。
すなわち、本例では、監視領域画像１０１に対して設定した１通りの検出条件を用いて侵入物体の監視を行う構成としたが、他の構成例として、複数の検出条件を用いてもよい。例えば、昼用、夕暮れ用、夜用の検出条件を設定しておいて、時間毎に切り替えることが可能であり、また、風力計などの外部センサからの情報をもとに、風が無いときには一時的にマスク領域を無効にするようなことも可能である。また、侵入物体の検出処理の結果に基づいて、例えば、侵入物体以外の検出領域、つまり、入力画像の輝度と基準背景画像の輝度との差が所定の閾値以上になる領域をマスク領域に追加して検出条件を更新するようなことも可能である。

次に、以上の実施例（第１実施例〜第２実施例）に係る効果の具体例を示す。
図６（Ａ）、（Ｂ）及び図９（Ａ）、（Ｂ）、（Ｃ）を参照して、本実施例の効果を示す。
図６（Ａ）には、図４を参照して説明されるように、監視領域画像１０１と、監視領域画像１０１上に設定した各種の基準検出条件１１１〜１２０の一例を示してある。図６（Ｂ）には、基準となる画角１２１と、監視員の画角１２２と、光軸方向の操作による撮像装置１の撮像範囲１０２の一例を示してある。
図９（Ａ）には、画角、光軸方向の操作前の画角における検出条件１６１〜１６３を入力画像１５１に重ねて表示したものを示してある。図９（Ｂ）には、本発明の第１実施例に係る処理を適用した場合に得られる検出条件１６１ａ〜１６１ｃを入力画像１５２に重ねて表示したものを示してある。図９（Ｃ）には、本発明第２実施例に係る処理を適用した場合に得られる検出条件１６４、１６２ａ、１６５〜１６７を入力画像１５３に重ねて表示したものを示してある。

図６（Ａ）では、マスク領域１１１、警戒領域１１２〜１１４、検出すべき侵入物体の基準となる大きさ１１５、１１６、光軸方向の変化を検出するためのテンプレート１１７〜１２０を示してある。一例として、通常時における監視対象が建物の入口に出入りする侵入物体であって図６（Ｂ）に示される画角１２１が用いられるとして、ある時、監視員が、通常時における建物の入口と敷地の門とを同時に監視するために、図６（Ｂ）に示される画角１２２へ変更することを想定する。ここで、図９（Ａ）に示される画像１５１は、通常時における画角であり、当該画角に対して、マスク領域１６１、警戒領域１６２、光軸の変化を検出するためのテンプレート１６３が設定されている。このときに、監視員が図6（Ｂ）に示される画角１２２へ変更したとすると、例えば従来の検出条件に対して本発明の第１実施例に係る処理を適用した場合（ここでは、更にレンズ制御を考慮した場合）には、検出条件をＴＶカメラ１の光軸方向の変化量だけ平行移動させるため、検出条件は図９（Ｂ）に示されるようになる。

図９（Ｂ）において、マスク領域１６１ａでは、草木の存在する領域を全て覆うことはできず、草木の一部がマスク領域１６１ａの外にも存在することとなり、このため、草木の揺れを侵入物体として誤検出する可能性がある。また、画角変化によって、実際には警戒領域である敷地の門が撮像されるようになるが、ここは警戒領域としては設定されず、実際には警戒領域である領域内の侵入物体を警戒領域内には存在しないものとして判定する。更に、ＴＶカメラ１の光軸方向の変化を検出するためのテンプレート１６３ａは、画像１５２の外にはみ出すこととなり、光軸方向変化量検出処理が安定に行われなくなる。
一方、本発明の第２実施例に係る処理を検出条件に適用した場合には、図９（Ｃ）に示されるように、監視領域画像上に設定した基準検出条件から、マスク領域１６４、警戒領域１６２ａ、１６５、ＴＶカメラ１の光軸方向の変化を検出するためのテンプレート１６６、１６７を適切に算出することができる。従って、ＴＶカメラ１の画角の操作や、光軸方向の変化が起こるような場面においても、監視領域画像内の範囲であれば、不感帯を十分に設定することができなくなる問題や、警戒領域を適切に設定することができなくなる問題や、ＴＶカメラ１の光軸方向の変化の検出が安定に行われなくなる問題を解消することができる。そして、ＴＶカメラ１の画角の操作や、光軸方向の変化に合わせて検出条件を算出することができるため、信頼性の高い正確な物体検出を行うことを実現することができる。

以上の実施例（第１実施例〜第２実施例）に示されるように、本実施例では、撮像装置１から逐次入力する画像信号に基づいて撮像視野内の物体を検出する物体検出装置や物体検出方法において、前記画像信号の変化領域を検出する変化領域検出処理と、当該撮像装置１の光軸方向の変化の量を検出する光軸方向変化量検出処理と、当該光軸方向の変化に基づいて撮像視野内の物体を検出するための検出条件を算出する検出条件算出処理と、前記変化領域が当該検出条件を満たすか否かを判定する物体判定処理を行い、前記撮像装置１の撮像視野内の物体を検出する。
また、本実施例では、撮像装置１から逐次入力する画像信号に基づいて撮像視野内の物体を検出する物体検出装置や物体検出方法において、前記画像信号の変化領域を検出する変化領域検出処理と、当該撮像装置１の画角変化の量を検出する画角変化量検出処理と、当該画角変化に基づいて撮像視野内の物体を検出するための検出条件を算出する検出条件算出処理と、前記変化領域が当該検出条件を満たすか否かを判定する物体判定処理を行い、前記撮像装置１の撮像視野内の物体を検出する。

また、本実施例に係る物体検出装置や物体検出方法では、例えば、前記撮像装置１は、当該撮像装置１の画角を変化させるカメラ雲台１２の装置を有する。そして、前記検出条件算出処理では、前記カメラ雲台１２を制御して当該撮像装置１の画角を変化させた場合に、検出条件を算出する。
また、本実施例に係る物体検出装置や物体検出方法では、例えば、前記撮像装置１は、当該撮像装置１の画角を変化させるカメラ雲台１２の装置を有する。そして、前記カメラ雲台１２を制御して当該撮像装置１の画角を変化させながら入力した画像信号に基づいて監視領域画像を作成する監視領域画像作成処理を行う。また、前記検出条件算出処理によって算出される検出条件は、前記監視領域画像に対して設定された基準検出条件及び前記撮像装置１の画角に基づいて算出される。

また、本実施例に係る物体検出装置や物体検出方法では、例えば、前記検出条件としては、物体の検出を行わない領域を指定するマスク領域と、検出した物体の重要度を区別する警戒領域と、検出すべき物体の大きさを表す大きさ情報と、検出すべき物体の移動速度を表す速度情報の少なくとも１つを含む。
また、本実施例に係る物体検出装置や物体検出方法では、例えば、前記マスク領域は、前記監視領域画像上の少なくとも３点以上の頂点を持つ多角形で表現される。そして、前記検出条件算出処理では、前記画角変化及び前記光軸方向変化に基づいて、当該頂点の座標を前記監視領域画像における座標から入力画像における座標へ変換する。
また、本実施例に係る物体検出装置や物体検出方法では、例えば、前検出した物体の重要度を区別する警戒領域は、前記監視領域画像上の矩形で表現される。そして、前記検出条件算出処理では、前記画角変化及び前記光軸方向変化に基づいて、当該矩形の座標を前記監視領域画像における座標から入力画像における座標へ変換する。
また、本実施例に係る物体検出装置や物体検出方法では、例えば、前記検出すべき物体の大きさを表す大きさ情報は、前記監視領域画像上の矩形で表現される。そして、前記検出条件算出処理では、前記画角変化及び前記光軸方向変化に基づいて、当該矩形の座標を前記監視領域画像における座標から入力画像における座標へ変換する。
また、本実施例に係る物体検出装置では、例えば、前記速度情報は、前記大きさ情報に基づいて算出される。

また、本実施例では、撮像装置１から逐次入力する画像信号に基づいて撮像視野内の物体を検出する物体検出装置や物体検出方法において、監視視野範囲を逐次撮像する撮像装置１と、撮像装置１の画角を変化させるカメラ雲台１２の装置と、撮像装置１が取得した映像信号を逐次画像信号へ変換する画像入力インタフェース２１と、当該画像入力インタフェース２１によって変換された前記画像信号を処理する処理機能を備えた。そして、当該処理機能は、例えば、前記画像信号の変化領域を検出し、当該撮像装置１の光軸方向の変化や画角の変化を検出し、当該光軸方向変化や当該画角変化に基づいて撮像視野内の物体を検出するための検出条件を算出し、前記変化領域が当該検出条件を満たすか否かを判定することにより、前記撮像装置１の撮像視野内の物体を検出する。

従って、本実施例に係る物体検出装置や物体検出方法では、例えばＴＶカメラ１によって撮像される画像信号から変化領域を検出し、当該ＴＶカメラの光軸の方向の変化や画角の変化を検出し、当該光軸方向変化や当該画角変化に基づいて撮像視野内の物体を検出するための検出条件を算出し、前記変化領域が当該検出条件を満たすか否かを判定することにより、当該ＴＶカメラ１の光軸方向や画角が変化したような場合においても、その影響を抑制して、物体を検出することができる。
具体例として、従来では、ＴＶカメラ１の光軸方向変化や画角操作によって、予め設定した検出条件を適用することができなくなる可能性があった。そして、このような場合には、不感帯を十分に設定することができなくなる問題や、変化領域の大きさ判定或いは警戒領域内に存在するか否かの判定を正確に行うことができなくなる問題が発生し、検出条件を改めて設定し直さなければならないといった煩わしさがあった。
これに対して、本実施例では、ＴＶカメラ１の光軸方向変化や画角操作を検出し、変化の量に応じて検出条件を算出することにより、ＴＶカメラ１の光軸方向変化や画角変化の影響を抑制することができ、信頼性の高い正確な物体検出を行うことができる物体検出装置や物体検出方法を実現することができる。

このように、本実施例では、カメラの位置ずれ（移動量）を算出し、例えば、マスク領域や警戒領域や背景画像などといった物体の検出条件について、当該マスク領域などの座標を補正することにより、当該検出条件を前記算出したずれ分だけ移動させることにより、正確に物体を検出することができる。
また、一構成例として、広い視野を捉えた画像において、物体の検出条件を設定し、そして、入力画像取得時におけるカメラの画角、向き（広い視野画像上における位置）に応じて、入力画像用の検出条件を算出することにより、正確に物体を検出することができる。また、広い視野を捉えた画像として、例えば、複数枚の画像をつなぎ合わせた合成画像を用いることができる。
また、一構成例として、入力画像取得時におけるカメラの画角、向きによらず、常に、入力画像中に設定したテンプレートを１つ以上含ませるために、広い視野を捉えた画像上において、位置ずれを検出するためのテンプレートを複数設定することを行う。

なお、本実施例に係る物体検出装置や物体検出方法では、撮像装置１により撮像される画像（入力画像）により物体検出対象となる画像が構成され、撮像装置１により撮像される複数の画像の合成結果（監視領域画像）により物体検出対象となる画像と比べて広い画像が構成され、例えば人などの侵入物体の画像により検出対象となる物体の画像が構成される。また、本実施例に係る物体検出装置や物体検出方法では、検出条件として、テンプレートや、基準背景画像や、マスク領域や、警戒領域や、大きさ情報や、速度情報が用いられ、また、基準となる検出条件が監視領域画像において設定され、当該基準検出条件に基づいて入力画像に対して物体の画像を検出するために使用される検出条件が設定される。
また、本実施例に係る物体検出装置や物体検出方法では、例えばテンプレートマッチングの結果や雲台制御部２３の動作やレンズ制御部２３の動作などに基づいてＭＰＵ２６が入力画像の光軸方向の変化や画角の変化を検出する機能により物体検出対象画像視野変化検出手段が構成されており、ＭＰＵ２６が例えば座標の補正を行って入力画像に対する検出条件を設定する機能により検出条件設定手段が構成されており、ＭＰＵ２６が検出条件を使用して入力画像から移動などする物体の画像を検出する機能により物体画像検出手段が構成されており、また、撮像装置１の撮像部１１などの機能により撮像手段が構成されており、撮像装置１のカメラ雲台１２の機能や撮像レンズ１３の機能により画角変化手段が構成されている。

以下で、本発明に関する技術の背景を示す。なお、ここで記載する事項は、必ずしも全てが従来の技術であるとは限定しない。
ＴＶカメラ等の撮像装置を用いた物体監視装置は、従来より広く用いられている。このような物体監視装置を用いた監視システムにおいて、監視視野内に入り込んでくる人間や自動車などの侵入物体の検出を、監視員（オペレータ）がモニタに表示される画像を見ながら行う有人監視では、監視員の熟練度、健康状態などによって監視能力に差が生じ、侵入物体の見逃しなどの問題が発生する場合があった。そこで、従来の有人監視ではなく、カメラ等の画像入力手段から入力される画像から侵入物体を自動的に検出し、所定の報知や警報処置が得られるようにしたシステムが要求されるようになってきている。
このようなシステムを実現するためには、所定の監視方式を用いて侵入者等の検出すべき監視対象物体を検出する機能が必要となる。このような監視方式の一例として、差分法と呼ばれる方式が従来より広く用いられている。差分法とは、ＴＶカメラより得られた入力画像と予め作成した基準背景画像、すなわち、検出すべき物体が映っていない画像とを比較し、画素毎に輝度値の差分を求め、その差分値を所定の閾値によって閾値処理し、差分値の大きい領域を変化領域として検出するものである。

図１０及び図１１を参照して、上記した差分法の処理を説明する。図１０は差分法によって変化領域を検出する手順の一例を説明するための図であり、図１１は差分法を応用した監視方式の典型的な処理手順の一例を示すフローチャートである。
まず、図１０を用いて、差分法によって撮像装置から逐次入力される入力画像の輝度の変化領域を検出する手順の一例を説明する。
同図において、（Ａ）画像１７１は撮像装置から逐次入力される入力画像であり、（Ｂ）画像１７２は予め用意した検出すべき対象物体が映っていない画像である。
これらの２枚の画像１７１及び画像１７２を入力とする差分器（減算器）１７５によって、画素毎の輝度値の差分を計算して（Ｃ）差分画像１７３を得る。次に、差分画像１７３を入力とする二値化器１７６は、差分画像１７３の各画素を閾値Ｔｈ（実験的に決定され、例えば、Ｔｈ＝２０）で閾値処理し、閾値Ｔｈ未満の画素の画素値を“０”とする一方、閾値Ｔｈ以上の画素の画素値を“２５５”として、（Ｄ）二値化画像 １７４を得る。これによって、入力画像１７１に映った人型の物体１８１は、差分器１７５によって差分が生じた領域１８２（入力画像の輝度の変化領域）として計算され、二値化器１７６によって画素値“２５５”の画像１８３として検出される。差分法の処理については、種々な検討等が為されている（例えば、特許文献２参照。）。

次に、図１１のフローチャートを用いて、上記した差分方式を応用した典型的な物体検出方式の処理手順の一例を説明する。
同図において、初期化処理ステップでは、差分法による監視方式を実行するための外部機器、変数、画像メモリ等の初期化を行う（ステップＳ６１）。画像入力ステップでは、ＴＶカメラから例えば横３２０画素、高さ２４０画素の入力画像を得る（ステップＳ６２）。差分処理ステップでは、画像入力ステップで得た入力画像（画像１７１）と予め作成しておいた基準背景画像（画像１７２）との各画素毎の輝度値の差分（画像 １７３）を計算する（ステップＳ６３）。二値化処理ステップでは、差分処理ステップで得られた差分画像の画素値（差分値）が所定の閾値Ｔｈ（例えば、Ｔｈ＝２０）未満の画素の画素値を“０”とし、閾値Ｔｈ以上の画素の画素値を“２５５”として、二値化画像（画像１７４）を得る（ステップＳ６４）。なお、本例では、１画素の画素値を８ビットで計算しており、すなわち、１画素が“０”から“２５５”までの値を持つ。
上記した画像入力ステップから二値化処理ステップまでの処理（ステップＳ６１〜ステップＳ６４）によって、上記図１０に示した入力画像中の輝度の変化領域が検出される。
次に、マスク処理ステップでは，二値化処理ステップで得られた二値化画像に対して、予め設定したマスク領域（物体を検出しない不感帯領域として処理する領域）の中の“２５５”の画素値を持つ画素の画素値を“０”へ修正する（ステップＳ６５）。

ここで、図１２を参照して、このようなマスク処理の必要性を説明する。
同図（Ａ）は、監視領域１９１を表しており、当該監視領域１９１内に侵入した侵入物体を検出する用途を想定している。監視領域１９１内には、建造物の入口、草木などが映っている。同図（Ｂ）は、監視領域１９２において、差分法を適用した場合に検出される入力画像の輝度の変化領域を表している。同図（Ｂ）において、検出すべき物体２０２以外にも、入力画像と基準背景画像で輝度に差が生じるような風で揺れた草木の領域２０３、２０４も検出されてしまい、入力画像中に３つの物体２０２、２０３、２０４が存在すると判定されてしまう。このような事象が発生した場合、従来から、同図（Ｃ）の監視領域１９３に示すようなマスク領域２０５を設定し、マスク領域２０５内を不感帯（物体の存在判定を行なわない領域）として処理する方法が用いられている。このようなマスク処理は、差分法に限らず、さまざまな物体検出方法で用いられ、監視方式の性能を向上させるための方法として広く使用されている。

次に、ラベリング処理ステップでは、マスク処理ステップで得られた修正された二値化画像中の画素値が“２５５”となる画素のかたまりを検出して、各々のかたまりに番号を付けて区別できるようにする（ステップＳ６６）。処理画像表示ステップでは、例えばラベリング処理ステップによって番号付けされた画素値が“２５５”となる画素のかたまりを入力画像に重畳して表示し、差分法によって検出された入力画像の輝度の変化領域を視覚的に分かりやすく表示する（ステップＳ６７）。
次に、差分法によって検出された入力画像の輝度の変化領域に検出すべき物体が映っているか否かを判定する。具体的には、物体存在判定ステップでは、番号付けされた変化領域のそれぞれに対して、大きさ、面積、速度、検出位置等の検出条件に基づいて、当該変化領域が検出条件に合致するか否かを判定し、検出条件に合致する場合には検出すべき物体が存在するとして警報・モニタ表示ステップへ分岐し、検出条件に合致しない場合には検出すべき物体が存在しないとして画像入力ステップへ分岐する（ステップＳ６８）。
例えば、検出条件として変化領域の基準の大きさを用いた場合、番号付けされた変化領域１８３に対して、外接する矩形１８４を算出し、外接矩形 １８４の幅ｄｘ、高さｄｙを求め、検出条件の基準の大きさとの比較を行う（上記図１０参照）。しかし、検出すべき物体は、画面上で観測される位置によって見かけの大きさが変化するため、検出条件の基準の大きさも画面上の位置に応じて補正する必要がある。

図１３を参照して、このような補正処理を説明する。
同図（Ａ）は、領域２１１において、監視システムの設置時に設定される検出すべき物体の基準の大きさを表すものである。検出すべき物体の基準の大きさは、ＴＶカメラから離れた位置に映る物体とＴＶカメラに近い位置に映る物体を実際に撮像し、その大きさに基づいて設定される。同図（Ａ）において、物体２２１はカメラから離れた位置で撮像した物体の像であり、物体２２２はカメラに近い位置で撮像した物体の像である。同図（Ａ）では、２つの像を分かりやすく重ねて表示してある。ここで、検出すべき物体の大きさの情報として、各々の物体２２１及び物体２２２に対して、検出位置 ｙ１、ｙ２、外接矩形の幅ｄｘ１、ｄｘ２、外接矩形の高さｄｙ１、ｄｙ２が記録される。例えば、同図（Ｂ）の領域２１２に示した位置で物体を撮像したとする。この場合、物体２２３は、同図（Ａ）に示される位置には存在しないため、前記検出すべき物体の基準の大きさの情報から、物体２２３の位置の基準の大きさを推定する必要がある。基準の大きさの推定は、検出位置ｙ１、ｙ２、ｙ３に基づいた補間によって行われる。物体２２３の位置ｙ＝ｙ３に撮像される物体の基準の大きさｄｘ３、ｄｙ３は、式２及び式３によって算出される。これによって、任意の位置で検出された物体の基準の大きさを算出することができる。

上記した物体存在判定ステップでは、上記図１０に示した差分法によって検出された変化領域１８３に対して検出位置ｙを算出し、検出位置 ｙに基づいて上記式２及び上記式３によって基準の大きさｄｘ３、ｄｙ３を求める。これによって、検出すべき物体の基準の大きさを設定していない位置でも、基準となる大きさを補間して算出することができる。そして、基準の大きさｄｘ３、ｄｙ３に対して許容量（例えば、ｘ方向にｒｘ、ｙ方向にｒｙ）を設定し、変化領域１８３の外接矩形１８４の幅ｄｘや高さｄｙが「ｄｘ３−ｒｘ≦ｄｘ≦ｄｘ３＋ｒｘ、ｄｙ３−ｒｙ≦ｄｙ≦ｄｙ３＋ｒｙ」を満たすときに、当該変化領域１８３に検出すべき物体が存在すると判断する。
ここで、ｒｘ、ｒｙは、例えば、「ｒｘ＝０．５×ｄｘ３、ｒｙ＝０．３×ｄｙ３」として算出され、それぞれ、基準の大きさに対して５０％、３０％の大きさの変動を許容することができる。すなわち、横方向は基準の大きさの５０％から１５０％の範囲について、縦方向は基準の大きさの７０％から１３０％の範囲について、これらの範囲の大きさの変化領域に検出すべき物体が存在すると判定する。

ここで、以上の説明では、検出すべき物体の検出条件として検出すべき物体の基準の大きさを用いているが、ＴＶカメラから逐次入力される入力画像中での変化領域の位置変化量（すなわち、見かけ上の移動速度）を算出し、その位置変化量に応じて検出すべき物体であるか否かを判定するようにしても良い。この場合、例えば、検出すべき物体の移動速度を５ｋｍ／ｈ（１．４ｍ／ｓ）とし、入力画像を１００ｍｓ周期で入力すると、１回の画像入力毎に検出すべき物体は０．１４ｍ移動することになる。このとき、検出すべき物体の横幅を０．５ｍと想定すると、上記式２で算出される基準の大きさｄｘ３のおよそ１／３分だけ移動することになる。従って、検出すべき物体であるか否かの判定としては、例えば変化領域の位置変化量がｄｘ３の２／３（２倍の余裕を持たせた例）以下であった場合に検出すべき物体であると判定する。このようにすることで、例えば、監視領域内の検出すべき人と検出すべきではない車輌とを区別することなどができる。
上記した物体存在判定ステップにおいて検出すべき物体が存在すると判定された場合には、次に、警報・モニタ表示ステップでは、例えば侵入物体を発見したことを表す警報を鳴らして監視員に知らせる（ステップＳ６９）。更に、警報・モニタ表示ステップでは、上記図１２（Ａ）に示すように監視領域内に警戒領域２０１を設定し、当該警戒領域２０１内に変化領域２０２の一部が含まれている場合には、検出した物体がより重要度の高い位置（上記図１２（Ａ）の例では、建造物の入口を警戒領域としている）に存在すると見なして赤色の警告灯を点灯させて監視員に注意を促し、当該警戒領域２０１内に変化領域２０２の一部が含まれていない場合には、黄色の警告灯を点灯させるような構成とすることも可能である。

上記のような差分法を用いた従来方式では、マスク領域、検出すべき物体の基準の大きさ、警戒領域の検出条件を予め設定しておき、入力画像の輝度の変化領域の検出時や、検出した変化領域に検出すべき物体が存在するか否かを判定する際に、当該検出条件を使用する。これらの検出条件は、例えばＴＶカメラの画角や光軸方向を変えた場合には適切な値に設定し直す必要がある。すなわち、監視領域を変更するために、撮像レンズ（例えば、図１の撮像レンズ１３）やカメラ雲台（例えば、図１のカメラ雲台１２）を操作してＴＶカメラの画角や光軸方向を変える度に、上記した検出条件を再設定する必要がある。従って、検出条件の再設定作業中には侵入物体の監視業務が行えなくなってしまうという問題も発生する。更に、屋外などにおいて、ＴＶカメラが風で揺れる場合などには、ＴＶカメラの光軸方向が変化してしまい入力画像にぶれが生じる。このような場合、入力画像中に動く物体が存在すると判断されてしまうことがあり、従来の方法では、このような問題に対して、マスク領域を広めに設定することや、基準の大きさに対する許容量（上記した例では、ｒｘ、ｒｙ）を大きめに設定することや、警戒領域を広めに設定することが行われる。このため、不感帯を広く設定しなければならず、物体を検出することができる範囲が狭くなることや、変化領域の大きさ判定が正確に行われないことや、警戒領域内に存在するか否かの判定が正確に行われないような問題が発生していた。このような問題は、差分法による物体検出方法に限らず、マスク領域を使用する方式、検出した領域の大きさ判定を行う方式、警戒領域を設定して警戒領域の内外で警報の種類を変えるなどする方式に、共通に存在する問題点である。

上述のように、従来より広く用いられている物体検出方法では、例えば、ＴＶカメラの画角や光軸方向を変更した場合などには検出条件を再設定しなければならないという問題があり、また、カメラの揺れなどによって光軸方向が変化するような場面では不感帯を広く設定しなければならず、物体を検出することができる範囲が狭くなるという問題や、変化領域の大きさ判定或いは警戒領域内に存在するか否かの判定が正確に行えなくなるという問題があった。
これに対して、本発明の実施例に係る物体検出装置や物体検出方法では、例えば、ＴＶカメラの画角や光軸方向を変更したような場合や、ＴＶカメラが揺れて光軸方向が変化したような場合においても、その変化を検出して補正することにより、信頼性が高い正確な物体検出を行うことができる。

ここで、本発明に係る物体検出装置や物体検出方法などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係る物体検出装置や物体検出方法などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Read Only Memory）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Compact Disc）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の実施例に係る物体検出装置の構成例を示す図である。 第１実施例に係る差分法を用いた物体検出方式の処理の流れの一例を示す図である。 （Ａ）はＴＶカメラの光軸方向の変化を検出するためのテンプレート位置の一例を示す図であり、（Ｂ）はテンプレートマッチング処理の一例を説明するための図である。 第２実施例に係る基準検出条件の設定の処理の流れの一例を示す図である。 （Ａ）〜（Ｉ）は各画像を示し、監視領域画像を合成する処理の一例を説明するための図である。 （Ａ）は合成された監視領域画像と基準検出条件の一例を示す図であり、（Ｂ）はＴＶカメラの画角や光軸方向に関する説明をするための図である。 第２実施例に係る差分法を用いた物体検出方式の処理の流れの一例を示す図である。 （Ａ）〜（Ｅ）はマスク領域位置ずれ補正処理及び警戒領域補正処理の具体例を説明するための図である。 （Ａ）〜（Ｃ）は撮像装置によって得られる画像と検出条件の一例を示す図である。 差分法の処理手順の一例を示す図である。 差分法を用いた物体検出方式の処理の流れの一例を示す図である。 （Ａ）は差分法における監視領域の一例を示す図であり、（Ｂ）は差分法において検出した変化領域の一例を示す図であり、（Ｃ）は差分法におけるマスク領域の一例を示す図である。 （Ａ）は検出すべき物体と判定する基準となる大きさの設定方法の一例を説明するための図であり、（Ｂ）は基準となる大きさの補間方法の一例を説明するための図である。

符号の説明

１・・撮像装置（ＴＶカメラ）、 ２・・処理装置、 ３・・操作部、 ４・・外部記憶装置、 ５・・出力モニタ、 ６・・警告灯、 １１・・撮像部、 １２・・カメラ雲台、 １３・・撮像レンズ、 ２１・・画像入力部、 ２２・・雲台制御部、 ２３・・レンズ制御部、 ２４・・操作入力部、 ２５・・画像メモリ、 ２６・・ＭＰＵ、 ２７・・ワークメモリ、 ２８・・外部入出力部、 ２９・・画像出力部、 ３０・・警報出力部、 ４１・・ジョイスティック、４２、４３・・ボタン

Claims (3)

1. 物体検出対象となる画像に含まれる物体の画像を検出する物体検出装置において、
   物体検出対象となる画像の視野に関する変化を検出する物体検出対象画像視野変化検出手段と、
   物体検出対象画像視野変化検出手段により検出される変化に基づいて、物体の画像を検出するために使用される検出条件を設定する検出条件設定手段と、
   検出条件設定手段により設定される検出条件を使用して、物体検出対象となる画像に含まれる物体の画像を検出する物体画像検出手段と、
   を備えたことを特徴とする物体検出装置。
2. 請求項１に記載の物体検出装置において、
   物体検出対象画像視野変化検出手段は、物体検出対象となる画像の視野に関する変化として、画像を撮像する装置の光軸方向の変化と、画像を撮像する装置の画角の変化の一方又は両方を検出する、
   ことを特徴とする物体検出装置。
3. 請求項１又は請求項２に記載の物体検出装置において、
   物体検出対象となる画像と比べて広い画像について、物体の画像を検出するために使用される検出条件を設定するための基準となる検出条件が設定され、
   検出条件設定手段は、当該基準となる検出条件及び物体検出対象画像視野変化検出手段により検出される変化に基づいて、物体の画像を検出するために使用される検出条件を設定する、
   ことを特徴とする物体検出装置。

Images