JP3625442B2 - Object detection method, object detection apparatus, and object detection program - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に、撮像視野内の侵入物体を、撮像装置からの入力画像と基準背景画像との画素ごとの輝度値の差が侵入物体検出しきい値以上になる画素の領域に基づいて検出する侵入物体検出方法及び侵入物体監視装置に関し、特に、侵入物体検出しきい値を撮像装置から入力する入力画像に基づいて自動的に決定するようにした侵入物体検出方法及び侵入物体監視装置に関する。
【０００２】
【従来の技術】
近年、カメラ等の撮像装置を画像入力手段として用いた侵入物体検出装置は、従来からある監視員による有人監視ではなく、監視視野内の侵入物体を自動的に検出したり、物体の種類を自動的に確認したりして、所定の報知や警報処置が自動的に得られるようにするものが多い。
このようなシステムを実現するためには、先ず、カメラ等の画像入力手段より得られた入力画像から所定の侵入物体を検出する処理が必要となる。このような処理を実現する方法としては、例えば、入力画像と基準背景画像（即ち、検出すべき物体の写っていない画像）とを比較し、画素毎に差分を求め、その差分の大きい領域を物体として抽出する方法がある。この方法は、差分法と呼ばれ、従来から広く用いられている。
【０００３】
差分法の処理を図１２によって説明する。図１２は差分法における物体検出の処理原理を説明するための図である。１２０１ は入力画像、１２０２ は基準背景画像、１２０３ は差分画像、１２０４ は差分画像 １２０３ の二値化画像、１２０５ は減算器、１２０６ は二値化器、１２０７ は入力画像 １２０１ に写った人型の物体の領域、１２０８ は差分画像 １２０３ で差分が生じた差分領域、１２０９ は二値化画像 １２０４ で抽出された二値化領域である。
【０００４】
図１２において、減算器 １２０５ は入力画像 １２０１ と基準背景画像 １２０２ との輝度値の差分を画素毎に計算して差分画像 １２０３ を出力する。二値化器 １２０６ は差分画像 １２０３ について、画素毎の輝度値（差分値）が所定のしきい値 Ｔｈ 未満（差分値＜ Ｔｈ ）の画素の画素値を“ ０ ”、しきい値 Ｔｈ 以上（差分値≧ Ｔｈ ）の画素の画素値を“ ２５５ ”（１画素の輝度値を８ビットで計算）として二値化画像 １２０４ を得る。ここで、例えば、しきい値 Ｔｈ を“ ２０ ”というように設定する。
これによって、入力画像 １２０１ に写った人型の物体 １２０７ は、減算器 １２０５ によって差分が生じた領域 １２０８ が算出され、更に二値化器 １２０６ によって輝度値“ ２５５ ”のかたまりの画像 １２０９ が侵入物体として検出される。
【０００５】
この方法を用いた侵入物体認識方法の一例を図１３を用いて説明する。
図１３は、侵入物体検出方法を実行するための侵入物体検出プログラムの動作を示すフローチャートである。
画像入力ステップ １１１ では、ＴＶ カメラ等の撮像装置から、例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ の入力画像 １２０１ を取得し、ステップ １１２ に進む。
差分処理ステップ １１２ では、入力画像 １２０１ と基準背景画像 １２０２ との画素毎の差分を求めて差分画像 １２０３ を取得しステップ １１３ に進む。
二値化処理ステップ １１３ では、得られた差分画像 １２０３ を所定の二値化しきい値に基づいて侵入物体検出しきい値以上の画素を“ ２５５ ”、侵入物体検出しきい値未満の画素を“ ０ ”として二値化画像 １２０４ を取得し、ステップ １１４ に進む。
【０００６】
侵入物体検出処理ステップ １１４ では、例えば、ラベリングの方法によって二値化画像 １２０４ の中で画素値“ ２５５ ”を持つ画素のかたまりを検出してこれを侵入物体とし、ステップ １１５ に進む。
侵入物体判定ステップ １１５ では、侵入物体検出処理ステップ １１４ で侵入物体が検出された場合にはステップ １１６ に進み、侵入物体が検出されなかった場合には画像入力ステップ １１１ へ戻る。
警報・モニタ表示ステップ １１６ では、例えば、画像出力 Ｉ／Ｆ（以降、インターフェースを Ｉ／Ｆ と称する）、１１１０ を介してモニタ １１１３ に処理結果を表示したり、例えば、出力 Ｉ／Ｆ １１０９ を介して警告灯 １１１２ を点灯させたりする。
したがって、差分法を用いた侵入物体検出方法は、入力画像と基準背景画像とを比較し、画素毎に差分を求め、その差分の大きい領域を物体として検出する。差分法を応用した物体検出方法として、例えば平成７年特許公開第７９４２９号公報がある。
【０００７】
上述の侵入物体検出方法は、入力画像と基準背景画像との画素毎の差分と予め設定した侵入物体検出しきい値との比較によって侵入物体を検出する。
この侵入物体検出しきい値を小さな値に設定した場合には、侵入物体以外のノイズ（撮像装置内部で発生するノイズや映像信号を伝送する過程で重畳するノイズ等）や木々の揺れといった侵入物体以外の動く物体を誤検出する可能性がある。
一方、侵入物体検出しきい値を大きな値に設定した場合、侵入物体を構成する画素で基準背景画像と輝度値が近いものを検出できなくなってしまうため、侵入物体の見逃しが起こる可能性がある。
したがって、侵入物体の検出性能は、侵入物体検出しきい値に大きく依存する。しかし、この侵入物体検出しきい値は、監視視野領域の照度や時間帯、レンズの絞り等に合わせて設定する必要があり、その設定作業は煩雑、かつ、熟練性を要した。
【０００８】
【発明が解決しようとする課題】
前述の従来技術には、差分法を用いて侵入物体の検出する場合、侵入物体検出しきい値をどんな値に設定するかが重要であるが、この設定作業は、監視視野領域の照度や時間帯、レンズの絞り等が変わる度に行なわなければならず、煩雑であった。また、撮像装置より得られた入力画像から侵入物体以外のノイズを除去することができる侵入物体検出しきい値と、撮像視野に写した基準侵入物体を検出することによって侵入物体検出しきい値とを自動的に算出して、侵入物体検出しきい値を設定することには熟練性を要するという欠点があった。
本発明の目的は、上記のような欠点を除去し、侵入物体検出しきい値の設定作業に熟練性を必要とせず、監視視野領域の照度や時間帯、レンズの絞り等が変わった場合でも容易に侵入物体検出しきい値を設定できる信頼性の高い侵入物体検出方法並びに侵入物体認識装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の目的は、上記のような欠点を除去し、差分画像を二値化する二値化しきい値を増加させたときの二値化画像に検出される画素の変化に基づいて侵入物体検出しきい値を決定し、侵入物体を正確に検出するようにして、信頼性の高い侵入物体検出装置を提供することである。
【００１０】
上記の目的を達成するために、本発明の侵入物体検出パラメータ設定方法は、撮像装置から得られる画像を、差分法を適用して監視視野内の侵入物体を検出する監視方法において、前記撮像装置からの第１の入力画像と記憶装置に記憶されている基準背景画像との輝度値の第１の差分画像を生成し、前記第１の差分画像を所定の二値化しきい値で二値化処理すると共に、二値化処理した画像のノイズレベルが所定の値以下となるまで上記二値化しきい値を変化させ、前記二値化処理した画像のノイズレベルが所定の値以下になる二値化しきい値を第１の二値化しきい値とし、前記第１の二値化しきい値に基づいて、侵入物体を検出することを特徴とする侵入物体検出のためのしきい値を自動的に決定するものである。
【００１１】
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値の変化を、等差的、等比的、あるいはランダムに変えることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値を増加させることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値を減少させることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記第１の入力画像は、侵入物体が存在しない画像であることを特徴とする。
【００１２】
また、本発明の侵入物体検出パラメータ設定方法は、更に、前記撮像装置からの侵人物体を含む第２の入力画像と前記記憶装置に記憶されている前記基準背景画像との輝度値の第２の差分画像を生成し、前記第２の差分画像を所定の二値化しきい値で二値化処理すると共に、二値化処理した画像の侵入物体の大きさが所定の大きさ以下となるまで前記二値化しきい値を変化させ、前記二値化処理した画像の侵入物体の大きさが所定の大きさ以下となる二値化しきい値を第２の二値化しきい値とし、前記第１と第２の二値化しきい値を含み、前記第１と第２の二値化しきい値の間に第３の二値化しきい値を設定し、該第３の二値化しきい値に基づいて、侵入物体を検出するものである。
【００１３】
また、本発明の侵入物体検出パラメータ設定方法は、前記第１と第２のしきい値設定に際し、二値化しきい値の変化を等差的、等比的、あるいはランダムに変えることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値を増加させることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値を減少させることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、侵入物体の所定の大きさを侵入物体の外接図形で表わすことを特徴とする。
【００１４】
また、本発明の侵入物体検出パラメータ設定方法は、更に、前記第１の入力画像と前記第２の入力画像からそれぞれ得られる第１と第３の二値化しきい値をそれぞれ記録し、前記二値化処理を所定フレーム数実行し、それぞれの二値化しきい値を記録し、前記記録された複数の二値化しきい値の中から所定の第１と第２の二値化しきい値を決定するものである。
また、本発明の侵入物体検出パラメータ設定方法は、前記第１の二値化しきい値は、最大の二値化しきい値を決定し、前記第２の二値化しきい値は、最小の二値化しきい値決定することを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記第１の差分画像を所定の二値化しきい値での二値化処理は、更に、不感帯領域を設けて、該設けられた不感帯領域では二値化処理を行わないことを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、更に、前記第１と第２の二値化しきい値の差を求め、前記第１と第２の二値化しきい値の差が所定値以下の場合、異常と判定するステップを有することを特徴とする。
【００１５】
また、本発明の侵入物体監視装置は、差分法を適用して撮像装置から得られる画像から監視視野内の侵入物体を検出する侵入物体監視装置において、第１の入力画像を出力する撮像装置と、基準背景画像を記憶する第１の記憶装置と、前記第１の入力画像と前記基準背景画像との輝度値の第１の差分画像を生成する処理ユニットと、前記第１の差分画像を所定の二値化しきい値で二値化処理し、該二値化処理した画像のノイズ成分が所定の値以下となるまで前記二値化しきい値を変化させ、前記二値化処理した画像のノイズ成分が所定の値以下となる二値化しきい値を第１の二値化しきい値として出力する第１の二値化処理ユニットと出力された前記第１の二値化しきい値に基づいて、侵入物体を検出する検出処理ユニットとを備えるものである。
【００１６】
、また、本発明の侵入物体監視装置の前記撮像装置は、侵入物体を含む第２の入力画像を出力し、前記撮像装置は、更に、前記第２の入力画像と前記第１の記憧装置に記憶されている前記基準背景画像との輝度値の第２の差分画像を生成する処理ユニットと、前記第２の差分画像を所定の二値化しきい値で二値化処理し、二値化処理した画像の侵入物体の大きさが所定の大きさ以下となるまで前記二値化しきい値を変化させ、前記二値化処理した画像の侵入物体の大きさが所定の大きさ以下となる二値化しきい値を第２の二値化しきい値として出力する第２の二値化処理ユニットと、前記第１と第２の二値化しきい値を含み、これら第１と第２の二値化しきい値のしきい値の間に第３の二値化しきい値を設定するしきい値設定ユニットとを備え、前記検出処理ユニットは、前記第２の二値化しきい値に基づいて侵入物体を検出するものである。
【００１７】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しながら説明する。図面において、同様の構成要素には、同様な参照符号を付す。
まず、図１４によって本発明の原理を説明する。
図１４は、二値化しきい値決定のプロセスを説明するための、二値化画像の変化を示す図である。
図１４において、参照番号 １４０ 〜 １４８ は、撮像装置からの侵入物体（この場合は、「人」）が写った同一の入力画像と侵入物体が写っていない基準背景画像との画素ごとの輝度値の差分をとって生成した二値化画像を、二値化しきい値 ｔｈ をそれぞれ、ｔｈ ＝ ５ 、１０ 、１５ 、２０ 、２５ 、３０ 、３５ 、４０ と増加したときの二値化画像を示す。
１４００ は二値化画像 １４０ に含まれるノイズ画像を表し、１４０１ は侵入物体の画像を表す。二値化しきい値を初期値 ｔｈ ＝ ５ から増加していくと、ノイズ画像は徐々に消えていき、ｔｈ ＝ ２５ でノイズが消える。このときの二値化しきい値を第１のしきい値 Ｔｈ１ とする。二値化しきい値を更に増加していくと、侵入物体の大きさは徐々に縮小し、ｔｈ ＝ ３５ で侵入物体が所定の大きさで検出され、ｔｈ ＝ ４０ では侵入物体は所定の大きさ未満に縮小する。ｔｈ ＝ ３５ における二値化しきい値を第２のしきい値 Ｔｈ２ とする。
従って、ノイズを完全に除去し、かつ、侵入物体を見落とすことなく検出するためには、侵入物体検出しきい値としては、第１のしきい値 Ｔｈ１ と第２のしきい値 Ｔｈ２ の間のしきい値を選択すれば良い。
尚、第１のしきい値 Ｔｈ１ は、ノイズが完全に消える二値化しきい値としたが、後述のように、所定数以上の画素のかたまりが消失したしきい値としても良い。
以上の説明では、二値化しきい値とし初期値から増加していったが、例えば、初期値を ｔｈ ＝ ４０ として、それから減少していっても良いことは言うまでもない。
【００１８】
次に、本発明の侵入物体監視装置に係る一実施例を説明する。
図１１は、本発明の侵入物体監視装置の構成を示すブロック図である。１１０１はテレビジョンカメラ（以下ＴＶカメラと呼ぶ）、１１０２は入力装置、１１０３は画像入力インターフェース１１０４は入力Ｉ／Ｆ、１１０５は画像メモリ、１１０６はワークメモリ、１１０７はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１１０８はプログラムメモリ、１１０９は出力Ｉ／Ｆ、１１１０は画像出力Ｉ／Ｆ、１１１２は警告灯、１１１３はモニタ、１１１１はデータバスである。
【００１９】
図１１において、ＴＶ カメラ １１０１ は画像入力 Ｉ／Ｆ １１０３ に結合され、入力装置 １１０２ は入力 Ｉ／Ｆ １１０４ に結合され、警告灯 １１１２ は出力 Ｉ／Ｆ １１０９ に結合され、モニタ １１１３ は画像出力 Ｉ／Ｆ １１１０ に結合されている。また、画像入力 Ｉ／Ｆ １１０３ 、入力 Ｉ／Ｆ １１０４ 、画像メモリ １１０５ 、ワークメモリ １１０６ 、ＣＰＵ １１０７ 、プログラムメモリ １１０８ 、出力 Ｉ／Ｆ １１０９ 及び画像出力 Ｉ／Ｆ １１１０ は、データバス １１１１ に結合されている。
【００２０】
図１１において、 ＴＶ カメラ １１０１ は、監視対象区域を含めた撮像視野内を撮像する。ＴＶ カメラ １１０１ は、撮像した映像を電気的な映像信号（例えば、ＮＴＳＣ 映像信号）に変換し、変換した映像信号を画像入力 Ｉ／Ｆ １１０３ に与える。
画像入力 Ｉ／Ｆ １１０３ は、入力した映像信号を侵入物体監視装置で扱うフォーマット（例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ ）の画像データに変換し、データバス １１１１ を介して画像メモリ １１０５ に与える。
画像メモリ １１０５ は、送られてきた画像データを蓄積する。入力装置 １１０２ は、人間または補助動物の音声、身振り等の特定の動作、ボタン、キーボード、マウス等の外部入力装置による入力の少なくとも１つの入力動作を検知して操作信号（例えば ＲＳ−２３２Ｃ シリアル通信信号）に変換し、変換された操作信号を入力 Ｉ／Ｆ １１０４ に与える。
【００２１】
入力 Ｉ／Ｆ １１０４ は、入力した操作信号を侵入物体監視装置で扱うフォーマット（例えば、上下左右の操作、ボタン押下の操作を、それぞれ“ １ ”、“ ２ ”、“ ３ ”、“ ４ ”、“ ５ ”）の操作データに変換し、変換された操作データをデータバス １１１１ を介してワークメモリ １１０６ に与える。上記フォーマットとしては、例えば、 ＲＳ−２３２Ｃ を使っても良い。
ワークメモリ １１０６ は、入力された操作データを蓄積する。ＣＰＵ １１０７ はプログラムメモリ １１０８ に保存されているプログラムに従って、ワークメモリ １１０６ 内で画像メモリ １１０５ に蓄積された画像の解析を行なう。
以上の解析の結果、ＴＶ カメラ １１０１ の撮像視野内に侵入物体が侵入したか否か等の情報を得る。
【００２２】
ＣＰＵ １１０７ は、画像出力 Ｉ／Ｆ １１１０ を介して監視モニタ １１１２ に映像信号を与え、例えば、処理結果画像を表示する。また同時に ＣＰＵ １１０７ は、出力 Ｉ／Ｆ １１０９ を介して警告灯 １１１２ を点灯させる制御信号を警告灯 １１１２ に与える。警告灯 １１１２ は入力した制御信号により点灯を行う。画像出力 Ｉ／Ｆ １１１０ は、ＣＰＵ １１０７からの映像信号を監視モニタ １１１３ が使用できるフォーマット（例えば、ＮＴＳＣ 映像信号）に変換して、モニタ １１１３ に送る。モニタ １１１３ は、例えば、侵入物体検出結果画像を表示する。
【００２３】
図２は、本発明の第１の実施例の動作を示すフローチャートの一例である。このフローチャートは、例えば、すでに説明した図１１の侵入物体監視装置を用いて実行される。
この実施例は、図１３で示した従来技術による侵入物体検出フローチャートの画像入力ステップ １１１ の前に、第１の侵入物体検出しきい値決定ステップ １０１ 、第２の侵入物体検出しきい値決定ステップ １０３ 、及び侵入物体検出しきい値選択ステップ２０１を追加したものである。
【００２４】
図２において、第１の侵入物体検出しきい値決定ステップ １０１ では、差分画像を二値化するときの二値化しきい値を増加させたときの二値化画像に検出される“２５５”の輝度値を持つノイズレベル（以下これを、画素のかたまりの数と称す）に基づいて侵入物体検出しきい値を決定するステップである。この第１の侵入物体検出しきい値決定ステップ １０１ について、図４を用いて説明する。
【００２５】
図４は、図２における第１の侵入物体検出しきい値決定ステップ １０１ の動作を説明するフローチャートの一例である。尚、基準背景画像 １２０２ は、予め画像メモリ １１０５ に格納されている。
図４において、映像選択ステップ ４０１ では、監視視野領域内に検出すべき侵入物体が存在しない映像を選択する。この処理は、例えば、監視員がモニタ １１１３ の画面に写った ＴＶ カメラ １１０１ からの撮像画像を見ながら、監視視野領域内に検出すべき侵入物体が存在するか否かを判断し、入力装置 １１０２ を用いて侵入物体監視装置に対して検出すべき侵入物体が存在しないことを通知し、その通知によって適切な映像が選択されたものとして画像入力ステップ ４０２ に処理を移す。
次に画像入力ステップ ４０２ では、画像入力ステップ １１１ と同様に、例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ の入力画像を取得する。
差分処理ステップ ４０３ では、差分処理ステップ １１２ と同様に、入力画像 １２０１ と基準背景画像 １２０２ との画素毎の差分を求め、差分画像 １２０３ を取得する（図１２参照）。
二値化しきい値初期化ステップ ４０４ では、二値化しきい値 Ｔｈ を、例えば、Ｔｈ ＝ １ に初期化する。
【００２６】
二値化処理及び表示ステップ ４０５ では、そのとき設定されている二値化しきい値 Ｔｈ に基づいて差分処理ステップ ４０３ で得られた差分画像 １２０３ を二値化し、差分画像 １２０３ 中で画素値が二値化しきい値 Ｔｈ 以上となる画素を“ ２５５ ”とし、二値化しきい値 Ｔｈ 未満となる画素を“ ０ ”として、二値化画像 １２０４
を取得する。
また、このときの二値化しきい値と取得した二値化画像をモニタ １１１３ の画面上に表示する。
次に、物体検出処理ステップ ４０６ では、二値化画像 １２０４ の中で画素値“２５５”となる画素のかたまり（検出物体と呼ぶ）を検出し、その個数を計数する。
例えば、この処理は、画素のかたまりが所定の面積（例えば、１０ 画素）以上の画素のかたまりの個数を計数するようにしても良い。
【００２７】
検出物体数判定ステップ ４０７ では、物体検出処理ステップ ４０６ によって検出された画素のかたまりの数が ０ であった場合は第１の侵入物体検出しきい値決定及び表示ステップ ４０８ へ分岐し、１ 以上であった場合は二値化しきい値増加ステップ ４０９ へ分岐する。
第１の侵入物体検出しきい値決定及び表示ステップ ４０８ では、二値化処理ステップ ４０５ で用いた二値化しきい値 Ｔｈ の値を第１の侵入物体検出しきい値 Ｔｈ１ として決定し、後述のように、第１のしきい値候補マーク ８０６ａ をモニタ １１１３ に表示して、図２の第１の侵入物体検出しきい値決定ステップ １０１ を終り、第２の侵入物体検出しきい値決定ステップ １０３ に進む。
また、二値化しきい値増加ステップ ４０９ では、二値化しきい値を １ 増加し、二値化処理ステップ ４０５ へ処理を移す。
【００２８】
なお、上記の説明では、映像選択ステップ ４０１ において、監視視野領域内に検出すべき侵入物体が存在しない映像を選択するようにしているが、例えば、侵入物体が １ 以上存在する映像を選択しても良く、この場合、検出物体数判定ステップ ４０７ では、物体検出処理ステップ ４０６ によって検出された検出物体の数が選択した映像中に写る侵入物体数であった場合に、第１の侵入物体検出しきい値決定及び表示ステップ ４０８ へ分岐するようにする。
また、二値化しきい値初期化ステップ ４０４ において、二値化しきい値 Ｔｈ を Ｔｈ ＝ １ に初期化したが、監視視野領域の状況に応じて、初期化する値は自由に設定して良い。更に、二値化しきい値増加ステップ ４０９ では二値化しきい値を １ 増加させたが、 １ 以外でも良いことは自明であるし、また例えば、二値化しきい値を等差的に増加させたり、等比的に増加させたり、あるいは乱数的に増加させても良い。
【００２９】
次に第２の侵入物体検出しきい値決定ステップ １０３ では、差分画像を二値化する二値化しきい値を増加させたときの二値化画像に検出される“ ２５５ ”の輝度値を持つ画素のかたまりの大きさの変化に基づいて侵入物体検出しきい値を決定するステップである。第２の侵入物体検出しきい値決定ステップ １０３ について図５を用いて説明する。
【００３０】
図５は、図２における第２の侵入物体検出しきい値決定ステップ １０３ の動作を説明するフローチャートの一例である。図５は、図４の映像選択ステップ ４０１と、二値化しきい値初期化ステップ ４０４ と、検出物体数判定ステップ ４０７ と、第１の侵入物体検出しきい値決定及び表示ステップ ４０８ と、二値化しきい値増加ステップ ４０９ の代わりに、映像選択ステップ ５０１ と、二値化しきい値初期化ステップ ５０４ と、検出物体大きさ判定ステップ ５０７ と、第２の侵入物体検出しきい値決定及び表示ステップ ５０８ と、二値化しきい値増加ステップ ５０９ を用いたものである。それ以外のステップは、図４と同様であるため説明は省略する。
【００３１】
図５において、映像選択ステップ ５０１ では、監視視野領域内に侵入物体検出しきい値を決定する上で基準となる基準侵入物体が写る映像を選択する。基準侵入物体は、侵入物体監視装置を侵入者の監視に用いる場合には人であるし、車輌の監視に用いる場合には車輌である。
この処理は、例えば、図４の場合と同様にして、監視員が監視視野領域内に基準侵入物体が写る映像か否かを判断し、入力装置 １１０２ を用いて、侵入物体監視装置に基準侵入物体が写っていることを通知し、その通知によって適切な映像が選択されたものとする。続いて、画像入力ステップ ４０２ と差分処理ステップ ４０３ の処理を行い、ステップ ５０４ に進む。
【００３２】
二値化しきい値初期化ステップ ５０４ では、二値化しきい値を、例えば第１の侵入物体検出しきい値 Ｔｈ１ に初期化し、続いて、二値化処理及び表示ステップ ４０５ と物体検出処理ステップ ４０６ の処理を行い、ステップ ５０７ に進む。
【００３３】
続いて、検出物体大きさ判定ステップ ５０７ では、最も大きな検出物体の外接矩形の大きさが所定の値以下かを判定する。ここで、所定の値とは、検出すべき侵入物体とみなす大きさで、例えば、撮像素子として １／２ 型 ＣＣＤ（素子サイズ：幅 ｄｘ ＝ ６．５ ｍｍ、高さ ｄｙ ＝ ４．６ ｍｍ ）、ｆ ＝ ２５ ｍｍ のレンズ、カメラから監視領域までの距離を Ｌ ＝ ５０ ｍ 、入力画像サイズ：幅 Ｘ０ ＝ ３２０ ｐｉｘ 、高さ Ｙ０ ＝ ２４０ ｐｉｘ を用いて監視を行なう場合、検出すべき侵入物体を幅 ｗ０ ＝ １ ｍ 、高さ ｈ０ ＝ １．５ ｍ とすると、次の式（１）のようになり、
【数１】

検出物体の外接矩形の大きさ（幅 ｗ 、高さ ｈ ）が ｗ ≦ Ｗ０ 、かつ ｈ ≦ Ｈ０ であったときに所定の値未満と判定する。
【００３４】
検出物体大きさ判定ステップ ５０７ では、最も大きな検出物体の外接矩形の大きさが所定の値未満であった場合に第２の侵入物体検出しきい値決定及び表示ステップ ５０８ へ分岐し、所定の値以上の場合に二値化しきい値増加ステップ ５０９ へ分岐する。
【００３５】
第２の侵入物体検出しきい値決定及び表示ステップ ５０８ では、二値化処理ステップ ４０５ で用いた二値化しきい値 Ｔｈ から １ 減じた値（二値化しきい値 Ｔｈ の直前の二値化しきい値、即ち、二値化しきい値増加ステップ ５０９ での増加分を減じた二値化しきい値）を第２の侵入物体検出しきい値 Ｔｈ２ として決定し、更に、後述のように、決定した第２の侵入物体検出しきい値を表す第２のしきい値候補マーク ８０７ａ をモニタ １１１３ 上に表示し（図８）、図２の第２の侵入物体しきい値決定ステップ １０３ を終り、侵入物体検出しきい値選択ステップ ２０１ に進む。
また、二値化しきい値増加ステップ ５０９ では、二値化しきい値を １ 増加し、二値化処理ステップ ４０５ へ処理を移す。
以上の説明では、二値化しきい値の増加のステップ幅を １ としているが、これに限定されるものではなく、２ 以上としても良いし、上述のように、ステップ幅を等差的に増加させたり、等比的に増加させたり、あるいは、ランダムに増加させても良い。
【００３６】
続いて、図２において、侵入物体検出しきい値選択ステップ ２０１ では、第１の侵入物体検出しきい値決定ステップ １０１ と第２の侵入物体検出しきい値決定ステップ １０３ で得られた、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の間のしきい値を侵入物体検出しきい値とする。即ち、侵入物体検出しきい値 Ｔｈ は、次のようにして決定される。
Ｔｈ１ ≦ Ｔｈ ≦Ｔｈ２ ‥‥‥式（２）
この処理は、例えば、監視員が入力装置 １１０２ を用いて第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ のいずれかを選択することによって行なわれる。
尚、侵入物体検出しきい値決定ステップ １０３ の前に、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の間のしきい値 Ｔｈ３ （例えば、 Ｔｈ１ と Ｔｈ２ の平均値）を少なくとも１つ決定するステップを設け、ステップ ２０１ で Ｔｈ１ ，Ｔｈ２ ，Ｔｈ３ の侵入物体検出しきい値の中かのいずれかを選択するようにしても良い。
【００３７】
ここで、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の関係を図１０を用いて説明する。図１０は、差分法によって検出されるノイズ（撮像装置内部で発生するノイズや映像信号を伝送する過程で重畳するノイズ等）の差分のレベル １００２ と侵入物体の差分のレベル １００１ の関係を表したものである（侵入物体以外の動く物体の説明は後述する）。
【００３８】
図１０に示す通り、第１の侵入物体検出しきい値決定ステップ １０１ で、検出すべき侵入物体の写っていない映像を用いて第１の侵入物体検出しきい値 Ｔｈ１ を（あるいは、侵入物体が １ 以上存在する映像を用いて）決定したため、ノイズの差分レベル １００２ は第１の侵入物体検出しきい値 １００４（ Ｔｈ１ ）未満になり、第２の侵入物体検出しきい値決定ステップ １０２ で、基準侵入物体の検出できる限界の二値化しきい値を第２の侵入物体検出しきい値 Ｔｈ２ として決定したため、侵入物体の差分レベル １００１ は第２の侵入物体検出しきい値 １００６（ Ｔｈ２ ）より大きくなる。
すなわち、侵入物体検出しきい値として、第１の侵入物体検出しきい値 Ｔｈ１ あるいは第２の侵入物体検出しきい値 Ｔｈ２ のいずれか１つを選択することでノイズの誤検出を防ぎ、かつ、侵入物体を検出できる侵入物体検出しきい値を設定することができる。
【００３９】
図２に戻り、ステップ ２０１ に続く画像入力ステップ １１１ では、ＴＶ カメラ １１０１ から、例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ の入力画像を取得し、ステップ １１２ に進む。
差分処理ステップ １１２ では、入力画像と基準背景画像との画素毎の輝度値の差分を求めて差分画像を取得しステップ １１３ に進む。
二値化処理ステップ １１３ では、得られた差分画像をステップ ２０１ で選択した侵入物体検出しきい値に基づいて侵入物体検出しきい値以上の画素を“ ２５５ ”、侵入物体検出しきい値未満の画素を“ ０ ”として二値化画像を取得し、ステップ １１４′に進む。
侵入物体検出処理ステップ １１４′では、例えば、周知のラベリングの方法によって二値化画像の中で画素値“ ２５５ ”を持つ画素のかたまりを検出してステップ １１５′に進む。
侵入物体判定ステップ １１５′では、侵入物体検出処理ステップ １１４′で検出された侵入物体の外接図形の大きさが、例えば、外接矩形が所定の大きさ以上であった場合には侵入物体が検出されたものとしてステップ １１６ に進み、検出された全ての侵入物体の外接矩形の大きさが所定の大きさ未満であった場合には侵入物体が検出されなかったものとして画像入力ステップ １１１ へ戻る。尚、所定の大きさは、前述の式（１）によって計算されたものである。
警報・モニタ表示ステップ １１６ では、例えば、画像出力 Ｉ／Ｆ １１１０ を介してモニタ １１１３ に処理結果を表示したり、例えば、出力 Ｉ／Ｆ １１０９ を介して警告等を点灯させたりする。
したがって、本実施例によれば、撮像装置で得られた入力画像から第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ を決定し、その内のいずれか１つを選択することで侵入物体検出しきい値を容易に設定できるようにし、撮像装置視野内の侵入物体を検出することが可能となる。
【００４０】
図３は、本発明の第２の実施例の処理動作を示すフローチャートの一例である。この第２の実施例は、第１の侵入物体検出しきい値の候補と第２の侵入物体検出しきい値の候補を少なくとも１以上記録し、各々の候補に基づいて第１の侵入物体検出しきい値と第２の侵入物体検出しきい値を決定するようにしたものである。
図３は、図２で示したフローチャートに、第１の侵入物体検出しきい値記録ステップ １０２ と、第２の侵入物体検出しきい値記録ステップ １０４ と、所定フレーム終了判定ステップ １０５ と、第１の侵入物体検出しきい値選択ステップ １０６ と、第２の侵入物体検出しきい値選択ステップ １０７ を追加したものである。これ以外のステップについては、図２で示したフローチャートと同様であるため説明を省略する。
【００４１】
図３において、図２で説明したように、第１の侵入物体検出しきい値決定ステップ １０１ の処理が行われステップ １０２ に進む。
第１の侵入物体検出しきい値記録ステップ １０２ では、第１の侵入物体検出しきい値決定ステップ １０１ で得られた第１の侵入物体検出しきい値 Ｔｈ１ を第１の侵入物体検出しきい値候補として、ワークメモリ １１０６ に記録する。
【００４２】
次に、ステップ １０３ においても、図２で説明したように、第２の侵入物体検出しきい値決定ステップ １０３ の処理が行われステップ １０４ に進む。
第２の侵入物体検出しきい値記録ステップ １０４ では、第２の侵入物体検出しきい値決定ステップ １０３ で得られた第２の侵入物体検出しきい値 Ｔｈ２ を第２の侵入物体検出しきい値候補として、ワークメモリ １１０６ に記録する。
【００４３】
続いて、所定フレーム終了判定ステップ １０５ では、各々の侵入物体検出しきい値の候補が所定フレーム数分得られたか否かを判定し、所定フレーム数（例えば、５ ）分得られた場合は第１の侵入物体検出しきい値選択ステップ １０６ へ分岐し、得られていない場合は第１の侵入物体検出しきい値記録ステップ １０１ へ分岐する。
【００４４】
第１の侵入物体検出しきい値選択ステップ １０６ では、ワークメモリ １１０６ に記録された第１の侵入物体検出しきい値候補の中で最も大きな値を第１の侵入物体検出しきい値として選択する。
第２の侵入物体検出しきい値選択ステップ １０７ では、ワークメモリ １１０６ に記録された第２の侵入物体検出しきい値候補の中で最も小さな値を第２の侵入物体検出しきい値として選択する。
したがって、本実施例によれば、得られた第１の侵入物体検出しきい値の候補の内もっとも値の大きい値を第１の侵入物体検出しきい値としているためノイズを確実に除去することができ（最も高いノイズの差分レベルをも除去できる）、かつ、得られた第２の侵入物体検出しきい値の候補の内もっとも値の小さい値を第２の侵入物体検出しきい値としているため侵入物体を確実に検出することができ（最も低い侵入物体の差分レベルをも検出できる）、侵入物体認識装置の信頼性を向上させることが可能となる。
尚、この実施例において、第１と第２の侵入物体検出しきい値の一方についてのみ複数の候補を用意し、他方については図２と同様に、複数の候補を用意せずにしきい値を決定するように修正しても良い。
【００４５】
図６と図７は、本発明の第３の実施例を表すフローチャートの一例である。この第３の実施例は、第１の侵入物体検出しきい値決定の際に不感帯を設け、かつ、第２の侵入物体検出しきい値決定の際に侵入物体の存在する領域を指定するようにし、例えば、図２のフローチャートに示した処理を第１の侵入物体検出しきい値決定ステップ １０１ の処理を図６のフローチャートによって行い、第２の侵入物体検出しきい値決定ステップ １０３ の処理を図７のフローチャートによって行ったものである。
図６は、図４で示したフローチャートで、ステップ ４０１ とステップ ４０２ の間に不感帯設定ステップ ６０１ を追加し、二値化処理ステップ ４０５ の代わりに別の二値化処理ステップ ６０２ を用いたものである。
図７は、図５で示されるフローチャートで、ステップ ４０２ とステップ ４０３ の間に基準侵入物体領域設定ステップ ７０１ を追加し、検出物体大きさ判定ステップ ５０７ の代わりに別の検出物体大きさ判定ステップ ７０２ を用いたものである。
【００４６】
図６において、図４で説明したように、映像選択ステップ ４０１ の処理が行われステップ ６０１ に進む。
不感帯設定ステップ ６０１ では、木々の揺れなど検出すべき侵入物体以外の動く物体を不感帯として設定し、ノイズの差分レベルをより正確に検出するようにする。これを図９を用いて説明する。図９は、入力画像 ９０１ に木 ９０３ や草 ９０４ａ 、９０４ｂ 、９０４ｃ が写る例である。
【００４７】
ここで監視員が入力装置 １１０２ を操作して、モニタ １１１３ に写る位置指示マーク ９０８ を動かし、例えば多角形によって、木の領域 ９０５ や草の領域 ９０６ を指定する。指定した領域は不感帯となり、不感帯の画素は、第１の侵入物体検出しきい値の決定に用いない。
次に、ステップ ４０２ からステップ ４０４ の処理動作を行い、ステップ ６０２ に進む。
【００４８】
二値化処理ステップ ６０２ は、差分値が二値化しきい値以上かつ不感帯でない画素を“ ２５５ ”、それ以外を“ ０ ”とする二値化画像を作成する。
木々の揺れなどの検出すべき侵入物体以外の動く物体は、図１０に示すように、ノイズの差分レベルに比べ大きな差分レベルを持つ。したがって、不感帯を設定することによってより正確なノイズの差分レベルを検出することができる。
【００４９】
次に図７において、図５で説明したように、映像選択ステップ ５０１ と画像入力ステップ ４０２ の処理が行われステップ ７０１ に進む。
基準侵入物体領域設定ステップ ７０１ では、基準侵入物体の領域（外接矩形）を指定する。これを図９を用いて説明する。
図９において、入力画像 ９０１ には、基準侵入物体 ９０２ が写っており、監視員が入力装置 １１０２ を操作して、モニタ １１１３ に写る位置指示マーク ９０８ を動かし、例えば矩形によって、基準侵入物体の領域 ９０７ を指定する。基準侵入物体の領域は、外接矩形に限らず、任意の外接図形が使えることは明らかである。
次に、ステップ ４０３ からステップ ４０６ の処理動作を行い、ステップ ７０２ に進む。
【００５０】
検出物体大きさ判定ステップ ７０２ では、基準侵入物体領域設定ステップ ７０１ で指定した基準侵入物体領域 ９０７ 内で検出された検出物体の大きさが基準侵入物体領域 ９０７ の所定の割合未満になった場合に、第２の侵入物体検出しきい値決定ステップ ５０８ へ分岐し、所定の割合以上の場合に、二値化しきい値増加ステップ ５０９ へ分岐する。
ここで所定の割合とは、例えば０．３ とする。すなわち、基準侵入物体の大きさの３割以上であれば侵入物体として検出できることを意味している。
したがって、本実施例によれば、入力画像に重畳するノイズの差分レベルを正確に検出して第１の侵入物体検出しきい値を得ることができる。さらに、本実施例によれば、第１の実施例のように侵入物体の大きさを計算することなく第２の侵入物体検出しきい値を得ることができ、侵入物体認識装置の信頼性を向上させることが可能となる。
【００５１】
更に、本実施例では、侵入物体の領域を指定して、その領域内で第２の侵入物体検出しきい値の決定を行うことによる特有の効果が得られる。これについて説明すると、差分法では、侵入物体と基準背景画像の輝度が近い画素が存在するとその画素は二値化処理によって“ ０ ”と判定されてしまうため、場合によっては侵入物体が複数に***して観察されることがある。この場合、検出物体の外接図形の大きさは見かけ上小さくなってしまい、第１の実施例で決定される第２の侵入物体検出しきい値は最適な値に比べて小さくなってしまう。
本実施例では、基準侵入物体領域設定ステップ ７０１ で侵入物体の存在する領域を指定し、検出物体大きさ判定ステップ ７０２ でその領域内で検出される物体（二値化処理によって“ ２５５ ”となる画素のかたまり）の画素が指定した領域内で所定の割合以上であるか否かを判定している。二値化画像で“ ２５５ ”となる画素の割合によって判定するため、決定される第２の侵入物体検出しきい値では、***して観測されたか否かにもかかわらず、侵入物体が一定以上の割合の画素で検出することを保証することができる。
【００５２】
図１は、本発明の第４の実施例を表すフローチャートの一例である。この第４の実施例は、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の幅（差の値）を求め、得られる侵入物体検出しきい値が侵入物体検出処理に適しているか否かを判定するようにしたものである。
図１は、図３で示したフローチャートで、第２の侵入物体検出しきい値選択ステップ １０７ の後ろに、第１と第２の侵入物体検出しきい値差判定ステップ １０８ と第３の侵入物体検出しきい値決定ステップ １０９ とを追加し、侵入物体検出しきい値選択ステップ ２０１ の代わりに、別の侵入物体検出しきい値選択ステップ １１０ を用いたものである。
【００５３】
第１と第２の侵入物体検出しきい値差判定ステップ １０８ とは、第１の侵入物体検出しきい値選択ステップ １０６ と第２の侵入物体検出しきい値選択ステップ １０７ とによって得られた第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の差を求め、その差が所定の値（例えば ５ ）未満の場合は、第１の侵入物体検出しきい値決定ステップ １０１ へ分岐し、所定の値以上であった場合、第３の侵入物体検出しきい値決定ステップ １０９ へ分岐する。
上記実施例では、第１と第２の侵入物体検出しきい値差判定ステップ １０８ で、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の差が所定の値未満の場合は第１の侵入物体検出しきい値決定ステップ １０１ へ分岐したが、第１と第２の侵入物体検出しきい値差判定ステップ １０８ で、もし、数回繰り返しても、第３の侵入物体検出しきい値決定ステップ １０９ へ分岐しない場合は、例えば、警報・モニタ表示ステップ １１６ に分岐して、監視員に異常を知らせるように設定することもできる。
【００５４】
第３の侵入物体検出しきい値決定ステップ １０９ では、第１の侵入物体検出しきい値 Ｔｈ１ より大きく、第２の侵入物体検出しきい値 Ｔｈ２ 未満の値となる少なくとも１つの第３の侵入物体検出しきい値 Ｔｈ３ を求める。
これは、例えば、第３の侵入物体検出しきい値 Ｔｈ３ を１つ決める場合であれば第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の平均で良い。
【００５５】
次に、侵入物体検出しきい値選択ステップ １１０ では、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ と第３の侵入物体検出しきい値 Ｔｈ３ のいずれかを侵入物体検出しきい値とする。
この処理を図１０に言及して説明すると、例えば、監視員が入力装置 １１０２ を用いて第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ と第３の侵入物体検出しきい値 Ｔｈ３ のいずれかを選択することによって行なわれる。
したがって、本実施例によれば、風の強さが変わり、入力画像中に写る木の揺れなどの検出すべき侵入物体以外の動く物体 １１０３ の見かけの動きの量が変わった場合でも、第１の侵入物体検出しきい値、第２の侵入物体検出しきい値、第３の侵入物体検出しきい値の中から監視員が入力装置 １１０２ を操作して適切な侵入物体検出しきい値を容易に設定できるようになる。
【００５６】
図８は、本発明の監視モニタ １１１３ に表示された画面表示の一実施例である。図８は、二値化しきい値に対して二値化画像がどのように変化するか、第１の侵入物体検出しきい値の候補と第２の侵入物体検出しきい値の候補はどの値かを表すようにしたもので、画面には、二値化画像 ８０１（基準侵入物体 ８０２ 、ノイズ ８０３ａ 、８０３ｂ 、８０３ｃ ）、二値化しきい値レベルゲージ ８０４ 、現在の二値化しきい値の二値化しきい値レベルゲージ ８０４ 上の位置を示す識別記号（二値化しきい値マーク）８０５ 、第１の侵入物体検出しきい値の候補のマーク ８０６ａ 、８０６ｂ 、８０６ｃ 、及び第２の侵入物体検出しきい値の候補マーク ８０７ａ 、８０７ｂ 、８０７ｃ が表示されている。
【００５７】
図８において、侵入物体監視装置が動作し、例えば、図４のフローチャートの処理動作が開始され、まず二値化しきい値初期化ステップ ４０４ によって、二値化しきい値が定まると、モニタ １１１３ にその二値化しきい値の値の位置に二値化しきい値マークが表示され、かつその二値化しきい値で取得された二値化画像が表示される。そして同様に、ステップ ４０５ 〜 ４０９ の処理を繰り返す都度、モニタ １１１３ にその二値化しきい値の値の位置に二値化しきい値マークが更新されて表示され、かつその二値化しきい値で取得された二値化画像が更新されて表示される。そして、第１の二値化しきい値の候補が決定されると、その候補マーク ８０６ａ が更に表示される。
同様に、例えば、図５のフローチャートの処理動作が実行されると、その結果、第２の二値化しきい値の候補が決定されると、その候補マーク ８０７ａ が更に表示される。そして、次に図１のフローチャートの第３の侵入物体検出しきい値決定ステップ １０９ によって、第３の二値化しきい値が決定されると、その候補マーク（図示せず）が更に表示される。そして、監視員が、それらの中から、適当と思われる二値化しきい値を入力装置 １１０２ を用いて選択することによって侵入物体検出しきい値が設定され、そのマーク（図示せず）モニタ １１１３ に表示される。尚、これらの図示しないマークは、レベルゲージに沿って任意の形態で設ければよい。
このように、設定された二値化しきい値に応じて二値化しきい値マーク ８０５ が変化し、それに伴い二値化画像 ８０１ も変化する。
【００５８】
また、処理動作（例えば、図１）を実行する都度（例えば３回程度）、各侵入物体検出しきい値の候補が得られる度に二値化しきい値レベルゲージ８０４の横にその値に対応する位置に候補マーク ８０６ａ 、８０６ｂ 、８０６ｃ 、８０７ａ 、８０７ｂ 、８０７ｃ
、及び、第３の二値化しきい値マーク候補が重ねて表示される。
このように監視モニタ画面に表示することによって、設定中の侵入物体検出しきい値によって二値化画像 ８０１ がどのように得られるかを知ることができる。
【００５９】
なお、以上の実施例では、侵入物体検出しきい値を決定する際に二値化しきい値を初期値から増加する方向で変化させた。しかしながら、二値化しきい値を初期値（最大値）から減少させる方向で変化させてもよいことは明らかである。その場合には、第１、第２、第３、第４の各実施例において、まず第２の侵入物体検出しきい値を決定し、次いで、第１の侵入物体検出しきい値を決定することになる。
【００６０】
第２の侵入物体検出しきい値の決定においては、例えば、図５のステップ ５０５では、最も大きな検出物体の外接矩形の大きさが所定の値以上かを判定する。そして、所定の値以上であった場合にはステップ ５０８ へ分岐し二値化処理ステップ ４０５ で用いた二値化しきい値 Ｔｈ を第２の侵入物体検出しきい値 Ｔｈ２ として決定する。
他方、ステップ ５０８ で、最も大きな検出物体の外接矩形の大きさが所定の値より小さい時はステップ ５０９ へ分岐し、二値化しきい値 Ｔｈ から １ を減じ、二値化処理ステップ ４０５ へ処理を移す。
【００６１】
第１の侵入物体検出しきい値の決定においては、例えば、図４のステップ ４０７では、二値化画像 １２０４ の中で画素値“ ２５５ ”となる画素のかたまりの個数を計数し、その数が ０ でなければステップ ４０８ へ分岐し二値化処理ステップ ４０５で用いた二値化しきい値 Ｔｈ から １ 減じた値を第１の侵入物体検出しきい値 Ｔｈ１ として決定する。
他方、ステップ ４０７ で計数した画素値“ ２５５ ”となる画素のかたまりの個数が ０ であればステップ ４０９ で二値化しきい値 Ｔｈ を １ 減じて二値化処理ステップ ４０５ へ処理を移す。
二値化しきい値 Ｔｈ を、初期値から減少させる方向で変化させて侵入物体検出しきい値を決定する際での、上述の各実施例の細部の修正は、以上の明細書の記載の説明から当業者には明らかであるので、これ以上の説明は省略する。
【００６２】
【発明の効果】
したがって、撮像装置より得られた入力画像から侵入物体以外のノイズを除去することができる侵入物体検出しきい値と、撮像視野に写した基準侵入物体を検出することによって侵入物体検出しきい値とを自動的に算出するようにし、その内のいずれか１つを選択することで侵入物体検出しきい値を容易に設定できるようにし、侵入物体検出しきい値の設定作業に熟練性を必要とせず、監視視野領域の照度や時間帯、レンズの絞り等が変わった場合でも容易に侵入物体検出しきい値を設定でき、侵入物体認識装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】本発明の一実施例の処理動作を示すフローチャート。
【図２】本発明の一実施例の処理動作を示すフローチャート。
【図３】本発明の一実施例の処理動作を示すフローチャート。
【図４】本発明の一実施例の処理動作を示すフローチャート。
【図５】本発明の一実施例の処理動作を示すフローチャート。
【図６】本発明の一実施例の処理動作を示すフローチャート。
【図７】本発明の一実施例の処理動作を示すフローチャート。
【図８】本発明の一実施例の画面表示を示す図。
【図９】本発明の不感帯領域と基準侵入物体領域の設定方法を示す図。
【図１０】侵入物体、ノイズ、検出すべき侵入物体以外の動く物体の差分レベルを示す図。
【図１１】本発明の侵入物体監視装置の一実施例の構成を示すブロック図。
【図１２】差分法における侵入物体検出原理を説明するブロック図。
【図１３】従来の侵入物体検出動作を示すフローチャート。
【図１４】本発明の侵入物体しきい値決定の動作原理を説明するための図。
【符号の説明】
１０１：第１の侵入物体検出しきい値決定ステップ、 １０２：第１の侵入物体検出しきい値記録ステップ、 １０３：第２の侵入物体検出しきい値決定ステップ、 １０４：第２の侵入物体検出しきい値記録ステップ、 １０５：所定フレーム数終了判定ステップ、 １０６：第１の侵入物体検出しきい値選択ステップ、 １０７：第２の侵入物体検出しきい値選択ステップ、 １０８：第１と第２の侵入物体検出しきい値差判定ステップ、 １０９：第３の侵入物体検出しきい値決定ステップ、 １１０：侵入物体検出しきい値選択ステップ、 １１１：画像入力ステップ、 １１２：差分処理ステップ、 １１３：二値化処理ステップ、 １１４：侵入物体検出ステップ、 １１５：侵入物体判定ステップ、 １１６：警報・モニタ表示ステップ、 ２０１：侵入物体検出しきい値選択ステップ、 ４０１：映像選択ステップ、 ４０２：画像入力ステップ、 ４０３：差分処理ステップ、 ４０４：二値化しきい値初期化ステップ、 ４０５：二値化ステップ、 ４０６：物体検出処理ステップ、 ４０７：検出物体数判定ステップ、 ４０８：第１の侵入物体検出しきい値決定ステップ、 ４０９：二値化しきい値増加ステップ、 ５０１：映像選択ステップ、 ５０７：検出物体大きさ判定ステップ、 ５０８：第２の侵入物体検出しきい値決定ステップ、 ５０９：二値化しきい値増加ステップ、 ６０１：不感帯設定ステップ、 ６０２：二値化ステップ、 ７０１：基準侵入物体領域設定ステップ、 ７０２：検出物体大きさ判定ステップ、 ８０４：二値化しきい値レベルゲージ、 ８０５：二値化しきい値マーク、 ８０６ａ，８０６ｂ，８０６ｃ：第１の侵入物体検出しきい値の候補のマーク、 ８０７ａ，８０７ｂ，８０７ｃ：第２の侵入物体検出しきい値の候補マーク、 １１０１：ＴＶカメラ、 １１０２：入力装置、 １１０３：画像入力Ｉ／Ｆ、 １１０４：入力Ｉ／Ｆ、 １１０５：画像メモリ、 １１０６：ワークメモリ、 １１０７：ＣＰＵ、 １１０８：プログラムメモリ、 １１０９：出力Ｉ／Ｆ、 １１１０：画像出力Ｉ／Ｆ、 １１１：データバス、 １１１２：警告灯、 １１１３：監視モニタ、 １２０１：入力画像、 １２０２：基準背景動画像、 １２０３：差分画像、 １２０４：二値化画像、 １２０５：差分器、 １２０６：二値化器。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring device using an imaging device, and more particularly to an intruding object in an imaging field of view, where the difference in luminance value for each pixel between an input image from the imaging device and a reference background image is an intruding object detection threshold value. More particularly, the intruding object detection method and the intruding object monitoring apparatus detect the intruding object based on the input image input from the imaging apparatus. The present invention relates to an object detection method and an intruding object monitoring apparatus.
[0002]
[Prior art]
In recent years, an intruding object detection device using an imaging device such as a camera as an image input means automatically detects an intruding object in a monitoring field of view, or automatically detects the type of an object, rather than being manually monitored by a conventional observer. In many cases, it is possible to automatically obtain a predetermined notification or warning procedure by confirming automatically.
In order to realize such a system, first, a process for detecting a predetermined intruding object from an input image obtained from an image input means such as a camera is required. As a method for realizing such processing, for example, an input image and a reference background image (that is, an image in which an object to be detected is not captured) are compared, a difference is obtained for each pixel, and an area having a large difference is obtained. There is a method of extracting as an object. This method is called a difference method and has been widely used.
[0003]
The difference method will be described with reference to FIG. FIG. 12 is a diagram for explaining the processing principle of object detection in the difference method. 1201 is an input image, 1202 is a reference background image, 1203 is a difference image, 1204 is a binary image of the difference image 1203, 1205 is a subtractor, 1206 is a binarizer, 1207 is a humanoid image shown in the input image 1201 An object area 1208 is a difference area where a difference is generated in the difference image 1203, and 1209 is a binarized area extracted from the binarized image 1204.
[0004]
In FIG. 12, a subtractor 1205 calculates a difference in luminance value between an input image 1201 and a reference background image 1202 for each pixel, and outputs a difference image 1203. For the difference image 1203, the binarizer 1206 sets the pixel value of a pixel whose luminance value (difference value) for each pixel is less than a predetermined threshold value Th (difference value <Th) to “0” or more than the threshold value Th ( The binarized image 1204 is obtained by setting the pixel value of the pixel of the difference value ≧ Th to “255” (the luminance value of one pixel is calculated by 8 bits). Here, for example, the threshold value Th is set to “20”.
As a result, a humanoid object 1207 shown in the input image 1201 is calculated by a subtractor 1205 in which an area 1208 in which a difference occurs is calculated, and a binarizer 1206 further includes an image 1209 having a luminance value “255” as an intruding object. Detected as
[0005]
An example of an intruding object recognition method using this method will be described with reference to FIG.
FIG. 13 is a flowchart showing the operation of the intruding object detection program for executing the intruding object detection method.
In the image input step 111, for example, an input image 1201 having a width of 320 pix, a height of 240 pix, and 8 bits / pix is acquired from an imaging device such as a TV camera, and the process proceeds to step 112.
In the difference processing step 112, the difference for each pixel between the input image 1201 and the reference background image 1202 is obtained to obtain the difference image 1203, and the process proceeds to step 113.
In the binarization processing step 113, the obtained difference image 1203 is set to “255” for pixels greater than or equal to the intruding object detection threshold based on a predetermined binarization threshold, and “ The binarized image 1204 is acquired as “0”, and the process proceeds to step 114.
[0006]
In the intruding object detection processing step 114, for example, a block of pixels having the pixel value “255” in the binarized image 1204 is detected by the labeling method, and this is set as an intruding object, and the process proceeds to step 115.
In the intruding object determination step 115, when an intruding object is detected in the intruding object detection processing step 114, the process proceeds to step 116, and when the intruding object is not detected, the process returns to the image input step 111.
In the alarm / monitor display step 116, for example, the processing result is displayed on the monitor 1113 via the image output I / F (hereinafter, the interface is referred to as I / F), 1110, or via the output I / F 1109, for example. The warning lamp 1112 is turned on.
Therefore, the intruding object detection method using the difference method compares an input image with a reference background image, obtains a difference for each pixel, and detects an area having a large difference as an object. As an object detection method applying the difference method, there is, for example, Japanese Patent Publication No. 79429.
[0007]
In the intruding object detection method described above, an intruding object is detected by comparing a pixel-by-pixel difference between the input image and the reference background image with a preset intruding object detection threshold.
When this intruding object detection threshold is set to a small value, intruding objects such as noise other than the intruding object (noise generated inside the image pickup device, noise superimposed in the process of transmitting the video signal, etc.) and shaking of the trees There is a possibility of misdetecting moving objects other than.
On the other hand, if the intruding object detection threshold is set to a large value, pixels that constitute an intruding object cannot be detected with a luminance value close to that of the reference background image, which may cause the intruding object to be missed. .
Therefore, the intruding object detection performance greatly depends on the intruding object detection threshold. However, the intruding object detection threshold needs to be set according to the illuminance and time zone of the monitoring visual field region, the lens aperture, etc., and the setting operation is complicated and requires skill.
[0008]
[Problems to be solved by the invention]
In the prior art described above, when detecting an intruding object using the difference method, it is important to set the intruding object detection threshold value to this value. This has to be done every time the band, lens aperture, etc. change, which is cumbersome. Further, an intruding object detection threshold capable of removing noise other than the intruding object from the input image obtained from the imaging device, and an intruding object detection threshold by detecting a reference intruding object captured in the imaging field of view. Automatically calculating and setting an intruding object detection threshold has a drawback that it requires skill.
The object of the present invention is to eliminate the above-mentioned drawbacks, and does not require skill in setting the intruding object detection threshold, even when the illuminance and time zone of the monitoring visual field region, the lens aperture, etc. change. An object of the present invention is to provide a highly reliable intruding object detection method and an intruding object recognition device that can easily set an intruding object detection threshold.
[0009]
[Means for Solving the Problems]
The object of the present invention is to eliminate the above-described drawbacks and detect an intruding object based on a change in pixels detected in the binarized image when the binarization threshold for binarizing the difference image is increased. It is to provide a highly reliable intruding object detection device by determining a threshold value and accurately detecting an intruding object.
[0010]
In order to achieve the above object, an intruding object detection parameter setting method according to the present invention is a monitoring method for detecting an intruding object in a monitoring field by applying a difference method to an image obtained from an imaging device. Generating a first difference image of the luminance value between the first input image from the reference image and the reference background image stored in the storage device, and binarizing the first difference image with a predetermined binarization threshold value The binarization threshold value is changed until the noise level of the binarized image is equal to or lower than a predetermined value, and the binarized value where the noise level of the binarized image is equal to or lower than the predetermined value A threshold value for detecting an intruding object is characterized in that an intruding object is detected based on the first binarizing threshold value based on the first binarizing threshold value. To decide.
[0011]
Further, the intruding object detection parameter setting method of the present invention is characterized in that the change of the binarization threshold value is changed in an equal, proportional or random manner.
The intruding object detection parameter setting method of the present invention is characterized in that the binarization threshold value is increased.
The intruding object detection parameter setting method of the present invention is characterized in that the binarization threshold value is decreased.
In the intruding object detection parameter setting method of the present invention, the first input image is an image in which no intruding object exists.
[0012]
Further, the intruding object detection parameter setting method of the present invention further includes a second luminance value between the second input image including the alien body from the imaging device and the reference background image stored in the storage device. A difference image is generated, and the second difference image is binarized with a predetermined binarization threshold, and the size of the intruding object in the binarized image is equal to or smaller than a predetermined size. The binarization threshold is changed, the binarization threshold at which the size of the intruding object in the binarized image is equal to or smaller than a predetermined size is set as a second binarization threshold, and the first And a second binarization threshold value, and a third binarization threshold value is set between the first and second binarization threshold values, and based on the third binarization threshold value Thus, an intruding object is detected.
[0013]
The intruding object detection parameter setting method of the present invention is characterized in that, in setting the first and second threshold values, the change of the binarization threshold value is changed in an equal, proportional or random manner. To do.
The intruding object detection parameter setting method of the present invention is characterized in that the binarization threshold value is increased.
The intruding object detection parameter setting method of the present invention is characterized in that the binarization threshold value is decreased.
The intruding object detection parameter setting method of the present invention is characterized in that a predetermined size of the intruding object is represented by a circumscribed figure of the intruding object.
[0014]
Further, the intruding object detection parameter setting method of the present invention further records the first and third binarization threshold values respectively obtained from the first input image and the second input image, respectively. The binarization process is executed for a predetermined number of frames, the respective binarization threshold values are recorded, and predetermined first and second binarization threshold values are determined from the recorded plural binarization threshold values. To do.
In the intruding object detection parameter setting method of the present invention, the first binarization threshold value determines a maximum binarization threshold value, and the second binarization threshold value is a minimum binary value. The threshold value is determined.
Further, in the intruding object detection parameter setting method of the present invention, the binarization processing of the first difference image with a predetermined binarization threshold is further provided with a dead band region, and in the provided dead band region, The binarization process is not performed.
Further, the intruding object detection parameter setting method of the present invention further obtains a difference between the first and second binarization thresholds, and the difference between the first and second binarization thresholds is a predetermined value or less. In this case, the method includes a step of determining an abnormality.
[0015]
An intruding object monitoring apparatus according to the present invention is an intruding object monitoring apparatus that detects an intruding object in a monitoring field from an image obtained from an imaging apparatus by applying a difference method, and an imaging apparatus that outputs a first input image. A first storage device that stores a reference background image, a processing unit that generates a first difference image of luminance values of the first input image and the reference background image, and a predetermined first difference image. The binarization threshold is changed until the noise component of the binarized image becomes a predetermined value or less, and the binarized image noise is changed. Based on a first binarization processing unit that outputs a binarization threshold value at which a component is equal to or less than a predetermined value as a first binarization threshold value and the output first binarization threshold value, And a detection processing unit that detects intruding objects. That.
[0016]
In addition, the imaging device of the intruding object monitoring device of the present invention outputs a second input image including an intruding object, and the imaging device further includes the second input image and the first memory device. A processing unit for generating a second difference image having a luminance value with respect to the reference background image stored in the image, and binarizing the second difference image with a predetermined binarization threshold value. The binarization threshold is changed until the size of the intruding object in the processed image is equal to or smaller than a predetermined size, and the size of the intruding object in the binarized image is equal to or smaller than the predetermined size. A second binarization processing unit for outputting a binarization threshold value as a second binarization threshold value; and the first and second binarization threshold values, the first and second binary values. A threshold setting unit for setting a third binarization threshold value between the threshold values , The detection processing unit is adapted to detect an intrusion object based on the second binarization threshold.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. In the drawings, similar components are denoted by the same reference numerals.
First, the principle of the present invention will be described with reference to FIG.
FIG. 14 is a diagram illustrating changes in the binarized image for explaining the process of determining the binarization threshold.
In FIG. 14, reference numerals 140 to 148 denote luminance values for each pixel of the same input image in which the intruding object (in this case, “person”) from the imaging apparatus is shown and the reference background image in which the intruding object is not shown. The binarized image generated by taking the difference of the binarized image is shown when the binarization threshold th is increased to th = 5, 10, 15, 20, 20, 25, 30, 35, 40, respectively. .
1400 represents a noise image included in the binarized image 140, and 1401 represents an image of an intruding object. As the binarization threshold is increased from the initial value th = 5, the noise image gradually disappears, and the noise disappears at th = 25. The binarization threshold at this time is defined as a first threshold Th1. As the binarization threshold is further increased, the size of the intruding object is gradually reduced, and the intruding object is detected with a predetermined size at th = 35, and at th = 40, the intruding object has a predetermined size. Shrink to less than. The binarization threshold value at th = 35 is set as the second threshold value Th2.
Therefore, in order to completely remove noise and detect an intruding object without overlooking it, the intruding object detection threshold value is between the first threshold value Th1 and the second threshold value Th2. What is necessary is just to select a threshold value.
The first threshold value Th1 is a binarization threshold value at which noise disappears completely. However, as described later, the first threshold value Th1 may be a threshold value at which a predetermined number of pixel clusters disappear.
In the above description, the binarization threshold value is increased from the initial value, but it goes without saying that, for example, the initial value may be set to th = 40 and then decreased.
[0018]
Next, an embodiment according to the intruding object monitoring apparatus of the present invention will be described.
FIG. 11 is a block diagram showing the configuration of the intruding object monitoring apparatus of the present invention. 1101 is a television camera (hereinafter referred to as a TV camera), 1102 is an input device, 1103 is an image input interface 1104 is an input I / F, 1105 is an image memory, 1106 is a work memory, 1107 is a CPU (Central Processing Unit), 1108 Is a program memory, 1109 is an output I / F, 1110 is an image output I / F, 1112 is a warning lamp, 1113 is a monitor, and 1111 is a data bus.
[0019]
In FIG. 11, a TV camera 1101 is coupled to an image input I / F 1103, an input device 1102 is coupled to an input I / F 1104, a warning light 1112 is coupled to an output I / F 1109, and a monitor 1113 is an image output I / F 1110. An image input I / F 1103, an input I / F 1104, an image memory 1105, a work memory 1106, a CPU 1107, a program memory 1108, an output I / F 1109, and an image output I / F 1110 are coupled to a data bus 1111. ing.
[0020]
In FIG. 11, the TV camera 1101 captures an image within the imaging field including the monitoring target area. The TV camera 1101 converts the captured video into an electrical video signal (for example, NTSC video signal), and provides the converted video signal to the image input I / F 1103.
The image input I / F 1103 converts the input video signal into image data in a format (for example, width 320 pix, height 240 pix, 8 bits / pix) handled by the intruding object monitoring apparatus, and via the data bus 1111 The image memory 1105 is provided.
The image memory 1105 stores the transmitted image data. The input device 1102 detects an operation signal (for example, RS-232C serial communication) by detecting at least one input operation of a specific operation such as voice or gesture of a human or an auxiliary animal, an input by an external input device such as a button, a keyboard, or a mouse. Signal) and the converted operation signal is applied to the input I / F 1104.
[0021]
The input I / F 1104 is a format in which the input operation signal is handled by the intruding object monitoring apparatus (for example, “1”, “2”, “3”, “4”, "5"), and the converted operation data is applied to the work memory 1106 via the data bus 1111. For example, RS-232C may be used as the format.
The work memory 1106 accumulates input operation data. The CPU 1107 analyzes the image stored in the image memory 1105 in the work memory 1106 according to the program stored in the program memory 1108.
As a result of the above analysis, information such as whether or not an intruding object has entered the imaging field of view of the TV camera 1101 is obtained.
[0022]
The CPU 1107 gives a video signal to the monitoring monitor 1112 via the image output I / F 1110 and displays, for example, a processing result image. At the same time, the CPU 1107 gives a control signal for turning on the warning lamp 1112 to the warning lamp 1112 via the output I / F 1109. The warning lamp 1112 is turned on by the input control signal. The image output I / F 1110 converts the video signal from the CPU 1107 into a format that can be used by the monitor monitor 1113 (for example, NTSC video signal), and sends it to the monitor 1113. The monitor 1113 displays an intruding object detection result image, for example.
[0023]
FIG. 2 is an example of a flowchart showing the operation of the first exemplary embodiment of the present invention. This flowchart is executed using, for example, the already described intruding object monitoring apparatus of FIG.
In this embodiment, a first intruding object detection threshold value determining step 101 and a second intruding object detection threshold value determining step are performed before the image input step 111 in the intruding object detection flowchart according to the prior art shown in FIG. 103 and an intruding object detection threshold value selection step 201 are added.
[0024]
In FIG. 2, in the first intruding object detection threshold value determination step 101, “255” detected in the binarized image when the binarization threshold value when the difference image is binarized is increased. This is a step of determining an intruding object detection threshold based on a noise level having a luminance value (hereinafter referred to as the number of pixel clusters). The first intruding object detection threshold value determining step 101 will be described with reference to FIG.
[0025]
FIG. 4 is an example of a flowchart for explaining the operation of the first intruding object detection threshold value determining step 101 in FIG. The reference background image 1202 is stored in the image memory 1105 in advance.
In FIG. 4, in an image selection step 401, an image in which there is no intruding object to be detected in the monitoring visual field region is selected. This process is performed, for example, by determining whether or not there is an intruding object to be detected in the monitoring visual field area while watching the captured image from the TV camera 1101 displayed on the screen of the monitor 1113 by the monitoring person. Is used to notify the intruding object monitoring device that there is no intruding object to be detected, and the process proceeds to the image input step 402 assuming that an appropriate video is selected by the notification.
Next, in the image input step 402, as in the image input step 111, for example, an input image having a width of 320 pix, a height of 240 pix, and 8 bits / pix is acquired.
In the difference processing step 403, as in the difference processing step 112, a difference for each pixel between the input image 1201 and the reference background image 1202 is obtained, and a difference image 1203 is obtained (see FIG. 12).
In the binarization threshold value initialization step 404, the binarization threshold value Th is initialized to, for example, Th = 1.
[0026]
In the binarization processing and display step 405, the difference image 1203 obtained in the difference processing step 403 is binarized based on the binarization threshold Th set at that time, and the pixel value in the difference image 1203 is binarized. A pixel that is equal to or greater than the binarization threshold Th is “255”, and a pixel that is less than the binarization threshold Th is “0”.
To get.
Further, the binarization threshold at this time and the acquired binarized image are displayed on the screen of the monitor 1113.
Next, in an object detection processing step 406, a block of pixels (referred to as a detection object) having a pixel value “255” in the binarized image 1204 is detected, and the number thereof is counted.
For example, this process may be performed by counting the number of pixel clusters having a predetermined area (for example, 10 pixels) or more.
[0027]
In the detected object number determination step 407, if the number of pixel clusters detected in the object detection processing step 406 is 0, the process branches to the first intruding object detection threshold value determination and display step 408, and if 1 or more If there is, the process branches to a binarization threshold increase step 409.
In the first intruding object detection threshold value determination and display step 408, the binarization threshold value Th used in the binarization processing step 405 is determined as the first intruding object detection threshold value Th1, and will be described later. Thus, the first threshold candidate mark 806a is displayed on the monitor 1113, the first intruding object detection threshold value determining step 101 in FIG. 2 is terminated, and the second intruding object detection threshold value determining step 103 is performed. Proceed to
In the binarization threshold increase step 409, the binarization threshold is increased by 1, and the process proceeds to the binarization processing step 405.
[0028]
In the above description, in the image selection step 401, an image in which there is no intruding object to be detected in the monitoring visual field region is selected. For example, an image in which one or more intruding objects exist is selected. In this case, in the detected object number determination step 407, when the number of detected objects detected in the object detection processing step 406 is the number of intruding objects reflected in the selected video, the first intruding object detection is performed. Branch to threshold determination and display step 408.
In the binarization threshold value initialization step 404, the binarization threshold value Th is initialized to Th = 1. However, the value to be initialized may be freely set according to the situation of the monitoring visual field region. Furthermore, in the binarization threshold increasing step 409, the binarization threshold is increased by 1. However, it is obvious that the threshold may be other than 1, and for example, the binarization threshold may be increased by an equal difference. , Or may be increased in a proportional manner or in a random manner.
[0029]
Next, in the second intruding object detection threshold value determination step 103, the luminance value “255” detected in the binarized image when the binarization threshold value for binarizing the difference image is increased is provided. This is a step of determining an intruding object detection threshold based on a change in the size of the pixel cluster. The second intruding object detection threshold value determination step 103 will be described with reference to FIG.
[0030]
FIG. 5 is an example of a flowchart for explaining the operation of the second intruding object detection threshold value determination step 103 in FIG. FIG. 5 shows a video selection step 401, a binarization threshold value initialization step 404, a detection object number determination step 407, a first intruding object detection threshold value determination and display step 408, and a binary value shown in FIG. In place of the threshold value increasing step 409, an image selection step 501, a binarized threshold value initializing step 504, a detected object size determining step 507, and a second intruding object detection threshold value determining and displaying step 508 And a binarization threshold value increasing step 509. The other steps are the same as those in FIG.
[0031]
In FIG. 5, in the image selection step 501, an image in which a reference intruding object serving as a reference in determining an intruding object detection threshold in the monitoring visual field region is selected is selected. The reference intruding object is a person when the intruding object monitoring device is used for monitoring an intruder, and is a vehicle when used for monitoring a vehicle.
In this process, for example, in the same way as in the case of FIG. 4, the monitoring person determines whether or not the reference intruding object is in the monitoring visual field region, and uses the input device 1102 to enter the intruding object monitoring device. It is assumed that an object is shown and an appropriate video is selected by the notification. Subsequently, the image input step 402 and the difference processing step 403 are processed, and the process proceeds to step 504.
[0032]
In the binarization threshold value initialization step 504, the binarization threshold value is initialized to, for example, the first intruding object detection threshold value Th1, and then the binarization processing and display step 405 and the object detection processing step 406 are performed. The process proceeds to step 507.
[0033]
Subsequently, in a detected object size determination step 507, it is determined whether the size of the circumscribed rectangle of the largest detected object is equal to or smaller than a predetermined value. Here, the predetermined value is a size that is regarded as an intruding object to be detected. For example, a 1 / 2-type CCD (element size: width dx = 6.5 mm, height dy = 4.6 mm) as an imaging device. ), F = 25 mm lens, the distance from the camera to the monitoring area is L = 50 m, the input image size: width X0 = 320 pix, height Y0 = 240 pix, and the intrusion to be detected If the object has a width w0 = 1 m and a height h0 = 1.5 m, the following equation (1) is obtained.
[Expression 1]

When the size (width w, height h) of the circumscribed rectangle of the detection object is w ≦ W0 and h ≦ H0, it is determined that it is less than a predetermined value.
[0034]
In the detected object size determination step 507, if the size of the circumscribed rectangle of the largest detected object is less than a predetermined value, the process branches to the second intruding object detection threshold value determination and display step 508, where the predetermined value In this case, the process branches to the binarization threshold increase step 509.
[0035]
In the second intruding object detection threshold determination and display step 508, a value obtained by subtracting 1 from the binarization threshold Th used in the binarization processing step 405 (the binarization threshold immediately before the binarization threshold Th). Value, that is, the binarization threshold value obtained by subtracting the increase in the binarization threshold value increase step 509) is determined as the second intruding object detection threshold value Th2, and is determined as described later. 2 is displayed on the monitor 1113 (FIG. 8), the second intruding object threshold value determining step 103 in FIG. 2 is terminated, and the intruding object is displayed. Proceed to detection threshold selection step 201.
In the binarization threshold increase step 509, the binarization threshold is increased by 1, and the process proceeds to the binarization processing step 405.
In the above description, the step width for increasing the binarization threshold is 1. However, the step width is not limited to this, and may be 2 or more. As described above, the step width is increased equally. Or may be increased in an equal ratio or may be increased at random.
[0036]
Subsequently, in FIG. 2, in the intruding object detection threshold selection step 201, the first intruding object detection threshold determination step 101 and the second intruding object detection threshold determination step 103 obtained in the first The threshold value between the intruding object detection threshold value Th1 and the second intruding object detection threshold value Th2 is defined as an intruding object detection threshold value. That is, the intruding object detection threshold Th is determined as follows.
Th1 ≤ Th ≤ Th2 ... Formula (2)
This process is performed, for example, by the monitoring person selecting either the first intruding object detection threshold Th1 or the second intruding object detection threshold Th2 using the input device 1102.
Before the intruding object detection threshold value determining step 103, a threshold value Th3 (for example, Th1 and Th2 between the first intruding object detection threshold value Th1 and the second intruding object detection threshold value Th2). A step of determining at least one (average value) may be provided, and any one of the intruding object detection threshold values Th1, Th2, and Th3 may be selected in Step 201.
[0037]
Here, the relationship between the first intruding object detection threshold Th1 and the second intruding object detection threshold Th2 will be described with reference to FIG. FIG. 10 shows the relationship between the difference level 1002 of noise detected by the difference method (noise generated inside the imaging apparatus, noise superimposed in the process of transmitting the video signal, etc.) and the difference level 1001 of the intruding object. (Description of moving objects other than intruding objects will be described later).
[0038]
As shown in FIG. 10, in the first intruding object detection threshold value determining step 101, the first intruding object detection threshold value Th1 is used (or the intruding object is detected by using an image in which the intruding object to be detected is not shown). The noise difference level 1002 is less than the first intruding object detection threshold value 1004 (Th1), and the second intruding object detection threshold value determination step 102 determines the reference level. Since the limit binarization threshold that can detect the intruding object is determined as the second intruding object detection threshold Th2, the difference level 1001 of the intruding object becomes larger than the second intruding object detection threshold 1006 (Th2). .
That is, by selecting any one of the first intruding object detection threshold Th1 or the second intruding object detection threshold Th2 as the intruding object detection threshold, erroneous detection of noise is prevented, and An intruding object detection threshold that can detect an intruding object can be set.
[0039]
Returning to FIG. 2, in the image input step 111 following step 201, for example, an input image having a width of 320 pix, a height of 240 pix, and 8 bits / pix is acquired from the TV camera 1101, and the process proceeds to step 112.
In the difference processing step 112, the difference value of the luminance value for each pixel between the input image and the reference background image is obtained to obtain the difference image, and the process proceeds to step 113.
In the binarization processing step 113, pixels that are equal to or greater than the intruding object detection threshold value “255” based on the intrusion object detection threshold value selected from the obtained difference image in step 201 are less than the intruding object detection threshold value. A binarized image is acquired with the pixel set to “0”, and the process proceeds to step 114 ′.
In the intruding object detection processing step 114 ′, for example, a block of pixels having the pixel value “255” in the binarized image is detected by a known labeling method, and the process proceeds to step 115 ′.
In the intruding object determination step 115 ′, an intruding object is detected when the size of the circumscribed figure of the intruding object detected in the intruding object detection processing step 114 ′ is, for example, a circumscribed rectangle is larger than a predetermined size. If the size of the circumscribed rectangle of all the detected intruding objects is less than a predetermined size, it is determined that no intruding object has been detected, and the process returns to the image input step 111. The predetermined size is calculated by the above-described equation (1).
In the alarm / monitor display step 116, for example, the processing result is displayed on the monitor 1113 via the image output I / F 1110, or a warning or the like is turned on via the output I / F 1109, for example.
Therefore, according to the present embodiment, the first intruding object detection threshold Th1 and the second intruding object detection threshold Th2 are determined from the input image obtained by the imaging apparatus, and any one of them is determined. By selecting, it is possible to easily set the intruding object detection threshold, and to detect the intruding object in the field of view of the imaging device.
[0040]
FIG. 3 is an example of a flowchart showing the processing operation of the second embodiment of the present invention. In the second embodiment, at least one or more first intruding object detection threshold candidates and second intruding object detection threshold candidates are recorded, and the first intruding object detection is performed based on each candidate. The threshold value and the second intruding object detection threshold value are determined.
FIG. 3 is a flowchart illustrating the first intruding object detection threshold value recording step 102, the second intruding object detection threshold value recording step 104, the predetermined frame end determination step 105, Intrusion object detection threshold selection step 106 and a second intrusion object detection threshold selection step 107 are added. The other steps are the same as those in the flowchart shown in FIG.
[0041]
In FIG. 3, as described with reference to FIG. 2, the processing of the first intruding object detection threshold value determination step 101 is performed, and the process proceeds to step 102.
In the first intruding object detection threshold value recording step 102, the first intruding object detection threshold value Th1 obtained in the first intruding object detection threshold value determining step 101 is used as the first intruding object detection threshold value. A candidate is recorded in the work memory 1106.
[0042]
Next, also in step 103, as described in FIG. 2, the processing of the second intruding object detection threshold value determination step 103 is performed, and the process proceeds to step 104.
In the second intruding object detection threshold value recording step 104, the second intruding object detection threshold value Th2 obtained in the second intruding object detection threshold value determining step 103 is used as the second intruding object detection threshold value. A candidate is recorded in the work memory 1106.
[0043]
Subsequently, in a predetermined frame end determination step 105, it is determined whether or not each of the intruding object detection threshold candidates has been obtained for a predetermined number of frames. The process branches to the first intrusion object detection threshold selection step 106. If not obtained, the process branches to the first intrusion object detection threshold recording step 101.
[0044]
In the first intruding object detection threshold selection step 106, the largest value among the first intruding object detection threshold candidates recorded in the work memory 1106 is selected as the first intruding object detection threshold. .
In the second intruding object detection threshold selection step 107, the smallest value among the second intruding object detection threshold candidates recorded in the work memory 1106 is selected as the second intruding object detection threshold. .
Therefore, according to the present embodiment, since the largest value of the obtained first intruding object detection threshold candidates is the first intruding object detection threshold, noise can be reliably removed. (The difference level of the highest noise can also be removed), and the smallest value among the obtained second intruding object detection threshold candidates is used as the second intruding object detection threshold. Therefore, the intruding object can be reliably detected (even the lowest difference level of the intruding object can be detected), and the reliability of the intruding object recognition device can be improved.
In this embodiment, a plurality of candidates are prepared only for one of the first and second intruding object detection threshold values, and the threshold value is set for the other without preparing a plurality of candidates as in FIG. It may be modified to be determined.
[0045]
6 and 7 are examples of flowcharts showing the third embodiment of the present invention. In the third embodiment, a dead zone is provided when determining the first intruding object detection threshold value, and an area where the intruding object exists is specified when determining the second intruding object detection threshold value. For example, the processing shown in the flowchart of FIG. 2 is performed in the first intruding object detection threshold value determination step 101 in accordance with the flowchart in FIG. 6, and the processing in the second intruding object detection threshold value determination step 103 is performed. This is performed according to the flowchart of FIG.
FIG. 6 is a flowchart shown in FIG. 4 in which a dead zone setting step 601 is added between step 401 and step 402, and another binarization processing step 602 is used instead of the binarization processing step 405. is there.
FIG. 7 is a flowchart shown in FIG. 5, in which a reference intruding object region setting step 701 is added between step 402 and step 403, and another detected object size determination step 702 is performed instead of the detected object size determination step 507. Is used.
[0046]
In FIG. 6, as described with reference to FIG. 4, the video selection step 401 is performed, and the process proceeds to step 601.
In the dead zone setting step 601, a moving object other than the intruding object to be detected, such as a shake of trees, is set as a dead zone, and the noise difference level is detected more accurately. This will be described with reference to FIG. FIG. 9 shows an example in which trees 903 and grasses 904a, 904b, and 904c are shown in the input image 901.
[0047]
Here, the monitoring person operates the input device 1102 to move the position indication mark 908 shown on the monitor 1113, and designates a tree area 905 and a grass area 906 by, for example, polygons. The designated area becomes a dead zone, and pixels in the dead zone are not used for determining the first intruding object detection threshold.
Next, the processing operation from step 402 to step 404 is performed, and the process proceeds to step 602.
[0048]
A binarization processing step 602 creates a binarized image in which a pixel whose difference value is equal to or greater than a binarization threshold and is not a dead zone is “255”, and the others are “0”.
A moving object other than an intruding object to be detected, such as shaking of trees, has a large difference level compared to the noise difference level, as shown in FIG. Therefore, a more accurate noise difference level can be detected by setting the dead zone.
[0049]
Next, in FIG. 7, as described with reference to FIG. 5, the video selection step 501 and the image input step 402 are performed, and the process proceeds to step 701.
In the reference intruding object area setting step 701, the area (circumscribed rectangle) of the reference intruding object is designated. This will be described with reference to FIG.
In FIG. 9, an input image 901 shows a reference intruding object 902, and the observer operates the input device 1102 to move the position indication mark 908 shown on the monitor 1113, and for example, the area of the reference intruding object is indicated by a rectangle. Specify 907. It is obvious that the area of the reference intruding object is not limited to the circumscribed rectangle, and any circumscribed figure can be used.
Next, the processing operation from step 403 to step 406 is performed, and the process proceeds to step 702.
[0050]
In the detected object size determination step 702, when the size of the detected object detected in the reference intruding object region 907 specified in the reference intruding object region setting step 701 is less than a predetermined ratio of the reference intruding object region 907. Then, the process branches to a second intruding object detection threshold value determination step 508, and branches to a binarization threshold value increase step 509 if it exceeds a predetermined ratio.
Here, the predetermined ratio is, for example, 0.3. That is, if the size of the reference intruding object is 30% or more, it can be detected as an intruding object.
Therefore, according to the present embodiment, it is possible to accurately detect the difference level of noise superimposed on the input image and obtain the first intruding object detection threshold value. Furthermore, according to this embodiment, the second intruding object detection threshold can be obtained without calculating the size of the intruding object as in the first embodiment, and the reliability of the intruding object recognition device can be improved. It becomes possible to improve.
[0051]
Further, in this embodiment, a specific effect can be obtained by designating the area of the intruding object and determining the second intruding object detection threshold within the area. Explaining this, in the difference method, if there is a pixel whose brightness is close to that of the intruding object and the reference background image, the pixel is determined to be “0” by the binarization process. May be observed. In this case, the size of the circumscribed figure of the detected object is apparently reduced, and the second intruding object detection threshold determined in the first embodiment is smaller than the optimum value.
In this embodiment, a region where an intruding object exists is specified in the reference intruding object region setting step 701, and an object detected in the region in the detected object size determination step 702 (becomes “255” by binarization processing). It is determined whether or not the number of pixels in the pixel block is equal to or greater than a predetermined ratio within the designated area. Since the determination is based on the ratio of pixels that are “255” in the binarized image, the determined intruding object is not less than a certain value regardless of whether the second intruding object detection threshold value is divided or not. It is possible to guarantee that detection is performed with a proportion of pixels.
[0052]
FIG. 1 is an example of a flowchart showing a fourth embodiment of the present invention. In the fourth embodiment, the width (difference value) between the first intruding object detection threshold Th1 and the second intruding object detection threshold Th2 is obtained, and the obtained intruding object detection threshold is the intruding object. It is determined whether or not it is suitable for the detection process.
FIG. 1 is a flowchart shown in FIG. 3, after the second intruding object detection threshold selection step 107, the first and second intruding object detection threshold difference determining step 108 and the third intruding object. The detection threshold value determination step 109 is added, and another intrusion object detection threshold value selection step 110 is used instead of the intrusion object detection threshold value selection step 201.
[0053]
The first and second intruding object detection threshold value difference determining step 108 is the first intruding object detection threshold value selecting step 106 and the second intruding object detection threshold value selecting step 107. The difference between the first intruding object detection threshold Th1 and the second intruding object detection threshold Th2 is obtained, and when the difference is less than a predetermined value (for example, 5), the first intruding object detection threshold is determined. The process branches to step 101, and if it is equal to or greater than the predetermined value, the process branches to a third intruding object detection threshold value determination step 109.
In the above embodiment, in the first and second intruding object detection threshold difference determining step 108, the difference between the first intruding object detection threshold Th1 and the second intruding object detection threshold Th2 is a predetermined value. If it is less than 1, the process branches to the first intruding object detection threshold value determination step 101. However, in the first and second intruding object detection threshold value difference determination step 108, if it is repeated several times, If the process does not branch to the intruding object detection threshold value determination step 109, for example, it is possible to branch to the alarm / monitor display step 116 to notify the monitoring person of the abnormality.
[0054]
In the third intruding object detection threshold determination step 109, at least one third intruding object having a value greater than the first intruding object detection threshold Th1 and less than the second intruding object detection threshold Th2. A detection threshold Th3 is obtained.
For example, if one third intruding object detection threshold Th3 is determined, the average of the first intruding object detection threshold Th1 and the second intruding object detection threshold Th2 may be used.
[0055]
Next, in the intruding object detection threshold selection step 110, one of the first intruding object detection threshold Th1, the second intruding object detection threshold Th2, and the third intruding object detection threshold Th3 is set. The threshold is an intruding object detection threshold.
This process will be described with reference to FIG. 10. For example, the monitor uses the input device 1102 to detect the first intruding object detection threshold Th1 and the second intruding object detection threshold Th2 and the third intruding object. This is performed by selecting one of the detection threshold values Th3.
Therefore, according to the present embodiment, even when the strength of the wind changes and the amount of the apparent movement of the moving object 1103 other than the intruding object to be detected such as the shaking of the tree shown in the input image changes, the first The intruder detection threshold value, the second intrusion object detection threshold value, and the third intrusion object detection threshold value can be easily set by the monitor operating the input device 1102. Can be set to
[0056]
FIG. 8 is an example of a screen display displayed on the monitor 1113 of the present invention. FIG. 8 shows how the binarized image changes with respect to the binarization threshold, and what value is the first intrusion object detection threshold candidate and the second intrusion object detection threshold candidate? In the screen, the binarized image 801 (reference intruding object 802, noise 803a, 803b, 803c), binarization threshold level gauge 804, current binarization threshold binary Identification symbol (binarization threshold mark) 805 indicating the position on the threshold value threshold gauge 804, first intrusion object detection threshold candidate marks 806 a, 806 b, 806 c, and second intrusion object detection Threshold candidate marks 807a, 807b, and 807c are displayed.
[0057]
In FIG. 8, the intruding object monitoring device operates, for example, the processing operation of the flowchart of FIG. 4 is started. First, when the binarization threshold value is determined by the binarization threshold value initialization step 404, the monitor 1113 displays the binarization threshold value. A binarization threshold mark is displayed at the position of the binarization threshold value, and a binarized image acquired with the binarization threshold is displayed. Similarly, each time the processing of steps 405 to 409 is repeated, the binarization threshold mark is updated and displayed at the position of the binarization threshold value on the monitor 1113, and the binarization threshold value is acquired. The binarized image thus updated is displayed. When the first binarization threshold candidate is determined, the candidate mark 806a is further displayed.
Similarly, for example, when the processing operation of the flowchart of FIG. 5 is executed, when a candidate for the second binarization threshold is determined as a result, the candidate mark 807a is further displayed. Then, when the third binarization threshold value is determined by the third intruding object detection threshold value determination step 109 in the flowchart of FIG. 1, the candidate mark (not shown) is further displayed. . Then, the inspecting object detection threshold is set by the monitoring person selecting a binarization threshold that seems to be appropriate using the input device 1102 from among them, and the mark (not shown) monitor 1113 is set. Is displayed. These marks (not shown) may be provided in any form along the level gauge.
Thus, the binarization threshold mark 805 changes according to the set binarization threshold, and the binarized image 801 also changes accordingly.
[0058]
Each time a processing operation (for example, FIG. 1) is performed (for example, about three times), each time an intruding object detection threshold candidate is obtained, the value is displayed next to the binarized threshold level gauge 804. Candidate marks 806a, 806b, 806c, 807a, 807b, 807c
, And the third binarized threshold mark candidate is displayed in an overlapping manner.
By displaying on the monitor monitor screen in this way, it is possible to know how the binarized image 801 is obtained by the intruding object detection threshold value being set.
[0059]
In the embodiment described above, the binarization threshold is changed in the direction of increasing from the initial value when the intruding object detection threshold is determined. However, it is obvious that the binarization threshold value may be changed in a direction of decreasing from the initial value (maximum value). In that case, in each of the first, second, third, and fourth embodiments, the second intruding object detection threshold is first determined, and then the first intruding object detection threshold is determined. It will be.
[0060]
In determining the second intruding object detection threshold, for example, in step 505 of FIG. 5, it is determined whether the size of the circumscribed rectangle of the largest detected object is greater than or equal to a predetermined value. If it is equal to or greater than the predetermined value, the process branches to step 508 to determine the binarization threshold Th used in the binarization processing step 405 as the second intruding object detection threshold Th2.
On the other hand, when the size of the circumscribed rectangle of the largest detection object is smaller than the predetermined value in step 508, the process branches to step 509, 1 is subtracted from the binarization threshold Th, and the process proceeds to binarization processing step 405. Transfer.
[0061]
In the determination of the first intruding object detection threshold value, for example, in step 407 of FIG. 4, the number of pixel blocks having the pixel value “255” in the binarized image 1204 is counted, and the number is counted. If not 0, the process branches to step 408, and a value obtained by subtracting 1 from the binarization threshold Th used in the binarization processing step 405 is determined as the first intruding object detection threshold Th1.
On the other hand, if the number of pixel clusters having the pixel value “255” counted in step 407 is 0, the binarization threshold Th is decremented by 1 in step 409 and the process proceeds to the binarization processing step 405.
The modification of the details of each of the above-described embodiments in determining the intruding object detection threshold value by changing the binarization threshold value Th in the direction of decreasing from the initial value is described in the description of the above description. From the above, it will be obvious to those skilled in the art, and further explanation will be omitted.
[0062]
【The invention's effect】
Therefore, an intruding object detection threshold capable of removing noise other than the intruding object from the input image obtained from the imaging device, and an intruding object detection threshold by detecting the reference intruding object captured in the imaging field of view. Is calculated automatically, and by selecting one of them, the intrusion object detection threshold can be set easily, and skill is required for setting the intrusion object detection threshold. First, even when the illuminance, time zone, lens aperture, etc. of the monitoring visual field region change, the intruding object detection threshold can be easily set, and the application range of the intruding object recognition device can be greatly expanded.
[Brief description of the drawings]
FIG. 1 is a flowchart showing a processing operation of an embodiment of the present invention.
FIG. 2 is a flowchart showing the processing operation of an embodiment of the present invention.
FIG. 3 is a flowchart showing the processing operation of an embodiment of the present invention.
FIG. 4 is a flowchart showing the processing operation of an embodiment of the present invention.
FIG. 5 is a flowchart showing the processing operation of an embodiment of the present invention.
FIG. 6 is a flowchart showing the processing operation of an embodiment of the present invention.
FIG. 7 is a flowchart showing the processing operation of an embodiment of the present invention.
FIG. 8 is a diagram showing a screen display according to an embodiment of the present invention.
FIG. 9 is a diagram showing a method for setting a dead zone area and a reference intruding object area according to the present invention.
FIG. 10 is a diagram illustrating a difference level of an intruding object, noise, and a moving object other than the intruding object to be detected.
FIG. 11 is a block diagram showing the configuration of an embodiment of the intruding object monitoring apparatus of the present invention.
FIG. 12 is a block diagram for explaining an intruding object detection principle in a difference method.
FIG. 13 is a flowchart showing a conventional intruding object detection operation.
FIG. 14 is a diagram for explaining the operating principle of determining an intruding object threshold according to the present invention.
[Explanation of symbols]
101: First intruding object detection threshold determination step 102: First intruding object detection threshold recording step 103: Second intruding object detection threshold determination step 104: Second intruding object detection Threshold recording step, 105: predetermined frame number end determination step, 106: first intruding object detection threshold selection step, 107: second intruding object detection threshold selection step, 108: first and second Intrusion object detection threshold value difference determination step 109: Third intrusion object detection threshold value determination step 110: Intrusion object detection threshold value selection step 111: Image input step 112: Difference processing step 113 Binarization processing step 114: Intruding object detection step 115: Intruding object determination step 116: Alarm / monitor display step 201 Intruder detection threshold selection step 401: Video selection step 402: Image input step 403: Difference processing step 404: Binarization threshold initialization step 405: Binarization step 406: Object detection processing 407: Detected object number determination step, 408: First intruding object detection threshold value determination step, 409: Binary threshold value increase step, 501: Video selection step, 507: Detected object size determination step, 508 : Second intruding object detection threshold determination step, 509: binarization threshold increase step, 601: dead zone setting step, 602: binarization step, 701: reference intruding object region setting step, 702: detected object size Determination step, 804: binarized threshold level gauge, 805: binarized threshold level marker 806a, 806b, 806c: first intrusion object detection threshold candidate mark, 807a, 807b, 807c: second intrusion object detection threshold candidate mark, 1101: TV camera, 1102: input device 1103: Image input I / F, 1104: Input I / F, 1105: Image memory, 1106: Work memory, 1107: CPU, 1108: Program memory, 1109: Output I / F, 1110: Image output I / F, 111: data bus, 1112: warning light, 1113: monitoring monitor, 1201: input image, 1202: reference background moving image, 1203: difference image, 1204: binarized image, 1205: differencer, 1206: binarizer .

Claims (15)

撮像手段から得られる画像中の物体を検出する物体検出方法であって、An object detection method for detecting an object in an image obtained from an imaging means,
前記撮像手段からの第１の入力画像と、記憶手段に記憶されている基準画像との比較結果を表す第１の比較画像を生成するステップと、  Generating a first comparison image representing a comparison result between a first input image from the imaging unit and a reference image stored in a storage unit;
該生成された第１の比較画像をしきい値処理した際のノイズの個数に基づいて第１のしきい値を選定するステップと、  Selecting a first threshold based on the number of noises when the generated first comparison image is thresholded;
前記撮像手段からの物体を含む第２の入力画像と、前記基準画像との比較結果を表す第２の比較画像を生成するステップと、  Generating a second comparison image representing a comparison result between the second input image including the object from the imaging unit and the reference image;
該生成された第２の比較画像をしきい値処理した際の物体の大きさに基づいて第２のしきい値を選定するステップと、  Selecting a second threshold based on the size of the object when the generated second comparison image is thresholded;
前記第１と第２のしきい値を含み、前記第１と第２のしきい値の間に第３のしきい値を設定し、該第３のしきい値に基づいて物体を検出するステップと、を備える、  Including a first threshold value and a second threshold value, setting a third threshold value between the first and second threshold values, and detecting an object based on the third threshold value And comprising steps
ことを特徴とする物体検出方法。  An object detection method characterized by the above. 請求項１に記載の物体検出方法において、The object detection method according to claim 1,
前記第１のしきい値は、前記ノイズの個数が所定の値以下になるように、或いは、所定の値未満になるように選定し、  The first threshold value is selected so that the number of noises is less than or equal to a predetermined value, or less than a predetermined value,
前記第２のしきい値は、前記物体の大きさが所定の値以上になるように、或いは、所定の値を超えるように選定する、  The second threshold value is selected such that the size of the object is equal to or greater than a predetermined value, or exceeds a predetermined value.
ことを特徴とする物体検出方法。  An object detection method characterized by the above. 請求項１に記載の物体検出方法において、The object detection method according to claim 1,
前記第１の入力画像及び前記第２の入力画像の少なくともいずれか一方について複数フレームの画像を用いることにより、前記第１のしきい値及び前記第２のしきい値の少なくともいずれか一方の候補を複数選定し、  By using a plurality of frames of images for at least one of the first input image and the second input image, candidates for at least one of the first threshold value and the second threshold value are used. Select multiple
前記第１のしきい値の複数候補に基づいて前記第１のしきい値を選定する、或いは、前記第２のしきい値の複数候補に基づいて前記第２のしきい値を選定する、  Selecting the first threshold based on a plurality of candidates for the first threshold, or selecting the second threshold based on a plurality of candidates for the second threshold;
ことを特徴とする物体検出方法。  An object detection method characterized by the above. 請求項１に記載の物体検出方法において、The object detection method according to claim 1,
更に、前記第１と第２のしきい値の差を求め、該差が所定の値以下になる場合、或いは、所定の値未満になる場合、異常と判定するステップを備える、  Further, a step of obtaining a difference between the first and second threshold values, and determining that the difference is abnormal when the difference is equal to or smaller than a predetermined value or less than a predetermined value,
ことを特徴とする物体検出方法。  An object detection method characterized by the above. 請求項１に記載の物体検出方法において、The object detection method according to claim 1,
更に、前記第１と第２のしきい値を示す情報を表示手段に表示し、ユーザに前記第３のしきい値を設定させるステップを備える、  And displaying information indicating the first and second threshold values on a display means and allowing the user to set the third threshold value.
ことを特徴とする物体検出方法。  An object detection method characterized by the above. 撮像手段から得られる画像中の物体を検出する物体検出装置であって、An object detection device for detecting an object in an image obtained from an imaging means,
前記撮像手段からの第１の入力画像と、記憶手段に記憶されている基準画像との比較結果を表す第１の比較画像を生成する第１の比較画像生成手段と、  First comparison image generation means for generating a first comparison image representing a comparison result between the first input image from the imaging means and a reference image stored in the storage means;
該生成された第１の比較画像をしきい値処理した際のノイズの個数に基づいて第１のしきい値を選定する第１のしきい値選定手段と、  First threshold value selecting means for selecting a first threshold value based on the number of noises when the generated first comparison image is thresholded;
前記撮像手段からの物体を含む第２の入力画像と、前記基準画像との比較結果を表す第２の比較画像を生成する第２の比較画像生成手段と、  Second comparison image generation means for generating a second comparison image representing a comparison result between the second input image including the object from the imaging means and the reference image;
該生成された第２の比較画像をしきい値処理した際の物体の大きさに基づいて第２のしきい値を選定する第２のしきい値選定手段と、  Second threshold value selecting means for selecting a second threshold value based on the size of the object when the generated second comparison image is subjected to threshold processing;
前記第１と第２のしきい値を含み、前記第１と第２のしきい値の間に第３のしきい値を  Including a first threshold and a second threshold, and a third threshold between the first and second thresholds. 設定し、該第３のしきい値に基づいて物体を検出する物体検出手段と、を備える、Object detection means for setting and detecting an object based on the third threshold value,
ことを特徴とする物体検出装置。  An object detection apparatus characterized by that. 請求項６に記載の物体検出装置において、The object detection apparatus according to claim 6,
前記第１のしきい値選定手段は、前記第１のしきい値を、前記ノイズの個数が所定の値以下になる、或いは、所定の値未満になるように選定し、  The first threshold value selecting means selects the first threshold value so that the number of noises is equal to or less than a predetermined value or less than a predetermined value.
前記第２のしきい値選定手段は、前記第２のしきい値を、前記物体の大きさが所定の値以上になる、或いは、所定の値を超えるように選定する、  The second threshold value selecting means selects the second threshold value so that the size of the object is not less than a predetermined value or exceeds a predetermined value.
ことを特徴とする物体検出装置。  An object detection apparatus characterized by that. 請求項６に記載の物体検出装置において、The object detection apparatus according to claim 6,
前記第１の入力画像及び前記第２の入力画像の少なくともいずれか一方について複数フレームの画像を用いることにより、前記第１のしきい値及び前記第２のしきい値の少なくともいずれか一方の候補を複数選定し、  By using a plurality of frames of images for at least one of the first input image and the second input image, candidates for at least one of the first threshold value and the second threshold value are used. Select multiple
前記第１のしきい値選定手段は、前記第１のしきい値の複数候補に基づいて前記第１のしきい値を選定する、或いは、前記第２のしきい値選定手段は、前記第２のしきい値の複数候補に基づいて前記第２のしきい値を選定する、  The first threshold value selecting means selects the first threshold value based on a plurality of candidates for the first threshold value, or the second threshold value selecting means is the first threshold value selecting means. Selecting the second threshold based on a plurality of two threshold candidates;
ことを特徴とする物体検出装置。  An object detection apparatus characterized by that. 請求項６に記載の物体検出装置において、The object detection apparatus according to claim 6,
更に、前記第１と第２のしきい値の差を求め、該差が所定の値以下になる場合、或いは、所定の値未満になる場合、異常と判定する異常判定手段を備える、  Further, an abnormality determining means is provided for determining a difference between the first and second threshold values, and determining that the abnormality is present when the difference is equal to or smaller than a predetermined value or less than a predetermined value.
ことを特徴とする物体検出装置。  An object detection apparatus characterized by that. 請求項６に記載の物体検出装置において、The object detection apparatus according to claim 6,
更に、前記第１と第２のしきい値を示す情報を表示手段に表示し、ユーザに前記第３のしきい値を設定させる第３のしきい値設定手段を備える、  Furthermore, the display device includes a third threshold value setting unit that displays information indicating the first and second threshold values on a display unit and allows the user to set the third threshold value.
ことを特徴とする物体検出装置。  An object detection apparatus characterized by that. 撮像手段から得られる画像中の物体を検出する物体検出プログラムであって、An object detection program for detecting an object in an image obtained from an imaging means,
前記撮像手段からの第１の入力画像と、記憶手段に記憶されている基準画像との比較結果を表す第１の比較画像を生成する処理と、  Processing for generating a first comparison image representing a comparison result between a first input image from the imaging unit and a reference image stored in a storage unit;
該生成された第１の比較画像をしきい値処理した際のノイズの個数に基づいて第１のしきい値を選定する処理と、  A process of selecting a first threshold based on the number of noises when the generated first comparison image is thresholded;
前記撮像手段からの物体を含む第２の入力画像と、前記基準画像との比較結果を表す第２の比較画像を生成する処理と、  Processing for generating a second comparison image representing a comparison result between the second input image including the object from the imaging unit and the reference image;
該生成された第２の比較画像をしきい値処理した際の物体の大きさに基づいて第２のしきい値を選定する処理と、  A process of selecting a second threshold value based on the size of the object when the generated second comparison image is thresholded;
前記第１と第２のしきい値を含み、前記第１と第２のしきい値の間に第３のしきい値を設定し、該第３のしきい値に基づいて物体を検出する処理と、  Including a first threshold value and a second threshold value, setting a third threshold value between the first and second threshold values, and detecting an object based on the third threshold value Processing,
をコンピュータに行わせることを特徴とする物体検出プログラム。  An object detection program for causing a computer to perform the above. 請求項１１に記載の物体検出プログラムにおいて、In the object detection program according to claim 11,
前記第１のしきい値は、前記ノイズの個数が所定の値以下になるように、或いは、所定の値未満になるように選定し、  The first threshold value is selected so that the number of noises is less than or equal to a predetermined value, or less than a predetermined value,
前記第２のしきい値は、前記物体の大きさが所定の値以上になるように、或いは、所定の値を超えるように選定する、  The second threshold value is selected such that the size of the object is equal to or greater than a predetermined value, or exceeds a predetermined value.
ことを特徴とする物体検出プログラム。  An object detection program characterized by that. 請求項１１に記載の物体検出プログラムにおいて、In the object detection program according to claim 11,
前記第１の入力画像及び前記第２の入力画像の少なくともいずれか一方について複数フレームの画像を用いることにより、前記第１のしきい値及び前記第２のしきい値の少なくともいずれか一方の候補を複数選定し、  By using a plurality of frames of images for at least one of the first input image and the second input image, candidates for at least one of the first threshold value and the second threshold value are used. Select multiple
前記第１のしきい値の複数候補に基づいて前記第１のしきい値を選定する、或いは、前記第２のしきい値の複数候補に基づいて前記第２のしきい値を選定する、  Selecting the first threshold based on a plurality of candidates for the first threshold, or selecting the second threshold based on a plurality of candidates for the second threshold;
ことを特徴とする物体検出プログラム。  An object detection program characterized by that. 請求項１１に記載の物体検出プログラムにおいて、In the object detection program according to claim 11,
更に、前記第１と第２のしきい値の差を求め、該差が所定の値以下になる場合、或いは、所定の値未満になる場合、異常と判定する処理、  Further, a process for obtaining a difference between the first and second threshold values, and determining that the difference is abnormal when the difference is equal to or smaller than a predetermined value or less than a predetermined value;
をコンピュータに行わせることを特徴とする物体検出プログラム。  An object detection program for causing a computer to perform the above. 請求項１１に記載の物体検出プログラムにおいて、In the object detection program according to claim 11,
更に、前記第１と第２のしきい値を示す情報を表示手段に表示し、ユーザに前記第３のしきい値を設定させる処理、  A process for displaying information indicating the first and second threshold values on a display unit and allowing the user to set the third threshold value;
をコンピュータに行わせることを特徴とする物体検出プログラム。  An object detection program for causing a computer to perform the above.

Images