JP3625442B2 - 物体検出方法及び物体検出装置並びに物体検出プログラム - Google Patents
物体検出方法及び物体検出装置並びに物体検出プログラム Download PDFInfo
- Publication number
- JP3625442B2 JP3625442B2 JP2001334867A JP2001334867A JP3625442B2 JP 3625442 B2 JP3625442 B2 JP 3625442B2 JP 2001334867 A JP2001334867 A JP 2001334867A JP 2001334867 A JP2001334867 A JP 2001334867A JP 3625442 B2 JP3625442 B2 JP 3625442B2
- Authority
- JP
- Japan
- Prior art keywords
- object detection
- threshold value
- threshold
- intruding object
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に、撮像視野内の侵入物体を、撮像装置からの入力画像と基準背景画像との画素ごとの輝度値の差が侵入物体検出しきい値以上になる画素の領域に基づいて検出する侵入物体検出方法及び侵入物体監視装置に関し、特に、侵入物体検出しきい値を撮像装置から入力する入力画像に基づいて自動的に決定するようにした侵入物体検出方法及び侵入物体監視装置に関する。
【０００２】
【従来の技術】
近年、カメラ等の撮像装置を画像入力手段として用いた侵入物体検出装置は、従来からある監視員による有人監視ではなく、監視視野内の侵入物体を自動的に検出したり、物体の種類を自動的に確認したりして、所定の報知や警報処置が自動的に得られるようにするものが多い。
このようなシステムを実現するためには、先ず、カメラ等の画像入力手段より得られた入力画像から所定の侵入物体を検出する処理が必要となる。このような処理を実現する方法としては、例えば、入力画像と基準背景画像（即ち、検出すべき物体の写っていない画像）とを比較し、画素毎に差分を求め、その差分の大きい領域を物体として抽出する方法がある。この方法は、差分法と呼ばれ、従来から広く用いられている。
【０００３】
差分法の処理を図１２によって説明する。図１２は差分法における物体検出の処理原理を説明するための図である。１２０１ は入力画像、１２０２ は基準背景画像、１２０３ は差分画像、１２０４ は差分画像 １２０３ の二値化画像、１２０５ は減算器、１２０６ は二値化器、１２０７ は入力画像 １２０１ に写った人型の物体の領域、１２０８ は差分画像 １２０３ で差分が生じた差分領域、１２０９ は二値化画像 １２０４ で抽出された二値化領域である。
【０００４】
図１２において、減算器 １２０５ は入力画像 １２０１ と基準背景画像 １２０２ との輝度値の差分を画素毎に計算して差分画像 １２０３ を出力する。二値化器 １２０６ は差分画像 １２０３ について、画素毎の輝度値（差分値）が所定のしきい値 Ｔｈ 未満（差分値＜ Ｔｈ ）の画素の画素値を“ ０ ”、しきい値 Ｔｈ 以上（差分値≧ Ｔｈ ）の画素の画素値を“ ２５５ ”（１画素の輝度値を８ビットで計算）として二値化画像 １２０４ を得る。ここで、例えば、しきい値 Ｔｈ を“ ２０ ”というように設定する。
これによって、入力画像 １２０１ に写った人型の物体 １２０７ は、減算器 １２０５ によって差分が生じた領域 １２０８ が算出され、更に二値化器 １２０６ によって輝度値“ ２５５ ”のかたまりの画像 １２０９ が侵入物体として検出される。
【０００５】
この方法を用いた侵入物体認識方法の一例を図１３を用いて説明する。
図１３は、侵入物体検出方法を実行するための侵入物体検出プログラムの動作を示すフローチャートである。
画像入力ステップ １１１ では、ＴＶ カメラ等の撮像装置から、例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ の入力画像 １２０１ を取得し、ステップ １１２ に進む。
差分処理ステップ １１２ では、入力画像 １２０１ と基準背景画像 １２０２ との画素毎の差分を求めて差分画像 １２０３ を取得しステップ １１３ に進む。
二値化処理ステップ １１３ では、得られた差分画像 １２０３ を所定の二値化しきい値に基づいて侵入物体検出しきい値以上の画素を“ ２５５ ”、侵入物体検出しきい値未満の画素を“ ０ ”として二値化画像 １２０４ を取得し、ステップ １１４ に進む。
【０００６】
侵入物体検出処理ステップ １１４ では、例えば、ラベリングの方法によって二値化画像 １２０４ の中で画素値“ ２５５ ”を持つ画素のかたまりを検出してこれを侵入物体とし、ステップ １１５ に進む。
侵入物体判定ステップ １１５ では、侵入物体検出処理ステップ １１４ で侵入物体が検出された場合にはステップ １１６ に進み、侵入物体が検出されなかった場合には画像入力ステップ １１１ へ戻る。
警報・モニタ表示ステップ １１６ では、例えば、画像出力 Ｉ／Ｆ（以降、インターフェースを Ｉ／Ｆ と称する）、１１１０ を介してモニタ １１１３ に処理結果を表示したり、例えば、出力 Ｉ／Ｆ １１０９ を介して警告灯 １１１２ を点灯させたりする。
したがって、差分法を用いた侵入物体検出方法は、入力画像と基準背景画像とを比較し、画素毎に差分を求め、その差分の大きい領域を物体として検出する。差分法を応用した物体検出方法として、例えば平成７年特許公開第７９４２９号公報がある。
【０００７】
上述の侵入物体検出方法は、入力画像と基準背景画像との画素毎の差分と予め設定した侵入物体検出しきい値との比較によって侵入物体を検出する。
この侵入物体検出しきい値を小さな値に設定した場合には、侵入物体以外のノイズ（撮像装置内部で発生するノイズや映像信号を伝送する過程で重畳するノイズ等）や木々の揺れといった侵入物体以外の動く物体を誤検出する可能性がある。
一方、侵入物体検出しきい値を大きな値に設定した場合、侵入物体を構成する画素で基準背景画像と輝度値が近いものを検出できなくなってしまうため、侵入物体の見逃しが起こる可能性がある。
したがって、侵入物体の検出性能は、侵入物体検出しきい値に大きく依存する。しかし、この侵入物体検出しきい値は、監視視野領域の照度や時間帯、レンズの絞り等に合わせて設定する必要があり、その設定作業は煩雑、かつ、熟練性を要した。
【０００８】
【発明が解決しようとする課題】
前述の従来技術には、差分法を用いて侵入物体の検出する場合、侵入物体検出しきい値をどんな値に設定するかが重要であるが、この設定作業は、監視視野領域の照度や時間帯、レンズの絞り等が変わる度に行なわなければならず、煩雑であった。また、撮像装置より得られた入力画像から侵入物体以外のノイズを除去することができる侵入物体検出しきい値と、撮像視野に写した基準侵入物体を検出することによって侵入物体検出しきい値とを自動的に算出して、侵入物体検出しきい値を設定することには熟練性を要するという欠点があった。
本発明の目的は、上記のような欠点を除去し、侵入物体検出しきい値の設定作業に熟練性を必要とせず、監視視野領域の照度や時間帯、レンズの絞り等が変わった場合でも容易に侵入物体検出しきい値を設定できる信頼性の高い侵入物体検出方法並びに侵入物体認識装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の目的は、上記のような欠点を除去し、差分画像を二値化する二値化しきい値を増加させたときの二値化画像に検出される画素の変化に基づいて侵入物体検出しきい値を決定し、侵入物体を正確に検出するようにして、信頼性の高い侵入物体検出装置を提供することである。
【００１０】
上記の目的を達成するために、本発明の侵入物体検出パラメータ設定方法は、撮像装置から得られる画像を、差分法を適用して監視視野内の侵入物体を検出する監視方法において、前記撮像装置からの第１の入力画像と記憶装置に記憶されている基準背景画像との輝度値の第１の差分画像を生成し、前記第１の差分画像を所定の二値化しきい値で二値化処理すると共に、二値化処理した画像のノイズレベルが所定の値以下となるまで上記二値化しきい値を変化させ、前記二値化処理した画像のノイズレベルが所定の値以下になる二値化しきい値を第１の二値化しきい値とし、前記第１の二値化しきい値に基づいて、侵入物体を検出することを特徴とする侵入物体検出のためのしきい値を自動的に決定するものである。
【００１１】
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値の変化を、等差的、等比的、あるいはランダムに変えることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値を増加させることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値を減少させることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記第１の入力画像は、侵入物体が存在しない画像であることを特徴とする。
【００１２】
また、本発明の侵入物体検出パラメータ設定方法は、更に、前記撮像装置からの侵人物体を含む第２の入力画像と前記記憶装置に記憶されている前記基準背景画像との輝度値の第２の差分画像を生成し、前記第２の差分画像を所定の二値化しきい値で二値化処理すると共に、二値化処理した画像の侵入物体の大きさが所定の大きさ以下となるまで前記二値化しきい値を変化させ、前記二値化処理した画像の侵入物体の大きさが所定の大きさ以下となる二値化しきい値を第２の二値化しきい値とし、前記第１と第２の二値化しきい値を含み、前記第１と第２の二値化しきい値の間に第３の二値化しきい値を設定し、該第３の二値化しきい値に基づいて、侵入物体を検出するものである。
【００１３】
また、本発明の侵入物体検出パラメータ設定方法は、前記第１と第２のしきい値設定に際し、二値化しきい値の変化を等差的、等比的、あるいはランダムに変えることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値を増加させることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値を減少させることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、侵入物体の所定の大きさを侵入物体の外接図形で表わすことを特徴とする。
【００１４】
また、本発明の侵入物体検出パラメータ設定方法は、更に、前記第１の入力画像と前記第２の入力画像からそれぞれ得られる第１と第３の二値化しきい値をそれぞれ記録し、前記二値化処理を所定フレーム数実行し、それぞれの二値化しきい値を記録し、前記記録された複数の二値化しきい値の中から所定の第１と第２の二値化しきい値を決定するものである。
また、本発明の侵入物体検出パラメータ設定方法は、前記第１の二値化しきい値は、最大の二値化しきい値を決定し、前記第２の二値化しきい値は、最小の二値化しきい値決定することを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記第１の差分画像を所定の二値化しきい値での二値化処理は、更に、不感帯領域を設けて、該設けられた不感帯領域では二値化処理を行わないことを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、更に、前記第１と第２の二値化しきい値の差を求め、前記第１と第２の二値化しきい値の差が所定値以下の場合、異常と判定するステップを有することを特徴とする。
【００１５】
また、本発明の侵入物体監視装置は、差分法を適用して撮像装置から得られる画像から監視視野内の侵入物体を検出する侵入物体監視装置において、第１の入力画像を出力する撮像装置と、基準背景画像を記憶する第１の記憶装置と、前記第１の入力画像と前記基準背景画像との輝度値の第１の差分画像を生成する処理ユニットと、前記第１の差分画像を所定の二値化しきい値で二値化処理し、該二値化処理した画像のノイズ成分が所定の値以下となるまで前記二値化しきい値を変化させ、前記二値化処理した画像のノイズ成分が所定の値以下となる二値化しきい値を第１の二値化しきい値として出力する第１の二値化処理ユニットと出力された前記第１の二値化しきい値に基づいて、侵入物体を検出する検出処理ユニットとを備えるものである。
【００１６】
、また、本発明の侵入物体監視装置の前記撮像装置は、侵入物体を含む第２の入力画像を出力し、前記撮像装置は、更に、前記第２の入力画像と前記第１の記憧装置に記憶されている前記基準背景画像との輝度値の第２の差分画像を生成する処理ユニットと、前記第２の差分画像を所定の二値化しきい値で二値化処理し、二値化処理した画像の侵入物体の大きさが所定の大きさ以下となるまで前記二値化しきい値を変化させ、前記二値化処理した画像の侵入物体の大きさが所定の大きさ以下となる二値化しきい値を第２の二値化しきい値として出力する第２の二値化処理ユニットと、前記第１と第２の二値化しきい値を含み、これら第１と第２の二値化しきい値のしきい値の間に第３の二値化しきい値を設定するしきい値設定ユニットとを備え、前記検出処理ユニットは、前記第２の二値化しきい値に基づいて侵入物体を検出するものである。
【００１７】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しながら説明する。図面において、同様の構成要素には、同様な参照符号を付す。
まず、図１４によって本発明の原理を説明する。
図１４は、二値化しきい値決定のプロセスを説明するための、二値化画像の変化を示す図である。
図１４において、参照番号 １４０ 〜 １４８ は、撮像装置からの侵入物体（この場合は、「人」）が写った同一の入力画像と侵入物体が写っていない基準背景画像との画素ごとの輝度値の差分をとって生成した二値化画像を、二値化しきい値 ｔｈ をそれぞれ、ｔｈ ＝ ５ 、１０ 、１５ 、２０ 、２５ 、３０ 、３５ 、４０ と増加したときの二値化画像を示す。
１４００ は二値化画像 １４０ に含まれるノイズ画像を表し、１４０１ は侵入物体の画像を表す。二値化しきい値を初期値 ｔｈ ＝ ５ から増加していくと、ノイズ画像は徐々に消えていき、ｔｈ ＝ ２５ でノイズが消える。このときの二値化しきい値を第１のしきい値 Ｔｈ１ とする。二値化しきい値を更に増加していくと、侵入物体の大きさは徐々に縮小し、ｔｈ ＝ ３５ で侵入物体が所定の大きさで検出され、ｔｈ ＝ ４０ では侵入物体は所定の大きさ未満に縮小する。ｔｈ ＝ ３５ における二値化しきい値を第２のしきい値 Ｔｈ２ とする。
従って、ノイズを完全に除去し、かつ、侵入物体を見落とすことなく検出するためには、侵入物体検出しきい値としては、第１のしきい値 Ｔｈ１ と第２のしきい値 Ｔｈ２ の間のしきい値を選択すれば良い。
尚、第１のしきい値 Ｔｈ１ は、ノイズが完全に消える二値化しきい値としたが、後述のように、所定数以上の画素のかたまりが消失したしきい値としても良い。
以上の説明では、二値化しきい値とし初期値から増加していったが、例えば、初期値を ｔｈ ＝ ４０ として、それから減少していっても良いことは言うまでもない。
【００１８】
次に、本発明の侵入物体監視装置に係る一実施例を説明する。
図１１は、本発明の侵入物体監視装置の構成を示すブロック図である。１１０１はテレビジョンカメラ（以下ＴＶカメラと呼ぶ）、１１０２は入力装置、１１０３は画像入力インターフェース１１０４は入力Ｉ／Ｆ、１１０５は画像メモリ、１１０６はワークメモリ、１１０７はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１１０８はプログラムメモリ、１１０９は出力Ｉ／Ｆ、１１１０は画像出力Ｉ／Ｆ、１１１２は警告灯、１１１３はモニタ、１１１１はデータバスである。
【００１９】
図１１において、ＴＶ カメラ １１０１ は画像入力 Ｉ／Ｆ １１０３ に結合され、入力装置 １１０２ は入力 Ｉ／Ｆ １１０４ に結合され、警告灯 １１１２ は出力 Ｉ／Ｆ １１０９ に結合され、モニタ １１１３ は画像出力 Ｉ／Ｆ １１１０ に結合されている。また、画像入力 Ｉ／Ｆ １１０３ 、入力 Ｉ／Ｆ １１０４ 、画像メモリ １１０５ 、ワークメモリ １１０６ 、ＣＰＵ １１０７ 、プログラムメモリ １１０８ 、出力 Ｉ／Ｆ １１０９ 及び画像出力 Ｉ／Ｆ １１１０ は、データバス １１１１ に結合されている。
【００２０】
図１１において、 ＴＶ カメラ １１０１ は、監視対象区域を含めた撮像視野内を撮像する。ＴＶ カメラ １１０１ は、撮像した映像を電気的な映像信号（例えば、ＮＴＳＣ 映像信号）に変換し、変換した映像信号を画像入力 Ｉ／Ｆ １１０３ に与える。
画像入力 Ｉ／Ｆ １１０３ は、入力した映像信号を侵入物体監視装置で扱うフォーマット（例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ ）の画像データに変換し、データバス １１１１ を介して画像メモリ １１０５ に与える。
画像メモリ １１０５ は、送られてきた画像データを蓄積する。入力装置 １１０２ は、人間または補助動物の音声、身振り等の特定の動作、ボタン、キーボード、マウス等の外部入力装置による入力の少なくとも１つの入力動作を検知して操作信号（例えば ＲＳ−２３２Ｃ シリアル通信信号）に変換し、変換された操作信号を入力 Ｉ／Ｆ １１０４ に与える。
【００２１】
入力 Ｉ／Ｆ １１０４ は、入力した操作信号を侵入物体監視装置で扱うフォーマット（例えば、上下左右の操作、ボタン押下の操作を、それぞれ“ １ ”、“ ２ ”、“ ３ ”、“ ４ ”、“ ５ ”）の操作データに変換し、変換された操作データをデータバス １１１１ を介してワークメモリ １１０６ に与える。上記フォーマットとしては、例えば、 ＲＳ−２３２Ｃ を使っても良い。
ワークメモリ １１０６ は、入力された操作データを蓄積する。ＣＰＵ １１０７ はプログラムメモリ １１０８ に保存されているプログラムに従って、ワークメモリ １１０６ 内で画像メモリ １１０５ に蓄積された画像の解析を行なう。
以上の解析の結果、ＴＶ カメラ １１０１ の撮像視野内に侵入物体が侵入したか否か等の情報を得る。
【００２２】
ＣＰＵ １１０７ は、画像出力 Ｉ／Ｆ １１１０ を介して監視モニタ １１１２ に映像信号を与え、例えば、処理結果画像を表示する。また同時に ＣＰＵ １１０７ は、出力 Ｉ／Ｆ １１０９ を介して警告灯 １１１２ を点灯させる制御信号を警告灯 １１１２ に与える。警告灯 １１１２ は入力した制御信号により点灯を行う。画像出力 Ｉ／Ｆ １１１０ は、ＣＰＵ １１０７からの映像信号を監視モニタ １１１３ が使用できるフォーマット（例えば、ＮＴＳＣ 映像信号）に変換して、モニタ １１１３ に送る。モニタ １１１３ は、例えば、侵入物体検出結果画像を表示する。
【００２３】
図２は、本発明の第１の実施例の動作を示すフローチャートの一例である。このフローチャートは、例えば、すでに説明した図１１の侵入物体監視装置を用いて実行される。
この実施例は、図１３で示した従来技術による侵入物体検出フローチャートの画像入力ステップ １１１ の前に、第１の侵入物体検出しきい値決定ステップ １０１ 、第２の侵入物体検出しきい値決定ステップ １０３ 、及び侵入物体検出しきい値選択ステップ２０１を追加したものである。
【００２４】
図２において、第１の侵入物体検出しきい値決定ステップ １０１ では、差分画像を二値化するときの二値化しきい値を増加させたときの二値化画像に検出される“２５５”の輝度値を持つノイズレベル（以下これを、画素のかたまりの数と称す）に基づいて侵入物体検出しきい値を決定するステップである。この第１の侵入物体検出しきい値決定ステップ １０１ について、図４を用いて説明する。
【００２５】
図４は、図２における第１の侵入物体検出しきい値決定ステップ １０１ の動作を説明するフローチャートの一例である。尚、基準背景画像 １２０２ は、予め画像メモリ １１０５ に格納されている。
図４において、映像選択ステップ ４０１ では、監視視野領域内に検出すべき侵入物体が存在しない映像を選択する。この処理は、例えば、監視員がモニタ １１１３ の画面に写った ＴＶ カメラ １１０１ からの撮像画像を見ながら、監視視野領域内に検出すべき侵入物体が存在するか否かを判断し、入力装置 １１０２ を用いて侵入物体監視装置に対して検出すべき侵入物体が存在しないことを通知し、その通知によって適切な映像が選択されたものとして画像入力ステップ ４０２ に処理を移す。
次に画像入力ステップ ４０２ では、画像入力ステップ １１１ と同様に、例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ の入力画像を取得する。
差分処理ステップ ４０３ では、差分処理ステップ １１２ と同様に、入力画像 １２０１ と基準背景画像 １２０２ との画素毎の差分を求め、差分画像 １２０３ を取得する（図１２参照）。
二値化しきい値初期化ステップ ４０４ では、二値化しきい値 Ｔｈ を、例えば、Ｔｈ ＝ １ に初期化する。
【００２６】
二値化処理及び表示ステップ ４０５ では、そのとき設定されている二値化しきい値 Ｔｈ に基づいて差分処理ステップ ４０３ で得られた差分画像 １２０３ を二値化し、差分画像 １２０３ 中で画素値が二値化しきい値 Ｔｈ 以上となる画素を“ ２５５ ”とし、二値化しきい値 Ｔｈ 未満となる画素を“ ０ ”として、二値化画像 １２０４
を取得する。
また、このときの二値化しきい値と取得した二値化画像をモニタ １１１３ の画面上に表示する。
次に、物体検出処理ステップ ４０６ では、二値化画像 １２０４ の中で画素値“２５５”となる画素のかたまり（検出物体と呼ぶ）を検出し、その個数を計数する。
例えば、この処理は、画素のかたまりが所定の面積（例えば、１０ 画素）以上の画素のかたまりの個数を計数するようにしても良い。
【００２７】
検出物体数判定ステップ ４０７ では、物体検出処理ステップ ４０６ によって検出された画素のかたまりの数が ０ であった場合は第１の侵入物体検出しきい値決定及び表示ステップ ４０８ へ分岐し、１ 以上であった場合は二値化しきい値増加ステップ ４０９ へ分岐する。
第１の侵入物体検出しきい値決定及び表示ステップ ４０８ では、二値化処理ステップ ４０５ で用いた二値化しきい値 Ｔｈ の値を第１の侵入物体検出しきい値 Ｔｈ１ として決定し、後述のように、第１のしきい値候補マーク ８０６ａ をモニタ １１１３ に表示して、図２の第１の侵入物体検出しきい値決定ステップ １０１ を終り、第２の侵入物体検出しきい値決定ステップ １０３ に進む。
また、二値化しきい値増加ステップ ４０９ では、二値化しきい値を １ 増加し、二値化処理ステップ ４０５ へ処理を移す。
【００２８】
なお、上記の説明では、映像選択ステップ ４０１ において、監視視野領域内に検出すべき侵入物体が存在しない映像を選択するようにしているが、例えば、侵入物体が １ 以上存在する映像を選択しても良く、この場合、検出物体数判定ステップ ４０７ では、物体検出処理ステップ ４０６ によって検出された検出物体の数が選択した映像中に写る侵入物体数であった場合に、第１の侵入物体検出しきい値決定及び表示ステップ ４０８ へ分岐するようにする。
また、二値化しきい値初期化ステップ ４０４ において、二値化しきい値 Ｔｈ を Ｔｈ ＝ １ に初期化したが、監視視野領域の状況に応じて、初期化する値は自由に設定して良い。更に、二値化しきい値増加ステップ ４０９ では二値化しきい値を １ 増加させたが、 １ 以外でも良いことは自明であるし、また例えば、二値化しきい値を等差的に増加させたり、等比的に増加させたり、あるいは乱数的に増加させても良い。
【００２９】
次に第２の侵入物体検出しきい値決定ステップ １０３ では、差分画像を二値化する二値化しきい値を増加させたときの二値化画像に検出される“ ２５５ ”の輝度値を持つ画素のかたまりの大きさの変化に基づいて侵入物体検出しきい値を決定するステップである。第２の侵入物体検出しきい値決定ステップ １０３ について図５を用いて説明する。
【００３０】
図５は、図２における第２の侵入物体検出しきい値決定ステップ １０３ の動作を説明するフローチャートの一例である。図５は、図４の映像選択ステップ ４０１と、二値化しきい値初期化ステップ ４０４ と、検出物体数判定ステップ ４０７ と、第１の侵入物体検出しきい値決定及び表示ステップ ４０８ と、二値化しきい値増加ステップ ４０９ の代わりに、映像選択ステップ ５０１ と、二値化しきい値初期化ステップ ５０４ と、検出物体大きさ判定ステップ ５０７ と、第２の侵入物体検出しきい値決定及び表示ステップ ５０８ と、二値化しきい値増加ステップ ５０９ を用いたものである。それ以外のステップは、図４と同様であるため説明は省略する。
【００３１】
図５において、映像選択ステップ ５０１ では、監視視野領域内に侵入物体検出しきい値を決定する上で基準となる基準侵入物体が写る映像を選択する。基準侵入物体は、侵入物体監視装置を侵入者の監視に用いる場合には人であるし、車輌の監視に用いる場合には車輌である。
この処理は、例えば、図４の場合と同様にして、監視員が監視視野領域内に基準侵入物体が写る映像か否かを判断し、入力装置 １１０２ を用いて、侵入物体監視装置に基準侵入物体が写っていることを通知し、その通知によって適切な映像が選択されたものとする。続いて、画像入力ステップ ４０２ と差分処理ステップ ４０３ の処理を行い、ステップ ５０４ に進む。
【００３２】
二値化しきい値初期化ステップ ５０４ では、二値化しきい値を、例えば第１の侵入物体検出しきい値 Ｔｈ１ に初期化し、続いて、二値化処理及び表示ステップ ４０５ と物体検出処理ステップ ４０６ の処理を行い、ステップ ５０７ に進む。
【００３３】
続いて、検出物体大きさ判定ステップ ５０７ では、最も大きな検出物体の外接矩形の大きさが所定の値以下かを判定する。ここで、所定の値とは、検出すべき侵入物体とみなす大きさで、例えば、撮像素子として １／２ 型 ＣＣＤ（素子サイズ：幅 ｄｘ ＝ ６．５ ｍｍ、高さ ｄｙ ＝ ４．６ ｍｍ ）、ｆ ＝ ２５ ｍｍ のレンズ、カメラから監視領域までの距離を Ｌ ＝ ５０ ｍ 、入力画像サイズ：幅 Ｘ０ ＝ ３２０ ｐｉｘ 、高さ Ｙ０ ＝ ２４０ ｐｉｘ を用いて監視を行なう場合、検出すべき侵入物体を幅 ｗ０ ＝ １ ｍ 、高さ ｈ０ ＝ １．５ ｍ とすると、次の式（１）のようになり、
【数１】
検出物体の外接矩形の大きさ（幅 ｗ 、高さ ｈ ）が ｗ ≦ Ｗ０ 、かつ ｈ ≦ Ｈ０ であったときに所定の値未満と判定する。
【００３４】
検出物体大きさ判定ステップ ５０７ では、最も大きな検出物体の外接矩形の大きさが所定の値未満であった場合に第２の侵入物体検出しきい値決定及び表示ステップ ５０８ へ分岐し、所定の値以上の場合に二値化しきい値増加ステップ ５０９ へ分岐する。
【００３５】
第２の侵入物体検出しきい値決定及び表示ステップ ５０８ では、二値化処理ステップ ４０５ で用いた二値化しきい値 Ｔｈ から １ 減じた値（二値化しきい値 Ｔｈ の直前の二値化しきい値、即ち、二値化しきい値増加ステップ ５０９ での増加分を減じた二値化しきい値）を第２の侵入物体検出しきい値 Ｔｈ２ として決定し、更に、後述のように、決定した第２の侵入物体検出しきい値を表す第２のしきい値候補マーク ８０７ａ をモニタ １１１３ 上に表示し（図８）、図２の第２の侵入物体しきい値決定ステップ １０３ を終り、侵入物体検出しきい値選択ステップ ２０１ に進む。
また、二値化しきい値増加ステップ ５０９ では、二値化しきい値を １ 増加し、二値化処理ステップ ４０５ へ処理を移す。
以上の説明では、二値化しきい値の増加のステップ幅を １ としているが、これに限定されるものではなく、２ 以上としても良いし、上述のように、ステップ幅を等差的に増加させたり、等比的に増加させたり、あるいは、ランダムに増加させても良い。
【００３６】
続いて、図２において、侵入物体検出しきい値選択ステップ ２０１ では、第１の侵入物体検出しきい値決定ステップ １０１ と第２の侵入物体検出しきい値決定ステップ １０３ で得られた、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の間のしきい値を侵入物体検出しきい値とする。即ち、侵入物体検出しきい値 Ｔｈ は、次のようにして決定される。
Ｔｈ１ ≦ Ｔｈ ≦Ｔｈ２ ‥‥‥式（２）
この処理は、例えば、監視員が入力装置 １１０２ を用いて第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ のいずれかを選択することによって行なわれる。
尚、侵入物体検出しきい値決定ステップ １０３ の前に、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の間のしきい値 Ｔｈ３ （例えば、 Ｔｈ１ と Ｔｈ２ の平均値）を少なくとも１つ決定するステップを設け、ステップ ２０１ で Ｔｈ１ ，Ｔｈ２ ，Ｔｈ３ の侵入物体検出しきい値の中かのいずれかを選択するようにしても良い。
【００３７】
ここで、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の関係を図１０を用いて説明する。図１０は、差分法によって検出されるノイズ（撮像装置内部で発生するノイズや映像信号を伝送する過程で重畳するノイズ等）の差分のレベル １００２ と侵入物体の差分のレベル １００１ の関係を表したものである（侵入物体以外の動く物体の説明は後述する）。
【００３８】
図１０に示す通り、第１の侵入物体検出しきい値決定ステップ １０１ で、検出すべき侵入物体の写っていない映像を用いて第１の侵入物体検出しきい値 Ｔｈ１ を（あるいは、侵入物体が １ 以上存在する映像を用いて）決定したため、ノイズの差分レベル １００２ は第１の侵入物体検出しきい値 １００４（ Ｔｈ１ ）未満になり、第２の侵入物体検出しきい値決定ステップ １０２ で、基準侵入物体の検出できる限界の二値化しきい値を第２の侵入物体検出しきい値 Ｔｈ２ として決定したため、侵入物体の差分レベル １００１ は第２の侵入物体検出しきい値 １００６（ Ｔｈ２ ）より大きくなる。
すなわち、侵入物体検出しきい値として、第１の侵入物体検出しきい値 Ｔｈ１ あるいは第２の侵入物体検出しきい値 Ｔｈ２ のいずれか１つを選択することでノイズの誤検出を防ぎ、かつ、侵入物体を検出できる侵入物体検出しきい値を設定することができる。
【００３９】
図２に戻り、ステップ ２０１ に続く画像入力ステップ １１１ では、ＴＶ カメラ １１０１ から、例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ の入力画像を取得し、ステップ １１２ に進む。
差分処理ステップ １１２ では、入力画像と基準背景画像との画素毎の輝度値の差分を求めて差分画像を取得しステップ １１３ に進む。
二値化処理ステップ １１３ では、得られた差分画像をステップ ２０１ で選択した侵入物体検出しきい値に基づいて侵入物体検出しきい値以上の画素を“ ２５５ ”、侵入物体検出しきい値未満の画素を“ ０ ”として二値化画像を取得し、ステップ １１４′に進む。
侵入物体検出処理ステップ １１４′では、例えば、周知のラベリングの方法によって二値化画像の中で画素値“ ２５５ ”を持つ画素のかたまりを検出してステップ １１５′に進む。
侵入物体判定ステップ １１５′では、侵入物体検出処理ステップ １１４′で検出された侵入物体の外接図形の大きさが、例えば、外接矩形が所定の大きさ以上であった場合には侵入物体が検出されたものとしてステップ １１６ に進み、検出された全ての侵入物体の外接矩形の大きさが所定の大きさ未満であった場合には侵入物体が検出されなかったものとして画像入力ステップ １１１ へ戻る。尚、所定の大きさは、前述の式（１）によって計算されたものである。
警報・モニタ表示ステップ １１６ では、例えば、画像出力 Ｉ／Ｆ １１１０ を介してモニタ １１１３ に処理結果を表示したり、例えば、出力 Ｉ／Ｆ １１０９ を介して警告等を点灯させたりする。
したがって、本実施例によれば、撮像装置で得られた入力画像から第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ を決定し、その内のいずれか１つを選択することで侵入物体検出しきい値を容易に設定できるようにし、撮像装置視野内の侵入物体を検出することが可能となる。
【００４０】
図３は、本発明の第２の実施例の処理動作を示すフローチャートの一例である。この第２の実施例は、第１の侵入物体検出しきい値の候補と第２の侵入物体検出しきい値の候補を少なくとも１以上記録し、各々の候補に基づいて第１の侵入物体検出しきい値と第２の侵入物体検出しきい値を決定するようにしたものである。
図３は、図２で示したフローチャートに、第１の侵入物体検出しきい値記録ステップ １０２ と、第２の侵入物体検出しきい値記録ステップ １０４ と、所定フレーム終了判定ステップ １０５ と、第１の侵入物体検出しきい値選択ステップ １０６ と、第２の侵入物体検出しきい値選択ステップ １０７ を追加したものである。これ以外のステップについては、図２で示したフローチャートと同様であるため説明を省略する。
【００４１】
図３において、図２で説明したように、第１の侵入物体検出しきい値決定ステップ １０１ の処理が行われステップ １０２ に進む。
第１の侵入物体検出しきい値記録ステップ １０２ では、第１の侵入物体検出しきい値決定ステップ １０１ で得られた第１の侵入物体検出しきい値 Ｔｈ１ を第１の侵入物体検出しきい値候補として、ワークメモリ １１０６ に記録する。
【００４２】
次に、ステップ １０３ においても、図２で説明したように、第２の侵入物体検出しきい値決定ステップ １０３ の処理が行われステップ １０４ に進む。
第２の侵入物体検出しきい値記録ステップ １０４ では、第２の侵入物体検出しきい値決定ステップ １０３ で得られた第２の侵入物体検出しきい値 Ｔｈ２ を第２の侵入物体検出しきい値候補として、ワークメモリ １１０６ に記録する。
【００４３】
続いて、所定フレーム終了判定ステップ １０５ では、各々の侵入物体検出しきい値の候補が所定フレーム数分得られたか否かを判定し、所定フレーム数（例えば、５ ）分得られた場合は第１の侵入物体検出しきい値選択ステップ １０６ へ分岐し、得られていない場合は第１の侵入物体検出しきい値記録ステップ １０１ へ分岐する。
【００４４】
第１の侵入物体検出しきい値選択ステップ １０６ では、ワークメモリ １１０６ に記録された第１の侵入物体検出しきい値候補の中で最も大きな値を第１の侵入物体検出しきい値として選択する。
第２の侵入物体検出しきい値選択ステップ １０７ では、ワークメモリ １１０６ に記録された第２の侵入物体検出しきい値候補の中で最も小さな値を第２の侵入物体検出しきい値として選択する。
したがって、本実施例によれば、得られた第１の侵入物体検出しきい値の候補の内もっとも値の大きい値を第１の侵入物体検出しきい値としているためノイズを確実に除去することができ（最も高いノイズの差分レベルをも除去できる）、かつ、得られた第２の侵入物体検出しきい値の候補の内もっとも値の小さい値を第２の侵入物体検出しきい値としているため侵入物体を確実に検出することができ（最も低い侵入物体の差分レベルをも検出できる）、侵入物体認識装置の信頼性を向上させることが可能となる。
尚、この実施例において、第１と第２の侵入物体検出しきい値の一方についてのみ複数の候補を用意し、他方については図２と同様に、複数の候補を用意せずにしきい値を決定するように修正しても良い。
【００４５】
図６と図７は、本発明の第３の実施例を表すフローチャートの一例である。この第３の実施例は、第１の侵入物体検出しきい値決定の際に不感帯を設け、かつ、第２の侵入物体検出しきい値決定の際に侵入物体の存在する領域を指定するようにし、例えば、図２のフローチャートに示した処理を第１の侵入物体検出しきい値決定ステップ １０１ の処理を図６のフローチャートによって行い、第２の侵入物体検出しきい値決定ステップ １０３ の処理を図７のフローチャートによって行ったものである。
図６は、図４で示したフローチャートで、ステップ ４０１ とステップ ４０２ の間に不感帯設定ステップ ６０１ を追加し、二値化処理ステップ ４０５ の代わりに別の二値化処理ステップ ６０２ を用いたものである。
図７は、図５で示されるフローチャートで、ステップ ４０２ とステップ ４０３ の間に基準侵入物体領域設定ステップ ７０１ を追加し、検出物体大きさ判定ステップ ５０７ の代わりに別の検出物体大きさ判定ステップ ７０２ を用いたものである。
【００４６】
図６において、図４で説明したように、映像選択ステップ ４０１ の処理が行われステップ ６０１ に進む。
不感帯設定ステップ ６０１ では、木々の揺れなど検出すべき侵入物体以外の動く物体を不感帯として設定し、ノイズの差分レベルをより正確に検出するようにする。これを図９を用いて説明する。図９は、入力画像 ９０１ に木 ９０３ や草 ９０４ａ 、９０４ｂ 、９０４ｃ が写る例である。
【００４７】
ここで監視員が入力装置 １１０２ を操作して、モニタ １１１３ に写る位置指示マーク ９０８ を動かし、例えば多角形によって、木の領域 ９０５ や草の領域 ９０６ を指定する。指定した領域は不感帯となり、不感帯の画素は、第１の侵入物体検出しきい値の決定に用いない。
次に、ステップ ４０２ からステップ ４０４ の処理動作を行い、ステップ ６０２ に進む。
【００４８】
二値化処理ステップ ６０２ は、差分値が二値化しきい値以上かつ不感帯でない画素を“ ２５５ ”、それ以外を“ ０ ”とする二値化画像を作成する。
木々の揺れなどの検出すべき侵入物体以外の動く物体は、図１０に示すように、ノイズの差分レベルに比べ大きな差分レベルを持つ。したがって、不感帯を設定することによってより正確なノイズの差分レベルを検出することができる。
【００４９】
次に図７において、図５で説明したように、映像選択ステップ ５０１ と画像入力ステップ ４０２ の処理が行われステップ ７０１ に進む。
基準侵入物体領域設定ステップ ７０１ では、基準侵入物体の領域（外接矩形）を指定する。これを図９を用いて説明する。
図９において、入力画像 ９０１ には、基準侵入物体 ９０２ が写っており、監視員が入力装置 １１０２ を操作して、モニタ １１１３ に写る位置指示マーク ９０８ を動かし、例えば矩形によって、基準侵入物体の領域 ９０７ を指定する。基準侵入物体の領域は、外接矩形に限らず、任意の外接図形が使えることは明らかである。
次に、ステップ ４０３ からステップ ４０６ の処理動作を行い、ステップ ７０２ に進む。
【００５０】
検出物体大きさ判定ステップ ７０２ では、基準侵入物体領域設定ステップ ７０１ で指定した基準侵入物体領域 ９０７ 内で検出された検出物体の大きさが基準侵入物体領域 ９０７ の所定の割合未満になった場合に、第２の侵入物体検出しきい値決定ステップ ５０８ へ分岐し、所定の割合以上の場合に、二値化しきい値増加ステップ ５０９ へ分岐する。
ここで所定の割合とは、例えば０．３ とする。すなわち、基準侵入物体の大きさの３割以上であれば侵入物体として検出できることを意味している。
したがって、本実施例によれば、入力画像に重畳するノイズの差分レベルを正確に検出して第１の侵入物体検出しきい値を得ることができる。さらに、本実施例によれば、第１の実施例のように侵入物体の大きさを計算することなく第２の侵入物体検出しきい値を得ることができ、侵入物体認識装置の信頼性を向上させることが可能となる。
【００５１】
更に、本実施例では、侵入物体の領域を指定して、その領域内で第２の侵入物体検出しきい値の決定を行うことによる特有の効果が得られる。これについて説明すると、差分法では、侵入物体と基準背景画像の輝度が近い画素が存在するとその画素は二値化処理によって“ ０ ”と判定されてしまうため、場合によっては侵入物体が複数に***して観察されることがある。この場合、検出物体の外接図形の大きさは見かけ上小さくなってしまい、第１の実施例で決定される第２の侵入物体検出しきい値は最適な値に比べて小さくなってしまう。
本実施例では、基準侵入物体領域設定ステップ ７０１ で侵入物体の存在する領域を指定し、検出物体大きさ判定ステップ ７０２ でその領域内で検出される物体（二値化処理によって“ ２５５ ”となる画素のかたまり）の画素が指定した領域内で所定の割合以上であるか否かを判定している。二値化画像で“ ２５５ ”となる画素の割合によって判定するため、決定される第２の侵入物体検出しきい値では、***して観測されたか否かにもかかわらず、侵入物体が一定以上の割合の画素で検出することを保証することができる。
【００５２】
図１は、本発明の第４の実施例を表すフローチャートの一例である。この第４の実施例は、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の幅（差の値）を求め、得られる侵入物体検出しきい値が侵入物体検出処理に適しているか否かを判定するようにしたものである。
図１は、図３で示したフローチャートで、第２の侵入物体検出しきい値選択ステップ １０７ の後ろに、第１と第２の侵入物体検出しきい値差判定ステップ １０８ と第３の侵入物体検出しきい値決定ステップ １０９ とを追加し、侵入物体検出しきい値選択ステップ ２０１ の代わりに、別の侵入物体検出しきい値選択ステップ １１０ を用いたものである。
【００５３】
第１と第２の侵入物体検出しきい値差判定ステップ １０８ とは、第１の侵入物体検出しきい値選択ステップ １０６ と第２の侵入物体検出しきい値選択ステップ １０７ とによって得られた第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の差を求め、その差が所定の値（例えば ５ ）未満の場合は、第１の侵入物体検出しきい値決定ステップ １０１ へ分岐し、所定の値以上であった場合、第３の侵入物体検出しきい値決定ステップ １０９ へ分岐する。
上記実施例では、第１と第２の侵入物体検出しきい値差判定ステップ １０８ で、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の差が所定の値未満の場合は第１の侵入物体検出しきい値決定ステップ １０１ へ分岐したが、第１と第２の侵入物体検出しきい値差判定ステップ １０８ で、もし、数回繰り返しても、第３の侵入物体検出しきい値決定ステップ １０９ へ分岐しない場合は、例えば、警報・モニタ表示ステップ １１６ に分岐して、監視員に異常を知らせるように設定することもできる。
【００５４】
第３の侵入物体検出しきい値決定ステップ １０９ では、第１の侵入物体検出しきい値 Ｔｈ１ より大きく、第２の侵入物体検出しきい値 Ｔｈ２ 未満の値となる少なくとも１つの第３の侵入物体検出しきい値 Ｔｈ３ を求める。
これは、例えば、第３の侵入物体検出しきい値 Ｔｈ３ を１つ決める場合であれば第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の平均で良い。
【００５５】
次に、侵入物体検出しきい値選択ステップ １１０ では、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ と第３の侵入物体検出しきい値 Ｔｈ３ のいずれかを侵入物体検出しきい値とする。
この処理を図１０に言及して説明すると、例えば、監視員が入力装置 １１０２ を用いて第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ と第３の侵入物体検出しきい値 Ｔｈ３ のいずれかを選択することによって行なわれる。
したがって、本実施例によれば、風の強さが変わり、入力画像中に写る木の揺れなどの検出すべき侵入物体以外の動く物体 １１０３ の見かけの動きの量が変わった場合でも、第１の侵入物体検出しきい値、第２の侵入物体検出しきい値、第３の侵入物体検出しきい値の中から監視員が入力装置 １１０２ を操作して適切な侵入物体検出しきい値を容易に設定できるようになる。
【００５６】
図８は、本発明の監視モニタ １１１３ に表示された画面表示の一実施例である。図８は、二値化しきい値に対して二値化画像がどのように変化するか、第１の侵入物体検出しきい値の候補と第２の侵入物体検出しきい値の候補はどの値かを表すようにしたもので、画面には、二値化画像 ８０１（基準侵入物体 ８０２ 、ノイズ ８０３ａ 、８０３ｂ 、８０３ｃ ）、二値化しきい値レベルゲージ ８０４ 、現在の二値化しきい値の二値化しきい値レベルゲージ ８０４ 上の位置を示す識別記号（二値化しきい値マーク）８０５ 、第１の侵入物体検出しきい値の候補のマーク ８０６ａ 、８０６ｂ 、８０６ｃ 、及び第２の侵入物体検出しきい値の候補マーク ８０７ａ 、８０７ｂ 、８０７ｃ が表示されている。
【００５７】
図８において、侵入物体監視装置が動作し、例えば、図４のフローチャートの処理動作が開始され、まず二値化しきい値初期化ステップ ４０４ によって、二値化しきい値が定まると、モニタ １１１３ にその二値化しきい値の値の位置に二値化しきい値マークが表示され、かつその二値化しきい値で取得された二値化画像が表示される。そして同様に、ステップ ４０５ 〜 ４０９ の処理を繰り返す都度、モニタ １１１３ にその二値化しきい値の値の位置に二値化しきい値マークが更新されて表示され、かつその二値化しきい値で取得された二値化画像が更新されて表示される。そして、第１の二値化しきい値の候補が決定されると、その候補マーク ８０６ａ が更に表示される。
同様に、例えば、図５のフローチャートの処理動作が実行されると、その結果、第２の二値化しきい値の候補が決定されると、その候補マーク ８０７ａ が更に表示される。そして、次に図１のフローチャートの第３の侵入物体検出しきい値決定ステップ １０９ によって、第３の二値化しきい値が決定されると、その候補マーク（図示せず）が更に表示される。そして、監視員が、それらの中から、適当と思われる二値化しきい値を入力装置 １１０２ を用いて選択することによって侵入物体検出しきい値が設定され、そのマーク（図示せず）モニタ １１１３ に表示される。尚、これらの図示しないマークは、レベルゲージに沿って任意の形態で設ければよい。
このように、設定された二値化しきい値に応じて二値化しきい値マーク ８０５ が変化し、それに伴い二値化画像 ８０１ も変化する。
【００５８】
また、処理動作（例えば、図１）を実行する都度（例えば３回程度）、各侵入物体検出しきい値の候補が得られる度に二値化しきい値レベルゲージ８０４の横にその値に対応する位置に候補マーク ８０６ａ 、８０６ｂ 、８０６ｃ 、８０７ａ 、８０７ｂ 、８０７ｃ
、及び、第３の二値化しきい値マーク候補が重ねて表示される。
このように監視モニタ画面に表示することによって、設定中の侵入物体検出しきい値によって二値化画像 ８０１ がどのように得られるかを知ることができる。
【００５９】
なお、以上の実施例では、侵入物体検出しきい値を決定する際に二値化しきい値を初期値から増加する方向で変化させた。しかしながら、二値化しきい値を初期値（最大値）から減少させる方向で変化させてもよいことは明らかである。その場合には、第１、第２、第３、第４の各実施例において、まず第２の侵入物体検出しきい値を決定し、次いで、第１の侵入物体検出しきい値を決定することになる。
【００６０】
第２の侵入物体検出しきい値の決定においては、例えば、図５のステップ ５０５では、最も大きな検出物体の外接矩形の大きさが所定の値以上かを判定する。そして、所定の値以上であった場合にはステップ ５０８ へ分岐し二値化処理ステップ ４０５ で用いた二値化しきい値 Ｔｈ を第２の侵入物体検出しきい値 Ｔｈ２ として決定する。
他方、ステップ ５０８ で、最も大きな検出物体の外接矩形の大きさが所定の値より小さい時はステップ ５０９ へ分岐し、二値化しきい値 Ｔｈ から １ を減じ、二値化処理ステップ ４０５ へ処理を移す。
【００６１】
第１の侵入物体検出しきい値の決定においては、例えば、図４のステップ ４０７では、二値化画像 １２０４ の中で画素値“ ２５５ ”となる画素のかたまりの個数を計数し、その数が ０ でなければステップ ４０８ へ分岐し二値化処理ステップ ４０５で用いた二値化しきい値 Ｔｈ から １ 減じた値を第１の侵入物体検出しきい値 Ｔｈ１ として決定する。
他方、ステップ ４０７ で計数した画素値“ ２５５ ”となる画素のかたまりの個数が ０ であればステップ ４０９ で二値化しきい値 Ｔｈ を １ 減じて二値化処理ステップ ４０５ へ処理を移す。
二値化しきい値 Ｔｈ を、初期値から減少させる方向で変化させて侵入物体検出しきい値を決定する際での、上述の各実施例の細部の修正は、以上の明細書の記載の説明から当業者には明らかであるので、これ以上の説明は省略する。
【００６２】
【発明の効果】
したがって、撮像装置より得られた入力画像から侵入物体以外のノイズを除去することができる侵入物体検出しきい値と、撮像視野に写した基準侵入物体を検出することによって侵入物体検出しきい値とを自動的に算出するようにし、その内のいずれか１つを選択することで侵入物体検出しきい値を容易に設定できるようにし、侵入物体検出しきい値の設定作業に熟練性を必要とせず、監視視野領域の照度や時間帯、レンズの絞り等が変わった場合でも容易に侵入物体検出しきい値を設定でき、侵入物体認識装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】本発明の一実施例の処理動作を示すフローチャート。
【図２】本発明の一実施例の処理動作を示すフローチャート。
【図３】本発明の一実施例の処理動作を示すフローチャート。
【図４】本発明の一実施例の処理動作を示すフローチャート。
【図５】本発明の一実施例の処理動作を示すフローチャート。
【図６】本発明の一実施例の処理動作を示すフローチャート。
【図７】本発明の一実施例の処理動作を示すフローチャート。
【図８】本発明の一実施例の画面表示を示す図。
【図９】本発明の不感帯領域と基準侵入物体領域の設定方法を示す図。
【図１０】侵入物体、ノイズ、検出すべき侵入物体以外の動く物体の差分レベルを示す図。
【図１１】本発明の侵入物体監視装置の一実施例の構成を示すブロック図。
【図１２】差分法における侵入物体検出原理を説明するブロック図。
【図１３】従来の侵入物体検出動作を示すフローチャート。
【図１４】本発明の侵入物体しきい値決定の動作原理を説明するための図。
【符号の説明】
１０１：第１の侵入物体検出しきい値決定ステップ、 １０２：第１の侵入物体検出しきい値記録ステップ、 １０３：第２の侵入物体検出しきい値決定ステップ、 １０４：第２の侵入物体検出しきい値記録ステップ、 １０５：所定フレーム数終了判定ステップ、 １０６：第１の侵入物体検出しきい値選択ステップ、 １０７：第２の侵入物体検出しきい値選択ステップ、 １０８：第１と第２の侵入物体検出しきい値差判定ステップ、 １０９：第３の侵入物体検出しきい値決定ステップ、 １１０：侵入物体検出しきい値選択ステップ、 １１１：画像入力ステップ、 １１２：差分処理ステップ、 １１３：二値化処理ステップ、 １１４：侵入物体検出ステップ、 １１５：侵入物体判定ステップ、 １１６：警報・モニタ表示ステップ、 ２０１：侵入物体検出しきい値選択ステップ、 ４０１：映像選択ステップ、 ４０２：画像入力ステップ、 ４０３：差分処理ステップ、 ４０４：二値化しきい値初期化ステップ、 ４０５：二値化ステップ、 ４０６：物体検出処理ステップ、 ４０７：検出物体数判定ステップ、 ４０８：第１の侵入物体検出しきい値決定ステップ、 ４０９：二値化しきい値増加ステップ、 ５０１：映像選択ステップ、 ５０７：検出物体大きさ判定ステップ、 ５０８：第２の侵入物体検出しきい値決定ステップ、 ５０９：二値化しきい値増加ステップ、 ６０１：不感帯設定ステップ、 ６０２：二値化ステップ、 ７０１：基準侵入物体領域設定ステップ、 ７０２：検出物体大きさ判定ステップ、 ８０４：二値化しきい値レベルゲージ、 ８０５：二値化しきい値マーク、 ８０６ａ，８０６ｂ，８０６ｃ：第１の侵入物体検出しきい値の候補のマーク、 ８０７ａ，８０７ｂ，８０７ｃ：第２の侵入物体検出しきい値の候補マーク、 １１０１：ＴＶカメラ、 １１０２：入力装置、 １１０３：画像入力Ｉ／Ｆ、 １１０４：入力Ｉ／Ｆ、 １１０５：画像メモリ、 １１０６：ワークメモリ、 １１０７：ＣＰＵ、 １１０８：プログラムメモリ、 １１０９：出力Ｉ／Ｆ、 １１１０：画像出力Ｉ／Ｆ、 １１１：データバス、 １１１２：警告灯、 １１１３：監視モニタ、 １２０１：入力画像、 １２０２：基準背景動画像、 １２０３：差分画像、 １２０４：二値化画像、 １２０５：差分器、 １２０６：二値化器。
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に、撮像視野内の侵入物体を、撮像装置からの入力画像と基準背景画像との画素ごとの輝度値の差が侵入物体検出しきい値以上になる画素の領域に基づいて検出する侵入物体検出方法及び侵入物体監視装置に関し、特に、侵入物体検出しきい値を撮像装置から入力する入力画像に基づいて自動的に決定するようにした侵入物体検出方法及び侵入物体監視装置に関する。
【０００２】
【従来の技術】
近年、カメラ等の撮像装置を画像入力手段として用いた侵入物体検出装置は、従来からある監視員による有人監視ではなく、監視視野内の侵入物体を自動的に検出したり、物体の種類を自動的に確認したりして、所定の報知や警報処置が自動的に得られるようにするものが多い。
このようなシステムを実現するためには、先ず、カメラ等の画像入力手段より得られた入力画像から所定の侵入物体を検出する処理が必要となる。このような処理を実現する方法としては、例えば、入力画像と基準背景画像（即ち、検出すべき物体の写っていない画像）とを比較し、画素毎に差分を求め、その差分の大きい領域を物体として抽出する方法がある。この方法は、差分法と呼ばれ、従来から広く用いられている。
【０００３】
差分法の処理を図１２によって説明する。図１２は差分法における物体検出の処理原理を説明するための図である。１２０１ は入力画像、１２０２ は基準背景画像、１２０３ は差分画像、１２０４ は差分画像 １２０３ の二値化画像、１２０５ は減算器、１２０６ は二値化器、１２０７ は入力画像 １２０１ に写った人型の物体の領域、１２０８ は差分画像 １２０３ で差分が生じた差分領域、１２０９ は二値化画像 １２０４ で抽出された二値化領域である。
【０００４】
図１２において、減算器 １２０５ は入力画像 １２０１ と基準背景画像 １２０２ との輝度値の差分を画素毎に計算して差分画像 １２０３ を出力する。二値化器 １２０６ は差分画像 １２０３ について、画素毎の輝度値（差分値）が所定のしきい値 Ｔｈ 未満（差分値＜ Ｔｈ ）の画素の画素値を“ ０ ”、しきい値 Ｔｈ 以上（差分値≧ Ｔｈ ）の画素の画素値を“ ２５５ ”（１画素の輝度値を８ビットで計算）として二値化画像 １２０４ を得る。ここで、例えば、しきい値 Ｔｈ を“ ２０ ”というように設定する。
これによって、入力画像 １２０１ に写った人型の物体 １２０７ は、減算器 １２０５ によって差分が生じた領域 １２０８ が算出され、更に二値化器 １２０６ によって輝度値“ ２５５ ”のかたまりの画像 １２０９ が侵入物体として検出される。
【０００５】
この方法を用いた侵入物体認識方法の一例を図１３を用いて説明する。
図１３は、侵入物体検出方法を実行するための侵入物体検出プログラムの動作を示すフローチャートである。
画像入力ステップ １１１ では、ＴＶ カメラ等の撮像装置から、例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ の入力画像 １２０１ を取得し、ステップ １１２ に進む。
差分処理ステップ １１２ では、入力画像 １２０１ と基準背景画像 １２０２ との画素毎の差分を求めて差分画像 １２０３ を取得しステップ １１３ に進む。
二値化処理ステップ １１３ では、得られた差分画像 １２０３ を所定の二値化しきい値に基づいて侵入物体検出しきい値以上の画素を“ ２５５ ”、侵入物体検出しきい値未満の画素を“ ０ ”として二値化画像 １２０４ を取得し、ステップ １１４ に進む。
【０００６】
侵入物体検出処理ステップ １１４ では、例えば、ラベリングの方法によって二値化画像 １２０４ の中で画素値“ ２５５ ”を持つ画素のかたまりを検出してこれを侵入物体とし、ステップ １１５ に進む。
侵入物体判定ステップ １１５ では、侵入物体検出処理ステップ １１４ で侵入物体が検出された場合にはステップ １１６ に進み、侵入物体が検出されなかった場合には画像入力ステップ １１１ へ戻る。
警報・モニタ表示ステップ １１６ では、例えば、画像出力 Ｉ／Ｆ（以降、インターフェースを Ｉ／Ｆ と称する）、１１１０ を介してモニタ １１１３ に処理結果を表示したり、例えば、出力 Ｉ／Ｆ １１０９ を介して警告灯 １１１２ を点灯させたりする。
したがって、差分法を用いた侵入物体検出方法は、入力画像と基準背景画像とを比較し、画素毎に差分を求め、その差分の大きい領域を物体として検出する。差分法を応用した物体検出方法として、例えば平成７年特許公開第７９４２９号公報がある。
【０００７】
上述の侵入物体検出方法は、入力画像と基準背景画像との画素毎の差分と予め設定した侵入物体検出しきい値との比較によって侵入物体を検出する。
この侵入物体検出しきい値を小さな値に設定した場合には、侵入物体以外のノイズ（撮像装置内部で発生するノイズや映像信号を伝送する過程で重畳するノイズ等）や木々の揺れといった侵入物体以外の動く物体を誤検出する可能性がある。
一方、侵入物体検出しきい値を大きな値に設定した場合、侵入物体を構成する画素で基準背景画像と輝度値が近いものを検出できなくなってしまうため、侵入物体の見逃しが起こる可能性がある。
したがって、侵入物体の検出性能は、侵入物体検出しきい値に大きく依存する。しかし、この侵入物体検出しきい値は、監視視野領域の照度や時間帯、レンズの絞り等に合わせて設定する必要があり、その設定作業は煩雑、かつ、熟練性を要した。
【０００８】
【発明が解決しようとする課題】
前述の従来技術には、差分法を用いて侵入物体の検出する場合、侵入物体検出しきい値をどんな値に設定するかが重要であるが、この設定作業は、監視視野領域の照度や時間帯、レンズの絞り等が変わる度に行なわなければならず、煩雑であった。また、撮像装置より得られた入力画像から侵入物体以外のノイズを除去することができる侵入物体検出しきい値と、撮像視野に写した基準侵入物体を検出することによって侵入物体検出しきい値とを自動的に算出して、侵入物体検出しきい値を設定することには熟練性を要するという欠点があった。
本発明の目的は、上記のような欠点を除去し、侵入物体検出しきい値の設定作業に熟練性を必要とせず、監視視野領域の照度や時間帯、レンズの絞り等が変わった場合でも容易に侵入物体検出しきい値を設定できる信頼性の高い侵入物体検出方法並びに侵入物体認識装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の目的は、上記のような欠点を除去し、差分画像を二値化する二値化しきい値を増加させたときの二値化画像に検出される画素の変化に基づいて侵入物体検出しきい値を決定し、侵入物体を正確に検出するようにして、信頼性の高い侵入物体検出装置を提供することである。
【００１０】
上記の目的を達成するために、本発明の侵入物体検出パラメータ設定方法は、撮像装置から得られる画像を、差分法を適用して監視視野内の侵入物体を検出する監視方法において、前記撮像装置からの第１の入力画像と記憶装置に記憶されている基準背景画像との輝度値の第１の差分画像を生成し、前記第１の差分画像を所定の二値化しきい値で二値化処理すると共に、二値化処理した画像のノイズレベルが所定の値以下となるまで上記二値化しきい値を変化させ、前記二値化処理した画像のノイズレベルが所定の値以下になる二値化しきい値を第１の二値化しきい値とし、前記第１の二値化しきい値に基づいて、侵入物体を検出することを特徴とする侵入物体検出のためのしきい値を自動的に決定するものである。
【００１１】
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値の変化を、等差的、等比的、あるいはランダムに変えることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値を増加させることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値を減少させることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記第１の入力画像は、侵入物体が存在しない画像であることを特徴とする。
【００１２】
また、本発明の侵入物体検出パラメータ設定方法は、更に、前記撮像装置からの侵人物体を含む第２の入力画像と前記記憶装置に記憶されている前記基準背景画像との輝度値の第２の差分画像を生成し、前記第２の差分画像を所定の二値化しきい値で二値化処理すると共に、二値化処理した画像の侵入物体の大きさが所定の大きさ以下となるまで前記二値化しきい値を変化させ、前記二値化処理した画像の侵入物体の大きさが所定の大きさ以下となる二値化しきい値を第２の二値化しきい値とし、前記第１と第２の二値化しきい値を含み、前記第１と第２の二値化しきい値の間に第３の二値化しきい値を設定し、該第３の二値化しきい値に基づいて、侵入物体を検出するものである。
【００１３】
また、本発明の侵入物体検出パラメータ設定方法は、前記第１と第２のしきい値設定に際し、二値化しきい値の変化を等差的、等比的、あるいはランダムに変えることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値を増加させることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記二値化しきい値を減少させることを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、侵入物体の所定の大きさを侵入物体の外接図形で表わすことを特徴とする。
【００１４】
また、本発明の侵入物体検出パラメータ設定方法は、更に、前記第１の入力画像と前記第２の入力画像からそれぞれ得られる第１と第３の二値化しきい値をそれぞれ記録し、前記二値化処理を所定フレーム数実行し、それぞれの二値化しきい値を記録し、前記記録された複数の二値化しきい値の中から所定の第１と第２の二値化しきい値を決定するものである。
また、本発明の侵入物体検出パラメータ設定方法は、前記第１の二値化しきい値は、最大の二値化しきい値を決定し、前記第２の二値化しきい値は、最小の二値化しきい値決定することを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、前記第１の差分画像を所定の二値化しきい値での二値化処理は、更に、不感帯領域を設けて、該設けられた不感帯領域では二値化処理を行わないことを特徴とする。
また、本発明の侵入物体検出パラメータ設定方法は、更に、前記第１と第２の二値化しきい値の差を求め、前記第１と第２の二値化しきい値の差が所定値以下の場合、異常と判定するステップを有することを特徴とする。
【００１５】
また、本発明の侵入物体監視装置は、差分法を適用して撮像装置から得られる画像から監視視野内の侵入物体を検出する侵入物体監視装置において、第１の入力画像を出力する撮像装置と、基準背景画像を記憶する第１の記憶装置と、前記第１の入力画像と前記基準背景画像との輝度値の第１の差分画像を生成する処理ユニットと、前記第１の差分画像を所定の二値化しきい値で二値化処理し、該二値化処理した画像のノイズ成分が所定の値以下となるまで前記二値化しきい値を変化させ、前記二値化処理した画像のノイズ成分が所定の値以下となる二値化しきい値を第１の二値化しきい値として出力する第１の二値化処理ユニットと出力された前記第１の二値化しきい値に基づいて、侵入物体を検出する検出処理ユニットとを備えるものである。
【００１６】
、また、本発明の侵入物体監視装置の前記撮像装置は、侵入物体を含む第２の入力画像を出力し、前記撮像装置は、更に、前記第２の入力画像と前記第１の記憧装置に記憶されている前記基準背景画像との輝度値の第２の差分画像を生成する処理ユニットと、前記第２の差分画像を所定の二値化しきい値で二値化処理し、二値化処理した画像の侵入物体の大きさが所定の大きさ以下となるまで前記二値化しきい値を変化させ、前記二値化処理した画像の侵入物体の大きさが所定の大きさ以下となる二値化しきい値を第２の二値化しきい値として出力する第２の二値化処理ユニットと、前記第１と第２の二値化しきい値を含み、これら第１と第２の二値化しきい値のしきい値の間に第３の二値化しきい値を設定するしきい値設定ユニットとを備え、前記検出処理ユニットは、前記第２の二値化しきい値に基づいて侵入物体を検出するものである。
【００１７】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しながら説明する。図面において、同様の構成要素には、同様な参照符号を付す。
まず、図１４によって本発明の原理を説明する。
図１４は、二値化しきい値決定のプロセスを説明するための、二値化画像の変化を示す図である。
図１４において、参照番号 １４０ 〜 １４８ は、撮像装置からの侵入物体（この場合は、「人」）が写った同一の入力画像と侵入物体が写っていない基準背景画像との画素ごとの輝度値の差分をとって生成した二値化画像を、二値化しきい値 ｔｈ をそれぞれ、ｔｈ ＝ ５ 、１０ 、１５ 、２０ 、２５ 、３０ 、３５ 、４０ と増加したときの二値化画像を示す。
１４００ は二値化画像 １４０ に含まれるノイズ画像を表し、１４０１ は侵入物体の画像を表す。二値化しきい値を初期値 ｔｈ ＝ ５ から増加していくと、ノイズ画像は徐々に消えていき、ｔｈ ＝ ２５ でノイズが消える。このときの二値化しきい値を第１のしきい値 Ｔｈ１ とする。二値化しきい値を更に増加していくと、侵入物体の大きさは徐々に縮小し、ｔｈ ＝ ３５ で侵入物体が所定の大きさで検出され、ｔｈ ＝ ４０ では侵入物体は所定の大きさ未満に縮小する。ｔｈ ＝ ３５ における二値化しきい値を第２のしきい値 Ｔｈ２ とする。
従って、ノイズを完全に除去し、かつ、侵入物体を見落とすことなく検出するためには、侵入物体検出しきい値としては、第１のしきい値 Ｔｈ１ と第２のしきい値 Ｔｈ２ の間のしきい値を選択すれば良い。
尚、第１のしきい値 Ｔｈ１ は、ノイズが完全に消える二値化しきい値としたが、後述のように、所定数以上の画素のかたまりが消失したしきい値としても良い。
以上の説明では、二値化しきい値とし初期値から増加していったが、例えば、初期値を ｔｈ ＝ ４０ として、それから減少していっても良いことは言うまでもない。
【００１８】
次に、本発明の侵入物体監視装置に係る一実施例を説明する。
図１１は、本発明の侵入物体監視装置の構成を示すブロック図である。１１０１はテレビジョンカメラ（以下ＴＶカメラと呼ぶ）、１１０２は入力装置、１１０３は画像入力インターフェース１１０４は入力Ｉ／Ｆ、１１０５は画像メモリ、１１０６はワークメモリ、１１０７はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１１０８はプログラムメモリ、１１０９は出力Ｉ／Ｆ、１１１０は画像出力Ｉ／Ｆ、１１１２は警告灯、１１１３はモニタ、１１１１はデータバスである。
【００１９】
図１１において、ＴＶ カメラ １１０１ は画像入力 Ｉ／Ｆ １１０３ に結合され、入力装置 １１０２ は入力 Ｉ／Ｆ １１０４ に結合され、警告灯 １１１２ は出力 Ｉ／Ｆ １１０９ に結合され、モニタ １１１３ は画像出力 Ｉ／Ｆ １１１０ に結合されている。また、画像入力 Ｉ／Ｆ １１０３ 、入力 Ｉ／Ｆ １１０４ 、画像メモリ １１０５ 、ワークメモリ １１０６ 、ＣＰＵ １１０７ 、プログラムメモリ １１０８ 、出力 Ｉ／Ｆ １１０９ 及び画像出力 Ｉ／Ｆ １１１０ は、データバス １１１１ に結合されている。
【００２０】
図１１において、 ＴＶ カメラ １１０１ は、監視対象区域を含めた撮像視野内を撮像する。ＴＶ カメラ １１０１ は、撮像した映像を電気的な映像信号（例えば、ＮＴＳＣ 映像信号）に変換し、変換した映像信号を画像入力 Ｉ／Ｆ １１０３ に与える。
画像入力 Ｉ／Ｆ １１０３ は、入力した映像信号を侵入物体監視装置で扱うフォーマット（例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ ）の画像データに変換し、データバス １１１１ を介して画像メモリ １１０５ に与える。
画像メモリ １１０５ は、送られてきた画像データを蓄積する。入力装置 １１０２ は、人間または補助動物の音声、身振り等の特定の動作、ボタン、キーボード、マウス等の外部入力装置による入力の少なくとも１つの入力動作を検知して操作信号（例えば ＲＳ−２３２Ｃ シリアル通信信号）に変換し、変換された操作信号を入力 Ｉ／Ｆ １１０４ に与える。
【００２１】
入力 Ｉ／Ｆ １１０４ は、入力した操作信号を侵入物体監視装置で扱うフォーマット（例えば、上下左右の操作、ボタン押下の操作を、それぞれ“ １ ”、“ ２ ”、“ ３ ”、“ ４ ”、“ ５ ”）の操作データに変換し、変換された操作データをデータバス １１１１ を介してワークメモリ １１０６ に与える。上記フォーマットとしては、例えば、 ＲＳ−２３２Ｃ を使っても良い。
ワークメモリ １１０６ は、入力された操作データを蓄積する。ＣＰＵ １１０７ はプログラムメモリ １１０８ に保存されているプログラムに従って、ワークメモリ １１０６ 内で画像メモリ １１０５ に蓄積された画像の解析を行なう。
以上の解析の結果、ＴＶ カメラ １１０１ の撮像視野内に侵入物体が侵入したか否か等の情報を得る。
【００２２】
ＣＰＵ １１０７ は、画像出力 Ｉ／Ｆ １１１０ を介して監視モニタ １１１２ に映像信号を与え、例えば、処理結果画像を表示する。また同時に ＣＰＵ １１０７ は、出力 Ｉ／Ｆ １１０９ を介して警告灯 １１１２ を点灯させる制御信号を警告灯 １１１２ に与える。警告灯 １１１２ は入力した制御信号により点灯を行う。画像出力 Ｉ／Ｆ １１１０ は、ＣＰＵ １１０７からの映像信号を監視モニタ １１１３ が使用できるフォーマット（例えば、ＮＴＳＣ 映像信号）に変換して、モニタ １１１３ に送る。モニタ １１１３ は、例えば、侵入物体検出結果画像を表示する。
【００２３】
図２は、本発明の第１の実施例の動作を示すフローチャートの一例である。このフローチャートは、例えば、すでに説明した図１１の侵入物体監視装置を用いて実行される。
この実施例は、図１３で示した従来技術による侵入物体検出フローチャートの画像入力ステップ １１１ の前に、第１の侵入物体検出しきい値決定ステップ １０１ 、第２の侵入物体検出しきい値決定ステップ １０３ 、及び侵入物体検出しきい値選択ステップ２０１を追加したものである。
【００２４】
図２において、第１の侵入物体検出しきい値決定ステップ １０１ では、差分画像を二値化するときの二値化しきい値を増加させたときの二値化画像に検出される“２５５”の輝度値を持つノイズレベル（以下これを、画素のかたまりの数と称す）に基づいて侵入物体検出しきい値を決定するステップである。この第１の侵入物体検出しきい値決定ステップ １０１ について、図４を用いて説明する。
【００２５】
図４は、図２における第１の侵入物体検出しきい値決定ステップ １０１ の動作を説明するフローチャートの一例である。尚、基準背景画像 １２０２ は、予め画像メモリ １１０５ に格納されている。
図４において、映像選択ステップ ４０１ では、監視視野領域内に検出すべき侵入物体が存在しない映像を選択する。この処理は、例えば、監視員がモニタ １１１３ の画面に写った ＴＶ カメラ １１０１ からの撮像画像を見ながら、監視視野領域内に検出すべき侵入物体が存在するか否かを判断し、入力装置 １１０２ を用いて侵入物体監視装置に対して検出すべき侵入物体が存在しないことを通知し、その通知によって適切な映像が選択されたものとして画像入力ステップ ４０２ に処理を移す。
次に画像入力ステップ ４０２ では、画像入力ステップ １１１ と同様に、例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ の入力画像を取得する。
差分処理ステップ ４０３ では、差分処理ステップ １１２ と同様に、入力画像 １２０１ と基準背景画像 １２０２ との画素毎の差分を求め、差分画像 １２０３ を取得する（図１２参照）。
二値化しきい値初期化ステップ ４０４ では、二値化しきい値 Ｔｈ を、例えば、Ｔｈ ＝ １ に初期化する。
【００２６】
二値化処理及び表示ステップ ４０５ では、そのとき設定されている二値化しきい値 Ｔｈ に基づいて差分処理ステップ ４０３ で得られた差分画像 １２０３ を二値化し、差分画像 １２０３ 中で画素値が二値化しきい値 Ｔｈ 以上となる画素を“ ２５５ ”とし、二値化しきい値 Ｔｈ 未満となる画素を“ ０ ”として、二値化画像 １２０４
を取得する。
また、このときの二値化しきい値と取得した二値化画像をモニタ １１１３ の画面上に表示する。
次に、物体検出処理ステップ ４０６ では、二値化画像 １２０４ の中で画素値“２５５”となる画素のかたまり（検出物体と呼ぶ）を検出し、その個数を計数する。
例えば、この処理は、画素のかたまりが所定の面積（例えば、１０ 画素）以上の画素のかたまりの個数を計数するようにしても良い。
【００２７】
検出物体数判定ステップ ４０７ では、物体検出処理ステップ ４０６ によって検出された画素のかたまりの数が ０ であった場合は第１の侵入物体検出しきい値決定及び表示ステップ ４０８ へ分岐し、１ 以上であった場合は二値化しきい値増加ステップ ４０９ へ分岐する。
第１の侵入物体検出しきい値決定及び表示ステップ ４０８ では、二値化処理ステップ ４０５ で用いた二値化しきい値 Ｔｈ の値を第１の侵入物体検出しきい値 Ｔｈ１ として決定し、後述のように、第１のしきい値候補マーク ８０６ａ をモニタ １１１３ に表示して、図２の第１の侵入物体検出しきい値決定ステップ １０１ を終り、第２の侵入物体検出しきい値決定ステップ １０３ に進む。
また、二値化しきい値増加ステップ ４０９ では、二値化しきい値を １ 増加し、二値化処理ステップ ４０５ へ処理を移す。
【００２８】
なお、上記の説明では、映像選択ステップ ４０１ において、監視視野領域内に検出すべき侵入物体が存在しない映像を選択するようにしているが、例えば、侵入物体が １ 以上存在する映像を選択しても良く、この場合、検出物体数判定ステップ ４０７ では、物体検出処理ステップ ４０６ によって検出された検出物体の数が選択した映像中に写る侵入物体数であった場合に、第１の侵入物体検出しきい値決定及び表示ステップ ４０８ へ分岐するようにする。
また、二値化しきい値初期化ステップ ４０４ において、二値化しきい値 Ｔｈ を Ｔｈ ＝ １ に初期化したが、監視視野領域の状況に応じて、初期化する値は自由に設定して良い。更に、二値化しきい値増加ステップ ４０９ では二値化しきい値を １ 増加させたが、 １ 以外でも良いことは自明であるし、また例えば、二値化しきい値を等差的に増加させたり、等比的に増加させたり、あるいは乱数的に増加させても良い。
【００２９】
次に第２の侵入物体検出しきい値決定ステップ １０３ では、差分画像を二値化する二値化しきい値を増加させたときの二値化画像に検出される“ ２５５ ”の輝度値を持つ画素のかたまりの大きさの変化に基づいて侵入物体検出しきい値を決定するステップである。第２の侵入物体検出しきい値決定ステップ １０３ について図５を用いて説明する。
【００３０】
図５は、図２における第２の侵入物体検出しきい値決定ステップ １０３ の動作を説明するフローチャートの一例である。図５は、図４の映像選択ステップ ４０１と、二値化しきい値初期化ステップ ４０４ と、検出物体数判定ステップ ４０７ と、第１の侵入物体検出しきい値決定及び表示ステップ ４０８ と、二値化しきい値増加ステップ ４０９ の代わりに、映像選択ステップ ５０１ と、二値化しきい値初期化ステップ ５０４ と、検出物体大きさ判定ステップ ５０７ と、第２の侵入物体検出しきい値決定及び表示ステップ ５０８ と、二値化しきい値増加ステップ ５０９ を用いたものである。それ以外のステップは、図４と同様であるため説明は省略する。
【００３１】
図５において、映像選択ステップ ５０１ では、監視視野領域内に侵入物体検出しきい値を決定する上で基準となる基準侵入物体が写る映像を選択する。基準侵入物体は、侵入物体監視装置を侵入者の監視に用いる場合には人であるし、車輌の監視に用いる場合には車輌である。
この処理は、例えば、図４の場合と同様にして、監視員が監視視野領域内に基準侵入物体が写る映像か否かを判断し、入力装置 １１０２ を用いて、侵入物体監視装置に基準侵入物体が写っていることを通知し、その通知によって適切な映像が選択されたものとする。続いて、画像入力ステップ ４０２ と差分処理ステップ ４０３ の処理を行い、ステップ ５０４ に進む。
【００３２】
二値化しきい値初期化ステップ ５０４ では、二値化しきい値を、例えば第１の侵入物体検出しきい値 Ｔｈ１ に初期化し、続いて、二値化処理及び表示ステップ ４０５ と物体検出処理ステップ ４０６ の処理を行い、ステップ ５０７ に進む。
【００３３】
続いて、検出物体大きさ判定ステップ ５０７ では、最も大きな検出物体の外接矩形の大きさが所定の値以下かを判定する。ここで、所定の値とは、検出すべき侵入物体とみなす大きさで、例えば、撮像素子として １／２ 型 ＣＣＤ（素子サイズ：幅 ｄｘ ＝ ６．５ ｍｍ、高さ ｄｙ ＝ ４．６ ｍｍ ）、ｆ ＝ ２５ ｍｍ のレンズ、カメラから監視領域までの距離を Ｌ ＝ ５０ ｍ 、入力画像サイズ：幅 Ｘ０ ＝ ３２０ ｐｉｘ 、高さ Ｙ０ ＝ ２４０ ｐｉｘ を用いて監視を行なう場合、検出すべき侵入物体を幅 ｗ０ ＝ １ ｍ 、高さ ｈ０ ＝ １．５ ｍ とすると、次の式（１）のようになり、
【数１】
【００３４】
検出物体大きさ判定ステップ ５０７ では、最も大きな検出物体の外接矩形の大きさが所定の値未満であった場合に第２の侵入物体検出しきい値決定及び表示ステップ ５０８ へ分岐し、所定の値以上の場合に二値化しきい値増加ステップ ５０９ へ分岐する。
【００３５】
第２の侵入物体検出しきい値決定及び表示ステップ ５０８ では、二値化処理ステップ ４０５ で用いた二値化しきい値 Ｔｈ から １ 減じた値（二値化しきい値 Ｔｈ の直前の二値化しきい値、即ち、二値化しきい値増加ステップ ５０９ での増加分を減じた二値化しきい値）を第２の侵入物体検出しきい値 Ｔｈ２ として決定し、更に、後述のように、決定した第２の侵入物体検出しきい値を表す第２のしきい値候補マーク ８０７ａ をモニタ １１１３ 上に表示し（図８）、図２の第２の侵入物体しきい値決定ステップ １０３ を終り、侵入物体検出しきい値選択ステップ ２０１ に進む。
また、二値化しきい値増加ステップ ５０９ では、二値化しきい値を １ 増加し、二値化処理ステップ ４０５ へ処理を移す。
以上の説明では、二値化しきい値の増加のステップ幅を １ としているが、これに限定されるものではなく、２ 以上としても良いし、上述のように、ステップ幅を等差的に増加させたり、等比的に増加させたり、あるいは、ランダムに増加させても良い。
【００３６】
続いて、図２において、侵入物体検出しきい値選択ステップ ２０１ では、第１の侵入物体検出しきい値決定ステップ １０１ と第２の侵入物体検出しきい値決定ステップ １０３ で得られた、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の間のしきい値を侵入物体検出しきい値とする。即ち、侵入物体検出しきい値 Ｔｈ は、次のようにして決定される。
Ｔｈ１ ≦ Ｔｈ ≦Ｔｈ２ ‥‥‥式（２）
この処理は、例えば、監視員が入力装置 １１０２ を用いて第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ のいずれかを選択することによって行なわれる。
尚、侵入物体検出しきい値決定ステップ １０３ の前に、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の間のしきい値 Ｔｈ３ （例えば、 Ｔｈ１ と Ｔｈ２ の平均値）を少なくとも１つ決定するステップを設け、ステップ ２０１ で Ｔｈ１ ，Ｔｈ２ ，Ｔｈ３ の侵入物体検出しきい値の中かのいずれかを選択するようにしても良い。
【００３７】
ここで、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の関係を図１０を用いて説明する。図１０は、差分法によって検出されるノイズ（撮像装置内部で発生するノイズや映像信号を伝送する過程で重畳するノイズ等）の差分のレベル １００２ と侵入物体の差分のレベル １００１ の関係を表したものである（侵入物体以外の動く物体の説明は後述する）。
【００３８】
図１０に示す通り、第１の侵入物体検出しきい値決定ステップ １０１ で、検出すべき侵入物体の写っていない映像を用いて第１の侵入物体検出しきい値 Ｔｈ１ を（あるいは、侵入物体が １ 以上存在する映像を用いて）決定したため、ノイズの差分レベル １００２ は第１の侵入物体検出しきい値 １００４（ Ｔｈ１ ）未満になり、第２の侵入物体検出しきい値決定ステップ １０２ で、基準侵入物体の検出できる限界の二値化しきい値を第２の侵入物体検出しきい値 Ｔｈ２ として決定したため、侵入物体の差分レベル １００１ は第２の侵入物体検出しきい値 １００６（ Ｔｈ２ ）より大きくなる。
すなわち、侵入物体検出しきい値として、第１の侵入物体検出しきい値 Ｔｈ１ あるいは第２の侵入物体検出しきい値 Ｔｈ２ のいずれか１つを選択することでノイズの誤検出を防ぎ、かつ、侵入物体を検出できる侵入物体検出しきい値を設定することができる。
【００３９】
図２に戻り、ステップ ２０１ に続く画像入力ステップ １１１ では、ＴＶ カメラ １１０１ から、例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ の入力画像を取得し、ステップ １１２ に進む。
差分処理ステップ １１２ では、入力画像と基準背景画像との画素毎の輝度値の差分を求めて差分画像を取得しステップ １１３ に進む。
二値化処理ステップ １１３ では、得られた差分画像をステップ ２０１ で選択した侵入物体検出しきい値に基づいて侵入物体検出しきい値以上の画素を“ ２５５ ”、侵入物体検出しきい値未満の画素を“ ０ ”として二値化画像を取得し、ステップ １１４′に進む。
侵入物体検出処理ステップ １１４′では、例えば、周知のラベリングの方法によって二値化画像の中で画素値“ ２５５ ”を持つ画素のかたまりを検出してステップ １１５′に進む。
侵入物体判定ステップ １１５′では、侵入物体検出処理ステップ １１４′で検出された侵入物体の外接図形の大きさが、例えば、外接矩形が所定の大きさ以上であった場合には侵入物体が検出されたものとしてステップ １１６ に進み、検出された全ての侵入物体の外接矩形の大きさが所定の大きさ未満であった場合には侵入物体が検出されなかったものとして画像入力ステップ １１１ へ戻る。尚、所定の大きさは、前述の式（１）によって計算されたものである。
警報・モニタ表示ステップ １１６ では、例えば、画像出力 Ｉ／Ｆ １１１０ を介してモニタ １１１３ に処理結果を表示したり、例えば、出力 Ｉ／Ｆ １１０９ を介して警告等を点灯させたりする。
したがって、本実施例によれば、撮像装置で得られた入力画像から第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ を決定し、その内のいずれか１つを選択することで侵入物体検出しきい値を容易に設定できるようにし、撮像装置視野内の侵入物体を検出することが可能となる。
【００４０】
図３は、本発明の第２の実施例の処理動作を示すフローチャートの一例である。この第２の実施例は、第１の侵入物体検出しきい値の候補と第２の侵入物体検出しきい値の候補を少なくとも１以上記録し、各々の候補に基づいて第１の侵入物体検出しきい値と第２の侵入物体検出しきい値を決定するようにしたものである。
図３は、図２で示したフローチャートに、第１の侵入物体検出しきい値記録ステップ １０２ と、第２の侵入物体検出しきい値記録ステップ １０４ と、所定フレーム終了判定ステップ １０５ と、第１の侵入物体検出しきい値選択ステップ １０６ と、第２の侵入物体検出しきい値選択ステップ １０７ を追加したものである。これ以外のステップについては、図２で示したフローチャートと同様であるため説明を省略する。
【００４１】
図３において、図２で説明したように、第１の侵入物体検出しきい値決定ステップ １０１ の処理が行われステップ １０２ に進む。
第１の侵入物体検出しきい値記録ステップ １０２ では、第１の侵入物体検出しきい値決定ステップ １０１ で得られた第１の侵入物体検出しきい値 Ｔｈ１ を第１の侵入物体検出しきい値候補として、ワークメモリ １１０６ に記録する。
【００４２】
次に、ステップ １０３ においても、図２で説明したように、第２の侵入物体検出しきい値決定ステップ １０３ の処理が行われステップ １０４ に進む。
第２の侵入物体検出しきい値記録ステップ １０４ では、第２の侵入物体検出しきい値決定ステップ １０３ で得られた第２の侵入物体検出しきい値 Ｔｈ２ を第２の侵入物体検出しきい値候補として、ワークメモリ １１０６ に記録する。
【００４３】
続いて、所定フレーム終了判定ステップ １０５ では、各々の侵入物体検出しきい値の候補が所定フレーム数分得られたか否かを判定し、所定フレーム数（例えば、５ ）分得られた場合は第１の侵入物体検出しきい値選択ステップ １０６ へ分岐し、得られていない場合は第１の侵入物体検出しきい値記録ステップ １０１ へ分岐する。
【００４４】
第１の侵入物体検出しきい値選択ステップ １０６ では、ワークメモリ １１０６ に記録された第１の侵入物体検出しきい値候補の中で最も大きな値を第１の侵入物体検出しきい値として選択する。
第２の侵入物体検出しきい値選択ステップ １０７ では、ワークメモリ １１０６ に記録された第２の侵入物体検出しきい値候補の中で最も小さな値を第２の侵入物体検出しきい値として選択する。
したがって、本実施例によれば、得られた第１の侵入物体検出しきい値の候補の内もっとも値の大きい値を第１の侵入物体検出しきい値としているためノイズを確実に除去することができ（最も高いノイズの差分レベルをも除去できる）、かつ、得られた第２の侵入物体検出しきい値の候補の内もっとも値の小さい値を第２の侵入物体検出しきい値としているため侵入物体を確実に検出することができ（最も低い侵入物体の差分レベルをも検出できる）、侵入物体認識装置の信頼性を向上させることが可能となる。
尚、この実施例において、第１と第２の侵入物体検出しきい値の一方についてのみ複数の候補を用意し、他方については図２と同様に、複数の候補を用意せずにしきい値を決定するように修正しても良い。
【００４５】
図６と図７は、本発明の第３の実施例を表すフローチャートの一例である。この第３の実施例は、第１の侵入物体検出しきい値決定の際に不感帯を設け、かつ、第２の侵入物体検出しきい値決定の際に侵入物体の存在する領域を指定するようにし、例えば、図２のフローチャートに示した処理を第１の侵入物体検出しきい値決定ステップ １０１ の処理を図６のフローチャートによって行い、第２の侵入物体検出しきい値決定ステップ １０３ の処理を図７のフローチャートによって行ったものである。
図６は、図４で示したフローチャートで、ステップ ４０１ とステップ ４０２ の間に不感帯設定ステップ ６０１ を追加し、二値化処理ステップ ４０５ の代わりに別の二値化処理ステップ ６０２ を用いたものである。
図７は、図５で示されるフローチャートで、ステップ ４０２ とステップ ４０３ の間に基準侵入物体領域設定ステップ ７０１ を追加し、検出物体大きさ判定ステップ ５０７ の代わりに別の検出物体大きさ判定ステップ ７０２ を用いたものである。
【００４６】
図６において、図４で説明したように、映像選択ステップ ４０１ の処理が行われステップ ６０１ に進む。
不感帯設定ステップ ６０１ では、木々の揺れなど検出すべき侵入物体以外の動く物体を不感帯として設定し、ノイズの差分レベルをより正確に検出するようにする。これを図９を用いて説明する。図９は、入力画像 ９０１ に木 ９０３ や草 ９０４ａ 、９０４ｂ 、９０４ｃ が写る例である。
【００４７】
ここで監視員が入力装置 １１０２ を操作して、モニタ １１１３ に写る位置指示マーク ９０８ を動かし、例えば多角形によって、木の領域 ９０５ や草の領域 ９０６ を指定する。指定した領域は不感帯となり、不感帯の画素は、第１の侵入物体検出しきい値の決定に用いない。
次に、ステップ ４０２ からステップ ４０４ の処理動作を行い、ステップ ６０２ に進む。
【００４８】
二値化処理ステップ ６０２ は、差分値が二値化しきい値以上かつ不感帯でない画素を“ ２５５ ”、それ以外を“ ０ ”とする二値化画像を作成する。
木々の揺れなどの検出すべき侵入物体以外の動く物体は、図１０に示すように、ノイズの差分レベルに比べ大きな差分レベルを持つ。したがって、不感帯を設定することによってより正確なノイズの差分レベルを検出することができる。
【００４９】
次に図７において、図５で説明したように、映像選択ステップ ５０１ と画像入力ステップ ４０２ の処理が行われステップ ７０１ に進む。
基準侵入物体領域設定ステップ ７０１ では、基準侵入物体の領域（外接矩形）を指定する。これを図９を用いて説明する。
図９において、入力画像 ９０１ には、基準侵入物体 ９０２ が写っており、監視員が入力装置 １１０２ を操作して、モニタ １１１３ に写る位置指示マーク ９０８ を動かし、例えば矩形によって、基準侵入物体の領域 ９０７ を指定する。基準侵入物体の領域は、外接矩形に限らず、任意の外接図形が使えることは明らかである。
次に、ステップ ４０３ からステップ ４０６ の処理動作を行い、ステップ ７０２ に進む。
【００５０】
検出物体大きさ判定ステップ ７０２ では、基準侵入物体領域設定ステップ ７０１ で指定した基準侵入物体領域 ９０７ 内で検出された検出物体の大きさが基準侵入物体領域 ９０７ の所定の割合未満になった場合に、第２の侵入物体検出しきい値決定ステップ ５０８ へ分岐し、所定の割合以上の場合に、二値化しきい値増加ステップ ５０９ へ分岐する。
ここで所定の割合とは、例えば０．３ とする。すなわち、基準侵入物体の大きさの３割以上であれば侵入物体として検出できることを意味している。
したがって、本実施例によれば、入力画像に重畳するノイズの差分レベルを正確に検出して第１の侵入物体検出しきい値を得ることができる。さらに、本実施例によれば、第１の実施例のように侵入物体の大きさを計算することなく第２の侵入物体検出しきい値を得ることができ、侵入物体認識装置の信頼性を向上させることが可能となる。
【００５１】
更に、本実施例では、侵入物体の領域を指定して、その領域内で第２の侵入物体検出しきい値の決定を行うことによる特有の効果が得られる。これについて説明すると、差分法では、侵入物体と基準背景画像の輝度が近い画素が存在するとその画素は二値化処理によって“ ０ ”と判定されてしまうため、場合によっては侵入物体が複数に***して観察されることがある。この場合、検出物体の外接図形の大きさは見かけ上小さくなってしまい、第１の実施例で決定される第２の侵入物体検出しきい値は最適な値に比べて小さくなってしまう。
本実施例では、基準侵入物体領域設定ステップ ７０１ で侵入物体の存在する領域を指定し、検出物体大きさ判定ステップ ７０２ でその領域内で検出される物体（二値化処理によって“ ２５５ ”となる画素のかたまり）の画素が指定した領域内で所定の割合以上であるか否かを判定している。二値化画像で“ ２５５ ”となる画素の割合によって判定するため、決定される第２の侵入物体検出しきい値では、***して観測されたか否かにもかかわらず、侵入物体が一定以上の割合の画素で検出することを保証することができる。
【００５２】
図１は、本発明の第４の実施例を表すフローチャートの一例である。この第４の実施例は、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の幅（差の値）を求め、得られる侵入物体検出しきい値が侵入物体検出処理に適しているか否かを判定するようにしたものである。
図１は、図３で示したフローチャートで、第２の侵入物体検出しきい値選択ステップ １０７ の後ろに、第１と第２の侵入物体検出しきい値差判定ステップ １０８ と第３の侵入物体検出しきい値決定ステップ １０９ とを追加し、侵入物体検出しきい値選択ステップ ２０１ の代わりに、別の侵入物体検出しきい値選択ステップ １１０ を用いたものである。
【００５３】
第１と第２の侵入物体検出しきい値差判定ステップ １０８ とは、第１の侵入物体検出しきい値選択ステップ １０６ と第２の侵入物体検出しきい値選択ステップ １０７ とによって得られた第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の差を求め、その差が所定の値（例えば ５ ）未満の場合は、第１の侵入物体検出しきい値決定ステップ １０１ へ分岐し、所定の値以上であった場合、第３の侵入物体検出しきい値決定ステップ １０９ へ分岐する。
上記実施例では、第１と第２の侵入物体検出しきい値差判定ステップ １０８ で、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の差が所定の値未満の場合は第１の侵入物体検出しきい値決定ステップ １０１ へ分岐したが、第１と第２の侵入物体検出しきい値差判定ステップ １０８ で、もし、数回繰り返しても、第３の侵入物体検出しきい値決定ステップ １０９ へ分岐しない場合は、例えば、警報・モニタ表示ステップ １１６ に分岐して、監視員に異常を知らせるように設定することもできる。
【００５４】
第３の侵入物体検出しきい値決定ステップ １０９ では、第１の侵入物体検出しきい値 Ｔｈ１ より大きく、第２の侵入物体検出しきい値 Ｔｈ２ 未満の値となる少なくとも１つの第３の侵入物体検出しきい値 Ｔｈ３ を求める。
これは、例えば、第３の侵入物体検出しきい値 Ｔｈ３ を１つ決める場合であれば第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ の平均で良い。
【００５５】
次に、侵入物体検出しきい値選択ステップ １１０ では、第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ と第３の侵入物体検出しきい値 Ｔｈ３ のいずれかを侵入物体検出しきい値とする。
この処理を図１０に言及して説明すると、例えば、監視員が入力装置 １１０２ を用いて第１の侵入物体検出しきい値 Ｔｈ１ と第２の侵入物体検出しきい値 Ｔｈ２ と第３の侵入物体検出しきい値 Ｔｈ３ のいずれかを選択することによって行なわれる。
したがって、本実施例によれば、風の強さが変わり、入力画像中に写る木の揺れなどの検出すべき侵入物体以外の動く物体 １１０３ の見かけの動きの量が変わった場合でも、第１の侵入物体検出しきい値、第２の侵入物体検出しきい値、第３の侵入物体検出しきい値の中から監視員が入力装置 １１０２ を操作して適切な侵入物体検出しきい値を容易に設定できるようになる。
【００５６】
図８は、本発明の監視モニタ １１１３ に表示された画面表示の一実施例である。図８は、二値化しきい値に対して二値化画像がどのように変化するか、第１の侵入物体検出しきい値の候補と第２の侵入物体検出しきい値の候補はどの値かを表すようにしたもので、画面には、二値化画像 ８０１（基準侵入物体 ８０２ 、ノイズ ８０３ａ 、８０３ｂ 、８０３ｃ ）、二値化しきい値レベルゲージ ８０４ 、現在の二値化しきい値の二値化しきい値レベルゲージ ８０４ 上の位置を示す識別記号（二値化しきい値マーク）８０５ 、第１の侵入物体検出しきい値の候補のマーク ８０６ａ 、８０６ｂ 、８０６ｃ 、及び第２の侵入物体検出しきい値の候補マーク ８０７ａ 、８０７ｂ 、８０７ｃ が表示されている。
【００５７】
図８において、侵入物体監視装置が動作し、例えば、図４のフローチャートの処理動作が開始され、まず二値化しきい値初期化ステップ ４０４ によって、二値化しきい値が定まると、モニタ １１１３ にその二値化しきい値の値の位置に二値化しきい値マークが表示され、かつその二値化しきい値で取得された二値化画像が表示される。そして同様に、ステップ ４０５ 〜 ４０９ の処理を繰り返す都度、モニタ １１１３ にその二値化しきい値の値の位置に二値化しきい値マークが更新されて表示され、かつその二値化しきい値で取得された二値化画像が更新されて表示される。そして、第１の二値化しきい値の候補が決定されると、その候補マーク ８０６ａ が更に表示される。
同様に、例えば、図５のフローチャートの処理動作が実行されると、その結果、第２の二値化しきい値の候補が決定されると、その候補マーク ８０７ａ が更に表示される。そして、次に図１のフローチャートの第３の侵入物体検出しきい値決定ステップ １０９ によって、第３の二値化しきい値が決定されると、その候補マーク（図示せず）が更に表示される。そして、監視員が、それらの中から、適当と思われる二値化しきい値を入力装置 １１０２ を用いて選択することによって侵入物体検出しきい値が設定され、そのマーク（図示せず）モニタ １１１３ に表示される。尚、これらの図示しないマークは、レベルゲージに沿って任意の形態で設ければよい。
このように、設定された二値化しきい値に応じて二値化しきい値マーク ８０５ が変化し、それに伴い二値化画像 ８０１ も変化する。
【００５８】
また、処理動作（例えば、図１）を実行する都度（例えば３回程度）、各侵入物体検出しきい値の候補が得られる度に二値化しきい値レベルゲージ８０４の横にその値に対応する位置に候補マーク ８０６ａ 、８０６ｂ 、８０６ｃ 、８０７ａ 、８０７ｂ 、８０７ｃ
、及び、第３の二値化しきい値マーク候補が重ねて表示される。
このように監視モニタ画面に表示することによって、設定中の侵入物体検出しきい値によって二値化画像 ８０１ がどのように得られるかを知ることができる。
【００５９】
なお、以上の実施例では、侵入物体検出しきい値を決定する際に二値化しきい値を初期値から増加する方向で変化させた。しかしながら、二値化しきい値を初期値（最大値）から減少させる方向で変化させてもよいことは明らかである。その場合には、第１、第２、第３、第４の各実施例において、まず第２の侵入物体検出しきい値を決定し、次いで、第１の侵入物体検出しきい値を決定することになる。
【００６０】
第２の侵入物体検出しきい値の決定においては、例えば、図５のステップ ５０５では、最も大きな検出物体の外接矩形の大きさが所定の値以上かを判定する。そして、所定の値以上であった場合にはステップ ５０８ へ分岐し二値化処理ステップ ４０５ で用いた二値化しきい値 Ｔｈ を第２の侵入物体検出しきい値 Ｔｈ２ として決定する。
他方、ステップ ５０８ で、最も大きな検出物体の外接矩形の大きさが所定の値より小さい時はステップ ５０９ へ分岐し、二値化しきい値 Ｔｈ から １ を減じ、二値化処理ステップ ４０５ へ処理を移す。
【００６１】
第１の侵入物体検出しきい値の決定においては、例えば、図４のステップ ４０７では、二値化画像 １２０４ の中で画素値“ ２５５ ”となる画素のかたまりの個数を計数し、その数が ０ でなければステップ ４０８ へ分岐し二値化処理ステップ ４０５で用いた二値化しきい値 Ｔｈ から １ 減じた値を第１の侵入物体検出しきい値 Ｔｈ１ として決定する。
他方、ステップ ４０７ で計数した画素値“ ２５５ ”となる画素のかたまりの個数が ０ であればステップ ４０９ で二値化しきい値 Ｔｈ を １ 減じて二値化処理ステップ ４０５ へ処理を移す。
二値化しきい値 Ｔｈ を、初期値から減少させる方向で変化させて侵入物体検出しきい値を決定する際での、上述の各実施例の細部の修正は、以上の明細書の記載の説明から当業者には明らかであるので、これ以上の説明は省略する。
【００６２】
【発明の効果】
したがって、撮像装置より得られた入力画像から侵入物体以外のノイズを除去することができる侵入物体検出しきい値と、撮像視野に写した基準侵入物体を検出することによって侵入物体検出しきい値とを自動的に算出するようにし、その内のいずれか１つを選択することで侵入物体検出しきい値を容易に設定できるようにし、侵入物体検出しきい値の設定作業に熟練性を必要とせず、監視視野領域の照度や時間帯、レンズの絞り等が変わった場合でも容易に侵入物体検出しきい値を設定でき、侵入物体認識装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】本発明の一実施例の処理動作を示すフローチャート。
【図２】本発明の一実施例の処理動作を示すフローチャート。
【図３】本発明の一実施例の処理動作を示すフローチャート。
【図４】本発明の一実施例の処理動作を示すフローチャート。
【図５】本発明の一実施例の処理動作を示すフローチャート。
【図６】本発明の一実施例の処理動作を示すフローチャート。
【図７】本発明の一実施例の処理動作を示すフローチャート。
【図８】本発明の一実施例の画面表示を示す図。
【図９】本発明の不感帯領域と基準侵入物体領域の設定方法を示す図。
【図１０】侵入物体、ノイズ、検出すべき侵入物体以外の動く物体の差分レベルを示す図。
【図１１】本発明の侵入物体監視装置の一実施例の構成を示すブロック図。
【図１２】差分法における侵入物体検出原理を説明するブロック図。
【図１３】従来の侵入物体検出動作を示すフローチャート。
【図１４】本発明の侵入物体しきい値決定の動作原理を説明するための図。
【符号の説明】
１０１：第１の侵入物体検出しきい値決定ステップ、 １０２：第１の侵入物体検出しきい値記録ステップ、 １０３：第２の侵入物体検出しきい値決定ステップ、 １０４：第２の侵入物体検出しきい値記録ステップ、 １０５：所定フレーム数終了判定ステップ、 １０６：第１の侵入物体検出しきい値選択ステップ、 １０７：第２の侵入物体検出しきい値選択ステップ、 １０８：第１と第２の侵入物体検出しきい値差判定ステップ、 １０９：第３の侵入物体検出しきい値決定ステップ、 １１０：侵入物体検出しきい値選択ステップ、 １１１：画像入力ステップ、 １１２：差分処理ステップ、 １１３：二値化処理ステップ、 １１４：侵入物体検出ステップ、 １１５：侵入物体判定ステップ、 １１６：警報・モニタ表示ステップ、 ２０１：侵入物体検出しきい値選択ステップ、 ４０１：映像選択ステップ、 ４０２：画像入力ステップ、 ４０３：差分処理ステップ、 ４０４：二値化しきい値初期化ステップ、 ４０５：二値化ステップ、 ４０６：物体検出処理ステップ、 ４０７：検出物体数判定ステップ、 ４０８：第１の侵入物体検出しきい値決定ステップ、 ４０９：二値化しきい値増加ステップ、 ５０１：映像選択ステップ、 ５０７：検出物体大きさ判定ステップ、 ５０８：第２の侵入物体検出しきい値決定ステップ、 ５０９：二値化しきい値増加ステップ、 ６０１：不感帯設定ステップ、 ６０２：二値化ステップ、 ７０１：基準侵入物体領域設定ステップ、 ７０２：検出物体大きさ判定ステップ、 ８０４：二値化しきい値レベルゲージ、 ８０５：二値化しきい値マーク、 ８０６ａ，８０６ｂ，８０６ｃ：第１の侵入物体検出しきい値の候補のマーク、 ８０７ａ，８０７ｂ，８０７ｃ：第２の侵入物体検出しきい値の候補マーク、 １１０１：ＴＶカメラ、 １１０２：入力装置、 １１０３：画像入力Ｉ／Ｆ、 １１０４：入力Ｉ／Ｆ、 １１０５：画像メモリ、 １１０６：ワークメモリ、 １１０７：ＣＰＵ、 １１０８：プログラムメモリ、 １１０９：出力Ｉ／Ｆ、 １１１０：画像出力Ｉ／Ｆ、 １１１：データバス、 １１１２：警告灯、 １１１３：監視モニタ、 １２０１：入力画像、 １２０２：基準背景動画像、 １２０３：差分画像、 １２０４：二値化画像、 １２０５：差分器、 １２０６：二値化器。
Claims (15)
- 撮像手段から得られる画像中の物体を検出する物体検出方法であって、
前記撮像手段からの第１の入力画像と、記憶手段に記憶されている基準画像との比較結果を表す第１の比較画像を生成するステップと、
該生成された第１の比較画像をしきい値処理した際のノイズの個数に基づいて第１のしきい値を選定するステップと、
前記撮像手段からの物体を含む第２の入力画像と、前記基準画像との比較結果を表す第２の比較画像を生成するステップと、
該生成された第２の比較画像をしきい値処理した際の物体の大きさに基づいて第２のしきい値を選定するステップと、
前記第１と第２のしきい値を含み、前記第１と第２のしきい値の間に第３のしきい値を設定し、該第３のしきい値に基づいて物体を検出するステップと、を備える、
ことを特徴とする物体検出方法。 - 請求項１に記載の物体検出方法において、
前記第１のしきい値は、前記ノイズの個数が所定の値以下になるように、或いは、所定の値未満になるように選定し、
前記第２のしきい値は、前記物体の大きさが所定の値以上になるように、或いは、所定の値を超えるように選定する、
ことを特徴とする物体検出方法。 - 請求項１に記載の物体検出方法において、
前記第１の入力画像及び前記第２の入力画像の少なくともいずれか一方について複数フレームの画像を用いることにより、前記第１のしきい値及び前記第２のしきい値の少なくともいずれか一方の候補を複数選定し、
前記第１のしきい値の複数候補に基づいて前記第１のしきい値を選定する、或いは、前記第２のしきい値の複数候補に基づいて前記第２のしきい値を選定する、
ことを特徴とする物体検出方法。 - 請求項１に記載の物体検出方法において、
更に、前記第１と第２のしきい値の差を求め、該差が所定の値以下になる場合、或いは、所定の値未満になる場合、異常と判定するステップを備える、
ことを特徴とする物体検出方法。 - 請求項１に記載の物体検出方法において、
更に、前記第１と第２のしきい値を示す情報を表示手段に表示し、ユーザに前記第３のしきい値を設定させるステップを備える、
ことを特徴とする物体検出方法。 - 撮像手段から得られる画像中の物体を検出する物体検出装置であって、
前記撮像手段からの第１の入力画像と、記憶手段に記憶されている基準画像との比較結果を表す第１の比較画像を生成する第１の比較画像生成手段と、
該生成された第１の比較画像をしきい値処理した際のノイズの個数に基づいて第１のしきい値を選定する第１のしきい値選定手段と、
前記撮像手段からの物体を含む第２の入力画像と、前記基準画像との比較結果を表す第２の比較画像を生成する第２の比較画像生成手段と、
該生成された第２の比較画像をしきい値処理した際の物体の大きさに基づいて第２のしきい値を選定する第２のしきい値選定手段と、
前記第１と第２のしきい値を含み、前記第１と第２のしきい値の間に第３のしきい値を 設定し、該第３のしきい値に基づいて物体を検出する物体検出手段と、を備える、
ことを特徴とする物体検出装置。 - 請求項６に記載の物体検出装置において、
前記第１のしきい値選定手段は、前記第１のしきい値を、前記ノイズの個数が所定の値以下になる、或いは、所定の値未満になるように選定し、
前記第２のしきい値選定手段は、前記第２のしきい値を、前記物体の大きさが所定の値以上になる、或いは、所定の値を超えるように選定する、
ことを特徴とする物体検出装置。 - 請求項６に記載の物体検出装置において、
前記第１の入力画像及び前記第２の入力画像の少なくともいずれか一方について複数フレームの画像を用いることにより、前記第１のしきい値及び前記第２のしきい値の少なくともいずれか一方の候補を複数選定し、
前記第１のしきい値選定手段は、前記第１のしきい値の複数候補に基づいて前記第１のしきい値を選定する、或いは、前記第２のしきい値選定手段は、前記第２のしきい値の複数候補に基づいて前記第２のしきい値を選定する、
ことを特徴とする物体検出装置。 - 請求項６に記載の物体検出装置において、
更に、前記第１と第２のしきい値の差を求め、該差が所定の値以下になる場合、或いは、所定の値未満になる場合、異常と判定する異常判定手段を備える、
ことを特徴とする物体検出装置。 - 請求項６に記載の物体検出装置において、
更に、前記第１と第２のしきい値を示す情報を表示手段に表示し、ユーザに前記第３のしきい値を設定させる第３のしきい値設定手段を備える、
ことを特徴とする物体検出装置。 - 撮像手段から得られる画像中の物体を検出する物体検出プログラムであって、
前記撮像手段からの第１の入力画像と、記憶手段に記憶されている基準画像との比較結果を表す第１の比較画像を生成する処理と、
該生成された第１の比較画像をしきい値処理した際のノイズの個数に基づいて第１のしきい値を選定する処理と、
前記撮像手段からの物体を含む第２の入力画像と、前記基準画像との比較結果を表す第２の比較画像を生成する処理と、
該生成された第２の比較画像をしきい値処理した際の物体の大きさに基づいて第２のしきい値を選定する処理と、
前記第１と第２のしきい値を含み、前記第１と第２のしきい値の間に第３のしきい値を設定し、該第３のしきい値に基づいて物体を検出する処理と、
をコンピュータに行わせることを特徴とする物体検出プログラム。 - 請求項１１に記載の物体検出プログラムにおいて、
前記第１のしきい値は、前記ノイズの個数が所定の値以下になるように、或いは、所定の値未満になるように選定し、
前記第２のしきい値は、前記物体の大きさが所定の値以上になるように、或いは、所定の値を超えるように選定する、
ことを特徴とする物体検出プログラム。 - 請求項１１に記載の物体検出プログラムにおいて、
前記第１の入力画像及び前記第２の入力画像の少なくともいずれか一方について複数フレームの画像を用いることにより、前記第１のしきい値及び前記第２のしきい値の少なくともいずれか一方の候補を複数選定し、
前記第１のしきい値の複数候補に基づいて前記第１のしきい値を選定する、或いは、前記第２のしきい値の複数候補に基づいて前記第２のしきい値を選定する、
ことを特徴とする物体検出プログラム。 - 請求項１１に記載の物体検出プログラムにおいて、
更に、前記第１と第２のしきい値の差を求め、該差が所定の値以下になる場合、或いは、所定の値未満になる場合、異常と判定する処理、
をコンピュータに行わせることを特徴とする物体検出プログラム。 - 請求項１１に記載の物体検出プログラムにおいて、
更に、前記第１と第２のしきい値を示す情報を表示手段に表示し、ユーザに前記第３のしきい値を設定させる処理、
をコンピュータに行わせることを特徴とする物体検出プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334867A JP3625442B2 (ja) | 2000-10-31 | 2001-10-31 | 物体検出方法及び物体検出装置並びに物体検出プログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-333125 | 2000-10-31 | ||
| JP2000333125 | 2000-10-31 | ||
| JP2001334867A JP3625442B2 (ja) | 2000-10-31 | 2001-10-31 | 物体検出方法及び物体検出装置並びに物体検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002218443A JP2002218443A (ja) | 2002-08-02 |
| JP3625442B2 true JP3625442B2 (ja) | 2005-03-02 |
Family
ID=26603176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001334867A Expired - Fee Related JP3625442B2 (ja) | 2000-10-31 | 2001-10-31 | 物体検出方法及び物体検出装置並びに物体検出プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3625442B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2004079681A1 (ja) * | 2003-03-07 | 2006-06-08 | 株式会社クオリティラボ | 監視装置 |
| JP4612803B2 (ja) * | 2003-10-30 | 2011-01-12 | キヤノン株式会社 | 画像動き検知装置、画像動き検知方法、プログラム及び記録媒体 |
| JP4719584B2 (ja) * | 2006-02-08 | 2011-07-06 | 富士通株式会社 | 動き検出プログラム、動き検出方法、動き検出装置、 |
| JP4830594B2 (ja) * | 2006-04-05 | 2011-12-07 | トヨタ自動車株式会社 | 物体検出装置 |
| JP5046119B2 (ja) * | 2008-01-22 | 2012-10-10 | 学校法人東京理科大学 | プログラム、画像間変化箇所判読支援動画生成方法、及び画像間変化箇所判読支援動画生成装置 |
| JP5310247B2 (ja) * | 2009-05-13 | 2013-10-09 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP5701537B2 (ja) * | 2010-08-11 | 2015-04-15 | 株式会社東芝 | 漏水検出装置 |
| CA2793180A1 (en) * | 2011-11-02 | 2013-05-02 | Eads Deutschland Gmbh | Method and device for the detection of moving objects in a video image sequence |
-
2001
- 2001-10-31 JP JP2001334867A patent/JP3625442B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002218443A (ja) | 2002-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100476019B1 (ko) | 침입물체검출용 감시방법 및 침입물체검출용 감시장치 | |
| JP5241782B2 (ja) | カメラ異常検出装置を有する監視カメラシステム | |
| US20190199898A1 (en) | Image capturing apparatus, image processing apparatus, control method, and storage medium | |
| JP2008192131A (ja) | 特徴レベル・セグメンテーションを実行するシステムおよび方法 | |
| JP4689518B2 (ja) | 火災検出装置 | |
| JP2012089929A (ja) | 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム | |
| JP3486229B2 (ja) | 画像変化検出装置 | |
| JP3625442B2 (ja) | 物体検出方法及び物体検出装置並びに物体検出プログラム | |
| US8311269B2 (en) | Blocker image identification apparatus and method | |
| JP4171310B2 (ja) | 侵入物体検出方法及び侵入物体検出装置 | |
| JP2007180932A (ja) | 画像センサ | |
| JP5215775B2 (ja) | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 | |
| US9064158B2 (en) | Vehicle surroundings monitoring device | |
| JP5710230B2 (ja) | 監視システムおよび監視方法 | |
| JP4740755B2 (ja) | 画像を用いた監視装置 | |
| JP2002157598A (ja) | 侵入者検知システム | |
| JP2002279429A (ja) | 侵入物体検出方法 | |
| JP3736836B2 (ja) | 物体検出方法及び物体検出装置及びプログラム | |
| JPH09322153A (ja) | 自動監視装置 | |
| JP5754931B2 (ja) | 画像解析装置、画像解析方法及びプログラム | |
| JP2019215661A (ja) | 画質調整システムおよび画質調整方法 | |
| JP2008040724A (ja) | 画像処理装置、及び画像処理方法 | |
| JP2018056892A (ja) | 画像処理装置 | |
| JP2002140711A (ja) | 侵入物体検出装置の大きさ設定方法及び侵入物体検出方法及び侵入物体検出装置。 | |
| JPH0514898A (ja) | 画像監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040906 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3625442 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |