JPH10105839A - 監視用画像処理装置 - Google Patents
監視用画像処理装置Info
- Publication number
- JPH10105839A JPH10105839A JP27859296A JP27859296A JPH10105839A JP H10105839 A JPH10105839 A JP H10105839A JP 27859296 A JP27859296 A JP 27859296A JP 27859296 A JP27859296 A JP 27859296A JP H10105839 A JPH10105839 A JP H10105839A
- Authority
- JP
- Japan
- Prior art keywords
- background
- data
- change area
- image data
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
現画像データと比較用背景画像データとの比較演算に基
づきその背景差分を変化領域として算出する背景差分部
6と、前記背景差分データに基づき前記背景差分データ
を2値化するための敷居値を算出する敷居値演算部7
と、前記背景差分データを前記敷居値で2値化する2値
化部8と、前記抽出した変化領域が所定の条件に合致し
た場合で、かつ前記変化領域の面積が一定時間所定の変
化が無いときには発報対象として認識する認識処理部9
Aなどを備えたものである。 【効果】 「人物」の様な正規の発報対象に対する発報
能力を阻害せず、「太陽光の照り陰りによる建物の影の
出現」や「水たまりの水紋」による建物の影の出現の様
な、「移動を伴わないで徐々に現れ、あるいは移動を伴
わないで徐々に消失する比較的大きな変化領域」に関す
る不要検知を削減することができる。
Description
気所などを遠隔監視するためにセンターに設置された監
視用画像処理装置に関するものである。
て図24を参照しながら説明する。図24は、従来の監
視用画像処理装置の概略構成を示すブロック図である。
置に処理される映像を受けるビデオ入力部、2はビデオ
入力部1から入る映像を量子化するA/D変換部、3は
A/D変換部2からの出力を受け現在の映像データを記
憶する現画像蓄積部、4はA/D変換部2からの出力を
受け相応の演算を行い作成した、比較用の背景画像を記
憶する背景画像蓄積部、5は背景画像蓄積部4のデータ
を一定ルールで演算し更新する背景更新部である。一般
的には単純なルールで更新する。例えば、過去5枚の現
画像の平均を背景画像とする、等である。
と背景画像蓄積部4の2つの画像を比較し、その差分を
算出する背景差分部、7は背景差分部6のデータを2値
化するための敷居値を算出する敷居値演算部である。背
景差分データを元に最適敷居値を求めるのが一般的であ
る。さらに、8は敷居値演算部7で求めた敷居値で差分
データを2値化する2値化部、9は2値化部8から出力
される2値データを受け、そこに目的の発報対象が存在
するかの判断を行う認識処理部、10は認識処理部9か
らの「発報対象発見」の指示を受け発報する発報処理部
である。
識処理部の動作を詳細に示したフローチャートである。
2値化データを見て、同一の移動物に属すると思われる
変化領域を統合して1つの変化領域にまとめる変化領域
統合の処理を行う。
合された変化領域が、発報対象か否かを判断する特徴量
比較部分である。ここで所定条件に合致した特徴を持つ
変化領域は、発報対象と見なされる。ここでは、例とし
て以下のような判断を行う。
一定時間連続で存在するかを見る。ステップ13では、
変化領域が所定の面積であるか否かを見る。ステップ1
4では、変化領域が所定の縦横寸法か否かを見る。ステ
ップ15では、変化領域が所定の移動速度か否かを見
る。
報対象発見か対象無しかの判断を行い、上記条件に合致
した特徴を持つ変化領域は、発報対象と見なし、発報処
理部10へと渡す。
る。図24に於いて、外部から装置に与えられた映像信
号は、ビデオ入力部1で受け取り、A/D変換部2に送
られる。このA/D変換部2では受け取ったビデオ信号
を後の処理の為にデジタルデータに変換する。1画素あ
たり8ビットの多値データに変換するのが一般的であ
る。現画像蓄積部3では、入力された現画像データを蓄
積し後の処理に備える。また、背景画像蓄積部4では、
入力された現画像データを元に作成された背景画像を蓄
積し後の処理に備える。背景更新部5では、背景画像蓄
積部4に蓄積してある背景画像を定期的に一定ルールで
更新処理する。これは定期的にサンプリングされた現画
像を元に演算処理されるのが一般で、例としては過去5
シーンの現画像の平均値を背景画像とする方法や、一定
時間前のフレームの映像である場合が多い。
画像蓄積部4の出力を比較し、各画素毎に差を求め、そ
の差である差分データをフレーム画像として出力する。
差分データは一般的には映像中の輝度の変化した部分を
表す。通常は、人物や車両のような移動物が主である
が、まれに「太陽光の照り陰り」による建物の影の出現
の様な、発報対象ではない輝度の変化を示す場合もあ
る。
れる差分データを2値化する為の敷居値を求める。通
常、背景データは多値データであり、そのまま認識処理
するには不的確である。以降の判断を高速に行うために
も2値化して2値データに変換するのが一般的である。
ただし、装置によってはこの2値化を行わずに直接差分
データを認識処理する場合があるので、ここは参考であ
る。2値化部8は、上記敷居値をもって差分データを2
値化する。その結果、以降の処理では変化領域は2値デ
ータとなる。
る。図26は通常の正門の映像である。今、人物が画像
内を移動している。この場合、移動している人物の位置
がそのまま変化領域となる。図27が、その変化領域を
黒く染めたスーパーインポーズを重複させて示した映像
である。認識処理部9は、2値化部8からの2値化され
た変化領域データを受け、その変化領域が目的のもの
(例えば、一般には人物や車両が該当する。以降、発報
対象と呼称する。)であるか否かの判断を行う。
う。ただし、ここに示すのは1例である。ステップ11
の変化領域統合処理では、変化領域を見て、同一の移動
物に属すると思われる変化領域を統合して1つの変化領
域にまとめる。ステップ12〜15では、ステップ11
で統合された変化領域が、発報対象か否かを判断する。
ここでは、あらかじめ定めてあった特徴量に対し、この
変化領域が合致するかを比較する。ここで所定条件に合
致した特徴を持つ変化領域は、発報対象と見なされる。
う。ステップ12では、変化領域が一定時間連続で存在
するかを見る。ステップ13では、変化領域が所定の面
積であるか否かを見る。ステップ14では、変化領域が
所定の縦横寸法か否かを見る。ステップ15では、変化
領域が所定の移動速度か否かを見る。
速度」は、ステップ12にある一定時間中の平均を算出
して参照されるのが一般的である。しかし、逆に、ここ
に仮に発報対象ではない全く別の物が現れても(例え
ば、太陽光の照り陰りによる建物の影の出現)ここで特
徴量条件が合致すれば、装置は発報してしまう。このよ
うな、非発報対象による誤った発報を、以降、不要検知
と呼称する。不要検知であれ正常検知であれ、ステップ
16で発報対象発見と判断されればそれは発報処理部1
0に伝えられ、そこで発報処理を行う。通常は、上位に
あるPC等に特定の信号を送ったり、装置のブサーを鳴
らしたりという処理である。条件に合致しない場合は、
発報対象は無かったと見なす。この場合は、次プロセス
にはなにも報告されない。なお、認識処理部9、及び発
報処理部10の動作はS/Wにて処理されるのが一般的
である。
監視用画像処理装置では、以上のような構造になってい
る為、背景差分部6が抽出した変化領域が仮に非発報対
象(例えば、太陽光の照り陰りによる建物の影の出現、
等)によるものであっても、ステップ11〜15の条件
に合致すると発報してしまう。特に、屋外において監視
業務を行う際は、太陽光の照り陰りによる建物の影の出
現のほかに、水面の揺らぎ・きらめき・水紋等により発
生させられるケースが多い。つまり、上記の非発報対象
を条件に合致すると発報してしまうという問題点があっ
た。
めになされたもので、このような太陽光の照り陰りによ
る建物の影の出現のような、「移動を伴わないで徐々に
現れ、あるいは移動を伴わないで徐々に消失する比較的
大きな変化領域」に対し、発報対象発見後、直ちに発報
処理部で発報処理を行うのではなく、その後も一定時間
認識処理を継続してその発報対象の変化領域を観察し
て、急激な面積の増加や減少が無いことを確認し、その
結果をもって発報することにより、上記の様な変化領域
に対し、誤って発報してしまう「誤報」を減少させると
同時に、「人物」の様な正規発報対象にたいしては正常
に発報することができる監視用画像処理装置を得ること
を目的とする。
像処理装置は、現画像データと比較用背景画像データと
の比較演算に基づき変化領域を抽出する変化領域抽出手
段と、前記抽出した変化領域が所定の条件に合致した場
合で、かつ前記変化領域の面積が一定時間所定の変化が
無いときには発報対象として認識する認識処理手段とを
備えたものである。
は、前記変化領域抽出手段が、現画像データと比較用背
景画像データとの比較演算に基づきその背景差分を変化
領域として算出する背景差分手段と、前記背景差分デー
タに基づき前記背景差分データを2値化するための敷居
値を算出する敷居値演算手段と、前記背景差分データを
前記敷居値で2値化する2値化手段とを有するものであ
る。
は、さらに、入力映像を量子化するA/D変換手段と、
前記A/D変換手段の出力から前記現画像データを記憶
する現画像蓄積手段と、前記A/D変換手段の出力から
前記比較用背景画像データを作成して記憶する背景画像
蓄積手段と、前記背景画像蓄積手段のデータを所定の規
則で演算し更新する背景更新手段と、前記抽出した変化
領域を発報対象として認識したときにはその旨を知らせ
る発報処理手段とを備えたものである。
は、前記変化領域抽出手段が、現画像データと1フレー
ム前の現画像データである比較用背景画像データとの比
較演算に基づきそのフレーム間背景差分を変化領域とし
て算出する第1の背景差分手段と、現画像データと比較
用背景画像データとの比較演算に基づきその背景差分を
変化領域として算出する第2の背景差分手段と、前記フ
レーム間背景差分データ及び背景差分データに基づき前
記フレーム間背景差分データ及び背景差分データを2値
化するための第1及び第2の敷居値を算出する敷居値演
算手段と、前記フレーム間背景差分データ及び背景差分
データを前記第1及び第2の敷居値で2値化し第1及び
第2の2値データを出力する2値化手段とを有し、前記
認識処理手段が、前記第1の2値データに基づき前記抽
出した変化領域が所定の条件に合致した場合は仮の発報
対象として認識する第1の認識処理手段と、前記第2の
2値データに基づき前記抽出した変化領域が所定の条件
に合致した場合で、かつ前記第1の認識処理手段により
前記仮の発報対象として認識されているときには発報対
象として認識する第2の認識処理手段とを有するもので
ある。
は、さらに、入力映像を量子化するA/D変換手段と、
前記A/D変換手段の出力から前記現画像データを記憶
する現画像蓄積手段と、前記A/D変換手段の出力から
1フレーム前の現画像データである前記比較用背景画像
データを作成して記憶する第1の背景画像蓄積手段と、
前記A/D変換手段の出力から前記比較用背景画像デー
タを作成して記憶する第2の背景画像蓄積手段と、前記
第1の背景画像蓄積手段のデータを所定の規則で演算し
更新する第1の背景更新手段と、前記第2の背景画像蓄
積手段のデータを所定の規則で演算し更新する第2の背
景更新手段と、前記抽出した変化領域を発報対象として
認識したときにはその旨を知らせる発報処理手段とを備
えたものである。
は、前記変化領域抽出手段が、現画像データと1フレー
ム前の現画像データである比較用背景画像データとの比
較演算に基づきそのフレーム間背景差分を変化領域とし
て算出する第1の背景差分手段と、現画像データと比較
用背景画像データとの比較演算に基づきその背景差分を
変化領域として算出する第2の背景差分手段と、前記フ
レーム間背景差分データ及び背景差分データに基づき前
記フレーム間背景差分データ及び背景差分データを2値
化するための第1及び第2の敷居値を算出する敷居値演
算手段と、前記フレーム間背景差分データ及び背景差分
データを前記第1及び第2の敷居値で2値化し第1及び
第2の2値データを出力する2値化手段とを有し、前記
認識処理手段が、前記第2の2値データに基づき前記抽
出した変化領域が所定の条件に合致した場合は仮の発報
対象として認識し、かつ前記第1の2値データに基づき
前記抽出した変化領域の面積が一定時間所定の変化が無
いときには前記仮の発報対象を発報対象として認識する
ものである。
は、さらに、入力映像を量子化するA/D変換手段と、
前記A/D変換手段の出力から前記現画像データを記憶
する現画像蓄積手段と、前記A/D変換手段の出力から
1フレーム前の現画像データである前記比較用背景画像
データを作成して記憶する第1の背景画像蓄積手段と、
前記A/D変換手段の出力から前記比較用背景画像デー
タを作成して記憶する第2の背景画像蓄積手段と、前記
第1の背景画像蓄積手段のデータを所定の規則で演算し
更新する第1の背景更新手段と、前記第2の背景画像蓄
積手段のデータを所定の規則で演算し更新する第2の背
景更新手段と、前記抽出した変化領域を発報対象として
認識したときにはその旨を知らせる発報処理手段とを備
えたものである。
は、さらに、入力映像を量子化するA/D変換手段と、
前記A/D変換手段の出力から前記現画像データを記憶
する現画像蓄積手段と、前記A/D変換手段の出力から
前記比較用背景画像データを作成して記憶する背景画像
蓄積手段と、前記背景画像蓄積手段のデータを所定の規
則で演算し更新する背景更新手段と、前記抽出した変化
領域を発報対象として認識したときにはその旨を知らせ
る発報処理手段とを備え、前記認識処理手段が、前記抽
出した変化領域が所定の条件に合致した場合は仮の発報
対象として認識し、かつ前記背景更新手段により前記背
景画像蓄積手段に1フレーム前の現画像データである比
較用背景画像データを記憶させ、フレーム間背景差分デ
ータに基づき前記抽出した変化領域の面積が一定時間所
定の変化が無いときには前記仮の発報対象を発報対象と
して認識するものである。
は、現画像データと比較用背景画像データとの比較演算
に基づき変化領域を抽出する変化領域抽出手段と、前記
抽出した変化領域が所定の条件に合致した場合で、かつ
前記変化領域を2値化するための敷居値が一定時間所定
の変化が無いときには発報対象として認識する認識処理
手段とを備えたものである。
は、前記変化領域抽出手段が、現画像データと比較用背
景画像データとの比較演算に基づきその背景差分を変化
領域として算出する背景差分手段と、前記背景差分デー
タに基づき前記背景差分データを2値化するための敷居
値を算出する敷居値演算手段と、前記背景差分データを
前記敷居値で2値化する2値化手段とを有するものであ
る。
は、さらに、入力映像を量子化するA/D変換手段と、
前記A/D変換手段の出力から前記現画像データを記憶
する現画像蓄積手段と、前記A/D変換手段の出力から
前記比較用背景画像データを作成して記憶する背景画像
蓄積手段と、前記背景画像蓄積手段のデータを所定の規
則で演算し更新する背景更新手段と、前記抽出した変化
領域を発報対象として認識したときにはその旨を知らせ
る発報処理手段とを備え、前記認識処理手段が、前記抽
出した変化領域が所定の条件に合致した場合は仮の発報
対象として認識し、かつ前記背景更新手段により前記背
景画像蓄積手段に1フレーム前の現画像データである比
較用背景画像データを記憶させ、フレーム間背景差分デ
ータに基づき前記抽出した変化領域を2値化するための
敷居値が一定時間所定の変化が無いときには前記仮の発
報対象を発報対象として認識するものである。
図1を参照しながら説明する。図1は、この発明の実施
の形態1の概略構成を示すブロック図である。なお、各
図中、同一符号は同一又は相当部分を示す。
に処理される映像を受けるビデオ入力部、2はビデオ入
力部1から入る映像を量子化するA/D変換部、3はA
/D変換部2からの出力を受け現在の映像データを記憶
する現画像蓄積部、4はA/D変換部2からの出力を受
け相応の演算を行い作成した、比較用の背景画像を記憶
する背景画像蓄積部、5は背景画像蓄積部4のデータを
一定ルールで演算し更新する背景更新部である。一般的
には単純なルールで更新する。例えば、過去5枚の現画
像の平均を背景画像とする、等である。
と背景画像蓄積部4の2つの画像を比較し、その差分を
算出する背景差分部、7は背景差分部6のデータを2値
化するための敷居値を算出する敷居値演算部である。背
景差分データを元に最適敷居値を求めるのが一般的であ
る。8は敷居値演算部7で求めた敷居値で差分データを
2値化する2値化部である。9Aは2値化部8から出力
される2値データを受け、そこに目的の発報対象が存在
するかの判断を行う認識処理部、10は認識処理部9か
らの「発報対象発見」の指示を受け発報する発報処理部
である。
処理部9Aを更に詳細に示したフローである。ステップ
21では、2値化データを見て、同一の移動物に属する
と思われる変化領域を統合して1つの変化領域にまとめ
る変化領域統合処理を実行する。次に、ステップ22〜
25では、ステップ21で統合された変化領域が、発報
対象か否かを判断する特徴量比較部処理を実行する。こ
こで、所定条件に合致した特徴を持つ変化領域は、発報
対象と見なされる。ここでは、例として以下のようなス
テップ22〜25の判断を行う。
続で存在するかを見る。ステップ23では、変化領域が
所定の面積であるか否かを見る。ステップ24では、変
化領域が所定の縦横寸法か否かを見る。ステップ25で
は、変化領域が所定の移動速度か否かを見る。
報対象発見か対象無しかの判断を行う。ただし、ここで
は、判断結果は「仮」として扱い、まだ報告されない。
ステップ217では、更に一定時間、発報対象変化領域
を追跡して観察する。そこで、面積の急激な変化を見
る。その結果を受け、ステップ28では、仮の発報対象
発見が、正しかったか否かの判断を行い、正しいときの
み、報告を図1の発報処理部10へと渡す。
「水紋」が写っている映像例である。また、図4は、上
記図3の直後の様子であり、水たまりに水紋が小さくな
った画像である。
る。認識処理部9A以外は、従来例と同様のため省略す
る。図2は、本実施の形態1による監視用画像処理装置
の「認識処理」の内容図である。
だし、ここに示すのは1例である。ステップ21の変化
領域統合処理は、変化領域を見て、同一の移動物に属す
ると思われる変化領域を統合して1つの変化領域にまと
める。次に、ステップ22〜25は、ステップ21で統
合された変化領域が、発報対象か否かを判断する。ここ
では、あらかじめ定めてあった特徴量に対し、この変化
領域が合致するかを比較する。ここで所定条件に合致し
た特徴を持つ変化領域は、発報対象と見なされる。
う。ステップ22では、変化領域が一定時間連続で存在
するかを見る。ステップ23では、変化領域が所定の面
積であるか否かを見る。ステップ24では、変化領域が
所定の縦横寸法か否かを見る。ステップ25では、変化
領域が所定の移動速度か否かを見る。「面積」、「縦横
寸法」、及び「移動速度」は、ステップ22での一定時
間中の平均を算出して参照されるのが一般的である。
されてもそれは「仮」として扱われ、まだ発報処理部1
0には伝えられない。ステップ27にて、更に認識処理
が継続される。そこでは、ステップ26で仮の発報対象
として発見された変化領域につき更に追跡が続けられ
る。そして、その面積が急激に減少したり増加しないか
否かを一定時間(例えば、0.5秒)観察し続ける。も
し所定時間内にて異常が発見されなければ、ステップ2
8で正式な発報対象発見と判断され、発報処理部10に
報告される。発報処理部10では発報処理を行う。通常
は、上位にあるPC等に特定の信号を送ったり、装置の
ブサーを鳴らしたりという処理である。ステップ27で
急激な面積の変化が発見されれば、「仮の発報対象発
見」は誤りだったと判断し、「正式な発報対象発見」報
告はなされない。なお、認識処理部9A、及び発報処理
部10はS/Wにて処理されるのが一般的である。
ように作用するかを説明する。今、図3の画像に置い
て、正規発報対象である「人物」と、非発報対象である
「水紋」が、それぞれ発生した場合を考える。また、仮
に双方とも、図2の認識処理における各種条件は満足し
ており、単独でそれぞれ発報されるものとする。また、
ステップ27で言う「一定時間」を、0.5秒とし、
「面積の急激な変化」を半分以下もしくは倍以上と定義
する。また、装置は、変化領域を発見した場合、外接四
角形を表示し、それを知らせるものとする。
写っている。装置は、変化領域を発見し、外接四角形を
表示している。本装置が発報対象とするのは「人物」で
ある。従って、人物で発報するのは「正常発報」、人物
以外で発報するのは「不要検知」である。ここでは、先
の仮定で定めた通り、「人物」も「水紋」も面積・縦横
寸法・速度が所定範囲内であるため、発報対象と判断さ
れる。本装置ではまだ「仮の発報対象発見」である為、
発報には至らない。仮に発報すれば、水紋による部分は
「不要検知」となってしまう。
「水紋」の変化領域をそれぞれ追跡し観察する。図4
は、図3から0.5秒後の画像である。装置は「仮の発
報対象」である、「人物」と「水紋」を追跡観察してい
たが、ここで改めて面積を見る。「人物」は、「仮の発
報対象発見」時とほぼ同等の面積を有している。従っ
て、ここでは異常なしと判断され、「正式な発報対象発
見」と判断される。
見」時の面積に比較し、1/3程度の面積しか有してい
ない。水紋は急激に姿を変え消失するため、このような
結果となる。従って、ここでは異常ありと判断され、
「正式な発報対象発見」とは判断されない。
見とされ、「水紋」はそうとはならない。これにより、
「水紋」による不要検知は発生しない。以上の通り、本
処理により、「人物」の発報を阻害せず、「水紋」の不
要検知を防止できた。
「人物」の様な正規の発報対象に対する発報能力を阻害
せず、「太陽光の照り陰りによる建物の影の出現」や
「水たまりの水紋」による建物の影の出現の様な、「移
動を伴わないで徐々に現れ、あるいは移動を伴わないで
徐々に消失する比較的大きな変化領域」に関する不要検
知を削減する機能を実現できる。
事をせず、その後も認識処理を継続して一定時間変化領
域を観察し、急激な面積の増加や減少が無いことを確認
し、その結果を待って発報する事により、例えば「日照
の照り陰りによる影の出現」のような急激な輝度変化に
対し、誤って発報してしまう「誤報」を減少させると同
時に、「人物」の様な正規発報対象にたいしては正常に
発報する機能を有する。
構成について図5を参照しながら説明する。図5は、こ
の発明の実施の形態2の概略構成を示すブロック図であ
る。
に処理される映像を受けるビデオ入力部、2はビデオ入
力部1から入る映像を量子化するA/D変換部、3はA
/D変換部2からの出力を受け現在の映像データを記憶
する現画像蓄積部、4aはA/D変換部2からの出力を
受け相応の演算を行い作成した、比較用の背景画像を記
憶する背景画像蓄積部、ここでは特に1フレーム前の現
画像の記録をする。また、4bもA/D変換部2からの
出力を受け相応の演算を行い作成した、比較用の背景画
像を記憶する背景画像蓄積部、ここでは特に背景画像蓄
積部4aとは異なる画像の記録をする。
部4aのデータを更新する背景更新部、5bは背景画像
蓄積部4bのデータを一定ルールで演算し更新する背景
更新部である。一般的には単純なルールで更新する。例
えば、過去5枚の現画像の平均を背景画像とする、等で
ある。
3と背景画像蓄積部4aの2つの画像を比較し、その差
分を算出する背景差分部、背景画像蓄積部4aが特に1
フレーム前の現画像の記録をする為、この出力はフレー
ム間差分データとなる。6bは現画像蓄積部3と背景画
像蓄積部4bの2つの画像を比較し、その差分を算出す
る背景差分部である。
a及び背景差分部6bのデータ(差分データa、b)を
2値化するための敷居値を算出する敷居値演算部であ
り、背景差分データを元に最適敷居値を求めるのが一般
的である。8は敷居値演算部7で求めた敷居値で差分デ
ータを2値化する2値化部であり、差分データa、b各
個に2値化されるため、出力される2値化データも2種
類である(2値化データa、b)。9aは2値化部8か
ら出力される2値データaを受け、そこに目的の発報対
象が存在するかの判断を行う認識処理部、9bは2値化
部8から出力される2値データbを受け、そこに目的の
発報対象が存在するかの判断を行う認識処理部であり、
併せて認識処理部9aの認識結果も統合して判断する。
10は認識処理部9bからの「発報対象発見」の指示を
受け発報する発報処理部である。
処理部9bを更に詳細に示したフローである。なお、認
識処理部9aについては、認識処理部9bのステップ3
7、38が無い以外、同様のため省略する。入力される
データは、通常は2値データbである。
同一の移動物に属すると思われる変化領域を統合して1
つの変化領域にまとめる変化領域統合処理を実行する。
次に、ステップ32〜35では、ステップ31で統合さ
れた変化領域が、発報対象か否かを判断する特徴量比較
処理を実行する。ここで、所定条件に合致した特徴を持
つ変化領域は、発報対象と見なされる。
32〜35の判断を行う。ステップ32では、変化領域
が一定時間連続で存在するかを見る。ステップ33で
は、変化領域が所定の面積であるか否かを見る。ステッ
プ34では、変化領域が所定の縦横寸法か否かを見る。
ステップ35では、変化領域が所定の移動速度か否かを
見る。以上の結果を受け、ステップ36では、発報対象
発見か対象無しかの判断を行う。ただし、ここでは、判
断結果は「仮」として扱い、まだ報告されない。
を追跡して観察する。ここでは、以降は認識処理部9a
の認識結果を参照する。上記「仮の発報対象発見」の対
象である変化領域と同じものを、認識処理部9bでも
「仮の発報対象発見」としているかを判断する。その結
果を受け、ステップ38では、仮の発報対象発見が、正
しかったか否かの判断を行い、正しいときのみ、報告を
発報処理部10へと渡す。
「水紋」が写っている映像例である。図8は、上記図の
直後の様子であり、水たまりの水紋が若干小さくなった
画像である。また、図9は、上記図を背景差分部6bの
方式で差分データを求め2値化した結果である。図10
は、上記図を背景差分部6aの方式で差分データを求め
2値化した結果である。
る。図5に於いて、外部から装置に与えられた映像信号
はビデオ入力部1で受け取り、A/D変換部2に送られ
る。このA/D変換部2では受け取ったビデオ信号を後
の処理の為にデジタルデータに変換する。1画素あたり
8ビットの多値データに変換するのが一般的である。現
画像蓄積部3では入力された現画像データを蓄積し後の
処理に備える。
のフレームの現画像データを蓄積し後の処理に備える。
一方、背景画像蓄積部4bでは入力された現画像データ
を元に作成された背景画像を蓄積し後の処理に備える。
に備えて背景画像蓄積部4aに蓄積してある背景画像を
定期的に一定ルールで更新処理する。これは毎フレーム
サンプリングした現画像を置き換えるのが一般である。
一方、背景更新部5bでは、背景画像蓄積部4bに蓄積
してある背景画像を定期的に一定ルールで更新処理す
る。これは定期的にサンプリングされた現画像を元に演
算処理されるのが一般で、例としては過去100シーン
の現画像の平均値を背景画像とする方法や、一定時間前
(例えば、5秒)のフレームの映像である場合が多い。
ここでは、仮に5秒前のフレームの映像に置き換える更
新を行うものとして進める。
景画像蓄積部4bの出力を比較し、各画素毎に差を求
め、その差である差分データをフレーム画像として出力
する。差分データは一般的には映像中の輝度の変化した
部分を表す。通常は、人物や車両のような移動物が主で
あるが、まれに「太陽光の照り陰り」による建物の影の
出現の様な、発報対象ではない輝度の変化を示す場合も
ある。
及び背景画像蓄積部4aの出力を比較し、各画素毎に差
を求め、その差である差分データをフレーム画像として
出力する。ここでは現画像と、1フレーム前の現画像の
差分をとるため、必然的にフレーム間差分となる。フレ
ーム間差分による差分データは一般的には1フレーム間
の輝度の変化した部分を表す。通常は、高速で動く人物
や車両のような移動物が主である。その性格上、1フレ
ーム程度の時間差では明確な差が現れないため、低速で
動く人物等はうまく差分データが抽出できない。しか
し、「太陽光の照り陰りによる建物の影の出現」や「水
たまりの水紋」の様な、「移動を伴わないで徐々に現
れ、あるいは移動を伴わないで徐々に消失する比較的大
きな変化領域」の様な輝度の変化も、同様に差分データ
を抽出できない。
背景差分部6bから送られる差分データ(差分データ
a、b)を2値化する為の敷居値を求める。通常、背景
データは多値データであり、そのまま認識処理するには
不的確である。以降の判断を高速に行うためにも2値化
して2値データに変換するのが一般的である。ただし、
装置によってはこの2値化を行わずに直接、差分データ
を認識処理する場合があるので、ここは参考である。
ータa、bを2値化する。その結果、以降の処理では変
化領域は2値データ(2値データa、b)となる。
る。図26は通常の正門の映像である。今、人物が画像
内を移動している。この場合、移動している人物の位置
がそのまま変化領域となる。図27が、その変化領域を
黒く染めたスーパーインポーズを重複させて示した映像
である。
化データaを受け、それが示す変化領域が目的のもの
(例えば、一般には人物や車両が該当する。以降、発報
対象と呼称する。)であるか否かの判断を行う。また、
認識処理部9bは、2値化部8からの2値化データbを
受け、それが示す変化領域が目的のもの(例えば、一般
には人物や車両が該当する。以降、発報対象と呼称す
る。)であるか否かの判断を行う。
処理装置の認識処理部9bの内容図である。なお、認識
処理部9aの内容については、認識処理部9bの内容の
ステップ37、38が無いもので、他は同様のため省略
する。
う。ただし、ここに示すのは1例である。通常、この認
識処理部9bでは、2値データbを対象にする。ステッ
プ31の変化領域統合処理では、変化領域を見て、同一
の移動物に属すると思われる変化領域を統合して1つの
変化領域にまとめる。次に、ステップ32〜35は、ス
テップ31で統合された変化領域が、発報対象か否かを
判断する。ここでは、あらかじめ定めてあった特徴量に
対し、この変化領域が合致するかを比較する。ここで所
定条件に合致した特徴を持つ変化領域は、発報対象と見
なされる。
う。ステップ32では、変化領域が一定時間連続で存在
するかを見る。ステップ33では、変化領域が所定の面
積であるか否かを見る。ステップ34では、変化領域が
所定の縦横寸法か否かを見る。ステップ35では、変化
領域が所定の移動速度か否かを見る。「面積」、「縦横
寸法」、及び「移動速度」は、ステップ32での一定時
間中の平均を算出して参照されるのが一般的である。
もそれは「仮」として扱われ、まだ発報処理部10には
伝えられない。ステップ37では、更に一定時間、発報
対象変化領域を追跡して観察する。ステップ36で、仮
の発報対象として発見された変化領域につき更に追跡が
続けられる。そこでは、以降は、認識処理部9aの認識
結果を参照する。上記「仮の発報対象発見」の対象であ
る変化領域と同じものを、認識処理部9aでも「仮の発
報対象発見」としているかを判断する。
間差分データを参照しており、「太陽光の照り陰りによ
る建物の影の出現」や「水たまりの水紋」による建物の
影の出現の様な、「移動を伴わないで徐々に現れ、ある
いは移動を伴わないで徐々に消失する比較的大きな変化
領域」の様な輝度の変化も、同様に差分データを抽出で
きない。
った変化領域と同じ変化領域を、この認識処理部9bで
も「仮の発報対象発見」として発見しているかを見る。
先のフレーム間差分の特徴により、「仮の発報対象発
見」が「太陽光の照り陰りによる建物の影の出現」や
「水たまりの水紋」による場合は、ここではさほど大き
な面積を抽出できない。従って、「仮の発報対象発見」
とはならない。その結果から、装置は異常を判断でき
る。
発報対象発見が、正しかったか否かの判断を行い、正し
いときのみ、報告を発報処理部10へと渡す。もし、異
常が発見されなければ、ステップ38で正式な発報対象
発見と判断され、発報処理部10に報告される。この発
報処理部10では発報処理を行う。通常は、上位にある
PC等に特定の信号を送ったり、装置のブサーを鳴らし
たりという処理である。ステップ37で異常が発見され
れば、「仮の発報対象発見」は誤りだったと判断し、
「正式な発報対象発見」報告はなされない。なお、認識
処理部9a、9b、及び発報処理部10はS/Wにて処
理されるのが一般的である。
ように作用するかを説明する。今、図7の画像に置い
て、正規発報対象である「人物」と、非発報対象である
「水紋」が、それぞれ発生した場合を考える。また、仮
に双方とも、図6の認識処理における各種条件は満足し
ており、単独でそれぞれ発報されるものとする。また、
ステップ37で言う「一定時間」を、0.5秒とし、
「面積の急激な変化」を半分以下もしくは倍以上と定義
する。また、装置は、変化領域を発見した場合、外接四
角形を表示し、それを知らせるものとする。
が写っている。装置は、変化領域を発見し、外接四角形
を表示している。本装置が発報対象とするのは「人物」
である。従って、人物で発報するのは「正常発報」、人
物以外で発報するのは「不要検知」である。ここでは、
先の仮定で定めた通り、「人物」も「水紋」も面積・縦
横寸法・速度が所定範囲内であるため、発報対象と判断
される。本装置ではまだ「仮の発報対象発見」である
為、発報には至らない。仮に発報すれば、水紋による部
分は「不要検知」となってしまう。
「水紋」の変化領域をそれぞれ追跡し観察する。図8
は、図7から0.5秒後の画像である。水紋は縮小して
いるが、まだ十分に小さくなってはいない。
6bにて背景差分した結果を示したものである。一方、
図10は、図8の現画像に対し、背景差分部6aにて背
景差分した結果を示したものである。
秒前のフレームの映像である前提)と現画像の差分をと
るため、水紋と人物がそのまま切り出される。一方、図
10では、水紋が背景画像a(ここでは1つ前のフレー
ムの映像である前提)と現画像の差分をとるため、必然
的にフレーム間差分となり水紋の「1フレームの間に縮
まった部分」と、人物の「1フレームの時間に移動した
部分」のみが切り出される。
認識処理していたが、ここで改めて2つの結果を見る。
図10でのフレーム間差分の結果、「人物」は、図9に
比較し若干縮小した面積を有している。しかし、半分に
は至らないためここでは「仮の発報対象発見」と判断さ
れる。しかし、「水紋」は、フレーム間差分の結果、図
9に比較し1/3程度の面積しか有していない。水紋が
1フレーム間にその程度しか消失しないため、このよう
な結果となる。従って、ここでは「仮の発報対象発見」
とは判断されない。以上の通り、「人物」は認識処理部
9a、9b双方で仮の発報対象発見とされ、「水紋」は
そうとはならない。それより、「水紋」の変化領域は、
正式な発報対象とは認められない。以上の通り、本処理
により、「人物」の発報を阻害せず、「水紋」の不要検
知を防止できた。
「人物」の様な正規の発報対象に対する発報能力を阻害
せず、「太陽光の照り陰りによる建物の影の出現」や
「水たまりの水紋」による建物の影の出現の様な、「移
動を伴わないで徐々に現れ、あるいは移動を伴わないで
徐々に消失する比較的大きな変化領域」に関する不要検
知を上記実施の形態1で述べた効果以上に正確に削減す
る機能を実現できる。
つはフレーム間差分)、背景差分は、常時複数(うち1
つはフレーム間差分)を行っておき、発報対象発見時に
直ちに発報する事をせず、その後フレーム間差分による
認識処理も重ねて行い、2つの結果に大きな面積の差が
無いことを確認し、その結果を待って発報する事によ
り、例えば「日照の照り陰りによる影の出現」のような
急激な輝度変化に対し、誤って発報してしまう「誤報」
を、より確実に減少させると同時に、「人物」の様な正
規発報対象にたいしては正常に発報する機能を有する。
構成について図11を参照しながら説明する。図11
は、この発明の実施の形態3の概略構成を示すブロック
図である。
置に処理される映像を受けるビデオ入力部、2はビデオ
入力部1から入る映像を量子化するA/D変換部、3は
A/D変換部2からの出力を受け現在の映像データを記
憶する現画像蓄積部である。
2からの出力を受け相応の演算を行い作成した、比較用
の背景画像を記憶する背景画像蓄積部であり、ここでは
特に1フレーム前の現画像の記録をする。4bもA/D
変換部2からの出力を受け相応の演算を行い作成した、
比較用の背景画像を記憶する背景画像蓄積部であり、こ
こでは特に背景画像蓄積部4aとは異なる画像の記録を
する。
部4aのデータを更新する背景更新部、5bは背景画像
蓄積部4bのデータを一定ルールで演算し更新する背景
更新部であり、一般的には単純なルールで更新する。例
えば、過去5枚の現画像の平均を背景画像とする、等で
ある。
3と背景画像蓄積部4aの2つの画像を比較し、その差
分を算出する背景差分部であり、背景画像蓄積部4aが
特に1フレーム前の現画像の記録をする為、この出力は
フレーム間差分データとなり、差分データaと呼称する
場合もある。一方、6bは現画像蓄積部3と背景画像蓄
積部4bの2つの画像を比較し、その差分を算出する背
景差分部であり、特に、背景差分部6aと区別するた
め、ここではここで作成される差分データを非フレーム
間差分データと仮に呼称する。なお、差分データbと呼
称する場合もある。
a及び背景差分部6b のデータ(差分データa、b)
を2値化するための敷居値を算出する敷居値演算部であ
り、背景差分データを元に最適敷居値を求めるのが一般
的である。8は敷居値演算部7で求めた敷居値で差分デ
ータを2値化する2値化部であり、差分データa、b各
個に2値化されるため、出力される2値化データも2種
類である。(以降、2値化データa、bと呼称する。)
また、9Bは2値化部8から出力される2値データa、
bを受け、そこに目的の発報対象が存在するかの判断を
行う認識処理部であり、通常は2値データbを使用し判
定処理している。詳細は後述する。10は認識処理部9
Bからの「発報対象発見」の指示を受け発報する発報処
理部である。
認識処理部9Bを更に詳細に示したフローである。入力
されるデータは、通常は2値データbである。そして、
特に指示ある場合は2値データaである。この指示は後
述する。
同一の移動物に属すると思われる変化領域を統合して1
つの変化領域にまとめる変化領域統合処理である。次
に、ステップ42〜45は、ステップ41で統合された
変化領域が、発報対象か否かを判断する特徴量比較部分
である。ここで所定条件に合致した特徴を持つ変化領域
は、発報対象と見なされる。
42〜45の判断を行う。ステップ42では、変化領域
が一定時間連続で存在するかを見る。ステップ43で
は、変化領域が所定の面積であるか否かを見る。ステッ
プ44では、変化領域が所定の縦横寸法か否かを見る。
ステップ45では、変化領域が所定の移動速度か否かを
見る。以上の結果を受け、ステップ46では、発報対象
発見か対象無しかの判断を行う。ただし、ここでは、判
断結果は「仮」として扱い、まだ報告されない。
「仮の発報対象発見」の対象である発報対象変化領域を
追跡して観察する。そこでは、先ず、先のステップ41
の変化領域統合処理に入力される2値データを、2値デ
ータbから2値データaに切り替える。そして、ステッ
プ47にて面積を見る。2値データbを元に求められて
いた面積に対し、2値データaを元に求められていた面
積を比較し、面積の急激な変化を見る。その結果を受
け、ステップ48では、仮の発報対象発見が、正しかっ
たか否かの判断を行い、正しいときのみ、報告を発報処
理部10へと渡す。
の「水紋」が写っている映像例である。図14は、上記
図の直後の様子であり、水たまりの水紋が若干小さくな
った画像である。また、図15は、上記図を背景差分部
6bの方式で差分データを求め2値化した結果である。
図16は、上記図を背景差分部6aの方式で差分データ
を求め2値化した結果である。
る。図11に於いて、外部から装置に与えられた映像信
号はビデオ入力部1で受け取り、A/D変換部2に送ら
れる。このA/D変換部2では受け取ったビデオ信号を
後の処理の為にデジタルデータに変換する。1画素あた
り8ビットの多値データに変換するのが一般的である。
現画像蓄積部3では入力された現画像データを蓄積し後
の処理に備える。
のフレームの現画像データを蓄積し後の処理に備える。
一方、背景画像蓄積部4bでは入力された現画像データ
を元に作成された背景画像を蓄積し後の処理に備える。
に備えて背景画像蓄積部4aに蓄積してある背景画像を
定期的に一定ルールで更新処理する。これは毎フレーム
サンプリングした現画像を置き換えるのが一般である。
一方、背景更新部5bでは、背景画像蓄積部4bに蓄積
してある背景画像を定期的に一定ルールで更新処理す
る。これは定期的にサンプリングされた現画像を元に演
算処理されるのが一般で、例としては過去100シーン
の現画像の平均値を背景画像とする方法や、一定時間前
(例えば、5秒)のフレームの映像である場合が多い。
ここでは仮に5秒前のフレームの映像に置き換える更新
を行うものとして進める。
景画像蓄積部4bの出力を比較し、各画素毎に差を求
め、その差である差分データをフレーム画像として出力
する。差分データは一般的には映像中の輝度の変化した
部分を表す。通常は、人物や車両のような移動物が主で
あるが、まれに「太陽光の照り陰り」による建物の影の
出現の様な、発報対象ではない輝度の変化を示す場合も
ある。
及び背景画像蓄積部4aの出力を比較し、各画素毎に差
を求め、その差である差分データをフレーム画像として
出力する。ここでは現画像と、1フレーム前の現画像の
差分をとるため、必然的にフレーム間差分となる。フレ
ーム間差分による差分データは一般的には1フレーム間
の輝度の変化した部分を表す。通常は、高速で動く人物
や車両のような移動物が主である。その性格上、1フレ
ーム程度の時間差では明確な差が現れないため、低速で
動く人物等はうまく差分データが抽出できない。しか
し、「太陽光の照り陰りによる建物の影の出現」や「水
たまりの水紋」の様な、「移動を伴わないで徐々に現
れ、あるいは移動を伴わないで徐々に消失する比較的大
きな変化領域」の様な輝度の変化も、同様に差分データ
を抽出できない。
景差分部6b から送られる差分データ(差分データ
a、b)を2値化する為の敷居値を求める。通常、背景
データは多値データであり、そのまま認識処理するには
不的確である。以降の判断を高速に行うためにも2値化
して2値データに変換するのが一般的である。ただし、
装置によってはこの2値化を行わずに直接、差分データ
を認識処理する場合があるので、ここは参考である。
ータa、bを2値化する。その結果、以降の処理では変
化領域は2値データ(2値データa、b)となる。
る。図26は通常の正門の映像である。今、人物が画像
内を移動している。この場合、移動している人物の位置
がそのまま変化領域となる。図27が、その変化領域を
黒く染めたスーパーインポーズを重複させて示した映像
である。
化データa、bを受け、それが示す変化領域が目的のも
の(例えば、一般には人物や車両が該当する。以降、発
報対象と呼称する。)であるか否かの判断を行う。
像処理装置の認識処理部9Bの内容図である。この認識
処理部9Bでは以下の手順で認識を行う。ただし、ここ
に示すのは1例である。通常、この認識処理では、2値
データbを対象にする。必要に応じ2値データaを参照
する場合があるが、後述のようにそれは特定の時であ
る。
領域を見て、同一の移動物に属すると思われる変化領域
を統合して1つの変化領域にまとめる。次に、ステップ
42〜45は、ステップ41で統合された変化領域が、
発報対象か否かを判断する。ここでは、あらかじめ定め
てあった特徴量に対し、この変化領域が合致するかを比
較する。ここで所定条件に合致した特徴を持つ変化領域
は、発報対象と見なされる。
う。ステップ42では、変化領域が一定時間連続で存在
するかを見る。ステップ43では、変化領域が所定の面
積であるか否かを見る。ステップ44では、変化領域が
所定の縦横寸法か否かを見る。ステップ45では、変化
領域が所定の移動速度か否かを見る。「面積」、「縦横
寸法」、及び「移動速度」は、ステップ42での一定時
間中の平均を算出して参照されるのが一般的である。ス
テップ46で発報対象発見と判断されてもそれは「仮」
として扱われ、まだ発報処理部10には伝えられない。
象変化領域を追跡して観察する。ステップ46で仮の発
報対象として発見された変化領域につき更に追跡が続け
られる。追跡に先立ち、先ず、先のステップ41の変化
領域統合処理に入力される2値データを、2値データb
から2値データaに切り替える。
あり、「太陽光の照り陰りによる建物の影の出現」や
「水たまりの水紋」による建物の影の出現の様な、「移
動を伴わないで徐々に現れ、あるいは移動を伴わないで
徐々に消失する比較的大きな変化領域」の様な輝度の変
化も、同様に差分データを抽出できない。そして、先ほ
ど「仮の発報対象発見」となった変化領域を、この2値
データaによる変化領域で再度追跡し、2値データbを
元に求められていた面積に対し、2値データaを元に求
められていた面積と比較し、面積の急激な変化を見る。
発報対象発見」が「太陽光の照り陰りによる建物の影の
出現」や「水たまりの水紋」による場合は、ここではさ
ほど大きな面積を抽出できない。従って、その面積の急
激な変化から、装置は異常を判断できる。
発報対象発見が、正しかったか否かの判断を行い、正し
いときのみ、報告を発報処理部10へと渡す。もし、所
定時間内にて異常が発見されなければ、ステップ48で
正式な発報対象発見と判断され、発報処理部10に報告
される。この発報処理部10では発報処理を行う。通常
は、上位にあるPC等に特定の信号を送ったり、装置の
ブサーを鳴らしたりという処理である。ステップ47で
急激な面積の変化が発見されれば、「仮の発報対象発
見」は誤りだったと判断し、「正式な発報対象発見」報
告はなされない。なお、認識処理部9B、及び発報処理
部10はS/Wにて処理されるのが一般的である。
ように作用するかを説明する。今、図13の画像におい
て、正規発報対象である「人物」と、非発報対象である
「水紋」が、それぞれ発生した場合を考える。また、仮
に双方とも、図12の認識処理における各種条件は満足
しており、単独でそれぞれ発報されるものとする。ま
た、ステップ47で言う「一定時間」を、0.5秒と
し、「面積の急激な変化」を半分以下もしくは倍以上と
定義する。また、装置は、変化領域を発見した場合、外
接四角形を表示し、それを知らせるものとする。
物」が写っている。装置は、変化領域を発見し、外接四
角形を表示している。本装置が発報対象とするのは「人
物」である。従って、人物で発報するのは「正常発
報」、人物以外で発報するのは「不要検知」である。こ
こでは、先の仮定で定めた通り、「人物」も「水紋」も
面積・縦横寸法・速度が所定範囲内であるため、発報対
象と判断される。本装置ではまだ「仮の発報対象発見」
である為、発報には至らない。仮に発報すれば、水紋に
よる部分は「不要検知」となってしまう。
「水紋」の変化領域をそれぞれ追跡し観察する。図14
は、図13から0.5秒後の画像である。水紋は縮小し
ているが、まだ十分に小さくなってはいない。
分部6bにて背景差分した結果を示したものである。一
方、図16は、図14の現画像に対し、背景差分部6a
にて背景差分した結果を示したものである。
5秒前のフレームの映像である前提)と現画像の差分を
とるため、水紋と人物がそのまま切り出される。一方、
図16では、水紋が背景画像a(ここでは1つ前のフレ
ームの映像である前提)と現画像の差分をとるため、必
然的にフレーム間差分となり水紋の「1フレームの間に
縮まった部分」と、人物の「1フレームの時間に移動し
た部分」のみが切り出される。
からフレーム間差分に変えて「仮の発報対象」である、
「人物」と「水紋」を追跡観察していたが、ここで改め
て面積を見る。フレーム間差分の結果、「人物」は、
「仮の発報対象発見」時より若干縮小した面積を有して
いる。しかし、半分には至らないためここでは異常なし
と判断され、「正式な発報対象発見」と判断される。し
かし、「水紋」は、フレーム間差分の結果、「仮の発報
対象発見」時の面積に比較し、1/3程度の面積しか有
していない。水紋が1フレーム間にその程度しか消失し
ないため、このような結果となる。従って、ここでは異
常ありと判断され、「正式な発報対象発見」とは判断さ
れない。
見とされ、「水紋」はそうとはならない。これにより、
「水紋」による不要検知は発生しない。以上の通り、本
処理により、「人物」の発報を阻害せず、「水紋」の不
要検知を防止できた。
「人物」の様な正規の発報対象に対する発報能力を阻害
せず、「太陽光の照り陰りによる建物の影の出現」や
「水たまりの水紋」による建物の影の出現の様な、「移
動を伴わないで徐々に現れ、あるいは移動を伴わないで
徐々に消失する比較的大きな変化領域」に関する不要検
知を上記実施の形態1で述べた効果以上に正確削減する
機能を実現できる。かつ、その為の装置の構成が、上記
実施の形態2よりも簡便になる。
つはフレーム間差分)、発報対象発見時に直ちに発報す
る事をせず、その後も背景差分手段をフレーム間差分に
変えて認識処理を継続して一定時間変化領域を観察し、
急激な面積の増加や減少が無いことを確認し、その結果
を待って発報する事により、認識処理を2回行わずに、
その分不要な時間をかけずに、上記実施の形態2と同様
の効果を得ることができる機能を有する。
構成について図17を参照しながら説明する。図17
は、この発明の実施の形態4の概略構成を示すブロック
図である。
置に処理される映像を受けるビデオ入力部、2はビデオ
入力部2から入る映像を量子化するA/D変換部、3は
A/D変換部2からの出力を受け現在の映像データを記
憶する現画像蓄積部、4はA/D変換部2からの出力を
受け相応の演算を行い作成した、比較用の背景画像を記
憶する背景画像蓄積部、5は背景画像蓄積部4のデータ
を一定ルールで演算し更新する背景更新部であり、一般
的には単純なルールで更新する。例えば、過去5枚の現
画像の平均を背景画像とする、等である。また、この背
景更新部5Aは、後述する認識処理部の指定により、背
景更新手法を切り替えうる。6は現画像蓄積部3と背景
画像蓄積部4の2つの画像を比較し、その差分を算出す
る背景差分部、7は背景差分部6のデータを2値化する
ための敷居値を算出する敷居値演算部であり、背景差分
データを元に最適敷居値を求めるのが一般的である。8
は敷居値演算部7で求めた敷居値で差分データを2値化
する2値化部、9Cは2値化部8から出力される2値デ
ータを受け、そこに目的の発報対象が存在するかの判断
を行う認識処理部、10は認識処理部9Cからの「発報
対象発見」の指示を受け発報する発報処理部である。
認識処理部9Cを更に詳細に示したフローである。
一の移動物に属すると思われる変化領域を統合して1つ
の変化領域にまとめる変化領域統合処理である。次に、
ステップ52〜55は、ステップ51で統合された変化
領域が、発報対象か否かを判断する特徴量比較部分であ
る。ここで所定条件に合致した特徴を持つ変化領域は、
発報対象と見なされる。
52〜55の判断を行う。ステップ52では、変化領域
が一定時間連続で存在するかを見る。ステップ53で
は、変化領域が所定の面積であるか否かを見る。ステッ
プ54では、変化領域が所定の縦横寸法か否かを見る。
ステップ55では、変化領域が所定の移動速度か否かを
見る。以上の結果を受け、ステップ56では、発報対象
発見か対象無しかの判断を行う。ただし、ここでは、判
断結果は「仮」として扱い、まだ報告されない。
象変化領域を追跡して観察する。そこでは、先ず、先の
背景更新部5Aに、背景画像蓄積部4に取り込む画像を
現画像にするように指示する。そして、ステップ57に
て面積を見る。切り替え前に求められていた面積に対
し、切り替え後に求められた面積を比較し、面積の急激
な変化を見る。その結果を受け、ステップ58では、仮
の発報対象発見が、正しかったか否かの判断を行い、正
しいときのみ、報告を発報処理部10へと渡す。
の「水紋」が写っている映像例である。図20は、上記
図の直後の様子であり、水たまりの水紋が若干小さくな
った画像である。また、図21は、上記図を、背景画像
蓄積部4に取り込む画像を現画像にするよう背景更新部
5Aを切り替えて差分データを求め2値化した結果であ
る。
る。図17に於いて、外部から装置に与えられた映像信
号はビデオ入力部1で受け取り、A/D変換部2に送ら
れる。このA/D変換部2では受け取ったビデオ信号を
後の処理の為にデジタルデータに変換する。1画素あた
り8ビットの多値データに変換するのが一般的である。
現画像蓄積部3では入力された現画像データを蓄積し後
の処理に備える。背景画像蓄積部4では入力された現画
像データを元に作成された背景画像を蓄積し後の処理に
備える。
蓄積してある背景画像を定期的に一定ルールで更新処理
する。これは定期的にサンプリングされた現画像を元に
演算処理されるのが一般で、例としては過去100シー
ンの現画像の平均値を背景画像とする方法や、一定時間
前(例えば、5秒)のフレームの映像である場合が多
い。ここでは仮に過去100シーンの現画像の平均値に
置き換える更新を行うものとして進める。ただし、ここ
では認識処理部9Cの指示により背景更新方法を別な方
法に切り替える機能を有する。そのとき切り替えられる
背景更新手法とは、例えば現画像をそのまま背景画像蓄
積部4に取り込むというものである。
画像蓄積部4の出力を比較し、各画素毎に差を求め、そ
の差である差分データをフレーム画像として出力する。
差分データは一般的には映像中の輝度の変化した部分を
表す。通常は、人物や車両のような移動物が主である
が、まれに「太陽光の照り陰り」による建物の影の出現
の様な、発報対象ではない輝度の変化を示す場合もあ
る。
を「現画像をそのまま背景画像蓄積部4に取り込む」方
式に変え、また元に戻した場合は、瞬間的に現画像と1
フレーム前の現画像の差分をとることになり、必然的に
この瞬間のみフレーム間差分となる。また、その後、背
景更新部5Aにて背景更新手法を元に戻しても、元の背
景画像同様の背景画像に戻るためにはさらに100シー
ン分の時間が必要で(現在の背景更新手法が、過去10
0シーンの現画像の平均値に置き換える更新を行うとい
う前提のため)その間の背景差分結果も暫定的にフレー
ム間差分に近いものとなる。(徐々に通常の背景差分の
結果に移り変わっている。)
的には1フレーム間の輝度の変化した部分を表す。通常
は、高速で動く人物や車両のような移動物が主である。
その性格上、1フレーム程度の時間差では明確な差が現
れないため、低速で動く人物等はうまく差分データが抽
出できない。しかし、「太陽光の照り陰りによる建物の
影の出現」や「水たまりの水紋」の様な、「移動を伴わ
ないで徐々に現れ、あるいは移動を伴わないで徐々に消
失する比較的大きな変化領域」の様な輝度の変化も、同
様に差分データを抽出できない。
れる差分データを2値化する為の敷居値を求める。通
常、背景データは多値データであり、そのまま認識処理
するには不的確である。以降の判断を高速に行うために
も2値化して2値データに変換するのが一般的である。
ただし、装置によってはこの2値化を行わずに直接、差
分データを認識処理する場合があるので、ここは参考で
ある。
ータを2値化する。その結果、以降の処理では変化領域
は2値データとなる。
る。図26は通常の正門の映像である。今、人物が画像
内を移動している。この場合、移動している人物の位置
がそのまま変化領域となる。図27が、その変化領域を
黒く染めたスーパーインポーズを重複させて示した映像
である。
化データを受け、それが示す変化領域が目的のもの(例
えば、一般には人物や車両が該当する。以降、発報対象
と呼称する。)であるか否かの判断を行う。
像処理装置の認識処理部9Cの内容図である。認識処理
部9Cでは以下の手順で認識を行う。ただし、ここに示
すのは1例である。
領域を見て、同一の移動物に属すると思われる変化領域
を統合して1つの変化領域にまとめる。次に、ステップ
52〜55)は、ステップ51で統合された変化領域
が、発報対象か否かを判断する。ここでは、あらかじめ
定めてあった特徴量に対し、この変化領域が合致するか
を比較する。ここで所定条件に合致した特徴を持つ変化
領域は、発報対象と見なされる。
う。ステップ52では、変化領域が一定時間連続で存在
するかを見る。ステップ53では、変化領域が所定の面
積であるか否かを見る。ステップ54では、変化領域が
所定の縦横寸法か否かを見る。ステップ55では、変化
領域が所定の移動速度か否かを見る。「面積」、「縦横
寸法」、及び「移動速度」は、ステップ52での一定時
間中の平均を算出して参照されるのが一般的である。ス
テップ56で発報対象発見と判断されてもそれは「仮」
として扱われ、まだ発報処理部10には伝えられない。
象変化領域を追跡して観察する。追跡に先立ち、そこで
は先ず、先の背景更新部5Aに、背景画像蓄積部4に取
り込む画像を現画像にするように指示する。そのままで
は、背景差分部6で比較されるのが現画像同士となり差
分が出ない。直ちに先の背景更新部5Aに、背景画像蓄
積部4に取り込む画像をもとの方式に戻す様に指示す
る。
景画像蓄積部4の背景画像は本来のデータに戻る(現在
の背景更新手法が、過去100シーンの現画像の平均値
に置き換える更新を行うという前提のため)が、その間
は背景更新は中途なものとなる。
ム前の現画像の差分をとることになり、必然的にこの瞬
間のみフレーム間差分となる。しかし、その後、背景画
像が徐々に通常の背景画像に移り変わっていく為、徐々
に通常の背景差分データに戻っていく。
「太陽光の照り陰りによる建物の影の出現」や「水たま
りの水紋」による建物の影の出現の様な、「移動を伴わ
ないで徐々に現れ、あるいは移動を伴わないで徐々に消
失する比較的大きな変化領域」の様な輝度の変化も、同
様に差分データを抽出できない。
った変化領域を、フレーム間差分による変化領域で再度
追跡し、その結果の面積を比較し、面積の急激な変化を
見る。先のフレーム間差分の特徴により、「仮の発報対
象発見」が「太陽光の照り陰りによる建物の影の出現」
や「水たまりの水紋」による場合は、ここではさほど大
きな面積を抽出できない。従って、その面積の急激な変
化から、装置は異常を判断できる。
発報対象発見が、正しかったか否かの判断を行い、正し
いときのみ、報告を発報処理部10へと渡す。もし、所
定時間内にて異常が発見されなければ、ステップ58で
正式な発報対象発見と判断され、発報処理部10に報告
される。この発報処理部10では発報処理を行う。通常
は、上位にあるPC等に特定の信号を送ったり、装置の
ブサーを鳴らしたりという処理である。ステップ57で
急激な面積の変化が発見されれば、「仮の発報対象発
見」は誤りだったと判断し、「正式な発報対象発見」報
告はなされない。なお、認識処理部9C、及び発報処理
部10はS/Wにて処理されるのが一般的である。
ように作用するかを説明する。今、図19の画像におい
て、正規発報対象である「人物」と、非発報対象である
「水紋」が、それぞれ発生した場合を考える。また、仮
に双方とも、図18の認識処理における各種条件は満足
しており、単独でそれぞれ発報されるものとする。ま
た、ステップ57で言う「一定時間」を、0.5秒と
し、「面積の急激な変化」を半分以下もしくは倍以上と
定義する。また、装置は、変化領域を発見した場合、外
接四角形を表示し、それを知らせるものとする。
物」が写っている。装置は、変化領域を発見し、外接四
角形を表示している。本装置が発報対象とするのは「人
物」である。従って、人物で発報するのは「正常発
報」、人物以外で発報するのは「不要検知」である。こ
こでは、先の仮定で定めた通り、「人物」も「水紋」も
面積・縦横寸法・速度が所定範囲内であるため、発報対
象と判断される。本装置ではまだ「仮の発報対象発見」
である為、発報には至らない。仮に発報すれば、水紋に
よる部分は「不要検知」となってしまう。
「水紋」の変化領域をそれぞれ追跡し観察する。図20
は、図19から0.5秒後の画像である。水紋は縮小し
ているが、まだ十分に小さくなってはいない。
背景更新手法の切り替え直後の背景差分した結果を示し
たものである。そこでは、水紋が背景画像(ここでは1
つ前のフレームの映像である前提)と現画像の差分をと
るため、必然的にフレーム間差分となり水紋の「1フレ
ームの間に縮まった部分」と、人物の「1フレームの時
間に移動した部分」のみが切り出される。
手法からフレーム間差分に変えて「仮の発報対象」であ
る、「人物」と「水紋」を追跡観察していたが、ここで
改めて面積を見る。フレーム間差分の結果、「人物」
は、「仮の発報対象発見」時より若干縮小した面積を有
している。しかし、半分には至らないためここでは異常
なしと判断され、「正式な発報対象発見」と判断され
る。
果、「仮の発報対象発見」時の面積に比較し、1/3程
度の面積しか有していない。水紋が1フレーム間にその
程度しか消失しないため、このような結果となる。従っ
て、ここでは異常ありと判断され、「正式な発報対象発
見」とは判断されない。
見とされ、「水紋」はそうとはならない。これにより、
「水紋」による不要検知は発生しない。以上の通り、本
処理により、「人物」の発報を阻害せず、「水紋」の不
要検知を防止できた。
「人物」の様な正規の発報対象に対する発報能力を阻害
せず、「太陽光の照り陰りによる建物の影の出現」や
「水たまりの水紋」による建物の影の出現の様な、「移
動を伴わないで徐々に現れ、あるいは移動を伴わないで
徐々に消失する比較的大きな変化領域」に関する不要検
知を上記実施の形態1で述べた効果以上に正確削減する
機能を実現できる。かつ、その為の装置の構成が、上記
実施の形態2、及び3よりも簡便になる。
る事をせず、その後も背景差分手段をフレーム間差分に
変えて認識処理を継続して一定時間変化領域を観察」す
るのではなく、「発報対象発見時に直ちに発報する事を
せず、その後背景更新手法を一回だけ“現画像に置き換
え更新”にし、その後は背景更新手段を元に戻して認識
処理を継続して一定時間変化領域を観察」する事によ
り、急激な面積の増加や減少が無いことを確認し、その
結果を待って発報する事により、背景差分手段を複数持
たない分、装置規模を大きくせずに上記実施の形態3と
同様の効果を得ることが可能な機能を有する。
構成について図22を参照しながら説明する。図22
は、この発明の実施の形態5の概略構成を示すブロック
図である。
置に処理される映像を受けるビデオ入力部、2はビデオ
入力部1から入る映像を量子化するA/D変換部、3は
A/D変換部2からの出力を受け現在の映像データを記
憶する現画像蓄積部、4はA/D変換部2からの出力を
受け相応の演算を行い作成した、比較用の背景画像を記
憶する背景画像蓄積部、5Aは背景画像蓄積部4のデー
タを一定ルールで演算し更新する背景更新部であり、一
般的には単純なルールで更新する。例えば、過去5枚の
現画像の平均を背景画像とする、等である。また、この
背景更新部5Aは、後述する認識処理部の指定により、
背景更新手法を切り替えうる。うち一つは「フレーム間
差分法」である。他の背景更新手法を便宜的に「非フレ
ーム間差分法」と呼称する。また、6は現画像蓄積部3
と背景画像蓄積部4の2つの画像を比較し、その差分を
算出する背景差分部、7は背景差分部6のデータを2値
化するための敷居値を算出する敷居値演算部であり、背
景差分データを元に最適敷居値を求めるのが一般的であ
る。さらに、8は敷居値演算部7で求めた敷居値で差分
データを2値化する2値化部、9Dは2値化部8から出
力される2値データを受け、そこに目的の発報対象が存
在するかの判断を行う認識処理部、10は認識処理部9
Dからの「発報対象発見」の指示を受け発報する発報処
理部である。
認識処理部9Dを更に詳細に示したフローである。
一の移動物に属すると思われる変化領域を統合して1つ
の変化領域にまとめる変化領域統合処理部分である。次
に、ステップ62〜65は、ステップ61で統合された
変化領域が、発報対象か否かを判断する特徴量比較部分
である。ここで所定条件に合致した特徴を持つ変化領域
は、発報対象と見なされる。
62〜65の判断を行う。ステップ62では、変化領域
が一定時間連続で存在するかを見る。ステップ63で
は、変化領域が所定の面積であるか否かを見る。ステッ
プ64では、変化領域が所定の縦横寸法か否かを見る。
ステップ65では、変化領域が所定の移動速度か否かを
見る。以上の結果を受け、ステップ66では、発報対象
発見か対象無しかの判断を行う。ただし、ここでは、判
断結果は「仮」として扱い、まだ報告されない。
象変化領域を追跡して観察する。実際に観察するのは
「非フレーム間差分法」と「フレーム間差分法」での敷
居値演算部7で算出される敷居値の差である。その結果
を受け、ステップ68では、仮の発報対象発見が、正し
かったか否かの判断を行い、正しいときのみ、報告を発
報処理部10へと渡す。
る。図22に於いて、外部から装置に与えられた映像信
号はビデオ入力部1で受け取り、A/D変換部2に送ら
れる。このA/D変換部2では受け取ったビデオ信号を
後の処理の為にデジタルデータに変換する。1画素あた
り8ビットの多値データに変換するのが一般的である。
現画像蓄積部3では入力された現画像データを蓄積し後
の処理に備える。背景画像蓄積部4では入力された現画
像データを元に作成された背景画像を蓄積し後の処理に
備える。
蓄積してある背景画像を定期的に一定ルールで更新処理
する。これは定期的にサンプリングされた現画像を元に
演算処理されるのが一般で、例としては過去100シー
ンの現画像の平均値を背景画像とする方法や、一定時間
前(例:5秒)のフレームの映像である場合が多い。こ
こでは仮に過去100シーンの現画像の平均値に置き換
える更新を行うものとして進める。
より背景更新方法を別な方法に切り替える機能を有す
る。そのとき切り替えられる背景更新手法とは、例えば
現画像をそのまま背景画像蓄積部4に取り込むというも
のである。
画像蓄積部4の出力を比較し、各画素毎に差を求め、そ
の差である差分データをフレーム画像として出力する。
差分データは一般的には映像中の輝度の変化した部分を
表す。通常は、人物や車両のような移動物が主である
が、まれに「太陽光の照り陰り」による建物の影の出現
の様な、発報対象ではない輝度の変化を示す場合もあ
る。
を「現画像をそのまま背景画像蓄積部4に取り込む」方
式に変え、また元に戻した場合は、瞬間的に現画像と1
フレーム前の現画像の差分をとることになり、必然的に
この瞬間のみフレーム間差分となる。また、その後、背
景更新部5Aにて背景更新手法を元に戻しても、元の背
景画像同様の背景画像に戻るためにはさらに100シー
ン分の時間が必要で(現在の背景更新手法が、過去10
0シーンの現画像の平均値に置き換える更新を行うとい
う前提のため)その間の背景差分結果も暫定的にフレー
ム間差分に近い物となる。(徐々に通常の背景差分の結
果に移り変わっている。)
的には1フレーム間の輝度の変化した部分を表す。通常
は、高速で動く人物や車両のような移動物が主である。
その性格上、1フレーム程度の時間差では明確な差が現
れないため、低速で動く人物等はうまく差分データが抽
出できない。しかし、「太陽光の照り陰りによる建物の
影の出現」や「水たまりの水紋」の様な、「移動を伴わ
ないで徐々に現れ、あるいは移動を伴わないで徐々に消
失する比較的大きな変化領域」の様な輝度の変化も、同
様に差分データを抽出できない。
れる差分データを2値化する為の敷居値を求める。通
常、背景データは多値データであり、そのまま認識処理
するには不的確である。以降の判断を高速に行うために
も2値化して2値データに変換するのが一般的である。
ただし、装置によってはこの2値化を行わずに直接、差
分データを認識処理する場合があるので、ここは参考で
ある。
分データを比較すると、近似した画像データ間で差分を
出すフレーム間差分データの方が、非フレーム間差分デ
ータより値が小さいのが一般である。従って、算出した
敷居値は、他方に比べ低い値となる。
ータを2値化する。その結果、以降の処理では変化領域
は2値データとなる。
る。図26は通常の正門の映像である。今、人物が画像
内を移動している。この場合、移動している人物の位置
がそのまま変化領域となる。図27が、その変化領域を
黒く染めたスーパーインポーズを重複させて示した映像
である。
化データを受け、それが示す変化領域が目的のもの(例
えば、一般には人物や車両が該当する。以降、発報対象
と呼称する。)であるか否かの判断を行う。
像処理装置の認識処理部9Dの内容図である。認識処理
部9Dでは以下の手順で認識を行う。ただし、ここに示
すのは1例である。
領域を見て、同一の移動物に属すると思われる変化領域
を統合して1つの変化領域にまとめる。次に、ステップ
62〜65は、ステップ61で統合された変化領域が、
発報対象か否かを判断する。ここでは、あらかじめ定め
てあった特徴量に対し、この変化領域が合致するかを比
較する。ここで所定条件に合致した特徴を持つ変化領域
は、発報対象と見なされる。
う。ステップ62では、変化領域が一定時間連続で存在
するかを見る。ステップ63では、変化領域が所定の面
積であるか否かを見る。ステップ64では、変化領域が
所定の縦横寸法か否かを見る。ステップ65では、変化
領域が所定の移動速度か否かを見る。「面積」、「縦横
寸法」、「移動速度」は、ステップ62にある一定時間
中の平均を算出して参照されるのが一般的である。ステ
ップ66で発報対象発見と判断されてもそれは「仮」と
して扱われ、まだ発報処理部10には伝えられない。
象変化領域を追跡して観察する。追跡に先立ち、そこで
は先ず、先の背景更新部5Aに、背景画像蓄積部4に取
り込む画像を現画像にするように指示する。そのままで
は、背景差分部6で比較されるのが現画像同士となり差
分が出ない。直ちに先の背景更新部5Aに、背景画像蓄
積部4に取り込む画像をもとの方式に戻す様に指示す
る。
景画像蓄積部4の背景画像は本来のデータに戻る(現在
の背景更新手法が、過去100シーンの現画像の平均値
に置き換える更新を行うという前提のため)が、その間
は背景更新は中途なものとなる。
ム前の現画像の差分をとることになり、必然的にこの瞬
間のみフレーム間差分となる。しかし、その後、背景画
像が徐々に通常の背景画像に移り変わっていく為、徐々
に通常の背景差分データ(非フレーム間差分データ)に
戻っていく。
「太陽光の照り陰りによる建物の影の出現」や「水たま
りの水紋」による建物の影の出現の様な、「移動を伴わ
ないで徐々に現れ、あるいは移動を伴わないで徐々に消
失する比較的大きな変化領域」の様な輝度の変化も、同
様に差分データを抽出できない。
算結果(即ち敷居値)は、切り出しにくい変化領域を少
しでも切り出そうとする結果、通常より低い値をとる。
そして、先ほど「仮の発報対象発見」時の敷居値と比較
し、その値の変化を見る。その値が急激に変化した場合
は異常、そうでなければ正常と判断できる。
時のみ、発報対象発見の報告を発報処理部10へと渡
す。この発報処理部10では発報処理を行う。通常は、
上位にあるPC等に特定の信号を送ったり、装置のブサ
ーを鳴らしたりという処理である。ステップ67で急激
な値の変化が発見されれば、「仮の発報対象発見」は誤
りだったと判断し、「正式な発報対象発見」報告はなさ
れない。従って、装置は発報をしない。なお、認識処理
部9D、及び発報処理部10は、S/Wにて処理される
のが一般的である。
物の影の出現」や「水たまりの水紋」による建物の影の
出現の様な、「移動を伴わないで徐々に現れ、あるいは
移動を伴わないで徐々に消失する比較的大きな変化領
域」は、発報されず不要検知とならない。逆に、上記と
異なり「人物」の様な変化領域は正確に発報される。
「人物」の様な正規の発報対象に対する発報能力を阻害
せず、「太陽光の照り陰りによる建物の影の出現」や
「水たまりの水紋」による建物の影の出現の様な、「移
動を伴わないで徐々に現れ、あるいは移動を伴わないで
徐々に消失する比較的大きな変化領域」に関する不要検
知を上記実施の形態1〜4で述べた効果以上に正確削減
する機能を実現できる。
ことを確認」するのではなく、「急激な2値化の敷居値
の変化が無いことを確認」する事により、急激な変化領
域の出現や消失が無いことを確認し、その結果を待って
発報する事により、上記実施の形態3、及び4よりも更
に早いタイミングで誤報か否かの確認作業が終了でき
て、且つ上記実施の形態3、及び4と同様の効果を得る
ことが可能な機能を有する。
以上説明したとおり、現画像データと比較用背景画像デ
ータとの比較演算に基づき変化領域を抽出する変化領域
抽出手段と、前記抽出した変化領域が所定の条件に合致
した場合で、かつ前記変化領域の面積が一定時間所定の
変化が無いときには発報対象として認識する認識処理手
段とを備えたので、「人物」の様な正規の発報対象に対
する発報能力を阻害せず、「太陽光の照り陰りによる建
物の影の出現」や「水たまりの水紋」による建物の影の
出現の様な、「移動を伴わないで徐々に現れ、あるいは
移動を伴わないで徐々に消失する比較的大きな変化領
域」に関する不要検知を削減することができるという効
果を奏する。
は、以上説明したとおり、前記変化領域抽出手段が、現
画像データと比較用背景画像データとの比較演算に基づ
きその背景差分を変化領域として算出する背景差分手段
と、前記背景差分データに基づき前記背景差分データを
2値化するための敷居値を算出する敷居値演算手段と、
前記背景差分データを前記敷居値で2値化する2値化手
段とを有するので、「人物」の様な正規の発報対象に対
する発報能力を阻害せず、「太陽光の照り陰りによる建
物の影の出現」や「水たまりの水紋」による建物の影の
出現の様な、「移動を伴わないで徐々に現れ、あるいは
移動を伴わないで徐々に消失する比較的大きな変化領
域」に関する不要検知を削減することができるという効
果を奏する。
は、以上説明したとおり、さらに、入力映像を量子化す
るA/D変換手段と、前記A/D変換手段の出力から前
記現画像データを記憶する現画像蓄積手段と、前記A/
D変換手段の出力から前記比較用背景画像データを作成
して記憶する背景画像蓄積手段と、前記背景画像蓄積手
段のデータを所定の規則で演算し更新する背景更新手段
と、前記抽出した変化領域を発報対象として認識したと
きにはその旨を知らせる発報処理手段とを備えたので、
「人物」の様な正規の発報対象に対する発報能力を阻害
せず、「太陽光の照り陰りによる建物の影の出現」や
「水たまりの水紋」による建物の影の出現の様な、「移
動を伴わないで徐々に現れ、あるいは移動を伴わないで
徐々に消失する比較的大きな変化領域」に関する不要検
知を削減することができるという効果を奏する。
は、以上説明したとおり、前記変化領域抽出手段が、現
画像データと1フレーム前の現画像データである比較用
背景画像データとの比較演算に基づきそのフレーム間背
景差分を変化領域として算出する第1の背景差分手段
と、現画像データと比較用背景画像データとの比較演算
に基づきその背景差分を変化領域として算出する第2の
背景差分手段と、前記フレーム間背景差分データ及び背
景差分データに基づき前記フレーム間背景差分データ及
び背景差分データを2値化するための第1及び第2の敷
居値を算出する敷居値演算手段と、前記フレーム間背景
差分データ及び背景差分データを前記第1及び第2の敷
居値で2値化し第1及び第2の2値データを出力する2
値化手段とを有し、前記認識処理手段が、前記第1の2
値データに基づき前記抽出した変化領域が所定の条件に
合致した場合は仮の発報対象として認識する第1の認識
処理手段と、前記第2の2値データに基づき前記抽出し
た変化領域が所定の条件に合致した場合で、かつ前記第
1の認識処理手段により前記仮の発報対象として認識さ
れているときには発報対象として認識する第2の認識処
理手段とを有するので、「人物」の様な正規の発報対象
に対する発報能力を阻害せず、「太陽光の照り陰りによ
る建物の影の出現」や「水たまりの水紋」による建物の
影の出現の様な、「移動を伴わないで徐々に現れ、ある
いは移動を伴わないで徐々に消失する比較的大きな変化
領域」に関する不要検知をより正確に削減することがで
きるという効果を奏する。
は、以上説明したとおり、さらに、入力映像を量子化す
るA/D変換手段と、前記A/D変換手段の出力から前
記現画像データを記憶する現画像蓄積手段と、前記A/
D変換手段の出力から1フレーム前の現画像データであ
る前記比較用背景画像データを作成して記憶する第1の
背景画像蓄積手段と、前記A/D変換手段の出力から前
記比較用背景画像データを作成して記憶する第2の背景
画像蓄積手段と、前記第1の背景画像蓄積手段のデータ
を所定の規則で演算し更新する第1の背景更新手段と、
前記第2の背景画像蓄積手段のデータを所定の規則で演
算し更新する第2の背景更新手段と、前記抽出した変化
領域を発報対象として認識したときにはその旨を知らせ
る発報処理手段とを備えたので、「人物」の様な正規の
発報対象に対する発報能力を阻害せず、「太陽光の照り
陰りによる建物の影の出現」や「水たまりの水紋」によ
る建物の影の出現の様な、「移動を伴わないで徐々に現
れ、あるいは移動を伴わないで徐々に消失する比較的大
きな変化領域」に関する不要検知をより正確に削減する
ことができるという効果を奏する。
は、以上説明したとおり、前記変化領域抽出手段が、現
画像データと1フレーム前の現画像データである比較用
背景画像データとの比較演算に基づきそのフレーム間背
景差分を変化領域として算出する第1の背景差分手段
と、現画像データと比較用背景画像データとの比較演算
に基づきその背景差分を変化領域として算出する第2の
背景差分手段と、前記フレーム間背景差分データ及び背
景差分データに基づき前記フレーム間背景差分データ及
び背景差分データを2値化するための第1及び第2の敷
居値を算出する敷居値演算手段と、前記フレーム間背景
差分データ及び背景差分データを前記第1及び第2の敷
居値で2値化し第1及び第2の2値データを出力する2
値化手段とを有し、前記認識処理手段が、前記第2の2
値データに基づき前記抽出した変化領域が所定の条件に
合致した場合は仮の発報対象として認識し、かつ前記第
1の2値データに基づき前記抽出した変化領域の面積が
一定時間所定の変化が無いときには前記仮の発報対象を
発報対象として認識するので、「人物」の様な正規の発
報対象に対する発報能力を阻害せず、「太陽光の照り陰
りによる建物の影の出現」や「水たまりの水紋」による
建物の影の出現の様な、「移動を伴わないで徐々に現
れ、あるいは移動を伴わないで徐々に消失する比較的大
きな変化領域」に関する不要検知をより正確に削減する
ことができ、かつ、その為の装置の構成を簡便にできる
という効果を奏する。
は、以上説明したとおり、さらに、入力映像を量子化す
るA/D変換手段と、前記A/D変換手段の出力から前
記現画像データを記憶する現画像蓄積手段と、前記A/
D変換手段の出力から1フレーム前の現画像データであ
る前記比較用背景画像データを作成して記憶する第1の
背景画像蓄積手段と、前記A/D変換手段の出力から前
記比較用背景画像データを作成して記憶する第2の背景
画像蓄積手段と、前記第1の背景画像蓄積手段のデータ
を所定の規則で演算し更新する第1の背景更新手段と、
前記第2の背景画像蓄積手段のデータを所定の規則で演
算し更新する第2の背景更新手段と、前記抽出した変化
領域を発報対象として認識したときにはその旨を知らせ
る発報処理手段とを備えたので、「人物」の様な正規の
発報対象に対する発報能力を阻害せず、「太陽光の照り
陰りによる建物の影の出現」や「水たまりの水紋」によ
る建物の影の出現の様な、「移動を伴わないで徐々に現
れ、あるいは移動を伴わないで徐々に消失する比較的大
きな変化領域」に関する不要検知をより正確に削減する
ことができ、かつ、その為の装置の構成を簡便にできる
という効果を奏する。
は、以上説明したとおり、さらに、入力映像を量子化す
るA/D変換手段と、前記A/D変換手段の出力から前
記現画像データを記憶する現画像蓄積手段と、前記A/
D変換手段の出力から前記比較用背景画像データを作成
して記憶する背景画像蓄積手段と、前記背景画像蓄積手
段のデータを所定の規則で演算し更新する背景更新手段
と、前記抽出した変化領域を発報対象として認識したと
きにはその旨を知らせる発報処理手段とを備え、前記認
識処理手段が、前記抽出した変化領域が所定の条件に合
致した場合は仮の発報対象として認識し、かつ前記背景
更新手段により前記背景画像蓄積手段に1フレーム前の
現画像データである比較用背景画像データを記憶させ、
フレーム間背景差分データに基づき前記抽出した変化領
域の面積が一定時間所定の変化が無いときには前記仮の
発報対象を発報対象として認識するので、「人物」の様
な正規の発報対象に対する発報能力を阻害せず、「太陽
光の照り陰りによる建物の影の出現」や「水たまりの水
紋」による建物の影の出現の様な、「移動を伴わないで
徐々に現れ、あるいは移動を伴わないで徐々に消失する
比較的大きな変化領域」に関する不要検知をより正確に
削減することができ、かつ、その為の装置の構成をより
簡便にできるという効果を奏する。
は、以上説明したとおり、現画像データと比較用背景画
像データとの比較演算に基づき変化領域を抽出する変化
領域抽出手段と、前記抽出した変化領域が所定の条件に
合致した場合で、かつ前記変化領域を2値化するための
敷居値が一定時間所定の変化が無いときには発報対象と
して認識する認識処理手段とを備えたので、「人物」の
様な正規の発報対象に対する発報能力を阻害せず、「太
陽光の照り陰りによる建物の影の出現」や「水たまりの
水紋」による建物の影の出現の様な、「移動を伴わない
で徐々に現れ、あるいは移動を伴わないで徐々に消失す
る比較的大きな変化領域」に関する不要検知をよりさら
に正確に削減することができるという効果を奏する。
は、以上説明したとおり、前記変化領域抽出手段が、現
画像データと比較用背景画像データとの比較演算に基づ
きその背景差分を変化領域として算出する背景差分手段
と、前記背景差分データに基づき前記背景差分データを
2値化するための敷居値を算出する敷居値演算手段と、
前記背景差分データを前記敷居値で2値化する2値化手
段とを有するので、「人物」の様な正規の発報対象に対
する発報能力を阻害せず、「太陽光の照り陰りによる建
物の影の出現」や「水たまりの水紋」による建物の影の
出現の様な、「移動を伴わないで徐々に現れ、あるいは
移動を伴わないで徐々に消失する比較的大きな変化領
域」に関する不要検知をよりさらに正確に削減すること
ができるという効果を奏する。
は、以上説明したとおり、さらに、入力映像を量子化す
るA/D変換手段と、前記A/D変換手段の出力から前
記現画像データを記憶する現画像蓄積手段と、前記A/
D変換手段の出力から前記比較用背景画像データを作成
して記憶する背景画像蓄積手段と、前記背景画像蓄積手
段のデータを所定の規則で演算し更新する背景更新手段
と、前記抽出した変化領域を発報対象として認識したと
きにはその旨を知らせる発報処理手段とを備え、前記認
識処理手段が、前記抽出した変化領域が所定の条件に合
致した場合は仮の発報対象として認識し、かつ前記背景
更新手段により前記背景画像蓄積手段に1フレーム前の
現画像データである比較用背景画像データを記憶させ、
フレーム間背景差分データに基づき前記抽出した変化領
域を2値化するための敷居値が一定時間所定の変化が無
いときには前記仮の発報対象を発報対象として認識する
ので、「人物」の様な正規の発報対象に対する発報能力
を阻害せず、「太陽光の照り陰りによる建物の影の出
現」や「水たまりの水紋」による建物の影の出現の様
な、「移動を伴わないで徐々に現れ、あるいは移動を伴
わないで徐々に消失する比較的大きな変化領域」に関す
る不要検知をよりさらに正確に削減することができると
いう効果を奏する。
ク図である。
を示すフローチャートである。
「人物」と水たまりの「水紋」が写っている映像例であ
る。
水紋が小さくなった画像である。
ク図である。
を示すフローチャートである。
「人物」と水たまりの「水紋」が写っている映像例であ
る。
水紋が若干小さくなった画像である。
差分部の方式で差分データを求め2値化した結果を示す
図である。
景差分部の方式で差分データを求め2値化した結果を示
す図である。
ック図である。
作を示すフローチャートである。
に、「人物」と水たまりの「水紋」が写っている映像例
である。
の水紋が若干小さくなった画像である。
景差分部の方式で差分データを求め2値化した結果を示
す図である。
景差分部の方式で差分データを求め2値化した結果を示
す図である。
ック図である。
作を示すフローチャートである。
に、「人物」と水たまりの「水紋」が写っている映像例
である。
の水紋が若干小さくなった画像である。
蓄積部に取り込む画像を現画像にするよう背景更新部を
切り替えて差分データを求め2値化した結果を示す図で
ある。
ック図である。
作を示すフローチャートである。
ロック図である。
動作を示すフローチャートである。
正門の映像である。
化領域を黒く染めたスーパーインポーズを重複させて示
した映像である。
部、4、4a、4b背景画像蓄積部、5、5a、5b、
5A 背景更新部、6、6a、6b 背景差分部、7
敷居値演算部、8 2値化部、9A、9a、9b、9
B、9C、9D認識処理部、10 発報処理部。
Claims (11)
- 【請求項1】 現画像データと比較用背景画像データと
の比較演算に基づき変化領域を抽出する変化領域抽出手
段と、 前記抽出した変化領域が所定の条件に合致した場合で、
かつ前記変化領域の面積が一定時間所定の変化が無いと
きには発報対象として認識する認識処理手段とを備えた
ことを特徴とする監視用画像処理装置。 - 【請求項2】 前記変化領域抽出手段は、 現画像データと比較用背景画像データとの比較演算に基
づきその背景差分を変化領域として算出する背景差分手
段と、 前記背景差分データに基づき前記背景差分データを2値
化するための敷居値を算出する敷居値演算手段と、 前記背景差分データを前記敷居値で2値化する2値化手
段とを有することを特徴とする請求項1記載の監視用画
像処理装置。 - 【請求項3】 さらに、入力映像を量子化するA/D変
換手段と、 前記A/D変換手段の出力から前記現画像データを記憶
する現画像蓄積手段と、 前記A/D変換手段の出力から前記比較用背景画像デー
タを作成して記憶する背景画像蓄積手段と、 前記背景画像蓄積手段のデータを所定の規則で演算し更
新する背景更新手段と、 前記抽出した変化領域を発報対象として認識したときに
はその旨を知らせる発報処理手段とを備えたことを特徴
とする請求項2記載の監視用画像処理装置。 - 【請求項4】 前記変化領域抽出手段は、 現画像データと1フレーム前の現画像データである比較
用背景画像データとの比較演算に基づきそのフレーム間
背景差分を変化領域として算出する第1の背景差分手段
と、 現画像データと比較用背景画像データとの比較演算に基
づきその背景差分を変化領域として算出する第2の背景
差分手段と、 前記フレーム間背景差分データ及び背景差分データに基
づき前記フレーム間背景差分データ及び背景差分データ
を2値化するための第1及び第2の敷居値を算出する敷
居値演算手段と、 前記フレーム間背景差分データ及び背景差分データを前
記第1及び第2の敷居値で2値化し第1及び第2の2値
データを出力する2値化手段とを有し、前記認識処理手
段は、 前記第1の2値データに基づき前記抽出した変化領域が
所定の条件に合致した場合は仮の発報対象として認識す
る第1の認識処理手段と、 前記第2の2値データに基づき前記抽出した変化領域が
所定の条件に合致した場合で、かつ前記第1の認識処理
手段により前記仮の発報対象として認識されているとき
には発報対象として認識する第2の認識処理手段とを有
することを特徴とする請求項1記載の監視用画像処理装
置。 - 【請求項5】 さらに、入力映像を量子化するA/D変
換手段と、 前記A/D変換手段の出力から前記現画像データを記憶
する現画像蓄積手段と、 前記A/D変換手段の出力から1フレーム前の現画像デ
ータである前記比較用背景画像データを作成して記憶す
る第1の背景画像蓄積手段と、 前記A/D変換手段の出力から前記比較用背景画像デー
タを作成して記憶する第2の背景画像蓄積手段と、 前記第1の背景画像蓄積手段のデータを所定の規則で演
算し更新する第1の背景更新手段と、 前記第2の背景画像蓄積手段のデータを所定の規則で演
算し更新する第2の背景更新手段と、 前記抽出した変化領域を発報対象として認識したときに
はその旨を知らせる発報処理手段とを備えたことを特徴
とする請求項4記載の監視用画像処理装置。 - 【請求項6】 前記変化領域抽出手段は、 現画像データと1フレーム前の現画像データである比較
用背景画像データとの比較演算に基づきそのフレーム間
背景差分を変化領域として算出する第1の背景差分手段
と、 現画像データと比較用背景画像データとの比較演算に基
づきその背景差分を変化領域として算出する第2の背景
差分手段と、 前記フレーム間背景差分データ及び背景差分データに基
づき前記フレーム間背景差分データ及び背景差分データ
を2値化するための第1及び第2の敷居値を算出する敷
居値演算手段と、 前記フレーム間背景差分データ及び背景差分データを前
記第1及び第2の敷居値で2値化し第1及び第2の2値
データを出力する2値化手段とを有し、 前記認識処理手段は、前記第2の2値データに基づき前
記抽出した変化領域が所定の条件に合致した場合は仮の
発報対象として認識し、かつ前記第1の2値データに基
づき前記抽出した変化領域の面積が一定時間所定の変化
が無いときには前記仮の発報対象を発報対象として認識
することを特徴とする請求項1記載の監視用画像処理装
置。 - 【請求項7】 さらに、入力映像を量子化するA/D変
換手段と、 前記A/D変換手段の出力から前記現画像データを記憶
する現画像蓄積手段と、 前記A/D変換手段の出力から1フレーム前の現画像デ
ータである前記比較用背景画像データを作成して記憶す
る第1の背景画像蓄積手段と、 前記A/D変換手段の出力から前記比較用背景画像デー
タを作成して記憶する第2の背景画像蓄積手段と、 前記第1の背景画像蓄積手段のデータを所定の規則で演
算し更新する第1の背景更新手段と、 前記第2の背景画像蓄積手段のデータを所定の規則で演
算し更新する第2の背景更新手段と、 前記抽出した変化領域を発報対象として認識したときに
はその旨を知らせる発報処理手段とを備えたことを特徴
とする請求項6記載の監視用画像処理装置。 - 【請求項8】 さらに、入力映像を量子化するA/D変
換手段と、 前記A/D変換手段の出力から前記現画像データを記憶
する現画像蓄積手段と、 前記A/D変換手段の出力から前記比較用背景画像デー
タを作成して記憶する背景画像蓄積手段と、 前記背景画像蓄積手段のデータを所定の規則で演算し更
新する背景更新手段と、 前記抽出した変化領域を発報対象として認識したときに
はその旨を知らせる発報処理手段とを備え、 前記認識処理手段は、前記抽出した変化領域が所定の条
件に合致した場合は仮の発報対象として認識し、かつ前
記背景更新手段により前記背景画像蓄積手段に1フレー
ム前の現画像データである比較用背景画像データを記憶
させ、フレーム間背景差分データに基づき前記抽出した
変化領域の面積が一定時間所定の変化が無いときには前
記仮の発報対象を発報対象として認識することを特徴と
する請求項2記載の監視用画像処理装置。 - 【請求項9】 現画像データと比較用背景画像データと
の比較演算に基づき変化領域を抽出する変化領域抽出手
段と、 前記抽出した変化領域が所定の条件に合致した場合で、
かつ前記変化領域を2値化するための敷居値が一定時間
所定の変化が無いときには発報対象として認識する認識
処理手段とを備えたことを特徴とする監視用画像処理装
置。 - 【請求項10】 前記変化領域抽出手段は、 現画像データと比較用背景画像データとの比較演算に基
づきその背景差分を変化領域として算出する背景差分手
段と、 前記背景差分データに基づき前記背景差分データを2値
化するための敷居値を算出する敷居値演算手段と、 前記背景差分データを前記敷居値で2値化する2値化手
段とを有することを特徴とする請求項9記載の監視用画
像処理装置。 - 【請求項11】 さらに、入力映像を量子化するA/D
変換手段と、 前記A/D変換手段の出力から前記現画像データを記憶
する現画像蓄積手段と、 前記A/D変換手段の出力から前記比較用背景画像デー
タを作成して記憶する背景画像蓄積手段と、 前記背景画像蓄積手段のデータを所定の規則で演算し更
新する背景更新手段と、 前記抽出した変化領域を発報対象として認識したときに
はその旨を知らせる発報処理手段とを備え、 前記認識処理手段は、前記抽出した変化領域が所定の条
件に合致した場合は仮の発報対象として認識し、かつ前
記背景更新手段により前記背景画像蓄積手段に1フレー
ム前の現画像データである比較用背景画像データを記憶
させ、フレーム間背景差分データに基づき前記抽出した
変化領域を2値化するための敷居値が一定時間所定の変
化が無いときには前記仮の発報対象を発報対象として認
識することを特徴とする請求項10記載の監視用画像処
理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27859296A JP3848709B2 (ja) | 1996-10-01 | 1996-10-01 | 監視用画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27859296A JP3848709B2 (ja) | 1996-10-01 | 1996-10-01 | 監視用画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10105839A true JPH10105839A (ja) | 1998-04-24 |
JP3848709B2 JP3848709B2 (ja) | 2006-11-22 |
Family
ID=17599419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27859296A Expired - Lifetime JP3848709B2 (ja) | 1996-10-01 | 1996-10-01 | 監視用画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3848709B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6798909B2 (en) | 1999-12-27 | 2004-09-28 | Hitachi, Ltd. | Surveillance apparatus and recording medium recorded surveillance program |
JP2007208557A (ja) * | 2006-01-31 | 2007-08-16 | Nishiyama:Kk | 画像監視警報方法 |
JP2017033478A (ja) * | 2015-08-06 | 2017-02-09 | オムロン株式会社 | 障害物検知装置、障害物検知方法、および障害物検知プログラム |
GB2581000B (en) * | 2019-01-29 | 2023-08-16 | Adobe Inc | Image shadow detection using multiple images |
-
1996
- 1996-10-01 JP JP27859296A patent/JP3848709B2/ja not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6798909B2 (en) | 1999-12-27 | 2004-09-28 | Hitachi, Ltd. | Surveillance apparatus and recording medium recorded surveillance program |
US6798908B2 (en) | 1999-12-27 | 2004-09-28 | Hitachi, Ltd. | Surveillance apparatus and recording medium recorded surveillance program |
JP2007208557A (ja) * | 2006-01-31 | 2007-08-16 | Nishiyama:Kk | 画像監視警報方法 |
JP2017033478A (ja) * | 2015-08-06 | 2017-02-09 | オムロン株式会社 | 障害物検知装置、障害物検知方法、および障害物検知プログラム |
GB2581000B (en) * | 2019-01-29 | 2023-08-16 | Adobe Inc | Image shadow detection using multiple images |
Also Published As
Publication number | Publication date |
---|---|
JP3848709B2 (ja) | 2006-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6952449B2 (en) | Detection apparatus for road obstructions | |
JP4803376B2 (ja) | カメラ妨害検知方式 | |
EP2178056B1 (en) | Smoke detecting apparatus | |
JP3486229B2 (ja) | 画像変化検出装置 | |
US20040114054A1 (en) | Method of detecting a significant change of scene | |
WO2013132711A1 (ja) | 物体検知装置、物体検知方法及びプログラム | |
JPH10105839A (ja) | 監視用画像処理装置 | |
KR20060003321A (ko) | 보안 감시 시스템의 물체 인식 장치 및 방법 | |
JP2007102556A (ja) | 監視端末装置 | |
KR20040018586A (ko) | 얼굴특징을 이용한 움직임 검출장치 및 이를 적용한감시시스템 | |
JPH0620049A (ja) | 侵入者識別システム | |
JPH0628449B2 (ja) | 侵入監視装置 | |
JP3613301B2 (ja) | 映像監視追跡装置 | |
TWI476735B (zh) | 攝影機異常種類辨識方法及可偵測攝影異常的監視主機 | |
JP3986643B2 (ja) | 監視用画像処理装置 | |
JP2667973B2 (ja) | 移動体監視装置 | |
CN114699702A (zh) | 消防设备检测方法及相关装置 | |
JP3830616B2 (ja) | 監視用画像処理装置 | |
JP2000175174A (ja) | 監視用画像処理装置 | |
JP4544955B2 (ja) | 画像監視装置 | |
Shukla et al. | Automatic alert of security threat through video surveillance system | |
JPH0512591A (ja) | 監視装置 | |
Hassan et al. | Illumination invariant method to detect and track left luggage in public areas | |
JP2503613B2 (ja) | 異常監視装置 | |
JP3715705B2 (ja) | 監視用画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051122 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130901 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |