JP3034101B2 - 動きベクトルによる識別方法及び装置 - Google Patents
動きベクトルによる識別方法及び装置Info
- Publication number
- JP3034101B2 JP3034101B2 JP3306445A JP30644591A JP3034101B2 JP 3034101 B2 JP3034101 B2 JP 3034101B2 JP 3306445 A JP3306445 A JP 3306445A JP 30644591 A JP30644591 A JP 30644591A JP 3034101 B2 JP3034101 B2 JP 3034101B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- vector
- block
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Description
【0001】
【産業上の利用分野】本発明は、動きベクトルによる識
別方法及び装置に関し、とくに立入り禁止区域への無断
進入の監視に適する動きベクトルによる識別方法及び装
置に関する。
別方法及び装置に関し、とくに立入り禁止区域への無断
進入の監視に適する動きベクトルによる識別方法及び装
置に関する。
【0002】
【従来の技術】立入り禁止区域への無断進入の監視等に
用いられる従来の画像による監視対象物識別方法を図15
に示す。TVカメラ等の画像入力部50から監視区域の画像
Iが順次取込まれる。差分画像抽出部51において、監視
対象物がないときの監視区域を予め記憶した参照画像52
と上記画像Iとの差分を減算により抽出する。この差分
画像は参照画像52に対する各入力画像Iの変化を輝度変
化として表わす。輝度変化二値化部53は、雑音抑制及び
後段の対象物識別部54におけるラベリングの準備のた
め、差分画像を所定の閾値に基づいて二値化する。対象
物識別部54では、二値化画像の各連結成分ごとにラベル
付けを行なった後、各連結成分についてその形状特徴に
より監視対象物であるか否かを識別する。この識別結果
は異常判定部55に与えられ、直ちに異常と判定するか、
又は予め禁止区域画像記憶部56に記憶された立入り禁止
区域画像Iz内に当該監視対象物があることを確認の上異
常と判定する。
用いられる従来の画像による監視対象物識別方法を図15
に示す。TVカメラ等の画像入力部50から監視区域の画像
Iが順次取込まれる。差分画像抽出部51において、監視
対象物がないときの監視区域を予め記憶した参照画像52
と上記画像Iとの差分を減算により抽出する。この差分
画像は参照画像52に対する各入力画像Iの変化を輝度変
化として表わす。輝度変化二値化部53は、雑音抑制及び
後段の対象物識別部54におけるラベリングの準備のた
め、差分画像を所定の閾値に基づいて二値化する。対象
物識別部54では、二値化画像の各連結成分ごとにラベル
付けを行なった後、各連結成分についてその形状特徴に
より監視対象物であるか否かを識別する。この識別結果
は異常判定部55に与えられ、直ちに異常と判定するか、
又は予め禁止区域画像記憶部56に記憶された立入り禁止
区域画像Iz内に当該監視対象物があることを確認の上異
常と判定する。
【0003】
【発明が解決しようとする課題】しかしながら,上記従
来装置には照度変化による誤差と形状誤差の二つの問題
がある。形状誤差は、日射の変化や人工照明の変化等に
より監視区域の照度が変わると画像の輝度が微妙に変化
して上記差分画像に誤差が生ずることであり、著しい場
合には照度変化が原因で現実に存在しないのに監視対象
物が存在するとの誤判定を招くこともある。形状誤差
は、上記差分画像における物の形状が環境の照度変化、
その物と背景との輝度差の不足、その物自体のコントラ
スト不足等のため、その物の実際の形状を明確に表わさ
ないための誤差であり、現実に差分画像では物の一部分
が複数の領域に分断されて抽出される場合が多い。この
形状誤差は、現実に存在するのに監視対象物無しの誤判
定を招く傾向を持つ。
来装置には照度変化による誤差と形状誤差の二つの問題
がある。形状誤差は、日射の変化や人工照明の変化等に
より監視区域の照度が変わると画像の輝度が微妙に変化
して上記差分画像に誤差が生ずることであり、著しい場
合には照度変化が原因で現実に存在しないのに監視対象
物が存在するとの誤判定を招くこともある。形状誤差
は、上記差分画像における物の形状が環境の照度変化、
その物と背景との輝度差の不足、その物自体のコントラ
スト不足等のため、その物の実際の形状を明確に表わさ
ないための誤差であり、現実に差分画像では物の一部分
が複数の領域に分断されて抽出される場合が多い。この
形状誤差は、現実に存在するのに監視対象物無しの誤判
定を招く傾向を持つ。
【0004】上記二つの問題はいずれも差分画像に示さ
れる輝度変化自体を直接に二値化するために生ずるもの
である。
れる輝度変化自体を直接に二値化するために生ずるもの
である。
【0005】本発明者は,監視対象物の動きに着目しこ
れを識別の基準とすれば、輝度変化自体の二値化に起因
する上記問題を解決できることに注目した。従って、本
発明の目的は監視対象物をその動きにより識別する方法
及び装置を提供するにある。
れを識別の基準とすれば、輝度変化自体の二値化に起因
する上記問題を解決できることに注目した。従って、本
発明の目的は監視対象物をその動きにより識別する方法
及び装置を提供するにある。
【0006】
【課題を解決するための手段】図1の実施例及び図2、
3の説明図を参照するに、本発明の動きベクトルによる
識別方法は、例えばTVカメラ等により連続的に生成され
る観察区域画像のフレームFを一定画素数(mxn)のブロ
ックBに分割し;現画像It中の各ブロック内画像を、動
きベクトルV即ち前画像I(t-1)における当該ブロック内
画像に対応する部分から現画像It内の当該ブロック位置
までの動きベクトルVに置換することにより動きベクト
ル画像Iv(図6参照)を出力し;その動きベクトルVを
二値化することにより動きベクトル画像Ivを二値画像Ib
i(図7参照)に変換し;二値画像Ibiに収縮画像処理及
び拡散画像処理を施すことにより同画像中の微小連結成
分を除去し;上記画像処理後の二値画像Ibi中の各連結
成分について、その形状特徴及び当該連結成分の変換前
動きベクトルの動き特徴を、所定監視対象物の形状特徴
及び動き特徴と比較することにより、前記観察区域にお
ける監視対象物を識別してなる構成を用いる。
3の説明図を参照するに、本発明の動きベクトルによる
識別方法は、例えばTVカメラ等により連続的に生成され
る観察区域画像のフレームFを一定画素数(mxn)のブロ
ックBに分割し;現画像It中の各ブロック内画像を、動
きベクトルV即ち前画像I(t-1)における当該ブロック内
画像に対応する部分から現画像It内の当該ブロック位置
までの動きベクトルVに置換することにより動きベクト
ル画像Iv(図6参照)を出力し;その動きベクトルVを
二値化することにより動きベクトル画像Ivを二値画像Ib
i(図7参照)に変換し;二値画像Ibiに収縮画像処理及
び拡散画像処理を施すことにより同画像中の微小連結成
分を除去し;上記画像処理後の二値画像Ibi中の各連結
成分について、その形状特徴及び当該連結成分の変換前
動きベクトルの動き特徴を、所定監視対象物の形状特徴
及び動き特徴と比較することにより、前記観察区域にお
ける監視対象物を識別してなる構成を用いる。
【0007】本発明による上記方法を実施する装置は、
連続的に生成する観察区域画像のフレームFを一定画素
数のブロックBに分割し、現画像It中の各ブロックBt内
画像を、前画像I(t-1)における当該ブロック内画像に対
応する部分の現画像It内当該ブロック位置までの動きベ
クトルVに置換して動きベクトル画像Ivを出力する動き
ベクトル画像形成手段1;前記動きベクトルVを二値化
することにより前記動きベクトル画像Ivを二値画像Ibi
に変換する二値化手段2;並びに収縮画像処理及び拡散
画像処理により微小連結成分を除去し、二値画像Ibi中
の各連結成分の形状特徴及び当該連結成分の変換前動き
ベクトルの動き特徴を所定監視対象物の形状特徴及び動
き特徴と比較することにより前記観察区域における監視
対象物を識別する識別手段3を備えてなる構成を用い
る。
連続的に生成する観察区域画像のフレームFを一定画素
数のブロックBに分割し、現画像It中の各ブロックBt内
画像を、前画像I(t-1)における当該ブロック内画像に対
応する部分の現画像It内当該ブロック位置までの動きベ
クトルVに置換して動きベクトル画像Ivを出力する動き
ベクトル画像形成手段1;前記動きベクトルVを二値化
することにより前記動きベクトル画像Ivを二値画像Ibi
に変換する二値化手段2;並びに収縮画像処理及び拡散
画像処理により微小連結成分を除去し、二値画像Ibi中
の各連結成分の形状特徴及び当該連結成分の変換前動き
ベクトルの動き特徴を所定監視対象物の形状特徴及び動
き特徴と比較することにより前記観察区域における監視
対象物を識別する識別手段3を備えてなる構成を用い
る。
【0008】好ましくは上記動きベクトルVの二値化を
所定の閾値に基づいて行なう。本発明はさらに、上記方
法によって識別した監視対象物が立入り禁止区域にある
ことを検出する監視装置、監視対象物の予測位置が立入
り禁止区域にあることを検出する上記監視装置、及び監
視対象物の識別を画像ブレについて修正する方式の上記
監視装置を提供する。
所定の閾値に基づいて行なう。本発明はさらに、上記方
法によって識別した監視対象物が立入り禁止区域にある
ことを検出する監視装置、監視対象物の予測位置が立入
り禁止区域にあることを検出する上記監視装置、及び監
視対象物の識別を画像ブレについて修正する方式の上記
監視装置を提供する。
【0009】
【作用】本発明の重要な一構成要素である動きベクトル
Vは、いわゆるブロックマッチング手法により求められ
る。この手法によれば、図2に示す様に画像のフレーム
Fを所定画素数、例えば水平方向m画素で垂直方向n画
素の大きさのブロックBに分割し、図3に示す様に現画
像ItのフレームFtの各ブロックBtが前画像I(t-1)のフレ
ームF(t-1)のどの位置から来たかを、現画像Itの各ブロ
ックBtごとに前画像I(t-1)の一定の対応領域とのパター
ンマッチングにより探索する。この探索により、現画像
Itの各ブロックBtごとに前画像I(t-1)に対する動きベク
トルV(図6参照)を求める。
Vは、いわゆるブロックマッチング手法により求められ
る。この手法によれば、図2に示す様に画像のフレーム
Fを所定画素数、例えば水平方向m画素で垂直方向n画
素の大きさのブロックBに分割し、図3に示す様に現画
像ItのフレームFtの各ブロックBtが前画像I(t-1)のフレ
ームF(t-1)のどの位置から来たかを、現画像Itの各ブロ
ックBtごとに前画像I(t-1)の一定の対応領域とのパター
ンマッチングにより探索する。この探索により、現画像
Itの各ブロックBtごとに前画像I(t-1)に対する動きベク
トルV(図6参照)を求める。
【0010】フレームFが水平方向にx画素、垂直方向
にy画素を有する場合には、このフレームFを水平方向
に(x/m)ブロック、垂直方向に(y/n)ブロックからなるも
のとして表わすことができる。以下の説明において、画
素座標系の座標をx、yで表わしたときのブロック座標
系の座標X、Yを次のように定義する。 X=(x/m)、 Y=(y/m) ・・・(1)
にy画素を有する場合には、このフレームFを水平方向
に(x/m)ブロック、垂直方向に(y/n)ブロックからなるも
のとして表わすことができる。以下の説明において、画
素座標系の座標をx、yで表わしたときのブロック座標
系の座標X、Yを次のように定義する。 X=(x/m)、 Y=(y/m) ・・・(1)
【0011】図1の動きベクトル画像形成手段1におい
て動きベクトルVを抽出するには、動きベクトルVを求
めようとする現画像Itの特定ブロックBtに対し前画像I
(t-1)を図3(b)の矢印の様に順次1画素づつ水平方向及
び垂直方向に移動させる。1画素移動するごとに、その
特定画像ブロックBtと、前画像I(t-1)中の特定画像ブロ
ックBtに重なった部分との間の画像差分を検出し、当該
特定画像ブロックBt内の全ての画素に対する前記画像差
分の絶対値の総和、即ち絶対差分総和Eをその時の前画
像I(t-1)の移動量(i、j)と共に記憶する。図3(b)は、
前画像I(t-1)を水平方向に−μからμまで(-μ≦i<μ)
1画素づつ移動させ、垂直方向に−νからνまで(-ν≦
j<ν)1画素づつ移動させたことを示す。この場合の絶
対差分総和Eは次式で表わせる。
て動きベクトルVを抽出するには、動きベクトルVを求
めようとする現画像Itの特定ブロックBtに対し前画像I
(t-1)を図3(b)の矢印の様に順次1画素づつ水平方向及
び垂直方向に移動させる。1画素移動するごとに、その
特定画像ブロックBtと、前画像I(t-1)中の特定画像ブロ
ックBtに重なった部分との間の画像差分を検出し、当該
特定画像ブロックBt内の全ての画素に対する前記画像差
分の絶対値の総和、即ち絶対差分総和Eをその時の前画
像I(t-1)の移動量(i、j)と共に記憶する。図3(b)は、
前画像I(t-1)を水平方向に−μからμまで(-μ≦i<μ)
1画素づつ移動させ、垂直方向に−νからνまで(-ν≦
j<ν)1画素づつ移動させたことを示す。この場合の絶
対差分総和Eは次式で表わせる。
【0012】
【数1】 ・・・(2)こうして各ブロックBtに対して1画素移動ご
とに算出した2μx2ν個の絶対差分総和Eを記憶し、そ
れらの絶対差分総和E中の最小値に対応する移動量(i,
j)を動きベクトルVとする。ここに移動量(i,j)は水平
方向にi画素で垂直方向にj画素の移動を示す。要する
に、動きベクトルVは絶対差分総和Eの最小値を与える
前画像の移動量に相当する。
とに算出した2μx2ν個の絶対差分総和Eを記憶し、そ
れらの絶対差分総和E中の最小値に対応する移動量(i,
j)を動きベクトルVとする。ここに移動量(i,j)は水平
方向にi画素で垂直方向にj画素の移動を示す。要する
に、動きベクトルVは絶対差分総和Eの最小値を与える
前画像の移動量に相当する。
【0013】本発明によれば、例えば図5の観察区域画
像を画像構成要素の輝度ではなく、画像を構成する各ブ
ロックの動きベクトルVとして捕える。但しブロックの
大きさは、図示例のものに限定されず、任意に選定でき
る。図5では、監視対象物である人間が足元に影を伴い
ながら小動物を連れて右方向に進んでおり、その左に木
立があって右向きの風によって揺れているものとする。
像を画像構成要素の輝度ではなく、画像を構成する各ブ
ロックの動きベクトルVとして捕える。但しブロックの
大きさは、図示例のものに限定されず、任意に選定でき
る。図5では、監視対象物である人間が足元に影を伴い
ながら小動物を連れて右方向に進んでおり、その左に木
立があって右向きの風によって揺れているものとする。
【0014】図1の二値化手段2は、動きベクトル画像
Ivを二値画像Ibiに変換するが、これは画像処理を施す
ためである。図示例の識別手段3は、二値画像Ibiに対
し収縮拡散手段20によってまず収縮画像処理を施してこ
れを例えば図8の画像Ibcに変換し、さらに拡散画像処
理を施して例えば図9の画像Ibeに変換する。これらの
収縮・拡散画像処理は、図6と図9との比較から明らか
なように、二値画像Ibi中の小さな部分や幅の狭い部分
を取り除く。たとえば、雑音による画像中の小部分、観
察区域における監視対象外の微小物体に対する画像中の
小部分や狭隘部分を除去することができる。収縮・拡散
画像処理後の連結成分を図10のようにラベリングするこ
とにより相互に区別する。図1のラベリング手段22はこ
のためのものである。
Ivを二値画像Ibiに変換するが、これは画像処理を施す
ためである。図示例の識別手段3は、二値画像Ibiに対
し収縮拡散手段20によってまず収縮画像処理を施してこ
れを例えば図8の画像Ibcに変換し、さらに拡散画像処
理を施して例えば図9の画像Ibeに変換する。これらの
収縮・拡散画像処理は、図6と図9との比較から明らか
なように、二値画像Ibi中の小さな部分や幅の狭い部分
を取り除く。たとえば、雑音による画像中の小部分、観
察区域における監視対象外の微小物体に対する画像中の
小部分や狭隘部分を除去することができる。収縮・拡散
画像処理後の連結成分を図10のようにラベリングするこ
とにより相互に区別する。図1のラベリング手段22はこ
のためのものである。
【0015】画像処理及びラベリングに続く識別処理の
一例の構成を図1に、その流れ図を図13に示す。ステッ
プ101でまず形状特徴抽出手段24の形状特徴出力に対す
る識別を比較手段28によって行う。図示例では、ラベリ
ングで区別した各連結成分ごとに縦幅Hと横幅Wを形状
特徴として抽出し、比較手段28がその何れも一定範囲内
であるとの条件、即ちHmin<H<Hmaxで且つWmin<
W<Wmaxとの条件を満たさないものは監視対象物では
ないと識別する。但し、本発明で使われる形状特徴は縦
幅・横幅に限定されず、例えば連結成分の面積等を形状
特徴に含めてもよい。要するに、監視対象物を人間とし
た場合には、代表的な人体形状特徴の範囲を予め記憶し
ておき、各連結成分から形状特徴抽出手段24によって抽
出した形状特徴がその人体形状特徴の範囲内にあるか否
かを判断することにより、非常に大きな連結成分や非常
に小さな連結成分、例えば小動物に相当する図10の記号
Aのラベル成分や残存雑音成分(図示せず)を監視対象
ではないと識別することができる。
一例の構成を図1に、その流れ図を図13に示す。ステッ
プ101でまず形状特徴抽出手段24の形状特徴出力に対す
る識別を比較手段28によって行う。図示例では、ラベリ
ングで区別した各連結成分ごとに縦幅Hと横幅Wを形状
特徴として抽出し、比較手段28がその何れも一定範囲内
であるとの条件、即ちHmin<H<Hmaxで且つWmin<
W<Wmaxとの条件を満たさないものは監視対象物では
ないと識別する。但し、本発明で使われる形状特徴は縦
幅・横幅に限定されず、例えば連結成分の面積等を形状
特徴に含めてもよい。要するに、監視対象物を人間とし
た場合には、代表的な人体形状特徴の範囲を予め記憶し
ておき、各連結成分から形状特徴抽出手段24によって抽
出した形状特徴がその人体形状特徴の範囲内にあるか否
かを判断することにより、非常に大きな連結成分や非常
に小さな連結成分、例えば小動物に相当する図10の記号
Aのラベル成分や残存雑音成分(図示せず)を監視対象
ではないと識別することができる。
【0016】次に、図13のステップ102、103で動き特徴
抽出手段26の動き特徴出力に対する識別処理を比較手段
28によって行う。図示例では、ラベリングで区別した各
連結成分毎に速度Vと速度ばらつきΔVを動き特徴とし
て抽出し、比較手段28が速度Vと速度ばらつきΔVの何
れも一定範囲内にあるとの条件、即ちV<Vmaxにして
ΔV<Vmaxであるとの条件を満たさないものは監視対
象物ではないと判断する。図13の場合、速度Vの水平成
分及び垂直成分として連結成分内の動きベクトルVの水
平成分Vi及び垂直成分Vjの最大頻度のものの絶対値|Vi
c|及び|Vjc|を用い、速度ばらつきΔVとして連結成
分内の動きベクトルVの水平成分Vi及び垂直成分Vjの各
々につき最大値と最小値との差の絶対値|ΔVi|及び|
ΔVj|を速度を用いている。即ち、速度Vと速度ばらつ
きΔVの両者について水平成分及び垂直成分の識別を行
っている。但し、本発明で使われる動き特徴は速度と速
度ばらつきとの組合せに限定されず,例えば加速度を動
き特徴に含めてもよい。さらに速度と速度ばらつきの抽
出方法も上記例に限定されず、例えば中央値、平均値、
標準偏差、ベクトル表現等を利用してもよい。速度によ
る識別は、例えば自動車や鳥等の高速移動体をこの場合
人間である低速の監視対象物から識別することを可能に
する。速度ばらつきによる識別は、例えば木立の枝葉等
の異方向に動く部分が含まれる複雑移動体をこの場合人
間である一体的運動の監視対象物から識別することを可
能にし、図10で木立に相当する記号Cのラベル成分を監
視対象から除外することができる。
抽出手段26の動き特徴出力に対する識別処理を比較手段
28によって行う。図示例では、ラベリングで区別した各
連結成分毎に速度Vと速度ばらつきΔVを動き特徴とし
て抽出し、比較手段28が速度Vと速度ばらつきΔVの何
れも一定範囲内にあるとの条件、即ちV<Vmaxにして
ΔV<Vmaxであるとの条件を満たさないものは監視対
象物ではないと判断する。図13の場合、速度Vの水平成
分及び垂直成分として連結成分内の動きベクトルVの水
平成分Vi及び垂直成分Vjの最大頻度のものの絶対値|Vi
c|及び|Vjc|を用い、速度ばらつきΔVとして連結成
分内の動きベクトルVの水平成分Vi及び垂直成分Vjの各
々につき最大値と最小値との差の絶対値|ΔVi|及び|
ΔVj|を速度を用いている。即ち、速度Vと速度ばらつ
きΔVの両者について水平成分及び垂直成分の識別を行
っている。但し、本発明で使われる動き特徴は速度と速
度ばらつきとの組合せに限定されず,例えば加速度を動
き特徴に含めてもよい。さらに速度と速度ばらつきの抽
出方法も上記例に限定されず、例えば中央値、平均値、
標準偏差、ベクトル表現等を利用してもよい。速度によ
る識別は、例えば自動車や鳥等の高速移動体をこの場合
人間である低速の監視対象物から識別することを可能に
する。速度ばらつきによる識別は、例えば木立の枝葉等
の異方向に動く部分が含まれる複雑移動体をこの場合人
間である一体的運動の監視対象物から識別することを可
能にし、図10で木立に相当する記号Cのラベル成分を監
視対象から除外することができる。
【0017】上記識別の結果、図11の二値検出画像Igの
ようにラベルBを付けた人間の連結成分のみを監視対象
物として識別することができる。しかも図11の画像Igに
至る識別過程は監視対象物の動きに基づく識別であって
輝度差によるものではない。従って、本発明の識別方法
は理論的に照度変化、監視対象物と背景との輝度差の高
低、監視対象物自体のコントラストの高低等の影響を殆
ど受けず,従来技術の問題点を解決する。
ようにラベルBを付けた人間の連結成分のみを監視対象
物として識別することができる。しかも図11の画像Igに
至る識別過程は監視対象物の動きに基づく識別であって
輝度差によるものではない。従って、本発明の識別方法
は理論的に照度変化、監視対象物と背景との輝度差の高
低、監視対象物自体のコントラストの高低等の影響を殆
ど受けず,従来技術の問題点を解決する。
【0018】こうして本発明の目的である「監視対象物
をその動きにより識別する方法及び装置の提供」が達成
される。
をその動きにより識別する方法及び装置の提供」が達成
される。
【0019】
【実施例】図4に動きベクトル画像形成手段1の構成の
一例を示す。時間的に連続して入力するデイジタル入力
画像Iは、第1切換手段10aにより第1現画像記憶手段1
2a又は第2現画像記憶手段12bに交互に記憶される。同
時に、第2切換手段10bによって第1現画像記憶手段12
b又は第2現画像記憶手段12aから交互に既記憶画像が
現画像Itとしてブロック単位で読出される。この際、現
在読出しが行われていない第1現画像記憶手段12a又は
第2現画像記憶手段12bに入力画像が書込まれ、現在書
込みが行われていない第2現画像記憶手段12b又は第1
現画像記憶手段12aから読出される。読出された現画像I
tは、第3切換手段10cと以下に説明するブロックマッチ
ング手段14の一方の入力に並列に加えられる。
一例を示す。時間的に連続して入力するデイジタル入力
画像Iは、第1切換手段10aにより第1現画像記憶手段1
2a又は第2現画像記憶手段12bに交互に記憶される。同
時に、第2切換手段10bによって第1現画像記憶手段12
b又は第2現画像記憶手段12aから交互に既記憶画像が
現画像Itとしてブロック単位で読出される。この際、現
在読出しが行われていない第1現画像記憶手段12a又は
第2現画像記憶手段12bに入力画像が書込まれ、現在書
込みが行われていない第2現画像記憶手段12b又は第1
現画像記憶手段12aから読出される。読出された現画像I
tは、第3切換手段10cと以下に説明するブロックマッチ
ング手段14の一方の入力に並列に加えられる。
【0020】上記第3切換手段10cが第1前画像記憶手
段16a又は第2前画像記憶手段16bへ交互に接続され、第
4切換手段10dが第2前画像記憶手段16b又は第1前画像
記憶手段16aへ交互に接続されて前画像I(t-1)を読出
す。この場合も、現在読出しが行われていない第1前画
像記憶手段16a又は第2現画像記憶手段16に書込まれ、
現在書込みが行われていない第2前画像記憶手段16b又
は第1前画像記憶手段16aから読出される。ブロック単
位で読出された前画像I(t-1)は、ブロックマッチング手
段14の他方の入力に加えられる。
段16a又は第2前画像記憶手段16bへ交互に接続され、第
4切換手段10dが第2前画像記憶手段16b又は第1前画像
記憶手段16aへ交互に接続されて前画像I(t-1)を読出
す。この場合も、現在読出しが行われていない第1前画
像記憶手段16a又は第2現画像記憶手段16に書込まれ、
現在書込みが行われていない第2前画像記憶手段16b又
は第1前画像記憶手段16aから読出される。ブロック単
位で読出された前画像I(t-1)は、ブロックマッチング手
段14の他方の入力に加えられる。
【0021】両現画像記憶手段12a、12b及び両前画像記
憶手段16a、16bの書込み時間と読み出し時間は全て等し
い。さらに、ブロックマッチング手段14の処理、即ち上
記ブロックごとの動きベクトルV算出処理はこの書込み
時間又は読み出し時間内に行われる。この様な構成の下
で、第1ないし第4切換手段10a、10b、10c及び10dを上
記の様に交互に動作させることにより、時間的に連続し
て入力されるデイジタル画像を実時間で逐次処理するこ
とが可能になる。
憶手段16a、16bの書込み時間と読み出し時間は全て等し
い。さらに、ブロックマッチング手段14の処理、即ち上
記ブロックごとの動きベクトルV算出処理はこの書込み
時間又は読み出し時間内に行われる。この様な構成の下
で、第1ないし第4切換手段10a、10b、10c及び10dを上
記の様に交互に動作させることにより、時間的に連続し
て入力されるデイジタル画像を実時間で逐次処理するこ
とが可能になる。
【0022】この実施例ではブロックマッチング手段14
からの動きベクトルVをフィルタ手段17を通した後、画
像形成手段18により動きベクトル画像Ivに用いる。これ
は、実際には画像変化がなく動きベクトルVがない時
に、画像信号の雑音等により誤って有限値の動きベクト
ルVが生ずるのを防ぐためである。例えば、上記動きベ
クトルVに対し閾値Vt(it、jt)を設定し、Vi<Vit
且つVj<Vjtの時は、強制的に動きベクトルV=0と
する。ここに、Vi及びVitは動きベクトルV及び動き
ベクトル閾値Vtの水平方向成分をそれぞれ示し、Vj及
びVjtは動きベクトルV及び動きベクトル閾値Vtの垂
直方向成分をそれぞれ示す。本発明において、動きベク
トル画像Ivを二値化した後に収縮画像処理及び拡散画像
処理を施して雑音除去を図る実施例では、この閾値を
零、即ちVit=0、Vjt=0としフィルタ手段17を省略する
ことも可能である。
からの動きベクトルVをフィルタ手段17を通した後、画
像形成手段18により動きベクトル画像Ivに用いる。これ
は、実際には画像変化がなく動きベクトルVがない時
に、画像信号の雑音等により誤って有限値の動きベクト
ルVが生ずるのを防ぐためである。例えば、上記動きベ
クトルVに対し閾値Vt(it、jt)を設定し、Vi<Vit
且つVj<Vjtの時は、強制的に動きベクトルV=0と
する。ここに、Vi及びVitは動きベクトルV及び動き
ベクトル閾値Vtの水平方向成分をそれぞれ示し、Vj及
びVjtは動きベクトルV及び動きベクトル閾値Vtの垂
直方向成分をそれぞれ示す。本発明において、動きベク
トル画像Ivを二値化した後に収縮画像処理及び拡散画像
処理を施して雑音除去を図る実施例では、この閾値を
零、即ちVit=0、Vjt=0としフィルタ手段17を省略する
ことも可能である。
【0023】図14は、上記識別方法を利用した監視装置
の構成を示す。立入り禁止区域が含まれる監視区域をTV
カメラ等の画像入力手段5によって常時監視する。画像
入力手段5からの画像Iを、図1を参照してすでに説明
した動きベクトル画像形成手段1、二値化手段2、及び
識別手段3により処理し、監視対象物を識別した場合に
は二値検出画像Ig(図11)がその監視対象物に対応した
連結成分を明示する。この実施例では、禁止区域記憶手
段7が、例えば図12の様な立入り禁止区域位置Zの含ま
れる画像Izを記憶する。異常判定手段8が、上記二値検
出画像Ig(図11)中の監視対象物と上記禁止区域画像Iz中
の立入禁止区域位置Zとの重なりの有無を識別する。そ
の重なりがある時は監視対象物が立入り禁止区域内に在
り、異常であると判断する。好ましくは、上記重なり部
分における画像ブロックの数が、予め設置した数を超え
た時をもって異常とする。以上の説明では、人間を監視
対象物としたが、監視対象物は人間のみに限定去れるも
のではなく、例えば工事現場の安全管理等の場合には、
自動車,トラック、クレーン等の大型移動物体を個別に
又は網羅的に監視対象物とすることができる。
の構成を示す。立入り禁止区域が含まれる監視区域をTV
カメラ等の画像入力手段5によって常時監視する。画像
入力手段5からの画像Iを、図1を参照してすでに説明
した動きベクトル画像形成手段1、二値化手段2、及び
識別手段3により処理し、監視対象物を識別した場合に
は二値検出画像Ig(図11)がその監視対象物に対応した
連結成分を明示する。この実施例では、禁止区域記憶手
段7が、例えば図12の様な立入り禁止区域位置Zの含ま
れる画像Izを記憶する。異常判定手段8が、上記二値検
出画像Ig(図11)中の監視対象物と上記禁止区域画像Iz中
の立入禁止区域位置Zとの重なりの有無を識別する。そ
の重なりがある時は監視対象物が立入り禁止区域内に在
り、異常であると判断する。好ましくは、上記重なり部
分における画像ブロックの数が、予め設置した数を超え
た時をもって異常とする。以上の説明では、人間を監視
対象物としたが、監視対象物は人間のみに限定去れるも
のではなく、例えば工事現場の安全管理等の場合には、
自動車,トラック、クレーン等の大型移動物体を個別に
又は網羅的に監視対象物とすることができる。
【0024】図14の実施例は監視対象物が立入禁止区域
に侵入してから検出するが、例えば工事現場等では侵入
後の検出では既に手遅れとなることがある。トラックや
クレーン等の大型車両が地盤の弱い地域に入れば人身事
故を伴う重大事故を招く恐れがある。従って、立入禁止
区域に監視対象物が侵入する前に、侵入が予測される事
態を検出する装置の開発が要望されている。
に侵入してから検出するが、例えば工事現場等では侵入
後の検出では既に手遅れとなることがある。トラックや
クレーン等の大型車両が地盤の弱い地域に入れば人身事
故を伴う重大事故を招く恐れがある。従って、立入禁止
区域に監視対象物が侵入する前に、侵入が予測される事
態を検出する装置の開発が要望されている。
【0025】この要望に答えるため図16に示す本発明の
一実施例は、まず図14と同様な画像入力手段5、動きベ
クトル画像形成手段1、二値化手段2、及び識別手段3
によって監視対象物に対応する連結成分を含む例えば図
11に示す様な二値画像Igを生成させる.その後、その監
視対象物として識別された連結成分(図26の斜線陰影部)
に対応する前記動きベクトル画像中の動きベクトルVに
基き所定時間(τ)後の前記連結成分の見込位置を予測状
態記憶手段32中の第一予測手段34a(図19参照)によっ
て予測する。前記所定時間(τ)経過後に当該経過後に得
られる二値画像Ig中の前記連結成分の位置と前記見込位
置との差を予測一致判定手段38(図19参照)によって検出
して、所定値以下の前記差を予測的中とすると共に、前
記所定時間(τ)のN回以上の連続中に予測された前記見
込位置のうち連続的な予測的中の数Nを前記予測状態記
憶手段32内に記憶する。前記所定時間(τ)を前記連続的
な的中回数N以下の整数(α)倍した時間(ατ)後の前記
連結成分の位置(図26の破線陰影部)を前記動きベクトル
に基づき異常判定手段40中の第二予測手段34b(図19参
照)によって予測し、前記第二予測手段34bにより予測さ
れた前記連結成分の位置(図26の破線陰影部)と禁止区域
記憶手段7内の禁止区域画像Izにおける禁止区域位置Z
(図26参照)との重なりを異常判定手段40によって検出す
る。
一実施例は、まず図14と同様な画像入力手段5、動きベ
クトル画像形成手段1、二値化手段2、及び識別手段3
によって監視対象物に対応する連結成分を含む例えば図
11に示す様な二値画像Igを生成させる.その後、その監
視対象物として識別された連結成分(図26の斜線陰影部)
に対応する前記動きベクトル画像中の動きベクトルVに
基き所定時間(τ)後の前記連結成分の見込位置を予測状
態記憶手段32中の第一予測手段34a(図19参照)によっ
て予測する。前記所定時間(τ)経過後に当該経過後に得
られる二値画像Ig中の前記連結成分の位置と前記見込位
置との差を予測一致判定手段38(図19参照)によって検出
して、所定値以下の前記差を予測的中とすると共に、前
記所定時間(τ)のN回以上の連続中に予測された前記見
込位置のうち連続的な予測的中の数Nを前記予測状態記
憶手段32内に記憶する。前記所定時間(τ)を前記連続的
な的中回数N以下の整数(α)倍した時間(ατ)後の前記
連結成分の位置(図26の破線陰影部)を前記動きベクトル
に基づき異常判定手段40中の第二予測手段34b(図19参
照)によって予測し、前記第二予測手段34bにより予測さ
れた前記連結成分の位置(図26の破線陰影部)と禁止区域
記憶手段7内の禁止区域画像Izにおける禁止区域位置Z
(図26参照)との重なりを異常判定手段40によって検出す
る。
【0026】上記予測位置判定の実施例をさらに説明す
るに、図17に示すような観察区域の現画像Itから、動き
ベクトル画像形成手段1、二値化手段2、及び識別手段
3によって監視対象物に対応する連結成分を含む二値画
像Ig(図11参照)を得、動きベクトル変換手段30によって
その二値画像Igを図18の検出ベクトル画像Igvに変換す
る。この変換は二値画像Igと図6の動きベクトル画像Iv
との間でブロックに突き合わせをして行うことができ
る。
るに、図17に示すような観察区域の現画像Itから、動き
ベクトル画像形成手段1、二値化手段2、及び識別手段
3によって監視対象物に対応する連結成分を含む二値画
像Ig(図11参照)を得、動きベクトル変換手段30によって
その二値画像Igを図18の検出ベクトル画像Igvに変換す
る。この変換は二値画像Igと図6の動きベクトル画像Iv
との間でブロックに突き合わせをして行うことができ
る。
【0027】図19は予測状態記憶手段32の構成の一例を
示す。第1予測処理手段34aは、前画像I(t-1)が予測状
態記憶手段32へ入力した時に、図18の検出ベクトル画像
Igvにおける動きベクトルVが次の現画像Itの時点まで
持続すると仮定して予測ベクトル画像Igveを算出してこ
れを記憶手段36に記憶する。図25(a)に第1予測処理手
段34aによる予測を図式的に示す。基本的には、点線の
前画像I(t-1)から実線の現画像Itに至った動きは、実線
の現画像Itから一点鎖線の次画像I(t+1)への動きにも継
続されると仮定し、次画像I(t+1)は現画像Itの各ブロッ
ク位置の座標を当該ブロックの動きベクトルVの大きさ
だけ移動すれば得られるものとして予測する。ここで注
意すべきことに、動きベクトルV(i、j)の水平成分Vi及
び垂直成分Vjは画素単位(画素座標系の座標軸上の単
位)で表わされるが、ブロック移動は上記(1)式のブロッ
ク座標系の座標(X、Y)に従いブロックの整数倍の座
標変化のみを行う。従って、上記予測に先立ち現画像It
の動きベクトルVの画素座標系の座標(x、y)をブロ
ック座標系の座標(X、Y)に変換する。この変換は、
図22の流れ図におけるステップ121及び122に示す様に、
特定ブロックの現時点動きベクトルVtの水平方向成分V
ti及び垂直方向成分V tjを当該ブロックの水平方向幅の
半分(m/2)及び垂直方向幅の半分(n/2)で除して商Sx及
びSyを得、それらの商に小数点以下四捨五入を施し
て、ブロック座標系の動きベクトルV(Sxr、Syr)を
得る。第1予測処理手段34aは、原時点tで座標(X、
Y)にあるブロックが次時点(t+1)では次式の座標
(X +1、Y +1)へ移動すると予測する。
示す。第1予測処理手段34aは、前画像I(t-1)が予測状
態記憶手段32へ入力した時に、図18の検出ベクトル画像
Igvにおける動きベクトルVが次の現画像Itの時点まで
持続すると仮定して予測ベクトル画像Igveを算出してこ
れを記憶手段36に記憶する。図25(a)に第1予測処理手
段34aによる予測を図式的に示す。基本的には、点線の
前画像I(t-1)から実線の現画像Itに至った動きは、実線
の現画像Itから一点鎖線の次画像I(t+1)への動きにも継
続されると仮定し、次画像I(t+1)は現画像Itの各ブロッ
ク位置の座標を当該ブロックの動きベクトルVの大きさ
だけ移動すれば得られるものとして予測する。ここで注
意すべきことに、動きベクトルV(i、j)の水平成分Vi及
び垂直成分Vjは画素単位(画素座標系の座標軸上の単
位)で表わされるが、ブロック移動は上記(1)式のブロッ
ク座標系の座標(X、Y)に従いブロックの整数倍の座
標変化のみを行う。従って、上記予測に先立ち現画像It
の動きベクトルVの画素座標系の座標(x、y)をブロ
ック座標系の座標(X、Y)に変換する。この変換は、
図22の流れ図におけるステップ121及び122に示す様に、
特定ブロックの現時点動きベクトルVtの水平方向成分V
ti及び垂直方向成分V tjを当該ブロックの水平方向幅の
半分(m/2)及び垂直方向幅の半分(n/2)で除して商Sx及
びSyを得、それらの商に小数点以下四捨五入を施し
て、ブロック座標系の動きベクトルV(Sxr、Syr)を
得る。第1予測処理手段34aは、原時点tで座標(X、
Y)にあるブロックが次時点(t+1)では次式の座標
(X +1、Y +1)へ移動すると予測する。
【0028】 X +1=X+Sxr ・・・(3) Y +1=Y+Syr ・・・(4) 図22のステップ123は上式の演算過程を示す。現画像It
の各ブロックに対して上式の予測を行えば予測ベクトル
画像Igveを算出することができる。なお、移動後の座標
(X +1、Y +1)における動きベクトルは、前画像I(t-1)を
移動させる際に使った動きベクトルVtであるとする。
図25(a)において、前画像I(t-1)から現画像Itに至る動
きベクトルVを両画像の中心点間の線分として表わすこ
とが可能であるが、この場合動きベクトルVが次画像I
(t+1)まで継続するとの仮定の下に現画像Itの中心点か
ら上記動きベクトルVを画素座標で書いてもその先端は
一点鎖線で示す次画像I(t+1)中心にはない。これは、次
画像I(t+1)の位置の予測が上記の様に画素座標系で行わ
れず、ブロック座標系で行われるためである。
の各ブロックに対して上式の予測を行えば予測ベクトル
画像Igveを算出することができる。なお、移動後の座標
(X +1、Y +1)における動きベクトルは、前画像I(t-1)を
移動させる際に使った動きベクトルVtであるとする。
図25(a)において、前画像I(t-1)から現画像Itに至る動
きベクトルVを両画像の中心点間の線分として表わすこ
とが可能であるが、この場合動きベクトルVが次画像I
(t+1)まで継続するとの仮定の下に現画像Itの中心点か
ら上記動きベクトルVを画素座標で書いてもその先端は
一点鎖線で示す次画像I(t+1)中心にはない。これは、次
画像I(t+1)の位置の予測が上記の様に画素座標系で行わ
れず、ブロック座標系で行われるためである。
【0029】図19の予測状態記億手段32内の予測一致判
定手段38は、検出ベクトル画像Igvが予測状態記憶手段3
2へ入力した時に、その検出ベクトル画像Igvとさきに第
1予測処理手段34aが予測した予測ベクトル画像Igveと
を比較する。この比較は、ブロックごとに動きベクトル
の比較によって行う。図21は予測一致判定手段38におけ
る判定の流れを示し、図のVit及びVjtは検出ベクトル画
像Igv中のブロックにおける動きベクトルVの水平成分
及び垂直成分を示し、Vit-1及びVjt-1は検出ベクトル画
像Igv中の当該ブロックと同一位置における予測ベクト
ル画像Igveのブロックにおける動きベクトルVの水平成
分及び垂直成分を示す。ステップ111及び112では、検出
ベクトル画像Igv中の任意のブロック位置の動きベクト
ルVの水平方向成分及び垂直方向成分と、同じ位置の予
測ベクトル画像Igveの動きベクトルVとの間でそれぞれ
差の絶対値を算出し、それら絶対値が予め設定された一
致にたいする許容値(Δi、Δj)より小さいか否か判
断する。各成分とも許容値内にある場合は、一致若しく
は予測的中と判断してステップ113に示す様にカウンタ3
9内の連続的中回数Nに1を加算する。水平成分又は垂
直成分いずれか一方の成分が許容値以上である場合に
は、ステップ114に示す様に連続的中回数Nを強制的に
N=1とする。
定手段38は、検出ベクトル画像Igvが予測状態記憶手段3
2へ入力した時に、その検出ベクトル画像Igvとさきに第
1予測処理手段34aが予測した予測ベクトル画像Igveと
を比較する。この比較は、ブロックごとに動きベクトル
の比較によって行う。図21は予測一致判定手段38におけ
る判定の流れを示し、図のVit及びVjtは検出ベクトル画
像Igv中のブロックにおける動きベクトルVの水平成分
及び垂直成分を示し、Vit-1及びVjt-1は検出ベクトル画
像Igv中の当該ブロックと同一位置における予測ベクト
ル画像Igveのブロックにおける動きベクトルVの水平成
分及び垂直成分を示す。ステップ111及び112では、検出
ベクトル画像Igv中の任意のブロック位置の動きベクト
ルVの水平方向成分及び垂直方向成分と、同じ位置の予
測ベクトル画像Igveの動きベクトルVとの間でそれぞれ
差の絶対値を算出し、それら絶対値が予め設定された一
致にたいする許容値(Δi、Δj)より小さいか否か判
断する。各成分とも許容値内にある場合は、一致若しく
は予測的中と判断してステップ113に示す様にカウンタ3
9内の連続的中回数Nに1を加算する。水平成分又は垂
直成分いずれか一方の成分が許容値以上である場合に
は、ステップ114に示す様に連続的中回数Nを強制的に
N=1とする。
【0030】以上説明した予測状態記億手段32内の第1
予測処理手段34aは、現時点tから所定時間(τ)後の監
視対象物の見込位置を予測するのであるが、図16の実施
例はその所定時間(τ)の整数(α)倍の時間(ατ)後の監
視対象物位置を予測しながら監視するものである。この
ための異常判定手段40の詳細を図20に示す。異常判定手
段40中の第2予測処理手段34bは、整数(α)が予測状態
記億手段32で検出された連続的中回数Nに等しい(α=
N)の場合について、時間(Nτ)後の監視対象物位置を
予測する。その原理は、過去N回に亘り連続して予測が
的中したので、爾後N回も同様に推移する、即ち現画像
Itの各ブロックBtは当該ブロックの現時点の動きベクト
ルVtのN倍だけ移動するものとして予測演算をする。
図25bは、時間(Nτ)後のブロック位置予測演算の原理
を図式的に示すが、その要旨は図25aを参照して所定時
間(τ)後の予測演算について説明した処理を動きベクト
ルがN倍になった場合について行っているに過ぎない。
図23は第2予測処理手段34bの処理の流れ図であるが、
その原理は図22における第1予測処理手段34aの流れを
動きベクトルがN倍になった場合について行うもので、
原時点tで座標(X、Y)にあるブロックが時間(Nτ)後
の時点(t+N)ではステップ134に示される次式の座標
(X +N、Y +N)へ移動すると予測する。
予測処理手段34aは、現時点tから所定時間(τ)後の監
視対象物の見込位置を予測するのであるが、図16の実施
例はその所定時間(τ)の整数(α)倍の時間(ατ)後の監
視対象物位置を予測しながら監視するものである。この
ための異常判定手段40の詳細を図20に示す。異常判定手
段40中の第2予測処理手段34bは、整数(α)が予測状態
記億手段32で検出された連続的中回数Nに等しい(α=
N)の場合について、時間(Nτ)後の監視対象物位置を
予測する。その原理は、過去N回に亘り連続して予測が
的中したので、爾後N回も同様に推移する、即ち現画像
Itの各ブロックBtは当該ブロックの現時点の動きベクト
ルVtのN倍だけ移動するものとして予測演算をする。
図25bは、時間(Nτ)後のブロック位置予測演算の原理
を図式的に示すが、その要旨は図25aを参照して所定時
間(τ)後の予測演算について説明した処理を動きベクト
ルがN倍になった場合について行っているに過ぎない。
図23は第2予測処理手段34bの処理の流れ図であるが、
その原理は図22における第1予測処理手段34aの流れを
動きベクトルがN倍になった場合について行うもので、
原時点tで座標(X、Y)にあるブロックが時間(Nτ)後
の時点(t+N)ではステップ134に示される次式の座標
(X +N、Y +N)へ移動すると予測する。
【0031】 X +N=X+Sxr ・・・(5) Y +N=Y+Syr ・・・(6) ただし、(5)式のSxr及び(6)のSyrはそれぞれ(3)式の
Sxr及び(4)のSyrのN倍である。検出ベクトル画像Igv
のすべてのブロックに対して(5)式及び(6)の予測演算を
施して時間(Nτ)後の監視対象物の予測位置が含まれる
予測ベクトル画像を得、これに二値化処理を加えること
により時間(Nτ)後の予測二値画像Igeを得ることがで
きる。時間τに対する倍数αがNである(α=N)場合に
ついて説明したが、演算自体は任意の整数αに対して実
施可能である。
Sxr及び(4)のSyrのN倍である。検出ベクトル画像Igv
のすべてのブロックに対して(5)式及び(6)の予測演算を
施して時間(Nτ)後の監視対象物の予測位置が含まれる
予測ベクトル画像を得、これに二値化処理を加えること
により時間(Nτ)後の予測二値画像Igeを得ることがで
きる。時間τに対する倍数αがNである(α=N)場合に
ついて説明したが、演算自体は任意の整数αに対して実
施可能である。
【0032】図24は、異常判定手段40中の第2予測処理
手段34bにおけ処理の流れを示す。ステップ141におい
て、図26に示される禁止区域記憶手段7の区域画像Iz
と、現時点の検出二値画像Ig及び時間(Nτ)後の予測二
値画像Igeを比較し、立入り禁止区域Z内に入る画像Ig
及び/又はIge中の非零ブロックの数Nbが予め設定され
た許容値Neを上回るか否か判断し、上回らない場合は異
常なしとして演算を終了し、上回る場合は次のステップ
142へ進む。ステップ142において、立入り禁止区域Z内
に入った前記非零ブロックに予測二値画像Igeのものの
みであるか否か判断し、画像Igeのもののみである場合
は「異常が予想される」と判定して演算を終了し、画像Ig
eのもののみではない場合は「異常」と判定して演算を終
了する。
手段34bにおけ処理の流れを示す。ステップ141におい
て、図26に示される禁止区域記憶手段7の区域画像Iz
と、現時点の検出二値画像Ig及び時間(Nτ)後の予測二
値画像Igeを比較し、立入り禁止区域Z内に入る画像Ig
及び/又はIge中の非零ブロックの数Nbが予め設定され
た許容値Neを上回るか否か判断し、上回らない場合は異
常なしとして演算を終了し、上回る場合は次のステップ
142へ進む。ステップ142において、立入り禁止区域Z内
に入った前記非零ブロックに予測二値画像Igeのものの
みであるか否か判断し、画像Igeのもののみである場合
は「異常が予想される」と判定して演算を終了し、画像Ig
eのもののみではない場合は「異常」と判定して演算を終
了する。
【0033】以上説明した実施例は、現画像Itと、前画
像I(t-1)、所定の標準画像、又は禁止区域画像Iz等の参
照画像との比較による変化検出を基本原理とする。従っ
て、現画像Itの任意画素座標(x、y)が示す観察区域内位
置と参照画像内の対応画素座標(x、y)が示す観察区域内
位置との一致を前提条件とする。しかし、TVカメラ等の
撮像装置を画像入力装置とする場合には、撮像方向の偶
発的または意図的変化による画像ブレの生ずる場合があ
る。偶発的画像ブレの原因としては風その他に起因する
振動や取付け治具の経時変化等がある。画像ブレがある
ときは、動きベクトルによる識別が不正確になり、これ
を監視装置に利用した場合には現実に存在する監視対象
物を検出でいきない又は現実に存在しない監視対象物を
誤検出する等の重大な誤りを招く恐れがある。従って、
画像ブレに対する修正を施す装置の開発が要望されてい
る。
像I(t-1)、所定の標準画像、又は禁止区域画像Iz等の参
照画像との比較による変化検出を基本原理とする。従っ
て、現画像Itの任意画素座標(x、y)が示す観察区域内位
置と参照画像内の対応画素座標(x、y)が示す観察区域内
位置との一致を前提条件とする。しかし、TVカメラ等の
撮像装置を画像入力装置とする場合には、撮像方向の偶
発的または意図的変化による画像ブレの生ずる場合があ
る。偶発的画像ブレの原因としては風その他に起因する
振動や取付け治具の経時変化等がある。画像ブレがある
ときは、動きベクトルによる識別が不正確になり、これ
を監視装置に利用した場合には現実に存在する監視対象
物を検出でいきない又は現実に存在しない監視対象物を
誤検出する等の重大な誤りを招く恐れがある。従って、
画像ブレに対する修正を施す装置の開発が要望されてい
る。
【0034】この要望に答えるため図27に示す本発明の
一実施例は、まず図14の画像入力手段5と同様な画像入
力部60からの現画像Itに対し、動きベクトル抽出部67の
処理を施して動きベクトル画像Ivを作成する。動きベク
トル抽出部67の構成は図14の動きベクトル画像形成手段
1と同様である。基準区域記憶手段74(図28参照)に、観
察区域内の不動域である基準区域Rが含まれる基準区域
画像IRを記憶する。画像ブレ抽出部62により前記動きベ
クトル画像Iv中の前記基準区域Rの位置における前記動
きベクトルVを画像ブレベクトルDとして出力する。
一実施例は、まず図14の画像入力手段5と同様な画像入
力部60からの現画像Itに対し、動きベクトル抽出部67の
処理を施して動きベクトル画像Ivを作成する。動きベク
トル抽出部67の構成は図14の動きベクトル画像形成手段
1と同様である。基準区域記憶手段74(図28参照)に、観
察区域内の不動域である基準区域Rが含まれる基準区域
画像IRを記憶する。画像ブレ抽出部62により前記動きベ
クトル画像Iv中の前記基準区域Rの位置における前記動
きベクトルVを画像ブレベクトルDとして出力する。
【0035】参照画像記憶手段80(図29参照)に、観察区
域の所定画像を参照画像Irfとして記憶し、修正手段に
よりその参照画像Irfから前記画像ブレベクトルDを差
引き修正参照画像Irfmを出力する。参照画像Irfとして
は、現画像Itと比較すべき標準的画像であって相当期間
変化しないものである場合と、現画像Itの直前に先行す
る前画像I(t-1)である場合等がある。画像変化抽出部61
により現画像Itと修正参照画像Irfmとの差をブロック毎
に算出して、差分画像Idを出力する。好ましくは、当該
差を二値化して二値差分画像Ibiを出力し、さらに好ま
しくは、画像変化識別部63により前記二値化に対する閾
値を設けるが、これらの二値化処理及び閾値設定は必須
ではない。
域の所定画像を参照画像Irfとして記憶し、修正手段に
よりその参照画像Irfから前記画像ブレベクトルDを差
引き修正参照画像Irfmを出力する。参照画像Irfとして
は、現画像Itと比較すべき標準的画像であって相当期間
変化しないものである場合と、現画像Itの直前に先行す
る前画像I(t-1)である場合等がある。画像変化抽出部61
により現画像Itと修正参照画像Irfmとの差をブロック毎
に算出して、差分画像Idを出力する。好ましくは、当該
差を二値化して二値差分画像Ibiを出力し、さらに好ま
しくは、画像変化識別部63により前記二値化に対する閾
値を設けるが、これらの二値化処理及び閾値設定は必須
ではない。
【0036】前記差分画像Idを所定監視対象物の画像情
報と比較することにより前記観察区域における監視対象
物を識別し、識別した監視対象物を含む検出画像Igdを
出力する。差分画像Idが輝度差画像である場合における
所定監視対象物の画像情報の一例は、検出用マスクであ
る。前記二値差分画像Ibiを用いる場合には、その二値
差分画像Ibiに収縮画像処理及び拡散画像処理を施した
のち、当該二値差分画像Ibi中の各連結成分の形状特徴
及び当該連結成分の変換前動きベクトルの動き特徴を所
定監視対象物の形状特徴及び動き特徴と比較することに
より前記観察区域における監視対象物を識別し、識別し
た連結成分を含む二値検出画像Igを出力する。
報と比較することにより前記観察区域における監視対象
物を識別し、識別した監視対象物を含む検出画像Igdを
出力する。差分画像Idが輝度差画像である場合における
所定監視対象物の画像情報の一例は、検出用マスクであ
る。前記二値差分画像Ibiを用いる場合には、その二値
差分画像Ibiに収縮画像処理及び拡散画像処理を施した
のち、当該二値差分画像Ibi中の各連結成分の形状特徴
及び当該連結成分の変換前動きベクトルの動き特徴を所
定監視対象物の形状特徴及び動き特徴と比較することに
より前記観察区域における監視対象物を識別し、識別し
た連結成分を含む二値検出画像Igを出力する。
【0037】禁止区域記憶部66が、観察区域内の禁止区
域Zの位置が含まれる禁止区域画像Izを記憶し且つ前記
禁止区域画像Izから前記画像ブレベクトルDを差引いた
修正禁止区域画像Izmを読出す。
域Zの位置が含まれる禁止区域画像Izを記憶し且つ前記
禁止区域画像Izから前記画像ブレベクトルDを差引いた
修正禁止区域画像Izmを読出す。
【0038】異常判定部65が、検出画像Igdと修正禁止
区域画像Izmとの重なりを検出し、異常検出の目的を達
する。前記二値差分画像Ibiを使う場合の前記検出画像I
gdは、前記二値検出画像Igとなる。
区域画像Izmとの重なりを検出し、異常検出の目的を達
する。前記二値差分画像Ibiを使う場合の前記検出画像I
gdは、前記二値検出画像Igとなる。
【0039】画像ブレベクトルの精度向上のため、試験
ベクトルTを動きベクトル画像形成手段67中の前画像I
(t-1)に加算し、この加算に応じて画像ブレ抽出部62か
ら出力される基準区域Rの位置における画像ブレベクト
ルDと前記試験ベクトルTとが一致しない画像ブロック
を前記基準区域Rから除外することができる。画像入力
部60をTVカメラとする場合には、画像ブレベクトルDに
応じてTVカメラの向きを修正する制御・駆動手段を設け
ることができる。
ベクトルTを動きベクトル画像形成手段67中の前画像I
(t-1)に加算し、この加算に応じて画像ブレ抽出部62か
ら出力される基準区域Rの位置における画像ブレベクト
ルDと前記試験ベクトルTとが一致しない画像ブロック
を前記基準区域Rから除外することができる。画像入力
部60をTVカメラとする場合には、画像ブレベクトルDに
応じてTVカメラの向きを修正する制御・駆動手段を設け
ることができる。
【0040】図28に画像ブレ抽出部62の構成の一例を示
し、図32にその処理過程の流れ図を示す。図28中の基準
区域記憶手段74には、以下に説明する基準区域Rの画像
をブロック単位で基準区域画像IRとして記憶する。画像
ブレ抽出手段75において、動きベクトル抽出部67から出
力される動きベクトル画像Ivを基準区域記憶手段74から
の基準区域画像IRと比較し、基準区域R内の動きベクト
ルVのみを抽出する。図32のステップ151で、上記のよ
うに抽出された基準区域R内の動きベクトルVのヒスト
グラムを作成し、次のステップ152で、最大頻度を与え
る動きベクトルVを前画像I(t-1)と現画像Itとの間の画
像ブレベクトルDとして抽出する。この段階では画素座
標系であるので、ステップ153及び154で、これをブロッ
ク座標系のシフトベクトルH(X、Y)に変換する。この
変換するのは、次画像I(t+1)に対する画像ブレ抽出の際
に基準区域Rの位置の画像をこのシフトベクトルHだけ
修正した後に画像ブレ抽出手段75の比較処理に与らせる
ため、即ち次画像I(t+1)が現画像Itに対して画像ブレを
もつ可能性があるので次画像I(t+1)と比較すべき基準区
域位置の画像の誤差を現在までの画像ブレに関する補償
によって少なくしようとするものである。ところで、シ
フトベクトルH(X、Y)への変換は画像ブレベクトルD
の水平方向成分及び垂直方向成分をそれぞれブロックの
水平方向の大きさの半分(m/2)及び水平方向の大きさの
半分(n/2)で除した商の少数点以下四捨五入処理してお
こなう。基準区域が更新された時にはステップ150に示
すように区域設定値の更新を行った後に上記の演算処理
をする。
し、図32にその処理過程の流れ図を示す。図28中の基準
区域記憶手段74には、以下に説明する基準区域Rの画像
をブロック単位で基準区域画像IRとして記憶する。画像
ブレ抽出手段75において、動きベクトル抽出部67から出
力される動きベクトル画像Ivを基準区域記憶手段74から
の基準区域画像IRと比較し、基準区域R内の動きベクト
ルVのみを抽出する。図32のステップ151で、上記のよ
うに抽出された基準区域R内の動きベクトルVのヒスト
グラムを作成し、次のステップ152で、最大頻度を与え
る動きベクトルVを前画像I(t-1)と現画像Itとの間の画
像ブレベクトルDとして抽出する。この段階では画素座
標系であるので、ステップ153及び154で、これをブロッ
ク座標系のシフトベクトルH(X、Y)に変換する。この
変換するのは、次画像I(t+1)に対する画像ブレ抽出の際
に基準区域Rの位置の画像をこのシフトベクトルHだけ
修正した後に画像ブレ抽出手段75の比較処理に与らせる
ため、即ち次画像I(t+1)が現画像Itに対して画像ブレを
もつ可能性があるので次画像I(t+1)と比較すべき基準区
域位置の画像の誤差を現在までの画像ブレに関する補償
によって少なくしようとするものである。ところで、シ
フトベクトルH(X、Y)への変換は画像ブレベクトルD
の水平方向成分及び垂直方向成分をそれぞれブロックの
水平方向の大きさの半分(m/2)及び水平方向の大きさの
半分(n/2)で除した商の少数点以下四捨五入処理してお
こなう。基準区域が更新された時にはステップ150に示
すように区域設定値の更新を行った後に上記の演算処理
をする。
【0041】基準区域Rの設定を図27の区域設定部68に
よって行う処理の例を図35に示す。操作部69で選択する
基準区域Rを表示部70で確認しながら設定する。例え
ば、立入り禁止区域Zを識別用の特設基準ポールや周囲
建物等を基準区域Rとして選択して設定するが、その選
択基準は立入り禁止区域Zを認識する指標となること、
風等による振動が少ないこと、高い画像コントラストが
得られること等である。これらの基準に留意して設定し
た基準区域Rに画像ブレが生じても、基準区域画像内の
各ブロックにおける画像ブレベクトルDは図35(b)に示
す様に同一方向で同一大きさになる。なお、図35(b)は
基準区域Rのみの画像ブレベクトルDを示す。
よって行う処理の例を図35に示す。操作部69で選択する
基準区域Rを表示部70で確認しながら設定する。例え
ば、立入り禁止区域Zを識別用の特設基準ポールや周囲
建物等を基準区域Rとして選択して設定するが、その選
択基準は立入り禁止区域Zを認識する指標となること、
風等による振動が少ないこと、高い画像コントラストが
得られること等である。これらの基準に留意して設定し
た基準区域Rに画像ブレが生じても、基準区域画像内の
各ブロックにおける画像ブレベクトルDは図35(b)に示
す様に同一方向で同一大きさになる。なお、図35(b)は
基準区域Rのみの画像ブレベクトルDを示す。
【0042】こうして抽出した画像ブレベクトルDは、
図27の画像変化抽出部61及び禁止区域記憶部66で使われ
る。図29及び図30は画像変化抽出部61の構成の2例を示
し、図31は禁止区域記憶部66の構成を示す。
図27の画像変化抽出部61及び禁止区域記憶部66で使われ
る。図29及び図30は画像変化抽出部61の構成の2例を示
し、図31は禁止区域記憶部66の構成を示す。
【0043】図29は、差分画像Idを現画像Itと参照画像
Irefとの間の輝度変化として抽出する方式の画像変化抽
出部61の実施例を示す。現画像Itは、動きベクトル抽出
部67及び画像ブレ抽出部62による画像ブレベクトルDの
抽出に要する時間だけ遅延手段77で遅延された後、現画
像記憶手段78に取り込まれる。画像間差分手段79は、現
画像記憶手段78からの現画像Itと参照画像記憶手段80か
らの参照画像Irefとの差分を減算により抽出する。この
減算の前に参照画像Irefは、第1画像ブレ加算手段81か
らの画素単位系の修正ベクトルMに基づき座標を修正さ
れてから差分算出に供される。なお、現画像Itの時点に
至るまでの観察区域の照度変動の影響を避けるため、参
照画像Irefを定期的に更新する。
Irefとの間の輝度変化として抽出する方式の画像変化抽
出部61の実施例を示す。現画像Itは、動きベクトル抽出
部67及び画像ブレ抽出部62による画像ブレベクトルDの
抽出に要する時間だけ遅延手段77で遅延された後、現画
像記憶手段78に取り込まれる。画像間差分手段79は、現
画像記憶手段78からの現画像Itと参照画像記憶手段80か
らの参照画像Irefとの差分を減算により抽出する。この
減算の前に参照画像Irefは、第1画像ブレ加算手段81か
らの画素単位系の修正ベクトルMに基づき座標を修正さ
れてから差分算出に供される。なお、現画像Itの時点に
至るまでの観察区域の照度変動の影響を避けるため、参
照画像Irefを定期的に更新する。
【0044】図33は、第1画像ブレ加算手段81における
修正ベクトルMの算出過程の流れ図を示す。ステップ16
0及びステップ161における基準区域R及び立入り禁止区
域Zの更新及び参照画像更新の後、ステップ162で更新
直後か否かの判断をし、更新直後の場合にはステップ16
3で画像ブレベクトルD累計値のリセットを行った上で
次のステップ164へ進む。更新直後でない場合には、直
接にステップ164へ進み画像ブレベクトルDの加算によ
って修正ベクトルMを求める。この加算は、水平方向成
分i及び垂直方向成分jに分けて行われる。これによ
り、参照画像Irefの更新時から現画像Itの時までに生じ
た画像ブレの積算値について修正することができる。ス
テップ165は、基準区域R及び立入り禁止区域Zの更新
時に修正ベクトルMをリセットするためのものである。
修正ベクトルMの算出過程の流れ図を示す。ステップ16
0及びステップ161における基準区域R及び立入り禁止区
域Zの更新及び参照画像更新の後、ステップ162で更新
直後か否かの判断をし、更新直後の場合にはステップ16
3で画像ブレベクトルD累計値のリセットを行った上で
次のステップ164へ進む。更新直後でない場合には、直
接にステップ164へ進み画像ブレベクトルDの加算によ
って修正ベクトルMを求める。この加算は、水平方向成
分i及び垂直方向成分jに分けて行われる。これによ
り、参照画像Irefの更新時から現画像Itの時までに生じ
た画像ブレの積算値について修正することができる。ス
テップ165は、基準区域R及び立入り禁止区域Zの更新
時に修正ベクトルMをリセットするためのものである。
【0045】図30は、差分を現画像Itと前画像I(t-1)と
の間のブロックマッチングによりブロックごとに動きベ
クトルVとして抽出する方式の画像変化抽出部61の実施
例を示す。現画像Itは、上記画像ブレベクトルD抽出に
要する時間だけ遅延手段77で遅延された後、第1切換手
段10aを介して第1及び第2現画像記憶手段12a、12bに
交互に取り込まれる。第2切換手段10bを介して第1及
び第2現画像記憶手段12a、12bから交互に読出された現
画像Itは第3切換手段10cとブロックマッチング手段14
とに並列に加えられる。第3切換手段10cからの画像
は、第1及び第2現前像記憶手段16a、16b内へ前画像I
(t-1)として交互に読込まれる。上記第1及び第2現前
像記憶手段16a、16bの前画像I(t-1)は画像ブレ抽出手段6
2からの画像ブレベクトルDによって修正される。上記
第4切換手段10dを介して第1及び第2前画像記憶手段1
6a、16bから交互に読出された修正済み前画像I
(t-1)は、ブロックマッチング手段14においてブロック
ごとに現画像Itと比較され画像ブレ修正後の動きベクト
ルVが抽出される。図4を参照して先に詳細に説明した
第1ないし第4切換手段10a、10b、 10c、10dの選択的な
切換動作により時間的に連続的に入力される画像間でブ
ロックマッチング処理を逐次行うことができる。図30の
実施例では、図29の第1画像ブレ加算手段81を必要とし
ないが、これは画像ブレ修正後の動きベクトルVが現画
像Itと前画像I(t-1)との間で抽出されるためである。
の間のブロックマッチングによりブロックごとに動きベ
クトルVとして抽出する方式の画像変化抽出部61の実施
例を示す。現画像Itは、上記画像ブレベクトルD抽出に
要する時間だけ遅延手段77で遅延された後、第1切換手
段10aを介して第1及び第2現画像記憶手段12a、12bに
交互に取り込まれる。第2切換手段10bを介して第1及
び第2現画像記憶手段12a、12bから交互に読出された現
画像Itは第3切換手段10cとブロックマッチング手段14
とに並列に加えられる。第3切換手段10cからの画像
は、第1及び第2現前像記憶手段16a、16b内へ前画像I
(t-1)として交互に読込まれる。上記第1及び第2現前
像記憶手段16a、16bの前画像I(t-1)は画像ブレ抽出手段6
2からの画像ブレベクトルDによって修正される。上記
第4切換手段10dを介して第1及び第2前画像記憶手段1
6a、16bから交互に読出された修正済み前画像I
(t-1)は、ブロックマッチング手段14においてブロック
ごとに現画像Itと比較され画像ブレ修正後の動きベクト
ルVが抽出される。図4を参照して先に詳細に説明した
第1ないし第4切換手段10a、10b、 10c、10dの選択的な
切換動作により時間的に連続的に入力される画像間でブ
ロックマッチング処理を逐次行うことができる。図30の
実施例では、図29の第1画像ブレ加算手段81を必要とし
ないが、これは画像ブレ修正後の動きベクトルVが現画
像Itと前画像I(t-1)との間で抽出されるためである。
【0046】なお、画像変化抽出部61に図29の実施例を
用いた場合には、画像変化識別部63において差分画像を
二値化し、対象物識別部64において変化部分が監視対象
物であるか否かを識別した後、監視対象物のみの検出二
値画像を出力することができる。他方、画像変化抽出部
61に図30の実施例を用いた場合には、画像変化識別部63
において動きの有無の識別を行い、対象物識別部64にお
いて変化部分が監視対象物であるか否かを識別した後、
監視対象物のみの動き有無画像を出力することができ
る。
用いた場合には、画像変化識別部63において差分画像を
二値化し、対象物識別部64において変化部分が監視対象
物であるか否かを識別した後、監視対象物のみの検出二
値画像を出力することができる。他方、画像変化抽出部
61に図30の実施例を用いた場合には、画像変化識別部63
において動きの有無の識別を行い、対象物識別部64にお
いて変化部分が監視対象物であるか否かを識別した後、
監視対象物のみの動き有無画像を出力することができ
る。
【0047】図31に禁止区域記憶部66の構成の一例を示
し、図34に第2画像ブレ加算手段82の流れ図を示す。判
定部65へ送られる禁止区域画像Izを現画像It取得までに
生じた画像ブレについて補償するため、禁止区域画像Iz
を第2画像ブレ加算手段82からのシフトベクトルHによ
って座標をシフトしてから出力する。この際、画像変化
抽出部61が図29に示すものであって画像差分手段79での
処理を画素単位で行う場合には、第2画像ブレ加算手段
82によるシフトは画素単位で行われるが、画像変化抽出
部61が図29に示すものであって画像差分手段79での処理
をブロック単位で行う場合、又は図30に示すものであっ
て画像差分手段79での処理をブロックマッチングとする
場合には、第2画像ブレ加算手段82によるシフトはブロ
ック単位で行われる。図34の流れ図は、図30の画像変化
抽出部61と共に用いる第2画像ブレ加算手段82の例であ
る。ステップ170および171に示す区域更新時のリセット
の後、画像ブレベクトルDをステップ172で加算して積
算値を求める。ステップ173及び174でその積算値をブロ
ック座標系の座標(X、Y)のシフトベクトルHに変換
する。この変換は図32を参照して説明した変換と同様で
ある。第2画像ブレ加算手段82が画素単位のシフトをす
る場合にはステップ172の画像ブレベクトルDの積算値
をそのまま修正ベクトルMとして用いる。
し、図34に第2画像ブレ加算手段82の流れ図を示す。判
定部65へ送られる禁止区域画像Izを現画像It取得までに
生じた画像ブレについて補償するため、禁止区域画像Iz
を第2画像ブレ加算手段82からのシフトベクトルHによ
って座標をシフトしてから出力する。この際、画像変化
抽出部61が図29に示すものであって画像差分手段79での
処理を画素単位で行う場合には、第2画像ブレ加算手段
82によるシフトは画素単位で行われるが、画像変化抽出
部61が図29に示すものであって画像差分手段79での処理
をブロック単位で行う場合、又は図30に示すものであっ
て画像差分手段79での処理をブロックマッチングとする
場合には、第2画像ブレ加算手段82によるシフトはブロ
ック単位で行われる。図34の流れ図は、図30の画像変化
抽出部61と共に用いる第2画像ブレ加算手段82の例であ
る。ステップ170および171に示す区域更新時のリセット
の後、画像ブレベクトルDをステップ172で加算して積
算値を求める。ステップ173及び174でその積算値をブロ
ック座標系の座標(X、Y)のシフトベクトルHに変換
する。この変換は図32を参照して説明した変換と同様で
ある。第2画像ブレ加算手段82が画素単位のシフトをす
る場合にはステップ172の画像ブレベクトルDの積算値
をそのまま修正ベクトルMとして用いる。
【0048】図36は、図27の監視装置に基準区域画像Iz
の修正機能を付加した監視装置の全体構成を示す。付加
したのは、区域設定部68の出力を動きベクトル抽出部67
へ接続すると共に、動きベクトル抽出部67の出力を区域
設定部68に接続した点のみである。図37にこの場合の区
域設定部68の構成を示す。操作部69で指示される立入り
禁止区域Z及び基準区域Rに基づき、区域画像生成手段
86が禁止区域画像Iz及び基準区域画像IRを生成する。画
像合成手段88は、現画像Itと上記両区域画像Iz及びIRと
を合成し、表示部70へその合成結果を表示する。この実
施例では、立入り禁止区域Z及び基準区域Rの設定を表
示部70における合成画像を観察しながら行うことができ
る。禁止区域画像Izはそのまま禁止区域記憶部66に設定
される。他方、基準区域画像IRは基準区域修正手段87に
取込まれ、ここで所要の修正を受けた後、画像ブレ抽出
部62に加えられる。
の修正機能を付加した監視装置の全体構成を示す。付加
したのは、区域設定部68の出力を動きベクトル抽出部67
へ接続すると共に、動きベクトル抽出部67の出力を区域
設定部68に接続した点のみである。図37にこの場合の区
域設定部68の構成を示す。操作部69で指示される立入り
禁止区域Z及び基準区域Rに基づき、区域画像生成手段
86が禁止区域画像Iz及び基準区域画像IRを生成する。画
像合成手段88は、現画像Itと上記両区域画像Iz及びIRと
を合成し、表示部70へその合成結果を表示する。この実
施例では、立入り禁止区域Z及び基準区域Rの設定を表
示部70における合成画像を観察しながら行うことができ
る。禁止区域画像Izはそのまま禁止区域記憶部66に設定
される。他方、基準区域画像IRは基準区域修正手段87に
取込まれ、ここで所要の修正を受けた後、画像ブレ抽出
部62に加えられる。
【0049】図38に基準区域修正手段87の処理の流れ図
を示す。ステップ180の初期化の後ステップ181で基準区
域修正手段87は、試験ベクトルT(is、js)を動きベクト
ル抽出部67へ送出すると共にその水平成分is及び垂直成
分jsを記憶する。動きベクトル抽出部67では、前画像I
(t-1)を故意に試験ベクトルTだけ移動させた上で基準
区域Rのブロックごとに動きベクトルV、即ち画像ブレ
ベクトルDを抽出し、これを基準区域修正手段87へ送出
する。この動きベクトルVの水平方向成分を仮想ブレ水
平成分Diとし、この動きベクトルVの垂直方向成分を仮
想ブレ垂直成分Djとする。ステップ182、183で基準区域
修正手段87は、動きベクトルV受信ののち後、仮想ブレ
水平成分Diが試験ベクトルの水平成分isと一致するか否
か、及び仮想ブレ垂直成分Djが試験ベクトルの垂直成分
jsと一致するか否かをブロックごとに判定する。この一
致は、基準区域Rが動揺のない安定な区域であることを
示す。基準区域修正手段87は、さらにステップ184及び1
85によって以上の試験ベクトルT送出、動きベクトルV
受信、及びステップ182、183の判定を所定の回数Nsだけ
繰り返す。
を示す。ステップ180の初期化の後ステップ181で基準区
域修正手段87は、試験ベクトルT(is、js)を動きベクト
ル抽出部67へ送出すると共にその水平成分is及び垂直成
分jsを記憶する。動きベクトル抽出部67では、前画像I
(t-1)を故意に試験ベクトルTだけ移動させた上で基準
区域Rのブロックごとに動きベクトルV、即ち画像ブレ
ベクトルDを抽出し、これを基準区域修正手段87へ送出
する。この動きベクトルVの水平方向成分を仮想ブレ水
平成分Diとし、この動きベクトルVの垂直方向成分を仮
想ブレ垂直成分Djとする。ステップ182、183で基準区域
修正手段87は、動きベクトルV受信ののち後、仮想ブレ
水平成分Diが試験ベクトルの水平成分isと一致するか否
か、及び仮想ブレ垂直成分Djが試験ベクトルの垂直成分
jsと一致するか否かをブロックごとに判定する。この一
致は、基準区域Rが動揺のない安定な区域であることを
示す。基準区域修正手段87は、さらにステップ184及び1
85によって以上の試験ベクトルT送出、動きベクトルV
受信、及びステップ182、183の判定を所定の回数Nsだけ
繰り返す。
【0050】ステップ186、187で基準区域修正手段87
は、上記Ns回の全部にわたり上記判定の結果がすべて一
致であったブロックのみを基準区域Rに留め、それ以外
のブロックは基準区域Rから除外する修正を基準区域R
に施す。この修正後の基準区域画像IRは、不安定なブロ
ックを全て除去しているので、画像ブレ抽出部62におけ
る画像ブレベクトルDの抽出を高度に安定化する。
は、上記Ns回の全部にわたり上記判定の結果がすべて一
致であったブロックのみを基準区域Rに留め、それ以外
のブロックは基準区域Rから除外する修正を基準区域R
に施す。この修正後の基準区域画像IRは、不安定なブロ
ックを全て除去しているので、画像ブレ抽出部62におけ
る画像ブレベクトルDの抽出を高度に安定化する。
【0051】図39(a)は、基準区域修正手段87による上
記修正前の基準区域Rの構成ブロックから得られた画像
ブレベクトルの模式図であり、図39(b)は上記修正後の
基準区域Rの構成ブロックから得た画像ブレベクトルD
の模式図である。図39(b)では、不安定なブロックが除
去されており、各ブロックの画像ブレベクトルがすべて
一致している。
記修正前の基準区域Rの構成ブロックから得られた画像
ブレベクトルの模式図であり、図39(b)は上記修正後の
基準区域Rの構成ブロックから得た画像ブレベクトルD
の模式図である。図39(b)では、不安定なブロックが除
去されており、各ブロックの画像ブレベクトルがすべて
一致している。
【0052】図40は、図27の監視装置に画像ブレベクト
ルDに応じたTVカメラ(図示せず)の撮像方向修正機能
を付加した監視装置の全体構成を示す。付加したのは、
抽出した画像ブレベクトルDに基づいて制御信号を出力
するカメラ制御部90と、この制御信号に応答して画像入
力部60内のTVカメラの向きを変化させるカメラ駆動部91
のみである。
ルDに応じたTVカメラ(図示せず)の撮像方向修正機能
を付加した監視装置の全体構成を示す。付加したのは、
抽出した画像ブレベクトルDに基づいて制御信号を出力
するカメラ制御部90と、この制御信号に応答して画像入
力部60内のTVカメラの向きを変化させるカメラ駆動部91
のみである。
【0053】図41にカメラ制御部90の構成を示し、その
中の画像ブレ加算手段92の処理の流れ図を図42に示す。
画像ブレ加算手段92は、図42のステップ190および191に
示す区域更新時のリセットの後、画像ブレベクトルDを
ステップ192で加算してその水平分積算値Di及び垂直分
積算値Djを求める。画像ブレ加算手段92の符号反転手段
93が上記水平分積算値Di及び垂直分積算値Djから反転信
号-Di及び-Djを発生させ、これをカメラ駆動部91へ制御
信号として加える。この制御信号に応答して、カメラ駆
動部91はカメラ雲台(図示せず)などのカメラ向き制御
手段を駆動してカメラの撮像方向を変更する。この一連
の操作を常時行うことにより、カメラの撮像方向を絶え
ず自動的に調整することができる。即ち、画像ブレベク
トルDを負帰還して、画像ブレベクトルDの積算値が常
に零となるようにカメラ撮像方向を制御することができ
る。
中の画像ブレ加算手段92の処理の流れ図を図42に示す。
画像ブレ加算手段92は、図42のステップ190および191に
示す区域更新時のリセットの後、画像ブレベクトルDを
ステップ192で加算してその水平分積算値Di及び垂直分
積算値Djを求める。画像ブレ加算手段92の符号反転手段
93が上記水平分積算値Di及び垂直分積算値Djから反転信
号-Di及び-Djを発生させ、これをカメラ駆動部91へ制御
信号として加える。この制御信号に応答して、カメラ駆
動部91はカメラ雲台(図示せず)などのカメラ向き制御
手段を駆動してカメラの撮像方向を変更する。この一連
の操作を常時行うことにより、カメラの撮像方向を絶え
ず自動的に調整することができる。即ち、画像ブレベク
トルDを負帰還して、画像ブレベクトルDの積算値が常
に零となるようにカメラ撮像方向を制御することができ
る。
【0054】上記のカメラ撮像方向の制御は必ずしも常
時行う必要はなく、画像ブレベクトルの積算値が予め設
定した値を超える時にのみ作動するようにしてもよい。
時行う必要はなく、画像ブレベクトルの積算値が予め設
定した値を超える時にのみ作動するようにしてもよい。
【0055】
【発明の効果】以上詳細に説明したように、本発明の動
きベクトルによる識別方法及び装置は画像の動きにより
監視対象物を識別するので、次の顕著な効果を奏する。
きベクトルによる識別方法及び装置は画像の動きにより
監視対象物を識別するので、次の顕著な効果を奏する。
【0056】(イ)観察区域における日射の変化、照明
の変化等による照度変化に起因する監視対象物識別の誤
差を避けることができる。
の変化等による照度変化に起因する監視対象物識別の誤
差を避けることができる。
【0057】(ロ)監視対象物と背景との輝度差不足、
監視対象物自体コントラスト不足等に起因する監視対象
物の形状識別の困難性を克服することができる。
監視対象物自体コントラスト不足等に起因する監視対象
物の形状識別の困難性を克服することができる。
【0058】(ハ)時間的に連続して入力するデイジタ
ル画像を実時間ベースで逐次処理して連続的な高信頼度
監視を行うことができる。
ル画像を実時間ベースで逐次処理して連続的な高信頼度
監視を行うことができる。
【0059】(ニ)画像の形状特徴だけでなく動き特徴
との組合せによって識別するので、識別精度を向上させ
ることができる。
との組合せによって識別するので、識別精度を向上させ
ることができる。
【0060】(ホ)TVカメラ等を画像入力手段とするの
で、目立たない監視装置を作ることができる。
で、目立たない監視装置を作ることができる。
【0061】(へ)画像の動きに関するデータを利用す
るので予測が可能でとなり、危険を予知して警報発信そ
の他の対策をとり設備保守等における安全性向上を図る
ことができる。
るので予測が可能でとなり、危険を予知して警報発信そ
の他の対策をとり設備保守等における安全性向上を図る
ことができる。
【0062】(ト)TVカメラ等を画像入力手段における
風等に起因する撮像方向ブレに対する正確な修正が可能
である。
風等に起因する撮像方向ブレに対する正確な修正が可能
である。
【0063】(チ)画像の比較に当たって観察区域内に
不動の基準区域を設定するだけでなく、その不動性・安
定性を測定し高安定性のもののみを選択的に基準とし識
別精度を著しく改善することができる。
不動の基準区域を設定するだけでなく、その不動性・安
定性を測定し高安定性のもののみを選択的に基準とし識
別精度を著しく改善することができる。
【0064】(リ)TVカメラ等の撮像方向の微小なブレ
を負帰還制御して画像ブレの積算値を零とし識別精度を
改善することができる。
を負帰還制御して画像ブレの積算値を零とし識別精度を
改善することができる。
【0065】(ヌ)TVカメラ等の画像入力装置を撮像方
向修正のため制御装置により修正駆動している間にもブ
レ検出と画像修正とを継続し、画像入力装置の機械的な
自動修正駆動中にも正確な識別を確保することができ
る。
向修正のため制御装置により修正駆動している間にもブ
レ検出と画像修正とを継続し、画像入力装置の機械的な
自動修正駆動中にも正確な識別を確保することができ
る。
【図1】本発明の識別装置の実施例の説明図である。
【図2】画像フレーム及びブロックの説明図である。
【図3】ブロックマッチングの原理的説明図である。
【図4】動きベクトル画像形成手段の説明図である。
【図5】観察区域の説明図である。
【図6】動きベクトル画像Ivの説明図である。
【図7】動きベクトル画像Ivに対する二値化処理の説明
図である。
図である。
【図8】画像に対する収縮画像処理の結果の説明図であ
る。
る。
【図9】画像に対する拡散画像処理の結果の説明図であ
る。
る。
【図10】ラベリング処理の説明図である。
【図11】二値検出画像の説明図である。
【図12】禁止区域画像の説明図である。
【図13】対象識別手段の処理の流れ図である。
【図14】本発明の監視装置の一実施例の説明図であ
る。
る。
【図15】従来技術の説明図である。
【図16】予測付監視装置の実施例の説明図である。
【図17】予測付監視装置における観察区域の説明図で
ある。
ある。
【図18】検出ベクトル画像の説明図である。
【図19】予測状態記憶手段の説明図である。
【図20】異常判定手段の説明図である。
【図21】予測一致判定手段の処理の流れ図である。
【図22】第1予測処理手段の流れ図である。
【図23】第2予測処理手段の流れ図である。
【図24】予測付異常判定手段の流れ図である。
【図25】予測処理説明用の模式図である。
【図26】異常判定の対象となる処理画像の説明図であ
る。
る。
【図27】画像ブレ修正を含む監視装置の説明図であ
る。
る。
【図28】画像ブレ検出部の説明図である。
【図29】画像変化抽出部の一実施例の説明図である。
【図30】画像変化抽出部の他の実施例の説明図であ
る。
る。
【図31】禁止区域記憶部の説明図である。
【図32】画像ブレ抽出手段の処理の流れ図である。
【図33】第1画像ブレ加算手段の処理の流れ図であ
る。
る。
【図34】第2画像ブレ加算手段の処理の流れ図であ
る。
る。
【図35】基準区域の説明図である。
【図36】監視区域修正付監視装置の実施例の説明図で
ある。
ある。
【図37】区域設定部の説明図である。
【図38】基準区域修正手段の処理の流れ図である。
【図39】基準区域修正手段の処理効果の説明図であ
る。
る。
【図40】カメラ撮像方向制御付監視装置の実施例の説
明図である。
明図である。
【図41】カメラ制御部の説明図である。
【図42】カメラ制御部の処理の流れ図である。
1 動きベクトル画像形成手段 2 二値化手段 3 識別手段 5 画像入力手段 6 動き識別手段 7 禁止区域記憶手段 8 異常判定手段 10a、10b、10c、10d 第1、第2、第3、第4切変手段 12a、12b 第1、第2現画像記憶手段 14 ブロックマッチング手段 16a、16b 第1、第2前画像記憶手段 17 フィルタ手段 18 画像形成手段 20 収縮拡散手段 22 ラベリング手段 24 形状特徴抽出手段 26 動き特徴抽出手段 28 比較手段 30 動きベクトル変換手段 32 予測状態記憶手段 34a、34b 第1、第2予測処理手段 36 記憶手段 38 予測一致判定手段 39 カウンタ 40 異常判定手段 42 重複検出手段 50、60 画像入力部 51 差分画像抽出部 52 参照画像 61 画像変化抽出部 62 画像ブレ抽出部 63 画像変化識別部 64 対象物識別部 65 異常判定部 66 禁止区域記憶部 67 動きベクトル抽出部 68 区域設定部 69 操作部 70 表示部 74 基準区域記憶手段 75 画像ブレ抽出手段 77 遅延手段 78 現画像記憶手段 79 画像間差分手段 80 参照画像記憶手段 81 第1画像ブレ加算手段 82 第2画像ブレ加算手段 83 禁止区域記憶手段 86 区域画像生成手段 87 基準区域修正手段 88 画像合成手段 90 カメラ制御部 91 カメラ駆動部 92 画像ブレ加算手段 93 符号反転手段 105−193 ステップ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 菊地 進 東京都千代田区内幸町1丁目1番3号 東京電力株式会社内 (56)参考文献 特開 平5−14892(JP,A) 特開 昭62−136988(JP,A) 特開 平2−117276(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 7/20 G08B 13/196 H04N 7/18 G06T 1/00
Claims (13)
- 【請求項1】連続的に生成する観察区域画像のフレーム
を一定画素数のブロックに分割し;現画像It中の各ブロ
ック内画像を、前画像I(t-1)における当該ブロック内画
像に対応する部分の現画像It内当該ブロック位置までの
動きベクトルVに置換して動きベクトル画像Ivを出力
し;前記動きベクトルVを二値化することにより動きベ
クトル画像Ivを二値画像Ibiに変換し;収縮画像処理及
び拡散画像処理により微小連結成分を除去し;二値画像
Ibi中の各連結成分の形状特徴及び当該連結成分の変換
前動きベクトルの動き特徴を所定監視対象物の形状特徴
及び動き特徴と比較することにより前記観察区域におけ
る監視対象物を識別してなる動きベクトルによる識別方
法。 - 【請求項2】請求項1記載の方法において、前記動きベ
クトル画像Ivから二値画像Ibiへの変換を所定の閾値に
基づく前記動きベクトルVの二値化により行なってなる
動きベクトルによる識別方法。 - 【請求項3】連続的に生成する観察区域画像のフレーム
を一定画素数のブロックに分割し;現画像It中の各ブロ
ック内画像を、前画像I(t-1)における当該ブロック内画
像に対応する部分の現画像It内当該ブロック位置までの
動きベクトルVに置換して動きベクトル画像Ivを出力
し;前記動きベクトルVを二値化することにより動きベ
クトル画像Ivを二値画像Ibiに変換し;収縮画像処理及
び拡散画像処理により微小連結成分を除去し;二値画像
Ibi中の各連結成分の形状特徴及び当該連結成分の変換
前動きベクトルの動き特徴を所定監視対象物の形状特徴
及び動き特徴と比較することにより前記観察区域におけ
る監視対象物を識別し;前記動きベクトルVにより前記
監視対象物の位置を予測してなる動きベクトルによる予
測方法。 - 【請求項4】連続的に生成する観察区域画像のフレーム
を一定画素数のブロックに分割し、現画像It中の各ブロ
ック内画像を、前画像I(t-1)における当該ブロック内画
像に対応する部分の現画像It内当該ブロック位置までの
動きベクトルVに置換して動きベクトル画像Ivを出力す
る動きベクトル画像形成手段;前記動きベクトルVを二
値化することにより前記動きベクトル画像Ivを二値画像
Ibiに変換する二値化手段;並びに収縮画像処理及び拡
散画像処理により微小連結成分を除去し、二値画像Ibi
中の各連結成分の形状特徴及び当該連結成分の変換前動
きベクトルの動き特徴を所定監視対象物の形状特徴及び
動き特徴と比較することにより前記観察区域における監
視対象物を識別する識別手段を備えてなる動きベクトル
による識別装置。 - 【請求項5】請求項4記載の装置において、前記二値化
手段をして所定閾値に基づく前記動きベクトルVの二値
化により前記動きベクトル画像Ivを二値画像Ibiに変換
せしめてなる動きベクトルによる識別装置。 - 【請求項6】連続的に生成する観察区域画像のフレーム
を一定画素数のブロックに分割し、現画像It中の各ブロ
ック内画像を、前画像I(t-1)における当該ブロック内画
像に対応する部分の現画像It内当該ブロック位置までの
動きベクトルVに置換して動きベクトル画像Ivを出力す
る動きベクトル画像形成手段;前記動きベクトルVを二
値化することにより前記動きベクトル画像Ivを二値画像
Ibiに変換する二値化手段;収縮画像処理及び拡散画像
処理により微小連結成分を除去し、二値画像Ibi中の各
連結成分の形状特徴及び当該連結成分の変換前動きベク
トルの動き特徴を所定監視対象物の形状特徴及び動き特
徴と比較することにより前記観察区域における監視対象
物を識別し、識別した連結成分を含む二値検出画像Igを
出力する識別手段;前記観察区域内の禁止区域位置Zが
含まれる禁止区域画像Izを記憶する禁止区域記憶手段;
並びに前記二値検出画像Igにおける監視対象物と前記禁
止区域画像Izにおける禁止区域位置Zとの重なりを検出
する異常判定手段を備えてなる動きベクトルによる監視
装置。 - 【請求項7】連続的に生成する観察区域画像のフレーム
を一定画素数のブロックに分割し、現画像It中の各ブロ
ック内画像を、前画像I(t-1)における当該ブロック内画
像に対応する部分の現画像It内当該ブロック位置までの
動きベクトルVに置換して動きベクトル画像Ivを出力す
る動きベクトル画像形成手段;前記動きベクトルVを二
値化することにより前記動きベクトル画像Ivを二値画像
Ibiに変換する二値化手段;収縮画像処理及び拡散画像
処理により微小連結成分を除去し、二値画像Ibi中の各
連結成分の形状特徴及び当該連結成分の変換前動きベク
トルの動き特徴を所定監視対象物の形状特徴及び動き特
徴と比較することにより前記観察区域における監視対象
物を識別し、識別した連結成分を含む二値検出画像Igを
出力する識別手段;前記監視対象物として識別された連
結成分に対応する前記動きベクトル画像中の動きベクト
ルVに基づいて所定時間(τ)後の前記連結成分の見込位
置を予測する第1予測手段;前記観察区域内の禁止区域
位置Zが含まれる禁止区域画像Izを記憶する禁止区域記
憶手段;並びに前記第1予測手段により予測された前記
連結成分の見込位置と前記禁止区域画像Izにおける禁止
区域位置Zとの重なりを検出する異常判定手段を備えて
なる動きベクトルによる監視装置。 - 【請求項8】請求項7記載の装置において、前記所定時
間(τ)経過後に前記連結成分の位置と前記見込位置との
差を検出し、所定値以下の前記差を予測的中とし、前記
所定時間(τ)のN回以上の連続中に予測された前記見込
位置のうち連続的な予測的中の数Nを記憶する予測一致
判定手段;前記予測の所定時間(τ)を前記連続的な的中
回数N以下の整数(α)倍した時間(ατ)後の前記連結成
分の推定位置を前記動きベクトルに基づいて予測する第
2予測手段;並びに前記第2予測手段により予測された
前記連結成分の推定位置と前記禁止区域画像Izにおける
禁止区域位置Zとの重なりを検出する異常判定手段を備
えてなる動きベクトルによる監視装置。 - 【請求項9】連続的に生成する観察区域画像のフレーム
を一定画素数のブロックに分割し、現画像It中の各ブロ
ック内画像を、前画像I(t-1)における当該ブロック内画
像に対応する部分の現画像It内当該ブロック位置までの
動きベクトルVに置換して動きベクトル画像Ivを出力す
る動きベクトル画像形成手段;前記観察区域内の不動基
準区域Rが含まれる基準区域画像IRを記憶する基準区域
記憶手段;前記動きベクトル画像Iv中の前記基準区域R
の位置における前記動きベクトルVを画像ブレベクトル
Dとして出力する画像ブレ検出手段;前記観察区域の所
定画像を参照画像Irfとして記憶する参照画像記憶手
段;前記参照画像Irfから前記画像ブレベクトルDを差
引き修正参照画像Irfmを出力する修正手段;前記現画像
Itと前記修正参照画像との差をブロック毎に算出し、差
分画像Idを出力する画像変化識別手段;前記差分画像Id
を所定監視対象物の画像情報と比較することにより前記
観察区域における監視対象物を識別し、識別した監視対
象物を含む検出画像Igdを出力する識別手段;前記観察
区域内の禁止区域位置Zが含まれる禁止区域画像Izを記
憶し、且つ前記禁止区域画像Izから前記画像ブレベクト
ルDを差引いた修正禁止区域画像Izmを読出す禁止区域
記憶手段;並びに前記検出画像Igdと前記修正禁止区域
画像Izmとの重なりを検出する異常判定手段を備えてな
る動きベクトルによる監視装置。 - 【請求項10】請求項9記載の監視装置において、前記
画像変化識別手段の出力差分画像Idを、ブロック毎に算
出した前記現画像Itと前記修正参照画像との差を二値化
した二値差分画像Ibiとし;前記二値差分画像Ibiに収縮
画像処理及び拡散画像処理を施した後、当該二値画像Ib
i中の各連結成分の形状特徴及び当該連結成分の変換前
動きベクトルの動き特徴を所定監視対象物の形状特徴及
び動き特徴と比較することにより前記観察区域における
監視対象物を識別し、識別した連結成分を含む二値検出
画像Igを、前記識別手段が出力する検出画像Igdとして
なる動きベクトルによる監視装置。 - 【請求項11】請求項9または10記載の監視装置にお
いて、前記参照画像Irfを前記前画像I(t-1)とし、前記
修正手段により前記前画像I(t-1)から前記画像ブレベク
トルDを差引き修正参照画像Irfmとしてなる動きベクト
ルによる監視装置。 - 【請求項12】請求項9、10又は11記載の監視装置
において、試験ベクトルTを前記動きベクトル画像形成
手段中の前記前画像I(t-1)に加算し、この加算に応じて
前記画像ブレ検出手段から出力される前記画像ブレベク
トルDと前記試験ベクトルTとが一致しない画像ブロッ
クを前記基準区域Rから除外する基準区域修正手段を設
けてなる動きベクトルによる監視装置。 - 【請求項13】請求項9、10又は11記載の監視装置
において、前記観察区域の画像を連続的に出力するTVカ
メラ、及び前記画像ブレベクトルDに応じて前記TVカメ
ラの向きを修正する制御・駆動手段を設けてなる動きベ
クトルによる監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3306445A JP3034101B2 (ja) | 1991-11-22 | 1991-11-22 | 動きベクトルによる識別方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3306445A JP3034101B2 (ja) | 1991-11-22 | 1991-11-22 | 動きベクトルによる識別方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05143737A JPH05143737A (ja) | 1993-06-11 |
JP3034101B2 true JP3034101B2 (ja) | 2000-04-17 |
Family
ID=17957091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3306445A Expired - Fee Related JP3034101B2 (ja) | 1991-11-22 | 1991-11-22 | 動きベクトルによる識別方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3034101B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6028626A (en) | 1995-01-03 | 2000-02-22 | Arc Incorporated | Abnormality detection and surveillance system |
US5666157A (en) | 1995-01-03 | 1997-09-09 | Arc Incorporated | Abnormality detection and surveillance system |
JPH1093957A (ja) * | 1996-09-12 | 1998-04-10 | Hitachi Ltd | 移動物体検出方法、装置、システム、および記憶媒体 |
JP4031122B2 (ja) * | 1998-09-30 | 2008-01-09 | 本田技研工業株式会社 | 差分画像を用いた被写体の検出装置 |
JP4709889B2 (ja) * | 2008-11-20 | 2011-06-29 | パナソニック株式会社 | 移動物体監視装置 |
JP5650500B2 (ja) * | 2010-11-10 | 2015-01-07 | 本田技研工業株式会社 | 位置測定装置及び位置測定方法 |
JP5759162B2 (ja) * | 2010-12-16 | 2015-08-05 | キヤノン株式会社 | 動きベクトル検出装置、動きベクトル検出方法及び補正装置及びプログラム |
JP5165103B2 (ja) * | 2011-11-14 | 2013-03-21 | 一般財団法人生産技術研究奨励会 | 画像における移動物体の追跡方法及び装置 |
US9239960B2 (en) | 2012-03-02 | 2016-01-19 | Nissan Motor Co., Ltd. | Three-dimensional object detection device |
JP2014035302A (ja) * | 2012-08-09 | 2014-02-24 | Panasonic Corp | 対象物検出装置、対象物検出方法、プログラム |
JP2014241134A (ja) * | 2013-06-11 | 2014-12-25 | ゼロックス コーポレイションXerox Corporation | 動きベクトルを使用して車両を分類する方法およびシステム |
JP6430872B2 (ja) * | 2015-03-24 | 2018-11-28 | セコム株式会社 | センサ装置 |
-
1991
- 1991-11-22 JP JP3306445A patent/JP3034101B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH05143737A (ja) | 1993-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6141433A (en) | System and method for segmenting image regions from a scene likely to represent particular objects in the scene | |
EP0671706B1 (en) | Method and apparatus for moving object extraction based on background subtraction | |
US6754367B1 (en) | Method and apparatus for automatically detecting intrusion object into view of image pickup device | |
US6628805B1 (en) | Apparatus and a method for detecting motion within an image sequence | |
KR100476019B1 (ko) | 침입물체검출용 감시방법 및 침입물체검출용 감시장치 | |
JP3034101B2 (ja) | 動きベクトルによる識別方法及び装置 | |
EP0400998B1 (en) | Apparatus for detecting a moving object in a motion picture sequence | |
JP2000011133A (ja) | 移動物体検出装置及びその方法 | |
US20020051058A1 (en) | Intruding object detecting method and intruding object monitoring apparatus employing the method | |
JP2002074368A (ja) | 移動物体認識追跡装置 | |
JP2007180933A (ja) | 画像センサ | |
JP3995671B2 (ja) | 画像処理装置 | |
JP2004312402A (ja) | 道路監視システム,道路監視装置 | |
JPH09293141A (ja) | 移動物体検出装置 | |
JP2017030380A (ja) | 列車検知システムおよび列車検知方法 | |
JP2002157598A (ja) | 侵入者検知システム | |
JP2001043383A (ja) | 画像監視システム | |
JPH10289321A (ja) | 画像監視装置 | |
JPH08171689A (ja) | 変化領域検出装置 | |
JP3736836B2 (ja) | 物体検出方法及び物体検出装置及びプログラム | |
JPH0514891A (ja) | 画像監視装置 | |
JPH06169458A (ja) | 移動体の自動追尾装置 | |
JP2004208209A (ja) | 移動体監視装置および移動体監視方法 | |
JP3138381B2 (ja) | 監視装置 | |
JP3267107B2 (ja) | 背景画像作成方法および画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080218 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |