JP3665430B2 - Image feature amount determination apparatus and image feature amount determination method - Google Patents
Image feature amount determination apparatus and image feature amount determination method Download PDFInfo
- Publication number
- JP3665430B2 JP3665430B2 JP24161596A JP24161596A JP3665430B2 JP 3665430 B2 JP3665430 B2 JP 3665430B2 JP 24161596 A JP24161596 A JP 24161596A JP 24161596 A JP24161596 A JP 24161596A JP 3665430 B2 JP3665430 B2 JP 3665430B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- dimensional pattern
- dictionary
- dimensional
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば画像により不法侵入者などの検知を行なう画像監視装置において、入力画像から侵入物の検出を行なう移動物体検出のための特徴量判定方法に関する。
【０００２】
【従来の技術】
セキュリティ装置のひとつにテレビジョンカメラによる撮影画像を用いて、不法侵入者などを検知する画像監視装置がある。このような画像監視装置において、例えば不法侵入者を検知するためには侵入者の動きを利用する場合が多い。すなわち、時間的に離れた画像間の差分処理や予め記憶しておいた侵入者がいない場合の背景画像と取り込み画像間での差分処理などにより、侵入物の移動した移動領域を変化領域として求め、その変化領域の有無や大きさなどで不法侵入者があるか否かを判断している。
【０００３】
画像監視装置は、セキュリティの目的で使われる場合が多いために、誤報や検出漏れといった誤動作があると、装置の信頼性が低下して問題となる。多くの画像監視装置では、変化領域の有無だけで不法侵入者があると判断して警報を出力するが、一般的に画像にはノイズ成分を始めとして、目的とする対象物以外の画像変化など、誤動作の原因となりえる要素が含まれている。
【０００４】
この対策として、画像処理を用いた手法が考えられている。その一例としては、第２８図（ａ）に示すように差分画像をＸ軸、Ｙ軸に投影してその投影パターンを作り、各軸で所定値Ｘｔｈ、Ｙｔｈ以上の数値が所定長さＸｗ、Ｙｗ以上続く区間を求め、Ｘ軸、Ｙ軸の共通部分を求めることにより塊となっている領域を抽出して、その大きさや縦横比などを求め、所定の範囲内ならば侵入者が存在するとして異常発生とみなすような方法を挙げることができる。
【０００５】
図２８（ａ）では変化領域の外接四角形Ａ１１、Ａ２２の部分が侵入物に該当する変化領域とみなすことができる。
【０００６】
【発明が解決しようとする課題】
ところが監視環境によっては、図２８（ｂ）に示すように、侵入物ではない、例えば木の揺れなどによる画像変化も侵入者と同じような大きさで抽出されることがある。この場合、上述したような、差分画像の投影パターンの大きさだけを判断基準とする方法を用いると誤動作を起こすおそれがあった。
【０００７】
こうした問題を防ぐためには、変化領域の形状を用いた判断を行なえばよいが、人物などの非剛体ではその形状が歩行により変化するために、テンプレートマッチングのような予め決められた固定形状との比較による判断は適さない。
【０００８】
そこで、本出願人は先に特願平５−１５６６８号によって、変化領域の横方向への投影パターンを求めて、その投影パターンを予め求めておいた辞書パターンと比較して評価値を求め、その評価値が所定値以上であれば侵入物であると判断する方式を提案している。この方式の概略を以下に示す。
【０００９】
人間の動きのシルエットに着目してみると、図１（ａ）に示すように頭部の幅は狭く、肩・大腿部の部分の幅は太く、動きに伴う変化は少なく、腹部、脚部はカメラに対する移動方向により程度の差はあるものの、手足の振りによりその幅が変化する。
【００１０】
図１（ｂ）は、これらのシルエットの横方向への投影パターンを示しており、シルエットの変化の特徴が波形の形の違いとなって表れることがわかる。これら手足の振れが最大になった場合から最小になった場合までの投影パターンを、図２９（ａ）に示すように重ね合わせると、図２９（ｂ）の網をかけた領域に全ての横移動の投影パターンが含まれる。図２９（ｂ）に示すように、頭部、肩部、大腿部などで分布する範囲が狭くて重なりが多いのに対して、腹部、脚部では分布する範囲が広くて重なりが少ないパターンとなることがわかる。
【００１１】
そこで、重ねたパターンを予め作っておけば、被検定物である変化領域が人物であるか否か評価するための辞書パターンとして考えることができる。
【００１２】
図３０は、辞書パターンと被検定のシルエットの具体的な例を示す図である。図３０に示すように、検定を行なう変化領域のシルエットの投影パターンを辞書パターンに重ね合わせて、投影パターンの通った場所の点数を加算して評価点を求める。この結果、人物の投影パターンであれば評価点が高くなり、非人物（木の揺れ等）であれば評価点が低くなるといった特徴があり、人物判別を行なうことができる。
【００１３】
前述した方式は、変化領域が人物であると仮定して、そのシルエットの頭部、腹部、大腿部の幅の値が標準的な人物の幅に合っているか否かで判断する方式であり、先の人物の歩行の特徴のうち、ある一瞬の各部位の幅を評価していることに他ならない。
【００１４】
つまり、幅については評価がなされているものの、頭部や肩、大腿部の幅が安定しているのに対して、腹部や脚部は幅の変化があるといった、各部位に対する時間に伴う変化特徴を積極的に利用した方式ではなかった。
【００１５】
また、本来、人物シルエットの投影パターンは、図３１（ａ）に示すように、滑らかな連続性のあるパターンになるはずであり、木の揺れの投影パターンは、図３１（ｂ）に示すように、凹凸の多いパターンになるはずであるが、辞書パターンに当てはめたときには、投影パターンの通る場所の点数を加算して行くことで評価点を求めるために、投影パターンが滑らかでなくても同様な判別結果となる場合があった。すなわち、対象とする投影パターンの変化特徴を積極的に利用して、評価点を求める方式ではなかった。
【００１６】
さらに、辞書パターンを予め作成しておき、常時これを利用するようにしているが、人物の服装は季節により厚着、薄着が変わり、そのシルエットや投影パターンも変化することにより、辞書パターンが不適正なものとなる場合がある。また、辞書パターンを作成した環境と実際に監視カメラを設置する環境が一致していない場合などは、カメラの画角や俯角の違いにより辞書パターンが適切でない場合もあり、何れの場合も辞書の変更や更新の必要性が生じる可能性があった。
【００１７】
本発明は前記の問題を解決するためになされたもので、変化領域の投影パターンを求めて、その投影パターン全体の時間的な変動、あるいは投影パターンの各部位に相当する幅の値の時間的な変化や投影パターンの連続性を解析することにより、被検定物に対する判定精度を向上させることが可能な画像特徴量判定方法及び画像特徴量判定装置を提供することを目的とする。
【００１８】
また、評価に使用する辞書パターンを所定の条件で自動的に更新することにより、常に良好な判定精度を得ることが可能な画像特徴量判定方法及び画像特徴量判定装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明は、所定の時間間隔を設けながら画像を撮像する撮像手段と、前記撮像手段によって撮像された各々の画像から所定の条件を満たす部分領域を抽出する抽出手段と、前記抽出手段によって抽出された異なる撮像画像での前記部分領域を対応づける対応づけ手段と、前記抽出手段によって抽出された部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン変換手段と、前記対応づけ手段によって対応づけられた複数の異なる画像における部分領域の１次元パターンを組み合わせて２次元パターンを生成する２次元パターン変換手段と、前記２次元パターン変換手段によって生成された２次元パターンを検定するための２次元パターンを表すデータ列からなる辞書パターンを記憶する辞書パターン記憶手段と、前記２次元パターン変換手段によって生成された２次元パターンを、前記辞書パターン記憶手段に記憶された辞書パターンと比較することによって、前記部分領域を検定する対応手段とを具備したことを特徴とする。
【００２０】
すなわち、投影パターンの各部位に相当する幅の値の時間的な変化を解析するもので、所定時間毎に得られる画像間において、変化領域の対応付けを行い、各々のシルエットおよび投影パターンを求めてこの時間変化を解析することにより、人物の判定精度を向上させようとするものである。
【００２１】
また本発明は、所定の時間間隔を設けながら画像を撮像する撮像手段と、前記撮像手段によって撮像された各々の画像から所定の条件を満たす部分領域を抽出する抽出手段と、前記抽出手段によって抽出された異なる撮像画像での前記部分領域を対応づける対応づけ手段と、前記抽出手段によって抽出された部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン変換手段と、前記対応づけ手段によって対応づけられた複数の異なる画像における部分領域の１次元パターンの各々に対応する各要素データ毎に統計処理を行ない、統計処理結果を要素とする統計量１次元パターンを生成する統計量変換手段と、前記統計量変換手段によって生成される統計量１次元パターンを検定するための１次元パターンを表すデータ列からなる辞書パターンを記憶する辞書パターン記憶手段と、前記統計量変換手段によって生成された統計量１次元パターンを、前記辞書パターン記憶手段に記憶された辞書パターンと比較することによって、前記部分領域を検定する対応手段とを具備したことを特徴とする。
【００２２】
すなわち、異なる画像で各々投影パターンを求め、各部位に相当する幅の値、すなわちその投影パターンの要素の値の時間的変化を解析することにより人物の判定精度を向上させるものである。
【００２３】
また本発明は、所定の時間間隔を設けながら画像を撮像する撮像手段と、前記撮像手段によって撮像された各々の画像から所定の条件を満たす部分領域を抽出する抽出手段と、前記抽出手段によって抽出された部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン変換手段と、前記１次元パターン変換手段によって生成された１次元パターンの複数個のデータ列について隣り合うデータ間で差分演算を行ない、差分演算結果を要素としする差分１次元パターンを生成する差分１次元パターン変換手段と、前記差分１次元パターン変換手段によって生成された差分１次元パターンを、前記辞書パターン記憶手段に記憶された辞書パターンと比較することによって、前記部分領域を検定する対応手段とを具備したことを特徴とする。
【００２４】
すなわち、変化領域の投影パターンを計算したのち、投影パターンの隣り合う各要素の差を求めることにより、投影パターンの連続性を表すパターンを求め、この連続性を辞書パターンと比較することにより、人物の判定精度を向上させようとするものである。
【００２８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態（第１乃至第４の実施形態）について説明する。はじめに、本発明の第１実施形態及び第２実施形態の理解を容易にするために基本的な考え方について説明する。
【００２９】
第１実施形態及び第２実施形態の基本は、撮像した画像中から抽出された変化領域の投影パターンを、所定時間間隔でｋ回連続的に求め、各投影パターンを、幅を変数とするｍ×１のベクトルで表現して、ｋ回分のベクトルを組合せて時間変動の成分が含まれているｍ×ｋの２次元マトリクスを生成し、さらに、この２次元マトリクスの要素データを解析して、予め求めておいた人物辞書パターンに照らし合わせることにより、変化領域が人物であるか否かを判定しようとするものである。
【００３０】
まず一例として、変化領域が人物によるものと仮定して、そのシルエットと、投影パターンの変化の様子を図１、図２を用いて説明する。図１は、人の動きの一例として横方向に歩いた場合のシルエット（図１（ａ））と、各シルエットに対応する投影パターン（図１（ｂ））の変化の例を示す図である。
【００３１】
図１（ａ）において（１）は、手足の最小振れ状態、（２）は最大振れ状態にそれぞれ相当し、図１（ｂ）は各状態における投影パターンである。シルエットの大きさは、移動物体の大きさとカメラからの距離、カメラのレンズ倍率により異なって見えるが、人物の身長を基準として頭部、腹部、脚部等の相対長さはほぼ等しいとみなし正規化を行なう。
【００３２】
ここで、投影パターンに対する高さの基準値をｍ（辞書パターンの区分数）とする。正規化の方法としては、図２（ａ）に示すように、投影パターンの区分数をｎとした場合に、単純に被検定データである投影パターンのｎ個の区分数をｍ／ｎ倍するように間引いたり、図２（ｂ）に示すように、ｎ区分の投影データを辞書パターンに合わせて拡大または縮小をした後（図２（ｂ）の例は縮小）、投影パターンの長さをｍ等分することにより、ｍ×１の幅の値を変数とするベクトルに変換することができる。
【００３３】
従って、図１における人物の歩行に伴うシルエットの変化は、ｍ×１のベクトル列として表すことができる。ここで、例えば人物の歩行パターンは、開脚−閉脚−開脚−閉脚の繰り返しであることから、開脚から次の開脚までを１サイクルと考えることができる。
【００３４】
この１サイクル中で画像取り込み回数をｋ回とすると、各々ｍ×１のベクトル列が作成され、ｋ個のｍ×１のベクトル列が作成できることから、図３に示すように、ｍ×ｋの２次元マトリクスを生成することができる。ｍ×ｋの２次元マトリクスによって、人物のシルエットの投影パターンの変化の様子を表現することができる。
【００３５】
ここで、上述のように人物は手足を振りながら歩行するために、その腹部や脚部では手足の揺れが投影パターンに反映されて、ある範囲で幅の変化が生じるのに対し、頭や肩の部分では、振れる物がないためにその幅は安定していることがわかる。
【００３６】
次に、人物以外の画像変化の一例として、木の揺れについて図４を用いて説明する。木の揺れは、通常、風の影響により発生し、強い風が吹く場合には、根本を支点として幹や枝全体が揺れるために、その幅の変化は中心から上部にかけて大きくなる。また、風が弱い場合には幹全体が揺れるのではなく、枝葉が風にそよぐことによりランダムに発生するために、幅の変化は場所により異なる。さらに、どちらの場合においても幅の変化の周期性が観測されることはない。
【００３７】
図４は、これらの様子を表した図で、変化領域の外接四角形の大きさ、縦横比が人物とほぼ等しい場合の木の揺れのシルエットの例とその投影パターンを示したものである。
【００３８】
図４において、図３に示す人物の例と同様に、投影パターンをｍ×１のベクトルで表し、さらに所定時間の間にｋ個のｍ×１のベクトルを求めてｍ×ｋの２次元マトリクスを作成する。この場合、その部位ごとに幅の変化を見ると、何れの部位でもランダムになる様子が観測される。
【００３９】
本発明の第１実施形態及び第２実施形態では、図３（ｂ）、図４（ｂ）に示す２次元ベクトルの特徴により、人物をその他の画像変化から判別しようとするもので、その着目する点や計算方法の違いにより、異なる判別方式を提供しようとするものである。
【００４０】
次に、本発明の第１実施形態について説明する。
【００４１】
第１実施形態では、一般的な人物が歩行した場合に得られる図３（ｂ）に示すような２次元マトリクスを予め辞書パターンとして求めておき、ある画像変化が観測された場合に、その画像変化に対して同じ方法により２次元マトリクスを作成し、辞書パターンと比較することにより人物であるか否かを判定しようとする方法である。
【００４２】
図５はセキュリティ装置等の画像監視装置において用いられる画像特徴量判定装置の構成を示すブロック図である。図５に示すように、画像特徴量判定装置は、撮像部１０、領域抽出部１２、対応づけ部１４、１次元パターン変換部１６、１次元パターン記憶部１８、２次元パターン変換部２０、辞書パターン記憶部２２、及び対応部２４によって構成されている。
【００４３】
撮像部１０は、テレビジョンカメラ等により撮像して画像を取り込むもので、離れた時間ごとの画像を領域抽出部１２に送出する。
【００４４】
領域抽出部１２は、撮像部１０によって異なる時間で撮像された各々の画像から所定の条件を満たす部分領域、すなわち移動物体による変化領域を抽出する。
【００４５】
対応づけ部１４は、領域抽出部１２によって抽出された部分領域（変化領域）を、異なる撮像画像間で対応づけを行なう。
【００４６】
１次元パターン変換部１６は、領域抽出部１２によって抽出された各画像における部分領域からｎ個のデータ列からなる１次元パターンを生成し、後の辞書パターンによる検定に備え、ｍ×１のデータ列に変換する。
【００４７】
１次元パターン記憶部１８は、１次元パターン変換部１６によって生成された複数の画像分の１次元パターンを記憶する。
【００４８】
２次元パターン変換部２０は、対応づけ部１４によって異なる撮像画像間で対応づけられた異なる複数の部分領域について、１次元パターン変換部１６によって変換され、１次元パターン記憶部１８に格納されたそれぞれの画像の１次元パターンを組み合わせてｍ×ｋの２次元パターンを生成する。
【００４９】
辞書パターン記憶部２２は、２次元パターン変換部２０によって変換された２次元パターンを検定するための、２次元パターンを表すｍ×ｋ個のデータ列からなる辞書パターンが予め記憶される。
【００５０】
対応部２４は、２次元パターン変換部２０によって生成されたｍ×ｋ個のデータ列からなる２次元パターンを、辞書パターン記憶部２２に記憶されたｍ×ｋ個のデータ列からなる辞書パターンに対応させて類似度を測定し、部分領域（変化領域）を検定、すなわち部分領域に対応する対象物（人物等）が何であるかを判定する。
【００５１】
次に、第１実施形態における動作について、図６に示すフローチャートを参照しながら前述した図３を用いて説明する。図３は、標準的な人物が開脚−閉脚−開脚までのパターンを、図１と同様にして求めたものである。図３から得られるｍ×ｋの２次元マトリクスは、標準的な人物の投影パターンをもとにして求められているので人物の辞書パターンであると考えることができる。辞書パターンの作成方法の詳細については後述する。
【００５２】
撮像部１０は、所定時間ｔｉ（ｉ＝１，２，…，Ｋ）毎に画像を取り込み、領域抽出部１２に送出する。
【００５３】
領域抽出部１２は、監視対象とする範囲の撮像画像中に変化があるかどうか、すなわち変化領域Ｅｉ（ｉ＝１，２，…，Ｋ）が存在するか否かを、撮像部１０によって所定時間ｔｉ毎に入力される各撮像画像を用いて連続的に確認する（ステップＡ１，Ａ２）。
【００５４】
変化領域を抽出する方法としては、例えば移動物体が存在しない場合の映像を記憶しておき、取り込み画像との差分計算をして求める方法、あるいは連続する複数の画像間で差分をとることで差分画像を生成し、この差分画像から変化領域を求めてもかまわない。
【００５５】
撮像画像から変化領域が抽出された場合、領域抽出部１２は、変化領域に対する外接四角形を求める（ステップＡ４）。ここで、変化領域（外接四辺形）の高さがｎであると仮定すると、領域抽出部１２は、対応部２４において辞書パターンを用いて検定する場合に備えて、例えば前述した図２に示したように、辞書パターンに合わせて高さがｍとなるように正規化を行なう（ステップＡ５）。
【００５６】
１次元パターン変換部１６は、領域抽出部１２によって正規化された変化領域（シルエット）について水平方向へ投影をとり、図２に示すようにして投影パターンベクトル（ｍ×１のベクトルｖ１）を作成する（ステップＡ６）。１次元パターン変換部１６によって作成されたｍ×１のベクトルｖ１は、１次元パターン記憶部１８に記憶される。
【００５７】
引き続き次の画像を取り込んだ際に、領域抽出部１２は、対応する変化領域を求め、同様にｍ×１のベクトルｖ２を求める（ステップＡ１〜Ａ５）。対応づけ部１４は、領域抽出部１２によって抽出される各画像から抽出される変化領域を、異なる画像間で対応づけて、その対応関係を２次元パターン変換部２０に通知する。２次元パターン変換部２０は、対応づけ部１４からの変化領域の対応関係についての通知に基づいて、１次元パターン記憶部１８に記憶された先のベクトルｖ１とベクトルｖ２とを組み合わせて、図７に示すように、ｍ×２の２次元マトリクスを作成する（ステップＡ６）。
【００５８】
ステップＡ１〜Ａ６の処理をｋ回繰り返すことによって（ステップＡ７）、ｍ×ｋの２次元マトリクスが得られた場合に、対応部２４は、撮像画像から求められたｍ×ｋの２次元マトリクスと、辞書パターン記憶部２２に予め記憶されている辞書パターンの２次元マトリクスとを比較してその類似度を測定する（ステップＡ８）。対応部２４は、辞書パターンをもとにして得られた類似度をもとに、撮像画像中に存在する対象物を判定、すなわち人物が撮像されているか否かを判定する（ステップＡ９）。
【００５９】
なお、類似度の計算方法としては、２次元マトリクスの類似性を計算する従来の方法を用いることが可能である。例えば、信号処理でしばしば用いられるパターンマッチングの方法などが考えられる。
【００６０】
次に、辞書パターン記憶部２２に予め記憶される辞書パターンの作成方法について説明する。辞書パターンの作成方法としてはいろいろと考えられるが、人物の歩行パターンに個人差があると考えられるために、辞書パターンを表す２次元マトリクスを多くの人物について作成し、その違い含むような２次元パターンにする。これにより、一般的な人物の歩行の際のシルエットの変化を表す２次元パターンとすることができる。
【００６１】
つまり、図８（ａ）に示すように、複数人分の人物サンプル（シルエット）に対応するｍ×ｋマトリクスを求めて（図８（ｂ））、各ｍ×ｋマトリクスのｉ−ｊ要素の平均を各々求めることにより、図８（ｃ）に示すような、全ての人物サンプルの投影パターンを人物であると判定可能なｍ×ｋマトリクス（辞書パターン）を生成することができる。
【００６２】
なお、前述した説明では、撮像画像中から変化領域が連続してｋ回求められることを前提とし、複数の撮像画像から得られたｍ×ｋの２次元マトリクスと辞書パターンとの比較により判定を行なっているが、途中の数回目で変化領域が検出されなかった場合には、検出できなかったことを根拠に該当する変化領域は人物でないと判断しても良い。あるいは、その後の抽出状態により、ある一瞬は何らかの理由で検出されなかったと解釈して、その間のベクトルを前後のベクトルから合成して生成するなどの対策をすることも考えられる。
【００６３】
また、前述した説明では、複数の撮像画像中の変化領域から得られるｋ個の１次元ベクトルは、全て同一の移動物体に対応するとの前提に説明しているが、撮像画像内に複数の移動物体が存在するときには、対応づけ部１４によって、異なる時間に取り込んだ画像間でそれぞれの変化領域についての対応付けが必要となる。これには、画像処理の分野で用いられる画像の追跡アルゴリズムを用いればよく、例えば変化領域外接四角形の位置や、形状などの特徴から、撮像画像中における抽出された位置が近く、形状が似ている変化領域を、前後の画像で対応づけるなどの方法により容易に実現することができる。なお、この画像の追跡アルゴリズムはあくまでも一例であり、どのような方式を用いても、本発明の目的とすることは同様に実現可能である。
【００６４】
先に述べたように、人物の歩行パターンは周期性があるため、得られた２次元マトリクスを辞書パターンの２次元マトリクスと比較した場合、変化領域が人物によるものであったとしても、類似度が高くなるのは、辞書パターンと周期が合った瞬間である。従って、変化領域の２次元マトリクスを、ｋ回の画像の取り込み後に作成する場合には、辞書パターンの２次元マトリクスとの周期が合わないと高い類似度が得られなくなってしまう。
【００６５】
そこで、変化領域を抽出してｎ×１の１次元ベクトルが得られた場合に、次々に各１次元ベクトルに対して辞書パターンに合わせて正規化を行ない、組み合わせることによりｍ×ｋの２次元マトリクスを作成する。そして、ｋ＋１番目のベクトルが得られた場合には、図９に示すように、ｋ＋１番目のベクトルを組み合わせた後に、最も古い第１列のベクトルを取り去ることで、新たなｍ×ｋの２次元マトリクスを作成して評価を行えばよい。
【００６６】
このようにすれば、常時、最新のｋ個の変化領域に対応する投影パターンから得られる２次元マトリクスにより評価が行われるために、全ての周期のそれぞれについて辞書パターンとの比較が行われることになり、必ず何れかの時点における２次元マトリクスと辞書パターンの２次元マトリクスとの比較において高い類似度が得られる。
【００６７】
また、ｋ回の画像の取り込み毎に１回の辞書パターンとの比較を行なうのではなく、辞書パターンとの比較の頻度をより多くすると共に、高い類似度を得る方法としては、図１０に示すように、歩行パターンの周期がそれぞれ異なる複数の辞書パターン（２次元マトリクス）を作成しておき、これら複数の辞書パターンとの比較を行えば、類似度の高くなる頻度を増すことが可能となるし、周期の異なる辞書パターンを用意すれば、人により異なる歩行周期の影響も吸収することができる。
【００６８】
なお、前述した説明では、２次元マトリクスのｋを一般的な人物の一周期となる時間として説明してきたが、必ずしも一周期である必要はなく、例えば開脚から閉脚までの一周期中の部分的な短い周期であってもかまわない。
【００６９】
また、前述した説明では、ｎ×１の１次元マトリクスを辞書パターンに合わせてｍ×１の１次元マトリクスに変換した後、ｍ×ｋの２次元マトリクスを生成するものとして説明しているが、ｎ×１の１次元マトリクスを組合わせてｎ×ｋの２次元マトリクスを生成した後にｍ×ｋの２次元マトリクスに変換するようにしても良い。
【００７０】
次に、本発明の第２実施形態について説明する。
【００７１】
第１実施形態では辞書パターンの２次元マトリクス全体を辞書パターンと比較しているが、第２実施形態では２次元マトリクスの各行、つまり、変化領域の各部位ごとに統計量を計算して、その統計量が一般的な人物のそれに近いかどうかにより、人物を判別しようとする方式である。第１実施形態では、２次元マトリクス全体を比較して類似度を計算しているために、周期が合わない場合に類似度が高くならない場合や、画像の変化領域が人物によるものであった場合に、移動速度が辞書パターンのそれと合っていないと類似度が高くならない場合が発生する可能性があったが、第２実施形態では部位ごとに所定時間内での統計量として求めることによって、辞書パターンとの比較の条件と関係なく良好な判定が可能となる。
【００７２】
統計量としてはいろいろな値が考えられるが、例えば各部位ごとの平均値や分散値などがその例として挙げられる。平均値の場合には、その人物の服装や体型が反映されてしまうが、分散値がある場合には平均からのばらつきとなるために服装や体型などの影響を低減できる特徴がある。
【００７３】
図１１は、第２実施形態における画像特徴量判定装置の構成を示すブロック図である。図１１に示すように、画像特徴量判定装置は、撮像部１０、領域抽出部１２、対応づけ部１４、１次元パターン変換部１６、１次元パターン記憶部１８、２次元パターン変換部２０、統計量変換部３０、辞書パターン記憶部３２、及び対応部３４によって構成されている。
【００７４】
なお、撮像部１０、領域抽出部１２、対応づけ部１４、１次元パターン変換部１６、及び１次元パターン記憶部１８については、前述した第１実施形態と同じ構成であるものとして、同一符号を付して詳細な説明を省略する。
【００７５】
統計量変換部３０は、２次元パターン変換部２０に蓄えられたｍ×ｋのマトリクスの各行（各部位）毎に統計処理を行ない、統計量１次元パターンＳを生成する。第２実施形態では、統計処理として分散計算を行なうものとし、ｍ×１個のデータ列の１次元パターンを作成する。
【００７６】
辞書パターン記憶部３２は、統計量変換部３０によって生成された統計量１次元パターンＳを検定するためのｍ×１個のデータ列からなる辞書パターンＤが予め記憶される。
【００７７】
対応部３４は、統計量変換部３０によって生成された統計量１次元パターンＳのｍ×１個のデータ列を、辞書パターン記憶部３２に記憶された辞書パターンのｍ×１個のデータ列に対応させて類似度を測定し、対象物を判定する。
【００７８】
次に、第２実施形態における動作について、図１２に示すフローチャートを参照しながら説明する。
【００７９】
撮像部１０は、所定時間ｔｉ（ｉ＝１，２，…，Ｋ）毎に画像を取り込み、領域抽出部１２に送出する。
【００８０】
領域抽出部１２は、監視対象とする範囲の撮像画像中に変化があるかどうか、すなわち変化領域Ｅｉ（ｉ＝１，２，…，Ｋ）が存在するか否かを、撮像部１０によって所定時間ｔｉ毎に入力される各撮像画像を用いて連続的に確認する（ステップＢ１，Ｂ２）。変化領域を抽出する方法は、前述した第１実施形態と同様の方法を用いることができる。
【００８１】
撮像画像から変化領域が抽出された場合、領域抽出部１２は、変化領域に対する外接四角形を求める（ステップＢ４）。ここで、変化領域（外接四辺形）の高さがｎであると仮定すると、領域抽出部１２は、対応部３４において辞書パターンを用いて検定する場合に備えて、例えば前述した図２に示したように、辞書パターンに合わせて高さがｍとなるように正規化を行なう（ステップＢ５）。
【００８２】
１次元パターン変換部１６は、領域抽出部１２によって正規化された変化領域（シルエット）について水平方向へ投影をとり、図２に示すようにして投影パターンベクトル（ｍ×１のベクトルｖ１）を作成する（ステップＢ６）。１次元パターン変換部１６によって作成されたｍ×１のベクトルｖ１は、１次元パターン記憶部１８に記憶される。
【００８３】
引き続き次の画像を取り込んだ際に、領域抽出部１２は、対応する変化領域を求め、同様にしてｍ×１のベクトルｖ２を求める（ステップＢ１〜Ｂ５）。対応づけ部１４は、領域抽出部１２によって抽出される各画像から抽出される変化領域を、異なる画像間で対応づけて、その対応関係を２次元パターン変換部２０に通知する。２次元パターン変換部２０は、対応づけ部１４からの変化領域の対応関係についての通知に基づいて、１次元パターン記憶部１８に記憶された先のベクトルｖ１とベクトルｖ２とを組み合わせて、図７に示すように、ｍ×２の２次元マトリクスを作成する（ステップＢ６）。以上までの処理は、第１実施形態における図６に示すフローチャートを用いたステップＡ１〜Ａ７の処理と同じである。
【００８４】
ステップＢ１〜Ｂ６の処理をｋ回繰り返すことによって（ステップＢ７）、ｍ×ｋの２次元マトリクスが得られた場合に、統計量変換部３０は、図１３に示すように、ｋ個のｍ×１のベクトルの第ｉ要素毎、すなわち２次元マトリクスの行毎に分散値を計算し、新たな統計量１次元パターンＳのｍ×１のベクトルを作成する（ステップＢ８）。ここで統計量１次元パターンＳの各要素は、体の各部位に相当しているため、各要素は体の各部位の変動を表す数値となっている。
【００８５】
次に、対応部３４は、統計量変換部３０によって作成された統計量１次元パターンＳと、辞書パターン記憶部３２に予め登録されているｍ×１の辞書パターンＤと比較して類似度を計算する（ステップＢ９）。対応部３４は、辞書パターンＤをもとにして得られた類似度をもとに、撮像画像中に存在する対象物を判定、すなわち人物が撮像されているか否かを判定する（ステップＢ１０）。
【００８６】
辞書パターン記憶部３２に記憶されている辞書パターンＤは、図１４に示すように、人物の頭部や肩部などのように比較的幅が安定している箇所について小さい値であり、腹部や脚部のように幅の変動の多い箇所について大きい値を持つようなパターンとなっている。
【００８７】
従って、得られた統計量１次元パターンＳのベクトルが、辞書パターンＤの特徴を表しているものであれば類似度は高くなり、この特徴を有していなければ類似度は低くなる。対応部３４は、測定して得た類似度について、予め設定しておいた判定基準となるしきい値と比較し、しきい値以上であれば人物であると判断し、そうでなければ非人物として判定する。
【００８８】
なお、辞書パターンＤの作成方法としては、第１実施形態と同様、人物の歩行パターンに個人差があると考えられるために、多くの人物について投影パターンを求めて、各部位毎に上記判定法同様各要素が各部位の分散値であるような１次元パターンを数多く作り、これらを用いて各要素毎に平均値を求めれば分散値の平均であるような１次元パターンとするようにして作成することができる。
【００８９】
以上のように、第２実施形態においては、体の各部位の幅の変動等の統計量を用いることにより、シルエットの各部位の幅が時間変化と共に変化し、その変化量が部位により異なるという特徴を分散値で示し、良好な人物判別を行なうことが可能となる。
【００９０】
なお、前述した第２実施形態の説明では、統計量１次元パターンＳ（１次元ベクトル）として、体の各部位の分散値を用いるとして説明してきたが、人物の時間的変化の特徴が表されるようなデータであれば、これに限るものではない。
【００９１】
次に、本発明の第３実施形態について説明する。
【００９２】
特願平５−１５６６８号に記載された方式は、図３０に示したように、被検定物である移動物体のシルエットを求めて、水平方向の投影計算によりシルエットの幅を要素に持つ投影パターンを求め、これを予め定められた辞書パターンで評価することにより人物であるか否かを判定しようとするものであった。
【００９３】
人物のシルエットは、ひとつの塊であるので、投影パターンが図３１（ａ）に示すように連続した滑らかなパターンになるはずであるが、特願平５−１５６６８号に記載された方式が幅の値を比較するものであるために、例えば図３１（ｂ）に示すように、幅の変動が大きいようなパターンであっても、同様な評価値を与えるような場合があった。
【００９４】
第３実施形態では、投影パターンの滑らかさを判定基準にすることによって、幅の変動が大きい図３１（ｂ）に示すようなパターンを対象外として確実に人物判別ができるようにする方式である。
【００９５】
図１５は、第３実施例における画像特徴量判定装置の構成を示すブロック図である。図１１に示すように、画像特徴量判定装置は、撮像部１０、領域抽出部１２、１次元パターン変換部１６、差分１次元パターン変換部４０、差分１次元パターン記憶部４２、辞書パターン記憶部４４、及び対応部４６によって構成されている。
【００９６】
なお、撮像部１０、領域抽出部１２、及び１次元パターン変換部１６については、前述した第１実施形態と同じ構成であるものとして、同一符号を付して詳細な説明を省略する。ただし、領域抽出部１２は、変化領域に対応する１次元パターンを辞書パターンに合わせて正規化する処理は行なわないものとする。
【００９７】
差分１次元パターン変換部４０は、１次元パターン変換部１６によって生成されたｎ個のデータ列からなる１次元パターンにおいて、隣り合うデータの差分演算を行なうことによりｎ−１個のデータ列からなる１次元パターンを生成する。
【００９８】
差分１次元パターン記憶部４２は、差分１次元パターン変換部４０によって生成されたｎ−１個のデータ列からなる１次元パターンを記憶する。
【００９９】
辞書パターン記憶部４４は、差分１次元パターン変換部４０によって生成されたｎ−１個のデータ列からなる１次元パターンを検定するための、ｍ個のデータ列からなる辞書パターンが予め記憶される。
【０１００】
対応部４６は、差分１次元パターン変換部４０によって生成され、差分１次元パターン記憶部４２に記憶されたｎ−１個のデータ列からなる１次元パターンを、辞書パターン記憶部４４に記憶されたｍ個のデータ列からなる辞書パターンに対応させて類似度を測定し、部分領域（変化領域）に対応する対象物を判定する。
【０１０１】
次に、第３実施形態の動作について、図１６に示すフローチャートを参照しながら説明する。
【０１０２】
撮像部１０は、所定時間ｔｉ（ｉ＝１，２，…，Ｋ）毎に画像を取り込み、領域抽出部１２に送出する。
【０１０３】
領域抽出部１２は、監視対象とする範囲の撮像画像中に変化があるかどうか、すなわち変化領域Ｅｉ（ｉ＝１，２，…，Ｋ）が存在するか否かを、撮像部１０によって所定時間ｔｉ毎に入力される各撮像画像を用いて連続的に確認する（ステップＣ１，Ｃ２）。変化領域を抽出する方法は、前述した第１実施形態と同様の方法を用いることができる。
【０１０４】
撮像画像から変化領域が抽出された場合、領域抽出部１２は、変化領域に対する外接四角形を求める（ステップＣ４）。
【０１０５】
１次元パターン変換部１６は、領域抽出部１２によって正規化された変化領域（シルエット）について水平方向へ投影をとり、図２に示すようにして投影パターンを表す１次元パターン（ｎ×１のベクトル）を作成する（ステップＣ５）。
【０１０６】
差分１次元パターン変換部４０は、１次元パターン変換部１６によって生成されたｎ個のデータ列からなる１次元パターンにおいて、隣り合うデータの差分演算を行なうことによりｎ−１個のデータ列からなる１次元パターン（（ｎ−１）×１のベクトル）を生成し（ステップＣ６）、差分１次元パターン記憶部４２に記憶させる。
【０１０７】
以下、具体例を用いて説明する。図１７と図１８は、図３１（ａ）（ｂ）に示す投影パターンに具体的な数値を当てはめて示した例である。図１７は被検定物が人物である例を示し、図１８は被検定物が非人物（木の揺れ）である例を示している。図１７、図１８に示す投影パターンは、同じ評価値（投影パターンが通過する点数の総和）を与えるようなパターンであるが、その違いは各部位の変化が滑らかであるか、凹凸が多いかである。
【０１０８】
各部位の変化の幅の大きさは、変化領域の投影パターンの１次元ベクトルにおいて、列方向で隣り合う要素間での差分処理を行なうことにより明らかとなる。図１９は、差分１次元パターン変換部４０による差分処理によって１次元パターン（（ｎ−１）×１のベクトル）を生成する様子を表したものである。
【０１０９】
すなわち、図１９（ａ−１）（ｂ−１）に示す投影パターンのそれぞれに対応するｎ×１の要素からなる１次元ベクトルを生成し、この１次元ベクトルについて列方向に隣り合う要素の値の差を求めることにより、それぞれ図１９（ａ−２）（ｂ−２）に示すような（ｎ−１）×１の１次元ベクトルに変換する。図１９（ａ−３）（ｂ−３）は、それぞれに対応する（ｎ−１）×１の要素からなる１次元ベクトルのパターン、すなわち図１９（ａ−１）（ｂ−１）に示す投影パターンの変位を表している。
【０１１０】
図１９（ａ−１）に示す投影パターンが滑らかであるために、図１９（ａ−３）に示すパターンは、要素の値０を中心として小さい値に分布している。これに対し、図１９（ｂ−１）に示す投影パターンに凹凸が多い（変動が大きい）ために、図１９（ｂ−３）に示すパターンは、要素の値０を中心としてプラスマイナスに絶対値が大きい範囲に分布している。従って、対応部４６は、この違いを判別することにより投影パターンの滑らかさを判別でき、しいては変化領域が人物のシルエットを表すか否かを判別することができる。
【０１１１】
判別方式としては、例えば図２０（ｂ）に示すような、各要素の差のベクトルの重ね合わせ辞書パターンを辞書パターン記憶部４４に予め登録しておき、差分１次元パターン変換部４０における差分計算で作成された（ｎ−１）×１の１次元ベクトルと比較することにより、その類似度を確認すれば良い。また、図２０（ｂ）に示すような辞書パターンをそのまま比較するのでなく、図２０（ｃ）に示すような、各要素の差の絶対値のベクトルの重ね合わせ辞書パターンを辞書パターン記憶部４４に予め格納しておき、同様にして各要素の絶対値を取った上で辞書パターンとの比較を行っても良い。
【０１１２】
さらに、図２１に示すように、（ｎ−１）×１の１次元ベクトルの各要素の絶対値の和を求め、予め設定された各要素の絶対値の和に対する人物か非人物かを判定するための所定の値Ｃと比較することによって確認しても良い。
【０１１３】
図２１（ａ−１）に示す人物のシルエット（投影パターン）から得られた（ｎ−１）×１の１次元ベクトルの各要素（図２１（ａ−２））の絶対値の和は、所定の値Ｃよりも小さな値となるので、人物であると判定される。また、図２１（ｂ−１）に示す非人物（木の揺れ）のシルエット（投影パターン）から得られた（ｎ−１）×１の１次元ベクトルの各要素（図２１（ｂ−２））の絶対値の和は、各要素間での変動が大きいために所定の値Ｃ以上の値となるので、非人物であると判定される。
【０１１４】
さらに、別の判別方法としては、図２２に示すように、（ｎ−１）×１の要素からなる１次元ベクトルのパターンについてのプラス方向に対する所定値ｔｈｐ、マイナス方向に対する所定値ｔｈｍを予め設定しておき、プラス方向で所定値ｔｈｐ以上、マイナス方向で所定値ｔｈｍ以下であるような要素の数を求める。そして、０から所定値（ｔｈｐ、ｔｈｍ）を離れた要素がいくつあるかを求めて、予め設定された要素の数の和に対する人物か非人物かを判定するための所定値ｔｈとを比較して判定する。所定値を離れた要素の数が所定値が所定値ｔｈ以下であるならば、ルエットの投影パターンが滑らかであるので、人物である可能性が高いと判定する。
【０１１５】
その他、滑らかなパターンと凹凸のあるパターンを判別する方式はいろいろと考えられるが、本発明の範囲で数多くの応用例が考えられる。
【０１１６】
なお、前述した第３実施形態の説明においては、変化領域の投影パターンの滑らかさを単独で評価するものとして説明してきたが、これは図１７、図１８に示すような投影パターンの幅に基づく評価と同時に行なう事が可能であり、これらの判別方法を併用することにより精度良い人物判別が行えるものである。
【０１１７】
次に、第４実施形態について説明する。
【０１１８】
特願平５−１５６６８号に記載された人物判別方式や、第１乃至第３実施形態においては、何れも辞書パターンが予め定められたものであるとして説明しているが、監視環境と辞書作成時のカメラ設置条件の違いや、環境内の人物の服装が季節により変動するなどの場合が想定され、辞書パターンを変更する必要が生じる場合がある。第４実施形態は、こうした辞書パターンの変更の必要性に応じた辞書パターンの更新に関わるものである。
【０１１９】
本実施形態における辞書パターンは、人物シルエットの投影パターンが人物特徴を有するか否かを判断するために用いるものである。その作成方法の一つとして、特願平５−１５６６８号に示したように、人物の投影パターンを数多く集め重ね合わせることにより辞書を作成する方式がある。
【０１２０】
この方式は、予め人物歩行の映像を用いてシルエット像を求めてその投影パターンを計算することにより基準となる人物辞書を作成するものであり、移動物体のシルエットの投影パターンをこの辞書を用いて評価すると、被評価物が人物である場合には高い評価値を与え、被人物の場合には低い評価値を与える。
【０１２１】
本発明の第４実施形態においては、人物判別のための評価値のしきい値のほかに、辞書パターン更新をすべきか否かを判別するためのしきい値（辞書更新のしきい値）を設定しておき、移動物体のシルエットが得られた場合には投影パターンを求めて辞書パターンと照合し、所定の人物判定のしきい値を越えたか否かで人物かどうかを判定する一方、辞書更新のしきい値と比較して、このしきい値を越えた場合には、この投影パターンを辞書に反映させるように、その投影パターンを記録し、所定数集まった段階で新たな辞書パターンを作成しようとするものである。
【０１２２】
ここで、辞書更新のしきい値は、人物判別のしきい値と同じであっても良い。また人物である確率の高いものだけを用いて辞書パターン更新を行なっても良く、この場合には、辞書パターン更新のしきい値を、人物判別のしきい値より高く設定することにより、評価値の比較的高い非人物パターンを排除して、より良い辞書パターンを生成することができる。一方、可能性のある投影パターンをはなるべく多く取り入れようと考えるのであれば、辞書更新のしきい値を人物判別のしきい値より低く設定することもできる。
【０１２３】
辞書パターン変化の状況について考察すると、例えば季節の変わり目では気候が次第に変化するために、人物の服装が厚着になったり薄着になったりするが、傾向としてはある日を境に急に服装が変わるわけではなく、数日から数週間の期間で変わって行くために、辞書パターンが次第に更新されて行くと考えられる。ここで辞書更新のしきい値を人物判定のしきい値より大きくしておけば、急に服装が変わるような場合には、評価値があまり大きくならないために、辞書パターンの更新には取り込まれず、辞書パターンが急に変更されるようなことも起こり得ない。このように、本方式であれば、特に人物の服装がゆっくりと変わることにより、判定精度が変化すると思われる季節の変わり目等には有効に機能する。
【０１２４】
図２３は、第４実施形態における辞書パターン作成機能を含む画像特徴量判定装置の構成を示すブロック図である。図２３に示すように、画像特徴量判定装置は、撮像部１０、領域抽出部１２、１次元パターン変換部１６、１次元パターン記憶部１８、対応部５０、辞書パターン記憶部５２、及び辞書パターン作成部５４によって構成されている。
【０１２５】
なお、撮像部１０、領域抽出部１２、１次元パターン変換部１６、１次元パターン記憶部１８については、前述した第１実施形態と同じ構成であるものとして、同一符号を付して詳細な説明を省略する。
【０１２６】
対応部５０は、１次元パターン変換部１６によって変換され、１次元パターン記憶部１８に格納された１次元パターンを、辞書パターン記憶部５２に記憶された辞書パターンに対応させて評価値を算出し、部分領域（変化領域）に対応する対象物を判定する。
【０１２７】
辞書パターン記憶部５２は、１次元パターン変換部１６によって変換された１次元パターンを検定するためのｍ個のデータ列からなる１次元パターンが複数個記憶される。辞書パターン記憶部５２に記憶される辞書パターン（１次元パターン）は、対応部５０における判定の状況に応じて辞書パターン作成部５４によって更新される。
【０１２８】
辞書パターン作成部５４は、１次元パターン変換部１６によって変換された部分領域の１次元パターンを辞書パターンのうちの少なくとも一つの辞書パターンと比較することにより部分領域と辞書パターンの適合の検定を行い、その結果、適合していると見なされた部分領域の１次元パターンを複数個組み合わせることによって新たな辞書パターンを作成し、辞書パターン記憶部５２に記憶させる。
【０１２９】
次に、第４実施形態における辞書パターン作成を含む動作について、図２４に示すフローチャートを参照しながら説明する。ここでは、人物辞書パターンＤ１、更新用辞書Ｄｓ、人物判別しきい値ｔｈ１、辞書更新しきい値ｔｈ２、辞書更新必要投影パターン数Ｋｕとしている。
【０１３０】
まず、撮像部１０は、所定時間ｔｉ（ｉ＝１，２，…，Ｋ）毎に画像を取り込み、領域抽出部１２に送出する。
【０１３１】
領域抽出部１２は、監視対象とする範囲の撮像画像中に変化があるかどうか、すなわち変化領域Ｅｉ（ｉ＝１，２，…，Ｋ）が存在するか否かを、撮像部１０によって所定時間ｔｉ毎に入力される各撮像画像を用いて連続的に確認する（ステップＤ１〜Ｄ３）。
【０１３２】
変化領域を抽出する方法としては、第１実施形態と同様にして、移動物体が存在しない場合の映像を記憶しておき、取り込み画像との差分計算をして求めてもかまわないし、連続する複数の画像間で差分をして変化領域を求めてもかまわない。
【０１３３】
領域抽出部１２は、画像変化が検出された場合には、そのシルエットを求め、辞書パターン記憶部５２に記憶された辞書パターンを用いて検定する場合に備えて、辞書パターンに合わせて高さがｍとなるように正規化を行なう。
【０１３４】
１次元パターン変換部１６は、領域抽出部１２によって正規化された変化領域（シルエット）について水平方向へ投影をとり、正規化投影パターンベクトル（ｍ×１のベクトルＶ１）を作成するステップＤ４）。１次元パターン変換部１６によって作成されたｍ×１のベクトルＶ１は、１次元パターン記憶部１８に記憶される。
【０１３５】
ここで、対応部５０は、１次元パターンを表すベクトルＶ１を辞書パターン記憶部５２に記憶されている既存の辞書Ｄ１により評価して、対象とする１次元パターンに対する評価値Ｓ１を求める（ステップＤ５）。
【０１３６】
ここで、評価値Ｓ１を人物判別のしきい値ｔｈ１と比較して、ｔｈ１より大きい値の場合には（ステップＤ６）、人物であるとみなして、人物検知時の処理である、警報出力やＶＴＲ記録などを行なう（ステップＤ７）。
【０１３７】
次に、対応部５０は、評価値Ｓ１を辞書更新のしきい値ｔｈ２と比較して、ベクトルＶ１が辞書更新のパターンとしてふさわしいか否かを判定する。評価値Ｓ１が辞書更新のしきい値ｔｈ２より小さい場合には何もしないで他の変化領域の検定のステップに戻る。
【０１３８】
一方、評価値Ｓ１がｔｈ２より大きい場合には、辞書パターン作成部５４は、ベクトルＶ１を辞書更新のために使用すべきパターンとして、これまで辞書更新のためのパターンとして記憶していた辞書更新用のパターンＤｓに組み合わせる（ステップＤ９）。ここで、辞書更新用のパターンＤｓへの組み合わせ方は、特願平５−１５６６８号の方式であるならば、この投影パターンを重ね合わせて行くことで達成できる。
【０１３９】
次に、辞書パターン作成部５４は、重ね合わせた投影パターンの数、すなわち辞書作成に用いたサンプル数（ｋ）が辞書作成に必要な所定値Ｋｕに到達したか否かを判定する（ステップＤ１０）。ここで、サンプル数（ｋ）が所定値を越えている場合には、辞書パターン作成部５４は、その時点での投影パターンを重ね合わせた辞書更新用のパターンＤｓを新たな辞書パターンＤ２として採用する（ステップＤ１１）。
【０１４０】
また、サンプル数（ｋ）が所定数以下の場合には、その他の変化領域がないかを確認して、もしあれば同様の手順を繰り返し、なければ次の画像取り込みのステップに戻る（ステップＤ１２，Ｄ１３）。ここで、古い辞書パターンＤ１は消去しても良いし、辞書パターンＤ１，Ｄ２を両方とも辞書パターンとして採用しても構わない。その後、最初の変化領域の抽出ステップに移行する。
【０１４１】
以上の手順を繰り返すことにより、変化領域が人物であるか否かの判定を行ないながら辞書パターンを更新する事が可能となる。
【０１４２】
なお、前述した説明では、人物判定方式及び辞書作成方法として特願平５−１５６６８号に記載された事例を挙げて説明してきたが、これらは必ずしもこの方式に限られるものではなく、本発明の第２実施形態及び第３実施形態において説明した判別方式においても同様なステップにより辞書更新を実現することが可能である。
【０１４３】
さらに、前述した説明では辞書パターンが一つであることを前提に説明してきたが、辞書パターンが複数ある場合においては、図２５のフローチャートに示すように、二つの辞書パターンのそれぞれにおいて人物判定及び辞書更新の処理を行なうことにより、複数の辞書パターンを更新することも可能である。
【０１４４】
図２５に示すフローチャートでは、人物辞書パターンＤ１、人物辞書パターンＤ２、更新用辞書Ｄｓ１、更新用辞書Ｄｓ２、辞書Ｄ１人物判別しきい値ｔｈ１１、辞書Ｄ２人物判別しきい値ｔｈ１２、辞書Ｄ１更新しきい値ｔｈ２１、辞書Ｄ２更新しきい値ｔｈ２２、辞書更新必要投影パターン数Ｋｕとしている。
【０１４５】
図２５におけるステップＥ１〜Ｅ５の処理は、図２４に示すステップＤ１〜Ｄ５と同一なので説明を省略する。
【０１４６】
次に、評価値Ｓ１を更新用辞書Ｄｓ１用の辞書Ｄ１人物判別しきい値ｔｈ１１と、または更新用辞書Ｄｓ２用の辞書Ｄ２人物判別しきい値ｔｈ１２と比較して、ｔｈ１１またはｔｈ１２より大きい値の場合には（ステップＥ６）、人物であるとみなして、人物検知時の処理である、警報出力やＶＴＲ記録などを行なう（ステップＥ７）。
【０１４７】
次に、対応部５０は、評価値Ｓ１を更新用辞書Ｄｓ１用の辞書Ｄ１更新しきい値ｔｈ２１と比較して、ベクトルｖ１が辞書更新のパターンとしてふさわしいか否かを判定する。評価値Ｓ１が辞書更新のしきい値ｔｈ２１より小さい場合には、更新用辞書Ｄｓ２用の判定処理に移行する（ステップＥ８）。
【０１４８】
一方、評価値Ｓ１が辞書Ｄ１更新しきい値ｔｈ２１より大きい場合には、辞書パターン作成部５４は、ベクトルＶ１を辞書更新のために使用すべきパターンとして、これまで辞書更新のためのパターンとして記憶していた辞書更新用のパターンＤｓ１に組み合わせる（ステップＥ９）。ここで、辞書更新用のパターンＤｓ１への組み合わせ方は、図２４において説明したように、投影パターンを重ね合わせて行くことで達成できる。
【０１４９】
次に、辞書パターン作成部５４は、更新用辞書Ｄｓ１の更新用に重ね合わせた投影パターンの数、すなわち辞書作成に用いたサンプル数（ｋ１）が辞書作成に必要な所定値Ｋｕに到達したか否かを判定する（ステップＥ１０）。ここで、サンプル数（ｋ１）が所定値を越えている場合には、辞書パターン作成部５４は、その時点での投影パターンを重ね合わせた辞書更新用のパターンＤｓ１を新たな辞書パターンＤ３として採用する。ここで、古い辞書パターンＤ１は消去しても良いし、辞書パターンＤ１，Ｄ３を両方とも辞書パターンとして採用しても構わない。
【０１５０】
次に、対応部５０は、評価値Ｓ１を更新用辞書Ｄｓ２用の辞書Ｄ２更新しきい値ｔｈ２２と比較して、ベクトルｖ１が辞書更新のパターンとしてふさわしいか否かを判定する。評価値Ｓ１が辞書更新のしきい値ｔｈ２２より小さい場合には、何もしないで次の画像の取り込みの処理のステップに戻る（ステップＥ１２）。
【０１５１】
一方、評価値Ｓ１が辞書Ｄ２更新しきい値ｔｈ２２より大きい場合には、辞書パターン作成部５４は、ベクトルＶ１を辞書更新のために使用すべきパターンとして、これまで辞書更新のためのパターンとして記憶していた辞書更新用のパターンＤｓ２に組み合わせる（ステップＥ１３）。
【０１５２】
次に、辞書パターン作成部５４は、更新用辞書Ｄｓ２の更新用に重ね合わせた投影パターンの数、すなわち辞書作成に用いたサンプル数（ｋ２）が辞書作成に必要な所定値Ｋｕに到達したか否かを判定する（ステップＥ１４）。ここで、サンプル数（ｋ２）が所定値を越えている場合には、辞書パターン作成部５４は、その時点での投影パターンを重ね合わせた辞書更新用のパターンＤｓ２を新たな辞書パターンＤ４として採用する。ここで、古い辞書パターンＤ２は消去しても良いし、辞書パターンＤ２，Ｄ４を両方とも辞書パターンとして採用しても構わない。
【０１５３】
また、サンプル数（ｋ２）が所定数以下の場合には、何もしないで次の画像の取り込みの処理のステップに戻る（ステップＥ１６）。
【０１５４】
なお、図２５においては説明を簡単にするために、撮像画像内から一つの変化領域について検出されるものとして説明しているが、実際には複数の変化領域がある場合も考えられ、その場合には図２４に示すフローチャートと同様にして（ステップＤ１２、ステップＤ４〜Ｄ１１）、全ての変化領域に対して同様の手順を繰り返す。
【０１５５】
さて、以上述べてきた辞書更新の方式では、投影パターン評価値が辞書更新のしきい値を越えたか否か、という条件で辞書更新をするとして説明してきたが、この方式では高い評価値を与えるような特異な投影パターンのみが辞書に登録されるという可能性がある。
【０１５６】
図１に示したように、人物が横方向に移動する際にはその歩行パターンは手足の振れによりシルエットが変形するが、前述した辞書更新の方法（図２４，図２５）を用いる場合には、更新時に採用される投影パターンがそのうちの特定のものに限定され、この変形を反映したものとならない可能性がある。このような場合には、以下のような手順によりこの問題を避けることが可能となる。
【０１５７】
第１実施形態で述べたように、連続的に取り込んだ画像で抽出された移動領域は、例えば外接四角形の位置や、形状などの特徴から、位置が近く、形状が似ている物を対応づけるといった追跡アルゴリズムにより対応づけが可能である。
【０１５８】
すなわち、ある瞬間に高い評価値となった投影パターンに対する移動物体はその前後の時刻でどのようなシルエットであり、どのような投影パターンとなっているかを対応づけることができる。つまり、移動物体の評価の際に、追跡された移動物体の投影パターンを全て記録しておき、ある時刻でしきい値より大きな評価値となって辞書に取り込む場合には、記録されているこの物体の前後の時刻での投影パターンも全て辞書パターンに取り込むようにすれば、人物である可能性の高い移動物体が取り得る、いろいろな投影パターンを取り込むことが可能となる。
【０１５９】
図２６はこのような辞書パターン作成機能を含む画像特徴量判定装置の構成を示すブロック図である。図２６に示すように、画像特徴量判定装置は、撮像部１０、領域抽出部１２、対応づけ部１４、１次元パターン変換部１６、１次元パターン記憶部６０、対応部６２、辞書パターン記憶部６４、及び辞書パターン作成部６６によって構成されている。
【０１６０】
なお、撮像部１０、領域抽出部１２、対応づけ部１４、１次元パターン変換部１６については、前述した第１実施形態と同じ構成であるものとして、同一符号を付して詳細な説明を省略する。
【０１６１】
１次元パターン記憶部６０は、対応づけ部１４によって異なる撮像画像間で対応づけられた異なる複数の部分領域について、１次元パターン変換部１６によって変換された１次元パターンを記憶する。
【０１６２】
対応部６２は、１次元パターン記憶部６０によって記憶された１次元パターンを、辞書パターン記憶部６４に格納されたｍ個のデータ列からなる辞書パターンに対応させて類似度を測定し、部分領域（変化領域）に対応する対象物を判定する。
【０１６３】
辞書パターン記憶部６４は、１次元パターン記憶部６０に記憶された１次元パターンを検定するための、ｍ個のデータ列からなる辞書パターンが予め記憶される。
【０１６４】
辞書パターン作成部６６は、１次元パターン記憶部６０に記憶された部分領域の１次元パターンを辞書パターンのうちの少なくとも一つの辞書パターンと比較することにより部分領域と辞書パターンの適合の検定を行い、その結果、適合していると見なされた部分領域の１次元パターン、及びこの１次元パターンの生成のもとになった部分領域が対応づけ部１４によって対応づけられた別の撮像画像における部分領域の１次元パターンを複数個組合わせることにより、新たな辞書パターンを生成し、辞書パターン記憶部６４に記憶させる。
【０１６５】
次に、辞書パターン作成を含む動作について、図２７に示すフローチャートを参照しながら説明する。ここでは、人物辞書パターンＤ１、更新用辞書パターンＤｓ、追跡投影パターンＤ′ｎ、人物判別しきい値ｔｈ１、辞書更新しきい値ｔｈ２、辞書更新必要投影パターン数Ｋｕとしている。
【０１６６】
図２７におけるステップＦ１〜Ｆ５の処理は、図２４に示すステップＤ１〜Ｄ５と同一なので説明を省略する。
【０１６７】
一方、対応づけ部１４は、領域抽出部１２によって抽出された変化領域の投影パターンについて、前回に取り込まれた撮像画像（時刻ｔｉ−１に撮像した撮像画像）で求められた変化領域と同一の移動物体による変化領域があるかどうかを確認する。
【０１６８】
辞書パターン作成部６６は、対応づけ部１４によって対応する移動物体があることが確認されている場合（ステップＦ６）、新たに求まった１次元パターン（ベクトルＶ１）を、前回までの投影パターンの組み合わせである追跡投影パターンＤ′ｎに加えるものと判別する（ステップＦ７）。なお、ｎは追跡された変化領域毎に付与される番号を示している。
【０１６９】
ここで、評価値Ｓ１を人物判別のしきい値ｔｈ１と比較して、ｔｈ１より大きい値の場合には（ステップＦ８）、人物であるとみなして、人物検知時の処理である、警報出力やＶＴＲ記録などを行なう（ステップＦ９）。
【０１７０】
また、辞書パターン作成部６６は、投影パターンの評価値Ｓ１が辞書更新のしきい値ｔｈ２を越えた場合には、この変化領域の追跡投影パターンＤ′ｎを更新辞書パターンＤｓに組み合わせる（ステップＦ１１）。ここで、組み合わせた投影パターン数がＫｕを越えた場合には、辞書更新用投影パターンＤｓを新たな辞書パターンＤ１として採用し、辞書パターンＤ１と置き換えることは同様である（ステップＦ１２，Ｆ１３）。
【０１７１】
このようにすれば、連続的に取り込んだ撮像画像間で変化領域が追跡され、全ての投影パターンが追跡投影パターンＤ′ｎとして記録されて、辞書パターン記憶部６４に記憶されるので、特定の投影パターンばかりが辞書パターンの更新に用いられると言った問題がなくなる。
【０１７２】
なお、第４実施形態における各説明において（図２４、図２５、図２７）、投影パターンを辞書更新用投影パターンに組合わせる条件としては、ある時刻ｔｉでの撮像画像中の変化領域のパターンが辞書更新しきい値ｔｈ２を越えれば良いとしたが、精度をあげるためには、対応づけられた移動物体が異なる時間において辞書更新しきい値ｔｈ２を越えるような評価値に複数回連続した場合に限り、投影パターンを辞書パターンに加えるようにする方法を用いても良い。
【０１７３】
また、これまでの説明では投影パターンを全て記録しておき、ある時刻でｔｈ２を越えた場合にはその移動物体（変化領域）に対応する投影パターンを更新辞書に取り込むとして説明してきたが、予め投影パターンを記憶しておくのでなく、ある時刻でｔｈ２を越えた場合に、これに対応する移動物体を追跡して、その変化領域の投影パターンについて辞書パターンに登録すれば、投影パターンを記録するための使用メモリ等において必要とされる記憶容量を低減しつつ、同様な効果を期待できる。
【０１７４】
【発明の効果】
以上詳述したように本発明によれば、第１に、所定時間毎に得られる画像間において変化領域の対応付けを行ない、各々のシルエット及び投影パターンを求めてこの時間変化を解析することにより、人物の判定精度を向上させることができる。第２に、各部位に相当する値、すなわち変化領域に対応する投影パターンの要素の値の時間的変化を解析することにより人物の判定精度を向上させることができる。第３に、変化領域の投影パターンを計算した後、投影パターンにおける隣り合う各要素の差を求めて投影パターンの連続性を表すパターンを求め、この連続性を辞書パターンと比較することにより、人物の判定精度を向上させることが可能である。第４に、変化領域に対応する投影パターンを辞書パターンで評価した結果、評価値が所定値以上となった場合に、これらの投影パターンを複数組み合わせて新たな辞書パターンを構成し、辞書パターンを更新して行くことにより、季節の移り変わり等の服装の変化の影響や辞書作成時とカメラ設定時の環境が多少違った場合等の影響を受け難くすることが可能である。
【図面の簡単な説明】
【図１】人間の動きのシルエット（投影パターン）を示す図。
【図２】投影パターンの正規化の方法を説明するための図。
【図３】第１実施形態及び第２実施形態において生成される人物のシルエット（投影パターン）から得られる２次元マトリクスの一例を示す図。
【図４】第１実施形態及び第２実施形態において生成される木の揺れシルエット（投影パターン）から得られる２次元マトリクスの一例を示す図。
【図５】第１実施形態における画像監視装置において用いられる画像特徴量判定装置の構成を示すブロック図。
【図６】第１実施形態における動作を説明するためのフローチャート。
【図７】第１実施形態における２次元マトリクスの生成の方法を説明するための図。
【図８】第１実施形態における２次元マトリクスから生成されるｍ×ｋマトリクス（辞書パターン）の一例を示す図。
【図９】第１実施形態における動的に２次元マトリクスを生成して辞書パターンと比較を行なう動作を説明するための図。
【図１０】第１実施形態における歩行パターンの周期の違いに対応する複数の辞書パターン（２次元マトリクス）の作成を説明するための図。
【図１１】第２実施形態における画像監視装置において用いられる画像特徴量判定装置の構成を示すブロック図。
【図１２】第２実施形態における動作を説明するためのフローチャート。
【図１３】第２実施形態において生成される２次元マトリクスをもとに生成される特徴量パターンＳを説明するための図。
【図１４】第２実施形態における辞書パターン記憶部に予め登録されている辞書パターンＤを説明するための図。
【図１５】第３実施形態における画像監視装置において用いられる画像特徴量判定装置の構成を示すブロック図。
【図１６】第３実施形態における動作を説明するためのフローチャート。
【図１７】第３実施形態における被検定物が人物である場合の投影パターンに具体的な数値を当てはめた例を示す図。
【図１８】第３実施形態における被検定物が非人物（木の揺れ）である場合のの投影パターンに具体的な数値を当てはめた例を示す図。
【図１９】第３実施形態において差分１次元パターン変換部による差分処理によって１次元パターン（（ｎ−１）×１のベクトル）を生成する様子を示す図。
【図２０】第３実施形態における投影パターンの滑らかさを判別するための辞書を説明するための図。
【図２１】第３実施形態において（ｎ−１）×１の１次元ベクトルの各要素の絶対値の和をもとに投影パターンの滑らかさを判別する方式を説明するための図。
【図２２】第３実施形態において（ｎ−１）×１の要素からなる１次元ベクトルのパターンに対する所定値をもとに投影パターンの滑らかさを判別する方式を説明するための図。
【図２３】第４実施形態における画像監視装置において用いられる画像特徴量判定装置の構成を示すブロック図。
【図２４】第４実施形態における辞書パターン作成を含む動作を説明するためのフローチャート。
【図２５】第４実施形態における辞書パターンが複数ある場合の辞書パターン作成を含む動作を説明するためのフローチャート。
【図２６】第４実施形態における画像監視装置において用いられる他の画像特徴量判定装置の構成を示すブロック図。
【図２７】第４実施形態における動作を説明するためのフローチャート。
【図２８】撮像画像中から抽出された変化領域の一例を示す図。
【図２９】人間のシルエットの横方向への投影パターンの重ね合わせの一例を示す図。
【図３０】辞書パターンと被検定のシルエットの具体的な例を示す図。
【図３１】人物シルエットの投影パターンと木の揺れの投影パターンの違いを説明するための図。
【符号の説明】
１０…撮像部
１２…領域抽出部
１４…対応づけ部
１６…１次元パターン変換部
１８…１次元パターン記憶部
２０…二次元パターン変換部
２２，５２，６４…辞書パターン記憶部
２４，４６，５０，６２…対応部
３０…統計量変換部
４０…差分１次元パターン変換部
４２…差分１次元パターン記憶部
５４，６６…辞書パターン作成部
６０…変化量１次元パターン変換部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a feature amount determination method for detecting a moving object that detects an intruder from an input image in an image monitoring apparatus that detects, for example, an illegal intruder from an image.
[0002]
[Prior art]
As one of security devices, there is an image monitoring device that detects illegal intruders using images taken by a television camera. In such an image monitoring apparatus, for example, the movement of an intruder is often used to detect an illegal intruder. In other words, the moving area where the intruder has moved is determined as the change area by performing differential processing between images that are separated in time, or by performing differential processing between a background image and a captured image when there is no intruder stored in advance. Whether or not there is an illegal intruder is determined based on the presence / absence and size of the change area.
[0003]
Since the image monitoring apparatus is often used for security purposes, if there is a malfunction such as a false alarm or a detection failure, the reliability of the apparatus is lowered and becomes a problem. Many image monitoring devices determine that there are illegal intruders based on the presence or absence of a change area, and output an alarm. Generally, however, images include noise components and image changes other than the target object. , Elements that may cause malfunction are included.
[0004]
As a countermeasure, a technique using image processing is considered. As an example, as shown in FIG. 28 (a), the difference image is projected onto the X axis and the Y axis to create a projection pattern. By obtaining a section that lasts longer than Yw and by extracting the common part of the X and Y axes, the area that is a block is extracted, and its size, aspect ratio, etc. are obtained. If it is within a predetermined range, an intruder exists. A method that can be regarded as occurrence of an abnormality can be mentioned.
[0005]
In FIG. 28A, the circumscribed rectangles A11 and A22 of the change area can be regarded as the change area corresponding to the intruder.
[0006]
[Problems to be solved by the invention]
However, depending on the monitoring environment, as shown in FIG. 28B, an image change due to, for example, shaking of a tree, which is not an intruder, may be extracted in the same size as the intruder. In this case, there is a risk of malfunction if the above-described method using only the size of the projection pattern of the difference image as a criterion is used.
[0007]
In order to prevent such a problem, it is only necessary to make a determination using the shape of the change area. However, since the shape of a non-rigid body such as a person changes due to walking, a predetermined fixed shape such as template matching can be used. Judgment by comparison is not appropriate.
[0008]
Therefore, the present applicant previously obtained a projection pattern in the horizontal direction of the change region according to Japanese Patent Application No. 5-15668, and obtained an evaluation value by comparing the projection pattern with a dictionary pattern obtained in advance. If the evaluation value is equal to or greater than a predetermined value, a method of determining that the evaluation value is an intruder has been proposed. The outline of this method is shown below.
[0009]
Focusing on the silhouette of human movement, as shown in Fig. 1 (a), the width of the head is narrow, the width of the shoulder and thigh is thick, and there is little change with movement, and the abdomen, legs The width of the portion varies depending on the movement direction with respect to the camera, but the width varies depending on the swing of the limb.
[0010]
FIG. 1B shows the projection pattern of these silhouettes in the horizontal direction, and it can be seen that the characteristic of the change of the silhouette appears as a difference in the shape of the waveform. When the projection patterns from when the limb shake is maximized to when it is minimized are superimposed as shown in FIG. 29A, all the horizontal patterns are added to the shaded area in FIG. 29B. Includes a projected pattern of movement. As shown in FIG. 29 (b), the range distributed in the head, shoulders, thighs, etc. is narrow and has a lot of overlap, whereas the range distributed in the abdomen and legs is wide and the pattern has little overlap. It turns out that it becomes.
[0011]
Therefore, if an overlapped pattern is created in advance, it can be considered as a dictionary pattern for evaluating whether or not the change area as the test object is a person.
[0012]
FIG. 30 is a diagram showing a specific example of the dictionary pattern and the silhouette of the test subject. As shown in FIG. 30, the evaluation pattern is obtained by superimposing the projected pattern of the silhouette of the change area to be verified on the dictionary pattern and adding the number of places where the projected pattern has passed. As a result, if the projection pattern is a person, the evaluation score will be high, and if it is a non-person (such as a tree shake), the evaluation score will be low.
[0013]
The method described above is based on the assumption that the region of change is a person, and whether or not the width of the silhouette's head, abdomen, and thighs matches the standard person's width. Among the features of the previous person's walking, this is nothing but evaluating the width of each part for a certain moment.
[0014]
In other words, although the width has been evaluated, the width of the abdomen and legs changes with time, while the width of the head, shoulders, and thighs is stable, and it accompanies time. It was not a method that actively used change characteristics.
[0015]
In addition, the projection pattern of the person silhouette should be a smooth and continuous pattern as shown in FIG. 31A, and the projection pattern of the shaking of the tree is as shown in FIG. Although it should be a pattern with many irregularities, when applied to a dictionary pattern, the score is obtained by adding the number of points where the projection pattern passes, so the same is true even if the projection pattern is not smooth In some cases, the result was a different result. In other words, it is not a method for obtaining an evaluation score by actively using a change feature of a target projection pattern.
[0016]
In addition, a dictionary pattern is created in advance and is always used, but the person's clothes change according to the season, and the dictionary pattern is inappropriate due to the change in silhouette and projection pattern. It may become a thing. Also, if the environment in which the dictionary pattern is created does not match the environment in which the surveillance camera is actually installed, the dictionary pattern may not be appropriate due to differences in the angle of view and depression of the camera. There may have been a need for changes or updates.
[0017]
The present invention has been made to solve the above-described problem. The projection pattern of the change area is obtained, and the temporal variation of the projection pattern as a whole, or the temporal value of the width corresponding to each part of the projection pattern, is obtained. An object of the present invention is to provide an image feature amount determination method and an image feature amount determination apparatus that can improve the determination accuracy for a test object by analyzing continuity of projections and projection patterns.
[0018]
Another object of the present invention is to provide an image feature amount determination method and an image feature amount determination apparatus that can always obtain good determination accuracy by automatically updating a dictionary pattern used for evaluation under a predetermined condition. To do.
[0019]
[Means for Solving the Problems]
The present invention is an image pickup means for picking up an image while providing a predetermined time interval, an extraction means for extracting a partial region that satisfies a predetermined condition from each image picked up by the image pickup means, and the extraction means. Association means for associating the partial areas in different captured images; one-dimensional pattern conversion means for generating a one-dimensional pattern composed of a plurality of data strings based on the partial areas extracted by the extraction means; A two-dimensional pattern conversion means for generating a two-dimensional pattern by combining one-dimensional patterns of partial areas in a plurality of different images associated by the correspondence means; and a two-dimensional pattern generated by the two-dimensional pattern conversion means. Dictionary pattern storage means for storing a dictionary pattern comprising a data string representing a two-dimensional pattern for testing; The two-dimensional pattern generated by the two-dimensional pattern converting means, by comparing the stored dictionary pattern in said dictionary pattern storage means, characterized by comprising a corresponding means for assaying the partial region.
[0020]
In other words, it analyzes the temporal change of the width value corresponding to each part of the projection pattern, and associates the change area between images obtained every predetermined time to obtain each silhouette and projection pattern. By analyzing the time change of the lever, it is intended to improve the determination accuracy of the person.
[0021]
Further, the present invention provides an imaging unit that captures an image with a predetermined time interval, an extraction unit that extracts a partial region that satisfies a predetermined condition from each image captured by the imaging unit, and an extraction unit that extracts the partial region. Association means for associating the partial areas in the different captured images, and one-dimensional pattern conversion means for generating a one-dimensional pattern composed of a plurality of data strings based on the partial areas extracted by the extraction means; , Statistical processing is performed for each element data corresponding to each of the one-dimensional patterns of the partial areas in the plurality of different images correlated by the correlation means, and a statistical one-dimensional pattern having the statistical processing results as elements is generated. And a one-dimensional pattern for testing the one-dimensional pattern of statistics generated by the statistics conversion unit A dictionary pattern storage means for storing a dictionary pattern comprising a data string, and a one-dimensional statistic pattern generated by the statistic conversion means by comparing with a dictionary pattern stored in the dictionary pattern storage means, And a corresponding means for examining the partial area.
[0022]
That is, the projection pattern is obtained from different images, and the determination accuracy of the person is improved by analyzing the temporal change of the width value corresponding to each part, that is, the value of the element of the projection pattern.
[0023]
Further, the present invention provides an imaging unit that captures an image with a predetermined time interval, an extraction unit that extracts a partial region that satisfies a predetermined condition from each image captured by the imaging unit, and an extraction unit that extracts the partial region. A one-dimensional pattern conversion means for generating a one-dimensional pattern composed of a plurality of data strings based on the partial area formed, and a plurality of data strings of the one-dimensional pattern generated by the one-dimensional pattern conversion means are adjacent to each other. A difference one-dimensional pattern conversion unit that performs a difference calculation between data and generates a difference one-dimensional pattern having a difference calculation result as an element; and a difference one-dimensional pattern generated by the difference one-dimensional pattern conversion unit, the dictionary pattern Corresponding means for examining the partial area by comparing with the dictionary pattern stored in the storage means And wherein the door.
[0024]
In other words, after calculating the projection pattern of the change area, by calculating the difference between adjacent elements of the projection pattern, a pattern representing the continuity of the projection pattern is obtained, and by comparing this continuity with the dictionary pattern, the person It is intended to improve the determination accuracy.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments (first to fourth embodiments) of the present invention will be described with reference to the drawings. First, a basic concept will be described to facilitate understanding of the first and second embodiments of the present invention.
[0029]
The basis of the first embodiment and the second embodiment is that the projection pattern of the change area extracted from the captured image is obtained k times continuously at a predetermined time interval, and each projection pattern is m with the width as a variable. Representing a × 1 vector, combining k vectors to generate a m × k two-dimensional matrix containing a temporal variation component, and further analyzing the element data of this two-dimensional matrix, It is intended to determine whether or not the change area is a person by comparing with a person dictionary pattern obtained in advance.
[0030]
First, as an example, assuming that the change area is caused by a person, the silhouette and how the projection pattern changes will be described with reference to FIGS. FIG. 1 is a diagram illustrating an example of changes in silhouette (FIG. 1A) when walking in the horizontal direction as an example of a person's movement and projection patterns (FIG. 1B) corresponding to each silhouette. .
[0031]
In FIG. 1A, (1) corresponds to the minimum shake state of the limbs, (2) corresponds to the maximum shake state, and FIG. 1 (b) shows the projection pattern in each state. The size of the silhouette looks different depending on the size of the moving object, the distance from the camera, and the lens magnification of the camera. To do.
[0032]
Here, the height reference value for the projection pattern is assumed to be m (number of dictionary pattern divisions). As a normalization method, as shown in FIG. 2A, when the number of divisions of the projection pattern is n, the number of n divisions of the projection pattern which is the test data is simply multiplied by m / n. As shown in FIG. 2B, the projection data of n sections are enlarged or reduced in accordance with the dictionary pattern as shown in FIG. 2B (the example in FIG. 2B is reduced), and the length of the projection pattern is reduced. By dividing into m equal parts, it can be converted into a vector having a value of width of m × 1 as a variable.
[0033]
Therefore, the change in silhouette accompanying the walking of the person in FIG. 1 can be expressed as an m × 1 vector sequence. Here, for example, since the walking pattern of a person is a repetition of open leg-closed leg-open leg-closed leg, it can be considered as one cycle from the open leg to the next open leg.
[0034]
Assuming that the number of image captures is k times in one cycle, m × 1 vector sequences are created, and k m × 1 vector sequences can be created. As shown in FIG. A two-dimensional matrix can be generated. It is possible to express a change in the projected pattern of a person's silhouette by using an m × k two-dimensional matrix.
[0035]
Here, as the person walks while shaking their limbs as described above, the shaking of the limbs is reflected in the projection pattern at the abdomen and legs, and the width changes within a certain range, whereas the head and shoulders It can be seen that the width is stable because there is no swinging part.
[0036]
Next, as an example of an image change other than a person, the shaking of a tree will be described with reference to FIG. Tree shake usually occurs due to the influence of the wind, and when strong wind blows, the trunk and the whole branch shake with the root as a fulcrum, so the change in width increases from the center to the top. In addition, when the wind is weak, the entire trunk is not shaken, but the branches and leaves are randomly generated by swaying the wind. Furthermore, in either case, no periodicity of width change is observed.
[0037]
FIG. 4 is a diagram showing these states, and shows an example of the silhouette of a tree swing and its projection pattern when the size and aspect ratio of the circumscribed rectangle of the change area are almost equal to those of a person.
[0038]
In FIG. 4, similarly to the example of the person shown in FIG. 3, the projection pattern is represented by an m × 1 vector, and k m × 1 vectors are obtained during a predetermined time to obtain an m × k two-dimensional matrix. Create In this case, when the change in the width is observed for each part, a random state is observed in any part.
[0039]
In the first embodiment and the second embodiment of the present invention, a person is to be discriminated from other image changes based on the characteristics of the two-dimensional vectors shown in FIGS. 3B and 4B. Therefore, it is intended to provide different discrimination methods depending on differences in calculation and calculation methods.
[0040]
Next, a first embodiment of the present invention will be described.
[0041]
In the first embodiment, a two-dimensional matrix as shown in FIG. 3B obtained when a general person walks is obtained in advance as a dictionary pattern, and when a certain image change is observed, the image is displayed. In this method, a two-dimensional matrix is created by the same method with respect to a change, and it is attempted to determine whether or not a person is a person by comparing the dictionary pattern.
[0042]
FIG. 5 is a block diagram illustrating a configuration of an image feature amount determination apparatus used in an image monitoring apparatus such as a security apparatus. As shown in FIG. 5, the image feature amount determination apparatus includes an
[0043]
The
[0044]
The
[0045]
The
[0046]
The one-dimensional
[0047]
The one-dimensional
[0048]
The two-dimensional
[0049]
The dictionary
[0050]
The
[0051]
Next, the operation in the first embodiment will be described with reference to FIG. 3 described above with reference to the flowchart shown in FIG. FIG. 3 shows a pattern obtained by a standard person from open legs to closed legs to open legs in the same manner as in FIG. Since the m × k two-dimensional matrix obtained from FIG. 3 is obtained based on a standard person projection pattern, it can be considered to be a person dictionary pattern. Details of the dictionary pattern creation method will be described later.
[0052]
The
[0053]
The
[0054]
As a method of extracting the change area, for example, a video when no moving object is stored is stored, and a difference is calculated by calculating a difference from a captured image, or by calculating a difference between a plurality of consecutive images. An image may be generated and a change area may be obtained from the difference image.
[0055]
When the change area is extracted from the captured image, the
[0056]
The one-dimensional
[0057]
When the next image is subsequently captured, the
[0058]
When the process of Steps A1 to A6 is repeated k times (Step A7), and an m × k two-dimensional matrix is obtained, the corresponding
[0059]
As a method for calculating the similarity, a conventional method for calculating the similarity of a two-dimensional matrix can be used. For example, a pattern matching method often used in signal processing can be considered.
[0060]
Next, a method for creating a dictionary pattern stored in advance in the dictionary
[0061]
That is, as shown in FIG. 8A, an m × k matrix corresponding to a plurality of person samples (silhouettes) is obtained (FIG. 8B), and the ij element of each m × k matrix is obtained. By obtaining each average, it is possible to generate an m × k matrix (dictionary pattern) that can determine that the projection patterns of all the human samples are persons as shown in FIG.
[0062]
In the above description, it is assumed that the change area is continuously obtained k times from the captured image, and the determination is made by comparing the m × k two-dimensional matrix obtained from the plurality of captured images with the dictionary pattern. However, if the change area is not detected several times in the middle, it may be determined that the change area corresponding to the reason that the change area is not detected is not a person. Alternatively, depending on the subsequent extraction state, it may be considered that a certain moment is not detected for some reason, and a countermeasure is taken such that a vector in the meantime is synthesized from previous and subsequent vectors.
[0063]
In the above description, the k one-dimensional vectors obtained from the change areas in the plurality of captured images are all assumed to correspond to the same moving object. When an object exists, the associating
[0064]
As described above, since the walking pattern of a person has periodicity, when the obtained two-dimensional matrix is compared with the two-dimensional matrix of the dictionary pattern, even if the change area is attributed to the person, the similarity degree The higher the value is at the moment when the cycle matches the dictionary pattern. Therefore, when a two-dimensional matrix of a change area is created after capturing images k times, high similarity cannot be obtained unless the period of the two-dimensional matrix of the dictionary pattern matches.
[0065]
Therefore, when a change area is extracted and n × 1 one-dimensional vectors are obtained, normalization is sequentially performed on each one-dimensional vector according to the dictionary pattern and combined to obtain an m × k two-dimensional vector. Create a matrix. If the (k + 1) th vector is obtained, as shown in FIG. 9, after combining the (k + 1) th vector, the oldest first column vector is removed to obtain a new m × k two-dimensional vector. A matrix may be created and evaluated.
[0066]
In this way, since the evaluation is always performed with the two-dimensional matrix obtained from the projection pattern corresponding to the latest k number of change regions, the comparison with the dictionary pattern is performed for each of all the periods. Therefore, a high degree of similarity is always obtained in the comparison between the two-dimensional matrix at any point in time and the two-dimensional matrix of the dictionary pattern.
[0067]
FIG. 10 shows a method of increasing the frequency of comparison with the dictionary pattern and obtaining a high degree of similarity instead of performing comparison with the dictionary pattern once every k times of image capture. As described above, if a plurality of dictionary patterns (two-dimensional matrices) having different periods of walking patterns are prepared and compared with the plurality of dictionary patterns, the frequency of increasing the degree of similarity can be increased. If a dictionary pattern having a different cycle is prepared, the influence of a different walking cycle can be absorbed.
[0068]
In the above description, the k of the two-dimensional matrix has been described as a time that is one cycle of a general person. However, it is not necessarily a cycle, for example, a portion in one cycle from an open leg to a closed leg. It may be a short cycle.
[0069]
In the above description, an n × 1 one-dimensional matrix is converted into an m × 1 one-dimensional matrix according to a dictionary pattern, and then an m × k two-dimensional matrix is generated. An n × k two-dimensional matrix may be generated by combining n × 1 one-dimensional matrices and then converted into an m × k two-dimensional matrix.
[0070]
Next, a second embodiment of the present invention will be described.
[0071]
In the first embodiment, the entire two-dimensional matrix of the dictionary pattern is compared with the dictionary pattern. In the second embodiment, a statistic is calculated for each row of the two-dimensional matrix, that is, for each part of the change area. In this method, a person is discriminated based on whether the statistic is close to that of a general person. In the first embodiment, since the similarity is calculated by comparing the entire two-dimensional matrix, the similarity does not increase when the periods do not match, or the change area of the image is due to a person If the moving speed does not match that of the dictionary pattern, there is a possibility that the degree of similarity will not increase. In the second embodiment, the dictionary is obtained by obtaining each part as a statistical amount within a predetermined time. Good determination is possible regardless of the conditions for comparison with the pattern.
[0072]
Various values are conceivable as the statistic, and examples thereof include an average value and a variance value for each part. In the case of the average value, the clothes and body shape of the person are reflected, but in the case where there is a variance value, since there is a variation from the average, there is a feature that the influence of clothes and body shape can be reduced.
[0073]
FIG. 11 is a block diagram illustrating a configuration of an image feature amount determination apparatus according to the second embodiment. As illustrated in FIG. 11, the image feature amount determination apparatus includes an
[0074]
Note that the
[0075]
The
[0076]
The dictionary
[0077]
The
[0078]
Next, the operation in the second embodiment will be described with reference to the flowchart shown in FIG.
[0079]
The
[0080]
The
[0081]
When the change area is extracted from the captured image, the
[0082]
The one-dimensional
[0083]
When the next image is subsequently captured, the
[0084]
When the process of Steps B1 to B6 is repeated k times (Step B7) to obtain an m × k two-dimensional matrix, the
[0085]
Next, the
[0086]
As shown in FIG. 14, the dictionary pattern D stored in the dictionary
[0087]
Accordingly, if the obtained vector of the statistical one-dimensional pattern S represents a feature of the dictionary pattern D, the similarity is high, and if it does not have this feature, the similarity is low. The
[0088]
As a method for creating the dictionary pattern D, as in the first embodiment, since it is considered that there are individual differences in the walking pattern of persons, the projection pattern is obtained for many persons, and the above-described determination method is performed for each part. Similarly, create a number of one-dimensional patterns in which each element is a variance value of each part, and if these are used to obtain an average value for each element, a one-dimensional pattern that is the average of the variance values is created. can do.
[0089]
As described above, in the second embodiment, by using a statistic such as a variation in the width of each part of the body, the width of each part of the silhouette changes with time, and the amount of change varies depending on the part. The feature is indicated by a variance value, and good person discrimination can be performed.
[0090]
In the above description of the second embodiment, the variance value of each part of the body is used as the statistical one-dimensional pattern S (one-dimensional vector). However, the characteristics of the temporal change of the person are represented. However, the data is not limited to this.
[0091]
Next, a third embodiment of the present invention will be described.
[0092]
As shown in FIG. 30, the method described in Japanese Patent Application No. 5-15668 is a projection pattern in which a silhouette of a moving object that is an object to be tested is obtained, and the width of the silhouette is obtained by horizontal projection calculation. It is intended to determine whether or not the person is a person by evaluating this with a predetermined dictionary pattern.
[0093]
Since the silhouette of a person is a lump, the projection pattern should be a continuous and smooth pattern as shown in FIG. 31 (a). However, the method described in Japanese Patent Application No. 5-15668 is wide. For example, as shown in FIG. 31B, a similar evaluation value may be given even if the pattern has a large variation in width.
[0094]
In the third embodiment, the smoothness of the projection pattern is used as a determination criterion, so that it is possible to reliably determine a person with the pattern as shown in FIG. .
[0095]
FIG. 15 is a block diagram illustrating the configuration of the image feature amount determination apparatus according to the third embodiment. As illustrated in FIG. 11, the image feature amount determination apparatus includes an
[0096]
In addition, about the
[0097]
The difference one-dimensional pattern conversion unit 40 is composed of n−1 data strings by performing a difference operation on adjacent data in the one-dimensional pattern composed of n data strings generated by the one-dimensional
[0098]
The difference one-dimensional pattern storage unit 42 stores a one-dimensional pattern composed of n−1 data strings generated by the difference one-dimensional pattern conversion unit 40.
[0099]
The dictionary pattern storage unit 44 stores in advance a dictionary pattern composed of m data strings for testing the one-dimensional pattern composed of n−1 data strings generated by the difference one-dimensional pattern conversion unit 40. .
[0100]
The correspondence unit 46 stores, in the dictionary pattern storage unit 44, a one-dimensional pattern composed of n−1 data strings generated by the difference one-dimensional pattern conversion unit 40 and stored in the difference one-dimensional pattern storage unit 42. Similarity is measured in correspondence with a dictionary pattern composed of m data strings, and an object corresponding to a partial area (change area) is determined.
[0101]
Next, the operation of the third embodiment will be described with reference to the flowchart shown in FIG.
[0102]
The
[0103]
The
[0104]
When the change area is extracted from the captured image, the
[0105]
The one-dimensional
[0106]
The difference one-dimensional pattern conversion unit 40 is composed of n−1 data strings by performing a difference operation on adjacent data in the one-dimensional pattern composed of n data strings generated by the one-dimensional
[0107]
Hereinafter, a specific example will be described. FIGS. 17 and 18 are examples in which specific numerical values are applied to the projection patterns shown in FIGS. FIG. 17 shows an example in which the test object is a person, and FIG. 18 shows an example in which the test object is a non-person (tree shake). The projection patterns shown in FIG. 17 and FIG. 18 are patterns that give the same evaluation value (the total number of points through which the projection pattern passes). The difference is whether the change in each part is smooth or uneven. It is.
[0108]
The magnitude of the change width of each part is clarified by performing a difference process between elements adjacent in the column direction in the one-dimensional vector of the projection pattern of the change area. FIG. 19 shows a state in which a one-dimensional pattern ((n−1) × 1 vector) is generated by difference processing by the difference one-dimensional pattern conversion unit 40.
[0109]
That is, a one-dimensional vector composed of n × 1 elements corresponding to the projection patterns shown in FIGS. 19A-1 and 19B-1 is generated, and values of elements adjacent in the column direction with respect to the one-dimensional vector are generated. To obtain a (n−1) × 1 one-dimensional vector as shown in FIGS. 19 (a-2) and 19 (b-2). FIGS. 19 (a-3) and (b-3) show one-dimensional vector patterns each composed of (n−1) × 1 elements, that is, FIGS. 19 (a-1) and 19 (b-1). It represents the displacement of the projection pattern.
[0110]
Since the projection pattern shown in FIG. 19 (a-1) is smooth, the pattern shown in FIG. 19 (a-3) is distributed in small values with the
[0111]
As a discrimination method, for example, as shown in FIG. 20B, a superposition dictionary pattern of vector of differences of each element is registered in the dictionary pattern storage unit 44 in advance, and difference calculation in the difference one-dimensional pattern conversion unit 40 is performed. The similarity may be confirmed by comparing with the (n−1) × 1 one-dimensional vector created in (1). Further, instead of comparing the dictionary patterns as shown in FIG. 20B as they are, a superposed dictionary pattern of vectors of absolute values of differences between the elements as shown in FIG. In the same manner, the absolute value of each element may be taken and compared with the dictionary pattern.
[0112]
Furthermore, as shown in FIG. 21, the sum of the absolute values of the elements of the (n-1) × 1 one-dimensional vector is obtained, and it is determined whether the person is a person or a non-person with respect to the sum of the absolute values of the elements set in advance. You may confirm by comparing with the predetermined value C for doing.
[0113]
The sum of the absolute values of the elements (FIG. 21 (a-2)) of the (n−1) × 1 one-dimensional vector obtained from the silhouette (projection pattern) of the person shown in FIG. Since the value is smaller than the predetermined value C, it is determined that the person is a person. In addition, each element of the (n-1) × 1 one-dimensional vector obtained from the silhouette (projection pattern) of the non-person (tree shake) shown in FIG. 21 (b-1) (FIG. 21 (b-2) The sum of the absolute values of) is greater than or equal to a predetermined value C because of a large variation between the elements, so that it is determined that the person is a non-person.
[0114]
Furthermore, as another discrimination method, as shown in FIG. 22, a predetermined value thp with respect to the plus direction and a predetermined value thm with respect to the minus direction are preset for a one-dimensional vector pattern composed of (n−1) × 1 elements. In addition, the number of elements that are greater than or equal to the predetermined value thp in the plus direction and less than or equal to the predetermined value thm in the minus direction is obtained. Then, the number of elements that deviate from the predetermined values (thp, thm) from 0 is obtained, and compared with a predetermined value th for determining whether a person is a person or a non-person with respect to a preset number of elements. Judgment. If the number of elements that deviate from the predetermined value is equal to or smaller than the predetermined value th, it is determined that the possibility of being a person is high because the Luet projection pattern is smooth.
[0115]
Various other methods for discriminating between a smooth pattern and an uneven pattern are conceivable, but many application examples are conceivable within the scope of the present invention.
[0116]
In the above description of the third embodiment, the smoothness of the projection pattern in the change area has been described as being evaluated independently. This is based on the width of the projection pattern as shown in FIGS. It can be performed at the same time as the evaluation, and by using these determination methods in combination, accurate person determination can be performed.
[0117]
Next, a fourth embodiment will be described.
[0118]
In the person discrimination method described in Japanese Patent Application No. 5-15668 and in the first to third embodiments, it is assumed that the dictionary pattern is determined in advance. It may be necessary to change the dictionary pattern because of differences in camera installation conditions at the time and cases where the clothes of people in the environment vary depending on the season. The fourth embodiment relates to updating a dictionary pattern in accordance with the necessity of changing such a dictionary pattern.
[0119]
The dictionary pattern in the present embodiment is used to determine whether or not the projection pattern of the person silhouette has person characteristics. As one of the creation methods, as shown in Japanese Patent Application No. 5-15668, there is a method of creating a dictionary by collecting and superimposing many projection patterns of a person.
[0120]
In this method, a silhouette image is obtained in advance using a video of a person walking and a projection pattern is calculated to create a reference person dictionary. Using this dictionary, a projection pattern of a silhouette of a moving object is created. When evaluated, a high evaluation value is given when the evaluation object is a person, and a low evaluation value is given when the evaluation object is a person.
[0121]
In the fourth embodiment of the present invention, in addition to the evaluation value threshold value for person determination, a threshold value (dictionary update threshold value) for determining whether or not to update the dictionary pattern is set. When a silhouette of a moving object is obtained in advance, a projection pattern is obtained and collated with a dictionary pattern to determine whether the person is a person by checking whether a predetermined person determination threshold is exceeded. When this threshold value is exceeded compared to the update threshold value, the projection pattern is recorded so that this projection pattern is reflected in the dictionary, and a new dictionary pattern is created when a predetermined number of times are collected. Is what you want to create.
[0122]
Here, the threshold value for updating the dictionary may be the same as the threshold value for person discrimination. In addition, the dictionary pattern may be updated using only those having a high probability of being a person. In this case, the evaluation value is set by setting the threshold for updating the dictionary pattern higher than the threshold for determining the person. Therefore, it is possible to generate a better dictionary pattern by eliminating non-person patterns having a relatively high value. On the other hand, if it is considered to incorporate as many projection patterns as possible, the threshold value for updating the dictionary can be set lower than the threshold value for person discrimination.
[0123]
Considering the situation of the dictionary pattern change, for example, because the climate changes gradually at the turn of the season, the person's clothes become thick or light, but as a trend the clothes suddenly change after a certain day Rather, it is thought that the dictionary pattern is gradually updated to change over a period of several days to several weeks. If the threshold value for updating the dictionary is larger than the threshold value for person determination, the evaluation value will not increase so much when clothes change suddenly. The dictionary pattern cannot be changed suddenly. In this way, the present system functions effectively at the turn of the season when the accuracy of determination is likely to change due to the slow change in the clothes of the person.
[0124]
FIG. 23 is a block diagram illustrating a configuration of an image feature amount determination apparatus including a dictionary pattern creation function according to the fourth embodiment. As shown in FIG. 23, the image feature quantity determination apparatus includes an
[0125]
Note that the
[0126]
The correspondence unit 50 calculates an evaluation value by associating the one-dimensional pattern converted by the one-dimensional
[0127]
The dictionary pattern storage unit 52 stores a plurality of one-dimensional patterns composed of m data strings for testing the one-dimensional pattern converted by the one-dimensional
[0128]
The dictionary
[0129]
Next, operations including dictionary pattern creation in the fourth embodiment will be described with reference to the flowchart shown in FIG. Here, the person dictionary pattern D1, the update dictionary Ds, the person determination threshold th1, the dictionary update threshold th2, and the number Ku of required dictionary update projection patterns are set.
[0130]
First, the
[0131]
The
[0132]
As a method of extracting a change area, as in the first embodiment, a video when no moving object is present may be stored and obtained by calculating a difference from the captured image. It is also possible to obtain a change area by performing a difference between the images.
[0133]
When an image change is detected, the
[0134]
The one-dimensional
[0135]
Here, the correspondence unit 50 evaluates the vector V1 representing the one-dimensional pattern using the existing dictionary D1 stored in the dictionary pattern storage unit 52, and obtains the evaluation value S1 for the target one-dimensional pattern (step D5). ).
[0136]
Here, the evaluation value S1 is compared with the threshold value th1 for person discrimination. If the evaluation value S1 is larger than th1 (step D6), the person is regarded as a person, and the alarm output or VTR recording or the like is performed (step D7).
[0137]
Next, the corresponding unit 50 compares the evaluation value S1 with the threshold value th2 for updating the dictionary, and determines whether or not the vector V1 is suitable as a dictionary updating pattern. If the evaluation value S1 is smaller than the threshold value th2 for updating the dictionary, nothing is done and the process returns to the other change area test step.
[0138]
On the other hand, when the evaluation value S1 is greater than th2, the dictionary
[0139]
Next, the dictionary
[0140]
If the number of samples (k) is equal to or smaller than the predetermined number, it is checked whether there is any other change area. If there is, the same procedure is repeated. If not, the process returns to the next image capturing step (step D12). , D13). Here, the old dictionary pattern D1 may be deleted, or both of the dictionary patterns D1 and D2 may be adopted as the dictionary pattern. Thereafter, the process proceeds to the first change area extraction step.
[0141]
By repeating the above procedure, it is possible to update the dictionary pattern while determining whether or not the change area is a person.
[0142]
In the above description, the example described in Japanese Patent Application No. 5-15668 has been described as the person determination method and the dictionary creation method. However, these are not necessarily limited to this method, and the present invention is not limited thereto. In the discrimination method described in the second embodiment and the third embodiment, it is possible to realize dictionary updating through similar steps.
[0143]
Furthermore, in the above description, the description has been made on the assumption that there is one dictionary pattern. However, in the case where there are a plurality of dictionary patterns, as shown in the flowchart of FIG. It is also possible to update a plurality of dictionary patterns by performing a dictionary update process.
[0144]
In the flowchart shown in FIG. 25, the person dictionary pattern D1, the person dictionary pattern D2, the update dictionary Ds1, the update dictionary Ds2, the dictionary D1 person discrimination threshold th11, the dictionary D2 person discrimination threshold th12, and the dictionary D1 update threshold. A value th21, a dictionary D2 update threshold th22, and a dictionary update necessary projection pattern number Ku.
[0145]
The processing of steps E1 to E5 in FIG. 25 is the same as steps D1 to D5 shown in FIG.
[0146]
Next, the evaluation value S1 is compared with the dictionary D1 person discrimination threshold th11 for the updating dictionary Ds1 or the dictionary D2 person discrimination threshold th12 for the updating dictionary Ds2, and the evaluation value S1 is greater than th11 or th12. In this case (step E6), it is assumed that the person is a person, and a warning output, VTR recording, etc., which are processes at the time of person detection, are performed (step E7).
[0147]
Next, the correspondence unit 50 compares the evaluation value S1 with the dictionary D1 update threshold th21 for the update dictionary Ds1, and determines whether or not the vector v1 is suitable as a dictionary update pattern. When the evaluation value S1 is smaller than the threshold value th21 for updating the dictionary, the process proceeds to a determination process for the updating dictionary Ds2 (step E8).
[0148]
On the other hand, when the evaluation value S1 is larger than the dictionary D1 update threshold th21, the dictionary
[0149]
Next, the dictionary
[0150]
Next, the correspondence unit 50 compares the evaluation value S1 with the dictionary D2 update threshold th22 for the update dictionary Ds2, and determines whether or not the vector v1 is suitable as a dictionary update pattern. If the evaluation value S1 is smaller than the threshold value th22 for updating the dictionary, the process returns to the next image capturing process without doing anything (step E12).
[0151]
On the other hand, when the evaluation value S1 is larger than the dictionary D2 update threshold th22, the dictionary
[0152]
Next, the dictionary
[0153]
If the number of samples (k2) is equal to or less than the predetermined number, the process returns to the next image capturing process without doing anything (step E16).
[0154]
In FIG. 25, for the sake of simplicity of explanation, it is assumed that one change area is detected from the captured image. However, there may actually be a plurality of change areas. In the same manner as the flowchart shown in FIG. 24 (step D12, steps D4 to D11), the same procedure is repeated for all the change regions.
[0155]
The above-described dictionary update method has been described as updating the dictionary under the condition that the projection pattern evaluation value exceeds the dictionary update threshold value. However, this method gives a high evaluation value. There is a possibility that only such unique projection patterns are registered in the dictionary.
[0156]
As shown in FIG. 1, when a person moves in the horizontal direction, the silhouette of the walking pattern is deformed by shaking of the limbs, but when using the above-described dictionary updating method (FIGS. 24 and 25), The projection pattern employed at the time of updating is limited to a specific one of them, and may not reflect this deformation. In such a case, this problem can be avoided by the following procedure.
[0157]
As described in the first embodiment, moving regions extracted from continuously captured images are associated with objects that are close in position and similar in shape, for example, based on features such as circumscribed rectangles and shapes. Correspondence is possible by the following tracking algorithm.
[0158]
That is, it is possible to associate the moving object with respect to the projection pattern having a high evaluation value at a certain moment with what kind of silhouette and the projection pattern at the time before and after that. In other words, when the moving object is evaluated, all of the tracked projection patterns of the moving object are recorded, and if the evaluation value is larger than the threshold value at a certain time and is taken into the dictionary, this recorded information is recorded. If all the projection patterns at the time before and after the object are also captured in the dictionary pattern, various projection patterns that can be captured by a moving object that is highly likely to be a person can be captured.
[0159]
FIG. 26 is a block diagram showing a configuration of an image feature amount determination apparatus including such a dictionary pattern creation function. As shown in FIG. 26, the image feature quantity determination device includes an
[0160]
In addition, about the
[0161]
The one-dimensional pattern storage unit 60 stores the one-dimensional pattern converted by the one-dimensional
[0162]
The
[0163]
The dictionary pattern storage unit 64 stores in advance a dictionary pattern made up of m data strings for testing the one-dimensional pattern stored in the one-dimensional pattern storage unit 60.
[0164]
The dictionary
[0165]
Next, operations including dictionary pattern creation will be described with reference to the flowchart shown in FIG. Here, the person dictionary pattern D1, the updating dictionary pattern Ds, the tracking projection pattern D′ n, the person discrimination threshold th1, the dictionary update threshold th2, and the number Ku of required dictionary update projection patterns are set.
[0166]
The processing of steps F1 to F5 in FIG. 27 is the same as steps D1 to D5 shown in FIG.
[0167]
On the other hand, the
[0168]
When it is confirmed that there is a corresponding moving object by the associating unit 14 (step F6), the dictionary
[0169]
Here, the evaluation value S1 is compared with the threshold value th1 for person discrimination, and if it is greater than th1 (step F8), it is regarded as a person and an alarm output or a process for detecting a person is performed. VTR recording or the like is performed (step F9).
[0170]
Further, when the evaluation value S1 of the projection pattern exceeds the dictionary update threshold th2, the dictionary
[0171]
In this way, the change area is tracked between the captured images continuously captured, and all projection patterns are recorded as the tracking projection pattern D′ n and stored in the dictionary pattern storage unit 64. The problem that only the projection pattern is used for updating the dictionary pattern is eliminated.
[0172]
In each description in the fourth embodiment (FIGS. 24, 25, and 27), as a condition for combining the projection pattern with the dictionary update projection pattern, the pattern of the change area in the captured image at a certain time ti is used. The dictionary update threshold th2 may be exceeded. However, in order to increase the accuracy, when the associated moving object is consecutively evaluated several times such that the dictionary update threshold th2 is exceeded at different times. As long as the projection pattern is added to the dictionary pattern, a method may be used.
[0173]
In the description so far, all the projection patterns are recorded, and when th2 is exceeded at a certain time, the projection pattern corresponding to the moving object (change area) is taken into the update dictionary. Instead of storing the projection pattern, if the th2 is exceeded at a certain time, the corresponding moving object is tracked, and if the projection pattern of the change area is registered in the dictionary pattern, the projection pattern is recorded. Therefore, the same effect can be expected while reducing the storage capacity required in the memory used.
[0174]
【The invention's effect】
As described in detail above, according to the present invention, first, by associating change areas between images obtained at predetermined time intervals, obtaining each silhouette and projection pattern, and analyzing this time change. The accuracy of person determination can be improved. Second, it is possible to improve a person's determination accuracy by analyzing a temporal change in a value corresponding to each part, that is, a value of an element of a projection pattern corresponding to a change region. Third, after calculating the projection pattern of the change region, the difference between each adjacent element in the projection pattern is obtained to obtain a pattern representing the continuity of the projection pattern, and the continuity is compared with the dictionary pattern, It is possible to improve the determination accuracy. Fourth, as a result of evaluating the projection pattern corresponding to the change area with the dictionary pattern, when the evaluation value is equal to or greater than a predetermined value, a plurality of these projection patterns are combined to form a new dictionary pattern, and the dictionary pattern is By updating, it is possible to make it less susceptible to the influence of clothing changes such as seasonal changes, or when the environment at the time of dictionary creation and camera setting is slightly different.
[Brief description of the drawings]
FIG. 1 is a diagram showing a silhouette (projection pattern) of human movement.
FIG. 2 is a diagram for explaining a projection pattern normalization method;
FIG. 3 is a diagram showing an example of a two-dimensional matrix obtained from a silhouette (projection pattern) of a person generated in the first embodiment and the second embodiment.
FIG. 4 is a diagram showing an example of a two-dimensional matrix obtained from a tree swing silhouette (projection pattern) generated in the first embodiment and the second embodiment.
FIG. 5 is a block diagram illustrating a configuration of an image feature amount determination apparatus used in the image monitoring apparatus according to the first embodiment.
FIG. 6 is a flowchart for explaining the operation in the first embodiment;
FIG. 7 is a view for explaining a method of generating a two-dimensional matrix in the first embodiment.
FIG. 8 is a diagram showing an example of an m × k matrix (dictionary pattern) generated from a two-dimensional matrix in the first embodiment.
FIG. 9 is a diagram for explaining an operation of dynamically generating a two-dimensional matrix and comparing it with a dictionary pattern in the first embodiment.
FIG. 10 is a diagram for explaining the creation of a plurality of dictionary patterns (two-dimensional matrix) corresponding to the difference in the period of the walking pattern in the first embodiment.
FIG. 11 is a block diagram illustrating a configuration of an image feature amount determination device used in an image monitoring device according to a second embodiment.
FIG. 12 is a flowchart for explaining an operation in the second embodiment.
FIG. 13 is a view for explaining a feature amount pattern S generated based on a two-dimensional matrix generated in the second embodiment.
FIG. 14 is a diagram for explaining a dictionary pattern D registered in advance in a dictionary pattern storage unit according to the second embodiment.
FIG. 15 is a block diagram illustrating a configuration of an image feature amount determination apparatus used in an image monitoring apparatus according to a third embodiment.
FIG. 16 is a flowchart for explaining an operation in the third embodiment;
FIG. 17 is a diagram showing an example in which specific numerical values are applied to a projection pattern when the test subject is a person in the third embodiment.
FIG. 18 is a diagram showing an example in which specific numerical values are applied to a projection pattern when a test object is a non-person (a tree shake) in the third embodiment.
FIG. 19 is a diagram illustrating a state in which a one-dimensional pattern ((n−1) × 1 vector) is generated by difference processing by a difference one-dimensional pattern conversion unit in the third embodiment.
FIG. 20 is a diagram for explaining a dictionary for determining the smoothness of a projection pattern in the third embodiment.
FIG. 21 is a diagram for explaining a method for determining the smoothness of a projection pattern based on the sum of absolute values of elements of a (n−1) × 1 one-dimensional vector in the third embodiment.
FIG. 22 is a diagram for explaining a method of determining the smoothness of a projection pattern based on a predetermined value for a one-dimensional vector pattern composed of (n−1) × 1 elements in the third embodiment.
FIG. 23 is a block diagram illustrating a configuration of an image feature amount determination device used in an image monitoring device according to a fourth embodiment.
FIG. 24 is a flowchart for explaining an operation including dictionary pattern creation in the fourth embodiment.
FIG. 25 is a flowchart for explaining an operation including dictionary pattern creation when there are a plurality of dictionary patterns in the fourth embodiment;
FIG. 26 is a block diagram showing the configuration of another image feature quantity determination device used in the image monitoring device according to the fourth embodiment.
FIG. 27 is a flowchart for explaining the operation in the fourth embodiment;
FIG. 28 is a diagram showing an example of a change area extracted from a captured image.
FIG. 29 is a diagram showing an example of superposition of projection patterns in the horizontal direction of a human silhouette.
FIG. 30 is a diagram showing a specific example of a dictionary pattern and a silhouette of a test subject.
FIG. 31 is a diagram for explaining a difference between a projection pattern of a person silhouette and a projection pattern of tree shaking.
[Explanation of symbols]
10: Imaging unit
12 ... area extraction part
14 ... Association
16 ... 1-dimensional pattern converter
18 ... One-dimensional pattern storage unit
20 ... Two-dimensional pattern converter
22, 52, 64 ... dictionary pattern storage unit
24, 46, 50, 62 ... corresponding part
30 ... Statistics converter
40 ... one-dimensional difference pattern conversion unit
42. Difference one-dimensional pattern storage unit
54, 66 ... dictionary pattern creation section
60: Change one-dimensional pattern conversion unit
Claims (9)
前記撮像手段によって撮像された各々の画像から所定の条件を満たす部分領域を抽出する抽出手段と、
前記抽出手段によって抽出された異なる撮像画像での前記部分領域を対応づける対応づけ手段と、
前記抽出手段によって抽出された部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン変換手段と、
前記対応づけ手段によって対応づけられた複数の異なる画像における部分領域の１次元パターンを組み合わせて２次元パターンを生成する２次元パターン変換手段と、
前記２次元パターン変換手段によって生成された２次元パターンを検定するための２次元パターンを表すデータ列からなる辞書パターンを記憶する辞書パターン記憶手段と、
前記２次元パターン変換手段によって生成された２次元パターンを、前記辞書パターン記憶手段に記憶された辞書パターンと比較することによって、前記部分領域を検定する対応手段とを具備したことを特徴とする画像特徴量判定装置。Imaging means for capturing an image while providing a predetermined time interval;
Extraction means for extracting a partial region satisfying a predetermined condition from each image imaged by the imaging means;
Associating means for associating the partial areas in different captured images extracted by the extracting means;
One-dimensional pattern conversion means for generating a one-dimensional pattern composed of a plurality of data strings based on the partial area extracted by the extraction means;
Two-dimensional pattern conversion means for generating a two-dimensional pattern by combining one-dimensional patterns of partial areas in a plurality of different images associated by the correspondence means;
Dictionary pattern storage means for storing a dictionary pattern consisting of a data string representing a two-dimensional pattern for testing the two-dimensional pattern generated by the two-dimensional pattern conversion means;
An image comprising: a corresponding means for examining the partial area by comparing the two-dimensional pattern generated by the two-dimensional pattern conversion means with a dictionary pattern stored in the dictionary pattern storage means. Feature amount determination device.
前記撮像手段によって撮像された各々の画像から所定の条件を満たす部分領域を抽出する抽出手段と、
前記抽出手段によって抽出された異なる撮像画像での前記部分領域を対応づける対応づけ手段と、
前記抽出手段によって抽出された部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン変換手段と、
前記対応づけ手段によって対応づけられた複数の異なる画像における部分領域の１次元パターンの各々に対応する各要素データ毎に統計処理を行ない、統計処理結果を要素とする統計量１次元パターンを生成する統計量変換手段と、
前記統計量変換手段によって生成される統計量１次元パターンを検定するための１次元パターンを表すデータ列からなる辞書パターンを記憶する記憶手段と、
前記統計量変換手段によって生成された統計量１次元パターンを、前記辞書パターン記憶手段に記憶された辞書パターンと比較することによって、前記部分領域を検定する対応手段とを具備したことを特徴とする画像特徴量判定装置。Imaging means for capturing an image while providing a predetermined time interval;
Extraction means for extracting a partial region satisfying a predetermined condition from each image imaged by the imaging means;
Associating means for associating the partial areas in different captured images extracted by the extracting means;
One-dimensional pattern conversion means for generating a one-dimensional pattern composed of a plurality of data strings based on the partial area extracted by the extraction means;
Statistical processing is performed for each element data corresponding to each one-dimensional pattern of a partial area in a plurality of different images correlated by the correlation means, and a statistical one-dimensional pattern having the statistical processing result as an element is generated. Statistic conversion means;
Storage means for storing a dictionary pattern composed of a data string representing a one-dimensional pattern for testing the statistical one-dimensional pattern generated by the statistical quantity conversion means;
And a corresponding unit that tests the partial area by comparing the one-dimensional statistical pattern generated by the statistical conversion unit with a dictionary pattern stored in the dictionary pattern storage unit. Image feature amount determination device.
前記撮像手段によって撮像された各々の画像から所定の条件を満たす部分領域を抽出する抽出手段と、
前記抽出手段によって抽出された部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン変換手段と、
前記１次元パターン変換手段によって生成された１次元パターンの複数個のデータ列について隣り合うデータ間で差分演算を行ない、差分演算結果を要素とする差分１次元パターンを生成する差分１次元パターン変換手段と、
前記差分１次元パターン変換手段によって生成される差分１次元パターンを検定するための１次元パターンを表すデータ列からなる辞書パターンを記憶する辞書パターン記憶手段と、
前記差分１次元パターン変換手段によって生成された統計量１次元パターンを、前記辞書パターン記憶手段に記憶された辞書パターンと比較することによって、前記部分領域を検定する対応手段とを具備したことを特徴とする画像特徴量判定装置。Imaging means for capturing an image while providing a predetermined time interval;
Extraction means for extracting a partial region satisfying a predetermined condition from each image imaged by the imaging means;
One-dimensional pattern conversion means for generating a one-dimensional pattern composed of a plurality of data strings based on the partial area extracted by the extraction means;
Difference one-dimensional pattern conversion means for performing a difference calculation between adjacent data on a plurality of data strings of the one-dimensional pattern generated by the one-dimensional pattern conversion means and generating a difference one-dimensional pattern having the difference calculation result as an element When,
Dictionary pattern storage means for storing a dictionary pattern composed of a data string representing a one-dimensional pattern for testing the difference one-dimensional pattern generated by the difference one-dimensional pattern conversion means;
And a corresponding means for examining the partial region by comparing the statistical one-dimensional pattern generated by the differential one-dimensional pattern conversion means with a dictionary pattern stored in the dictionary pattern storage means. An image feature amount determination device.
前記部分領域として、ある時刻に撮像された画像とそれ以前に撮像された画像と比較して変化領域を抽出することを特徴とする請求項１乃至請求項３の何れかに記載の画像特徴量判定装置。The extraction means includes
The image feature amount according to any one of claims 1 to 3, wherein a change area is extracted as the partial area by comparing an image captured at a certain time with an image captured before the partial area. Judgment device.
前記部分領域の水平方向または垂直方向の何れか一方への投影計算により１次元パターンを生成することを特徴とする請求項１記載乃至請求項４記載の何れかに記載の画像特徴量判定装置。The one-dimensional pattern conversion means includes
5. The image feature amount determination apparatus according to claim 1, wherein a one-dimensional pattern is generated by calculating a projection of the partial area in either one of a horizontal direction and a vertical direction.
所定の時間間隔毎に撮像された画像を取り込む撮像ステップと、
前記撮像ステップにより取り込んだ各々の画像から所定の条件を満たす部分領域を抽出する抽出ステップと、
前記部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン生成ステップと、
前記撮像ステップより取り込んだ各々の画像と前記部分領域とを対応づける対応づけステップと、
前記部分領域について１次元パターン生成ステップにより生成された１次元パターンを組み合わせて２次元パターンを生成する２次元パターン生成ステップと、
前記２次元パターン生成ステップにより生成された２次元パターンを、予め用意された２次元パターンを表すデータ列からなる辞書パターンと比較することによって前記部分領域を検定する検定ステップとを有することを特徴とする画像特徴量判定方法。 In the image feature amount determination method performed by the image monitoring apparatus for determining the image feature amount,
An imaging step of capturing images captured at predetermined time intervals ;
An extraction step of extracting a partial region satisfying a predetermined condition from each image captured by the imaging step ;
A one-dimensional pattern generation step of generating a one-dimensional pattern comprising a plurality of data sequence on the basis of the partial area,
An associating step for associating each image captured from the imaging step with the partial area;
A two-dimensional pattern generation step of generating a two- dimensional pattern by combining the one- dimensional patterns generated by the one-dimensional pattern generation step with respect to the partial region ;
A test step of testing the partial region by comparing the two-dimensional pattern generated by the two-dimensional pattern generation step with a dictionary pattern composed of a data string representing a two-dimensional pattern prepared in advance. Image feature amount determination method.
所定の時間間隔毎に撮像された画像を取り込む撮像ステップと、
前記撮像ステップにより取り込んだ各々の画像から所定の条件を満たす部分領域を抽出する抽出ステップと、
前記部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン生成ステップと、
前記撮像ステップより取り込んだ各々の画像と前記部分領域とを対応づける対応づけステップと、
前記対応づけステップにより対応づけられた複数の異なる画像における部分領域の１次元パターンの各々に対応する各要素データ毎に統計処理を行ない、統計処理結果を要素とする統計量１次元パターンを生成する統計量１次元パターン生成ステップと、
前記統計量１次元パターン生成ステップにより生成された統計量１次元パターンを、予め用意された１次元パターンを表すデータ列からなる辞書パターンと比較することによって、前記部分領域を検定する検定ステップとを有することを特徴とする画像特徴量判定方法。 In the image feature amount determination method performed by the image monitoring apparatus for determining the image feature amount,
An imaging step of capturing images captured at predetermined time intervals ;
An extraction step of extracting a partial region satisfying a predetermined condition from each image captured by the imaging step ;
A one-dimensional pattern generation step of generating a one-dimensional pattern comprising a plurality of data sequence on the basis of the partial area,
An associating step for associating each image captured from the imaging step with the partial area;
Statistical processing is performed for each element data corresponding to each of the one-dimensional patterns of the partial areas in a plurality of different images associated by the association step, and a statistical one-dimensional pattern having the statistical processing results as elements is generated. A statistical one-dimensional pattern generation step;
A test step for testing the partial region by comparing the statistical one-dimensional pattern generated by the statistical one-dimensional pattern generation step with a dictionary pattern including a data string representing a prepared one-dimensional pattern ; An image feature amount determination method characterized by comprising:
所定の時間間隔毎に撮像された画像を取り込む撮像ステップと、
前記撮像ステップにより取り込んだ各々の画像から所定の条件を満たす部分領域を抽出する抽出ステップと、
前記部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン生成ステップと、
前記１次元パターン生成ステップにより生成された１次元パターンの複数個のデータ列について隣り合うデータ間で差分演算を行ない、差分演算結果を要素とする差分１次元パターンを生成する差分１次元パターン生成ステップと、
前記差分１次元パターン生成ステップにより生成された統計量１次元パターンを、予め用意された１次元パターンを表すデータ列からなる辞書パターンと比較することによって、前記部分領域を検定する検定ステップとを有することを特徴とする画像特徴量判定方法。 In the image feature amount determination method performed by the image monitoring apparatus for determining the image feature amount,
An imaging step of capturing images captured at predetermined time intervals ;
An extraction step of extracting a partial region satisfying a predetermined condition from each image captured by the imaging step ;
A one-dimensional pattern generation step of generating a one-dimensional pattern comprising a plurality of data sequence on the basis of the partial area,
A plurality of performs difference calculation between adjacent data for the data string, the difference 1-dimensional pattern generating step of generating a difference one-dimensional pattern to the difference calculation result as elements of the one-dimensional pattern generated by the 1-dimensional pattern generating step When,
A test step for testing the partial area by comparing the statistical one-dimensional pattern generated by the differential one-dimensional pattern generation step with a dictionary pattern composed of a data string representing a one-dimensional pattern prepared in advance. An image feature amount determination method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24161596A JP3665430B2 (en) | 1996-09-12 | 1996-09-12 | Image feature amount determination apparatus and image feature amount determination method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24161596A JP3665430B2 (en) | 1996-09-12 | 1996-09-12 | Image feature amount determination apparatus and image feature amount determination method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1091794A JPH1091794A (en) | 1998-04-10 |
| JP3665430B2 true JP3665430B2 (en) | 2005-06-29 |
Family
ID=17076967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24161596A Expired - Fee Related JP3665430B2 (en) | 1996-09-12 | 1996-09-12 | Image feature amount determination apparatus and image feature amount determination method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3665430B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002298142A (en) * | 2001-03-29 | 2002-10-11 | Minolta Co Ltd | Person image detecting method, storage medium recording program for executing the method, person image detecting device, and image pick-up device having this device |
| JP3981391B2 (en) | 2003-10-21 | 2007-09-26 | 松下電器産業株式会社 | Monitoring device |
| JP4708124B2 (en) * | 2005-08-30 | 2011-06-22 | 富士重工業株式会社 | Image processing device |
| JP2007329762A (en) * | 2006-06-08 | 2007-12-20 | Fujitsu Ten Ltd | Apparatus and method for detecting object candidate area, walker recognition apparatus, and vehicle controller |
| US8681239B2 (en) | 2009-04-07 | 2014-03-25 | Panasonic Corporation | Image capturing device, image capturing method, program, and integrated circuit |
| JP2012128638A (en) * | 2010-12-15 | 2012-07-05 | Canon Inc | Image processing device, alignment method and program |
| JP7419095B2 (en) * | 2020-02-17 | 2024-01-22 | 株式会社東芝 | Image sensors, computing devices, and image sensor systems |
-
1996
- 1996-09-12 JP JP24161596A patent/JP3665430B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1091794A (en) | 1998-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7639840B2 (en) | Method and apparatus for improved video surveillance through classification of detected objects | |
| US7215798B2 (en) | Method for forgery recognition in fingerprint recognition by using a texture classification of gray scale differential images | |
| Mirmahboub et al. | Automatic monocular system for human fall detection based on variations in silhouette area | |
| JP3812985B2 (en) | Automatic monitoring device | |
| US7995843B2 (en) | Monitoring device which monitors moving objects | |
| CN110781723B (en) | Group abnormal behavior identification method | |
| US20100111374A1 (en) | Method for using information in human shadows and their dynamics | |
| CN109298785A (en) | A kind of man-machine joint control system and method for monitoring device | |
| WO2002075685A2 (en) | Automatic system for monitoring persons entering and leaving a changing room | |
| KR100824757B1 (en) | Gait recognition method | |
| CN110929584A (en) | Network training method, monitoring method, system, storage medium and computer equipment | |
| Poonsri et al. | Improvement of fall detection using consecutive-frame voting | |
| EP2000998B1 (en) | Flame detecting method and device | |
| JP3665430B2 (en) | Image feature amount determination apparatus and image feature amount determination method | |
| Shajina et al. | Human gait recognition and classification using time series shapelets | |
| CN109147123B (en) | Unlocking method and device of access control lock, electronic equipment and computer storage medium | |
| De Silva | Audiovisual sensing of human movements for home-care and security in a smart environment | |
| Zaman et al. | Efficient human motion detection with adaptive background for vision-based security system | |
| WO2022049704A1 (en) | Information processing system, information processing method, and computer program | |
| Ali et al. | Automated secure room system | |
| ShanShan et al. | Fall detection method based on semi-contour distances | |
| Khan et al. | A novel hybrid fall detection technique using body part tracking and acceleration | |
| Ye et al. | Camouflage detection and gait recognition model | |
| CN112687068B (en) | Intrusion detection method based on microwave and vibration sensor data | |
| CN117372844B (en) | Skeleton detection and fall detection method based on improved space-time adaptive graph convolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050401 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080408 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090408 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100408 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |