JP3665430B2 - 画像特徴量判定装置及び画像特徴量判定方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば画像により不法侵入者などの検知を行なう画像監視装置において、入力画像から侵入物の検出を行なう移動物体検出のための特徴量判定方法に関する。
【０００２】
【従来の技術】
セキュリティ装置のひとつにテレビジョンカメラによる撮影画像を用いて、不法侵入者などを検知する画像監視装置がある。このような画像監視装置において、例えば不法侵入者を検知するためには侵入者の動きを利用する場合が多い。すなわち、時間的に離れた画像間の差分処理や予め記憶しておいた侵入者がいない場合の背景画像と取り込み画像間での差分処理などにより、侵入物の移動した移動領域を変化領域として求め、その変化領域の有無や大きさなどで不法侵入者があるか否かを判断している。
【０００３】
画像監視装置は、セキュリティの目的で使われる場合が多いために、誤報や検出漏れといった誤動作があると、装置の信頼性が低下して問題となる。多くの画像監視装置では、変化領域の有無だけで不法侵入者があると判断して警報を出力するが、一般的に画像にはノイズ成分を始めとして、目的とする対象物以外の画像変化など、誤動作の原因となりえる要素が含まれている。
【０００４】
この対策として、画像処理を用いた手法が考えられている。その一例としては、第２８図（ａ）に示すように差分画像をＸ軸、Ｙ軸に投影してその投影パターンを作り、各軸で所定値Ｘｔｈ、Ｙｔｈ以上の数値が所定長さＸｗ、Ｙｗ以上続く区間を求め、Ｘ軸、Ｙ軸の共通部分を求めることにより塊となっている領域を抽出して、その大きさや縦横比などを求め、所定の範囲内ならば侵入者が存在するとして異常発生とみなすような方法を挙げることができる。
【０００５】
図２８（ａ）では変化領域の外接四角形Ａ１１、Ａ２２の部分が侵入物に該当する変化領域とみなすことができる。
【０００６】
【発明が解決しようとする課題】
ところが監視環境によっては、図２８（ｂ）に示すように、侵入物ではない、例えば木の揺れなどによる画像変化も侵入者と同じような大きさで抽出されることがある。この場合、上述したような、差分画像の投影パターンの大きさだけを判断基準とする方法を用いると誤動作を起こすおそれがあった。
【０００７】
こうした問題を防ぐためには、変化領域の形状を用いた判断を行なえばよいが、人物などの非剛体ではその形状が歩行により変化するために、テンプレートマッチングのような予め決められた固定形状との比較による判断は適さない。
【０００８】
そこで、本出願人は先に特願平５−１５６６８号によって、変化領域の横方向への投影パターンを求めて、その投影パターンを予め求めておいた辞書パターンと比較して評価値を求め、その評価値が所定値以上であれば侵入物であると判断する方式を提案している。この方式の概略を以下に示す。
【０００９】
人間の動きのシルエットに着目してみると、図１（ａ）に示すように頭部の幅は狭く、肩・大腿部の部分の幅は太く、動きに伴う変化は少なく、腹部、脚部はカメラに対する移動方向により程度の差はあるものの、手足の振りによりその幅が変化する。
【００１０】
図１（ｂ）は、これらのシルエットの横方向への投影パターンを示しており、シルエットの変化の特徴が波形の形の違いとなって表れることがわかる。これら手足の振れが最大になった場合から最小になった場合までの投影パターンを、図２９（ａ）に示すように重ね合わせると、図２９（ｂ）の網をかけた領域に全ての横移動の投影パターンが含まれる。図２９（ｂ）に示すように、頭部、肩部、大腿部などで分布する範囲が狭くて重なりが多いのに対して、腹部、脚部では分布する範囲が広くて重なりが少ないパターンとなることがわかる。
【００１１】
そこで、重ねたパターンを予め作っておけば、被検定物である変化領域が人物であるか否か評価するための辞書パターンとして考えることができる。
【００１２】
図３０は、辞書パターンと被検定のシルエットの具体的な例を示す図である。図３０に示すように、検定を行なう変化領域のシルエットの投影パターンを辞書パターンに重ね合わせて、投影パターンの通った場所の点数を加算して評価点を求める。この結果、人物の投影パターンであれば評価点が高くなり、非人物（木の揺れ等）であれば評価点が低くなるといった特徴があり、人物判別を行なうことができる。
【００１３】
前述した方式は、変化領域が人物であると仮定して、そのシルエットの頭部、腹部、大腿部の幅の値が標準的な人物の幅に合っているか否かで判断する方式であり、先の人物の歩行の特徴のうち、ある一瞬の各部位の幅を評価していることに他ならない。
【００１４】
つまり、幅については評価がなされているものの、頭部や肩、大腿部の幅が安定しているのに対して、腹部や脚部は幅の変化があるといった、各部位に対する時間に伴う変化特徴を積極的に利用した方式ではなかった。
【００１５】
また、本来、人物シルエットの投影パターンは、図３１（ａ）に示すように、滑らかな連続性のあるパターンになるはずであり、木の揺れの投影パターンは、図３１（ｂ）に示すように、凹凸の多いパターンになるはずであるが、辞書パターンに当てはめたときには、投影パターンの通る場所の点数を加算して行くことで評価点を求めるために、投影パターンが滑らかでなくても同様な判別結果となる場合があった。すなわち、対象とする投影パターンの変化特徴を積極的に利用して、評価点を求める方式ではなかった。
【００１６】
さらに、辞書パターンを予め作成しておき、常時これを利用するようにしているが、人物の服装は季節により厚着、薄着が変わり、そのシルエットや投影パターンも変化することにより、辞書パターンが不適正なものとなる場合がある。また、辞書パターンを作成した環境と実際に監視カメラを設置する環境が一致していない場合などは、カメラの画角や俯角の違いにより辞書パターンが適切でない場合もあり、何れの場合も辞書の変更や更新の必要性が生じる可能性があった。
【００１７】
本発明は前記の問題を解決するためになされたもので、変化領域の投影パターンを求めて、その投影パターン全体の時間的な変動、あるいは投影パターンの各部位に相当する幅の値の時間的な変化や投影パターンの連続性を解析することにより、被検定物に対する判定精度を向上させることが可能な画像特徴量判定方法及び画像特徴量判定装置を提供することを目的とする。
【００１８】
また、評価に使用する辞書パターンを所定の条件で自動的に更新することにより、常に良好な判定精度を得ることが可能な画像特徴量判定方法及び画像特徴量判定装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明は、所定の時間間隔を設けながら画像を撮像する撮像手段と、前記撮像手段によって撮像された各々の画像から所定の条件を満たす部分領域を抽出する抽出手段と、前記抽出手段によって抽出された異なる撮像画像での前記部分領域を対応づける対応づけ手段と、前記抽出手段によって抽出された部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン変換手段と、前記対応づけ手段によって対応づけられた複数の異なる画像における部分領域の１次元パターンを組み合わせて２次元パターンを生成する２次元パターン変換手段と、前記２次元パターン変換手段によって生成された２次元パターンを検定するための２次元パターンを表すデータ列からなる辞書パターンを記憶する辞書パターン記憶手段と、前記２次元パターン変換手段によって生成された２次元パターンを、前記辞書パターン記憶手段に記憶された辞書パターンと比較することによって、前記部分領域を検定する対応手段とを具備したことを特徴とする。
【００２０】
すなわち、投影パターンの各部位に相当する幅の値の時間的な変化を解析するもので、所定時間毎に得られる画像間において、変化領域の対応付けを行い、各々のシルエットおよび投影パターンを求めてこの時間変化を解析することにより、人物の判定精度を向上させようとするものである。
【００２１】
また本発明は、所定の時間間隔を設けながら画像を撮像する撮像手段と、前記撮像手段によって撮像された各々の画像から所定の条件を満たす部分領域を抽出する抽出手段と、前記抽出手段によって抽出された異なる撮像画像での前記部分領域を対応づける対応づけ手段と、前記抽出手段によって抽出された部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン変換手段と、前記対応づけ手段によって対応づけられた複数の異なる画像における部分領域の１次元パターンの各々に対応する各要素データ毎に統計処理を行ない、統計処理結果を要素とする統計量１次元パターンを生成する統計量変換手段と、前記統計量変換手段によって生成される統計量１次元パターンを検定するための１次元パターンを表すデータ列からなる辞書パターンを記憶する辞書パターン記憶手段と、前記統計量変換手段によって生成された統計量１次元パターンを、前記辞書パターン記憶手段に記憶された辞書パターンと比較することによって、前記部分領域を検定する対応手段とを具備したことを特徴とする。
【００２２】
すなわち、異なる画像で各々投影パターンを求め、各部位に相当する幅の値、すなわちその投影パターンの要素の値の時間的変化を解析することにより人物の判定精度を向上させるものである。
【００２３】
また本発明は、所定の時間間隔を設けながら画像を撮像する撮像手段と、前記撮像手段によって撮像された各々の画像から所定の条件を満たす部分領域を抽出する抽出手段と、前記抽出手段によって抽出された部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン変換手段と、前記１次元パターン変換手段によって生成された１次元パターンの複数個のデータ列について隣り合うデータ間で差分演算を行ない、差分演算結果を要素としする差分１次元パターンを生成する差分１次元パターン変換手段と、前記差分１次元パターン変換手段によって生成された差分１次元パターンを、前記辞書パターン記憶手段に記憶された辞書パターンと比較することによって、前記部分領域を検定する対応手段とを具備したことを特徴とする。
【００２４】
すなわち、変化領域の投影パターンを計算したのち、投影パターンの隣り合う各要素の差を求めることにより、投影パターンの連続性を表すパターンを求め、この連続性を辞書パターンと比較することにより、人物の判定精度を向上させようとするものである。
【００２８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態（第１乃至第４の実施形態）について説明する。はじめに、本発明の第１実施形態及び第２実施形態の理解を容易にするために基本的な考え方について説明する。
【００２９】
第１実施形態及び第２実施形態の基本は、撮像した画像中から抽出された変化領域の投影パターンを、所定時間間隔でｋ回連続的に求め、各投影パターンを、幅を変数とするｍ×１のベクトルで表現して、ｋ回分のベクトルを組合せて時間変動の成分が含まれているｍ×ｋの２次元マトリクスを生成し、さらに、この２次元マトリクスの要素データを解析して、予め求めておいた人物辞書パターンに照らし合わせることにより、変化領域が人物であるか否かを判定しようとするものである。
【００３０】
まず一例として、変化領域が人物によるものと仮定して、そのシルエットと、投影パターンの変化の様子を図１、図２を用いて説明する。図１は、人の動きの一例として横方向に歩いた場合のシルエット（図１（ａ））と、各シルエットに対応する投影パターン（図１（ｂ））の変化の例を示す図である。
【００３１】
図１（ａ）において（１）は、手足の最小振れ状態、（２）は最大振れ状態にそれぞれ相当し、図１（ｂ）は各状態における投影パターンである。シルエットの大きさは、移動物体の大きさとカメラからの距離、カメラのレンズ倍率により異なって見えるが、人物の身長を基準として頭部、腹部、脚部等の相対長さはほぼ等しいとみなし正規化を行なう。
【００３２】
ここで、投影パターンに対する高さの基準値をｍ（辞書パターンの区分数）とする。正規化の方法としては、図２（ａ）に示すように、投影パターンの区分数をｎとした場合に、単純に被検定データである投影パターンのｎ個の区分数をｍ／ｎ倍するように間引いたり、図２（ｂ）に示すように、ｎ区分の投影データを辞書パターンに合わせて拡大または縮小をした後（図２（ｂ）の例は縮小）、投影パターンの長さをｍ等分することにより、ｍ×１の幅の値を変数とするベクトルに変換することができる。
【００３３】
従って、図１における人物の歩行に伴うシルエットの変化は、ｍ×１のベクトル列として表すことができる。ここで、例えば人物の歩行パターンは、開脚−閉脚−開脚−閉脚の繰り返しであることから、開脚から次の開脚までを１サイクルと考えることができる。
【００３４】
この１サイクル中で画像取り込み回数をｋ回とすると、各々ｍ×１のベクトル列が作成され、ｋ個のｍ×１のベクトル列が作成できることから、図３に示すように、ｍ×ｋの２次元マトリクスを生成することができる。ｍ×ｋの２次元マトリクスによって、人物のシルエットの投影パターンの変化の様子を表現することができる。
【００３５】
ここで、上述のように人物は手足を振りながら歩行するために、その腹部や脚部では手足の揺れが投影パターンに反映されて、ある範囲で幅の変化が生じるのに対し、頭や肩の部分では、振れる物がないためにその幅は安定していることがわかる。
【００３６】
次に、人物以外の画像変化の一例として、木の揺れについて図４を用いて説明する。木の揺れは、通常、風の影響により発生し、強い風が吹く場合には、根本を支点として幹や枝全体が揺れるために、その幅の変化は中心から上部にかけて大きくなる。また、風が弱い場合には幹全体が揺れるのではなく、枝葉が風にそよぐことによりランダムに発生するために、幅の変化は場所により異なる。さらに、どちらの場合においても幅の変化の周期性が観測されることはない。
【００３７】
図４は、これらの様子を表した図で、変化領域の外接四角形の大きさ、縦横比が人物とほぼ等しい場合の木の揺れのシルエットの例とその投影パターンを示したものである。
【００３８】
図４において、図３に示す人物の例と同様に、投影パターンをｍ×１のベクトルで表し、さらに所定時間の間にｋ個のｍ×１のベクトルを求めてｍ×ｋの２次元マトリクスを作成する。この場合、その部位ごとに幅の変化を見ると、何れの部位でもランダムになる様子が観測される。
【００３９】
本発明の第１実施形態及び第２実施形態では、図３（ｂ）、図４（ｂ）に示す２次元ベクトルの特徴により、人物をその他の画像変化から判別しようとするもので、その着目する点や計算方法の違いにより、異なる判別方式を提供しようとするものである。
【００４０】
次に、本発明の第１実施形態について説明する。
【００４１】
第１実施形態では、一般的な人物が歩行した場合に得られる図３（ｂ）に示すような２次元マトリクスを予め辞書パターンとして求めておき、ある画像変化が観測された場合に、その画像変化に対して同じ方法により２次元マトリクスを作成し、辞書パターンと比較することにより人物であるか否かを判定しようとする方法である。
【００４２】
図５はセキュリティ装置等の画像監視装置において用いられる画像特徴量判定装置の構成を示すブロック図である。図５に示すように、画像特徴量判定装置は、撮像部１０、領域抽出部１２、対応づけ部１４、１次元パターン変換部１６、１次元パターン記憶部１８、２次元パターン変換部２０、辞書パターン記憶部２２、及び対応部２４によって構成されている。
【００４３】
撮像部１０は、テレビジョンカメラ等により撮像して画像を取り込むもので、離れた時間ごとの画像を領域抽出部１２に送出する。
【００４４】
領域抽出部１２は、撮像部１０によって異なる時間で撮像された各々の画像から所定の条件を満たす部分領域、すなわち移動物体による変化領域を抽出する。
【００４５】
対応づけ部１４は、領域抽出部１２によって抽出された部分領域（変化領域）を、異なる撮像画像間で対応づけを行なう。
【００４６】
１次元パターン変換部１６は、領域抽出部１２によって抽出された各画像における部分領域からｎ個のデータ列からなる１次元パターンを生成し、後の辞書パターンによる検定に備え、ｍ×１のデータ列に変換する。
【００４７】
１次元パターン記憶部１８は、１次元パターン変換部１６によって生成された複数の画像分の１次元パターンを記憶する。
【００４８】
２次元パターン変換部２０は、対応づけ部１４によって異なる撮像画像間で対応づけられた異なる複数の部分領域について、１次元パターン変換部１６によって変換され、１次元パターン記憶部１８に格納されたそれぞれの画像の１次元パターンを組み合わせてｍ×ｋの２次元パターンを生成する。
【００４９】
辞書パターン記憶部２２は、２次元パターン変換部２０によって変換された２次元パターンを検定するための、２次元パターンを表すｍ×ｋ個のデータ列からなる辞書パターンが予め記憶される。
【００５０】
対応部２４は、２次元パターン変換部２０によって生成されたｍ×ｋ個のデータ列からなる２次元パターンを、辞書パターン記憶部２２に記憶されたｍ×ｋ個のデータ列からなる辞書パターンに対応させて類似度を測定し、部分領域（変化領域）を検定、すなわち部分領域に対応する対象物（人物等）が何であるかを判定する。
【００５１】
次に、第１実施形態における動作について、図６に示すフローチャートを参照しながら前述した図３を用いて説明する。図３は、標準的な人物が開脚−閉脚−開脚までのパターンを、図１と同様にして求めたものである。図３から得られるｍ×ｋの２次元マトリクスは、標準的な人物の投影パターンをもとにして求められているので人物の辞書パターンであると考えることができる。辞書パターンの作成方法の詳細については後述する。
【００５２】
撮像部１０は、所定時間ｔｉ（ｉ＝１，２，…，Ｋ）毎に画像を取り込み、領域抽出部１２に送出する。
【００５３】
領域抽出部１２は、監視対象とする範囲の撮像画像中に変化があるかどうか、すなわち変化領域Ｅｉ（ｉ＝１，２，…，Ｋ）が存在するか否かを、撮像部１０によって所定時間ｔｉ毎に入力される各撮像画像を用いて連続的に確認する（ステップＡ１，Ａ２）。
【００５４】
変化領域を抽出する方法としては、例えば移動物体が存在しない場合の映像を記憶しておき、取り込み画像との差分計算をして求める方法、あるいは連続する複数の画像間で差分をとることで差分画像を生成し、この差分画像から変化領域を求めてもかまわない。
【００５５】
撮像画像から変化領域が抽出された場合、領域抽出部１２は、変化領域に対する外接四角形を求める（ステップＡ４）。ここで、変化領域（外接四辺形）の高さがｎであると仮定すると、領域抽出部１２は、対応部２４において辞書パターンを用いて検定する場合に備えて、例えば前述した図２に示したように、辞書パターンに合わせて高さがｍとなるように正規化を行なう（ステップＡ５）。
【００５６】
１次元パターン変換部１６は、領域抽出部１２によって正規化された変化領域（シルエット）について水平方向へ投影をとり、図２に示すようにして投影パターンベクトル（ｍ×１のベクトルｖ１）を作成する（ステップＡ６）。１次元パターン変換部１６によって作成されたｍ×１のベクトルｖ１は、１次元パターン記憶部１８に記憶される。
【００５７】
引き続き次の画像を取り込んだ際に、領域抽出部１２は、対応する変化領域を求め、同様にｍ×１のベクトルｖ２を求める（ステップＡ１〜Ａ５）。対応づけ部１４は、領域抽出部１２によって抽出される各画像から抽出される変化領域を、異なる画像間で対応づけて、その対応関係を２次元パターン変換部２０に通知する。２次元パターン変換部２０は、対応づけ部１４からの変化領域の対応関係についての通知に基づいて、１次元パターン記憶部１８に記憶された先のベクトルｖ１とベクトルｖ２とを組み合わせて、図７に示すように、ｍ×２の２次元マトリクスを作成する（ステップＡ６）。
【００５８】
ステップＡ１〜Ａ６の処理をｋ回繰り返すことによって（ステップＡ７）、ｍ×ｋの２次元マトリクスが得られた場合に、対応部２４は、撮像画像から求められたｍ×ｋの２次元マトリクスと、辞書パターン記憶部２２に予め記憶されている辞書パターンの２次元マトリクスとを比較してその類似度を測定する（ステップＡ８）。対応部２４は、辞書パターンをもとにして得られた類似度をもとに、撮像画像中に存在する対象物を判定、すなわち人物が撮像されているか否かを判定する（ステップＡ９）。
【００５９】
なお、類似度の計算方法としては、２次元マトリクスの類似性を計算する従来の方法を用いることが可能である。例えば、信号処理でしばしば用いられるパターンマッチングの方法などが考えられる。
【００６０】
次に、辞書パターン記憶部２２に予め記憶される辞書パターンの作成方法について説明する。辞書パターンの作成方法としてはいろいろと考えられるが、人物の歩行パターンに個人差があると考えられるために、辞書パターンを表す２次元マトリクスを多くの人物について作成し、その違い含むような２次元パターンにする。これにより、一般的な人物の歩行の際のシルエットの変化を表す２次元パターンとすることができる。
【００６１】
つまり、図８（ａ）に示すように、複数人分の人物サンプル（シルエット）に対応するｍ×ｋマトリクスを求めて（図８（ｂ））、各ｍ×ｋマトリクスのｉ−ｊ要素の平均を各々求めることにより、図８（ｃ）に示すような、全ての人物サンプルの投影パターンを人物であると判定可能なｍ×ｋマトリクス（辞書パターン）を生成することができる。
【００６２】
なお、前述した説明では、撮像画像中から変化領域が連続してｋ回求められることを前提とし、複数の撮像画像から得られたｍ×ｋの２次元マトリクスと辞書パターンとの比較により判定を行なっているが、途中の数回目で変化領域が検出されなかった場合には、検出できなかったことを根拠に該当する変化領域は人物でないと判断しても良い。あるいは、その後の抽出状態により、ある一瞬は何らかの理由で検出されなかったと解釈して、その間のベクトルを前後のベクトルから合成して生成するなどの対策をすることも考えられる。
【００６３】
また、前述した説明では、複数の撮像画像中の変化領域から得られるｋ個の１次元ベクトルは、全て同一の移動物体に対応するとの前提に説明しているが、撮像画像内に複数の移動物体が存在するときには、対応づけ部１４によって、異なる時間に取り込んだ画像間でそれぞれの変化領域についての対応付けが必要となる。これには、画像処理の分野で用いられる画像の追跡アルゴリズムを用いればよく、例えば変化領域外接四角形の位置や、形状などの特徴から、撮像画像中における抽出された位置が近く、形状が似ている変化領域を、前後の画像で対応づけるなどの方法により容易に実現することができる。なお、この画像の追跡アルゴリズムはあくまでも一例であり、どのような方式を用いても、本発明の目的とすることは同様に実現可能である。
【００６４】
先に述べたように、人物の歩行パターンは周期性があるため、得られた２次元マトリクスを辞書パターンの２次元マトリクスと比較した場合、変化領域が人物によるものであったとしても、類似度が高くなるのは、辞書パターンと周期が合った瞬間である。従って、変化領域の２次元マトリクスを、ｋ回の画像の取り込み後に作成する場合には、辞書パターンの２次元マトリクスとの周期が合わないと高い類似度が得られなくなってしまう。
【００６５】
そこで、変化領域を抽出してｎ×１の１次元ベクトルが得られた場合に、次々に各１次元ベクトルに対して辞書パターンに合わせて正規化を行ない、組み合わせることによりｍ×ｋの２次元マトリクスを作成する。そして、ｋ＋１番目のベクトルが得られた場合には、図９に示すように、ｋ＋１番目のベクトルを組み合わせた後に、最も古い第１列のベクトルを取り去ることで、新たなｍ×ｋの２次元マトリクスを作成して評価を行えばよい。
【００６６】
このようにすれば、常時、最新のｋ個の変化領域に対応する投影パターンから得られる２次元マトリクスにより評価が行われるために、全ての周期のそれぞれについて辞書パターンとの比較が行われることになり、必ず何れかの時点における２次元マトリクスと辞書パターンの２次元マトリクスとの比較において高い類似度が得られる。
【００６７】
また、ｋ回の画像の取り込み毎に１回の辞書パターンとの比較を行なうのではなく、辞書パターンとの比較の頻度をより多くすると共に、高い類似度を得る方法としては、図１０に示すように、歩行パターンの周期がそれぞれ異なる複数の辞書パターン（２次元マトリクス）を作成しておき、これら複数の辞書パターンとの比較を行えば、類似度の高くなる頻度を増すことが可能となるし、周期の異なる辞書パターンを用意すれば、人により異なる歩行周期の影響も吸収することができる。
【００６８】
なお、前述した説明では、２次元マトリクスのｋを一般的な人物の一周期となる時間として説明してきたが、必ずしも一周期である必要はなく、例えば開脚から閉脚までの一周期中の部分的な短い周期であってもかまわない。
【００６９】
また、前述した説明では、ｎ×１の１次元マトリクスを辞書パターンに合わせてｍ×１の１次元マトリクスに変換した後、ｍ×ｋの２次元マトリクスを生成するものとして説明しているが、ｎ×１の１次元マトリクスを組合わせてｎ×ｋの２次元マトリクスを生成した後にｍ×ｋの２次元マトリクスに変換するようにしても良い。
【００７０】
次に、本発明の第２実施形態について説明する。
【００７１】
第１実施形態では辞書パターンの２次元マトリクス全体を辞書パターンと比較しているが、第２実施形態では２次元マトリクスの各行、つまり、変化領域の各部位ごとに統計量を計算して、その統計量が一般的な人物のそれに近いかどうかにより、人物を判別しようとする方式である。第１実施形態では、２次元マトリクス全体を比較して類似度を計算しているために、周期が合わない場合に類似度が高くならない場合や、画像の変化領域が人物によるものであった場合に、移動速度が辞書パターンのそれと合っていないと類似度が高くならない場合が発生する可能性があったが、第２実施形態では部位ごとに所定時間内での統計量として求めることによって、辞書パターンとの比較の条件と関係なく良好な判定が可能となる。
【００７２】
統計量としてはいろいろな値が考えられるが、例えば各部位ごとの平均値や分散値などがその例として挙げられる。平均値の場合には、その人物の服装や体型が反映されてしまうが、分散値がある場合には平均からのばらつきとなるために服装や体型などの影響を低減できる特徴がある。
【００７３】
図１１は、第２実施形態における画像特徴量判定装置の構成を示すブロック図である。図１１に示すように、画像特徴量判定装置は、撮像部１０、領域抽出部１２、対応づけ部１４、１次元パターン変換部１６、１次元パターン記憶部１８、２次元パターン変換部２０、統計量変換部３０、辞書パターン記憶部３２、及び対応部３４によって構成されている。
【００７４】
なお、撮像部１０、領域抽出部１２、対応づけ部１４、１次元パターン変換部１６、及び１次元パターン記憶部１８については、前述した第１実施形態と同じ構成であるものとして、同一符号を付して詳細な説明を省略する。
【００７５】
統計量変換部３０は、２次元パターン変換部２０に蓄えられたｍ×ｋのマトリクスの各行（各部位）毎に統計処理を行ない、統計量１次元パターンＳを生成する。第２実施形態では、統計処理として分散計算を行なうものとし、ｍ×１個のデータ列の１次元パターンを作成する。
【００７６】
辞書パターン記憶部３２は、統計量変換部３０によって生成された統計量１次元パターンＳを検定するためのｍ×１個のデータ列からなる辞書パターンＤが予め記憶される。
【００７７】
対応部３４は、統計量変換部３０によって生成された統計量１次元パターンＳのｍ×１個のデータ列を、辞書パターン記憶部３２に記憶された辞書パターンのｍ×１個のデータ列に対応させて類似度を測定し、対象物を判定する。
【００７８】
次に、第２実施形態における動作について、図１２に示すフローチャートを参照しながら説明する。
【００７９】
撮像部１０は、所定時間ｔｉ（ｉ＝１，２，…，Ｋ）毎に画像を取り込み、領域抽出部１２に送出する。
【００８０】
領域抽出部１２は、監視対象とする範囲の撮像画像中に変化があるかどうか、すなわち変化領域Ｅｉ（ｉ＝１，２，…，Ｋ）が存在するか否かを、撮像部１０によって所定時間ｔｉ毎に入力される各撮像画像を用いて連続的に確認する（ステップＢ１，Ｂ２）。変化領域を抽出する方法は、前述した第１実施形態と同様の方法を用いることができる。
【００８１】
撮像画像から変化領域が抽出された場合、領域抽出部１２は、変化領域に対する外接四角形を求める（ステップＢ４）。ここで、変化領域（外接四辺形）の高さがｎであると仮定すると、領域抽出部１２は、対応部３４において辞書パターンを用いて検定する場合に備えて、例えば前述した図２に示したように、辞書パターンに合わせて高さがｍとなるように正規化を行なう（ステップＢ５）。
【００８２】
１次元パターン変換部１６は、領域抽出部１２によって正規化された変化領域（シルエット）について水平方向へ投影をとり、図２に示すようにして投影パターンベクトル（ｍ×１のベクトルｖ１）を作成する（ステップＢ６）。１次元パターン変換部１６によって作成されたｍ×１のベクトルｖ１は、１次元パターン記憶部１８に記憶される。
【００８３】
引き続き次の画像を取り込んだ際に、領域抽出部１２は、対応する変化領域を求め、同様にしてｍ×１のベクトルｖ２を求める（ステップＢ１〜Ｂ５）。対応づけ部１４は、領域抽出部１２によって抽出される各画像から抽出される変化領域を、異なる画像間で対応づけて、その対応関係を２次元パターン変換部２０に通知する。２次元パターン変換部２０は、対応づけ部１４からの変化領域の対応関係についての通知に基づいて、１次元パターン記憶部１８に記憶された先のベクトルｖ１とベクトルｖ２とを組み合わせて、図７に示すように、ｍ×２の２次元マトリクスを作成する（ステップＢ６）。以上までの処理は、第１実施形態における図６に示すフローチャートを用いたステップＡ１〜Ａ７の処理と同じである。
【００８４】
ステップＢ１〜Ｂ６の処理をｋ回繰り返すことによって（ステップＢ７）、ｍ×ｋの２次元マトリクスが得られた場合に、統計量変換部３０は、図１３に示すように、ｋ個のｍ×１のベクトルの第ｉ要素毎、すなわち２次元マトリクスの行毎に分散値を計算し、新たな統計量１次元パターンＳのｍ×１のベクトルを作成する（ステップＢ８）。ここで統計量１次元パターンＳの各要素は、体の各部位に相当しているため、各要素は体の各部位の変動を表す数値となっている。
【００８５】
次に、対応部３４は、統計量変換部３０によって作成された統計量１次元パターンＳと、辞書パターン記憶部３２に予め登録されているｍ×１の辞書パターンＤと比較して類似度を計算する（ステップＢ９）。対応部３４は、辞書パターンＤをもとにして得られた類似度をもとに、撮像画像中に存在する対象物を判定、すなわち人物が撮像されているか否かを判定する（ステップＢ１０）。
【００８６】
辞書パターン記憶部３２に記憶されている辞書パターンＤは、図１４に示すように、人物の頭部や肩部などのように比較的幅が安定している箇所について小さい値であり、腹部や脚部のように幅の変動の多い箇所について大きい値を持つようなパターンとなっている。
【００８７】
従って、得られた統計量１次元パターンＳのベクトルが、辞書パターンＤの特徴を表しているものであれば類似度は高くなり、この特徴を有していなければ類似度は低くなる。対応部３４は、測定して得た類似度について、予め設定しておいた判定基準となるしきい値と比較し、しきい値以上であれば人物であると判断し、そうでなければ非人物として判定する。
【００８８】
なお、辞書パターンＤの作成方法としては、第１実施形態と同様、人物の歩行パターンに個人差があると考えられるために、多くの人物について投影パターンを求めて、各部位毎に上記判定法同様各要素が各部位の分散値であるような１次元パターンを数多く作り、これらを用いて各要素毎に平均値を求めれば分散値の平均であるような１次元パターンとするようにして作成することができる。
【００８９】
以上のように、第２実施形態においては、体の各部位の幅の変動等の統計量を用いることにより、シルエットの各部位の幅が時間変化と共に変化し、その変化量が部位により異なるという特徴を分散値で示し、良好な人物判別を行なうことが可能となる。
【００９０】
なお、前述した第２実施形態の説明では、統計量１次元パターンＳ（１次元ベクトル）として、体の各部位の分散値を用いるとして説明してきたが、人物の時間的変化の特徴が表されるようなデータであれば、これに限るものではない。
【００９１】
次に、本発明の第３実施形態について説明する。
【００９２】
特願平５−１５６６８号に記載された方式は、図３０に示したように、被検定物である移動物体のシルエットを求めて、水平方向の投影計算によりシルエットの幅を要素に持つ投影パターンを求め、これを予め定められた辞書パターンで評価することにより人物であるか否かを判定しようとするものであった。
【００９３】
人物のシルエットは、ひとつの塊であるので、投影パターンが図３１（ａ）に示すように連続した滑らかなパターンになるはずであるが、特願平５−１５６６８号に記載された方式が幅の値を比較するものであるために、例えば図３１（ｂ）に示すように、幅の変動が大きいようなパターンであっても、同様な評価値を与えるような場合があった。
【００９４】
第３実施形態では、投影パターンの滑らかさを判定基準にすることによって、幅の変動が大きい図３１（ｂ）に示すようなパターンを対象外として確実に人物判別ができるようにする方式である。
【００９５】
図１５は、第３実施例における画像特徴量判定装置の構成を示すブロック図である。図１１に示すように、画像特徴量判定装置は、撮像部１０、領域抽出部１２、１次元パターン変換部１６、差分１次元パターン変換部４０、差分１次元パターン記憶部４２、辞書パターン記憶部４４、及び対応部４６によって構成されている。
【００９６】
なお、撮像部１０、領域抽出部１２、及び１次元パターン変換部１６については、前述した第１実施形態と同じ構成であるものとして、同一符号を付して詳細な説明を省略する。ただし、領域抽出部１２は、変化領域に対応する１次元パターンを辞書パターンに合わせて正規化する処理は行なわないものとする。
【００９７】
差分１次元パターン変換部４０は、１次元パターン変換部１６によって生成されたｎ個のデータ列からなる１次元パターンにおいて、隣り合うデータの差分演算を行なうことによりｎ−１個のデータ列からなる１次元パターンを生成する。
【００９８】
差分１次元パターン記憶部４２は、差分１次元パターン変換部４０によって生成されたｎ−１個のデータ列からなる１次元パターンを記憶する。
【００９９】
辞書パターン記憶部４４は、差分１次元パターン変換部４０によって生成されたｎ−１個のデータ列からなる１次元パターンを検定するための、ｍ個のデータ列からなる辞書パターンが予め記憶される。
【０１００】
対応部４６は、差分１次元パターン変換部４０によって生成され、差分１次元パターン記憶部４２に記憶されたｎ−１個のデータ列からなる１次元パターンを、辞書パターン記憶部４４に記憶されたｍ個のデータ列からなる辞書パターンに対応させて類似度を測定し、部分領域（変化領域）に対応する対象物を判定する。
【０１０１】
次に、第３実施形態の動作について、図１６に示すフローチャートを参照しながら説明する。
【０１０２】
撮像部１０は、所定時間ｔｉ（ｉ＝１，２，…，Ｋ）毎に画像を取り込み、領域抽出部１２に送出する。
【０１０３】
領域抽出部１２は、監視対象とする範囲の撮像画像中に変化があるかどうか、すなわち変化領域Ｅｉ（ｉ＝１，２，…，Ｋ）が存在するか否かを、撮像部１０によって所定時間ｔｉ毎に入力される各撮像画像を用いて連続的に確認する（ステップＣ１，Ｃ２）。変化領域を抽出する方法は、前述した第１実施形態と同様の方法を用いることができる。
【０１０４】
撮像画像から変化領域が抽出された場合、領域抽出部１２は、変化領域に対する外接四角形を求める（ステップＣ４）。
【０１０５】
１次元パターン変換部１６は、領域抽出部１２によって正規化された変化領域（シルエット）について水平方向へ投影をとり、図２に示すようにして投影パターンを表す１次元パターン（ｎ×１のベクトル）を作成する（ステップＣ５）。
【０１０６】
差分１次元パターン変換部４０は、１次元パターン変換部１６によって生成されたｎ個のデータ列からなる１次元パターンにおいて、隣り合うデータの差分演算を行なうことによりｎ−１個のデータ列からなる１次元パターン（（ｎ−１）×１のベクトル）を生成し（ステップＣ６）、差分１次元パターン記憶部４２に記憶させる。
【０１０７】
以下、具体例を用いて説明する。図１７と図１８は、図３１（ａ）（ｂ）に示す投影パターンに具体的な数値を当てはめて示した例である。図１７は被検定物が人物である例を示し、図１８は被検定物が非人物（木の揺れ）である例を示している。図１７、図１８に示す投影パターンは、同じ評価値（投影パターンが通過する点数の総和）を与えるようなパターンであるが、その違いは各部位の変化が滑らかであるか、凹凸が多いかである。
【０１０８】
各部位の変化の幅の大きさは、変化領域の投影パターンの１次元ベクトルにおいて、列方向で隣り合う要素間での差分処理を行なうことにより明らかとなる。図１９は、差分１次元パターン変換部４０による差分処理によって１次元パターン（（ｎ−１）×１のベクトル）を生成する様子を表したものである。
【０１０９】
すなわち、図１９（ａ−１）（ｂ−１）に示す投影パターンのそれぞれに対応するｎ×１の要素からなる１次元ベクトルを生成し、この１次元ベクトルについて列方向に隣り合う要素の値の差を求めることにより、それぞれ図１９（ａ−２）（ｂ−２）に示すような（ｎ−１）×１の１次元ベクトルに変換する。図１９（ａ−３）（ｂ−３）は、それぞれに対応する（ｎ−１）×１の要素からなる１次元ベクトルのパターン、すなわち図１９（ａ−１）（ｂ−１）に示す投影パターンの変位を表している。
【０１１０】
図１９（ａ−１）に示す投影パターンが滑らかであるために、図１９（ａ−３）に示すパターンは、要素の値０を中心として小さい値に分布している。これに対し、図１９（ｂ−１）に示す投影パターンに凹凸が多い（変動が大きい）ために、図１９（ｂ−３）に示すパターンは、要素の値０を中心としてプラスマイナスに絶対値が大きい範囲に分布している。従って、対応部４６は、この違いを判別することにより投影パターンの滑らかさを判別でき、しいては変化領域が人物のシルエットを表すか否かを判別することができる。
【０１１１】
判別方式としては、例えば図２０（ｂ）に示すような、各要素の差のベクトルの重ね合わせ辞書パターンを辞書パターン記憶部４４に予め登録しておき、差分１次元パターン変換部４０における差分計算で作成された（ｎ−１）×１の１次元ベクトルと比較することにより、その類似度を確認すれば良い。また、図２０（ｂ）に示すような辞書パターンをそのまま比較するのでなく、図２０（ｃ）に示すような、各要素の差の絶対値のベクトルの重ね合わせ辞書パターンを辞書パターン記憶部４４に予め格納しておき、同様にして各要素の絶対値を取った上で辞書パターンとの比較を行っても良い。
【０１１２】
さらに、図２１に示すように、（ｎ−１）×１の１次元ベクトルの各要素の絶対値の和を求め、予め設定された各要素の絶対値の和に対する人物か非人物かを判定するための所定の値Ｃと比較することによって確認しても良い。
【０１１３】
図２１（ａ−１）に示す人物のシルエット（投影パターン）から得られた（ｎ−１）×１の１次元ベクトルの各要素（図２１（ａ−２））の絶対値の和は、所定の値Ｃよりも小さな値となるので、人物であると判定される。また、図２１（ｂ−１）に示す非人物（木の揺れ）のシルエット（投影パターン）から得られた（ｎ−１）×１の１次元ベクトルの各要素（図２１（ｂ−２））の絶対値の和は、各要素間での変動が大きいために所定の値Ｃ以上の値となるので、非人物であると判定される。
【０１１４】
さらに、別の判別方法としては、図２２に示すように、（ｎ−１）×１の要素からなる１次元ベクトルのパターンについてのプラス方向に対する所定値ｔｈｐ、マイナス方向に対する所定値ｔｈｍを予め設定しておき、プラス方向で所定値ｔｈｐ以上、マイナス方向で所定値ｔｈｍ以下であるような要素の数を求める。そして、０から所定値（ｔｈｐ、ｔｈｍ）を離れた要素がいくつあるかを求めて、予め設定された要素の数の和に対する人物か非人物かを判定するための所定値ｔｈとを比較して判定する。所定値を離れた要素の数が所定値が所定値ｔｈ以下であるならば、ルエットの投影パターンが滑らかであるので、人物である可能性が高いと判定する。
【０１１５】
その他、滑らかなパターンと凹凸のあるパターンを判別する方式はいろいろと考えられるが、本発明の範囲で数多くの応用例が考えられる。
【０１１６】
なお、前述した第３実施形態の説明においては、変化領域の投影パターンの滑らかさを単独で評価するものとして説明してきたが、これは図１７、図１８に示すような投影パターンの幅に基づく評価と同時に行なう事が可能であり、これらの判別方法を併用することにより精度良い人物判別が行えるものである。
【０１１７】
次に、第４実施形態について説明する。
【０１１８】
特願平５−１５６６８号に記載された人物判別方式や、第１乃至第３実施形態においては、何れも辞書パターンが予め定められたものであるとして説明しているが、監視環境と辞書作成時のカメラ設置条件の違いや、環境内の人物の服装が季節により変動するなどの場合が想定され、辞書パターンを変更する必要が生じる場合がある。第４実施形態は、こうした辞書パターンの変更の必要性に応じた辞書パターンの更新に関わるものである。
【０１１９】
本実施形態における辞書パターンは、人物シルエットの投影パターンが人物特徴を有するか否かを判断するために用いるものである。その作成方法の一つとして、特願平５−１５６６８号に示したように、人物の投影パターンを数多く集め重ね合わせることにより辞書を作成する方式がある。
【０１２０】
この方式は、予め人物歩行の映像を用いてシルエット像を求めてその投影パターンを計算することにより基準となる人物辞書を作成するものであり、移動物体のシルエットの投影パターンをこの辞書を用いて評価すると、被評価物が人物である場合には高い評価値を与え、被人物の場合には低い評価値を与える。
【０１２１】
本発明の第４実施形態においては、人物判別のための評価値のしきい値のほかに、辞書パターン更新をすべきか否かを判別するためのしきい値（辞書更新のしきい値）を設定しておき、移動物体のシルエットが得られた場合には投影パターンを求めて辞書パターンと照合し、所定の人物判定のしきい値を越えたか否かで人物かどうかを判定する一方、辞書更新のしきい値と比較して、このしきい値を越えた場合には、この投影パターンを辞書に反映させるように、その投影パターンを記録し、所定数集まった段階で新たな辞書パターンを作成しようとするものである。
【０１２２】
ここで、辞書更新のしきい値は、人物判別のしきい値と同じであっても良い。また人物である確率の高いものだけを用いて辞書パターン更新を行なっても良く、この場合には、辞書パターン更新のしきい値を、人物判別のしきい値より高く設定することにより、評価値の比較的高い非人物パターンを排除して、より良い辞書パターンを生成することができる。一方、可能性のある投影パターンをはなるべく多く取り入れようと考えるのであれば、辞書更新のしきい値を人物判別のしきい値より低く設定することもできる。
【０１２３】
辞書パターン変化の状況について考察すると、例えば季節の変わり目では気候が次第に変化するために、人物の服装が厚着になったり薄着になったりするが、傾向としてはある日を境に急に服装が変わるわけではなく、数日から数週間の期間で変わって行くために、辞書パターンが次第に更新されて行くと考えられる。ここで辞書更新のしきい値を人物判定のしきい値より大きくしておけば、急に服装が変わるような場合には、評価値があまり大きくならないために、辞書パターンの更新には取り込まれず、辞書パターンが急に変更されるようなことも起こり得ない。このように、本方式であれば、特に人物の服装がゆっくりと変わることにより、判定精度が変化すると思われる季節の変わり目等には有効に機能する。
【０１２４】
図２３は、第４実施形態における辞書パターン作成機能を含む画像特徴量判定装置の構成を示すブロック図である。図２３に示すように、画像特徴量判定装置は、撮像部１０、領域抽出部１２、１次元パターン変換部１６、１次元パターン記憶部１８、対応部５０、辞書パターン記憶部５２、及び辞書パターン作成部５４によって構成されている。
【０１２５】
なお、撮像部１０、領域抽出部１２、１次元パターン変換部１６、１次元パターン記憶部１８については、前述した第１実施形態と同じ構成であるものとして、同一符号を付して詳細な説明を省略する。
【０１２６】
対応部５０は、１次元パターン変換部１６によって変換され、１次元パターン記憶部１８に格納された１次元パターンを、辞書パターン記憶部５２に記憶された辞書パターンに対応させて評価値を算出し、部分領域（変化領域）に対応する対象物を判定する。
【０１２７】
辞書パターン記憶部５２は、１次元パターン変換部１６によって変換された１次元パターンを検定するためのｍ個のデータ列からなる１次元パターンが複数個記憶される。辞書パターン記憶部５２に記憶される辞書パターン（１次元パターン）は、対応部５０における判定の状況に応じて辞書パターン作成部５４によって更新される。
【０１２８】
辞書パターン作成部５４は、１次元パターン変換部１６によって変換された部分領域の１次元パターンを辞書パターンのうちの少なくとも一つの辞書パターンと比較することにより部分領域と辞書パターンの適合の検定を行い、その結果、適合していると見なされた部分領域の１次元パターンを複数個組み合わせることによって新たな辞書パターンを作成し、辞書パターン記憶部５２に記憶させる。
【０１２９】
次に、第４実施形態における辞書パターン作成を含む動作について、図２４に示すフローチャートを参照しながら説明する。ここでは、人物辞書パターンＤ１、更新用辞書Ｄｓ、人物判別しきい値ｔｈ１、辞書更新しきい値ｔｈ２、辞書更新必要投影パターン数Ｋｕとしている。
【０１３０】
まず、撮像部１０は、所定時間ｔｉ（ｉ＝１，２，…，Ｋ）毎に画像を取り込み、領域抽出部１２に送出する。
【０１３１】
領域抽出部１２は、監視対象とする範囲の撮像画像中に変化があるかどうか、すなわち変化領域Ｅｉ（ｉ＝１，２，…，Ｋ）が存在するか否かを、撮像部１０によって所定時間ｔｉ毎に入力される各撮像画像を用いて連続的に確認する（ステップＤ１〜Ｄ３）。
【０１３２】
変化領域を抽出する方法としては、第１実施形態と同様にして、移動物体が存在しない場合の映像を記憶しておき、取り込み画像との差分計算をして求めてもかまわないし、連続する複数の画像間で差分をして変化領域を求めてもかまわない。
【０１３３】
領域抽出部１２は、画像変化が検出された場合には、そのシルエットを求め、辞書パターン記憶部５２に記憶された辞書パターンを用いて検定する場合に備えて、辞書パターンに合わせて高さがｍとなるように正規化を行なう。
【０１３４】
１次元パターン変換部１６は、領域抽出部１２によって正規化された変化領域（シルエット）について水平方向へ投影をとり、正規化投影パターンベクトル（ｍ×１のベクトルＶ１）を作成するステップＤ４）。１次元パターン変換部１６によって作成されたｍ×１のベクトルＶ１は、１次元パターン記憶部１８に記憶される。
【０１３５】
ここで、対応部５０は、１次元パターンを表すベクトルＶ１を辞書パターン記憶部５２に記憶されている既存の辞書Ｄ１により評価して、対象とする１次元パターンに対する評価値Ｓ１を求める（ステップＤ５）。
【０１３６】
ここで、評価値Ｓ１を人物判別のしきい値ｔｈ１と比較して、ｔｈ１より大きい値の場合には（ステップＤ６）、人物であるとみなして、人物検知時の処理である、警報出力やＶＴＲ記録などを行なう（ステップＤ７）。
【０１３７】
次に、対応部５０は、評価値Ｓ１を辞書更新のしきい値ｔｈ２と比較して、ベクトルＶ１が辞書更新のパターンとしてふさわしいか否かを判定する。評価値Ｓ１が辞書更新のしきい値ｔｈ２より小さい場合には何もしないで他の変化領域の検定のステップに戻る。
【０１３８】
一方、評価値Ｓ１がｔｈ２より大きい場合には、辞書パターン作成部５４は、ベクトルＶ１を辞書更新のために使用すべきパターンとして、これまで辞書更新のためのパターンとして記憶していた辞書更新用のパターンＤｓに組み合わせる（ステップＤ９）。ここで、辞書更新用のパターンＤｓへの組み合わせ方は、特願平５−１５６６８号の方式であるならば、この投影パターンを重ね合わせて行くことで達成できる。
【０１３９】
次に、辞書パターン作成部５４は、重ね合わせた投影パターンの数、すなわち辞書作成に用いたサンプル数（ｋ）が辞書作成に必要な所定値Ｋｕに到達したか否かを判定する（ステップＤ１０）。ここで、サンプル数（ｋ）が所定値を越えている場合には、辞書パターン作成部５４は、その時点での投影パターンを重ね合わせた辞書更新用のパターンＤｓを新たな辞書パターンＤ２として採用する（ステップＤ１１）。
【０１４０】
また、サンプル数（ｋ）が所定数以下の場合には、その他の変化領域がないかを確認して、もしあれば同様の手順を繰り返し、なければ次の画像取り込みのステップに戻る（ステップＤ１２，Ｄ１３）。ここで、古い辞書パターンＤ１は消去しても良いし、辞書パターンＤ１，Ｄ２を両方とも辞書パターンとして採用しても構わない。その後、最初の変化領域の抽出ステップに移行する。
【０１４１】
以上の手順を繰り返すことにより、変化領域が人物であるか否かの判定を行ないながら辞書パターンを更新する事が可能となる。
【０１４２】
なお、前述した説明では、人物判定方式及び辞書作成方法として特願平５−１５６６８号に記載された事例を挙げて説明してきたが、これらは必ずしもこの方式に限られるものではなく、本発明の第２実施形態及び第３実施形態において説明した判別方式においても同様なステップにより辞書更新を実現することが可能である。
【０１４３】
さらに、前述した説明では辞書パターンが一つであることを前提に説明してきたが、辞書パターンが複数ある場合においては、図２５のフローチャートに示すように、二つの辞書パターンのそれぞれにおいて人物判定及び辞書更新の処理を行なうことにより、複数の辞書パターンを更新することも可能である。
【０１４４】
図２５に示すフローチャートでは、人物辞書パターンＤ１、人物辞書パターンＤ２、更新用辞書Ｄｓ１、更新用辞書Ｄｓ２、辞書Ｄ１人物判別しきい値ｔｈ１１、辞書Ｄ２人物判別しきい値ｔｈ１２、辞書Ｄ１更新しきい値ｔｈ２１、辞書Ｄ２更新しきい値ｔｈ２２、辞書更新必要投影パターン数Ｋｕとしている。
【０１４５】
図２５におけるステップＥ１〜Ｅ５の処理は、図２４に示すステップＤ１〜Ｄ５と同一なので説明を省略する。
【０１４６】
次に、評価値Ｓ１を更新用辞書Ｄｓ１用の辞書Ｄ１人物判別しきい値ｔｈ１１と、または更新用辞書Ｄｓ２用の辞書Ｄ２人物判別しきい値ｔｈ１２と比較して、ｔｈ１１またはｔｈ１２より大きい値の場合には（ステップＥ６）、人物であるとみなして、人物検知時の処理である、警報出力やＶＴＲ記録などを行なう（ステップＥ７）。
【０１４７】
次に、対応部５０は、評価値Ｓ１を更新用辞書Ｄｓ１用の辞書Ｄ１更新しきい値ｔｈ２１と比較して、ベクトルｖ１が辞書更新のパターンとしてふさわしいか否かを判定する。評価値Ｓ１が辞書更新のしきい値ｔｈ２１より小さい場合には、更新用辞書Ｄｓ２用の判定処理に移行する（ステップＥ８）。
【０１４８】
一方、評価値Ｓ１が辞書Ｄ１更新しきい値ｔｈ２１より大きい場合には、辞書パターン作成部５４は、ベクトルＶ１を辞書更新のために使用すべきパターンとして、これまで辞書更新のためのパターンとして記憶していた辞書更新用のパターンＤｓ１に組み合わせる（ステップＥ９）。ここで、辞書更新用のパターンＤｓ１への組み合わせ方は、図２４において説明したように、投影パターンを重ね合わせて行くことで達成できる。
【０１４９】
次に、辞書パターン作成部５４は、更新用辞書Ｄｓ１の更新用に重ね合わせた投影パターンの数、すなわち辞書作成に用いたサンプル数（ｋ１）が辞書作成に必要な所定値Ｋｕに到達したか否かを判定する（ステップＥ１０）。ここで、サンプル数（ｋ１）が所定値を越えている場合には、辞書パターン作成部５４は、その時点での投影パターンを重ね合わせた辞書更新用のパターンＤｓ１を新たな辞書パターンＤ３として採用する。ここで、古い辞書パターンＤ１は消去しても良いし、辞書パターンＤ１，Ｄ３を両方とも辞書パターンとして採用しても構わない。
【０１５０】
次に、対応部５０は、評価値Ｓ１を更新用辞書Ｄｓ２用の辞書Ｄ２更新しきい値ｔｈ２２と比較して、ベクトルｖ１が辞書更新のパターンとしてふさわしいか否かを判定する。評価値Ｓ１が辞書更新のしきい値ｔｈ２２より小さい場合には、何もしないで次の画像の取り込みの処理のステップに戻る（ステップＥ１２）。
【０１５１】
一方、評価値Ｓ１が辞書Ｄ２更新しきい値ｔｈ２２より大きい場合には、辞書パターン作成部５４は、ベクトルＶ１を辞書更新のために使用すべきパターンとして、これまで辞書更新のためのパターンとして記憶していた辞書更新用のパターンＤｓ２に組み合わせる（ステップＥ１３）。
【０１５２】
次に、辞書パターン作成部５４は、更新用辞書Ｄｓ２の更新用に重ね合わせた投影パターンの数、すなわち辞書作成に用いたサンプル数（ｋ２）が辞書作成に必要な所定値Ｋｕに到達したか否かを判定する（ステップＥ１４）。ここで、サンプル数（ｋ２）が所定値を越えている場合には、辞書パターン作成部５４は、その時点での投影パターンを重ね合わせた辞書更新用のパターンＤｓ２を新たな辞書パターンＤ４として採用する。ここで、古い辞書パターンＤ２は消去しても良いし、辞書パターンＤ２，Ｄ４を両方とも辞書パターンとして採用しても構わない。
【０１５３】
また、サンプル数（ｋ２）が所定数以下の場合には、何もしないで次の画像の取り込みの処理のステップに戻る（ステップＥ１６）。
【０１５４】
なお、図２５においては説明を簡単にするために、撮像画像内から一つの変化領域について検出されるものとして説明しているが、実際には複数の変化領域がある場合も考えられ、その場合には図２４に示すフローチャートと同様にして（ステップＤ１２、ステップＤ４〜Ｄ１１）、全ての変化領域に対して同様の手順を繰り返す。
【０１５５】
さて、以上述べてきた辞書更新の方式では、投影パターン評価値が辞書更新のしきい値を越えたか否か、という条件で辞書更新をするとして説明してきたが、この方式では高い評価値を与えるような特異な投影パターンのみが辞書に登録されるという可能性がある。
【０１５６】
図１に示したように、人物が横方向に移動する際にはその歩行パターンは手足の振れによりシルエットが変形するが、前述した辞書更新の方法（図２４，図２５）を用いる場合には、更新時に採用される投影パターンがそのうちの特定のものに限定され、この変形を反映したものとならない可能性がある。このような場合には、以下のような手順によりこの問題を避けることが可能となる。
【０１５７】
第１実施形態で述べたように、連続的に取り込んだ画像で抽出された移動領域は、例えば外接四角形の位置や、形状などの特徴から、位置が近く、形状が似ている物を対応づけるといった追跡アルゴリズムにより対応づけが可能である。
【０１５８】
すなわち、ある瞬間に高い評価値となった投影パターンに対する移動物体はその前後の時刻でどのようなシルエットであり、どのような投影パターンとなっているかを対応づけることができる。つまり、移動物体の評価の際に、追跡された移動物体の投影パターンを全て記録しておき、ある時刻でしきい値より大きな評価値となって辞書に取り込む場合には、記録されているこの物体の前後の時刻での投影パターンも全て辞書パターンに取り込むようにすれば、人物である可能性の高い移動物体が取り得る、いろいろな投影パターンを取り込むことが可能となる。
【０１５９】
図２６はこのような辞書パターン作成機能を含む画像特徴量判定装置の構成を示すブロック図である。図２６に示すように、画像特徴量判定装置は、撮像部１０、領域抽出部１２、対応づけ部１４、１次元パターン変換部１６、１次元パターン記憶部６０、対応部６２、辞書パターン記憶部６４、及び辞書パターン作成部６６によって構成されている。
【０１６０】
なお、撮像部１０、領域抽出部１２、対応づけ部１４、１次元パターン変換部１６については、前述した第１実施形態と同じ構成であるものとして、同一符号を付して詳細な説明を省略する。
【０１６１】
１次元パターン記憶部６０は、対応づけ部１４によって異なる撮像画像間で対応づけられた異なる複数の部分領域について、１次元パターン変換部１６によって変換された１次元パターンを記憶する。
【０１６２】
対応部６２は、１次元パターン記憶部６０によって記憶された１次元パターンを、辞書パターン記憶部６４に格納されたｍ個のデータ列からなる辞書パターンに対応させて類似度を測定し、部分領域（変化領域）に対応する対象物を判定する。
【０１６３】
辞書パターン記憶部６４は、１次元パターン記憶部６０に記憶された１次元パターンを検定するための、ｍ個のデータ列からなる辞書パターンが予め記憶される。
【０１６４】
辞書パターン作成部６６は、１次元パターン記憶部６０に記憶された部分領域の１次元パターンを辞書パターンのうちの少なくとも一つの辞書パターンと比較することにより部分領域と辞書パターンの適合の検定を行い、その結果、適合していると見なされた部分領域の１次元パターン、及びこの１次元パターンの生成のもとになった部分領域が対応づけ部１４によって対応づけられた別の撮像画像における部分領域の１次元パターンを複数個組合わせることにより、新たな辞書パターンを生成し、辞書パターン記憶部６４に記憶させる。
【０１６５】
次に、辞書パターン作成を含む動作について、図２７に示すフローチャートを参照しながら説明する。ここでは、人物辞書パターンＤ１、更新用辞書パターンＤｓ、追跡投影パターンＤ′ｎ、人物判別しきい値ｔｈ１、辞書更新しきい値ｔｈ２、辞書更新必要投影パターン数Ｋｕとしている。
【０１６６】
図２７におけるステップＦ１〜Ｆ５の処理は、図２４に示すステップＤ１〜Ｄ５と同一なので説明を省略する。
【０１６７】
一方、対応づけ部１４は、領域抽出部１２によって抽出された変化領域の投影パターンについて、前回に取り込まれた撮像画像（時刻ｔｉ−１に撮像した撮像画像）で求められた変化領域と同一の移動物体による変化領域があるかどうかを確認する。
【０１６８】
辞書パターン作成部６６は、対応づけ部１４によって対応する移動物体があることが確認されている場合（ステップＦ６）、新たに求まった１次元パターン（ベクトルＶ１）を、前回までの投影パターンの組み合わせである追跡投影パターンＤ′ｎに加えるものと判別する（ステップＦ７）。なお、ｎは追跡された変化領域毎に付与される番号を示している。
【０１６９】
ここで、評価値Ｓ１を人物判別のしきい値ｔｈ１と比較して、ｔｈ１より大きい値の場合には（ステップＦ８）、人物であるとみなして、人物検知時の処理である、警報出力やＶＴＲ記録などを行なう（ステップＦ９）。
【０１７０】
また、辞書パターン作成部６６は、投影パターンの評価値Ｓ１が辞書更新のしきい値ｔｈ２を越えた場合には、この変化領域の追跡投影パターンＤ′ｎを更新辞書パターンＤｓに組み合わせる（ステップＦ１１）。ここで、組み合わせた投影パターン数がＫｕを越えた場合には、辞書更新用投影パターンＤｓを新たな辞書パターンＤ１として採用し、辞書パターンＤ１と置き換えることは同様である（ステップＦ１２，Ｆ１３）。
【０１７１】
このようにすれば、連続的に取り込んだ撮像画像間で変化領域が追跡され、全ての投影パターンが追跡投影パターンＤ′ｎとして記録されて、辞書パターン記憶部６４に記憶されるので、特定の投影パターンばかりが辞書パターンの更新に用いられると言った問題がなくなる。
【０１７２】
なお、第４実施形態における各説明において（図２４、図２５、図２７）、投影パターンを辞書更新用投影パターンに組合わせる条件としては、ある時刻ｔｉでの撮像画像中の変化領域のパターンが辞書更新しきい値ｔｈ２を越えれば良いとしたが、精度をあげるためには、対応づけられた移動物体が異なる時間において辞書更新しきい値ｔｈ２を越えるような評価値に複数回連続した場合に限り、投影パターンを辞書パターンに加えるようにする方法を用いても良い。
【０１７３】
また、これまでの説明では投影パターンを全て記録しておき、ある時刻でｔｈ２を越えた場合にはその移動物体（変化領域）に対応する投影パターンを更新辞書に取り込むとして説明してきたが、予め投影パターンを記憶しておくのでなく、ある時刻でｔｈ２を越えた場合に、これに対応する移動物体を追跡して、その変化領域の投影パターンについて辞書パターンに登録すれば、投影パターンを記録するための使用メモリ等において必要とされる記憶容量を低減しつつ、同様な効果を期待できる。
【０１７４】
【発明の効果】
以上詳述したように本発明によれば、第１に、所定時間毎に得られる画像間において変化領域の対応付けを行ない、各々のシルエット及び投影パターンを求めてこの時間変化を解析することにより、人物の判定精度を向上させることができる。第２に、各部位に相当する値、すなわち変化領域に対応する投影パターンの要素の値の時間的変化を解析することにより人物の判定精度を向上させることができる。第３に、変化領域の投影パターンを計算した後、投影パターンにおける隣り合う各要素の差を求めて投影パターンの連続性を表すパターンを求め、この連続性を辞書パターンと比較することにより、人物の判定精度を向上させることが可能である。第４に、変化領域に対応する投影パターンを辞書パターンで評価した結果、評価値が所定値以上となった場合に、これらの投影パターンを複数組み合わせて新たな辞書パターンを構成し、辞書パターンを更新して行くことにより、季節の移り変わり等の服装の変化の影響や辞書作成時とカメラ設定時の環境が多少違った場合等の影響を受け難くすることが可能である。
【図面の簡単な説明】
【図１】人間の動きのシルエット（投影パターン）を示す図。
【図２】投影パターンの正規化の方法を説明するための図。
【図３】第１実施形態及び第２実施形態において生成される人物のシルエット（投影パターン）から得られる２次元マトリクスの一例を示す図。
【図４】第１実施形態及び第２実施形態において生成される木の揺れシルエット（投影パターン）から得られる２次元マトリクスの一例を示す図。
【図５】第１実施形態における画像監視装置において用いられる画像特徴量判定装置の構成を示すブロック図。
【図６】第１実施形態における動作を説明するためのフローチャート。
【図７】第１実施形態における２次元マトリクスの生成の方法を説明するための図。
【図８】第１実施形態における２次元マトリクスから生成されるｍ×ｋマトリクス（辞書パターン）の一例を示す図。
【図９】第１実施形態における動的に２次元マトリクスを生成して辞書パターンと比較を行なう動作を説明するための図。
【図１０】第１実施形態における歩行パターンの周期の違いに対応する複数の辞書パターン（２次元マトリクス）の作成を説明するための図。
【図１１】第２実施形態における画像監視装置において用いられる画像特徴量判定装置の構成を示すブロック図。
【図１２】第２実施形態における動作を説明するためのフローチャート。
【図１３】第２実施形態において生成される２次元マトリクスをもとに生成される特徴量パターンＳを説明するための図。
【図１４】第２実施形態における辞書パターン記憶部に予め登録されている辞書パターンＤを説明するための図。
【図１５】第３実施形態における画像監視装置において用いられる画像特徴量判定装置の構成を示すブロック図。
【図１６】第３実施形態における動作を説明するためのフローチャート。
【図１７】第３実施形態における被検定物が人物である場合の投影パターンに具体的な数値を当てはめた例を示す図。
【図１８】第３実施形態における被検定物が非人物（木の揺れ）である場合のの投影パターンに具体的な数値を当てはめた例を示す図。
【図１９】第３実施形態において差分１次元パターン変換部による差分処理によって１次元パターン（（ｎ−１）×１のベクトル）を生成する様子を示す図。
【図２０】第３実施形態における投影パターンの滑らかさを判別するための辞書を説明するための図。
【図２１】第３実施形態において（ｎ−１）×１の１次元ベクトルの各要素の絶対値の和をもとに投影パターンの滑らかさを判別する方式を説明するための図。
【図２２】第３実施形態において（ｎ−１）×１の要素からなる１次元ベクトルのパターンに対する所定値をもとに投影パターンの滑らかさを判別する方式を説明するための図。
【図２３】第４実施形態における画像監視装置において用いられる画像特徴量判定装置の構成を示すブロック図。
【図２４】第４実施形態における辞書パターン作成を含む動作を説明するためのフローチャート。
【図２５】第４実施形態における辞書パターンが複数ある場合の辞書パターン作成を含む動作を説明するためのフローチャート。
【図２６】第４実施形態における画像監視装置において用いられる他の画像特徴量判定装置の構成を示すブロック図。
【図２７】第４実施形態における動作を説明するためのフローチャート。
【図２８】撮像画像中から抽出された変化領域の一例を示す図。
【図２９】人間のシルエットの横方向への投影パターンの重ね合わせの一例を示す図。
【図３０】辞書パターンと被検定のシルエットの具体的な例を示す図。
【図３１】人物シルエットの投影パターンと木の揺れの投影パターンの違いを説明するための図。
【符号の説明】
１０…撮像部
１２…領域抽出部
１４…対応づけ部
１６…１次元パターン変換部
１８…１次元パターン記憶部
２０…二次元パターン変換部
２２，５２，６４…辞書パターン記憶部
２４，４６，５０，６２…対応部
３０…統計量変換部
４０…差分１次元パターン変換部
４２…差分１次元パターン記憶部
５４，６６…辞書パターン作成部
６０…変化量１次元パターン変換部

Claims (9)

1. 所定の時間間隔を設けながら画像を撮像する撮像手段と、
   前記撮像手段によって撮像された各々の画像から所定の条件を満たす部分領域を抽出する抽出手段と、
   前記抽出手段によって抽出された異なる撮像画像での前記部分領域を対応づける対応づけ手段と、
   前記抽出手段によって抽出された部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン変換手段と、
   前記対応づけ手段によって対応づけられた複数の異なる画像における部分領域の１次元パターンを組み合わせて２次元パターンを生成する２次元パターン変換手段と、
   前記２次元パターン変換手段によって生成された２次元パターンを検定するための２次元パターンを表すデータ列からなる辞書パターンを記憶する辞書パターン記憶手段と、
   前記２次元パターン変換手段によって生成された２次元パターンを、前記辞書パターン記憶手段に記憶された辞書パターンと比較することによって、前記部分領域を検定する対応手段とを具備したことを特徴とする画像特徴量判定装置。
2. 所定の時間間隔を設けながら画像を撮像する撮像手段と、
   前記撮像手段によって撮像された各々の画像から所定の条件を満たす部分領域を抽出する抽出手段と、
   前記抽出手段によって抽出された異なる撮像画像での前記部分領域を対応づける対応づけ手段と、
   前記抽出手段によって抽出された部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン変換手段と、
   前記対応づけ手段によって対応づけられた複数の異なる画像における部分領域の１次元パターンの各々に対応する各要素データ毎に統計処理を行ない、統計処理結果を要素とする統計量１次元パターンを生成する統計量変換手段と、
   前記統計量変換手段によって生成される統計量１次元パターンを検定するための１次元パターンを表すデータ列からなる辞書パターンを記憶する記憶手段と、
   前記統計量変換手段によって生成された統計量１次元パターンを、前記辞書パターン記憶手段に記憶された辞書パターンと比較することによって、前記部分領域を検定する対応手段とを具備したことを特徴とする画像特徴量判定装置。
3. 所定の時間間隔を設けながら画像を撮像する撮像手段と、
   前記撮像手段によって撮像された各々の画像から所定の条件を満たす部分領域を抽出する抽出手段と、
   前記抽出手段によって抽出された部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン変換手段と、
   前記１次元パターン変換手段によって生成された１次元パターンの複数個のデータ列について隣り合うデータ間で差分演算を行ない、差分演算結果を要素とする差分１次元パターンを生成する差分１次元パターン変換手段と、
   前記差分１次元パターン変換手段によって生成される差分１次元パターンを検定するための１次元パターンを表すデータ列からなる辞書パターンを記憶する辞書パターン記憶手段と、
   前記差分１次元パターン変換手段によって生成された統計量１次元パターンを、前記辞書パターン記憶手段に記憶された辞書パターンと比較することによって、前記部分領域を検定する対応手段とを具備したことを特徴とする画像特徴量判定装置。
4. 前記抽出手段は、
   前記部分領域として、ある時刻に撮像された画像とそれ以前に撮像された画像と比較して変化領域を抽出することを特徴とする請求項１乃至請求項３の何れかに記載の画像特徴量判定装置。
5. 前記１次元パターン変換手段は、
   前記部分領域の水平方向または垂直方向の何れか一方への投影計算により１次元パターンを生成することを特徴とする請求項１記載乃至請求項４記載の何れかに記載の画像特徴量判定装置。
6. 前記抽出手段によって抽出される部分領域が２値画像であることを特徴とする請求項１記載乃至請求項５記載の何れかに記載の画像特徴量判定装置。
7. 画像の特徴量を判定するための画像監視装置が行う画像特徴量判定方法において、
   所定の時間間隔毎に撮像された画像を取り込む撮像ステップと、
   前記撮像ステップにより取り込んだ各々の画像から所定の条件を満たす部分領域を抽出する抽出ステップと、
   前記部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン生成ステップと、
   前記撮像ステップより取り込んだ各々の画像と前記部分領域とを対応づける対応づけステップと、
   前記部分領域について１次元パターン生成ステップにより生成された１次元パターンを組み合わせて２次元パターンを生成する２次元パターン生成ステップと、
   前記２次元パターン生成ステップにより生成された２次元パターンを、予め用意された２次元パターンを表すデータ列からなる辞書パターンと比較することによって前記部分領域を検定する検定ステップとを有することを特徴とする画像特徴量判定方法。
8. 画像の特徴量を判定するための画像監視装置が行う画像特徴量判定方法において、
   所定の時間間隔毎に撮像された画像を取り込む撮像ステップと、
   前記撮像ステップにより取り込んだ各々の画像から所定の条件を満たす部分領域を抽出する抽出ステップと、
   前記部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン生成ステップと、
   前記撮像ステップより取り込んだ各々の画像と前記部分領域とを対応づける対応づけステップと、
   前記対応づけステップにより対応づけられた複数の異なる画像における部分領域の１次元パターンの各々に対応する各要素データ毎に統計処理を行ない、統計処理結果を要素とする統計量１次元パターンを生成する統計量１次元パターン生成ステップと、
   前記統計量１次元パターン生成ステップにより生成された統計量１次元パターンを、予め用意された１次元パターンを表すデータ列からなる辞書パターンと比較することによって、前記部分領域を検定する検定ステップとを有することを特徴とする画像特徴量判定方法。
9. 画像の特徴量を判定するための画像監視装置が行う画像特徴量判定方法において、
   所定の時間間隔毎に撮像された画像を取り込む撮像ステップと、
   前記撮像ステップにより取り込んだ各々の画像から所定の条件を満たす部分領域を抽出する抽出ステップと、
   前記部分領域をもとに複数個のデータ列からなる１次元パターンを生成する１次元パターン生成ステップと、
   前記１次元パターン生成ステップにより生成された１次元パターンの複数個のデータ列について隣り合うデータ間で差分演算を行ない、差分演算結果を要素とする差分１次元パターンを生成する差分１次元パターン生成ステップと、
   前記差分１次元パターン生成ステップにより生成された統計量１次元パターンを、予め用意された１次元パターンを表すデータ列からなる辞書パターンと比較することによって、前記部分領域を検定する検定ステップとを有することを特徴とする画像特徴量判定方法。

Images