JP3577875B2 - 移動物体抽出装置 - Google Patents
移動物体抽出装置 Download PDFInfo
- Publication number
- JP3577875B2 JP3577875B2 JP05132397A JP5132397A JP3577875B2 JP 3577875 B2 JP3577875 B2 JP 3577875B2 JP 05132397 A JP05132397 A JP 05132397A JP 5132397 A JP5132397 A JP 5132397A JP 3577875 B2 JP3577875 B2 JP 3577875B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- moving
- camera
- moving object
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、監視装置等において動画像から動領域を検出して正確に移動物体を抽出するための技術に関する。
【０００２】
【従来の技術】
近年、広域の監視や設備監視のために、多数のカメラを用いた監視システムが増大している。このため、観測者が複数の映像をモニタリングする非効率な監視作業を排除して、対象物体の動き等を捉えて状況把握が行える自動監視システムの開発が期待されている。特に、複数のカメラ映像で広域の観測区域の移動物体を追跡する手法としては、映像内での対象物体の領域を正確に抽出し、その対象物体の足元位置を求めて、その位置を観測空間の平面位置に変換し、対象物体の追跡を行ったり、同一の観測区域を２台のカメラで撮影して２つの映像に写る同一の物体の対応付けを行い、その２台のカメラの視差を利用して対象物体の奥行き距離を求めるステレオ処理を行う方法等がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記従来の技術では、大きな課題が残されている。例えば、対象物体の足元位置を算出手法では、対象物体の重なりや停止物体の位置および対象の下部が遮蔽物で隠れた場合に足元位置を求めることが難しい。また、ステレオ処理では、映像内の同一パターンマッチングは、エッジ情報が少ないものや視差によりパターンのマッチングがとれない対象物体の存在等の難しさがある。
【０００４】
本発明は前記従来の問題点に鑑みてなされたもので、複数映像の統合方法として処理負荷が少ない自動生成型のテンプレートマッチング法に基づくテンプレートの位置から多視点的な処理を導入することにより正確に移動物体を抽出することを目的とする。
【０００５】
【課題を解決するための手段】
課題を解決するために本発明は、カメラ映像を入力する入力手段と、前記の入力手段から得られた映像データから動領域を検出する動領域抽出手段と、前記の動領域抽出手段から得られた動領域から各動領域別に領域のサイズや画素数の動領域の情報を検出するラベリング処理手段と、前記ラベリング処理手段より検出された各動領域の情報を用いて、その動領域と対象とする移動物体との類似度を抽出する形状情報抽出手段と、前記類似度に基づいて前記入力手段から得られた映像データと前記形状情報抽出手段から得られた動領域の情報から、探索範囲に既にテンプレートが存在する場合には最も近いテンプレートを更新し、その範囲にテンプレートが存在しない場合はテンプレートを生成し、そのテンプレートの情報を移動物体の情報として出力するテンプレート処理手段とを備えたカメラ映像処理系と、前記複数のカメラ映像処理系からの情報を統合する統合処理手段と、前記統合処理手段から得られた移動物体の位置や分類情報を処理して出力する出力処理手段より構成されている。
【０００６】
これにより、本発明では上記の課題を動画像処理の特徴を生かすような処理手順で空間位置と各画像内の画素位置との写像関数が既知の複数のカメラ映像を用い、対象領域の大まかな足元位置情報を抽出し、この不安定な情報を多視点的処理と時系列処理を施すことにより、精度の高い対象領域の運動軌跡（トレース）を求めることができ正確に移動物体を抽出することができる。
【０００７】
【発明の実施の形態】
本発明の請求項１に記載の発明は、カメラ映像を入力する入力手段と、前記の入力手段から得られた映像データから動領域を検出する動領域抽出手段と、前記の動領域抽出手段から得られた動領域から各動領域別に領域のサイズや画素数の動領域の情報を検出するラベリング処理手段と、前記ラベリング処理手段より検出された各動領域の情報を用いて、その動領域と対象とする移動物体との類似度を抽出する形状情報抽出手段と、前記類似度に基づいて前記入力手段から得られた映像データと前記形状情報抽出手段から得られた動領域の情報から、探索範囲に既にテンプレートが存在する場合には最も近いテンプレートを更新し、その範囲にテンプレートが存在しない場合はテンプレートを生成し、そのテンプレートの情報を移動物体の情報として出力するテンプレート処理手段とを備えたカメラ映像処理系と、前記複数のカメラ映像処理系からの情報を統合する統合処理手段と、前記統合処理手段から得られた移動物体の位置や分類情報を処理して出力する出力処理手段より構成される移動物体抽出装置としたものであり、本構成により移動物体の追跡に形状特徴抽出手段とテンプレートマッチング法を組み合わせたテンプレート処理を用いて多視点的な移動物体情報の統合・同定処理することにより動画像処理の特徴を生かした簡易な処理で、精度の高い移動物体の追跡を行うことができるという作用を有する。
【０００８】
本発明の請求項２に記載の発明は、複数のカメラで撮影される観測区域は、どの区域も２台以上のカメラ映像により重複して撮影されていることを特徴とする請求項１記載の移動物体抽出装置としたものであり、請求項１記載の発明効果をより大きくできるという作用を有する。
【０００９】
本発明の請求項３に記載の発明は、複数のカメラを設置する場合に４台を一組として、これらのカメラをカメラ１、カメラ２、カメラ３、カメラ４とした場合に、カメラ１とカメラ２およびカメラ３とカメラ４を並列又は内側に向いた方向に、カメラ１、２とカメラ３、４は対向に設置しながら、どの観測区域も２台以上のカメラ映像により重複して撮影できるようにカメラを増やしてゆくことを特徴とする請求項１、２記載の移動物体抽出装置としたものであり、請求項１、２記載の発明効果を高速道路等の長く伸びた領域でだせるという作用を有する。
【００１０】
本発明の請求項４に記載の発明は、入力手段が、可視カメラや赤外線カメラまたはそれらの組み合わせによることを特徴とする請求項１〜３記載の移動物体抽出装置としたものであり、請求項１〜３までの記載の発明効果をだすための入力手段の限定であり、可視カメラと赤外線カメラの双方の長所・短所を補って効果を引き出すことができるという作用を有する。
【００１１】
本発明の請求項５に記載の発明は、統合処理手段では、各カメラ映像処理系のテンプレート処理手段からテンプレートの位置、テンプレートの対象分類、テンプレートの通し番号およびテンプレートの位置に存在する対象の映像内における領域の推定下限位置情報を用いて観測区域の移動物体の位置を算出することを特徴とする請求項１〜４記載の移動物体抽出装置としたものであり、請求項１〜４記載の発明効果をだすための各カメラ映像処理系からの情報を統合する場合に多くの数や種類の移動物体を追跡できるという作用を有する。
【００１２】
本発明の請求項６に記載の発明は、統合処理手段では、各カメラの観測空間における設置位置と映像内の画素と観測空間の平面位置の写像関数が既知であり、各映像処理系のテンプレート処理で抽出されたテンプレートの中心点Ａとそのテンプレートが示す対象領域の推定下限点Ｂを観測空間の平面位置にプロットし、点Ａと点Ｂを直線で結ぶ。そして、複数の映像処理系から得られる前記の直線の交点を対象物体の位置候補とすることを特徴とする請求項１〜５記載の移動物体抽出装置としたものであり、本発明の多視点的な移動物体情報の統合・同定処理するために統合処理手段で移動物体の位置精度を高めることができるという作用を有する。
【００１３】
本発明の請求項７に記載の発明は、統合処理手段から得られた対象物体の位置候補とそれまで得られた対象物体の位置およびテンプレートの対象分類の情報を用いて観測空間における最短距離処理にて対応付けを時間軸に従って行うことを出力処理手段で行うことを特徴とする請求項６記載の移動物体抽出装置としたものであり、本発明の多視点的な移動物体情報の統合・同定処理するために出力処理手段で時間軸での移動物体の誤認識を減少させることができるという作用を有する。
【００１４】
本発明の請求項８に記載の発明は、テンプレート処理手段は、カメラ映像から２次元フィルタ処理を行い、抽出したエッジ映像データに基づいてテンプレートを生成することを特徴とする請求項１〜７記載の移動物体抽出装置としたものであり、本発明で記載のテンプレート処理手段でエッジ情報を用いることによりパターンマッチング処理が効果的に行
うことができるという作用を有する。
【００１５】
本発明の請求項９に記載の発明は、形状情報抽出手段は、ラベリング処理手段より抽出された各動領域別の領域の大きさを示す画素数や領域のサイズより対象とする物体の類似度を計算し、その類似度に基づいて、対象物体を示すテンプレートを生成する位置情報を抽出することを特徴とする請求項１〜８記載の移動物体抽出装置としたものであり、本発明において多くの数や種類の移動物体を追跡できるという作用を有する。
【００１６】
本発明の請求項１０に記載の発明は、形状情報抽出手段から抽出される類似度は、人間と車などの複数の対象物体の類似度を算出することを特徴とする請求項１〜９記載の移動物体抽出装置としたものであり、本発明において多くの種類の移動物体を追跡できるという作用を有する。
【００１８】
本発明の請求項１１に記載の発明は、テンプレート処理手段では、テンプレートの生成時にテンプレートの属性を示すために、テンプレートの番号、テンプレートの生成時に対象物体が何であったかを示す対象物体、テンプレートの現在の位置、位置更新をした場合の元の位置、更新した回数を示す更新回数、テンプレートが消滅対象となった場合に消滅を示す消滅フラグおよびテンプレートの内容を示すＴＸＳ＊ＴＹＳの画素値（ＴＸＳ、ＴＹＳはテンプレートの大きさを示す）を持つように設定することを特徴とする請求項１記載の移動物体抽出装置としたものであり、本発明における多数の種類や量および処理の柔軟性を持たせることができる作用を有する。
【００１９】
本発明の請求項１２に記載の発明は、テンプレート処理手段では、テンプレートの生成は、形状特徴手段より抽出された類似度が適切な閾値以上の場合にテンプレートの属性を設定したテンプレートを生成させることを特徴とする請求項１または１１記載の移動物体抽出装置としたものであり、形状特徴手段からの類似度をテンプレート処理の生成に活用
して、テンプレートの生成を行うことができる作用を有する。
【００２０】
本発明の請求項１３に記載の発明は、テンプレート処理手段では、テンプレートの生成は、形状特徴手段より抽出された類似度が所定の閾値以上の場合にテンプレートの生成する適切な位置を形状特徴手段より抽出されたテンプレート設定位置にテンプレートを生成させることを特徴とする請求項１または１１〜１２記載の移動物体抽出装置としたものであり、本発明において形状特徴手段から類似度以外にテンプレートの生成位置情報を出力し、精度の高いテンプレート生成が行えることができる作用を有する。
【００２１】
本発明の請求項１４に記載の発明は、テンプレート処理手段では、抽出された動領域において形状特徴手段より抽出された類似度が所定の閾値以上の場合に、その動領域の周辺を探索して、対象となる物体と同一のテンプレートが存在する場合には、そのテンプレートの位置を更新し、テンプレートの内容を移動した位置の画素値に入れ替えることを特徴とする請求項１または１１〜１３記載の移動物体抽出装置としたものであり、一つの対象物体に重複してテンプレートの生成を防ぐことができる作用を有する。
【００２２】
本発明の請求項１５に記載の発明は、テンプレート処理手段では、入力手段から映像信号が転送される毎に、テンプレートの位置更新がされないテンプレートについては、テンプレートの現在の位置を中心にテンプレートマッチング処理を実行し、誤差が最も少ない位置にテンプレートを移動し、テンプレートの属性を示す更新回数を加増し、移動前の位置を元の位置に設定することを行うことを特徴とする請求項１または１１〜１４記載の移動物体抽出装置としたものであり、テンプレートマッチング法の有効な使用が行えることができる作用を有する。
【００２３】
本発明の請求項１６に記載の発明は、テンプレート処理手段では、入力手段から映像信号が転送される毎に、全てのテンプレートに対して、位置更新の処理を行った後に、テンプレートの動きベクトルを求めて、同一動きベクトルがもつテンプレートが複数存在した場合には、その複数のテンプレートのなかから位置や更新回数に応じて、一つのテンプレートに消滅フラグを立てて、消滅対象となったことを示し、この消滅フラグが立っているテンプレートが連続して消滅対象となった場合には、このテンプレートを消滅させることを特徴とする請求項１または１１〜１５記載の移動物体抽出装置としたものであり、不要なテンプレートを消滅させて精度の高いテンプレート処理を行えることができる作用を有する。
【００２４】
以下に、本発明の実施の形態について、図１から図６を用いて説明する。
（実施の形態１）
図１は、本発明の実施の形態１の移動物体抽出装置のブロック構成図を示す。図１において、７から９はカメラ映像処理系を示し、１はカメラ映像を入力する入力手段、２は入力手段１から得られた映像データから動領域を検出する動領域抽出手段、３は動領域抽出手段２から得られた動領域から各動領域別に領域の大きさや画素数等の動領域の情報を検出するラベリング処理手段、４はラベリング処理手段３より検出された各動領域の情報を用いて、その動領域が対象とする物体にどの程度似ているかを示す情報を抽出する形状情報抽出手段、５は入力手段１から得られた映像データと形状特徴抽出手段４から得られた動領域の情報に基づいてテンプレートの操作を行うテンプレート処理手段とから構成され、６は複数のカメラ映像処理系７から９からの情報を統合する統合処理手段、１０は統合処理手段６から得られた移動物体の位置や分類情報を処理してデスプレイ等に表示する出力処理手段より構成される。
【００２５】
本発明のカメラ映像処理系７〜９である入力手段１からテンプレート処理手段５までの大きな流れは、形状特徴を用いた対象物体の判別法とテンプレートマッチング法を組み合わせた処理である。テンプレートマッチングは、撮影環境の変化に対して安定した処理であるとともに、計算負荷が比較的軽い処理であるが、テンプレートの生成方法、テンプレートによる移動物体の追跡を行った場合に対象物体の動きや大きさの変動に対して追跡が不安定となる。そこで、本発明では移動物体の形状特徴から対象物体の類似度を求めて、その類似度を用いてテンプレート生成／位置更新およびテンプレートマッチングを行い、移動物体の追跡をすることで、処理負荷が少なく、高精度の移動物体のテンプレートマッチング法にしている。
【００２６】
以下に各処理手段毎に詳細に説明する。
入力手段１は、カメラとして例えば可視カメラまたは赤外線カメラ等を用いるものとする。本発明では複数のカメラが存在するが、同一種類のカメラのみでも、異なる種類のカメラが混在する場合もある。その用途に応じて選択が可能とする。
【００２７】
また、複数のカメラで撮影される観測区域は、どの区域も２台以上のカメラ映像により重複して撮影されていることを条件として、設置の例としては、図２に示すように４台を一組として、これらのカメラをカメラ１、カメラ２、カメラ３、カメラ４とした場合に、カメラ１とカメラ２およびカメラ３とカメラ４を並列又は内側に向いた方向に、カメラ１、２とカメラ３、４は対向に設置しながら、どの観測区域も２台以上のカメラ映像により重複して撮影できるようにカメラを増やしてゆく方法もある。図２の監視エリアとしては、高速道路を含めた自動車道路等が想定される。
【００２８】
動領域抽出処理手段２は、本発明では対象物体の全体の検出が重要で、足元まで含めた全体領域が１つの領域として抽出されることが望ましく、このため、入力手段１からの映像データから動領域を抽出する際、対象物体の領域の分離する割合が少ないのであれば映像の１フレーム間の差分する方法や背景映像を算出して、その背景を用いて現時点での映像との差分をとる方法を用いるものとする。また、前記の方法で対象物体の領域が分離するような場合には、映像の１フレーム間の差分結果を数フレームに渡って累積するフレーム間累積差分を行ってから最適な閾値で２値化し、動き領域抽出する方法を用いるものとする。
【００２９】
ラベリング処理手段３は、動領域抽出手段２で検出された２値化された動き領域からラベリング処理により対象物体（例えば、人物や車）の領域を区分するものである。一般的には、動領域抽出手段２で検出された動き領域には対象物体以外の領域が含まれることがあり、影や映り込みおよび映像に上乗されたノイズがこれらの例である。そこで、本手段では、これらの不要な部分を除去して実際の対象物体の領域に近い部分を一つの領域として抽出する領域整形としての役目も含まれている。
【００３０】
形状情報抽出処理手段４は、ラベリング処理手段３で検出される動領域には、対象物体の重なり、分離や影を含む場合も含まれる。従って、本発明で後述するテンプレートを用いて対象物体を追尾を行う場合、新たな動領域に対してテンプレートを生成させるためのルールが必要となる。形状情報抽出処理４では、動領域のサイズやフェレ比・全体の傾きなどの形状特徴を用いて、動領域が追尾すべき対象物体であるかどうかの確からしさを示す“類似度”を算出し、これによって判別を行うルールを設定した。室内では人物を対象として監視・追尾を行う。
【００３１】
この場合には、動領域が単一の人物かそれ以外の物体（複数の人物が重なったものや影など）かが問題となる。これは人物の実サイズがほぼ決まっていることから判別できる。この判別ルールについて以下に説明する。
【００３２】
画像上での人物のサイズＳｉｚｅはカメラからの距離を介して射影変換によって実サイズと関係づけられる。
【００３３】
そこで、この射影変換を一次式Ｓｉｚｅ ＝ ａ ｘＹｂｏｔｔｏｍ ＋ ｂで近似できる。ここでＹｂｏｔｔｏｍ は動領域下端の画像上の座標であり、人物であれば足元の位置にほぼ対応する。長さの次元を持つサイズとしては動領域の外接矩形の幅ｗ・高さｈ、動領域の面積（画素数）の平方根ｒなどがある。ｗ、ｈ、ｒはいずれも上記の一次式でよく近似できる。従ってｗ、ｈ、ｒは主成分分析により一つの量に情報圧縮できる。そこでＳｉｚｅをＳｉｚｅ ＝ αｗｘｗ ＋ αｈｘｈ ＋ αｒｘｒと定義する。ここで αｗ 、αｈ、αｒは第一主成分軸への射影係数で αｗ ２＋αｈ ２＋αｒ ２＝１を満たす。Ｓｉｚｅは前述の一次式でよく近似できるので、適切なフィッティング方法（最小二乗法など）により前記式の係数ａ、ｂを求め、この式によって「足元がにある人物の標準サイズ」を決定した。
【００３４】
この標準サイズを用いて判別ルールを次のように定めた。動領域の人物類似度ＬをＬ＝１００（１−｜Ｓｉｚｅ−Ｓｉｚｅ０｜／Ｓｉｚｅ０）と定義し、Ｌ≧Ｔｈを満たす場合に人物とする。ただし、ここでＳｉｚｅ０は動領域のＹｂｏｔｔｏｍから求めた標準サイズ（ａ ｘＹｂｏｔｔｏｍ ＋ ｂ）、Ｔｈは適切なしきい値である。
【００３５】
なお、上記は人物についてのルールを示したが、車と人の判断等では、Ｙｂｏｔｔｏｍ と動領域の面積の平方根ｒの一次近似式を用いて、その近似式の上下関係で人か車の判断を行う方法もある。
【００３６】
テンプレート処理手段５のテンプレート処理は、形状情報抽出処理手段４で算出された類似度を用いて類似度が高い場合にテンプレートの作成候補位置を用いてテンプレートの生成および位置修正を行う。また、類似度が低い場合には、テンプレートマッチングを実施し、テンプレートの位置を変更する。
【００３７】
図３にテンプレートの生成や位置変更の例を示す。具体的なテンプレートの生成や位置変更は、検出された動領域の類似度が適当な閾値以上である場合に（図３（１））形状情報抽出処理手段４から得られる位置（人の場合には頭部）を中心にテンプレートを探索し（図３（２））、その範囲にテンプレートがない場合に新しくテンプレートを発生させる。また、探索範囲に既にテンプレートが存在する場合には、最も近いテンプレートを形状情報抽出処理手段４で指示された更新位置に移動し（図３（３））、テンプレートの画素値を移動した位置の画素値に全て入れ替える。
【００３８】
テンプレートマッチングは、各フレーム画像からＳｏｂｅｌフィルタ処理で抽出したエッジ画像に対して行う。このため、テンプレートに保存される画素値はエッジ画像から抽出された値である。なお、テンプレートマッチング法において、テンプレートに似たパターンを探索する手法としては、最短距離法・ＳＳＤＡ（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）・相関法・統計的手法等がある。本発明では高速性も兼ねそろえたＳＳＤＡを用いた。しかし、ＳＳＤＡではパターンが大きく変化した場合にテンプレートがエッジの少ないエリアに外れる。これを防ぐため、テンプレート内のエッジ情報の加算値と参照パターンのエッジ情報の加算値との差の絶対値をＳＳＤＡを実行時の誤差に加えている。
【００３９】
また、本手段ではテンプレ−トの消滅がある。各テンプレートは位置変更時に算出される移動ベクトルが同一のテンプレートが複数存在する場合には該当のテンプレートは消滅対象となる。
【００４０】
次に、テンプレート処理手段５の内部のブロック構成図を図４に示す。テンプレート処理手段５は、エッジ抽出処理手段１１、テンプレート生成・位置変更処理手段１４、テンプレートマッチング処理手段１２、エッジ特徴処理手段１３およびテンプレート後処理手段１５により構成される。
【００４１】
処理の流れを以下に説明する。
エッジ抽出手段１１は、入力手段１から入力されるカメラ映像１０４をフレーム毎にエッジ抽出処理を行う。このエッジ抽出手段で得られた情報は、テンプレートの現在の位置を中心に決められた範囲でマッチング処理手段１２による前述したマッチング処理やエッジ特徴処理手段１３でエッジ特徴処理を施される。エッジ特徴処理では前述したようにテンプレート内のエッジ値の合計値とエッジ画像のテンプレートが合わせられる領域のエッジ値の合計値との差を行う処理等のエッジパターンとテンプレートが持つパターンとのマッチングが行われる。テンプレートマッチング処理とエッジ特徴処理の誤差は、テンプレート後処理手段１５で加算され、加算値が最も少ない位置にテンプレートは更新される。
【００４２】
また、形状情報抽出処理手段４からの得られた動領域の位置やサイズ情報とその類似度は、テンプレート生成・位置変更処理手段１４に入力され、類似度が適当な閾値以上の場合については図３で示した処理が施される。類似度が適当な閾値よりも大きい場合にはこの手段での処理が優先される。なお、テンプレート後処理手段１５では前述したテンプレートの消滅処理を行う。
【００４３】
次に、本発明におけるテンプレート処理手段５のテンプレートの構造を図５に示す。テンプレートは、生成される時に以下の属性とテンプレートが生成された場所のエッジパターンを持つようにつくられる。つまり、テンプレートには、テンプレートの通し番号、テンプレートの映像内の現在位置、変更前の位置、対象物体（これは対象物体の識別子である。）、減点ｆｌａｇ、静／動ｆｌａｇ、更新回数およびエッジパターンである。
【００４４】
各属性について以下に説明する。各テンプレートは現在の画像上の座標と前回の座標とを保持している。前回の座標を保持するのは、移動量ベクトルを求めるためである。移動量ベクトルは同一方向に動くテンプレートを見付けるためのもので、同一方向に連続して動くテンプレートは消滅対象となる。更新回数は生成時点で０が設定され、更新される度に１ずつ増える。更新回数はテンプレートの強度を示す値でもあり、この値が低いものは消滅対象になりやすい。減点ｆｌａｇは移動量ベクトルが同一方向に動くテンプレートが２枚以上あった場合にｏｎとなり、後述する処理で更新回数が減少されるか、消滅処理が行われる。静／動ｆｌａｇは類似度が適当な閾値以上を示す領域を示すテンプレートについてｏｎとなる。このｆｌａｇにより更新時のテンプレートの更新の割合を変える。
【００４５】
テンプレートの更新方法を説明する。基本的には前回のテンプレートの画素値と新たにマッチングしたパターンの画素値との重み付き加算により行う。ここで、はテンプレート内座標の新しい画素値、は前回までのテンプレート画素値、はテンプレートがマッチングしたパターンのテンプレート内画素値である。
【００４６】
つまり、対象物体が静止状態に近いときに更新量を増やす。更新を行った場合、消滅flagがOFFであれば更新回数が＋１される。
【００４７】
最後にテンプレートの消滅について説明する。前述した移動量ベクトルが同一のテンプレートが複数存在する場合に消滅ｆｌａｇをＯＮとする。消滅ｆｌａｇがＯＮの場合、テンプレート更新時に更新回数を次のように変更する。
【００４８】
更新回数 ＞ T1 の場合 更新回数 ＝ T2
T1 ＞ 更新回数 ＞ T2 の場合 更新回数 ＝ T3
更新回数 ＜ T3 の場合 消滅
ここで、Ｔ１、Ｔ２、Ｔ３は T1>T2>T3 の関係がある。従って、３回連続して消滅flagが立つ場合にはテンプレートを消滅させる。なお、テンプレートの対象物体（対象の識別子）は、屋外シーンのように人物や車両の判別が必要な場合に使用する。
【００４９】
統合処理手段６は、各カメラ映像処理系７〜９を前述した処理にて生成されたテンプレートの位置を多視点的な手法にて統合を行っている。具体的な例を図６に示す。図６において、カメラ１とカメラ２は、ほぼ同一の観測エリアを違う角度から撮影している。このとき、カメラ１の映像とカメラ２の映像はそれぞれテンプレート処理にて移動物体を追跡している。この追跡はテンプレートにて行っており、テンプレートの位置は対象の一部（人の場合には頭部）を示す。このため、カメラが実空間に対してどの様に設置されているか既知の場合でも対象物体の床面の位置（人の場合には足元位置）が正確に求められない。そこで、形状情報抽出処理手段４で示したように、人物の高さｈは、人物の動領域の下端のＹ座標Ｙｂｏｔｔｏｍとの関係は一次式で近似できるので、各カメラ映像内のテンプレートの中心点から、その中心点を床面方向に垂直に延ばした点で対象の推定ボトム位置をこの一次式から近似的に推測することができる。
【００５０】
例えば、図６においては、カメラ映像１（図６（ａ））ではテンプレートの中心点Ａ、対象の推定ボトム点Ｂ、カメラ映像２（図（ｂ））ではカメラ映像１のＡ、Ｂに対応する点としてＡ｀、Ｂ｀となる。この各映像から抽出された各点をカメラの設置位置が既知とすると映像歪みがそれ程大きく無い場合には線形の式にて変換できる。
【００５１】
図６の右側に対象のトレースを行う実空間のイメージ図（図６（ｃ））を示す。この実空間においてＡ、Ｂ点およびＡ｀、Ｂ｀点を繋いだ直線を実空間にプロットする。この場合には、各映像のテンプレート処理が正確に行われていると仮定すると、対象物体が２台のカメラを結ぶ線上にある場合を除けば、対応する対象物体の実空間の位置に交点を持つことが幾何学的に証明できる。そこで、この交点を対象物体の実空間の位置とすることができる。
【００５２】
出力処理手段１０は、統合処理手段６で交点を求めた後、時間軸に従って、過去に存在した対象物体の位置と交点との最短距離による対応付けを行いながら実空間の位置をプロットすることにより各対象物体のトレースが行える。テンプレートマッチング処理では、必ずしもテンプレートの位置が正確に対象物体の位置を示していない場合も存在するが、最短距離による対応付けにてロバスト性を確保している。また、交点が定まらない場合や複数の対象物体が存在した場合に架空の交点が発生する可能性があるが、過去の履歴を用いた対応付けにて処理を行っている。
【００５３】
次に、本発明の具体例を以下に説明する。
図１の実施例としては、室内での人物の監視を行うシステムがある。このとき、一台のカメラでは正しく人物を抽出して追跡するが難しい場合が多々ある。例えば、床面積が大きかったり、机等で対象物体の下部が隠蔽したり、床面に対象の映り込みや影があったりする場合である。そこで、２台以上のカメラを設置し、複数の移動物体の追跡を自動生成型のテンプレートマッチング法を用いて多視点的な移動物体情報の統合・同定処理することにより、精度が高く、簡易なシステムが実現できる。
【００５４】
また、屋外の映像監視システムでは広域の監視エリアでの車や人などの混在する場面が多い。この場合にも、２台以上のカメラを設置し、複数の移動物体の追跡を自動生成型のテンプレートマッチング法を用いて多視点的な移動物体情報の統合・同定処理することにより、精度が高く、簡易なシステムが実現できる。
【００５５】
また、図２に示したように幅はそれ程広く無いが、横に広く伸びた高速道路や一般道における監視システムではカメラの設置を図２に示すようにしながら規則的に監視エリアを重複して撮影し、その撮影した映像を用いて複数の車の追跡を自動生成型のテンプレートマッチング法を用いて多視点的な車情報の統合・同定処理することにより、精度が高く、簡易なシステムが実現できる。
【００５６】
【発明の効果】
以上説明したように、本発明では、自動監視システムなどにおける移動物体の追跡に自動生成型のテンプレートマッチング法を用いて多視点的な移動物体情報の統合・同定処理することにより動画像処理の特徴を生かした簡易な処理で、精度の高い移動物体の追跡を行うことができ、自動生成型のテンプレートマッチング法により対象物体の重なりや停止物体の位置を簡単に求められるために簡易な処理で、精度の高い移動物体の追跡を行うことができる。
【００５７】
また、ステレオ処理に見られるパターンマッチングの難しさや非効率性を省略できる。さらに、カメラの設置位置を分散させて広い区域の観測ができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の移動物体抽出装置のブロック構成図
【図２】本発明の実施の形態１の移動物体抽出装置における複数カメラの配置例図
【図３】本発明の実施の形態１の移動物体抽出装置のテンプレート処理手段における生成時や位置変更時におけるテンプレートの探索例を示す図
【図４】本発明の実施の形態１の移動物体抽出装置のテンプレート処理手段のブロック構成図
【図５】本発明の実施の形態１の移動物体抽出装置のテンプレートの構造図
【図６】本発明の実施の形態１の移動物体抽出装置の統合処理手段の処理例を示す図
【符号の説明】
１ 入力手段
２ 動領域抽出手段
３ ラベリング処理手段
４ 形状情報抽出処理手段
５ テンプレート処理手段
６ 統合処理手段
７、８、９ カメラ映像処理系
１０ 出力処理手段
１１ エッジ抽出処理手段
１２ マッチング処理手段
１３ エッジ特徴処理手段
１４ テンプレート生成・位置変更処理手段
１５ テンプレート後処理手段
【発明の属する技術分野】
本発明は、監視装置等において動画像から動領域を検出して正確に移動物体を抽出するための技術に関する。
【０００２】
【従来の技術】
近年、広域の監視や設備監視のために、多数のカメラを用いた監視システムが増大している。このため、観測者が複数の映像をモニタリングする非効率な監視作業を排除して、対象物体の動き等を捉えて状況把握が行える自動監視システムの開発が期待されている。特に、複数のカメラ映像で広域の観測区域の移動物体を追跡する手法としては、映像内での対象物体の領域を正確に抽出し、その対象物体の足元位置を求めて、その位置を観測空間の平面位置に変換し、対象物体の追跡を行ったり、同一の観測区域を２台のカメラで撮影して２つの映像に写る同一の物体の対応付けを行い、その２台のカメラの視差を利用して対象物体の奥行き距離を求めるステレオ処理を行う方法等がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、前記従来の技術では、大きな課題が残されている。例えば、対象物体の足元位置を算出手法では、対象物体の重なりや停止物体の位置および対象の下部が遮蔽物で隠れた場合に足元位置を求めることが難しい。また、ステレオ処理では、映像内の同一パターンマッチングは、エッジ情報が少ないものや視差によりパターンのマッチングがとれない対象物体の存在等の難しさがある。
【０００４】
本発明は前記従来の問題点に鑑みてなされたもので、複数映像の統合方法として処理負荷が少ない自動生成型のテンプレートマッチング法に基づくテンプレートの位置から多視点的な処理を導入することにより正確に移動物体を抽出することを目的とする。
【０００５】
【課題を解決するための手段】
課題を解決するために本発明は、カメラ映像を入力する入力手段と、前記の入力手段から得られた映像データから動領域を検出する動領域抽出手段と、前記の動領域抽出手段から得られた動領域から各動領域別に領域のサイズや画素数の動領域の情報を検出するラベリング処理手段と、前記ラベリング処理手段より検出された各動領域の情報を用いて、その動領域と対象とする移動物体との類似度を抽出する形状情報抽出手段と、前記類似度に基づいて前記入力手段から得られた映像データと前記形状情報抽出手段から得られた動領域の情報から、探索範囲に既にテンプレートが存在する場合には最も近いテンプレートを更新し、その範囲にテンプレートが存在しない場合はテンプレートを生成し、そのテンプレートの情報を移動物体の情報として出力するテンプレート処理手段とを備えたカメラ映像処理系と、前記複数のカメラ映像処理系からの情報を統合する統合処理手段と、前記統合処理手段から得られた移動物体の位置や分類情報を処理して出力する出力処理手段より構成されている。
【０００６】
これにより、本発明では上記の課題を動画像処理の特徴を生かすような処理手順で空間位置と各画像内の画素位置との写像関数が既知の複数のカメラ映像を用い、対象領域の大まかな足元位置情報を抽出し、この不安定な情報を多視点的処理と時系列処理を施すことにより、精度の高い対象領域の運動軌跡（トレース）を求めることができ正確に移動物体を抽出することができる。
【０００７】
【発明の実施の形態】
本発明の請求項１に記載の発明は、カメラ映像を入力する入力手段と、前記の入力手段から得られた映像データから動領域を検出する動領域抽出手段と、前記の動領域抽出手段から得られた動領域から各動領域別に領域のサイズや画素数の動領域の情報を検出するラベリング処理手段と、前記ラベリング処理手段より検出された各動領域の情報を用いて、その動領域と対象とする移動物体との類似度を抽出する形状情報抽出手段と、前記類似度に基づいて前記入力手段から得られた映像データと前記形状情報抽出手段から得られた動領域の情報から、探索範囲に既にテンプレートが存在する場合には最も近いテンプレートを更新し、その範囲にテンプレートが存在しない場合はテンプレートを生成し、そのテンプレートの情報を移動物体の情報として出力するテンプレート処理手段とを備えたカメラ映像処理系と、前記複数のカメラ映像処理系からの情報を統合する統合処理手段と、前記統合処理手段から得られた移動物体の位置や分類情報を処理して出力する出力処理手段より構成される移動物体抽出装置としたものであり、本構成により移動物体の追跡に形状特徴抽出手段とテンプレートマッチング法を組み合わせたテンプレート処理を用いて多視点的な移動物体情報の統合・同定処理することにより動画像処理の特徴を生かした簡易な処理で、精度の高い移動物体の追跡を行うことができるという作用を有する。
【０００８】
本発明の請求項２に記載の発明は、複数のカメラで撮影される観測区域は、どの区域も２台以上のカメラ映像により重複して撮影されていることを特徴とする請求項１記載の移動物体抽出装置としたものであり、請求項１記載の発明効果をより大きくできるという作用を有する。
【０００９】
本発明の請求項３に記載の発明は、複数のカメラを設置する場合に４台を一組として、これらのカメラをカメラ１、カメラ２、カメラ３、カメラ４とした場合に、カメラ１とカメラ２およびカメラ３とカメラ４を並列又は内側に向いた方向に、カメラ１、２とカメラ３、４は対向に設置しながら、どの観測区域も２台以上のカメラ映像により重複して撮影できるようにカメラを増やしてゆくことを特徴とする請求項１、２記載の移動物体抽出装置としたものであり、請求項１、２記載の発明効果を高速道路等の長く伸びた領域でだせるという作用を有する。
【００１０】
本発明の請求項４に記載の発明は、入力手段が、可視カメラや赤外線カメラまたはそれらの組み合わせによることを特徴とする請求項１〜３記載の移動物体抽出装置としたものであり、請求項１〜３までの記載の発明効果をだすための入力手段の限定であり、可視カメラと赤外線カメラの双方の長所・短所を補って効果を引き出すことができるという作用を有する。
【００１１】
本発明の請求項５に記載の発明は、統合処理手段では、各カメラ映像処理系のテンプレート処理手段からテンプレートの位置、テンプレートの対象分類、テンプレートの通し番号およびテンプレートの位置に存在する対象の映像内における領域の推定下限位置情報を用いて観測区域の移動物体の位置を算出することを特徴とする請求項１〜４記載の移動物体抽出装置としたものであり、請求項１〜４記載の発明効果をだすための各カメラ映像処理系からの情報を統合する場合に多くの数や種類の移動物体を追跡できるという作用を有する。
【００１２】
本発明の請求項６に記載の発明は、統合処理手段では、各カメラの観測空間における設置位置と映像内の画素と観測空間の平面位置の写像関数が既知であり、各映像処理系のテンプレート処理で抽出されたテンプレートの中心点Ａとそのテンプレートが示す対象領域の推定下限点Ｂを観測空間の平面位置にプロットし、点Ａと点Ｂを直線で結ぶ。そして、複数の映像処理系から得られる前記の直線の交点を対象物体の位置候補とすることを特徴とする請求項１〜５記載の移動物体抽出装置としたものであり、本発明の多視点的な移動物体情報の統合・同定処理するために統合処理手段で移動物体の位置精度を高めることができるという作用を有する。
【００１３】
本発明の請求項７に記載の発明は、統合処理手段から得られた対象物体の位置候補とそれまで得られた対象物体の位置およびテンプレートの対象分類の情報を用いて観測空間における最短距離処理にて対応付けを時間軸に従って行うことを出力処理手段で行うことを特徴とする請求項６記載の移動物体抽出装置としたものであり、本発明の多視点的な移動物体情報の統合・同定処理するために出力処理手段で時間軸での移動物体の誤認識を減少させることができるという作用を有する。
【００１４】
本発明の請求項８に記載の発明は、テンプレート処理手段は、カメラ映像から２次元フィルタ処理を行い、抽出したエッジ映像データに基づいてテンプレートを生成することを特徴とする請求項１〜７記載の移動物体抽出装置としたものであり、本発明で記載のテンプレート処理手段でエッジ情報を用いることによりパターンマッチング処理が効果的に行
うことができるという作用を有する。
【００１５】
本発明の請求項９に記載の発明は、形状情報抽出手段は、ラベリング処理手段より抽出された各動領域別の領域の大きさを示す画素数や領域のサイズより対象とする物体の類似度を計算し、その類似度に基づいて、対象物体を示すテンプレートを生成する位置情報を抽出することを特徴とする請求項１〜８記載の移動物体抽出装置としたものであり、本発明において多くの数や種類の移動物体を追跡できるという作用を有する。
【００１６】
本発明の請求項１０に記載の発明は、形状情報抽出手段から抽出される類似度は、人間と車などの複数の対象物体の類似度を算出することを特徴とする請求項１〜９記載の移動物体抽出装置としたものであり、本発明において多くの種類の移動物体を追跡できるという作用を有する。
【００１８】
本発明の請求項１１に記載の発明は、テンプレート処理手段では、テンプレートの生成時にテンプレートの属性を示すために、テンプレートの番号、テンプレートの生成時に対象物体が何であったかを示す対象物体、テンプレートの現在の位置、位置更新をした場合の元の位置、更新した回数を示す更新回数、テンプレートが消滅対象となった場合に消滅を示す消滅フラグおよびテンプレートの内容を示すＴＸＳ＊ＴＹＳの画素値（ＴＸＳ、ＴＹＳはテンプレートの大きさを示す）を持つように設定することを特徴とする請求項１記載の移動物体抽出装置としたものであり、本発明における多数の種類や量および処理の柔軟性を持たせることができる作用を有する。
【００１９】
本発明の請求項１２に記載の発明は、テンプレート処理手段では、テンプレートの生成は、形状特徴手段より抽出された類似度が適切な閾値以上の場合にテンプレートの属性を設定したテンプレートを生成させることを特徴とする請求項１または１１記載の移動物体抽出装置としたものであり、形状特徴手段からの類似度をテンプレート処理の生成に活用
して、テンプレートの生成を行うことができる作用を有する。
【００２０】
本発明の請求項１３に記載の発明は、テンプレート処理手段では、テンプレートの生成は、形状特徴手段より抽出された類似度が所定の閾値以上の場合にテンプレートの生成する適切な位置を形状特徴手段より抽出されたテンプレート設定位置にテンプレートを生成させることを特徴とする請求項１または１１〜１２記載の移動物体抽出装置としたものであり、本発明において形状特徴手段から類似度以外にテンプレートの生成位置情報を出力し、精度の高いテンプレート生成が行えることができる作用を有する。
【００２１】
本発明の請求項１４に記載の発明は、テンプレート処理手段では、抽出された動領域において形状特徴手段より抽出された類似度が所定の閾値以上の場合に、その動領域の周辺を探索して、対象となる物体と同一のテンプレートが存在する場合には、そのテンプレートの位置を更新し、テンプレートの内容を移動した位置の画素値に入れ替えることを特徴とする請求項１または１１〜１３記載の移動物体抽出装置としたものであり、一つの対象物体に重複してテンプレートの生成を防ぐことができる作用を有する。
【００２２】
本発明の請求項１５に記載の発明は、テンプレート処理手段では、入力手段から映像信号が転送される毎に、テンプレートの位置更新がされないテンプレートについては、テンプレートの現在の位置を中心にテンプレートマッチング処理を実行し、誤差が最も少ない位置にテンプレートを移動し、テンプレートの属性を示す更新回数を加増し、移動前の位置を元の位置に設定することを行うことを特徴とする請求項１または１１〜１４記載の移動物体抽出装置としたものであり、テンプレートマッチング法の有効な使用が行えることができる作用を有する。
【００２３】
本発明の請求項１６に記載の発明は、テンプレート処理手段では、入力手段から映像信号が転送される毎に、全てのテンプレートに対して、位置更新の処理を行った後に、テンプレートの動きベクトルを求めて、同一動きベクトルがもつテンプレートが複数存在した場合には、その複数のテンプレートのなかから位置や更新回数に応じて、一つのテンプレートに消滅フラグを立てて、消滅対象となったことを示し、この消滅フラグが立っているテンプレートが連続して消滅対象となった場合には、このテンプレートを消滅させることを特徴とする請求項１または１１〜１５記載の移動物体抽出装置としたものであり、不要なテンプレートを消滅させて精度の高いテンプレート処理を行えることができる作用を有する。
【００２４】
以下に、本発明の実施の形態について、図１から図６を用いて説明する。
（実施の形態１）
図１は、本発明の実施の形態１の移動物体抽出装置のブロック構成図を示す。図１において、７から９はカメラ映像処理系を示し、１はカメラ映像を入力する入力手段、２は入力手段１から得られた映像データから動領域を検出する動領域抽出手段、３は動領域抽出手段２から得られた動領域から各動領域別に領域の大きさや画素数等の動領域の情報を検出するラベリング処理手段、４はラベリング処理手段３より検出された各動領域の情報を用いて、その動領域が対象とする物体にどの程度似ているかを示す情報を抽出する形状情報抽出手段、５は入力手段１から得られた映像データと形状特徴抽出手段４から得られた動領域の情報に基づいてテンプレートの操作を行うテンプレート処理手段とから構成され、６は複数のカメラ映像処理系７から９からの情報を統合する統合処理手段、１０は統合処理手段６から得られた移動物体の位置や分類情報を処理してデスプレイ等に表示する出力処理手段より構成される。
【００２５】
本発明のカメラ映像処理系７〜９である入力手段１からテンプレート処理手段５までの大きな流れは、形状特徴を用いた対象物体の判別法とテンプレートマッチング法を組み合わせた処理である。テンプレートマッチングは、撮影環境の変化に対して安定した処理であるとともに、計算負荷が比較的軽い処理であるが、テンプレートの生成方法、テンプレートによる移動物体の追跡を行った場合に対象物体の動きや大きさの変動に対して追跡が不安定となる。そこで、本発明では移動物体の形状特徴から対象物体の類似度を求めて、その類似度を用いてテンプレート生成／位置更新およびテンプレートマッチングを行い、移動物体の追跡をすることで、処理負荷が少なく、高精度の移動物体のテンプレートマッチング法にしている。
【００２６】
以下に各処理手段毎に詳細に説明する。
入力手段１は、カメラとして例えば可視カメラまたは赤外線カメラ等を用いるものとする。本発明では複数のカメラが存在するが、同一種類のカメラのみでも、異なる種類のカメラが混在する場合もある。その用途に応じて選択が可能とする。
【００２７】
また、複数のカメラで撮影される観測区域は、どの区域も２台以上のカメラ映像により重複して撮影されていることを条件として、設置の例としては、図２に示すように４台を一組として、これらのカメラをカメラ１、カメラ２、カメラ３、カメラ４とした場合に、カメラ１とカメラ２およびカメラ３とカメラ４を並列又は内側に向いた方向に、カメラ１、２とカメラ３、４は対向に設置しながら、どの観測区域も２台以上のカメラ映像により重複して撮影できるようにカメラを増やしてゆく方法もある。図２の監視エリアとしては、高速道路を含めた自動車道路等が想定される。
【００２８】
動領域抽出処理手段２は、本発明では対象物体の全体の検出が重要で、足元まで含めた全体領域が１つの領域として抽出されることが望ましく、このため、入力手段１からの映像データから動領域を抽出する際、対象物体の領域の分離する割合が少ないのであれば映像の１フレーム間の差分する方法や背景映像を算出して、その背景を用いて現時点での映像との差分をとる方法を用いるものとする。また、前記の方法で対象物体の領域が分離するような場合には、映像の１フレーム間の差分結果を数フレームに渡って累積するフレーム間累積差分を行ってから最適な閾値で２値化し、動き領域抽出する方法を用いるものとする。
【００２９】
ラベリング処理手段３は、動領域抽出手段２で検出された２値化された動き領域からラベリング処理により対象物体（例えば、人物や車）の領域を区分するものである。一般的には、動領域抽出手段２で検出された動き領域には対象物体以外の領域が含まれることがあり、影や映り込みおよび映像に上乗されたノイズがこれらの例である。そこで、本手段では、これらの不要な部分を除去して実際の対象物体の領域に近い部分を一つの領域として抽出する領域整形としての役目も含まれている。
【００３０】
形状情報抽出処理手段４は、ラベリング処理手段３で検出される動領域には、対象物体の重なり、分離や影を含む場合も含まれる。従って、本発明で後述するテンプレートを用いて対象物体を追尾を行う場合、新たな動領域に対してテンプレートを生成させるためのルールが必要となる。形状情報抽出処理４では、動領域のサイズやフェレ比・全体の傾きなどの形状特徴を用いて、動領域が追尾すべき対象物体であるかどうかの確からしさを示す“類似度”を算出し、これによって判別を行うルールを設定した。室内では人物を対象として監視・追尾を行う。
【００３１】
この場合には、動領域が単一の人物かそれ以外の物体（複数の人物が重なったものや影など）かが問題となる。これは人物の実サイズがほぼ決まっていることから判別できる。この判別ルールについて以下に説明する。
【００３２】
画像上での人物のサイズＳｉｚｅはカメラからの距離を介して射影変換によって実サイズと関係づけられる。
【００３３】
そこで、この射影変換を一次式Ｓｉｚｅ ＝ ａ ｘＹｂｏｔｔｏｍ ＋ ｂで近似できる。ここでＹｂｏｔｔｏｍ は動領域下端の画像上の座標であり、人物であれば足元の位置にほぼ対応する。長さの次元を持つサイズとしては動領域の外接矩形の幅ｗ・高さｈ、動領域の面積（画素数）の平方根ｒなどがある。ｗ、ｈ、ｒはいずれも上記の一次式でよく近似できる。従ってｗ、ｈ、ｒは主成分分析により一つの量に情報圧縮できる。そこでＳｉｚｅをＳｉｚｅ ＝ αｗｘｗ ＋ αｈｘｈ ＋ αｒｘｒと定義する。ここで αｗ 、αｈ、αｒは第一主成分軸への射影係数で αｗ ２＋αｈ ２＋αｒ ２＝１を満たす。Ｓｉｚｅは前述の一次式でよく近似できるので、適切なフィッティング方法（最小二乗法など）により前記式の係数ａ、ｂを求め、この式によって「足元がにある人物の標準サイズ」を決定した。
【００３４】
この標準サイズを用いて判別ルールを次のように定めた。動領域の人物類似度ＬをＬ＝１００（１−｜Ｓｉｚｅ−Ｓｉｚｅ０｜／Ｓｉｚｅ０）と定義し、Ｌ≧Ｔｈを満たす場合に人物とする。ただし、ここでＳｉｚｅ０は動領域のＹｂｏｔｔｏｍから求めた標準サイズ（ａ ｘＹｂｏｔｔｏｍ ＋ ｂ）、Ｔｈは適切なしきい値である。
【００３５】
なお、上記は人物についてのルールを示したが、車と人の判断等では、Ｙｂｏｔｔｏｍ と動領域の面積の平方根ｒの一次近似式を用いて、その近似式の上下関係で人か車の判断を行う方法もある。
【００３６】
テンプレート処理手段５のテンプレート処理は、形状情報抽出処理手段４で算出された類似度を用いて類似度が高い場合にテンプレートの作成候補位置を用いてテンプレートの生成および位置修正を行う。また、類似度が低い場合には、テンプレートマッチングを実施し、テンプレートの位置を変更する。
【００３７】
図３にテンプレートの生成や位置変更の例を示す。具体的なテンプレートの生成や位置変更は、検出された動領域の類似度が適当な閾値以上である場合に（図３（１））形状情報抽出処理手段４から得られる位置（人の場合には頭部）を中心にテンプレートを探索し（図３（２））、その範囲にテンプレートがない場合に新しくテンプレートを発生させる。また、探索範囲に既にテンプレートが存在する場合には、最も近いテンプレートを形状情報抽出処理手段４で指示された更新位置に移動し（図３（３））、テンプレートの画素値を移動した位置の画素値に全て入れ替える。
【００３８】
テンプレートマッチングは、各フレーム画像からＳｏｂｅｌフィルタ処理で抽出したエッジ画像に対して行う。このため、テンプレートに保存される画素値はエッジ画像から抽出された値である。なお、テンプレートマッチング法において、テンプレートに似たパターンを探索する手法としては、最短距離法・ＳＳＤＡ（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）・相関法・統計的手法等がある。本発明では高速性も兼ねそろえたＳＳＤＡを用いた。しかし、ＳＳＤＡではパターンが大きく変化した場合にテンプレートがエッジの少ないエリアに外れる。これを防ぐため、テンプレート内のエッジ情報の加算値と参照パターンのエッジ情報の加算値との差の絶対値をＳＳＤＡを実行時の誤差に加えている。
【００３９】
また、本手段ではテンプレ−トの消滅がある。各テンプレートは位置変更時に算出される移動ベクトルが同一のテンプレートが複数存在する場合には該当のテンプレートは消滅対象となる。
【００４０】
次に、テンプレート処理手段５の内部のブロック構成図を図４に示す。テンプレート処理手段５は、エッジ抽出処理手段１１、テンプレート生成・位置変更処理手段１４、テンプレートマッチング処理手段１２、エッジ特徴処理手段１３およびテンプレート後処理手段１５により構成される。
【００４１】
処理の流れを以下に説明する。
エッジ抽出手段１１は、入力手段１から入力されるカメラ映像１０４をフレーム毎にエッジ抽出処理を行う。このエッジ抽出手段で得られた情報は、テンプレートの現在の位置を中心に決められた範囲でマッチング処理手段１２による前述したマッチング処理やエッジ特徴処理手段１３でエッジ特徴処理を施される。エッジ特徴処理では前述したようにテンプレート内のエッジ値の合計値とエッジ画像のテンプレートが合わせられる領域のエッジ値の合計値との差を行う処理等のエッジパターンとテンプレートが持つパターンとのマッチングが行われる。テンプレートマッチング処理とエッジ特徴処理の誤差は、テンプレート後処理手段１５で加算され、加算値が最も少ない位置にテンプレートは更新される。
【００４２】
また、形状情報抽出処理手段４からの得られた動領域の位置やサイズ情報とその類似度は、テンプレート生成・位置変更処理手段１４に入力され、類似度が適当な閾値以上の場合については図３で示した処理が施される。類似度が適当な閾値よりも大きい場合にはこの手段での処理が優先される。なお、テンプレート後処理手段１５では前述したテンプレートの消滅処理を行う。
【００４３】
次に、本発明におけるテンプレート処理手段５のテンプレートの構造を図５に示す。テンプレートは、生成される時に以下の属性とテンプレートが生成された場所のエッジパターンを持つようにつくられる。つまり、テンプレートには、テンプレートの通し番号、テンプレートの映像内の現在位置、変更前の位置、対象物体（これは対象物体の識別子である。）、減点ｆｌａｇ、静／動ｆｌａｇ、更新回数およびエッジパターンである。
【００４４】
各属性について以下に説明する。各テンプレートは現在の画像上の座標と前回の座標とを保持している。前回の座標を保持するのは、移動量ベクトルを求めるためである。移動量ベクトルは同一方向に動くテンプレートを見付けるためのもので、同一方向に連続して動くテンプレートは消滅対象となる。更新回数は生成時点で０が設定され、更新される度に１ずつ増える。更新回数はテンプレートの強度を示す値でもあり、この値が低いものは消滅対象になりやすい。減点ｆｌａｇは移動量ベクトルが同一方向に動くテンプレートが２枚以上あった場合にｏｎとなり、後述する処理で更新回数が減少されるか、消滅処理が行われる。静／動ｆｌａｇは類似度が適当な閾値以上を示す領域を示すテンプレートについてｏｎとなる。このｆｌａｇにより更新時のテンプレートの更新の割合を変える。
【００４５】
テンプレートの更新方法を説明する。基本的には前回のテンプレートの画素値と新たにマッチングしたパターンの画素値との重み付き加算により行う。ここで、はテンプレート内座標の新しい画素値、は前回までのテンプレート画素値、はテンプレートがマッチングしたパターンのテンプレート内画素値である。
【００４６】
つまり、対象物体が静止状態に近いときに更新量を増やす。更新を行った場合、消滅flagがOFFであれば更新回数が＋１される。
【００４７】
最後にテンプレートの消滅について説明する。前述した移動量ベクトルが同一のテンプレートが複数存在する場合に消滅ｆｌａｇをＯＮとする。消滅ｆｌａｇがＯＮの場合、テンプレート更新時に更新回数を次のように変更する。
【００４８】
更新回数 ＞ T1 の場合 更新回数 ＝ T2
T1 ＞ 更新回数 ＞ T2 の場合 更新回数 ＝ T3
更新回数 ＜ T3 の場合 消滅
ここで、Ｔ１、Ｔ２、Ｔ３は T1>T2>T3 の関係がある。従って、３回連続して消滅flagが立つ場合にはテンプレートを消滅させる。なお、テンプレートの対象物体（対象の識別子）は、屋外シーンのように人物や車両の判別が必要な場合に使用する。
【００４９】
統合処理手段６は、各カメラ映像処理系７〜９を前述した処理にて生成されたテンプレートの位置を多視点的な手法にて統合を行っている。具体的な例を図６に示す。図６において、カメラ１とカメラ２は、ほぼ同一の観測エリアを違う角度から撮影している。このとき、カメラ１の映像とカメラ２の映像はそれぞれテンプレート処理にて移動物体を追跡している。この追跡はテンプレートにて行っており、テンプレートの位置は対象の一部（人の場合には頭部）を示す。このため、カメラが実空間に対してどの様に設置されているか既知の場合でも対象物体の床面の位置（人の場合には足元位置）が正確に求められない。そこで、形状情報抽出処理手段４で示したように、人物の高さｈは、人物の動領域の下端のＹ座標Ｙｂｏｔｔｏｍとの関係は一次式で近似できるので、各カメラ映像内のテンプレートの中心点から、その中心点を床面方向に垂直に延ばした点で対象の推定ボトム位置をこの一次式から近似的に推測することができる。
【００５０】
例えば、図６においては、カメラ映像１（図６（ａ））ではテンプレートの中心点Ａ、対象の推定ボトム点Ｂ、カメラ映像２（図（ｂ））ではカメラ映像１のＡ、Ｂに対応する点としてＡ｀、Ｂ｀となる。この各映像から抽出された各点をカメラの設置位置が既知とすると映像歪みがそれ程大きく無い場合には線形の式にて変換できる。
【００５１】
図６の右側に対象のトレースを行う実空間のイメージ図（図６（ｃ））を示す。この実空間においてＡ、Ｂ点およびＡ｀、Ｂ｀点を繋いだ直線を実空間にプロットする。この場合には、各映像のテンプレート処理が正確に行われていると仮定すると、対象物体が２台のカメラを結ぶ線上にある場合を除けば、対応する対象物体の実空間の位置に交点を持つことが幾何学的に証明できる。そこで、この交点を対象物体の実空間の位置とすることができる。
【００５２】
出力処理手段１０は、統合処理手段６で交点を求めた後、時間軸に従って、過去に存在した対象物体の位置と交点との最短距離による対応付けを行いながら実空間の位置をプロットすることにより各対象物体のトレースが行える。テンプレートマッチング処理では、必ずしもテンプレートの位置が正確に対象物体の位置を示していない場合も存在するが、最短距離による対応付けにてロバスト性を確保している。また、交点が定まらない場合や複数の対象物体が存在した場合に架空の交点が発生する可能性があるが、過去の履歴を用いた対応付けにて処理を行っている。
【００５３】
次に、本発明の具体例を以下に説明する。
図１の実施例としては、室内での人物の監視を行うシステムがある。このとき、一台のカメラでは正しく人物を抽出して追跡するが難しい場合が多々ある。例えば、床面積が大きかったり、机等で対象物体の下部が隠蔽したり、床面に対象の映り込みや影があったりする場合である。そこで、２台以上のカメラを設置し、複数の移動物体の追跡を自動生成型のテンプレートマッチング法を用いて多視点的な移動物体情報の統合・同定処理することにより、精度が高く、簡易なシステムが実現できる。
【００５４】
また、屋外の映像監視システムでは広域の監視エリアでの車や人などの混在する場面が多い。この場合にも、２台以上のカメラを設置し、複数の移動物体の追跡を自動生成型のテンプレートマッチング法を用いて多視点的な移動物体情報の統合・同定処理することにより、精度が高く、簡易なシステムが実現できる。
【００５５】
また、図２に示したように幅はそれ程広く無いが、横に広く伸びた高速道路や一般道における監視システムではカメラの設置を図２に示すようにしながら規則的に監視エリアを重複して撮影し、その撮影した映像を用いて複数の車の追跡を自動生成型のテンプレートマッチング法を用いて多視点的な車情報の統合・同定処理することにより、精度が高く、簡易なシステムが実現できる。
【００５６】
【発明の効果】
以上説明したように、本発明では、自動監視システムなどにおける移動物体の追跡に自動生成型のテンプレートマッチング法を用いて多視点的な移動物体情報の統合・同定処理することにより動画像処理の特徴を生かした簡易な処理で、精度の高い移動物体の追跡を行うことができ、自動生成型のテンプレートマッチング法により対象物体の重なりや停止物体の位置を簡単に求められるために簡易な処理で、精度の高い移動物体の追跡を行うことができる。
【００５７】
また、ステレオ処理に見られるパターンマッチングの難しさや非効率性を省略できる。さらに、カメラの設置位置を分散させて広い区域の観測ができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の移動物体抽出装置のブロック構成図
【図２】本発明の実施の形態１の移動物体抽出装置における複数カメラの配置例図
【図３】本発明の実施の形態１の移動物体抽出装置のテンプレート処理手段における生成時や位置変更時におけるテンプレートの探索例を示す図
【図４】本発明の実施の形態１の移動物体抽出装置のテンプレート処理手段のブロック構成図
【図５】本発明の実施の形態１の移動物体抽出装置のテンプレートの構造図
【図６】本発明の実施の形態１の移動物体抽出装置の統合処理手段の処理例を示す図
【符号の説明】
１ 入力手段
２ 動領域抽出手段
３ ラベリング処理手段
４ 形状情報抽出処理手段
５ テンプレート処理手段
６ 統合処理手段
７、８、９ カメラ映像処理系
１０ 出力処理手段
１１ エッジ抽出処理手段
１２ マッチング処理手段
１３ エッジ特徴処理手段
１４ テンプレート生成・位置変更処理手段
１５ テンプレート後処理手段
Claims (16)
- 複数のカメラ映像を入力し、そのカメラ映像で撮影できる観測区域の移動物体を追尾する装置において、カメラ映像を入力する入力手段と、前記の入力手段から得られた映像データから動領域を検出する動領域抽出手段と、前記の動領域抽出手段から得られた動領域から各動領域別に領域のサイズや画素数の動領域の情報を検出するラベリング処理手段と、前記ラベリング処理手段より検出された各動領域の情報を用いて、その動領域と対象とする移動物体との類似度を抽出する形状情報抽出手段と、前記類似度に基づいて前記入力手段から得られた映像データと前記形状情報抽出手段から得られた動領域の情報から、探索範囲に既にテンプレートが存在する場合には最も近いテンプレートを更新し、その範囲にテンプレートが存在しない場合はテンプレートを生成し、そのテンプレートの情報を移動物体の情報として出力するテンプレート処理手段とを備えたカメラ映像処理系と、前記複数のカメラ映像処理系からの情報を統合する統合処理手段と、前記統合処理手段から得られた移動物体の位置や分類情報を処理して出力する出力処理手段より構成される移動物体抽出装置。
- 複数のカメラで撮影される観測区域は、どの区域も２台以上のカメラ映像により重複して撮影されていることを特徴とする請求項１記載の移動物体抽出装置。
- 複数のカメラを設置する場合に４台を一組として、これらのカメラをカメラ１、カメラ２、カメラ３、カメラ４とした場合に、カメラ１とカメラ２およびカメラ３とカメラ４を並列又は内側に向いた方向に、カメラ１、２とカメラ３、４は対向に設置しながら、どの観測区域も２台以上のカメラ映像により重複して撮影できるようにカメラを増やしてゆくことを特徴とする請求項１または２記載の移動物体抽出装置。
- 入力手段が、可視カメラや赤外線カメラまたはそれらの組み合わせによることを特徴とする請求項１乃至３のいずれかに記載の移動物体抽出装置。
- 統合処理手段では、各カメラ映像処理系のテンプレート処理手段からテンプレートの位置、テンプレートの対象分類、テンプレートの通し番号およびテンプレートの位置に存在する対象の映像内における領域の推定下限位置情報を用いて観測区域の移動物体の位置を算出することを特徴とする請求項１乃至４のいずれかに記載の移動物体抽出装置。
- 統合処理手段では、各カメラの観測空間における設置位置と映像内の画素と観測空間の平面位置の写像関数が既知であり、各映像処理系のテンプレート処理で抽出されたテンプレートの中心点Ａとそのテンプレートが示す対象領域の推定下限点Ｂを観
測空間の平面位置にプロットし、点Ａと点Ｂを直線で結ぶ。そして、複数の映像処理系から得られる前記の直線の交点を対象物体の位置候補とすることを特徴とする請求項１乃至５のいずれかに記載の移動物体抽出装置。 - 統合処理手段から得られた対象物体の位置候補とそれまで得られた対象物体の位置およびテンプレートの対象分類の情報を用いて観測空間における最短距離処理にて対応付けを時間軸に従って行うことを出力処理手段で行うことを特徴とする請求項６記載の移動物体抽出装置。
- テンプレート処理手段は、カメラ映像から２次元フィルタ処理を行い、抽出したエッジ映像データに基づいてテンプレートを生成することを特徴とする請求項１乃至７のいずれかに記載の移動物体抽出装置。
- 形状情報抽出手段は、ラベリング処理手段より抽出された各動領域別の領域の大きさを示す画素数や領域のサイズより対象とする物体の類似度を計算し、その類似度に基づいて、対象物体を示すテンプレートを生成する位置情報を抽出することを特徴とする請求項１乃至８いずれかに記載の移動物体抽出装置。
- 形状情報抽出手段から抽出される類似度は、人間と車などの複数の対象物体の類似度を算出することを特徴とする請求項１乃至９のいずれかに記載の移動物体抽出装置。
- テンプレート処理手段では、テンプレートの生成時にテンプレートの属性を示すために、テンプレートの番号、テンプレートの生成時に対象物体が何であったかを示す対象物体、テンプレートの現在の位置、位置更新をした場合の元の位置、更新した回数を示す更新回数、テンプレートが消滅対象となった場合に消滅を示す消滅フラグおよびテンプレートの内容を示すＴＸＳ＊ＴＹＳの画素値（ＴＸＳ、ＴＹＳはテンプレートの大きさを示す）を持つように設定することを特徴とする請求項１記載の移動物体抽出装置。
- テンプレート処理手段では、テンプレートの生成は、形状情報抽出手段より抽出された類似度が所定の閾値以上の場合にテンプレートの属性を設定したテンプレートを生成させることを特徴とする請求項１または１１記載の移動物体抽出装置。
- テンプレート処理手段では、テンプレートの生成は、形状情報抽出手段より抽出された類似度が所定の閾値以上の場合にテンプレートの生成する適切な位置を形状情報手段より抽出されたテンプレート設定位置にテンプレートを生成させることを特徴とする請求項１、１１または１２のいずれかに記載の移動物体抽出装置。
- テンプレート処理手段では、抽出された動領域において形状情報抽出手段より抽出された類似度が所定の閾値以上の場合に、その動領域の周辺を探索して、対象となる物体と同一のテンプレートが存在する場合には、そのテンプレートの位置を更新し、テンプレートの内容を移動した位置の画素値に入れ替えることを特徴とする請求項１または１１乃至１３のいずれかに記載の移動物体抽出装置。
- テンプレート処理手段では、入力手段から映像信号が転送される毎に、テンプレートの位置更新がされないテンプレートについては、テンプレートの現在の位置を中心にテンプレートマッチング処理を実行し、誤差が最も少ない位置にテンプレートを移動し、テンプレートの属性を示す更新回数を加増し、移動前の位置を元の位置に設定することを行うことを特徴とする請求項１または１１乃至１４のいずれかに記載の移動物体抽出装置。
- テンプレート処理手段では、入力手段から映像信号が転送される毎に、全てのテンプレートに対して、位置更新の処理を行った後に、テンプレートの動きベクトルを求めて、同一の動きベクトルをもつテンプレートが複数存在した場合には、その複数のテンプレートのなかから位置や更新回数に応じて、一つのテンプレートに消滅フラグを立てて、消滅対象となったことを示し、この消滅フラグが立っているテンプレートが連続して消滅対象となった場合には、このテンプレートを消滅させることを特徴とする請求項１または１１乃至１５いずれかに記載の移動物体抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05132397A JP3577875B2 (ja) | 1997-03-06 | 1997-03-06 | 移動物体抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05132397A JP3577875B2 (ja) | 1997-03-06 | 1997-03-06 | 移動物体抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10255057A JPH10255057A (ja) | 1998-09-25 |
| JP3577875B2 true JP3577875B2 (ja) | 2004-10-20 |
Family
ID=12883719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05132397A Expired - Fee Related JP3577875B2 (ja) | 1997-03-06 | 1997-03-06 | 移動物体抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3577875B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003044859A (ja) * | 2001-07-30 | 2003-02-14 | Matsushita Electric Ind Co Ltd | 動き追跡装置及び人物追跡方法 |
| KR100790860B1 (ko) * | 2004-12-14 | 2008-01-03 | 삼성전자주식회사 | 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기 |
| JP2006209698A (ja) * | 2005-01-31 | 2006-08-10 | Olympus Corp | 対象追跡装置、顕微鏡システムおよび対象追跡プログラム |
| WO2007099762A1 (ja) * | 2006-03-01 | 2007-09-07 | Nikon Corporation | 被写体追跡コンピュータプログラム製品、被写体追跡装置、およびカメラ |
| KR101030430B1 (ko) * | 2007-09-12 | 2011-04-20 | 주식회사 코아로직 | 영상 처리 장치와 방법 및 그 기록매체 |
| JP5147761B2 (ja) * | 2009-03-02 | 2013-02-20 | セコム株式会社 | 画像監視装置 |
| JP5147760B2 (ja) * | 2009-03-02 | 2013-02-20 | セコム株式会社 | 画像監視装置 |
| JP5355691B2 (ja) * | 2009-06-30 | 2013-11-27 | 株式会社日立製作所 | 画像解析装置及び画像解析プログラム |
| CN102414719B (zh) * | 2009-07-22 | 2014-10-15 | 欧姆龙株式会社 | 监视摄像机终端 |
| JP5018932B2 (ja) * | 2010-06-23 | 2012-09-05 | 株式会社ニコン | 撮像装置 |
| WO2013172491A1 (ko) * | 2012-05-16 | 2013-11-21 | 전자부품연구원 | 깊이 정보를 이용한 물체 인식 방법 및 장치 |
| JP2014016839A (ja) * | 2012-07-09 | 2014-01-30 | Nippon Telegr & Teleph Corp <Ntt> | 移動物体追跡装置 |
| JP6276519B2 (ja) * | 2013-05-22 | 2018-02-07 | 株式会社 日立産業制御ソリューションズ | 人数計測装置および人物動線解析装置 |
| JP6481960B2 (ja) * | 2015-03-23 | 2019-03-13 | 日本電気株式会社 | 足元の位置を検出する情報処理システム、情報処理方法及びプログラム |
| JP7211488B2 (ja) * | 2019-03-19 | 2023-01-24 | 日本電気株式会社 | 情報処理装置、推定方法、及びプログラム |
-
1997
- 1997-03-06 JP JP05132397A patent/JP3577875B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10255057A (ja) | 1998-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Principal axis-based correspondence between multiple cameras for people tracking | |
| Khan et al. | Consistent labeling of tracked objects in multiple cameras with overlapping fields of view | |
| JP3577875B2 (ja) | 移動物体抽出装置 | |
| US9275472B2 (en) | Real-time player detection from a single calibrated camera | |
| Bertozzi et al. | Obstacle detection and classification fusing radar and vision | |
| WO2016199244A1 (ja) | 物体認識装置及び物体認識システム | |
| EP2450832A1 (en) | Image processing apparatus and image processing method | |
| JP2009055139A (ja) | 人物追跡システム、人物追跡装置および人物追跡プログラム | |
| JPH1166319A (ja) | 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置 | |
| Snidaro et al. | Automatic camera selection and fusion for outdoor surveillance under changing weather conditions | |
| JP2014164601A (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
| Fejes et al. | Detection of independent motion using directional motion estimation | |
| Kanhere et al. | Vehicle segmentation and tracking in the presence of occlusions | |
| JPH11257931A (ja) | 物体認識装置 | |
| Wang et al. | Self-calibration of traffic surveillance cameras based on moving vehicle appearance and 3-D vehicle modeling | |
| Müller et al. | Multi-camera system for traffic light detection: About camera setup and mapping of detections | |
| Omar et al. | Detection and localization of traffic lights using YOLOv3 and Stereo Vision | |
| JP3629935B2 (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 | |
| JP3465531B2 (ja) | 物体認識方法およびその装置 | |
| Kim et al. | Real-time system for counting the number of passing people using a single camera | |
| JP3253328B2 (ja) | 距離動画像入力処理方法 | |
| JP3419919B2 (ja) | 移動物体検出装置 | |
| JPH05141930A (ja) | ３次元形状計測装置 | |
| Tsuji et al. | Memorizing and representing route scenes | |
| Garibotto et al. | 3D scene analysis by real-time stereovision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040705 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070723 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |