JP4455980B2 - 動画像処理方法、動画像処理装置、動画像処理プログラム及びそのプログラムを記録した記録媒体 - Google Patents

Description

本発明は、動画像を前景と背景とに分離する動画像処理方法及びその装置と、その動画像処理方法の実現に用いられる動画像処理プログラム及びそのプログラムを記録した記録媒体とに関し、特に、背景にも動きがある場合や、前景となる物体が一体的な動きをするのではなくて、その一部分が自在な動きをするような場合にも、動画像を前景と背景とに分離できるようにする動画像処理方法及びその装置と、その動画像処理方法の実現に用いられる動画像処理プログラム及びそのプログラムを記録した記録媒体とに関する。

非固定カメラにより撮影される動画像では、動きのある物体である前景に加えて、背景にも動きがでることになる。また、固定カメラにより撮影される動画像では、背景には動きがでないものの、物体が一体的な動きをするのではなくて、その一部分が自在な動きをすることがある。また、そのような動きをする物体を非固定カメラにより撮影する場合、背景にも動きがでるし、物体もその一部分が自在に動くことになる。

本発明は、このような動画像であっても、前景と背景とに分離できるようにする技術の提供を目的としている。

まず、画像中の物体と背景とを分離する手法の従来技術について述べる。

画像を色情報に基づいて領域分割し、次に複数の領域を隣接関係に基づいて統合していく従来技術がある（例えば、特許文献１参照）。この従来技術は、色情報に基づく分割を行ったのち、領域統合してオブジェクトを抽出する手法である。

同一の物体でも画素値が不連続な部分が多いと、同一物体の領域を統合することが難しい。そこで、物体と背景とで異なる動きがある場合には、動き特徴を利用した分割と統合とが必要であるが、従来手法では領域の境界を正確に求めることが困難であった。

次に、物体と背景とが異なる動きをする場合に、動きに基づいて領域分割を行う手法の従来技術について述べる。

物体領域と背景領域とを仮定してオプティカルフローを計算し、最尤推定によって最適な分割線を求める従来技術がある（例えば、非特許文献１参照）。この従来技術は、画像中に複数の動きの異なる剛体が存在する場合に、これを動きに基づいて分割する手法である。

物体が剛体ではなく物体領域中の動きが単一でない場合にはそのまま適用することはできないので、物体に関する知識と統計処理とを組み合わせた手法が用いられる。例えば、人体の３次元モデルを用いて位置や姿勢を推定し、画像上の各点が物体に属する確率を計算して最適な状態を推定する手法が用いられたり（例えば、非特許文献２参照）、回転運動と並進運動のモデルを用いて、複雑な背景中で回転運動や並進運動する物体を抽出する手法が用いられる（例えば、非特許文献３参照）。

これらは、物体運動のモデルを仮定できない場合には適用できない。また、物体の輪郭を正確に求めることは困難である。

非特許文献１に記載されるような、画像全体についてオプティカルフローを求めたのち、これをクラスタリングすることで物体と背景を分離する手法においても、物体領域中の動きが単一でない場合への適用、領域の境界決定は困難である。
特開２００２−１１７４０９ 「対象の動きを利用した画像分割法」情報処理学会技術研究報告，CVIM116-6, pp.39-47, 1999. 「オプティカルフローと距離情報の統合による３次元運動する人間の追跡」電子情報通信学会論文誌ＤII, vol.J82-DII, No.8, pp.1252-1261, 2000. 「オプティカルフローを用いた複雑背景下における人物の腕領域の抽出と運動パラメータ推定」電気学会論文誌Ｃ, vol.C-120, No.12, pp.1801-1808, 2000.

上述したように、従来技術に従っていたのでは、物体と背景とで異なる動きがある動画像において、物体の輪郭を保って背景から切り出すことができない。そして、動画像中に含まれる物体領域中に異なる動きの部分が含まれているような動画像において、物体の輪郭を保って背景から切り出すことができない。

この後者の問題は、背景に動きがない場合にも発生し、背景に動きがある場合にも発生する問題である。

本発明はかかる事情に鑑みてなされたものであって、背景にも動きがある場合や、前景となる物体が一体的な動きをするのではなくて、その一部分が自在な動きをするような場合にも、動画像を前景と背景とに分離できるようにする新たな動画像処理技術の提供を目的とする。

この目的を達成するために、本発明の動画像処理装置は、背景にも動きがある場合や、前景となる物体が一体的な動きをするのではなくて、その一部分が自在な動きをするような場合にも、動画像を前景と背景とに分離できるようにすることを実現すべく、（イ）動画像を入力する入力手段と、（ロ）入力手段の入力した処理対象となる動画像のフレームを小領域に分割する分割手段と、（ハ）処理対象のフレームの各画素について１つ又は複数の特徴量を抽出する抽出手段と、（ニ）処理対象のフレームの持つ小領域ごとに、抽出手段の抽出した特徴量の全てあるいは一部を用いて各画素が２つの領域のどちらに属するのかをクラス分けする場合に、そのクラス分けの分離度を示す尤度が最も高くなる値を示すことになるクラス分けを行う実行手段と、（ホ）隣接する小領域について、特徴量を用いて、同じクラスにクラス分けされた領域の対応付けを行ない、それに基づいて、同じクラスにクラス分けされた領域同士をつなぎ合わせることで、処理対象のフレーム全体を前景と背景とに分離する分離手段と、（ヘ）同じクラスにクラス分けされた領域同士をつなぎ合わせる際に、そのつなぎ合わせに矛盾がある場合には、そのつなぎ合わせの対象となる一方の小領域について、特徴量の重み付けを変えてクラス分けを再実行する再実行手段とを備えるように構成する。

この構成を採るときにあって、本発明の動画像処理装置は、さらに、処理対象のフレームに特定のパターンが存在するのか否かを検出して、特定のパターンが存在する場合には、その存在する位置を検出する検出手段と、検出手段の検出した位置と分離手段の分離した前景とに基づいて、処理対象のフレームに、その特定のパターンを持つ動物体が存在するのか否かを判定する判定手段と、判定手段により特定のパターンを持つ動物体の存在することが判定される場合に、その特定のパターンを持つ動物体の面積と分離手段の分離した前景とに基づいて、その特定のパターンを持つ動物体の数を特定する特定手段とを備えることがある。

以上の各処理手段が動作することで実現される本発明の動画像処理方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の動画像処理装置では、動画像を入力すると、処理対象のフレームを小領域に分割するとともに、処理対象のフレームの各画素について１つ又は複数の特徴量を抽出する。

例えば、処理対象のフレームとその近傍のフレームとを使って動きに基づく特徴量を抽出したり、処理対象のフレームを使って動きに基づかない特徴量を抽出したり、その双方の特徴量を抽出することで、処理対象のフレームの各画素について特徴量を抽出する。このとき、特徴量の抽出対象となる画素を中心とする周辺領域を使って、その抽出対象となる画素の特徴量を抽出することがある。また、複数の特徴量を抽出する場合に、それらの特徴量を組み合わせることで、より高いクラス分け分離度を実現する特徴量を抽出することがある。

続いて、処理対象のフレームの持つ小領域ごとに、抽出した特徴量の全てあるいは一部を用いて各画素が２つの領域のどちらに属するのかをクラス分けする場合に、そのクラス分けの分離度を示す尤度が最も高くなる値を示すことになるクラス分けを行う。

例えば、２つのクラスの確率分布を想定して、その想定に基づいて尤度を算出し、その算出に基づいて確率分布を修正することを繰り返していくことで、尤度が最も高くなる値を示すことになるクラス分けを行うのである。このとき、尤度の算出式に、２つの領域がまとまっている場合の方が２つの領域が混在する場合よりも尤度が高くなる補正項を加えたものを使って尤度を算出することがある。

続いて、隣接する小領域について、特徴量を用いて、同じクラスにクラス分けされた領域の対応付けを行ない、それに基づいて、同じクラスにクラス分けされた領域同士をつなぎ合わせることで、処理対象のフレーム全体を前景と背景とに分離する。

このとき、そのつなぎ合わせに矛盾がある場合には、そのつなぎ合わせの対象となる一方の小領域について、特徴量の重み付けを変えてクラス分けを再実行することにより、矛盾のないつなぎ合わせを実現することになる。そして、この再実行により同一の小領域について異なるクラス分けが得られる場合には、それらのクラス分けから矛盾のないつなぎ合わせを実現するクラス分けを決定することになる。

このように、本発明の動画像処理装置は極めて有用な機能を発揮し、これから様々な利用が考えられる。

例えば、監視カメラをスキャンさせながら部屋を監視することで、侵入者がいるのか否かを検出するシステムが要求されている。このようなシステムでは、侵入者も動くし、背景にも動きがでることから、本発明の動画像処理装置を使うことで侵入者を正確に検出できることになる。

そこで、本発明の動画像処理装置は、このようなシステムの構築を可能にすべく、処理対象のフレームに特定のパターンが存在するのか否かを検出して、特定のパターンが存在する場合には、その存在する位置を検出する検出手段と、検出手段の検出した位置と分離手段の分離した前景とに基づいて、処理対象のフレームに、その特定のパターンを持つ動物体が存在するのか否かを判定する判定手段と、判定手段により特定のパターンを持つ動物体の存在することが判定される場合に、その特定のパターンを持つ動物体の面積と分離手段の分離した前景とに基づいて、その特定のパターンを持つ動物体の数を特定する特定手段とを備えるようにしている。

この構成に従って、本発明の動画像処理装置では、例えば、動物体として人を検出する場合に、特定のパターン（動物体の一部分のパターン）として人の顔を用いる場合には、処理対象のフレームに人の顔のパターンが存在するのか否かを検出して、人の顔のパターンが存在する場合には、その存在する位置を検出する。

続いて、その検出した人の顔の位置と分離した動領域である前景（分離した領域のどちらが前景であるのかを特定できない場合には、それぞれを前景と見なして処理を行う）とに基づいて、例えば、その動領域の上部に人の顔が位置しているのかを判断することなどにより、その動領域が確かに人であるのかを判定する。

そして、その動領域が確かに人であることを判定すると、人の面積（判定した動領域部分の画素数を計数することで取得したり、予め人の面積はこの位の画素数であるということについて管理するテーブルなどから取得する）と、その動領域の全体の面積とに基づいて、人の数を特定する。

以上のように、本発明によれば、前景と背景とが異なる動きをする動画像の場合にも、動画像を前景と背景とに分離することができるようになるとともに、前景となる物体が一体的な動きをするのではなくて、その一部分が自在な動きをする場合にも、動画像を前景と背景とに分離することができるようになる。

このようにして分離した領域については、例えば、画像全体で外側に分布しているクラスを背景領域、内側に分布しているクラスを物体領域と判断したり、顔認識の技術を用いて顔が存在する領域を人物領域と判断することで、前景と背景として区別することができる。

これまでは、背景が動かないテレビ電話画像などでは人物と背景とを分離することができたものの、個人が撮影したビデオ映像などでは人物だけでなく背景も動いてしまうので人物と背景とを分離することができなかったが、本発明によれば、これを解消することができるようになる。

このような機能を実現する本発明を用いることで、前景のみ、あるいは背景のみに対する処理を加えた合成画像を生成するといったような様々な画像処理を実現できるようになる。

そして、このような機能を実現する本発明を用いることで、特定のパターンを持つ動物体が存在するのか否かを検出できるようになるとともに、そのような動物体が存在する場合に、その数についても特定できるようになる。

図１に、本発明を具備する動画像処理装置１の一実施形態例を図示する。

この図に示すように、本発明の動画像処理装置１は、画像入力部１０と、第１の画像テーブル１１と、小領域設定部２０と、第２の画像テーブル２１と、特徴ベクトル抽出部３０と、第３の画像テーブル３１と、小領域分割部４０と、第４の画像テーブル４１と、領域抽出部５０とを備える。

ここで、画像入力部１０／小領域設定部２０／特徴ベクトル抽出部３０／小領域分割部４０／領域抽出部５０はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより、これらの各処理手段を実現することになる。

〔１〕全体構成
はじめに、全体構成について説明する。

画像入力部１０には、画像のシーケンスが入力される。画像入力部１０から小領域設定部２０へは、処理対象となるｔフレームめの画像と、その隣接フレームの画像とが順次送られる。

ここで、隣接フレームとは、ｔフレームめの画像から数フレーム程度のあらかじめ定められた間隔をおいたフレームを指し、あとの処理の種類によって、ｔフレームめ以前のフレームが用いられたり、ｔフレームめ以後のフレームが用いられたり、ｔフレームめ前後のフレームが用いられる。図２では、ｔフレームめの画像Ｉ_t の隣接フレームとして、ｔ−１フレームめの画像Ｉ_t-1 を用いる例を示している。

領域抽出部５０の出力は、処理対象となる画像Ｉ_t から分離された背景領域の画像と物体領域の画像とである。図３では、背景領域Ｂと物体領域Ｆとを分離出力した例を示している。

画像入力部１０は、フレームごとに画素の座標と画素値とを組にして、小領域設定部２０へ出力するとともに、これを第１の画像テーブル１１に記憶しておく。すなわち、図４に示すような情報を第１の画像テーブル１１に記憶しておくのである。

小領域設定部２０は、処理対象となる画像Ｉ_t をＮ個の小領域Ｃ₁,・・・，Ｃ_N に分割する。

特徴ベクトル抽出部３０は、小領域設定部２０の生成した各小領域内の画素がもつ特徴量を抽出する。

小領域分割部４０は、小領域設定部２０の生成した小領域Ｃ（Ｃ₁,・・・，Ｃ_N ）に対して、規定の画像処理（各小領域の画素を、それが持つ特徴量に基づいて、物体に属する画素と背景に属する画素とにクラス分けする画像処理）を行い、その画像処理後の小領域の組Ｃ'(Ｃ₁'，・・・, Ｃ_N ')を出力する。

領域抽出部５０は、小領域分割部４０の出力である特徴量と尤度とに基づいて、小領域分割部４０の出力である画像処理後の小領域の組Ｃ'(Ｃ₁'，・・・, Ｃ_N ')について、同じクラスにクラス分けされる領域を統合することでＣ_i '(ｉ＝１〜Ｎ）を統合して、画像全体の物体領域Ｆと画像全体の背景領域Ｂとを求める。

〔２〕各処理部の詳細な構成
次に、小領域設定部２０／特徴ベクトル抽出部３０／小領域分割部４０／領域抽出部５０の処理の詳細について説明する。

〔２−１〕小領域設定部２０の詳細な構成
小領域設定部２０では、小領域を生成する場合、あらかじめ決めた大きさで画像の端から順番に切り出していくことで小領域を生成する。

ここで、物体に関する知識が事前にある場合には、これを利用して効率的な小領域を設定することができる。小領域分割部４０で行うクラス分けのために、小領域には、なるべく背景と前景との双方が含まれている方のがよいので、物体に関する知識が事前にある場合には、これを利用して効率的な小領域を設定する。例えば、カメラ付き携帯電話で自分自身を撮影して送ってきた画像では、大体画像内での人物領域の大きさを推定できることがある。そのような場合には、なるべく背景と前景とが小領域に含まれることになるようにと小領域の大きさを設定するのである。

小領域設定部２０は、画像全体をＮ個の小領域に分割することで部分画像を生成すると、それらの小領域を単位とする画素の座標と画素値とを組とする情報を第２の画像テーブル２１に記憶する。すなわち、図５に示すように、画像全体をＮ個の小領域に分割して、図６に示すように、それらの小領域を単位とする画素の座標と画素値とを組とする情報を第２の画像テーブル２１に記憶するのである。

ここで、図６に示す第２の画像テーブル２１において、網掛けで示した部分の情報が図４に示す第１の画像テーブル１１の情報に加えられた部分である。

〔２−２〕特徴ベクトル抽出部３０の詳細な構成
特徴ベクトル抽出部３０では、ｔフレームめの画像Ｉ_t とその隣接フレームとを用いて、画像Ｉ_t 中の各画素について、時空間微分値、オプティカルフローなど動きに基づく特徴量を求める。さらに、輝度値や色特徴など画素値に基づく特徴量を求める。

そして、画素の座標とそれらの求めた特徴量とを組とする情報を第３の画像テーブル３１に記憶する。すなわち、各画素についてＭ個の特徴量Ｆ₁ 〜Ｆ_M を求める場合の例で説明するならば、図７に示すように、画素の座標とそれらのＭ個の特徴量Ｆ₁ 〜Ｆ_M とを組とする情報を第３の画像テーブル３１に記憶するのである。

ここで、図７に示す第３の画像テーブル３１において、網掛けで示した部分の情報が図６に示す第２の画像テーブル２１の情報に加えられた部分である。

特徴量の例としては、画素の輝度値、色、ウェーブレット特徴、テクスチャ特徴などといったような画素値に基づく特徴と、オプティカルフローなど時間変化に基づく特徴があり、これらを単独で、または組み合わせて用いることができる。

ここで、テクスチャ特徴は１画素のみから求めることはできないので、ある画素についてのテクスチャ特徴量とは、その画素を中心とする一定の周辺領域について求めた値とする。また、オプティカルフローについても、空間微分値を１画素のみから求めることはできないので、計算するときには周辺の画素の値も用いる。例えば、図８において、周辺領域Ｂについて求めた特徴量を中心画素Ａの値とするのである。この周辺領域Ｂの形状と大きさについてはあらかじめ定められているものとし、図８に示すような円形以外のものでもよい。

〔２−３〕小領域分割部４０の詳細な構成
小領域分割部４０は、図９に示すように、最尤推定部４０１と小領域分割関数生成部４０２とから構成される。

この最尤推定部４０１は、特徴ベクトル抽出部３０の出力である各小領域の持つ画素の座標と特徴量とを組とする情報を入力とし、小領域ごとに、各特徴量を使って、各画素を２つのクラスに分割する処理を行う。

具体的には、その特徴量を使うと、その画素がどちらのクラスに属するのかということと、そのクラスに属する確率と、その特徴量を用いてクラス分けを行う場合の小領域全体の尤度（クラス分けの分離度を示す値：高い値ほどうまく分離されていることを示す）とを算出する処理を行う。

そして、画素の座標と特徴量とを組とする情報に、その結果である、画素ごとの推定クラスとそのクラスに属する確率と小領域全体の尤度とを加えた情報を第４の画像テーブル４１に記憶する。すなわち、図１０に示すように、画素の座標と特徴量とを組とする情報に、画素ごとの推定クラスとそのクラスに属する確率と小領域全体の尤度とを加えた情報を第４の画像テーブル４１に記憶するのである。

ここで、図１０に示す第４の画像テーブル４１において、網掛けで示した部分の情報が図７に示す第３の画像テーブル３１の情報に加えられた部分である。

なお、後述するように、最尤推定部４０１は、小領域分割関数生成部４０２が各画素について新たな特徴量Ｆ_M+1 を求めると、その特徴量Ｆ_M+1 についても同様のクラス分けの処理を行って、その結果を第４の画像テーブル４１に追加登録するように処理することになる。

小領域分割関数生成部４０２は、最尤推定部４０１の出力である第４の画像テーブル４１の情報を入力として、新たな特徴量Ｆ_M+1 を作成し、図１１に示すように、それを第４の画像テーブル４１に追加する。

ここで、図１１に示す第４の画像テーブル４１において、網掛けで示した部分の情報が図１０に示す第４の画像テーブル４１の情報に加えられた部分である。

次に、最尤推定部４０１において、部分画像Ｃ_i を領域Ｚ１と領域Ｚ２とに二分割する手順について説明する。

この分割は、画素の特徴量に基づいて行う。小領域内において特徴量は、物体部分と背景部分のそれぞれにおいて、おおむね一様であるが、通常はガウス分布のように、ある平均値のまわりに多少の分散をもって分布すると考えられる。

領域分割においては、この分布を推定する統計的手法が有効である。例えば、ガウス分布を仮定して、平均と分散とをパラメータとし、領域分割の形状とパラメータ値とを推定する最尤推定を行う。物体候補領域Ｆ’と背景候補領域Ｂ’との境界を含む複数の小領域について、特徴量の平均値、分散値などのパラメータの推定と尤度算出とを繰り返すことで、最終的に領域分割の形状を推定するのである。

アルゴリズムとしては、例えば、パラメータの推定（Ｅ（Expectation)ステップ）と最大尤度推定（Ｍ（Maximization) ステップ）とを繰り返すＥＭアルゴリズム（参考文献：情報処理, vol.37, No.1, pp.43-46, Jan, 1996)を用いる。

このＥＭアルゴリズムは、最急降下法と同様に解を逐次改良していく繰り返し探索のアルゴリズムであり、このアルゴリズムによって正確な領域を決定し、小領域Ｃ_i を領域Ｚ１と領域Ｚ２との２つのクラスに分割する。ＥＭアルゴリズムでは、Ｅステップで、すべての特徴量について並列的にパラメータの推定を行ない、Ｍステップで、すべての特徴量の尤度の合計（下記に示すＱ_i （Ｆ_m ）の合計）を評価関数として最尤推定を行う。

例えば、ｉ番目の小領域をＭ個の特徴量Ｆ₁ 〜Ｆ_M によって分割した処理結果は、図１０に示すように、
（イ）ｋ番目の画素について求めた特徴量Ｆ₁ 〜Ｆ_M ：Ｆ_1k〜Ｆ_Mk
（ロ）ｋ番目の画素が各特徴量ｍにより領域Ｚ_i １と領域Ｚ_i ２のどちらのクラスに分 類されたのかを示す情報：Ｚ_mk
（ハ）ｋ番目の画素がクラス分けされた領域Ｚ_mkに属する確率：Ｐ_mk（Ｚ_mk）
（ニ）特徴量ごとの小領域Ｃ_i 全体での尤度：Ｑ_i （Ｆ₁ ）〜Ｑ_i （Ｆ_M ）
但し、Ｑ_i （Ｆ_m ）＝Σ_k ｌｏｇＰ_mk（Ｚ_mk）
という値の組として得られる。

次に、小領域分割関数生成部４０２における処理について説明する。

小領域分割関数生成部４０２では、特徴量Ｆ₁ 〜Ｆ_M の線形結合で、領域Ｚ_i １と領域Ｚ_i ２とに分割するのに最適な特徴量Ｆ_M+1 を求めるための関数を生成する。これには、例えば、ｋ個の画素について得られているＭ次元の特徴ベクトル（Ｆ₁,・・・，Ｆ_M ）のフィッシャー判別を行い、得られた軸上へ特徴ベクトルを投影したものを新たにＭ＋１番目の特徴量Ｆ_M+1 とする。

ここで、フィッシャー判別では、図１２に示すように、２つのクラスに属する特徴量ベクトルの存在する特徴量空間上で、ある基準においてこの２つのクラスの識別に最も適した軸を決定することにより、新たな特徴量Ｆ_M+1 を求める。

この新たな特徴量Ｆ_M+1 は、Ｆ_M+1 ＝Σ_m ｗ_m ・Ｆ_m という式でかける。この関数を生成したのち、各画素について特徴量Ｆ_M+1 を求めて最尤推定部４０１のプロセスに戻る。その結果、最尤推定部４０１は、新たな特徴量Ｆ_M+1 に関する計算結果を第４の画像テーブル４１に追加する。

これにより、ｉ番目の小領域をＭ＋１個の特徴量Ｆ₁ 〜Ｆ_M+1 によって分割した処理結果は、図１１に示すように、
（イ）ｋ番目の画素について求めた特徴量Ｆ₁ 〜Ｆ_M+1 ：Ｆ_1k〜Ｆ_M+1k
（ロ）ｋ番目の画素が各特徴量ｍにより領域Ｚ_i １と領域Ｚ_i ２のどちらのクラスに分 類されたのかを示す情報：Ｚ_mk
（ハ）ｋ番目の画素がクラス分けされた領域Ｚ_mkに属する確率：Ｐ_mk（Ｚ_mk）
（ニ）特徴量ごとの小領域Ｃ_i 全体での尤度：Ｑ_i （Ｆ₁ ）〜Ｑ_i （Ｆ_M+1 ）
但し、Ｑ_i （Ｆ_m ）＝Σ_k ｌｏｇＰ_mk（Ｚ_mk）
という値の組となる。

小領域Ｃ_i 内で、前景背景ともに細かいテクスチャが多く輝度値や色などの特徴で分割が困難な場合、輝度値や色などの特徴量で分割したときの尤度は低く、この小領域内ではこれらの特徴量の信頼度が低いと考えられる。同様に、前景と背景で動き方の違いが少ない場合などには小領域内の物体部分と背景部分において動きの特徴量で分割したときの尤度が低く、この小領域内では動きの特徴量の信頼度が低いと考えられる。

このような場合に、フィッシャー判別により、複数の特徴量を組み合わせて、より分離度の高い特徴量を生成するのである。

〔２−４〕領域抽出部５０の詳細な構成
領域抽出部５０では、小領域分割部４０で小領域ごとに分割された領域同士をつなぎあわせ、画像全体を動きの異なる２つの領域に分割する。

以下では、領域抽出部５０における隣接小領域との統合を容易にするために、各小領域は小領域分割部４０の結果２つに分割され、２つの領域はそれぞれまとまっていて、混在することはないものとする。

そのためには、小領域分割部４０において、分割処理を行うときの尤度計算の評価式に最大事後確率推定（参考文献：「ウェーブレットによる信号処理と画像処理」共立出版株式会社）を適用してもよい。

すなわち、最尤推定の段階で２つの領域が混在するのではなくそれぞれまとまっている方が尤度が高くなるように、最大事後確率推定に従って、尤度の算出式に、ある画素が周囲の画素と同じクラスに属するときに尤度が高くなるような補正項を加える。この補正項の係数を大きくしていくと、画素のまとまりを重視するようになる。

小領域分割部４０の分割結果、２つのクラスが混在する場合として、例えば図１３（ａ)(ｂ）のような場合がある。小さい孤立領域があっても、あとで述べる領域抽出部５０における統合のルールにあてはめることができれば問題ない。しかし、小領域の辺上に２つのクラスの境界が多く存在すると、統合のルールにあてはめることができない。

そのような場合には、周辺画素の影響を受ける補正項の係数を大きくしていく。補正項の係数を大きくしていくと、小領域の辺上に２つのクラスの境界が１つ以下の状態になる。例えば図１３（ｂ）は図１３（ｃ）のような状態になる。そこで、次の統合のルールにあてはめることができる。

領域抽出部５０では、小領域分割部４０の出力における各小領域ごとに求めた境界を特徴量及び尤度に基づいて結合する。

ここで、領域が統合されたとは、隣り合う２つの小領域で、接する辺上の境界線をつなぎ、つながれた境界線の同じ側が同じクラス（ここでは、物体領域と背景領域の２つのクラス）に属するように決定されたことをいう。

統合の基本的なルールは、
（イ）ある２つの隣り合う小領域Ｃ_i,Ｃ_j において、小領域Ｃ_i 内の２つのクラスＺ_i １／Ｚ_i ２と、小領域Ｃ_j 内の２つのクラスＺ_j １／Ｚ_j ２とのクラス間の対応 を決定し、
（ロ）クラス同士をつなぐ境界線を矛盾なくつなぎ、
（ハ）この（イ）と（ロ）において、小領域分割部４０での分割決定時の尤度の高さの 順位が高い小領域における分割結果を優先する、
というものである。

この統合処理を画面全体で行うときの処理順序としては、大きく次の２つの方法が考えられる。一つは、図１４（ａ）に示すように、総合的な尤度が最大の小領域を上位何位か定めた数だけ選び、その周辺から統合していくやり方である。もう一つは、図１４（ｂ）に示すように、画面の端から順に二組ずつの小領域を統合していくやり方である。以下では、図１４（ａ）に示すやり方の場合で説明する。

図１４（ａ）に示すやり方に従う場合、まず、小領域ごとに、特徴量の尤度の合計を求める。次に、小領域ｉ＝１〜Ｉについて、その合計値の大きさの比較を行って、この値の大きいものから、隣接する小領域との統合処理を行う。

統合処理では、まず、特徴量の分布（例えば平均値）を使って、図１５に示すように、小領域Ｃ_i 内の２つのクラスＺ_i １／Ｚ_i ２と、小領域Ｃ_j 内の２つのクラスＺ_j １／Ｚ_j ２とのクラス間の対応を決定する。例えば、Ｚ_i １とＺ_j １とが同じクラスに属し、Ｚ_i ２とＺ_j ２とが同じクラスに属するという対応関係を決定するのである。

図１５において、小領域Ｃ_i はクラスＺ_i １とＺ_i ２とに分割され、Ｃ_i と隣り合う小領域Ｃ_j はクラスＺ_j １とＺ_j ２とに分割されている。各小領域における各クラスの特徴量の分布が記憶されているので、特徴量の分布形状の近い方を同じクラスとしてラベルづけする。特徴量の分布の近さは、平均値などの統計量を比較するか、マハラノビス距離などにより判定することができる。

次に、境界線の決定を行う。以下、図１６においては、同一のラベルがふられた領域を網掛けの有無で図示している。

図１６（ａ）のように、隣り合って結合される辺上にある境界線が一致し、かつ隣り合う領域Ｚ_i １とＺ_j １・Ｚ_i ２とＺ_j ２とがそれぞれ同じラベルである場合、あるいは、隣り合って結合される辺上にある境界線が完全には一致しないものの、あらかじめ定められた閾値以下であり、かつ隣り合う領域Ｚ_i １とＺ_j １・Ｚ_i ２とＺ_j ２とがそれぞれ同じラベルである場合には、境界を連続させて小領域Ｃ_i とＣ_j とを統合する。

この統合にあたって、隣り合う領域がスムーズにつながるような補間処理を行うことがある。ただし、統合されても、各小領域ごとの元々の特徴量の分布の情報は保存しておくようにする。

一方、図１６（ｂ）〜（ｆ）のように、隣り合って結合される辺上にある境界線が矛盾する場合には、小領域内の分割線を決定しなおす（再分割する）。

ここで、境界線が矛盾するとは、隣り合う２つの小領域で、図１６（ｂ）のように、接する辺上に存在する一方の小領域内の境界線の端点ともう一方の小領域内の境界線の端点との距離が定められた閾値以上である場合、または、図１６（ｃ)(ｄ）のように、接する辺上で一方の小領域内には境界線の端点があるがもう一方には無い場合、または、図１６（ｅ）のように、接する辺上にはどちらの小領域にも境界線の端点がなく、かつ隣り合う領域Ｚ_i １とＺ_j ２とが異なるラベルである場合、または、図１６（ｆ）のように、接する辺上には２つの小領域とも境界線の端点があるものの、隣り合う領域Ｚ_i １とＺ_j ２とが異なるラベルである場合を指す。

次に、再分割の方法について説明する。

小領域Ｃ_i に属するｋ番目の画素が、ある特徴量Ｆ_m によりクラスＺ_mk（Ｚ_i １あるいはＺ_i ２）に分類されたときに、そのクラスＺ_mkに属する確率をＰ_mk（Ｚ_mk）とする。以下、確率は対数尤度で表されているものとする。

このとき、特徴量Ｆ_m についての小領域Ｃ_i 全体での尤度Ｑ_i （Ｆ_m ）は、
Ｑ_i （Ｆ_m ）＝Σ_k ｌｏｇＰ_mk（Ｚ_mk）
と表せ、したがって、小領域Ｃ_i の総合的な尤度Ｑ_total （Ｃ_i ）は、
Ｑ_total （Ｃ_i ）＝Σ_m Ｑ_i （Ｆ_m ）
＝Σ_m Σ_k ｌｏｇＰ_mk（Ｚ_mk）
と表せる。

再分割する場合、この総合的な尤度Ｑ_total を使い、隣接する小領域Ｃ_i と小領域Ｃ_j とについて、
Ｃ_i 全体の尤度＜Ｃ_j 全体の尤度
である場合には、Ｃ_j で２つのクラスの分離度が最も高かった特徴量ｍの重みを、Ｃ_i において大きくして再分割を行う。

すなわち、特徴量ｍの重みをｗ_m とすると、
Ｑ_total （Ｃ_i ）＝Σ_m ｗ_m Ｑ_i （Ｆ_m ）
＝Σ_m Σ_k ｗ_m ×ｌｏｇＰ_mk（Ｚ_mk）
として、小領域分割部４０の処理に戻るのである。

そして、領域の境界線について、隣の小領域との連続性の矛盾がなくなった時点で処理を終了する。あるいは、小領域分割部４０に戻る回数を記憶しておき、あらかじめ定めた最大回数に達したならば、その時点における領域の境界線を結果として残し、処理を終了する。

連続する３つの小領域Ｃ_i,Ｃ_j,Ｃ_k について考えるならば、例えば、
Ｃ_i 全体の尤度＞Ｃ_j 全体の尤度
に従って、総合的な尤度Ｑ_total の低い方のＣ_j が再分割され、一方、
Ｃ_k 全体の尤度＞Ｃ_j 全体の尤度
に従って、総合的な尤度Ｑ_total の低い方のＣ_j が再分割されることが起こるが、このとき、図１７（ａ）に示すように、双方の再分割が一致しないことでＣ_j 内に矛盾が生じる場合がある。

このような場合には、例えば、Ｃ_i とＣ_j との統合の際の再分割結果と、Ｃ_j とＣ_k との統合の際の再分割結果とに、Ｃ_i と接する辺からの距離、Ｃ_k と接する辺からの距離による重みをかけて加えたものを再分割結果とする。これにより、図１７（ｂ）に示すように、双方の再分割が一致しないことにより発生するＣ_j 内の矛盾を解消することができるようになる。

画面全体の処理が進んで、複数の残った小領域間を統合するときに、同様の矛盾が生じた場合にも、同様に、統合する小領域同士の接する辺からの距離による重みづけによって、再分割結果を得るようにする。

このようにして、本発明の動画像処理装置１によれば、前景と背景とが異なる動きをする動画像の場合にも、動画像を前景と背景とに分離することができるようになるとともに、前景となる物体が一体的な動きをするのではなくて、その一部分が自在な動きをする場合にも、動画像を前景と背景とに分離することができるようになるのである。

次に、監視カメラをスキャンさせながら部屋を監視することで、侵入者がいるのか否かを検出するシステムなどの実現に用いられる本発明の動画像処理装置１について説明する。

図１８に、このようなシステムの実現に用いられる本発明の動画像処理装置１の他の実施形態例を図示する。

図中、図１で説明したものと同じものについては同一の記号で示してあり、６０は特定パターン検出部、７０は物体属性判定部、８０は物体属性情報入力部、９０は物体計数部である。

この特定パターン検出部６０は、画像入力部１０の入力した画像を入力として、各フレームあるいは任意の枚数おきのフレームについて、特定のパターンが存在するのか否かの検出処理を行って、その特定のパターンが検出された場合には、その大きさとその検出位置とを出力する。

ここで、この特定のパターンの検出にあたって、特定パターン検出部６０は、画像入力部１０から入力した画像フレーム部分の内、領域抽出部５０で抽出された動領域である前景に処理領域を絞って（分離した領域のどちらが前景であるのかを特定できない場合には、それぞれを前景と見なして処理を行う）、特定のパターンの検出を行うようにしてもよい。

また、特定パターン検出部６０の検出する特定のパターンは検出対象となる動物体により決められるものであり、例えば、動物体として人を検出する場合には、人の顔などが用いられ、動物体として自動車や動物を検出する場合には、それが持つ特徴的な部分パターンが用いられることになる。

また、特定パターン検出部６０の用いるパターン検出アルゴリズムはどのようなものであってもよいが、例えば、濃淡情報のテンプレートマッチング手法（特定のパターンの大きさを検出するためにテンプレートの大きさを変更してマッチングを行うことになる）や、特定のパターンを検出するフィルタ手法を用いることが可能である。

物体属性判定部７０は、特定パターン検出部６０の検出結果と領域抽出部５０の抽出結果とを入力として、動領域である前景の中に特定のパターンが含まれているのかについて照合を行って、動領域内に特定のパターンが含まれているのかということと、それが動領域内部の特定の範囲に位置するのかどうかなどの条件判定に基づいて、動領域が特定のパターンを持つ動物体であるのか否かを判定する。例えば、特定のパターンが人の顔である場合には、動領域の上部に人の顔が位置しているかどうかにより、その動領域が人であるのか否かを判定することになる。

物体属性情報入力部８０は、検出対象となる動物体の属性情報（例えば、動物体の面積に対応付けられる画面上の画素数など）を入力する。例えば、動物体として人を検出する場合には、人の属性情報として、画像入力部１０により入力される画像に含まれることになる人の面積の情報（画面上の画素数）を入力する。

物体計数部９０は、領域抽出部５０で抽出された動領域の面積（画面上の画素数）を求めて、その求めた動領域の面積と、物体属性判定部７０の判定した動物体の持つ面積（画面上の画素数）とに基づいて、その動物体の数を計数する。

ここで、物体計数部９０は、物体属性判定部７０の判定した動物体の持つ面積（画面上の画素数）を使うのではなくて、予め想定される動物体ごとに画面上におけるおおよその面積に関するデータを持っておいて、その中から該当する動物体の面積（画面上の画素数）を選択して使うようにしてもよい。

この構成に従って、図１８の構成に従う本発明の動画像処理装置１では、例えば、動物体として人を検出する場合に、特定のパターンとして人の顔を用いる場合には、処理対象のフレームに人の顔のパターンが存在するのか否かを検出して、人の顔のパターンが存在する場合には、その存在する位置を検出する。

続いて、その検出した人の顔の位置と分離した動領域である前景とに基づいて、例えば、その動領域の上部に人の顔が位置しているのかを判断することなどにより、その動領域が確かに人であるのか否かを判定する。

そして、その動領域が確かに人であることを判定すると、人の面積とその動領域の全体の面積とに基づいて、人の数を特定するように処理するのである。

このようにして、図１８の構成に従う本発明の動画像処理装置１によれば、特定のパターンを持つ動物体が存在するのか否かを検出できるようになるとともに、そのような動物体が存在する場合に、その数についても特定できるようになる。

本発明の動画像処理装置の一実施形態例である。 隣接フレームの説明図である。 領域抽出部の出力する情報の説明図である。 第１の画像テーブルに記憶する情報の説明図である。 小領域設定部の設定する小領域の説明図である。 第２の画像テーブルに記憶する情報の説明図である。 第３の画像テーブルに記憶する情報の説明図である。 特徴量の算出処理の説明図である。 小領域分割部の構成図である。 第４の画像テーブルに記憶する情報の説明図である。 第４の画像テーブルに追加登録する情報の説明図である。 フィッシャー判別処理の説明図である。 小領域分割部の分割結果の一例を示す図である。 小領域の統合処理の説明図である。 小領域の統合処理の説明図である。 小領域の統合処理の説明図である。 小領域の再分割処理の説明図である。 本発明の動画像処理装置の他の実施形態例である。

符号の説明

１ 動画像処理装置
１０ 画像入力部
１１ 第１の画像テーブル
２０ 小領域設定部
２１ 第２の画像テーブル
３０ 特徴ベクトル抽出部
３１ 第３の画像テーブル
４０ 小領域分割部
４１ 第４の画像テーブル
５０ 領域抽出部
６０ 特定パターン検出部
７０ 物体属性判定部
８０ 物体属性情報入力部
９０ 物体計数部

Claims (22)

1. 動画像を前景と背景とに分離する動画像処理方法であって、
   動画像を入力する過程と、
   入力した処理対象となる動画像のフレームを小領域に分割する過程と、
   処理対象のフレームの各画素について１つ又は複数の特徴量を抽出する過程と、
   処理対象のフレームの持つ上記小領域ごとに、上記特徴量の全てあるいは一部を用いて各画素が２つの領域のどちらに属するのかをクラス分けする場合に、そのクラス分けの分離度を示す尤度が最も高くなる値を示すことになるクラス分けを行う過程と、
   隣接する上記小領域について、上記特徴量を用いて、同じクラスにクラス分けされた領域の対応付けを行ない、それに基づいて、同じクラスにクラス分けされた領域同士をつなぎ合わせることで、処理対象のフレーム全体を前景と背景とに分離する過程とを備えることを、
   特徴とする動画像処理方法。
2. 請求項１記載の動画像処理方法において、
   上記特徴量を抽出する過程では、処理対象のフレームとその近傍のフレームとを使って動きに基づく特徴量を抽出するか、処理対象のフレームを使って動きに基づかない特徴量を抽出するか、その双方の特徴量を抽出することを、
   特徴とする動画像処理方法。
3. 請求項１又は２に記載の動画像処理方法において、
   上記特徴量を抽出する過程では、特徴量の抽出対象となる画素を中心とする周辺領域を使って、その抽出対象となる画素の特徴量を抽出することを、
   特徴とする動画像処理方法。
4. 請求項１ないし３のいずれか１項に記載の動画像処理方法において、
   上記特徴量を抽出する過程では、複数の特徴量を抽出する場合に、それらの特徴量を組み合わせることで、より高いクラス分け分離度を実現する特徴量を抽出することを、
   特徴とする動画像処理方法。
5. 請求項１ないし４のいずれか１項に記載の動画像処理方法において、
   上記クラス分けを行う過程では、２つのクラスの確率分布を想定して、その想定に基づいて上記尤度を算出し、その算出に基づいて該確率分布を修正することを繰り返していくことで、上記尤度が最も高くなる値を示すことになるクラス分けを行うことを、
   特徴とする動画像処理方法。
6. 請求項１ないし５のいずれか１項に記載の動画像処理方法において、
   上記クラス分けを行う過程では、上記尤度の算出式に、２つの領域がまとまっている場合の方が２つの領域が混在する場合よりも尤度が高くなる補正項を加えたものを使って上記尤度を算出することで、上記尤度が最も高くなる値を示すことになるクラス分けを行うことを、
   特徴とする動画像処理方法。
7. 請求項１ないし６のいずれか１項に記載の動画像処理方法において、
   同じクラスにクラス分けされた領域同士をつなぎ合わせる際に、そのつなぎ合わせに矛盾がある場合には、そのつなぎ合わせの対象となる一方の上記小領域について、特徴量の重み付けを変えて上記クラス分けを再実行する過程を備えることを、
   特徴とする動画像処理方法。
8. 請求項７に記載の動画像処理方法において、
   上記再実行する過程では、上記再実行により同一の上記小領域について異なるクラス分けが得られる場合には、それらのクラス分けから矛盾のないつなぎ合わせを実現するクラス分けを決定することを、
   特徴とする動画像処理方法。
9. 請求項１ないし８のいずれか１項に記載の動画像処理方法において、
   処理対象のフレームに特定のパターンが存在するのか否かを検出して、特定のパターンが存在する場合には、その存在する位置を検出する過程と、
   上記検出した位置と上記分離した前景とに基づいて、処理対象のフレームに、上記特定のパターンを持つ動物体が存在するのか否かを判定する過程とを備えることを、
   特徴とする動画像処理方法。
10. 請求項９に記載の動画像処理方法において、
    上記特定のパターンを持つ動物体の面積と上記分離した前景とに基づいて、上記特定のパターンを持つ動物体の数を特定する過程を備えることを、
    特徴とする動画像処理方法。
11. 動画像を前景と背景とに分離する動画像処理装置であって、
    動画像を入力する手段と、
    入力した処理対象となる動画像のフレームを小領域に分割する手段と、
    処理対象のフレームの各画素について１つ又は複数の特徴量を抽出する手段と、
    処理対象のフレームの持つ上記小領域ごとに、上記特徴量の全てあるいは一部を用いて各画素が２つの領域のどちらに属するのかをクラス分けする場合に、そのクラス分けの分離度を示す尤度が最も高くなる値を示すことになるクラス分けを行う手段と、
    隣接する上記小領域について、上記特徴量を用いて、同じクラスにクラス分けされた領域の対応付けを行ない、それに基づいて、同じクラスにクラス分けされた領域同士をつなぎ合わせることで、処理対象のフレーム全体を前景と背景とに分離する手段とを備えることを、
    特徴とする動画像処理装置。
12. 請求項１１記載の動画像処理装置において、
    上記特徴量を抽出する手段は、処理対象のフレームとその近傍のフレームとを使って動きに基づく特徴量を抽出するか、処理対象のフレームを使って動きに基づかない特徴量を抽出するか、その双方の特徴量を抽出することを、
    特徴とする動画像処理装置。
13. 請求項１１又は１２に記載の動画像処理装置において、
    上記特徴量を抽出する手段は、特徴量の抽出対象となる画素を中心とする周辺領域を使って、その抽出対象となる画素の特徴量を抽出することを、
    特徴とする動画像処理装置。
14. 請求項１１ないし１３のいずれか１項に記載の動画像処理装置において、
    上記特徴量を抽出する手段は、複数の特徴量を抽出する場合に、それらの特徴量を組み合わせることで、より高いクラス分け分離度を実現する特徴量を抽出することを、
    特徴とする動画像処理装置。
15. 請求項１１ないし１４のいずれか１項に記載の動画像処理装置において、
    上記クラス分けを行う手段は、２つのクラスの確率分布を想定して、その想定に基づいて上記尤度を算出し、その算出に基づいて該確率分布を修正することを繰り返していくことで、上記尤度が最も高くなる値を示すことになるクラス分けを行うことを、
    特徴とする動画像処理装置。
16. 請求項１１ないし１５のいずれか１項に記載の動画像処理装置において、
    上記クラス分けを行う手段は、上記尤度の算出式に、２つの領域がまとまっている場合の方が２つの領域が混在する場合よりも尤度が高くなる補正項を加えたものを使って上記尤度を算出することで、上記尤度が最も高くなる値を示すことになるクラス分けを行うことを、
    特徴とする動画像処理装置。
17. 請求項１１ないし１６のいずれか１項に記載の動画像処理装置において、
    同じクラスにクラス分けされた領域同士をつなぎ合わせる際に、そのつなぎ合わせに矛盾がある場合には、そのつなぎ合わせの対象となる一方の上記小領域について、特徴量の重み付けを変えて上記クラス分けを再実行する手段を備えることを、
    特徴とする動画像処理装置。
18. 請求項１７に記載の動画像処理装置において、
    上記再実行する手段は、上記再実行により同一の上記小領域について異なるクラス分けが得られる場合には、それらのクラス分けから矛盾のないつなぎ合わせを実現するクラス分けを決定することを、
    特徴とする動画像処理装置。
19. 請求項１１ないし１８のいずれか１項に記載の動画像処理装置において、
    処理対象のフレームに特定のパターンが存在するのか否かを検出して、特定のパターンが存在する場合には、その存在する位置を検出する手段と、
    上記検出した位置と上記分離した前景とに基づいて、処理対象のフレームに、上記特定のパターンを持つ動物体が存在するのか否かを判定する手段とを備えることを、
    特徴とする動画像処理装置。
20. 請求項１９に記載の動画像処理装置において、
    上記特定のパターンを持つ動物体の面積と上記分離した前景とに基づいて、上記特定のパターンを持つ動物体の数を特定する手段を備えることを、
    特徴とする動画像処理装置。
21. 請求項１ないし１０のいずれか１項に記載の動画像処理方法の実現に用いられる処理をコンピュータに実行させるための動画像処理プログラム。
22. 請求項１ないし１０のいずれか１項に記載の動画像処理方法の実現に用いられる処理をコンピュータに実行させるための動画像処理プログラムを記録した記録媒体。

Images