JP2016024743A - 動画像処理装置、動画像情報処理プログラムおよび動画像処理方法 - Google Patents

Abstract

【課題】反射や影の多発する屋内動画像から影や反射領域を含まない前景領域の抽出を少ない演算量で抽出する動画像処理装置、動画像情報処理プログラムおよび動画像処理方法を提供する。
【解決手段】動画像から前景領域を抽出する動画像処理装置１であって、画素の特徴量を生成する特徴量生成部８と、特徴量の確率的振る舞いを複数のガウス分布で合成し、使用頻度の高い背景ガウス分布と低い前景ガウス分布に分け、特徴量が前景ガウス分布に属する場合を前景画素とする混合ガウスモデル分離部９と、前景画素を選択する変更部１０と、前景画素が影に起因している場合を検出して背景画素とする影除去部１１と、反射に起因している場合を検出して背景画素とする反射除去部１２と、新たに背景化された特徴量を含むガウス分布と任意の背景ガウス分布間で平均以外のガウス係数を交換する新たな係数更新を追加することで演算量を削減することを特徴とする。
【選択図】図２

Description

本発明は、動画像処理装置、動画像情報処理プログラム、および動画像処理方法に関する。特に、動画像を用いて自分のジェスチャーを抽出する動画像処理装置、動画像情報処理プログラム、および動画像処理方法に関する。

動画像の中から動きのある対象物を検出する方法は前景分離と呼ばれており、不審人物の検出だけでなく、歩行人物の認識や登場人物のジェスチャー認識を行う目的で行われている。種々の方法があるが、混合ガウスモデルを用いた方法は演算量も比較的少なく、安定性も高いことが知られている。このような方法の詳細は文献１に動画像を構成するフレーム画像毎に画素に分解して実行する方法が、また、文献2には画素を複数個まとめて直交変換し、その結果に混合ガウスモデルによる前景分離を行なうことで、演算量の削減と安定性を増強する方法が述べられている。以下では本発明に関する混合ガウスモデルを画素に分解する方法に関して述べるが、画素を複数個まとめて扱う場合も同様である。

フレーム画像の画素毎に入力される背景部分からの光であっても光の散乱や背景の微少な変動がある。この場合でも、混合ガウスモデルによる前景分離法では、安定した前景分離が可能である。これは、画素への光の入力を確率的なものとして扱うためで、多少背景が変動しても大きく動きのある前景とは誤解しない方法となる。画素の確率分布はこれまでの入力光より決まるので、画素毎に異なったものとなる。これを、混合ガウスモデルと呼ばれる方法で実現する。これは、種々の形を持った確率分布を複数のガウス分布で合成して用いる方法である。以下、混合ガウスモデルを構築する複数のガウス分布を構成ガウス分布と呼ぶ。

上記の混合ガウスモデルは画素への入力光をＲＧＢ成分などに分解して処理する。このような複数成分で前景か背景かを判定する量を特徴量と呼んでいる。混合ガウスモデルはこの特徴量成分の各々に対し独立した混合ガウスモデルを作り、一成分でも前景と判断できれば前景画素とする。一般に、ガウス分布の性質は平均μと標準偏差σが決まれば、μを中心とした±３σの範囲内で事象が起きる確率は９９．８％である。よって、平均を中心にσの3倍前後の範囲をそのガウス分布の領域として定め、その領域内に特徴量成分が来る場合はそのガウス分布の領域に属すると呼ぶ。全ての構成ガウス分布のうち、よく使われるものを背景ガウス分布、あまり使われないものを前景ガウス分布に分ける。良く使われるか否かも確率であり、各ガウス分布はこの確率分布に重み係数ωを乗じて扱う。当然、全てのガウス分布の重み係数の総和は確率であるため１である。以降、平均、標準偏差、重み係数をまとめて混合ガウスモデルにおける構成ガウス分布の係数と呼ぶことにする。

混合ガウスモデルによる前景分離が支持されている理由は、各々の構成ガウス分布のμやσの値を少しずつ入力特徴量要素で適応的に修正することにより背景の朝昼晩の時間変化などを取り入れられる点と、混合ガウスモデルの重み係数も更新し、この確率と確からしさから構成ガウス分布全体を背景ガウス分布と前景ガウス分布に分けて前景を判断する点である。後者の効果はカメラアングル外から割り込んできて、カメラアングル内に長時間滞在する物体がある場合、最初は前景となるが、この物体に関与する画素の特徴量要素を領域内に含むガウス分布の重み係数ωの値が次第に大きくなると、この物体に関与する画素を背景に変えることができる点である。

混合ガウスモデルによる前景分離は3つの実行機能がある。第1は現在のフレームのある画素の特徴量要素を前フレームで修正された混合ガウスモデルの構成ガウス分布の領域と比較し、特徴量要素がどのガウス分布にも含まれない場合は、現在の特徴量要素を平均とする新しいガウス分布を作り、既存ガウス分布の重み係数が最も小さい構成ガウス分布と置き換える比較生成機能である。第2は構成ガウス分布の平均（μ）、標準偏差（σ）、重み係数（ω）の特徴量要素に対する影響を適応的に反映させ、この結果に基づき全ての構成ガウス分布を前景ガウス分布と背景ガウス分布に分類する更新分類機能である。第３に特徴量要素を含むガウス分布が前景ガウス分布の場合を前景画素と判断する前景決定機能である。なお、全ての構成ガウス分布を前景ガウス分布か背景ガウス分布に分類したが、また、現在の混合ガウスモデルの全ての構成ガウス分布係数は次のフレーム画像の対応する画素処理に活用されるが、前景ガウス分布や背景ガウス分布という区別は現在のフレームの画素処理に限ったものである。

このような混合ガウスモデルを用いた前景分離では歩き回る人などを確実に検出できるものの、人などに付随した影も背景ガウス分布の領域より大きく外れた特徴量要素を持つため前景となる。文献3では、一度混合ガウスモデルによって前景領域判定された画素から影領域を抽出して除去している。この方法は、混合ガウスモデルによる前景分離の途中結果を活用できるため、演算量が軽い。混合ガウスモデル法による前景分離とは独立した影除去を使う場合では影領域を確定するために前景分離並みの演算量が必要であったが、この方法では画素あたりの混合ガウスモデルによる前景分離に必要な演算量の１０％程度でよい。この演算量の軽い方法で、影と判断されて前景となっている画素を背景画素に変更することで影領域を除去できる。

一方、走っている車の照り返しなども新たな光源になる。この照り返しに代表される反射光源による背景画像への反射領域も明るくなり、前景となる。この問題に対処する方法は文献４に詳しく、影の場合と同様一度前景判定された画素に対して、影の逆操作を行う。つまり、反射領域は背景より一様に明るくなると考える。反射領域は一旦前景となるため、検出された反射領域は前景から背景に変更する。この反射除去処理も文献３の影除去と同程度の演算量の増加が必要である。

以上は混合ガウスモデルを画素に着目して説明したが、文献３は画素ブロックの周波数変換したものから特徴量を算出しており、また、文献４では画素ブロックのＲＧＢ色平均から特徴量を算出している。また、文献２，３，４では画素ブロックの大きさを次第に大きくして同じ前景分離を繰り返す方法を論じているが、本発明の本質的な部分ではないので割愛する。

以上のように、文献３および文献４に従えば、混合ガウスモデルによる前景領域から影や反射領域の画素を検出し、影と反射領域を前景分離領域から差し引くことで正しい前景シルエットが抽出できる。この場合の演算量の増加は前景と判断された画素に対して１０〜２０％程度となる。

C. Stauffer and W.E.L Grimson, "Adaptive background mixture models for real-time tracking", CVPR 1999, pp.246-252, 1999. Hiroaki Tezuka and Takao Nishitani, "Multiresolutional Gaussian Mixture Model for Presise and Stable Foreground Segmentation in Transform Domain", IEICE Trans. Fundamentals, Vol. E-92-A, No.3 March 2009. Toshiaki Shiota, Kazuki Nakagami and Takao Nishitani, "Transform Domain Shadow Removal for Foreground Silhouette", IEICE Trans. Fundamentals, Vol. E96-A, No.3, pp667-674, March 2013. Yoshihiro Yamashita, Takao Nishitani, Toru Yamaguchi, and Bunken Oh, "Software implementation approach for fingertip detection based on Color Multi-Layer GMM", ISCE2014, pp142-143, June 22, 2014.

以上の前景分離法を屋内環境でメガネに付属したカメラにより自分の指先や腕の動作を検出する場合、カメラアングルの外部にある体により発生するカメラアングル内への影や、体で遮られた反射光は腕の動きとは無関係に変化する。特に、室内応用では近くにあるライトスタンドからの光が室内に散在する反射性の家具によって背後からカメラアングル内に入り込む。例えば、テレビ画面やタブレット画面、鏡や食器棚のガラス戸などが新たな反射源になる。メガネの使用者の体はこのような反射の通路を塞いだり、開いたりすることになる。このような影や反射の変化は体の動きで変化するため、動画像のフレームレートよりはるかに遅く、カメラアングル内に及ぼす影響は広範囲に亘ることが多い。ただし、変化が遅いといっても、混合ガウスモデルの更新分類機能により前景が次第に背景に変わるほど長時間でもない。このため、比較的長い時間にわたって公知の影除去と反射除去機能を用いることになる。しかし、影や反射で影響を受ける領域が広範囲になると、この影や反射が続く限り常時影除去処理と反射除去処理を混合ガウスモデルによる前景部分に対して実行する必要があった。

実際に、影や反射がどの程度であるのかを示すのが図４の写真集４０である。写真集４０は混合ガウスモデルによる指先検出までの途中結果を示す写真で構成されており、写真４０１および４０２は指さし動作のサンプル動画の第４０フレームと第２４０フレームである。写真集４０のその他の画像はすべて前景もしくは有意な情報を含む領域を１とし、背景もしくは有意な情報を含まない領域を０とした2値画像である。写真４０３および４０４はそれぞれ混合ガウスモデルによる前景分離を通過した直後の４０１および４０２に対する処理結果の例である。特に写真４０４では、影や反射が前景分離に及ぼす影響が広範囲である。屋外監視と異なり、この様な領域は前景領域とともに動き回ることはないが、明るさの変化で前景となり続ける。写真４０５および４０６は写真４０３および４０４の後で検出された影と反射の領域を示したものである。写真４０３および４０４よりこれらの領域を排除して、真の前景領域を示したものが写真４０７および４０８である。前景と検出された写真４０３および４０４の前景領域全体に影除去や反射除去を行うため、カメラアングル外の体の動きが変化するまで、写真４０３および４０４の白い領域全体が毎フレーム影除去や反射除去を行って真の前景か否かをテストする必要がある領域となる。

影除去や反射除去に必要な演算量は画素あたりの混合ガウスモデルによる前景分離と比べて各々１０％ほどである。ゆえに、図４の写真４０４のような全画面の半分以上が混合ガウスモデルによる前景分離で前景画素と判定されればこの領域に影除去と反射除去で約１０〜２０％程度の演算量が増加する。このような状況が頻発するので常時ほぼ１０〜２０％の演算量増加を見込む必要性がある。これは演算処理部の処理能力を１０〜２０％高速化して準備することであり、消費電力も１０〜２０％増加することを意味する。

動画像を構成するフレーム画像を画素毎に分け、画素より複数の特徴量要素を抽出する手段と、混合ガウスモデルによる前景分離手段であって、前記特徴量の要素毎の振る舞いを複数のガウス分布による確率分布でモデル化し、特徴量がこれらのガウス分布領域に合わない場合は特徴量を平均とするガウス分布を生成して、既存構成ガウス分布で一番使われなくなったものと置き換え、かつ、全ての構成ガウス分布の係数をフレーム毎に特徴量要素で修正し、構成ガウス分布をこれまでの使用頻度の高い背景ガウス分布と使用頻度の少ない前景ガウス分布に分離し、現在の画素の特徴量が前景ガウス分布の領域である場合のみ前景とする手段と、前記前景分離手段で影もしくは反射に起因して前景となった画素を検出して背景に戻す手段と、前記手段で背景に戻された画素要素を平均として持つ前景ガウス分布と任意の背景ガウス分布間で平均以外のガウス分布係数を交換する手段とにより構成され、混合ガウスモデルの構成ガウス分布係数の修正を混合ガウスモデル内の適応更新に加えて新たな前景ガウス分布とある背景ガウス分布間で平均を除くガウス分布係数を交換して次のフレーム処理に伝えることを特徴としている。

また、前記の解決法において、複数の画素を矩形状に集めた画素ブロックにまとめ、その画素ブロック毎の色平均、もしくは周波数成分を特徴量とすることで、混合ガウスモデルによる前景分離、影除去、反射除去、係数交換を画素ブロックごとに行うことでさらに演算量を削減することを特徴とする動画処理装置、動画像情報処理プログラムおよび動画処理方法である。

本発明によれば、カメラアングル外から影や反射の領域が突然現れ、その状態がしばらく継続する場合は、次のフレーム処理では混合ガウスモデルによる前景分離の部分で影や反射の領域を背景にできる。これは、影や反射が突然現れたフレームにおいては影もしくは反射と判断された領域を検出して前景から背景に変更するだけでなく、変更を行った画素の前景ガウス分布の標準偏差と重み係数を任意の背景ガウスのものと交換するためである。現在のフレームでは図3の写真４０６のような混合ガウスモデルによる前景分離で多くの前景領域を生成して、この前景領域に影除去処理と反射除去処理を必要とするが、次フレームでは混合ガウスモデルの構成ガウス分布の構造が前景ガウス分布と背景ガウス分布間でガウス分布係数を交換するため、混合ガウスモデルによる前景分離で直接図4の写真４０８に相当する真の前景だけを抽出できる様になる。

本発明の一実施形態に係る動画処理装置を示す概略図である。 本発明の一実施形態に係る動画像処理プログラムを示す機能ブロック図である。 本発明の一実施形態に係る動画処理方法を示すフロー図である。 混合ガウスモデルによる前景分離画像、影もしくは反射領域の画像、影や反射を含まない前景分離画像を示す写真集である。

本発明に係る一実施形態について図1から図3を参照して説明する。本実施例は画素ごとに特徴量を設ける方法を述べるが、画素を矩形状のブロックに分けて特徴量を生成する方法も本発明の一部である。

本実施形態に係る動画像処理装置１は図１に示すように、撮像された動画像の画像信号を保存する第1の記録部２と画素毎の混合ガウスモデルを構成する全てのガウス分布の平均、標準偏差、重み係数を保持する第2の記録部３と、画像信号の演算処理や制御処理等を行う中央処理部４と、画像処理に必要なプログラムを格納するプログラム格納部５と、を備えている。これらは、バス６介して相互に通信可能となるように接続される。そして、画像信号を処理した結果などを表示するために表示部７と接続される。

動画処理装置１は、プログラム格納部５内の動画情報処理プログラムの機能手段（プログラムモジュール）で動作する。この機能手段は図２に示すように、特徴量生成部８と、混合ガウスモデル分離部９と、その後のプログラムモジュールの流れを変更する流れ変更部１０と、流れ変更部で前景画素であると判断されたときに実行する影除去部１１と、反射除去部１２、係数交換部１３と、を備えている。また、混合ガウスモデル分離部９は３個のサブ機能ブロックとして比較・生成部９１、更新・分類部９２、および前景決定部９３からなっている。以上の機能は、画像データを保持する図１の第1の記録部２および前フレーム処理で用いた混合ガウスモデルの各構成ガウス分布の平均、標準偏差、重み係数を蓄えた図１の第２の記録部３のデータを利用して、プログラム格納部５内の各プログラムモジュールにより順次処理される。プログラムモジュールの実行には図１の中央処理部４においてプログラムメモリ部５内のプログラムモジュールにより制御部１４を介して第１の記憶部２、第２の記憶部３中央処理部４の間の処理データの流れを制御している。

また、図2のプログラムモジュールを用いた制御部１４を介したプログラムモジュール間の実行に関する流れ図を図3に示す。図3は現在のフレームの新しい画素の処理の開始部２０、特徴量生成部８、混合ガウスモデル分離部９およびその内部の比較・生成部９１、更新・分離部９２、前景決定部９３、流れ変更部１０、影除去部１１、反射除去部１２、係数交換部１３であり、これ等のプログラムモジュールは第２図と同じ名称である。ただし、影除去部１１と反射除去部１２は処理した結果の判断を行う機能もあるため、細部も記述している。つまり、影除去部１１は影検出部１１１、影決定部１１２、前景変更部１１３からなり、同様に反射除去部１２も反射検出部１２１、反射決定部１２２、前景変更部１２３からなっている。また、画素の処理終了時は２１から流れ図を脱出する。以下、図２を中心に述べる。

まず、図2の特徴量生成部８は図１の第1の記録部２からフレーム画像の画素を取り込み、その色成分であるＲＧＢに分解して、ＲＧＢの3個の色成分を３個の特徴量要素とする特徴量を作る。

続く混合ガウスモデル分離部９は特徴量生成部８で得られた特徴量と、図1の第2の記録部３に蓄えられた前フレームでの同一位置にある画素が持つ混合ガウスモデルの全ての構成ガウス分布の平均（μ）、標準偏差（σ）、重み係数（ω）を用いて公知の混合ガウスモデルを用いた前景分離を実行する。この機能は比較・生成部９１、更新・分離部９２、前景決定部９３の3個のサブ機能モジュールからなり、これらのサブ機能モジュールをこの順番で順次実行する。

第1のサブ機能である比較・生成部９１は各々の特徴量要素毎に１フレーム前の対応する画素の混合ガウスモデルを構築しているガウス分布のいずれかの領域に特徴量要素が入っているかどうかをチェックし、入っていない場合は現在の特徴量要素を平均として、大きく設定された初期標準偏差および小さく設定された初期重み係数を持つガウス分布を生成する。さらに、この分布と既存の構成ガウス分布の中で最も小さい重み係数を持つガウス分布と入れ替える。

続いて第2のサブ機能部である更新・分類部９２を実行する。ここでは１フレーム前の対応する画素の特徴量の要素毎に混合ガウスモデルの各構成ガウス分布の平均（μ）、標準偏差（σ）、および重み係数（ω）の値をこのフレームにおける特徴量要素を用いて適応的に更新し、更新結果に基づいて構成ガウス分布を背景ガウス分布と前景ガウス分布に分ける。更新方法は特徴量要素をガウス分布の領域に含むガウス分布に対しては平均（μ）と標準偏差（σ）に特徴量要素を少し反映させる方法を取り、その他のガウス分布は変化させない。また、重み係数（ω）は特徴量要素を包含するガウス分布に関しては微増させ、その他のガウス分布は微減させる。その後、各分布のωの総和は１になるように正規化する。前景ガウス分布と背景ガウス分布に分類する手順は更新された各ガウス分布の標準偏差（σ）と重み係数（ω）を用いる。各構成ガウス分布からω/σを計算し、この値が大きい順にガウス分布を並び替える。ω/σを大きいものから累算して、ある閾値になるところまでを背景ガウス分布とする。よって、ω/σの小さいものは前景ガウス分布になる

続いて前景決定部９３に移る。各特徴量要素を包含するガウス分布が一つでも前景ガウス分布である場合は、その画素は前景とする。逆に全ての特徴量要素がそれぞれの混合ガウスモデルの背景ガウス分布である場合はその画素を背景とする。参考までに、図４の写真４０３，４０４に対する前景分離画像は、前景決定部９３までを画素ごとに処理を行い、前景を１、背景を０として、フレーム画像全体の画素処理が終わった状態を示したものである。

この前景分離画像には影領域や反射領域が含まれる。そのため、図2の混合ガウスモデル分離部９を終わった画素は流れ変更部１０に伝えられる。ここでは、前景画素となったものだけを引き続く処理に回し、背景画素となっている場合は図１の第２の記録部３にこのフレームで更新した混合ガウスモデルの全構成ガウス分布の平均（μ）、標準偏差（σ）、重み係数（ω）を記録してこの画素のフレームでの処理を終わる。

前述の流れ変更部１０で現在処理している画素が前景であれば続く処理は影除去部１１である。影除去も公知であるが本発明に関連する部分であるので後程図３を用いて簡単に述べる。この影除去部１１で影と判断されれば、前景画素を背景画素に変更して係数交換部１３に移る。影ではないと判断されれば続く処理は反射除去部１２である。

影除去部１１の構造は図3のプログラムの流れ図に詳しい。図３の特徴量生成部８、混合ガウスモデル分離部９および混合ガウスモデル分離部のサブ機能である比較・生成部９１、更新・分離部９２、前景決定部９３はすでに図2で説明したとおりであり、流れ変更部１０で前景であった画素は、公知の影検出部１１１で影検出処理を行う。影検出部１１１では前景となった特徴量要素が背景に投影される影のためである場合を検出する。この操作により影であるかどうかを判定するのが影決定部１１２である。このため、影決定部１１２で影であると判断できると、前景変更部１１３に進み、この画素は前景から背景に修正される。その後、後に述べる係数交換部１３に進む。一方、影決定部１１２で影ではない場合は引き続き反射除去部１２へ進む。

図2の影除去部１１の処理が終わり、反射除去部１２の処理に進むのは前景であるが影領域ではない場合である。反射除去部１２の流れを図3の反射処理部１２のサブ機能を用いた流れ図で説明する。図3のこの部分は反射検出部１２１、反射決定部１２２、および前景変更部１２３で構成されている。まず、前景ではあるが影ではないと判断された画素は反射除去部１２の内部の反射検出部１２１で公知の方法により反射検出処理を行う。この判定は反射決定部１２２で行われ、反射ではない場合は影でも反射でもない前景部であるため、現フレームで更新した混合ガウスモデルの全構成ガウス分布の平均（μ）、標準偏差（σ）、重み係数（ω）を図1の第2の記録部３へ格納して画素処理を終わる。一方、反射であると判定された場合は前景変更部１２３で前景画素から背景画素に変更する。その後、係数交換部１３へ移る。

図3より明らかであるが、係数交換部１３は影除去部１１の前景変更１１３部から直接来る場合と、反射除去部１２の前景変更部１２３から来る場合がある。係数交換部１３の機能を説明するために係数交換部１３に到着した画素に対応する前景ガウス分布は影や反射の影響が初めて現れるガウス分布であるため、比較・生成部９１で生成されたもので、ガウス分布の平均は特徴量要素そのものであり、これをμ1と記述する。また、初期値として与えられた標準偏差をσ１、重み係数をω１とする。ここで、更新・分離部９２で前景ガウス分布と背景ガウス分布に分ける際の分離境界となる背景ガウス分布は背景ガウス分布のうち、最も小さい（ω/σ）を持つ。任意の背景ガウス分布を選択しても良いが、以下では最も厳しい条件であるこの背景ガウスを用いて説明する。このガウス分布の平均をμ2、標準偏差をσ2、重み係数をω２とする。特徴量要素毎にこのような値があるはずであるが、操作は同じであるのでここで述べた代表的な特徴量要素で説明する。この時、係数交換部では以下の変更を行う。

つまり、現在の特徴量要素を平均（μ1）として持っているガウス分布の標準偏差と重み係数を背景ガウス分布の内で最も小さい（ω/σ）を持つガウス分布の標準偏差（σ２）と重み係数（ω２）に置き換え、同様に前景ガウス分布に標準偏差と重み係数を供給した背景ガウス分布は平均（μ2）は変化しないが、標準偏差と重み係数はそれぞれσ１とω１に置き換える。つまり、この２つのガウス分布の間で標準偏差と重み係数を交換する。その後、全ての混合ガウスモデル係数を図１の第２の記録部３へ格納して、この画素のフレーム処理を終わる。

この操作で一度係数交換を通過した画素は、影ないし反射の位置が変化しない限り、次のフレームの混合ガウスモデル分離部９の更新・分離部９２で全てのガウス分布の係数が修正され、これに基づいて前景ガウス分布と背景ガウス分布に分離しても、前のフレームで生まれたばかりの平均μ１を持つ前景ガウス分布は次のフレームでは背景ガウス分布となる理由を次に述べる。

今、初めて影ないし反射により新たな前景領域となる領域内画素の状況を述べる。この場合、混合ガウスモデル分離部９の比較・生成部９１では前フレームの混合ガウスモデルを構成する全ガウス分布とは一致しないために新しいガウス分布を誕生させる。このため、新しいガウス分布として特徴量要素をμ1とし、大きい値を持つ初期標準偏差（σ１）と小さい初期重み係数（ω１）が設定される。続いて、更新・分類部９２では混合ガウスモデルの構成ガウス分布は（ω/σ）の大きい順に並べ替えられるが、大きい標準偏差σ１でかつ小さい重み係数ω１を持って誕生したガウス分布は（ω/σ）が非常に小さくなり、一番後の順番になる。よって、前景決定部９３では比較生成部９１で現在のフレームの特徴量要素を平均として持つ誕生したてのガウス分布に含まれ、更新分類部９２でこれが前景ガウス分布となる。このため、この画素は前景となっている。

この前景となった画素は影ないし反射によって前景となっていると仮定しているため、流れ変更部１０を介して影除去１１もしくは反射除去１２で影領域もしくは反射領域となる筈である。この場合、この画素は前景変更部１１３もしくは１２３で画素自体は背景に代わる。その後、係数交換部１３に到達する。ここで数式１で示した係数交換を行う。つまり、この新しく生まれた前景ガウス分布は平均μ１、標準偏差σ２、および重み係数ω２を持つ。このような係数交換を行った後、混合ガウスモデルの構成ガウス分布係数を次フレームでの処理のために図1の第2の記録部３へ蓄える。

引き続くフレームでも影や反射が１フレーム前とほぼ同一の光の強さで同一部分にあると仮定する。これはμ１に近い特徴量要素であることを意味している。よって、混合ガウスモデル分離部９の比較・生成部９１では先のフレームで生成され、係数交換部１３により特徴量要素μ１を持ち、標準偏差σ２と重み係数ω２を持つガウス分布の領域に入る。他のガウス分布は特徴量要素をそれぞれの領域には含まないため、更新・分離部９２ではμとσに関する更新は行わない。また、これ等のガウス分布ではωは微減になる。一方、先のフレームで誕生したガウス分布ではμ１、σ２は微調整され、ω２は微増になる。この後、（ω/σ）の大きいもの順に並べて背景ガウス分布と前景ガウス分布に分離するが、先のフレームで誕生したガウス分布が持つω２は大きくなり、他のガウス分布のωは微減であること、さらにσに関しては先のフレームで誕生したガウス分布のσは多少の変化を起こすものの、他のガウス分布のσは不変である。よって、先に誕生したガウス分布のσが多少増大してもωの増大分と相殺されるので、（ω/σ）の値では先のフレームで係数交換した背景ガウス分布と同程度の大きさになる。残りのガウス分布はωを減衰された分小さくなる。よって、更新・分離部９２で（ω/σ）の大きいもの順に構成ガウス分布を並べると、前フレームで誕生したガウス分布の順番は前フレームで係数交換した背景ガウス分布の順番より前方に来ることがあっても後方になることはない。よって、このガウス分布は確実に背景ガウスに分類される。ゆえに、前景決定部９３では、この画素は背景となる。このため、流れ変更部１０では直ちに残りの影除去部１１、反射除去部１２、係数交換部１３をバイパスして全体の処理を終了する。

逆に、影や反射が急に消えた場合を考える。この場合は影や反射領域にあった画素は混合ガウスモデル部９で前景となる。このため、流れ変更部１０では影除去部１１もしくは反射除去部に誘導される。影の領域にあった画素はこれまでの影の状況から明るくなる。つまり、この場合は相対的に反射の状況になり、反射除去部１２の前景変換部１２３で画素は強制的に背景とされ、係数交換部１３に誘導される。逆に、反射の領域であった場合はこれまでの反射の状況が暗くなる。つまり、相対的に影の状況が発生するため、影除去部１１の前景変更部１１３で強制的に画素は背景化され、係数交換部１３へ誘導される。係数変換部１３で、現在影もしくは反射と判断された前景ガウス分布は平均は特徴量要素そのままにして現在背景ガウス分布である分布の標準偏差と重み係数を交換される。よって、次のフレームからは背景ガウス分布になる。このため、次フレームからは混合ガウスモデル分離部９の出力で背景となり、その結果として、影や反射のような余分な前景を含まない真の前景分離画像が得られる。よって、影除去部１１、反射除去部１２、係数交換部１３はそれ以降影や反射領域が変わらない限り使われることはない。

以上のように、本発明に従えば影もしくは反射に起因する前景であれば、同一場所に影もしくは反射が起こっている場合、次のフレーム処理では混合ガウスモデル分離部９で確実に背景となり、影除去部１１、反射除去部１２、係数交換部１３は実行せずに１フレーム分の前景分離処理を終える。広範囲に影や反射の領域が広がりやすい応用においては影除去や反射除去の処理領域を大幅に削減でき、演算量の削減に伴った低消費電力化に貢献できる。

なお、実施例では画素を単位として前景分離をする場合を説明したが、特徴量生成部でフレーム画像を小さい矩形領域に分割して特徴量としてこの矩形領域のＲＧＢ色平均を用いたり、この領域の周波数成分を用いるのも本発明の一部である。

また、影除去部と反射除去部を入れ替えたり、図３の背景への変更部１０４と１１３など、一部の機能を融合させた方法も本発明の一部である。

さらに、更新分類部９２で（ω/σ）の大きな順に並べ替えて背景ガウスと前景ガウスを決定したが、σを無視してωだけで並べ替えるのも本発明の一部であり、この場合は係数交換部１２ではωの交換だけにする方法も本発明の一部である。

第1図
1 動画像処理装置
２ 第1の記録部
３ 第2の記録部
４ 中央処理部
５ プログラム格納部
６ バス
７ 表示部
第2図
１ 動画処理プログラム
８ 特徴量生成部
９ 混合ガウスモデル分離部
９１ 比較・生成部
９２ 更新・分類部
９３ 前景決定部
１０ 流れ変更部
１１ 影除去部
１２ 反射除去部
１３ 係数交換部
１４ 制御部
第3図
２０ スタート部
１１１ 影検出部
１１２ 影決定部
１１３ 前景変更部
１２１ 反射検出部
１２２ 反射決定部
１２３ 前景変更部
２１ 画素処理終了部
第4図
４０ 影・反射の影響を示した写真集
４０１ サンプルビデオのフレーム番号40の原画像写真
４０２ サンプルビデオのフレーム番号２４０の元画像写真
４０３ フレーム番号４０の混合ガウスモデル分離部の出力画像写真
４０４ フレーム番号２４０の混合ガウスモデル分離部の出力画像写真
４０５ フレーム番号４０の影除去および反射除去の領域の写真
４０６ フレーム番号２４０の影除去および反射除去の領域の写真
４０７ フレーム番号４０の影・反射除去後の写真
４０８ フレーム番号２４０の影・反射除去後の写真

Claims (2)

1. 動画像を構成するフレーム画像を画素毎に分け、画素より特徴量を抽出する手段と、混合ガウスモデルによる前景分離手段であって、前記特徴量の振る舞いを複数のガウス分布による確率分布でモデル化し、現在の特徴量がこれらのガウス分布に合わない場合は特徴量を平均とするガウス分布を生成して既存ガウス分布のうち最も使われていないガウス分布に置き換え、この混合ガウスモデルの構成ガウス分布の係数を特徴量に従って修正して次のフレームに混合ガウスモデルを伝え、これまでに使用頻度の高い背景ガウス分布と使用頻度の少ない前景ガウス分布に分離し、現在の画素の特徴量が前景ガウス分布の場合のみ前景とする手段と、前景画素に対して影もしくは反射源に起因して前景となった画素を検出して前景画素を背景に戻す手段と、前記手段で背景に戻された画素の混合ガウスモデルのうち現状の特徴量を平均として持つガウス分布と任意の背景ガウス分布の間で平均以外のガウス分布変数を交換する手段とにより構成され、混合ガウスモデルの修正にガウス分布の係数を交換する新たな手段を追加することを特徴とする動画像処理装置、動画像情報処理プログラムおよび動画像処理方法。
2. 請求項１における画素に代えて、フレーム画像を複数個の画素からなるブロックに分割し、特徴量はブロック内のＲＧＢ色平均値とするか、ブロック内を周波数変換して得られる周波数スペクトルからスペクトルをの組み合わせにより特徴量を構成する方法。

Images