JP6598952B2 - 画像処理装置及び方法及び監視システム - Google Patents

Description

本発明は、画像処理に関し、特に、例えば前景検出及び監視に関するものである。

画像処理では、１つの態様において、画像（例えば映像の１つの画像）は一般に、画像の外観に寄与する視認可能な特性である視覚要素から構成されている。１つの視覚要素は、例えば、画素、複数画素のグループを表す離散的コサイン変換（ＤＣＴ）ブロック、又は、類似属性（類似テクスチャ、類似色、類似輝度）を有する複数画素のグループを表すスーパーピクセルである。別の態様において、特に前景検出では、現画像よりも前の任意の継続時間における映像の画像に基づいて取得されている背景画像と比較することによって“前景”又は“背景”として映像の現画像における視覚要素を分類するために既存の背景差分技術が一般に使用される。“前景”とは映像上で撮像されたシーンに現れる一時的な物体を指す。そうした一時的な物体は、例えば、移動する人間又は移動する車を含んでもよい。シーンの残りの部分は“背景”であるものと考えられる。

しかしながら、いくつかの状況では、誤った前景検出が起こるだろう。例えば、１つの状況では、背景画像における対応する視覚要素と比較することによって現画像における水面のさざなみ又は葉の視覚要素が任意の変化を有する場合、実際には背景である水面のさざなみ又は風で動く葉が誤って前景として検出されるだろう。例えば、別の状況では、低精度のグラフセグメンテーションアルゴリズムがスーパーピクセル（すなわち視覚要素）を取得するために使用される場合、すなわち、現画像から取得された視覚要素が、現画像の前の画像から取得された対応視覚要素と一定を保つことができないかもしれない場合、それにより、背景画像における対応視覚要素と比較することによって現画像における視覚要素は任意の変化を有するだろうし、誤った前景検出にも至るだろう。

それ故、上述の誤った前景検出を可能な限り排除するために、“Moving Objects Detection and Segmentation Based on Background Subtraction and Image Over-Segmentation” (Yun-fang Zhu, ＜Journal of Software＞ VOL. 6, NO. 7, July, 2011)において１つの例示的技術が開示されている。現画像における１つの視覚要素について、この例示的技術は、この視覚要素の背景信頼度に従って前景又は背景としてこの視覚要素を検出する。より具体的には、この視覚要素の背景信頼度が閾値よりも大きい場合、この視覚要素は背景として検出されるだろう。この視覚要素の背景信頼度は第１の数の第２の数に対する割合（比率）であり、第１の数は、この視覚要素の近くであり且つこの視覚要素と同じ色を有する現画像における視覚要素の数を示しており、第２の数は、この視覚要素の近くであり且つ前景として検出される現画像における視覚要素の数を示している。

しかしながら、検出されるべき１つの視覚要素の近くの視覚要素のグループが誤って前景として検出される場合、上述の第１の数及び上述の第２の数の両方がより大きくなるだろうし、それは、検出されるべきこの視覚要素の背景信頼度を小さくし、閾値よりも小さくしてしまうだろう。それ故、上述の誤った前景検出を可能な限り排除することができず、前景検出を可能な限り改良することができない。

本発明の一態様によれば、画像処理装置であって、入力映像から現画像を取得すると共に、背景画像及び視覚要素の分類情報を含む背景モデルを取得する取得手段であって、前記視覚要素の前記分類情報は前景及び背景を含む、前記取得手段と、前記現画像及び前記背景モデル中の前記背景画像に従って前記現画像における前記視覚要素を前記前景又は前記背景として分類する分類手段と、前記現画像中のグループ及び前記背景モデル中のグループの間の類似度を判定する類似度判定手段であって、前記現画像中の前記グループの視覚要素は、前記分類手段により前記前景として分類された前記現画像中の前記視覚要素であり、前記背景モデル中の前記グループの視覚要素は、分類情報が前記前景である前記視覚要素であり、前記背景モデル中の前記グループの前記視覚要素は、前記現画像中の前記グループの前記視覚要素の対応部分の近くの視覚要素である、前記類似度判定手段と、前記類似度判定手段により判定された前記類似度に従って、前記分類手段により前記前景として分類されている前記現画像中の前記視覚要素が誤って分類されているか否かを識別する識別手段と、を備えることを特徴とする画像処理装置が提供される。

前記背景モデル中の前記背景画像は、前記現画像の少なくとも１つの前の画像に従って取得される。前記背景モデル中の前記視覚要素の前記分類情報は、前記現画像の少なくとも１つの前の画像において前記前景又は前記背景として識別されている前記視覚要素に従って取得される。

本発明を利用することで、前景検出の精度が向上するだろう。

本発明の更なる特性、特徴及び利点が、図面を参照した以下の記載から明らかになるだろう。

明細書に組み込まれ、明細書の一部を構成する添付の図面は、本発明の実施形態を説明し、その記載と共に本発明の原則を説明するのに役立つものである。
図１は、本発明の実施形態に従った技術を実施できるハードウェア構成を概略的に示すブロック図である。 図２は、本発明の実施形態に従った画像処理装置の構成を例示するブロック図である。 図３Ａ乃至図３Ｈは、本発明に従った、現画像の前の画像における要素の視覚前景／背景の分類結果、及び、背景モデルにおける視覚要素の前景／背景の分類情報を概略的に示す。 図４は、本発明の実施形態に従った画像処理のフローチャートを概略的に示す。 図５は、本発明に従った図４に示されるようなステップＳ４２０のフローチャートを概略的に示す。 図６は、本発明に従った図４に示されるようなステップＳ４３０のフローチャートを概略的に示す。 図７Ａ乃至図７Ｂは、本発明に従った、現画像、及び、背景モデルにおける視覚要素の前景／背景の分類情報を概略的に示す。 図８は、本発明に従った例示的な監視の構成を示す。

以下、図面を参照しながら、本発明の例示的な実施形態を詳細に説明する。以下の記載は性質の単なる例証及び例示であり、決して本発明及びその適用又は使用を制限する意図はないことに留意されたい。構成要素及びステップの相対的な配置、実施形態で説明される数式及び数値は、具体的に述べられていない限り、本発明の範囲を制限するものではない。さらに、当業者に知られている技術、方法及び装置は詳細に議論されないかもしれないが、必要に応じて明細書の一部であることが意図されている。

類似の参照番号及び文字は図面において類似の項目を示しており、１つの図面においてある項目が定義されると、以降の図面についてはそれが議論される必要はない。

一般に、映像上で撮像されたシーンにおいて、真の物体（すなわち前景）が映像において突然現れたり、或いは、消えたりすることは不可能である。すなわち、真の物体は映像において移動軌跡を有するだろう。それ故、映像の現画像における視覚要素のグループ（例えば１つの視覚要素、又は、１つよりも多い視覚要素）が前景である場合、一般に、このグループの視覚要素の対応部分の近くの、現画像の少なくとも１つの前の画像における視覚要素も前景であるだろう。それ故、発明者は、前景検出において、前景として分類されている少なくとも１つの視覚要素を含む映像の現画像における視覚要素のグループについて、現画像の前の画像において前景として識別されており且つ現画像の前の画像においてこのグループの視覚要素の対応部分の近くの視覚要素を、このグループの視覚要素が誤って分類されているか否かを識別するための基準とみなすことができることを見出した。

それ故、本発明では、映像の現画像における視覚要素が前景又は背景として分類された後、前景として分類されている視覚要素について、これらの視覚要素が誤って分類されているか否かを識別するために、これらの視覚要素、及び、前の画像で前景として識別されており且つ前の画像におけるこれらの視覚要素の対応部分の近くにある視覚要素、の間の類似度を考慮するだろう。例えば、前景として分類されている少なくとも１つの視覚要素を含む現画像における視覚要素のグループについて、これらの視覚要素のテクスチャ／色／輝度が類似する等、前の画像において前景として識別されており且つ前の画像においてこのグループの視覚要素の対応部分の近くにある視覚要素と類似するこのグループの視覚要素が多いほど、このグループの視覚要素が正確に分類されている確率が高くなり、すなわち、このグループの視覚要素が真の物体である確率が高くなる。それにより、前の画像において前景として識別されており且つ前の画像においてこのグループの視覚要素の対応部分の近くにある視覚要素に類似するこのグループの視覚要素が少ない場合、このグループの視覚要素は誤って分類されたと識別されるだろう。

それ故、本発明によれば、たとえ背景が、映像の任意の画像において動き（例えば水面のさざなみ又は風に動く葉）を含むとしても、或いは、たとえ低精度のグラフセグメンテーションアルゴリズムが前景検出のために使用される視覚要素を取得するために使用されたとしても、前の処理で取得されている識別された前景／背景の分類結果が後続の処理の基準として使用されるため、誤った前景検出を効率的に排除することができる。従って、前景検出の精度が向上する。

（ハードウェア構成）
まず、図１を参照して、以降に記載の技術を実施できるハードウェア構成を説明する。

ハードウェア構成１００は、例えば、中央処理装置（ＣＰＵ）１１０、ランダムアクセスメモリ（ＲＡＭ）１２０、リードオンリーメモリ（ＲＯＭ）１３０、ハードディスク１４０、入力装置１５０、出力装置１６０、ネットワークインタフェース１７０及びシステムバス１８０を含む。さらに、一実施形態において、ハードウェア構成１００は、タブレットコンピュータ、ラップトップ、デスクトップ又は他の適当な電子装置等の、コンピュータにより実施できる。別の実施形態では、ハードウェア構成１００は、デジタルカメラ、ビデオカメラ、ネットワークカメラ又は他の適当なデジタル装置等の、モニタにより実施されうる。ハードウェア構成１００がモニタにより実施される場合、ハードウェア構成１００は、例えば光学系１９０を更に含む。

一実施形態において、本発明に従った画像処理は、ハードウェア又はファームウェアにより構成され、ハードウェア構成１００のモジュール又は構成要素としての機能を果たす。例えば、図２を参照して以降詳細に説明される画像処理装置２００が、ハードウェア構成１００のモジュール又は構成要素としての機能を果たす。別の実施形態では、本発明に従った画像処理は、ＲＯＭ１３０又はハードディスク１４０に格納されて且つＣＰＵ１１０により実行されるソフトウェアにより構成される。例えば、図４を参照して以降詳細に記載される手順４００が、ＲＯＭ１３０又はハードディスク１４０に格納されたプログラムとしての機能を果たす。

ＣＰＵ１１０は、任意の適当なプログラム可能な制御装置（プロセッサ等）であり、ＲＯＭ１３０又はハードディスク１４０（メモリ等）に格納されている様々なアプリケーションプログラムを実行することにより、以降に記載される様々な機能を実行できる。ＲＡＭ１２０は、ＲＯＭ１３０又はハードディスク１４０からロードされるプログラム又はデータを一時的に格納するために使用され、図４乃至図６を参照して詳細に説明される技術及び他の利用可能な機能を実行する等、ＣＰＵ１１０が様々な手順を実行するスペースとしても使用される。ハードウェア１４０は、オペレーティングシステム（ＯＳ）、様々なアプリケーション、制御プログラム、映像、映像の各画像についての処理結果、及び／又は、予め定義されたデータ（例えば閾値（ＴＨ））等の、多くの種類の情報を格納する。

一実施形態において、入力装置１５０は、ユーザがハードウェア構成１００と対話するのを可能にするために使用される。一例では、ユーザは、入力装置１５０を介して画像／映像／データを入力できる。別の例では、ユーザは、入力装置１５０を介して本発明の対応する処理をトリガできる。さらに、入力装置１５０は、ボタン、キーパッド又はタッチスクリーン等の様々な形態を取ることができる。別の実施形態では、入力装置１５０は、デジタルカメラ、ビデオカメラ及び／又はネットワークカメラ等の、特別な電子装置から出力される画像／映像を受信するために使用される。加えて、ハードウェア構成１００がモニタにより実施される場合、ハードウェア構成１００における光学系１９０は、監視場所の画像／映像を直接撮像するだろう。

一実施形態において、出力装置１６０は、処理結果（前景等）をユーザに対して表示するために使用される。そして、出力装置１６０は、陰極線管（ＣＲＴ）又は液晶ディスプレイ等の、様々な形態を取ることができる。別の実施形態において、出力装置１６０は、警告をユーザに与えるか否かに関する監視解析等の後続の処理へ処理結果を出力するために使用される。

ネットワークインタフェース１７０は、ハードウェア構成１００をネットワークと接続するためのインタフェースを提供する。例えば、ハードウェア構成１００は、ネットワークインタフェース１７０を介して、ネットワークを介して接続された他の電子装置とのデータ通信を実行できる。或いは、無線データ通信を実行するために無線インタフェースがハードウェア構成１００に提供されてもよい。システムバス１８０は、ＣＰＵ１１０、ＲＡＭ１２０、ＲＯＭ１３０、ハードディスク１４０、入力装置１５０、出力装置１６０及びネットワークインタフェース１７０等へ、これらから、又はこれらの間で、互いに、データを転送するためのデータ転送パスを提供してもよい。バスと称されるものの、システムバス１８０は任意の特定の転送技術に限定されるものではない。

上記のハードウェア構成１００は、単なる例示的なものであり、決して本発明及びその適用又は使用を制限する意図はない。そして、簡単化のために、１つだけのハードウェア構成が図１に示されている。しかし、複数のハードウェア構成も必要に応じて使用できる。

（画像処理）
次に、図２乃至図７Ｂを参照して、本発明に従った画像処理を説明する。

図２は、本発明の実施形態に従った画像処理装置２００の構成を示すブロック図である。図２に示されるブロックのいくつか又は全ては専用ハードウェアにより実施できる。図２に示されるように、画像処理装置２００は、取得部２１０、分類部２２０、類似度判定部２３０及び識別部２４０を備えている。

加えて、図２に示される記憶装置２５０は、映像、及び、映像の各画像についての処理結果（すなわち、視覚要素の識別された前景／背景の分類結果）を格納する。例えば、映像は、ユーザにより入力され、或いは、特別な電子装置（例えばカメラ）から出力され、或いは、図１に示されるような光学系により撮像される。或いは、映像及び処理結果は、異なる記憶装置に格納できる。一実施形態において、記憶装置２５０は、図１に示されるＲＯＭ１３０又はハードディスク１４０である。別の実施形態において、記憶装置２５０は、（不図示の）ネットワークを介して画像処理装置２００と接続されるサーバ又は外部記憶装置である。

第１に、一実施形態において、例えば、図１に示されるハードウェア構成１００がコンピュータにより実施される場合、入力装置１５０は、特別な電子装置（例えばカメラ）から出力された或いはユーザにより入力された映像を受信する。第２に、入力装置１５０は、受信した映像を、システムバス１８０を介して画像処理装置２００へ転送する。別の実施形態において、例えば、ハードウェア構成がモニタにより実施される場合、画像処理装置２００は、光学系１９０により撮像される映像を直接受信する。

次に、図２に示されるように、一態様では、取得部２１０は、受信した映像（すなわち入力映像）から現画像を取得する。例えば、現画像はｔ番目の画像であり、ｔは自然数であって２≦ｔ≦Ｔであり、Ｔは入力映像の画像の合計数である。別の態様では、取得部２１０は、記憶装置２５０から背景モデルを取得する。背景モデルは、背景画像及び視覚要素の分類情報を含む。視覚要素の分類情報は、前景及び背景を含む。以降、“視覚要素の分類情報”は、視覚要素の“前景／背景の分類情報”とみなされるだろう。

背景モデルにおける背景画像は、ｔ番目の画像の少なくとも１つの前の画像に従って取得される。すなわち、背景画像はｔ番目の画像より前の任意の継続時間における映像の少なくとも１つの画像に従って取得されるものであり、任意の継続時間は限定されるものではなく、実験的な統計及び／又は経験に基づいて設定される。一例では、背景画像はｔ番目の画像の前の複数画像の平均画像である。別の例では、背景画像はｔ番目の画像の前の画像の何れか１つである。他の例では、背景画像は、例えばガウスモデルに基づいて各画像について生成されるモデルに従ってタイムリーに取得される。しかしながら、それらに限定される必要がないことは容易に明らかである。

背景モデルにおける視覚要素の前景／背景の分類情報は、ｔ番目の画像の少なくとも１つの前の画像において前景又は背景として識別される視覚要素に従って取得される。一例では、視覚要素の前景／背景の分類情報は、ｔ番目の画像の前の複数画像における視覚要素の識別された前景／背景の分類結果を平均化することによって取得される。別の例では、視覚要素の前景／背景の分類情報は、ｔ番目の画像の前の複数画像の何れか１つにおける視覚要素の識別された前景／背景の分類結果である。他の例では、視覚要素の前景／背景の分類情報は、例えばガウスモデルに基づいて各視覚要素について生成されるモデルに従ってタイムリーに取得される。しかしながら、それらに限定される必要がないことは容易に明らかである。

例えば、視覚要素がスーパーピクセルであると仮定すると、且つ、背景モデルにおける視覚要素の前景／背景の分類情報がｔ番目の画像の３枚の前の画像における視覚要素の識別された前景／背景の分類結果に従って取得されると仮定すると、ｔ番目の画像の３枚の前の画像は、例えば、図３Ａに示される（ｔ−３）番目の画像、図３Ｂに示される（ｔ−２）番目の画像、及び図３Ｃに示される（ｔ−１）番目の画像であり、ここで、図３Ａ乃至図３Ｃに示される画像における１つのブロックは、１つの視覚要素を表しており、各ブロックにおける“Ｂ”又は“Ｆ”は、“背景”又は“前景”として識別されており、従って、平均化操作が実行される場合、背景モデルにおける視覚要素の取得された前景／背景の分類情報は、例えば図３Ｄに示される。同様に、例えば、視覚要素がＤＣＴブロックである場合、図３Ｅ乃至図３Ｇはｔ番目の画像の３枚の前の画像を示しており、図３Ｈは、平均化操作が実行される場合の背景モデルにおける視覚要素の取得された前景／背景の分類情報を示す。加えて、視覚要素が画素である場合、同じ方法で背景モデルにおける視覚要素の前景／背景の分類情報が取得されうる。

加えて、ｔ番目の画像の前の複数画像のうちの１つが、背景モデルにおける背景画像として選択される場合、且つ、ｔ番目の画像の前の複数画像のうちの１つにおける視覚要素の識別された前景／背景の分類結果が、背景モデルにおける視覚要素の前景／背景の分類情報として選択される場合、これらの２つの前の画像は、同じ画像でありうるし、或いは、異なる画像でもありうる。

図２に戻り、取得部２１０がｔ番目の画像及び背景モデルを取得した後、分類部２２０は、ｔ番目の画像及び背景モデルにおける背景画像に従って、ｔ番目の画像における視覚要素を前景又は背景として分類する。

次に、類似度判定部２３０は、ｔ番目の画像におけるグループ（すなわち視覚要素グループ）及び背景モデルにおけるグループ（すなわち視覚要素グループ）の間の類似度を判定する。背景モデルにおけるグループ内の視覚要素は、分類情報が前景である視覚要素であり、且つ、背景モデルにおけるグループ内の視覚要素は、ｔ番目の画像におけるグループ内の視覚要素の対応部分の近くの視覚要素である。ｔ番目の画像におけるグループは、ユーザにより設定される方法や、分類部２２０により前景として分類されたｔ番目の画像における視覚要素をクラスタリングすることにより判定される方法等の何れかの方法に従って判定されうる。ｔ番目の画像におけるグループの各々は少なくとも１つの視覚要素を含み、グループの各々における視覚要素は、分類部２２０により前景として分類されるｔ番目の画像における視覚要素である。ｔ番目の画像におけるグループの何れか１つについて、このグループ内の視覚要素の各々は、背景モデルにおけるこの視覚要素の１つの対応部分に対応する。そして、このグループ内の視覚要素の何れか１つについて、この視覚要素の対応部分は、背景モデルにおける位置がｔ番目の画像におけるこの視覚要素の位置と同じ部分である。ｔ番目の画像におけるグループの何れか１つについて、このグループに対応する類似度が大きいほど、このグループ内の視覚要素が正確に分類される確率（可能性）が高くなり、すなわち、このグループ内の視覚要素が真の物体である確率（可能性）が高くなる。

続いて、識別部２４０は、類似度判定部２３０により判定された類似度に従って、分類部２２０により前景として分類されているｔ番目の画像における視覚要素が、誤って分類されているか否かを識別する。

最後に、ｔ番目の画像における視覚要素が識別部２４０により識別された後、一態様では、識別部２４０は、記憶装置２５０に格納された対応情報を更新できるように、且つ、次の画像（例えばｔ＋１番目の画像）のために使用される背景画像を更新された情報に従って取得できるように、ｔ番目の画像における視覚要素の識別された前景／背景の分類結果を記憶装置２５０へ転送する。別の態様では、識別部２４０は、ｔ番目の画像における視覚要素の識別された前景／背景の分類結果を、ｔ番目の画像における前景をユーザに対して表示するために、或いは、監視解析等の後続の処理へｔ番目の画像における前景を出力するために、システムバス１８０を介して図１に示される出力装置１６０へ転送する。

加えて、一般に、前景検出では、入力映像の最初の画像における視覚要素は黙従的に背景としてみなされるだろう。

図４に示されるフローチャート４００は、図２に示される画像処理装置２００の対応する手順である。

図４に示されるように、取得ステップＳ４１０において、取得部２１０は、入力映像からｔ番目の画像を取得し、記憶装置２５０から背景画像及び視覚要素の前景／背景の分類情報を取得する。ここで２≦ｔ≦Ｔである。

分類ステップＳ４２０において、分類部２２０は、ｔ番目の画像及び背景モデルにおける背景画像に従って、ｔ番目の画像における視覚要素を前景又は背景として分類する。一実施形態において、分類部２２０は、図５の参照によりｔ番目の画像における視覚要素を前景又は背景として分類する。

図５に示されるように、ステップＳ４２１において、ｔ番目の画像における視覚要素の各々について、分類部２２０は、この視覚要素及び背景画像における対応視覚要素の間の類似度を算出する。対応視覚要素は、背景画像における位置がｔ番目の画像におけるこの視覚要素の位置と同じである視覚要素である。以降、ｔ番目の画像における視覚要素及び背景画像における対応視覚要素の間の類似度は、“ｔ番目の画像における視覚要素及び背景画像における対応視覚要素の間の視覚距離”とみなされるだろう。ｔ番目の画像における視覚要素の何れか１つについて、対応する視覚距離が大きいほど、この視覚要素及び背景画像における対応視覚要素の間にはより多くの差異（すなわち変化）が含まれ、すなわち、この視覚要素が前景である確率（可能性）が高くなる。

一実施形態において、ｔ番目の画像における視覚要素の各々について、この視覚要素及び背景画像における対応視覚要素の間の視覚距離は、これら２つの視覚要素の特徴値に従って算出される。例えば、これら２つの視覚要素の特徴値間の絶対差分が、対応視覚距離とみなされる。それに限定される必要がないことは容易に明らかである。１つの画像における１つの視覚要素の特徴値は、画像におけるこの視覚要素のチャネル特徴に従って判定できる。例えば、画像がＹＣｂＣｒ色空間にある場合、１つの視覚要素は、Ｙ（輝度）チャネル特徴、Ｃｂ（青）チャネル特徴及びＣｒ（赤）チャネル特徴を含む。画像がＲＧＢ色空間にある場合、１つの視覚要素は、赤チャネル特徴、緑チャネル特徴及び青チャネル特徴を含む。

図５に戻ると、ステップＳ４２２において、分類部２２０は、予め定義された閾値（例えばＴＨ１）及びステップＳ４２１から取得される視覚距離に従って、ｔ番目の画像における視覚要素を前景又は背景として分類する。例えばｔ番目の画像における１つの視覚要素を挙げると、ステップＳ４２１において取得された対応視覚距離がＴＨ１よりも大きい場合、分類部２２０は、この視覚要素を前景として分類する。そうでない場合、この視覚要素は背景として分類されるだろう。

図４に戻り、類似度判定ステップ４３０において、類似度判定部２３０は、ｔ番目の画像におけるグループ及び背景モデルにおけるグループの間の類似度を判定する。背景モデルにおけるグループの視覚要素は、分類情報が前景である視覚要素であり、且つ、背景モデルにおけるグループの視覚要素は、ｔ番目の画像におけるグループの視覚要素の対応部分の近くの視覚要素である。一実施形態において、ｔ番目の画像におけるグループの何れか１つについて、類似度判定部２３０は、図６の参照によりこのグループに対応する類似度を判定する。

図６に示されるように、ステップＳ４３１において、ｔ番目の画像における１つのグループ内のｉ番目の視覚要素について、ここで１≦ｉ≦Ｉであり、Ｉはこのグループ内の視覚要素の合計数であり、類似度判定部２３０は、背景モデルにおける複数グループのうちの１つにおける視覚要素に従ってｉ番目の視覚要素に対応する類似度を判定する。

背景モデルにおけるこのグループ内の視覚要素は、分類情報が前景である視覚要素であり、且つ、背景モデルにおけるこのグループ内の視覚要素は、ｉ番目の視覚要素の対応部分の近くの視覚要素である。ｔ番目の画像におけるこのグループ内の視覚要素の何れか１つについて、この視覚要素に対応する類似度が大きいほど、この視覚要素が前景である確率（可能性）が高くなる。

例えば図７Ａに示されるｔ番目の画像及び図７Ｂに示される背景モデルにおける視覚要素の前景／背景の分類情報を挙げると、視覚要素は例えばスーパーピクセルである。図７Ａに示されるように、ｔ番目の画像の各視覚要素における“Ｂ”又は“Ｆ”は、例えば、この視覚要素が分類ステップＳ４２０において分類部２２０により“背景”又は“前景”として分類されることを表しており、類似度が判定されている対応するグループは、例えば視覚要素７１０−７４０を含む。例えばこのグループ内の視覚要素７１０を挙げると、類似度判定部２３０は、以下のように視覚要素７１０に対応する類似度を判定する。このグループ内の視覚要素７１０について、視覚要素７１０の対応部分は図７Ｂに示される視覚要素７５０であり、背景モデルにおける分類情報が前景である視覚要素であって且つ背景モデルにおける視覚要素７５０の近くの視覚要素は、例えば図７Ｂに示される視覚要素７６０−７８０である。

従って、最初に、視覚要素７６０−７８０の各々について、例えば視覚要素７６０を挙げると、類似度判定部２３０は、視覚要素７１０及び視覚要素７６０の間の類似度を、これら２つの視覚要素の特徴値に従って判定する。例えば、これら２つの視覚要素の特徴値の間の絶対差分が、対応類似度としてみなされる。それに限定される必要がないことは容易に明らかである。上記のように、１つの画像における１つの視覚要素の特徴値は、画像におけるこの視覚要素のチャネル特徴に従って判定できる。それ故、視覚要素７１０の特徴値は、ｔ番目の画像におけるそのチャネル特徴に従って判定される。視覚要素７６０の特徴値は、ｔ番目の画像の前の複数画像における視覚要素の特徴値に従って判定され、前の複数画像におけるこれらの視覚要素の位置は、視覚要素７６０の位置と同じであり、且つ、これらの視覚要素の前景／背景の分類結果は、視覚要素７６０の前景／背景の分類情報を判定するために使用される。

続いて、類似度判定部２３０が、視覚要素７１０及び視覚要素７６０の間の類似度（例えばＳｉｍ１とされる）、視覚要素７１０及び視覚要素７７０の間の類似度（例えばＳｉｍ２とされる）、及び、視覚要素７１０及び視覚要素７８０の間の類似度（例えばＳｉｍ３とされる）を判定した後に、類似度判定部２３０は、判定された類似度（すなわちＳｉｍ１、Ｓｉｍ２及びＳｉｍ３）に従って視覚要素７１０に対応する類似度を判定する。一例では、Ｓｉｍ１乃至Ｓｉｍ３の平均値が、視覚要素７１０に対応する類似度として判定される。別の例では、Ｓｉｍ１乃至Ｓｉｍ３のうち値が最大の１つの類似度が、視覚要素７１０に対応する類似度として判定される。しかしながら、それらに限定される必要がないことは容易に明らかである。

図６に戻り、ステップＳ４３２において、類似度判定部２３０は、このグループ内の視覚要素の全てが処理されたか否かを判断する。すなわち、ｉがＩよりも大きいか否かを判断する。そうでない場合、ステップＳ４３３において、類似度判定部２３０はｉ＝ｉ＋１を設定して、上述したステップＳ４３１−Ｓ４３２を繰り返す。そうでなければ、手順はステップＳ４３４へ進む。

ステップＳ４３４において、類似度判定部２３０は、ステップＳ４３１において判定された類似度に従ってｔ番目の画像におけるこのグループに対応する類似度を判定する。一実施形態において、類似度判定部２３０は、以下のようにこのグループに対応する類似度を判定する。最初に、類似度判定部２３０は、予め定義された閾値（例えばＴＨ２）よりも大きい対応する類似度を有するこのグループ内の視覚要素の数を算出することによってカウント数を取得する。続いて、類似度判定部２３０は、このグループ内の視覚要素の合計数に対するカウント数の割合（比率）を算出することによって、このグループに対応する類似度を判定する。例えば、割合（比率）は、以下の式（１）を使用して算出される。

加えて、このグループが１つの視覚要素だけを含む場合、類似度判定部２３０は、この視覚要素に対応する類似度を、直接このグループに対応する類似度とみなす。

図４に戻り、識別ステップ４４０において、識別部２４０は、分類ステップ４２０において前景として分類されているｔ番目の画像における視覚要素が誤って分類されているか否かを、類似度判定ステップ４３０において判定された類似度に従って識別する。

一実施形態において、ｔ番目の画像における複数グループの何れか１つについて、識別部２４０は、このグループ内の視覚要素が誤って分類されているか否かを、予め定義された閾値（例えばＴＨ３）及びこのグループに対応する類似度に従って識別する。上記のように、ｔ番目の画像における複数グループの何れか１つについて、このグループに対応する類似度が大きいほど、このグループ内の視覚要素が真の物体である確率（可能性）が高くなる。それ故、例えば、このグループに対応する類似度（すなわち割合（比率））は、上述した式（１）を使用することにより算出され、且つＴＨ３よりも小さい場合、それは、このグループ内の視覚要素が真の物体である確率（可能性）が低いことを意味しており、識別部２４０は、このグループ内の視覚要素は誤って分類されていると識別する。すなわち、分類部２２０により前景として分類されているこのグループ内の視覚要素は誤った前景である。そうではなく、このグループに対応する類似度（すなわち割合（比率））がＴＨ３以上である場合、識別部２４０は、このグループ内の視覚要素は真の前景（すなわち真の物体）であると識別する。換言すると、何れか１つのグループ内の視覚要素について、識別部２４０は、以下のように視覚要素を識別する。

図４に示されるように、ｔ番目の画像における視覚要素が識別ステップS４４０において識別部２４０により識別された後、一態様では、識別部２４０は、ｔ番目の画像における視覚要素の識別された前景／背景の分類結果を、図２に示される記憶装置２５０又は図１に示される出力装置１６０へ転送する。別の態様では、ステップS４５０において、画像処理装置２００は、入力映像における画像の全てが処理されたかどうか判断する。すなわち、ｔがＴよりも大きいか否かを判断する。そうでない場合、ステップＳ４６０において、画像処理装置２００はｔ＝ｔ＋１を設定して、上述したステップＳ４１０−Ｓ４５０を繰り返す。そうでなければ、図４に示される手順を終了する。

本発明によれば、以前の処理で取得されている識別された前景／背景の分類結果が、後続の処理のための基準として使用されるので、誤った前景検出を効率的に排除することができる。従って、前景検出の精度が向上する。

（監視システム）
上記のように、本発明は、コンピュータ（例えば、タブレットコンピュータ、ラップトップ又はデスクトップ）により実施されうるか、或いは、モニタ（例えばデジタルカメラ、ビデオカメラ又はネットワークカメラ）により実施されうる。例えば、本発明がネットワークカメラにより実施されることを挙げると、ネットワークカメラが本発明の対応処理をトリガされた後、ネットワークカメラは、対応する処理結果（すなわち前景）を、ユーザに対して警告を与えるか否かに関する監視解析等の後続の処理へ出力できる。それ故、本発明の例示的な適用として、例示的なモニタ（例えばネットワークカメラ）が、図８を参照して次に記載されるだろう。図８は、本発明に従った例示的なモニタ８００の構成を示す。図８に示されるように、モニタ８００は、光学系８１０及び上記の画像処理装置２００を備えている。

加えて、図８に示される記憶装置８２０は、撮像映像、及び、当該撮像映像の各画像についての処理結果（すなわち視覚要素の前景／背景の分類結果）を格納する。一実施形態において、記憶装置８２０は、モニタ８００の内部記憶装置である。別の実施形態において、記憶装置８２０は、（不図示）のネットワークを介してモニタ８００と接続されるサーバ又は外部記憶装置である。

図８に示されるように、最初に、光学系８１０は、監視場所（例えば駐車禁止エリア）の映像を継続的に撮像し、撮像映像を記憶装置８２０に格納する。

続いて、画像処理装置２００は、図２乃至図７Bの参照により、撮像映像の画像における視覚要素を前景又は背景として識別し、視覚要素の識別された前景／背景の分類結果を記憶装置８２０に格納する。

例えば、モニタ８００が、監視解析を実行するために使用されるプロセッサへ検出された前景を出力することを挙げ、監視場所が駐車禁止エリアであり且つ予め定義された警告ルールが車又は他の物体が駐車禁止エリアに駐車している場合にユーザに対して警告を与えることであると仮定する。すなわち、駐車禁止エリアは背景であり、車又は駐車禁止エリアに現れる他の物体は前景である。それによって、モニタ８００は、駐車禁止エリアの映像を継続的に撮像し、図８の参照により撮像映像に関する前景検出を実行するだろう。そして、車が検出された場合、モニタ８００は、プロセッサが警告をユーザに与えることができるように、その車をプロセッサに出力するだろう。上記のように、駐車禁止エリアに木々があり、任意の期間において葉が風で動く場合、モニタ８００は、動く葉を誤って前景として検出せず、従って、プロセッサは誤った警告をユーザに与えないだろう。

上記のユニット（部）の全ては、本開示に記載の処理を実施するための例示的且つ／又は好適なモジュールである。これらのユニットは、（フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル信号プロセッサ、特定用途向け集積回路等の）ハードウェアユニット及び／又は（コンピュータ可読プログラム等の）ソフトウェアモジュールでありうる。様々なステップを実施するためのユニットは、網羅的には上に記載されてはいない。しかしながら、任意の処理を実行するステップがある場合、同処理を実施するための（ハードウェア及び／又はソフトウェアにより実施される）対応する機能的なモジュール又はユニットがあってもよい。記載されたステップ及びこれらのステップに対応するユニットの全ての組み合わせによる技術的解決が、それらが構成する技術的解決が完全且つ適用可能である限り、本願の開示に含まれる。

多くの方法で本発明の方法及び装置を実行することができる。例えば、ソフトウェア、ハードウェア、ファームウェア又はそれらの何れかの組み合わせを通じて本発明の方法及び装置を実行することができる。上記の方法のステップの順序は、ほんの例示的なものであることが意図されており、本発明の方法のステップは、具体的にそうでないと述べられていない限り、具体的に上に記載した順序に限定されるものではない。その上、いくつかの実施形態において、本発明は、本発明に従った方法を実施するための機械可読命令を含んだ、記録媒体に記録されたプログラムとして具体化されてもよい。従って、本発明は、本発明に従った方法を実施するためのプログラムを格納する記録媒体もカバーする。

本発明のいくつかの特定の実施形態が例と共に詳細に明示されているが、当業者は、上の例はほんの例示的なものに過ぎず、本発明の範囲を制限しないことが意図されていることを理解すべきである。当業者は、上の実施形態が本発明の範囲及び精神を逸脱することなく修正されうることを理解すべきである。本発明の範囲は、添付の請求項により規定される。

Claims (11)

1. 画像処理装置であって、
   入力映像から現画像を取得すると共に、背景画像及び視覚要素の分類情報を含む背景モデルを取得する取得手段であって、前記視覚要素の前記分類情報は前景及び背景を含む、前記取得手段と、
   前記現画像及び前記背景モデル中の前記背景画像に従って前記現画像における前記視覚要素を前記前景又は前記背景として分類する分類手段と、
   前記現画像中のグループ及び前記背景モデル中のグループの間の類似度を判定する類似度判定手段であって、前記現画像中の前記グループの視覚要素は、前記分類手段により前記前景として分類された前記現画像中の前記視覚要素であり、前記背景モデル中の前記グループの視覚要素は、分類情報が前記前景である前記視覚要素であり、前記背景モデル中の前記グループの前記視覚要素は、前記現画像中の前記グループの前記視覚要素の対応部分の近くの視覚要素である、前記類似度判定手段と、
   前記類似度判定手段により判定された前記類似度に従って、前記分類手段により前記前景として分類されている前記現画像中の前記視覚要素が誤って分類されているか否かを識別する識別手段と、
   を備えることを特徴とする画像処理装置。
2. 前記背景モデル中の前記背景画像は、前記現画像の少なくとも１つの前の画像に従って取得され、
   前記背景モデル中の前記視覚要素の前記分類情報は、前記現画像の少なくとも１つの前の画像において前記前景又は前記背景として識別されている前記視覚要素に従って取得されることを特徴とする請求項１に記載の画像処理装置。
3. 前記現画像における前記グループの何れか１つについて、前記類似度判定手段は、
   このグループにおける前記視覚要素及び前記背景モデル中の前記グループの一部における前記視覚要素の間の類似度に従って、このグループに対応する前記類似度を判定し、
   前記背景モデル中の前記グループの前記一部における前記視覚要素は、分類情報が前記前景である前記視覚要素であり、前記背景モデル中の前記グループの前記一部における前記視覚要素は、前記現画像におけるこのグループの前記視覚要素の対応部分の近くの視覚要素であることを特徴とする請求項１に記載の画像処理装置。
4. 前記現画像におけるこのグループの前記視覚要素の何れか１つについて、この視覚要素に対応する前記類似度は、この視覚要素及び前記背景モデル中の前記グループのうちの１つにおける前記視覚要素の間で類似度を判定することによって判定され、
   前記背景モデル中のこのグループの前記視覚要素は、分類情報が前記前景である視覚要素であり、前記背景モデル中のこのグループの前記視覚要素は、前記現画像におけるこのグループのこの視覚要素の対応部分の近くの視覚要素であることを特徴とする請求項３に記載の画像処理装置。
5. 前記現画像におけるこのグループの前記視覚要素の何れか１つについて、この視覚要素の前記対応部分は、前記背景モデルにおける位置が前記現画像におけるこの視覚要素の位置と同じ部分であることを特徴とする請求項４に記載の画像処理装置。
6. 前記現画像における前記グループの何れか１つについて、このグループが１つの視覚要素を含む場合、前記類似度判定手段は、この視覚要素に対応する前記類似度を、このグループに対応する前記類似度とみなすことを特徴とする請求項３に記載の画像処理装置。
7. 前記現画像における前記グループの何れか１つについて、このグループが１つより多い視覚要素を含む場合、前記類似度判定手段は、このグループにおける前記視覚要素に対応する前記類似度、このグループにおける前記視覚要素の合計数及び予め定義された閾値に従って、このグループに対応する前記類似度を判定することを特徴とする請求項３に記載の画像処理装置。
8. 前記現画像における前記グループの何れか１つについて、前記識別手段は、予め定義された閾値と、前記類似度判定手段により判定されたこのグループに対応する前記類似度とに従って、このグループにおける前記視覚要素が誤って分類されているか否か識別することを特徴とする請求項１に記載の画像処理装置。
9. 画像処理方法であって、
   入力映像から現画像を取得すると共に、背景画像及び視覚要素の分類情報を含む背景モデルを取得する取得ステップであって、前記視覚要素の前記分類情報は前景及び背景を含む、前記取得ステップと、
   前記現画像及び前記背景モデル中の前記背景画像に従って前記現画像における前記視覚要素を前記前景又は前記背景として分類する分類ステップと、
   前記現画像中のグループ及び前記背景モデル中のグループの間の類似度を判定する類似度判定ステップであって、前記現画像中の前記グループの視覚要素は、前記分類ステップで前記前景として分類された前記現画像中の前記視覚要素であり、前記背景モデル中の前記グループの視覚要素は、分類情報が前記前景である前記視覚要素であり、前記背景モデル中の前記グループの前記視覚要素は、前記現画像中の前記グループの前記視覚要素の対応部分の近くの視覚要素である、前記類似度判定ステップと、
   前記類似度判定ステップで判定された前記類似度に従って、前記分類ステップで前記前景として分類されている前記現画像中の前記視覚要素が誤って分類されているか否かを識別する識別ステップと、
   を含むことを特徴とする画像処理方法。
10. 前記現画像における前記グループの何れか１つについて、前記類似度判定ステップでは、このグループに対応する前記類似度は、このグループの前記視覚要素及び前記背景モデル中の前記グループの一部における前記視覚要素の間の類似度に従って判定され、
    前記背景モデル中の前記グループの前記一部における前記視覚要素は、分類情報が前記前景である前記視覚要素であり、前記背景モデル中の前記グループの前記一部における前記視覚要素は、前記現画像におけるこのグループの前記視覚要素の対応部分の近くの視覚要素であることを特徴とする請求項９に記載の画像処理方法。
11. 監視システムであって、
    映像を取得する取得装置と、
    請求項１乃至８の何れか１項に記載の、前記取得された映像の画像における視覚要素を前景又は背景として識別する画像処理装置と、
    前記取得された映像及び前記画像処理装置により判定された処理結果を格納する記憶装置と、
    を備えることを特徴とする監視システム。

Images