JP6787844B2 - オブジェクト抽出装置およびそのスーパーピクセルラベリング方法 - Google Patents

Description

本発明は、カメラ画像からオブジェクトを抽出するオブジェクト抽出装置およびそのスーパーピクセルラベリング方法に係り、特に、少ない処理負荷でスーパーピクセルを高い精度でラベリングすることができ、このラベリング結果に基づいてカメラ画像からオブジェクトを正確に抽出できるオブジェクト抽出装置およびそのスーパーピクセルラベリング方法に関する。

特許文献１には、入力されたカメラ画像を多数のスーパーピクセルに分割し、対応するオブジェクトマスクに基づいて画像内の各スーパーピクセルを「オブジェクト」または「背景」のいずれかに分類してラベル付けし、ラベリング結果に基づいてオブジェクトを抽出する技術が開示されている。

非特許文献１には、3Dボクセルの投影を複数の較正されたカメラに照らし合わせることによって、各3Dボクセルを「物体」または「背景」にラベル付けするための3D視覚交差法ベースのモデルが開示されている。非特許文献２には、グラフ理論に基づくエネルギー最適化手法が開示されている。

特願2017- 97953号

Hiroshi Sankoh, Mehrdad Panahpour Tehrani, Sei Naito, "Method and program for extracting silhouette image and method and program for constructing three dimensional model", US 8363941 B2 Rother, C., Kolmogorov, V., & Blake, A. (2004, August). Grabcut: Interactive foreground extraction using iterated graph cuts. In ACM transactions on graphics (TOG) (Vol. 23, No. 3, pp. 309-314). ACM.

特許文献１では、「オブジェクト」および「背景」のいずれにも明確に分類できない「不明」の取り扱いが考慮されていない。

非特許文献１では、3Dボクセルのラベリングがピクセルまたはボクセルレベルで行われるので非常に敏感であり、抽出されたマスク内に不足領域や不連続領域が生じ得る。したがって、不要な画素の除去と欠落した画素の復元とのトレードオフを回避することができなかった。

非特許文献２では、初期オブジェクト領域と背景領域の割り当てを必要とし、単一のオブジェクト抽出であれば問題ないものの、複数のオブジェクトがある場合は満足のいく結果が得られない。また、物体内部の色分布と背景の色分布が類似していると、物体内部のテクスチャが背景とみなされて除去され易くなり、抽出されたマスクの領域が欠落しまう。

本発明の目的は、上記の技術課題を解決し、少ない処理負荷でスーパーピクセルを高い精度で分類、ラベリングすることができ、このラベリング結果に基づいてカメラ画像からオブジェクトを正確に抽出できるオブジェクト抽出装置およびそのスーパーピクセルラベリング方法を提供することにある。

上記の目的を達成するために、本発明は、画像からオブジェクトを抽出するオブジェクト抽出装置において、画像のオブジェクトマスクM^kを取得する手段と、画像を複数のスーパーピクセルに分割する手段と、各スーパーピクセルをオブジェクトマスクM^kに基づく第１分類手法により、「オブジェクト」、「背景」および「不明」のいずれかに分類する第１分類手段と、「不明」に分類された各スーパーピクセルを「オブジェクト」または「背景」に分類する不明分類手段と、各分類結果に基づいてオブジェクトマスクM^kを見直す手段とを具備し、見直し後のオブジェクトマスクM^kに基づいてオブジェクトを抽出するようにした。

本発明によれば、以下のような効果が達成される。

(1) 第１分類手法によりカテゴリ「不明」に分類されたスーパーピクセルに対してのみ、追加的に他の分類手法を適用するので、全てのスーパーピクセルに対して選択性の高い、換言すれば計算負荷の大きい分類手法を適用する場合に較べて、カテゴリ分類に係る処理負荷を軽減できる。

(2) 第１分類手法によりカテゴリ「不明」に分類されたスーパーピクセルに対して、不明原因である可能性の高い「マスク精度」および「スーパーピクセル分割ミス」に対して選択性の高い分類手法が適用されるので、精度の高い分類、ラベリングが可能になる。

(3)「オブジェクト」に固有のヒストグラムおよび「背景」に固有のヒストグラムに基づいて、「不明」に分類されたスーパーピクセルの特徴ベクトルが「オブジェクト」である確率および「背景」である確率を求めて分類、ラベリングを行うので、定量的な閾値に拠らない適応的で高精度の分類が可能になる。

本発明を適用したオブジェクト抽出装置のブロック図である。 カメラ画像の一例を示した図である。 オブジェクトマスクM^kの一例を示した図である。 本発明の第１実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図である。 第１分類部(40)による分類結果の一例を示した図である。 「オブジェクト」、「背景」および「不明」の各分類結果をカメラ画像との比較で示した図である。 スーパーピクセルの再分割方法を示した図である。 第１分類手法によるスーパーピクセルpiの分類手順を示したフローチャートである。 第２分類手法によるスーパーピクセルpiの分類手順を示したフローチャートである。 第３分類手法によるスーパーピクセルpiの分類手順を示したフローチャートである。 本発明の第２実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図である。 第４分類手法によるスーパーピクセルpiの分類手順を示したフローチャートである。 本発明の第３実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図である。 本発明の第４実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明を適用したオブジェクト抽出装置の概要を示したブロック図である。本発明のオブジェクト抽出装置は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。

多視点画像入力部１０は、オブジェクトObjを異なる視点で撮影する複数台のカメラCak（Ca1，Ca2…）から、図２に一例を示したカメラ画像（動画像を含む）を視点ごとに所定の周期で取得する。オブジェクトマスク生成部２０は、オブジェクトが存在しない環境下で撮影した背景映像をカメラ画像から減じて差分画像を取得し、この差分画像の各ピクセルを所定の閾値と比較する閾値処理により、図３に一例を示したオブジェクトマスクM^kを生成する。

スーパーピクセル分割部３０は、カメラ画像を多数のスーパーピクセルp1,p2…pk（以下、piで代表する）に分割する。スーパーピクセルpiとは、輝度や色等の性質が比較的似ている複数のピクセルをまとめた、知覚的に意味のある小領域である。スーパーピクセルを算出するための手法としては、Graph-based手法、Mean Shift手法あるいはNormalized Cut手法などが知られている。各スーパーピクセルpiはオブジェクトマスクを定義するために有益な境界情報を有している。

第１分類部４０は、後に詳述するように、各スーパーピクセルpiに占めるオブジェク領域の割合（占有率ρ_i）をオブジェクトマスクM_kに基づいて求め、各スーパーピクセルpiを占有率ρ_iに基づいて「オブジェクト（第１類）」、「背景（第２類）」および「不明（第３類）」のいずれかのカテゴリに分類する第１分類手法を採用する。

不明分類部１００は、第１分類部４０が「不明」に分類した各スーパーピクセルのみを対象に、前記第１分類手法とは異なる１ないし複数の分類手法を適用、併用して「オブジェクト」または「背景」に分類する。本実施形態では、不明分類部１００が後述する第２分類部５０，第３分類部６０および／または第４分類部８０を有する。

オブジェクトマスク見直し部７０は、前記分類結果に基づいて前記オブジェクトマスクM^kを見直す。本実施形態では、「オブジェクト」ラベルＬ_objを付されたスーパーピクセルpi内の各画素に対応する画素範囲がオブジェクト領域に修正され、背景ラベルL_bgを付されたスーパーピクセルpi内の各画素に対応する画素範囲が背景領域に修正される。

図４は、本発明の第１実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態では、前記不明分類部１００が第２分類部５０および第３分類部６０を備えている。

第１分類部４０において、オブジェクト占有率計算部４０１は、スーパーピクセルpiごとに当該スーパーピクセルpi内の各画素に対応するオブジェクトマスクM^kの画素がオブジェクト領域であるか否かに基づいて、各スーパーピクセルpiに占めるオブジェクト領域の割合を示すオブジェクト占有率ρ_iを計算する。

オブジェクト識別部４０２は、スーパーピクセルpiごとに、そのオブジェクト占有率ρ_iを所定のオブジェクト識別閾値ρ_{th1_obj}と比較し、次式(1)が成立すると当該スーパーピクセルpiをカテゴリ「オブジェクト」に分類する。

ρ_{th1_obj}＜ρ_i＜１ …(1)

背景識別部４０３は、スーパーピクセルpiごとに、そのオブジェクト占有率ρ_iを所定の背景識別閾値ρ_{th1_bg}と比較し、次式(2)が成立すると当該スーパーピクセルpiをカテゴリ「背景」に分類する。

０＜ρ_i＜ρ_{th1_bg} …(2)

ラベリング部４０４は、カテゴリが「オブジェクト」のスーパーピクセルpiに「オブジェクト」ラベルＬ_objを付し、カテゴリが「背景」のスーパーピクセルpiに背景ラベルL_bgを付する。なお、「オブジェクト」および「背景」のいずれのカテゴリにも分類されなかったスーパーピクセルpiはカテゴリ「不明」に分類され、この時点ではラベル付けが行われない。

図５は、前記第１分類部４０による分類結果の一例を示した図であり、白色部分（画素値＝255）がカテゴリ「オブジェク」に分類された領域、黒色部分（画素値=0）がカテゴリ「背景」に分類された領域である。また、一部拡大して示したように、主に「オブジェク」領域と「背景」領域との境界に位置するグレー部分が、「オブジェクト」および「背景」のいずれにも分類されなかったカテゴリ「不明」の領域である。

図６は、「オブジェクト」、「背景」および「不明」の各分類結果をカメラ画像との比較で示した図である。本発明の発明者らは、スーパーピクセルpiの一部がカテゴリ「不明」に分類される原因が、カテゴリ「不明(1)」のように、スーパーピクセル分割のミスによるものと、カテゴリ「不明(2)」のように、オブジェクトマスクの精度によるものとに大別できることを新たに知見した。

そこで、本発明ではカテゴリ「不明」の領域に対してのみ更に、マスク精度に関わらず選択性の高い高精度の分類を可能にする第２分類手法、およびスーパーピクセル分割のミスに関わらず選択性の高い高精度の分類を可能にする第３分類手法を適用することにより、「不明」領域を「オブジェクト」および「背景」のいずれかに分類するようにしている。

図４へ戻り、第２分類部５０は、カテゴリ「不明」のスーパーピクセルpiのみを対象に、特に「不明(2)」の分類の好適な第２分類手法を適用することで「オブジェクト」または「背景」のいずれかのカテゴリに分類する。そして、カテゴリ「オブジェクト」に分類されたスーパーピクセルpiにはオブジェクトラベルＬ_objを付し、カテゴリ「背景」に分類されたスーパーピクセルには背景ラベルL_bgを付するようにしている。

第２分類部５０において、オブジェクトマスク修正部５０１は、後に詳述するように、前記オブジェクトマスクM^kとは視点の異なる複数の他のカメラ画像のオブジェクトマスクM^k-1，M^k+1に基づいて前記オブジェクトマスクM^kを修正する。

分類再試行部５０２は、カテゴリが「不明」の各スーパーピクセルpiを前記修正後のオブジェクトマスクM^k'に基づいて「オブジェクト」、「背景」および「不明」のいずれかのカテゴリに分類する。ラベリング部５０３は、カテゴリ「オブジェクト」のスーパーピクセルpiにオブジェクトラベルL_objを付し、カテゴリ「背景」のスーパーピクセルpiに背景ラベルL_bgを付する。

第３分類部６０は、前記第2分類部５０による分類後も依然としてカテゴリ「不明」のスーパーピクセルpiを対象に、特に「不明(1)」の分類に好適な第３分類手法を適用することで「オブジェクト」または「背景」のいずれかのカテゴリに分類する。そして、カテゴリ「オブジェクト」のスーパーピクセルにオブジェクトラベルL_objを付し、カテゴリ「背景」のスーパーピクセルに背景ラベルL_bgを付する。

第３分類部６０において、スーパーピクセル再分割部６０１は、図７に示したように、カテゴリが「不明(1)」のスーパーピクセルpiを更に複数のスーパーピクセルに分割する。再分割部６０２は、各スーパーピクセルpiを、そのオブジェクト占有率ρ_iに基づいて「オブジェクト」または「背景」に分類する。

そして、依然として「不明」のスーパーピクセルについてはスーパーピクセル分割を繰り返し、最終的に全てのスーパーピクセルを「オブジェクト」または「背景」に分類する。ラベリング部６０３は、カテゴリ「オブジェクト」のスーパーピクセルpiにオブジェクトラベルＬ_objを付し、カテゴリ「背景」のスーパーピクセルpiに背景ラベルL_bgを付する。

図８は、前記第１分類部４０によるスーパーピクセルpiの分類手順を示したフローチャートである。

ステップＳ４１では、スーパーピクセル分割部３０からカメラ画像のスーパーピクセルpiが取得される。ステップＳ４２では、オブジェクトマスク生成部２０からオブジェクトマスクM^kが取得される。ステップＳ４３では、オブジェクト占有率計算部４０１において、スーパーピクセルpiごとにオブジェクトマスクM^kに基づいてオブジェクト占有率ρ_iが計算される。

ステップＳ４４では、オブジェクト識別部４０２が、スーパーピクセルpiの一つに注目し、今回の注目スーパーピクセルpiがオブジェクト領域であるか否かを、オブジェクト識別閾値ρt_{h1_obj}とオブジェクト占有率ρ_iとの比較結果に基づいて判断する。本実施形態では、上式(1)が成立すればオブジェクト領域と識別されてステップＳ４５へ進み、今回の注目スーパーピクセルpiがカテゴリ「オブジェクト」に分類される。

これに対して、上式(1)が成立しなければステップＳ４６へ進み、背景識別部４０３が、今回の注目スーパーピクセルpiが背景領域であるか否かを、背景識別閾値ρ_{th1_bg}とオブジェクト占有率ρ_iとの比較結果に基づいて判断する。本実施形態では、上式(2)が成立すれば背景領域と識別されてステップＳ４７へ進み、今回の注目スーパーピクセルpiがカテゴリ「背景」に分類される。

ステップＳ４８では、前記ラベリング部４０４により、カテゴリ「オブジェクト」のスーパーピクセルにオブジェクトラベルＬ_objが付され、カテゴリが「背景」のスーパーピクセルに背景ラベルＬ_bgが付される。「オブジェクト」および「背景」のいずれにも分類されなかったスーパーピクセルはカテゴリ「不明」に分類され、ラベル付けは行わない。

ステップＳ４９では、全てのスーパーピクセルpiについて上記の分類処理が完了したか否かが判断される。完了していなければステップＳ４４へ戻り、注目するスーパーピクセルpiを切り換えながら上記の各処理が繰り返される。

図９は、前記第2分類部５０によるカテゴリ「不明」のスーパーピクセルpiを対象とした分類手順を示したフローチャートである。

ステップＳ５１では、「オブジェクト」および「背景」のいずれにも分類されなかったカテゴリ「不明」のスーパーピクセルpiが取得される。ステップＳ５２では、他のカメラ画像に関して生成された複数のオブジェクトマスクM^k-1，M^k+1およびそのカメラパラメータが取得される。

ステップＳ５３では、オブジェクトマスクM^kおよび各参照用のオブジェクトマスク M^k-1，M^k+1に基づいて3Dビジュアルハルが構築され、マスクM^kにおけるカテゴリ「不明」のスーパーピクセルの各座標を各参照用のオブジェクトマスクM^k-1，M^k+1へ投影することで対応画素が識別される。ステップＳ５４では、前記オブジェクトマスク修正部５０１により、対応画素との比較でマスクM^kが修正される。

本実施形態では、オブジェクトマスクM^kの座標x,yにおける画素値をM^k(x,y)、オブジェクトマスクM^k-1の対応座標x^k-1,y^k-1における画素値をM^k-1(x ^k-1,y ^k-1)、オブジェクトマスクM^k+1の対応座標x^k+1,y^k+1における画素値をM^k+1(x ^k+1,y ^k+1)としたとき、次式に基づいてオブジェクトマスクM^kが修正される。

すなわち、参照用のオブジェクトマスクM^k-1，M^k+1の画素値がいずれも0（背景）の座標については、オブジェクトマスクM^kの現画素値に関わらず、その画素値が「0」に書き替えられる。同様に、参照用のオブジェクトマスクM^k-1，M^k+1の画素値がいずれも２５５（オブジェクト）の座標については、オブジェクトマスクM^kの現画素値に関わらず、その画素値が「２５５」に書き替えられる。参照オブジェクトマスクM^k-1，M^k+1の画素値が一致しない場合はオブジェクトマスクM^kの現画素値が維持される。

ステップＳ５５では、修正後のオブジェクトマスクM_k'に基づいて、カテゴリが「不明」のスーパーピクセルpiごとにオブジェクト占有率ρ_iが再計算される。

ステップＳ５６では、スーパーピクセルpiの一つに注目して、今回の注目スーパーピクセルpiがオブジェクト領域に対応しているか否かが、オブジェクト判定閾値ρ_{th2_obj}とオブジェクト占有率ρ_iとの比較結果に基づいて判断される。本実施形態では、次式(4)が成立すればオブジェクト領域と識別されてステップＳ５７へ進み、今回の注目スーパーピクセルpiがカテゴリ「オブジェクト」に分類される。

ρ_{th2_obj}＜ρ_i＜１ …(4)

これに対して、上式(4)が成立しなければステップＳ５８へ進み、今回の注目スーパーピクセルpiが背景領域に対応しているか否かが、背景判定閾値ρ_{th2_bg}とオブジェクト占有率ρ_iとの比較結果に基づいて判断される。本実施形態では、次式(5)が成立すれば背景領域と識別されてステップＳ５９へ進み、今回の注目スーパーピクセルpiがカテゴリ「背景」に分類される。

０＜ρ_i＜ρ_{th2_bg} …(5)

ステップＳ６０では、前記ラベリング部５０３により、カテゴリ「オブジェクト」のスーパーピクセルにオブジェクトラベルL_objが付され、カテゴリ「背景」のスーパーピクセルに背景ラベルL_bgが付される。「オブジェクト」および「背景」のいずれにも分類されなかったスーパーピクセルはカテゴリ「不明」のままでラベル付けは行わない。

ステップＳ６１では、カテゴリ「不明」の全てのスーパーピクセルについて上記の分類処理が完了したか否かが判断される。完了していなければステップＳ５６へ戻り、注目する「不明」のスーパーピクセルpiを切り換えながら上記の各処理が繰り返される。

図１０は、前記第３分類部６０によるカテゴリ「不明」のスーパーピクセルを対象とした分類手順を示したフローチャートである。

ステップＳ７０では、依然として「不明」のスーパーピクセルpiが取得される。ステップＳ７１では、前記図７(a)に示したように、前記スーパーピクセルpiに外接矩形が設定される。ステップＳ７２では、前記図７(b)に示したように、前記外接矩形内が複数のスーパーピクセルに分割される。

ステップＳ７３では、スーパーピクセルpiごとにオブジェクト占有率ρ_iが計算される。ステップＳ７４では、オブジェクト占有率ρ_iとオブジェクト識別閾値および背景識別閾値との関係に基づいて、上記と同様に、各スーパーピクセルpiが「オブジェクト」、「背景」、「不明」のいずれかに分類されてラベリングされる。

ステップＳ７５では、「不明」のスーパーピクセルpiが十分に少なくなったか否かが判断される。十分に少なくなっていなければステップＳ７１へ戻り、以前として「不明」のスーパーピクセルpiを更にスーパーピクセルに分解して上記の各処理が繰り返される。

これに対して、「不明」のスーパーピクセルpiが十分に少なくなるとステップＳ７６へ進み、前記ラベリング部６０３により、カテゴリ「オブジェクト」のスーパーピクセルにオブジェクトラベルL_objが付され、カテゴリ「背景」のスーパーピクセルに背景ラベルL_bgが付される。「オブジェクト」および「背景」のいずれにも分類されなかったスーパーピクセルはカテゴリ「不明」のままでラベル付けは行わない。

ステップＳ７７では、前記ステップＳ７０で抽出された全ての「不明」のスーパーピクセルpiについて上記の処理が完了したか否かが判断される。完了していなければステップＳ７０へ戻り、注目する「不明」のスーパーピクセルpiを切り換えながら上記の各処理を繰り返す。

本実施形態によれば、第１分類手法によりカテゴリ「不明」に分類されたスーパーピクセルに対してのみ、追加的に他の分類手法を適用するので、全てのスーパーピクセルに対して選択性の高い、換言すれば計算負荷の大きい分類手法を適用する場合に較べて、カテゴリ分類に係る処理負荷を軽減できる。

また、本実施形態によれば、第１分類手法によりカテゴリ「不明」に分類されたスーパーピクセルに対して、不明原因である可能性の高い「マスク精度」および「スーパーピクセル分割ミス」に対して選択性の高い分類手法が適用されるので、精度の高い分類、ラベリングが可能になる。

図１１は、本発明の第２実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態は、前記不明分類部１００を第４分類部８０で構成し、第１分類部４０が「不明」と判断したスーパーピクセルpiを対象に第４分類部８０が再分類を実行する点に特徴がある。

第４分類部８０において、特徴ベクトル生成部８０１は、全てのスーパーピクセルpiについて、その特徴ベクトルを構築する。本実施形態では、スーパーピクセルpiがLab色空間に変換され、L-a-b色空間におけるスーパーピクセルpiの全ピクセルの平均値μ_l，μ_a，μ_bおよびLab色空間内の色成分の共分散ρ_ll，ρ_aa，ρ_bb，ρ_la，ρ_lb，ρ_abが求められ、これらを特徴量とするベクトルVpi=｛μ_l，μ_a，μ_b，ρ_ll，ρ_aa，ρ_bb，ρ_la，ρ_lb，ρ_ab｝が構築される。

オブジェクトヒストグラム生成部８０２は、カテゴリ「オブジェクト」に分類された全てのスーパーピクセルpiに関して、各特徴ベクトルの特徴量を個別に投票することで、各特徴量の分布を定量的に示すオブジェクトヒストグラムHist_objを生成する。

背景ヒストグラム生成部８０３は、カテゴリ「背景」に分類された全てのスーパーピクセルpiに関して、各特徴ベクトルの特徴量を個別に投票することで、各特徴量の分布を定量的に示す背景ヒストグラムHist_bgを生成する。

確率計算部８０４は、カテゴリ「不明」の各スーパーピクセルpiの特徴ベクトルを、オブジェクトヒストグラムHist_objおよび背景ヒストグラムHist_bgと比較することで、カテゴリ「不明」のスーパーピクセルpiごとに、オブジェクトである確率R_objおよび背景である確率R_bgを計算する。

判定部８０５は、確率R_obj＞確率R_bgのスーパーピクセルpiはカテゴリ「オブジェクト」に分類し、確率R_obj≦確率R_bgのスーパーピクセルpiはカテゴリ「背景」に分類する。ラベリング部８０６は、カテゴリ「オブジェクト」のスーパーピクセルpiに「オブジェクト」ラベルＬ_objを付し、カテゴリ「背景」のスーパーピクセルpiに背景ラベルL_bgを付する。

図１２は、前記第４分類部８０による分類手順を示したフローチャートであり、ステップＳ８１では、「オブジェクト」、「背景」および「不明」の各カテゴリに分類されたスーパーピクセルpiが取得される。ステップＳ８２では、特徴ベクトル生成部８０１により、全てのスーパーピクセルpiについて特徴ベクトルVpiが生成される。

本実施形態では、L-a-b色空間におけるスーパーピクセルpiの全ピクセルの平均値μ_l，μ_a，μ_bおよびLab色空間内の色成分の共分散ρ_ll，ρ_aa，ρ_bb，ρ_la，ρ_lb，ρ_abを特徴量とする特徴ベクトルVpi=｛μ_l，μ_a，μ_b，ρ_ll，ρ_aa，ρ_bb，ρ_la，ρ_lb，ρ_ab｝が生成される。

ステップＳ８３では、オブジェクトヒストグラム生成部８０２が、カテゴリ「オブジェクト」に分類された全てのスーパーピクセルpiに関して、その特徴ベクトルの各特徴量を個別に投票することでオブジェクトヒストグラムHist_objを生成する。同様に、背景ヒストグラム生成部８０３が、カテゴリ「背景」に分類された全てのスーパーピクセルpiに関して、その特徴ベクトルの各特徴量を個別に投票することで背景ヒストグラムHist_bgを生成する。

ステップＳ８４では、確率計算部８０４が、カテゴリ「不明」の各スーパーピクセルpiの特徴ベクトルを、オブジェクトヒストグラムHist_objおよび背景ヒストグラムHist_bgと比較することで、カテゴリ「不明」の各スーパーピクセルpiがオブジェクトである確率R_objおよび背景である確率R_bgを計算する。

ステップＳ８５では、確率R_obj，確率R_bgの大小関係が比較され、R_obj＞R_bgであれば、ステップＳ８６へ進んでカテゴリ「オブジェクト」に分類される。これに対して、R_obj≦R_bgであれば、ステップＳ８７へ進んでカテゴリ「背景」に分類される。ステップＳ８８では、ラベリング部８０６が、カテゴリ「オブジェクト」のスーパーピクセルpiに「オブジェクト」ラベルＬ_objを付し、カテゴリ「背景」のスーパーピクセルpiに背景ラベルL_bgを付する。

本実施形態によれば、「オブジェクト」に固有のヒストグラムおよび「背景」に固有のヒストグラムに基づいて、「不明」に分類されたスーパーピクセルの特徴ベクトルが「オブジェクト」である確率および「背景」である確率を求めて分類、ラベリングを行うので、定量的な閾値に拠らない適応的で高精度の分類が可能になる。

図１３は、本発明の第３実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態は、前記不明分類部１００が第２分類部５０および第４分類部８０を具備し、第１分類部４０がカテゴリ「不明」に分類したスーパーピクセルに対して第２分類部５０が再分類を実施し、第２分類部５０がカテゴリ「不明」に分類したスーパーピクセルに対して第４分類部８０が更に再分類を実施する点に特徴がある。

図１４は、本発明の第４実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態は、前記不明分類部１００を第３分類部６０で構成し、第１分類部４０がカテゴリ「不明」に分類したスーパーピクセルに対して、第３分類部６０が分類を実施する点に特徴がある。

１０…多視点画像入力部，２０…オブジェクトマスク生成部，３０…スーパーピクセル分割部，４０…第１分類部，５０…第２分類部，６０…第３分類部，７０…オブジェクトマスク見直し部，８０…第４分類部，４０１…オブジェクト占有率計算部，４０２…オブジェクト識別部，４０３…背景識別部，４０４…ラベリング部，５０１…オブジェクトマスク修正部，５０２…分類再試行部，５０３…ラベリング部，６０１…スーパーピクセル再分割部，６０２…再分割部，６０３…ラベリング部，８０１…特徴ベクトル生成部，８０２…オブジェクトヒストグラム生成部，８０３…背景ヒストグラム生成部，８０４…確率計算部，８０５…判定部，８０６…ラベリング部

Claims (14)

1. 動画像を含む画像からオブジェクトを抽出するオブジェクト抽出装置において、
   前記画像のオブジェクトマスクMkを取得する手段(20)と、
   前記画像の各スーパーピクセルをオブジェクトマスクMkに基づく第１分類手法により第１類、第２類および第３類のいずれかに分類する第１分類手段(40)と、
   前記第３類に分類された各スーパーピクセルを前記第１分類手法とは異なる分類手法によりさらに分類する不明分類手段(100)と、
   前記各分類の結果に基づいてオブジェクトマスクMkのオブジェクト領域および背景領域を修正することで見直す見直す手段(70)とを具備したことを特徴とするオブジェクト抽出装置。
2. 前記不明分類手段は、前記第３類に分類されたスーパーピクセルを第１類，第２類および第３類のいずれかに分類する第２分類手段(50)を具備し、
   前記第２分類手段(50)は、
   前記画像と視点の異なる複数の画像のオブジェクトマスクMk-1，Mk+1に基づいて前記オブジェクトマスクMkを修正する手段(501)と、
   第３類のスーパーピクセルを前記修正後のオブジェクトマスクMk'に基づいて第１類，第２類および第３類のいずれかに分類する手段(502)とを具備したことを特徴とする請求項１に記載のオブジェクト抽出装置。
3. 前記不明分類手段は、前記第３類に分類されたスーパーピクセルを第１類または第２類に分類する第３分類手段(60)を具備し、
   前記第３分類手段(60)は、
   第３類のスーパーピクセルを複数のスーパーピクセルに再分割する手段(601)と、
   再分割された各スーパーピクセルをオブジェクトマスクMkに基づいて第１類，第２類および第３類のいずれかに再分類する再分類手段(602)とを具備し、
   再分類後も第３類のスーパーピクセルを前記再分割及び再分類を繰り返すことを特徴とする請求項１に記載のオブジェクト抽出装置。
4. 前記不明分類手段はは、前記第２分類手段が第３類に分類したスーパーピクセルを第１類または第２類に分類する第３分類手段(60)を具備し、
   前記第３分類手段(60)は、
   第３類のスーパーピクセルを複数のスーパーピクセルに再分割する手段(601)と、
   再分割された各スーパーピクセルをオブジェクトマスクMkに基づいて第１類，第２類および第３類のいずれかに再分類する再分類手段(602)とを具備し、
   再分類後も第３類のスーパーピクセルを前記再分割及び再分類を繰り返すことを特徴とすることを特徴とする請求項２に記載のオブジェクト抽出装置。
5. 前記不明分類手段は、前記第３類に分類されたスーパーピクセルを第１類または第２類に分類する第４分類手段(80)を具備し、
   前記第４分類手段(80)は、
   スーパーピクセルごとに特徴ベクトルを生成する手段(801)と、
   第１類に分類された各スーパーピクセルの特徴ベクトルに基づいて第１類に固有のオブジェクトヒストグラムを生成する手段(802)と、
   第２類に分類された各スーパーピクセルの特徴ベクトルに基づいて第２類に固有の背景ヒストグラムを生成する手段(803)と、
   第３類に分類された各スーパーピクセルの特徴ベクトルを各ヒストグラムと比較して、当該各スーパーピクセルが第１類である確率および第２類である確率を計算する手段(804)と、
   前記各確率に基づいて、前記第３類に分類された各スーパーピクセルが第１類および第２類のいずれであるかを判定する判定手段(805)とを具備したことを特徴とする請求項１に記載のオブジェクト抽出装置。
6. 前記不明分類手段は、前記第２分類手段が第３類に分類したスーパーピクセルを第１類または第２類に分類する第４分類手段(80)を具備し、
   前記第４分類手段(80)は、
   スーパーピクセルごとに特徴ベクトルを生成する手段(801)と、
   第１類に分類された各スーパーピクセルの特徴ベクトルに基づいて第１類に固有のオブジェクトヒストグラムを生成する手段(802)と、
   第２類に分類された各スーパーピクセルの特徴ベクトルに基づいて第２類に固有の背景ヒストグラムを生成する手段(803)と、
   第３類に分類された各スーパーピクセルの特徴ベクトルを各ヒストグラムと比較して、当該各スーパーピクセルが第１類である確率および第２類である確率を計算する手段(804)と、
   前記各確率に基づいて、前記第３類に分類された各スーパーピクセルが第１類および第２類のいずれであるかを判定する判定手段(805)とを具備したことを特徴とする請求項２に記載のオブジェクト抽出装置。
7. 前記第１分類手段(40)は、
   オブジェクトマスクMkに基づいてスーパーピクセルごとにオブジェクト占有率を計算する手段(401)と、
   オブジェクト占有率が所定のオブジェクト閾値を上回るスーパーピクセルを第１類に分類する手段(402)と、
   オブジェクト占有率が所定の背景閾値を下回るスーパーピクセルを第２類に分類する手段(403)とを具備し、
   第１類および第２類のいずれにも分類されないスーパーピクセルを第３類に分類することを特徴とする請求項１ないし６のいずれかに記載のオブジェクト抽出装置。
8. 前記見直し後のオブジェクトマスクMkに基づいてオブジェクトを抽出することを特徴とする請求項１ないし７のいずれかに記載のオブジェクト抽出装置。
9. 前記第１類、第２類および第３類が、それぞれ「オブジェクト」、「背景」および「不明」であることを特徴とする請求項１ないし８のいずれかに記載のオブジェクト抽出装置。
10. オブジェクト抽出装置のスーパーピクセルラベリング方法において、
    動画像を含む画像のオブジェクトマスクMkを取得し、
    前記画像を複数のスーパーピクセルに分割し、
    各スーパーピクセルをオブジェクトマスクMkに基づく第１分類手法により、第１類、第２類および第３類のいずれかに分類し、
    前記第３類に分類された各スーパーピクセルを前記第１分類手法とは異なる分類手法により第１類または第２類に分類し、
    前記各分類の結果に基づいて各スーパーピクセルをラベリングすることを特徴とするオブジェクト抽出装置のスーパーピクセルラベリング方法。
11. 前記第１分類手法とは異なる分類手法が第２分類手法を含み、
    前記第２分類手法は、
    前記画像と視点の異なる複数の画像のオブジェクトマスクMk-1，Mk+1に基づいて前記オブジェクトマスクMkを修正し、
    第３類のスーパーピクセルを前記修正後のオブジェクトマスクMk'に基づいて第１類、第２類および第３類のいずれかに分類することを特徴とする請求項１０に記載のオブジェクト抽出装置のスーパーピクセルラベリング方法。
12. 前記第１分類手法とは異なる分類手法が第３分類手法を含み、
    前記第３分類手法は、
    第３類のスーパーピクセルを複数のスーパーピクセルに再分割し、
    再分割された各スーパーピクセルをオブジェクトマスクMkに基づいて第１類，第２類および第３類のいずれかに再分類し、
    再分類後も第３類のスーパーピクセルを前記再分割及び再分類を繰り返すことを特徴とする請求項１０に記載のオブジェクト抽出装置のスーパーピクセルラベリング方法。
13. 前記第１分類手法とは異なる分類手法が第４分類手法を含み、
    前記第４分類手法が段(80)は、
    スーパーピクセルごとに特徴ベクトルを生成し、
    第１類に分類された各スーパーピクセルの特徴ベクトルに基づいて第１類に固有のオブジェクトヒストグラムを生成し、
    第２類に分類された各スーパーピクセルの特徴ベクトルに基づいて第２類に固有の背景ヒストグラムを生成し、
    第３類に分類された各スーパーピクセルの特徴ベクトルを各ヒストグラムと比較して、当該各スーパーピクセルが第１類である確率および第２類である確率を計算し、
    前記各確率に基づいて、前記第３類に分類された各スーパーピクセルが第１類および第２類のいずれであるかを判定することを特徴とする請求項１０に記載のオブジェクト抽出装置のスーパーピクセルラベリング方法。
14. 前記第１類、第２類および第３類が、それぞれ「オブジェクト」、「背景」および「不明」であることを特徴とする請求項１０ないし１３のいずれかに記載のスーパーピクセルラベリング方法。