JP5567448B2 - 画像領域分割装置、画像領域分割方法および画像領域分割プログラム - Google Patents

画像領域分割装置、画像領域分割方法および画像領域分割プログラム Download PDF

Info

Publication number
JP5567448B2
JP5567448B2 JP2010232914A JP2010232914A JP5567448B2 JP 5567448 B2 JP5567448 B2 JP 5567448B2 JP 2010232914 A JP2010232914 A JP 2010232914A JP 2010232914 A JP2010232914 A JP 2010232914A JP 5567448 B2 JP5567448 B2 JP 5567448B2
Authority
JP
Japan
Prior art keywords
region
area
small
contour
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010232914A
Other languages
English (en)
Other versions
JP2012088796A (ja
Inventor
賢治 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2010232914A priority Critical patent/JP5567448B2/ja
Publication of JP2012088796A publication Critical patent/JP2012088796A/ja
Application granted granted Critical
Publication of JP5567448B2 publication Critical patent/JP5567448B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、画像領域分割装置、画像領域分割方法および画像領域分割プログラムに関し、特に、1枚の画像を類似した特徴(特に似た色)を持つ複数の領域に分割し、画像に含まれる個々のオブジェクトを分離するための、画像領域分割装置、画像領域分割方法および画像領域分割プログラムに関する。
画像を解析し、内容を詳細に把握するためには、事前に画像に含まれる個々のオブジェクトを分離し、それぞれを抽出する領域分割処理が重要である。このような処理を実現する従来技術として、各種の手法により、1枚の画像を複数の領域に分割し、画像に含まれる個々のオブジェクトの分離を可能とした画像領域分割装置がある。これらは、図１２に示す通り、(a)に示す入力画像を(b)に示すように3つの領域に分割し、(b1)(b2)(b3)にそれぞれ示すオブジェクトに分離する装置である。
特に、下記の特許文献1(本発明者らによる先願：画像領域分割装置、画像領域分割方法および画像領域分割プログラム)に記載された装置は、図１３および図１４に示す通り、入力画像を色特徴に基づいて複数の小領域に過剰分割する小領域分割部１と、該過剰分割された複数の小領域の各々に対して、前記入力画像において該小領域に属する内部領域と該小領域に属さない外部領域とを対応付けて出力する対象領域選択部２と、前記外部領域のうち対応する前記内部領域と色特徴が類似する領域を該内部領域と統合して小領域拡張領域として出力する小領域拡張部３０と、前記小領域拡張領域同士のペアの領域類似度を算出する領域類似度算出部６と、前記小領域のペアのうち、対応する小領域拡張領域ペアの前記領域類似度が所定基準を満たす小領域ペア同士を全て同一オブジェクトに属すると判定して統合し、前記所定基準を満たさない小領域ペア同士は異なるオブジェクトに属すると判定することによって前記各オブジェクトを得る小領域統合部７とを備え、入力画像に含まれる各オブジェクトを分離抽出する画像領域分割装置であった。
特許文献1に記載の画像領域分割装置は、以下の通り大きく分けて、（１）小領域分割部１０、（２）対象領域選択部２、（３）小領域拡張部３０、（４）領域類似度算出部６、（５）小領域統合部７、の５つの機能ブロックにより、画像内に含まれるオブジェクトの抽出を実現する。各部の機能概要は次の通りである。
（１）小領域分割部１０
色や輝度等の画像信号の性質の類似性に基づいて画像を実際に画像内に含まれるオブジェクトの数よりも格段に多くの小領域に分割する。
（２）対象領域選択部２
過剰分割された画像内から着目する小領域を一つ選択する。
（３）小領域拡張部３０
着目する小領域内の輝度および色の分布を統計的にモデル化し、画像内のそれ以外の場所で元の小領域と同様の輝度および色の分布モデルに従う画素を特定し、元の小領域に結合して拡張領域を得る。対象領域選択部と組み合わせることにより、過剰分割により得られた小領域のそれぞれに対して拡張領域が一つずつ得られる。
（４）領域類似度算出部４
拡張領域間の類似性を一致する画素が含まれる割合として測定し、数値化する。ここで小領域拡張領域間の領域類似度S(R1, R2)は次式(数１)から算出する。
数１において分子E1∩E2は小領域ペアR1およびR2に対応する小領域拡張領域E1およびE2の両方に属する画素の個数を、分母E1∪E2は小領域拡張領域領域E1またはE2のいずれかに属する画素の個数を示す。また、0≦S(E1, E2)≦1であり、領域E1およびE2が完全に一致していればS(E1, E2)=1を、全く一致する画素がなければS(E1, E2)=0を示す。領域類似度は大きいほど領域(形状・位置などを含む)間が類似していることを示す。
（５）小領域統合部５
算出された拡張領域間の類似度があらかじめ設定したしきい値を超えた場合、両拡張領域は互いに似ていると判定し、それらの拡張領域の元の小領域間が同じオブジェクトに属していると判定して、同一グループへと統合する。
特許文献1に記載の画像領域分割装置における上述のような統合処理は、画像に含まれるオブジェクトはそれぞれ特徴的な色の分布を有しており、同一のオブジェクト内であれば部分的に見て色分布が大きく変わることはない、という特性に基づいて行われるものである。したがって、ある一定の色分布を選択された2つの小領域のそれぞれの色分布に基づいて出力された拡張領域同士に重複する領域が多い場合(位置・形状などの一致度が大きい場合を含む)は、選択された小領域が同じ色分布を持っており、選択された2つの小領域(選択された1つの小領域ペア)は同一のオブジェクトの一部である可能性が高いと考えて統合する。
図１５に、先行技術の領域分割装置の領域似度算出部６と小領域統合部７とによる処理の概要を示す。すなわち、（１）小領域分割部１により過剰分割された結果(a)から、（２）対象領域選択部２によって選択された(b)小領域R1および(d)小領域R2のそれぞれを、（３）小領域拡張部３０により拡張して(c)拡張領域E1および(e)拡張領域E2を得た場合の例である。（４）領域類似度算出部６により拡張領域E1および拡張領域E2で一致する画素の割合から類似度が0.92と算出され、所定のしきい値0.90を超えるため、（５）小領域統合部７により元の小領域1および小領域2を統合する。
図１５のようにして（５）小領域統合部７が入力画像の小領域ペア全てにつき領域類似度を求め、小領域を各オブジェクトに対応するグループに分けていく例を図１６に示す。入力画像を（１）小領域分割部１によって小領域分割した結果、17個の小領域R1〜R17が生成され、番号を与えて識別されている。各小領域に対して、（２）対象領域選択部２および（３）小領域拡張部３０の処理によって対応する小領域拡張領域E1〜E17が得られる。小領域拡張領域の全ペアの領域類似度を求め、所定しきい値を上回るかもしくはそれ以下である判定を行った結果、小領域拡張領域の3グループ[(E14, E15, E16, E17), (E5, E6, E7, E8, E9, E10, E11, E12, E13), (E1, E2, E3, E4)]が得られる。この3グループは各グループ内の小領域拡張領域ペアは全て領域類似度が所定値を上回り、各グループ外のペアでは全て所定値以下となるようなグループ分けとなっている。よってこの3グループから対応する元の小領域の3グループ[グループ1(R14, R15, R16, R17), グループ2(R5, R6, R7, R8, R9, R10, R11, R12, R13), グループ3(R1, R2, R3, R4)]を得る。各グループは各オブジェクトの一部であるとみなされ、先の図１２に示した(b1)〜(b3)に対応する。
以上で示した通り、特許文献1に記載された画像領域分割装置は、画像を一度過剰数の小領域に分割してから、各小領域に対する拡張領域間の類似性に基づいて、小領域単位で統合判定を行い、画像内に含まれるオブジェクトの抽出を実現する装置であった。
特願2010-012467号
しかしながら、特許文献1に記載された画像領域分割装置が行う、拡張領域間の類似性に基づいて小領域単位で統合する手順では、画像内からオブジェクトを正しく抽出できない場合があった。
特許文献1に記載された画像領域分割装置は、最初に画像を過剰分割し、得られた小領域単位で類似性を判定して、類似していると判定されたら同じオブジェクトに属するとみなして統合する。ここで、小領域間の類似性の判定すなわち2つの小領域を統合するか否かは、一度各小領域を拡張させ、拡張領域間の形状の類似性から判定する。したがって、小領域の拡張がうまく作用せず、類似形状の拡張領域が形成されなかった場合に、小領域は統合されないため、小領域拡張部３０の性能の良し悪しにより、小領域統合部７の精度は影響を受ける。
例えば、含まれる画素数の少ない小領域を（３）小領域拡張部３０により拡張する場合、輝度や色の分布のモデル化が十分に行われず、領域が拡大しない場合が多々生じる。図１７を用いて説明すると、R17の小領域はエリアサイズが小さいため、色分布を十分にモデル化できず、小領域を拡張できない場合がある。このとき、小領域R17の拡張領域はE'17のように、元の小領域と同一となる。この場合、E14〜E16の拡張領域と比較すると、類似度算出式の分母は大きい値を持ち分子は小さい値を示すため、類似度は極端に低下することになる。したがって、R17 はR14〜R16とは別のオブジェクトとみなされ、統合されない。このときの領域分割結果は、図１８の(b1)〜(b4)に示す通り、4グループ[グループ1(R14, R15, R16), グループ2(R5, R6, R7, R8, R9, R10, R11, R12, R13), グループ3(R1, R2, R3, R4)、グループ4(R17)]を得る。正しくは同一グループに統合すべき小領域も、拡張領域が多領域との類似性が低いため、小領域R17の部分が空いた領域分割結果が得られることになる。
当該領域分割結果は、「この小領域を統合するか否か」といった2値判定が行われるためである。そして、小領域統合の時点で本来は統合すべき小領域ではあるが、領域拡張が正しく行われなかったため正しく統合されなかったために発生した誤判定は、図１８の例で示したように、そのまま最終的な領域分割結果に直接的に影響する。以上に述べたように、画像内に含まれるオブジェクトの分離を「（４）領域類似度算出部と（５）小領域統合部により行われる小領域単位での統合」という処理方法で実現するには、入力映像の種類などによっては、問題がある場合もあった。
本発明は、先行装置の（１）小領域分割および（２）小領域拡張というフレームワークを継承し、より高精度に安定して画像に含まれる個々のオブジェクトの分離を可能とした画像領域分割装置、画像領域分割方法及び画像領域分割プログラムを提供することを目的とする。
上記目的を達成するため、本発明は、入力画像に含まれる各オブジェクトを分離抽出する画像領域分割装置であって、入力画像を色特徴に基づいて複数の小領域に過剰分割する小領域分割部と、該過剰分割された複数の小領域の各々に対して、前記入力画像において該小領域に属する内部領域と該小領域に属さない外部領域とを対応付けて出力する対象領域選択部と、前記外部領域のうち対応する前記内部領域と色特徴が類似する領域を該内部領域と統合して小領域拡張領域として出力する小領域拡張部と、前記小領域拡張領域の各々に対して、その輪郭上の画素を抽出し、該抽出された輪郭上の画素を識別する情報である輪郭情報を求める輪郭抽出部と、前記各々に対して求められた輪郭情報を用いて、入力画像の各画素に対して、当該画素の位置が輪郭となった頻度を測定して輪郭集中頻度を求める輪郭集中頻度測定部と、入力画像の各画素のうち、前記輪郭集中頻度が所定基準を満たす画素をオブジェクト間境界候補であるとして判定するオブジェクト間境界判定部と、前記オブジェクト間境界候補を構成する領域から閉領域を抽出してオブジェクト間境界とし、該オブジェクト間境界によって分離される入力画像の各領域を前記各オブジェクトとして得る閉領域抽出部とを備えることを第１の特徴とする。
また、前記小領域拡張部が、前記内部領域に含まれる画素の色の分布から色分布モデルを生成する色分布モデル化部と、前記色分布モデルを用いて、前記内部領域に対応する外部領域を該内部領域との第１の色特徴類似性および該外部領域内の局所領域内の第２の色特徴類似性に基づいて二分割するのに必要なエネルギーを求める、該二分割の領域を変数としたエネルギー関数を生成する分割エネルギー算出部と、前記エネルギー関数を用いて前記エネルギーを最小とする分割二領域を求め、該分割二領域のうち前記内部領域と色特徴の類似性があると判定された領域を前記内部領域と統合して前記小領域拡張領域として出力する二領域分割・統合部とを備えることを第２の特徴とする。
また、前記分割エネルギー算出部が、前記第２の色特徴類似性を求めるに際して前記外部領域内の局所領域内の画素値を用いて求め、且つ当該画素値を、入力画像全体内における局所領域内の色特徴類似性に基づいて正規化した値として用いて前記第２の色特徴類似性を求めることを第３の特徴とする。
また、前記二領域分割・統合部が、前記エネルギー関数を用いて前記エネルギーを最小とする分割二領域を求めるに際して、前記外部領域内に含まれる前記過剰分割された小領域単位でに前記エネルギーを最小とする領域を求めることを第４の特徴とする。
また、前記色分布モデルに混合正規分布モデル（GMM）を用いることを第５の特徴とする。
また、前記色分布モデルにヒストグラムを用いることを第６の特徴とする。
また、前記小領域分割部が、入力画像を減色して減色画像に変換する量子化部と、前記減色画像の領域境界尤度を所定サンプリング密度の画素単位で算出する領域境界尤度算出部と、前記領域境界尤度の分布から前記領域境界尤度を算出された各画素が領域境界に属するか領域に属するかを判定し、領域に属する場合は領域番号を付与する領域番号付与部と、前記領域境界に属するか領域に属するかを判定された画素以外の残りの画素に対して、前記領域番号を付与された画素の局所分布に基づいて領域に属すると判定される画素に領域番号を付与し、前記入力画像全体における前記領域番号を付与された画素の連結領域として前記複数の小領域の各々を得る領域拡大部とを備えることを第７の特徴とする。
また、前記小領域分割部が、前記入力画像の画素間の色特徴の類似性を示す類似度行列および該類似度行列の対角行列を算出する画素間類似度行列算出部と、前記類似度行列および前記対角行列を用いて、色特徴の類似度の高い画素同士が同じ小領域に分割されるための評価基準行列を作成する評価基準作成部と、前記評価基準行列の固有ベクトルを固有値昇順に所定数求める固有ベクトル算出部と、前記固有ベクトルおよび前記対角行列を用いて、前記入力画像の各画素が所定数の小領域のいずれに属するかを示す小領域番号行列を算出し、該小領域番号行列を参照して前記複数の小領域の各々を得る小領域算出部とを備えることを第８の特徴とする。
また、前記輪郭集中頻度測定部が、前記測定した頻度を正規化して前記輪郭集中頻度を求め、前記オブジェクト境界判定部が、入力画像の各画素のうち、前記輪郭集中頻度が所定の閾値基準を満たす画素をオブジェクト間境界候補であるとして判定することを第９の特徴とする。
また、前記輪郭集中頻度測定部が、入力画像の各画素に対して前記測定した頻度のうちの最大値を用いて該測定した頻度を割った値として、前記輪郭集中頻度を求め、前記オブジェクト境界判定部が、入力画像の各画素のうち、前記輪郭集中頻度が所定の閾値基準を満たす画素をオブジェクト間境界候補であるとして判定することを第１０の特徴とする。
また、前記輪郭集中頻度測定部が、前記小領域分割部により前記過剰分割された小領域の数を用いて、前記測定した頻度を割った値として、前記輪郭集中頻度を求め、前記オブジェクト境界判定部が、入力画像の各画素のうち、前記輪郭集中頻度が所定の閾値基準を満たす画素をオブジェクト間境界候補であるとして判定することを第１１の特徴とする。
また、上記目的を達成するため、本発明は、入力画像に含まれる各オブジェクトを分離抽出する画像領域分割方法であって、入力画像を色特徴に基づいて複数の小領域に過剰分割する小領域分割ステップと、該過剰分割された複数の小領域の各々に対して、前記入力画像において該小領域に属する内部領域と該小領域に属さない外部領域とを対応付けて出力する対象領域選択ステップと、前記外部領域のうち対応する前記内部領域と色特徴が類似する領域を該内部領域と統合して小領域拡張領域として出力する小領域拡張ステップと、前記小領域拡張領域の各々に対して、その輪郭上の画素を抽出し、該抽出された輪郭上の画素を識別する情報である輪郭情報を求める輪郭抽出ステップと、前記各々に対して求められた輪郭情報を用いて、入力画像の各画素に対して、当該画素の位置が輪郭となった頻度を測定して輪郭集中頻度を求める輪郭集中頻度測定ステップと、入力画像の各画素のうち、前記輪郭集中頻度が所定基準を満たす画素をオブジェクト間境界候補であるとして判定するオブジェクト間境界判定ステップと、前記オブジェクト間境界候補を構成する領域から閉領域を抽出してオブジェクト間境界とし、該オブジェクト間境界によって分離される入力画像の各領域を前記各オブジェクトとして得る閉領域抽出ステップとを備えることを第１２の特徴とする。
さらに、上記目的を達するため、本発明は、入力画像に含まれる各オブジェクトを分離抽出する画像領域分割プログラムであって、コンピュータに、入力画像を色特徴に基づいて複数の小領域に過剰分割する小領域分割ステップと、該過剰分割された複数の小領域の各々に対して、前記入力画像において該小領域に属する内部領域と該小領域に属さない外部領域とを対応付けて出力する対象領域選択ステップと、前記外部領域のうち対応する前記内部領域と色特徴が類似する領域を該内部領域と統合して小領域拡張領域として出力する小領域拡張ステップと、前記小領域拡張領域の各々に対して、その輪郭上の画素を抽出し、該抽出された輪郭上の画素を識別する情報である輪郭情報を求める輪郭抽出ステップと、前記各々に対して求められた輪郭情報を用いて、入力画像の各画素に対して、当該画素の位置が輪郭となった頻度を測定して輪郭集中頻度を求める輪郭集中頻度測定ステップと、入力画像の各画素のうち、前記輪郭集中頻度が所定基準を満たす画素をオブジェクト間境界候補であるとして判定するオブジェクト間境界判定ステップと、前記オブジェクト間境界候補を構成する領域から閉領域を抽出してオブジェクト間境界とし、該オブジェクト間境界によって分離される入力画像の各領域を前記各オブジェクトとして得る閉領域抽出ステップとを実行させることを第１３の特徴とする。
前記第１、第２又は第３の特徴によれば、人手不要で自動的に画像の領域分割を実現できるようになる。且つ、従来よりも高精度に安定して画像に含まれる個々のオブジェクトの分離が可能となる。
前記第４の特徴によれば、エネルギー最小領域の算出を外部領域全体よりも狭い各小領域に対して行うので、算出における計算負荷を減らすことができる。
前記第５の特徴によれば、色分布のモデル化の精度が高くなり、精度良く画像を領域分割できるようになる。
前記第６の特徴によれば、色分布のモデル化に使用する画素数が少ない場合でも色分布をモデル化できるようになる。
前記第７又は第８の特徴によれば、色特徴が類似した小領域に分割されるため、小領域には系統の異なる色が含まれず、後段の小領域拡張部において小領域の色特徴を詳細に反映した領域・形状として小領域拡張領域が得られ、小領域統合部において同一オブジェクトに属するかどうかの判断を高い精度で行うことができる。
前記第９、第１０又は第１１の特徴によれば、扱う画像が異なっても、しきい値の値を同じ範囲で統一的な基準で、オブジェクト環境判定部に設定できるようになる。
前記第１２の特徴によれば、人手不要で自動的に画像の領域分割を実現できるようになる。且つ、従来よりも高精度に安定して画像に含まれる個々のオブジェクトの分離が可能となる。
前記第１３の特徴によれば、人手不要で自動的に画像の領域分割を実現できるようになる。且つ、従来よりも高精度に安定して画像に含まれる個々のオブジェクトの分離が可能となる。
本発明の第1実施形態に係る画像領域分割装置の機能ブロック図である。 本発明の第2実施形態に係る画像領域分割装置の機能ブロック図である。 本発明の画像領域分割装置によるオブジェクト領域抽出処理の流れを示す図である。 第１実施形態における量子化部によるk-meansを用いた減色処理を説明する図である。 第1実施形態における小領域分割部の処理を説明する図である。 第１及び第２実施形態における対象領域選択部、色分布モデル化部、分割エネルギー算出部および二領域分割・統合部による処理を説明する図である。 第１及び第２実施形態における小領域分割結果より、対象領域選択部、小領域拡張部及び輪郭抽出部の処理を経て、輪郭情報が得られるまでの例を説明する図である。 輪郭を判定する処理の例を説明する図である。 第１及び第２実施形態における各々の小領域分割結果より、対象領域選択部、小領域拡張部及び輪郭抽出部の処理を経て、各々の輪郭情報を得て、さらに、輪郭集中頻度測定部の処理を経て、輪郭情報の総和として、輪郭集中頻度が得られる例を説明する図である。 本発明の一連の処理、すなわち（１）小領域分割処理、（２）対象領域選択処理（３）小領域拡張処理、（４）輪郭抽出処理、（５）輪郭集中頻度測定処理、（６）オブジェクト間境界判定処理及び（７）閉領域抽出処理によって、入力画像から領域分割結果が得られるまでの例を示す図である。 第２実施形態における小領域分割部の処理を説明する図である。 画像の領域分割について説明する図である。 先行技術の領域分割装置の機能ブロック図である。 先行技術の領域分割装置の機能ブロック図である。 先行技術の領域分割装置の領域似度算出部と小領域統合部による処理を説明する図である。 先行技術の領域分割装置による処理における、各小領域から得られる小領域拡張領域の結果と、その結果に基づく小領域のグループ分けについて説明する図である。 各小領域から得られる小領域拡張領域の結果と、その結果に基づく小領域のグループ分けによって、孤立する小領域が発生してしまう場合があるという、先行技術の課題を説明する図である。 先行技術の領域分割装置により場合によっては得られる、誤りを含んだ最終的な領域分割結果(各オブジェクト)を説明する図である。
以下に、図面を参照して本発明を詳細に説明する。図１に本発明の画像領域分割装置の第１実施形態を、図２にその第２実施形態の機能ブロック図を示す。図１と図２との両実施形態に共通の流れとして、大きく分けて、（１）小領域分割部１、（２）対象領域選択部２、（３）小領域拡張部３０、（４）輪郭抽出部８、（５）輪郭集中頻度測定部９、（６）オブジェクト間境界判定部１０、（７）閉領域抽出部２０、の7つの機能ブロックを本発明の画像領域分割装置が備えることにより、画像内に含まれるオブジェクトの抽出を実現する。（１）〜（３）は特許文献1に記載の先行の領域分割装置と同じである。
本発明の画像領域分割装置は、概要的には上記のような構成を取ることで、特許文献１の先行技術の装置同様に、拡張領域が示す形状の類似性に着目して機能する。しかしながら、小領域を拡張させ、拡張領域間の類似性から元の小領域同士を統合する先行の装置とは異なり、本発明では、拡張領域の輪郭が高い確率で画像に含まれるオブジェクト間の境界に位置する点に着目し、画像内の小領域から拡張されたそれぞれの拡張領域の輪郭が集中する位置とその集中度合いに基づいて、オブジェクト間の境界を決定する。当該差異の部分が、上記（４）〜（７）に対応する。
次に、上記（１）〜（７）の各処理の概略を説明する。
（１）小領域分割部10
色や輝度等の、画像信号の性質の類似性に基づいて画像を実際に画像内に含まれるオブジェクトの数よりも格段に多くの小領域に分割する。
（２）対象領域選択部2
過剰分割された画像内から着目する小領域を一つ選択する。
（３）小領域拡張部30
着目する小領域内の輝度および色の分布を統計的にモデル化し、画像内のそれ以外の場所で元の小領域と同様の輝度および色の分布モデルに従う画素を特定し、元の小領域に結合して拡張領域を得る。対象領域選択部と組み合わせることにより、過剰分割により得られた小領域のそれぞれに対して拡張領域が一つずつ得られる。
（４）輪郭抽出部8
得られた拡張領域から輪郭を抽出し、輪郭情報として出力する。
（５）輪郭集中頻度測定部9
各拡張領域に対して得られた二領域間の輪郭から画像内の各画素位置で、その画素位置が輪郭となった頻度を測定して、輪郭集中頻度を求める。
（６）オブジェクト間境界判定部10
求められた輪郭集中頻度から、各画素位置においてその画素がオブジェクト間の境界であるか否かを、設定されたしきい値により判定し、オブジェクト境界候補とする。
（７）閉領域抽出部20
判定されたオブジェクト境界候補の中には閉領域を構成しない境界線が含まれる可能性がある。オブジェクト境界候補から閉領域を抽出し、オブジェクト境界とする。当該境界によって分割される画像の各領域が、本発明の画像領域分割装置の抽出する各オブジェクトとなる。
以上のように、本発明は、処理（１）において1枚の画像を類似した特徴(特に似た色)を持つ複数の小領域に過剰分割し、処理（２）（３）において過剰分割された小領域の中から同一オブジェクトに含まれると推定された小領域同士を統合することによって、画像に含まれる個々のオブジェクトを分離するための前処理を行い、処理（４）〜（７）において輪郭情報を利用して実際にオブジェクトを分離することを特徴としている。
図３に本発明の画像領域分割装置に関する領域分割の流れの概要を示す。同図(a)の入力画像から色特徴に基づいて小領域分割画像(b)を得る。同図(b)の小領域はオブジェクトへの分割としては過剰分割されている。そこで同一オブジェクトに属すると判定される小領域間の領域統合を行って、さらに輪郭情報を利用してオブジェクトを抽出することで、最終的に同図(c)の通り、3つのオブジェクトへの領域分割結果を得る。なお図３の(b)(c)間の処理である輪郭情報の利用については図３では示されていないが、図７ないし図１０などを用いて後述する。
入力画像から過剰分割された小領域を得る方法としては後述のJSEGによる場合[A1](図１に機能ブロックを示した第1の実施形態)と、Normalized Cutsによる場合[A2](図２に機能ブロックを示した第2の実施形態)とを説明するが、例えばSuper Pixelによる過剰分割等により同等の結果が得られる任意の方法が適用可能である。そして小領域への過剰分割以降の統合処理[B]は共通である。
なお図３(d)では各オブジェクトに異なる色を塗って(異なる濃淡で表現して)、同図(c)における適切にオブジェクトに分けられた領域を分かり易く示した。なおまた同図(a)の入力画像例は後方に柵(主に白灰色)がある牧場で山羊(主に白色)が草(主に緑色)を食べている画像であり、本発明を説明する各図において共通に例として用いられる。同図の(a)は、カラー画像の原画を白黒画像で表したものであり、白黒の濃淡からわかるように、前記柵、山羊、草の色は一様ではなく、これらの部分、部分で色の濃淡や色合いが異なる。
以下に、本発明の第1実施形態の画像領域分割装置および画像領域分割方法について説明する。この第1実施形態は入力画像をJSEGを用いて過剰分割し、続いて統合処理するものである。
[A1]JSEGを用いた過剰分割
まず、前述の小領域への過剰分割に既存の領域分割方法であるJSEGにつき、詳細を述べる。該領域分割の装置構成の機能ブロック図は前述のとおり図１に示されている。図1の小領域分割部1では、一実施形態としてJSEGを用いて過剰分割が行われる。この場合、小領域分割部1は図1に示すように量子化部11、領域境界尤度算出部12、領域番号付与部13および領域拡大部14を含む構成となる。また小領域分割部1(JSEG利用の場合)にて画像が処理されていく例を図５に示す。なお、JSEGは次の文献で提案されている。
Y. Deng, B. S. Manjunath, "Unsupervised Segmentation of Color-Texture Regions in Images and Video", IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI '01), vol. 23, no. 8, pp. 800-810, Agustus 2001.
図1の量子化部11では、入力された画像を減色する。例えば入力画像がRGB各成分8ビットで示される計24ビットの多値カラー画像の場合、1つの画素は1667万色で表現されるが、量子化部11によりC色(JSEGではC=10〜20が用いられる)に減色される。
量子化部11における減色処理は図４に模式的に示すような公知技術のk-meansを用いてなされる。すなわち、入力画像の全画素を、図４に示すように、RGBの3次元空間上にプロットする(図４における各×点が画素である)。なお、図４ではRGB空間のうちRGの2次元空間のみを便宜的に示し、またk-meansは次元数によらず適用可能である。k-meansを用いることで図４に示すように空間をクラスタリングして、各クラスタに属する画素の点を各クラスタのセントロイド(図４における○×点がセントロイドである)が示す色へと減色する。k-meansにおけるクラスタ数kは所定数を任意に設定できるので、k-meansをJSEGにおける量子化部11として利用する場合は減色される色数Cを設定する。こうして減色後は色数C=kとなる。
k-meansによるクラスタリングは具体的には、以下の(1)〜(4)の手順により行われる
(1)データを指定された任意の数であるk個のクラスタに分割する。
(2)各クラスタについて重心を計算する。
(3)全てのデータについて、重心との距離を最小にするクラスタを求め、各データを最小のクラスタに割り当てる。
(4)前回のクラスタから変化がなければ終了する。変化がある場合は、(2)に戻る
このようにして量子化部11の処理が行われると、例えば図５(a)のような入力画像は図５(b)のような減色画像となる。なお図５(b)の減色画像内において同一色を示す画素が視認できるよう便宜的に画素の値を変換し、における入力画像(a)から(b)が減色されていることを見やすくした画像が図５(b2)である。
領域境界尤度算出部12では、以下に示す手順により、量子化部11を経て減色された入力画像のある着目画素を中心とする局所領域からオブジェクトの境界らしさを示す領域境界尤度Jを算出する。領域境界尤度Jは画素単位で算出され、画像に含まれるオブジェクトの境界で大きな値を取る。(なおJSEGの名称は領域境界尤度Jに由来する。)
減色された入力画像内の着目画素z=(x,y)の位置座標(x,y)について、次式に示すように重心m(数式1)からの分散ST(数式2)を算出する。なお、数式1，2において着目画素中心の局所領域がZであり、Zに含まれる画素のうち領域境界尤度Jの算出に用いるもの(計算効率・負荷の都合上、局所領域Z内で例えば縦・横方向共に2画素おきでサンプリングする)の個数がN個である。
また数式1，2における着目画素中心の局所領域Zに属する画素を、色数Cに減色された各色別に分類した画素の集合をZi(i=1,2,…,C)とする。つまりZiの各i(i=1,2,…,C)の和集合が局所領域Zとなり、各Ziも局所領域Zと同様にZの中心である着目画素毎に定まる。画素集合Ziの重心mi(数式3)からの分散Siの総和SW(数式4)を算出する。なお数式3，4においてNiを画素集合Ziに含まれる画素数とする。
次式(数式5)に示す通り、算出された分散STとSWから局所領域内の中心に位置する着目画素の領域境界尤度Jを算出する。図５(b)の減色画像をこのように領域境界尤度算出部12で処理して領域境界尤度Jを算出し、領域境界尤度Jを可視化(Jが大きいほど白色に近づくとして可視化)した画像を図５(c)に示す。
領域番号付与部13では、局所領域(領域境界尤度算出部12の場合と同様の領域およびサンプリング)における領域境界尤度Jの分布の平均μと分散σ2(および分散σ2の平方根として算出される標準偏差σ)を算出し、次式(数式6)に示す通り、しきい値Tを決定する。ただし、αは調整を要するパラメータであり、予備実験等を行って、有効に作用する値を予め決定する。αの値は例えば0.1程度に設定すると有効に作用する。
設定されたしきい値Tを下回る領域境界尤度Jを持った画素は領域境界ではないと判定して領域番号を付与する。この際、隣接画素(局所領域内の計算に用いた画素での隣接画素)でも領域境界ではないと判定された場合は同一の領域番号を付与する。
図５(c)の領域境界尤度Jを可視化した画像(領域境界尤度Jが算出された画像)を領域番号付与部13で処理し、しきい値Tを上回る画素(境界領域であると判定された画素)を白で、しきい値Tを下回る画素(境界領域ではないと判定され領域番号を付与された画素)を黒で表示した画像を図５(d)に示した。
領域拡大部14では、計算効率の都合上、所定サンプリング密度である程度まばらに算出された領域境界尤度Jの結果から得られた、ある程度まばらな境界領域／領域番号判定を残る全画素に渡って補う処理を行う。すなわち、領域番号が付与された画素の領域番号を、その画素に隣接する領域番号がまだ付与されていない画素(局所領域においてサンプリングされなかった画素)でありかつ境界領域の画素には隣接しない画素に対して拡大して付与し、領域番号が付いていない画素(境界領域と判定されたために領域番号が付いてない画素は除く)が無くなるまで拡大処理を繰り返す。また、各局所領域で付与した領域番号を画像全体での領域番号として矛盾がないよう(領域番号が付与された領域が連結なら共通の領域番号とするなど)、それらの付与番号を調整する。こうして最終的に各領域番号の付与された画素の全体を各小領域として、図５(ｅ)の領域分割結果(小領域分割結果)が得られる。
なお領域分割結果として過剰分割して得られる小領域を統合してオブジェクトを得るためさらに後述の対象領域選択部2以降で処理するにあたっては、小領域の各画素は入力画像を参照して量子化部11で減色される前の画素値に戻すものとする。この処理は領域拡大部14において行っても、対象領域選択部2において行ってもよい。なお、後述の[A2]Normalized Cutsによる小領域分割では減色されないため、減色前の元の画素値に戻す処理は必要ない。
以上、JSEGで小領域分割部1を実施して入力画像から小領域分割結果を得るまでを説明した。
[B]小領域の統合処理
次に、小領域分割結果(および入力画像)に対して、（２）対象領域選択処理、（３）小領域拡張処理、（４）輪郭抽出処理、（５）輪郭集中頻度測定処理、（６）オブジェクト間境界判定処理および（７）閉領域抽出処理を行って領域分割結果を得るまでの段階を説明する。本段階のうち、第１実施形態に係る図1(または後述の第２実施形態に係る図2でも同様)の（２）対象領域選択部2、（３）小領域拡張部30(色分布モデル化部3、分割エネルギー算出部4および二領域分割・統合部5を含む)によって画像が処理されていく例を図６に示す。また本段階のうち、図1(または図2)の（４）輪郭抽出処理、（５）輪郭集中頻度測定処理、（６）オブジェクト間境界判定処理および（７）閉領域抽出処理によって画像が処理されていく例を図７に示す。
（２）対象領域選択部2では、小領域分割結果から小領域を選択し、選択された各小領域ごとに該小領域を識別するための処理番号を付与して出力すると同時に、入力画像から選択された小領域の内部領域と外部領域をそれぞれ抽出する。なお小領域の内部領域とは小領域自身であり、外部領域と区別するための用語である。外部領域とは入力画像全体の領域から内部領域を除いた領域である。小領域の内部に(小領域に属さない)穴の領域がある場合、穴は内部領域ではない。小領域が連結でない場合、その各部分が内部領域である。
図６に示す例では、同図(a)に示す小領域分割結果の画像の中から左寄りの緑色の草の領域が選択された場合、選択された小領域の内部領域は同図(b)、選択された小領域の外部領域は同図(c)のように出力される。同図(b)、(c)では該当しない領域は黒色で塗りつぶして表示した。
なお各小領域が前述のJSEGの場合のように（１）小領域分割部1にて途中で減色されるなどしている場合(かつ分割結果を得てから小領域分割部1内で減色前の画素値に戻されていない場合)は、（２）対象領域選択部2において元の入力画像を参照して画素値を元に戻してもよい。
（３）小領域拡張部30は、以下に述べる色分布モデル化部3、分割エネルギー算出部4および二領域分割・統合部5を含む。ここでは内部領域の色特徴を抽出し、外部領域のうち内部領域と色特徴が類似していると判定される領域(色特徴類似領域)を選出し、色特徴類似領域と対応する内部領域(＝小領域)とを統合して小領域拡張領域を得る。図６に示す例では、同図(b)、(c)から(d)を出力するのが（３）小領域拡張部30である。
色分布モデル化部3では、選択された小領域内部に含まれる画素の色の分布をモデル化する。例えば図６の場合、同図(b)が選択された小領域の内部領域であるため、これに含まれる画素の色分布をモデル化する。この場合、主に草の緑色の分布がモデル化されることになる。この際、色分布のモデル化には、例えば混合正規分布モデル(GMM)もしくはヒストグラムを用いることができる。
画素の信号値をFとした場合、混合数Mの混合正規分布モデル(GMM)の密度関数g[F]は、平均μm、共分散行列Σmで決定されるM個の正規分布Nm(μm、Σm)の重み付き線形和として定義される(数式7)。ただし、Fは画素の信号値、λmは各正規分布に割り当てられる重みを示す。
色の分布を混合正規分布モデル(GMM)によりモデル化する場合は、選択された小領域内に含まれる画素の信号値Fを用いて、公知の技術であるEMアルゴリズム(期待値最大化法)により、各正規分布Nm(μm、Σm)に割り当てられる重みλmと同時に平均μmおよび共分散行列Σmを決定する。
色の分布をヒストグラムによりモデル化する場合は、画素の取りうる信号値Fの適切な区間を各階級として、選択された小領域内に含まれる画素の信号値Fの相対頻度を測定することによりヒストグラムθ[F]を算出する。ヒストグラムの値θ[F]は信号値Fの各区間の相対頻度であり規格化されているので、次式(数式8)に示すとおり、全信号値Fの区間に渡ってその和を取ると1となる。
分割エネルギー算出部4では、外部領域を内部領域と色特徴が類似すると判定される領域と類似しないと判定される領域とに分割するのに必要なエネルギー(エネルギーが小さいほど色特徴に基づく分割が妥当な分割であると判定される)を算出するエネルギー関数を生成する。このため、まず色分布モデル化部3にて生成された色分布モデルを用いて、入力画像内で選択された小領域以外の領域に含まれる個々の画素pが、どの程度選択された小領域内の画素の色分布と類似しているかを、画素pの信号値F(p)から尤度L[F(p)]として算出する。
色の分布を混合正規分布モデル(GMM)の密度関数g[F]によりモデル化する場合は、尤度L[F(p)]= g[F(p)]とする。また、色の分布をヒストグラムθ[F]によりモデル化する場合は、尤度L[F(p)]=θ[F(p)]とする。
尤度L[F(p)]すなわち内部領域との各画素の色特徴の類似性の指標に加えて、隣接する画素間の色特徴の類似性から入力画像内で選択された小領域以外の領域で指定された画像を二領域に分割する際に必要となるエネルギーを求め、分割の仕方を変数としたエネルギー関数Eを次式(数式9)に従い生成する。
なお、数式9においてe[l(p),l(q)]は次(数式10)のとおりである。
ただし、qは画素pの近傍にある画素とし、l(p)は選択された小領域以外の領域に含まれる画素pが選択された小領域内の画素の色特徴に類似していると判定した場合1を、そうでない場合0とする(すなわち分割の仕方を定めるとl(ｐ)の値が全ての画素pにつき定まり、エネルギー関数Eの値が定まる)。ηおよびκは調整を要する正の定数、dist(p,q)は画素p、q間の距離である。
なお、定数κについては、次（数式11）のように入力画像から適応的に自動決定してもよい。すなわち、入力画像内の画素pとその近傍にある画素qとの持つ信号値Fから、
として求める。ただし、（数式 11）において演算記号＜・＞は画素pとその近傍画素qについて、画像内で取りうる全ての組み合わせに関する値・の平均値を意味する。これにより、入力画像内の信号の内容に応じてκを決定することが可能となり、入力画像に合ったκが決定され、領域分割の精度を向上させるという効果が得られる。
なおまた、（数式 11）による当該κの利用は、(数式 10)に代入すれば明らかなように、各画素値F(p)，F(q)を、(数式11)の平方根を定数として掛けることによって正規化したうえで、(数式 10)のe[l(p),l(q)]を求めることに相当する。そして当該正規化は、上記演算記号＜・＞の意味より、画素pで表される入力画像全体内における、画素qで表される局所領域内の色特徴類似性に基づいた正規化である。
二領域分割・統合部5では、まず二領域分割処理として選択された小領域以外の領域に含まれる画素pが選択された小領域内の画素の色特徴に類似していると判定した場合はl(p)=1とし、そうでない場合l(p)=0として、生成されたエネルギー関数Eからエネルギーを最小とする分割二領域を決定する。分割二領域の各々は連結である場合も連結でない場合も、穴がある場合もない場合もありえる。次に統合処理として、分割二領域のうちl(p)=1で内部領域(小領域)の色特徴に類似していると判定された領域を対応する(色特徴の類似性の判定元となる)内部領域と統合して、小領域拡張領域として出力する。
エネルギー最小化による二領域分割とこれにより得られる色特徴類似領域の内部領域への統合の結果、小領域拡張領域として例えば図６(d)に示すような画像が得られる。なお図６(d)では外部領域内において類似していると判定されなかった領域(小領域拡張領域以外の領域)は黒塗りで示している。
なお、数式9の第1項は色特徴に関連する項であり、選択された小領域内部で画素pの信号値F(p)が使われているほど値が小さくなるため、この場合画素pが選択された小領域内の画素の色特徴に類似していると判定するのがエネルギー最小化で好まれることとなる。
また、数式9の第2項は色特徴および(色特徴に基づく)分割の仕方に関連する項であり、画素p、q間の信号値が近い画素であれば大きなエネルギーが発生するためl(p)およびl(q)が異なる(すなわちp,qは色特徴が異なり分割二領域の異なる領域に属する)という判定は下され難いが、画素値の差が大きい境界部分では大きなエネルギーが発生しないため、l(p)およびl(q)が異なるという判定が好まれる。前述のように数式11を利用する場合、当該分割二領域の区別判定にあたって、入力画像全体における色特徴の異なりの度合いに基づいた正規化を施してから判定を下すこととなる。
また二領域分割・統合部5は、上記のように生成されたエネルギー関数Eからエネルギーを最小とする分割二領域を決定するにあたって、外部領域全体を変数として一度に決定するのではなく、外部領域に含まれるその他の(該当する内部領域以外の)小領域(小領域分割部1で分割された小領域)ごとにそれぞれエネルギー最小の領域を決定してもよい。またこの場合、各小領域から得られるエネルギー最小の領域が小領域の所定の割合(例えば含まれる画素数の半分)を超えるか否かによって、各小領域の全体を小領域拡張領域に加えるもしくは加えないような処理を行ってもよい。
以上で述べた通り、（３）小領域拡張処理は選択された小領域と同じ統計情報に従う画素を画像内から特定し、元の小領域を拡大した領域を抽出する働きがある。小領域が画像内のあるオブジェクトに属する部分領域として適切に選択された場合、その小領域は同じ統計的性質を有する帰属オブジェクトの形状へと正しく拡大されると考えられる。
後述の通り、（１）小領域分割処理によって様々に分割された小領域を使ってそれぞれ（３）小領域拡張処理を適用した場合、得られた拡大領域の中には画像内に含まれる真のオブジェクトと同一形状を示すものがいくつか重複して含まれることが頻繁にある。そこで、本発明ではこの拡大領域の形状が重複する特性を利用し、オブジェクトを抽出する。
すなわち、本発明では、重複を考慮して拡張領域をまとめ上げるために、拡張領域の輪郭に注目する。拡大領域の輪郭が集中する画素は、画像内に含まれる真のオブジェクトの境界線上にあると考えられるので、それらを抽出することによって多値領域分割を実現する。これにより、形状の類似した拡大領域の重複度合いに基づいて確率的に画像内に含まれる真のオブジェクトを抽出できる。
なお、本発明の画像領域分割装置における上述の処理（３）の拡張・統合処理は、画像に含まれるオブジェクトはそれぞれ特徴的な色の分布を有しており、また同一のオブジェクト内であれば部分的に見て色分布が大きく変わることがない、という特性に基づいて行われるものである。したがって、ある一定の色分布を選択された2つの小領域のそれぞれの色分布に基づいて出力された小領域拡張領域同士に重複する領域が多い場合(位置・形状などの一致度が大きい場合を含む)は、選択された小領域が同じ色分布を持っており、選択された2つの小領域(選択された1つの小領域ペア)は同一のオブジェクトの一部である可能性が高いと考えて統合する。
（４）輪郭抽出部8
得られた拡張領域から輪郭を抽出し、輪郭情報、すなわち各画素が各拡張領域の輪郭を構成する画素であるか否かを識別する情報、として出力する。図７に示す通り、（１）小領域分割処理により(a)小領域分割された画像から、（２）対象領域選処理により(b)選択されたある小領域R1は、（３）小領域拡張処理により(c)拡張領域E1へと拡張される。そして、当該（４）輪郭抽出処理によって、得られた拡張領域E1から輪郭を抽出し、(d)輪郭情報C1として出力する。
図７の例の場合、選択された小領域R1である草の一部から、画像内の草の領域（主に緑色）へと領域が拡張され、拡張領域E1を得る。輪郭情報C1は、山羊と柵との各オブジェクト間の境界部分を正しく示している。
同様に、(e)選択されたある小領域R2から拡張された(f)拡張領域E2からは、その輪郭である(g)輪郭情報C2が抽出される。小領域R2は山羊の体の一部であり、拡張領域E2は山羊の体全体（主に白色）を示す。輪郭情報C2は、草と柵との各オブジェクト間の境界部分を正しく示している。
なお、輪郭情報の抽出、すなわち各画素が輪郭であるか否かの判定を行うには、例えば次のようにすればよい。その手順を図８に示す。輪郭上の画素であるか否かは、（ａ）に示すように、得られた拡張領域画像上を左から右、上から下のラスタースキャン順に走査して、着目画素を一画素ずつ判定していく。着目画素は左上に位置する。右・右下・下の三方向の画素が着目位置と同一領域であるか否かをそれぞれ判定する。一つでも違う領域を含んでいれば、着目位置を輪郭上の画素と判定する。
図８の例の(b2)に示す画素位置βでは、山羊の背中左上部分の輪郭付近の4画素を抽出した。着目位置βは拡張領域には含まれていない背景画素（図中「B」と表記）であり、その他右・右下・下の画素は拡張領域内に含まれる画素（図中「Ｆ」と表記）であったとする。この場合、着目位置と周辺3画素との領域は異なるため、(c2)に示すように、着目位置βを輪郭上の画素と判定する。また逆に、図８の例の(b1)に示す画素位置αでは、α自身もその他右・右下・下の画素も全て背景画素であるので、(c1)に示すように、着目位置αは輪郭でないと判定する。このようにして、背景と山羊との境界部分の画素が輪郭として抽出される。
（５）輪郭集中頻度測定部9
各拡張領域に対して得られた二領域間の輪郭から画像内の各画素位置で、その画素位置が輪郭となった頻度を測定する。すなわち、各領域に対して得られた輪郭情報の総和を取ることで、画像内の各画素位置が輪郭となった頻度を求める。そして、当該総和として求められた頻度を正規化することで、輪郭集中頻度を得る。
図９(a)に示す通り、（１）小領域分割部10により計17個の小領域Rが得られたとする。同図(b)(c)(d)に示す通り、このそれぞれの小領域Rを（２）対象領域選択部2により選択し、（３）小領域拡張部30により拡張させたとき、得られた拡大領域Eの中には画像内に含まれる真のオブジェクトと同一形状を示すものがいくつか重複して含まれることが確認できる。
なお、(b)(c)(d)の図内の番号は(a)の小領域番号に対応している。同図(c)の拡張領域には画像内に含まれる真のオブジェクトと同じ形状を示す拡大領域が存在し，さらに類似した形状の拡大領域が重複して得られていることが確認できる。例えば，小領域番号R1，R2，R3，R4にそれぞれ対応する拡張領域E1，E2，E3，E4はいずれも柵オブジェクトへ，また小領域番号R5，R7，R10，R12，R13にそれぞれ対応する拡張領域E5，E7，E10，E12，E13はいずれも草オブジェクトへ，さらに小領域番号R14，R16にそれぞれ対応する拡張領域E14，E16はいずれも山羊オブジェクトへと領域が拡大されている。
（５）輪郭集中頻度測定部9では領域拡大により生成したオブジェクト候補の中から真のオブジェクトを抽出するために、拡大領域の輪郭に着目し、先行技術において類似形状を示す拡大領域の重複度合いを用いる代わりに、本発明の特徴である、拡大領域の輪郭の集中度を用いる。このように重複度合いを輪郭の集中度に置き換えて計測することで、オブジェクト抽出の精度が向上するという効果がある。
例えば図９では、類似した形状で重複している拡張領域が存在するため、柵・草・山羊オブジェクトの外周上にある画素が、画像内に含まれる真のオブジェクト間の境界線と判定される確率が高くなる。画像内の様々なシードを領域拡大させて求められたオブジェクト候補の輪郭が集中した頻度をカウントすることで、その画素が境界線上の画素であるか否かを確率的に決定する。
輪郭集中頻度Lpは0〜1（０以上１以下）の範囲の値を持つように、輪郭情報の総和として測定された頻度の値を正規化して求める。具体的には、画像内の最大の値で各画素の頻度を割ることで、輪郭集中頻度Lpを求める。もしくは、小領域分割数（図９の例であれば当該分割数は１７）で画像内の各画素の頻度を割って、輪郭集中頻度Lpを得ることもできる。
各画素について拡大領域の輪郭となった頻度を測定して正規化し、輪郭集中頻度を求め、その画像内での分布を可視化したものを図９（ｅ）に示す。輝度の明るい（白い）画ほど、拡大領域の輪郭となった頻度が高いことを示す。
（６）オブジェクト間境界判定部10
求められた輪郭集中頻度から、各画素位置においてその画素がオブジェクト間の境界候補であるか否かを、設定されたしきい値により判定する。拡大領域の輪郭のたどり着く頻度の高い画素を、画像内に含まれる真のオブジェクト間の境界線上の画素候補と判定する。したがって、しきい値T(0≦T≦1)によりL_p≧Tであれば画素を画像内に含まれる真のオブジェクト間の境界線上にある画素候補と判定する。
実際に、図１０(c)に示す輪郭集中頻度からしきい値Tを設定して判定した境界線を同図(d)に示す。人間の判断による領域分割結果に含まれるオブジェクトの境界線に近い結果が再現できていることが分かる。
（７）閉領域抽出部20
判定されたオブジェクト境界候補には閉領域を構成しない境界線が含まれる可能性がある。オブジェクト境界候補から閉領域を抽出して、オブジェクト境界を得る。当該オブジェクト境界により画像が分割される領域として、本発明の画像領域分割装置における最終的な、多領域へ分割結果としてのオブジェクトが得られる。閉領域の抽出処理は、画像処理の分野では公知である。既存の閉領域抽出方法を適用できる。
例えば、図１０（d）に示したオブジェクト境界線候補には、画像左下の山羊の体から閉領域の構成に関係の無い、開領域を形成する境界線が得られている。これを消し去るために、（７）閉領域抽出部20により、画素単位の探索により、隣接画素間の連結性を調べて領域番号を付与し、境界線候補上の画素の両側で同一の領域番号が振られているものは、開領域を構成する境界線上の画素と考えて、削除する。
この結果、図１０(e)に示す通り、山羊・草・柵の3つのオブジェクトの領域分割結果が得られる。これらの一連の処理は、ユーザ自らがシードを指定する等の手動操作を必要としない。与えられた画像から自動で最終の多領域分割結果が得られる。
次に、本発明の第2の実施形態の画像領域分割装置および画像領域分割方法について説明する。この第2の実施形態は、入力画像をNormalized Cutsを用いて過剰分割する点で、第1の実施形態と異なるが、統合処理は共通である。よって以下ではNormalized Cutsを用いた過剰分割処理についてのみ説明し、小領域の統合処理の説明は省略する。
[A2]Normalized Cutsを用いた過剰分割
Normalized Cutsを利用して、本発明の画像領域分割装置における小領域分割部1を実現する場合について詳細を述べる。該画像領域分割装置の機能ブロック図は前述のとおり、図２に示されている。また、本構成で小領域に分割する処理の流れを図１１に示す。なお、Normalized Cutsは次の文献で提案されているように既知である。
Jianbo Shi and Jitendra Malik, "Normalized Cuts and Image Segmentation," IEEE Transactions on PAMI, Vol. 22, No. 8, pp.888-905, Aug. 2000.
画素間類似度行列算出部101では、画像内の任意の2画素の組み合わせ全てに対し、画素間の色特徴の類似性を示した類似度行列Ｗを算出する。縦NR画素、横NC画素、全NRNC画素の入力画像内の画素をラスタースキャン順に数え上げて、第i番目の画素の信号値をF(i)、位置座標をX(i)、第j番目の画素の信号値をF(j)、位置座標をX(j)とする。ただし、i,j=1,2,…, NRNCである。NRNC行、NRNC列の類似度行列Wの第i行第j列の要素wijは次の通り算出される(数式12)。
数式12においてrは距離しきい値で調整を要するパラメータである。σI 2およびσx 2はそれぞれ入力画像内の画素の信号値Fの分散および位置座標Xの分散から求める。r以上の距離が離れた画素間は類似性を0とすることを意味する。
算出された類似度行列Wから、画素間類似度行列算出部101は同じくNRNC行、NRNC列の対角行列Dを次式の通り算出する(数式13)。ただし、対角行列Dの第i行第j列の要素dijとする。
評価基準作成部102では、算出された類似度行列Wおよびその対角行列Dから色特徴の類似度の高い画素同士が同じ小領域に分割されるための評価基準行列Aを次式の通り作成する(数式14)。評価基準行列AもまたNRNC行、NRNC列の行列となる。
固有ベクトル算出部103では、評価基準行列Aの固有ベクトルvpを固有値の小さいものから昇順にP個算出する(p=1,2,...,P)。固有ベクトルvpはNRNC行、1列の行列となる。
小領域算出部104では、算出されたP個の固有ベクトルvpを固有値の小さいものから順次列方向に並べた固有ベクトル行列V=[v1,v2,…,vP]と、類似度行列Wの対角行列Dから次式に示す行列Bを算出する。
行列BはNRNC行、P列の行列となる。行列B内の要素を行方向に抽出し、NRNC個の行ベクトルur (r=1,2,…,NRNC)を生成する。すなわち行ベクトルur(r=1,2,…,NRNC)は行列Bの第ｒ行に一致する1行P列の行列であり、行ベクトル(行列)urの1行ｊ列(ｊ＝1,2,..,P)成分は行列Bのｒ行ｊ列成分に等しい。
NRNC個の行ベクトルurの集合が分布するP次元空間を前述のk-meansによりQ個にクラスタリングする。ただし、Qは分割させたい小領域の数を設定する。クラスタリングの結果、NRNC個の行ベクトルurのそれぞれに1からQまでの小領域番号が付与される。付与された小領域番号を要素とするNRNC行、1列の行列を小領域番号行列hとして算出する。小領域番号行列hの要素は、入力画像のラスタースキャン順に対応して順番で、Q個に分割された小領域の番号が記述される。すなわち小領域行列hのi行1列の要素(iは1,2,…,NRNCのいずれか)がQi(Qiは1,…,Qのいずれか)であれば、入力画像におけるラスタースキャン順に数え上げた順番がiの画素は小領域番号Qiの小領域に属している。こうして小領域行列hの各要素を参照することで入力画像のNRNC画素が各々どの小領域に属するか決まり、小領域分割結果を得る。
なお、本発明の画像領域分割装置(第1の実施形態および第2の実施形態を含む)は入力画像を入力する入力部と、処理中の画像データを記憶する主記憶部と、プログラムを格納する記録部と、プログラムを実行する中央演算部と、処理結果を表示する表示部とを備えるパーソナルコンピュータ(PC)に対して図1、図2の各種処理を行うプログラムをインストールすることで構築してもよい。
本発明により画像関連の新しいサービスを提供できるようになる。すなわち、本発明の画像領域分割装置により、画像に含まれる個々のオブジェクトを分離できるようになる。そのため抽出された個々のオブジェクトを別々に切り替えて表示することができるようになる。また画像符号化・伝送サービスにも役立つ。すなわち重要なオブジェクトを優先して高画質で符号化することにより、限定された符号レート下での符号化において画像の主観画質を改善するのに役立つ。さらに画像認識サービスにも役立つ。すなわち個々のオブジェクトを抽出することによって、オブジェクトが混在した画像を全体的に解析するよりも、画像内容をより詳細に解析および理解することができるようになる。
１…小領域分割部、２…対象領域選択部、３０…小領域拡張部、３…色分布モデル化部、４…分割エネルギー算出部、５…二領域分割・統合部、８…輪郭抽出部、９…輪郭集中頻度測定部、１０…オブジェクト間境界判定部、２０…閉領域抽出部、１１…量子化部、１２…領域境界尤度算出部、１３…領域番号付与部、１４…領域拡大部、１０１…画素間類似度行列算出部、１０２…評価基準作成部、１０３…固有ベクトル算出部、１０４…小領域算出部

Claims (13)

  1. 入力画像に含まれる各オブジェクトを分離抽出する画像領域分割装置であって、
    入力画像を色特徴に基づいて複数の小領域に過剰分割する小領域分割部と、
    該過剰分割された複数の小領域の各々に対して、前記入力画像において該小領域に属する内部領域と該小領域に属さない外部領域とを対応付けて出力する対象領域選択部と、
    前記外部領域のうち対応する前記内部領域と色特徴が類似する領域を該内部領域と統合して小領域拡張領域として出力する小領域拡張部と、
    前記小領域拡張領域の各々に対して、その輪郭上の画素を抽出し、該抽出された輪郭上の画素を識別する情報である輪郭情報を求める輪郭抽出部と、
    前記各々に対して求められた輪郭情報を用いて、入力画像の各画素に対して、当該画素の位置が輪郭となった頻度を測定して輪郭集中頻度を求める輪郭集中頻度測定部と、
    入力画像の各画素のうち、前記輪郭集中頻度が所定基準を満たす画素をオブジェクト間境界候補であるとして判定するオブジェクト間境界判定部と、
    前記オブジェクト間境界候補を構成する領域から閉領域を抽出してオブジェクト間境界とし、該オブジェクト間境界によって分離される入力画像の各領域を前記各オブジェクトとして得る閉領域抽出部とを備えることを特徴とする画像領域分割装置。
  2. 前記小領域拡張部が、
    前記内部領域に含まれる画素の色の分布から色分布モデルを生成する色分布モデル化部と、
    前記色分布モデルを用いて、前記内部領域に対応する外部領域を該内部領域との第１の色特徴類似性および該外部領域内の局所領域内の第２の色特徴類似性に基づいて二分割するのに必要なエネルギーを求める、該二分割の領域を変数としたエネルギー関数を生成する分割エネルギー算出部と、
    前記エネルギー関数を用いて前記エネルギーを最小とする分割二領域を求め、該分割二領域のうち前記内部領域と色特徴の類似性があると判定された領域を前記内部領域と統合して前記小領域拡張領域として出力する二領域分割・統合部とを備えることを特徴とする請求項１に記載の画像領域分割装置。
  3. 前記分割エネルギー算出部が、
    前記第２の色特徴類似性を求めるに際して前記外部領域内の局所領域内の画素値を用いて求め、且つ当該画素値を、入力画像全体内における局所領域内の色特徴類似性に基づいて正規化した値として用いて前記第２の色特徴類似性を求めることを特徴とする請求項２に記載の画像領域分割装置。
  4. 前記二領域分割・統合部が、
    前記エネルギー関数を用いて前記エネルギーを最小とする分割二領域を求めるに際して、 前記外部領域内に含まれる前記過剰分割された小領域単位でに前記エネルギーを最小とする領域を求めることを特徴とする請求項２または３に記載の画像領域分割装置。
  5. 前記色分布モデルに混合正規分布モデル（GMM）を用いることを特徴とする請求項２ないし４のいずれかに記載の画像領域分割装置。
  6. 前記色分布モデルにヒストグラムを用いることを特徴とする請求項２ないし４のいずれかに記載の画像領域分割装置。
  7. 前記小領域分割部が、
    入力画像を減色して減色画像に変換する量子化部と、
    前記減色画像の領域境界尤度を所定サンプリング密度の画素単位で算出する領域境界尤度算出部と、
    前記領域境界尤度の分布から前記領域境界尤度を算出された各画素が領域境界に属するか領域に属するかを判定し、領域に属する場合は領域番号を付与する領域番号付与部と、
    前記領域境界に属するか領域に属するかを判定された画素以外の残りの画素に対して、前記領域番号を付与された画素の局所分布に基づいて領域に属すると判定される画素に領域番号を付与し、前記入力画像全体における前記領域番号を付与された画素の連結領域として前記複数の小領域の各々を得る領域拡大部とを備えることを特徴とする請求項１ないし６のいずれかに記載の画像領域分割装置。
  8. 前記小領域分割部が、
    前記入力画像の画素間の色特徴の類似性を示す類似度行列および該類似度行列の対角行列を算出する画素間類似度行列算出部と、
    前記類似度行列および前記対角行列を用いて、色特徴の類似度の高い画素同士が同じ小領域に分割されるための評価基準行列を作成する評価基準作成部と、
    前記評価基準行列の固有ベクトルを固有値昇順に所定数求める固有ベクトル算出部と、
    前記固有ベクトルおよび前記対角行列を用いて、前記入力画像の各画素が所定数の小領域のいずれに属するかを示す小領域番号行列を算出し、該小領域番号行列を参照して前記複数の小領域の各々を得る小領域算出部とを備えることを特徴とする請求項１ないし６のいずれかに記載の画像領域分割装置。
  9. 前記輪郭集中頻度測定部が、前記測定した頻度を正規化して前記輪郭集中頻度を求め、
    前記オブジェクト境界判定部が、入力画像の各画素のうち、前記輪郭集中頻度が所定の閾値基準を満たす画素をオブジェクト間境界候補であるとして判定することを特徴とする請求項１ないし８のいずれかに記載の画像領域分割装置。
  10. 前記輪郭集中頻度測定部が、入力画像の各画素に対して前記測定した頻度のうちの最大値を用いて該測定した頻度を割った値として、前記輪郭集中頻度を求め、
    前記オブジェクト境界判定部が、入力画像の各画素のうち、前記輪郭集中頻度が所定の閾値基準を満たす画素をオブジェクト間境界候補であるとして判定することを特徴とする請求項１ないし８のいずれかに記載の画像領域分割装置。
  11. 前記輪郭集中頻度測定部が、前記小領域分割部により前記過剰分割された小領域の数を用いて、前記測定した頻度を割った値として、前記輪郭集中頻度を求め、
    前記オブジェクト境界判定部が、入力画像の各画素のうち、前記輪郭集中頻度が所定の閾値基準を満たす画素をオブジェクト間境界候補であるとして判定することを特徴とする請求項１ないし８のいずれかに記載の画像領域分割装置。
  12. 入力画像に含まれる各オブジェクトを分離抽出する画像領域分割方法であって、
    入力画像を色特徴に基づいて複数の小領域に過剰分割する小領域分割ステップと、
    該過剰分割された複数の小領域の各々に対して、前記入力画像において該小領域に属する内部領域と該小領域に属さない外部領域とを対応付けて出力する対象領域選択ステップと、
    前記外部領域のうち対応する前記内部領域と色特徴が類似する領域を該内部領域と統合して小領域拡張領域として出力する小領域拡張ステップと、
    前記小領域拡張領域の各々に対して、その輪郭上の画素を抽出し、該抽出された輪郭上の画素を識別する情報である輪郭情報を求める輪郭抽出ステップと、
    前記各々に対して求められた輪郭情報を用いて、入力画像の各画素に対して、当該画素の位置が輪郭となった頻度を測定して輪郭集中頻度を求める輪郭集中頻度測定ステップと、
    入力画像の各画素のうち、前記輪郭集中頻度が所定基準を満たす画素をオブジェクト間境界候補であるとして判定するオブジェクト間境界判定ステップと、
    前記オブジェクト間境界候補を構成する領域から閉領域を抽出してオブジェクト間境界とし、該オブジェクト間境界によって分離される入力画像の各領域を前記各オブジェクトとして得る閉領域抽出ステップとを備えることを特徴とする画像領域分割方法。
  13. 入力画像に含まれる各オブジェクトを分離抽出する画像領域分割プログラムであって、コンピュータに、
    入力画像を色特徴に基づいて複数の小領域に過剰分割する小領域分割ステップと、
    該過剰分割された複数の小領域の各々に対して、前記入力画像において該小領域に属する内部領域と該小領域に属さない外部領域とを対応付けて出力する対象領域選択ステップと、
    前記外部領域のうち対応する前記内部領域と色特徴が類似する領域を該内部領域と統合して小領域拡張領域として出力する小領域拡張ステップと、
    前記小領域拡張領域の各々に対して、その輪郭上の画素を抽出し、該抽出された輪郭上の画素を識別する情報である輪郭情報を求める輪郭抽出ステップと、
    前記各々に対して求められた輪郭情報を用いて、入力画像の各画素に対して、当該画素の位置が輪郭となった頻度を測定して輪郭集中頻度を求める輪郭集中頻度測定ステップと、
    入力画像の各画素のうち、前記輪郭集中頻度が所定基準を満たす画素をオブジェクト間境界候補であるとして判定するオブジェクト間境界判定ステップと、
    前記オブジェクト間境界候補を構成する領域から閉領域を抽出してオブジェクト間境界とし、該オブジェクト間境界によって分離される入力画像の各領域を前記各オブジェクトとして得る閉領域抽出ステップとを実行させるためのプログラム。
JP2010232914A 2010-10-15 2010-10-15 画像領域分割装置、画像領域分割方法および画像領域分割プログラム Expired - Fee Related JP5567448B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010232914A JP5567448B2 (ja) 2010-10-15 2010-10-15 画像領域分割装置、画像領域分割方法および画像領域分割プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010232914A JP5567448B2 (ja) 2010-10-15 2010-10-15 画像領域分割装置、画像領域分割方法および画像領域分割プログラム

Publications (2)

Publication Number Publication Date
JP2012088796A JP2012088796A (ja) 2012-05-10
JP5567448B2 true JP5567448B2 (ja) 2014-08-06

Family

ID=46260383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010232914A Expired - Fee Related JP5567448B2 (ja) 2010-10-15 2010-10-15 画像領域分割装置、画像領域分割方法および画像領域分割プログラム

Country Status (1)

Country Link
JP (1) JP5567448B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5824413B2 (ja) * 2012-05-23 2015-11-25 日本電信電話株式会社 物体領域推定装置、物体領域推定方法及び物体領域推定プログラム
JP5849206B2 (ja) 2013-03-27 2016-01-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5834253B2 (ja) 2013-03-27 2015-12-16 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5899475B2 (ja) 2013-04-05 2016-04-06 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6136537B2 (ja) 2013-04-26 2017-05-31 オムロン株式会社 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体
KR101483611B1 (ko) * 2013-05-13 2015-01-21 주식회사 브이플랩 이미지에서 객체를 추출하기 위한 방법 및 단말기
KR101694309B1 (ko) * 2013-10-02 2017-01-09 한국전자통신연구원 서브영역 기반의 객체 인식 방법 및 그 장치
JP6613876B2 (ja) * 2015-12-24 2019-12-04 トヨタ自動車株式会社 姿勢推定装置、姿勢推定方法、およびプログラム
JP6148426B1 (ja) * 2016-05-27 2017-06-14 楽天株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN110047078B (zh) * 2019-04-18 2021-11-09 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111462136B (zh) * 2020-03-31 2023-05-16 上海大学 一种基于边界分割算法的图像矢量化***和方法
CN112052909B (zh) * 2020-09-17 2023-12-01 科大讯飞股份有限公司 图形匹配方法、装置、电子设备和存储介质
CN113744326B (zh) * 2021-08-25 2023-08-22 昆明理工大学 一种在ycrcb颜色空间中基于种子区域生长法则的火灾检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2966084B2 (ja) * 1990-11-29 1999-10-25 本田技研工業株式会社 画像処理における局所的領域分割方法
JP2001351110A (ja) * 2000-06-07 2001-12-21 Nippon Telegr & Teleph Corp <Ntt> 形状輪郭線分割方法、形状輪郭線分割器、および形状輪郭線分割プログラムを記憶した記憶媒体
JP4141968B2 (ja) * 2003-03-31 2008-08-27 セイコーエプソン株式会社 画像処理装置、画像処理方法およびプログラム
JP5464739B2 (ja) * 2010-01-22 2014-04-09 Ｋｄｄｉ株式会社 画像領域分割装置、画像領域分割方法および画像領域分割プログラム

Also Published As

Publication number Publication date
JP2012088796A (ja) 2012-05-10

Similar Documents

Publication Publication Date Title
JP5567448B2 (ja) 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
JP5823270B2 (ja) 画像認識装置及び方法
CN105427309B (zh) 面向对象高空间分辨率遥感信息提取的多尺度分层处理方法
CN109657610A (zh) 一种高分辨率多源遥感影像的土地利用变化检测方法
CN110309781B (zh) 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法
Almogdady et al. A flower recognition system based on image processing and neural networks
CN111723675A (zh) 基于多重相似性度量深度学习的遥感图像场景分类方法
Xu et al. Computerized classification of prostate cancer gleason scores from whole slide images
Khan et al. Color image segmentation: a novel spatial fuzzy genetic algorithm
Aytekin et al. Visual saliency by extended quantum cuts
Rakesh et al. Image segmentation and detection of tumor objects in MR brain images using fuzzy C-means (FCM) algorithm
CN112149758B (zh) 一种基于欧式距离和深度学习的高光谱开放集分类方法
CN106157330B (zh) 一种基于目标联合外观模型的视觉跟踪方法
JP5464739B2 (ja) 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
Epifanio et al. Morphological texture features for unsupervised and supervised segmentations of natural landscapes
CN107067037B (zh) 一种使用llc准则定位图像前景的方法
CN117746260B (zh) 遥感数据智能解析方法及***
CN111091129A (zh) 一种基于多重颜色特征流形排序的图像显著区域提取方法
Kumar et al. Feature relevance analysis for 3D point cloud classification using deep learning
CN113657216A (zh) 基于形状特征的点云场景树木树冠及木质点分离方法
CN107085725B (zh) 一种通过基于自适应码本的llc聚类图像区域的方法
CN108319935B (zh) 基于区域稀疏的人脸群体识别方法
Sidorova Global segmentation of textural images on the basis of hierarchical clusterization by predetermined cluster separability
CN112257544A (zh) 基于稀疏词典的高分遥感影像震后建筑物检测方法
CN105260982B (zh) 基于稀疏和稠密重构的图像解析方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140619

R150 Certificate of patent or registration of utility model

Ref document number: 5567448

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees