JP3781835B2 - 動画像領域分割装置 - Google Patents
動画像領域分割装置 Download PDFInfo
- Publication number
- JP3781835B2 JP3781835B2 JP26477196A JP26477196A JP3781835B2 JP 3781835 B2 JP3781835 B2 JP 3781835B2 JP 26477196 A JP26477196 A JP 26477196A JP 26477196 A JP26477196 A JP 26477196A JP 3781835 B2 JP3781835 B2 JP 3781835B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- circuit
- image signal
- area
- motion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、K平均アルゴリズムで代表される画像の特徴量を利用してクラスタリング領域分割を行う動画像領域分割装置に関する。
【0002】
[発明の概要]
本発明は、動画像を領域に分割する装置において、画像内の画素の有する動き情報、色情報、位置情報を利用して動画像を分割し、画面上に発生する粒状領域、および小領域は隣接の大きな領域に統合し、初期状態の影響で発生する過分割を解消するために複数の異なる初期状態で各別に分割を行った領域情報を統合することにより、高精度な領域分割をK平均アルゴリズム自体の繰り返し処理、反復処理をすることなく可能にしたものである。
【0003】
【従来の技術】
従来、静止画像を対象とした領域分割装置としては、画面上で直接分割を行う手法と、画像の特徴量によるクラスタリング手法とが知られている。
【0004】
画面上で直接分割を行う手法は、ある一つの画素に隣接している他の画素を、その輝度や色が近いものを統合していく手法であり、代表的な手法に領域成長法がある(S.W.Zucker,"Region growing:childhood and adolescence,"Comput.Graphics and Image Processing,5,pp.382-399,(1976)) 。この領域成長法では、分割された各領域は完全に連結した閉領域になっているが、画素を統合するための判断基準にしきい値を与えるため、得られる領域形状がこのしきい値によって異なるものになる。
【0005】
一方、画像の特徴量によるクラスタリング手法は、画素の輝度や色だけでなく、画面上の位置などの特徴量が類似した画素を同一の領域とする手法である。このうち複数の特徴量を一元的に扱う手法として、K平均アルゴリズムと呼ばれる手法がある(S.Z.Selim and M.A.Ismail,"K-MEANS-Type algorithms",IEEE Trans.PAMI-6,1,pp.81-87,(1984))。K平均アルゴリズムの処理は、ある評価関数を最小にする最適化問題であり、繰り返し処理を含むものの、単純な計算で領域分割を実現できる。
【0006】
しかし、K平均アルゴリズムの処理には、初期に与えておく領域の形状が分割の結果として得られる領域の境界位置に影響したり、多数の小さな粒状の領域が発生するといった問題点が一般に指摘されている。
【0007】
上述した初期領域への依存性を解消するための方法として、多点探索法である遺伝的アルゴリズムを導入する方法(堀田、村井、宮原、”クラスタリングと遺伝的アルゴリズムを用いたカラー画像の領域分割”、信学技報、PRU94-7,(1994))や、初期に与える領域の個数を変化させて分割した結果を19種類用意し、これらを統合する手法(中谷、大崎、阿部、”複数の領域分割結果に基づく対象物境界線検出”信学論D-II,J76,4,pp.914-916,(1993))がある。
【0008】
しかし、いずれの手法もK平均アルゴリズム処理を基本としており、K平均アルゴリズム処理自体の繰り返し処理を行うためにその計算量が膨大になる。例えば、前者の手法ではK平均アルゴリズム処理を最悪で約1000回、後者の手法では19回行うことが必要となる。
【0009】
また、K平均アルゴリズム処理において発生する小さな粒状領域を除去する手法としては、弛緩法を利用する方法がある(”画素解析ハンドブック”、pp.677-679、東京大学出版会)。この方法では画像の領域の隣接関係などの事前知識を利用し、小さな粒状領域を統合すべき隣接領域を推測して処理する必要があり、例えば衛星から得られる地形の画面のような特殊な画像には適用できるが、一般の自然画像への適用は難しい。
【0010】
以上の各手法は、全て静止画像を対象とした領域分割であるが、静止画像ではなく動画像を対象とした領域分割も画像の特徴量を利用する手法により行うことができる。動画像を対象とする際には動き情報を特徴量の一つとして利用するが、動き情報は画像の内容に関係なく定められたブロック単位で推定されることが多い。その場合、ブロック内に複数の動きが存在したり、ノイズが存在するときには、得られる動き情報が不正確になるという問題点がある(G.Adiv,"Determining three-dimensional motion and structure from optical flow generated by several moving objects",IEEE Trans.PAMI-7,4,pp.384-401(1985))。
【0011】
クラスタリングを利用して動領域を抽出する手法(許、原島、”動き、色、位置のクラスタリングに基づく動画像の領域分割と領域追跡”、信学技報、IE94-152,(1995) )では、得られる動領域と別途用意した静止画像の領域分割結果とを統合することにより領域を修正する処理を行っている。そのためK平均アルゴリズムなどのクラスタリング手法の特長である、複数の特徴量を一元的に扱う処理が行えない。動き情報も特徴量の一つとして一元的に扱うためには動き情報が正確であればよいが、上述したように動き推定では必ずしも正確な動き情報を得ることはできない。
【0012】
【発明が解決しようとする課題】
前述したように、従来からK平均アルゴリズムによる領域分割での問題点である初期領域依存性と小さな粒状領域発生を解消する種々の提案がなされている。
【0013】
しかし、いずれの従来技術も処理が複雑になったり、他の情報を事前に用意する必要があるなどの欠点を有する。また、動画像を対象とした場合には、動き情報の不確かさから、K平均アルゴリズムの特徴量の一つとして動き情報をそのままでは利用できないという問題点がある。実用的で一般の自然画像への適用可能な動画像を対象とした領域分割手法の開発が望まれている。
【0014】
本発明は上記の事情に鑑みてなされたものであり、その目的は、動き情報の不確かさを解消しつつも色情報や位置情報と共に動き情報を特徴量として利用でき、また、K平均アルゴリズムによるクラスタリング処理で生じる粒状小領域の除去や初期依存性も、K平均アルゴリズム自体の繰り返し処理、反復処理をすることなく解決できる動画像領域分割装置を提供することにある。
【0015】
【課題を解決するための手段】
上記の目的を達成するために請求項1の発明は、動画像のうちの時間的に連続する画像間での各画素の移動量として定義される動き情報と、この動き情報の実際の値に対する推定された値の確からしさの指標として定義される信頼度とを入力し、一定の判定基準を満たす信頼度の高い動き情報には大きな係数を乗じ、判定基準に満たない信頼度の低い動き情報には小さな係数を乗じる重み付けを行う動き情報重み付け回路と、動画像内の画素の有する色情報、位置情報、前記動き情報重み付け回路からの重み付けされた動き情報、および初期領域を入力すると共に、前記色情報、位置情報、および重み付け動き情報を複数の特徴量として一元的に扱い、評価関数による最適探索を利用して、対象となる動画像を領域に分割して領域画像信号を生成するクラスタリング回路と、このクラスタリング回路によって生成された領域画像信号から得られた領域輪郭と、前記初期領域とは異なる初期領域形状を利用した領域画像信号から得られた領域輪郭とを入力し、これらの領域輪郭の共通部分を抽出して過分割部分を排除した領域統合画像を生成する統合回路と、を具備することを特徴とするものである。
【0016】
上記の構成によれば、動画像を対象とした場合の、不確かさを含む動き情報を特徴量の一つとして利用するために、得られた動き情報の信頼度を判定基準と比較しており、この判定基準を満たさない動き情報に対してはこれを満たす動き情報に比べて小さな係数を乗ずる。このように信頼度に基づいて重み付けをすることによって特徴量として利用する際に、信頼度の高い動き情報に対する影響を減らしている。また、初期値依存性に対しては初期領域の形状を変化させた場合の結果との統合処理を行うことにより解決している。
【0017】
請求項2の発明は、請求項1記載の動画像領域分割装置において、前記クラスタリング回路と前記統合回路間に、前記クラスタリング回路によって生成された領域画像信号を入力して、この領域画像信号中に含まれる孤立小領域を除去した領域画像信号を生成するフィルタ回路が介挿されていることを特徴とするものである。
【0018】
上記の構成によれば、フィルタリング処理を実行することにより、クラスタリング回路によって生成された領域画像信号中に含まれる数画素程度の孤立した小粒状領域を除去することができる。
【0019】
請求項3の発明は、請求項1または2記載の動画像領域分割装置において、前記クラスタリング回路または前記フィルタ回路と前記統合回路間に、前記クラスタリング回路によって生成された領域画像信号、または前記フィルタ回路により孤立小領域が除去された後の領域画像信号を入力して、これら領域画像信号における予め定められたしきい値以下の画素数の領域を、その領域内の画素を囲む近傍8画素の範囲内で最も多い画素数を有する隣接領域、またはその領域内の画素を囲む近傍8画素の範囲内で最も画素数が多い隣接領域が複数あるときは、それぞれの隣接領域全体を比較して最も大きな隣接領域に属させて小領域を統合した領域画像信号を生成する小領域統合回路が介挿されていることを特徴とするものである。
【0020】
上記の構成によれば、クラスタリング回路によって生成された領域画像信号中の小領域を隣接する大領域へ統合することができる。
【0021】
【発明の実施の形態】
図1は本発明に係る動画像領域分割装置の実施の形態の構成を示している。
【0022】
この動画像領域分割装置は、初期領域生成回路1、動き情報重み付け回路2、クラスタリング回路3、フィルタ回路4、番号付与回路5、小領域統合回路6、及び輪郭抽出回路7を備えてなる第1領域分割修正回路8−1と、第1領域分割修正回路8−1と同一回路からなる第2領域分割修正回路8−2と、輪郭重畳回路9と、統合回路10とから構成されている。
【0023】
初期領域生成回路1は、入力された動画像信号S1の画面全体を予め設定された小領域に分割して初期領域を生成し、その初期領域信号S2をクラスタリング回路3に出力する。
【0024】
動き情報重み付け回路2は、予め求められている動き情報と信頼度情報とを入力すると共に、この信頼度情報が一定の判定基準に満たない場合、判定基準を満たす信頼度の高い情報に比較して小さな値になるように信頼度に応じた重み係数を動き情報に乗ぜる処理を実行し、その重み付け動き情報S3をクラスタリング回路3に出力する。
【0025】
クラスタリング回路3は、動画像信号S1と、初期領域生成回路1からの初期領域信号S2と、動き情報重み付け回路2からの重み付け動き情報S3とを入力すると共に、クラスタリング処理を実行し、画面が領域分割された最終的な領域画像信号S4を生成してフィルタ回路4に出力する。
【0026】
フィルタ回路4は、多数決フィルタで構成され、クラスタリング回路3から供給された領域画像信号S4中に含まれる小さな粒状領域を除去し、粒状領域が除去された領域画像信号S5を番号付与回路5に出力する。
【0027】
番号付与回路5は、粒状領域が除去された領域画像信号S5を入力すると共に、得られた同一領域に含まれる画面上で連結している画素に同じ識別番号を付与し、識別番号が付与された領域画像信号S6を小領域統合回路6に出力する。
【0028】
小領域統合回路6は、識別番号が付与された領域画像信号S6を入力すると共に、予め定められたあるしきい値以下の画素数の小さな領域を別領域へ統合する処理を実行し、得られた領域画像信号S7を輪郭抽出回路7に出力する。
【0029】
輪郭抽出回路7は、領域画像信号S7を入力すると共に、この領域画像信号S7中の各領域の境界である輪郭線を抽出し、その輪郭画像信号S8を輪郭重畳回路9と統合回路10に出力する。
【0030】
輪郭重畳回路9は、輪郭抽出回路7からの輪郭画像信号S8と、第2領域分割修正回路8−2で得られた輪郭画像信号S9とを入力すると共に、2つの輪郭画像信号S8,S9の論理積を演算して輪郭画像信号S10を生成し、統合回路10に出力する。
【0031】
統合回路10は、輪郭抽出回路7からの輪郭画像信号S8と、輪郭重畳回路9からの輪郭画像信号S10とを入力すると共に、輪郭画像信号S8と輪郭画像信号S10とから領域統合処理を実行して最終的な領域分割画像を生成して出力する。
【0032】
次にこの実施の形態の動作を説明する。
【0033】
《初期領域生成回路1における処理》
動画像信号S1が初期領域生成回路1に供給されると、先ず、図2に示すように画面全体がM×Nの小領域に分割される。なお、M,Nは4から6程度の整数値であり、図2では、M=6、N=4からなる小領域を示している。これが、第1領域分割修正回路8−1が設定する初期領域となる。同様に、第2領域分割修正回路8−2でも画面全体が、第1領域分割修正回路8−1が設定する初期領域とは別のM×Nの小領域に分割される。
【0034】
《動き情報重み付け回路2における処理》
一方、動き情報と信頼度情報は、周知の手段によって予め求められており、これらの動き情報と信頼度情報は、動き情報重み付け回路2に供給される。ここで、動き推定による動き情報とは、動画像のうちの時間的に連続する画像間での各画素の移動量である。また信頼度情報とは、動き情報の実際の値に対する推定された値の確からしさの指標をいう。例えば、金子、鹿喰、田中、”輝度勾配ベクトル分布による動き推定の精度向上”、信学技報、IE96-10,(1996)に表された動きベクトル(u,v)が動き推定による動き情報に該当し、信頼度ss ,sl が信頼度情報に該当する。
【0035】
以下に、上記信頼度ss ,sl の導出過程を説明する。
【0036】
【外1】
時刻tにおける動画像面上の点(x,y)の輝度をg(x,y)、時空間輝度勾配ベクトルを、
【数1】
移動ベクトルを、m=(u,v,1)とすると、内積を用いて(2)式の勾配法の基本式が得られる。
【0037】
【数2】
g・ tm=0 …(2)
ここで、動きベクトル(u,v)を3次元へ拡張したベクトルmを移動ベクトルと呼ぶ。
【0038】
拘束条件として、「ある画像断片内の全ての画素(画素数n)が同じ動き量である」ことを用いると、画像断片内の全画素に対する誤差Σ(gi ・ tm)2 (ここで、i=0〜n)を最小にすることで移動ベクトルmを推定することができる。さらに、移動ベクトルmの代わりに正規化した単位移動ベクトルmu を用いると、推定する動きベクトルは(3)式を最小とするmu から求めることができる。
【0039】
【数3】
ここで、Gは画像断片内の輝度勾配ベクトルの共分散行列であり、次の(4)式で表せる。
【0040】
【数4】
行列Gの固有値をλ1 ≧λ2 ≧λ3 、対応する固有ベクトルをu1 ,u2 ,u3 とすると、(3)式が最小となるのは、行列Gの最小固有値λ3 に対する固有ベクトルu3 をmu としたときであることから、移動ベクトルmは行列Gの第3固有ベクトルu3 から推定できる。
【0041】
次に、(2)式のベクトル表現について考えると、移動ベクトルmを推定することは、図3に示すように、推定する移動ベクトルmと画像断片内の複数の輝度勾配ベクトルgi との内積の和ができるだけ小さくなるようにすることである。例えば、輝度勾配ベクトルgi が平面状に分布していた場合、移動ベクトルmの方向を、その平面の法線ベクトルの方向とすることにより、(3)式の内積の自乗和は0になる。このような場合、推定された動きベクトルの正確さは高くなる。これに対し輝度勾配ベクトルgi の分布が平面から外れて分布した場合、(3)式の内積の自乗和は0とはならず、推定される移動ベクトルmの正確さは低下する。また、輝度勾配ベクトルgi の分布が同一方向にのみ分布していた場合、平面が一意に定まらないため移動ベクトルmの特定は不可能となる。
【0042】
以上のように、輝度勾配ベクトルの分布と移動ベクトルの正確さとは密接な関係がある。図4に示すように、推定された移動ベクトルが精度良く求まるのは、図4(a)に示すように、輝度勾配ベクトルが平面上に分布するときである。図4(b)に示すような輝度勾配ベクトルが平面から離れた球状に分布したり、図4(c)に示すように、直線状に分布した場合、推定する移動ベクトルの精度は低いと考えられる。
【0043】
図4の各輝度勾配ベクトルの3次元分布を、その第1固有値λ1 、第2固有値λ2 、第3固有値λ3 で表現すると、以下の(5)式のように特徴付けられる。
【数5】
以下、(a)を平面状分布、(b)を球状分布、(c)を直線状分布と呼ぶ。
【0044】
第1固有値λ1 、第2固有値λ2 、第3固有値λ3 の分布を直交座標系で考えると、図5に示すように、λ1 ≧λ2 ≧λ3 の関係から、図5の三角錐の内部に分布することになる。三角錐の各辺は、平面状分布、球状分布、直線状分布の極限値を表すことになる。ここで、各辺を平面軸、球軸、直線軸と呼ぶ。従って、画像断片内の輝度勾配ベクトルの共分散行列Gの固有値が、図5の平面軸に近い位置にあるほど推定された移動ベクトルの信頼度が高いと考えられる。また、図5から理解できるように、信頼度が直線軸方向に低くなる場合と、球軸方向に低くなる場合とが考えれる。
【0045】
上記(5)式の(a)と(b)との関係、及び(a)と(c)との関係から、次式を定義する。
【0046】
【数6】
この(6)式に基づき以下の(7)式を信頼度とした。
【0047】
【数7】
(7)式の信頼度sl の定義で1/al に第3固有値λ3 を乗じているのは、直線状分布に近い状態でも第3固有値λ3 が小さい場合は信頼度が高いと見なせるので、第3固有値λ3 による重み付けを行うためである。(7)式のss を球の信頼度、sl を直線の信頼度と呼ぶ。ss 、sl の値は小さい程、信頼度が高い。
【0048】
再び図1に戻り説明すると、動き情報重み付け回路2では、上述した動き情報に対し信頼度情報に応じた重み付けを実行する。具体的に説明すると、信頼度情報が一定の判定基準に満たない場合、判定基準を満たす信頼度の高い情報に比較して小さな値になるように信頼度に応じた重み係数が動き情報に対して乗ぜられる。例えば、判定基準を満たす信頼度の高い動き情報に対しては“1”以上、判定基準に満たない動き情報に対しては“1”未満の係数を乗ずる。こうして動き情報に信頼度が付された情報は、重み付け動き情報S3としてクラスタリング回路3に供給される。
【0049】
《クラスタリング回路3における処理》
クラスタリング回路3では、動画像信号S1と、初期領域生成回路1からの初期領域信号S2と、動き情報重み付け回路2からの重み付け動き情報S3とを入力すると共に、次のような計算によりクラスタリング処理を実行する。
【0050】
先ず、初期領域の各領域毎の全特徴量の平均値の計算を行う。ここでの特徴量とは画素の3つの色情報(3原色R,G,B)、及び2つの位置情報(座標X,Y)と、画面水平方向、及び画面垂直方向の各重み付けされた動き情報(U,V)の合計7つの情報である。
【0051】
次に、動画像信号S1の全画面の各画素毎にその画素の特徴量が全体的に見てどの領域の特徴量の平均値と最も近いかを次の評価関数式により決定する。
【0052】
【数8】
但し、Rm:赤色情報Rの各領域での平均値
Gm:緑色情報Gの各領域での平均値
Bm:青色情報Bの各領域での平均値
Xm:位置情報Xの各領域での平均値
Ym:位置情報Yの各領域での平均値
Um:動き情報Uの各領域での平均値
Vm:動き情報Vの各領域での平均値
Kl,Kp,Km:係数値。係数値Kl,Kp,Kmは、全ての特徴量が同じくらいの範囲、例えば0〜1になるように乗ぜられるものであり、予め設定されている。
【0053】
次に、各画素の特徴量について全ての領域に対して評価関数を求める。
【0054】
求められた評価関数が最も小さくなる領域を最適領域と考え、対象としている画素をその最適領域に含め、領域を新たに構成する。
【0055】
全ての画素について上記の評価関数による最小値探索を行い、領域の再構成を行った後、新しく再構成された領域毎に各特徴量の平均値Rm,Gm,Bm,Xm,Ym,Um,Vmを計算し直す。
【0056】
再び全画素について上記の操作を行う。各領域の平均値Rm,Gm,Bm,Xm,Ym,Um,Vmが変化しなくなるまで全ての処理を繰り返す。
【0057】
このクラスタリング回路3内では上述のような処理が行われ、画面が領域分割された最終的な領域画像信号S4が生成される。
【0058】
《フィルタ回路4における処理》
クラスタリング回路3で生成された領域画像信号S4はフィルタ回路4に供給され、このフィルタ回路4で領域画像信号S4中に含まれる小さな粒状領域が除去される。ここで用いられるフィルタは多数決フィルタであり、その大きさは5画素×5画素もあれば十分である。図6に多数決フィルタの処理例を示す。この例では、5画素×5画素サイズの窓のフィルタが使用されている。また、窓の中心の画素はフィルタ内の最も画素数の多い領域1に統合される。最多領域が中心画素に隣接せず、周辺部に存在する場合であっても中心画素は最多領域1に統合される。この場合、中心画素は依然として粒状領域を形成するが、この粒状領域は後述する小領域統合回路6により結果的に除去されることになる。フィルタの中心画素がもともと最多領域1の一部となる場合、中心画素の属する領域は変化しない。こうして領域画像がこのフィルタ回路4により修正される。
【0059】
《番号付与回路5における処理》
フィルタ回路4により、大多数の小さな粒状領域が除去された領域画像信号S5は番号付与回路5に供給される。番号付与回路5では、得られた同一領域に含まれる画面上で連結している画素には同じ識別番号を付与する。番号の付与の順番は任意であり、また、領域が異なることが認識されればよいので、各領域に対して付与される番号は、連続番号である必要もない。この番号付与回路5により、フィルタ回路4によって修正された領域は、同一の特徴量を有する領域であってもそれが連結していない限り、それぞれ別個に識別できる。
【0060】
《小領域統合回路6における処理》
番号付与回路5により識別番号が付与された領域画像信号S6は、小領域統合回路6に供給される。小領域統合回路6では、予め定められたあるしきい値以下の画素数の小さな領域を別領域へ統合する。しきい値は、例えば全画面の画素数の1%程度に設定する。統合は、統合対象の領域の最も外側から始め、別の領域に接している画素をその別領域に属させることによりなされる。外側から順に多領域へ属させるので、必ず全ての画素は他の領域へ属することになる。具体的な統合は、対象画素を中心にした3画素×3画素の範囲内にある対象画素を取り囲む近傍8画素の中で最も多い画素数を有する隣接領域に対象画素を統合することにより行う。外側の画素が複数の領域と接している場合には接している画素数が最も多い領域に属することになる。隣接領域の画素数が同数のときは、隣接領域全体を比較して最大の領域に統合する。図7に小領域統合回路6の処理例を示す。図7(a)の例では、中心の対象画素は領域1に属する。図7(b)の例では、領域1、領域2共に近傍範囲では各3画素なので、中心の対象画素は領域1、領域2のうち、領域全体の面積の大きい方へ属する。仮に領域全体の面積が等しい場合は、隣接位置に応じて予め定めておいた優先順位(例えば、左上から時計回りにつけた優先順位)に従い属する領域を決定すればよい。ここまでの処理で、クラスタリングで生じる小さな領域が全て大きな領域へ統合された領域分割画像が得られる。
【0061】
《輪郭抽出回路7における処理》
小領域統合回路6により得られた領域画像信号S7は輪郭抽出回路7へ供給される。輪郭抽出回路7では領域画像信号S7の中の各領域の境界である輪郭線を抽出した輪郭画像信号S8が生成される。
【0062】
《輪郭重畳回路9における処理》
輪郭抽出回路7により得られた輪郭画像信号S8は輪郭重畳回路9に供給される。また、この輪郭重畳回路9には、第2領域分割修正回路8−2で得られた輪郭画像信号S9も供給される。そして、この輪郭重畳回路9では、供給された2つの輪郭画像信号S8,S9の論理積をとった輪郭画像信号S10が作成される。この実施の形態では、2つの輪郭画像信号S8,S9を用いているがこの輪郭画像信号は3つ以上でも可能である。すなわち、3つ以上の領域分割修正回路を利用することができる。
【0063】
《統合回路10における処理》
輪郭重畳回路9で生成された輪郭画像信号S10と、輪郭抽出回路7で生成された輪郭画像信号S8は統合回路10に供給される。統合回路10では、まず輪郭画像信号S8の画像中の1つの領域の輪郭線だけを抽出する。さらにこの輪郭線のうち隣接している1つの別領域との境界線だけを選択する。これと、該当する輪郭画像信号S10の輪郭線の長さを比較し、この比がある判断基準以上であれば対象としている選択した境界線はそのまま残す。逆に、判断基準以下であれば、隣接している領域と同一の領域であるとして境界線を除去して領域統合する。判断基準は、領域分割の目的によって、分割領域数を多くしたい場合は小さく、分割領域数を少なくしたい場合には大きく設定する。例えば、比を60%とするとあまり多くの領域が残らない結果が得られる。この操作を対象としている領域に隣接する全領域の境界線に対して行い、さらに基準とした輪郭画像信号S8の中の全領域の境界線に対して行う。
【0064】
このように、この実施の形態によれば、小領域の発生と初期領域依存性の問題を解消するために、K平均アルゴリズムによるクラスタリング処理後に、3段階の領域修正を施している。すなわち、▲1▼数画素程度の小粒状領域に対してはフィルタリング処理を、▲2▼残りの小領域に対処するために領域への識別番号付けと隣接する大領域への統合処理を、▲3▼初期値依存性に対しては初期領域の形状を変化させた場合の結果との統合処理を行っている。これにより、繁雑な処理や膨大な計算量を必要とすることなく小領域発生と初期値依存問題を解消することができる。
【0065】
また、前述した動画像を対象とした場合の、不確かさを含む動き情報を特徴量の一つとして利用するために本発明では、得られた動き情報の信頼度を判定基準と比較している。判定基準を満たさない動き情報に対してはこれを満たす動き情報に比べて小さな係数を乗ずる。このような重み付けをすることによって特徴量として利用する際に、信頼度の高い動き情報への影響を減らしている。これにより、色、位置、動きの情報を特徴量として一元的に扱うクラスタリングを行うことができる。
【0066】
【発明の効果】
以上説明したように請求項1の発明によれば、不確かさを含む動き情報を特徴量の一つとして利用するために、得られた動き情報の信頼度を判定基準と比較しているので、不確かさを解消しつつも動き情報を色情報や位置情報といった画像の特徴量と共に利用できる。また、初期領域の形状を変化させた場合の結果との統合処理を行うことにより初期値に依存することのない領域分割画像を得ることができる。
【0067】
請求項2の発明によれば、フィルタリング処理を実行することにより、クラスタリング回路によって生成された領域画像信号中に含まれる数画素程度の孤立した小粒状領域を、K平均アルゴリズム自体の繰り返し処理、反復処理をすることなく除去することができる。
【0068】
請求項3の発明によれば、クラスタリング回路によって生成された領域画像信号中の小領域を、K平均アルゴリズム自体の繰り返し処理、反復処理をすることなく隣接する大領域へ統合することができる。
【図面の簡単な説明】
【図1】本発明に係る動画像領域分割装置の実施の一形態における構成を示すブロック図である。
【図2】初期領域生成回路により生成される初期領域の一例を示す説明図である。
【図3】信頼度情報の導出過程における動きベクトルと輝度勾配ベクトルとの関係を示す説明図である。
【図4】信頼度情報の導出過程における輝度勾配ベクトル分布を示す説明図である。
【図5】信頼度情報の導出過程における輝度勾配ベクトルの固有値を示す説明図である。
【図6】フィルタ回路を構成する多数決フィルタの処理例を示す説明図である。
【図7】小領域統合回路における処理例を示す説明図である。
【符号の説明】
1 初期領域生成回路
2 動き情報重み付け回路
3 クラスタリング回路
4 フィルタ回路
5 番号付与回路
6 小領域統合回路
7 輪郭抽出回路
8−1 第1領域分割修正回路
8−2 第2領域分割修正回路
9 輪郭重畳回路
10 統合回路
S1 動画像信号
S2 初期領域信号
S3 重み付け動き情報
S4 領域画像信号
S5 粒状領域が除去された領域画像信号
S6 識別番号が付与された領域画像信号
S7 統合された領域画像信号
S8 輪郭画像信号
S9 第2領域分割修正回路からの輪郭画像信号
S10 論理積演算後の輪郭画像信号
Claims (3)
- 動画像のうちの時間的に連続する画像間での各画素の移動量として定義される動き情報と、この動き情報の実際の値に対する推定された値の確からしさの指標として定義される信頼度とを入力し、一定の判定基準を満たす信頼度の高い動き情報には大きな係数を乗じ、判定基準に満たない信頼度の低い動き情報には小さな係数を乗じる重み付けを行う動き情報重み付け回路と、
動画像内の画素の有する色情報、位置情報、前記動き情報重み付け回路からの重み付けされた動き情報、および初期領域を入力すると共に、前記色情報、位置情報、および重み付け動き情報を複数の特徴量として一元的に扱い、評価関数による最適探索を利用して、対象となる動画像を領域に分割して領域画像信号を生成するクラスタリング回路と、
このクラスタリング回路によって生成された領域画像信号から得られた領域輪郭と、前記初期領域とは異なる初期領域形状を利用した領域画像信号から得られた領域輪郭とを入力し、これらの領域輪郭の共通部分を抽出して過分割部分を排除した領域統合画像を生成する統合回路と、
を具備することを特徴とする動画像領域分割装置。 - 請求項1記載の動画像領域分割装置において、
前記クラスタリング回路と前記統合回路間に、前記クラスタリング回路によって生成された領域画像信号を入力して、この領域画像信号中に含まれる孤立小領域を除去した領域画像信号を生成するフィルタ回路が介挿されていることを特徴とする動画像領域分割装置。 - 請求項1または2記載の動画像領域分割装置において、
前記クラスタリング回路または前記フィルタ回路と前記統合回路間に、前記クラスタリング回路によって生成された領域画像信号または前記フィルタ回路により孤立小領域が除去された後の領域画像信号を入力して、これら領域画像信号における予め定められたしきい値以下の画素数の領域を、その領域内の画素を囲む近傍8画素の範囲内で最も多い画素数を有する隣接領域、またはその領域内の画素を囲む近傍8画素の範囲内で最も画素数が多い隣接領域が複数あるときは、それぞれの隣接領域全体を比較して最も大きな隣接領域に属させて小領域を統合した領域画像信号を生成する小領域統合回路が介挿されていることを特徴とする動画像領域分割装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26477196A JP3781835B2 (ja) | 1996-10-04 | 1996-10-04 | 動画像領域分割装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26477196A JP3781835B2 (ja) | 1996-10-04 | 1996-10-04 | 動画像領域分割装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10111942A JPH10111942A (ja) | 1998-04-28 |
JP3781835B2 true JP3781835B2 (ja) | 2006-05-31 |
Family
ID=17407967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26477196A Expired - Fee Related JP3781835B2 (ja) | 1996-10-04 | 1996-10-04 | 動画像領域分割装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3781835B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3361756B2 (ja) * | 1998-10-21 | 2003-01-07 | 日本電信電話株式会社 | 拡張図形表示属性等分割方法および装置と拡張図形表示属性等分割プログラムを記録した記録媒体 |
JP4622141B2 (ja) * | 2001-04-13 | 2011-02-02 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びにプログラム |
JP3564540B2 (ja) * | 2001-09-07 | 2004-09-15 | 独立行政法人情報通信研究機構 | Sar画像を利用した土地利用分類処理方法 |
JP2007047949A (ja) * | 2005-08-08 | 2007-02-22 | Advanced Telecommunication Research Institute International | 口トラッキング装置及びコンピュータプログラム |
CN110290426B (zh) * | 2019-06-24 | 2022-04-19 | 腾讯科技(深圳)有限公司 | 展示资源的方法、装置、设备及存储介质 |
-
1996
- 1996-10-04 JP JP26477196A patent/JP3781835B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10111942A (ja) | 1998-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108416307B (zh) | 一种航拍图像路面裂缝检测方法、装置及设备 | |
CN108549891B (zh) | 基于背景与目标先验的多尺度扩散显著目标检测方法 | |
Burt et al. | Segmentation and estimation of image region properties through cooperative hierarchial computation | |
US6546117B1 (en) | Video object segmentation using active contour modelling with global relaxation | |
US8180154B2 (en) | Method and apparatus for region-based segmentation image processing using region mapping | |
EP2984624B1 (en) | Superpixel generation with improved spatial coherency | |
US6480615B1 (en) | Motion estimation within a sequence of data frames using optical flow with adaptive gradients | |
CN110414439B (zh) | 基于多峰值检测的抗遮挡行人跟踪方法 | |
CN107146228B (zh) | 一种基于先验知识的大脑磁共振图像超体素生成方法 | |
US5933524A (en) | Method for segmentation of digital color images | |
CN110910421B (zh) | 基于分块表征和可变邻域聚类的弱小运动目标检测方法 | |
CN109887021B (zh) | 基于跨尺度的随机游走立体匹配方法 | |
CN110674704A (zh) | 一种基于多尺度扩张卷积网络的人群密度估计方法及装置 | |
CN110246155B (zh) | 一种基于模型交替的抗遮挡目标跟踪方法及*** | |
CN109741358B (zh) | 基于自适应超图学习的超像素分割方法 | |
JP7054278B1 (ja) | 深層学習に基づくエッジ識別方法 | |
CN109859249B (zh) | Rgbd序列中基于自动分层的场景流估计方法 | |
CN110853064A (zh) | 一种基于最小模糊散度的图像协同分割方法 | |
CN113870157A (zh) | 一种基于CycleGAN的SAR图像合成方法 | |
CN110717934A (zh) | 一种基于strcf的抗遮挡目标跟踪方法 | |
CN116311412A (zh) | 一种融合3d注意力机制和空洞卷积的口罩佩戴检测方法 | |
CN117853722A (zh) | 一种融合超像素信息的钢材金相组织分割方法 | |
JP3781835B2 (ja) | 動画像領域分割装置 | |
CN108537798B (zh) | 一种快速超像素分割方法 | |
Ghosh et al. | Robust simultaneous registration and segmentation with sparse error reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060308 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |