JP3006338B2 - 運動領域輪郭検出装置 - Google Patents
運動領域輪郭検出装置Info
- Publication number
- JP3006338B2 JP3006338B2 JP5067825A JP6782593A JP3006338B2 JP 3006338 B2 JP3006338 B2 JP 3006338B2 JP 5067825 A JP5067825 A JP 5067825A JP 6782593 A JP6782593 A JP 6782593A JP 3006338 B2 JP3006338 B2 JP 3006338B2
- Authority
- JP
- Japan
- Prior art keywords
- classification
- contour
- calculating
- motion
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Description
【0001】
【産業上の利用分野】本発明は、マルチメディアコンピ
ュータのための動画像の管理・編集や検索、テレビ電
話、分散会議システムをはじめとする動画像通信に於け
る画像データの圧縮、また放送や映像製作系向けの画像
編集等の技術に応用される運動領域輪郭検出装置に関す
るものである。
ュータのための動画像の管理・編集や検索、テレビ電
話、分散会議システムをはじめとする動画像通信に於け
る画像データの圧縮、また放送や映像製作系向けの画像
編集等の技術に応用される運動領域輪郭検出装置に関す
るものである。
【0002】
【従来の技術】従来、運動領域の輪郭検出装置は、大別
して2通りの構成よりなっていた。
して2通りの構成よりなっていた。
【0003】第1の構成は、図5に示すように動画像の
各画素毎に画像速度(オプティカルフロー)を検出する
画像速度算出部と、算出した画像速度場に対してガウス
フィルター等のぼかしフィルターを適用するぼかしフィ
ルター適用部と、ぼかしフィルターを適用した速度場に
対して、ラブラシアンフィルター等のエッジ検出演算子
を適用するエッジ検出部を備えるものである。
各画素毎に画像速度(オプティカルフロー)を検出する
画像速度算出部と、算出した画像速度場に対してガウス
フィルター等のぼかしフィルターを適用するぼかしフィ
ルター適用部と、ぼかしフィルターを適用した速度場に
対して、ラブラシアンフィルター等のエッジ検出演算子
を適用するエッジ検出部を備えるものである。
【0004】第2の構成は、図6に示すようにSnak
esというモデルを基に構成されるものである。
esというモデルを基に構成されるものである。
【0005】これは、もともと静止画像から物体の輪郭
を正確に抽出するために開発されたものを動画像に適用
したものである。
を正確に抽出するために開発されたものを動画像に適用
したものである。
【0006】ユーザが初期輪郭を入力する手段と、画像
濃淡の空間変動エネルギーを計算する手段と、入力され
た初期輪郭から出発する輪郭曲線の滑らかさを算出する
手段と、空間変動エネルギーと輪郭曲線の滑らかさを評
価基準として現在の輪郭からよりエネルギーの低い輪郭
に逐次更新的な輪郭を変形させていく次輪郭生成手段
と、これ以上低い輪郭に移動することができないという
局所最小判定手段を有する。
濃淡の空間変動エネルギーを計算する手段と、入力され
た初期輪郭から出発する輪郭曲線の滑らかさを算出する
手段と、空間変動エネルギーと輪郭曲線の滑らかさを評
価基準として現在の輪郭からよりエネルギーの低い輪郭
に逐次更新的な輪郭を変形させていく次輪郭生成手段
と、これ以上低い輪郭に移動することができないという
局所最小判定手段を有する。
【0007】動画系列への拡張は、前フレームでの検出
結果を初期輪郭として同じ手続きを繰り返すことにより
実現される。
結果を初期輪郭として同じ手続きを繰り返すことにより
実現される。
【0008】
【発明が解決しようとする課題】しかしながら、第1の
構成は、速度場を安定的な求める方法が未だに開発され
ていないこと、また、それゆえ不安定な速度場データに
基づいて以降の処理を行わなければならないことによる
信頼性の低下という問題があり十分な方法に至っていな
い。
構成は、速度場を安定的な求める方法が未だに開発され
ていないこと、また、それゆえ不安定な速度場データに
基づいて以降の処理を行わなければならないことによる
信頼性の低下という問題があり十分な方法に至っていな
い。
【0009】また、第2の構成では、動画像固有の速度
情報の利用を最初から捨てて、初期輪郭をユーザの指定
に頼るため応用が限定されてしまう点で応用範囲の観点
から満足できるものではない。
情報の利用を最初から捨てて、初期輪郭をユーザの指定
に頼るため応用が限定されてしまう点で応用範囲の観点
から満足できるものではない。
【0010】さらに、画像情報としては、濃淡の空間変
動のみを利用するため、濃淡の急変が必ずしも物体の輪
郭に対応しないような一般的な状況では、初期輪郭を真
の輪郭に非常に近い位置に設定する必要があり、Sna
keモデルに基づく装置そのものの意義(価値)に疑問
が生ずる。
動のみを利用するため、濃淡の急変が必ずしも物体の輪
郭に対応しないような一般的な状況では、初期輪郭を真
の輪郭に非常に近い位置に設定する必要があり、Sna
keモデルに基づく装置そのものの意義(価値)に疑問
が生ずる。
【0011】本発明は上記従来の課題を解決するもの
で、速度場算出の過程を踏むことなく、動画像固有の特
徴を抽出し、これを基にユーザからの初期輪郭の指定を
必要とすることなく、幅広い応用を前提として、高精度
かつ安定的に輪郭を検出することを目的とする。
で、速度場算出の過程を踏むことなく、動画像固有の特
徴を抽出し、これを基にユーザからの初期輪郭の指定を
必要とすることなく、幅広い応用を前提として、高精度
かつ安定的に輪郭を検出することを目的とする。
【0012】
【課題を解決するための手段】上記課題を解決するため
に本発明は、画像濃淡の勾配共分散を算出する勾配共分
散算出手段と勾配共分散を基に、速度算出の過程を経ず
して画像の分類特徴を生成する分類特徴量抽出手段と、
この分類特徴をもとに画素の分類を生々する画素分類手
段と、この分類から輪郭の可能な候補領域を限定する輪
郭候補領域限定手段と、この輪郭候補領域から可能な輪
郭曲線を選出する輪郭選出手段を有するものである。
に本発明は、画像濃淡の勾配共分散を算出する勾配共分
散算出手段と勾配共分散を基に、速度算出の過程を経ず
して画像の分類特徴を生成する分類特徴量抽出手段と、
この分類特徴をもとに画素の分類を生々する画素分類手
段と、この分類から輪郭の可能な候補領域を限定する輪
郭候補領域限定手段と、この輪郭候補領域から可能な輪
郭曲線を選出する輪郭選出手段を有するものである。
【0013】
【作用】動画像データが入力されると、勾配共分散算出
手段が動画像の各画素毎に濃淡fの勾配の共分散を算出
する。これは、濃淡の時間、空間の偏微分をfx,fy,ftと
したときに、
手段が動画像の各画素毎に濃淡fの勾配の共分散を算出
する。これは、濃淡の時間、空間の偏微分をfx,fy,ftと
したときに、
【0014】
【数6】
【0015】を算出することである。各勾配の充分広い
範囲に渡る積分は0になることはよく知られているの
で、[Sij]は共分散行列の意味を持つことは容易に理
解される。
範囲に渡る積分は0になることはよく知られているの
で、[Sij]は共分散行列の意味を持つことは容易に理
解される。
【0016】画像の濃淡変化の特徴は、濃淡の時空間勾
配の分布の広がりの次元によって特徴づけられるので、
この共分散行列を用いることによって、着目画素付近で
の濃淡変動を分類することができる。
配の分布の広がりの次元によって特徴づけられるので、
この共分散行列を用いることによって、着目画素付近で
の濃淡変動を分類することができる。
【0017】この濃淡変動の分類のための特徴量を抽出
するのが、分類特徴量抽出手段である。
するのが、分類特徴量抽出手段である。
【0018】例えば、濃淡エッジの部分では、模様は特
定の方向にのみ変動するので、空間勾配(fx,fy)の分布
は1次元に縮退する。これに対して領域の内部では、一
般に(fx,fy)は2次元的な広がりを持つ。
定の方向にのみ変動するので、空間勾配(fx,fy)の分布
は1次元に縮退する。これに対して領域の内部では、一
般に(fx,fy)は2次元的な広がりを持つ。
【0019】又、画素が運動的な性質、即ち、画像中で
運動物体の内部に位置する場合は、よく知られているよ
うに時空間勾配(fx,fy,ft)の間に線形関係が成立し、分
布が2次元に縮退する。これに対して、運動境界や回転
の中心部位では、そのような線形関係がなく、分布は3
次元的な広がりを持つ。
運動物体の内部に位置する場合は、よく知られているよ
うに時空間勾配(fx,fy,ft)の間に線形関係が成立し、分
布が2次元に縮退する。これに対して、運動境界や回転
の中心部位では、そのような線形関係がなく、分布は3
次元的な広がりを持つ。
【0020】このように、勾配分布の広がりの次元を解
析することで、動画像の画素を分類することができる。
分類特徴量抽出手段は、そのような分布の広がりの次元
の性質を定量的に評価する手段である。即ち、広がりの
次元が2次元的であったり、3次元的であったりするこ
との信頼性を評価するものである。
析することで、動画像の画素を分類することができる。
分類特徴量抽出手段は、そのような分布の広がりの次元
の性質を定量的に評価する手段である。即ち、広がりの
次元が2次元的であったり、3次元的であったりするこ
との信頼性を評価するものである。
【0021】画素分類手段は、分類特徴量抽出手段が各
画素毎に生成した複数の分類特徴量の関係から、各画素
の局所的な分類、即ち、隣の画素との関係等は無視して
その画素の分類特徴量のみを用いて分類を生成するもの
である。
画素毎に生成した複数の分類特徴量の関係から、各画素
の局所的な分類、即ち、隣の画素との関係等は無視して
その画素の分類特徴量のみを用いて分類を生成するもの
である。
【0022】再分類手段は、この局所的な分類の結果に
対して、近傍領域内での一貫性の拘束を適用することに
より、ひとつの画素での情報のみからは判断できないよ
うな分類の再分類を行なうものである。
対して、近傍領域内での一貫性の拘束を適用することに
より、ひとつの画素での情報のみからは判断できないよ
うな分類の再分類を行なうものである。
【0023】このような問題は、コンピュータビジョン
の分野ではアパーチャ問題と呼ばれている。例えば、模
様がほとんどないような部分では、その局所的な領域を
観測するだけでは、その小さい領域が静止しているのか
運動しているのか、また、運動しているとしてもどの方
向に運動しているのかを判断することができない。同様
に、模様の変化がある一定の方向を向いている場合は、
その模様の変化と垂直な方向の変化成分は観測できても
その変化の方向の運動成分は局所的にはとらえられな
い。
の分野ではアパーチャ問題と呼ばれている。例えば、模
様がほとんどないような部分では、その局所的な領域を
観測するだけでは、その小さい領域が静止しているのか
運動しているのか、また、運動しているとしてもどの方
向に運動しているのかを判断することができない。同様
に、模様の変化がある一定の方向を向いている場合は、
その模様の変化と垂直な方向の変化成分は観測できても
その変化の方向の運動成分は局所的にはとらえられな
い。
【0024】このような問題を解決するために、再分類
手段のためのひとつの方法は、画素毎に得られた分類の
近傍領域内での論理的整合性を拘束として、逐次更新的
に分類をその論理的拘束に関して一貫したものに改良し
ていく(これは弛緩法と呼ばれる)手段である。この場
合、再分類手段は、論理的整合性の規則表現を保持する
一貫性規則保持手段と、その規則を用いて弛緩法を実行
する弛緩法実行手段を有する。
手段のためのひとつの方法は、画素毎に得られた分類の
近傍領域内での論理的整合性を拘束として、逐次更新的
に分類をその論理的拘束に関して一貫したものに改良し
ていく(これは弛緩法と呼ばれる)手段である。この場
合、再分類手段は、論理的整合性の規則表現を保持する
一貫性規則保持手段と、その規則を用いて弛緩法を実行
する弛緩法実行手段を有する。
【0025】再分類手段によって、動画像の画素毎に分
類が定まると、次に、この分類を基に、輪郭候補領域限
定手段が、輪郭の候補を限定する。
類が定まると、次に、この分類を基に、輪郭候補領域限
定手段が、輪郭の候補を限定する。
【0026】最後に、この限定された輪郭候補領域か
ら、輪郭線選出手段が可能な輪郭を抽出する。
ら、輪郭線選出手段が可能な輪郭を抽出する。
【0027】これは、大きな幅の輪郭候補片に含まれる
幅1の曲線を取り出すことに相当するため、その選択枝
は無数に存在することになる。
幅1の曲線を取り出すことに相当するため、その選択枝
は無数に存在することになる。
【0028】また、一般にしきい値処理をほどこした結
果得られる輪郭候補領域は連結した領域となることは少
なく、むしろ輪郭候補の小領域片が散乱した状態とな
る。そこで、輪郭候補の部分集合である小領域片の長軸
(及び短軸)によって輪郭片を直線近似する。曲線選択
の方法としてこの他に輪郭曲線の滑らかさの拘束の導入
が考えられるが、輪郭候補領域が連結領域でない場合、
滑らかさの拘束を強引に導入するのは大きな誤差を生む
原因となる。
果得られる輪郭候補領域は連結した領域となることは少
なく、むしろ輪郭候補の小領域片が散乱した状態とな
る。そこで、輪郭候補の部分集合である小領域片の長軸
(及び短軸)によって輪郭片を直線近似する。曲線選択
の方法としてこの他に輪郭曲線の滑らかさの拘束の導入
が考えられるが、輪郭候補領域が連結領域でない場合、
滑らかさの拘束を強引に導入するのは大きな誤差を生む
原因となる。
【0029】
【実施例】以下、本発明の実施例を図を用いて説明す
る。図1は本発明の一実施例における運動領域輪郭検出
装置の構成を示す概念図である。以下、各構成要素につ
いてその処理を説明する。
る。図1は本発明の一実施例における運動領域輪郭検出
装置の構成を示す概念図である。以下、各構成要素につ
いてその処理を説明する。
【0030】動画像が入力手段を介して、勾配共分散算
出演算器1に入力されると、画素Xに於けるSijは以下の
算法により計算される。
出演算器1に入力されると、画素Xに於けるSijは以下の
算法により計算される。
【0031】
【数7】
【0032】ここで、濃淡の勾配fkは、ロバート勾配等
適当な差分演算子を用いて計算される。分類特徴量抽出
器2は、このように離散値計算されたSijに対して加算
と乗算を組み合わせて適用することにより、平均的濃淡
変動特徴量:P1
適当な差分演算子を用いて計算される。分類特徴量抽出
器2は、このように離散値計算されたSijに対して加算
と乗算を組み合わせて適用することにより、平均的濃淡
変動特徴量:P1
【0033】
【数8】
【0034】異方的濃淡変動特徴量:P2
【0035】
【数9】
【0036】一次元的運動特徴量/非運動特徴量抽出:
P3
P3
【0037】
【数10】
【0038】二次元的運動特徴量/非運動特徴量抽出:
P4
P4
【0039】
【数11】
【0040】を画素毎に計算する。続いて、画素分類器
3が、これらの特徴量を用いて、図2に示す二進探索法
の算法に従って、画素の第1段階の分類を生成する。分
類ラベルの意味を表に示す。
3が、これらの特徴量を用いて、図2に示す二進探索法
の算法に従って、画素の第1段階の分類を生成する。分
類ラベルの意味を表に示す。
【0041】
【表1】
【0042】第1段階の分類の結果得られた分類のう
ち、、S0_FIX、S0_CHG、S1_FIX、S
1_MOT、S1_ACR局所的分類の中で最終分類と
することができないものであるので、さらに、再分類器
4が図3に示す算法によって、近傍画素間の分類の整合
がとれるように、再分類を行う。 図3において、 ステップ1:画像の全画像iについて、以下を実行す
る。 (a)label(i)がS2_FIX のとき label(i)=S_
FIX (b)label(i)がS2_ACR のとき label(i)=S_
ACR (c)label(i)がS2_MOT のとき label(i)=S_
MOT ステップ2:カウンタC=0と初期設定する。 ステップ3:画像の全ての画素iについて以下の(a)(b)
(c)(d)のいずれか該当するものを実行する。(a)(b)(c)
(d)のいずれも該当しないときはステップ4に移る。 (a)label(i)=S0_FIX または label(i)=S1
_FIX のとき 以下の(aa)(ab)(ac)のいずれかを実行
する。 (aa)fix(i)>0かつ fix(i)>=mot(i)かつ fix(i)>
=acr(i)のとき label(i)=S_FIX 及び C=C+1
とする。 (ab)mot(i)>=N/3かつmot(i)>=fix(i)かつ mot
(i)>=acr(i)のとき label(i)=S_MOT 及び C=
C+1とする。 (ac)arc(i)>=N/3かつacr(i)>=fix(i)かつ acr
(i)>=mot(i)のとき label(i)=S_ACR 及び C=
C+1とする。 (b)label(i)=S1_MOT のとき (ba)mot(i)>0かつ mot(i)>=acr(i)のとき label(i)
=S_MOTとし、続いて C=C+1とし(d)を実行す
る。 (bb)acr(i)>=N/3かつ acr(i)>mot(i)のとき labe
l(i)=S_ACRとし、続いて C=C+1とし(d)を実
行する。 (c)label(i)=S1_ACRのとき (ca)acr(i)>0または (fix(i)>0かつ mot(i)>
0)のとき label(i)=S_ACRとし、続いて C=C+
1とし(d)を実行する。 (d)C>0のときはステップ3の先頭に戻る。 ステップ4:画像の全ての画像iについて以下実行す
る。 label(i)=S1_FIXまたは label(i)=S1_MO
Tまたは label(i)=S1_ACR のとき label(i)=OTHERS なお、 fix(i)、mot(i)、acr(i)は、それぞれ画素iの
近傍内に含まれる画素のうち S_FIX、S_MOT、S_ACRのラベルの画素の
数を示す。 S_FIX、S_MOT、S_ACRは、それぞれ確定
的に、静止、運動、出現の画素であることを示すラベル
である。
ち、、S0_FIX、S0_CHG、S1_FIX、S
1_MOT、S1_ACR局所的分類の中で最終分類と
することができないものであるので、さらに、再分類器
4が図3に示す算法によって、近傍画素間の分類の整合
がとれるように、再分類を行う。 図3において、 ステップ1:画像の全画像iについて、以下を実行す
る。 (a)label(i)がS2_FIX のとき label(i)=S_
FIX (b)label(i)がS2_ACR のとき label(i)=S_
ACR (c)label(i)がS2_MOT のとき label(i)=S_
MOT ステップ2:カウンタC=0と初期設定する。 ステップ3:画像の全ての画素iについて以下の(a)(b)
(c)(d)のいずれか該当するものを実行する。(a)(b)(c)
(d)のいずれも該当しないときはステップ4に移る。 (a)label(i)=S0_FIX または label(i)=S1
_FIX のとき 以下の(aa)(ab)(ac)のいずれかを実行
する。 (aa)fix(i)>0かつ fix(i)>=mot(i)かつ fix(i)>
=acr(i)のとき label(i)=S_FIX 及び C=C+1
とする。 (ab)mot(i)>=N/3かつmot(i)>=fix(i)かつ mot
(i)>=acr(i)のとき label(i)=S_MOT 及び C=
C+1とする。 (ac)arc(i)>=N/3かつacr(i)>=fix(i)かつ acr
(i)>=mot(i)のとき label(i)=S_ACR 及び C=
C+1とする。 (b)label(i)=S1_MOT のとき (ba)mot(i)>0かつ mot(i)>=acr(i)のとき label(i)
=S_MOTとし、続いて C=C+1とし(d)を実行す
る。 (bb)acr(i)>=N/3かつ acr(i)>mot(i)のとき labe
l(i)=S_ACRとし、続いて C=C+1とし(d)を実
行する。 (c)label(i)=S1_ACRのとき (ca)acr(i)>0または (fix(i)>0かつ mot(i)>
0)のとき label(i)=S_ACRとし、続いて C=C+
1とし(d)を実行する。 (d)C>0のときはステップ3の先頭に戻る。 ステップ4:画像の全ての画像iについて以下実行す
る。 label(i)=S1_FIXまたは label(i)=S1_MO
Tまたは label(i)=S1_ACR のとき label(i)=OTHERS なお、 fix(i)、mot(i)、acr(i)は、それぞれ画素iの
近傍内に含まれる画素のうち S_FIX、S_MOT、S_ACRのラベルの画素の
数を示す。 S_FIX、S_MOT、S_ACRは、それぞれ確定
的に、静止、運動、出現の画素であることを示すラベル
である。
【0043】再分類の結果は、画素が静止領域に含まれ
るのか、運動領域内部に含まれるのか、また、運動境界
や回転中心付近なのか、さらには、解釈不能な画素かを
判別したものとなる。
るのか、運動領域内部に含まれるのか、また、運動境界
や回転中心付近なのか、さらには、解釈不能な画素かを
判別したものとなる。
【0044】この再分類の過程は最適化法を逐次処理に
より実行するので計算量が問題となるが、その場合再分
類の過程はバイパスすることも可能である。
より実行するので計算量が問題となるが、その場合再分
類の過程はバイパスすることも可能である。
【0045】輪郭候補領域限定手段5は、再分類の結果
に於て運動境界か回転中心付近に含まれる画素の集合よ
りなる領域を輪郭候補領域として限定する。
に於て運動境界か回転中心付近に含まれる画素の集合よ
りなる領域を輪郭候補領域として限定する。
【0046】再分類の過程をバイパスする場合は、第1
番目の分類の結果S1_ACR,S2_ACR(表1)のラベルに分
類された画素の集合を輪郭候補領域Dとして限定する。
番目の分類の結果S1_ACR,S2_ACR(表1)のラベルに分
類された画素の集合を輪郭候補領域Dとして限定する。
【0047】最後に、群化手段と傾き選出手段と質量中
心算出手段より構成される輪郭線選出手段6が以下のよ
うな手順で可能な輪郭線を選び出す。
心算出手段より構成される輪郭線選出手段6が以下のよ
うな手順で可能な輪郭線を選び出す。
【0048】まず、図4に示すように群化手段61が輪
郭候補領域の全体集合Dから、その部分集合である小領
域Dk(k=1,2,3..L)を以下を満たすように生々する。図4
において、Dkは破線で囲まれた領域に含まれる斜線部
分の集合よりなる。
郭候補領域の全体集合Dから、その部分集合である小領
域Dk(k=1,2,3..L)を以下を満たすように生々する。図4
において、Dkは破線で囲まれた領域に含まれる斜線部
分の集合よりなる。
【0049】
【数12】
【0050】この小領域Dkに含まれる点位置の集合を{X
i=(xi,yi)}(i=1,2,3…n),xi,yiは点xiのそれぞれx,y座
標を示す。
i=(xi,yi)}(i=1,2,3…n),xi,yiは点xiのそれぞれx,y座
標を示す。
【0051】質量中心位置算出手段62は、
【0052】
【数13】
【0053】に基づいて、小領域Dkの質量中心位置Xck
を算出する。傾き算出手段63は、
を算出する。傾き算出手段63は、
【0054】
【数14】
【0055】に示される2x2行列(数14)の最大の固
有値λmax2に対応する固有ベクトルの方向T(単位ベク
トル)を計算し、これをこの小領域Dkの向き(傾き)と
する。
有値λmax2に対応する固有ベクトルの方向T(単位ベク
トル)を計算し、これをこの小領域Dkの向き(傾き)と
する。
【0056】最後に2点Xc-λmax・T、Xc+λmax・Tを結
ぶ線分を小領域Dkを代表する輪郭片とする。
ぶ線分を小領域Dkを代表する輪郭片とする。
【0057】以上の手続きを全てのDkに対して行なう。
【0058】
【発明の効果】以上のように本発明によれば、(1)画
像の速度場算出の過程を経ることなく動画像の特徴を抽
出し、(2)これを基に、近似的な輪郭の指定をユーザ
に強制することなく、可能な輪郭片を抽出するので、従
来法における課題が解決され、応用における自由度が大
きく、又、高精度で安定的な輪郭検出を実現できる。
像の速度場算出の過程を経ることなく動画像の特徴を抽
出し、(2)これを基に、近似的な輪郭の指定をユーザ
に強制することなく、可能な輪郭片を抽出するので、従
来法における課題が解決され、応用における自由度が大
きく、又、高精度で安定的な輪郭検出を実現できる。
【図1】本発明の一実施例における運動領域輪郭検出装
置の構成を示す概念図
置の構成を示す概念図
【図2】本発明の一実施例における画素の第1段階の分
類を示す概念図
類を示す概念図
【図3】本発明の一実施例における再分類(第2段階の
分類)の手順を示すアルゴリズム図
分類)の手順を示すアルゴリズム図
【図4】本発明の一実施例における群化手段の機能を示
す概念図
す概念図
【図5】従来の運動領域輪郭検出装置の構成を示す第一
の概念図
の概念図
【図6】従来の運動領域輪郭検出装置の構成を示す第二
の概念図
の概念図
1 勾配共分散算出演算器 2 分類特徴量抽出器 3 画素分類器 4 再分類器 5 輪郭候補領域限定手段 6 輪郭選出手段 61 群化手段 62 質量中心位置算出手段 63 傾き算出手段
フロントページの続き (72)発明者 小早川 倫広 神奈川県茅ケ崎市十間坂1−5−57 B −306 (56)参考文献 特開 平5−54143(JP,A) 特開 平2−212982(JP,A) 特開 昭64−17170(JP,A) 米国特許5587927(US,A) 電子情報通信学会技術研究報告VO L.90 No.490 PRU90−136 p p.1−8 1991/3/19「動き情報と コントラスト情報を用いた動画像の領域 分割方式」長尾他 (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 G06T 7/20 G06T 7/40 JICSTファイル(JOIS)
Claims (10)
- 【請求項1】 入力された動画像の画素毎に濃淡fの時
空間勾配共分散 【数1】 を算出する勾配共分散算出手段と、前記勾配共分散算出
手段の出力である勾配共分散を基に種々の分類特徴量を
生成する分類特徴量抽出手段と、前記分類特徴抽出手段
が抽出した複数の画像分類特徴量を基に、画素の分類を
出力する画素分類手段と、前記画素分類手段が出力した
画素の分類結果を隣接画素間での一貫性規則に基づき再
分類する再分類手段と、前記再分類手段が出力した再分
類の結果を基に、画像上での物体輪郭の候補領域を限定
する第1の輪郭候補領域限定手段と、前記輪郭候補領域
限定手段が出力した画像上の輪郭候補領域から輪郭の可
能な候補曲線を選び出す輪郭線選出手段を具備すること
を特徴とする運動領域輪郭検出装置。 - 【請求項2】 分類特徴量抽出手段は、濃淡の勾配分散
Sijを用いて平均的濃淡変動特徴量 【数2】 を算出する等方的濃淡変動特徴量抽出手段と異方的濃淡
変動特徴量 【数3】 を算出する異方的濃淡変動特徴量抽出手段と、一次元的
運動特徴量/非運動特徴量 【数4】 を算出する一次元的運動特徴量/非運動特徴量抽出手段
と、二次元的運動特徴量/非運動特徴量 【数5】 を算出する二次元的運動特徴量/非運動特徴量抽出手段
とを具備することを特徴とする請求項1記載の運動領域
輪郭検出装置。 - 【請求項3】 画素分類手段は、分類特徴抽出手段が出
力した画素毎の種々の分類特徴量を基に二進木探索を行
なう二進木探索手段を具備することを特徴とする請求項
1記載の運動領域輪郭検出装置。 - 【請求項4】 再分類手段は、再分類のための逐次更新
手続きに用いる隣接画素間の一貫性の拘束を保持する一
貫性規則保持手段と、前記一貫性規則保持手段に保持さ
れた規則をもとに、逐次改良的に画像の再分類を行う弛
緩法実行手段とを具備することを特徴とする請求項1記
載の運動領域輪郭検出装置。 - 【請求項5】 入力された動画像の画素毎に濃淡fの時
空間勾配共分散を算出する勾配共分散算出手段と、前記
勾配共分散算出手段の出力である勾配共分散を基に種々
の分類特徴量を生成する分類特徴量抽出手段と、前記分
類特徴量抽出手段が抽出した複数の画像分類特徴量を基
に、画素の分類を出力する画像分類手段と、前記画素分
類手段が出力した分類結果をもとに物体輪郭の候補領域
を限定する第2の輪郭候補領域限定手段と、前記輪郭候
補領域限定手段が出力した輪郭の候補領域から可能な輪
郭の候補曲線を選び出す輪郭線選出手段を具備すること
特徴とする請求項1記載の運動領域輪郭検出装置。 - 【請求項6】 入力された動画像の画素毎に濃淡fの時
空間勾配共分散を算出する勾配共分散算出手段と、前記
勾配共分散算出手段の出力である勾配共分散を基に種々
の分類特徴量を生成する分類特徴量抽出手段と、請求項
1に記載の画素分類手段が出力した画素の分類結果を隣
接画素間での一貫性規則に基づき再分類する再分類手段
とを具備すること特徴とする請求項1記載の運動領域輪
郭検出装置。 - 【請求項7】 請求項6に記載の画素分類手段は、分類
特徴抽出手段が出力した画素毎の種々の分類特徴量を基
に二進木探索を行う二進木探索手段を具備することを特
徴とする請求項6記載の運動領域輪郭検出装置。 - 【請求項8】 請求項6に記載の再分類手段は、再分類
のための逐次更新手続きに用いる隣接画素間の一貫性の
拘束を保持する一貫性規則保持手段と、前記一貫性規則
保持手段に保持された規則をもとに、逐次改良的に画像
の再分類を行う弛緩法実行手段とを具備することを特徴
とする請求項6記載の運動領域輪郭検出装置。 - 【請求項9】 輪郭線選出手段は、輪郭候補領域に含ま
れる点からなる点の集合を生々する群化手段と、群化さ
れた点集合領域の長軸と短軸方向を計算する傾き算出手
段と、点集合領域の質量中心位置を計算する質量中心位
置算出手段を具備することを特徴とする請求項1記載の
運動領域輪郭検出装置。 - 【請求項10】 輪郭線選出手段は、輪郭候補領域に含
まれる点からなる小領域を生々する群化手段と、群化さ
れた点集合領域の長軸と短軸方向を計算する傾き算出手
段と、点集合領域の質量中心位置を計算する質量中心位
置算出手段を具備することを特徴とする請求項5記載の
運動領域輪郭検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5067825A JP3006338B2 (ja) | 1993-03-26 | 1993-03-26 | 運動領域輪郭検出装置 |
US08/178,163 US5587927A (en) | 1993-03-26 | 1994-01-06 | Detecting apparatus for detecting a contour of a moving region in a dynamic image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5067825A JP3006338B2 (ja) | 1993-03-26 | 1993-03-26 | 運動領域輪郭検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06282651A JPH06282651A (ja) | 1994-10-07 |
JP3006338B2 true JP3006338B2 (ja) | 2000-02-07 |
Family
ID=13356117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5067825A Expired - Fee Related JP3006338B2 (ja) | 1993-03-26 | 1993-03-26 | 運動領域輪郭検出装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5587927A (ja) |
JP (1) | JP3006338B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6313863B1 (en) * | 1994-07-29 | 2001-11-06 | Canon Kabushiki Kaisha | Image communication apparatus and system |
FR2734911B1 (fr) * | 1995-06-01 | 1997-08-01 | Aerospatiale | Procede et dispositif pour detecter le mouvement d'une cible et leurs applications |
IL114838A0 (en) * | 1995-08-04 | 1996-11-14 | Spiegel Ehud | Apparatus and method for object tracking |
DE69624225T2 (de) * | 1995-12-21 | 2003-07-10 | Koninklijke Philips Electronics N.V., Eindhoven | Gerichtete adaptive geräuschreduktion |
EP0907145A3 (en) * | 1997-10-03 | 2003-03-26 | Nippon Telegraph and Telephone Corporation | Method and equipment for extracting image features from image sequence |
EP0977151B1 (en) * | 1998-07-31 | 2007-11-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US6194695B1 (en) * | 1998-08-27 | 2001-02-27 | The United States Of America As Represented By The Secretary Of The Navy | Photoreceptor array for linear optical flow measurement |
FR2805429B1 (fr) * | 2000-02-21 | 2002-08-16 | Telediffusion Fse | Procede de controle de la qualite numeriques distribuees par detection de faux contours |
JP4300697B2 (ja) * | 2000-04-24 | 2009-07-22 | ソニー株式会社 | 信号処理装置及び方法 |
WO2002099753A1 (fr) * | 2001-06-05 | 2002-12-12 | Sony Corporation | Processeur d'images |
JP4053345B2 (ja) * | 2002-04-25 | 2008-02-27 | シャープ株式会社 | 画像処理方法および画像処理装置、それを備える画像形成装置ならびにプログラムおよび記録媒体 |
US7155040B2 (en) * | 2004-06-29 | 2006-12-26 | Bio-Key International, Inc. | Generation of quality field information in the context of image processing |
JP4518139B2 (ja) | 2007-11-30 | 2010-08-04 | トヨタ自動車株式会社 | 画像処理装置 |
JP5640253B2 (ja) * | 2008-12-01 | 2014-12-17 | マーベル ワールド トレード リミテッド | ビット解像度の向上のための装置及び方法 |
DK2940487T3 (en) * | 2011-10-19 | 2016-11-21 | Verasonics Inc | Estimation and display for vector Doppler imaging using flat wave transmissions |
JP5889820B2 (ja) | 2013-03-22 | 2016-03-22 | 株式会社東芝 | 特徴量抽出装置、特徴量抽出方法、および画像識別装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE68918886T2 (de) * | 1988-04-08 | 1995-06-01 | Dainippon Screen Mfg. Co., Ltd., Kyoto | Verfahren zur Gewinnung der Aussenlinie eines Objektes in einem Bild. |
EP0541567B1 (de) * | 1990-07-27 | 1995-09-27 | Siemens Aktiengesellschaft | Verfahren zur analyse zeitlicher folgen digitaler bilder |
US5311305A (en) * | 1992-06-30 | 1994-05-10 | At&T Bell Laboratories | Technique for edge/corner detection/tracking in image frames |
-
1993
- 1993-03-26 JP JP5067825A patent/JP3006338B2/ja not_active Expired - Fee Related
-
1994
- 1994-01-06 US US08/178,163 patent/US5587927A/en not_active Expired - Lifetime
Non-Patent Citations (1)
Title |
---|
電子情報通信学会技術研究報告VOL.90 No.490 PRU90−136 pp.1−8 1991/3/19「動き情報とコントラスト情報を用いた動画像の領域分割方式」長尾他 |
Also Published As
Publication number | Publication date |
---|---|
JPH06282651A (ja) | 1994-10-07 |
US5587927A (en) | 1996-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3006338B2 (ja) | 運動領域輪郭検出装置 | |
JP3812763B2 (ja) | キー信号生成装置及び方法 | |
US6728400B1 (en) | Apparatus, method, and storage medium for setting an extraction area in an image | |
US20100322474A1 (en) | Detecting multiple moving objects in crowded environments with coherent motion regions | |
CN110555908B (zh) | 基于室内移动目标背景修复的三维重建方法 | |
JP2006524394A (ja) | 画像における人体輪郭描写 | |
CN109035196B (zh) | 基于显著性的图像局部模糊检测方法 | |
KR20040053337A (ko) | 개연적인 프레임워크를 사용하는 블롭-기반의 분석용컴퓨터 비전 방법 및 시스템 | |
Aqel et al. | Road traffic: Vehicle detection and classification | |
Abdullah et al. | Objects detection and tracking using fast principle component purist and kalman filter. | |
Liou et al. | A parallel technique for signal-level perceptual organization | |
Lin et al. | Temporally coherent 3D point cloud video segmentation in generic scenes | |
CN111462184A (zh) | 基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法 | |
Jung et al. | Moving object detection with single moving camera and IMU sensor using mask R-CNN instance image segmentation | |
Sharma | Object detection and recognition using Amazon Rekognition with Boto3 | |
Algethami et al. | Combining Accumulated Frame Differencing and Corner Detection for Motion Detection. | |
KR100566629B1 (ko) | 이동물체 검출 시스템 및 방법 | |
Jadhav et al. | SURF based Video Summarization and its Optimization | |
Almohaimeed et al. | A comparative study of different oject tracking methods in a video | |
Rashi et al. | Analysis of different image processing strategies | |
Tian et al. | Interactive foreground segmentation method using mean shift and graph cuts | |
Belo et al. | Graph-based hierarchical video summarization using global descriptors | |
Sasidharan et al. | Dynamic texture segmentation of video using texture descriptors and optical flow of pixels for automating monitoring in different environments | |
Lambert et al. | Discrimination properties of invariants using the line moments of vectorized contours | |
Lu et al. | Video preprocessing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |