JP4201958B2 - 動画像のオブジェクト抽出装置 - Google Patents
動画像のオブジェクト抽出装置 Download PDFInfo
- Publication number
- JP4201958B2 JP4201958B2 JP2000125577A JP2000125577A JP4201958B2 JP 4201958 B2 JP4201958 B2 JP 4201958B2 JP 2000125577 A JP2000125577 A JP 2000125577A JP 2000125577 A JP2000125577 A JP 2000125577A JP 4201958 B2 JP4201958 B2 JP 4201958B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- moving image
- frame
- parameters
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、オブジェクトベース画像符号化の際にオブジェクトを抽出する動画像のオブジェクト抽出装置に関するものである。
【０００２】
【従来の技術】
従来、オブジェクトを抽出するに当たり、クロマキーにおける背景のように特別の仕掛けを必要とするものや、レンジファインダのような特別のセンサを必要とするものが実用化されている。
【０００３】
一方、通常のカメラなどによって取得された自然画像からオブジェクトを切り出す技術のうちの代表的なものとして、次のものがある。
１．輝度・色情報やベクトル場に基づいて画像を領域分割する手法
２．輝度値の時間方向の統計情報を用いて背景と前景とを互いに分離する手法
３．人為的に大体の位置・輪郭を付与してエッジ情報に基づいて切り出す手法
【０００４】
輝度・色情報や動きベクトル場に基づく領域分割手法は、色などの類似及び空間的な距離を考慮し、色などが類似した空間的に近接する画素を統合して領域分割する方法である。代表的なアルゴリズムとして、Ｋ平均アルゴリズム(S.Z.Selim等, “K-means-type algorithms," IEEE Trans. PAMI. Vol.6,No.1, pp.81-87(1984))や、領域成長法(S.W.Zucker, “Region growing: Childhood and adolescence," Computer Graphics and Image Processing, Vol.5, pp.382-399(1976))がある。
【０００５】
輝度値の時間方向の統計情報を用いる手法は、輝度の時間変化から背景の輝度値を推定し、その背景輝度と入力フレームとの差分から前景オブジェクトを抽出する手法である。背景が固定されている場合などに適用することができ、背景画像と前景の両者が得られるという特徴を有する（境田等による「背景差分による動オブジェクト抽出手法の検討」。1999年電子情報通信学会総合大会）。
【０００６】
エッジ情報に基づく手法としては、エネルギー最小化問題を反復的に解くことによって輪郭線を画像のエッジへ収束させる動的輪郭モデルsnakes(Kass 等,“Snakes: Active Contour Models," Proceedings of First International Conference on Computer Vision, pp.259-269(London UK, 1987))が代表的なものである。
【０００７】
snakesの制御に動的計画法を用いる手法(Amir 等,“Using Dynamic Programming for solving Variational Problems in Vision," IEEE Trans. PAMI, Vol.12, No.9, pp.855-867(1990))、greedyアルゴリズムによる高速化手法(Williams 等,“A Fast Algorithm for Active Contours and Curvature Estimation,", CVGIP: Image Understanding, Vol.55, No.1, pp.14-26(1992))等がある。
【０００８】
輝度のLaplacian のゼロクロス、輝度勾配、輝度値等を統合的に取り扱い、Dijkstraの最小コスト経路計画のアルゴリズムによって輪郭を追跡してオブジェクトを切り出す手法も提案されており、種々のシーンにおいて安定した切り出しが可能となる(Mortensen等,“Interactive Segmentation with Intelligent Scissors," Graphical Models and Image Processing, Vol.60, pp.349-384(1998)) 。
【０００９】
抽出対象を限定することによって抽出を安定化するアプローチとして、顔輪郭抽出の研究がある（横山等、「顔輪郭抽出のための動的輪郭モデルの提案」情処学論, Vol.40, No.3, pp1127-1137(1999) ）。
【００１０】
また、輪郭エッジを明示的に取り扱う代わりに画像から抽出された自己相似構造に基づいて局所反復写像系(Local Iterated Function Systems) を適用してオブジェクト領域を取得する手法によれば、滑らかな輪郭だけでなく尖った部分も正確に切り出すことができる（井田等「LIFSを用いた被写体輪郭線の高精度な抽出」信学論D-II, Vol.J82-D-II, No.8, pp1282-1289(1999) ）。
【００１１】
【発明が解決しようとする課題】
動画像符号化において、オブジェクトの形状とその運動の情報すなわち運動パラメータを付加することによって高圧縮率を得ることができる。しかしながら、オブジェクトの形状及びその運動を比較的少ないフレーム数でロバストすなわち安定に推定するのが困難である。
【００１２】
本発明の目的は、オブジェクトの形状及びその運動を比較的少ないフレーム数でロバストに推定することができる動画像のオブジェクト抽出装置を提供することである。
【００１３】
【課題を解決するための手段】
本発明による動画像のオブジェクト抽出装置は、動画像中に含まれる複数の運動を２フレームで推定し、運動ごとのオブジェクトを抽出する動画像のオブジェクト抽出装置であって、前記２フレームの動画像の全ての動きベクトルに対して一般化 Hough 変換を行なって、オブジェクト毎の１フレーム間隔における、拡大及び／又は縮小、垂直並進及び水平並進並びに回転のいずれかの運動パラメータの複数の候補のうち、互いに相違する動きの複数のオブジェクトが存在する場合に解空間が交差する複数の運動パラメータを抽出する運動パラメータ取得手段と、前記抽出した複数の運動パラメータ及び前記動画像の前フレームから動き推定を行って前記動画像の現フレームを予測する現フレーム予測手段と、前記フレーム予測手段によって予測された現フレームと実際の現フレームとの差分を検出する差分検出手段と、前記差分に基づいて前記動画像のオブジェクトをそれぞれ分類して出力するオブジェクト分類手段とを具え、前記オブジェクト分類手段は、該差分の絶対値を最小にする運動パラメータを当該画素の動きとして算出し、算出した画素毎の動きを分類して、分類した画素からなるオブジェクトを複数抽出することを特徴とするものである。
【００１４】
本発明によれば、比較的少ない個数のフレーム、すなわち、前フレームと現フレームとの２個のフレームのみを使用して、オブジェクトの形状及び運動パラメータを取得する。これらオブジェクトの形状及び運動パラメータを表現することによって、複数のオブジェクトを有する動画像を効率的に符号化することができる。本発明によれば、画素単位ではなくオブジェクト単位の運動を推定するため、オブジェクトの形状及びその運動を比較的少ないフレーム数でロバストに推定することができるようになる。
【００１５】
なお、本明細書中、動きベクトルとは、フレーム内の注目する画素が１フレーム前においてどの画素に対応するかを求め、その移動量を表す２次元ベクトル量のことを意味し、この動きベクトルをフレーム内全体に亘ってある所定の間隔で求めた集合を動きベクトル場と称する。
【００１６】
好適には、前記運動パラメータ取得手段が、前記動きベクトルを一般化Hough変換することによって前記運動パラメータを取得する。一般化Hough （ハフ）変換はパラメータ推定の一手法であり、観測された情報を生成し得る全てのパラメータ候補に対して投票を行い、得票数が集中したパラメータを以て推定値とする。画面内に複数の運動が混在する場合、パラメータ空間において複数の点に得票が集中するので、それらを順次探索することによって複数の運動の推定が可能となる。
【００１８】
前記運動パラメータとして、例えば、アフィンパラメータ及び／又はアフィンパラメータ空間中の独立する１個以上のパラメータを用いる。
【００１９】
【発明の実施の形態】
本発明によるの実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による動画像のオブジェクト抽出装置の実施の形態を示す図である。この動画像のオブジェクト抽出装置は、Hough 変換を用いて動きベクトル場を運動パラメータ空間に写像することによって、動画像中に含まれる複数の運動を推定し、運動ごとのオブジェクトとして抽出するものである。
【００２０】
図１に示す動画像のオブジェクト抽出装置は、動きベクトル（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））から動きベクトル場を演算する動きベクトル演算回路１と、動きベクトル（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））をHough 変換して運動パラメータ
【外１】
を取得する運動パラメータ取得手段としてのHough 変換回路２と、現フレームを予測する予測部３と、予測された現フレームと実際の現フレームとの間の誤差を検出する誤差検出部４と、動きごとにオブジェクトを分類し及び抽出する動き分類回路５と、入力される動画像信号を１フレーム分遅延させる遅延回路６とを具える。
【００２１】
予測部３は、各運動パラメータに対応して動きを補償する動き補償回路３−１，３−２，３−３及び３−４を有し、誤差検出部４は、各運動パラメータに対応して差分を演算する差分回路４−１，４−２，４−３及び４−４を有する。これら動き補償回路及び差分回路の個数はそれぞれ、抽出したオブジェクトの数（Ｍ個）と同一になる。本実施の形態では、後に説明するように４パラメータの線形結合で表現される個々のオブジェクトの運動が動きベクトル場として観測されると仮定する。なお、本実施の形態では、前記４パラメータとして、例えば、水平並進、垂直並進、回転及び拡大を用いる。
【００２２】
本実施の形態の動作を説明する。先ず、動画像信号が動きベクトル演算回路１、誤差検出部４及び遅延回路６にそれぞれ入力される。なお、入力される動画像は、水平画素数Ｈ及び垂直画素数Ｖ（Ｈ及びＶを共に自然数とする。）からなる１画面を単位とし、時間間隔Ｔ（Ｔを実数とする。）で更新される信号とする。本実施の形態において、Ｈ×Ｖ画素からなる１画面をフレームと称し、図１においてｎ−１番目のフレーム（前フレーム）及びｎ番目のフレーム（現フレーム）をそれぞれＩ(n-1) （ｘ，ｙ）及びＩ(n) （ｘ，ｙ）で表現する（ｎを自然数とする。）。
【００２３】
動きベクトル場演算回路１は、入力された動画像から動きベクトル場を計算する。なお、動きベクトル場の計算アルゴリズムは、ブロックマッチング法、輝度勾配法等手法を問わない。取得するベクトル場も全画素に対して求める必要がなく、例えば４×４画素間隔の代表点に対して求める等、適切な間隔で得られればよい。
【００２４】
その後、Hough 変換回路２は、このように計算された動きベクトル場を構成する全ての動きベクトルを用いて、運動パラメータを取得する。本実施の形態では、取得する運動パラメータを、垂直並進、水平並進、回転及び拡大の４個の２次元運動とする。
【００２５】
ここで、Hough 変換の原理及び計算手順を、フレーム画像内オブジェクトの１フレーム間隔での運動として説明する。
画像中心を原点とする画像座標（ｘ，ｙ）における動きベクトルを（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））とし、オブジェクトの１フレーム間隔における水平並進量をξ［画素］とし、垂直並進量をη［画素］とし、回転量をφとし、拡大量をμとする。なお、回転量は角度の勾配で表す。すなわち、tan -1φが弧度角となる。拡大量μを、拡大倍率から１を減じたもので表す。すなわち、１＋μが拡大倍率となる。この場合、このオブジェクトが生成する動きベクトル場は以下の式を満足する。
【数１】
ｕ（ｘ，ｙ）＝μｘ−φｙ＋ξ
ｖ（ｘ，ｙ）＝φｘ＋μｙ＋η
【００２６】
観測された動きベクトル場から運動パラメータξ，η，φ，μを求めることを考える。画像座標（ｘ0 ，ｙ0 ）における動きベクトルが（ｕ0 ，ｖ0 ）である場合、これら４個の観測量ｘ0 ，ｙ0 ，ｕ0 ，ｖ0 の組合せを生じ得る運動パラメータξ，η，φ，μの候補は無数に存在するが、以下の式を満足する。
【数２】
ξ −ｙ0 φ＋ｘ0 μ−ｕ0 ＝０
η＋ｘ0 φ＋ｙ0 μ−ｖ0 ＝０
【００２７】
数２の解空間を全ての動きベクトルに対して計算すると、運動パラメータξ，η，φ，μの張る空間において、オブジェクトの運動パラメータに対応する点に解空間が多数交差する。互いに相違する動きの複数のオブジェクトが存在する場合、対応する複数の点に多数の解空間が交差する。その交点を抽出するためにHough 変換が行われる。
【００２８】
なお、この説明では垂直並進、水平並進、回転及び拡大に関する４次元の運動パラメータを用いたが、必要に応じて回転や拡大の除去、アフィン変換までの考慮など、運動パラメータを増減して定式化を行うこともできる。
【００２９】
次に、Hough 変換回路２の実装法を説明する。
先ず、パラメータ空間を離散化して４次元配列で表現する。４次元配列の要素の初期値を全て０にする。次いで、動きベクトル場を構成する個々の動きベクトル（ｕ0 （ｘ0 ，ｙ0 ），ｖ0 （ｘ0 ，ｙ0 ））について、これらｘ0 ，ｙ0 ，ｕ0 ，ｖ0 の組合せを生じ得る全ての解の候補点（ξ，η，φ，μ）に対応する４次元配列の要素の値に正の値（例えば１）を加える。この操作を投票と呼ぶ。
【００３０】
全ての動きベクトルに対して投票操作を行った後、得票数の集中した要素を探索する。この要素に対応する運動パラメータが、オブジェクトの動きである。互いに相違する動きの複数のオブジェクトが存在する場合、複数の要素に得票が集中する。その集中した要素から複数のオブジェクトの動きを検出することができる。なお、以下の説明において、オブジェクトの個数をＭとし、第ｉオブジェクトの運動パラメータを
【外２】
とする。但し、ｉ＝１，２，．．．，Ｍとする。
【００３１】
次に、Hough 変換回路２で得られた複数の動きパラメータの各々について、対応する動き補償回路３−１，３−２，３−３又は３−４が動き補償を行う。これら動き補償回路３−１，３−２，３−３又は３−４は、運動パラメータ
【外３】
に従って、前フレームＩ(n-1) （ｘ，ｙ）をそれぞれ垂直並進し、水平並進し、回転し又は拡大する。
【００３２】
これら垂直並進、水平並進、回転及び拡大の結果が現フレームＩ(n) （ｘ，ｙ）と重複した領域が、対応する運動パラメータの領域となる。一方、重複しない領域は、互いに相違する動きを有する領域となる。運動パラメータ〔外３〕による動き補償の結果を
【外４】
とすると、
【数３】
と表現することができる。
【００３３】
次に、差分回路４−１，４−２，４−３及び４−４のそれぞれは、対応する動き補償回路３−１，３−２，３−３又は３−４から出力された〔外４〕と現フレームＩ(n) （ｘ，ｙ）との差分Ｄi （ｘ，ｙ）を、
【数４】
に従って演算する。
【００３４】
最後に、動き分類回路５は、差分回路４−１，４−２，４−３及び４−４の結果Ｄi （ｘ，ｙ）を用いて、動きごとにオブジェクトを抽出し及び分類する。具体的には、フレームの各画素（ｘ，ｙ）に対して、全ての運動パラメータ〔外３〕に対するＤi （ｘ，ｙ）を求め、その絶対値｜Ｄi （ｘ，ｙ）｜を最小にする運動パラメータ〔外３〕を以てその画素の動きとする。フレームを画素ごとに動きの分類を行った結果をＣ（ｘ，ｙ）とする。結果Ｃ（ｘ，ｙ）は、オブジェクトの番号ｉを値として有する。すなわち、
【数５】
と表現される。なお、オブジェクトにテクスチャが比較的少ない場合のように所定の画素において｜Ｄi （ｘ，ｙ）｜に有効な差が生じないときには、その画素を分類をこの際には未定とし、後に周囲から補間することもできる。また、ノイズ除去フィルタなどを付加してオブジェクトの形状を整形することもできる。
【００３５】
本実施の形態によれば、前フレームと現フレームとの２個のフレームのみを使用して、オブジェクトの形状及び運動パラメータをロバストに取得することができる。これらオブジェクトの形状及び運動パラメータを表現することによって、複数のオブジェクトを有する動画像を効率的に符号化することができる。
【００３６】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。例えば、運動パラメータをHough 変換以外の方法によって取得することができ、運動パラメータの組合せを任意に設定することができる。
【図面の簡単な説明】
【図１】 本発明による動画像のオブジェクト抽出装置の実施の形態を示す図である。
【符号の説明】
１ 動きベクトル場演算回路
２ Hough 変換回路
３ 予測部
３−１，３−２，３−３，．．．，３−Ｍ 動き補償回路
４ 誤差検出部
４−１，４−２，４−３，．．．，４−Ｍ 差分回路
５ 動き分類回路
６ 遅延回路
【発明の属する技術分野】
本発明は、オブジェクトベース画像符号化の際にオブジェクトを抽出する動画像のオブジェクト抽出装置に関するものである。
【０００２】
【従来の技術】
従来、オブジェクトを抽出するに当たり、クロマキーにおける背景のように特別の仕掛けを必要とするものや、レンジファインダのような特別のセンサを必要とするものが実用化されている。
【０００３】
一方、通常のカメラなどによって取得された自然画像からオブジェクトを切り出す技術のうちの代表的なものとして、次のものがある。
１．輝度・色情報やベクトル場に基づいて画像を領域分割する手法
２．輝度値の時間方向の統計情報を用いて背景と前景とを互いに分離する手法
３．人為的に大体の位置・輪郭を付与してエッジ情報に基づいて切り出す手法
【０００４】
輝度・色情報や動きベクトル場に基づく領域分割手法は、色などの類似及び空間的な距離を考慮し、色などが類似した空間的に近接する画素を統合して領域分割する方法である。代表的なアルゴリズムとして、Ｋ平均アルゴリズム(S.Z.Selim等, “K-means-type algorithms," IEEE Trans. PAMI. Vol.6,No.1, pp.81-87(1984))や、領域成長法(S.W.Zucker, “Region growing: Childhood and adolescence," Computer Graphics and Image Processing, Vol.5, pp.382-399(1976))がある。
【０００５】
輝度値の時間方向の統計情報を用いる手法は、輝度の時間変化から背景の輝度値を推定し、その背景輝度と入力フレームとの差分から前景オブジェクトを抽出する手法である。背景が固定されている場合などに適用することができ、背景画像と前景の両者が得られるという特徴を有する（境田等による「背景差分による動オブジェクト抽出手法の検討」。1999年電子情報通信学会総合大会）。
【０００６】
エッジ情報に基づく手法としては、エネルギー最小化問題を反復的に解くことによって輪郭線を画像のエッジへ収束させる動的輪郭モデルsnakes(Kass 等,“Snakes: Active Contour Models," Proceedings of First International Conference on Computer Vision, pp.259-269(London UK, 1987))が代表的なものである。
【０００７】
snakesの制御に動的計画法を用いる手法(Amir 等,“Using Dynamic Programming for solving Variational Problems in Vision," IEEE Trans. PAMI, Vol.12, No.9, pp.855-867(1990))、greedyアルゴリズムによる高速化手法(Williams 等,“A Fast Algorithm for Active Contours and Curvature Estimation,", CVGIP: Image Understanding, Vol.55, No.1, pp.14-26(1992))等がある。
【０００８】
輝度のLaplacian のゼロクロス、輝度勾配、輝度値等を統合的に取り扱い、Dijkstraの最小コスト経路計画のアルゴリズムによって輪郭を追跡してオブジェクトを切り出す手法も提案されており、種々のシーンにおいて安定した切り出しが可能となる(Mortensen等,“Interactive Segmentation with Intelligent Scissors," Graphical Models and Image Processing, Vol.60, pp.349-384(1998)) 。
【０００９】
抽出対象を限定することによって抽出を安定化するアプローチとして、顔輪郭抽出の研究がある（横山等、「顔輪郭抽出のための動的輪郭モデルの提案」情処学論, Vol.40, No.3, pp1127-1137(1999) ）。
【００１０】
また、輪郭エッジを明示的に取り扱う代わりに画像から抽出された自己相似構造に基づいて局所反復写像系(Local Iterated Function Systems) を適用してオブジェクト領域を取得する手法によれば、滑らかな輪郭だけでなく尖った部分も正確に切り出すことができる（井田等「LIFSを用いた被写体輪郭線の高精度な抽出」信学論D-II, Vol.J82-D-II, No.8, pp1282-1289(1999) ）。
【００１１】
【発明が解決しようとする課題】
動画像符号化において、オブジェクトの形状とその運動の情報すなわち運動パラメータを付加することによって高圧縮率を得ることができる。しかしながら、オブジェクトの形状及びその運動を比較的少ないフレーム数でロバストすなわち安定に推定するのが困難である。
【００１２】
本発明の目的は、オブジェクトの形状及びその運動を比較的少ないフレーム数でロバストに推定することができる動画像のオブジェクト抽出装置を提供することである。
【００１３】
【課題を解決するための手段】
本発明による動画像のオブジェクト抽出装置は、動画像中に含まれる複数の運動を２フレームで推定し、運動ごとのオブジェクトを抽出する動画像のオブジェクト抽出装置であって、前記２フレームの動画像の全ての動きベクトルに対して一般化 Hough 変換を行なって、オブジェクト毎の１フレーム間隔における、拡大及び／又は縮小、垂直並進及び水平並進並びに回転のいずれかの運動パラメータの複数の候補のうち、互いに相違する動きの複数のオブジェクトが存在する場合に解空間が交差する複数の運動パラメータを抽出する運動パラメータ取得手段と、前記抽出した複数の運動パラメータ及び前記動画像の前フレームから動き推定を行って前記動画像の現フレームを予測する現フレーム予測手段と、前記フレーム予測手段によって予測された現フレームと実際の現フレームとの差分を検出する差分検出手段と、前記差分に基づいて前記動画像のオブジェクトをそれぞれ分類して出力するオブジェクト分類手段とを具え、前記オブジェクト分類手段は、該差分の絶対値を最小にする運動パラメータを当該画素の動きとして算出し、算出した画素毎の動きを分類して、分類した画素からなるオブジェクトを複数抽出することを特徴とするものである。
【００１４】
本発明によれば、比較的少ない個数のフレーム、すなわち、前フレームと現フレームとの２個のフレームのみを使用して、オブジェクトの形状及び運動パラメータを取得する。これらオブジェクトの形状及び運動パラメータを表現することによって、複数のオブジェクトを有する動画像を効率的に符号化することができる。本発明によれば、画素単位ではなくオブジェクト単位の運動を推定するため、オブジェクトの形状及びその運動を比較的少ないフレーム数でロバストに推定することができるようになる。
【００１５】
なお、本明細書中、動きベクトルとは、フレーム内の注目する画素が１フレーム前においてどの画素に対応するかを求め、その移動量を表す２次元ベクトル量のことを意味し、この動きベクトルをフレーム内全体に亘ってある所定の間隔で求めた集合を動きベクトル場と称する。
【００１６】
好適には、前記運動パラメータ取得手段が、前記動きベクトルを一般化Hough変換することによって前記運動パラメータを取得する。一般化Hough （ハフ）変換はパラメータ推定の一手法であり、観測された情報を生成し得る全てのパラメータ候補に対して投票を行い、得票数が集中したパラメータを以て推定値とする。画面内に複数の運動が混在する場合、パラメータ空間において複数の点に得票が集中するので、それらを順次探索することによって複数の運動の推定が可能となる。
【００１８】
前記運動パラメータとして、例えば、アフィンパラメータ及び／又はアフィンパラメータ空間中の独立する１個以上のパラメータを用いる。
【００１９】
【発明の実施の形態】
本発明によるの実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による動画像のオブジェクト抽出装置の実施の形態を示す図である。この動画像のオブジェクト抽出装置は、Hough 変換を用いて動きベクトル場を運動パラメータ空間に写像することによって、動画像中に含まれる複数の運動を推定し、運動ごとのオブジェクトとして抽出するものである。
【００２０】
図１に示す動画像のオブジェクト抽出装置は、動きベクトル（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））から動きベクトル場を演算する動きベクトル演算回路１と、動きベクトル（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））をHough 変換して運動パラメータ
【外１】
【００２１】
予測部３は、各運動パラメータに対応して動きを補償する動き補償回路３−１，３−２，３−３及び３−４を有し、誤差検出部４は、各運動パラメータに対応して差分を演算する差分回路４−１，４−２，４−３及び４−４を有する。これら動き補償回路及び差分回路の個数はそれぞれ、抽出したオブジェクトの数（Ｍ個）と同一になる。本実施の形態では、後に説明するように４パラメータの線形結合で表現される個々のオブジェクトの運動が動きベクトル場として観測されると仮定する。なお、本実施の形態では、前記４パラメータとして、例えば、水平並進、垂直並進、回転及び拡大を用いる。
【００２２】
本実施の形態の動作を説明する。先ず、動画像信号が動きベクトル演算回路１、誤差検出部４及び遅延回路６にそれぞれ入力される。なお、入力される動画像は、水平画素数Ｈ及び垂直画素数Ｖ（Ｈ及びＶを共に自然数とする。）からなる１画面を単位とし、時間間隔Ｔ（Ｔを実数とする。）で更新される信号とする。本実施の形態において、Ｈ×Ｖ画素からなる１画面をフレームと称し、図１においてｎ−１番目のフレーム（前フレーム）及びｎ番目のフレーム（現フレーム）をそれぞれＩ(n-1) （ｘ，ｙ）及びＩ(n) （ｘ，ｙ）で表現する（ｎを自然数とする。）。
【００２３】
動きベクトル場演算回路１は、入力された動画像から動きベクトル場を計算する。なお、動きベクトル場の計算アルゴリズムは、ブロックマッチング法、輝度勾配法等手法を問わない。取得するベクトル場も全画素に対して求める必要がなく、例えば４×４画素間隔の代表点に対して求める等、適切な間隔で得られればよい。
【００２４】
その後、Hough 変換回路２は、このように計算された動きベクトル場を構成する全ての動きベクトルを用いて、運動パラメータを取得する。本実施の形態では、取得する運動パラメータを、垂直並進、水平並進、回転及び拡大の４個の２次元運動とする。
【００２５】
ここで、Hough 変換の原理及び計算手順を、フレーム画像内オブジェクトの１フレーム間隔での運動として説明する。
画像中心を原点とする画像座標（ｘ，ｙ）における動きベクトルを（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））とし、オブジェクトの１フレーム間隔における水平並進量をξ［画素］とし、垂直並進量をη［画素］とし、回転量をφとし、拡大量をμとする。なお、回転量は角度の勾配で表す。すなわち、tan -1φが弧度角となる。拡大量μを、拡大倍率から１を減じたもので表す。すなわち、１＋μが拡大倍率となる。この場合、このオブジェクトが生成する動きベクトル場は以下の式を満足する。
【数１】
ｕ（ｘ，ｙ）＝μｘ−φｙ＋ξ
ｖ（ｘ，ｙ）＝φｘ＋μｙ＋η
【００２６】
観測された動きベクトル場から運動パラメータξ，η，φ，μを求めることを考える。画像座標（ｘ0 ，ｙ0 ）における動きベクトルが（ｕ0 ，ｖ0 ）である場合、これら４個の観測量ｘ0 ，ｙ0 ，ｕ0 ，ｖ0 の組合せを生じ得る運動パラメータξ，η，φ，μの候補は無数に存在するが、以下の式を満足する。
【数２】
ξ −ｙ0 φ＋ｘ0 μ−ｕ0 ＝０
η＋ｘ0 φ＋ｙ0 μ−ｖ0 ＝０
【００２７】
数２の解空間を全ての動きベクトルに対して計算すると、運動パラメータξ，η，φ，μの張る空間において、オブジェクトの運動パラメータに対応する点に解空間が多数交差する。互いに相違する動きの複数のオブジェクトが存在する場合、対応する複数の点に多数の解空間が交差する。その交点を抽出するためにHough 変換が行われる。
【００２８】
なお、この説明では垂直並進、水平並進、回転及び拡大に関する４次元の運動パラメータを用いたが、必要に応じて回転や拡大の除去、アフィン変換までの考慮など、運動パラメータを増減して定式化を行うこともできる。
【００２９】
次に、Hough 変換回路２の実装法を説明する。
先ず、パラメータ空間を離散化して４次元配列で表現する。４次元配列の要素の初期値を全て０にする。次いで、動きベクトル場を構成する個々の動きベクトル（ｕ0 （ｘ0 ，ｙ0 ），ｖ0 （ｘ0 ，ｙ0 ））について、これらｘ0 ，ｙ0 ，ｕ0 ，ｖ0 の組合せを生じ得る全ての解の候補点（ξ，η，φ，μ）に対応する４次元配列の要素の値に正の値（例えば１）を加える。この操作を投票と呼ぶ。
【００３０】
全ての動きベクトルに対して投票操作を行った後、得票数の集中した要素を探索する。この要素に対応する運動パラメータが、オブジェクトの動きである。互いに相違する動きの複数のオブジェクトが存在する場合、複数の要素に得票が集中する。その集中した要素から複数のオブジェクトの動きを検出することができる。なお、以下の説明において、オブジェクトの個数をＭとし、第ｉオブジェクトの運動パラメータを
【外２】
【００３１】
次に、Hough 変換回路２で得られた複数の動きパラメータの各々について、対応する動き補償回路３−１，３−２，３−３又は３−４が動き補償を行う。これら動き補償回路３−１，３−２，３−３又は３−４は、運動パラメータ
【外３】
【００３２】
これら垂直並進、水平並進、回転及び拡大の結果が現フレームＩ(n) （ｘ，ｙ）と重複した領域が、対応する運動パラメータの領域となる。一方、重複しない領域は、互いに相違する動きを有する領域となる。運動パラメータ〔外３〕による動き補償の結果を
【外４】
【数３】
【００３３】
次に、差分回路４−１，４−２，４−３及び４−４のそれぞれは、対応する動き補償回路３−１，３−２，３−３又は３−４から出力された〔外４〕と現フレームＩ(n) （ｘ，ｙ）との差分Ｄi （ｘ，ｙ）を、
【数４】
【００３４】
最後に、動き分類回路５は、差分回路４−１，４−２，４−３及び４−４の結果Ｄi （ｘ，ｙ）を用いて、動きごとにオブジェクトを抽出し及び分類する。具体的には、フレームの各画素（ｘ，ｙ）に対して、全ての運動パラメータ〔外３〕に対するＤi （ｘ，ｙ）を求め、その絶対値｜Ｄi （ｘ，ｙ）｜を最小にする運動パラメータ〔外３〕を以てその画素の動きとする。フレームを画素ごとに動きの分類を行った結果をＣ（ｘ，ｙ）とする。結果Ｃ（ｘ，ｙ）は、オブジェクトの番号ｉを値として有する。すなわち、
【数５】
【００３５】
本実施の形態によれば、前フレームと現フレームとの２個のフレームのみを使用して、オブジェクトの形状及び運動パラメータをロバストに取得することができる。これらオブジェクトの形状及び運動パラメータを表現することによって、複数のオブジェクトを有する動画像を効率的に符号化することができる。
【００３６】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。例えば、運動パラメータをHough 変換以外の方法によって取得することができ、運動パラメータの組合せを任意に設定することができる。
【図面の簡単な説明】
【図１】 本発明による動画像のオブジェクト抽出装置の実施の形態を示す図である。
【符号の説明】
１ 動きベクトル場演算回路
２ Hough 変換回路
３ 予測部
３−１，３−２，３−３，．．．，３−Ｍ 動き補償回路
４ 誤差検出部
４−１，４−２，４−３，．．．，４−Ｍ 差分回路
５ 動き分類回路
６ 遅延回路
Claims (2)
- 動画像中に含まれる複数の運動を２フレームで推定し、運動ごとのオブジェクトを抽出する動画像のオブジェクト抽出装置であって、
前記２フレームの動画像の全ての動きベクトルに対して一般化 Hough 変換を行なって、オブジェクト毎の１フレーム間隔における、拡大及び／又は縮小、垂直並進及び水平並進並びに回転のいずれかの運動パラメータの複数の候補のうち、互いに相違する動きの複数のオブジェクトが存在する場合に解空間が交差する複数の運動パラメータを抽出する運動パラメータ取得手段と、
前記抽出した複数の運動パラメータ及び前記動画像の前フレームから動き推定を行って前記動画像の現フレームを予測する現フレーム予測手段と、
前記フレーム予測手段によって予測された現フレームと実際の現フレームとの差分を検出する差分検出手段と、
前記差分に基づいて前記動画像のオブジェクトをそれぞれ分類して出力するオブジェクト分類手段とを具え、
前記オブジェクト分類手段は、該差分の絶対値を最小にする運動パラメータを当該画素の動きとして算出し、算出した画素毎の動きを分類して、分類した画素からなるオブジェクトを複数抽出することを特徴とする動画像のオブジェクト抽出装置。 - 前記運動パラメータとして、アフィンパラメータ及び／又はアフィンパラメータ空間内の独立する１個以上のパラメータを用いたことを特徴とする請求項１に記載の動画像のオブジェクト抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000125577A JP4201958B2 (ja) | 2000-04-26 | 2000-04-26 | 動画像のオブジェクト抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000125577A JP4201958B2 (ja) | 2000-04-26 | 2000-04-26 | 動画像のオブジェクト抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001307104A JP2001307104A (ja) | 2001-11-02 |
| JP4201958B2 true JP4201958B2 (ja) | 2008-12-24 |
Family
ID=18635506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000125577A Expired - Fee Related JP4201958B2 (ja) | 2000-04-26 | 2000-04-26 | 動画像のオブジェクト抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4201958B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4217876B2 (ja) * | 2002-12-20 | 2009-02-04 | 財団法人生産技術研究奨励会 | 画像における移動物体の追跡方法及び装置 |
| JP3882083B2 (ja) | 2003-11-26 | 2007-02-14 | 国立大学法人岐阜大学 | 測距装置 |
| JP4661514B2 (ja) * | 2005-10-07 | 2011-03-30 | ソニー株式会社 | 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体 |
| JP4847303B2 (ja) * | 2006-12-01 | 2011-12-28 | 富士通株式会社 | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 |
| KR101016095B1 (ko) * | 2009-02-20 | 2011-02-17 | 성균관대학교산학협력단 | 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법 |
| WO2013163197A1 (en) * | 2012-04-24 | 2013-10-31 | Lyrical Labs Video Compression Technology, LLC | Macroblock partitioning and motion estimation using object analysis for video compression |
| JP6028665B2 (ja) * | 2013-04-12 | 2016-11-16 | 三菱電機株式会社 | 画像対応付け装置および画像対応付け方法 |
-
2000
- 2000-04-26 JP JP2000125577A patent/JP4201958B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001307104A (ja) | 2001-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hötter et al. | Image segmentation based on object oriented mapping parameter estimation | |
| CN109598794B (zh) | 三维gis动态模型的构建方法 | |
| KR100224752B1 (ko) | 표적 추적 방법 및 장치 | |
| JP2978406B2 (ja) | 局所異常の排除による動きベクトルフィールド生成装置およびその方法 | |
| JP6030617B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2008518331A (ja) | リアルタイムビデオ動き解析を通じたビデオコンテンツ理解 | |
| CN110599522B (zh) | 一种视频序列中动态目标检测剔除方法 | |
| CN111539983A (zh) | 基于深度图像的运动物体分割方法及*** | |
| Funde et al. | Object detection and tracking approaches for video surveillance over camera network | |
| Nguyen et al. | ROI-based LiDAR sampling algorithm in on-road environment for autonomous driving | |
| JP4201958B2 (ja) | 動画像のオブジェクト抽出装置 | |
| Zhang et al. | Image sequence segmentation using 3-D structure tensor and curve evolution | |
| Roy et al. | A comprehensive survey on computer vision based approaches for moving object detection | |
| Mohanty et al. | A survey on moving object detection using background subtraction methods in video | |
| Wang et al. | A submap joining based RGB-D SLAM algorithm using planes as features | |
| JP2016081252A (ja) | 画像処理装置および画像処理方法 | |
| KR101394473B1 (ko) | 이동 물체 탐지 방법 및 그 감시 시스템 | |
| Tezuka et al. | A precise and stable foreground segmentation using fine-to-coarse approach in transform domain | |
| Sim et al. | Robust reweighted MAP motion estimation | |
| KR100566629B1 (ko) | 이동물체 검출 시스템 및 방법 | |
| Mangal et al. | Real time moving object detection for video surveillance based on improved GMM | |
| Kalsotra et al. | Morphological based moving object detection with background subtraction method | |
| Tistarelli | Computation of coherent optical flow by using multiple constraints | |
| Morar et al. | Time-consistent segmentation of indoor depth video frames | |
| Nagata et al. | Self-Supervised Learning of Inlier Events for Event-based Optical Flow. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080822 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080822 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081008 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141017 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |