JP3881709B2 - 動画像符号化器で用いられる画像中の移動物体像を抽出・分離する方法及び装置 - Google Patents
動画像符号化器で用いられる画像中の移動物体像を抽出・分離する方法及び装置 Download PDFInfo
- Publication number
- JP3881709B2 JP3881709B2 JP20286695A JP20286695A JP3881709B2 JP 3881709 B2 JP3881709 B2 JP 3881709B2 JP 20286695 A JP20286695 A JP 20286695A JP 20286695 A JP20286695 A JP 20286695A JP 3881709 B2 JP3881709 B2 JP 3881709B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- motion
- pixels
- parameters
- homogeneity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は映像信号を符号化するためのオブジェクト指向分析−合成符号化技法に関し、とくに、動画像中の移動物体像を抽出・分離しかつその移動物体の各動きを推定する方法に関する。
【０００２】
【従来の技術】
従来のビデオ電話、通信会議及び高精細度テレビジョンシステムのようなディジタルテレビジョンシステムでは、ビデオフレーム信号におけるビデオライン信号が画素値という一連のディジタルデータからなるため、各ビデオフレーム信号を規定するのに大量のディジタルデータが必要となる。しかし、通常の伝送チャネルにおいて利用可能な周波数帯域幅は制限されているため、その帯域を通じて大量のディジタルデータを送るためには、様々なデータ圧縮技法を用いてそのデータの量を圧縮するか、または減らすことが必要である。特に、ビデオ電話または通信会議システムのような低ビットレートのビデオ信号符号化器の場合に、そのようなデータ圧縮技法が必要である。
【０００３】
低ビットレートの符号化システムのビデオ信号を符号化するための符号化方法の中に、いわゆるオブジェクト指向分析−合成符号化技法がある。ここで、一つの入力ビデオ映像は移動物体（またはオブジェクト）に分けられると共に、各々の移動物体はその物体の動き、輪郭（形状）及び画素データを規定する３セットのパラメータによって記述される。
【０００４】
オブジェクト指向分析−合成符号化技法の主な問題の一つは、入力ビデオ映像を正確に移動物体に細分し、かつ移動物体の各動きを正確に推定することであり、このために様々の方法が提案されてきた。それらの方法の一つに、階層構造分割技法（Michael Hotterらの、“「Image Segmentation Based on Object Oriented Mapping Parameter Estimation」,Signal Processing,15,No.3,315-334頁（1988年10月）”参照）がある。
【０００５】
この階層構造分割技法によれば、分割されるべき入力ビデオ映像の領域はマッピングパラメータとして定義される１セットの一様な動き及び位置パラメータにより規定される。この技法では、例えば、８つのパラメータが用いられて、ある任意の３次元平面体の動きが表される。第１ステップにおいては、変化検知器が２つの連続フィールドの間で時間的に変化した領域と変化しない領域とを区別する。変化した各映像領域を一つの移動物体として解釈する。各々の物体の動き及び位置は、１セットのマッピングパラメータにより表される。これらのマッピングパラメータと時間的に先立つフィールドに関する情報とに基づいて、時間的に後続するフィールドを復元し得る。その次のステップでは、それらのマッピングにおいて正確に記述されなかった映像領域が、変化検知器を用いて再び検知され、階層の第１ステップに於いて検知された変化した部分に従って扱われる。しかし、この方法には、複数の移動物体が一つの変化した領域に含まれている場合、その移動物体を正確に分離し得ないという問題点がある。
【０００６】
【発明が解決しようとする課題】
従って、本発明の主な目的は、動画像符号化に際して画像から移動物体像を正確に抽出・分離しかつ該移動物体の各動きを推定する改良された方法を提供することである。
【０００７】
【課題を解決するための手段】
従って、上記の目的を達成するために、本発明によれば、オブジェクト指向の動画像符号化器で用いられる、現フレームの移動物体像を抽出・分離する方法であって、
（ａ）前記現フレームとその前フレームとを比較することによって、該現フレーム内における変化した領域を検出する過程と、
（ｂ）前記変化した領域における全画素について動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））を検出し、前記変化した領域に対応する動きベクトル場を生成する動きベクトル検出過程であって、前記動きベクトル場は、その内部の全画素の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））が定義された、該変化した領域である、該動きベクトル検出過程と、
（ｃ）当該動きベクトル場について移動物体像の動きベクトルの抽出・分離を行う動きベクトル抽出・分離過程とを有し、
前記ベクトル検出過程（ｂ）が、
（ｂ１）前記変化した領域における全画素のなかから選択された一部の画素について動きベクトルを検出する過程であって、前記選択された一部の画素は前記変化した領域の特徴点の画素である、該過程と、
（ｂ２）前記選択された一部の画素の動きベクトルを用いることによって、前記変化した領域における選択されていない画素の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の推定値を求め、もって動きベクトル場を生成する過程とを含み、
前記動きベクトル抽出・分離過程（ｃ）が、
（ｄ）Ｎ×Ｎ画素の大きさのウィンドウブロック（Ｎは正の整数）を前記動きベクトル場上でスライドし、前記ウィンドウブロックの各位置に対する等質性（homogeneity）の度合い（Ｄ（ｍ，ｎ））を算出し、最も等質性の度合いの大きいウィンドウブロックの位置をシードブロックとして選択する過程であって、或るウィンドウブロックに対する等質性の度合い（Ｄ（ｍ，ｎ））は、そのウィンドウブロックにおける所定の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の組と、そのウィンドウブロックに対する最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）で表される推定動きベクトル（ＶＢｘ（ｘ，ｙ），ＶＢｙ（ｘ，ｙ））との間の誤差の大きさを表す誤差関数（Ｅ（ａ１,...,ａ８））に基づいて算出され、等質性の度合い（Ｄ（ｍ，ｎ））は、前記所定の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の組と、前記推定動きベクトル（ＶＢｘ（ｘ，ｙ），ＶＢｙ（ｘ，ｙ））との間の類似性を表し、ここで前記推定動きベクトル（ＶＢｘ（ｘ，ｙ），ＶＢｙ（ｘ，ｙ））のｘ及びｙ成分は、それぞれ前記最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）の部分集合によって規定される、該過程と、
（ｅ）前記動きベクトル場において修正領域を決定する過程であって、前記修正領域の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、前記最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）で記述される、該過程と、
（ｆ）前記修正領域から修正された動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を決定する過程と、
（ｇ）現修正領域と前修正領域との差が予め定められた値より小さくなるまで、前記（ｆ）過程で決定された前記修正された動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を用いて前記（ｅ）過程と前記（ｆ）過程を繰り返すことによって修正領域をその移動物体像の範囲内で最大限に拡大し、最終値の動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を決定する過程と、
（ｈ）前記動きベクトル場の残りの領域において前記（ｄ）過程乃至前記（ｇ）過程を繰り返し、残りの各移動物体に対する各々の動きパラメータの組を決定する過程とを含むことを特徴とする方法が提供される。
【０００８】
【発明の実施の形態】
以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。
【０００９】
図１には、本発明による画像から移動物体像を抽出・分離し、かつ移動物体の各動きを１セットの動きパラメータにて記述する方法を実現する装置のブロック図が示されている。
【００１０】
図１に示されているように、２つの入力信号、即ち、現フレーム信号及び復元された前フレーム信号が変化検知器１００及び動き推定器１０２へ各々入力される。
【００１１】
この変化検知器１００は、現フレーム信号と復元された前フレーム信号とを比較して、現フレームにおける背景から移動物体像を含んだ領域であり得る変化した領域を捜し出す。検知された変化した領域の情報は、動き推定器１０２及び動きベクトル場検知器１０３へ送られる。
【００１２】
この動き推定器１０２は、変化した領域の画素の一部である１以上の画素（特徴点）を選択し、そのフレームにおける特徴点に対する動きベクトルの集合を求める。ここで、変化した領域中の特徴点は、その領域中の各移動物体（オブジェクト）像の特徴を表す画素の１つであると推定されることから、各特徴点は近くの画素を代表しうる画素であって、その特徴点近傍の非特徴点の画素の前フレームと現フレーム間の変位は、該特徴点の前フレームと現フレームの間の変位に近いものとみなすことができる。選択された各特徴点に対する動きベクトルは、以下の２段階で特定される。即ち、（ｉ）選択された各特長点に対して予め定められたサイズのブロックを形成し、（ｉｉ）次に形成された前記ブロックにブロックマッチングアルゴリズム（例えば、J.R.Jainらの「Displacement Measurement and Its Application in Interframe Image Coding」,IEEE Transactions on Communications,COM-29,No.12 1799-1808頁（1981年12月）参照）を適用することによって、動きベクトルが決定される。ここで、各動きベクトルは、現フレームにおける一つの特徴点と復元された前フレームにおける対応する整合点（即ち、最も類似な画素）との間の空間的変位を表す。変化した領域における非特徴点の動きベクトルは、動きベクトル場検知器１０３において、その非特徴点の周辺の複数の特徴点の動きベクトルを平均処理することによって求められる。かくして、変化した領域における全ての画素に対する動きベクトルが求められる。このような、その内部の全画素に対する動きベクトルが定義された、該変化した領域を動きベクトル場（motion vector field）と呼ぶ。この動きベクトル場に関する情報はシードブロック（seed block）検知／領域成長回路１０４へ送られる。
【００１３】
シードブロック検知／領域成長回路１０４は、動きベクトル場において移動物体を抽出・分離すると共に、移動物体の各動きを１セットの動きパラメータにて記述する。本発明においては、移動物体の各動きを記述するために、８−パラメータ動きモデル（例えば、Gilad Adivの“「Determining Three-Dimensional Motion and Structure from Optical Flow Generated by Several Moving Objects」,IEEE Transactions on Patent Analysis and Machine Intelligence,PAMI-7,No.4,384-401頁（1985年7月）”参照）が採用されている。これは次式（１）及び（２）のように表現される。
【００１４】
vｘ(x,y)=a１+a２x+a３y+a７x２+a８xy 式（１）
【００１５】
vｙ(x,y)=a４+a５x+a６y+a７xy+a８y２ 式（２）
【００１６】
ここで、vｘ(x,y)は位置(x,y)における動きベクトルの水平方向の成分を、vｙ(x,y)は位置(x,y)における動きベクトルの垂直方向の成分を表す。
【００１７】
図２によれば、動きベクトル場内における各々の移動物体に対する８つの動きパラメータは、シードブロック検知過程１０と領域成長過程２０とに分けられる２つの過程を通じて求められる。
【００１８】
シードブロック検知過程１０は、８つの動きパラメータに対する１セットの初期値を求めるために、シードブロックを検知する過程であり、また、領域成長過程２０は繰り返し的な領域成長アルゴリズムを用いてシードブロックのサイズを増大させることによって、８つの動きパラメータに対する１セットの実値を推定する過程である。
【００１９】
シードブロック検知過程１０は、ステップ１０及びステップ２０からなる。ステップ１０においては、Ｎ×Ｎ画素の大きさのウィンドウブロックを動きベクトル場上でスライドさせて、ウィンドウブロックの各位置に対して、等質性（homogeneity）の度合いを算出する。その後、ステップ１２においては、最も等質性の度合いの大きいブロックをシードブロックとして選択する。等質性の度合いは下記式（３）乃至（７）によって定義される。
【００２０】
【数１】
【００２１】
【数２】
【００２２】
【数３】
【００２３】
【数４】
【００２４】
【数５】
【００２５】
ここで、D(m,n)はウィンドウ位置(m,n)における等質性の度合い、Ｗはウィンドウサイズ、｛ａ１ ＊,...,ａ８ ＊｝はあるウィンドウブロックに対する１セットの最適な動きパラメータを表す。最適な動きパラメータのセットは、式（４）をａ １ ,ａ ２ ,...,ａ ８ の各々に対して偏微分し、これらの各式が独立の場合、それらを０に等しいと置くことによって得られる８つの式に対する解である。式（３）乃至式（７）に示されているように、ウィンドウブロックに対する等質性の度合いは、あるウィンドウブロック内の与えられた動きベクトルセットと、最適な動きパラメータのセットから得られた推定された動きベクトルセットとの間の誤差関数Ｅを用いて計算される。尚、本明細書においては、上記式（６）及び式（７）によって表される、最適な動きパラメータのセットから得られる推定された動きベクトルの水平及び垂直成分はそれぞれＶＢｘ（ｘ，ｙ）及びＶＢｙ（ｘ，ｙ）と表記することもある。
【００２６】
シードブロックを検知した後、移動物体の動きをもっともよく表す最適パラメータを求めるべく領域をその移動物体像の範囲内で最大限に拡大する領域成長過程２０が開始される。領域成長過程２０では、初めに１セットの動きパラメータに対する１セットの初期値が求められる。その後、その初期値を実際のパラメータ値に修正するために、領域成長技法を用いて以下に述べるような収束過程が実行される。
【００２７】
ステップ１４に於いては、図２に示すように、ステップ１２に於いて検知されたシードブロックに基づいて求められた１セットの動きパラメータか、またはステップ１６に於いて求められた前回までの拡大・修正された領域に対して求められた１セットの動きパラメータを初期値として特定する。
【００２８】
即ち、１セットの動きパラメータの初期値は、シードブロックに対する最適な動きパラメータのセットを持ってくることによって求められる。また、１セットの動きパラメータの修正値は、シードブロックの最適なパラメータセットを求める場合と同様に、その修正領域内に含まれる全ての動きベクトルに基づいて求められる。
【００２９】
ステップ１６に於いては、上記のパラメータセットの初期値あるいは修正値を実際の移動物体の動きをより正確に表す動きパラメータのセットに修正するために、領域成長過程が行われる。この過程では、シードブロックあるいは前回の修正領域の中及び周囲に含まれる各動きベクトルが、初期値あるいは前回の修正値のパラメータを用いたモデルにて表すことができるか否かを評価することによって、現状の領域のままにするか、または新たに拡大・修正された領域を規定する。
【００３０】
ステップ１８においては、現修正領域と前修正領域の差（即ち領域の変化の大きさ）を予め定められた値と比較して、領域成長を更に行うか否かを判断する。現修正領域と前修正領域の差が予め定められた値より小さくなるまで領域成長過程を繰り返すことによって、動きパラメータセットに対する１セットの最終値が求められる。
【００３１】
一つの動きパラメータセットに対する最終値が求められた後、各移動物体に対する各動きパラメータセットが求められるまで、上記ステップ１０、１２、１４、１６及び１８が繰り返されて、別の動きパラメータセットが求められる。
【００３２】
上記に於いて、本発明の好適な実施例について説明したが、請求項に記載の本発明の範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。
【００３３】
【発明の効果】
従って、本発明によれば、動画像符号化において画像中の移動物体を正確に抽出・分離し、かつ移動物体の動きを正確に推定することが可能となる。
【図面の簡単な説明】
【図１】本発明によって、映像を移動物体単位で正確に分割し、かつ移動物体の各動きを１セットの動きパラメータにて正確に推定するブロック図である。
【図２】図１に示されたシードブロック検知／領域成長回路の動作の流れを説明するためのフロー図である。
【符号の説明】
１０ シードブロック検知過程
２０ 領域成長過程
１００ 変化検知器
１０２ 動き推定器
１０３ 動きベクトル場検知器
１０４ シードブロック検知／領域成長回路
【発明の属する技術分野】
本発明は映像信号を符号化するためのオブジェクト指向分析−合成符号化技法に関し、とくに、動画像中の移動物体像を抽出・分離しかつその移動物体の各動きを推定する方法に関する。
【０００２】
【従来の技術】
従来のビデオ電話、通信会議及び高精細度テレビジョンシステムのようなディジタルテレビジョンシステムでは、ビデオフレーム信号におけるビデオライン信号が画素値という一連のディジタルデータからなるため、各ビデオフレーム信号を規定するのに大量のディジタルデータが必要となる。しかし、通常の伝送チャネルにおいて利用可能な周波数帯域幅は制限されているため、その帯域を通じて大量のディジタルデータを送るためには、様々なデータ圧縮技法を用いてそのデータの量を圧縮するか、または減らすことが必要である。特に、ビデオ電話または通信会議システムのような低ビットレートのビデオ信号符号化器の場合に、そのようなデータ圧縮技法が必要である。
【０００３】
低ビットレートの符号化システムのビデオ信号を符号化するための符号化方法の中に、いわゆるオブジェクト指向分析−合成符号化技法がある。ここで、一つの入力ビデオ映像は移動物体（またはオブジェクト）に分けられると共に、各々の移動物体はその物体の動き、輪郭（形状）及び画素データを規定する３セットのパラメータによって記述される。
【０００４】
オブジェクト指向分析−合成符号化技法の主な問題の一つは、入力ビデオ映像を正確に移動物体に細分し、かつ移動物体の各動きを正確に推定することであり、このために様々の方法が提案されてきた。それらの方法の一つに、階層構造分割技法（Michael Hotterらの、“「Image Segmentation Based on Object Oriented Mapping Parameter Estimation」,Signal Processing,15,No.3,315-334頁（1988年10月）”参照）がある。
【０００５】
この階層構造分割技法によれば、分割されるべき入力ビデオ映像の領域はマッピングパラメータとして定義される１セットの一様な動き及び位置パラメータにより規定される。この技法では、例えば、８つのパラメータが用いられて、ある任意の３次元平面体の動きが表される。第１ステップにおいては、変化検知器が２つの連続フィールドの間で時間的に変化した領域と変化しない領域とを区別する。変化した各映像領域を一つの移動物体として解釈する。各々の物体の動き及び位置は、１セットのマッピングパラメータにより表される。これらのマッピングパラメータと時間的に先立つフィールドに関する情報とに基づいて、時間的に後続するフィールドを復元し得る。その次のステップでは、それらのマッピングにおいて正確に記述されなかった映像領域が、変化検知器を用いて再び検知され、階層の第１ステップに於いて検知された変化した部分に従って扱われる。しかし、この方法には、複数の移動物体が一つの変化した領域に含まれている場合、その移動物体を正確に分離し得ないという問題点がある。
【０００６】
【発明が解決しようとする課題】
従って、本発明の主な目的は、動画像符号化に際して画像から移動物体像を正確に抽出・分離しかつ該移動物体の各動きを推定する改良された方法を提供することである。
【０００７】
【課題を解決するための手段】
従って、上記の目的を達成するために、本発明によれば、オブジェクト指向の動画像符号化器で用いられる、現フレームの移動物体像を抽出・分離する方法であって、
（ａ）前記現フレームとその前フレームとを比較することによって、該現フレーム内における変化した領域を検出する過程と、
（ｂ）前記変化した領域における全画素について動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））を検出し、前記変化した領域に対応する動きベクトル場を生成する動きベクトル検出過程であって、前記動きベクトル場は、その内部の全画素の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））が定義された、該変化した領域である、該動きベクトル検出過程と、
（ｃ）当該動きベクトル場について移動物体像の動きベクトルの抽出・分離を行う動きベクトル抽出・分離過程とを有し、
前記ベクトル検出過程（ｂ）が、
（ｂ１）前記変化した領域における全画素のなかから選択された一部の画素について動きベクトルを検出する過程であって、前記選択された一部の画素は前記変化した領域の特徴点の画素である、該過程と、
（ｂ２）前記選択された一部の画素の動きベクトルを用いることによって、前記変化した領域における選択されていない画素の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の推定値を求め、もって動きベクトル場を生成する過程とを含み、
前記動きベクトル抽出・分離過程（ｃ）が、
（ｄ）Ｎ×Ｎ画素の大きさのウィンドウブロック（Ｎは正の整数）を前記動きベクトル場上でスライドし、前記ウィンドウブロックの各位置に対する等質性（homogeneity）の度合い（Ｄ（ｍ，ｎ））を算出し、最も等質性の度合いの大きいウィンドウブロックの位置をシードブロックとして選択する過程であって、或るウィンドウブロックに対する等質性の度合い（Ｄ（ｍ，ｎ））は、そのウィンドウブロックにおける所定の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の組と、そのウィンドウブロックに対する最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）で表される推定動きベクトル（ＶＢｘ（ｘ，ｙ），ＶＢｙ（ｘ，ｙ））との間の誤差の大きさを表す誤差関数（Ｅ（ａ１,...,ａ８））に基づいて算出され、等質性の度合い（Ｄ（ｍ，ｎ））は、前記所定の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の組と、前記推定動きベクトル（ＶＢｘ（ｘ，ｙ），ＶＢｙ（ｘ，ｙ））との間の類似性を表し、ここで前記推定動きベクトル（ＶＢｘ（ｘ，ｙ），ＶＢｙ（ｘ，ｙ））のｘ及びｙ成分は、それぞれ前記最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）の部分集合によって規定される、該過程と、
（ｅ）前記動きベクトル場において修正領域を決定する過程であって、前記修正領域の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、前記最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）で記述される、該過程と、
（ｆ）前記修正領域から修正された動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を決定する過程と、
（ｇ）現修正領域と前修正領域との差が予め定められた値より小さくなるまで、前記（ｆ）過程で決定された前記修正された動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を用いて前記（ｅ）過程と前記（ｆ）過程を繰り返すことによって修正領域をその移動物体像の範囲内で最大限に拡大し、最終値の動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を決定する過程と、
（ｈ）前記動きベクトル場の残りの領域において前記（ｄ）過程乃至前記（ｇ）過程を繰り返し、残りの各移動物体に対する各々の動きパラメータの組を決定する過程とを含むことを特徴とする方法が提供される。
【０００８】
【発明の実施の形態】
以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。
【０００９】
図１には、本発明による画像から移動物体像を抽出・分離し、かつ移動物体の各動きを１セットの動きパラメータにて記述する方法を実現する装置のブロック図が示されている。
【００１０】
図１に示されているように、２つの入力信号、即ち、現フレーム信号及び復元された前フレーム信号が変化検知器１００及び動き推定器１０２へ各々入力される。
【００１１】
この変化検知器１００は、現フレーム信号と復元された前フレーム信号とを比較して、現フレームにおける背景から移動物体像を含んだ領域であり得る変化した領域を捜し出す。検知された変化した領域の情報は、動き推定器１０２及び動きベクトル場検知器１０３へ送られる。
【００１２】
この動き推定器１０２は、変化した領域の画素の一部である１以上の画素（特徴点）を選択し、そのフレームにおける特徴点に対する動きベクトルの集合を求める。ここで、変化した領域中の特徴点は、その領域中の各移動物体（オブジェクト）像の特徴を表す画素の１つであると推定されることから、各特徴点は近くの画素を代表しうる画素であって、その特徴点近傍の非特徴点の画素の前フレームと現フレーム間の変位は、該特徴点の前フレームと現フレームの間の変位に近いものとみなすことができる。選択された各特徴点に対する動きベクトルは、以下の２段階で特定される。即ち、（ｉ）選択された各特長点に対して予め定められたサイズのブロックを形成し、（ｉｉ）次に形成された前記ブロックにブロックマッチングアルゴリズム（例えば、J.R.Jainらの「Displacement Measurement and Its Application in Interframe Image Coding」,IEEE Transactions on Communications,COM-29,No.12 1799-1808頁（1981年12月）参照）を適用することによって、動きベクトルが決定される。ここで、各動きベクトルは、現フレームにおける一つの特徴点と復元された前フレームにおける対応する整合点（即ち、最も類似な画素）との間の空間的変位を表す。変化した領域における非特徴点の動きベクトルは、動きベクトル場検知器１０３において、その非特徴点の周辺の複数の特徴点の動きベクトルを平均処理することによって求められる。かくして、変化した領域における全ての画素に対する動きベクトルが求められる。このような、その内部の全画素に対する動きベクトルが定義された、該変化した領域を動きベクトル場（motion vector field）と呼ぶ。この動きベクトル場に関する情報はシードブロック（seed block）検知／領域成長回路１０４へ送られる。
【００１３】
シードブロック検知／領域成長回路１０４は、動きベクトル場において移動物体を抽出・分離すると共に、移動物体の各動きを１セットの動きパラメータにて記述する。本発明においては、移動物体の各動きを記述するために、８−パラメータ動きモデル（例えば、Gilad Adivの“「Determining Three-Dimensional Motion and Structure from Optical Flow Generated by Several Moving Objects」,IEEE Transactions on Patent Analysis and Machine Intelligence,PAMI-7,No.4,384-401頁（1985年7月）”参照）が採用されている。これは次式（１）及び（２）のように表現される。
【００１４】
vｘ(x,y)=a１+a２x+a３y+a７x２+a８xy 式（１）
【００１５】
vｙ(x,y)=a４+a５x+a６y+a７xy+a８y２ 式（２）
【００１６】
ここで、vｘ(x,y)は位置(x,y)における動きベクトルの水平方向の成分を、vｙ(x,y)は位置(x,y)における動きベクトルの垂直方向の成分を表す。
【００１７】
図２によれば、動きベクトル場内における各々の移動物体に対する８つの動きパラメータは、シードブロック検知過程１０と領域成長過程２０とに分けられる２つの過程を通じて求められる。
【００１８】
シードブロック検知過程１０は、８つの動きパラメータに対する１セットの初期値を求めるために、シードブロックを検知する過程であり、また、領域成長過程２０は繰り返し的な領域成長アルゴリズムを用いてシードブロックのサイズを増大させることによって、８つの動きパラメータに対する１セットの実値を推定する過程である。
【００１９】
シードブロック検知過程１０は、ステップ１０及びステップ２０からなる。ステップ１０においては、Ｎ×Ｎ画素の大きさのウィンドウブロックを動きベクトル場上でスライドさせて、ウィンドウブロックの各位置に対して、等質性（homogeneity）の度合いを算出する。その後、ステップ１２においては、最も等質性の度合いの大きいブロックをシードブロックとして選択する。等質性の度合いは下記式（３）乃至（７）によって定義される。
【００２０】
【数１】
【数２】
【数３】
【数４】
【数５】
ここで、D(m,n)はウィンドウ位置(m,n)における等質性の度合い、Ｗはウィンドウサイズ、｛ａ１ ＊,...,ａ８ ＊｝はあるウィンドウブロックに対する１セットの最適な動きパラメータを表す。最適な動きパラメータのセットは、式（４）をａ １ ,ａ ２ ,...,ａ ８ の各々に対して偏微分し、これらの各式が独立の場合、それらを０に等しいと置くことによって得られる８つの式に対する解である。式（３）乃至式（７）に示されているように、ウィンドウブロックに対する等質性の度合いは、あるウィンドウブロック内の与えられた動きベクトルセットと、最適な動きパラメータのセットから得られた推定された動きベクトルセットとの間の誤差関数Ｅを用いて計算される。尚、本明細書においては、上記式（６）及び式（７）によって表される、最適な動きパラメータのセットから得られる推定された動きベクトルの水平及び垂直成分はそれぞれＶＢｘ（ｘ，ｙ）及びＶＢｙ（ｘ，ｙ）と表記することもある。
【００２６】
シードブロックを検知した後、移動物体の動きをもっともよく表す最適パラメータを求めるべく領域をその移動物体像の範囲内で最大限に拡大する領域成長過程２０が開始される。領域成長過程２０では、初めに１セットの動きパラメータに対する１セットの初期値が求められる。その後、その初期値を実際のパラメータ値に修正するために、領域成長技法を用いて以下に述べるような収束過程が実行される。
【００２７】
ステップ１４に於いては、図２に示すように、ステップ１２に於いて検知されたシードブロックに基づいて求められた１セットの動きパラメータか、またはステップ１６に於いて求められた前回までの拡大・修正された領域に対して求められた１セットの動きパラメータを初期値として特定する。
【００２８】
即ち、１セットの動きパラメータの初期値は、シードブロックに対する最適な動きパラメータのセットを持ってくることによって求められる。また、１セットの動きパラメータの修正値は、シードブロックの最適なパラメータセットを求める場合と同様に、その修正領域内に含まれる全ての動きベクトルに基づいて求められる。
【００２９】
ステップ１６に於いては、上記のパラメータセットの初期値あるいは修正値を実際の移動物体の動きをより正確に表す動きパラメータのセットに修正するために、領域成長過程が行われる。この過程では、シードブロックあるいは前回の修正領域の中及び周囲に含まれる各動きベクトルが、初期値あるいは前回の修正値のパラメータを用いたモデルにて表すことができるか否かを評価することによって、現状の領域のままにするか、または新たに拡大・修正された領域を規定する。
【００３０】
ステップ１８においては、現修正領域と前修正領域の差（即ち領域の変化の大きさ）を予め定められた値と比較して、領域成長を更に行うか否かを判断する。現修正領域と前修正領域の差が予め定められた値より小さくなるまで領域成長過程を繰り返すことによって、動きパラメータセットに対する１セットの最終値が求められる。
【００３１】
一つの動きパラメータセットに対する最終値が求められた後、各移動物体に対する各動きパラメータセットが求められるまで、上記ステップ１０、１２、１４、１６及び１８が繰り返されて、別の動きパラメータセットが求められる。
【００３２】
上記に於いて、本発明の好適な実施例について説明したが、請求項に記載の本発明の範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。
【００３３】
【発明の効果】
従って、本発明によれば、動画像符号化において画像中の移動物体を正確に抽出・分離し、かつ移動物体の動きを正確に推定することが可能となる。
【図面の簡単な説明】
【図１】本発明によって、映像を移動物体単位で正確に分割し、かつ移動物体の各動きを１セットの動きパラメータにて正確に推定するブロック図である。
【図２】図１に示されたシードブロック検知／領域成長回路の動作の流れを説明するためのフロー図である。
【符号の説明】
１０ シードブロック検知過程
２０ 領域成長過程
１００ 変化検知器
１０２ 動き推定器
１０３ 動きベクトル場検知器
１０４ シードブロック検知／領域成長回路
Claims (4)
- オブジェクト指向の動画像符号化器で用いられる、現フレームの移動物体像を抽出・分離する方法であって、
（ａ）前記現フレームとその前フレームとを比較することによって、該現フレーム内における変化した領域を検出する過程と、
（ｂ）前記変化した領域における全画素について動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））を検出し、前記変化した領域に対応する動きベクトル場を生成する動きベクトル検出過程であって、前記動きベクトル場は、その内部の全画素の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））が定義された、該変化した領域である、該動きベクトル検出過程と、
（ｃ）当該動きベクトル場について移動物体像の動きベクトルの抽出・分離を行う動きベクトル抽出・分離過程とを有し、
前記ベクトル検出過程（ｂ）が、
（ｂ１）前記変化した領域における全画素のなかから選択された一部の画素について動きベクトルを検出する過程であって、前記選択された一部の画素は前記変化した領域の特徴点の画素である、該過程と、
（ｂ２）前記選択された一部の画素の動きベクトルを用いることによって、前記変化した領域における選択されていない画素の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の推定値を求め、もって動きベクトル場を生成する過程とを含み、
前記動きベクトル抽出・分離過程（ｃ）が、
（ｄ）Ｎ×Ｎ画素の大きさのウィンドウブロック（Ｎは正の整数）を前記動きベクトル場上でスライドし、前記ウィンドウブロックの各位置に対する等質性（homogeneity）の度合い（Ｄ（ｍ，ｎ））を算出し、最も等質性の度合いの大きいウィンドウブロックの位置をシードブロックとして選択する過程であって、或るウィンドウブロックに対する等質性の度合い（Ｄ（ｍ，ｎ））は、そのウィンドウブロックにおける所定の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の組と、そのウィンドウブロックに対する最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）で表される推定動きベクトル（ＶＢｘ（ｘ，ｙ），ＶＢｙ（ｘ，ｙ））との間の誤差の大きさを表す誤差関数（Ｅ（ａ１,...,ａ８））に基づいて算出され、等質性の度合い（Ｄ（ｍ，ｎ））は、前記所定の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の組と、前記推定動きベクトル（ＶＢｘ（ｘ，ｙ），ＶＢｙ（ｘ，ｙ））との間の類似性を表し、ここで前記推定動きベクトル（ＶＢｘ（ｘ，ｙ），ＶＢｙ（ｘ，ｙ））のｘ及びｙ成分は、それぞれ前記最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）の部分集合によって規定される、該過程と、
（ｅ）前記動きベクトル場において修正領域を決定する過程であって、前記修正領域の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））は、前記最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）で記述される、該過程と、
（ｆ）前記修正領域から修正された動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を決定する過程と、
（ｇ）現修正領域と前修正領域との差が予め定められた値より小さくなるまで、前記（ｆ）過程で決定された前記修正された動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を用いて前記（ｅ）過程と前記（ｆ）過程を繰り返すことによって修正領域をその移動物体像の範囲内で最大限に拡大し、最終値の動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を決定する過程と、
（ｈ）前記動きベクトル場の残りの領域において前記（ｄ）過程乃至前記（ｇ）過程を繰り返し、残りの各移動物体に対する各々の動きパラメータの組を決定する過程とを含むことを特徴とする方法。 - 前記等質性の度合い（Ｄ（ｍ，ｎ））は、
【外１】
として表され、ここで
Ｄ（ｍ，ｎ）は或るウィンドウ位置（ｍ，ｎ）における等質性の度合いを表し、
Ｗは、ウィンドウサイズを表し、
｛ａ１ ＊,...,ａ８ ＊｝は、そのウィンドウブロックの最適な動きパラメータの組であり、
Ｖｘ（ｘ，ｙ）は、位置（ｘ，ｙ）における動きベクトルの水平方向成分であり、Ｖｙ（ｘ，ｙ）は、位置（ｘ，ｙ）における動きベクトルの垂直方向成分であり、
ＶＢｘ（ｘ，ｙ）及びＶＢｙ（ｘ，ｙ）は、それぞれ前記最適な動きパラメータの組から導出される動きベクトルの水平及び垂直成分であることを特徴とする請求項１に記載の方法。 - オブジェクト指向の動画像符号化器で用いられる、現フレームの移動物体像を抽出・分離する装置であって、
前記現フレームとその前フレームとを比較することによって、該現フレーム内における変化した領域を検出する手段（１００）と、
前記変化した領域における全画素について動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））を検出し、前記変化した領域に対応する動きベクトル場を生成する動きベクトル検出手段（１０２，１０３）であって、前記動きベクトル場は、前記変化した領域における全画素の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の集合である、該動きベクトル検出手段（１０２，１０３）と、
当該動きベクトル場について移動物体像の動きベクトルの抽出・分離を行う動きベクトル抽出・分離手段（１０４）とを有し、
前記ベクトル検出手段（１０２，１０３）が、
前記変化した領域における全画素のなかから選択された一部の画素について動きベクトルを検出する手段（１０２）と、
前記選択された一部の画素の動きベクトルを用いることによって、前記変化した領域における選択されていない画素の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の推定値を求め、動きベクトル場を生成する手段（１０３）とを含み、
前記動きベクトル抽出・分離手段（１０４）が、
Ｎ×Ｎ画素の大きさのウィンドウブロック（Ｎは正の整数）を前記動きベクトル場上でスライドし、前記ウィンドウブロックの各位置に対する等質性（homogeneity）の度合い（Ｄ（ｍ，ｎ））を算出することによって、最も等質性の度合いの大きいウィンドウブロックの位置をシードブロックとして選択する手段（１０４）であって、或るウィンドウブロックに対する等質性の度合い（Ｄ（ｍ，ｎ））は、そのウィンドウブロックにおける所定の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の組と、そのウィンドウブロックに対する最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）で表される推定動きベクトル（ＶＢｘ（ｘ，ｙ），ＶＢｙ（ｘ，ｙ））との間の誤差の大きさを表す誤差関数（Ｅ（ａ１,...,ａ８））に基づいて算出され、等質性の度合い（Ｄ（ｍ，ｎ））は、前記所定の動きベクトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））の組と、前記推定動きベクトル（ＶＢｘ（ｘ，ｙ），ＶＢｙ（ｘ，ｙ））との間の類似性を表し、ここで前記推定動きベクトル（ＶＢｘ（ｘ，ｙ），ＶＢｙ（ｘ，ｙ））のｘ及びｙ成分は、それぞれ前記最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）の部分集合によって規定される、該手段（１０４）と、
前記シードブロックの前記最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を用いることによって、或る移動物体に対する最終値の動きパラメータの組（｛ａ１,...,ａ８｝）を決定する手段であって、前記最終値の動きパラメータの組（｛ａ１,...,ａ８｝）は、前記動きベクトル場において修正領域を求めることによって決定され、前記修正領域の動きベクトルは、前記最適な動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）で記述される、該手段とを有し、
前記最終値の動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を決定する手段は、前記前記修正領域から修正された動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を決定し、かつ現修正領域と前修正領域との差が予め定められた値より小さくなるまで、前記修正された動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を用いて新たに修正された領域及び新たに修正された動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を求めることによって、前記記最終値の動きパラメータの組（｛ａ１ ＊,...,ａ８ ＊｝）を決定することを特徴とする装置。 - 前記等質性の度合い（Ｄ（ｍ，ｎ））は、
【外２】
として表され、ここで
Ｄ（ｍ，ｎ）は或るウィンドウ位置（ｍ，ｎ）における等質性の度合いを表し、
Ｗは、ウィンドウサイズを表し、
｛ａ１ ＊,...,ａ８ ＊｝は、そのウィンドウブロックの最適な動きパラメータの組であり、
Ｖｘ（ｘ，ｙ）は、位置（ｘ，ｙ）における動きベクトルの水平方向成分であり、Ｖｙ（ｘ，ｙ）は、位置（ｘ，ｙ）における動きベクトルの垂直方向成分であり、
ＶＢｘ（ｘ，ｙ）及びＶＢｙ（ｘ，ｙ）は、それぞれ前記最適な動きパラメータの組から導出される動きベクトルの水平及び垂直成分であることを特徴とする請求項３に記載の装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1995P8177 | 1995-04-08 | ||
| KR1019950008177A KR0181036B1 (ko) | 1995-04-08 | 1995-04-08 | 움직임 영상의 이동 물체 분할 및 그 움직임 추정방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08294124A JPH08294124A (ja) | 1996-11-05 |
| JP3881709B2 true JP3881709B2 (ja) | 2007-02-14 |
Family
ID=19411780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20286695A Expired - Lifetime JP3881709B2 (ja) | 1995-04-08 | 1995-07-17 | 動画像符号化器で用いられる画像中の移動物体像を抽出・分離する方法及び装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5748761A (ja) |
| EP (1) | EP0737012B1 (ja) |
| JP (1) | JP3881709B2 (ja) |
| KR (1) | KR0181036B1 (ja) |
| CN (1) | CN1107415C (ja) |
| DE (1) | DE69523441T2 (ja) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0840982B1 (en) * | 1996-05-24 | 2002-02-13 | Koninklijke Philips Electronics N.V. | Motion estimation |
| EP0893028A2 (en) * | 1997-02-06 | 1999-01-27 | Koninklijke Philips Electronics N.V. | Image segmentation and object tracking method and corresponding system |
| US6832002B2 (en) * | 1997-02-10 | 2004-12-14 | Definiens Ag | Method of iterative segmentation of a digital picture |
| KR100234264B1 (ko) * | 1997-04-15 | 1999-12-15 | 윤종용 | 타겟윈도우 이동을 통한 블록 매칭방법 |
| JP3384314B2 (ja) * | 1997-12-02 | 2003-03-10 | ヤマハ株式会社 | 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体 |
| US7031517B1 (en) | 1998-10-02 | 2006-04-18 | Canon Kabushiki Kaisha | Method and apparatus for segmenting images |
| AU735807B2 (en) * | 1998-10-02 | 2001-07-19 | Canon Kabushiki Kaisha | Segmenting moving objects and determining their motion |
| AU746669B2 (en) * | 1998-10-02 | 2002-05-02 | Canon Kabushiki Kaisha | Method and apparatus for segmenting images |
| US6766037B1 (en) * | 1998-10-02 | 2004-07-20 | Canon Kabushiki Kaisha | Segmenting moving objects and determining their motion |
| FR2790852B1 (fr) * | 1999-03-08 | 2001-04-20 | Thomson Multimedia Sa | Procede d'evaluation d'images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede |
| US6289052B1 (en) * | 1999-06-07 | 2001-09-11 | Lucent Technologies Inc. | Methods and apparatus for motion estimation using causal templates |
| AU763919B2 (en) * | 2000-03-16 | 2003-08-07 | Canon Kabushiki Kaisha | Tracking objects from video sequences |
| US6665450B1 (en) * | 2000-09-08 | 2003-12-16 | Avid Technology, Inc. | Interpolation of a sequence of images using motion analysis |
| US7043058B2 (en) * | 2001-04-20 | 2006-05-09 | Avid Technology, Inc. | Correcting motion vector maps for image processing |
| US7545957B2 (en) * | 2001-04-20 | 2009-06-09 | Avid Technology, Inc. | Analyzing motion of characteristics in images |
| US6806876B2 (en) * | 2001-07-11 | 2004-10-19 | Micron Technology, Inc. | Three dimensional rendering including motion sorting |
| AU2003201136A1 (en) * | 2002-02-06 | 2003-09-02 | Koninklijke Philips Electronics N.V. | Unit for and method of segmentation |
| US7194676B2 (en) | 2002-03-01 | 2007-03-20 | Avid Technology, Inc. | Performance retiming effects on synchronized data in an editing system |
| US6983020B2 (en) * | 2002-03-25 | 2006-01-03 | Citrix Online Llc | Method and apparatus for fast block motion detection |
| US6863220B2 (en) * | 2002-12-31 | 2005-03-08 | Massachusetts Institute Of Technology | Manually operated switch for enabling and disabling an RFID card |
| GB2409029A (en) * | 2003-12-11 | 2005-06-15 | Sony Uk Ltd | Face detection |
| TWI255136B (en) * | 2004-04-02 | 2006-05-11 | Mstar Semiconductor Inc | De-interlacing module and related method capable of adaptively de-interlacing a video field |
| CN100420299C (zh) * | 2004-12-24 | 2008-09-17 | 北京中星微电子有限公司 | 一种屏幕广播方法 |
| CN100393133C (zh) * | 2004-12-30 | 2008-06-04 | 中兴通讯股份有限公司 | 一种视频序列中运动物体的分割方法 |
| US7522749B2 (en) * | 2005-04-08 | 2009-04-21 | Microsoft Corporation | Simultaneous optical flow estimation and image segmentation |
| US7747075B2 (en) * | 2005-06-20 | 2010-06-29 | International Business Machines Corporation | Salient motion detection system, method and program product therefor |
| CN101087413B (zh) * | 2006-06-07 | 2010-05-12 | 中兴通讯股份有限公司 | 视频序列中运动物体的分割方法 |
| US7783118B2 (en) * | 2006-07-13 | 2010-08-24 | Seiko Epson Corporation | Method and apparatus for determining motion in images |
| JP4955616B2 (ja) * | 2008-06-27 | 2012-06-20 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| US9626769B2 (en) * | 2009-09-04 | 2017-04-18 | Stmicroelectronics International N.V. | Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions |
| US10178396B2 (en) * | 2009-09-04 | 2019-01-08 | Stmicroelectronics International N.V. | Object tracking |
| US8848802B2 (en) | 2009-09-04 | 2014-09-30 | Stmicroelectronics International N.V. | System and method for object based parametric video coding |
| US8751191B2 (en) * | 2009-12-22 | 2014-06-10 | Panasonic Corporation | Action analysis device and action analysis method |
| KR20150116260A (ko) | 2014-04-07 | 2015-10-15 | 삼성전자주식회사 | 마커 추적 방법 및 그 전자 장치 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2586686B2 (ja) * | 1990-04-19 | 1997-03-05 | 日本電気株式会社 | 動画像の動き情報検出装置および動画像の動き補償フレーム間予測符号化装置 |
| GB9019538D0 (en) * | 1990-09-07 | 1990-10-24 | Philips Electronic Associated | Tracking a moving object |
| GB9215102D0 (en) * | 1992-07-16 | 1992-08-26 | Philips Electronics Uk Ltd | Tracking moving objects |
| JP3679426B2 (ja) * | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
| FR2703802A1 (fr) * | 1993-04-07 | 1994-10-14 | Philips Electronique Lab | Dispositif d'estimation de mouvement entre des images successives d'une séquence d'images animées subdivisées en blocs bidimensionnels d'éléments d'image. |
| JP2576771B2 (ja) * | 1993-09-28 | 1997-01-29 | 日本電気株式会社 | 動き補償予測装置 |
-
1995
- 1995-04-08 KR KR1019950008177A patent/KR0181036B1/ko not_active IP Right Cessation
- 1995-07-13 US US08/502,229 patent/US5748761A/en not_active Expired - Lifetime
- 1995-07-17 EP EP19950111194 patent/EP0737012B1/en not_active Expired - Lifetime
- 1995-07-17 JP JP20286695A patent/JP3881709B2/ja not_active Expired - Lifetime
- 1995-07-17 DE DE1995623441 patent/DE69523441T2/de not_active Expired - Lifetime
- 1995-07-21 CN CN95109996A patent/CN1107415C/zh not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE69523441D1 (de) | 2001-11-29 |
| CN1107415C (zh) | 2003-04-30 |
| EP0737012A2 (en) | 1996-10-09 |
| EP0737012A3 (en) | 1998-03-11 |
| KR960039982A (ko) | 1996-11-25 |
| US5748761A (en) | 1998-05-05 |
| EP0737012B1 (en) | 2001-10-24 |
| CN1133535A (zh) | 1996-10-16 |
| KR0181036B1 (ko) | 1999-05-01 |
| DE69523441T2 (de) | 2002-05-29 |
| JPH08294124A (ja) | 1996-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3881709B2 (ja) | 動画像符号化器で用いられる画像中の移動物体像を抽出・分離する方法及び装置 | |
| JP3612360B2 (ja) | 移動物体分割法を用いた動画像の動き推定方法 | |
| US6625333B1 (en) | Method for temporal interpolation of an image sequence using object-based image analysis | |
| JP2576771B2 (ja) | 動き補償予測装置 | |
| EP1393572B1 (en) | Method and apparatus for motion vector estimation | |
| JP3847827B2 (ja) | 動きベクトル検出方法 | |
| US5748247A (en) | Refinement of block motion vectors to achieve a dense motion field | |
| US7460172B2 (en) | Frame interpolating method and apparatus thereof at frame rate conversion | |
| US5727078A (en) | Process for estimating disparity between the monoscopic images making up a sterescopic image | |
| KR100579493B1 (ko) | 움직임 벡터 생성 장치 및 방법 | |
| US20030086498A1 (en) | Apparatus and method of converting frame and/or field rate using adaptive motion compensation | |
| JP2000513897A (ja) | 画像分割およびオブジェクト追跡方法と、対応するシステム | |
| JPH08307820A (ja) | インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法 | |
| JPH08205177A (ja) | 動きベクトル検知装置 | |
| WO2002045003A1 (en) | Techniques and systems for developing high-resolution imagery | |
| US20110206127A1 (en) | Method and Apparatus of Frame Interpolation | |
| Kuo et al. | Motion estimation for video compression using Kalman filtering | |
| JP2003510983A (ja) | 分類適応誤り回復方法及び装置 | |
| JP2001520781A (ja) | 動き又はデプス推定 | |
| Blume et al. | Parallel predictive motion estimation using object recognition methods | |
| JP3352687B6 (ja) | イメージシーケンスのモーションを推定するため及び階層符号化するための方法 | |
| JP3352687B2 (ja) | イメージシーケンスのモーションを推定するため及び階層符号化するための方法 | |
| Krause | Motion estimation and interpolation in time-varying imagery | |
| KR100204477B1 (ko) | 배경 영상의 움직임 추정 방법 및 그 장치 | |
| Csillag et al. | Enhancement for displaying temporally subsampled image sequences using different motion models in MC interpolation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041026 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050124 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050420 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061113 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091117 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131117 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |