JP2888152B2 - ワーピング動き補償を用いた動画像符号化装置 - Google Patents
ワーピング動き補償を用いた動画像符号化装置Info
- Publication number
- JP2888152B2 JP2888152B2 JP6303709A JP30370994A JP2888152B2 JP 2888152 B2 JP2888152 B2 JP 2888152B2 JP 6303709 A JP6303709 A JP 6303709A JP 30370994 A JP30370994 A JP 30370994A JP 2888152 B2 JP2888152 B2 JP 2888152B2
- Authority
- JP
- Japan
- Prior art keywords
- warping
- representative point
- representative
- motion vector
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【0001】
【産業上の利用分野】本発明は動画像の符号化処理に関
するものであり、特にワーピング動き補償を用いた動画
像符号化装置に関する。
するものであり、特にワーピング動き補償を用いた動画
像符号化装置に関する。
【0002】
【従来の技術】動画像の符号化に際しては、動き補償フ
レーム間予測処理を用いることが多い。近年ではこの処
理をワーピング動き補償により実現することが提案され
ている。この技術に関しては、サリバンとベーカー
(G.J.Sullivan and R.L.Bak
er,“Motion compensation f
orvideo compression using
control grid interpolati
on,”in Proc. IEEE Int.Con
f. Acoustics,Speech,and S
ignal Processing,Toronto
Canada,pp.2713−2716,May 1
991.)による報告や、中屋と原島(“3角形パッチ
による動き補償の基礎検討,”電子情報通信学会技術研
究報告IE90−106,1990年)による報告が知
られている。
レーム間予測処理を用いることが多い。近年ではこの処
理をワーピング動き補償により実現することが提案され
ている。この技術に関しては、サリバンとベーカー
(G.J.Sullivan and R.L.Bak
er,“Motion compensation f
orvideo compression using
control grid interpolati
on,”in Proc. IEEE Int.Con
f. Acoustics,Speech,and S
ignal Processing,Toronto
Canada,pp.2713−2716,May 1
991.)による報告や、中屋と原島(“3角形パッチ
による動き補償の基礎検討,”電子情報通信学会技術研
究報告IE90−106,1990年)による報告が知
られている。
【0003】図10を用いてこのワーピング動き補償の
動作を説明する。図10の画像は静止した背景と、変形
している前面の被写体で構成される。まず画像上に正方
格子を描き、その格子点をワーピング代表点とする。な
お、正方格子に限らず、3角格子など予め定めた任意の
格子を用いてもよい。いずれの場合も画像の被写体構造
に関係なく代表点位置を定めている。フレーム間での動
きベクトルはこの代表点上で検出し、復号側に符号化伝
送する。代表点以外の画素の動きベクトルは、注目画素
の近くの複数の代表点を参照した内挿計算で求める。動
き補償フレーム間予測は画素単位で行う。以上に説明し
たワーピング動き補償を用いれば、画素間で連続的に動
きが変化する場合にも良好なフレーム間予測を実現する
ことができる。特に被写体形状が変形する場合や、被写
体が拡大縮小などする場合に有効である。
動作を説明する。図10の画像は静止した背景と、変形
している前面の被写体で構成される。まず画像上に正方
格子を描き、その格子点をワーピング代表点とする。な
お、正方格子に限らず、3角格子など予め定めた任意の
格子を用いてもよい。いずれの場合も画像の被写体構造
に関係なく代表点位置を定めている。フレーム間での動
きベクトルはこの代表点上で検出し、復号側に符号化伝
送する。代表点以外の画素の動きベクトルは、注目画素
の近くの複数の代表点を参照した内挿計算で求める。動
き補償フレーム間予測は画素単位で行う。以上に説明し
たワーピング動き補償を用いれば、画素間で連続的に動
きが変化する場合にも良好なフレーム間予測を実現する
ことができる。特に被写体形状が変形する場合や、被写
体が拡大縮小などする場合に有効である。
【0004】またワーピング代表点の一部を画像のエッ
ジ部分に移動し、画像全体でワーピング動き補償する方
法が、ニーウェロゥスキー等(J.Nieweglow
ski,T.G.Campbell,and P.Ha
avisto,“A novel video cod
ing scheme based on tempo
ral prediction using digi
tal imagewarping,”present
ed at IEEE International
Conference on Consumer El
ectronics,Chicago,USA,Jun
e 8−10,1993)により報告されている。この
方法を用いれば被写体のエッジ部分での動きをより正確
に処理することができる。
ジ部分に移動し、画像全体でワーピング動き補償する方
法が、ニーウェロゥスキー等(J.Nieweglow
ski,T.G.Campbell,and P.Ha
avisto,“A novel video cod
ing scheme based on tempo
ral prediction using digi
tal imagewarping,”present
ed at IEEE International
Conference on Consumer El
ectronics,Chicago,USA,Jun
e 8−10,1993)により報告されている。この
方法を用いれば被写体のエッジ部分での動きをより正確
に処理することができる。
【0005】
【発明が解決しようとする課題】従来のワーピング動き
補償を用いたフレーム間予測では、画像内の全てのワー
ピング代表点を区別せず、画素毎に同一の内挿処理で動
きベクトルを求めている。すなわち、実際には動きが不
連続に変化している部分でも動きの異なる複数のワーピ
ング代表点を参照して内挿処理を行う。このため動き補
償フレーム間予測の時に、被写体の境界付近が不自然に
変形することがあった。例えば図10においては背景の
画像部分は静止している。しかし領域境界の近くでは前
面の被写体の動きに引き込まれ、図の格子線の変形に従
った歪みを生じる。更にこのような歪みの影響で予測誤
差が大量に発生し、符号化効率も損なわれることがあっ
た。
補償を用いたフレーム間予測では、画像内の全てのワー
ピング代表点を区別せず、画素毎に同一の内挿処理で動
きベクトルを求めている。すなわち、実際には動きが不
連続に変化している部分でも動きの異なる複数のワーピ
ング代表点を参照して内挿処理を行う。このため動き補
償フレーム間予測の時に、被写体の境界付近が不自然に
変形することがあった。例えば図10においては背景の
画像部分は静止している。しかし領域境界の近くでは前
面の被写体の動きに引き込まれ、図の格子線の変形に従
った歪みを生じる。更にこのような歪みの影響で予測誤
差が大量に発生し、符号化効率も損なわれることがあっ
た。
【0006】本発明の目的は、画像の被写体構造を考慮
したワーピング動き補償を行うことで、動きが不連続に
変化している画像部分でも優れた符号化効率を持った符
号化装置を実現することにある。
したワーピング動き補償を行うことで、動きが不連続に
変化している画像部分でも優れた符号化効率を持った符
号化装置を実現することにある。
【0007】
【課題を解決するための手段】第1の発明のワーピング
動き補償を用いた動画像符号化装置は、ワーピング動き
補償を用いた動画像符号化装置において、画像を動きの
異なる被写体別に領域分割する手段と、前記分割した領
域の形状に従い、領域それぞれの内部と境界線上とにワ
ーピング代表点を設定する手段と、前記ワーピング代表
点で検出した動きベクトルと、前記ワーピング代表点が
いずれの領域に属するかを示す属性情報とを用い、領域
別に独立したワーピング動き補償を行う手段と、少なく
とも、前記動きベクトルと前記ワーピング代表点の位置
と前記属性情報とを符号化する手段とを備えることを特
徴とする。
動き補償を用いた動画像符号化装置は、ワーピング動き
補償を用いた動画像符号化装置において、画像を動きの
異なる被写体別に領域分割する手段と、前記分割した領
域の形状に従い、領域それぞれの内部と境界線上とにワ
ーピング代表点を設定する手段と、前記ワーピング代表
点で検出した動きベクトルと、前記ワーピング代表点が
いずれの領域に属するかを示す属性情報とを用い、領域
別に独立したワーピング動き補償を行う手段と、少なく
とも、前記動きベクトルと前記ワーピング代表点の位置
と前記属性情報とを符号化する手段とを備えることを特
徴とする。
【0008】第2の発明のワーピング動き補償を用いた
動画像符号化装置は、第1の発明において、ワーピング
代表点の位置を設定する手段が、ワーピング代表点で検
出された動きベクトルを用い、ワーピング代表点の位置
をフレーム間で逐次更新できることを特徴とする。
動画像符号化装置は、第1の発明において、ワーピング
代表点の位置を設定する手段が、ワーピング代表点で検
出された動きベクトルを用い、ワーピング代表点の位置
をフレーム間で逐次更新できることを特徴とする。
【0009】第3の発明のワーピング動き補償を用いた
動画像符号化装置は、第2の発明において、ワーピング
代表点の位置を設定する手段が、ワーピング代表点で検
出された動きベクトルを用いてワーピング代表点の位置
を更新した後に、ワーピング代表点の配置と現在の領域
形状とが大きく異なる場合には、領域形状に従って一部
のワーピング代表点の位置を再設定し、前記再設定に関
するデータを符号化できることを特徴とする。
動画像符号化装置は、第2の発明において、ワーピング
代表点の位置を設定する手段が、ワーピング代表点で検
出された動きベクトルを用いてワーピング代表点の位置
を更新した後に、ワーピング代表点の配置と現在の領域
形状とが大きく異なる場合には、領域形状に従って一部
のワーピング代表点の位置を再設定し、前記再設定に関
するデータを符号化できることを特徴とする。
【0010】第4の発明のワーピング動き補償を用いた
動画像符号化装置は、第2の発明において、ワーピング
代表点の位置を設定する手段が、ワーピング代表点で検
出された動きベクトルを用いてワーピング代表点の位置
を更新した後に、隣接するワーピング代表点間の距離が
予め定めた近接しきい値よりも小さいか、あるいは予め
定めた遠隔しきい値よりも大きい場合には、前記複数の
ワーピング代表点の位置を再設定できることを特徴とす
る。
動画像符号化装置は、第2の発明において、ワーピング
代表点の位置を設定する手段が、ワーピング代表点で検
出された動きベクトルを用いてワーピング代表点の位置
を更新した後に、隣接するワーピング代表点間の距離が
予め定めた近接しきい値よりも小さいか、あるいは予め
定めた遠隔しきい値よりも大きい場合には、前記複数の
ワーピング代表点の位置を再設定できることを特徴とす
る。
【0011】
【実施例】本発明では動画像の被写体構造を解析して動
きの異なる被写体別に領域分割し、領域毎に別々にワー
ピング動き補償を行う。このときワーピング代表点を分
割した領域それぞれの内部と境界線上に設定する。フレ
ーム間での動きはワーピング代表点で検出し、検出した
動きベクトルを復号側に符号化伝送する。またワーピン
グ代表点に関し、復号側で代表点の位置を再現するため
のデータと、各代表点がいずれの領域に属するかを示す
データとを符号化する。領域毎のワーピング動き補償に
際しては、注目領域に属するワーピング代表点のデータ
から画素毎の動きベクトルを内挿計算で求めて動き補償
を行う。
きの異なる被写体別に領域分割し、領域毎に別々にワー
ピング動き補償を行う。このときワーピング代表点を分
割した領域それぞれの内部と境界線上に設定する。フレ
ーム間での動きはワーピング代表点で検出し、検出した
動きベクトルを復号側に符号化伝送する。またワーピン
グ代表点に関し、復号側で代表点の位置を再現するため
のデータと、各代表点がいずれの領域に属するかを示す
データとを符号化する。領域毎のワーピング動き補償に
際しては、注目領域に属するワーピング代表点のデータ
から画素毎の動きベクトルを内挿計算で求めて動き補償
を行う。
【0012】第1の発明の動画像符号化装置における領
域別のワーピング動き補償の動作を図1の例を用いて説
明する。図1では画像が動きの異なる3つの領域に分割
された場合を示している。また重なり合う領域同士につ
いてはいずれの領域がより前面にあるかも予め検出して
あるものとする。領域分割の方法にはどのような方法を
用いても良い。第1の発明におけるワーピング動き補償
では、まずワーピング代表点の位置と属性とを設定す
る。例えば、画像全体に予め定めた形状の格子を描き、
格子点をワーピング代表点の初期位置とする。そして領
域境界線の近傍の代表点を境界線上に移動する。このと
き初期位置の近傍に領域境界線の特徴点が有る場合に
は、代表点をこの特徴点の位置に移動する。このように
代表点位置を設定すれば、代表点同士を直線あるいは適
当な曲線で繋ぎ合わせることで被写体領域の境界線を再
現できる。図1に示すように各領域の内部にある代表点
は該領域に属するものとする。境界線上にある代表点
は、該代表点に隣接する領域の中で最も前面にある領域
に属するものと定める。ワーピング代表点の位置と属性
が定まったら、代表点上でフレーム間での動きベクトル
を検出する。動きベクトルの検出には輝度勾配法やブロ
ックマッチング法などの任意の方法を用いてよい。最後
に、画素毎の動きベクトルを計算で求めて画素単位で動
き補償を行う。画素毎の動きベクトルは注目画素に隣接
した複数のワーピング代表点を参照した内挿計算で求め
る。内挿計算には注目画素と参照代表点との距離に逆比
例した線形内挿や、アフィン変換など任意の方法を用い
てよい。但し、この内挿計算では注目画素と同じ領域に
属するワーピング代表点のみしか参照しない。ある画素
がいずれの領域に属するかは次のような処理で判定でき
る。図2を用いてこの原理を説明する。図2ではワーピ
ング代表点は3角格子の格子点として設定している。注
目画素が属する3角形において、3つの頂点位置のワー
ピング代表点がいずれも同じ領域に属するならば、注目
画素もこれらの代表点と同じ領域に属すると判定する。
3つの頂点位置のワーピング代表点の中に異なる領域に
属するものが有る場合には、注目画素は前記領域中で最
も背後の領域に属すると判定する。以上に説明した一連
の処理を行えば、第1の発明におけるワーピング動き補
償を実現できる。
域別のワーピング動き補償の動作を図1の例を用いて説
明する。図1では画像が動きの異なる3つの領域に分割
された場合を示している。また重なり合う領域同士につ
いてはいずれの領域がより前面にあるかも予め検出して
あるものとする。領域分割の方法にはどのような方法を
用いても良い。第1の発明におけるワーピング動き補償
では、まずワーピング代表点の位置と属性とを設定す
る。例えば、画像全体に予め定めた形状の格子を描き、
格子点をワーピング代表点の初期位置とする。そして領
域境界線の近傍の代表点を境界線上に移動する。このと
き初期位置の近傍に領域境界線の特徴点が有る場合に
は、代表点をこの特徴点の位置に移動する。このように
代表点位置を設定すれば、代表点同士を直線あるいは適
当な曲線で繋ぎ合わせることで被写体領域の境界線を再
現できる。図1に示すように各領域の内部にある代表点
は該領域に属するものとする。境界線上にある代表点
は、該代表点に隣接する領域の中で最も前面にある領域
に属するものと定める。ワーピング代表点の位置と属性
が定まったら、代表点上でフレーム間での動きベクトル
を検出する。動きベクトルの検出には輝度勾配法やブロ
ックマッチング法などの任意の方法を用いてよい。最後
に、画素毎の動きベクトルを計算で求めて画素単位で動
き補償を行う。画素毎の動きベクトルは注目画素に隣接
した複数のワーピング代表点を参照した内挿計算で求め
る。内挿計算には注目画素と参照代表点との距離に逆比
例した線形内挿や、アフィン変換など任意の方法を用い
てよい。但し、この内挿計算では注目画素と同じ領域に
属するワーピング代表点のみしか参照しない。ある画素
がいずれの領域に属するかは次のような処理で判定でき
る。図2を用いてこの原理を説明する。図2ではワーピ
ング代表点は3角格子の格子点として設定している。注
目画素が属する3角形において、3つの頂点位置のワー
ピング代表点がいずれも同じ領域に属するならば、注目
画素もこれらの代表点と同じ領域に属すると判定する。
3つの頂点位置のワーピング代表点の中に異なる領域に
属するものが有る場合には、注目画素は前記領域中で最
も背後の領域に属すると判定する。以上に説明した一連
の処理を行えば、第1の発明におけるワーピング動き補
償を実現できる。
【0013】第1の発明におけるワーピング動き補償
は、ワーピング代表点を前フレームの復号画像の上に設
定して動き補償を行う方法と、ワーピング代表点を現フ
レームの入力画像の上に設定して動き補償を行う方法と
の両方に適用できる。ワーピング代表点を前フレームの
復号画像の上に設定して動き補償を行う場合には、予測
画像のある画素に対して復号画像の複数の画素から予測
データが与えられることがある。この場合には前記複数
の予測データを平均して注目画素の予測値とすればよ
い。但し、復号画像上の複数の異なる領域の画素から予
測データが与えられた場合には、前記複数の領域の中で
最も前面の領域から与えられた予測データのみを参照し
て予測値を計算する。また逆に動き補償により予測デー
タを与えられない画素が生じることもある。この場合に
は注目画素に隣接する画素の予測データから内挿計算あ
るいは外挿計算して予測値を求めれば良い。あるいは予
め定めた固定値を予測値としてもよい。
は、ワーピング代表点を前フレームの復号画像の上に設
定して動き補償を行う方法と、ワーピング代表点を現フ
レームの入力画像の上に設定して動き補償を行う方法と
の両方に適用できる。ワーピング代表点を前フレームの
復号画像の上に設定して動き補償を行う場合には、予測
画像のある画素に対して復号画像の複数の画素から予測
データが与えられることがある。この場合には前記複数
の予測データを平均して注目画素の予測値とすればよ
い。但し、復号画像上の複数の異なる領域の画素から予
測データが与えられた場合には、前記複数の領域の中で
最も前面の領域から与えられた予測データのみを参照し
て予測値を計算する。また逆に動き補償により予測デー
タを与えられない画素が生じることもある。この場合に
は注目画素に隣接する画素の予測データから内挿計算あ
るいは外挿計算して予測値を求めれば良い。あるいは予
め定めた固定値を予測値としてもよい。
【0014】第1の発明の動画像符号化装置を備えた動
画像符号化装置の一実施例のブロック図を図3に示す。
この動画像符号化装置は符号化部と復号部とから構成さ
れる。符号化部ではまず領域分割回路(300)におい
て、入力画像(321)を参照して前フレームの復号画
像(322)を領域分割する。次に代表点設定回路(3
01)において前フレームの復号画像上にワーピング代
表点を設定する。このときワーピング代表点を前記分割
した領域それぞれの内部と境界線上に設定する。動き検
出回路(302)では前記設定した代表点上で入力画像
(321)と前フレームの復号画像(322)とのフレ
ーム間での動きを検出する。動き補償予測回路(30
3)では代表点での動きベクトルを参照し、領域別に画
素毎の動きベクトルを内挿計算で求め、画素単位で動き
補償を行う。画素毎の動き補償フレーム間予測データ
(327)と入力画像データ(321)との差分は量子
化し、符号変換回路(309)で符号変換する。またこ
こで前記差分結果のデータに離散コサイン変換などの変
換符号化処理を施した後に量子化を行ってもよい。ワー
ピング代表点の位置および属性のデータ(324)と動
きベクトルの値(326)も符号変換する。量子化した
データ(328)は逆量子化し、予測データ(327)
に加算して局部復号画像を得る。なお前記量子化に先だ
って変換符号化処理を施した場合には、前記逆量子化デ
ータに逆変換符号化処理を施してから予測データ(32
7)に加算する。局部復号画像は復号画像メモリ(30
8)に保持し、次フレームの符号化に際し、参照データ
として出力する。
画像符号化装置の一実施例のブロック図を図3に示す。
この動画像符号化装置は符号化部と復号部とから構成さ
れる。符号化部ではまず領域分割回路(300)におい
て、入力画像(321)を参照して前フレームの復号画
像(322)を領域分割する。次に代表点設定回路(3
01)において前フレームの復号画像上にワーピング代
表点を設定する。このときワーピング代表点を前記分割
した領域それぞれの内部と境界線上に設定する。動き検
出回路(302)では前記設定した代表点上で入力画像
(321)と前フレームの復号画像(322)とのフレ
ーム間での動きを検出する。動き補償予測回路(30
3)では代表点での動きベクトルを参照し、領域別に画
素毎の動きベクトルを内挿計算で求め、画素単位で動き
補償を行う。画素毎の動き補償フレーム間予測データ
(327)と入力画像データ(321)との差分は量子
化し、符号変換回路(309)で符号変換する。またこ
こで前記差分結果のデータに離散コサイン変換などの変
換符号化処理を施した後に量子化を行ってもよい。ワー
ピング代表点の位置および属性のデータ(324)と動
きベクトルの値(326)も符号変換する。量子化した
データ(328)は逆量子化し、予測データ(327)
に加算して局部復号画像を得る。なお前記量子化に先だ
って変換符号化処理を施した場合には、前記逆量子化デ
ータに逆変換符号化処理を施してから予測データ(32
7)に加算する。局部復号画像は復号画像メモリ(30
8)に保持し、次フレームの符号化に際し、参照データ
として出力する。
【0015】復号部ではまず逆符号変換回路(310)
において、符号化部から供給された符号化データ(32
9)を逆符号変換し、画素毎の量子化データ(330)
とワーピング代表点での動きベクトルの値(331)と
各代表点の位置および属性のデータ(333)を復元す
る。復元したデータを用いて符号化側と同様の領域別の
ワーピング動き補償を行い予測データ(335)を得
る。量子化データ(330)は逆量子化し、予測データ
(335)に加算して復号画像(336)を得る。なお
ここでも符号化側と同様に、符号化側で量子化に先だっ
て変換符号化処理を施した場合には、前記逆量子化した
データに逆変換符号化処理を施してから予測データ(3
35)に加算する。
において、符号化部から供給された符号化データ(32
9)を逆符号変換し、画素毎の量子化データ(330)
とワーピング代表点での動きベクトルの値(331)と
各代表点の位置および属性のデータ(333)を復元す
る。復元したデータを用いて符号化側と同様の領域別の
ワーピング動き補償を行い予測データ(335)を得
る。量子化データ(330)は逆量子化し、予測データ
(335)に加算して復号画像(336)を得る。なお
ここでも符号化側と同様に、符号化側で量子化に先だっ
て変換符号化処理を施した場合には、前記逆量子化した
データに逆変換符号化処理を施してから予測データ(3
35)に加算する。
【0016】第2の発明の動画像符号化装置では、ワー
ピング代表点の位置と属性をリセットフレームでのみ符
号化する。以降のフレームでは符号化済みの動きベクト
ルを用いて代表点の位置を更新する。リセットフレーム
は任意のフレーム周期で設定してよい。第2の発明の動
画像符号化装置を備えた動画像符号化復号装置の一実施
例のブロック図を図4に示す。図4の領域分割回路(4
00)は予め定めた周期のリセットフレームでのみ領域
分割を実行する。あるいは毎フレームで領域分割を実行
し、分割結果が急激に変化したフレームをリセットフレ
ームとしてもよい。リセットフレームでは領域分割結果
(423)を参照し、代表点設定回路(401)におい
てワーピング代表点の位置や属性などのデータ(42
4)を新たに設定する。この結果は代表点データ(42
5)として符号変換回路(409)で符号化する。リセ
ットフレーム以外のフレームでは、動き検出回路(40
2)で検出した各代表点での動きベクトル(426)を
参照し、代表点設定回路(401)において代表点の位
置を更新する。このフレームでは代表点データ(42
5)を符号化する必要はない。また復号側の代表点更新
回路(412)は、リセットフレームでは符号化伝送さ
れた代表点データ(432)をそのまま利用して代表点
の位置や属性などを設定する。リセットフレーム以外の
フレームでは、符号化側と同様の動きベクトルの値(4
31)を参照して代表点の位置を更新する。
ピング代表点の位置と属性をリセットフレームでのみ符
号化する。以降のフレームでは符号化済みの動きベクト
ルを用いて代表点の位置を更新する。リセットフレーム
は任意のフレーム周期で設定してよい。第2の発明の動
画像符号化装置を備えた動画像符号化復号装置の一実施
例のブロック図を図4に示す。図4の領域分割回路(4
00)は予め定めた周期のリセットフレームでのみ領域
分割を実行する。あるいは毎フレームで領域分割を実行
し、分割結果が急激に変化したフレームをリセットフレ
ームとしてもよい。リセットフレームでは領域分割結果
(423)を参照し、代表点設定回路(401)におい
てワーピング代表点の位置や属性などのデータ(42
4)を新たに設定する。この結果は代表点データ(42
5)として符号変換回路(409)で符号化する。リセ
ットフレーム以外のフレームでは、動き検出回路(40
2)で検出した各代表点での動きベクトル(426)を
参照し、代表点設定回路(401)において代表点の位
置を更新する。このフレームでは代表点データ(42
5)を符号化する必要はない。また復号側の代表点更新
回路(412)は、リセットフレームでは符号化伝送さ
れた代表点データ(432)をそのまま利用して代表点
の位置や属性などを設定する。リセットフレーム以外の
フレームでは、符号化側と同様の動きベクトルの値(4
31)を参照して代表点の位置を更新する。
【0017】第3の発明の動画像符号化装置では、動き
ベクトルを用いてワーピング代表点の位置を更新した後
に、ワーピング代表点の配置と現在の領域形状とが大き
く異なる場合には、領域形状に従って一部のワーピング
代表点の位置を再設定する。図5の例を用いてこの再設
定の原理を説明する。図5に示すように動きベクトルを
用いて更新した代表点の位置と、現在の領域境界線の位
置が大きく異なる場合には、適当な代表点を領域境界線
上に移動して再設定を行う。この一連の処理の手順の例
を図7に示す。図7に示す処理においては、まず注目す
るワーピング代表点の位置と領域境界線との距離を測定
する。その距離の値が予め定めたしきい値Thよりも大
きい場合には、注目しているワーピング代表点を領域境
界線上に移動する。移動したワーピング代表点の属性は
領域境界線の属性、すなわち境界線の両側でより前面に
ある被写体領域のものに設定する。この処理を画像上の
全てのワーピング代表点に対して行い、一連の処理を終
了する。更に代表点位置の近傍に境界線の特徴点がある
場合には、該代表点をこの特徴点に移動してもよい。動
きベクトルを用いて更新した位置と前記再設定後の代表
点の位置との変化量は、該代表点の代表点データとして
符号化する。また図5に示すように前記再設定に伴い代
表点の属性が変化した場合には、この属性の変化量も該
代表点の代表点データとして符号化する。第3の発明の
動画像符号化装置を備えた動画像符号化復号装置は、第
2の発明の動画像符号化装置と同様に図4の実施例のブ
ロック図で示すことができる。第3の発明の実施例は、
リセットフレームにおいては第2の発明の動画像符号化
装置と同様の動作をする。リセットフレーム以外のフレ
ームでは次に説明する動作をする。領域分割回路(40
0)は毎フレームで領域分割を実行する。代表点設定回
路(401)は、動きベクトル(426)を参照してワ
ーピング代表点の位置を更新する。更に領域分割結果を
参照し、前記更新したワーピング代表点の位置や属性な
どを必要に応じて再設定する。ワーピング代表点の位置
や属性などを再設定した場合には、その変化量を代表点
データ(425)として符号変換回路(409)で符号
化する。復号側の代表点更新回路(412)では、符号
化伝送された動きベクトル(431)と代表点データ
(432)とを参照し、ワーピング代表点の位置と属性
とを更新する。
ベクトルを用いてワーピング代表点の位置を更新した後
に、ワーピング代表点の配置と現在の領域形状とが大き
く異なる場合には、領域形状に従って一部のワーピング
代表点の位置を再設定する。図5の例を用いてこの再設
定の原理を説明する。図5に示すように動きベクトルを
用いて更新した代表点の位置と、現在の領域境界線の位
置が大きく異なる場合には、適当な代表点を領域境界線
上に移動して再設定を行う。この一連の処理の手順の例
を図7に示す。図7に示す処理においては、まず注目す
るワーピング代表点の位置と領域境界線との距離を測定
する。その距離の値が予め定めたしきい値Thよりも大
きい場合には、注目しているワーピング代表点を領域境
界線上に移動する。移動したワーピング代表点の属性は
領域境界線の属性、すなわち境界線の両側でより前面に
ある被写体領域のものに設定する。この処理を画像上の
全てのワーピング代表点に対して行い、一連の処理を終
了する。更に代表点位置の近傍に境界線の特徴点がある
場合には、該代表点をこの特徴点に移動してもよい。動
きベクトルを用いて更新した位置と前記再設定後の代表
点の位置との変化量は、該代表点の代表点データとして
符号化する。また図5に示すように前記再設定に伴い代
表点の属性が変化した場合には、この属性の変化量も該
代表点の代表点データとして符号化する。第3の発明の
動画像符号化装置を備えた動画像符号化復号装置は、第
2の発明の動画像符号化装置と同様に図4の実施例のブ
ロック図で示すことができる。第3の発明の実施例は、
リセットフレームにおいては第2の発明の動画像符号化
装置と同様の動作をする。リセットフレーム以外のフレ
ームでは次に説明する動作をする。領域分割回路(40
0)は毎フレームで領域分割を実行する。代表点設定回
路(401)は、動きベクトル(426)を参照してワ
ーピング代表点の位置を更新する。更に領域分割結果を
参照し、前記更新したワーピング代表点の位置や属性な
どを必要に応じて再設定する。ワーピング代表点の位置
や属性などを再設定した場合には、その変化量を代表点
データ(425)として符号変換回路(409)で符号
化する。復号側の代表点更新回路(412)では、符号
化伝送された動きベクトル(431)と代表点データ
(432)とを参照し、ワーピング代表点の位置と属性
とを更新する。
【0018】第4の発明の動画像符号化装置では、動き
ベクトルを用いてワーピング代表点の位置を更新した後
に、隣接するワーピング代表点間の距離が予め定めた近
接しきい値よりも小さくなったり、あるいは予め定めた
遠隔しきい値よりも大きくなった場合には、前記複数の
代表点の位置を予め定めた処理に従い再設定する。図6
の例を用いてこの再設定の原理を説明する。図6では2
つの被写体領域に跨る画像部分でワーピング代表点の位
置を更新した後に、一方の領域の代表点が他方の領域の
代表点に近接した場合を示している。このように、複数
のワーピング代表点間の距離が予め定めた近接しきい値
よりも小さい場合には、より前面の被写体領域に属する
ワーピング代表点の1つだけを選択し、再設定後の代表
点の位置とする。また互いに近接し合った代表点が同じ
領域に属する場合には予め定めた任意の処理に従い1つ
の代表点を選択する。代表点の属性は選択した代表点の
ものをそのまま引き継ぐ。選択されなかった代表点のデ
ータは廃棄して以降用いない。この一連の処理の手順の
例を図8に示す。図8に示す処理においては、まず注目
するワーピング代表点の位置とこれに最も近いワーピン
グ代表点の位置との距離を測定する。その距離の値が予
め定めたしきい値Thnよりも小さい場合には、前記2
つの代表点を統合の候補とする。統合の候補となった2
つの代表点が同じ被写体領域に属する場合には、注目し
ている代表点を選択し、他方の代表点を廃棄する。また
統合の候補となった2つの代表点が異なる領域に属し、
且つ注目している代表点の方がより前面の領域に属する
場合には、注目している代表点を選択し、他方の代表点
を廃棄する。以上の処理を画像上の全てのワーピング代
表点に対して行い、一連の処理を終了する。また図6に
示す例においては、フレーム間での動きに伴い代表点の
存在しない空領域が発生した場合や、隣接する複数のワ
ーピング代表点の間隔が予め定めた遠隔しきい値よりも
離れた場合にも再設定を行う。再設定の方法は、予め定
めた処理であればどのような方法でも良い。新しい代表
点の属性は隣接する代表点の属性と同じものとする。但
し、隣接する複数の代表点の属性が同一で無い場合に
は、前記代表点の中で最も背後の領域に属する代表点を
選択し、新しい代表点の属性とする。この一連の処理の
手順の例を図9に示す。図9に示す処理においては、ま
ず注目するワーピング代表点の位置とこれに隣接する複
数のワーピング代表点の位置との距離を各々測定する。
その距離の値の全てが予め定めたしきい値Thfよりも
大きい場合には、注目している代表点と前記複数の代表
点との重心位置に新しい代表点を設定する。新しい代表
点の属性は前記方法で設定する。あるいは画面上に予め
定めた形状の格子を描き、ある格子の枠の中にワーピン
グ代表点が一つも存在しない場合には、この格子の中心
に新たなワーピング代表点を設定してもよい。この場合
にも新しいワーピング代表点の属性は前記と同様の手順
で設定する。図6、図7、図8を用いて前記説明したワ
ーピング代表点の再設定の処理は、復号側においても予
め定めた処理に従い実現することができる。このとき再
設定に関するデータは符号化伝送する必要はない。第4
の発明の動画像符号化装置を備えた動画像符号化復号装
置は、第2の発明の動画像符号化装置と同様の図4の一
実施例のブロック図で示すことができる。第4の発明の
実施例は、リセットフレームでは第2の発明の動画像符
号化装置と同様の動作をする。リセットフレーム以外の
フレームでは符号化側の代表点設定回路(401)と復
号側の代表点更新回路(412)において、前記説明し
たワーピング代表点の再設定の処理を行う。
ベクトルを用いてワーピング代表点の位置を更新した後
に、隣接するワーピング代表点間の距離が予め定めた近
接しきい値よりも小さくなったり、あるいは予め定めた
遠隔しきい値よりも大きくなった場合には、前記複数の
代表点の位置を予め定めた処理に従い再設定する。図6
の例を用いてこの再設定の原理を説明する。図6では2
つの被写体領域に跨る画像部分でワーピング代表点の位
置を更新した後に、一方の領域の代表点が他方の領域の
代表点に近接した場合を示している。このように、複数
のワーピング代表点間の距離が予め定めた近接しきい値
よりも小さい場合には、より前面の被写体領域に属する
ワーピング代表点の1つだけを選択し、再設定後の代表
点の位置とする。また互いに近接し合った代表点が同じ
領域に属する場合には予め定めた任意の処理に従い1つ
の代表点を選択する。代表点の属性は選択した代表点の
ものをそのまま引き継ぐ。選択されなかった代表点のデ
ータは廃棄して以降用いない。この一連の処理の手順の
例を図8に示す。図8に示す処理においては、まず注目
するワーピング代表点の位置とこれに最も近いワーピン
グ代表点の位置との距離を測定する。その距離の値が予
め定めたしきい値Thnよりも小さい場合には、前記2
つの代表点を統合の候補とする。統合の候補となった2
つの代表点が同じ被写体領域に属する場合には、注目し
ている代表点を選択し、他方の代表点を廃棄する。また
統合の候補となった2つの代表点が異なる領域に属し、
且つ注目している代表点の方がより前面の領域に属する
場合には、注目している代表点を選択し、他方の代表点
を廃棄する。以上の処理を画像上の全てのワーピング代
表点に対して行い、一連の処理を終了する。また図6に
示す例においては、フレーム間での動きに伴い代表点の
存在しない空領域が発生した場合や、隣接する複数のワ
ーピング代表点の間隔が予め定めた遠隔しきい値よりも
離れた場合にも再設定を行う。再設定の方法は、予め定
めた処理であればどのような方法でも良い。新しい代表
点の属性は隣接する代表点の属性と同じものとする。但
し、隣接する複数の代表点の属性が同一で無い場合に
は、前記代表点の中で最も背後の領域に属する代表点を
選択し、新しい代表点の属性とする。この一連の処理の
手順の例を図9に示す。図9に示す処理においては、ま
ず注目するワーピング代表点の位置とこれに隣接する複
数のワーピング代表点の位置との距離を各々測定する。
その距離の値の全てが予め定めたしきい値Thfよりも
大きい場合には、注目している代表点と前記複数の代表
点との重心位置に新しい代表点を設定する。新しい代表
点の属性は前記方法で設定する。あるいは画面上に予め
定めた形状の格子を描き、ある格子の枠の中にワーピン
グ代表点が一つも存在しない場合には、この格子の中心
に新たなワーピング代表点を設定してもよい。この場合
にも新しいワーピング代表点の属性は前記と同様の手順
で設定する。図6、図7、図8を用いて前記説明したワ
ーピング代表点の再設定の処理は、復号側においても予
め定めた処理に従い実現することができる。このとき再
設定に関するデータは符号化伝送する必要はない。第4
の発明の動画像符号化装置を備えた動画像符号化復号装
置は、第2の発明の動画像符号化装置と同様の図4の一
実施例のブロック図で示すことができる。第4の発明の
実施例は、リセットフレームでは第2の発明の動画像符
号化装置と同様の動作をする。リセットフレーム以外の
フレームでは符号化側の代表点設定回路(401)と復
号側の代表点更新回路(412)において、前記説明し
たワーピング代表点の再設定の処理を行う。
【0019】
【発明の効果】以上説明したように本発明では、動きの
異なる被写体領域毎に別々にワーピング動き補償を行
う。このため従来はワーピング処理に伴い領域境界線付
近で発生していた変形歪みを抑制できる。また画素単位
でより正確な動き補償が行われるため、フレーム間予測
効率の改善も実現できる。
異なる被写体領域毎に別々にワーピング動き補償を行
う。このため従来はワーピング処理に伴い領域境界線付
近で発生していた変形歪みを抑制できる。また画素単位
でより正確な動き補償が行われるため、フレーム間予測
効率の改善も実現できる。
【図1】本発明に従うワーピング動き補償の概念を説明
する図である。
する図である。
【図2】本発明に従うワーピング動き補償の概念を説明
する図である。
する図である。
【図3】第1の発明の動画像符号化装置の一実施例の基
本ブロック図である。
本ブロック図である。
【図4】第2の発明の動画像符号化装置の一実施例の基
本ブロック図である。
本ブロック図である。
【図5】第3の発明の動画像符号化装置におけるワーピ
ング代表点の更新処理の概念を説明する図である。
ング代表点の更新処理の概念を説明する図である。
【図6】第4の発明の動画像符号化復号装置におけるワ
ーピング代表点の更新処理の概念を説明する図である。
ーピング代表点の更新処理の概念を説明する図である。
【図7】第3の発明の動画像符号化装置におけるワーピ
ング代表点の更新処理の概念を説明する図である。
ング代表点の更新処理の概念を説明する図である。
【図8】第4の発明の動画像符号化装置におけるワーピ
ング代表点の更新処理の概念を説明する図である。
ング代表点の更新処理の概念を説明する図である。
【図9】第4の発明の動画像符号化装置におけるワーピ
ング代表点の更新処理の概念を説明する図である。
ング代表点の更新処理の概念を説明する図である。
【図10】従来のワーピング動き補償の原理を説明する
図である。
図である。
300,400 領域分割回路 301,401 代表点設定回路 302,402 動き検出回路 303,313,403,413 動き補償予測回路 304,404 差分器 305,405 量子化回路 306,311,406,411 逆量子化回路 307,314,407,414 加算器 308,315,408,415 復号画像メモリ 309,409 符号変換回路 310,410 符号逆変換回路 412 代表点更新回路 321,421 入力画像 322,334,422,434 前フレームの復号画
像 323,423 領域分割データ 324,333,424,433 代表点の設定データ 425,432 代表点の更新データ 326,331,426,431 動きベクトルデータ 327,335,427,435 予測データ 328,330,428,430 量子化データ 329,429 符号化データ 336,436 復号画像
像 323,423 領域分割データ 324,333,424,433 代表点の設定データ 425,432 代表点の更新データ 326,331,426,431 動きベクトルデータ 327,335,427,435 予測データ 328,330,428,430 量子化データ 329,429 符号化データ 336,436 復号画像
Claims (4)
- 【請求項1】 ワーピング動き補償を用いた動画像符号
化装置において、画像を動きの異なる被写体別に領域分
割する手段と、前記分割した領域の形状に従い、領域そ
れぞれの内部と境界線上とにワーピング代表点を設定す
る手段と、前記ワーピング代表点で検出した動きベクト
ルと、前記ワーピング代表点がいずれの領域に属するか
を示す属性情報とを用い、領域別に独立したワーピング
動き補償を行う手段と、少なくとも、前記動きベクトル
と前記ワーピング代表点の位置と前記属性情報とを符号
化する手段とを備えることを特徴とした動画像符号化装
置。 - 【請求項2】ワーピング代表点で検出した動きベクトル
を用いてワーピング代表点の位置をフレーム間で逐次更
新する手段を備えることを特徴とした請求項1記載の動
画像符号化装置。 - 【請求項3】ワーピング代表点で検出した動きベクトル
を用いてワーピング代表点の位置を更新した後に、ワー
ピング代表点の配置と現在の領域形状とが大きく異なる
場合には、領域形状に従って一部のワーピング代表点の
位置を再設定し、前記再設定に関するデータを符号化す
る手段を備えることを特徴とした請求項2記載の動画像
符号化装置。 - 【請求項4】ワーピング代表点で検出した動きベクトル
を用いてワーピング代表点の位置を更新した後に、隣接
するワーピング代表点間の距離が予め定めた近接しきい
値よりも小さいか、あるいは予め定めた遠隔しきい値よ
りも大きい場合には、前記複数のワーピング代表点の位
置を再設定する手段を備えることを特徴とした請求項2
記載の動画像符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6303709A JP2888152B2 (ja) | 1994-12-07 | 1994-12-07 | ワーピング動き補償を用いた動画像符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6303709A JP2888152B2 (ja) | 1994-12-07 | 1994-12-07 | ワーピング動き補償を用いた動画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08163572A JPH08163572A (ja) | 1996-06-21 |
JP2888152B2 true JP2888152B2 (ja) | 1999-05-10 |
Family
ID=17924311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6303709A Expired - Fee Related JP2888152B2 (ja) | 1994-12-07 | 1994-12-07 | ワーピング動き補償を用いた動画像符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2888152B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100698640B1 (ko) * | 2005-12-30 | 2007-03-21 | 고려대학교 산학협력단 | 와핑 변환을 이용한 프레임 보간 방법 및 그 장치 |
JP2008199587A (ja) * | 2007-01-18 | 2008-08-28 | Matsushita Electric Ind Co Ltd | 画像符号化装置、画像復号化装置および方法 |
-
1994
- 1994-12-07 JP JP6303709A patent/JP2888152B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
1993年電子情報通信学会春季大会講演論文集分冊7、p.56 |
Also Published As
Publication number | Publication date |
---|---|
JPH08163572A (ja) | 1996-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8718143B2 (en) | Optical flow based motion vector estimation systems and methods | |
US9247250B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
JPH1075457A (ja) | 動画像内の移動物体検出装置 | |
JPH09163380A (ja) | 画像符号化装置及び動きベクトル検出方法 | |
JP2000175193A (ja) | 電子ディジタル画像シ―ケンス再生システムにおける画像デ―タ補間方法、フレ―ム速度アップ変換方法、および特徴的ブロックに関連する真のモ―ション・ベクトルを決定する方法 | |
JPH08307874A (ja) | 映像信号符号化装置 | |
JP2006148970A (ja) | 画像データの符号化方法およびそのためのプログラムを記録したコンピュータ読み取り可能媒体 | |
US6748114B1 (en) | Moving picture encoding method and moving picture encoding apparatus | |
JP2000224593A (ja) | フレーム補間方法および装置およびこの方法を記録した記録媒体 | |
WO2010109564A1 (ja) | 画像符号化装置及び画像符号化方法 | |
JP2888152B2 (ja) | ワーピング動き補償を用いた動画像符号化装置 | |
JPH0846969A (ja) | 映像信号符号化方式 | |
JP3125145B2 (ja) | 画像データの高能率符号化方法及びその装置 | |
CN116112707A (zh) | 视频处理方法及装置、电子设备和存储介质 | |
JPH0851599A (ja) | 画像情報変換装置 | |
US7068721B2 (en) | Method and configuration for coding a digitized picture, and method and configuration for decoding a digitized picture | |
CN101437161A (zh) | 视频数据处理方法和*** | |
JP2924691B2 (ja) | 量子化ノイズの低減方法及び画像データの復号化装置 | |
JPH09200763A (ja) | 動画像符号化における動き補償方法 | |
JPH0879759A (ja) | 画像符号化装置及び画像復号装置 | |
JP2003016454A (ja) | 物体認識装置及び物体認識方法 | |
JPH05103313A (ja) | 画像情報処理方法及び装置 | |
JP3334384B2 (ja) | 画像予測符号化方法 | |
JP4139657B2 (ja) | 映像信号の符号化装置および復号化装置 | |
JPH02171093A (ja) | 動画像の予測符号化方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080219 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090219 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100219 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |