JP3386142B2 - 画像復号装置および画像復号方法 - Google Patents
画像復号装置および画像復号方法Info
- Publication number
- JP3386142B2 JP3386142B2 JP54033398A JP54033398A JP3386142B2 JP 3386142 B2 JP3386142 B2 JP 3386142B2 JP 54033398 A JP54033398 A JP 54033398A JP 54033398 A JP54033398 A JP 54033398A JP 3386142 B2 JP3386142 B2 JP 3386142B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- unit
- pixel
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
て、既存の画像から符号化すべき画像もしくは復号すべ
き画像の動き補償予測を行い、予測誤差を符号化する、
もしくは予測誤差と参照画像データとの加算により復号
を行う装置とシステムのうち、特に画像復号装置および
画像復号方法に関するものである。
技術を説明する。
によるブロックマッチングを用いた動き補償予測方式が
ある。例えばISO/IEC11172−2(MPEG1ビデオ規格)で
は、ブロックマッチングを用いた前方向/後方向/内挿
動き補償予測方式について解説している。また、従来の
動き補償予測方式の第2の例として、アフィン変換を用
いた動き補償がある。例えば、「アフィン変換を用いた
動き補償予測に関する検討」(電子情報通信学会技術報
告IE94−36)では、画像の任意形状領域の動き量をアフ
ィン動きパラメータでモデル化し、そのパラメータを検
出することにより動き補償予測を行う方式について解説
している。
動き補償方式及びアフィン変換を用いた動き補償方式に
ついて説明する。
に示す。
置、 fi(x,y,t)は、画面内位置i、時間tにおけるブロ
ックの位置(x,y)における画素値、 Rは、動きベクトル探索範囲、 vは、動きベクトル(∈R) である。ブロックマッチングは、同図のように参照画像
201の探索範囲Rの中で、被予測画像202中の予測対象の
ブロックiの画素値fi(x,y,t)に最も近いブロック、
即ち式(1)に示す誤差電力Dvを最小化するブロックfi
+v(x,y,t−1)を見つける処理に相当する。
参照画像中の実標本点である実画素だけを用いて適合す
るブロックを探索する方法を整数画素精度探索、整数画
素に加えて整数画素の中間の半画素も用いる探索方法を
半画素精度探索と呼ぶ。一般に、同一探索範囲の条件下
では半画素精度探索の方が整数画素精度探索より探索点
が多くなり、予測効率が高まる。
いる動き補償予測方式を用いる画像符号化装置の動き補
償予測部(ブロックマッチング部)の構成例を示す図で
ある。
直方向平行移動量カウンタ、211はメモリ読み出しアド
レス生成部、213はパターンマッチング部、216は最小予
測誤差電力判定部である。また、203は水平方向平行移
動量探索範囲指示信号、204は垂直方向平行移動量探索
範囲指示信号、205は被予測ブロックデータ、206は被予
測ブロックの画像内位置信号、209は水平方向平行移動
量探索点データ、210は垂直方向平行移動量探索点デー
タ、212は読み出しアドレス、214は読み出し画像デー
タ、215は予測誤差電力信号、217は動きベクトル、218
は最小予測誤差電力信号である。219は参照画像を記憶
するフレームメモリである。
の動作を表す動作フローチャートである。
値、 range_h_maxは、水平方向平行移動量探索範囲上限
値、 range_v_minは、垂直方向平行移動量探索範囲下限
値、 range_v_maxは、垂直方向平行移動量探索範囲上限
値、 D_minは、最小予測誤差電力、 (x,y)は、マクロブロック内画素位置を表す座標、 D(dx,dy)は、dx,dy探索時の予測誤差電力、 f(x,y)は、被予測画像の画素(x,y)の値、 fr(x,y)は、参照画像の画素(x,y)の値、 D(x,y)は、dx,dy探索時の(x,y)における予測誤
差、 MV_hは、動きベクトル(平行移動量)水平成分、 MV_vは、動きベクトル(平行移動量)垂直成分 である。
作について詳しく説明する。
向平行移動量探索範囲指示信号204より、水平方向移動
量カウンタ207にrange_h_min/range_h_maxを、垂直方向
平行移動量カウンタ208にrange_v_min/range_v_maxを設
定する。また、カウンタ初期値をそれぞれdx=range_h_
min、dy=range_v_minにセットする。最小予測誤差電力
判定部216において最小予測誤差電力D_minを最大の値MA
XINT(例えば0xFFFFFFFF)にセットする。これは、図44
のS201に相当する。
y)だけ離れた位置にある参照画像中の位置(x+dx,y
+dy)の画素を、フレームメモリから取り出す。図43に
おけるメモリ読み出しアドレス生成部211が水平方向移
動量カウンタ207からdxの値を、垂直方向平行移動量カ
ウンタ208からdyの値を受け取り、フレームメモリ中の
アドレスを生成する。
D(dx,dy)をゼロに初期化する。これは、図44のS202
に相当する。2)で読み出された画素値と、被予測マク
ロブロック内の位置(x,y)の画素値との差をとり、そ
の絶対値をD(dx,dy)に累積していく。この処理をx
=y=16になるまで繰り返し、(dx,dy)時の予測誤差
電力D(dx,dy)、即ち式(1)におけるDvを得る。こ
の処理は、図43におけるパターンマッチング部213が行
い、パターンマッチング部213はD(dx,dy)を予測誤差
電力信号215によって、最小予測誤差電力判定部216に受
け渡す。ここでの処理は、図44におけるS203〜S209の処
理に相当する。
結果の中で最小の誤差電力を与えるかどうかを判定す
る。判定は、図43における最小予測誤差電力判定部216
が行う。また、図44におけるS210がこの判定処理に相当
する。最小予測誤差電力判定部216は、内部に持つ最小
予測誤差電力D_minの値と、予測誤差電力信号215によっ
て受け渡されるD(dx,dy)の大小を比較し、D(dx,d
y)の方が小さいときに限りD_minの値をD(dx,dy)で
更新する。また、そのときの(dx,dy)の値を動きベク
トル候補(MV_h,MV_v)として保持しておく。これらの
更新処理は、図44におけるS211に相当する。
の(dx,dy)について繰り返し(図44のS212〜S215)、
最終的に最小予測誤差電力判定部216内に保持されてい
る計算値(MV_h,MV_v)を動きベクトル217として出力す
る。
予測方式の概要を示した図である。
ピクチャと呼び、ピクチャをマクロブロックという16×
16画素(色差信号は8×8画素)のブロックに分割し
て、各マクロブロックについてブロックマッチングによ
る動き補償予測を行う。その結果得られる動きベクトル
と予測誤差信号とを符号化する。
の方式が変えられるようになっており、図中Iピクチャ
では動き補償予測を行わずにピクチャ内で閉じた符号化
を行うが、Pピクチャでは時間的に前に表示される画像
から予測を行う前方向動き補償予測を行い、Bピクチャ
では前方向動き補償予測のほか、時間的に後に表示され
る画像から予測を行う後方向動き補償予測と、前方向動
き補償予測及び後方向動き補償予測から得られる2つの
予測画像の加算平均によって予測を行う内挿動き補償予
測が許される。ただし、前方向/後方向/内挿の各動き
補償予測は、予測に用いる参照画像の違いだけで、基本
的にすべてブロックマッチングによる動き補償予測であ
る。
号化方式における動き補償予測の主たる実現手法として
確立されている。しかしながら、ブロックマッチングの
処理は「輝度の同じ領域は同一物体である」という等輝
度仮定に立脚して、マクロブロックの様な正方ブロック
単位に物体の平行移動量を求めていることに相当する。
よって、正方ブロック形状方向への移動以外の動きを検
出することは原理上不可能であり、回転や拡大、縮小、
カメラのズーミング、3次元的な物体の動きなど、平行
移動で十分に説明できない動きが発生する領域では予測
精度が落ちる。
点を解消し、より正確な動き量を検出することを目指し
て、平行移動量だけでなく、回転やスケーリングといっ
た動き量を含めて精度の高い動き補償予測を行おうとい
うのが、アフィン変換を用いた動き補償予測である。こ
の方式では、予測対象の画素値(x,y)が以下の式
(2)に示すアフィン変換によって参照画像中の画素値
(x',y')に変換されるという仮定に基づき、アフィン
変換の各パラメータを動きパラメータとして検出する。
「アフィン変換を用いた動き補償予測に関する検討」
(電子情報通信学会技術報告IE94−36)では、任意の形
状の予測画像領域に対してアフィン動きパラメータを検
出し、動き補償予測を行う手法を提案している。
す。
念を示したものである。
位置(x,y)における画素値、 Rvは、平行移動量探索範囲、 Rrot,scaleは、回転/スケール量探索範囲、 vは、平行移動パラメータ(=(tx,ty))を含む動
きベクトル、 rotは、回転パラメータ(=回転角θ)、 scaleは、スケールパラメータ(=(Cx,Cy)) である。アフィン動き補償予測では、動きベクトルに相
当する平行移動パラメータ(tx,ty)に加え、回転角
θ、スケール(Cx,Cy)の計5パラメータから成るアフ
ィン動きパラメータを検出しなければならない。最適解
は全パラメータの全探索で与えられるが非常に膨大な演
算量となるため、ここでは平行移動量が支配的であると
の仮定に基づき、2段階の探索アルゴリズムを採用して
いる。まず、第1段階では領域の平行移動量(tx,ty)
を探索する。第2段階では、第1段階で決定された(t
x,ty)の近傍で回転角θ、スケール(Cx,Cy)の探索を
行い、さらに平行移動量の微調整を行うという手順を踏
む。探索候補中、最小の予測誤差電力を与える予測領域
と現在の領域との差分をとり、予測誤差を符号化する。
アフィン変換方式の予測誤差電力は、以下の式(3)で
示される。
例を示す図である。
信号、221は回転量探索範囲指示信号、222はスケール量
探索範囲指示信号、223は平行移動量探索範囲指示信
号、224は被予測領域画面内位置信号、225は被予測領域
データ、226は水平方向平行移動量カウンタ、227は垂直
方向平行移動量カウンタ、228は平行移動量加算部、229
は第1段最小予測誤差電力判定部、230はメモリ読み出
しアドレス生成部、231は補間演算部、232は半画素生成
部、233は回転量カウンタ、234はスケール量カウンタ、
235は平行移動/回転/スケール量加算部、236は第2段
最小予測誤差電力判定部、237は平行移動微調整量カウ
ンタ、238は平行移動微調整量加算部、239は最終最小予
測誤差電力判定部である。
る。また、図49は、図48中のS224で示されるアフィン動
きパラメータ検出行程の詳細を示すフローチャートであ
る。
[i])は、MV_h[i],MV_v[i]選択時におけるア
フィン動きパラメータ検出の結果得られる最小予測誤差
電力、 dθは、回転量探索点、 dCxは、水平方向スケール量探索点、 dCyは、垂直方向スケール量探索点、 dtxは、水平方向平行移動微調整量探索点、 dtyは、垂直方向平行移動微調整量探索点、 range_radian_minは、回転量探索範囲下限値、 range_radian_maxは、回転量探索範囲上限値、 range_scale_minは、スケール量探索範囲下限値、 range_scale_maxは、スケール量探索範囲上限値、 range_t_h_minは、水平方向平行移動微調整量探索範
囲下限値、 range_t_h_maxは、水平方向平行移動微調整量探索範
囲上限値、 range_t_v_minは、垂直方向平行移動微調整量探索範
囲下限値、 range_t_v_maxは、垂直方向平行移動微調整量探索範
囲上限値、 D_minは、最小予測誤差電力、 (x,y)は、被予測領域内画素位置、 f(x,y)は、被予測画像の画素(x,y)の値、 fr(x,y)は、参照画像の画素(x,y)の値、 axは、水平方向アフィン変換値、 ayは、垂直方向アフィン変換値、 D(ax,ay)は、ax,ay探索時の予測誤差電力、 D(x,y)は、ax,ay探索時の(x,y)における予測誤
差である。
き補償予測処理の動作について詳しく説明する。
要素もしくはステップについては、同一の動作もしくは
処理を行うものとする。
ックマッチング相当の処理により、領域ごとに与えられ
た探索範囲内で平行移動パラメータ(=動きベクトル)
の検出を行う。
り、水平方向移動量カウンタ226及び垂直方向平行移動
量カウンタ227に探索範囲を設定し、探索点を変化させ
ていく。平行移動量加算部228で、このカウント値に被
予測画像領域における現在の領域位置を加算し、その結
果がメモリ読み出しアドレス生成部230に渡され、予測
画像候補の画素値がフレームメモリ219から読み出され
る。読み出された画素値はパターンマッチング部213に
渡され、ブロックマッチングと同様の誤差計算がなされ
る。このマッチング結果が第1段最小予測誤差電力判定
部229に送られ、予測誤差の小さい方から4候補の平行
移動パラメータを得る。これらをMV_h[4](水平成
分)及びMV_v[4](垂直成分)と表記する。第1段最
小予測誤差電力判定部229の動作は、最小予測誤差電力
判定部216と同様である。この処理過程は、図48のS22
1、S222に相当する。
初期化) 各MV_h[i]/MV_v[i](0≦i≦3)について、
その近傍の微小空間において回転量/スケール量を探索
する。これは、図48のS224に相当し、図49に詳細な処理
過程を示す。図47の装置の動作と関連付けながら動作を
説明する。
索範囲指示信号222より、回転量カウンタ233、スケール
量カウンタ234にそれぞれ探索範囲を設定する。また、
平行移動微調整量探索範囲指示信号220より平行移動微
調整量カウンタ237にも探索範囲の設定を行う。第2段
最小予測誤差電力判定部236は、内部に持つ最小予測誤
差電力D_minの値をMAXINTに設定する。これは、図49のS
229に相当する。
いて同じ処理を繰り返すため、MV_h[0]/MV_v[0]
のケースについてのみ説明する。スケール量Cx,Cy及び
平行移動微調整量tx,tyの値を固定し、回転量θの値を
探索範囲内で変化させ、以下のアフィン変換値ax,ayを
得る。
f(x,y)との差分絶対値を求め、これをD(ax,ay)に
累積していく。
4及び平行移動微調整量カウンタ237のカウント値を固定
し、回転量カウンタ233のカウント値に応じて平行移動
/回転/スケール量加算部235で式(4)のax,ayを求
め、メモリ読み出しアドレス生成部230を介してfr(ax,
ay)を算出するために必要な画素をフレームメモリ219
から読み出し、次いで補間演算部231において、これら
の画素からfr(ax,ay)を算出して、パターンマッチン
グ部213において被予測画素値f(x,y)との差分絶対値
を求める動作によって実行される。図49では、S231〜S2
34に相当する。
段最小予測誤差電力判定部236において、回転量探索範
囲内での最小予測誤差を与える回転量θが決定される。
のカウント値を固定し、回転量として2−2)で決定さ
れた回転量θを式(4)に代入して、スケール量Cx,Cy
の値を探索範囲内で変化させ、式(4)のアフィン変換
値ax,ayを得る。
y)を最小にするスケール量Cx,Cyを得る。スケール量探
索点のカウントは、スケール量カウンタ234が行う。
ル量Cx,Cyを用いて、平行移動微調整量tx,tyの値を探索
範囲内で変化させ、式(4)のアフィン変換値ax,ayを
得る。
う。平行移動微調整量探索点のカウントは、平行移動微
調整量カウンタ237が行う。ただし、tx,tyは半画素精度
で探索されるので、パターンマッチング部213に送られ
る前に必要に応じて半画素生成部232において半画素値
が計算される。半画素値の計算は、図50に示すように、
整数画素との空間的な位置関係に基づいて以下の式
(5)のように計算される。ただし、x,yは共に0から
計数し、整数画素位置は共にEVENとする。
2)から2−4)のパラメータ探索を行った結果得られ
るθ[i],Cx[i],Cy[i],tx[i],ty[i]を用
いて得られる予測画像との予測誤差を求め、最も小さい
誤差値を与える領域位置iと、そのパラメータセットを
最終的な探索結果とする。これは図48におけるS225〜S2
28に相当する。
多くの処理過程を要するだけでなく、探索の際の演算負
荷も大きい。
る非整数画素値の算出方法、即ち補間演算部231におけ
るfr(ax,ay)の算出方法を示す図である。
生成する画素値である。fr(ax,ay)は、参照画像上で
計算した、以下の式(6)のIハット(x,y)(ただ
し、x=ax,y=ay)の値で表わされる。
チングをとり誤差電力最小のものを選ぶため、上記5パ
ラメータを変化させるたびに予測画像候補となる画像領
域を再度、生成しなければならない。回転やスケーリン
グは非整数画素値を発生させるので、式(6)の演算が
探索処理中何度も繰り返される。これにより、アフィン
動きパラメータ探索処理は非常に負荷が大きく、時間も
かかるものとなる。
て動き補償を得る方法として、特開平6−153185号公報
に示された動き補償装置及びこれを用いた符号化装置が
開示されている。これは参照画像となるフレームメモリ
中の画像を、間引き回路または補間回路を設けて、画像
を縮小または拡大した後、動きベクトルを検出する構成
となっている。この構成では、アフィン変換のような複
雑な演算はしないが、参照画像から固定ブロックを取り
出して補間または間引き演算をしている。つまり、固定
の画面領域を切り出し、予め設定した処理を施して後、
入力画像と比較するので、処理の内容が固定的で事実上
単純な拡大、縮小等に限定される。
に構成され動作する。
成は参照画面の切り出し領域を平行移動して行うので単
純な、平行移動の動きしか予測できず、回転や拡大、縮
小、カメラのズーミングなど、平行移動以外の移動の場
合には、性能劣化が激しいという課題がある。
ン変換によって行っているため、回転など、予測可能対
象の種類は多くなるが、演算の処理が複雑になり、装置
規模が大きくなるという課題がある。
く、アフィン変換を用いれば予測できる場合が増えるも
のの、処理が大変になるというジレンマがあった。
雑な処理を行うものの具体的な提案がなかった。
れたもので、比較的簡単な符号化処理に対応する復号を
行うと共に、同様構成で精密でよりスムーズな動きを再
現する画像復号装置および画像復号方法を得ることを目
的とする。
動き検出による動き補償予測符号を含む入力情報の画像
圧縮符号を伸長再生する画像復号装置において、上記入
力情報の画像圧縮符号に含まれる動きパラメータに基づ
いて予測画像サンプル位置の座標を変形に必要な変換式
で算出し、上記入力情報に含まれる丸め込み精度を指示
する内挿処理精度指示情報に従って上記座標を丸め込
み、この丸め込んだ座標を用いて記憶している参照画像
中の部分画像から予測画像出力を得る動き補償部、を備
えた画像復号装置である。
しくは動きベクトルの本数を表現するビットである変形
パターン情報が含まれ、動き補償部は、上記変形パター
ン情報に対応して変換式を得て予測画像サンプル位置の
座標を算出し、その後に内挿処理指示情報に基づいて内
挿処理を行うようにした画像復号装置であることを特徴
とする。
置の精度として半画素精度か、または整数画素の1/4画
素精度を指定するようにした画像復号装置である。
を含む入力情報の画像圧縮符号を伸張再生する画像復号
方法において、上記入力情報の画像圧縮符号に含まれる
動きパラメータに基づいて予測画像サンプル位置の座標
を変形に必要な変換式で算出し、上記入力情報に含まれ
る丸め込み精度を指示する処理指示情報に従って上記座
標を丸め込み、この丸め込んだ座標を用いて記憶してい
る参照画像中の部分画像から予測画像出力を得る動き補
償ステップ、を備えた画像復号方法である。
を含む入力情報の画像圧縮符号を伸長再生する画像復号
装置において、上記入力画像圧縮符号に含まれる動きパ
ラメータに基づいて変形に必要な変換式で座標指定する
とともに、記憶している参照画像中の部分画像を抽出
し、整数画素及びその中点の半画素からなる上記参照画
像の部分領域を、上記入力情報の画像圧縮符号に含まれ
た丸め情報により丸めた座標指定によって変形、抽出し
て動き予測画像を得る動き補償部を備えて、上記変形し
抽出して得られた上記動き予測画像を用いて復号画像を
得る画像復号装置である。
座標によって行われる画像復号装置である。
る。
フローチャート図である。
グ部21における動作の概要を説明する図である。
ある。
ローチャート図である。
ート図である。
作を説明する図である。
部構成図である。
成図である。
概要を説明する図である。
ある。
ローチャート図である。
グ部42bの動作の概要を説明する図である。
グ部42bの内部構成図である。
フローチャート図である。
チングを説明する図である。
チングを説明する図である。
内部構成図である。
グを説明する図である。
数画素に対して施すフィルタリングの例を示した図であ
る。
を説明する図である。
である。
フローチャート図である。
成図である。
表すフローチャート図である。
示した図である。
成図である。
ート図である。
説明する図である。
明する図である。
ある。
する図である。
示す図である。
成図である。
ート図である。
明する図である。
示す図である。
決定部37cの動作を表すフローチャート図である。
処理の例を説明する図である。
償予測の概念を説明する図である。
(ブロックマッチング部)の構成を示す図である。
ーチャート図である。
予測方式の概要を示した図である。
測の概念を説明する図である。
測部の構成を示す図である。
ーチャート図である。
プの詳細を示すフローチャート図である。
法を説明する図である。
探索ステップで生じる非整数画素値の算出方法を説明す
る図である。
る実施の形態8,9に対応している。
地上波、優先通信網を介して行うディジタル画像伝送シ
ステム、ディジタル画像記録装置、ディジタル画像蓄積
データベースと検索・閲覧システムなどに使用される。
理部、3及び13はイントラ(フレーム内)/インター
(フレーム間)符号化選択部、4は直交変換部、5は量
子化部、6は逆量子化部、7は逆直交変換部、8は動き
検出部、9は動き補償部、10はフレームメモリ(参照画
像)、11は動きベクトルを含む動きパラメータ、12は予
測画像データ、14は符号化制御部、15は強制モード指示
フラグ、16はイントラ/インター符号化指示フラグ、17
は量子化ステップ・パラメータ、18はエントロピー符号
化部、19は圧縮画像データである。本発明の重要な要素
は動き検出部8及び動き補償部9である。
動作を説明する。
ームの画像信号1を入力とし、入力画像信号1はディジ
タル化されて、前処理部2において前処理とフォーマッ
ト変換、ブロックデータへの切り出しを行う。本実施形
態では、ここで切り出されるブロックデータは輝度信号
成分及びそれに空間的に対応する色差信号成分のペアか
ら構成されるものとし、以降、輝度成分を輝度ブロッ
ク、色差成分を色差ブロックと呼ぶ。
フレーム間符号化するかをイントラ/インター符号化選
択部3において決定する。イントラ(フレーム内)符号
化が選択された場合は、前処理部2から出力された原画
像データから構成されるブロックデータを直交変換部4
に入力し、インター(フレーム間)符号化が選択された
場合は、前処理部2から出力された原画像データと動き
補償部9から出力される予測画像データ12との差分から
構成される予測誤差ブロックデータを直交変換部4に入
力する。このイントラ/インター・フレーム符号化の選
択は、符号化制御部14からの強制モード指示フラグ15に
よって強制的に行われることもある。選択された符号化
モードは、イントラ/インター符号化指示フラグ16とし
てエントロピー符号化部18に送られ、圧縮画像データで
ある符号化ビットストリーム19に多重化される。
T)などが用いられる。直交変換係数は、量子化部5に
おいて符号化制御部14で算出された量子化ステップ・パ
ラメータ17を用いて量子化され、量子化後の直交変換係
数はエントロピー符号化部18で冗長度を削減した後、符
号化ビットストリーム19に多重化される。同時に、逆量
子化部6で逆量子化され、さらに逆直交変換部7で逆直
交変換されて予測誤差信号が復元される。ここに動き補
償部9から出力される予測画像データ12を加算して、局
所復号画像が生成される。ただし、イントラ/インター
符号化指示フラグ16がイントラモードの場合は、符号化
選択部13で0信号が選択され、予測誤差信号の加算は行
われない。局所復号画像は、次フレーム以降の動き補償
予測の参照画像として用いるため、その内容がフレーム
メモリ10に書き込まれる。
ある動き補償予測の動作について説明する。
れるブロックを動き補償予測における被予測ブロックと
する。動き補償予測処理は、動き検出部8及び動き補償
部9において行われ、動き検出部8において被予測ブロ
ックの動きベクトルを含む動きパラメータ11が検出さ
れ、動き補償部9が動きパラメータ11を用いてフレーム
メモリ10から予測画像データ12を取り出す。動き検出処
理は、輝度ブロックを用いて行い、色差ブロックの動き
補償予測は輝度ブロックの動き検出結果を利用する。以
下では、輝度ブロックの動き補償予測の動作に限定して
説明する。
部8は、参照画像中の所定の範囲内で被予測ブロックの
輝度ブロックに最も類似する領域を探索し、被予測ブロ
ックの画面内位置からの変化を表すパラメータを検出す
る。従来例で述べたブロックマッチングでは、被予測ブ
ロックの輝度ブロックに最も類似するブロックを探索
し、被予測ブロックの画面内位置からの平行移動量を動
きベクトルとして検出する。
基づくブロックマッチングと、後述する変形ブロックを
用いたブロックマッチングの両方を実行し、より予測精
度の高い方を選択する構成をとる。
明する。
は、その動作の様子を示すフローチャートである。
ブロックマッチング部、22は動き補償予測モード判定
部、23は変形ブロックマッチングによる動きベクトル、
24は変形ブロックマッチングによる最小予測誤差値、25
は最終動きベクトル、26は動き補償予測モード信号であ
る。最終動きベクトル25及び動き補償予測モード信号26
をひとまとめで表現したものが動きパラメータ11である
とする。
ャートは、従来例で示した図43及び図44と同様である。
また、図3において、D_BMはブロックマッチングによる
最小予測誤差電力の値、D_DEFは変形ブロックマッチン
グによる最小予測誤差電力の値を表す。
チング部21における動作の概要説明図、図5は、変形ブ
ロックマッチング部21の詳細な内部構成図、図6は、変
形ブロックマッチング部21の動作を示すフローチャート
である。
信号、30は垂直方向平行移動量探索範囲指示信号、31は
水平方向移動量カウンタ、32は垂直方向移動量カウン
タ、33は新要素である回転量カウンタ、34は同じく新要
素である対応点決定部、35はメモリ読み出しアドレス生
成部である。パターンマッチング部213、最小予測誤差
電力判定部216は、図47に示す構成の対応要素と同一の
動作を行う。
誤差、 f(x,y)は、被予測画像中の画素(x,y)の値、 fr(x,y)は、参照画像中の画素(x,y)の値、 MV_hは、動きベクトル水平成分、 MV_vは、動きベクトル垂直成分、 ixは、水平方向オフセット値(定数)、 iyは、垂直方向オフセット値(定数)、 block_sizeは、被予測ブロックサイズ である。
順と動作で被予測ブロックに対する動きベクトルを求め
る。この結果、動きベクトル217、ブロックマッチング
部20における最小予測誤差電力D_BM218を得る。これ
は、図3におけるS1に相当する。
ブロックマッチングの処理を行う(図3のS2)。
お、以下の説明においては、整数画素を単位とする8×
8画素ブロックを被予測ブロックとして説明を進める。
4に示す。
て符号化される。例えば、前処理部2中にあるフレーム
(ピクチャ)、参照画像28は、被予測画像27より以前に
符号化されてフレームメモリ10に蓄えられている局所復
号フレーム(ピクチャ)画像とする。各画像内の○は、
フレーム内に実際に存在する輝度信号の実標本点である
整数画素を、×は実標本点間の中点画素である半画素を
示す。被予測画像27の8×8(整数画素)からなる部分
領域を被予測ブロック(の輝度ブロック部分)とし、参
照画像28の□の画素からなるグループが予測画像候補の
変形ブロックを構成するものとする。即ち、図1、図2
の()表示のフレームメモリ10出力と前処理部2出力の
一部が切り出されて、動き検出部8内の変形ブロックマ
ッチング部21で比較される。
くは左45度に回転させ、各辺のスケールを した、つまり、参照画像の大きさは被予測画像(入力画
像)と比較する際は、 の距離として、フレームの入力ディジタル画像1の水平
垂直方向の標本点距離と合致させた領域を変形ブロック
として定義する。この領域は、参照画像28の整数画素間
隔の画素点のみから構成されることに特徴がある。即
ち、本実施形態における変形ブロックマッチングは、与
えられた探索範囲内で、図4に示す8×8整数画素から
なる被予測ブロックの輝度ブロックに、最も類似した同
図の変形ブロック領域を参照画像28中から見つける処理
に相当する。
ため、探索に際しては、検出される動きベクトルがどこ
を起点としているかを特定する必要がある。即ち、あら
かじめ被予測ブロックの輝度ブロックの各構成点と予測
画像候補領域の変形ブロックの各構成点とを1対1に対
応させる。
被予測ブロックの左上隅の画素位置と、変形ブロックの
左側頂点とを対応させるものとする。つまり、予測画像
候補画像は参照画像28中の変形ブロックを右45度回転さ
せ、各辺を の長さに修正した部分画像ということになる。この対応
付けを変えれば、回転の方向が変わることになる。この
ように取り決めておくことにより、他の各構成点は一意
に対応がとれる。被予測ブロックの各構成点と予測画像
候補の各構成点が1対1に対応付けられているので、動
き検出はブロックマッチングと同様に実行することがで
きる。
り出し型をパターン化してアドレッシング(座標)で指
定しておき、しかもこの場合には、整数画素が選ばれる
よう指示しておき、このアドレッシング指示された画素
と対応する被予測画像27である原画像データ中の画素と
の誤差を累積して、最小誤差電力を判定している。従っ
て、アドレッシングの指示だけで演算を伴わないので高
速の比較ができ、しかもアドレッシング(座標指定)の
仕方で単純な拡大、縮小だけでなくて回転も、また、回
転と拡大、縮小の同時処理等、フレキシブルな抽出指示
ができる。
及び垂直方向平行移動量探索範囲指示信号30より、水平
方向移動量カウンタ31及び垂直方向移動量カウンタ32に
対して変形ブロックマッチングの探索範囲を設定する。
最小予測誤差電力判定部216において、最小予測誤差電
力D_minを最大値のMAXINT(例えば、0xFFFFFFFF)にセ
ットする。これは、図6のS4に相当する。
して、図6のS6,S8に示すrdx,rdyを用いる。このパラメ
ータの設定は、回転量カウンタ33が行う。つまり、図4
の参照画像を45度右回転させる関係を定義する。これら
の初期値としてyの値を与え、以下、xがインクリメン
トされるたびにrdxをインクリメント、rdyをデクリメン
トする。これらの処理は、図6におけるS6〜S8に相当す
る。なお、この設定は右回転の設定であり、S6でrdy=
−y、S8でry=iy+(rdy++)と設定すると、左回転
の変形を意味する。なお、S8は、rx=ix+(rdx+
1)、ry=iy+(rdy−1)とも表現される。
ッシングを指示しており、次の画素であるrx,ryのアド
レスが45度右下方向の次の整数画素を指示している。こ
れをS12でxのブロックサイズまで繰り返し、S14でyの
ブロックサイズまで繰り返していることである。このよ
うに、S8のアドレッシングによる抽出画素をS9で誤差比
較し、S10で累積しているので、図6の動作フローにお
いては、一切の演算をしておらず、高速動作ができる。
なお、S10も、D(dx,dy)=D(dx,dy)+D(x,y)と
も表現される。同様に、S11,S13,S17,S19は、x=x+
1、y=y+1とも表現される。これは、以後のフロー
チャートでも同様である。
y)に対応する参照画像中の対応点rx,ryを決定する。つ
まり、図4の最初の位置間の対応付けを行う。これは対
応点決定部34で行われる。図6のS8に示すように、rx,r
yは、あらかじめ与えられるオフセット値ix,iyに、2−
3)で得られたrdx,rdyを加算することによって得られ
る。次いで、参照画像から(rx+dx,ry+dy)だけ離れ
た位置にある参照画像中の画素をフレームメモリから取
り出す。図5におけるメモリ読み出しアドレス生成部35
が水平方向移動量カウンタ31からdxの値を、垂直方向移
動量カウンタ32からdyの値を、対応点決定部34からrx,r
yを受け取り、フレームメモリ中のアドレスを生成す
る。
D(dx,dy)をゼロに初期化する。これは、図6のS5に
相当する。2−4)で読み出された画素値と、被予測ブ
ロックの輝度ブロックの対応する位置の画素値との差を
とり、その絶対値をD(dx,dy)に累積していく。この
処理をx=y=block_size(ここでは、block_size=
8)になるまで繰り返し、(dx,dy)時の予測誤差電力
D(dx,dy)を得る。この処理は、図5におけるパター
ンマッチング部213が行い、パターンマッチング部213
は、D(dx,dy)を予測誤差電力信号215によって最小予
測誤差電力判定部216に受け渡す。
る。
探索結果の中で最小の誤差電力を与えるかどうかを判定
する。判定は、図5における最小予測誤差電力判定部21
6が行う。また、図6におけるS15がこの判定処理に相当
する。最小予測誤差電力判定部216は、内部に持つ最小
予測誤差電力D_minの値と、予測誤差電力信号215によっ
て受け渡されるD(dx,dy)の大小を比較し、D(dx,d
y)の方が小さいときに限りD_minの値をD(dx,dy)で
更新する。また、そのときの(dx,dy)の値を動きベク
トル候補(MV_h,MV_v)として保持しておく。これらの
更新処理は、図6におけるS16に相当する。
x,dy)について繰り返し(図6のS17〜S20)、最終的に
最小予測誤差電力判定部216内に保持されている(MV_h,
MV_v)を動きベクトル23として出力する。
意味で最も類似した予測画像を探し出す。探索の結果、
選ばれた予測画像の起点からの偏移量が変形ブロックマ
ッチングの結果としての動きベクトル23として得られ、
その時の予測誤差電力D_DEF24も保持される。
クマッチング部20で得られた最小予測誤差電力D_BM218
と、変形ブロックマッチング部21で得られた最小予測誤
差電力D_DEF24とを比較し、ブロックマッチングが変形
ブロックマッチングかいずれか小さいほうを最終的な動
き補償モードとして選択する。これは、図3のS3に相当
する。
き補償予測モード信号26及び最終動きベクトル25を動き
パラメータ11として動き補償部9及びエントロピー符号
化部18に送る。
部9は、動き検出部8において得られた動きパラメータ
11に基づいて、参照画像中から予測画像を抽出する。本
実施形態の動き補償部9は、従来の正方ブロックに基づ
くブロックマッチングと、特定の変形ブロックを用いた
ブロックマッチングのいずれの動き補償処理もサポート
し、動きパラメータ11中の動き補償予測モードによって
これらの処理を切り替える構成をとる。
明する。
の動作の様子を示すフローチャートである。
メモリ読み出しアドレス生成部である。
内位置指示信号206と動き検出部8から送られてくる動
きパラメータ11とから、参照画像28中の予測画像に対応
する標本点を決定する。この処理は、図7における対応
点決定部37において行われる。動きパラメータ11に含ま
れる動き補償予測モードがブロックマッチングを示して
いる時は、対応点は被予測ブロックの画面内位置信号20
6から動きベクトルで指示される量だけ平行移動させた
領域に含まれる標本点となる。この処理は図44における
S204で、(dx,dy)を動きベクトルとした時の参照画像2
8中の位置(x+dx,y+dy)を決定する動作に相当す
る。動きパラメータ11に含まれる動き補償予測モードが
変形ブロックマッチングを示している時は、動き検出部
8の説明における2−4)で述べたように、被予測ブロ
ックの画面内位置信号206に各画素位置に応じた回転量
分を加算した後、動きベクトルで指示される量だけ平行
移動させた標本点となる。この処理は図6におけるS9
で、(dx,dy)を動きベクトルとした時の参照画像28中
の位置(rx+dx,ry+dy)を決定する動作に相当する。
結果を受けて、メモリ読み出しアドレス生成部38がフレ
ームメモリ10に蓄積される参照画像28中の予測画像位置
を特定するメモリアドレスを生成し、予測画像を読み出
す。
ると、動き補償部9から出力される前に半画素生成部23
2によって半画素値が生成される。これは、図8のS23、
S24に相当する処理で、予測画像が半画素精度の画素を
含むか否かは、対応点決定部37が動きパラメータ11中の
動きベクトル値をもとに識別し、選択スイッチ36に知ら
せる。
の説明に対応するように実標本点のみの対応点を生成し
た。しかし、半画素がある場合の構成は、後に説明する
ように図13の半画素生成部232を持つ変形ブロックマッ
チング部42となる。
出力される。なお、上記実施の形態での変形ブロックマ
ッチングとしての回転は、45度の例を説明したが、90
度、135度、180度などは勿論、dxとdyのとり方で他の回
転も実現できる。
画像符号化装置を説明したが、前処理部2において入力
ディジタル画像系列を画像オブジェクト(動きや絵柄な
どの特徴を同じくする部分領域、一つの被写体など)に
分離する処理を行わせ、各画像オブジェクトをそれを包
含するブロック群として定義するようにしておけば、画
像オブジェクトを単位として符号化する装置であっても
この発明を適用することができる。
像が存在するようなシーンにおいて、人物像を画像オブ
ジェクトとして、図のようにそれを取り囲む外接四角形
内の領域を小ブロックに分割し、画像オブジェクトを含
むブロックを有効ブロックとして符号化するような場合
が考えられる。この場合は、これら有効ブロックに対
し、上記実施の形態で述べた変形ブックマッチングと動
き補償に関して同様の処理を適用する。これは、以下の
実施の形態においても同様である。
説明したが、動き補償予測誤差信号を別の符号化方式を
用いて符号化する装置であってもこの発明を適用するこ
とができるのは言うまでもない。これは、以下の実施の
形態においても同様である。
マッチング処理の対象となる部分領域の大まかな移動量
が把握できる。変形ブロックマッチングの部分領域の設
定先を、ブロックマッチング部20の探索結果である動き
ベクトル217が示す領域情報を受け、この付近に限定し
て変形して比較すると、処理ステップ及び処理時間を短
縮することができる。本実施の形態では、この構成につ
いて説明する。なお、このことは、以後の他の実施の形
態においても同様である。
のである。
図で、39は変形ブロックマッチング部、40は加算部、41
は探索初期位置指示信号である。なお、変形ブロックマ
ッチング部39は入力206の代わりに探索初期位置指示信
号41を用いるだけで、その他の動作は実施の形態1にお
ける変形ブロックマッチング部21と全く同じである。
測ブロックの画面内位置信号206の代わりに、被予測ブ
ロックデータ205にブロックマッチング部20の結果得ら
れた動きベクトル217を加算部40によって加算し、その
加算結果を探索初期位置指示信号41として入力する。ま
た、水平方向平行移動量探索範囲指示信号29及び垂直方
向平行移動量探索範囲指示信号30から設定する探索範囲
は実施の形態1よりも小さめに設定しておく。これによ
り、図6におけるS17〜S20における反復処理を短縮する
ことができる。
中の整数画素間隔の画素点のみから構成される場合を説
明した。本実施の形態では、変形ブロック領域が参照画
像28中の半画素間隔の画素点をも含めて構成される場合
を説明する。
補償部9の内部構成が実施の形態1と異なる。また、動
作が異なるのは、動き検出部中の変形ブロックマッチン
グ部及び動き補償部中の対応点決定部だけであり、その
他の部材及び動作は実施の形態1と全く同じである。よ
って以下では、変形ブロックマッチング部の動作とそれ
に対応する動き補償部の動作についてのみ詳しく説明す
る。実施の形態1と同様、動き検出部8cと動き補償部9
とに分けて動作を説明する。
図、図12は、本発明の最重要部位の1つである変形ブロ
ックマッチング部42における動作の概要説明図、図13
は、変形ブロックマッチング部42の詳細な内部構成図、
図14は、変形ブロックマッチング部42の動作を示すフロ
ーチャートである。
付した要素、ステップは同一の要素、動作を意味するも
のとする。
明する。
12に示す。
形態1で定義した通りである。各画像内の○はフレーム
の輝度信号の実標本点(整数画素)を、×は実標本点間
の中点画素(半画素)を示す。被予測画像27の8×8
(整数画素)からなる部分領域を被予測ブロック(の輝
度ブロック部分)とし、参照画像28の□の画素からなる
グループが予測画像候補の変形ブロックを構成するもの
とする。
に回転させ、各辺のスケールを した、つまり、参照画像の大きさは の距離としてフレームの入力ディジタル画像1の水平垂
直方向の標本点距離と合致させた領域を変形ブロックと
して定義する。この領域は、参照画像28の半画素間隔の
画素点をも含んで構成されることに特徴がある。即ち、
本実施形態における変形ブロックマッチングは、与えら
れた探索範囲内で、図12に示す8×8サンプル(以下サ
ンプルは、整数画素または半画素の意味である)からな
る被予測ブロックの輝度ブロックに最も類似した同図の
変形ブロック領域を参照画像28中から見つける処理に相
当する。
ックの輝度ブロックの各構成点と予測画像候補領域の変
形ブロックの各構成点とを1対1に対応させる。以下で
は、図12の点線矢印に示すように、あらかじめ被予測ブ
ロックの左上隅の画素位置と、変形ブロックの左側頂点
とを対応させるものとする。同図では、変形ブロック側
の左側頂点が半画素位置にのっているが、これは動きベ
クトルが半画素成分を含む場合を示している。つまり、
予測画像候補画像は参照画像28中の変形ブロックを右45
度回転させ、各辺を の長さに修正した部分画像ということになる。この対応
付けを変えれば回転の方向が変わることになる。このよ
うに取り決めておくことにより、他の各構成点は一意に
対応がとれる。被予測ブロックの各構成点と予測画像候
補の各構成点が1対1に対応付けられているので、動き
検出はブロックマッチングと同様に実行することができ
る。実際の装置における探索範囲の設定の動作は、実施
の形態1と同じで、図13における必要な要素を用いて設
定する。この動作は、図14ではS26のステップに相当す
る。
ク変形パラメータとして図14に示すrdx,rdyを用いる。
このパラメータの設定は、回転量カウンタ45が行う。こ
れらの初期値としてyの値を与え、以下xが1ずつイン
クリメントされるたびに、rdxを0.5ずつインクリメン
ト、rdyを0.5ずつデクリメントする。これらの処理は、
図14におけるS28〜S30に相当する。この設定は右回転の
設定となり、S28でrdy=−y、S30でry=iy+(rdy+=
0.5)と設定すると、左回転の変形を意味する。
y)に対応する参照画像中の対応点rx,ryを決定する。こ
れは、対応点決定部46で行われる。図14のS30に示すよ
うに、rx,ryはあらかじめ与えられるオフセット値ix,iy
に3)で得られたrdx,rdyを加算することによって得ら
れる。
位置にある参照画像中の画素をフレームメモリから取り
出す。図13におけるメモリ読み出しアドレス生成部47が
水平方向移動量カウンタ31からdxの値を、垂直方向平行
移動量カウンタ32からdyの値を、対応点決定部46からr
x,ryを受け取り、フレームメモリ中のアドレスを生成す
る。また、図14のS31において読み出されたデータは、
必要に応じて半画素生成部232において半画素値を生成
するために使用される。
D(dx,dy)をゼロに初期化する。これは、図14のS27に
相当する。4)で読み出された画素値と、被予測ブロッ
クの輝度ブロックの対応する位置の画素値との差をと
り、その絶対値をD(dx,dy)に累積していく。この処
理をx=y=block_size(ここではblock_size=8)に
なるまで繰り返し、(dx,dy)時の予測誤差電力D(dx,
dy)を得る。この処理は、図13におけるパターンマッチ
ング部213が行い、パターンマッチング部213はD(dx,d
y)を予測誤差電力信号215によって最小予測誤差電力判
定部216に受け渡す。ここでの処理は、図14におけるS32
〜S37の処理に相当する。
結果の中で最小の誤差電力を与えるかどうかを判定す
る。判定は、図13における最小予測誤差電力判定部216
が行う。また、図14におけるS38がこの判定処理に相当
する。判定処理は実施の形態1と全く同じであり、その
ときの(dx,dy)の値を動きベクトル候補(MV_h,MV_v)
として保持しておく。この更新処理は、図14におけるS3
9に相当する。
ついて繰り返し(図14のS40〜S43)、最終的に最小予測
誤差電力判定部216内に保持されている(MV_h,MV_v)を
動きベクトル43として出力する。
意味で最も類似した予測画像を探し出す。探索の結果、
選ばれた予測画像の起点からの偏移量が変形ブロックマ
ッチングの結果としての動きベクトル43として得られ、
その時の予測誤差電力D_DEF44も保持される。
な動き補償モード判定に用いられ、最終的な動き補償モ
ードが決定される。この決定方法は、実施の形態1と全
く同じである。
形態では、対応点決定部37の動作のみが実施の形態1と
異なるので、その部分だけを説明する。動き補償の全体
的なフローチャートは、図8に準じる。
行う。
ロックマッチングを示している時は、対応点は被予測ブ
ロックの画面内位置信号206から動きベクトルで指示さ
れる量だけ平行移動させた領域に含まれる標本点とな
る。この処理は、図44におけるS204で、(dx,dy)を動
きベクトルとした時の参照画像28中の位置(x+dx,y+
dy)を決定する動作に相当する。
形ブロックマッチングを示している時は、動き検出部8
の説明における4)で述べたように、被予測ブロックの
画面内位置信号206に各画素位置に応じた回転量分を加
算した後、動きベクトルで指示される量だけ平行移動さ
せた領域に含まれる標本点となる。この処理は、図14に
おけるS32で、(dx,dy)を動きベクトルとした時の参照
画像28中の位置(rx+dx,ry+dy)を決定する動作に相
当する。
ついては、実施の形態1に準ずる。
される変形ブロックを用いる場合について説明する。ま
た、説明は省略するが単純な拡大も同じである。こうし
て、より単純な変形ブロックマッチングと動き補償につ
いて述べる。
の変形ブロックマッチング部42b及び動き補償部中の対
応点決定部の動作についてのみ、図16を参照しながら詳
しく説明する。なお、説明の混乱を避けるため、変形ブ
ロックマッチング部42bは、図13における変形ブロック
マッチング部42のバリエーションであるとし、その入力
は全く同じであり、出力は動きベクトル43ならびに予測
誤差電力44のバリエーションであるものとする。また、
動き補償部9中の対応点決定部についても、図7におけ
る対応点決定部37のバリエーションであるものとする。
よって、以下では、本実施形態の変形ブロックマッチン
グ部の番号は42bとして、対応点決定部の番号は37とし
て説明を進める。
グ部42bにおける動作の概要説明図、図16は、変形ブロ
ックマッチング部42bの詳細な内部構成図、図17は、変
形ブロックマッチング部42bの動作を示すフローチャー
トである。
付した要素、ステップは同一の要素、動作を意味するも
のとする。
説明する。
図15に示す。被予測画像27及び参照画像28、各画像内の
印の説明は前述の通りである。本実施の形態では、輝度
ブロックの各辺を単純に1/2倍した縮小領域を変形ブロ
ックとして定義する。本実施の形態における変形ブロッ
クマッチングは、与えられた探索範囲内で、図15に示す
8×8サンプルからなる被予測ブロックの輝度ブロック
に最も類似した同図の変形ブロック領域を参照画像28中
から見つける処理に相当する。
ックの輝度ブロックの各構成点と予測画像候補領域の変
形ブロックの各構成点とを1対1に対応させる。本実施
形態では、図15の点線矢印に示すように、あらかじめ被
予測ブロックの左上隅の画素位置と、変形ブロックの左
上隅の画素位置とを対応させる。被予測ブロックの各構
成点と予測画像候補の各構成点が1対1に対応付けられ
ているので、動き検出はブロックマッチングと同様に実
行することができる。実際の装置における探索範囲の設
定の動作は実施の形態1と同じで、図16における必要な
要素を用いて設定する。この動作は、図17では、S44の
ステップに相当する。
ータは用いず、図17のS47に示すように、水平垂直各成
分のオフセット値ix,iyに、x/2,y/2の値を加算すること
によってx,yの対応点sx,syを得る。この対応点は対応点
決定部48で行われる。次いで、参照画像から(sx+dx,s
y+dy)だけ離れた位置にある参照画像中の画素をフレ
ームメモリから取り出す。図16におけるメモリ読み出し
アドレス生成部49が水平方向移動量カウンタ31からdxの
値を、垂直方向平行移動量カウンタ32からdyの値を、対
応点決定部48からsx,syを受け取り、フレームメモリ中
のアドレスを生成する。また、図17のS48で読み出され
たデータは必要に応じて半画素生成部232において半画
素値を生成するために使用される。
D(dx,dy)をゼロに初期化する。これは図17のS45に相
当する。3)で読み出された画素値と、被予測ブロック
の輝度ブロックの対応する位置の画素値との差をとり、
その絶対値をS50でD(dx,dy)に累積していく。この処
理をx=y=block_size(ここでは、block_size=8)
になるまでS52,S54で繰り返し、(dx,dy)時の予測誤差
電力D(dx,dy)を得る。この処理は、図16におけるパ
ターンマッチング部213が行い、パターンマッチング部2
13は、D(dx,dy)を予測誤差電力信号215によって最小
予測誤差電力判定部216に受け渡す。ここでの処理は、
図17におけるS49〜S54の処理に相当する。
結果の中で最小の誤差電力を与えるかどうかを判定す
る。判定は、図16における最小予測誤差電力判定部216
が行う。また、図17におけるS55がこの判定処理に相当
する。判定処理は、実施の形態1と全く同じであり、そ
のときの(dx,dy)の値を動きベクトル候補として保持
しておく。この更新処理は、図17におけるS56に相当す
る。
ての(dx,dy)について繰り返し、最終的に最小予測誤
差電力判定部216内に保持されている(dx,dy)を動きベ
クトル43として出力する。
意味で最も類似した予測画像を探し出す。探索の結果、
選ばれた予測画像の起点からの偏移量が変形ブロックマ
ッチングの結果としての動きベクトル43として得られ、
その時の予測誤差電力D_DEF44も保持される。
な動き補償モード判定に用いられ、最終的な動き補償モ
ードが決定される。この決定方法は、実施の形態1と全
く同じである。
では、対応点決定部37の動作のみが実施の形態1と異な
るので、その部分だけを説明する。動き補償の全体的な
フローチャートは、図8に準ずる。
行う。
ロックマッチングを示している時は、対応点は被予測ブ
ロックの画面内位置信号206から動きベクトルで指示さ
れる量だけ平行移動させた領域に含まれる標本点とな
る。この処理は、図44におけるS204で、(dx,dy)を動
きベクトルとした時の参照画像28中の位置(x+dx,y+
dy)を決定する動作に相当する。
形ブロックマッチングを示している時は、被予測ブロッ
クの画面内位置信号206に各画素位置に応じた編移量分
を加算した後、動きベクトルで指示される量だけ平行移
動させた領域に含まれる標本点となる。この処理は、図
17におけるS47で、(dx,dy)を動きベクトルとした時の
参照画像28中の位置(sx+dx,sy+dy)を決定する動作
に相当する。以下の予測画像データの読み出し、予測画
像の生成については、実施の形態1に準ずる。
測ブロックと予測画像の各構成画素位置の1対1の対応
付けが行われている、2)参照画像側の対応画素点が整
数画素間隔で構成されるという2つの前提のもとであれ
ば、どのような形状をもとり得る。例えば、図18や図19
に示すような形状を考えることもできる。更に、片方の
み半分に縮小というだけでなく、それぞれの辺を独立に
任意の比率で縮小、拡大すれば各種の形状に変形してブ
ロックマッチングができる。こうして、あらかじめ様々
な形状を定義しておくことにより、最も良好な予測結果
が得られる変形ブロックを選択するように構成すること
ができる。このときは、選択された変形ブロックの種類
を動きパラメータ11の中に含めてエントロピー符号化部
18に送ればよい。
の生成だけで、アフィン変換のように複雑な演算による
補間画素値を生成することなく回転及び縮小スケーリン
グを含む動き補償を行うことができ、平行移動量である
動きベクトルだけでなく予測誤差を最小にできない、つ
まり、予測がうまく的中しないような部分画像について
も、良好な予測を行うことができる。
点として、整数画素、または半画素の場合を説明した
が、例えば、1:3等、他の割合の中間点の画素を比較対
象用として用意してもよい。この場合でも、従来のアフ
ィン変換の場合と異なり、比較処理動作中の補間処理が
不要であり、それだけ処理規模を小さくでき、高速処理
が可能となる。
形パラメータのカウント処理、もしくはそれに相当する
座標変換処理を行う構成となっていたが、この画素ごと
の座標変換値をあらかじめROMなどの変形パターンテー
ブルとして用意しておき、被予測ブロックの各画素位置
に応じてテーブルから引き出した変換値をもとに対応点
を決定する構成をとることもできる。こうすることで、
演算式では表現しにくい任意の対応関係を持つ変形ブロ
ックマッチングと動き補償が効果的にできる。
図であり、本実施の形態を実現する構成(対応点決定部
34b)を示している。実施の形態1の具体的な動作を示
す図6におけるS8で、パラメータrdx,rdyの値をインク
リメントあるいはデクリメント演算する代わりに、x,y
に対応するrdx,rdyの値をROMとして持っておき、そこか
らx,yの値に応じて対応点rx,ryを引き出すことによって
求めることができる。この場合、図5における回転量カ
ウンタ33は不要となり、図20に示すように、対応点決定
部34b内にROMテーブル(変形パターンテーブル100)を
持たせる構成で実現できる。対応点決定部34bは、被予
測ブロックの各画素位置(x,y)によって変形パターン
テーブル100から変形パラメータrdx,rdyの値を引き出
し、これを加算部110で加算することによって対応点を
決定する。そして、メモリ読み出しアドレス生成部35に
向けて出力する。これは、上記の他の実施の形態でも同
様である。こうして、若干のROMメモリ(変形パターン
テーブル100)への追加だけで、対応点の演算処理を行
う要素を削除して回路を簡略化し、かつ対応点演算処理
量を削減することができる。また、図21に示すような簡
単な数式では表現できない変形をサポートすることも可
能になり、より豊富な変形パターンライブラリが考えら
れることになる。
方法によって変形ブロックとして切り出される予測画像
中の周波数特性を均一にし、被予測ブロックの予測を行
う際のミスマッチを低減する符号化装置について説明す
る。
素値から構成される場合、整数画素と半画素では空間周
波数特性が異なる。一方、被予測ブロックはすべて整数
画素空間の画素から構成されているので、この特性の違
いが予測時のミスマッチの要因になることが考えられ
る。そこで本実施の形態では、上記各実施の形態で述べ
た変形ブロックの定義と同様の定義を行った後、整数画
素空間上の画素に対してフィルタリングを行う。
2、1/2]のフィルタリングを行うことによって生成され
る。即ち、cos(ωt/2)の特性を持つローパスフィルタ
が施されることになる。上記各実施の形態で定義した予
測画像は、フィルタの施されていない整数画素と、上記
フィルタリングによって生成される半画素精度の画素と
が混在しており、予測画像内の空間周波数特性にばらつ
きがある。このばらつきが原因で予測精度が落ちる場合
には、以下に述べるように、整数画素に対しても同等の
特性を持つフィルタを施せば効果的である。
は整数画素について式(7)に示す、[1/8、6/8、1/
8]のローパスフィルタFを施す例を示している。
測画像内の空間周波数特性のばらつきが緩和される。こ
のようなフィルタ処理の後、上記各実施の形態と同様、
被予測ブロックの各点と予測画像の各点との1対対応付
け、探索、動きベクトルの決定、モード判定を行う。
ロックマッチング部と動き補償部が異なる。以下では、
変形ブロックの定義は実施の形態4に基づく単純縮小パ
ターンとし、変形ブロックマッチング部の内部構成は動
き検出部8cの中の変形ブロックマッチング部42のバリエ
ーション、動き補償部も動き補償部9のバリエーション
として考える。したがって、以下の説明においては、変
形ブロックマッチングの番号は42cとし、動き補償部の
番号は9bとして説明を進める。
部42cの動作の概要説明図、図24は、変形ブロックマッ
チング部42cの詳細な内部構成図、図25は、本実施の形
態における変形ブロックマッチング部42cの動作を示す
フローチャートである。
付した要素、ステップは同一要素、動作を意味するもの
とする。
説明する。実施の形態4と同じ動作の記述は省略する。
じであるが、本実施の形態では、整数画素位置の画素に
対してフィルタリングを行うことが異なる。即ち、図23
のように、参照画像中にフィルタ処理対象画素として△
の画素が定義されており、変形ブロックは△及び□で示
す画素から構成される。
x,syを得る方法は、実施の形態4と全く同じである。次
いで、参照画像から(sx+dx,sy+dy)だけ離れた位置
にある参照画像中の画素をフレームメモリから取り出
す。この際、sx+dx,sy+dyに対応する画素位置が整数
画素空間上にあるか半画素空間上にあるかを判定する。
これは、単にsx+dx,sy+dyがそれぞれ半画素成分を持
つかどうかで判定できる。この判定は、図24における対
応点決定部48において行う。図25では、S61のステップ
に相当する。ここで、半画素空間にあると判定された場
合は、半画素生成部232において半画素値が生成され
る。また、整数画素空間にあると判定された場合は、フ
ィルタ部50において図22に示したフィルタリングを施
す。これは、図25におけるS62のステップに相当する。
図、図27は、本実施の形態における動き補償部9bの動作
を示すフローチャートである。
フィルタ部50が加えられていることに特徴がある。対応
点決定部37は、実施の形態4で示したものと全く同じ動
作をする。動きパラメータ11に含まれる動き補償予測モ
ードがブロックマッチングを示している時は、対応点は
被予測ブロックの画面内位置信号206から動きベクトル
で指示される量だけ平行移動させた領域に含まれる標本
点とする。この処理は、図44におけるS204で、(dx,d
y)を動きベクトルとした時の参照画像28中の位置(x
+dx,y+dy)を決定する動作に相当する。
形ブロックマッチングを示している時は、被予測ブロッ
クの画面内位置信号206に各画素位置に応じた編移量分
を加算した後、動きベクトルで指示される量だけ平行移
動させた領域に含まれる標本点となる。この処理は、図
17におけるS47で、(dx,dy)を動きベクトルとした時の
参照画像28中の位置(sx+dx,sy+dy)を決定する動作
に相当する。いずれの場合でも、各画素ごとに半画素空
間上にあるか否かを判定し、整数画素空間上にある画素
については、上述の変形ブロックマッチング部の予測画
像生成処理と全く同じように、図22に示すフィルタリン
グを施す。フィルタリングは、フィルタ部で行う。以下
の予測画像データの読み出し、予測画像の生成について
は、実施の形態1に準ずる。
は、フィルタを施さない場合の予測画像、及びフィルタ
Fを施した場合の予測画像のそれぞれの場合について独
立に探索を行って、その結果を動き補償予測モード判定
部22に送ってもよいし、フィルタFを施さない場合のみ
探索を行い、その結果だけに対してフィルタFを施して
良好な結果を選択するようにしてもよい。
設ける場合は、動きパラメータ11の中にフィルタON/OFF
の情報も含める。
グだけで予測画像内の空間周波数のばらつきを除くこと
ができ、平行移動量である動きベクトルだけでは予測誤
差を最小にできない、つまり、予測がうまく的中しない
ような部分画像についても、良好な予測を行うことがで
きる。
いて圧縮符号化されたディジタル画像を伸長再生する画
像復号装置の構成を示したものである。ここでは、実施
の形態1に示す画像符号化装置によって生成される圧縮
画像データ(以下、ビットストリーム)19を受信して伸
長再生を行う画像復号装置として説明する。
化部、7は逆直交変換部、53は復号加算部、54はフレー
ムメモリ、56は表示制御部である。
徴があり、動き補償部9以外の上記の各要素について構
成とその動作は既に知られているので、詳細説明は省略
する。動き補償部9は、図1における動き補償部9と同
一であることを示す。つまり、その内部構成図は、図7
に示した内部構成図と同一であり、その動作フローチャ
ートは、図8に示した動作フローチャートと同一であ
る。
ムが解析され、個々の符号化データに切り分けられる。
量子化直交変換係数52は逆量子化部6に送られ、量子化
ステップ・パラメータ17を用いて逆量子化される。この
結果が逆直交変換部7において逆直交変換され、復号加
算部53に送られる。逆直交変換部は、DCT等、符号化装
置で用いるものと同じものを用いる。
種の情報が送られる。即ち、エントロピー復号部51でビ
ットストリームから復号された動きベクトル25、変形パ
ターン情報26aと、被予測画像領域(本実施の形態で
は、固定サイズブロック)の画面内位置を示す情報27a
が入力される。この際、動きベクトル25、被予測画像領
域の画面内位置27aは、被予測画像領域毎に固有の値で
あるが、変形パターン情報26aは、被予測画像領域毎に
固有の値であっても、被予測画像領域を複数まとめたよ
り大きな画像(例えば、画像フレームやISO/IEC JTC1/
SC29/WG11に開示されるVOPなど)毎に符号化されてい
て、その単位に含まれる全ての被予測画像領域について
同じ変形パターン情報を用いるように符号化されていて
もよい。動き補償部9は、これらの3種類の情報に従っ
てフレームメモリ54中の参照画像から予測画像データ12
を取り出す。予測画像生成の処理については、動き補償
部9の動作説明の箇所で述べる。
た動きパラメータ11が送られる。
ってフレームメモリ54中の参照画像から予測画像データ
12を取り出す。この発明による画像の予測方式は、被予
測ブロックを構成する画素と予測画像を構成する画素が
1対1に対応しているので、従来のブロックマッチング
における動き補償と同様、動きパラメータ11によって予
測画像領域が一意に決定される。
グ16の値に基づいて、イントラ符号化ブロックならば、
逆直交変換部の出力をそのまま復号画像55として出力
し、インター符号化ブロックなら、逆直交変換部の出力
に予測画像データ12を加算して復号画像55として出力す
る。復号画像55は表示制御部56に送られ、図示していな
い表示デバイスに出力されるともに、以降のフレームの
復号処理において参照画像として用いるために、フレー
ムメモリ54に書き込まれる。
て説明する。
域を構成する画素と予測画像を構成する画素の位置の対
応が予め変形パターン情報26aによって規定されている
ので、動きベクトル25による変位と変形パターン情報26
aによる位置補正に基づく簡単なアドレス計算と内挿処
理とによって予測画像が生成される。
しアドレス生成部である。
る。
出されて指定された量だけ、被予測画像の座標位置に移
動する動きを説明する図、図32は、移動先で更に指定さ
れた変形パターンでアドレッシングを行う動作を説明す
る図である。
位置を示すものとする。
動き補償部9の動作を説明する。
トル25、変形パターン情報26aに基づき、被予測画像領
域内の各画素に対応する予測画像のサンプル位置を算出
する。まず、動きベクトル25に基づき、被予測画像の現
在位置に対する予測画像の基準位置を決定する。この処
理は、図31に示すように、被予測画像の画面内位置27a
を(i,j)、動きベクトル25を(dx,dy)としたとき、
(i',j')=(i+dx,j+dy)を定めることに相当する
(図30のS71)。
j')を補正し、最終的な予測画像のサンプル位置を求め
る。図32は、変形パターン情報26aが「縦横1/2縮小」を
示す場合の例を示している。この変形パターンによれ
ば、予測画像の実効面積は、被予測画像領域の画面中に
占める実効面積の1/4になる。つまり、予測画像が被予
測画像領域に対して縮小される形となり、これにより、
画面中で拡大を伴う動きなどの予測を効率化できる。具
体的な位置補正の処理しては、参照画像中の位置(i',
j')に対応する補正位置(i",j")を求める。これは、
次の演算で実現できる(図30のS72)。
場合、つまり、画素数が4×4を1ブロックとした場合
を示しているが、これらは任意の正の整数、つまり、任
意の画素数の高さと幅のブロックを取り得る。
応する予測画像サンプル位置として出力される。
をもとに、メモリ読み出しアドレス生成部38がフレーム
メモリ54に蓄積されている参照画像中の予測画像生成に
必要な画像データの位置を特定するメモリアドレスを生
成し、予測画像生成用データを読み出す。
のみをアドレッシングする場合は、予測画像生成用デー
タがそのまま予測画像構成画素となる。一方、半画素精
度の位置の座標値がアドレッシングされた場合、半画素
生成部232によって予測画像生成用データの内挿処理が
されて、半画素値が生成される。具体的に、半画素値の
生成は、図33による。図33の方法は、単に加算2分演算
であり、符号化装置の実施の形態1で説明した半画素生
成部232のフロー図である図8のS24を、再び説明したも
のである。
が、変形パターン情報が図32とは異なる内容を含んでい
る場合には、変形処理が異なってくる。
る。この場合、変形後の(i",j")は、以下のようにし
て求められる。
ように切り出すかを取り決めておけば、それに基づいて
簡単なアドレッシングで変形処理した動き補償を行った
復号ができる。
ば、予め変形パターンを用意しておき、対応するモード
情報に従って簡単なサンプル位置の計算を行うだけで、
平行移動では追跡しきれない複雑な動きを効率よく予測
して符号化されたビットストリームから再生画像を得る
ことができる。
方式によって予測誤差信号を符号化したビットストリー
ムであっても、動き補償部9以外の予測誤差信号復号処
理のための要素を変更することで、同様の効果を得るこ
とができる。
として復号処理を行う例について述べたが、これは通常
のテレビ信号のフレームを単位とする復号装置に適用で
きるだけでなく、固定サイズブロックから構成される任
意形状画像オブジェクト(例:ISO/IEC JTCI/SC29/WG11
/N1796で開示されるVideo Object Planeなど)を単位
とする復号装置にも適用可能である。例えば、実施の形
態1で述べた図9に示すように、静止した背景の前に人
物像が存在するようなシーンにおいて、人物像を1つの
画像オブジェクトとして、それを取り囲む外接四角形内
の領域を小ブロックに分割し、画像オブジェクトを含む
ブロックを有効ブロックとして符号化されたビットスト
リームを復号する場合が考えられる。この場合は、これ
ら有効ブロックに対して同様の処理を適用すればよい。
6の画像符号化装置に対応した整数画素又は半画素のみ
を用いてアドレッシング(座標指定)するだけで、予め
決められた変形処理をして動き補償を行う装置を説明し
た。本実施の形態では、アドレッシングの際に、半画素
生成以外の演算を行って、より精密な動き補償を行う画
像復号装置を説明する。
ジタル画像を伸長再生する画像復号装置の構成を示した
ものである。
きベクトル、60は内挿処理精度指示情報である。
された動きベクトル25b、変形パターン情報26a、被予測
画像領域の画面内位置27a及び内挿処理精度指示情報60
を入力として対応点を決める対応点決定部であり、232b
は演算によって内挿した座標位置を求める内挿処理部で
ある。この際、被予測画像領域の画面内位置27aは、被
予測画像領域毎に固有の値であるが、動きベクトル25b
と変形パターン情報26aは、被予測画像領域毎に固有の
値であっても、被予測画像領域を複数まとめたより大き
な画像(例えば、画像フレームやISO/IEC JTC1/SC29/W
G11に開示されるVOPなど)毎に符号化されていて、その
単位に含まれる全ての被予測画像領域について同じ動き
ベクトルと変形パターン情報を用いるように符号化され
ていてもよい。
ト、図38は、同じく動作を説明する図である。
ブロックを代表する1本のみであったのに対して、参照
画像のブロックの四角の頂点4本までが入力され、それ
に対応して、まず、座標位置が後に対応点の決定の動作
で説明する演算で求められる。更に、その求まった座標
位置を内挿処理指示情報で丸め込んで座標位置を確定す
る。
置と同様である。即ち、エントロピー復号部51におい
て、ビットストリームが解析され、個々の符号化データ
に切り分けられる。量子化直交変換係数52は、量子化ス
テップ・パラメータ17を用いて逆量子化部6、逆直交変
換部7で復号処理され、復号加算部53に送られる。復号
加算部53は、イントラ/インター符号化指示フラグ16の
値に基づいて、イントラ符号化ブロック、インター符号
化ブロックの区別に応じて予測画像データ12をそのまま
又は加算して復号画像55として出力する。復号画像55
は、表示制御部56に送られ、表示デバイスに出力され、
また、参照画像としてフレームメモリ54に書き込まれ
る。
て説明する。
必要な本数の動きベクトル25bを用いて変形に必要な変
換式を得て、その変換式によって被予測画像領域の各画
素に対応する予測画像構成画素のサンプル位置を決定し
た後、内挿処理精度指示情報で定められた画素精度に従
った簡単な内挿処理によって予測画像が生成される。
る動き補償部90の動作を説明する。
5b、変形パターン情報26aに基づき、被予測画像領域内
の各画素に対応する予測画像のサンプルすべき座標位置
を算出する。図38のように、ここでは動きベクトル25b
は、被予測画像領域の外接四角形の各頂点の4つの動き
ベクトルとする。まず、変形パターン情報26aに対応し
て変形に必要な変換式を得る。例えば、以下のような変
換式を用いる。
本数:0本) (i',j')=(i,j) (9) 1−2)平行移動(必要な動きベクトルの本数:1本) (i',j')=(i+dx0,j+dy0) (10) 1−3)等方変換(必要な動きベクトルの本数:2本) 但し、 (x0,y0):被予測画像領域の外接四角形の左上隅頂
点座標 (x1,y1):被予測画像領域の外接四角形の右上隅頂
点座標 (x0',y0'):第1の動きベクトル(dx0,dy0)によっ
て(x0,y0)を変位させた座標 (x1',y1'):第2の動きベクトル(dx1,dy1)によっ
て(x1,y1)を変位させた座標 W:x1−x0 1−4)アフィン変換(必要な動きベクトルの本数:3
本) 但し、 (x0,y0):被予測画像領域の外接四角形の左上隅頂
点座標 (x1,y1):被予測画像領域の外接四角形の右上隅頂
点座標 (x2,y2):被予測画像領域の外接四角形の左下隅頂
点座標 (x0',y0'):第1の動きベクトル(dx0,dy0)によっ
て(x0,y0)を変位させた座標 (x1',y1'):第2の動きベクトル(dx1,dy1)によっ
て(x1,y1)を変位させた座標 (x2',y2'):第3の動きベクトル(dx2,dy2)によっ
て(x2,y2)を変位させた座標 W:x1−x0 H:y2−y0 1−5)透視変換(必要なベクトルの本数:4本) 但し、 (x0,y0):被予測画像領域の外接四角形の左上隅頂
点座標 (x1,y1):被予測画像領域の外接四角形の右上隅頂
点座標 (x2,y2):被予測画像領域の外接四角形の左下隅頂
点座標 (x3,y3):被予測画像領域の外接四角形の右下隅頂
点座標 (x0',y0'):第1の動きベクトル(dx0,dy0)によっ
て(x0,y0)を変位させた座標 (x1',y1'):第2の動きベクトル(dx1,dy1)によっ
て(x1,y1)を変位させた座標 (x2',y2'):第3の動きベクトル(dx2,dy2)によっ
て(x2,y2)を変位させた座標 (x3',y3'):第4の動きベクトル(dx3,dy3)によっ
て(x3,y3)を変位させた座標 W:x1−x0 H:y2−y0 変形パターン情報26aの形式としては、上記の変換式
である式(9)ないし式(13)を直接識別するビットで
もよいし、各変換が動きベクトルと本数に対応している
ことから、動きベクトルの本数を表現するビットでもよ
い。以上の変換式によって、被予測画像領域の点(i,
j)が参照画像中の(i',j')に対応付けられる。また、
対応点位置計算の際に、予測画像のサンプル位置は、内
挿処理精度指示情報60で定められる精度の値まで取り得
るようにする。例えば、半画素精度までに丸め込むとす
れば、上記変換式によって得られた(i',j')は、半画
素精度の値に丸められる。1/4画素情報までとすれば、
(i',j')は、1/4画素精度の値に丸め込められる。この
サンプル位置精度を表す情報は、ビットストリーム中か
ら抽出する。
からダイレクトに対応点決定ルールを定め、これに基づ
いて予測画像のサンプル位置を決定する。
置をもとに、メモリ読み出しアドレス生成部38bがフレ
ームメモリ54に蓄積されている参照画像中の予測画像生
成に必要な画像データの位置を特定するメモリアドレス
を生成し、予測画像生成用データを読み出す。
のみをアドレッシングする場合は、予測画像生成用デー
タがそのまま予測画像構成画素となる。本実施の形態で
は、予測画像をアドレッシングしてサンプルする位置
は、上記のように予め定められた精度、例えば、半画
素、1/4画素の値を取り得る。実数精度の位置の画素の
場合は、内挿処理部232bにおいて、内挿処理精度指示情
報60で定められる整数精度とする指示に基づき、予測画
像の整数画素値が生成される。本実施の形態では、対応
点決定部において、既に最終的なサンプル位置を内挿処
理精度指示情報60で指定される精度で丸めるが、内挿処
理は、図39のように、次の式(15)の処理をする。な
お、半画素精度の位置であれば、実施の形態1に述べた
半画素生成部232と全く同じ処理となる。
ば、ゼロ又は複数本の動きベクトルを用いて簡単なサン
プル位置計算を行うことで、複雑度の異なる動きを効率
よく予測して符号化されたビットストリームから再生画
像を得ることができる。
装置及び実施の形態7における画像復号装置は、整数画
素及び半画素のアドレッシングのみで変形処理した動き
補償を用いて高速で複雑な画像符号化、復号を行ってい
る。
は、同様の構成を用いて、しかし、対応点決定の演算を
参照画像と被予測画像の対象ブロックがよりマッチング
し、従って、より適切な動きを得るため強化したもので
ある。これにより、よりスムーズな動きを得ることがで
きる。
方式によって予測誤差信号を符号化したビットストリー
ムであっても、動き補償部90以外の予測誤差信号復号処
理のための要素を変更することで、同様の効果を得るこ
とができるのは、実施の形態7と同じである。
として復号処理を行う例について述べたが、これは通常
のテレビ信号のフレームを単位とする復号装置に適用で
きるだけでなく、固定サイズブロックから構成される任
意形状画像オブジェクト(Video Object Planeなど)
を単位とする復号装置にも適用可能であるのも、実施の
形態7と同じである。
1ブロックを構成する画素数については言及しなかっ
た。言い換えれば、任意の高さ(H)と幅(W)の画素
を対象と考えてきた。本実施の形態では、このHとWの
画素数を2のべき乗に制限して座標演算を簡略化する場
合を説明する。こうすることで、対応点決定部の負荷が
減り、演算を高速化できる。
る動き補償部90の内、37cとして対応点決定部の動作の
みが異なるので、対応点決定部の動作についてのみ説明
する。
チャートである。
である。
定部37cの動作を説明する。
トル25b、変形パターン情報26a、内挿処理精度指示情報
60、被予測画像領域の画面内位置27aを入力とし、被予
測画像領域内の各画素に対応する予測画像のサンプル位
置を以下の式に基づいて算出して出力する。この際、被
予測画像領域の画面内位置27aは、被予測画像領域毎に
固有の値であるが、動きベクトル25bと変形パターン情
報26aは、被予測画像領域毎に固有の値であっても、被
予測画像領域を複数まとめたより大きな画像(例えば、
画像フレームやISO/IEC JTC1/SC29/WG11に開示されるV
OPなど)毎に符号化されていて、その単位に含まれる全
ての被予測画像領域について同じ動きベクトルと変形パ
ターン情報を用いるように符号化されていてもよい。以
下では、動きベクトルを最大3本使用する場合の例につ
いて説明する。
予測画像領域の外接四角形の、左上隅の頂点から上辺に
沿って延長した線上の2のべき乗で表現可能な距離の点
(x0+W',y0)(W'≧W,W'=2m)及び左辺に沿って延長
した線上の2のべき乗で表現可能な距離の点(x0,y0+
H')(H'≧H,H'=2n)の動きベクトルであるとする。こ
れらの動きベクトルに基づいて、変形パターン情報26a
に対応して、以下の変形に必要な変換式である式(16)
ないし式(19)を得る。
点座標 (x1,y1):被予測画像領域の外接四角形の右上隅頂
点座標 (x0',y0'):第1の動きベクトル(dx0,dy0)によっ
て(x0,y0)の変位させた座標 (x1',y1'):第2の動きベクトル(dx1,dy1)によっ
て(x0+W',y0)を変位させた座標 1−4)アフィン変換(必要な動きベクトルの本数:3
本) 但し、 (x0,y0):被予測画像領域の外接四角形の左上隅頂
点座標 (x1,y1):被予測画像領域の外接四角形の右上隅頂
点座標 (x2,y2):被予測画像領域の外接四角形の左下隅頂
点座標 (x0',y0'):第1の動きベクトル(dx0,dy0)によっ
て(x0,y0)を変位させた座標 (x1",y1"):第2の動きベクトル(dx1,dy1)によっ
て(x0+W',y0)を変位させた座標 (x2",y2"):第3の動きベクトル(dx2,dy2)によっ
て(x0,y0+H')を変位させた座標 変形パターン情報26aの形式としては、上記の変換式
である式(16)ないし式(19)を直接識別するために表
記した複数のビットで構成されたビット列でもよいし、
各変換が動きベクトルの本数に対応していることから、
動きベクトルの本数を表現するビットでもよい。
が参照画像中の(i',j')に対応付けられる。また、対
応点位置計算の際に、予測画像のサンプル位置は、ある
定められた精度の値まで取り得るようにする。例えば、
半画素精度までに丸め込むとすれば、上記変換式によっ
て得られる(i',j')は、半画素精度の値となり、1/4画
素精度に丸め込む指示とすれば、(i',j')は、1/4画素
精度の値となる。このサンプル位置精度を表す情報は、
ビットストリーム中から抽出する。
からダイレクトに対応点決定ルールを定め、これに基づ
いて予測画像のサンプル位置を決定する。
詳細記述は省略する。
ば、ゼロ又は複数本の動きベクトルを用いてサンプル位
置計算を行う際に、W'又はH'による除算演算を全てビッ
トシフト演算に置き換えて計算できるので、より高速に
サンプル位置の決定を行うことができるとともに、複雑
度の異なる動きを効率よく予測して符号化されたビット
ストリームから再生画像を得ることができる。
画像復号装置に用いる場合も、対応する要素を変更する
ことで同様の効果を得ることができる。また、固定サイ
ズブロックから構成される任意形状画像オブジェクト
(Video Object Planeなど)を単位とする復号装置に
も適用可能であることは、実施の形態7と同じである。
組にして特徴のある画像符号化復号システムを構成す
る。
とにより、即ち、変形ブロックマッチングステップと、
対応点決定ステップと動き補償画像生成ステップと復号
加算ステップを備えることにより、特徴ある画像符号化
方法、画像復号方法を得ることができる。
素またはその中間の半画素を用いて、座標指定のみで得
られる変形ブロックで画像の動きの予測を行うため、動
きベクトルのような平行移動量だけでは予測がうまくい
かない部分画像でも、アフィン変換のような複雑な演算
なしに効率よく予測できる効果がある。また、回転やス
ケーリングなどの数式で記述可能な変形だけでなく、数
式で簡単に記述できない、即ち、演算による実現が困難
な変形にも対応できる効果がある。対応復号装置でも、
効率よく優れた画像を実現できる効果がある。
を行うことなく、対応点の決定による座標指定のみによ
って回転と縮小または拡大を組合せた動きをうまく予測
できる効果がある。
ベクトルを利用することで、変形ブロックマッチングの
探索範囲を効果的に削減することができ、動き補償予測
全体の演算量を低減できる効果がある。
を行うことなく、座標指定のみによって単純縮小または
拡大スケーリングによる動きを効率良く予測できる効果
がある。
応点が決定できるので、アフィン変換のような簡単な数
式では表現できないような任意の変形に伴う動きもうま
く予測できる効果がある。
波数特性をフラットにすることができ、予測のミスマッ
チを低減できる効果がある。
に対応した復号装置を構成したので、高速で最適な動き
予測を行った画像データを復号再生できる効果がある。
自由度が高い動き予測を復号できるので、動きのスムー
ズな画像を再生できる効果がある。
Claims (6)
- 【請求項1】フレーム間の動き検出による動き補償予測
符号を含む入力情報の画像圧縮符号を伸長再生する画像
復号装置において、 上記入力情報の画像圧縮符号に含まれる動きパラメータ
に基づいて予測画像サンプル位置の座標を変形に必要な
変換式で算出し、上記入力情報に含まれる丸め込み精度
を指示する内挿処理精度指示情報に従って上記座標を丸
め込み、この丸め込んだ座標を用いて記憶している参照
画像中の部分画像から予測画像出力を得る動き補償部、
を備えたことを特徴とする画像復号装置。 - 【請求項2】入力情報には、変換式を直接識別するビッ
ト若しくは動きベクトルの本数を表現するビットである
変形パターン情報が含まれ、動き補償部は、上記変形パ
ターン情報に対応して変換式を得て予測画像サンプル位
置の座標を算出し、その後に内挿処理指示情報に基づい
て内挿処理を行うようにしたことを特徴とする請求項1
記載の画像復号装置。 - 【請求項3】内挿処理精度指示情報は、予測画像サンプ
ル位置の精度として半画素精度か、または整数画素の1/
4画素精度を指定するようにしたことを特徴とする請求
項2記載の画像復号装置。 - 【請求項4】フレーム間の動き検出による動き補償予測
符号を含む入力情報の画像圧縮符号を伸張再生する画像
復号方法において、 上記入力情報の画像圧縮符号に含まれる動きパラメータ
に基づいて予測画像サンプル位置の座標を変形に必要な
変換式で算出し、上記入力情報に含まれる丸め込み精度
を指示する処理指示情報に従って上記座標を丸め込み、
その丸め込んだ座標を用いて記憶している参照画像中の
部分画像から予測画像出力を得る動き補償ステップ、を
備えたことを特徴とする画像復号方法。 - 【請求項5】フレーム間の動き検出による動き補償予測
符号を含む入力情報の画像圧縮符号を伸長再生する画像
復号装置において、 上記入力画像圧縮符号に含まれる動きパラメータに基づ
いて変形に必要な変換式で座標指定するとともに、記憶
している参照画像中の部分画像を抽出し、整数画素及び
その中点の半画素からなる上記参照画像の部分領域を、
上記入力情報の画像圧縮符号に含まれた丸め情報により
丸めた座標指定によって変形、抽出して動き予測画像を
得る動き補償部を備えて、 上記変形し抽出して得られた上記動き予測画像を用いて
復号画像を得る画像復号装置。 - 【請求項6】座標指定は、変形に必要な変換式で演算さ
れた座標によって行われることを特徴とする請求項5に
記載の画像復号装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP1997/000834 WO1998042134A1 (en) | 1997-03-17 | 1997-03-17 | Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system |
WO97/00834 | 1997-03-17 | ||
PCT/JP1997/003825 WO1998042135A1 (en) | 1997-03-17 | 1997-10-23 | Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP3386142B2 true JP3386142B2 (ja) | 2003-03-17 |
Family
ID=14180217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP54033398A Expired - Lifetime JP3386142B2 (ja) | 1997-03-17 | 1997-10-23 | 画像復号装置および画像復号方法 |
Country Status (7)
Country | Link |
---|---|
US (5) | US6404815B1 (ja) |
EP (8) | EP0905980B1 (ja) |
JP (1) | JP3386142B2 (ja) |
KR (1) | KR100319944B1 (ja) |
AU (2) | AU1941797A (ja) |
DE (4) | DE69740005D1 (ja) |
WO (2) | WO1998042134A1 (ja) |
Families Citing this family (105)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU1941797A (en) * | 1997-03-17 | 1998-10-12 | Mitsubishi Denki Kabushiki Kaisha | Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system |
US6690731B1 (en) * | 1997-12-01 | 2004-02-10 | Neostar, Inc. | Method and apparatus for diagonal processing of video data |
US8179971B1 (en) | 2003-12-08 | 2012-05-15 | G&H Nevada-Tek | Method and apparatus for video data compression |
FR2795589B1 (fr) * | 1999-06-11 | 2001-10-05 | Centre Nat Rech Scient | Decodeur video optimal base sur les standards de type mpeg |
JP2001275110A (ja) * | 2000-03-24 | 2001-10-05 | Matsushita Electric Ind Co Ltd | 動的なループ及びポストフィルタリングのための方法及び装置 |
KR100359115B1 (ko) * | 2000-05-24 | 2002-11-04 | 삼성전자 주식회사 | 영상 코딩 방법 |
US20030021347A1 (en) * | 2001-07-24 | 2003-01-30 | Koninklijke Philips Electronics N.V. | Reduced comlexity video decoding at full resolution using video embedded resizing |
US7181070B2 (en) * | 2001-10-30 | 2007-02-20 | Altera Corporation | Methods and apparatus for multiple stage video decoding |
US7403981B2 (en) * | 2002-01-04 | 2008-07-22 | Quicksilver Technology, Inc. | Apparatus and method for adaptive multimedia reception and transmission in communication environments |
US8284844B2 (en) | 2002-04-01 | 2012-10-09 | Broadcom Corporation | Video decoding system supporting multiple standards |
US9077991B2 (en) | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
US9061207B2 (en) | 2002-12-10 | 2015-06-23 | Sony Computer Entertainment America Llc | Temporary decoder apparatus and method |
US9192859B2 (en) | 2002-12-10 | 2015-11-24 | Sony Computer Entertainment America Llc | System and method for compressing video based on latency measurements and other feedback |
US8549574B2 (en) | 2002-12-10 | 2013-10-01 | Ol2, Inc. | Method of combining linear content and interactive content compressed together as streaming interactive video |
US8526490B2 (en) | 2002-12-10 | 2013-09-03 | Ol2, Inc. | System and method for video compression using feedback including data related to the successful receipt of video content |
US8711923B2 (en) | 2002-12-10 | 2014-04-29 | Ol2, Inc. | System and method for selecting a video encoding format based on feedback data |
US10201760B2 (en) | 2002-12-10 | 2019-02-12 | Sony Interactive Entertainment America Llc | System and method for compressing video based on detected intraframe motion |
US20090118019A1 (en) | 2002-12-10 | 2009-05-07 | Onlive, Inc. | System for streaming databases serving real-time applications used through streaming interactive video |
US8366552B2 (en) | 2002-12-10 | 2013-02-05 | Ol2, Inc. | System and method for multi-stream video compression |
US8964830B2 (en) | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
US9314691B2 (en) | 2002-12-10 | 2016-04-19 | Sony Computer Entertainment America Llc | System and method for compressing video frames or portions thereof based on feedback information from a client device |
US9446305B2 (en) | 2002-12-10 | 2016-09-20 | Sony Interactive Entertainment America Llc | System and method for improving the graphics performance of hosted applications |
US9108107B2 (en) | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
US9138644B2 (en) | 2002-12-10 | 2015-09-22 | Sony Computer Entertainment America Llc | System and method for accelerated machine switching |
JP2004241984A (ja) * | 2003-02-05 | 2004-08-26 | Toshiba Corp | データ伝送装置 |
US7869516B2 (en) * | 2003-03-31 | 2011-01-11 | Hewlett-Packard Development Company, L.P. | Motion estimation using bit-wise block comparisons for video compresssion |
US7620254B2 (en) * | 2003-08-07 | 2009-11-17 | Trident Microsystems (Far East) Ltd. | Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence |
KR100703283B1 (ko) * | 2004-03-15 | 2007-04-03 | 삼성전자주식회사 | 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법 |
US8018463B2 (en) * | 2004-05-10 | 2011-09-13 | Nvidia Corporation | Processor for video data |
US8130825B2 (en) * | 2004-05-10 | 2012-03-06 | Nvidia Corporation | Processor for video data encoding/decoding |
US7986733B2 (en) * | 2004-07-30 | 2011-07-26 | Broadcom Corporation | Tertiary content addressable memory based motion estimator |
US20060215036A1 (en) * | 2005-03-25 | 2006-09-28 | Multivision Intelligent Surveillance (Hk) Ltd. | Method and apparatus for video stabilization |
US7660354B2 (en) * | 2005-05-11 | 2010-02-09 | Fang Shi | Temporal error concealment for bi-directionally predicted frames |
WO2007010690A1 (ja) * | 2005-07-22 | 2007-01-25 | Mitsubishi Electric Corporation | 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体 |
CN100474929C (zh) * | 2005-09-07 | 2009-04-01 | 深圳市海思半导体有限公司 | 一种运动补偿数据载入装置及方法 |
CN101317450B (zh) * | 2005-11-29 | 2010-09-15 | 日本先锋公司 | 记录装置、再现装置、记录方法 |
US20080111923A1 (en) * | 2006-11-09 | 2008-05-15 | Scheuermann W James | Processor for video data |
JP4615508B2 (ja) * | 2006-12-27 | 2011-01-19 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
JP2010524383A (ja) * | 2007-04-09 | 2010-07-15 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号処理方法及び装置 |
US8724708B2 (en) * | 2007-04-27 | 2014-05-13 | Panasonic Corporation | Image decoding device, image decoding system, image decoding method, and integrated circuit |
KR100813989B1 (ko) * | 2007-06-18 | 2008-03-14 | 삼성전자주식회사 | 복수개의 주사 패턴을 이용한 부호화 방법, 복호화 방법,및 그 장치 |
FR2917872A1 (fr) * | 2007-06-25 | 2008-12-26 | France Telecom | Procedes et dispositifs de codage et de decodage d'une sequence d'images representee a l'aide de tubes de mouvement, produits programme d'ordinateur et signal correspondant. |
US9168457B2 (en) | 2010-09-14 | 2015-10-27 | Sony Computer Entertainment America Llc | System and method for retaining system state |
US8443275B2 (en) * | 2008-01-15 | 2013-05-14 | Texas Instruments Incorporated | Lossy compression technique for video encoder bandwidth reduction using compression error data |
JP4683050B2 (ja) * | 2008-01-16 | 2011-05-11 | 株式会社日立製作所 | 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法 |
KR101456491B1 (ko) * | 2008-05-08 | 2014-11-03 | 삼성전자주식회사 | 복수의 참조 픽처에 기초한 영상 부호화, 복호화 방법 및장치 |
EP2315447A1 (en) | 2008-08-21 | 2011-04-27 | Panasonic Corporation | Motion detection device |
KR101493325B1 (ko) * | 2008-09-03 | 2015-02-16 | 삼성전자주식회사 | 정밀 움직임 예측을 기반으로 한 프레임 보간 장치 및 그 방법 |
KR101624649B1 (ko) * | 2009-08-14 | 2016-05-26 | 삼성전자주식회사 | 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
RU2519526C2 (ru) | 2010-02-09 | 2014-06-10 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ кодирования с предсказанием вектора движения, способ декодирования с предсказанием вектора движения, устройство кодирования фильма, устройство декодирования фильма и их программы |
WO2011099440A1 (ja) * | 2010-02-09 | 2011-08-18 | 日本電信電話株式会社 | 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム |
US8581974B2 (en) * | 2010-05-06 | 2013-11-12 | Aptina Imaging Corporation | Systems and methods for presence detection |
WO2012012582A1 (en) * | 2010-07-21 | 2012-01-26 | Dolby Laboratories Licensing Corporation | Reference processing using advanced motion models for video coding |
US9357229B2 (en) | 2010-07-28 | 2016-05-31 | Qualcomm Incorporated | Coding motion vectors in video coding |
EP2421266A1 (en) * | 2010-08-19 | 2012-02-22 | Thomson Licensing | Method for reconstructing a current block of an image and corresponding encoding method, corresponding devices as well as storage medium carrying an images encoded in a bit stream |
US9066102B2 (en) | 2010-11-17 | 2015-06-23 | Qualcomm Incorporated | Reference picture list construction for generalized P/B frames in video coding |
JP5055419B2 (ja) * | 2010-12-14 | 2012-10-24 | 日立コンシューマエレクトロニクス株式会社 | 画像の復号化装置、復号化プログラムおよび復号化方法 |
CN103503458B (zh) | 2011-01-07 | 2017-09-22 | 诺基亚技术有限公司 | 视频编码中的运动预测 |
US8917763B2 (en) | 2011-03-07 | 2014-12-23 | Panasonic Corporation | Motion compensation apparatus, video coding apparatus, video decoding apparatus, motion compensation method, program, and integrated circuit |
US10264276B2 (en) | 2011-06-14 | 2019-04-16 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding motion information and method and apparatus for decoding same |
JP2013102297A (ja) | 2011-11-07 | 2013-05-23 | Canon Inc | 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム |
JP5871628B2 (ja) * | 2011-11-07 | 2016-03-01 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
US9769473B2 (en) | 2012-06-08 | 2017-09-19 | Apple Inc. | Predictive video coder with low power reference picture transformation |
CN103929649B (zh) * | 2014-04-28 | 2017-04-26 | 广西大学 | 一种视频压缩感知的重建方法 |
CN107809642B (zh) | 2015-02-16 | 2020-06-16 | 华为技术有限公司 | 用于视频图像编码和解码的方法、编码设备和解码设备 |
KR102248172B1 (ko) * | 2015-03-16 | 2021-05-04 | 한양대학교 산학협력단 | 영상 분석을 이용한 비디오 부호화/복호화 방법 및 장치 |
CN111526361B (zh) * | 2016-02-06 | 2022-05-13 | 华为技术有限公司 | 图像编解码方法及装置 |
ES2737841B1 (es) * | 2016-02-25 | 2021-07-27 | Kt Corp | Método y aparato para procesar señales de vídeo |
US10560712B2 (en) * | 2016-05-16 | 2020-02-11 | Qualcomm Incorporated | Affine motion prediction for video coding |
EP3497932A4 (en) | 2016-08-15 | 2020-03-25 | Nokia Technologies Oy | VIDEO CODING AND DECODING |
US10979732B2 (en) * | 2016-10-04 | 2021-04-13 | Qualcomm Incorporated | Adaptive motion vector precision for video coding |
US10448010B2 (en) | 2016-10-05 | 2019-10-15 | Qualcomm Incorporated | Motion vector prediction for affine motion models in video coding |
CN108271028A (zh) * | 2016-12-30 | 2018-07-10 | 北京优朋普乐科技有限公司 | 一种子像素全搜索方法及装置 |
US11818401B2 (en) | 2017-09-14 | 2023-11-14 | Apple Inc. | Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables |
US10897269B2 (en) | 2017-09-14 | 2021-01-19 | Apple Inc. | Hierarchical point cloud compression |
US10861196B2 (en) | 2017-09-14 | 2020-12-08 | Apple Inc. | Point cloud compression |
US10909725B2 (en) | 2017-09-18 | 2021-02-02 | Apple Inc. | Point cloud compression |
US11113845B2 (en) | 2017-09-18 | 2021-09-07 | Apple Inc. | Point cloud compression using non-cubic projections and masks |
US11877001B2 (en) | 2017-10-10 | 2024-01-16 | Qualcomm Incorporated | Affine prediction in video coding |
US10607373B2 (en) | 2017-11-22 | 2020-03-31 | Apple Inc. | Point cloud compression with closed-loop color conversion |
US10939129B2 (en) | 2018-04-10 | 2021-03-02 | Apple Inc. | Point cloud compression |
US10909727B2 (en) | 2018-04-10 | 2021-02-02 | Apple Inc. | Hierarchical point cloud compression with smoothing |
US10909726B2 (en) | 2018-04-10 | 2021-02-02 | Apple Inc. | Point cloud compression |
US11010928B2 (en) | 2018-04-10 | 2021-05-18 | Apple Inc. | Adaptive distance based point cloud compression |
JP7171770B2 (ja) * | 2018-06-28 | 2022-11-15 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 動きベクトル精密化および動き補償のためのメモリアクセスウィンドウおよびパディング |
US11017566B1 (en) | 2018-07-02 | 2021-05-25 | Apple Inc. | Point cloud compression with adaptive filtering |
US11202098B2 (en) | 2018-07-05 | 2021-12-14 | Apple Inc. | Point cloud compression with multi-resolution video encoding |
US11012713B2 (en) | 2018-07-12 | 2021-05-18 | Apple Inc. | Bit stream structure for compressed point cloud data |
US11367224B2 (en) | 2018-10-02 | 2022-06-21 | Apple Inc. | Occupancy map block-to-patch information compression |
US11025951B2 (en) * | 2019-01-13 | 2021-06-01 | Tencent America LLC | Method and apparatus for video coding |
US11683501B2 (en) | 2019-01-17 | 2023-06-20 | Tencent America LLC | Method and apparatus for video coding |
US11057564B2 (en) | 2019-03-28 | 2021-07-06 | Apple Inc. | Multiple layer flexure for supporting a moving image sensor |
US11711544B2 (en) | 2019-07-02 | 2023-07-25 | Apple Inc. | Point cloud compression with supplemental information messages |
US11202078B2 (en) * | 2019-09-27 | 2021-12-14 | Apple Inc. | Dynamic point cloud compression using inter-prediction |
US11562507B2 (en) | 2019-09-27 | 2023-01-24 | Apple Inc. | Point cloud compression using video encoding with time consistent patches |
US11627314B2 (en) | 2019-09-27 | 2023-04-11 | Apple Inc. | Video-based point cloud compression with non-normative smoothing |
US11538196B2 (en) | 2019-10-02 | 2022-12-27 | Apple Inc. | Predictive coding for point cloud compression |
US11895307B2 (en) | 2019-10-04 | 2024-02-06 | Apple Inc. | Block-based predictive coding for point cloud compression |
US11798196B2 (en) | 2020-01-08 | 2023-10-24 | Apple Inc. | Video-based point cloud compression with predicted patches |
US11475605B2 (en) | 2020-01-09 | 2022-10-18 | Apple Inc. | Geometry encoding of duplicate points |
US11615557B2 (en) | 2020-06-24 | 2023-03-28 | Apple Inc. | Point cloud compression using octrees with slicing |
US11620768B2 (en) | 2020-06-24 | 2023-04-04 | Apple Inc. | Point cloud geometry compression using octrees with multiple scan orders |
US11948338B1 (en) | 2021-03-29 | 2024-04-02 | Apple Inc. | 3D volumetric content encoding using 2D videos and simplified 3D meshes |
CN113658035B (zh) * | 2021-08-17 | 2023-08-08 | 北京百度网讯科技有限公司 | 脸部变换方法、装置、设备、存储介质以及产品 |
US20230134017A1 (en) * | 2021-11-01 | 2023-05-04 | Tencent America LLC | Template-matching based adaptive motion vector resolution (amvr) for bi-prediction and an affine mode |
Family Cites Families (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4661849A (en) * | 1985-06-03 | 1987-04-28 | Pictel Corporation | Method and apparatus for providing motion estimation signals for communicating image sequences |
DE3629472A1 (de) * | 1986-08-29 | 1988-03-03 | Licentia Gmbh | Verfahren zur bewegungskompensierten bild-zu-bild-praediktionscodierung |
US4972260A (en) * | 1988-08-22 | 1990-11-20 | Matsushita Electric Industrial Co., Ltd. | Apparatus for coding a moving-picture signal |
US5236682A (en) * | 1989-10-25 | 1993-08-17 | Hoechst Aktiengesellschaft | Process for producing crystalline sodium silicates having a layered structure |
JP2569219B2 (ja) * | 1990-01-31 | 1997-01-08 | 富士通株式会社 | 動画像予測方式 |
JPH048585A (ja) | 1990-04-26 | 1992-01-13 | Fuji Photo Film Co Ltd | 情報記録媒体の製造方法 |
JPH048585U (ja) * | 1990-05-14 | 1992-01-27 | ||
SE9002647L (sv) * | 1990-08-15 | 1991-09-02 | Televerket | Metod foer roerelsekompensering och elastisk deformation i bildsekvenser |
US5467136A (en) * | 1991-05-31 | 1995-11-14 | Kabushiki Kaisha Toshiba | Video decoder for determining a motion vector from a scaled vector and a difference vector |
EP0542261B1 (en) | 1991-11-12 | 1998-10-21 | Nippon Hoso Kyokai | Method of performing high efficiency coding of image signal and system therefor |
JP2549479B2 (ja) * | 1991-12-06 | 1996-10-30 | 日本電信電話株式会社 | 動き補償フレーム間帯域分割符号化処理方法 |
JP3090763B2 (ja) * | 1992-02-06 | 2000-09-25 | 富士通株式会社 | 動画像符号化装置 |
JPH05236466A (ja) * | 1992-02-25 | 1993-09-10 | Nec Corp | 動き補償フレーム間予測画像符号化装置及び方法 |
JP2606523B2 (ja) * | 1992-02-28 | 1997-05-07 | 日本ビクター株式会社 | 予測符号化装置及び復号化装置 |
US5475446A (en) * | 1992-03-09 | 1995-12-12 | Matsushita Electric Industrial Co., Ltd. | Picture signal motion detector employing partial decimation of pixel blocks |
JPH05268594A (ja) * | 1992-03-18 | 1993-10-15 | Sony Corp | 動画像の動き検出装置 |
US5247355A (en) * | 1992-06-11 | 1993-09-21 | Northwest Starscan Limited Partnership | Gridlocked method and system for video motion compensation |
JP3443867B2 (ja) * | 1992-06-26 | 2003-09-08 | ソニー株式会社 | 画像信号符号化、復号化方法及び画像信号記録媒体 |
DE4322343C2 (de) * | 1992-07-06 | 1996-10-02 | Mitsubishi Electric Corp | Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors |
JPH06113287A (ja) * | 1992-09-30 | 1994-04-22 | Matsushita Electric Ind Co Ltd | 画像符号化装置と画像復号化装置 |
JPH06153185A (ja) * | 1992-11-06 | 1994-05-31 | Toshiba Corp | 動き補償装置及びこれを用いた符号化装置 |
US5398079A (en) | 1993-01-27 | 1995-03-14 | General Instrument Corporation | Half-pixel interpolation for a motion compensated digital video system |
DE69415702T2 (de) * | 1993-02-22 | 1999-05-20 | Matsushita Electric Industrial Co., Ltd., Kadoma, Osaka | Verfahren und Vorrichtungen zur Kodierung und Dekodierung von Bewegtbildern |
TW224553B (en) * | 1993-03-01 | 1994-06-01 | Sony Co Ltd | Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture |
US6236682B1 (en) * | 1993-03-08 | 2001-05-22 | Sony Corporation | Video motion vector detection including rotation and/or zoom vector generation |
DE69416717T2 (de) * | 1993-05-21 | 1999-10-07 | Nippon Telegraph And Telephone Corp., Tokio/Tokyo | Bewegtbildkoder und -dekoder |
IT1262275B (it) | 1993-05-26 | 1996-06-19 | Metodo e dispositivo per la formazione automatica di pacchi di lamierini metallici, tranciati, per la fabbricazione di armature di macchine elettriche, o simili. | |
FI97008C (fi) * | 1993-06-02 | 1996-09-25 | Nokia Oy Ab | Menetelmä videokuvan ennustamiseksi käsittelyjärjestyksessä edellisen kuvan perusteella |
US5473379A (en) * | 1993-11-04 | 1995-12-05 | At&T Corp. | Method and apparatus for improving motion compensation in digital video coding |
US5719630A (en) * | 1993-12-10 | 1998-02-17 | Nec Corporation | Apparatus for compressive coding in moving picture coding device |
JP3266416B2 (ja) * | 1994-04-18 | 2002-03-18 | ケイディーディーアイ株式会社 | 動き補償フレーム間符号化復号装置 |
JP2897649B2 (ja) * | 1994-08-08 | 1999-05-31 | 日本ビクター株式会社 | 動き補償予測符号化装置 |
US5684538A (en) * | 1994-08-18 | 1997-11-04 | Hitachi, Ltd. | System and method for performing video coding/decoding using motion compensation |
US5768438A (en) * | 1994-10-19 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Image encoding/decoding device |
KR0181034B1 (ko) * | 1995-03-18 | 1999-05-01 | 배순훈 | 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치 |
US5650823A (en) | 1995-03-27 | 1997-07-22 | International Business Machines Corporation | Half pel motion estimation method for B pictures |
US5812791A (en) * | 1995-05-10 | 1998-09-22 | Cagent Technologies, Inc. | Multiple sequence MPEG decoder |
GB2301972B (en) * | 1995-06-06 | 1999-10-20 | Sony Uk Ltd | Video compression |
US5774676A (en) * | 1995-10-03 | 1998-06-30 | S3, Incorporated | Method and apparatus for decompression of MPEG compressed data in a computer system |
JPH09102954A (ja) * | 1995-10-04 | 1997-04-15 | Matsushita Electric Ind Co Ltd | 1つまたは2つの予測ブロックからブロックの画素値を計算する方法 |
US5761423A (en) * | 1995-11-14 | 1998-06-02 | Industrial Technology Research Institute | Scalable picture storage access architecture for video decoding |
US6968003B1 (en) * | 1996-01-29 | 2005-11-22 | International Business Machines Corporation | Speed-memory tradeoff for MPEG decoders |
US6049362A (en) * | 1996-02-14 | 2000-04-11 | International Business Machines Corporation | Dual prime motion estimation system and method |
JP3183155B2 (ja) * | 1996-03-18 | 2001-07-03 | 株式会社日立製作所 | 画像復号化装置、及び、画像復号化方法 |
DK0933346T3 (da) * | 1996-07-31 | 2004-03-29 | Shionogi & Co | Nye p-terphenylforbindelser |
JP3426092B2 (ja) * | 1996-09-12 | 2003-07-14 | シャープ株式会社 | 動画像符号化装置における動き補償フレーム間予測方法 |
JPH1098729A (ja) * | 1996-09-20 | 1998-04-14 | Hitachi Ltd | フレーム間予測画像の合成方法 |
JP2001502504A (ja) * | 1996-10-11 | 2001-02-20 | サーノフ コーポレイション | 立体視ビデオを符号化及び複号する装置及び方法 |
US6005980A (en) * | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
US5991447A (en) * | 1997-03-07 | 1999-11-23 | General Instrument Corporation | Prediction and coding of bi-directionally predicted video object planes for interlaced digital video |
AU1941797A (en) | 1997-03-17 | 1998-10-12 | Mitsubishi Denki Kabushiki Kaisha | Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system |
US6249613B1 (en) * | 1997-03-31 | 2001-06-19 | Sharp Laboratories Of America, Inc. | Mosaic generation and sprite-based coding with automatic foreground and background separation |
US6633611B2 (en) | 1997-04-24 | 2003-10-14 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for region-based moving image encoding and decoding |
EP1237376B1 (en) * | 1997-06-09 | 2015-08-05 | Hitachi, Ltd. | Image information recording medium |
JPH1169345A (ja) * | 1997-06-11 | 1999-03-09 | Fujitsu Ltd | フレーム間予測動画像符号化装置及び復号装置並びにフレーム間予測動画像符号化方法及び復号方法 |
US6249318B1 (en) * | 1997-09-12 | 2001-06-19 | 8×8, Inc. | Video coding/decoding arrangement and method therefor |
PL341984A1 (en) * | 1998-01-28 | 2001-05-07 | Shionogi & Co | Novel tricycle compounds |
US6249618B1 (en) * | 1998-12-18 | 2001-06-19 | Syscan, Inc. | Circuit architecture and method for switching sensor resolution |
US6625211B1 (en) * | 1999-02-25 | 2003-09-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for transforming moving picture coding system |
GB9920256D0 (en) * | 1999-08-26 | 1999-10-27 | Wave Limited M | Motion estimation and compensation in video compression |
EP1433329A2 (en) * | 2001-05-29 | 2004-06-30 | Koninklijke Philips Electronics N.V. | Method and device for video transcoding |
WO2003026315A1 (en) | 2001-09-14 | 2003-03-27 | Ntt Docomo, Inc. | Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program |
JP3824071B2 (ja) * | 2001-12-25 | 2006-09-20 | 信越化学工業株式会社 | 室温硬化性オルガノポリシロキサン組成物 |
-
1997
- 1997-03-17 AU AU19417/97A patent/AU1941797A/en not_active Abandoned
- 1997-03-17 WO PCT/JP1997/000834 patent/WO1998042134A1/ja active Application Filing
- 1997-10-23 EP EP19970909589 patent/EP0905980B1/en not_active Expired - Lifetime
- 1997-10-23 EP EP20100008594 patent/EP2252065A3/en not_active Withdrawn
- 1997-10-23 EP EP20060018030 patent/EP1725045B1/en not_active Expired - Lifetime
- 1997-10-23 EP EP20100008596 patent/EP2252067A3/en not_active Withdrawn
- 1997-10-23 KR KR1019980709254A patent/KR100319944B1/ko not_active IP Right Cessation
- 1997-10-23 EP EP20100008597 patent/EP2252068A3/en not_active Withdrawn
- 1997-10-23 DE DE69740005T patent/DE69740005D1/de not_active Expired - Lifetime
- 1997-10-23 JP JP54033398A patent/JP3386142B2/ja not_active Expired - Lifetime
- 1997-10-23 DE DE69738792T patent/DE69738792D1/de not_active Expired - Lifetime
- 1997-10-23 DE DE69740004T patent/DE69740004D1/de not_active Expired - Lifetime
- 1997-10-23 EP EP20100008595 patent/EP2252066A3/en not_active Withdrawn
- 1997-10-23 EP EP20060018031 patent/EP1725046B1/en not_active Expired - Lifetime
- 1997-10-23 EP EP20060018032 patent/EP1725047B1/en not_active Expired - Lifetime
- 1997-10-23 WO PCT/JP1997/003825 patent/WO1998042135A1/ja active IP Right Grant
- 1997-10-23 DE DE69739999T patent/DE69739999D1/de not_active Expired - Lifetime
- 1997-10-23 US US09/180,188 patent/US6404815B1/en not_active Expired - Lifetime
- 1997-10-23 AU AU47226/97A patent/AU704916B2/en not_active Expired
-
2002
- 2002-03-04 US US10/086,446 patent/US7110456B2/en not_active Expired - Lifetime
-
2006
- 2006-02-13 US US11/352,377 patent/US8194742B2/en not_active Expired - Fee Related
- 2006-03-23 US US11/386,685 patent/US8170105B2/en not_active Expired - Fee Related
-
2009
- 2009-12-29 US US12/648,837 patent/US8098734B2/en not_active Expired - Fee Related
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3386142B2 (ja) | 画像復号装置および画像復号方法 | |
KR100412622B1 (ko) | 화상복호화장치및화상복호화방법 | |
US6275532B1 (en) | Video coding device and video decoding device with a motion compensated interframe prediction | |
KR100246167B1 (ko) | 듀얼프라임 움직임 추정시스템 및 방법 | |
KR19980080012A (ko) | 인터레이스드 디지털 비디오를 위한 비디오 객체면의 동작 추정 및 보상 | |
EP1819173B1 (en) | Motion vector predictive encoding apparatus and decoding apparatus | |
KR100926752B1 (ko) | 동영상 부호화를 위한 미세 움직임 추정 방법 및 장치 | |
JP4000928B2 (ja) | 動き補償装置 | |
KR100266161B1 (ko) | 디지털 영상을 위한 움직임 추정방법(Method of Predicting Motion for Digital Image) | |
JP3513277B2 (ja) | 映像符号化装置及び映像復号化装置 | |
KR100240620B1 (ko) | 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치 | |
JP3520800B2 (ja) | 画像復号化装置及び画像復号化方法 | |
JPH1023422A (ja) | 画像符号化装置及び画像復号化装置及び画像符号化方法及び画像復号化方法及び画像符号化復号化システム | |
KR19990038002A (ko) | 움직임 추정방법 및 장치 | |
MXPA98007455A (en) | Video encoding and decoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080110 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090110 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100110 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100110 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110110 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120110 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130110 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130110 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |