JP2702488B2 - 動画像の予測符号化方式 - Google Patents
動画像の予測符号化方式Info
- Publication number
- JP2702488B2 JP2702488B2 JP773288A JP773288A JP2702488B2 JP 2702488 B2 JP2702488 B2 JP 2702488B2 JP 773288 A JP773288 A JP 773288A JP 773288 A JP773288 A JP 773288A JP 2702488 B2 JP2702488 B2 JP 2702488B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- prediction
- block size
- prediction error
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 〔目次〕 概要 産業上の利用分野 従来の技術（第９図〜第14図） 発明が解決しようとする問題点 問題点を解決するための手段（第１図） 作用（第２図） 実施例（第３図〜第７図） 変更例（第８図） 発明の効果 〔概要〕 可変ブロックサイズによる動画像の予測符号化方式に
関し， 動画像予測符号化における予測誤差算出のための計算
量の削減を図ることを目的とし， 符号化を行うブロックのブロックサイズを複数種類予
め定め，各ブロックサイズのブロックについて所要の予
測方法で予測誤差を求め，求められた予測誤差によって
符号化に適したブロックサイズを動画像の各部位毎に決
定してブロック単位で符号化する動画像予測符号化方式
において，最小ブロックサイズのブロックの各々につい
て該所要の予測方式により予測誤差を求め，求められた
最小ブロックサイズのブロックの予測誤差の平均値を演
算することによって上位層ブロックサイズのブロックの
予測誤差を算出するよう構成する。
関し， 動画像予測符号化における予測誤差算出のための計算
量の削減を図ることを目的とし， 符号化を行うブロックのブロックサイズを複数種類予
め定め，各ブロックサイズのブロックについて所要の予
測方法で予測誤差を求め，求められた予測誤差によって
符号化に適したブロックサイズを動画像の各部位毎に決
定してブロック単位で符号化する動画像予測符号化方式
において，最小ブロックサイズのブロックの各々につい
て該所要の予測方式により予測誤差を求め，求められた
最小ブロックサイズのブロックの予測誤差の平均値を演
算することによって上位層ブロックサイズのブロックの
予測誤差を算出するよう構成する。
本発明は可変ブロックサイズによる動画像の予測符号
化方式に関する。
化方式に関する。
テレビ会議システム等を実現する動画像帯域圧縮符号
化方式として予測符号化方式があり，これにはフレーム
内予測，フレーム間予測，動き補償予測等がある。
化方式として予測符号化方式があり，これにはフレーム
内予測，フレーム間予測，動き補償予測等がある。
動き補償予測はフレーム間の相関を利用して動きの検
出を行うことにより時間軸方向の冗長性を大きく削減す
る方式であり，画面を複数のブロックに分割してブロッ
ク単位で符号化を行い，各ブロックにつき動ベクトルを
算出して予測の補正を行う。このブロックのサイズにつ
いて検討してみると，一般にブロックサイズは小さくな
るほど伝送情報量は増大するのでビットレートの低減化
の観点からはブロックサイズは大きくとったほうがよ
い。この場合，静止領域については予測のブロックサイ
ズを大きくして伝送情報量を小さくしても，復元された
画面と原画との誤差は小さい。一方，動領域ではブロッ
クサイズを大きくすると予測誤差が大きくなり，復元画
像の品質が劣化する。このためブロックサイズを小さく
して予測誤差を小さくする必要があるが，この場合，伝
送情報量が大きくなり，ビットレートの低減を図れな
い。
出を行うことにより時間軸方向の冗長性を大きく削減す
る方式であり，画面を複数のブロックに分割してブロッ
ク単位で符号化を行い，各ブロックにつき動ベクトルを
算出して予測の補正を行う。このブロックのサイズにつ
いて検討してみると，一般にブロックサイズは小さくな
るほど伝送情報量は増大するのでビットレートの低減化
の観点からはブロックサイズは大きくとったほうがよ
い。この場合，静止領域については予測のブロックサイ
ズを大きくして伝送情報量を小さくしても，復元された
画面と原画との誤差は小さい。一方，動領域ではブロッ
クサイズを大きくすると予測誤差が大きくなり，復元画
像の品質が劣化する。このためブロックサイズを小さく
して予測誤差を小さくする必要があるが，この場合，伝
送情報量が大きくなり，ビットレートの低減を図れな
い。
このように動き補償予測方式では符号化を行うブロッ
クサイズは画面のどの部分でも一定であり，画面の静止
領域でも動きの激しい動領域でも同一のサイズで符号化
を行っている。このため，例えばブロックサイズを一様
に大きくした場合は動きの激しい部分では誤差が大きく
なる。一方，ブロックサイズを一様に小さくした場合は
動きの激しい部分での誤差を小さくできるが，半面，静
止部分に対しての伝達情報量が増大し，余分な情報を伝
送しなければならなくなる。
クサイズは画面のどの部分でも一定であり，画面の静止
領域でも動きの激しい動領域でも同一のサイズで符号化
を行っている。このため，例えばブロックサイズを一様
に大きくした場合は動きの激しい部分では誤差が大きく
なる。一方，ブロックサイズを一様に小さくした場合は
動きの激しい部分での誤差を小さくできるが，半面，静
止部分に対しての伝達情報量が増大し，余分な情報を伝
送しなければならなくなる。
このような問題を解決するために，本出願人に係る発
明の名称「可変ブロックサイズ動き補償方式」と称され
る昭和62年９月22日付けの特許出願においては，動画像
の静止部分や動部分等の各部位の性質に応じて適応的に
予測方式とブロックサイズを選択して画像符号化を行う
ことにより，動画像全体に対して誤差の小さい的確な符
号化を行いつつ全体として伝送効率の向上を図ることが
できる画像符号化方式が提案される。以下にこの画像符
号化方式について更に詳細に説明する。
明の名称「可変ブロックサイズ動き補償方式」と称され
る昭和62年９月22日付けの特許出願においては，動画像
の静止部分や動部分等の各部位の性質に応じて適応的に
予測方式とブロックサイズを選択して画像符号化を行う
ことにより，動画像全体に対して誤差の小さい的確な符
号化を行いつつ全体として伝送効率の向上を図ることが
できる画像符号化方式が提案される。以下にこの画像符
号化方式について更に詳細に説明する。
この画像符号化方式は，動画像信号をブロック単位で
予測符号化し，それに際し予測方式としてフレーム間予
測，動き補償予測およびフレーム内予測の何れかを適応
的に選択するとともに，画像の変化の激しい部分に対し
てはブロックサイズを小さくし静止的な部分に対しては
ブロックサイズを大きくするといったように画面の部分
的な状態に応じてブロックサイズを適応的に切り換え
る。
予測符号化し，それに際し予測方式としてフレーム間予
測，動き補償予測およびフレーム内予測の何れかを適応
的に選択するとともに，画像の変化の激しい部分に対し
てはブロックサイズを小さくし静止的な部分に対しては
ブロックサイズを大きくするといったように画面の部分
的な状態に応じてブロックサイズを適応的に切り換え
る。
ここで被符号化ブロックのブロックサイズを最大で32
×32（pel）とし，このサイズで以下に説明する処理を
繰り返すものとして説明する。第９図に示されるよう
に，被符号化ブロックの最大サイズは32×32であり，こ
れを数段階に分けて順次に細分割して16×16,8×8,4×
４の計,4種類のブロックサイズを用意する。従って32×
32のブロックは，第10図に示されるように,16×16,8×
8,4×４と順次に小なるブロックに４段階に細分化され
ることになる。
×32（pel）とし，このサイズで以下に説明する処理を
繰り返すものとして説明する。第９図に示されるよう
に，被符号化ブロックの最大サイズは32×32であり，こ
れを数段階に分けて順次に細分割して16×16,8×8,4×
４の計,4種類のブロックサイズを用意する。従って32×
32のブロックは，第10図に示されるように,16×16,8×
8,4×４と順次に小なるブロックに４段階に細分化され
ることになる。
次にこのようにして得られた各階層のサイズのブロッ
ク全体についてブロック毎に，フレーム間予測，動き補
償予測およびフレーム内予測の３種類の予測符号化を行
ってそれぞれフレーム間予測誤差ε（ｋ），動き補償予
測誤差ε（ｍ）およびフレーム内予測誤差ε（ｎ）を得
る。そして各ブロック毎にこれらの予測誤差ε（ｋ），
ε（ｍ），ε（ｎ）を所定の評価関数に従って評価して
そのブロックについての最適の予測方式を決定し，その
予測方式識別情報とともにその予測方式による予測誤差
を当該ブロック対応のメモリに格納する。
ク全体についてブロック毎に，フレーム間予測，動き補
償予測およびフレーム内予測の３種類の予測符号化を行
ってそれぞれフレーム間予測誤差ε（ｋ），動き補償予
測誤差ε（ｍ）およびフレーム内予測誤差ε（ｎ）を得
る。そして各ブロック毎にこれらの予測誤差ε（ｋ），
ε（ｍ），ε（ｎ）を所定の評価関数に従って評価して
そのブロックについての最適の予測方式を決定し，その
予測方式識別情報とともにその予測方式による予測誤差
を当該ブロック対応のメモリに格納する。
なおここで動き補償予測の予測誤差ε（ｍ）の計算方
法についてさらに詳細に説明すると，これは以下のよう
に動ベクトル探索して行われる。すなわち動ベクトルの
探索は，第11図に示されるような探索順番表に基づいて
行われるものであり，現フレームの入力画面ORGに対し
て前フレームの参照画面REFの位置を探索順番表に従っ
てそれに示される動ベクトル位置に順次にずらして，そ
れぞれの位置において画面の予測誤差の絶対値の積算値
を求め，それらの値を評価して誤差が最小となる最適の
動ベクトルを決定してその最適動ベクトルの予測誤差を
当該ブロックの予測誤差とするものである。なおここで
は評価のために予測誤差の絶対値を用いたが，これに限
らず例えば予測誤差の平均二乗の平方根を用いることな
ども可能である。
法についてさらに詳細に説明すると，これは以下のよう
に動ベクトル探索して行われる。すなわち動ベクトルの
探索は，第11図に示されるような探索順番表に基づいて
行われるものであり，現フレームの入力画面ORGに対し
て前フレームの参照画面REFの位置を探索順番表に従っ
てそれに示される動ベクトル位置に順次にずらして，そ
れぞれの位置において画面の予測誤差の絶対値の積算値
を求め，それらの値を評価して誤差が最小となる最適の
動ベクトルを決定してその最適動ベクトルの予測誤差を
当該ブロックの予測誤差とするものである。なおここで
は評価のために予測誤差の絶対値を用いたが，これに限
らず例えば予測誤差の平均二乗の平方根を用いることな
ども可能である。
探索順番表の枡目の中の数字は探索位置の順番を示し
ており，これらは所定の探索範囲内において順番付けさ
れている。１番目に指定された位置を探索しその後，順
次に探索位置を遠ざけていく。ここで１番目の位置は参
照画面REFの位置を移動させていない場合に相当するも
のであり，従ってこれはフレーム間予測の場合に相当す
る。
ており，これらは所定の探索範囲内において順番付けさ
れている。１番目に指定された位置を探索しその後，順
次に探索位置を遠ざけていく。ここで１番目の位置は参
照画面REFの位置を移動させていない場合に相当するも
のであり，従ってこれはフレーム間予測の場合に相当す
る。
以上のようにして各ブロックサイズの全てのブロック
について予測方式の決定が行われ，その結果選択された
予測方式と予測誤差が各ブロック対応のメモリにそれぞ
れ格納されると，次に符号化に最適のブロックサイズの
決定が行われる。このブロックサイズの決定は，まず４
×４のブロックと８×８のブロックの間で行われ，次い
で８×８と16×16の間,16×16と32×32の間の順で行わ
れる。
について予測方式の決定が行われ，その結果選択された
予測方式と予測誤差が各ブロック対応のメモリにそれぞ
れ格納されると，次に符号化に最適のブロックサイズの
決定が行われる。このブロックサイズの決定は，まず４
×４のブロックと８×８のブロックの間で行われ，次い
で８×８と16×16の間,16×16と32×32の間の順で行わ
れる。
すなわち８×８のブロックの予測誤差と，そのブロッ
クを更に４分割した４×４の４つのブロックの各予測誤
差の平均値とを所定の評価関数に従って評価し，画面の
その部位を符号化するには８×８のブロックと４×４の
ブロックとではどちらがより適切であるかを判定する。
このような処理を８×８と４×４のブロック全てにつき
行ったら，次に８×８と16×16のブロックに対して同様
な処理を行うものである。
クを更に４分割した４×４の４つのブロックの各予測誤
差の平均値とを所定の評価関数に従って評価し，画面の
その部位を符号化するには８×８のブロックと４×４の
ブロックとではどちらがより適切であるかを判定する。
このような処理を８×８と４×４のブロック全てにつき
行ったら，次に８×８と16×16のブロックに対して同様
な処理を行うものである。
以上により，画像の各部位に応じて最適なブロックサ
イズが選ばれる。この場合，動きが少ない静止的な部位
に対しては最大のブロックサイズ32×32が選択され，動
きが多くなるに従い順に小さなブロック16×16,8×8,4
×４が選択される。
イズが選ばれる。この場合，動きが少ない静止的な部位
に対しては最大のブロックサイズ32×32が選択され，動
きが多くなるに従い順に小さなブロック16×16,8×8,4
×４が選択される。
このようにして32×32のブロックサイズを最大ブロッ
クとして16×16,8×8,4×４の各サイズのブロックの全
てについて予測誤差等のデータを求めると，そのデータ
構造は第12図に示されるような４段４分岐のツリー状の
ものとなり，この中で評価関数に従って順次にブロック
サイズを決定することによって最適な径路が決定され
る。
クとして16×16,8×8,4×４の各サイズのブロックの全
てについて予測誤差等のデータを求めると，そのデータ
構造は第12図に示されるような４段４分岐のツリー状の
ものとなり，この中で評価関数に従って順次にブロック
サイズを決定することによって最適な径路が決定され
る。
第13図は処理結果の一例としての最適径路を示すもの
である。図中，細線の長円は最適のブロックサイズとし
て選ばれたブロックを示し，太線の長円は最適のブロッ
クサイズに選ばれなかったブロックを示す。なお各長円
に対応して予測誤差εと予測のための情報量ｉがデータ
としてメモリに格納されるものである。
である。図中，細線の長円は最適のブロックサイズとし
て選ばれたブロックを示し，太線の長円は最適のブロッ
クサイズに選ばれなかったブロックを示す。なお各長円
に対応して予測誤差εと予測のための情報量ｉがデータ
としてメモリに格納されるものである。
第13図中に〜で示された16×16のブロックは，第
14図に示されるように,32×32のブロックを４分割した1
6×16の各ブロック〜の各位置に対応している。第1
3図において16×16のブロックよりさらに下位階層に分
岐されるブロックの上位階層ブロックに対する位置関係
も第14図の位置関係と同様になっている。したがって第
13図のように決定された径路は，画面上では第15図に示
すように,32×32のブロックが複数種類のブロックで細
分化されたものに対応する。
14図に示されるように,32×32のブロックを４分割した1
6×16の各ブロック〜の各位置に対応している。第1
3図において16×16のブロックよりさらに下位階層に分
岐されるブロックの上位階層ブロックに対する位置関係
も第14図の位置関係と同様になっている。したがって第
13図のように決定された径路は，画面上では第15図に示
すように,32×32のブロックが複数種類のブロックで細
分化されたものに対応する。
上述した可変ブロックサイズによる画像符号化方式で
は各ブロックサイズの全てのブロックについてそれぞれ
フレーム間予測，動き補償予測およびフレーム内予測を
行って予測誤差を求めている。このためこれらの予測処
理に要する計算量は固定ブロックサイズによる予測符号
化の場合に比較して多くなり，特に動き補償予測を行う
ための計算量は格段に多くなる。
は各ブロックサイズの全てのブロックについてそれぞれ
フレーム間予測，動き補償予測およびフレーム内予測を
行って予測誤差を求めている。このためこれらの予測処
理に要する計算量は固定ブロックサイズによる予測符号
化の場合に比較して多くなり，特に動き補償予測を行う
ための計算量は格段に多くなる。
このことは装置化に際して実時間での処理を行う上で
不都合であり，また実時間で処理しようとすると装置が
大型化してしまうという問題点がある。
不都合であり，また実時間で処理しようとすると装置が
大型化してしまうという問題点がある。
したがって本発明の目的は，可変ブロックサイズによ
る画像符号化に際し，各ブロックの予測誤差を算出する
ための計算量を削減することにある。
る画像符号化に際し，各ブロックの予測誤差を算出する
ための計算量を削減することにある。
第１図は本発明が係わる予測符号化方式の原理図であ
る。
る。
本発明に係る動画像の予測符号化方式は，符号化を行
うブロックのブロックサイズを複数種類予め定め（S
1），各ブロックサイズのブロックについて所要の予測
方法で予測誤差を求め（S2），求められた予測誤差によ
って符号化に適したブロックサイズを動画像の各部位毎
に決定して（S3）ブロック単位で符号化する動画像予測
符号化方式において，最小ブロックサイズのブロックの
各々について該所要の予測方式により予測誤差を求め
（S4），求められた最小ブロックサイズのブロックの予
測誤差の平均値を演算することによって上位層ブロック
サイズのブロックの予測誤差を算出する（S5）ものであ
る。
うブロックのブロックサイズを複数種類予め定め（S
1），各ブロックサイズのブロックについて所要の予測
方法で予測誤差を求め（S2），求められた予測誤差によ
って符号化に適したブロックサイズを動画像の各部位毎
に決定して（S3）ブロック単位で符号化する動画像予測
符号化方式において，最小ブロックサイズのブロックの
各々について該所要の予測方式により予測誤差を求め
（S4），求められた最小ブロックサイズのブロックの予
測誤差の平均値を演算することによって上位層ブロック
サイズのブロックの予測誤差を算出する（S5）ものであ
る。
ブロックサイズとしてN1からNmまでの複数種類のサイ
ズで可変ブロックサイズの動画像符号化を行うものと
し，ここでサイズN1を最小のブロックとし,Nmを最大サ
イズのブロックとする。予測方法としてはここでは動き
補償予測を用いるものとする。
ズで可変ブロックサイズの動画像符号化を行うものと
し，ここでサイズN1を最小のブロックとし,Nmを最大サ
イズのブロックとする。予測方法としてはここでは動き
補償予測を用いるものとする。
まず最下層の最小ブロックN1について動き補償予測を
行っそれぞれの同ベクトル毎に動き補償予測誤差を求め
てメモリに保存しておく。これを最小ブロックN1の全て
について行う。
行っそれぞれの同ベクトル毎に動き補償予測誤差を求め
てメモリに保存しておく。これを最小ブロックN1の全て
について行う。
最小ブロックN1の次に小さいブロックN2（最下層から
２段目）においては，そのブロックと同位置を占める最
下層の複数のブロックの予測誤差を各ベクトル毎に統合
（平均値を求める）してその平均値を予測誤差とし，そ
れをメモリに保存する。この操作をブロックN2のそれぞ
れについて行う。
２段目）においては，そのブロックと同位置を占める最
下層の複数のブロックの予測誤差を各ベクトル毎に統合
（平均値を求める）してその平均値を予測誤差とし，そ
れをメモリに保存する。この操作をブロックN2のそれぞ
れについて行う。
このような操作を最上層のブロックNmまで順次に進め
る。これによって最小ブロックN1以外のブロックの予測
誤差の計算は単にメモリからデータを読み出してその平
均値をとるだけの簡単な操作で行える。
る。これによって最小ブロックN1以外のブロックの予測
誤差の計算は単にメモリからデータを読み出してその平
均値をとるだけの簡単な操作で行える。
なお予測方式がフレーム間予測の場合は動き補償予測
における動ベクトル（0,0）につき求めたデータがその
まま使え，また入力ブロック自身の平均値をとるフレー
ム内予測についても同様なことができるものである。
における動ベクトル（0,0）につき求めたデータがその
まま使え，また入力ブロック自身の平均値をとるフレー
ム内予測についても同様なことができるものである。
第２図は最大ブロックサイズを幹として得られる各ブ
ロックサイズのデータ構造を示すものであり，これはｋ
段ｌ分岐のツリー状構造となっており，動ベクトル毎に
かかるデータ構造対応のメモリが用意されるものであ
る。
ロックサイズのデータ構造を示すものであり，これはｋ
段ｌ分岐のツリー状構造となっており，動ベクトル毎に
かかるデータ構造対応のメモリが用意されるものであ
る。
以下，本発明の実施例を図面を参照して説明する。
第３図には本発明の一実施例としての動画像予測符号
化方式における予測誤差計算手順の流れ図が示される。
この実施例方式は，第９図および第10図に示されるよう
な最大32×32（pel）のブロックを16×16,8×8,4×４の
各ブロックサイズに分割してそれぞれのサイズのブロッ
クに対して動き補償予測の動ベクトルの探索を行い，そ
の結果得られる予測誤差に基づき画面の各部位の性質に
応じて最適のブロックサイズを適応的に選択して符号化
する可変ブロックサイズ動き補償予測符号化に関しての
ものであり，このような処理が１画面中の他の32×32の
サイズのブロックに対しても繰り返されるものである。
化方式における予測誤差計算手順の流れ図が示される。
この実施例方式は，第９図および第10図に示されるよう
な最大32×32（pel）のブロックを16×16,8×8,4×４の
各ブロックサイズに分割してそれぞれのサイズのブロッ
クに対して動き補償予測の動ベクトルの探索を行い，そ
の結果得られる予測誤差に基づき画面の各部位の性質に
応じて最適のブロックサイズを適応的に選択して符号化
する可変ブロックサイズ動き補償予測符号化に関しての
ものであり，このような処理が１画面中の他の32×32の
サイズのブロックに対しても繰り返されるものである。
まず最小サイズの４×４の64個の各ブロックについて
動き補償予測を行い，予測誤差ε（ｍ）を求める。第４
図は或る一つの４×４ブロックについて予測誤差を算出
するための手順を詳細に示した流れ図である。
動き補償予測を行い，予測誤差ε（ｍ）を求める。第４
図は或る一つの４×４ブロックについて予測誤差を算出
するための手順を詳細に示した流れ図である。
いま動き補償予測に際しての動ベクトルの探索の範囲
を，説明を簡単化するため，第５図に示されるような範
囲であるとする。すなわちｉ軸方向に−７〜＋７（画
素）,j軸方法に−７〜＋７（画素）の範囲である。この
探索範囲内にある各動ベクトルを で表すものとし，（i,j）はｉ軸およびｊ軸の座標を示
す。
を，説明を簡単化するため，第５図に示されるような範
囲であるとする。すなわちｉ軸方向に−７〜＋７（画
素）,j軸方法に−７〜＋７（画素）の範囲である。この
探索範囲内にある各動ベクトルを で表すものとし，（i,j）はｉ軸およびｊ軸の座標を示
す。
第４図において，まず変数ｉとｊをそれぞれ−７に設
定し（ステップS21,S22），動ベクトル の位置に参照画面REFを移動させてその位置で入力画面O
RGに対する予測誤差を算出する（ステップS23）。この
ようにして求めた予測誤差を当該動ベクトル 対応に用意されたメモリに格納する（ステップS24）。
定し（ステップS21,S22），動ベクトル の位置に参照画面REFを移動させてその位置で入力画面O
RGに対する予測誤差を算出する（ステップS23）。この
ようにして求めた予測誤差を当該動ベクトル 対応に用意されたメモリに格納する（ステップS24）。
上述の操作をｉ軸方向に−７から＋７（画素）まで繰
り返し（ステップS22〜S26），さらにこの操作をｊ軸方
向に−７から＋７（画素）まで繰り返すことによって
（ステップS22〜S28），第５図に示される探索範囲中の
全ての動ベクトル に対してそれぞれ予測誤差を求め，その結果を各動ベク
トル 対応のメモリに格納する。この操作を64個の４×４ブロ
ック全てについて行うものである。（ステップS11）。
り返し（ステップS22〜S26），さらにこの操作をｊ軸方
向に−７から＋７（画素）まで繰り返すことによって
（ステップS22〜S28），第５図に示される探索範囲中の
全ての動ベクトル に対してそれぞれ予測誤差を求め，その結果を各動ベク
トル 対応のメモリに格納する。この操作を64個の４×４ブロ
ック全てについて行うものである。（ステップS11）。
次にこのようにして求めた４×４ブロックの予測誤差
に基づき,8×８ブロックの予測誤差を算出する。これ
は，或る一つの８×８ブロックにつき，この８×８ブロ
ックと同位置を占める４つの４×４ブロックの予測誤差
の平均値を各動ベクトル 毎に求め，これを予測誤差とすることによる。この操作
はその８×８のブロックの大きさで動き補償を行ったこ
とと同じになる（ステップS13）。以上の操作を16個の
８×８ブロック全てについて行うものである。
に基づき,8×８ブロックの予測誤差を算出する。これ
は，或る一つの８×８ブロックにつき，この８×８ブロ
ックと同位置を占める４つの４×４ブロックの予測誤差
の平均値を各動ベクトル 毎に求め，これを予測誤差とすることによる。この操作
はその８×８のブロックの大きさで動き補償を行ったこ
とと同じになる（ステップS13）。以上の操作を16個の
８×８ブロック全てについて行うものである。
更に16×16のブロックの予測誤差の算出も上述同様に
して行われる。すなわち或る一つの16×16ブロックにつ
き，その16×16ブロックと同位置を占める４つの８×８
ブロックの予測誤差の平均値を各動ベクトル 毎に求め，これを予測誤差とする。この操作を４つの16
×16のブロック全てについて行う（ステップS13）。
して行われる。すなわち或る一つの16×16ブロックにつ
き，その16×16ブロックと同位置を占める４つの８×８
ブロックの予測誤差の平均値を各動ベクトル 毎に求め，これを予測誤差とする。この操作を４つの16
×16のブロック全てについて行う（ステップS13）。
最後に最大サイズ32×32のブロックの予測誤差も上述
同様,32×32のブロック一つに相当する16×16のブロッ
ク４つの平均値をとり，これを予測誤差とすることによ
り算出される（ステップS14）。
同様,32×32のブロック一つに相当する16×16のブロッ
ク４つの平均値をとり，これを予測誤差とすることによ
り算出される（ステップS14）。
このようにして算出された各ブロックサイズのブロッ
クの予測誤差を格納するメモリ構成が第６図に示され
る。この第６図のメモリ構成は一つの動ベクトル についてのものであり，図中，左端は４×４ブロック対
応のメモリであり，右側にいくに従って順次,8×８ブロ
ック対応,16×16ブロック対応,32×32ブロック対応のメ
モリとなる。図からも明らかなように,4つの４×４のメ
モリの内容を加算して４で割ることにより平均値を求め
て８×８のメモリの内容とし，さらにこの８×８の４つ
のメモリの内容を加算して４で割って16×16のメモリの
内容とし，最後にこの16×16のメモリの内容を加算し４
で割って32×32のメモリの内容としている。
クの予測誤差を格納するメモリ構成が第６図に示され
る。この第６図のメモリ構成は一つの動ベクトル についてのものであり，図中，左端は４×４ブロック対
応のメモリであり，右側にいくに従って順次,8×８ブロ
ック対応,16×16ブロック対応,32×32ブロック対応のメ
モリとなる。図からも明らかなように,4つの４×４のメ
モリの内容を加算して４で割ることにより平均値を求め
て８×８のメモリの内容とし，さらにこの８×８の４つ
のメモリの内容を加算して４で割って16×16のメモリの
内容とし，最後にこの16×16のメモリの内容を加算し４
で割って32×32のメモリの内容としている。
第６図に示すメモリ構成のブロックが，動ベクトル の全てについて備えられるものである。第７図はこのよ
うな全ての動ベクトルについての全体的なメモリ構成を
示す図である。図示のように，動ベクトル のそれぞれについて,4×4,8×8,16×16および32×32ブ
ロック対応のメモリからなるメモリブロックが備えられ
るものである。なおここで動 の時の動き補償予測はフレーム間予測となり，したがっ
てそのメモリの格納データはフレーム間予測誤差とな
る。
うな全ての動ベクトルについての全体的なメモリ構成を
示す図である。図示のように，動ベクトル のそれぞれについて,4×4,8×8,16×16および32×32ブ
ロック対応のメモリからなるメモリブロックが備えられ
るものである。なおここで動 の時の動き補償予測はフレーム間予測となり，したがっ
てそのメモリの格納データはフレーム間予測誤差とな
る。
変更例 本発明の実施にあたっては種々の変更態様が可能であ
る。例えば，上述の実施例では予測方式として動き補償
予測を行う場合について説明したが，これに限らず本発
明は例えばフレーム間予測，あるいは入力ブロック自体
の平均血を求めて予測誤差を算出するフレーム内予測な
どを行う場合についても適用できるものである。
る。例えば，上述の実施例では予測方式として動き補償
予測を行う場合について説明したが，これに限らず本発
明は例えばフレーム間予測，あるいは入力ブロック自体
の平均血を求めて予測誤差を算出するフレーム内予測な
どを行う場合についても適用できるものである。
また可変ブロックサイズによる予測符号化において
は，計算量の削減と効率化などのため予測誤差を知りた
い段より１段小さいブロックサイズの動き補償予測が行
われない場合があるが，かかる場合のメモリ構成は第７
図に示されるようなものとすればよい。すなわち各メモ
リの番地対応に予測誤差の計算を行ったか否かを示すフ
ラグをたてるフラグ部分を設け（図中に で示す），この部分により計算がされていないことが判
明したら必要に応じて当該ブロックの動き補償予測の計
算を行うようにする。
は，計算量の削減と効率化などのため予測誤差を知りた
い段より１段小さいブロックサイズの動き補償予測が行
われない場合があるが，かかる場合のメモリ構成は第７
図に示されるようなものとすればよい。すなわち各メモ
リの番地対応に予測誤差の計算を行ったか否かを示すフ
ラグをたてるフラグ部分を設け（図中に で示す），この部分により計算がされていないことが判
明したら必要に応じて当該ブロックの動き補償予測の計
算を行うようにする。
本発明によれば，可変ブロックサイズによる動画像予
測符号化における予測誤差の算出を行うに際し，最小サ
イズのブロックについて所要の予測方式で予測誤差を一
度算出してメモリに格納しておけば，他のブロックサイ
ズのブロックの予測誤差の計算はメモリの内容を読み出
して平均をとるだけの簡単な演算で求められるようにな
り，よって予測誤差算出の計算量を大幅に削減すること
ができ，それにより装置の実時間処理化および小型化を
図ることができる。
測符号化における予測誤差の算出を行うに際し，最小サ
イズのブロックについて所要の予測方式で予測誤差を一
度算出してメモリに格納しておけば，他のブロックサイ
ズのブロックの予測誤差の計算はメモリの内容を読み出
して平均をとるだけの簡単な演算で求められるようにな
り，よって予測誤差算出の計算量を大幅に削減すること
ができ，それにより装置の実時間処理化および小型化を
図ることができる。
第１図は本発明に係る動画像の予測符号化方式の原理
図， 第２図は本発明方式により算出される予測誤差を保存す
るメモリ構成の例を示す図， 第３図は本発明の一実施例としての予測符号化方式にお
ける予測誤差算出手順を説明する流れ図， 第４図は第２図における４×４ブロックにおける予測誤
差を求める手順を示す流れ図， 第５図は動ベクトル探索範囲の例を示す図， 第６図は本発明の実施例において或る一つの動ベクトル
に関してのメモリ構成の例を示す図， 第７図は本発明の実施例において全動ベクトルに関して
の全体的なメモリ構成を示す図， 第８図は本発明の変更例における或る一つの動ベクトル
に関してのメモリ構成を示す図， 第９図および第10図はブロック分割の例を説明する図， 第11図は動ベクトルの探索順番表を示す図， 第12図は可変ブロックサイズ予測符号化によるデータ構
造の一例を示す図，および 第13図〜第15図は可変ブロックサイズ予測符号化による
処理結果の一例を示す図である。
図， 第２図は本発明方式により算出される予測誤差を保存す
るメモリ構成の例を示す図， 第３図は本発明の一実施例としての予測符号化方式にお
ける予測誤差算出手順を説明する流れ図， 第４図は第２図における４×４ブロックにおける予測誤
差を求める手順を示す流れ図， 第５図は動ベクトル探索範囲の例を示す図， 第６図は本発明の実施例において或る一つの動ベクトル
に関してのメモリ構成の例を示す図， 第７図は本発明の実施例において全動ベクトルに関して
の全体的なメモリ構成を示す図， 第８図は本発明の変更例における或る一つの動ベクトル
に関してのメモリ構成を示す図， 第９図および第10図はブロック分割の例を説明する図， 第11図は動ベクトルの探索順番表を示す図， 第12図は可変ブロックサイズ予測符号化によるデータ構
造の一例を示す図，および 第13図〜第15図は可変ブロックサイズ予測符号化による
処理結果の一例を示す図である。
Claims (2)
- 【請求項１】符号化を行うブロックのブロックサイズを
複数種類予め定め（S1）， 各ブロックサイズのブロックについて所要の予測方式で
予測誤差を求め（S2）， 求められた予測誤差によって符号化に適したブロックサ
イズを動画像の各部位毎に決定して（S3）ブロック単位
で符号化する動画像の予測符号化方式において， 最小ブロックサイズのブロックの各々について該所要の
予測方式により予測誤差を求め（S4）， 求められた最小ブロックサイズのブロックの予測誤差の
平均値を演算することによって上位層ブロックサイズの
ブロックの予測誤差を算出する（S5）ことを特徴とする
動画像の予測符号化方式。 - 【請求項２】予測方式として動き補償予測が用いられ，
該上位層ブロックサイズのブロックの予測誤差の平均値
の演算は，動き補償の動ベクトル毎に行われることを特
徴とする特許請求の範囲第１項に記載の予測符号化方
式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP773288A JP2702488B2 (ja) | 1988-01-18 | 1988-01-18 | 動画像の予測符号化方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP773288A JP2702488B2 (ja) | 1988-01-18 | 1988-01-18 | 動画像の予測符号化方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01183286A JPH01183286A (ja) | 1989-07-21 |
| JP2702488B2 true JP2702488B2 (ja) | 1998-01-21 |
Family
ID=11673880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP773288A Expired - Fee Related JP2702488B2 (ja) | 1988-01-18 | 1988-01-18 | 動画像の予測符号化方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2702488B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5144423A (en) * | 1990-12-11 | 1992-09-01 | At&T Bell Laboratories | Hdtv encoder with forward estimation and constant rate motion vectors |
| US5235419A (en) * | 1991-10-24 | 1993-08-10 | General Instrument Corporation | Adaptive motion compensation using a plurality of motion compensators |
| JP2007151169A (ja) * | 1996-12-26 | 2007-06-14 | United Module Corp | 動ベクトル検出装置および記録媒体 |
| US8270490B2 (en) | 2006-07-06 | 2012-09-18 | Canon Kabushiki Kaisha | Motion vector detection apparatus, motion vector detection method, image encoding apparatus, image encoding method, and computer program |
| JP4789719B2 (ja) * | 2006-07-06 | 2011-10-12 | キヤノン株式会社 | 動きベクトル検出装置、動きベクトル検出方法、コンピュータプログラム及び記憶媒体 |
| JP6365102B2 (ja) * | 2014-08-14 | 2018-08-01 | 富士ゼロックス株式会社 | データ処理装置およびプログラム |
-
1988
- 1988-01-18 JP JP773288A patent/JP2702488B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH01183286A (ja) | 1989-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3190529B2 (ja) | 映像データ・ブロック変換システム | |
| KR0178231B1 (ko) | 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치 | |
| JP4662636B2 (ja) | 動き推定とブロックマッチング・パターンの改良 | |
| US8019000B2 (en) | Motion vector detecting device | |
| JP4709155B2 (ja) | 動き検出装置 | |
| JP2000278694A (ja) | 符号化装置、画像処理装置、画像処理システム、符号化方法、及び記憶媒体 | |
| US8135224B2 (en) | Generating image data | |
| JPH09233477A (ja) | 動きベクトル生成方法 | |
| JP2702488B2 (ja) | 動画像の予測符号化方式 | |
| JP2787944B2 (ja) | 動き補償動ベクトル探索方法 | |
| US5485214A (en) | Dual bus dual bank architecture for motion compensation | |
| KR100490730B1 (ko) | 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법 | |
| JP4410172B2 (ja) | 動きベクトル推定方法，動きベクトル推定装置，動きベクトル推定プログラムおよび動きベクトル推定プログラム記録媒体 | |
| JPH0262178A (ja) | 画像処理装置の動き検出方式 | |
| JP2608909B2 (ja) | 動画像の予測符号化方式 | |
| JP2000287214A (ja) | 動き検出方法および装置 | |
| JP2861971B2 (ja) | 動ベクトル予測装置 | |
| JPH09200763A (ja) | 動画像符号化における動き補償方法 | |
| US6236679B1 (en) | Method and device for estimation of motions of image portions for moving image compression circuits | |
| JPH08265773A (ja) | 階層型動きベクトル検出方法及びその装置 | |
| JPH08265771A (ja) | 階層型動きベクトル検出方法及びその装置 | |
| JP2937134B2 (ja) | 動きベクトル探索方法 | |
| JP2853974B2 (ja) | 階層型動きベクトル検出方法及びその装置 | |
| JP3001753B2 (ja) | 動ベクトル検出方法 | |
| JP2005354174A (ja) | 動き探索装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |