JP2716703B2 - 可変ブロックサイズ動き補償方法 - Google Patents

Description

【発明の詳細な説明】 〔目 次〕 概要 産業上の利用分野 従来の技術（第18図） 発明が解決しようとする問題点 問題点を解決するための手段（第１図） 作 用（第１図） 実 施 例 第１実施例の説明［第２図〜第10図（ａ），（ｂ）］ 第２実施例の説明［第11図〜第17図（ａ），（ｂ）］ 発明の効果 〔概 要〕 画像情報、特に動画像情報についての動き補償方法に
関し、 かかる動き補償を施すブロックサイズを可変にするこ
とを目的とし、 画像情報の動き補償方法において、まず、該画像情報
を含む所要の大きさのブロックを複数種類定めておき、
ついで、これらの各大きさのブロックについて、それぞ
れフレーム間予測、動き補償予測およびフレーム内予測
を行なうことにより、該各大きさのブロックについての
それぞれの予測誤差を求め、これらの予測誤差を第１の
評価手段で評価することにより、該フレーム間予測、動
き補償予測およびフレーム内予測を行なうことにより求
められた予測誤差のうち該フレーム間予測の予測誤差が
最小であるとき、あるいは該フレーム間予測の予測誤差
と該動き補償予測の予測誤差との差が所要のしきい値以
下のときは、該フレーム間予測の予測誤差を選択し、そ
こで予測方法が決定しない場合において、該動き補償予
測の予測誤差が該フレーム内予測の予測誤差より小さい
とき、あるいは該動き補償予測の予測誤差と該フレーム
内予測の予測誤差との差が所要のしきい値以下のとき
は、該動き補償予測の予測誤差を選択し、以上でなおも
予測誤差が決定しない場合には、該フレーム内予測の予
測誤差を選択し、ついで、相対的に小さいサイズの小ブ
ロック複数個分の予測誤差の平均値を、該小ブロック複
数個分の大きさに相当する相対的に大きいサイズの大ブ
ロック換算された大ブロック換算予測誤差とする一方、
該第１の評価手段で評価することにより選択された予測
誤差を第２の評価手段で評価することにより、該大ブロ
ックについて選択された予測誤差が、該大ブロック換算
予測誤差以下であるとき、あるいは該小ブロックについ
て選択された予測誤差と、該大ブロックについて選択さ
れた予測誤差との差が所要のしきい値以下であるとき
に、該大ブロックを処理すべき最適なサイズのブロック
とし、そうでないときに、該小ブロックを処理すべき最
適なサイズのブロックとして決定するように構成する。 〔産業上の利用分野〕 本発明は、画像情報、特に動画像情報についての動き
補償方法に関し、特に動き補償を施すブロックサイズを
可変にした動き補償方法に関する。 例えば、テレビ電話やテレビ会議での画像信号につい
ていえば、その２つのフレーム間では対応する画像は一
般に似通った値をもつため、このようなフレーム間の情
報は強い相関をもつ。このために、画像信号の帯域圧縮
符号化が施されるが、このとき動画像について予測誤差
を求めて動き補償を施すことが行なわれている。 ここで、動き補償方法は、動画像帯域圧縮方法の１つ
で、動き補償フレーム間符号化方法ともいい、これはフ
レーム間の相関を利用し、動きの検出を行なうことによ
り、時間軸方向の冗長度を大きく削減する方法である。 〔従来の技術〕 第18図は動き補償方法を説明するためのシステム構成
図であるが、この第18図において、１は送信部で、この
送信部１は、入力信号（原画情報）に対し動き検出およ
び動き補償を行なう動き検出・動き補償手段２、可変遅
延手段（VDLY）３、フレームメモリ（FM）４を有してお
り、動き検出・動き補償手段２で得られた動き情報は受
信側へ伝送される。 なお、受信側では、送信側と逆の動作を行なうことに
より実行できるため、受信側の構成は送信側とほぼ同様
となっている。 ところで、従来の動き補償方法では、１フレームを複
数のブロックに分割して各ブロックごとに動き補償を施
すことが行なわれるが、動き補償をかけるブロックサイ
ズは画面の平坦部でも変化の激しい部分でも同一であ
る。 一般に、動き補償のブロックサイズは大きいほど、動
き補償の動き情報を伝送する情報量は少なく、また動き
補償により得られた画面と原画との差（誤差）は大き
い。 〔発明が解決しようとする問題点〕 しかしながら、従来は、上述のごとく、画面のどんな
部分でも同じブロックサイズで動き補償を行なっている
ので、例えばブロックサイズが一様に大きいときには、
画面の平坦部では生じる誤差が少ないが、画面の変化が
激しい部分では誤差が大きく、また逆にブロックサイズ
が一様に小さいときには、画面の変化が激しい部分では
生じる誤差が少ないが、画面の平坦部では誤差はブロッ
クサイズが大きいときとほぼ同じであるにもかかわらず
余分な情報量が増えてしまうという問題点がある。 本発明は、このような二律背反的な問題点を解決しよ
うとするもので、動き補償を施すブロックサイズを可変
にできるようにした可変ブロックサイズ動き補償方法を
提供することを目的としている。 〔問題点を解決するための手段〕 第１図は本発明の原理説明図である。 第１図において、S1は画像情報を含む所要の大きさの
ブロックを複数種類定めるステップである。 S2は、各大きさのブロックについて、それぞれフレー
ム間予測、動き補償予測およびフレーム内予測を行なう
ことにより、各大きさのブロックについてのそれぞれの
予測誤差（および符号長）を求めるステップである。 S3は、これらの予測誤差を第１の評価手段で評価する
ことにより、該フレーム間予測、動き補償予測およびフ
レーム内予測を行なうことにより求められた予測誤差の
うち該フレーム間予測の予測誤差が最小であるとき、あ
るいは該フレーム間予測の予測誤差と該動き補償予測の
予測誤差との差が所要のしきい値以下のときは、該フレ
ーム間予測の予測誤差を選択し、そこで予測方法が決定
しない場合において、該動き補償予測の予測誤差が該フ
レーム内予測の予測誤差より小さいとき、あるいは該動
き補償予測の予測誤差と該フレーム内予測の予測誤差と
の差が所要のしきい値以下のときは、該動き補償予測の
予測誤差を選択し、以上でなおも予測誤差が決定しない
場合には、該フレーム内予測の予測誤差を選択するステ
ップである。 S4は、相対的に小さいサイズの小ブロック複数個分の
予測誤差の平均値を、該小ブロック複数個分の大きさに
相当する相対的に大きいサイズの大ブロック換算された
大ブロック換算予測誤差とする一方、該第１の評価手段
で評価することにより選択された予測誤差を第２の評価
手段で評価することにより、該大ブロックについて選択
された予測誤差が、該大ブロック換算予測誤差以下であ
るとき、あるいは該小ブロックについて選択された予測
誤差と、該大ブロックについて選択された予測誤差との
差が所要のしきい値以下であるときに、該大ブロックを
処理すべき最適なサイズのブロックとし、そうでないと
きに、該小ブロックを処理すべき最適なサイズのブロッ
クとして決定するステップである。 また、S3を、これらの予測誤差および符号長を第３の
評価手段で評価することにより、該フレーム間予測、動
き補償予測およびフレーム内予測を行なうことにより求
められたそれぞれの予測誤差と符号長と重み係数との積
を演算することにより、該フレーム間予測、動き補償予
測およびフレーム内予測のそれぞれについて判定値を求
め、該フレーム間予測、動き補償予測およびフレーム内
予測のそれぞれについての判定値のうち該フレーム間予
測の判定値が最小であるとき、あるいは該フレーム間予
測の判定値と該動き補償予測の判定値との差が所要のし
きい値以下のときは、該フレーム間予測の判定値を選択
し、そこで予測方法が決定しない場合において、該動き
補償予測の判定値が該フレーム内予測の判定値よりも小
さいか、あるいは該動き補償予測の判定値と該フレーム
内予測の判定値との差が所要のしきい値以下のときは、
該動き補償予測の判定値を選択し、以上でなおも予測誤
差が決定しない場合には、該フレーム内予測の判定値を
選択するステップとしてもよい。 さらに、S4を、相対的に小さいサイズの小ブロック複
数個分の予測誤差の平均値を、該小ブロック複数個分の
大きさに相当する相対的に大きい大ブロック換算された
大ブロック換算予測誤差とする一方、該第３の評価手段
で評価することにより選択された予測誤差および符号長
を第４の評価手段で評価することにより、該相対的に大
きいサイズの大ブロックについて選択された予測誤差と
符号長と重み係数との積を演算することにより、該大ブ
ロックについての判定数を求めるとともに、該大ブロッ
ク換算予測誤差と符号長と重み係数との積を乗算するこ
とにより、該小ブロックについての判定数を求め、該大
ブロックの判定数が該小ブロックの判定数以下であると
きに、該大ブロックを処理すべきサイズのブロックと
し、そうでないときに、該小ブロックを処理すべきサイ
ズのブロックとして決定するステップとしてもよい。 〔作 用〕 画像情報について動き補償を行なうに際しては、第１
図に示すごとく、まず、ステップS1で、画像情報を含む
所要の大きさのブロックを複数種類定めておき、つい
で、ステップS2で、これらの各大きさのブロックについ
て、それぞれフレーム間予測、動き補償予測およびフレ
ーム内予測を行なうことにより、該各大きさのブロック
についてのそれぞれの予測誤差（および符号長）を求め
る。 ステップS3で、該フレーム間予測、動き補償予測およ
びフレーム内予測を行なうことにより求められた予測誤
差のうち該フレーム間予測の予測誤差が最小であると
き、あるいは該フレーム間予測の予測誤差と該動き補償
予測の予測誤差との差が所要のしきい値以下のときは、
該フレーム間予測の予測誤差を選択し、そこで予測方法
で決定しない場合において、該動き補償予測の予測誤差
が該フレーム内予測の予測誤差より小さいとき、あるい
は該動き補償予測の予測誤差と該フレーム内予測の予測
誤差との差が所要のしきい値以下のときは、該動き補償
予測の予測誤差を選択し、以上でなおも予測誤差が決定
しない場合には、該フレーム内予測の予測誤差を選択
し、ついで、ステップS4で、相対的に小さいサイズの小
ブロック複数個分の予測誤差の平均値を、該小ブロック
複数個分の大きさに相当する相対的に大きいサイズの大
ブロック換算された大ブロック換算予測誤差とする一
方、該第１の評価手段で評価することにより選択された
予測誤差を第２の評価手段で評価することにより、該大
ブロックについて選択された予測誤差が、該大ブロック
換算予測誤差以下であるとき、あるいは該小ブロックに
ついて選択された予測誤差と、該大ブロックについて選
択された予測誤差との差が所要のしきい値以下であると
きに、該大ブロックを処理すべき最適なサイズのブロッ
クとし、そうでないときに、該小ブロックを処理すべき
最適なサイズのブロックとして決定する。 また、ステップS3で、これらの予測誤差および符号長
を第３の評価手段で評価することにより、該フレーム間
予測、動き補償予測およびフレーム内予測を行なうこと
により求められたそれぞれの予測誤差と符号長と重み係
数との積を演算することにより、該フレーム間予測、動
き補償予測およびフレーム内予測のそれぞれについて判
定値を求め、該フレーム間予測、動き補償予測およびフ
レーム内予測のそれぞれについての判定値のうち該フレ
ーム間予測の判定値が最小であるとき、あるいは該フレ
ーム間予測の判定値と該動き補償予測の判定値との差が
所要のしきい値以下のときは、該フレーム間予測の判定
値を選択し、そこで予測方法が決定しない場合におい
て、該動き補償予測の判定値が該フレーム内予測の判定
値よりも小さいか、あるいは該動き補償予測の判定値と
該フレーム内予測の判定値との差が所要のしきい値以下
のときは、該動き補償予測の判定値を選択し、以上でな
おも予測誤差が決定しない場合には、該フレーム内予測
の判定値を選択し、ついで、相対的に小さいサイズの小
ブロック複数個分の予測誤差の平均値を、該小ブロック
複数個分の大きさに相当する相対的に大きい大ブロック
換算された大ブロック換算予測誤差とする一方、該第３
の評価手段で評価することにより選択された予測誤差お
よび符号長を第４の評価手段で評価することにより、該
相対的に大きいサイズの大ブロックについて選択された
予測誤差と符号長と重み係数との積を演算することによ
り、該大ブロックについての判定数を求めるとともに、
該大ブロック換算予測誤差と符号長と重み係数との積を
乗算することにより、該小ブロックについての判定数を
求め、該大ブロックの判定数が該小ブロックの判定数以
下であるときに、該大ブロックを処理すべきサイズのブ
ロックとし、そうでないときに、該小ブロックを処理す
べきサイズのブロックとして決定してもよい。 〔実 施 例〕 以下、図面を参照して本発明の実施例を説明する。 （ａ）第１実施例の説明 さて、この第１実施例の場合、上記のような従来技術
の問題点を解決するために、画面の変化の激しい部分に
対してはブロックサイズを小さくし、平坦部に対して
は、ブロックサイズを大きくする方法を採用する。すな
わち、画面の部分的な状態に応じてブロックサイズを適
応的に切り替える。 さらに、予測方法を、動き補償予測と、フレーム間予
測［このフレーム間予測は、動き補償予測において、動
ベクトル（Ｘ方向,Y方向）で、（0,0）が選ばれた時と
同じである］と、フレーム内予測（このフレーム内予測
は、被符号化ブロックの平均値を用いるか、上や左のす
でに符号化済みのブロックの平均値を用いる等、フレー
ム内の相関を用いる予測方法である）を適応的に切り替
える。 このように予測方法を適応的に切り替えるためのブロ
ック図を第２図に示し、ブロックサイズを適応的に切り
かえるためのブロック図を第３図に示す。 最初に第２図の説明をすると、この第２図において、
11は動き補償手段（MC）、12は可変遅延手段（VDLY）、
13は平均値算出手段、14はフレーム間予測手段、15は動
き補償予測手段、16はフレーム内予測手段、17は第１の
評価手段である。 ここで、動き補償手段11は、入力画像情報と再生画像
情報とを受けて動ベクトル情報を可変遅延手段12へ出力
する。 可変遅延手段12は、動ベクトル情報を遅延させて動き
補償予測手段15へ出力する。 平均値算出手段13は、入力画像情報の平均値をフレー
ム内予測手段16へ出力する。 フレーム間予測手段14は再生画像情報と可変遅延手段
12からの出力とを受けて、フレーム間予測による予測誤
差を第１の評価手段17へ出力し、動き補償予測手段15は
入力画像情報と可変遅延手段12からの出力とを受けて、
動き補償予測による予測誤差を第１の評価手段17へ出力
し、フレーム内予測手段16は入力画像情報と平均値算出
手段13からの出力とを受けて、フレーム内予測による予
測誤差を第１の評価手段17へ出力する。 第１の評価手段17は、フレーム間予測手段14からの予
測誤差、動き補償予測手段15からの予測誤差およびフレ
ーム内予測手段16からの予測誤差を受けて、所要の評価
関数で上記の予測誤差を評価することにより、最適な予
測方法を選定して出力ライン17aからその情報を出力す
るとともに、選ばれた予測方法の予測誤差を出力ライン
17bから出力する。 また、第３図において、20は相対的に大きいサイズの
大ブロックについての予測誤差情報を出力するライン
で、21は予測誤差平均値算出手段で、この予測誤差平均
値算出手段21は相対的に小さいサイズの小ブロックｎ個
分（小ブロックｎ個で大ブロックの大きさとなる）につ
いての予測誤差の平均値（大ブロック換算の予測誤差）
を算出するもので、その出力ライン21aを通じて上記予
測誤差の平均値情報が第２の評価手段22へ入力される。 22は第２の評価手段で、この第２の評価手段22は大ブ
ロックについての予測誤差および小ブロックについての
予測誤差の平均値を受けて、所要の評価関数で上記の予
測誤差を評価することにより、最適なブロックサイズを
決定して出力ライン22aからその情報を出力するととも
に、選ばれたブロックサイズの予測誤差を出力ライン22
bから出力するようになっている。 以下に、本方法について更に詳細に説明する。 まず、ブロックサイズを例えば第４図（ａ）〜
（ｄ），第５図に示すごとく32×32（画素）,16×16
（画素）,8×８（画素）,4×４（画素）というふうに複
数種類定めておいて、それぞれのブロックサイズについ
て、ブロックごとに、フレーム間予測手段14,動き補償
予測手段15およびフレーム内予測手段16にて、それぞれ
フレーム間予測と、動き補償予測と、フレーム内予測と
を行ない、その予測誤差を、ある定められた評価関数を
持った第１の評価手段17に入力し、評価をした結果、ど
の予測方法を選ぶかを、第１の評価手段17の出力ライン
17aから出力し、また、選ばれた予測方法の誤差を他の
出力ライン17bから出力する。 なお、ブロックサイズの種類は、上記のごとく、４つ
とし、32×32（画素）,16×16,8×8,4×４［第４図
（ａ）〜（ｄ），第５図］とするが、ブロックサイズは
32×32を最大のブロックサイズとし、このサイズで同じ
処理が繰り返されるものとする。 また、フレーム内予測は、第２図では、自分自身の
（被符号化ブロックの）平均値を計算する方法となって
いるが、特にそのようには限らず、被符号化画像（入力
画像）の処理済みのブロック（例えば左や上のブロッ
ク）の平均値を用いる方法でもよい。なお、フレーム内
予測で自分自身のブロックの平均値を用いる時は、どの
予測方法を選択したかという情報やその予測誤差を出力
するほか、これと共に、自分自身のブロックの平均値も
出力しなければならない。 次に、それぞれのブロックサイズについて最適な予測
方法を選ぶための要領を、第６図に示すフローチャート
を用いて説明する。 まず、ステップa1で、フレーム間予測、動き補償予測
およびフレーム内予測の予測誤差D_KAN,D_MC,D_NAIを計算
して入力するとともに、予めしきい値THを決めておく。 そして、次のステップa2において、フレーム間予測の
予測誤差D_KANが最小値であるかどうかが判断されるが、
もしフレーム間予測の予測誤差D_KANが最小値であれば、
ステップa2でYESルートをとって、ステップa4で、フレ
ーム間予測であることと、その予測誤差D_KANを出力す
る。 また、もしフレーム間予測の予測誤差D_KANが最小値で
なければ、ステップa3において、フレーム間予測の予測
誤差D_KANを動き補償予測の予測誤差D_MCの差（絶対値）
がしきい値TH以内かどうかを判断するが、このステップ
a3でYESなら、ステップa4で、フレーム間予測であるこ
とと、その予測誤差D_KANを出力する。 一方、ステップa3で、NOなら、ステップa5において、
動き補償予測の予測誤差D_MCとフレーム内予測の予測誤
差D_NAIを比べ、動き補償予測の予測誤差D_MCが最小な
ら、ステップa7で、動き補償予測であることと、その予
測誤差D_MCを出力する。 そうでなければ、ステップa6で、動き補償予測の予測
誤差D_MCと、フレーム内予測の予測誤差D_NAIの差（絶対
値）がしきい値TH以内なら、ステップa7で、動き補償予
測であることと、その予測誤差D_MCを出力する。 また、ステップa6で、NOなら、ステップa8で、フレー
ム内予測であることと、その予測誤差D_NAIを出力する。 このようにして、最適な予測方法が選ばれる。この場
合、動きが少ないと、フレーム間予測が選ばれ、動きが
多くなるにしたがい、順に動き補償予測、フレーム内予
測が選ばれる。 次に、ブロックサイズの決定の仕方について説明す
る。 かかるブロックサイズ決定操作は、まず、４×４と８
×８について行ない、次に８×８と16×16,16×16と32
×32の順で行なう。 すなわち、上記のようにして、それぞれのブロックサ
イズの予測方法と、予測誤差が決定されると、次にブロ
ックサイズの決定を行なうが、この場合、大ブロックの
予測誤差と、小ブロックと予測誤差の平均値（これは大
ブロックの大きさで、小ブロックがｎ個分とする）を第
２の評価手段22（この第２の評価手段22の有する評価関
数は第１の評価手段17の有するものと同一でもよいに入
力し、この第２の評価手段22の評価関数により選ばれた
ブロックサイズとその予測誤差を出力ライン22a,22bか
ら出力する。 次に、ブロックサイズを決定するための要領を、第７
図に示すフローチャートを用いて説明する。 まず、ステップb1で、大ブロックの予測誤差D_L、小ブ
ロック４つの予測誤差の平均値D_Sを計算して入力すると
ともに、予めしきい値THを決めておく。 そして、次のステップb2において、大ブロックの予測
誤差D_Lが小ブロックの予測誤差D_S以下であれば、ステッ
プb2でYESルートをとって、ステップb4で、大ブロック
のブロックサイズとその予測誤差D_Lを出力する。 そうでなければ、ステップb3で、大ブロックの予測誤
差D_Lと小ブロックの予測誤差D_Sの差（絶対値）がしきい
値TH以下であれば、ステップb4で、大ブロックのブロッ
クサイズとその予測誤差D_Sを出力する。 また、ステップb3で、NOなら、ステップb5で、小ブロ
ックのブロックサイズと、その予測誤差D_Sを出力する。 このようにして、最適なブロックサイズが選ばれる。
この場合、動きが少ないと、最大のブロックサイズ（32
×32）が選ばれ、動きが多くなるにしたがい、順に小さ
なブロックサイズ（16×16→８×８→４×４）が選ばれ
る。 なお、小ブロックｎ個分の予測誤差の平均値の計算方
法は、予測誤差の計算方法によって異なるので、特に第
２図の通りにしなければならない等の限定はせず、大ブ
ロックの大きさでの小ブロックがｎ個集まった時の予測
誤差の平均値が計算できれば良いとする。 また、この第２図では、予測誤差を、絶対値誤差とし
た時の計算方法である。 ところで、この第１実施例のフロー等や、第４図
（ａ）〜（ｄ）および第５図のブロックサイズや対応す
る位置関係などから、32×32を１つの大きなブロックの
単位とすると、本方法によるデータ構造は、第８図のよ
うに４分岐４段のツリー状となり、この中で、評価関数
により最適な経路をたどることとなる。 本実施例の処理結果の例を第9,10図に示す。 第９図は、第８図にならって、処理結果の例を図示
し、第10図（ａ）は第９図の16×16における位置関係を
示し、第10図（ｂ）は第９図に対応した画面の分割例で
ある。 なお、この実施例において、決定した予測方法とブロ
ックサイズの大きさは受信側にも伝送する。 このように、本方法では、ブロックの大きさの情報お
よび予測方法の種類を受信側に伝送するものの平坦部は
ブロックサイズを大きくし、変化の激しい部分ではブロ
ックサイズを小さくし、また画面の局部的な性質にあわ
せて予測の方法を適応的に切り替えるため、全体として
伝送効率の向上をはかれるものである。 （ｂ）第２実施例の説明 さて、この第２実施例の場合も、上記のような従来技
術の問題点を解決するために、画面の変化の激しい部分
に対してはブロックサイズを小さくし、平坦部に対して
は、ブロックサイズを大きくする方法を採用する。すな
わち、画面の部分的な状態に応じてブロックサイズを適
応的に切り替える。 さらに、予測方法を、動き補償予測と、フレーム間予
測と、フレーム内予測を適応的に切り替える。 そして、この第２実施例では、各予測方法の符号長や
ブロックサイズの符号長の情報も加味したもので、上記
のように予測方法を適応的に切り替えるためのブロック
図を第11図に示し、ブロックサイズを適応的に切りかえ
るためのブロック図を第12図に示す。 最初に第11図の説明をすると、この第11図において、
31は動き補償手段（MC）、32は可変遅延手段（VDLY）、
33は平均値算出手段、34はフレーム間予測手段、35は動
き補償手段、36はフレーム内予測手段、37は第３の評価
手段である。 ここで、動き補償手段31、可変遅延手段32、平均値算
出手段33、フレーム間予測手段34、動き補償予測手段3
5、フレーム内予測手段36は、前述の第１実施例の対応
する各手段と同様のものであるので、その説明は省略す
る。 ところで、第３の評価手段37は、フレーム間予測手段
34からの予測誤差、動き補償予測手段35からの予測誤差
およびフレーム内予測手段36からの予測誤差を所要の予
測誤差入力ラインから受けるほか、動き補償予測につい
ての符号長、フレーム間予測についての符号長、フレー
ム内予測についての符号長をそれぞれ符号長入力ライン
37d,37e,37fから受けて、所要の評価関数で上記の予測
誤差および符号長を評価することにより、最適な予測方
法を選定して出力ライン37aからその情報を出力すると
ともに、選ばれた予測方法の予測誤差および符号長を出
力ライン37b,37cから出力する。 また、第12図において、40は相対的に大きいサイズの
大ブロックについての予測誤差情報を出力するライン
で、41は予測誤差平均値算出手段で、この予測誤差平均
値算出手段41は相対的に小さいサイズの小ブロックｎ個
分（小ブロックｎ個で大ブロックの大きさとなる）につ
いての予測誤差の平均値（大ブロック換算の予測誤差）
を算出するもので、その出力ライン41aを通じて上記予
測誤差の平均値情報が第４の評価手段42へ入力される。 42は第４の評価手段で、この第４の評価手段42は大ブ
ロックについての予測誤差および小ブロックについての
予測誤差の平均値を予測誤差出力ライン40,41aから受け
るほか、大ブロックについての符号長および小ブロック
についての符号長の平均値を符号長出力ライン43,44aか
ら受けて、所要の評価関数で上記の予測誤差および符号
長を評価することにより、最適なブロックサイズを決定
して出力ライン42aからその情報を出力するとともに、
選ばれたブロックサイズの予測誤差および符号長を出力
ライン42b,42cから出力するようになっている。 43は符号長平均値算出手段で、この符号長平均値算出
手段43は小ブロックｎ個分（小ブロックｎ個で大ブロッ
クの大きさとなる）についての符号長の平均値（大ブロ
ック換算の符号長）を算出するもので、その出力ライン
43aを通じて上記符号長の平均値情報が第４の評価手段4
2へ入力される。 次に、この第２実施例について更に詳細に説明する。 この場合も、ブロックサイズを例えば第４図（ａ）〜
（ｄ），第５図に示すごとく32×32（画素）,16×16
（画素）,8×８（画素）,4×４（画素）というふうに複
数種類定めておいて、それぞれのブロックサイズについ
て、ブロックごとに、フレーム間予測手段34,動き補償
予測手段35およびフレーム内予測手段36にて、それぞれ
フレーム間予測と、動き補償予測と、フレーム内予測と
を行ない、その予測誤差を、ある定められた評価関数を
持った第３の評価手段37に入力し、更にはフレーム間予
測，動き補償予測、フレーム内予測についての各符号長
も第３の評価手段37へ入力し、この第３の評価手段37に
て、評価をした結果、どの予測方法を選ぶかを、第３の
評価手段37の出力ライン37aから出力し、また、選ばれ
た予測方法の誤差および符号長を他の出力ライン37b,37
cから出力する。 なお、ブロックサイズの種類は、上記のごとく、４つ
とし、32×32（画素）,16×16,8×8,4×４［第４図
（ａ）〜（ｄ），第５図］とするが、この実施例におい
ても、ブロックサイズは32×32を最大のブロックサイズ
とし、このサイズで同じ処理が繰り返されるものとす
る。 また、フレーム内予測は、第11図においても、自分自
身の（被符号化ブロックの）平均値を計算する方法とな
っているが、特にそのようには限らず、被符号化画像
［入力画像の処理済みのブロック（例えば左や上のブロ
ック）の平均値を用いる方法でもよい。なお、フレーム
内予測で自分自身のブロックの平均値を用いる時は、ど
の予測方法を選択したかという情報やその予測誤差を出
力するほか、これと共に、自分自身のブロックの平均値
も出力しなければならないことは、前述の第１実施例と
同じである。 次に、それぞれのブロックサイズについて最適な予測
方法を選ぶための要領を、第13図に示すフローチャート
を用いて説明する。 まず、ステップc1で、フレーム間予測、動き補償予測
およびフレーム内予測の各予測誤差D_KAN,D_MC,D_NAI、フ
レーム間予測、動き補償予測およびフレーム内予測の各
符号長I_KAN,I_MC,I_NAI、フレーム間予測、動き補償予測
およびフレーム内予測の各重み係数W_KAN,W_MC,W_NAIを求
め、次のステップc2において、判定数T_KAN,T_MC,T_NAIを
計算する。 ここで、Ｔは、予測誤差と符号長と重み係数との積と
なる。したがって、このＴは符号長も予測誤差も小さけ
れば小さくなり、また、３つの予測方法の重み計数を替
えれば選択される予測方法の割合を変えることができ
る。 さて、次に、ステップc3で、３つの予測方法のうちＴ
が最小となる予測方法が、フレーム間予測であれば、ス
テップc4で、フレーム間予測であることと、その予測誤
差D_KANと符号長I_KANを出力する。 ステップc2でNOなら、ステップc5で、動き補償予測
と、フレーム内予測のうち、Ｔが最小となる予測方法は
どちらかが判断され、もし動き補償予測のものT_MCが最
小であれば、ステップc6において、動き補償予測である
ことと、その予測誤差D_MCと符号長I_MCを出力する。 そうでなければ、ステップc7で、フレーム内予測であ
ることと、その予測誤差D_NAIと符号長I_NAIを出力する。 このようにして、最適な予測方法が選ばれる。この場
合も、原則として、動きが少ないと、フレーム間予測が
選ばれ、動きが多くなるにしたがい、順に動き補償予
測、フレーム内予測が選ばれる。 次に、ブロックサイズの決定の仕方について説明す
る。 かかるブロックサイズ決定操作は、まず、４×４と８
×８について行ない、次に８×８と16×16,16×16と32
×32の順で行なう。 すなわち、上記のようにして、それぞれのブロックサ
イズの予測方法と、予測誤差が決定されると、次にブロ
ックサイズの決定を行なうが、この場合、大ブロックの
予測誤差と、小ブロックの予測誤差の平均値（これは大
ブロックの大きさで、小ブロックがｎ個分とする）を第
４の評価手段42（この第２の評価手段42の有する評価関
数は第３の評価手段37の有するものと同一でもよい）に
入力し、この第４の評価手段42の評価関数により選ばれ
たブロックサイズとその予測誤差および符号長を出力ラ
イン42a,42b,43cから出力する。 次に、ブロックサイズを決定する際のフローチャート
を第14図に示す。 まず、ステップd1で、大ブロックの予測誤差D_L、小ブ
ロックの予測誤差の平均値D_S、大ブロックの符号長I_L、
小ブロックの符号長の平均値I_S、大ブロックの重み係数
W_L、小ブロックの重み係数の平均値W_Sを求め、次のステ
ップd2で、判定数T_L,T_Sを計算し、ステップd4で、T_LがT
_S以下であれば、ステップd3で、大ブロックのブロック
サイズと、その予測誤差D_Lと符号長I_Lを出力する。 そうでなければ、ステップd5で、小ブロックのブロッ
クサイズと、その予測誤差D_Sと符号長I_Sを出力する。 このようにして、最適なブロックサイズが選ばれる。
この場合も、原則として、動きが少ないと、最大のブロ
ックサイズ（32×32）が選ばれ、動きが多くなるにした
がい、順に小さなブロックサイズ（16×16→８×８→４
×４）が選ばれる。 なお、小ブロックｎ個分の予測誤差および符号長の平
均値の計算方法は、予測誤差および符号長の計算方法に
よって異なるので、特に第12図の通りにしなければなら
ない等の限定はせず、大ブロックの大きさでの小ブロッ
クがｎ個集まった時の予測誤差および符号長の平均値が
計算できれば良いとする。 また、この第12図では、予測誤差および符号長を、絶
対値誤差とした時の計算方法である。 ところで、この第２実施例のフロー等や、第４図
（ａ）〜（ｄ）および第５図のブロックサイズや対応す
る位置関係などから、32×32を１つの大きなブロックの
単位とすると、本方法によるのデータ構造は、第15図の
ように４分岐４段のツリー状となり、この中で、評価関
数により最適な経路をたどることとなる。 本実施例の処理結果の例を第16,17図に示す。 第16図は、第15図にならって、処理結果の例を図示
し、第17図（ａ）は第16図の16×16における位置関係を
示し、第17図（ｂ）は第16図に対応した画面の分割例で
ある。 なお、この実施例において、決定した予測方法とブロ
ックサイズの大きさは受信側にも伝送する。 このように、この実施例においても、ブロックの大き
さの情報および予測方法の種類を受信側に伝送するもの
の、平坦部はブロックサイズを大きくし、変化の激しい
部分ではブロックサイズを小さくし、また画面の局部的
な性質にあわせて予測の方法を適応的に切り替えるた
め、全体として伝送効率の向上をはかれるものである。 〔発明の効果〕 以上詳述したように、本発明の可変ブロックサイズ動
き補償方法によれば、ブロックの大きさの情報および予
測方法の種類を受信側に伝送するものの、平坦部はブロ
ックサイズを大きくし、変化の激しい部分ではブロック
サイズを小さくし、また画面の局部的な性質にあわせて
予測の方法を適応的に切り替えるため、全体として伝送
効率の向上をはかれる利点がある。

【図面の簡単な説明】 第１図は本発明の原理説明図、 第２図は本発明の第１実施例における予測方法を決定す
るためのブロック図、 第３図は本発明の第１実施例におけるブロックサイズを
決定するためのブロック図、 第４図（ａ）〜（ｄ）および第５図はいずれもブロック
の分割方法を説明する図、 第６図は本発明の第１実施例における予測方法を決定す
るためのフローチャート、 第７図は本発明の第１実施例におけるブロックサイズを
決定するためのフローチャート、 第８図は本発明の第１実施例におけるデータ構造図、 第９図は本発明の第１実施例においてある評価関数によ
り定められた経路を説明するための模式図、 第10図（ａ），（ｂ）はいずれも本発明の第１実施例に
おける処理結果を示す模式図、 第11図は本発明の第２実施例における予測方法を決定す
るためのブロック図、 第12図は本発明の第２実施例におけるブロックサイズを
決定するためのブロック図、 第13図は本発明の第２実施例における予測方法を決定す
るためのフローチャート、 第14図は本発明の第２実施例におけるブロックサイズを
決定するためのフローチャート、 第15図は本発明の第２実施例におけるデータ構造図、 第16図は本発明の第２実施例においてある評価関数によ
り定められた経路を説明するための模式図、 第17図（ａ），（ｂ）はいずれも本発明の第２実施例に
おける処理結果を示す模式図、 第18図は従来例を示すブロック図である。 図において、 11は動き補償手段、 12は可変遅延手段、 13は平均値算出手段、 14はフレーム間予測手段、 15は動き補償予測手段、 16はフレーム内予測手段、 17は第１の評価手段、 21は予測誤差平均値算出手段、 22は第２の評価手段、 31は動き補償手段、 32は可変遅延手段、 33は平均値算出手段、 34はフレーム間予測手段、 35は動き補償予測手段、 36はフレーム内予測手段、 37は第３の評価手段、 41は予測誤差平均値算出手段、 42は第４の評価手段、 44は符号長平均値算出手段である。

Claims (1)

1. (57)【特許請求の範囲】 １．画像情報の動き補償方法において、 まず、該画像情報を含む所要の大きさのブロックを複数
   種類定めておき、 ついで、これらの各大きさのブロックについて、それぞ
   れフレーム間予測、動き補償予測およびフレーム内予測
   を行なうことにより、該各大きさのブロックについての
   それぞれの予測誤差を求め、 これらの予測誤差を第１の評価手段で評価することによ
   り、該フレーム間予測、動き補償予測およびフレーム内
   予測を行なうことにより求められた予測誤差のうち該フ
   レーム間予測の予測誤差が最小であるとき、あるいは該
   フレーム間予測の予測誤差と該動き補償予測の予測誤差
   との差が所要のしきい値以下のときは、該フレーム間予
   測の予測誤差を選択し、そこで予測方法が決定しない場
   合において、該動き補償予測の予測誤差が該フレーム内
   予測の予測誤差より小さいとき、あるいは該動き補償予
   測の予測誤差と該フレーム内予測の予測誤差との差が所
   要のしきい値以下のときは、該動き補償予測の予測誤差
   を選択し、以上でなおも予測誤差が決定しない場合に
   は、該フレーム内予測の予測誤差を選択し、 ついで、相対的に小さいサイズの小ブロック複数個分の
   予測誤差の平均値を、該小ブロック複数個分の大きさに
   相当する相対的に大きいサイズの大ブロック換算された
   大ブロック換算予測誤差とする一方、該第１の評価手段
   で評価することにより選択された予測誤差を第２の評価
   手段で評価することにより、該大ブロックについて選択
   された予測誤差が、該大ブロック換算予測誤差以下であ
   るとき、あるいは該小ブロックについて選択された予測
   誤差と、該大ブロックについて選択された予測誤差との
   差が所要のしきい値以下であるときに、該大ブロックを
   処理すべき最適なサイズのブロックとし、そうでないと
   きに、該小ブロックを処理すべき最適なサイズのブロッ
   クとして決定することを 特徴とする、可変ブロックサイズ動き補償方法。 ２．画像情報の動き補償方法において、 まず、該画像情報を含む所要の大きさのブロックを複数
   種類定めておき、 ついで、これらの各大きさのブロックについて、それぞ
   れフレーム間予測、動き補償予測およびフレーム内予測
   を行なうことにより、該各大きさのブロックについての
   それぞれの予測誤差および符号長を求め、 これらの予測誤差および符号長を第３の評価手段で評価
   することにより、該フレーム間予測、動き補償予測およ
   びフレーム内予測を行なうことにより求められたそれぞ
   れの予測誤差と符号長と重み係数との積を演算すること
   により、該フレーム間予測、動き補償予測およびフレー
   ム内予測のそれぞれについて判定値を求め、該フレーム
   間予測、動き補償予測およびフレーム内予測のそれぞれ
   についての判定値のうち該フレーム間予測の判定値が最
   小であるとき、あるいは該フレーム間予測の判定値と該
   動き補償予測の判定値との差が所要のしきい値以下のと
   きは、該フレーム間予測の判定値を選択し、そこで予測
   方法が決定しない場合において、該動き補償予測の判定
   値が該フレーム内予測の判定値よりも小さいか、あるい
   は該動き補償予測の判定値と該フレーム内予測の判定値
   との差が所要のしきい値以下のときは、該動き補償予測
   の判定値を選択し、以上でなおも予測誤差が決定しない
   場合には、該フレーム内予測の判定値を選択し、 ついで、相対的に小さいサイズの小ブロック複数個分の
   予測誤差の平均値を、該小ブロック複数個分の大きさに
   相当する相対的に大きい大ブロック換算された大ブロッ
   ク換算予測誤差とする一方、該第３の評価手段で評価す
   ることにより選択された予測誤差および符号長を第４の
   評価手段で評価することにより、該相対的に大きいサイ
   ズの大ブロックについて選択された予測誤差と符号長と
   重み係数との積を演算することにより、該大ブロックに
   ついての判定数を求めるとともに、該大ブロック換算予
   測誤差と符号長と重み係数との積を乗算することによ
   り、該小ブロックについての判定数を求め、該大ブロッ
   クの判定数が該小ブロックの判定数以下であるときに、
   該大ブロックを処理すべきサイズのブロックとし、そう
   でないときに、該小ブロックを処理すべきサイズのブロ
   ックとして決定することを 特徴とする、可変ブロックサイズ動き補償方法。