JP2702139B2 - 動画像の予測符号化方式 - Google Patents
動画像の予測符号化方式Info
- Publication number
- JP2702139B2 JP2702139B2 JP6620088A JP6620088A JP2702139B2 JP 2702139 B2 JP2702139 B2 JP 2702139B2 JP 6620088 A JP6620088 A JP 6620088A JP 6620088 A JP6620088 A JP 6620088A JP 2702139 B2 JP2702139 B2 JP 2702139B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- block size
- block
- size
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 〔目次〕 概要 産業上の利用分野 従来の技術（第12図） 発明が解決しようとする課題 課題を解決するための手段（第１〜３図） 作用（第１〜３図） 実施例（第１〜第11図） 発明の効果 〔概要〕 画像情報、特に動画像情報についての予測符号化方式
に関し、 符号化処理を施すブロックサイズを可変にすることを
目的とし、 該画像情報を含む所要の大きさのブロックを複数種類
定めておき、これらの各大きさのブロックについて、そ
れぞれフレーム間予測、動き補償予測およびフレーム内
予測を行うことにより、該各大きさのブロックについて
のそれぞれの予測誤差を求め、これらの予測誤差を第１
の評価手段で評価することにより、これらの予測誤差の
中から、該フレーム間予測、動き補償予測およびフレー
ム内予測のいずれかによって求められた予測誤差を選択
し、ついで、該選択された予測誤差を第２の評価手段に
おいて、離散コサイン変換結果を加味して評価すること
により、該複数種類のブロックサイズの中から最適なブ
ロックサイズを決定するように構成する。
に関し、 符号化処理を施すブロックサイズを可変にすることを
目的とし、 該画像情報を含む所要の大きさのブロックを複数種類
定めておき、これらの各大きさのブロックについて、そ
れぞれフレーム間予測、動き補償予測およびフレーム内
予測を行うことにより、該各大きさのブロックについて
のそれぞれの予測誤差を求め、これらの予測誤差を第１
の評価手段で評価することにより、これらの予測誤差の
中から、該フレーム間予測、動き補償予測およびフレー
ム内予測のいずれかによって求められた予測誤差を選択
し、ついで、該選択された予測誤差を第２の評価手段に
おいて、離散コサイン変換結果を加味して評価すること
により、該複数種類のブロックサイズの中から最適なブ
ロックサイズを決定するように構成する。
本発明は、画像情報、特に動画像情報についての予測
符号化方式に関する。
符号化方式に関する。
例えば、テレビ電話やテレビ会議での画像信号につい
ていえば、その２つのフレーム間では対応する画像は一
般に似通った値を有するため、このようなフレーム間の
情報は強い相関をもつ。このために、このとき動画像に
ついて予測誤差をより小さくして画像信号の帯域帯縮符
号化がより効率良く行われることが必要になって来てい
る。
ていえば、その２つのフレーム間では対応する画像は一
般に似通った値を有するため、このようなフレーム間の
情報は強い相関をもつ。このために、このとき動画像に
ついて予測誤差をより小さくして画像信号の帯域帯縮符
号化がより効率良く行われることが必要になって来てい
る。
第12図は従来から用いられている動き補償付予測符号
化方式を示したもので、図中、１は量子化器、２はフレ
ームメモリ、３は可変遅延器、４は動き検出器、５は直
交変換器としての離散コサイン変換器（DCT）、６は離
散逆コサイン変換器（DCT-1）である。この方式では、
入力画面ブロックとフレームメモリ２に格納されている
参照画面上の同位置及びその周辺のブロックとの間で画
素単位の差分の絶対値を動き検出器４でとり且つ１ブロ
ック分累積し、その累積値が最も小さいブロックが移動
する前のブロックと予測してその予測ブロックを可変遅
延器３において移動分だけ遅延させてから次の入力画面
ブロックとの差分がとられる。
化方式を示したもので、図中、１は量子化器、２はフレ
ームメモリ、３は可変遅延器、４は動き検出器、５は直
交変換器としての離散コサイン変換器（DCT）、６は離
散逆コサイン変換器（DCT-1）である。この方式では、
入力画面ブロックとフレームメモリ２に格納されている
参照画面上の同位置及びその周辺のブロックとの間で画
素単位の差分の絶対値を動き検出器４でとり且つ１ブロ
ック分累積し、その累積値が最も小さいブロックが移動
する前のブロックと予測してその予測ブロックを可変遅
延器３において移動分だけ遅延させてから次の入力画面
ブロックとの差分がとられる。
このようにして得られた差分信号はDCT5でコサイン変
換することにより周波数成分に分解され、周波数領域で
係数の量子化を量子化器１で行い、低周波成分の係数か
ら順に量子化伝送し、残りの量子化したDCT係数が全て
“0"になったときに「無効」情報を送るとともにブロッ
クの伝送を終了させることにより、高周波成分の圧縮を
行っている。
換することにより周波数成分に分解され、周波数領域で
係数の量子化を量子化器１で行い、低周波成分の係数か
ら順に量子化伝送し、残りの量子化したDCT係数が全て
“0"になったときに「無効」情報を送るとともにブロッ
クの伝送を終了させることにより、高周波成分の圧縮を
行っている。
すなわち、DCTを行い量子化したブロックは、高周波
成分ほど“0"が発生する確率が高くなるので、符号化効
率を上げるため、第13図（１）に示すように２次元配列
となっている周波数成分を、同図（２）に示すように１
次元展開し低周波成分から高周波成分へ順にスキャンし
て行く。スキャンして、残りの周波数成分が全て“0"で
あれば“0"を伝送する代わりに、これ以降の成分は「無
効」であるとしてEOB（end of bound）などの符号語を
付けて伝送を終了させ、符号化効率を高めている。
成分ほど“0"が発生する確率が高くなるので、符号化効
率を上げるため、第13図（１）に示すように２次元配列
となっている周波数成分を、同図（２）に示すように１
次元展開し低周波成分から高周波成分へ順にスキャンし
て行く。スキャンして、残りの周波数成分が全て“0"で
あれば“0"を伝送する代わりに、これ以降の成分は「無
効」であるとしてEOB（end of bound）などの符号語を
付けて伝送を終了させ、符号化効率を高めている。
また、受信側では丁度この逆の動作が行われる。
従来の動き補償方式では、Ｉフレームを複数のブロッ
クに分割して各ブロックごとに動き補償を施すことが行
われるが、動き補償をかけるブロックサイズは画面の平
坦部でも変化の激しい部分でも同一であった。
クに分割して各ブロックごとに動き補償を施すことが行
われるが、動き補償をかけるブロックサイズは画面の平
坦部でも変化の激しい部分でも同一であった。
一方、動き補償のブロックサイズは大きいほど、動き
補償の動き情報を伝送する情報量は少なく、また動き補
償により得られた画面と原画との差（誤差）は大きい。
補償の動き情報を伝送する情報量は少なく、また動き補
償により得られた画面と原画との差（誤差）は大きい。
従って、従来は、上述のごとく、画面のどんな部分で
も同じブロックサイズで動き補償を行っていたので、例
えばブロックサイズが一様に大きいときには、画面の平
坦部では生じる誤差が少ないが、画面の変化が激しい部
分では誤差が大きく、また逆にブロックサイズが一様に
小さいときには、画面の変化が激しい部分では生じる誤
差が少ないが、画面の平坦部では誤差はブロックサイズ
が大きいときとほぼ同じであるにもかかわらず余分な情
報量が増えてしまうという問題点があった。
も同じブロックサイズで動き補償を行っていたので、例
えばブロックサイズが一様に大きいときには、画面の平
坦部では生じる誤差が少ないが、画面の変化が激しい部
分では誤差が大きく、また逆にブロックサイズが一様に
小さいときには、画面の変化が激しい部分では生じる誤
差が少ないが、画面の平坦部では誤差はブロックサイズ
が大きいときとほぼ同じであるにもかかわらず余分な情
報量が増えてしまうという問題点があった。
本発明は、このような二律背反的な問題点を解決しよ
うとするもので、符号化処理を施すブロックサイズを可
変にできるようにした動画像の動き補償付予測符号化方
式を提供することを目的としている。
うとするもので、符号化処理を施すブロックサイズを可
変にできるようにした動画像の動き補償付予測符号化方
式を提供することを目的としている。
第１図乃至第３図は、上記の目的を達成するための本
発明に係る動画像の予測符号化方式における、予測符号
化方式を示したもので、この第１図においては、予測方
式を決定するために、入力画像情報を含む複数種類のブ
ロックサイズについて、それぞれフレーム間予測、動き
補償予測およびフレーム内予測の各予測方式を実行する
ことにより、各大きさのブロックについてのそれぞれの
予測誤差を求める手段14、15、16と、これらの予測誤差
の中から、最小の予測誤差及びこれに対応した予測方式
を選択する第１の評価手段17と、を備えている。
発明に係る動画像の予測符号化方式における、予測符号
化方式を示したもので、この第１図においては、予測方
式を決定するために、入力画像情報を含む複数種類のブ
ロックサイズについて、それぞれフレーム間予測、動き
補償予測およびフレーム内予測の各予測方式を実行する
ことにより、各大きさのブロックについてのそれぞれの
予測誤差を求める手段14、15、16と、これらの予測誤差
の中から、最小の予測誤差及びこれに対応した予測方式
を選択する第１の評価手段17と、を備えている。
第２図は、第１図の評価手段17で求められた予測誤差
により、該複数種類のブロックの中から最適なブロック
サイズを決定する第２の評価手段22を示したもので、こ
の第２の評価手段22は、全ブロックサイズのうちの隣り
合った大小２つのブロックについて順次行われたDCTの
結果、無効となった大きい方のブロックサイズか、又
は、第１の評価手段17からの大きいブロックサイズと小
さいブロックサイズの予測誤差の単位画素当たりの差の
絶対値が所定しきい値より小さい場合に、大きい方のブ
ロックサイズを決定して伝送するものである。
により、該複数種類のブロックの中から最適なブロック
サイズを決定する第２の評価手段22を示したもので、こ
の第２の評価手段22は、全ブロックサイズのうちの隣り
合った大小２つのブロックについて順次行われたDCTの
結果、無効となった大きい方のブロックサイズか、又
は、第１の評価手段17からの大きいブロックサイズと小
さいブロックサイズの予測誤差の単位画素当たりの差の
絶対値が所定しきい値より小さい場合に、大きい方のブ
ロックサイズを決定して伝送するものである。
この場合、本発明では、第２の評価手段22は、第３図
に示すように大小両ブロックのDCT情報量と該第１の評
価手段17からの予測方式の情報量との和を互いに比較し
て、大きい方のブロックサイズの情報量の和の方が小さ
ければその大きいブロックサイズを決定して伝送するこ
ともできる。
に示すように大小両ブロックのDCT情報量と該第１の評
価手段17からの予測方式の情報量との和を互いに比較し
て、大きい方のブロックサイズの情報量の和の方が小さ
ければその大きいブロックサイズを決定して伝送するこ
ともできる。
第２図においては、第２の評価手段22は、比較する大
小２つのブロックの各DCT結果が、大きいブロックサイ
ズについて無効となった時にそのブロックサイズを決定
するとともに、無効とならなかった場合でも、大小両方
のブロックサイズの各予測誤差の単位当たりの差の絶対
値が所定しきい値よりも小さければ、大きい方のブロッ
クサイズを決定するので、これを順次全ブロックについ
て行うことにより、画面の変化が平坦な部分については
大きなブロックが選択され、画面の変化が激しい部分に
対しては小さなブロックが選択されることになる。
小２つのブロックの各DCT結果が、大きいブロックサイ
ズについて無効となった時にそのブロックサイズを決定
するとともに、無効とならなかった場合でも、大小両方
のブロックサイズの各予測誤差の単位当たりの差の絶対
値が所定しきい値よりも小さければ、大きい方のブロッ
クサイズを決定するので、これを順次全ブロックについ
て行うことにより、画面の変化が平坦な部分については
大きなブロックが選択され、画面の変化が激しい部分に
対しては小さなブロックが選択されることになる。
また、第３図のように、第２の評価手段が、更に大小
両ブロックのDCT情報量と第１の評価手段17からの予測
方式の情報量との和を互いに比較して、大きい方のブロ
ックサイズの情報量の和＜小さい方のブロックサイズの
情報量の和の関係にあれば、DCTの結果無効となった場
合と同様に平坦部分であるとして大きい方のブロックサ
イズを選択することができる。
両ブロックのDCT情報量と第１の評価手段17からの予測
方式の情報量との和を互いに比較して、大きい方のブロ
ックサイズの情報量の和＜小さい方のブロックサイズの
情報量の和の関係にあれば、DCTの結果無効となった場
合と同様に平坦部分であるとして大きい方のブロックサ
イズを選択することができる。
このようにして、画面の部分的な状態に応じてブロッ
クサイズを適応的に切り替えている。
クサイズを適応的に切り替えている。
まず、第１図及び第２図により本発明の一実施例を説
明する。
明する。
まず、第１図を説明すると、この第１図において、３
は可変遅延手段（VDLY）、４は動き検出・補償手段（M
C）、13は平均値算出手段、14はフレーム間予測手段、1
5は動き補償予測手段、16はフレーム内予測手段、17は
第１の評価手段である。
は可変遅延手段（VDLY）、４は動き検出・補償手段（M
C）、13は平均値算出手段、14はフレーム間予測手段、1
5は動き補償予測手段、16はフレーム内予測手段、17は
第１の評価手段である。
ここで、動き補償手段４は、入力画像情報とフレーム
メモリ（図示せず）からの再生画像情報とを受けて動ベ
クトル情報を可変遅延手段３へ出力する。
メモリ（図示せず）からの再生画像情報とを受けて動ベ
クトル情報を可変遅延手段３へ出力する。
可変遅延手段３は、動ベクトル情報に従って再生画像
を遅延させて動き補償予測手段15へ出力する。
を遅延させて動き補償予測手段15へ出力する。
平均値算出手段13は、入力画像情報の平均値を計算し
てフレーム内予測手段16へ出力する。
てフレーム内予測手段16へ出力する。
フレーム間予測手段14は再生画像情報と入力画像情報
とを受けて、フレーム間予測による予測誤差を第１の評
価手段17へ出力し、動き補償予測手段15は入力画像情報
と可変遅延手段12からの遅延された再生画像情報とを受
けて、動き補償予測による予測誤差を第１の評価手段17
へ出力し、フレーム内予測手段16は入力画像情報と平均
値算出手段13からの出力とを受けて、フレーム内予測に
よる予測誤差を第１の評価手段17へ出力する。
とを受けて、フレーム間予測による予測誤差を第１の評
価手段17へ出力し、動き補償予測手段15は入力画像情報
と可変遅延手段12からの遅延された再生画像情報とを受
けて、動き補償予測による予測誤差を第１の評価手段17
へ出力し、フレーム内予測手段16は入力画像情報と平均
値算出手段13からの出力とを受けて、フレーム内予測に
よる予測誤差を第１の評価手段17へ出力する。
第１の評価手段17は、フレーム間予測手段14からの予
測誤差、動き補償予測手段15からの予測誤差、およびフ
レーム内予測手段16からの予測誤差を受けて、所定の評
価関数により上記の予測誤差を評価することにより、最
適な予測方式を選定して出力ライン17aからその最適な
予測方式に関する情報を出力するとともに、選ばれた予
測方式の予測誤差を出力ライン17bから出力する。
測誤差、動き補償予測手段15からの予測誤差、およびフ
レーム内予測手段16からの予測誤差を受けて、所定の評
価関数により上記の予測誤差を評価することにより、最
適な予測方式を選定して出力ライン17aからその最適な
予測方式に関する情報を出力するとともに、選ばれた予
測方式の予測誤差を出力ライン17bから出力する。
また、第２図において、20は第１の評価手段17からの
相対的に大きいサイズのブロックについての予測誤差情
報を出力するラインで、21は予測誤差平均値算出手段
で、この予測誤差平均値算出手段21は第１の評価手段17
からの相対的に小さいサイズのブロックｎ個分（小ブロ
ックｎ個で大ブロックの大きさに相当する）についての
予測誤差の平均値（大ブロックに換算した場合の予測誤
差）を算出するもので、その出力ライン21aを通じて上
記予測誤差の平均値情報が第２の評価手段22へ入力され
る。
相対的に大きいサイズのブロックについての予測誤差情
報を出力するラインで、21は予測誤差平均値算出手段
で、この予測誤差平均値算出手段21は第１の評価手段17
からの相対的に小さいサイズのブロックｎ個分（小ブロ
ックｎ個で大ブロックの大きさに相当する）についての
予測誤差の平均値（大ブロックに換算した場合の予測誤
差）を算出するもので、その出力ライン21aを通じて上
記予測誤差の平均値情報が第２の評価手段22へ入力され
る。
第２図の第２の評価手段22には、更に大ブロックのDC
T結果（DCTを行って量子化を行った場合の有効／無効結
果）がライン31から入力され、同じく小ブロックのDCT
結果がライン32から入力されている。尚、DCT結果は、D
CT後の量子化した係数が“0"となったとき「無効」であ
り、そうでない場合は「有効」となる。
T結果（DCTを行って量子化を行った場合の有効／無効結
果）がライン31から入力され、同じく小ブロックのDCT
結果がライン32から入力されている。尚、DCT結果は、D
CT後の量子化した係数が“0"となったとき「無効」であ
り、そうでない場合は「有効」となる。
このような入力情報を受けて、第２の評価手段22は、
最適なブロックサイズを決定して出力ライン22aからそ
の情報を出力する。
最適なブロックサイズを決定して出力ライン22aからそ
の情報を出力する。
以下に、この実施例について更に詳細に説明する。
まず、ブロックサイズを例えば第４図（ａ）〜
（ｄ）、第５図に示すごとく32×32（画素）、16×16
（画素）、８×８（画素）、４×４（画素）という様に
複数種類予め定めておき、それぞれのブロックサイズに
ついて、ブロック毎に、フレーム間予測手段14、動き補
償予測手段15、およびフレーム内予測手段16において、
それぞれフレーム間予測、動き補償予測、およびフレー
ム内予測を行い、その予測誤差を、ある定められた評価
関数を持った第１の評価手段17に入力し、評価をした結
果、どの予測方式を選ぶかを、第１の評価手段17の出力
ライン17aから出力し、また、選ばれた予測方式の誤差
を他の出力ライン17bから出力する。
（ｄ）、第５図に示すごとく32×32（画素）、16×16
（画素）、８×８（画素）、４×４（画素）という様に
複数種類予め定めておき、それぞれのブロックサイズに
ついて、ブロック毎に、フレーム間予測手段14、動き補
償予測手段15、およびフレーム内予測手段16において、
それぞれフレーム間予測、動き補償予測、およびフレー
ム内予測を行い、その予測誤差を、ある定められた評価
関数を持った第１の評価手段17に入力し、評価をした結
果、どの予測方式を選ぶかを、第１の評価手段17の出力
ライン17aから出力し、また、選ばれた予測方式の誤差
を他の出力ライン17bから出力する。
なお、ブロックサイズの種類は、上記のごとく、４つ
とし、32×32（画素）、16×16、８×８、４×４〔第４
図（ａ）〜（ｄ）、第５図〕とするが、ブロックサイズ
は32×32を最大のブロックサイズとし、このサイズで同
じ処理が繰り返されるものとする。また、これらのブロ
ックサイズは倍数関係にあるので、１フレーム内での相
対的な換算が可能となっている。
とし、32×32（画素）、16×16、８×８、４×４〔第４
図（ａ）〜（ｄ）、第５図〕とするが、ブロックサイズ
は32×32を最大のブロックサイズとし、このサイズで同
じ処理が繰り返されるものとする。また、これらのブロ
ックサイズは倍数関係にあるので、１フレーム内での相
対的な換算が可能となっている。
また、フレーム内予測は、第１図では、自分自身の
（被符号化ブロックの）平均値を計算する方式となって
いるが、特にそのようには限らず、被符号化画像（入力
画像）の処理済みのブロック（例えば左や上のブロッ
ク）の平均値を用いる方法でもよい。なお、フレーム内
予測で自分自身のブロックの平均値を用いる時は、どの
予測方式を選択したかという情報やその予測誤差を出力
する他、これと共に、自分自身のブロックの平均値も出
力しなければならない。
（被符号化ブロックの）平均値を計算する方式となって
いるが、特にそのようには限らず、被符号化画像（入力
画像）の処理済みのブロック（例えば左や上のブロッ
ク）の平均値を用いる方法でもよい。なお、フレーム内
予測で自分自身のブロックの平均値を用いる時は、どの
予測方式を選択したかという情報やその予測誤差を出力
する他、これと共に、自分自身のブロックの平均値も出
力しなければならない。
次に、それぞれのブロックサイズについて最適な予測
方式を選ぶためのアルゴリズムを、第６図に示すフロー
チャートを用いて説明する。
方式を選ぶためのアルゴリズムを、第６図に示すフロー
チャートを用いて説明する。
まず、ステップa1で、フレーム間予測、動き補償予測
およびフレーム内予測の予測誤差DKAN、DMC、DNAIを計
算して入力するとともに、予めしきい値THを決めてお
く。
およびフレーム内予測の予測誤差DKAN、DMC、DNAIを計
算して入力するとともに、予めしきい値THを決めてお
く。
そして、次のステップa2において、フレーム間予測の
予測誤差DKANが最小値であるかどうかが判断されるが、
もしフレーム間予測の予測誤差DKANが最小値であれば、
ステップa2でYESルートをとって、ステップa4で、フレ
ーム間予測方式を採用することと、その予測誤差DKANを
それぞれ第１の評価手段17の出力ライン17a及び17bから
出力する。
予測誤差DKANが最小値であるかどうかが判断されるが、
もしフレーム間予測の予測誤差DKANが最小値であれば、
ステップa2でYESルートをとって、ステップa4で、フレ
ーム間予測方式を採用することと、その予測誤差DKANを
それぞれ第１の評価手段17の出力ライン17a及び17bから
出力する。
また、もしフレーム間予測の予測誤差DKANが最小値で
なければ、ステップa3において、フレーム間予測の予測
誤差DKANと動き補償予測の予測誤差DMCとの差（絶対
値）がしきい値TH以内かどうかを判断するが、このステ
ップa3でYESなら、ステップa4で、フレーム間予測方式
を採用することと、その予測誤差DKANをそれぞれライン
17a及び17bから出力する。
なければ、ステップa3において、フレーム間予測の予測
誤差DKANと動き補償予測の予測誤差DMCとの差（絶対
値）がしきい値TH以内かどうかを判断するが、このステ
ップa3でYESなら、ステップa4で、フレーム間予測方式
を採用することと、その予測誤差DKANをそれぞれライン
17a及び17bから出力する。
一方、ステップa3で、NOなら、ステップa5において、
動き補償予測の予測誤差DMCとフレーム内予測の予測誤
差DNAIとを比べ、動き補償予測の予測誤差DMCの方が小
さいなら、ステップa7で、動き補償予測方式を採用する
ことと、その予測誤差DMCをそれぞれライン17a及び17b
から出力する。
動き補償予測の予測誤差DMCとフレーム内予測の予測誤
差DNAIとを比べ、動き補償予測の予測誤差DMCの方が小
さいなら、ステップa7で、動き補償予測方式を採用する
ことと、その予測誤差DMCをそれぞれライン17a及び17b
から出力する。
そうでなければ、ステップa6で、動き補償予測の予測
誤差DMCと、フレーム内予測の予測誤差DNAIとの差（絶
対値）がしきい値TH以内なら、ステップa7で、動き補償
予測方式で採用することと、その予測誤差DMCをそれぞ
れライン17a及び17bから出力する。
誤差DMCと、フレーム内予測の予測誤差DNAIとの差（絶
対値）がしきい値TH以内なら、ステップa7で、動き補償
予測方式で採用することと、その予測誤差DMCをそれぞ
れライン17a及び17bから出力する。
また、ステップa6で、NOなら、ステップa8で、フレー
ム内予測方式を採用することと、その予測誤差DNAIをそ
れぞれライン17a及び17bから出力する。
ム内予測方式を採用することと、その予測誤差DNAIをそ
れぞれライン17a及び17bから出力する。
このようにして、最小の予測誤差及びこれに対応した
予測方式が選ばれるが、この場合、動きが少ないと、フ
レーム間予測が選ばれ、動きが多くなるに従い、順に動
き補償予測、フレーム内予測が選ばれる。
予測方式が選ばれるが、この場合、動きが少ないと、フ
レーム間予測が選ばれ、動きが多くなるに従い、順に動
き補償予測、フレーム内予測が選ばれる。
次に、第２の評価手段22におけるブロックサイズの決
定の仕方について説明する。
定の仕方について説明する。
かかるブロックサイズ決定操作は、まず、32×32と16
×16について行い、次に16×16と８×８、８×８と４×
４の順で大ブロック対小ブロックの関係において行い、
同じ処理が繰り返される。
×16について行い、次に16×16と８×８、８×８と４×
４の順で大ブロック対小ブロックの関係において行い、
同じ処理が繰り返される。
すなわち、上記のようにして、それぞれのブロックサ
イズの予測方式と、予測誤差が第１の評価手段17で決定
されると、次にブロックサイズの決定を行うが、この場
合、大ブロックの予測誤差と、次に小さい小ブロックの
予測誤差の平均値（これは大ブロックの大きさで、小ブ
ロックがｎ個分とする）とを第１の評価手段17から第２
の評価手段22（この第２の評価手段22の有する評価関数
は第１の評価手段17の有するものと同一でもよい）に入
力し、更に大ブロック及び小ブロックのDCT結果を入力
することにより、この第２の評価手段22の評価関数によ
り選ばれたブロックサイズとその予測誤差を出力ライン
22a、22bから出力する。
イズの予測方式と、予測誤差が第１の評価手段17で決定
されると、次にブロックサイズの決定を行うが、この場
合、大ブロックの予測誤差と、次に小さい小ブロックの
予測誤差の平均値（これは大ブロックの大きさで、小ブ
ロックがｎ個分とする）とを第１の評価手段17から第２
の評価手段22（この第２の評価手段22の有する評価関数
は第１の評価手段17の有するものと同一でもよい）に入
力し、更に大ブロック及び小ブロックのDCT結果を入力
することにより、この第２の評価手段22の評価関数によ
り選ばれたブロックサイズとその予測誤差を出力ライン
22a、22bから出力する。
次に、ブロックサイズを決定するための第２の評価手
段22のアルゴリズムを、第７図に示すフローチャートを
用いて説明する。
段22のアルゴリズムを、第７図に示すフローチャートを
用いて説明する。
まず、ステップb1では、大ブロックの32×32で得られ
た予測誤差に対するDCT結果が、無効ブロック（量子化
器の量子化係数が“0"になったブロック）であればブロ
ックサイズを32×32として決定する（ステップb2）。
た予測誤差に対するDCT結果が、無効ブロック（量子化
器の量子化係数が“0"になったブロック）であればブロ
ックサイズを32×32として決定する（ステップb2）。
そうでなければ、次に大きいサイズの16×16ブロック
についてのDCT結果が無効ブロックになればブロックサ
イズを16×16として決定する（ステップb3、b4）。この
ステップは、32×32のブロック中に16×16のブロックが
４つ存在するので、それぞれについて行う。
についてのDCT結果が無効ブロックになればブロックサ
イズを16×16として決定する（ステップb3、b4）。この
ステップは、32×32のブロック中に16×16のブロックが
４つ存在するので、それぞれについて行う。
そうでなければ、ステップb5において、16×16のブロ
ックの予測誤差の平均値（１画素当たりの予測誤差）
と、より小さい８×８（４個）のブロックの予測誤差の
平均値との差がしきい値TH1以下ならブロックサイズを1
6×16として決定する（ステップb4）。
ックの予測誤差の平均値（１画素当たりの予測誤差）
と、より小さい８×８（４個）のブロックの予測誤差の
平均値との差がしきい値TH1以下ならブロックサイズを1
6×16として決定する（ステップb4）。
そうでなければ、ステップb6において、８×８のブロ
ックについてのDCT結果が無効ブロックになればブロッ
クサイズを８×８として決定する（ステップb7）。この
ステップも16×16のブロック中、８×８は４つ存在する
ので、それぞれについて行う。
ックについてのDCT結果が無効ブロックになればブロッ
クサイズを８×８として決定する（ステップb7）。この
ステップも16×16のブロック中、８×８は４つ存在する
ので、それぞれについて行う。
そうでなければ、８×８のブロックの予測誤差の平均
値と、４×４のブロック（４個）の予測誤差の平均値と
の差がしきい値TH2以下なら、ブロックサイズを８×８
とし（ステップb8、b7）、そうでなければブロックサイ
ズを４×４として決定する（ステップb9）。
値と、４×４のブロック（４個）の予測誤差の平均値と
の差がしきい値TH2以下なら、ブロックサイズを８×８
とし（ステップb8、b7）、そうでなければブロックサイ
ズを４×４として決定する（ステップb9）。
尚、上記のように選択されたブロックサイズは第２の
評価手段22の出力ライン22aから出力される。また、ス
テップb1とb3の間に32×32と16×16の予測誤差の比較を
特に設けていないのは、ほとんどの場合、両者の差がし
きい値を越えてしまうことが実験により明らかとなって
いるからである。
評価手段22の出力ライン22aから出力される。また、ス
テップb1とb3の間に32×32と16×16の予測誤差の比較を
特に設けていないのは、ほとんどの場合、両者の差がし
きい値を越えてしまうことが実験により明らかとなって
いるからである。
第８図は、第３図に示した第２の評価手段22において
ブロックサイズを決定するための本発明の一実施例を示
したフローチャート図で、この実施例では、大小２つの
ブロックサイズを比較しながらいずれかのブロックサイ
ズを決定するもので、まず大ブロックについてのDCT結
果が無効になったら大ブロックサイズを選択する（ステ
ップc1、c2）。
ブロックサイズを決定するための本発明の一実施例を示
したフローチャート図で、この実施例では、大小２つの
ブロックサイズを比較しながらいずれかのブロックサイ
ズを決定するもので、まず大ブロックについてのDCT結
果が無効になったら大ブロックサイズを選択する（ステ
ップc1、c2）。
そうでないときは、大ブロックの予測方式の情報量
（動き補償方式の場合は動ベクトル情報、フレーム間予
測方式の場合はその方式情報、フレーム内予測方式の場
合は平均値情報）と、予測誤差にDCTをかけた時の情報
量との和を、小ブロックの予測方式の情報量とDCT情報
量の和と比較し、大ブロックの方が小さければ大ブロッ
クを選択するが（ステップc3、c1）、そうでない時は、
小ブロックを選択する（ステップc3、c4）。
（動き補償方式の場合は動ベクトル情報、フレーム間予
測方式の場合はその方式情報、フレーム内予測方式の場
合は平均値情報）と、予測誤差にDCTをかけた時の情報
量との和を、小ブロックの予測方式の情報量とDCT情報
量の和と比較し、大ブロックの方が小さければ大ブロッ
クを選択するが（ステップc3、c1）、そうでない時は、
小ブロックを選択する（ステップc3、c4）。
これらのステップは最初、32×32の大ブロックと16×
16の小ブロックとを比較し、大ブロックが選択されたと
きはそのブロックサイズ情報が受信側に送られるが、そ
うでない場合には、今度は16×16の大ブロックと８×８
の小ブロックとを比較する。このように隣り合ったブロ
ック同士を比較し、大きい方のブロックサイズか又は４
×４の最小のブロックサイズの情報が送られることにな
る。
16の小ブロックとを比較し、大ブロックが選択されたと
きはそのブロックサイズ情報が受信側に送られるが、そ
うでない場合には、今度は16×16の大ブロックと８×８
の小ブロックとを比較する。このように隣り合ったブロ
ック同士を比較し、大きい方のブロックサイズか又は４
×４の最小のブロックサイズの情報が送られることにな
る。
尚、選択されたブロックサイズとともにそのブロック
サイズの予測方式の情報量とDCTの情報量との和も同時
に伝送する必要がある。
サイズの予測方式の情報量とDCTの情報量との和も同時
に伝送する必要がある。
このようにして、最適なブロックサイズが選ばれる。
この場合、動きが少ないと、最大のブロックサイズ（32
×32）が選ばれ、動きが多くなるにしたがい、順に小さ
なブロックサイズ（16×16→８×８→４×４）が選ばれ
る。
この場合、動きが少ないと、最大のブロックサイズ（32
×32）が選ばれ、動きが多くなるにしたがい、順に小さ
なブロックサイズ（16×16→８×８→４×４）が選ばれ
る。
なお、小ブロックｎ個分の予測誤差の平均値の計算方
法は、予測誤差の計算方法によって異なるので、特に第
１図の通りにしなければならない等の限定はせず、大ブ
ロックの大きさでの小ブロックがｎ個集まった時の予測
誤差の平均値が計算できれば良い。
法は、予測誤差の計算方法によって異なるので、特に第
１図の通りにしなければならない等の限定はせず、大ブ
ロックの大きさでの小ブロックがｎ個集まった時の予測
誤差の平均値が計算できれば良い。
また、この第１図では、予測誤差を、絶対値誤差とし
た時の計算方法である。
た時の計算方法である。
ところで、この実施例のフロー等や、第４図（ａ）〜
（ｄ）および第５図のブロックサイズや対応する位置関
係などから、32×32を１つの大きなブロックの単位とす
ると、本方式によるデータ構造は、第９図のように４分
岐４段のツリー状となり、この中で、評価関数により最
適な経路をたどることとなる。
（ｄ）および第５図のブロックサイズや対応する位置関
係などから、32×32を１つの大きなブロックの単位とす
ると、本方式によるデータ構造は、第９図のように４分
岐４段のツリー状となり、この中で、評価関数により最
適な経路をたどることとなる。
本実施例の処理結果の例を第10、11図に示す。
第10図は、第９図にならって、処理結果の例を図示
し、第11図（ａ）は第10図の16×16における位置関係を
示し、第11図（ｂ）は第10図に対応した画面の分割例で
ある。
し、第11図（ａ）は第10図の16×16における位置関係を
示し、第11図（ｂ）は第10図に対応した画面の分割例で
ある。
なお、この実施例において、決定した予測方式とブロ
ックサイズの大きさ（並びにフレーム内予測方式を採用
した場合の平均値情報）は受信側にも伝送する。
ックサイズの大きさ（並びにフレーム内予測方式を採用
した場合の平均値情報）は受信側にも伝送する。
このように、本方式では、ブロックの大きさの情報お
よび予測方式の種類を受信側に伝送するものの平坦部は
ブロックサイズを大きくし、変化の激しい部分ではブロ
ックサイズを小さくし、また画面の局部的な性質に合わ
せて予測の方法を適応的に切り替えるため、全体として
伝送効率の向上を図れるものである。
よび予測方式の種類を受信側に伝送するものの平坦部は
ブロックサイズを大きくし、変化の激しい部分ではブロ
ックサイズを小さくし、また画面の局部的な性質に合わ
せて予測の方法を適応的に切り替えるため、全体として
伝送効率の向上を図れるものである。
なお、上記の実施例に加えて、第１及び第２の評価手
段において、それぞれDCT情報量に、各予測方式の符号
長及びその重み係数を乗じた判定数をDCT情報量の代わ
りに用いても同様の結果が得られる。
段において、それぞれDCT情報量に、各予測方式の符号
長及びその重み係数を乗じた判定数をDCT情報量の代わ
りに用いても同様の結果が得られる。
以上詳述したように、本発明によれば、ブロックの大
きさの情報および予測方式の種類を受信側に伝送するも
のの、従来から用いられているDCTの演算結果を基に平
坦部又は変化の激しい部分を検出し、それぞれに応じて
ブロックサイズを大きくしたり小さくしたりするので、
画面の平坦部及び変化の激しい部分いずれに対しても最
適なブロックサイズが選択されることになり、全体とし
て伝送効率の向上を図れる利点がある。
きさの情報および予測方式の種類を受信側に伝送するも
のの、従来から用いられているDCTの演算結果を基に平
坦部又は変化の激しい部分を検出し、それぞれに応じて
ブロックサイズを大きくしたり小さくしたりするので、
画面の平坦部及び変化の激しい部分いずれに対しても最
適なブロックサイズが選択されることになり、全体とし
て伝送効率の向上を図れる利点がある。
第１図は本発明において予測方式を決定するための原理
構成図、 第２図は本発明においてブロックサイズを決定するため
の原理構成図、 第３図は本発明においてブロックサイズを決定するため
の別の原理構成図、 第４図（ａ）〜（ｄ）および第５図はいずれもブロック
の分割方法を説明する図、 第６図は本発明において予測方式を決定するためのフロ
ーチャート図、 第７図は本発明においてブロックサイズを決定するため
のフローチャート図、 第８図は本発明においてブロックサイズを決定するため
のフローチャート図、 第９図は本発明の実施例におけるデータ構造図、 第10図は本発明の実施例においてある評価関数により定
められた経路を説明するための模式図、 第11図（ａ）、（ｂ）はいずれも本発明の実施例におけ
る処理結果を示す模式図、 第12図は従来から良く知られた動画像の予測符号化方式
を示したブロック図、 第13図は離散コサイン変換の説明図、である。 図において、 ３は可変遅延手段、４は動き補償手段、14はフレーム間
予測手段、15は動き補償予測手段、16はフレーム内予測
手段、17は第１の評価手段、22は第２の評価手段。 図中、同一符号は同一又は相当部分を示す。
構成図、 第２図は本発明においてブロックサイズを決定するため
の原理構成図、 第３図は本発明においてブロックサイズを決定するため
の別の原理構成図、 第４図（ａ）〜（ｄ）および第５図はいずれもブロック
の分割方法を説明する図、 第６図は本発明において予測方式を決定するためのフロ
ーチャート図、 第７図は本発明においてブロックサイズを決定するため
のフローチャート図、 第８図は本発明においてブロックサイズを決定するため
のフローチャート図、 第９図は本発明の実施例におけるデータ構造図、 第10図は本発明の実施例においてある評価関数により定
められた経路を説明するための模式図、 第11図（ａ）、（ｂ）はいずれも本発明の実施例におけ
る処理結果を示す模式図、 第12図は従来から良く知られた動画像の予測符号化方式
を示したブロック図、 第13図は離散コサイン変換の説明図、である。 図において、 ３は可変遅延手段、４は動き補償手段、14はフレーム間
予測手段、15は動き補償予測手段、16はフレーム内予測
手段、17は第１の評価手段、22は第２の評価手段。 図中、同一符号は同一又は相当部分を示す。
Claims (2)
- 【請求項１】入力画像情報を含む所要の大きさのブロッ
クを複数種類定めておき、これらの各大きさのブロック
について、それぞれフレーム間予測、動き補償予測およ
びフレーム内予測の各予測方式を実行することにより、
各大きさのブロックについてのそれぞれの予測誤差を求
める手段（14、15、16）と、これらの予測誤差の中か
ら、最小の予測誤差及びこれに対応した予測方式を選択
する第１の評価手段（17）と、該選択された予測誤差に
より、該複数種類のブロックの中から最適なブロックサ
イズを決定する第２の評価手段（22）とを備えた動画像
の予測符号化方式において、 該第２の評価手段（22）が、全ブロックサイズの内隣り
合った大小２つのブロックサイズについて順次行われた
離散コサイン変換の結果、無効となった大きい方のブロ
ックサイズ、又は該第１の評価手段（17）からの大きい
ブロックサイズと小さいブロックサイズの予測誤差の単
位画素当たりの差の絶対値が所定しきい値より小さい場
合に大きい方のブロックサイズを決定して伝送すること
を特徴とした方式。 - 【請求項２】該第２の評価手段（22）が、全ブロックサ
イズのうち隣り合った大小２つのブロックサイズについ
て順次行われた離散コサイン変換の結果、無効となった
大きい方のブロックサイズ、又は大きいブロックサイズ
と小さいブロックサイズの離散コサイン変換情報量、及
び該第１の評価手段（17）からの予測方式の情報量との
和を互いに比較し、大きいブロックサイズの方の情報量
の和の方が小さければ該大きいブロックサイズを決定し
て伝送することを特徴とした請求項１に記載の方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6620088A JP2702139B2 (ja) | 1988-03-18 | 1988-03-18 | 動画像の予測符号化方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6620088A JP2702139B2 (ja) | 1988-03-18 | 1988-03-18 | 動画像の予測符号化方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01238389A JPH01238389A (ja) | 1989-09-22 |
| JP2702139B2 true JP2702139B2 (ja) | 1998-01-21 |
Family
ID=13308966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6620088A Expired - Fee Related JP2702139B2 (ja) | 1988-03-18 | 1988-03-18 | 動画像の予測符号化方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2702139B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04220823A (ja) * | 1990-12-20 | 1992-08-11 | Fujitsu Ltd | 画像信号伝送制御方式 |
| JP2579866Y2 (ja) * | 1992-01-22 | 1998-09-03 | 矢崎総業株式会社 | 接続端子 |
| DE10022331A1 (de) * | 2000-05-10 | 2001-11-15 | Bosch Gmbh Robert | Verfahren zur Transformationscodierung von Bewegtbildsequenzen |
| JP4724351B2 (ja) * | 2002-07-15 | 2011-07-13 | 三菱電機株式会社 | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置 |
| JP2007274366A (ja) * | 2006-03-31 | 2007-10-18 | Fujitsu Ltd | 動画像符号化装置、動きベクトル検出方法 |
| JP5222049B2 (ja) * | 2008-07-04 | 2013-06-26 | キヤノン株式会社 | 動きベクトル探索装置及びその制御方法 |
-
1988
- 1988-03-18 JP JP6620088A patent/JP2702139B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH01238389A (ja) | 1989-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4082525B2 (ja) | Ｄｃｔ領域で効率性を改善した動き予測を実行するシステムと方法 | |
| US5751362A (en) | Apparatus for encoding a video signal using feature point based motion estimation | |
| US5506621A (en) | Image processing method and apparatus | |
| JPH1093966A (ja) | 画像符号化装置 | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| KR0181032B1 (ko) | 인터리빙을 이용한 물체 기반 부호화방법 및 장치 | |
| JPH08265780A (ja) | ビデオ信号符号化／復号化装置及び方法 | |
| US9106917B2 (en) | Video encoding apparatus and video encoding method | |
| KR20000053028A (ko) | 움직임 보상을 이용한 예측 코딩 방법 및 장치 | |
| WO2006074043A2 (en) | Method and apparatus for providing motion estimation with weight prediction | |
| JP4709074B2 (ja) | 動画像符号化方法，装置，そのプログラムおよびそのプログラムを記録した記録媒体 | |
| JP2702139B2 (ja) | 動画像の予測符号化方式 | |
| JP3355964B2 (ja) | 適応直交変換モード判定方法 | |
| JP3804745B2 (ja) | フレーム構造／フィールド構造切替式画像符号化装置 | |
| JP5598199B2 (ja) | 動画像符号化装置 | |
| JP2901656B2 (ja) | 画像符号化装置 | |
| JPH03167962A (ja) | ブロック歪み改善方式 | |
| KR100207391B1 (ko) | 적응적인 벡터 양자화를 이용한 영상 부호화 시스템 및 그의 움직임 정보 검출 방법 | |
| JP4359273B2 (ja) | 符号化モード選択方法 | |
| JP2894335B2 (ja) | 画像符号化装置、方法及びプログラムを記録した記録媒体 | |
| JP2518681B2 (ja) | 動画像の縦続的符号化方式 | |
| KR100188680B1 (ko) | 이산코싸인 변환 모드 선택 장치 및 방법 | |
| JPH07112283B2 (ja) | 動きベクトル検出装置及び検出方法 | |
| JP3237029B2 (ja) | 動画像圧縮装置 | |
| KR0142260B1 (ko) | 변환(dct)모드선택장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |