JPH0385080A - 動画像の直交変換符号化方式およびその復号化の方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は動画像の直交変換符号化および復号化方式に関
するものである。

（従来の技術） 従来、画像の高能率符号化方式に関しては直交変換符号
化方式が知られている。

この方式は画像フレームをあらかじめ定められた大きさ
のブロックに分割し、各ブロック毎に直交変換してその
変換係数を量子化および符号化するものである。

その回路構成の一例を第８図に示す。

２次元ブロック直交変換回路３３に入力された画像フレ
ーム信号は、まず、あらかじめ定められた大きさのブロ
ックに分割される。各ブロックの信号は画像の水平方向
および垂直方向の直交変換により空間周波数成分を示す
互いに無相関な変換係数に置き換えられる。

前記変換係数値はＯに集中した分布を持ち、さらに量子
化回路３４において量子化すれば符号仕向路３５におい
て可変長符号化することで効率的に符号化することがで
きる。

前記２次元ブロック直交変換回路３３は、水平ライン上
のサンプリング位置が各ラインで等しい画像に対しては
第５図のように画像の水平方向と垂直方向そ１れぞれの
直交変換を縦続接続した形で実現可能である。すなわち
分離可能な２次元ブロック直交変換として広く実用化さ
れている。

（発明が解決しようとする課題） 従来の方式をインタレース動画像の符号化に適用した場
合には、動画像信号のフィールド内相関しか利用してお
らず時間方向の相関はそのままなので符号化効率の改善
が十分でないと考えられる。

そこで従来の２次元ブロック直交変換を３次元ブロック
直交変換に拡張する方式が考えられる。

しかしながら、インタレース動画像信号に対しては３次
元全ての方向に対して分離可能ではない。

すなわち、時間方向と垂直方向および水平方向それぞれ
別々の直交変換を縦続接続した形で実現することができ
ない、なぜならばインタレース動画像゛信号では第６図
に示すように奇数フィールドと偶数フィールドとでサン
プリング構造が異なるためである。また、奇数フィール
ドと偶数フィールドとを分けてそれぞれ別々に分離可能
な３次元ブロック直交変換を実現することもできるが、
この場合にはフィールド間相関を利用していないという
問題点があった。

本発明の目的は、インタレース動画像信号に対してフィ
ールド間相関を利用し、かつ分離可能な３次元ブロック
直交変換符号化を実現する手段を提供することにある。

（課題を解決するための手段） 前述の課題を解決するため本発明の第１の動画像の直交
変換符号化方式は、インタレース動画像信号を直交変換
符号化する動画像の直交変換符号化方式において、前記
変換に先だって各フィールド信号に対してインタレース
により飛び越された走査線上の画素に固定値として０を
補間しておき、連続した複数フィールド信号に対して画
像の水平方向と垂直方向および時間方向の３次元ブロッ
ク直交変換を行うことにより画像の時空間周波数成分を
示す変換係数を求め、前記変換係数のうち一部分を打ち
切り、残りの変換係数を符号化する。

また、本発明の第２の動画像信号の直交変換符号化方式
は、時間方向に対して画像のライン毎に交互に異な、る
変換基底を用いた直交変換を行いさらに垂直方向と水平
方向に対する２次元ブロック直交変換を行うか、または
垂直方向に対してフィールド毎に交互に異なる変換基底
を用いた直交変換を行い、さらに時間方向と水平方向の
２次元ブロック直交変換を行うことにより画像の時空間
周波数成分を示す変換係数を求め、前記変換係数のうち
一部分を打ち切り、残りの変換係数を符号化する。

さらに、本発明による方式では、上記の符号化方式で得
られた変換係数から画像を復号化する方式において、あ
らかじめ前記符号化で打ち切られた変換係数に固定値と
して０を補間しておき、前記Ｏを補間した変換係数を３
次元ブロック逆直交変換することによりノンインタレー
ス動画像信号を復与化するか、または前記変換係数を画
像の垂直方向と時間方向の２次元ブロック逆直交変換を
行った後に必要とするラインにのみ水平方向の逆直交変
換を行うことによりインタレース動画像信号を復号化す
る。

（作用） 第１の発明の直交変換を用いたインタレース動画像の符
号化方式では、まず第６図に×印で示した画素すなわち
インタレースにより飛び越された走査線上の画素に固定
値として０を補間する。

次に、連続した複数フィールド信号をあらかじめ定めた
大きさのブロックに分割する。−例として前記連続フィ
ールド数をＬとすると、ブロックの大きさはＮｘＭｘＬ
　（Ｎ画素、Ｍライン、Ｌフィールド）と表すことがで
きる。ここでブロックの水平方向をＸ、垂直方向をｙ、
また時間方向をｔとし、ブロック内信号をＩ　（ｘ、ｙ
、ｔ）で表す１画像信号は前記ブロック毎にＸ軸とｙ軸
およびｔ軸の３次元ブロック直交変換を行い、画像のブ
ロック内時空間周波数成分を示すＮＸＭＸＬＷの麦麹係
数Ｃ（ｕ＋Ｖ、ｆ）を得る。

ａ３（ｆ、ｔ） この変換式でｕ、ｖ、ｆは各々ブロック内画像信号の水
平、垂直、時間方向の周波数を、ａｌ。

ａ２．ａ３は各々水平、垂直、時間方向の直交変換基底
を示す、前記変換式で示される３次元ブロック直交変換
は第４図に示すように各方向毎に分離可能であり、かつ
どの順序で行ってもよい。

ところで、前記変換係数は飛び越された走査線上に固定
値Ｏを補間したものを直交変換した結果であるからゲイ
ン補正をする必要がある。

ここで、Ｎ、Ｍ、Ｌがともに２の倍数であるならば、前
記変換係数の値を全て２倍にすればよい。

また、第６図に示すようなサンプリング構造をもつイン
タレース動画像信号に対しては第７図に斜線で示した部
分の周波数成分を持たない、なお、第７図でｖＬはイン
タレース・ライン周波数であり、ｆｖはフィールド周波
数である。

しかし、変換係数Ｃ（ｕ、ｖ、ｆ）は前記インタレース
信号に固定値０を補間した後に直交変換して得た係数で
あるから、折り返し成分として第７図の斜線部分に相当
する係数を持っている。これらの係数は係数の個数を増
やし符号化効率を低下させるのでこれを打ち切り、残っ
た変換係数に対してのみ量子化・符号化を行う。

以上の方法により不必要な変換係数を符号化することな
くフィールド間相関を利用した分離可能な３次元ブロッ
ク直交変換符号化方式を実現することができる。

第２の発明の直交変換を用いたインタレース動画像の符
号化方式では、まず連続した複数フィールド信号をあら
かじめ定めた大きさのブロックに分割する。

すなわち、前記連続フィールド数をＬとすると、ブロッ
クの大きさはＮｘＭｘＬ　（Ｎ画素、Ｍライン、Ｌフィ
ールド）と表すことができる。但しライン数Ｍはインタ
レースにより飛び越されたラインを含めた走査線数であ
る。ここでブロックの水平方向４ｘ、垂直方向をｙ、ま
た時間方向をｔとシ′ しブロック内信号をＩ　（ｘ、ｙ、ｔ）で表す０次に各
ブロックに対して画像の水平方向Ｘと垂直方向ｙおよび
時間方向ｔに対して直交変換を行う。

ここではＬは偶数とし、まず時間方向ｔに対して直交変
換を行った場合について説明する。

第６図に示すように、ｔで示される時間方向の直交変換
を行い、各画素位置（ｘ、ｙ）毎に時間方向周波数ｆに
関するＬ個の変換係数Ｈ（ｘ　＋　ｙ　。

ｆ）を得る。

ところで、第６図かられかるように、奇数ラインと偶数
ラインとではサンプリング位置が異なるので、同じ直交
変換基底を用いても実際の計算上はあたかも異なる直交
変換が行われたように見える。

すなわち、長さＬの直交変換基底係数列ａ３（ｆ、ｔ）
のうち奇数ラインでは七の奇数番目の係数を用い偶数ラ
インではｔの偶数番目の係数を用いて直交変換が行われ
る０式で示せば（奇数ライン） （偶数ライン） となる。

次に、変換係数Ｈ（ｘ、ｙ＋　ｆ）に対して画像の水平
方向Ｘと垂直方向ｙに対する２次元ブロック直交変換を
行い、画像のブロック内時室゛間周波数収骨を示すＮＸ
ＭＸＬ個の変換係数Ｃ（ｕ、ｖ。

ｆ）を得る。

ａｌ　（ｕ、ｘ）とａ　２　（ｖ　＋　ｙ　）は各々画
像の水平方向と垂直方向に対する直交変換基底である。

前記変換式で示される２次元ブロック直交変換は第５図
に示すように分離可能である。また、時間方向と垂直方
向および水平方向各々の直交変換はどの順序で行っても
よい。

ところで、インタレース動画像信号はそのサンプリンー
ー梢造から第７図に斜線で示した周波数成分を持たない
が、以上の計算では前記周波数成分に相当する係数Ｃ（
ｕ、ｖ、ｆ）があられれる。

これらの係数は不要で打ち切ることができ、残った変換
係数に対してのみ量子化・符号化を行う。

以上の方式によりフィールド間相関を利用した分離可能
な３次元ブロック直交変換符号化方式を実現することが
できる。

また、本方式の直交変換において、まず画像の垂直方向
ｙに対してフィールド毎に異なる変換基底を用いた直交
変換を行い各（ｘ、ｔ）の位置毎にＭ個の変換係数Ｇ（
ｘ、ｖ、ｔ）を求め、次に、この変換係数Ｇ（ｘ、ｖ、
ｔ）を画像の水平方向Ｘと時間方向ｔの２次元ブロック
直交変換しても同様に変換係数Ｃ（ｕ、ｖ、ｆ）を得る
ことができる。この場合に垂直方向に対する直交変換で
は長さＭの直交変換基底係数列ａ２　（ｖ、ｙ）のうち
奇数フィールドではｙの奇数番目の係数を用い偶数フィ
ールドではｙの偶数番目の係数を用いて直交変換が行わ
れる。

変換は分離可能であり、かつ垂直方向と時間方向および
水平方向各々の直交変換はどの順序で行ってもよい。

第３の発明のインタレース動画像信号の３次元ブロック
直交変換係数から画像を復号化する方式では、まず、符
号化変換係数を逆符号化・逆量子化して変換係数に戻す
。

次に、この変換係数に符号化側で打ち切られた係数部分
に０の値を補間する。

補間された変換係数に対して画像の時間方向と垂直方向
および水平方向の３次元ブロック逆直交変換をすれば復
号画像としてノンインタレース動画像を得ることができ
る。

また、前記Ｏを補間された変換係数に画像の時間方向と
垂直方向の２次元ブロック逆直交変換をした後に、水平
方向に対してはライン毎に飛び越して逆直交変換を行え
ば復号画像としてインタレース動画像を得ることができ
る。ここで、前記飛び越しされるラインは原画像である
インタレース１　：。

動画像の飛び越し走査で飛び越されるラインと同じとす
る。

以上の方法により同じ変換係数からノンインタレース動
画像信号とインタレース動画像信号のどちらも復号化す
ることができ、かつインタレース動画像を復号化する場
合には不必要な逆直交変換演算を省くことができる。

（実施例） 以下、本発明の実施例を第１〜７図を用いて説明する。

第１図は第１の発明のインタレース動画像信号の直交変
換符号化方式を実現する一実施例のブロック図である。

原信号であるインタレース動画像信号はまず補間回路１
に入力され、各画像フィールド毎に飛び越し走査により
走査されなかったラインの画素に固定値として０を補間
する。

次に、補間された画像信号は３次元ブロック直交変換回
路２で変換係数に置換される。

３次元ブロック直交変換回路２では、まず入力画像信号
を時空間方向で一定の大きさにとったブロックに分割す
る。−例として本実施例では連続したＬ個のフィールド
信号をＮ画素×ＭラインＸＬフィールドの大きさのブロ
ックに分割する。

ブロック化された画像信号は、画像の水平方向と垂直方
向および時間方向に直交変換され、画像ブロックと同じ
大きさの変換係数に置換され出力される。前記直交変換
は第４図に示すように各方向毎に分離して行うことがで
き、またどの順序で行ってもよい、なお、第４図におい
て変換基底２６．２７および２８は各々長さＮ、Ｍ、Ｌ
の直交変換基底である。

次に、打ち切り回路３で各変換係数のうち第７図に斜線
で示した高周波成分に相当する部分について打ち切る。

残った変換係数は量子化回路４でゲイン補正および量子
化され、さらに符号化回路５で可変長符号化される。

第２図は第２の発明のインタレース動画像信号の直交変
換符号化方式を実現する一実施例のブロック図である。

ブロック直交変換回路６に入力されたインタレース動画
像信号は、まず、時空間方向で一定の大きさにとったブ
ロックに分割される。−例として連続したＬ個のフィー
ルド信号Ｎ画素ＸＭライン×Ｌフィールドの大きさのブ
ロックに分割する。

但し、ライ、ン数Ｍはインタレースにより飛び越すれた
ラインを含めた走査線数である。

次にブロック化された画像信号は画像の垂直方向または
時間方向のいずれかに直交変換されＮ×ＭＸＬ個の変換
係数に変換される。

ここで、画像信号は第６図に示すようなサンプリング構
造をもつので、垂直方向に直交変換する場合には奇数フ
ィールドと偶数フィールドとで変換基底を変え、時間方
向に直交変換する場合には奇数ラインと偶数ラインとで
変換基底を変える。

前記２種類の変換基底は各々の変換基底Ａｌｌと変換基
底Ｂ１２から与えられ、フィールド毎あるいはライン毎
に交互に変換回路６に供給される。

次に、前記変換係数は、２次元ブロック直交変換回路７
において、変換回路６で選択されなかつた方向、ｆｉｘ
わち画像の垂直方向あるいは時間方向のいずれかと水平
方向に対して直交変換される。

なお、変＃Ａ回路６で時間方向に直交変換された場合に
２次元ブロック直交変換は第５図に示すように垂直方向
と水平方向に分離した形で実現でき、かつ、どちらか先
に行ってもよい。第５図で変換基底３１．３２は各々長
さＮ、Ｍの直交変換基底である。

また、変換回路６で垂直方向に直交変換された場合には
２次元ブロック直交変換回路７は第５図で垂直方向を時
間方向に置き換えた形で実現でき、この場合には時間方
向直交変換回路には長さＬの変換基底が供給される。

一連の変換の結果である変換係数は打ち切り回路８で第
７図の斜線部分に相当する高周波成分の係数を打ち切ら
れる。残った係数は量子化回路９で量子化され、更に、
符号化回路１０で可変長符号化される。

第３図は第３の発明のインタレース動画像信号の直交変
換係数からノンイタレース動画像信号およびインクや−
ス動画像信号を復号化する実現する一実膣例のブロック
図である。

ここで、入力される符号化変換係数は第１の発明あるい
は第２の発明の方式により得られたものである。

符号化変換係数は、まず逆符号化回路１３で逆符号化さ
れ、更に、逆量子化回路１４で逆量子化されることによ
り変換係数に復号化される０次に補間回路１５で前記変
換係数に対して符号化側で打ち切られた変換係数部分に
補間値としてＯを与える。

補間された変換係数は、時間方向逆直交変換回路１６と
垂直方向逆直交変換回路１７で各々画像の時間方向と垂
直方向に逆変換される。なお、この変換回路１６には変
換基底２０から変換回路１７には変換基底２１から各々
長さり、Ｍの直交変換基底が供給されている。

また、この変換順序は入れ換えてもよい、前記逆変換に
より得られた変換係数は水平方向逆直交変換回路１８に
おいて画像の水平方向に逆変換すれば、ノンコンタレー
ス動画像に復号化される。

ここで、逆変換に用いられる長さＬの直交変換基底は変
換基底２２から供給される。

また、前記変換係数をライン飛び越し水平方向逆直交変
換回路１９において、前記変換基底を用いて１ラインお
きに逆変換すればインタレース動画像を復号化できる。

但し、前記ライン飛び越しは原画像のインタレースと同
じ飛び越し走査する。

（発明の効果） 以上説明したように本発明によれば不必要な変換係数を
符号化することなく、フィールド間相関を利用した分離
可能な３次元ブロック直交変換符号化方式が実現できる
だけでなく、同じ変換係数からノンインタレース動画像
信号とインタレース動画像信号のどちらも復号化できる
ことができ、インタレース動画像を復号化する場合には
不必要な逆直交変換演算を省くこともできる。

【図面の簡単な説明】

第１図は第１の発明のインタレース動画像信号の直交変
換符号′北方式を実現する一実腫例のブロック図、第２
図は第２の発明のインタレース動画像信号の直交変換符
号化方式を実現する一実施例のブロック図、第３図は発
明のインタレース動画像信号の直交変換係数の復号化方
式を実現する一実施例の１０ツク図、第４図は第１の発
明における３次元ブロック直交変換を実現する一実施例
のブロック図、第５図は２次元ブロック直交変換を実現
する一実施例のブロック図、第６図はインタレース動画
像信号の垂直方向および時間方向のサンプリング＃Ｉ造
を説明する図、第７図はインタレース動画像信号の垂直
方向および時間方向の周波数分布を説明する図；第８図
は従来の直交変換符号化方式のブロック図である。 １．１５・・・補間回路、２・・・３次元ブロック直交
変換回路、３．８・・・打ち切り回路、４．９゜３４・
・・量子化回路、５．１０．３５・・・符号化回路、６
・・・ブロック直交変換回路、７．３３・・・２次元ブ
ロック直交変換回路、１１，１２．２０，２１゜２２．
２６，２７．２８．３１．３２・・・変換基底、１３・
・・逆量子化回路、１４・・・逆量子化回路、１６・・
・時間方向逆直交変換回路、１７・・・垂直方向逆直交
変換回路、１８・・・水平方向逆直交変換回路、１９・
・・ライン飛び越し水平方向逆直交変換回路、２３．２
９・・・水平方向直交変換回路、２４．３０・・・垂直
方向直交変換回路、２５・・・時間方向直交変換回路。

Claims (3)

【特許請求の範囲】
1. （１）インタレース動画像信号を直交変換符号化する動
   画像の直交変換符号化方式において、前記変換に先だつ
   て各フィールド信号に対してインタレースにより飛び越
   された走査線上の画素に固定値として０を補間しておき
   、連続した複数フィールド信号に対して画像の水平方向
   と垂直方向および時間方向の３次元ブロック直交変換を
   行うことにより画像の時空間周波数成分を示す変換係数
   を求め、前記変換係数のうち一部分を打ち切り、残りの
   変換係数を符号化することを特徴とする動画像の直交変
   換符号化方式。
2. （２）インタレース動画像信号を直交変換符号化する動
   画像の直交変換符号化方式において、時間方向に対して
   画像のライン毎に交互に異なる変換基底を用いた直交変
   換を行いさらに垂直方向と水平方向に対する２次元ブロ
   ック直交変換を行うか、または垂直方向に対してフィー
   ルド毎に交互に異なる変換基底を用いた直交変換を行い
   、さらに時間方向と水平方向の２次元ブロック直交変換
   を行うことにより画像の時空間周波数成分を示す変換係
   数を求め、前記変換係数のうち一部分を打ち切り、残り
   の変換係数を符号化することを特徴とする動画像の直交
   変換符号化方式。
3. （３）前記符号化で打ち切られた変換係数に固定値とし
   て０を補間しておき、前記変換係数を３次元ブロック逆
   直交変換することでノンインタレース動画像信号を復号
   化するか、または前記０を補間した変換係数を画像の垂
   直方向と時間方向の２次元ブロック逆直交変換を行った
   後に必要とするラインにのみ水平方向の逆直交変換を行
   うことによりインタレース動画像信号を復号化すること
   を特徴とする請求項１または２に記載の方式で符号化さ
   れた信号を復号化する方式。