JPH1051785A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 演算量を削減しつつ画像の劣化を抑え画像信
号を効率良く圧縮する画像符号化装置を提供する。 【解決手段】 処理対象画像信号６０２の画像データを
分割した小ブロックに対し、フレームメモリ部６１１の
前フレームからの予測値との差分を算出する。この差分
で構成した直交変換ブロック毎に直交変換して得られた
直交変換係数を量子化した後に符号を割り当て、フレー
ムバッファ部６１５を介して伝送する。ここで、直交変
換ブロック内の差分に基づく評価値を求める評価値算出
部６０４を設け、直交変換の際の直交変換係数の演算個
数を演算個数計算部６０５にてブロック毎に求め、該評
価値によって直交変換部６０７で計算する直交変換係数
の個数をブロック毎に制御する。直交変換部６０７は、
ブロック毎に低次から順に指定個数の直交変換係数を求
め、画質に影響の小さい高次の演算量を削減する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、演算量を削減し
つつ画像信号を効率良く圧縮することを目的とした、画
像符号化装置に関するものである。

【０００２】

【従来の技術】画像の符号化に際して、動き補償を使っ
たフレーム間差分値に直交変換を施す方法がよく用いら
れる。この手法においては、まず、符号化対象フレーム
を小ブロックに分割し、符号化対象小ブロックごとに、
符号化対象フレームに時間的に近いフレームから、符号
化対象小ブロックを最も良く近似するブロックを選択す
る。次に、符号化対象小ブロックと近似ブロックの差分
を計算し、その差分信号に対して直交変換を施し、変換
された直交変換係数を量子化した後、符号を割り当てて
伝送・記録する。

【０００３】直交変換に際しては、次に示すような離散
コサイン変換が良く用いられる。２次元離散コサイン変
換の変換式を以下に示す。入力された小ブロックｆ
（ｉ，ｊ）に対して変換係数Ｆ（ｕ，ｖ）は

【０００４】

【数１】

【０００５】で表される。ただし、

【０００６】

【数２】

【０００７】これは、通常よく用いられる、小ブロック
が８×８（ｎ＝８）のサブブロックに分割される場合の
変換式であって、ｆ（ｉ，ｊ）は入力小ブロックの画素
値、Ｆ（ｕ，ｖ）は直交変換後に得られる直交変換係数
である。

【０００８】このような従来の符号化方法においては、
直交変換に要する処理は、近似ブロックを求める処理に
ついで演算量が多い。特に、符号化処理をソフトウェア
のみで実現するようなことが要求される場合には、実時
間での処理を可能とするために、なんらかの形で演算量
を削減する必要がある。従来は、これに対応するため
に、上式に示すように６４個の直交変換係数をすべて求
めずに、視覚的に重要な低周波成分のみを計算するよう
にして、高周波成分は強制的にゼロにする手法が採用さ
れていた。具体的には、図５に示すような低周波から高
周波へのジグザグスキャン順序において、あらかじめ定
められた個数までの係数に対してのみ直交変換係数を演
算し、それ以降の高次係数については演算することなく
強制的にゼロにする。

【０００９】図６に、従来の直交変換係数演算量削減方
法を実現する画像符号化装置のブロック構成図を示す。
入力端子２０１から入力された処理対象画像信号２０２
は、減算部２１５において、動き補償部２１０で復号さ
れた画像信号との差分がとられる。これにより予測誤差
信号が求まり、予測誤差信号は直交変換部２０３に入力
される。直交変換部２０３では、演算個数設定部２０４
で決められた演算個数の直交変換係数を計算し、量子化
部２０５に入力する。直交変換係数は、量子化部２０５
において量子化され、可変長符号化部２１１において符
号が割り当てられた後、フレームバッファ部２１２に送
られ、可変長符号化部データの発生レートが一定の出力
レートに平滑化され、最終的な画像符号化データ２１３
とされて出力端子２１４を経て伝送路に送出される。

【００１０】また、量子化部２０５で求められた量子化
係数は、逆量子化部２０６により直交変換係数に戻さ
れ、逆直交変換部２０７にて画素値が算出され、加算部
２１６において動き補償部２１０で動き補償されたフレ
ームと加算されて再生された現フレームがフレームメモ
リ部２０８に入力され蓄えられる。動き検出部２０９で
は、入力端子２０１から入力された現フレームとフレー
ムメモリ部２０８に蓄えられた前フレームから動きベク
トルを求め、動き補償部２１０に入力する。動き補償部
２１０は、動きベクトルとフレームメモリ部２０８に蓄
えられた参照フレームから動き補償されたフレームを出
力する。

【００１１】

【発明が解決しようとする課題】上記従来の画像符号化
装置では、図７の従来の直交変換係数演算方法の説明図
に示すように、どの直交変換ブロックについても常に、
低周波のＮ個（１≦Ｎ≦６４）の係数のみを計算するよ
うにし、画質への影響が小さい高周波係数を計算せずに
強制的にゼロとしている。しかし、この方法では、どの
ブロックに対しても常に高次の係数がゼロになるため、
エッジの部分やテクスチャ領域に大きな歪みが発生する
ことは避けられない。従って、演算量削減率が大きくな
ると、急激に画質が劣化してしまうという問題点があっ
た。

【００１２】本発明の目的は、演算量を削減しつつ画質
の劣化を抑制し画像信号を効率良く圧縮する画像符号化
装置を提供することにある。

【００１３】

【課題を解決するための手段】上記の目的を達成するた
め、本発明は、画像信号の現フレームの画像データを小
ブロックに分割し、該分割された小ブロックに対して、
フレームメモリに蓄えられている過去または未来の参照
フレームからの予測値との差分値を算出した後、差分値
に対して直交変換ブロックを構成し、該直交変換ブロッ
クごとに直交変換を施す手段を有して、該直交変換を施
す手段にて得られた直交変換係数を量子化した後に符号
を割り当てる画像符号化装置において、前記直交変換ブ
ロック内の差分値に基づく評価値を求める手段と、前記
直交変換を施す際に演算すべき直交変換係数の個数を前
記評価値に基づいて計算し前記直交変換を施す手段にて
直交変換する個数を前記直交変換ブロックごとに制御す
る手段と、を有することを特徴とする。

【００１４】上記の画像符号化装置において、直交変換
を施す手段は、演算しない直交変換係数をあらかじめ定
められた値に設定するのが、現在の符号化方法と整合し
実用上好適である。

【００１５】また、以上の画像符号化装置において、評
価値を求める手段は、直交変換ブロック内の差分値に基
づいて定まる評価値の分布状態を定められた領域内にて
作成するものであり、直交変換を施す手段にて直交変換
する個数を前記直交変換ブロックごとに制御する手段
は、前記評価値の分布状態を参照して前記領域内で演算
される直交変換係数の個数があらかじめ定められた個数
になるように前記直交変換を施す手段にて直交変換する
個数を前記直交変換ブロックごとに制御するものである
のが、画像の性質によらず直交変換係数の演算個数が平
均的に一定する点で好適である。

【００１６】本発明では、元来ゼロである確率が高い直
交変換係数を入力小ブロック毎に求め、それらの直交変
換係数のみ計算しないような手法を導入する。具体的に
は、直交変換すべき信号、すなわち動き補償予測誤差が
大きい小ブロックは直交変換係数の高次まで有効な係数
が存在する確率が大きいという性質を利用した動き補償
予測誤差参照形制御を考える。

【００１７】図２は、小ブロックごとに、予測誤差電力
と、量子化されたあとの直交変換係数のうち、図５に示
すジグザグスキャンの順序で最も高次に出現したゼロで
ない係数の位置関係を示したものである。これから予測
誤差電力が小さい小ブロックでは、量子化されたあとの
直交変換係数は、より低次までゼロになる確率が高いこ
とがわかる。このような小ブロックについては、より低
次の直交変換係数まで強制的にゼロにしても画質への影
響はない。

【００１８】以上のような性質を利用して、本発明にお
いては、直交変換を施そうとする小ブロック内の動き補
償フレーム間差分に基づく評価値（例えば電力）を求
め、直交変換を施す際に演算すべき直交変換係数の個数
を、該評価値によって制御するようにする。このように
して、図３に示すように、小ブロックごとに演算される
直交変換係数の個数を画質に影響しないように変化させ
ることにより、画像信号全体として演算量を削減しつつ
画質の劣化を抑えて効率良く圧縮する。

【００１９】

【発明の実施の形態】以下に、本発明の実施形態例を、
図を用いて詳細に示す。

【００２０】本発明の一実施形態例のブロック構成図を
図１に示す。本実施形態例は、動き補償予測誤差電力に
よって、入力小ブロックごとに直交変換係数演算個数を
制御する場合の例である。

【００２１】図１において、入力端子６０１から、例え
ばテレビジョン信号等にディジタル化を施したような処
理対象画像信号６０２が入力される。この処理対象画像
信号６０２は、現フレームの画像データが小ブロックに
分割され、分割された符号化対象小ブロックに対して、
減算部６１８にて動き補償部６１３で復号された画像信
号との差分がとられ、予測誤差信号６０３として出力さ
れる。予測誤差信号６１３は、評価値算出部６０４なら
びに直交変換部６０７に入力される。評価値算出部６０
４は、予測誤差値に応じて適応的に評価値を算出して、
演算個数計算部６０５に入力する。演算個数計算部６０
７は、評価値をもとに上記差分で構成される直交変換ブ
ロックごとの演算個数データを計算し、直交変換部６０
７に入力する。直交変換部６０７は、直交変換ブロック
ごとにジグザグスキャンにより低次の直交変換係数から
順に演算個数データで指定された個数だけ計算し、計算
した直交変換係数を量子化部６０８に入力する。量子化
部６０８で、量子化された直交変換係数は、可変符号化
部６１４において符号が割り当てられた後、フレームバ
ッファ部６１５に送られて可変符号化部データの発生レ
ートが一定の出力レートに平滑化され、最終的な画像符
号化データ６１６として出力端子６１７を経て伝送路に
送出される。

【００２２】また、量子化部６０８で求められた量子化
係数は、逆量子化部６０９により直交変換係数に戻さ
れ、逆直交変換部６１０にて画素値が算出され、加算部
６１９にて動き補償部６１３からの動き補償されたフレ
ームと加算され現フレームとして再生される。再生され
た現フレームはフレームメモリ部６１１に入力され蓄え
られる。動き検出部６１２では、入力された現フレーム
６０２と、フレームメモリ部６１１の前フレームから動
きベクトルを求め、動き補償部６１３に入力する、動き
補償部６１３では、動きベクトルとフレームメモリ部６
１１の参照フレームとから動き補償されたフレームを上
記減算部６１８と加算部６１９に出力する。

【００２３】以上から、動き補償フレーム間予測誤差の
小さいブロックに対してはその値に応じて計算する直交
変換係数の個数を減らすように制御され、予測誤差の大
きいブロックに比べてより高次の直交変換係数まで計算
するように制御される。

【００２４】本実施形態例では、小ブロックの大きさを
８×８のサブブロックに分割したものとし、小ブロック
内の動き補償予測誤差電力Ｅを次式で定義する。

【００２５】

【数３】

【００２６】ｅ（ｉ，ｊ）は小ブロック内動き補償フレ
ーム間差分値である。動き補償予測誤差電力Ｅに対し
て、次式および図４に示すようにＤＣＴ係数（直交変換
係数）の演算個数Ｎを決定する。

【００２７】

【数４】

【００２８】これによれば、１画素あたりの動き補償フ
レーム間差分電力Ｅが、例えば２以下の場合には、ジグ
ザグスキャンの順序で３つのＤＣＴ係数のみを演算し、
残りのＤＣＴ係数は演算せずに強制的にゼロもしくはあ
らかじめ定められた値に設定する（図４（ａ））。ま
た、例えばＥが３２を超える場合には、その小ブロック
については、６４個すべてのＤＣＴ係数を演算すること
になる（図４（ｄ））。

【００２９】以上の例では演算個数Ｎの値はあらかじめ
定められた値を取るが、画像の性質によって演算すべき
ＤＣＴ係数の個数が変わることになる。もし、これを避
けて、画像によらず、平均的にあらかじめ定められた個
数Ｎ′になるようにしたい場合には、動き補償フレーム
間差分電力Ｅの分布状態Ｐ（Ｅ）を参照すればよい。す
なわち、Ｐ（Ｅ）をＥの発生確率とすると、

【００３０】

【数５】

【００３１】と計算し、

【００３２】

【数６】

【００３３】とすればよい。

【００３４】本実施形態例で用いる動き補償予測誤差電
力Ｅは動き補償部６１３にて既に求められており、本適
応化を行なうために増加する演算量は極めて小さいた
め、本実施形態例の画像符号化装置を用いれば、画質へ
影響がより小さいＤＣＴ係数に対してのみ演算量を削減
できることになる。

【００３５】なお、上記の実施形態例では、動き補償の
参照フレームとしてフレームメモリ部６１１の前フレー
ムを用いる例を示したが、符号化方式によっては未来の
予測フレームを参照フレームとしても良い。また、演算
しないＤＣＴ係数は強制的にゼロもしくはあらかじめ定
められたある値に設定しているが、画像符号化装置側で
はその設定をせず、伝送先の記録側あるいは画像復号化
側でその設定を行うことも可能である。さらに、ＤＣＴ
係数の演算個数を平均的にあらかじめ定められた個数に
なるようにする場合、画像全体について適用しても良い
し、画像中の定められた領域内に適用しても良い。定め
られた領域内に適用する場合には、その領域内にて評価
値の分布状態を作成し、参照する。

【００３６】

【発明の効果】以上の説明で明らかなように、本発明に
よれば、画像を分割した符号化対象小ブロックごとに、
参照フレームからの予測値との差分値に基づく評価値を
求めて、評価値によって当該小ブロックの直交変換係数
の演算個数を制御するようにしたので、画質へ影響がよ
り小さい直交変換係数に対してのみ演算量を削減でき、
画質の劣化を抑制しながら効率的に圧縮できるという効
果が得られる。

【００３７】また、上記において直交変換係数の演算個
数があらかじめ定められた個数になるように制御するよ
うにした場合には、特に、画像の性質によらず、演算量
を一定にすることができるという効果が得られる。

【図面の簡単な説明】

【図１】本発明の一実施形態例を示すブロック構成図で
ある。

【図２】動き補償予測誤差と直交変換係数演算個数との
関係を示す図である。

【図３】本発明による直交変換係数を演算するブロック
を示す図である。

【図４】（ａ），（ｂ），（ｃ），（ｄ）は、上記の実
施形態例による演算範囲の例を示す図である。

【図５】２次元直交変換におけるジグザグスキャンを示
す図である。

【図６】従来の直交変換係数演算個数削減方法を実現す
るブロック構成図である。

【図７】従来の直交変換係数演算個数削減方法による直
交変換係数を演算するブロックを示す図である。

【符号の説明】

６０１…入力端子 ６０２…画像処理対象信号 ６０３…動き補償予測誤差データ ６０４…評価値算出部 ６０５…演算個数計算部 ６０６…演算個設定データ ６０７…直交変換部 ６０８…量子化部 ６０９…逆量子化部 ６１０…逆直交変換部 ６１１…フレームメモリ部 ６１２…動き検出部 ６１３…動き補償部 ６１４…可変長符号化部 ６１５…フレームバッファ部 ６１６…画像信号に対する符号化データ ６１７…符号化データ出力端子

フロントページの続き (72)発明者 小寺 博 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像信号の現フレームの画像データを小
   ブロックに分割し、該分割された小ブロックに対して、
   フレームメモリに蓄えられている過去または未来の参照
   フレームからの予測値との差分値を算出した後、差分値
   に対して直交変換ブロックを構成し、該直交変換ブロッ
   クごとに直交変換を施す手段を有して、該直交変換を施
   す手段にて得られた直交変換係数を量子化した後に符号
   を割り当てる画像符号化装置において、 前記直交変換ブロック内の差分値に基づく評価値を求め
   る手段と、 前記直交変換を施す際に演算すべき直交変換係数の個数
   を前記評価値に基づいて計算し前記直交変換を施す手段
   にて直交変換する個数を前記直交変換ブロックごとに制
   御する手段と、 を有することを特徴とする画像符号化装置。
2. 【請求項２】 直交変換を施す手段は、演算しない直交
   変換係数をあらかじめ定められた値に設定する、 ことを特徴とする請求項１に記載の画像符号化装置。
3. 【請求項３】 評価値を求める手段は、直交変換ブロッ
   ク内の差分値に基づいて定まる評価値の分布状態を定め
   られた領域内にて作成するものであり、 直交変換を施す手段にて直交変換する個数を前記直交変
   換ブロックごとに制御する手段は、前記評価値の分布状
   態を参照して前記領域内で演算される直交変換係数の個
   数があらかじめ定められた個数になるように前記直交変
   換を施す手段にて直交変換する個数を前記直交変換ブロ
   ックごとに制御するものである、 ことを特徴とする請求項１または請求項２に記載の画像
   符号化装置。