JP2001339724A - 画像符号化装置および方法、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 補正の処理が繰り返されても、精度の高い画
像を出力できる。 【解決手段】 圧縮部２１は、原画像を、その画素数を
少なくすることにより圧縮するとともに、原画像を圧縮
することにより得られる圧縮データを補正し、補正デー
タを出力する。ローカルデコード部２２は、補正データ
に基づいて、補正データとの演算により予測値を算出す
るための、正規化された予測係数を求めるとともに、予
測係数および補正データから、原画像を予測し、その予
測値を出力する。誤差算出部２３は、原画像に対する、
予測値の予測誤差を算出する。判定部２４は、予測誤差
に基づいて、圧縮部２１が出力する補正データの適正さ
を判定するとともに、判定結果に対応して、補正データ
を、原画像の符号化結果として出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置お
よび方法、並びに記録媒体に関し、特に、原画像とほぼ
同一の復号画像が得られるように、画像を、例えば間引
くことにより符号化する画像符号化装置および方法、並
びに記録媒体に関する。

【０００２】

【従来の技術】従来より、画像の符号化方法について
は、種々の方法が提案されているが、そのうちの１つ
に、例えば、画像を、その画素を間引くこと（subsampl
ing）により圧縮して符号化する方法がある。

【０００３】このように間引いて圧縮された画像を、単
純に補間により伸張した場合、その結果得られる復号画
像の解像度は、劣化する。

【０００４】本出願人は、特願平９−２０８４８３号と
して、間引いて圧縮した画像を、符号化し、解像度を劣
化させることなく復号する画像符号化方法および画像復
号方法を提案した。

【０００５】画像符号化方法おける第１のステップで
は、原画像を間引くことにより得られる圧縮データが補
正され、補正データが出力される。第２のステップで
は、その補正データに基づいて、補正データとの線形結
合により予測値を算出するための予測係数が求められ、
その予測係数および補正データから、原画像が予測さ
れ、予測値が求められる。第３のステップでは、原画像
に対する予測値の予測誤差が算出される。

【０００６】以上の処理が、予測誤差が所定値以下であ
ると判定されるまで繰り返され、予測誤差が所定値以下
になったときにおける補正データが、原画像の符号化結
果として出力される。

【０００７】ところが、演算に誤差がある場合、または
予測係数のゲイン（予測係数を構成する係数データの
和）が１．０からずれている場合、圧縮データの補正の
繰り返しにより、図１に示すように、予測係数のゲイン
の１．０からの偏差が蓄積してしまい、圧縮データの補
正を繰り返す毎に、圧縮画像の輝度の平均値と原画像の
輝度の平均値との差が大きくなるときがある。

【０００８】

【発明が解決しようとする課題】このような場合、補正
データに含まれる画素の画素値の輝度の分布には、図２
に示すように、偏りが生じてしまう。輝度の分布に偏り
が生じた画像は、情報が少なくなり、その精度が落ちて
しまうという問題点があった。

【０００９】本発明はこのような状況に鑑みてなされた
ものであり、補正の処理が繰り返されても、精度の高い
画像を出力できるようにすることを目的とする。

【００１０】

【課題を解決するための手段】請求項１に記載の画像符
号化装置は、原画像を、その画素数を少なくすることに
より圧縮する圧縮手段と、原画像を圧縮することにより
得られる圧縮データを補正し、補正データを出力する補
正手段と、補正データに基づいて、補正データとの演算
により予測値を算出するための、正規化された予測係数
を求める予測係数演算手段と、予測係数および補正デー
タから、原画像を予測し、その予測値を出力する予測手
段と、原画像に対する、予測値の予測誤差を算出する算
出手段と、予測誤差に基づいて、補正手段が出力する補
正データの適正さを判定する判定手段と、判定手段によ
る判定結果に対応して、補正データを、原画像の符号化
結果として出力する出力手段とを含むことを特徴とす
る。

【００１１】請求項２に記載の画像符号化方法は、原画
像を、その画素数を少なくすることにより圧縮する圧縮
ステップと、原画像を圧縮することにより得られる圧縮
データを補正し、補正データを出力する補正ステップ
と、補正データに基づいて、補正データとの演算により
予測値を算出するための、正規化された予測係数を求め
る予測係数演算ステップと、予測係数および補正データ
から、原画像を予測し、その予測値を出力する予測ステ
ップと、原画像に対する、予測値の予測誤差を算出する
算出ステップと、予測誤差に基づいて、補正ステップの
処理で出力する補正データの適正さを判定する判定ステ
ップと、判定ステップの処理による判定結果に対応し
て、補正データを、原画像の符号化結果として出力する
出力ステップとを含むことを特徴とする。

【００１２】請求項３に記載の記録媒体のプログラム
は、原画像を、その画素数を少なくすることにより圧縮
する圧縮ステップと、原画像を圧縮することにより得ら
れる圧縮データを補正し、補正データを出力する補正ス
テップと、補正データに基づいて、補正データとの演算
により予測値を算出するための、正規化された予測係数
を求める予測係数演算ステップと、予測係数および補正
データから、原画像を予測し、その予測値を出力する予
測ステップと、原画像に対する、予測値の予測誤差を算
出する算出ステップと、予測誤差に基づいて、補正ステ
ップの処理で出力する補正データの適正さを判定する判
定ステップと、判定ステップの処理による判定結果に対
応して、補正データを、原画像の符号化結果として出力
する出力ステップとを含むことを特徴とする。

【００１３】請求項１に記載の画像符号化装置、請求項
２に記載の画像符号化方法、および請求項３に記載の記
録媒体においては、原画像が、その画素数を少なくする
ことにより圧縮され、原画像を圧縮することにより得ら
れる圧縮データが補正されて、補正データが出力され、
補正データに基づいて、補正データとの演算により予測
値を算出するための、正規化された予測係数が演算さ
れ、予測係数および補正データから、原画像が予測され
て、その予測値が出力され、原画像に対する、予測値の
予測誤差が算出され、予測誤差に基づいて、補正データ
の適正さが判定され、判定結果に対応して、補正データ
が、原画像の符号化結果として出力される。

【００１４】

【発明の実施の形態】図３は、本発明を適用した画像処
理装置の一実施の形態の構成を示している。

【００１５】送信装置１には、ディジタル化された画像
データが供給される。送信装置１は、入力された画像デ
ータを間引くこと（その画素数を少なくすること）によ
り圧縮、符号化し、その結果得られる符号化データを、
例えば、光ディスクや、光磁気ディスク、磁気テープ、
相変化ディスクその他でなる情報記録媒体２に記録され
し、または、例えば、地上波や、衛星回線、電話回線、
ＣＡＴＶ網、インターネットその他の伝送路３を介して
伝送する。

【００１６】受信装置４では、情報記録媒体２に記録さ
れた符号化データが再生され、または、伝送路３を介し
て伝送されてくる符号化データが受信され、その符号化
データが伸張、復号化される。そして、その結果得られ
る復号画像が、図示せぬディスプレイに供給されて表示
される。

【００１７】なお、以上のような画像処理装置は、例え
ば、光ディスク装置や、光磁気ディスク装置、磁気テー
プ装置その他の、画像の記録／再生を行う装置や、ある
いはまた、例えば、テレビ電話装置や、テレビジョン放
送システム、ＣＡＴＶシステムその他の、画像の伝送を
行う装置などに適用される。また、後述するように、送
信装置１が出力する符号化データのデータ量が少ないた
め、図３の画像処理装置は、伝送レートの低い、例え
ば、携帯電話機その他の、移動に便利な携帯端末などに
も適用可能である。

【００１８】図４は、図３の送信装置１の構成例を示し
ている。

【００１９】Ｉ／Ｆ（InterFace）１１は、外部から供
給される画像データの受信処理と、送信機／記録装置１
６に対しての、符号化データの送信処理を行う。ＲＯＭ
（Read Only Memory）１２は、ＩＰＬ（Initial Progra
m Loading）用のプログラムその他を記憶している。Ｒ
ＡＭ（Random Access Memory）１３は、外部記憶装置１
５に記録されているシステムプログラム（ＯＳ（Operat
ing System））やアプリケーションプログラムを記憶し
たり、また、ＣＰＵ（Central Processing Unit）１４
の動作上必要なデータを記憶する。ＣＰＵ１４は、ＲＯ
Ｍ１２に記憶されているＩＰＬプログラムにしたがい、
外部記憶装置１５からシステムプログラムおよびアプリ
ケーションプログラムを、ＲＡＭ１３に展開し、そのシ
ステムプログラムの制御の下、アプリケーションプログ
ラムを実行することで、Ｉ／Ｆ１１から供給される画像
データについての、後述するような符号化処理を行う。

【００２０】外部記憶装置１５は、例えば、ハードディ
スク装置などでなり、上述したように、ＣＰＵ１４が実
行するシステムプログラムやアプリケーションプログラ
ムを記憶している他、ＣＰＵ１４の動作上必要なデータ
も記憶している。また、外部記憶装置１５は、ＣＰＵ１
４の制御の基に、装着された磁気ディスク１７、光ディ
スク１８、光磁気ディスク１９、または半導体メモリ２
０から、ＣＰＵ１４が実行するシステムプログラムやア
プリケーションプログラムを読み出す。送信機／記録装
置１６は、Ｉ／Ｆ１１から供給される符号化データを、
情報記録媒体２に記録し、または伝送路３を介して伝送
する。

【００２１】なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１
３，ＣＰＵ１４、および外部記憶装置１５は、相互にバ
スを介して接続されている。

【００２２】以上のように構成される送信装置１におい
ては、Ｉ／Ｆ１１に画像データが供給されると、その画
像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、
画像データを符号化し、その結果得られる符号化データ
を、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化デー
タを受信すると、それを、送信機／記録装置１６に供給
する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符
号化データが、情報記録媒体２に記録され、または伝送
路３を介して伝送される。

【００２３】図５は、図４の送信装置１の、送信機／記
録装置１６を除く部分の機能的な構成例を示している。

【００２４】符号化すべき画像データは、圧縮部２１、
ローカルデコード部２２、および誤差算出部２３に供給
される。圧縮部２１は、画像データを、その画素を、例
えば、単純に間引くことにより圧縮し、その結果得られ
る圧縮データ（間引きが行われた後の画像データ）を、
判定部２４からの制御にしたがって補正する。圧縮部２
１における補正の結果得られる補正データは、ローカル
デコード部２２および判定部２４に供給される。

【００２５】ローカルデコード部２２は、圧縮部２１か
らの補正データに基づいて、元の画像を予測し、その予
測値を、誤差算出部２３に供給する。なお、ローカルデ
コード部２２は、後述するように、補正データと元の画
像データとを用いて、その補正データとの線形結合によ
り、予測値を算出するための、所定のクラスごとの予測
係数を求める処理を行い、求められた予測係数を正規化
して、その予測係数に基づいて、予測値を求める適応処
理を行う。そして、ローカルデコード部２２は、予測値
を誤差算出部２３に供給する他、そのとき求めたクラス
ごとの正規化された予測係数を、判定部２４に供給す
る。

【００２６】誤差算出部２３は、そこに入力される、元
の画像データ（原画像）に対する、ローカルデコード部
２２からの予測値の予測誤差を算出する。この予測誤差
は、誤差情報として、判定部２４に供給される。

【００２７】判定部２４は、誤差算出部２３からの誤差
情報に基づいて、圧縮部２１が出力した補正データを、
元の画像の符号化結果とすることの適正さを判定する。
そして、判定部２４は、圧縮部２１が出力した補正デー
タを、元の画像の符号化結果とすることが適正でないと
判定した場合には、圧縮部２１を制御し、さらに、原画
像の画素と補正データの画素との画素値の平均の差異を
少なくするように、圧縮データを補正させ、その結果得
られる新たな補正データを出力させる。また、判定部２
４は、圧縮部２１が出力した補正データを、元の画像の
符号化結果とすることが適正であると判定した場合に
は、圧縮部２１から供給された補正データを、最適な圧
縮データ（以下、適宜、最適圧縮データという）として
多重化部２５に供給するとともに、ローカルデコード部
２２から供給されたクラスごとの予測係数を多重化部２
５に供給する。

【００２８】多重化部２５は、判定部２４からの最適圧
縮データ（補正データ）と、クラスごとの予測係数とを
多重化し、その多重化結果を、符号化データとして、送
信機／記録装置１６（図４）に供給する。

【００２９】次に、図６のフローチャートを参照して、
その動作について説明する。圧縮部２１に対して、画像
データが供給されると、圧縮部２１は、ステップＳ１に
おいて、その画像データを間引くことにより圧縮し、最
初は、補正を行わずに、ローカルデコード部２２および
判定部２４に出力する。ローカルデコード部２２では、
ステップＳ２において、圧縮部２１からの補正データ
（最初は、上述したように、画像データを、単純に間引
いた圧縮データそのもの）がローカルデコードされる。

【００３０】即ち、ステップＳ２では、圧縮部２１から
の補正データと元の画像データとを用いて、その補正デ
ータとの線形結合により、元の画像の予測値を算出する
ための、クラスごとの予測係数を求める処理が行われ、
予測係数が正規化されて、その予測係数に基づいて、予
測値が求められる。ローカルデコード部２２において求
められた予測値は誤差算出部２３に、また、クラスごと
の正規化された予測係数は判定部２４に供給される。

【００３１】ここで、ローカルデコード部２２が出力す
る予測値で構成される画像は、受信装置４（図３）側に
おいて得られる復号画像と同一のものである。

【００３２】誤差算出部２３は、ローカルデコード部２
２から、元の画像の予測値を受信すると、ステップＳ３
において、元の画像データに対する、ローカルデコード
部２２からの予測値の予測誤差を算出し、誤差情報とし
て、判定部２４に供給する。判定部２４は、誤差算出部
２３から誤差情報を受信すると、ステップＳ４におい
て、その誤差情報に基づいて、圧縮部２１が出力した補
正データを、元の画像の符号化結果とすることの適正さ
を判定する。

【００３３】即ち、ステップＳ４においては、誤差情報
が所定の閾値ε以下であるかどうかが判定される。ステ
ップＳ４において、誤差情報が所定の閾値ε以下でない
と判定された場合、圧縮部２１が出力した補正データ
を、元の画像の符号化データとするのは適正でないと認
識され、ステップＳ５に進み、判定部２４は、圧縮部２
１を制御し、これにより、原画像の画素と補正データの
画素との画素値の平均の差異を少なくするように、圧縮
データを補正させる。圧縮部２１は、判定部２４の制御
にしたがって、補正量（後述する補正値△）を変えて、
圧縮データを補正し、その結果得られる補正データを、
ローカルデコード部２２および判定部２４に出力する。
そして、ステップＳ２に戻り、以下、同様の処理が繰り
返される。一方、ステップＳ４において、誤差情報が所
定の閾値ε以下であると判定された場合、圧縮部２１が
出力した補正データを、元の画像の符号化結果とするの
は適正であると認識され、判定部２４は、所定の閾値ε
以下の誤差情報が得られたときの補正データを、最適圧
縮データとして、クラスごとの予測係数とともに、多重
化部２５に出力する。多重化部２５では、ステップＳ６
において、判定部２４からの最適圧縮データとクラスご
との予測係数とが多重化され、その結果得られる符号化
データが出力されて、処理を終了する。

【００３４】以上のように、算出される予測係数を正規
化するようにしたので、圧縮データの補正が繰り返され
ても、最適圧縮データに画素値の分布の偏りが発生しな
い。誤差情報が所定の閾値ε以下となったときにおけ
る、圧縮データを補正した、画素値の分布の偏りがない
補正データを、元の画像の符号化結果とするようにした
ので、受信装置４側においては、その補正データに基づ
いて、元の画像（原画像）とほぼ同一の画像を得ること
が可能となる。

【００３５】次に、図７は、図５の圧縮部２１の構成例
を示している。

【００３６】符号化すべき画像データは、間引き回路３
１に入力され、間引き回路３１は、入力された画像デー
タを１／Ｎに間引く。従って、間引き回路３１からは、
画像データを、１／Ｎに圧縮した圧縮データが出力され
る。この圧縮データは、間引き回路３１から補正回路３
２に供給される。

【００３７】補正回路３２は、判定部２４（図５）から
の制御信号にしたがって、補正値ＲＯＭ３３にアドレス
を与え、これにより、補正値△を読み出す。そして、補
正回路３２は、間引き回路３１からの圧縮データに対し
て、補正値ＲＯＭ３３からの補正値△を、例えば加算す
ることで、補正データを生成し、ローカルデコード部２
２および判定部２４に供給する。補正値ＲＯＭ３３は、
間引き回路３１が出力する圧縮データを補正するため
の、各種の補正値△の組合せ（例えば、１フレーム分の
圧縮データを補正するための補正値の組合せなど）を記
憶しており、補正回路３２から供給されるアドレスに対
応する補正値△の組合せを読み出して、補正回路３２に
供給する。

【００３８】次に、図８を参照して、図７の圧縮部２１
の処理について説明する。

【００３９】例えば、１フレーム分などの画像データ
が、間引き回路３１に供給されると、間引き回路３１
は、ステップＳ１１において、その画像データを１／Ｎ
に間引き、その結果得られる圧縮データを、補正回路３
２に出力する。

【００４０】ここで、間引き回路３１は、図９に示すよ
うに、画像データを、例えば、１／９に間引く。即ち、
間引き回路３１は、３×３（横×縦）の９画素を１単位
とし、各単位の中心の画素（同図において、●印で示す
部分）についての画素値のみを抽出し、他の部分（同図
において、○印で示す部分）を削除する。なお、間引き
回路３１は、以上のような処理を、例えば、１フレーム
（フィールド）単位で行う。従って、間引き回路３１か
ら補正回路３２に対しては、１フレームの画像データが
１／９に間引きされた圧縮データが供給される。但し、
間引き回路３１における間引き処理は、その他、１フレ
ームの画像を幾つかのブロックに分割し、そのブロック
単位で行うようにすることも可能である。

【００４１】補正回路３２は、間引き回路３１から圧縮
データを受信すると、ステップＳ１２において、判定部
２４（図５）から制御信号を受信したかどうかを判定す
る。ステップＳ１２において、制御信号を受信していな
いと判定された場合、ステップＳ１３およびＳ１４をス
キップしてステップＳ１５に進み、補正回路３２は、間
引き回路３１からの圧縮データを、そのまま補正データ
として、ローカルデコード部２２および判定部２４に出
力し、ステップＳ１２に戻る。

【００４２】即ち、判定部２４は、上述したように、誤
差情報に基づいて、圧縮部２１（補正回路３２）を制御
し、間引き回路３１から圧縮データが出力された直後
は、まだ、誤差情報が得られないため（誤差情報が、誤
差算出部２３から出力されないため）、判定部２４から
は制御信号は出力されない。このため、間引き回路３１
から圧縮データが出力された直後は、補正回路３２は、
その圧縮データを補正せず（０を加算する補正をし
て）、そのまま補正データとして、ローカルデコード部
２２および判定部２４に出力する。

【００４３】一方、ステップＳ１２において、判定部２
４からの制御信号を受信したと判定された場合、ステッ
プＳ１３に進み、補正回路３２は、その制御信号にした
がったアドレスを、補正値ＲＯＭ３３に出力する。これ
により、ステップＳ１３では、補正値ＲＯＭ３３から、
そのアドレスに記憶されている、１フレーム分の圧縮デ
ータを補正するための補正値△の組合せ（集合）が読み
出され、補正回路３２に供給される。補正回路３２は、
補正値ＲＯＭ３３から補正値△の組合せを受信すると、
ステップＳ１４において、１フレームの圧縮データそれ
ぞれに、対応する補正値△を加算し、これにより、圧縮
データを補正した補正データを算出する。

【００４４】後述するように、制御回路１０５から、供
給された誤差情報を基に、原画像の画素と補正データの
画素との画素値の平均の差異を少なくする補正を圧縮部
２１に実行させる制御信号が、圧縮部２１に供給される
ので、補正回路３２は、補正値ＲＯＭ３３から、原画像
の画素と補正データの画素との画素値の平均の差異を少
なくする補正値△の組合せを読み出して、圧縮データを
補正する。

【００４５】その後は、ステップＳ１５に進み、補正デ
ータが、補正回路３２からローカルデコード部２２およ
び判定部２４に出力され、ステップＳ１２に戻る。

【００４６】以上のようにして、圧縮部２１は、判定部
２４の制御にしたがって、圧縮データを、種々の値に補
正した補正データを出力することを繰り返す。

【００４７】なお、判定部２４は、例えば、１フレーム
の画像についての符号化を終了すると、その旨を表す制
御信号を、圧縮部２１に供給し、圧縮部２１は、ステッ
プＳ１２において、そのような制御信号を受信したかど
うかも判定する。ステップＳ１２において、１フレーム
の画像についての符号化を終了した旨の制御信号を受信
したと判定された場合、圧縮部２１は、そのフレーム
（フィールド）に対する処理を終了し、次のフレームが
供給されるのを待って、ステップＳ１１に戻り、ステッ
プＳ１１乃至Ｓ１５の処理を繰り返す。

【００４８】また、上述の場合においては、間引き回路
３１に、３×３画素の中心の画素についての画素データ
（画素値）のみを抽出させることにより、圧縮データを
生成させるようにしたが、その他、例えば、３×３画素
の平均値を算出し、その平均値を、３×３画素の中心の
画素の画素値として、圧縮データを生成させるようにす
ることなども可能である。

【００４９】次に、図１０は、図５のローカルデコード
部２２の構成例を示している。

【００５０】圧縮部２１からの補正データは、クラス分
類用ブロック化回路４１および予測値計算用ブロック化
回路４２に供給される。クラス分類用ブロック化回路４
１は、補正データを、その性質に応じて所定のクラスに
分類するための単位である、注目補正データを中心とし
たクラス分類用ブロックにブロック化する。

【００５１】即ち、いま、図９において、上からｉ番目
で、左からｊ番目の補正データ（圧縮データ）（または
画素）（図中、●印で示す部分）をＸijと表すとする
と、クラス分類用ブロック化回路４１は、注目補正デー
タＸijの左上、上、右上、左、右、左下、下、右下に隣
接する８つの画素Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+
1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ
(i+1)(j+1)に、自身を含め、合計９画素で構成されるク
ラス分類用ブロックを構成する。このクラス分類用ブロ
ックは、クラス分類適応処理回路４３に供給される。

【００５２】なお、この場合、クラス分類用ブロック
は、３×３画素でなる正方形状のブロックで構成される
こととなるが、クラス分類用ブロックの形状は、正方形
である必要はなく、その他、例えば、長方形や、十文字
形、その他の任意な形とすることが可能である。また、
クラス分類用ブロックを構成する画素数も、３×３の９
画素に限定されるものではない。

【００５３】予測値計算用ブロック化回路４２は、補正
データを、元の画像の予測値を計算するための単位であ
る、注目補正データを中心とした予測値計算用ブロック
にブロック化する。即ち、いま、図９において、補正デ
ータＸij（図中、●印で示す部分）を中心とする、元の
画像（原画像）における３×３の９画素の画素値を、そ
の最も左から右方向、かつ上から下方向に、Ｙij
（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij
（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij
（９）と表すとすると、画素Ｙij（１）乃至Ｙij（９）
の予測値の計算のために、予測値計算用ブロック化回路
４２は、例えば、注目補正データＸijを中心とする５×
５の２５画素Ｘ(i-2)(j-2)，Ｘ(i-2)(j-1)，Ｘ(i-2)j，
Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，Ｘ(i-1)(j-2)，Ｘ(i-1)
(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi(j
-2)，Ｘi(j-1)，Ｘij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j
-2)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)，Ｘ(i+1)
(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，Ｘ(i+2)j，Ｘ(i+
2)(j+1)，Ｘ(i+2)(j+2)で構成される正方形状の予測値
計算用ブロックを構成する。

【００５４】具体的には、例えば、図９において四角形
で囲む、元の画像における画素Ｙ33（１）乃至Ｙ33
（９）の９画素の予測値の計算のためには、画素Ｘ11，
Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ
25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ4
3，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55によ
り、予測値計算用ブロックが構成される（この場合の注
目補正データは、Ｘ33となる）。

【００５５】予測値計算用ブロック化回路４２において
得られた予測値計算用ブロックは、クラス分類適応処理
回路４３に供給される。

【００５６】なお、予測値計算用ブロックについても、
クラス分類用ブロックにおける場合と同様に、その画素
数および形状は、上述したものに限定されるものではな
い。但し、予測値計算用ブロックを構成する画素数は、
クラス分類用ブロックを構成する画素数よりも多くする
のが望ましい。

【００５７】また、上述のようなブロック化を行う場合
において（ブロック化以外の処理についても同様）、画
像の画枠付近では、対応する画素が存在しないことがあ
るが、この場合には、例えば、画枠を構成する画素と同
一の画素が、その外側に存在するものとして処理を行
う。

【００５８】クラス分類適応処理回路４３は、ＡＤＲＣ
（Adaptive Dynamic Range Coding）処理回路、クラス
分類回路４５、係数作成回路４６、係数正規化回路４
７、係数格納回路４８、および予測演算回路４９で構成
され、クラス分類適応処理を行う。

【００５９】クラス分類適応処理とは、入力信号を、そ
の特徴に基づいて幾つかのクラスに分類し、各クラスの
入力信号に、そのクラスに適切な適応処理を施すもの
で、大きく、クラス分類処理と適応処理とに分かれてい
る。

【００６０】ここで、クラス分類処理および適応処理に
ついて簡単に説明する。

【００６１】まず、クラス分類処理について説明する。

【００６２】いま、例えば、図１１（Ａ）に示すよう
に、ある注目画素と、それに隣接する３つの画素によ
り、２×２画素でなるブロック（クラス分類用ブロッ
ク）を構成し、また、各画素は、１ビットで表現される
（０または１のうちのいずれかのレベルをとる）ものと
する。この場合、注目画素を含む２×２の４画素のブロ
ックは、各画素のレベル分布により、図１１（Ｂ）に示
すように、１６（＝（２1）4）パターンに分類すること
ができる。従って、いまの場合、注目画素は、１６のパ
ターンに分類することができ、このようなパターン分け
が、クラス分類処理であり、クラス分類回路４５におい
て行われる。

【００６３】なお、クラス分類処理は、画像（ブロック
内の画像）のアクティビティ（画像の複雑さ）（変化の
激しさ）などをも考慮して行うようにすることが可能で
ある。

【００６４】ここで、通常、各画素には、例えば８ビッ
ト程度が割り当てられる。また、本実施の形態において
は、上述したように、クラス分類用ブロックは、３×３
の９画素で構成される。従って、このようなクラス分類
用ブロックを対象にクラス分類処理を行ったのでは、
（２8）9という膨大な数のクラスに分類されることにな
る。

【００６５】そこで、本実施の形態においては、ＡＤＲ
Ｃ処理回路４４において、クラス分類用ブロックに対し
て、ＡＤＲＣ処理が施し、これにより、クラス分類用ブ
ロックを構成する画素のビット数を小さくすることで、
クラス数を削減する。

【００６６】即ち、例えば、いま、説明を簡単にするた
め、図１２（Ａ）に示すように、直線上に並んだ４画素
で構成されるブロックを考えると、ＡＤＲＣ処理におい
ては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出
される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの
局所的なダイナミックレンジとし、このダイナミックレ
ンジＤＲに基づいて、ブロックを構成する画素の画素値
がＫビットに再量子化される。

【００６７】即ち、ブロック内の各画素値から、最小値
ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。
そして、その結果得られる除算値に対応するコード（Ａ
ＤＲＣコード）に変換される。具体的には、例えば、Ｋ
＝２とした場合、図１２（Ｂ）に示すように、除算値
が、ダイナミックレンジＤＲを４（＝２2）等分して得
られるいずれの範囲に属するかが判定され、除算値が、
最も下のレベルの範囲、下から２番目のレベルの範囲、
下から３番目のレベルの範囲、または最も上のレベルの
範囲に属する場合には、それぞれ、例えば、００Ｂ，０
１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化
される（Ｂは２進数であることを表す）。そして、復号
側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０
Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分
して得られる最も下のレベルの範囲の中心値Ｌ00、下か
ら２番目のレベルの範囲の中心値Ｌ01、下から３番目の
レベルの範囲の中心値Ｌ10、または最も上のレベルの範
囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが
加算されることで復号が行われる。

【００６８】ここで、このようなＡＤＲＣ処理はノンエ
ッジマッチングと呼ばれる。

【００６９】なお、ＡＤＲＣ処理については、本件出願
人が先に出願した、例えば、特開平３−５３７７８号公
報などに、その詳細が開示されている。

【００７０】ブロックを構成する画素に割り当てられて
いるビット数より少ないビット数で再量子化を行うＡＤ
ＲＣ処理を施すことにより、上述したように、クラス数
を削減することができ、このようなＡＤＲＣ処理が、Ａ
ＤＲＣ処理回路４４において行われる。

【００７１】なお、本実施の形態では、クラス分類回路
４５において、ＡＤＲＣ処理回路４４から出力されるＡ
ＤＲＣコードに基づいて、クラス分類処理が行われる
が、クラス分類処理は、その他、例えば、ＤＰＣＭ（予
測符号化）や、ＢＴＣ（BlockTruncation Coding）、Ｖ
Ｑ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、
アダマール変換などを施したデータを対象に行うように
することも可能である。

【００７２】次に、適応処理について説明する。

【００７３】例えば、いま、元の画像の画素値ｙの予測
値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以
下、適宜、学習データという）ｘ1，ｘ2，・・・と、所
定の予測係数ｗ1，ｗ2，・・・の線形結合により規定さ
れる線形１次結合モデルにより求めることを考える。こ
の場合、予測値Ｅ［ｙ］は、次式で表すことができる。

【００７４】 Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・・・・（１） そこで、一般化するために、予測係数ｗの集合でなる行
列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ
［ｙ］の集合でなる行列Ｙ’を、

【数１】 で定義すると、次のような観測方程式が成立する。

【００７５】ＸＷ＝Ｙ’・・・（２）

【００７６】そして、この観測方程式に最小自乗法を適
用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、元の画像の画素値（以
下、適宜、教師データという）ｙの集合でなる行列Ｙ、
および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残
差ｅの集合でなる行列Ｅを、

【数２】 で定義すると、式（２）から、次のような残差方程式が
成立する。

【００７７】ＸＷ＝Ｙ＋Ｅ・・・（３）

【００７８】この場合、元の画像の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差

【数３】 を最小にすることで求めることができる。

【００７９】従って、上述の自乗誤差を予測係数ｗiで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【００８０】

【数４】 ・・・（４）

【００８１】そこで、まず、式（３）を、予測係数ｗi
で微分することにより、次式が成立する。

【００８２】

【数５】 ・・・（５）

【００８３】式（４）および（５）より、式（６）が得
られる。

【００８４】

【数６】 ・・・（６）

【００８５】さらに、式（３）の残差方程式における学
習データｘ、予測係数ｗ、教師データｙ、および残差ｅ
の関係を考慮すると、式（６）から、次のような正規方
程式を得ることができる。

【００８６】

【数７】 ・・・（７）

【００８７】式（７）の正規方程式は、求めるべき予測
係数ｗの数と同じ数だけたてることができ、従って、式
（７）を解くことで、最適な予測係数ｗを求めることが
できる。なお、式（７）を解くにあたっては、例えば、
掃き出し法（Gauss-Jordanの消去法）などを適用するこ
とが可能である。

【００８８】以上のようにして、クラスごとに最適な予
測係数ｗを求め、さらに、その予測係数ｗを用い、式
（１）により、元の画像の画素値ｙに近い予測値Ｅ
［ｙ］を求めるのが適応処理であり、この適応処理が、
係数作成回路４６乃至予測演算回路４９において行われ
る。

【００８９】係数作成回路４６は、学習データｘおよび
教師データｙを基に、例えば、掃き出し法などにより、
式（７）の正規方程式を解いて、予測係数ｗを算出し
て、算出された予測係数ｗを係数正規化回路４７および
係数格納回路４８に供給する。

【００９０】係数正規化回路４７は、係数作成回路４６
から供給された予測係数ｗを正規化して、正規化された
予測係数ｗ’を生成し、正規化された予測係数ｗ’を係
数格納回路４８に供給するとともに、クラス分類適応処
理回路４３の予測係数出力として判定部２４に供給す
る。

【００９１】図１３は、係数正規化回路４７の構成を説
明する図である。係数作成回路４６から供給された予測
係数ｗは、１個の予測係数ｗ_i（後述するｗ１（ｋ）乃
至ｗ２５（ｋ）のいずれか１個に対応する）毎に順次、
演算器６１およびディレイ回路６２に入力される。演算
器６１は、入力された１個の予測係数ｗ_iと、メモリ６
３から供給されたデータとを加算して、加算した結果を
メモリ６３および逆数回路６４に供給する。

【００９２】例えば、予測係数ｗが２５個の予測係数ｗ
_iから構成されているとき、演算器６１は、入力された
１個の予測係数ｗ_iと、メモリ６３から供給されたデー
タとの加算を２５回繰り返して、予測係数ｗ_iの総和Σ
ｗ_iを算出して、予測係数ｗ_iの総和Σｗ_iを逆数回路６
４に出力する。演算器６１が算出する予測係数ｗ_iの総
和Σｗ_iは、予測係数ｗのゲインに対応する。

【００９３】逆数回路６４は、演算器６１から供給され
た予測係数ｗ_iの総和Σｗ_iから、逆数１／Σｗ_iを算出
して、算出した逆数１／Σｗ_iを演算器６５に供給す
る。すなわち、逆数回路６４は、演算器６５に予測係数
ｗのゲインの逆数を供給する。

【００９４】ディレイ回路６２は、入力された予測係数
ｗ_iを、演算器６１乃至逆数回路６４が予測係数ｗ_iの総
和Σｗ_iの逆数１／Σｗ_iを算出する時間遅延させて、遅
延させた予測係数ｗ_iを演算器６５に供給する。

【００９５】演算器６５は、ディレイ回路６２から供給
された予測係数ｗ_iと、逆数回路６４から供給された予
測係数ｗのゲインの逆数とを乗じて、式（８）に従っ
て、正規化された予測係数ｗ’_iを出力する。

【００９６】

【数８】 ・・・（８）ｍは、予測係数ｗ_iの数を示す。

【００９７】演算器６５が出力する予測係数ｗ’のゲイ
ン（予測係数ｗ’_iの総和Σｗ’_i）は、１．０となる。

【００９８】図１０に戻り、係数格納回路４８は、クラ
ス分類回路４５から供給されたクラスコードに対応させ
て、係数正規化回路４７から供給された予測係数ｗ’を
記憶する。係数格納回路４８は、クラス分類回路４５か
ら供給されたクラスコードに対応する、記憶している予
測係数ｗ’を予測演算回路４９に出力する。

【００９９】予測演算回路４９は、予測係数ｗ’を用
い、式（１）により、元の画像の画素値ｙに近い予測値
Ｅ［ｙ］を算出して出力する。

【０１００】このように、ローカルデコード部２２は、
ゲインが１．０である予測係数ｗ’を基に、予測値を算
出するので、圧縮部２１が補正データの補正を繰り返し
ても、補正データの画素値の平均値と、供給される画像
データの画素値の平均値との差が補正の処理毎に大きく
なることが防止される。

【０１０１】従って、圧縮部２１が出力する補正データ
に画素値の偏りが発生することなく、画素値の偏りによ
る、圧縮された画像からの情報の欠落が防止される。

【０１０２】なお、適応処理は、間引かれた画像には含
まれていない、元の画像に含まれる成分が再現される点
で、補間処理とは異なる。即ち、適応処理は、式（１）
だけを見る限りは、いわゆる補間フィルタを用いての補
間処理と同一であるが、その補間フィルタのタップ係数
に相当する予測係数ｗが、教師データｙを用いての、い
わば学習により求められるため、元の画像に含まれる成
分を再現することができる。このことから、適応処理
は、いわば画像の創造作用がある処理ということができ
る。

【０１０３】次に、図１４のフローチャートを参照し
て、図１０のローカルデコード部２２の処理について説
明する。

【０１０４】ローカルデコード部２２においては、まず
最初に、ステップＳ２１において、圧縮部２１からの補
正データがブロック化される。即ち、クラス分類用ブロ
ック化回路４１において、補正データが、注目補正デー
タを中心とする３×３画素のクラス分類用ブロックにブ
ロック化され、クラス分類適応処理回路４３に供給され
るとともに、予測値計算用ブロック化回路４２におい
て、補正データが、注目補正データを中心とする５×５
画素の予測値計算用ブロックにブロック化され、クラス
分類適応処理回路４３に供給される。

【０１０５】クラス分類適応処理回路４３には、上述し
たように、クラス分類用ブロックおよび予測値計算用ブ
ロックの他、元の画像データが供給し、クラス分類用ブ
ロックはＡＤＲＣ処理部４４に、予測値計算用ブロック
および元の画像データは係数作成回路４６に供給され
る。

【０１０６】ＡＤＲＣ処理回路４４は、クラス分類用ブ
ロックを受信すると、ステップＳ２２において、そのク
ラス分類用ブロックに対して、例えば、１ビットのＡＤ
ＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施
し、これにより、補正データを、１ビットに変換（符号
化）して、クラス分類回路４５に出力する。クラス分類
回路４５は、ステップＳ２３において、ＡＤＲＣ処理が
施されたクラス分類用ブロックから、クラス分類処理を
施す。即ち、ＡＤＲＣ処理が施されたクラス分類用ブロ
ックを構成する各画素のレベル分布の状態を検出し、そ
のクラス分類用ブロックが属するクラス（そのクラス分
類用ブロックを構成する注目補正データ（中心に配置さ
れた補正データ）のクラス）を判定する。このクラスの
判定結果は、クラス情報として、係数作成回路４６およ
び係数格納回路４８に供給される。

【０１０７】なお、本実施の形態においては、１ビット
のＡＤＲＣ処理が施された３×３の９画素で構成される
クラス分類用ブロックに対して、クラス分類処理が施さ
れるので、各クラス分類用ブロックは、５１２（＝（２
1）9）のクラスのうちのいずれかに分類されることにな
る。

【０１０８】そして、ステップＳ２４に進み、係数作成
回路４６において、クラス分類回路４５からのクラス情
報に基づいて、各クラスごとの予測係数が算出される。

【０１０９】ステップＳ２５に進み、係数正規化回路４
７において、予測係数が正規化される。正規化された予
測係数、すちわち、ゲインが１．０とされた予測係数
は、係数格納回路４８に記憶される。

【０１１０】ステップＳ２６に進み、予測演算回路４９
により、各クラスごとに適応処理が施され、これによ
り、クラスごとの予測係数および１フレームの元の画像
データ（原画像データ）の予測値が算出される。

【０１１１】即ち、本実施の形態においては、例えば、
クラスごとに２５×９個の予測係数が、１フレーム分の
原画像データおよびと補正データから算出される。さら
に、ある１つの補正データに注目した場合に、その注目
補正データに対応する元画像の画素と、その画素の周り
に隣接する８個の元画像の画素の、合計９個の画素につ
いての予測値が、注目補正データのクラス情報に対応す
る２５×９個の予測係数と、その注目補正データを中心
とする５×５画素でなる予測値計算用ブロックとを用い
て、適応処理が行われることにより算出される。

【０１１２】具体的には、例えば、いま、図９に示した
補正データ（注目補正データ）Ｘ33を中心とする３×３
の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ
42，Ｘ43，Ｘ44でなるクラス分類用ブロックについての
クラス情報Ｃが、クラス分類回路４５から出力され、ま
た、そのクラス分類用ブロックに対応する予測値計算用
ブロックとして、補正データＸ33を中心とする５×５画
素の補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，
Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ
35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ5
3，Ｘ54，Ｘ55でなる予測値計算用ブロックが、予測値
計算用ブロック化回路４２から出力されたものとする
と、まず、その予測値計算用ブロックを構成する補正デ
ータを、学習データとするとともに、元の画像におけ
る、補正データＸ33を中心とする３×３画素（図９にお
いて四角形で囲んである部分）の画素値Ｙ33（１）乃至
Ｙ33（９）を、教師データとして、式（７）に示した正
規方程式がたてられる。

【０１１３】さらに、所定期間としての、例えば、１フ
レームの中で、同一のクラス情報Ｃにクラス分類される
クラス分類用ブロックに対応する、他の予測値計算用ブ
ロックについても同様にして、正規方程式がたてられ、
画素値Ｙ33（ｋ）（ここでは、ｋ＝１，２，・・・，
９）の予測値Ｅ［Ｙ33（ｋ）］を求めるための予測係数
ｗ1（ｋ）乃至ｗ25（ｋ）（本実施の形態では、１つの
予測値を求めるのに学習データが２５個用いられるの
で、それに対応して、予測係数ｗも２５個必要となる）
を算出することができるだけの数の正規方程式が得られ
ると（従って、そのような数の正規方程式が得られるま
では、ステップＳ２４では、正規方程式をたてる処理ま
でが行われる）、その正規方程式を解くことで、クラス
情報Ｃについて、画素値Ｙ33（ｋ）の予測値Ｅ［Ｙ33
（ｋ）］を求めるのに最適な予測係数ｗ1（ｋ）乃至ｗ2
5（ｋ）が算出される。この処理は、各クラスごとに行
われ、これにより、各クラスごとに、２５×９の予測係
数が算出される（２５個の補正データを用いて、９個の
予測値を求めるため、１クラスについての予測係数の数
は、２５×９個となる）。

【０１１４】そして、予測係数ｗ1（ｋ）乃至ｗ25
（ｋ）の総和（ゲイン）が求められ、その総和の逆数を
乗じることにより、予測係数ｗ1（ｋ）乃至ｗ25（ｋ）
のそれぞれが正規化される。予測係数ｗ1（ｋ）乃至ｗ2
5（ｋ）のゲインは、１．０とされる。

【０１１５】クラス情報Ｃについての予測係数と予測値
計算用ブロックとを用い、式（１）に対応する次式にし
たがって、予測値Ｅ［Ｙ33（ｋ）］が求められる。

【０１１６】 Ｅ［Ｙ33（ｋ）］＝ｗ1（ｋ）Ｘ11＋ｗ2（ｋ）Ｘ12＋ｗ3（ｋ）Ｘ13 ＋ｗ4（ｋ）Ｘ14＋ｗ5（ｋ）Ｘ15＋ｗ6（ｋ）Ｘ21 ＋ｗ7（ｋ）Ｘ22＋ｗ8（ｋ）Ｘ23＋ｗ9（ｋ）Ｘ24 ＋ｗ10（ｋ）Ｘ25＋ｗ11（ｋ）Ｘ31 ＋ｗ12（ｋ）Ｘ32＋ｗ13（ｋ）Ｘ33 ＋ｗ14（ｋ）Ｘ34＋ｗ15（ｋ）Ｘ35 ＋ｗ16（ｋ）Ｘ41＋ｗ17（ｋ）Ｘ42 ＋ｗ18（ｋ）Ｘ43＋ｗ19（ｋ）Ｘ44 ＋ｗ20（ｋ）Ｘ45＋ｗ21（ｋ）Ｘ51 ＋ｗ22（ｋ）Ｘ52＋ｗ23（ｋ）Ｘ53 ＋ｗ24（ｋ）Ｘ54＋ｗ25（ｋ）Ｘ55 ・・・（９）

【０１１７】ステップＳ２４では、以上のようにして、
２５×９の予測係数が、クラスごとに求められ、ステッ
プＳ２５では、クラスごとの予測係数が正規化され、ス
テップＳ２６では、そのクラスごとの予測係数を用い
て、注目補正データを中心とする３×３の原画像の画素
の予測値が求められる。

【０１１８】その後、ステップＳ２７に進み、クラスご
との２５×９の予測係数は判定部２４に供給され、３×
３の予測値は誤差算出部２３に供給される。そして、ス
テップＳ２１に戻り、以下同様の処理が、例えば、上述
したように１フレーム単位で繰り返される。

【０１１９】次に、図１５は、図５の誤差算出部２３の
構成例を示している。

【０１２０】ブロック化回路８１には、元の画像データ
が供給され、そこでは、ブロック化回路８１は、その画
像データを、ローカルデコード部２２から出力される予
測値に対応する９個単位でブロック化し、その結果得ら
れる３×３画素のブロック（例えば、図９に四角形で囲
んで示すような３×３画素のブロック）を、自乗誤差算
出回路８２に出力する。自乗誤差算出部５２には、上述
したように、ブロック化回路８１からブロックが供給さ
れる他、ローカルデコード部２２から予測値が、９個単
位（３×３画素のブロック単位）で供給され、自乗誤差
算出回路８２は、原画像に対する、予測値の予測誤差と
しての自乗誤差を算出し、積算部８５に供給する。

【０１２１】即ち、自乗誤差算出回路は５２は、演算器
８３および８４で構成されている。演算器８３は、ブロ
ック化回路８１からのブロック化された画像データそれ
ぞれから、対応する予測値を減算し、その減算値を、演
算器８４に供給する。演算器８４は、演算器８３の出力
（元の画像データと予測値との差分）を自乗し、積算部
８５に供給する。

【０１２２】積算部８５は、自乗誤差算出回路８２から
自乗誤差を受信すると、メモリ８６の記憶値を読み出
し、その記憶値と自乗誤差とを加算して、再び、メモリ
８６に供給して記憶させることを繰り返すことで、自乗
誤差の積算値（誤差分散）を求める。さらに、積算部８
５は、所定量（例えば、１フレーム分など）についての
自乗誤差の積算が終了すると、その積算値を、メモリ８
６から読み出し、誤差情報として、判定部２４に供給す
る。メモリ８６は、１フレームについての処理が終了す
るごとに、その記憶値をクリアしながら、積算部８５の
出力値を記憶する。

【０１２３】次に、その動作について、図１６のフロー
チャートを参照して説明する。誤差算出部２３では、ま
ず最初に、ステップＳ３１において、メモリ８６の記憶
値が、例えば０にクリアされ、ステップＳ３２に進み、
ブロック化回路８１において、画像データが、上述した
ようにブロック化され、その結果得られるブロックが、
自乗誤差算出回路８２に供給される。自乗誤差算出回路
８２では、ステップＳ３３において、ブロック化回路８
１から供給されるブロックを構成する、元の画像（原画
像）の画像データと、ローカルデコード部２２から供給
される予測値との自乗誤差が算出される。

【０１２４】即ち、ステップＳ３３では、演算器８３に
おいて、ブロック化回路８１より供給されたブロック化
された画像データそれぞれから、対応する予測値が減算
され、演算器８４に供給される。さらに、ステップＳ３
３では、演算器８４において、演算器８３の出力が自乗
され、積算部８５に供給される。

【０１２５】積算部８５は、自乗誤差算出回路８２から
自乗誤差を受信すると、ステップＳ３４において、メモ
リ８６の記憶値を読み出し、その記憶値と自乗誤差とを
加算することで、自乗誤差の積算値を求める。積算部８
５において算出された自乗誤差の積算値は、メモリ８６
に供給され、前回の記憶値に上書きされることで記憶さ
れる。

【０１２６】そして、積算部８５では、ステップＳ３５
において、所定量としての、例えば、１フレーム分につ
いての自乗誤差の積算が終了したかどうかが判定され
る。ステップＳ３５において、１フレーム分についての
自乗誤差の積算が終了していないと判定された場合、ス
テップＳ３２に戻り、再び、ステップＳ３２からの処理
を繰り返す。また、ステップＳ３５において、１フレー
ム分についての自乗誤差の積算が終了したと判定された
場合、ステップＳ３６に進み、積算部８５は、メモリ８
６に記憶された１フレーム分についての自乗誤差の積算
値を読み出し、誤差情報として、判定部２４に出力す
る。そして、ステップＳ３１に戻り、次のフレームにつ
いての原画像および予測値が供給されるのを待って、再
び、ステップＳ３１からの処理を繰り返す。

【０１２７】従って、誤差算出部２３では、元の画像デ
ータをＹij（ｋ）とするとともに、その予測値をＥ［Ｙ
ij（ｋ）］とするとき、次式にしたがった演算が行われ
ることで、誤差情報Ｑが算出される。

【０１２８】 Ｑ＝Σ（Ｙij（ｋ）−Ｅ［Ｙij（ｋ）］）2 但し、Σは、１フレーム分についてのサメーションを意
味する。

【０１２９】誤差算出部２３では、ローカルデコード部
２２から正規化された予測係数に基づく予測値が算出さ
れるので、原画像の画素と補正データの画素との画素値
の平均が異なるとき、誤差算出部２３は、原画像の画素
と補正データの画素との画素値の平均の差異に対応した
誤差情報を判定部２４に供給する。

【０１３０】次に、図１７は、図５の判定部２４の構成
例を示している。

【０１３１】予測係数メモリ１０１は、ローカルデコー
ド部２２から供給される予測係数を記憶する。補正デー
タメモリ１０２は、圧縮部２１から供給される補正デー
タを記憶する。

【０１３２】なお、補正データメモリ１０２は、圧縮部
２１において、圧縮データが新たに補正され、これによ
り、新たな補正データが供給された場合には、既に記憶
している補正データ（前回の補正データ）に代えて、新
たな補正データを記憶する。また、このように補正デー
タが、新たなものに更新されるタイミングで、ローカル
デコード部２２からは、その新たな補正データに対応す
る、新たなクラスごとの予測係数（正規化されている）
のセットが出力されるが、予測係数メモリ１０１におい
ても、このように新たなクラスごとの予測係数が供給さ
れた場合には、既に記憶しているクラスごとの予測係数
（前回のクラスごとの予測係数）に代えて、その新たな
クラスごとの予測係数を記憶する。

【０１３３】誤差情報メモリ１０３は、誤差算出部２３
から供給される誤差情報を記憶する。なお、誤差情報メ
モリ１０３は、誤差算出部２３から、今回供給された誤
差情報の他に、前回供給された誤差情報も記憶する（新
たな誤差情報が供給されても、さらに新たな誤差情報が
供給されるまでは、既に記憶している誤差情報を保持す
る）。なお、誤差情報メモリ１０３は、新たなフレーム
についての処理が開始されるごとにクリアされる。

【０１３４】比較回路１０４は、誤差情報メモリ１０３
に記憶された今回の誤差情報と、所定の閾値εとを比較
し、さらに、必要に応じて、今回の誤差情報と前回の誤
差情報との比較も行う。比較回路１０４における比較結
果は、制御回路１０５に供給される。

【０１３５】制御回路１０５は、比較回路１０４におけ
る比較結果に基づいて、補正データメモリ１０２に記憶
された補正データを、元の画像の符号化結果とすること
の適正（最適）さを判定し、最適でないと認識（判定）
した場合には、新たな補正データの出力を要求する制御
信号を、圧縮部２１（補正回路３２）（図７）に供給す
る。

【０１３６】原画像の画素と補正データの画素との画素
値の平均が異なるとき、誤差算出部２３は、原画像の画
素と補正データの画素との画素値の平均の差異に対応し
た誤差情報を判定部２４に供給するので、制御回路１０
５は、供給された誤差情報を基に、原画像の画素と補正
データの画素との画素値の平均の差異を少なくする補正
を圧縮部２１に実行させる制御信号を、圧縮部２１に供
給する。

【０１３７】従って、圧縮部２１は、判定部２４から供
給された制御信号を基に、原画像の画素と補正データの
画素との画素値の平均の差異を少なくするように、圧縮
部２１に補正の処理を実行させる。

【０１３８】また、制御回路１０５は、補正データメモ
リ１０２に記憶された補正データを、元の画像の符号化
結果とすることが最適であると認識した場合には、予測
係数メモリ１０１に記憶されているクラスごとの予測係
数を読み出し、多重化部２５に出力するとともに、補正
データメモリ１０２に記憶されている補正データを読み
出し、最適圧縮データとして、やはり多重化部２５に供
給する。さらに、この場合、制御回路１０５は、１フレ
ームの画像についての符号化を終了した旨を表す制御信
号を、圧縮部２１に出力し、これにより、上述したよう
に、圧縮部２１に、次のフレームについての処理を開始
させる。

【０１３９】次に、図１８を参照して、判定部２４の動
作について説明する。

【０１４０】判定部２４では、まず最初に、ステップＳ
４１において、誤差算出部２３から誤差情報を受信した
かどうかが、比較回路１０４によって判定され、誤差情
報を受信していないと判定された場合、ステップＳ４１
に戻る。また、ステップＳ４１において、誤差情報を受
信したと判定された場合、即ち、誤差情報メモリ１０３
に誤差情報が記憶された場合、ステップＳ４２に進み、
比較回路１０４において、誤差情報メモリ１０３に、い
ま記憶された誤差情報（今回の誤差情報）と、所定の閾
値εとが比較され、いずれが大きいかが判定される。

【０１４１】ステップＳ４２において、今回の誤差情報
が、所定の閾値ε以上であると判定された場合、比較回
路１０４において、誤差情報メモリ１０３に記憶されて
いる前回の誤差情報が読み出される。そして、比較回路
１０４は、ステップＳ４３において、前回の誤差情報
と、今回の誤差情報とを比較し、いずれが大きいかを判
定する。

【０１４２】ここで、１フレームについての処理が開始
され、最初に誤差情報が供給されたときには、誤差情報
メモリ１０３には、前回の誤差情報は記憶されていない
ので、この場合には、判定部２４においては、ステップ
Ｓ４３以降の処理は行われず、制御回路１０５におい
て、所定の初期アドレスを補正値ＲＯＭ３３に出力する
ように、補正回路３２（図７）を制御する制御信号が出
力される。

【０１４３】ステップＳ４３において、今回の誤差情報
が、前回の誤差情報以下であると判定された場合、即
ち、圧縮データの補正を行うことにより誤差情報が減少
した場合、ステップＳ４４に進み、制御回路１０５は、
補正値△を、前回と同様に変化させるように指示する制
御信号を、補正回路３２に出力し、ステップＳ４１に戻
る。また、ステップＳ４３において、今回の誤差情報
が、前回の誤差情報より大きいと判定された場合、即
ち、圧縮データの補正を行うことにより誤差情報が増加
した場合、ステップＳ４５に進み、制御回路１０５は、
補正値△を、前回と逆に変化させるように指示する制御
信号を、補正回路３２に出力し、ステップＳ４１に戻
る。

【０１４４】なお、減少し続けていた誤差情報が、ある
タイミングで上昇するようになったときは、制御回路１
０５は、補正値△を、いままでの場合の、例えば１／２
の大きさで、前回と逆に変化させるように指示する制御
信号を出力する。

【０１４５】そして、ステップＳ４１乃至Ｓ４５の処理
を繰り返すことにより、誤差情報が減少し、これによ
り、ステップＳ４２において、今回の誤差情報が、所定
の閾値εより小さいと判定された場合、ステップＳ４６
に進み、制御回路１０５は、予測係数メモリ１０１に記
憶されているクラスごとの予測係数を読み出すととも
に、補正データメモリ１０２に記憶されている１フレー
ムの補正データを、最適圧縮データとして読み出し、多
重化部２５に供給して、処理を終了する。

【０１４６】その後は、次のフレームについての誤差情
報が供給されるのを待って、再び、図１８に示すフロー
チャートにしたがった処理を繰り返す。

【０１４７】なお、補正回路３２には、圧縮データの補
正は、１フレームすべての圧縮データについて行わせる
ようにすることもできるし、その一部の圧縮データにつ
いてだけ行わせるようにすることもできる。一部の圧縮
データについてだけ補正を行う場合においては、制御回
路１０５に、例えば、誤差情報に対する影響の強い画素
を検出させ、そのような画素についての圧縮データだけ
を補正するようにすることができる。誤差情報に対する
影響の強い画素は、例えば、次のようにして検出するこ
とができる。即ち、まず最初に、間引き後に残った画素
についての圧縮データをそのまま用いて処理を行うこと
により、その誤差情報を得る。そして、間引き後に残っ
た画素についての圧縮データを、１つずつ、同一の補正
値△だけ補正するような処理を行わせる制御信号を、制
御回路１０５から補正回路３２に出力し、その結果得ら
れる誤差情報を、圧縮データをそのまま用いた場合に得
られた誤差情報と比較し、その差が、所定値以上となる
画素を、誤差情報に対する影響の強い画素として検出す
れば良い。

【０１４８】以上のように、補正による補正データの画
素値の分布の偏りの発生を防止しつつ、誤差情報を所定
の閾値εより小さくする（以下にする）まで、圧縮デー
タの補正が繰り返され、誤差情報が所定の閾値εより小
さくなったときにおける補正データが、画像の符号化結
果として出力されるので、受信装置４（図３）において
は、間引き後の画像を構成する画素の画素値を、元の画
像を復元するのに最も適当な値にした補正データから、
原画像と同一（ほぼ同一）の復号画像を得ることが可能
となる。

【０１４９】また、画像は、間引き処理により圧縮され
る他、ＡＤＲＣ処理およびクラス分類適応処理などによ
っても圧縮されるため、非常に高圧縮率の符号化データ
を得ることができる。なお、送信装置１における、以上
のような符号化処理は、間引きによる圧縮処理と、クラ
ス分類適応処理とを、いわば有機的に統合して用いるこ
とにより、高能率圧縮を実現するものであり、このこと
から統合符号化処理ということができる。

【０１５０】以上、本発明を適用した画像処理装置につ
いて説明したが、このような画像処理装置は、例えば、
ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号
化する場合の他、データ量の多い、いわゆるハイビジョ
ン方式のテレビジョン信号などを符号化する場合に、特
に有効である。

【０１５１】なお、本実施の形態においては、誤差情報
として、誤差の自乗和を用いるようにしたが、誤差情報
としては、その他、例えば、誤差の絶対値和や、その３
乗以上したものの和などを用いるようにすることが可能
である。いずれを誤差情報として用いるかは、例えば、
その収束性などに基づいて決定するようにすることが可
能である。

【０１５２】また、本実施の形態では、誤差情報が、所
定の閾値ε以下になるまで、圧縮データの補正を繰り返
し行うようにしたが、圧縮データの補正の回数には、上
限を設けるようにすることも可能である。即ち、例え
ば、リアルタイムで画像の伝送を行う場合などにおいて
は、１フレームについての処理が、所定の期間内に終了
することが必要であるが、誤差情報は、そのような所定
の期間内に収束するとは限らない。そこで、補正の回数
に上限を設けることにより、所定の期間内に、誤差情報
が閾値ε以下に収束しないときは、そのフレームについ
ての処理を終了し（そのときにおける補正データを、符
号化結果とし）、次のフレームについての処理を開始す
るようにすることが可能である。

【０１５３】さらに、本実施の形態においては、１フレ
ームの画像から、例えば、クラス分類用ブロックや予測
値計算用ブロックなどのブロックを構成するようにした
が、ブロックは、その他、例えば、時系列に連続する複
数フレームにおける、同一位置の画素などから構成する
ようにすることも可能である。

【０１５４】また、本実施の形態では、圧縮部２１にお
いて、画像を、単純に間引き、即ち、３×３画素のブロ
ックにおける中心画素を抽出し、これを圧縮データとす
るようにしたが、圧縮部２１には、その他、例えば、ブ
ロックを構成する９画素の平均値などを求めさせ、その
平均値を、ブロックにおける中心画素の画素値とするこ
とにより、その画素数を少なくし（間引き）、これを圧
縮データとするようにすることも可能である。

【０１５５】さらに、本実施の形態では、例えば、１フ
レーム単位で、正規方程式をたてて、クラスごとの予測
係数を求めるようにしたが、予測係数の算出処理は、そ
の他、例えば、１フィールド単位や複数フレーム単位で
正規方程式をたてて行うようにすることも可能である。
他の処理についても同様である。

【０１５６】また、本実施の形態では、図４の送信装置
１を構成するＣＰＵ１４が、同じく送信装置１を構成す
る外部記憶装置１５に記憶されたアプリケーションプロ
グラムを実行することで、各種の符号化処理が行われる
ようにしたが、これらの符号化処理は、ハードウェアに
よって行うことも可能である。同様に受信装置４におけ
る処理も、そのような処理を行うためのプログラムをコ
ンピュータに実行させることによっても、またハードウ
ェアによっても、実現可能である。

【０１５７】一連の処理をソフトウェアにより実行させ
る場合には、そのソフトウェアを構成するプログラム
が、専用のハードウェアに組み込まれているコンピュー
タ、または、各種のプログラムをインストールすること
で、各種の機能を実行することが可能な、例えば汎用の
パーソナルコンピュータなどに、記録媒体からインスト
ールされる。

【０１５８】この記録媒体は、図４に示すように、コン
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク１７（フロッピディスクを含む）、光ディスク１８
（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Di
gital Versatile Disc)を含む）、光磁気ディスク１９
（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ２
０などよりなるパッケージメディアにより構成されるだ
けでなく、コンピュータに予め組み込まれた状態でユー
ザに提供される、プログラムが記録されているROM１２
や、外部記憶部１５に含まれるハードディスクなどで構
成される。

【０１５９】なお、本明細書において、記録媒体に格納
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【０１６０】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。

【０１６１】

【発明の効果】請求項１に記載の画像符号化装置、請求
項２に記載の画像符号化方法、および請求項３に記載の
記録媒体によれば、原画像が、その画素数を少なくする
ことにより圧縮され、原画像を圧縮することにより得ら
れる圧縮データが補正されて、補正データが出力され、
補正データに基づいて、補正データとの演算により予測
値を算出するための、正規化された予測係数が演算さ
れ、予測係数および補正データから、原画像が予測され
て、その予測値が出力され、原画像に対する、予測値の
予測誤差が算出され、予測誤差に基づいて、補正データ
の適正さが判定され、判定結果に対応して、補正データ
が、原画像の符号化結果として出力されるようにしたの
で、補正の処理が繰り返されても、精度の高い画像を出
力できるようになる。

【図面の簡単な説明】

【図１】偏差の蓄積による輝度の平均値の変化を説明す
る図である。

【図２】補正データに含まれる画素の画素値の輝度の分
布を説明する図である。

【図３】本発明を適用した画像処理装置の一実施の形態
の構成を示すブロック図である。

【図４】図３の送信装置１の構成例を示すブロック図で
ある。

【図５】図３の送信装置１の第１の機能的構成例を示す
ブロック図である。

【図６】図５の送信装置１の動作を説明するためのフロ
ーチャートである。

【図７】図５の圧縮部２１の構成例を示すブロック図で
ある。

【図８】図７の圧縮部２１の動作を説明するためのフロ
ーチャートである。

【図９】図７の間引き回路３１の処理を説明するための
図である。

【図１０】図５のローカルデコード部２２の構成例を示
すブロック図である。

【図１１】クラス分類処理を説明するための図である。

【図１２】ＡＤＲＣ処理を説明するための図である。

【図１３】図１０の係数正規化回路４７の構成例を示す
ブロック図である。

【図１４】図１０のローカルデコード部２２の動作を説
明するためのフローチャートである。

【図１５】図５の誤差算出部２３の構成例を示すブロッ
ク図である。

【図１６】図１５の誤差算出部２３の動作を説明するた
めのフローチャートである。

【図１７】図５の判定部２４の構成例を示すブロック図
である。

【図１８】図１７の判定部２４の動作を説明するための
フローチャートである。

【符号の説明】

１ 送信装置， ２ 情報記録媒体， ３ 伝送路，
４ 受信装置， １１Ｉ／Ｆ， １２ ＲＯＭ， １３
ＲＡＭ， １４ ＣＰＵ， １５ 外部記憶装置，
１６ 送信機／記録装置， １７ 磁気ディスク， １
８ 光ディスク， １９ 光磁気ディスク， ２０ 半
導体メモリ， ２１ 圧縮部， ２２ローカルデコード
部， ２３ 誤差算出部， ２４ 判定部， ２５ 多
重化部， ３１ 間引き回路， ３２ 補正回路， ３
３ 補正値ＲＯＭ， ４１クラス分類用ブロック化回
路， ４２ 予測値計算用ブロック化回路， ４３クラ
ス分類適応処理回路， ４４ ＡＤＲＣ処理回路， ４
５ クラス分類回路， ４６ 係数作成回路， ４７
係数正規化回路， ４８ 係数格納回路，４９ 予測演
算回路， ６１ 演算器， ６２ ディレイ回路， ６
３ メモリ， ６４ 逆数回路， ６５ 演算器， ８
１ ブロック化回路， ８２ 自乗誤差算出回路， ８
３，８４ 演算器， ８５ 積算部， ８６ メモリ，
１０１ 予測係数メモリ， １０２ 補正データメモ
リ， １０３ 誤差情報メモリ， １０４ 比較回路，
１０５ 制御回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤原 直樹 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK08 PP04 SS02 SS07 SS10 SS12 SS13 SS20 TA08 TB10 TC03 TC05 TD12 UA02 UA05 UA33 UA39 5C078 AA04 BA35 CA01 DA01 DA02 5J064 AA01 BB03 BC01 BC02 BC14 BC26 BD02 BD03

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像を符号化する画像符号化装置であっ
   て、 原画像を、その画素数を少なくすることにより圧縮する
   圧縮手段と、 前記原画像を圧縮することにより得られる圧縮データを
   補正し、補正データを出力する補正手段と、 前記補正データに基づいて、前記補正データとの演算に
   より予測値を算出するための、正規化された予測係数を
   求める予測係数演算手段と、 前記予測係数および補正データから、前記原画像を予測
   し、その予測値を出力する予測手段と、 前記原画像に対する、前記予測値の予測誤差を算出する
   算出手段と、 前記予測誤差に基づいて、前記補正手段が出力する前記
   補正データの適正さを判定する判定手段と、 前記判定手段による判定結果に対応して、前記補正デー
   タを、前記原画像の符号化結果として出力する出力手段
   とを含むことを特徴とする画像符号化装置。
2. 【請求項２】 画像を符号化する画像符号化装置の画像
   符号化方法であって、 原画像を、その画素数を少なくすることにより圧縮する
   圧縮ステップと、 前記原画像を圧縮することにより得られる圧縮データを
   補正し、補正データを出力する補正ステップと、 前記補正データに基づいて、前記補正データとの演算に
   より予測値を算出するための、正規化された予測係数を
   求める予測係数演算ステップと、 前記予測係数および補正データから、前記原画像を予測
   し、その予測値を出力する予測ステップと、 前記原画像に対する、前記予測値の予測誤差を算出する
   算出ステップと、 前記予測誤差に基づいて、前記補正ステップの処理で出
   力する前記補正データの適正さを判定する判定ステップ
   と、 前記判定ステップの処理による判定結果に対応して、前
   記補正データを、前記原画像の符号化結果として出力す
   る出力ステップとを含むことを特徴とする画像符号化方
   法。
3. 【請求項３】 画像を符号化する画像符号化処理用のプ
   ログラムであって、 原画像を、その画素数を少なくすることにより圧縮する
   圧縮ステップと、 前記原画像を圧縮することにより得られる圧縮データを
   補正し、補正データを出力する補正ステップと、 前記補正データに基づいて、前記補正データとの演算に
   より予測値を算出するための、正規化された予測係数を
   求める予測係数演算ステップと、 前記予測係数および補正データから、前記原画像を予測
   し、その予測値を出力する予測ステップと、 前記原画像に対する、前記予測値の予測誤差を算出する
   算出ステップと、 前記予測誤差に基づいて、前記補正ステップの処理で出
   力する前記補正データの適正さを判定する判定ステップ
   と、 前記判定ステップの処理による判定結果に対応して、前
   記補正データを、前記原画像の符号化結果として出力す
   る出力ステップとを含むことを特徴とするコンピュータ
   が読み取り可能なプログラムが記録されている記録媒
   体。