JP3912628B2 - 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体 - Google Patents
画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP3912628B2 JP3912628B2 JP20848397A JP20848397A JP3912628B2 JP 3912628 B2 JP3912628 B2 JP 3912628B2 JP 20848397 A JP20848397 A JP 20848397A JP 20848397 A JP20848397 A JP 20848397A JP 3912628 B2 JP3912628 B2 JP 3912628B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- data
- value
- correction
- correction data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体に関する。特に、原画像とほぼ同一の復号画像が得られるように、画像を、例えば間引くことにより符号化する画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来より、画像の符号化方法については、種々の方法が提案されているが、そのうちの１つに、例えば、画像を、その画素を間引くこと（subsampling）により圧縮して符号化する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このように間引いて圧縮した画像を、単純に補間により伸張した場合、その結果得られる復号画像の解像度が劣化する。
【０００４】
ここで、このように復号画像の解像度が劣化する原因として、第１に、間引い画像には、元の画像に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像を構成する画素の画素値が、元の画像を復元するのに、必ずしも適当でないことが考えられる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、原画像と同一（ほぼ同一）の復号画像が得られるように、画像を間引いて圧縮符号化することができるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段と、補正データに基づいて、原画像を予測し、その予測値を出力する予測手段と、原画像に対する、予測値の予測誤差を算出する算出手段と、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定する判定手段と、判定手段による判定結果に対応して、補正データを、原画像の符号化結果として出力する出力手段とを備え、補正手段は、圧縮データを補正するための補正値を記憶している記憶手段を有し、圧縮データに対して、補正値を用いた演算を施すことで圧縮データを補正し、予測手段は、補正データを、その性質に応じて所定のクラスに分類する分類手段と、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求める予測値演算手段とを有し、判定手段は、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下であると判定した場合、出力手段に、予測誤差が所定値以下になったときにおける補正データを出力させ、予測誤差が所定値以下でないと判定した場合、補正手段に、補正値と異なる補正値に基づき、圧縮データをさらに補正させることを特徴とする。
【０００７】
請求項６に記載の画像符号化方法は、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力することを特徴とする。
【０００８】
請求項７に記載の画像符号化および復号化システムは、画像符号化装置は、原画像を、その画素数を少なくすることにより圧縮する圧縮手段と、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段と、補正データに基づいて、原画像を予測し、その予測値を出力する予測手段と、原画像に対する、予測値の予測誤差を算出する算出手段と、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定する判定手段と、判定手段による判定結果に対応して、補正データを、原画像の符号化結果として出力する出力手段とを備え、補正手段は、圧縮データを補正するための補正値を記憶している記憶手段を有し、圧縮データに対して、補正値を用いた演算を施すことで圧縮データを補正し、予測手段は、補正データを、その性質に応じて所定のクラスに分類する分類手段と、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求める予測値演算手段とを有し、判定手段は、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下であると判定した場合、出力手段に、予測誤差が所定値以下になったときにおける補正データを出力させ、予測誤差が所定値以下でないと判定した場合、補正手段に、補正値と異なる補正値に基づき、圧縮データをさらに補正させ、画像復号化装置は、補正データを含む符号化データを受信する受信手段と、符号化データを復号化する復号化手段とを備え、復号化手段は、補正データを、その性質に応じて所定のクラスに分類する分類手段と、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求める予測値演算手段とを有することを特徴とする。
【０００９】
請求項１０に記載の画像符号化および復号化方法は、画像符号化装置が、原画像を、その画素数を少なくすることにより圧縮し、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力し、画像復号化装置が、補正データを含む符号化データを受信し、受信した補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより、符号化データを復号化することを特徴とする。
【００１１】
請求項１１に記載の記録媒体は、原画像を、その画素数を少なくすることにより圧縮し、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力するステップを含むプログラムが記録されていることを特徴とする。
【００１２】
請求項１に記載の画像符号化装置においては、補正手段は、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、予測手段は、補正データに基づいて、原画像を予測して、その予測値を出力するようになされている。算出手段は、原画像に対する、予測値の予測誤差を算出し、判定手段は、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定するようになされている。出力手段は、判定手段による判定結果に対応して、補正データを、原画像の符号化結果として出力するようになされている。また、補正手段は、圧縮データを補正するための補正値を記憶している記憶手段を有し、圧縮データに対して、補正値を用いた演算を施すことで圧縮データを補正し、予測手段は、補正データを、その性質に応じて所定のクラスに分類する分類手段と、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求める予測値演算手段とを有するようになされている。また、判定手段は、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下であると判定した場合、出力手段に、予測誤差が所定値以下になったときにおける補正データを出力させ、予測誤差が所定値以下でないと判定した場合、補正手段に、補正値と異なる補正値に基づき、圧縮データをさらに補正させるようになされている。
【００１３】
請求項６に記載の画像符号化方法においては、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力するようになされている。
【００１４】
請求項７に記載の画像符号化および復号化システムにおいては、画像符号化装置において、補正手段は、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、予測手段は、補正データに基づいて、原画像を予測して、その予測値を出力するようになされている。算出手段は、原画像に対する、予測値の予測誤差を算出し、判定手段は、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定するようになされている。出力手段は、判定手段による判定結果に対応して、補正データを、原画像の符号化結果として出力するようになされている。また、補正手段は、圧縮データを補正するための補正値を記憶している記憶手段を有し、圧縮データに対して、補正値を用いた演算を施すことで圧縮データを補正し、予測手段は、補正データを、その性質に応じて所定のクラスに分類する分類手段と、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求める予測値演算手段とを有するようになされている。また、判定手段は、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下であると判定した場合、出力手段に、予測誤差が所定値以下になったときにおける補正データを出力させ、予測誤差が所定値以下でないと判定した場合、補正手段に、補正値と異なる補正値に基づき、圧縮データをさらに補正させるようになされている。一方、画像復号化装置において、受信手段は、補正データを含む符号化データを受信し、復号化手段は、符号化データを復号化するようになされており、復号化手段は、分類手段と予測値演算手段とを有し、分類手段は、補正データを、その性質に応じて所定のクラスに分類し、予測値演算手段は、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めるようになされている。
【００１５】
請求項１０に記載の画像符号化および復号化方法においては、画像符号化装置において、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力するようになされている。一方、画像復号化装置において、補正データを含む符号化データを受信し、受信した補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより、符号化データを復号化するようになされている。
【００１７】
請求項１１に記載の記録媒体には、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力するステップを含むプログラムが記録されている。
【００３１】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示している。
【００３２】
送信装置１には、ディジタル化された画像データが供給されるようになされている。送信装置１は、入力された画像データを間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他でなる記録媒体２に記録されし、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。
【００３３】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが伸張、復号化される。そして、その結果得られる復号画像が、図示せぬディスプレイに供給されて表示される。
【００３４】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、後述するように、送信装置１が出力する符号化データのデータ量が少ないため、図１の画像処理装置は、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００３５】
図２は、図１の送信装置１の構成例を示している。
【００３６】
Ｉ／Ｆ（InterFace）１１は、外部から供給される画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行うようになされている。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムにしたがい、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置１５は、例えば、磁気ディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
【００３７】
なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。
【００３８】
以上のように構成される送信装置１においては、Ｉ／Ｆ１１に画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データを、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００３９】
図３は、図２の送信装置１の、送信機／記録装置１６を除く部分の機能的な構成例を示している。
【００４０】
符号化すべき画像データは、圧縮部２１、ローカルデコード部２２、および誤差算出部２３に供給されるようになされている。圧縮部２１は、画像データを、その画素を、例えば、単純に間引くことにより圧縮し、その結果得られる圧縮データ（間引きが行われた後の画像データ）を、判定部２４からの制御にしたがって補正するようになされている。圧縮部２１における補正の結果得られる補正データは、ローカルデコード部２２および判定部２４に供給するようになされている。
【００４１】
ローカルデコード部２２は、圧縮部２１からの補正データに基づいて、元の画像を予測し、その予測値を、誤差算出部２３に供給するようになされている。なお、ローカルデコード部２２は、後述するように、補正データと元の画像データとを用いて、その補正データとの線形結合により、予測値を算出するための、所定のクラスごとの予測係数を求める処理を行い、その予測係数に基づいて、予測値を求める適応処理を行うようになされている。そして、ローカルデコード部２２は、上述したように、予測値を、誤差算出部２３に供給する他、そのとき求めたクラスごとの予測係数を、判定部２４に供給するようにもなされている。
【００４２】
誤差算出部２３は、そこに入力される、元の画像データ（原画像）に対する、ローカルデコード部２２からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部２４に供給されるようになされている。
【００４３】
判定部２４は、誤差算出部２３からの誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定するようになされている。そして、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、圧縮部２１を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、圧縮部２１から供給された補正データを、最適な圧縮データ（以下、適宜、最適圧縮データという）として多重化部２５に供給するとともに、ローカルデコード部２２から供給されたクラスごとの予測係数を多重化部２５に供給するようになされている。
【００４４】
多重化部２５は、判定部２４からの最適圧縮データ（補正データ）と、クラスごとの予測係数とを多重化し、その多重化結果を、符号化データとして、送信機／記録装置１６（図２）に供給するようになされている。
【００４５】
次に、図４のフローチャートを参照して、その動作について説明する。圧縮部２１に対して、画像データが供給されると、圧縮部２１は、ステップＳ１において、その画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２では、ステップＳ２において、圧縮部２１からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）がローカルデコードされる。
【００４６】
即ち、ステップＳ２では、圧縮部２１からの補正データと元の画像データとを用いて、その補正データとの線形結合により、元の画像の予測値を算出するための、クラスごとの予測係数を求める処理が行われ、その予測係数に基づいて、予測値が求められる。ローカルデコード部２２において求められた予測値は誤差算出部２３に、また、クラスごとの予測係数は判定部２４に供給される。
【００４７】
ここで、ローカルデコード部２２が出力する予測値で構成される画像は、受信装置４（図１）側において得られる復号画像と同一のものである。
【００４８】
誤差算出部２３は、ローカルデコード部２２から、元の画像の予測値を受信すると、ステップＳ３において、元の画像データに対する、ローカルデコード部２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定する。
【００４９】
即ち、ステップＳ４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化データとするのは適正でないと認識され、ステップＳ５に進み、判定部２４は、圧縮部２１を制御し、これにより、圧縮データを補正させる。圧縮部２１は、判定部２４の制御にしたがって、補正量（後述する補正値△）を変えて、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部２２および判定部２４に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００５０】
一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化結果とするのは適正であると認識され、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適圧縮データとして、クラスごとの予測係数とともに、多重化部２５に出力する。多重化部２５では、ステップＳ６において、判定部２４からの最適圧縮データとクラスごとの予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
【００５１】
以上のように、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データを、元の画像の符号化結果とするようにしたので、受信装置４側においては、その補正データに基づいて、元の画像（原画像）とほぼ同一の画像を得ることが可能となる。
【００５２】
次に、図５は、図３の圧縮部２１の構成例を示している。
【００５３】
符号化すべき画像データは、間引き回路３１に入力されるようになされており、間引き回路３１は、入力された画像データを１／Ｎに間引くようになされている。従って、間引き回路３１からは、画像データを、１／Ｎに圧縮した圧縮データが出力されるようになされている。この圧縮データは、間引き回路３１から補正回路３２に供給されるようになされている。
【００５４】
補正回路３２は、判定部２４（図３）からの制御信号にしたがって、補正値ＲＯＭ３３にアドレスを与え、これにより、補正値△を読み出すようになされている。そして、補正回路３２は、間引き回路３１からの圧縮データに対して、補正値ＲＯＭ３３からの補正値△を、例えば加算することで、補正データを生成し、ローカルデコード部２２および判定部２４に供給するようになされている。補正値ＲＯＭ３３は、間引き回路３１が出力する圧縮データを補正するための、各種の補正値△の組合せ（例えば、１フレーム分の圧縮データを補正するための補正値の組合せなど）を記憶しており、補正回路３２から供給されるアドレスに対応する補正値△の組合せを読み出して、補正回路３２に供給するようになされている。
【００５５】
次に、図６を参照して、図５の圧縮部２１の処理について説明する。
【００５６】
例えば、１フレーム分などの画像データが、間引き回路３１に供給されると、間引き回路３１は、ステップＳ１１において、その画像データを１／Ｎに間引き、その結果得られる圧縮データを、補正回路３２に出力する。
【００５７】
ここで、間引き回路３１は、図７に示すように、画像データを、例えば、１／９に間引くようになされている。即ち、間引き回路３１は、３×３（横×縦）の９画素を１単位とし、各単位の中心の画素（同図において、●印で示す部分）についての画素値のみを抽出し、他の部分（同図において、○印で示す部分）を削除する。なお、間引き回路３１は、以上のような処理を、例えば、１フレーム（フィールド）単位で行うようになされている。従って、間引き回路３１から補正回路３２に対しては、１フレームの画像データが１／９に間引きされた圧縮データが供給される。但し、間引き回路３１における間引き処理は、その他、１フレームの画像を幾つかのブロックに分割し、そのブロック単位で行うようにすることも可能である。
【００５８】
補正回路３２は、間引き回路３１から圧縮データを受信すると、ステップＳ１２において、判定部２４（図３）から制御信号を受信したかどうかを判定する。ステップＳ１２において、制御信号を受信していないと判定された場合、ステップＳ１３およびＳ１４をスキップしてステップＳ１５に進み、補正回路３２は、間引き回路３１からの圧縮データを、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力し、ステップＳ１２に戻る。
【００５９】
即ち、判定部２４は、上述したように、誤差情報に基づいて、圧縮部２１（補正回路３２）を制御するようになされており、間引き回路３１から圧縮データが出力された直後は、まだ、誤差情報が得られないため（誤差情報が、誤差算出部２３から出力されないため）、判定部２４からは制御信号は出力されない。このため、間引き回路３１から圧縮データが出力された直後は、補正回路３２は、その圧縮データを補正せず（０を加算する補正をして）、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力する。
【００６０】
一方、ステップＳ１２において、判定部２４からの制御信号を受信したと判定された場合、ステップＳ１３に進み、補正回路３２は、その制御信号にしたがったアドレスを、補正値ＲＯＭ３３に出力する。これにより、ステップＳ１３では、補正値ＲＯＭ３３から、そのアドレスに記憶されている、１フレーム分の圧縮データを補正するための補正値△の組合せ（集合）が読み出され、補正回路３２に供給される。補正回路３２は、補正値ＲＯＭ３３から補正値△の組合せを受信すると、ステップＳ１４において、１フレームの圧縮データそれぞれに、対応する補正値△を加算し、これにより、圧縮データを補正した補正データを算出する。その後は、ステップＳ１５に進み、補正データが、補正回路３２からローカルデコード部２２および判定部２４に出力され、ステップＳ１２に戻る。
【００６１】
以上のようにして、圧縮部２１は、判定部２４の制御にしたがって、圧縮データを、種々の値に補正した補正データを出力することを繰り返す。
【００６２】
なお、判定部２４は、例えば、１フレームの画像についての符号化を終了すると、その旨を表す制御信号を、圧縮部２１に供給するようになされており、圧縮部２１は、ステップＳ１２において、そのような制御信号を受信したかどうかも判定するようになされている。ステップＳ１２において、１フレームの画像についての符号化を終了した旨の制御信号を受信したと判定された場合、圧縮部２１は、そのフレーム（フィールド）に対する処理を終了し、次のフレームが供給されるのを待って、ステップＳ１１に戻り、ステップＳ１１乃至Ｓ１５の処理を繰り返す。
【００６３】
また、上述の場合においては、間引き回路３１に、３×３画素の中心の画素についての画素データ（画素値）のみを抽出させることにより、圧縮データを生成させるようにしたが、その他、例えば、３×３画素の平均値を算出し、その平均値を、３×３画素の中心の画素の画素値として、圧縮データを生成させるようにすることなども可能である。
【００６４】
次に、図８は、図３のローカルデコード部２２の構成例を示している。
【００６５】
圧縮部２１からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、注目補正データを中心としたクラス分類用ブロックにブロック化するようになされている。
【００６６】
即ち、いま、図７において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（または画素）（図中、●印で示す部分）をＸijと表すとすると、クラス分類用ブロック化回路４１は、注目補正データＸijの左上、上、右上、左、右、左下、下、右下に隣接する８つの画素Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラス分類用ブロックを構成するようになされている。このクラス分類用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００６７】
なお、この場合、クラス分類用ブロックは、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。
【００６８】
予測値計算用ブロック化回路４２は、補正データを、元の画像の予測値を計算するための単位である、注目補正データを中心とした予測値計算用ブロックにブロック化するようになされている。即ち、いま、図７において、補正データＸij（図中、●印で示す部分）を中心とする、元の画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すとすると、画素Ｙij（１）乃至Ｙij（９）の予測値の計算のために、予測値計算用ブロック化回路４２は、例えば、注目補正データＸijを中心とする５×５の２５画素Ｘ(i-2)(j-2)，Ｘ(i-2)(j-1)，Ｘ(i-2)j，Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，Ｘ(i-1)(j-2)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi(j-2)，Ｘi(j-1)，Ｘij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j-2)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)，Ｘ(i+1)(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，Ｘ(i+2)j，Ｘ(i+2)(j+1)，Ｘ(i+2)(j+2)で構成される正方形状の予測値計算用ブロックを構成するようになされている。
【００６９】
具体的には、例えば、図７において四角形で囲む、元の画像における画素Ｙ33（１）乃至Ｙ33（９）の９画素の予測値の計算のためには、画素Ｘ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55により、予測値計算用ブロックが構成される（この場合の注目補正データは、Ｘ33となる）。
【００７０】
予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００７１】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【００７２】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【００７３】
クラス分類適応処理回路４３は、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路、クラス分類回路４５、および適応処理回路４６で構成され、クラス分類適応処理を行うようになされている。
【００７４】
クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【００７５】
ここで、クラス分類処理および適応処理について簡単に説明する。
【００７６】
まず、クラス分類処理について説明する。
【００７７】
いま、例えば、図９（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、注目画素を含む２×２の４画素のブロックは、各画素のレベル分布により、図９（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。従って、いまの場合、注目画素は、１６のパターンに分類することができ、このようなパターン分けが、クラス分類処理であり、クラス分類回路４５において行われる。
【００７８】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【００７９】
ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、３×３の９画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【００８０】
そこで、本実施の形態においては、ＡＤＲＣ処理回路４４において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を小さくすることで、クラス数を削減するようになされている。
【００８１】
即ち、例えば、いま、説明を簡単にするため、図１０（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００８２】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図１０（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【００８３】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【００８４】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００８５】
ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理回路４４において行われるようになされている。
【００８６】
なお、本実施の形態では、クラス分類回路４５において、ＡＤＲＣ処理回路４４から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【００８７】
次に、適応処理について説明する。
【００８８】
例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００８９】
【００９０】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【００９１】
【００９２】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００９３】
【００９４】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００９５】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００９６】
【数４】
【００９７】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００９８】
【数５】
【００９９】
式（４）および（５）より、式（６）が得られる。
【０１００】
【数６】
【０１０１】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１０２】
【数７】
【０１０３】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１０４】
以上のようにして、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、適応処理回路４６において行われるようになされている。
【０１０５】
なお、適応処理は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理は、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１０６】
次に、図１１のフローチャートを参照して、図８のローカルデコード部２２の処理について説明する。
【０１０７】
ローカルデコード部２２においては、まず最初に、ステップＳ２１において、圧縮部２１からの補正データがブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、注目補正データを中心とする３×３画素のクラス分類用ブロックにブロック化され、クラス分類適応処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが、注目補正データを中心とする５×５画素の予測値計算用ブロックにブロック化され、クラス分類適応処理回路４３に供給される。
【０１０８】
クラス分類適応処理回路４３には、上述したように、クラス分類用ブロックおよび予測値計算用ブロックの他、元の画像データが供給されるようになされており、クラス分類用ブロックはＡＤＲＣ処理部４４に、予測値計算用ブロックおよび元の画像データは適応処理回路４６に供給される。
【０１０９】
ＡＤＲＣ処理回路４４は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路４５に出力する。クラス分類回路４５は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックから、クラス分類処理を施す。即ち、ＡＤＲＣ処理が施されたクラス分類用ブロックを構成する各画素のレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロックを構成する注目補正データ（中心に配置された補正データ）のクラス）を判定する。このクラスの判定結果は、クラス情報として、適応処理回路４６に供給される。
【０１１０】
なお、本実施の形態においては、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【０１１１】
そして、ステップＳ２４に進み、適応処理回路４６において、クラス分類回路４５からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、クラスごとの予測係数および１フレームの元の画像データ（原画像データ）の予測値が算出される。
【０１１２】
即ち、本実施の形態においては、例えば、クラスごとに２５×９個の予測係数が、１フレーム分の原画像データおよびと補正データから算出される。さらに、ある１つの補正データに注目した場合に、その注目補正データに対応する元画像の画素と、その画素の周りに隣接する８個の元画像の画素の、合計９個の画素についての予測値が、注目補正データのクラス情報に対応する２５×９個の予測係数と、その注目補正データを中心とする５×５画素でなる予測値計算用ブロックとを用いて、適応処理が行われることにより算出される。
【０１１３】
具体的には、例えば、いま、図７に示した補正データ（注目補正データ）Ｘ33を中心とする３×３の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４５から出力され、また、そのクラス分類用ブロックに対応する予測値計算用ブロックとして、補正データＸ33を中心とする５×５画素の補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、元の画像における、補正データＸ33を中心とする３×３画素（図７において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）を、教師データとして、式（７）に示した正規方程式がたてられる。
【０１１４】
さらに、所定期間としての、例えば、１フレームの中で、同一のクラス情報Ｃにクラス分類されるクラス分類用ブロックに対応する、他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ33（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ33（ｋ）］を求めるための予測係数ｗ1（ｋ）乃至ｗ25（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データが２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ33（ｋ）の予測値Ｅ［Ｙ33（ｋ）］を求めるのに最適な予測係数ｗ1（ｋ）乃至ｗ25（ｋ）が算出される。この処理は、各クラスごとに行われ、これにより、各クラスごとに、２５×９の予測係数が算出される（２５個の補正データを用いて、９個の予測値を求めるため、１クラスについての予測係数の数は、２５×９個となる）。
【０１１５】
そして、クラス情報Ｃについての予測係数と予測値計算用ブロックとを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ33（ｋ）］が求められる。
【０１１６】
【０１１７】
ステップＳ２４では、以上のようにして、２５×９の予測係数が、クラスごとに求められ、そのクラスごとの予測係数を用いて、注目補正データを中心とする３×３の原画像の画素の予測値が求められる。
【０１１８】
その後、ステップＳ２５に進み、クラスごとの２５×９の予測係数は判定部２４に供給され、３×３の予測値は誤差算出部２３に供給される。そして、ステップＳ２１に戻り、以下同様の処理が、例えば、上述したように１フレーム単位で繰り返される。
【０１１９】
次に、図１２は、図３の誤差算出部２３の構成例を示している。
【０１２０】
ブロック化回路５１には、元の画像データが供給されるようになされており、そこでは、ブロック化回路５１は、その画像データを、ローカルデコード部２２から出力される予測値に対応する９個単位でブロック化し、その結果得られる３×３画素のブロック（例えば、図７に四角形で囲んで示すような３×３画素のブロック）を、自乗誤差算出回路５２に出力するようになされている。自乗誤差算出部５２には、上述したように、ブロック化回路５１からブロックが供給される他、ローカルデコード部２２から予測値が、９個単位（３×３画素のブロック単位）で供給されるようになされており、自乗誤差算出回路５２は、原画像に対する、予測値の予測誤差としての自乗誤差を算出し、積算部５５に供給するようになされている。
【０１２１】
即ち、自乗誤差算出回路は５２は、演算器５３および５４で構成されている。演算器５３は、ブロック化回路５１からのブロック化された画像データそれぞれから、対応する予測値を減算し、その減算値を、演算器５４に供給するようになされている。演算器５４は、演算器５３の出力（元の画像データと予測値との差分）を自乗し、積算部５５に供給するようになされている。
【０１２２】
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算して、再び、メモリ５６に供給して記憶させることを繰り返すことで、自乗誤差の積算値（誤差分散）を求めるようになされている。さらに、積算部５５は、所定量（例えば、１フレーム分など）についての自乗誤差の積算が終了すると、その積算値を、メモリ５６から読み出し、誤差情報として、判定部２４に供給するようになされている。メモリ５６は、１フレームについての処理が終了するごとに、その記憶値をクリアしながら、積算部５５の出力値を記憶するようになされている。
【０１２３】
次に、その動作について、図１３のフローチャートを参照して説明する。誤差算出部２３では、まず最初に、ステップＳ３１において、メモリ５６の記憶値が、例えば０にクリアされ、ステップＳ３２に進み、ブロック化回路５１において、画像データが、上述したようにブロック化され、その結果得られるブロックが、自乗誤差算出回路５２に供給される。自乗誤差算出回路５２では、ステップＳ３３において、ブロック化回路５１から供給されるブロックを構成する、元の画像（原画像）の画像データと、ローカルデコード部２２から供給される予測値との自乗誤差が算出される。
【０１２４】
即ち、ステップＳ３３では、演算器５３において、ブロック化回路５１より供給されたブロック化された画像データそれぞれから、対応する予測値が減算され、演算器５４に供給される。さらに、ステップＳ３３では、演算器５４において、演算器５３の出力が自乗され、積算部５５に供給される。
【０１２５】
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、ステップＳ３４において、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算することで、自乗誤差の積算値を求める。積算部５５において算出された自乗誤差の積算値は、メモリ５６に供給され、前回の記憶値に上書きされることで記憶される。
【０１２６】
そして、積算部５５では、ステップＳ３５において、所定量としての、例えば、１フレーム分についての自乗誤差の積算が終了したかどうかが判定される。ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了していないと判定された場合、ステップＳ３２に戻り、再び、ステップＳ３２からの処理を繰り返す。また、ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了したと判定された場合、ステップＳ３６に進み、積算部５５は、メモリ５６に記憶された１フレーム分についての自乗誤差の積算値を読み出し、誤差情報として、判定部２４に出力する。そして、ステップＳ３１に戻り、次のフレームについての原画像および予測値が供給されるのを待って、再び、ステップＳ３１からの処理を繰り返す。
【０１２７】
従って、誤差算出部２３では、元の画像データをＹij（ｋ）とするとともに、その予測値をＥ［Ｙij（ｋ）］とするとき、次式にしたがった演算が行われることで、誤差情報Ｑが算出される。
【０１２８】
Ｑ＝Σ（Ｙij（ｋ）−Ｅ［Ｙij（ｋ）］）2
但し、Σは、１フレーム分についてのサメーションを意味する。
【０１２９】
次に、図１４は、図３の判定部２４の構成例を示している。
【０１３０】
予測係数メモリ６１は、ローカルデコード部２２から供給される予測係数を記憶するようになされている。補正データメモリ６２は、圧縮部２１から供給される補正データを記憶するようになされている。
【０１３１】
なお、補正データメモリ６２は、圧縮部２１において、圧縮データが新たに補正され、これにより、新たな補正データが供給された場合には、既に記憶している補正データ（前回の補正データ）に代えて、新たな補正データを記憶するようになされている。また、このように補正データが、新たなものに更新されるタイミングで、ローカルデコード部２２からは、その新たな補正データに対応する、新たなクラスごとの予測係数のセットが出力されるが、予測係数メモリ６１においても、このように新たなクラスごとの予測係数が供給された場合には、既に記憶しているクラスごとの予測係数（前回のクラスごとの予測係数）に代えて、その新たなクラスごとの予測係数を記憶するようになされている。
【０１３２】
誤差情報メモリ６３は、誤差算出部２３から供給される誤差情報を記憶するようになされている。なお、誤差情報メモリ６３は、誤差算出部２３から、今回供給された誤差情報の他に、前回供給された誤差情報も記憶するようになされている（新たな誤差情報が供給されても、さらに新たな誤差情報が供給されるまでは、既に記憶している誤差情報を保持するようになされている）。なお、誤差情報メモリ６３は、新たなフレームについての処理が開始されるごとにクリアされるようになされている。
【０１３３】
比較回路６４は、誤差情報メモリ６３に記憶された今回の誤差情報と、所定の閾値εとを比較し、さらに、必要に応じて、今回の誤差情報と前回の誤差情報との比較も行うようになされている。比較回路６４における比較結果は、制御回路６５に供給されるようになされている。
【０１３４】
制御回路６５は、比較回路６４における比較結果に基づいて、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることの適正（最適）さを判定し、最適でないと認識（判定）した場合には、新たな補正データの出力を要求する制御信号を、圧縮部２１（補正回路３２）（図５）に供給するようになされている。また、制御回路６５は、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることが最適であると認識した場合には、予測係数メモリ６１に記憶されているクラスごとの予測係数を読み出し、多重化部２５に出力するとともに、補正データメモリ６２に記憶されている補正データを読み出し、最適圧縮データとして、やはり多重化部２５に供給するようになされている。さらに、この場合、制御回路６５は、１フレームの画像についての符号化を終了した旨を表す制御信号を、圧縮部２１に出力し、これにより、上述したように、圧縮部２１に、次のフレームについての処理を開始させるようになされている。
【０１３５】
次に、図１５を参照して、判定部２４の動作について説明する。
【０１３６】
判定部２４では、まず最初に、ステップＳ４１において、誤差算出部２３から誤差情報を受信したかどうかが、比較回路６４によって判定され、誤差情報を受信していないと判定された場合、ステップＳ４１に戻る。また、ステップＳ４１において、誤差情報を受信したと判定された場合、即ち、誤差情報メモリ６３に誤差情報が記憶された場合、ステップＳ４２に進み、比較回路６４において、誤差情報メモリ６３に、いま記憶された誤差情報（今回の誤差情報）と、所定の閾値εとが比較され、いずれが大きいかが判定される。
【０１３７】
ステップＳ４２において、今回の誤差情報が、所定の閾値ε以上であると判定された場合、比較回路６４において、誤差情報メモリ６３に記憶されている前回の誤差情報が読み出される。そして、比較回路６４は、ステップＳ４３において、前回の誤差情報と、今回の誤差情報とを比較し、いずれが大きいかを判定する。
【０１３８】
ここで、１フレームについての処理が開始され、最初に誤差情報が供給されたときには、誤差情報メモリ６３には、前回の誤差情報は記憶されていないので、この場合には、判定部２４においては、ステップＳ４３以降の処理は行われず、制御回路６５において、所定の初期アドレスを補正値ＲＯＭ３３に出力するように、補正回路３２（図５）を制御する制御信号が出力されるようになされている。
【０１３９】
ステップＳ４３において、今回の誤差情報が、前回の誤差情報以下であると判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が減少した場合、ステップＳ４４に進み、制御回路６５は、補正値△を、前回と同様に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。また、ステップＳ４３において、今回の誤差情報が、前回の誤差情報より大きいと判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が増加した場合、ステップＳ４５に進み、制御回路６５は、補正値△を、前回と逆に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。
【０１４０】
なお、減少し続けていた誤差情報が、あるタイミングで上昇するようになったときは、制御回路６５は、補正値△を、いままでの場合の、例えば１／２の大きさで、前回と逆に変化させるように指示する制御信号を出力するようになされている。
【０１４１】
そして、ステップＳ４１乃至Ｓ４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ４２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ４６に進み、制御回路６５は、予測係数メモリ６１に記憶されているクラスごとの予測係数を読み出すとともに、補正データメモリ６２に記憶されている１フレームの補正データを、最適圧縮データとして読み出し、多重化部２５に供給して、処理を終了する。
【０１４２】
その後は、次のフレームについての誤差情報が供給されるのを待って、再び、図１５に示すフローチャートにしたがった処理を繰り返す。
【０１４３】
なお、補正回路３２には、圧縮データの補正は、１フレームすべての圧縮データについて行わせるようにすることもできるし、その一部の圧縮データについてだけ行わせるようにすることもできる。一部の圧縮データについてだけ補正を行う場合においては、制御回路６５に、例えば、誤差情報に対する影響の強い画素を検出させ、そのような画素についての圧縮データだけを補正するようにすることができる。誤差情報に対する影響の強い画素は、例えば、次のようにして検出することができる。即ち、まず最初に、間引き後に残った画素についての圧縮データをそのまま用いて処理を行うことにより、その誤差情報を得る。そして、間引き後に残った画素についての圧縮データを、１つずつ、同一の補正値△だけ補正するような処理を行わせる制御信号を、制御回路６５から補正回路３２に出力し、その結果得られる誤差情報を、圧縮データをそのまま用いた場合に得られた誤差情報と比較し、その差が、所定値以上となる画素を、誤差情報に対する影響の強い画素として検出すれば良い。
【０１４４】
以上のように、誤差情報を所定の閾値εより小さくする（以下にする）まで、圧縮データの補正が繰り返され、誤差情報が所定の閾値εより小さくなったときにおける補正データが、画像の符号化結果として出力されるので、受信装置４（図１）においては、間引き後の画像を構成する画素の画素値を、元の画像を復元するのに最も適当な値にした補正データから、原画像と同一（ほぼ同一）の復号画像を得ることが可能となる。
【０１４５】
また、画像は、間引き処理により圧縮される他、ＡＤＲＣ処理およびクラス分類適応処理などによっても圧縮されるため、非常に高圧縮率の符号化データを得ることができる。なお、送信装置１における、以上のような符号化処理は、間引きによる圧縮処理と、クラス分類適応処理とを、いわば有機的に統合して用いることにより、高能率圧縮を実現するものであり、このことから統合符号化処理ということができる。
【０１４６】
次に、図１６は、図１の受信装置４の構成例を示している。
【０１４７】
受信機／再生装置７１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、分離部７２に供給される。分離部７２では、符号化データから、補正データ（最適圧縮データ）とクラスごとの予測係数とが抽出される。補正データは、クラス分類用ブロック化回路７３および予測値計算用ブロック化回路７７に供給され、クラスごとの予測係数は、予測回路７６に供給されて、その内蔵するメモリ７６Ａに記憶される。
【０１４８】
クラス分類用ブロック化回路７３、ＡＤＲＣ処理回路７４、クラス分類回路７５、または予測値計算用ブロック化回路７７は、図８におけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、クラス分類回路４５、または予測値計算用ブロック化回路４２それぞれと同様に構成されており、従って、これらのブロックにおいては、図８における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路７６に供給される。
【０１４９】
予測回路７６は、クラス分類回路７５から供給されるクラス情報に対応した２５×９の予測係数を、メモリ７６Ａから読み出し、その２５×９の予測係数と、予測値計算用ブロック化回路７７から供給される５×５画素の予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって、原画像の３×３画素の予測値が算出され、そのような予測値で構成される画像が、復号画像として、例えば、１フレーム単位で出力される。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。
【０１５０】
なお、受信側においては、図１６に示すような受信装置４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。
【０１５１】
ところで、上述の場合おいては、図３のローカルデコード部２２において予測係数を求め、これを用いて、予測値を算出するようにしたが、ローカルデコード部２２では、予測係数を求めずに（あらかじめ学習により求めておいた予測係数を用いて）、予測値を算出するようにすることが可能である。
【０１５２】
即ち、図１７は、図１の送信装置１の第２の機能的構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してある。即ち、この送信装置１は、ローカルデコード部２２に代えて、ローカルデコード部１０２２が設けられている他は、図３における場合と同様に構成されている。
【０１５３】
但し、図３においては、ローカルデコード部２２に原画像データが供給されるようになされていたが、図１７においては、ローカルデコード部１０２２には、原画像データが供給されないようになっている。
【０１５４】
図１８は、図１７のローカルデコード部１０２２の構成例を示している。なお、図中、図８における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部１０２２は、適応処理回路４６に代えて、予測係数ＲＯＭ８１および予測回路８２が設けられている他は、図８におけるローカルデコード部２２と同様に構成されている。
【０１５５】
予測係数ＲＯＭ８１は、あらかじめ学習（後述する）を行うことにより求められたクラスごとの予測係数を記憶しており、クラス分類回路４４が出力するクラス情報を受信し、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して、予測回路８２に供給する。
【０１５６】
予測回路８２では、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックと、予測係数ＲＯＭ８１からの２５×９の予測係数とを用いて、式（１）（具体的には、例えば、式（８））に示した線形１次式が計算され、これにより、元の画像の３×３画素の予測値が算出される。
【０１５７】
従って、図１８のクラス分類適応処理回路４３によれば、元の画像（原画像）を用いずに、その予測値が算出される。このため、上述したように、ローカルデコード部１０２２には、原画像が供給されないようになっている。
【０１５８】
次に、図１９のフローチャートを参照して、図１８のローカルデコード部１０２２の処理についてさらに説明する。
【０１５９】
ローカルデコード部１０２２においては、まず最初に、ステップＳ５１乃至Ｓ５３において、図１１のステップＳ２１乃至Ｓ２３における場合とそれぞれ同様の処理が行われ、これにより、クラス分類回路４５からは、クラス情報が出力される。このクラス情報は、予測係数ＲＯＭ８１に供給される。
【０１６０】
予測係数ＲＯＭ８１は、クラス情報を受信すると、ステップＳ５４において、そのクラス情報に対応する２５×９の予測係数を、記憶しているクラスごとの予測係数の中から読み出し、予測回路８２に供給する。
【０１６１】
予測回路８２には、予測係数ＲＯＭ８１から２５×９の予測係数が供給される他、予測値計算用ブロック化回路４２から５×５画素の予測値計算用ブロックも供給されるようになされている。そして、予測回路８２では、ステップＳ５５において、予測係数ＲＯＭ８１からの２５×９の予測係数と、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックとを用いて適応処理が行われることにより、即ち、具体的には、式（１）（または式（８））にしたがった演算が行われることにより、注目補正データ（ここでは、予測値計算用ブロックの中心にある画素）を中心とする３×３の原画像の画素の予測値が求められる。
【０１６２】
その後、例えば、１フレーム分の予測値が求められると、ステップＳ５６に進み、予測係数ＲＯＭ８１に記憶されたクラスごとの２５×９の予測係数が読み出され、判定部２４に供給されるとともに、ステップＳ５５で求められた予測値が誤差算出部２３に供給される。そして、ステップＳ５１に戻り、以下同様の処理が、例えば、１フレーム単位で繰り返される。
【０１６３】
なお、この実施の形態では、クラスごとの予測係数は、予測係数ＲＯＭ８１に記憶されたものが使用され、従って、その値は変化しないから、ステップＳ２５において、クラスごとの予測係数を、判定部２４に一度供給した後は、基本的に、再度供給する必要はない。
【０１６４】
また、送信装置１が、図１７に示したように構成される場合においても、受信装置４は、図１６に示したように構成することで、原画像とほぼ同一の復号画像を得ることができる。
【０１６５】
次に、図２０は、図１８の予測係数ＲＯＭ８１に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。
【０１６６】
学習用ブロック化回路９１および教師用ブロック化回路９２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。
【０１６７】
学習用ブロック化回路９１は、入力される画像データから、例えば、図７に●印で示した位置関係の２５画素（５×５画素）を抽出し、この２５画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理９３および学習データメモリ９６に供給する。
【０１６８】
また、教師用ブロック化回路９２では、入力される画像データから、例えば、３×３の９画素で構成されるブロックが生成され、この９画素で構成されるブロックが、教師用ブロックとして、教師データメモリ９８に供給される。
【０１６９】
なお、学習用ブロック化回路９１において、例えば、図７に●印で示した位置関係の２５画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路９２では、同図に四角形で囲んで示す３×３画素の教師用ブロックが生成されるようになされている。
【０１７０】
ＡＤＲＣ処理回路９３は、学習用ブロックを構成する２５画素から、例えば、その中心の９画素（３×３画素）を抽出し、この９画素でなるブロックに対して、図１８のＡＤＲＣ処理回路４４における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された３×３画素のブロックは、クラス分類回路９４に供給される。クラス分類回路９４では、図１８のクラス分類回路４５における場合と同様に、ＡＤＲＣ処理回路９３からのブロックがクラス分類処理され、それにより得られるクラス情報が、スイッチ９５の端子ａを介して、学習データメモリ９６および教師データメモリ９８に供給される。
【０１７１】
学習データメモリ９６または教師データメモリ９８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路９１からの学習用ブロックまたは教師用ブロック化回路９２からの教師用ブロックが、それぞれ記憶される。
【０１７２】
従って、学習データメモリ９６において、例えば、図７に●印で示した５×５画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ９８においては、そのアドレスと同一のアドレスに、同図において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。
【０１７３】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図１８のローカルデコード部１０２２において、その学習用ブロックを構成する２５画素と同一の位置関係を有する２５の補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ９６と、教師用データメモリ９８とにおいて、同一のアドレスに記憶される。
【０１７４】
なお、学習用データメモリ９６と教師用データメモリ９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。
【０１７５】
学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ９６と教師データメモリ９８に記憶されると、端子ａを選択していたスイッチ９５が、端子ｂに切り替わり、これにより、カウンタ９７の出力が、アドレスとして、学習データメモリ９６および教師データメモリ９８に供給される。カウンタ９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ９６または教師データメモリ９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路９９に供給される。
【０１７６】
従って、演算回路９９には、カウンタ９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０１７７】
演算回路９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０１７８】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０１７９】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０１８０】
そこで、演算回路９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。従って、この処理をクラスごとに行うことにより、各クラスごとに、２５×９個の予測係数が生成される。
【０１８１】
演算回路９９において求められた、クラスごとの予測係数は、メモリ１００に供給される。メモリ１００には、演算回路９９からの予測係数の他、カウンタ９７からカウント値が供給されており、これにより、メモリ１００においては、演算回路９９からの予測係数が、カウンタ９７からのカウント値に対応するアドレスに記憶される。
【０１８２】
以上のようにして、メモリ１００には、各クラスに対応するアドレスに、そのクラスのブロックの３×３画素を予測するのに最適な２５×９個の予測係数が記憶される。
【０１８３】
図１８の予測係数ＲＯＭ８１には、以上のようにしてメモリ１００に記憶されたクラスごとの予測係数が記憶されている。
【０１８４】
次に、図２１は、図１の送信装置１の第３の機能的構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してある。即ち、この送信装置１は、ローカルデコード部２２または判定部２４に代えて、ローカルデコード部２０２２または判定部２０２４がそれぞれ設けられているとともに、多重化部２５が設けられていない他は、図３における場合と同様に構成されている。
【０１８５】
但し、この場合も、図１７における場合と同様に、ローカルデコード部２０２２には、原画像データが供給されないようになっている。さらに、図２１の実施の形態では、ローカルデコード部２０２２は、予測係数を判定部２０２４に出力しないようになっている。
【０１８６】
次に、図２２のフローチャートを参照して、その動作について説明する。
【０１８７】
圧縮部２１に対して、画像データが供給されると、圧縮部２１は、ステップＳ６１において、その画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２０２２および判定部２０２４に出力する。ローカルデコード部２０２２では、ステップＳ６２において、圧縮部２１からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）がローカルデコードされる。
【０１８８】
即ち、ステップＳ６２では、圧縮部２１からの補正データが、例えば、図１８に示したローカルデコード部１０２２における場合と同様にして、ローカルデコードされ、これにより、原画像の予測値が算出される。この予測値は、誤差算出部２３に供給される。
【０１８９】
誤差算出部２３では、ステップＳ６３において、図４のステップＳ３における場合と同様にして、予測誤差が算出され、誤差情報として、判定部２０２４に供給される。判定部２０２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ６４において、図４のステップＳ４における場合と同様に、誤差算出部２３からの誤差情報が所定の閾値ε以下であるかどうかを判定する。ステップＳ６４において、誤差情報が所定の閾値ε以下でないと判定された場合、ステップＳ６５に進み、判定部２０２４は、圧縮部２１を制御し、これにより、圧縮データを補正させる。そして、圧縮部２１において、圧縮データが補正され、新たな補正データが出力されるのを待って、ステップＳ６２に戻る。
【０１９０】
一方、ステップＳ６４において、誤差情報が所定の閾値ε以下であると判定された場合、判定部２０２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適圧縮データとして、送信機／記録装置１６（図２）に出力し、処理を終了する。
【０１９１】
従って、ここでは、クラスごとの予測係数は出力されない。
【０１９２】
次に、図２３は、図２１のローカルデコード部２０２２の構成例を示している。なお、図中、図１８における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部２０２２は、基本的に図１８におけるローカルデコード部１０２２と同様に構成されている。
【０１９３】
但し、図１８においては、予測係数ＲＯＭ８１がそこに記憶されているクラスごとの予測係数を、判定部２４に供給するようになっていたが、図２３では、予測係数ＲＯＭ８１は、クラスごとの予測係数を、判定部２４に供給しないようになっている。
【０１９４】
次に、図２４のフローチャートを参照して、その動作について説明する。
【０１９５】
ローカルデコード部２０２２では、ステップＳ７１乃至Ｓ７５において、図１８のステップＳ５１乃至５５における場合とそれぞれ同様の処理が行われる。そして、ステップＳ７６において、ステップＳ７５で求められた予測値のみが、誤差算出部２３に供給され、ステップＳ７１に戻り、以下、同様の処理が、例えば、１フレーム単位で繰り返される。
【０１９６】
次に、図２５は、図２１の判定部２０２４の構成例を示している。なお、図中、図１４における場合と対応する部分については、同一の符号を付してある。即ち、上述したように、ローカルデコード部２０２２からは予測係数が供給されないため、判定部２０２４には、その予測係数を記憶するための予測係数メモリ６１が設けられておらず、そのことを除けば、基本的に、図１４の判定部２４と同様に構成されている。
【０１９７】
次に、図２６のフローチャートを参照して、その動作について説明する。
【０１９８】
判定部２０２４では、ステップＳ８１乃至８５において、図１５のステップＳ４１乃至Ｓ４５における場合とそれぞれ同様の処理が行われ、これにより、誤差情報が減少するように、圧縮部２１が制御される。
【０１９９】
そして、ステップＳ８１乃至Ｓ８５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ８２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ８６に進み、制御回路６５は、補正データメモリ６２に記憶されている１フレームの補正データを、最適圧縮データとして読み出し、送信機／記録装置１６に供給して、処理を終了する。
【０２００】
その後は、次のフレームについての誤差情報が供給されるのを待って、再び、同様の処理を繰り返す。
【０２０１】
次に、図２７は、送信装置１が図２１に示したように構成される場合の受信装置４の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してある。即ち、図２７の受信装置４は、クラス分類回路７５と予測回路７６との間に予測係数ＲＯＭ１０１が新たに設けられているとともに、予測回路７６がメモリ７６Ａを内蔵していない他は、図１６における場合と基本的に同様に構成されている。
【０２０２】
送信装置１が図２１に示したように構成される場合、上述したことから、受信機／再生装置７１が出力する符号化データには、クラスごとの予測係数は含まれておらず、このため、分離部７２では、符号化データから、補正データ（最適圧縮データ）だけが抽出され、クラス分類用ブロック化回路７３および予測値計算用ブロック化回路７７に供給される。
【０２０３】
クラス分類用ブロック化回路７３、ＡＤＲＣ処理回路７４、クラス分類回路７５、または予測値計算用ブロック化回路７７では、図８におけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、クラス分類回路４５、または予測値計算用ブロック化回路４２それぞれと同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは５×５画素の予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。予測値計算用ブロックは予測回路７６に供給され、クラス情報は予測係数ＲＯＭ１０１に供給される。
【０２０４】
予測係数ＲＯＭ１０１には、図２３の予測係数ＲＯＭ８１に記憶されているクラスごとの予測係数と同一のものが記憶されており、クラス分類回路７５からクラス情報が供給されると、そのクラス情報に対応した２５×９の予測係数が読み出され、予測回路７６に供給される。
【０２０５】
予測回路７６は、予測係数ＲＯＭ１０１からの２５×９の予測係数と、予測値計算用ブロック化回路７７から供給される５×５画素の予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって、原画像の３×３画素の予測値を算出し、そのような予測値で構成される１フレームの画像を、復号画像として出力する。
【０２０６】
送信装置１が図２１に示したように構成されるとともに、受信装置４が図２７に示したように構成される場合、クラスごとの２５×９の予測係数を送受信せずに済むので、その分だけ、伝送容量または記録容量を低減することができる。
【０２０７】
なお、予測係数ＲＯＭ８１や１０１には、クラスごとの予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを、クラスごとに記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、図１８や図２３のローカルデコード部１０２２や２０２２において、予測値計算用ブロック化回路４２および予測回路８２を設けずに済むようになる。また、図２７の受信装置４においても同様に、予測値計算用ブロック化回路７７および予測回路７６を設けずに済むようになる。
【０２０８】
以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。
【０２０９】
なお、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。
【０２１０】
また、本実施の形態では、誤差情報が、所定の閾値ε以下になるまで、圧縮データの補正を繰り返し行うようにしたが、圧縮データの補正の回数には、上限を設けるようにすることも可能である。即ち、例えば、リアルタイムで画像の伝送を行う場合などにおいては、１フレームについての処理が、所定の期間内に終了することが必要であるが、誤差情報は、そのような所定の期間内に収束するとは限らない。そこで、補正の回数に上限を設けることにより、所定の期間内に、誤差情報が閾値ε以下に収束しないときは、そのフレームについての処理を終了し（そのときにおける補正データを、符号化結果とし）、次のフレームについての処理を開始するようにすることが可能である。
【０２１１】
さらに、本実施の形態においては、１フレームの画像から、例えば、クラス分類用ブロックや予測値計算用ブロックなどのブロックを構成するようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素などから構成するようにすることも可能である。
【０２１２】
また、本実施の形態では、圧縮部２１において、画像を、単純に間引き、即ち、３×３画素のブロックにおける中心画素を抽出し、これを圧縮データとするようにしたが、圧縮部２１には、その他、例えば、ブロックを構成する９画素の平均値などを求めさせ、その平均値を、ブロックにおける中心画素の画素値とすることにより、その画素数を少なくし（間引き）、これを圧縮データとするようにすることも可能である。
【０２１３】
さらに、本実施の形態では、例えば、１フレーム単位で、正規方程式をたてて、クラスごとの予測係数を求めるようにしたが、予測係数の算出処理は、その他、例えば、１フィールド単位や複数フレーム単位で正規方程式をたてて行うようにすることも可能である。他の処理についても同様である。
【０２１４】
また、本実施の形態では、図２の送信装置１を構成するＣＰＵ１４が、同じく送信装置１を構成する外部記憶装置１５に記憶されたアプリケーションプログラムを実行することで、各種の符号化処理が行われるようにしたが、これらの符号化処理は、ハードウェアによって行うことも可能である。同様に受信装置４における処理も、そのような処理を行うためのプログラムをコンピュータに実行させることによっても、またハードウェアによっても、実現可能である。
【０２１５】
【発明の効果】
請求項１に記載の画像符号化装置および請求項６に記載の画像符号化方法によれば、原画像を圧縮することにより得られる圧縮データに対して、前記圧縮データを補正するための補正値を用いた演算を施すことで前記圧縮データが補正され、補正データが出力される。さらに、補正データを、その性質に応じて所定のクラスに分類し、前記補正データの前記クラスに対応する予測係数と、その補正データとの線形結合により、前記予測値を求めることにより原画像が予測され、その予測値が出力される。そして、原画像に対する、予測値の予測誤差が算出され、その予測誤差に基づいて、補正データの適正さが判定され、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データがさらに補正され、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データが、原画像の符号化結果として出力される。
【０２１６】
請求項７に記載の画像符号化および復号化システム、並びに、請求項１０に記載の画像符号化および復号化方法によれば、画像復号化装置において、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データが、原画像の符号化結果として出力され、画像復号化装置において、補正データを含む符号化データを受信し、受信した補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより、符号化データが復号化される。
【０２１８】
請求項１１に記載の記録媒体には、原画像を、その画素数を少なくすることにより圧縮し、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力するステップを含むプログラムが記録されている。
【０２１９】
従って、適正になった補正データにより、原画像とほぼ同一の復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の構成例を示すブロック図である。
【図３】図１の送信装置１の第１の機能的構成例を示すブロック図である。
【図４】図３の送信装置１の動作を説明するためのフローチャートである。
【図５】図３の圧縮部２１の構成例を示すブロック図である。
【図６】図５の圧縮部２１の動作を説明するためのフローチャートである。
【図７】図５の間引き回路３１の処理を説明するための図である。
【図８】図３のローカルデコード部２２の構成例を示すブロック図である。
【図９】クラス分類処理を説明するための図である。
【図１０】ＡＤＲＣ処理を説明するための図である。
【図１１】図８のローカルデコード部２２の動作を説明するためのフローチャートである。
【図１２】図３の誤差算出部２３の構成例を示すブロック図である。
【図１３】図１２の誤差算出部２３の動作を説明するためのフローチャートである。
【図１４】図３の判定部２４の構成例を示すブロック図である。
【図１５】図１４の判定部２４の動作を説明するためのフローチャートである。
【図１６】図１の受信装置４の第１の構成例を示すブロック図である。
【図１７】図１の送信装置１の第２の機能的構成例を示すブロック図である。
【図１８】図１７のローカルデコード部１０２２の構成例を示すブロック図である。
【図１９】図１８のローカルデコード部１０２２の動作を説明するためのフローチャートである。
【図２０】図１８の予測係数ＲＯＭ８１に記憶されている予測係数を算出する画像処理装置の一実施の形態の構成を示すブロック図である。
【図２１】図１の送信装置１の第３の機能的構成例を示すブロック図である。
【図２２】図２１の送信装置１の動作を説明するためのフローチャートである。
【図２３】図２１のローカルデコード部２０２２の構成例を示すブロック図である。
【図２４】図２３のローカルデコード部１０２２の動作を説明するためのフローチャートである。
【図２５】図２１の判定部２０２４の構成例を示すブロック図である。
【図２６】図２５の判定部２０２４の動作を説明するためのフローチャートである。
【図２７】図１の受信装置４の第２の構成例を示すブロック図である。
【符号の説明】
１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１ Ｉ／Ｆ， １２ ＲＯＭ， １３ ＲＡＭ， １４ ＣＰＵ， １５ 外部記憶装置， １６ 送信機／記録装置， ２１ 圧縮部， ２２ ローカルデコード部， ２３ 誤差算出部， ２４ 判定部， ２５ 多重化部， ３１ 間引き回路， ３２ 補正回路， ３３ 補正値ＲＯＭ， ４１ クラス分類用ブロック化回路， ４２ 予測値計算用ブロック化回路， ４３ クラス分類適応処理回路， ４４ ＡＤＲＣ処理回路， ４５ クラス分類回路， ４６ 適応処理回路， ５１ ブロック化回路， ５２ 自乗誤差算出回路， ５３，５４ 演算器， ５５ 積算部， ５６ メモリ， ６１ 予測係数メモリ， ６２ 補正データメモリ， ６３ 誤差情報メモリ， ６４ 比較回路， ６５ 制御回路， ７１ 受信機／再生装置， ７２ 分離部， ７３ クラス分類用ブロック化回路， ７４ ＡＤＲＣ処理回路， ７５ クラス分類回路， ７６ 予測回路， ７６Ａ メモリ， ７７ 予測値計算用ブロック化回路， ８１ 予測係数ＲＯＭ， ８２ 予測回路， ９１ 学習用ブロック化回路， ９２ 教師用ブロック化回路， ９３ ＡＤＲＣ処理回路， ９４ クラス分類回路， ９５スイッチ， ９６ 学習データメモリ， ９７ カウンタ， ９８ 教師データメモリ， ９９ 演算回路， １００ メモリ， １０１ 予測係数ＲＯＭ，１０２２，２０２２ ローカルデコード部， ２０２４ 判定部
【発明の属する技術分野】
本発明は、画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体に関する。特に、原画像とほぼ同一の復号画像が得られるように、画像を、例えば間引くことにより符号化する画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来より、画像の符号化方法については、種々の方法が提案されているが、そのうちの１つに、例えば、画像を、その画素を間引くこと（subsampling）により圧縮して符号化する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このように間引いて圧縮した画像を、単純に補間により伸張した場合、その結果得られる復号画像の解像度が劣化する。
【０００４】
ここで、このように復号画像の解像度が劣化する原因として、第１に、間引い画像には、元の画像に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像を構成する画素の画素値が、元の画像を復元するのに、必ずしも適当でないことが考えられる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、原画像と同一（ほぼ同一）の復号画像が得られるように、画像を間引いて圧縮符号化することができるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段と、補正データに基づいて、原画像を予測し、その予測値を出力する予測手段と、原画像に対する、予測値の予測誤差を算出する算出手段と、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定する判定手段と、判定手段による判定結果に対応して、補正データを、原画像の符号化結果として出力する出力手段とを備え、補正手段は、圧縮データを補正するための補正値を記憶している記憶手段を有し、圧縮データに対して、補正値を用いた演算を施すことで圧縮データを補正し、予測手段は、補正データを、その性質に応じて所定のクラスに分類する分類手段と、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求める予測値演算手段とを有し、判定手段は、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下であると判定した場合、出力手段に、予測誤差が所定値以下になったときにおける補正データを出力させ、予測誤差が所定値以下でないと判定した場合、補正手段に、補正値と異なる補正値に基づき、圧縮データをさらに補正させることを特徴とする。
【０００７】
請求項６に記載の画像符号化方法は、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力することを特徴とする。
【０００８】
請求項７に記載の画像符号化および復号化システムは、画像符号化装置は、原画像を、その画素数を少なくすることにより圧縮する圧縮手段と、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段と、補正データに基づいて、原画像を予測し、その予測値を出力する予測手段と、原画像に対する、予測値の予測誤差を算出する算出手段と、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定する判定手段と、判定手段による判定結果に対応して、補正データを、原画像の符号化結果として出力する出力手段とを備え、補正手段は、圧縮データを補正するための補正値を記憶している記憶手段を有し、圧縮データに対して、補正値を用いた演算を施すことで圧縮データを補正し、予測手段は、補正データを、その性質に応じて所定のクラスに分類する分類手段と、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求める予測値演算手段とを有し、判定手段は、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下であると判定した場合、出力手段に、予測誤差が所定値以下になったときにおける補正データを出力させ、予測誤差が所定値以下でないと判定した場合、補正手段に、補正値と異なる補正値に基づき、圧縮データをさらに補正させ、画像復号化装置は、補正データを含む符号化データを受信する受信手段と、符号化データを復号化する復号化手段とを備え、復号化手段は、補正データを、その性質に応じて所定のクラスに分類する分類手段と、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求める予測値演算手段とを有することを特徴とする。
【０００９】
請求項１０に記載の画像符号化および復号化方法は、画像符号化装置が、原画像を、その画素数を少なくすることにより圧縮し、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力し、画像復号化装置が、補正データを含む符号化データを受信し、受信した補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより、符号化データを復号化することを特徴とする。
【００１１】
請求項１１に記載の記録媒体は、原画像を、その画素数を少なくすることにより圧縮し、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力するステップを含むプログラムが記録されていることを特徴とする。
【００１２】
請求項１に記載の画像符号化装置においては、補正手段は、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、予測手段は、補正データに基づいて、原画像を予測して、その予測値を出力するようになされている。算出手段は、原画像に対する、予測値の予測誤差を算出し、判定手段は、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定するようになされている。出力手段は、判定手段による判定結果に対応して、補正データを、原画像の符号化結果として出力するようになされている。また、補正手段は、圧縮データを補正するための補正値を記憶している記憶手段を有し、圧縮データに対して、補正値を用いた演算を施すことで圧縮データを補正し、予測手段は、補正データを、その性質に応じて所定のクラスに分類する分類手段と、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求める予測値演算手段とを有するようになされている。また、判定手段は、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下であると判定した場合、出力手段に、予測誤差が所定値以下になったときにおける補正データを出力させ、予測誤差が所定値以下でないと判定した場合、補正手段に、補正値と異なる補正値に基づき、圧縮データをさらに補正させるようになされている。
【００１３】
請求項６に記載の画像符号化方法においては、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力するようになされている。
【００１４】
請求項７に記載の画像符号化および復号化システムにおいては、画像符号化装置において、補正手段は、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、予測手段は、補正データに基づいて、原画像を予測して、その予測値を出力するようになされている。算出手段は、原画像に対する、予測値の予測誤差を算出し、判定手段は、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定するようになされている。出力手段は、判定手段による判定結果に対応して、補正データを、原画像の符号化結果として出力するようになされている。また、補正手段は、圧縮データを補正するための補正値を記憶している記憶手段を有し、圧縮データに対して、補正値を用いた演算を施すことで圧縮データを補正し、予測手段は、補正データを、その性質に応じて所定のクラスに分類する分類手段と、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求める予測値演算手段とを有するようになされている。また、判定手段は、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下であると判定した場合、出力手段に、予測誤差が所定値以下になったときにおける補正データを出力させ、予測誤差が所定値以下でないと判定した場合、補正手段に、補正値と異なる補正値に基づき、圧縮データをさらに補正させるようになされている。一方、画像復号化装置において、受信手段は、補正データを含む符号化データを受信し、復号化手段は、符号化データを復号化するようになされており、復号化手段は、分類手段と予測値演算手段とを有し、分類手段は、補正データを、その性質に応じて所定のクラスに分類し、予測値演算手段は、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めるようになされている。
【００１５】
請求項１０に記載の画像符号化および復号化方法においては、画像符号化装置において、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力するようになされている。一方、画像復号化装置において、補正データを含む符号化データを受信し、受信した補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより、符号化データを復号化するようになされている。
【００１７】
請求項１１に記載の記録媒体には、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力するステップを含むプログラムが記録されている。
【００３１】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示している。
【００３２】
送信装置１には、ディジタル化された画像データが供給されるようになされている。送信装置１は、入力された画像データを間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他でなる記録媒体２に記録されし、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。
【００３３】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが伸張、復号化される。そして、その結果得られる復号画像が、図示せぬディスプレイに供給されて表示される。
【００３４】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、後述するように、送信装置１が出力する符号化データのデータ量が少ないため、図１の画像処理装置は、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００３５】
図２は、図１の送信装置１の構成例を示している。
【００３６】
Ｉ／Ｆ（InterFace）１１は、外部から供給される画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行うようになされている。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムにしたがい、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置１５は、例えば、磁気ディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
【００３７】
なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。
【００３８】
以上のように構成される送信装置１においては、Ｉ／Ｆ１１に画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データを、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００３９】
図３は、図２の送信装置１の、送信機／記録装置１６を除く部分の機能的な構成例を示している。
【００４０】
符号化すべき画像データは、圧縮部２１、ローカルデコード部２２、および誤差算出部２３に供給されるようになされている。圧縮部２１は、画像データを、その画素を、例えば、単純に間引くことにより圧縮し、その結果得られる圧縮データ（間引きが行われた後の画像データ）を、判定部２４からの制御にしたがって補正するようになされている。圧縮部２１における補正の結果得られる補正データは、ローカルデコード部２２および判定部２４に供給するようになされている。
【００４１】
ローカルデコード部２２は、圧縮部２１からの補正データに基づいて、元の画像を予測し、その予測値を、誤差算出部２３に供給するようになされている。なお、ローカルデコード部２２は、後述するように、補正データと元の画像データとを用いて、その補正データとの線形結合により、予測値を算出するための、所定のクラスごとの予測係数を求める処理を行い、その予測係数に基づいて、予測値を求める適応処理を行うようになされている。そして、ローカルデコード部２２は、上述したように、予測値を、誤差算出部２３に供給する他、そのとき求めたクラスごとの予測係数を、判定部２４に供給するようにもなされている。
【００４２】
誤差算出部２３は、そこに入力される、元の画像データ（原画像）に対する、ローカルデコード部２２からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部２４に供給されるようになされている。
【００４３】
判定部２４は、誤差算出部２３からの誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定するようになされている。そして、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、圧縮部２１を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、圧縮部２１から供給された補正データを、最適な圧縮データ（以下、適宜、最適圧縮データという）として多重化部２５に供給するとともに、ローカルデコード部２２から供給されたクラスごとの予測係数を多重化部２５に供給するようになされている。
【００４４】
多重化部２５は、判定部２４からの最適圧縮データ（補正データ）と、クラスごとの予測係数とを多重化し、その多重化結果を、符号化データとして、送信機／記録装置１６（図２）に供給するようになされている。
【００４５】
次に、図４のフローチャートを参照して、その動作について説明する。圧縮部２１に対して、画像データが供給されると、圧縮部２１は、ステップＳ１において、その画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２では、ステップＳ２において、圧縮部２１からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）がローカルデコードされる。
【００４６】
即ち、ステップＳ２では、圧縮部２１からの補正データと元の画像データとを用いて、その補正データとの線形結合により、元の画像の予測値を算出するための、クラスごとの予測係数を求める処理が行われ、その予測係数に基づいて、予測値が求められる。ローカルデコード部２２において求められた予測値は誤差算出部２３に、また、クラスごとの予測係数は判定部２４に供給される。
【００４７】
ここで、ローカルデコード部２２が出力する予測値で構成される画像は、受信装置４（図１）側において得られる復号画像と同一のものである。
【００４８】
誤差算出部２３は、ローカルデコード部２２から、元の画像の予測値を受信すると、ステップＳ３において、元の画像データに対する、ローカルデコード部２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定する。
【００４９】
即ち、ステップＳ４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化データとするのは適正でないと認識され、ステップＳ５に進み、判定部２４は、圧縮部２１を制御し、これにより、圧縮データを補正させる。圧縮部２１は、判定部２４の制御にしたがって、補正量（後述する補正値△）を変えて、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部２２および判定部２４に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００５０】
一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化結果とするのは適正であると認識され、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適圧縮データとして、クラスごとの予測係数とともに、多重化部２５に出力する。多重化部２５では、ステップＳ６において、判定部２４からの最適圧縮データとクラスごとの予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
【００５１】
以上のように、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データを、元の画像の符号化結果とするようにしたので、受信装置４側においては、その補正データに基づいて、元の画像（原画像）とほぼ同一の画像を得ることが可能となる。
【００５２】
次に、図５は、図３の圧縮部２１の構成例を示している。
【００５３】
符号化すべき画像データは、間引き回路３１に入力されるようになされており、間引き回路３１は、入力された画像データを１／Ｎに間引くようになされている。従って、間引き回路３１からは、画像データを、１／Ｎに圧縮した圧縮データが出力されるようになされている。この圧縮データは、間引き回路３１から補正回路３２に供給されるようになされている。
【００５４】
補正回路３２は、判定部２４（図３）からの制御信号にしたがって、補正値ＲＯＭ３３にアドレスを与え、これにより、補正値△を読み出すようになされている。そして、補正回路３２は、間引き回路３１からの圧縮データに対して、補正値ＲＯＭ３３からの補正値△を、例えば加算することで、補正データを生成し、ローカルデコード部２２および判定部２４に供給するようになされている。補正値ＲＯＭ３３は、間引き回路３１が出力する圧縮データを補正するための、各種の補正値△の組合せ（例えば、１フレーム分の圧縮データを補正するための補正値の組合せなど）を記憶しており、補正回路３２から供給されるアドレスに対応する補正値△の組合せを読み出して、補正回路３２に供給するようになされている。
【００５５】
次に、図６を参照して、図５の圧縮部２１の処理について説明する。
【００５６】
例えば、１フレーム分などの画像データが、間引き回路３１に供給されると、間引き回路３１は、ステップＳ１１において、その画像データを１／Ｎに間引き、その結果得られる圧縮データを、補正回路３２に出力する。
【００５７】
ここで、間引き回路３１は、図７に示すように、画像データを、例えば、１／９に間引くようになされている。即ち、間引き回路３１は、３×３（横×縦）の９画素を１単位とし、各単位の中心の画素（同図において、●印で示す部分）についての画素値のみを抽出し、他の部分（同図において、○印で示す部分）を削除する。なお、間引き回路３１は、以上のような処理を、例えば、１フレーム（フィールド）単位で行うようになされている。従って、間引き回路３１から補正回路３２に対しては、１フレームの画像データが１／９に間引きされた圧縮データが供給される。但し、間引き回路３１における間引き処理は、その他、１フレームの画像を幾つかのブロックに分割し、そのブロック単位で行うようにすることも可能である。
【００５８】
補正回路３２は、間引き回路３１から圧縮データを受信すると、ステップＳ１２において、判定部２４（図３）から制御信号を受信したかどうかを判定する。ステップＳ１２において、制御信号を受信していないと判定された場合、ステップＳ１３およびＳ１４をスキップしてステップＳ１５に進み、補正回路３２は、間引き回路３１からの圧縮データを、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力し、ステップＳ１２に戻る。
【００５９】
即ち、判定部２４は、上述したように、誤差情報に基づいて、圧縮部２１（補正回路３２）を制御するようになされており、間引き回路３１から圧縮データが出力された直後は、まだ、誤差情報が得られないため（誤差情報が、誤差算出部２３から出力されないため）、判定部２４からは制御信号は出力されない。このため、間引き回路３１から圧縮データが出力された直後は、補正回路３２は、その圧縮データを補正せず（０を加算する補正をして）、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力する。
【００６０】
一方、ステップＳ１２において、判定部２４からの制御信号を受信したと判定された場合、ステップＳ１３に進み、補正回路３２は、その制御信号にしたがったアドレスを、補正値ＲＯＭ３３に出力する。これにより、ステップＳ１３では、補正値ＲＯＭ３３から、そのアドレスに記憶されている、１フレーム分の圧縮データを補正するための補正値△の組合せ（集合）が読み出され、補正回路３２に供給される。補正回路３２は、補正値ＲＯＭ３３から補正値△の組合せを受信すると、ステップＳ１４において、１フレームの圧縮データそれぞれに、対応する補正値△を加算し、これにより、圧縮データを補正した補正データを算出する。その後は、ステップＳ１５に進み、補正データが、補正回路３２からローカルデコード部２２および判定部２４に出力され、ステップＳ１２に戻る。
【００６１】
以上のようにして、圧縮部２１は、判定部２４の制御にしたがって、圧縮データを、種々の値に補正した補正データを出力することを繰り返す。
【００６２】
なお、判定部２４は、例えば、１フレームの画像についての符号化を終了すると、その旨を表す制御信号を、圧縮部２１に供給するようになされており、圧縮部２１は、ステップＳ１２において、そのような制御信号を受信したかどうかも判定するようになされている。ステップＳ１２において、１フレームの画像についての符号化を終了した旨の制御信号を受信したと判定された場合、圧縮部２１は、そのフレーム（フィールド）に対する処理を終了し、次のフレームが供給されるのを待って、ステップＳ１１に戻り、ステップＳ１１乃至Ｓ１５の処理を繰り返す。
【００６３】
また、上述の場合においては、間引き回路３１に、３×３画素の中心の画素についての画素データ（画素値）のみを抽出させることにより、圧縮データを生成させるようにしたが、その他、例えば、３×３画素の平均値を算出し、その平均値を、３×３画素の中心の画素の画素値として、圧縮データを生成させるようにすることなども可能である。
【００６４】
次に、図８は、図３のローカルデコード部２２の構成例を示している。
【００６５】
圧縮部２１からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、注目補正データを中心としたクラス分類用ブロックにブロック化するようになされている。
【００６６】
即ち、いま、図７において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（または画素）（図中、●印で示す部分）をＸijと表すとすると、クラス分類用ブロック化回路４１は、注目補正データＸijの左上、上、右上、左、右、左下、下、右下に隣接する８つの画素Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラス分類用ブロックを構成するようになされている。このクラス分類用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００６７】
なお、この場合、クラス分類用ブロックは、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。
【００６８】
予測値計算用ブロック化回路４２は、補正データを、元の画像の予測値を計算するための単位である、注目補正データを中心とした予測値計算用ブロックにブロック化するようになされている。即ち、いま、図７において、補正データＸij（図中、●印で示す部分）を中心とする、元の画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すとすると、画素Ｙij（１）乃至Ｙij（９）の予測値の計算のために、予測値計算用ブロック化回路４２は、例えば、注目補正データＸijを中心とする５×５の２５画素Ｘ(i-2)(j-2)，Ｘ(i-2)(j-1)，Ｘ(i-2)j，Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，Ｘ(i-1)(j-2)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi(j-2)，Ｘi(j-1)，Ｘij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j-2)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)，Ｘ(i+1)(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，Ｘ(i+2)j，Ｘ(i+2)(j+1)，Ｘ(i+2)(j+2)で構成される正方形状の予測値計算用ブロックを構成するようになされている。
【００６９】
具体的には、例えば、図７において四角形で囲む、元の画像における画素Ｙ33（１）乃至Ｙ33（９）の９画素の予測値の計算のためには、画素Ｘ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55により、予測値計算用ブロックが構成される（この場合の注目補正データは、Ｘ33となる）。
【００７０】
予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００７１】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【００７２】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【００７３】
クラス分類適応処理回路４３は、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路、クラス分類回路４５、および適応処理回路４６で構成され、クラス分類適応処理を行うようになされている。
【００７４】
クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【００７５】
ここで、クラス分類処理および適応処理について簡単に説明する。
【００７６】
まず、クラス分類処理について説明する。
【００７７】
いま、例えば、図９（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、注目画素を含む２×２の４画素のブロックは、各画素のレベル分布により、図９（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。従って、いまの場合、注目画素は、１６のパターンに分類することができ、このようなパターン分けが、クラス分類処理であり、クラス分類回路４５において行われる。
【００７８】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【００７９】
ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、３×３の９画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【００８０】
そこで、本実施の形態においては、ＡＤＲＣ処理回路４４において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を小さくすることで、クラス数を削減するようになされている。
【００８１】
即ち、例えば、いま、説明を簡単にするため、図１０（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００８２】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図１０（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【００８３】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【００８４】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００８５】
ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理回路４４において行われるようになされている。
【００８６】
なお、本実施の形態では、クラス分類回路４５において、ＡＤＲＣ処理回路４４から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【００８７】
次に、適応処理について説明する。
【００８８】
例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００８９】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
【００９１】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【００９３】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
【００９５】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００９６】
【数４】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００９８】
【数５】
式（４）および（５）より、式（６）が得られる。
【０１００】
【数６】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１０２】
【数７】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１０４】
以上のようにして、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、適応処理回路４６において行われるようになされている。
【０１０５】
なお、適応処理は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理は、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１０６】
次に、図１１のフローチャートを参照して、図８のローカルデコード部２２の処理について説明する。
【０１０７】
ローカルデコード部２２においては、まず最初に、ステップＳ２１において、圧縮部２１からの補正データがブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、注目補正データを中心とする３×３画素のクラス分類用ブロックにブロック化され、クラス分類適応処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが、注目補正データを中心とする５×５画素の予測値計算用ブロックにブロック化され、クラス分類適応処理回路４３に供給される。
【０１０８】
クラス分類適応処理回路４３には、上述したように、クラス分類用ブロックおよび予測値計算用ブロックの他、元の画像データが供給されるようになされており、クラス分類用ブロックはＡＤＲＣ処理部４４に、予測値計算用ブロックおよび元の画像データは適応処理回路４６に供給される。
【０１０９】
ＡＤＲＣ処理回路４４は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路４５に出力する。クラス分類回路４５は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックから、クラス分類処理を施す。即ち、ＡＤＲＣ処理が施されたクラス分類用ブロックを構成する各画素のレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロックを構成する注目補正データ（中心に配置された補正データ）のクラス）を判定する。このクラスの判定結果は、クラス情報として、適応処理回路４６に供給される。
【０１１０】
なお、本実施の形態においては、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【０１１１】
そして、ステップＳ２４に進み、適応処理回路４６において、クラス分類回路４５からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、クラスごとの予測係数および１フレームの元の画像データ（原画像データ）の予測値が算出される。
【０１１２】
即ち、本実施の形態においては、例えば、クラスごとに２５×９個の予測係数が、１フレーム分の原画像データおよびと補正データから算出される。さらに、ある１つの補正データに注目した場合に、その注目補正データに対応する元画像の画素と、その画素の周りに隣接する８個の元画像の画素の、合計９個の画素についての予測値が、注目補正データのクラス情報に対応する２５×９個の予測係数と、その注目補正データを中心とする５×５画素でなる予測値計算用ブロックとを用いて、適応処理が行われることにより算出される。
【０１１３】
具体的には、例えば、いま、図７に示した補正データ（注目補正データ）Ｘ33を中心とする３×３の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４５から出力され、また、そのクラス分類用ブロックに対応する予測値計算用ブロックとして、補正データＸ33を中心とする５×５画素の補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、元の画像における、補正データＸ33を中心とする３×３画素（図７において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）を、教師データとして、式（７）に示した正規方程式がたてられる。
【０１１４】
さらに、所定期間としての、例えば、１フレームの中で、同一のクラス情報Ｃにクラス分類されるクラス分類用ブロックに対応する、他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ33（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ33（ｋ）］を求めるための予測係数ｗ1（ｋ）乃至ｗ25（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データが２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ33（ｋ）の予測値Ｅ［Ｙ33（ｋ）］を求めるのに最適な予測係数ｗ1（ｋ）乃至ｗ25（ｋ）が算出される。この処理は、各クラスごとに行われ、これにより、各クラスごとに、２５×９の予測係数が算出される（２５個の補正データを用いて、９個の予測値を求めるため、１クラスについての予測係数の数は、２５×９個となる）。
【０１１５】
そして、クラス情報Ｃについての予測係数と予測値計算用ブロックとを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ33（ｋ）］が求められる。
【０１１６】
ステップＳ２４では、以上のようにして、２５×９の予測係数が、クラスごとに求められ、そのクラスごとの予測係数を用いて、注目補正データを中心とする３×３の原画像の画素の予測値が求められる。
【０１１８】
その後、ステップＳ２５に進み、クラスごとの２５×９の予測係数は判定部２４に供給され、３×３の予測値は誤差算出部２３に供給される。そして、ステップＳ２１に戻り、以下同様の処理が、例えば、上述したように１フレーム単位で繰り返される。
【０１１９】
次に、図１２は、図３の誤差算出部２３の構成例を示している。
【０１２０】
ブロック化回路５１には、元の画像データが供給されるようになされており、そこでは、ブロック化回路５１は、その画像データを、ローカルデコード部２２から出力される予測値に対応する９個単位でブロック化し、その結果得られる３×３画素のブロック（例えば、図７に四角形で囲んで示すような３×３画素のブロック）を、自乗誤差算出回路５２に出力するようになされている。自乗誤差算出部５２には、上述したように、ブロック化回路５１からブロックが供給される他、ローカルデコード部２２から予測値が、９個単位（３×３画素のブロック単位）で供給されるようになされており、自乗誤差算出回路５２は、原画像に対する、予測値の予測誤差としての自乗誤差を算出し、積算部５５に供給するようになされている。
【０１２１】
即ち、自乗誤差算出回路は５２は、演算器５３および５４で構成されている。演算器５３は、ブロック化回路５１からのブロック化された画像データそれぞれから、対応する予測値を減算し、その減算値を、演算器５４に供給するようになされている。演算器５４は、演算器５３の出力（元の画像データと予測値との差分）を自乗し、積算部５５に供給するようになされている。
【０１２２】
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算して、再び、メモリ５６に供給して記憶させることを繰り返すことで、自乗誤差の積算値（誤差分散）を求めるようになされている。さらに、積算部５５は、所定量（例えば、１フレーム分など）についての自乗誤差の積算が終了すると、その積算値を、メモリ５６から読み出し、誤差情報として、判定部２４に供給するようになされている。メモリ５６は、１フレームについての処理が終了するごとに、その記憶値をクリアしながら、積算部５５の出力値を記憶するようになされている。
【０１２３】
次に、その動作について、図１３のフローチャートを参照して説明する。誤差算出部２３では、まず最初に、ステップＳ３１において、メモリ５６の記憶値が、例えば０にクリアされ、ステップＳ３２に進み、ブロック化回路５１において、画像データが、上述したようにブロック化され、その結果得られるブロックが、自乗誤差算出回路５２に供給される。自乗誤差算出回路５２では、ステップＳ３３において、ブロック化回路５１から供給されるブロックを構成する、元の画像（原画像）の画像データと、ローカルデコード部２２から供給される予測値との自乗誤差が算出される。
【０１２４】
即ち、ステップＳ３３では、演算器５３において、ブロック化回路５１より供給されたブロック化された画像データそれぞれから、対応する予測値が減算され、演算器５４に供給される。さらに、ステップＳ３３では、演算器５４において、演算器５３の出力が自乗され、積算部５５に供給される。
【０１２５】
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、ステップＳ３４において、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算することで、自乗誤差の積算値を求める。積算部５５において算出された自乗誤差の積算値は、メモリ５６に供給され、前回の記憶値に上書きされることで記憶される。
【０１２６】
そして、積算部５５では、ステップＳ３５において、所定量としての、例えば、１フレーム分についての自乗誤差の積算が終了したかどうかが判定される。ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了していないと判定された場合、ステップＳ３２に戻り、再び、ステップＳ３２からの処理を繰り返す。また、ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了したと判定された場合、ステップＳ３６に進み、積算部５５は、メモリ５６に記憶された１フレーム分についての自乗誤差の積算値を読み出し、誤差情報として、判定部２４に出力する。そして、ステップＳ３１に戻り、次のフレームについての原画像および予測値が供給されるのを待って、再び、ステップＳ３１からの処理を繰り返す。
【０１２７】
従って、誤差算出部２３では、元の画像データをＹij（ｋ）とするとともに、その予測値をＥ［Ｙij（ｋ）］とするとき、次式にしたがった演算が行われることで、誤差情報Ｑが算出される。
【０１２８】
Ｑ＝Σ（Ｙij（ｋ）−Ｅ［Ｙij（ｋ）］）2
但し、Σは、１フレーム分についてのサメーションを意味する。
【０１２９】
次に、図１４は、図３の判定部２４の構成例を示している。
【０１３０】
予測係数メモリ６１は、ローカルデコード部２２から供給される予測係数を記憶するようになされている。補正データメモリ６２は、圧縮部２１から供給される補正データを記憶するようになされている。
【０１３１】
なお、補正データメモリ６２は、圧縮部２１において、圧縮データが新たに補正され、これにより、新たな補正データが供給された場合には、既に記憶している補正データ（前回の補正データ）に代えて、新たな補正データを記憶するようになされている。また、このように補正データが、新たなものに更新されるタイミングで、ローカルデコード部２２からは、その新たな補正データに対応する、新たなクラスごとの予測係数のセットが出力されるが、予測係数メモリ６１においても、このように新たなクラスごとの予測係数が供給された場合には、既に記憶しているクラスごとの予測係数（前回のクラスごとの予測係数）に代えて、その新たなクラスごとの予測係数を記憶するようになされている。
【０１３２】
誤差情報メモリ６３は、誤差算出部２３から供給される誤差情報を記憶するようになされている。なお、誤差情報メモリ６３は、誤差算出部２３から、今回供給された誤差情報の他に、前回供給された誤差情報も記憶するようになされている（新たな誤差情報が供給されても、さらに新たな誤差情報が供給されるまでは、既に記憶している誤差情報を保持するようになされている）。なお、誤差情報メモリ６３は、新たなフレームについての処理が開始されるごとにクリアされるようになされている。
【０１３３】
比較回路６４は、誤差情報メモリ６３に記憶された今回の誤差情報と、所定の閾値εとを比較し、さらに、必要に応じて、今回の誤差情報と前回の誤差情報との比較も行うようになされている。比較回路６４における比較結果は、制御回路６５に供給されるようになされている。
【０１３４】
制御回路６５は、比較回路６４における比較結果に基づいて、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることの適正（最適）さを判定し、最適でないと認識（判定）した場合には、新たな補正データの出力を要求する制御信号を、圧縮部２１（補正回路３２）（図５）に供給するようになされている。また、制御回路６５は、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることが最適であると認識した場合には、予測係数メモリ６１に記憶されているクラスごとの予測係数を読み出し、多重化部２５に出力するとともに、補正データメモリ６２に記憶されている補正データを読み出し、最適圧縮データとして、やはり多重化部２５に供給するようになされている。さらに、この場合、制御回路６５は、１フレームの画像についての符号化を終了した旨を表す制御信号を、圧縮部２１に出力し、これにより、上述したように、圧縮部２１に、次のフレームについての処理を開始させるようになされている。
【０１３５】
次に、図１５を参照して、判定部２４の動作について説明する。
【０１３６】
判定部２４では、まず最初に、ステップＳ４１において、誤差算出部２３から誤差情報を受信したかどうかが、比較回路６４によって判定され、誤差情報を受信していないと判定された場合、ステップＳ４１に戻る。また、ステップＳ４１において、誤差情報を受信したと判定された場合、即ち、誤差情報メモリ６３に誤差情報が記憶された場合、ステップＳ４２に進み、比較回路６４において、誤差情報メモリ６３に、いま記憶された誤差情報（今回の誤差情報）と、所定の閾値εとが比較され、いずれが大きいかが判定される。
【０１３７】
ステップＳ４２において、今回の誤差情報が、所定の閾値ε以上であると判定された場合、比較回路６４において、誤差情報メモリ６３に記憶されている前回の誤差情報が読み出される。そして、比較回路６４は、ステップＳ４３において、前回の誤差情報と、今回の誤差情報とを比較し、いずれが大きいかを判定する。
【０１３８】
ここで、１フレームについての処理が開始され、最初に誤差情報が供給されたときには、誤差情報メモリ６３には、前回の誤差情報は記憶されていないので、この場合には、判定部２４においては、ステップＳ４３以降の処理は行われず、制御回路６５において、所定の初期アドレスを補正値ＲＯＭ３３に出力するように、補正回路３２（図５）を制御する制御信号が出力されるようになされている。
【０１３９】
ステップＳ４３において、今回の誤差情報が、前回の誤差情報以下であると判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が減少した場合、ステップＳ４４に進み、制御回路６５は、補正値△を、前回と同様に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。また、ステップＳ４３において、今回の誤差情報が、前回の誤差情報より大きいと判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が増加した場合、ステップＳ４５に進み、制御回路６５は、補正値△を、前回と逆に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。
【０１４０】
なお、減少し続けていた誤差情報が、あるタイミングで上昇するようになったときは、制御回路６５は、補正値△を、いままでの場合の、例えば１／２の大きさで、前回と逆に変化させるように指示する制御信号を出力するようになされている。
【０１４１】
そして、ステップＳ４１乃至Ｓ４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ４２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ４６に進み、制御回路６５は、予測係数メモリ６１に記憶されているクラスごとの予測係数を読み出すとともに、補正データメモリ６２に記憶されている１フレームの補正データを、最適圧縮データとして読み出し、多重化部２５に供給して、処理を終了する。
【０１４２】
その後は、次のフレームについての誤差情報が供給されるのを待って、再び、図１５に示すフローチャートにしたがった処理を繰り返す。
【０１４３】
なお、補正回路３２には、圧縮データの補正は、１フレームすべての圧縮データについて行わせるようにすることもできるし、その一部の圧縮データについてだけ行わせるようにすることもできる。一部の圧縮データについてだけ補正を行う場合においては、制御回路６５に、例えば、誤差情報に対する影響の強い画素を検出させ、そのような画素についての圧縮データだけを補正するようにすることができる。誤差情報に対する影響の強い画素は、例えば、次のようにして検出することができる。即ち、まず最初に、間引き後に残った画素についての圧縮データをそのまま用いて処理を行うことにより、その誤差情報を得る。そして、間引き後に残った画素についての圧縮データを、１つずつ、同一の補正値△だけ補正するような処理を行わせる制御信号を、制御回路６５から補正回路３２に出力し、その結果得られる誤差情報を、圧縮データをそのまま用いた場合に得られた誤差情報と比較し、その差が、所定値以上となる画素を、誤差情報に対する影響の強い画素として検出すれば良い。
【０１４４】
以上のように、誤差情報を所定の閾値εより小さくする（以下にする）まで、圧縮データの補正が繰り返され、誤差情報が所定の閾値εより小さくなったときにおける補正データが、画像の符号化結果として出力されるので、受信装置４（図１）においては、間引き後の画像を構成する画素の画素値を、元の画像を復元するのに最も適当な値にした補正データから、原画像と同一（ほぼ同一）の復号画像を得ることが可能となる。
【０１４５】
また、画像は、間引き処理により圧縮される他、ＡＤＲＣ処理およびクラス分類適応処理などによっても圧縮されるため、非常に高圧縮率の符号化データを得ることができる。なお、送信装置１における、以上のような符号化処理は、間引きによる圧縮処理と、クラス分類適応処理とを、いわば有機的に統合して用いることにより、高能率圧縮を実現するものであり、このことから統合符号化処理ということができる。
【０１４６】
次に、図１６は、図１の受信装置４の構成例を示している。
【０１４７】
受信機／再生装置７１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、分離部７２に供給される。分離部７２では、符号化データから、補正データ（最適圧縮データ）とクラスごとの予測係数とが抽出される。補正データは、クラス分類用ブロック化回路７３および予測値計算用ブロック化回路７７に供給され、クラスごとの予測係数は、予測回路７６に供給されて、その内蔵するメモリ７６Ａに記憶される。
【０１４８】
クラス分類用ブロック化回路７３、ＡＤＲＣ処理回路７４、クラス分類回路７５、または予測値計算用ブロック化回路７７は、図８におけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、クラス分類回路４５、または予測値計算用ブロック化回路４２それぞれと同様に構成されており、従って、これらのブロックにおいては、図８における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路７６に供給される。
【０１４９】
予測回路７６は、クラス分類回路７５から供給されるクラス情報に対応した２５×９の予測係数を、メモリ７６Ａから読み出し、その２５×９の予測係数と、予測値計算用ブロック化回路７７から供給される５×５画素の予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって、原画像の３×３画素の予測値が算出され、そのような予測値で構成される画像が、復号画像として、例えば、１フレーム単位で出力される。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。
【０１５０】
なお、受信側においては、図１６に示すような受信装置４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。
【０１５１】
ところで、上述の場合おいては、図３のローカルデコード部２２において予測係数を求め、これを用いて、予測値を算出するようにしたが、ローカルデコード部２２では、予測係数を求めずに（あらかじめ学習により求めておいた予測係数を用いて）、予測値を算出するようにすることが可能である。
【０１５２】
即ち、図１７は、図１の送信装置１の第２の機能的構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してある。即ち、この送信装置１は、ローカルデコード部２２に代えて、ローカルデコード部１０２２が設けられている他は、図３における場合と同様に構成されている。
【０１５３】
但し、図３においては、ローカルデコード部２２に原画像データが供給されるようになされていたが、図１７においては、ローカルデコード部１０２２には、原画像データが供給されないようになっている。
【０１５４】
図１８は、図１７のローカルデコード部１０２２の構成例を示している。なお、図中、図８における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部１０２２は、適応処理回路４６に代えて、予測係数ＲＯＭ８１および予測回路８２が設けられている他は、図８におけるローカルデコード部２２と同様に構成されている。
【０１５５】
予測係数ＲＯＭ８１は、あらかじめ学習（後述する）を行うことにより求められたクラスごとの予測係数を記憶しており、クラス分類回路４４が出力するクラス情報を受信し、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して、予測回路８２に供給する。
【０１５６】
予測回路８２では、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックと、予測係数ＲＯＭ８１からの２５×９の予測係数とを用いて、式（１）（具体的には、例えば、式（８））に示した線形１次式が計算され、これにより、元の画像の３×３画素の予測値が算出される。
【０１５７】
従って、図１８のクラス分類適応処理回路４３によれば、元の画像（原画像）を用いずに、その予測値が算出される。このため、上述したように、ローカルデコード部１０２２には、原画像が供給されないようになっている。
【０１５８】
次に、図１９のフローチャートを参照して、図１８のローカルデコード部１０２２の処理についてさらに説明する。
【０１５９】
ローカルデコード部１０２２においては、まず最初に、ステップＳ５１乃至Ｓ５３において、図１１のステップＳ２１乃至Ｓ２３における場合とそれぞれ同様の処理が行われ、これにより、クラス分類回路４５からは、クラス情報が出力される。このクラス情報は、予測係数ＲＯＭ８１に供給される。
【０１６０】
予測係数ＲＯＭ８１は、クラス情報を受信すると、ステップＳ５４において、そのクラス情報に対応する２５×９の予測係数を、記憶しているクラスごとの予測係数の中から読み出し、予測回路８２に供給する。
【０１６１】
予測回路８２には、予測係数ＲＯＭ８１から２５×９の予測係数が供給される他、予測値計算用ブロック化回路４２から５×５画素の予測値計算用ブロックも供給されるようになされている。そして、予測回路８２では、ステップＳ５５において、予測係数ＲＯＭ８１からの２５×９の予測係数と、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックとを用いて適応処理が行われることにより、即ち、具体的には、式（１）（または式（８））にしたがった演算が行われることにより、注目補正データ（ここでは、予測値計算用ブロックの中心にある画素）を中心とする３×３の原画像の画素の予測値が求められる。
【０１６２】
その後、例えば、１フレーム分の予測値が求められると、ステップＳ５６に進み、予測係数ＲＯＭ８１に記憶されたクラスごとの２５×９の予測係数が読み出され、判定部２４に供給されるとともに、ステップＳ５５で求められた予測値が誤差算出部２３に供給される。そして、ステップＳ５１に戻り、以下同様の処理が、例えば、１フレーム単位で繰り返される。
【０１６３】
なお、この実施の形態では、クラスごとの予測係数は、予測係数ＲＯＭ８１に記憶されたものが使用され、従って、その値は変化しないから、ステップＳ２５において、クラスごとの予測係数を、判定部２４に一度供給した後は、基本的に、再度供給する必要はない。
【０１６４】
また、送信装置１が、図１７に示したように構成される場合においても、受信装置４は、図１６に示したように構成することで、原画像とほぼ同一の復号画像を得ることができる。
【０１６５】
次に、図２０は、図１８の予測係数ＲＯＭ８１に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。
【０１６６】
学習用ブロック化回路９１および教師用ブロック化回路９２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。
【０１６７】
学習用ブロック化回路９１は、入力される画像データから、例えば、図７に●印で示した位置関係の２５画素（５×５画素）を抽出し、この２５画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理９３および学習データメモリ９６に供給する。
【０１６８】
また、教師用ブロック化回路９２では、入力される画像データから、例えば、３×３の９画素で構成されるブロックが生成され、この９画素で構成されるブロックが、教師用ブロックとして、教師データメモリ９８に供給される。
【０１６９】
なお、学習用ブロック化回路９１において、例えば、図７に●印で示した位置関係の２５画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路９２では、同図に四角形で囲んで示す３×３画素の教師用ブロックが生成されるようになされている。
【０１７０】
ＡＤＲＣ処理回路９３は、学習用ブロックを構成する２５画素から、例えば、その中心の９画素（３×３画素）を抽出し、この９画素でなるブロックに対して、図１８のＡＤＲＣ処理回路４４における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された３×３画素のブロックは、クラス分類回路９４に供給される。クラス分類回路９４では、図１８のクラス分類回路４５における場合と同様に、ＡＤＲＣ処理回路９３からのブロックがクラス分類処理され、それにより得られるクラス情報が、スイッチ９５の端子ａを介して、学習データメモリ９６および教師データメモリ９８に供給される。
【０１７１】
学習データメモリ９６または教師データメモリ９８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路９１からの学習用ブロックまたは教師用ブロック化回路９２からの教師用ブロックが、それぞれ記憶される。
【０１７２】
従って、学習データメモリ９６において、例えば、図７に●印で示した５×５画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ９８においては、そのアドレスと同一のアドレスに、同図において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。
【０１７３】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図１８のローカルデコード部１０２２において、その学習用ブロックを構成する２５画素と同一の位置関係を有する２５の補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ９６と、教師用データメモリ９８とにおいて、同一のアドレスに記憶される。
【０１７４】
なお、学習用データメモリ９６と教師用データメモリ９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。
【０１７５】
学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ９６と教師データメモリ９８に記憶されると、端子ａを選択していたスイッチ９５が、端子ｂに切り替わり、これにより、カウンタ９７の出力が、アドレスとして、学習データメモリ９６および教師データメモリ９８に供給される。カウンタ９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ９６または教師データメモリ９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路９９に供給される。
【０１７６】
従って、演算回路９９には、カウンタ９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０１７７】
演算回路９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０１７８】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０１７９】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０１８０】
そこで、演算回路９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。従って、この処理をクラスごとに行うことにより、各クラスごとに、２５×９個の予測係数が生成される。
【０１８１】
演算回路９９において求められた、クラスごとの予測係数は、メモリ１００に供給される。メモリ１００には、演算回路９９からの予測係数の他、カウンタ９７からカウント値が供給されており、これにより、メモリ１００においては、演算回路９９からの予測係数が、カウンタ９７からのカウント値に対応するアドレスに記憶される。
【０１８２】
以上のようにして、メモリ１００には、各クラスに対応するアドレスに、そのクラスのブロックの３×３画素を予測するのに最適な２５×９個の予測係数が記憶される。
【０１８３】
図１８の予測係数ＲＯＭ８１には、以上のようにしてメモリ１００に記憶されたクラスごとの予測係数が記憶されている。
【０１８４】
次に、図２１は、図１の送信装置１の第３の機能的構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してある。即ち、この送信装置１は、ローカルデコード部２２または判定部２４に代えて、ローカルデコード部２０２２または判定部２０２４がそれぞれ設けられているとともに、多重化部２５が設けられていない他は、図３における場合と同様に構成されている。
【０１８５】
但し、この場合も、図１７における場合と同様に、ローカルデコード部２０２２には、原画像データが供給されないようになっている。さらに、図２１の実施の形態では、ローカルデコード部２０２２は、予測係数を判定部２０２４に出力しないようになっている。
【０１８６】
次に、図２２のフローチャートを参照して、その動作について説明する。
【０１８７】
圧縮部２１に対して、画像データが供給されると、圧縮部２１は、ステップＳ６１において、その画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２０２２および判定部２０２４に出力する。ローカルデコード部２０２２では、ステップＳ６２において、圧縮部２１からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）がローカルデコードされる。
【０１８８】
即ち、ステップＳ６２では、圧縮部２１からの補正データが、例えば、図１８に示したローカルデコード部１０２２における場合と同様にして、ローカルデコードされ、これにより、原画像の予測値が算出される。この予測値は、誤差算出部２３に供給される。
【０１８９】
誤差算出部２３では、ステップＳ６３において、図４のステップＳ３における場合と同様にして、予測誤差が算出され、誤差情報として、判定部２０２４に供給される。判定部２０２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ６４において、図４のステップＳ４における場合と同様に、誤差算出部２３からの誤差情報が所定の閾値ε以下であるかどうかを判定する。ステップＳ６４において、誤差情報が所定の閾値ε以下でないと判定された場合、ステップＳ６５に進み、判定部２０２４は、圧縮部２１を制御し、これにより、圧縮データを補正させる。そして、圧縮部２１において、圧縮データが補正され、新たな補正データが出力されるのを待って、ステップＳ６２に戻る。
【０１９０】
一方、ステップＳ６４において、誤差情報が所定の閾値ε以下であると判定された場合、判定部２０２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適圧縮データとして、送信機／記録装置１６（図２）に出力し、処理を終了する。
【０１９１】
従って、ここでは、クラスごとの予測係数は出力されない。
【０１９２】
次に、図２３は、図２１のローカルデコード部２０２２の構成例を示している。なお、図中、図１８における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部２０２２は、基本的に図１８におけるローカルデコード部１０２２と同様に構成されている。
【０１９３】
但し、図１８においては、予測係数ＲＯＭ８１がそこに記憶されているクラスごとの予測係数を、判定部２４に供給するようになっていたが、図２３では、予測係数ＲＯＭ８１は、クラスごとの予測係数を、判定部２４に供給しないようになっている。
【０１９４】
次に、図２４のフローチャートを参照して、その動作について説明する。
【０１９５】
ローカルデコード部２０２２では、ステップＳ７１乃至Ｓ７５において、図１８のステップＳ５１乃至５５における場合とそれぞれ同様の処理が行われる。そして、ステップＳ７６において、ステップＳ７５で求められた予測値のみが、誤差算出部２３に供給され、ステップＳ７１に戻り、以下、同様の処理が、例えば、１フレーム単位で繰り返される。
【０１９６】
次に、図２５は、図２１の判定部２０２４の構成例を示している。なお、図中、図１４における場合と対応する部分については、同一の符号を付してある。即ち、上述したように、ローカルデコード部２０２２からは予測係数が供給されないため、判定部２０２４には、その予測係数を記憶するための予測係数メモリ６１が設けられておらず、そのことを除けば、基本的に、図１４の判定部２４と同様に構成されている。
【０１９７】
次に、図２６のフローチャートを参照して、その動作について説明する。
【０１９８】
判定部２０２４では、ステップＳ８１乃至８５において、図１５のステップＳ４１乃至Ｓ４５における場合とそれぞれ同様の処理が行われ、これにより、誤差情報が減少するように、圧縮部２１が制御される。
【０１９９】
そして、ステップＳ８１乃至Ｓ８５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ８２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ８６に進み、制御回路６５は、補正データメモリ６２に記憶されている１フレームの補正データを、最適圧縮データとして読み出し、送信機／記録装置１６に供給して、処理を終了する。
【０２００】
その後は、次のフレームについての誤差情報が供給されるのを待って、再び、同様の処理を繰り返す。
【０２０１】
次に、図２７は、送信装置１が図２１に示したように構成される場合の受信装置４の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してある。即ち、図２７の受信装置４は、クラス分類回路７５と予測回路７６との間に予測係数ＲＯＭ１０１が新たに設けられているとともに、予測回路７６がメモリ７６Ａを内蔵していない他は、図１６における場合と基本的に同様に構成されている。
【０２０２】
送信装置１が図２１に示したように構成される場合、上述したことから、受信機／再生装置７１が出力する符号化データには、クラスごとの予測係数は含まれておらず、このため、分離部７２では、符号化データから、補正データ（最適圧縮データ）だけが抽出され、クラス分類用ブロック化回路７３および予測値計算用ブロック化回路７７に供給される。
【０２０３】
クラス分類用ブロック化回路７３、ＡＤＲＣ処理回路７４、クラス分類回路７５、または予測値計算用ブロック化回路７７では、図８におけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、クラス分類回路４５、または予測値計算用ブロック化回路４２それぞれと同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは５×５画素の予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。予測値計算用ブロックは予測回路７６に供給され、クラス情報は予測係数ＲＯＭ１０１に供給される。
【０２０４】
予測係数ＲＯＭ１０１には、図２３の予測係数ＲＯＭ８１に記憶されているクラスごとの予測係数と同一のものが記憶されており、クラス分類回路７５からクラス情報が供給されると、そのクラス情報に対応した２５×９の予測係数が読み出され、予測回路７６に供給される。
【０２０５】
予測回路７６は、予測係数ＲＯＭ１０１からの２５×９の予測係数と、予測値計算用ブロック化回路７７から供給される５×５画素の予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって、原画像の３×３画素の予測値を算出し、そのような予測値で構成される１フレームの画像を、復号画像として出力する。
【０２０６】
送信装置１が図２１に示したように構成されるとともに、受信装置４が図２７に示したように構成される場合、クラスごとの２５×９の予測係数を送受信せずに済むので、その分だけ、伝送容量または記録容量を低減することができる。
【０２０７】
なお、予測係数ＲＯＭ８１や１０１には、クラスごとの予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを、クラスごとに記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、図１８や図２３のローカルデコード部１０２２や２０２２において、予測値計算用ブロック化回路４２および予測回路８２を設けずに済むようになる。また、図２７の受信装置４においても同様に、予測値計算用ブロック化回路７７および予測回路７６を設けずに済むようになる。
【０２０８】
以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。
【０２０９】
なお、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。
【０２１０】
また、本実施の形態では、誤差情報が、所定の閾値ε以下になるまで、圧縮データの補正を繰り返し行うようにしたが、圧縮データの補正の回数には、上限を設けるようにすることも可能である。即ち、例えば、リアルタイムで画像の伝送を行う場合などにおいては、１フレームについての処理が、所定の期間内に終了することが必要であるが、誤差情報は、そのような所定の期間内に収束するとは限らない。そこで、補正の回数に上限を設けることにより、所定の期間内に、誤差情報が閾値ε以下に収束しないときは、そのフレームについての処理を終了し（そのときにおける補正データを、符号化結果とし）、次のフレームについての処理を開始するようにすることが可能である。
【０２１１】
さらに、本実施の形態においては、１フレームの画像から、例えば、クラス分類用ブロックや予測値計算用ブロックなどのブロックを構成するようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素などから構成するようにすることも可能である。
【０２１２】
また、本実施の形態では、圧縮部２１において、画像を、単純に間引き、即ち、３×３画素のブロックにおける中心画素を抽出し、これを圧縮データとするようにしたが、圧縮部２１には、その他、例えば、ブロックを構成する９画素の平均値などを求めさせ、その平均値を、ブロックにおける中心画素の画素値とすることにより、その画素数を少なくし（間引き）、これを圧縮データとするようにすることも可能である。
【０２１３】
さらに、本実施の形態では、例えば、１フレーム単位で、正規方程式をたてて、クラスごとの予測係数を求めるようにしたが、予測係数の算出処理は、その他、例えば、１フィールド単位や複数フレーム単位で正規方程式をたてて行うようにすることも可能である。他の処理についても同様である。
【０２１４】
また、本実施の形態では、図２の送信装置１を構成するＣＰＵ１４が、同じく送信装置１を構成する外部記憶装置１５に記憶されたアプリケーションプログラムを実行することで、各種の符号化処理が行われるようにしたが、これらの符号化処理は、ハードウェアによって行うことも可能である。同様に受信装置４における処理も、そのような処理を行うためのプログラムをコンピュータに実行させることによっても、またハードウェアによっても、実現可能である。
【０２１５】
【発明の効果】
請求項１に記載の画像符号化装置および請求項６に記載の画像符号化方法によれば、原画像を圧縮することにより得られる圧縮データに対して、前記圧縮データを補正するための補正値を用いた演算を施すことで前記圧縮データが補正され、補正データが出力される。さらに、補正データを、その性質に応じて所定のクラスに分類し、前記補正データの前記クラスに対応する予測係数と、その補正データとの線形結合により、前記予測値を求めることにより原画像が予測され、その予測値が出力される。そして、原画像に対する、予測値の予測誤差が算出され、その予測誤差に基づいて、補正データの適正さが判定され、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データがさらに補正され、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データが、原画像の符号化結果として出力される。
【０２１６】
請求項７に記載の画像符号化および復号化システム、並びに、請求項１０に記載の画像符号化および復号化方法によれば、画像復号化装置において、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データが、原画像の符号化結果として出力され、画像復号化装置において、補正データを含む符号化データを受信し、受信した補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより、符号化データが復号化される。
【０２１８】
請求項１１に記載の記録媒体には、原画像を、その画素数を少なくすることにより圧縮し、原画像を圧縮することにより得られる圧縮データに対して、圧縮データを補正するための補正値を用いた演算を施すことで圧縮データを補正して、補正データを出力し、補正データを、その性質に応じて所定のクラスに分類し、補正データのクラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出し、予測誤差が所定値以下であるかどうかによって、補正データの適正さを判定し、予測誤差が所定値以下でないと判定した場合、補正値と異なる補正値に基づき、圧縮データをさらに補正し、予測誤差が所定値以下であると判定した場合、予測誤差が所定値以下になったときにおける補正データを、原画像の符号化結果として出力するステップを含むプログラムが記録されている。
【０２１９】
従って、適正になった補正データにより、原画像とほぼ同一の復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の構成例を示すブロック図である。
【図３】図１の送信装置１の第１の機能的構成例を示すブロック図である。
【図４】図３の送信装置１の動作を説明するためのフローチャートである。
【図５】図３の圧縮部２１の構成例を示すブロック図である。
【図６】図５の圧縮部２１の動作を説明するためのフローチャートである。
【図７】図５の間引き回路３１の処理を説明するための図である。
【図８】図３のローカルデコード部２２の構成例を示すブロック図である。
【図９】クラス分類処理を説明するための図である。
【図１０】ＡＤＲＣ処理を説明するための図である。
【図１１】図８のローカルデコード部２２の動作を説明するためのフローチャートである。
【図１２】図３の誤差算出部２３の構成例を示すブロック図である。
【図１３】図１２の誤差算出部２３の動作を説明するためのフローチャートである。
【図１４】図３の判定部２４の構成例を示すブロック図である。
【図１５】図１４の判定部２４の動作を説明するためのフローチャートである。
【図１６】図１の受信装置４の第１の構成例を示すブロック図である。
【図１７】図１の送信装置１の第２の機能的構成例を示すブロック図である。
【図１８】図１７のローカルデコード部１０２２の構成例を示すブロック図である。
【図１９】図１８のローカルデコード部１０２２の動作を説明するためのフローチャートである。
【図２０】図１８の予測係数ＲＯＭ８１に記憶されている予測係数を算出する画像処理装置の一実施の形態の構成を示すブロック図である。
【図２１】図１の送信装置１の第３の機能的構成例を示すブロック図である。
【図２２】図２１の送信装置１の動作を説明するためのフローチャートである。
【図２３】図２１のローカルデコード部２０２２の構成例を示すブロック図である。
【図２４】図２３のローカルデコード部１０２２の動作を説明するためのフローチャートである。
【図２５】図２１の判定部２０２４の構成例を示すブロック図である。
【図２６】図２５の判定部２０２４の動作を説明するためのフローチャートである。
【図２７】図１の受信装置４の第２の構成例を示すブロック図である。
【符号の説明】
１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１ Ｉ／Ｆ， １２ ＲＯＭ， １３ ＲＡＭ， １４ ＣＰＵ， １５ 外部記憶装置， １６ 送信機／記録装置， ２１ 圧縮部， ２２ ローカルデコード部， ２３ 誤差算出部， ２４ 判定部， ２５ 多重化部， ３１ 間引き回路， ３２ 補正回路， ３３ 補正値ＲＯＭ， ４１ クラス分類用ブロック化回路， ４２ 予測値計算用ブロック化回路， ４３ クラス分類適応処理回路， ４４ ＡＤＲＣ処理回路， ４５ クラス分類回路， ４６ 適応処理回路， ５１ ブロック化回路， ５２ 自乗誤差算出回路， ５３，５４ 演算器， ５５ 積算部， ５６ メモリ， ６１ 予測係数メモリ， ６２ 補正データメモリ， ６３ 誤差情報メモリ， ６４ 比較回路， ６５ 制御回路， ７１ 受信機／再生装置， ７２ 分離部， ７３ クラス分類用ブロック化回路， ７４ ＡＤＲＣ処理回路， ７５ クラス分類回路， ７６ 予測回路， ７６Ａ メモリ， ７７ 予測値計算用ブロック化回路， ８１ 予測係数ＲＯＭ， ８２ 予測回路， ９１ 学習用ブロック化回路， ９２ 教師用ブロック化回路， ９３ ＡＤＲＣ処理回路， ９４ クラス分類回路， ９５スイッチ， ９６ 学習データメモリ， ９７ カウンタ， ９８ 教師データメモリ， ９９ 演算回路， １００ メモリ， １０１ 予測係数ＲＯＭ，１０２２，２０２２ ローカルデコード部， ２０２４ 判定部
Claims (11)
- 画像を符号化する画像符号化装置であって、
原画像を、その画素数を少なくすることにより圧縮する圧縮手段と、
前記原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段と、
前記補正データに基づいて、前記原画像を予測し、その予測値を出力する予測手段と、
前記原画像に対する、前記予測値の予測誤差を算出する算出手段と、
前記予測誤差に基づいて、前記補正手段が出力する前記補正データの適正さを判定する判定手段と、
前記判定手段による判定結果に対応して、前記補正データを、前記原画像の符号化結果として出力する出力手段と
を備え、
前記補正手段は、
前記圧縮データを補正するための補正値を記憶している記憶手段を有し、
前記圧縮データに対して、前記補正値を用いた演算を施すことで前記圧縮データを補正し、
前記予測手段は、
前記補正データを、その性質に応じて所定のクラスに分類する分類手段と、
前記補正データの前記クラスに対応する予測係数と、その補正データとの線形結合により、前記予測値を求める予測値演算手段と
を有し、
前記判定手段は、
前記予測誤差が所定値以下であるかどうかによって、前記補正データの適正さを判定し、
前記予測誤差が所定値以下であると判定した場合、前記出力手段に、前記予測誤差が所定値以下になったときにおける前記補正データを出力させ、
前記予測誤差が所定値以下でないと判定した場合、前記補正手段に、前記補正値と異なる補正値に基づき、前記圧縮データをさらに補正させる
ことを特徴とする画像符号化装置。 - 前記予測手段は、
前記予測係数を、前記クラスごとに求める予測係数演算手段を有し、
前記予測係数演算手段は、あるクラスについての学習用の画像データである前記補正データと教師用の画像データである前記原画像とを用いて、前記補正データに基づいた予測値と前記原画像との予測誤差を、最小自乗法により最小とする学習を行うことにより、前記予測係数を求める
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記出力手段は、前記補正データとともに、前記クラスごとの前記予測係数も出力する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記予測手段は、前記予測係数を、所定のクラスごとに記憶している記憶手段を有し、
前記予測係数は、あらかじめ用意した画像データから、前記原画像に対応する教師用データと、前記補正データに対応する学習用データを生成し、前記学習用データに基づいた予測値と、前記教師用データとの予測誤差を最小自乗法により最小とする学習を行うことにより、あらかじめ生成されたものである
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記出力手段は、前記補正データとともに、前記クラスごとの前記予測係数も出力する
ことを特徴とする請求項４に記載の画像符号化装置。 - 画像を符号化する画像符号化方法であって、
原画像を、その画素数を少なくすることにより圧縮し、
前記原画像を圧縮することにより得られる圧縮データに対して、前記圧縮データを補正するための補正値を用いた演算を施すことで前記圧縮データを補正して、補正データを出力し、
前記補正データを、その性質に応じて所定のクラスに分類し、前記補正データの前記クラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより前記原画像を予測して、その予測値を出力し、
前記原画像に対する、前記予測値の予測誤差を算出し、
前記予測誤差が所定値以下であるかどうかによって、前記補正データの適正さを判定し、
前記予測誤差が所定値以下でないと判定した場合、前記補正値と異なる補正値に基づき、前記圧縮データをさらに補正し、
前記予測誤差が所定値以下であると判定した場合、前記予測誤差が所定値以下になったときにおける前記補正データを、前記原画像の符号化結果として出力する
ことを特徴とする画像符号化方法。 - 画像を符号化する画像符号化装置と、前記画像を符号化した符号化データを復号化する画像復号化装置とからなる画像符号化および復号化システムであって、
前記画像符号化装置は、
原画像を、その画素数を少なくすることにより圧縮する圧縮手段と、
前記原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段と、
前記補正データに基づいて、前記原画像を予測し、その予測値を出力する予測手段と、前記原画像に対する、前記予測値の予測誤差を算出する算出手段と、
前記予測誤差に基づいて、前記補正手段が出力する前記補正データの適正さを判定する判定手段と、
前記判定手段による判定結果に対応して、前記補正データを、前記原画像の符号化結果として出力する出力手段と
を備え、
前記補正手段は、
前記圧縮データを補正するための補正値を記憶している記憶手段を有し、
前記圧縮データに対して、前記補正値を用いた演算を施すことで前記圧縮データを補正し、
前記予測手段は、
前記補正データを、その性質に応じて所定のクラスに分類する分類手段と、
前記補正データの前記クラスに対応する予測係数と、その補正データとの線形結合により、前記予測値を求める予測値演算手段とを有し、
前記判定手段は、
前記予測誤差が所定値以下であるかどうかによって、前記補正データの適正さを判定し、
前記予測誤差が所定値以下であると判定した場合、前記出力手段に、前記予測誤差が所定値以下になったときにおける前記補正データを出力させ、
前記予測誤差が所定値以下でないと判定した場合、前記補正手段に、前記補正値と異なる補正値に基づき、前記圧縮データをさらに補正させ、
前記画像復号化装置は、
前記補正データを含む前記符号化データを受信する受信手段と、
前記符号化データを復号化する復号化手段と
を備え、
前記復号化手段は、
前記補正データを、その性質に応じて所定のクラスに分類する分類手段と、
前記補正データの前記クラスに対応する予測係数と、その補正データとの線形結合により、前記予測値を求める予測値演算手段と
を有する
ことを特徴とする画像符号化および復号化システム - 前記出力手段は、前記補正データとともに、前記クラスごとの前記予測係数も出力し、
前記符号化データは、前記補正データとの線形結合により前記予測値を算出するための、所定のクラスごとの予測係数も含んでおり、
前記復号化手段は、
前記補正データを、その性質に応じて所定のクラスに分類する分類手段と、
前記補正データの前記クラスに対応する予測係数と、その補正データとの線形結合により、前記予測値を求める予測値演算手段と
を有する
ことを特徴とする請求項７に記載の画像符号化および復号化システム。 - 前記復号化手段は、
前記補正データとの線形結合により前記予測値を算出するための予測係数を、所定のクラスごとに記憶している記憶手段と、
前記補正データを、その性質に応じて前記所定のクラスのいずれかに分類する分類手段と、
前記補正データの前記クラスについての前記予測係数を前記記憶手段から読み出し、その予測係数と前記補正データとから、前記予測値を求める予測値演算手段と
を有する
ことを特徴とする請求項７に記載の画像符号化および復号化システム。 - 画像を符号化する画像符号化装置と、前記画像を符号化した符号化データを復号化する画像復号化装置とからなる画像符号化および復号化システムによる画像符号化および復号化方法であって、
前記画像符号化装置が、
原画像を、その画素数を少なくすることにより圧縮し、
前記原画像を圧縮することにより得られる圧縮データに対して、前記圧縮データを補正するための補正値を用いた演算を施すことで前記圧縮データを補正して、補正データを出力し、
前記補正データを、その性質に応じて所定のクラスに分類し、前記補正データの前記クラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより前記原画像を予測して、その予測値を出力し、
前記原画像に対する、前記予測値の予測誤差を算出し、
前記予測誤差が所定値以下であるかどうかによって、前記補正データの適正さを判定し、
前記予測誤差が所定値以下でないと判定した場合、前記補正値と異なる補正値に基づき、前記圧縮データをさらに補正し、
前記予測誤差が所定値以下であると判定した場合、前記予測誤差が所定値以下になったときにおける前記補正データを、前記原画像の符号化結果として出力し、
前記画像復号化装置が、
前記補正データを含む前記符号化データを受信し、
受信した前記補正データを、その性質に応じて所定のクラスに分類し、前記補正データの前記クラスに対応する予測係数と、その補正データとの線形結合により、前記予測値 を求めることにより、前記符号化データを復号化する
ことを特徴とする画像符号化および画像復号化方法。 - コンピュータに実行させるプログラムが記録されている記録媒体であって、
原画像を、その画素数を少なくすることにより圧縮し、
前記原画像を圧縮することにより得られる圧縮データに対して、前記圧縮データを補正するための補正値を用いた演算を施すことで前記圧縮データを補正して、補正データを出力し、
前記補正データを、その性質に応じて所定のクラスに分類し、前記補正データの前記クラスに対応する予測係数と、その補正データとの線形結合により、予測値を求めることにより前記原画像を予測して、その予測値を出力し、
前記原画像に対する、前記予測値の予測誤差を算出し、
前記予測誤差が所定値以下であるかどうかによって、前記補正データの適正さを判定し、
前記予測誤差が所定値以下でないと判定した場合、前記補正値と異なる補正値に基づき、前記圧縮データをさらに補正し、
前記予測誤差が所定値以下であると判定した場合、前記予測誤差が所定値以下になったときにおける前記補正データを、前記原画像の符号化結果として出力する
ステップを含むプログラムが記録されていることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20848397A JP3912628B2 (ja) | 1996-07-17 | 1997-07-17 | 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20655296 | 1996-07-17 | ||
| JP8-206552 | 1996-07-17 | ||
| JP20848397A JP3912628B2 (ja) | 1996-07-17 | 1997-07-17 | 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006200060A Division JP4496494B2 (ja) | 1996-07-17 | 2006-07-21 | 画像符号化装置および画像符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1093980A JPH1093980A (ja) | 1998-04-10 |
| JP3912628B2 true JP3912628B2 (ja) | 2007-05-09 |
Family
ID=26515711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20848397A Expired - Fee Related JP3912628B2 (ja) | 1996-07-17 | 1997-07-17 | 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3912628B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006340386A (ja) * | 1996-07-17 | 2006-12-14 | Sony Corp | 画像符号化装置および画像符号化方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69931597T2 (de) * | 1998-09-18 | 2007-05-24 | Sony Corp. | Vorrichtung und verfahren zur datenumsetzung sowie entsprechender aufzeichnungsträger |
| JP2001339724A (ja) * | 2000-05-30 | 2001-12-07 | Sony Corp | 画像符号化装置および方法、並びに記録媒体 |
-
1997
- 1997-07-17 JP JP20848397A patent/JP3912628B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006340386A (ja) * | 1996-07-17 | 2006-12-14 | Sony Corp | 画像符号化装置および画像符号化方法 |
| JP4496494B2 (ja) * | 1996-07-17 | 2010-07-07 | ソニー株式会社 | 画像符号化装置および画像符号化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1093980A (ja) | 1998-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3912627B2 (ja) | 画像符号化装置および画像符号化方法、並びに伝送方法 | |
| JP3748088B2 (ja) | 画像処理装置および方法、並びに学習装置および方法 | |
| RU2314656C2 (ru) | Внутреннее кодирование, основанное на пространственном прогнозировании | |
| JP3915855B2 (ja) | 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 | |
| EP0820198B1 (en) | Apparatus and method for image coding and decoding | |
| EP0825776B1 (en) | Image coding using sub-sampling, classification of pixel blocks and association of mapping coefficients | |
| KR100504415B1 (ko) | 화상부호화장치,화상부호화방법,화상복호장치,화상복호방법및기록매체 | |
| JP3747970B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| JP3912628B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体 | |
| JP4534951B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP4496494B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JP4582416B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JP3844031B2 (ja) | 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法 | |
| JP3912629B2 (ja) | 画像処理システム、画像符号化装置および画像符号化方法、伝送方法、並びに記録媒体 | |
| JP3952326B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JPH08307835A (ja) | クラス分類適応処理装置および方法 | |
| KR100674068B1 (ko) | 화상 코딩 장치, 화상 코딩 방법, 화상 디코딩 방법, 화상디코딩 장치, 화상 데이터 전송 방법 및 기록 매체 | |
| JP4487900B2 (ja) | 画像処理システム | |
| EP1298934A1 (en) | Apparatus and method for image coding and decoding | |
| KR100598754B1 (ko) | 원 화상 데이타 부호화 장치, 부호화 화상 데이타 복호화 장치, 원 화상 데이타 부호화 방법, 부호화 화상 데이타 복호화 방법, 화상 데이타 송신 방법, 컴퓨터로 판독 가능한 기록 매체 | |
| JP4016249B2 (ja) | 画像符号化装置および符号化方法、画像復号装置および復号方法、記録媒体、プログラム、並びに、画像処理システム | |
| JP2001339724A (ja) | 画像符号化装置および方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050819 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050826 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060522 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070125 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140209 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |