JP3915855B2 - 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 - Google Patents
画像符号化装置および画像符号化方法、並びに学習装置および学習方法 Download PDFInfo
- Publication number
- JP3915855B2 JP3915855B2 JP35042597A JP35042597A JP3915855B2 JP 3915855 B2 JP3915855 B2 JP 3915855B2 JP 35042597 A JP35042597 A JP 35042597A JP 35042597 A JP35042597 A JP 35042597A JP 3915855 B2 JP3915855 B2 JP 3915855B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- compressed data
- error
- value
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、並びに学習装置および学習方法に関し、特に、原画像とほぼ同一の復号画像が得られるように、画像を、例えば間引くことにより符号化する画像符号化装置および画像符号化方法、並びに学習装置および学習方法に関する。
【０００２】
【従来の技術】
従来より、画像の符号化方法については、種々の方法が提案されているが、そのうちの１つに、例えば、画像を、その画素を間引くこと（subsampling）により圧縮符号化する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このように間引いて圧縮した画像（上位階層の画像）を、単純な補間（例えば、周辺画素の予約値など）により伸張した場合、その結果得られる復号画像（下位階層の画像）の解像度が劣化する。
【０００４】
ここで、このように復号画像の解像度が劣化する原因として、第１に、間引い画像には、元の画像に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像を構成する画素の画素値が、元の画像を復元するのに、必ずしも適当でないことが考えられる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、原画像と同一（ほぼ同一）の復号画像が得られるように、画像を間引いて、迅速に圧縮符号化することができるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、原画像を、その画素数を少なくすることにより圧縮し、圧縮データとする圧縮手段と、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスに対応して、原画像を予測し、その予測値を求める予測手段と、原画像に対する、予測値の予測誤差を算出する予測誤差算出手段と、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定する誤差曲線推定手段と、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求める誤差最小データ算出手段と、誤差最小データ算出手段が出力する圧縮データを、原画像の符号化結果として出力する出力手段とを備えることを特徴とする。
【０００７】
請求項５に記載の画像符号化方法は、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスに対応して、原画像を予測し、その予測値を求め、原画像に対する、予測値の予測誤差を算出し、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求め、その圧縮データを、原画像の符号化結果として出力することを特徴とする。
【０００９】
請求項６に記載の学習装置は、原画像を、その画素数を少なくすることにより圧縮し、圧縮データとする圧縮手段と、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスを出力するクラス分類手段と、圧縮データの画素値を複数の値に変化させ、その複数の値に変化させた圧縮データの画素値と原画像の画素値とを用いて、複数の値それぞれについて、予測値と原画像の画素値との予測誤差を最小にする予測係数を、クラスごとに求める予測係数演算手段と、圧縮データと予測係数との線形結合により、複数の値それぞれについての予測値を求める予測値演算手段と、複数の値それぞれについて、原画像に対する、予測値の予測誤差を算出する予測誤差算出手段と、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定する誤差曲線推定手段と、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求める誤差最小データ算出手段と、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データと、原画像の画素値とを用いて、予測値と原画像の画素値との予測誤差を最小にする予測係数が予測係数演算手段によってさらに求められ、その求められた予測係数を出力する出力手段とを備えることを特徴とする。
【００１０】
請求項８に記載の学習方法は、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスを出力し、圧縮データの画素値を複数の値に変化させ、その複数の値に変化させた圧縮データの画素値と原画像の画素値とを用いて、複数の値それぞれについて、予測値と原画像の画素値との予測誤差を最小にする予測係数を、クラスごとに求め、その予測係数と圧縮データとの線形結合により、複数の値それぞれについての予測値を求め、複数の値それぞれについて、原画像に対する、予測値の予測誤差を算出し、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データと、原画像の画素値とを用いて、予測値と原画像の画素値との予測誤差を最小にする予測係数がさらに求められ、その求められた予測係数を出力することを特徴とする。
請求項９に記載の画像符号化装置は、原画像を、その画素数を少なくすることにより圧縮し、圧縮データとする圧縮手段と、圧縮データに基づいて、原画像を予測し、その予測値を求める予測手段と、原画像に対する、予測値の予測誤差を算出する予測誤差算出手段と、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定する誤差曲線推定手段と、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求める誤差最小データ算出手段と、誤差最小データ算出手段が出力する圧縮データを、原画像の符号化結果として出力する出力手段とを備えることを特徴とする。
請求項１０に記載の画像符号化方法は、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、圧縮データに基づいて、原画像を予測して、その予測値を求め、原画像に対する、予測値の予測誤差を算出し、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求め、その圧縮データを、原画像の符号化結果として出力することを特徴とする。
【００１１】
請求項１に記載の画像符号化装置においては、圧縮手段は、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、予測手段は、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスに対応して、原画像を予測し、その予測値を求めるようになされている。予測誤差算出手段は、原画像に対する、予測値の予測誤差を算出し、誤差曲線推定手段は、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定するようになされている。誤差最小データ算出手段は、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求め、出力手段は、誤差最小データ算出手段が出力する圧縮データを、原画像の符号化結果として出力するようになされている。
【００１２】
請求項５に記載の画像符号化方法においては、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスに対応して、原画像を予測し、その予測値を求め、原画像に対する、予測値の予測誤差を算出し、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求め、その圧縮データを、原画像の符号化結果として出力するようになされている。
【００１４】
請求項６に記載の学習装置においては、圧縮手段は、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとするようになされている。クラス分類手段は、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスを出力し、予測係数演算手段は、圧縮データの画素値を複数の値に変化させ、その複数の値に変化させた圧縮データの画素値と原画像の画素値とを用いて、複数の値それぞれについて、予測値と原画像の画素値との予測誤差を最小にする予測係数を、クラスごとに求めるようになされている。予測値演算手段は、圧縮データと予測係数との線形結合により、複数の値それぞれについての予測値を求め、予測誤差算出手段は、複数の値それぞれについて、原画像に対する、予測値の予測誤差を算出するようになされている。誤差曲線推定手段は、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差最小データ算出手段は、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求めるようになされている。出力手段は、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データと、原画像の画素値とを用いて、予測値と原画像の画素値との予測誤差を最小にする予測係数が予測係数演算手段によってさらに求められ、その求められた予測係数を出力するようになされている。
【００１５】
請求項８に記載の学習方法においては、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスを出力し、圧縮データの画素値を複数の値に変化させ、その複数の値に変化させた圧縮データの画素値と原画像の画素値とを用いて、複数の値それぞれについて、予測値と原画像の画素値との予測誤差を最小にする予測係数を、クラスごとに求め、その予測係数と圧縮データとの線形結合により、複数の値それぞれについての予測値を求め、複数の値それぞれについて、原画像に対する、予測値の予測誤差を算出し、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データと、原画像の画素値とを用いて、予測値と原画像の画素値との予測誤差を最小にする予測係数がさらに求められ、その求められた予測係数を出力するようになされている。
請求項９に記載の画像符号化装置においては、圧縮手段は、原画像、その画素数を少なくすることにより圧縮して、圧縮データとし、予測手段は、圧縮データに基づいて、原画像を予測し、その予測値を求める。予測誤差算出手段は、原画像に対する、予測値の予測誤差を算出し、誤差曲線推定手段は、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定する。誤差最小データ算出手段は、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求め、出力手段は、誤差最小データ算出手段が出力する圧縮データを、原画像の符号化結果として出力する。
請求項１０に記載の画像符号化方法においては、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、圧縮データに基づいて、原画像を予測して、その予測値を求め、原画像に対する、予測値の予測誤差を算出し、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求め、その圧縮データを、原画像の符号化結果として出力するようになされている。
【００２５】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示している。
【００２６】
送信装置１には、ディジタル化された画像データが供給されるようになされている。送信装置１は、入力された画像データを間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。
【００２７】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが伸張、復号化される。そして、その結果得られる復号画像が、図示せぬディスプレイに供給されて表示される。
【００２８】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、送信装置１が出力する符号化データのデータ量は少ないため、図１の画像処理装置は、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００２９】
図２は、図１の送信装置１の構成例を示している。
【００３０】
Ｉ／Ｆ（InterFace）１１は、外部から供給される画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行うようになされている。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムにしたがい、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置１５は、例えば、磁気ディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
【００３１】
なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。
【００３２】
以上のように構成される送信装置１においては、Ｉ／Ｆ１１に画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データを、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００３３】
図３は、図２の送信装置１の、送信機／記録装置１６を除く部分の機能的な構成例を示している。
【００３４】
符号化すべき画像データは、圧縮部２１、ローカルデコード部２２、および誤差算出部２３に供給されるようになされている。圧縮部２１は、画像データを、例えば、単純に間引くことにより圧縮し、その結果得られる圧縮データ（間引きが行われた後の画像データ）を、判定部２４からの制御にしたがって補正するようになされている。圧縮部２１における補正の結果得られる補正データは、ローカルデコード部２２および判定部２４に供給するようになされている。
【００３５】
ローカルデコード部２２は、圧縮部２１からの補正データに基づいて、元の画像を予測し、その予測値を、誤差算出部２３に供給するようになされている。なお、ローカルデコード部２２は、後述するように、補正データと元の画像データとを用いて、その補正データとの線形結合により、予測値を算出するための、所定のクラスごとの予測係数を求める処理を行い、その予測係数に基づいて、予測値を求める適応処理を行うようになされている。そして、ローカルデコード部２２は、上述したように、予測値を、誤差算出部２３に供給する他、そのとき求めたクラスごとの予測係数を、判定部２４に供給するようにもなされている。
【００３６】
誤差算出部２３は、そこに入力される、元の画像データ（原画像）に対する、ローカルデコード部２２からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部２４に供給されるようになされている。
【００３７】
判定部２４は、誤差算出部２３からの誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定するようになされている。そして、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、圧縮部２１を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、圧縮部２１から供給された補正データを、最適な圧縮データ（以下、適宜、最適圧縮データという）として多重化部２５に供給するとともに、ローカルデコード部２２から供給されたクラスごとの予測係数を多重化部２５に供給するようになされている。
【００３８】
多重化部２５は、判定部２４からの最適圧縮データ（補正データ）と、クラスごとの予測係数とを多重化し、その多重化結果を、符号化データとして、送信機／記録装置１６（図２）に供給するようになされている。
【００３９】
次に、図４のフローチャートを参照して、その動作について説明する。圧縮部２１に対して、画像データが供給されると、圧縮部２１は、ステップＳ１において、その画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２２および判定部２４に出力する。
【００４０】
ここで、圧縮部２１は、入力された画像データを１／Ｎに間引くことにより圧縮データとするようになされている。即ち、圧縮部２１は、ここでは、例えば、図５に示すように、画像データを、例えば、１／９に間引くようになされている。具体的には、圧縮部２１は、３×３（横×縦）の９画素を１単位とし、各単位の中心の画素（同図において、●印で示す部分）についての画素値のみを抽出し、他の部分（同図において、○印で示す部分）を削除する。あるいは、３×３の９画素の平均値などを計算し、それを、３×３画素のうちの中心にある画素の画素値とする。従って、この場合、圧縮率は１／９である。
【００４１】
なお、圧縮部２１は、以上のような処理を、例えば、１フレーム（または１フィールド）単位で行うようになされている。
【００４２】
図４に戻り、ローカルデコード部２２では、ステップＳ２において、圧縮部２１からの補正データ（ここでは、最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）がローカルデコードされる（画素数の少ない上位階層の画像が、画素数の多い下位階層の画像にマッピングされる）。
【００４３】
即ち、ステップＳ２では、圧縮部２１からの補正データと元の画像データとを用いて、その補正データとの線形結合により、元の画像の予測値を算出するための、クラスごとの予測係数を求める処理が行われ、その予測係数に基づいて、予測値が求められる。ローカルデコード部２２において求められた予測値は誤差算出部２３に、また、クラスごとの予測係数は、判定部２４に供給される。
【００４４】
ここで、ローカルデコード部２２が出力する予測値で構成される画像は、受信装置４（図１）側において得られる復号画像と同一のものである。
【００４５】
誤差算出部２３は、ローカルデコード部２２から、元の画像の予測値を受信すると、ステップＳ３において、元の画像データに対する、ローカルデコード部２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。即ち、誤差算出部２３は、例えば、元の画像データから、予測値を減算することを、画素単位で行い、その２乗和を求め、これを、誤差情報として、判定部２４に供給する。
【００４６】
判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定する。
【００４７】
即ち、ステップＳ４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化データとするのは適正でないと認識され、ステップＳ５に進み、判定部２４は、圧縮部２１を制御し、これにより、圧縮データを補正させる。圧縮部２１は、判定部２４の制御にしたがって、圧縮データを補正（元の画像を間引いて得られる画像を構成する画素の画素値を補正）し、その結果得られる補正データを、ローカルデコード部２２および判定部２４に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００４８】
一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化結果とするのは適正であると認識され、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適圧縮データとして、クラスごとの予測係数とともに、多重化部２５に出力する。多重化部２５では、ステップＳ６において、判定部２４からの最適圧縮データとクラスごとの予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
【００４９】
以上のように、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データを、元の画像の符号化結果とするようにしたので、受信装置４側においては、その補正データに基づいて、元の画像（原画像）とほぼ同一の画像を得ることが可能となる。
【００５０】
次に、図６は、図３のローカルデコード部２２の構成例を示している。
【００５１】
圧縮部２１からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、例えば注目補正データを中心としたクラス分類用ブロックにブロック化するようになされている。
【００５２】
即ち、いま、図５において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（画素）（図中、●印で示す部分）をＸijと表すとすると、クラス分類用ブロック化回路４１は、注目補正データＸijの左上、上、右上、左、右、左下、下、右下に隣接する８つの画素Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラス分類用ブロックを構成するようになされている。このクラス分類用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００５３】
なお、この場合、クラス分類用ブロックは、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。
【００５４】
予測値計算用ブロック化回路４２は、補正データを、元の画像の予測値を計算するための単位である、例えば注目補正データを中心とした予測値計算用ブロックにブロック化するようになされている。即ち、いま、図５において、補正データＸij（図中、●印で示す部分）を中心とする、元の画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すとすると、画素Ｙij（１）乃至Ｙij（９）の予測値の計算のために、予測値計算用ブロック化回路４２は、例えば、注目補正データＸijを中心とする５×５の２５画素Ｘ(i-2)(j-2)，Ｘ(i-2)(j-1)，Ｘ(i-2)j，Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，Ｘ(i-1)(j-2)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi(j-2)，Ｘi(j-1)，Ｘij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j-2)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)，Ｘ(i+1)(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，Ｘ(i+2)j，Ｘ(i+2)(j+1)，Ｘ(i+2)(j+2)で構成される正方形状の予測値計算用ブロックを構成するようになされている。
【００５５】
具体的には、例えば、図５において四角形で囲む、元の画像における画素Ｙ33（１）乃至Ｙ33（９）の９画素の予測値の計算のためには、画素Ｘ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55により、予測値計算用ブロックが構成される（この場合の注目補正データは、Ｘ33となる）。
【００５６】
予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００５７】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【００５８】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠部分を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【００５９】
クラス分類適応処理回路４３は、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路、クラス分類回路４５、および適応処理回路４６で構成され、クラス分類適応処理を行うようになされている。
【００６０】
クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【００６１】
ここで、クラス分類処理および適応処理について簡単に説明する。
【００６２】
まず、クラス分類処理について説明する。
【００６３】
いま、例えば、図７（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、注目画素を含む２×２の４画素のブロックは、各画素のレベル分布により、図７（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。従って、いまの場合、注目画素は、１６のパターンに分類することができ、このようなパターン分けが、クラス分類処理であり、クラス分類回路４５において行われる。
【００６４】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【００６５】
ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、３×３の９画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【００６６】
そこで、ここでは、ＡＤＲＣ処理回路４４において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を小さくすることで、クラス数を削減するようになされている。
【００６７】
即ち、例えば、いま、説明を簡単にするため、図８（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、そのブロック内における画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００６８】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算して、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換する。具体的には、例えば、Ｋ＝２とした場合、図８（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【００６９】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【００７０】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００７１】
ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理回路４４において行われるようになされている。
【００７２】
なお、本実施の形態では、クラス分類回路４５において、ＡＤＲＣ処理回路４４から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【００７３】
次に、適応処理について説明する。
【００７４】
例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００７５】
【００７６】
式（１）を一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【００７７】
【００７８】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００７９】
【００８０】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００８１】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００８２】
【数４】
【００８３】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００８４】
【数５】
【００８５】
式（４）および（５）より、式（６）が得られる。
【００８６】
【数６】
【００８７】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００８８】
【数７】
【００８９】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００９０】
以上のようにして、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、適応処理回路４６において行われるようになされている。
【００９１】
なお、適応処理は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理は、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【００９２】
次に、図９のフローチャートを参照して、図６のローカルデコード部２２の処理について説明する。
【００９３】
ローカルデコード部２２においては、まず最初に、ステップＳ２１において、圧縮部２１からの補正データがブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、注目補正データを中心とする３×３画素のクラス分類用ブロックにブロック化され、クラス分類適応処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが、注目補正データを中心とする５×５画素の予測値計算用ブロックにブロック化され、クラス分類適応処理回路４３に供給される。
【００９４】
クラス分類適応処理回路４３には、上述したように、クラス分類用ブロックおよび予測値計算用ブロックの他、元の画像データが供給されるようになされており、クラス分類用ブロックはＡＤＲＣ処理部４４に、予測値計算用ブロックおよび元の画像データは適応処理回路４６に供給される。
【００９５】
ＡＤＲＣ処理回路４４は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路４５に出力する。クラス分類回路４５は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックから、クラス分類処理を施す。即ち、ＡＤＲＣ処理が施されたクラス分類用ブロックを構成する各画素のレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロックを構成する注目補正データ（中心に配置された補正データ）のクラス）を判定する。このクラスの判定結果は、クラス情報として、適応処理回路４６に供給される。
【００９６】
なお、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロック全体を対象に、クラス分類処理が施されるとした場合、各クラス分類用ブロックは、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【００９７】
そして、ステップＳ２４に進み、適応処理回路４６において、クラス分類回路４５からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、クラスごとの予測係数および１フレームの元の画像データ（原画像データ）の予測値が算出される。
【００９８】
即ち、本実施の形態においては、例えば、クラスごとに２５×９個の予測係数が、１フレーム分の原画像データおよび補正データから算出される。さらに、ある１つの補正データに注目した場合に、その注目補正データに対応する元画像の画素と、その画素の周りに隣接する８個の元画像の画素の、合計９個の画素についての予測値が、注目補正データのクラス情報に対応する２５×９個の予測係数と、その注目補正データを中心とする５×５画素でなる予測値計算用ブロックとを用いて、適応処理が行われることにより算出される。
【００９９】
具体的には、例えば、いま、図５に示した補正データ（注目補正データ）Ｘ33を中心とする３×３の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４５から出力され、また、そのクラス分類用ブロックに対応する予測値計算用ブロックとして、補正データＸ33を中心とする５×５画素の補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、元の画像における、補正データＸ33を中心とする３×３画素（図５において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）を、教師データとして、式（７）に示した正規方程式がたてられる。
【０１００】
さらに、所定期間としての、例えば、１フレームの中で、同一のクラス情報Ｃにクラス分類されるクラス分類用ブロックに対応する、他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ33（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ33（ｋ）］を求めるための予測係数ｗ1（ｋ）乃至ｗ25（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データが２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ33（ｋ）の予測値Ｅ［Ｙ33（ｋ）］を求めるのに最適な予測係数ｗ1（ｋ）乃至ｗ25（ｋ）が算出される。この処理は、各クラスごとに行われ、これにより、各クラスごとに、２５×９の予測係数が算出される（２５個の補正データを用いて、９個の予測値を求めるため、各クラスについての予測係数の数は、２５×９個となる）。
【０１０１】
そして、クラス情報Ｃについての予測係数と予測値計算用ブロックとを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ33（ｋ）］が求められる。
【０１０２】
【０１０３】
ステップＳ２４では、以上のようにして、２５×９の予測係数が、クラスごとに求められ、そのクラスごとの予測係数を用いて、注目補正データを中心とする３×３の原画像の画素の予測値が求められる。
【０１０４】
その後、ステップＳ２５に進み、クラスごとの２５×９の予測係数は判定部２４に供給され、３×３の予測値は誤差算出部２３に供給される。そして、ステップＳ２１に戻り、以下同様の処理が、例えば、１フレーム（または１フィールド）単位で繰り返される。
【０１０５】
ところで、図４の実施の形態では、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データを、元の画像の符号化結果とするようにしたが、この場合、一般には、所定の閾値εを大きくすれば、ステップＳ２乃至Ｓ５の繰り返し回数は少なくなり、処理速度は向上するが、受信装置４側において得られる復号画像の画質は劣化する。
【０１０６】
復号画像の画質の観点からは、閾値εは、元の画像から得られる誤差情報の最小値以上の値であって、その最小値に限りなく近い値であるのが最も好ましく、この場合、図３の送信装置１においては、実質的に、例えば、図１０に示すフローチャートにしたがった処理を行う必要がある。
【０１０７】
即ち、この場合、まず最初に、ステップＳ３１において、図４のステップＳ１における場合と同様にして、圧縮部２１によって、圧縮データが生成され、ステップＳ３２に進む。ステップＳ３２では、圧縮部２１において、圧縮データのうちの１つ（１画素）が、補正対象画素として選択され、ステップＳ３３に進み、補正対象画素の画素値Ｘに、初期値としての、例えば、０が設定される。ここで、圧縮データは、例えば、０乃至ＸMAX（＞０）の範囲の整数値をとるものとする。また、以下、適宜、圧縮データで構成される１フレーム（または１フィールド）の画像を、圧縮画像という。
【０１０８】
補正対象画素を含む圧縮画像は、補正データとして、圧縮部２１から、ローカルデコード部２２および判定部２４に対して供給される。ローカルデコード部２２では、圧縮部２１から補正データを受信すると、ステップＳ３４において、上述したようにして、その補正データと元の画像データを用いて、クラスごとの予測係数が求められ、さらに、その予測係数を用いて、補正データがローカルデコードされる。そして、ローカルデコードの結果得られる予測値は誤差算出部２３に、また、クラスごとの予測係数は判定部２４に供給される。
【０１０９】
誤差算出部２３では、ステップＳ３５において、図４のステップＳ３における場合と同様にして、元の画像データに対する、ローカルデコード部２２からの予測値の予測誤差が算出され、誤差情報として、判定部２４に供給される。判定部２４は、ステップＳ３６において、この誤差情報を記憶するとともに、圧縮部２１から供給される補正データのうちの、補正対象画素だけを記憶し、さらに、補正対象画素の画素値Ｘを、１だけインクリメントするように、圧縮部２１を制御する。
【０１１０】
圧縮部２１は、ステップＳ３７において、判定部２４からの制御にしたがって、補正対象画素の画素値Ｘを１だけインクリメントし、その補正対象画素を含む圧縮画像を、補正データとして、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２は、ステップＳ３８において、ステップＳ３４における場合と同様に、圧縮部２１からの補正データを用いて、クラスごとの予測係数と予測値とが求められる。そして、予測値または予測係数は、誤差算出部２３または判定部２４にそれぞれ供給される。
【０１１１】
誤差算出部２３では、ステップＳ３９において、ステップＳ３５における場合と同様にして、予測誤差が算出され、誤差情報として、判定部２４に供給される。判定部２４は、ステップＳ４０において、今回のステップＳ３９で求められた誤差情報（以下、適宜、今回の誤差情報という）が、判定部２４で記憶されている誤差情報（以下、適宜、記憶誤差情報という）よりも小さいかどうかを判定する。
【０１１２】
ステップＳ４０において、今回の誤差情報が、記憶誤差情報よりも小さいと判定された場合、ステップＳ４１に進み、判定部２４は、今回の誤差情報を、いま記憶している記憶誤差情報に替えて、新たな記憶誤差情報として記憶する。さらに、判定部２４は、圧縮部２１から供給される補正データのうちの、補正対象画素の画素値Ｘを、いままで記憶していた、その補正対象画素の画素値に替えて記憶し、ステップＳ４２に進む。
【０１１３】
一方、ステップＳ４０において、今回の誤差情報が、記憶誤差情報よりも小さくないと判定された場合、ステップＳ４１をスキップして、ステップＳ４２に進み、圧縮部２１において、補正対象画素の画素値Ｘが、最大値ＸMAXに等しいかどうかが判定される。ステップＳ４２において、補正対象画素の画素値Ｘが、最大値ＸMAXに等しくないと判定された場合、即ち、画素値Ｘが最大値ＸMAX未満の場合、ステップＳ３７に戻り、以下、ステップＳ３７乃至Ｓ４２の処理が繰り返される。
【０１１４】
従って、判定部２４においては、補正対象画素以外の圧縮データを固定して、補正対象画素の画素値Ｘを変化させた場合に得られる最小の誤差情報と、その最小の誤差情報が得られる場合の補正対象画素の画素値Ｘが記憶される。なお、判定部２４では、ある画素（圧縮データ）が補正対象画素とされた場合における記憶誤差情報は、その画素以外の画素が補正対象画素とされたときに削除されるが、画素値Ｘは、いま、符号化の対象となっているフレーム（またはフィールド）の処理が終了するまで保持される。そして、判定部２４は、画素値Ｘを保持している画素が、圧縮部２１において補正対象画素とされなくなった場合、その画素の画素値を、保持している画素値Ｘに固定するように、圧縮部２１を制御する。これにより、圧縮部２１が出力する補正データのうち、既に補正対象画素とされたものは、判定部２４が保持している画素値に固定されるようになされている。
【０１１５】
一方、ステップＳ４２において、補正対象画素の画素値Ｘが、最大値ＸMAXに等しいと判定された場合、ステップＳ４３に進み、圧縮部２１において、圧縮画像を構成するすべての画素（圧縮データ）を、補正対象画素として、ステップＳ３２乃至Ｓ４２の処理を行ったかどうかが判定される。ステップＳ４３において、まだ、すべての圧縮データを、補正対象画素として処理を行っていないと判定された場合、ステップＳ３２に戻り、まだ補正対象画素とされていない画素（圧縮データが）が、新たに補正対象画素として選択され、ステップＳ３３以降の処理を繰り返す。
【０１１６】
また、ステップＳ４３において、すべての圧縮データを、補正対象画素として処理を行ったと判定された場合、ステップＳ４４に進み、判定部２４は、自身が保持している１フレーム（または１フィールド）分の補正データ（画素値）を、最適圧縮データとして、最終的にローカルデコード部２２から受信したクラスごとの予測係数とともに、多重化部２５に出力する。ステップＳ４４では、さらに、多重化部２５において、判定部２４からの最適圧縮データとクラスごとの予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
【０１１７】
以上のようにすることで、誤差情報が最小になる場合の補正データおよび予測係数を得ることができ、この場合、受信装置４側においては、より良い画質の復号画像を得ることが可能となる。
【０１１８】
しかしながら、図１０の処理によれば、圧縮画像を構成する画素（圧縮データ）の画素値を、最小値である０から最大値ＸMAXまで変化させて、ローカルデコードおよび誤差情報の算出を行う必要がある。さらに、そのような処理を、圧縮画像を構成する画素数と同一の回数だけ繰り返す必要がある。即ち、図１０の処理は、最小の誤差情報を探索するのに、圧縮画像を構成する画素がとり得る画素値をすべて調べる、いわゆる全探索処理であり、処理に時間を要する。具体的には、全探索処理では、例えば、画素値が８ビットで表され、圧縮画像が６４０×４８０で構成されるとすると、ローカルデコードおよび誤差情報の算出を、６４０×４８０×２8回だけ行う必要がある。
【０１１９】
ところで、いま、圧縮データの１つを補正対象画素として、その画素値を変化させた場合、その画素値と誤差情報との関係は、例えば、図１１に示すようになる。即ち、画素値と誤差情報との関係は、例えば、２次曲線で表される。
【０１２０】
従って、一般には、その２次曲線の最小値を求めれば、それが、誤差情報の最小値であり、そのときの画素値が、最も適切な値となる。一方、２次曲線は、３点が与えられれば求めることができるから、画素値と誤差情報との関係が、１つの２次曲線で表されれば、任意の３つの画素値と、それぞれに対応する誤差情報とから２次曲線を求め、さらに、その最小値を求めることで、補正対象画素の最適な画素値を得ることができる。
【０１２１】
しかしながら、図１１に示すように、画素値と誤差情報との関係は、一般に、複数の２次曲線で表され、不連続となる点が存在する。即ち、補正対象画素の画素値を変化させることによって、補正対象画素を含んで構成されるクラス分類用ブロックのクラスが変化することがあり、画素値が、そのような点（以下、適宜、クラス変化点という）になる場合に、画素値と誤差情報との関係は、不連続になる。
【０１２２】
従って、任意の３点から、不連続な画素値と誤差情報との関係を求めることは困難であり、また、仮に、任意の３点から、不連続な画素値と誤差情報との関係を表す１つの２次曲線が得られ、その最小値が求められたとしても、その最小値が、不連続な画素値と誤差情報との関係からすれば、極小値である場合がある。
【０１２３】
そこで、ここでは、例えば、図１２に示すように、不連続な画素値と誤差情報との関係を表す曲線の不連続な点であるクラス変化点を求め、ある連続な２次曲線を区切る２つのクラス変化点と、その２つのクラス変化点の中点である中間点（但し、２つのクラス変化点の間にある点であれば、特に中間点である必要はない）とから、その連続な２次曲線（以下、誤差曲線という）を求める。同様にして、他の誤差曲線も求め、これにより、不連続な画素値と誤差情報との関係を表す曲線を推定し、その最小値、ひいては、最適な画素値（誤差情報が最小になるときの画素値）を求めることとする（誤差情報の最小値は、例えば、複数の誤差曲線の極小値を求め、その中の最小のものを検出することで求めることができる）。
【０１２４】
この場合、まず、クラス変化点を算出する必要があるが、このクラス変化点の算出方法について説明する。
【０１２５】
なお、ここでは、図１３に示すように、補正対象画素に注目した場合に、その補正対象画素を中心として、３×３画素のクラス分類用ブロックが構成されるものとする。さらに、図８で説明したＡＤＲＣにおいては、クラス分類用ブロックを構成する９画素すべてを対象にして、ダイナミックレンジＤＲが計算され、１ビットＡＤＲＣが行われるものとする。従って、ＡＤＲＣコードとしては、例えば、０または１のいずれかが得られるが、ここでは、クラス分類用ブロックを構成する画素値から、その最小値を減算した値が、ダイナミックレンジＤＲの中間値（＝ＤＲ／２）以上の場合に１が、ＤＲ／２未満の場合に０が出力されるものとする。
【０１２６】
さらに、図７で説明したクラス分類は、ＡＤＲＣ処理後のクラス分類用ブロックを構成する画素のうち、その中心に位置する画素と、その上下左右に隣接する画素との合計５画素（図１３において、点線で囲んである部分）を対象に行われるものとする（クラス分類に、実際に用いられる画素を、以下、適宜、クラス分類対象画素という）。従って、この場合、クラス数は３２（＝２5）である。
【０１２７】
但し、ＡＤＲＣの対象とする画素や、クラス分類対象画素は、上述したものに限定されるものではない。また、ここでは、ＡＤＲＣの対象とする画素と、クラス分類対象画素とを異なるものとしたが、これらは同一であっても良い。
【０１２８】
クラス分類用ブロックが３×３画素で構成される場合、補正対象画素の画素値が変化することによりクラスが変化することがあるのとしては、図１４に実線で囲んで示すように、その補正対象画素が中心に位置するクラス分類用ブロックの他に、補正対象画素を含んで構成される８つのクラス分類用ブロックがある。即ち、まず、図１４に点線で囲んで示すように、補正対象画素を、その左上に含むクラス分類用ブロックがあり、さらに、補正対象画素を、その上、右上、左、右、左下、下、右下にそれぞれ含むクラス分類用ブロックがある。従って、補正対象画素の画素値を変化させ、その補正対象画素に対するクラス変化点を算出するにあたっては、上述の合計９個のクラス分類用ブロックのクラスの変化を考慮する必要がある。即ち、１の補正対象画素に対して、９個のクラス分類用ブロックについてのクラス変化点を求める必要がある。
【０１２９】
次に、ある１つのクラス分類用ブロックに注目して、そのクラス分類用ブロックを構成する、ある画素（ここでは、補正対象画素とされた画素）の画素値が変化したときにおけるクラス変化点の算出方法について説明する。
【０１３０】
図１３で説明したように、１ビットＡＤＲＣ処理を、クラス分類用ブロックを構成する画素すべてを対象に行い、クラス分類処理を、そのうちの一部を対象に行う場合において、クラス変化点の算出は、画素値が変化する画素が、クラス分類処理の対象となっている画素、即ち、クラス分類対象画素であるときと、クラス分類用ブロックを構成する画素のうちの、クラス分類対象画素以外の画素であるときとに場合分けをして考えることができる。
【０１３１】
即ち、図１５（Ａ）に示すように、クラス分類用ブロックの、例えば、中心に位置する画素の画素値が変化する場合と、同図（Ｂ）に示すように、例えば、その左上に位置する画素の画素値が変化する場合とに、場合分けをして考えることができる。
【０１３２】
そこで、まず、図１５（Ａ）に示す場合（画素値が変化する画素が、クラス分類対象画素のうちのいずれかである場合）を考える。なお、ここでは、同図（Ａ）に示すように、例えば、クラス分類用ブロックの中心に位置する画素を画素＃０と表すとともに、その上、左、右、下に隣接する画素を、それぞれ画素＃１乃至＃４と表す。また、画素＃０乃至＃４の画素値を、それぞれＸ0乃至Ｘ4と表し、ここでは、画素＃０が補正対象画素とされ、画素値Ｘ0が変化するものとする。さらに、クラス分類用ブロックを構成する９画素のうち、画素＃０を除く８画素の中の画素値の最大値または最小値を、それぞれｍａｘまたはｍｉｎと表す。また、画素値は、例えば、８ビットで表され、従って、その最大値または最小値は、それぞれ２５５または０であるとする。
【０１３３】
まず、画素値Ｘ0が、０≦Ｘ0＜ｍｉｎの範囲を変化する場合、画素値Ｘ0の変化は、ＡＤＲＣを行うのに用いるダイナミックレンジＤＲ、即ち、図１６（Ａ）に示す、画素＃０乃至＃４のＡＤＲＣ結果を１または０のうちのいずれにするかの閾値（Ｘ0＋ｍａｘ）／２に影響を与える。
【０１３４】
いま、画素値Ｘ0が０からｍｉｎまで増加していくとすると、この場合、図１６（Ａ）に示す閾値（Ｘ0＋ｍａｘ）／２も増加するから、画素＃０のＡＤＲＣ結果は、常に０のまま変化しない。また、画素＃１乃至＃４のうち、画素値Ｘ0が０のときに、ＡＤＲＣ結果が０となる画素についても、そのＡＤＲＣ結果は０のまま変化しない。
【０１３５】
即ち、この場合、画素＃１乃至＃４のうち、ＡＤＲＣ結果が、画素値Ｘ0の変化に伴って変化する可能性のあるものは、画素値Ｘ0が０のときに、ＡＤＲＣ結果が１となっている画素で、その画素値に、閾値（Ｘ0＋ｍａｘ）／２が等しくなるときに、そのＡＤＲＣ処理結果が１から０に変化する。
【０１３６】
従って、画素＃ｉ（ここでは、ｉ＝１，２，３，４）の画素値をＸiとすると、式Ｘi＝（Ｘ0＋ｍａｘ）／２が成立するとき、即ち、画素値Ｘ0が、式Ｘ0＝２Ｘi−ｍａｘで表される値となるとき、画素＃ｉのＡＤＲＣ結果は１から０に変化し、これにより、クラス分類用ブロックのクラスが変化する。なお、ここでは、画素値が、閾値（Ｘ0＋ｍａｘ）／２以上のとき、そのＡＤＲＣ結果を１とするようにしたので、厳密には、式Ｘ0＝２Ｘi−ｍａｘが成立するときのＡＤＲＣ結果は１のままであり、式Ｘ0＝２Ｘi−ｍａｘ＋１が成立するときのＡＤＲＣ結果が０となる。
【０１３７】
一方、ここでは、画素値Ｘ0が、０≦Ｘ0＜ｍｉｎの範囲を変化する場合を考えているから、閾値（Ｘ0＋ｍａｘ）／２は、ｍａｘ／２乃至（ｍａｘ＋ｍｉｎ）／２の範囲を変化する。従って、画素値Ｘ0が変化することにより、ＡＤＲＣ結果が１から０に変化するのは、画素値Ｘiが、式ｍａｘ／２≦Ｘi＜（ｍａｘ＋ｍｉｎ）／２を満足する画素＃ｉであり、例えば、図１６（Ａ）に示すように、画素値Ｘ1乃至Ｘ4が分布している場合には、画素値Ｘ0の変化によって、画素＃２と＃３のＡＤＲＣ結果が変化し、これにより、クラス分類用ブロックのクラスが変化する。即ち、この場合、クラス変化点Ｘ0は、Ｘ0が、式Ｘ0＝２Ｘ2−ｍａｘと、式Ｘ0＝２Ｘ3−ｍａｘをそれぞれ満足するときとなる。
【０１３８】
以上から、画素値Ｘ0が、０≦Ｘ0＜ｍｉｎの範囲を変化する場合については、画素値Ｘiが、式ｍａｘ／２≦Ｘi＜（ｍａｘ＋ｍｉｎ）／２を満足する画素＃ｉを検出し、式Ｘ0＝２Ｘi−ｍａｘを計算することで、クラス変化点Ｘ0（クラス変化点としての画素値Ｘ0）を求めることができる。
【０１３９】
次に、画素値Ｘ0が、ｍｉｎ≦Ｘ0＜ｍａｘの範囲を変化する場合、画素値Ｘ0の変化は、画素＃０のみのＡＤＲＣ結果に影響を与える。即ち、画素値Ｘ0が、ｍｉｎ≦Ｘ0＜ｍａｘの範囲を変化する場合においては、画素＃０乃至＃４のＡＤＲＣ結果を１または０のうちのいずれにするかの閾値は、図１６（Ｂ）に示すように、（ｍｉｎ＋ｍａｘ）／２のまま固定であり、従って、この場合、画素値Ｘ0が、閾値（ｍｉｎ＋ｍａｘ）／２以上か、または未満かで、そのＡＤＲＣ結果が変化するだけである。
【０１４０】
いま、画素値Ｘ0がｍｉｎからｍａｘまで増加していくとすると、画素値Ｘ0がｍｉｎに等しいときの画素＃０のＡＤＲＣ結果は０となる。そして、画素値Ｘ0が増加し、式Ｘ0＝［（ｍｉｎ＋ｍａｘ）／２］が成立するとき、画素＃０のＡＤＲＣ結果は０から１に変化する（［］は、切り上げを表す）。なお、ここでは、画素値が、閾値（ｍｉｎ＋ｍａｘ）／２以上のとき、そのＡＤＲＣ結果を１とするようにしたので、厳密には、式Ｘ0＝［（ｍｉｎ＋ｍａｘ）／２］−１が成立するときのＡＤＲＣ結果は０のままであり、式Ｘ0＝［（ｍｉｎ＋ｍａｘ）／２］が成立するときのＡＤＲＣ結果が１となる。
【０１４１】
以上から、画素値Ｘ0が、ｍｉｎ≦Ｘ0＜ｍａｘの範囲を変化する場合については、式Ｘ0＝［（ｍｉｎ＋ｍａｘ）／２］を計算することで、クラス変化点Ｘ0を求めることができる。
【０１４２】
次に、画素値Ｘ0が、ｍａｘ≦Ｘ0≦２５５の範囲を変化する場合、画素値Ｘ0の変化は、ＡＤＲＣを行うのに用いるダイナミックレンジＤＲ、即ち、図１６（Ｃ）に示す、画素＃０乃至＃４のＡＤＲＣ結果を１または０のうちのいずれにするかの閾値（ｍｉｎ＋Ｘ0）／２に影響を与える。
【０１４３】
いま、画素値Ｘ0がｍａｘから２５５まで増加していくとすると、この場合、図１６（Ｃ）に示す閾値（ｍｉｎ＋Ｘ0）／２も増加するから、画素＃０のＡＤＲＣ結果は、常に１のまま変化しない。また、画素＃１乃至＃４のうち、画素値Ｘ0がｍａｘのときに、ＡＤＲＣ結果が０となる画素についても、そのＡＤＲＣ結果は０のまま変化しない。
【０１４４】
即ち、この場合、画素＃１乃至＃４のうち、ＡＤＲＣ結果が、画素値Ｘ0の変化に伴って変化する可能性のあるものは、画素値Ｘ0がｍａｘのときに、ＡＤＲＣ結果が１となっている画素で、その画素値に、閾値（ｍｉｎ＋Ｘ0）／２が等しくなるときに、そのＡＤＲＣ処理結果が１から０に変化する。
【０１４５】
従って、画素＃ｉ（ここでは、ｉ＝１，２，３，４）の画素値をＸiとすると、式Ｘi＝（ｍｉｎ＋Ｘ0）／２が成立するとき、即ち、画素値Ｘ0が、式Ｘ0＝２Ｘi−ｍｉｎで表される値となるとき、画素＃ｉのＡＤＲＣ結果は１から０に変化し、これにより、クラス分類用ブロックのクラスが変化する。なお、ここでは、画素値が、閾値（ｍｉｎ＋Ｘ0）／２以上のとき、そのＡＤＲＣ結果を１とするようにしたので、厳密には、式Ｘ0＝２Ｘi−ｍｉｎが成立するときのＡＤＲＣ結果は１のままであり、式Ｘ0＝２Ｘi−ｍｉｎ＋１が成立するときのＡＤＲＣ結果が０となる。
【０１４６】
一方、ここでは、画素値Ｘ0が、ｍａｘ≦Ｘ0≦２５５の範囲を変化する場合を考えているから、閾値（ｍｉｎ＋Ｘ0）／２は、（ｍｉｎ＋ｍａｘ）／２乃至（ｍｉｎ＋２５５）／２の範囲を変化する。従って、画素値Ｘ0の変化によって、ＡＤＲＣ結果が１から０に変化するのは、画素値Ｘiが、式（ｍｉｎ＋ｍａｘ）／２≦Ｘi＜（ｍｉｎ＋２５５）／２を満足する画素＃ｉであり、例えば、図１６（Ｃ）に示すように、画素値Ｘ1乃至Ｘ4が分布している場合には、画素値Ｘ0の変化によって、ＡＤＲＣ結果が変化する画素は存在せず、従って、クラス分類用ブロックのクラスは変化しない。
【０１４７】
以上から、画素値Ｘ0が、ｍｉｎ≦Ｘ0≦２５５の範囲を変化する場合については、画素値Ｘiが、式（ｍｉｎ＋ｍａｘ）／２≦Ｘi＜（ｍｉｎ＋２５５）／２を満足する画素＃ｉを検出し、式Ｘ0＝２Ｘi−ｍｉｎを計算することで、クラス変化点Ｘ0を求めることができる。
【０１４８】
次に、図１５（Ｂ）に示した場合（クラス分類用ブロックを構成する画素のうち、クラス分類対象画素以外のいずれかの画素の画素値が変化する場合）を考える。なお、この場合、同図（Ｂ）に示すように、例えば、クラス分類用ブロックの左上に位置する画素を画素＃０と表すとともに、その上、左、中心、右、下に位置する画素を、それぞれ画素＃１乃至＃５と表す。また、画素＃０乃至＃５の画素値を、それぞれＸ0乃至Ｘ5と表し、ここでは、画素値Ｘ0が変化するものとする。さらに、クラス分類用ブロックを構成する９画素のうち、画素＃０を除く８画素の中の画素値の最大値または最小値を、それぞれｍａｘまたはｍｉｎと表す。また、画素値は、例えば、８ビットで表され、従って、その最大値または最小値は、それぞれ２５５または０であるとする。
【０１４９】
まず、画素値Ｘ0が、０≦Ｘ0＜ｍｉｎの範囲を変化する場合、画素値Ｘ0の変化は、図１６（Ａ）における場合と同様に、ＡＤＲＣを行うのに用いるダイナミックレンジＤＲに影響を与える。即ち、この場合、画素値Ｘ0の変化は、図１７（Ａ）に示す、画素＃１乃至＃５のＡＤＲＣ結果を１または０のうちのいずれにするかの閾値（Ｘ0＋ｍａｘ）／２に影響を与える。なお、画素＃０は、ここでは、クラス分類対象画素ではないため、そのＡＤＲＣ処理結果を考える必要はない。
【０１５０】
従って、考慮する画素が、図１５（Ａ）に示した画素＃０乃至＃４から、同図（Ｂ）に示した画素＃１乃至＃５になるだけで、考え方は、図１６（Ａ）における場合と同様であり、よって、画素値Ｘiが、式ｍａｘ／２≦Ｘi＜（ｍａｘ＋ｍｉｎ）／２を満足する画素＃ｉを検出し、式Ｘ0＝２Ｘi−ｍａｘを計算することで、クラス変化点Ｘ0を求めることができる（但し、ここでは、ｉ＝１，２，３，４，５）。
【０１５１】
なお、例えば、図１７（Ａ）に示すように、画素値Ｘ1乃至Ｘ5が分布している場合には、画素値Ｘ0の変化によって、画素＃２と＃３のＡＤＲＣ結果が変化し、これにより、クラス分類用ブロックのクラスが変化する。即ち、この場合、クラス変化点Ｘ0は、Ｘ0が、式Ｘ0＝２Ｘ2−ｍａｘと、式Ｘ0＝２Ｘ3−ｍａｘをそれぞれ満足するときとなる。
【０１５２】
次に、画素値Ｘ0が、ｍｉｎ≦Ｘ0＜ｍａｘの範囲を変化する場合、画素＃１乃至＃５のＡＤＲＣ結果を１または０のうちのいずれにするかの閾値は、図１７（Ｂ）に示すように、（ｍｉｎ＋ｍａｘ）／２のまま固定であり、さらに、画素＃０はクラス分類対象画素でないから、その画素値Ｘ0の変化は、クラス分類用ブロックのクラスに影響を与えない。即ち、この場合、クラス変化点は存在しない。
【０１５３】
次に、画素値Ｘ0が、ｍａｘ≦Ｘ0≦２５５の範囲を変化する場合、画素値Ｘ0の変化は、図１６（Ｃ）における場合と同様に、ＡＤＲＣを行うのに用いるダイナミックレンジＤＲに影響を与える。即ち、この場合、画素値Ｘ0の変化は、図１７（Ｃ）に示す、画素＃１乃至＃５のＡＤＲＣ結果を１または０のうちのいずれにするかの閾値（ｍｉｎ＋Ｘ0）／２に影響を与える。なお、画素＃０は、ここでは、クラス分類対象画素ではないため、そのＡＤＲＣ処理結果を考える必要はない。
【０１５４】
従って、考慮する画素が、図１５（Ａ）に示した画素＃０乃至＃４から、同図（Ｂ）に示した画素＃１乃至＃５になるだけで、考え方は、図１６（Ｃ）における場合と同様であり、よって、画素値Ｘiが、式（ｍｉｎ＋ｍａｘ）／２≦Ｘi＜（ｍｉｎ＋２５５）／２を満足する画素＃ｉを検出し、式Ｘ0＝２Ｘi−ｍｉｎを計算することで、クラス変化点Ｘ0を求めることができる（但し、ここでは、ｉ＝１，２，３，４，５）。
【０１５５】
なお、例えば、図１７（Ｃ）に示すように、画素値Ｘ1乃至Ｘ5が分布している場合には、画素値Ｘ0の変化によって、ＡＤＲＣ結果が変化する画素は存在せず、従って、クラス分類用ブロックのクラスは変化しない。即ち、クラス変化点は存在しない。
【０１５６】
なお、クラス変化点の算出は、上述のような場合分けによって行うのではなく、補正対象画素を０から２５５まで変化させて、その補正対象画素を含んで構成されるクラス分類用ブロックのクラス分類を行うことによっても可能である。但し、処理ステップ数は、場合分けを用いる方が、一般に少なくて済む。
【０１５７】
次に、以上のように、クラス変化点を算出して、誤差曲線を推定し、補正対象画素の最適な画素値を求める場合の、図３の送信装置１の動作について、図１８のフローチャートを参照して説明する。
【０１５８】
即ち、この場合、まず最初に、ステップＳ５１において、図１０のステップＳ３１における場合と同様にして、圧縮部２１によって、圧縮データが生成され、ステップＳ５２に進む。ステップＳ５２では、圧縮部２１において、圧縮データのうちの１つ（１画素）が、補正対象画素として選択され、ステップＳ５３に進み、補正対象画素を含んで構成されるクラス分類用ブロック（図１３で説明したようにクラス分類用ブロックが構成される場合においては、９個のクラス分類用ブロック）について、そのクラスが変化するときの補正対象画素の画素値Ｘ、即ち、クラス変化点が算出される。
【０１５９】
そして、ステップＳ５４に進み、圧縮部２１において、隣接するクラス変化点どうしの間の中間点が求められる。即ち、圧縮部２１は、ステップＳ５３で得られた９個のクラス分類用ブロックについてのすべてのクラス変化点の他に、画素がとり得る画素値の最小値と最大値（画素値が、例えば、上述したように８ビットで表現される場合は、０と２５５）も、クラス変化点とみなして、それらのクラス変化点を、例えば、昇順（または降順）に並べる。さらに、圧縮部２１は、ある、隣接する２つのクラス変化点を、１の誤差曲線の両端の不連続点として、その２つのクラス変化点の中点である中間点を求める。そして、圧縮部２１は、１の誤差曲線の両端の不連続点である２つのクラス変化点と、それから求めた中間点を組合せ、他の圧縮データとともに、ローカルデコード部２２に出力する。
【０１６０】
ローカルデコード部２２では、ステップＳ５５において、圧縮部２１から供給される２つのクラス変化点それぞれと、それらと組になっている中間点とを、補正対象画素の画素値として、圧縮部２１から供給される他の圧縮データも用いて、ローカルデコードが行われ、予測値が求められる。即ち、補正対象画素の画素値を、２つのクラス変化点それぞれと、中間点とした場合の３通りの予測値が求められる。この３通りの予測値は、誤差算出部２３に供給され、誤差算出部２３では、ステップＳ５７において、３通りの予測値に対する誤差情報が算出される。
【０１６１】
この３つの誤差情報は、判定部２４を介して、制御信号として、圧縮部２１に与えられる。圧縮部２１は、補正対象画素の画素値を、２つのクラス変化点それぞれと、中間点とした場合の３通りの誤差情報を受信すると、ステップＳ５７に進み、２つのクラス変化点および中間点と、それぞれについての誤差情報とから、図１２で説明したようにして、それらに対応する３点を通る２次曲線である誤差曲線を算出する。
【０１６２】
なお、ステップＳ５４乃至Ｓ５７の処理は、すべての隣接する２つのクラス変化点について行われ、これにより、不連続な画素値と誤差情報との関係を表す曲線を構成するすべての誤差曲線が求められる。
【０１６３】
その後、ステップＳ５８に進み、圧縮部２１において、各誤差曲線の極小値が求められ、ステップＳ５９に進む。ステップＳ５９では、圧縮部２１において、各誤差曲線の極小値のうちの最小のもの、即ち、補正対象画素の画素値を、最小値から最大値まで変化させた場合に得られる最小の誤差情報が求められる。さらに、ステップＳ５９では、その最小の誤差情報が得られるときの補正対象画素の画素値（以下、適宜、最適画素値という）が、誤差曲線から求められ、その最適画素値が、補正対象画素の画素値として設定される。以後は、いま符号化対象となっている１フレーム（またはフィールド）画像の符号化が終了するまで、ステップＳ５９で設定された最適画素値が、そのとき補正対象画素とされていた画素の画素値として用いられる。
【０１６４】
ある画素を、補正対象画素として、その画素の最適画素値を求めた後は、ステップＳ６０に進み、圧縮部２１において、圧縮画像を構成するすべての画素（圧縮データ）を、補正対象画素として、ステップＳ５２乃至Ｓ５９の処理を行ったかどうかが判定される。ステップＳ６０において、まだ、すべての圧縮データを、補正対象画素として処理を行っていないと判定された場合、ステップＳ５２に戻り、まだ補正対象画素とされていない画素（圧縮データ）が、補正対象画素として選択され、ステップＳ５３以降の処理を繰り返す。
【０１６５】
また、ステップＳ６０において、すべての圧縮データを、補正対象画素として処理を行ったと判定された場合、即ち、すべての圧縮データについて、最適画素値が求められた場合、圧縮部２１は、そのすべての最適画素値（これも、圧縮データを補正したものと考えられるから、補正データということができる）を、判定部２４に出力するとともに、ローカルデコード部２２に供給する。ローカルデコード部２２では、圧縮部２１からの最適画素値を用いて、ローカルデコードが行われ、それにより得られるクラスごとの予測係数を、判定部２４に出力する。判定部２４は、以上のようにして圧縮部２１から供給される最適画素値を、最適圧縮データとして、ローカルデコード部２２から供給されるクラスごとの予測係数とともに、多重化部２５に出力する。そして、多重化部２５では、ステップＳ６１において、判定部２４からの最適圧縮データとクラスごとの予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
【０１６６】
以上のように、クラス変化点を求め、誤差曲線を推定することで、誤差情報を最小にする画素値を、全探索処理を行う場合に比較して、高速かつ効率的に求めることができ、さらに、受信装置４側においては、より良い画質の復号画像を得ることが可能となる。
【０１６７】
なお、この場合、図３の送信装置１は、最適圧縮データを得ることを主と考えれば、そのような最適圧縮データを得るための画像の符号化を行う符号化装置と見ることができるし、また、その最適圧縮データから復号画像を求めるための最適な予測係数を得ることを主と考えれば、そのような最適な予測係数を得るための学習を行う学習装置と見ることができる。
【０１６８】
次に、図１９は、図３の送信装置１が、図１８で説明した処理を行う場合の圧縮部２１の構成例を示している。
【０１６９】
符号化対象の画像は、間引き回路３１に供給され、そこで、図５で説明したようにして、圧縮データ（圧縮画像）とされる。この圧縮データは、フレームメモリ３２に供給されて記憶される。なお、フレームメモリ３２では、間引き回路３１からの１フレーム（またはフィールド）分の圧縮データが、その符号化が終了するまで記憶される。
【０１７０】
フレームメモリ３２において、間引き回路３１からの圧縮データが記憶されると、クラス変化点算出回路３３は、そのうちの１つを、補正対象画素として選択し、上述したようにして、クラス変化点を算出する。さらに、クラス変化点算出回路３３は、クラス変化点の算出後、中間点も算出し、対応する２つのクラス変化点と中間点とを組み合わせて、フレームメモリ３２に記憶されている他の画素の画素値とともに、ローカルデコード部２２に供給する。
【０１７１】
ローカルデコード部２２では、図１８で説明したように、圧縮部２１（クラス変化点算出回路３３）から供給される２つのクラス変化点それぞれと、それらと組になっている中間点とを、補正対象画素の画素値として、圧縮部２１（クラス変化点算出回路３３）から供給される他の画素の画素値も用いて、ローカルデコードが行われ、これにより、補正対象画素の画素値を、２つのクラス変化点それぞれと、中間点とした場合の３通りの予測値が求められる。この３通りの予測値は、誤差算出部２３に供給され、誤差算出部２３では、３通りの予測値に対する誤差情報が算出される。この３つの誤差情報は、判定部２４を介して、制御信号として、誤差曲線算出回路３４に与えられる。
【０１７２】
さらに、誤差曲線算出回路３４には、クラス変化点算出回路３３からローカルデコード部２２に供給された２つのクラス変化点と中間点も供給されるようになされている。そして、誤差曲線算出回路３４では、クラス変化点算出回路３３からの２つのクラス変化点および中間点、並びにそれぞれに対応する、判定部２４からの誤差情報を用い、それらに対応する３点を通る２次曲線である誤差曲線が算出される。
【０１７３】
クラス変化点算出回路３３および誤差曲線算出回路３４では、補正対象画素について得られるクラス変化点すべてについて同様の処理が行われ、これにより、補正対象画素の画素値と誤差情報との関係を表す曲線を構成するすべての誤差曲線が求められる。
【０１７４】
このすべての誤差曲線は、誤差曲線算出回路３４から最小値算出回路３５に供給される。最小値算出回路３５では、補正対象画素についてのすべての誤差曲線それぞれの極小値が求められ、さらに、その極小値のうちの最小ものが選択されることで、補正対象画素の画素値を、最小値から最大値まで変化させた場合に得られる最小の誤差情報が求められる。そして、最小値算出回路３５では、その最小の誤差情報が得られるときの補正対象画素の画素値、つまり、最適画素値が求められ、その最適画素値が、補正対象画素の画素値として、いままで記憶されていた画素値に替えて、フレームメモリ３２に書き込まれる。
【０１７５】
以下、同様の処理が、フレームメモリ３２に記憶されている画素のうち、まだ、補正対象画素とされていないものを、新たに補正対象画素として繰り返される。
【０１７６】
そして、フレームメモリ３２に記憶されている画素すべてを、補正対象画素として処理を行い、これにより、フレームメモリ３２に、最適画素値のみが記憶された状態となると、クラス変化点算出回路３３は、フレームメモリ３２に記憶されたすべての最適画素値（１フレーム（または１フィールド）分の画素値）をローカルデコード部２２に供給して、予測係数を求めさせるとともに、そのすべての最適画素値を、最適圧縮データとして、判定部２４に供給する。その後、圧縮部２１では、次のフレーム（またはフィールド）の画像を対象に、同様の処理が繰り返される。
【０１７７】
次に、図２０は、図１の受信装置４の構成例を示している。
【０１７８】
受信機／再生装置７１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、分離部７２に供給される。分離部７２では、符号化データから、補正データ（最適圧縮データ）とクラスごとの予測係数とが抽出される。補正データは、クラス分類用ブロック化回路７３および予測値計算用ブロック化回路７７に供給され、クラスごとの予測係数は、予測回路７６に供給されて、その内蔵するメモリ７６Ａに記憶される。
【０１７９】
クラス分類用ブロック化回路７３、ＡＤＲＣ処理回路７４、クラス分類回路７５、または予測値計算用ブロック化回路７７は、図６におけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、クラス分類回路４５、または予測値計算用ブロック化回路４２それぞれと同様に構成されており、従って、これらのブロックにおいては、図６における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路７６に供給される。
【０１８０】
予測回路７６は、クラス分類回路７５から供給されるクラス情報に対応した２５×９の予測係数を、メモリ７６Ａから読み出し、その２５×９の予測係数と、予測値計算用ブロック化回路７７から供給される５×５画素の予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって、原画像の３×３画素の予測値が算出され、そのような予測値で構成される画像が、復号画像として、例えば、１フレーム（または１フィールド）単位で出力される。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。
【０１８１】
なお、受信側においては、図２０に示すような受信装置４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。
【０１８２】
ところで、上述の場合おいては、図３のローカルデコード部２２において予測係数を求め、これを用いて、予測値を算出するようにしたが、ローカルデコード部２２では、予測係数を求めずに（あらかじめ学習により求めておいた予測係数を用いて）、予測値を算出するようにすることが可能である。
【０１８３】
即ち、図２１は、図１の送信装置１の第２の機能的構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してある。即ち、この送信装置１は、ローカルデコード部２２に代えて、ローカルデコード部１２２が設けられている他は、図３における場合と基本的に同様に構成されている。
【０１８４】
但し、図３においては、ローカルデコード部２２に原画像データが供給されるようになされていたが、図２１においては、ローカルデコード部１２２には、原画像データが供給されないようになっている。
【０１８５】
図２２は、図２１のローカルデコード部１２２の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部１２２は、適応処理回路４６に代えて、予測係数ＲＯＭ８１および予測回路８２が設けられている他は、図６におけるローカルデコード部２２と同様に構成されている。
【０１８６】
予測係数ＲＯＭ８１は、あらかじめ学習（後述する）を行うことにより求められたクラスごとの予測係数を記憶しており、クラス分類回路４４が出力するクラス情報を受信し、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して、予測回路８２に供給する。
【０１８７】
予測回路８２では、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックと、予測係数ＲＯＭ８１からの２５×９の予測係数とを用いて、式（１）（具体的には、例えば、式（８））に示した線形１次式が計算され、これにより、元の画像の３×３画素の予測値が算出される。
【０１８８】
従って、図２２のクラス分類適応処理回路４３によれば、元の画像（原画像）を用いずに、その予測値が算出される。このため、上述したように、ローカルデコード部１２２には、原画像が供給されないようになっている。
【０１８９】
次に、その動作について説明する。
【０１９０】
ローカルデコード部１２２では、クラス分類用ブロック化回路４１、予測値計算用ブロック化回路４２、ＡＤＲＣ処理回路４４、クラス分類回路４５において、図６における場合とそれぞれ同様の処理が行われ、これにより、クラス分類回路４５からは、クラス情報が出力される。このクラス情報は、予測係数ＲＯＭ８１に供給される。
【０１９１】
予測係数ＲＯＭ８１は、クラス情報を受信すると、そのクラス情報に対応する２５×９の予測係数を、記憶しているクラスごとの予測係数の中から読み出し、予測回路８２に供給する。
【０１９２】
予測回路８２には、予測係数ＲＯＭ８１から２５×９の予測係数が供給される他、予測値計算用ブロック化回路４２から５×５画素の予測値計算用ブロックも供給されるようになされている。そして、予測回路８２では、予測係数ＲＯＭ８１からの２５×９の予測係数と、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックとを用いて適応処理が行われることにより、即ち、具体的には、式（１）（または式（８））にしたがった演算が行われることにより、注目補正データ（ここでは、予測値計算用ブロックの中心にある画素）を中心とする３×３の原画像の画素の予測値が求められる。
【０１９３】
その後、例えば、１フレーム（またはフィールド）分の予測値が求められると、その予測値は、誤差算出部２３に供給される。
【０１９４】
従って、図２１の実施の形態では、ローカルデコード部１２２から判定部２４に対して、予測係数は供給されず、その結果、最適圧縮データが、符号化データとして、送信機／記録装置１６（図１）に出力される。
【０１９５】
次に、図２３は、図２２の予測係数ＲＯＭ８１に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。
【０１９６】
学習用ブロック化回路９１および教師用ブロック化回路９２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。
【０１９７】
学習用ブロック化回路９１は、入力される画像データから、例えば、図５に●印で示した位置関係の２５画素（５×５画素）を抽出し、この２５画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理９３および学習データメモリ９６に供給する。
【０１９８】
また、教師用ブロック化回路９２では、入力される画像データから、例えば、３×３の９画素で構成されるブロックが生成され、この９画素で構成されるブロックが、教師用ブロックとして、教師データメモリ９８に供給される。
【０１９９】
なお、学習用ブロック化回路９１において、例えば、図５に●印で示した位置関係の２５画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路９２では、同図に四角形で囲んで示す３×３画素の教師用ブロックが生成されるようになされている。
【０２００】
ＡＤＲＣ処理回路９３は、学習用ブロックを構成する２５画素から、例えば、その中心の９画素（３×３画素）を抽出し、この９画素でなるブロックに対して、図２２のＡＤＲＣ処理回路４４における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された３×３画素のブロックは、クラス分類回路９４に供給される。クラス分類回路９４では、図２２のクラス分類回路４５における場合と同様に、ＡＤＲＣ処理回路９３からのブロックがクラス分類処理され、それにより得られるクラス情報が、スイッチ９５の端子ａを介して、学習データメモリ９６および教師データメモリ９８に供給される。
【０２０１】
学習データメモリ９６または教師データメモリ９８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路９１からの学習用ブロックまたは教師用ブロック化回路９２からの教師用ブロックが、それぞれ記憶される。
【０２０２】
従って、学習データメモリ９６において、例えば、図５に●印で示した５×５画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ９８においては、そのアドレスと同一のアドレスに、同図において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。
【０２０３】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図２２のローカルデコード部１２２において、その学習用ブロックを構成する２５画素と同一の位置関係を有する２５の補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ９６と、教師用データメモリ９８とにおいて、同一のアドレスに記憶される。
【０２０４】
なお、学習用データメモリ９６と教師用データメモリ９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。
【０２０５】
学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ９６と教師データメモリ９８に記憶されると、端子ａを選択していたスイッチ９５が、端子ｂに切り替わり、これにより、カウンタ９７の出力が、アドレスとして、学習データメモリ９６および教師データメモリ９８に供給される。カウンタ９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ９６または教師データメモリ９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路９９に供給される。
【０２０６】
従って、演算回路９９には、カウンタ９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０２０７】
演算回路９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０２０８】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０２０９】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０２１０】
そこで、演算回路９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。従って、この処理をクラスごとに行うことにより、各クラスごとに、２５×９個の予測係数が生成される。
【０２１１】
演算回路９９において求められた、クラスごとの予測係数は、メモリ１００に供給される。メモリ１００には、演算回路９９からの予測係数の他、カウンタ９７からカウント値が供給されており、これにより、メモリ１００においては、演算回路９９からの予測係数が、カウンタ９７からのカウント値に対応するアドレスに記憶される。
【０２１２】
以上のようにして、メモリ１００には、各クラスに対応するアドレスに、そのクラスのブロックの３×３画素を予測するのに最適な２５×９個の予測係数が記憶される。
【０２１３】
図２２の予測係数ＲＯＭ８１には、以上のようにしてメモリ１００に記憶されたクラスごとの予測係数が記憶されている。
【０２１４】
なお、図２２の予測係数ＲＯＭ８１には（後述する図２４の予測係数ＲＯＭ１０１についても同様）、その他、例えば、図１８で説明した処理により、ローカルデコード部２２から判定部２４に供給されるクラスごとの予測係数を記憶させておくようにすることなども可能である。
【０２１５】
次に、図２４は、送信装置１が図２１に示したように構成される場合の受信装置４の構成例を示している。なお、図中、図２０における場合と対応する部分については、同一の符号を付してある。即ち、図２４の受信装置４は、クラス分類回路７５と予測回路７６との間に予測係数ＲＯＭ１０１が新たに設けられているとともに、予測回路７６がメモリ７６Ａを内蔵していない他は、図２０における場合と基本的に同様に構成されている。
【０２１６】
送信装置１が図２１に示したように構成される場合、上述したことから、受信機／再生装置７１が出力する符号化データには、クラスごとの予測係数は含まれておらず、このため、分離部７２では、符号化データから、補正データ（最適圧縮データ）だけが抽出され、クラス分類用ブロック化回路７３および予測値計算用ブロック化回路７７に供給される。
【０２１７】
クラス分類用ブロック化回路７３、ＡＤＲＣ処理回路７４、クラス分類回路７５、または予測値計算用ブロック化回路７７では、図２２におけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、クラス分類回路４５、または予測値計算用ブロック化回路４２それぞれと同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは５×５画素の予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。予測値計算用ブロックは予測回路７６に供給され、クラス情報は予測係数ＲＯＭ１０１に供給される。
【０２１８】
予測係数ＲＯＭ１０１には、図２２の予測係数ＲＯＭ８１に記憶されているクラスごとの予測係数と同一のものが記憶されており、クラス分類回路７５からクラス情報が供給されると、そのクラス情報に対応した２５×９の予測係数が読み出され、予測回路７６に供給される。
【０２１９】
予測回路７６は、予測係数ＲＯＭ１０１からの２５×９の予測係数と、予測値計算用ブロック化回路７７から供給される５×５画素の予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって、原画像の３×３画素の予測値を算出し、そのような予測値で構成される１フレーム（またはフィールド）の画像を、復号画像として出力する。
【０２２０】
送信装置１が図２１に示したように構成されるとともに、受信装置４が図２４に示したように構成される場合、クラスごとの２５×９の予測係数を送受信せずに済むので、その分だけ、伝送容量または記録容量を低減することができる。
【０２２１】
なお、予測係数ＲＯＭ８１や１０１には、クラスごとの予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを、クラスごとに記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、図２２のローカルデコード部１２２において、予測値計算用ブロック化回路４２および予測回路８２を設けずに済むようになる。また、図２４の受信装置４においても同様に、予測値計算用ブロック化回路７７および予測回路７６を設けずに済むようになる。
【０２２２】
以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。
【０２２３】
なお、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。
【０２２４】
また、本実施の形態では、画素値と誤差情報との関係が、２次曲線で表されるものとしたが、本発明は、画素値と誤差情報との関係が、２次曲線以外で表される場合にも適用可能である。
【０２２５】
さらに、本実施の形態においては、１フレーム（またはフィールド）の画像から、例えば、クラス分類用ブロックや予測値計算用ブロックなどのブロックを構成するようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素（異なるフレームの画素）などをも用いて構成するようにすることも可能である。
【０２２６】
また、本実施の形態では、例えば、１フレーム（またはフィールド）単位で、正規方程式をたてて、クラスごとの予測係数を求めるようにしたが、予測係数の算出処理は、その他、例えば、複数フレーム（またはフィールド）単位で正規方程式をたてて行うようにすることも可能である。他の処理についても同様である。
【０２２７】
さらに、本実施の形態では、図２の送信装置１を構成するＣＰＵ１４が、同じく送信装置１を構成する外部記憶装置１５に記憶されたアプリケーションプログラムを実行することで、各種の符号化処理が行われるようにしたが、これらの符号化処理は、ハードウェアによって行うことも可能である。同様に受信装置４における処理も、そのような処理を行うためのプログラムをコンピュータに実行させることによっても、またハードウェアによっても、実現可能である。
【０２２８】
また、本実施の形態では、クラス分類を行うことを前提として、クラス変化点を求め、さらに、誤差曲線を求めるようにしたが、クラス分類を行わない場合は、クラス変化点は存在しないから、即ち、画素値と誤差情報との関係は不連続にならないから、上述したように、任意の３点を用いて、画素値と誤差情報との関係を表す曲線を求めることが可能である。
【０２２９】
【発明の効果】
本発明の画像符号化装置および画像符号化方法によれば、圧縮データの画素値と予測誤差との関係を表す誤差曲線が推定されるので、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを、効率良く求めることが可能となる。
【０２３１】
本発明の学習装置および学習方法においては、圧縮データの画素値を複数の値に変化させ、その複数の値に変化させた圧縮データの画素値と原画像の画素値とを用いて、複数の値それぞれについて、予測値と原画像の画素値との予測誤差を最小にする予測係数が、クラスごとに求められ、その予測係数と圧縮データとの線形結合により、複数の値それぞれについての予測値が求められる。さらに、複数の値それぞれについて、原画像に対する、予測値の予測誤差が算出され、圧縮データの画素値と予測誤差との関係を表す誤差曲線が推定される。そして、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データと、原画像の画素値とを用いて、予測値と原画像の画素値との予測誤差を最小にする予測係数がさらに求められ、その求められた予測係数が出力される。従って、圧縮データを高画質の復号画像に復号することのできる予測係数を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の構成例を示すブロック図である。
【図３】図１の送信装置１の第１の機能的構成例を示すブロック図である。
【図４】図３の送信装置１の動作を説明するためのフローチャートである。
【図５】図４のステップＳ１の処理を説明するための図である。
【図６】図３のローカルデコード部２２の構成例を示すブロック図である。
【図７】クラス分類処理を説明するための図である。
【図８】ＡＤＲＣ処理を説明するための図である。
【図９】図６のローカルデコード部２２の動作を説明するためのフローチャートである。
【図１０】全探索処理を行う場合の、図３の送信装置１の動作を説明するためのフローチャートである。
【図１１】画素値と誤差情報との関係を示す図である。
【図１２】最小の誤差情報を求める方法を説明するための図である。
【図１３】クラス変化点を算出する方法を説明するための図である。
【図１４】クラス変化点を算出する方法を説明するための図である。
【図１５】クラス変化点を算出する方法を説明するための図である。
【図１６】クラス変化点を算出する方法を説明するための図である。
【図１７】クラス変化点を算出する方法を説明するための図である。
【図１８】クラス変化点から、誤差曲線を推定して、最小の誤差情報を求める場合の、図３の送信装置１の動作を説明するためのフローチャートである。
【図１９】図１８の処理を行う場合の、図３における圧縮部２１の構成例を示すブロック図である。
【図２０】図１の受信装置４の第１の構成例を示すブロック図である。
【図２１】図１の送信装置１の第２の機能的構成例を示すブロック図である。
【図２２】図２１のローカルデコード部１２２の構成例を示すブロック図である。
【図２３】図２２の予測係数ＲＯＭ８１に記憶されている予測係数を算出する画像処理装置の一実施の形態の構成を示すブロック図である。
【図２４】図１の受信装置４の第２の構成例を示すブロック図である。
【符号の説明】
１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１ Ｉ／Ｆ， １２ ＲＯＭ， １３ ＲＡＭ， １４ ＣＰＵ， １５ 外部記憶装置， １６ 送信機／記録装置， ２１ 圧縮部， ２２ ローカルデコード部， ２３ 誤差算出部， ２４ 判定部， ２５ 多重化部， ３１ 間引き回路， ３２ フレームメモリ， ３３ クラス変化点算出回路， ３４ 誤差曲線算出回路， ３５ 最小値算出回路， ４１ クラス分類用ブロック化回路，４２ 予測値計算用ブロック化回路， ４３ クラス分類適応処理回路， ４４ ＡＤＲＣ処理回路， ４５ クラス分類回路， ４６ 適応処理回路， ７１ 受信機／再生装置， ７２ 分離部， ７３ クラス分類用ブロック化回路， ７４ ＡＤＲＣ処理回路， ７５ クラス分類回路， ７６ 予測回路， ７６Ａ メモリ， ７７ 予測値計算用ブロック化回路， ８１ 予測係数ＲＯＭ， ８２ 予測回路， ９１ 学習用ブロック化回路， ９２ 教師用ブロック化回路， ９３ ＡＤＲＣ処理回路， ９４ クラス分類回路， ９５ スイッチ， ９６ 学習データメモリ， ９７ カウンタ， ９８ 教師データメモリ， ９９ 演算回路， １００ メモリ， １０１ 予測係数ＲＯＭ， １２２ ローカルデコード部
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、並びに学習装置および学習方法に関し、特に、原画像とほぼ同一の復号画像が得られるように、画像を、例えば間引くことにより符号化する画像符号化装置および画像符号化方法、並びに学習装置および学習方法に関する。
【０００２】
【従来の技術】
従来より、画像の符号化方法については、種々の方法が提案されているが、そのうちの１つに、例えば、画像を、その画素を間引くこと（subsampling）により圧縮符号化する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このように間引いて圧縮した画像（上位階層の画像）を、単純な補間（例えば、周辺画素の予約値など）により伸張した場合、その結果得られる復号画像（下位階層の画像）の解像度が劣化する。
【０００４】
ここで、このように復号画像の解像度が劣化する原因として、第１に、間引い画像には、元の画像に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像を構成する画素の画素値が、元の画像を復元するのに、必ずしも適当でないことが考えられる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、原画像と同一（ほぼ同一）の復号画像が得られるように、画像を間引いて、迅速に圧縮符号化することができるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、原画像を、その画素数を少なくすることにより圧縮し、圧縮データとする圧縮手段と、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスに対応して、原画像を予測し、その予測値を求める予測手段と、原画像に対する、予測値の予測誤差を算出する予測誤差算出手段と、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定する誤差曲線推定手段と、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求める誤差最小データ算出手段と、誤差最小データ算出手段が出力する圧縮データを、原画像の符号化結果として出力する出力手段とを備えることを特徴とする。
【０００７】
請求項５に記載の画像符号化方法は、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスに対応して、原画像を予測し、その予測値を求め、原画像に対する、予測値の予測誤差を算出し、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求め、その圧縮データを、原画像の符号化結果として出力することを特徴とする。
【０００９】
請求項６に記載の学習装置は、原画像を、その画素数を少なくすることにより圧縮し、圧縮データとする圧縮手段と、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスを出力するクラス分類手段と、圧縮データの画素値を複数の値に変化させ、その複数の値に変化させた圧縮データの画素値と原画像の画素値とを用いて、複数の値それぞれについて、予測値と原画像の画素値との予測誤差を最小にする予測係数を、クラスごとに求める予測係数演算手段と、圧縮データと予測係数との線形結合により、複数の値それぞれについての予測値を求める予測値演算手段と、複数の値それぞれについて、原画像に対する、予測値の予測誤差を算出する予測誤差算出手段と、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定する誤差曲線推定手段と、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求める誤差最小データ算出手段と、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データと、原画像の画素値とを用いて、予測値と原画像の画素値との予測誤差を最小にする予測係数が予測係数演算手段によってさらに求められ、その求められた予測係数を出力する出力手段とを備えることを特徴とする。
【００１０】
請求項８に記載の学習方法は、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスを出力し、圧縮データの画素値を複数の値に変化させ、その複数の値に変化させた圧縮データの画素値と原画像の画素値とを用いて、複数の値それぞれについて、予測値と原画像の画素値との予測誤差を最小にする予測係数を、クラスごとに求め、その予測係数と圧縮データとの線形結合により、複数の値それぞれについての予測値を求め、複数の値それぞれについて、原画像に対する、予測値の予測誤差を算出し、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データと、原画像の画素値とを用いて、予測値と原画像の画素値との予測誤差を最小にする予測係数がさらに求められ、その求められた予測係数を出力することを特徴とする。
請求項９に記載の画像符号化装置は、原画像を、その画素数を少なくすることにより圧縮し、圧縮データとする圧縮手段と、圧縮データに基づいて、原画像を予測し、その予測値を求める予測手段と、原画像に対する、予測値の予測誤差を算出する予測誤差算出手段と、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定する誤差曲線推定手段と、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求める誤差最小データ算出手段と、誤差最小データ算出手段が出力する圧縮データを、原画像の符号化結果として出力する出力手段とを備えることを特徴とする。
請求項１０に記載の画像符号化方法は、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、圧縮データに基づいて、原画像を予測して、その予測値を求め、原画像に対する、予測値の予測誤差を算出し、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求め、その圧縮データを、原画像の符号化結果として出力することを特徴とする。
【００１１】
請求項１に記載の画像符号化装置においては、圧縮手段は、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、予測手段は、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスに対応して、原画像を予測し、その予測値を求めるようになされている。予測誤差算出手段は、原画像に対する、予測値の予測誤差を算出し、誤差曲線推定手段は、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定するようになされている。誤差最小データ算出手段は、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求め、出力手段は、誤差最小データ算出手段が出力する圧縮データを、原画像の符号化結果として出力するようになされている。
【００１２】
請求項５に記載の画像符号化方法においては、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスに対応して、原画像を予測し、その予測値を求め、原画像に対する、予測値の予測誤差を算出し、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求め、その圧縮データを、原画像の符号化結果として出力するようになされている。
【００１４】
請求項６に記載の学習装置においては、圧縮手段は、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとするようになされている。クラス分類手段は、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスを出力し、予測係数演算手段は、圧縮データの画素値を複数の値に変化させ、その複数の値に変化させた圧縮データの画素値と原画像の画素値とを用いて、複数の値それぞれについて、予測値と原画像の画素値との予測誤差を最小にする予測係数を、クラスごとに求めるようになされている。予測値演算手段は、圧縮データと予測係数との線形結合により、複数の値それぞれについての予測値を求め、予測誤差算出手段は、複数の値それぞれについて、原画像に対する、予測値の予測誤差を算出するようになされている。誤差曲線推定手段は、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差最小データ算出手段は、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求めるようになされている。出力手段は、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データと、原画像の画素値とを用いて、予測値と原画像の画素値との予測誤差を最小にする予測係数が予測係数演算手段によってさらに求められ、その求められた予測係数を出力するようになされている。
【００１５】
請求項８に記載の学習方法においては、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、圧縮データに基づいて、クラス分類を行い、その結果得られるクラスを出力し、圧縮データの画素値を複数の値に変化させ、その複数の値に変化させた圧縮データの画素値と原画像の画素値とを用いて、複数の値それぞれについて、予測値と原画像の画素値との予測誤差を最小にする予測係数を、クラスごとに求め、その予測係数と圧縮データとの線形結合により、複数の値それぞれについての予測値を求め、複数の値それぞれについて、原画像に対する、予測値の予測誤差を算出し、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データと、原画像の画素値とを用いて、予測値と原画像の画素値との予測誤差を最小にする予測係数がさらに求められ、その求められた予測係数を出力するようになされている。
請求項９に記載の画像符号化装置においては、圧縮手段は、原画像、その画素数を少なくすることにより圧縮して、圧縮データとし、予測手段は、圧縮データに基づいて、原画像を予測し、その予測値を求める。予測誤差算出手段は、原画像に対する、予測値の予測誤差を算出し、誤差曲線推定手段は、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定する。誤差最小データ算出手段は、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求め、出力手段は、誤差最小データ算出手段が出力する圧縮データを、原画像の符号化結果として出力する。
請求項１０に記載の画像符号化方法においては、原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、圧縮データに基づいて、原画像を予測して、その予測値を求め、原画像に対する、予測値の予測誤差を算出し、圧縮データの画素値を複数の値に変化させたときの予測誤差から、圧縮データの画素値と予測誤差との関係を表す誤差曲線を推定し、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを求め、その圧縮データを、原画像の符号化結果として出力するようになされている。
【００２５】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示している。
【００２６】
送信装置１には、ディジタル化された画像データが供給されるようになされている。送信装置１は、入力された画像データを間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。
【００２７】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが伸張、復号化される。そして、その結果得られる復号画像が、図示せぬディスプレイに供給されて表示される。
【００２８】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、送信装置１が出力する符号化データのデータ量は少ないため、図１の画像処理装置は、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００２９】
図２は、図１の送信装置１の構成例を示している。
【００３０】
Ｉ／Ｆ（InterFace）１１は、外部から供給される画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行うようになされている。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムにしたがい、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置１５は、例えば、磁気ディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
【００３１】
なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。
【００３２】
以上のように構成される送信装置１においては、Ｉ／Ｆ１１に画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データを、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００３３】
図３は、図２の送信装置１の、送信機／記録装置１６を除く部分の機能的な構成例を示している。
【００３４】
符号化すべき画像データは、圧縮部２１、ローカルデコード部２２、および誤差算出部２３に供給されるようになされている。圧縮部２１は、画像データを、例えば、単純に間引くことにより圧縮し、その結果得られる圧縮データ（間引きが行われた後の画像データ）を、判定部２４からの制御にしたがって補正するようになされている。圧縮部２１における補正の結果得られる補正データは、ローカルデコード部２２および判定部２４に供給するようになされている。
【００３５】
ローカルデコード部２２は、圧縮部２１からの補正データに基づいて、元の画像を予測し、その予測値を、誤差算出部２３に供給するようになされている。なお、ローカルデコード部２２は、後述するように、補正データと元の画像データとを用いて、その補正データとの線形結合により、予測値を算出するための、所定のクラスごとの予測係数を求める処理を行い、その予測係数に基づいて、予測値を求める適応処理を行うようになされている。そして、ローカルデコード部２２は、上述したように、予測値を、誤差算出部２３に供給する他、そのとき求めたクラスごとの予測係数を、判定部２４に供給するようにもなされている。
【００３６】
誤差算出部２３は、そこに入力される、元の画像データ（原画像）に対する、ローカルデコード部２２からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部２４に供給されるようになされている。
【００３７】
判定部２４は、誤差算出部２３からの誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定するようになされている。そして、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、圧縮部２１を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、圧縮部２１から供給された補正データを、最適な圧縮データ（以下、適宜、最適圧縮データという）として多重化部２５に供給するとともに、ローカルデコード部２２から供給されたクラスごとの予測係数を多重化部２５に供給するようになされている。
【００３８】
多重化部２５は、判定部２４からの最適圧縮データ（補正データ）と、クラスごとの予測係数とを多重化し、その多重化結果を、符号化データとして、送信機／記録装置１６（図２）に供給するようになされている。
【００３９】
次に、図４のフローチャートを参照して、その動作について説明する。圧縮部２１に対して、画像データが供給されると、圧縮部２１は、ステップＳ１において、その画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２２および判定部２４に出力する。
【００４０】
ここで、圧縮部２１は、入力された画像データを１／Ｎに間引くことにより圧縮データとするようになされている。即ち、圧縮部２１は、ここでは、例えば、図５に示すように、画像データを、例えば、１／９に間引くようになされている。具体的には、圧縮部２１は、３×３（横×縦）の９画素を１単位とし、各単位の中心の画素（同図において、●印で示す部分）についての画素値のみを抽出し、他の部分（同図において、○印で示す部分）を削除する。あるいは、３×３の９画素の平均値などを計算し、それを、３×３画素のうちの中心にある画素の画素値とする。従って、この場合、圧縮率は１／９である。
【００４１】
なお、圧縮部２１は、以上のような処理を、例えば、１フレーム（または１フィールド）単位で行うようになされている。
【００４２】
図４に戻り、ローカルデコード部２２では、ステップＳ２において、圧縮部２１からの補正データ（ここでは、最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）がローカルデコードされる（画素数の少ない上位階層の画像が、画素数の多い下位階層の画像にマッピングされる）。
【００４３】
即ち、ステップＳ２では、圧縮部２１からの補正データと元の画像データとを用いて、その補正データとの線形結合により、元の画像の予測値を算出するための、クラスごとの予測係数を求める処理が行われ、その予測係数に基づいて、予測値が求められる。ローカルデコード部２２において求められた予測値は誤差算出部２３に、また、クラスごとの予測係数は、判定部２４に供給される。
【００４４】
ここで、ローカルデコード部２２が出力する予測値で構成される画像は、受信装置４（図１）側において得られる復号画像と同一のものである。
【００４５】
誤差算出部２３は、ローカルデコード部２２から、元の画像の予測値を受信すると、ステップＳ３において、元の画像データに対する、ローカルデコード部２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。即ち、誤差算出部２３は、例えば、元の画像データから、予測値を減算することを、画素単位で行い、その２乗和を求め、これを、誤差情報として、判定部２４に供給する。
【００４６】
判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定する。
【００４７】
即ち、ステップＳ４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化データとするのは適正でないと認識され、ステップＳ５に進み、判定部２４は、圧縮部２１を制御し、これにより、圧縮データを補正させる。圧縮部２１は、判定部２４の制御にしたがって、圧縮データを補正（元の画像を間引いて得られる画像を構成する画素の画素値を補正）し、その結果得られる補正データを、ローカルデコード部２２および判定部２４に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００４８】
一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化結果とするのは適正であると認識され、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適圧縮データとして、クラスごとの予測係数とともに、多重化部２５に出力する。多重化部２５では、ステップＳ６において、判定部２４からの最適圧縮データとクラスごとの予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
【００４９】
以上のように、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データを、元の画像の符号化結果とするようにしたので、受信装置４側においては、その補正データに基づいて、元の画像（原画像）とほぼ同一の画像を得ることが可能となる。
【００５０】
次に、図６は、図３のローカルデコード部２２の構成例を示している。
【００５１】
圧縮部２１からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、例えば注目補正データを中心としたクラス分類用ブロックにブロック化するようになされている。
【００５２】
即ち、いま、図５において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（画素）（図中、●印で示す部分）をＸijと表すとすると、クラス分類用ブロック化回路４１は、注目補正データＸijの左上、上、右上、左、右、左下、下、右下に隣接する８つの画素Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラス分類用ブロックを構成するようになされている。このクラス分類用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００５３】
なお、この場合、クラス分類用ブロックは、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。
【００５４】
予測値計算用ブロック化回路４２は、補正データを、元の画像の予測値を計算するための単位である、例えば注目補正データを中心とした予測値計算用ブロックにブロック化するようになされている。即ち、いま、図５において、補正データＸij（図中、●印で示す部分）を中心とする、元の画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すとすると、画素Ｙij（１）乃至Ｙij（９）の予測値の計算のために、予測値計算用ブロック化回路４２は、例えば、注目補正データＸijを中心とする５×５の２５画素Ｘ(i-2)(j-2)，Ｘ(i-2)(j-1)，Ｘ(i-2)j，Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，Ｘ(i-1)(j-2)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi(j-2)，Ｘi(j-1)，Ｘij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j-2)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)，Ｘ(i+1)(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，Ｘ(i+2)j，Ｘ(i+2)(j+1)，Ｘ(i+2)(j+2)で構成される正方形状の予測値計算用ブロックを構成するようになされている。
【００５５】
具体的には、例えば、図５において四角形で囲む、元の画像における画素Ｙ33（１）乃至Ｙ33（９）の９画素の予測値の計算のためには、画素Ｘ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55により、予測値計算用ブロックが構成される（この場合の注目補正データは、Ｘ33となる）。
【００５６】
予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００５７】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【００５８】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠部分を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【００５９】
クラス分類適応処理回路４３は、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路、クラス分類回路４５、および適応処理回路４６で構成され、クラス分類適応処理を行うようになされている。
【００６０】
クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【００６１】
ここで、クラス分類処理および適応処理について簡単に説明する。
【００６２】
まず、クラス分類処理について説明する。
【００６３】
いま、例えば、図７（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、注目画素を含む２×２の４画素のブロックは、各画素のレベル分布により、図７（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。従って、いまの場合、注目画素は、１６のパターンに分類することができ、このようなパターン分けが、クラス分類処理であり、クラス分類回路４５において行われる。
【００６４】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【００６５】
ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、３×３の９画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【００６６】
そこで、ここでは、ＡＤＲＣ処理回路４４において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を小さくすることで、クラス数を削減するようになされている。
【００６７】
即ち、例えば、いま、説明を簡単にするため、図８（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、そのブロック内における画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００６８】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算して、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換する。具体的には、例えば、Ｋ＝２とした場合、図８（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【００６９】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【００７０】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００７１】
ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理回路４４において行われるようになされている。
【００７２】
なお、本実施の形態では、クラス分類回路４５において、ＡＤＲＣ処理回路４４から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【００７３】
次に、適応処理について説明する。
【００７４】
例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００７５】
式（１）を一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
【００７７】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【００７９】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
【００８１】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００８２】
【数４】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００８４】
【数５】
式（４）および（５）より、式（６）が得られる。
【００８６】
【数６】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００８８】
【数７】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００９０】
以上のようにして、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、適応処理回路４６において行われるようになされている。
【００９１】
なお、適応処理は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理は、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【００９２】
次に、図９のフローチャートを参照して、図６のローカルデコード部２２の処理について説明する。
【００９３】
ローカルデコード部２２においては、まず最初に、ステップＳ２１において、圧縮部２１からの補正データがブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、注目補正データを中心とする３×３画素のクラス分類用ブロックにブロック化され、クラス分類適応処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが、注目補正データを中心とする５×５画素の予測値計算用ブロックにブロック化され、クラス分類適応処理回路４３に供給される。
【００９４】
クラス分類適応処理回路４３には、上述したように、クラス分類用ブロックおよび予測値計算用ブロックの他、元の画像データが供給されるようになされており、クラス分類用ブロックはＡＤＲＣ処理部４４に、予測値計算用ブロックおよび元の画像データは適応処理回路４６に供給される。
【００９５】
ＡＤＲＣ処理回路４４は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路４５に出力する。クラス分類回路４５は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックから、クラス分類処理を施す。即ち、ＡＤＲＣ処理が施されたクラス分類用ブロックを構成する各画素のレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロックを構成する注目補正データ（中心に配置された補正データ）のクラス）を判定する。このクラスの判定結果は、クラス情報として、適応処理回路４６に供給される。
【００９６】
なお、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロック全体を対象に、クラス分類処理が施されるとした場合、各クラス分類用ブロックは、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【００９７】
そして、ステップＳ２４に進み、適応処理回路４６において、クラス分類回路４５からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、クラスごとの予測係数および１フレームの元の画像データ（原画像データ）の予測値が算出される。
【００９８】
即ち、本実施の形態においては、例えば、クラスごとに２５×９個の予測係数が、１フレーム分の原画像データおよび補正データから算出される。さらに、ある１つの補正データに注目した場合に、その注目補正データに対応する元画像の画素と、その画素の周りに隣接する８個の元画像の画素の、合計９個の画素についての予測値が、注目補正データのクラス情報に対応する２５×９個の予測係数と、その注目補正データを中心とする５×５画素でなる予測値計算用ブロックとを用いて、適応処理が行われることにより算出される。
【００９９】
具体的には、例えば、いま、図５に示した補正データ（注目補正データ）Ｘ33を中心とする３×３の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４５から出力され、また、そのクラス分類用ブロックに対応する予測値計算用ブロックとして、補正データＸ33を中心とする５×５画素の補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、元の画像における、補正データＸ33を中心とする３×３画素（図５において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）を、教師データとして、式（７）に示した正規方程式がたてられる。
【０１００】
さらに、所定期間としての、例えば、１フレームの中で、同一のクラス情報Ｃにクラス分類されるクラス分類用ブロックに対応する、他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ33（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ33（ｋ）］を求めるための予測係数ｗ1（ｋ）乃至ｗ25（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データが２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ33（ｋ）の予測値Ｅ［Ｙ33（ｋ）］を求めるのに最適な予測係数ｗ1（ｋ）乃至ｗ25（ｋ）が算出される。この処理は、各クラスごとに行われ、これにより、各クラスごとに、２５×９の予測係数が算出される（２５個の補正データを用いて、９個の予測値を求めるため、各クラスについての予測係数の数は、２５×９個となる）。
【０１０１】
そして、クラス情報Ｃについての予測係数と予測値計算用ブロックとを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ33（ｋ）］が求められる。
【０１０２】
ステップＳ２４では、以上のようにして、２５×９の予測係数が、クラスごとに求められ、そのクラスごとの予測係数を用いて、注目補正データを中心とする３×３の原画像の画素の予測値が求められる。
【０１０４】
その後、ステップＳ２５に進み、クラスごとの２５×９の予測係数は判定部２４に供給され、３×３の予測値は誤差算出部２３に供給される。そして、ステップＳ２１に戻り、以下同様の処理が、例えば、１フレーム（または１フィールド）単位で繰り返される。
【０１０５】
ところで、図４の実施の形態では、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データを、元の画像の符号化結果とするようにしたが、この場合、一般には、所定の閾値εを大きくすれば、ステップＳ２乃至Ｓ５の繰り返し回数は少なくなり、処理速度は向上するが、受信装置４側において得られる復号画像の画質は劣化する。
【０１０６】
復号画像の画質の観点からは、閾値εは、元の画像から得られる誤差情報の最小値以上の値であって、その最小値に限りなく近い値であるのが最も好ましく、この場合、図３の送信装置１においては、実質的に、例えば、図１０に示すフローチャートにしたがった処理を行う必要がある。
【０１０７】
即ち、この場合、まず最初に、ステップＳ３１において、図４のステップＳ１における場合と同様にして、圧縮部２１によって、圧縮データが生成され、ステップＳ３２に進む。ステップＳ３２では、圧縮部２１において、圧縮データのうちの１つ（１画素）が、補正対象画素として選択され、ステップＳ３３に進み、補正対象画素の画素値Ｘに、初期値としての、例えば、０が設定される。ここで、圧縮データは、例えば、０乃至ＸMAX（＞０）の範囲の整数値をとるものとする。また、以下、適宜、圧縮データで構成される１フレーム（または１フィールド）の画像を、圧縮画像という。
【０１０８】
補正対象画素を含む圧縮画像は、補正データとして、圧縮部２１から、ローカルデコード部２２および判定部２４に対して供給される。ローカルデコード部２２では、圧縮部２１から補正データを受信すると、ステップＳ３４において、上述したようにして、その補正データと元の画像データを用いて、クラスごとの予測係数が求められ、さらに、その予測係数を用いて、補正データがローカルデコードされる。そして、ローカルデコードの結果得られる予測値は誤差算出部２３に、また、クラスごとの予測係数は判定部２４に供給される。
【０１０９】
誤差算出部２３では、ステップＳ３５において、図４のステップＳ３における場合と同様にして、元の画像データに対する、ローカルデコード部２２からの予測値の予測誤差が算出され、誤差情報として、判定部２４に供給される。判定部２４は、ステップＳ３６において、この誤差情報を記憶するとともに、圧縮部２１から供給される補正データのうちの、補正対象画素だけを記憶し、さらに、補正対象画素の画素値Ｘを、１だけインクリメントするように、圧縮部２１を制御する。
【０１１０】
圧縮部２１は、ステップＳ３７において、判定部２４からの制御にしたがって、補正対象画素の画素値Ｘを１だけインクリメントし、その補正対象画素を含む圧縮画像を、補正データとして、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２は、ステップＳ３８において、ステップＳ３４における場合と同様に、圧縮部２１からの補正データを用いて、クラスごとの予測係数と予測値とが求められる。そして、予測値または予測係数は、誤差算出部２３または判定部２４にそれぞれ供給される。
【０１１１】
誤差算出部２３では、ステップＳ３９において、ステップＳ３５における場合と同様にして、予測誤差が算出され、誤差情報として、判定部２４に供給される。判定部２４は、ステップＳ４０において、今回のステップＳ３９で求められた誤差情報（以下、適宜、今回の誤差情報という）が、判定部２４で記憶されている誤差情報（以下、適宜、記憶誤差情報という）よりも小さいかどうかを判定する。
【０１１２】
ステップＳ４０において、今回の誤差情報が、記憶誤差情報よりも小さいと判定された場合、ステップＳ４１に進み、判定部２４は、今回の誤差情報を、いま記憶している記憶誤差情報に替えて、新たな記憶誤差情報として記憶する。さらに、判定部２４は、圧縮部２１から供給される補正データのうちの、補正対象画素の画素値Ｘを、いままで記憶していた、その補正対象画素の画素値に替えて記憶し、ステップＳ４２に進む。
【０１１３】
一方、ステップＳ４０において、今回の誤差情報が、記憶誤差情報よりも小さくないと判定された場合、ステップＳ４１をスキップして、ステップＳ４２に進み、圧縮部２１において、補正対象画素の画素値Ｘが、最大値ＸMAXに等しいかどうかが判定される。ステップＳ４２において、補正対象画素の画素値Ｘが、最大値ＸMAXに等しくないと判定された場合、即ち、画素値Ｘが最大値ＸMAX未満の場合、ステップＳ３７に戻り、以下、ステップＳ３７乃至Ｓ４２の処理が繰り返される。
【０１１４】
従って、判定部２４においては、補正対象画素以外の圧縮データを固定して、補正対象画素の画素値Ｘを変化させた場合に得られる最小の誤差情報と、その最小の誤差情報が得られる場合の補正対象画素の画素値Ｘが記憶される。なお、判定部２４では、ある画素（圧縮データ）が補正対象画素とされた場合における記憶誤差情報は、その画素以外の画素が補正対象画素とされたときに削除されるが、画素値Ｘは、いま、符号化の対象となっているフレーム（またはフィールド）の処理が終了するまで保持される。そして、判定部２４は、画素値Ｘを保持している画素が、圧縮部２１において補正対象画素とされなくなった場合、その画素の画素値を、保持している画素値Ｘに固定するように、圧縮部２１を制御する。これにより、圧縮部２１が出力する補正データのうち、既に補正対象画素とされたものは、判定部２４が保持している画素値に固定されるようになされている。
【０１１５】
一方、ステップＳ４２において、補正対象画素の画素値Ｘが、最大値ＸMAXに等しいと判定された場合、ステップＳ４３に進み、圧縮部２１において、圧縮画像を構成するすべての画素（圧縮データ）を、補正対象画素として、ステップＳ３２乃至Ｓ４２の処理を行ったかどうかが判定される。ステップＳ４３において、まだ、すべての圧縮データを、補正対象画素として処理を行っていないと判定された場合、ステップＳ３２に戻り、まだ補正対象画素とされていない画素（圧縮データが）が、新たに補正対象画素として選択され、ステップＳ３３以降の処理を繰り返す。
【０１１６】
また、ステップＳ４３において、すべての圧縮データを、補正対象画素として処理を行ったと判定された場合、ステップＳ４４に進み、判定部２４は、自身が保持している１フレーム（または１フィールド）分の補正データ（画素値）を、最適圧縮データとして、最終的にローカルデコード部２２から受信したクラスごとの予測係数とともに、多重化部２５に出力する。ステップＳ４４では、さらに、多重化部２５において、判定部２４からの最適圧縮データとクラスごとの予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
【０１１７】
以上のようにすることで、誤差情報が最小になる場合の補正データおよび予測係数を得ることができ、この場合、受信装置４側においては、より良い画質の復号画像を得ることが可能となる。
【０１１８】
しかしながら、図１０の処理によれば、圧縮画像を構成する画素（圧縮データ）の画素値を、最小値である０から最大値ＸMAXまで変化させて、ローカルデコードおよび誤差情報の算出を行う必要がある。さらに、そのような処理を、圧縮画像を構成する画素数と同一の回数だけ繰り返す必要がある。即ち、図１０の処理は、最小の誤差情報を探索するのに、圧縮画像を構成する画素がとり得る画素値をすべて調べる、いわゆる全探索処理であり、処理に時間を要する。具体的には、全探索処理では、例えば、画素値が８ビットで表され、圧縮画像が６４０×４８０で構成されるとすると、ローカルデコードおよび誤差情報の算出を、６４０×４８０×２8回だけ行う必要がある。
【０１１９】
ところで、いま、圧縮データの１つを補正対象画素として、その画素値を変化させた場合、その画素値と誤差情報との関係は、例えば、図１１に示すようになる。即ち、画素値と誤差情報との関係は、例えば、２次曲線で表される。
【０１２０】
従って、一般には、その２次曲線の最小値を求めれば、それが、誤差情報の最小値であり、そのときの画素値が、最も適切な値となる。一方、２次曲線は、３点が与えられれば求めることができるから、画素値と誤差情報との関係が、１つの２次曲線で表されれば、任意の３つの画素値と、それぞれに対応する誤差情報とから２次曲線を求め、さらに、その最小値を求めることで、補正対象画素の最適な画素値を得ることができる。
【０１２１】
しかしながら、図１１に示すように、画素値と誤差情報との関係は、一般に、複数の２次曲線で表され、不連続となる点が存在する。即ち、補正対象画素の画素値を変化させることによって、補正対象画素を含んで構成されるクラス分類用ブロックのクラスが変化することがあり、画素値が、そのような点（以下、適宜、クラス変化点という）になる場合に、画素値と誤差情報との関係は、不連続になる。
【０１２２】
従って、任意の３点から、不連続な画素値と誤差情報との関係を求めることは困難であり、また、仮に、任意の３点から、不連続な画素値と誤差情報との関係を表す１つの２次曲線が得られ、その最小値が求められたとしても、その最小値が、不連続な画素値と誤差情報との関係からすれば、極小値である場合がある。
【０１２３】
そこで、ここでは、例えば、図１２に示すように、不連続な画素値と誤差情報との関係を表す曲線の不連続な点であるクラス変化点を求め、ある連続な２次曲線を区切る２つのクラス変化点と、その２つのクラス変化点の中点である中間点（但し、２つのクラス変化点の間にある点であれば、特に中間点である必要はない）とから、その連続な２次曲線（以下、誤差曲線という）を求める。同様にして、他の誤差曲線も求め、これにより、不連続な画素値と誤差情報との関係を表す曲線を推定し、その最小値、ひいては、最適な画素値（誤差情報が最小になるときの画素値）を求めることとする（誤差情報の最小値は、例えば、複数の誤差曲線の極小値を求め、その中の最小のものを検出することで求めることができる）。
【０１２４】
この場合、まず、クラス変化点を算出する必要があるが、このクラス変化点の算出方法について説明する。
【０１２５】
なお、ここでは、図１３に示すように、補正対象画素に注目した場合に、その補正対象画素を中心として、３×３画素のクラス分類用ブロックが構成されるものとする。さらに、図８で説明したＡＤＲＣにおいては、クラス分類用ブロックを構成する９画素すべてを対象にして、ダイナミックレンジＤＲが計算され、１ビットＡＤＲＣが行われるものとする。従って、ＡＤＲＣコードとしては、例えば、０または１のいずれかが得られるが、ここでは、クラス分類用ブロックを構成する画素値から、その最小値を減算した値が、ダイナミックレンジＤＲの中間値（＝ＤＲ／２）以上の場合に１が、ＤＲ／２未満の場合に０が出力されるものとする。
【０１２６】
さらに、図７で説明したクラス分類は、ＡＤＲＣ処理後のクラス分類用ブロックを構成する画素のうち、その中心に位置する画素と、その上下左右に隣接する画素との合計５画素（図１３において、点線で囲んである部分）を対象に行われるものとする（クラス分類に、実際に用いられる画素を、以下、適宜、クラス分類対象画素という）。従って、この場合、クラス数は３２（＝２5）である。
【０１２７】
但し、ＡＤＲＣの対象とする画素や、クラス分類対象画素は、上述したものに限定されるものではない。また、ここでは、ＡＤＲＣの対象とする画素と、クラス分類対象画素とを異なるものとしたが、これらは同一であっても良い。
【０１２８】
クラス分類用ブロックが３×３画素で構成される場合、補正対象画素の画素値が変化することによりクラスが変化することがあるのとしては、図１４に実線で囲んで示すように、その補正対象画素が中心に位置するクラス分類用ブロックの他に、補正対象画素を含んで構成される８つのクラス分類用ブロックがある。即ち、まず、図１４に点線で囲んで示すように、補正対象画素を、その左上に含むクラス分類用ブロックがあり、さらに、補正対象画素を、その上、右上、左、右、左下、下、右下にそれぞれ含むクラス分類用ブロックがある。従って、補正対象画素の画素値を変化させ、その補正対象画素に対するクラス変化点を算出するにあたっては、上述の合計９個のクラス分類用ブロックのクラスの変化を考慮する必要がある。即ち、１の補正対象画素に対して、９個のクラス分類用ブロックについてのクラス変化点を求める必要がある。
【０１２９】
次に、ある１つのクラス分類用ブロックに注目して、そのクラス分類用ブロックを構成する、ある画素（ここでは、補正対象画素とされた画素）の画素値が変化したときにおけるクラス変化点の算出方法について説明する。
【０１３０】
図１３で説明したように、１ビットＡＤＲＣ処理を、クラス分類用ブロックを構成する画素すべてを対象に行い、クラス分類処理を、そのうちの一部を対象に行う場合において、クラス変化点の算出は、画素値が変化する画素が、クラス分類処理の対象となっている画素、即ち、クラス分類対象画素であるときと、クラス分類用ブロックを構成する画素のうちの、クラス分類対象画素以外の画素であるときとに場合分けをして考えることができる。
【０１３１】
即ち、図１５（Ａ）に示すように、クラス分類用ブロックの、例えば、中心に位置する画素の画素値が変化する場合と、同図（Ｂ）に示すように、例えば、その左上に位置する画素の画素値が変化する場合とに、場合分けをして考えることができる。
【０１３２】
そこで、まず、図１５（Ａ）に示す場合（画素値が変化する画素が、クラス分類対象画素のうちのいずれかである場合）を考える。なお、ここでは、同図（Ａ）に示すように、例えば、クラス分類用ブロックの中心に位置する画素を画素＃０と表すとともに、その上、左、右、下に隣接する画素を、それぞれ画素＃１乃至＃４と表す。また、画素＃０乃至＃４の画素値を、それぞれＸ0乃至Ｘ4と表し、ここでは、画素＃０が補正対象画素とされ、画素値Ｘ0が変化するものとする。さらに、クラス分類用ブロックを構成する９画素のうち、画素＃０を除く８画素の中の画素値の最大値または最小値を、それぞれｍａｘまたはｍｉｎと表す。また、画素値は、例えば、８ビットで表され、従って、その最大値または最小値は、それぞれ２５５または０であるとする。
【０１３３】
まず、画素値Ｘ0が、０≦Ｘ0＜ｍｉｎの範囲を変化する場合、画素値Ｘ0の変化は、ＡＤＲＣを行うのに用いるダイナミックレンジＤＲ、即ち、図１６（Ａ）に示す、画素＃０乃至＃４のＡＤＲＣ結果を１または０のうちのいずれにするかの閾値（Ｘ0＋ｍａｘ）／２に影響を与える。
【０１３４】
いま、画素値Ｘ0が０からｍｉｎまで増加していくとすると、この場合、図１６（Ａ）に示す閾値（Ｘ0＋ｍａｘ）／２も増加するから、画素＃０のＡＤＲＣ結果は、常に０のまま変化しない。また、画素＃１乃至＃４のうち、画素値Ｘ0が０のときに、ＡＤＲＣ結果が０となる画素についても、そのＡＤＲＣ結果は０のまま変化しない。
【０１３５】
即ち、この場合、画素＃１乃至＃４のうち、ＡＤＲＣ結果が、画素値Ｘ0の変化に伴って変化する可能性のあるものは、画素値Ｘ0が０のときに、ＡＤＲＣ結果が１となっている画素で、その画素値に、閾値（Ｘ0＋ｍａｘ）／２が等しくなるときに、そのＡＤＲＣ処理結果が１から０に変化する。
【０１３６】
従って、画素＃ｉ（ここでは、ｉ＝１，２，３，４）の画素値をＸiとすると、式Ｘi＝（Ｘ0＋ｍａｘ）／２が成立するとき、即ち、画素値Ｘ0が、式Ｘ0＝２Ｘi−ｍａｘで表される値となるとき、画素＃ｉのＡＤＲＣ結果は１から０に変化し、これにより、クラス分類用ブロックのクラスが変化する。なお、ここでは、画素値が、閾値（Ｘ0＋ｍａｘ）／２以上のとき、そのＡＤＲＣ結果を１とするようにしたので、厳密には、式Ｘ0＝２Ｘi−ｍａｘが成立するときのＡＤＲＣ結果は１のままであり、式Ｘ0＝２Ｘi−ｍａｘ＋１が成立するときのＡＤＲＣ結果が０となる。
【０１３７】
一方、ここでは、画素値Ｘ0が、０≦Ｘ0＜ｍｉｎの範囲を変化する場合を考えているから、閾値（Ｘ0＋ｍａｘ）／２は、ｍａｘ／２乃至（ｍａｘ＋ｍｉｎ）／２の範囲を変化する。従って、画素値Ｘ0が変化することにより、ＡＤＲＣ結果が１から０に変化するのは、画素値Ｘiが、式ｍａｘ／２≦Ｘi＜（ｍａｘ＋ｍｉｎ）／２を満足する画素＃ｉであり、例えば、図１６（Ａ）に示すように、画素値Ｘ1乃至Ｘ4が分布している場合には、画素値Ｘ0の変化によって、画素＃２と＃３のＡＤＲＣ結果が変化し、これにより、クラス分類用ブロックのクラスが変化する。即ち、この場合、クラス変化点Ｘ0は、Ｘ0が、式Ｘ0＝２Ｘ2−ｍａｘと、式Ｘ0＝２Ｘ3−ｍａｘをそれぞれ満足するときとなる。
【０１３８】
以上から、画素値Ｘ0が、０≦Ｘ0＜ｍｉｎの範囲を変化する場合については、画素値Ｘiが、式ｍａｘ／２≦Ｘi＜（ｍａｘ＋ｍｉｎ）／２を満足する画素＃ｉを検出し、式Ｘ0＝２Ｘi−ｍａｘを計算することで、クラス変化点Ｘ0（クラス変化点としての画素値Ｘ0）を求めることができる。
【０１３９】
次に、画素値Ｘ0が、ｍｉｎ≦Ｘ0＜ｍａｘの範囲を変化する場合、画素値Ｘ0の変化は、画素＃０のみのＡＤＲＣ結果に影響を与える。即ち、画素値Ｘ0が、ｍｉｎ≦Ｘ0＜ｍａｘの範囲を変化する場合においては、画素＃０乃至＃４のＡＤＲＣ結果を１または０のうちのいずれにするかの閾値は、図１６（Ｂ）に示すように、（ｍｉｎ＋ｍａｘ）／２のまま固定であり、従って、この場合、画素値Ｘ0が、閾値（ｍｉｎ＋ｍａｘ）／２以上か、または未満かで、そのＡＤＲＣ結果が変化するだけである。
【０１４０】
いま、画素値Ｘ0がｍｉｎからｍａｘまで増加していくとすると、画素値Ｘ0がｍｉｎに等しいときの画素＃０のＡＤＲＣ結果は０となる。そして、画素値Ｘ0が増加し、式Ｘ0＝［（ｍｉｎ＋ｍａｘ）／２］が成立するとき、画素＃０のＡＤＲＣ結果は０から１に変化する（［］は、切り上げを表す）。なお、ここでは、画素値が、閾値（ｍｉｎ＋ｍａｘ）／２以上のとき、そのＡＤＲＣ結果を１とするようにしたので、厳密には、式Ｘ0＝［（ｍｉｎ＋ｍａｘ）／２］−１が成立するときのＡＤＲＣ結果は０のままであり、式Ｘ0＝［（ｍｉｎ＋ｍａｘ）／２］が成立するときのＡＤＲＣ結果が１となる。
【０１４１】
以上から、画素値Ｘ0が、ｍｉｎ≦Ｘ0＜ｍａｘの範囲を変化する場合については、式Ｘ0＝［（ｍｉｎ＋ｍａｘ）／２］を計算することで、クラス変化点Ｘ0を求めることができる。
【０１４２】
次に、画素値Ｘ0が、ｍａｘ≦Ｘ0≦２５５の範囲を変化する場合、画素値Ｘ0の変化は、ＡＤＲＣを行うのに用いるダイナミックレンジＤＲ、即ち、図１６（Ｃ）に示す、画素＃０乃至＃４のＡＤＲＣ結果を１または０のうちのいずれにするかの閾値（ｍｉｎ＋Ｘ0）／２に影響を与える。
【０１４３】
いま、画素値Ｘ0がｍａｘから２５５まで増加していくとすると、この場合、図１６（Ｃ）に示す閾値（ｍｉｎ＋Ｘ0）／２も増加するから、画素＃０のＡＤＲＣ結果は、常に１のまま変化しない。また、画素＃１乃至＃４のうち、画素値Ｘ0がｍａｘのときに、ＡＤＲＣ結果が０となる画素についても、そのＡＤＲＣ結果は０のまま変化しない。
【０１４４】
即ち、この場合、画素＃１乃至＃４のうち、ＡＤＲＣ結果が、画素値Ｘ0の変化に伴って変化する可能性のあるものは、画素値Ｘ0がｍａｘのときに、ＡＤＲＣ結果が１となっている画素で、その画素値に、閾値（ｍｉｎ＋Ｘ0）／２が等しくなるときに、そのＡＤＲＣ処理結果が１から０に変化する。
【０１４５】
従って、画素＃ｉ（ここでは、ｉ＝１，２，３，４）の画素値をＸiとすると、式Ｘi＝（ｍｉｎ＋Ｘ0）／２が成立するとき、即ち、画素値Ｘ0が、式Ｘ0＝２Ｘi−ｍｉｎで表される値となるとき、画素＃ｉのＡＤＲＣ結果は１から０に変化し、これにより、クラス分類用ブロックのクラスが変化する。なお、ここでは、画素値が、閾値（ｍｉｎ＋Ｘ0）／２以上のとき、そのＡＤＲＣ結果を１とするようにしたので、厳密には、式Ｘ0＝２Ｘi−ｍｉｎが成立するときのＡＤＲＣ結果は１のままであり、式Ｘ0＝２Ｘi−ｍｉｎ＋１が成立するときのＡＤＲＣ結果が０となる。
【０１４６】
一方、ここでは、画素値Ｘ0が、ｍａｘ≦Ｘ0≦２５５の範囲を変化する場合を考えているから、閾値（ｍｉｎ＋Ｘ0）／２は、（ｍｉｎ＋ｍａｘ）／２乃至（ｍｉｎ＋２５５）／２の範囲を変化する。従って、画素値Ｘ0の変化によって、ＡＤＲＣ結果が１から０に変化するのは、画素値Ｘiが、式（ｍｉｎ＋ｍａｘ）／２≦Ｘi＜（ｍｉｎ＋２５５）／２を満足する画素＃ｉであり、例えば、図１６（Ｃ）に示すように、画素値Ｘ1乃至Ｘ4が分布している場合には、画素値Ｘ0の変化によって、ＡＤＲＣ結果が変化する画素は存在せず、従って、クラス分類用ブロックのクラスは変化しない。
【０１４７】
以上から、画素値Ｘ0が、ｍｉｎ≦Ｘ0≦２５５の範囲を変化する場合については、画素値Ｘiが、式（ｍｉｎ＋ｍａｘ）／２≦Ｘi＜（ｍｉｎ＋２５５）／２を満足する画素＃ｉを検出し、式Ｘ0＝２Ｘi−ｍｉｎを計算することで、クラス変化点Ｘ0を求めることができる。
【０１４８】
次に、図１５（Ｂ）に示した場合（クラス分類用ブロックを構成する画素のうち、クラス分類対象画素以外のいずれかの画素の画素値が変化する場合）を考える。なお、この場合、同図（Ｂ）に示すように、例えば、クラス分類用ブロックの左上に位置する画素を画素＃０と表すとともに、その上、左、中心、右、下に位置する画素を、それぞれ画素＃１乃至＃５と表す。また、画素＃０乃至＃５の画素値を、それぞれＸ0乃至Ｘ5と表し、ここでは、画素値Ｘ0が変化するものとする。さらに、クラス分類用ブロックを構成する９画素のうち、画素＃０を除く８画素の中の画素値の最大値または最小値を、それぞれｍａｘまたはｍｉｎと表す。また、画素値は、例えば、８ビットで表され、従って、その最大値または最小値は、それぞれ２５５または０であるとする。
【０１４９】
まず、画素値Ｘ0が、０≦Ｘ0＜ｍｉｎの範囲を変化する場合、画素値Ｘ0の変化は、図１６（Ａ）における場合と同様に、ＡＤＲＣを行うのに用いるダイナミックレンジＤＲに影響を与える。即ち、この場合、画素値Ｘ0の変化は、図１７（Ａ）に示す、画素＃１乃至＃５のＡＤＲＣ結果を１または０のうちのいずれにするかの閾値（Ｘ0＋ｍａｘ）／２に影響を与える。なお、画素＃０は、ここでは、クラス分類対象画素ではないため、そのＡＤＲＣ処理結果を考える必要はない。
【０１５０】
従って、考慮する画素が、図１５（Ａ）に示した画素＃０乃至＃４から、同図（Ｂ）に示した画素＃１乃至＃５になるだけで、考え方は、図１６（Ａ）における場合と同様であり、よって、画素値Ｘiが、式ｍａｘ／２≦Ｘi＜（ｍａｘ＋ｍｉｎ）／２を満足する画素＃ｉを検出し、式Ｘ0＝２Ｘi−ｍａｘを計算することで、クラス変化点Ｘ0を求めることができる（但し、ここでは、ｉ＝１，２，３，４，５）。
【０１５１】
なお、例えば、図１７（Ａ）に示すように、画素値Ｘ1乃至Ｘ5が分布している場合には、画素値Ｘ0の変化によって、画素＃２と＃３のＡＤＲＣ結果が変化し、これにより、クラス分類用ブロックのクラスが変化する。即ち、この場合、クラス変化点Ｘ0は、Ｘ0が、式Ｘ0＝２Ｘ2−ｍａｘと、式Ｘ0＝２Ｘ3−ｍａｘをそれぞれ満足するときとなる。
【０１５２】
次に、画素値Ｘ0が、ｍｉｎ≦Ｘ0＜ｍａｘの範囲を変化する場合、画素＃１乃至＃５のＡＤＲＣ結果を１または０のうちのいずれにするかの閾値は、図１７（Ｂ）に示すように、（ｍｉｎ＋ｍａｘ）／２のまま固定であり、さらに、画素＃０はクラス分類対象画素でないから、その画素値Ｘ0の変化は、クラス分類用ブロックのクラスに影響を与えない。即ち、この場合、クラス変化点は存在しない。
【０１５３】
次に、画素値Ｘ0が、ｍａｘ≦Ｘ0≦２５５の範囲を変化する場合、画素値Ｘ0の変化は、図１６（Ｃ）における場合と同様に、ＡＤＲＣを行うのに用いるダイナミックレンジＤＲに影響を与える。即ち、この場合、画素値Ｘ0の変化は、図１７（Ｃ）に示す、画素＃１乃至＃５のＡＤＲＣ結果を１または０のうちのいずれにするかの閾値（ｍｉｎ＋Ｘ0）／２に影響を与える。なお、画素＃０は、ここでは、クラス分類対象画素ではないため、そのＡＤＲＣ処理結果を考える必要はない。
【０１５４】
従って、考慮する画素が、図１５（Ａ）に示した画素＃０乃至＃４から、同図（Ｂ）に示した画素＃１乃至＃５になるだけで、考え方は、図１６（Ｃ）における場合と同様であり、よって、画素値Ｘiが、式（ｍｉｎ＋ｍａｘ）／２≦Ｘi＜（ｍｉｎ＋２５５）／２を満足する画素＃ｉを検出し、式Ｘ0＝２Ｘi−ｍｉｎを計算することで、クラス変化点Ｘ0を求めることができる（但し、ここでは、ｉ＝１，２，３，４，５）。
【０１５５】
なお、例えば、図１７（Ｃ）に示すように、画素値Ｘ1乃至Ｘ5が分布している場合には、画素値Ｘ0の変化によって、ＡＤＲＣ結果が変化する画素は存在せず、従って、クラス分類用ブロックのクラスは変化しない。即ち、クラス変化点は存在しない。
【０１５６】
なお、クラス変化点の算出は、上述のような場合分けによって行うのではなく、補正対象画素を０から２５５まで変化させて、その補正対象画素を含んで構成されるクラス分類用ブロックのクラス分類を行うことによっても可能である。但し、処理ステップ数は、場合分けを用いる方が、一般に少なくて済む。
【０１５７】
次に、以上のように、クラス変化点を算出して、誤差曲線を推定し、補正対象画素の最適な画素値を求める場合の、図３の送信装置１の動作について、図１８のフローチャートを参照して説明する。
【０１５８】
即ち、この場合、まず最初に、ステップＳ５１において、図１０のステップＳ３１における場合と同様にして、圧縮部２１によって、圧縮データが生成され、ステップＳ５２に進む。ステップＳ５２では、圧縮部２１において、圧縮データのうちの１つ（１画素）が、補正対象画素として選択され、ステップＳ５３に進み、補正対象画素を含んで構成されるクラス分類用ブロック（図１３で説明したようにクラス分類用ブロックが構成される場合においては、９個のクラス分類用ブロック）について、そのクラスが変化するときの補正対象画素の画素値Ｘ、即ち、クラス変化点が算出される。
【０１５９】
そして、ステップＳ５４に進み、圧縮部２１において、隣接するクラス変化点どうしの間の中間点が求められる。即ち、圧縮部２１は、ステップＳ５３で得られた９個のクラス分類用ブロックについてのすべてのクラス変化点の他に、画素がとり得る画素値の最小値と最大値（画素値が、例えば、上述したように８ビットで表現される場合は、０と２５５）も、クラス変化点とみなして、それらのクラス変化点を、例えば、昇順（または降順）に並べる。さらに、圧縮部２１は、ある、隣接する２つのクラス変化点を、１の誤差曲線の両端の不連続点として、その２つのクラス変化点の中点である中間点を求める。そして、圧縮部２１は、１の誤差曲線の両端の不連続点である２つのクラス変化点と、それから求めた中間点を組合せ、他の圧縮データとともに、ローカルデコード部２２に出力する。
【０１６０】
ローカルデコード部２２では、ステップＳ５５において、圧縮部２１から供給される２つのクラス変化点それぞれと、それらと組になっている中間点とを、補正対象画素の画素値として、圧縮部２１から供給される他の圧縮データも用いて、ローカルデコードが行われ、予測値が求められる。即ち、補正対象画素の画素値を、２つのクラス変化点それぞれと、中間点とした場合の３通りの予測値が求められる。この３通りの予測値は、誤差算出部２３に供給され、誤差算出部２３では、ステップＳ５７において、３通りの予測値に対する誤差情報が算出される。
【０１６１】
この３つの誤差情報は、判定部２４を介して、制御信号として、圧縮部２１に与えられる。圧縮部２１は、補正対象画素の画素値を、２つのクラス変化点それぞれと、中間点とした場合の３通りの誤差情報を受信すると、ステップＳ５７に進み、２つのクラス変化点および中間点と、それぞれについての誤差情報とから、図１２で説明したようにして、それらに対応する３点を通る２次曲線である誤差曲線を算出する。
【０１６２】
なお、ステップＳ５４乃至Ｓ５７の処理は、すべての隣接する２つのクラス変化点について行われ、これにより、不連続な画素値と誤差情報との関係を表す曲線を構成するすべての誤差曲線が求められる。
【０１６３】
その後、ステップＳ５８に進み、圧縮部２１において、各誤差曲線の極小値が求められ、ステップＳ５９に進む。ステップＳ５９では、圧縮部２１において、各誤差曲線の極小値のうちの最小のもの、即ち、補正対象画素の画素値を、最小値から最大値まで変化させた場合に得られる最小の誤差情報が求められる。さらに、ステップＳ５９では、その最小の誤差情報が得られるときの補正対象画素の画素値（以下、適宜、最適画素値という）が、誤差曲線から求められ、その最適画素値が、補正対象画素の画素値として設定される。以後は、いま符号化対象となっている１フレーム（またはフィールド）画像の符号化が終了するまで、ステップＳ５９で設定された最適画素値が、そのとき補正対象画素とされていた画素の画素値として用いられる。
【０１６４】
ある画素を、補正対象画素として、その画素の最適画素値を求めた後は、ステップＳ６０に進み、圧縮部２１において、圧縮画像を構成するすべての画素（圧縮データ）を、補正対象画素として、ステップＳ５２乃至Ｓ５９の処理を行ったかどうかが判定される。ステップＳ６０において、まだ、すべての圧縮データを、補正対象画素として処理を行っていないと判定された場合、ステップＳ５２に戻り、まだ補正対象画素とされていない画素（圧縮データ）が、補正対象画素として選択され、ステップＳ５３以降の処理を繰り返す。
【０１６５】
また、ステップＳ６０において、すべての圧縮データを、補正対象画素として処理を行ったと判定された場合、即ち、すべての圧縮データについて、最適画素値が求められた場合、圧縮部２１は、そのすべての最適画素値（これも、圧縮データを補正したものと考えられるから、補正データということができる）を、判定部２４に出力するとともに、ローカルデコード部２２に供給する。ローカルデコード部２２では、圧縮部２１からの最適画素値を用いて、ローカルデコードが行われ、それにより得られるクラスごとの予測係数を、判定部２４に出力する。判定部２４は、以上のようにして圧縮部２１から供給される最適画素値を、最適圧縮データとして、ローカルデコード部２２から供給されるクラスごとの予測係数とともに、多重化部２５に出力する。そして、多重化部２５では、ステップＳ６１において、判定部２４からの最適圧縮データとクラスごとの予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
【０１６６】
以上のように、クラス変化点を求め、誤差曲線を推定することで、誤差情報を最小にする画素値を、全探索処理を行う場合に比較して、高速かつ効率的に求めることができ、さらに、受信装置４側においては、より良い画質の復号画像を得ることが可能となる。
【０１６７】
なお、この場合、図３の送信装置１は、最適圧縮データを得ることを主と考えれば、そのような最適圧縮データを得るための画像の符号化を行う符号化装置と見ることができるし、また、その最適圧縮データから復号画像を求めるための最適な予測係数を得ることを主と考えれば、そのような最適な予測係数を得るための学習を行う学習装置と見ることができる。
【０１６８】
次に、図１９は、図３の送信装置１が、図１８で説明した処理を行う場合の圧縮部２１の構成例を示している。
【０１６９】
符号化対象の画像は、間引き回路３１に供給され、そこで、図５で説明したようにして、圧縮データ（圧縮画像）とされる。この圧縮データは、フレームメモリ３２に供給されて記憶される。なお、フレームメモリ３２では、間引き回路３１からの１フレーム（またはフィールド）分の圧縮データが、その符号化が終了するまで記憶される。
【０１７０】
フレームメモリ３２において、間引き回路３１からの圧縮データが記憶されると、クラス変化点算出回路３３は、そのうちの１つを、補正対象画素として選択し、上述したようにして、クラス変化点を算出する。さらに、クラス変化点算出回路３３は、クラス変化点の算出後、中間点も算出し、対応する２つのクラス変化点と中間点とを組み合わせて、フレームメモリ３２に記憶されている他の画素の画素値とともに、ローカルデコード部２２に供給する。
【０１７１】
ローカルデコード部２２では、図１８で説明したように、圧縮部２１（クラス変化点算出回路３３）から供給される２つのクラス変化点それぞれと、それらと組になっている中間点とを、補正対象画素の画素値として、圧縮部２１（クラス変化点算出回路３３）から供給される他の画素の画素値も用いて、ローカルデコードが行われ、これにより、補正対象画素の画素値を、２つのクラス変化点それぞれと、中間点とした場合の３通りの予測値が求められる。この３通りの予測値は、誤差算出部２３に供給され、誤差算出部２３では、３通りの予測値に対する誤差情報が算出される。この３つの誤差情報は、判定部２４を介して、制御信号として、誤差曲線算出回路３４に与えられる。
【０１７２】
さらに、誤差曲線算出回路３４には、クラス変化点算出回路３３からローカルデコード部２２に供給された２つのクラス変化点と中間点も供給されるようになされている。そして、誤差曲線算出回路３４では、クラス変化点算出回路３３からの２つのクラス変化点および中間点、並びにそれぞれに対応する、判定部２４からの誤差情報を用い、それらに対応する３点を通る２次曲線である誤差曲線が算出される。
【０１７３】
クラス変化点算出回路３３および誤差曲線算出回路３４では、補正対象画素について得られるクラス変化点すべてについて同様の処理が行われ、これにより、補正対象画素の画素値と誤差情報との関係を表す曲線を構成するすべての誤差曲線が求められる。
【０１７４】
このすべての誤差曲線は、誤差曲線算出回路３４から最小値算出回路３５に供給される。最小値算出回路３５では、補正対象画素についてのすべての誤差曲線それぞれの極小値が求められ、さらに、その極小値のうちの最小ものが選択されることで、補正対象画素の画素値を、最小値から最大値まで変化させた場合に得られる最小の誤差情報が求められる。そして、最小値算出回路３５では、その最小の誤差情報が得られるときの補正対象画素の画素値、つまり、最適画素値が求められ、その最適画素値が、補正対象画素の画素値として、いままで記憶されていた画素値に替えて、フレームメモリ３２に書き込まれる。
【０１７５】
以下、同様の処理が、フレームメモリ３２に記憶されている画素のうち、まだ、補正対象画素とされていないものを、新たに補正対象画素として繰り返される。
【０１７６】
そして、フレームメモリ３２に記憶されている画素すべてを、補正対象画素として処理を行い、これにより、フレームメモリ３２に、最適画素値のみが記憶された状態となると、クラス変化点算出回路３３は、フレームメモリ３２に記憶されたすべての最適画素値（１フレーム（または１フィールド）分の画素値）をローカルデコード部２２に供給して、予測係数を求めさせるとともに、そのすべての最適画素値を、最適圧縮データとして、判定部２４に供給する。その後、圧縮部２１では、次のフレーム（またはフィールド）の画像を対象に、同様の処理が繰り返される。
【０１７７】
次に、図２０は、図１の受信装置４の構成例を示している。
【０１７８】
受信機／再生装置７１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、分離部７２に供給される。分離部７２では、符号化データから、補正データ（最適圧縮データ）とクラスごとの予測係数とが抽出される。補正データは、クラス分類用ブロック化回路７３および予測値計算用ブロック化回路７７に供給され、クラスごとの予測係数は、予測回路７６に供給されて、その内蔵するメモリ７６Ａに記憶される。
【０１７９】
クラス分類用ブロック化回路７３、ＡＤＲＣ処理回路７４、クラス分類回路７５、または予測値計算用ブロック化回路７７は、図６におけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、クラス分類回路４５、または予測値計算用ブロック化回路４２それぞれと同様に構成されており、従って、これらのブロックにおいては、図６における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路７６に供給される。
【０１８０】
予測回路７６は、クラス分類回路７５から供給されるクラス情報に対応した２５×９の予測係数を、メモリ７６Ａから読み出し、その２５×９の予測係数と、予測値計算用ブロック化回路７７から供給される５×５画素の予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって、原画像の３×３画素の予測値が算出され、そのような予測値で構成される画像が、復号画像として、例えば、１フレーム（または１フィールド）単位で出力される。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。
【０１８１】
なお、受信側においては、図２０に示すような受信装置４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。
【０１８２】
ところで、上述の場合おいては、図３のローカルデコード部２２において予測係数を求め、これを用いて、予測値を算出するようにしたが、ローカルデコード部２２では、予測係数を求めずに（あらかじめ学習により求めておいた予測係数を用いて）、予測値を算出するようにすることが可能である。
【０１８３】
即ち、図２１は、図１の送信装置１の第２の機能的構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してある。即ち、この送信装置１は、ローカルデコード部２２に代えて、ローカルデコード部１２２が設けられている他は、図３における場合と基本的に同様に構成されている。
【０１８４】
但し、図３においては、ローカルデコード部２２に原画像データが供給されるようになされていたが、図２１においては、ローカルデコード部１２２には、原画像データが供給されないようになっている。
【０１８５】
図２２は、図２１のローカルデコード部１２２の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部１２２は、適応処理回路４６に代えて、予測係数ＲＯＭ８１および予測回路８２が設けられている他は、図６におけるローカルデコード部２２と同様に構成されている。
【０１８６】
予測係数ＲＯＭ８１は、あらかじめ学習（後述する）を行うことにより求められたクラスごとの予測係数を記憶しており、クラス分類回路４４が出力するクラス情報を受信し、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して、予測回路８２に供給する。
【０１８７】
予測回路８２では、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックと、予測係数ＲＯＭ８１からの２５×９の予測係数とを用いて、式（１）（具体的には、例えば、式（８））に示した線形１次式が計算され、これにより、元の画像の３×３画素の予測値が算出される。
【０１８８】
従って、図２２のクラス分類適応処理回路４３によれば、元の画像（原画像）を用いずに、その予測値が算出される。このため、上述したように、ローカルデコード部１２２には、原画像が供給されないようになっている。
【０１８９】
次に、その動作について説明する。
【０１９０】
ローカルデコード部１２２では、クラス分類用ブロック化回路４１、予測値計算用ブロック化回路４２、ＡＤＲＣ処理回路４４、クラス分類回路４５において、図６における場合とそれぞれ同様の処理が行われ、これにより、クラス分類回路４５からは、クラス情報が出力される。このクラス情報は、予測係数ＲＯＭ８１に供給される。
【０１９１】
予測係数ＲＯＭ８１は、クラス情報を受信すると、そのクラス情報に対応する２５×９の予測係数を、記憶しているクラスごとの予測係数の中から読み出し、予測回路８２に供給する。
【０１９２】
予測回路８２には、予測係数ＲＯＭ８１から２５×９の予測係数が供給される他、予測値計算用ブロック化回路４２から５×５画素の予測値計算用ブロックも供給されるようになされている。そして、予測回路８２では、予測係数ＲＯＭ８１からの２５×９の予測係数と、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックとを用いて適応処理が行われることにより、即ち、具体的には、式（１）（または式（８））にしたがった演算が行われることにより、注目補正データ（ここでは、予測値計算用ブロックの中心にある画素）を中心とする３×３の原画像の画素の予測値が求められる。
【０１９３】
その後、例えば、１フレーム（またはフィールド）分の予測値が求められると、その予測値は、誤差算出部２３に供給される。
【０１９４】
従って、図２１の実施の形態では、ローカルデコード部１２２から判定部２４に対して、予測係数は供給されず、その結果、最適圧縮データが、符号化データとして、送信機／記録装置１６（図１）に出力される。
【０１９５】
次に、図２３は、図２２の予測係数ＲＯＭ８１に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。
【０１９６】
学習用ブロック化回路９１および教師用ブロック化回路９２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。
【０１９７】
学習用ブロック化回路９１は、入力される画像データから、例えば、図５に●印で示した位置関係の２５画素（５×５画素）を抽出し、この２５画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理９３および学習データメモリ９６に供給する。
【０１９８】
また、教師用ブロック化回路９２では、入力される画像データから、例えば、３×３の９画素で構成されるブロックが生成され、この９画素で構成されるブロックが、教師用ブロックとして、教師データメモリ９８に供給される。
【０１９９】
なお、学習用ブロック化回路９１において、例えば、図５に●印で示した位置関係の２５画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路９２では、同図に四角形で囲んで示す３×３画素の教師用ブロックが生成されるようになされている。
【０２００】
ＡＤＲＣ処理回路９３は、学習用ブロックを構成する２５画素から、例えば、その中心の９画素（３×３画素）を抽出し、この９画素でなるブロックに対して、図２２のＡＤＲＣ処理回路４４における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された３×３画素のブロックは、クラス分類回路９４に供給される。クラス分類回路９４では、図２２のクラス分類回路４５における場合と同様に、ＡＤＲＣ処理回路９３からのブロックがクラス分類処理され、それにより得られるクラス情報が、スイッチ９５の端子ａを介して、学習データメモリ９６および教師データメモリ９８に供給される。
【０２０１】
学習データメモリ９６または教師データメモリ９８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路９１からの学習用ブロックまたは教師用ブロック化回路９２からの教師用ブロックが、それぞれ記憶される。
【０２０２】
従って、学習データメモリ９６において、例えば、図５に●印で示した５×５画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ９８においては、そのアドレスと同一のアドレスに、同図において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。
【０２０３】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図２２のローカルデコード部１２２において、その学習用ブロックを構成する２５画素と同一の位置関係を有する２５の補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ９６と、教師用データメモリ９８とにおいて、同一のアドレスに記憶される。
【０２０４】
なお、学習用データメモリ９６と教師用データメモリ９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。
【０２０５】
学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ９６と教師データメモリ９８に記憶されると、端子ａを選択していたスイッチ９５が、端子ｂに切り替わり、これにより、カウンタ９７の出力が、アドレスとして、学習データメモリ９６および教師データメモリ９８に供給される。カウンタ９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ９６または教師データメモリ９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路９９に供給される。
【０２０６】
従って、演算回路９９には、カウンタ９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０２０７】
演算回路９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０２０８】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０２０９】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０２１０】
そこで、演算回路９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。従って、この処理をクラスごとに行うことにより、各クラスごとに、２５×９個の予測係数が生成される。
【０２１１】
演算回路９９において求められた、クラスごとの予測係数は、メモリ１００に供給される。メモリ１００には、演算回路９９からの予測係数の他、カウンタ９７からカウント値が供給されており、これにより、メモリ１００においては、演算回路９９からの予測係数が、カウンタ９７からのカウント値に対応するアドレスに記憶される。
【０２１２】
以上のようにして、メモリ１００には、各クラスに対応するアドレスに、そのクラスのブロックの３×３画素を予測するのに最適な２５×９個の予測係数が記憶される。
【０２１３】
図２２の予測係数ＲＯＭ８１には、以上のようにしてメモリ１００に記憶されたクラスごとの予測係数が記憶されている。
【０２１４】
なお、図２２の予測係数ＲＯＭ８１には（後述する図２４の予測係数ＲＯＭ１０１についても同様）、その他、例えば、図１８で説明した処理により、ローカルデコード部２２から判定部２４に供給されるクラスごとの予測係数を記憶させておくようにすることなども可能である。
【０２１５】
次に、図２４は、送信装置１が図２１に示したように構成される場合の受信装置４の構成例を示している。なお、図中、図２０における場合と対応する部分については、同一の符号を付してある。即ち、図２４の受信装置４は、クラス分類回路７５と予測回路７６との間に予測係数ＲＯＭ１０１が新たに設けられているとともに、予測回路７６がメモリ７６Ａを内蔵していない他は、図２０における場合と基本的に同様に構成されている。
【０２１６】
送信装置１が図２１に示したように構成される場合、上述したことから、受信機／再生装置７１が出力する符号化データには、クラスごとの予測係数は含まれておらず、このため、分離部７２では、符号化データから、補正データ（最適圧縮データ）だけが抽出され、クラス分類用ブロック化回路７３および予測値計算用ブロック化回路７７に供給される。
【０２１７】
クラス分類用ブロック化回路７３、ＡＤＲＣ処理回路７４、クラス分類回路７５、または予測値計算用ブロック化回路７７では、図２２におけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、クラス分類回路４５、または予測値計算用ブロック化回路４２それぞれと同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは５×５画素の予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。予測値計算用ブロックは予測回路７６に供給され、クラス情報は予測係数ＲＯＭ１０１に供給される。
【０２１８】
予測係数ＲＯＭ１０１には、図２２の予測係数ＲＯＭ８１に記憶されているクラスごとの予測係数と同一のものが記憶されており、クラス分類回路７５からクラス情報が供給されると、そのクラス情報に対応した２５×９の予測係数が読み出され、予測回路７６に供給される。
【０２１９】
予測回路７６は、予測係数ＲＯＭ１０１からの２５×９の予測係数と、予測値計算用ブロック化回路７７から供給される５×５画素の予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって、原画像の３×３画素の予測値を算出し、そのような予測値で構成される１フレーム（またはフィールド）の画像を、復号画像として出力する。
【０２２０】
送信装置１が図２１に示したように構成されるとともに、受信装置４が図２４に示したように構成される場合、クラスごとの２５×９の予測係数を送受信せずに済むので、その分だけ、伝送容量または記録容量を低減することができる。
【０２２１】
なお、予測係数ＲＯＭ８１や１０１には、クラスごとの予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを、クラスごとに記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、図２２のローカルデコード部１２２において、予測値計算用ブロック化回路４２および予測回路８２を設けずに済むようになる。また、図２４の受信装置４においても同様に、予測値計算用ブロック化回路７７および予測回路７６を設けずに済むようになる。
【０２２２】
以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。
【０２２３】
なお、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。
【０２２４】
また、本実施の形態では、画素値と誤差情報との関係が、２次曲線で表されるものとしたが、本発明は、画素値と誤差情報との関係が、２次曲線以外で表される場合にも適用可能である。
【０２２５】
さらに、本実施の形態においては、１フレーム（またはフィールド）の画像から、例えば、クラス分類用ブロックや予測値計算用ブロックなどのブロックを構成するようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素（異なるフレームの画素）などをも用いて構成するようにすることも可能である。
【０２２６】
また、本実施の形態では、例えば、１フレーム（またはフィールド）単位で、正規方程式をたてて、クラスごとの予測係数を求めるようにしたが、予測係数の算出処理は、その他、例えば、複数フレーム（またはフィールド）単位で正規方程式をたてて行うようにすることも可能である。他の処理についても同様である。
【０２２７】
さらに、本実施の形態では、図２の送信装置１を構成するＣＰＵ１４が、同じく送信装置１を構成する外部記憶装置１５に記憶されたアプリケーションプログラムを実行することで、各種の符号化処理が行われるようにしたが、これらの符号化処理は、ハードウェアによって行うことも可能である。同様に受信装置４における処理も、そのような処理を行うためのプログラムをコンピュータに実行させることによっても、またハードウェアによっても、実現可能である。
【０２２８】
また、本実施の形態では、クラス分類を行うことを前提として、クラス変化点を求め、さらに、誤差曲線を求めるようにしたが、クラス分類を行わない場合は、クラス変化点は存在しないから、即ち、画素値と誤差情報との関係は不連続にならないから、上述したように、任意の３点を用いて、画素値と誤差情報との関係を表す曲線を求めることが可能である。
【０２２９】
【発明の効果】
本発明の画像符号化装置および画像符号化方法によれば、圧縮データの画素値と予測誤差との関係を表す誤差曲線が推定されるので、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データを、効率良く求めることが可能となる。
【０２３１】
本発明の学習装置および学習方法においては、圧縮データの画素値を複数の値に変化させ、その複数の値に変化させた圧縮データの画素値と原画像の画素値とを用いて、複数の値それぞれについて、予測値と原画像の画素値との予測誤差を最小にする予測係数が、クラスごとに求められ、その予測係数と圧縮データとの線形結合により、複数の値それぞれについての予測値が求められる。さらに、複数の値それぞれについて、原画像に対する、予測値の予測誤差が算出され、圧縮データの画素値と予測誤差との関係を表す誤差曲線が推定される。そして、誤差曲線において予測誤差を最小にする画素値で構成される圧縮データと、原画像の画素値とを用いて、予測値と原画像の画素値との予測誤差を最小にする予測係数がさらに求められ、その求められた予測係数が出力される。従って、圧縮データを高画質の復号画像に復号することのできる予測係数を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の構成例を示すブロック図である。
【図３】図１の送信装置１の第１の機能的構成例を示すブロック図である。
【図４】図３の送信装置１の動作を説明するためのフローチャートである。
【図５】図４のステップＳ１の処理を説明するための図である。
【図６】図３のローカルデコード部２２の構成例を示すブロック図である。
【図７】クラス分類処理を説明するための図である。
【図８】ＡＤＲＣ処理を説明するための図である。
【図９】図６のローカルデコード部２２の動作を説明するためのフローチャートである。
【図１０】全探索処理を行う場合の、図３の送信装置１の動作を説明するためのフローチャートである。
【図１１】画素値と誤差情報との関係を示す図である。
【図１２】最小の誤差情報を求める方法を説明するための図である。
【図１３】クラス変化点を算出する方法を説明するための図である。
【図１４】クラス変化点を算出する方法を説明するための図である。
【図１５】クラス変化点を算出する方法を説明するための図である。
【図１６】クラス変化点を算出する方法を説明するための図である。
【図１７】クラス変化点を算出する方法を説明するための図である。
【図１８】クラス変化点から、誤差曲線を推定して、最小の誤差情報を求める場合の、図３の送信装置１の動作を説明するためのフローチャートである。
【図１９】図１８の処理を行う場合の、図３における圧縮部２１の構成例を示すブロック図である。
【図２０】図１の受信装置４の第１の構成例を示すブロック図である。
【図２１】図１の送信装置１の第２の機能的構成例を示すブロック図である。
【図２２】図２１のローカルデコード部１２２の構成例を示すブロック図である。
【図２３】図２２の予測係数ＲＯＭ８１に記憶されている予測係数を算出する画像処理装置の一実施の形態の構成を示すブロック図である。
【図２４】図１の受信装置４の第２の構成例を示すブロック図である。
【符号の説明】
１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１ Ｉ／Ｆ， １２ ＲＯＭ， １３ ＲＡＭ， １４ ＣＰＵ， １５ 外部記憶装置， １６ 送信機／記録装置， ２１ 圧縮部， ２２ ローカルデコード部， ２３ 誤差算出部， ２４ 判定部， ２５ 多重化部， ３１ 間引き回路， ３２ フレームメモリ， ３３ クラス変化点算出回路， ３４ 誤差曲線算出回路， ３５ 最小値算出回路， ４１ クラス分類用ブロック化回路，４２ 予測値計算用ブロック化回路， ４３ クラス分類適応処理回路， ４４ ＡＤＲＣ処理回路， ４５ クラス分類回路， ４６ 適応処理回路， ７１ 受信機／再生装置， ７２ 分離部， ７３ クラス分類用ブロック化回路， ７４ ＡＤＲＣ処理回路， ７５ クラス分類回路， ７６ 予測回路， ７６Ａ メモリ， ７７ 予測値計算用ブロック化回路， ８１ 予測係数ＲＯＭ， ８２ 予測回路， ９１ 学習用ブロック化回路， ９２ 教師用ブロック化回路， ９３ ＡＤＲＣ処理回路， ９４ クラス分類回路， ９５ スイッチ， ９６ 学習データメモリ， ９７ カウンタ， ９８ 教師データメモリ， ９９ 演算回路， １００ メモリ， １０１ 予測係数ＲＯＭ， １２２ ローカルデコード部
Claims (10)
- 画像を符号化する画像符号化装置であって、
原画像を、その画素数を少なくすることにより圧縮し、圧縮データとする圧縮手段と、
前記圧縮データに基づいて、クラス分類を行い、その結果得られるクラスに対応して、前記原画像を予測し、その予測値を求める予測手段と、
前記原画像に対する、前記予測値の予測誤差を算出する予測誤差算出手段と、
前記圧縮データの画素値を複数の値に変化させたときの前記予測誤差から、前記圧縮データの画素値と前記予測誤差との関係を表す誤差曲線を推定する誤差曲線推定手段と、
前記誤差曲線において前記予測誤差を最小にする画素値で構成される前記圧縮データを求める誤差最小データ算出手段と、
前記誤差最小データ算出手段が出力する前記圧縮データを、前記原画像の符号化結果として出力する出力手段と
を備えることを特徴とする画像符号化装置。 - 前記圧縮データの画素値を変化させたときに前記クラスが変化する画素値であるクラス変化点を算出するクラス変化点算出手段をさらに備え、
前記誤差曲線推定手段は、複数の前記クラス変化点それぞれにおける前記予測誤差から、前記誤差曲線を推定する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記予測手段は、
前記圧縮データとの線形結合により前記予測値を算出するための予測係数を、前記クラスごとに求める予測係数演算手段と、
前記圧縮データの前記クラスについて得られた前記予測係数と、その圧縮データとから、前記予測値を求める予測値演算手段と
を有する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記予測手段は、
前記圧縮データとの線形結合により前記予測値を算出するための予測係数を、前記クラスごとに記憶している記憶手段と、
前記圧縮データの前記クラスについての前記予測係数と、その圧縮データとから、前記予測値を求める予測値演算手段と
を有する
ことを特徴とする請求項１に記載の画像符号化装置。 - 画像を符号化する画像符号化方法であって、
原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、
前記圧縮データに基づいて、クラス分類を行い、その結果得られるクラスに対応して、前記原画像を予測し、その予測値を求め、
前記原画像に対する、前記予測値の予測誤差を算出し、
前記圧縮データの画素値を複数の値に変化させたときの前記予測誤差から、前記圧縮データの画素値と前記予測誤差との関係を表す誤差曲線を推定し、
前記誤差曲線において前記予測誤差を最小にする画素値で構成される前記圧縮データを求め、その圧縮データを、前記原画像の符号化結果として出力する
ことを特徴とする画像符号化方法。 - 原画像の画素数を少なくすることにより圧縮した圧縮データとの線形結合により、前記原画像の予測値を算出するための予測係数を求める学習装置であって、
原画像を、その画素数を少なくすることにより圧縮し、前記圧縮データとする圧縮手段と、
前記圧縮データに基づいて、クラス分類を行い、その結果得られるクラスを出力するクラス分類手段と、
前記圧縮データの画素値を複数の値に変化させ、その複数の値に変化させた前記圧縮データの画素値と前記原画像の画素値とを用いて、前記複数の値それぞれについて、前記予 測値と前記原画像の画素値との予測誤差を最小にする前記予測係数を、前記クラスごとに求める予測係数演算手段と、
前記圧縮データと予測係数との線形結合により、前記複数の値それぞれについての前記予測値を求める予測値演算手段と、
前記複数の値それぞれについて、前記原画像に対する、前記予測値の前記予測誤差を算出する予測誤差算出手段と、
前記圧縮データの画素値を前記複数の値に変化させたときの前記予測誤差から、前記圧縮データの画素値と前記予測誤差との関係を表す誤差曲線を推定する誤差曲線推定手段と、
前記誤差曲線において前記予測誤差を最小にする画素値で構成される前記圧縮データを求める誤差最小データ算出手段と、
前記誤差曲線において前記予測誤差を最小にする画素値で構成される前記圧縮データと、前記原画像の画素値とを用いて、前記予測値と前記原画像の画素値との予測誤差を最小にする前記予測係数が前記予測係数演算手段によってさらに求められ、その求められた前記予測係数を出力する出力手段と
を備えることを特徴とする学習装置。 - 前記圧縮データの画素値を変化させたときに前記クラスが変化する画素値であるクラス変化点を算出するクラス変化点算出手段をさらに備え、
前記誤差曲線推定手段は、複数の前記クラス変化点それぞれにおける前記予測誤差から、前記誤差曲線を推定する
ことを特徴とする請求項６に記載の学習装置。 - 原画像の画素数を少なくすることにより圧縮した圧縮データとの線形結合により、前記原画像の予測値を算出するための予測係数を求める学習方法であって、
原画像を、その画素数を少なくすることにより圧縮して、前記圧縮データとし、
前記圧縮データに基づいて、クラス分類を行い、その結果得られるクラスを出力し、
前記圧縮データの画素値を複数の値に変化させ、その複数の値に変化させた前記圧縮データの画素値と前記原画像の画素値とを用いて、前記複数の値それぞれについて、前記予測値と前記原画像の画素値との予測誤差を最小にする前記予測係数を、前記クラスごとに求め、その予測係数と前記圧縮データとの線形結合により、前記複数の値それぞれについての前記予測値を求め、
前記複数の値それぞれについて、前記原画像に対する、前記予測値の前記予測誤差を算出し、
前記圧縮データの画素値を前記複数の値に変化させたときの前記予測誤差から、前記圧縮データの画素値と前記予測誤差との関係を表す誤差曲線を推定し、
前記誤差曲線において前記予測誤差を最小にする画素値で構成される前記圧縮データと、前記原画像の画素値とを用いて、前記予測値と前記原画像の画素値との予測誤差を最小にする前記予測係数がさらに求められ、その求められた前記予測係数を出力する
ことを特徴とする学習方法。 - 画像を符号化する画像符号化装置であって、
原画像を、その画素数を少なくすることにより圧縮し、圧縮データとする圧縮手段と、
前記圧縮データに基づいて、前記原画像を予測し、その予測値を求める予測手段と、
前記原画像に対する、前記予測値の予測誤差を算出する予測誤差算出手段と、
前記圧縮データの画素値を複数の値に変化させたときの前記予測誤差から、前記圧縮データの画素値と前記予測誤差との関係を表す誤差曲線を推定する誤差曲線推定手段と、
前記誤差曲線において前記予測誤差を最小にする画素値で構成される前記圧縮データを求める誤差最小データ算出手段と、
前記誤差最小データ算出手段が出力する前記圧縮データを、前記原画像の符号化結果として出力する出力手段と
を備えることを特徴とする画像符号化装置。 - 画像を符号化する画像符号化方法であって、
原画像を、その画素数を少なくすることにより圧縮して、圧縮データとし、
前記圧縮データに基づいて、前記原画像を予測して、その予測値を求め、
前記原画像に対する、前記予測値の予測誤差を算出し、
前記圧縮データの画素値を複数の値に変化させたときの前記予測誤差から、前記圧縮データの画素値と前記予測誤差との関係を表す誤差曲線を推定し、
前記誤差曲線において前記予測誤差を最小にする画素値で構成される前記圧縮データを求め、その圧縮データを、前記原画像の符号化結果として出力する
ことを特徴とする画像符号化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35042597A JP3915855B2 (ja) | 1997-12-19 | 1997-12-19 | 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 |
| US09/213,460 US6438267B1 (en) | 1997-12-19 | 1998-12-17 | Image compression method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35042597A JP3915855B2 (ja) | 1997-12-19 | 1997-12-19 | 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11187407A JPH11187407A (ja) | 1999-07-09 |
| JP3915855B2 true JP3915855B2 (ja) | 2007-05-16 |
Family
ID=18410414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35042597A Expired - Fee Related JP3915855B2 (ja) | 1997-12-19 | 1997-12-19 | 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6438267B1 (ja) |
| JP (1) | JP3915855B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6658155B1 (en) * | 1999-03-25 | 2003-12-02 | Sony Corporation | Encoding apparatus |
| FI116819B (fi) * | 2000-01-21 | 2006-02-28 | Nokia Corp | Menetelmä kuvien lähettämiseksi ja kuvakooderi |
| KR20010113047A (ko) * | 2000-02-29 | 2001-12-24 | 이데이 노부유끼 | 데이터 처리장치 및 방법과 기록매체 및 프로그램 |
| JP2001320682A (ja) * | 2000-02-29 | 2001-11-16 | Sony Corp | データ処理装置およびデータ処理方法、並びに記録媒体およびプログラム |
| JP4560897B2 (ja) | 2000-06-02 | 2010-10-13 | ソニー株式会社 | 通信装置、通信方法及び媒体 |
| US6665443B1 (en) * | 2000-11-28 | 2003-12-16 | Sony Corporation | Robust encoded domain pixel decoding |
| US7453936B2 (en) * | 2001-11-09 | 2008-11-18 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
| JP4055203B2 (ja) | 2002-09-12 | 2008-03-05 | ソニー株式会社 | データ処理装置およびデータ処理方法、記録媒体、並びにプログラム |
| JP4281453B2 (ja) * | 2003-07-31 | 2009-06-17 | ソニー株式会社 | 信号処理装置および信号処理方法 |
| US8059909B2 (en) * | 2008-04-29 | 2011-11-15 | Sony Corporation | Adaptive generation of irregular spatial sub-sampling for images |
| US8055087B2 (en) * | 2008-04-29 | 2011-11-08 | Sony Corporation | Sample level variation for spatial sub-sampled images |
| CN105989352B (zh) * | 2015-03-06 | 2019-08-20 | 华为技术有限公司 | 图像识别加速器、终端设备及图像识别方法 |
| JP2022174948A (ja) * | 2021-05-12 | 2022-11-25 | 横河電機株式会社 | 装置、監視システム、方法およびプログラム |
Family Cites Families (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3582314D1 (de) | 1984-12-19 | 1991-05-02 | Sony Corp | Hochleistungsfaehige technik zur kodierung eines digitalen videosignals. |
| NL8701261A (nl) | 1987-05-27 | 1988-12-16 | Philips Nv | Televisie-overdrachtsysteem met pyramidale kodeer/dekodeerschakeling. |
| US5122873A (en) | 1987-10-05 | 1992-06-16 | Intel Corporation | Method and apparatus for selectively encoding and decoding a digital motion video signal at multiple resolution levels |
| US5200962A (en) | 1988-11-03 | 1993-04-06 | Racal-Datacom, Inc. | Data compression with error correction |
| JP2840678B2 (ja) | 1989-07-21 | 1998-12-24 | ソニー株式会社 | 高能率符合化装置 |
| US5193003A (en) | 1989-08-15 | 1993-03-09 | Sony Corporation | Apparatus for decoding digital video data with small memory requirement |
| GB9013217D0 (en) | 1990-06-13 | 1990-08-01 | Indep Broadcasting Authority | Evaluation of detail in video images,and applications thereof |
| GB9022326D0 (en) | 1990-10-15 | 1990-11-28 | British Telecomm | Signal coding |
| US5680225A (en) | 1991-02-14 | 1997-10-21 | Canon Kabushiki Kaisha | Image reduction with fine-line protection |
| US5331414A (en) | 1991-12-23 | 1994-07-19 | Intel Corporation | Method and apparatus for encoding a digital motion video signal using pyramid specific filtering |
| GB2262854B (en) | 1991-12-24 | 1995-05-24 | Sony Broadcast & Communication | Image processing apparatus |
| US5291281A (en) | 1992-06-18 | 1994-03-01 | General Instrument Corporation | Adaptive coding level control for video compression systems |
| US5349385A (en) | 1992-08-06 | 1994-09-20 | Florida Atlantic University | Adaptive scan converter |
| JPH06125533A (ja) | 1992-10-13 | 1994-05-06 | Sony Corp | エラー訂正コード付加装置及びエラー訂正装置 |
| JP3104439B2 (ja) | 1992-11-13 | 2000-10-30 | ソニー株式会社 | 高能率符号化及び／又は復号化装置 |
| KR100360206B1 (ko) | 1992-12-10 | 2003-02-11 | 소니 가부시끼 가이샤 | 화상신호변환장치 |
| JP3572632B2 (ja) | 1993-06-29 | 2004-10-06 | ソニー株式会社 | 異常検出装置 |
| JP3503166B2 (ja) | 1993-07-29 | 2004-03-02 | ソニー株式会社 | 信号変換装置および方法 |
| CN1075321C (zh) | 1993-08-30 | 2001-11-21 | 索尼公司 | 图像编码装置及方法 |
| JP3590996B2 (ja) | 1993-09-30 | 2004-11-17 | ソニー株式会社 | ディジタル画像信号の階層符号化および復号装置 |
| US5663764A (en) | 1993-09-30 | 1997-09-02 | Sony Corporation | Hierarchical encoding and decoding apparatus for a digital image signal |
| JP3373008B2 (ja) | 1993-10-20 | 2003-02-04 | オリンパス光学工業株式会社 | 画像像域分離装置 |
| JP3271108B2 (ja) | 1993-12-03 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号の処理装置および方法 |
| JPH07184138A (ja) | 1993-12-24 | 1995-07-21 | Toshiba Corp | ２画面映像処理回路 |
| JP3846642B2 (ja) | 1994-01-31 | 2006-11-15 | ソニー株式会社 | 動き量検出方法及び動き量検出装置 |
| US5555465A (en) | 1994-05-28 | 1996-09-10 | Sony Corporation | Digital signal processing apparatus and method for processing impulse and flat components separately |
| US5553160A (en) | 1994-09-01 | 1996-09-03 | Intel Corporation | Method and apparatus for dynamically selecting an image compression process based on image size and color resolution |
| US5796442A (en) | 1994-11-02 | 1998-08-18 | Texas Instruments Incorporated | Multi-format television reciever |
| JP3781203B2 (ja) | 1994-11-28 | 2006-05-31 | ソニー株式会社 | 画像信号補間装置及び画像信号補間方法 |
| US5754702A (en) | 1994-12-02 | 1998-05-19 | Allied Signal Inc. | Scale oriented interband prediction method for image data compression and reconstruction |
| US5625712A (en) | 1994-12-14 | 1997-04-29 | Management Graphics, Inc. | Iterative compression of digital images |
| EP0720376B1 (en) | 1994-12-29 | 2001-10-31 | Sony Corporation | Quantizing apparatus and quantizing method |
| US5734433A (en) | 1995-06-21 | 1998-03-31 | Sony Corporation | Picture encoding apparatus, picture encoding method, picture encoding and transmitting method, and picture record medium |
| US5703652A (en) | 1995-07-28 | 1997-12-30 | Sony Corporation | Information signal encoding system and method for adaptively encoding an information signal |
| US5825313A (en) | 1995-08-01 | 1998-10-20 | Sony Corporation | Information signal encoding apparatus, encoding method thereof, information signal decoding method, and information signal record medium thereof |
| US5960116A (en) | 1995-11-02 | 1999-09-28 | Canon Kabushiki Kaisha | Image processing apparatus and method for performing prediction data encoding |
| US5812699A (en) | 1995-12-07 | 1998-09-22 | Intel Corporation | Counter-based controller for video compression |
| US5912708A (en) | 1996-12-26 | 1999-06-15 | Sony Corporation | Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium |
| US5969764A (en) | 1997-02-14 | 1999-10-19 | Mitsubishi Electric Information Technology Center America, Inc. | Adaptive video coding method |
| US5880784A (en) | 1997-06-17 | 1999-03-09 | Intel Corporation | Method and apparatus for adaptively switching on and off advanced prediction mode in an H.263 video coder |
| US6233358B1 (en) * | 1998-07-13 | 2001-05-15 | Intel Corporation | Image compression using directional predictive coding of the wavelet coefficients |
-
1997
- 1997-12-19 JP JP35042597A patent/JP3915855B2/ja not_active Expired - Fee Related
-
1998
- 1998-12-17 US US09/213,460 patent/US6438267B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6438267B1 (en) | 2002-08-20 |
| JPH11187407A (ja) | 1999-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3912627B2 (ja) | 画像符号化装置および画像符号化方法、並びに伝送方法 | |
| JP3748088B2 (ja) | 画像処理装置および方法、並びに学習装置および方法 | |
| JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3915855B2 (ja) | 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 | |
| JP2002315004A (ja) | 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム | |
| EP0825776B1 (en) | Image coding using sub-sampling, classification of pixel blocks and association of mapping coefficients | |
| EP0820198B1 (en) | Apparatus and method for image coding and decoding | |
| KR100504415B1 (ko) | 화상부호화장치,화상부호화방법,화상복호장치,화상복호방법및기록매체 | |
| US6160845A (en) | Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium | |
| JP3747970B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP3844031B2 (ja) | 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法 | |
| JP3912628B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体 | |
| JP4534951B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JP4582416B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JP3912629B2 (ja) | 画像処理システム、画像符号化装置および画像符号化方法、伝送方法、並びに記録媒体 | |
| JP4496494B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JP3952326B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JP4487900B2 (ja) | 画像処理システム | |
| JP4168299B2 (ja) | 画像データ変換装置及び画像データ変換方法 | |
| JP3907623B2 (ja) | 映像信号符号化・復号化装置及び符号化・復号化方法 | |
| KR100598754B1 (ko) | 원 화상 데이타 부호화 장치, 부호화 화상 데이타 복호화 장치, 원 화상 데이타 부호화 방법, 부호화 화상 데이타 복호화 방법, 화상 데이타 송신 방법, 컴퓨터로 판독 가능한 기록 매체 | |
| EP1298934A1 (en) | Apparatus and method for image coding and decoding | |
| JP4123452B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2001339724A (ja) | 画像符号化装置および方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060925 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070130 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100216 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |