JP3747970B2 - 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 - Google Patents
画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 Download PDFInfo
- Publication number
- JP3747970B2 JP3747970B2 JP34294496A JP34294496A JP3747970B2 JP 3747970 B2 JP3747970 B2 JP 3747970B2 JP 34294496 A JP34294496 A JP 34294496A JP 34294496 A JP34294496 A JP 34294496A JP 3747970 B2 JP3747970 B2 JP 3747970B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- prediction
- image
- value
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法に関する。特に、原画像とほぼ同一の復号画像が得られるように、画像を間引いて圧縮符号化する画像符号化装置および画像符号化方法、画像復号化装置および画像符号化方法に関する。
【０００２】
【従来の技術】
従来より、画像の圧縮方法については、種々の方法が提案されているが、そのうちの１つに、画像を、その画素を間引くことにより圧縮する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このように間引いて圧縮した画像を、単純に補間により伸張した場合、その結果得られる復号画像の解像度が劣化する。
【０００４】
ここで、このように復号画像の解像度が劣化する原因として、第１に、間引い画像には、元の画像に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像を構成する画素の画素値が、元の画像を復元するのに、必ずしも適当でないことが考えられる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、原画像と同一（ほぼ同一）の復号画像が得られるように、画像を間引いて圧縮符号化することができるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段と、補正データを用いて補間を行う補間手段と、補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、原画像を予測し、その予測値を出力する予測手段と、原画像に対する、予測値の予測誤差を算出する算出手段と、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定する判定手段と、判定手段により補正データが適正でないと判定された場合、圧縮データを補正手段に再補正させ、再補正の結果得られる補正データの適正さを判定手段に再判定させる制御を行い、判定手段により補正データが適正であると判定された場合、補正データを、所定の予測係数とともに原画像の符号化結果として出力する出力手段とを備えることを特徴とする。
【０００７】
請求項４に記載の画像符号化方法は、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返し、予測誤差が所定値以下になったときにおける補正データを、所定の予測係数とともに原画像の符号化結果として出力することを特徴とする。
【０００８】
請求項５に記載の画像復号化装置は、符号化データが、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返すことにより得られた、予測誤差が所定値以下になったときにおける補正データと、所定の予測係数とである場合、符号化データを用いて補間を行う補間手段と、補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、原画像の予測値を算出し、それを復号画像として出力する予測手段とを備えることを特徴とする。
【０００９】
請求項６に記載の画像復号化方法は、符号化データが、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返すことにより得られた、予測誤差が所定値以下になったときにおける補正データと、所定の予測係数とである場合、符号化データを用いて補間を行うことにより補間データを求め、補間データと所定の予測係数とに基づいて、原画像の予測値を算出し、それを復号画像として出力することを特徴とする。
【００１１】
請求項７に記載の画像符号化装置は、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段と、補正データと所定の予測係数とに基づいて、原画像を予測し、その予測値を出力する予測手段と、原画像に対する、予測値の予測誤差を算出する算出手段と、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定する判定手段と、判定手段により補正データが適正でないと判定された場合、圧縮データを補正手段に再補正させ、再補正の結果得られる補正データの適正さを判定手段に再判定させる制御を行い、判定手段により補正データが適正であると判定された場合、補正データを、所定の予測係数とともに原画像の符号化結果として出力する出力手段とを備え、予測手段が、所定の注目画素を含む所定の範囲内の画素についての補正データと所定の予測係数とに基づいて、予測値を算出し、補正手段が、予測値の予測誤差に対応して、所定の注目画素のみについての圧縮データを補正することを特徴とする。
【００１２】
請求項８に記載の画像符号化方法は、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返し、予測誤差が所定値以下になったときにおける補正データを、所定の予測係数とともに原画像の符号化結果として出力する画像符号化方法であって、予測値を、所定の注目画素を含む所定の範囲内の画素についての補正データと所定の予測係数とに基づいて算出し、予測値の予測誤差に対応して、所定の注目画素のみについての圧縮データを補正することを特徴とする。
【００１４】
請求項１に記載の画像符号化装置においては、補正手段は、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力するようになされている。補間手段は、補正データを用いて補間を行い、予測手段は、補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、原画像を予測し、その予測値を出力するようになされている。算出手段は、原画像に対する、予測値の予測誤差を算出し、判定手段は、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定するようになされている。出力手段は、判定手段により補正データが適正でないと判定された場合、圧縮データを補正手段に再補正させ、再補正の結果得られる補正データの適正さを判定手段に再判定させる制御を行い、判定手段により補正データが適正であると判定された場合、補正データを、所定の予測係数とともに原画像の符号化結果として出力するようになされている。
【００１５】
請求項４に記載の画像符号化方法においては、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返し、予測誤差が所定値以下になったときにおける補正データを、所定の予測係数とともに原画像の符号化結果として出力するようになされている。
【００１６】
請求項５に記載の画像復号化装置においては、符号化データが、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返すことにより得られた、予測誤差が所定値以下になったときにおける補正データと、所定の予測係数とである場合において、補間手段は、符号化データを用いて補間を行い、予測手段は、補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、原画像の予測値を算出し、それを復号画像として出力するようになされている。
【００１７】
請求項６に記載の画像復号化方法においては、符号化データが、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返すことにより得られた、予測誤差が所定値以下になったときにおける補正データと、所定の予測係数とである場合において、符号化データを用いて補間を行うことにより補間データを求め、補間データと所定の予測係数とに基づいて、原画像の予測値を算出し、それを復号画像として出力するようになされている。
【００１９】
請求項７に記載の画像符号化装置においては、補正手段は、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力するようになされている。予測手段は、補正データと所定の予測係数とに基づいて、原画像を予測し、その予測値を出力し、算出手段は、原画像に対する、予測値の予測誤差を算出するようになされている。判定手段は、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定し、出力手段は、判定手段により補正データが適正でないと判定された場合、圧縮データを補正手段に再補正させ、再補正の結果得られる補正データの適正さを判定手段に再判定させる制御を行い、判定手段により補正データが適正であると判定された場合、補正データを、所定の予測係数とともに原画像の符号化結果として出力するようになされている。この場合において、予測手段が、所定の注目画素を含む所定の範囲内の画素についての補正データと所定の予測係数とに基づいて、予測値を算出し、補正手段が、予測値の予測誤差に対応して、所定の注目画素のみについての圧縮データを補正するようになされている。
【００２０】
請求項８に記載の画像符号化方法においては、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返し、予測誤差が所定値以下になったときにおける補正データを、所定の予測係数とともに原画像の符号化結果として出力するようになされている。この場合において、予測値を、所定の注目画素を含む所定の範囲内の画素についての補正データと所定の予測係数とに基づいて算出し、予測値の予測誤差に対応して、所定の注目画素のみについての圧縮データを補正するようになされている。
【００２２】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施例との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００２３】
即ち、請求項１に記載の画像符号化装置は、画像を符号化する画像符号化装置であって、原画像を、その画素数を少なくすることにより圧縮する圧縮手段（例えば、図５に示す間引き回路３１など）と、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段（例えば、図５に示す補正回路３２など）と、補正データを用いて補間を行う補間手段（例えば、図８に示す線形補間回路４０など）と、補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、原画像を予測し、その予測値を出力する予測手段（例えば、図８に示すクラス分類適応処理回路４３など）と、原画像に対する、予測値の予測誤差を算出する算出手段（例えば、図３に示す誤差算出部２３など）と、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定する判定手段（例えば、図３に示す判定部２４など）と、判定手段により補正データが適正でないと判定された場合、圧縮データを補正手段に再補正させ、再補正の結果得られる補正データの適正さを判定手段に再判定させる制御を行い、判定手段により補正データが適正であると判定された場合、補正データを、所定の予測係数とともに原画像の符号化結果として出力する出力手段（例えば、図３に示す判定部２４や多重化部２５など）とを備えることを特徴とする。
【００２４】
請求項５に記載の画像復号化装置は、画像を符号化した符号化データを復号化する画像復号化装置であって、符号化データが、原画像を、その画素数を少なくすることにより圧縮し、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返すことにより得られた、予測誤差が所定値以下になったときにおける補正データと、所定の予測係数とである場合、符号化データを用いて補間を行う補間手段（例えば、図１６に示す線形補間回路７８など）と、補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、原画像の予測値を算出し、それを復号画像として出力する予測手段（例えば、図１６に示す予測回路７６など）とを備えることを特徴とする。
【００２５】
請求項７に記載の画像符号化装置は、画像を符号化する画像符号化装置であって、原画像を、その画素数を少なくすることにより圧縮する圧縮手段（例えば、図３に示す圧縮部２１など）と、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段（例えば、図３に示す圧縮部２１など）と、補正データと所定の予測係数とに基づいて、原画像を予測し、その予測値を出力する予測手段（例えば、図３に示すローカルデコード部２２など）と、原画像に対する、予測値の予測誤差を算出する算出手段（例えば、図３に示す誤差算出部２３など）と、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定する判定手段（例えば、図３に示す判定部２４など）と、判定手段により補正データが適正でないと判定された場合、圧縮データを補正手段に再補正させ、再補正の結果得られる補正データの適正さを判定手段に再判定させる制御を行い、判定手段により補正データが適正であると判定された場合、補正データを、所定の予測係数とともに原画像の符号化結果として出力する出力手段（例えば、図３に示す判定部２４や多重化部２５など）とを備え、予測手段が、所定の注目画素を含む所定の範囲内の画素についての補正データと所定の予測係数とに基づいて、予測値を算出し、補正手段が、予測値の予測誤差に対応して、所定の注目画素のみについての圧縮データを補正することを特徴とする。
【００２６】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００２７】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示している。送信装置１には、ディジタル化された画像データが供給されるようになされている。送信装置１は、入力された画像データを間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、その他の伝送路３を介して伝送する。
【００２８】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データを伸張、復号化し、その結果得られる復号画像を、図示せぬディスプレイに供給して表示させる。
【００２９】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、後述するように、送信装置１が出力する符号化データのデータ量が少ないため、図１の画像処理装置は、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００３０】
図２は、送信装置１の構成例を示している。
【００３１】
Ｉ／Ｆ（InterFace）１１は、外部から供給される画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行うようになされている。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムにしたがい、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置１５は、例えば、磁気ディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
【００３２】
なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。
【００３３】
以上のように構成される送信装置１においては、Ｉ／Ｆ１１に画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データを、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００３４】
図３は、図２の送信装置１の、送信機／記録装置１６を除く部分の機能的なブロック図である。
【００３５】
符号化すべき画像データは、圧縮部２１、ローカルデコード部２２、および誤差算出部２３に供給されるようになされている。圧縮部２１は、画像データを、その画素を、例えば、単純に間引くことにより圧縮し、その結果得られる圧縮データ（間引きが行われた後の画像データ）を、判定部２４からの制御にしたがって補正するようになされている。圧縮部２１における補正の結果得られる補正データは、ローカルデコード部２２および判定部２４に供給するようになされている。
【００３６】
ローカルデコード部２２は、圧縮部２１からの補正データに基づいて、元の画像を予測し、その予測値を、誤差算出部２３に供給するようになされている。なお、ローカルデコード部２２は、後述するように、補正データとの線形結合により、予測値を算出するための予測係数を求める適応処理を行い、その予測係数に基づいて、予測値を求めるようになされており、上述したように、予測値を、誤差算出部２３に供給する他、そのとき求めた予測係数を、判定部２４に供給するようにもなされている。
【００３７】
誤差算出部２３は、そこに入力される、元の画像データ（原画像）に対する、ローカルデコード部２２からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部２４に供給されるようになされている。
【００３８】
判定部２４は、誤差算出部２３からの誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定するようになされている。そして、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、圧縮部２１を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、圧縮部２１から供給された補正データを、最適な圧縮データ（以下、適宜、最適圧縮データという）として多重化部２５に供給するとともに、ローカルデコード部２２から供給された予測係数を多重化部２５に供給するようになされている。
【００３９】
多重化部２５は、判定部２４からの最適圧縮データ（補正データ）と、予測係数とを多重化し、その多重化結果を、符号化データとして、送信機／記録装置１６（図２）に供給するようになされている。
【００４０】
次に、図４のフローチャートを参照して、その動作について説明する。圧縮部２１に対して、画像データが供給されると、圧縮部２１は、ステップＳ１において、その画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２では、ステップＳ２において、圧縮部２１からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）がローカルデコードされる。
【００４１】
即ち、ステップＳ２では、圧縮部２１からの補正データとの線形結合により、元の画像の予測値を算出するための予測係数を求める適応処理が行われ、その予測係数に基づいて、予測値が求められる。ローカルデコード部２２において求められた予測値は誤差算出部２３に、また、予測係数は判定部２４に供給される。
【００４２】
ここで、ローカルデコード部２２が出力する予測値で構成される画像は、受信装置４（図１）側において得られる復号画像と同一のものである。
【００４３】
誤差算出部２３は、ローカルデコード部２２から、元の画像の予測値を受信すると、ステップＳ３において、元の画像データに対する、ローカルデコード部２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定する。
【００４４】
即ち、ステップＳ４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化データとするのは適正でないと認識され、ステップＳ５に進み、判定部２４は、圧縮部２１を制御し、これにより、圧縮データを補正させる。圧縮部２１は、判定部２４の制御にしたがって、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部２２および判定部２４に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００４５】
一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化結果とするのは適正であると認識され、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適圧縮データとして、予測係数とともに、多重化部２５に出力する。多重化部２５では、ステップＳ６において、判定部２４からの最適圧縮データと予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
【００４６】
以上のように、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データ（最適圧縮データ）を、元の画像の符号化結果とするようにしたので、受信装置４側においては、その補正データに基づいて、元の画像（原画像）とほぼ同一の画像を得ることが可能となる。
【００４７】
次に、図５は、図３の圧縮部２１の構成例を示している。
【００４８】
符号化すべき画像データは、ダウンフィルタ３０に入力されるようになされている。ダウンフィルタ３０は、例えば、ハーフバンドの１次元の３１タップのローパスフィルタで、符号化すべき画像データをフィルタリングして、間引き回路３１に供給するようになされている。間引き回路３１は、ダウンフィルタ３０からの画像データを１／Ｎに間引くようになされている。従って、間引き回路３１からは、画像データを、１／Ｎに圧縮した圧縮データが出力されるようになされている。この圧縮データは、間引き回路３１から補正回路３２に供給されるようになされている。
【００４９】
補正回路３２は、判定部２４（図３）からの制御信号にしたがった補正値△を、間引き回路３１からの圧縮データに対して、例えば加算することで、補正データを生成し、ローカルデコード部２２および判定部２４に供給するようになされている。
【００５０】
次に、図６を参照して、図５の圧縮部２１の処理について説明する。
【００５１】
例えば、１フレーム（フィールド）分などの画像データが、ダウンフィルタ３０に供給されると、ダウンフィルタ３０では、ステップＳ１０において、その画像データがフィルタリングされる。即ち、ダウンフィルタ３０としての、例えば、ハーフバンドの１次元の３１タップのローパスフィルタが、画像データに対して、まず垂直方向にかけられ、その後水平方向にかけられる。ダウンフィルタ３０におけるフィルタリング結果としての画像データは、間引き回路３１に出力される。
【００５２】
ここで、ダウンフィルタ３０は、１次元や、３１タップのものなどに限定されるものではない。即ち、ダウンフィルタ３０としては、例えば、２次元の３×３のローパスフィルタや、５×５のローパスフィルタなどを用いることが可能である。まだ、ダウンフィルタ３０は、必ずしも設ける必要はない。即ち、間引き回路３１には、符号化すべき画像データをそのまま入力するようにすることが可能である。
【００５３】
間引き回路３１では、ステップＳ１１において、ダウンフィルタ３０からの画像データが１／Ｎに間引かれ（サブサンプリングされ）、その結果得られる圧縮データが、補正回路３２に出力される。
【００５４】
ここで、間引き回路３１は、図７に示すように、入力された画像データを、例えば、１／９に間引くようになされている。即ち、間引き回路３１は、３×３（横×縦）の９画素を１単位とし、各単位の中心の画素（同図において、●印で示す部分）についての画素値のみを抽出し、他の部分（同図において、○印で示す部分）を削除する。なお、間引き回路３１は、以上のような処理を、例えば、１フレーム（フィールド）単位で行うようになされている。従って、間引き回路３１から補正回路３２に対しては、１フレームの画像データが１／９に間引きされた圧縮データが供給される。但し、間引き回路３１における間引き処理は、その他、１フレームの画像を幾つかのブロックに分割し、そのブロック単位で行うようにすることも可能である。
【００５５】
補正回路３２は、間引き回路３１から圧縮データを受信すると、ステップＳ１２において、判定部２４（図３）から制御信号を受信したかどうかを判定する。ステップＳ１２において、制御信号を受信していないと判定された場合、ステップＳ１３をスキップして、ステップＳ１４に進み、補正回路３２は、間引き回路３１からの圧縮データを、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力し、ステップＳ１２に戻る。
【００５６】
即ち、判定部２４は、上述したように、誤差情報に基づいて、圧縮部２１（補正回路３２）を制御するようになされており、間引き回路３１から圧縮データが出力された直後は、まだ、誤差情報が得られないため（誤差情報が、誤差算出部２３から出力されないため）、判定部２４からは制御信号は出力されない。このため、間引き回路３１から圧縮データが出力された直後は、補正回路３２は、その圧縮データを補正せず（０を加算する補正をして）、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力する。
【００５７】
一方、ステップＳ１２において、判定部２４からの制御信号を受信したと判定された場合、ステップＳ１３において、補正回路３２は、その制御信号にしたがった補正値△を、１フレームの圧縮データそれぞれに加算し、これにより、圧縮データを補正した補正データを算出する。ここで、１フレームの圧縮データそれぞれに加算する補正値△は、同一の値である必要はなく、異なった値を用いることができる（むしろ、通常は、異なった値の方が好ましい）。
【００５８】
補正データの算出後は、ステップＳ１３からＳ１４に進み、その補正データが、補正回路３２からローカルデコード部２２および判定部２４に出力され、ステップＳ１２に戻る。
【００５９】
以上のようにして、圧縮部２１は、判定部２４の制御にしたがって、圧縮データを、種々の値に補正した補正データを出力することを繰り返す。
【００６０】
なお、判定部２４は、１フレームの画像についての符号化を終了すると、その旨を表す制御信号を、圧縮部２１に供給するようになされており、圧縮部２１は、その制御信号を受信すると、次のフレームの画像に対して、図６のフローチャートにしたがった処理を施すようになされている。
【００６１】
また、上述の場合においては、間引き回路３１に、３×３画素の中心の画素についての画素データ（画素値）のみを抽出させることにより、圧縮データを生成させるようにしたが、その他、例えば、３×３画素の平均値を算出し、その平均値を、３×３画素の中心の画素の画素値として、圧縮データを生成させるようにすることなども可能である。
【００６２】
次に、図８は、図３のローカルデコード部２２の構成例を示している。
【００６３】
圧縮部２１からの補正データは、線形補間回路４０およびクラス分類用ブロック化回路４１に供給されるようになされている。線形補間回路４０は、補正データを用いて線形補間を行い、これにより補間データを算出するようになされている。即ち、圧縮部２１から供給される補正データは、図７に●印で示した間引き後の画素についてのものであるが、線形補間回路４０は、この補正データを用いて線形補間を行うことで、同図に○印で示した間引き前の画素についての画素値である補間データを求めるようになされている。
【００６４】
ここで、以下、適宜、補間データというときには、図７において●印で示した画像についての補正データをも含むものとする。
【００６５】
線形補間回路４０で求められた補間データは、予測値計算用ブロック化回路４２に供給されるようになされている。
【００６６】
クラス分類用ブロック化回路４１は、圧縮部２１からの補正データを、その性質に応じて所定のクラスに分類するための単位であるクラス分類用ブロックにブロック化するようになされている。
【００６７】
即ち、いま、図７において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（または画素）（図中、●印で示す部分）をＸijと表すとすると、クラス分類用ブロック化回路４１は、Ｘijを注目画素とする場合、例えば、その注目画素Ｘijの左上、上、右上、左、右、左下、下、右下に隣接する８つの画素Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラス分類用ブロック（注目画素Ｘijを、後述するクラス分類するためのタップ（クラス分類用タップ））を構成するようになされている。このクラス分類用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００６８】
なお、この場合、クラス分類用ブロックは、３×３画素（３×３の補正データ）でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。
【００６９】
予測値計算用ブロック化回路４２は、線形補間回路４０からの補間データを、元の画像の予測値を計算するための単位である予測値計算用ブロック（予測タップ）にブロック化するようになされている。
【００７０】
即ち、いま、図７において、間引き後の画素（図中、●印で示す部分）のうちの１つを注目画素Ｘijとして、その注目画素Ｘijを中心とする、元の画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すとすると、予測値計算用ブロック化回路４２は、例えば、画素Ｙij（１）乃至Ｙij（９）の予測値の計算のために、注目画素Ｘijを中心とする２５の補間（線形補間）後の画素で構成されるひし形状の予測値計算用ブロックを構成するようになされている。
【００７１】
具体的には、例えば、図７において、Ｘ33を注目画素とするとき、同図で実線の四角形で囲む、元の画像における画素Ｙ33（１）乃至Ｙ33（９）の予測値の計算のためには、同図において点線で囲むひし形の範囲の２５画素（２５の補間データ）から、予測値計算用ブロックが構成される。
【００７２】
予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００７３】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【００７４】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行うようにすることができる。
【００７５】
クラス分類適応処理回路４３は、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路、クラス分類回路４５、および適応処理回路４６で構成され、クラス分類適応処理を行うようになされている。
【００７６】
クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【００７７】
ここで、クラス分類処理および適応処理について簡単に説明する。
【００７８】
まず、クラス分類処理について説明する。
【００７９】
いま、例えば、図９（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図９（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。このようなパターン分けが、クラス分類処理であり、クラス分類回路４５において行われる。
【００８０】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【００８１】
ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、３×３の９画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【００８２】
そこで、本実施の形態においては、ＡＤＲＣ処理回路４４において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を小さくすることで、クラス数を削減するようになされている。
【００８３】
即ち、例えば、いま、説明を簡単にするため、図１０（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００８４】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図１０（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【００８５】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。このようなノンエッジマッチングに対して、図１０（Ｃ）に示すように、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲に属する画素値の平均値ＭＩＮ’、またはその最も上のレベルの範囲に属する画素値の平均値ＭＡＸ’に、ＡＤＲＣコード００Ｂまたは１１Ｂそれぞれを変換するとともに、ＭＡＸ’−ＭＩＮ’で規定されるダイナミックレンジＤＲ’を等分（３等分）するレベルに、ＡＤＲＣコード０１Ｂと１０Ｂを変換することにより、ＡＤＲＣコードの復号を行うようなＡＤＲＣ処理があり、これは、エッジマッチングと呼ばれる。
【００８６】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００８７】
ブロックを構成する各画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理回路４４において行われるようになされている。
【００８８】
なお、本実施の形態では、クラス分類回路４５において、ＡＤＲＣ処理回路４４から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【００８９】
次に、適応処理について説明する。
【００９０】
例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００９１】
【００９２】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【００９３】
【００９４】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００９５】
【００９６】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００９７】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００９８】
【数４】
【００９９】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【０１００】
【数５】
【０１０１】
式（４）および（５）より、式（６）が得られる。
【０１０２】
【数６】
【０１０３】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１０４】
【数７】
【０１０５】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１０６】
以上のようにして、最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり（広義には、あらかじめ予測係数ｗを求めておき、その予測係数ｗを用いて、予測値Ｅ［ｙ］を求めることも、適応処理に含まれるものとする）、この適応処理が、適応処理回路４６において行われるようになされている。
【０１０７】
なお、適応処理は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１０８】
次に、図１１のフローチャートを参照して、図８のローカルデコード部２２の処理について説明する。
【０１０９】
ローカルデコード部２２においては、まず最初に、ステップＳ２０において、線形補間回路４０によって、圧縮部２１からの補正データを用いて線形補間が行われることにより、補間データが求められ、予測値計算用ブロック化回路４２に供給される。
【０１１０】
そして、ステップＳ２１において、圧縮部２１が出力する補正データまたは線形補間回路４０が出力する補間データが、クラス分類用ブロック化回路４１または予測値計算用ブロック化回路４２において、それぞれブロック化される。
【０１１１】
即ち、上述したように、クラス分類用ブロック化回路４１において、補正データが、ある注目画素を中心とする３×３画素のクラス分類用ブロックにブロック化され、クラス分類適応処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補間データが、注目画素を中心とする２５画素の予測値計算用ブロックにブロック化され、やはり、クラス分類適応処理回路４３に供給される。
【０１１２】
クラス分類適応処理回路４３には、上述したように、クラス分類用ブロックおよび予測値計算用ブロックの他、元の画像データが供給されるようになされており、クラス分類用ブロックはＡＤＲＣ処理部４４に、予測値計算用ブロックおよび元の画像データは適応処理回路４６に供給されるようになされている。
【０１１３】
ＡＤＲＣ処理回路４４は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路４５に出力する。クラス分類回路４５は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施し、そのクラス分類用ブロックに含まれる注目画素が属するクラスを判定する。このクラスの判定結果は、クラス情報として、適応処理回路４６に供給される。
【０１１４】
なお、本実施の形態においては、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【０１１５】
そして、ステップＳ２４に進み、適応処理回路４６において、クラス分類回路４５からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、予測係数および元の画像データの予測値が算出される。
【０１１６】
即ち、本実施の形態においては、例えば、ある１つの補正データに注目した場合に、その注目補正データに対応する画素（注目画素）と、その画素の周りに隣接する８個の画素の、合計９個の画素についての予測値および予測係数が、注目補正データを中心とする２５画素の補間データでなる予測値計算用ブロックを用いて、適応処理が行われることにより算出される。
【０１１７】
具体的には、例えば、いま、図７に示した画素Ｘ33を注目画素とし、この注目画素Ｘ33を中心とする３×３の画素（間引き後の画素）についての補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロックに基づいてクラス分類が行われ、これにより、注目画素Ｘ33についてのクラス情報Ｃが、クラス分類回路４５から出力されたとする。
【０１１８】
さらに、予測値計算用ブロックとして、注目画素Ｘ33を中心とする、図７で点線で囲んで示す２５画素（間引き後の画素を補間して得られた画素）についての補間データ（補正データＸ23，Ｘ32，Ｘ33，Ｘ34，Ｘ43を含む２５の補間データ）でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとする。
【０１１９】
この場合、まず、予測値計算用ブロックを構成する補間データを、学習データとするとともに、元の画像における、補間データ（補正データ）Ｘ33を中心とする３×３画素（図７において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）を、教師データとして、式（７）に示した正規方程式がたてられる。
【０１２０】
さらに、クラス情報Ｃにクラス分類される他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ33（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ33（ｋ）］を求めるための予測係数ｗ1（ｋ）乃至ｗ25（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データが２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまで、ステップＳ２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ33（ｋ）の予測値Ｅ［Ｙ33（ｋ）］を求めるのに最適な予測係数ｗ1（ｋ）乃至ｗ25（ｋ）が算出される。
【０１２１】
そして、予測値計算用ブロックを構成する２５の補間データを、ｘ1，ｘ2，・・・，ｘ25と表すとき、予測値Ｅ［Ｙ33（ｋ）］は、式（１）に対応する次式にしたがって求められる。
【０１２２】
【０１２３】
ステップＳ２４において、以上のようにして９個の予測値および２５×９個の予測係数が求められると、予測値は誤差算出部２３に、予測係数は判定部２４に、それぞれ出力され、ステップＳ２１に戻り、まだ注目画素とされていない画素（間引き後の画素）を新たに注目画素として、以下同様の処理が繰り返される。
【０１２４】
次に、図１２は、図３の誤差算出部２３の構成例を示している。
【０１２５】
ブロック化回路５１には、元の画像データが供給されるようになされており、そこでは、ブロック化回路５１は、その画像データを、ローカルデコード部２２から出力される予測値に対応する９個単位でブロック化し、その結果得られる３×３画素のブロック（例えば、図７に実線の四角形で囲んで示すような３×３画素のブロック）を、自乗誤差算出回路５２に出力するようになされている。自乗誤差算出部５２には、上述したように、ブロック化回路５１からブロックが供給される他、ローカルデコード部２２から予測値が、９個単位（３×３画素のブロック単位）で供給されるようになされており、自乗誤差算出回路５２は、原画像に対する、予測値の予測誤差としての自乗誤差を算出し、積算部５５に供給するようになされている。
【０１２６】
即ち、自動誤差算出回路は５２は、演算器５３および５４で構成されている。演算器５３は、ブロック化回路５１からのブロック化された画像データそれぞれから、対応する予測値を減算し、その減算値を、演算器５４に供給するようになされている。演算器５４は、演算器５３の出力（元の画像データと予測値との差分）を自乗し、積算部５５に供給するようになされている。
【０１２７】
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算して、再び、メモリ５６に供給して記憶させることを繰り返すことで、自乗誤差の積算値（誤差分散）を求めるようになされている。さらに、積算部５５は、所定量（例えば、１フレーム分など）についての自乗誤差の積算が終了すると、その積算値を、メモリ５６から読み出し、誤差情報として、判定部２４に供給するようになされている。メモリ５６は、１フレームについての処理が終了するごとに、その記憶値をクリアしながら、積算部５５の出力値を記憶するようになされている。
【０１２８】
次に、その動作について、図１３のフローチャートを参照して説明する。誤差算出部２３では、まず最初に、ステップＳ３１において、メモリ５６の記憶値が、例えば０にクリアされ、ステップＳ３２に進み、ブロック化回路５１において、画像データが、上述したようにブロック化され、その結果得られるブロックが、自乗誤差算出回路５２に供給される。自乗誤差算出回路５２では、ステップＳ３３において、ブロック化回路５１から供給されるブロックを構成する、元の画像の画像データと、ローカルデコード部２２から供給される予測値との自乗誤差が算出される。
【０１２９】
即ち、ステップＳ３３では、演算器５３において、ブロック化回路５１より供給されたブロック化された画像データそれぞれから、対応する予測値が減算され、演算器５４に供給される。さらに、ステップＳ３３では、演算器５４において、演算器５３の出力が自乗され、積算部５５に供給される。
【０１３０】
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、ステップＳ３４において、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算することで、自乗誤差の積算値を求める。積算部５５において算出された自乗誤差の積算値は、メモリ５６に供給され、前回の記憶値に上書きされることで記憶される。
【０１３１】
そして、積算部５５では、ステップＳ３５において、所定量としての、例えば、１フレーム分についての自乗誤差の積算が終了したかどうかが判定される。ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了していないと判定された場合、ステップＳ３２に戻り、再び、ステップＳ３２からの処理を繰り返す。また、ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了したと判定された場合、ステップＳ３６に進み、積算部５５は、メモリ５６に記憶された１フレーム分についての自乗誤差の積算値を読み出し、誤差情報として、判定部２４に出力する。そして、ステップＳ３１に戻り、再び、ステップＳ３１からの処理を繰り返す。
【０１３２】
従って、誤差算出部２３では、左からｉ番目で、上からｊ番目の、元の画像データをＹij（ｋ）とするとともに、その予測値をＥ［Ｙij（ｋ）］とするとき、次式にしたがった演算が行われることで、誤差情報Ｑが算出される。
【０１３３】
Ｑ＝Σ（Ｙij（ｋ）−Ｅ［Ｙij（ｋ）］）2
但し、Σは、１フレーム分についてのサメーションを意味する。
【０１３４】
次に、図１４は、図３の判定部２４の構成例を示している。
【０１３５】
予測係数メモリ６１は、ローカルデコード部２２から供給される予測係数を記憶するようになされている。補正データメモリ６２は、圧縮部２１から供給される補正データを記憶するようになされている。
【０１３６】
なお、補正データメモリ６２は、圧縮部２１において、圧縮データが新たに補正され、これにより、新たな補正データが供給された場合には、既に記憶している補正データ（前回の補正データ）に代えて、新たな補正データを記憶するようになされている。また、このように補正データが、新たなものに更新されるタイミングで、ローカルデコード部２２からは、その新たな補正データに対応する、新たな予測係数のセットが出力されるが、予測係数メモリ６１においても、このように新たな予測係数が供給された場合には、既に記憶している予測係数（前回の予測係数）に代えて、その新たな予測係数を記憶するようになされている。
【０１３７】
誤差情報メモリ６３は、誤差算出部２３から供給される誤差情報を記憶するようになされている。なお、誤差情報メモリ６３は、誤差算出部２３から、今回供給された誤差情報の他に、前回供給された誤差情報も記憶するようになされている（新たな誤差情報が供給されても、さらに新たな誤差情報が供給されるまでは、既に記憶している誤差情報を保持するようになされている）。なお、誤差情報メモリ６３は、新たなフレームについての処理が開始されるごとにクリアされるようになされている。
【０１３８】
比較回路６４は、誤差情報メモリ６３に記憶された今回の誤差情報と、所定の閾値εとを比較し、さらに、必要に応じて、今回の誤差情報と前回の誤差情報との比較も行うようになされている。比較回路６４における比較結果は、制御回路６５に供給されるようになされている。
【０１３９】
制御回路６５は、比較回路６４における比較結果に基づいて、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることの適正（最適）さを判定し、最適でないと認識（判定）した場合には、新たな補正データの出力を要求する制御信号を、圧縮部２１（補正回路３２）（図５）に供給するようになされている。また、制御回路６５は、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることが最適であると認識した場合には、予測係数メモリ６１に記憶されている予測係数を読み出し、多重化部２５に出力するとともに、補正データメモリ６２に記憶されている補正データを読み出し、最適圧縮データとして、やはり多重化部２５に供給するようになされている。さらに、この場合、制御回路６５は、１フレームの画像についての符号化を終了した旨を表す制御信号を、圧縮部２１に出力し、これにより、上述したように、圧縮部２１に、次のフレームについての処理を開始させるようになされている。
【０１４０】
次に、図１５を参照して、判定部２４の動作について説明する。判定部２４では、まず最初に、ステップＳ４１において、誤差算出部２３から誤差情報を受信したかどうかが、比較回路６４によって判定され、誤差情報を受信していないと判定された場合、ステップＳ４１に戻る。また、ステップＳ４１において、誤差情報を受信したと判定された場合、即ち、誤差情報メモリ６３に誤差情報が記憶された場合、ステップＳ４２に進み、比較回路６４において、誤差情報メモリ６３に、いま記憶された誤差情報（今回の誤差情報）と、所定の閾値εとが比較され、いずれが大きいかが判定される。
【０１４１】
ステップＳ４２において、今回の誤差情報が、所定の閾値ε以上であると判定された場合、比較回路６４において、誤差情報メモリ６３に記憶されている前回の誤差情報が読み出される。そして、比較回路６４は、ステップＳ４３において、前回の誤差情報と、今回の誤差情報とを比較し、いずれが大きいかを判定する。
【０１４２】
ここで、１フレームについての処理が開始され、最初に誤差情報が供給されたときには、誤差情報メモリ６３には、前回の誤差情報は記憶されていないので、この場合には、判定部２４においては、ステップＳ４３以降の処理は行われず、制御回路６５において、所定の初期アドレスを出力するように、補正回路３２（図５）を制御する制御信号が出力されるようになされている。
【０１４３】
ステップＳ４３において、今回の誤差情報が、前回の誤差情報以下であると判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が減少した場合、ステップＳ４４に進み、制御回路６５は、補正値△を、前回と同様に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。また、ステップＳ４３において、今回の誤差情報が、前回の誤差情報より大きいと判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が増加した場合、ステップＳ４５に進み、制御回路６５は、補正値△を、前回と逆に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。
【０１４４】
なお、減少し続けていた誤差情報が、あるタイミングで上昇するようになったときは、制御回路６５は、補正値△を、いままでの場合の、例えば１／２の大きさで、前回と逆に変化させるように指示する制御信号を出力するようになされている。
【０１４５】
そして、ステップＳ４１乃至Ｓ４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ４２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ４６に進み、制御回路６５は、予測係数メモリ６１に記憶されている予測係数を読み出すとともに、補正データメモリ６２に記憶されている補正データを読み出し、多重化部２５に供給して、処理を終了する。
【０１４６】
その後は、次のフレームについての誤差情報が供給されるのを待って、再び、図１５に示すフローチャートにしたがった処理を繰り返す。
【０１４７】
なお、補正回路３２には、圧縮データの補正は、１フレームすべての圧縮データについて行わせるようにすることもできるし、その一部の圧縮データについてだけ行わせるようにすることもできる。一部の圧縮データについてだけ補正を行う場合においては、制御回路６５に、例えば、誤差情報に対する影響の強い画素を検出させ、そのような画素についての圧縮データだけを補正するようにすることができる。誤差情報に対する影響の強い画素は、例えば、次のようにして検出することができる。即ち、まず最初に、間引き後に残った画素についての圧縮データをそのまま用いて処理を行うことにより、その誤差情報を得る。そして、間引き後に残った画素についての圧縮データを、１つずつ、同一の補正値△だけ補正するような処理を行わせる制御信号を、制御回路６５から補正回路３２に出力し、その結果得られる誤差情報を、圧縮データをそのまま用いた場合に得られた誤差情報と比較し、その差が、所定値以上となる画素を、誤差情報に対する影響の強い画素として検出すれば良い。
【０１４８】
以上のように、誤差情報を所定の閾値εより小さくする（以下にする）まで、圧縮データの補正が繰り返され、誤差情報が所定の閾値εより小さくなったときにおける補正データが、画像の符号化結果として出力されるので、受信装置４（図１）においては、間引き後の画像を構成する画素の画素値を、元の画像を復元するのに最も適当な値にした補正データから、原画像と同一（ほぼ同一）の復号画像を得ることが可能となる。
【０１４９】
また、画像は、間引き処理により圧縮される他、ＡＤＲＣ処理およびクラス分類適応処理などによっても圧縮されるため、非常に高圧縮率の符号化データを得ることができる。なお、送信装置１における、以上のような符号化処理は、間引きによる圧縮処理と、クラス分類適応処理とを、いわば有機的に統合して用いることにより、高能率圧縮を実現するものであり、このことから統合符号化処理ということができる。
【０１５０】
次に、図１６は、図１の受信装置４の構成例を示している。
【０１５１】
受信機／再生装置７１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、分離部７２に供給される。分離部７２では、符号化データが、補正データと予測係数に分離され、補正データは、クラス分類用ブロック化回路７３および線形補間回路７８に供給され、予測係数は、予測回路７６に供給される。
【０１５２】
クラス分類用ブロック化回路７３、ＡＤＲＣ処理回路７４、クラス分類回路７５、予測値計算用ブロック化回路７７、または線形補間回路７８は、図８におけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、クラス分類回路４５、予測値計算用ブロック化回路４２、または線形補間回路４０それぞれと同様に構成されており、従って、これらのブロックにおいては、図８における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路７６に供給される。
【０１５３】
予測回路７６では、クラス情報に対応した予測係数と、予測値計算用ブロック化回路７７から供給される予測値計算用ブロックを構成する補間データとを用い、式（１）にしたがって予測値が算出され、そのような予測値で構成される１フレームの画像が、復号画像として出力される。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。
【０１５４】
なお、受信側においては、図１６に示すような受信装置４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。
【０１５５】
ところで、図８に示したローカルデコード部２２においては、まず予測係数を求め、これを用いて、予測値を算出するようにしたが、ローカルデコード部２２では、予測係数を求めずに、あらかじめ求められた予測係数を用いて、予測値を算出するようにすることが可能である。
【０１５６】
即ち、図１７は、図３のローカルデコード部２２の他の構成例を示している。なお、図中、図８における場合と対応する部分については、同一の符号を付してある。即ち、図１７のローカルデコード部２２は、適応処理回路４６に代えて、予測係数ＲＯＭ８１および予測回路８２が設けられている他は、図８における場合と同様に構成されている。
【０１５７】
予測係数ＲＯＭ８１は、あらかじめ学習（後述する）により求められたクラスごとの予測係数を記憶しており、クラス分類回路４４が出力するクラス情報を受信し、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して、予測回路８２に供給する。
【０１５８】
予測回路８２では、予測値計算用ブロック化回路４２からの予測値計算用ブロックと、予測係数ＲＯＭ８１からの予測係数とを用いて、式（１）（具体的には、例えば、式（８））に示した線形１次式が計算され、これにより、元の画像の予測値が算出される。
【０１５９】
従って、図１７のクラス分類適応処理回路４３によれば、元の画像を用いずに、その予測値を算出することができる。
【０１６０】
次に、図１８は、図１７の予測係数ＲＯＭ８１に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。
【０１６１】
間引き回路９１および教師用ブロック化回路９２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。
【０１６２】
間引き回路９１は、例えば、図５における間引き回路３１と同様に、入力された画像データを１／９に間引くことにより、圧縮データを生成し、クラス分類用ブロック化回路１０１および線形補間回路１０２に供給する。
【０１６３】
クラス分類用ブロック化回路１０１、ＡＤＲＣ処理回路９３、またはクラス分類回路９４では、図１７のクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、またはクラス分類回路４５における場合とそれぞれ同様の処理が行われ、これにより得られるクラス情報が、クラス分類回路９４から、スイッチ９５の端子ａを介して、学習データメモリ９６および教師データメモリ９８に供給される。
【０１６４】
また、線形補間回路１０２または学習用ブロック化回路１０３では、図１７の線形補間回路４０または予測値計算用ブロック化回路４２における場合とそれぞれ同様の処理が行われ、これにより、学習ブロック化回路１０３は、図１７の予測値計算用ブロック化回路４２が出力する予測値計算用ブロックと同様に構成されるブロックを構成し、学習用ブロックとして、学習データメモリ９６に供給する。
【０１６５】
一方、教師用ブロック化回路９２では、入力された画像データから、例えば、３×３の９画素で構成されるブロックが生成され、この９画素で構成されるブロックが、教師用ブロックとして、教師データメモリ９８に供給される。即ち、例えば、学習用ブロック化回路１０３において、図７で点線で囲んで示した、画素Ｘ33を注目画素とする予測値計算用ブロックと同一の学習用ブロックが構成されるとき、教師用ブロック化回路９２では、図７で実線で囲んで示した、３×３の９画素で構成される教師用ブロックが、原画像（学習用画像）から構成され、教師データメモリ９８に供給される。
【０１６６】
学習データメモリ９６または教師データメモリ９８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路９１からの学習用ブロックまたは教師用ブロック化回路９２からの教師用ブロックが、それぞれ記憶される。
【０１６７】
従って、学習データメモリ９６において、例えば、図７で点線で囲んで示した２５画素（補間データ）でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ９８においては、そのアドレスと同一のアドレスに、同図で実線で囲んで示した３×３画素（元の画像データ）のブロックが、教師用ブロックとして記憶される。
【０１６８】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図１７のローカルデコード部２２において、その学習用ブロックを構成する２５画素と同一の位置関係を有する２５の補間データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ９６と、教師用データメモリ９８とにおいて、同一のアドレスに記憶される。
【０１６９】
なお、学習用データメモリ９６と教師用データメモリ９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。
【０１７０】
学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ９６と教師データメモリ９８に記憶されると、端子ａを選択していたスイッチ９５が、端子ｂに切り替わり、これにより、カウンタ９７の出力が、アドレスとして、学習データメモリ９６および教師データメモリ９８に供給される。カウンタ９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ９６または教師データメモリ９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路９９に供給される。
【０１７１】
従って、演算回路９９には、カウンタ９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０１７２】
演算回路９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０１７３】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値（補間データ）を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０１７４】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０１７５】
そこで、演算回路９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。
【０１７６】
演算回路９９において求められた、クラスごとの予測係数は、メモリ１００に供給される。メモリ１００には、演算回路９９からの予測係数の他、カウンタ９７からカウント値が供給されており、これにより、メモリ１００においては、演算回路９９からの予測係数が、カウンタ９７からのカウント値に対応するアドレスに記憶される。
【０１７７】
以上のようにして、メモリ１００には、各クラスに対応するアドレスに、そのクラスのブロックの画素を予測するのに最適な予測係数が記憶される。
【０１７８】
図１７の予測係数ＲＯＭ８１には、以上のようにしてメモリ１００に記憶された予測係数が記憶されている。
【０１７９】
なお、予測係数ＲＯＭ８１には、各クラスに対応するアドレスに、予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、図１７のローカルデコード部２２において、予測値計算用ブロック化回路４２および予測回路８２を設けずに済むようになる。
【０１８０】
また、図１７に示したようにローカルデコード部２２を構成する場合においては、図１６に示した受信装置４は、受信機／再生装置７１の後段を、図１７のローカルデコード部２２と同様に構成するようにすれば良い。
【０１８１】
以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。また、本発明は、いわゆる階層符号化を行う場合などにも適用可能である。
【０１８２】
なお、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。
【０１８３】
また、本実施の形態では、誤差情報が、所定の閾値ε以下になるまで、圧縮データの補正を繰り返し行うようにしたが、圧縮データの補正の回数には、上限を設けるようにすることも可能である。
【０１８４】
さらに、本実施の形態においては、１フレームの画像からブロックを構成するようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素から構成するようにすることも可能である。
【０１８５】
また、本実施の形態では、圧縮部２１において、画像を、単純に間引き、即ち、３×３画素のブロックにおける中心画素を抽出し、これを圧縮データとするようにしたが、圧縮部２１には、その他、例えば、ブロックを構成する９画素の平均値などを求めさせ、その平均値を、ブロックにおける中心画素の画素値とすることにより、その画素数を少なくし（間引き）、これを圧縮データとするようにすることも可能である。
【０１８６】
さらに、本実施の形態では、補間データを、線形補間により求めるようにしたが、補間データは、その他、例えば、非線形な補間などによって求めることも可能である。
【０１８７】
また、本実施の形態では、補正データを用いて線形補間を行うことにより、補間データを求め、この補間データに対して適応処理を施すようにしたが、適応処理は、補正データを対象に施すことも可能である。但し、補正データは、図７に●印で示したように、間引き後の画素における画素値であり、いわば疎らなものである。これに対して、補間データは、補正データを用いて、図７に○印で示した画素の画素値を補間したものであり、いわば密のものである。従って、補正データによって構成される画像に含まれない成分は、それを用いて線形補間を行うことにより得られる補間データにも含まれないが、補間データは密であることから、例えば、原画像の画素値の変化が比較的急峻な場合などには、疎である補正データよりも、密な補間データに対して適応処理を施して予測値を求める方が、より予測誤差の小さいものを得ることができる。
【０１８８】
さらに、本実施の形態では、圧縮データを補正し、補正データを求め、さらに、補正データを用いて補間データを求めて適応処理を施し、その結果得られる予測値の予測誤差に基づいて、補正量を変えて、圧縮データを補正することを繰り返すようにしたが、その他、例えば、適応処理により得られた予測値を間引き、その間引きにより得られたデータを、予測値の予測誤差に基づいて補正し、これを補正データとして用いるようにすることも可能である。
【０１８９】
また、本実施の形態では、図７に点線で囲んで示したように、注目画素を中心とするひし形状の範囲内にある２５画素の補間データにより、予測値計算用ブロックを構成するようにしたが、その他、予測値計算用ブロックは、例えば、図１９に示すように、注目画素を中心とするひし形状の範囲内にある５画素の補間データや、正方形状の範囲内にある９画素の補間データ、ひし形状の範囲内にある１３画素の補間データ、正方形状の範囲内にある４９画素の補間データなどで構成することも可能である。
【０１９０】
さらに、本実施の形態では、基本的に、補正データに対応する画素（間引き後の画素）を注目画素とするようにしたが、補正データ以外の補間データに対応する画素（線形補間により得られる画素）を、注目画素とすることも可能である。
【０１９１】
また、本実施の形態では、９画素で構成されるクラス分類用ブロックに対して、１ビットのＡＤＲＣ処理を施し、その処理結果を、５１２（＝２9）のクラスにクラス分類するようにしたが、クラス分類は、その他、例えば、クラス分類用ブロックのアクティビティおよびダイナミックレンジなどに基づいて行うことも可能である。
【０１９２】
即ち、いま、例えば、図２０に●印で示す、補正データに対応する９画素でクラス分類用ブロックが構成される場合において、その中心の画素（注目画素）と、周辺の８画素それぞれとの差分の絶対値をアクティビティと定義すると、クラス分類用ブロックで、アクティビティが最も大きい方向は、同図に矢印で示す８方向のいずれかとなる。従って、この場合、アクティビティだけを用いると、注目画素を８クラスのうちのいずれかに分類することができる。また、クラス分類用ブロックを構成する９画素の画素値（補正データ）の中の最大値と最小値との差分を、そのクラス分類用ブロックのダイナミックレンジＤＲと定義し、このダイナミックレンジＤＲによって、４つの場合分けをするとすると、注目画素を４つのクラスのうちのいずれかに分類することができる。このようなアクティビティおよびダイナミックレンジの両方に基づいて、クラス分類用ブロックのクラス分類を行う場合、そのクラス分類用ブロックは、３２（＝８×４）のクラスに分類される。
【０１９３】
なお、ダイナミックレンジＤＲによる場合分けの方法としては、例えば、ダイナミックレンジＤＲを非線形量子化する方法などがある。即ち、例えば、ダイナミックレンジＤＲが８ビットで表されるとすると、その値が、例えば、０以上８未満、８以上２４未満、２４以上５６未満、５６以上２５５未満のうちのいずれであるかによって、４通りに場合分けすることができる。
【０１９４】
クラス分類は、以上ようなアクティビティおよびダイナミックレンジの組合せの他、例えば、エッジの検出結果とダイナミックレンジとの組合せや、相関方向とダイナミックレンジとの組合せなどに基づいても行うことが可能である。
【０１９５】
さらに、本実施の形態では、１フレームの予測誤差の総和（正確には、予測誤差の２乗和）である誤差情報Ｑを求め、その誤差情報Ｑに対応して、１フレームの圧縮データを補正するようにしたが、圧縮データの補正は、このように１フレーム単位で行うのではなく、間引き後の画素ごとに行うようにすることも可能である。
【０１９６】
即ち、この場合、図２１のフローチャートに示すように、まず最初に、圧縮部２１は、ステップＳ５１において、図４のステップＳ１における場合と同様に、画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２では、ステップＳ５２において、間引き後の画素のうちの１つが注目画素として抽出され、ステップＳ５３に進む。ステップＳ５３では、ローカルデコード部２２の線形補間回路４０において、図２２で●印で示す注目画素と、その周辺の８画素（間引き後の画素）との画素値である補正データ（最初は、画像データを、単純に間引いた圧縮データそのもの）を用いて線形補間が行われることにより、予測値計算用ブロックを構成するのに必要な画素についての補間データが生成され、ステップＳ５４に進み、クラス分類適応処理回路４３において、その予測値計算用ブロックだけを用いて、図２２で実線で囲んで示す注目画素と、その周辺の８画素（線形補間後の画素）との合計９画素についての予測値と予測係数が算出される。
【０１９７】
ステップＳ５４で求められた予測値または予測係数は、ローカルデコード部２２から、誤差算出部２３または判定部２４にそれぞれ出力される。
【０１９８】
誤差算出部２３は、ローカルデコード部２２から、９画素についての予測値を受信すると、ステップＳ５５において、元の画像データに対する、ローカルデコード部２２からの９画素についての予測値の予測誤差をそれぞれ算出し、判定部２４に供給する。判定部２４は、誤差算出部２３から９画素についての予測誤差を受信すると、ステップＳ５６において、例えば、その９画素についての予測誤差のうちの最大値（以下、適宜、最大予測誤差という）を検出し、その最大予測誤差が所定の閾値未満であるかどうかを判定する。
【０１９９】
ステップＳ５６において、最大予測誤差が所定の閾値未満でないと判定された場合、ステップＳ５７に進み、判定部２４は、圧縮部２１を制御し、これにより、圧縮データのうち、注目画素についてのものだけを補正させる。圧縮部２１は、判定部２４の制御にしたがって、注目画素についての圧縮データだけを補正し、その結果得られる補正データを、ローカルデコード部２２および判定部２４に出力する。そして、ステップＳ５３に戻り、以下、同様の処理が繰り返される。
【０２００】
従って、この場合、ステップＳ５３では、補正された注目画素についての補正データと、前回の処理と同一の、周辺の８画素（間引き後の画素）についての補正データとを用いて線形補間が行われることにより、予測値計算用ブロックを構成するのに必要な画素についての補間データが生成される。
【０２０１】
一方、ステップＳ５６において、最大予測誤差が所定の閾値未満であると判定された場合、判定部２４は、所定の閾値未満の最大予測誤差が得られたときの、注目画素についての補正データを、最適圧縮データとして、予測係数とともに、多重化部２５に出力し、ステップＳ５８に進む。ステップＳ５８では、間引き後の画素すべてを対象に処理を行ったかどうかが判定され、行っていないと判定された場合、ステップＳ５２に戻り、まだ注目画素とされていない画素（間引き後の画素）を、新たに注目画素として、ステップＳ５３以下の処理を繰り返す。
【０２０２】
また、ステップＳ５８において、間引き後の画素すべてを注目画素として処理を行ったと判定された場合、ステップＳ５９に進み、多重化部２５において、いままでに判定部２４から出力された最適圧縮データと予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
【０２０３】
以上のように、圧縮データの補正を１画素単位（注目画素単位）で行う場合、１フレーム単位で行う場合に比較して、予測誤差の収束性が向上すると考えられる。
【０２０４】
なお、上述の場合においては、９画素についての予測誤差のうちの最大値である最大予測誤差に基づいて、圧縮データの補正を行うようにしたが、圧縮データの補正は、その他、その９画素それぞれについての予測誤差の絶対値和などに基づいて行うことも可能である。
【０２０５】
【発明の効果】
請求項１に記載の画像符号化装置および請求項４に記載の画像符号化方法によれば、原画像を圧縮することにより得られる圧縮データが補正されて、補正データが出力され、補正データを用いて補間が行われることにより補間データが出力され、その補間データと所定の予測係数とに基づいて、原画像が予測されて、その予測値が出力され、原画像に対する、予測値の予測誤差が算出される。そして、予測誤差が、例えば、所定値以下になるなどして、補正データが適正となったときにおける、その補正データが、所定の予測係数とともに原画像の符号化結果として出力される。従って、その補正データと所定の予測係数とにより、原画像とほぼ同一の復号画像を得ることが可能となる。
【０２０６】
請求項５に記載の画像復号化装置および請求項６に記載の画像復号化方法によれば、符号化データが、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返すことにより得られた、予測誤差が所定値以下になったときにおける補正データと、所定の予測係数とである場合において、その符号化データを用いて補間を行うことにより補間データが求められ、その補間データと所定の予測係数とに基づいて、原画像の予測値が算出される。従って、原画像とほぼ同一の復号画像を得ることが可能となる。
【０２０８】
請求項７に記載の画像符号化装置および請求項８に記載の画像符号化方法によれば、原画像を圧縮することにより得られる圧縮データが補正されて、補正データが出力され、補正データと所定の予測係数とに基づいて、原画像が予測されて、その予測値が出力され、原画像に対する、予測値の予測誤差が算出される。この場合において、予測値は、所定の注目画素を含む所定の範囲内の画素についての補正データと所定の予測係数とに基づいて算出され、予測値の予測誤差に対応して、所定の注目画素のみについての圧縮データが補正される。そして、予測誤差が、例えば、所定値以下になるなどして、補正データが適正となったときにおける、その補正データが、所定の予測係数とともに原画像の符号化結果として出力される。従って、その補正データと所定の予測係数とにより、原画像とほぼ同一の復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の構成例を示すブロック図である。
【図３】図２の送信装置１の機能的構成例を示すブロック図である。
【図４】図３の送信装置１の動作を説明するためのフローチャートである。
【図５】図３の圧縮部２１の構成例を示すブロック図である。
【図６】図５の圧縮部２１の動作を説明するためのフローチャートである。
【図７】図５の間引き回路３１の処理を説明するための図である。
【図８】図３のローカルデコード部２２の構成例を示すブロック図である。
【図９】クラス分類処理を説明するための図である。
【図１０】ＡＤＲＣ処理を説明するための図である。
【図１１】図８のローカルデコード部２２の動作を説明するためのフローチャートである。
【図１２】図３の誤差算出部２３の構成例を示すブロック図である。
【図１３】図１２の誤差算出部２３の動作を説明するためのフローチャートである。
【図１４】図３の判定部２４の構成例を示すブロック図である。
【図１５】図１４の判定部２４の動作を説明するためのフローチャートである。
【図１６】図１の受信装置４の構成例を示すブロック図である。
【図１７】図３のローカルデコード部２２の他の構成例を示すブロック図である。
【図１８】図１７の予測係数ＲＯＭ８１に記憶されている予測係数を算出する画像処理装置の一実施の形態の構成を示すブロック図である。
【図１９】予測値計算用ブロックの構成例を説明するための図である。
【図２０】クラス分類の方法を説明するための図である。
【図２１】圧縮データの補正を、１画素単位で行う場合の処理を説明するためのフローチャートである。
【図２２】圧縮データの補正を、１画素単位で行う場合の処理を説明するための図である。
【符号の説明】
１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１ Ｉ／Ｆ， １２ ＲＯＭ， １３ ＲＡＭ， １４ ＣＰＵ， １５ 外部記憶装置， １６ 送信機／記録装置， ２１ 圧縮部， ２２ ローカルデコード部， ２３ 誤差算出部， ２４ 判定部， ２５ 多重化部， ３０ ダウンフィルタ， ３１ 間引き回路， ３２ 補正回路， ４０ 線形補間回路， ４１ クラス分類用ブロック化回路， ４２ 予測値計算用ブロック化回路， ４３ クラス分類適応処理回路， ４４ ＡＤＲＣ処理回路， ４５ クラス分類回路， ４６ 適応処理回路， ５１ ブロック化回路， ５２ 自乗誤差算出回路， ５３，５４ 演算器， ５５ 積算部， ５６ メモリ， ６１ 予測係数メモリ， ６２ 補正データメモリ， ６３ 誤差情報メモリ， ６４ 比較回路， ６５ 制御回路， ７１ 受信機／再生装置， ７２ 分離部， ７３ クラス分類用ブロック化回路， ７４ ＡＤＲＣ処理回路， ７５ クラス分類回路， ７６ 予測回路， ７７ 予測値計算用ブロック化回路， ７８ 線形補間回路， ８１ 予測係数ＲＯＭ， ８２ 予測回路， ９１ 間引き回路， ９２ 教師用ブロック化回路， ９３ ＡＤＲＣ処理回路， ９４ クラス分類回路， ９５ スイッチ， ９６ 学習データメモリ， ９７ カウンタ， ９８ 教師データメモリ， ９９ 演算回路， １００ メモリ， １０１クラス分類用ブロック化回路， １０２ 線形補間回路， １０３ 学習用ブロック化回路
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法に関する。特に、原画像とほぼ同一の復号画像が得られるように、画像を間引いて圧縮符号化する画像符号化装置および画像符号化方法、画像復号化装置および画像符号化方法に関する。
【０００２】
【従来の技術】
従来より、画像の圧縮方法については、種々の方法が提案されているが、そのうちの１つに、画像を、その画素を間引くことにより圧縮する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このように間引いて圧縮した画像を、単純に補間により伸張した場合、その結果得られる復号画像の解像度が劣化する。
【０００４】
ここで、このように復号画像の解像度が劣化する原因として、第１に、間引い画像には、元の画像に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像を構成する画素の画素値が、元の画像を復元するのに、必ずしも適当でないことが考えられる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、原画像と同一（ほぼ同一）の復号画像が得られるように、画像を間引いて圧縮符号化することができるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段と、補正データを用いて補間を行う補間手段と、補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、原画像を予測し、その予測値を出力する予測手段と、原画像に対する、予測値の予測誤差を算出する算出手段と、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定する判定手段と、判定手段により補正データが適正でないと判定された場合、圧縮データを補正手段に再補正させ、再補正の結果得られる補正データの適正さを判定手段に再判定させる制御を行い、判定手段により補正データが適正であると判定された場合、補正データを、所定の予測係数とともに原画像の符号化結果として出力する出力手段とを備えることを特徴とする。
【０００７】
請求項４に記載の画像符号化方法は、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返し、予測誤差が所定値以下になったときにおける補正データを、所定の予測係数とともに原画像の符号化結果として出力することを特徴とする。
【０００８】
請求項５に記載の画像復号化装置は、符号化データが、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返すことにより得られた、予測誤差が所定値以下になったときにおける補正データと、所定の予測係数とである場合、符号化データを用いて補間を行う補間手段と、補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、原画像の予測値を算出し、それを復号画像として出力する予測手段とを備えることを特徴とする。
【０００９】
請求項６に記載の画像復号化方法は、符号化データが、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返すことにより得られた、予測誤差が所定値以下になったときにおける補正データと、所定の予測係数とである場合、符号化データを用いて補間を行うことにより補間データを求め、補間データと所定の予測係数とに基づいて、原画像の予測値を算出し、それを復号画像として出力することを特徴とする。
【００１１】
請求項７に記載の画像符号化装置は、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段と、補正データと所定の予測係数とに基づいて、原画像を予測し、その予測値を出力する予測手段と、原画像に対する、予測値の予測誤差を算出する算出手段と、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定する判定手段と、判定手段により補正データが適正でないと判定された場合、圧縮データを補正手段に再補正させ、再補正の結果得られる補正データの適正さを判定手段に再判定させる制御を行い、判定手段により補正データが適正であると判定された場合、補正データを、所定の予測係数とともに原画像の符号化結果として出力する出力手段とを備え、予測手段が、所定の注目画素を含む所定の範囲内の画素についての補正データと所定の予測係数とに基づいて、予測値を算出し、補正手段が、予測値の予測誤差に対応して、所定の注目画素のみについての圧縮データを補正することを特徴とする。
【００１２】
請求項８に記載の画像符号化方法は、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返し、予測誤差が所定値以下になったときにおける補正データを、所定の予測係数とともに原画像の符号化結果として出力する画像符号化方法であって、予測値を、所定の注目画素を含む所定の範囲内の画素についての補正データと所定の予測係数とに基づいて算出し、予測値の予測誤差に対応して、所定の注目画素のみについての圧縮データを補正することを特徴とする。
【００１４】
請求項１に記載の画像符号化装置においては、補正手段は、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力するようになされている。補間手段は、補正データを用いて補間を行い、予測手段は、補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、原画像を予測し、その予測値を出力するようになされている。算出手段は、原画像に対する、予測値の予測誤差を算出し、判定手段は、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定するようになされている。出力手段は、判定手段により補正データが適正でないと判定された場合、圧縮データを補正手段に再補正させ、再補正の結果得られる補正データの適正さを判定手段に再判定させる制御を行い、判定手段により補正データが適正であると判定された場合、補正データを、所定の予測係数とともに原画像の符号化結果として出力するようになされている。
【００１５】
請求項４に記載の画像符号化方法においては、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返し、予測誤差が所定値以下になったときにおける補正データを、所定の予測係数とともに原画像の符号化結果として出力するようになされている。
【００１６】
請求項５に記載の画像復号化装置においては、符号化データが、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返すことにより得られた、予測誤差が所定値以下になったときにおける補正データと、所定の予測係数とである場合において、補間手段は、符号化データを用いて補間を行い、予測手段は、補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、原画像の予測値を算出し、それを復号画像として出力するようになされている。
【００１７】
請求項６に記載の画像復号化方法においては、符号化データが、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返すことにより得られた、予測誤差が所定値以下になったときにおける補正データと、所定の予測係数とである場合において、符号化データを用いて補間を行うことにより補間データを求め、補間データと所定の予測係数とに基づいて、原画像の予測値を算出し、それを復号画像として出力するようになされている。
【００１９】
請求項７に記載の画像符号化装置においては、補正手段は、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力するようになされている。予測手段は、補正データと所定の予測係数とに基づいて、原画像を予測し、その予測値を出力し、算出手段は、原画像に対する、予測値の予測誤差を算出するようになされている。判定手段は、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定し、出力手段は、判定手段により補正データが適正でないと判定された場合、圧縮データを補正手段に再補正させ、再補正の結果得られる補正データの適正さを判定手段に再判定させる制御を行い、判定手段により補正データが適正であると判定された場合、補正データを、所定の予測係数とともに原画像の符号化結果として出力するようになされている。この場合において、予測手段が、所定の注目画素を含む所定の範囲内の画素についての補正データと所定の予測係数とに基づいて、予測値を算出し、補正手段が、予測値の予測誤差に対応して、所定の注目画素のみについての圧縮データを補正するようになされている。
【００２０】
請求項８に記載の画像符号化方法においては、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返し、予測誤差が所定値以下になったときにおける補正データを、所定の予測係数とともに原画像の符号化結果として出力するようになされている。この場合において、予測値を、所定の注目画素を含む所定の範囲内の画素についての補正データと所定の予測係数とに基づいて算出し、予測値の予測誤差に対応して、所定の注目画素のみについての圧縮データを補正するようになされている。
【００２２】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施例との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００２３】
即ち、請求項１に記載の画像符号化装置は、画像を符号化する画像符号化装置であって、原画像を、その画素数を少なくすることにより圧縮する圧縮手段（例えば、図５に示す間引き回路３１など）と、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段（例えば、図５に示す補正回路３２など）と、補正データを用いて補間を行う補間手段（例えば、図８に示す線形補間回路４０など）と、補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、原画像を予測し、その予測値を出力する予測手段（例えば、図８に示すクラス分類適応処理回路４３など）と、原画像に対する、予測値の予測誤差を算出する算出手段（例えば、図３に示す誤差算出部２３など）と、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定する判定手段（例えば、図３に示す判定部２４など）と、判定手段により補正データが適正でないと判定された場合、圧縮データを補正手段に再補正させ、再補正の結果得られる補正データの適正さを判定手段に再判定させる制御を行い、判定手段により補正データが適正であると判定された場合、補正データを、所定の予測係数とともに原画像の符号化結果として出力する出力手段（例えば、図３に示す判定部２４や多重化部２５など）とを備えることを特徴とする。
【００２４】
請求項５に記載の画像復号化装置は、画像を符号化した符号化データを復号化する画像復号化装置であって、符号化データが、原画像を、その画素数を少なくすることにより圧縮し、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返すことにより得られた、予測誤差が所定値以下になったときにおける補正データと、所定の予測係数とである場合、符号化データを用いて補間を行う補間手段（例えば、図１６に示す線形補間回路７８など）と、補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、原画像の予測値を算出し、それを復号画像として出力する予測手段（例えば、図１６に示す予測回路７６など）とを備えることを特徴とする。
【００２５】
請求項７に記載の画像符号化装置は、画像を符号化する画像符号化装置であって、原画像を、その画素数を少なくすることにより圧縮する圧縮手段（例えば、図３に示す圧縮部２１など）と、原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段（例えば、図３に示す圧縮部２１など）と、補正データと所定の予測係数とに基づいて、原画像を予測し、その予測値を出力する予測手段（例えば、図３に示すローカルデコード部２２など）と、原画像に対する、予測値の予測誤差を算出する算出手段（例えば、図３に示す誤差算出部２３など）と、予測誤差に基づいて、補正手段が出力する補正データの適正さを判定する判定手段（例えば、図３に示す判定部２４など）と、判定手段により補正データが適正でないと判定された場合、圧縮データを補正手段に再補正させ、再補正の結果得られる補正データの適正さを判定手段に再判定させる制御を行い、判定手段により補正データが適正であると判定された場合、補正データを、所定の予測係数とともに原画像の符号化結果として出力する出力手段（例えば、図３に示す判定部２４や多重化部２５など）とを備え、予測手段が、所定の注目画素を含む所定の範囲内の画素についての補正データと所定の予測係数とに基づいて、予測値を算出し、補正手段が、予測値の予測誤差に対応して、所定の注目画素のみについての圧縮データを補正することを特徴とする。
【００２６】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００２７】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示している。送信装置１には、ディジタル化された画像データが供給されるようになされている。送信装置１は、入力された画像データを間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、その他の伝送路３を介して伝送する。
【００２８】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データを伸張、復号化し、その結果得られる復号画像を、図示せぬディスプレイに供給して表示させる。
【００２９】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、後述するように、送信装置１が出力する符号化データのデータ量が少ないため、図１の画像処理装置は、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００３０】
図２は、送信装置１の構成例を示している。
【００３１】
Ｉ／Ｆ（InterFace）１１は、外部から供給される画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行うようになされている。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムにしたがい、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置１５は、例えば、磁気ディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
【００３２】
なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。
【００３３】
以上のように構成される送信装置１においては、Ｉ／Ｆ１１に画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データを、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００３４】
図３は、図２の送信装置１の、送信機／記録装置１６を除く部分の機能的なブロック図である。
【００３５】
符号化すべき画像データは、圧縮部２１、ローカルデコード部２２、および誤差算出部２３に供給されるようになされている。圧縮部２１は、画像データを、その画素を、例えば、単純に間引くことにより圧縮し、その結果得られる圧縮データ（間引きが行われた後の画像データ）を、判定部２４からの制御にしたがって補正するようになされている。圧縮部２１における補正の結果得られる補正データは、ローカルデコード部２２および判定部２４に供給するようになされている。
【００３６】
ローカルデコード部２２は、圧縮部２１からの補正データに基づいて、元の画像を予測し、その予測値を、誤差算出部２３に供給するようになされている。なお、ローカルデコード部２２は、後述するように、補正データとの線形結合により、予測値を算出するための予測係数を求める適応処理を行い、その予測係数に基づいて、予測値を求めるようになされており、上述したように、予測値を、誤差算出部２３に供給する他、そのとき求めた予測係数を、判定部２４に供給するようにもなされている。
【００３７】
誤差算出部２３は、そこに入力される、元の画像データ（原画像）に対する、ローカルデコード部２２からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部２４に供給されるようになされている。
【００３８】
判定部２４は、誤差算出部２３からの誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定するようになされている。そして、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、圧縮部２１を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、圧縮部２１から供給された補正データを、最適な圧縮データ（以下、適宜、最適圧縮データという）として多重化部２５に供給するとともに、ローカルデコード部２２から供給された予測係数を多重化部２５に供給するようになされている。
【００３９】
多重化部２５は、判定部２４からの最適圧縮データ（補正データ）と、予測係数とを多重化し、その多重化結果を、符号化データとして、送信機／記録装置１６（図２）に供給するようになされている。
【００４０】
次に、図４のフローチャートを参照して、その動作について説明する。圧縮部２１に対して、画像データが供給されると、圧縮部２１は、ステップＳ１において、その画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２では、ステップＳ２において、圧縮部２１からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）がローカルデコードされる。
【００４１】
即ち、ステップＳ２では、圧縮部２１からの補正データとの線形結合により、元の画像の予測値を算出するための予測係数を求める適応処理が行われ、その予測係数に基づいて、予測値が求められる。ローカルデコード部２２において求められた予測値は誤差算出部２３に、また、予測係数は判定部２４に供給される。
【００４２】
ここで、ローカルデコード部２２が出力する予測値で構成される画像は、受信装置４（図１）側において得られる復号画像と同一のものである。
【００４３】
誤差算出部２３は、ローカルデコード部２２から、元の画像の予測値を受信すると、ステップＳ３において、元の画像データに対する、ローカルデコード部２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定する。
【００４４】
即ち、ステップＳ４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化データとするのは適正でないと認識され、ステップＳ５に進み、判定部２４は、圧縮部２１を制御し、これにより、圧縮データを補正させる。圧縮部２１は、判定部２４の制御にしたがって、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部２２および判定部２４に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００４５】
一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化結果とするのは適正であると認識され、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適圧縮データとして、予測係数とともに、多重化部２５に出力する。多重化部２５では、ステップＳ６において、判定部２４からの最適圧縮データと予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
【００４６】
以上のように、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データ（最適圧縮データ）を、元の画像の符号化結果とするようにしたので、受信装置４側においては、その補正データに基づいて、元の画像（原画像）とほぼ同一の画像を得ることが可能となる。
【００４７】
次に、図５は、図３の圧縮部２１の構成例を示している。
【００４８】
符号化すべき画像データは、ダウンフィルタ３０に入力されるようになされている。ダウンフィルタ３０は、例えば、ハーフバンドの１次元の３１タップのローパスフィルタで、符号化すべき画像データをフィルタリングして、間引き回路３１に供給するようになされている。間引き回路３１は、ダウンフィルタ３０からの画像データを１／Ｎに間引くようになされている。従って、間引き回路３１からは、画像データを、１／Ｎに圧縮した圧縮データが出力されるようになされている。この圧縮データは、間引き回路３１から補正回路３２に供給されるようになされている。
【００４９】
補正回路３２は、判定部２４（図３）からの制御信号にしたがった補正値△を、間引き回路３１からの圧縮データに対して、例えば加算することで、補正データを生成し、ローカルデコード部２２および判定部２４に供給するようになされている。
【００５０】
次に、図６を参照して、図５の圧縮部２１の処理について説明する。
【００５１】
例えば、１フレーム（フィールド）分などの画像データが、ダウンフィルタ３０に供給されると、ダウンフィルタ３０では、ステップＳ１０において、その画像データがフィルタリングされる。即ち、ダウンフィルタ３０としての、例えば、ハーフバンドの１次元の３１タップのローパスフィルタが、画像データに対して、まず垂直方向にかけられ、その後水平方向にかけられる。ダウンフィルタ３０におけるフィルタリング結果としての画像データは、間引き回路３１に出力される。
【００５２】
ここで、ダウンフィルタ３０は、１次元や、３１タップのものなどに限定されるものではない。即ち、ダウンフィルタ３０としては、例えば、２次元の３×３のローパスフィルタや、５×５のローパスフィルタなどを用いることが可能である。まだ、ダウンフィルタ３０は、必ずしも設ける必要はない。即ち、間引き回路３１には、符号化すべき画像データをそのまま入力するようにすることが可能である。
【００５３】
間引き回路３１では、ステップＳ１１において、ダウンフィルタ３０からの画像データが１／Ｎに間引かれ（サブサンプリングされ）、その結果得られる圧縮データが、補正回路３２に出力される。
【００５４】
ここで、間引き回路３１は、図７に示すように、入力された画像データを、例えば、１／９に間引くようになされている。即ち、間引き回路３１は、３×３（横×縦）の９画素を１単位とし、各単位の中心の画素（同図において、●印で示す部分）についての画素値のみを抽出し、他の部分（同図において、○印で示す部分）を削除する。なお、間引き回路３１は、以上のような処理を、例えば、１フレーム（フィールド）単位で行うようになされている。従って、間引き回路３１から補正回路３２に対しては、１フレームの画像データが１／９に間引きされた圧縮データが供給される。但し、間引き回路３１における間引き処理は、その他、１フレームの画像を幾つかのブロックに分割し、そのブロック単位で行うようにすることも可能である。
【００５５】
補正回路３２は、間引き回路３１から圧縮データを受信すると、ステップＳ１２において、判定部２４（図３）から制御信号を受信したかどうかを判定する。ステップＳ１２において、制御信号を受信していないと判定された場合、ステップＳ１３をスキップして、ステップＳ１４に進み、補正回路３２は、間引き回路３１からの圧縮データを、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力し、ステップＳ１２に戻る。
【００５６】
即ち、判定部２４は、上述したように、誤差情報に基づいて、圧縮部２１（補正回路３２）を制御するようになされており、間引き回路３１から圧縮データが出力された直後は、まだ、誤差情報が得られないため（誤差情報が、誤差算出部２３から出力されないため）、判定部２４からは制御信号は出力されない。このため、間引き回路３１から圧縮データが出力された直後は、補正回路３２は、その圧縮データを補正せず（０を加算する補正をして）、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力する。
【００５７】
一方、ステップＳ１２において、判定部２４からの制御信号を受信したと判定された場合、ステップＳ１３において、補正回路３２は、その制御信号にしたがった補正値△を、１フレームの圧縮データそれぞれに加算し、これにより、圧縮データを補正した補正データを算出する。ここで、１フレームの圧縮データそれぞれに加算する補正値△は、同一の値である必要はなく、異なった値を用いることができる（むしろ、通常は、異なった値の方が好ましい）。
【００５８】
補正データの算出後は、ステップＳ１３からＳ１４に進み、その補正データが、補正回路３２からローカルデコード部２２および判定部２４に出力され、ステップＳ１２に戻る。
【００５９】
以上のようにして、圧縮部２１は、判定部２４の制御にしたがって、圧縮データを、種々の値に補正した補正データを出力することを繰り返す。
【００６０】
なお、判定部２４は、１フレームの画像についての符号化を終了すると、その旨を表す制御信号を、圧縮部２１に供給するようになされており、圧縮部２１は、その制御信号を受信すると、次のフレームの画像に対して、図６のフローチャートにしたがった処理を施すようになされている。
【００６１】
また、上述の場合においては、間引き回路３１に、３×３画素の中心の画素についての画素データ（画素値）のみを抽出させることにより、圧縮データを生成させるようにしたが、その他、例えば、３×３画素の平均値を算出し、その平均値を、３×３画素の中心の画素の画素値として、圧縮データを生成させるようにすることなども可能である。
【００６２】
次に、図８は、図３のローカルデコード部２２の構成例を示している。
【００６３】
圧縮部２１からの補正データは、線形補間回路４０およびクラス分類用ブロック化回路４１に供給されるようになされている。線形補間回路４０は、補正データを用いて線形補間を行い、これにより補間データを算出するようになされている。即ち、圧縮部２１から供給される補正データは、図７に●印で示した間引き後の画素についてのものであるが、線形補間回路４０は、この補正データを用いて線形補間を行うことで、同図に○印で示した間引き前の画素についての画素値である補間データを求めるようになされている。
【００６４】
ここで、以下、適宜、補間データというときには、図７において●印で示した画像についての補正データをも含むものとする。
【００６５】
線形補間回路４０で求められた補間データは、予測値計算用ブロック化回路４２に供給されるようになされている。
【００６６】
クラス分類用ブロック化回路４１は、圧縮部２１からの補正データを、その性質に応じて所定のクラスに分類するための単位であるクラス分類用ブロックにブロック化するようになされている。
【００６７】
即ち、いま、図７において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（または画素）（図中、●印で示す部分）をＸijと表すとすると、クラス分類用ブロック化回路４１は、Ｘijを注目画素とする場合、例えば、その注目画素Ｘijの左上、上、右上、左、右、左下、下、右下に隣接する８つの画素Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラス分類用ブロック（注目画素Ｘijを、後述するクラス分類するためのタップ（クラス分類用タップ））を構成するようになされている。このクラス分類用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００６８】
なお、この場合、クラス分類用ブロックは、３×３画素（３×３の補正データ）でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。
【００６９】
予測値計算用ブロック化回路４２は、線形補間回路４０からの補間データを、元の画像の予測値を計算するための単位である予測値計算用ブロック（予測タップ）にブロック化するようになされている。
【００７０】
即ち、いま、図７において、間引き後の画素（図中、●印で示す部分）のうちの１つを注目画素Ｘijとして、その注目画素Ｘijを中心とする、元の画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すとすると、予測値計算用ブロック化回路４２は、例えば、画素Ｙij（１）乃至Ｙij（９）の予測値の計算のために、注目画素Ｘijを中心とする２５の補間（線形補間）後の画素で構成されるひし形状の予測値計算用ブロックを構成するようになされている。
【００７１】
具体的には、例えば、図７において、Ｘ33を注目画素とするとき、同図で実線の四角形で囲む、元の画像における画素Ｙ33（１）乃至Ｙ33（９）の予測値の計算のためには、同図において点線で囲むひし形の範囲の２５画素（２５の補間データ）から、予測値計算用ブロックが構成される。
【００７２】
予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００７３】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【００７４】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行うようにすることができる。
【００７５】
クラス分類適応処理回路４３は、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路、クラス分類回路４５、および適応処理回路４６で構成され、クラス分類適応処理を行うようになされている。
【００７６】
クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【００７７】
ここで、クラス分類処理および適応処理について簡単に説明する。
【００７８】
まず、クラス分類処理について説明する。
【００７９】
いま、例えば、図９（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図９（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。このようなパターン分けが、クラス分類処理であり、クラス分類回路４５において行われる。
【００８０】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【００８１】
ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、３×３の９画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【００８２】
そこで、本実施の形態においては、ＡＤＲＣ処理回路４４において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を小さくすることで、クラス数を削減するようになされている。
【００８３】
即ち、例えば、いま、説明を簡単にするため、図１０（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００８４】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図１０（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【００８５】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。このようなノンエッジマッチングに対して、図１０（Ｃ）に示すように、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲に属する画素値の平均値ＭＩＮ’、またはその最も上のレベルの範囲に属する画素値の平均値ＭＡＸ’に、ＡＤＲＣコード００Ｂまたは１１Ｂそれぞれを変換するとともに、ＭＡＸ’−ＭＩＮ’で規定されるダイナミックレンジＤＲ’を等分（３等分）するレベルに、ＡＤＲＣコード０１Ｂと１０Ｂを変換することにより、ＡＤＲＣコードの復号を行うようなＡＤＲＣ処理があり、これは、エッジマッチングと呼ばれる。
【００８６】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００８７】
ブロックを構成する各画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理回路４４において行われるようになされている。
【００８８】
なお、本実施の形態では、クラス分類回路４５において、ＡＤＲＣ処理回路４４から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【００８９】
次に、適応処理について説明する。
【００９０】
例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００９１】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
【００９３】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【００９５】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
【００９７】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００９８】
【数４】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【０１００】
【数５】
式（４）および（５）より、式（６）が得られる。
【０１０２】
【数６】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１０４】
【数７】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１０６】
以上のようにして、最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり（広義には、あらかじめ予測係数ｗを求めておき、その予測係数ｗを用いて、予測値Ｅ［ｙ］を求めることも、適応処理に含まれるものとする）、この適応処理が、適応処理回路４６において行われるようになされている。
【０１０７】
なお、適応処理は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１０８】
次に、図１１のフローチャートを参照して、図８のローカルデコード部２２の処理について説明する。
【０１０９】
ローカルデコード部２２においては、まず最初に、ステップＳ２０において、線形補間回路４０によって、圧縮部２１からの補正データを用いて線形補間が行われることにより、補間データが求められ、予測値計算用ブロック化回路４２に供給される。
【０１１０】
そして、ステップＳ２１において、圧縮部２１が出力する補正データまたは線形補間回路４０が出力する補間データが、クラス分類用ブロック化回路４１または予測値計算用ブロック化回路４２において、それぞれブロック化される。
【０１１１】
即ち、上述したように、クラス分類用ブロック化回路４１において、補正データが、ある注目画素を中心とする３×３画素のクラス分類用ブロックにブロック化され、クラス分類適応処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補間データが、注目画素を中心とする２５画素の予測値計算用ブロックにブロック化され、やはり、クラス分類適応処理回路４３に供給される。
【０１１２】
クラス分類適応処理回路４３には、上述したように、クラス分類用ブロックおよび予測値計算用ブロックの他、元の画像データが供給されるようになされており、クラス分類用ブロックはＡＤＲＣ処理部４４に、予測値計算用ブロックおよび元の画像データは適応処理回路４６に供給されるようになされている。
【０１１３】
ＡＤＲＣ処理回路４４は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路４５に出力する。クラス分類回路４５は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施し、そのクラス分類用ブロックに含まれる注目画素が属するクラスを判定する。このクラスの判定結果は、クラス情報として、適応処理回路４６に供給される。
【０１１４】
なお、本実施の形態においては、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【０１１５】
そして、ステップＳ２４に進み、適応処理回路４６において、クラス分類回路４５からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、予測係数および元の画像データの予測値が算出される。
【０１１６】
即ち、本実施の形態においては、例えば、ある１つの補正データに注目した場合に、その注目補正データに対応する画素（注目画素）と、その画素の周りに隣接する８個の画素の、合計９個の画素についての予測値および予測係数が、注目補正データを中心とする２５画素の補間データでなる予測値計算用ブロックを用いて、適応処理が行われることにより算出される。
【０１１７】
具体的には、例えば、いま、図７に示した画素Ｘ33を注目画素とし、この注目画素Ｘ33を中心とする３×３の画素（間引き後の画素）についての補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロックに基づいてクラス分類が行われ、これにより、注目画素Ｘ33についてのクラス情報Ｃが、クラス分類回路４５から出力されたとする。
【０１１８】
さらに、予測値計算用ブロックとして、注目画素Ｘ33を中心とする、図７で点線で囲んで示す２５画素（間引き後の画素を補間して得られた画素）についての補間データ（補正データＸ23，Ｘ32，Ｘ33，Ｘ34，Ｘ43を含む２５の補間データ）でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとする。
【０１１９】
この場合、まず、予測値計算用ブロックを構成する補間データを、学習データとするとともに、元の画像における、補間データ（補正データ）Ｘ33を中心とする３×３画素（図７において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）を、教師データとして、式（７）に示した正規方程式がたてられる。
【０１２０】
さらに、クラス情報Ｃにクラス分類される他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ33（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ33（ｋ）］を求めるための予測係数ｗ1（ｋ）乃至ｗ25（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データが２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまで、ステップＳ２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ33（ｋ）の予測値Ｅ［Ｙ33（ｋ）］を求めるのに最適な予測係数ｗ1（ｋ）乃至ｗ25（ｋ）が算出される。
【０１２１】
そして、予測値計算用ブロックを構成する２５の補間データを、ｘ1，ｘ2，・・・，ｘ25と表すとき、予測値Ｅ［Ｙ33（ｋ）］は、式（１）に対応する次式にしたがって求められる。
【０１２２】
ステップＳ２４において、以上のようにして９個の予測値および２５×９個の予測係数が求められると、予測値は誤差算出部２３に、予測係数は判定部２４に、それぞれ出力され、ステップＳ２１に戻り、まだ注目画素とされていない画素（間引き後の画素）を新たに注目画素として、以下同様の処理が繰り返される。
【０１２４】
次に、図１２は、図３の誤差算出部２３の構成例を示している。
【０１２５】
ブロック化回路５１には、元の画像データが供給されるようになされており、そこでは、ブロック化回路５１は、その画像データを、ローカルデコード部２２から出力される予測値に対応する９個単位でブロック化し、その結果得られる３×３画素のブロック（例えば、図７に実線の四角形で囲んで示すような３×３画素のブロック）を、自乗誤差算出回路５２に出力するようになされている。自乗誤差算出部５２には、上述したように、ブロック化回路５１からブロックが供給される他、ローカルデコード部２２から予測値が、９個単位（３×３画素のブロック単位）で供給されるようになされており、自乗誤差算出回路５２は、原画像に対する、予測値の予測誤差としての自乗誤差を算出し、積算部５５に供給するようになされている。
【０１２６】
即ち、自動誤差算出回路は５２は、演算器５３および５４で構成されている。演算器５３は、ブロック化回路５１からのブロック化された画像データそれぞれから、対応する予測値を減算し、その減算値を、演算器５４に供給するようになされている。演算器５４は、演算器５３の出力（元の画像データと予測値との差分）を自乗し、積算部５５に供給するようになされている。
【０１２７】
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算して、再び、メモリ５６に供給して記憶させることを繰り返すことで、自乗誤差の積算値（誤差分散）を求めるようになされている。さらに、積算部５５は、所定量（例えば、１フレーム分など）についての自乗誤差の積算が終了すると、その積算値を、メモリ５６から読み出し、誤差情報として、判定部２４に供給するようになされている。メモリ５６は、１フレームについての処理が終了するごとに、その記憶値をクリアしながら、積算部５５の出力値を記憶するようになされている。
【０１２８】
次に、その動作について、図１３のフローチャートを参照して説明する。誤差算出部２３では、まず最初に、ステップＳ３１において、メモリ５６の記憶値が、例えば０にクリアされ、ステップＳ３２に進み、ブロック化回路５１において、画像データが、上述したようにブロック化され、その結果得られるブロックが、自乗誤差算出回路５２に供給される。自乗誤差算出回路５２では、ステップＳ３３において、ブロック化回路５１から供給されるブロックを構成する、元の画像の画像データと、ローカルデコード部２２から供給される予測値との自乗誤差が算出される。
【０１２９】
即ち、ステップＳ３３では、演算器５３において、ブロック化回路５１より供給されたブロック化された画像データそれぞれから、対応する予測値が減算され、演算器５４に供給される。さらに、ステップＳ３３では、演算器５４において、演算器５３の出力が自乗され、積算部５５に供給される。
【０１３０】
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、ステップＳ３４において、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算することで、自乗誤差の積算値を求める。積算部５５において算出された自乗誤差の積算値は、メモリ５６に供給され、前回の記憶値に上書きされることで記憶される。
【０１３１】
そして、積算部５５では、ステップＳ３５において、所定量としての、例えば、１フレーム分についての自乗誤差の積算が終了したかどうかが判定される。ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了していないと判定された場合、ステップＳ３２に戻り、再び、ステップＳ３２からの処理を繰り返す。また、ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了したと判定された場合、ステップＳ３６に進み、積算部５５は、メモリ５６に記憶された１フレーム分についての自乗誤差の積算値を読み出し、誤差情報として、判定部２４に出力する。そして、ステップＳ３１に戻り、再び、ステップＳ３１からの処理を繰り返す。
【０１３２】
従って、誤差算出部２３では、左からｉ番目で、上からｊ番目の、元の画像データをＹij（ｋ）とするとともに、その予測値をＥ［Ｙij（ｋ）］とするとき、次式にしたがった演算が行われることで、誤差情報Ｑが算出される。
【０１３３】
Ｑ＝Σ（Ｙij（ｋ）−Ｅ［Ｙij（ｋ）］）2
但し、Σは、１フレーム分についてのサメーションを意味する。
【０１３４】
次に、図１４は、図３の判定部２４の構成例を示している。
【０１３５】
予測係数メモリ６１は、ローカルデコード部２２から供給される予測係数を記憶するようになされている。補正データメモリ６２は、圧縮部２１から供給される補正データを記憶するようになされている。
【０１３６】
なお、補正データメモリ６２は、圧縮部２１において、圧縮データが新たに補正され、これにより、新たな補正データが供給された場合には、既に記憶している補正データ（前回の補正データ）に代えて、新たな補正データを記憶するようになされている。また、このように補正データが、新たなものに更新されるタイミングで、ローカルデコード部２２からは、その新たな補正データに対応する、新たな予測係数のセットが出力されるが、予測係数メモリ６１においても、このように新たな予測係数が供給された場合には、既に記憶している予測係数（前回の予測係数）に代えて、その新たな予測係数を記憶するようになされている。
【０１３７】
誤差情報メモリ６３は、誤差算出部２３から供給される誤差情報を記憶するようになされている。なお、誤差情報メモリ６３は、誤差算出部２３から、今回供給された誤差情報の他に、前回供給された誤差情報も記憶するようになされている（新たな誤差情報が供給されても、さらに新たな誤差情報が供給されるまでは、既に記憶している誤差情報を保持するようになされている）。なお、誤差情報メモリ６３は、新たなフレームについての処理が開始されるごとにクリアされるようになされている。
【０１３８】
比較回路６４は、誤差情報メモリ６３に記憶された今回の誤差情報と、所定の閾値εとを比較し、さらに、必要に応じて、今回の誤差情報と前回の誤差情報との比較も行うようになされている。比較回路６４における比較結果は、制御回路６５に供給されるようになされている。
【０１３９】
制御回路６５は、比較回路６４における比較結果に基づいて、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることの適正（最適）さを判定し、最適でないと認識（判定）した場合には、新たな補正データの出力を要求する制御信号を、圧縮部２１（補正回路３２）（図５）に供給するようになされている。また、制御回路６５は、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることが最適であると認識した場合には、予測係数メモリ６１に記憶されている予測係数を読み出し、多重化部２５に出力するとともに、補正データメモリ６２に記憶されている補正データを読み出し、最適圧縮データとして、やはり多重化部２５に供給するようになされている。さらに、この場合、制御回路６５は、１フレームの画像についての符号化を終了した旨を表す制御信号を、圧縮部２１に出力し、これにより、上述したように、圧縮部２１に、次のフレームについての処理を開始させるようになされている。
【０１４０】
次に、図１５を参照して、判定部２４の動作について説明する。判定部２４では、まず最初に、ステップＳ４１において、誤差算出部２３から誤差情報を受信したかどうかが、比較回路６４によって判定され、誤差情報を受信していないと判定された場合、ステップＳ４１に戻る。また、ステップＳ４１において、誤差情報を受信したと判定された場合、即ち、誤差情報メモリ６３に誤差情報が記憶された場合、ステップＳ４２に進み、比較回路６４において、誤差情報メモリ６３に、いま記憶された誤差情報（今回の誤差情報）と、所定の閾値εとが比較され、いずれが大きいかが判定される。
【０１４１】
ステップＳ４２において、今回の誤差情報が、所定の閾値ε以上であると判定された場合、比較回路６４において、誤差情報メモリ６３に記憶されている前回の誤差情報が読み出される。そして、比較回路６４は、ステップＳ４３において、前回の誤差情報と、今回の誤差情報とを比較し、いずれが大きいかを判定する。
【０１４２】
ここで、１フレームについての処理が開始され、最初に誤差情報が供給されたときには、誤差情報メモリ６３には、前回の誤差情報は記憶されていないので、この場合には、判定部２４においては、ステップＳ４３以降の処理は行われず、制御回路６５において、所定の初期アドレスを出力するように、補正回路３２（図５）を制御する制御信号が出力されるようになされている。
【０１４３】
ステップＳ４３において、今回の誤差情報が、前回の誤差情報以下であると判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が減少した場合、ステップＳ４４に進み、制御回路６５は、補正値△を、前回と同様に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。また、ステップＳ４３において、今回の誤差情報が、前回の誤差情報より大きいと判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が増加した場合、ステップＳ４５に進み、制御回路６５は、補正値△を、前回と逆に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。
【０１４４】
なお、減少し続けていた誤差情報が、あるタイミングで上昇するようになったときは、制御回路６５は、補正値△を、いままでの場合の、例えば１／２の大きさで、前回と逆に変化させるように指示する制御信号を出力するようになされている。
【０１４５】
そして、ステップＳ４１乃至Ｓ４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ４２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ４６に進み、制御回路６５は、予測係数メモリ６１に記憶されている予測係数を読み出すとともに、補正データメモリ６２に記憶されている補正データを読み出し、多重化部２５に供給して、処理を終了する。
【０１４６】
その後は、次のフレームについての誤差情報が供給されるのを待って、再び、図１５に示すフローチャートにしたがった処理を繰り返す。
【０１４７】
なお、補正回路３２には、圧縮データの補正は、１フレームすべての圧縮データについて行わせるようにすることもできるし、その一部の圧縮データについてだけ行わせるようにすることもできる。一部の圧縮データについてだけ補正を行う場合においては、制御回路６５に、例えば、誤差情報に対する影響の強い画素を検出させ、そのような画素についての圧縮データだけを補正するようにすることができる。誤差情報に対する影響の強い画素は、例えば、次のようにして検出することができる。即ち、まず最初に、間引き後に残った画素についての圧縮データをそのまま用いて処理を行うことにより、その誤差情報を得る。そして、間引き後に残った画素についての圧縮データを、１つずつ、同一の補正値△だけ補正するような処理を行わせる制御信号を、制御回路６５から補正回路３２に出力し、その結果得られる誤差情報を、圧縮データをそのまま用いた場合に得られた誤差情報と比較し、その差が、所定値以上となる画素を、誤差情報に対する影響の強い画素として検出すれば良い。
【０１４８】
以上のように、誤差情報を所定の閾値εより小さくする（以下にする）まで、圧縮データの補正が繰り返され、誤差情報が所定の閾値εより小さくなったときにおける補正データが、画像の符号化結果として出力されるので、受信装置４（図１）においては、間引き後の画像を構成する画素の画素値を、元の画像を復元するのに最も適当な値にした補正データから、原画像と同一（ほぼ同一）の復号画像を得ることが可能となる。
【０１４９】
また、画像は、間引き処理により圧縮される他、ＡＤＲＣ処理およびクラス分類適応処理などによっても圧縮されるため、非常に高圧縮率の符号化データを得ることができる。なお、送信装置１における、以上のような符号化処理は、間引きによる圧縮処理と、クラス分類適応処理とを、いわば有機的に統合して用いることにより、高能率圧縮を実現するものであり、このことから統合符号化処理ということができる。
【０１５０】
次に、図１６は、図１の受信装置４の構成例を示している。
【０１５１】
受信機／再生装置７１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、分離部７２に供給される。分離部７２では、符号化データが、補正データと予測係数に分離され、補正データは、クラス分類用ブロック化回路７３および線形補間回路７８に供給され、予測係数は、予測回路７６に供給される。
【０１５２】
クラス分類用ブロック化回路７３、ＡＤＲＣ処理回路７４、クラス分類回路７５、予測値計算用ブロック化回路７７、または線形補間回路７８は、図８におけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、クラス分類回路４５、予測値計算用ブロック化回路４２、または線形補間回路４０それぞれと同様に構成されており、従って、これらのブロックにおいては、図８における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路７６に供給される。
【０１５３】
予測回路７６では、クラス情報に対応した予測係数と、予測値計算用ブロック化回路７７から供給される予測値計算用ブロックを構成する補間データとを用い、式（１）にしたがって予測値が算出され、そのような予測値で構成される１フレームの画像が、復号画像として出力される。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。
【０１５４】
なお、受信側においては、図１６に示すような受信装置４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。
【０１５５】
ところで、図８に示したローカルデコード部２２においては、まず予測係数を求め、これを用いて、予測値を算出するようにしたが、ローカルデコード部２２では、予測係数を求めずに、あらかじめ求められた予測係数を用いて、予測値を算出するようにすることが可能である。
【０１５６】
即ち、図１７は、図３のローカルデコード部２２の他の構成例を示している。なお、図中、図８における場合と対応する部分については、同一の符号を付してある。即ち、図１７のローカルデコード部２２は、適応処理回路４６に代えて、予測係数ＲＯＭ８１および予測回路８２が設けられている他は、図８における場合と同様に構成されている。
【０１５７】
予測係数ＲＯＭ８１は、あらかじめ学習（後述する）により求められたクラスごとの予測係数を記憶しており、クラス分類回路４４が出力するクラス情報を受信し、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して、予測回路８２に供給する。
【０１５８】
予測回路８２では、予測値計算用ブロック化回路４２からの予測値計算用ブロックと、予測係数ＲＯＭ８１からの予測係数とを用いて、式（１）（具体的には、例えば、式（８））に示した線形１次式が計算され、これにより、元の画像の予測値が算出される。
【０１５９】
従って、図１７のクラス分類適応処理回路４３によれば、元の画像を用いずに、その予測値を算出することができる。
【０１６０】
次に、図１８は、図１７の予測係数ＲＯＭ８１に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。
【０１６１】
間引き回路９１および教師用ブロック化回路９２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。
【０１６２】
間引き回路９１は、例えば、図５における間引き回路３１と同様に、入力された画像データを１／９に間引くことにより、圧縮データを生成し、クラス分類用ブロック化回路１０１および線形補間回路１０２に供給する。
【０１６３】
クラス分類用ブロック化回路１０１、ＡＤＲＣ処理回路９３、またはクラス分類回路９４では、図１７のクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、またはクラス分類回路４５における場合とそれぞれ同様の処理が行われ、これにより得られるクラス情報が、クラス分類回路９４から、スイッチ９５の端子ａを介して、学習データメモリ９６および教師データメモリ９８に供給される。
【０１６４】
また、線形補間回路１０２または学習用ブロック化回路１０３では、図１７の線形補間回路４０または予測値計算用ブロック化回路４２における場合とそれぞれ同様の処理が行われ、これにより、学習ブロック化回路１０３は、図１７の予測値計算用ブロック化回路４２が出力する予測値計算用ブロックと同様に構成されるブロックを構成し、学習用ブロックとして、学習データメモリ９６に供給する。
【０１６５】
一方、教師用ブロック化回路９２では、入力された画像データから、例えば、３×３の９画素で構成されるブロックが生成され、この９画素で構成されるブロックが、教師用ブロックとして、教師データメモリ９８に供給される。即ち、例えば、学習用ブロック化回路１０３において、図７で点線で囲んで示した、画素Ｘ33を注目画素とする予測値計算用ブロックと同一の学習用ブロックが構成されるとき、教師用ブロック化回路９２では、図７で実線で囲んで示した、３×３の９画素で構成される教師用ブロックが、原画像（学習用画像）から構成され、教師データメモリ９８に供給される。
【０１６６】
学習データメモリ９６または教師データメモリ９８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路９１からの学習用ブロックまたは教師用ブロック化回路９２からの教師用ブロックが、それぞれ記憶される。
【０１６７】
従って、学習データメモリ９６において、例えば、図７で点線で囲んで示した２５画素（補間データ）でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ９８においては、そのアドレスと同一のアドレスに、同図で実線で囲んで示した３×３画素（元の画像データ）のブロックが、教師用ブロックとして記憶される。
【０１６８】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図１７のローカルデコード部２２において、その学習用ブロックを構成する２５画素と同一の位置関係を有する２５の補間データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ９６と、教師用データメモリ９８とにおいて、同一のアドレスに記憶される。
【０１６９】
なお、学習用データメモリ９６と教師用データメモリ９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。
【０１７０】
学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ９６と教師データメモリ９８に記憶されると、端子ａを選択していたスイッチ９５が、端子ｂに切り替わり、これにより、カウンタ９７の出力が、アドレスとして、学習データメモリ９６および教師データメモリ９８に供給される。カウンタ９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ９６または教師データメモリ９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路９９に供給される。
【０１７１】
従って、演算回路９９には、カウンタ９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０１７２】
演算回路９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０１７３】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値（補間データ）を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０１７４】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０１７５】
そこで、演算回路９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。
【０１７６】
演算回路９９において求められた、クラスごとの予測係数は、メモリ１００に供給される。メモリ１００には、演算回路９９からの予測係数の他、カウンタ９７からカウント値が供給されており、これにより、メモリ１００においては、演算回路９９からの予測係数が、カウンタ９７からのカウント値に対応するアドレスに記憶される。
【０１７７】
以上のようにして、メモリ１００には、各クラスに対応するアドレスに、そのクラスのブロックの画素を予測するのに最適な予測係数が記憶される。
【０１７８】
図１７の予測係数ＲＯＭ８１には、以上のようにしてメモリ１００に記憶された予測係数が記憶されている。
【０１７９】
なお、予測係数ＲＯＭ８１には、各クラスに対応するアドレスに、予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、図１７のローカルデコード部２２において、予測値計算用ブロック化回路４２および予測回路８２を設けずに済むようになる。
【０１８０】
また、図１７に示したようにローカルデコード部２２を構成する場合においては、図１６に示した受信装置４は、受信機／再生装置７１の後段を、図１７のローカルデコード部２２と同様に構成するようにすれば良い。
【０１８１】
以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。また、本発明は、いわゆる階層符号化を行う場合などにも適用可能である。
【０１８２】
なお、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。
【０１８３】
また、本実施の形態では、誤差情報が、所定の閾値ε以下になるまで、圧縮データの補正を繰り返し行うようにしたが、圧縮データの補正の回数には、上限を設けるようにすることも可能である。
【０１８４】
さらに、本実施の形態においては、１フレームの画像からブロックを構成するようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素から構成するようにすることも可能である。
【０１８５】
また、本実施の形態では、圧縮部２１において、画像を、単純に間引き、即ち、３×３画素のブロックにおける中心画素を抽出し、これを圧縮データとするようにしたが、圧縮部２１には、その他、例えば、ブロックを構成する９画素の平均値などを求めさせ、その平均値を、ブロックにおける中心画素の画素値とすることにより、その画素数を少なくし（間引き）、これを圧縮データとするようにすることも可能である。
【０１８６】
さらに、本実施の形態では、補間データを、線形補間により求めるようにしたが、補間データは、その他、例えば、非線形な補間などによって求めることも可能である。
【０１８７】
また、本実施の形態では、補正データを用いて線形補間を行うことにより、補間データを求め、この補間データに対して適応処理を施すようにしたが、適応処理は、補正データを対象に施すことも可能である。但し、補正データは、図７に●印で示したように、間引き後の画素における画素値であり、いわば疎らなものである。これに対して、補間データは、補正データを用いて、図７に○印で示した画素の画素値を補間したものであり、いわば密のものである。従って、補正データによって構成される画像に含まれない成分は、それを用いて線形補間を行うことにより得られる補間データにも含まれないが、補間データは密であることから、例えば、原画像の画素値の変化が比較的急峻な場合などには、疎である補正データよりも、密な補間データに対して適応処理を施して予測値を求める方が、より予測誤差の小さいものを得ることができる。
【０１８８】
さらに、本実施の形態では、圧縮データを補正し、補正データを求め、さらに、補正データを用いて補間データを求めて適応処理を施し、その結果得られる予測値の予測誤差に基づいて、補正量を変えて、圧縮データを補正することを繰り返すようにしたが、その他、例えば、適応処理により得られた予測値を間引き、その間引きにより得られたデータを、予測値の予測誤差に基づいて補正し、これを補正データとして用いるようにすることも可能である。
【０１８９】
また、本実施の形態では、図７に点線で囲んで示したように、注目画素を中心とするひし形状の範囲内にある２５画素の補間データにより、予測値計算用ブロックを構成するようにしたが、その他、予測値計算用ブロックは、例えば、図１９に示すように、注目画素を中心とするひし形状の範囲内にある５画素の補間データや、正方形状の範囲内にある９画素の補間データ、ひし形状の範囲内にある１３画素の補間データ、正方形状の範囲内にある４９画素の補間データなどで構成することも可能である。
【０１９０】
さらに、本実施の形態では、基本的に、補正データに対応する画素（間引き後の画素）を注目画素とするようにしたが、補正データ以外の補間データに対応する画素（線形補間により得られる画素）を、注目画素とすることも可能である。
【０１９１】
また、本実施の形態では、９画素で構成されるクラス分類用ブロックに対して、１ビットのＡＤＲＣ処理を施し、その処理結果を、５１２（＝２9）のクラスにクラス分類するようにしたが、クラス分類は、その他、例えば、クラス分類用ブロックのアクティビティおよびダイナミックレンジなどに基づいて行うことも可能である。
【０１９２】
即ち、いま、例えば、図２０に●印で示す、補正データに対応する９画素でクラス分類用ブロックが構成される場合において、その中心の画素（注目画素）と、周辺の８画素それぞれとの差分の絶対値をアクティビティと定義すると、クラス分類用ブロックで、アクティビティが最も大きい方向は、同図に矢印で示す８方向のいずれかとなる。従って、この場合、アクティビティだけを用いると、注目画素を８クラスのうちのいずれかに分類することができる。また、クラス分類用ブロックを構成する９画素の画素値（補正データ）の中の最大値と最小値との差分を、そのクラス分類用ブロックのダイナミックレンジＤＲと定義し、このダイナミックレンジＤＲによって、４つの場合分けをするとすると、注目画素を４つのクラスのうちのいずれかに分類することができる。このようなアクティビティおよびダイナミックレンジの両方に基づいて、クラス分類用ブロックのクラス分類を行う場合、そのクラス分類用ブロックは、３２（＝８×４）のクラスに分類される。
【０１９３】
なお、ダイナミックレンジＤＲによる場合分けの方法としては、例えば、ダイナミックレンジＤＲを非線形量子化する方法などがある。即ち、例えば、ダイナミックレンジＤＲが８ビットで表されるとすると、その値が、例えば、０以上８未満、８以上２４未満、２４以上５６未満、５６以上２５５未満のうちのいずれであるかによって、４通りに場合分けすることができる。
【０１９４】
クラス分類は、以上ようなアクティビティおよびダイナミックレンジの組合せの他、例えば、エッジの検出結果とダイナミックレンジとの組合せや、相関方向とダイナミックレンジとの組合せなどに基づいても行うことが可能である。
【０１９５】
さらに、本実施の形態では、１フレームの予測誤差の総和（正確には、予測誤差の２乗和）である誤差情報Ｑを求め、その誤差情報Ｑに対応して、１フレームの圧縮データを補正するようにしたが、圧縮データの補正は、このように１フレーム単位で行うのではなく、間引き後の画素ごとに行うようにすることも可能である。
【０１９６】
即ち、この場合、図２１のフローチャートに示すように、まず最初に、圧縮部２１は、ステップＳ５１において、図４のステップＳ１における場合と同様に、画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２では、ステップＳ５２において、間引き後の画素のうちの１つが注目画素として抽出され、ステップＳ５３に進む。ステップＳ５３では、ローカルデコード部２２の線形補間回路４０において、図２２で●印で示す注目画素と、その周辺の８画素（間引き後の画素）との画素値である補正データ（最初は、画像データを、単純に間引いた圧縮データそのもの）を用いて線形補間が行われることにより、予測値計算用ブロックを構成するのに必要な画素についての補間データが生成され、ステップＳ５４に進み、クラス分類適応処理回路４３において、その予測値計算用ブロックだけを用いて、図２２で実線で囲んで示す注目画素と、その周辺の８画素（線形補間後の画素）との合計９画素についての予測値と予測係数が算出される。
【０１９７】
ステップＳ５４で求められた予測値または予測係数は、ローカルデコード部２２から、誤差算出部２３または判定部２４にそれぞれ出力される。
【０１９８】
誤差算出部２３は、ローカルデコード部２２から、９画素についての予測値を受信すると、ステップＳ５５において、元の画像データに対する、ローカルデコード部２２からの９画素についての予測値の予測誤差をそれぞれ算出し、判定部２４に供給する。判定部２４は、誤差算出部２３から９画素についての予測誤差を受信すると、ステップＳ５６において、例えば、その９画素についての予測誤差のうちの最大値（以下、適宜、最大予測誤差という）を検出し、その最大予測誤差が所定の閾値未満であるかどうかを判定する。
【０１９９】
ステップＳ５６において、最大予測誤差が所定の閾値未満でないと判定された場合、ステップＳ５７に進み、判定部２４は、圧縮部２１を制御し、これにより、圧縮データのうち、注目画素についてのものだけを補正させる。圧縮部２１は、判定部２４の制御にしたがって、注目画素についての圧縮データだけを補正し、その結果得られる補正データを、ローカルデコード部２２および判定部２４に出力する。そして、ステップＳ５３に戻り、以下、同様の処理が繰り返される。
【０２００】
従って、この場合、ステップＳ５３では、補正された注目画素についての補正データと、前回の処理と同一の、周辺の８画素（間引き後の画素）についての補正データとを用いて線形補間が行われることにより、予測値計算用ブロックを構成するのに必要な画素についての補間データが生成される。
【０２０１】
一方、ステップＳ５６において、最大予測誤差が所定の閾値未満であると判定された場合、判定部２４は、所定の閾値未満の最大予測誤差が得られたときの、注目画素についての補正データを、最適圧縮データとして、予測係数とともに、多重化部２５に出力し、ステップＳ５８に進む。ステップＳ５８では、間引き後の画素すべてを対象に処理を行ったかどうかが判定され、行っていないと判定された場合、ステップＳ５２に戻り、まだ注目画素とされていない画素（間引き後の画素）を、新たに注目画素として、ステップＳ５３以下の処理を繰り返す。
【０２０２】
また、ステップＳ５８において、間引き後の画素すべてを注目画素として処理を行ったと判定された場合、ステップＳ５９に進み、多重化部２５において、いままでに判定部２４から出力された最適圧縮データと予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。
【０２０３】
以上のように、圧縮データの補正を１画素単位（注目画素単位）で行う場合、１フレーム単位で行う場合に比較して、予測誤差の収束性が向上すると考えられる。
【０２０４】
なお、上述の場合においては、９画素についての予測誤差のうちの最大値である最大予測誤差に基づいて、圧縮データの補正を行うようにしたが、圧縮データの補正は、その他、その９画素それぞれについての予測誤差の絶対値和などに基づいて行うことも可能である。
【０２０５】
【発明の効果】
請求項１に記載の画像符号化装置および請求項４に記載の画像符号化方法によれば、原画像を圧縮することにより得られる圧縮データが補正されて、補正データが出力され、補正データを用いて補間が行われることにより補間データが出力され、その補間データと所定の予測係数とに基づいて、原画像が予測されて、その予測値が出力され、原画像に対する、予測値の予測誤差が算出される。そして、予測誤差が、例えば、所定値以下になるなどして、補正データが適正となったときにおける、その補正データが、所定の予測係数とともに原画像の符号化結果として出力される。従って、その補正データと所定の予測係数とにより、原画像とほぼ同一の復号画像を得ることが可能となる。
【０２０６】
請求項５に記載の画像復号化装置および請求項６に記載の画像復号化方法によれば、符号化データが、原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、補正データを用いて補間を行うことにより補間データを出力し、補間データと所定の予測係数とに基づいて、原画像を予測して、その予測値を出力し、原画像に対する、予測値の予測誤差を算出することを、予測誤差が所定値以下になるまで繰り返すことにより得られた、予測誤差が所定値以下になったときにおける補正データと、所定の予測係数とである場合において、その符号化データを用いて補間を行うことにより補間データが求められ、その補間データと所定の予測係数とに基づいて、原画像の予測値が算出される。従って、原画像とほぼ同一の復号画像を得ることが可能となる。
【０２０８】
請求項７に記載の画像符号化装置および請求項８に記載の画像符号化方法によれば、原画像を圧縮することにより得られる圧縮データが補正されて、補正データが出力され、補正データと所定の予測係数とに基づいて、原画像が予測されて、その予測値が出力され、原画像に対する、予測値の予測誤差が算出される。この場合において、予測値は、所定の注目画素を含む所定の範囲内の画素についての補正データと所定の予測係数とに基づいて算出され、予測値の予測誤差に対応して、所定の注目画素のみについての圧縮データが補正される。そして、予測誤差が、例えば、所定値以下になるなどして、補正データが適正となったときにおける、その補正データが、所定の予測係数とともに原画像の符号化結果として出力される。従って、その補正データと所定の予測係数とにより、原画像とほぼ同一の復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の構成例を示すブロック図である。
【図３】図２の送信装置１の機能的構成例を示すブロック図である。
【図４】図３の送信装置１の動作を説明するためのフローチャートである。
【図５】図３の圧縮部２１の構成例を示すブロック図である。
【図６】図５の圧縮部２１の動作を説明するためのフローチャートである。
【図７】図５の間引き回路３１の処理を説明するための図である。
【図８】図３のローカルデコード部２２の構成例を示すブロック図である。
【図９】クラス分類処理を説明するための図である。
【図１０】ＡＤＲＣ処理を説明するための図である。
【図１１】図８のローカルデコード部２２の動作を説明するためのフローチャートである。
【図１２】図３の誤差算出部２３の構成例を示すブロック図である。
【図１３】図１２の誤差算出部２３の動作を説明するためのフローチャートである。
【図１４】図３の判定部２４の構成例を示すブロック図である。
【図１５】図１４の判定部２４の動作を説明するためのフローチャートである。
【図１６】図１の受信装置４の構成例を示すブロック図である。
【図１７】図３のローカルデコード部２２の他の構成例を示すブロック図である。
【図１８】図１７の予測係数ＲＯＭ８１に記憶されている予測係数を算出する画像処理装置の一実施の形態の構成を示すブロック図である。
【図１９】予測値計算用ブロックの構成例を説明するための図である。
【図２０】クラス分類の方法を説明するための図である。
【図２１】圧縮データの補正を、１画素単位で行う場合の処理を説明するためのフローチャートである。
【図２２】圧縮データの補正を、１画素単位で行う場合の処理を説明するための図である。
【符号の説明】
１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１ Ｉ／Ｆ， １２ ＲＯＭ， １３ ＲＡＭ， １４ ＣＰＵ， １５ 外部記憶装置， １６ 送信機／記録装置， ２１ 圧縮部， ２２ ローカルデコード部， ２３ 誤差算出部， ２４ 判定部， ２５ 多重化部， ３０ ダウンフィルタ， ３１ 間引き回路， ３２ 補正回路， ４０ 線形補間回路， ４１ クラス分類用ブロック化回路， ４２ 予測値計算用ブロック化回路， ４３ クラス分類適応処理回路， ４４ ＡＤＲＣ処理回路， ４５ クラス分類回路， ４６ 適応処理回路， ５１ ブロック化回路， ５２ 自乗誤差算出回路， ５３，５４ 演算器， ５５ 積算部， ５６ メモリ， ６１ 予測係数メモリ， ６２ 補正データメモリ， ６３ 誤差情報メモリ， ６４ 比較回路， ６５ 制御回路， ７１ 受信機／再生装置， ７２ 分離部， ７３ クラス分類用ブロック化回路， ７４ ＡＤＲＣ処理回路， ７５ クラス分類回路， ７６ 予測回路， ７７ 予測値計算用ブロック化回路， ７８ 線形補間回路， ８１ 予測係数ＲＯＭ， ８２ 予測回路， ９１ 間引き回路， ９２ 教師用ブロック化回路， ９３ ＡＤＲＣ処理回路， ９４ クラス分類回路， ９５ スイッチ， ９６ 学習データメモリ， ９７ カウンタ， ９８ 教師データメモリ， ９９ 演算回路， １００ メモリ， １０１クラス分類用ブロック化回路， １０２ 線形補間回路， １０３ 学習用ブロック化回路
Claims (8)
- 画像を符号化する画像符号化装置であって、
原画像を、その画素数を少なくすることにより圧縮する圧縮手段と、
前記原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段と、
前記補正データを用いて補間を行う補間手段と、
前記補間手段による補間の結果得られる補間データと所定の予測係数とに基づいて、前記原画像を予測し、その予測値を出力する予測手段と、
前記原画像に対する、前記予測値の予測誤差を算出する算出手段と、
前記予測誤差に基づいて、前記補正手段が出力する前記補正データの適正さを判定する判定手段と、
前記判定手段により前記補正データが適正でないと判定された場合、前記圧縮データを前記補正手段に再補正させ、再補正の結果得られる補正データの適正さを前記判定手段に再判定させる制御を行い、前記判定手段により前記補正データが適正であると判定された場合、前記補正データを、前記所定の予測係数とともに前記原画像の符号化結果として出力する出力手段と
を備えることを特徴とする画像符号化装置。 - 前記判定手段は、前記予測誤差が所定値以下であるかどうかによって、前記補正データの適正さを判定し、
前記出力手段は、前記予測誤差が所定値を超えている間には前記制御を繰り返し行い、前記予測誤差が所定値以下になったとき、そのときにおける前記補正データを出力する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記予測手段は、所定の注目画素を含む所定の範囲内の画素についての前記補間データと前記所定の予測係数とに基づいて、前記予測値を算出し、
前記補正手段は、前記予測値の予測誤差に対応して、前記所定の注目画素のみについての前記圧縮データを補正する
ことを特徴とする請求項１に記載の画像符号化装置。 - 画像を符号化する画像符号化方法であって、
原画像を、その画素数を少なくすることにより圧縮し、
前記原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、
前記補正データを用いて補間を行うことにより補間データを出力し、
前記補間データと所定の予測係数とに基づいて、前記原画像を予測して、その予測値を出力し、
前記原画像に対する、前記予測値の予測誤差を算出する
ことを、前記予測誤差が所定値以下になるまで繰り返し、
前記予測誤差が所定値以下になったときにおける前記補正データを、前記所定の予測係数とともに前記原画像の符号化結果として出力する
ことを特徴とする画像符号化方法。 - 画像を符号化した符号化データを復号化する画像復号化装置であって、
前記符号化データが、
原画像を、その画素数を少なくすることにより圧縮し、
前記原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、
前記補正データを用いて補間を行うことにより補間データを出力し、
前記補間データと所定の予測係数とに基づいて、前記原画像を予測して、その予測値を出力し、
前記原画像に対する、前記予測値の予測誤差を算出する
ことを、前記予測誤差が所定値以下になるまで繰り返す
ことにより得られた、前記予測誤差が所定値以下になったときにおける前記補正データと、
前記所定の予測係数と
である場合、
前記符号化データを用いて補間を行う補間手段と、
前記補間手段による補間の結果得られる補間データと前記所定の予測係数とに基づいて、前記原画像の予測値を算出し、それを復号画像として出力する予測手段と
を備えることを特徴とする画像復号化装置。 - 画像を符号化した符号化データを復号化する画像復号化方法であって、
前記符号化データが、
原画像を、その画素数を少なくすることにより圧縮し、
前記原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、
前記補正データを用いて補間を行うことにより補間データを出力し、
前記補間データと所定の予測係数とに基づいて、前記原画像を予測して、その予測値を出力し、
前記原画像に対する、前記予測値の予測誤差を算出する
ことを、前記予測誤差が所定値以下になるまで繰り返す
ことにより得られた、前記予測誤差が所定値以下になったときにおける前記補正データと、
前記所定の予測係数と
である場合、
前記符号化データを用いて補間を行うことにより補間データを求め、
前記補間データと前記所定の予測係数とに基づいて、前記原画像の予測値を算出し、それを復号画像として出力する
ことを特徴とする画像復号化方法。 - 画像を符号化する画像符号化装置であって、
原画像を、その画素数を少なくすることにより圧縮する圧縮手段と、
前記原画像を圧縮することにより得られる圧縮データを補正し、補正データを出力する補正手段と、
前記補正データと所定の予測係数とに基づいて、前記原画像を予測し、その予測値を出力する予測手段と、
前記原画像に対する、前記予測値の予測誤差を算出する算出手段と、
前記予測誤差に基づいて、前記補正手段が出力する前記補正データの適正さを判定する判定手段と、
前記判定手段により前記補正データが適正でないと判定された場合、前記圧縮データを前記補正手段に再補正させ、再補正の結果得られる補正データの適正さを前記判定手段に再判定させる制御を行い、前記判定手段により前記補正データが適正であると判定された場合、前記補正データを、前記所定の予測係数とともに前記原画像の符号化結果として出力する出力手段と
を備え、
前記予測手段は、所定の注目画素を含む所定の範囲内の画素についての前記補正データと前記所定の予測係数とに基づいて、前記予測値を算出し、
前記補正手段は、前記予測値の予測誤差に対応して、前記所定の注目画素のみについての圧縮データを補正する
ことを特徴とする画像符号化装置。 - 原画像を、その画素数を少なくすることにより圧縮し、
前記原画像を圧縮することにより得られる圧縮データを補正して、補正データを出力し、
前記補正データと所定の予測係数とに基づいて、前記原画像を予測して、その予測値を出力し、
前記原画像に対する、前記予測値の予測誤差を算出する
ことを、前記予測誤差が所定値以下になるまで繰り返し、
前記予測誤差が所定値以下になったときにおける前記補正データを、前記所定の予測係数とともに前記原画像の符号化結果として出力する画像符号化方法であって、
前記予測値を、所定の注目画素を含む所定の範囲内の画素についての前記補正データと前記所定の予測係数とに基づいて算出し、
前記予測値の予測誤差に対応して、前記所定の注目画素のみについての圧縮データを補正する
ことを特徴とする画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34294496A JP3747970B2 (ja) | 1996-12-24 | 1996-12-24 | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34294496A JP3747970B2 (ja) | 1996-12-24 | 1996-12-24 | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10191353A JPH10191353A (ja) | 1998-07-21 |
| JP3747970B2 true JP3747970B2 (ja) | 2006-02-22 |
Family
ID=18357731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34294496A Expired - Fee Related JP3747970B2 (ja) | 1996-12-24 | 1996-12-24 | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3747970B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69931597T2 (de) * | 1998-09-18 | 2007-05-24 | Sony Corp. | Vorrichtung und verfahren zur datenumsetzung sowie entsprechender aufzeichnungsträger |
| JP4752088B2 (ja) * | 2000-05-09 | 2011-08-17 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
| KR101648818B1 (ko) * | 2008-06-12 | 2016-08-17 | 톰슨 라이센싱 | 움직임 보상 보간 및 참조 픽쳐 필터링에 대한 국부적 적응형 필터링을 위한 방법 및 장치 |
| EP2136565A1 (en) * | 2008-06-19 | 2009-12-23 | Thomson Licensing | Method for determining a filter for interpolating one or more pixels of a frame, method for encoding or reconstructing a frame and method for transmitting a frame |
| EP2335419B1 (en) * | 2008-09-18 | 2020-11-04 | InterDigital Madison Patent Holdings | Methods and apparatus for video imaging pruning |
| JP2021114636A (ja) * | 2018-04-26 | 2021-08-05 | ソニーグループ株式会社 | 符号化装置、符号化方法、復号装置、及び、復号方法 |
-
1996
- 1996-12-24 JP JP34294496A patent/JP3747970B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10191353A (ja) | 1998-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0705035B1 (en) | Encoding data represented as a multi-dimensional array | |
| JP3748088B2 (ja) | 画像処理装置および方法、並びに学習装置および方法 | |
| JP3912627B2 (ja) | 画像符号化装置および画像符号化方法、並びに伝送方法 | |
| JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3915855B2 (ja) | 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 | |
| EP0820198B1 (en) | Apparatus and method for image coding and decoding | |
| EP0825776B1 (en) | Image coding using sub-sampling, classification of pixel blocks and association of mapping coefficients | |
| JP3747970B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| JP3912628B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP3844031B2 (ja) | 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法 | |
| JP4534951B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JP4582416B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JP3371159B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3912629B2 (ja) | 画像処理システム、画像符号化装置および画像符号化方法、伝送方法、並びに記録媒体 | |
| JPH08307835A (ja) | クラス分類適応処理装置および方法 | |
| JP4496494B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JP3952326B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JPH0888849A (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| EP1298934A1 (en) | Apparatus and method for image coding and decoding | |
| JP4487900B2 (ja) | 画像処理システム | |
| KR100598754B1 (ko) | 원 화상 데이타 부호화 장치, 부호화 화상 데이타 복호화 장치, 원 화상 데이타 부호화 방법, 부호화 화상 데이타 복호화 방법, 화상 데이타 송신 방법, 컴퓨터로 판독 가능한 기록 매체 | |
| JP2001339724A (ja) | 画像符号化装置および方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050822 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051018 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051122 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131209 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |