JP3912627B2 - 画像符号化装置および画像符号化方法、並びに伝送方法 - Google Patents
画像符号化装置および画像符号化方法、並びに伝送方法 Download PDFInfo
- Publication number
- JP3912627B2 JP3912627B2 JP20847697A JP20847697A JP3912627B2 JP 3912627 B2 JP3912627 B2 JP 3912627B2 JP 20847697 A JP20847697 A JP 20847697A JP 20847697 A JP20847697 A JP 20847697A JP 3912627 B2 JP3912627 B2 JP 3912627B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- correction
- value
- data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、並びに伝送方法に関する。特に、例えば、画像を、画素数の異なる複数の階層に分割する階層符号化を行う画像符号化装置および画像符号化方法、並びに伝送方法に関する。
【０００２】
【従来の技術】
元の画像（原画像）を、第１階層（最上位階層）の画像として、その画素数を順次少なくした（解像度を順次低くした）第２階層の画像、第３階層の画像、・・・を形成する符号化（以下、適宜、階層符号化という）方式が提案されている。
【０００３】
階層符号化によれば、複数の階層の画像を、送信側から受信側に送信し、受信側では、その複数の階層の画像それぞれに対応してモニタにより、各階層の画像を表示することができる。
【０００４】
さらに、階層符号化においては、例えば、最下位階層の画像（最も画素数の少ない画像）についてのデータには、他の階層の画像よりも強力な誤り訂正処理などが施されるようになされており、これにより、最下位階層以外の階層の画像について訂正することができない誤りが生じた場合に、最悪でも、最下位階層の画像についてのデータだけは、受信側において、正常なものを得ることができるようになされている。その結果、受信側では、最下位階層の画像についてのデータから、より上位階層の画像を、例えば補間処理などにより得ることができ、従って、階層符号化によれば、誤りに対するロバスト性を向上させることができる。
【０００５】
図３８は、以上のような階層符号化を行う、従来の画像符号化装置の一例の構成を示している。符号化すべき画像データは、第１階層（最上位階層）のデータとして、間引き回路１１1および演算器１２1に供給されるようになされている。
【０００６】
間引き回路１１1では、第１階層の画像データの画素数が間引かれることにより、１つ下位の第２階層の画像データが形成され、間引き回路１１2、演算回路１２2、および補間回路５０１1に供給される。補間回路５０１1では、第２階層の画像データに対して補間処理が施されることにより、１つ上位の第１階層の画像データと同一の画素数の画像データ（以下、適宜、第１階層の補間データという）が形成され、演算器１２1に供給される。演算器１２1では、第１階層の画像データから、第１階層の補間データが減算され、その結果得られる差分値が、第１階層の符号化データとして、信号処理回路５０２に出力される。
【０００７】
間引き回路１１2、演算器１２2、および補間回路５０１2と、間引き回路１１3、演算器１２3、および補間回路５０１3と、間引き回路１１4、演算器１２4、および補間回路５０１4においても、間引き回路１１1、演算器１２1、および補間回路５０１1における場合と同様の処理が行われ、これにより、第２階層乃至第４階層の符号化データがそれぞれ生成され、演算器１２2乃至１２4から信号処理回路５０２に出力される。
【０００８】
また、間引き回路１１4において形成された第５階層（最下位階層）の画像データは、そのまま、第５階層の符号化データとして、信号処理回路５０２に出力される。
【０００９】
信号処理回路５０２では、第１階層乃至第５階層の符号化データに対して、例えば誤り訂正処理その他の必要な信号処理が施され、その後、多重化されて、最終的な符号化データとして出力される。なお、信号処理回路５０２においては、第５階層の符号化データに対しては、他の階層の符号化データより強力な誤り訂正が施されるようになされている。
【００１０】
図３９は、図３８の画像符号化装置から出力される符号化データを階層復号化する画像復号化装置の一例の構成を示している。
【００１１】
信号処理回路６０２においては、符号化データが、第１階層乃至第５階層の符号化データに分離され、さらに、誤り訂正処理その他必要な処理が施されて出力される。第１階層乃至第４階層の符号化データは、演算器７３1乃至７３4にそれぞれ供給され、第５階層の符号化データは、第５階層の復号画像としてそのまま出力されるとともに、補間回路６０１4に供給される。
【００１２】
補間回路６０１4は、図３８の補間回路５０１4に対応するもので、第５階層の符号化データに対して補間処理を施すことにより、１つ上位の第４階層の画像データと同一の画素数の画像データ、即ち、第４階層の補間データを生成し、演算器７３4に供給する。演算器７３4では、第４階層の符号化データ（第４階層の画像データと、第４階層の補間データとの差分値）と、補間回路６０１4からの第４階層の補間データとが加算される。この加算結果は、第４階層の復号画像として出力されるとともに、補間回路６０１3に供給される。
【００１３】
演算器７３3および補間回路６０１3と、演算器７３2および補間回路６０１2と、演算器７３1および補間回路６０１1においても、演算器７３4および補間回路６０１４4における場合と同様の処理が行われ、これにより、第３階層乃至第１階層の復号画像がそれぞれ生成され、演算器７３3乃至７３1から出力される。
【００１４】
ここで、受信側においては、第１階層乃至第４階層の符号化データが何らかの原因で得ることができない場合がある。即ち、例えば、第１階層乃至第４階層の符号化データがエラーによって失われたり、また、受信側が、第５階層の符号化データしか受信することができないものである場合がある。そのような場合であっても、最下位階層、即ち、第５階層の符号化データさえ得ることができれば、その第５階層の符号化データだけを用いて補間を行うことで、各階層の復号画像を得ることが可能である。
【００１５】
【発明が解決しようとする課題】
しかしながら、最下位階層の符号化データだけから、補間によって得られる上位階層の復号画像は、解像度が劣化した、その画質が著しく劣化したものとなる。
【００１６】
ここで、このように復号画像の解像度が劣化する原因として、第１に、間引きされた下位階層の画像には、上位階層の画像に含まれる高周波数成分が含まれていないことと、第２に、間引きを行うことにより得られる下位階層の画像を構成する画素の画素値が、上位階層の画像を復元するのに、必ずしも適当でないことが考えられる。
【００１７】
本発明は、このような状況に鑑みてなされたものであり、最下位階層の符号化データだけからでも、高画質の復号画像を得ることができるようにするものである。
【００１８】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成する形成手段と、第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力する補正手段と、補正データと所定の予測係数との積和演算によって、第１の階層の画像データの予測値を予測する予測手段と、第１の階層の画像データに対する、その予測値の予測誤差を算出する算出手段と、第１の階層についての予測誤差と所定の閾値を比較し、予測誤差が閾値より小さいときの補正データを適正なものとして、補正手段が出力する補正データの適正さを判定する判定手段と、判定手段により補正データが適正と判定されたときにおける、第１の階層の画像データと、その予測値との差分値を演算する演算手段と、判定手段により適正と判定された補正データと、差分値とを、画像の符号化結果として出力する出力手段とを備え、予測誤差が所定の閾値より小さくなく、判定手段により、補正データが適正ではないと判定された場合、補正データが適正であると判定されるまで、所定の補正値を予測誤差が小さくなるように変化させ、補正手段、予測手段、算出手段、および判定手段の処理を繰り返すことを特徴とする。
【００１９】
請求項１３に記載の画像符号化方法は、第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成し、第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力し、補正データと所定の予測係数との積和演算によって、第１の階層の画像データの予測値を予測し、第１の階層の画像データに対する、その予測値の予測誤差を算出し、第１の階層についての予測誤差と所定の閾値を比較し、予測誤差が閾値より小さいときの補正データを適正なものとして、補正データの適正さを判定し、補正データが適正と判定されたときにおける、第１の階層の画像データと、その予測値との差分値を演算し、適正と判定された補正データと、差分値とを、画像の符号化結果として出力し、予測誤差が所定の閾値より小さくなく、補正データが適正ではないと判定された場合、補正データが適正であると判定されるまで、所定の補正値を予測誤差が小さくなるように変化させ、第２の階層の画像データに加算して補正し、補正データとして出力し、補正データを、その性質に応じて所定のクラスに分類し、クラスに対応した予測係数と補正データとの線形結合により、第１の階層の画像データの予測値を予測し、第１の階層の画像データに対する、その予測値の予測誤差を算出し、予測誤差と所定の閾値との比較に基づいて、補正データが適正であるか否かを判定する処理を繰り返すことを特徴とする。
【００２１】
請求項１に記載の画像符号化装置においては、形成手段は、第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成し、補正手段は、第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力し、予測手段は、補正データと所定の予測係数との積和演算によって、第１の階層の画像データの予測値を予測するようになされている。算出手段は、第１の階層の画像データに対する、その予測値の予測誤差を算出し、判定手段は、第１の階層についての予測誤差と所定の閾値を比較し、予測誤差が閾値より小さいときの補正データを適正なものとして、補正手段が出力する補正データの適正さを判定するようになされている。演算手段は、判定手段により補正データが適正と判定されたときにおける、第１の階層の画像データと、その予測値との差分値を演算し、出力手段は、判定手段により適正と判定された補正データと、差分値とを、画像の符号化結果として出力するようになされている。そして、予測誤差が所定の閾値より小さくなく、判定手段により、補正データが適正ではないと判定された場合、補正データが適正であると判定されるまで、所定の補正値を予測誤差が小さくなるように変化させ、補正手段、予測手段、算出手段、および判定手段の処理を繰り返すようになされている。
【００２２】
請求項１３に記載の画像符号化方法においては、第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成し、第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力し、補正データと所定の予測係数との積和演算によって、第１の階層の画像データの予測値を予測し、第１の階層の画像データに対する、その予測値の予測誤差を算出し、第１の階層についての予測誤差と所定の閾値を比較し、予測誤差が閾値より小さいときの補正データを適正なものとして、補正データの適正さを判定し、補正データが適正と判定されたときにおける、第１の階層の画像データと、その予測値との差分値を演算し、適正と判定された補正データと、差分値とを、画像の符号化結果として出力し、予測誤差が所定の閾値より小さくなく、補正データが適正ではないと判定された場合、補正データが適正であると判定されるまで、所定の補正値を予測誤差が小さくなるように変化させ、第２の階層の画像データに加算して補正し、補正データとして出力し、補正データを、その性質に応じて所定のクラスに分類し、クラスに対応した予測係数と補正データとの線形結合により、第１の階層の画像データの予測値を予測し、第１の階層の画像データに対する、その予測値の予測誤差を算出し、予測誤差と所定の閾値との比較に基づいて、補正データが適正であるか否かを判定する処理を繰り返すようになされている。
【００３９】
【発明の実施の形態】
図１は、本発明を適用した画像処理システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成を示している。
【００４０】
送信装置１には、ディジタル化された画像データが供給されるようになされている。送信装置１は、入力された画像データを階層符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。
【００４１】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが伸張、復号化される。そして、その結果得られる復号画像が、図示せぬディスプレイに供給されて表示される。
【００４２】
なお、以上のような画像処理システムは、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、送信装置１が出力する符号化データのデータ量は少ないため、図１の画像処理システムは、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００４３】
図２は、送信装置１の構成例を示している。なお、図中、図３８における場合と対応する部分については、同一の符号を付してある。
【００４４】
符号化すべきディジタル画像データ、即ち、第１階層の画像データは、間引き回路１１1および演算器１２1に供給される。間引き回路１１1では、第１階層の画像データの画素数が間引かれることにより、１つ下位の第２階層の画像データが形成される。即ち、間引き回路１１1では、例えば、図３に示すように、第１階層の画像データ（同図において、○印で示す部分）が１／９に単純に間引かれ（横方向および縦方向とも１／３に間引かれ）、これにより第２階層の画像データ（同図において△印で示す部分）が形成される。この第２階層の画像データは、間引き回路１１2に供給される。
【００４５】
間引き回路１１2では、第２階層の画像データの画素数が間引かれることにより、さらに１つ下位の第３階層の画像データが形成される。即ち、間引き回路１１2では、例えば、間引き回路１１1における場合と同様に、第２階層の画像データが１／９に単純に間引かれ、これにより、図３において×印で示す第３階層の画像データが形成される。
【００４６】
第３階層の画像データは、間引き回路１１3に供給され、また、間引き回路１１3の出力は、間引き回路１１4に供給されるようになされており、間引き回路１１3または１１4では、例えば、間引き回路１１1における場合と同様の処理が行われることで、第４階層または第５階層の画像データがそれぞれ形成される。
【００４７】
以上のようにして、間引き回路１１1乃至間引き回路１１4では、図４に示すように、第１階層の画像データ（原画像）から、第２階層乃至第５階層の画像データが順次形成される。
【００４８】
第１階層乃至第５階層の画像データは、最適補正データ算出回路１４に供給されるようになされており、最適補正データ算出回路１４では、第１階層乃至第４階層の画像データの予測値が予測される。この第１階層乃至第４階層の予測値は、演算器１２1乃至１２4にそれぞれ供給される。また、最適補正データ算出回路１４は、第５階層の画像についての、後述するような最適補正データを算出し、第５階層の符号化データとして信号処理回路１３に供給する。
【００４９】
演算器１２1乃至１２4には、第１階層乃至第４階層の予測値の他、第１階層乃至第４階層の画像データもそれぞれ供給されるようになされている。演算器１２1乃至１２4では、第１階層乃至第４階層の予測値それぞれと、第１階層乃至第４階層の画像データそれぞれとの差分値、即ち、予測残差が演算される。この第１階層乃至第４階層についての差分値（予測残差）それぞれは、第１階層乃至第４階層の符号化データとして、信号処理回路１３に供給される。
【００５０】
信号処理回路１３では、第１階層乃至第５階層の符号化データに対して、例えば誤り訂正処理その他の必要な信号処理が施され、その後、多重化されて、最終的な符号化データとして出力される。なお、信号処理回路１３においては、最下位階層である第５階層の符号化データに対しては、他の階層の符号化データより強力な誤り訂正が施されるようになされている。
【００５１】
以上のようにして信号処理回路１３から出力された符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００５２】
なお、以上においては、間引き回路１１1乃至１１4において、同一の割合で間引きが行われるものとしたが、間引き回路１１1乃至１１4で行われる間引きの割合は、同一である必要はない。
【００５３】
次に、図５は、図２の最適補正データ算出回路１４の構成例を示している。
【００５４】
間引き回路１１4からの第５階層の画像データは、補正部２１に供給されるようになされており、また、第１階層乃至第４階層の画像データは、予測部２２に供給されるようになされている。さらに、第１階層の画像データは、誤差算出部２３にも供給されるようになされている。
【００５５】
補正部２１は、第５階層の画像データを、判定部２４からの制御にしたがって補正するようになされている。補正部２１における補正の結果得られる補正データは、予測部２２および判定部２４に供給するようになされている。
【００５６】
予測部２２は、補正部２１からの補正データ、即ち、第５階層の画像データの補正結果に基づいて、その１つ上位の第４階層の予測値を予測するようになされている。さらに、予測部２２は、第４階層の予測値から、さらに１つ上位の第３階層の予測値を予測し、以下、同様にして、第２階層、第１階層の予測値を予測するようになされている。第１階層乃至第４階層の予測値は、上述したように、演算器１２1乃至１２4にそれぞれ供給されるようになされている。さらに、第１階層の予測値（原画像の予測値）は、誤差算出部２３にも供給されるようになされている。
【００５７】
なお、予測部２２は、後述するように、補正データとの線形結合により、第４階層の予測値を算出するためのクラスごとの予測係数を求める処理を行い、そのクラスごとの予測係数に基づいて、第４階層の予測値を求めるようになされており、このとき得られたクラスごとの予測係数は、判定部２４に供給されるようになされている。第３階層乃至第１階層についても同様で、それらのクラスごとの予測値を求めるのに用いられた予測係数は、判定部２４に供給されるようになされている。
【００５８】
誤差算出部２３は、そこに入力される、第１階層の画像データ（原画像）に対する、予測部２２からの第１階層の予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部２４に供給されるようになされている。
【００５９】
判定部２４は、誤差算出部２３からの誤差情報に基づいて、補正部２１が出力した補正データを、元の画像（第１階層の画像）の符号化結果とすることの適正さを判定するようになされている。そして、判定部２４は、補正部２１が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、補正部２１を制御し、さらに、第５階層の画像データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部２４は、補正部２１が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、補正部２１から供給された補正データを、最適な補正データ（以下、適宜、最適補正データという）として多重化部２５に供給するとともに、予測部２２から供給された、第１乃至第４階層の予測値を求めるために用いられたクラスごとの予測係数それぞれを多重化部２５に供給するようになされている。
【００６０】
多重化部２５は、判定部２４からの最適補正データと、クラスごとの予測係数（正確には、後述するように、第１階層乃至第４階層のクラスごとの予測係数の集合）とを多重化し、その多重化結果を、第５階層の符号化データとして出力するようになされている。
【００６１】
次に、図６のフローチャートを参照して、その動作について説明する。補正部２１に対して、第５階層の画像データが供給されると、補正部２１は、ステップＳ１において、最初は、補正を行わずに、そのまま第５階層の画像データを、予測部２２および判定部２４に出力する。予測部２２では、ステップＳ２において、補正部２１からの補正データ（最初は、上述したように、第５階層の画像データそのもの）がローカルデコードされる。
【００６２】
即ち、ステップＳ２では、補正部２１からの補正データとの線形結合により、１つ上位の第４階層の予測値を算出するためのクラスごとの予測係数を求める処理が、補正データと第４階層の画像データを用いて行われ、そのクラスごとの予測係数に基づいて、第４階層の予測値が求められる。さらに、その第４階層の予測値に基づき、同様の処理が、第３階層の画像データを用いて行われることで、第３階層の予測値を算出するためのクラスごとの予測係数が求められ、そのクラスごとの予測係数に基づいて、第３階層の予測値が求められる。以下、同様にして、第２階層および第１階層のクラスごとの予測係数と予測値が求められる。そして、この時点では、第１階層の予測値のみが、誤差算出部２３に供給される。
【００６３】
誤差算出部２３は、予測部２２から、第１階層の予測値を受信すると、ステップＳ３において、第１階層の画像データに対する、予測部２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、補正部２１が出力した補正データを、第１階層の画像の符号化結果とすることの適正さを判定する。
【００６４】
即ち、ステップＳ４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、補正部２１が出力した補正データを、第５階層の画像の符号化データとするのは適正でないと認識され、ステップＳ５に進み、判定部２４は、補正部２１を制御し、これにより、第５階層の画像データを補正させる。補正部２１は、判定部２４の制御にしたがって、補正量（後述する補正値△）を変えて、第５階層の画像データを補正し、その結果得られる補正データを、予測部２２および判定部２４に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００６５】
一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、補正部２１が出力した補正データを、第５階層の画像の符号化データとするのは適正であると認識され、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適補正データとして、第１乃至第４階層の予測係数とともに、多重化部２５に出力する。多重化部２５では、ステップＳ６において、判定部２４からの最適補正データと第１乃至第４階層の予測係数とが多重化され、その多重化結果が、第５階層の符号化データとして出力される。さらに、ステップＳ６では、判定部２４において、予測部２２が第１乃至第４階層の予測値を出力するように制御され、これにより、予測部２２から演算器１２1乃至１２4それぞれに対して、第１乃至第４階層の予測値が出力されて、処理を終了する。
【００６６】
以上のように、誤差情報が所定の閾値ε以下となったときにおける、第５階層の画像データを補正した補正データを、画像の符号化結果とするようにしたので、受信装置４側においては、その補正データ（最適補正データ）に基づいて、元の画像（第１階層の画像）とほぼ同一の画像を得ることが可能となる。
【００６７】
次に、図７は、図５の補正部２１の構成例を示している。
【００６８】
第５階層の画像データは、補正回路３２に供給されるようになされており、補正回路３２は、判定部２４（図５）からの制御信号にしたがって、補正値ＲＯＭ３３にアドレスを与え、これにより、補正値△を読み出すようになされている。そして、補正回路３２は、第５階層の画像データに対して、補正値ＲＯＭ３３からの補正値△を、例えば加算することで、補正データを生成し、予測部２２および判定部２４に供給するようになされている。補正値ＲＯＭ３３は、第５階層の画像データを補正するための、各種の補正値△の組合せ（例えば、１フレーム分の第５階層の画像データを補正するための補正値の組合せなど）を記憶しており、補正回路３２から供給されるアドレスに対応する補正値△の組合せを読み出して、補正回路３２に供給するようになされている。
【００６９】
次に、図８を参照して、図７の補正部２１の処理について説明する。
【００７０】
例えば、１フレーム分などの第５階層の画像データが、補正回路３２に供給されると、補正回路３２は、ステップＳ１１において、その第５階層の画像データを受信し、ステップＳ１２において、判定部２４（図５）から制御信号を受信したかどうかを判定する。ステップＳ１２において、制御信号を受信していないと判定された場合、ステップＳ１３およびＳ１４をスキップして、ステップＳ１５に進み、補正回路３２は、第５階層の画像データを、そのまま補正データとして、予測部２２および判定部２４に出力し、ステップＳ１２に戻る。
【００７１】
即ち、判定部２４は、上述したように、誤差情報に基づいて、補正部２１（補正回路３２）を制御するようになされており、補正回路３２において第５階層の画像データが受信された直後は、まだ、誤差情報が得られないため（誤差情報が、誤差算出部２３から出力されないため）、判定部２４からは制御信号は出力されない。このため、第５階層の画像データを受信した直後は、補正回路３２は、その第５階層の画像データを補正せず（０を加算する補正をして）、そのまま補正データとして、予測部２２および判定部２４に出力する。
【００７２】
一方、ステップＳ１２において、判定部２４からの制御信号を受信したと判定された場合、ステップＳ１３において、補正回路３２は、その制御信号にしたがったアドレスを、補正値ＲＯＭ３３に出力する。これにより、ステップＳ１３では、補正値ＲＯＭ３３から、そのアドレスに記憶されている、１フレーム分の第５階層の画像データを補正するための補正値△の組合せ（集合）が読み出され、補正回路３２に供給される。補正回路３２は、補正値ＲＯＭ３３から補正値△の組合せを受信すると、ステップＳ１４において、１フレームの第５階層の画像データそれぞれに、対応する補正値△を加算し、これにより、第５階層の画像データを補正した補正データを算出する。その後は、ステップＳ１５に進み、補正データが、補正回路３２から、予測部２２および判定部２４に出力され、ステップＳ１２に戻る。
【００７３】
以上のようにして、補正部２１は、判定部２４の制御にしたがって、第５階層の画像データを、種々の値に補正した補正データを出力することを繰り返す。
【００７４】
なお、判定部２４は、１フレームの画像についての符号化を終了すると、その旨を表す制御信号を、補正部２１に供給するようになされており、補正部２１では、ステップＳ１２において、その制御信号を受信したかどうかの判定も行われるようになされている。ステップＳ１２において、１フレームの画像についての符号化を終了した旨の制御信号を受信したと判定された場合、ステップＳ１１に戻り、次のフレームのデータが供給されるのを待って、ステップＳ１１からの処理が繰り返される。
【００７５】
次に、図９は、図５の予測部２２の構成例を示している。
【００７６】
ローカルデコード部２２4には、第５階層の画像データを補正した補正データと第４階層の画像データとが供給されるようになされており、ローカルデコード部２２4では、それらのデータを用いて、第４階層の画像のクラスごとの予測係数が求められ、さらに、そのクラスごとの予測係数を用いて、第４階層の画像の予測値が求められる。そして、第４階層の予測値は、ローカルデコード部２２3およびメモリ２６に供給され、また、第４階層のクラスごとの予測係数は、メモリ２７に供給される。メモリ２６または２７では、第４階層の予測値またはクラスごとの予測係数がそれぞれ記憶される。
【００７７】
ローカルデコード部２２3には、ローカルデコード部２２4から第４階層の予測値が供給される他、第３階層の画像データが供給されるようになされており、そこでは、それらのデータを用いて、第３階層の画像のクラスごとの予測係数が求められ、さらに、そのクラスごとの予測係数を用いて、第３階層の予測値が求められる。そして、第３階層の予測値は、ローカルデコード部２２2およびメモリ２６に供給され、また、第３階層のクラスごとの予測係数は、メモリ２７に供給される。メモリ２６または２７では、第３階層の予測値またはクラスごとの予測係数がそれぞれ記憶される。
【００７８】
ローカルデコード部２２2と２２1においても、同様の処理が行われ、これにより、第２階層の予測値およびクラスごとの予測係数と、第１階層の予測値およびクラスごとの予測係数が求められる。そして、第２階層および第１階層の予測値は、メモリ２６に供給されて記憶され、また、第２階層および第１階層のクラスごとの予測係数は、メモリ２７に供給されて記憶される。さらに、第１階層の予測値は、誤差算出部２３（図５）にも供給される。
【００７９】
ここで、メモリ２６および２７は、各階層についてのデータを独立した領域に記憶するようになされている。また、メモリ２６および２７は、既にデータを記憶している領域に、新たにデータが供給されると、その新たなデータを、既にデータが記憶されている領域に上書きするようになされている。従って、メモリ２６と２７には、常に、最新の各階層の予測値とクラスごとの予測係数が記憶されるようになされている。
【００８０】
メモリ２６に記憶された第４階層乃至第１階層の予測値は、判定部２４（図５）からの制御信号にしたがって読み出され、演算器１２4乃至１２1にそれぞれ供給される。また、メモリ２７に記憶された第４乃至第１階層のクラスごとの予測係数も、判定部２４からの制御信号にしたがって読み出され、多重化器（ＭＵＸ）２８に供給される。多重化器２８では、第１階層乃至第４階層のクラスごとの予測係数が多重化され、判定部２４に供給される。
【００８１】
次に、図９のローカルデコード部２２1乃至２２4の構成について、ローカルデコード部２２4を例にして説明する。
【００８２】
図１０は、図９のローカルデコード部２２4の構成例を示している。
【００８３】
補正部２１からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、注目している補正データ（注目補正データ）を中心とするクラス分類用ブロックにブロック化するようになされている。
【００８４】
即ち、いま、例えば、図１１において、○印で示す画素が第４階層の画像を構成するものとするとともに、●印で示す画素が第５階層の画像（補正データ）を構成するものとして、上からｉ番目で、左からｊ番目の補正データ（または画素）をＸijと表すとすると、クラス分類用ブロック化回路４１は、注目画素（注目補正データ）Ｘijの左上、上、右上、左、右、左下、下、右下に隣接する８つの画素Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラス分類用ブロックを構成するようになされている。このクラス分類用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００８５】
なお、この場合、クラス分類用ブロックは、３×３画素（３×３の補正データ）でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。
【００８６】
予測値計算用ブロック化回路４２は、補正データを、第４階層の画像の予測値を計算するための単位である、注目補正データを中心とする予測値計算用ブロックにブロック化するようになされている。即ち、いま、図１１において、補正データＸij（図中、●印で示す部分）を中心とする、第４階層の画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すとすると、画素Ｙij（１）乃至Ｙij（９）の予測値の計算のために、予測値計算用ブロック化回路４２は、例えば、画素Ｘijを中心とする５×５の２５画素（２５の補正データ）Ｘ(i-2)(j-2)，Ｘ(i-2)(j-1)，Ｘ(i-2)j，Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，Ｘ(i-1)(j-2)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi(j-2)，Ｘi(j-1)，Ｘij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j-2)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)，Ｘ(i+1)(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，Ｘ(i+2)j，Ｘ(i+2)(j+1)，Ｘ(i+2)(j+2)で構成される正方形状の予測値計算用ブロック（画素Ｘijを注目補正データとする予測値計算用ブロック）を構成するようになされている。
【００８７】
具体的には、例えば、図１１において四角形で囲む、第４階層の画像における画素Ｙ33（１）乃至Ｙ33（９）の予測値の計算のためには、補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55により、予測値計算用ブロックが構成される。
【００８８】
予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００８９】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【００９０】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【００９１】
クラス分類適応処理回路４３は、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路、クラス分類回路４５、および適応処理回路４６で構成され、クラス分類適応処理を行うようになされている。
【００９２】
クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスごとの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【００９３】
ここで、クラス分類処理および適応処理について簡単に説明する。
【００９４】
まず、クラス分類処理について説明する。
【００９５】
いま、例えば、図１２（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図１２（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。このようなパターン分けが、クラス分類処理であり、クラス分類回路４５において行われる。
【００９６】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【００９７】
ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、注目画素を中心とする３×３の９画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【００９８】
そこで、本実施の形態においては、ＡＤＲＣ処理回路４４において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を小さくすることで、クラス数を削減するようになされている。
【００９９】
即ち、例えば、いま、説明を簡単にするため、図１３（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【０１００】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図１３（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【０１０１】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【０１０２】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【０１０３】
ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理回路４４において行われるようになされている。
【０１０４】
なお、本実施の形態では、クラス分類回路４５において、ＡＤＲＣ処理回路４４から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【０１０５】
次に、適応処理について説明する。
【０１０６】
例えば、いま、第４階層の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（本実施の形態では、補正データ）（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１０７】
【０１０８】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【０１０９】
【０１１０】
そして、この観測方程式に最小自乗法を適用して、第４階層の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、第４階層の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および第４階層の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【０１１１】
【０１１２】
この場合、第４階層の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための第４階層の予測係数ｗiは、自乗誤差
【数３】
を最小にすることで求めることができる。
【０１１３】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１１４】
【数４】
【０１１５】
そこで、まず、式（３）を、第４階層の予測係数ｗiで微分することにより、次式が成立する。
【０１１６】
【数５】
【０１１７】
式（４）および（５）より、式（６）が得られる。
【０１１８】
【数６】
【０１１９】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１２０】
【数７】
【０１２１】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１２２】
以上のようにして、最適な第４階層のクラスごとの予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、第４階層の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、適応処理回路４６において行われるようになされている。
【０１２３】
なお、適応処理は、間引かれた画像（ここでは、第５階層の画像）には含まれていない、元の画像（ここでは、第４階層の画像）に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１２４】
次に、図１４のフローチャートを参照して、図１０のローカルデコード部２２4の処理について説明する。
【０１２５】
ローカルデコード部２２4においては、まず最初に、ステップＳ２１において、補正部２１からの補正データがブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、注目補正データを中心とする３×３画素のクラス分類用ブロックにブロック化され、クラス分類適応処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが、注目補正データを中心とする５×５画素の予測値計算用ブロックにブロック化され、クラス分類適応処理回路４３に供給される。
【０１２６】
クラス分類適応処理回路４３には、上述したように、クラス分類用ブロックおよび予測値計算用ブロックの他、第４階層の画像データが供給されるようになされており、クラス分類用ブロックはＡＤＲＣ処理部４４に、予測値計算用ブロックおよび第４階層の画像データは適応処理回路４６に供給されるようになされている。
【０１２７】
ＡＤＲＣ処理回路４４は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路４５に出力する。クラス分類回路４５は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施す。即ち、クラス分類回路４５は、クラス分類用ブロックを構成する画素のレベル分布の状態を検出し、そのクラス分類用ブロック（そのクラス分類用ブロックを構成する注目補正データ）が属するクラスを判定する。このクラスの判定結果は、クラス情報として、適応処理回路４６に供給される。
【０１２８】
なお、本実施の形態においては、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【０１２９】
そして、ステップＳ２４に進み、適応処理回路４６において、クラス分類回路４５からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、例えば、第４階層のクラスごとの予測係数および１フレーム分の予測値が算出される。
【０１３０】
即ち、本実施の形態においては、クラスごとの２５×９の第４階層の予測係数が、１フレームごとに、第４階層の画像データと補正データとを用いて算出される。さらに、ある１つの補正データに注目した場合に、その注目補正データに対応する原画像（ここでは、第４階層の画像）の画素と、その画素の周りに隣接する８個の原画像の画素の、合計９個の画素についての原画像の予測値が、注目補正データを中心とするクラス分類用ブロックのクラス情報に対応する２５×９個の予測係数と、注目補正データを中心とする５×５画素でなる予測値計算用ブロックとを用いて、適応処理が行われることにより算出される。
【０１３１】
具体的には、例えば、いま、図１１に示した補正データＸ33を中心とする３×３の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４５から出力され、また、そのクラス分類用ブロックに対応する予測値計算用ブロックとして、補正データＸ33を中心とする５×５画素の補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、第４階層の画像における、補正データＸ33を中心とする３×３画素（図１１において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）を、教師データとして、式（７）に示した正規方程式がたてられる。
【０１３２】
さらに、所定の期間としての、例えば、１フレームの中の、同一のクラス情報Ｃにクラス分類される、他のクラス分類用ブロックに対応する予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ33（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ33（ｋ）］を求めるための予測係数ｗ1（ｋ）乃至ｗ25（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データが２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ33（ｋ）の予測値Ｅ［Ｙ33（ｋ）］を求めるのに最適な予測係数ｗ1（ｋ）乃至ｗ25（ｋ）が算出される。
【０１３３】
以上の処理は、各クラスごとに行われ、これにより、各クラスごとに、２５×９個の予測係数が算出される。そして、クラス情報Ｃに対応する予測係数と予測値計算用ブロックとを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ33（ｋ）］が求められる。
【０１３４】
【０１３５】
ステップＳ２４では、以上のようにして、２５×９の予測係数が、クラスごとに求められ、そのクラスごとの予測係数を用いて、１フレーム分の原画像の画素の予測値が、注目補正データを中心とする３×３画素単位で求められていく。
【０１３６】
その後、ステップＳ２５に進み、クラスごとの２５×９の予測係数はメモリ２７（図９）に供給され、３×３画素単位で求められた１フレーム分の予測値はメモリ２６に供給される。そして、ステップＳ２１に戻り、以下同様の処理が、例えば、上述したように１フレーム単位で繰り返される。
【０１３７】
ローカルデコード部２２1乃至２２3においても、同様の処理が行われ、これにより、第１乃至第３階層のクラスごとの予測係数が求められ、その予測係数を用いて、９画素単位で各階層の予測値が求められる。そして、第１階層乃至第３階層の予測値またはクラスごとの予測係数は、メモリ２６または２７それぞれに供給されて記憶される。なお、第１階層の予測値は、誤差算出部２３（図５）にも供給されるようになされている。
【０１３８】
次に、図１５は、図５の誤差算出部２３の構成例を示している。
【０１３９】
ブロック化回路５１には、元の画像データ、即ち、第１階層の画像データが供給されるようになされており、そこでは、ブロック化回路５１は、その画像データを、予測部２２から出力される第１階層の予測値に対応する９個単位でブロック化し、その結果得られる３×３画素のブロックを、自乗誤差算出回路５２に出力するようになされている。自乗誤差算出部５２には、上述したように、ブロック化回路５１からブロックが供給される他、予測部２２から第１階層の予測値が、９個単位（３×３画素のブロック単位）で供給されるようになされており、自乗誤差算出回路５２は、第１階層の画像に対する、その予測値の予測誤差としての自乗誤差を算出し、積算部５５に供給するようになされている。
【０１４０】
即ち、自乗誤差算出回路は５２は、演算器５３および５４で構成されている。演算器５３は、ブロック化回路５１からのブロック化された画像データそれぞれから、対応する予測値を減算し、その減算値を、演算器５４に供給するようになされている。演算器５４は、演算器５３の出力（第１階層の画像データとその予測値との差分）を自乗し、積算部５５に供給するようになされている。
【０１４１】
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算して、再び、メモリ５６に供給して記憶させることを繰り返すことで、自乗誤差の積算値（誤差分散）を求めるようになされている。さらに、積算部５５は、所定量（例えば、１フレーム分など）についての自乗誤差の積算が終了すると、その積算値を、メモリ５６から読み出し、誤差情報として、判定部２４（図５）に供給するようになされている。メモリ５６は、１フレームについての処理が終了するごとに、その記憶値をクリアしながら、積算部５５の出力値を記憶するようになされている。
【０１４２】
次に、その動作について、図１６のフローチャートを参照して説明する。誤差算出部２３では、まず最初に、ステップＳ３１において、メモリ５６の記憶値が、例えば０にクリアされ、ステップＳ３２に進み、ブロック化回路５１において、第１階層の画像データが、上述したようにブロック化され、その結果得られるブロックが、自乗誤差算出回路５２に供給される。自乗誤差算出回路５２では、ステップＳ３３において、ブロック化回路５１から供給されるブロックを構成する、第１階層の画像の画像データと、予測部２２から供給される第１階層の予測値との自乗誤差が算出される。
【０１４３】
即ち、ステップＳ３３では、演算器５３において、ブロック化回路５１より供給されたブロック化された第１階層の画像データそれぞれから、対応する予測値が減算され、演算器５４に供給される。さらに、ステップＳ３３では、演算器５４において、演算器５３の出力が自乗され、積算部５５に供給される。
【０１４４】
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、ステップＳ３４において、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算することで、自乗誤差の積算値を求める。積算部５５において算出された自乗誤差の積算値は、メモリ５６に供給され、前回の記憶値に上書きされることで記憶される。
【０１４５】
そして、積算部５５では、ステップＳ３５において、所定量としての、例えば、１フレーム分についての自乗誤差の積算が終了したかどうかが判定される。ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了していないと判定された場合、ステップＳ３２に戻り、再び、ステップＳ３２からの処理を繰り返す。また、ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了したと判定された場合、ステップＳ３６に進み、積算部５５は、メモリ５６に記憶された１フレーム分についての自乗誤差の積算値を読み出し、誤差情報として、判定部２４に出力する。そして、ステップＳ３１に戻り、再び、ステップＳ３１からの処理を繰り返す。
【０１４６】
従って、誤差算出部２３では、第１階層の画像データをＹij（ｋ）とするとともに、予測部２２において補正データから生成された第１階層の予測値をＥ［Ｙij（ｋ）］とするとき、次式にしたがった演算が行われることで、誤差情報Ｑが算出される。
【０１４７】
Ｑ＝Σ（Ｙij（ｋ）−Ｅ［Ｙij（ｋ）］）2
但し、Σは、１フレーム分についてのサメーションを意味する。
【０１４８】
次に、図１７は、図５の判定部２４の構成例を示している。
【０１４９】
補正データメモリ６２は、補正部２１から供給される補正データを記憶するようになされている。
【０１５０】
なお、補正データメモリ６２は、補正部２１において、第５階層の画像データが新たに補正され、これにより、新たな補正データが供給された場合には、既に記憶している補正データ（前回の補正データ）に代えて、新たな補正データを記憶するようになされている。
【０１５１】
誤差情報メモリ６３は、誤差算出部２３から供給される誤差情報を記憶するようになされている。なお、誤差情報メモリ６３は、誤差算出部２３から、今回供給された誤差情報の他に、前回供給された誤差情報も記憶するようになされている（新たな誤差情報が供給されても、さらに新たな誤差情報が供給されるまでは、既に記憶している誤差情報を保持するようになされている）。なお、誤差情報メモリ６３は、新たなフレームについての処理が開始されるごとにクリアされるようになされている。
【０１５２】
比較回路６４は、誤差情報メモリ６３に記憶された今回の誤差情報と、所定の閾値εとを比較し、さらに、必要に応じて、今回の誤差情報と前回の誤差情報との比較も行うようになされている。比較回路６４における比較結果は、制御回路６５に供給されるようになされている。
【０１５３】
制御回路６５は、比較回路６４における比較結果に基づいて、補正データメモリ６２に記憶された補正データを、画像の符号化結果とすることの適正（最適）さを判定し、最適でないと認識（判定）した場合には、新たな補正データの出力を要求する制御信号を、補正部２１（補正回路３２）（図５）に供給するようになされている。また、制御回路６５は、補正データメモリ６２に記憶された補正データを、画像の符号化結果とすることが最適であると認識した場合には、補正データメモリ６２に記憶されている補正データを読み出し、多重化部２５に出力するとともに、予測部２２（図９）に制御信号を出力することで、メモリ２６または２７にそれぞれ記憶されている予測値またはクラスごとの予測係数を読み出させるようにもなされている。さらに、この場合、制御回路６５は、１フレームの画像についての符号化を終了した旨を表す制御信号を、補正部２１に出力し、これにより、上述したように、補正部２１に、次のフレームについての処理を開始させるようになされている。
【０１５４】
次に、図１８を参照して、判定部２４の動作について説明する。判定部２４では、まず最初に、ステップＳ４１において、誤差算出部２３から誤差情報を受信したかどうかが、比較回路６４によって判定され、誤差情報を受信していないと判定された場合、ステップＳ４１に戻る。また、ステップＳ４１において、誤差情報を受信したと判定された場合、即ち、誤差情報メモリ６３に誤差情報が記憶された場合、ステップＳ４２に進み、比較回路６４において、誤差情報メモリ６３に、いま記憶された誤差情報（今回の誤差情報）と、所定の閾値εとが比較され、いずれが大きいかが判定される。
【０１５５】
ステップＳ４２において、今回の誤差情報が、所定の閾値ε以上であると判定された場合、比較回路６４において、誤差情報メモリ６３に記憶されている前回の誤差情報が読み出される。そして、比較回路６４は、ステップＳ４３において、前回の誤差情報と、今回の誤差情報とを比較し、いずれが大きいかを判定する。
【０１５６】
ここで、１フレームについての処理が開始され、最初に誤差情報が供給されたときには、誤差情報メモリ６３には、前回の誤差情報は記憶されていないので、この場合には、判定部２４においては、ステップＳ４３以降の処理は行われず、制御回路６５において、所定の初期アドレスを補正値ＲＯＭ３３に出力するように、補正回路３２（図５）を制御する制御信号が出力されるようになされている。
【０１５７】
ステップＳ４３において、今回の誤差情報が、前回の誤差情報以下であると判定された場合、即ち、第５階層の画像データの補正を行うことにより誤差情報が減少した場合、ステップＳ４４に進み、制御回路６５は、補正値△を、前回と同様に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。また、ステップＳ４３において、今回の誤差情報が、前回の誤差情報より大きいと判定された場合、即ち、第５階層の画像データの補正を行うことにより誤差情報が増加した場合、ステップＳ４５に進み、制御回路６５は、補正値△を、前回と逆に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。
【０１５８】
なお、減少し続けていた誤差情報が、あるタイミングで上昇するようになったときは、制御回路６５は、補正値△を、いままでの場合の、例えば１／２の大きさで、前回と逆に変化させるように指示する制御信号を出力するようになされている。
【０１５９】
そして、ステップＳ４１乃至Ｓ４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ４２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ４６に進み、制御回路６５は、補正データメモリ６２に記憶されている補正データを読み出し、第１階層の予測値を得るのに最適な補正データである最適補正データとして、多重化部２５に供給する。さらに、ステップＳ４６においては、制御回路６５は、予測部２２（図９）のメモリ２６から第１階層乃至第４階層の予測値を読み出させるとともに、メモリ２７から第１乃至第４階層のクラスごとの予測係数を読み出させる。
【０１６０】
メモリ２６から読み出された第１階層乃至第４階層の予測値、即ち、誤差情報が閾値ε以下になったときにおける第１階層乃至第４階層の予測値は、上述したように、演算器１２1乃至１２4に供給される。また、メモリ２７から読み出された第１乃至第４階層のクラスごとの予測係数は、多重化器２８（図９）で多重化される。そして、その結果得られるクラスごとの予測係数の集合は、制御回路６５を介して、多重化部２５（図５）に供給される。
【０１６１】
その後は、次のフレームについての誤差情報が供給されるのを待って、再び、図１８に示すフローチャートにしたがった処理を繰り返す。
【０１６２】
なお、補正回路３２には、第５階層の画像データの補正は、１フレームすべての第５階層の画像データについて行わせるようにすることもできるし、その一部のデータについてだけ行わせるようにすることもできる。一部のデータについてだけ補正を行う場合においては、制御回路６５に、例えば、誤差情報に対する影響の強い画素を検出させ、そのような画素についてだけ補正を行うようにすることができる。誤差情報に対する影響の強い画素は、例えば、次のようにして検出することができる。即ち、まず最初に、第５階層の画像データをそのまま用いて処理を行うことにより、その誤差情報を得る。そして、第５階層の画像データを、１画素ずつ、同一の補正値△だけ補正するような処理を行わせる制御信号を、制御回路６５から補正回路３２に出力し、その結果得られる誤差情報を、第５階層の画像データをそのまま用いた場合に得られる誤差情報と比較し、その差が、所定値以上となる画素を、誤差情報に対する影響の強い画素として検出すれば良い。
【０１６３】
以上のように、誤差情報を所定の閾値εより小さくする（以下にする）まで、第５階層の画像データの補正が繰り返され、誤差情報が所定の閾値εより小さくなったときにおける補正データが、最適補正データとして出力されるので、受信装置４（図１）においては、その最適補正データ、即ち、第１階層の画像を復元するのに最も適当な値にした補正データだけを用いて、原画像と同一（ほぼ同一）の復号画像を得ることが可能となる。
【０１６４】
また、送信装置１における、以上のような符号化処理は、間引きによる圧縮処理と、クラス分類適応処理とを、いわば有機的に統合して用いることにより、高能率圧縮を実現するものであり、このことから統合符号化処理ということができる。
【０１６５】
次に、図１９は、図１の受信装置４の構成例を示している。
【０１６６】
信号処理回路７１には、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信されて供給される。信号処理回路７１においては、そこに供給される符号化データが受信され、第１階層乃至第５階層の符号化データに分離された後、誤り訂正処理その他の必要な処理が施される。また、信号処理部７１は、第５階層の符号化データから、最適補正データと、第１階層乃至第４階層のクラスごとの予測係数それぞれとを分離する。そして、信号処理部７１は、第１階層乃至第４階層の符号化データ（第１階層乃至第４階層の予測残差）を、演算器７３1乃至７３4にそれぞれ供給するともにに、第１乃至第４階層のクラスごとの予測係数を予測部７３1乃至７３4にそれぞれ供給する。さらに、信号処理部７１は、最適補正データを、第５階層の復号画像としてそのまま出力するとともに、予測部７２4に供給する。
【０１６７】
予測部７２4では、最適補正データと第４階層のクラスごとの予測係数とを用いて、第４階層の予測値が算出され、演算器７３4に供給される。演算器７３4では、第４階層の予測値と、その予測残差（第４階層の符号化データ）とが加算される。この加算結果は、第４階層の復号画像としてそのまま出力されるとともに、予測部７２3に供給される。
【０１６８】
予測部７２3では、演算器７３4からの第４階層の復号画像と、第３階層のクラスごとの予測係数とを用いて、第３階層の予測値が算出され、演算器７３3に供給される。演算器７３3では、第３階層の予測値と、その予測残差（第３階層の符号化データ）とが加算される。この加算結果は、第３階層の復号画像としてそのまま出力されるとともに、予測部７２2に供給される。
【０１６９】
予測部７２2および演算器７３2、または予測部７２1および演算器７３1においても、同様の処理が行われ、これにより、演算器７３2または７３1からは、第２階層または第１階層の復号画像がそれぞれ出力される。
【０１７０】
次に、予測部７２1乃至７２4について、予測部７２4を例にして説明する。
【０１７１】
図２０は、予測部７２4の構成例を示している。
【０１７２】
信号処理回路７１（図１９）からの最適補正データは、クラス分類用ブロック化回路８２および予測値計算用ブロック化回路８３に供給され、また、第４階層のクラスごとの予測係数は、予測回路８６に供給される。そして、第４階層のクラスごとの予測係数は、予測回路８６が内蔵するメモリ８６Ａに記憶される。
【０１７３】
クラス分類用ブロック化回路８２、予測値計算用ブロック化回路８３、ＡＤＲＣ処理回路８４、またはクラス分類回路８５は、図１０におけるクラス分類用ブロック化回路４１、予測値計算用ブロック化回路４２、ＡＤＲＣ処理回路４４、またはクラス分類回路４５それぞれと同様に構成されており、従って、これらのブロックにおいては、図１０における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路８３からは予測値計算用ブロックが出力され、また、クラス分類回路８５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路８６に供給される。
【０１７４】
予測回路８６は、その内蔵するメモリ８６Ａに記憶されている第４階層のクラスごとの予測係数の中から、クラス情報に対応したものを読み出し、その読み出した予測係数と、予測値計算用ブロック化回路８３から供給される５×５画素の予測値計算用ブロックを構成する最適補正データとを用い、式（１）にしたがって、第４階層の３×３画素の予測値を算出する。そして、予測回路８６は、第４階層の１フレーム分の予測値が得られると、その予測値を、演算器７３4に供給する。
【０１７５】
他の予測部７２3乃至７２1においても、同様にして、第３階層乃至第１階層の予測値がそれぞれ求められる。
【０１７６】
従って、図１９に示した受信装置４においては、各階層の予測値を得た後に、その階層の予測残差を加算することで、より元の画像に近い画素値を得た後に、それを用いて、上位階層の予測値が求められるので、各階層の復号画像として、それぞれの階層の元の画像とほぼ同一のものを得ることができる。
【０１７７】
さらに、最適補正データは、上述したようにそれにより順次予測を行うことで得られる第１階層の予測値と、第１階層の画像との誤差（ここでは、自乗誤差）を閾値ε以下とするものであり、従って、第１階層乃至第４階層の符号化データ（予測残差）の一部またはすべてが、何らかの理由で失われても、第５階層の符号化データ、即ち、最適補正データおよび第１階層乃至第４階層の予測係数により、解像度の高い復号画像を得ることが可能となる。
【０１７８】
また、例えば、受信側が、第５階層の符号化データ（最適補正データおよび第１階層乃至第４階層の予測係数）しか受信することができないものであっても、あるいは、第４および第５階層の符号化データ、第３乃至第５階層の符号化データ、または第２乃至第５階層の符号化データしか受信することができないものであっても、高解像度の復号画像を得ることが可能となる。
【０１７９】
ところで、上述の場合おいては、図９のローカルデコード部２２1乃至２２4において第１階層乃至第４階層の予測係数を求め、それぞれを用いて、第１階層乃至第４階層の予測値を算出するようにしたが、第１階層乃至第４階層の予測値は、いずれも、予測係数を求めずに（あらかじめ求めておいた予測係数を用いて）算出するようにすることが可能である。
【０１８０】
即ち、図２１は、送信装置１の第２実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してある。即ち、図２１の送信装置１は、最適補正データ算出回路１４に代えて最適補正データ算出回路１０１４が設けられている他は、基本的に、図２における場合と同様に構成されている。
【０１８１】
但し、図２においては、最適補正データ算出回路１４に、第１乃至第４階層の画像データすべてが供給されるようになされていたが、図２１の実施の形態では、最適補正データ算出回路１０１４には、第１乃至第４階層の画像データのうちの第１階層の画像データだけが供給されるようになっている。
【０１８２】
図２２は、図２１の最適補正データ算出回路１０１４の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してある。即ち、最適補正データ算出回路１０１４は、予測部２２に代えて予測部１０２２が設けられている他は、基本的に、図５の最適補正データ算出回路１４と同様に構成されている。
【０１８３】
但し、図５においては、予測部２２に、第１乃至第４階層の画像データが供給されるようになされていたが、図２２においては、予測部１０２２には、第１乃至第４階層の画像データのうちのいずれも供給されないようになっている。
【０１８４】
図２３は、図２２の予測部１０２２の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してある。即ち、予測部１０２２は、ローカルデコード部２２1乃至２２4に代えてローカルデコード部１０２２1乃至１０２２4がそれぞれ設けられている他は、基本的に、図９の予測部２２と同様に構成されている。
【０１８５】
但し、ここでは、上述したように予測係数が生成されないため、ローカルデコード部１０２２1乃至１０２２4それぞれには、第１乃至第４階層の画像データが供給されるようにはなっていない（供給する必要がないので、供給されない）。
【０１８６】
図２４は、図２３のローカルデコード部１０２２1乃至１０２２4の構成例を示している。なお、図中、図１０における場合と対応する部分については、同一の符号を付してある。即ち、図２４のローカルデコード部１０２２1乃至１０２２4は、適応処理回路４６に代えて、予測係数ＲＯＭ８８および予測回路８９が設けられている他は、図１０における場合と同様に構成されている。
【０１８７】
なお、ここでは、図１０における場合と同様に、ローカルデコード部１０２２4を例に説明をする。
【０１８８】
予測係数ＲＯＭ８８は、あらかじめ学習（後述する）により求められたクラスごとの予測係数を記憶しており、クラス分類回路４４が出力するクラス情報を受信し、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して（発生して）、予測回路８９に供給する。
【０１８９】
予測回路８９では、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックと、予測係数ＲＯＭ８８からの予測係数とを用いて、式（１）（具体的には、例えば、式（８））に示した線形１次式が計算され、これにより、元の画像の予測値が、３×３画素単位で算出される。
【０１９０】
従って、図２４のクラス分類適応処理回路４３によれば、各階層の元の画像を用いずに、その予測値が算出される。
【０１９１】
次に、図２５のフローチャートを参照して、図２４のローカルデコード部１０２２4の動作について、さらに説明する。
【０１９２】
ローカルデコード部１０２２4では、ステップＳ１０２１乃至Ｓ１０２３において、図１４のステップＳ２１乃至Ｓ２３における場合とそれぞれ同様の処理が行われる。これにより、予測値計算用ブロック化回路４２またはクラス分類回路４５から、予測値計算用ブロックまたはクラス情報がそれぞれ出力される。そして、予測値計算用ブロックは予測回路８９に、クラス情報は予測係数ＲＯＭ８８にそれぞれ供給される。
【０１９３】
予測係数ＲＯＭ８８は、クラス分類回路４５からクラス情報を受信すると、ステップＳ１０２４において、そのクラス情報に対応するアドレスに記憶されている２５×９の予測係数（ここでは、第４階層の予測係数）を読み出し、そのクラス情報に対応する予測係数を、予測回路８９に出力する。予測回路８９では、ステップＳ１０２５において、予測係数ＲＯＭ８８からの２５×９の予測係数と、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックとを用いて適応処理が行われることにより、即ち、具体的には、式（１）（または式（８））にしたがった演算が行われることにより、注目補正データ（ここでは、予測値計算用ブロックの中心にある画素）を中心とする３×３の原画像（ここでは、第４階層の画像）の画素の予測値が求められる。
【０１９４】
そして、例えば、１フレーム分の予測値が求められると、ステップＳ１０２６に進み、予測係数ＲＯＭ８８に記憶されたクラスごとの２５×９の予測係数が読み出され、メモリ２７（図２３）に供給されて記憶されるとともに、ステップＳ１０２５で求められた予測値がメモリ２６に供給されて記憶される。その後、ステップＳ１０２１に戻り、以下同様の処理が、例えば、１フレーム単位で繰り返される。
【０１９５】
ローカルデコード部１０２２1乃至１０２２3においても同様の処理が行われ、これにより、メモリ２６には、第１乃至第４階層の画像の予測値が、メモリ２７には、第１乃至第４階層のクラスごとの予測係数が、それぞれ記憶される（第１階層の予測値は、メモリ２６に供給されて記憶される他、上述したように、誤差算出部２３（図２２）にも供給される）。
【０１９６】
なお、この実施の形態では、クラスごとの予測係数は、予測係数ＲＯＭ８８に記憶されたものが使用され、従って、その値は変化しないから、ステップＳ１０２５において、クラスごとの予測係数を、メモリ２７に一度供給した後は、基本的に、再度供給する必要はない。
【０１９７】
また、送信装置１が図２１に示したように構成される場合においても、受信装置４は、図１９に示したように構成することで、高解像度の復号画像を得ることができる。
【０１９８】
次に、図２６は、図２４の予測係数ＲＯＭ８８に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。
【０１９９】
学習用ブロック化回路９１および教師用ブロック化回路９２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。なお、第ｎ階層の予測係数を得る場合には、学習用画像として、第ｎ階層の画像データが、学習用ブロック化回路９１および教師用ブロック化回路９２に供給される。
【０２００】
学習用ブロック化回路９１は、入力される画像データから、例えば、図１１に●印で示した位置関係の２５画素（５×５画素）を抽出し、この２５画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理９３および学習データメモリ９６に供給する。
【０２０１】
また、教師用ブロック化回路９２では、入力される画像データから、例えば、３×３の９画素で構成されるブロックが生成され、この９画素で構成されるブロックが、教師用ブロックとして、教師データメモリ９８に供給される。
【０２０２】
なお、学習用ブロック化回路９１において、例えば、図１１に●印で示した位置関係の２５画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路９２では、同図に四角形で囲んで示す３×３画素の教師用ブロックが生成されるようになされている。
【０２０３】
ＡＤＲＣ処理回路９３は、学習用ブロックを構成する２５画素から、その中心の９画素（３×３画素）を抽出し、この９画素でなるブロックに対して、図２１のＡＤＲＣ処理回路４４における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された、３×３画素のブロックは、クラス分類回路９４に供給される。クラス分類回路９４では、図２４のクラス分類回路４５における場合と同様に、ＡＤＲＣ処理回路９３からのブロックがクラス分類処理され、それにより得られるクラス情報が、スイッチ９５の端子ａを介して、学習データメモリ９６および教師データメモリ９８に供給される。
【０２０４】
学習データメモリ９６または教師データメモリ９８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路９１からの学習用ブロックまたは教師用ブロック化回路９２からの教師用ブロックが、それぞれ記憶される。
【０２０５】
従って、学習データメモリ９６において、例えば、図１１に●印で示した５×５画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ９８においては、そのアドレスと同一のアドレスに、同図において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。
【０２０６】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図２１のローカルデコード部２２4において、その学習用ブロックを構成する２５画素と同一の位置関係を有する２５の補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ９６と、教師用データメモリ９８とにおいて、同一のアドレスに記憶される。
【０２０７】
なお、学習用データメモリ９６と教師用データメモリ９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。
【０２０８】
学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ９６と教師データメモリ９８に記憶されると、端子ａを選択していたスイッチ９５が、端子ｂに切り替わり、これにより、カウンタ９７の出力が、アドレスとして、学習データメモリ９６および教師データメモリ９８に供給される。カウンタ９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ９６または教師データメモリ９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路９９に供給される。
【０２０９】
従って、演算回路９９には、カウンタ９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０２１０】
演算回路９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０２１１】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０２１２】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０２１３】
そこで、演算回路９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。以上の処理がクラスごとに行われることで、クラスごとの２５×９個の予測係数が算出される。
【０２１４】
演算回路９９において求められた、クラスごとの予測係数は、メモリ１００に供給される。メモリ１００には、演算回路９９からの予測係数の他、カウンタ９７からカウント値が供給されており、これにより、メモリ１００においては、演算回路９９からの予測係数が、カウンタ９７からのカウント値に対応するアドレスに記憶される。
【０２１５】
以上のようにして、メモリ１００には、各クラスに対応するアドレスに、上位階層（ここでは、例えば、第４階層）の画像の３×３画素を予測するのに最適な２５×９の予測係数（ここでは、例えば、第４階層の予測係数）が記憶される。
【０２１６】
図２４の予測係数ＲＯＭ８８には、以上のようにしてメモリ１００に記憶されたクラスごとの予測係数が記憶されている。
【０２１７】
次に、図２７は、図２１の最適補正データ算出回路１０１４の他の構成例を示している。なお、図中、図２２における場合と対応する部分については、同一の符号を付してある。即ち、図２７の最適補正データ算出回路１０１４は、予測部１０２２に代えて、予測部２０２２が設けられているとともに、多重化部２５が設けられていない他は、基本的に、図２２における場合と同様に構成されている。
【０２１８】
但し、図２７の実施の形態では、予測部２０２２から判定部２４に対して、予測係数が出力されないようになっている。
【０２１９】
次に、図２８のフローチャートを参照して、その動作について説明する。
【０２２０】
補正部２１に対して、第５階層の画像データが供給されると、補正部２１は、ステップＳ１００１において、最初は、補正を行わずに、そのまま第５階層の画像データを、予測部２２および判定部２４に出力する。予測部２０２２では、ステップＳ１００２において、補正部２１からの補正データ（最初は、上述したように、第５階層の画像データそのもの）がローカルデコードされる。即ち、ステップＳ１００２では、例えば、図２３に示した予測部１０２２における場合と同様にして、第１乃至第４階層の予測値が求められ、第１階層の予測値のみが、誤差算出部２３に供給される。
【０２２１】
誤差算出部２３は、予測部２０２２から、第１階層の予測値を受信すると、ステップＳ１００３において、図６のステップＳ３における場合と同様に、第１階層の画像データに対する、予測部２０２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ１００４において、図６のステップＳ４における場合と同様に、その誤差情報に基づいて、補正部２１が出力した補正データを、第１階層の画像の符号化結果とすることの適正さを判定する。
【０２２２】
即ち、ステップＳ１００４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ１００４において、誤差情報が所定の閾値ε以下でないと判定された場合、ステップＳ１００５に進み、判定部２４は、図６のステップＳ５における場合と同様に、補正部２１を制御し、これにより、第５階層の画像データを補正させる。補正部２１は、判定部２４の制御にしたがって、補正値△を変えて、第５階層の画像データを補正し、その結果得られる補正データを、予測部２０２２および判定部２４に出力する。そして、ステップＳ１００２に戻り、以下、同様の処理が繰り返される。
【０２２３】
一方、ステップＳ１００４において、誤差情報が所定の閾値ε以下であると判定された場合、ステップＳ１００６に進み、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データだけを、最適補正データ（第５階層の符号化データ）として、信号処理回路１３（図２１）に出力する。即ち、ここでは、第１乃至第４階層の予測係数が、予測部２０２２から判定部２４に対して供給されないようになっているため、判定部２４は、補正データだけを出力する。さらに、ステップＳ１００６では、判定部２４において、予測部２０２２が第１乃至第４階層の予測値を出力するように制御され、これにより、予測部２０２２から第１乃至第４階層の予測値が出力されて、処理を終了する。
【０２２４】
以上のように、この実施の形態では、第１乃至第４階層の予測係数は出力されない。
【０２２５】
次に、図２９は、図２７の予測部２０２２の構成例を示している。なお、図中、図２３の予測部１０２２における場合と対応する部分については、同一の符号を付してある。即ち、予測部２０２２は、ローカルデコード部１０２２1乃至１０２２4に代えてローカルデコード部２０２２1乃至２０２２4がそれぞれ設けられているとともに、メモリ２７が設けられていない他は、基本的に、図２３の予測部１０２２と同様に構成されている。また、予測部２０２２においては、メモリ２７が設けられていないことから、ローカルデコード部２０２２1乃至２０２２4は、図２３のローカルデコード部１０２２1乃至１０２２4のように、第１乃至第４階層の予測係数それぞれを出力しないようになっている。
【０２２６】
図３０は、図２９のローカルデコード部２０２２1乃至２０２２4の構成例を示している。なお、図中、図２４における場合と対応する部分については、同一の符号を付してある。即ち、図３０のローカルデコード部２０２２1乃至２０２２4は、基本的に、図２４のローカルデコード部１０２２1乃至１０２２4と同様に構成されている。但し、予測係数ＲＯＭ８８からは、予測係数が、予測回路８９以外には出力されないようになっている。
【０２２７】
なお、ここでも、図１０における場合と同様に、ローカルデコード部２０２２4を例に説明をする。
【０２２８】
次に、図３１のフローチャートを参照して、その動作について説明する。
【０２２９】
ローカルデコード部２０２２4では、ステップＳ２０２１乃至Ｓ２０２５において、図２５のステップＳ１０２１乃至１０２５における場合とそれぞれ同様の処理が行われる。そして、ステップＳ２０２６において、ステップＳ２０２５で求められた予測値（ここでは、第４階層の予測値）のみが、メモリ２６（図２９）に供給されて記憶される。その後は、ステップＳ２０２１に戻り、以下、同様の処理が、例えば、１フレーム単位で繰り返される。
【０２３０】
ローカルデコード部２０２２1乃至２０２２3においても、ローカルデコード部２０２２4における場合と同様の処理が行われ、これにより、メモリ２６（図２９）には、第１乃至第４階層の予測値が記憶される。
【０２３１】
次に、図３２は、図２１の最適補正データ算出回路１０１４が図２７に示したように構成される場合の図１の受信装置４の構成例を示している。なお、図中、図１９における場合と対応する部分については、同一の符号を付してある。即ち、図３２の受信装置４は、予測部７２1乃至７２4それぞれに代えて予測部１０７２1乃至１０７２4が設けられている他は、基本的に、図１９の受信装置４と同様に構成されている。但し、上述したことから、符号化データには、第１乃至第４階層の予測係数が含まれないため、信号処理回路７１から予測部１０７２1乃至１０７２4それぞれに対しては、第１乃至第４階層の予測係数は供給されないようになっている。
【０２３２】
次に、図３２の予測部１０７２1乃至１０７２4について、予測部１０７２4を例にして説明する。
【０２３３】
図３３は、予測部１０７２4の構成例を示している。なお、図中、図２０の予測部７２4における場合と対応する部分については、同一の符号を付してある。即ち、予測部１０７２4は、クラス分類回路８５と予測回路８６との間に予測係数ＲＯＭ８７が新たに設けられ、予測回路８６がメモリ８６Ａを内蔵していない他は、図２０の予測部７２4と基本的に同様に構成されている。
【０２３４】
上述したように、予測部１０７２4には、予測係数（第４階層の予測係数）は供給されない。即ち、予測部１０７２4には、最適補正データだけが供給される。この最適補正データは、図２０における場合と同様に、クラス分類用ブロック化回路８２および予測値計算用ブロック化回路８３に供給される。
【０２３５】
クラス分類用ブロック化回路８２、予測値計算用ブロック化回路８３，ＡＤＲＣ処理回路８４、またはクラス分類回路８５では、図２０における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路８３からは５×５画素の予測値計算用ブロックが出力され、また、クラス分類回路８５からはクラス情報が出力される。予測値計算用ブロックは予測回路８６に供給され、クラス情報は予測係数ＲＯＭ８７に供給される。
【０２３６】
予測係数ＲＯＭ８７には、図３０の予測係数ＲＯＭ８８に記憶されているクラスごとの予測係数と同一のものが記憶されており、クラス分類回路８５からクラス情報が供給されると、そのクラス情報に対応した２５×９の予測係数が読み出され、予測回路８６に供給される。
【０２３７】
予測回路８６は、予測係数ＲＯＭ８７からの２５×９の予測係数と、予測値計算用ブロック化回路８３から供給される５×５画素の予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって、原画像（ここでは、第４階層の画像）の３×３画素の予測値を算出し、そのような予測値で構成される１フレームの画像を、演算器７３4出力する。
【０２３８】
予測部１０７２1乃至１０７２3においても、予測部１０７２4における場合と同様の処理が行われ、これにより、第１乃至第３階層の予測値がそれぞれ出力される。
【０２３９】
図２１の最適補正データ算出回路１０１４が図２７に示したように構成され、かつ受信装置４が図３２に示したように構成される場合、第１乃至第４階層についてのクラスごとの２５×９の予測係数を送受信せずに済むので、その分だけ、伝送容量または記録容量を低減することができる。
【０２４０】
なお、予測係数ＲＯＭ８７（図３３）や８８（図２４、図３０）には、各クラスに対応するアドレスに、予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、図２４のローカルデコード部１０２２4や、図２０のローカルデコード部２０２２4においては、予測値計算用ブロック化回路４２および予測回路８９を設けずに済むようになる。また、図３３の予測部１０７２4においても、予測値計算用ブロック化回路８３および予測回路８６を設けずに済むようになる。
【０２４１】
ここで、以下、適宜、図１０で説明したように、予測係数を逐次求めて予測値を得る方式を逐次方式と、また、図２４や図３０で説明したように、予測係数を、あらかじめ予測係数ＲＯＭ８８に記憶させておき、これを用いて予測値を得る方式を、ＲＯＭ方式という。
【０２４２】
次に、図３４は、図１の送信装置１の第３実施の形態の構成例を示している。なお、図中、図２１における場合と対応する部分については、同一の符号を付してある。即ち、この送信装置１は、制御回路３０１が新たに設けられている他は、図２１における場合と同様に構成されている。また、図３４の実施の形態では、最適補正データ算出回路１０１４において、ＲＯＭ方式により予測値が求められるようになされている。但し、この実施の形態においても、予測値は、図２の送信装置１における場合と同様に、逐次方式により求めるようにすることが可能である。
【０２４３】
制御部３０１には、演算器１２1乃至１２4それぞれにおいて算出された第１階層乃至第４階層の予測残差（符号化データ）が供給されるようになされており、制御部３０１は、第１階層乃至第４階層の予測残差それぞれを、所定の閾値ε’と比較し、その閾値ε’以上の予測残差のみを、最終的な符号化データに含めるように、信号処理回路１３を制御するようになされている。
【０２４４】
以上のように構成される送信装置１では、図２における場合と同様にして、演算器１２1乃至１２4それぞれにおいて、第１階層乃至第４階層の予測残差（第１階層乃至第４階層の符号化データ）が算出され、信号処理回路１３および制御回路３０１に供給される。制御回路３０１は、第１階層乃至第４階層の予測残差を受信すると、図３５のフローチャートに示すように、ステップＳ３０１において、第１階層乃至第４階層の予測残差それぞれと、所定の閾値ε’とを比較し、その大小関係を判定する。
【０２４５】
ステップＳ３０１において、ある階層の予測残差が、所定の閾値ε’以上であると判定された場合、ステップＳ３０２に進み、制御回路３０１は、その階層を表す階層情報と、その予測残差とを、最終的な符号化データに含めるように、信号処理回路１３を制御し、処理を終了する。また、ステップＳ３０１において、ある階層の予測残差が、所定の閾値ε’より小さいと判定された場合、ステップＳ３０２をスキップして処理を終了する。
【０２４６】
制御回路３０１では、図３５のフローチャートにしたがった処理が、各階層について行われ、従って、これにより、信号処理回路１３から出力される最終的な符号化データには、第１階層乃至第４階層の予測残差のうち、所定の閾値ε’以上のものが含められる。
【０２４７】
所定の閾値ε’より小さい予測残差を用いて復号しても、その予測残差を用いずに復号を行った場合に比較して、復号画像の画質には、それほど影響がないと考えられる。従って、この場合、復号画像の画質をほとんど劣化させることなく、符号化データのデータ量を低減することが可能となる。
【０２４８】
次に、図３６は、図３４の送信装置１で得られた符号化データを復号化する受信装置４の構成例を示している。なお、図中、図３２における場合と対応する部分については、同一の符号を付してある。即ち、この受信装置４は、制御回路４０１が新たに設けられている他は、図３２における場合と同様に構成されている。また、この受信装置４においては、ＲＯＭ方式により、予測値が求められるようになされている（但し、逐次方式とすることも可能である）。
【０２４９】
制御回路４０１は、信号処理回路７１を制御することにより、符号化データに含まれる予測残差を、対応する演算器（演算器７３1乃至７３4のいずれか）に供給するようになされている。
【０２５０】
即ち、この場合、信号処理回路７１は、符号化データに、予測残差とともに含まれる階層情報を抽出し、制御回路４０１に供給する。制御回路４０１は、図３７のフローチャートに示すように、ステップＳ４０１において、信号処理回路７１から供給される階層情報を受信し、さらに、ステップＳ４０２において、その階層情報に基づいて、予測残差を、対応する演算器（演算器７３1乃至７３4のいずれか）に出力するように、信号処理回路７１を制御し、処理を終了する。
【０２５１】
従って、この場合、演算器７３1乃至７３4においては、予測残差が供給されたときには、その予測残差と予測値が加算され、その加算結果が、復号画像として出力される。また、予測残差が供給されなかったときには、予測値がそのまま復号画像として出力される。即ち、予測残差が閾値ε’以上の階層については、その予測残差と予測値とが加算され、いわば予測誤差が補正された復号画像が生成される。一方、予測残差が閾値ε’より小さい階層については、そのような小さな予測残差は無視され、予測値が、そのまま復号画像とされる。
【０２５２】
以上、本発明を適用した画像処理システムについて説明したが、このような画像処理システムは、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。
【０２５３】
なお、本実施の形態においては、１フレームの画像を対象にブロック化を行うようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素を集めて構成するようにすることも可能である。
【０２５４】
また、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。
【０２５５】
さらに、本実施の形態では、間引き回路１１1乃至１１4において、第１階層乃至第４階層の画像データを、単純に、横方向を１／３に、また、縦方向も１／３に間引くことにより、即ち、３×３（横×縦）のブロックから、その中心画素を抽出することにより、第２階層乃至第５階層の画像データを生成するようにしたが、第２階層乃至第５階層の画像データは、その他、例えば、３×３画素のブロックの平均値を算出し、その平均値を、３×３画素の中心の画素の画素値とすることで生成するようにすることなども可能である。
【０２５６】
また、本実施の形態では、補正部２１において、第５階層の画像データを、直接補正することにより、補正データを得るようにしたが、補正データは、例えば、次のようにして生成するようにすることも可能である。即ち、例えば、第４階層の画像データを、例えば、Ｎ画素で構成されるブロックに分割し、そのＮ画素に所定の係数を乗算して和をとる。そして、その値を、ブロックの代表値とし、そのような代表値で構成される画像を、第５階層の画像とすることができる。なお、この場合、補正部２１における補正は、例えば、上述の所定の係数を変化させることで行うことができる。
【０２５７】
さらに、本実施の形態では、画像を、５階層に符号化するようにしたが、階層数は、５に限定されるものではない。
【０２５８】
また、本実施の形態では、送信装置１において、第１階層の画像の予測値の予測誤差を、誤差情報として用いるようにしたが、その他、例えば、各階層の画像の予測値の予測誤差を求め、その総和値を、誤差情報として用いることが可能である。
【０２５９】
さらに、本実施の形態では、送信装置１において、第１階層の画像の予測値の予測誤差を閾値ε以下にする第５階層の画像の補正データを求めるようにしたが、隣接する上位と下位の階層間において、上位階層の画像の予測値の予測誤差を、所定値以下にする下位階層の画像の補正データを求めるようにしてもよい。
【０２６０】
また、例えば、図１４の実施の形態では、１フレーム単位で、正規方程式をたてて、クラスごとの予測係数を求めるようにしたが、予測係数の算出処理は、その他、例えば、１フィールド単位や複数フレーム単位で正規方程式をたてて行うようにすることも可能である。他の処理についても同様である。
【０２６１】
さらに、本発明は、ハードウェアによっても、あるいは、上述した処理を行うためのアプリケーションプログラムが記録されたハードディスク等の記録媒体から、そのアプリケーションプログラムを読み出して、コンピュータに実行させることによっても、実現可能である。
【０２６２】
【発明の効果】
請求項１に記載の画像符号化装置および請求項１３に記載の画像符号化方法によれば、第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成し、第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力し、補正データと所定の予測係数との積和演算によって、第１の階層の画像データの予測値が予測される。さらに、第１の階層の画像データに対する、その予測値の予測誤差が算出され、その予測誤差と所定の閾値が比較され、予測誤差が閾値より小さいときの補正データを適正なものとし、補正データの適正さが判定される。そして、補正データが適正と判定されたときにおける、第１の階層の画像データと、その予測値との差分値が演算され、適正と判定された補正データと、差分値とが、画像の符号化結果として出力される。一方、予測誤差が所定の閾値より小さくなく、補正データが適正ではないと判定された場合、補正データが適正であると判定されるまで、所定の補正値を予測誤差が小さくなるように変化させ、第２の階層の画像データに加算して補正し、補正データとして出力し、補正データを、その性質に応じて所定のクラスに分類し、クラスに対応した予測係数と補正データとの線形結合により、第１の階層の画像データの予測値を予測し、第１の階層の画像データに対する、その予測値の予測誤差を算出し、予測誤差と所定の閾値との比較に基づいて、補正データが適正であるか否かを判定する処理が繰り返される。従って、その補正データと差分値とから高解像度の復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理システムの一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の第１実施の形態の構成を示すブロック図である。
【図３】図２の間引き回路１１1乃至１１4の処理を説明するための図である。
【図４】図２の間引き回路１１1乃至１１4の処理を説明するための図である。
【図５】図２の最適補正データ算出回路１４の構成例を示すブロック図である。
【図６】図５の最適補正データ算出回路１４の処理を説明するためのフローチャートである。
【図７】図５の補正部２１の構成例を示すブロック図である。
【図８】図７の補正部２１の動作を説明するためのフローチャートである。
【図９】図５の予測部２２の構成例を示すブロック図である。
【図１０】図９のローカルデコード部２２1乃至２２4の構成例を示すブロック図である。
【図１１】図１０のクラス分類用ブロック化回路４１の処理を説明するための図である。
【図１２】クラス分類処理を説明するための図である。
【図１３】ＡＤＲＣ処理を説明するための図である。
【図１４】図１０のローカルデコード部２２1乃至２２4の動作を説明するためのフローチャートである。
【図１５】図５の誤差算出部２３の構成例を示すブロック図である。
【図１６】図１５の誤差算出部２３の動作を説明するためのフローチャートである。
【図１７】図５の判定部２４の構成例を示すブロック図である。
【図１８】図１７の判定部２４の動作を説明するためのフローチャートである。
【図１９】図１の受信装置４の第１実施の形態の構成を示すブロック図である。
【図２０】図１９の予測部７２1乃至７２4の構成例を示すブロック図である。
【図２１】図１の送信装置１の第２実施の形態の構成を示すブロック図である。
【図２２】図２１の最適補正データ算出回路１０１４の構成例を示すブロック図である。
【図２３】図２２の予測部１０２２の構成例を示すブロック図である。
【図２４】図２３のローカルデコード部１０２２4の構成例を示すブロック図である。
【図２５】図２４のローカルデコード部１０２２4の動作を説明するためのフローチャートである。
【図２６】図２４の予測係数ＲＯＭ８８に記憶されている予測係数を算出する画像処理装置の一実施の形態の構成を示すブロック図である。
【図２７】図２１の最適補正データ算出回路１０１４の他の構成例を示すブロック図である。
【図２８】図２７の最適補正データ算出回路１０１４の動作を説明するためのフローチャートである。
【図２９】図２７の予測部２０２２の構成例を示すブロック図である。
【図３０】図２９のローカルデコード部２０２２4の構成例を示すブロック図である。
【図３１】図３０のローカルデコード部２０２２4の動作を説明するためのフローチャートである。
【図３２】図１の受信装置４の第２実施の形態の構成例を示すブロック図である。
【図３３】図３２の予測部１０７２4の構成例を示すブロック図である。
【図３４】図１の送信装置１の第３実施の形態の構成を示すブロック図である。
【図３５】図３４の制御回路３０１の処理を説明するためのフローチャートである。
【図３６】図１の受信装置４の第３実施の形態の構成を示すブロック図である。
【図３７】図３６の制御回路４０１の処理を説明するためのフローチャートである。
【図３８】従来の階層符号化を行う画像符号化装置の一例の構成を示すブロック図である。
【図３９】従来の階層復号化を行う画像復号化装置の一例の構成を示すブロック図である。
【符号の説明】
１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１1乃至１１4 間引き回路， １２1乃至１２4 演算器， １３ 信号処理回路， １４ 最適補正データ算出回路， ２１ 補正部， ２２ 予測部， ２２1乃至２２4 ローカルデコード部， ２３ 誤差算出部， ２４ 判定部， ２５多重化部， ２６，２７ メモリ， ２８ 多重化器， ３２ 補正回路， ３３ 補正値ＲＯＭ， ４１ クラス分類用ブロック化回路， ４２ 予測値計算用ブロック化回路， ４３ クラス分類適応処理回路， ４４ ＡＤＲＣ処理回路， ４５ クラス分類回路， ４６ 適応処理回路， ５１ ブロック化回路， ５２ 自乗誤差算出回路， ５３，５４ 演算器， ５５ 積算部， ５６ メモリ， ６２ 補正データメモリ， ６３ 誤差情報メモリ， ６４ 比較回路， ６５ 制御回路， ７１ 信号処理回路， ７２1乃至７２4 予測部， ７３1乃至７３4 演算器， ８２ クラス分類用ブロック化回路， ８３ 予測値計算用ブロック化回路， ８４ ＡＤＲＣ処理回路， ８５ クラス分類回路， ８６ 予測回路， ８６Ａ メモリ， ８７，８８ 予測係数ＲＯＭ， ８９ 予測回路， ９１ 学習用ブロック化回路， ９２ 教師用ブロック化回路， ９３ ＡＤＲＣ処理回路， ９４ クラス分類回路， ９５ スイッチ， ９６ 学習データメモリ， ９７ カウンタ， ９８ 教師データメモリ， ９９ 演算回路， １００ メモリ， １４１ クラス分類用ブロック化回路， １４２ 予測値計算用ブロック化回路， １４３ クラス分類適応処理回路， １４４ ＡＤＲＣ処理回路， １４５ クラス分類回路， １４６ 予測係数ＲＯＭ， １４７ 予測回路， ３０１，４０１ 制御回路， １０１４ 最適補正データ算出回路， １０２２ 予測部， １０２２1乃至１０２２4 ローカルデコード部， １０７２1乃至１０７２4，２０２２ 予測部， ２０２２1乃至２０２２4 ローカルデコード部
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、並びに伝送方法に関する。特に、例えば、画像を、画素数の異なる複数の階層に分割する階層符号化を行う画像符号化装置および画像符号化方法、並びに伝送方法に関する。
【０００２】
【従来の技術】
元の画像（原画像）を、第１階層（最上位階層）の画像として、その画素数を順次少なくした（解像度を順次低くした）第２階層の画像、第３階層の画像、・・・を形成する符号化（以下、適宜、階層符号化という）方式が提案されている。
【０００３】
階層符号化によれば、複数の階層の画像を、送信側から受信側に送信し、受信側では、その複数の階層の画像それぞれに対応してモニタにより、各階層の画像を表示することができる。
【０００４】
さらに、階層符号化においては、例えば、最下位階層の画像（最も画素数の少ない画像）についてのデータには、他の階層の画像よりも強力な誤り訂正処理などが施されるようになされており、これにより、最下位階層以外の階層の画像について訂正することができない誤りが生じた場合に、最悪でも、最下位階層の画像についてのデータだけは、受信側において、正常なものを得ることができるようになされている。その結果、受信側では、最下位階層の画像についてのデータから、より上位階層の画像を、例えば補間処理などにより得ることができ、従って、階層符号化によれば、誤りに対するロバスト性を向上させることができる。
【０００５】
図３８は、以上のような階層符号化を行う、従来の画像符号化装置の一例の構成を示している。符号化すべき画像データは、第１階層（最上位階層）のデータとして、間引き回路１１1および演算器１２1に供給されるようになされている。
【０００６】
間引き回路１１1では、第１階層の画像データの画素数が間引かれることにより、１つ下位の第２階層の画像データが形成され、間引き回路１１2、演算回路１２2、および補間回路５０１1に供給される。補間回路５０１1では、第２階層の画像データに対して補間処理が施されることにより、１つ上位の第１階層の画像データと同一の画素数の画像データ（以下、適宜、第１階層の補間データという）が形成され、演算器１２1に供給される。演算器１２1では、第１階層の画像データから、第１階層の補間データが減算され、その結果得られる差分値が、第１階層の符号化データとして、信号処理回路５０２に出力される。
【０００７】
間引き回路１１2、演算器１２2、および補間回路５０１2と、間引き回路１１3、演算器１２3、および補間回路５０１3と、間引き回路１１4、演算器１２4、および補間回路５０１4においても、間引き回路１１1、演算器１２1、および補間回路５０１1における場合と同様の処理が行われ、これにより、第２階層乃至第４階層の符号化データがそれぞれ生成され、演算器１２2乃至１２4から信号処理回路５０２に出力される。
【０００８】
また、間引き回路１１4において形成された第５階層（最下位階層）の画像データは、そのまま、第５階層の符号化データとして、信号処理回路５０２に出力される。
【０００９】
信号処理回路５０２では、第１階層乃至第５階層の符号化データに対して、例えば誤り訂正処理その他の必要な信号処理が施され、その後、多重化されて、最終的な符号化データとして出力される。なお、信号処理回路５０２においては、第５階層の符号化データに対しては、他の階層の符号化データより強力な誤り訂正が施されるようになされている。
【００１０】
図３９は、図３８の画像符号化装置から出力される符号化データを階層復号化する画像復号化装置の一例の構成を示している。
【００１１】
信号処理回路６０２においては、符号化データが、第１階層乃至第５階層の符号化データに分離され、さらに、誤り訂正処理その他必要な処理が施されて出力される。第１階層乃至第４階層の符号化データは、演算器７３1乃至７３4にそれぞれ供給され、第５階層の符号化データは、第５階層の復号画像としてそのまま出力されるとともに、補間回路６０１4に供給される。
【００１２】
補間回路６０１4は、図３８の補間回路５０１4に対応するもので、第５階層の符号化データに対して補間処理を施すことにより、１つ上位の第４階層の画像データと同一の画素数の画像データ、即ち、第４階層の補間データを生成し、演算器７３4に供給する。演算器７３4では、第４階層の符号化データ（第４階層の画像データと、第４階層の補間データとの差分値）と、補間回路６０１4からの第４階層の補間データとが加算される。この加算結果は、第４階層の復号画像として出力されるとともに、補間回路６０１3に供給される。
【００１３】
演算器７３3および補間回路６０１3と、演算器７３2および補間回路６０１2と、演算器７３1および補間回路６０１1においても、演算器７３4および補間回路６０１４4における場合と同様の処理が行われ、これにより、第３階層乃至第１階層の復号画像がそれぞれ生成され、演算器７３3乃至７３1から出力される。
【００１４】
ここで、受信側においては、第１階層乃至第４階層の符号化データが何らかの原因で得ることができない場合がある。即ち、例えば、第１階層乃至第４階層の符号化データがエラーによって失われたり、また、受信側が、第５階層の符号化データしか受信することができないものである場合がある。そのような場合であっても、最下位階層、即ち、第５階層の符号化データさえ得ることができれば、その第５階層の符号化データだけを用いて補間を行うことで、各階層の復号画像を得ることが可能である。
【００１５】
【発明が解決しようとする課題】
しかしながら、最下位階層の符号化データだけから、補間によって得られる上位階層の復号画像は、解像度が劣化した、その画質が著しく劣化したものとなる。
【００１６】
ここで、このように復号画像の解像度が劣化する原因として、第１に、間引きされた下位階層の画像には、上位階層の画像に含まれる高周波数成分が含まれていないことと、第２に、間引きを行うことにより得られる下位階層の画像を構成する画素の画素値が、上位階層の画像を復元するのに、必ずしも適当でないことが考えられる。
【００１７】
本発明は、このような状況に鑑みてなされたものであり、最下位階層の符号化データだけからでも、高画質の復号画像を得ることができるようにするものである。
【００１８】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成する形成手段と、第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力する補正手段と、補正データと所定の予測係数との積和演算によって、第１の階層の画像データの予測値を予測する予測手段と、第１の階層の画像データに対する、その予測値の予測誤差を算出する算出手段と、第１の階層についての予測誤差と所定の閾値を比較し、予測誤差が閾値より小さいときの補正データを適正なものとして、補正手段が出力する補正データの適正さを判定する判定手段と、判定手段により補正データが適正と判定されたときにおける、第１の階層の画像データと、その予測値との差分値を演算する演算手段と、判定手段により適正と判定された補正データと、差分値とを、画像の符号化結果として出力する出力手段とを備え、予測誤差が所定の閾値より小さくなく、判定手段により、補正データが適正ではないと判定された場合、補正データが適正であると判定されるまで、所定の補正値を予測誤差が小さくなるように変化させ、補正手段、予測手段、算出手段、および判定手段の処理を繰り返すことを特徴とする。
【００１９】
請求項１３に記載の画像符号化方法は、第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成し、第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力し、補正データと所定の予測係数との積和演算によって、第１の階層の画像データの予測値を予測し、第１の階層の画像データに対する、その予測値の予測誤差を算出し、第１の階層についての予測誤差と所定の閾値を比較し、予測誤差が閾値より小さいときの補正データを適正なものとして、補正データの適正さを判定し、補正データが適正と判定されたときにおける、第１の階層の画像データと、その予測値との差分値を演算し、適正と判定された補正データと、差分値とを、画像の符号化結果として出力し、予測誤差が所定の閾値より小さくなく、補正データが適正ではないと判定された場合、補正データが適正であると判定されるまで、所定の補正値を予測誤差が小さくなるように変化させ、第２の階層の画像データに加算して補正し、補正データとして出力し、補正データを、その性質に応じて所定のクラスに分類し、クラスに対応した予測係数と補正データとの線形結合により、第１の階層の画像データの予測値を予測し、第１の階層の画像データに対する、その予測値の予測誤差を算出し、予測誤差と所定の閾値との比較に基づいて、補正データが適正であるか否かを判定する処理を繰り返すことを特徴とする。
【００２１】
請求項１に記載の画像符号化装置においては、形成手段は、第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成し、補正手段は、第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力し、予測手段は、補正データと所定の予測係数との積和演算によって、第１の階層の画像データの予測値を予測するようになされている。算出手段は、第１の階層の画像データに対する、その予測値の予測誤差を算出し、判定手段は、第１の階層についての予測誤差と所定の閾値を比較し、予測誤差が閾値より小さいときの補正データを適正なものとして、補正手段が出力する補正データの適正さを判定するようになされている。演算手段は、判定手段により補正データが適正と判定されたときにおける、第１の階層の画像データと、その予測値との差分値を演算し、出力手段は、判定手段により適正と判定された補正データと、差分値とを、画像の符号化結果として出力するようになされている。そして、予測誤差が所定の閾値より小さくなく、判定手段により、補正データが適正ではないと判定された場合、補正データが適正であると判定されるまで、所定の補正値を予測誤差が小さくなるように変化させ、補正手段、予測手段、算出手段、および判定手段の処理を繰り返すようになされている。
【００２２】
請求項１３に記載の画像符号化方法においては、第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成し、第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力し、補正データと所定の予測係数との積和演算によって、第１の階層の画像データの予測値を予測し、第１の階層の画像データに対する、その予測値の予測誤差を算出し、第１の階層についての予測誤差と所定の閾値を比較し、予測誤差が閾値より小さいときの補正データを適正なものとして、補正データの適正さを判定し、補正データが適正と判定されたときにおける、第１の階層の画像データと、その予測値との差分値を演算し、適正と判定された補正データと、差分値とを、画像の符号化結果として出力し、予測誤差が所定の閾値より小さくなく、補正データが適正ではないと判定された場合、補正データが適正であると判定されるまで、所定の補正値を予測誤差が小さくなるように変化させ、第２の階層の画像データに加算して補正し、補正データとして出力し、補正データを、その性質に応じて所定のクラスに分類し、クラスに対応した予測係数と補正データとの線形結合により、第１の階層の画像データの予測値を予測し、第１の階層の画像データに対する、その予測値の予測誤差を算出し、予測誤差と所定の閾値との比較に基づいて、補正データが適正であるか否かを判定する処理を繰り返すようになされている。
【００３９】
【発明の実施の形態】
図１は、本発明を適用した画像処理システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成を示している。
【００４０】
送信装置１には、ディジタル化された画像データが供給されるようになされている。送信装置１は、入力された画像データを階層符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。
【００４１】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが伸張、復号化される。そして、その結果得られる復号画像が、図示せぬディスプレイに供給されて表示される。
【００４２】
なお、以上のような画像処理システムは、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、送信装置１が出力する符号化データのデータ量は少ないため、図１の画像処理システムは、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００４３】
図２は、送信装置１の構成例を示している。なお、図中、図３８における場合と対応する部分については、同一の符号を付してある。
【００４４】
符号化すべきディジタル画像データ、即ち、第１階層の画像データは、間引き回路１１1および演算器１２1に供給される。間引き回路１１1では、第１階層の画像データの画素数が間引かれることにより、１つ下位の第２階層の画像データが形成される。即ち、間引き回路１１1では、例えば、図３に示すように、第１階層の画像データ（同図において、○印で示す部分）が１／９に単純に間引かれ（横方向および縦方向とも１／３に間引かれ）、これにより第２階層の画像データ（同図において△印で示す部分）が形成される。この第２階層の画像データは、間引き回路１１2に供給される。
【００４５】
間引き回路１１2では、第２階層の画像データの画素数が間引かれることにより、さらに１つ下位の第３階層の画像データが形成される。即ち、間引き回路１１2では、例えば、間引き回路１１1における場合と同様に、第２階層の画像データが１／９に単純に間引かれ、これにより、図３において×印で示す第３階層の画像データが形成される。
【００４６】
第３階層の画像データは、間引き回路１１3に供給され、また、間引き回路１１3の出力は、間引き回路１１4に供給されるようになされており、間引き回路１１3または１１4では、例えば、間引き回路１１1における場合と同様の処理が行われることで、第４階層または第５階層の画像データがそれぞれ形成される。
【００４７】
以上のようにして、間引き回路１１1乃至間引き回路１１4では、図４に示すように、第１階層の画像データ（原画像）から、第２階層乃至第５階層の画像データが順次形成される。
【００４８】
第１階層乃至第５階層の画像データは、最適補正データ算出回路１４に供給されるようになされており、最適補正データ算出回路１４では、第１階層乃至第４階層の画像データの予測値が予測される。この第１階層乃至第４階層の予測値は、演算器１２1乃至１２4にそれぞれ供給される。また、最適補正データ算出回路１４は、第５階層の画像についての、後述するような最適補正データを算出し、第５階層の符号化データとして信号処理回路１３に供給する。
【００４９】
演算器１２1乃至１２4には、第１階層乃至第４階層の予測値の他、第１階層乃至第４階層の画像データもそれぞれ供給されるようになされている。演算器１２1乃至１２4では、第１階層乃至第４階層の予測値それぞれと、第１階層乃至第４階層の画像データそれぞれとの差分値、即ち、予測残差が演算される。この第１階層乃至第４階層についての差分値（予測残差）それぞれは、第１階層乃至第４階層の符号化データとして、信号処理回路１３に供給される。
【００５０】
信号処理回路１３では、第１階層乃至第５階層の符号化データに対して、例えば誤り訂正処理その他の必要な信号処理が施され、その後、多重化されて、最終的な符号化データとして出力される。なお、信号処理回路１３においては、最下位階層である第５階層の符号化データに対しては、他の階層の符号化データより強力な誤り訂正が施されるようになされている。
【００５１】
以上のようにして信号処理回路１３から出力された符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００５２】
なお、以上においては、間引き回路１１1乃至１１4において、同一の割合で間引きが行われるものとしたが、間引き回路１１1乃至１１4で行われる間引きの割合は、同一である必要はない。
【００５３】
次に、図５は、図２の最適補正データ算出回路１４の構成例を示している。
【００５４】
間引き回路１１4からの第５階層の画像データは、補正部２１に供給されるようになされており、また、第１階層乃至第４階層の画像データは、予測部２２に供給されるようになされている。さらに、第１階層の画像データは、誤差算出部２３にも供給されるようになされている。
【００５５】
補正部２１は、第５階層の画像データを、判定部２４からの制御にしたがって補正するようになされている。補正部２１における補正の結果得られる補正データは、予測部２２および判定部２４に供給するようになされている。
【００５６】
予測部２２は、補正部２１からの補正データ、即ち、第５階層の画像データの補正結果に基づいて、その１つ上位の第４階層の予測値を予測するようになされている。さらに、予測部２２は、第４階層の予測値から、さらに１つ上位の第３階層の予測値を予測し、以下、同様にして、第２階層、第１階層の予測値を予測するようになされている。第１階層乃至第４階層の予測値は、上述したように、演算器１２1乃至１２4にそれぞれ供給されるようになされている。さらに、第１階層の予測値（原画像の予測値）は、誤差算出部２３にも供給されるようになされている。
【００５７】
なお、予測部２２は、後述するように、補正データとの線形結合により、第４階層の予測値を算出するためのクラスごとの予測係数を求める処理を行い、そのクラスごとの予測係数に基づいて、第４階層の予測値を求めるようになされており、このとき得られたクラスごとの予測係数は、判定部２４に供給されるようになされている。第３階層乃至第１階層についても同様で、それらのクラスごとの予測値を求めるのに用いられた予測係数は、判定部２４に供給されるようになされている。
【００５８】
誤差算出部２３は、そこに入力される、第１階層の画像データ（原画像）に対する、予測部２２からの第１階層の予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部２４に供給されるようになされている。
【００５９】
判定部２４は、誤差算出部２３からの誤差情報に基づいて、補正部２１が出力した補正データを、元の画像（第１階層の画像）の符号化結果とすることの適正さを判定するようになされている。そして、判定部２４は、補正部２１が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、補正部２１を制御し、さらに、第５階層の画像データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部２４は、補正部２１が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、補正部２１から供給された補正データを、最適な補正データ（以下、適宜、最適補正データという）として多重化部２５に供給するとともに、予測部２２から供給された、第１乃至第４階層の予測値を求めるために用いられたクラスごとの予測係数それぞれを多重化部２５に供給するようになされている。
【００６０】
多重化部２５は、判定部２４からの最適補正データと、クラスごとの予測係数（正確には、後述するように、第１階層乃至第４階層のクラスごとの予測係数の集合）とを多重化し、その多重化結果を、第５階層の符号化データとして出力するようになされている。
【００６１】
次に、図６のフローチャートを参照して、その動作について説明する。補正部２１に対して、第５階層の画像データが供給されると、補正部２１は、ステップＳ１において、最初は、補正を行わずに、そのまま第５階層の画像データを、予測部２２および判定部２４に出力する。予測部２２では、ステップＳ２において、補正部２１からの補正データ（最初は、上述したように、第５階層の画像データそのもの）がローカルデコードされる。
【００６２】
即ち、ステップＳ２では、補正部２１からの補正データとの線形結合により、１つ上位の第４階層の予測値を算出するためのクラスごとの予測係数を求める処理が、補正データと第４階層の画像データを用いて行われ、そのクラスごとの予測係数に基づいて、第４階層の予測値が求められる。さらに、その第４階層の予測値に基づき、同様の処理が、第３階層の画像データを用いて行われることで、第３階層の予測値を算出するためのクラスごとの予測係数が求められ、そのクラスごとの予測係数に基づいて、第３階層の予測値が求められる。以下、同様にして、第２階層および第１階層のクラスごとの予測係数と予測値が求められる。そして、この時点では、第１階層の予測値のみが、誤差算出部２３に供給される。
【００６３】
誤差算出部２３は、予測部２２から、第１階層の予測値を受信すると、ステップＳ３において、第１階層の画像データに対する、予測部２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、補正部２１が出力した補正データを、第１階層の画像の符号化結果とすることの適正さを判定する。
【００６４】
即ち、ステップＳ４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、補正部２１が出力した補正データを、第５階層の画像の符号化データとするのは適正でないと認識され、ステップＳ５に進み、判定部２４は、補正部２１を制御し、これにより、第５階層の画像データを補正させる。補正部２１は、判定部２４の制御にしたがって、補正量（後述する補正値△）を変えて、第５階層の画像データを補正し、その結果得られる補正データを、予測部２２および判定部２４に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【００６５】
一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、補正部２１が出力した補正データを、第５階層の画像の符号化データとするのは適正であると認識され、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適補正データとして、第１乃至第４階層の予測係数とともに、多重化部２５に出力する。多重化部２５では、ステップＳ６において、判定部２４からの最適補正データと第１乃至第４階層の予測係数とが多重化され、その多重化結果が、第５階層の符号化データとして出力される。さらに、ステップＳ６では、判定部２４において、予測部２２が第１乃至第４階層の予測値を出力するように制御され、これにより、予測部２２から演算器１２1乃至１２4それぞれに対して、第１乃至第４階層の予測値が出力されて、処理を終了する。
【００６６】
以上のように、誤差情報が所定の閾値ε以下となったときにおける、第５階層の画像データを補正した補正データを、画像の符号化結果とするようにしたので、受信装置４側においては、その補正データ（最適補正データ）に基づいて、元の画像（第１階層の画像）とほぼ同一の画像を得ることが可能となる。
【００６７】
次に、図７は、図５の補正部２１の構成例を示している。
【００６８】
第５階層の画像データは、補正回路３２に供給されるようになされており、補正回路３２は、判定部２４（図５）からの制御信号にしたがって、補正値ＲＯＭ３３にアドレスを与え、これにより、補正値△を読み出すようになされている。そして、補正回路３２は、第５階層の画像データに対して、補正値ＲＯＭ３３からの補正値△を、例えば加算することで、補正データを生成し、予測部２２および判定部２４に供給するようになされている。補正値ＲＯＭ３３は、第５階層の画像データを補正するための、各種の補正値△の組合せ（例えば、１フレーム分の第５階層の画像データを補正するための補正値の組合せなど）を記憶しており、補正回路３２から供給されるアドレスに対応する補正値△の組合せを読み出して、補正回路３２に供給するようになされている。
【００６９】
次に、図８を参照して、図７の補正部２１の処理について説明する。
【００７０】
例えば、１フレーム分などの第５階層の画像データが、補正回路３２に供給されると、補正回路３２は、ステップＳ１１において、その第５階層の画像データを受信し、ステップＳ１２において、判定部２４（図５）から制御信号を受信したかどうかを判定する。ステップＳ１２において、制御信号を受信していないと判定された場合、ステップＳ１３およびＳ１４をスキップして、ステップＳ１５に進み、補正回路３２は、第５階層の画像データを、そのまま補正データとして、予測部２２および判定部２４に出力し、ステップＳ１２に戻る。
【００７１】
即ち、判定部２４は、上述したように、誤差情報に基づいて、補正部２１（補正回路３２）を制御するようになされており、補正回路３２において第５階層の画像データが受信された直後は、まだ、誤差情報が得られないため（誤差情報が、誤差算出部２３から出力されないため）、判定部２４からは制御信号は出力されない。このため、第５階層の画像データを受信した直後は、補正回路３２は、その第５階層の画像データを補正せず（０を加算する補正をして）、そのまま補正データとして、予測部２２および判定部２４に出力する。
【００７２】
一方、ステップＳ１２において、判定部２４からの制御信号を受信したと判定された場合、ステップＳ１３において、補正回路３２は、その制御信号にしたがったアドレスを、補正値ＲＯＭ３３に出力する。これにより、ステップＳ１３では、補正値ＲＯＭ３３から、そのアドレスに記憶されている、１フレーム分の第５階層の画像データを補正するための補正値△の組合せ（集合）が読み出され、補正回路３２に供給される。補正回路３２は、補正値ＲＯＭ３３から補正値△の組合せを受信すると、ステップＳ１４において、１フレームの第５階層の画像データそれぞれに、対応する補正値△を加算し、これにより、第５階層の画像データを補正した補正データを算出する。その後は、ステップＳ１５に進み、補正データが、補正回路３２から、予測部２２および判定部２４に出力され、ステップＳ１２に戻る。
【００７３】
以上のようにして、補正部２１は、判定部２４の制御にしたがって、第５階層の画像データを、種々の値に補正した補正データを出力することを繰り返す。
【００７４】
なお、判定部２４は、１フレームの画像についての符号化を終了すると、その旨を表す制御信号を、補正部２１に供給するようになされており、補正部２１では、ステップＳ１２において、その制御信号を受信したかどうかの判定も行われるようになされている。ステップＳ１２において、１フレームの画像についての符号化を終了した旨の制御信号を受信したと判定された場合、ステップＳ１１に戻り、次のフレームのデータが供給されるのを待って、ステップＳ１１からの処理が繰り返される。
【００７５】
次に、図９は、図５の予測部２２の構成例を示している。
【００７６】
ローカルデコード部２２4には、第５階層の画像データを補正した補正データと第４階層の画像データとが供給されるようになされており、ローカルデコード部２２4では、それらのデータを用いて、第４階層の画像のクラスごとの予測係数が求められ、さらに、そのクラスごとの予測係数を用いて、第４階層の画像の予測値が求められる。そして、第４階層の予測値は、ローカルデコード部２２3およびメモリ２６に供給され、また、第４階層のクラスごとの予測係数は、メモリ２７に供給される。メモリ２６または２７では、第４階層の予測値またはクラスごとの予測係数がそれぞれ記憶される。
【００７７】
ローカルデコード部２２3には、ローカルデコード部２２4から第４階層の予測値が供給される他、第３階層の画像データが供給されるようになされており、そこでは、それらのデータを用いて、第３階層の画像のクラスごとの予測係数が求められ、さらに、そのクラスごとの予測係数を用いて、第３階層の予測値が求められる。そして、第３階層の予測値は、ローカルデコード部２２2およびメモリ２６に供給され、また、第３階層のクラスごとの予測係数は、メモリ２７に供給される。メモリ２６または２７では、第３階層の予測値またはクラスごとの予測係数がそれぞれ記憶される。
【００７８】
ローカルデコード部２２2と２２1においても、同様の処理が行われ、これにより、第２階層の予測値およびクラスごとの予測係数と、第１階層の予測値およびクラスごとの予測係数が求められる。そして、第２階層および第１階層の予測値は、メモリ２６に供給されて記憶され、また、第２階層および第１階層のクラスごとの予測係数は、メモリ２７に供給されて記憶される。さらに、第１階層の予測値は、誤差算出部２３（図５）にも供給される。
【００７９】
ここで、メモリ２６および２７は、各階層についてのデータを独立した領域に記憶するようになされている。また、メモリ２６および２７は、既にデータを記憶している領域に、新たにデータが供給されると、その新たなデータを、既にデータが記憶されている領域に上書きするようになされている。従って、メモリ２６と２７には、常に、最新の各階層の予測値とクラスごとの予測係数が記憶されるようになされている。
【００８０】
メモリ２６に記憶された第４階層乃至第１階層の予測値は、判定部２４（図５）からの制御信号にしたがって読み出され、演算器１２4乃至１２1にそれぞれ供給される。また、メモリ２７に記憶された第４乃至第１階層のクラスごとの予測係数も、判定部２４からの制御信号にしたがって読み出され、多重化器（ＭＵＸ）２８に供給される。多重化器２８では、第１階層乃至第４階層のクラスごとの予測係数が多重化され、判定部２４に供給される。
【００８１】
次に、図９のローカルデコード部２２1乃至２２4の構成について、ローカルデコード部２２4を例にして説明する。
【００８２】
図１０は、図９のローカルデコード部２２4の構成例を示している。
【００８３】
補正部２１からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、注目している補正データ（注目補正データ）を中心とするクラス分類用ブロックにブロック化するようになされている。
【００８４】
即ち、いま、例えば、図１１において、○印で示す画素が第４階層の画像を構成するものとするとともに、●印で示す画素が第５階層の画像（補正データ）を構成するものとして、上からｉ番目で、左からｊ番目の補正データ（または画素）をＸijと表すとすると、クラス分類用ブロック化回路４１は、注目画素（注目補正データ）Ｘijの左上、上、右上、左、右、左下、下、右下に隣接する８つの画素Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラス分類用ブロックを構成するようになされている。このクラス分類用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００８５】
なお、この場合、クラス分類用ブロックは、３×３画素（３×３の補正データ）でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。
【００８６】
予測値計算用ブロック化回路４２は、補正データを、第４階層の画像の予測値を計算するための単位である、注目補正データを中心とする予測値計算用ブロックにブロック化するようになされている。即ち、いま、図１１において、補正データＸij（図中、●印で示す部分）を中心とする、第４階層の画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すとすると、画素Ｙij（１）乃至Ｙij（９）の予測値の計算のために、予測値計算用ブロック化回路４２は、例えば、画素Ｘijを中心とする５×５の２５画素（２５の補正データ）Ｘ(i-2)(j-2)，Ｘ(i-2)(j-1)，Ｘ(i-2)j，Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，Ｘ(i-1)(j-2)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi(j-2)，Ｘi(j-1)，Ｘij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j-2)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)，Ｘ(i+1)(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，Ｘ(i+2)j，Ｘ(i+2)(j+1)，Ｘ(i+2)(j+2)で構成される正方形状の予測値計算用ブロック（画素Ｘijを注目補正データとする予測値計算用ブロック）を構成するようになされている。
【００８７】
具体的には、例えば、図１１において四角形で囲む、第４階層の画像における画素Ｙ33（１）乃至Ｙ33（９）の予測値の計算のためには、補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55により、予測値計算用ブロックが構成される。
【００８８】
予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。
【００８９】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【００９０】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【００９１】
クラス分類適応処理回路４３は、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路、クラス分類回路４５、および適応処理回路４６で構成され、クラス分類適応処理を行うようになされている。
【００９２】
クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスごとの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【００９３】
ここで、クラス分類処理および適応処理について簡単に説明する。
【００９４】
まず、クラス分類処理について説明する。
【００９５】
いま、例えば、図１２（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図１２（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。このようなパターン分けが、クラス分類処理であり、クラス分類回路４５において行われる。
【００９６】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【００９７】
ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、注目画素を中心とする３×３の９画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【００９８】
そこで、本実施の形態においては、ＡＤＲＣ処理回路４４において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を小さくすることで、クラス数を削減するようになされている。
【００９９】
即ち、例えば、いま、説明を簡単にするため、図１３（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【０１００】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図１３（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【０１０１】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【０１０２】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【０１０３】
ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理回路４４において行われるようになされている。
【０１０４】
なお、本実施の形態では、クラス分類回路４５において、ＡＤＲＣ処理回路４４から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【０１０５】
次に、適応処理について説明する。
【０１０６】
例えば、いま、第４階層の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（本実施の形態では、補正データ）（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１０７】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
【０１０９】
そして、この観測方程式に最小自乗法を適用して、第４階層の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、第４階層の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および第４階層の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【０１１１】
この場合、第４階層の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための第４階層の予測係数ｗiは、自乗誤差
【数３】
【０１１３】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１１４】
【数４】
そこで、まず、式（３）を、第４階層の予測係数ｗiで微分することにより、次式が成立する。
【０１１６】
【数５】
式（４）および（５）より、式（６）が得られる。
【０１１８】
【数６】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１２０】
【数７】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１２２】
以上のようにして、最適な第４階層のクラスごとの予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、第４階層の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、適応処理回路４６において行われるようになされている。
【０１２３】
なお、適応処理は、間引かれた画像（ここでは、第５階層の画像）には含まれていない、元の画像（ここでは、第４階層の画像）に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１２４】
次に、図１４のフローチャートを参照して、図１０のローカルデコード部２２4の処理について説明する。
【０１２５】
ローカルデコード部２２4においては、まず最初に、ステップＳ２１において、補正部２１からの補正データがブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、注目補正データを中心とする３×３画素のクラス分類用ブロックにブロック化され、クラス分類適応処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが、注目補正データを中心とする５×５画素の予測値計算用ブロックにブロック化され、クラス分類適応処理回路４３に供給される。
【０１２６】
クラス分類適応処理回路４３には、上述したように、クラス分類用ブロックおよび予測値計算用ブロックの他、第４階層の画像データが供給されるようになされており、クラス分類用ブロックはＡＤＲＣ処理部４４に、予測値計算用ブロックおよび第４階層の画像データは適応処理回路４６に供給されるようになされている。
【０１２７】
ＡＤＲＣ処理回路４４は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路４５に出力する。クラス分類回路４５は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施す。即ち、クラス分類回路４５は、クラス分類用ブロックを構成する画素のレベル分布の状態を検出し、そのクラス分類用ブロック（そのクラス分類用ブロックを構成する注目補正データ）が属するクラスを判定する。このクラスの判定結果は、クラス情報として、適応処理回路４６に供給される。
【０１２８】
なお、本実施の形態においては、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【０１２９】
そして、ステップＳ２４に進み、適応処理回路４６において、クラス分類回路４５からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、例えば、第４階層のクラスごとの予測係数および１フレーム分の予測値が算出される。
【０１３０】
即ち、本実施の形態においては、クラスごとの２５×９の第４階層の予測係数が、１フレームごとに、第４階層の画像データと補正データとを用いて算出される。さらに、ある１つの補正データに注目した場合に、その注目補正データに対応する原画像（ここでは、第４階層の画像）の画素と、その画素の周りに隣接する８個の原画像の画素の、合計９個の画素についての原画像の予測値が、注目補正データを中心とするクラス分類用ブロックのクラス情報に対応する２５×９個の予測係数と、注目補正データを中心とする５×５画素でなる予測値計算用ブロックとを用いて、適応処理が行われることにより算出される。
【０１３１】
具体的には、例えば、いま、図１１に示した補正データＸ33を中心とする３×３の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４５から出力され、また、そのクラス分類用ブロックに対応する予測値計算用ブロックとして、補正データＸ33を中心とする５×５画素の補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、第４階層の画像における、補正データＸ33を中心とする３×３画素（図１１において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）を、教師データとして、式（７）に示した正規方程式がたてられる。
【０１３２】
さらに、所定の期間としての、例えば、１フレームの中の、同一のクラス情報Ｃにクラス分類される、他のクラス分類用ブロックに対応する予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ33（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ33（ｋ）］を求めるための予測係数ｗ1（ｋ）乃至ｗ25（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データが２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ33（ｋ）の予測値Ｅ［Ｙ33（ｋ）］を求めるのに最適な予測係数ｗ1（ｋ）乃至ｗ25（ｋ）が算出される。
【０１３３】
以上の処理は、各クラスごとに行われ、これにより、各クラスごとに、２５×９個の予測係数が算出される。そして、クラス情報Ｃに対応する予測係数と予測値計算用ブロックとを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ33（ｋ）］が求められる。
【０１３４】
ステップＳ２４では、以上のようにして、２５×９の予測係数が、クラスごとに求められ、そのクラスごとの予測係数を用いて、１フレーム分の原画像の画素の予測値が、注目補正データを中心とする３×３画素単位で求められていく。
【０１３６】
その後、ステップＳ２５に進み、クラスごとの２５×９の予測係数はメモリ２７（図９）に供給され、３×３画素単位で求められた１フレーム分の予測値はメモリ２６に供給される。そして、ステップＳ２１に戻り、以下同様の処理が、例えば、上述したように１フレーム単位で繰り返される。
【０１３７】
ローカルデコード部２２1乃至２２3においても、同様の処理が行われ、これにより、第１乃至第３階層のクラスごとの予測係数が求められ、その予測係数を用いて、９画素単位で各階層の予測値が求められる。そして、第１階層乃至第３階層の予測値またはクラスごとの予測係数は、メモリ２６または２７それぞれに供給されて記憶される。なお、第１階層の予測値は、誤差算出部２３（図５）にも供給されるようになされている。
【０１３８】
次に、図１５は、図５の誤差算出部２３の構成例を示している。
【０１３９】
ブロック化回路５１には、元の画像データ、即ち、第１階層の画像データが供給されるようになされており、そこでは、ブロック化回路５１は、その画像データを、予測部２２から出力される第１階層の予測値に対応する９個単位でブロック化し、その結果得られる３×３画素のブロックを、自乗誤差算出回路５２に出力するようになされている。自乗誤差算出部５２には、上述したように、ブロック化回路５１からブロックが供給される他、予測部２２から第１階層の予測値が、９個単位（３×３画素のブロック単位）で供給されるようになされており、自乗誤差算出回路５２は、第１階層の画像に対する、その予測値の予測誤差としての自乗誤差を算出し、積算部５５に供給するようになされている。
【０１４０】
即ち、自乗誤差算出回路は５２は、演算器５３および５４で構成されている。演算器５３は、ブロック化回路５１からのブロック化された画像データそれぞれから、対応する予測値を減算し、その減算値を、演算器５４に供給するようになされている。演算器５４は、演算器５３の出力（第１階層の画像データとその予測値との差分）を自乗し、積算部５５に供給するようになされている。
【０１４１】
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算して、再び、メモリ５６に供給して記憶させることを繰り返すことで、自乗誤差の積算値（誤差分散）を求めるようになされている。さらに、積算部５５は、所定量（例えば、１フレーム分など）についての自乗誤差の積算が終了すると、その積算値を、メモリ５６から読み出し、誤差情報として、判定部２４（図５）に供給するようになされている。メモリ５６は、１フレームについての処理が終了するごとに、その記憶値をクリアしながら、積算部５５の出力値を記憶するようになされている。
【０１４２】
次に、その動作について、図１６のフローチャートを参照して説明する。誤差算出部２３では、まず最初に、ステップＳ３１において、メモリ５６の記憶値が、例えば０にクリアされ、ステップＳ３２に進み、ブロック化回路５１において、第１階層の画像データが、上述したようにブロック化され、その結果得られるブロックが、自乗誤差算出回路５２に供給される。自乗誤差算出回路５２では、ステップＳ３３において、ブロック化回路５１から供給されるブロックを構成する、第１階層の画像の画像データと、予測部２２から供給される第１階層の予測値との自乗誤差が算出される。
【０１４３】
即ち、ステップＳ３３では、演算器５３において、ブロック化回路５１より供給されたブロック化された第１階層の画像データそれぞれから、対応する予測値が減算され、演算器５４に供給される。さらに、ステップＳ３３では、演算器５４において、演算器５３の出力が自乗され、積算部５５に供給される。
【０１４４】
積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、ステップＳ３４において、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算することで、自乗誤差の積算値を求める。積算部５５において算出された自乗誤差の積算値は、メモリ５６に供給され、前回の記憶値に上書きされることで記憶される。
【０１４５】
そして、積算部５５では、ステップＳ３５において、所定量としての、例えば、１フレーム分についての自乗誤差の積算が終了したかどうかが判定される。ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了していないと判定された場合、ステップＳ３２に戻り、再び、ステップＳ３２からの処理を繰り返す。また、ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了したと判定された場合、ステップＳ３６に進み、積算部５５は、メモリ５６に記憶された１フレーム分についての自乗誤差の積算値を読み出し、誤差情報として、判定部２４に出力する。そして、ステップＳ３１に戻り、再び、ステップＳ３１からの処理を繰り返す。
【０１４６】
従って、誤差算出部２３では、第１階層の画像データをＹij（ｋ）とするとともに、予測部２２において補正データから生成された第１階層の予測値をＥ［Ｙij（ｋ）］とするとき、次式にしたがった演算が行われることで、誤差情報Ｑが算出される。
【０１４７】
Ｑ＝Σ（Ｙij（ｋ）−Ｅ［Ｙij（ｋ）］）2
但し、Σは、１フレーム分についてのサメーションを意味する。
【０１４８】
次に、図１７は、図５の判定部２４の構成例を示している。
【０１４９】
補正データメモリ６２は、補正部２１から供給される補正データを記憶するようになされている。
【０１５０】
なお、補正データメモリ６２は、補正部２１において、第５階層の画像データが新たに補正され、これにより、新たな補正データが供給された場合には、既に記憶している補正データ（前回の補正データ）に代えて、新たな補正データを記憶するようになされている。
【０１５１】
誤差情報メモリ６３は、誤差算出部２３から供給される誤差情報を記憶するようになされている。なお、誤差情報メモリ６３は、誤差算出部２３から、今回供給された誤差情報の他に、前回供給された誤差情報も記憶するようになされている（新たな誤差情報が供給されても、さらに新たな誤差情報が供給されるまでは、既に記憶している誤差情報を保持するようになされている）。なお、誤差情報メモリ６３は、新たなフレームについての処理が開始されるごとにクリアされるようになされている。
【０１５２】
比較回路６４は、誤差情報メモリ６３に記憶された今回の誤差情報と、所定の閾値εとを比較し、さらに、必要に応じて、今回の誤差情報と前回の誤差情報との比較も行うようになされている。比較回路６４における比較結果は、制御回路６５に供給されるようになされている。
【０１５３】
制御回路６５は、比較回路６４における比較結果に基づいて、補正データメモリ６２に記憶された補正データを、画像の符号化結果とすることの適正（最適）さを判定し、最適でないと認識（判定）した場合には、新たな補正データの出力を要求する制御信号を、補正部２１（補正回路３２）（図５）に供給するようになされている。また、制御回路６５は、補正データメモリ６２に記憶された補正データを、画像の符号化結果とすることが最適であると認識した場合には、補正データメモリ６２に記憶されている補正データを読み出し、多重化部２５に出力するとともに、予測部２２（図９）に制御信号を出力することで、メモリ２６または２７にそれぞれ記憶されている予測値またはクラスごとの予測係数を読み出させるようにもなされている。さらに、この場合、制御回路６５は、１フレームの画像についての符号化を終了した旨を表す制御信号を、補正部２１に出力し、これにより、上述したように、補正部２１に、次のフレームについての処理を開始させるようになされている。
【０１５４】
次に、図１８を参照して、判定部２４の動作について説明する。判定部２４では、まず最初に、ステップＳ４１において、誤差算出部２３から誤差情報を受信したかどうかが、比較回路６４によって判定され、誤差情報を受信していないと判定された場合、ステップＳ４１に戻る。また、ステップＳ４１において、誤差情報を受信したと判定された場合、即ち、誤差情報メモリ６３に誤差情報が記憶された場合、ステップＳ４２に進み、比較回路６４において、誤差情報メモリ６３に、いま記憶された誤差情報（今回の誤差情報）と、所定の閾値εとが比較され、いずれが大きいかが判定される。
【０１５５】
ステップＳ４２において、今回の誤差情報が、所定の閾値ε以上であると判定された場合、比較回路６４において、誤差情報メモリ６３に記憶されている前回の誤差情報が読み出される。そして、比較回路６４は、ステップＳ４３において、前回の誤差情報と、今回の誤差情報とを比較し、いずれが大きいかを判定する。
【０１５６】
ここで、１フレームについての処理が開始され、最初に誤差情報が供給されたときには、誤差情報メモリ６３には、前回の誤差情報は記憶されていないので、この場合には、判定部２４においては、ステップＳ４３以降の処理は行われず、制御回路６５において、所定の初期アドレスを補正値ＲＯＭ３３に出力するように、補正回路３２（図５）を制御する制御信号が出力されるようになされている。
【０１５７】
ステップＳ４３において、今回の誤差情報が、前回の誤差情報以下であると判定された場合、即ち、第５階層の画像データの補正を行うことにより誤差情報が減少した場合、ステップＳ４４に進み、制御回路６５は、補正値△を、前回と同様に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。また、ステップＳ４３において、今回の誤差情報が、前回の誤差情報より大きいと判定された場合、即ち、第５階層の画像データの補正を行うことにより誤差情報が増加した場合、ステップＳ４５に進み、制御回路６５は、補正値△を、前回と逆に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。
【０１５８】
なお、減少し続けていた誤差情報が、あるタイミングで上昇するようになったときは、制御回路６５は、補正値△を、いままでの場合の、例えば１／２の大きさで、前回と逆に変化させるように指示する制御信号を出力するようになされている。
【０１５９】
そして、ステップＳ４１乃至Ｓ４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ４２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ４６に進み、制御回路６５は、補正データメモリ６２に記憶されている補正データを読み出し、第１階層の予測値を得るのに最適な補正データである最適補正データとして、多重化部２５に供給する。さらに、ステップＳ４６においては、制御回路６５は、予測部２２（図９）のメモリ２６から第１階層乃至第４階層の予測値を読み出させるとともに、メモリ２７から第１乃至第４階層のクラスごとの予測係数を読み出させる。
【０１６０】
メモリ２６から読み出された第１階層乃至第４階層の予測値、即ち、誤差情報が閾値ε以下になったときにおける第１階層乃至第４階層の予測値は、上述したように、演算器１２1乃至１２4に供給される。また、メモリ２７から読み出された第１乃至第４階層のクラスごとの予測係数は、多重化器２８（図９）で多重化される。そして、その結果得られるクラスごとの予測係数の集合は、制御回路６５を介して、多重化部２５（図５）に供給される。
【０１６１】
その後は、次のフレームについての誤差情報が供給されるのを待って、再び、図１８に示すフローチャートにしたがった処理を繰り返す。
【０１６２】
なお、補正回路３２には、第５階層の画像データの補正は、１フレームすべての第５階層の画像データについて行わせるようにすることもできるし、その一部のデータについてだけ行わせるようにすることもできる。一部のデータについてだけ補正を行う場合においては、制御回路６５に、例えば、誤差情報に対する影響の強い画素を検出させ、そのような画素についてだけ補正を行うようにすることができる。誤差情報に対する影響の強い画素は、例えば、次のようにして検出することができる。即ち、まず最初に、第５階層の画像データをそのまま用いて処理を行うことにより、その誤差情報を得る。そして、第５階層の画像データを、１画素ずつ、同一の補正値△だけ補正するような処理を行わせる制御信号を、制御回路６５から補正回路３２に出力し、その結果得られる誤差情報を、第５階層の画像データをそのまま用いた場合に得られる誤差情報と比較し、その差が、所定値以上となる画素を、誤差情報に対する影響の強い画素として検出すれば良い。
【０１６３】
以上のように、誤差情報を所定の閾値εより小さくする（以下にする）まで、第５階層の画像データの補正が繰り返され、誤差情報が所定の閾値εより小さくなったときにおける補正データが、最適補正データとして出力されるので、受信装置４（図１）においては、その最適補正データ、即ち、第１階層の画像を復元するのに最も適当な値にした補正データだけを用いて、原画像と同一（ほぼ同一）の復号画像を得ることが可能となる。
【０１６４】
また、送信装置１における、以上のような符号化処理は、間引きによる圧縮処理と、クラス分類適応処理とを、いわば有機的に統合して用いることにより、高能率圧縮を実現するものであり、このことから統合符号化処理ということができる。
【０１６５】
次に、図１９は、図１の受信装置４の構成例を示している。
【０１６６】
信号処理回路７１には、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信されて供給される。信号処理回路７１においては、そこに供給される符号化データが受信され、第１階層乃至第５階層の符号化データに分離された後、誤り訂正処理その他の必要な処理が施される。また、信号処理部７１は、第５階層の符号化データから、最適補正データと、第１階層乃至第４階層のクラスごとの予測係数それぞれとを分離する。そして、信号処理部７１は、第１階層乃至第４階層の符号化データ（第１階層乃至第４階層の予測残差）を、演算器７３1乃至７３4にそれぞれ供給するともにに、第１乃至第４階層のクラスごとの予測係数を予測部７３1乃至７３4にそれぞれ供給する。さらに、信号処理部７１は、最適補正データを、第５階層の復号画像としてそのまま出力するとともに、予測部７２4に供給する。
【０１６７】
予測部７２4では、最適補正データと第４階層のクラスごとの予測係数とを用いて、第４階層の予測値が算出され、演算器７３4に供給される。演算器７３4では、第４階層の予測値と、その予測残差（第４階層の符号化データ）とが加算される。この加算結果は、第４階層の復号画像としてそのまま出力されるとともに、予測部７２3に供給される。
【０１６８】
予測部７２3では、演算器７３4からの第４階層の復号画像と、第３階層のクラスごとの予測係数とを用いて、第３階層の予測値が算出され、演算器７３3に供給される。演算器７３3では、第３階層の予測値と、その予測残差（第３階層の符号化データ）とが加算される。この加算結果は、第３階層の復号画像としてそのまま出力されるとともに、予測部７２2に供給される。
【０１６９】
予測部７２2および演算器７３2、または予測部７２1および演算器７３1においても、同様の処理が行われ、これにより、演算器７３2または７３1からは、第２階層または第１階層の復号画像がそれぞれ出力される。
【０１７０】
次に、予測部７２1乃至７２4について、予測部７２4を例にして説明する。
【０１７１】
図２０は、予測部７２4の構成例を示している。
【０１７２】
信号処理回路７１（図１９）からの最適補正データは、クラス分類用ブロック化回路８２および予測値計算用ブロック化回路８３に供給され、また、第４階層のクラスごとの予測係数は、予測回路８６に供給される。そして、第４階層のクラスごとの予測係数は、予測回路８６が内蔵するメモリ８６Ａに記憶される。
【０１７３】
クラス分類用ブロック化回路８２、予測値計算用ブロック化回路８３、ＡＤＲＣ処理回路８４、またはクラス分類回路８５は、図１０におけるクラス分類用ブロック化回路４１、予測値計算用ブロック化回路４２、ＡＤＲＣ処理回路４４、またはクラス分類回路４５それぞれと同様に構成されており、従って、これらのブロックにおいては、図１０における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路８３からは予測値計算用ブロックが出力され、また、クラス分類回路８５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路８６に供給される。
【０１７４】
予測回路８６は、その内蔵するメモリ８６Ａに記憶されている第４階層のクラスごとの予測係数の中から、クラス情報に対応したものを読み出し、その読み出した予測係数と、予測値計算用ブロック化回路８３から供給される５×５画素の予測値計算用ブロックを構成する最適補正データとを用い、式（１）にしたがって、第４階層の３×３画素の予測値を算出する。そして、予測回路８６は、第４階層の１フレーム分の予測値が得られると、その予測値を、演算器７３4に供給する。
【０１７５】
他の予測部７２3乃至７２1においても、同様にして、第３階層乃至第１階層の予測値がそれぞれ求められる。
【０１７６】
従って、図１９に示した受信装置４においては、各階層の予測値を得た後に、その階層の予測残差を加算することで、より元の画像に近い画素値を得た後に、それを用いて、上位階層の予測値が求められるので、各階層の復号画像として、それぞれの階層の元の画像とほぼ同一のものを得ることができる。
【０１７７】
さらに、最適補正データは、上述したようにそれにより順次予測を行うことで得られる第１階層の予測値と、第１階層の画像との誤差（ここでは、自乗誤差）を閾値ε以下とするものであり、従って、第１階層乃至第４階層の符号化データ（予測残差）の一部またはすべてが、何らかの理由で失われても、第５階層の符号化データ、即ち、最適補正データおよび第１階層乃至第４階層の予測係数により、解像度の高い復号画像を得ることが可能となる。
【０１７８】
また、例えば、受信側が、第５階層の符号化データ（最適補正データおよび第１階層乃至第４階層の予測係数）しか受信することができないものであっても、あるいは、第４および第５階層の符号化データ、第３乃至第５階層の符号化データ、または第２乃至第５階層の符号化データしか受信することができないものであっても、高解像度の復号画像を得ることが可能となる。
【０１７９】
ところで、上述の場合おいては、図９のローカルデコード部２２1乃至２２4において第１階層乃至第４階層の予測係数を求め、それぞれを用いて、第１階層乃至第４階層の予測値を算出するようにしたが、第１階層乃至第４階層の予測値は、いずれも、予測係数を求めずに（あらかじめ求めておいた予測係数を用いて）算出するようにすることが可能である。
【０１８０】
即ち、図２１は、送信装置１の第２実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してある。即ち、図２１の送信装置１は、最適補正データ算出回路１４に代えて最適補正データ算出回路１０１４が設けられている他は、基本的に、図２における場合と同様に構成されている。
【０１８１】
但し、図２においては、最適補正データ算出回路１４に、第１乃至第４階層の画像データすべてが供給されるようになされていたが、図２１の実施の形態では、最適補正データ算出回路１０１４には、第１乃至第４階層の画像データのうちの第１階層の画像データだけが供給されるようになっている。
【０１８２】
図２２は、図２１の最適補正データ算出回路１０１４の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してある。即ち、最適補正データ算出回路１０１４は、予測部２２に代えて予測部１０２２が設けられている他は、基本的に、図５の最適補正データ算出回路１４と同様に構成されている。
【０１８３】
但し、図５においては、予測部２２に、第１乃至第４階層の画像データが供給されるようになされていたが、図２２においては、予測部１０２２には、第１乃至第４階層の画像データのうちのいずれも供給されないようになっている。
【０１８４】
図２３は、図２２の予測部１０２２の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してある。即ち、予測部１０２２は、ローカルデコード部２２1乃至２２4に代えてローカルデコード部１０２２1乃至１０２２4がそれぞれ設けられている他は、基本的に、図９の予測部２２と同様に構成されている。
【０１８５】
但し、ここでは、上述したように予測係数が生成されないため、ローカルデコード部１０２２1乃至１０２２4それぞれには、第１乃至第４階層の画像データが供給されるようにはなっていない（供給する必要がないので、供給されない）。
【０１８６】
図２４は、図２３のローカルデコード部１０２２1乃至１０２２4の構成例を示している。なお、図中、図１０における場合と対応する部分については、同一の符号を付してある。即ち、図２４のローカルデコード部１０２２1乃至１０２２4は、適応処理回路４６に代えて、予測係数ＲＯＭ８８および予測回路８９が設けられている他は、図１０における場合と同様に構成されている。
【０１８７】
なお、ここでは、図１０における場合と同様に、ローカルデコード部１０２２4を例に説明をする。
【０１８８】
予測係数ＲＯＭ８８は、あらかじめ学習（後述する）により求められたクラスごとの予測係数を記憶しており、クラス分類回路４４が出力するクラス情報を受信し、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して（発生して）、予測回路８９に供給する。
【０１８９】
予測回路８９では、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックと、予測係数ＲＯＭ８８からの予測係数とを用いて、式（１）（具体的には、例えば、式（８））に示した線形１次式が計算され、これにより、元の画像の予測値が、３×３画素単位で算出される。
【０１９０】
従って、図２４のクラス分類適応処理回路４３によれば、各階層の元の画像を用いずに、その予測値が算出される。
【０１９１】
次に、図２５のフローチャートを参照して、図２４のローカルデコード部１０２２4の動作について、さらに説明する。
【０１９２】
ローカルデコード部１０２２4では、ステップＳ１０２１乃至Ｓ１０２３において、図１４のステップＳ２１乃至Ｓ２３における場合とそれぞれ同様の処理が行われる。これにより、予測値計算用ブロック化回路４２またはクラス分類回路４５から、予測値計算用ブロックまたはクラス情報がそれぞれ出力される。そして、予測値計算用ブロックは予測回路８９に、クラス情報は予測係数ＲＯＭ８８にそれぞれ供給される。
【０１９３】
予測係数ＲＯＭ８８は、クラス分類回路４５からクラス情報を受信すると、ステップＳ１０２４において、そのクラス情報に対応するアドレスに記憶されている２５×９の予測係数（ここでは、第４階層の予測係数）を読み出し、そのクラス情報に対応する予測係数を、予測回路８９に出力する。予測回路８９では、ステップＳ１０２５において、予測係数ＲＯＭ８８からの２５×９の予測係数と、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックとを用いて適応処理が行われることにより、即ち、具体的には、式（１）（または式（８））にしたがった演算が行われることにより、注目補正データ（ここでは、予測値計算用ブロックの中心にある画素）を中心とする３×３の原画像（ここでは、第４階層の画像）の画素の予測値が求められる。
【０１９４】
そして、例えば、１フレーム分の予測値が求められると、ステップＳ１０２６に進み、予測係数ＲＯＭ８８に記憶されたクラスごとの２５×９の予測係数が読み出され、メモリ２７（図２３）に供給されて記憶されるとともに、ステップＳ１０２５で求められた予測値がメモリ２６に供給されて記憶される。その後、ステップＳ１０２１に戻り、以下同様の処理が、例えば、１フレーム単位で繰り返される。
【０１９５】
ローカルデコード部１０２２1乃至１０２２3においても同様の処理が行われ、これにより、メモリ２６には、第１乃至第４階層の画像の予測値が、メモリ２７には、第１乃至第４階層のクラスごとの予測係数が、それぞれ記憶される（第１階層の予測値は、メモリ２６に供給されて記憶される他、上述したように、誤差算出部２３（図２２）にも供給される）。
【０１９６】
なお、この実施の形態では、クラスごとの予測係数は、予測係数ＲＯＭ８８に記憶されたものが使用され、従って、その値は変化しないから、ステップＳ１０２５において、クラスごとの予測係数を、メモリ２７に一度供給した後は、基本的に、再度供給する必要はない。
【０１９７】
また、送信装置１が図２１に示したように構成される場合においても、受信装置４は、図１９に示したように構成することで、高解像度の復号画像を得ることができる。
【０１９８】
次に、図２６は、図２４の予測係数ＲＯＭ８８に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。
【０１９９】
学習用ブロック化回路９１および教師用ブロック化回路９２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。なお、第ｎ階層の予測係数を得る場合には、学習用画像として、第ｎ階層の画像データが、学習用ブロック化回路９１および教師用ブロック化回路９２に供給される。
【０２００】
学習用ブロック化回路９１は、入力される画像データから、例えば、図１１に●印で示した位置関係の２５画素（５×５画素）を抽出し、この２５画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理９３および学習データメモリ９６に供給する。
【０２０１】
また、教師用ブロック化回路９２では、入力される画像データから、例えば、３×３の９画素で構成されるブロックが生成され、この９画素で構成されるブロックが、教師用ブロックとして、教師データメモリ９８に供給される。
【０２０２】
なお、学習用ブロック化回路９１において、例えば、図１１に●印で示した位置関係の２５画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路９２では、同図に四角形で囲んで示す３×３画素の教師用ブロックが生成されるようになされている。
【０２０３】
ＡＤＲＣ処理回路９３は、学習用ブロックを構成する２５画素から、その中心の９画素（３×３画素）を抽出し、この９画素でなるブロックに対して、図２１のＡＤＲＣ処理回路４４における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された、３×３画素のブロックは、クラス分類回路９４に供給される。クラス分類回路９４では、図２４のクラス分類回路４５における場合と同様に、ＡＤＲＣ処理回路９３からのブロックがクラス分類処理され、それにより得られるクラス情報が、スイッチ９５の端子ａを介して、学習データメモリ９６および教師データメモリ９８に供給される。
【０２０４】
学習データメモリ９６または教師データメモリ９８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路９１からの学習用ブロックまたは教師用ブロック化回路９２からの教師用ブロックが、それぞれ記憶される。
【０２０５】
従って、学習データメモリ９６において、例えば、図１１に●印で示した５×５画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ９８においては、そのアドレスと同一のアドレスに、同図において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。
【０２０６】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図２１のローカルデコード部２２4において、その学習用ブロックを構成する２５画素と同一の位置関係を有する２５の補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ９６と、教師用データメモリ９８とにおいて、同一のアドレスに記憶される。
【０２０７】
なお、学習用データメモリ９６と教師用データメモリ９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。
【０２０８】
学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ９６と教師データメモリ９８に記憶されると、端子ａを選択していたスイッチ９５が、端子ｂに切り替わり、これにより、カウンタ９７の出力が、アドレスとして、学習データメモリ９６および教師データメモリ９８に供給される。カウンタ９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ９６または教師データメモリ９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路９９に供給される。
【０２０９】
従って、演算回路９９には、カウンタ９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０２１０】
演算回路９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０２１１】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０２１２】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０２１３】
そこで、演算回路９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。以上の処理がクラスごとに行われることで、クラスごとの２５×９個の予測係数が算出される。
【０２１４】
演算回路９９において求められた、クラスごとの予測係数は、メモリ１００に供給される。メモリ１００には、演算回路９９からの予測係数の他、カウンタ９７からカウント値が供給されており、これにより、メモリ１００においては、演算回路９９からの予測係数が、カウンタ９７からのカウント値に対応するアドレスに記憶される。
【０２１５】
以上のようにして、メモリ１００には、各クラスに対応するアドレスに、上位階層（ここでは、例えば、第４階層）の画像の３×３画素を予測するのに最適な２５×９の予測係数（ここでは、例えば、第４階層の予測係数）が記憶される。
【０２１６】
図２４の予測係数ＲＯＭ８８には、以上のようにしてメモリ１００に記憶されたクラスごとの予測係数が記憶されている。
【０２１７】
次に、図２７は、図２１の最適補正データ算出回路１０１４の他の構成例を示している。なお、図中、図２２における場合と対応する部分については、同一の符号を付してある。即ち、図２７の最適補正データ算出回路１０１４は、予測部１０２２に代えて、予測部２０２２が設けられているとともに、多重化部２５が設けられていない他は、基本的に、図２２における場合と同様に構成されている。
【０２１８】
但し、図２７の実施の形態では、予測部２０２２から判定部２４に対して、予測係数が出力されないようになっている。
【０２１９】
次に、図２８のフローチャートを参照して、その動作について説明する。
【０２２０】
補正部２１に対して、第５階層の画像データが供給されると、補正部２１は、ステップＳ１００１において、最初は、補正を行わずに、そのまま第５階層の画像データを、予測部２２および判定部２４に出力する。予測部２０２２では、ステップＳ１００２において、補正部２１からの補正データ（最初は、上述したように、第５階層の画像データそのもの）がローカルデコードされる。即ち、ステップＳ１００２では、例えば、図２３に示した予測部１０２２における場合と同様にして、第１乃至第４階層の予測値が求められ、第１階層の予測値のみが、誤差算出部２３に供給される。
【０２２１】
誤差算出部２３は、予測部２０２２から、第１階層の予測値を受信すると、ステップＳ１００３において、図６のステップＳ３における場合と同様に、第１階層の画像データに対する、予測部２０２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ１００４において、図６のステップＳ４における場合と同様に、その誤差情報に基づいて、補正部２１が出力した補正データを、第１階層の画像の符号化結果とすることの適正さを判定する。
【０２２２】
即ち、ステップＳ１００４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ１００４において、誤差情報が所定の閾値ε以下でないと判定された場合、ステップＳ１００５に進み、判定部２４は、図６のステップＳ５における場合と同様に、補正部２１を制御し、これにより、第５階層の画像データを補正させる。補正部２１は、判定部２４の制御にしたがって、補正値△を変えて、第５階層の画像データを補正し、その結果得られる補正データを、予測部２０２２および判定部２４に出力する。そして、ステップＳ１００２に戻り、以下、同様の処理が繰り返される。
【０２２３】
一方、ステップＳ１００４において、誤差情報が所定の閾値ε以下であると判定された場合、ステップＳ１００６に進み、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データだけを、最適補正データ（第５階層の符号化データ）として、信号処理回路１３（図２１）に出力する。即ち、ここでは、第１乃至第４階層の予測係数が、予測部２０２２から判定部２４に対して供給されないようになっているため、判定部２４は、補正データだけを出力する。さらに、ステップＳ１００６では、判定部２４において、予測部２０２２が第１乃至第４階層の予測値を出力するように制御され、これにより、予測部２０２２から第１乃至第４階層の予測値が出力されて、処理を終了する。
【０２２４】
以上のように、この実施の形態では、第１乃至第４階層の予測係数は出力されない。
【０２２５】
次に、図２９は、図２７の予測部２０２２の構成例を示している。なお、図中、図２３の予測部１０２２における場合と対応する部分については、同一の符号を付してある。即ち、予測部２０２２は、ローカルデコード部１０２２1乃至１０２２4に代えてローカルデコード部２０２２1乃至２０２２4がそれぞれ設けられているとともに、メモリ２７が設けられていない他は、基本的に、図２３の予測部１０２２と同様に構成されている。また、予測部２０２２においては、メモリ２７が設けられていないことから、ローカルデコード部２０２２1乃至２０２２4は、図２３のローカルデコード部１０２２1乃至１０２２4のように、第１乃至第４階層の予測係数それぞれを出力しないようになっている。
【０２２６】
図３０は、図２９のローカルデコード部２０２２1乃至２０２２4の構成例を示している。なお、図中、図２４における場合と対応する部分については、同一の符号を付してある。即ち、図３０のローカルデコード部２０２２1乃至２０２２4は、基本的に、図２４のローカルデコード部１０２２1乃至１０２２4と同様に構成されている。但し、予測係数ＲＯＭ８８からは、予測係数が、予測回路８９以外には出力されないようになっている。
【０２２７】
なお、ここでも、図１０における場合と同様に、ローカルデコード部２０２２4を例に説明をする。
【０２２８】
次に、図３１のフローチャートを参照して、その動作について説明する。
【０２２９】
ローカルデコード部２０２２4では、ステップＳ２０２１乃至Ｓ２０２５において、図２５のステップＳ１０２１乃至１０２５における場合とそれぞれ同様の処理が行われる。そして、ステップＳ２０２６において、ステップＳ２０２５で求められた予測値（ここでは、第４階層の予測値）のみが、メモリ２６（図２９）に供給されて記憶される。その後は、ステップＳ２０２１に戻り、以下、同様の処理が、例えば、１フレーム単位で繰り返される。
【０２３０】
ローカルデコード部２０２２1乃至２０２２3においても、ローカルデコード部２０２２4における場合と同様の処理が行われ、これにより、メモリ２６（図２９）には、第１乃至第４階層の予測値が記憶される。
【０２３１】
次に、図３２は、図２１の最適補正データ算出回路１０１４が図２７に示したように構成される場合の図１の受信装置４の構成例を示している。なお、図中、図１９における場合と対応する部分については、同一の符号を付してある。即ち、図３２の受信装置４は、予測部７２1乃至７２4それぞれに代えて予測部１０７２1乃至１０７２4が設けられている他は、基本的に、図１９の受信装置４と同様に構成されている。但し、上述したことから、符号化データには、第１乃至第４階層の予測係数が含まれないため、信号処理回路７１から予測部１０７２1乃至１０７２4それぞれに対しては、第１乃至第４階層の予測係数は供給されないようになっている。
【０２３２】
次に、図３２の予測部１０７２1乃至１０７２4について、予測部１０７２4を例にして説明する。
【０２３３】
図３３は、予測部１０７２4の構成例を示している。なお、図中、図２０の予測部７２4における場合と対応する部分については、同一の符号を付してある。即ち、予測部１０７２4は、クラス分類回路８５と予測回路８６との間に予測係数ＲＯＭ８７が新たに設けられ、予測回路８６がメモリ８６Ａを内蔵していない他は、図２０の予測部７２4と基本的に同様に構成されている。
【０２３４】
上述したように、予測部１０７２4には、予測係数（第４階層の予測係数）は供給されない。即ち、予測部１０７２4には、最適補正データだけが供給される。この最適補正データは、図２０における場合と同様に、クラス分類用ブロック化回路８２および予測値計算用ブロック化回路８３に供給される。
【０２３５】
クラス分類用ブロック化回路８２、予測値計算用ブロック化回路８３，ＡＤＲＣ処理回路８４、またはクラス分類回路８５では、図２０における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路８３からは５×５画素の予測値計算用ブロックが出力され、また、クラス分類回路８５からはクラス情報が出力される。予測値計算用ブロックは予測回路８６に供給され、クラス情報は予測係数ＲＯＭ８７に供給される。
【０２３６】
予測係数ＲＯＭ８７には、図３０の予測係数ＲＯＭ８８に記憶されているクラスごとの予測係数と同一のものが記憶されており、クラス分類回路８５からクラス情報が供給されると、そのクラス情報に対応した２５×９の予測係数が読み出され、予測回路８６に供給される。
【０２３７】
予測回路８６は、予測係数ＲＯＭ８７からの２５×９の予測係数と、予測値計算用ブロック化回路８３から供給される５×５画素の予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって、原画像（ここでは、第４階層の画像）の３×３画素の予測値を算出し、そのような予測値で構成される１フレームの画像を、演算器７３4出力する。
【０２３８】
予測部１０７２1乃至１０７２3においても、予測部１０７２4における場合と同様の処理が行われ、これにより、第１乃至第３階層の予測値がそれぞれ出力される。
【０２３９】
図２１の最適補正データ算出回路１０１４が図２７に示したように構成され、かつ受信装置４が図３２に示したように構成される場合、第１乃至第４階層についてのクラスごとの２５×９の予測係数を送受信せずに済むので、その分だけ、伝送容量または記録容量を低減することができる。
【０２４０】
なお、予測係数ＲＯＭ８７（図３３）や８８（図２４、図３０）には、各クラスに対応するアドレスに、予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、図２４のローカルデコード部１０２２4や、図２０のローカルデコード部２０２２4においては、予測値計算用ブロック化回路４２および予測回路８９を設けずに済むようになる。また、図３３の予測部１０７２4においても、予測値計算用ブロック化回路８３および予測回路８６を設けずに済むようになる。
【０２４１】
ここで、以下、適宜、図１０で説明したように、予測係数を逐次求めて予測値を得る方式を逐次方式と、また、図２４や図３０で説明したように、予測係数を、あらかじめ予測係数ＲＯＭ８８に記憶させておき、これを用いて予測値を得る方式を、ＲＯＭ方式という。
【０２４２】
次に、図３４は、図１の送信装置１の第３実施の形態の構成例を示している。なお、図中、図２１における場合と対応する部分については、同一の符号を付してある。即ち、この送信装置１は、制御回路３０１が新たに設けられている他は、図２１における場合と同様に構成されている。また、図３４の実施の形態では、最適補正データ算出回路１０１４において、ＲＯＭ方式により予測値が求められるようになされている。但し、この実施の形態においても、予測値は、図２の送信装置１における場合と同様に、逐次方式により求めるようにすることが可能である。
【０２４３】
制御部３０１には、演算器１２1乃至１２4それぞれにおいて算出された第１階層乃至第４階層の予測残差（符号化データ）が供給されるようになされており、制御部３０１は、第１階層乃至第４階層の予測残差それぞれを、所定の閾値ε’と比較し、その閾値ε’以上の予測残差のみを、最終的な符号化データに含めるように、信号処理回路１３を制御するようになされている。
【０２４４】
以上のように構成される送信装置１では、図２における場合と同様にして、演算器１２1乃至１２4それぞれにおいて、第１階層乃至第４階層の予測残差（第１階層乃至第４階層の符号化データ）が算出され、信号処理回路１３および制御回路３０１に供給される。制御回路３０１は、第１階層乃至第４階層の予測残差を受信すると、図３５のフローチャートに示すように、ステップＳ３０１において、第１階層乃至第４階層の予測残差それぞれと、所定の閾値ε’とを比較し、その大小関係を判定する。
【０２４５】
ステップＳ３０１において、ある階層の予測残差が、所定の閾値ε’以上であると判定された場合、ステップＳ３０２に進み、制御回路３０１は、その階層を表す階層情報と、その予測残差とを、最終的な符号化データに含めるように、信号処理回路１３を制御し、処理を終了する。また、ステップＳ３０１において、ある階層の予測残差が、所定の閾値ε’より小さいと判定された場合、ステップＳ３０２をスキップして処理を終了する。
【０２４６】
制御回路３０１では、図３５のフローチャートにしたがった処理が、各階層について行われ、従って、これにより、信号処理回路１３から出力される最終的な符号化データには、第１階層乃至第４階層の予測残差のうち、所定の閾値ε’以上のものが含められる。
【０２４７】
所定の閾値ε’より小さい予測残差を用いて復号しても、その予測残差を用いずに復号を行った場合に比較して、復号画像の画質には、それほど影響がないと考えられる。従って、この場合、復号画像の画質をほとんど劣化させることなく、符号化データのデータ量を低減することが可能となる。
【０２４８】
次に、図３６は、図３４の送信装置１で得られた符号化データを復号化する受信装置４の構成例を示している。なお、図中、図３２における場合と対応する部分については、同一の符号を付してある。即ち、この受信装置４は、制御回路４０１が新たに設けられている他は、図３２における場合と同様に構成されている。また、この受信装置４においては、ＲＯＭ方式により、予測値が求められるようになされている（但し、逐次方式とすることも可能である）。
【０２４９】
制御回路４０１は、信号処理回路７１を制御することにより、符号化データに含まれる予測残差を、対応する演算器（演算器７３1乃至７３4のいずれか）に供給するようになされている。
【０２５０】
即ち、この場合、信号処理回路７１は、符号化データに、予測残差とともに含まれる階層情報を抽出し、制御回路４０１に供給する。制御回路４０１は、図３７のフローチャートに示すように、ステップＳ４０１において、信号処理回路７１から供給される階層情報を受信し、さらに、ステップＳ４０２において、その階層情報に基づいて、予測残差を、対応する演算器（演算器７３1乃至７３4のいずれか）に出力するように、信号処理回路７１を制御し、処理を終了する。
【０２５１】
従って、この場合、演算器７３1乃至７３4においては、予測残差が供給されたときには、その予測残差と予測値が加算され、その加算結果が、復号画像として出力される。また、予測残差が供給されなかったときには、予測値がそのまま復号画像として出力される。即ち、予測残差が閾値ε’以上の階層については、その予測残差と予測値とが加算され、いわば予測誤差が補正された復号画像が生成される。一方、予測残差が閾値ε’より小さい階層については、そのような小さな予測残差は無視され、予測値が、そのまま復号画像とされる。
【０２５２】
以上、本発明を適用した画像処理システムについて説明したが、このような画像処理システムは、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。
【０２５３】
なお、本実施の形態においては、１フレームの画像を対象にブロック化を行うようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素を集めて構成するようにすることも可能である。
【０２５４】
また、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。
【０２５５】
さらに、本実施の形態では、間引き回路１１1乃至１１4において、第１階層乃至第４階層の画像データを、単純に、横方向を１／３に、また、縦方向も１／３に間引くことにより、即ち、３×３（横×縦）のブロックから、その中心画素を抽出することにより、第２階層乃至第５階層の画像データを生成するようにしたが、第２階層乃至第５階層の画像データは、その他、例えば、３×３画素のブロックの平均値を算出し、その平均値を、３×３画素の中心の画素の画素値とすることで生成するようにすることなども可能である。
【０２５６】
また、本実施の形態では、補正部２１において、第５階層の画像データを、直接補正することにより、補正データを得るようにしたが、補正データは、例えば、次のようにして生成するようにすることも可能である。即ち、例えば、第４階層の画像データを、例えば、Ｎ画素で構成されるブロックに分割し、そのＮ画素に所定の係数を乗算して和をとる。そして、その値を、ブロックの代表値とし、そのような代表値で構成される画像を、第５階層の画像とすることができる。なお、この場合、補正部２１における補正は、例えば、上述の所定の係数を変化させることで行うことができる。
【０２５７】
さらに、本実施の形態では、画像を、５階層に符号化するようにしたが、階層数は、５に限定されるものではない。
【０２５８】
また、本実施の形態では、送信装置１において、第１階層の画像の予測値の予測誤差を、誤差情報として用いるようにしたが、その他、例えば、各階層の画像の予測値の予測誤差を求め、その総和値を、誤差情報として用いることが可能である。
【０２５９】
さらに、本実施の形態では、送信装置１において、第１階層の画像の予測値の予測誤差を閾値ε以下にする第５階層の画像の補正データを求めるようにしたが、隣接する上位と下位の階層間において、上位階層の画像の予測値の予測誤差を、所定値以下にする下位階層の画像の補正データを求めるようにしてもよい。
【０２６０】
また、例えば、図１４の実施の形態では、１フレーム単位で、正規方程式をたてて、クラスごとの予測係数を求めるようにしたが、予測係数の算出処理は、その他、例えば、１フィールド単位や複数フレーム単位で正規方程式をたてて行うようにすることも可能である。他の処理についても同様である。
【０２６１】
さらに、本発明は、ハードウェアによっても、あるいは、上述した処理を行うためのアプリケーションプログラムが記録されたハードディスク等の記録媒体から、そのアプリケーションプログラムを読み出して、コンピュータに実行させることによっても、実現可能である。
【０２６２】
【発明の効果】
請求項１に記載の画像符号化装置および請求項１３に記載の画像符号化方法によれば、第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成し、第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力し、補正データと所定の予測係数との積和演算によって、第１の階層の画像データの予測値が予測される。さらに、第１の階層の画像データに対する、その予測値の予測誤差が算出され、その予測誤差と所定の閾値が比較され、予測誤差が閾値より小さいときの補正データを適正なものとし、補正データの適正さが判定される。そして、補正データが適正と判定されたときにおける、第１の階層の画像データと、その予測値との差分値が演算され、適正と判定された補正データと、差分値とが、画像の符号化結果として出力される。一方、予測誤差が所定の閾値より小さくなく、補正データが適正ではないと判定された場合、補正データが適正であると判定されるまで、所定の補正値を予測誤差が小さくなるように変化させ、第２の階層の画像データに加算して補正し、補正データとして出力し、補正データを、その性質に応じて所定のクラスに分類し、クラスに対応した予測係数と補正データとの線形結合により、第１の階層の画像データの予測値を予測し、第１の階層の画像データに対する、その予測値の予測誤差を算出し、予測誤差と所定の閾値との比較に基づいて、補正データが適正であるか否かを判定する処理が繰り返される。従って、その補正データと差分値とから高解像度の復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理システムの一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の第１実施の形態の構成を示すブロック図である。
【図３】図２の間引き回路１１1乃至１１4の処理を説明するための図である。
【図４】図２の間引き回路１１1乃至１１4の処理を説明するための図である。
【図５】図２の最適補正データ算出回路１４の構成例を示すブロック図である。
【図６】図５の最適補正データ算出回路１４の処理を説明するためのフローチャートである。
【図７】図５の補正部２１の構成例を示すブロック図である。
【図８】図７の補正部２１の動作を説明するためのフローチャートである。
【図９】図５の予測部２２の構成例を示すブロック図である。
【図１０】図９のローカルデコード部２２1乃至２２4の構成例を示すブロック図である。
【図１１】図１０のクラス分類用ブロック化回路４１の処理を説明するための図である。
【図１２】クラス分類処理を説明するための図である。
【図１３】ＡＤＲＣ処理を説明するための図である。
【図１４】図１０のローカルデコード部２２1乃至２２4の動作を説明するためのフローチャートである。
【図１５】図５の誤差算出部２３の構成例を示すブロック図である。
【図１６】図１５の誤差算出部２３の動作を説明するためのフローチャートである。
【図１７】図５の判定部２４の構成例を示すブロック図である。
【図１８】図１７の判定部２４の動作を説明するためのフローチャートである。
【図１９】図１の受信装置４の第１実施の形態の構成を示すブロック図である。
【図２０】図１９の予測部７２1乃至７２4の構成例を示すブロック図である。
【図２１】図１の送信装置１の第２実施の形態の構成を示すブロック図である。
【図２２】図２１の最適補正データ算出回路１０１４の構成例を示すブロック図である。
【図２３】図２２の予測部１０２２の構成例を示すブロック図である。
【図２４】図２３のローカルデコード部１０２２4の構成例を示すブロック図である。
【図２５】図２４のローカルデコード部１０２２4の動作を説明するためのフローチャートである。
【図２６】図２４の予測係数ＲＯＭ８８に記憶されている予測係数を算出する画像処理装置の一実施の形態の構成を示すブロック図である。
【図２７】図２１の最適補正データ算出回路１０１４の他の構成例を示すブロック図である。
【図２８】図２７の最適補正データ算出回路１０１４の動作を説明するためのフローチャートである。
【図２９】図２７の予測部２０２２の構成例を示すブロック図である。
【図３０】図２９のローカルデコード部２０２２4の構成例を示すブロック図である。
【図３１】図３０のローカルデコード部２０２２4の動作を説明するためのフローチャートである。
【図３２】図１の受信装置４の第２実施の形態の構成例を示すブロック図である。
【図３３】図３２の予測部１０７２4の構成例を示すブロック図である。
【図３４】図１の送信装置１の第３実施の形態の構成を示すブロック図である。
【図３５】図３４の制御回路３０１の処理を説明するためのフローチャートである。
【図３６】図１の受信装置４の第３実施の形態の構成を示すブロック図である。
【図３７】図３６の制御回路４０１の処理を説明するためのフローチャートである。
【図３８】従来の階層符号化を行う画像符号化装置の一例の構成を示すブロック図である。
【図３９】従来の階層復号化を行う画像復号化装置の一例の構成を示すブロック図である。
【符号の説明】
１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１1乃至１１4 間引き回路， １２1乃至１２4 演算器， １３ 信号処理回路， １４ 最適補正データ算出回路， ２１ 補正部， ２２ 予測部， ２２1乃至２２4 ローカルデコード部， ２３ 誤差算出部， ２４ 判定部， ２５多重化部， ２６，２７ メモリ， ２８ 多重化器， ３２ 補正回路， ３３ 補正値ＲＯＭ， ４１ クラス分類用ブロック化回路， ４２ 予測値計算用ブロック化回路， ４３ クラス分類適応処理回路， ４４ ＡＤＲＣ処理回路， ４５ クラス分類回路， ４６ 適応処理回路， ５１ ブロック化回路， ５２ 自乗誤差算出回路， ５３，５４ 演算器， ５５ 積算部， ５６ メモリ， ６２ 補正データメモリ， ６３ 誤差情報メモリ， ６４ 比較回路， ６５ 制御回路， ７１ 信号処理回路， ７２1乃至７２4 予測部， ７３1乃至７３4 演算器， ８２ クラス分類用ブロック化回路， ８３ 予測値計算用ブロック化回路， ８４ ＡＤＲＣ処理回路， ８５ クラス分類回路， ８６ 予測回路， ８６Ａ メモリ， ８７，８８ 予測係数ＲＯＭ， ８９ 予測回路， ９１ 学習用ブロック化回路， ９２ 教師用ブロック化回路， ９３ ＡＤＲＣ処理回路， ９４ クラス分類回路， ９５ スイッチ， ９６ 学習データメモリ， ９７ カウンタ， ９８ 教師データメモリ， ９９ 演算回路， １００ メモリ， １４１ クラス分類用ブロック化回路， １４２ 予測値計算用ブロック化回路， １４３ クラス分類適応処理回路， １４４ ＡＤＲＣ処理回路， １４５ クラス分類回路， １４６ 予測係数ＲＯＭ， １４７ 予測回路， ３０１，４０１ 制御回路， １０１４ 最適補正データ算出回路， １０２２ 予測部， １０２２1乃至１０２２4 ローカルデコード部， １０７２1乃至１０７２4，２０２２ 予測部， ２０２２1乃至２０２２4 ローカルデコード部
Claims (16)
- 第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成する形成手段と、
前記第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力する補正手段と、
前記補正データと所定の予測係数との積和演算によって、前記第１の階層の画像データの予測値を予測する予測手段と、
前記第１の階層の画像データに対する、その予測値の予測誤差を算出する算出手段と、
前記第１の階層についての前記予測誤差と所定の閾値を比較し、前記予測誤差が前記閾値より小さいときの前記補正データを適正なものとして、前記補正手段が出力する前記補正データの適正さを判定する判定手段と、
前記判定手段により前記補正データが適正と判定されたときにおける、前記第１の階層の画像データと、その予測値との差分値を演算する演算手段と、
前記判定手段により適正と判定された前記補正データと、前記差分値とを、画像の符号化結果として出力する出力手段と
を備え、
前記予測誤差が所定の閾値より小さくなく、前記判定手段により、前記補正データが適正ではないと判定された場合、前記補正データが適正であると判定されるまで、前記所定の補正値を前記予測誤差が小さくなるように変化させ、前記補正手段、前記予測手段、前記算出手段、および前記判定手段の処理を繰り返す
ことを特徴とする画像符号化装置。 - 前記予測手段は、
前記補正データを、その性質に応じて所定のクラスに分類する分類手段と、
前記クラスに対応して、前記クラス毎の前記予測係数を算出し、算出した前記予測係数と、前記補正データとの線形結合によって、前記第１の階層の画像データの前記予測値を求める予測値演算手段とを有する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記予測手段は、前記予測係数を求める予測係数演算手段を有し、
前記予測係数演算手段は、学習用の画像データである前記補正データと教師用の画像データである前記第１の階層の画像データとを用いて、前記補正データに基づいた予測値と前記第１の階層の画像データとの予測誤差を最小自乗法により最小とする学習を行うことにより、前記予測係数を求める
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記予測手段は、
前記補正データを、その性質に応じて所定のクラスに分類する分類手段と、
前記補正データに基づいて、前記予測値を算出するための予測係数を、前記クラスごとに求める予測係数演算手段と、
前記補正データの前記クラスについて得られた前記予測係数と、その補正データとから、前記予測値を求める予測値演算手段と
を有する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記出力手段は、前記クラスごとの前記予測係数も出力する
ことを特徴とする請求項４に記載の画像符号化装置。 - 前記予測手段は、
前記補正データに基づいて、前記予測値を算出するための予測係数を、所定のクラスごとに記憶している予測係数記憶手段と、
前記補正データを、その性質に応じて前記所定のクラスのうちのいずれかに分類する分類手段と、
前記補正データの前記クラスについての前記予測係数と、その補正データとから、前記予測値を求める予測値演算手段と
を有する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記予測係数記憶手段に記憶されている前記クラスごとの予測係数は、あらかじめ用意した画像データから、前記第１階層の画像データに対応する教師用の画像データと、前記第２の階層の画像データに対応する学習用の画像データを生成し、前記学習用の画像データに基づいた予測値と、前記教師用の画像データとの予測誤差を最小自乗法により最小とする学習を行うことにより、あらかじめ生成されたものである
ことを特徴とする請求項６に記載の画像符号化装置。 - 前記出力手段は、前記クラスごとの前記予測係数も出力する
ことを特徴とする請求項７に記載の画像符号化装置。 - 前記判定手段は、前記予測誤差が所定値以下であるかどうかによって、前記補正データの適正さを判定し、
前記出力手段は、前記予測誤差が所定値以下になったときにおける前記補正データを出力する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記判定手段は、前記予測誤差が所定値以下であるかどうかによって、前記補正データの適正さを判定し、
前記演算手段は、前記予測誤差が所定値以下になったときにおける前記第１の階層の画像データと、その予測値との差分値を演算する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記出力手段は、前記前記予測誤差が所定値以下になったときにおける前記補正データと、前記差分値とを出力する
ことを特徴とする請求項１０に記載の画像符号化装置。 - 前記演算手段により演算される差分値と、所定の閾値と比較する比較手段をさらに備え、
前記出力手段は、前記差分値が前記所定の閾値以下の場合は、前記画像の符号化結果に、前記差分値を含めずに、前記補正データだけを含める
ことを特徴とする請求項１に記載の画像符号化装置。 - 第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成し、
前記第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力し、
前記補正データと所定の予測係数との積和演算によって、前記第１の階層の画像データの予測値を予測し、
前記第１の階層の画像データに対する、その予測値の予測誤差を算出し、
前記第１の階層についての前記予測誤差と所定の閾値を比較し、前記予測誤差が前記閾値より小さいときの前記補正データを適正なものとして、前記補正データの適正さを判定し、
前記補正データが適正と判定されたときにおける、前記第１の階層の画像データと、その予測値との差分値を演算し、
適正と判定された前記補正データと、前記差分値とを、画像の符号化結果として出力し、
前記予測誤差が所定の閾値より小さくなく、前記補正データが適正ではないと判定された場合、前記補正データが適正であると判定されるまで、前記所定の補正値を前記予測誤差が小さくなるように変化させ、前記第２の階層の画像データに加算して補正し、前記補正データとして出力し、前記補正データを、その性質に応じて所定のクラスに分類し、前記クラスに対応した予測係数と前記補正データとの線形結合により、前記第１の階層の画像データの予測値を予測し、前記第１の階層の画像データに対する、その予測値の予測誤差を算出し、前記予測誤差と所定の閾値との比較に基づいて、前記補正データが適正であるか否かを判定する処理を繰り返す
ことを特徴とする画像符号化方法。 - 第１の階層の画像データよりも画素数の少ない第２の階層の画像データを形成する形成手段と、
前記第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力する補正手段と、
前記補正データと所定の予測係数との積和演算によって、前記第１の階層の画像データの予測値を予測する予測手段と、
前記第１の階層の画像データに対する、その予測値の予測誤差を算出する算出手段と、
前記第１の階層についての前記予測誤差と所定の閾値を比較し、前記予測誤差が前記閾値より小さいときの前記補正データを適正なものとして、前記補正手段が出力する前記補正データの適正さを判定する判定手段と、
前記判定手段により前記補正データが適正と判定されたときにおける、前記第１の階層の画像データと、その予測値との差分値を演算する演算手段と、
前記判定手段により適正と判定された前記補正データと、前記差分値とを、画像の符号化結果として出力する出力手段と
を備え、
前記予測誤差が所定の閾値より小さくなく、前記判定手段により、前記補正データが適正ではないと判定された場合、前記補正データが適正であると判定されるまで、前記所定の補正値を前記予測誤差が小さくなるように変化させ、前記補正手段、前記予測手段、前記算出手段、および前記判定手段の処理を繰り返す
画像符号化装置により得られる符号化データを伝送する
ことを特徴とする伝送方法。 - 第１の階層の画像データよりも少ない画素数であって且つ異なる画素数でなる複数の階層の画像データを形成する形成手段と、
前記複数の階層の内、最小の画素数でなる第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力する補正手段と、
前記補正データと所定の予測係数との積和演算により、前記複数の階層の画像データのうち前記第２の階層の画像データの画素数よりも多く且つ最も近い画素数を有する隣接階層の画像データを予測する第１の予測手段と、
前記予測された画像データと所定の係数との積和演算により、前記複数の階層の画像データのうち前記隣接階層の画像データから上記第1の階層の画像データを、画素数の小さい階層から順番に階層毎に予測する第２の予測手段と、
前記第１の階層の画像データに対する、その予測値の予測誤差を算出する算出手段と、
前記第１の階層についての前記予測誤差と所定の閾値を比較し、前記予測誤差が前記閾値より小さいときの前記補正データを適正なものとして、前記補正手段が出力する前記補正データの適正さを判定する判定手段と、
前記判定手段により前記補正データが適正と判定されたときにおける、前記第１の階層の画像データと、その予測値との差分値を演算する演算手段と、
前記判定手段により適正と判定された前記補正データと、前記差分値とを、画像の符号化結果として出力する出力手段と
を備え、
前記予測誤差が所定の閾値より小さくなく、前記判定手段により、前記補正データが適正ではないと判定された場合、前記補正データが適正であると判定されるまで、前記所定の補正値を前記予測誤差が小さくなるように変化させ、前記補正手段、前記予測手段、前記算出手段、および前記判定手段の処理を繰り返す
ことを特徴とする画像符号化装置。 - 第１の階層の画像データよりも少ない画素数であって且つ異なる画素数でなる複数の階層の画像データを形成する形成ステップと、
前記複数の階層の内、最小の画素数でなる第２の階層の画像データに所定の補正値を加算して補正し、補正データとして出力する補正ステップと、
前記補正データと所定の予測係数との積和演算により、前記複数の階層の画像データのうち前記第２の階層の画像データの画素数よりも多く且つ最も近い画素数を有する隣接階層の画像データを予測する第１の予測ステップと、
前記予測された画像データと所定の係数との積和演算により、前記複数の階層の画像データのうち前記隣接階層の画像データから上記第1の階層の画像データを、画素数の小さい階層から順番に階層毎に予測する第２の予測ステップと、
前記第１の階層の画像データに対する、その予測値の予測誤差を算出する算出ステップと、
前記第１の階層についての前記予測誤差と所定の閾値を比較し、前記予測誤差が前記閾値より小さいときの前記補正データを適正なものとして、前記補正ステップの処理により出力される前記補正データの適正さを判定する判定ステップと、
前記判定ステップの処理により前記補正データが適正と判定されたときにおける、前記第１の階層の画像データと、その予測値との差分値を演算する演算ステップと、
前記判定ステップの処理により適正と判定された前記補正データと、前記差分値とを、画像の符号化結果として出力する出力ステップと
を含み、
前記予測誤差が所定の閾値より小さくなく、前記判定ステップにより、前記補正データが適正ではないと判定された場合、前記補正データが適正であると判定されるまで、前記所定の補正値を前記予測誤差が小さくなるように変化させ、前記補正ステップ、前記予測ステップ、前記算出ステップ、および前記判定ステップの処理を繰り返す
ことを特徴とする画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20847697A JP3912627B2 (ja) | 1996-07-17 | 1997-07-17 | 画像符号化装置および画像符号化方法、並びに伝送方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8-206646 | 1996-07-17 | ||
| JP20664696 | 1996-07-17 | ||
| JP20847697A JP3912627B2 (ja) | 1996-07-17 | 1997-07-17 | 画像符号化装置および画像符号化方法、並びに伝送方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1084548A JPH1084548A (ja) | 1998-03-31 |
| JP3912627B2 true JP3912627B2 (ja) | 2007-05-09 |
Family
ID=16526804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20847697A Expired - Fee Related JP3912627B2 (ja) | 1996-07-17 | 1997-07-17 | 画像符号化装置および画像符号化方法、並びに伝送方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US6292591B1 (ja) |
| EP (1) | EP0820196B1 (ja) |
| JP (1) | JP3912627B2 (ja) |
| KR (1) | KR100538731B1 (ja) |
| CN (1) | CN1197252C (ja) |
| AT (1) | ATE487328T1 (ja) |
| DE (1) | DE69740035D1 (ja) |
| MY (1) | MY116934A (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU718453B2 (en) * | 1996-07-17 | 2000-04-13 | Sony Corporation | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks |
| JP3132456B2 (ja) * | 1998-03-05 | 2001-02-05 | 日本電気株式会社 | 階層的画像符号化方式、及び階層的画像復号方式 |
| JP4300436B2 (ja) * | 1998-09-28 | 2009-07-22 | ソニー株式会社 | 画像データ変換装置及び画像データ変換方法 |
| JP4337186B2 (ja) * | 1998-10-29 | 2009-09-30 | ソニー株式会社 | 画像情報変換装置および画像情報変換方法、学習装置および学習方法 |
| US6658155B1 (en) | 1999-03-25 | 2003-12-02 | Sony Corporation | Encoding apparatus |
| JP2000308021A (ja) * | 1999-04-20 | 2000-11-02 | Niigata Seimitsu Kk | 画像処理回路 |
| AU1765800A (en) * | 1999-12-30 | 2001-07-16 | Swisscom Mobile Ag | Image data transmission method |
| US7113654B2 (en) | 2002-01-31 | 2006-09-26 | Bae Systems Information And Electronic Systems Integration Inc. | Computationally efficient modeling of imagery using scaled, extracted principal components |
| KR100994947B1 (ko) | 2003-01-30 | 2010-11-18 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 코딩 |
| JP2005079793A (ja) * | 2003-08-29 | 2005-03-24 | Nec Corp | 画像通信方法、画像通信システム、画像送信装置および画像受信装置 |
| US7583849B2 (en) * | 2005-07-25 | 2009-09-01 | Microsoft Corporation | Lossless image compression with tree coding of magnitude levels |
| WO2007081137A1 (en) * | 2006-01-09 | 2007-07-19 | Lg Electronics Inc. | Inter-layer prediction method for video signal |
| EP2273776A4 (en) * | 2008-03-31 | 2014-07-16 | Fujitsu Ltd | Image data compression device, decompression device, compression method, decompression method and program |
| AU2013201911B2 (en) * | 2009-08-13 | 2014-10-02 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding image by using large transformation unit |
| KR101474756B1 (ko) | 2009-08-13 | 2014-12-19 | 삼성전자주식회사 | 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치 |
| JP5531496B2 (ja) * | 2009-08-18 | 2014-06-25 | セイコーエプソン株式会社 | 画像処理装置、表示システム、電子機器及び画像処理方法 |
| JP5471165B2 (ja) * | 2009-08-26 | 2014-04-16 | セイコーエプソン株式会社 | 画像処理装置、表示システム、電子機器及び画像処理方法 |
| JP2011227117A (ja) * | 2010-04-15 | 2011-11-10 | Seiko Epson Corp | 画像処理装置、表示システム、電子機器及び画像処理方法 |
| JP5901362B2 (ja) * | 2012-03-08 | 2016-04-06 | 日本放送協会 | 色変換装置、カラーサブサンプリング装置およびこれらのプログラム |
| RU2509364C2 (ru) * | 2012-05-15 | 2014-03-10 | Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" | Способ формирования целочисленных ортогональных декоррелирующих матриц заданных размеров и устройство для его осуществления |
| CN108696756B (zh) * | 2012-09-28 | 2020-12-11 | 夏普株式会社 | 图像编码装置 |
Family Cites Families (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3582314D1 (de) | 1984-12-19 | 1991-05-02 | Sony Corp | Hochleistungsfaehige technik zur kodierung eines digitalen videosignals. |
| JPS6348088A (ja) * | 1986-08-15 | 1988-02-29 | Sony Corp | ディジタル画像信号の補間装置及び補間方法 |
| NL8701261A (nl) | 1987-05-27 | 1988-12-16 | Philips Nv | Televisie-overdrachtsysteem met pyramidale kodeer/dekodeerschakeling. |
| US5122873A (en) * | 1987-10-05 | 1992-06-16 | Intel Corporation | Method and apparatus for selectively encoding and decoding a digital motion video signal at multiple resolution levels |
| US5200962A (en) | 1988-11-03 | 1993-04-06 | Racal-Datacom, Inc. | Data compression with error correction |
| JP2840678B2 (ja) | 1989-07-21 | 1998-12-24 | ソニー株式会社 | 高能率符合化装置 |
| US5193003A (en) | 1989-08-15 | 1993-03-09 | Sony Corporation | Apparatus for decoding digital video data with small memory requirement |
| GB9013217D0 (en) | 1990-06-13 | 1990-08-01 | Indep Broadcasting Authority | Evaluation of detail in video images,and applications thereof |
| GB9022326D0 (en) * | 1990-10-15 | 1990-11-28 | British Telecomm | Signal coding |
| US5680225A (en) | 1991-02-14 | 1997-10-21 | Canon Kabushiki Kaisha | Image reduction with fine-line protection |
| US5331414A (en) * | 1991-12-23 | 1994-07-19 | Intel Corporation | Method and apparatus for encoding a digital motion video signal using pyramid specific filtering |
| GB2262854B (en) * | 1991-12-24 | 1995-05-24 | Sony Broadcast & Communication | Image processing apparatus |
| US5291281A (en) | 1992-06-18 | 1994-03-01 | General Instrument Corporation | Adaptive coding level control for video compression systems |
| JPH06125533A (ja) | 1992-10-13 | 1994-05-06 | Sony Corp | エラー訂正コード付加装置及びエラー訂正装置 |
| JP3104439B2 (ja) * | 1992-11-13 | 2000-10-30 | ソニー株式会社 | 高能率符号化及び／又は復号化装置 |
| KR100360206B1 (ko) | 1992-12-10 | 2003-02-11 | 소니 가부시끼 가이샤 | 화상신호변환장치 |
| JP3271095B2 (ja) * | 1993-06-18 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号の高能率符号化装置および復号装置 |
| JP3572632B2 (ja) | 1993-06-29 | 2004-10-06 | ソニー株式会社 | 異常検出装置 |
| JP3503166B2 (ja) | 1993-07-29 | 2004-03-02 | ソニー株式会社 | 信号変換装置および方法 |
| US5930394A (en) | 1993-08-30 | 1999-07-27 | Sony Corporation | Picture coding apparatus and method thereof |
| US5663764A (en) | 1993-09-30 | 1997-09-02 | Sony Corporation | Hierarchical encoding and decoding apparatus for a digital image signal |
| JP3590996B2 (ja) * | 1993-09-30 | 2004-11-17 | ソニー株式会社 | ディジタル画像信号の階層符号化および復号装置 |
| JP3373008B2 (ja) | 1993-10-20 | 2003-02-04 | オリンパス光学工業株式会社 | 画像像域分離装置 |
| JP3271108B2 (ja) | 1993-12-03 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号の処理装置および方法 |
| JP3846642B2 (ja) * | 1994-01-31 | 2006-11-15 | ソニー株式会社 | 動き量検出方法及び動き量検出装置 |
| US5555465A (en) | 1994-05-28 | 1996-09-10 | Sony Corporation | Digital signal processing apparatus and method for processing impulse and flat components separately |
| JP3470403B2 (ja) * | 1994-08-01 | 2003-11-25 | ソニー株式会社 | ディジタル画像信号の処理装置 |
| US5553160A (en) | 1994-09-01 | 1996-09-03 | Intel Corporation | Method and apparatus for dynamically selecting an image compression process based on image size and color resolution |
| JP3781203B2 (ja) | 1994-11-28 | 2006-05-31 | ソニー株式会社 | 画像信号補間装置及び画像信号補間方法 |
| US5754702A (en) * | 1994-12-02 | 1998-05-19 | Allied Signal Inc. | Scale oriented interband prediction method for image data compression and reconstruction |
| US5625712A (en) | 1994-12-14 | 1997-04-29 | Management Graphics, Inc. | Iterative compression of digital images |
| US5870434A (en) | 1994-12-29 | 1999-02-09 | Sony Corporation | Apparatus and method for quantizing a digital signal based on quantizing steps including odd-numbered steps |
| US5734433A (en) | 1995-06-21 | 1998-03-31 | Sony Corporation | Picture encoding apparatus, picture encoding method, picture encoding and transmitting method, and picture record medium |
| US5703652A (en) | 1995-07-28 | 1997-12-30 | Sony Corporation | Information signal encoding system and method for adaptively encoding an information signal |
| US5825313A (en) | 1995-08-01 | 1998-10-20 | Sony Corporation | Information signal encoding apparatus, encoding method thereof, information signal decoding method, and information signal record medium thereof |
| US5960116A (en) | 1995-11-02 | 1999-09-28 | Canon Kabushiki Kaisha | Image processing apparatus and method for performing prediction data encoding |
| US5812699A (en) | 1995-12-07 | 1998-09-22 | Intel Corporation | Counter-based controller for video compression |
| US5912708A (en) | 1996-12-26 | 1999-06-15 | Sony Corporation | Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium |
| US5969764A (en) | 1997-02-14 | 1999-10-19 | Mitsubishi Electric Information Technology Center America, Inc. | Adaptive video coding method |
| US5880784A (en) | 1997-06-17 | 1999-03-09 | Intel Corporation | Method and apparatus for adaptively switching on and off advanced prediction mode in an H.263 video coder |
-
1997
- 1997-07-15 US US08/893,022 patent/US6292591B1/en not_active Expired - Fee Related
- 1997-07-16 MY MYPI9703243 patent/MY116934A/en unknown
- 1997-07-17 DE DE69740035T patent/DE69740035D1/de not_active Expired - Lifetime
- 1997-07-17 AT AT97112254T patent/ATE487328T1/de active
- 1997-07-17 JP JP20847697A patent/JP3912627B2/ja not_active Expired - Fee Related
- 1997-07-17 EP EP19970112254 patent/EP0820196B1/en not_active Expired - Lifetime
- 1997-07-17 CN CNB971178771A patent/CN1197252C/zh not_active Expired - Fee Related
- 1997-07-18 KR KR1019970034126A patent/KR100538731B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR980012963A (ko) | 1998-04-30 |
| US6292591B1 (en) | 2001-09-18 |
| MY116934A (en) | 2004-04-30 |
| CN1182984A (zh) | 1998-05-27 |
| EP0820196A3 (en) | 1999-05-19 |
| CN1197252C (zh) | 2005-04-13 |
| EP0820196B1 (en) | 2010-11-03 |
| EP0820196A2 (en) | 1998-01-21 |
| JPH1084548A (ja) | 1998-03-31 |
| ATE487328T1 (de) | 2010-11-15 |
| KR100538731B1 (ko) | 2006-02-28 |
| DE69740035D1 (de) | 2010-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3912627B2 (ja) | 画像符号化装置および画像符号化方法、並びに伝送方法 | |
| JP3748088B2 (ja) | 画像処理装置および方法、並びに学習装置および方法 | |
| JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
| KR20000068542A (ko) | 비디오 엔코더, 비디오 디코더, 비디오 프로세서 및 그 방법 | |
| JP3915855B2 (ja) | 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 | |
| KR100537123B1 (ko) | 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록매체 | |
| EP0825776B1 (en) | Image coding using sub-sampling, classification of pixel blocks and association of mapping coefficients | |
| KR100574732B1 (ko) | 영상코딩장치,영상코딩방법,영상디코딩방법,영상디코딩장치,영상데이터전송방법및기록매체 | |
| JP3747970B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP4582416B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JP4534951B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JP3912629B2 (ja) | 画像処理システム、画像符号化装置および画像符号化方法、伝送方法、並びに記録媒体 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP3912628B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体 | |
| JP3844031B2 (ja) | 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法 | |
| JP3952326B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JP4496494B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JP4487900B2 (ja) | 画像処理システム | |
| JP3258217B2 (ja) | 符号化／復号化の方法及びその装置 | |
| EP1298934A1 (en) | Apparatus and method for image coding and decoding | |
| JP4566877B2 (ja) | 画像処理装置および方法 | |
| JP4807349B2 (ja) | 学習装置および方法 | |
| JP4123452B2 (ja) | 画像処理装置および画像処理方法 | |
| KR100598754B1 (ko) | 원 화상 데이타 부호화 장치, 부호화 화상 데이타 복호화 장치, 원 화상 데이타 부호화 방법, 부호화 화상 데이타 복호화 방법, 화상 데이타 송신 방법, 컴퓨터로 판독 가능한 기록 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070125 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140209 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |