JP4752088B2 - データ処理装置およびデータ処理方法、並びに記録媒体 - Google Patents
データ処理装置およびデータ処理方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4752088B2 JP4752088B2 JP2000135357A JP2000135357A JP4752088B2 JP 4752088 B2 JP4752088 B2 JP 4752088B2 JP 2000135357 A JP2000135357 A JP 2000135357A JP 2000135357 A JP2000135357 A JP 2000135357A JP 4752088 B2 JP4752088 B2 JP 4752088B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- circuit
- tap
- prediction
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、圧縮された画像を高画質の画像に復号する場合等に用いて好適なデータ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
例えば、ディジタル画像データは、そのデータ量が多いため、そのまま記録や伝送を行うには、大容量の記録媒体や伝送媒体が必要となる。そこで、一般には、画像データを圧縮符号化することにより、そのデータ量を削減してから、記録や伝送が行われる。
【０００３】
画像を圧縮符号化する方式としては、例えば、静止画の圧縮符号化方式であるＪＰＥＧ(Joint Photographic Experts Group)方式や、動画の圧縮符号化方式であるＭＰＥＧ(Moving Picture Experts Group)方式等がある。
【０００４】
例えば、ＪＰＥＧ方式による画像データの符号化／復号は、図１に示すように行われる。
【０００５】
即ち、図１（Ａ）は、従来のＪＰＥＧ符号化装置の一例の構成を示している。
【０００６】
符号化対象の画像データは、ブロック化回路１に入力され、ブロック化回路１は、そこに入力される画像データを、８×８画素の６４画素でなるブロックに分割する。ブロック化回路１で得られる各ブロックは、ＤＣＴ(Discrete Cosine Transform)回路２に供給される。ＤＣＴ回路２は、ブロック化回路１からのブロックに対して、ＤＣＴ（離散コサイン変換）処理を施し、１個のＤＣ(Direct Current)成分と、水平方向および垂直方向についての６３個の周波数成分（ＡＣ(Alternating Current)成分）の、合計６４個のＤＣＴ係数に変換する。各ブロックごとの６４個のＤＣＴ係数は、ＤＣＴ回路２から量子化回路３に供給される。
【０００７】
量子化回路３は、所定の量子化テーブルにしたがって、ＤＣＴ回路２からのＤＣＴ係数を量子化し、その量子化結果（以下、適宜、量子化ＤＣＴ係数という）を、量子化に用いた量子化テーブルとともに、エントロピー符号化回路４に供給する。
【０００８】
ここで、図１（Ｂ）は、量子化回路３において用いられる量子化テーブルの例を示している。量子化テーブルには、一般に、人間の視覚特性を考慮して、重要性の高い低周波数のＤＣＴ係数は細かく量子化し、重要性の低い高周波数のＤＣＴ係数は粗く量子化するような量子化ステップが設定されており、これにより、画像の画質の劣化を抑えて、効率の良い圧縮が行われるようになっている。
【０００９】
エントロピー符号化回路４は、量子化回路３からの量子化ＤＣＴ係数に対して、例えば、ハフマン符号化等のエントロピー符号化処理を施して、量子化回路３からの量子化テーブルを付加し、その結果得られる符号化データを、ＪＰＥＧ符号化結果として出力する。
【００１０】
次に、図１（Ｃ）は、図１（Ａ）のＪＰＥＧ符号化装置が出力する符号化データを復号する、従来のＪＰＥＧ復号装置の一例の構成を示している。
【００１１】
符号化データは、エントロピー復号回路１１に入力され、エントロピー復号回路１１は、符号化データを、エントロピー符号化された量子化ＤＣＴ係数と、量子化テーブルとに分離する。さらに、エントロピー復号回路１１は、エントロピー符号化された量子化ＤＣＴ係数をエントロピー復号し、その結果得られる量子化ＤＣＴ係数を、量子化テーブルとともに、逆量子化回路１２に供給する。逆量子化回路１２は、エントロピー復号回路１１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路１１からの量子化テーブルにしたがって逆量子化し、その結果得られるＤＣＴ係数を、逆ＤＣＴ回路１３に供給する。逆ＤＣＴ回路１３は、逆量子化回路１２からのＤＣＴ係数に、逆ＤＣＴ処理を施し、その結果得られる８×８画素の復号ブロックを、ブロック分解回路１４に供給する。ブロック分解回路１４は、逆ＤＣＴ回路１３からの復号ブロックのブロック化を解くことで、復号画像を得て出力する。
【００１２】
【発明が解決しようとする課題】
図１（Ａ）のＪＰＥＧ符号化装置では、その量子化回路３において、ブロックの量子化に用いる量子化テーブルの量子化ステップを大きくすることにより、符号化データのデータ量を削減することができる。即ち、高圧縮を実現することができる。
【００１３】
しかしながら、量子化ステップを大きくすると、いわゆる量子化誤差も大きくなることから、図１（Ｃ）のＪＰＥＧ復号装置で得られる復号画像の画質が劣化する。即ち、復号画像には、ぼけや、ブロック歪み、モスキートノイズ等が顕著に現れる。
【００１４】
従って、符号化データのデータ量を削減しながら、復号画像の画質を劣化させないようにするには、あるいは、符号化データのデータ量を維持して、復号画像の画質を向上させるには、ＪＰＥＧ復号した後に、何らかの画質向上のための処理を行う必要がある。
【００１５】
しかしながら、ＪＰＥＧ復号した後に、画質向上のための処理を行うことは、処理が煩雑になり、最終的に復号画像が得られるまでの時間も長くなる。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、ＪＰＥＧ符号化された画像等から、効率的に、画質の良い復号画像を得ること等ができるようにするものである。
【００１７】
【課題を解決するための手段】
本発明の第１のデータ処理装置は、学習を行うことにより求められたタップ係数を取得する取得手段と、タップ係数および変換データを用いて、所定の予測演算を行うことにより、変換データを、元のデータに復号するのと同時に、その元のデータに所定の処理を施した処理データを得る演算手段とを備えることを特徴とする。
【００１８】
第１のデータ処理装置において、演算手段には、タップ係数および変換データを用いて、線形１次予測演算を行わせることができる。
【００１９】
第１のデータ処理装置には、タップ係数を記憶している記憶手段をさらに設けることができ、この場合、取得手段には、記憶手段から、タップ係数を取得させることができる。
【００２０】
第１のデータ処理装置において、変換データは、元のデータを、直交変換または周波数変換し、さらに量子化することにより得られたものとすることができる。
【００２１】
第１のデータ処理装置には、変換データを逆量子化する逆量子化手段をさらに設けることができ、演算手段には、逆量子化された変換データを用いて予測演算を行わせることができる。
【００２２】
第１のデータ処理装置において、変換データは、元のデータを、少なくとも、離散コサイン変換したものとすることができる。
【００２３】
第１のデータ処理装置には、処理データのうちの、注目している注目データを予測するのにタップ係数とともに用いる変換データを抽出し、予測タップとして出力する予測タップ抽出手段をさらに設けることができ、この場合、演算手段には、予測タップおよびタップ係数を用いて予測演算を行わせることができる。
【００２４】
第１のデータ処理装置には、注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる変換データを抽出し、クラスタップとして出力するクラスタップ抽出手段と、クラスタップに基づいて、注目データのクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、演算手段には、予測タップおよび注目データのクラスに対応するタップ係数を用いて予測演算を行わせることができる。
【００２５】
第１のデータ処理装置において、演算手段では、所定の予測演算を行うことにより、元のデータに、その品質を向上させる処理を施した処理データを得るようにすることができる。
【００２６】
第１のデータ処理装置において、タップ係数は、タップ係数および変換データを用いて、所定の予測演算を行うことにより得られる処理データの予測値の予測誤差が、統計的に最小になるように、学習を行うことにより得られたものとすることができる。
【００２７】
第１のデータ処理装置において、元のデータは、動画または静止画の画像データとすることができる。
【００２８】
第１のデータ処理装置において、演算手段では、所定の予測演算を行うことにより、画像データに、その画質を向上させる処理を施した処理データを得るようにすることができる。
【００２９】
第１のデータ処理装置において、演算手段では、画像データの時間または空間方向の解像度を向上させた処理データを得るようにすることができる。
【００３０】
本発明の第１のデータ処理方法は、学習を行うことにより求められたタップ係数を取得する取得ステップと、タップ係数および変換データを用いて、所定の予測演算を行うことにより、変換データを、元のデータに復号するのと同時に、その元のデータに所定の処理を施した処理データを得る演算ステップとを備えることを特徴とする。
【００３１】
本発明の第１の記録媒体は、学習を行うことにより求められたタップ係数を取得する取得ステップと、タップ係数および変換データを用いて、所定の予測演算を行うことにより、変換データを、元のデータに復号するのと同時に、その元のデータに所定の処理を施した処理データを得る演算ステップとを備えるプログラムが記録されていることを特徴とする。
【００３２】
本発明の第２のデータ処理装置は、教師となる教師データに、所定の処理に基づく処理を施し、準教師データを得る準教師データ生成手段と、準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データを生成する生徒データ生成手段と、タップ係数および生徒データを用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を求める学習手段とを備えることを特徴とする。
【００３３】
第２のデータ処理装置において、学習手段には、タップ係数および生徒データを用いて線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行わせることができる。
【００３４】
第２のデータ処理装置において、生徒データ生成手段には、準教師データを、直交変換または周波数変換し、さらに量子化することにより、生徒データを生成させることができる。
【００３５】
第２のデータ処理装置において、生徒データ生成手段には、準教師データを、直交変換または周波数変換して量子化し、さらに逆量子化することにより、生徒データを生成させることができる。
【００３６】
第２のデータ処理装置において、生徒データ生成手段には、準教師データを、少なくとも、離散コサイン変換することにより、生徒データを生成させることができる。
【００３７】
第２のデータ処理装置には、教師データのうちの、注目している注目教師データを予測するのにタップ係数とともに用いる生徒データを抽出し、予測タップとして出力する予測タップ抽出手段をさらに設けることができ、この場合、学習手段には、予測タップおよびタップ係数を用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行わせることができる。
【００３８】
第２のデータ処理装置には、注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒データを抽出し、クラスタップとして出力するクラスタップ抽出手段と、クラスタップに基づいて、注目教師データのクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、学習手段には、予測タップおよび注目教師データのクラスに対応するタップ係数を用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行わせ、クラスごとのタップ係数を求めさせることができる。
【００３９】
第２のデータ処理装置において、生徒データ生成手段には、準教師データを、所定の単位ごとに、少なくとも、直交変換処理または周波数変換することにより、生徒データを生成させることができる。
【００４０】
第２のデータ処理装置において、準教師データ生成手段には、教師データに、その品質を劣化させる処理を施すことにより、準教師データを生成させることができる。
【００４１】
第２のデータ処理装置において、教師データは、動画または静止画の画像データとすることができる。
【００４２】
第２のデータ処理装置において、準教師データ生成手段には、画像データに、その画質を劣化させる処理を施すことにより、準教師データを生成させることができる。
【００４３】
第２のデータ処理装置において、準教師データ生成手段には、画像データの時間または空間方向の解像度を劣化させた準教師データを生成させることができる。
【００４４】
本発明の第２のデータ処理方法は、教師となる教師データに、所定の処理に基づく処理を施し、準教師データを得る準教師データ生成ステップと、準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データを生成する生徒データ生成ステップと、タップ係数および生徒データを用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を求める学習ステップとを備えることを特徴とする。
【００４５】
本発明の第２の記録媒体は、教師となる教師データに、所定の処理に基づく処理を施し、準教師データを得る準教師データ生成ステップと、準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データを生成する生徒データ生成ステップと、タップ係数および生徒データを用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を求める学習ステップとを備えるプログラムが記録されていることを特徴とする。
【００４６】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体においては、学習を行うことにより求められたタップ係数が取得され、そのタップ係数および変換データを用いて、所定の予測演算が行われることにより、変換データを、元のデータに復号するのと同時に、その元のデータに所定の処理を施した処理データが得られる。
【００４７】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体においては、教師となる教師データに、所定の処理に基づく処理が施され、その結果得られる準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データが生成される。そして、タップ係数および生徒データを用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習が行われ、タップ係数が求められる。
【００４８】
【発明の実施の形態】
図２は、本発明を適用した画像伝送システムの一実施の形態の構成例を示している。
【００４９】
伝送すべき画像データは、エンコーダ２１に供給されるようになっており、エンコーダ２１は、そこに供給される画像データを、例えば、ＪＰＥＧ符号化し、符号化データとする。即ち、エンコーダ２１は、例えば、前述の図１（Ａ）に示したＪＰＥＧ符号化装置と同様に構成されており、画像データをＪＰＥＧ符号化する。エンコーダ２１がＪＰＥＧ符号化を行うことにより得られる符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体２３に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体２４を介して伝送される。
【００５０】
デコーダ２２は、記録媒体２３または伝送媒体２４を介して提供される符号化データを受信して、高画質の画像データに復号する。この復号化された高画質の画像データは、例えば、図示せぬモニタに供給されて表示等される。
【００５１】
次に、図３は、図２のデコーダ２２の構成例を示している。
【００５２】
符号化データは、エントロピー復号回路３１に供給されるようになっており、エントロピー復号回路３１は、符号化データを、エントロピー復号して、その結果得られるブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回路３２に供給する。なお、符号化データには、図１（Ｃ）のエントロピー復号回路１１で説明した場合と同様に、エントロピー符号化された量子化ＤＣＴ係数の他、量子化テーブルも含まれるが、この量子化テーブルは、後述するように、必要に応じて、量子化ＤＣＴ係数の復号に用いることが可能である。
【００５３】
係数変換回路３２は、エントロピー復号回路３１からの量子化ＤＣＴ係数Ｑと、後述する学習を行うことにより求められるタップ係数を用いて、所定の予測演算を行うことにより、ブロックごとの量子化ＤＣＴ係数を、８×８画素の元のブロックに復号し、かつ、さらに、その元のブロックの画質を向上させる処理を施したデータを得る。即ち、元のブロックは８×８画素で構成されるが、係数変換回路３２は、タップ係数を用いた予測演算を行うことにより、その８×８画素のブロックの横および縦方向の空間解像度を、いずれも２倍にした１６×１６画素でなるブロックを得る。従って、係数変換回路３２は、ここでは、図４に示すように、８×８の量子化ＤＣＴ係数で構成されるブロックを、１６×１６画素で構成されるブロックに復号して出力する。
【００５４】
ブロック分解回路３３は、係数変換回路３２において得られる１６×１６画素のブロックのブロック化を解くことで、空間解像度を向上させた復号画像を得て出力する。
【００５５】
次に、図５のフローチャートを参照して、図３のデコーダ２２の処理について説明する。
【００５６】
符号化データは、エントロピー復号回路３１に順次供給され、ステップＳ１において、エントロピー復号回路３１は、符号化データをエントロピー復号し、ブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回路３２に供給する。係数変換回路３２は、ステップＳ２において、エントロピー復号回路３１からのブロックごとの量子化ＤＣＴ係数Ｑを、タップ係数を用いた予測演算を行うことにより、ブロックごとの画素値に復号し、かつ、そのブロックの空間解像度を向上させた、いわば高解像度のブロックを得て、ブロック分解回路３３に供給する。ブロック分解回路３３は、ステップＳ３において、係数変換回路３２からの、空間解像度が向上された画素値のブロックのブロック化を解くブロック分解を行い、その結果得られる高解像度の復号画像を出力して、処理を終了する。
【００５７】
次に、図３の係数変換回路３２では、例えば、クラス分類適応処理を利用して、量子化ＤＣＴ係数を、画素値に復号し、さらに、その空間解像度を向上させた画像を得ることができる。
【００５８】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。なお、ここでは、説明を簡単にするために、適応処理について、量子化ＤＣＴ係数を、元の画像に復号する場合を例に説明する。
【００５９】
この場合、適応処理では、例えば、量子化ＤＣＴ係数と、所定のタップ係数との線形結合により、元の画素の予測値を求めることで、量子化ＤＣＴ係数が、元の画素値に復号される。
【００６０】
具体的には、例えば、いま、ある画像を教師データとするとともに、その画像を、ブロック単位でＤＣＴ処理し、さらに量子化して得られる量子化ＤＣＴ係数を生徒データとして、教師データである画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかの量子化ＤＣＴ係数ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００６１】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【００６２】
式（１）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【００６３】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００６４】
そして、この観測方程式に最小自乗法を適用して、元の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる真の画素値ｙの集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００６５】
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００６６】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００６７】
この場合、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００６８】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００６９】
【数４】
・・・（４）
【００７０】
そこで、まず、式（３）を、タップ係数ｗjで微分することにより、次式が成立する。
【００７１】
【数５】
・・・（５）
【００７２】
式（４）および（５）より、式（６）が得られる。
【００７３】
【数６】
・・・（６）
【００７４】
さらに、式（３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００７５】
【数７】
・・・（７）
【００７６】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ
・・・（８）
で表すことができる。
【００７７】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適なタップ係数（ここでは、自乗誤差を最小にするタップ係数）ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００７８】
以上のようにして、最適なタップ係数ｗjを求めておき、さらに、そのタップ係数ｗjを用い、式（１）により、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００７９】
なお、例えば、教師データとして、ＪＰＥＧ符号化する画像と同一画質の画像を用いるとともに、生徒データとして、その教師データをＤＣＴおよび量子化して得られる量子化ＤＣＴ係数を用いた場合、タップ係数としては、ＪＰＥＧ符号化された画像データを、元の画像データに復号するのに、予測誤差が、統計的に最小となるものが得られることになる。
【００８０】
従って、ＪＰＥＧ符号化を行う際の圧縮率を高くしても、即ち、量子化に用いる量子化ステップを粗くしても、適応処理によれば、予測誤差が、統計的に最小となる復号処理が施されることになり、実質的に、ＪＰＥＧ符号化された画像の復号処理と、その画質を向上させるための処理（以下、適宜、向上処理という）とが、同時に施されることになる。その結果、圧縮率を高くしても、復号画像の画質を維持することができる。
【００８１】
また、例えば、教師データとして、ＪＰＥＧ符号化する画像よりも高画質の画像を用いるとともに、生徒データとして、その教師データの画質を、ＪＰＥＧ符号化する画像と同一画質に劣化させ、さらに、ＤＣＴおよび量子化して得られる量子化ＤＣＴ係数を用いた場合、タップ係数としては、ＪＰＥＧ符号化された画像データを高画質の画像データに復号するのに、予測誤差が、統計的に最小となるものが得られることになる。
【００８２】
従って、この場合も、適応処理によれば、ＪＰＥＧ符号化された画像の復号処理と、その画質をより向上させるための向上処理とが、同時に施されることになる。なお、上述したことから、教師データまたは生徒データとなる画像の画質を変えることで、復号画像の画質を任意のレベルとするタップ係数を得ることができる。
【００８３】
図６は、以上のようなクラス分類適応処理により、量子化ＤＣＴ係数を画素値に復号する、図３の係数変換回路３２の第１の構成例を示している。
【００８４】
エントロピー復号回路３１（図３）が出力するブロックごとの量子化ＤＣＴ係数は、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給されるようになっている。
【００８５】
予測タップ抽出回路４１は、そこに供給される８×８の量子化ＤＣＴ係数のブロック（以下、適宜、ＤＣＴブロックという）に対応する高画質の画素値のブロック（この画素値のブロックは、現段階では存在しないが、仮想的に想定される）（以下、適宜、高画質ブロックという）（本実施の形態では、上述したように、１６×１６画素のブロック）を、順次、注目高画質ブロックとし、さらに、その注目高画質ブロックを構成する各画素を、例えば、いわゆるラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出回路４１は、注目画素の画素値を予測するのに用いる量子化ＤＣＴ係数を抽出し、予測タップとする。
【００８６】
即ち、予測タップ抽出回路４１は、例えば、図７に示すように、注目画素が属する高画質ブロックに対応するＤＣＴブロックのすべての量子化ＤＣＴ係数、即ち、８×８の６４個の量子化ＤＣＴ係数を、予測タップとして抽出する。従って、本実施の形態では、ある高画質ブロックのすべての画素について、同一の予測タップが構成される。但し、予測タップは、注目画素ごとに、異なる量子化ＤＣＴ係数で構成することが可能である。
【００８７】
予測タップ抽出回路４１において得られる、高画質ブロックを構成する各画素についての予測タップ、即ち、１６×１６の２５６画素それぞれについての２５６セットの予測タップは、積和演算回路４５に供給される。但し、本実施の形態では、上述したように、高画質ブロックのすべての画素について、同一の予測タップが構成されるので、実際には、１つの高画質ブロックに対して、１セットの予測タップを、積和演算回路４５に供給すれば良い。
【００８８】
クラスタップ抽出回路４２は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる量子化ＤＣＴ係数を抽出して、クラスタップとする。
【００８９】
なお、ＪＰＥＧ符号化では、画像が、８×８画素のブロック（以下、適宜、画素ブロックという）ごとに符号化（ＤＣＴ処理および量子化）されることから、ある画素ブロックを高画質化した高画質ブロックに属する画素は、例えば、すべて同一のクラスにクラス分類することとする。従って、クラスタップ抽出回路４２は、ある高画質ブロックの各画素については、同一のクラスタップを構成する。即ち、クラスタップ抽出回路４２は、例えば、予測タップ抽出回路４１における場合と同様に、図７に示したような、注目画素が属する高画質ブロックに対応するＤＣＴブロックの８×８個のすべての量子化ＤＣＴ係数を、クラスタップとして抽出する。
【００９０】
ここで、高画質ブロックに属する各画素を、すべて同一のクラスにクラス分類するということは、その高画質ブロックをクラス分類することと等価である。従って、クラスタップ抽出回路４２には、注目高画質ブロックを構成する１６×１６の合計２５６画素それぞれをクラス分類するための２５６セットのクラスタップではなく、注目高画質ブロックをクラス分類するための１セットのクラスタップを構成させれば良く、このため、クラスタップ抽出回路４２は、高画質ブロックごとに、その高画質ブロックをクラス分類するために、その高画質ブロックに対応するＤＣＴブロックの６４個の量子化ＤＣＴ係数を抽出して、クラスタップとするようになっている。
【００９１】
なお、予測タップやクラスタップを構成する量子化ＤＣＴ係数は、上述したパターンのものに限定されるものではない。
【００９２】
クラスタップ抽出回路４２において得られる、注目高画質ブロックのクラスタップは、クラス分類回路４３に供給されるようになっており、クラス分類回路４３は、クラスタップ抽出回路４２からのクラスタップに基づき、注目高画質ブロックをクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【００９３】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００９４】
ADRCを用いる方法では、クラスタップを構成する量子化ＤＣＴ係数が、ADRC処理され、その結果得られるADRCコードにしたがって、注目高画質ブロックのクラスが決定される。
【００９５】
なお、KビットADRCにおいては、例えば、クラスタップを構成する量子化ＤＣＴ係数の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する量子化ＤＣＴ係数がKビットに再量子化される。即ち、クラスタップを構成する量子化ＤＣＴ係数の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各量子化ＤＣＴ係数を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各量子化ＤＣＴ係数は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各量子化ＤＣＴ係数が１ビットとされる（２値化される）。そして、その１ビットの量子化ＤＣＴ係数を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００９６】
なお、クラス分類回路４３には、例えば、クラスタップを構成する量子化ＤＣＴ係数のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個の量子化ＤＣＴ係数で構成され、各量子化ＤＣＴ係数に、Ｋビットが割り当てられているとすると、クラス分類回路４３が出力するクラスコードの場合の数は、（２N）K通りとなり、量子化ＤＣＴ係数のビット数Ｋに指数的に比例した膨大な数となる。
【００９７】
従って、クラス分類回路４３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【００９８】
ところで、本実施の形態では、クラスタップは、上述したように、６４個の量子化ＤＣＴ係数で構成される。従って、例えば、仮に、クラスタップを１ビットADRC処理することにより、クラス分類を行うこととしても、クラスコードの場合の数は、２64通りという大きな値となる。
【００９９】
そこで、本実施の形態では、クラス分類回路４３において、クラスタップを構成する量子化ＤＣＴ係数から、重要性の高い特徴量を抽出し、その特徴量に基づいてクラス分類を行うことで、クラス数を低減するようになっている。
【０１００】
即ち、図８は、図６のクラス分類回路４３の構成例を示している。
【０１０１】
クラスタップは、電力演算回路５１に供給されるようになっており、電力演算回路５１は、クラスタップを構成する量子化ＤＣＴ係数を、幾つかの空間周波数帯域のものに分け、各周波数帯域の電力を演算する。
【０１０２】
即ち、電力演算回路５１は、クラスタップを構成する８×８個の量子化ＤＣＴ係数を、例えば、図９に示すような４つの空間周波数帯域Ｓ0，Ｓ1，Ｓ2，Ｓ3に分割する。
【０１０３】
ここで、クラスタップを構成する８×８個の量子化ＤＣＴ係数それぞれを、アルファベットｘに、図７に示したような、ラスタスキャン順に、０からのシーケンシャルな整数を付して表すこととすると、空間周波数帯域Ｓ0は、４個の量子化ＤＣＴ係数ｘ0，ｘ1，ｘ8，ｘ9から構成され、空間周波数帯域Ｓ1は、１２個の量子化ＤＣＴ係数ｘ2，ｘ3，ｘ4，ｘ5，ｘ6，ｘ7，ｘ10，ｘ11，ｘ12，ｘ13，ｘ14，ｘ15から構成される。また、空間周波数帯域Ｓ2は、１２個の量子化ＤＣＴ係数ｘ16，ｘ17，ｘ24，ｘ25，ｘ32，ｘ33，ｘ40，ｘ41，ｘ48，ｘ49，ｘ56，ｘ57から構成され、空間周波数帯域Ｓ3は、３６個の量子化ＤＣＴ係数ｘ18，ｘ19，ｘ20，ｘ21，ｘ22，ｘ23，ｘ26，ｘ27，ｘ28，ｘ29，ｘ30，ｘ31，ｘ34，ｘ35，ｘ36，ｘ37，ｘ38，ｘ39，ｘ42，ｘ43，ｘ44，ｘ45，ｘ46，ｘ47，ｘ50，ｘ51，ｘ52，ｘ53，ｘ54，ｘ55，ｘ58，ｘ59，ｘ60，ｘ61，ｘ62，ｘ63から構成される。
【０１０４】
さらに、電力演算回路５１は、空間周波数帯域Ｓ0，Ｓ1，Ｓ2，Ｓ3それぞれについて、量子化ＤＣＴ係数のＡＣ成分の電力Ｐ0，Ｐ1，Ｐ2，Ｐ3を演算し、クラスコード生成回路５２に出力する。
【０１０５】
即ち、電力演算回路５１は、空間周波数帯域Ｓ0については、上述の４個の量子化ＤＣＴ係数ｘ0，ｘ1，ｘ8，ｘ9のうちのＡＣ成分ｘ1，ｘ8，ｘ9の２乗和ｘ1 2＋ｘ8 2＋ｘ9 2を求め、これを、電力Ｐ0として、クラスコード生成回路５２に出力する。また、電力演算回路５１は、空間周波数帯域Ｓ１についての、上述の１２個の量子化ＤＣＴ係数のＡＣ成分、即ち、１２個すべての量子化ＤＣＴ係数の２乗和を求め、これを、電力Ｐ1として、クラスコード生成回路５２に出力する。さらに、電力演算回路５１は、空間周波数帯域Ｓ2とＳ3についても、空間周波数帯域Ｓ1における場合と同様にして、それぞれの電力Ｐ2とＰ3を求め、クラスコード生成回路５２に出力する。
【０１０６】
クラスコード生成回路５２は、電力演算回路５１からの電力Ｐ0，Ｐ1，Ｐ2，Ｐ3を、閾値テーブル記憶部５３に記憶された、対応する閾値ＴＨ０，ＴＨ１，ＴＨ２，ＴＨ３とそれぞれ比較し、それぞれの大小関係に基づいて、クラスコードを出力する。即ち、クラスコード生成回路５２は、電力Ｐ0と閾値ＴＨ０とを比較し、その大小関係を表す１ビットのコードを得る。同様に、クラスコード生成回路５２は、電力Ｐ1と閾値ＴＨ１、電力Ｐ2と閾値ＴＨ２、電力Ｐ3と閾値ＴＨ３を、それぞれ比較することにより、それぞれについて、１ビットのコードを得る。そして、クラスコード生成回路５２は、以上のようにして得られる４つの１ビットのコードを、例えば、所定の順番で並べることにより得られる４ビットのコード（従って、０乃至１５のうちのいずれかの値）を、注目高画質ブロックのクラスを表すクラスコードとして出力する。従って、本実施の形態では、注目高画質ブロックは、２4（＝１６）個のクラスのうちのいずれかにクラス分類されることになる。
【０１０７】
閾値テーブル記憶部５３は、空間周波数帯域Ｓ0乃至Ｓ3の電力Ｐ0乃至Ｐ3それぞれと比較する閾値ＴＨ０乃至ＴＨ３を記憶している。
【０１０８】
なお、上述の場合には、クラス分類処理に、量子化ＤＣＴ係数のＤＣ成分ｘ0が用いられないが、このＤＣ成分ｘ0をも用いてクラス分類処理を行うことも可能である。
【０１０９】
図６に戻り、以上のようなクラス分類回路４３が出力するクラスコードは、係数テーブル記憶部４４に、アドレスとして与えられる。
【０１１０】
係数テーブル記憶部４４は、後述するような学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、クラス分類回路４３が出力するクラスコードに対応するアドレスに記憶されているタップ係数を積和演算回路４５に出力する。
【０１１１】
ここで、本実施の形態では、注目高画質ブロックについて、１つのクラスコードが得られる。一方、高画質ブロックは、本実施の形態では、１６×１６画素の２５６画素で構成されるから、注目高画質ブロックについては、それを構成する２５６画素それぞれを復号するための２５６セットのタップ係数が必要である。従って、係数テーブル記憶部４４には、１つのクラスコードに対応するアドレスに対して、２５６セットのタップ係数が記憶されている。
【０１１２】
積和演算回路４５は、予測タップ抽出回路４１が出力する予測タップと、係数テーブル記憶部４４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる注目高画質ブロックの１６×１６画素の画素値（の予測値）を、対応するＤＣＴブロックの復号結果として、ブロック分解回路３３（図３）に出力する。
【０１１３】
ここで、予測タップ抽出回路４１においては、上述したように、注目高画質ブロックの各画素が、順次、注目画素とされるが、積和演算回路４５は、注目高画質ブロックの、注目画素となっている画素の位置に対応した動作モード（以下、適宜、画素位置モードという）となって、処理を行う。
【０１１４】
即ち、例えば、注目高画質ブロックの画素のうち、ラスタスキャン順で、ｉ番目の画素を、ｐiと表し、画素ｐiが、注目画素となっている場合、積和演算回路４５は、画素位置モード＃ｉの処理を行う。
【０１１５】
具体的には、上述したように、係数テーブル記憶部４４は、注目高画質ブロックを構成する２５６画素それぞれを復号するための２５６セットのタップ係数を出力するが、そのうちの画素ｐiを復号するためのタップ係数のセットをＷiと表すと、積和演算回路４５は、動作モードが、画素位置モード＃ｉのときには、予測タップと、２５６セットのタップ係数のうちのセットＷiとを用いて、式（１）の積和演算を行い、その積和演算結果を、画素ｐiの復号結果とする。
【０１１６】
次に、図１０のフローチャートを参照して、図６の係数変換回路３２の処理について説明する。
【０１１７】
エントロピー復号回路３１（図３）が出力するブロックごとの量子化ＤＣＴ係数は、予測タップ抽出回路４１およびクラスタップ抽出回路４２において順次受信され、予測タップ抽出回路４１は、そこに供給される量子化ＤＣＴ係数のブロック（ＤＣＴブロック）に対応する高画質ブロックを、順次、注目高画質ブロックとする。
【０１１８】
そして、クラスタップ抽出回路４２は、ステップＳ１１において、そこで受信した量子化ＤＣＴ係数の中から、注目高画質ブロックをクラス分類するのに用いるものを抽出して、クラスタップを構成し、クラス分類回路４３に供給する。
【０１１９】
クラス分類回路４３は、ステップＳ１２において、クラスタップ抽出回路４２からのクラスタップを用いて、注目高画質ブロックをクラス分類し、その結果得られるクラスコードを、係数テーブル記憶部４４に出力する。
【０１２０】
即ち、ステップＳ１２では、図１１のフローチャートに示すように、まず最初に、ステップＳ２１において、クラス分類回路４３（図８）の電力演算回路５１が、クラスタップを構成する８×８個の量子化ＤＣＴ係数を、図９に示した４つの空間周波数帯域Ｓ0乃至Ｓ3に分割し、それぞれの電力Ｐ0乃至Ｐ3を演算する。この電力Ｐ0乃至Ｐ3は、電力演算回路５１からクラスコード生成回路５２に出力される。
【０１２１】
クラスコード生成回路５２は、ステップＳ２２において、閾値テーブル記憶部５３から閾値ＴＨ０乃至ＴＨ３を読み出し、電力演算回路５１からの電力Ｐ0乃至Ｐ3それぞれと、閾値ＴＨ０乃至ＴＨ３それぞれとを比較し、それぞれの大小関係に基づいたクラスコードを生成して、リターンする。
【０１２２】
図１０に戻り、ステップＳ１２において以上のようにして得られるクラスコードは、クラス分類回路４３から係数テーブル記憶部４４に対して、アドレスとして与えられる。
【０１２３】
係数テーブル記憶部４４は、クラス分類回路４３からのアドレスとしてのクラスコードを受信すると、ステップＳ１３において、そのアドレスに記憶されている２５６セットのタップ係数（クラスコードのクラスに対応する２５６セットのタップ係数）を読み出し、積和演算回路４５に出力する。
【０１２４】
そして、ステップＳ１４に進み、予測タップ抽出回路４１は、注目高画質ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、その注目画素の画素値を予測するのに用いる量子化ＤＣＴ係数を抽出し、予測タップとして構成する。この予測タップは、予測タップ抽出回路４１から積和演算回路４５に供給される。
【０１２５】
ここで、本実施の形態では、各高画質ブロックごとに、その高画質ブロックのすべての画素について、同一の予測タップが構成されるので、実際には、ステップＳ１４の処理は、注目高画質ブロックについて、最初に注目画素とされる画素に対してだけ行えば、残りの２５５画素に対しては、行う必要がない。
【０１２６】
積和演算回路４５は、ステップＳ１５において、ステップＳ１３で係数テーブル記憶部４４が出力する２５６セットのタップ係数のうち、注目画素に対する画素位置モードに対応するタップ係数のセットを取得し、そのタップ係数のセットと、ステップＳ１４で予測タップ抽出回路４１から供給される予測タップとを用いて、式（１）に示した積和演算を行い、注目画素の画素値の復号値を得る。
【０１２７】
そして、ステップＳ１６に進み、予測タップ抽出回路４１は、注目高画質ブロックのすべての画素を、注目画素として処理を行ったかどうかを判定する。ステップＳ１６において、注目高画質ブロックのすべての画素を、注目画素として、まだ処理を行っていないと判定された場合、ステップＳ１４に戻り、予測タップ抽出回路４１は、注目高画質ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０１２８】
また、ステップＳ１６において、注目高画質ブロックのすべての画素を、注目画素として処理を行ったと判定された場合、即ち、注目高画質ブロックのすべての画素の復号値（８×８の量子化ＤＣＴ係数を、８×８画素に復号し、さらに、その８×８画素を、１６×１６画素に高画質化したもの）が得られた場合、積和演算回路４５は、その復号値で構成される高画質ブロックを、ブロック分解回路３３（図３）に出力し、処理を終了する。
【０１２９】
なお、図１０のフローチャートにしたがった処理は、予測タップ抽出回路４１が、新たな注目高画質ブロックを設定するごとに繰り返し行われる。
【０１３０】
次に、図１２は、図６の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【０１３１】
間引き回路６０には、１枚以上の学習用の画像データが、学習時の教師となる教師データとして供給されるようになっており、間引き回路６０は、その教師データとしての画像について、図６の係数変換回路３２における積和演算回路４５がタップ係数を用いた積和演算を行うことにより施す向上処理に基づく処理を施す。即ち、ここでは、向上処理は、８×８画素を、その横および縦の空間解像度を２倍にした１６×１６画素の高画質のもの（解像度を向上させたもの）に変換する処理であるから、間引き回路６０は、教師データとしての画像データの画素を間引き、その横および縦の画素数を、いずれも１／２にした画像データ（以下、適宜、準教師データという）を生成する。
【０１３２】
なお、準教師データとしての画像データは、エンコーダ２１（図１）においてＪＰＥＧ符号化の対象とされる画像データと同一画質（解像度）のものであり、例えば、いま、このＪＰＥＧ符号化の対象とされる画像を、ＳＤ(Standard Density)画像とすると、教師データとする画像としては、そのＳＤ画像の横および縦の画素数を、いずれも２倍にしたＨＤ(High Density)画像を用いる必要がある。
【０１３３】
ブロック化回路６１は、間引き回路６０が生成する１枚以上の準教師データとしてのＳＤ画像を、ＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化する。
【０１３４】
ＤＣＴ回路６２は、ブロック化回路６１がブロック化した画素ブロックを、順次読み出し、その画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとする。このＤＣＴ係数のブロックは、量子化回路６３に供給される。
【０１３５】
量子化回路６３は、ＤＣＴ回路６２からのＤＣＴ係数のブロックを、エンコーダ２１（図２）におけるＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化し、その結果得られる量子化ＤＣＴ係数のブロック（ＤＣＴブロック）を、予測タップ抽出回路６４およびクラスタップ抽出回路６５に順次供給する。
【０１３６】
予測タップ抽出回路６４は、後述する正規方程式加算回路６７が注目高画質ブロックとする高画質ブロックを構成する１６×１６画素のうちの注目画素となっている画素について、図６の予測タップ抽出回路４１が構成するのと同一の予測タップを、量子化回路６３の出力から、必要な量子化ＤＣＴ係数を抽出することで構成する。この予測タップは、学習時の生徒となる生徒データとして、予測タップ抽出回路６４から正規方程式加算回路６７に供給される。
【０１３７】
クラスタップ抽出回路６５は、注目高画質ブロックについて、図６のクラスタップ抽出回路４２が構成するのと同一のクラスタップを、量子化回路６３の出力から、必要な量子化ＤＣＴ係数を抽出することで構成する。このクラスタップは、クラスタップ抽出回路６５からクラス分類回路６６に供給される。
【０１３８】
クラス分類回路６６は、クラスタップ抽出回路６５からのクラスタップを用いて、図６のクラス分類回路４３と同一の処理を行うことで、注目高画質ブロックをクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６７に供給する。
【０１３９】
正規方程式加算回路６７には、間引き回路６０に教師データとして供給されるのと同一のＨＤ画像が供給されるようになっており、正規方程式加算回路６７は、そのＨＤ画像を、１６×１６画素の高画質ブロックにブロック化し、その高画質ブロックを、順次、注目高画質ブロックとする。さらに、正規方程式加算回路６７は、注目高画質ブロックを構成する１６×１６画素のうち、例えば、ラスタスキャン順で、まだ注目画素とされていないものを、順次、注目画素とし、その注目画素（の画素値）と、予測タップ構成回路６４からの予測タップ（を構成する量子化ＤＣＴ係数）を対象とした足し込みを行う。
【０１４０】
即ち、正規方程式加算回路６７は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１４１】
さらに、正規方程式加算回路６７は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１４２】
なお、正規方程式加算回路６７における、上述のような足し込みは、各クラスについて、注目画素に対する画素位置モードごとに行われる。
【０１４３】
正規方程式加算回路６７は、以上の足し込みを、そこに供給される教師データとしてのＨＤ画像を構成する画素すべてを注目画素として行い、これにより、各クラスについて、画素位置モードごとに、式（８）に示した正規方程式をたてる。
【０１４４】
タップ係数決定回路６８は、正規方程式加算回路６７においてクラスごとに（かつ、画素位置モードごとに）生成された正規方程式を解くことにより、クラスごとに、２５６セットのタップ係数を求め、係数テーブル記憶部６９の、各クラスに対応するアドレスに供給する。
【０１４５】
なお、学習用の画像として用意する画像の枚数や、その画像の内容等によっては、正規方程式加算回路６７において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、タップ係数決定回路６８は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０１４６】
係数テーブル記憶部６９は、タップ係数決定回路６８から供給されるクラスごとの２５６セットのタップ係数を記憶する。
【０１４７】
次に、図１３のフローチャートを参照して、図１２の学習装置の処理（学習処理）について説明する。
【０１４８】
間引き回路６０には、学習用の画像データであるＨＤ画像が、教師データとして供給され、間引き回路６０は、ステップＳ３０において、その教師データとしてのＨＤ画像の画素を間引き、その横および縦の画素数を、いずれも１／２にした準教師データとしてのＳＤ画像を生成する。
【０１４９】
そして、ブロック化回路６１は、ステップＳ３１において、間引き回路６０で得られた準教師データとしてのＳＤ画像を、エンコーダ２１（図２）によるＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化して、ステップＳ３２に進む。ステップＳ３２では、ＤＣＴ回路６２が、ブロック化回路６１がブロック化した画素ブロックを、順次読み出し、その画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとし、ステップＳ３３に進む。ステップＳ３３では、量子化回路６３が、ＤＣＴ回路６２において得られたＤＣＴ係数のブロックを順次読み出し、エンコーダ２１におけるＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化して、量子化ＤＣＴ係数で構成されるブロック（ＤＣＴブロック）とする。
【０１５０】
一方、正規方程式加算回路６７にも、教師データとしてのＨＤ画像が供給され、正規方程式加算回路６７は、そのＨＤ画像を、１６×１６画素の高画質ブロックにブロック化し、ステップＳ３４において、その高画質ブロックのうち、まだ、注目高画質ブロックとされていないものを、注目高画質ブロックとする。さらに、ステップＳ３４では、クラスタップ抽出回路６５が、ブロック化回路６１でブロック化された画素ブロックのうち、注目高画質ブロックをクラス分類するのに用いる量子化ＤＣＴ係数を、量子化回路６３で得られたＤＣＴブロックから抽出して、クラスタップを構成し、クラス分類回路６６に供給する。クラス分類回路６６は、ステップＳ３５において、図１１のフローチャートで説明した場合と同様に、クラスタップ抽出回路６５からのクラスタップを用いて、注目高画質ブロックをクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６７に供給して、ステップＳ３６に進む。
【０１５１】
ステップＳ３６では、正規方程式加算回路６７が、注目高画質ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素とし、予測タップ抽出回路６４が、その注目画素について、図６の予測タップ抽出回路４１が構成するのと同一の予測タップを、量子化回路６３の出力から必要な量子化ＤＣＴ係数を抽出することで構成する。そして、予測タップ抽出回路６４は、注目画素についての予測タップを、生徒データとして、正規方程式加算回路６７に供給し、ステップＳ３７に進む。
【０１５２】
ステップＳ３７では、正規方程式加算回路６７は、教師データとしての注目画素と、生徒データとしての予測タップ（を構成する量子化ＤＣＴ係数）を対象として、式（８）の行列Ａとベクトルｖの、上述したような足し込みを行う。なお、この足し込みは、クラス分類回路６６からのクラスコードに対応するクラスごとに、かつ注目画素に対する画素位置モードごとに行われる。
【０１５３】
そして、ステップＳ３８に進み、正規方程式加算回路６７は、注目高画質ブロックのすべての画素を、注目画素として、足し込みを行ったかどうかを判定する。ステップＳ３８において、注目高画質ブロックのすべての画素を、注目画素として、まだ足し込みを行っていないと判定された場合、ステップＳ３６に戻り、正規方程式加算回路６７は、注目高画質ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素とし、以下、同様の処理を繰り返す。
【０１５４】
また、ステップＳ３８において、注目高画質ブロックのすべての画素を、注目画素として、足し込みを行ったと判定された場合、ステップＳ３９に進み、正規方程式加算回路６７は、教師データとしての画像から得られたすべての高画質ブロックを、注目高画質ブロックとして処理を行ったかどうかを判定する。ステップＳ３９において、教師データとしての画像から得られたすべての高画質ブロックを、注目高画質ブロックとして、まだ処理を行っていないと判定された場合、ステップＳ３４に戻り、まだ注目高画質ブロックとされていない高画質ブロックが、新たに注目高画質ブロックとされ、以下、同様の処理が繰り返される。
【０１５５】
一方、ステップＳ３９において、教師データとしての画像から得られたすべての高画質ブロックを、注目高画質ブロックとして処理を行ったと判定された場合、即ち、正規方程式加算回路６７において、各クラスについて、画素位置モードごとの正規方程式が得られた場合、ステップＳ４０に進み、タップ係数決定回路６８は、各クラスの画素位置モードごとに生成された正規方程式を解くことにより、各クラスごとに、そのクラスの２５６の画素位置モードそれぞれに対応する２５６セットのタップ係数を求め、係数テーブル記憶部６９の、各クラスに対応するアドレスに供給して記憶させ、処理を終了する。
【０１５６】
以上のようにして、係数テーブル記憶部６９に記憶された各クラスごとのタップ係数が、図６の係数テーブル記憶部４４に記憶されている。
【０１５７】
従って、係数テーブル記憶部４４に記憶されたタップ係数は、線形予測演算を行うことにより得られる元の画素値の予測値の予測誤差（ここでは、自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであり、その結果、図６の係数変換回路３２によれば、ＪＰＥＧ符号化された画像を、教師データとして用いたＨＤ画像の画質に限りなく近い高画質の画像に復号することができる。
【０１５８】
さらに、係数変換回路３２によれば、上述したように、ＪＰＥＧ符号化された画像の復号処理と、その画質を向上させるための向上処理とが、同時に施されることとなるので、ＪＰＥＧ符号化された画像から、効率的に、高画質化された復号画像を得ることができる。
【０１５９】
次に、図１４は、図３の係数変換回路３２の第２の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１４の係数変換回路３２は、逆量子化回路７１が新たに設けられている他は、基本的に、図６における場合と同様に構成されている。
【０１６０】
図１４の実施の形態において、逆量子化回路７１には、エントロピー復号回路３１（図３）において符号化データをエントロピー復号することにより得られるブロックごとの量子化ＤＣＴ係数が供給される。
【０１６１】
なお、エントロピー復号回路３１においては、上述したように、符号化データから、量子化ＤＣＴ係数の他、量子化テーブルも得られるが、図１４の実施の形態では、この量子化テーブルも、エントロピー復号回路３１から逆量子化回路７１に供給されるようになっている。
【０１６２】
逆量子化回路７１は、エントロピー復号回路３１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路３１からの量子化テーブルにしたがって逆量子化し、その結果得られるＤＣＴ係数を、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給する。
【０１６３】
従って、予測タップ抽出回路４１とクラスタップ抽出回路４２では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成され、以降も、ＤＣＴ係数を対象として、図６における場合と同様の処理が行われる。
【０１６４】
このように、図１４の実施の形態では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として処理が行われるため、係数テーブル記憶部４４に記憶させるタップ係数は、図６における場合と異なるものとする必要がある。
【０１６５】
そこで、図１５は、図１４の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。なお、図中、図１２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１５の学習装置は、量子化回路６３の後段に、逆量子化回路８１が新たに設けられている他は、図１２における場合と基本的に同様に構成されている。
【０１６６】
図１５の実施の形態において、逆量子化回路８１は、逆量子化回路６３が出力する量子化ＤＣＴ係数を、図１４の逆量子化回路７１と同様に逆量子化し、その結果得られるＤＣＴ係数を、予測タップ抽出回路６４およびクラスタップ抽出回路６５に供給する。
【０１６７】
従って、予測タップ抽出回路６４とクラスタップ抽出回路６５では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成され、以降も、ＤＣＴ係数を対象として、図１２における場合と同様の処理が行われる。
【０１６８】
その結果、ＤＣＴ係数が量子化され、さらに逆量子化されることにより生じる量子化誤差の影響を低減するタップ係数が得られることになる。
【０１６９】
次に、図１６は、図３の係数変換回路３２の第３の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１６の係数変換回路３２は、クラスタップ抽出回路４２およびクラス分類回路４３が設けられていない他は、基本的に、図６における場合と同様に構成されている。
【０１７０】
従って、図１６の実施の形態では、クラスという概念がないが、このことは、クラスが１つであるとも考えるから、係数テーブル記憶部４４には、１クラスのタップ係数だけが記憶されており、これを用いて処理が行われる。
【０１７１】
このように、図１６の実施の形態では、係数テーブル記憶部４４に記憶されているタップ係数は、図６における場合と異なるものとなっている。
【０１７２】
そこで、図１７は、図１６の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。なお、図中、図１２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１７の学習装置は、クラスタップ抽出回路６５およびクラス分類回路６６が設けられていない他は、図１２における場合と基本的に同様に構成されている。
【０１７３】
従って、図１７の学習装置では、正規方程式加算回路６７において、上述の足し込みが、クラスには無関係に、画素位置モード別に行われる。そして、タップ係数決定回路６８において、画素位置モードごとに生成された正規方程式を解くことにより、タップ係数が求められる。
【０１７４】
次に、図１８は、図３の係数変換回路３２の第４の構成例を示している。なお、図中、図６または図１４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１８の係数変換回路３２は、クラスタップ抽出回路４２およびクラス分類回路４３が設けられておらず、かつ逆量子化回路７１が新たに設けられている他は、基本的に、図６における場合と同様に構成されている。
【０１７５】
従って、図１８の実施の形態では、上述の図１６の実施の形態における場合と同様に、係数テーブル記憶部４４には、１クラスのタップ係数だけが記憶されており、これを用いて処理が行われる。
【０１７６】
さらに、図１８の実施の形態では、図１４の実施の形態における場合と同様に、予測タップ抽出回路４１において、量子化ＤＣＴ係数ではなく、逆量子化回路７１が出力するＤＣＴ係数を対象として、予測タップが構成され、以降も、ＤＣＴ係数を対象として、処理が行われる。
【０１７７】
従って、図１８の実施の形態でも、係数テーブル記憶部４４に記憶されているタップ係数は、図６における場合と異なるものとなっている。
【０１７８】
そこで、図１９は、図１８の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。なお、図中、図１２または図１５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１９の学習装置は、クラスタップ抽出回路６５およびクラス分類回路６６が設けられておらず、かつ逆量子化回路８１が新たに設けられている他は、図１２における場合と基本的に同様に構成されている。
【０１７９】
従って、図１９の学習装置では、予測タップ抽出回路６４において、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップが構成され、以降も、ＤＣＴ係数を対象として処理が行われる。さらに、正規方程式加算回路６７において、上述の足し込みが、クラスには無関係に行われ、タップ係数決定回路６８において、クラスと無関係に生成された正規方程式を解くことにより、タップ係数が求められる。
【０１８０】
次に、以上においては、静止画を圧縮符号化するＪＰＥＧ符号化された画像を対象としたが、本発明は、動画を圧縮符号化する、例えば、ＭＰＥＧ符号化された画像を対象とすることも可能である。
【０１８１】
即ち、図２０は、ＭＰＥＧ符号化が行われる場合の、図２のエンコーダ２１の構成例を示している。
【０１８２】
ＭＰＥＧ符号化の対象である動画を構成するフレーム（またはフィールド）は、順次、動き検出回路９１と演算器９２に供給される。
【０１８３】
動き検出回路９１は、そこに供給されるフレームについて、１６×１６画素のマクロブロック単位で、動きベクトルを検出し、エントロピー符号化回路９６および動き補償回路１００に供給する。
【０１８４】
演算器９２は、そこに供給される画像が、Ｉ(Intra)ピクチャであれば、そのままブロック化回路９３に供給し、Ｐ(Predictive)またはＢ(Bidirectionally predictive)ピクチャであれば、動き補償回路１００から供給される参照画像との差分を演算して、その差分値を、ブロック化回路９３に供給する。
【０１８５】
ブロック化回路９３は、演算器９２の出力を、８×８画素の画素ブロックにブロック化し、ＤＣＴ回路９４に供給する。ＤＣＴ回路９４は、ブロック化回路９３からの画素ブロックをＤＣＴ処理し、その結果得られるＤＣＴ係数を、量子化回路９５に供給する。量子化回路９５は、ＤＣＴ回路９３からのブロック単位のＤＣＴ係数を所定の量子化ステップで量子化し、その結果得られる量子化ＤＣＴ係数をエントロピー符号化回路９６に供給する。エントロピー符号化回路９６は、量子化回路９５からの量子化ＤＣＴ係数をエントロピー符号化し、動き検出回路９１からの動きベクトルや、その他の必要な情報を付加して、その結果得られる符号化データ（例えば、ＭＰＥＧトランスポートストリーム）を、ＭＰＥＧ符号化結果として出力する。
【０１８６】
量子化回路９５が出力する量子化ＤＣＴ係数のうち、ＩピクチャおよびＰピクチャは、後で符号化されるＰピクチャやＢピクチャの参照画像として用いるのにローカルデコードする必要があるため、エントロピー符号化回路９６の他、逆量子化回路９７にも供給される。
【０１８７】
逆量子化回路９７は、量子化回路９５からの量子化ＤＣＴ係数を逆量子化することにより、ＤＣＴ係数とし、逆ＤＣＴ回路９８に供給する。逆ＤＣＴ回路９８は、逆量子化回路９７からのＤＣＴ係数を逆ＤＣＴ処理し、演算器９９に出力する。演算器９９には、逆ＤＣＴ回路９８の出力の他、動き補償回路１００が出力する参照画像も供給されるようになっており、演算器９９は、逆ＤＣＴ回路９８の出力が、Ｐピクチャのものである場合には、その出力と、動き補償回路１００の出力とを加算することで、元の画像を復号し、動き補償回路１００に供給する。また、演算器９９は、逆ＤＣＴ回路９８の出力が、Ｉピクチャのものである場合には、その出力は、Ｉピクチャの復号画像となっているので、そのまま、動き補償回路１００に供給する。
【０１８８】
動き補償回路１００は、演算器９９から供給される、ローカルデコードされた画像に対して、動き検出回路９１からの動きベクトルにしたがった動き補償を施し、その動き補償後の画像を、参照画像として、演算器９２および９９に供給する。
【０１８９】
ここで、図２１は、以上のようなＭＰＥＧ符号化の結果得られる符号化データを復号する、従来のＭＰＥＧデコーダの一例の構成を示している。
【０１９０】
符号化データは、エントロピー復号回路１１１に供給され、エントロピー復号回路１１１は、符号化データをエントロピー復号し、量子化ＤＣＴ係数、動きベクトル、その他の情報を得る。そして、量子化ＤＣＴ係数は、逆量子化回路１１２に供給され、動きベクトルは、動き補償回路１１６に供給される。
【０１９１】
逆量子化回路１１２は、エントロピー復号回路１１１からの量子化ＤＣＴ係数を逆量子化することにより、ＤＣＴ係数とし、逆ＤＣＴ回路１１３に供給する。逆ＤＣＴ回路１１３は、逆量子化回路１１２からのＤＣＴ係数を逆ＤＣＴ処理し、演算器１１４に出力する。演算器１１４には、逆量子化回路１１３の出力の他、動き補償回路１１６が出力する、既に復号されたＩピクチャまたはＰピクチャを、エントロピー復号回路１１１からの動きベクトルにしたがって動き補償したものが参照画像として供給されるようになっており、演算器１１４は、逆ＤＣＴ回路１１３の出力が、ＰまたはＢピクチャのものである場合には、その出力と、動き補償回路１００の出力とを加算することで、元の画像を復号し、ブロック分解回路１１５に供給する。また、演算器１１４は、逆ＤＣＴ回路１１３の出力が、Ｉピクチャのものである場合には、その出力は、Ｉピクチャの復号画像となっているので、そのまま、ブロック分解回路１１５に供給する。
【０１９２】
ブロック分解回路１１５は、演算器１１４から画素ブロック単位で供給される復号画像のブロック化を解くことで、復号画像を得て出力する。
【０１９３】
一方、動き補償回路１１６は、演算器１１４が出力する復号画像のうちのＩピクチャとＰピクチャを受信し、エントロピー復号回路１１１からの動きベクトルにしたがった動き補償を施す。そして、動き補償回路１１６は、その動き補償後の画像を、参照画像として、演算器１１４に供給する。
【０１９４】
図３のデコーダ２２では、ＭＰＥＧ符号化された符号化データも、上述のように、効率的に、高画質の画像に復号することができる。
【０１９５】
即ち、符号化データは、エントロピー復号回路３１に供給され、エントロピー復号回路３１は、符号化データを、エントロピー復号する。このエントロピー復号の結果得られる量子化ＤＣＴ係数、動きベクトル、その他の情報は、エントロピー復号回路３１から係数変換回路３２に供給される。
【０１９６】
係数変換回路３２は、エントロピー復号回路３１からの量子化ＤＣＴ係数Ｑと、学習を行うことにより求められたタップ係数を用いて、所定の予測演算を行うとともに、エントロピー復号回路３１からの動きベクトルにしたがった動き補償を必要に応じて行うことにより、量子化ＤＣＴ係数を、高画質の画素値に復号し、その高画質の画素値でなる高画質ブロックをブロック分解回路３３に供給する。
【０１９７】
ブロック分解回路３３は、係数変換回路３２において得られた高画質ブロックのブロック化を解くことで、横および縦の画素数がいずれも、ＭＰＥＧ符号化された画像の、例えば２倍になった高画質の復号画像を得て出力する。
【０１９８】
次に、図２２は、デコーダ２２においてＭＰＥＧ符号化された符号化データを復号する場合の、図３の係数変換回路３２の構成例を示している。なお、図中、図１８または図２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２２の係数変換回路３２は、積和演算回路４５の後段に、図２１における演算器１１４および動き補償回路１１６が設けられている他は、図１８における場合と基本的に同様に構成されている。
【０１９９】
従って、図２２の係数変換回路３２では、量子化ＤＣＴ係数が、逆量子化回路７１において逆量子化され、その結果得られるＤＣＴ係数を用いて、予測タップ抽出回路４１において予測タップが構成される。そして、積和演算回路４５が、その予測タップと、係数テーブル記憶部４４に記憶されたタップ係数とを用いた予測演算を行うことにより、横および縦の画素数がいずれも、元の画像の２倍になった高画質のデータを出力する。
【０２００】
そして、演算器１１４は、積和演算回路４５の出力を、必要に応じて、動き補償回路１１６の出力と加算することで、横および縦の画素数がいずれも、元の画像の２倍になった高画質の画像を復号し、ブロック分解回路３３（図３）に出力する。
【０２０１】
即ち、Ｉピクチャについては、積和演算回路４５の出力は、横および縦の画素数がいずれも、元の画像の２倍になった高画質の画像となっているので、演算器１１４は、積和演算回路４５の出力を、そのまま、ブロック分解回路３３に出力する。
【０２０２】
また、ＰまたはＢピクチャについては、積和演算回路４５の出力は、横および縦の画素数がいずれも、元の画像の２倍になった高画質の画像と、高画質の参照画像との差分となっているから、演算器１１４は、積和演算回路４５の出力を、動き補償回路１１６から供給される高画質の参照画像と加算することで、横および縦の画素数がいずれも、元の画像の２倍になった高画質の画像に復号し、ブロック分解回路３３に出力する。
【０２０３】
一方、動き補償回路１１６は、演算器１１４が出力する高画質の復号画像のうち、ＩおよびＰピクチャを受信し、そのＩまたはＰピクチャの高画質の復号画像に対して、エントロピー復号回路３１（図３）からの動きベクトルを用いた動き補償を施すことにより、高画質の参照画像を得て、演算器１１４に供給する。
【０２０４】
なお、ここでは、復号画像の横および縦の画素数が、いずれも、元の画像の２倍になっているので、動き補償回路１１６は、例えば、エントロピー復号回路３１からの動きベクトルの横方向および縦方向の大きさをいずれも２倍にした動きベクトルにしたがって動き補償を行う。
【０２０５】
次に、図２３は、図２２の係数テーブル記憶部４４に記憶させるタップ係数を学習する学習装置の一実施の形態の構成例を示している。なお、図中、図１９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２０６】
間引き回路１２０には、学習用のＨＤ画像が、教師データとして入力され、間引き回路１２０は、例えば、図１２の間引き回路６０と同様に、教師データとしてのＨＤ画像の画素を間引き、その横および縦の画素数を、いずれも１／２にしたＳＤ画像である準教師データを生成する。そして、この準教師データとしてのＳＤ画像は、動きベクトル検出回路１２１および演算器１２２に供給される。
【０２０７】
動きベクトル検出回路１２１、演算器１２２、ブロック化回路１２３、ＤＣＴ回路１２４、量子化回路１２５、逆量子化回路１２７、逆ＤＣＴ回路１２８、演算器１２９、または動き補償回路１３０は、図２０の動きベクトル検出回路９１、演算器９２、ブロック化回路９３、ＤＣＴ回路９４、量子化回路９５、逆量子化回路９７、逆ＤＣＴ回路９８、演算器９９、または動き補償回路１００とそれぞれ同様の処理を行い、これにより、量子化回路１２５からは、図２０の量子化回路９５が出力するのと同様の量子化ＤＣＴ係数が出力される。
【０２０８】
量子化回路１２５が出力する量子化ＤＣＴ係数は、逆量子化回路８１に供給され、逆量子化回路８１は、量子化回路１２５からの量子化ＤＣＴ係数を逆量子化し、ＤＣＴ係数に変換して、予測タップ抽出回路６４に供給する。予測タップ抽出回路６４は、逆量子化回路８１からのＤＣＴ係数から、予測タップを構成し、生徒データとして、正規方程式加算回路６７に供給する。
【０２０９】
一方、教師データとしてのＨＤ画像は、間引き回路１２０の他、演算器１３２にも供給されるようになっている。演算器１３２は、教師データとしてのＨＤ画像から、必要に応じて、補間回路１３１の出力を減算し、正規方程式加算回路６７に供給する。
【０２１０】
即ち、補間回路１３１は、動き補償回路１３０が出力するＳＤ画像の参照画像の横および縦の画素数を２倍にした高画質の参照画像を生成し、演算器１３２に供給する。
【０２１１】
演算器１３２は、そこに供給されるＨＤ画像がＩピクチャである場合には、そのＩピクチャのＨＤ画像を、そのまま、教師データとして、正規方程式加算回路６７に供給する。また、演算器１３２は、そこに供給されるＨＤ画像がＰまたはＢピクチャである場合には、そのＰまたはＢピクチャのＨＤ画像と、補間回路１３１が出力する高画質の参照画像との差分を演算することにより、演算器１２２が出力するＳＤ画像（準教師データ）についての差分を高画質化したものを得て、これを、教師データとして、正規方程式加算回路６７に出力する。
【０２１２】
なお、補間回路１３１では、例えば、単純な補間により画素数を増加させることが可能である。また、補間回路１３１では、例えば、クラス分類適応処理により画素数を増加させることも可能である。さらに、演算器１３２では、教師データとしてのＨＤ画像をＭＰＥＧ符号化し、そのローカルデコードを行って動き補償したものを、参照画像として用いるようにすることが可能である。
【０２１３】
正規方程式加算回路６７は、演算器１３２の出力を教師データとするとともに、逆量子化回路８１からの予測タップを生徒データとして、上述したような足し込みを行い、これにより、正規方程式を生成する。
【０２１４】
そして、タップ係数決定回路６８は、正規方程式加算回路６７で生成された正規方程式を解くことにより、タップ係数を求め、係数テーブル記憶部６９に供給して記憶させる。
【０２１５】
図２２の積和演算回路４５では、このようにして求められたタップ係数を用いて、ＭＰＥＧ符号化された符号化データが復号されるので、やはり、ＭＰＥＧ符号化された画像の復号処理と、その画質を向上させるための処理とを、同時に施すことができ、従って、ＭＰＥＧ符号化された画像から、効率的に、高画質の、即ち、本実施の形態では、横および縦の画素数がいずれも２倍になったＨＤ画像である復号画像を得ることができる。
【０２１６】
なお、図２２の係数変換回路３２は、逆量子化回路７１を設けずに構成することが可能である。この場合、図２３の学習装置は、逆量子化回路８１を設けずに構成すれば良い。
【０２１７】
また、図２２の係数変換回路３２は、図６における場合と同様に、クラスタップ抽出回路４２およびクラス分類回路４３を設けて構成することが可能である。
この場合、図２３の学習装置は、図１２における場合のように、クラスタップ抽出回路６５およびクラス分類回路６６を設けて構成すれば良い。
【０２１８】
さらに、上述の場合には、デコーダ２２（図３）において、元の画像の空間解像度を２倍に向上させた復号画像を得るようにしたが、デコーダ２２では、元の画像の空間解像度を任意の倍数にした復号画像や、さらには、元の画像の時間解像度を向上させた復号画像を得るようにすることも可能である。
【０２１９】
即ち、例えば、ＭＰＥＧ符号化する対象の画像が、図２４（Ａ）に示すような時間解像度が低いものである場合に、デコーダ２２では、その画像をＭＰＥＧ符号化した符号化データを、図２４（Ｂ）に示すような、元の画像の時間解像度を２倍にした画像に復号するようにすることが可能である。さらには、例えば、ＭＰＥＧ符号化する対象の画像が、図２５（Ａ）に示すような、映画で用いられる２４フレーム／秒の画像である場合に、デコーダ２２では、その画像をＭＰＥＧ符号化した符号化データを、図２５（Ｂ）に示すような、元の画像の時間解像度を６０／２４倍にした、６０フレーム／秒の画像に復号するようにすることが可能である。この場合、いわゆる２−３プルダウンを容易に行うことができる。
【０２２０】
ここで、上述のように、デコーダ２２において、時間解像度を向上させる場合には、予測タップやクラスタップは、例えば、図２６に示すように、２以上のフレームのＤＣＴ係数から構成するようにすることが可能である。
【０２２１】
また、デコーダ２２では、空間解像度または時間解像度のうちのいずれか一方だけではなく、両方を向上させた復号画像を得るようにすることも可能である。
【０２２２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２２３】
そこで、図２７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２２４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０２２５】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２２６】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２２７】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２２８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２２９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２３０】
なお、本実施の形態では、画像データを対象としたが、本発明は、その他、例えば、音声データにも適用可能である。
【０２３１】
また、本実施の形態では、少なくとも、ＤＣＴ処理を行うＪＰＥＧ符号化やＭＰＥＧ符号化された符号化データの復号を行うようにしたが、本発明は、その他の直交変換または周波数変換によって変換されたデータの復号に適用可能である。即ち、本発明は、例えば、サブバンド符号化されたデータや、フーリエ変換されたデータ等を復号する場合にも適用可能である。
【０２３２】
さらに、本実施の形態では、デコーダ２２において、復号に用いるタップ係数を、あらかじめ記憶しておくようにしたが、タップ係数は、符号化データに含めて、デコーダ２２に提供するようにすることが可能である。
【０２３３】
また、本実施の形態では、タップ係数を用いた線形１次予測演算によって、復号を行うようにしたが、復号は、その他、２次以上の高次の予測演算によって行うことも可能である。
【０２３４】
【発明の効果】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、学習を行うことにより求められたタップ係数が取得され、そのタップ係数および変換データを用いて、所定の予測演算が行われることにより、変換データを、元のデータに復号し、かつ、その元のデータに所定の処理を施した処理データが得られる。従って、効率的に、変換データを復号し、かつその復号されたデータに所定の処理を施すことが可能となる。
【０２３５】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、教師となる教師データに、所定の処理に基づく処理が施され、その結果得られる準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データが生成される。そして、タップ係数および生徒データを用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習が行われ、タップ係数が求められる。従って、そのタップ係数を用いることにより、効率的に、直交変換または周波数変換されたデータを復号し、かつその復号されたデータに所定の処理を施すことが可能となる。
【図面の簡単な説明】
【図１】従来のＪＰＥＧ符号化／復号を説明するための図である。
【図２】本発明を適用した画像伝送システムの一実施の形態の構成例を示す図である。
【図３】図２のデコーダ２２の構成例を示すブロック図である。
【図４】８×８のＤＣＴ係数が、１６×１６画素に復号される様子を示す図である。
【図５】図３のデコーダ２２の処理を説明するフローチャートである。
【図６】図３の係数変換回路３２の第１の構成例を示すブロック図である。
【図７】予測タップとクラスタップの例を説明する図である。
【図８】図６のクラス分類回路４３の構成例を示すブロック図である。
【図９】図６の電力演算回路５１の処理を説明するための図である。
【図１０】図６の係数変換回路３２の処理を説明するフローチャートである。
【図１１】図１０のステップＳ１２の処理のより詳細を説明するフローチャートである。
【図１２】本発明を適用した学習装置の第１実施の形態の構成例を示すブロック図である。
【図１３】図１２の学習装置の処理を説明するフローチャートである。
【図１４】図３の係数変換回路３２の第２の構成例を示すブロック図である。
【図１５】本発明を適用した学習装置の第２実施の形態の構成例を示すブロック図である。
【図１６】図３の係数変換回路３２の第３の構成例を示すブロック図である。
【図１７】本発明を適用した学習装置の第３実施の形態の構成例を示すブロック図である。
【図１８】図３の係数変換回路３２の第４の構成例を示すブロック図である。
【図１９】本発明を適用した学習装置の第４実施の形態の構成例を示すブロック図である。
【図２０】図２のエンコーダ２１の構成例を示すブロック図である。
【図２１】ＭＰＥＧデコーダの一例の構成を示すブロック図である。
【図２２】図３の係数変換回路３２の第５の構成例を示すブロック図である。
【図２３】本発明を適用した学習装置の第５実施の形態の構成例を示すブロック図である。
【図２４】時間解像度を向上させた画像を示す図である。
【図２５】時間解像度を向上させた画像を示す図である。
【図２６】２以上のフレームのＤＣＴ係数から、クラスタップおよび予測タップを構成することを示す図である。
【図２７】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
２１ エンコーダ， ２２ デコーダ， ２３ 記録媒体， ２４ 伝送媒体， ３１ エントロピー復号回路， ３２ 係数変換回路， ３３ ブロック分解回路， ４１ 予測タップ抽出回路， ４２ クラスタップ抽出回路， ４３クラス分類回路， ４４ 係数テーブル記憶部， ４５積和演算回路， ５１電力演算回路， ５２ クラスコード生成回路， ５３ 閾値テーブル記憶部， ６０ 間引き回路， ６１ ブロック化回路， ６２ ＤＣＴ回路， ６３量子化回路， ６４ 予測タップ抽出回路， ６５ クラスタップ抽出回路，６６ クラス分類回路， ６７ 正規方程式加算回路， ６８ タップ係数決定回路， ６９ 係数テーブル記憶部， ７１，８１ 逆量子化回路， １１４演算器， １１５ 動き補償回路， １２０ 間引き回路， １２１ 動きベクトル検出回路， １２２ 演算器， １２３ ブロック化回路， １２４ ＤＣＴ回路， １２５ 量子化回路， １２７ 逆量子化回路， １２８ 逆ＤＣＴ回路， １２９ 演算器， １３０ 動き補償回路， １３１ 補間回路， １３２ 演算器， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、圧縮された画像を高画質の画像に復号する場合等に用いて好適なデータ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
例えば、ディジタル画像データは、そのデータ量が多いため、そのまま記録や伝送を行うには、大容量の記録媒体や伝送媒体が必要となる。そこで、一般には、画像データを圧縮符号化することにより、そのデータ量を削減してから、記録や伝送が行われる。
【０００３】
画像を圧縮符号化する方式としては、例えば、静止画の圧縮符号化方式であるＪＰＥＧ(Joint Photographic Experts Group)方式や、動画の圧縮符号化方式であるＭＰＥＧ(Moving Picture Experts Group)方式等がある。
【０００４】
例えば、ＪＰＥＧ方式による画像データの符号化／復号は、図１に示すように行われる。
【０００５】
即ち、図１（Ａ）は、従来のＪＰＥＧ符号化装置の一例の構成を示している。
【０００６】
符号化対象の画像データは、ブロック化回路１に入力され、ブロック化回路１は、そこに入力される画像データを、８×８画素の６４画素でなるブロックに分割する。ブロック化回路１で得られる各ブロックは、ＤＣＴ(Discrete Cosine Transform)回路２に供給される。ＤＣＴ回路２は、ブロック化回路１からのブロックに対して、ＤＣＴ（離散コサイン変換）処理を施し、１個のＤＣ(Direct Current)成分と、水平方向および垂直方向についての６３個の周波数成分（ＡＣ(Alternating Current)成分）の、合計６４個のＤＣＴ係数に変換する。各ブロックごとの６４個のＤＣＴ係数は、ＤＣＴ回路２から量子化回路３に供給される。
【０００７】
量子化回路３は、所定の量子化テーブルにしたがって、ＤＣＴ回路２からのＤＣＴ係数を量子化し、その量子化結果（以下、適宜、量子化ＤＣＴ係数という）を、量子化に用いた量子化テーブルとともに、エントロピー符号化回路４に供給する。
【０００８】
ここで、図１（Ｂ）は、量子化回路３において用いられる量子化テーブルの例を示している。量子化テーブルには、一般に、人間の視覚特性を考慮して、重要性の高い低周波数のＤＣＴ係数は細かく量子化し、重要性の低い高周波数のＤＣＴ係数は粗く量子化するような量子化ステップが設定されており、これにより、画像の画質の劣化を抑えて、効率の良い圧縮が行われるようになっている。
【０００９】
エントロピー符号化回路４は、量子化回路３からの量子化ＤＣＴ係数に対して、例えば、ハフマン符号化等のエントロピー符号化処理を施して、量子化回路３からの量子化テーブルを付加し、その結果得られる符号化データを、ＪＰＥＧ符号化結果として出力する。
【００１０】
次に、図１（Ｃ）は、図１（Ａ）のＪＰＥＧ符号化装置が出力する符号化データを復号する、従来のＪＰＥＧ復号装置の一例の構成を示している。
【００１１】
符号化データは、エントロピー復号回路１１に入力され、エントロピー復号回路１１は、符号化データを、エントロピー符号化された量子化ＤＣＴ係数と、量子化テーブルとに分離する。さらに、エントロピー復号回路１１は、エントロピー符号化された量子化ＤＣＴ係数をエントロピー復号し、その結果得られる量子化ＤＣＴ係数を、量子化テーブルとともに、逆量子化回路１２に供給する。逆量子化回路１２は、エントロピー復号回路１１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路１１からの量子化テーブルにしたがって逆量子化し、その結果得られるＤＣＴ係数を、逆ＤＣＴ回路１３に供給する。逆ＤＣＴ回路１３は、逆量子化回路１２からのＤＣＴ係数に、逆ＤＣＴ処理を施し、その結果得られる８×８画素の復号ブロックを、ブロック分解回路１４に供給する。ブロック分解回路１４は、逆ＤＣＴ回路１３からの復号ブロックのブロック化を解くことで、復号画像を得て出力する。
【００１２】
【発明が解決しようとする課題】
図１（Ａ）のＪＰＥＧ符号化装置では、その量子化回路３において、ブロックの量子化に用いる量子化テーブルの量子化ステップを大きくすることにより、符号化データのデータ量を削減することができる。即ち、高圧縮を実現することができる。
【００１３】
しかしながら、量子化ステップを大きくすると、いわゆる量子化誤差も大きくなることから、図１（Ｃ）のＪＰＥＧ復号装置で得られる復号画像の画質が劣化する。即ち、復号画像には、ぼけや、ブロック歪み、モスキートノイズ等が顕著に現れる。
【００１４】
従って、符号化データのデータ量を削減しながら、復号画像の画質を劣化させないようにするには、あるいは、符号化データのデータ量を維持して、復号画像の画質を向上させるには、ＪＰＥＧ復号した後に、何らかの画質向上のための処理を行う必要がある。
【００１５】
しかしながら、ＪＰＥＧ復号した後に、画質向上のための処理を行うことは、処理が煩雑になり、最終的に復号画像が得られるまでの時間も長くなる。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、ＪＰＥＧ符号化された画像等から、効率的に、画質の良い復号画像を得ること等ができるようにするものである。
【００１７】
【課題を解決するための手段】
本発明の第１のデータ処理装置は、学習を行うことにより求められたタップ係数を取得する取得手段と、タップ係数および変換データを用いて、所定の予測演算を行うことにより、変換データを、元のデータに復号するのと同時に、その元のデータに所定の処理を施した処理データを得る演算手段とを備えることを特徴とする。
【００１８】
第１のデータ処理装置において、演算手段には、タップ係数および変換データを用いて、線形１次予測演算を行わせることができる。
【００１９】
第１のデータ処理装置には、タップ係数を記憶している記憶手段をさらに設けることができ、この場合、取得手段には、記憶手段から、タップ係数を取得させることができる。
【００２０】
第１のデータ処理装置において、変換データは、元のデータを、直交変換または周波数変換し、さらに量子化することにより得られたものとすることができる。
【００２１】
第１のデータ処理装置には、変換データを逆量子化する逆量子化手段をさらに設けることができ、演算手段には、逆量子化された変換データを用いて予測演算を行わせることができる。
【００２２】
第１のデータ処理装置において、変換データは、元のデータを、少なくとも、離散コサイン変換したものとすることができる。
【００２３】
第１のデータ処理装置には、処理データのうちの、注目している注目データを予測するのにタップ係数とともに用いる変換データを抽出し、予測タップとして出力する予測タップ抽出手段をさらに設けることができ、この場合、演算手段には、予測タップおよびタップ係数を用いて予測演算を行わせることができる。
【００２４】
第１のデータ処理装置には、注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる変換データを抽出し、クラスタップとして出力するクラスタップ抽出手段と、クラスタップに基づいて、注目データのクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、演算手段には、予測タップおよび注目データのクラスに対応するタップ係数を用いて予測演算を行わせることができる。
【００２５】
第１のデータ処理装置において、演算手段では、所定の予測演算を行うことにより、元のデータに、その品質を向上させる処理を施した処理データを得るようにすることができる。
【００２６】
第１のデータ処理装置において、タップ係数は、タップ係数および変換データを用いて、所定の予測演算を行うことにより得られる処理データの予測値の予測誤差が、統計的に最小になるように、学習を行うことにより得られたものとすることができる。
【００２７】
第１のデータ処理装置において、元のデータは、動画または静止画の画像データとすることができる。
【００２８】
第１のデータ処理装置において、演算手段では、所定の予測演算を行うことにより、画像データに、その画質を向上させる処理を施した処理データを得るようにすることができる。
【００２９】
第１のデータ処理装置において、演算手段では、画像データの時間または空間方向の解像度を向上させた処理データを得るようにすることができる。
【００３０】
本発明の第１のデータ処理方法は、学習を行うことにより求められたタップ係数を取得する取得ステップと、タップ係数および変換データを用いて、所定の予測演算を行うことにより、変換データを、元のデータに復号するのと同時に、その元のデータに所定の処理を施した処理データを得る演算ステップとを備えることを特徴とする。
【００３１】
本発明の第１の記録媒体は、学習を行うことにより求められたタップ係数を取得する取得ステップと、タップ係数および変換データを用いて、所定の予測演算を行うことにより、変換データを、元のデータに復号するのと同時に、その元のデータに所定の処理を施した処理データを得る演算ステップとを備えるプログラムが記録されていることを特徴とする。
【００３２】
本発明の第２のデータ処理装置は、教師となる教師データに、所定の処理に基づく処理を施し、準教師データを得る準教師データ生成手段と、準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データを生成する生徒データ生成手段と、タップ係数および生徒データを用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を求める学習手段とを備えることを特徴とする。
【００３３】
第２のデータ処理装置において、学習手段には、タップ係数および生徒データを用いて線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行わせることができる。
【００３４】
第２のデータ処理装置において、生徒データ生成手段には、準教師データを、直交変換または周波数変換し、さらに量子化することにより、生徒データを生成させることができる。
【００３５】
第２のデータ処理装置において、生徒データ生成手段には、準教師データを、直交変換または周波数変換して量子化し、さらに逆量子化することにより、生徒データを生成させることができる。
【００３６】
第２のデータ処理装置において、生徒データ生成手段には、準教師データを、少なくとも、離散コサイン変換することにより、生徒データを生成させることができる。
【００３７】
第２のデータ処理装置には、教師データのうちの、注目している注目教師データを予測するのにタップ係数とともに用いる生徒データを抽出し、予測タップとして出力する予測タップ抽出手段をさらに設けることができ、この場合、学習手段には、予測タップおよびタップ係数を用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行わせることができる。
【００３８】
第２のデータ処理装置には、注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒データを抽出し、クラスタップとして出力するクラスタップ抽出手段と、クラスタップに基づいて、注目教師データのクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、学習手段には、予測タップおよび注目教師データのクラスに対応するタップ係数を用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行わせ、クラスごとのタップ係数を求めさせることができる。
【００３９】
第２のデータ処理装置において、生徒データ生成手段には、準教師データを、所定の単位ごとに、少なくとも、直交変換処理または周波数変換することにより、生徒データを生成させることができる。
【００４０】
第２のデータ処理装置において、準教師データ生成手段には、教師データに、その品質を劣化させる処理を施すことにより、準教師データを生成させることができる。
【００４１】
第２のデータ処理装置において、教師データは、動画または静止画の画像データとすることができる。
【００４２】
第２のデータ処理装置において、準教師データ生成手段には、画像データに、その画質を劣化させる処理を施すことにより、準教師データを生成させることができる。
【００４３】
第２のデータ処理装置において、準教師データ生成手段には、画像データの時間または空間方向の解像度を劣化させた準教師データを生成させることができる。
【００４４】
本発明の第２のデータ処理方法は、教師となる教師データに、所定の処理に基づく処理を施し、準教師データを得る準教師データ生成ステップと、準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データを生成する生徒データ生成ステップと、タップ係数および生徒データを用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を求める学習ステップとを備えることを特徴とする。
【００４５】
本発明の第２の記録媒体は、教師となる教師データに、所定の処理に基づく処理を施し、準教師データを得る準教師データ生成ステップと、準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データを生成する生徒データ生成ステップと、タップ係数および生徒データを用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を求める学習ステップとを備えるプログラムが記録されていることを特徴とする。
【００４６】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体においては、学習を行うことにより求められたタップ係数が取得され、そのタップ係数および変換データを用いて、所定の予測演算が行われることにより、変換データを、元のデータに復号するのと同時に、その元のデータに所定の処理を施した処理データが得られる。
【００４７】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体においては、教師となる教師データに、所定の処理に基づく処理が施され、その結果得られる準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データが生成される。そして、タップ係数および生徒データを用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習が行われ、タップ係数が求められる。
【００４８】
【発明の実施の形態】
図２は、本発明を適用した画像伝送システムの一実施の形態の構成例を示している。
【００４９】
伝送すべき画像データは、エンコーダ２１に供給されるようになっており、エンコーダ２１は、そこに供給される画像データを、例えば、ＪＰＥＧ符号化し、符号化データとする。即ち、エンコーダ２１は、例えば、前述の図１（Ａ）に示したＪＰＥＧ符号化装置と同様に構成されており、画像データをＪＰＥＧ符号化する。エンコーダ２１がＪＰＥＧ符号化を行うことにより得られる符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体２３に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体２４を介して伝送される。
【００５０】
デコーダ２２は、記録媒体２３または伝送媒体２４を介して提供される符号化データを受信して、高画質の画像データに復号する。この復号化された高画質の画像データは、例えば、図示せぬモニタに供給されて表示等される。
【００５１】
次に、図３は、図２のデコーダ２２の構成例を示している。
【００５２】
符号化データは、エントロピー復号回路３１に供給されるようになっており、エントロピー復号回路３１は、符号化データを、エントロピー復号して、その結果得られるブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回路３２に供給する。なお、符号化データには、図１（Ｃ）のエントロピー復号回路１１で説明した場合と同様に、エントロピー符号化された量子化ＤＣＴ係数の他、量子化テーブルも含まれるが、この量子化テーブルは、後述するように、必要に応じて、量子化ＤＣＴ係数の復号に用いることが可能である。
【００５３】
係数変換回路３２は、エントロピー復号回路３１からの量子化ＤＣＴ係数Ｑと、後述する学習を行うことにより求められるタップ係数を用いて、所定の予測演算を行うことにより、ブロックごとの量子化ＤＣＴ係数を、８×８画素の元のブロックに復号し、かつ、さらに、その元のブロックの画質を向上させる処理を施したデータを得る。即ち、元のブロックは８×８画素で構成されるが、係数変換回路３２は、タップ係数を用いた予測演算を行うことにより、その８×８画素のブロックの横および縦方向の空間解像度を、いずれも２倍にした１６×１６画素でなるブロックを得る。従って、係数変換回路３２は、ここでは、図４に示すように、８×８の量子化ＤＣＴ係数で構成されるブロックを、１６×１６画素で構成されるブロックに復号して出力する。
【００５４】
ブロック分解回路３３は、係数変換回路３２において得られる１６×１６画素のブロックのブロック化を解くことで、空間解像度を向上させた復号画像を得て出力する。
【００５５】
次に、図５のフローチャートを参照して、図３のデコーダ２２の処理について説明する。
【００５６】
符号化データは、エントロピー復号回路３１に順次供給され、ステップＳ１において、エントロピー復号回路３１は、符号化データをエントロピー復号し、ブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回路３２に供給する。係数変換回路３２は、ステップＳ２において、エントロピー復号回路３１からのブロックごとの量子化ＤＣＴ係数Ｑを、タップ係数を用いた予測演算を行うことにより、ブロックごとの画素値に復号し、かつ、そのブロックの空間解像度を向上させた、いわば高解像度のブロックを得て、ブロック分解回路３３に供給する。ブロック分解回路３３は、ステップＳ３において、係数変換回路３２からの、空間解像度が向上された画素値のブロックのブロック化を解くブロック分解を行い、その結果得られる高解像度の復号画像を出力して、処理を終了する。
【００５７】
次に、図３の係数変換回路３２では、例えば、クラス分類適応処理を利用して、量子化ＤＣＴ係数を、画素値に復号し、さらに、その空間解像度を向上させた画像を得ることができる。
【００５８】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。なお、ここでは、説明を簡単にするために、適応処理について、量子化ＤＣＴ係数を、元の画像に復号する場合を例に説明する。
【００５９】
この場合、適応処理では、例えば、量子化ＤＣＴ係数と、所定のタップ係数との線形結合により、元の画素の予測値を求めることで、量子化ＤＣＴ係数が、元の画素値に復号される。
【００６０】
具体的には、例えば、いま、ある画像を教師データとするとともに、その画像を、ブロック単位でＤＣＴ処理し、さらに量子化して得られる量子化ＤＣＴ係数を生徒データとして、教師データである画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかの量子化ＤＣＴ係数ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００６１】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【００６２】
式（１）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
【００６３】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００６４】
そして、この観測方程式に最小自乗法を適用して、元の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる真の画素値ｙの集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００６５】
【数２】
【００６６】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００６７】
この場合、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数３】
【００６８】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００６９】
【数４】
【００７０】
そこで、まず、式（３）を、タップ係数ｗjで微分することにより、次式が成立する。
【００７１】
【数５】
【００７２】
式（４）および（５）より、式（６）が得られる。
【００７３】
【数６】
【００７４】
さらに、式（３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００７５】
【数７】
【００７６】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
ＡＷ＝ｖ
・・・（８）
で表すことができる。
【００７７】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適なタップ係数（ここでは、自乗誤差を最小にするタップ係数）ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００７８】
以上のようにして、最適なタップ係数ｗjを求めておき、さらに、そのタップ係数ｗjを用い、式（１）により、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００７９】
なお、例えば、教師データとして、ＪＰＥＧ符号化する画像と同一画質の画像を用いるとともに、生徒データとして、その教師データをＤＣＴおよび量子化して得られる量子化ＤＣＴ係数を用いた場合、タップ係数としては、ＪＰＥＧ符号化された画像データを、元の画像データに復号するのに、予測誤差が、統計的に最小となるものが得られることになる。
【００８０】
従って、ＪＰＥＧ符号化を行う際の圧縮率を高くしても、即ち、量子化に用いる量子化ステップを粗くしても、適応処理によれば、予測誤差が、統計的に最小となる復号処理が施されることになり、実質的に、ＪＰＥＧ符号化された画像の復号処理と、その画質を向上させるための処理（以下、適宜、向上処理という）とが、同時に施されることになる。その結果、圧縮率を高くしても、復号画像の画質を維持することができる。
【００８１】
また、例えば、教師データとして、ＪＰＥＧ符号化する画像よりも高画質の画像を用いるとともに、生徒データとして、その教師データの画質を、ＪＰＥＧ符号化する画像と同一画質に劣化させ、さらに、ＤＣＴおよび量子化して得られる量子化ＤＣＴ係数を用いた場合、タップ係数としては、ＪＰＥＧ符号化された画像データを高画質の画像データに復号するのに、予測誤差が、統計的に最小となるものが得られることになる。
【００８２】
従って、この場合も、適応処理によれば、ＪＰＥＧ符号化された画像の復号処理と、その画質をより向上させるための向上処理とが、同時に施されることになる。なお、上述したことから、教師データまたは生徒データとなる画像の画質を変えることで、復号画像の画質を任意のレベルとするタップ係数を得ることができる。
【００８３】
図６は、以上のようなクラス分類適応処理により、量子化ＤＣＴ係数を画素値に復号する、図３の係数変換回路３２の第１の構成例を示している。
【００８４】
エントロピー復号回路３１（図３）が出力するブロックごとの量子化ＤＣＴ係数は、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給されるようになっている。
【００８５】
予測タップ抽出回路４１は、そこに供給される８×８の量子化ＤＣＴ係数のブロック（以下、適宜、ＤＣＴブロックという）に対応する高画質の画素値のブロック（この画素値のブロックは、現段階では存在しないが、仮想的に想定される）（以下、適宜、高画質ブロックという）（本実施の形態では、上述したように、１６×１６画素のブロック）を、順次、注目高画質ブロックとし、さらに、その注目高画質ブロックを構成する各画素を、例えば、いわゆるラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出回路４１は、注目画素の画素値を予測するのに用いる量子化ＤＣＴ係数を抽出し、予測タップとする。
【００８６】
即ち、予測タップ抽出回路４１は、例えば、図７に示すように、注目画素が属する高画質ブロックに対応するＤＣＴブロックのすべての量子化ＤＣＴ係数、即ち、８×８の６４個の量子化ＤＣＴ係数を、予測タップとして抽出する。従って、本実施の形態では、ある高画質ブロックのすべての画素について、同一の予測タップが構成される。但し、予測タップは、注目画素ごとに、異なる量子化ＤＣＴ係数で構成することが可能である。
【００８７】
予測タップ抽出回路４１において得られる、高画質ブロックを構成する各画素についての予測タップ、即ち、１６×１６の２５６画素それぞれについての２５６セットの予測タップは、積和演算回路４５に供給される。但し、本実施の形態では、上述したように、高画質ブロックのすべての画素について、同一の予測タップが構成されるので、実際には、１つの高画質ブロックに対して、１セットの予測タップを、積和演算回路４５に供給すれば良い。
【００８８】
クラスタップ抽出回路４２は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる量子化ＤＣＴ係数を抽出して、クラスタップとする。
【００８９】
なお、ＪＰＥＧ符号化では、画像が、８×８画素のブロック（以下、適宜、画素ブロックという）ごとに符号化（ＤＣＴ処理および量子化）されることから、ある画素ブロックを高画質化した高画質ブロックに属する画素は、例えば、すべて同一のクラスにクラス分類することとする。従って、クラスタップ抽出回路４２は、ある高画質ブロックの各画素については、同一のクラスタップを構成する。即ち、クラスタップ抽出回路４２は、例えば、予測タップ抽出回路４１における場合と同様に、図７に示したような、注目画素が属する高画質ブロックに対応するＤＣＴブロックの８×８個のすべての量子化ＤＣＴ係数を、クラスタップとして抽出する。
【００９０】
ここで、高画質ブロックに属する各画素を、すべて同一のクラスにクラス分類するということは、その高画質ブロックをクラス分類することと等価である。従って、クラスタップ抽出回路４２には、注目高画質ブロックを構成する１６×１６の合計２５６画素それぞれをクラス分類するための２５６セットのクラスタップではなく、注目高画質ブロックをクラス分類するための１セットのクラスタップを構成させれば良く、このため、クラスタップ抽出回路４２は、高画質ブロックごとに、その高画質ブロックをクラス分類するために、その高画質ブロックに対応するＤＣＴブロックの６４個の量子化ＤＣＴ係数を抽出して、クラスタップとするようになっている。
【００９１】
なお、予測タップやクラスタップを構成する量子化ＤＣＴ係数は、上述したパターンのものに限定されるものではない。
【００９２】
クラスタップ抽出回路４２において得られる、注目高画質ブロックのクラスタップは、クラス分類回路４３に供給されるようになっており、クラス分類回路４３は、クラスタップ抽出回路４２からのクラスタップに基づき、注目高画質ブロックをクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【００９３】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００９４】
ADRCを用いる方法では、クラスタップを構成する量子化ＤＣＴ係数が、ADRC処理され、その結果得られるADRCコードにしたがって、注目高画質ブロックのクラスが決定される。
【００９５】
なお、KビットADRCにおいては、例えば、クラスタップを構成する量子化ＤＣＴ係数の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する量子化ＤＣＴ係数がKビットに再量子化される。即ち、クラスタップを構成する量子化ＤＣＴ係数の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各量子化ＤＣＴ係数を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各量子化ＤＣＴ係数は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各量子化ＤＣＴ係数が１ビットとされる（２値化される）。そして、その１ビットの量子化ＤＣＴ係数を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００９６】
なお、クラス分類回路４３には、例えば、クラスタップを構成する量子化ＤＣＴ係数のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個の量子化ＤＣＴ係数で構成され、各量子化ＤＣＴ係数に、Ｋビットが割り当てられているとすると、クラス分類回路４３が出力するクラスコードの場合の数は、（２N）K通りとなり、量子化ＤＣＴ係数のビット数Ｋに指数的に比例した膨大な数となる。
【００９７】
従って、クラス分類回路４３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【００９８】
ところで、本実施の形態では、クラスタップは、上述したように、６４個の量子化ＤＣＴ係数で構成される。従って、例えば、仮に、クラスタップを１ビットADRC処理することにより、クラス分類を行うこととしても、クラスコードの場合の数は、２64通りという大きな値となる。
【００９９】
そこで、本実施の形態では、クラス分類回路４３において、クラスタップを構成する量子化ＤＣＴ係数から、重要性の高い特徴量を抽出し、その特徴量に基づいてクラス分類を行うことで、クラス数を低減するようになっている。
【０１００】
即ち、図８は、図６のクラス分類回路４３の構成例を示している。
【０１０１】
クラスタップは、電力演算回路５１に供給されるようになっており、電力演算回路５１は、クラスタップを構成する量子化ＤＣＴ係数を、幾つかの空間周波数帯域のものに分け、各周波数帯域の電力を演算する。
【０１０２】
即ち、電力演算回路５１は、クラスタップを構成する８×８個の量子化ＤＣＴ係数を、例えば、図９に示すような４つの空間周波数帯域Ｓ0，Ｓ1，Ｓ2，Ｓ3に分割する。
【０１０３】
ここで、クラスタップを構成する８×８個の量子化ＤＣＴ係数それぞれを、アルファベットｘに、図７に示したような、ラスタスキャン順に、０からのシーケンシャルな整数を付して表すこととすると、空間周波数帯域Ｓ0は、４個の量子化ＤＣＴ係数ｘ0，ｘ1，ｘ8，ｘ9から構成され、空間周波数帯域Ｓ1は、１２個の量子化ＤＣＴ係数ｘ2，ｘ3，ｘ4，ｘ5，ｘ6，ｘ7，ｘ10，ｘ11，ｘ12，ｘ13，ｘ14，ｘ15から構成される。また、空間周波数帯域Ｓ2は、１２個の量子化ＤＣＴ係数ｘ16，ｘ17，ｘ24，ｘ25，ｘ32，ｘ33，ｘ40，ｘ41，ｘ48，ｘ49，ｘ56，ｘ57から構成され、空間周波数帯域Ｓ3は、３６個の量子化ＤＣＴ係数ｘ18，ｘ19，ｘ20，ｘ21，ｘ22，ｘ23，ｘ26，ｘ27，ｘ28，ｘ29，ｘ30，ｘ31，ｘ34，ｘ35，ｘ36，ｘ37，ｘ38，ｘ39，ｘ42，ｘ43，ｘ44，ｘ45，ｘ46，ｘ47，ｘ50，ｘ51，ｘ52，ｘ53，ｘ54，ｘ55，ｘ58，ｘ59，ｘ60，ｘ61，ｘ62，ｘ63から構成される。
【０１０４】
さらに、電力演算回路５１は、空間周波数帯域Ｓ0，Ｓ1，Ｓ2，Ｓ3それぞれについて、量子化ＤＣＴ係数のＡＣ成分の電力Ｐ0，Ｐ1，Ｐ2，Ｐ3を演算し、クラスコード生成回路５２に出力する。
【０１０５】
即ち、電力演算回路５１は、空間周波数帯域Ｓ0については、上述の４個の量子化ＤＣＴ係数ｘ0，ｘ1，ｘ8，ｘ9のうちのＡＣ成分ｘ1，ｘ8，ｘ9の２乗和ｘ1 2＋ｘ8 2＋ｘ9 2を求め、これを、電力Ｐ0として、クラスコード生成回路５２に出力する。また、電力演算回路５１は、空間周波数帯域Ｓ１についての、上述の１２個の量子化ＤＣＴ係数のＡＣ成分、即ち、１２個すべての量子化ＤＣＴ係数の２乗和を求め、これを、電力Ｐ1として、クラスコード生成回路５２に出力する。さらに、電力演算回路５１は、空間周波数帯域Ｓ2とＳ3についても、空間周波数帯域Ｓ1における場合と同様にして、それぞれの電力Ｐ2とＰ3を求め、クラスコード生成回路５２に出力する。
【０１０６】
クラスコード生成回路５２は、電力演算回路５１からの電力Ｐ0，Ｐ1，Ｐ2，Ｐ3を、閾値テーブル記憶部５３に記憶された、対応する閾値ＴＨ０，ＴＨ１，ＴＨ２，ＴＨ３とそれぞれ比較し、それぞれの大小関係に基づいて、クラスコードを出力する。即ち、クラスコード生成回路５２は、電力Ｐ0と閾値ＴＨ０とを比較し、その大小関係を表す１ビットのコードを得る。同様に、クラスコード生成回路５２は、電力Ｐ1と閾値ＴＨ１、電力Ｐ2と閾値ＴＨ２、電力Ｐ3と閾値ＴＨ３を、それぞれ比較することにより、それぞれについて、１ビットのコードを得る。そして、クラスコード生成回路５２は、以上のようにして得られる４つの１ビットのコードを、例えば、所定の順番で並べることにより得られる４ビットのコード（従って、０乃至１５のうちのいずれかの値）を、注目高画質ブロックのクラスを表すクラスコードとして出力する。従って、本実施の形態では、注目高画質ブロックは、２4（＝１６）個のクラスのうちのいずれかにクラス分類されることになる。
【０１０７】
閾値テーブル記憶部５３は、空間周波数帯域Ｓ0乃至Ｓ3の電力Ｐ0乃至Ｐ3それぞれと比較する閾値ＴＨ０乃至ＴＨ３を記憶している。
【０１０８】
なお、上述の場合には、クラス分類処理に、量子化ＤＣＴ係数のＤＣ成分ｘ0が用いられないが、このＤＣ成分ｘ0をも用いてクラス分類処理を行うことも可能である。
【０１０９】
図６に戻り、以上のようなクラス分類回路４３が出力するクラスコードは、係数テーブル記憶部４４に、アドレスとして与えられる。
【０１１０】
係数テーブル記憶部４４は、後述するような学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、クラス分類回路４３が出力するクラスコードに対応するアドレスに記憶されているタップ係数を積和演算回路４５に出力する。
【０１１１】
ここで、本実施の形態では、注目高画質ブロックについて、１つのクラスコードが得られる。一方、高画質ブロックは、本実施の形態では、１６×１６画素の２５６画素で構成されるから、注目高画質ブロックについては、それを構成する２５６画素それぞれを復号するための２５６セットのタップ係数が必要である。従って、係数テーブル記憶部４４には、１つのクラスコードに対応するアドレスに対して、２５６セットのタップ係数が記憶されている。
【０１１２】
積和演算回路４５は、予測タップ抽出回路４１が出力する予測タップと、係数テーブル記憶部４４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる注目高画質ブロックの１６×１６画素の画素値（の予測値）を、対応するＤＣＴブロックの復号結果として、ブロック分解回路３３（図３）に出力する。
【０１１３】
ここで、予測タップ抽出回路４１においては、上述したように、注目高画質ブロックの各画素が、順次、注目画素とされるが、積和演算回路４５は、注目高画質ブロックの、注目画素となっている画素の位置に対応した動作モード（以下、適宜、画素位置モードという）となって、処理を行う。
【０１１４】
即ち、例えば、注目高画質ブロックの画素のうち、ラスタスキャン順で、ｉ番目の画素を、ｐiと表し、画素ｐiが、注目画素となっている場合、積和演算回路４５は、画素位置モード＃ｉの処理を行う。
【０１１５】
具体的には、上述したように、係数テーブル記憶部４４は、注目高画質ブロックを構成する２５６画素それぞれを復号するための２５６セットのタップ係数を出力するが、そのうちの画素ｐiを復号するためのタップ係数のセットをＷiと表すと、積和演算回路４５は、動作モードが、画素位置モード＃ｉのときには、予測タップと、２５６セットのタップ係数のうちのセットＷiとを用いて、式（１）の積和演算を行い、その積和演算結果を、画素ｐiの復号結果とする。
【０１１６】
次に、図１０のフローチャートを参照して、図６の係数変換回路３２の処理について説明する。
【０１１７】
エントロピー復号回路３１（図３）が出力するブロックごとの量子化ＤＣＴ係数は、予測タップ抽出回路４１およびクラスタップ抽出回路４２において順次受信され、予測タップ抽出回路４１は、そこに供給される量子化ＤＣＴ係数のブロック（ＤＣＴブロック）に対応する高画質ブロックを、順次、注目高画質ブロックとする。
【０１１８】
そして、クラスタップ抽出回路４２は、ステップＳ１１において、そこで受信した量子化ＤＣＴ係数の中から、注目高画質ブロックをクラス分類するのに用いるものを抽出して、クラスタップを構成し、クラス分類回路４３に供給する。
【０１１９】
クラス分類回路４３は、ステップＳ１２において、クラスタップ抽出回路４２からのクラスタップを用いて、注目高画質ブロックをクラス分類し、その結果得られるクラスコードを、係数テーブル記憶部４４に出力する。
【０１２０】
即ち、ステップＳ１２では、図１１のフローチャートに示すように、まず最初に、ステップＳ２１において、クラス分類回路４３（図８）の電力演算回路５１が、クラスタップを構成する８×８個の量子化ＤＣＴ係数を、図９に示した４つの空間周波数帯域Ｓ0乃至Ｓ3に分割し、それぞれの電力Ｐ0乃至Ｐ3を演算する。この電力Ｐ0乃至Ｐ3は、電力演算回路５１からクラスコード生成回路５２に出力される。
【０１２１】
クラスコード生成回路５２は、ステップＳ２２において、閾値テーブル記憶部５３から閾値ＴＨ０乃至ＴＨ３を読み出し、電力演算回路５１からの電力Ｐ0乃至Ｐ3それぞれと、閾値ＴＨ０乃至ＴＨ３それぞれとを比較し、それぞれの大小関係に基づいたクラスコードを生成して、リターンする。
【０１２２】
図１０に戻り、ステップＳ１２において以上のようにして得られるクラスコードは、クラス分類回路４３から係数テーブル記憶部４４に対して、アドレスとして与えられる。
【０１２３】
係数テーブル記憶部４４は、クラス分類回路４３からのアドレスとしてのクラスコードを受信すると、ステップＳ１３において、そのアドレスに記憶されている２５６セットのタップ係数（クラスコードのクラスに対応する２５６セットのタップ係数）を読み出し、積和演算回路４５に出力する。
【０１２４】
そして、ステップＳ１４に進み、予測タップ抽出回路４１は、注目高画質ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、その注目画素の画素値を予測するのに用いる量子化ＤＣＴ係数を抽出し、予測タップとして構成する。この予測タップは、予測タップ抽出回路４１から積和演算回路４５に供給される。
【０１２５】
ここで、本実施の形態では、各高画質ブロックごとに、その高画質ブロックのすべての画素について、同一の予測タップが構成されるので、実際には、ステップＳ１４の処理は、注目高画質ブロックについて、最初に注目画素とされる画素に対してだけ行えば、残りの２５５画素に対しては、行う必要がない。
【０１２６】
積和演算回路４５は、ステップＳ１５において、ステップＳ１３で係数テーブル記憶部４４が出力する２５６セットのタップ係数のうち、注目画素に対する画素位置モードに対応するタップ係数のセットを取得し、そのタップ係数のセットと、ステップＳ１４で予測タップ抽出回路４１から供給される予測タップとを用いて、式（１）に示した積和演算を行い、注目画素の画素値の復号値を得る。
【０１２７】
そして、ステップＳ１６に進み、予測タップ抽出回路４１は、注目高画質ブロックのすべての画素を、注目画素として処理を行ったかどうかを判定する。ステップＳ１６において、注目高画質ブロックのすべての画素を、注目画素として、まだ処理を行っていないと判定された場合、ステップＳ１４に戻り、予測タップ抽出回路４１は、注目高画質ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０１２８】
また、ステップＳ１６において、注目高画質ブロックのすべての画素を、注目画素として処理を行ったと判定された場合、即ち、注目高画質ブロックのすべての画素の復号値（８×８の量子化ＤＣＴ係数を、８×８画素に復号し、さらに、その８×８画素を、１６×１６画素に高画質化したもの）が得られた場合、積和演算回路４５は、その復号値で構成される高画質ブロックを、ブロック分解回路３３（図３）に出力し、処理を終了する。
【０１２９】
なお、図１０のフローチャートにしたがった処理は、予測タップ抽出回路４１が、新たな注目高画質ブロックを設定するごとに繰り返し行われる。
【０１３０】
次に、図１２は、図６の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【０１３１】
間引き回路６０には、１枚以上の学習用の画像データが、学習時の教師となる教師データとして供給されるようになっており、間引き回路６０は、その教師データとしての画像について、図６の係数変換回路３２における積和演算回路４５がタップ係数を用いた積和演算を行うことにより施す向上処理に基づく処理を施す。即ち、ここでは、向上処理は、８×８画素を、その横および縦の空間解像度を２倍にした１６×１６画素の高画質のもの（解像度を向上させたもの）に変換する処理であるから、間引き回路６０は、教師データとしての画像データの画素を間引き、その横および縦の画素数を、いずれも１／２にした画像データ（以下、適宜、準教師データという）を生成する。
【０１３２】
なお、準教師データとしての画像データは、エンコーダ２１（図１）においてＪＰＥＧ符号化の対象とされる画像データと同一画質（解像度）のものであり、例えば、いま、このＪＰＥＧ符号化の対象とされる画像を、ＳＤ(Standard Density)画像とすると、教師データとする画像としては、そのＳＤ画像の横および縦の画素数を、いずれも２倍にしたＨＤ(High Density)画像を用いる必要がある。
【０１３３】
ブロック化回路６１は、間引き回路６０が生成する１枚以上の準教師データとしてのＳＤ画像を、ＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化する。
【０１３４】
ＤＣＴ回路６２は、ブロック化回路６１がブロック化した画素ブロックを、順次読み出し、その画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとする。このＤＣＴ係数のブロックは、量子化回路６３に供給される。
【０１３５】
量子化回路６３は、ＤＣＴ回路６２からのＤＣＴ係数のブロックを、エンコーダ２１（図２）におけるＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化し、その結果得られる量子化ＤＣＴ係数のブロック（ＤＣＴブロック）を、予測タップ抽出回路６４およびクラスタップ抽出回路６５に順次供給する。
【０１３６】
予測タップ抽出回路６４は、後述する正規方程式加算回路６７が注目高画質ブロックとする高画質ブロックを構成する１６×１６画素のうちの注目画素となっている画素について、図６の予測タップ抽出回路４１が構成するのと同一の予測タップを、量子化回路６３の出力から、必要な量子化ＤＣＴ係数を抽出することで構成する。この予測タップは、学習時の生徒となる生徒データとして、予測タップ抽出回路６４から正規方程式加算回路６７に供給される。
【０１３７】
クラスタップ抽出回路６５は、注目高画質ブロックについて、図６のクラスタップ抽出回路４２が構成するのと同一のクラスタップを、量子化回路６３の出力から、必要な量子化ＤＣＴ係数を抽出することで構成する。このクラスタップは、クラスタップ抽出回路６５からクラス分類回路６６に供給される。
【０１３８】
クラス分類回路６６は、クラスタップ抽出回路６５からのクラスタップを用いて、図６のクラス分類回路４３と同一の処理を行うことで、注目高画質ブロックをクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６７に供給する。
【０１３９】
正規方程式加算回路６７には、間引き回路６０に教師データとして供給されるのと同一のＨＤ画像が供給されるようになっており、正規方程式加算回路６７は、そのＨＤ画像を、１６×１６画素の高画質ブロックにブロック化し、その高画質ブロックを、順次、注目高画質ブロックとする。さらに、正規方程式加算回路６７は、注目高画質ブロックを構成する１６×１６画素のうち、例えば、ラスタスキャン順で、まだ注目画素とされていないものを、順次、注目画素とし、その注目画素（の画素値）と、予測タップ構成回路６４からの予測タップ（を構成する量子化ＤＣＴ係数）を対象とした足し込みを行う。
【０１４０】
即ち、正規方程式加算回路６７は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０１４１】
さらに、正規方程式加算回路６７は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０１４２】
なお、正規方程式加算回路６７における、上述のような足し込みは、各クラスについて、注目画素に対する画素位置モードごとに行われる。
【０１４３】
正規方程式加算回路６７は、以上の足し込みを、そこに供給される教師データとしてのＨＤ画像を構成する画素すべてを注目画素として行い、これにより、各クラスについて、画素位置モードごとに、式（８）に示した正規方程式をたてる。
【０１４４】
タップ係数決定回路６８は、正規方程式加算回路６７においてクラスごとに（かつ、画素位置モードごとに）生成された正規方程式を解くことにより、クラスごとに、２５６セットのタップ係数を求め、係数テーブル記憶部６９の、各クラスに対応するアドレスに供給する。
【０１４５】
なお、学習用の画像として用意する画像の枚数や、その画像の内容等によっては、正規方程式加算回路６７において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、タップ係数決定回路６８は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０１４６】
係数テーブル記憶部６９は、タップ係数決定回路６８から供給されるクラスごとの２５６セットのタップ係数を記憶する。
【０１４７】
次に、図１３のフローチャートを参照して、図１２の学習装置の処理（学習処理）について説明する。
【０１４８】
間引き回路６０には、学習用の画像データであるＨＤ画像が、教師データとして供給され、間引き回路６０は、ステップＳ３０において、その教師データとしてのＨＤ画像の画素を間引き、その横および縦の画素数を、いずれも１／２にした準教師データとしてのＳＤ画像を生成する。
【０１４９】
そして、ブロック化回路６１は、ステップＳ３１において、間引き回路６０で得られた準教師データとしてのＳＤ画像を、エンコーダ２１（図２）によるＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化して、ステップＳ３２に進む。ステップＳ３２では、ＤＣＴ回路６２が、ブロック化回路６１がブロック化した画素ブロックを、順次読み出し、その画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとし、ステップＳ３３に進む。ステップＳ３３では、量子化回路６３が、ＤＣＴ回路６２において得られたＤＣＴ係数のブロックを順次読み出し、エンコーダ２１におけるＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化して、量子化ＤＣＴ係数で構成されるブロック（ＤＣＴブロック）とする。
【０１５０】
一方、正規方程式加算回路６７にも、教師データとしてのＨＤ画像が供給され、正規方程式加算回路６７は、そのＨＤ画像を、１６×１６画素の高画質ブロックにブロック化し、ステップＳ３４において、その高画質ブロックのうち、まだ、注目高画質ブロックとされていないものを、注目高画質ブロックとする。さらに、ステップＳ３４では、クラスタップ抽出回路６５が、ブロック化回路６１でブロック化された画素ブロックのうち、注目高画質ブロックをクラス分類するのに用いる量子化ＤＣＴ係数を、量子化回路６３で得られたＤＣＴブロックから抽出して、クラスタップを構成し、クラス分類回路６６に供給する。クラス分類回路６６は、ステップＳ３５において、図１１のフローチャートで説明した場合と同様に、クラスタップ抽出回路６５からのクラスタップを用いて、注目高画質ブロックをクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６７に供給して、ステップＳ３６に進む。
【０１５１】
ステップＳ３６では、正規方程式加算回路６７が、注目高画質ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素とし、予測タップ抽出回路６４が、その注目画素について、図６の予測タップ抽出回路４１が構成するのと同一の予測タップを、量子化回路６３の出力から必要な量子化ＤＣＴ係数を抽出することで構成する。そして、予測タップ抽出回路６４は、注目画素についての予測タップを、生徒データとして、正規方程式加算回路６７に供給し、ステップＳ３７に進む。
【０１５２】
ステップＳ３７では、正規方程式加算回路６７は、教師データとしての注目画素と、生徒データとしての予測タップ（を構成する量子化ＤＣＴ係数）を対象として、式（８）の行列Ａとベクトルｖの、上述したような足し込みを行う。なお、この足し込みは、クラス分類回路６６からのクラスコードに対応するクラスごとに、かつ注目画素に対する画素位置モードごとに行われる。
【０１５３】
そして、ステップＳ３８に進み、正規方程式加算回路６７は、注目高画質ブロックのすべての画素を、注目画素として、足し込みを行ったかどうかを判定する。ステップＳ３８において、注目高画質ブロックのすべての画素を、注目画素として、まだ足し込みを行っていないと判定された場合、ステップＳ３６に戻り、正規方程式加算回路６７は、注目高画質ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素とし、以下、同様の処理を繰り返す。
【０１５４】
また、ステップＳ３８において、注目高画質ブロックのすべての画素を、注目画素として、足し込みを行ったと判定された場合、ステップＳ３９に進み、正規方程式加算回路６７は、教師データとしての画像から得られたすべての高画質ブロックを、注目高画質ブロックとして処理を行ったかどうかを判定する。ステップＳ３９において、教師データとしての画像から得られたすべての高画質ブロックを、注目高画質ブロックとして、まだ処理を行っていないと判定された場合、ステップＳ３４に戻り、まだ注目高画質ブロックとされていない高画質ブロックが、新たに注目高画質ブロックとされ、以下、同様の処理が繰り返される。
【０１５５】
一方、ステップＳ３９において、教師データとしての画像から得られたすべての高画質ブロックを、注目高画質ブロックとして処理を行ったと判定された場合、即ち、正規方程式加算回路６７において、各クラスについて、画素位置モードごとの正規方程式が得られた場合、ステップＳ４０に進み、タップ係数決定回路６８は、各クラスの画素位置モードごとに生成された正規方程式を解くことにより、各クラスごとに、そのクラスの２５６の画素位置モードそれぞれに対応する２５６セットのタップ係数を求め、係数テーブル記憶部６９の、各クラスに対応するアドレスに供給して記憶させ、処理を終了する。
【０１５６】
以上のようにして、係数テーブル記憶部６９に記憶された各クラスごとのタップ係数が、図６の係数テーブル記憶部４４に記憶されている。
【０１５７】
従って、係数テーブル記憶部４４に記憶されたタップ係数は、線形予測演算を行うことにより得られる元の画素値の予測値の予測誤差（ここでは、自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであり、その結果、図６の係数変換回路３２によれば、ＪＰＥＧ符号化された画像を、教師データとして用いたＨＤ画像の画質に限りなく近い高画質の画像に復号することができる。
【０１５８】
さらに、係数変換回路３２によれば、上述したように、ＪＰＥＧ符号化された画像の復号処理と、その画質を向上させるための向上処理とが、同時に施されることとなるので、ＪＰＥＧ符号化された画像から、効率的に、高画質化された復号画像を得ることができる。
【０１５９】
次に、図１４は、図３の係数変換回路３２の第２の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１４の係数変換回路３２は、逆量子化回路７１が新たに設けられている他は、基本的に、図６における場合と同様に構成されている。
【０１６０】
図１４の実施の形態において、逆量子化回路７１には、エントロピー復号回路３１（図３）において符号化データをエントロピー復号することにより得られるブロックごとの量子化ＤＣＴ係数が供給される。
【０１６１】
なお、エントロピー復号回路３１においては、上述したように、符号化データから、量子化ＤＣＴ係数の他、量子化テーブルも得られるが、図１４の実施の形態では、この量子化テーブルも、エントロピー復号回路３１から逆量子化回路７１に供給されるようになっている。
【０１６２】
逆量子化回路７１は、エントロピー復号回路３１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路３１からの量子化テーブルにしたがって逆量子化し、その結果得られるＤＣＴ係数を、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給する。
【０１６３】
従って、予測タップ抽出回路４１とクラスタップ抽出回路４２では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成され、以降も、ＤＣＴ係数を対象として、図６における場合と同様の処理が行われる。
【０１６４】
このように、図１４の実施の形態では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として処理が行われるため、係数テーブル記憶部４４に記憶させるタップ係数は、図６における場合と異なるものとする必要がある。
【０１６５】
そこで、図１５は、図１４の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。なお、図中、図１２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１５の学習装置は、量子化回路６３の後段に、逆量子化回路８１が新たに設けられている他は、図１２における場合と基本的に同様に構成されている。
【０１６６】
図１５の実施の形態において、逆量子化回路８１は、逆量子化回路６３が出力する量子化ＤＣＴ係数を、図１４の逆量子化回路７１と同様に逆量子化し、その結果得られるＤＣＴ係数を、予測タップ抽出回路６４およびクラスタップ抽出回路６５に供給する。
【０１６７】
従って、予測タップ抽出回路６４とクラスタップ抽出回路６５では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成され、以降も、ＤＣＴ係数を対象として、図１２における場合と同様の処理が行われる。
【０１６８】
その結果、ＤＣＴ係数が量子化され、さらに逆量子化されることにより生じる量子化誤差の影響を低減するタップ係数が得られることになる。
【０１６９】
次に、図１６は、図３の係数変換回路３２の第３の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１６の係数変換回路３２は、クラスタップ抽出回路４２およびクラス分類回路４３が設けられていない他は、基本的に、図６における場合と同様に構成されている。
【０１７０】
従って、図１６の実施の形態では、クラスという概念がないが、このことは、クラスが１つであるとも考えるから、係数テーブル記憶部４４には、１クラスのタップ係数だけが記憶されており、これを用いて処理が行われる。
【０１７１】
このように、図１６の実施の形態では、係数テーブル記憶部４４に記憶されているタップ係数は、図６における場合と異なるものとなっている。
【０１７２】
そこで、図１７は、図１６の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。なお、図中、図１２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１７の学習装置は、クラスタップ抽出回路６５およびクラス分類回路６６が設けられていない他は、図１２における場合と基本的に同様に構成されている。
【０１７３】
従って、図１７の学習装置では、正規方程式加算回路６７において、上述の足し込みが、クラスには無関係に、画素位置モード別に行われる。そして、タップ係数決定回路６８において、画素位置モードごとに生成された正規方程式を解くことにより、タップ係数が求められる。
【０１７４】
次に、図１８は、図３の係数変換回路３２の第４の構成例を示している。なお、図中、図６または図１４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１８の係数変換回路３２は、クラスタップ抽出回路４２およびクラス分類回路４３が設けられておらず、かつ逆量子化回路７１が新たに設けられている他は、基本的に、図６における場合と同様に構成されている。
【０１７５】
従って、図１８の実施の形態では、上述の図１６の実施の形態における場合と同様に、係数テーブル記憶部４４には、１クラスのタップ係数だけが記憶されており、これを用いて処理が行われる。
【０１７６】
さらに、図１８の実施の形態では、図１４の実施の形態における場合と同様に、予測タップ抽出回路４１において、量子化ＤＣＴ係数ではなく、逆量子化回路７１が出力するＤＣＴ係数を対象として、予測タップが構成され、以降も、ＤＣＴ係数を対象として、処理が行われる。
【０１７７】
従って、図１８の実施の形態でも、係数テーブル記憶部４４に記憶されているタップ係数は、図６における場合と異なるものとなっている。
【０１７８】
そこで、図１９は、図１８の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。なお、図中、図１２または図１５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１９の学習装置は、クラスタップ抽出回路６５およびクラス分類回路６６が設けられておらず、かつ逆量子化回路８１が新たに設けられている他は、図１２における場合と基本的に同様に構成されている。
【０１７９】
従って、図１９の学習装置では、予測タップ抽出回路６４において、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップが構成され、以降も、ＤＣＴ係数を対象として処理が行われる。さらに、正規方程式加算回路６７において、上述の足し込みが、クラスには無関係に行われ、タップ係数決定回路６８において、クラスと無関係に生成された正規方程式を解くことにより、タップ係数が求められる。
【０１８０】
次に、以上においては、静止画を圧縮符号化するＪＰＥＧ符号化された画像を対象としたが、本発明は、動画を圧縮符号化する、例えば、ＭＰＥＧ符号化された画像を対象とすることも可能である。
【０１８１】
即ち、図２０は、ＭＰＥＧ符号化が行われる場合の、図２のエンコーダ２１の構成例を示している。
【０１８２】
ＭＰＥＧ符号化の対象である動画を構成するフレーム（またはフィールド）は、順次、動き検出回路９１と演算器９２に供給される。
【０１８３】
動き検出回路９１は、そこに供給されるフレームについて、１６×１６画素のマクロブロック単位で、動きベクトルを検出し、エントロピー符号化回路９６および動き補償回路１００に供給する。
【０１８４】
演算器９２は、そこに供給される画像が、Ｉ(Intra)ピクチャであれば、そのままブロック化回路９３に供給し、Ｐ(Predictive)またはＢ(Bidirectionally predictive)ピクチャであれば、動き補償回路１００から供給される参照画像との差分を演算して、その差分値を、ブロック化回路９３に供給する。
【０１８５】
ブロック化回路９３は、演算器９２の出力を、８×８画素の画素ブロックにブロック化し、ＤＣＴ回路９４に供給する。ＤＣＴ回路９４は、ブロック化回路９３からの画素ブロックをＤＣＴ処理し、その結果得られるＤＣＴ係数を、量子化回路９５に供給する。量子化回路９５は、ＤＣＴ回路９３からのブロック単位のＤＣＴ係数を所定の量子化ステップで量子化し、その結果得られる量子化ＤＣＴ係数をエントロピー符号化回路９６に供給する。エントロピー符号化回路９６は、量子化回路９５からの量子化ＤＣＴ係数をエントロピー符号化し、動き検出回路９１からの動きベクトルや、その他の必要な情報を付加して、その結果得られる符号化データ（例えば、ＭＰＥＧトランスポートストリーム）を、ＭＰＥＧ符号化結果として出力する。
【０１８６】
量子化回路９５が出力する量子化ＤＣＴ係数のうち、ＩピクチャおよびＰピクチャは、後で符号化されるＰピクチャやＢピクチャの参照画像として用いるのにローカルデコードする必要があるため、エントロピー符号化回路９６の他、逆量子化回路９７にも供給される。
【０１８７】
逆量子化回路９７は、量子化回路９５からの量子化ＤＣＴ係数を逆量子化することにより、ＤＣＴ係数とし、逆ＤＣＴ回路９８に供給する。逆ＤＣＴ回路９８は、逆量子化回路９７からのＤＣＴ係数を逆ＤＣＴ処理し、演算器９９に出力する。演算器９９には、逆ＤＣＴ回路９８の出力の他、動き補償回路１００が出力する参照画像も供給されるようになっており、演算器９９は、逆ＤＣＴ回路９８の出力が、Ｐピクチャのものである場合には、その出力と、動き補償回路１００の出力とを加算することで、元の画像を復号し、動き補償回路１００に供給する。また、演算器９９は、逆ＤＣＴ回路９８の出力が、Ｉピクチャのものである場合には、その出力は、Ｉピクチャの復号画像となっているので、そのまま、動き補償回路１００に供給する。
【０１８８】
動き補償回路１００は、演算器９９から供給される、ローカルデコードされた画像に対して、動き検出回路９１からの動きベクトルにしたがった動き補償を施し、その動き補償後の画像を、参照画像として、演算器９２および９９に供給する。
【０１８９】
ここで、図２１は、以上のようなＭＰＥＧ符号化の結果得られる符号化データを復号する、従来のＭＰＥＧデコーダの一例の構成を示している。
【０１９０】
符号化データは、エントロピー復号回路１１１に供給され、エントロピー復号回路１１１は、符号化データをエントロピー復号し、量子化ＤＣＴ係数、動きベクトル、その他の情報を得る。そして、量子化ＤＣＴ係数は、逆量子化回路１１２に供給され、動きベクトルは、動き補償回路１１６に供給される。
【０１９１】
逆量子化回路１１２は、エントロピー復号回路１１１からの量子化ＤＣＴ係数を逆量子化することにより、ＤＣＴ係数とし、逆ＤＣＴ回路１１３に供給する。逆ＤＣＴ回路１１３は、逆量子化回路１１２からのＤＣＴ係数を逆ＤＣＴ処理し、演算器１１４に出力する。演算器１１４には、逆量子化回路１１３の出力の他、動き補償回路１１６が出力する、既に復号されたＩピクチャまたはＰピクチャを、エントロピー復号回路１１１からの動きベクトルにしたがって動き補償したものが参照画像として供給されるようになっており、演算器１１４は、逆ＤＣＴ回路１１３の出力が、ＰまたはＢピクチャのものである場合には、その出力と、動き補償回路１００の出力とを加算することで、元の画像を復号し、ブロック分解回路１１５に供給する。また、演算器１１４は、逆ＤＣＴ回路１１３の出力が、Ｉピクチャのものである場合には、その出力は、Ｉピクチャの復号画像となっているので、そのまま、ブロック分解回路１１５に供給する。
【０１９２】
ブロック分解回路１１５は、演算器１１４から画素ブロック単位で供給される復号画像のブロック化を解くことで、復号画像を得て出力する。
【０１９３】
一方、動き補償回路１１６は、演算器１１４が出力する復号画像のうちのＩピクチャとＰピクチャを受信し、エントロピー復号回路１１１からの動きベクトルにしたがった動き補償を施す。そして、動き補償回路１１６は、その動き補償後の画像を、参照画像として、演算器１１４に供給する。
【０１９４】
図３のデコーダ２２では、ＭＰＥＧ符号化された符号化データも、上述のように、効率的に、高画質の画像に復号することができる。
【０１９５】
即ち、符号化データは、エントロピー復号回路３１に供給され、エントロピー復号回路３１は、符号化データを、エントロピー復号する。このエントロピー復号の結果得られる量子化ＤＣＴ係数、動きベクトル、その他の情報は、エントロピー復号回路３１から係数変換回路３２に供給される。
【０１９６】
係数変換回路３２は、エントロピー復号回路３１からの量子化ＤＣＴ係数Ｑと、学習を行うことにより求められたタップ係数を用いて、所定の予測演算を行うとともに、エントロピー復号回路３１からの動きベクトルにしたがった動き補償を必要に応じて行うことにより、量子化ＤＣＴ係数を、高画質の画素値に復号し、その高画質の画素値でなる高画質ブロックをブロック分解回路３３に供給する。
【０１９７】
ブロック分解回路３３は、係数変換回路３２において得られた高画質ブロックのブロック化を解くことで、横および縦の画素数がいずれも、ＭＰＥＧ符号化された画像の、例えば２倍になった高画質の復号画像を得て出力する。
【０１９８】
次に、図２２は、デコーダ２２においてＭＰＥＧ符号化された符号化データを復号する場合の、図３の係数変換回路３２の構成例を示している。なお、図中、図１８または図２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２２の係数変換回路３２は、積和演算回路４５の後段に、図２１における演算器１１４および動き補償回路１１６が設けられている他は、図１８における場合と基本的に同様に構成されている。
【０１９９】
従って、図２２の係数変換回路３２では、量子化ＤＣＴ係数が、逆量子化回路７１において逆量子化され、その結果得られるＤＣＴ係数を用いて、予測タップ抽出回路４１において予測タップが構成される。そして、積和演算回路４５が、その予測タップと、係数テーブル記憶部４４に記憶されたタップ係数とを用いた予測演算を行うことにより、横および縦の画素数がいずれも、元の画像の２倍になった高画質のデータを出力する。
【０２００】
そして、演算器１１４は、積和演算回路４５の出力を、必要に応じて、動き補償回路１１６の出力と加算することで、横および縦の画素数がいずれも、元の画像の２倍になった高画質の画像を復号し、ブロック分解回路３３（図３）に出力する。
【０２０１】
即ち、Ｉピクチャについては、積和演算回路４５の出力は、横および縦の画素数がいずれも、元の画像の２倍になった高画質の画像となっているので、演算器１１４は、積和演算回路４５の出力を、そのまま、ブロック分解回路３３に出力する。
【０２０２】
また、ＰまたはＢピクチャについては、積和演算回路４５の出力は、横および縦の画素数がいずれも、元の画像の２倍になった高画質の画像と、高画質の参照画像との差分となっているから、演算器１１４は、積和演算回路４５の出力を、動き補償回路１１６から供給される高画質の参照画像と加算することで、横および縦の画素数がいずれも、元の画像の２倍になった高画質の画像に復号し、ブロック分解回路３３に出力する。
【０２０３】
一方、動き補償回路１１６は、演算器１１４が出力する高画質の復号画像のうち、ＩおよびＰピクチャを受信し、そのＩまたはＰピクチャの高画質の復号画像に対して、エントロピー復号回路３１（図３）からの動きベクトルを用いた動き補償を施すことにより、高画質の参照画像を得て、演算器１１４に供給する。
【０２０４】
なお、ここでは、復号画像の横および縦の画素数が、いずれも、元の画像の２倍になっているので、動き補償回路１１６は、例えば、エントロピー復号回路３１からの動きベクトルの横方向および縦方向の大きさをいずれも２倍にした動きベクトルにしたがって動き補償を行う。
【０２０５】
次に、図２３は、図２２の係数テーブル記憶部４４に記憶させるタップ係数を学習する学習装置の一実施の形態の構成例を示している。なお、図中、図１９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２０６】
間引き回路１２０には、学習用のＨＤ画像が、教師データとして入力され、間引き回路１２０は、例えば、図１２の間引き回路６０と同様に、教師データとしてのＨＤ画像の画素を間引き、その横および縦の画素数を、いずれも１／２にしたＳＤ画像である準教師データを生成する。そして、この準教師データとしてのＳＤ画像は、動きベクトル検出回路１２１および演算器１２２に供給される。
【０２０７】
動きベクトル検出回路１２１、演算器１２２、ブロック化回路１２３、ＤＣＴ回路１２４、量子化回路１２５、逆量子化回路１２７、逆ＤＣＴ回路１２８、演算器１２９、または動き補償回路１３０は、図２０の動きベクトル検出回路９１、演算器９２、ブロック化回路９３、ＤＣＴ回路９４、量子化回路９５、逆量子化回路９７、逆ＤＣＴ回路９８、演算器９９、または動き補償回路１００とそれぞれ同様の処理を行い、これにより、量子化回路１２５からは、図２０の量子化回路９５が出力するのと同様の量子化ＤＣＴ係数が出力される。
【０２０８】
量子化回路１２５が出力する量子化ＤＣＴ係数は、逆量子化回路８１に供給され、逆量子化回路８１は、量子化回路１２５からの量子化ＤＣＴ係数を逆量子化し、ＤＣＴ係数に変換して、予測タップ抽出回路６４に供給する。予測タップ抽出回路６４は、逆量子化回路８１からのＤＣＴ係数から、予測タップを構成し、生徒データとして、正規方程式加算回路６７に供給する。
【０２０９】
一方、教師データとしてのＨＤ画像は、間引き回路１２０の他、演算器１３２にも供給されるようになっている。演算器１３２は、教師データとしてのＨＤ画像から、必要に応じて、補間回路１３１の出力を減算し、正規方程式加算回路６７に供給する。
【０２１０】
即ち、補間回路１３１は、動き補償回路１３０が出力するＳＤ画像の参照画像の横および縦の画素数を２倍にした高画質の参照画像を生成し、演算器１３２に供給する。
【０２１１】
演算器１３２は、そこに供給されるＨＤ画像がＩピクチャである場合には、そのＩピクチャのＨＤ画像を、そのまま、教師データとして、正規方程式加算回路６７に供給する。また、演算器１３２は、そこに供給されるＨＤ画像がＰまたはＢピクチャである場合には、そのＰまたはＢピクチャのＨＤ画像と、補間回路１３１が出力する高画質の参照画像との差分を演算することにより、演算器１２２が出力するＳＤ画像（準教師データ）についての差分を高画質化したものを得て、これを、教師データとして、正規方程式加算回路６７に出力する。
【０２１２】
なお、補間回路１３１では、例えば、単純な補間により画素数を増加させることが可能である。また、補間回路１３１では、例えば、クラス分類適応処理により画素数を増加させることも可能である。さらに、演算器１３２では、教師データとしてのＨＤ画像をＭＰＥＧ符号化し、そのローカルデコードを行って動き補償したものを、参照画像として用いるようにすることが可能である。
【０２１３】
正規方程式加算回路６７は、演算器１３２の出力を教師データとするとともに、逆量子化回路８１からの予測タップを生徒データとして、上述したような足し込みを行い、これにより、正規方程式を生成する。
【０２１４】
そして、タップ係数決定回路６８は、正規方程式加算回路６７で生成された正規方程式を解くことにより、タップ係数を求め、係数テーブル記憶部６９に供給して記憶させる。
【０２１５】
図２２の積和演算回路４５では、このようにして求められたタップ係数を用いて、ＭＰＥＧ符号化された符号化データが復号されるので、やはり、ＭＰＥＧ符号化された画像の復号処理と、その画質を向上させるための処理とを、同時に施すことができ、従って、ＭＰＥＧ符号化された画像から、効率的に、高画質の、即ち、本実施の形態では、横および縦の画素数がいずれも２倍になったＨＤ画像である復号画像を得ることができる。
【０２１６】
なお、図２２の係数変換回路３２は、逆量子化回路７１を設けずに構成することが可能である。この場合、図２３の学習装置は、逆量子化回路８１を設けずに構成すれば良い。
【０２１７】
また、図２２の係数変換回路３２は、図６における場合と同様に、クラスタップ抽出回路４２およびクラス分類回路４３を設けて構成することが可能である。
この場合、図２３の学習装置は、図１２における場合のように、クラスタップ抽出回路６５およびクラス分類回路６６を設けて構成すれば良い。
【０２１８】
さらに、上述の場合には、デコーダ２２（図３）において、元の画像の空間解像度を２倍に向上させた復号画像を得るようにしたが、デコーダ２２では、元の画像の空間解像度を任意の倍数にした復号画像や、さらには、元の画像の時間解像度を向上させた復号画像を得るようにすることも可能である。
【０２１９】
即ち、例えば、ＭＰＥＧ符号化する対象の画像が、図２４（Ａ）に示すような時間解像度が低いものである場合に、デコーダ２２では、その画像をＭＰＥＧ符号化した符号化データを、図２４（Ｂ）に示すような、元の画像の時間解像度を２倍にした画像に復号するようにすることが可能である。さらには、例えば、ＭＰＥＧ符号化する対象の画像が、図２５（Ａ）に示すような、映画で用いられる２４フレーム／秒の画像である場合に、デコーダ２２では、その画像をＭＰＥＧ符号化した符号化データを、図２５（Ｂ）に示すような、元の画像の時間解像度を６０／２４倍にした、６０フレーム／秒の画像に復号するようにすることが可能である。この場合、いわゆる２−３プルダウンを容易に行うことができる。
【０２２０】
ここで、上述のように、デコーダ２２において、時間解像度を向上させる場合には、予測タップやクラスタップは、例えば、図２６に示すように、２以上のフレームのＤＣＴ係数から構成するようにすることが可能である。
【０２２１】
また、デコーダ２２では、空間解像度または時間解像度のうちのいずれか一方だけではなく、両方を向上させた復号画像を得るようにすることも可能である。
【０２２２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２２３】
そこで、図２７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２２４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０２２５】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２２６】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２２７】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２２８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２２９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２３０】
なお、本実施の形態では、画像データを対象としたが、本発明は、その他、例えば、音声データにも適用可能である。
【０２３１】
また、本実施の形態では、少なくとも、ＤＣＴ処理を行うＪＰＥＧ符号化やＭＰＥＧ符号化された符号化データの復号を行うようにしたが、本発明は、その他の直交変換または周波数変換によって変換されたデータの復号に適用可能である。即ち、本発明は、例えば、サブバンド符号化されたデータや、フーリエ変換されたデータ等を復号する場合にも適用可能である。
【０２３２】
さらに、本実施の形態では、デコーダ２２において、復号に用いるタップ係数を、あらかじめ記憶しておくようにしたが、タップ係数は、符号化データに含めて、デコーダ２２に提供するようにすることが可能である。
【０２３３】
また、本実施の形態では、タップ係数を用いた線形１次予測演算によって、復号を行うようにしたが、復号は、その他、２次以上の高次の予測演算によって行うことも可能である。
【０２３４】
【発明の効果】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、学習を行うことにより求められたタップ係数が取得され、そのタップ係数および変換データを用いて、所定の予測演算が行われることにより、変換データを、元のデータに復号し、かつ、その元のデータに所定の処理を施した処理データが得られる。従って、効率的に、変換データを復号し、かつその復号されたデータに所定の処理を施すことが可能となる。
【０２３５】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、教師となる教師データに、所定の処理に基づく処理が施され、その結果得られる準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データが生成される。そして、タップ係数および生徒データを用いて予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習が行われ、タップ係数が求められる。従って、そのタップ係数を用いることにより、効率的に、直交変換または周波数変換されたデータを復号し、かつその復号されたデータに所定の処理を施すことが可能となる。
【図面の簡単な説明】
【図１】従来のＪＰＥＧ符号化／復号を説明するための図である。
【図２】本発明を適用した画像伝送システムの一実施の形態の構成例を示す図である。
【図３】図２のデコーダ２２の構成例を示すブロック図である。
【図４】８×８のＤＣＴ係数が、１６×１６画素に復号される様子を示す図である。
【図５】図３のデコーダ２２の処理を説明するフローチャートである。
【図６】図３の係数変換回路３２の第１の構成例を示すブロック図である。
【図７】予測タップとクラスタップの例を説明する図である。
【図８】図６のクラス分類回路４３の構成例を示すブロック図である。
【図９】図６の電力演算回路５１の処理を説明するための図である。
【図１０】図６の係数変換回路３２の処理を説明するフローチャートである。
【図１１】図１０のステップＳ１２の処理のより詳細を説明するフローチャートである。
【図１２】本発明を適用した学習装置の第１実施の形態の構成例を示すブロック図である。
【図１３】図１２の学習装置の処理を説明するフローチャートである。
【図１４】図３の係数変換回路３２の第２の構成例を示すブロック図である。
【図１５】本発明を適用した学習装置の第２実施の形態の構成例を示すブロック図である。
【図１６】図３の係数変換回路３２の第３の構成例を示すブロック図である。
【図１７】本発明を適用した学習装置の第３実施の形態の構成例を示すブロック図である。
【図１８】図３の係数変換回路３２の第４の構成例を示すブロック図である。
【図１９】本発明を適用した学習装置の第４実施の形態の構成例を示すブロック図である。
【図２０】図２のエンコーダ２１の構成例を示すブロック図である。
【図２１】ＭＰＥＧデコーダの一例の構成を示すブロック図である。
【図２２】図３の係数変換回路３２の第５の構成例を示すブロック図である。
【図２３】本発明を適用した学習装置の第５実施の形態の構成例を示すブロック図である。
【図２４】時間解像度を向上させた画像を示す図である。
【図２５】時間解像度を向上させた画像を示す図である。
【図２６】２以上のフレームのＤＣＴ係数から、クラスタップおよび予測タップを構成することを示す図である。
【図２７】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
２１ エンコーダ， ２２ デコーダ， ２３ 記録媒体， ２４ 伝送媒体， ３１ エントロピー復号回路， ３２ 係数変換回路， ３３ ブロック分解回路， ４１ 予測タップ抽出回路， ４２ クラスタップ抽出回路， ４３クラス分類回路， ４４ 係数テーブル記憶部， ４５積和演算回路， ５１電力演算回路， ５２ クラスコード生成回路， ５３ 閾値テーブル記憶部， ６０ 間引き回路， ６１ ブロック化回路， ６２ ＤＣＴ回路， ６３量子化回路， ６４ 予測タップ抽出回路， ６５ クラスタップ抽出回路，６６ クラス分類回路， ６７ 正規方程式加算回路， ６８ タップ係数決定回路， ６９ 係数テーブル記憶部， ７１，８１ 逆量子化回路， １１４演算器， １１５ 動き補償回路， １２０ 間引き回路， １２１ 動きベクトル検出回路， １２２ 演算器， １２３ ブロック化回路， １２４ ＤＣＴ回路， １２５ 量子化回路， １２７ 逆量子化回路， １２８ 逆ＤＣＴ回路， １２９ 演算器， １３０ 動き補償回路， １３１ 補間回路， １３２ 演算器， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
Claims (29)
- 少なくとも、直交変換処理または周波数変換処理を施すことにより得られる変換データを処理するデータ処理装置であって、
学習を行うことにより求められたタップ係数を取得する取得手段と、
前記タップ係数および変換データを用いて、所定の予測演算を行うことにより、前記変換データを、元のデータに復号するのと同時に、その元のデータに所定の処理を施した処理データを得る演算手段と
を備えることを特徴とするデータ処理装置。 - 前記演算手段は、前記タップ係数および変換データを用いて、線形１次予測演算を行う
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記タップ係数を記憶している記憶手段をさらに備え、
前記取得手段は、前記記憶手段から、前記タップ係数を取得する
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記変換データは、前記元のデータを、直交変換または周波数変換し、さらに量子化することにより得られたものである
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記変換データを逆量子化する逆量子化手段をさらに備え、
前記演算手段は、逆量子化された前記変換データを用いて予測演算を行う
ことを特徴とする請求項４に記載のデータ処理装置。 - 前記変換データは、前記元のデータを、少なくとも、離散コサイン変換したものである
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記処理データのうちの、注目している注目データを予測するのに前記タップ係数とともに用いる前記変換データを抽出し、予測タップとして出力する予測タップ抽出手段をさらに備え、
前記演算手段は、前記予測タップおよびタップ係数を用いて予測演算を行う
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記変換データを抽出し、クラスタップとして出力するクラスタップ抽出手段と、
前記クラスタップに基づいて、前記注目データのクラスを求めるクラス分類を行うクラス分類手段と
をさらに備え、
前記演算手段は、前記予測タップおよび前記注目データのクラスに対応する前記タップ係数を用いて予測演算を行う
ことを特徴とする請求項７に記載のデータ処理装置。 - 前記演算手段は、前記所定の予測演算を行うことにより、前記元のデータに、その品質を向上させる処理を施した前記処理データを得る
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記タップ係数は、前記タップ係数および変換データを用いて、所定の予測演算を行うことにより得られる前記処理データの予測値の予測誤差が、統計的に最小になるように、学習を行うことにより得られたものである
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記元のデータは、動画または静止画の画像データである
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記演算手段は、前記所定の予測演算を行うことにより、前記画像データに、その画質を向上させる処理を施した前記処理データを得る
ことを特徴とする請求項１１に記載のデータ処理装置。 - 前記演算手段は、前記画像データの時間または空間方向の解像度を向上させた前記処理データを得る
ことを特徴とする請求項１１に記載のデータ処理装置。 - 少なくとも、直交変換処理または周波数変換処理を施すことにより得られる変換データを処理するデータ処理方法であって、
学習を行うことにより求められたタップ係数を取得する取得ステップと、
前記タップ係数および変換データを用いて、所定の予測演算を行うことにより、前記変換データを、元のデータに復号するのと同時に、その元のデータに所定の処理を施した処理データを得る演算ステップと
を備えることを特徴とするデータ処理方法。 - 少なくとも、直交変換処理または周波数変換処理を施すことにより得られる変換データを処理するデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
学習を行うことにより求められたタップ係数を取得する取得ステップと、
前記タップ係数および変換データを用いて、所定の予測演算を行うことにより、前記変換データを、元のデータに復号するのと同時に、その元のデータに所定の処理を施した処理データを得る演算ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。 - 少なくとも、直交変換処理または周波数変換処理を施すことにより得られる変換データを復号するのと同時に、その復号結果に所定の処理を施した処理データを得るための予測演算に用いるタップ係数を学習するデータ処理装置であって、
教師となる教師データに、前記所定の処理に基づく処理を施し、準教師データを得る準教師データ生成手段と、
前記準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データを生成する生徒データ生成手段と、
前記タップ係数および生徒データを用いて予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、
前記タップ係数を求める学習手段と
を備えることを特徴とするデータ処理装置。 - 前記学習手段は、前記タップ係数および生徒データを用いて線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行う
ことを特徴とする請求項１６に記載のデータ処理装置。 - 前記生徒データ生成手段は、前記準教師データを、直交変換または周波数変換し、さらに量子化することにより、前記生徒データを生成する
ことを特徴とする請求項１６に記載のデータ処理装置。 - 前記生徒データ生成手段は、前記準教師データを、直交変換または周波数変換して量子化し、さらに逆量子化することにより、前記生徒データを生成する
ことを特徴とする請求項１６に記載のデータ処理装置。 - 前記生徒データ生成手段は、前記準教師データを、少なくとも、離散コサイン変換することにより、前記生徒データを生成する
ことを特徴とする請求項１６に記載のデータ処理装置。 - 前記教師データのうちの、注目している注目教師データを予測するのに前記タップ係数とともに用いる前記生徒データを抽出し、予測タップとして出力する予測タップ抽出手段をさらに備え、
前記学習手段は、前記予測タップおよびタップ係数を用いて予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行う
ことを特徴とする請求項１６に記載のデータ処理装置。 - 前記注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記生徒データを抽出し、クラスタップとして出力するクラスタップ抽出手段と、
前記クラスタップに基づいて、前記注目教師データのクラスを求めるクラス分類を行うクラス分類手段と
をさらに備え、
前記学習手段は、前記予測タップおよび前記注目教師データのクラスに対応するタップ係数を用いて予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、クラスごとの前記タップ係数を求める
ことを特徴とする請求項２１に記載のデータ処理装置。 - 前記生徒データ生成手段は、前記準教師データを、所定の単位ごとに、少なくとも、直交変換処理または周波数変換することにより、前記生徒データを生成する
ことを特徴とする請求項１６に記載のデータ処理装置。 - 前記準教師データ生成手段は、前記教師データに、その品質を劣化させる処理を施すことにより、前記準教師データを生成する
ことを特徴とする請求項１６に記載のデータ処理装置。 - 前記教師データは、動画または静止画の画像データである
ことを特徴とする請求項１６に記載のデータ処理装置。 - 前記準教師データ生成手段は、前記画像データに、その画質を劣化させる処理を施すことにより、前記準教師データを生成する
ことを特徴とする請求項２５に記載のデータ処理装置。 - 前記準教師データ生成手段は、前記画像データの時間または空間方向の解像度を劣化させた前記準教師データを生成する
ことを特徴とする請求項２５に記載のデータ処理装置。 - 少なくとも、直交変換処理または周波数変換処理を施すことにより得られる変換データを復号するのと同時に、その復号結果に所定の処理を施した処理データを得るための予測演算に用いるタップ係数を学習するデータ処理方法であって、
教師となる教師データに、前記所定の処理に基づく処理を施し、準教師データを得る準教師データ生成ステップと、
前記準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データを生成する生徒データ生成ステップと、
前記タップ係数および生徒データを用いて予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、
前記タップ係数を求める学習ステップと
を備えることを特徴とするデータ処理方法。 - 少なくとも、直交変換処理または周波数変換処理を施すことにより得られる変換データを復号するのと同時に、その復号結果に所定の処理を施した処理データを得るための予測演算に用いるタップ係数を学習するデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
教師となる教師データに、前記所定の処理に基づく処理を施し、準教師データを得る準教師データ生成ステップと、
前記準教師データを、少なくとも、直交変換または周波数変換することにより、生徒となる生徒データを生成する生徒データ生成ステップと、
前記タップ係数および生徒データを用いて予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、
前記タップ係数を求める学習ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。
Priority Applications (12)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000135357A JP4752088B2 (ja) | 2000-05-09 | 2000-05-09 | データ処理装置およびデータ処理方法、並びに記録媒体 |
| PCT/JP2001/003873 WO2001086820A1 (en) | 2000-05-09 | 2001-05-09 | Data processing device and data processing method, and recorded medium |
| CN2004100558118A CN1578159B (zh) | 2000-05-09 | 2001-05-09 | 数据处理装置和方法 |
| CNB2004100558103A CN100568739C (zh) | 2000-05-09 | 2001-05-09 | 数据处理装置和方法 |
| CNB018019870A CN1169303C (zh) | 2000-05-09 | 2001-05-09 | 数据处理装置和方法以及记录介质 |
| EP01930004A EP1282236B1 (en) | 2000-05-09 | 2001-05-09 | Data processing device and data processing method, and recorded medium |
| KR1020027000250A KR100731708B1 (ko) | 2000-05-09 | 2001-05-09 | 데이터 처리 장치와 데이터 처리 방법, 및 기록 매체 |
| US10/030,591 US7035471B2 (en) | 2000-05-09 | 2001-05-09 | Data processing device and data processing method and recorded medium |
| US11/348,720 US7206452B2 (en) | 2000-05-09 | 2006-02-07 | Data processing apparatus and method and recording medium |
| US11/584,772 US7283678B2 (en) | 2000-05-09 | 2006-10-20 | Data processing apparatus and method and recording medium |
| US11/584,789 US7289671B2 (en) | 2000-05-09 | 2006-10-20 | Data processing apparatus and method and recording medium |
| US11/584,483 US7336829B2 (en) | 2000-05-09 | 2006-10-20 | Data processing apparatus and method and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000135357A JP4752088B2 (ja) | 2000-05-09 | 2000-05-09 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001320587A JP2001320587A (ja) | 2001-11-16 |
| JP4752088B2 true JP4752088B2 (ja) | 2011-08-17 |
Family
ID=18643446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000135357A Expired - Fee Related JP4752088B2 (ja) | 2000-05-09 | 2000-05-09 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4752088B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60143327D1 (de) | 2000-08-09 | 2010-12-02 | Sony Corp | Sprachdatenverarbeitungsvorrichtung und -verarbeitungsverfahren |
| JP4517262B2 (ja) * | 2000-11-14 | 2010-08-04 | ソニー株式会社 | 音声処理装置および音声処理方法、学習装置および学習方法、並びに記録媒体 |
| JP4462823B2 (ja) | 2002-11-20 | 2010-05-12 | ソニー株式会社 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
| EP2222075A4 (en) | 2007-12-18 | 2011-09-14 | Sony Corp | DATA PROCESSING APPARATUS, DATA PROCESSING METHOD, AND STORAGE MEDIUM |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3271098B2 (ja) * | 1993-09-06 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号復号装置および方法 |
| JP3856244B2 (ja) * | 1995-04-20 | 2006-12-13 | ソニー株式会社 | 信号変換装置及び信号変換方法 |
| JP3760517B2 (ja) * | 1996-04-11 | 2006-03-29 | ソニー株式会社 | 画像信号処理装置および方法 |
| JP3747970B2 (ja) * | 1996-12-24 | 2006-02-22 | ソニー株式会社 | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 |
| JP3774988B2 (ja) * | 1997-05-12 | 2006-05-17 | ソニー株式会社 | 静止画撮像装置、カラー複写装置及び表示装置 |
| JP3780633B2 (ja) * | 1997-06-16 | 2006-05-31 | ソニー株式会社 | 画像信号処理装置及び方法並びに画素移動パターンの学習方法 |
| JP3867346B2 (ja) * | 1997-06-17 | 2007-01-10 | ソニー株式会社 | 画像信号処理装置及び方法並びに予測パラメータの学習装置及び方法 |
-
2000
- 2000-05-09 JP JP2000135357A patent/JP4752088B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001320587A (ja) | 2001-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7289671B2 (en) | Data processing apparatus and method and recording medium | |
| Thyagarajan | Still image and video compression with MATLAB | |
| JP4847076B2 (ja) | トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ | |
| Sathiyanathan | Medical image compression using view compensated wavelet transform | |
| JP2004520771A (ja) | ドリフト補正を備えたビデオトランスコーダ | |
| US20060159168A1 (en) | Method and apparatus for encoding pictures without loss of DC components | |
| JP4752088B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4517448B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4538698B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4678454B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4147789B2 (ja) | 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 | |
| JP4419287B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4538699B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4081745B2 (ja) | 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| Kim et al. | Content-based video transcoding in compressed domain | |
| Furht | Image presentation and compression | |
| JP4154647B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 | |
| JP2001345707A (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| KR100744442B1 (ko) | 디지털 비디오 및 이미지들에 대한 개선된 캐스케이드 압축 방법 및 시스템 | |
| JP4491701B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| Rodriguez et al. | Video compression for multimedia applications | |
| Young | Software CODEC algorithms for desktop videoconferencing | |
| PO et al. | 4 DATA COMPRESSION TECHNIQUES IN IMAGE PROCESSING SYSTEMS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100406 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110113 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110509 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |