JP4678454B2 - Data processing apparatus, data processing method, and recording medium - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、不可逆圧縮された画像等を復号する場合等に用いて好適なデータ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
例えば、ディジタル画像データは、そのデータ量が多いため、そのまま記録や伝送を行うには、大容量の記録媒体や伝送媒体が必要となる。そこで、一般には、画像データを圧縮符号化することにより、そのデータ量を削減してから、記録や伝送が行われる。
【０００３】
画像を圧縮符号化する方式としては、例えば、静止画の圧縮符号化方式であるＪＰＥＧ(Joint Photographic Experts Group)方式や、動画の圧縮符号化方式であるＭＰＥＧ(Moving Picture Experts Group)方式等がある。
【０００４】
例えば、ＪＰＥＧ方式による画像データの符号化／復号は、図１に示すように行われる。
【０００５】
即ち、図１（Ａ）は、従来のＪＰＥＧ符号化装置の一例の構成を示している。
【０００６】
符号化対象の画像データは、ブロック化回路１に入力され、ブロック化回路１は、そこに入力される画像データを、８×８画素の６４画素でなるブロックに分割する。ブロック化回路１で得られる各ブロックは、ＤＣＴ(Discrete Cosine Transform)回路２に供給される。ＤＣＴ回路２は、ブロック化回路１からのブロックに対して、ＤＣＴ（離散コサイン変換）処理を施し、１個のＤＣ(Direct Current)成分（直流成分）と、水平方向および垂直方向についての６３個の周波数成分（ＡＣ(Alternating Current)成分）（交流成分）の、合計６４個のＤＣＴ係数に変換する。各ブロックごとの６４個のＤＣＴ係数は、ＤＣＴ回路２から量子化回路３に供給される。
【０００７】
量子化回路３は、所定の量子化テーブルにしたがって、ＤＣＴ回路２からのＤＣＴ係数を量子化し、その量子化結果（以下、適宜、量子化ＤＣＴ係数という）を、量子化に用いた量子化テーブルとともに、エントロピー符号化回路４に供給する。
【０００８】
ここで、図１（Ｂ）は、量子化回路３において用いられる量子化テーブルの例を示している。量子化テーブルには、一般に、人間の視覚特性を考慮して、重要性の高い低周波数のＤＣＴ係数は細かく量子化し、重要性の低い高周波数のＤＣＴ係数は粗く量子化するような量子化ステップが設定されており、これにより、画像の画質の劣化を抑えて、効率の良い圧縮が行われるようになっている。
【０００９】
エントロピー符号化回路４は、量子化回路３からの量子化ＤＣＴ係数に対して、例えば、ハフマン符号化等のエントロピー符号化処理を施して、量子化回路３からの量子化テーブルを付加し、その結果得られる符号化データを、ＪＰＥＧ符号化結果として出力する。
【００１０】
次に、図１（Ｃ）は、図１（Ａ）のＪＰＥＧ符号化装置が出力する符号化データを復号する、従来のＪＰＥＧ復号装置の一例の構成を示している。
【００１１】
符号化データは、エントロピー復号回路１１に入力され、エントロピー復号回路１１は、符号化データを、エントロピー符号化された量子化ＤＣＴ係数と、量子化テーブルとに分離する。さらに、エントロピー復号回路１１は、エントロピー符号化された量子化ＤＣＴ係数をエントロピー復号し、その結果得られる量子化ＤＣＴ係数を、量子化テーブルとともに、逆量子化回路１２に供給する。逆量子化回路１２は、エントロピー復号回路１１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路１１からの量子化テーブルにしたがって逆量子化し、その結果得られるＤＣＴ係数を、逆ＤＣＴ回路１３に供給する。逆ＤＣＴ回路１３は、逆量子化回路１２からのＤＣＴ係数に、逆ＤＣＴ処理を施し、その結果られる８×８画素の（復号）ブロックを、ブロック分解回路１４に供給する。ブロック分解回路１４は、逆ＤＣＴ回路１３からのブロックのブロック化を解くことで、復号画像を得て出力する。
【００１２】
【発明が解決しようとする課題】
図１（Ａ）のＪＰＥＧ符号化装置では、その量子化回路３において、ブロックの量子化に用いる量子化テーブルの量子化ステップを大きくすることにより、符号化データのデータ量を削減することができる。即ち、高圧縮を実現することができる。
【００１３】
しかしながら、量子化ステップを大きくすると、いわゆる量子化誤差も大きくなることから、図１（Ｃ）のＪＰＥＧ復号装置で得られる復号画像の画質が劣化する。即ち、復号画像には、ぼけや、ブロック歪み、モスキートノイズ等が顕著に現れる。
【００１４】
従って、符号化データのデータ量の削減しながら、復号画像の画質を劣化させないようにするには、あるいは、符号化データのデータ量を維持して、復号画像の画質を向上させるには、ＪＰＥＧ復号した後に、何らかの画質向上のための処理を行う必要がある。
【００１５】
しかしながら、ＪＰＥＧ復号した後に、画質向上のための処理を行うことは、処理が煩雑になり、最終的に復号画像が得られるまでの時間も長くなる。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、ＪＰＥＧ符号化された画像等から、効率的に、画質の良い復号画像を得ること等ができるようにするものである。
【００１７】
【課題を解決するための手段】
本発明の第１のデータ処理装置は、学習を行うことにより求められたタップ係数を取得する取得手段と、注目しているデータである注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる変換データを、少なくとも、注目データに対応するブロック以外のブロックから抽出し、クラスタップとして出力するクラスタップ抽出手段と、クラスタップとなっている変換データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、注目データのクラスを求めるクラス分類を行うクラス分類手段と、注目データのクラスのタップ係数と、変換データとの線形１次予測演算を行うことにより、注目データの予測値を求める演算手段とを備え、タップ係数は、学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを、学習時の生徒となる生徒データとして生成し、学習時の教師となる教師データとして用いられるデータのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒データを、少なくとも、注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力し、クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、注目教師データのクラスを求めるクラス分類を行い、クラスごとのタップ係数と、生徒データとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行う学習処理によりクラスごとに求められたものであることを特徴とする。
【００１９】
第１のデータ処理装置には、タップ係数を記憶している記憶手段をさらに設けることができ、この場合、取得手段には、記憶手段から、タップ係数を取得させることができる。
【００２２】
第１のデータ処理装置において、クラスタップ抽出手段には、注目データに対応するブロックの周辺のブロックから、クラスタップとする変換データを抽出させることができる。
【００２３】
第１のデータ処理装置において、クラスタップ抽出手段には、注目データに対応するブロックからも、クラスタップとする変換データを抽出させることができる。
【００２５】
第１のデータ処理装置において、データは、動画または静止画の画像データとすることができる。
【００２６】
本発明の第１のデータ処理方法は、学習を行うことにより求められたタップ係数を取得する取得ステップと、注目しているデータである注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる変換データを、少なくとも、注目データに対応するブロック以外のブロックから抽出し、クラスタップとして出力するクラスタップ抽出ステップと、クラスタップとなっている変換データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、注目データのクラスを求めるクラス分類を行うクラス分類ステップと、注目データのクラスのタップ係数と、変換データとの線形１次予測演算を行うことにより、注目データの予測値を求める演算ステップとを備え、タップ係数は、学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを、学習時の生徒となる生徒データとして生成し、学習時の教師となる教師データとして用いられるデータのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒データを、少なくとも、注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力し、クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、注目教師データのクラスを求めるクラス分類を行い、クラスごとのタップ係数と、生徒データとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行う学習処理によりクラスごとに求められたものであることを特徴とする。
【００２７】
本発明の第１の記録媒体は、学習を行うことにより求められたタップ係数を取得する取得ステップと、注目しているデータである注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる変換データを、少なくとも、注目データに対応するブロック以外のブロックから抽出し、クラスタップとして出力するクラスタップ抽出ステップと、クラスタップとなっている変換データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、注目データのクラスを求めるクラス分類を行うクラス分類ステップと、注目データのクラスのタップ係数と、変換データとの線形１次予測演算を行うことにより、注目データの予測値を求める演算ステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であり、タップ係数は、学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを、学習時の生徒となる生徒データとして生成し、学習時の教師となる教師データとして用いられるデータのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒データを、少なくとも、注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力し、クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、注目教師データのクラスを求めるクラス分類を行い、クラスごとのタップ係数と、生徒データとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行う学習処理によりクラスごとに求められたものであることを特徴とする。
【００２８】
本発明の第２のデータ処理装置は、学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを、学習時の生徒となる生徒データとして生成する生成手段と、学習時の教師となる教師データとして用いられるデータのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒データを、少なくとも、注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力するクラスタップ抽出手段と、クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、注目教師データのクラスを求めるクラス分類を行うクラス分類手段と、クラスごとのタップ係数と、生徒データとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を、クラスごとに求める学習手段とを備えることを特徴とする。
【００３２】
第２のデータ処理装置において、クラスタップ抽出手段には、注目教師データに対応するブロックの周辺のブロックから、クラスタップとする生徒データを抽出させることができる。
【００３３】
第２のデータ処理装置において、クラスタップ抽出手段には、注目教師データに対応するブロックからも、クラスタップとする生徒データを抽出させることができる。
【００３４】
第２のデータ処理装置において、データは、動画または静止画の画像データとすることができる。
【００３５】
本発明の第２のデータ処理方法は、学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを、学習時の生徒となる生徒データとして生成する生成ステップと、学習時の教師となる教師データとして用いられるデータのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒データを、少なくとも、注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力するクラスタップ抽出ステップと、クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、注目教師データのクラスを求めるクラス分類を行うクラス分類ステップと、クラスごとのタップ係数と、生徒データとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を、クラスごとに求める学習ステップとを備えることを特徴とする。
【００３６】
本発明の第２の記録媒体は、学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを、学習時の生徒となる生徒データとして生成する生成ステップと、学習時の教師となる教師データとして用いられるデータのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒データを、少なくとも、注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力するクラスタップ抽出ステップと、クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、注目教師データのクラスを求めるクラス分類を行うクラス分類ステップと、クラスごとのタップ係数と、生徒データとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、タップ係数を、クラスごとに求める学習ステップとを実行させるためのプログラムが記録されていることを特徴とする。
【００３７】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体においては、注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる変換データが、少なくとも、注目データに対応するブロック以外のブロックから抽出され、クラスタップとして出力される。そして、そのクラスタップとなっている変換データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、注目データのクラスを求めるクラス分類が行われ、注目データのクラスのタップ係数と、変換データとの線形１次予測演算を行うことにより、注目データの予測値が求められる。そして、タップ係数は、学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを、学習時の生徒となる生徒データとして生成し、学習時の教師となる教師データとして用いられるデータのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒データを、少なくとも、注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力し、クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、注目教師データのクラスを求めるクラス分類を行い、クラスごとのタップ係数と、生徒データとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習を行う学習処理によりクラスごとに求められたものである。
【００３８】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体においては、注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒データが、少なくとも、注目教師データに対応するブロック以外のブロックから抽出され、クラスタップとして出力される。さらに、そのクラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、注目教師データのクラスを求めるクラス分類が行われる。そして、クラスごとのタップ係数と、生徒データとの線形１次予測演算を行うことにより得られる教師データの予測値の予測誤差が、統計的に最小になるように学習が行われ、タップ係数が、クラスごとに求められる。
【００３９】
【発明の実施の形態】
図２は、本発明を適用した画像伝送システムの一実施の形態の構成例を示している。
【００４０】
伝送すべき画像データは、エンコーダ２１に供給されるようになっており、エンコーダ２１は、そこに供給される画像データを、例えば、ＪＰＥＧ符号化し、符号化データとする。即ち、エンコーダ２１は、例えば、前述の図１（Ａ）に示したＪＰＥＧ符号化装置と同様に構成されており、画像データをＪＰＥＧ符号化する。エンコーダ２１がＪＰＥＧ符号化を行うことにより得られる符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体２３に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体２４を介して伝送される。
【００４１】
デコーダ２２は、記録媒体２３または伝送媒体２４を介して提供される符号化データを受信して、元の画像データに復号する。この復号化された画像データは、例えば、図示せぬモニタに供給されて表示等される。
【００４２】
次に、図３は、図２のデコーダ２２の構成例を示している。
【００４３】
符号化データは、エントロピー復号回路３１に供給されるようになっており、エントロピー復号回路３１は、符号化データを、エントロピー復号して、その結果得られるブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回路３２に供給する。なお、符号化データには、図１（Ｃ）のエントロピー復号回路１１で説明した場合と同様に、エントロピー符号化された量子化ＤＣＴ係数の他、量子化テーブルも含まれるが、量子化テーブルは、後述するように、必要に応じて、量子化ＤＣＴ係数の復号に用いることが可能である。
【００４４】
係数変換回路３２は、エントロピー復号回路３１からの量子化ＤＣＴ係数Ｑと、後述する学習を行うことにより求められるタップ係数を用いて、所定の予測演算を行うことにより、ブロックごとの量子化ＤＣＴ係数を、８×８画素の元のブロックに復号する。
【００４５】
ブロック分解回路３３は、係数変換回路３２において得られる、復号されたブロック（復号ブロック）のブロック化を解くことで、復号画像を得て出力する。
【００４６】
次に、図４のフローチャートを参照して、図３のデコーダ２２の処理について説明する。
【００４７】
符号化データは、エントロピー復号回路３１に順次供給され、ステップＳ１において、エントロピー復号回路３１は、符号化データをエントロピー復号し、ブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回路３２に供給する。係数変換回路３２は、ステップＳ２において、エントロピー復号回路３１からのブロックごとの量子化ＤＣＴ係数Ｑを、タップ係数を用いた予測演算を行うことにより、ブロックごとの画素値に復号し、ブロック分解回路３３に供給する。ブロック分解回路３３は、ステップＳ３において、係数変換回路３２からの画素値のブロック（復号ブロック）のブロック化を解くブロック分解を行い、その結果得られる復号画像を出力して、処理を終了する。
【００４８】
次に、図３の係数変換回路３２では、例えば、クラス分類適応処理を利用して、量子化ＤＣＴ係数を、画素値に復号することができる。
【００４９】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００５０】
即ち、適応処理では、例えば、量子化ＤＣＴ係数と、所定のタップ係数との線形結合により、元の画素の予測値を求めることで、量子化ＤＣＴ係数が、元の画素値に復号される。
【００５１】
具体的には、例えば、いま、ある画像を教師データとするとともに、その画像を、ブロック単位でＤＣＴ処理し、さらに量子化して得られる量子化ＤＣＴ係数を生徒データとして、教師データである画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかの量子化ＤＣＴ係数ｘ₁，ｘ₂，・・・の集合と、所定のタップ係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００５２】
Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）
【００５３】
式（１）を一般化するために、タップ係数ｗ_jの集合でなる行列Ｗ、生徒データｘ_ijの集合でなる行列Ｘ、および予測値Ｅ［ｙ_j］の集合でなる行列Ｙ’を、
【数１】

で定義すると、次のような観測方程式が成立する。
【００５４】
ＸＷ＝Ｙ’・・・（２）
ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙ_iの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗ_jは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙ_iは、ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙ_iのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフィックスｉを省略したものである。
【００５５】
そして、この観測方程式に最小自乗法を適用して、元の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる真の画素値ｙの集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】

で定義すると、式（２）から、次のような残差方程式が成立する。
【００５６】
ＸＷ＝Ｙ＋Ｅ・・・（３）
【００５７】
この場合、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗ_jは、自乗誤差
【数３】

を最小にすることで求めることができる。
【００５８】
従って、上述の自乗誤差をタップ係数ｗ_jで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗ_jが、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００５９】
【数４】

・・・（４）
【００６０】
そこで、まず、式（３）を、タップ係数ｗ_jで微分することにより、次式が成立する。
【００６１】
【数５】

・・・（５）
【００６２】
式（４）および（５）より、式（６）が得られる。
【００６３】
【数６】

・・・（６）
【００６４】
さらに、式（３）の残差方程式における生徒データｘ_ij、タップ係数ｗ_j、教師データｙ_i、および残差ｅ_iの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００６５】
【数７】

・・・（７）
【００６６】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】

で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ・・・（８）
で表すことができる。
【００６７】
式（７）における各正規方程式は、生徒データｘ_ijおよび教師データｙ_iのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_jの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適なタップ係数（ここでは、自乗誤差を最小にするタップ係数）ｗ_jを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００６８】
以上のようにして、最適なタップ係数ｗ_jを求めておき、さらに、そのタップ係数ｗ_jを用い、式（１）により、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００６９】
なお、例えば、教師データとして、ＪＰＥＧ符号化する画像と同一画質の画像を用いるとともに、生徒データとして、その教師データをＤＣＴおよび量子化して得られる量子化ＤＣＴ係数を用いた場合、タップ係数としては、ＪＰＥＧ符号化された画像データを、元の画像データに復号するのに、予測誤差が、統計的に最小となるものが得られることになる。
【００７０】
従って、ＪＰＥＧ符号化を行う際の圧縮率を高くしても、即ち、量子化に用いる量子化ステップを粗くしても、適応処理によれば、予測誤差が、統計的に最小となる復号処理が施されることになり、実質的に、ＪＰＥＧ符号化された画像の復号処理と、その画質を向上させるための処理とが、同時に施されることになる。その結果、圧縮率を高くしても、復号画像の画質を維持することができる。
【００７１】
また、例えば、教師データとして、ＪＰＥＧ符号化する画像よりも高画質の画像を用いるとともに、生徒データとして、その教師データの画質を、ＪＰＥＧ符号化する画像と同一画質に劣化させ、さらに、ＤＣＴおよび量子化して得られる量子化ＤＣＴ係数を用いた場合、タップ係数としては、ＪＰＥＧ符号化された画像データを、高画質の画像データに復号するのに、予測誤差が、統計的に最小となるものが得られることになる。
【００７２】
従って、この場合、適応処理によれば、ＪＰＥＧ符号化された画像の復号処理と、その画質をより向上させるための処理とが、同時に施されることになる。なお、上述したことから、教師データまたは生徒データとなる画像の画質を変えることで、復号画像の画質を任意のレベルとするタップ係数を得ることができる。
【００７３】
また、上述の場合には、教師データとして画像データを用い、生徒データとして量子化ＤＣＴ係数を用いるようにしたが、その他、例えば、教師データとしてＤＣＴ係数を用い、生徒データとして、そのＤＣＴ係数を量子化した量子化ＤＣＴ係数を用いるようにすることも可能である。この場合、適応処理によれば、量子化ＤＣＴ係数から、量子化誤差を低減（抑制）したＤＣＴ係数を予測するためのタップ係数が得られることになる。
【００７４】
図５は、以上のようなクラス分類適応処理により、量子化ＤＣＴ係数を画素値に復号する、図３の係数変換回路３２の第１の構成例を示している。
【００７５】
エントロピー復号回路３１（図３）が出力するブロックごとの量子化ＤＣＴ係数は、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給されるようになっている。
【００７６】
予測タップ抽出回路４１は、そこに供給される量子化ＤＣＴ係数のブロック（以下、適宜、ＤＣＴブロックという）に対応する画素値のブロック（この画素値のブロックは、現段階では存在しないが、仮想的に想定される）（以下、適宜、画素ブロックという）を、順次、注目画素ブロックとし、さらに、その注目画素ブロックを構成する各画素を、例えば、いわゆるラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出回路４１は、注目画素の画素値を予測するのに用いる量子化ＤＣＴ係数を抽出し、予測タップとする。
【００７７】
即ち、予測タップ抽出回路４１は、例えば、図６（Ａ）に示すように、注目画素が属する画素ブロックに対応するＤＣＴブロックのすべての量子化ＤＣＴ係数、即ち、８×８の６４個の量子化ＤＣＴ係数を、予測タップとして抽出する。従って、本実施の形態では、ある画素ブロックのすべての画素について、同一の予測タップが構成される。但し、予測タップは、注目画素ごとに、異なる量子化ＤＣＴ係数で構成することが可能である。
【００７８】
なお、予測タップを構成する量子化ＤＣＴ係数は、上述したパターンのものに限定されるものではない。
【００７９】
予測タップ抽出回路４１において得られる、画素ブロックを構成する各画素についての予測タップ、即ち、６４画素それぞれについての６４セットの予測タップは、積和演算回路４５に供給される。但し、本実施の形態では、上述したように、画素ブロックのすべての画素について、同一の予測タップが構成されるので、実際には、１つの画素ブロックに対して、１セットの予測タップを、積和演算回路４５に供給すれば良い。
【００８０】
クラスタップ抽出回路４２は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる量子化ＤＣＴ係数を抽出して、クラスタップとする。
【００８１】
なお、ＪＰＥＧ符号化では、画像が、画素ブロックごとに符号化（ＤＣＴ処理および量子化）されることから、ある画素ブロックに属する画素は、例えば、すべて同一のクラスにクラス分類することとする。従って、クラスタップ抽出回路４２は、ある画素ブロックの各画素については、同一のクラスタップを構成する。
【００８２】
即ち、本実施の形態では、クラスタップ抽出回路４２は、例えば、図６（Ｂ）に示すように、注目画素が属する画素ブロックに対応するＤＣＴブロックと、その上下左右に隣接する４個のＤＣＴブロックの、合計で５個のＤＣＴブロックの３２０（＝８×８×５）個の量子化ＤＣＴ係数を、クラスタップとして抽出する。
【００８３】
ここで、画素ブロックに属する各画素を、すべて同一のクラスにクラス分類するということは、その画素ブロックをクラス分類することと等価である。従って、クラスタップ抽出回路４２には、注目画素ブロックを構成する６４画素それぞれをクラス分類するための６４セットのクラスタップではなく、注目画素ブロックをクラス分類するための１セットのクラスタップを構成させれば良く、このため、クラスタップ抽出回路４２は、画素ブロックごとに、その画素ブロックをクラス分類するために、その画素ブロックに対応するＤＣＴブロックと、その上下左右に隣接する４個のＤＣＴブロックの量子化ＤＣＴ係数を抽出して、クラスタップとするようになっている。
【００８４】
なお、クラスタップを構成する量子化ＤＣＴ係数は、上述したパターンのものに限定されるものではない。
【００８５】
即ち、ＪＰＥＧ符号化では、８×８画素の画素ブロック単位で、ＤＣＴおよび量子化が行われることにより、８×８の量子化ＤＣＴ係数からなるＤＣＴブロックが構成されるから、ある画素ブロックの画素を、クラス分類適応処理によって復号する場合には、その画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数だけを、クラスタップとして用いることが考えられる。
【００８６】
しかしながら、画像においては、ある画素ブロックに注目した場合に、その画素ブロックの画素と、その周辺の画素ブロックの画素との間には、少なからず相関があるのが一般的である。従って、上述のように、ある画素ブロックに対応するＤＣＴブロックだけでなく、それ以外のＤＣＴブロックからも、量子化ＤＣＴ係数を抽出して、クラスタップとして用いることによって、注目画素を、より適切にクラス分けすることが可能となり、その結果、画素ブロックに対応するＤＣＴブロックの量子化ＤＣＴ係数だけを、クラスタップとして用いる場合に比較して、復号画像の画質を向上させることが可能となる。
【００８７】
ここで、上述の場合には、ある画素ブロックに対応するＤＣＴブロックと、その上下左右に隣接する４個のＤＣＴブロックの量子化ＤＣＴ係数を、クラスタップとするようにしたが、クラスタップとする量子化ＤＣＴ係数は、その他、ある画素ブロックに対応するＤＣＴブロックの斜め方向に隣接するＤＣＴブロックや、隣接しないが周辺にあるＤＣＴブロック等から抽出するようにしても良い。即ち、どのような範囲のＤＣＴブロックから、クラスタップとする量子化ＤＣＴ係数を抽出するかは、特に限定されるものではない。
【００８８】
クラスタップ抽出回路４２において得られる、注目画素ブロックのクラスタップは、クラス分類回路４３に供給されるようになっており、クラス分類回路４３は、クラスタップ抽出回路４２からのクラスタップに基づき、注目画素ブロックをクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【００８９】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００９０】
ADRCを用いる方法では、クラスタップを構成する量子化ＤＣＴ係数が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素ブロックのクラスが決定される。
【００９１】
なお、KビットADRCにおいては、例えば、クラスタップを構成する量子化ＤＣＴ係数の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する量子化ＤＣＴ係数がKビットに再量子化される。即ち、クラスタップを構成する量子化ＤＣＴ係数の中から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各量子化ＤＣＴ係数を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各量子化ＤＣＴ係数は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各量子化ＤＣＴ係数が１ビットとされる（２値化される）。そして、その１ビットの量子化ＤＣＴ係数を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００９２】
なお、クラス分類回路４３には、例えば、クラスタップを構成する量子化ＤＣＴ係数のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個の量子化ＤＣＴ係数で構成され、各量子化ＤＣＴ係数に、Ｋビットが割り当てられているとすると、クラス分類回路４３が出力するクラスコードの場合の数は、（２^N）^K通りとなり、量子化ＤＣＴ係数のビット数Ｋに指数的に比例した膨大な数となる。
【００９３】
従って、クラス分類回路４３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮してから、クラス分類を行うのが好ましい。
【００９４】
ところで、本実施の形態では、クラスタップは、上述したように、３２０個の量子化ＤＣＴ係数で構成される。従って、例えば、仮に、クラスタップを１ビットADRC処理することにより、クラス分類を行うこととしても、クラスコードの場合の数は、２³²⁰通りという膨大な値となる。
【００９５】
そこで、本実施の形態では、クラス分類回路４３において、クラスタップを構成する量子化ＤＣＴ係数から、重要性の高い特徴量を抽出し、その特徴量に基づいてクラス分類を行うことで、クラス数を低減するようになっている。
【００９６】
即ち、図７は、図５のクラス分類回路４３の構成例を示している。
【００９７】
クラスタップは、電力演算回路５１に供給されるようになっており、電力演算回路５１は、クラスタップを構成する量子化ＤＣＴ係数を、幾つかの空間周波数帯域のものに分け、各周波数帯域の電力を演算する。
【００９８】
即ち、本実施の形態では、クラスタップは、図６（Ｂ）に示したように、５個のＤＣＴブロックの量子化ＤＣＴ係数から構成されるが、電力演算回路５１は、クラスタップを構成する各ＤＣＴブロックの８×８個の量子化ＤＣＴ係数を、例えば、図８に示すような４つの空間周波数帯域Ｓ₀，Ｓ₁，Ｓ₂，Ｓ₃に分割する。
【００９９】
ここで、１つのＤＣＴブロックの８×８個の量子化ＤＣＴ係数それぞれを、アルファベットｘに、図６（Ａ）に示したような、ラスタスキャン順に、０からのシーケンシャルな整数を付して表すこととすると、空間周波数帯域Ｓ₀は、４個の量子化ＤＣＴ係数ｘ₀，ｘ₁，ｘ₈，ｘ₉から構成され、空間周波数帯域Ｓ₁は、１２個の量子化ＤＣＴ係数ｘ₂，ｘ₃，ｘ₄，ｘ₅，ｘ₆，ｘ₇，ｘ₁₀，ｘ₁₁，ｘ₁₂，ｘ₁₃，ｘ₁₄，ｘ₁₅から構成される。また、空間周波数帯域Ｓ₂は、１２個の量子化ＤＣＴ係数ｘ₁₆，ｘ₁₇，ｘ₂₄，ｘ₂₅，ｘ₃₂，ｘ₃₃，ｘ₄₀，ｘ₄₁，ｘ₄₈，ｘ₄₉，ｘ₅₆，ｘ₅₇から構成され、空間周波数帯域Ｓ₃は、３６個の量子化ＤＣＴ係数ｘ₁₈，ｘ₁₉，ｘ₂₀，ｘ₂₁，ｘ₂₂，ｘ₂₃，ｘ₂₆，ｘ₂₇，ｘ₂₈，ｘ₂₉，ｘ₃₀，ｘ₃₁，ｘ₃₄，ｘ₃₅，ｘ₃₆，ｘ₃₇，ｘ₃₈，ｘ₃₉，ｘ₄₂，ｘ₄₃，ｘ₄₄，ｘ₄₅，ｘ₄₆，ｘ₄₇，ｘ₅₀，ｘ₅₁，ｘ₅₂，ｘ₅₃，ｘ₅₄，ｘ₅₅，ｘ₅₈，ｘ₅₉，ｘ₆₀，ｘ₆₁，ｘ₆₂，ｘ₆₃から構成される。
【０１００】
さらに、電力演算回路５１は、クラスタップを構成する５つのＤＣＴブロックそれぞれについて、その空間周波数帯域Ｓ₀，Ｓ₁，Ｓ₂，Ｓ₃のそれぞれに関し、量子化ＤＣＴ係数のＡＣ成分の電力Ｐ₀，Ｐ₁，Ｐ₂，Ｐ₃を演算し、クラスコード生成回路５２に出力する。
【０１０１】
即ち、電力演算回路５１は、空間周波数帯域Ｓ₀については、上述の４個の量子化ＤＣＴ係数ｘ₀，ｘ₁，ｘ₈，ｘ₉のうちのＡＣ成分ｘ₁，ｘ₈，ｘ₉の２乗和ｘ₁ ²＋ｘ₈ ²＋ｘ₉ ²を求め、これを、電力Ｐ₀として、クラスコード生成回路５２に出力する。また、電力演算回路５１は、空間周波数帯域Ｓ１についての、上述の１２個の量子化ＤＣＴ係数のＡＣ成分、即ち、１２個すべての量子化ＤＣＴ係数の２乗和を求め、これを、電力Ｐ₁として、クラスコード生成回路５２に出力する。さらに、電力演算回路５１は、空間周波数帯域Ｓ₂とＳ₃についても、空間周波数帯域Ｓ₁における場合と同様にして、それぞれの電力Ｐ₂とＰ₃を求め、クラスコード生成回路５２に出力する。
【０１０２】
クラスコード生成回路５２は、電力演算回路５１からの、クラスタップを構成する５個のＤＣＴブロックそれぞれについての電力Ｐ₀，Ｐ₁，Ｐ₂，Ｐ₃を、閾値テーブル記憶部５３に記憶された、対応する閾値ＴＨ₀，ＴＨ₁，ＴＨ₂，ＴＨ₃とそれぞれ比較し、それぞれの大小関係に基づいて、クラスコードを出力する。即ち、クラスコード生成回路５２は、電力Ｐ₀と閾値ＴＨ₀とを比較し、その大小関係を表す１ビットのコードを得る。同様に、クラスコード生成回路５２は、電力Ｐ₁と閾値ＴＨ₁、電力Ｐ₂と閾値ＴＨ₂、電力Ｐ₃と閾値ＴＨ₃を、それぞれ比較することにより、それぞれについて、１ビットのコードを得る。
【０１０３】
クラスコード生成回路５２は、クラスタップを構成する５個のＤＣＴブロックそれぞれについて、上述のようにして、４つの１ビットのコード、即ち、合計で、２０ビットのコードを得る。そして、クラスコード生成回路５２は、この２０ビットのコードを、注目画素ブロックのクラスを表すクラスコードとして出力する。この場合、注目画素ブロックは、２²⁰個のクラスのうちのいずれかにクラス分類されることになる。
【０１０４】
閾値テーブル記憶部５３は、空間周波数帯域Ｓ₀乃至Ｓ₃の電力Ｐ₀乃至Ｐ₃とそれぞれ比較する閾値ＴＨ₀乃至ＴＨ₃を記憶している。
【０１０５】
なお、上述の場合には、クラス分類処理に、量子化ＤＣＴ係数のＤＣ成分ｘ₀が用いられないが、このＤＣ成分ｘ₀をも用いてクラス分類処理を行うことも可能である。
【０１０６】
図５に戻り、以上のようなクラス分類回路４３が出力するクラスコードは、係数テーブル記憶部４４に、アドレスとして与えられる。
【０１０７】
係数テーブル記憶部４４は、後述するような学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、クラス分類回路４３が出力するクラスコードに対応するアドレスに記憶されているタップ係数を積和演算回路４５に出力する。
【０１０８】
ここで、本実施の形態では、画素ブロックがクラス分類されるから、注目画素ブロックについて、１つのクラスコードが得られる。一方、画素ブロックは、本実施の形態では、８×８画素の６４画素で構成されるから、注目画素ブロックについて、それを構成する６４画素それぞれを復号するための６４セットのタップ係数が必要である。従って、係数テーブル記憶部４４には、１つのクラスコードに対応するアドレスに対して、６４セットのタップ係数が記憶されている。
【０１０９】
積和演算回路４５は、予測タップ抽出回路４１が出力する予測タップと、係数テーブル記憶部４４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる注目画素ブロックの８×８画素の画素値を、対応するＤＣＴブロックの復号結果として、ブロック分解回路３３（図３）に出力する。
【０１１０】
ここで、予測タップ抽出回路４１においては、上述したように、注目画素ブロックの各画素が、順次、注目画素とされるが、積和演算回路４５は、注目画素ブロックの、注目画素となっている画素の位置に対応した動作モード（以下、適宜、画素位置モードという）となって、処理を行う。
【０１１１】
即ち、例えば、注目画素ブロックの画素のうち、ラスタスキャン順で、ｉ番目の画素を、ｐ_iと表し、画素ｐ_iが、注目画素となっている場合、積和演算回路４５は、画素位置モード＃ｉの処理を行う。
【０１１２】
具体的には、上述したように、係数テーブル記憶部４４は、注目画素ブロックを構成する６４画素それぞれを復号するための６４セットのタップ係数を出力するが、そのうちの画素ｐ_iを復号するためのタップ係数のセットをＷ_iと表すと、積和演算回路４５は、動作モードが、画素位置モード＃ｉのときには、予測タップと、６４セットのタップ係数のうちのセットＷ_iとを用いて、式（１）の積和演算を行い、その積和演算結果を、画素ｐ_iの復号結果とする。
【０１１３】
次に、図９のフローチャートを参照して、図５の係数変換回路３２の処理について説明する。
【０１１４】
エントロピー復号回路３１が出力するブロックごとの量子化ＤＣＴ係数は、予測タップ抽出回路４１およびクラスタップ抽出回路４２において順次受信され、予測タップ抽出回路４１は、そこに供給される量子化ＤＣＴ係数のブロック（ＤＣＴブロック）に対応する画素ブロックを、順次、注目画素ブロックとする。
【０１１５】
そして、クラスタップ抽出回路４２は、ステップＳ１１において、そこで受信した量子化ＤＣＴ係数の中から、注目画素ブロックをクラス分類するのに用いるもの、即ち、本実施の形態では、注目画素ブロックに対応するＤＣＴブロックと、その上下左右に隣接する４個のＤＣＴブロックとの、合計で５個のＤＣＴブロックの量子化ＤＣＴ係数を抽出して、クラスタップを構成し、クラス分類回路４３に供給する。
【０１１６】
クラス分類回路４３は、ステップＳ１２において、クラスタップ抽出回路４２からのクラスタップを用いて、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、係数テーブル記憶部４４に出力する。
【０１１７】
即ち、ステップＳ１２では、図１０のフローチャートに示すように、まず最初に、ステップＳ２１において、クラス分類回路４３（図７）の電力演算回路５１が、クラスタップを構成する５個のＤＣＴブロックそれぞれについて、図８に示した４つの空間周波数帯域Ｓ₀乃至Ｓ₃それぞれの電力Ｐ₀乃至Ｐ₃を演算する。この電力Ｐ₀乃至Ｐ₃は、電力演算回路５１からクラスコード生成回路５２に出力される。
【０１１８】
クラスコード生成回路５２は、ステップＳ２２において、閾値テーブル記憶部５３から閾値ＴＨ₀乃至ＴＨ₃を読み出し、電力演算回路５１からの、クラスタップを構成する５個のＤＣＴブロックの電力Ｐ₀乃至Ｐ₃それぞれと、閾値ＴＨ０乃至ＴＨ３それぞれとを比較し、それぞれの大小関係に基づいたクラスコードを生成して、リターンする。
【０１１９】
図９に戻り、ステップＳ１２において以上のようにして得られるクラスコードは、クラス分類回路４３から係数テーブル記憶部４４に対して、アドレスとして与えられる。
【０１２０】
係数テーブル記憶部４４は、クラス分類回路４３からのアドレスとしてのクラスコードを受信すると、ステップＳ１３において、そのアドレスに記憶されている６４セットのタップ係数を読み出し、積和演算回路４５に出力する。
【０１２１】
そして、ステップＳ１４に進み、予測タップ抽出回路４１は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、その注目画素の画素値を予測するのに用いる量子化ＤＣＴ係数を抽出し、予測タップとして構成する。この予測タップは、予測タップ抽出回路４１から積和演算回路４５に供給される。
【０１２２】
ここで、本実施の形態では、各画素ブロックごとに、その画素ブロックのすべての画素について、同一の予測タップが構成されるので、実際には、ステップＳ１４の処理は、注目画素ブロックについて、最初に注目画素とされる画素に対してだけ行えば、残りの６３画素に対しては、行う必要がない。
【０１２３】
積和演算回路４５は、ステップＳ１５において、ステップＳ１３で係数テーブル記憶部４４が出力する６４セットのタップ係数のうち、注目画素に対する画素位置モードに対応するタップ係数のセットを取得し、そのタップ係数のセットと、ステップＳ１４で予測タップ抽出回路４１から供給される予測タップとを用いて、式（１）に示した積和演算を行い、注目画素の画素値の復号値を得る。
【０１２４】
そして、ステップＳ１６に進み、予測タップ抽出回路４１は、注目画素ブロックのすべての画素を、注目画素として処理を行ったかどうかを判定する。ステップＳ１６において、注目画素ブロックのすべての画素を、注目画素として、まだ処理を行っていないと判定された場合、ステップＳ１４に戻り、予測タップ抽出回路４１は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０１２５】
また、ステップＳ１６において、注目画素ブロックのすべての画素を、注目画素として処理を行ったと判定された場合、即ち、注目画素ブロックのすべての画素の復号値が得られた場合、積和演算回路４５は、その復号値で構成される画素ブロック（復号ブロック）を、ブロック分解回路３３（図３）に出力し、処理を終了する。
【０１２６】
なお、図９のフローチャートにしたがった処理は、予測タップ抽出回路４１が、新たな注目画素ブロックを設定するごとに繰り返し行われる。
【０１２７】
次に、上述の場合には、クラス分類回路４３において、クラスタップを構成する５つのＤＣＴブロックそれぞれについて、同一の空間周波数帯域Ｓ₀乃至Ｓ₃の電力Ｐ₀乃至Ｐ₃を計算し、その電力に基づいて、クラス分類を行うようにしたが、その他、クラス分類は、例えば、クラスタップを構成する５つのＤＣＴブロックの幾つかについて、異なる空間周波数帯域の電力を計算し、その電力に基づいて行うようにすることも可能である。
【０１２８】
即ち、例えば、図１１に斜線を付して示すように、クラスタップを構成する５つのＤＣＴブロックのうち、注目画素ブロックに対応するＤＣＴブロック（以下、適宜、注目ＤＣＴブロックという）については、垂直方向の高周波数帯域の電力Ｐ_vおよび水平方向の高周波数帯域の電力Ｐ_hを、注目ＤＣＴブロックの上に隣接するＤＣＴブロックについては、垂直方向の高周波数帯域の電力Ｐ_uを、注目ＤＣＴブロックの下に隣接するＤＣＴブロックについては、垂直方向の高周波数帯域の電力Ｐ_dを、注目ＤＣＴブロックの左隣のＤＣＴブロックについては、水平方向の高周波数帯域の電力Ｐ_lを、注目ＤＣＴブロックの右隣のＤＣＴブロックについては、水平方向の高周波数帯域の電力Ｐ_rを、それぞれ計算し、それらの電力Ｐ_v，Ｐ_h，Ｐ_u，Ｐ_d，Ｐ_l，Ｐ_rに基づき、図７および図１０で説明した場合と同様にして、クラス分類を行うようにすることが可能である。
【０１２９】
この場合、図７に示したクラス分類回路４３では、図９のステップＳ１２において、図１２に示すような処理が行われる。
【０１３０】
即ち、まず最初に、ステップＳ３１において、クラス分類回路４３（図７）の電力演算回路５１が、クラスタップを構成する５個のＤＣＴブロックについて、図１１で説明したような各周波数帯域の電力Ｐ_v，Ｐ_h，Ｐ_u，Ｐ_d，Ｐ_l，Ｐ_rを演算し、クラスコード生成回路５２に出力する。
【０１３１】
クラスコード生成回路５２は、ステップＳ３２において、閾値テーブル記憶部５３から閾値を読み出す。なお、ここでは、閾値テーブル記憶部５３に、電力Ｐ_v，Ｐ_h，Ｐ_u，Ｐ_d，Ｐ_l，Ｐ_rそれぞれと比較するための閾値ＴＨ_v，ＴＨ_h，ＴＨ_u，ＴＨ_d，ＴＨ_l，ＴＨ_rが記憶されているものとする。
【０１３２】
クラスコード生成回路５２は、閾値テーブル記憶部５３から閾値ＴＨ_v，ＴＨ_h，ＴＨ_u，ＴＨ_d，ＴＨ_l，ＴＨ_rを読み出すと、それぞれを、電力演算回路５１からの電力Ｐ_v，Ｐ_h，Ｐ_u，Ｐ_d，Ｐ_l，Ｐ_rそれぞれと比較し、それぞれの大小関係に基づいた、６個の１ビットを得る。そして、クラスコード生成回路５２は、その６個の１ビットのコードからなる６ビットのコードを、クラスコードとして出力し、リターンする。従って、この場合、注目画素（注目画素ブロック）は、６４（＝２⁶）個のクラスのうちのいずれかにクラス分類されることになる。
【０１３３】
次に、以上においては、クラスタップとしての量子化ＤＣＴ係数のＡＣ成分をクラス分類に用いるようにしたが、クラス分類は、その他、量子化ＤＣＴ係数のＤＣ成分を用いて行うことも可能である。
【０１３４】
即ち、クラス分類は、例えば、図１３に示すように、注目ＤＣＴブロックのＤＣ成分Ｃ₀、その上下左右に隣接するＤＣＴブロックそれぞれのＤＣ成分Ｃ_u，Ｃ_d，Ｃ_l，Ｃ_rを用いて行うことが可能である。
【０１３５】
この場合、図５のクラス分類回路４３は、例えば、図１４に示すように構成される。
【０１３６】
クラスタップは、差分演算回路１５１に供給されるようになっており、差分演算回路１５１は、クラスタップを構成する５個のＤＣＴブロックのうち、注目ＤＣＴブロックの上下左右に隣接するＤＣＴブロックのＤＣ成分Ｃ_u，Ｃ_d，Ｃ_l，Ｃ_rそれぞれと、注目ＤＣＴブロックのＤＣ成分Ｃ₀との差分の絶対値Ｄ_u，Ｄ_d，Ｄ_l，Ｄ_rを演算し、クラスコード生成回路１５２に供給する。即ち、差分演算回路１５１は、式Ｄ_u＝｜Ｃ_u−Ｃ₀｜，Ｄ_d＝｜Ｃ_d−Ｃ₀｜，Ｄ_l＝｜Ｃ_l−Ｃ₀｜，Ｄ_r＝｜Ｃ_r−Ｃ₀｜を演算し、その演算結果を、クラスコード生成回路１５２に供給する。
【０１３７】
クラスコード生成回路１５２は、差分演算回路１５１からの演算結果（差分絶対値）Ｄ_u，Ｄ_d，Ｄ_l，Ｄ_rを、閾値テーブル記憶部１５３に記憶された、対応する閾値ＴＨ_u，ＴＨ_d，ＴＨ_l，ＴＨ_rとそれぞれ比較し、それぞれの大小関係に基づいて、クラスコードを出力する。即ち、クラスコード生成回路１５２は、差分絶対値Ｄ_uと閾値ＴＨ_uとを比較し、その大小関係を表す１ビットのコードを得る。同様に、クラスコード生成回路１５２は、差分絶対値Ｄ_dと閾値ＴＨ_d、差分絶対値Ｄ_lと閾値ＴＨ_l、差分絶対値Ｄ_rと閾値ＴＨ_rを、それぞれ比較することにより、それぞれについて、１ビットのコードを得る。
【０１３８】
そして、クラスコード生成回路１５２は、以上のようにして得られる４つの１ビットのコードを、例えば、所定の順番で並べることにより得られる４ビットのコード（従って、０乃至１５のうちのいずれかの値）を、注目画素ブロックのクラスを表すクラスコードとして出力する。従って、この場合、注目画素ブロックは、２⁴（＝１６）個のクラスのうちのいずれかにクラス分類されることになる。
【０１３９】
閾値テーブル記憶部１５３は、差分絶対値Ｄ_u，Ｄ_d，Ｄ_l，Ｄ_rとそれぞれ比較する閾値ＴＨ_u，ＴＨ_d，，ＴＨ_l，ＴＨ_rを記憶している。
【０１４０】
クラス分類回路４３が図１４に示したように構成される場合、図９のステップＳ１２では、図１５に示すような処理が行われる。
【０１４１】
即ち、この場合、まず最初に、ステップＳ４１において、差分演算回路１５１は、クラスタップを構成する５個のＤＣＴブロックそれぞれのＤＣ成分Ｃ₀，Ｃ_u，Ｃ_d，Ｃ_l，Ｃ_rを用いて、上述の差分絶対値Ｄ_u，Ｄ_d，Ｄ_l，Ｄ_rを演算し、クラスコード生成回路１５２に供給する。
【０１４２】
クラスコード生成回路１５２は、ステップＳ４２において、閾値テーブル記憶部１５３に記憶された閾値ＴＨ_u，ＴＨ_d，ＴＨ_l，ＴＨ_rそれぞれと、差分演算回路１５１からの差分絶対値Ｄ_u，Ｄ_d，Ｄ_l，Ｄ_rそれぞれと比較し、その大小関係を表す４つの１ビットのコードを得る。そして、クラスコード生成回路１５２は、その４つの１ビットのコードでなる４ビットのコードを、クラスコードとして出力し、リターンする。
【０１４３】
なお、クラス分類は、量子化ＤＣＴ係数のＡＣ成分だけ、またはＤＣ成分だけを用いて行う他、ＡＣ成分およびＤＣ成分の両方を用いて行うことも可能である。即ち、クラス分類の方法は、上述した手法に限定されるものではない。
【０１４４】
次に、図１６は、図５の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。
【０１４５】
ブロック化回路６１には、１枚以上の学習用の画像データが供給されるようになっており、ブロック化回路６１は、その学習用の画像を、ＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化する。
【０１４６】
ＤＣＴ回路６２は、ブロック化回路６１がブロック化した画素ブロックを、順次、注目画素ブロックとして読み出し、その注目画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとする。このＤＣＴ係数のブロックは、量子化回路６３に供給される。
【０１４７】
量子化回路６３は、ＤＣＴ回路６２からのＤＣＴ係数のブロックを、ＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化し、その結果得られる量子化ＤＣＴ係数のブロック（ＤＣＴブロック）を、予測タップ抽出回路６４およびクラスタップ抽出回路６５に順次供給する。
【０１４８】
予測タップ抽出回路６４は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、その注目画素について、図５の予測タップ抽出回路４１が構成するのと同一の予測タップを、量子化回路６３の出力から、必要な量子化ＤＣＴ係数を抽出することで構成する。この予測タップは、学習時の生徒となる生徒データとして、予測タップ抽出回路６４から正規方程式加算回路６７に供給される。
【０１４９】
クラスタップ抽出回路６５は、注目画素ブロックについて、図５のクラスタップ抽出回路４２が構成するのと同一のクラスタップを、量子化回路６３の出力から、必要な量子化ＤＣＴ係数を抽出することで構成する。このクラスタップは、クラスタップ抽出回路６５からクラス分類回路６６に供給される。
【０１５０】
クラス分類回路６６は、クラスタップ抽出回路６５からのクラスタップを用いて、図５のクラス分類回路４３と同一の処理を行うことで、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６７に供給する。
【０１５１】
正規方程式加算回路６７は、ブロック化回路６１から、注目画素（の画素値）を教師データとして読み出し、予測タップ構成回路６４からの生徒データとしての予測タップ（を構成する量子化ＤＣＴ係数）、および注目画素を対象とした足し込みを行う。
【０１５２】
即ち、正規方程式加算回路６７は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘ_inｘ_im）と、サメーション（Σ）に相当する演算を行う。
【０１５３】
さらに、正規方程式加算回路６７は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘ_inｙ_i）と、サメーション（Σ）に相当する演算を行う。
【０１５４】
なお、正規方程式加算回路６７における、上述のような足し込みは、各クラスについて、注目画素に対する画素位置モードごとに行われる。
【０１５５】
正規方程式加算回路６７は、以上の足し込みを、ブロック化回路６１に供給された学習用の画像を構成する画素すべてを注目画素として行い、これにより、各クラスについて、画素位置モードごとに、式（８）に示した正規方程式がたてられる。
【０１５６】
タップ係数決定回路６８は、正規方程式加算回路６７においてクラスごとに（かつ、画素位置モードごとに）生成された正規方程式を解くことにより、クラスごとに、６４セットのタップ係数を求め、係数テーブル記憶部６９の、各クラスに対応するアドレスに供給する。
【０１５７】
なお、学習用の画像として用意する画像の枚数や、その画像の内容等によっては、正規方程式加算回路６７において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、タップ係数決定回路６８は、そのようなクラスについては、例えば、デフォルトのタップ係数を出力する。
【０１５８】
係数テーブル記憶部６９は、タップ係数決定回路６８から供給されるクラスごとの６４セットのタップ係数を記憶する。
【０１５９】
次に、図１７のフローチャートを参照して、図１６の学習装置の処理（学習処理）について説明する。
【０１６０】
ブロック化回路６１には、学習用の画像データが供給され、ブロック化回路６１は、ステップＳ５１において、学習用の画像データを、ＪＰＥＧ符号化における場合と同様に、８×８画素の画素ブロックにブロック化して、ステップＳ５２に進む。ステップＳ５２では、ＤＣＴ回路６２が、ブロック化回路６１がブロック化した画素ブロックを、順次読み出し、その画素ブロックを、ＤＣＴ処理することで、ＤＣＴ係数のブロックとし、ステップＳ５３に進む。ステップＳ５３では、量子化回路６３が、ＤＣＴ回路６２において得られたＤＣＴ係数のブロックを順次読み出し、ＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化して、量子化ＤＣＴ係数で構成されるブロック（ＤＣＴブロック）とする。
【０１６１】
そして、ステップＳ５４に進み、クラスタップ抽出回路６５は、ブロック化回路６１でブロック化された画素ブロックのうち、まだ注目画素ブロックとされていないものを、注目画素ブロックとする。さらに、クラスタップ抽出回路６５は、注目画素ブロックをクラス分類するのに用いる量子化ＤＣＴ係数を、量子化回路６３で得られたＤＣＴブロックから抽出して、クラスタップを構成し、クラス分類回路６６に供給する。クラス分類回路６６は、ステップＳ５５において、図１０のフローチャートで説明した場合と同様に、クラスタップ抽出回路６５からのクラスタップを用いて、注目画素ブロックをクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６７に供給して、ステップＳ５６に進む。
【０１６２】
ステップＳ５６では、予測タップ抽出回路６４が、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、その注目画素について、図５の予測タップ抽出回路４１が構成するのと同一の予測タップを、量子化回路６３の出力から必要な量子化ＤＣＴ係数を抽出することで構成する。そして、予測タップ抽出回路６４は、注目画素についての予測タップを、生徒データとして、正規方程式加算回路６７に供給し、ステップＳ５７に進む。
【０１６３】
ステップＳ５７では、正規方程式加算回路６７は、ブロック化回路６１から、注目画素を教師データとして読み出し、生徒データとしての予測タップ（を構成する量子化ＤＣＴ係数）、および教師データとしての注目画素を対象として、式（８）の行列Ａとベクトルｖの、上述したような足し込みを行う。なお、この足し込みは、クラス分類回路６６からのクラスコードに対応するクラスごとに、かつ注目画素に対する画素位置モードごとに行われる。
【０１６４】
そして、ステップＳ５８に進み、予測タップ抽出回路６４は、注目画素ブロックのすべての画素を、注目画素として、足し込みを行ったかどうかを判定する。ステップＳ５８において、注目画素ブロックのすべての画素を、注目画素として、まだ足し込みを行っていないと判定された場合、ステップＳ５６に戻り、予測タップ抽出回路６４は、注目画素ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０１６５】
また、ステップＳ５８において、注目画素ブロックのすべての画素を、注目画素として、足し込みを行ったと判定された場合、ステップＳ５９に進み、ブロック化回路６１は、学習用の画像から得られたすべての画素ブロックを、注目画素ブロックとして処理を行ったかどうかを判定する。ステップＳ５９において、学習用の画像から得られたすべての画素ブロックを、注目画素ブロックとして、まだ処理を行っていないと判定された場合、ステップＳ５４に戻り、ブロック化回路６１でブロック化された画素ブロックのうち、まだ注目画素ブロックとされていないものが、新たに注目画素ブロックとされ、以下、同様の処理が繰り返される。
【０１６６】
一方、ステップＳ５９において、学習用の画像から得られたすべての画素ブロックを、注目画素ブロックとして処理を行ったと判定された場合、即ち、正規方程式加算回路６７において、各クラスについて、画素位置モードごとの正規方程式が得られた場合、ステップＳ６０に進み、タップ係数決定回路６８は、各クラスの画素位置モードごとに生成された正規方程式を解くことにより、各クラスごとに、そのクラスの６４の画素位置モードそれぞれに対応する６４セットのタップ係数を求め、係数テーブル記憶部６９の、各クラスに対応するアドレスに供給して記憶させ、処理を終了する。
【０１６７】
以上のようにして、係数テーブル記憶部６９に記憶された各クラスごとのタップ係数が、図５の係数テーブル記憶部４４に記憶されている。
【０１６８】
従って、係数テーブル記憶部４４に記憶されたタップ係数は、線形予測演算を行うことにより得られる元の画素値の予測値の予測誤差（ここでは、自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであり、その結果、図５の係数変換回路３２によれば、ＪＰＥＧ符号化された画像を、元の画像に限りなく近い画像に復号することができる。
【０１６９】
また、上述したように、ＪＰＥＧ符号化された画像の復号処理と、その画質を向上させるための処理とが、同時に施されることとなるので、ＪＰＥＧ符号化された画像から、効率的に、画質の良い復号画像を得ることができる。
【０１７０】
次に、図１８は、図３の係数変換回路３２の第２の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１８の係数変換回路３２は、逆量子化回路７１が新たに設けられている他は、基本的に、図５における場合と同様に構成されている。
【０１７１】
図１８の実施の形態において、逆量子化回路７１には、エントロピー復号回路３１（図３）において符号化データをエントロピー復号することにより得られるブロックごとの量子化ＤＣＴ係数が供給される。
【０１７２】
なお、エントロピー復号回路３１においては、上述したように、符号化データから、量子化ＤＣＴ係数の他、量子化テーブルも得られるが、図１８の実施の形態では、この量子化テーブルも、エントロピー復号回路３１から逆量子化回路７１に供給されるようになっている。
【０１７３】
逆量子化回路７１は、エントロピー復号回路３１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路３１からの量子化テーブルにしたがって逆量子化し、その結果られるＤＣＴ係数を、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給する。
【０１７４】
従って、予測タップ抽出回路４１とクラスタップ抽出回路４２では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成され、以降も、ＤＣＴ係数を対象として、図５における場合と同様の処理が行われる。
【０１７５】
このように、図１８の実施の形態では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数（量子化ＤＣＴ係数を逆量子化したもの）を対象として処理が行われるため、係数テーブル記憶部４４に記憶させるタップ係数は、図５における場合と異なるものとする必要がある。
【０１７６】
そこで、図１９は、図１８の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１９の学習装置は、量子化回路６３の後段に、逆量子化回路８１が新たに設けられている他は、図１６における場合と基本的に同様に構成されている。
【０１７７】
図１９の実施の形態において、逆量子化回路８１は、逆量子化回路６３が出力する量子化ＤＣＴ係数を、図１８の逆量子化回路７１と同様に逆量子化し、その結果得られるＤＣＴ係数を、予測タップ抽出回路６４およびクラスタップ抽出回路６５に供給する。
【０１７８】
従って、予測タップ抽出回路６４とクラスタップ抽出回路６５では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成され、以降も、ＤＣＴ係数を対象として、図１６における場合と同様の処理が行われる。
【０１７９】
その結果、ＤＣＴ係数が量子化され、さらに逆量子化されることにより生じる量子化誤差の影響を低減するタップ係数が得られることになる。
【０１８０】
次に、図２０は、図３の係数変換回路３２の第３の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２０の係数変換回路３２は、積和演算回路４５の後段に、逆ＤＣＴ回路１０１が新たに設けられている他は、基本的に、図５における場合と同様に構成されている。
【０１８１】
逆ＤＣＴ回路１０１は、積和演算回路４５の出力を逆ＤＣＴ処理することにより、画像に復号して出力する。従って、図２０の実施の形態では、積和演算回路４５は、予測タップ抽出回路４１が出力する予測タップを構成する量子化ＤＣＴ係数と、係数テーブル記憶部４４に記憶されたタップ係数とを用いた積和演算を行うことにより、ＤＣＴ係数を出力する。
【０１８２】
このように、図２０の実施の形態では、量子化ＤＣＴ係数が、タップ係数との積和演算により、画素値に復号されるのではなく、ＤＣＴ係数に変換され、さらに、そのＤＣＴ係数が、逆ＤＣＴ回路１０１で逆ＤＣＴされることにより、画素値に復号される。従って、係数テーブル記憶部４４に記憶させるタップ係数は、図５における場合と異なるものとする必要がある。
【０１８３】
そこで、図２１は、図２０の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２１の学習装置は、正規方程式加算回路６７に対し、教師データとして、学習用の画像の画素値ではなく、ＤＣＴ回路６２が出力する、学習用の画像をＤＣＴ処理したＤＣＴ係数が与えられるようになっている他は、図１６における場合と同様に構成されている。
【０１８４】
従って、図２１の実施の形態では、正規方程式加算回路６７が、ＤＣＴ回路６２が出力するＤＣＴ係数を教師データとするとともに、予測タップ構成回路６４が出力する予測タップを構成する量子化ＤＣＴ係数を生徒データとして、上述の足し込みを行う。そして、タップ係数決定回路６８は、そのような足し込みにより得られる正規方程式を解くことにより、タップ係数を求める。その結果、図２１の学習装置では、量子化ＤＣＴ係数を、量子化回路６３における量子化による量子化誤差を低減（抑制）したＤＣＴ係数に変換するタップ係数が求められることになる。
【０１８５】
図２０の係数変換回路３２では、積和演算回路４５が、上述のようなタップ係数を用いて積和演算を行うため、その出力は、予測タップ抽出回路４１が出力する量子化ＤＣＴ係数を、その量子化誤差を低減したＤＣＴ係数に変換したものとなっている。従って、そのようなＤＣＴ係数が、逆ＤＣＴ回路１０１で逆ＤＣＴされることにより、量子化誤差の影響による画質の劣化を低減した復号画像が得られることになる。
【０１８６】
次に、図２２は、図３の係数変換回路３２の第４の構成例を示している。なお、図中、図５、図１８、または図２０における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２２の係数変換回路３２は、図１８における場合と同様に、逆量子化回路７１が新たに設けられ、かつ、図２０における場合と同様に、逆ＤＣＴ回路１０１が新たに設けられている他は、図５における場合と同様に構成されている。
【０１８７】
従って、図２２の実施の形態では、予測タップ抽出回路４１とクラスタップ抽出回路４２では、量子化ＤＣＴ係数ではなく、ＤＣＴ係数を対象として、予測タップとクラスタップがそれぞれ構成される。さらに、図２２の実施の形態では、積和演算回路４５は、予測タップ抽出回路４１が出力する予測タップを構成するＤＣＴ係数と、係数テーブル記憶部４４に記憶されたタップ係数とを用いた積和演算を行うことにより、量子化誤差を低減したＤＣＴ係数を得て、逆ＤＣＴ回路１０１に出力する。
【０１８８】
次に、図２３は、図２２の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の一実施の形態の構成例を示している。なお、図中、図１６、図１９、または図２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２３の学習装置は、図１９における場合と同様に、逆量子化回路８１が新たに設けられ、さらに、図２１における場合と同様に、正規方程式加算回路６７に対し、教師データとして、学習用の画像の画素値ではなく、ＤＣＴ回路６２が出力する、学習用の画像をＤＣＴ処理したＤＣＴ係数が与えられるようになっている他は、図１６における場合と同様に構成されている。
【０１８９】
従って、図２３の実施の形態では、正規方程式加算回路６７が、ＤＣＴ回路６２が出力するＤＣＴ係数（量子化誤差のないＤＣＴ係数）を教師データとするとともに、予測タップ構成回路６４が出力する予測タップを構成するＤＣＴ係数（量子化されて逆量子化されたＤＣＴ係数）を生徒データとして、上述の足し込みを行う。そして、タップ係数決定回路６８は、そのような足し込みにより得られる正規方程式を解くことにより、タップ係数を求める。その結果、図２３の学習装置では、量子化され、さらに逆量子化されたＤＣＴ係数を、その量子化および逆量子化による量子化誤差を低減したＤＣＴ係数に変換するタップ係数が求められることになる。
【０１９０】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１９１】
そこで、図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１９２】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０１９３】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１９４】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０１９５】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０１９６】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１９７】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１９８】
なお、本実施の形態では、画像データを対象としたが、本発明は、その他、例えば、音声データにも適用可能である。
【０１９９】
さらに、本実施の形態では、静止画を圧縮符号化するＪＰＥＧ符号化された画像を対象としたが、本発明は、動画を圧縮符号化する、例えば、ＭＰＥＧ符号化された画像を対象とすることも可能である。
【０２００】
また、本実施の形態では、少なくとも、ＤＣＴ処理を行うＪＰＥＧ符号化された符号化データの復号を行うようにしたが、本発明は、その他の直交変換または周波数変換によって、ブロック単位（ある所定の単位）で変換されたデータの復号や変換に適用可能である。即ち、本発明は、例えば、サブバンド符号化されたデータや、フーリエ変換されたデータ等を復号したり、それらの量子化誤差等を低減したデータに変換する場合にも適用可能である。
【０２０１】
さらに、本実施の形態では、デコーダ２２において、タップ係数を、あらかじめ記憶しておくようにしたが、タップ係数は、符号化データに含めて、デコーダ２２に提供するようにすることが可能である。
【０２０２】
また、本実施の形態では、タップ係数を用いた線形１次予測演算によって、復号や変換を行うようにしたが、復号および変換は、その他、２次以上の高次の予測演算によって行うことも可能である。
【０２０３】
さらに、本実施の形態では、クラスタップを、注目画素に対応するＤＣＴブロックの量子化ＤＣＴ係数だけでなく、他のＤＣＴブロックの量子化ＤＣＴ係数をも用いて構成するようにしたが、予測タップも、同様に構成することが可能である。
【０２０４】
【発明の効果】
本発明の第１のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、効率的に、変換データから、元のデータの予測値を求めることが可能となる。
【０２０５】
本発明の第２のデータ処理装置およびデータ処理方法、並びに記録媒体によれば、効率的に、直交変換または周波数変換されたデータから元のデータの予測値を求めることが可能となる。
【図面の簡単な説明】
【図１】従来のＪＰＥＧ符号化／復号を説明するための図である。
【図２】本発明を適用した画像伝送システムの一実施の形態の構成例を示す図である。
【図３】図２のデコーダ２２の構成例を示すブロック図である。
【図４】図３のデコーダ２２の処理を説明するフローチャートである。
【図５】図３の係数変換回路３２の第１の構成例を示すブロック図である。
【図６】クラスタップの例を説明する図である。
【図７】図５のクラス分類回路４３の構成例を示すブロック図である。
【図８】電力演算回路５１の処理を説明するための図である。
【図９】図５の係数変換回路３２の処理を説明するフローチャートである。
【図１０】図９のステップＳ１２の処理のより詳細を説明するフローチャートである。
【図１１】クラス分類の方法を説明するための図である。
【図１２】図５のクラス分類回路４３の処理を説明するフローチャートである。
【図１３】クラス分類の他の方法を説明するための図である。
【図１４】図５のクラス分類回路４３の他の構成例を示すブロック図である。
【図１５】図１４のクラス分類回路４３の処理を説明するフローチャートである。
【図１６】タップ係数を学習する学習装置の第１実施の形態の構成例を示すブロック図である。
【図１７】図１６の学習装置の処理を説明するフローチャートである。
【図１８】図３の係数変換回路３２の第２の構成例を示すブロック図である。
【図１９】学習装置の第２実施の形態の構成例を示すブロック図である。
【図２０】図３の係数変換回路３２の第３の構成例を示すブロック図である。
【図２１】学習装置の第３実施の形態の構成例を示すブロック図である。
【図２２】図３の係数変換回路３２の第４の構成例を示すブロック図である。
【図２３】学習装置の第４実施の形態の構成例を示すブロック図である。
【図２４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
２１ エンコーダ， ２２ デコーダ， ２３ 記録媒体， ２４ 伝送媒体， ３１ エントロピー復号回路， ３２ 係数変換回路， ３３ ブロック分解回路， ４１ 予測タップ抽出回路， ４２ クラスタップ抽出回路， ４３クラス分類回路， ４４ 係数テーブル記憶部， ４５積和演算回路， ５１電力演算回路， ５２ クラスコード生成回路， ５３ 閾値テーブル記憶部， ６１ ブロック化回路， ６２ ＤＣＴ回路， ６３ 量子化回路， ６４予測タップ抽出回路， ６５ クラスタップ抽出回路， ６６ クラス分類回路， ６７ 正規方程式加算回路， ６８ タップ係数決定回路， ６９ 係数テーブル記憶部， ７１，８１ 逆量子化回路， ９１ 逆量子化回路， １０１ 逆ＤＣＴ回路， １５１ 差分演算回路， １５２ クラスコード生成回路， １５３ 閾値テーブル記憶部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data processing device, a data processing method, and a recording medium, and more particularly, to a data processing device, a data processing method, and a recording medium that are suitable for use in, for example, decoding an irreversible compressed image.
[0002]
[Prior art]
For example, since digital image data has a large amount of data, a large-capacity recording medium or transmission medium is required to perform recording or transmission as it is. In general, therefore, image data is compressed and encoded to reduce the amount of data before recording or transmission.
[0003]
As a method for compressing and encoding an image, for example, there are a JPEG (Joint Photographic Experts Group) method that is a compression encoding method for still images, an MPEG (Moving Picture Experts Group) method that is a compression encoding method for moving images, and the like. .
[0004]
For example, encoding / decoding of image data by the JPEG method is performed as shown in FIG.
[0005]
That is, FIG. 1A shows a configuration of an example of a conventional JPEG encoding apparatus.
[0006]
The image data to be encoded is input to the block forming circuit 1, and the block forming circuit 1 divides the image data input thereto into blocks of 64 pixels of 8 × 8 pixels. Each block obtained by the blocking circuit 1 is supplied to a DCT (Discrete Cosine Transform) circuit 2. The DCT circuit 2 performs a DCT (Discrete Cosine Transform) process on the block from the blocking circuit 1 to generate one DC (Direct Current) component (DC component) and 63 in the horizontal and vertical directions. The frequency components (AC (Alternating Current) components) (alternating current components) are converted into a total of 64 DCT coefficients. The 64 DCT coefficients for each block are supplied from the DCT circuit 2 to the quantization circuit 3.
[0007]
The quantization circuit 3 quantizes the DCT coefficient from the DCT circuit 2 in accordance with a predetermined quantization table, and uses the quantization result (hereinafter, appropriately referred to as “quantized DCT coefficient”) for quantization. At the same time, it is supplied to the entropy encoding circuit 4.
[0008]
Here, FIG. 1B shows an example of a quantization table used in the quantization circuit 3. In general, the quantization table takes into account human visual characteristics and finely quantizes low-frequency DCT coefficients that are highly important, and coarsely quantizes low-frequency high-frequency DCT coefficients. Thus, it is possible to suppress the deterioration of the image quality of the image and perform efficient compression.
[0009]
The entropy coding circuit 4 performs entropy coding processing such as Huffman coding on the quantized DCT coefficient from the quantization circuit 3, and adds the quantization table from the quantization circuit 3, for example. The encoded data obtained as a result is output as a JPEG encoding result.
[0010]
Next, FIG. 1C shows a configuration of an example of a conventional JPEG decoding apparatus that decodes encoded data output from the JPEG encoding apparatus of FIG.
[0011]
The encoded data is input to the entropy decoding circuit 11, and the entropy decoding circuit 11 separates the encoded data into entropy-coded quantized DCT coefficients and a quantization table. Further, the entropy decoding circuit 11 entropy-decodes the entropy-coded quantized DCT coefficients, and supplies the resulting quantized DCT coefficients to the inverse quantization circuit 12 together with the quantization table. The inverse quantization circuit 12 inversely quantizes the quantized DCT coefficient from the entropy decoding circuit 11 according to the quantization table from the entropy decoding circuit 11, and supplies the DCT coefficient obtained as a result to the inverse DCT circuit 13. . The inverse DCT circuit 13 performs inverse DCT processing on the DCT coefficients from the inverse quantization circuit 12 and supplies the resulting 8 × 8 pixel (decoded) block to the block decomposition circuit 14. The block decomposition circuit 14 obtains and outputs a decoded image by unblocking the block from the inverse DCT circuit 13.
[0012]
[Problems to be solved by the invention]
In the JPEG encoding apparatus of FIG. 1A, the data amount of encoded data can be reduced by increasing the quantization step of the quantization table used for block quantization in the quantization circuit 3. . That is, high compression can be realized.
[0013]
However, if the quantization step is increased, so-called quantization error also increases, so that the image quality of the decoded image obtained by the JPEG decoding device in FIG. That is, blur, block distortion, mosquito noise, and the like appear significantly in the decoded image.
[0014]
Therefore, in order to prevent the image quality of the decoded image from deteriorating while reducing the data amount of the encoded data, or to maintain the data amount of the encoded data and improve the image quality of the decoded image, JPEG After decoding, it is necessary to perform some processing for improving image quality.
[0015]
However, performing the processing for improving the image quality after JPEG decoding makes the processing complicated, and the time until a decoded image is finally obtained also becomes long.
[0016]
The present invention has been made in view of such a situation, and makes it possible to efficiently obtain a decoded image with good image quality from a JPEG-encoded image or the like.
[0017]
[Means for Solving the Problems]
  The first data processing apparatus according to the present invention includes an acquisition unit that acquires a tap coefficient obtained by performing learning, and classifying attention data that is data of interest into one of several classes. The conversion data used for classification is extracted from at least a block other than the block corresponding to the data of interest, and is output as a class tap, and a discrete cosine transform, which is conversion data that is a class tap, is performed. Class classification means for classifying the class of attention data based on the DC component or AC component power of the data, linear tap prediction of the class of attention data, and conversion data is performed. And calculating means for obtaining the predicted value of the data of interest, and the tap coefficient isIt is obtained by applying at least discrete cosine transform processing to the teacher data that becomes the teacher at the time of learning in a predetermined block unitThe block-unit conversion data is generated as student data to be students at the time of learning. Among the data used as teacher data to be teachers at the time of learning, some of the attention teacher data that is attention teacher data The student data used for classifying into any of the classes is extracted from at least blocks other than the block corresponding to the teacher data of interest, and output as class taps. Classifying the class of attention teacher data based on the DC component or AC component power of the discrete cosine transformed data, and performing linear primary prediction calculation of the tap coefficient for each class and student data The learning process is performed so that the prediction error of the predicted value of the teacher data obtained by And characterized in that the obtained every.
[0019]
The first data processing apparatus can further be provided with storage means for storing tap coefficients. In this case, the acquisition means can acquire the tap coefficients from the storage means.
[0022]
  In the first data processing apparatus, the class tap extraction means includes a note.EyesConversion data to be class taps can be extracted from blocks around the block corresponding to the data.
[0023]
  In the first data processing apparatus, the class tap extraction means includes a note.EyesConversion data as class taps can also be extracted from the block corresponding to the data.
[0025]
In the first data processing device, the data can be moving image or still image data.
[0026]
  In the first data processing method of the present invention, an acquisition step of acquiring a tap coefficient obtained by learning, and attention data that is data of interest are classified into one of several classes. The conversion data used for classification is extracted from at least a block other than the block corresponding to the data of interest and is output as a class tap, and a discrete cosine conversion is performed on the converted data that is the class tap. A class classification step for classifying the class of attention data based on the DC component or AC component power of the obtained data, and performing linear primary prediction calculation of the tap coefficient of the class of attention data and the conversion data And a calculation step for obtaining a predicted value of attention data, and the tap coefficient isIt is obtained by applying at least discrete cosine transform processing to the teacher data that becomes the teacher at the time of learning in a predetermined block unitThe block-unit conversion data is generated as student data to be students at the time of learning. Among the data used as teacher data to be teachers at the time of learning, some of the attention teacher data that is attention teacher data The student data used for classifying into any of the classes is extracted from at least blocks other than the block corresponding to the teacher data of interest, and output as class taps. Classifying the class of attention teacher data based on the DC component or AC component power of the discrete cosine transformed data, and performing linear primary prediction calculation of the tap coefficient for each class and student data The learning process is performed so that the prediction error of the predicted value of the teacher data obtained by And characterized in that the obtained every.
[0027]
  The first recording medium of the present invention includes an acquisition step of acquiring a tap coefficient obtained by learning, and classifying attention data that is data of interest into one of several classes. The conversion data used to perform the extraction is at least a block other than the block corresponding to the data of interest, and is output as a class tap, and a discrete cosine transform, which is the conversion data that is the class tap, is performed. A class classification step for performing class classification for obtaining a class of attention data based on the direct current component or the power of the alternating current component of data, and performing linear primary prediction calculation of the tap coefficient of the attention data class and conversion data , A computer recording a program for executing a calculation step for obtaining a predicted value of attention data A readable recording medium, the tap coefficients,It is obtained by applying at least discrete cosine transform processing to the teacher data that becomes the teacher at the time of learning in a predetermined block unitThe block-unit conversion data is generated as student data to be students at the time of learning. Among the data used as teacher data to be teachers at the time of learning, some of the attention teacher data that is attention teacher data The student data used for classifying into any of the classes is extracted from at least blocks other than the block corresponding to the teacher data of interest, and output as class taps. Classifying the class of attention teacher data based on the DC component or AC component power of the discrete cosine transformed data, and performing linear primary prediction calculation of the tap coefficient for each class and student data The learning process is performed so that the prediction error of the predicted value of the teacher data obtained by And characterized in that the obtained every.
[0028]
  The second data processing apparatus of the present inventionIt is obtained by applying at least discrete cosine transform processing to the teacher data that becomes the teacher at the time of learning in a predetermined block unitGeneration means for generating block-unit conversion data as student data to be a student at the time of learning, and attention teacher data that is attention teacher data among data used as teacher data to be a teacher at the time of learning Class tap extraction means for extracting student data used for classifying into any of several classes from at least blocks other than the block corresponding to the teacher data of interest and outputting as class taps; Class classification means for classifying the class of attention teacher data based on the direct current component or the power of the alternating current component of the discrete cosine transformed data which is the student data, the tap coefficient for each class, The prediction error of the prediction value of the teacher data obtained by performing the linear primary prediction calculation with the student data is Total to perform learning so as to minimize the tap coefficients, characterized in that it comprises a learning means for determining for each class.
[0032]
In the second data processing device, the class tap extraction means can extract student data as class taps from blocks around the block corresponding to the teacher data of interest.
[0033]
In the second data processing apparatus, the class tap extraction means can extract student data as class taps from the block corresponding to the teacher data of interest.
[0034]
In the second data processing device, the data can be moving image or still image data.
[0035]
  The second data processing method of the present invention includes:It is obtained by applying at least discrete cosine transform processing to the teacher data that becomes the teacher at the time of learning in a predetermined block unitA generation step for generating block-unit conversion data as student data to be a student at the time of learning, and attention teacher data that is attention teacher data among data used as teacher data to be a teacher at the time of learning A class tap extraction step for extracting student data used for classifying into any of several classes from at least blocks other than the block corresponding to the teacher data of interest and outputting as class taps; Class classification step for classifying the class of attention teacher data based on the DC component or AC component power of the discrete cosine transformed data, which is the student data, and the tap coefficient for each class, Of the predicted value of the teacher data obtained by performing the linear primary prediction calculation with the student data Measurement error, learns to be statistically minimum, the tap coefficients, characterized in that it comprises a learning step of determining for each class.
[0036]
  The second recording medium of the present invention isIt is obtained by applying at least discrete cosine transform processing to the teacher data that becomes the teacher at the time of learning in a predetermined block unitA generation step for generating block-unit conversion data as student data to be a student at the time of learning, and attention teacher data that is attention teacher data among data used as teacher data to be a teacher at the time of learning A class tap extraction step for extracting student data used for classifying into any of several classes from at least blocks other than the block corresponding to the teacher data of interest and outputting as class taps; Class classification step for classifying the class of attention teacher data based on the DC component or AC component power of the discrete cosine transformed data, which is the student data, and the tap coefficient for each class, Of the predicted value of the teacher data obtained by performing the linear primary prediction calculation with the student data Measurement error, learns to be statistically minimum, the tap coefficients, a program for executing the learning step of calculating for each class is characterized in that it is recorded.
[0037]
  In the first data processing apparatus, data processing method, and recording medium of the present invention, at least conversion data used for classifying attention data into any of several classes corresponds to attention data. Are extracted from blocks other than the block to be output and output as class taps. Based on the DC data or AC component power of the discrete cosine transformed data, which is the converted data that is the class tap, class classification for obtaining the class of the target data is performed, and the class of the target data is tapped. A prediction value of the data of interest is obtained by performing a linear primary prediction calculation of the coefficient and the conversion data. And the tap coefficient isIt is obtained by applying at least discrete cosine transform processing to the teacher data that becomes the teacher at the time of learning in a predetermined block unitThe block-unit conversion data is generated as student data to be students at the time of learning. Among the data used as teacher data to be teachers at the time of learning, some of the attention teacher data that is attention teacher data The student data used for classifying into any of the classes is extracted from at least blocks other than the block corresponding to the teacher data of interest, and output as class taps. Classifying the class of attention teacher data based on the DC component or AC component power of the discrete cosine transformed data, and performing linear primary prediction calculation of the tap coefficient for each class and student data The learning process is performed so that the prediction error of the predicted value of the teacher data obtained by It is those that are required for each.
[0038]
  In the second data processing apparatus, data processing method, and recording medium of the present invention, the student data used to classify the attention teacher data into any of several classes is at least attention teacher data. Are extracted from blocks other than those corresponding to, and output as class taps. In addition, the class tapPower of DC component or AC component of discrete cosine transformed data that is student dataBased on the above, class classification for obtaining a class of attention teacher data is performed. And tap coefficient for each classWhen,Student dataLinear primary prediction operation withLearning is performed so that the prediction error of the predicted value of the teacher data obtained by performing the above is statistically minimized, and the tap coefficient is obtained for each class.
[0039]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 2 shows a configuration example of an embodiment of an image transmission system to which the present invention is applied.
[0040]
The image data to be transmitted is supplied to the encoder 21. The encoder 21 performs, for example, JPEG encoding on the image data supplied thereto to obtain encoded data. That is, the encoder 21 is configured in the same manner as the JPEG encoding apparatus shown in FIG. 1A, for example, and JPEG encodes image data. The encoded data obtained by JPEG encoding by the encoder 21 is recorded on a recording medium 23 made of, for example, a semiconductor memory, a magneto-optical disk, a magnetic disk, an optical disk, a magnetic tape, a phase change disk, or the like. For example, the transmission is performed via a transmission medium 24 including a terrestrial wave, a satellite line, a CATV (Cable Television) network, the Internet, and a public line.
[0041]
The decoder 22 receives the encoded data provided via the recording medium 23 or the transmission medium 24 and decodes the original image data. The decoded image data is supplied to a monitor (not shown) and displayed, for example.
[0042]
Next, FIG. 3 shows a configuration example of the decoder 22 of FIG.
[0043]
The encoded data is supplied to the entropy decoding circuit 31. The entropy decoding circuit 31 entropy-decodes the encoded data, and obtains the quantized DCT coefficient Q for each block obtained as a result as a coefficient. This is supplied to the conversion circuit 32. The encoded data includes a quantization table in addition to the entropy-encoded quantized DCT coefficients as in the case of the entropy decoding circuit 11 in FIG. 1C. As will be described later, it can be used for decoding quantized DCT coefficients as necessary.
[0044]
The coefficient conversion circuit 32 performs a predetermined prediction operation using the quantized DCT coefficient Q from the entropy decoding circuit 31 and a tap coefficient obtained by performing learning described later, thereby performing a quantized DCT coefficient for each block. Are decoded into an original block of 8 × 8 pixels.
[0045]
The block decomposition circuit 33 obtains and outputs a decoded image by unblocking the decoded block (decoded block) obtained in the coefficient conversion circuit 32.
[0046]
Next, processing of the decoder 22 in FIG. 3 will be described with reference to the flowchart in FIG.
[0047]
The encoded data is sequentially supplied to the entropy decoding circuit 31. In step S1, the entropy decoding circuit 31 entropy decodes the encoded data and supplies the quantized DCT coefficient Q for each block to the coefficient conversion circuit 32. In step S2, the coefficient conversion circuit 32 decodes the quantized DCT coefficient Q for each block from the entropy decoding circuit 31 into a pixel value for each block by performing a prediction calculation using a tap coefficient, and a block decomposition circuit. 33. In step S3, the block decomposition circuit 33 performs block decomposition to unblock the pixel value block (decoded block) from the coefficient conversion circuit 32, outputs a decoded image obtained as a result, and ends the processing.
[0048]
Next, the coefficient conversion circuit 32 in FIG. 3 can decode the quantized DCT coefficients into pixel values by using, for example, class classification adaptive processing.
[0049]
Class classification adaptive processing consists of class classification processing and adaptive processing. Data is classified into classes based on their properties by class classification processing, and adaptive processing is performed for each class. It is of the technique like.
[0050]
That is, in the adaptive processing, for example, the predicted value of the original pixel is obtained by linear combination of the quantized DCT coefficient and a predetermined tap coefficient, so that the quantized DCT coefficient is decoded into the original pixel value.
[0051]
Specifically, for example, a certain image is used as teacher data, and the image is subjected to DCT processing in units of blocks, and further quantized DCT coefficients obtained by quantization are used as student data, and the pixel of the teacher data is determined. The predicted value E [y] of the pixel value y is converted into several quantized DCT coefficients x₁, X₂, ... and a predetermined tap coefficient w₁, W₂Consider a linear primary combination model defined by the linear combination of. In this case, the predicted value E [y] can be expressed by the following equation.
[0052]
E [y] = w₁x₁+ W₂x₂＋ ･ ･ ･ (1)
[0053]
To generalize equation (1), tap coefficient w_jA matrix W consisting of_ijAnd a predicted value E [y_j] Is a matrix Y ′ consisting of
[Expression 1]

Then, the following observation equation holds.
[0054]
XW = Y ′ (2)
Here, the component x of the matrix X_ijIs a set of i-th student data (i-th teacher data y_iThe j-th student data in the set of student data used for the prediction of_jRepresents a tap coefficient by which a product with the jth student data in the student data set is calculated. Y_iRepresents the i-th teacher data, and thus E [y_i] Represents the predicted value of the i-th teacher data. Note that y on the left side of Equation (1) is the component y of the matrix Y._iThe suffix i is omitted, and x on the right side of Equation (1)₁, X₂,... Are also components x of the matrix X_ijThe suffix i is omitted.
[0055]
Then, it is considered to apply the least square method to this observation equation to obtain a predicted value E [y] close to the original pixel value y. In this case, a matrix Y composed of a set of true pixel values y serving as teacher data and a matrix E composed of a set of residuals e of predicted values E [y] for the pixel values y are
[Expression 2]

From the equation (2), the following residual equation is established.
[0056]
XW = Y + E (3)
[0057]
In this case, the tap coefficient w for obtaining the predicted value E [y] close to the original pixel value y._jIs the square error
[Equation 3]

Can be obtained by minimizing.
[0058]
Therefore, the above square error is converted to the tap coefficient w._jWhen the value differentiated by 0 is 0, that is, the tap coefficient w satisfying the following equation_jHowever, this is the optimum value for obtaining the predicted value E [y] close to the original pixel value y.
[0059]
[Expression 4]

... (4)
[0060]
Therefore, first, the equation (3) is changed to the tap coefficient w._jIs differentiated by the following equation.
[0061]
[Equation 5]

... (5)
[0062]
From equations (4) and (5), equation (6) is obtained.
[0063]
[Formula 6]

... (6)
[0064]
Furthermore, the student data x in the residual equation of equation (3)_ij, Tap coefficient w_j, Teacher data y_iAnd residual e_iConsidering this relationship, the following normal equation can be obtained from the equation (6).
[0065]
[Expression 7]

... (7)
[0066]
In addition, the normal equation shown in Expression (7) has a matrix (covariance matrix) A and a vector v,
[Equation 8]

And the vector W is defined as shown in Equation 1,
AW = v (8)
Can be expressed as
[0067]
Each normal equation in equation (7) is the student data x_ijAnd teacher data y_iBy preparing a certain number of sets, a tap coefficient w to be obtained_jTherefore, by solving equation (8) with respect to vector W (however, to solve equation (8), matrix A in equation (8) is regular). Required), the optimal tap coefficient (here, the tap coefficient that minimizes the square error) w_jCan be requested. In solving the equation (8), for example, a sweeping method (Gauss-Jordan elimination method) or the like can be used.
[0068]
As described above, the optimum tap coefficient w_jAnd tap coefficient w_jThe adaptive processing is to obtain the predicted value E [y] close to the original pixel value y using the equation (1).
[0069]
For example, when an image having the same image quality as an image to be JPEG-encoded is used as teacher data, and a quantized DCT coefficient obtained by DCT and quantizing the teacher data is used as student data, tap coefficients are In this case, when JPEG-encoded image data is decoded into the original image data, an image having a statistically minimum prediction error is obtained.
[0070]
Therefore, even if the compression rate at the time of performing JPEG encoding is increased, that is, even if the quantization step used for quantization is rough, according to the adaptive processing, a decoding process in which the prediction error is statistically minimized. In effect, the decoding process of the JPEG-encoded image and the process for improving the image quality are performed simultaneously. As a result, the image quality of the decoded image can be maintained even when the compression rate is increased.
[0071]
Further, for example, an image having higher image quality than the image to be JPEG encoded is used as the teacher data, and the image quality of the teacher data is deteriorated to the same image quality as the image to be JPEG encoded as the student data. When quantized DCT coefficients obtained by quantization are used, as tap coefficients, JPEG-encoded image data is decoded into high-quality image data, and the prediction error is statistically minimized. Will be obtained.
[0072]
Therefore, in this case, according to the adaptive processing, the decoding processing of the JPEG-encoded image and the processing for further improving the image quality are performed at the same time. Note that, as described above, it is possible to obtain a tap coefficient that sets the image quality of the decoded image to an arbitrary level by changing the image quality of the image that becomes teacher data or student data.
[0073]
In the above case, the image data is used as the teacher data and the quantized DCT coefficient is used as the student data. However, for example, the DCT coefficient is used as the teacher data and the DCT coefficient is used as the student data. It is also possible to use quantized quantized DCT coefficients. In this case, according to the adaptive processing, a tap coefficient for predicting a DCT coefficient in which a quantization error is reduced (suppressed) is obtained from the quantized DCT coefficient.
[0074]
FIG. 5 shows a first configuration example of the coefficient conversion circuit 32 of FIG. 3 that decodes the quantized DCT coefficients into pixel values by the class classification adaptive processing as described above.
[0075]
The quantized DCT coefficients for each block output from the entropy decoding circuit 31 (FIG. 3) are supplied to the prediction tap extraction circuit 41 and the class tap extraction circuit.
[0076]
The prediction tap extraction circuit 41 has a block of pixel values corresponding to a block of quantized DCT coefficients (hereinafter referred to as a DCT block as appropriate) supplied thereto (the block of pixel values does not exist at this stage, (Hereinafter, appropriately referred to as a pixel block) is sequentially set as a target pixel block, and each pixel constituting the target pixel block is sequentially set as a target pixel, for example, in a so-called raster scan order. . Furthermore, the prediction tap extraction circuit 41 extracts a quantized DCT coefficient used for predicting the pixel value of the pixel of interest and sets it as a prediction tap.
[0077]
That is, the prediction tap extraction circuit 41, for example, as shown in FIG. 6A, all the quantized DCT coefficients of the DCT block corresponding to the pixel block to which the pixel of interest belongs, that is, 64 × 8 × 8 DCT coefficients are extracted as prediction taps. Therefore, in this embodiment, the same prediction tap is configured for all the pixels of a certain pixel block. However, the prediction tap can be configured with different quantized DCT coefficients for each pixel of interest.
[0078]
Note that the quantized DCT coefficients constituting the prediction tap are not limited to those having the above-described pattern.
[0079]
The prediction taps obtained by the prediction tap extraction circuit 41 for each pixel constituting the pixel block, that is, 64 sets of prediction taps for each of the 64 pixels, are supplied to the product-sum operation circuit 45. However, in the present embodiment, as described above, since the same prediction tap is configured for all the pixels of the pixel block, in practice, one set of prediction taps is assigned to one pixel block. What is necessary is just to supply to the product-sum operation circuit 45.
[0080]
The class tap extraction circuit 42 extracts a quantized DCT coefficient used for class classification for classifying the pixel of interest into one of several classes, and sets it as a class tap.
[0081]
In JPEG encoding, since an image is encoded (DCT processing and quantization) for each pixel block, all pixels belonging to a certain pixel block are classified into the same class, for example. Accordingly, the class tap extraction circuit 42 configures the same class tap for each pixel of a certain pixel block.
[0082]
In other words, in the present embodiment, the class tap extraction circuit 42, for example, as shown in FIG. 6B, the DCT block corresponding to the pixel block to which the pixel of interest belongs and the four DCTs adjacent to the upper, lower, left, and right sides. 320 (= 8 × 8 × 5) quantized DCT coefficients of a total of five DCT blocks in the block are extracted as class taps.
[0083]
Here, classifying all the pixels belonging to a pixel block into the same class is equivalent to classifying the pixel block. Therefore, the class tap extraction circuit 42 is configured to configure one set of class taps for classifying the pixel block of interest, instead of 64 sets of class taps for classifying each of the 64 pixels constituting the pixel block of interest. For this reason, the class tap extraction circuit 42 classifies the pixel block for each pixel block, and classifies the DCT block corresponding to the pixel block and four DCT blocks adjacent in the vertical and horizontal directions. The quantized DCT coefficients are extracted to form class taps.
[0084]
Note that the quantized DCT coefficients constituting the class tap are not limited to the above-described patterns.
[0085]
That is, in JPEG encoding, a DCT block composed of 8 × 8 quantized DCT coefficients is formed by performing DCT and quantization in units of 8 × 8 pixel block units. Is decoded by class classification adaptive processing, it is considered that only the quantized DCT coefficient of the DCT block corresponding to the pixel block is used as the class tap.
[0086]
However, in an image, when attention is paid to a certain pixel block, there is generally a certain correlation between the pixels of the pixel block and the pixels of the surrounding pixel blocks. Accordingly, as described above, not only the DCT block corresponding to a certain pixel block but also the other DCT blocks are used to extract the quantized DCT coefficients and use them as class taps, so that the target pixel can be more appropriately selected. As a result, the image quality of the decoded image can be improved as compared with the case where only the quantized DCT coefficient of the DCT block corresponding to the pixel block is used as a class tap.
[0087]
Here, in the above case, the quantized DCT coefficients of the DCT block corresponding to a certain pixel block and the four DCT blocks adjacent to the top, bottom, left and right are set as class taps. In addition, the quantized DCT coefficient may be extracted from a DCT block that is adjacent in the diagonal direction of a DCT block corresponding to a certain pixel block, or a DCT block that is not adjacent but is in the vicinity. That is, the range of DCT blocks from which the quantized DCT coefficients that are class taps are extracted is not particularly limited.
[0088]
The class tap of the pixel block of interest obtained in the class tap extraction circuit 42 is supplied to the class classification circuit 43, and the class classification circuit 43 receives the attention based on the class tap from the class tap extraction circuit 42. The pixel block is classified, and a class code corresponding to the resulting class is output.
[0089]
Here, as a method of classifying, for example, ADRC (Adaptive Dynamic Range Coding) or the like can be employed.
[0090]
In the method using ADRC, the quantized DCT coefficients constituting the class tap are subjected to ADRC processing, and the class of the pixel block of interest is determined according to the resulting ADRC code.
[0091]
In the K-bit ADRC, for example, the maximum value MAX and the minimum value MIN of the quantized DCT coefficient constituting the class tap are detected, and DR = MAX−MIN is set as a local dynamic range of the set, and this dynamic range Based on DR, the quantized DCT coefficients constituting the class tap are requantized to K bits. That is, the minimum value MIN is subtracted from the quantized DCT coefficients constituting the class tap, and the subtracted value is DR / 2.^KDivide by (quantize). Then, a bit string obtained by arranging the K-bit quantized DCT coefficients constituting the class tap in a predetermined order, which is obtained as described above, is output as an ADRC code. Therefore, when a class tap is subjected to, for example, 1-bit ADRC processing, each quantized DCT coefficient constituting the class tap is an average of the maximum value MAX and the minimum value MIN after the minimum value MIN is subtracted. Dividing by the value, each quantized DCT coefficient becomes 1 bit (binarized). Then, a bit string in which the 1-bit quantized DCT coefficients are arranged in a predetermined order is output as an ADRC code.
[0092]
Note that the class classification circuit 43 can output the level distribution pattern of the quantized DCT coefficients constituting the class tap as it is as a class code, for example. In this case, the class tap has N class taps. Assuming that each of the quantized DCT coefficients is composed of quantized DCT coefficients and K bits are assigned to each quantized DCT coefficient, the number of class codes output by the class classification circuit 43 is (2^N)^KAs a result, it becomes a huge number that is exponentially proportional to the number of bits K of the quantized DCT coefficient.
[0093]
Therefore, the class classification circuit 43 preferably performs class classification after compressing the information amount of the class tap by the above-described ADRC processing or vector quantization.
[0094]
By the way, in this embodiment, the class tap is composed of 320 quantized DCT coefficients as described above. Therefore, for example, even if class classification is performed by performing 1-bit ADRC processing on a class tap, the number of class codes is 2³²⁰It becomes a huge value of street.
[0095]
Therefore, in the present embodiment, the class classification circuit 43 extracts feature quantities having high importance from the quantized DCT coefficients constituting the class tap, and performs class classification based on the feature quantities, thereby obtaining the number of classes. Is to be reduced.
[0096]
That is, FIG. 7 shows a configuration example of the class classification circuit 43 of FIG.
[0097]
The class tap is supplied to the power calculation circuit 51, and the power calculation circuit 51 divides the quantized DCT coefficients constituting the class tap into those of several spatial frequency bands. Calculate power.
[0098]
That is, in the present embodiment, the class tap is composed of quantized DCT coefficients of five DCT blocks as shown in FIG. 6B, but the power calculation circuit 51 constitutes the class tap. For example, 8 × 8 quantized DCT coefficients of each DCT block are represented by four spatial frequency bands S as shown in FIG.₀, S₁, S₂, S_ThreeDivide into
[0099]
Here, each of the 8 × 8 quantized DCT coefficients of one DCT block is expressed by adding a sequential integer from 0 to the alphabet x in the raster scan order as shown in FIG. 6A. If so, the spatial frequency band S₀Is the four quantized DCT coefficients x₀, X₁, X₈, X₉And the spatial frequency band S₁Is the 12 quantized DCT coefficients x₂, X_Three, X_Four, X_Five, X₆, X₇, X_Ten, X₁₁, X₁₂, X₁₃, X₁₄, X₁₅Consists of In addition, the spatial frequency band S₂Is the 12 quantized DCT coefficients x₁₆, X₁₇, X_{twenty four}, X_{twenty five}, X₃₂, X₃₃, X₄₀, X₄₁, X₄₈, X₄₉, X₅₆, X₅₇And the spatial frequency band S_ThreeIs the 36 quantized DCT coefficients x₁₈, X₁₉, X₂₀, X_{twenty one}, X_{twenty two}, X_{twenty three}, X₂₆, X₂₇, X₂₈, X₂₉, X₃₀, X₃₁, X₃₄, X₃₅, X₃₆, X₃₇, X₃₈, X₃₉, X₄₂, X₄₃, X₄₄, X₄₅, X₄₆, X₄₇, X₅₀, X₅₁, X₅₂, X₅₃, X₅₄, X₅₅, X₅₈, X₅₉, X₆₀, X₆₁, X₆₂, X₆₃Consists of
[0100]
Furthermore, the power calculation circuit 51 uses the spatial frequency band S for each of the five DCT blocks constituting the class tap.₀, S₁, S₂, S_Three, The power P of the AC component of the quantized DCT coefficient₀, P₁, P₂, P_ThreeIs output to the class code generation circuit 52.
[0101]
That is, the power calculation circuit 51 has the spatial frequency band S₀For the above four quantized DCT coefficients x₀, X₁, X₈, X₉AC component x of₁, X₈, X₉Sum of squares x₁ ²+ X₈ ²+ X₉ ²And this is the power P₀Is output to the class code generation circuit 52. Further, the power calculation circuit 51 obtains the AC component of the above-described 12 quantized DCT coefficients for the spatial frequency band S1, that is, the sum of squares of all 12 quantized DCT coefficients, and obtains the power P₁Is output to the class code generation circuit 52. Further, the power calculation circuit 51 has a spatial frequency band S₂And S_ThreeAlso for the spatial frequency band S₁In the same way as in FIG.₂And P_ThreeAnd is output to the class code generation circuit 52.
[0102]
The class code generation circuit 52 receives the power P for each of the five DCT blocks constituting the class tap from the power calculation circuit 51.₀, P₁, P₂, P_ThreeCorresponding threshold TH stored in threshold table storage 53₀, TH₁, TH₂, TH_ThreeAnd the class code is output based on the size relationship. That is, the class code generation circuit 52 uses the power P₀And threshold TH₀And a 1-bit code representing the magnitude relationship is obtained. Similarly, the class code generation circuit 52 uses the power P₁And threshold TH₁, Power P₂And threshold TH₂, Power P_ThreeAnd threshold TH_ThreeAre respectively compared to obtain a 1-bit code for each.
[0103]
The class code generation circuit 52 obtains four 1-bit codes, that is, a total of 20-bit codes as described above for each of the five DCT blocks constituting the class tap. Then, the class code generation circuit 52 outputs this 20-bit code as a class code representing the class of the target pixel block. In this case, the target pixel block is 2²⁰It will be classified into one of the classes.
[0104]
The threshold table storage unit 53 includes a spatial frequency band S₀Thru S_ThreePower P₀Thru P_ThreeThreshold TH to compare with each₀Thru TH_ThreeIs remembered.
[0105]
In the above case, the DC component x of the quantized DCT coefficient is included in the classification process.₀Is not used, but this DC component x₀It is also possible to perform class classification processing using.
[0106]
Returning to FIG. 5, the class code output from the class classification circuit 43 as described above is given to the coefficient table storage unit 44 as an address.
[0107]
The coefficient table storage unit 44 stores a coefficient table in which tap coefficients obtained by performing learning processing described later are registered, and is stored at an address corresponding to the class code output by the class classification circuit 43. The tap coefficient is output to the product-sum operation circuit 45.
[0108]
Here, in this embodiment, since the pixel block is classified, one class code is obtained for the pixel block of interest. On the other hand, since the pixel block is composed of 64 pixels of 8 × 8 pixels in the present embodiment, 64 sets of tap coefficients for decoding each of the 64 pixels constituting the pixel block of interest are required. is there. Accordingly, the coefficient table storage unit 44 stores 64 sets of tap coefficients for an address corresponding to one class code.
[0109]
The product-sum operation circuit 45 acquires the prediction tap output from the prediction tap extraction circuit 41 and the tap coefficient output from the coefficient table storage unit 44, and uses the prediction tap and the tap coefficient to obtain Equation (1). The linear prediction calculation (product-sum calculation) shown is performed, and the 8 × 8 pixel value of the pixel block of interest obtained as a result is output to the block decomposition circuit 33 (FIG. 3) as the decoding result of the corresponding DCT block. .
[0110]
Here, in the prediction tap extraction circuit 41, as described above, each pixel of the target pixel block is sequentially set as the target pixel. However, the product-sum operation circuit 45 becomes the target pixel of the target pixel block. Processing is performed in an operation mode corresponding to the position of the pixel (hereinafter, referred to as pixel position mode as appropriate).
[0111]
That is, for example, among the pixels of the pixel block of interest, the i-th pixel in the raster scan order is set to p._iAnd pixel p_iHowever, if it is the pixel of interest, the product-sum operation circuit 45 performs the processing of the pixel position mode #i.
[0112]
Specifically, as described above, the coefficient table storage unit 44 outputs 64 sets of tap coefficients for decoding each of the 64 pixels constituting the pixel block of interest._iA set of tap coefficients for decoding_iWhen the operation mode is the pixel position mode #i, the product-sum operation circuit 45 represents the prediction tap and the set W among the 64 sets of tap coefficients._iAnd the product-sum operation of Expression (1) is performed, and the product-sum operation result is expressed as pixel p._iIs the decoding result.
[0113]
Next, processing of the coefficient conversion circuit 32 in FIG. 5 will be described with reference to the flowchart in FIG.
[0114]
The quantized DCT coefficients for each block output from the entropy decoding circuit 31 are sequentially received by the prediction tap extraction circuit 41 and the class tap extraction circuit 42, and the prediction tap extraction circuit 41 supplies the block of quantized DCT coefficients supplied thereto. Pixel blocks corresponding to (DCT block) are sequentially set as target pixel blocks.
[0115]
In step S11, the class tap extraction circuit 42 is used for classifying the pixel block of interest from among the quantized DCT coefficients received there, that is, in this embodiment, corresponds to the pixel block of interest. Quantized DCT coefficients of a total of five DCT blocks of the DCT block and four DCT blocks adjacent to the top, bottom, left, and right are extracted to form a class tap and supplied to the class classification circuit 43.
[0116]
In step S12, the class classification circuit 43 classifies the target pixel block using the class tap from the class tap extraction circuit 42, and outputs the class code obtained as a result to the coefficient table storage unit 44.
[0117]
That is, in step S12, as shown in the flowchart of FIG. 10, first, in step S21, the power calculation circuit 51 of the class classification circuit 43 (FIG. 7) applies to each of the five DCT blocks constituting the class tap. , Four spatial frequency bands S shown in FIG.₀Thru S_ThreeEach power P₀Thru P_ThreeIs calculated. This power P₀Thru P_ThreeIs output from the power calculation circuit 51 to the class code generation circuit 52.
[0118]
In step S22, the class code generation circuit 52 reads the threshold TH from the threshold table storage unit 53.₀Thru TH_ThreeAnd the power P of the five DCT blocks constituting the class tap from the power calculation circuit 51₀Thru P_ThreeEach is compared with each of the thresholds TH0 to TH3, class codes based on the respective magnitude relationships are generated, and the process returns.
[0119]
Returning to FIG. 9, the class code obtained as described above in step S <b> 12 is given as an address from the class classification circuit 43 to the coefficient table storage unit 44.
[0120]
When the coefficient table storage unit 44 receives a class code as an address from the class classification circuit 43, the coefficient table storage unit 44 reads out 64 sets of tap coefficients stored in the address and outputs them to the product-sum operation circuit 45 in step S13.
[0121]
Then, the process proceeds to step S14, and the prediction tap extraction circuit 41 predicts the pixel value of the target pixel by using, as the target pixel, a pixel that is not yet set as the target pixel in the raster scan order among the pixels of the target pixel block. The quantized DCT coefficient used for the extraction is extracted and configured as a prediction tap. This prediction tap is supplied from the prediction tap extraction circuit 41 to the product-sum operation circuit 45.
[0122]
Here, in the present embodiment, for each pixel block, the same prediction tap is configured for all the pixels of the pixel block, so in practice, the processing in step S14 is first performed for the target pixel block. If it is performed only for the pixel that is the target pixel, it is not necessary to perform the remaining 63 pixels.
[0123]
In step S15, the product-sum operation circuit 45 acquires a set of tap coefficients corresponding to the pixel position mode for the target pixel from among the 64 sets of tap coefficients output from the coefficient table storage unit 44 in step S13, and the tap coefficients. And the prediction tap supplied from the prediction tap extraction circuit 41 in step S14, the product-sum operation shown in Expression (1) is performed to obtain the decoded value of the pixel value of the target pixel.
[0124]
Then, the process proceeds to step S <b> 16, and the prediction tap extraction circuit 41 determines whether or not processing has been performed on all pixels of the target pixel block as the target pixel. If it is determined in step S16 that all the pixels in the pixel block of interest have not been processed as pixels of interest, the process returns to step S14, and the prediction tap extraction circuit 41 selects the raster among the pixels of the pixel block of interest. In the scan order, a pixel that has not yet been set as the target pixel is newly set as the target pixel, and the same processing is repeated.
[0125]
If it is determined in step S16 that all the pixels of the target pixel block have been processed as the target pixel, that is, if the decoded values of all the pixels of the target pixel block are obtained, the product-sum operation circuit 45 Outputs the pixel block (decoded block) composed of the decoded values to the block decomposition circuit 33 (FIG. 3), and ends the process.
[0126]
Note that the processing according to the flowchart of FIG. 9 is repeatedly performed each time the prediction tap extraction circuit 41 sets a new target pixel block.
[0127]
Next, in the above case, the class classification circuit 43 uses the same spatial frequency band S for each of the five DCT blocks forming the class tap.₀Thru S_ThreePower P₀Thru P_ThreeThe class classification is performed based on the power, but the class classification calculates the power of different spatial frequency bands for some of the five DCT blocks constituting the class tap, for example. It is also possible to perform based on the electric power.
[0128]
That is, for example, as shown by hatching in FIG. 11, among the five DCT blocks forming the class tap, the DCT block corresponding to the pixel block of interest (hereinafter referred to as the target DCT block as appropriate) is vertical. Direction high frequency band power P_vAnd horizontal high frequency band power P_hFor the DCT block adjacent above the target DCT block, the power P in the vertical high frequency band_uFor the DCT block adjacent below the target DCT block, the power P in the vertical high frequency band_dFor the DCT block adjacent to the left of the DCT block of interest, the power P in the horizontal high frequency band_lFor the DCT block immediately to the right of the target DCT block, the power P in the horizontal high frequency band_rRespectively, and calculate their power P_v, P_h, P_u, P_d, P_l, P_rBased on the above, it is possible to classify in the same manner as described with reference to FIGS.
[0129]
In this case, the class classification circuit 43 shown in FIG. 7 performs the process shown in FIG. 12 in step S12 of FIG.
[0130]
That is, first, in step S31, the power calculation circuit 51 of the class classification circuit 43 (FIG. 7) uses the power P of each frequency band as described in FIG. 11 for the five DCT blocks constituting the class tap._v, P_h, P_u, P_d, P_l, P_rIs output to the class code generation circuit 52.
[0131]
The class code generation circuit 52 reads the threshold value from the threshold value table storage unit 53 in step S32. Here, the threshold value table storage unit 53 stores the power P_v, P_h, P_u, P_d, P_l, P_rThreshold TH for comparison with each_v, TH_h, TH_u, TH_d, TH_l, TH_rIs stored.
[0132]
The class code generation circuit 52 receives the threshold TH from the threshold table storage unit 53._v, TH_h, TH_u, TH_d, TH_l, TH_rAre read out from the power calculation circuit 51, respectively._v, P_h, P_u, P_d, P_l, P_rCompared with each of them, six 1 bits are obtained based on the respective magnitude relations. Then, the class code generation circuit 52 outputs a 6-bit code composed of the six 1-bit codes as a class code, and returns. Therefore, in this case, the target pixel (target pixel block) is 64 (= 2⁶) Will be classified into one of the classes.
[0133]
Next, in the above description, the AC component of the quantized DCT coefficient as the class tap is used for class classification. However, the class classification can also be performed using the DC component of the quantized DCT coefficient. .
[0134]
That is, for example, as shown in FIG.₀, DC component C of each DCT block adjacent in the vertical and horizontal directions_u, C_d, C_l, C_rCan be used.
[0135]
In this case, the class classification circuit 43 in FIG. 5 is configured as shown in FIG. 14, for example.
[0136]
The class tap is supplied to the difference calculation circuit 151, and the difference calculation circuit 151 includes the DCT of the DCT blocks adjacent to the DCT block adjacent to the target DCT block among the five DCT blocks constituting the class tap. Component C_u, C_d, C_l, C_rEach and the DC component C of the DCT block of interest₀Absolute value D of difference from_u, D_d, D_l, D_rAnd is supplied to the class code generation circuit 152. That is, the difference calculation circuit 151 has the formula D_u= | C_u-C₀|, D_d= | C_d-C₀|, D_l= | C_l-C₀|, D_r= | C_r-C₀| Is calculated, and the calculation result is supplied to the class code generation circuit 152.
[0137]
The class code generation circuit 152 calculates the calculation result (difference absolute value) D from the difference calculation circuit 151._u, D_d, D_l, D_rCorresponding threshold TH stored in threshold table storage unit 153_u, TH_d, TH_l, TH_rAnd the class code is output based on the size relationship. That is, the class code generation circuit 152 calculates the absolute difference value D_uAnd threshold TH_uAnd a 1-bit code representing the magnitude relationship is obtained. Similarly, the class code generation circuit 152 generates a difference absolute value D_dAnd threshold TH_d, Difference absolute value D_lAnd threshold TH_l, Difference absolute value D_rAnd threshold TH_rAre respectively compared to obtain a 1-bit code for each.
[0138]
Then, the class code generation circuit 152, for example, a 4-bit code obtained by arranging the four 1-bit codes obtained as described above in a predetermined order (accordingly, any one of 0 to 15). Is output as a class code representing the class of the pixel block of interest. Therefore, in this case, the target pixel block is 2^FourIt is classified into one of (= 16) classes.
[0139]
The threshold table storage unit 153 stores the difference absolute value D_u, D_d, D_l, D_rThreshold TH to compare with each_u, TH_d, TH_l, TH_rIs remembered.
[0140]
When the class classification circuit 43 is configured as shown in FIG. 14, the processing as shown in FIG. 15 is performed in step S12 of FIG.
[0141]
That is, in this case, first, in step S41, the difference calculation circuit 151 causes the DC component C of each of the five DCT blocks constituting the class tap.₀, C_u, C_d, C_l, C_rUsing the above difference absolute value D_u, D_d, D_l, D_rAnd is supplied to the class code generation circuit 152.
[0142]
In step S42, the class code generation circuit 152 stores the threshold value TH stored in the threshold table storage unit 153._u, TH_d, TH_l, TH_rEach and the difference absolute value D from the difference calculation circuit 151_u, D_d, D_l, D_rCompared with each, four 1-bit codes representing the magnitude relationship are obtained. Then, the class code generation circuit 152 outputs a 4-bit code composed of the four 1-bit codes as a class code, and returns.
[0143]
The class classification can be performed using both the AC component and the DC component in addition to the AC component of the quantized DCT coefficient or the DC component alone. That is, the classification method is not limited to the above-described method.
[0144]
Next, FIG. 16 illustrates a configuration example of an embodiment of a learning apparatus that performs learning processing of tap coefficients to be stored in the coefficient table storage unit 44 of FIG.
[0145]
The block forming circuit 61 is supplied with one or more pieces of learning image data, and the blocking circuit 61 converts the learning image into 8 × as in the case of JPEG encoding. Block into 8 pixel blocks.
[0146]
The DCT circuit 62 sequentially reads out the pixel blocks blocked by the blocking circuit 61 as a pixel block of interest, and performs the DCT process on the pixel block of interest to form a block of DCT coefficients. This block of DCT coefficients is supplied to the quantization circuit 63.
[0147]
The quantization circuit 63 quantizes the block of DCT coefficients from the DCT circuit 62 according to the same quantization table used for JPEG encoding, and obtains the resulting block of quantized DCT coefficients (DCT block). And sequentially supplied to the prediction tap extraction circuit 64 and the class tap extraction circuit 65.
[0148]
The prediction tap extraction circuit 64 is configured by the prediction tap extraction circuit 41 of FIG. 5 with respect to a pixel of interest that is a pixel that has not yet been selected as a pixel of interest in raster scan order among the pixels of the pixel block of interest. The same prediction tap as that to be configured is configured by extracting necessary quantized DCT coefficients from the output of the quantization circuit 63. The prediction tap is supplied from the prediction tap extraction circuit 64 to the normal equation addition circuit 67 as student data to be a student at the time of learning.
[0149]
The class tap extraction circuit 65 extracts the necessary quantized DCT coefficients from the output of the quantization circuit 63 from the output of the quantization circuit 63 for the pixel block of interest by extracting the same class tap as the class tap extraction circuit 42 of FIG. Constitute. This class tap is supplied from the class tap extraction circuit 65 to the class classification circuit 66.
[0150]
The class classification circuit 66 performs the same processing as the class classification circuit 43 of FIG. 5 using the class tap from the class tap extraction circuit 65, classifies the pixel block of interest, and obtains the class code obtained as a result. , And supplied to the normal equation adding circuit 67.
[0151]
The normal equation adding circuit 67 reads the pixel of interest (the pixel value thereof) from the blocking circuit 61 as teacher data, and predictive taps (quantized DCT coefficients constituting the student data) from the prediction tap forming circuit 64, and Addition is performed on the target pixel.
[0152]
That is, the normal equation adding circuit 67 is a component in the matrix A of Expression (8) using a prediction tap (student data) for each class corresponding to the class code supplied from the class classification circuit 66. Multiplication of student data (x_inx_im) And a calculation corresponding to summation (Σ).
[0153]
Further, the normal equation addition circuit 67 uses the prediction tap (student data) and the target pixel (teacher data) for each class corresponding to the class code supplied from the class classification circuit 66, and uses the vector of equation (8). Multiplying student data and teacher data (x_iny_i) And a calculation corresponding to summation (Σ).
[0154]
Note that the addition as described above in the normal equation adding circuit 67 is performed for each pixel position mode with respect to the pixel of interest for each class.
[0155]
The normal equation adding circuit 67 performs the above addition using all the pixels constituting the learning image supplied to the block forming circuit 61 as the target pixel, and for each class, for each pixel position mode, The normal equation shown in (8) is established.
[0156]
The tap coefficient determination circuit 68 obtains 64 sets of tap coefficients for each class by solving the normal equation generated for each class (and for each pixel position mode) in the normal equation addition circuit 67, and stores the coefficient table in the coefficient table. The address is supplied to the address corresponding to each class in the unit 69.
[0157]
Depending on the number of images to be prepared as learning images, the contents of the images, and the like, there may occur a class in which the number of normal equations necessary for obtaining tap coefficients cannot be obtained in the normal equation adding circuit 67. Although possible, the tap coefficient determination circuit 68 outputs, for example, a default tap coefficient for such a class.
[0158]
The coefficient table storage unit 69 stores 64 sets of tap coefficients for each class supplied from the tap coefficient determination circuit 68.
[0159]
Next, processing (learning processing) of the learning device in FIG. 16 will be described with reference to the flowchart in FIG.
[0160]
The image data for learning is supplied to the block forming circuit 61. In step S51, the block forming circuit 61 converts the image data for learning into an 8 × 8 pixel pixel block as in the case of JPEG encoding. Blocking proceeds to step S52. In step S52, the DCT circuit 62 sequentially reads out the pixel blocks blocked by the blocking circuit 61, and the pixel blocks are subjected to DCT processing to form a DCT coefficient block, and the process proceeds to step S53. In step S53, the quantization circuit 63 sequentially reads out the block of DCT coefficients obtained in the DCT circuit 62, quantizes them according to the same quantization table used for JPEG encoding, and configures them with quantized DCT coefficients. Block (DCT block).
[0161]
Then, the process proceeds to step S54, and the class tap extraction circuit 65 sets a pixel block that has not yet been selected as a pixel block of interest among the pixel blocks blocked by the blocking circuit 61 as a pixel block of interest. Further, the class tap extraction circuit 65 extracts the quantized DCT coefficients used for classifying the pixel block of interest from the DCT block obtained by the quantization circuit 63 to form a class tap, and the class classification circuit 66 To supply. In step S55, the class classification circuit 66 classifies the target pixel block using the class tap from the class tap extraction circuit 65 in the same manner as described in the flowchart of FIG. The normal equation adding circuit 67 is supplied to the step S56.
[0162]
In step S56, the prediction tap extraction circuit 64 uses, as a pixel of interest, a pixel that is not yet the pixel of interest in the raster scan order among the pixels of the pixel block of interest, and extracts the prediction tap of FIG. The same prediction tap that the circuit 41 configures is configured by extracting the necessary quantized DCT coefficients from the output of the quantizing circuit 63. Then, the prediction tap extraction circuit 64 supplies the prediction tap for the pixel of interest as student data to the normal equation addition circuit 67, and proceeds to step S57.
[0163]
In step S57, the normal equation adding circuit 67 reads the pixel of interest from the blocking circuit 61 as teacher data, and targets the prediction tap (constituting quantized DCT coefficient) as student data and the pixel of interest as teacher data. As described above, the above-described addition of the matrix A and the vector v in the equation (8) is performed. This addition is performed for each class corresponding to the class code from the class classification circuit 66 and for each pixel position mode for the target pixel.
[0164]
Then, the process proceeds to step S58, and the prediction tap extraction circuit 64 determines whether or not addition has been performed with all pixels of the target pixel block as target pixels. If it is determined in step S58 that all the pixels in the pixel block of interest have not been added as pixels of interest, the process returns to step S56, and the prediction tap extraction circuit 64 selects among the pixels of the pixel block of interest. In the raster scan order, a pixel that has not yet been set as the target pixel is newly set as the target pixel, and the same processing is repeated.
[0165]
If it is determined in step S58 that all the pixels of the target pixel block have been added as the target pixel, the process proceeds to step S59, where the blocking circuit 61 determines all the pixels obtained from the learning image. It is determined whether the pixel block has been processed as the target pixel block. If it is determined in step S59 that all pixel blocks obtained from the learning image have not yet been processed as target pixel blocks, the process returns to step S54, and the pixels blocked by the blocking circuit 61 Of the blocks, those not yet set as the target pixel block are newly set as the target pixel block, and the same processing is repeated thereafter.
[0166]
On the other hand, when it is determined in step S59 that all the pixel blocks obtained from the learning image have been processed as the target pixel block, that is, in the normal equation adding circuit 67, for each class, for each pixel position mode. In step S60, the tap coefficient determination circuit 68 solves the normal equation generated for each class of pixel position mode, so that each class has 64 pixels of that class. 64 sets of tap coefficients corresponding to the respective position modes are obtained, supplied to and stored in the coefficient table storage unit 69 at addresses corresponding to the respective classes, and the process ends.
[0167]
As described above, the tap coefficient for each class stored in the coefficient table storage unit 69 is stored in the coefficient table storage unit 44 of FIG.
[0168]
Therefore, the tap coefficient stored in the coefficient table storage unit 44 is such that the prediction error (here, the square error) of the prediction value of the original pixel value obtained by performing the linear prediction calculation is statistically minimized. As a result, according to the coefficient conversion circuit 32 of FIG. 5, it is possible to decode a JPEG-encoded image into an image that is as close as possible to the original image.
[0169]
Further, as described above, since the decoding process of the JPEG-encoded image and the process for improving the image quality are performed at the same time, from the JPEG-encoded image, A decoded image with good image quality can be obtained.
[0170]
Next, FIG. 18 shows a second configuration example of the coefficient conversion circuit 32 of FIG. In the figure, portions corresponding to those in FIG. 5 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 32 in FIG. 18 is basically configured in the same manner as in FIG. 5 except that an inverse quantization circuit 71 is newly provided.
[0171]
In the embodiment of FIG. 18, the inverse quantization circuit 71 is supplied with quantized DCT coefficients for each block obtained by entropy decoding the encoded data in the entropy decoding circuit 31 (FIG. 3).
[0172]
As described above, the entropy decoding circuit 31 obtains a quantization table from the encoded data in addition to the quantized DCT coefficient. In the embodiment of FIG. 18, this quantization table is also entropy decoded. The circuit 31 is supplied to the inverse quantization circuit 71.
[0173]
The inverse quantization circuit 71 inversely quantizes the quantized DCT coefficient from the entropy decoding circuit 31 according to the quantization table from the entropy decoding circuit 31, and the resulting DCT coefficient is converted into the prediction tap extraction circuit 41 and the class tap. This is supplied to the extraction circuit 42.
[0174]
Therefore, in the prediction tap extraction circuit 41 and the class tap extraction circuit 42, the prediction tap and the class tap are configured for the DCT coefficient instead of the quantized DCT coefficient, respectively. The same processing as in the case is performed.
[0175]
As described above, in the embodiment of FIG. 18, processing is performed not on the quantized DCT coefficient but on the DCT coefficient (inverse quantized quantized DCT coefficient), so that it is stored in the coefficient table storage unit 44. The tap coefficient needs to be different from that in FIG.
[0176]
Therefore, FIG. 19 shows a configuration example of an embodiment of a learning apparatus that performs learning processing of tap coefficients stored in the coefficient table storage unit 44 of FIG. In the figure, portions corresponding to those in FIG. 16 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, the learning device in FIG. 19 is basically configured in the same manner as in FIG. 16 except that an inverse quantization circuit 81 is newly provided at the subsequent stage of the quantization circuit 63.
[0177]
In the embodiment of FIG. 19, the inverse quantization circuit 81 inversely quantizes the quantized DCT coefficient output from the inverse quantization circuit 63 in the same manner as the inverse quantization circuit 71 of FIG. Is supplied to the prediction tap extraction circuit 64 and the class tap extraction circuit 65.
[0178]
Therefore, in the prediction tap extraction circuit 64 and the class tap extraction circuit 65, prediction taps and class taps are respectively configured for the DCT coefficients instead of the quantized DCT coefficients. The same processing as in the case is performed.
[0179]
As a result, the tap coefficient which reduces the influence of the quantization error which arises when a DCT coefficient is quantized and is further dequantized will be obtained.
[0180]
Next, FIG. 20 shows a third configuration example of the coefficient conversion circuit 32 of FIG. In the figure, portions corresponding to those in FIG. 5 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 32 in FIG. 20 is basically configured in the same manner as in FIG. 5 except that the inverse DCT circuit 101 is newly provided in the subsequent stage of the product-sum operation circuit 45.
[0181]
The inverse DCT circuit 101 performs inverse DCT processing on the output of the product-sum operation circuit 45, thereby decoding and outputting the image. Therefore, in the embodiment of FIG. 20, the product-sum operation circuit 45 uses the quantized DCT coefficients constituting the prediction tap output from the prediction tap extraction circuit 41 and the tap coefficients stored in the coefficient table storage unit 44. The DCT coefficient is output by performing the product-sum operation.
[0182]
As described above, in the embodiment of FIG. 20, the quantized DCT coefficient is not decoded into a pixel value by a product-sum operation with the tap coefficient, but is converted into a DCT coefficient. Further, the DCT coefficient is By inverse DCT by the inverse DCT circuit 101, the pixel value is decoded. Therefore, the tap coefficient stored in the coefficient table storage unit 44 needs to be different from that in FIG.
[0183]
Accordingly, FIG. 21 shows a configuration example of an embodiment of a learning apparatus that performs learning processing of tap coefficients to be stored in the coefficient table storage unit 44 of FIG. In the figure, portions corresponding to those in FIG. 16 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, the learning apparatus in FIG. 21 gives the normal equation adding circuit 67 not the pixel value of the learning image but the DCT coefficient obtained by DCT processing of the learning image output from the DCT circuit 62 as teacher data. Except for this, the configuration is the same as in FIG.
[0184]
Therefore, in the embodiment of FIG. 21, the normal equation adding circuit 67 uses the DCT coefficients output from the DCT circuit 62 as teacher data and the quantized DCT coefficients constituting the prediction tap output from the prediction tap configuration circuit 64. The above addition is performed as student data. Then, the tap coefficient determination circuit 68 obtains the tap coefficient by solving a normal equation obtained by such addition. As a result, in the learning apparatus of FIG. 21, a tap coefficient that converts the quantized DCT coefficient into a DCT coefficient that reduces (suppresses) a quantization error due to quantization in the quantization circuit 63 is obtained.
[0185]
In the coefficient conversion circuit 32 of FIG. 20, since the product-sum operation circuit 45 performs the product-sum operation using the tap coefficients as described above, the output is the quantized DCT coefficient output from the prediction tap extraction circuit 41, The quantization error is converted into a reduced DCT coefficient. Therefore, when such a DCT coefficient is subjected to inverse DCT by the inverse DCT circuit 101, a decoded image with reduced image quality degradation due to the influence of quantization error can be obtained.
[0186]
Next, FIG. 22 shows a fourth configuration example of the coefficient conversion circuit 32 of FIG. In the figure, portions corresponding to those in FIG. 5, FIG. 18, or FIG. 20 are given the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 32 in FIG. 22 is provided with a new inverse quantization circuit 71 as in the case of FIG. 18 and a new inverse DCT circuit 101 as in the case of FIG. Other than that, the configuration is the same as in FIG.
[0187]
Therefore, in the embodiment of FIG. 22, the prediction tap extraction circuit 41 and the class tap extraction circuit 42 are configured with prediction taps and class taps for DCT coefficients instead of quantized DCT coefficients, respectively. Furthermore, in the embodiment of FIG. 22, the product-sum operation circuit 45 uses the DCT coefficients constituting the prediction tap output from the prediction tap extraction circuit 41 and the tap coefficients stored in the coefficient table storage unit 44. By performing the sum operation, a DCT coefficient with a reduced quantization error is obtained and output to the inverse DCT circuit 101.
[0188]
Next, FIG. 23 shows a configuration example of an embodiment of a learning apparatus that performs learning processing of tap coefficients to be stored in the coefficient table storage unit 44 of FIG. In the figure, portions corresponding to those in FIG. 16, FIG. 19, or FIG. 21 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, the learning apparatus of FIG. 23 is newly provided with an inverse quantization circuit 81 as in the case of FIG. 19, and further, as in the case of FIG. The configuration is the same as that in FIG. 16 except that the DCT coefficient obtained by DCT processing of the learning image output from the DCT circuit 62 is given instead of the pixel value of the learning image.
[0189]
Therefore, in the embodiment of FIG. 23, the normal equation adding circuit 67 uses the DCT coefficient (DCT coefficient without quantization error) output from the DCT circuit 62 as teacher data and the prediction output from the prediction tap configuration circuit 64. The above addition is performed using the DCT coefficients (quantized and inversely quantized DCT coefficients) constituting the tap as student data. Then, the tap coefficient determination circuit 68 obtains the tap coefficient by solving a normal equation obtained by such addition. As a result, in the learning apparatus of FIG. 23, a tap coefficient for converting the quantized and further inverse-quantized DCT coefficient into a DCT coefficient with reduced quantization error due to the quantization and inverse quantization is obtained. Become.
[0190]
Next, the series of processes described above can be performed by hardware or software. When a series of processing is performed by software, a program constituting the software is installed in a general-purpose computer or the like.
[0191]
FIG. 24 shows an example of the configuration of an embodiment of a computer in which a program for executing the series of processes described above is installed.
[0192]
The program can be recorded in advance in a hard disk 205 or ROM 203 as a recording medium built in the computer.
[0193]
Alternatively, the program is stored temporarily on a removable recording medium 211 such as a floppy disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, or a semiconductor memory. It can be stored permanently (recorded). Such a removable recording medium 211 can be provided as so-called package software.
[0194]
The program is installed on the computer from the removable recording medium 211 as described above, or transferred from the download site to the computer wirelessly via a digital satellite broadcasting artificial satellite, LAN (Local Area Network), The program can be transferred to a computer via a network such as the Internet. The computer can receive the program transferred in this way by the communication unit 208 and install it in the built-in hard disk 205.
[0195]
The computer includes a CPU (Central Processing Unit) 202. An input / output interface 210 is connected to the CPU 202 via the bus 201, and the CPU 202 operates the input unit 207 including a keyboard, a mouse, a microphone, and the like by the user via the input / output interface 210. When a command is input as a result of this, the program stored in a ROM (Read Only Memory) 203 is executed accordingly. Alternatively, the CPU 202 also receives a program stored in the hard disk 205, a program transferred from a satellite or a network, received by the communication unit 208 and installed in the hard disk 205, or a removable recording medium 211 attached to the drive 209. The program read and installed in the hard disk 205 is loaded into a RAM (Random Access Memory) 204 and executed. Thereby, the CPU 202 performs processing according to the above-described flowchart or processing performed by the configuration of the above-described block diagram. Then, the CPU 202 outputs the processing result from the output unit 206 configured with an LCD (Liquid Crystal Display), a speaker, or the like, for example, via the input / output interface 210, or from the communication unit 208 as necessary. Transmission, and further recording on the hard disk 205 is performed.
[0196]
Here, in this specification, the processing steps for describing a program for causing a computer to perform various types of processing do not necessarily have to be processed in time series according to the order described in the flowchart, but in parallel or individually. This includes processing to be executed (for example, parallel processing or processing by an object).
[0197]
Further, the program may be processed by a single computer, or may be processed in a distributed manner by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
[0198]
In the present embodiment, image data is targeted, but the present invention can also be applied to, for example, audio data.
[0199]
Furthermore, in this embodiment, a JPEG-encoded image that compresses and encodes a still image is targeted. However, the present invention targets a video that is compressed and encoded, for example, an MPEG-encoded image. It is also possible.
[0200]
In this embodiment, at least decoding of JPEG-encoded data that performs DCT processing is performed. However, in the present invention, a block unit (a predetermined unit) is obtained by other orthogonal transformation or frequency transformation. It can be applied to decoding and conversion of data converted in units. That is, the present invention can be applied to, for example, the case where sub-band encoded data, Fourier-transformed data, or the like is decoded or converted into data with reduced quantization error.
[0201]
Furthermore, in the present embodiment, the tap coefficients are stored in advance in the decoder 22, but the tap coefficients can be included in the encoded data and provided to the decoder 22. .
[0202]
In this embodiment, decoding and conversion are performed by linear primary prediction calculation using tap coefficients. However, decoding and conversion may also be performed by other higher-order prediction calculations of the second or higher order. Is possible.
[0203]
Furthermore, in this embodiment, the class tap is configured using not only the quantized DCT coefficient of the DCT block corresponding to the pixel of interest but also the quantized DCT coefficient of another DCT block. Can be configured similarly.
[0204]
【The invention's effect】
  According to the first data processing apparatus, the data processing method, and the recording medium of the present invention., EffectFrom the conversion data,Predicted value of original dataCan be obtained.
[0205]
  According to the second data processing apparatus, the data processing method, and the recording medium of the present invention., EffectEfficiently from orthogonal or frequency transformed dataPredicted value of original dataCan be obtained.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining conventional JPEG encoding / decoding.
FIG. 2 is a diagram showing a configuration example of an embodiment of an image transmission system to which the present invention is applied.
FIG. 3 is a block diagram illustrating a configuration example of a decoder 22 in FIG. 2;
4 is a flowchart for explaining processing of the decoder 22 of FIG. 3;
5 is a block diagram illustrating a first configuration example of a coefficient conversion circuit 32 in FIG. 3; FIG.
FIG. 6 is a diagram illustrating an example of a class tap.
7 is a block diagram illustrating a configuration example of a class classification circuit 43 in FIG. 5. FIG.
FIG. 8 is a diagram for explaining processing of a power calculation circuit 51;
9 is a flowchart for explaining processing of the coefficient conversion circuit 32 of FIG. 5;
FIG. 10 is a flowchart for explaining more details of the process in step S12 of FIG.
FIG. 11 is a diagram for explaining a class classification method;
12 is a flowchart illustrating processing of a class classification circuit 43 in FIG.
FIG. 13 is a diagram for explaining another method of class classification.
14 is a block diagram showing another configuration example of the class classification circuit 43 in FIG. 5. FIG.
15 is a flowchart for explaining processing of a class classification circuit 43 in FIG. 14;
FIG. 16 is a block diagram illustrating a configuration example of a first embodiment of a learning device that learns tap coefficients;
17 is a flowchart for explaining processing of the learning device in FIG. 16;
18 is a block diagram showing a second configuration example of the coefficient conversion circuit 32 of FIG. 3. FIG.
FIG. 19 is a block diagram illustrating a configuration example of a second embodiment of the learning device.
20 is a block diagram illustrating a third configuration example of the coefficient conversion circuit 32 of FIG. 3; FIG.
FIG. 21 is a block diagram illustrating a configuration example of a third embodiment of a learning device.
22 is a block diagram illustrating a fourth configuration example of the coefficient conversion circuit 32 of FIG. 3; FIG.
FIG. 23 is a block diagram illustrating a configuration example of a fourth embodiment of a learning device.
FIG. 24 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present invention has been applied.
[Explanation of symbols]
21 encoder, 22 decoder, 23 recording medium, 24 transmission medium, 31 entropy decoding circuit, 32 coefficient conversion circuit, 33 block decomposition circuit, 41 prediction tap extraction circuit, 42 class tap extraction circuit, 43 class classification circuit, 44 coefficient table storage Unit, 45 product-sum operation circuit, 51 power operation circuit, 52 class code generation circuit, 53 threshold table storage unit, 61 block circuit, 62 DCT circuit, 63 quantization circuit, 64 prediction tap extraction circuit, 65 class tap extraction circuit , 66 class classification circuit, 67 normal equation addition circuit, 68 tap coefficient determination circuit, 69 coefficient table storage unit, 71, 81 inverse quantization circuit, 91 inverse quantization circuit, 101 inverse DCT circuit, 151 differential operation circuit, 152 class code Generation circuit, 153 threshold table storage unit, 201 bus, 202 CPU, 203 ROM, 204 RAM, 205 hard disk, 206 output unit, 207 input unit, 208 communication unit, 209 drive, 210 input / output interface, 211 removable recording medium

Claims (13)

データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを処理し、元のデータの予測値を求めるデータ処理装置であって、
学習を行うことにより求められたタップ係数を取得する取得手段と、
注目している前記データである注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記変換データを、少なくとも、前記注目データに対応するブロック以外のブロックから抽出し、クラスタップとして出力するクラスタップ抽出手段と、
前記クラスタップとなっている変換データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、前記注目データのクラスを求めるクラス分類を行うクラス分類手段と、
前記注目データのクラスの前記タップ係数と、前記変換データとの線形１次予測演算を行うことにより、前記注目データの予測値を求める演算手段と
を備え、
前記タップ係数は、
学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られる前記ブロック単位の変換データを、学習時の生徒となる生徒データとして生成し、
前記教師データとして用いられる前記データのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記生徒データを、少なくとも、前記注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力し、
前記クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、前記注目教師データのクラスを求めるクラス分類を行い、
前記クラスごとの前記タップ係数と、前記生徒データとの線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行う
学習処理によりクラスごとに求められたものである
ことを特徴とするデータ処理装置。A data processing apparatus that processes converted data in block units obtained by performing discrete cosine transform processing in units of predetermined blocks on data and obtains a predicted value of original data,
Obtaining means for obtaining the tap coefficient obtained by performing learning;
The conversion data used to classify the attention data, which is the data of interest, into one of several classes, is extracted from at least blocks other than the block corresponding to the attention data, and class Class tap extraction means for outputting as taps;
Class classification means for classifying the class of the data of interest based on the DC component or AC component power of the discrete cosine transformed data, which is the class tap conversion data,
Calculating means for obtaining a predicted value of the data of interest by performing a linear primary prediction calculation of the tap coefficient of the class of the data of interest and the converted data;
The tap coefficient is
For the teacher data to be a teacher at the time of learning, at least the block-unit conversion data obtained by performing a discrete cosine transform process in a predetermined block unit is generated as student data to be a student at the time of learning,
Wherein among the data to be used as teacher data, the target teacher data of teacher data of interest, the student data used for classification into one of several classes, at least, the target Extract from blocks other than the block corresponding to the teacher data, output as class tap,
Based on the DC component or AC component power of the discrete cosine transformed data, which is the student data that is the class tap, classifying the class of the attention teacher data is performed,
Learning is performed so that the prediction error of the predicted value of the teacher data obtained by performing linear primary prediction calculation with the tap coefficient for each class and the student data is statistically minimized. A data processing apparatus characterized by being obtained for each class. 前記タップ係数を記憶している記憶手段をさらに備え、
前記取得手段は、前記記憶手段から、前記タップ係数を取得する
ことを特徴とする請求項１に記載のデータ処理装置。A storage means for storing the tap coefficient;
The data processing apparatus according to claim 1, wherein the acquisition unit acquires the tap coefficient from the storage unit. 前記クラスタップ抽出手段は、注目データに対応するブロックの周辺のブロックから、前記クラスタップとする前記変換データを抽出する
ことを特徴とする請求項１に記載のデータ処理装置。The data processing apparatus according to claim 1, wherein the class tap extraction unit extracts the conversion data to be the class tap from blocks around a block corresponding to the data of interest. 前記クラスタップ抽出手段は、注目データに対応するブロックからも、前記クラスタップとする前記変換データを抽出する
ことを特徴とする請求項１に記載のデータ処理装置。The data processing apparatus according to claim 1, wherein the class tap extraction unit extracts the converted data to be the class tap from a block corresponding to the data of interest. 前記データは、動画または静止画の画像データである
ことを特徴とする請求項１に記載のデータ処理装置。The data processing apparatus according to claim 1, wherein the data is image data of a moving image or a still image. データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを処理し、元のデータの予測値を求めるデータ処理方法であって、
学習を行うことにより求められたタップ係数を取得する取得ステップと、
注目している前記データである注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記変換データを、少なくとも、前記注目データに対応するブロック以外のブロックから抽出し、クラスタップとして出力するクラスタップ抽出ステップと、
前記クラスタップとなっている変換データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、前記注目データのクラスを求めるクラス分類を行うクラス分類ステップと、
前記注目データのクラスの前記タップ係数と、前記変換データとの線形１次予測演算を行うことにより、前記注目データの予測値を求める演算ステップと
を備え、
前記タップ係数は、
学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られる前記ブロック単位の変換データを、学習時の生徒となる生徒データとして生成し、
前記教師データとして用いられる前記データのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記生徒データを、少なくとも、前記注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力し、
前記クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、前記注目教師データのクラスを求めるクラス分類を行い、
前記クラスごとの前記タップ係数と、前記生徒データとの線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行う
学習処理によりクラスごとに求められたものである
ことを特徴とするデータ処理方法。A data processing method for processing converted data in block units obtained by performing discrete cosine transform processing on a predetermined block unit for data, and obtaining a predicted value of original data,
An obtaining step for obtaining a tap coefficient obtained by performing learning;
The conversion data used to classify the attention data, which is the data of interest, into one of several classes, is extracted from at least blocks other than the block corresponding to the attention data, and class Class tap extraction step to output as taps;
A class classification step for classifying the class of the data of interest based on the direct current component or the power of the alternating current component of the discrete cosine transformed data, which is the transformed data that is the class tap;
A calculation step of obtaining a predicted value of the data of interest by performing a linear primary prediction calculation of the tap coefficient of the class of the data of interest and the converted data;
The tap coefficient is
For the teacher data to be a teacher at the time of learning, at least the block-unit conversion data obtained by performing a discrete cosine transform process in a predetermined block unit is generated as student data to be a student at the time of learning,
Wherein among the data to be used as teacher data, the target teacher data of teacher data of interest, the student data used for classification into one of several classes, at least, the target Extract from blocks other than the block corresponding to the teacher data, output as class tap,
Based on the DC component or AC component power of the discrete cosine transformed data, which is the student data that is the class tap, classifying the class of the attention teacher data is performed,
Learning is performed so that the prediction error of the predicted value of the teacher data obtained by performing linear primary prediction calculation with the tap coefficient for each class and the student data is statistically minimized. A data processing method characterized by being obtained for each class. データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを処理し、元のデータの予測値を求めるデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
学習を行うことにより求められたタップ係数を取得する取得ステップと、
注目している前記データである注目データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記変換データを、少なくとも、前記注目データに対応するブロック以外のブロックから抽出し、クラスタップとして出力するクラスタップ抽出ステップと、
前記クラスタップとなっている変換データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、前記注目データのクラスを求めるクラス分類を行うクラス分類ステップと、
前記注目データのクラスの前記タップ係数と、前記変換データとの線形１次予測演算を行うことにより、前記注目データの予測値を求める演算ステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であり、
前記タップ係数は、
学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られる前記ブロック単位の変換データを、学習時の生徒となる生徒データとして生成し、
前記学習時の教師となる教師データとして用いられる前記データのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記生徒データを、少なくとも、前記注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力し、
前記クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、前記注目教師データのクラスを求めるクラス分類を行い、
前記クラスごとの前記タップ係数と、前記生徒データとの線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行う
学習処理によりクラスごとに求められたものである
ことを特徴とする記録媒体。A program is recorded that causes the computer to perform converted data in units of blocks obtained by performing discrete cosine transform processing on the data in units of predetermined blocks, and to perform data processing for obtaining a predicted value of the original data. Recording medium,
An obtaining step for obtaining a tap coefficient obtained by performing learning;
The conversion data used to classify the attention data, which is the data of interest, into one of several classes, is extracted from at least blocks other than the block corresponding to the attention data, and class Class tap extraction step to output as taps;
A class classification step for classifying the class of the data of interest based on the direct current component or the power of the alternating current component of the discrete cosine transformed data, which is the transformed data that is the class tap;
A computer-readable recording of a program for executing a calculation step of obtaining a predicted value of the attention data by performing a linear primary prediction operation of the tap coefficient of the class of attention data and the converted data A recording medium,
The tap coefficient is
For the teacher data to be a teacher at the time of learning, at least the block-unit conversion data obtained by performing a discrete cosine transform process in a predetermined block unit is generated as student data to be a student at the time of learning,
The student data used to classify attention teacher data, which is attention teacher data, among the data used as teacher data serving as a teacher at the time of learning into one of several classes Is extracted from at least a block other than the block corresponding to the attention teacher data, and is output as a class tap.
Based on the DC component or AC component power of the discrete cosine transformed data, which is the student data that is the class tap, classifying the class of the attention teacher data is performed,
Learning is performed so that the prediction error of the predicted value of the teacher data obtained by performing linear primary prediction calculation with the tap coefficient for each class and the student data is statistically minimized. A recording medium characterized by being obtained for each class. データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを処理し、元のデータの予測値を求めるのに用いるタップ係数を学習するデータ処理装置であって、
学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られる前記ブロック単位の変換データを、学習時の生徒となる生徒データとして生成する生成手段と、
前記教師データとして用いられる前記データのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記生徒データを、少なくとも、前記注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力するクラスタップ抽出手段と、
前記クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、前記注目教師データのクラスを求めるクラス分類を行うクラス分類手段と、
前記クラスごとの前記タップ係数と、前記生徒データとの線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、前記タップ係数を、クラスごとに求める学習手段と
を備えることを特徴とするデータ処理装置。A data processing device that processes converted data in units of blocks obtained by performing at least a discrete cosine transform process on data, and learns tap coefficients used to obtain a predicted value of the original data. There,
Generating means for generating at least the block-by- block conversion data obtained by performing discrete cosine transform processing in a predetermined block unit on the teacher data to be a teacher at the time of learning as student data to be a student at the time of learning; ,
Wherein among the data to be used as teacher data, the target teacher data of teacher data of interest, the student data used for classification into one of several classes, at least, the target Class tap extraction means for extracting from a block other than the block corresponding to the teacher data and outputting as a class tap;
Class classification means for classifying the class of the teacher data of interest based on the DC component or AC component power of the discrete cosine transformed data, which is the student data that is the class tap,
Learning is performed so that the prediction error of the predicted value of the teacher data obtained by performing linear primary prediction calculation with the tap coefficient for each class and the student data is statistically minimized, and the tap A data processing apparatus comprising: learning means for obtaining a coefficient for each class. 前記クラスタップ抽出手段は、注目教師データに対応するブロックの周辺のブロックから、前記クラスタップとする前記生徒データを抽出する
ことを特徴とする請求項８に記載のデータ処理装置。The data processing apparatus according to claim 8, wherein the class tap extraction unit extracts the student data to be the class tap from blocks around a block corresponding to the teacher data of interest. 前記クラスタップ抽出手段は、注目教師データに対応するブロックからも、前記クラスタップとする前記生徒データを抽出する
ことを特徴とする請求項８に記載のデータ処理装置。The data processing apparatus according to claim 8, wherein the class tap extraction unit extracts the student data as the class tap from a block corresponding to attention teacher data. 前記データは、動画または静止画の画像データである
ことを特徴とする請求項８に記載のデータ処理装置。The data processing apparatus according to claim 8, wherein the data is moving image or still image data. データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを処理し、元のデータの予測値を求めるのに用いるタップ係数を学習するデータ処理方法であって、
学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られる前記ブロック単位の変換データを、学習時の生徒となる生徒データとして生成する生成ステップと、
前記教師データとして用いられる前記データのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記生徒データを、少なくとも、前記注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力するクラスタップ抽出ステップと、
前記クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、前記注目教師データのクラスを求めるクラス分類を行うクラス分類ステップと、
前記クラスごとの前記タップ係数と、前記生徒データとの線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、前記タップ係数を、クラスごとに求める学習ステップと
を備えることを特徴とするデータ処理方法。A data processing method for processing tap data used to obtain a predicted value of original data by processing converted data in block units obtained by performing at least a discrete cosine transform process on the data. There,
Generating at least the block-unit conversion data obtained by applying discrete cosine transform processing in predetermined block units to the teacher data serving as a teacher during learning as student data serving as students during learning; ,
Wherein among the data to be used as teacher data, the target teacher data of teacher data of interest, the student data used for classification into one of several classes, at least, the target A class tap extraction step of extracting from a block other than the block corresponding to the teacher data and outputting as a class tap;
A class classification step for classifying the class of the teacher data of interest based on the DC component or AC component power of the discrete cosine transformed data, which is the student data that is the class tap;
Learning is performed so that the prediction error of the predicted value of the teacher data obtained by performing linear primary prediction calculation with the tap coefficient for each class and the student data is statistically minimized, and the tap A data processing method comprising: a learning step for obtaining a coefficient for each class. データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られるブロック単位の変換データを処理し、元のデータの予測値を求めるのに用いるタップ係数を学習するデータ処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
学習時の教師となる教師データに対し、少なくとも、離散コサイン変換処理を所定のブロック単位で施すことにより得られる前記ブロック単位の変換データを、学習時の生徒となる生徒データとして生成する生成ステップと、
前記教師データとして用いられる前記データのうちの、注目している教師データである注目教師データを、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記生徒データを、少なくとも、前記注目教師データに対応するブロック以外のブロックから抽出し、クラスタップとして出力するクラスタップ抽出ステップと、
前記クラスタップとなっている生徒データである、離散コサイン変換されたデータの直流成分または交流成分の電力に基づいて、前記注目教師データのクラスを求めるクラス分類を行うクラス分類ステップと、
前記クラスごとの前記タップ係数と、前記生徒データとの線形１次予測演算を行うことにより得られる前記教師データの予測値の予測誤差が、統計的に最小になるように学習を行い、前記タップ係数を、クラスごとに求める学習ステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。Data processing for processing at least block data obtained by performing discrete cosine transform processing on a predetermined block basis for data, and learning tap coefficients used to obtain a predicted value of the original data, A recording medium on which a program to be executed by a computer is recorded,
Generating at least the block-unit conversion data obtained by applying discrete cosine transform processing in predetermined block units to the teacher data serving as a teacher during learning as student data serving as students during learning; ,
Wherein among the data to be used as teacher data, the target teacher data of teacher data of interest, the student data used for classification into one of several classes, at least, the target A class tap extraction step of extracting from a block other than the block corresponding to the teacher data and outputting as a class tap;
A class classification step for classifying the class of the teacher data of interest based on the DC component or AC component power of the discrete cosine transformed data, which is the student data that is the class tap;
Learning is performed so that the prediction error of the predicted value of the teacher data obtained by performing linear primary prediction calculation between the tap coefficient for each class and the student data is statistically minimized, and the tap A computer-readable recording medium recording a program for executing a learning step for obtaining a coefficient for each class.

Images