JP4238516B2 - データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関し、特に、例えば、画像データを、より高画質の画像データに変換すること等ができるようにするデータ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の変換を行うデータ変換処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。
【０００４】
即ち、適応処理では、例えば、低画質または標準画質の画像（以下、適宜、ＳＤ(Standard Definition)画像という）データが、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像（以下、適宜、ＨＤ(High Definition)画像という）データに変換される。
【０００５】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、ＨＤ画像データを構成する画素（以下、適宜、ＨＤ画素という）（の画素値）ｙは、ＳＤ画像データを構成する画素（以下、適宜、ＳＤ画素という）から、ＨＤ画素を予測するための予測タップとして抽出される複数のＳＤ画素と、タップ係数とを用いて、次の線形１次式（線形結合）によって求められる。
【０００６】
【数１】

【０００７】
但し、式（１）において、ｘ_nは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目のＳＤ画像データの画素の画素値を表し、ｗ_nは、ｎ番目のＳＤ画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個のＳＤ画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。
【０００８】
ここで、ＨＤ画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０００９】
いま、第ｋサンプルのＨＤ画素の画素値の真値をｙ_kと表すとともに、式（１）によって得られるその真値ｙ_kの予測値をｙ_k’と表すと、その予測誤差ｅ_kは、次式で表される。
【００１０】
【数２】

【００１１】
式（２）の予測値ｙ_k’は、式（１）にしたがって求められるため、式（２）のｙ_k’を、式（１）にしたがって置き換えると、次式が得られる。
【００１２】
【数３】

【００１３】
但し、式（３）において、ｘ_n,kは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。
【００１４】
式（３）の予測誤差ｅ_kを０とするタップ係数ｗ_nが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数ｗ_nを求めることは、一般には困難である。
【００１５】
そこで、タップ係数ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_nは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００１６】
【数４】

【００１７】
但し、式（４）において、Ｋは、ＨＤ画素ｙ_kと、そのＨＤ画素ｙ_kについての予測タップを構成するＳＤ画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数を表す。
【００１８】
式（４）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_nは、その総和Ｅをタップ係数ｗ_nで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【００１９】
【数５】

【００２０】
そこで、上述の式（３）をタップ係数ｗ_nで偏微分すると、次式が得られる。
【００２１】
【数６】

【００２２】
式（５）と（６）から、次式が得られる。
【００２３】
【数７】

【００２４】
式（７）のｅ_kに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【００２５】
【数８】

【００２６】
式（８）の正規方程式は、ＨＤ画素ｙ_kとＳＤ画素ｘ_n,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_nの数と同じ数だけたてることができ、従って、式（８）を解くことで（但し、式（８）を解くには、式（８）において、タップ係数ｗ_nにかかる左辺の行列が正則である必要がある）、最適なタップ係数ｗ_nを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。
【００２７】
以上のように、多数のＨＤ画素ｙ₁，ｙ₂，・・・，ｙ_Kを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙ_kについての予測タップを構成するＳＤ画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kを、タップ係数の学習の生徒となる生徒データとして、式（８）を解くことにより、最適なタップ係数ｗ_nを求める学習を行っておき、さらに、そのタップ係数ｗ_nを用い、式（１）により、ＳＤ画像データを、ＨＤ画像データにマッピング（変換）するのが適応処理である。
【００２８】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数ｗ_nが、教師データとしてのＨＤ画像データと生徒データとしてのＳＤ画像データとを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【００２９】
ここで、タップ係数ｗ_nの学習では、教師データｙと生徒データｘとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数ｗ_nを求めることができる。
【００３０】
即ち、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｘとして、そのＨＤ画像データにノイズやぼけを付加したＳＤ画像データを採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数ｗ_nを得ることができる。また、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｘとして、そのＨＤ画像データの解像度を劣化させたＳＤ画像データを採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数ｗ_nを得ることができる。さらに、例えば、教師データｙとして、画像データを採用するとともに、生徒データｘとして、その画像データをＤＣＴ(Discrete Cosine Transform)変換したＤＣＴ係数を採用した場合には、ＤＣＴ係数を画像データに変換するタップ係数ｗ_nを得ることができる。
【００３１】
【発明が解決しようとする課題】
上述したように、クラス分類適応処理においては、式（４）の自乗誤差の総和Ｅを最小にするタップ係数ｗ_nがクラスごとに求められ、そのタップ係数ｗ_nを用い、式（１）が演算されることにより、ＳＤ画像が、高画質のＨＤ画像に変換される。即ち、タップ係数ｗ_nと、ＳＤ画像から生成される予測タップｘ_nとを用いて、式（１）が演算されることにより、ＨＤ画像を構成するＨＤ画素が求められる。
【００３２】
従って、先に提案したクラス分類適応処理によれば、個々のＨＤ画素に注目した場合には、各ＨＤ画素について、真値に対する予測誤差を統計的に最小にする画素値を求めることができる。
【００３３】
即ち、いま、図１Ａに示すように、例えば、水平、垂直、または斜め方向に隣接する２つのＨＤ画素ｙ_kとｙ_k+1を考えた場合に、ＨＤ画素ｙ_kについては、その真値ｙ_kに対する予測の誤差ｅ_kを統計的に最小にする予測値ｙ_k’を得ることができ、また、ＨＤ画素ｙ_k+1についても同様に、その真値ｙ_k+1に対する予測誤差ｅ_k+1を統計的に最小にする予測値ｙ_k+1’を得ることができる。
【００３４】
しかしながら、先に提案したクラス分類適応処理では、例えば、図１Ａに示したような、真値が右肩上がりになる２つのＨＤ画素ｙ_kとｙ_k+1の並びに関して、図１Ｂに示すように、ＨＤ画素ｙ_kについては、真値より大きい予測値ｙ_k’が得られ、ＨＤ画素ｙ_k+1については、真値より小さい予測値ｙ_k+1’が得られることがあった。
【００３５】
そして、この場合、ＨＤ画素ｙ_kの予測値ｙ_k’と、ＨＤ画素ｙ_k+1の予測値ｙ_k+1’の並びが、図１Ｂに示すように、右肩下がりになることがある。
【００３６】
このように、真値の並びが右肩上がりであるのにも関わらず、右肩下がりの予測値の並びが得られる場合には、画素値の変化が真値の変化と逆になることから、見た目の画質が劣化することがあった。
【００３７】
本発明は、このような状況に鑑みてなされたものであり、例えば、画像データを、より高画質の画像データに変換することができるようにするものである。
【００３８】
【課題を解決するための手段】
本発明の第１のデータ変換装置は、注目している第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、及び、第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップを、第１のデータから抽出するクラスタップ生成手段と、第１のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第１の注目サンプルをクラス分類するとともに、第２のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第２の注目サンプルをクラス分類するクラス分類手段と、第１の注目サンプルを求めるのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、及び第２の注目サンプルを求めるのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップを、第１のデータから抽出する予測タップ生成手段と、第１の注目サンプルを求める主画素処理回路としての、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データを用い、生徒データと第１のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第１のタップ係数から、第１の注目サンプルのクラスの第１のタップ係数を取得する第１のタップ係数取得手段と、第１の注目サンプルのクラスの第１のタップ係数と、第１の予測タップとを用いた積和演算を行うことにより、第１の注目サンプルを求める第１の演算手段と、第２の注目サンプルを求める副画素処理回路としての、教師データと、生徒データを用い、生徒データと第２のタップ係数との積和演算により求められる、教師データの１のサンプルである第１のサンプルと第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第２のタップ係数から、第２の注目サンプルのクラスの第２のタップ係数を取得するか、１以上のクラスごとに得られる第１及び第２のタップ係数を加算して得られる加算タップ係数から、第２の注目サンプルのクラスの加算タップ係数を取得する第２のタップ係数取得手段と、第２の注目サンプルのクラスの第２のタップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第１のサンプルに対応する第１の注目サンプルと、第２のサンプルに対応する第２の注目サンプルとの差分値を求めるとともに、求めた差分値と第１の注目サンプルとを加算することにより、第２の注目サンプルを求めるか、又は、第２の注目サンプルのクラスの加算タップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第２の注目サンプルを求める第２の演算手段とを備える。
【００３９】
本発明の第１のデータ変換方法は、注目している第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、及び、第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップを、第１のデータから抽出するクラスタップ生成ステップと、第１のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第１の注目サンプルをクラス分類するとともに、第２のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第２の注目サンプルをクラス分類するクラス分類ステップと、第１の注目サンプルを求めるのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、及び第２の注目サンプルを求めるのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップを、第１のデータから抽出する予測タップ生成ステップと、第１の注目サンプルを求める主画素処理回路が行う処理としての、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データを用い、生徒データと第１のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第１のタップ係数から、第１の注目サンプルのクラスの第１のタップ係数を取得する第１のタップ係数取得ステップと、第１の注目サンプルのクラスの第１のタップ係数と、第１の予測タップとを用いた積和演算を行うことにより、第１の注目サンプルを求める第１の演算ステップと、第２の注目サンプルを求める副画素処理回路が行う処理としての、教師データと、生徒データを用い、生徒データと第２のタップ係数との積和演算により求められる、教師データの１のサンプルである第１のサンプルと第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第２のタップ係数から、第２の注目サンプルのクラスの第２のタップ係数を取得するか、１以上のクラスごとに得られる第１及び第２のタップ係数を加算して得られる加算タップ係数から、第２の注目サンプルのクラスの加算タップ係数を取得する第２のタップ係数取得ステップと、第２の注目サンプルのクラスの第２のタップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第１のサンプルに対応する第１の注目サンプルと、第２のサンプルに対応する第２の注目サンプルとの差分値を求めるとともに、求めた差分値と第１の注目サンプルとを加算することにより、第２の注目サンプルを求めるか、又は、第２の注目サンプルのクラスの加算タップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第２の注目サンプルを求める第２の演算ステップとを含む。
【００４０】
本発明の第１のプログラムは、注目している第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、及び、第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップを、第１のデータから抽出するクラスタップ生成ステップと、第１のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第１の注目サンプルをクラス分類するとともに、第２のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第２の注目サンプルをクラス分類するクラス分類ステップと、第１の注目サンプルを求めるのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、及び第２の注目サンプルを求めるのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップを、第１のデータから抽出する予測タップ生成ステップと、第１の注目サンプルを求める主画素処理回路が行う処理としての、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データを用い、生徒データと第１のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第１のタップ係数から、第１の注目サンプルのクラスの第１のタップ係数を取得する第１のタップ係数取得ステップと、第１の注目サンプルのクラスの第１のタップ係数と、第１の予測タップとを用いた積和演算を行うことにより、第１の注目サンプルを求める第１の演算ステップと、第２の注目サンプルを求める副画素処理回路が行う処理としての、教師データと、生徒データを用い、生徒データと第２のタップ係数との積和演算により求められる、教師データの１のサンプルである第１のサンプルと第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第２のタップ係数から、第２の注目サンプルのクラスの第２のタップ係数を取得するか、１以上のクラスごとに得られる第１及び第２のタップ係数を加算して得られる加算タップ係数から、第２の注目サンプルのクラスの加算タップ係数を取得する第２のタップ係数取得ステップと、第２の注目サンプルのクラスの第２のタップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第１のサンプルに対応する第１の注目サンプルと、第２のサンプルに対応する第２の注目サンプルとの差分値を求めるとともに、求めた差分値と第１の注目サンプルとを加算することにより、第２の注目サンプルを求めるか、又は、第２の注目サンプルのクラスの加算タップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第２の注目サンプルを求める第２の演算ステップとを含むデータ変換処理を、コンピュータに行わせる。
【００４１】
本発明の第１の記録媒体は、注目している第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、及び、第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップを、第１のデータから抽出するクラスタップ生成ステップと、第１のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第１の注目サンプルをクラス分類するとともに、第２のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第２の注目サンプルをクラス分類するクラス分類ステップと、第１の注目サンプルを求めるのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、及び第２の注目サンプルを求めるのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップを、第１のデータから抽出する予測タップ生成ステップと、第１の注目サンプルを求める主画素処理回路が行う処理としての、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データを用い、生徒データと第１のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第１のタップ係数から、第１の注目サンプルのクラスの第１のタップ係数を取得する第１のタップ係数取得ステップと、第１の注目サンプルのクラスの第１のタップ係数と、第１の予測タップとを用いた積和演算を行うことにより、第１の注目サンプルを求める第１の演算ステップと、第２の注目サンプルを求める副画素処理回路が行う処理としての、教師データと、生徒データを用い、生徒データと第２のタップ係数との積和演算により求められる、教師データの１のサンプルである第１のサンプルと第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第２のタップ係数から、第２の注目サンプルのクラスの第２のタップ係数を取得するか、１以上のクラスごとに得られる第１及び第２のタップ係数を加算して得られる加算タップ係数から、第２の注目サンプルのクラスの加算タップ係数を取得する第２のタップ係数取得ステップと、第２の注目サンプルのクラスの第２のタップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第１のサンプルに対応する第１の注目サンプルと、第２のサンプルに対応する第２の注目サンプルとの差分値を求めるとともに、求めた差分値と第１の注目サンプルとを加算することにより、第２の注目サンプルを求めるか、又は、第２の注目サンプルのクラスの加算タップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第２の注目サンプルを求める第２の演算ステップとを含むデータ変換処理を、コンピュータに行わせるプログラムが記録されている。
【００４２】
本発明の第１の学習装置は、タップ係数の学習の教師となる、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第１のデータに対応する生徒データから抽出するクラスタップ生成手段と、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類手段と、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成手段と、注目データと予測タップを用い、予測タップと第１のタップ係数との積和演算により求められる、注目データの１のサンプルである第１のサンプルと第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより、１以上のクラスごとの第１のタップ係数を、最終的なタップ係数として求めるか、又は、第１のタップ係数と、積和演算により求められる、教師データの第１のサンプルの予測値の予測誤差を最小にする第２のタップ係数とを加算することにより、最終的なタップ係数を求める学習手段とを備える。
【００４３】
本発明の第１の学習方法は、タップ係数の学習の教師となる、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成ステップと、注目データと予測タップを用い、予測タップと第１のタップ係数との積和演算により求められる、注目データの１のサンプルである第１のサンプルと第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより、１以上のクラスごとの第１のタップ係数を、最終的なタップ係数として求めるか、又は、第１のタップ係数と、積和演算により求められる、教師データの第１のサンプルの予測値の予測誤差を最小にする第２のタップ係数とを加算することにより、最終的なタップ係数を求める学習ステップとを含む。
【００４４】
本発明の第２のプログラムは、タップ係数の学習の教師となる、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成ステップと、注目データと予測タップを用い、予測タップと第１のタップ係数との積和演算により求められる、注目データの１のサンプルである第１のサンプルと第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより、１以上のクラスごとの第１のタップ係数を、最終的なタップ係数として求めるか、又は、第１のタップ係数と、積和演算により求められる、教師データの第１のサンプルの予測値の予測誤差を最小にする第２のタップ係数とを加算することにより、最終的なタップ係数を求める学習ステップとを含む学習処理を、コンピュータに行わせる。
【００４５】
本発明の第２の記録媒体は、タップ係数の学習の教師となる、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成ステップと、注目データと予測タップを用い、予測タップと第１のタップ係数との積和演算により求められる、注目データの１のサンプルである第１のサンプルと第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより、１以上のクラスごとの第１のタップ係数を、最終的なタップ係数として求めるか、又は、第１のタップ係数と、積和演算により求められる、教師データの第１のサンプルの予測値の予測誤差を最小にする第２のタップ係数とを加算することにより、最終的なタップ係数を求める学習ステップとを含む学習処理を、コンピュータに行わせるプログラムが記録されている。
【００４６】
本発明の第２のデータ変換装置は、注目している第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップ、及び、第１の注目サンプルの周辺の位置にある、第２の注目サンプルとは異なる第３の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第３の注目サンプルの周辺に位置する複数のサンプルからなる第３のクラスタップを、第１のデータから抽出するクラスタップ生成手段と、第１のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第１の注目サンプルをクラス分類するとともに、第２のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第２の注目サンプルをクラス分類し、第３のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第３の注目サンプルをクラス分類するクラス分類手段と、第１の注目サンプルを求めるのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、第２の注目サンプルを求めるのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップ、及び第３の注目サンプルを求めるのに用いる、第３の注目サンプルの周辺に位置する複数のサンプルからなる第３の予測タップを、第１のデータから抽出する予測タップ生成手段と、第１及び第２の注目サンプルを求める主画素処理回路としての、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データを用い、生徒データと第１のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第１のタップ係数から、第１及び第２の注目サンプルのクラスそれぞれの第１のタップ係数を取得する第１のタップ係数取得手段と、第１の注目サンプルのクラスの第１のタップ係数と、第１の予測タップとを用いた積和演算を行うことにより、第１の注目サンプルを求めるとともに、第２の注目サンプルのクラスの第１のタップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第２の注目サンプルを求める第１の演算手段と、第３の注目サンプルを求める副画素処理回路としての、第１の注目サンプルから、第２の注目サンプルを減算して得られる減算値に、第１の注目サンプルを加算して、第３の注目サンプルの仮の予測値を求める仮予測値算出手段と、教師データと、生徒データを用い、生徒データと第２のタップ係数との積和演算により求められる予測値であって、教師データの１のサンプルである第１のサンプルと、第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、所定の第２のサンプルとは異なる他の第２のサンプルを減算して得られる減算値に、所定の第２のサンプルを加算することにより求められる、第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第２のタップ係数から、第３の注目サンプルのクラスの第２のタップ係数を取得する第２のタップ係数取得手段と、第３の注目サンプルのクラスの第２のタップ係数と、第３の予測タップとを用いた積和演算を行うことにより、第１のサンプルに対応する第３の注目サンプルと、所定の第２のサンプルに対応する第１の注目サンプルから、他の第２のサンプルに対応する第２の注目サンプルを減算して得られる減算値に、第１の注目サンプルを加算して求められる第３の注目サンプルの仮の予測値との差分値を求める第２の演算手段と、第３の注目サンプルについて求められた差分値と、第３の注目サンプルの仮の予測値とを加算することにより、第３の注目サンプルを求める加算手段とを備える。
【００４７】
本発明の第２のデータ変換方法は、注目している第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップ、及び、第１の注目サンプルの周辺の位置にある、第２の注目サンプルとは異なる第３の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第３の注目サンプルの周辺に位置する複数のサンプルからなる第３のクラスタップを、第１のデータから抽出するクラスタップ生成ステップと、第１のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第１の注目サンプルをクラス分類するとともに、第２のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第２の注目サンプルをクラス分類し、第３のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第３の注目サンプルをクラス分類するクラス分類ステップと、第１の注目サンプルを求めるのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、第２の注目サンプルを求めるのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップ、及び第３の注目サンプルを求めるのに用いる、第３の注目サンプルの周辺に位置する複数のサンプルからなる第３の予測タップを、第１のデータから抽出する予測タップ生成ステップと、第１及び第２の注目サンプルを求める主画素処理回路が行う処理としての、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データを用い、生徒データと第１のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第１のタップ係数から、第１及び第２の注目サンプルのクラスそれぞれの第１のタップ係数を取得する第１のタップ係数取得ステップと、第１の注目サンプルのクラスの第１のタップ係数と、第１の予測タップとを用いた積和演算を行うことにより、第１の注目サンプルを求めるとともに、第２の注目サンプルのクラスの第１のタップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第２の注目サンプルを求める第１の演算ステップと、第３の注目サンプルを求める副画素処理回路が行う処理としての、第１の注目サンプルから、第２の注目サンプルを減算して得られる減算値に、第１の注目サンプルを加算して、第３の注目サンプルの仮の予測値を求める仮予測値算出ステップと、教師データと、生徒データを用い、生徒データと第２のタップ係数との積和演算により求められる予測値であって、教師データの１のサンプルである第１のサンプルと、第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、所定の第２のサンプルとは異なる他の第２のサンプルを減算して得られる減算値に、所定の第２のサンプルを加算することにより求められる、第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第２のタップ係数から、第３の注目サンプルのクラスの第２のタップ係数を取得する第２のタップ係数取得ステップと、第３の注目サンプルのクラスの第２のタップ係数と、第３の予測タップとを用いた積和演算を行うことにより、第１のサンプルに対応する第３の注目サンプルと、所定の第２のサンプルに対応する第１の注目サンプルから、他の第２のサンプルに対応する第２の注目サンプルを減算して得られる減算値に、第１の注目サンプルを加算して求められる第３の注目サンプルの仮の予測値との差分値を求める第２の演算ステップと、第３の注目サンプルについて求められた差分値と、第３の注目サンプルの仮の予測値とを加算することにより、第３の注目サンプルを求める加算ステップとを含む。
【００４８】
本発明の第３のプログラムは、注目している第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップ、及び、第１の注目サンプルの周辺の位置にある、第２の注目サンプルとは異なる第３の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第３の注目サンプルの周辺に位置する複数のサンプルからなる第３のクラスタップを、第１のデータから抽出するクラスタップ生成ステップと、第１のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第１の注目サンプルをクラス分類するとともに、第２のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第２の注目サンプルをクラス分類し、第３のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第３の注目サンプルをクラス分類するクラス分類ステップと、第１の注目サンプルを求めるのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、第２の注目サンプルを求めるのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップ、及び第３の注目サンプルを求めるのに用いる、第３の注目サンプルの周辺に位置する複数のサンプルからなる第３の予測タップを、第１のデータから抽出する予測タップ生成ステップと、第１及び第２の注目サンプルを求める主画素処理回路が行う処理としての、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データを用い、生徒データと第１のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第１のタップ係数から、第１及び第２の注目サンプルのクラスそれぞれの第１のタップ係数を取得する第１のタップ係数取得ステップと、第１の注目サンプルのクラスの第１のタップ係数と、第１の予測タップとを用いた積和演算を行うことにより、第１の注目サンプルを求めるとともに、第２の注目サンプルのクラスの第１のタップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第２の注目サンプルを求める第１の演算ステップと、第３の注目サンプルを求める副画素処理回路が行う処理としての、第１の注目サンプルから、第２の注目サンプルを減算して得られる減算値に、第１の注目サンプルを加算して、第３の注目サンプルの仮の予測値を求める仮予測値算出ステップと、教師データと、生徒データを用い、生徒データと第２のタップ係数との積和演算により求められる予測値であって、教師データの１のサンプルである第１のサンプルと、第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、所定の第２のサンプルとは異なる他の第２のサンプルを減算して得られる減算値に、所定の第２のサンプルを加算することにより求められる、第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第２のタップ係数から、第３の注目サンプルのクラスの第２のタップ係数を取得する第２のタップ係数取得ステップと、第３の注目サンプルのクラスの第２のタップ係数と、第３の予測タップとを用いた積和演算を行うことにより、第１のサンプルに対応する第３の注目サンプルと、所定の第２のサンプルに対応する第１の注目サンプルから、他の第２のサンプルに対応する第２の注目サンプルを減算して得られる減算値に、第１の注目サンプルを加算して求められる第３の注目サンプルの仮の予測値との差分値を求める第２の演算ステップと、第３の注目サンプルについて求められた差分値と、第３の注目サンプルの仮の予測値とを加算することにより、第３の注目サンプルを求める加算ステップとを含むデータ変換処理を、コンピュータに行わせる。
【００４９】
本発明の第３の記録媒体は、注目している第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップ、及び、第１の注目サンプルの周辺の位置にある、第２の注目サンプルとは異なる第３の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第３の注目サンプルの周辺に位置する複数のサンプルからなる第３のクラスタップを、第１のデータから抽出するクラスタップ生成ステップと、第１のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第１の注目サンプルをクラス分類するとともに、第２のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第２の注目サンプルをクラス分類し、第３のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第３の注目サンプルをクラス分類するクラス分類ステップと、第１の注目サンプルを求めるのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、第２の注目サンプルを求めるのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップ、及び第３の注目サンプルを求めるのに用いる、第３の注目サンプルの周辺に位置する複数のサンプルからなる第３の予測タップを、第１のデータから抽出する予測タップ生成ステップと、第１及び第２の注目サンプルを求める主画素処理回路が行う処理としての、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データを用い、生徒データと第１のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第１のタップ係数から、第１及び第２の注目サンプルのクラスそれぞれの第１のタップ係数を取得する第１のタップ係数取得ステップと、第１の注目サンプルのクラスの第１のタップ係数と、第１の予測タップとを用いた積和演算を行うことにより、第１の注目サンプルを求めるとともに、第２の注目サンプルのクラスの第１のタップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第２の注目サンプルを求める第１の演算ステップと、第３の注目サンプルを求める副画素処理回路が行う処理としての、第１の注目サンプルから、第２の注目サンプルを減算して得られる減算値に、第１の注目サンプルを加算して、第３の注目サンプルの仮の予測値を求める仮予測値算出ステップと、教師データと、生徒データを用い、生徒データと第２のタップ係数との積和演算により求められる予測値であって、教師データの１のサンプルである第１のサンプルと、第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、所定の第２のサンプルとは異なる他の第２のサンプルを減算して得られる減算値に、所定の第２のサンプルを加算することにより求められる、第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第２のタップ係数から、第３の注目サンプルのクラスの第２のタップ係数を取得する第２のタップ係数取得ステップと、第３の注目サンプルのクラスの第２のタップ係数と、第３の予測タップとを用いた積和演算を行うことにより、第１のサンプルに対応する第３の注目サンプルと、所定の第２のサンプルに対応する第１の注目サンプルから、他の第２のサンプルに対応する第２の注目サンプルを減算して得られる減算値に、第１の注目サンプルを加算して求められる第３の注目サンプルの仮の予測値との差分値を求める第２の演算ステップと、第３の注目サンプルについて求められた差分値と、第３の注目サンプルの仮の予測値とを加算することにより、第３の注目サンプルを求める加算ステップとを含むデータ変換処理を、コンピュータに行わせるプログラムが記録されている。
【００５０】
本発明の第２の学習装置は、タップ係数の学習の教師となる、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第１のデータに対応する生徒データから抽出するクラスタップ生成手段と、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類手段と、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成手段と、注目データと予測タップを用い、予測タップとタップ係数との積和演算により求められる予測値であって、注目データの１のサンプルである第１のサンプルと、第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、所定の第２のサンプルに隣接する他の第２のサンプルを減算して得られる減算値に、所定の第２のサンプルを加算することにより求められる、第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより、１以上のクラスごとのタップ係数を求める学習手段とを備える。
【００５１】
本発明の第２の学習方法は、タップ係数の学習の教師となる、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成ステップと、注目データと予測タップを用い、予測タップとタップ係数との積和演算により求められる予測値であって、注目データの１のサンプルである第１のサンプルと、第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、所定の第２のサンプルに隣接する他の第２のサンプルを減算して得られる減算値に、所定の第２のサンプルを加算することにより求められる、第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより、１以上のクラスごとのタップ係数を求める学習ステップとを含む。
【００５２】
本発明の第４のプログラムは、タップ係数の学習の教師となる、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成ステップと、注目データと予測タップを用い、予測タップとタップ係数との積和演算により求められる予測値であって、注目データの１のサンプルである第１のサンプルと、第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、所定の第２のサンプルに隣接する他の第２のサンプルを減算して得られる減算値に、所定の第２のサンプルを加算することにより求められる、第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより、１以上のクラスごとのタップ係数を求める学習ステップとを含む学習処理を、コンピュータに行わせる。
【００５３】
本発明の第４の記録媒体は、タップ係数の学習の教師となる、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップを、学習の生徒となる、第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップを、生徒データから抽出する予測タップ生成ステップと、注目データと予測タップを用い、予測タップとタップ係数との積和演算により求められる予測値であって、注目データの１のサンプルである第１のサンプルと、第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、所定の第２のサンプルに隣接する他の第２のサンプルを減算して得られる減算値に、所定の第２のサンプルを加算することにより求められる、第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより、１以上のクラスごとのタップ係数を求める学習ステップとを含む学習処理を、コンピュータに行わせるプログラムが記録されている。
【００５４】
本発明の第１のデータ変換装置および第１のデータ変換方法、並びに第１のプログラムおよび第１の記録媒体に記録されているプログラムにおいては、注目している第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、及び、第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップが、第１のデータから抽出され、第１のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第１の注目サンプルがクラス分類されるとともに、第２のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第２の注目サンプルがクラス分類され、第１の注目サンプルを求めるのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、及び第２の注目サンプルを求めるのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップが、第１のデータから抽出され、第１の注目サンプルを求める主画素処理回路により、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データを用い、生徒データと第１のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第１のタップ係数から、第１の注目サンプルのクラスの第１のタップ係数が取得され、第１の注目サンプルのクラスの第１のタップ係数と、第１の予測タップとを用いた積和演算を行うことにより、第１の注目サンプルが求められ、第２の注目サンプルを求める副画素処理回路により、教師データと、生徒データを用い、生徒データと第２のタップ係数との積和演算により求められる、教師データの１のサンプルである第１のサンプルと第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第２のタップ係数から、第２の注目サンプルのクラスの第２のタップ係数が取得されるか、１以上のクラスごとに得られる第１及び第２のタップ係数を加算して得られる加算タップ係数から、第２の注目サンプルのクラスの加算タップ係数が取得され、第２の注目サンプルのクラスの第２のタップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第１のサンプルに対応する第１の注目サンプルと、第２のサンプルに対応する第２の注目サンプルとの差分値が求められるとともに、求められた差分値と第１の注目サンプルとが加算されることにより、第２の注目サンプルが求められるか、又は、第２の注目サンプルのクラスの加算タップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第２の注目サンプルが求められる。
【００５５】
本発明の第１の学習装置および第１の学習方法、並びに第２のプログラムおよび第２の記録媒体に記録されているプログラムにおいては、タップ係数の学習の教師となる、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップが、学習の生徒となる、第１のデータに対応する生徒データから抽出され、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データがクラス分類され、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップが、生徒データから抽出され、注目データと予測タップを用い、予測タップと第１のタップ係数との積和演算により求められる、注目データの１のサンプルである第１のサンプルと第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより、１以上のクラスごとの第１のタップ係数が、最終的なタップ係数として求められるか、又は、第１のタップ係数と、積和演算により求められる、教師データの第１のサンプルの予測値の予測誤差を最小にする第２のタップ係数とを加算することにより、最終的なタップ係数が求められる。
【００５６】
本発明の第２のデータ変換装置および第２のデータ変換方法、並びに第３のプログラムおよび第３の記録媒体に記録されているプログラムにおいては、注目している第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップ、及び、第１の注目サンプルの周辺の位置にある、第２の注目サンプルとは異なる第３の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、第３の注目サンプルの周辺に位置する複数のサンプルからなる第３のクラスタップが、第１のデータから抽出され、第１のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第１の注目サンプルがクラス分類されるとともに、第２のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第２の注目サンプルがクラス分類され、第３のクラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、第３の注目サンプルがクラス分類され、第１の注目サンプルを求めるのに用いる、第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、第２の注目サンプルを求めるのに用いる、第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップ、及び第３の注目サンプルを求めるのに用いる、第３の注目サンプルの周辺に位置する複数のサンプルからなる第３の予測タップが、第１のデータから抽出され、第１及び第２の注目サンプルを求める主画素処理回路により、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データを用い、生徒データと第１のタップ係数との積和演算により求められる、教師データの予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第１のタップ係数から、第１及び第２の注目サンプルのクラスそれぞれの第１のタップ係数が取得され、第１の注目サンプルのクラスの第１のタップ係数と、第１の予測タップとを用いた積和演算を行うことにより、第１の注目サンプルが求められるとともに、第２の注目サンプルのクラスの第１のタップ係数と、第２の予測タップとを用いた積和演算を行うことにより、第２の注目サンプルが求められ、第３の注目サンプルを求める副画素処理回路により、第１の注目サンプルから、第２の注目サンプルを減算して得られる減算値に、第１の注目サンプルを加算して、第３の注目サンプルの仮の予測値が求められ、教師データと、生徒データを用い、生徒データと第２のタップ係数との積和演算により求められる予測値であって、教師データの１のサンプルである第１のサンプルと、第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、所定の第２のサンプルとは異なる他の第２のサンプルを減算して得られる減算値に、所定の第２のサンプルを加算することにより求められる、第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより得られる第２のタップ係数から、第３の注目サンプルのクラスの第２のタップ係数が取得され、第３の注目サンプルのクラスの第２のタップ係数と、第３の予測タップとを用いた積和演算を行うことにより、第１のサンプルに対応する第３の注目サンプルと、所定の第２のサンプルに対応する第１の注目サンプルから、他の第２のサンプルに対応する第２の注目サンプルを減算して得られる減算値に、第１の注目サンプルを加算して求められる第３の注目サンプルの仮の予測値との差分値が求められ、第３の注目サンプルについて求められた差分値と、第３の注目サンプルの仮の予測値とを加算することにより、第３の注目サンプルが求められる。
【００５７】
本発明の第２の学習装置および第２の学習方法、並びに第４のプログラムおよび第４の記録媒体に記録されているプログラムにおいては、タップ係数の学習の教師となる、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、注目データの周辺に位置する複数のサンプルからなるクラスタップが、学習の生徒となる、第１のデータに対応する生徒データから抽出され、クラスタップを構成する複数のサンプルの値から、クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、注目データがクラス分類され、注目データを求めるのに用いる、注目データの周辺に位置する複数のサンプルからなる予測タップが、生徒データから抽出され、注目データと予測タップを用い、予測タップとタップ係数との積和演算により求められる予測値であって、注目データの１のサンプルである第１のサンプルと、第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、所定の第２のサンプルに隣接する他の第２のサンプルを減算して得られる減算値に、所定の第２のサンプルを加算することにより求められる、第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、１以上のクラスごとに行うことにより、１以上のクラスごとのタップ係数が求められる。
【００５８】
【発明の実施の形態】
図２は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００５９】
この画像処理装置においては、例えば、ぼけたＳＤ画像が入力され、そのＳＤ画像に対して、クラス分類適応処理が施されることにより、ＳＤ画像のぼけ度にかかわらず、そのぼけが十分に改善されたＨＤ画像（ぼけ改善画像）が出力されるようになっている。
【００６０】
即ち、この画像処理装置は、フレームメモリ１、クラスタップ生成回路２、予測タップ生成回路３、クラス分類回路４、フレームメモリ１０、主画素処理回路１１、および副画素処理回路１２から構成され、そこには、ぼけの改善を行う対象となるＳＤ画像が入力される。
【００６１】
フレームメモリ１は、画像処理装置に入力されるＳＤ画像を、例えば、フレーム（またはフィールド）単位で一時記憶する。なお、本実施の形態では、フレームメモリ１は、複数フレームのＳＤ画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力されるＳＤ画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００６２】
クラスタップ生成回路２は、クラス分類適応処理により求めようとするＨＤ画像（ここでは、ＳＤ画像からぼけを完全に排除した、ぼけのない理想的なＨＤ画像）を、複数のＨＤ画素（サンプル）からなるブロックにブロック化（分割）し、さらに、各ブロックを、順次、注目ブロックとする。そして、クラスタップ生成回路２は、注目ブロックを構成するＨＤ画素についてのクラス分類に用いるクラスタップを、フレームメモリ１に記憶されたＳＤ画像から生成し、クラス分類回路４に出力する。即ち、クラスタップ生成回路２は、例えば、注目ブロックの位置から空間的または時間的に近い位置にある複数のＳＤ画素（サンプル）を、フレームメモリ１に記憶されたＳＤ画像から抽出することによりクラスタップとし、クラス分類回路４に出力する。
【００６３】
具体的には、クラスタップ生成回路２は、例えば、図３に示すように、ＨＤ画像を、垂直方向に隣接する２つのＨＤ画素からなるブロックに分割し、各ブロックを、順次、注目ブロックとする。
【００６４】
ここで、図３において、○印がＳＤ画像を構成するＳＤ画素を表し、×印がＨＤ画像を構成するＨＤ画素を表している。また、図３では、ＨＤ画像は、水平方向と垂直方向それぞれの画素数が、ＳＤ画像の２倍の画像になっている。
【００６５】
クラスタップ生成回路２は、注目ブロックについて、例えば、図３に示すように、その注目ブロックの位置から近い横×縦が３×３個のＳＤ画素を、フレームメモリ１に記憶されたＳＤ画素から抽出することによりクラスタップとする。
【００６６】
なお、以下、適宜、ＨＤ画像をブロック化したブロックの上側のＨＤ画素と下側のＨＤ画素を、それぞれｙ⁽¹⁾とｙ⁽²⁾と表す。また、以下、適宜、クラスタップを構成する３×３個のＳＤ画素のうちの、第１行第１列、第１行第２列、第１行第３列、第２行第１列、第２行第２列、第２行第３列、第３行第１列、第３行第２列、第３行第３列のＳＤ画素を、それぞれ、ｘ⁽¹⁾，ｘ⁽²⁾，ｘ⁽³⁾，ｘ⁽⁴⁾，ｘ⁽⁵⁾，ｘ⁽⁶⁾，ｘ⁽⁷⁾，ｘ⁽⁸⁾，ｘ⁽⁹⁾と表す。
【００６７】
予測タップ生成回路３は、予測演算回路６において注目ブロックを構成するＨＤ画素（の予測値）を求めるのに用いる予測タップを、フレームメモリ１に記憶されたＳＤ画像から生成し、予測演算回路６に供給する。即ち、クラスタップ生成回路２は、例えば、注目ブロックの位置から空間的または時間的に近い位置にある複数のＳＤ画素を、フレームメモリ１に記憶されたＳＤ画像から抽出することにより予測タップとし、予測演算回路６に供給する。
【００６８】
なお、ここでは、説明を簡単にするために、予測タップ生成回路３は、注目ブロックを構成するＨＤ画素について、クラスタップと同一のタップ構造の予測タップ、即ち、３×３のＳＤ画素からなる予測タップを生成するものとする。
【００６９】
但し、クラスタップとするＳＤ画素と、予測タップとするＳＤ画素とは、同一である必要はない。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。また、クラスタップや予測タップのタップ構造は、図３に示した、３×３個のＳＤ画素に限定されるものではない。
【００７０】
図２に戻り、クラス分類回路４は、クラスタップ生成回路２からのクラスタップに基づいて、注目ブロックを構成するＨＤ画素をクラス分類し、その結果得られる注目ブロックを構成するＨＤ画素のクラスに対応するクラスコードを、主画素処理回路１１と副画素処理回路１２に供給する。即ち、クラス分類回路４は、クラスタップ生成回路２からのクラスタップを、例えば、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、主画素処理回路１１と副画素処理回路１２に出力する。
【００７１】
なお、KビットADRC処理においては、クラスタップを構成するＳＤ画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するＳＤ画素がKビットに再量子化される。即ち、クラスタップを構成する各ＳＤ画素の画素値から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各ＳＤ画素の画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各ＳＤ画素についての１ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。但し、クラス分類は、その他、例えば、クラスタップを構成するＳＤ画素を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によって行うことも可能である。また、クラス分類としては、１クラスのクラス分類を行うことも可能である。この場合、クラス分類回路４は、どのようなクラスタップが供給されても、固定のクラスコードを出力するものとなる。
【００７２】
ここで、本実施の形態では、クラスタップ生成回路２において、注目ブロックを構成するＨＤ画素ｙ⁽¹⁾とｙ⁽²⁾それぞれについて、同一のクラスタップが生成される。従って、クラス分類回路４では、注目ブロックを構成するＨＤ画素ｙ⁽¹⁾とｙ⁽²⁾それぞれが、同一のクラスにクラス分類される。このことから、クラス分類回路４では、注目ブロックのＨＤ画素がクラス分類されているということができるとともに、注目ブロックがクラス分類されているということもできる。
【００７３】
なお、クラスタップ生成回路２では、注目ブロックを構成するＨＤ画素ｙ⁽¹⁾とｙ⁽²⁾それぞれについて、別々のタップ構造のクラスタップを生成するようにすることも可能である。同様に、予測タップ生成回路３でも、注目ブロックを構成するＨＤ画素ｙ⁽¹⁾とｙ⁽²⁾それぞれについて、別々のタップ構造の予測タップを生成するようにすることが可能である。但し、注目ブロックを構成するＨＤ画素ｙ⁽¹⁾とｙ⁽²⁾それぞれについて、別々のタップ構造のクラスタップや予測タップを生成する場合には、主画素処理回路１１と副画素処理回路１２それぞれに、各回路で求めようとするＨＤ画素について生成されたクラスタップから求められたクラスコードおよび予測タップを供給するようにする必要がある。
【００７４】
フレームメモリ１０は、主画素処理回路１１で求められるＨＤ画素と、副画素処理回路１２で求められるＨＤ画素を一時記憶し、例えば、１フレーム分のＨＤ画素を記憶すると、そのＨＤ画素で構成される１フレームのＨＤ画像を出力する。なお、フレームメモリ１０は、フレームメモリ１と同様に構成されており、これにより、主画素処理回路１１や副画素処理回路１２から供給されるＨＤ画素の記憶と、フレームメモリ１０に記憶されたＨＤ画素の読み出しとを同時に行うことができるようになっている。
【００７５】
主画素処理回路１１は、係数RAM(Random Access Memory)５と予測演算回路６から構成されており、注目ブロックを構成するＨＤ画素のうちの、主画素を注目画素とし、その主画素（の予測値）を求めて、フレームメモリ１０に供給し、その主画素の位置に対応するアドレスに記憶させる。
【００７６】
即ち、係数RAM５は、学習の教師となるＨＤ画像データである教師データと、学習の生徒となるＳＤ画像データである生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数RAM５は、クラス分類回路４から注目ブロック（のＨＤ画素）のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目ブロックを構成するＨＤ画素のうちの主画素のクラスのタップ係数を取得し、予測演算回路６に供給する。なお、係数RAM５に記憶されるタップ係数の学習方法についての詳細は、後述する。
【００７７】
予測演算回路６は、係数RAM５から供給される、主画素のクラスについてのタップ係数ｗ₁，ｗ₂，・・・と、予測タップ生成回路３からの予測タップ（を構成する各ＳＤ画素の画素値）ｘ₁，ｘ₂，・・・とを用いて、式（１）に示した積和演算を行うことにより、主画素ｙ（の予測値）を求め、これを、ぼけを改善したＨＤ画素の画素値とし、フレームメモリ１０に供給して記憶させる。
【００７８】
ここで、本実施の形態においては、ＨＤ画像をブロック化して得られる各ブロックを構成するＨＤ画素の中には、例えば、少なくとも１つの主画素と、主画素以外の画素である副画素とが存在する。主画素は、教師データと生徒データとの関係を、教師データに拘束条件を与えずに学習することにより得られたタップ係数を用いて求められるＨＤ画素を意味し、副画素は、教師データと生徒データとの関係を、教師データに拘束条件を与えて学習することにより得られたタップ係数を用いて求められるＨＤ画素を意味する。
【００７９】
なお、本実施の形態では、図３に示したＨＤ画像のブロックを構成する２つのＨＤ画素のうちの、例えば、上側のＨＤ画素ｙ⁽¹⁾が主画素であり、下側のＨＤ画素ｙ⁽²⁾が副画素であるとする。
【００８０】
副画素処理回路１２は、係数RAM７、予測演算回路８、復号回路９から構成されており、注目ブロックを構成するＨＤ画素のうちの、副画素ｙ⁽²⁾（の予測値）を求め、フレームメモリ１０に供給して、その副画素の位置に対応するアドレスに記憶させる。
【００８１】
即ち、係数RAM７は、学習の教師となるＨＤ画像データである教師データと、学習の生徒となるＳＤ画像データである生徒データとの関係を、教師データに拘束条件を与えて、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数RAM７は、クラス分類回路４から注目ブロックのクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目ブロックを構成するＨＤ画素のうちの副画素のクラスのタップ係数を取得し、予測演算回路６に供給する。なお、同一ブロックの主画素と副画素については、ここでは、上述したように、同一のクラスタップが生成されるので、そのクラスも同一である。また、係数RAM７に記憶されるタップ係数の学習方法についての詳細は、後述する。
【００８２】
予測演算回路８は、係数RAM７から供給される、副画素のクラスについてのタップ係数と、予測タップ生成回路３からの予測タップ（を構成する各ＳＤ画素の画素値）とを用いて、式（１）に示した演算に対応する積和演算を行うことにより、副画素と、フレームメモリ１０に既に記憶されているＨＤ画素との差分値△ｙ（の予測値）を求め、復号回路９に供給する。ここで、本実施の形態では、予測演算回路８において、注目ブロックの副画素ｙ⁽²⁾について、例えば、その副画素ｙ⁽²⁾と、その注目ブロックの主画素ｙ⁽¹⁾との差分値△ｙ（＝ｙ⁽²⁾−ｙ⁽¹⁾）が求められるものとする。
【００８３】
復号回路９は、予測演算回路８から供給される副画素についての差分値を、副画素に復号する。即ち、本実施の形態では、副画素ｙ⁽²⁾についての差分値△ｙとして、その副画素ｙ⁽²⁾と、その副画素のブロックの主画素ｙ⁽¹⁾との差分値が採用されているため、復号回路９は、フレームメモリ１０から、注目ブロックの主画素（の予測値）ｙ⁽¹⁾を読み出し、予測演算回路８から供給される差分値△ｙと加算することで、副画素（の予測値）ｙ⁽²⁾（＝△ｙ＋ｙ⁽¹⁾）を求める。そして、復号回路９は、求めた副画素を、フレームメモリ１０に供給して記憶させる。
【００８４】
次に、図４のフローチャートを参照して、図２の画像処理装置が行う、ＳＤ画像をＨＤ画像に変換する画像変換処理について説明する。
【００８５】
フレームメモリ１には、画像変換処理の対象としてのＳＤ画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給されるＳＤ画像が順次記憶されていく。
【００８６】
そして、ステップＳ１において、クラスタップ生成回路２は、これから求めようとするＨＤ画像のフレーム（フレームメモリ１０に記憶させるＨＤ画像のフレーム）を、注目フレームとして、その注目フレームを、図３で説明したように、垂直方向に並ぶ２つのＨＤ画素ｙ⁽¹⁾とｙ⁽²⁾からなるブロックにブロック化し、ステップＳ２に進む。
【００８７】
ステップＳ２では、クラスタップ生成回路２は、注目フレームを構成するブロックのうち、まだ注目ブロックとしていないブロックのうちの１つを注目ブロックとして選択し、ステップＳ３に進む。
【００８８】
ステップＳ３では、クラスタップ生成回路２と予測タップ生成回路３が、注目ブロックの位置に空間的または時間的に近い複数のＳＤ画素を、フレームメモリ１に記憶されたＳＤ画像から抽出することにより、クラスタップと予測タップをそれぞれ生成する。さらに、ステップＳ３では、クラスタップ生成回路２が、注目ブロックについてのクラスタップを、クラス分類回路４に供給するとともに、予測タップ生成回路３が、注目ブロックについての予測タップを、主画素処理回路１１および副画素処理回路１２に供給し、ステップＳ４に進む。
【００８９】
ステップＳ４では、クラス分類回路４は、クラスタップ生成回路２から供給されるクラスタップに基づき、注目ブロック（を構成する主画素ｙ⁽¹⁾と副画素ｙ⁽²⁾それぞれ）についてクラス分類を行い、その結果得られる注目ブロックのクラスを表すクラスコードを、主画素処理回路１１および副画素処理回路１２に供給して、ステップＳ５に進む。
【００９０】
ステップＳ５では、主画素処理回路１１の係数RAM５が、クラス分類回路４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目ブロック（を構成する主画素ｙ⁽¹⁾）のクラスのタップ係数を取得して、予測演算回路６に供給する。さらに、ステップＳ５では、副画素処理回路１２の係数RAM７が、クラス分類回路４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目ブロック（を構成する副画素ｙ⁽²⁾）のクラスのタップ係数を取得して、予測演算回路８に供給する。
【００９１】
その後、ステップＳ６に進み、主画素処理回路１１は、注目ブロックの主画素を、注目画素として、その注目画素（の予測値）ｙ⁽¹⁾を算出する。即ち、ステップＳ６では、主画素処理回路１１において、予測演算回路６が、予測タップ生成回路３からの予測タップと、係数RAM５からのタップ係数とを用いて、式（１）に示した演算を行い、注目画素としての主画素（の予測値）ｙ⁽¹⁾を求める。さらに、ステップＳ６では、予測演算回路６は、求めた主画素ｙ⁽¹⁾を、フレームメモリ１０に供給し、その主画素ｙ⁽¹⁾の位置に対応するアドレスに記憶させ、ステップＳ７に進む。
【００９２】
ステップＳ７では、副画素処理回路１２は、注目ブロックの副画素を、注目画素として、その注目画素（の予測値）ｙ⁽²⁾を算出する。即ち、ステップＳ７では、副画素処理回路１２において、予測演算回路８が、予測タップ生成回路３からの予測タップと、係数RAM７からのタップ係数とを用いて、式（１）に対応する積和演算（この演算の詳細については、後述する）を行い、注目画素としての副画素ｙ⁽²⁾と主画素であるＨＤ画素ｙ⁽¹⁾との差分値（の予測値）△ｙを求め、復号回路９に供給する。さらに、ステップＳ７では、復号回路９が、予測演算回路８から供給される差分値△ｙに、ステップＳ６で求められ、フレームメモリ１０に記憶されている主画素ｙ⁽¹⁾を加算することにより、注目画素としての副画素（の予測値）ｙ⁽²⁾を求める。そして、復号回路９は、その副画素ｙ⁽²⁾を、フレームメモリ１０に供給し、その副画素ｙ⁽²⁾の位置に対応するアドレスに記憶させ、ステップＳ８に進む。
【００９３】
ステップＳ８では、クラスタップ生成回路２が、注目フレームを構成するブロックのうち、まだ、注目ブロックとしていないブロックが存在するかどうかを判定し、存在すると判定した場合、ステップＳ２に戻り、以下、同様の処理を繰り返す。
【００９４】
また、ステップＳ８において、注目ブロックとしていないブロックが存在しないと判定された場合、即ち、注目フレームを構成するすべてのＨＤ画素が、フレームメモリ１０に記憶された場合、ステップＳ９に進み、フレームメモリ１０は、その注目フレームのＨＤ画像を、そこから読み出して出力し、ステップＳ１０に進む。
【００９５】
ステップＳ１０では、クラスタップ生成回路２が、次に求めるべきＨＤ画像のフレームが存在するかどうかを判定し、存在すると判定した場合、ステップＳ１に戻り、そのフレームを、新たに注目フレームとして、以下、同様の処理を繰り返す。
【００９６】
また、ステップＳ１０において、次に求めるべきＨＤ画像のフレームが存在しないと判定された場合、処理を終了する。
【００９７】
次に、図５は、図２の係数RAM５に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成例を示している。
【００９８】
学習用データベース２１には、タップ係数の学習用の画像データとしての、例えばＨＤ画像データが記憶されている。
【００９９】
学習対生成回路２２は、学習用データベース２１に記憶された学習用の画像データから、タップ係数の学習に用いられる教師データと生徒データのセットである学習対データを生成し、学習対データベース６３に供給する。
【０１００】
即ち、学習対生成回路２２は、学習用データベース２１に記憶された学習用の画像データを読み出し、その学習用の画像データであるＨＤ画像データを、例えば、そのまま教師データとする。ここで、図２の画像処理装置で得られるＨＤ画像は、図５の学習装置で教師データとして用いられるＨＤ画像データの画質に対応したものとなる。
【０１０１】
さらに、学習対生成回路２２は、教師データとしてのＨＤ画像データの画質を劣化させることにより、即ち、例えば、教師データとしてのＨＤ画像データの画素を間引き、さらに、ＬＰＦ(Low Pass Filter)でフィルタリングすること等により、その教師データとしてのＨＤ画像データをぼかしたＳＤ画像データである生徒データを生成する。ここで、生徒データとしてのＳＤ画像データは、図２の画像処理装置で処理対象となるＳＤ画像データに対応した画質のものとする必要がある。
【０１０２】
学習対生成回路２２は、上述のようにして、教師データと、その教師データに対応する生徒データ（教師データから生成された生徒データ）とを生成すると、その教師データと生徒データのセットを、学習対データとして、学習対データベース２３に供給する。
【０１０３】
学習対データベース２３は、学習対生成回路２２からの学習対データを一時記憶する。
【０１０４】
クラスタップ生成回路２４は、学習対データベース２３に記憶された学習対データにおける教師データとしてのＨＤ画像を、図２のクラスタップ生成回路２における場合と同一のブロックにブロック化し、各ブロックを、順次、注目ブロックとする。さらに、クラスタップ生成回路２４は、注目ブロック（を構成する主画素と副画素それぞれ）についてのクラスタップを、学習対データベース２３に記憶された学習対データにおける生徒データとしてのＳＤ画像から生成し、クラス分類回路２６に供給する。ここで、クラスタップ生成回路２４は、図２のクラスタップ生成回路２が生成するのと同一のタップ構造のクラスタップを生成する。
【０１０５】
予測タップ生成回路２５は、注目ブロック（を構成する主画素と副画素それぞれ）についての予測タップを、学習対データベース２３に記憶された学習対データにおける生徒データとしてのＳＤ画像から生成し、足し込み回路２７に供給する。ここで、予測タップ生成回路２５は、図２の予測タップ生成回路３が生成するのと同一のタップ構造のクラスタップを生成する。
【０１０６】
クラス分類回路２６は、図２のクラス分類回路４と同様に構成され、クラスタップ生成回路２４からのクラスタップに基づいて、注目ブロック（を構成する主画素と副画素それぞれ）をクラス分類し、注目ブロックのクラスを表すクラスコードを、足し込み回路２７に供給する。
【０１０７】
足し込み回路２７およびタップ係数演算回路２８は、学習対データベース２３に記憶された学習対データにおける、注目ブロックの主画素となっている教師データと、予測タップ生成回路２５から供給される予測タップとを用い、学習対データベース２３に記憶された学習対データとしての教師データと生徒データとの関係を、クラス分類回路２６から供給されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０１０８】
即ち、足し込み回路２７は、クラス分類回路２６が出力するクラスコードごとに、予測タップ生成回路２５から供給される予測タップと、学習対データベース２３に記憶された学習対データにおける、注目ブロックの主画素となっている教師データであるＨＤ画素とを対象とした、式（８）の足し込みを行う。
【０１０９】
具体的には、足し込み回路２７は、クラス分類回路２６から供給されるクラスコードに対応するクラスごとに、予測タップを構成する生徒データとしてのＳＤ画素ｘ_n,kを用い、式（８）の左辺の行列におけるＳＤ画素どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。
【０１１０】
さらに、足し込み回路２７は、やはり、クラス分類回路２６から供給されるクラスコードに対応するクラスごとに、予測タップを構成する生徒データとしてのＳＤ画素ｘ_n,kと注目ブロックにおける主画素となっている教師データであるＨＤ画素ｙ_kを用い、式（８）の右辺のベクトルにおけるＳＤ画素ｘ_n,kおよびＨＤ画素ｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。
【０１１１】
足し込み回路２７は、学習対データベース２３に記憶された学習対データにおける教師データとしてのＨＤ画像のブロックすべてを注目ブロックとして、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数演算回路２８に供給する。
【０１１２】
タップ係数演算回路２８は、足し込み回路２７から、各クラスについての式（８）の正規方程式を受信し、その正規方程式を解くことにより、クラスごとのタップ係数を求めて出力する。
【０１１３】
タップ係数メモリ２９は、タップ係数演算回路２８が出力するクラスごとのタップ係数を記憶する。
【０１１４】
次に、図６は、図５の学習対生成回路２２の構成例を示している。
【０１１５】
学習対生成回路２２には、学習用データベース２１（図５）に記憶された学習用の画像データとしてのＨＤ画像データが供給され、学習対生成回路２２は、そのＨＤ画像データを、そのまま教師データとして出力する。
【０１１６】
また、間引き回路３１は、学習用の画像データとしてのＨＤ画像データの画素を間引き、その間引きによって得られるＳＤ画像データを、ＬＰＦ３２に供給する。ここで、本実施の形態では、図３で説明したように、図２の画像処理装置において、ＳＤ画像データが、その水平方向と垂直方向それぞれの画素数が２倍にされたＨＤ画像データに変換されるため、間引き回路３１では、その逆に、学習用の画像データとしてのＨＤ画像データを構成する水平方向と垂直方向それぞれの画素数が１／２に間引かれる。
【０１１７】
ＬＰＦ３２は、所定の周波数特性を有するＬＰＦで、間引き回路３１から供給されるＳＤ画像データをフィルタリングすることにより、そのＳＤ画像データをぼかしたＳＤ画像データを得て、生徒データとして出力する。
【０１１８】
学習対生成回路２２は、以上のようにして得られる教師データと生徒データのセットを、学習対データとして、学習対データベース２３（図５）に出力する。
【０１１９】
次に、図７のフローチャートを参照して、図５の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０１２０】
まず最初に、ステップＳ１１において、学習対生成回路２２は、学習用データベース２１から学習用の画像データを読み出し、教師データと生徒データを生成する。さらに、ステップＳ１１では、学習対生成回路２２は、その教師データと生徒データとをセットにすることで学習対データを生成し、学習対データベース２３に供給して記憶させる。
【０１２１】
そして、ステップＳ１２に進み、クラスタップ生成回路２４は、学習対データベース２３に記憶された学習対データにおける教師データとしてのＨＤ画像データを、図２のクラスタップ生成回路２における場合と同様に、垂直方向に並ぶ２つのＨＤ画素の単位のブロックにブロック化し、ステップＳ１３に進む。
【０１２２】
ステップＳ１３では、クラスタップ生成回路２４は、学習対データベース２３に記憶された学習対データにおける教師データとしてのＨＤ画像のブロックの中から、まだ注目ブロックとしていないもののうちの１つを注目ブロックとして選択し、ステップＳ１４に進む。ステップＳ１４では、クラスタップ生成回路２４と予測タップ生成回路２５は、注目ブロック（の主画素）についてのクラスタップと予測タップを、学習対データベース２３に記憶された生徒データとしてのＳＤ画素から、それぞれ生成し、そのクラスタップと予測タップを、クラス分類回路２６と足し込み回路２７にそれぞれ供給して、ステップＳ１５に進む。
【０１２３】
ステップＳ１５では、クラス分類回路２６が、図２のクラス分類回路４における場合と同様にして、クラスタップ生成回路２４からのクラスタップを用いて、注目ブロック（の主画素）をクラス分類し、その注目ブロックのクラスを表すクラスコードを、足し込み回路２７に供給して、ステップＳ１６に進む。
【０１２４】
ステップＳ１６では、足し込み回路２７が、学習対データベース２３から、注目ブロックの主画素となっているＨＤ画素を、注目画素として読み出す。さらに、ステップＳ１６では、足し込み回路２７が、クラス分類回路２６から供給されるクラスコードが表す注目ブロックのクラスごとに、予測タップ生成回路２５から供給される予測タップ、および学習対データベース２３から読み出した注目画素を対象とした、上述した式（８）における足し込みを行い、ステップＳ１７に進む。
【０１２５】
そして、ステップＳ１７では、クラスタップ生成回路２４は、学習対データベース２３に記憶された教師データとしてのＨＤ画像データのブロックの中に、まだ注目ブロックとしていないものがあるかどうかを判定する。ステップＳ１７において、学習対データベース２３に記憶された教師データのブロックの中に、まだ注目ブロックとしていないものがあると判定された場合、ステップＳ１３に戻り、以下、同様の処理が繰り返される。
【０１２６】
また、ステップＳ１７において、学習対データベース２３に記憶された教師データのブロックの中に、注目ブロックとしていないものがないと判定された場合、足し込み回路２７は、いままでのステップＳ１６における足し込みによって、クラスごとに得られた式（８）の正規方程式を、タップ係数演算回路２８に供給して、ステップＳ１８に進む。
【０１２７】
ステップＳ１８では、タップ係数演算回路２８は、足し込み回路２７から供給される、各クラスごとの式（８）の正規方程式を解くことにより、クラスごとのタップ係数を求め、タップ係数メモリ２９に供給して記憶させ、処理を終了する。
【０１２８】
以上のようにして、タップ係数メモリ２９に記憶されたクラスごとのタップ係数が、図２の画像処理装置における係数RAM５に記憶されている。従って、その係数RAM５を有する主画素処理回路１１では、本件出願人が先に提案したクラス分類適応処理における場合と同様にして、主画素としてのＨＤ画素が求められる。
【０１２９】
なお、以上のようなタップ係数の学習処理において、用意する学習用の画像データ等によっては、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、タップ係数演算回路２８において、デフォルトのタップ係数を出力するようにすること等が可能である。あるいは、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じた場合には、新たに学習用の画像データを用意して、再度、タップ係数の学習を行うようにしても良い。このことは、後述する学習装置におけるタップ係数の学習についても、同様である。
【０１３０】
次に、図８は、図２の係数RAM７に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成例を示している。
【０１３１】
図８の学習装置は、図５の学習用データベース２１、学習対生成回路２２、学習対データベース２３、クラスタップ生成回路２４、予測タップ生成回路２５、クラス分類回路２６、足し込み回路２７、タップ係数演算回路２８、タップ係数メモリ２９とそれぞれ同様に構成される学習用データベース４１、学習対生成回路４２、学習対データベース４３、クラスタップ生成回路４４、予測タップ生成回路４５、クラス分類回路４６、足し込み回路４７、タップ係数演算回路４８、タップ係数メモリ４９から構成されている。
【０１３２】
従って、図８の学習装置では、基本的には、図５の学習装置における場合と同様にして、１以上のクラスごとのタップ係数が求められるようになっている。但し、図８の学習装置は、教師データと生徒データとの関係を、教師データに所定の拘束条件を与えて、１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数を求めるようになっている。
【０１３３】
即ち、図８の学習装置では、例えば、教師データのブロックにおける主画素と副画素との関係を拘束する拘束条件を与えて、教師データと生徒データとの関係の学習が行われる。具体的には、例えば、主画素と副画素の差分値を拘束する拘束条件を与えて、教師データと生徒データとの関係の学習が行われる。
【０１３４】
ここで、主画素ｙ⁽¹⁾と副画素ｙ⁽²⁾の差分値△ｙを拘束して、教師データと生徒データとの関係を学習することにより、即ち、理想的には、式（１）の積和演算で求められる主画素の予測値ｙ⁽¹⁾’と副画素の予測値ｙ⁽²⁾’について、その差分値△ｙ’＝ｙ⁽²⁾’−ｙ⁽¹⁾’が、副画素の真値ｙ⁽²⁾から主画素の真値ｙ⁽¹⁾を減算して得られる差分値の真値△ｙ＝ｙ⁽²⁾−ｙ⁽¹⁾に一致するという拘束条件の下で、教師データと生徒データとの関係を学習することにより、主画素の真値ｙ⁽¹⁾と副画素の真値ｙ⁽²⁾との間の関係を維持した副画素の予測値ｙ⁽²⁾’を求めるタップ係数を得ることができる。
【０１３５】
そして、そのようなタップ係数を用いて、ＳＤ画像をＨＤ画像に変換した場合には、拘束条件の効果によって、つまり、主画素と副画素の差分値が拘束されることによって、前述の図１Ｂで説明したような、画素値の変化が真値の変化と逆になることを防止することができる。
【０１３６】
ところで、副画素ｙ⁽²⁾から主画素ｙ⁽¹⁾を減算して得られる差分値△ｙを拘束する拘束条件として、例えば、上述したように、主画素の予測値ｙ⁽¹⁾’と副画素の予測値ｙ⁽²⁾’の差分値（以下、適宜、差分値の予測値ともいう）△ｙ’＝ｙ⁽²⁾’−ｙ⁽¹⁾’が、主画素の真値ｙ⁽¹⁾と副画素の真値ｙ⁽²⁾の差分値である差分値の真値△ｙ＝ｙ⁽²⁾−ｙ⁽¹⁾に一致するという条件を採用した場合に、すべてのブロックの主画素と副画素に、その拘束条件を満足させることは困難である。
【０１３７】
そこで、図８の学習装置では、差分値の予測値△’ｙの、その真値△ｙに対する予測誤差を統計的に最小にするという拘束条件の下で、教師データと生徒データとの関係の学習が行われる。
【０１３８】
即ち、例えば、いま、主画素ｙ⁽¹⁾と副画素ｙ⁽²⁾を求めるためのタップ係数を、それぞれｗ_n ⁽¹⁾とｗ_n ⁽²⁾とそれぞれ表すと、主画素ｙ⁽¹⁾と副画素ｙ⁽²⁾は、タップ係数ｗ_n ⁽¹⁾とｗ_n ⁽²⁾それぞれと、予測タップｘ_nを用い、式（１）にしたがって、式（９）と（１０）によりそれぞれ求められる。
【０１３９】
【数９】

【０１４０】
【数１０】

【０１４１】
いま、タップ係数ｗ_n ⁽¹⁾とｗ_n ⁽²⁾の差分値△ｗ_nを次式で定義する。
【０１４２】
【数１１】

【０１４３】
この場合、式（９）乃至（１１）から、差分値△ｙは、次の積和演算で求められることになる。
【０１４４】
【数１２】

【０１４５】
差分値の予測値△’ｙの、その真値△ｙに対する予測誤差を統計的に最小にするという拘束条件は、例えば、差分値の予測値△’ｙの予測誤差の総和を最小にすることによって満足させることができ、そのような予測誤差の総和を最小にするタップ係数△ｗ_nが、拘束条件を満たすタップ係数となる。
【０１４６】
そして、差分値の予測値△’ｙの予測誤差の総和を最小にするタップ係数△ｗ_nは、例えば、最小自乗法によって求めることができる。
【０１４７】
ところで、式（１２）は、式（１）におけるＨＤ画素ｙを、差分値△ｙに置き換えるとともに、タップ係数ｗ_nを、タップ係数△ｗ_nに置き換えた式と等価である。従って、式（１２）により求められる差分値ｙの予測誤差の総和を最小にするタップ係数△ｗ_nは、やはり、式（８）のＨＤ画素ｙを、差分値△ｙに置き換えるとともに、タップ係数ｗ_nを、タップ係数△ｗ_nに置き換えることによって得られる式（１３）の正規方程式を解くことによって求めることができる。
【０１４８】
【数１３】

【０１４９】
図８の学習装置では、以上のようにして、教師データｙ_kと生徒データｘ_kとの関係を、教師データｙ_kに上述の拘束条件を与えて、１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数△ｗ_nを求めるようになっている。
【０１５０】
従って、図８の学習装置で行われる学習は、教師データのブロックの主画素ｙ⁽¹⁾と副画素ｙ⁽²⁾の差分値△ｙを、拘束条件によって拘束された教師データ（以下、適宜、拘束教師データという）として、その拘束教師データ△ｙと、生徒データｘ_kとの関係を学習することと等価である。
【０１５１】
このため、学習対生成回路４２では、教師データそのものと生徒データとのセットではなく、拘束教師データと生徒データとのセットが、学習対データとして生成されるようになっている。また、足し込み回路４７では、やはり、教師データそのものと生徒データを対象とした式（８）の足し込みではなく、拘束教師データと生徒データを対象とした式（１３）における足し込みが行われるようになっている。
【０１５２】
次に、図９は、図８の学習対生成回路４２の構成例を示している。
【０１５３】
学習対生成回路４２には、学習用データベース４１（図８）に記憶された学習用の画像データとしてのＨＤ画像データが供給され、学習対生成回路４２は、そのＨＤ画像データを、教師データとして、間引き回路５１、メモリ５３、およびセレクタ５５に供給する。
【０１５４】
間引き回路５１は、図６の間引き回路３１と同様に、教師データとしてのＨＤ画像データの画素を間引き、その間引きによって得られるＳＤ画像データを、ＬＰＦ５２に供給する。ＬＰＦ５２は、図６のＬＰＦ３２と同様の、所定の周波数特性を有するＬＰＦで、間引き回路５１から供給されるＳＤ画像データをフィルタリングすることにより、そのＳＤ画像データをぼかしたＳＤ画像データを得て、そのＳＤ画像データを構成するＳＤ画素を、生徒データとして出力する。
【０１５５】
一方、メモリ５３は、学習用データベース４１から供給される教師データとしてのＨＤ画像データを一時記憶し、そのＨＤ画像データをブロックにブロック化したときに、ブロックの主画素ｙ⁽¹⁾となるＨＤ画素を、演算回路５４に供給する。
【０１５６】
演算回路５４は、学習用データベース４１から供給される教師データとしてのＨＤ画像データのうち、そのＨＤ画像データをブロックにブロック化したときに、ブロックの副画素ｙ⁽²⁾となるＨＤ画素を受信する。さらに、演算回路５４は、ブロックの副画素ｙ⁽²⁾から、メモリ５３より供給されるそのブロックの主画素ｙ⁽¹⁾を減算することにより、差分値△ｙ＝ｙ⁽²⁾−ｙ⁽¹⁾を求め、その差分値△ｙを、セレクタ５５に出力する。
【０１５７】
セレクタ５５は、学習用データベース４１から供給される教師データとしてのＨＤ画像データのうち、そのＨＤ画像データをブロックにブロック化したときに、ブロックの主画素となるＨＤ画素については、そのＨＤ画素を選択し、副画素となるＨＤ画素については、演算回路５４が出力する差分値△ｙを選択して、拘束教師データとして出力する。
【０１５８】
従って、セレクタ５５が出力する拘束教師データにおいては、主画素は、教師データとしてのＨＤ画素そのものの画素値を有するものとなっており、副画素は、その副画素の画素値から主画素の画素値を減算した値の画素値を有するものとなっている。
【０１５９】
学習対生成回路４２は、以上のようにして得られる拘束教師データと生徒データのセットを、学習対データとして、学習対データベース４３（図８）に出力する。
【０１６０】
次に、図１０のフローチャートを参照して、図８の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０１６１】
まず最初に、ステップＳ２１において、学習対生成回路４２は、学習用データベース４１から学習用の画像データを読み出し、拘束教師データと生徒データを生成する。さらに、ステップＳ２１では、学習対生成回路４２は、その拘束教師データと生徒データとをセットにすることで学習対データを生成し、学習対データベース４３に供給して記憶させる。
【０１６２】
そして、ステップＳ２２に進み、クラスタップ生成回路４４は、学習対データベース４３に記憶された学習対データにおける拘束教師データを、図２のクラスタップ生成回路２における場合と同様に、垂直方向に並ぶ２つのＨＤ画素の単位のブロックにブロック化し、ステップＳ２３に進む。
【０１６３】
ステップＳ２３では、クラスタップ生成回路４４は、学習対データベース４３に記憶された学習対データにおける拘束教師データのブロックの中から、まだ注目ブロックとしていないもののうちの１つを注目ブロックとして選択し、ステップＳ２４に進む。ステップＳ２４では、クラスタップ生成回路４４と予測タップ生成回路４５は、注目ブロック（の副画素）についてのクラスタップと予測タップを、学習対データベース４３に記憶された生徒データとしてのＳＤ画素から、それぞれ生成し、そのクラスタップと予測タップを、クラス分類回路４６と足し込み回路４７にそれぞれ供給して、ステップＳ２５に進む。
【０１６４】
ステップＳ２５では、クラス分類回路４６が、図２のクラス分類回路４における場合と同様にして、クラスタップ生成回路４４からのクラスタップを用いて、注目ブロック（の副画素）をクラス分類し、その注目ブロックのクラスを表すクラスコードを、足し込み回路４７に供給して、ステップＳ２６に進む。
【０１６５】
ステップＳ２６では、足し込み回路４７が、学習対データベース４３から、注目ブロックの副画素となっているＨＤ画素（の画素値である差分値△ｙ）を、注目画素として読み出す。さらに、ステップＳ２６では、足し込み回路４７が、クラス分類回路４６から供給されるクラスコードが表す注目ブロックのクラスごとに、予測タップ生成回路４５から供給される予測タップ、および学習対データベース４３から読み出した注目画素を対象とした、上述した式（１３）における足し込みを行い、ステップＳ２７に進む。
【０１６６】
そして、ステップＳ２７では、クラスタップ生成回路４４は、学習対データベース４３に記憶された拘束教師データのブロックの中に、まだ注目ブロックとしていないものがあるかどうかを判定する。ステップＳ２７において、学習対データベース４３に記憶された拘束教師データのブロックの中に、まだ注目ブロックとしていないものがあると判定された場合、ステップＳ２３に戻り、以下、同様の処理が繰り返される。
【０１６７】
また、ステップＳ２７において、学習対データベース４３に記憶された拘束教師データのブロックの中に、注目ブロックとしていないものがないと判定された場合、足し込み回路４７は、いままでのステップＳ２６における足し込みによって、クラスごとに得られた式（１３）の正規方程式を、タップ係数演算回路４８に供給して、ステップＳ２８に進む。
【０１６８】
ステップＳ２８では、タップ係数演算回路４８は、足し込み回路４７から供給される、各クラスごとの式（１３）の正規方程式を解くことにより、クラスごとのタップ係数△ｗ_nを求め、タップ係数メモリ４９に供給して記憶させ、処理を終了する。
【０１６９】
以上のようにして、タップ係数メモリ４９に記憶されたクラスごとのタップ係数△ｗ_nが、図２の画像処理装置における係数RAM７に記憶されている。そして、その係数RAM７を有する副画素処理回路１２では、予測演算回路８において、係数RAM７に記憶されたタップ係数△ｗ_nと、予測タップｘ_nとを用い、式（１）に対応する式（１２）の積和演算が行われることによって、予測誤差の総和を最小にする、副画素ｙ⁽²⁾の、主画素ｙ⁽¹⁾に対する差分値△ｙ（の予測値）が求められる。さらに、復号回路９において、差分値△ｙは、既に求められてフレームメモリ１０に記憶されている主画素ｙ⁽¹⁾（の予測値）と加算され、これにより、副画素ｙ⁽²⁾（の予測値）が求められる。
【０１７０】
従って、副画素は、主画素との関係を維持するタップ係数を用いて求められることから、図２の画像処理装置では、求められるＨＤ画像の画素値の変化が真値の変化と逆になるようなことを防止して、より高画質のＨＤ画像を得ることができる。
【０１７１】
次に、図１１は、図８の学習対生成回路４２の他の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１１の学習対生成回路４２は、クラス分類適応処理回路６０が新たに設けられている他は、図９における場合と同様に構成されている。
【０１７２】
クラス分類適応処理回路６０には、ＬＰＦ５２が出力する生徒データとしてのＳＤ画像データが供給されるようになっており、クラス分類適応処理回路６０は、その生徒データとしてのＳＤ画像データを対象に、本件出願人が先に提案したクラス分類適応処理を施すことにより、教師データとしてのＨＤ画像データ（の予測値）を求め、メモリ５３に供給する。
【０１７３】
即ち、クラス分類適応処理回路６０は、図２のフレームメモリ１、クラスタップ生成回路２、予測タップ生成回路３、クラス分類回路４、係数RAM５、予測演算回路６とそれぞれ同様に構成されるフレームメモリ６１、クラスタップ生成回路６２、予測タップ生成回路６３、クラス分類回路６４、係数RAM６５、予測演算回路６６で構成され、図２における場合と同様にして、ＬＰＦ５２から供給される生徒データとしてのＳＤ画像データをＨＤ画像データに変換するクラス分類適応処理を行い、その結果得られるＨＤ画像データを、メモリ５３に供給する。
【０１７４】
但し、クラス分類適応処理回路６０では、ＨＤ画像データのブロックが、すべて主画素で構成されるものとして、クラス分類適応処理が行われる。即ち、クラス分類適応処理回路６０では、係数RAM６５に、図５の学習装置によって求められたタップ係数が記憶されており、ＨＤ画像データのブロックを構成するＨＤ画素は、すべて、その係数RAM６５に記憶されたタップ係数を用いた式（１）の積和演算を行うことによって求められる。
【０１７５】
従って、図１１の実施の形態では、メモリ５３には、学習用データベース４１に記憶された学習用の画像データとしての教師データそのものではなく、クラス分類適応処理回路６０によって求められた、教師データの予測値が記憶される。その結果、図１１の演算回路５４では、学習用データベース４１から供給される教師データとしてのＨＤ画像データのうち、そのＨＤ画像データをブロックにブロック化したときに、ブロックの副画素ｙ⁽²⁾となるＨＤ画素から、メモリ５３に記憶されたそのブロックの主画素ｙ⁽¹⁾の予測値を減算することにより、差分値△ｙが求められる。即ち、ブロックの副画素ｙ⁽²⁾となるＨＤ画素から、そのブロックの主画素ｙ⁽¹⁾そのものではなく、クラス分類適応処理回路６０で求められた主画素ｙ⁽¹⁾の予測値が減算されることにより、差分値△ｙが求められ、拘束教師データとされる。
【０１７６】
従って、学習対生成回路４２が図９に示したように構成される場合よりも、副画素の予測精度の高い（副画素の予測誤差が小さい）タップ係数を求めることが可能となる。
【０１７７】
即ち、図２の画像処理装置では、副画素処理回路１２の予測演算回路８において、予測タップｘ_kとタップ係数△ｗ_nを用いた式（１２）の積和演算が行われることにより、副画素ｙ⁽²⁾と主画素ｙ⁽¹⁾の差分値△ｙの予測値が求められ、さらに、復号回路９において、予測演算回路８で求められた差分値ｙの予測値に、主画素処理回路１１で求められた主画素ｙ⁽¹⁾の予測値が加算されることで、副画素ｙ⁽²⁾の予測値が求められる。
【０１７８】
従って、図２の画像処理装置において、副画素を求めるのに用いられるのが、主画素の真値ではなく、その予測値であることから、図８の学習装置でも、学習対生成回路４２において、主画素の真値ではなく、その予測値を用いて、拘束教師データを生成した方が、図２の画像処理装置における副画素の予測精度を向上させることができる。
【０１７９】
なお、図１１の実施の形態では、クラス分類適応処理回路６０において、教師データとしてのＨＤ画像データのすべてのＨＤ画素（の予測値）を求めるようにしたが、その後段のメモリ５３および演算回路５４では、クラス分類適応処理回路６０が出力するＨＤ画素のうち、図２の画像処理装置において主画素とされるＨＤ画素だけが使用される。従って、クラス分類適応処理回路６０では、図２の画像処理装置において主画素とされるＨＤ画素のみを求め、副画素とされるＨＤ画素については無視する（特に処理をしない）ようにすることが可能である。
【０１８０】
次に、図１２は、本発明を適用した画像処理装置の他の一実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１２の画像処理装置は、副画素処理回路１２が、係数RAM７、予測演算回路８、および復号回路９に代えて、係数RAM７７および予測演算回路７８で構成されている他は、図２における場合と同様に構成されている。
【０１８１】
係数RAM７７には、図２の係数RAM５に記憶されたクラスごとのタップ係数ｗ_nと、係数RAM７に記憶されたタップ係数△ｗ_nとを加算して得られるクラスごとのタップ係数が記憶されている。そして、係数RAM７７は、クラス分類回路４から供給される注目ブロックのクラスコードが表すクラスのタップ係数を読み出すことにより、そのタップ係数を取得し、予測演算回路７８に供給する。
【０１８２】
予測演算回路７８は、係数RAM７７から供給される注目ブロックのクラスのタップ係数と、予測タップ生成回路３から供給される注目ブロックの予測タップとを用いて、式（１）に対応する積和演算を行うことにより、注目ブロックの副画素（の予測値）を求める。さらに、予測演算回路７８は、求めた副画素を、フレームメモリ１０の対応するアドレスに供給して記憶させる。
【０１８３】
即ち、拘束教師データを用いた学習によれば、式（１２）の積和演算に用いられる、副画素ｙ⁽²⁾から主画素ｙ⁽¹⁾を減算した差分値△ｙを求めるタップ係数△ｗ_nが得られるが、このタップ係数△ｗ_nは、式（１１）で定義されるものである。
【０１８４】
そして、式（１１）によれば、タップ係数ｗ_n ⁽²⁾は、次式によって求めることができる。
【０１８５】
【数１４】

【０１８６】
式（１４）によれば、タップ係数ｗ_n ⁽²⁾は、拘束教師データを用いた学習によって求められるタップ係数△ｗ_nから得られる。従って、タップ係数ｗ_n ⁽²⁾も、拘束教師データを用いた学習によって求められたものということができる。そして、タップ係数ｗ_n ⁽²⁾によれば、式（１）に対応する式（１０）の積和演算によって、副画素ｙ⁽²⁾（の予測値）を求めることができる。
【０１８７】
そこで、図１２の実施の形態では、係数RAM７７に、式（１４）で表されるクラスごとのタップ係数ｗ_n ⁽²⁾が記憶されており、予測演算回路７８において、そのタップ係数ｗ_n ⁽²⁾と、予測タップ生成回路３が出力する予測タップｘ_nとを用いて、式（１０）の積和演算が行われることにより、副画素ｙ⁽²⁾が求められる。
【０１８８】
従って、図１２の画像処理装置では、図４のステップＳ５において、係数RAM７からタップ係数△ｗ_nが取得される代わりに、係数RAM７７からタップ係数ｗ_n ⁽²⁾が取得され、ステップＳ８において、係数RAM７に記憶されたタップ係数△ｗ_nと予測タップｘ_nを用いた式（１２）の積和演算によって、差分値△ｙが求められ、さらに、その差分値△ｙと主画素ｙ⁽¹⁾とが加算されることにより、副画素ｙ⁽²⁾が求められる代わりに、係数RAM７７に記憶されたタップ係数ｗ_n ⁽²⁾と予測タップｘ_nを用いた式（１０）の積和演算によって、副画素ｙ⁽²⁾が求められる他は、図４で説明した場合と同様の処理が行われるため、図１２の画像処理装置の処理について説明は、省略する。
【０１８９】
図１２の画像処理装置においても、図２の画像処理装置における場合と同様に、副画素は、主画素との関係を維持するタップ係数を用いて求められるので、やはり、求められるＨＤ画像の画素値の変化が真値の変化と逆になるようなことを防止して、より高画質のＨＤ画像を得ることができる。
【０１９０】
ここで、係数RAM７７に記憶させるタップ係数ｗ_n ⁽²⁾は、図５の学習装置で求められたタップ係数ｗ_n ⁽¹⁾と、図８の学習装置で求められたタップ係数Δｗ_nとを、別途加算することによって求めることも可能であるし、図５と図８の学習装置を、一体的に構成し、かつ、タップ係数演算回路２８が出力するタップ係数ｗ_n ⁽¹⁾と、タップ演算回路４８が出力するタップ係数Δｗ_nとを加算する回路を設けた学習装置によって求めるようにすることも可能である。
【０１９１】
なお、図２の実施の形態では、副画素処理回路１２において、主画素と副画素の差分値を、図３に示したＳＤ画素の画素値ｘ⁽¹⁾乃至ｘ⁽⁹⁾そのものを予測タップとして用いて求めるようにしたが、主画素と副画素の差分値については、ＳＤ画素の画素値ｘ⁽¹⁾乃至ｘ⁽⁹⁾の差分値を予測タップとして用いて求めるようにすることが可能である。即ち、主画素と副画素の差分値については、例えば、ＳＤ画素の画素値ｘ⁽¹⁾乃至ｘ⁽⁹⁾のうちの垂直方向に並ぶ２つのＳＤ画素どうしの差分値であるｘ⁽¹⁾−ｘ⁽⁴⁾，ｘ⁽²⁾−ｘ⁽⁵⁾，ｘ⁽³⁾−ｘ⁽⁶⁾，ｘ⁽⁴⁾−ｘ⁽⁷⁾，ｘ⁽⁵⁾−ｘ⁽⁸⁾，ｘ⁽⁶⁾−ｘ⁽⁹⁾を予測タップとして用いて求めるようにすることが可能である。但し、この場合、図８の学習装置でも、同様の予測タップを用いる必要がある。
【０１９２】
また、本実施の形態では、説明を簡単にするために、ＨＤ画像データを、垂直方向に並ぶ２つのＨＤ画素でなるブロックに分割するようにしたが、ブロックは、３以上のＨＤ画素で構成することが可能である。即ち、ブロックは、例えば、図１３に示すように、横×縦が２×２のＨＤ画素ｙ⁽¹⁾，ｙ⁽²⁾，ｙ⁽³⁾，ｙ⁽⁴⁾で構成することが可能である。
【０１９３】
さらに、ブロックにおいて、主画素とするＨＤ画素は、１つに限定されるものではない。即ち、例えば、図１３に示したように、４つのＨＤ画素ｙ⁽¹⁾乃至ｙ⁽⁴⁾でブロックを構成した場合には、例えば、そのうちの１つのＨＤ画素ｙ⁽¹⁾だけを主画素とするとともに、残りの３つのＨＤ画素ｙ⁽²⁾乃至ｙ⁽⁴⁾を副画素とすることもできるし、あるいは、例えば、そのうちの２つのＨＤ画素ｙ⁽¹⁾およびｙ⁽²⁾を主画素とし、残りの２つのＨＤ画素ｙ⁽³⁾およびｙ⁽⁴⁾を副画素とすることもできる。
【０１９４】
また、図８の学習装置では、学習対生成回路４２において、副画素から主画素を減算して得られる差分値を、拘束教師データとして用いるようにしたが、拘束教師データとしては、その他、例えば、副画素から他の副画素を減算して得られる差分値を採用することも可能である。即ち、例えば、図１３に示したように、４つのＨＤ画素ｙ⁽¹⁾乃至ｙ⁽⁴⁾でブロックを構成し、そのうちの１つのＨＤ画素ｙ⁽¹⁾だけを主画素とするとともに、残りの３つのＨＤ画素ｙ⁽²⁾乃至ｙ⁽⁴⁾を副画素とした場合には、例えば、副画素ｙ⁽²⁾については、その副画素ｙ⁽²⁾から主画素ｙ⁽¹⁾を減算して得られる差分値を、副画素ｙ⁽³⁾については、その副画素ｙ⁽³⁾から副画素ｙ⁽²⁾を減算して得られる差分値を、副画素ｙ⁽⁴⁾については、その副画素ｙ⁽⁴⁾から副画素ｙ⁽³⁾を減算して得られる差分値を、それぞれ拘束教師データとして採用することが可能である。但し、この場合、図２の画像処理装置における復号回路９では、副画素ｙ⁽²⁾は、予測演算回路８が出力する差分値に、フレームメモリ１０に記憶された主画素ｙ⁽¹⁾を加算することで、副画素ｙ⁽³⁾は、予測演算回路８が出力する差分値に、フレームメモリ１０に記憶された副画素ｙ⁽²⁾を加算することで、副画素ｙ⁽⁴⁾は、予測演算回路８が出力する差分値に、フレームメモリ１０に記憶された副画素ｙ⁽³⁾を加算することで、それぞれ求められることになる。
【０１９５】
さらに、本実施の形態では、教師データとしての副画素に、１つの画素である主画素との差分値を拘束する拘束条件しか与えなかったが、副画素には、複数の画素それぞれとの差分値を拘束する拘束条件を与えることが可能である。即ち、例えば、図１３に示した場合において、ｙ⁽⁴⁾を副画素とすると、副画素ｙ⁽⁴⁾については、差分値ｙ⁽⁴⁾−ｙ⁽¹⁾，ｙ⁽⁴⁾−ｙ⁽²⁾，ｙ⁽⁴⁾−ｙ⁽³⁾を拘束教師データとして、図８の足し込み回路４７における足し込みに用いるようにすることが可能である。
【０１９６】
また、図２の実施の形態では、上下に隣接する２つのＨＤ画素を１ブロックとし、さらに、そのブロックにおける上側のＨＤ画素と下側のＨＤ画素を、それぞれ主画素と副画素として、副画素の差分値の予測値と、主画素の予測値とを加算することにより、副画素の予測値を求める（副画素を復号する）ようにしたが、１フレーム（またはフィールド）の各ＨＤ画素は、その他、例えば、次のようにして求めることが可能である。即ち、各ＨＤ画素（の予測値）は、例えば、そのＨＤ画素を副画素として、その副画素の差分値の予測値と、その上側に隣接するＨＤ画素の予測値とを加算することで求めるようにすることが可能である。なお、この場合、最上行のＨＤ画素は、そのＨＤ画素を主画素として、その予測値を求めることにより復号しても良いし、また、最上行のＨＤ画素については、その真値を、何らかの方法で取得するようにしても良い。
【０１９７】
さらに、本実施の形態では、学習装置において、教師データと生徒データとの関係を、教師データに所定の拘束条件を与えて学習することにより、教師データである複数のＨＤ画素どうしの関係を反映したＨＤ画素の予測値を求めることができるタップ係数を求めるようにしたが、この教師データに拘束条件を与えた学習は、教師データの複数サンプル（複数のＨＤ画素）から得られる特徴と、生徒データ（のサンプル）との関係を学習していると言い換えることができる。
【０１９８】
即ち、図８の学習装置では、上述したように、副画素（の画素値の真値）から主画素を減算して得られる差分値を拘束教師データとして、その拘束教師データと、生徒データとの関係が学習される。この場合に、副画素から主画素を減算して得られる差分値は、主画素としてのＨＤ画素と、副画素としてのＨＤ画素との、２つのＨＤ画素の特徴を表しているということができ、従って、図８の学習装置では、教師データの複数のＨＤ画素から得られる特徴と、生徒データの複数のＳＤ画素との関係が学習され、両者を対応付けるタップ係数が求められているということができる。
【０１９９】
なお、教師データの複数のＨＤ画素から得られる特徴は、差分値に限定されるものではない。
【０２００】
また、特徴を求める複数のＨＤ画素も、２つのＨＤ画素に限定されるものではなく、３以上のＨＤ画素を採用することが可能である。
【０２０１】
即ち、教師データの複数のＨＤ画素から得られる特徴としては、例えば、３つのＨＤ画素から得られる差分値などを採用することができる。この場合、図８の学習装置では、例えば、教師データにおいて、上下方向（または左右方向）に隣接する３つのＨＤ画素を、上から順にａ，ｂ，ｃとして、上から２番目のＨＤ画素ｂから一番上のＨＤ画素ａを減算した差分値△１＝ｂ−ａが求められる。さらに、その差分値△１を、上から２番目のＨＤ画素ｂに加算することで、一番下のＨＤ画素ｃの、いわば仮の予測値ｃ’＝ｂ＋△１が求められる。そして、ＨＤ画素ｃの仮の予測値ｃ’から、その真値ｃを減算して得られる差分値△２＝ｃ’−ｃが、３つのＨＤ画素ａ，ｂ，ｃから得られる特徴として用いられ、この差分値△２と、生徒データ（から得られる予測タップ）とを対応付けるタップ係数が学習される。
【０２０２】
なお、この場合、図２の画像処理装置では、一番上のＨＤ画素ａと上から２番目のＨＤ画素ｂは、例えば、主画素とされ、主画素処理回路１１において、それぞれの予測値が求められる。そして、一番下のＨＤ画素ｃについては、副画素処理回路１２において、主画素処理回路１１で求められたＨＤ画素ａとｂ（の予測値）から、それらの差分値△１（の予測値）が求められ、主画素処理回路１１で求められたＨＤ画素ｂと加算されることで、ＨＤ画素ｃの仮の予測値ｃ’が求められる。さらに、副画素処理回路１２において、３つのＨＤ画素ａ，ｂ，ｃから得られる特徴としての差分値△２（の予測値）が、学習により得られたタップ係数を用いて求められ、その差分値△２を、ＨＤ画素ｃの仮の予測値ｃ’から減算することで、ＨＤ画素ｃ（の予測値）が求められる。
【０２０３】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０４】
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０２０６】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２０７】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２０８】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２０９】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２１０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１１】
なお、本実施の形態では、本発明を、ＳＤ画像データをＨＤ画像データに変換する場合を例に説明したが、本発明は、その他、例えば、音声データを、より高音質の音声データに変換する場合にも適用可能である。
【０２１２】
さらに、本発明は、ＳＤ画像データを、その画素数（サンプル数）を多くしたＨＤ画像データ、即ち、空間解像度を向上させたＨＤ画像データに変換したり、時間方向の解像度（フレームまたはフィールド数）を向上させたＨＤ画像データや、レベル方向の解像度（画素値に割り当てられたビット数）を向上させたＨＤ画像データに変換する場合の他、例えば、画像を拡大する場合などにも適用可能である。
【０２１３】
また、本実施の形態では、画像を変換する画像処理装置と、その画像処理装置で用いるクラスごとのタップ係数を学習する学習装置とを、別々の装置として構成するようにしたが、画像処理装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、画像処理装置で用いるタップ係数を、リアルタイムで更新させるようにすることが可能である。
【０２１４】
さらに、本実施の形態では、係数RAM５や７、７７に、あらかじめクラスごとのタップ係数を記憶させておくようにしたが、このタップ係数は、例えば、ＳＤ画像とともに、画像処理装置に供給するようにすることも可能である。
【０２１５】
さらに、本実施の形態では、１次式によって、ＨＤ画素を求めるようにしたが、ＨＤ画素は、２次以上の式によって、求めるようにすることも可能である。
【０２１６】
また、クラスタップや予測タップは、１つのフレームだけではなく、複数フレームのＳＤ画像データからＳＤ画素を抽出することによって構成することが可能である。
【０２１７】
さらに、ＨＤ画像データのブロックも、１つのフレームだけではなく、複数フレームのＨＤ画像データのＨＤ画素によって構成することが可能である。
【０２１８】
なお、図２や図１２の画像処理装置は、例えば、テレビジョン放送信号を受信して画像を表示するテレビジョン受像機や、ＤＶＤから画像データを再生して出力するＤＶＤ再生装置、ビデオテープから画像データを再生して出力するＶＴＲその他の画像を処理する装置などに適用可能である。
【０２１９】
【発明の効果】
以上の如く、本発明によれば、データを、より品質の良いデータに変換することが可能となる。
【図面の簡単な説明】
【図１】画質が劣化する場合を説明する図である。
【図２】本発明を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図３】ＨＤ画像データのブロックと、クラスタップおよび予測タップを示す図である。
【図４】画像処理装置の処理を説明するフローチャートである。
【図５】係数RAM５に記憶させるタップ係数を学習する学習装置の一実施の形態の構成例を示すブロック図である。
【図６】学習対生成回路２２の構成例を示すブロック図である。
【図７】係数RAM５に記憶させるタップ係数を学習する学習処理を説明するフローチャートである。
【図８】係数RAM７に記憶させるタップ係数を学習する学習装置の一実施の形態の構成例を示すブロック図である。
【図９】学習対生成回路４２の構成例を示すブロック図である。
【図１０】係数RAM７に記憶させるタップ係数を学習する学習処理を説明するフローチャートである。
【図１１】学習対生成回路４２の他の構成例を示すブロック図である。
【図１２】本発明を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図１３】ＨＤ画像データのブロックの他の例を示す図である。
【図１４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ フレームメモリ， ２ クラスタップ生成回路， ３ 予測タップ生成回路， ４ クラス分類回路， ５ 係数RAM， ６ 予測演算回路， ７ 係数RAM， ８ 予測演算回路， ９ 復号回路， １０ フレームメモリ， １１主画素処理回路， １２ 副画素処理回路， ２１ 学習用データベース， ２２ 学習対生成回路， ２３ 学習対データベース， ２４ クラスタップ生成回路， ２５ 予測タップ生成回路， ２６ クラス分類回路， ２７ 足し込み回路， ２８ タップ係数演算回路， ２９ タップ係数メモリ， ３１ 間引き回路， ３２ ＬＰＦ， ４１ 学習用データベース， ４２ 学習対生成回路， ４３ 学習対データベース， ４４ クラスタップ生成回路， ４５予測タップ生成回路， ４６ クラス分類回路， ４７ 足し込み回路， ４８ タップ係数演算回路， ４９ タップ係数メモリ， ５１ 間引き回路， ５２ ＬＰＦ， ５３ メモリ， ５４ 演算回路， ５５ セレクタ， ６０クラス分類適応処理回路， ６１ フレームメモリ， ６２ クラスタップ生成回路， ６３ 予測タップ生成回路， ６４ クラス分類回路， ６５ 係数RAM， ６６ 予測演算回路， ７７ 係数RAM， ７８ 予測演算回路， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (20)

1. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するデータ変換装置であって、
   注目している前記第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、及び、前記第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップを、前記第１のデータから抽出するクラスタップ生成手段と、
   前記第１のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第１の注目サンプルをクラス分類するとともに、前記第２のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第２の注目サンプルをクラス分類するクラス分類手段と、
   前記第１の注目サンプルを求めるのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、及び前記第２の注目サンプルを求めるのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップを、前記第１のデータから抽出する予測タップ生成手段と、
   前記第１の注目サンプルを求める主画素処理回路としての、
   学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データを用い、前記生徒データと第１のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第１のタップ係数から、前記第１の注目サンプルのクラスの第１のタップ係数を取得する第１のタップ係数取得手段と、
   前記第１の注目サンプルのクラスの第１のタップ係数と、前記第１の予測タップとを用いた積和演算を行うことにより、前記第１の注目サンプルを求める第１の演算手段と、
   前記第２の注目サンプルを求める副画素処理回路としての、
   前記教師データと、前記生徒データを用い、前記生徒データと第２のタップ係数との積和演算により求められる、前記教師データの１のサンプルである第１のサンプルと前記第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第２のタップ係数から、前記第２の注目サンプルのクラスの第２のタップ係数を取得するか、前記１以上のクラスごとに得られる第１及び第２のタップ係数を加算して得られる加算タップ係数から、前記第２の注目サンプルのクラスの加算タップ係数を取得する第２のタップ係数取得手段と、
   前記第２の注目サンプルのクラスの第２のタップ係数と、前記第２の予測タップとを用いた積和演算を行うことにより、前記第１のサンプルに対応する前記第１の注目サンプルと、前記第２のサンプルに対応する前記第２の注目サンプルとの差分値を求めるとともに、求めた前記差分値と前記第１の注目サンプルとを加算することにより、前記第２の注目サンプルを求めるか、
   又は、
   前記第２の注目サンプルのクラスの加算タップ係数と、前記第２の予測タップとを用いた積和演算を行うことにより、前記第２の注目サンプルを求める
   第２の演算手段と
   を備えるデータ変換装置。
2. 前記第１と第２のデータは、画像データである
   請求項１に記載のデータ変換装置。
3. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するデータ変換方法であって、
   注目している前記第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、及び、前記第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップを、前記第１のデータから抽出するクラスタップ生成ステップと、
   前記第１のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第１の注目サンプルをクラス分類するとともに、前記第２のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第２の注目サンプルをクラス分類するクラス分類ステップと、
   前記第１の注目サンプルを求めるのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、及び前記第２の注目サンプルを求めるのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップを、前記第１のデータから抽出する予測タップ生成ステップと、
   前記第１の注目サンプルを求める主画素処理回路が行う処理としての、
   学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データを用い、前記生徒データと第１のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第１のタップ係数から、前記第１の注目サンプルのクラスの第１のタップ係数を取得する第１のタップ係数取得ステップと、
   前記第１の注目サンプルのクラスの第１のタップ係数と、前記第１の予測タップとを用いた積和演算を行うことにより、前記第１の注目サンプルを求める第１の演算ステップと、
   前記第２の注目サンプルを求める副画素処理回路が行う処理としての、
   前記教師データと、前記生徒データを用い、前記生徒データと第２のタップ係数との積和演算により求められる、前記教師データの１のサンプルである第１のサンプルと前記第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第２のタップ係数から、前記第２の注目サンプルのクラスの第２のタップ係数を取得するか、前記１以上のクラスごとに得られる第１及び第２のタップ係数を加算して得られる加算タップ係数から、前記第２の注目サンプルのクラスの加算タップ係数を取得する第２のタップ係数取得ステップと、
   前記第２の注目サンプルのクラスの第２のタップ係数と、前記第２の予測タップとを用いた積和演算を行うことにより、前記第１のサンプルに対応する前記第１の注目サンプルと、前記第２のサンプルに対応する前記第２の注目サンプルとの差分値を求めるとともに、求めた前記差分値と前記第１の注目サンプルとを加算することにより、前記第２の注目サンプルを求めるか、
   又は、
   前記第２の注目サンプルのクラスの加算タップ係数と、前記第２の予測タップとを用いた積和演算を行うことにより、前記第２の注目サンプルを求める
   第２の演算ステップと
   を含むデータ変換方法。
4. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムであって、
   注目している前記第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、及び、前記第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップを、前記第１のデータから抽出するクラスタップ生成ステップと、
   前記第１のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第１の注目サンプルをクラス分類するとともに、前記第２のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第２の注目サンプルをクラス分類するクラス分類ステップと、
   前記第１の注目サンプルを求めるのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、及び前記第２の注目サンプルを求めるのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップを、前記第１のデータから抽出する予測タップ生成ステップと、
   前記第１の注目サンプルを求める主画素処理回路が行う処理としての、
   学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データを用い、前記生徒データと第１のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第１のタップ係数から、前記第１の注目サンプルのクラスの第１のタップ係数を取得する第１のタップ係数取得ステップと、
   前記第１の注目サンプルのクラスの第１のタップ係数と、前記第１の予測タップとを用いた積和演算を行うことにより、前記第１の注目サンプルを求める第１の演算ステップと、
   前記第２の注目サンプルを求める副画素処理回路が行う処理としての、
   前記教師データと、前記生徒データを用い、前記生徒データと第２のタップ係数との積和演算により求められる、前記教師データの１のサンプルである第１のサンプルと前記第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第２のタップ係数から、前記第２の注目サンプルのクラスの第２のタップ係数を取得するか、前記１以上のクラスごとに得られる第１及び第２のタップ係数を加算して得られる加算タップ係数から、前記第２の注目サンプルのクラスの加算タップ係数を取得する第２のタップ係数取得ステップと、
   前記第２の注目サンプルのクラスの第２のタップ係数と、前記第２の予測タップとを用いた積和演算を行うことにより、前記第１のサンプルに対応する前記第１の注目サンプルと、前記第２のサンプルに対応する前記第２の注目サンプルとの差分値を求めるとともに、求めた前記差分値と前記第１の注目サンプルとを加算することにより、前記第２の注目サンプルを求めるか、
   又は、
   前記第２の注目サンプルのクラスの加算タップ係数と、前記第２の予測タップとを用いた積和演算を行うことにより、前記第２の注目サンプルを求める
   第２の演算ステップと
   を含むデータ変換処理を、コンピュータに行わせるプログラム。
5. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
   注目している前記第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、及び、前記第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップを、前記第１のデータから抽出するクラスタップ生成ステップと、
   前記第１のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第１の注目サンプルをクラス分類するとともに、前記第２のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第２の注目サンプルをクラス分類するクラス分類ステップと、
   前記第１の注目サンプルを求めるのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、及び前記第２の注目サンプルを求めるのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップを、前記第１のデータから抽出する予測タップ生成ステップと、
   前記第１の注目サンプルを求める主画素処理回路が行う処理としての、
   学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データを用い、前記生徒データと第１のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第１のタップ係数から、前記第１の注目サンプルのクラスの第１のタップ係数を取得する第１のタップ係数取得ステップと、
   前記第１の注目サンプルのクラスの第１のタップ係数と、前記第１の予測タップとを用いた積和演算を行うことにより、前記第１の注目サンプルを求める第１の演算ステップと、
   前記第２の注目サンプルを求める副画素処理回路が行う処理としての、
   前記教師データと、前記生徒データを用い、前記生徒データと第２のタップ係数との積和演算により求められる、前記教師データの１のサンプルである第１のサンプルと前記第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第２のタップ係数から、前記第２の注目サンプルのクラスの第２のタップ係数を取得するか、前記１以上のクラスごとに得られる第１及び第２のタップ係数を加算して得られる加算タップ係数から、前記第２の注目サンプルのクラスの加算タップ係数を取得する第２のタップ係数取得ステップと、
   前記第２の注目サンプルのクラスの第２のタップ係数と、前記第２の予測タップとを用いた積和演算を行うことにより、前記第１のサンプルに対応する前記第１の注目サンプルと、前記第２のサンプルに対応する前記第２の注目サンプルとの差分値を求めるとともに、求めた前記差分値と前記第１の注目サンプルとを加算することにより、前記第２の注目サンプルを求めるか、
   又は、
   前記第２の注目サンプルのクラスの加算タップ係数と、前記第２の予測タップとを用いた積和演算を行うことにより、前記第２の注目サンプルを求める
   第２の演算ステップと
   を含むデータ変換処理を、コンピュータに行わせるプログラムが記録されている
   記録媒体。
6. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するのに用いられる所定のタップ係数を求める学習を行う学習装置であって、
   前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第１のデータに対応する生徒データから抽出するクラスタップ生成手段と、
   前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類手段と、
   前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成手段と、
   前記注目データと予測タップを用い、前記予測タップと第１のタップ係数との積和演算により求められる、前記注目データの１のサンプルである第１のサンプルと前記第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより、前記１以上のクラスごとの前記第１のタップ係数を、最終的なタップ係数として求めるか、
   又は、
   前記第１のタップ係数と、前記積和演算により求められる、前記教師データの前記第１のサンプルの予測値の予測誤差を最小にする第２のタップ係数とを加算することにより、最終的なタップ係数を求める
   学習手段と
   を備える学習装置。
7. 前記第１と第２のデータは、画像データである
   請求項６に記載の学習装置。
8. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するのに用いられる所定のタップ係数を求める学習を行う学習方法であって、
   前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
   前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類ステップと、
   前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成ステップと、
   前記注目データと予測タップを用い、前記予測タップと第１のタップ係数との積和演算により求められる、前記注目データの１のサンプルである第１のサンプルと前記第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより、前記１以上のクラスごとの前記第１のタップ係数を、最終的なタップ係数として求めるか、
   又は、
   前記第１のタップ係数と、前記積和演算により求められる、前記教師データの前記第１のサンプルの予測値の予測誤差を最小にする第２のタップ係数とを加算することにより、最終的なタップ係数を求める
   学習ステップと
   を含む学習方法。
9. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するのに用いられる所定のタップ係数を求める学習処理を、コンピュータに行わせるプログラムであって、
   前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
   前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類ステップと、
   前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成ステップと、
   前記注目データと予測タップを用い、前記予測タップと第１のタップ係数との積和演算により求められる、前記注目データの１のサンプルである第１のサンプルと前記第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより、前記１以上のクラスごとの前記第１のタップ係数を、最終的なタップ係数として求めるか、
   又は、
   前記第１のタップ係数と、前記積和演算により求められる、前記教師データの前記第１のサンプルの予測値の予測誤差を最小にする第２のタップ係数とを加算することにより、最終的なタップ係数を求める
   学習ステップと
   を含む学習処理を、コンピュータに行わせるプログラム。
10. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するのに用いられる所定のタップ係数を求める学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップを用い、前記予測タップと第１のタップ係数との積和演算により求められる、前記注目データの１のサンプルである第１のサンプルと前記第１のサンプルの周辺の位置にある第２のサンプルとの差分値の予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより、前記１以上のクラスごとの前記第１のタップ係数を、最終的なタップ係数として求めるか、
    又は、
    前記第１のタップ係数と、前記積和演算により求められる、前記教師データの前記第１のサンプルの予測値の予測誤差を最小にする第２のタップ係数とを加算することにより、最終的なタップ係数を求める
    学習ステップと
    を含む学習処理を、コンピュータに行わせるプログラムが記録されている
    記録媒体。
11. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するデータ変換装置であって、
    注目している前記第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、前記第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップ、及び、前記第１の注目サンプルの周辺の位置にある、前記第２の注目サンプルとは異なる第３の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第３の注目サンプルの周辺に位置する複数のサンプルからなる第３のクラスタップを、前記第１のデータから抽出するクラスタップ生成手段と、
    前記第１のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第１の注目サンプルをクラス分類するとともに、前記第２のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第２の注目サンプルをクラス分類し、前記第３のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第３の注目サンプルをクラス分類するクラス分類手段と、
    前記第１の注目サンプルを求めるのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、前記第２の注目サンプルを求めるのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップ、及び前記第３の注目サンプルを求めるのに用いる、前記第３の注目サンプルの周辺に位置する複数のサンプルからなる第３の予測タップを、前記第１のデータから抽出する予測タップ生成手段と、
    前記第１及び第２の注目サンプルを求める主画素処理回路としての、
    学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データを用い、前記生徒データと第１のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第１のタップ係数から、前記第１及び第２の注目サンプルのクラスそれぞれの第１のタップ係数を取得する第１のタップ係数取得手段と、
    前記第１の注目サンプルのクラスの第１のタップ係数と、前記第１の予測タップとを用いた積和演算を行うことにより、前記第１の注目サンプルを求めるとともに、前記第２の注目サンプルのクラスの第１のタップ係数と、前記第２の予測タップとを用いた積和演算を行うことにより、前記第２の注目サンプルを求める第１の演算手段と、
    前記第３の注目サンプルを求める副画素処理回路としての、
    前記第１の注目サンプルから、前記第２の注目サンプルを減算して得られる減算値に、前記第１の注目サンプルを加算して、前記第３の注目サンプルの仮の予測値を求める仮予測値算出手段と、
    前記教師データと、前記生徒データを用い、前記生徒データと第２のタップ係数との積和演算により求められる予測値であって、前記教師データの１のサンプルである第１のサンプルと、前記第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、前記所定の第２のサンプルとは異なる他の第２のサンプルを減算して得られる減算値に、前記所定の第２のサンプルを加算することにより求められる、前記第１のサンプルの仮の予測値との差分値の前記予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第２のタップ係数から、前記第３の注目サンプルのクラスの第２のタップ係数を取得する第２のタップ係数取得手段と、
    前記第３の注目サンプルのクラスの第２のタップ係数と、前記第３の予測タップとを用いた積和演算を行うことにより、前記第１のサンプルに対応する前記第３の注目サンプルと、前記所定の第２のサンプルに対応する前記第１の注目サンプルから、前記他の第２のサンプルに対応する前記第２の注目サンプルを減算して得られる減算値に、前記第１の注目サンプルを加算して求められる前記第３の注目サンプルの仮の予測値との差分値を求める第２の演算手段と、
    前記第３の注目サンプルについて求められた前記差分値と、前記第３の注目サンプルの前記仮の予測値とを加算することにより、前記第３の注目サンプルを求める加算手段と
    を備えるデータ変換装置。
12. 前記第１と第２のデータは、画像データである
    請求項１１に記載のデータ変換装置。
13. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するデータ変換方法であって、
    注目している前記第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、前記第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップ、及び、前記第１の注目サンプルの周辺の位置にある、前記第２の注目サンプルとは異なる第３の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第３の注目サンプルの周辺に位置する複数のサンプルからなる第３のクラスタップを、前記第１のデータから抽出するクラスタップ生成ステップと、
    前記第１のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第１の注目サンプルをクラス分類するとともに、前記第２のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第２の注目サンプルをクラス分類し、前記第３のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第３の注目サンプルをクラス分類するクラス分類ステップと、
    前記第１の注目サンプルを求めるのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、前記第２の注目サンプルを求めるのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップ、及び前記第３の注目サンプルを求めるのに用いる、前記第３の注目サンプルの周辺に位置する複数のサンプルからなる第３の予測タップを、前記第１のデータから抽出する予測タップ生成ステップと、
    前記第１及び第２の注目サンプルを求める主画素処理回路が行う処理としての、
    学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データを用い、前記生徒データと第１のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第１のタップ係数から、前記第１及び第２の注目サンプルのクラスそれぞれの第１のタップ係数を取得する第１のタップ係数取得ステップと、
    前記第１の注目サンプルのクラスの第１のタップ係数と、前記第１の予測タップとを用いた積和演算を行うことにより、前記第１の注目サンプルを求めるとともに、前記第２の注目サンプルのクラスの第１のタップ係数と、前記第２の予測タップとを用いた積和演算を行うことにより、前記第２の注目サンプルを求める第１の演算ステップと、
    前記第３の注目サンプルを求める副画素処理回路が行う処理としての、
    前記第１の注目サンプルから、前記第２の注目サンプルを減算して得られる減算値に 、前記第１の注目サンプルを加算して、前記第３の注目サンプルの仮の予測値を求める仮予測値算出ステップと、
    前記教師データと、前記生徒データを用い、前記生徒データと第２のタップ係数との積和演算により求められる予測値であって、前記教師データの１のサンプルである第１のサンプルと、前記第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、前記所定の第２のサンプルとは異なる他の第２のサンプルを減算して得られる減算値に、前記所定の第２のサンプルを加算することにより求められる、前記第１のサンプルの仮の予測値との差分値の前記予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第２のタップ係数から、前記第３の注目サンプルのクラスの第２のタップ係数を取得する第２のタップ係数取得ステップと、
    前記第３の注目サンプルのクラスの第２のタップ係数と、前記第３の予測タップとを用いた積和演算を行うことにより、前記第１のサンプルに対応する前記第３の注目サンプルと、前記所定の第２のサンプルに対応する前記第１の注目サンプルから、前記他の第２のサンプルに対応する前記第２の注目サンプルを減算して得られる減算値に、前記第１の注目サンプルを加算して求められる前記第３の注目サンプルの仮の予測値との差分値を求める第２の演算ステップと、
    前記第３の注目サンプルについて求められた前記差分値と、前記第３の注目サンプルの前記仮の予測値とを加算することにより、前記第３の注目サンプルを求める加算ステップと
    を含むデータ変換方法。
14. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムであって、
    注目している前記第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、前記第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップ、及び、前記第１の注目サンプルの周辺の位置にある、前記第２の注目サンプルとは異なる第３の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第３の注目サンプルの周辺に位置する複数のサンプルからなる第３のクラスタップを、前記第１のデータから抽出するクラスタップ生成ステップと、
    前記第１のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第１の注目サンプルをクラス分類するとともに、前記第２のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第２の注目サンプルをクラス分類し、前記第３のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第３の注目サンプルをクラス分類するクラス分類ステップと、
    前記第１の注目サンプルを求めるのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、前記第２の注目サンプルを求めるのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップ、及び前記第３の注目サンプルを求めるのに用いる、前記第３の注目サンプルの周辺に位置する複数のサンプルからなる第３の予測タップを、前記第１のデータから抽出する予測タップ生成ステップと、
    前記第１及び第２の注目サンプルを求める主画素処理回路が行う処理としての、
    学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データを用い、前記生徒データと第１のタップ係数 との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第１のタップ係数から、前記第１及び第２の注目サンプルのクラスそれぞれの第１のタップ係数を取得する第１のタップ係数取得ステップと、
    前記第１の注目サンプルのクラスの第１のタップ係数と、前記第１の予測タップとを用いた積和演算を行うことにより、前記第１の注目サンプルを求めるとともに、前記第２の注目サンプルのクラスの第１のタップ係数と、前記第２の予測タップとを用いた積和演算を行うことにより、前記第２の注目サンプルを求める第１の演算ステップと、
    前記第３の注目サンプルを求める副画素処理回路が行う処理としての、
    前記第１の注目サンプルから、前記第２の注目サンプルを減算して得られる減算値に、前記第１の注目サンプルを加算して、前記第３の注目サンプルの仮の予測値を求める仮予測値算出ステップと、
    前記教師データと、前記生徒データを用い、前記生徒データと第２のタップ係数との積和演算により求められる予測値であって、前記教師データの１のサンプルである第１のサンプルと、前記第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、前記所定の第２のサンプルとは異なる他の第２のサンプルを減算して得られる減算値に、前記所定の第２のサンプルを加算することにより求められる、前記第１のサンプルの仮の予測値との差分値の前記予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第２のタップ係数から、前記第３の注目サンプルのクラスの第２のタップ係数を取得する第２のタップ係数取得ステップと、
    前記第３の注目サンプルのクラスの第２のタップ係数と、前記第３の予測タップとを用いた積和演算を行うことにより、前記第１のサンプルに対応する前記第３の注目サンプルと、前記所定の第２のサンプルに対応する前記第１の注目サンプルから、前記他の第２のサンプルに対応する前記第２の注目サンプルを減算して得られる減算値に、前記第１の注目サンプルを加算して求められる前記第３の注目サンプルの仮の予測値との差分値を求める第２の演算ステップと、
    前記第３の注目サンプルについて求められた前記差分値と、前記第３の注目サンプルの前記仮の予測値とを加算することにより、前記第３の注目サンプルを求める加算ステップと
    を含むデータ変換処理を、コンピュータに行わせるプログラム。
15. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    注目している前記第２のデータのサンプルである第１の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１のクラスタップ、前記第１の注目サンプルの周辺の位置にある第２の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２のクラスタップ、及び、前記第１の注目サンプルの周辺の位置にある、前記第２の注目サンプルとは異なる第３の注目サンプルを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記第３の注目サンプルの周辺に位置する複数のサンプルからなる第３のクラスタップを、前記第１のデータから抽出するクラスタップ生成ステップと、
    前記第１のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第１の注目サンプルをクラス分類するとともに、前記第２のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記第２の注目サンプルをクラス分類し、前記第３のクラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出するこ とにより、そのクラスコードに対応するクラスに、前記第３の注目サンプルをクラス分類するクラス分類ステップと、
    前記第１の注目サンプルを求めるのに用いる、前記第１の注目サンプルの周辺に位置する複数のサンプルからなる第１の予測タップ、前記第２の注目サンプルを求めるのに用いる、前記第２の注目サンプルの周辺に位置する複数のサンプルからなる第２の予測タップ、及び前記第３の注目サンプルを求めるのに用いる、前記第３の注目サンプルの周辺に位置する複数のサンプルからなる第３の予測タップを、前記第１のデータから抽出する予測タップ生成ステップと、
    前記第１及び第２の注目サンプルを求める主画素処理回路が行う処理としての、
    学習の教師となる、前記第２のデータに対応する教師データと、前記学習の生徒となる、前記第１のデータに対応する生徒データを用い、前記生徒データと第１のタップ係数との積和演算により求められる、前記教師データの予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第１のタップ係数から、前記第１及び第２の注目サンプルのクラスそれぞれの第１のタップ係数を取得する第１のタップ係数取得ステップと、
    前記第１の注目サンプルのクラスの第１のタップ係数と、前記第１の予測タップとを用いた積和演算を行うことにより、前記第１の注目サンプルを求めるとともに、前記第２の注目サンプルのクラスの第１のタップ係数と、前記第２の予測タップとを用いた積和演算を行うことにより、前記第２の注目サンプルを求める第１の演算ステップと、
    前記第３の注目サンプルを求める副画素処理回路が行う処理としての、
    前記第１の注目サンプルから、前記第２の注目サンプルを減算して得られる減算値に、前記第１の注目サンプルを加算して、前記第３の注目サンプルの仮の予測値を求める仮予測値算出ステップと、
    前記教師データと、前記生徒データを用い、前記生徒データと第２のタップ係数との積和演算により求められる予測値であって、前記教師データの１のサンプルである第１のサンプルと、前記第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、前記所定の第２のサンプルとは異なる他の第２のサンプルを減算して得られる減算値に、前記所定の第２のサンプルを加算することにより求められる、前記第１のサンプルの仮の予測値との差分値の前記予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより得られる第２のタップ係数から、前記第３の注目サンプルのクラスの第２のタップ係数を取得する第２のタップ係数取得ステップと、
    前記第３の注目サンプルのクラスの第２のタップ係数と、前記第３の予測タップとを用いた積和演算を行うことにより、前記第１のサンプルに対応する前記第３の注目サンプルと、前記所定の第２のサンプルに対応する前記第１の注目サンプルから、前記他の第２のサンプルに対応する前記第２の注目サンプルを減算して得られる減算値に、前記第１の注目サンプルを加算して求められる前記第３の注目サンプルの仮の予測値との差分値を求める第２の演算ステップと、
    前記第３の注目サンプルについて求められた前記差分値と、前記第３の注目サンプルの前記仮の予測値とを加算することにより、前記第３の注目サンプルを求める加算ステップと
    を含むデータ変換処理を、コンピュータに行わせるプログラムが記録されている
    記録媒体。
16. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するのに用いられる所定のタップ係数を求める学習を行う学習装置であって、
    前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第１のデータに対応する生徒データから抽出するクラスタップ生成手段と、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類手段と、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成手段と、
    前記注目データと予測タップを用い、前記予測タップとタップ係数との積和演算により求められる予測値であって、前記注目データの１のサンプルである第１のサンプルと、前記第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、前記所定の第２のサンプルに隣接する他の第２のサンプルを減算して得られる減算値に、前記所定の第２のサンプルを加算することにより求められる、前記第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより、前記１以上のクラスごとの前記タップ係数を求める学習手段と
    を備える学習装置。
17. 前記第１と第２のデータは、画像データである
    請求項１６に記載の学習装置。
18. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するのに用いられる所定のタップ係数を求める学習を行う学習方法であって、
    前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップを用い、前記予測タップとタップ係数との積和演算により求められる予測値であって、前記注目データの１のサンプルである第１のサンプルと、前記第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、前記所定の第２のサンプルに隣接する他の第２のサンプルを減算して得られる減算値に、前記所定の第２のサンプルを加算することにより求められる、前記第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより、前記１以上のクラスごとの前記タップ係数を求める学習ステップと
    を含む学習方法。
19. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するのに用いられる所定のタップ係数を求める学習処理を、コンピュータに行わせるプログラムであって、
    前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップを用い、前記予測タップとタップ係数との積和演算により求められる予測値であって、前記注目データの１のサンプルである第１のサンプルと、前記第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、前記所定の第２のサンプルに隣接する他の第２のサンプルを減算して得られる減算値に、前記所定の第２のサンプルを加算することにより求められる、前記第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより、前記１以上のクラスごとの前記タップ係数を求める学習ステップと
    を含む学習処理を、コンピュータに行わせるプログラム。
20. 第１のデータを、前記第１のデータよりも高品質のデータである第２のデータに変換するのに用いられる所定のタップ係数を求める学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    前記タップ係数の学習の教師となる、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる、前記注目データの周辺に位置する複数のサンプルからなるクラスタップを、前記学習の生徒となる、前記第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップを構成する複数のサンプルの値から、前記クラスに対応するクラスコードを算出することにより、そのクラスコードに対応するクラスに、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる、前記注目データの周辺に位置する複数のサンプルからなる予測タップを、前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップを用い、前記予測タップとタップ係数との積和演算により求められる予測値であって、前記注目データの１のサンプルである第１のサンプルと、前記第１のサンプルの周辺の位置にある複数の第２のサンプルのうち、所定の第２のサンプルから、前記所定の第２のサンプルに隣接する他の第２のサンプルを減算して得られる減算値に、前記所定の第２のサンプルを加算することにより求められる、前記第１のサンプルの仮の予測値との差分値の予測値の予測誤差を最小にする学習を、前記１以上のクラスごとに行うことにより、前記１以上のクラスごとの前記タップ係数を求める学習ステップと
    を含む学習処理を、コンピュータに行わせるプログラムが記録されている
    記録媒体。

Images