JP4135045B2 - データ処理装置およびデータ処理方法、並びに媒体 - Google Patents
データ処理装置およびデータ処理方法、並びに媒体 Download PDFInfo
- Publication number
- JP4135045B2 JP4135045B2 JP16052899A JP16052899A JP4135045B2 JP 4135045 B2 JP4135045 B2 JP 4135045B2 JP 16052899 A JP16052899 A JP 16052899A JP 16052899 A JP16052899 A JP 16052899A JP 4135045 B2 JP4135045 B2 JP 4135045B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- distance
- value
- teacher
- distances
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000000605 extraction Methods 0.000 claims description 118
- 238000000034 method Methods 0.000 claims description 67
- 238000004364 calculation method Methods 0.000 claims description 38
- 230000002093 peripheral effect Effects 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 16
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 230000015654 memory Effects 0.000 description 68
- 230000003044 adaptive effect Effects 0.000 description 18
- RRLHMJHRFMHVNM-BQVXCWBNSA-N [(2s,3r,6r)-6-[5-[5-hydroxy-3-(4-hydroxyphenyl)-4-oxochromen-7-yl]oxypentoxy]-2-methyl-3,6-dihydro-2h-pyran-3-yl] acetate Chemical compound C1=C[C@@H](OC(C)=O)[C@H](C)O[C@H]1OCCCCCOC1=CC(O)=C2C(=O)C(C=3C=CC(O)=CC=3)=COC2=C1 RRLHMJHRFMHVNM-BQVXCWBNSA-N 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Landscapes
- Complex Calculations (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに媒体に関し、例えば、画像データ等のデータ処理を行う際の、その処理性能を向上させることができるようにするデータ処理装置およびデータ処理方法、並びに媒体に関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の改善を行うための処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。
【０００４】
即ち、適応処理では、例えば、入力画像（クラス分類適応処理の処理対象の画像）を構成する画素（以下、適宜、入力画素という）と、所定の予測係数との線形結合により、原画像（例えば、ノイズを含まない画像や、ぼけのない画像等）の画素の予測値を求めることで、その入力画像に含まれるノイズを除去した画像や、入力画像に生じているぼけを改善した画像等が得られるようになっている。
【０００５】
そこで、例えば、いま、原画像を教師データとするとともに、その原画像にノイズを重畳したり、あるいはぼかしを付加した画像を生徒データとして、原画像を構成する画素（以下、適宜、原画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの生徒データ（画素値）ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００６】
式（１）を一般化するために、予測係数ｗの集合でなる行列Ｗ、生徒データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【０００７】
【数１】
で定義すると、次のような観測方程式が成立する。
【０００８】
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙjは、ｊ件目の教師データを表し、従って、Ｅ［ｙj］は、ｊ件目の教師データの予測値を表す。
【０００９】
そして、この観測方程式に最小自乗法を適用して、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる原画素の真の画素値ｙの集合でなる行列Ｙ、および原画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００１０】
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００１１】
この場合、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【００１２】
【数３】
を最小にすることで求めることができる。
【００１３】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００１５】
【数５】
式（４）および（５）より、式（６）が得られる。
【００１６】
【数６】
さらに、式（３）の残差方程式における生徒データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００１７】
【数７】
式（７）の正規方程式を構成する各式は、生徒データｘおよび教師データｙを、ある程度の数だけ用意することで、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００１８】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００１９】
なお、適応処理は、入力画像には含まれていないが、原画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、原画像に含まれる成分を再現することができる。即ち、容易に、高S/Nの画像を得ることができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができ、従って、入力画像からノイズやぼけを除去した原画像の予測値を求める他、例えば、低解像度または標準解像度の画像を、高解像度の画像に変換するような場合にも用いることができる。
【００２０】
【発明が解決しようとする課題】
上述したように、クラス分類適応処理では、各クラスごとに適応処理が施されるが、その前段で行われるクラス分類では、予測値を求めようとする原画素（以下、適宜、注目原画素という）の位置の周辺にある複数の入力画素が抽出され、その性質（例えば、その複数の入力画素の画素値のパターンや、画素値の傾斜等）に基づいて、注目原画素がクラス分けされる。そして、このクラス分類に用いられる複数の入力画素としては、注目原画素から見て、固定の位置にある入力画素が抽出される。
【００２１】
しかしながら、クラス分類適応処理によって、例えば、ぼけのある入力画像を、そのぼけを改善した画像に変換する場合等において、その入力画像のぼけの度合いに関係なく、注目原画素から見て、固定の位置にある入力画素を、注目原画素のクラス分類に用いたのでは、その注目原画素の性質を十分に反映したクラス分けが困難となることがある。
【００２２】
即ち、例えば、ぼけ度（ぼけの度合い）の小さい入力画像を対象にクラス分類適応処理を行う場合においては、画像の相関性の観点から、注目原画素から見て、比較的近い位置にある入力画素を用いてクラス分類を行う方が、注目原画素の性質を反映したクラス分けを行うことができる。また、ぼけ度の大きい入力画像を対象にクラス分類適応処理を行う場合においては、そのぼけの影響の観点から、注目原画素から見て、比較的遠い位置にある入力画素を用いてクラス分類を行う方が、その性質を反映したクラス分けを行うことができる。
【００２３】
従って、注目原画素から見て、固定の位置にある入力画素を、注目原画素のクラス分類に用いたのでは、その注目原画素の性質を反映したクラス分けができないことがあり、その結果、クラス分類適応処理の処理性能が劣化すること、即ち、クラス分類処理によって、入力画像を十分に改善した画像（ここでは、ぼけを十分に改善した画像）が得られないことがある。
【００２４】
本発明は、このような状況に鑑みてなされたものであり、例えば、クラス分類適応処理等の処理性能を向上させることができるようにするものである。
【００２５】
【課題を解決するための手段】
本発明のデータ処理装置は、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定手段と、予測値を求めようとする出力データである注目出力データについて、決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出する抽出手段と、抽出手段において抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出手段において抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求める予測手段とを備え、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、予測値を求めようとする教師データである注目教師データについて、決定された抽出距離に対応する複数のデータを、生徒データから抽出し、抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めることにより、予測係数は予め学習されていることを特徴とする。
【００２７】
決定手段には、それぞれの距離に応じた複数のデータの値の標準偏差を統計量として求め、所定の基準値に最も近い標準偏差が得られる距離に基づいて、入力データより複数のデータを抽出する抽出距離を決定させることができる。また、決定手段には、前記出力データを、それぞれに複数の注目出力データを有するブロック単位とし、所定のブロック内にある前記複数の注目出力データそれぞれについて得られる前記複数のデータの前記標準偏差の平均を前記統計量とし、当該統計量と前記所定の基準値とを比較することにより、そのブロック内の注目出力データについて前記入力データより前記複数のデータを抽出する抽出距離を決定させることができる。また、所定の基準値は、複数種類の距離に対応する複数のデータのそれぞれについて、生徒データと教師データとの間でクラスコードに対応する所定の予測係数を学習し、学習された予測係数で教師データを予測した結果、最適に予測できる距離に対応する複数のデータより求められる統計量とすることができる。
【００２８】
本発明のデータ処理装置には、所定の基準値を記憶している基準値記憶手段をさらに設けることができる。
【００３０】
本発明のデータ処理装置には、クラスコードごとに、予測係数を記憶している予測係数記憶手段をさらに設けることができる。
【００３１】
入力データおよび出力データは、画像データとすることができる。さらに、この場合、抽出手段には、入力データとしての画像データから、注目出力データとしての画素に対して、空間的または時間的に周辺にある画素を抽出させることができる。
【００３２】
本発明のデータ処理方法は、データ処理装置が、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定手段と、予測値を求めようとする出力データである注目出力データについて、決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出する抽出手段と、抽出手段において抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出手段において抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求める予測手段とを備え、決定手段は、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、抽出手段は、予測値を求めようとする出力データである注目出力データについて、決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出し、クラス分類手段は、抽出手段において抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、予測手段は、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出手段において抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求めるステップを含み、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、予測値を求めようとする教師データである注目教師データについて、決定された抽出距離に対応する複数のデータを、生徒データから抽出し、抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めることにより、予測係 数は予め学習されていることを特徴とする。
【００３３】
本発明の媒体がコンピュータに実行させるプログラムは、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定ステップと、予測値を求めようとする出力データである注目出力データについて、決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出ステップにおいて抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求める予測ステップとを含み、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、予測値を求めようとする教師データである注目教師データについて、決定された抽出距離に対応する複数のデータを、生徒データから抽出し、抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めることにより、予測係数は予め学習されていることを特徴とする。
【００３４】
本発明の他のデータ処理装置は、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成手段と、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定手段と、予測値を求めようとする教師データである注目教師データについて、決定手段により決定された抽出距離に対応する複数のデータを、生徒データから抽出する抽出手段と、抽出手段において抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、抽出手段において抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求める演算手段とを含むことを特徴とする。
【００３６】
決定手段には、それぞれの距離に応じた複数のデータの値の標準偏差を統計量として求め、所定の基準値に最も近い標準偏差が得られる距離に基づいて、入力データより複数のデータを抽出する抽出距離を決定させることができる。また、決定手段には、出力データを、それぞれに複数の注目教師データを有するブロック単位とし、所定のブロック内にある複数の注目教師データそれぞれについて得られる複数のデータの標準偏差の平均を統計量とし、当該統計量と所定の基準値とを比較することにより、そのブロック内の注目教師データについて生徒データより複数のデータを抽出する抽出距離を決定させることができる。
【００３７】
本発明の他のデータ処理装置には、所定の基準値を求める基準値算出手段をさらに設けることができる。この場合、基準値算出手段には、複数種類の距離に対応する複数のデータに対応するクラスコードについて得られる予測係数で教師データを予測した結果、最適に予測できる距離に対応する複数のデータより求められる統計量を、所定の基準値として求めさせることができる。
【００３９】
教師データおよび生徒データは、画像データとすることができる。この場合、抽出手段には、生徒データとしての画像データから、注目教師データとしての画素に対して、空間的または時間的に周辺にある画素を抽出させることができる。
【００４０】
本発明の他のデータ処理方法は、データ処理装置が、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成手段と、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定手段と、予測値を求めようとする教師データである注目教師データについて、決定手段により決定された抽出距離に対応する複数のデータを、生徒データから抽出する抽出手段と、抽出手段において抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、抽出手段において抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求める演算手段とを含み、生成手段は、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、決定手段は、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、抽出手段は、予測値を求めようとする教師データである注目教師データについて、決定手段により決定された抽出距離に対応する複数のデータを、生徒データから抽出し、クラス分類手段は、抽出手段において抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、演算手段は、抽出手段において抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めるステップを含むことを特徴とする。
【００４１】
本発明の他の媒体がコンピュータに実行させるプログラムは、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成ステップと、入力データから、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定ステップと、予測値を求めようとする教師データである注目教師データについて、決定ステップにより決定された抽出距離に対応する複数のデータを、生徒データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、抽出ステップにおいて抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求める演算ステップとを含むことを特徴とする。
【００４２】
本発明の、さらに他のデータ処理装置は、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する第１の決定手段と、予測値を求めようとする出力データである注目出力データについて、第１の決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出する第１の抽出手段と、第１の抽出手段において抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力する第１のクラス分類手段と、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、第１の抽出手段において抽出された第１の複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求める予測手段と、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成手段と、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する第２の決定手段と、予測値を求めようとする教師データである注目教師データについて、第２の決定手段により決定された抽出距離に対応する第２の複数のデータを、生徒データから抽出する第２の抽出手段と、第２の抽出手段において抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力する第２のクラス分類手段と、第２の抽出手段において抽出された第２の複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求める演算手段とを備え、注目出力データの予測値を求めるのに用いられる予測係数は、予め学習されていることを特徴とする。
【００４３】
本発明のデータ処理装置およびデータ処理方法、並びに媒体においては、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離が、入力データより複数のデータを抽出する抽出距離として決定される。また、予測値を求めようとする出力データである注目出力データについて、抽出距離に対応する複数のデータが、入力データから抽出される。そして、その抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードが出力され、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出ステップにおいて抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値が求められる。また、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、予測値を求めようとする教師データである注目教師データについて、決定された抽出距離に対応する複数のデータを、生徒データから抽出し、抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めることにより、予測係数が予め学習されている。
【００４４】
本発明の他のデータ処理装置およびデータ処理方法、並びに媒体においては、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データが生成され、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離が、入力データより複数のデータを抽出する抽出距離として決定される。そして、予測値を求めようとする前記教師データである注目教師データについて、前記決定ステップにより決定された抽出距離に対応する複数のデータが、前記生徒データから抽出され、その抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力され、その抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に求められる。
【００４５】
本発明の、さらに他のデータ処理装置においては、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離が、入力データより複数のデータを抽出する抽出距離として決定される。また、予測値を求めようとする出力データである注目出力データについて、抽出距離に対応する複数のデータが、入力データから抽出される。そして、その抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードが出力され、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出ステップにおいて抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値が求められる。一方、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データが生成され、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離が、入力データより複数のデータを抽出する抽出距離として決定される。そして、予測値を求めようとする前記教師データである注目教師データについて、前記決定ステップにより決定された抽出距離に対応する複数のデータが、前記生徒データから抽出され、その抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力され、その抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に求められる。このようにして求められた予測係数が、注目出力データの予測値を求めるのに用いられる。
【００４６】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００４７】
この画像処理装置においては、例えば、ぼけた画像が、入力画像として入力されると、その入力画像に対して、クラス分類適応処理が施されることにより、図２に示すように、入力画像のぼけ度にかかわらず、そのぼけが十分に改善された画像（ぼけ改善画像）が出力されるようになっている。
【００４８】
即ち、この画像処理装置は、フレームメモリ１、クラスタップ生成回路２、予測タップ生成回路３、クラス分類回路４、係数RAM(Random Access Memory)５、予測演算回路６、およびタップ決定回路７から構成され、そこには、ぼけの改善を行う対象となる入力画像が入力されるようになっている。
【００４９】
フレームメモリ１は、画像処理装置に入力される入力画像を、例えば、フレーム単位で一時記憶するようになされている。なお、本実施の形態では、フレームメモリ１は、複数フレームの入力画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力される入力画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００５０】
クラスタップ生成回路２は、クラス分類適応処理により、予測値を求めようとする原画素（ここでは、入力画素からぼけを完全に排除した、ぼけのない理想的な画素）を、注目原画素として、その注目原画素についてのクラス分類に用いる入力画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶された入力画像から抽出し、これを、クラスタップとして、クラス分類回路４に出力するようになっている。
【００５１】
予測タップ生成回路３は、予測演算回路６において注目原画素の予測値を求めるのに用いる入力画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶された入力画像から抽出し、これを予測タップとして、予測演算回路６に供給するようになされている。
【００５２】
クラス分類回路４は、クラスタップ生成回路２からのクラスタップに基づいて、注目原画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数RAM５に対して、アドレスとして与えるようになされている。即ち、クラス分類回路４は、クラスタップ生成回路２からクラスタップを、例えば、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、係数RAM５に出力するようになっている。
【００５３】
ここで、KビットADRC処理においては、クラスタップを構成する入力画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する入力画素がKビットに再量子化される。即ち、クラスタップを構成する画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各入力画素の画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各画素についての１ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００５４】
係数RAM５は、後述する学習装置において学習が行われることにより得られるクラスごとの予測係数を記憶しており、クラス分類回路４からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給するようになっている。
【００５５】
予測演算回路６は、係数RAM５から供給される、注目原画素のクラスについての予測係数ｗ，ｗ2，・・・と、予測タップ生成回路３からの予測タップ（を構成する各画素の画素値）ｘ1，ｘ2，・・・とを用いて、式（１）に示した演算を行うことにより、注目原画素ｙの予測値Ｅ［ｙ］を求め、これを、ぼけを改善した画素の画素値として出力するようになっている。
【００５６】
タップ決定回路７は、フレームメモリ１に記憶された入力画像の統計量に基づいて、クラスタップおよび予測タップを構成させる複数の入力画素を決定し、そのクラスタップおよび予測タップを構成させる複数の入力画素に関する情報（以下、適宜、タップ情報という）を、クラスタップ生成回路２および予測タップ生成回路３に供給するようになっている。
【００５７】
即ち、タップ決定回路７は、基本的に、例えば、注目原画素の位置にある入力画素を中心画素として、例えば、横×縦が３×３画素でなる正方形状のクラスタップおよび予測タップ（以下、適宜、両者をまとめて、単に、タップという）を、クラスタップ生成回路２および予測タップ生成回路３に構成させるようなタップ情報を出力するようになっている。但し、そのタップ情報は、タップを構成する画素どうしの間隔（以下、適宜、タップ幅という）が、入力画像の統計量によって、異なるものとなるようになっている。
【００５８】
具体的には、例えば、入力画像の統計量が、ある値である場合には、タップ決定回路７は、図３（Ａ）に示すように、中心画素を中心とする３×３画素でなる、タップ幅が０（タップを構成する画素どうしの間隔が０）のタップを構成するためのタップ情報を出力する。また、例えば、入力画像の統計量が、他の値である場合には、タップ決定回路７は、図３（Ｂ）に示すように、中心画素を中心とする３×３画素でなる、タップ幅が１（タップを構成する画素どうしの間隔が１画素または１フレーム）のタップを構成するためのタップ情報を出力する。
【００５９】
次に、図４のフローチャートを参照して、図１の画像処理装置において行われる、入力画像のぼけを改善するぼけ改善処理について説明する。
【００６０】
フレームメモリ１には、ぼけ改善処理の対象としての入力画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給される入力画像が順次記憶されていく。
【００６１】
そして、ステップＳ１において、タップ決定回路７は、フレームメモリ１に記憶された入力画像の統計量に基づいて、タップを構成させる複数の入力画素を決定し、その複数の入力画素に関するタップ情報を、クラスタップ生成回路２および予測タップ生成回路３に出力する。
【００６２】
クラスタップ生成回路２または予測タップ生成回路３は、タップ決定回路７からタップ情報を受信すると、ステップＳ２において、そのタップ情報にしたがい、予測値を求めようとする注目原画素についてのクラスタップまたは予測タップを構成させる複数の入力画素を、フレームメモリ１から読み出し、クラスタップまたは予測タップをそれぞれ構成する。このクラスタップまたは予測タップは、クラス分類回路４または予測演算回路６にそれぞれ供給される。
【００６３】
クラス分類回路４は、クラスタップ生成回路２からクラスタップを受信すると、ステップＳ３において、そのクラスタップに基づき、注目原画素についてクラス分類を行い、その結果得られるクラスコードを、係数RAM５に対して、アドレスとして出力する。係数RAM５は、ステップＳ４において、クラス分類回路４からのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給する。
【００６４】
予測演算回路６では、ステップＳ５において、予測タップ生成回路３からの予測タップと、係数RAM５からの予測係数とを用いて、式（１）に示した演算が行われることにより、注目原画素ｙの予測値Ｅ［ｙ］、即ち、ここでは、ぼけを改善した画素が求められ、ステップＳ６に進む。ステップＳ６では、予測演算回路６が、ステップＳ５で求めた注目原画素ｙの予測値Ｅ［ｙ］を、その注目原画素と同一位置にある入力画素におけるぼけを改善した画素値として出力し、ステップＳ７に進む。
【００６５】
ステップＳ７では、後述する所定のブロック内にある原画素すべてを、注目原画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ２に戻り、ブロック内の原画素のうち、まだ注目原画素としていない原画素を、新たに注目原画素として、以下、同様の処理が繰り返される。従って、本実施の形態では、同一ブロック内にある原画素については、同一のタップ情報に基づいてタップが構成される。即ち、同一ブロック内の原画素については、各原画素から見て同一の位置にある入力画素からタップが構成される。
【００６６】
また、ステップＳ７において、所定のブロック内にある原画素すべてを、注目原画素として処理を行ったと判定された場合、ステップＳ８に進み、次に処理すべきブロックがあるか否か、即ち、フレームメモリ１に、次に処理すべきブロックに対応する入力画像が記憶されているかどうかが判定される。ステップＳ８において、フレームメモリ１に、次に処理すべきブロックに対応する入力画像が記憶されていると判定された場合、ステップＳ１に戻り、以下、同様の処理が繰り返される。従って、次に処理すべきブロックには、新たに、タップ情報が決定され、そのタップ情報に従ってタップが構成される。
【００６７】
一方、ステップＳ８において、フレームメモリ１に、次に処理すべきブロックに対応する入力画素が記憶されていないと判定された場合、ぼけ改善処理を終了する。
【００６８】
次に、図５は、図１のタップ決定回路７の構成例を示している。
【００６９】
読み出し部１１は、所定のブロック内にある原画素が注目原画素とされたときに、その注目原画素についてのタップとなる入力画素を、フレームメモリ１（図１）から読み出し、標準偏差算出部１２に供給するようになっている。
【００７０】
即ち、ここでは、例えば、原画像の１フレームや、その１フレームを幾つかの領域に分割したもの、あるいは、数フレーム（例えば、シーンチェンジ直後のフレームから、次のシーンチェンジの直前のフレームまで）を１ブロックとして、そのブロック単位で、タップ情報を決定するようになっており、読み出し部１１は、あるブロック内にある各原画素が注目原画素とされたときに、その各原画素について、判定部１３の制御にしたがったタップ幅のタップを構成する入力画素を、フレームメモリ１から読み出し、標準偏差算出部１２に供給するようになっている。
【００７１】
標準偏差算出部１２は、読み出し部１１からのタップの統計量として、そのタップを構成する入力画素の画素値の標準偏差を算出するようになっている。さらに、標準偏差算出部１２は、ブロックごとに、タップ幅が同一のタップについての標準偏差の平均値scoreを演算し、その平均値scoreを、各ブロックについての各タップ幅の評価値として、判定部１３に供給するようになっている。即ち、ブロックをiで、タップ幅をjで、それぞれ表すとすると、標準偏差算出部１２は、ブロック#i内にある各原画素について構成されるタップ幅jのタップの評価値として、次式で表されるscore(i,j)を計算し、判定部１３に供給するようになっている。
【００７２】
【数８】
ここで、式（８）において、Ｍは、ブロック#i内にある原画素の個数を表し、Ｋは、タップを構成する入力画素の個数を表す。さらに、Ｖm,j,kは、ブロック#i内にあるｍ番目の原画素について構成される、タップ幅jのタップの中のｋ番目の入力画素の画素値を表す。また、meanm,jは、ブロック#i内にあるｍ番目の原画素について構成される、タップ幅jのタップの平均値（タップを構成する入力画素の画素値の平均値）を表す。従って、meanm,jは、（Ｖm,j,1＋Ｖm,j,2＋・・・＋Ｖm,j,K）／Ｋを演算することで求めることができる。
【００７３】
判定部１３は、標準偏差算出部１２からの評価値score(i,j)と、基準値設定部１４に設定されている所定の基準値とを比較し、その比較結果に基づいて、読み出し部１１を制御するようになっている。さらに、判定部１３は、その比較結果に基づいて、注目原画素を含むブロック（以下、適宜、注目ブロックという）内の原画素についてタップを構成するときのタップ幅を決定し、そのタップ幅を、タップ情報として出力するようになっている。
【００７４】
基準値設定部１４は、入力画像のぼけが最も改善される場合（入力画素のクラス分類処理結果が、その入力画素に対応する原画素に最も近づく場合）の、タップを構成する入力画素（生徒データ）の画素値の標準偏差が、標準偏差算出部１２の出力と比較する基準値として設定されている。なお、この基準値の求め方については、後述する。
【００７５】
次に、図６のフローチャートを参照して、図５のタップ決定回路７において行われる、タップの構造を決定するタップ決定処理について説明する。
【００７６】
タップ決定処理では、注目ブロック内の原画素のいずれかが、初めて注目原画素とされると、ステップＳ１１において、読み出し部１１は、その注目ブロックの注目原画素とされた原画素について、例えば、タップ幅０のタップを構成するための入力画素を、フレームメモリ１（図１）から読み出し、標準偏差算出部１２に供給する。
【００７７】
そして、ステップＳ１２に進み、標準偏差算出部１２において、読み出し部１１からの入力画素で構成されるタップの標準偏差が求められ、ステップＳ１３に進む。ステップＳ１３では、注目ブロック内のすべての原画素を注目原画素として処理を行ったかどうかが判定され、行っていないと判定された場合、ステップＳ１１に戻り、注目ブロック内の原画素のうち、まだ注目原画素とされていないものを、新たに注目原画素として、以下、同様の処理が繰り返される。
【００７８】
また、ステップＳ１３において、注目ブロック内のすべての原画素を注目原画素として処理を行ったと判定された場合、ステップＳ１４に進み、標準偏差算出部１２は、注目ブロックの各原画素について得られたタップの標準偏差の平均値を算出する。
【００７９】
即ち、いま、注目ブロックが、ブロック#iで表され、その注目ブロック#iの各原画素について構成されたタップのタップ幅がjで表されるとすると、ステップＳ１４では、式（８）で示されるscore(i,j)が算出される。このscore(i,j)は、判定部１３に供給される。
【００８０】
判定部１３では、ステップＳ１５において、標準偏差算出部１２からのscore(i,j)が、基準値設定部１４に設定された基準値に近いかどうかが判定され、近くないと判定された場合、即ち、注目ブロック#iの各原画素について構成されたタップ幅jのタップの標準偏差の平均値が、基準値に近くない場合、ステップＳ１６に進み、判定部１３は、タップ幅jを変更するように、読み出し部１１を制御し、ステップＳ１１に戻る。
【００８１】
この場合、ステップＳ１１では、読み出し部１１において、注目ブロックのある原画素を注目原画素として、その注目原画素について、タップ幅j+1のタップを構成するための入力画素が、フレームメモリ１から読み出され、以下、同様の処理が繰り返される。
【００８２】
一方、ステップＳ１５において、標準偏差算出部１２からのscore(i,j)が、基準値設定部１４に設定された基準値に近いと判定された場合、即ち、注目ブロック#iの各原画素について構成されたタップ幅jのタップの標準偏差の平均値が、基準値に近い場合、ステップＳ１７に進み、判定部１３は、そのタップ幅jを、タップ情報として出力し、リターンする。
【００８３】
上述したように、図１のクラスタップ生成回路２および予測タップ生成回路３では、タップ決定回路７がブロックごとに出力するタップ情報にしたがって、そのブロックの原画素が注目原画素とされた場合のタップが構成されるから、タップ幅jのタップ情報が出力された場合には、注目ブロックを構成する原画素については、そのようなタップ幅jのタップが構成されることになる。
【００８４】
次に、図７は、図１の係数RAM５に記憶させるクラスごとの予測係数を求めるとともに、図５の基準値設定部１４に設定する所定の基準値を求める学習装置の一実施の形態の構成例を示している。
【００８５】
フレームメモリ６１には、教師データｙとなる原画像（ここでは、ぼけのない画像）が、例えば、フレーム単位で供給されるようになっており、フレームメモリ６１は、その原画像を、一時記憶するようになっている。ぼけ付加回路６２は、フレームメモリ６１に記憶された、予測係数の学習において教師データｙとなる原画像を読み出し、その原画像を構成する原画素に対してぼかしを付加し（例えば、ローパスフィルタでフィルタリングし）、生徒データとしての、ぼけのある画像（以下、適宜、ぼけ画像という）を生成するようになっている。このぼけ画像は、フレームメモリ６３に供給されるようになっている。
【００８６】
フレームメモリ６３は、ぼけ付加回路６２からのぼけ画像を一時記憶するようになっている。
【００８７】
なお、フレームメモリ６１および６３は、図１のフレームメモリ１と同様に構成されている。
【００８８】
クラスタップ生成回路６４または予測タップ生成回路６５は、フレームメモリ６３に記憶されたぼけ画像を構成する画素（以下、適宜、ぼけ画素という）を用い、図１のクラスタップ生成回路２または予測タップ生成回路３と同様に、タップ決定回路７２からのタップ情報にしたがって、注目原画素について、クラスタップまたは予測タップを構成し、クラス分類回路６６または加算回路６７にそれぞれ供給するようになっている。
【００８９】
クラス分類回路６６は、図１のクラス分類回路４と同様に構成され、クラスタップ生成回路６４からのクラスタップに基づいて、注目原画素をクラス分類し、対応するクラスコードを、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与えるようになっている。
【００９０】
加算回路６７は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、予測タップメモリ６８から読み出し、その記憶値と、予測タップ生成回路６５からの予測タップを構成するぼけ画素（の画素値）とを加算することで、式（７）の正規方程式の左辺における、予測係数ｗの乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、予測タップメモリ６８のアドレスに、上書きする形で記憶させるようになっている。
【００９１】
予測タップメモリ６８は、クラス分類回路６６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路６７に供給するとともに、そのアドレスに、加算回路６７の出力値を記憶するようになっている。
【００９２】
加算回路６９は、フレームメモリ６１に記憶された原画像を構成する原画素のうちの、注目原画素を、教師データｙとして読み出すとともに、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、教師データメモリ７０から読み出し、その記憶値と、フレームメモリ６１から読み出した教師データ（原画素）ｙとを加算することで、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、教師データメモリ７０のアドレスに、上書きする形で記憶させるようになっている。
【００９３】
なお、加算回路６７および６９では、式（７）における乗算も行われる。即ち、加算器６７では、予測タップを構成するぼけ画素ｘどうしの乗算も行われ、また、加算器６９では、予測タップを構成するぼけ画素ｘと、教師データｙとの乗算も行われる。従って、加算器６９では、ぼけ画素ｘが必要となるが、これは、フレームメモリ６３から読み出されるようになっている。
【００９４】
教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給するとともに、そのアドレスに、加算回路６９の出力値を記憶するようになっている。
【００９５】
演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求めるようになっている。即ち、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれの、各クラスコードに対応するアドレスに記憶されている記憶値から、式（７）の正規方程式をたて、これを解くことにより、クラスごとの予測係数を求めるようになっている。
【００９６】
タップ決定回路７２は、図１のタップ決定回路７と同様のタップ決定処理を行うことで、クラスタップ生成回路６４および予測タップ生成回路６５に生成させるタップに関するタップ情報を決定し、クラスタップ生成回路６４および予測タップ生成回路６５に供給するようになっている。さらに、タップ決定回路７２は、タップ決定処理において用いる所定の基準値の算出も行うようになっている。
【００９７】
次に、図８のフローチャートを参照して、図７の学習装置において行われる、クラスごとの予測係数および所定の基準値を求める学習処理について説明する。
【００９８】
学習装置には、教師データとしての原画像（動画像）が、フレーム単位で供給されるようになっており、その原画像は、フレームメモリ６１において順次記憶されていく。また、フレームメモリ６１に記憶された原画像は、ぼけ付加回路６２に供給され、そこで、ぼけ画像とされる。なお、ぼけ付加回路６２では、例えば、フレームごと等に、ぼけ度の異なるぼけ画像が生成されるようになっている。
【００９９】
ぼけ付加回路６２で得られたぼけ画像は、生徒データとして、フレームメモリ６３に順次供給されて記憶される。
【０１００】
以上のようにして、学習処理のために用意されたすべての原画像に対応するぼけ画像が、フレームメモリ６３に記憶されると、タップ決定回路７２は、ステップＳ２１において、タップ決定処理に用いる基準値を、後述するようにして求め、ステップＳ２２に進む。
【０１０１】
ステップＳ２２では、タップ決定回路７２において、図１のタップ決定回路７における場合と同様にして、タップを構成させるぼけ画素が決定され、そのぼけ画素に関するタップ情報が、クラスタップ生成回路６４および予測タップ生成回路６５に出力される。
【０１０２】
クラスタップ生成回路６４または予測タップ生成回路６５では、ステップＳ２３において、タップ決定回路７２からのタップ情報にしたがい、予測値を求めようとする注目原画素についてのクラスタップまたは予測タップを構成させるぼけ画素が、フレームメモリ６３から読み出され、クラスタップまたは予測タップがそれぞれ構成される。このクラスタップまたは予測タップは、クラス分類回路６６または加算回路６７にそれぞれ供給される。
【０１０３】
クラス分類回路６６では、ステップＳ２４において、図１のクラス分類回路４における場合と同様にして、クラスタップ生成回路６４からのクラスタップを用いて、注目原画素がクラス分類され、そのクラス分類結果としてのクラスコードが、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与えられる。
【０１０４】
そして、ステップＳ２５に進み、予測タップ（生徒データ）または教師データそれぞれの足し込みが行われる。
【０１０５】
即ち、ステップＳ２５において、予測タップメモリ６８は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６７に供給する。加算回路６７は、予測タップメモリ６８から供給される記憶値と、予測タップ生成回路６５から供給されるの予測タップを構成するぼけ画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、予測タップメモリ６８のアドレスに、上書きする形で記憶させる。
【０１０６】
さらに、ステップＳ２５では、教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給する。加算回路６９は、フレームメモリ６１から、注目原画素を読み出すとともに、フレームメモリ６３から、必要なぼけ画素を読み出し、その読み出した画素と、教師データメモリ７０から供給された記憶値とを用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、教師データメモリ７０のアドレスに、上書きする形で記憶させる。
【０１０７】
その後、ステップＳ２６に進み、いま注目している注目ブロック内にある原画素すべてを、注目原画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ２３に戻り、注目ブロック内の原画素のうち、まだ注目原画素とされていない原画素を、新たに注目原画素として、以下、同様の処理が繰り返される。
【０１０８】
また、ステップＳ２６において、注目ブロック内にある原画素すべてを、注目原画素として処理を行ったと判定された場合、ステップＳ２７に進み、次に処理すべきブロックがあるか否か、即ち、フレームメモリ６３に、次に処理すべきブロックに対応するぼけ画像が記憶されているかどうかが判定される。ステップＳ２７において、フレームメモリ６３に、次に処理すべきブロックに対応するぼけ画像が記憶されていると判定された場合、ステップＳ２２に戻り、そのブロックを新たに注目ブロックとし、さらに、その注目ブロック内の原画素のうちの１つを、新たに注目原画素として、以下、同様の処理が繰り返される。
【０１０９】
一方、ステップＳ２７において、フレームメモリ６３に、次に処理すべきブロックに対応するぼけ画素が記憶されていないと判定された場合、即ち、あらかじめ学習用に用意しておいたすべての原画像を用いて処理を行った場合、ステップＳ２８に進み、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求める。さらに、演算回路７１は、ステップＳ２９において、その求めたクラスごとの予測係数を出力して、学習処理を終了する。
【０１１０】
なお、以上のような予測係数の学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトの予測係数を出力するようにすること等が可能である。
【０１１１】
次に、図９は、図８のタップ決定回路７２の構成例を示している。
【０１１２】
同図に示すように、タップ決定回路７２は、読み出し部８１、標準偏差算出部８２、判定部８３、および基準値作成部８４で構成されており、このうち、読み出し部８１、標準偏差算出部８２、または判定部８３は、図５の読み出し部１１、標準偏差算出部１２、または判定部１３とそれぞれ同様に構成されている。従って、タップ決定回路７２は、基準値設定部１４に替えて、基準値作成部８４が設けられている他は、図５のタップ決定回路７と同様に構成されている。
【０１１３】
基準値作成部８４は、図８のステップＳ２１において、タップ決定処理に用いる基準値を求め、判定部８３に供給するようになっている。
【０１１４】
以上のように構成されるタップ決定回路７２では、図１０のフローチャートに示すように、ステップＳ３１乃至Ｓ３７において、図６のステップＳ１１乃至Ｓ１７における場合とそれぞれ同様の処理が行われることで、各ブロックごとに、タップ情報が決定される。
【０１１５】
次に、図１１および図１２を参照して、図９の基準値作成部８４において行われる基準値の算出の方法について説明する。
【０１１６】
基準値作成部８４では、学習処理のために用意されたすべての原画像（教師データ）が、フレームメモリ６１から読み出されるとともに、その原画像に、ぼけが付加されたぼけ画像（生徒データ）が、フレームメモリ６３から読み出される。さらに、基準値作成部８４は、ぼけ画像に対する原画像を、上述したようなブロックに分割し、各ブロックの原画素それぞれについて、タップ幅の異なるタップを構成し、タップ幅と、タップを構成するぼけ画素の標準偏差の平均値との関係を求める。
【０１１７】
即ち、あるブロックに注目した場合に、基準値作成部８４は、そのブロックの各原画素を、順次、注目原画素として、タップ幅がjのタップを構成する。さらに、基準値作成部８４は、各原画素について構成されたタップの標準偏差を求め、その標準偏差の、ブロックにおける平均値を演算する。具体的には、ブロック#iの原画素の総数をＭで、タップを構成するぼけ画素の総数をＫで、ブロック#iにおけるｍ番目の原画素について構成される、タップ幅jのタップの中のｋ番目のぼけ画素の画素値をＶm,j,kで、ブロック#iにおけるｍ番目の原画素について構成される、タップ幅jのタップの平均値（タップを構成するぼけ画素の平均値）をmeanm,jで、それぞれ表すとすると、基準値作成部８４では、上述した式（８）にしたがって、score(i,j)が演算される。
【０１１８】
基準値作成部８４は、タップ幅jを、幾つかの値に変えて、ブロック#iにおける各原画素についてタップを構成し、順次、各タップ幅jのタップの標準偏差の平均値score(i,j)を計算していく。
【０１１９】
さらに、基準値作成部８４は、その他のブロック#iについても、同様に、各タップ幅jのタップの標準偏差の平均値score(i,j)を計算していく。
【０１２０】
以上のようにして、基準値作成部８４では、図１１に示すような、各ブロック#iについて、タップ幅jと、そのタップ幅jのタップの標準偏差の平均値score(i,j)との関係が求められる。
【０１２１】
なお、図１１は、４つブロック#1乃至#4それぞれについての、タップ幅jと、タップの標準偏差の平均値score(i,j)との関係を示しており、○印がブロック#1についてのものを、×印がブロック#2についてのものを、△印がブロック#3についてのものを、□印がブロック#4についてのものを、それぞれ表している。
【０１２２】
また、図１１は、タップ幅jを、０乃至１０それぞれとしたときのタップの標準偏差の平均値score(i,j)を示している。
【０１２３】
ブロック#iの各原画素について構成されるタップの標準偏差の平均値score(i,j)は、そのブロック#iに対するぼけ画像の画素値の変化のし具合、即ち、ぼけの程度を表しており、従って、score(i,j)が大きいほど（小さいほど）、ぼけ度は小さい（大きい）ことを表す。
【０１２４】
基準値作成部８４は、上述のようにして、タップの標準偏差の平均値score(i,j)を求めるのと同時に、各タップ幅jのタップを用いて、クラス分類適応処理により、原画素の予測値を求める。
【０１２５】
即ち、基準値作成部８４は、ブロック#iにおける原画素と、ぼけ画像とを用い、タップ幅jをある値に固定して、式（７）の正規方程式を生成し、それを解くことで、クラスごとの予測係数を求める。さらに、基準値作成部８４は、そのクラスごとの予測係数を用い、タップ幅jを、上述のある値に固定して、式（１）の線形予測式を計算することで、ブロック#iにおける各原画像の予測値を求める。
【０１２６】
基準値作成部８４は、タップ幅jを、順次変えて同様の処理を行い、さらに、他のブロックについても、同様の処理を行う。これにより、各ブロック#iの原画素について、各タップ幅jのタップを用いたときの、その予測値e(i,j)が求められる。即ち、各ブロック#iの原画素について、その原画素の予測に用いるタップのタップ幅jと、原画素の予測値e(i,j)との関係が求められる。
【０１２７】
そして、基準値作成部８４は、以上のようにして求められた予測値e(i,j)が、原画像にどの程度近いかを判定する。即ち、基準値作成部８４は、例えば、ブロック#iについて、原画素と、タップ幅jのタップを用いて求めた予測値e(i,j)との絶対値差分和の逆数等を、予測値e(i,j)のS/N(Signal to Noise Ratio)として求める。ここで、図１１に示した４つのブロック#iについて得られた予測値e(i,j)のS/Nを、図１２に示す。
【０１２８】
図１２においては、ブロック#1について、タップ幅jが０のタップを用いて得られた予測値e(1,0)のS/Nが最も良くなっており、即ち、その予測値e(1,0)が、原画像に最も近くなっており、基準値作成部８４では、そのように、原画像に最も近くなっている予測値e(i,j)が得られたブロック#iと、タップ幅jとが検出される。ここで、以上のようにして検出されたブロック#iまたはタップ幅jを、以下、適宜、それぞれ、最適ブロックまたは最適タップ幅という。
【０１２９】
最適ブロックについて、タップ幅jが最適タップ幅のタップを構成して得られたときの予測値e(i,j)が原画像に最も近くなっているということは、最適ブロックについて、最適タップ幅のタップを構成したときの、そのタップの標準偏差（以下、適宜、最適標準偏差という）が、他のブロックについて構成されるタップの標準偏差としても、最も適した値であると考えられる。
【０１３０】
即ち、統計的な観点から、他のブロックについても、その標準偏差が、最適標準偏差となるようなタップ幅のタップを構成した場合に、原画像に最も近い予測値が得られると考えられる。
【０１３１】
そこで、基準値作成部８４では、最適標準偏差が求められ、これが、所定の基準値として、判定部８３に供給される。
【０１３２】
ここで、図１２では、ブロック#1について、タップ幅jが０のタップを用いて得られた予測値e(1,0)のS/Nが最も良くなっているから、基準値作成部８４では、図１１において、ブロック#1について得られたscore(1,j)（図１１で○印で示す）のうち、タップ幅jが０のときの値である２０が、最適標準偏差として求められる。
【０１３３】
さらに、この場合、他のブロックについては、図１１において、太線の矢印で示す値が、最適標準偏差に一致する標準偏差が得られるタップ幅jであり、従って、図６や図１０のタップ決定処理では、そのような値がタップ幅jとして決定されることになる。
【０１３４】
なお、タップ幅jは整数値をとるものであるが、最適標準偏差に一致する標準偏差が得られるタップ幅（図１１において太線の矢印で示す値）は、図１１から明らかなように、整数値をとるとは限らない（むしろ、整数値とならない場合が多い）。そこで、図６や図１０のタップ決定処理では、最適標準偏差に一致する標準偏差が得られるタップ幅が整数値とならない場合には、例えば、その整数値でないタップ幅に最も近い整数値が、最終的なタップ幅として決定されるようになっている。
【０１３５】
即ち、図６のタップ決定処理では（図１０においても同様）、上述したように、標準偏差算出部１２からのscore(i,j)が、基準値設定部１４に設定された基準値に近いかどうかが判定され（ステップＳ１５）、近いと判定された場合、そのときのタップ幅jが、タップ情報として出力される（ステップＳ１７）ようになっているが、ここで言っている「score(i,j)が基準値に近い」というのは、整数値をとるタップ幅jのタップを構成したときの、そのタップの標準偏差（本実施の形態では、ブロックについて得られる標準偏差の平均値）score(i,j)が、基準値に最も近いことを意味している。
【０１３６】
なお、図６や図１０のタップ決定処理では、最適標準偏差に一致する標準偏差が得られるタップ幅を求め、そのタップ幅が整数値でない場合には、タップ幅の平均値が、その整数値でないタップ幅となるタップを構成するようにすることも可能である。即ち、最適標準偏差に一致する標準偏差が得られるタップ幅が、例えば、１．５である場合には、ある画素どうしのタップ幅を１とするとともに、他の画素どうしのタップ幅を２としてタップを構成し、そのタップにおけるタップ幅の平均が１．５となるようにすることが可能である。
【０１３７】
以上のように、最適標準偏差を求め、その最適標準偏差に一致するような標準偏差が得られるタップ幅のタップを構成して、学習処理およびぼけ改善処理を行うようにしたので、それらの処理性能を向上させることができる。
【０１３８】
即ち、学習処理においては、画像のぼけ度に適したクラス分けが行われ、さらに、そのぼけ度に適した予測タップが構成される。その結果、画像のぼけ度に適したクラスごとの予測係数を得ることができる。また、ぼけ改善処理においても、画像のぼけ度に適したクラス分けが行われるとともに、そのぼけ度に適した予測タップが構成され、さらに、ぼけ度に適したクラスごとの予測係数を用いて、原画素の予測値が求められる。その結果、画像のぼけ度にかかわらず、鮮明な画像（ぼけが、より改善された画像）を得ることができる。
【０１３９】
具体的には、例えば、前述したように、ぼけ度の小さい入力画像を対象にクラス分類適応処理を行う場合においては、注目原画素から見て、比較的近い位置にある入力画素を用いてクラス分類を行う方が、注目原画素の性質を反映したクラス分けを行うことができ、また、ぼけ度の大きい入力画像を対象にクラス分類適応処理を行う場合においては、注目原画素から見て、比較的遠い位置にある入力画素を用いてクラス分類を行う方が、その性質を反映したクラス分けを行うことができるが、図１１に示した場合には、そのようなクラス分類が行われる。
【０１４０】
即ち、図１１に示した場合においては、上述したように、score(i,j)が大きいブロックほど、ぼけ度は小さいから、ブロック#1,#2,#3,#4の順で、ぼけ度は大きくなっている。そして、図１１に示した場合には、上述したことから、ブロック#1,#2,#3,#4それぞれについては、タップ幅が０，１，３，８のタップが構成される。
【０１４１】
従って、本願手法によれば、ぼけ度が大きくなるほど、注目原画素から見て遠い位置にある入力画素を用いてクラスタップが構成されるので、画像の性質を十分に反映したクラス分けが行われることになる。
【０１４２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての画像処理装置や学習装置に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０１４３】
そこで、図１３を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０１４４】
プログラムは、図１３（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２に予めインストールした状態でユーザに提供することができる。
【０１４５】
あるいはまた、プログラムは、図１３（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０１４６】
さらに、プログラムは、図１３（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１２３に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１１１を介して、コンピュータ１２３に有線で転送し、コンピュータ１２３において、内蔵するハードディスクなどに格納させるようにすることができる。
【０１４７】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０１４８】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１４９】
なお、クラス分類適用処理は、教師データと生徒データとを用いて、クラスごとに予測係数を求める学習を行い、その予測係数と入力データとを用いた線形一次予測により、入力データから、教師データの予測値を求めるものであるから、学習に用いる教師データおよび生徒データによって、所望の予測値を求めるための予測係数を得ることが可能となる。即ち、例えば、教師データとして、高解像度の画像を用いるとともに、生徒データとして、その画像の解像度を落とした画像を用いることで、解像度を向上させる予測係数を得ることができる。また、例えば、教師データとして、ノイズを含まない画像を用いるとともに、生徒データとして、その画像にノイズを付加した画像を用いることで、ノイズの除去を行う予測係数を得ることができる。従って、本発明は、上述したようなぼけを改善する場合の他、ノイズを除去する場合や、解像度を向上させる場合、その他、例えば波形等化を行う場合等に適用可能である。
【０１５０】
また、本実施の形態では、動画像を、クラス分類適用処理の対象としたが、動画像の他、静止画、さらには、音声や、記録媒体から再生された信号（RF(Radio
Frequency)信号）等を対象とすることも可能である。
【０１５１】
さらに、本実施の形態では、クラスタップおよび予測タップは、同一のタップ情報にしたがって構成されることから、同一の画素で構成されることになるが、クラスタップと予測タップとは、異なる構成とすること、即ち、異なるタップ情報にしたがって構成することも可能である。
【０１５２】
また、本実施の形態では、クラスタップおよび予測タップのいずれもタップ情報にしたがって構成することにより、タップ幅を可変とするようにしたが、クラスタップまたは予測タップのうちのいずれか一方は、固定のタップ幅とすることが可能である。
【０１５３】
さらに、本実施の形態では、タップの標準偏差に基づいて、タップ情報を決定するようにしたが、タップ情報は、タップの標準偏差以外の統計量に基づいて決定することも可能である。即ち、タップ情報は、例えば、タップを構成する画素の分散や、その画素どうしの差分絶対値和、２次差分絶対値和（画素どうしの差分値どうしの差分の絶対値和）等に基づいて決定することが可能である。
【０１５４】
また、本実施の形態では、複数の画素でなるブロックごとに、タップ幅を変更するようにしたが、タップ幅は、例えば、画素単位で変更するようにすることも可能である。
【０１５５】
さらに、本実施の形態では、画像処理装置と、その画像処理装置で用いるクラスごとの予測係数および基準値を学習する学習装置とを、別々の装置として構成するようにしたが、画像処理装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、画像処理装置で用いる予測係数を、リアルタイムで更新させるようにすることが可能である。
【０１５６】
また、本実施の形態では、係数RAM５に、あらかじめクラスごとの予測係数を記憶させておくようにしたが、この予測係数は、例えば、入力画像とともに、画像処理装置に供給するようにすることも可能である。同様に、基準値についても、基準値設定部１４（図５）に設定しておくのではなく、入力画像とともに、画像処理装置に供給するようにすることが可能である。
【０１５７】
さらに、クラスタップおよび予測タップは、空間方向および時間方向のいずれの方向にある画素を用いて構成しても良い。
【０１５８】
また、本実施の形態では、入力画像の統計量に基づいて、タップ幅を変えることで、タップの構成（タップを構成する画素）を変更するようにしたが、タップの構成は、その他、例えば、タップを構成させる画素の位置等を変えることで変更することが可能である。
【０１５９】
さらに、本実施の形態では、一次式によって、原画素の予測値を求めるようにしたが、予測値は、二次以上の式によって、求めるようにすることも可能である。
【０１６０】
なお、学習処理では、上述したように、予測タップを用いて、式（７）のサメーション（Σ）に相当する足し込みが行われるが、タップ幅の異なる予測タップを用いた足し込みは、それらの予測タップの、対応する画素どうしを対象に行われる。
【０１６１】
即ち、図３に示したように、予測タップを、中心画素を中心とする３×３画素の９画素で構成するとすると、本実施の形態では、タップ幅が０の予測タップ（図３（Ａ））が構成されたり、タップ幅が１の予測タップ（図３（Ｂ））が構成されたりする。この場合、タップ幅が０の予測タップの、例えば、最も左上の画素については、タップ幅が１の予測タップの最も左上の画素との足し込みが行われる。
【０１６２】
また、タップ幅の異なるクラスタップのクラス分類も、同様の手法で行われる。従って、例えば、図３（Ａ）に示したタップ幅が０の予測タップを構成する各画素の画素値が、図３（Ｂ）に示したタップ幅が１の予測タップを構成する、対応する画素の画素値とそれぞれ等しい場合には、図３（Ａ）および図３（Ｂ）のクラスタップを用いたクラス分類結果は、同一になる（同一のクラスに分類される）。
【０１６３】
【発明の効果】
本発明のデータ処理装置およびデータ処理方法、並びに媒体によれば、注目出力データに近い予測値を求めることが可能となる。
【０１６４】
本発明の他のデータ処理装置およびデータ処理方法、並びに媒体によれば、教師データに近い予測値を求めることが可能な予測係数を得ることが可能となる。
【０１６５】
本発明の、さらに他のデータ処理装置によれば、注目出力データに近い予測値を求めることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の画像処理装置の処理の概要を示す図である。
【図３】図１のタップ決定回路７の処理を説明するための図である。
【図４】図１の画像処理装置によるぼけ改善処理を説明するためのフローチャートである。
【図５】図１のタップ決定回路７の構成例を示すブロック図である。
【図６】図５のタップ決定回路７によるタップ決定処理を説明するためのフローチャートである。
【図７】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図８】図７の学習装置による学習処理を説明するためのフローチャートである。
【図９】図７のタップ決定回路７２の構成例を示すブロック図である。
【図１０】図９のタップ決定回路７２によるタップ決定処理を説明するためのフローチャートである。
【図１１】図９の基準値作成部８４の処理を説明するための図である。
【図１２】図９の基準値作成部８４の処理を説明するための図である。
【図１３】本発明を適用した媒体を説明するための図である。
【符号の説明】
１ フレームメモリ， ２ クラスタップ生成回路， ３ 予測タップ生成回路， ４ クラス分類回路， ５ 係数RAM， ６ 予測演算回路， ７ タップ決定回路， １１ 読み出し部， １２ 標準偏差算出部， １３ 判定部，１４ 基準値設定部， ６１ フレームメモリ， ６２ ぼけ付加回路， ６３ フレームメモリ， ６４ クラスタップ生成回路， ６５ 予測タップ生成回路， ６６ クラス分類回路， ６７ 加算回路， ６８ 予測タップメモリ， ６９ 加算回路， ７０ 教師データメモリ， ７１ 演算回路， ７２ タップ決定回路， ８１ 読み出し部， ８２ 標準偏差算出部， ８３ 判定部， ８４ 基準値作成部， １０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク， １１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ ダウンロードサイト， １２２ 衛星， １２３コンピュータ， １３１ ネットワーク
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに媒体に関し、例えば、画像データ等のデータ処理を行う際の、その処理性能を向上させることができるようにするデータ処理装置およびデータ処理方法、並びに媒体に関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の改善を行うための処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。
【０００４】
即ち、適応処理では、例えば、入力画像（クラス分類適応処理の処理対象の画像）を構成する画素（以下、適宜、入力画素という）と、所定の予測係数との線形結合により、原画像（例えば、ノイズを含まない画像や、ぼけのない画像等）の画素の予測値を求めることで、その入力画像に含まれるノイズを除去した画像や、入力画像に生じているぼけを改善した画像等が得られるようになっている。
【０００５】
そこで、例えば、いま、原画像を教師データとするとともに、その原画像にノイズを重畳したり、あるいはぼかしを付加した画像を生徒データとして、原画像を構成する画素（以下、適宜、原画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの生徒データ（画素値）ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００６】
【０００７】
【数１】
【０００８】
【０００９】
そして、この観測方程式に最小自乗法を適用して、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる原画素の真の画素値ｙの集合でなる行列Ｙ、および原画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００１０】
【数２】
【００１１】
【００１２】
【数３】
【００１３】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】
【００１５】
【数５】
【００１６】
【数６】
【００１７】
【数７】
【００１８】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００１９】
なお、適応処理は、入力画像には含まれていないが、原画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、原画像に含まれる成分を再現することができる。即ち、容易に、高S/Nの画像を得ることができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができ、従って、入力画像からノイズやぼけを除去した原画像の予測値を求める他、例えば、低解像度または標準解像度の画像を、高解像度の画像に変換するような場合にも用いることができる。
【００２０】
【発明が解決しようとする課題】
上述したように、クラス分類適応処理では、各クラスごとに適応処理が施されるが、その前段で行われるクラス分類では、予測値を求めようとする原画素（以下、適宜、注目原画素という）の位置の周辺にある複数の入力画素が抽出され、その性質（例えば、その複数の入力画素の画素値のパターンや、画素値の傾斜等）に基づいて、注目原画素がクラス分けされる。そして、このクラス分類に用いられる複数の入力画素としては、注目原画素から見て、固定の位置にある入力画素が抽出される。
【００２１】
しかしながら、クラス分類適応処理によって、例えば、ぼけのある入力画像を、そのぼけを改善した画像に変換する場合等において、その入力画像のぼけの度合いに関係なく、注目原画素から見て、固定の位置にある入力画素を、注目原画素のクラス分類に用いたのでは、その注目原画素の性質を十分に反映したクラス分けが困難となることがある。
【００２２】
即ち、例えば、ぼけ度（ぼけの度合い）の小さい入力画像を対象にクラス分類適応処理を行う場合においては、画像の相関性の観点から、注目原画素から見て、比較的近い位置にある入力画素を用いてクラス分類を行う方が、注目原画素の性質を反映したクラス分けを行うことができる。また、ぼけ度の大きい入力画像を対象にクラス分類適応処理を行う場合においては、そのぼけの影響の観点から、注目原画素から見て、比較的遠い位置にある入力画素を用いてクラス分類を行う方が、その性質を反映したクラス分けを行うことができる。
【００２３】
従って、注目原画素から見て、固定の位置にある入力画素を、注目原画素のクラス分類に用いたのでは、その注目原画素の性質を反映したクラス分けができないことがあり、その結果、クラス分類適応処理の処理性能が劣化すること、即ち、クラス分類処理によって、入力画像を十分に改善した画像（ここでは、ぼけを十分に改善した画像）が得られないことがある。
【００２４】
本発明は、このような状況に鑑みてなされたものであり、例えば、クラス分類適応処理等の処理性能を向上させることができるようにするものである。
【００２５】
【課題を解決するための手段】
本発明のデータ処理装置は、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定手段と、予測値を求めようとする出力データである注目出力データについて、決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出する抽出手段と、抽出手段において抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出手段において抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求める予測手段とを備え、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、予測値を求めようとする教師データである注目教師データについて、決定された抽出距離に対応する複数のデータを、生徒データから抽出し、抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めることにより、予測係数は予め学習されていることを特徴とする。
【００２７】
決定手段には、それぞれの距離に応じた複数のデータの値の標準偏差を統計量として求め、所定の基準値に最も近い標準偏差が得られる距離に基づいて、入力データより複数のデータを抽出する抽出距離を決定させることができる。また、決定手段には、前記出力データを、それぞれに複数の注目出力データを有するブロック単位とし、所定のブロック内にある前記複数の注目出力データそれぞれについて得られる前記複数のデータの前記標準偏差の平均を前記統計量とし、当該統計量と前記所定の基準値とを比較することにより、そのブロック内の注目出力データについて前記入力データより前記複数のデータを抽出する抽出距離を決定させることができる。また、所定の基準値は、複数種類の距離に対応する複数のデータのそれぞれについて、生徒データと教師データとの間でクラスコードに対応する所定の予測係数を学習し、学習された予測係数で教師データを予測した結果、最適に予測できる距離に対応する複数のデータより求められる統計量とすることができる。
【００２８】
本発明のデータ処理装置には、所定の基準値を記憶している基準値記憶手段をさらに設けることができる。
【００３０】
本発明のデータ処理装置には、クラスコードごとに、予測係数を記憶している予測係数記憶手段をさらに設けることができる。
【００３１】
入力データおよび出力データは、画像データとすることができる。さらに、この場合、抽出手段には、入力データとしての画像データから、注目出力データとしての画素に対して、空間的または時間的に周辺にある画素を抽出させることができる。
【００３２】
本発明のデータ処理方法は、データ処理装置が、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定手段と、予測値を求めようとする出力データである注目出力データについて、決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出する抽出手段と、抽出手段において抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出手段において抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求める予測手段とを備え、決定手段は、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、抽出手段は、予測値を求めようとする出力データである注目出力データについて、決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出し、クラス分類手段は、抽出手段において抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、予測手段は、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出手段において抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求めるステップを含み、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、予測値を求めようとする教師データである注目教師データについて、決定された抽出距離に対応する複数のデータを、生徒データから抽出し、抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めることにより、予測係 数は予め学習されていることを特徴とする。
【００３３】
本発明の媒体がコンピュータに実行させるプログラムは、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定ステップと、予測値を求めようとする出力データである注目出力データについて、決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出ステップにおいて抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求める予測ステップとを含み、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、予測値を求めようとする教師データである注目教師データについて、決定された抽出距離に対応する複数のデータを、生徒データから抽出し、抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めることにより、予測係数は予め学習されていることを特徴とする。
【００３４】
本発明の他のデータ処理装置は、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成手段と、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定手段と、予測値を求めようとする教師データである注目教師データについて、決定手段により決定された抽出距離に対応する複数のデータを、生徒データから抽出する抽出手段と、抽出手段において抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、抽出手段において抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求める演算手段とを含むことを特徴とする。
【００３６】
決定手段には、それぞれの距離に応じた複数のデータの値の標準偏差を統計量として求め、所定の基準値に最も近い標準偏差が得られる距離に基づいて、入力データより複数のデータを抽出する抽出距離を決定させることができる。また、決定手段には、出力データを、それぞれに複数の注目教師データを有するブロック単位とし、所定のブロック内にある複数の注目教師データそれぞれについて得られる複数のデータの標準偏差の平均を統計量とし、当該統計量と所定の基準値とを比較することにより、そのブロック内の注目教師データについて生徒データより複数のデータを抽出する抽出距離を決定させることができる。
【００３７】
本発明の他のデータ処理装置には、所定の基準値を求める基準値算出手段をさらに設けることができる。この場合、基準値算出手段には、複数種類の距離に対応する複数のデータに対応するクラスコードについて得られる予測係数で教師データを予測した結果、最適に予測できる距離に対応する複数のデータより求められる統計量を、所定の基準値として求めさせることができる。
【００３９】
教師データおよび生徒データは、画像データとすることができる。この場合、抽出手段には、生徒データとしての画像データから、注目教師データとしての画素に対して、空間的または時間的に周辺にある画素を抽出させることができる。
【００４０】
本発明の他のデータ処理方法は、データ処理装置が、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成手段と、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定手段と、予測値を求めようとする教師データである注目教師データについて、決定手段により決定された抽出距離に対応する複数のデータを、生徒データから抽出する抽出手段と、抽出手段において抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、抽出手段において抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求める演算手段とを含み、生成手段は、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、決定手段は、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、抽出手段は、予測値を求めようとする教師データである注目教師データについて、決定手段により決定された抽出距離に対応する複数のデータを、生徒データから抽出し、クラス分類手段は、抽出手段において抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、演算手段は、抽出手段において抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めるステップを含むことを特徴とする。
【００４１】
本発明の他の媒体がコンピュータに実行させるプログラムは、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成ステップと、入力データから、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定ステップと、予測値を求めようとする教師データである注目教師データについて、決定ステップにより決定された抽出距離に対応する複数のデータを、生徒データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、抽出ステップにおいて抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求める演算ステップとを含むことを特徴とする。
【００４２】
本発明の、さらに他のデータ処理装置は、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する第１の決定手段と、予測値を求めようとする出力データである注目出力データについて、第１の決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出する第１の抽出手段と、第１の抽出手段において抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力する第１のクラス分類手段と、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、第１の抽出手段において抽出された第１の複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求める予測手段と、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成手段と、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する第２の決定手段と、予測値を求めようとする教師データである注目教師データについて、第２の決定手段により決定された抽出距離に対応する第２の複数のデータを、生徒データから抽出する第２の抽出手段と、第２の抽出手段において抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力する第２のクラス分類手段と、第２の抽出手段において抽出された第２の複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求める演算手段とを備え、注目出力データの予測値を求めるのに用いられる予測係数は、予め学習されていることを特徴とする。
【００４３】
本発明のデータ処理装置およびデータ処理方法、並びに媒体においては、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離が、入力データより複数のデータを抽出する抽出距離として決定される。また、予測値を求めようとする出力データである注目出力データについて、抽出距離に対応する複数のデータが、入力データから抽出される。そして、その抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードが出力され、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出ステップにおいて抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値が求められる。また、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、予測値を求めようとする教師データである注目教師データについて、決定された抽出距離に対応する複数のデータを、生徒データから抽出し、抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めることにより、予測係数が予め学習されている。
【００４４】
本発明の他のデータ処理装置およびデータ処理方法、並びに媒体においては、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データが生成され、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離が、入力データより複数のデータを抽出する抽出距離として決定される。そして、予測値を求めようとする前記教師データである注目教師データについて、前記決定ステップにより決定された抽出距離に対応する複数のデータが、前記生徒データから抽出され、その抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力され、その抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に求められる。
【００４５】
本発明の、さらに他のデータ処理装置においては、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離が、入力データより複数のデータを抽出する抽出距離として決定される。また、予測値を求めようとする出力データである注目出力データについて、抽出距離に対応する複数のデータが、入力データから抽出される。そして、その抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードが出力され、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出ステップにおいて抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値が求められる。一方、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データが生成され、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離が、入力データより複数のデータを抽出する抽出距離として決定される。そして、予測値を求めようとする前記教師データである注目教師データについて、前記決定ステップにより決定された抽出距離に対応する複数のデータが、前記生徒データから抽出され、その抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力され、その抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に求められる。このようにして求められた予測係数が、注目出力データの予測値を求めるのに用いられる。
【００４６】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００４７】
この画像処理装置においては、例えば、ぼけた画像が、入力画像として入力されると、その入力画像に対して、クラス分類適応処理が施されることにより、図２に示すように、入力画像のぼけ度にかかわらず、そのぼけが十分に改善された画像（ぼけ改善画像）が出力されるようになっている。
【００４８】
即ち、この画像処理装置は、フレームメモリ１、クラスタップ生成回路２、予測タップ生成回路３、クラス分類回路４、係数RAM(Random Access Memory)５、予測演算回路６、およびタップ決定回路７から構成され、そこには、ぼけの改善を行う対象となる入力画像が入力されるようになっている。
【００４９】
フレームメモリ１は、画像処理装置に入力される入力画像を、例えば、フレーム単位で一時記憶するようになされている。なお、本実施の形態では、フレームメモリ１は、複数フレームの入力画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力される入力画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００５０】
クラスタップ生成回路２は、クラス分類適応処理により、予測値を求めようとする原画素（ここでは、入力画素からぼけを完全に排除した、ぼけのない理想的な画素）を、注目原画素として、その注目原画素についてのクラス分類に用いる入力画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶された入力画像から抽出し、これを、クラスタップとして、クラス分類回路４に出力するようになっている。
【００５１】
予測タップ生成回路３は、予測演算回路６において注目原画素の予測値を求めるのに用いる入力画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶された入力画像から抽出し、これを予測タップとして、予測演算回路６に供給するようになされている。
【００５２】
クラス分類回路４は、クラスタップ生成回路２からのクラスタップに基づいて、注目原画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数RAM５に対して、アドレスとして与えるようになされている。即ち、クラス分類回路４は、クラスタップ生成回路２からクラスタップを、例えば、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、係数RAM５に出力するようになっている。
【００５３】
ここで、KビットADRC処理においては、クラスタップを構成する入力画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する入力画素がKビットに再量子化される。即ち、クラスタップを構成する画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各入力画素の画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各画素についての１ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００５４】
係数RAM５は、後述する学習装置において学習が行われることにより得られるクラスごとの予測係数を記憶しており、クラス分類回路４からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給するようになっている。
【００５５】
予測演算回路６は、係数RAM５から供給される、注目原画素のクラスについての予測係数ｗ，ｗ2，・・・と、予測タップ生成回路３からの予測タップ（を構成する各画素の画素値）ｘ1，ｘ2，・・・とを用いて、式（１）に示した演算を行うことにより、注目原画素ｙの予測値Ｅ［ｙ］を求め、これを、ぼけを改善した画素の画素値として出力するようになっている。
【００５６】
タップ決定回路７は、フレームメモリ１に記憶された入力画像の統計量に基づいて、クラスタップおよび予測タップを構成させる複数の入力画素を決定し、そのクラスタップおよび予測タップを構成させる複数の入力画素に関する情報（以下、適宜、タップ情報という）を、クラスタップ生成回路２および予測タップ生成回路３に供給するようになっている。
【００５７】
即ち、タップ決定回路７は、基本的に、例えば、注目原画素の位置にある入力画素を中心画素として、例えば、横×縦が３×３画素でなる正方形状のクラスタップおよび予測タップ（以下、適宜、両者をまとめて、単に、タップという）を、クラスタップ生成回路２および予測タップ生成回路３に構成させるようなタップ情報を出力するようになっている。但し、そのタップ情報は、タップを構成する画素どうしの間隔（以下、適宜、タップ幅という）が、入力画像の統計量によって、異なるものとなるようになっている。
【００５８】
具体的には、例えば、入力画像の統計量が、ある値である場合には、タップ決定回路７は、図３（Ａ）に示すように、中心画素を中心とする３×３画素でなる、タップ幅が０（タップを構成する画素どうしの間隔が０）のタップを構成するためのタップ情報を出力する。また、例えば、入力画像の統計量が、他の値である場合には、タップ決定回路７は、図３（Ｂ）に示すように、中心画素を中心とする３×３画素でなる、タップ幅が１（タップを構成する画素どうしの間隔が１画素または１フレーム）のタップを構成するためのタップ情報を出力する。
【００５９】
次に、図４のフローチャートを参照して、図１の画像処理装置において行われる、入力画像のぼけを改善するぼけ改善処理について説明する。
【００６０】
フレームメモリ１には、ぼけ改善処理の対象としての入力画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給される入力画像が順次記憶されていく。
【００６１】
そして、ステップＳ１において、タップ決定回路７は、フレームメモリ１に記憶された入力画像の統計量に基づいて、タップを構成させる複数の入力画素を決定し、その複数の入力画素に関するタップ情報を、クラスタップ生成回路２および予測タップ生成回路３に出力する。
【００６２】
クラスタップ生成回路２または予測タップ生成回路３は、タップ決定回路７からタップ情報を受信すると、ステップＳ２において、そのタップ情報にしたがい、予測値を求めようとする注目原画素についてのクラスタップまたは予測タップを構成させる複数の入力画素を、フレームメモリ１から読み出し、クラスタップまたは予測タップをそれぞれ構成する。このクラスタップまたは予測タップは、クラス分類回路４または予測演算回路６にそれぞれ供給される。
【００６３】
クラス分類回路４は、クラスタップ生成回路２からクラスタップを受信すると、ステップＳ３において、そのクラスタップに基づき、注目原画素についてクラス分類を行い、その結果得られるクラスコードを、係数RAM５に対して、アドレスとして出力する。係数RAM５は、ステップＳ４において、クラス分類回路４からのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給する。
【００６４】
予測演算回路６では、ステップＳ５において、予測タップ生成回路３からの予測タップと、係数RAM５からの予測係数とを用いて、式（１）に示した演算が行われることにより、注目原画素ｙの予測値Ｅ［ｙ］、即ち、ここでは、ぼけを改善した画素が求められ、ステップＳ６に進む。ステップＳ６では、予測演算回路６が、ステップＳ５で求めた注目原画素ｙの予測値Ｅ［ｙ］を、その注目原画素と同一位置にある入力画素におけるぼけを改善した画素値として出力し、ステップＳ７に進む。
【００６５】
ステップＳ７では、後述する所定のブロック内にある原画素すべてを、注目原画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ２に戻り、ブロック内の原画素のうち、まだ注目原画素としていない原画素を、新たに注目原画素として、以下、同様の処理が繰り返される。従って、本実施の形態では、同一ブロック内にある原画素については、同一のタップ情報に基づいてタップが構成される。即ち、同一ブロック内の原画素については、各原画素から見て同一の位置にある入力画素からタップが構成される。
【００６６】
また、ステップＳ７において、所定のブロック内にある原画素すべてを、注目原画素として処理を行ったと判定された場合、ステップＳ８に進み、次に処理すべきブロックがあるか否か、即ち、フレームメモリ１に、次に処理すべきブロックに対応する入力画像が記憶されているかどうかが判定される。ステップＳ８において、フレームメモリ１に、次に処理すべきブロックに対応する入力画像が記憶されていると判定された場合、ステップＳ１に戻り、以下、同様の処理が繰り返される。従って、次に処理すべきブロックには、新たに、タップ情報が決定され、そのタップ情報に従ってタップが構成される。
【００６７】
一方、ステップＳ８において、フレームメモリ１に、次に処理すべきブロックに対応する入力画素が記憶されていないと判定された場合、ぼけ改善処理を終了する。
【００６８】
次に、図５は、図１のタップ決定回路７の構成例を示している。
【００６９】
読み出し部１１は、所定のブロック内にある原画素が注目原画素とされたときに、その注目原画素についてのタップとなる入力画素を、フレームメモリ１（図１）から読み出し、標準偏差算出部１２に供給するようになっている。
【００７０】
即ち、ここでは、例えば、原画像の１フレームや、その１フレームを幾つかの領域に分割したもの、あるいは、数フレーム（例えば、シーンチェンジ直後のフレームから、次のシーンチェンジの直前のフレームまで）を１ブロックとして、そのブロック単位で、タップ情報を決定するようになっており、読み出し部１１は、あるブロック内にある各原画素が注目原画素とされたときに、その各原画素について、判定部１３の制御にしたがったタップ幅のタップを構成する入力画素を、フレームメモリ１から読み出し、標準偏差算出部１２に供給するようになっている。
【００７１】
標準偏差算出部１２は、読み出し部１１からのタップの統計量として、そのタップを構成する入力画素の画素値の標準偏差を算出するようになっている。さらに、標準偏差算出部１２は、ブロックごとに、タップ幅が同一のタップについての標準偏差の平均値scoreを演算し、その平均値scoreを、各ブロックについての各タップ幅の評価値として、判定部１３に供給するようになっている。即ち、ブロックをiで、タップ幅をjで、それぞれ表すとすると、標準偏差算出部１２は、ブロック#i内にある各原画素について構成されるタップ幅jのタップの評価値として、次式で表されるscore(i,j)を計算し、判定部１３に供給するようになっている。
【００７２】
【数８】
【００７３】
判定部１３は、標準偏差算出部１２からの評価値score(i,j)と、基準値設定部１４に設定されている所定の基準値とを比較し、その比較結果に基づいて、読み出し部１１を制御するようになっている。さらに、判定部１３は、その比較結果に基づいて、注目原画素を含むブロック（以下、適宜、注目ブロックという）内の原画素についてタップを構成するときのタップ幅を決定し、そのタップ幅を、タップ情報として出力するようになっている。
【００７４】
基準値設定部１４は、入力画像のぼけが最も改善される場合（入力画素のクラス分類処理結果が、その入力画素に対応する原画素に最も近づく場合）の、タップを構成する入力画素（生徒データ）の画素値の標準偏差が、標準偏差算出部１２の出力と比較する基準値として設定されている。なお、この基準値の求め方については、後述する。
【００７５】
次に、図６のフローチャートを参照して、図５のタップ決定回路７において行われる、タップの構造を決定するタップ決定処理について説明する。
【００７６】
タップ決定処理では、注目ブロック内の原画素のいずれかが、初めて注目原画素とされると、ステップＳ１１において、読み出し部１１は、その注目ブロックの注目原画素とされた原画素について、例えば、タップ幅０のタップを構成するための入力画素を、フレームメモリ１（図１）から読み出し、標準偏差算出部１２に供給する。
【００７７】
そして、ステップＳ１２に進み、標準偏差算出部１２において、読み出し部１１からの入力画素で構成されるタップの標準偏差が求められ、ステップＳ１３に進む。ステップＳ１３では、注目ブロック内のすべての原画素を注目原画素として処理を行ったかどうかが判定され、行っていないと判定された場合、ステップＳ１１に戻り、注目ブロック内の原画素のうち、まだ注目原画素とされていないものを、新たに注目原画素として、以下、同様の処理が繰り返される。
【００７８】
また、ステップＳ１３において、注目ブロック内のすべての原画素を注目原画素として処理を行ったと判定された場合、ステップＳ１４に進み、標準偏差算出部１２は、注目ブロックの各原画素について得られたタップの標準偏差の平均値を算出する。
【００７９】
即ち、いま、注目ブロックが、ブロック#iで表され、その注目ブロック#iの各原画素について構成されたタップのタップ幅がjで表されるとすると、ステップＳ１４では、式（８）で示されるscore(i,j)が算出される。このscore(i,j)は、判定部１３に供給される。
【００８０】
判定部１３では、ステップＳ１５において、標準偏差算出部１２からのscore(i,j)が、基準値設定部１４に設定された基準値に近いかどうかが判定され、近くないと判定された場合、即ち、注目ブロック#iの各原画素について構成されたタップ幅jのタップの標準偏差の平均値が、基準値に近くない場合、ステップＳ１６に進み、判定部１３は、タップ幅jを変更するように、読み出し部１１を制御し、ステップＳ１１に戻る。
【００８１】
この場合、ステップＳ１１では、読み出し部１１において、注目ブロックのある原画素を注目原画素として、その注目原画素について、タップ幅j+1のタップを構成するための入力画素が、フレームメモリ１から読み出され、以下、同様の処理が繰り返される。
【００８２】
一方、ステップＳ１５において、標準偏差算出部１２からのscore(i,j)が、基準値設定部１４に設定された基準値に近いと判定された場合、即ち、注目ブロック#iの各原画素について構成されたタップ幅jのタップの標準偏差の平均値が、基準値に近い場合、ステップＳ１７に進み、判定部１３は、そのタップ幅jを、タップ情報として出力し、リターンする。
【００８３】
上述したように、図１のクラスタップ生成回路２および予測タップ生成回路３では、タップ決定回路７がブロックごとに出力するタップ情報にしたがって、そのブロックの原画素が注目原画素とされた場合のタップが構成されるから、タップ幅jのタップ情報が出力された場合には、注目ブロックを構成する原画素については、そのようなタップ幅jのタップが構成されることになる。
【００８４】
次に、図７は、図１の係数RAM５に記憶させるクラスごとの予測係数を求めるとともに、図５の基準値設定部１４に設定する所定の基準値を求める学習装置の一実施の形態の構成例を示している。
【００８５】
フレームメモリ６１には、教師データｙとなる原画像（ここでは、ぼけのない画像）が、例えば、フレーム単位で供給されるようになっており、フレームメモリ６１は、その原画像を、一時記憶するようになっている。ぼけ付加回路６２は、フレームメモリ６１に記憶された、予測係数の学習において教師データｙとなる原画像を読み出し、その原画像を構成する原画素に対してぼかしを付加し（例えば、ローパスフィルタでフィルタリングし）、生徒データとしての、ぼけのある画像（以下、適宜、ぼけ画像という）を生成するようになっている。このぼけ画像は、フレームメモリ６３に供給されるようになっている。
【００８６】
フレームメモリ６３は、ぼけ付加回路６２からのぼけ画像を一時記憶するようになっている。
【００８７】
なお、フレームメモリ６１および６３は、図１のフレームメモリ１と同様に構成されている。
【００８８】
クラスタップ生成回路６４または予測タップ生成回路６５は、フレームメモリ６３に記憶されたぼけ画像を構成する画素（以下、適宜、ぼけ画素という）を用い、図１のクラスタップ生成回路２または予測タップ生成回路３と同様に、タップ決定回路７２からのタップ情報にしたがって、注目原画素について、クラスタップまたは予測タップを構成し、クラス分類回路６６または加算回路６７にそれぞれ供給するようになっている。
【００８９】
クラス分類回路６６は、図１のクラス分類回路４と同様に構成され、クラスタップ生成回路６４からのクラスタップに基づいて、注目原画素をクラス分類し、対応するクラスコードを、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与えるようになっている。
【００９０】
加算回路６７は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、予測タップメモリ６８から読み出し、その記憶値と、予測タップ生成回路６５からの予測タップを構成するぼけ画素（の画素値）とを加算することで、式（７）の正規方程式の左辺における、予測係数ｗの乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、予測タップメモリ６８のアドレスに、上書きする形で記憶させるようになっている。
【００９１】
予測タップメモリ６８は、クラス分類回路６６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路６７に供給するとともに、そのアドレスに、加算回路６７の出力値を記憶するようになっている。
【００９２】
加算回路６９は、フレームメモリ６１に記憶された原画像を構成する原画素のうちの、注目原画素を、教師データｙとして読み出すとともに、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、教師データメモリ７０から読み出し、その記憶値と、フレームメモリ６１から読み出した教師データ（原画素）ｙとを加算することで、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、教師データメモリ７０のアドレスに、上書きする形で記憶させるようになっている。
【００９３】
なお、加算回路６７および６９では、式（７）における乗算も行われる。即ち、加算器６７では、予測タップを構成するぼけ画素ｘどうしの乗算も行われ、また、加算器６９では、予測タップを構成するぼけ画素ｘと、教師データｙとの乗算も行われる。従って、加算器６９では、ぼけ画素ｘが必要となるが、これは、フレームメモリ６３から読み出されるようになっている。
【００９４】
教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給するとともに、そのアドレスに、加算回路６９の出力値を記憶するようになっている。
【００９５】
演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求めるようになっている。即ち、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれの、各クラスコードに対応するアドレスに記憶されている記憶値から、式（７）の正規方程式をたて、これを解くことにより、クラスごとの予測係数を求めるようになっている。
【００９６】
タップ決定回路７２は、図１のタップ決定回路７と同様のタップ決定処理を行うことで、クラスタップ生成回路６４および予測タップ生成回路６５に生成させるタップに関するタップ情報を決定し、クラスタップ生成回路６４および予測タップ生成回路６５に供給するようになっている。さらに、タップ決定回路７２は、タップ決定処理において用いる所定の基準値の算出も行うようになっている。
【００９７】
次に、図８のフローチャートを参照して、図７の学習装置において行われる、クラスごとの予測係数および所定の基準値を求める学習処理について説明する。
【００９８】
学習装置には、教師データとしての原画像（動画像）が、フレーム単位で供給されるようになっており、その原画像は、フレームメモリ６１において順次記憶されていく。また、フレームメモリ６１に記憶された原画像は、ぼけ付加回路６２に供給され、そこで、ぼけ画像とされる。なお、ぼけ付加回路６２では、例えば、フレームごと等に、ぼけ度の異なるぼけ画像が生成されるようになっている。
【００９９】
ぼけ付加回路６２で得られたぼけ画像は、生徒データとして、フレームメモリ６３に順次供給されて記憶される。
【０１００】
以上のようにして、学習処理のために用意されたすべての原画像に対応するぼけ画像が、フレームメモリ６３に記憶されると、タップ決定回路７２は、ステップＳ２１において、タップ決定処理に用いる基準値を、後述するようにして求め、ステップＳ２２に進む。
【０１０１】
ステップＳ２２では、タップ決定回路７２において、図１のタップ決定回路７における場合と同様にして、タップを構成させるぼけ画素が決定され、そのぼけ画素に関するタップ情報が、クラスタップ生成回路６４および予測タップ生成回路６５に出力される。
【０１０２】
クラスタップ生成回路６４または予測タップ生成回路６５では、ステップＳ２３において、タップ決定回路７２からのタップ情報にしたがい、予測値を求めようとする注目原画素についてのクラスタップまたは予測タップを構成させるぼけ画素が、フレームメモリ６３から読み出され、クラスタップまたは予測タップがそれぞれ構成される。このクラスタップまたは予測タップは、クラス分類回路６６または加算回路６７にそれぞれ供給される。
【０１０３】
クラス分類回路６６では、ステップＳ２４において、図１のクラス分類回路４における場合と同様にして、クラスタップ生成回路６４からのクラスタップを用いて、注目原画素がクラス分類され、そのクラス分類結果としてのクラスコードが、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与えられる。
【０１０４】
そして、ステップＳ２５に進み、予測タップ（生徒データ）または教師データそれぞれの足し込みが行われる。
【０１０５】
即ち、ステップＳ２５において、予測タップメモリ６８は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６７に供給する。加算回路６７は、予測タップメモリ６８から供給される記憶値と、予測タップ生成回路６５から供給されるの予測タップを構成するぼけ画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、予測タップメモリ６８のアドレスに、上書きする形で記憶させる。
【０１０６】
さらに、ステップＳ２５では、教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給する。加算回路６９は、フレームメモリ６１から、注目原画素を読み出すとともに、フレームメモリ６３から、必要なぼけ画素を読み出し、その読み出した画素と、教師データメモリ７０から供給された記憶値とを用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、教師データメモリ７０のアドレスに、上書きする形で記憶させる。
【０１０７】
その後、ステップＳ２６に進み、いま注目している注目ブロック内にある原画素すべてを、注目原画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ２３に戻り、注目ブロック内の原画素のうち、まだ注目原画素とされていない原画素を、新たに注目原画素として、以下、同様の処理が繰り返される。
【０１０８】
また、ステップＳ２６において、注目ブロック内にある原画素すべてを、注目原画素として処理を行ったと判定された場合、ステップＳ２７に進み、次に処理すべきブロックがあるか否か、即ち、フレームメモリ６３に、次に処理すべきブロックに対応するぼけ画像が記憶されているかどうかが判定される。ステップＳ２７において、フレームメモリ６３に、次に処理すべきブロックに対応するぼけ画像が記憶されていると判定された場合、ステップＳ２２に戻り、そのブロックを新たに注目ブロックとし、さらに、その注目ブロック内の原画素のうちの１つを、新たに注目原画素として、以下、同様の処理が繰り返される。
【０１０９】
一方、ステップＳ２７において、フレームメモリ６３に、次に処理すべきブロックに対応するぼけ画素が記憶されていないと判定された場合、即ち、あらかじめ学習用に用意しておいたすべての原画像を用いて処理を行った場合、ステップＳ２８に進み、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求める。さらに、演算回路７１は、ステップＳ２９において、その求めたクラスごとの予測係数を出力して、学習処理を終了する。
【０１１０】
なお、以上のような予測係数の学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトの予測係数を出力するようにすること等が可能である。
【０１１１】
次に、図９は、図８のタップ決定回路７２の構成例を示している。
【０１１２】
同図に示すように、タップ決定回路７２は、読み出し部８１、標準偏差算出部８２、判定部８３、および基準値作成部８４で構成されており、このうち、読み出し部８１、標準偏差算出部８２、または判定部８３は、図５の読み出し部１１、標準偏差算出部１２、または判定部１３とそれぞれ同様に構成されている。従って、タップ決定回路７２は、基準値設定部１４に替えて、基準値作成部８４が設けられている他は、図５のタップ決定回路７と同様に構成されている。
【０１１３】
基準値作成部８４は、図８のステップＳ２１において、タップ決定処理に用いる基準値を求め、判定部８３に供給するようになっている。
【０１１４】
以上のように構成されるタップ決定回路７２では、図１０のフローチャートに示すように、ステップＳ３１乃至Ｓ３７において、図６のステップＳ１１乃至Ｓ１７における場合とそれぞれ同様の処理が行われることで、各ブロックごとに、タップ情報が決定される。
【０１１５】
次に、図１１および図１２を参照して、図９の基準値作成部８４において行われる基準値の算出の方法について説明する。
【０１１６】
基準値作成部８４では、学習処理のために用意されたすべての原画像（教師データ）が、フレームメモリ６１から読み出されるとともに、その原画像に、ぼけが付加されたぼけ画像（生徒データ）が、フレームメモリ６３から読み出される。さらに、基準値作成部８４は、ぼけ画像に対する原画像を、上述したようなブロックに分割し、各ブロックの原画素それぞれについて、タップ幅の異なるタップを構成し、タップ幅と、タップを構成するぼけ画素の標準偏差の平均値との関係を求める。
【０１１７】
即ち、あるブロックに注目した場合に、基準値作成部８４は、そのブロックの各原画素を、順次、注目原画素として、タップ幅がjのタップを構成する。さらに、基準値作成部８４は、各原画素について構成されたタップの標準偏差を求め、その標準偏差の、ブロックにおける平均値を演算する。具体的には、ブロック#iの原画素の総数をＭで、タップを構成するぼけ画素の総数をＫで、ブロック#iにおけるｍ番目の原画素について構成される、タップ幅jのタップの中のｋ番目のぼけ画素の画素値をＶm,j,kで、ブロック#iにおけるｍ番目の原画素について構成される、タップ幅jのタップの平均値（タップを構成するぼけ画素の平均値）をmeanm,jで、それぞれ表すとすると、基準値作成部８４では、上述した式（８）にしたがって、score(i,j)が演算される。
【０１１８】
基準値作成部８４は、タップ幅jを、幾つかの値に変えて、ブロック#iにおける各原画素についてタップを構成し、順次、各タップ幅jのタップの標準偏差の平均値score(i,j)を計算していく。
【０１１９】
さらに、基準値作成部８４は、その他のブロック#iについても、同様に、各タップ幅jのタップの標準偏差の平均値score(i,j)を計算していく。
【０１２０】
以上のようにして、基準値作成部８４では、図１１に示すような、各ブロック#iについて、タップ幅jと、そのタップ幅jのタップの標準偏差の平均値score(i,j)との関係が求められる。
【０１２１】
なお、図１１は、４つブロック#1乃至#4それぞれについての、タップ幅jと、タップの標準偏差の平均値score(i,j)との関係を示しており、○印がブロック#1についてのものを、×印がブロック#2についてのものを、△印がブロック#3についてのものを、□印がブロック#4についてのものを、それぞれ表している。
【０１２２】
また、図１１は、タップ幅jを、０乃至１０それぞれとしたときのタップの標準偏差の平均値score(i,j)を示している。
【０１２３】
ブロック#iの各原画素について構成されるタップの標準偏差の平均値score(i,j)は、そのブロック#iに対するぼけ画像の画素値の変化のし具合、即ち、ぼけの程度を表しており、従って、score(i,j)が大きいほど（小さいほど）、ぼけ度は小さい（大きい）ことを表す。
【０１２４】
基準値作成部８４は、上述のようにして、タップの標準偏差の平均値score(i,j)を求めるのと同時に、各タップ幅jのタップを用いて、クラス分類適応処理により、原画素の予測値を求める。
【０１２５】
即ち、基準値作成部８４は、ブロック#iにおける原画素と、ぼけ画像とを用い、タップ幅jをある値に固定して、式（７）の正規方程式を生成し、それを解くことで、クラスごとの予測係数を求める。さらに、基準値作成部８４は、そのクラスごとの予測係数を用い、タップ幅jを、上述のある値に固定して、式（１）の線形予測式を計算することで、ブロック#iにおける各原画像の予測値を求める。
【０１２６】
基準値作成部８４は、タップ幅jを、順次変えて同様の処理を行い、さらに、他のブロックについても、同様の処理を行う。これにより、各ブロック#iの原画素について、各タップ幅jのタップを用いたときの、その予測値e(i,j)が求められる。即ち、各ブロック#iの原画素について、その原画素の予測に用いるタップのタップ幅jと、原画素の予測値e(i,j)との関係が求められる。
【０１２７】
そして、基準値作成部８４は、以上のようにして求められた予測値e(i,j)が、原画像にどの程度近いかを判定する。即ち、基準値作成部８４は、例えば、ブロック#iについて、原画素と、タップ幅jのタップを用いて求めた予測値e(i,j)との絶対値差分和の逆数等を、予測値e(i,j)のS/N(Signal to Noise Ratio)として求める。ここで、図１１に示した４つのブロック#iについて得られた予測値e(i,j)のS/Nを、図１２に示す。
【０１２８】
図１２においては、ブロック#1について、タップ幅jが０のタップを用いて得られた予測値e(1,0)のS/Nが最も良くなっており、即ち、その予測値e(1,0)が、原画像に最も近くなっており、基準値作成部８４では、そのように、原画像に最も近くなっている予測値e(i,j)が得られたブロック#iと、タップ幅jとが検出される。ここで、以上のようにして検出されたブロック#iまたはタップ幅jを、以下、適宜、それぞれ、最適ブロックまたは最適タップ幅という。
【０１２９】
最適ブロックについて、タップ幅jが最適タップ幅のタップを構成して得られたときの予測値e(i,j)が原画像に最も近くなっているということは、最適ブロックについて、最適タップ幅のタップを構成したときの、そのタップの標準偏差（以下、適宜、最適標準偏差という）が、他のブロックについて構成されるタップの標準偏差としても、最も適した値であると考えられる。
【０１３０】
即ち、統計的な観点から、他のブロックについても、その標準偏差が、最適標準偏差となるようなタップ幅のタップを構成した場合に、原画像に最も近い予測値が得られると考えられる。
【０１３１】
そこで、基準値作成部８４では、最適標準偏差が求められ、これが、所定の基準値として、判定部８３に供給される。
【０１３２】
ここで、図１２では、ブロック#1について、タップ幅jが０のタップを用いて得られた予測値e(1,0)のS/Nが最も良くなっているから、基準値作成部８４では、図１１において、ブロック#1について得られたscore(1,j)（図１１で○印で示す）のうち、タップ幅jが０のときの値である２０が、最適標準偏差として求められる。
【０１３３】
さらに、この場合、他のブロックについては、図１１において、太線の矢印で示す値が、最適標準偏差に一致する標準偏差が得られるタップ幅jであり、従って、図６や図１０のタップ決定処理では、そのような値がタップ幅jとして決定されることになる。
【０１３４】
なお、タップ幅jは整数値をとるものであるが、最適標準偏差に一致する標準偏差が得られるタップ幅（図１１において太線の矢印で示す値）は、図１１から明らかなように、整数値をとるとは限らない（むしろ、整数値とならない場合が多い）。そこで、図６や図１０のタップ決定処理では、最適標準偏差に一致する標準偏差が得られるタップ幅が整数値とならない場合には、例えば、その整数値でないタップ幅に最も近い整数値が、最終的なタップ幅として決定されるようになっている。
【０１３５】
即ち、図６のタップ決定処理では（図１０においても同様）、上述したように、標準偏差算出部１２からのscore(i,j)が、基準値設定部１４に設定された基準値に近いかどうかが判定され（ステップＳ１５）、近いと判定された場合、そのときのタップ幅jが、タップ情報として出力される（ステップＳ１７）ようになっているが、ここで言っている「score(i,j)が基準値に近い」というのは、整数値をとるタップ幅jのタップを構成したときの、そのタップの標準偏差（本実施の形態では、ブロックについて得られる標準偏差の平均値）score(i,j)が、基準値に最も近いことを意味している。
【０１３６】
なお、図６や図１０のタップ決定処理では、最適標準偏差に一致する標準偏差が得られるタップ幅を求め、そのタップ幅が整数値でない場合には、タップ幅の平均値が、その整数値でないタップ幅となるタップを構成するようにすることも可能である。即ち、最適標準偏差に一致する標準偏差が得られるタップ幅が、例えば、１．５である場合には、ある画素どうしのタップ幅を１とするとともに、他の画素どうしのタップ幅を２としてタップを構成し、そのタップにおけるタップ幅の平均が１．５となるようにすることが可能である。
【０１３７】
以上のように、最適標準偏差を求め、その最適標準偏差に一致するような標準偏差が得られるタップ幅のタップを構成して、学習処理およびぼけ改善処理を行うようにしたので、それらの処理性能を向上させることができる。
【０１３８】
即ち、学習処理においては、画像のぼけ度に適したクラス分けが行われ、さらに、そのぼけ度に適した予測タップが構成される。その結果、画像のぼけ度に適したクラスごとの予測係数を得ることができる。また、ぼけ改善処理においても、画像のぼけ度に適したクラス分けが行われるとともに、そのぼけ度に適した予測タップが構成され、さらに、ぼけ度に適したクラスごとの予測係数を用いて、原画素の予測値が求められる。その結果、画像のぼけ度にかかわらず、鮮明な画像（ぼけが、より改善された画像）を得ることができる。
【０１３９】
具体的には、例えば、前述したように、ぼけ度の小さい入力画像を対象にクラス分類適応処理を行う場合においては、注目原画素から見て、比較的近い位置にある入力画素を用いてクラス分類を行う方が、注目原画素の性質を反映したクラス分けを行うことができ、また、ぼけ度の大きい入力画像を対象にクラス分類適応処理を行う場合においては、注目原画素から見て、比較的遠い位置にある入力画素を用いてクラス分類を行う方が、その性質を反映したクラス分けを行うことができるが、図１１に示した場合には、そのようなクラス分類が行われる。
【０１４０】
即ち、図１１に示した場合においては、上述したように、score(i,j)が大きいブロックほど、ぼけ度は小さいから、ブロック#1,#2,#3,#4の順で、ぼけ度は大きくなっている。そして、図１１に示した場合には、上述したことから、ブロック#1,#2,#3,#4それぞれについては、タップ幅が０，１，３，８のタップが構成される。
【０１４１】
従って、本願手法によれば、ぼけ度が大きくなるほど、注目原画素から見て遠い位置にある入力画素を用いてクラスタップが構成されるので、画像の性質を十分に反映したクラス分けが行われることになる。
【０１４２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての画像処理装置や学習装置に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０１４３】
そこで、図１３を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０１４４】
プログラムは、図１３（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２に予めインストールした状態でユーザに提供することができる。
【０１４５】
あるいはまた、プログラムは、図１３（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０１４６】
さらに、プログラムは、図１３（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１２３に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１１１を介して、コンピュータ１２３に有線で転送し、コンピュータ１２３において、内蔵するハードディスクなどに格納させるようにすることができる。
【０１４７】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０１４８】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１４９】
なお、クラス分類適用処理は、教師データと生徒データとを用いて、クラスごとに予測係数を求める学習を行い、その予測係数と入力データとを用いた線形一次予測により、入力データから、教師データの予測値を求めるものであるから、学習に用いる教師データおよび生徒データによって、所望の予測値を求めるための予測係数を得ることが可能となる。即ち、例えば、教師データとして、高解像度の画像を用いるとともに、生徒データとして、その画像の解像度を落とした画像を用いることで、解像度を向上させる予測係数を得ることができる。また、例えば、教師データとして、ノイズを含まない画像を用いるとともに、生徒データとして、その画像にノイズを付加した画像を用いることで、ノイズの除去を行う予測係数を得ることができる。従って、本発明は、上述したようなぼけを改善する場合の他、ノイズを除去する場合や、解像度を向上させる場合、その他、例えば波形等化を行う場合等に適用可能である。
【０１５０】
また、本実施の形態では、動画像を、クラス分類適用処理の対象としたが、動画像の他、静止画、さらには、音声や、記録媒体から再生された信号（RF(Radio
Frequency)信号）等を対象とすることも可能である。
【０１５１】
さらに、本実施の形態では、クラスタップおよび予測タップは、同一のタップ情報にしたがって構成されることから、同一の画素で構成されることになるが、クラスタップと予測タップとは、異なる構成とすること、即ち、異なるタップ情報にしたがって構成することも可能である。
【０１５２】
また、本実施の形態では、クラスタップおよび予測タップのいずれもタップ情報にしたがって構成することにより、タップ幅を可変とするようにしたが、クラスタップまたは予測タップのうちのいずれか一方は、固定のタップ幅とすることが可能である。
【０１５３】
さらに、本実施の形態では、タップの標準偏差に基づいて、タップ情報を決定するようにしたが、タップ情報は、タップの標準偏差以外の統計量に基づいて決定することも可能である。即ち、タップ情報は、例えば、タップを構成する画素の分散や、その画素どうしの差分絶対値和、２次差分絶対値和（画素どうしの差分値どうしの差分の絶対値和）等に基づいて決定することが可能である。
【０１５４】
また、本実施の形態では、複数の画素でなるブロックごとに、タップ幅を変更するようにしたが、タップ幅は、例えば、画素単位で変更するようにすることも可能である。
【０１５５】
さらに、本実施の形態では、画像処理装置と、その画像処理装置で用いるクラスごとの予測係数および基準値を学習する学習装置とを、別々の装置として構成するようにしたが、画像処理装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、画像処理装置で用いる予測係数を、リアルタイムで更新させるようにすることが可能である。
【０１５６】
また、本実施の形態では、係数RAM５に、あらかじめクラスごとの予測係数を記憶させておくようにしたが、この予測係数は、例えば、入力画像とともに、画像処理装置に供給するようにすることも可能である。同様に、基準値についても、基準値設定部１４（図５）に設定しておくのではなく、入力画像とともに、画像処理装置に供給するようにすることが可能である。
【０１５７】
さらに、クラスタップおよび予測タップは、空間方向および時間方向のいずれの方向にある画素を用いて構成しても良い。
【０１５８】
また、本実施の形態では、入力画像の統計量に基づいて、タップ幅を変えることで、タップの構成（タップを構成する画素）を変更するようにしたが、タップの構成は、その他、例えば、タップを構成させる画素の位置等を変えることで変更することが可能である。
【０１５９】
さらに、本実施の形態では、一次式によって、原画素の予測値を求めるようにしたが、予測値は、二次以上の式によって、求めるようにすることも可能である。
【０１６０】
なお、学習処理では、上述したように、予測タップを用いて、式（７）のサメーション（Σ）に相当する足し込みが行われるが、タップ幅の異なる予測タップを用いた足し込みは、それらの予測タップの、対応する画素どうしを対象に行われる。
【０１６１】
即ち、図３に示したように、予測タップを、中心画素を中心とする３×３画素の９画素で構成するとすると、本実施の形態では、タップ幅が０の予測タップ（図３（Ａ））が構成されたり、タップ幅が１の予測タップ（図３（Ｂ））が構成されたりする。この場合、タップ幅が０の予測タップの、例えば、最も左上の画素については、タップ幅が１の予測タップの最も左上の画素との足し込みが行われる。
【０１６２】
また、タップ幅の異なるクラスタップのクラス分類も、同様の手法で行われる。従って、例えば、図３（Ａ）に示したタップ幅が０の予測タップを構成する各画素の画素値が、図３（Ｂ）に示したタップ幅が１の予測タップを構成する、対応する画素の画素値とそれぞれ等しい場合には、図３（Ａ）および図３（Ｂ）のクラスタップを用いたクラス分類結果は、同一になる（同一のクラスに分類される）。
【０１６３】
【発明の効果】
本発明のデータ処理装置およびデータ処理方法、並びに媒体によれば、注目出力データに近い予測値を求めることが可能となる。
【０１６４】
本発明の他のデータ処理装置およびデータ処理方法、並びに媒体によれば、教師データに近い予測値を求めることが可能な予測係数を得ることが可能となる。
【０１６５】
本発明の、さらに他のデータ処理装置によれば、注目出力データに近い予測値を求めることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の画像処理装置の処理の概要を示す図である。
【図３】図１のタップ決定回路７の処理を説明するための図である。
【図４】図１の画像処理装置によるぼけ改善処理を説明するためのフローチャートである。
【図５】図１のタップ決定回路７の構成例を示すブロック図である。
【図６】図５のタップ決定回路７によるタップ決定処理を説明するためのフローチャートである。
【図７】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図８】図７の学習装置による学習処理を説明するためのフローチャートである。
【図９】図７のタップ決定回路７２の構成例を示すブロック図である。
【図１０】図９のタップ決定回路７２によるタップ決定処理を説明するためのフローチャートである。
【図１１】図９の基準値作成部８４の処理を説明するための図である。
【図１２】図９の基準値作成部８４の処理を説明するための図である。
【図１３】本発明を適用した媒体を説明するための図である。
【符号の説明】
１ フレームメモリ， ２ クラスタップ生成回路， ３ 予測タップ生成回路， ４ クラス分類回路， ５ 係数RAM， ６ 予測演算回路， ７ タップ決定回路， １１ 読み出し部， １２ 標準偏差算出部， １３ 判定部，１４ 基準値設定部， ６１ フレームメモリ， ６２ ぼけ付加回路， ６３ フレームメモリ， ６４ クラスタップ生成回路， ６５ 予測タップ生成回路， ６６ クラス分類回路， ６７ 加算回路， ６８ 予測タップメモリ， ６９ 加算回路， ７０ 教師データメモリ， ７１ 演算回路， ７２ タップ決定回路， ８１ 読み出し部， ８２ 標準偏差算出部， ８３ 判定部， ８４ 基準値作成部， １０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク， １１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ ダウンロードサイト， １２２ 衛星， １２３コンピュータ， １３１ ネットワーク
Claims (20)
- 入力データを処理して、その入力データに対する出力データを予測するデータ処理装置であって、
前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定する決定手段と、
予測値を求めようとする前記出力データである注目出力データについて、前記決定手段により決定された抽出距離に対応する複数のデータを、前記入力データから抽出する抽出手段と、
前記抽出手段において抽出された複数のデータの値のパターンに基づき、前記注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、
前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、前記距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、前記抽出手段において抽出された複数のデータと前記クラスコードに対応する予測係数との線形一次結合により、前記注目出力データの予測値を求める予測手段とを備え、
前記予測係数の学習のための教師となる教師データに対して、前記入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、
前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定し、
予測値を求めようとする前記教師データである注目教師データについて、決定された前記抽出距離に対応する複数のデータを、前記生徒データから抽出し、
抽出された複数のデータの値のパターンに基づき、前記注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、
抽出された複数のデータを用いて、前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、前記距離に対応する複数のデータに基づくクラスコード毎に求める
ことにより、前記予測係数は予め学習されている
ことを特徴とするデータ処理装置。 - 前記決定手段は、それぞれの前記距離に応じた前記複数のデータの値の標準偏差を前記統計量として求め、前記所定の基準値に最も近い標準偏差が得られる前記距離に基づいて、前記入力データより複数のデータを抽出する抽出距離を決定する
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記決定手段は、前記出力データを、それぞれに複数の注目出力データを有するブロック単位とし、所定のブロック内にある前記複数の注目出力データそれぞれについて得られる前記複数のデータの前記標準偏差の平均を前記統計量とし、当該統計量と前記所定の基準値とを比較することにより、そのブロック内の注目出力データについて前記入力データより前記複数のデータを抽出する抽出距離を決定する
ことを特徴とする請求項２に記載のデータ処理装置。 - 前記所定の基準値は、前記複数種類の距離に対応する複数のデータのそれぞれについて、生徒データと教師データとの間で前記クラスコードに対応する所定の予測係数を学習し、学習された予測係数で前記教師データを予測した結果、最適に予測できる前記距離に対応する複数のデータより求められる統計量である
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記所定の基準値を記憶している基準値記憶手段をさらに含む
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記クラスコードごとに、前記予測係数を記憶している予測係数記憶手段をさらに含む
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記入力データおよび出力データは、画像データである
ことを特徴とする請求項１に記載のデータ処理装置。 - 前記抽出手段は、前記入力データとしての画像データから、前記注目出力データとしての画素に対して、空間的または時間的に周辺にある画素を抽出する
ことを特徴とする請求項７に記載のデータ処理装置。 - 入力データを処理して、その入力データに対する出力データを予測するデータ処理装置のデータ処理方法であって、
前記データ処理装置は、
前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定する決定手段と、
予測値を求めようとする前記出力データである注目出力データについて、前記決定手段により決定された抽出距離に対応する複数のデータを、前記入力データから抽出する抽出手段と、
前記抽出手段において抽出された複数のデータの値のパターンに基づき、前記注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、
前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、前記距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、前記抽出手段において抽出された複数のデータと前記クラスコードに対応する予測係数との線形一次結合により、前記注目出力データの予測値を求める予測手段と
を備え、
前記決定手段は、前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定し、
前記抽出手段は、予測値を求めようとする前記出力データである注目出力データについて、前記決定手段により決定された抽出距離に対応する複数のデータを、前記入力データから抽出し、
前記クラス分類手段は、前記抽出手段において抽出された複数のデータの値のパターンに基づき、前記注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、
前記予測手段は、前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、前記距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、前記抽出手段において抽出された複数のデータと前記クラスコードに対応する予測係数との線形一次結合により、前記注目出力データの予測値を求める
ステップを含み、
前記予測係数の学習のための教師となる教師データに対して、前記入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、
前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定し、
予測値を求めようとする前記教師データである注目教師データについて、決定された前記抽出距離に対応する複数のデータを、前記生徒データから抽出し、
抽出された複数のデータの値のパターンに基づき、前記注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、
抽出された複数のデータを用いて、前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、前記距離に対応する複数のデータに基づくクラスコード毎に求める
ことにより、前記予測係数は予め学習されている
ことを特徴とするデータ処理方法。 - 入力データを処理して、その入力データに対する出力データを予測するデータ処理を行うためのプログラムを、コンピュータに実行させる媒体であって、
前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定する決定ステップと、
予測値を求めようとする前記出力データである注目出力データについて、前記決定手段により決定された抽出距離に対応する複数のデータを、前記入力データから抽出する抽出ステップと、
前記抽出ステップにおいて抽出された複数のデータの値のパターンに基づき、前記注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、
前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、前記距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、前記抽出ステップにおいて抽出された複数のデータと前記クラスコードに対応する予測係数との線形一次結合により、前記注目出力データの予測値を求める予測ステップと
を含み、
前記予測係数の学習のための教師となる教師データに対して、前記入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、
前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定し、
予測値を求めようとする前記教師データである注目教師データについて、決定された前記抽出距離に対応する複数のデータを、前記生徒データから抽出し、
抽出された複数のデータの値のパターンに基づき、前記注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、
抽出された複数のデータを用いて、前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、前記距離に対応する複数のデータに基づくクラスコード毎に求める
ことにより、前記予測係数は予め学習されている
ことを特徴とするプログラムを、前記コンピュータに実行させる媒体。 - 入力データを処理し、その入力データに対する出力データを予測するのに用いる予測係数を学習するデータ処理装置であって、
前記予測係数の学習のための教師となる教師データに対して、前記入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成手段と、
前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定する決定手段と、
予測値を求めようとする前記教師データである注目教師データについて、前記決定手段により決定された抽出距離に対応する複数のデータを、前記生徒データから抽出する抽出手段と、
前記抽出手段において抽出された複数のデータの値のパターンに基づき、前記注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、
前記抽出手段において抽出された複数のデータを用いて、前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、前記距離に対応する複数のデータに基づくクラスコード毎に求める演算手段と
を含むことを特徴とするデータ処理装置。 - 前記決定手段は、それぞれの前記距離に応じた前記複数のデータの値の標準偏差を前記統計量として求め、前記所定の基準値に最も近い標準偏差が得られる前記距離に基づいて、前記入力データより複数のデータを抽出する抽出距離を決定する
ことを特徴とする請求項１１に記載のデータ処理装置。 - 前記決定手段は、前記出力データを、それぞれに複数の注目教師データを有するブロック単位とし、所定のブロック内にある前記複数の注目教師データそれぞれについて得られる前記複数のデータの前記標準偏差の平均を前記統計量とし、当該統計量と前記所定の基準値とを比較することにより、そのブロック内の注目教師データについて前記生徒データより前記複数のデータを抽出する抽出距離を決定する
ことを特徴とする請求項１２に記載のデータ処理装置。 - 前記所定の基準値を求める基準値算出手段をさらに含む
ことを特徴とする請求項１１に記載のデータ処理装置。 - 前記基準値算出手段は、前記複数種類の距離に対応する前記複数のデータに対応するクラスコードについて得られる前記予測係数で前記教師データを予測した結果、最適に予測できる前記距離に対応する複数のデータより求められる統計量を、前記所定の基準値として求める
ことを特徴とする請求項１４に記載のデータ処理装置。 - 前記教師データおよび生徒データは、画像データである
ことを特徴とする請求項１１記載のデータ処理装置。 - 前記抽出手段は、前記生徒データとしての画像データから、前記注目教師データとしての画素に対して、空間的または時間的に周辺にある画素を抽出する
ことを特徴とする請求項１１に記載のデータ処理装置。 - 入力データを処理し、その入力データに対する出力データを予測するのに用いる予測係数を学習するデータ処理装置のデータ処理方法であって、
前記データ処理装置は、
前記予測係数の学習のための教師となる教師データに対して、前記入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成手段と、
前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定する決定手段と、
予測値を求めようとする前記教師データである注目教師データについて、前記決定手段により決定された抽出距離に対応する複数のデータを、前記生徒データから抽出する抽出手段と、
前記抽出手段において抽出された複数のデータの値のパターンに基づき、前記注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、
前記抽出手段において抽出された複数のデータを用いて、前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、前記距離に対応する複数のデータに基づくクラスコード毎に求める演算手段と
を含み、
前記生成手段は、前記予測係数の学習のための教師となる教師データに対して、前記入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、
前記決定手段は、前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定し、
前記抽出手段は、予測値を求めようとする前記教師データである注目教師データについて、前記決定手段により決定された抽出距離に対応する複数のデータを、前記生徒データから抽出し、
前記クラス分類手段は、前記抽出手段において抽出された複数のデータの値のパターンに基づき、前記注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、
前記演算手段は、前記抽出手段において抽出された複数のデータを用いて、前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、前記距離に対応する複数のデータに基づくクラスコード毎に求める
ステップを含むことを特徴とするデータ処理方法。 - 入力データを処理し、その入力データに対する出力データを予測するのに用いる予測係数を学習するデータ処理を行うためのプログラムを、コンピュータに実行させる媒体であって、
前記予測係数の学習のための教師となる教師データに対して、前記入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成ステップと、
前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定する決定ステップと、
予測値を求めようとする前記教師データである注目教師データについて、前記決定ステップにより決定された抽出距離に対応する複数のデータを、前記生徒データから抽出する抽出ステップと、
前記抽出ステップにおいて抽出された複数のデータの値のパターンに基づき、前記注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、
前記抽出ステップにおいて抽出された複数のデータを用いて、前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、前記距離に対応する複数のデータに基づくクラスコード毎に求める演算ステップと
を含むことを特徴とするプログラムを、前記コンピュータに実行させる媒体。 - 入力データを処理して、その入力データに対する出力データを予測する第１の装置と、
前記出力データを予測するのに用いる予測係数を学習する第２の装置と
を備えるデータ処理装置であって、
前記第１の装置は、
前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定する第１の決定手段と、
予測値を求めようとする前記出力データである注目出力データについて、前記第１の決定手段により決定された抽出距離に対応する複数のデータを、前記入力データから抽出する第１の抽出手段と、
前記第１の抽出手段において抽出された複数のデータの値のパターンに基づき、前記注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力する第１のクラス分類手段と、
前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、前記距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、前記第１の抽出手段において抽出された第１の複数のデータと前記クラスコードに対応する予測係数との線形一次結合により、前記注目出力データの予測値を求める予測手段と
を備え、
前記第２の装置は、
前記予測係数の学習のための教師となる教師データに対して、前記入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成手段と、
前記入力データから、予測値を求めようとする前記出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、前記距離を変えながらそれぞれ読み出し、前記複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、前記複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、前記所定の基準値に最も近い統計量が得られる前記距離を、前記入力データより複数のデータを抽出する抽出距離として決定する第２の決定手段と、
予測値を求めようとする前記教師データである注目教師データについて、前記第２の決定手段により決定された抽出距離に対応する第２の複数のデータを、前記生徒データから抽出する第２の抽出手段と、
前記第２の抽出手段において抽出された複数のデータの値のパターンに基づき、前記注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力する第２のクラス分類手段と、
前記第２の抽出手段において抽出された第２の複数のデータを用いて、前記所定の基準値に最も近い統計量が得られる前記距離に対応する複数のデータとしての、前記入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、前記距離に対応する複数のデータに基づくクラスコード毎に求める演算手段と
を備え、
前記第１の装置において前記注目出力データの予測値を求めるのに用いられる予測係数は、前記第２の装置により予め学習されている
ことを特徴とするデータ処理装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16052899A JP4135045B2 (ja) | 1999-06-08 | 1999-06-08 | データ処理装置およびデータ処理方法、並びに媒体 |
| US09/587,865 US6678405B1 (en) | 1999-06-08 | 2000-06-06 | Data processing apparatus, data processing method, learning apparatus, learning method, and medium |
| EP00304812A EP1061473A1 (en) | 1999-06-08 | 2000-06-07 | Method and apparatus for classification-adaptive data processing |
| CNB001264370A CN1190963C (zh) | 1999-06-08 | 2000-06-08 | 数据处理装置和方法,学习装置和方法 |
| KR1020000031365A KR100746839B1 (ko) | 1999-06-08 | 2000-06-08 | 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16052899A JP4135045B2 (ja) | 1999-06-08 | 1999-06-08 | データ処理装置およびデータ処理方法、並びに媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000348019A JP2000348019A (ja) | 2000-12-15 |
| JP4135045B2 true JP4135045B2 (ja) | 2008-08-20 |
Family
ID=15716925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16052899A Expired - Fee Related JP4135045B2 (ja) | 1999-06-08 | 1999-06-08 | データ処理装置およびデータ処理方法、並びに媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4135045B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4038812B2 (ja) | 2001-12-27 | 2008-01-30 | ソニー株式会社 | データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム |
| JP4066146B2 (ja) | 2002-04-26 | 2008-03-26 | ソニー株式会社 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
| US7164807B2 (en) * | 2003-04-24 | 2007-01-16 | Eastman Kodak Company | Method and system for automatically reducing aliasing artifacts |
| JP4872862B2 (ja) * | 2006-09-28 | 2012-02-08 | ソニー株式会社 | 画像データ演算装置および方法、プログラム、並びに記録媒体 |
| JP4825748B2 (ja) * | 2007-07-13 | 2011-11-30 | 株式会社モルフォ | 画像データ処理方法および撮像装置 |
| JP4882999B2 (ja) * | 2007-12-21 | 2012-02-22 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および学習装置 |
-
1999
- 1999-06-08 JP JP16052899A patent/JP4135045B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000348019A (ja) | 2000-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5526446A (en) | Noise reduction system | |
| KR100746839B1 (ko) | 데이터 처리 장치, 데이터 처리 방법, 학습 장치, 학습방법, 및 매체 | |
| JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| US20120321214A1 (en) | Image processing apparatus and method, program, and recording medium | |
| JPH0944657A (ja) | 画像処理方法および装置 | |
| JP4517409B2 (ja) | データ処理装置およびデータ処理方法 | |
| JP4611535B2 (ja) | 符号化された画像を評価するための処理、装置及び、使用 | |
| JPH09212650A (ja) | 動きベクトル検出装置および検出方法 | |
| JP4324825B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP4135045B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP2003526233A (ja) | 分類適応誤り回復方法及び装置 | |
| JP3702464B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| KR100816593B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
| JP2003319348A (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP3849817B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4035895B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP2002536935A (ja) | 複合分類に基づく適応分類タップ選択方法及び装置 | |
| JP2001222702A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP4442076B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| US20040234160A1 (en) | Data converting apparatus and data converting method, learning device and learning method, and recording medium | |
| JP4096281B2 (ja) | 画像処理装置および画像処理方法、並びに媒体 | |
| EP1583030A1 (en) | Image magnification device and image magnification method | |
| JP2007251690A (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| JP4240674B2 (ja) | 動き検出装置および動き検出方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070625 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080118 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080508 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080521 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |