JP4362895B2 - データ処理装置およびデータ処理方法、並びに記録媒体 - Google Patents
データ処理装置およびデータ処理方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4362895B2 JP4362895B2 JP17429599A JP17429599A JP4362895B2 JP 4362895 B2 JP4362895 B2 JP 4362895B2 JP 17429599 A JP17429599 A JP 17429599A JP 17429599 A JP17429599 A JP 17429599A JP 4362895 B2 JP4362895 B2 JP 4362895B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- prediction
- error
- coefficients
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、S/N(Signal to Noise Ratio)の低い低S/N画像を、S/Nの高い高S/N画像に変換すること等ができるようにするデータ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像のS/Nや解像度等の画質の向上、その他の画像の改善を行うための処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【０００４】
即ち、適応処理では、例えば、低S/N画像（クラス分類適応処理の処理対象の画像）を構成する画素（以下、適宜、低S/N画素という）と、所定の予測係数との線形結合により、その低S/N画像のS/Nが劣化する前の原画像である高S/N画像の画素の予測値を求めることで、その低S/N画像に含まれるノイズを除去した画像や、低S/N画像に生じているぼけを改善した画像等が得られるようになっている。
【０００５】
具体的には、例えば、いま、原画像（ここでは、例えば、ノイズを含まない画像や、ぼけのない画像等）を教師データとするとともに、その原画像にノイズを重畳したり、あるいはぼかしを付加した低S/N画像を生徒データとして、原画像を構成する画素（以下、適宜、原画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの低S/N画素（低S/N画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００６】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
式（１）を一般化するために、予測係数ｗの集合でなる行列Ｗ、生徒データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【０００７】
【数１】
で定義すると、次のような観測方程式が成立する。
【０００８】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、i件目の生徒データの集合（i件目の教師データｙiの予測に用いる生徒データの集合）の中のj番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のj番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、i件目の教師データを表し、従って、Ｅ［ｙi］は、i件目の教師データの予測値を表す。
【０００９】
そして、この観測方程式に最小自乗法を適用して、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる原画素の真の画素値（真値）ｙの集合でなる行列Ｙ、および原画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００１０】
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００１１】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
この場合、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【００１２】
【数３】
を最小にすることで求めることができる。
【００１３】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】
・・・（４）
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００１５】
【数５】
・・・（５）
式（４）および（５）より、式（６）が得られる。
【００１６】
【数６】
・・・（６）
さらに、式（３）の残差方程式における生徒データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００１７】
【数７】
・・・（７）
式（７）の正規方程式を構成する各式は、生徒データｘおよび教師データｙを、ある程度の数だけ用意することで、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００１８】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００１９】
なお、適応処理は、低S/N画像には含まれていないが、原画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、原画像に含まれる成分を再現することができる。即ち、容易に、高S/Nの画像を得ることができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができ、従って、低S/N画像からノイズやぼけを除去した原画像の予測値を求める他、例えば、低解像度または標準解像度の画像を、高解像度の画像に変換するような場合にも用いることができる。
【００２０】
図１は、以上のようなクラス分類適応処理により、低S/N画像を高S/N画像に変換する画像処理装置の一例の構成を示している。
【００２１】
フレームメモリ１には、処理の対象となる低S/N画像が順次供給されるようになっており、フレームメモリ１は、そこに入力される低S/N画像を、例えば、フレーム単位で一時記憶するようになされている。なお、フレームメモリ１は、複数フレームの低S/N画像を、バンク切換によって記憶することができるようになっており、これにより、そこに入力される低S/N画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００２２】
クラスタップ生成回路２は、クラス分類適応処理により、予測値を求めようとする原画素（原画素は、ここでは現実に存在しないから、想定することになる）を、注目原画素として、その注目原画素についてのクラス分類に用いる低S/N画素を、フレームメモリ１に記憶された低S/N画像から抽出し、これを、クラスタップとして、クラス分類回路４に出力する。即ち、クラスタップ生成回路２は、例えば、注目原画素に対して、空間的または時間的に近い位置にある幾つかの低S/N画素を、フレームメモリ１から読み出し、これを、クラスタップとして、クラス分類回路４に出力する。
【００２３】
クラス分類回路４は、クラスタップ生成回路２からのクラスタップに基づいて、注目原画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数RAM５に対して、アドレスとして与える。即ち、クラス分類回路４には、クラスタップ生成回路２からクラスタップを、例えば、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、係数RAM５に出力する。
【００２４】
ここで、KビットADRC処理においては、例えば、クラスタップを構成する低S/N画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する低S/N画素がKビットに再量子化される。即ち、クラスタップを構成する画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各低S/N画素の画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各画素についての１ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００２５】
係数RAM５は、後述する図２の学習装置において学習が行われることにより得られるクラスごとの予測係数のセットを記憶しており、クラス分類回路４からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されている予測係数のセットを読み出し、予測演算回路６に供給する。
【００２６】
一方、予測タップ生成回路３は、予測演算回路６において注目原画素の予測値を求めるのに用いる低S/N画素を、フレームメモリ１に記憶された低S/N画像から抽出し、これを予測タップとして、予測演算回路６に供給する。即ち、予測タップ生成回路３は、注目原画素について、例えば、クラスタップと同一構成の予測タップを構成し、予測演算回路６に出力する。
【００２７】
予測演算回路６は、係数RAM５から供給される、注目画素のクラスについての予測係数ｗ，ｗ2，・・・のセットと、予測タップ生成回路３からの予測タップ（を構成する各画素の画素値）ｘ1，ｘ2，・・・とを用いて、式（１）に示した演算を行うことにより、注目原画素ｙの予測値Ｅ［ｙ］を求め、これを、低S/N画素のS/Nを改善した高S/N画素の画素値として出力する。
【００２８】
次に、図２は、図１の係数RAM５に記憶させるクラスごとの予測係数のセットを求める学習装置の一例の構成を示している。
【００２９】
学習装置には、教師データとしての原画像（ここでは、例えば、高S/Nの動画像）が、フレーム単位で供給されるようになっており、その原画像は、図１のフレームメモリ１と同様に構成されるフレームメモリ１１において順次記憶されていく。また、フレームメモリ１１に記憶された原画像としての高S/N画像は、ダウンコンバータ１２に供給され、そこで、例えば、ノイズが付加されることにより、低S/N画像とされる。
【００３０】
ダウンコンバータ１２で得られた低S/N画像は、生徒データとして、図１のフレームメモリ１と同様に構成されるフレームメモリ１３に順次供給されて記憶される。
【００３１】
以上のようにして、学習処理のために用意されたすべての原画像に対応する低S/N画像が、フレームメモリ１３に記憶されると、クラスタップ生成回路１４または予測タップ生成回路１５では、図１のクラスタップ生成回路２または予測タップ生成回路３における場合と同様に、予測値を求めようとする注目原画素についてのクラスタップまたは予測タップを構成させる低S/N画素が、フレームメモリ１１から読み出され、クラスタップまたは予測タップがそれぞれ構成される。クラスタップはクラス分類回路１６に供給され、また、予測タップは、加算回路１７および１９にそれぞれ供給される。
【００３２】
クラス分類回路１６では、図１のクラス分類回路４における場合と同様にして、クラスタップ生成回路１４からのクラスタップを用いて、注目原画素がクラス分類され、そのクラス分類結果としてのクラスコードが、予測タップメモリ１８および教師データメモリ２０に対して、アドレスとして与えられる。
【００３３】
そして、加算回路１７または１９それぞれにおいて、予測タップ（生徒データ）、教師データの足し込みが行われる。
【００３４】
即ち、予測タップメモリ１８は、クラス分類回路１６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路１７に供給する。加算回路１７は、予測タップメモリ１８から供給される記憶値と、予測タップ生成回路１５から供給されるの予測タップを構成する低S/N画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路１７は、その演算結果を、クラス分類回路１６が出力するクラスコードに対応する、予測タップメモリ１８のアドレスに、上書きする形で記憶させる。
【００３５】
さらに、教師データメモリ２０は、クラス分類回路１６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路１９に供給する。加算回路１９は、フレームメモリ１１から、注目原画素を読み出し、その注目原画素、さらには、予測タップ生成回路１５からの予測タップを構成する低S/N画素、および教師データメモリ２０から供給された記憶値とを用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路１９は、その演算結果を、クラス分類回路１６が出力するクラスコードに対応する、教師データメモリ２０のアドレスに、上書きする形で記憶させる。
【００３６】
なお、加算回路１７および１９では、式（７）における乗算も行われる。即ち、加算器１７では、予測タップを構成する低S/N画素ｘどうしの乗算も行われ、また、加算器１９では、予測タップを構成する低S/N画素ｘと、教師データ（注目原画素）ｙとの乗算も行われる。
【００３７】
学習装置では、以上の処理が、フレームメモリ１１に記憶された原画素すべてを、順次、注目原画素として行われる。
【００３８】
そして、原画素すべてについて、上述の処理が終了すると、演算回路２１は、予測タップメモリ１８または教師データメモリ２０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数のセットを求める。
【００３９】
なお、以上のような予測係数の学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトの予測係数を出力するようにすること等が可能である。
【００４０】
次に、図３は、上述のクラス分類適応処理を利用した画像伝送装置の一例の構成を示している。
【００４１】
この画像伝送装置では、符号化器３１において、高S/N画像が符号化されて符号化データとされ、復号器４１において、その符号化データが、元の高S/N画像（の予測値）に復号されるようになされている。
【００４２】
即ち、符号化器３１は、ダウンコンバータ３２で構成され、そこには、符号化対象である高S/N画像（のディジタルデータ）（動画または静止画のいずれであってもかまわない）が入力されるようになっている。ダウンコンバータ３２では、そこに入力される高S/N画像が、例えば、LPF(Low Pass Filter)でフィルタリング等され、低S/N画像とされる。この低S/N画像は、符号化データとして出力され、例えば、衛星回線やインターネット、地上波等の伝送媒体５１を介して伝送され、あるいは、例えば、光ディスクや、光磁気ディスク、磁気ディスク、磁気テープ、光カード、半導体メモリ等の記録媒体５２に記録される。
【００４３】
伝送媒体５１を介して伝送され、あるいは、記録媒体５２から再生される符号化データとしての低S/N画像は、復号器４１に供給される。復号器４１は、クラス分類適応処理回路４２で構成され、このクラス分類適応処理回路４２は、図１に示した画像処理装置と同様に構成されている。従って、クラス分類適応処理回路４２では、そこに入力される符号化データとしての低S/N画像に対して、図１における場合と同様のクラス分類適応処理が施され、これにより、高S/N画像に変換されて出力される。
【００４４】
【発明が解決しようとする課題】
ところで、図２の学習装置では、クラス分類回路１６において、クラスタップをADRC処理することで、注目原画素がクラス分類され、その後、そのクラスごとに正規方程式をたてることで、クラスごとの予測係数のセットが求められる。
【００４５】
即ち、学習装置では、各クラスごとに、原画素について構成される予測タップから、予測誤差（予測値の、原画素に対する誤差）の自乗和を最小にする予測係数のセットが求められる。その結果、あるクラスに注目すれば、そのクラスに分類される各原画素に対する予測誤差を最小にする予測係数のセットではなく、その予測誤差の総和を最小にする予測係数のセットが求められるため、図１の画像処理装置において、あるクラスに分類される原画素について、そのクラスに対応する予測係数のセットを用いて予測値を求めた場合、ごく小さな予測誤差の予測値（あるいは、予測誤差のない予測値）が得られることもあるが、それほど小さくない予測誤差の予測値が得られることもある。
【００４６】
従って、予測係数のセットを、上述したようなクラス分類の結果得られるクラスごとに求めることは、必ずしも、低S/N画像を高S/N画像に変換するための、最適な予測係数のセットを得る方法であるとはいえないことがある。
【００４７】
本発明は、このような状況に鑑みてなされたものであり、例えば、低S/N画像を高S/N画像に変換する等、画像を改善するために、最適な予測係数を求めることができるようにするとともに、そのような予測係数を用いて、より改善された画像を得ることができるようにするものである。
【００４８】
【課題を解決するための手段】
本発明の第１の側面のデータ処理装置は、第１のデータから、第２のデータを生成する生成手段と、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する予測用データ抽出手段と、第１のデータを予測するのに用いる複数セットの予測係数を記憶している予測係数記憶手段と、予測用データおよび所定の予測係数のセットを用いて、注目第１データの予測値を求める予測値演算手段と、予測値の、注目第１データに対する予測誤差を求める予測誤差演算手段と、予測誤差を最小にする予測係数のセットを検出する検出手段と、予測誤差を最小にする予測係数のセットを識別するための識別情報を記憶する識別情報記憶手段と、第２のデータとともに、識別情報を出力する出力手段とを含み、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているデータ処理装置である。
【００５２】
本発明の第１の側面のデータ処理方法は、第１のデータから、第２のデータを生成する生成ステップと、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する予測用データ抽出ステップと、第１のデータを予測するのに用いる複数セットの予測係数を記憶している予測係数記憶手段に記憶されている所定の予測係数のセットと、予測用データとを用いて、注目第１データの予測値を求める予測値演算ステップと、予測値の、注目第１データに対する予測誤差を求める予測誤差演算ステップと、予測誤差を最小にする予測係数のセットを検出する検出ステップと、予測誤差を最小にする予測係数のセットを識別するための識別情報を記憶する識別情報記憶ステップと、第２のデータとともに、識別情報を出力する出力ステップとを含み、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているデータ処理方法である。
【００５３】
本発明の第１の側面の記録媒体は、第１のデータから、第２のデータを生成する生成ステップと、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する予測用データ抽出ステップと、第１のデータを予測するのに用いる複数セットの予測係数を記憶している予測係数記憶手段に記憶されている所定の予測係数のセットと、予測用データとを用いて、注目第１データの予測値を求める予測値演算ステップと、予測値の、注目第１データに対する予測誤差を求める予測誤差演算ステップと、予測誤差を最小にする予測係数のセットを検出する検出ステップと、予測誤差を最小にする予測係数のセットを識別するための識別情報を記憶する識別情報記憶ステップと、第２のデータとともに、識別情報を出力する出力ステップとを含むデータ処理を、コンピュータに実行させるプログラムであり、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているプログラムが記録された記録媒体である。
【００５４】
本発明の第２の側面のデータ処理装置は、入力されたデータから、第２のデータと、複数セットの予測係数の各セットを識別するための識別情報とを分離する分離手段と、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する予測用データ抽出手段と、識別情報に基づき、複数セットの予測係数の中から、注目第１データを予測するのに用いるものを選択し、その予測係数のセットと、予測用データとを用いて、注目第１データの予測値を求める予測値演算手段とを含み、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているデータ処理装置である。
【００５８】
本発明の第２の側面のデータ処理方法は、入力されたデータから、第２のデータと、複数セットの予測係数の各セットを識別するための識別情報とを分離する分離ステップと、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する予測用データ抽出ステップと、識別情報に基づき、複数セットの予測係数の中から、注目第１データを予測するのに用いるものを選択し、その予測係数のセットと、予測用データとを用いて、注目第１データの予測値を求める予測値演算ステップとを含み、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているデータ処理方法である。
【００５９】
本発明の第２の側面の記録媒体は、入力されたデータから、第２のデータと、複数セットの予測係数の各セットを識別するための識別情報とを分離する分離ステップと、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する予測用データ抽出ステップと、識別情報に基づき、複数セットの予測係数の中から、注目第１データを予測するのに用いるものを選択し、その予測係数のセットと、予測用データとを用いて、注目第１データの予測値を求める予測値演算ステップとを含むデータ処理を、コンピュータに実行させるプログラムであり、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているプログラムが記録された記録媒体である。
【００６０】
本発明の第３の側面のデータ処理装置は、第１のデータから、第２のデータを生成する生成手段と、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する第１の予測用データ抽出手段と、第１のデータを予測するのに用いる複数セットの予測係数を記憶している予測係数記憶手段と、予測用データおよび所定の予測係数のセットを用いて、注目第１データの予測値を求める予測値演算手段と、予測値の、注目第１データに対する予測誤差を求める予測誤差演算手段と、予測誤差を最小にする予測係数のセットを検出する検出手段と、予測誤差を最小にする予測係数のセットを識別するための識別情報を記憶する識別情報記憶手段と、第２のデータとともに、識別情報を出力する出力手段と、入力されたデータから、第２のデータと識別情報とを分離する分離手段と、注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する第２の予測用データ抽出手段と、識別情報に基づき、複数セットの予測係数の中から、注目第１データを予測するのに用いるものを選択し、その予測係数のセットと、予測用データとを用いて、注目第１データの予測値を求める予測値演算手段とを含み、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているデータ処理装置である。
【００７６】
本発明の第１の側面においては、第１のデータから、第２のデータが生成され、注目している第１のデータである注目第１データを予測するのに用いる予測用データが、第２のデータから抽出される。さらに、予測係数記憶手段に記憶されている所定の予測係数のセットと、予測用データとを用いて、注目第１データの予測値が求められ、その予測値の、注目第１データに対する予測誤差が求められる。その後、予測誤差を最小にする予測係数のセットが検出され、その予測誤差を最小にする予測係数のセットを識別するための識別情報が記憶される。そして、第２のデータとともに、識別情報が出力される。前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている。
【００７７】
本発明の第２の側面においては、入力されたデータから、第２のデータと、複数セットの予測係数の各セットを識別するための識別情報とが分離され、注目している第１のデータである注目第１データを予測するのに用いる予測用データが、第２のデータから抽出される。そして、識別情報に基づき、複数セットの予測係数の中から、注目第１データを予測するのに用いるものが選択され、その予測係数のセットと、予測用データとを用いて、注目第１データの予測値が求められる。前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている。
【００７８】
本発明の第３の側面においては、第１のデータから、第２のデータが生成され、注目している第１のデータである注目第１データを予測するのに用いる予測用データが、第２のデータから抽出される。さらに、予測用データおよび所定の予測係数のセットを用いて、注目第１データの予測値が求められ、その予測値の、注目第１データに対する予測誤差が求められる。その後、予測誤差を最小にする予測係数のセットが検出され、その予測誤差を最小にする予測係数のセットを識別するための識別情報が記憶される。そして、第２のデータとともに、識別情報が出力される。一方、入力されたデータから、第２のデータと識別情報とが分離され、注目第１データを予測するのに用いる予測用データが、第２のデータから抽出される。そして、識別情報に基づき、複数セットの予測係数の中から、注目第１データを予測するのに用いるものが選択され、その予測係数のセットと、予測用データとを用いて、注目第１データの予測値が求められる。前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている。
【００８１】
【発明の実施の形態】
図４は、本発明を適用した画像伝送装置の一実施の形態の構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してある。即ち、図４の画像伝送装置は、符号化器３１および復号器４１で構成されており、従って、図３における場合と基本的に同様に構成されている。
【００８２】
図５は、図４の符号化器３１の構成例を示している。
【００８３】
符号化の対象となる高S/N画像は、フレームメモリ６１に供給されるようになっており、フレームメモリ６１は、そこに供給される高S/N画像を、例えば、フレーム単位で順次記憶するようになっている。なお、フレームメモリ６１は、複数フレームの画像を記憶することができるようになっており、これにより、そこに供給される高S/N画像が、動画像であっても、対処することができるようになっている。
【００８４】
ダウンコンバータ６２は、フレームメモリ６１に記憶された高S/N画像を、例えば、フレーム単位で順次読み出し、低S/N画像に変換するようになっている。即ち、ダウンコンバータ６２は、例えば、フレームメモリ６１に記憶された高S/N画像を、LPFでフィルタリングしたり、あるいはノイズを付加することで、低S/N画像に変換するようになっている。この低S/N画像は、フレームメモリ６３に供給されるようになっている。
【００８５】
なお、ここでは、ダウンコンバータ６２から出力される低S/N画像を構成する画素数は、そこに入力される高S/N画像を構成する画素数と変わらない（位置関係も変わらない）ものとする。但し、本発明は、低S/N画像の画素数が、高S/N画像の画素数よりも少ない場合にも適用可能である。
【００８６】
フレームメモリ６３は、フレームメモリ６１と同様に構成され、ダウンコンバータ６２が出力する低S/N画像を、例えば、フレーム単位で順次記憶するようになっている。
【００８７】
予測タップ生成回路６４は、図１の予測タップ生成回路３と同様に、予測タップを構成するようになっている。即ち、予測タップ生成回路６４は、フレームメモリ６１に記憶された高S/N画像の、あるフレームに注目し、その注目フレームを構成する各画素（高S/N画素）を、順次、注目画素として、その注目画素（と同一位置にある低S/N画素）の空間的または時間的周辺にある低S/N画像の画素を、フレームメモリ６３から読み出し、これを、予測タップとして、予測演算回路６５に供給するようになっている。
【００８８】
予測演算回路６５には、予測タップ生成回路６４から予測タップが供給される他、係数RAM６８から、所定の予測係数のセットが供給されるようになっている。そして、予測演算回路６５は、そこに供給される予測タップと予測係数のセットとを用いて、式（１）に示した線形予測式を演算することで、注目画素の予測値を求め、誤差計算回路６６に供給するようになっている。
【００８９】
誤差計算回路６６は、フレームメモリ６１から、注目画素となっている高S/N画素（の画素値）を読み出し、その注目画素に対する、予測演算回路６５からの予測値の予測誤差（ここでは、例えば、注目画素と予測値との差分値とし、また、予測誤差の大小は、その絶対値をとったときの大小を意味するものとする）を求め、比較部６７に供給するようになっている。
【００９０】
比較部６７は、誤差計算回路６６から供給される注目画素の予測値の予測誤差と、誤差／識別情報記憶部６９に記憶された予測誤差とを比較し、その比較結果に基づいて、誤差／識別情報記憶部６９の記憶値を変更するようになっている。さらに、比較部６７は、係数RAM６８に、後述する識別情報をアドレスとして与え、そのアドレスに記憶されている予測係数のセットを、予測演算回路６５に供給させるようになっている。
【００９１】
係数RAM６８は、後述する図９の学習装置による学習処理によって得られる複数の予測係数のセットを記憶している。なお、係数RAM６８では、複数の予測係数のセットそれぞれが、各セットを識別するための識別情報に対応するアドレスに記憶されている。
【００９２】
誤差／識別情報記憶部６９は、比較部６７から供給される、高S/N画素の予測値の予測誤差と、その予測値を得るときに用いられた予測係数のセットの識別情報とを対応付けて記憶するようになっている。
【００９３】
重畳部７０は、フレームメモリ６３に記憶された、注目フレームに対応する低S/N画像のフレームを読み出し、その低S/N画像の各低S/N画素に、その低S/N画素に対応する高S/N画素の予測値を得るときに用いられた予測係数のセットの識別情報を、誤差／識別情報記憶部６９から読み出して対応付け、符号化データとして出力するようになっている。
【００９４】
なお、重畳部７０における低S/N画素と識別情報との対応付けは、例えば、低S/N画素の画素値としてのビット列に、対応する識別情報としてのビット列を付加することで行っても良いし、また、低S/N画素の画素値としてのビット列の下位ビットを、対応する識別情報としてのビット列に置き換えることで行っても良い。
【００９５】
次に、図６のフローチャートを参照して、図５の符号化器３１で行われる高S/N画像の符号化処理について説明する。
【００９６】
符号化対象としての高S/N画像は、フレームメモリ６１に順次供給され、フレームメモリ６１では、そこに供給される高S/N画像が、フレーム単位で順次記憶されていく。
【００９７】
そして、ステップＳ１において、ダウンコンバータ６２は、フレームメモリ６１に記憶された高S/N画像の所定のフレームを、注目フレームとして読み出し、低S/N画像に変換する。この低S/N画像は、フレームメモリ６３に供給されて記憶される。
【００９８】
さらに、ステップＳ１では、誤差／識別情報記憶部６７の記憶値が初期化される。即ち、誤差／識別情報記憶部６７に記憶された予測誤差は、所定の大きな値に初期化され、識別情報は、識別情報として取り得ない値に初期化される。
【００９９】
その後、ステップＳ２に進み、比較部６７は、今回の処理で用いる予測係数のセットを決定し、その決定した予測係数のセット（以下、適宜、決定予測係数のセットという）の識別情報を、係数RAM６８に出力する。これにより、係数RAM６８からは、決定予測係数のセットが読み出され、予測演算回路６５に供給される。
【０１００】
そして、ステップＳ３に進み、予測タップ生成回路６４では、注目フレームの所定の高S/N画素を注目画素として、その注目画素についての予測タップを、フレームメモリ６３に記憶された低S/N画素を読み出すことで構成する。この予測タップは、予測演算回路６５に供給され、予測演算回路６５では、ステップＳ４において、予測タップ生成回路６４からの予測タップと、決定予測係数のセットとを用いて、注目画素の予測値が演算される。この予測値は、予測演算回路６５から誤差計算回路６６に供給される。
【０１０１】
誤差計算回路６６では、ステップＳ５において、予測演算回路６５からの予測値の予測誤差が計算され、比較部６７に供給される。比較部６７では、ステップＳ６において、その今回得られた予測誤差（以下、適宜、今回の誤差という）が、誤差／識別情報記憶部６９に記憶されている注目画素の予測誤差（以下、適宜、記憶誤差という）より小さいかどうか（記憶誤差以下であるかどうか）が判定される。
【０１０２】
ステップＳ６において、今回の誤差が、記憶誤差よりも小さいと判定された場合、即ち、注目画素について、今回の予測係数のセット（直前のステップＳ２で係数RAM６８から読み出された予測係数のセット）を用いて得られた予測値の予測誤差の方が、それまでに得られた予測値の予測誤差（それまでに係数RAM６８から読み出された予測係数のセットを用いて得られた予測値の予測誤差）よりも小さく、従って、今回の予測係数のセットを用いた方が、より注目画素に近い予測値が得られる場合、ステップＳ７に進み、比較部６７は、誤差／識別情報記憶部６９の記憶内容を更新し、ステップＳ８に進む。
【０１０３】
即ち、比較部６７は、今回の誤差と、今回の予測係数のセットの識別情報とを対応付け、注目画素について記憶されていた予測誤差とそれに対応付けられていた識別情報に替えて、誤差／識別情報記憶部６９に、新たに記憶させる（上書きする）。
【０１０４】
一方、ステップＳ６において、今回の誤差が、記憶誤差よりも小さくないと判定された場合、ステップＳ７をスキップして、ステップＳ８に進み、注目フレームの中に、次に注目画素とすべき高S/N画素が、まだあるかどうかが判定される。ステップＳ８において、注目フレームの中に、次に注目画素とすべき高S/N画素があると判定された場合、その高S/N画素が、新たに注目画素とされ、ステップＳ３に戻り、以下、同様の処理が繰り返される。
【０１０５】
また、ステップＳ８において、注目フレームの中に、次に注目画素とすべき高S/N画素がないと判定された場合、即ち、注目フレームのすべての高S/N画素を注目画素として、決定予測係数のセットを用いた予測値の計算を行った場合、ステップＳ９に進み、係数RAM６８に記憶されたすべての予測係数のセットを用いて、注目フレームについて、予測値の計算を行ったかどうかが判定される。
【０１０６】
ステップＳ９において、注目フレームについて、係数RAM６８に記憶されたすべての予測係数のセットを用いて、予測値の計算を、まだ行っていないと判定された場合、ステップＳ２に戻り、比較部６７は、係数RAM６８に記憶された複数の予測係数のセットのうち、注目フレームについて、まだ、決定予測係数のセットとしていないものを、新たに決定予測係数のセットとして決定する。そして、以下、ステップＳ３以降の処理が繰り返される。
【０１０７】
一方、ステップＳ９において、係数RAM６８に記憶されたすべての予測係数のセットを用いて、注目フレームについて、予測値の計算を行ったと判定された場合、即ち、注目フレームを構成する各高S/N画素について、その予測値の予測誤差を最も小さくする予測係数のセットの識別情報が、誤差／識別情報記憶部６９に記憶された場合、ステップＳ１０に進み、重畳部７０は、フレームメモリ６３に記憶された、注目フレームに対応する低S/N画像のフレームと、誤差／識別情報記憶部６９に記憶された、注目フレームの高S/N画素それぞれに対応する識別情報とを読み出し、両者を対応付けて（注目フレームの各高S/N画素と同一位置にある低S/N画素と、その高S/N画素に対応する識別情報とを対応付けて）、符号化データとして出力する。
【０１０８】
そして、ステップＳ１１に進み、フレームメモリ６１に、次に処理すべき高S/N画像のフレームが記憶されているかどうかが判定され、記憶されていると判定された場合、その次に処理すべき高S/N画像のフレームを、新たに、注目フレームとして、ステップＳ１に戻り、以下、同様の処理を繰り返す。
【０１０９】
また、ステップＳ１１において、フレームメモリ６１に、次に処理すべき高S/N画像のフレームが記憶されていないと判定された場合、符号化処理を終了する。
【０１１０】
以上のように、符号化器３１では、複数の予測係数のセットの中から、各高S/N画素の予測誤差を最小にするものを検出し、その予測係数のセットの識別情報を、低S/N画素とともに出力するようにしたので、復号器４１において、その識別情報に対応する予測係数のセットを用いて適応処理を行うことで、低S/N画素を、予測誤差の小さい高S/N画素に変換することが可能となる。
【０１１１】
即ち、図７は、そのようにして低S/N画素を高S/N画素に変換する、図４の復号器４１の構成例を示している。
【０１１２】
分離部７１には、符号化データが入力されるようになっており、分離部７１は、そこに入力される符号化データを、低S/N画像と、識別情報とに分離して出力するようになっている。フレームメモリ７２は、図５のフレームメモリ６１と同様に構成され、分離部７１が出力する低S/N画像を、例えば、１フレーム単位で記憶するようになっている。
【０１１３】
予測タップ生成回路７３は、予測値を求めようとする高S/N画素を注目画素とし、その注目画素について、図５の予測タップ生成回路６４における場合と同様に、フレームメモリ７２に記憶された低S/N画素を用いて予測タップを構成し、予測演算回路７４に出力するようになっている。識別情報記憶部７５は、分離部７１が出力する、低S/N画像の低S/N画素に付加されていた識別情報を記憶し、注目画素と同一位置にある低S/N画素に対応付けられていた識別情報を、アドレスとして、係数RAM７６に供給するようになっている。
【０１１４】
係数RAM７６は、図５の係数RAM６８に記憶されている予測係数のセットと同一の予測係数のセットを記憶しており、識別情報記憶部７５から供給される識別情報に対応する予測係数のセットを、予測演算回路７４に供給するようになっている。
【０１１５】
予測演算回路７４は、予測タップ生成回路７３からの予測タップと、係数RAM７６からの予測係数のセットとを用いて、式（１）の線形予測式を演算することにより、注目画素である高S/N画素の予測値を求めて出力するようになっている。
【０１１６】
次に、図８のフローチャートを参照して、図７の復号器４１で行われる低S/N画像の復号処理（低S/N画像を、高S/N画像（の予測値）に変換する処理）について説明する。
【０１１７】
分離部７１では、符号化データが、順次受信される。そして、ステップＳ２１において、分離部７１は、符号化データを、低S/N画像と識別情報とに分離し、低S/N画像は、フレームメモリ７２に供給して記憶させ、識別情報は、識別情報記憶部７２に供給して記憶させる。
【０１１８】
その後、予測タップ生成回路７３では、フレームメモリ７２に記憶された低S/N画像に対応する高S/N画像のフレームが注目フレームとされ、その注目フレームの所定の高S/N画素が注目画素とされる。そして、ステップＳ２２において、予測タップ生成回路７３は、フレームメモリ７２から必要な低S/N画素を読み出すことで、注目画素についての予測タップを構成し、予測演算回路７４に出力する。
【０１１９】
さらに、ステップＳ２２では、識別情報記憶部７５において、注目画素に対応する識別情報が読み出され、係数RAM７６に対して、アドレスとして与えられる。これにより、係数RAM７６では、注目画素に対応する識別情報によって特定される予測係数のセットが読み出され、予測演算回路７４に供給される。
【０１２０】
予測演算回路７４では、ステップＳ２３において、予測タップ生成回路７３からの予測タップと、係数RAM７６からの予測係数のセットとを用いて、式（１）の線形予測式が演算され、これにより、注目画素の予測値が求められて出力される。ここで、この予測値は、上述したことから、係数RAM７６に記憶されている複数の予測係数のセットそれぞれを用いて、注目画素を線形予測した場合に、その予測誤差が最も小さくなるものとなっているから、予測誤差が最小の予測値が得られることになる。
【０１２１】
その後、ステップＳ２４に進み、注目フレームの中に、次に注目画素とすべき高S/N画素が、まだあるかどうかが判定される。ステップＳ２４において、注目フレームの中に、次に注目画素とすべき高S/N画素があると判定された場合、その高S/N画素が、新たに注目画素とされ、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１２２】
また、ステップＳ２４において、注目フレームの中に、次に注目画素とすべき高S/N画素がないと判定された場合、即ち、注目フレームのすべての高S/N画素を注目画素として、その予測値を求めた場合、ステップＳ２５に進み、次のフレームに対応する符号化データが、分離部７１に供給されたかどうかが判定される。ステップＳ２５において、次のフレームに対応する符号化データが、分離部７１に供給されたと判定された場合、そのフレームに対応する高S/N画像のフレームを、新たに注目フレームとして、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０１２３】
一方、ステップＳ２５において、次のフレームに対応する符号化データが、分離部７１に供給されていないと判定された場合、復号処理を終了する。
【０１２４】
以上のように、識別情報に対応する予測係数のセットを用いて、高S/N画素の予測値を求めるようにしたので、予測誤差の小さい予測値、即ち、よりS/Nが改善された画像を得ることができる。
【０１２５】
次に、図５の係数RAM６８および図７の係数RAM７６に記憶させる複数の予測係数のセットとしては、図２に示した学習装置によって得られるものを用いることも可能である。しかしながら、図２の学習装置では、上述したように、クラスごとに、予測係数のセットが求められるため、そのような予測係数のセットは、予測誤差をより小さくするという観点からは、必ずしも最適であるとはいえない。
【０１２６】
そこで、図９は、図５の係数RAM６８および図７の係数RAM７６に記憶させる最適な複数の予測係数のセットを求める学習を行う学習装置の一実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１２７】
適応処理回路８１には、フレームメモリ１３に記憶された生徒データとしての低S/N画像、並びに演算回路２１で得られた予測係数のセット、および係数記憶部８８に記憶された予測係数のセットが供給されるようになっており、適応処理回路８１は、その低S/N画像と、予測係数のセットとを用いて、適応処理、即ち、式（１）の線形予測式を演算し、その低S/N画像に対応する高S/N画像（教師データ）の予測値を求めるようになっている。この予測値は、誤差計算回路８２に供給されるようになっている。
【０１２８】
誤差計算回路８２には、適応処理回路８１から高S/N画像の予測値が供給される他、その高S/N画像が、フレームメモリ１１から供給されるようになっており、誤差計算回路８２は、高S/N画素に対する、その予測値の予測誤差を計算し、識別情報書き込み回路８４、誤差マスク作成回路８５、およびピンポイント拡張マスク作成回路８６に供給するようになっている。
【０１２９】
識別情報記憶部８３は、高S/N画像を構成する高S/N画素ごとに（ここでは、高S/N画像と低S/N画像の画素数は同一なので、高S/N画素ごとという場合は、低S/N画素ごとという場合に等しい）、その高S/N画素の予測値を求めるのに最適な（予測値の予測誤差を最小にする）予測係数のセットの識別情報を記憶するようになっている。
【０１３０】
識別情報書き込み回路８４は、収束判定回路８７の出力と、誤差計算回路８２からの出力に基づいて、識別情報記憶部８３に、識別情報を書き込むようになっている。
【０１３１】
誤差マスク作成回路８５は、収束判定回路８７の出力と、誤差計算回路８２からの出力に基づいて、式（７）の正規方程式におけるサメーション（Σ）の対象となっている項に対する第１の重みとしての誤差マスクを生成（変更）し、加算回路１７および１９に供給するようになっている。
【０１３２】
ピンポイント拡張マスク作成回路８６は、収束判定回路８７の出力と、誤差計算回路８２からの出力に基づいて、式（７）の正規方程式におけるサメーション（Σ）の対象となっている項に対する第２の重みとしてのピンポイント拡張マスクを生成（変更）し、加算回路１７および１９に供給するようになっている。
【０１３３】
収束判定回路８７は、演算回路２１が出力する予測係数のセットが収束しているかどうかを判定し、その判定結果を、識別情報書き込み回路８４、誤差マスク作成回路８５、およびピンポイント拡張マスク作成回路８６に供給するようになっている。さらに、収束判定回路８７は、演算回路２１が出力する予測係数のセットが収束していると判定した場合、その予測係数のセットに対する識別情報を設定し、係数記憶部８８に供給するとともに、その予測係数のセットを、係数記憶部８８に供給するようになっている。
【０１３４】
係数記憶部８８は、収束判定回路８７が出力する識別情報に対応するアドレスに、同じく収束判定回路８７が出力する予測係数のセットを記憶するようになっている。
【０１３５】
次に、図１０および図１１を参照して、図９の学習装置で行われる、複数の予測係数のセットを求める学習処理の概要について説明する。なお、ここでは、説明を簡単にするために、学習用の教師データとしては、１フレームの高S/N画像が用意されているものとする。
【０１３６】
図９の学習装置では、まず最初に、すべての教師データ、即ち、ここでは、図１０（Ａ）に示すように、１フレームの高S/N画像を構成する高S/N画素すべてに対して、同一の予測係数のセットを用いて予測値を求めるものとして、１回目の適応処理（ここでいう適応処理は、式（７）の正規方程式をたてて解く処理）が行われる。この場合、図２の学習装置において、クラスを１つ（モノクラス(mono class)）として（クラスがないとして）、学習処理を行った場合と同一の予測係数のセットが得られる。
【０１３７】
１回目の適応処理の結果得られる予測係数のセットによれば、１フレームの各高S/N画素の予測値の予測誤差は、そのすべてが小さくなることもあり得ないことではないが、一般には、幾つかの高S/N画素については小さくなり、他の幾つかの高S/N画素については中位になり、さらに他の幾つかの高S/N画素については大きくなる。
【０１３８】
そこで、図９の学習装置では、予測誤差が小さくない予測値が得られた高S/N画素のみを対象に、２回目の適応処理が行われ、新たに予測係数のセットが求められる。即ち、図１０（Ａ）の１フレームの高S/N画素すべてを対象として１回目の適応処理を行った結果得られた予測係数のセットによって、例えば、図１０（Ｂ）に、Ａで示す部分の高S/N画素について、予測誤差を小さくする予測値が得られる場合には、その部分Ａを除く部分にある高S/N画素のみを対象に、２回目の適応処理が行われる。
【０１３９】
その結果得られる新たな予測係数のセットによれば、２回目の適応処理の対象となっている各高S/N画素の予測値の予測誤差は、そのすべてが小さくなることもあり得ないことではないが、一般には、やはり、幾つかの高S/N画素については小さくなり、他の幾つかの高S/N画素については中位になり、さらに他の幾つかの高S/N画素については大きくなる。
【０１４０】
そこで、図９の学習装置では、予測誤差が小さくない予測値が得られた高S/N画素のみを対象に、３回目の適応処理が行われ、さらに新たな予測係数のセットが求められる。即ち、図１０（Ｂ）の部分Ａを除く部分の高S/N画素すべてを対象として２回目の適応処理を行った結果得られた予測係数のセットによって、例えば、図１０（Ｃ）に、Ｂで示す部分の高S/N画素について、予測誤差を小さくする予測値が得られる場合には、部分ＡおよびＢを除く部分にある高S/N画素のみを対象に、３回目の適応処理が行われる。
【０１４１】
以下、同様の処理を繰り返すことで、教師データとしての高S/N画素すべてについて、幾つかの高S/N画素のグループごとに、予測誤差を小さくする予測係数のセットが、順次求められる。
【０１４２】
ところで、複数の高S/N画素について、式（７）の正規方程式を解いて、予測係数のセットを求める処理、即ち、適応処理は、図１１（Ａ）に示すように、その複数の高S/N画素それぞれである真値と、各高S/N画素について構成される予測タップとの関係を表すサンプル点（図１１において、×印で示す）を近似する直線Ｌを求めることに相当する。即ち、図１１（Ａ）では、直線Ｌは、各サンプル点との距離の自乗和を最小にするものとなっており、１回目の適応処理により求められる予測係数のセットに対応する。
【０１４３】
そして、２回目の適応処理では、予測誤差が小さくない高S/N画素のみを対象に、予測係数のセットが求められるから、この２回目の適応処理は、図１１（Ｂ）に示すように、直線Ｌから遠いサンプル点を近似する直線Ｌ’を求めることに相当する。
【０１４４】
図９の学習装置では、以上のように、適応処理の結果得られる予測係数のセットでは予測誤差が小さくならない高S/N画素のみを対象に、適応処理が繰り返し行われることで、教師データとしての高S/N画素すべてについて、予測誤差を小さくする予測係数のセットが求められる。しかしながら、ある１回の適応処理の結果得られる予測係数のセットを用いた場合に、予測誤差が小さくなる高S/N画素に注目してみると、その高S/N画素の中だけでも、予測誤差が大きなものもあれば、小さなものもある。即ち、図１１（Ａ）において、直線Ｌに近いサンプル点に注目すると、そのサンプル点の中には、直線Ｌに対して、比較的近い位置にあるものもあれば、比較的遠い位置にあるものもある。
【０１４５】
そこで、図９の学習装置では、予測の精度をより向上させるために（予測誤差をより小さくするために）、予測誤差の小さいサンプル点（以下、適宜、小誤差サンプル点という）に重きをおいて適応処理が行われるようになっている。この場合、例えば、図１１（Ａ）において、直線Ｌに近いサンプル点（小誤差サンプル点）に重きをおいて適応処理が行われることとなるが、この適応処理によれば、図１１（Ｃ）に示すように、小誤差サンプル点との距離をより短くする直線Ｌ”が得られることになり、従って、小誤差サンプル点に対応する高S/N画素については、その予測値の予測誤差を、より小さくする予測係数のセットが得られることになる。
【０１４６】
なお、この場合、直線Ｌに近いサンプル点のうち、直線Ｌから比較的離れているものについては、その予測誤差は大きくなるが、これは、上述のように、予測誤差が小さくならない高S/N画素のみを対象に、適応処理を繰り返し行うことで救われる（その予測誤差を小さくする予測係数のセットが求められる）ことになる。
【０１４７】
以上のように、図９の学習装置では、第１に、適応処理の結果得られる予測係数のセットでは予測誤差が小さくならない高S/N画素のみを対象に、適応処理が繰り返し行われる。なお、上述の場合では、説明を簡単にするために、適応処理の結果得られる予測係数のセットでは予測誤差が小さくならない高S/N画素のみを対象に、次の適応処理を行うこととしたが、本実施の形態では、適応処理の結果得られる予測係数のセットを用いた場合に、予測誤差が大きくなる高S/N画素に重きをおいて、適応処理が行われる。これにより、次の適応処理では、前回の適応処理により得られた予測係数のセットでは予測誤差が大きくなる高S/N画素について、その予測誤差を大きくしない予測係数のセットが求められる。
【０１４８】
さらに、図９の学習処理では、第２に、予測誤差の小さいサンプル点に重きをおいて適応処理が行われる。これにより、予測誤差を、より小さくする予測係数のセットが求められる。
【０１４９】
ここで、以下、適宜、予測誤差の小さい高S/N画素に重きをおいて適応処理を行うことにより、予測誤差が、より小さくなる予測係数のセットを求める処理を、正帰還という。さらに、予測誤差が大きい高S/N画素に重きをおいて適応処理を行うことにより、予測誤差が大きくならない予測係数のセットを求める処理を、上述の正帰還に対して、負帰還という。
【０１５０】
負帰還は、図９において点線の矢印Ｂで示すように、演算回路２１から収束判定回路８７および誤差マスク作成回路８５を介して、加算回路１７および１９に供給される信号（誤差マスク）によって実現される。また、正帰還は、図９において点線の矢印Ｆで示すように、演算回路２１から収束判定回路８７および本ポイント拡張マスク作成回路８６を介して、加算回路１７および１９に供給される信号（ピンポイント拡張マスク）によって実現される。
【０１５１】
次に、図１２のフローチャートを参照して、図９の学習装置で行われる学習処理について、さらに説明する。
【０１５２】
教師データとしての高S/N画像は、フレームメモリ１１に供給されて記憶され、ステップＳ３１において、ダウンコンバータ３１は、フレームメモリ１１に記憶された教師データとしての高S/N画像から、生徒データとしての低S/N画像を生成し、フレームメモリ１３に供給して記憶させる。さらに、ステップＳ３１では、各種の初期化が行われる。即ち、予測タップメモリ１８および２０、係数記憶部８８の記憶値がクリアされ、また、識別情報記憶部８３の記憶値が、識別情報として取り得ない値にセットされる。さらに、ステップＳ３１では、誤差マスク作成回路８５に記憶されている誤差マスク、およびピンポイント拡張マスク作成回路８６に記憶されているピンポイント拡張マスクが、例えば１に初期化される。
【０１５３】
その後、ステップＳ３２において、識別情報としての変数iが、例えば０に初期化され、ステップＳ３３に進み、予測係数のセットを収束させるための処理回数をカウントする変数jが、例えば０に初期化される。
【０１５４】
そして、ステップＳ３４に進み、予測タップ生成回路１５は、教師データの中の、ある高S/N画素を注目画素として、その注目画素について予測タップを、フレームメモリ１３に記憶された低S/N画素を読み出すことで構成する。この予測タップは、加算回路１７および１９に供給される。
【０１５５】
加算回路１７および１９では、ステップＳ３５において、予測タップ（生徒データ）、教師データそれぞれの足し込みが行われる。
【０１５６】
即ち、予測タップメモリ１８は、その記憶値を読み出し、加算回路１７に供給する。加算回路１７は、図２の学習装置における場合と同様に、予測タップメモリ１８から供給される記憶値と、予測タップ生成回路１５から供給されるの予測タップを構成する低S/N画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算（足し込み）を行う。
【０１５７】
但し、加算回路１７は、その足し込みに際して、誤差マスク作成回路８５が出力する誤差マスク、およびピンポイント拡張マスク作成回路８６が出力するピンポイント拡張マスクによる重み付けを行う。
【０１５８】
従って、i件目の教師データをｙiと表すとともに、その教師データｙiの予測値を求めるのに用いる予測タップを構成するj番目の生徒データをｘijと表し、さらに、その教師データｙiと予測タップの組み合わせに対する、誤差マスクおよびピンポイント拡張マスクによる重みを、ｈiと表すと、加算回路１７では、式（７）における各サメーション（Σ）の項に、重みｈiを乗算した形の次式に示す正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算（足し込み）が行われる。
【０１５９】
【数８】
・・・（８）
そして、加算回路１７は、その演算結果を、予測タップメモリ１８に、上書きする形で記憶させる。
【０１６０】
一方、教師データメモリ２０は、その記憶値を読み出し、加算回路１９に供給する。加算回路１９は、図２の学習装置における場合と同様に、フレームメモリ１１から、注目画素となっている教師データｙiを読み出し、その教師データｙi、さらには、予測タップ生成回路１５からの予測タップを構成する低S/N画素、および教師データメモリ２０から供給された記憶値とを用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算（足し込み）を行う。
【０１６１】
但し、加算回路１９も、加算回路１７と場合と同様に、誤差マスク作成回路８５が出力する誤差マスク、およびピンポイント拡張マスク作成回路８６が出力するピンポイント拡張マスクによる重みｈiを付加した形で、足し込みを行う。
【０１６２】
従って、加算回路１９では、式（８）に示す正規方程式の右辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算（足し込み）が行われる。
【０１６３】
そして、ステップＳ３６に進み、フレームメモリ１１に記憶された教師データとしての高S/N画素の中で、まだ注目画素としていないもの（未処理画素）があるかどうかが判定され、あると判定された場合、その画素のうちの１つを、新たに注目画素として、ステップＳ３４に戻り、以下、同様の処理が繰り返される。
【０１６４】
また、ステップＳ３６において、フレームメモリ１１に記憶された教師データとしての高S/N画素の中で、まだ注目画素としていないものがないと判定された場合、ステップＳ３７に進み、演算回路２１は、予測タップメモリ１８または教師データメモリ２０から、それぞれの記憶値を読み出し、式（８）に示した正規方程式を解くことにより、１セットの予測係数を求める。この予測係数のセットは、適応処理回路８１および収束判定回路８７に供給される。
【０１６５】
適応処理回路８１は、演算回路２１から予測係数のセットを受信すると、ステップＳ３８において、その予測係数のセットを用いて、フレームメモリ１１に記憶された教師データとしての高S/N画素それぞれの予測値が求められる。即ち、適応処理回路８１は、フレームメモリ１１に記憶された高S/N画素を、順次、注目画素とし、その注目画素についての予測タップを、フレームメモリ１３に記憶された低S/N画素を用いて構成し、その予測タップと、演算回路２１からの予測係数のセットとを用いて、式（１）の線形予測式を演算し、各高S/N画素の予測値を求める。
【０１６６】
適応処理回路８１で求められた各高S/N画素の予測値は、誤差計算回路８２に供給される。誤差計算回路８２では、ステップＳ３９において、フレームメモリ１１に記憶された各高S/N画素（の画素値）が読み出され、その各高S/N画素に対する、適応処理回路８１からの予測値の予測誤差が求められる。そして、誤差計算回路８２は、名高S/N画素について求められる予測誤差を、ピンポイント拡張マスク作成回路８６に供給する。
【０１６７】
そして、ステップＳ４０に進み、収束判定回路８７において、演算回路２１が直前のステップＳ３７で求めた予測係数のセットが収束しているかどうかが判定される。即ち、ステップＳ４０では、演算回路２１から今回出力された予測係数のセットが、演算回路２１から前回出力された予測係数のセットとほぼ同一の値であるかどうかが判定される。
【０１６８】
ステップＳ４０において、演算回路２１が出力した予測係数のセットが収束していないと判定された場合、即ち、演算回路２１から今回出力された予測係数のセットが、演算回路２１から前回出力された予測係数のセットとほぼ同一の値でない場合、ステップＳ４１に進み、変数jが１だけインクリメントされ、ステップＳ４２に進み、変数jが、所定の回数MAXJよりも小さいかどうかが判定される。
【０１６９】
ステップＳ４２において、変数jが、所定の回数MAXJよりも小さいと判定された場合、即ち、変数iについて、予測係数のセットを収束させるための処理であるステップＳ３４乃至Ｓ４３のループ処理を行った回数が、MAXJ以下である場合、ステップＳ４３に進み、ピンポイント拡張マスク作成回路８６において、ピンポイント拡張マスクが、誤差計算回路８２からの予測誤差に基づいて更新（変更）される。
【０１７０】
即ち、収束判定回路８７は、ステップＳ４０において、演算回路２１からの予測係数のセットが収束していないと判定した場合、その旨の信号（以下、適宜、非収束信号という）を、ピンポイント拡張マスク作成回路８６に出力する。そして、ピンポイント拡張マスク作成回路８６は、収束判定回路８７から非収束信号を受信した場合において、予測係数のセットを収束させるための処理であるステップＳ３４乃至Ｓ４３のループ処理を行った回数が、MAXJ以下であるときには、誤差計算回路８２からの予測誤差に基づいて、ピンポイント拡張マスクを更新する。そして、この更新されたピンポイント拡張マスクは、加算回路１７および１９に供給される。
【０１７１】
ここで、図１３（Ａ）は、ピンポイント拡張マスクを示している。図１３（Ａ）に示すように、ピンポイント拡張マスクは、各高S/N画素について、その予測値の予測誤差が０のときは、１に設定され、大きくなるほど（ここでは、上述したように、その絶対値が大きくなるほど）、小さな値が設定されるようになっている。なお、ピンポイント拡張マスクは、ここでは、例えば、ほぼ、関数ｙ＝１／√｜ｘ｜の形で与えられるようになっている。
【０１７２】
従って、ピンポイント拡張マスク作成回路８６では、予測誤差が小さい予測値が得られる高S/N画素に対してほど、大きな重みを与えるピンポイント拡張マスクが作成される。
【０１７３】
図１２に戻り、ステップＳ４３では、さらに、予測タップメモリ１８および教師データメモリ２０の記憶値が、例えば０に初期化され、ステップＳ３４に戻り、以下、同様の処理が繰り返される。従って、その後に加算回路１７および１９で行われるステップＳ３５の足し込みでは、式（８）における各項のうち、今回の予測値（直前のステップＳ３８で求められた予測値）の予測誤差の小さかった教師データ（高S/N画素）ｙi、およびその教師データｙiについての予測タップｘijを用いた項には、大きな重みｈiがおかれることになる。そして、その結果、図１１（Ｃ）で説明したように、予測誤差の小さい教師データについては、さらに、その予測誤差を小さくするような予測係数のセット（図１１（Ｃ）の直線Ｌ”に相当する予測係数のセット）が求められることになる。
【０１７４】
また、ステップＳ４２において、変数jが、所定の回数MAXJよりも小さくないと判定された場合、即ち、変数iについて、予測係数のセットを収束させるための処理であるステップＳ３４乃至Ｓ４３のループ処理を行った回数が、MAXJとなった場合、ステップＳ４４に進み、以下、後述する処理が行われる。
【０１７５】
ここで、本実施の形態では、上述のように、予測係数のセットを収束させるための処理であるステップＳ３４乃至Ｓ４３のループ処理については、予測係数のセットが収束しなくても、MAXJ回で打ち切るようにしているが、このループ処理は、そのような回数の制限を設けずに、予測係数が収束するまで行うようにすることが可能である。
【０１７６】
一方、ステップＳ４０において、演算回路２１が出力した予測係数のセットが収束していると判定された場合、即ち、演算回路２１から今回出力された予測係数のセットが、演算回路２１から前回出力された予測係数のセットとほぼ同一の値であり、従って、ある一部分の教師データについて、その予測値の予測誤差を非常に小さくする予測係数のセットが得られた場合、ステップＳ４４に進み、収束判定回路８７は、その今回出力された予測係数のセットを、係数記憶部８８に供給し、識別情報としての変数iに対応する係数記憶部８８のアドレスに記憶させる。そして、ステップＳ４５に進み、各高S/N画素の予測値の最小予測誤差が求められる。
【０１７７】
即ち、収束判定回路８７は、演算回路２１からの予測係数のセットが収束していると判定した場合（上述のステップＳ４２において、変数jがMAXJより小さくないと判定された場合も同様）、その旨の信号（以下、適宜、収束信号という）を、適応処理回路８１、誤差計算回路８２、識別情報書き込み回路８４、および誤差マスク作成回路８５に供給する。
【０１７８】
適応処理回路８１は、収束信号を受信すると、係数記憶部８８に既に記憶されている予測係数のセットをすべて読み出し、その予測係数のセットそれぞれを用いて、ステップＳ３８における場合と同様に、各高S/N画素の予測値を求める。
【０１７９】
従って、この場合、適応処理回路８１では、係数記憶部８８に既に記憶されている１セット以上の予測係数のセットそれぞれを用いた場合の予測値が求められることとなり、その結果、演算回路２１が出力する予測係数のセットが収束したときには、１つの高S/N画素について、１つ以上の予測値が求められる。
【０１８０】
適応処理回路８１で求められた各高S/N画素の予測値は、誤差計算回路８２に供給される。誤差計算回路８２では、フレームメモリ１１に記憶された各高S/N画素（の画素値）が読み出され、その各高S/N画素に対する、適応処理回路８１からの１以上の予測値それぞれについての予測誤差が求められる。そして、誤差計算回路８２は、各高S/N画素について求められる１以上の予測誤差のうちの最小のものを、識別情報書き込み回路８４、および誤差マスク作成回路８５に供給する。
【０１８１】
即ち、上述のように、ここでは、各高S/N画素について、１以上の予測値が求められるので、誤差計算回路８２では、各高S/N画素それぞれについて、その１以上の予測値の予測誤差のうちの最小のもの（以下、適宜、最小予測誤差という）が、識別情報書き込み回路８４、および誤差マスク作成回路８５に供給される。
【０１８２】
なお、適応処理回路８１は、係数記憶部８８に既に記憶されている予測係数のセットを読み出すときに、各予測係数のセットに対して、その予測係数のセットが記憶されているアドレスである識別情報を対応付け、さらに、各予測係数のセットを用いて求めた予測値に、その予測係数のセットの識別情報を対応付けて、誤差計算回路８２に出力するようになっている。
【０１８３】
また、誤差計算回路８２は、最小予測誤差を、識別情報書き込み回路８４、および誤差マスク作成回路８５に出力するときに、その最小予測誤差が得られたときの予測値を求めるときに用いた予測係数のセットの識別情報を対応付けて出力するようになっている。
【０１８４】
従って、識別情報書き込み回路８４、および誤差マスク作成回路８５に対しては、各高S/N画素の予測値の最小予測誤差が、その予測値を求めるときに用いた予測係数のセットの識別情報とともに供給される。
【０１８５】
識別情報書き込み回路８４は、各高S/N画素の予測値の最小予測誤差とともに、識別情報を受信すると、ステップＳ４６において、識別情報記憶部８３の、各高S/N画素に対応するアドレスに、その高S/N画素の予測値の最小予測誤差に対応付けられている識別情報を書き込む（上書きする）。
【０１８６】
従って、識別情報記憶部８３の、各高S/N画素に対応するアドレスに記憶されている識別情報によって特定される予測係数のセットを用いて、その高S/N画素の予測値を求めた場合、いまの時点で、予測誤差を最も小さくする予測値が得られることになる。
【０１８７】
その後、ステップＳ４７に進み、識別情報としての変数iが１だけインクリメントされ、ステップＳ４８に進む。ステップＳ４８では、変数iが、予測係数のセットの最大数として、あらかじめ設定された値MAXIより小さいかどうかが判定される。ステップＳ４８において、変数iがMAXIより小さいと判定された場合、即ち、係数記憶部８８に記憶されている予測係数のセットの数が、あらかじめ設定されたMAXIより少ない場合、ステップＳ４９に進み、誤差マスク作成回路８５において、誤差マスクが、誤差計算回路８２からの最小予測誤差に基づいて更新（変更）される。
【０１８８】
即ち、誤差マスク作成回路８５は、収束判定回路８７から収束信号を受信すると、誤差計算回路８２からの最小予測誤差に基づいて、誤差マスクを更新する。そして、この更新された誤差マスクは、加算回路１７および１９に供給される。
【０１８９】
ここで、図１３（Ｂ）は、誤差マスクを示している。図１３（Ｂ）に示すように、誤差マスクは、各高S/N画素について、その予測値の最小予測誤差が０のときは、０に設定され、最小予測誤差の大きさに比例した大きさの値、即ち、その大きさが大きくなるほど、大きな値が設定されるようになっている。なお、誤差マスクは、ここでは、例えば、ほぼ、関数ｙ＝｜ｘ｜の形で与えられるようになっている。
【０１９０】
従って、誤差マスク作成回路８５では、最小予測誤差が大きい予測値が得られる高S/N画素に対してほど、大きな重みを与える誤差マスクが作成される。
【０１９１】
図１２に戻り、ステップＳ４９では、さらに、ピンポイント拡張マスク作成回路８６において、ピンポイント拡張マスクが、例えば１に初期化され、また、予測タップメモリ１８および教師データメモリ２０の記憶値が、例えば０に初期化される。そして、ステップＳ３３に戻り、以下、同様の処理が繰り返される。
【０１９２】
従って、この場合、加算回路１７および１９では、式（８）における各項のうち、係数記憶部８８に記憶されている予測係数のセットのいずれを用いても、予測誤差の小さくなかった教師データ（高S/N画素）ｙi、およびその教師データｙiについての予測タップｘijを用いた項には、大きな重みｈiがおかれて足し込みが行われることになる。そして、その結果、図１１（Ｂ）で説明したように、予測誤差の小さくない教師データについて、その予測誤差を小さくするような予測係数のセット（図１１（Ｂ）の直線Ｌ’に相当する予測係数のセット）が求められることになる。
【０１９３】
一方、ステップＳ４８において、変数iがMAXIより小さくないと判定された場合、即ち、係数記憶部８８に、あらかじめ設定されたMAXIに等しいセット数の予測係数のセットが記憶された場合、学習処理を終了する。
【０１９４】
なお、加算回路１７および１９では、ステップＳ３５における予測タップ（生徒データ）、教師データの足し込みは、常に、ピンポイント拡張マスクおよび誤差マスクの両者による重み付けをしながら行われる。即ち、図１３（Ａ）に示したピンポイント拡張マスクと、図１３（Ｂ）に示した誤差マスクとの両者を重ね合わせたマスク（両者の積）は、図１３（Ｃ）に示すように、ほぼ、関数ｙ＝√｜ｘ｜の形となるが、式（８）に示した重みｈiは、これによって与えられる。
【０１９５】
具体的には、図１４に示すように、ある高S/N画素ｙiについて、その予測誤差に基づいて得られるピンポイント拡張マスクのマスク値がｈｐiであり、さらに、その最小予測誤差に基づいて得られる誤差マスクのマスク値がｈｅiである場合には、式（８）に示した重み（マスク値）ｈiは、ｈｐi×ｈｅiで与えられる。そして、加算回路１７および１９では、このようにして与えられる重みｈiが各高S/N画素ごとに求められ、予測タップ（生徒データ）、教師データの足し込みの際の重み付けに用いられる。
【０１９６】
以上のように、図９の学習装置では、今までに求められた予測係数のセットを用いて求められる予測値の予測誤差のうち、最小値（最小予測誤差）が大きい予測値が得られる教師データと生徒データの組み合わせに対して大きな重みをおくとともに（そのような重みをおくための誤差マスクを使用するとともに）、新たな予測係数のセットを求めるための適応処理を行うごとに、その予測係数のセットを用いて求められる予測値の予測誤差が小さい予測値が得られる教師データと生徒データの組み合わせに対して大きな重みをおいて（そのような重みをおくためのピンポイント拡張マスクを使用して）、予測係数のセットが求められるので、低S/N画像を高S/N画像に変換するための、最適な予測係数を得ることができ、さらに、そのような予測係数を用いて、低S/N画像から、より高S/Nの画像を得ることができる。
【０１９７】
なお、本実施の形態では、誤差マスクおよびピンポイント拡張マスクの両方を使用するようにしたが、そのいずれか一方だけを使用して、予測係数のセットを求めるようにすることも可能である。
【０１９８】
次に、図９の学習装置において、識別情報記憶部８３には、教師データとしての高S/N画像を構成する各高S/N画素に対して、その高S/N画素を高精度に予測する予測係数のセットの識別情報が記憶されるが、いま、１フレームの高S/N画像の各高S/N画素に対する識別情報の集合を、識別情報画像というものとする。また、ここでは、説明を簡単にするために、高S/N画像と低S/N画像の画素数（解像度）が同一であるとすると、識別情報画像を構成する、各高S/N画素に対応する識別情報は、各高S/N画素に対応する低S/N画素に対応付けることができる。
【０１９９】
そこで、図９の学習装置で生徒データとして用いた低S/N画像を構成する各低S/N画素と、その低S/N画素に対応する、識別情報画像を構成する各識別情報とを対応付けたものを利用して、低S/N画像を高S/N画像に変換する処理を行う画像処理装置について説明する。
【０２００】
図１５は、そのような画像処理装置の一実施の形態の構成例を示している。
【０２０１】
フレームメモリ９１には、高S/N画像に変換する処理の対象とする低S/N画像（以下、適宜、処理対象画像という）が供給されるようになっており、フレームメモリ９１は、その処理対象画像を、例えば、１フレーム単位で記憶するようになっている。
【０２０２】
検索タップ生成回路９２は、処理対象画像を構成する各画素を、順次、注目画素とし、その注目画素の空間的または時間的周辺にある、処理対象画像の画素を、フレームメモリ９１から読み出し、検索タップを構成するようになっている。この検索タップは、検索回路９３に供給されるようになっている。
【０２０３】
検索回路９３は、検索タップ生成回路９２が出力する検索タップとを構成する画素と同一の位置関係にあり、かつ同一または類似の画素値を有する低S/N画素のパターン（以下、適宜、同一類似パターンという）を、ストレージ９７に記憶されている低S/N画像の集合である低S/N画像群から検索し、さらに、その検索された同一類似パターンにおいて、注目画素に対応する画素に対応付けられている識別情報を、同じくストレージ９７に記憶されている識別情報画像の集合である識別情報画像群から検出し、係数RAM９４に対して、アドレスとして供給するようになっている。
【０２０４】
係数RAM９４は、各アドレスに、そのアドレスに対応する識別情報によって特定される予測係数のセットを記憶している。なお、係数RAM９４に記憶されている予測係数のセットは、図９の学習装置によって求められたものである。
【０２０５】
予測タップ生成回路９５は、検索タップ生成回路９２が注目画素とした画素の空間的または時間的周辺にある、処理対象画像の画素を、フレームメモリ９１から読み出し、図９の学習装置を構成する予測タップ生成回路１５における場合と同一の予測タップを生成するようになっている。この予測タップは、予測演算回路９６に供給されるようになっている。
【０２０６】
予測演算回路９６は、係数RAM９４から供給される予測係数のセットと、予測タップ生成回路９５からの予測タップとを用いて、式（１）に示した演算を行うことにより、高S/N画素の予測値を求めて出力するようになっている。
【０２０７】
ストレージ９７は、図９の学習装置において求められる識別情報でなる識別情報画像の集合である識別情報画像群と、その識別情報を求めるのに用いられた生徒データとしての低S/N画像の集合である低S/N画像群が記憶されている。なお、低S/N画像群の各低S/N画素と、識別情報画像群の各識別情報とは、上述したように対応付けられている。
【０２０８】
次に、図１６のフローチャートを参照して、図１５の画像処理装置において行われる、処理対象画像を、そのS/Nを改善した高S/N画像に変換する変換処理について説明する。
【０２０９】
処理対象画像は、例えば、フレーム単位で、フレームメモリ９１に供給されて記憶される。
【０２１０】
そして、検索タップ生成回路９２は、処理対象画像を構成する、ある画素を、注目画素とし、ステップＳ５１において、その注目画素の空間的または時間的周辺にある、処理対象画像の画素を、フレームメモリ９１から読み出すことで、同一類似パターンを検索するときの比較対象とする検索タップを構成する。この検索タップは、検索タップ生成回路９２から検索回路９３に供給される。
【０２１１】
さらに、ステップＳ５１では、予測タップ生成回路９５において、検索タップ生成回路９２が注目画素とした画素の空間的または時間的周辺にある、処理対象画像の画素が、フレームメモリ９１から読み出され、図９の学習装置を構成する予測タップ生成回路１５における場合と同一の予測タップが構成される。この予測タップは、予測タップ生成回路９５から予測演算回路９６に供給される。
【０２１２】
検索回路９３は、検索タップ生成回路９２から検索タップを受信すると、ステップＳ５２において、その検索タップを構成する各画素と同一の位置関係を有する画素のパターンであって、検索タップを構成する各画素と同一またはほぼ同一の画素値を有する低S/N画素の集合である同一類似パターンを、ストレージ９７に記憶されている低S/N画像群から検索し、ステップＳ５３に進む。ステップＳ５３では、検索回路９３は、同一類似パターンを構成する低S/N画素のうちの、注目画素に対応する画素に対応付けられている識別情報を、ストレージ９７に記憶されている識別情報画像群から検出する。
【０２１３】
ここで、同一類似パターンは、１つのみではなく、複数パターン検索されることがある。この場合、ステップＳ５３では、複数の同一類似パターンそれぞれについて識別情報が検出されるが、その複数の識別情報が同一でない場合には（複数の識別情報の任意の１つと、他の１つとが異なる場合には）、係数RAM９４に、その異なる数だけのアドレスが与えられることとなり、その結果、係数RAM９４からは、複数セットの予測係数が、予測演算回路９６に出力されることになる。一方、予測演算回路９６において、ある注目画素について構成される予測タップとの式（１）の線形予測式を計算するのに用いる予測係数のセットは、１セットである必要があるから、同一類似パターンが、複数パターン検索され、さらに、その複数の同一類似パターンそれぞれについての識別情報が同一でない場合には、予測演算回路９６において、式（１）の線形予測式を計算することが困難となる。
【０２１４】
そこで、ステップＳ５４では、検索回路９３において、同一類似パターンが、複数パターン検索され、かつ、その複数の同一類似パターンそれぞれについての識別情報の中に、異なるものがあるかどうかが判定される。
【０２１５】
ステップＳ５４において、同一類似パターンが、複数パターン検索され、かつ、その複数の同一類似パターンそれぞれについての識別情報の中に、異なるものがあると判定された場合、ステップＳ５５に進み、検索回路９３は、検索タップを構成する、処理対象画像の画素を変更し、新たな検索タップを構成して出力するように、検索タップ生成回路９２を制御する。この場合、検索タップ生成回路９２は、注目画素について、新たに検索タップを構成し、検索回路９３に供給する。即ち、検索タップ生成回路９２は、注目画素について、今までに構成した検索タップを構成する処理対象画像の画素とは異なる画素をによって、新たに検索タップを構成する。具体的には、例えば、注目画素について、いま構成されている検索タップの画素に、新たな画素を加えたり、その一部の画素を、他の画素に変更することで、新たな検索タップを構成する。そして、ステップＳ５２に戻り、その新たな検索タップを対象に、以下、同様の処理が繰り返される。
【０２１６】
そして、ステップ５４において、同一類似パターンが、１パターンしか検索されなかったか、または、複数の同一類似パターンが検索されても、その複数の同一類似パターンそれぞれについての識別情報がすべて同一であると判定された場合、ステップＳ５６に進み、検索回路９３は、その１つの同一類似パターンの識別情報、または複数の同一類似パターンそれぞれについての同一の識別情報が、アドレスとして、係数RAM９４に与える。これにより、係数RAM９４では、検索回路９３からの識別情報に対応するアドレスに記憶されている１セットの予測係数が読み出され、予測演算回路９６に供給される。
【０２１７】
予測演算回路９６は、係数RAM９４から予測係数のセットを受信すると、ステップＳ５７において、その予測係数のセットと、予測タップ生成回路９５からの予測タップとを用いて、式（１）に示した演算を行うことにより、注目画素に対する高S/N画素の予測値を求めて出力し、ステップＳ５８に進む。
【０２１８】
ステップＳ５８では、次に処理すべき画素が、フレームメモリ９１に記憶されているかどうかが判定され、記憶されていると判定された場合、その、次に処理すべき画素が、新たに注目画素とされ、ステップＳ５１に戻り、以下、同様の処理が繰り返される。
【０２１９】
また、ステップＳ５８において、次に処理すべき画素が、フレームメモリ９１に記憶されていないと判定された場合、処理を終了する。
【０２２０】
以上のように、注目画素について構成される検索タップに対して、同一類似パターンを検索し、その同一類似パターンの、注目画素に対応する低S/N画素に対応付けられている識別情報によって特定される予測係数のセットを用いて、高S/N画素の予測値を求めるようにしたので、低S/N画像のみから、そのS/Nを向上させた高S/N画像を得ることができる。即ち、図７の復号器４１に入力される符号化データのように、低S/N画素と、その低S/N画素を高S/N画素に変換するのに用いる予測係数のセットの識別情報とが対応付けられたデータでなくても、高S/N画像に変換することができる。従って、図１５の画像処理装置は、図４の復号器４１として用いることが可能であり、この場合、図４の符号化器４１からは、低S/N画像だけを符号化データとして出力するだけで良い。
【０２２１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての画素伝送装置や画素処理装置、学習装置に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０２２２】
そこで、図１７を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０２２３】
プログラムは、図１７（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２や半導体メモリ１０３に予めインストールした状態でユーザに提供することができる。
【０２２４】
あるいはまた、プログラムは、図１７（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０２２５】
さらに、プログラムは、図１７（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１０１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１３１を介して、コンピュータ１０１に有線で転送し、コンピュータ１０１において、内蔵するハードディスク１０２などに格納させるようにすることができる。
【０２２６】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０２２７】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２２８】
次に、図１８は、図１７のコンピュータ１０１の構成例を示している。
【０２２９】
コンピュータ１０１は、図１８に示すように、CPU(Central Processing Unit)１４２を内蔵している。CPU１４２には、バス１４１を介して、入出力インタフェース１４５が接続されており、CPU１４２は、入出力インタフェース１４５を介して、ユーザによって、キーボードやマウス等で構成される入力部１４７が操作されることにより指令が入力されると、それにしたがって、図１７（Ａ）の半導体メモリ１０３に対応するROM(Read Only Memory)１４３に格納されているプログラムを実行する。あるいは、また、CPU１４２は、ハードディスク１０２に格納されているプログラム、衛星１２２若しくはネットワーク１３１から転送され、通信部１４８で受信されてハードディスク１０２にインストールされたプログラム、またはドライブ１４９に装着されたフロッピディスク１１１、CD-ROM１１２、MOディスク１１３、DVD１１４、若しくは磁気ディスク１１５から読み出されてハードディスク１０２にインストールされたプログラムを、RAM(Random Access Memory)１４４にロードして実行する。そして、CPU１４２は、その処理結果を、例えば、入出力インタフェース１４５を介して、LCD(Liquid CryStal Display)等で構成される表示部１４６に、必要に応じて出力する。
【０２３０】
なお、本実施の形態では、画像を処理の対象としたが、その他、例えば、音声等を処理の対象とすることも可能である。
【０２３１】
【発明の効果】
以上の如く、本発明の第１の側面によれば、識別情報に基づいて、予測誤差を小さくする第１のデータの予測値を求めることが可能となる。
【０２３２】
本発明の第２の側面によれば、予測誤差が小さい、第１のデータの予測値を求めることが可能となる。
【０２３３】
本発明の第３の側面によれば、予測誤差が小さい、第１のデータの予測値を求めることが可能となる。
【図面の簡単な説明】
【図１】従来の画像処理装置の一例の構成を示すブロック図である。
【図２】従来の学習装置の一例の構成を示すブロック図である。
【図３】従来の画像伝送装置の一例の構成を示すブロック図である。
【図４】本発明を適用した画像伝送装置の一実施の形態の構成例を示すブロック図である。
【図５】図４の符号化器３１の構成例を示すブロック図である。
【図６】図５の符号化器３１の処理を説明するためのフローチャートである。
【図７】図４の復号器４１の構成例を示すブロック図である。
【図８】図７の復号器４１の処理を説明するためのフローチャートである。
【図９】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図１０】図９の学習装置の処理を説明するための図である。
【図１１】図９の学習装置の処理を説明するための図である。
【図１２】図９の学習装置の処理を説明するためのフローチャートである。
【図１３】ピンポイント拡張マスクと誤差マスクを説明するための図である。
【図１４】図９の学習装置において最終的に用いられる重みを説明するための図である。
【図１５】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図１６】図１５の画像処理装置の処理を説明するためのフローチャートである。
【図１７】本発明を適用した媒体を説明するための図である。
【図１８】図１７のコンピュータ１０１の構成例を示すブロック図である。
【符号の説明】
１１ フレームメモリ， １２ ダウンコンバータ， １３ フレームメモリ， １５ 予測タップ生成回路， １７ 加算回路， １８ 予測タップメモリ， １９ 加算回路， ２０ 教師データメモリ， ２１ 演算回路， ３１ 符号化器， ４１ 復号器， ５１ 伝送媒体， ５２ 記録媒体， ６１ フレームメモリ， ６２ ダウンコンバータ， ６３ フレームメモリ， ６４ 予測タップ生成回路， ６５ 予測演算回路， ６６ 誤差計算回路， ６７ 比較部， ６８ 係数RAM， ６９ 誤差／識別情報記憶部， ７０ 重畳部，７１ 分離部， ７２ フレームメモリ， ７３ 予測タップ生成回路， ７４ 予測演算回路， ７５ 識別情報記憶部， ７６ 係数RAM， ８１ 適応処理回路， ８２ 誤差計算回路， ８３ 識別情報記憶部， ８４ 識別情報書き込み回路， ８５ 誤差マスク作成回路， ８６ ピンポイント拡張マスク作成回路， ８７ 収束判定回路， ８８ 係数記憶部， ９１ フレームメモリ， ９２ 検索タップ生成回路， ９３ 検索回路， ９４ 係数RAM， ９５ 予測タップ生成回路， ９６ 予測演算回路， ９７ ストレージ， １０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク， １１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ ダウンロードサイト， １２２ 衛星， １３１ ネットワーク， １４１ バス，１４２ CPU， １４３ ROM， １４４ RAM， １４５ 入出力インタフェース， １４６ 表示部， １４７ 入力部， １４８ 通信部， １４９ ドライブ
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法、並びに記録媒体に関し、特に、例えば、S/N(Signal to Noise Ratio)の低い低S/N画像を、S/Nの高い高S/N画像に変換すること等ができるようにするデータ処理装置およびデータ処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像のS/Nや解像度等の画質の向上、その他の画像の改善を行うための処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【０００４】
即ち、適応処理では、例えば、低S/N画像（クラス分類適応処理の処理対象の画像）を構成する画素（以下、適宜、低S/N画素という）と、所定の予測係数との線形結合により、その低S/N画像のS/Nが劣化する前の原画像である高S/N画像の画素の予測値を求めることで、その低S/N画像に含まれるノイズを除去した画像や、低S/N画像に生じているぼけを改善した画像等が得られるようになっている。
【０００５】
具体的には、例えば、いま、原画像（ここでは、例えば、ノイズを含まない画像や、ぼけのない画像等）を教師データとするとともに、その原画像にノイズを重畳したり、あるいはぼかしを付加した低S/N画像を生徒データとして、原画像を構成する画素（以下、適宜、原画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの低S/N画素（低S/N画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００６】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
式（１）を一般化するために、予測係数ｗの集合でなる行列Ｗ、生徒データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【０００７】
【数１】
【０００８】
ＸＷ＝Ｙ’
・・・（２）
ここで、行列Ｘの成分ｘijは、i件目の生徒データの集合（i件目の教師データｙiの予測に用いる生徒データの集合）の中のj番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のj番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、i件目の教師データを表し、従って、Ｅ［ｙi］は、i件目の教師データの予測値を表す。
【０００９】
そして、この観測方程式に最小自乗法を適用して、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる原画素の真の画素値（真値）ｙの集合でなる行列Ｙ、および原画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００１０】
【数２】
【００１１】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
この場合、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【００１２】
【数３】
【００１３】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００１５】
【数５】
式（４）および（５）より、式（６）が得られる。
【００１６】
【数６】
さらに、式（３）の残差方程式における生徒データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００１７】
【数７】
式（７）の正規方程式を構成する各式は、生徒データｘおよび教師データｙを、ある程度の数だけ用意することで、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００１８】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００１９】
なお、適応処理は、低S/N画像には含まれていないが、原画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、原画像に含まれる成分を再現することができる。即ち、容易に、高S/Nの画像を得ることができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができ、従って、低S/N画像からノイズやぼけを除去した原画像の予測値を求める他、例えば、低解像度または標準解像度の画像を、高解像度の画像に変換するような場合にも用いることができる。
【００２０】
図１は、以上のようなクラス分類適応処理により、低S/N画像を高S/N画像に変換する画像処理装置の一例の構成を示している。
【００２１】
フレームメモリ１には、処理の対象となる低S/N画像が順次供給されるようになっており、フレームメモリ１は、そこに入力される低S/N画像を、例えば、フレーム単位で一時記憶するようになされている。なお、フレームメモリ１は、複数フレームの低S/N画像を、バンク切換によって記憶することができるようになっており、これにより、そこに入力される低S/N画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００２２】
クラスタップ生成回路２は、クラス分類適応処理により、予測値を求めようとする原画素（原画素は、ここでは現実に存在しないから、想定することになる）を、注目原画素として、その注目原画素についてのクラス分類に用いる低S/N画素を、フレームメモリ１に記憶された低S/N画像から抽出し、これを、クラスタップとして、クラス分類回路４に出力する。即ち、クラスタップ生成回路２は、例えば、注目原画素に対して、空間的または時間的に近い位置にある幾つかの低S/N画素を、フレームメモリ１から読み出し、これを、クラスタップとして、クラス分類回路４に出力する。
【００２３】
クラス分類回路４は、クラスタップ生成回路２からのクラスタップに基づいて、注目原画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数RAM５に対して、アドレスとして与える。即ち、クラス分類回路４には、クラスタップ生成回路２からクラスタップを、例えば、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、係数RAM５に出力する。
【００２４】
ここで、KビットADRC処理においては、例えば、クラスタップを構成する低S/N画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する低S/N画素がKビットに再量子化される。即ち、クラスタップを構成する画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各低S/N画素の画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各画素についての１ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００２５】
係数RAM５は、後述する図２の学習装置において学習が行われることにより得られるクラスごとの予測係数のセットを記憶しており、クラス分類回路４からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されている予測係数のセットを読み出し、予測演算回路６に供給する。
【００２６】
一方、予測タップ生成回路３は、予測演算回路６において注目原画素の予測値を求めるのに用いる低S/N画素を、フレームメモリ１に記憶された低S/N画像から抽出し、これを予測タップとして、予測演算回路６に供給する。即ち、予測タップ生成回路３は、注目原画素について、例えば、クラスタップと同一構成の予測タップを構成し、予測演算回路６に出力する。
【００２７】
予測演算回路６は、係数RAM５から供給される、注目画素のクラスについての予測係数ｗ，ｗ2，・・・のセットと、予測タップ生成回路３からの予測タップ（を構成する各画素の画素値）ｘ1，ｘ2，・・・とを用いて、式（１）に示した演算を行うことにより、注目原画素ｙの予測値Ｅ［ｙ］を求め、これを、低S/N画素のS/Nを改善した高S/N画素の画素値として出力する。
【００２８】
次に、図２は、図１の係数RAM５に記憶させるクラスごとの予測係数のセットを求める学習装置の一例の構成を示している。
【００２９】
学習装置には、教師データとしての原画像（ここでは、例えば、高S/Nの動画像）が、フレーム単位で供給されるようになっており、その原画像は、図１のフレームメモリ１と同様に構成されるフレームメモリ１１において順次記憶されていく。また、フレームメモリ１１に記憶された原画像としての高S/N画像は、ダウンコンバータ１２に供給され、そこで、例えば、ノイズが付加されることにより、低S/N画像とされる。
【００３０】
ダウンコンバータ１２で得られた低S/N画像は、生徒データとして、図１のフレームメモリ１と同様に構成されるフレームメモリ１３に順次供給されて記憶される。
【００３１】
以上のようにして、学習処理のために用意されたすべての原画像に対応する低S/N画像が、フレームメモリ１３に記憶されると、クラスタップ生成回路１４または予測タップ生成回路１５では、図１のクラスタップ生成回路２または予測タップ生成回路３における場合と同様に、予測値を求めようとする注目原画素についてのクラスタップまたは予測タップを構成させる低S/N画素が、フレームメモリ１１から読み出され、クラスタップまたは予測タップがそれぞれ構成される。クラスタップはクラス分類回路１６に供給され、また、予測タップは、加算回路１７および１９にそれぞれ供給される。
【００３２】
クラス分類回路１６では、図１のクラス分類回路４における場合と同様にして、クラスタップ生成回路１４からのクラスタップを用いて、注目原画素がクラス分類され、そのクラス分類結果としてのクラスコードが、予測タップメモリ１８および教師データメモリ２０に対して、アドレスとして与えられる。
【００３３】
そして、加算回路１７または１９それぞれにおいて、予測タップ（生徒データ）、教師データの足し込みが行われる。
【００３４】
即ち、予測タップメモリ１８は、クラス分類回路１６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路１７に供給する。加算回路１７は、予測タップメモリ１８から供給される記憶値と、予測タップ生成回路１５から供給されるの予測タップを構成する低S/N画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路１７は、その演算結果を、クラス分類回路１６が出力するクラスコードに対応する、予測タップメモリ１８のアドレスに、上書きする形で記憶させる。
【００３５】
さらに、教師データメモリ２０は、クラス分類回路１６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路１９に供給する。加算回路１９は、フレームメモリ１１から、注目原画素を読み出し、その注目原画素、さらには、予測タップ生成回路１５からの予測タップを構成する低S/N画素、および教師データメモリ２０から供給された記憶値とを用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路１９は、その演算結果を、クラス分類回路１６が出力するクラスコードに対応する、教師データメモリ２０のアドレスに、上書きする形で記憶させる。
【００３６】
なお、加算回路１７および１９では、式（７）における乗算も行われる。即ち、加算器１７では、予測タップを構成する低S/N画素ｘどうしの乗算も行われ、また、加算器１９では、予測タップを構成する低S/N画素ｘと、教師データ（注目原画素）ｙとの乗算も行われる。
【００３７】
学習装置では、以上の処理が、フレームメモリ１１に記憶された原画素すべてを、順次、注目原画素として行われる。
【００３８】
そして、原画素すべてについて、上述の処理が終了すると、演算回路２１は、予測タップメモリ１８または教師データメモリ２０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数のセットを求める。
【００３９】
なお、以上のような予測係数の学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトの予測係数を出力するようにすること等が可能である。
【００４０】
次に、図３は、上述のクラス分類適応処理を利用した画像伝送装置の一例の構成を示している。
【００４１】
この画像伝送装置では、符号化器３１において、高S/N画像が符号化されて符号化データとされ、復号器４１において、その符号化データが、元の高S/N画像（の予測値）に復号されるようになされている。
【００４２】
即ち、符号化器３１は、ダウンコンバータ３２で構成され、そこには、符号化対象である高S/N画像（のディジタルデータ）（動画または静止画のいずれであってもかまわない）が入力されるようになっている。ダウンコンバータ３２では、そこに入力される高S/N画像が、例えば、LPF(Low Pass Filter)でフィルタリング等され、低S/N画像とされる。この低S/N画像は、符号化データとして出力され、例えば、衛星回線やインターネット、地上波等の伝送媒体５１を介して伝送され、あるいは、例えば、光ディスクや、光磁気ディスク、磁気ディスク、磁気テープ、光カード、半導体メモリ等の記録媒体５２に記録される。
【００４３】
伝送媒体５１を介して伝送され、あるいは、記録媒体５２から再生される符号化データとしての低S/N画像は、復号器４１に供給される。復号器４１は、クラス分類適応処理回路４２で構成され、このクラス分類適応処理回路４２は、図１に示した画像処理装置と同様に構成されている。従って、クラス分類適応処理回路４２では、そこに入力される符号化データとしての低S/N画像に対して、図１における場合と同様のクラス分類適応処理が施され、これにより、高S/N画像に変換されて出力される。
【００４４】
【発明が解決しようとする課題】
ところで、図２の学習装置では、クラス分類回路１６において、クラスタップをADRC処理することで、注目原画素がクラス分類され、その後、そのクラスごとに正規方程式をたてることで、クラスごとの予測係数のセットが求められる。
【００４５】
即ち、学習装置では、各クラスごとに、原画素について構成される予測タップから、予測誤差（予測値の、原画素に対する誤差）の自乗和を最小にする予測係数のセットが求められる。その結果、あるクラスに注目すれば、そのクラスに分類される各原画素に対する予測誤差を最小にする予測係数のセットではなく、その予測誤差の総和を最小にする予測係数のセットが求められるため、図１の画像処理装置において、あるクラスに分類される原画素について、そのクラスに対応する予測係数のセットを用いて予測値を求めた場合、ごく小さな予測誤差の予測値（あるいは、予測誤差のない予測値）が得られることもあるが、それほど小さくない予測誤差の予測値が得られることもある。
【００４６】
従って、予測係数のセットを、上述したようなクラス分類の結果得られるクラスごとに求めることは、必ずしも、低S/N画像を高S/N画像に変換するための、最適な予測係数のセットを得る方法であるとはいえないことがある。
【００４７】
本発明は、このような状況に鑑みてなされたものであり、例えば、低S/N画像を高S/N画像に変換する等、画像を改善するために、最適な予測係数を求めることができるようにするとともに、そのような予測係数を用いて、より改善された画像を得ることができるようにするものである。
【００４８】
【課題を解決するための手段】
本発明の第１の側面のデータ処理装置は、第１のデータから、第２のデータを生成する生成手段と、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する予測用データ抽出手段と、第１のデータを予測するのに用いる複数セットの予測係数を記憶している予測係数記憶手段と、予測用データおよび所定の予測係数のセットを用いて、注目第１データの予測値を求める予測値演算手段と、予測値の、注目第１データに対する予測誤差を求める予測誤差演算手段と、予測誤差を最小にする予測係数のセットを検出する検出手段と、予測誤差を最小にする予測係数のセットを識別するための識別情報を記憶する識別情報記憶手段と、第２のデータとともに、識別情報を出力する出力手段とを含み、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているデータ処理装置である。
【００５２】
本発明の第１の側面のデータ処理方法は、第１のデータから、第２のデータを生成する生成ステップと、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する予測用データ抽出ステップと、第１のデータを予測するのに用いる複数セットの予測係数を記憶している予測係数記憶手段に記憶されている所定の予測係数のセットと、予測用データとを用いて、注目第１データの予測値を求める予測値演算ステップと、予測値の、注目第１データに対する予測誤差を求める予測誤差演算ステップと、予測誤差を最小にする予測係数のセットを検出する検出ステップと、予測誤差を最小にする予測係数のセットを識別するための識別情報を記憶する識別情報記憶ステップと、第２のデータとともに、識別情報を出力する出力ステップとを含み、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているデータ処理方法である。
【００５３】
本発明の第１の側面の記録媒体は、第１のデータから、第２のデータを生成する生成ステップと、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する予測用データ抽出ステップと、第１のデータを予測するのに用いる複数セットの予測係数を記憶している予測係数記憶手段に記憶されている所定の予測係数のセットと、予測用データとを用いて、注目第１データの予測値を求める予測値演算ステップと、予測値の、注目第１データに対する予測誤差を求める予測誤差演算ステップと、予測誤差を最小にする予測係数のセットを検出する検出ステップと、予測誤差を最小にする予測係数のセットを識別するための識別情報を記憶する識別情報記憶ステップと、第２のデータとともに、識別情報を出力する出力ステップとを含むデータ処理を、コンピュータに実行させるプログラムであり、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているプログラムが記録された記録媒体である。
【００５４】
本発明の第２の側面のデータ処理装置は、入力されたデータから、第２のデータと、複数セットの予測係数の各セットを識別するための識別情報とを分離する分離手段と、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する予測用データ抽出手段と、識別情報に基づき、複数セットの予測係数の中から、注目第１データを予測するのに用いるものを選択し、その予測係数のセットと、予測用データとを用いて、注目第１データの予測値を求める予測値演算手段とを含み、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているデータ処理装置である。
【００５８】
本発明の第２の側面のデータ処理方法は、入力されたデータから、第２のデータと、複数セットの予測係数の各セットを識別するための識別情報とを分離する分離ステップと、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する予測用データ抽出ステップと、識別情報に基づき、複数セットの予測係数の中から、注目第１データを予測するのに用いるものを選択し、その予測係数のセットと、予測用データとを用いて、注目第１データの予測値を求める予測値演算ステップとを含み、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているデータ処理方法である。
【００５９】
本発明の第２の側面の記録媒体は、入力されたデータから、第２のデータと、複数セットの予測係数の各セットを識別するための識別情報とを分離する分離ステップと、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する予測用データ抽出ステップと、識別情報に基づき、複数セットの予測係数の中から、注目第１データを予測するのに用いるものを選択し、その予測係数のセットと、予測用データとを用いて、注目第１データの予測値を求める予測値演算ステップとを含むデータ処理を、コンピュータに実行させるプログラムであり、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているプログラムが記録された記録媒体である。
【００６０】
本発明の第３の側面のデータ処理装置は、第１のデータから、第２のデータを生成する生成手段と、注目している第１のデータである注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する第１の予測用データ抽出手段と、第１のデータを予測するのに用いる複数セットの予測係数を記憶している予測係数記憶手段と、予測用データおよび所定の予測係数のセットを用いて、注目第１データの予測値を求める予測値演算手段と、予測値の、注目第１データに対する予測誤差を求める予測誤差演算手段と、予測誤差を最小にする予測係数のセットを検出する検出手段と、予測誤差を最小にする予測係数のセットを識別するための識別情報を記憶する識別情報記憶手段と、第２のデータとともに、識別情報を出力する出力手段と、入力されたデータから、第２のデータと識別情報とを分離する分離手段と、注目第１データを予測するのに用いる予測用データを、第２のデータから抽出する第２の予測用データ抽出手段と、識別情報に基づき、複数セットの予測係数の中から、注目第１データを予測するのに用いるものを選択し、その予測係数のセットと、予測用データとを用いて、注目第１データの予測値を求める予測値演算手段とを含み、前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められているデータ処理装置である。
【００７６】
本発明の第１の側面においては、第１のデータから、第２のデータが生成され、注目している第１のデータである注目第１データを予測するのに用いる予測用データが、第２のデータから抽出される。さらに、予測係数記憶手段に記憶されている所定の予測係数のセットと、予測用データとを用いて、注目第１データの予測値が求められ、その予測値の、注目第１データに対する予測誤差が求められる。その後、予測誤差を最小にする予測係数のセットが検出され、その予測誤差を最小にする予測係数のセットを識別するための識別情報が記憶される。そして、第２のデータとともに、識別情報が出力される。前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている。
【００７７】
本発明の第２の側面においては、入力されたデータから、第２のデータと、複数セットの予測係数の各セットを識別するための識別情報とが分離され、注目している第１のデータである注目第１データを予測するのに用いる予測用データが、第２のデータから抽出される。そして、識別情報に基づき、複数セットの予測係数の中から、注目第１データを予測するのに用いるものが選択され、その予測係数のセットと、予測用データとを用いて、注目第１データの予測値が求められる。前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている。
【００７８】
本発明の第３の側面においては、第１のデータから、第２のデータが生成され、注目している第１のデータである注目第１データを予測するのに用いる予測用データが、第２のデータから抽出される。さらに、予測用データおよび所定の予測係数のセットを用いて、注目第１データの予測値が求められ、その予測値の、注目第１データに対する予測誤差が求められる。その後、予測誤差を最小にする予測係数のセットが検出され、その予測誤差を最小にする予測係数のセットを識別するための識別情報が記憶される。そして、第２のデータとともに、識別情報が出力される。一方、入力されたデータから、第２のデータと識別情報とが分離され、注目第１データを予測するのに用いる予測用データが、第２のデータから抽出される。そして、識別情報に基づき、複数セットの予測係数の中から、注目第１データを予測するのに用いるものが選択され、その予測係数のセットと、予測用データとを用いて、注目第１データの予測値が求められる。前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている。
【００８１】
【発明の実施の形態】
図４は、本発明を適用した画像伝送装置の一実施の形態の構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してある。即ち、図４の画像伝送装置は、符号化器３１および復号器４１で構成されており、従って、図３における場合と基本的に同様に構成されている。
【００８２】
図５は、図４の符号化器３１の構成例を示している。
【００８３】
符号化の対象となる高S/N画像は、フレームメモリ６１に供給されるようになっており、フレームメモリ６１は、そこに供給される高S/N画像を、例えば、フレーム単位で順次記憶するようになっている。なお、フレームメモリ６１は、複数フレームの画像を記憶することができるようになっており、これにより、そこに供給される高S/N画像が、動画像であっても、対処することができるようになっている。
【００８４】
ダウンコンバータ６２は、フレームメモリ６１に記憶された高S/N画像を、例えば、フレーム単位で順次読み出し、低S/N画像に変換するようになっている。即ち、ダウンコンバータ６２は、例えば、フレームメモリ６１に記憶された高S/N画像を、LPFでフィルタリングしたり、あるいはノイズを付加することで、低S/N画像に変換するようになっている。この低S/N画像は、フレームメモリ６３に供給されるようになっている。
【００８５】
なお、ここでは、ダウンコンバータ６２から出力される低S/N画像を構成する画素数は、そこに入力される高S/N画像を構成する画素数と変わらない（位置関係も変わらない）ものとする。但し、本発明は、低S/N画像の画素数が、高S/N画像の画素数よりも少ない場合にも適用可能である。
【００８６】
フレームメモリ６３は、フレームメモリ６１と同様に構成され、ダウンコンバータ６２が出力する低S/N画像を、例えば、フレーム単位で順次記憶するようになっている。
【００８７】
予測タップ生成回路６４は、図１の予測タップ生成回路３と同様に、予測タップを構成するようになっている。即ち、予測タップ生成回路６４は、フレームメモリ６１に記憶された高S/N画像の、あるフレームに注目し、その注目フレームを構成する各画素（高S/N画素）を、順次、注目画素として、その注目画素（と同一位置にある低S/N画素）の空間的または時間的周辺にある低S/N画像の画素を、フレームメモリ６３から読み出し、これを、予測タップとして、予測演算回路６５に供給するようになっている。
【００８８】
予測演算回路６５には、予測タップ生成回路６４から予測タップが供給される他、係数RAM６８から、所定の予測係数のセットが供給されるようになっている。そして、予測演算回路６５は、そこに供給される予測タップと予測係数のセットとを用いて、式（１）に示した線形予測式を演算することで、注目画素の予測値を求め、誤差計算回路６６に供給するようになっている。
【００８９】
誤差計算回路６６は、フレームメモリ６１から、注目画素となっている高S/N画素（の画素値）を読み出し、その注目画素に対する、予測演算回路６５からの予測値の予測誤差（ここでは、例えば、注目画素と予測値との差分値とし、また、予測誤差の大小は、その絶対値をとったときの大小を意味するものとする）を求め、比較部６７に供給するようになっている。
【００９０】
比較部６７は、誤差計算回路６６から供給される注目画素の予測値の予測誤差と、誤差／識別情報記憶部６９に記憶された予測誤差とを比較し、その比較結果に基づいて、誤差／識別情報記憶部６９の記憶値を変更するようになっている。さらに、比較部６７は、係数RAM６８に、後述する識別情報をアドレスとして与え、そのアドレスに記憶されている予測係数のセットを、予測演算回路６５に供給させるようになっている。
【００９１】
係数RAM６８は、後述する図９の学習装置による学習処理によって得られる複数の予測係数のセットを記憶している。なお、係数RAM６８では、複数の予測係数のセットそれぞれが、各セットを識別するための識別情報に対応するアドレスに記憶されている。
【００９２】
誤差／識別情報記憶部６９は、比較部６７から供給される、高S/N画素の予測値の予測誤差と、その予測値を得るときに用いられた予測係数のセットの識別情報とを対応付けて記憶するようになっている。
【００９３】
重畳部７０は、フレームメモリ６３に記憶された、注目フレームに対応する低S/N画像のフレームを読み出し、その低S/N画像の各低S/N画素に、その低S/N画素に対応する高S/N画素の予測値を得るときに用いられた予測係数のセットの識別情報を、誤差／識別情報記憶部６９から読み出して対応付け、符号化データとして出力するようになっている。
【００９４】
なお、重畳部７０における低S/N画素と識別情報との対応付けは、例えば、低S/N画素の画素値としてのビット列に、対応する識別情報としてのビット列を付加することで行っても良いし、また、低S/N画素の画素値としてのビット列の下位ビットを、対応する識別情報としてのビット列に置き換えることで行っても良い。
【００９５】
次に、図６のフローチャートを参照して、図５の符号化器３１で行われる高S/N画像の符号化処理について説明する。
【００９６】
符号化対象としての高S/N画像は、フレームメモリ６１に順次供給され、フレームメモリ６１では、そこに供給される高S/N画像が、フレーム単位で順次記憶されていく。
【００９７】
そして、ステップＳ１において、ダウンコンバータ６２は、フレームメモリ６１に記憶された高S/N画像の所定のフレームを、注目フレームとして読み出し、低S/N画像に変換する。この低S/N画像は、フレームメモリ６３に供給されて記憶される。
【００９８】
さらに、ステップＳ１では、誤差／識別情報記憶部６７の記憶値が初期化される。即ち、誤差／識別情報記憶部６７に記憶された予測誤差は、所定の大きな値に初期化され、識別情報は、識別情報として取り得ない値に初期化される。
【００９９】
その後、ステップＳ２に進み、比較部６７は、今回の処理で用いる予測係数のセットを決定し、その決定した予測係数のセット（以下、適宜、決定予測係数のセットという）の識別情報を、係数RAM６８に出力する。これにより、係数RAM６８からは、決定予測係数のセットが読み出され、予測演算回路６５に供給される。
【０１００】
そして、ステップＳ３に進み、予測タップ生成回路６４では、注目フレームの所定の高S/N画素を注目画素として、その注目画素についての予測タップを、フレームメモリ６３に記憶された低S/N画素を読み出すことで構成する。この予測タップは、予測演算回路６５に供給され、予測演算回路６５では、ステップＳ４において、予測タップ生成回路６４からの予測タップと、決定予測係数のセットとを用いて、注目画素の予測値が演算される。この予測値は、予測演算回路６５から誤差計算回路６６に供給される。
【０１０１】
誤差計算回路６６では、ステップＳ５において、予測演算回路６５からの予測値の予測誤差が計算され、比較部６７に供給される。比較部６７では、ステップＳ６において、その今回得られた予測誤差（以下、適宜、今回の誤差という）が、誤差／識別情報記憶部６９に記憶されている注目画素の予測誤差（以下、適宜、記憶誤差という）より小さいかどうか（記憶誤差以下であるかどうか）が判定される。
【０１０２】
ステップＳ６において、今回の誤差が、記憶誤差よりも小さいと判定された場合、即ち、注目画素について、今回の予測係数のセット（直前のステップＳ２で係数RAM６８から読み出された予測係数のセット）を用いて得られた予測値の予測誤差の方が、それまでに得られた予測値の予測誤差（それまでに係数RAM６８から読み出された予測係数のセットを用いて得られた予測値の予測誤差）よりも小さく、従って、今回の予測係数のセットを用いた方が、より注目画素に近い予測値が得られる場合、ステップＳ７に進み、比較部６７は、誤差／識別情報記憶部６９の記憶内容を更新し、ステップＳ８に進む。
【０１０３】
即ち、比較部６７は、今回の誤差と、今回の予測係数のセットの識別情報とを対応付け、注目画素について記憶されていた予測誤差とそれに対応付けられていた識別情報に替えて、誤差／識別情報記憶部６９に、新たに記憶させる（上書きする）。
【０１０４】
一方、ステップＳ６において、今回の誤差が、記憶誤差よりも小さくないと判定された場合、ステップＳ７をスキップして、ステップＳ８に進み、注目フレームの中に、次に注目画素とすべき高S/N画素が、まだあるかどうかが判定される。ステップＳ８において、注目フレームの中に、次に注目画素とすべき高S/N画素があると判定された場合、その高S/N画素が、新たに注目画素とされ、ステップＳ３に戻り、以下、同様の処理が繰り返される。
【０１０５】
また、ステップＳ８において、注目フレームの中に、次に注目画素とすべき高S/N画素がないと判定された場合、即ち、注目フレームのすべての高S/N画素を注目画素として、決定予測係数のセットを用いた予測値の計算を行った場合、ステップＳ９に進み、係数RAM６８に記憶されたすべての予測係数のセットを用いて、注目フレームについて、予測値の計算を行ったかどうかが判定される。
【０１０６】
ステップＳ９において、注目フレームについて、係数RAM６８に記憶されたすべての予測係数のセットを用いて、予測値の計算を、まだ行っていないと判定された場合、ステップＳ２に戻り、比較部６７は、係数RAM６８に記憶された複数の予測係数のセットのうち、注目フレームについて、まだ、決定予測係数のセットとしていないものを、新たに決定予測係数のセットとして決定する。そして、以下、ステップＳ３以降の処理が繰り返される。
【０１０７】
一方、ステップＳ９において、係数RAM６８に記憶されたすべての予測係数のセットを用いて、注目フレームについて、予測値の計算を行ったと判定された場合、即ち、注目フレームを構成する各高S/N画素について、その予測値の予測誤差を最も小さくする予測係数のセットの識別情報が、誤差／識別情報記憶部６９に記憶された場合、ステップＳ１０に進み、重畳部７０は、フレームメモリ６３に記憶された、注目フレームに対応する低S/N画像のフレームと、誤差／識別情報記憶部６９に記憶された、注目フレームの高S/N画素それぞれに対応する識別情報とを読み出し、両者を対応付けて（注目フレームの各高S/N画素と同一位置にある低S/N画素と、その高S/N画素に対応する識別情報とを対応付けて）、符号化データとして出力する。
【０１０８】
そして、ステップＳ１１に進み、フレームメモリ６１に、次に処理すべき高S/N画像のフレームが記憶されているかどうかが判定され、記憶されていると判定された場合、その次に処理すべき高S/N画像のフレームを、新たに、注目フレームとして、ステップＳ１に戻り、以下、同様の処理を繰り返す。
【０１０９】
また、ステップＳ１１において、フレームメモリ６１に、次に処理すべき高S/N画像のフレームが記憶されていないと判定された場合、符号化処理を終了する。
【０１１０】
以上のように、符号化器３１では、複数の予測係数のセットの中から、各高S/N画素の予測誤差を最小にするものを検出し、その予測係数のセットの識別情報を、低S/N画素とともに出力するようにしたので、復号器４１において、その識別情報に対応する予測係数のセットを用いて適応処理を行うことで、低S/N画素を、予測誤差の小さい高S/N画素に変換することが可能となる。
【０１１１】
即ち、図７は、そのようにして低S/N画素を高S/N画素に変換する、図４の復号器４１の構成例を示している。
【０１１２】
分離部７１には、符号化データが入力されるようになっており、分離部７１は、そこに入力される符号化データを、低S/N画像と、識別情報とに分離して出力するようになっている。フレームメモリ７２は、図５のフレームメモリ６１と同様に構成され、分離部７１が出力する低S/N画像を、例えば、１フレーム単位で記憶するようになっている。
【０１１３】
予測タップ生成回路７３は、予測値を求めようとする高S/N画素を注目画素とし、その注目画素について、図５の予測タップ生成回路６４における場合と同様に、フレームメモリ７２に記憶された低S/N画素を用いて予測タップを構成し、予測演算回路７４に出力するようになっている。識別情報記憶部７５は、分離部７１が出力する、低S/N画像の低S/N画素に付加されていた識別情報を記憶し、注目画素と同一位置にある低S/N画素に対応付けられていた識別情報を、アドレスとして、係数RAM７６に供給するようになっている。
【０１１４】
係数RAM７６は、図５の係数RAM６８に記憶されている予測係数のセットと同一の予測係数のセットを記憶しており、識別情報記憶部７５から供給される識別情報に対応する予測係数のセットを、予測演算回路７４に供給するようになっている。
【０１１５】
予測演算回路７４は、予測タップ生成回路７３からの予測タップと、係数RAM７６からの予測係数のセットとを用いて、式（１）の線形予測式を演算することにより、注目画素である高S/N画素の予測値を求めて出力するようになっている。
【０１１６】
次に、図８のフローチャートを参照して、図７の復号器４１で行われる低S/N画像の復号処理（低S/N画像を、高S/N画像（の予測値）に変換する処理）について説明する。
【０１１７】
分離部７１では、符号化データが、順次受信される。そして、ステップＳ２１において、分離部７１は、符号化データを、低S/N画像と識別情報とに分離し、低S/N画像は、フレームメモリ７２に供給して記憶させ、識別情報は、識別情報記憶部７２に供給して記憶させる。
【０１１８】
その後、予測タップ生成回路７３では、フレームメモリ７２に記憶された低S/N画像に対応する高S/N画像のフレームが注目フレームとされ、その注目フレームの所定の高S/N画素が注目画素とされる。そして、ステップＳ２２において、予測タップ生成回路７３は、フレームメモリ７２から必要な低S/N画素を読み出すことで、注目画素についての予測タップを構成し、予測演算回路７４に出力する。
【０１１９】
さらに、ステップＳ２２では、識別情報記憶部７５において、注目画素に対応する識別情報が読み出され、係数RAM７６に対して、アドレスとして与えられる。これにより、係数RAM７６では、注目画素に対応する識別情報によって特定される予測係数のセットが読み出され、予測演算回路７４に供給される。
【０１２０】
予測演算回路７４では、ステップＳ２３において、予測タップ生成回路７３からの予測タップと、係数RAM７６からの予測係数のセットとを用いて、式（１）の線形予測式が演算され、これにより、注目画素の予測値が求められて出力される。ここで、この予測値は、上述したことから、係数RAM７６に記憶されている複数の予測係数のセットそれぞれを用いて、注目画素を線形予測した場合に、その予測誤差が最も小さくなるものとなっているから、予測誤差が最小の予測値が得られることになる。
【０１２１】
その後、ステップＳ２４に進み、注目フレームの中に、次に注目画素とすべき高S/N画素が、まだあるかどうかが判定される。ステップＳ２４において、注目フレームの中に、次に注目画素とすべき高S/N画素があると判定された場合、その高S/N画素が、新たに注目画素とされ、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１２２】
また、ステップＳ２４において、注目フレームの中に、次に注目画素とすべき高S/N画素がないと判定された場合、即ち、注目フレームのすべての高S/N画素を注目画素として、その予測値を求めた場合、ステップＳ２５に進み、次のフレームに対応する符号化データが、分離部７１に供給されたかどうかが判定される。ステップＳ２５において、次のフレームに対応する符号化データが、分離部７１に供給されたと判定された場合、そのフレームに対応する高S/N画像のフレームを、新たに注目フレームとして、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０１２３】
一方、ステップＳ２５において、次のフレームに対応する符号化データが、分離部７１に供給されていないと判定された場合、復号処理を終了する。
【０１２４】
以上のように、識別情報に対応する予測係数のセットを用いて、高S/N画素の予測値を求めるようにしたので、予測誤差の小さい予測値、即ち、よりS/Nが改善された画像を得ることができる。
【０１２５】
次に、図５の係数RAM６８および図７の係数RAM７６に記憶させる複数の予測係数のセットとしては、図２に示した学習装置によって得られるものを用いることも可能である。しかしながら、図２の学習装置では、上述したように、クラスごとに、予測係数のセットが求められるため、そのような予測係数のセットは、予測誤差をより小さくするという観点からは、必ずしも最適であるとはいえない。
【０１２６】
そこで、図９は、図５の係数RAM６８および図７の係数RAM７６に記憶させる最適な複数の予測係数のセットを求める学習を行う学習装置の一実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１２７】
適応処理回路８１には、フレームメモリ１３に記憶された生徒データとしての低S/N画像、並びに演算回路２１で得られた予測係数のセット、および係数記憶部８８に記憶された予測係数のセットが供給されるようになっており、適応処理回路８１は、その低S/N画像と、予測係数のセットとを用いて、適応処理、即ち、式（１）の線形予測式を演算し、その低S/N画像に対応する高S/N画像（教師データ）の予測値を求めるようになっている。この予測値は、誤差計算回路８２に供給されるようになっている。
【０１２８】
誤差計算回路８２には、適応処理回路８１から高S/N画像の予測値が供給される他、その高S/N画像が、フレームメモリ１１から供給されるようになっており、誤差計算回路８２は、高S/N画素に対する、その予測値の予測誤差を計算し、識別情報書き込み回路８４、誤差マスク作成回路８５、およびピンポイント拡張マスク作成回路８６に供給するようになっている。
【０１２９】
識別情報記憶部８３は、高S/N画像を構成する高S/N画素ごとに（ここでは、高S/N画像と低S/N画像の画素数は同一なので、高S/N画素ごとという場合は、低S/N画素ごとという場合に等しい）、その高S/N画素の予測値を求めるのに最適な（予測値の予測誤差を最小にする）予測係数のセットの識別情報を記憶するようになっている。
【０１３０】
識別情報書き込み回路８４は、収束判定回路８７の出力と、誤差計算回路８２からの出力に基づいて、識別情報記憶部８３に、識別情報を書き込むようになっている。
【０１３１】
誤差マスク作成回路８５は、収束判定回路８７の出力と、誤差計算回路８２からの出力に基づいて、式（７）の正規方程式におけるサメーション（Σ）の対象となっている項に対する第１の重みとしての誤差マスクを生成（変更）し、加算回路１７および１９に供給するようになっている。
【０１３２】
ピンポイント拡張マスク作成回路８６は、収束判定回路８７の出力と、誤差計算回路８２からの出力に基づいて、式（７）の正規方程式におけるサメーション（Σ）の対象となっている項に対する第２の重みとしてのピンポイント拡張マスクを生成（変更）し、加算回路１７および１９に供給するようになっている。
【０１３３】
収束判定回路８７は、演算回路２１が出力する予測係数のセットが収束しているかどうかを判定し、その判定結果を、識別情報書き込み回路８４、誤差マスク作成回路８５、およびピンポイント拡張マスク作成回路８６に供給するようになっている。さらに、収束判定回路８７は、演算回路２１が出力する予測係数のセットが収束していると判定した場合、その予測係数のセットに対する識別情報を設定し、係数記憶部８８に供給するとともに、その予測係数のセットを、係数記憶部８８に供給するようになっている。
【０１３４】
係数記憶部８８は、収束判定回路８７が出力する識別情報に対応するアドレスに、同じく収束判定回路８７が出力する予測係数のセットを記憶するようになっている。
【０１３５】
次に、図１０および図１１を参照して、図９の学習装置で行われる、複数の予測係数のセットを求める学習処理の概要について説明する。なお、ここでは、説明を簡単にするために、学習用の教師データとしては、１フレームの高S/N画像が用意されているものとする。
【０１３６】
図９の学習装置では、まず最初に、すべての教師データ、即ち、ここでは、図１０（Ａ）に示すように、１フレームの高S/N画像を構成する高S/N画素すべてに対して、同一の予測係数のセットを用いて予測値を求めるものとして、１回目の適応処理（ここでいう適応処理は、式（７）の正規方程式をたてて解く処理）が行われる。この場合、図２の学習装置において、クラスを１つ（モノクラス(mono class)）として（クラスがないとして）、学習処理を行った場合と同一の予測係数のセットが得られる。
【０１３７】
１回目の適応処理の結果得られる予測係数のセットによれば、１フレームの各高S/N画素の予測値の予測誤差は、そのすべてが小さくなることもあり得ないことではないが、一般には、幾つかの高S/N画素については小さくなり、他の幾つかの高S/N画素については中位になり、さらに他の幾つかの高S/N画素については大きくなる。
【０１３８】
そこで、図９の学習装置では、予測誤差が小さくない予測値が得られた高S/N画素のみを対象に、２回目の適応処理が行われ、新たに予測係数のセットが求められる。即ち、図１０（Ａ）の１フレームの高S/N画素すべてを対象として１回目の適応処理を行った結果得られた予測係数のセットによって、例えば、図１０（Ｂ）に、Ａで示す部分の高S/N画素について、予測誤差を小さくする予測値が得られる場合には、その部分Ａを除く部分にある高S/N画素のみを対象に、２回目の適応処理が行われる。
【０１３９】
その結果得られる新たな予測係数のセットによれば、２回目の適応処理の対象となっている各高S/N画素の予測値の予測誤差は、そのすべてが小さくなることもあり得ないことではないが、一般には、やはり、幾つかの高S/N画素については小さくなり、他の幾つかの高S/N画素については中位になり、さらに他の幾つかの高S/N画素については大きくなる。
【０１４０】
そこで、図９の学習装置では、予測誤差が小さくない予測値が得られた高S/N画素のみを対象に、３回目の適応処理が行われ、さらに新たな予測係数のセットが求められる。即ち、図１０（Ｂ）の部分Ａを除く部分の高S/N画素すべてを対象として２回目の適応処理を行った結果得られた予測係数のセットによって、例えば、図１０（Ｃ）に、Ｂで示す部分の高S/N画素について、予測誤差を小さくする予測値が得られる場合には、部分ＡおよびＢを除く部分にある高S/N画素のみを対象に、３回目の適応処理が行われる。
【０１４１】
以下、同様の処理を繰り返すことで、教師データとしての高S/N画素すべてについて、幾つかの高S/N画素のグループごとに、予測誤差を小さくする予測係数のセットが、順次求められる。
【０１４２】
ところで、複数の高S/N画素について、式（７）の正規方程式を解いて、予測係数のセットを求める処理、即ち、適応処理は、図１１（Ａ）に示すように、その複数の高S/N画素それぞれである真値と、各高S/N画素について構成される予測タップとの関係を表すサンプル点（図１１において、×印で示す）を近似する直線Ｌを求めることに相当する。即ち、図１１（Ａ）では、直線Ｌは、各サンプル点との距離の自乗和を最小にするものとなっており、１回目の適応処理により求められる予測係数のセットに対応する。
【０１４３】
そして、２回目の適応処理では、予測誤差が小さくない高S/N画素のみを対象に、予測係数のセットが求められるから、この２回目の適応処理は、図１１（Ｂ）に示すように、直線Ｌから遠いサンプル点を近似する直線Ｌ’を求めることに相当する。
【０１４４】
図９の学習装置では、以上のように、適応処理の結果得られる予測係数のセットでは予測誤差が小さくならない高S/N画素のみを対象に、適応処理が繰り返し行われることで、教師データとしての高S/N画素すべてについて、予測誤差を小さくする予測係数のセットが求められる。しかしながら、ある１回の適応処理の結果得られる予測係数のセットを用いた場合に、予測誤差が小さくなる高S/N画素に注目してみると、その高S/N画素の中だけでも、予測誤差が大きなものもあれば、小さなものもある。即ち、図１１（Ａ）において、直線Ｌに近いサンプル点に注目すると、そのサンプル点の中には、直線Ｌに対して、比較的近い位置にあるものもあれば、比較的遠い位置にあるものもある。
【０１４５】
そこで、図９の学習装置では、予測の精度をより向上させるために（予測誤差をより小さくするために）、予測誤差の小さいサンプル点（以下、適宜、小誤差サンプル点という）に重きをおいて適応処理が行われるようになっている。この場合、例えば、図１１（Ａ）において、直線Ｌに近いサンプル点（小誤差サンプル点）に重きをおいて適応処理が行われることとなるが、この適応処理によれば、図１１（Ｃ）に示すように、小誤差サンプル点との距離をより短くする直線Ｌ”が得られることになり、従って、小誤差サンプル点に対応する高S/N画素については、その予測値の予測誤差を、より小さくする予測係数のセットが得られることになる。
【０１４６】
なお、この場合、直線Ｌに近いサンプル点のうち、直線Ｌから比較的離れているものについては、その予測誤差は大きくなるが、これは、上述のように、予測誤差が小さくならない高S/N画素のみを対象に、適応処理を繰り返し行うことで救われる（その予測誤差を小さくする予測係数のセットが求められる）ことになる。
【０１４７】
以上のように、図９の学習装置では、第１に、適応処理の結果得られる予測係数のセットでは予測誤差が小さくならない高S/N画素のみを対象に、適応処理が繰り返し行われる。なお、上述の場合では、説明を簡単にするために、適応処理の結果得られる予測係数のセットでは予測誤差が小さくならない高S/N画素のみを対象に、次の適応処理を行うこととしたが、本実施の形態では、適応処理の結果得られる予測係数のセットを用いた場合に、予測誤差が大きくなる高S/N画素に重きをおいて、適応処理が行われる。これにより、次の適応処理では、前回の適応処理により得られた予測係数のセットでは予測誤差が大きくなる高S/N画素について、その予測誤差を大きくしない予測係数のセットが求められる。
【０１４８】
さらに、図９の学習処理では、第２に、予測誤差の小さいサンプル点に重きをおいて適応処理が行われる。これにより、予測誤差を、より小さくする予測係数のセットが求められる。
【０１４９】
ここで、以下、適宜、予測誤差の小さい高S/N画素に重きをおいて適応処理を行うことにより、予測誤差が、より小さくなる予測係数のセットを求める処理を、正帰還という。さらに、予測誤差が大きい高S/N画素に重きをおいて適応処理を行うことにより、予測誤差が大きくならない予測係数のセットを求める処理を、上述の正帰還に対して、負帰還という。
【０１５０】
負帰還は、図９において点線の矢印Ｂで示すように、演算回路２１から収束判定回路８７および誤差マスク作成回路８５を介して、加算回路１７および１９に供給される信号（誤差マスク）によって実現される。また、正帰還は、図９において点線の矢印Ｆで示すように、演算回路２１から収束判定回路８７および本ポイント拡張マスク作成回路８６を介して、加算回路１７および１９に供給される信号（ピンポイント拡張マスク）によって実現される。
【０１５１】
次に、図１２のフローチャートを参照して、図９の学習装置で行われる学習処理について、さらに説明する。
【０１５２】
教師データとしての高S/N画像は、フレームメモリ１１に供給されて記憶され、ステップＳ３１において、ダウンコンバータ３１は、フレームメモリ１１に記憶された教師データとしての高S/N画像から、生徒データとしての低S/N画像を生成し、フレームメモリ１３に供給して記憶させる。さらに、ステップＳ３１では、各種の初期化が行われる。即ち、予測タップメモリ１８および２０、係数記憶部８８の記憶値がクリアされ、また、識別情報記憶部８３の記憶値が、識別情報として取り得ない値にセットされる。さらに、ステップＳ３１では、誤差マスク作成回路８５に記憶されている誤差マスク、およびピンポイント拡張マスク作成回路８６に記憶されているピンポイント拡張マスクが、例えば１に初期化される。
【０１５３】
その後、ステップＳ３２において、識別情報としての変数iが、例えば０に初期化され、ステップＳ３３に進み、予測係数のセットを収束させるための処理回数をカウントする変数jが、例えば０に初期化される。
【０１５４】
そして、ステップＳ３４に進み、予測タップ生成回路１５は、教師データの中の、ある高S/N画素を注目画素として、その注目画素について予測タップを、フレームメモリ１３に記憶された低S/N画素を読み出すことで構成する。この予測タップは、加算回路１７および１９に供給される。
【０１５５】
加算回路１７および１９では、ステップＳ３５において、予測タップ（生徒データ）、教師データそれぞれの足し込みが行われる。
【０１５６】
即ち、予測タップメモリ１８は、その記憶値を読み出し、加算回路１７に供給する。加算回路１７は、図２の学習装置における場合と同様に、予測タップメモリ１８から供給される記憶値と、予測タップ生成回路１５から供給されるの予測タップを構成する低S/N画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算（足し込み）を行う。
【０１５７】
但し、加算回路１７は、その足し込みに際して、誤差マスク作成回路８５が出力する誤差マスク、およびピンポイント拡張マスク作成回路８６が出力するピンポイント拡張マスクによる重み付けを行う。
【０１５８】
従って、i件目の教師データをｙiと表すとともに、その教師データｙiの予測値を求めるのに用いる予測タップを構成するj番目の生徒データをｘijと表し、さらに、その教師データｙiと予測タップの組み合わせに対する、誤差マスクおよびピンポイント拡張マスクによる重みを、ｈiと表すと、加算回路１７では、式（７）における各サメーション（Σ）の項に、重みｈiを乗算した形の次式に示す正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算（足し込み）が行われる。
【０１５９】
【数８】
そして、加算回路１７は、その演算結果を、予測タップメモリ１８に、上書きする形で記憶させる。
【０１６０】
一方、教師データメモリ２０は、その記憶値を読み出し、加算回路１９に供給する。加算回路１９は、図２の学習装置における場合と同様に、フレームメモリ１１から、注目画素となっている教師データｙiを読み出し、その教師データｙi、さらには、予測タップ生成回路１５からの予測タップを構成する低S/N画素、および教師データメモリ２０から供給された記憶値とを用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算（足し込み）を行う。
【０１６１】
但し、加算回路１９も、加算回路１７と場合と同様に、誤差マスク作成回路８５が出力する誤差マスク、およびピンポイント拡張マスク作成回路８６が出力するピンポイント拡張マスクによる重みｈiを付加した形で、足し込みを行う。
【０１６２】
従って、加算回路１９では、式（８）に示す正規方程式の右辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算（足し込み）が行われる。
【０１６３】
そして、ステップＳ３６に進み、フレームメモリ１１に記憶された教師データとしての高S/N画素の中で、まだ注目画素としていないもの（未処理画素）があるかどうかが判定され、あると判定された場合、その画素のうちの１つを、新たに注目画素として、ステップＳ３４に戻り、以下、同様の処理が繰り返される。
【０１６４】
また、ステップＳ３６において、フレームメモリ１１に記憶された教師データとしての高S/N画素の中で、まだ注目画素としていないものがないと判定された場合、ステップＳ３７に進み、演算回路２１は、予測タップメモリ１８または教師データメモリ２０から、それぞれの記憶値を読み出し、式（８）に示した正規方程式を解くことにより、１セットの予測係数を求める。この予測係数のセットは、適応処理回路８１および収束判定回路８７に供給される。
【０１６５】
適応処理回路８１は、演算回路２１から予測係数のセットを受信すると、ステップＳ３８において、その予測係数のセットを用いて、フレームメモリ１１に記憶された教師データとしての高S/N画素それぞれの予測値が求められる。即ち、適応処理回路８１は、フレームメモリ１１に記憶された高S/N画素を、順次、注目画素とし、その注目画素についての予測タップを、フレームメモリ１３に記憶された低S/N画素を用いて構成し、その予測タップと、演算回路２１からの予測係数のセットとを用いて、式（１）の線形予測式を演算し、各高S/N画素の予測値を求める。
【０１６６】
適応処理回路８１で求められた各高S/N画素の予測値は、誤差計算回路８２に供給される。誤差計算回路８２では、ステップＳ３９において、フレームメモリ１１に記憶された各高S/N画素（の画素値）が読み出され、その各高S/N画素に対する、適応処理回路８１からの予測値の予測誤差が求められる。そして、誤差計算回路８２は、名高S/N画素について求められる予測誤差を、ピンポイント拡張マスク作成回路８６に供給する。
【０１６７】
そして、ステップＳ４０に進み、収束判定回路８７において、演算回路２１が直前のステップＳ３７で求めた予測係数のセットが収束しているかどうかが判定される。即ち、ステップＳ４０では、演算回路２１から今回出力された予測係数のセットが、演算回路２１から前回出力された予測係数のセットとほぼ同一の値であるかどうかが判定される。
【０１６８】
ステップＳ４０において、演算回路２１が出力した予測係数のセットが収束していないと判定された場合、即ち、演算回路２１から今回出力された予測係数のセットが、演算回路２１から前回出力された予測係数のセットとほぼ同一の値でない場合、ステップＳ４１に進み、変数jが１だけインクリメントされ、ステップＳ４２に進み、変数jが、所定の回数MAXJよりも小さいかどうかが判定される。
【０１６９】
ステップＳ４２において、変数jが、所定の回数MAXJよりも小さいと判定された場合、即ち、変数iについて、予測係数のセットを収束させるための処理であるステップＳ３４乃至Ｓ４３のループ処理を行った回数が、MAXJ以下である場合、ステップＳ４３に進み、ピンポイント拡張マスク作成回路８６において、ピンポイント拡張マスクが、誤差計算回路８２からの予測誤差に基づいて更新（変更）される。
【０１７０】
即ち、収束判定回路８７は、ステップＳ４０において、演算回路２１からの予測係数のセットが収束していないと判定した場合、その旨の信号（以下、適宜、非収束信号という）を、ピンポイント拡張マスク作成回路８６に出力する。そして、ピンポイント拡張マスク作成回路８６は、収束判定回路８７から非収束信号を受信した場合において、予測係数のセットを収束させるための処理であるステップＳ３４乃至Ｓ４３のループ処理を行った回数が、MAXJ以下であるときには、誤差計算回路８２からの予測誤差に基づいて、ピンポイント拡張マスクを更新する。そして、この更新されたピンポイント拡張マスクは、加算回路１７および１９に供給される。
【０１７１】
ここで、図１３（Ａ）は、ピンポイント拡張マスクを示している。図１３（Ａ）に示すように、ピンポイント拡張マスクは、各高S/N画素について、その予測値の予測誤差が０のときは、１に設定され、大きくなるほど（ここでは、上述したように、その絶対値が大きくなるほど）、小さな値が設定されるようになっている。なお、ピンポイント拡張マスクは、ここでは、例えば、ほぼ、関数ｙ＝１／√｜ｘ｜の形で与えられるようになっている。
【０１７２】
従って、ピンポイント拡張マスク作成回路８６では、予測誤差が小さい予測値が得られる高S/N画素に対してほど、大きな重みを与えるピンポイント拡張マスクが作成される。
【０１７３】
図１２に戻り、ステップＳ４３では、さらに、予測タップメモリ１８および教師データメモリ２０の記憶値が、例えば０に初期化され、ステップＳ３４に戻り、以下、同様の処理が繰り返される。従って、その後に加算回路１７および１９で行われるステップＳ３５の足し込みでは、式（８）における各項のうち、今回の予測値（直前のステップＳ３８で求められた予測値）の予測誤差の小さかった教師データ（高S/N画素）ｙi、およびその教師データｙiについての予測タップｘijを用いた項には、大きな重みｈiがおかれることになる。そして、その結果、図１１（Ｃ）で説明したように、予測誤差の小さい教師データについては、さらに、その予測誤差を小さくするような予測係数のセット（図１１（Ｃ）の直線Ｌ”に相当する予測係数のセット）が求められることになる。
【０１７４】
また、ステップＳ４２において、変数jが、所定の回数MAXJよりも小さくないと判定された場合、即ち、変数iについて、予測係数のセットを収束させるための処理であるステップＳ３４乃至Ｓ４３のループ処理を行った回数が、MAXJとなった場合、ステップＳ４４に進み、以下、後述する処理が行われる。
【０１７５】
ここで、本実施の形態では、上述のように、予測係数のセットを収束させるための処理であるステップＳ３４乃至Ｓ４３のループ処理については、予測係数のセットが収束しなくても、MAXJ回で打ち切るようにしているが、このループ処理は、そのような回数の制限を設けずに、予測係数が収束するまで行うようにすることが可能である。
【０１７６】
一方、ステップＳ４０において、演算回路２１が出力した予測係数のセットが収束していると判定された場合、即ち、演算回路２１から今回出力された予測係数のセットが、演算回路２１から前回出力された予測係数のセットとほぼ同一の値であり、従って、ある一部分の教師データについて、その予測値の予測誤差を非常に小さくする予測係数のセットが得られた場合、ステップＳ４４に進み、収束判定回路８７は、その今回出力された予測係数のセットを、係数記憶部８８に供給し、識別情報としての変数iに対応する係数記憶部８８のアドレスに記憶させる。そして、ステップＳ４５に進み、各高S/N画素の予測値の最小予測誤差が求められる。
【０１７７】
即ち、収束判定回路８７は、演算回路２１からの予測係数のセットが収束していると判定した場合（上述のステップＳ４２において、変数jがMAXJより小さくないと判定された場合も同様）、その旨の信号（以下、適宜、収束信号という）を、適応処理回路８１、誤差計算回路８２、識別情報書き込み回路８４、および誤差マスク作成回路８５に供給する。
【０１７８】
適応処理回路８１は、収束信号を受信すると、係数記憶部８８に既に記憶されている予測係数のセットをすべて読み出し、その予測係数のセットそれぞれを用いて、ステップＳ３８における場合と同様に、各高S/N画素の予測値を求める。
【０１７９】
従って、この場合、適応処理回路８１では、係数記憶部８８に既に記憶されている１セット以上の予測係数のセットそれぞれを用いた場合の予測値が求められることとなり、その結果、演算回路２１が出力する予測係数のセットが収束したときには、１つの高S/N画素について、１つ以上の予測値が求められる。
【０１８０】
適応処理回路８１で求められた各高S/N画素の予測値は、誤差計算回路８２に供給される。誤差計算回路８２では、フレームメモリ１１に記憶された各高S/N画素（の画素値）が読み出され、その各高S/N画素に対する、適応処理回路８１からの１以上の予測値それぞれについての予測誤差が求められる。そして、誤差計算回路８２は、各高S/N画素について求められる１以上の予測誤差のうちの最小のものを、識別情報書き込み回路８４、および誤差マスク作成回路８５に供給する。
【０１８１】
即ち、上述のように、ここでは、各高S/N画素について、１以上の予測値が求められるので、誤差計算回路８２では、各高S/N画素それぞれについて、その１以上の予測値の予測誤差のうちの最小のもの（以下、適宜、最小予測誤差という）が、識別情報書き込み回路８４、および誤差マスク作成回路８５に供給される。
【０１８２】
なお、適応処理回路８１は、係数記憶部８８に既に記憶されている予測係数のセットを読み出すときに、各予測係数のセットに対して、その予測係数のセットが記憶されているアドレスである識別情報を対応付け、さらに、各予測係数のセットを用いて求めた予測値に、その予測係数のセットの識別情報を対応付けて、誤差計算回路８２に出力するようになっている。
【０１８３】
また、誤差計算回路８２は、最小予測誤差を、識別情報書き込み回路８４、および誤差マスク作成回路８５に出力するときに、その最小予測誤差が得られたときの予測値を求めるときに用いた予測係数のセットの識別情報を対応付けて出力するようになっている。
【０１８４】
従って、識別情報書き込み回路８４、および誤差マスク作成回路８５に対しては、各高S/N画素の予測値の最小予測誤差が、その予測値を求めるときに用いた予測係数のセットの識別情報とともに供給される。
【０１８５】
識別情報書き込み回路８４は、各高S/N画素の予測値の最小予測誤差とともに、識別情報を受信すると、ステップＳ４６において、識別情報記憶部８３の、各高S/N画素に対応するアドレスに、その高S/N画素の予測値の最小予測誤差に対応付けられている識別情報を書き込む（上書きする）。
【０１８６】
従って、識別情報記憶部８３の、各高S/N画素に対応するアドレスに記憶されている識別情報によって特定される予測係数のセットを用いて、その高S/N画素の予測値を求めた場合、いまの時点で、予測誤差を最も小さくする予測値が得られることになる。
【０１８７】
その後、ステップＳ４７に進み、識別情報としての変数iが１だけインクリメントされ、ステップＳ４８に進む。ステップＳ４８では、変数iが、予測係数のセットの最大数として、あらかじめ設定された値MAXIより小さいかどうかが判定される。ステップＳ４８において、変数iがMAXIより小さいと判定された場合、即ち、係数記憶部８８に記憶されている予測係数のセットの数が、あらかじめ設定されたMAXIより少ない場合、ステップＳ４９に進み、誤差マスク作成回路８５において、誤差マスクが、誤差計算回路８２からの最小予測誤差に基づいて更新（変更）される。
【０１８８】
即ち、誤差マスク作成回路８５は、収束判定回路８７から収束信号を受信すると、誤差計算回路８２からの最小予測誤差に基づいて、誤差マスクを更新する。そして、この更新された誤差マスクは、加算回路１７および１９に供給される。
【０１８９】
ここで、図１３（Ｂ）は、誤差マスクを示している。図１３（Ｂ）に示すように、誤差マスクは、各高S/N画素について、その予測値の最小予測誤差が０のときは、０に設定され、最小予測誤差の大きさに比例した大きさの値、即ち、その大きさが大きくなるほど、大きな値が設定されるようになっている。なお、誤差マスクは、ここでは、例えば、ほぼ、関数ｙ＝｜ｘ｜の形で与えられるようになっている。
【０１９０】
従って、誤差マスク作成回路８５では、最小予測誤差が大きい予測値が得られる高S/N画素に対してほど、大きな重みを与える誤差マスクが作成される。
【０１９１】
図１２に戻り、ステップＳ４９では、さらに、ピンポイント拡張マスク作成回路８６において、ピンポイント拡張マスクが、例えば１に初期化され、また、予測タップメモリ１８および教師データメモリ２０の記憶値が、例えば０に初期化される。そして、ステップＳ３３に戻り、以下、同様の処理が繰り返される。
【０１９２】
従って、この場合、加算回路１７および１９では、式（８）における各項のうち、係数記憶部８８に記憶されている予測係数のセットのいずれを用いても、予測誤差の小さくなかった教師データ（高S/N画素）ｙi、およびその教師データｙiについての予測タップｘijを用いた項には、大きな重みｈiがおかれて足し込みが行われることになる。そして、その結果、図１１（Ｂ）で説明したように、予測誤差の小さくない教師データについて、その予測誤差を小さくするような予測係数のセット（図１１（Ｂ）の直線Ｌ’に相当する予測係数のセット）が求められることになる。
【０１９３】
一方、ステップＳ４８において、変数iがMAXIより小さくないと判定された場合、即ち、係数記憶部８８に、あらかじめ設定されたMAXIに等しいセット数の予測係数のセットが記憶された場合、学習処理を終了する。
【０１９４】
なお、加算回路１７および１９では、ステップＳ３５における予測タップ（生徒データ）、教師データの足し込みは、常に、ピンポイント拡張マスクおよび誤差マスクの両者による重み付けをしながら行われる。即ち、図１３（Ａ）に示したピンポイント拡張マスクと、図１３（Ｂ）に示した誤差マスクとの両者を重ね合わせたマスク（両者の積）は、図１３（Ｃ）に示すように、ほぼ、関数ｙ＝√｜ｘ｜の形となるが、式（８）に示した重みｈiは、これによって与えられる。
【０１９５】
具体的には、図１４に示すように、ある高S/N画素ｙiについて、その予測誤差に基づいて得られるピンポイント拡張マスクのマスク値がｈｐiであり、さらに、その最小予測誤差に基づいて得られる誤差マスクのマスク値がｈｅiである場合には、式（８）に示した重み（マスク値）ｈiは、ｈｐi×ｈｅiで与えられる。そして、加算回路１７および１９では、このようにして与えられる重みｈiが各高S/N画素ごとに求められ、予測タップ（生徒データ）、教師データの足し込みの際の重み付けに用いられる。
【０１９６】
以上のように、図９の学習装置では、今までに求められた予測係数のセットを用いて求められる予測値の予測誤差のうち、最小値（最小予測誤差）が大きい予測値が得られる教師データと生徒データの組み合わせに対して大きな重みをおくとともに（そのような重みをおくための誤差マスクを使用するとともに）、新たな予測係数のセットを求めるための適応処理を行うごとに、その予測係数のセットを用いて求められる予測値の予測誤差が小さい予測値が得られる教師データと生徒データの組み合わせに対して大きな重みをおいて（そのような重みをおくためのピンポイント拡張マスクを使用して）、予測係数のセットが求められるので、低S/N画像を高S/N画像に変換するための、最適な予測係数を得ることができ、さらに、そのような予測係数を用いて、低S/N画像から、より高S/Nの画像を得ることができる。
【０１９７】
なお、本実施の形態では、誤差マスクおよびピンポイント拡張マスクの両方を使用するようにしたが、そのいずれか一方だけを使用して、予測係数のセットを求めるようにすることも可能である。
【０１９８】
次に、図９の学習装置において、識別情報記憶部８３には、教師データとしての高S/N画像を構成する各高S/N画素に対して、その高S/N画素を高精度に予測する予測係数のセットの識別情報が記憶されるが、いま、１フレームの高S/N画像の各高S/N画素に対する識別情報の集合を、識別情報画像というものとする。また、ここでは、説明を簡単にするために、高S/N画像と低S/N画像の画素数（解像度）が同一であるとすると、識別情報画像を構成する、各高S/N画素に対応する識別情報は、各高S/N画素に対応する低S/N画素に対応付けることができる。
【０１９９】
そこで、図９の学習装置で生徒データとして用いた低S/N画像を構成する各低S/N画素と、その低S/N画素に対応する、識別情報画像を構成する各識別情報とを対応付けたものを利用して、低S/N画像を高S/N画像に変換する処理を行う画像処理装置について説明する。
【０２００】
図１５は、そのような画像処理装置の一実施の形態の構成例を示している。
【０２０１】
フレームメモリ９１には、高S/N画像に変換する処理の対象とする低S/N画像（以下、適宜、処理対象画像という）が供給されるようになっており、フレームメモリ９１は、その処理対象画像を、例えば、１フレーム単位で記憶するようになっている。
【０２０２】
検索タップ生成回路９２は、処理対象画像を構成する各画素を、順次、注目画素とし、その注目画素の空間的または時間的周辺にある、処理対象画像の画素を、フレームメモリ９１から読み出し、検索タップを構成するようになっている。この検索タップは、検索回路９３に供給されるようになっている。
【０２０３】
検索回路９３は、検索タップ生成回路９２が出力する検索タップとを構成する画素と同一の位置関係にあり、かつ同一または類似の画素値を有する低S/N画素のパターン（以下、適宜、同一類似パターンという）を、ストレージ９７に記憶されている低S/N画像の集合である低S/N画像群から検索し、さらに、その検索された同一類似パターンにおいて、注目画素に対応する画素に対応付けられている識別情報を、同じくストレージ９７に記憶されている識別情報画像の集合である識別情報画像群から検出し、係数RAM９４に対して、アドレスとして供給するようになっている。
【０２０４】
係数RAM９４は、各アドレスに、そのアドレスに対応する識別情報によって特定される予測係数のセットを記憶している。なお、係数RAM９４に記憶されている予測係数のセットは、図９の学習装置によって求められたものである。
【０２０５】
予測タップ生成回路９５は、検索タップ生成回路９２が注目画素とした画素の空間的または時間的周辺にある、処理対象画像の画素を、フレームメモリ９１から読み出し、図９の学習装置を構成する予測タップ生成回路１５における場合と同一の予測タップを生成するようになっている。この予測タップは、予測演算回路９６に供給されるようになっている。
【０２０６】
予測演算回路９６は、係数RAM９４から供給される予測係数のセットと、予測タップ生成回路９５からの予測タップとを用いて、式（１）に示した演算を行うことにより、高S/N画素の予測値を求めて出力するようになっている。
【０２０７】
ストレージ９７は、図９の学習装置において求められる識別情報でなる識別情報画像の集合である識別情報画像群と、その識別情報を求めるのに用いられた生徒データとしての低S/N画像の集合である低S/N画像群が記憶されている。なお、低S/N画像群の各低S/N画素と、識別情報画像群の各識別情報とは、上述したように対応付けられている。
【０２０８】
次に、図１６のフローチャートを参照して、図１５の画像処理装置において行われる、処理対象画像を、そのS/Nを改善した高S/N画像に変換する変換処理について説明する。
【０２０９】
処理対象画像は、例えば、フレーム単位で、フレームメモリ９１に供給されて記憶される。
【０２１０】
そして、検索タップ生成回路９２は、処理対象画像を構成する、ある画素を、注目画素とし、ステップＳ５１において、その注目画素の空間的または時間的周辺にある、処理対象画像の画素を、フレームメモリ９１から読み出すことで、同一類似パターンを検索するときの比較対象とする検索タップを構成する。この検索タップは、検索タップ生成回路９２から検索回路９３に供給される。
【０２１１】
さらに、ステップＳ５１では、予測タップ生成回路９５において、検索タップ生成回路９２が注目画素とした画素の空間的または時間的周辺にある、処理対象画像の画素が、フレームメモリ９１から読み出され、図９の学習装置を構成する予測タップ生成回路１５における場合と同一の予測タップが構成される。この予測タップは、予測タップ生成回路９５から予測演算回路９６に供給される。
【０２１２】
検索回路９３は、検索タップ生成回路９２から検索タップを受信すると、ステップＳ５２において、その検索タップを構成する各画素と同一の位置関係を有する画素のパターンであって、検索タップを構成する各画素と同一またはほぼ同一の画素値を有する低S/N画素の集合である同一類似パターンを、ストレージ９７に記憶されている低S/N画像群から検索し、ステップＳ５３に進む。ステップＳ５３では、検索回路９３は、同一類似パターンを構成する低S/N画素のうちの、注目画素に対応する画素に対応付けられている識別情報を、ストレージ９７に記憶されている識別情報画像群から検出する。
【０２１３】
ここで、同一類似パターンは、１つのみではなく、複数パターン検索されることがある。この場合、ステップＳ５３では、複数の同一類似パターンそれぞれについて識別情報が検出されるが、その複数の識別情報が同一でない場合には（複数の識別情報の任意の１つと、他の１つとが異なる場合には）、係数RAM９４に、その異なる数だけのアドレスが与えられることとなり、その結果、係数RAM９４からは、複数セットの予測係数が、予測演算回路９６に出力されることになる。一方、予測演算回路９６において、ある注目画素について構成される予測タップとの式（１）の線形予測式を計算するのに用いる予測係数のセットは、１セットである必要があるから、同一類似パターンが、複数パターン検索され、さらに、その複数の同一類似パターンそれぞれについての識別情報が同一でない場合には、予測演算回路９６において、式（１）の線形予測式を計算することが困難となる。
【０２１４】
そこで、ステップＳ５４では、検索回路９３において、同一類似パターンが、複数パターン検索され、かつ、その複数の同一類似パターンそれぞれについての識別情報の中に、異なるものがあるかどうかが判定される。
【０２１５】
ステップＳ５４において、同一類似パターンが、複数パターン検索され、かつ、その複数の同一類似パターンそれぞれについての識別情報の中に、異なるものがあると判定された場合、ステップＳ５５に進み、検索回路９３は、検索タップを構成する、処理対象画像の画素を変更し、新たな検索タップを構成して出力するように、検索タップ生成回路９２を制御する。この場合、検索タップ生成回路９２は、注目画素について、新たに検索タップを構成し、検索回路９３に供給する。即ち、検索タップ生成回路９２は、注目画素について、今までに構成した検索タップを構成する処理対象画像の画素とは異なる画素をによって、新たに検索タップを構成する。具体的には、例えば、注目画素について、いま構成されている検索タップの画素に、新たな画素を加えたり、その一部の画素を、他の画素に変更することで、新たな検索タップを構成する。そして、ステップＳ５２に戻り、その新たな検索タップを対象に、以下、同様の処理が繰り返される。
【０２１６】
そして、ステップ５４において、同一類似パターンが、１パターンしか検索されなかったか、または、複数の同一類似パターンが検索されても、その複数の同一類似パターンそれぞれについての識別情報がすべて同一であると判定された場合、ステップＳ５６に進み、検索回路９３は、その１つの同一類似パターンの識別情報、または複数の同一類似パターンそれぞれについての同一の識別情報が、アドレスとして、係数RAM９４に与える。これにより、係数RAM９４では、検索回路９３からの識別情報に対応するアドレスに記憶されている１セットの予測係数が読み出され、予測演算回路９６に供給される。
【０２１７】
予測演算回路９６は、係数RAM９４から予測係数のセットを受信すると、ステップＳ５７において、その予測係数のセットと、予測タップ生成回路９５からの予測タップとを用いて、式（１）に示した演算を行うことにより、注目画素に対する高S/N画素の予測値を求めて出力し、ステップＳ５８に進む。
【０２１８】
ステップＳ５８では、次に処理すべき画素が、フレームメモリ９１に記憶されているかどうかが判定され、記憶されていると判定された場合、その、次に処理すべき画素が、新たに注目画素とされ、ステップＳ５１に戻り、以下、同様の処理が繰り返される。
【０２１９】
また、ステップＳ５８において、次に処理すべき画素が、フレームメモリ９１に記憶されていないと判定された場合、処理を終了する。
【０２２０】
以上のように、注目画素について構成される検索タップに対して、同一類似パターンを検索し、その同一類似パターンの、注目画素に対応する低S/N画素に対応付けられている識別情報によって特定される予測係数のセットを用いて、高S/N画素の予測値を求めるようにしたので、低S/N画像のみから、そのS/Nを向上させた高S/N画像を得ることができる。即ち、図７の復号器４１に入力される符号化データのように、低S/N画素と、その低S/N画素を高S/N画素に変換するのに用いる予測係数のセットの識別情報とが対応付けられたデータでなくても、高S/N画像に変換することができる。従って、図１５の画像処理装置は、図４の復号器４１として用いることが可能であり、この場合、図４の符号化器４１からは、低S/N画像だけを符号化データとして出力するだけで良い。
【０２２１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての画素伝送装置や画素処理装置、学習装置に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０２２２】
そこで、図１７を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０２２３】
プログラムは、図１７（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２や半導体メモリ１０３に予めインストールした状態でユーザに提供することができる。
【０２２４】
あるいはまた、プログラムは、図１７（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０２２５】
さらに、プログラムは、図１７（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１０１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１３１を介して、コンピュータ１０１に有線で転送し、コンピュータ１０１において、内蔵するハードディスク１０２などに格納させるようにすることができる。
【０２２６】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０２２７】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２２８】
次に、図１８は、図１７のコンピュータ１０１の構成例を示している。
【０２２９】
コンピュータ１０１は、図１８に示すように、CPU(Central Processing Unit)１４２を内蔵している。CPU１４２には、バス１４１を介して、入出力インタフェース１４５が接続されており、CPU１４２は、入出力インタフェース１４５を介して、ユーザによって、キーボードやマウス等で構成される入力部１４７が操作されることにより指令が入力されると、それにしたがって、図１７（Ａ）の半導体メモリ１０３に対応するROM(Read Only Memory)１４３に格納されているプログラムを実行する。あるいは、また、CPU１４２は、ハードディスク１０２に格納されているプログラム、衛星１２２若しくはネットワーク１３１から転送され、通信部１４８で受信されてハードディスク１０２にインストールされたプログラム、またはドライブ１４９に装着されたフロッピディスク１１１、CD-ROM１１２、MOディスク１１３、DVD１１４、若しくは磁気ディスク１１５から読み出されてハードディスク１０２にインストールされたプログラムを、RAM(Random Access Memory)１４４にロードして実行する。そして、CPU１４２は、その処理結果を、例えば、入出力インタフェース１４５を介して、LCD(Liquid CryStal Display)等で構成される表示部１４６に、必要に応じて出力する。
【０２３０】
なお、本実施の形態では、画像を処理の対象としたが、その他、例えば、音声等を処理の対象とすることも可能である。
【０２３１】
【発明の効果】
以上の如く、本発明の第１の側面によれば、識別情報に基づいて、予測誤差を小さくする第１のデータの予測値を求めることが可能となる。
【０２３２】
本発明の第２の側面によれば、予測誤差が小さい、第１のデータの予測値を求めることが可能となる。
【０２３３】
本発明の第３の側面によれば、予測誤差が小さい、第１のデータの予測値を求めることが可能となる。
【図面の簡単な説明】
【図１】従来の画像処理装置の一例の構成を示すブロック図である。
【図２】従来の学習装置の一例の構成を示すブロック図である。
【図３】従来の画像伝送装置の一例の構成を示すブロック図である。
【図４】本発明を適用した画像伝送装置の一実施の形態の構成例を示すブロック図である。
【図５】図４の符号化器３１の構成例を示すブロック図である。
【図６】図５の符号化器３１の処理を説明するためのフローチャートである。
【図７】図４の復号器４１の構成例を示すブロック図である。
【図８】図７の復号器４１の処理を説明するためのフローチャートである。
【図９】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図１０】図９の学習装置の処理を説明するための図である。
【図１１】図９の学習装置の処理を説明するための図である。
【図１２】図９の学習装置の処理を説明するためのフローチャートである。
【図１３】ピンポイント拡張マスクと誤差マスクを説明するための図である。
【図１４】図９の学習装置において最終的に用いられる重みを説明するための図である。
【図１５】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図１６】図１５の画像処理装置の処理を説明するためのフローチャートである。
【図１７】本発明を適用した媒体を説明するための図である。
【図１８】図１７のコンピュータ１０１の構成例を示すブロック図である。
【符号の説明】
１１ フレームメモリ， １２ ダウンコンバータ， １３ フレームメモリ， １５ 予測タップ生成回路， １７ 加算回路， １８ 予測タップメモリ， １９ 加算回路， ２０ 教師データメモリ， ２１ 演算回路， ３１ 符号化器， ４１ 復号器， ５１ 伝送媒体， ５２ 記録媒体， ６１ フレームメモリ， ６２ ダウンコンバータ， ６３ フレームメモリ， ６４ 予測タップ生成回路， ６５ 予測演算回路， ６６ 誤差計算回路， ６７ 比較部， ６８ 係数RAM， ６９ 誤差／識別情報記憶部， ７０ 重畳部，７１ 分離部， ７２ フレームメモリ， ７３ 予測タップ生成回路， ７４ 予測演算回路， ７５ 識別情報記憶部， ７６ 係数RAM， ８１ 適応処理回路， ８２ 誤差計算回路， ８３ 識別情報記憶部， ８４ 識別情報書き込み回路， ８５ 誤差マスク作成回路， ８６ ピンポイント拡張マスク作成回路， ８７ 収束判定回路， ８８ 係数記憶部， ９１ フレームメモリ， ９２ 検索タップ生成回路， ９３ 検索回路， ９４ 係数RAM， ９５ 予測タップ生成回路， ９６ 予測演算回路， ９７ ストレージ， １０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク， １１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ ダウンロードサイト， １２２ 衛星， １３１ ネットワーク， １４１ バス，１４２ CPU， １４３ ROM， １４４ RAM， １４５ 入出力インタフェース， １４６ 表示部， １４７ 入力部， １４８ 通信部， １４９ ドライブ
Claims (20)
- 第１のデータを処理して、第２のデータを出力するデータ処理装置であって、
前記第１のデータから、前記第２のデータを生成する生成手段と、
注目している前記第１のデータである注目第１データを予測するのに用いる予測用データを、前記第２のデータから抽出する予測用データ抽出手段と、
前記第１のデータを予測するのに用いる複数セットの予測係数を記憶している予測係数記憶手段と、
前記予測用データおよび所定の予測係数のセットを用いて、前記注目第１データの予測値を求める予測値演算手段と、
前記予測値の、前記注目第１データに対する予測誤差を求める予測誤差演算手段と、
前記予測誤差を最小にする前記予測係数のセットを検出する検出手段と、
前記予測誤差を最小にする前記予測係数のセットを識別するための識別情報を記憶する識別情報記憶手段と、
前記第２のデータとともに、前記識別情報を出力する出力手段と
を含み、
前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている
データ処理装置。 - 前記予測値演算手段は、前記予測用データと、所定の予測係数のセットとを用いて、前記注目第１データを線形予測する
請求項１に記載のデータ処理装置。 - 前記生成手段は、前記第１のデータを劣化させることで、前記第２のデータを生成する
請求項１に記載のデータ処理装置。 - 前記第１および第２のデータは、画像データである
請求項１に記載のデータ処理装置。 - 第１のデータを処理して、第２のデータを出力するデータ処理方法であって、
前記第１のデータから、前記第２のデータを生成する生成ステップと、
注目している前記第１のデータである注目第１データを予測するのに用いる予測用データを、前記第２のデータから抽出する予測用データ抽出ステップと、
前記第１のデータを予測するのに用いる複数セットの予測係数を記憶している予測係数記憶手段に記憶されている所定の予測係数のセットと、前記予測用データとを用いて、前記注目第１データの予測値を求める予測値演算ステップと、
前記予測値の、前記注目第１データに対する予測誤差を求める予測誤差演算ステップと、
前記予測誤差を最小にする前記予測係数のセットを検出する検出ステップと、
前記予測誤差を最小にする前記予測係数のセットを識別するための識別情報を記憶する識別情報記憶ステップと、
前記第２のデータとともに、前記識別情報を出力する出力ステップと
を含み、
前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている
データ処理方法。 - 第１のデータを処理して、第２のデータを出力するデータ処理を、コンピュータに実行させるプログラムが記録された記録媒体であって、
前記第１のデータから、前記第２のデータを生成する生成ステップと、
注目している前記第１のデータである注目第１データを予測するのに用いる予測用データを、前記第２のデータから抽出する予測用データ抽出ステップと、
前記第１のデータを予測するのに用いる複数セットの予測係数を記憶している予測係数記憶手段に記憶されている所定の予測係数のセットと、前記予測用データとを用いて、前記注目第１データの予測値を求める予測値演算ステップと、
前記予測値の、前記注目第１データに対する予測誤差を求める予測誤差演算ステップと、
前記予測誤差を最小にする前記予測係数のセットを検出する検出ステップと、
前記予測誤差を最小にする前記予測係数のセットを識別するための識別情報を記憶する識別情報記憶ステップと、
前記第２のデータとともに、前記識別情報を出力する出力ステップと
を含むデータ処理を、コンピュータに実行させるプログラムであり、
前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている
プログラムが記録された記録媒体。 - 第１のデータより劣化した第２のデータを処理することにより、前記第１のデータの予測値を求めるデータ処理装置であって、
入力されたデータから、前記第２のデータと、複数セットの予測係数の各セットを識別するための識別情報とを分離する分離手段と、
注目している前記第１のデータである注目第１データを予測するのに用いる予測用データを、前記第２のデータから抽出する予測用データ抽出手段と、
前記識別情報に基づき、前記複数セットの予測係数の中から、前記注目第１データを予測するのに用いるものを選択し、その予測係数のセットと、前記予測用データとを用いて、前記注目第１データの予測値を求める予測値演算手段と
を含み、
前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている
データ処理装置。 - 前記複数セットの予測係数を記憶している予測係数記憶手段をさらに含む
請求項７に記載のデータ処理装置。 - 前記予測値演算手段は、前記予測用データと、予測係数のセットとを用いて、前記注目第１データを線形予測する
請求項７に記載のデータ処理装置。 - 前記第１および第２のデータは、画像データである
請求項７に記載のデータ処理装置。 - 第１のデータより劣化した第２のデータを処理することにより、前記第１のデータの予測値を求めるデータ処理方法であって、
入力されたデータから、前記第２のデータと、複数セットの予測係数の各セットを識別するための識別情報とを分離する分離ステップと、
注目している前記第１のデータである注目第１データを予測するのに用いる予測用データを、前記第２のデータから抽出する予測用データ抽出ステップと、
前記識別情報に基づき、前記複数セットの予測係数の中から、前記注目第１データを予測するのに用いるものを選択し、その予測係数のセットと、前記予測用データとを用いて、前記注目第１データの予測値を求める予測値演算ステップと
を含み、
前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている
データ処理方法。 - 第１のデータより劣化した第２のデータを処理することにより、前記第１のデータの予測値を求めるデータ処理を、コンピュータに実行させるプログラムが記録された記録媒体であって、
入力されたデータから、前記第２のデータと、複数セットの予測係数の各セットを識別するための識別情報とを分離する分離ステップと、
注目している前記第１のデータである注目第１データを予測するのに用いる予測用データを、前記第２のデータから抽出する予測用データ抽出ステップと、
前記識別情報に基づき、前記複数セットの予測係数の中から、前記注目第１データを予測するのに用いるものを選択し、その予測係数のセットと、前記予測用データとを用いて、前記注目第１データの予測値を求める予測値演算ステップと
を含むデータ処理を、コンピュータに実行させるプログラムであり、
前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている
プログラムが記録された記録媒体。 - 第１のデータを処理して、第２のデータを出力する第１の装置と、
前記第２のデータを処理することにより、前記第１のデータの予測値を求める第２の装置と
を備えるデータ処理装置であって、
前記第１の装置は、
前記第１のデータから、前記第２のデータを生成する生成手段と、
注目している前記第１のデータである注目第１データを予測するのに用いる予測用データを、前記第２のデータから抽出する第１の予測用データ抽出手段と、
前記第１のデータを予測するのに用いる複数セットの予測係数を記憶している予測係数記憶手段と、
前記予測用データおよび所定の予測係数のセットを用いて、前記注目第１データの予測値を求める予測値演算手段と、
前記予測値の、前記注目第１データに対する予測誤差を求める予測誤差演算手段と、
前記予測誤差を最小にする前記予測係数のセットを検出する検出手段と、
前記予測誤差を最小にする前記予測係数のセットを識別するための識別情報を記憶する識別情報記憶手段と、
前記第２のデータとともに、前記識別情報を出力する出力手段と
を含み、
前記第２の装置は、
入力されたデータから、前記第２のデータと識別情報とを分離する分離手段と、
前記注目第１データを予測するのに用いる予測用データを、前記第２のデータから抽出する第２の予測用データ抽出手段と、
前記識別情報に基づき、前記複数セットの予測係数の中から、前記注目第１データを予測するのに用いるものを選択し、その予測係数のセットと、前記予測用データとを用いて、前記注目第１データの予測値を求める予測値演算手段と
を含み、
前記複数セットの予測係数は、前記第２のデータに相当する生徒データから抽出される前記予測用データと前記予測係数とを用いて求められる、前記第１のデータに相当する教師データの予測値の、前記教師データに対する誤差を小さくする前記予測係数を求める学習処理を行うことにより、あらかじめ求められている
データ処理装置。 - 前記学習処理では、
前記教師データから、前記生徒データを生成し、
前記教師データを予測するのに用いる予測用データを、前記生徒データから抽出し、
所定の重みを付した前記教師データおよび予測用データを用いて、前記教師データを予測するのに用いる予測係数のセットを求め、
前記予測係数のセットと予測用データとを用いて、前記教師データの予測値を求め、
前記予測値の、前記教師データに対する予測誤差を求め、
前記予測誤差に基づいて、前記教師データおよび予測用データに付す前記重みを変更し、
前記予測係数のセットを、その予測係数のセットから求められる予測値の予測誤差が小さくなる前記教師データのグループごとに求める
請求項１に記載のデータ処理装置。 - 前記学習処理では、前記予測誤差が小さい前記教師データの予測値の予測誤差がより小さくなるように、その教師データおよびその教師データについての前記予測用データに付す前記重みを変更する
請求項１４に記載のデータ処理装置。 - 前記学習処理では、前記予測誤差が小さくなる前記教師データの、あるグループについての前記予測係数のセットを求めた後に、前記予測誤差が大きい前記教師データの予測値の予測誤差が小さくなるように、その教師データおよびその教師データについての前記予測用データに付す前記重みを変更する
請求項１４に記載のデータ処理装置。 - 前記学習処理では、前記予測係数のセットと予測用データとを用いた線形予測を行う
請求項１４に記載のデータ処理装置。 - 前記学習処理では、所定の重みを付した前記教師データおよび予測用データを用いた正規方程式を解くことで、前記予測係数のセットを求める
請求項１７に記載のデータ処理装置。 - 前記学習処理では、さらに、前記予測誤差を小さくする前記予測係数のセットを識別するための識別情報を記憶する
請求項１４に記載のデータ処理装置。 - 前記教師データおよび生徒データは、画像データである
請求項１４に記載のデータ処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17429599A JP4362895B2 (ja) | 1999-06-21 | 1999-06-21 | データ処理装置およびデータ処理方法、並びに記録媒体 |
| US09/597,854 US6571142B1 (en) | 1999-06-21 | 2000-06-20 | Data processing apparatus, data processing method, and medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17429599A JP4362895B2 (ja) | 1999-06-21 | 1999-06-21 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001008056A JP2001008056A (ja) | 2001-01-12 |
| JP4362895B2 true JP4362895B2 (ja) | 2009-11-11 |
Family
ID=15976178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17429599A Expired - Fee Related JP4362895B2 (ja) | 1999-06-21 | 1999-06-21 | データ処理装置およびデータ処理方法、並びに記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6571142B1 (ja) |
| JP (1) | JP4362895B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4696388B2 (ja) * | 2000-11-15 | 2011-06-08 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 |
| JP4670169B2 (ja) * | 2000-11-15 | 2011-04-13 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体 |
| JP4507046B2 (ja) * | 2001-01-25 | 2010-07-21 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体 |
| US7072525B1 (en) * | 2001-02-16 | 2006-07-04 | Yesvideo, Inc. | Adaptive filtering of visual image using auxiliary image information |
| JP4238516B2 (ja) * | 2002-04-26 | 2009-03-18 | ソニー株式会社 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
| JP4066146B2 (ja) | 2002-04-26 | 2008-03-26 | ソニー株式会社 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
| JP3767692B2 (ja) * | 2002-05-08 | 2006-04-19 | ソニー株式会社 | 信号処理装置および方法、記録媒体、並びにプログラム |
| JP4517279B2 (ja) * | 2004-01-22 | 2010-08-04 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
| EP1557789A2 (en) | 2004-01-22 | 2005-07-27 | Sony Corporation | Interpolation with prestored training pairs |
| JP4650123B2 (ja) * | 2005-06-27 | 2011-03-16 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP4517300B2 (ja) * | 2006-01-06 | 2010-08-04 | ソニー株式会社 | 表示装置および表示方法、学習装置および学習方法、並びにプログラム |
| KR101356548B1 (ko) | 2006-01-23 | 2014-01-28 | 막스-플랑크-게젤샤프트 츄어 푀르더룽 데어 비쎈샤프텐 에.파우. | 하이 다이나믹 레인지 코덱들 |
| JP4808067B2 (ja) * | 2006-04-24 | 2011-11-02 | 富士通株式会社 | 画像圧縮装置、画像圧縮プログラム、画像圧縮方法 |
| JP4193871B2 (ja) * | 2006-05-18 | 2008-12-10 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP5029869B2 (ja) * | 2006-11-09 | 2012-09-19 | ソニー株式会社 | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム |
| SG10201910966SA (en) * | 2009-06-19 | 2020-01-30 | Mitsubishi Electric Corp | Image encoding device, image decoding device, image encoding method, and image decoding method |
| JP2013009293A (ja) * | 2011-05-20 | 2013-01-10 | Sony Corp | 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4587620A (en) * | 1981-05-09 | 1986-05-06 | Nippon Gakki Seizo Kabushiki Kaisha | Noise elimination device |
| US5054103A (en) * | 1987-09-24 | 1991-10-01 | Matsushita Electric Works, Ltd. | Picture encoding system |
| US5663764A (en) * | 1993-09-30 | 1997-09-02 | Sony Corporation | Hierarchical encoding and decoding apparatus for a digital image signal |
| JP2770137B2 (ja) * | 1994-09-22 | 1998-06-25 | 日本プレシジョン・サーキッツ株式会社 | 波形データ圧縮装置 |
-
1999
- 1999-06-21 JP JP17429599A patent/JP4362895B2/ja not_active Expired - Fee Related
-
2000
- 2000-06-20 US US09/597,854 patent/US6571142B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001008056A (ja) | 2001-01-12 |
| US6571142B1 (en) | 2003-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4371457B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| JPH11191880A (ja) | 画像変換装置および画像変換方法、並びに学習装置および学習方法 | |
| US20030035594A1 (en) | Image processing device and method, and recorded medium | |
| JPH1084548A (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体 | |
| JP4517409B2 (ja) | データ処理装置およびデータ処理方法 | |
| JP4407015B2 (ja) | ノイズ除去装置およびノイズ除去方法 | |
| JP4324825B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| KR100971822B1 (ko) | 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및 학습 방법, 및 기록 매체 | |
| KR100816593B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
| KR101089853B1 (ko) | 계수 데이터의 생성 장치 및 생성 방법, 계수종 데이터의 생성 장치 및 생성 방법, 정보 신호 처리 장치, 및 프로그램을 기록한 매체 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP3849817B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4135045B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP2001222702A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP2005159830A (ja) | 信号処理装置および方法、記録媒体、並びにプログラム | |
| JP4281453B2 (ja) | 信号処理装置および信号処理方法 | |
| JP3844031B2 (ja) | 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP4096281B2 (ja) | 画像処理装置および画像処理方法、並びに媒体 | |
| JP2007251690A (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| JP4225039B2 (ja) | データ処理装置および方法、記録媒体、並びにプログラム | |
| JP4265291B2 (ja) | 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム | |
| JP4505729B2 (ja) | 画像処理装置、画像処理方法、プログラム、および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090728 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090810 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |