JP4225039B2 - データ処理装置および方法、記録媒体、並びにプログラム - Google Patents
データ処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4225039B2 JP4225039B2 JP2002337891A JP2002337891A JP4225039B2 JP 4225039 B2 JP4225039 B2 JP 4225039B2 JP 2002337891 A JP2002337891 A JP 2002337891A JP 2002337891 A JP2002337891 A JP 2002337891A JP 4225039 B2 JP4225039 B2 JP 4225039B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- prediction
- input data
- teacher
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、データ処理装置および方法、記録媒体、並びにプログラムに関し、特に、入力データの迅速な予測に好適なデータ処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の解像度、Ｓ／Ｎ、その他の画像の画質を向上させるための処理として、クラス分類適応処理を、先に提案している（例えば、特許文献１）。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【０００４】
即ち、適応処理では、例えば、低Ｓ／Ｎの画像（低Ｓ／Ｎ画像）を構成する画素（以下、適宜、低Ｓ／Ｎ画素という）と、所定の予測係数との線形結合により、その低Ｓ／Ｎ画像のＳ／Ｎを向上させた高Ｓ／Ｎの画像（高Ｓ／Ｎ画像）の画素の予測値を求めることで、その低Ｓ／Ｎ画像のＳ／Ｎを向上させた画像が得られる。
【０００５】
具体的には、例えば、いま、ある高Ｓ／Ｎ画像を教師データとするとともに、その高Ｓ／Ｎ画像のＳ／Ｎを劣化させた低Ｓ／Ｎ画像を生徒データとして、高Ｓ／Ｎ画像を構成する画素（以下、適宜、高Ｓ／Ｎ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの低Ｓ／Ｎ画素（低Ｓ／Ｎ画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００６】
【０００７】
式（１）を一般化するために、予測係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ'を、
【数１】
で定義すると、次のような観測方程式が成立する。
【０００８】
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０００９】
そして、この観測方程式に最小自乗法を適用して、高Ｓ／Ｎ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる高Ｓ／Ｎ画素の真の画素値ｙの集合でなる行列Ｙ、および高Ｓ／Ｎ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００１０】
【００１１】
この場合、高Ｓ／Ｎ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗjは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００１２】
従って、上述の自乗誤差を予測係数ｗjで微分したものが０になる場合、即ち、次式を満たす予測係数ｗjが、高Ｓ／Ｎ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための最適値ということになる。
【００１３】
【数４】
【００１４】
そこで、まず、式（３）を、予測係数ｗjで微分することにより、次式が成立する。
【００１５】
【数５】
【００１６】
式（４）および（５）より、式（６）が得られる。
【００１７】
【数６】
【００１８】
さらに、式（３）の残差方程式における生徒データｘij、予測係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００１９】
【数７】
【００２０】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
で表すことができる。
【００２１】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適な予測係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００２２】
以上のようにして、最適な予測係数ｗjを求めておき、さらに、その予測係数ｗjを用い、式（１）により、高Ｓ／Ｎ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００２３】
なお、適応処理は、低Ｓ／Ｎ画像には含まれていないが、高Ｓ／Ｎ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、高Ｓ／Ｎ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【００２４】
また、ここでは、適応処理について、Ｓ／Ｎを向上させる場合を例にして説明したが、適応処理は、その他、例えば、画素数を増加させて解像度を向上させた画像の予測値を求めること等に用いることができ、この場合、解像度の向上を図ることが可能である。
【００２５】
図１は、以上のようなクラス分類適応処理に用いる予測係数を学習する、従来の学習装置の一例の構成を示している。
【００２６】
教師データとしての高Ｓ／Ｎ画像（以下、適宜、教師画像という）は、例えば、フレーム単位で、フレームメモリ２１に供給され、フレームメモリ２１は、そこに供給される教師画像を順次記憶する。
【００２７】
ぼかしフィルタとしての前処理フィルタ２２は、フレームメモリ２１に記憶された教師画像を、例えば、フレーム単位で読み出し、ＬＰＦ(Low Pass Filter)をかけること等によって、教師画像のＳ／Ｎを低下させ、これにより、生徒データとしての低Ｓ／Ｎ画像（以下、適宜、生徒画像という）を生成し、フレームメモリ２３に供給する。
【００２８】
即ち、前処理フィルタ２２は、例えば、図２に示すように、図中、三角形のマークで示す教師画像を構成する教師画素のＳ／Ｎを低下させ、図中、円のマークで示す生徒画像を構成する生徒画素を生成する。従って、ここでは、教師画像と生徒画像とは、同一の画素数で構成される。
【００２９】
フレームメモリ２３は、前処理フィルタ２２が出力する生徒画像を、例えば、フレーム単位で順次記憶する。
【００３０】
クラスタップ生成回路２４は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる生徒画素を、フレームメモリ２３から読み出す。即ち、クラスタップ生成回路２４は、注目画素の位置に対応する、生徒画像の位置から周辺にある（空間的または時間的に近い位置にある）幾つかの生徒画素を、フレームメモリ２３から読み出し、クラス分類に用いるクラスタップとして、クラス分類回路２６に供給する。
【００３１】
具体的には、図３に示すように、図中、黒い三角形のマークで示す教師画素が注目画素とされた場合には、クラスタップ生成回路２４は、例えば、注目画素の位置に対応する、生徒画素ｅと、その上、下、左、右、左上、左下、右上、右下にそれぞれ隣接する生徒画素ｂ，ｈ，ｄ，ｆ，ａ，ｇ，ｃ，ｉの等の正方形状の９画素を、予測タップとする。
【００３２】
クラス分類回路２６は、クラスタップ生成回路２４からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、予測タップメモリ２８および教師データメモリ３０に供給する。
【００３３】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)を用いる方法等がある。
【００３４】
ADRCを用いる方法では、クラスタップを構成する生徒画素が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００３５】
なお、KビットADRCにおいては、例えば、クラスタップを構成する生徒画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する生徒画素がKビットに再量子化される。即ち、クラスタップを構成する画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成する各画素についてのKビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各生徒画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００３６】
ここで、ADRCによれば、クラスタップが、Ｎ個の画素で構成され、そのクラスタップのＫビットADRC処理結果がクラスコードとされる場合には、注目画素は、（２N）Kクラスのうちのいずれかのクラスにクラス分類されることになる。
【００３７】
予測タップ生成回路２５は、フレームメモリ２１に記憶された教師画像を構成する画素（以下、適宜、教師画素という）を、順次、注目画素とし、その注目画素の位置に対応する生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画像の画素（以下、適宜、生徒画素という）を、フレームメモリ２３から読み出し、予測係数との乗算に用いる予測タップを構成する。
【００３８】
即ち、図３に示すように、図中、黒い三角形のマークで示す教師画素が注目画素とされた場合には、予測タップ生成回路２５は、例えば、注目画素の位置に対応する、生徒画素ｅと、その上、下、左、右、左上、左下、右上、右下にそれぞれ隣接する生徒画素ｂ，ｈ，ｄ，ｆ，ａ，ｇ，ｃ，ｉのうちの、例えば、ｂ，ｄ，ｅ，ｆ，ｈ等の十字形状の５画素を、予測タップとする。
【００３９】
そして、予測タップ生成回路２５で構成された予測タップは、加算回路２７に供給される。
【００４０】
加算回路２７は、クラス分類回路２６が出力するクラスコードに対応するアドレスの記憶値を、予測タップメモリ２８から読み出し、その記憶値と、予測タップ生成回路２５からの予測タップを構成する生徒画素とを加算することで、式（７）の正規方程式の左辺における、予測係数ｗの乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路２７は、その演算結果を、予測タップメモリ２８のクラス分類回路２６が出力するクラスコードに対応するアドレスに、上書きする形で記憶させるようになっている。
【００４１】
予測タップメモリ２８は、クラス分類回路２６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路２７に供給するとともに、そのアドレスに、加算回路２７の出力値を記憶するようになっている。
【００４２】
加算回路２９は、フレームメモリ２１に記憶された教師画像を構成する教師画素のうちの、注目画素ｘに対するものを、教師データｙとして読み出すとともに、クラス分類回路２６が出力するクラスコードに対応するアドレスの記憶値を、教師データメモリ３０から読み出し、その記憶値と、フレームメモリ２１から読み出した教師データ（教師画素）ｙとを加算することで、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路２９は、その演算結果を、予測タップメモリ２８のクラス分類回路２６が出力するクラスコードに対応するアドレスに、上書きする形で記憶させるようになっている。
【００４３】
なお、正確には、加算回路２７および３９では、式（７）における乗算も行われる。また、式（７）の右辺には、教師データｙと、生徒画素ｘとの乗算が含まれ、従って、加算回路２９で行われる乗算には、教師データｙの他に、その教師データｙに対する生徒画素ｘが必要となるが、これは、加算回路２９において、フレームメモリ２３から読み出される。
【００４４】
教師データメモリ３０は、クラス分類回路２６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路２９に供給するとともに、そのアドレスに、加算回路２９の出力値を記憶するようになっている。
【００４５】
演算回路３１は、予測タップメモリ２８および教師データメモリ３０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、クラスコードごとに、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求めるようになっている。即ち、演算回路３１は、予測タップメモリ２８および教師データメモリ３０それぞれの、各クラスコードに対応するアドレスに記憶されている記憶値から、式（７）の正規方程式をたて、これを解くことにより、クラスごとの予測係数を求めるようになっている。
【００４６】
次に、図４のフローチャートを参照して、図１の学習装置１１により行われる、予測係数の学習処理について説明する。
【００４７】
ステップＳ２１において、学習装置１１のフレームメモリ２１および２３、予測タップメモリ２８、並びに教師データメモリ３０などの全てのメモリが初期化される。
【００４８】
ステップＳ２２において、教師画像から生徒画像を生成するために、予め決定された、例えば、LPF(Low Pass Filter)などの前処理フィルタの係数が前処理フィルタ２２に読み込まれる。
【００４９】
ステップＳ２３において、予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ２１に記憶され、その中の１つのフレームが注目フレームとされる。
【００５０】
ステップＳ２４では、前処理フィルタ２２において、フレームメモリ２１に記憶された教師画像の注目フレームに対して、LPFがかけられ、これにより、教師画像のＳ／Ｎを低下させた生徒画像が生成され、フレームメモリ２３に供給されて記憶される。
【００５１】
そして、ステップＳ２５に進み、フレームメモリ２１に記憶された注目フレームの教師画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ生成回路２５において、フレームメモリ２３に記憶された生徒画素を用いて、注目画素についての予測タップが構成される。さらに、ステップＳ２５では、クラスタップ生成回路２４において、フレームメモリ２３に記憶された生徒画素を用いて、注目画素についてのクラスタップが構成される。そして、予測タップは、加算回路２７に供給され、クラスタップは、クラス分類回路２６に供給される。ここで、図１の学習装置１１では（後述する図５の予測装置４１においても同様）、予測タップやクラスタップは、図３で説明したように、注目画素を基準として固定の位置にある生徒画素によって、常に構成される。
【００５２】
クラス分類回路２６は、ステップＳ２６において、クラスタップ生成回路２４からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、予測タップメモリ２８および教師データメモリ３０に出力する。
【００５３】
そして、ステップＳ２７に進み、予測タップおよび教師データそれぞれの足し込みが行われる。
【００５４】
即ち、ステップＳ２７において、予測タップメモリ２８は、クラス分類回路２６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路２７に供給する。加算回路２７は、予測タップメモリ２８から供給される記憶値と、予測タップ生成回路２５から供給される予測タップを構成する生徒画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路２７は、その演算結果を、クラス分類回路２６が出力するクラスコードに対応する、予測タップメモリ２８のアドレスに、上書きする形で記憶させる。
【００５５】
さらに、ステップＳ２７では、教師データメモリ３０は、クラス分類回路２６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路２９に供給する。加算回路２９は、フレームメモリ２１に記憶された教師画像を構成する教師画素のうちの、注目画素に対応する教師画素を、教師データとして読み出すとともに、フレームメモリ２３に記憶された生徒画像を構成する生徒画素のうちの、教師データに対応するものを読み出し、その読み出した画素と、教師データメモリ３０から供給された記憶値とを用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路２９は、その演算結果を、クラス分類回路２６が出力するクラスコードに対応する、教師データメモリ３０のアドレスに、上書きする形で記憶させる。
【００５６】
そして、ステップＳ２８に進み、フレームメモリ２１に記憶された注目フレームを構成する教師画素すべてを注目画素として、足し込みを行ったかどうかが判定され、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、処理はステップＳ２５に戻る。この場合、まだ、注目画素とされていない教師画素のうちの１つが、新たに注目画素とされ、ステップＳ２５乃至Ｓ２８の処理が繰り返される。
【００５７】
また、ステップＳ２８において、教師画素すべてを注目画素として、足し込みを行ったと判定された場合、ステップＳ２９に進み、次に処理すべき教師画像が、フレームメモリ２１に記憶されているか否かが判定される。
【００５８】
ステップＳ２９において、次に処理すべき教師画像が、フレームメモリ２１に記憶されていると判定された場合、ステップＳ２４に戻り、その、次に処理すべき教師画像を対象に（注目フレームとして）、ステップＳ２４以降の処理が繰り返される。
【００５９】
一方、ステップＳ２９において、次に処理すべき教師画像が、フレームメモリ２１に記憶されていないと判定された場合、すなわち、予め学習用に用意しておいた全ての教師画像について処理を行った場合、ステップＳ３０に進み、演算回路３１は、予測タップメモリ２８および教師データメモリ３０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求め、出力して処理を終了する。
【００６０】
なお、以上のような予測係数の学習処理１１において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトの予測係数を出力するようにすること等が可能である。
【００６１】
次に、図５は、図１の学習装置において得られた予測係数を用いて、低Ｓ／Ｎ画像のＳ／Ｎを向上させた画像としての、高Ｓ／Ｎ画像の予測値を求める、従来の予測装置４１の一例の構成を示している。
【００６２】
フレームメモリ５１には、Ｓ／Ｎを向上させる対象としての低Ｓ／Ｎ画像が、例えば、１フレーム単位などで供給されるようになっており、フレームメモリ５１は、その低Ｓ／Ｎ画像を、そのＳ／Ｎを向上させる予測処理が終了するまで記憶する。
【００６３】
なお、フレームメモリ５１に供給する低Ｓ／Ｎ画像としては、例えば、テレビジョン放送として放送されてくるテレビジョン放送番組を構成する画像や、ＤＶＤやビデオＣＤ等の記録媒体から再生された画像等を用いることができる。
【００６４】
予測タップ生成回路５２は、図１の予測タップ生成回路２５と同様の処理を行い、これにより、フレームメモリ５１に記憶された低Ｓ／Ｎ画像を用いて、予測タップを構成し、予測演算回路５６に供給する。
【００６５】
クラスタップ生成回路５３は、図１のクラスタップ生成回路２４と同様の処理を行い、これにより、フレームメモリ５１に記憶された低Ｓ／Ｎ画像を用いて、クラスタップを構成し、クラス分類回路５４に供給する。
【００６６】
クラス分類回路５４は、図１のクラス分類回路２６と同様の処理を行い、これにより、クラスタップ生成回路５３からのクラスタップを用いたクラス分類結果としてのクラスコードを、アドレスとしてメモリ５５に供給する。
【００６７】
メモリ５５は、上述した学習処理を行うことにより得られたクラスごとの予測係数を記憶しており、クラス分類回路５４からのクラスコードに対応するアドレスに記憶されている予測係数を読み出して、予測演算回路５６に供給する。
【００６８】
予測演算回路５６は、予測タップ生成回路５２から供給される予測タップと、メモリ５５から供給される予測係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、低Ｓ／Ｎ画像の画質を向上させた高Ｓ／Ｎ画像の予測値として出力する。
【００６９】
次に、図６のフローチャートを参照して、図５の予測装置４１において行われる、低Ｓ／Ｎ画像の画質を向上させる予測処理（クラス分類適応処理）について説明する。
【００７０】
ステップＳ４１において、予測装置４１のフレームメモリ５１、およびメモリ５５などの全てのメモリが初期化される。
【００７１】
ステップＳ４２において上述した学習装置１１で求められたクラスごとの予測係数がメモリ５５に読み込まれる。
【００７２】
ステップＳ４３において、フレームメモリ５１には、高Ｓ／Ｎ画像にする対象としての入力画像（低Ｓ／Ｎ画像）が、フレーム単位で順次供給され、フレームメモリ５１は、そのようにフレーム単位で供給される入力画像を順次記憶する。
【００７３】
ステップＳ４４では、フレームメモリ５１に記憶された低Ｓ／Ｎ画像の画質を向上させた高Ｓ／Ｎ画像（予測装置４１では、この高Ｓ／Ｎ画像は、実際には存在しないが、仮想的に想定される）（以下、注目フレーム）を構成する画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ生成回路５２において、フレームメモリ５１に記憶された低Ｓ／Ｎ画像の画素を用いて、注目画素についての予測タップが構成される。さらに、ステップＳ４４では、クラスタップ生成回路５３において、フレームメモリ５１に記憶された低Ｓ／Ｎ画像（注目フレーム）の画素を用いて、注目画素についてのクラスタップが構成される。そして、予測タップは、予測演算回路５６に供給され、クラスタップは、クラス分類回路５４に供給される。
【００７４】
クラス分類回路５４は、ステップＳ４５において、クラスタップ生成回路５３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、メモリ５５に対して、アドレスとして供給し、ステップＳ４６に進む。
【００７５】
ステップＳ４７では、メモリ５５において、そこに記憶されているクラスごとの予測係数のうち、クラス分類回路５４からのクラスコードで表されるアドレスに記憶されているものが読み出され、予測演算回路５６に供給される。
【００７６】
ステップＳ４７において、予測演算回路５６は、予測タップ生成回路５２から供給される予測タップと、メモリ５５から供給される予測係数とを用いて、式（１）に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、一時記憶する。
【００７７】
そして、ステップＳ４８に進み、フレームメモリ５１に記憶された注目フレームに対応する高Ｓ／Ｎ画像のフレームを構成する高Ｓ／Ｎ画素すべてを注目画素として、その予測値を求めたかどうかが判定される。ステップＳ４８において、注目フレームを構成する高Ｓ／Ｎ画素すべてを注目画素として、まだ、予測値を求めていないと判定された場合、ステップＳ４４に戻り、注目フレームを構成する画素のうち、まだ注目画素とされていないものが、新たに注目画素とされ、以下、同様の処理が繰り返される。
【００７８】
一方、ステップＳ４８において、注目フレームを構成する高Ｓ／Ｎ画素すべてを注目画素として、その予測値を求めたと判定された場合、ステップＳ４９に進み、予測演算回路５６は、それまでに求めた予測値でなる高画質の１フレームの画像を出力する。
【００７９】
ステップＳ５０において、フレームメモリ５１に、次に処理すべきフレーム（いま注目フレームとなっているフレームの次のフレーム）が記憶されているかどうかが判定される。ステップＳ５０において、フレーム５１に、次に処理すべきフレームが記憶されていると判定された場合、ステップＳ４３に戻り、そのフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
【００８０】
一方、ステップＳ５０において、フレームメモリ５１に、次に処理すべきフレームが記憶されていないと判定された場合、予測処理を終了する。
【００８１】
以上のように、クラス分類適応処理では、クラスごとの予測係数が、学習によって求められ、そのクラスごとの予測係数を用いて、画像の画質を向上させる。
【００８２】
その他、特許文献２においては、上述の前処理フィルタとして、ぼかしフィルタの代わりに、ノイズを付加する前処理フィルタを用いて、画像信号の入力データから、ノイズを除去（低減）した画像信号を出力する処理として、クラス分類適応処理が用いられている。
【００８３】
さらに、特許文献３においては、帯域を部分的に削るような前処理フィルタを用いて、高音質なオーディオ信号を出力する処理として、同様にクラス分類適応処理が用いられている。
【００８４】
上述の例では、クラス分類処理によって、データをその性質に基づいてクラス分けし、クラスごとに適応処理を施したが、当然ながら、１つのクラスの場合についても同様の処理を行うことができ、その場合には、クラス分類処理は省略される。
【００８５】
【特許文献１】
特開２００１−２２２７０２号公報
【特許文献２】
特開２０００−３４８０２０号公報
【特許文献３】
特開平１０−３１３２５１号公報
【００８６】
【発明が解決しようとする課題】
以上のように、学習装置では、教師データに前処理フィルタを施して生徒データを生成し、予測係数を求め、予測装置では、その予測係数を利用して低Ｓ／Ｎ画像から高Ｓ／Ｎ画像を予測して出力している。したがって、前処理フィルタをどのように設定するかによって、求められる予測係数、および、予測係数を利用する予測装置の高Ｓ／Ｎ画像の出力は変わってくる。
【００８７】
しかしながら、設定した前処理フィルタが最適なものであるか否かは、学習装置で求めた予測係数を予測装置に入力し、出力データを確認するまでわからず、前処理フィルタの変更を行った場合には、学習装置で上述の２つの加算回路による足し込みの処理が行われるため、処理に時間がかかり、予測装置における前処理フィルタの変更の影響を見ながら前処理フィルタを細かく調整することができないという問題があった。
【００８８】
本発明は、このような状況に鑑みてなされたものであり、前処理フィルタの変更が即座に予測係数に反映することができ、迅速な入力データの予測を可能とするようにするものである。
【００８９】
【課題を解決するための手段】
本発明のデータ処理装置は、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する予測タップ構成手段と、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データを生成する生成手段と、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算手段と、前処理フィルタ係数の入力を受け、前処理フィルタ係数と仮予測係数とから、予測係数を求める予測係数演算手段とを備えることを特徴とする。
【００９０】
予測係数演算手段には、入力データを用いた線形一次予測によって、出力データが得られるようにするための予測係数を求めさせるようにすることができる。
【００９１】
本発明のデータ処理方法は、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する予測タップ構成ステップと、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データを生成する生成ステップと、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算手段と、前処理フィルタ係数の入力を受け、前処理フィルタ係数と仮予測係数とから、予測係数を求める予測係数演算ステップとを含むことを特徴とする。
【００９２】
本発明の記録媒体のプログラムは、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する予測タップ構成ステップと、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データを生成する生成ステップと、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算手段と、前処理フィルタ係数の入力を受け、前処理フィルタ係数と仮予測係数とから、予測係数を求める予測係数演算ステップとを含むことを特徴とする。
【００９３】
本発明のプログラムは、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する予測タップ構成ステップと、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データを生成する生成ステップと、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算手段と、前処理フィルタ係数の入力を受け、前処理フィルタ係数と仮予測係数とから、予測係数を求める予測係数演算ステップとをコンピュータに実行させることを特徴とする。
【００９４】
本発明のデータ処理装置は、入力データから、注目している注目入力データと、その周辺にある周辺データを予測タップとして構成する第１の予測タップ構成手段と、第１の予測タップ構成手段より構成された予測タップと、所定の予測係数を用いて、注目入力データに対する出力データを予測する予測手段と、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する第２の予測タップ構成手段と、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データを生成する生成手段と、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算手段と、前処理フィルタ係数の入力を受け、前処理フィルタ係数と仮予測係数とから、予測係数を求める予測係数演算手段とを備えることを特徴とする。
【００９５】
本発明においては、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれが予測タップとして構成され、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データが生成され、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数が求められ、前処理フィルタ係数と仮予測係数とから、予測係数が求められる。
【００９６】
また、本発明においては、第1の装置で、入力データから、注目している注目入力データと、その周辺にある周辺データが予測タップとして構成され、その予測タップと、所定の予測係数を用いて、注目入力データに対する出力データが予測される。また、第２の装置で、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれが予測タップとして構成され、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データが生成され、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数が求められ、前処理フィルタ係数と仮予測係数とから、予測係数が求められる。
【００９７】
【発明の実施の形態】
初めに、図７を参照して、教師データに前処理フィルタをかけて生徒データを求める処理を、教師データの足し込みを行った後の行列に、前処理フィルタをかけるようにしても同じ結果が得られることについて説明する。
【００９８】
図７は、生徒データ、前処理フィルタ、および教師データの関係を模式的に表した図である。
【００９９】
図７において、生徒データを{sn}、および教師データを{tn}と表す。そして、生徒データ{sn}に前処理フィルタ{f}をかけたデータを{Sn}と表す。この前処理フィルタのタップ数は、一般的には2m+1(mは正の整数)個とされ、係数はf-m, ・・ ・ , f0, ・ ・ ・ fmと表される。ここでは、説明を簡単にするための例として、m=１とし、前処理フィルタ{f}の係数はf-1, f0, f1 の3つとする。このとき、前処理フィルタをかけた生徒データ{Sn}と教師データ{tn}との間の学習で得られる予測係数を{w}とする。一般的に、この係数の個数も2m+1(m は正の整数)と表すことができ、係数はw-m, ・ ・ ・ ,w0, ・ ・ ・ wmと表すことができるが、ここでは，m=1なので、予測係数はw-1,w0,w1の3つであるとする。
【０１００】
tnの近似値tn'は
と表すことができる。
【０１０１】
最小自乗法でtnを求める場合は、
を各未定係数で偏微分した式= 0 という正規化方程式を解くことによって求めることができる。
【０１０２】
今、Snは、
と表すことができるので、(tn−tn')は、式(９),(１１) を用いて
と表すことができる。
【０１０３】
従って、式（１０）を予測係数w-1,w0,w1 で偏微分を行うと次式が成立する。
【数９】
【０１０４】
式（１３）を行列式で書くと
【数１０】
と表すことができる。
【０１０５】
式（１４）を展開すると、
【数１１】
であるので、式（１５）の右辺の(tn−tn')に式（１２）を代入してｗp（ｐ＝−１，０，１）で偏微分すると、
【数１２】
【０１０６】
さらに式（１２）を代入して、係数の−２は、無視できるので、
【数１３】
と表すことができる。
【０１０７】
式（１７）のtn の項を移して，wp をまとめると、
【数１４】
【０１０８】
ここで，S, T を1 行12 列の行列、F を12 行1 列の行列（ただしS は{sn} のみ、T は{sn}と{tn}、F は{f} のみを構成要素として）となるように、
【数１５】
と置き換えると、
【数１６】
【数１７】
となる。すべての入力データについて注目入力データ（画素）とするので、式（２１）のサメーション（Σ）をとって、
【数１８】
【数１９】
と表すことができる。
【０１０９】
式（２１）にコレスキー法を用いて、ｗpを求めると、
【数２０】
と表すことができる。
【０１１０】
【数２１】
は、生徒データ{sn}および教師データ{tn}を用いた足し込み行列であり、式（２１）と同様にサメーション（Σ）をとると、
【数２２】
と表すことができる。
【０１１１】
式（２５）から分かるように、予測係数{w}（式（２５）の左辺）は、足し込み行列（式（２５）の右辺の第１項）と前処理フィルタ（式（２５）の右辺の第２項）が分離された形式で表すことができ、前処理フィルタとは別に、足し込みの処理が行えることが判る。すなわち、学習に使う行列は，あらかじめ足し込んでおいた行列に前処理フィルタ{f}を後から掛けたものを用いれば良い。よって、前処理フィルタ{f}を決定し、式（２３）を解くことで予測係数を求めることができる。
【０１１２】
図８は、本発明を適用したデータ処理装置１０１の構成例を示すブロック図である。
【０１１３】
学習装置１１１は、教師画像としての高Ｓ／Ｎ画像と、予測係数を演算するときに使用される前処理フィルタ係数を入力し、予測係数を演算し、予測装置１１２に出力する。
【０１１４】
予測装置１１２には、低Ｓ／Ｎ画像と、学習装置１１１で算出された予測係数が入力される。予測装置１１２は、入力された低Ｓ／Ｎ画像から、予測タップに基づいた予測演算を行い、予測値としての高Ｓ／Ｎ画像を出力する。
【０１１５】
判定部１１３は、予測装置１１２が出力する高Ｓ／Ｎ画像に基づいて、前処理フィルタ係数を変更する必要があるか否かを判定し、前処理フィルタ係数を変更する必要があると判定した場合、変更した前処理フィルタ係数を学習装置１１１に出力する。
【０１１６】
なお、判定部１１３を省略して、作業者となるユーザが、予測装置１１２より出力される高Ｓ／Ｎ画像を見て判断し、学習装置１１１に前処理フィルタ係数を入力するようにしてもよい。
【０１１７】
図９のフローチャートを参照して、データ処理装置１０１が行う処理について説明する。
【０１１８】
ステップＳ１０１において、学習装置１１１は、入力された教師画像としての高Ｓ／Ｎ画像と、前処理フィルタ係数に基づいて、予測係数を求め、予測装置１１２に出力する。
【０１１９】
ステップＳ１０２において、予測装置１１２は、入力された低Ｓ／Ｎ画像と予測係数に基づいて、予測値としての高Ｓ／Ｎ画像を求め、出力する。
【０１２０】
ステップＳ１０３において、判定部１１３は、予測装置１１２が出力した高Ｓ／Ｎ画像に基づいて、学習装置１１１の前処理フィルタ係数を変更する必要があるか否かを判定する。変更する必要があると判定された場合、判定部１１３は、処理をステップＳ１０１に戻し、それ以降の処理が繰り返される。
【０１２１】
ステップＳ１０３で、変更する必要がないと判定された場合、判定部１１３は、処理を終了する。
【０１２２】
図１０は、図８の学習装置１１１の構成例を示すブロック図である。
【０１２３】
教師データとしての高Ｓ／Ｎ画像（以下、適宜、教師画像という）は、例えば、フレーム単位で、フレームメモリ１２１に供給され、フレームメモリ１２１は、そこに供給される教師画像を順次記憶する。
【０１２４】
予測タップ生成回路１２２は、従来の図１の予測タップ生成回路２５と同様に、フレームメモリ１２１に記憶された教師画像を構成する画素（以下、適宜、教師画素という）を、順次、注目画素とし、その注目画素の位置に対応する生徒画像の位置から周辺にある（空間的または時間的に近い位置にある）幾つかの生徒画像の画素（以下、適宜、生徒画素という）を、フレームメモリ１２１から読み出し、予測係数との乗算に用いる予測タップを構成する。従来の学習装置１１とは異なり、前処理フィルタとなる係数を後で演算するため、従来の前処理フィルタ２２（図１）に相当する回路が省かれている（その結果、教師画像と生徒画像は同一となる）ので、予測タップ生成回路１２２には、教師画像が生徒画像としてそのまま入力される。すなわち、教師画像の注目画素の位置に対応する教師画像の位置から周辺にある（空間的または時間的に近い位置にある）幾つかの教師画像の画素が、生徒画素としてフレームメモリ１２１から読み出され、予測タップが構成される。
【０１２５】
そして、予測タップ生成回路１２２で構成された予測タップは、加算回路１２４に供給される。
【０１２６】
加算回路１２４は、予測タップ生成回路１２２からの予測タップを構成する生徒画素を加算することで、式（２３）の正規方程式の左辺における、予測係数{w}および前処理フィルタ{f}の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路１２４は、その演算結果を、予測タップメモリ１２５に出力する。
【０１２７】
予測タップメモリ１２５は、加算回路１２４が出力する演算結果を記憶し、加算回路１２４が演算を行う際には、加算回路１２４にその記憶値を出力するようになっている。
【０１２８】
教師データ生成回路１２３は、フレームメモリ１２１に記憶された教師画像の注目画素と、それに対応する生徒画像（教師画像）の位置から周辺にある（空間的または時間的に近い位置にある）幾つかの生徒画素とから、新たな教師データを生成し、加算回路１２６に出力する。
【０１２９】
加算回路１２６は、教師データ生成回路１２３が出力した教師データを利用して、式（２３）の正規方程式の右辺における前処理フィルタ{f}の乗数となっているサメーション（Σ）に相当する演算を行う。上述した例では、Ｔi,jは、式（１９）のように表すことができるので、教師画像の注目画素ｔiに対してｓj-1,ｓj，およびｓj+1を乗じた値が教師データとして、教師データ生成回路１２３より入力される。そして、加算回路１２６は、その演算結果を、教師データメモリ１２７に出力する。
【０１３０】
教師データメモリ１２７は、加算回路１２６が出力する演算結果を記憶し、加算回路１２６が演算を行う際には、加算回路１２６にその記憶値を出力するようになっている。
【０１３１】
演算回路１２８は、予測タップメモリ１２５および教師データメモリ１２７それぞれに記憶されている記憶値を読み出し、式（２５）に示した行列式の足し込み行列を演算することにより、前処理フィルタ{f}の係数を含んだ仮の予測係数（以下、仮予測係数と称する）を求め、仮予測係数メモリ１２９に出力する。
【０１３２】
仮予測係数メモリ１２９には、演算回路１２８から出力された仮予測係数の値が記憶され、記憶された値は、演算回路１３１に読み出されるようになっている。
【０１３３】
前処理フィルタ係数メモリ１３０には、上述した前処理フィルタ係数{f}が入力され、記憶される。
【０１３４】
演算回路１３１は、前処理フィルタ係数メモリ１３０に記憶された前処理フィルタ係数{f}と、仮予測係数メモリ１２９に記憶された仮予測係数を読み出し、式（２５）を解くことにより、予測係数{w}を求める。
【０１３５】
次に、図１１のフローチャートを参照して、図１０の学習装置１１１により行われる、予測係数の学習処理について説明する。
【０１３６】
ステップＳ１２１において、学習装置１１１のフレームメモリ１２１、予測タップメモリ１２５、教師データメモリ１２７、仮予測係数メモリ１２９、および前処理フィルタ係数メモリ１３０などの全てのメモリが初期化される。
【０１３７】
ステップＳ１２２において、予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ１２１に記憶され、その中の１つのフレームが注目フレームとされる。
【０１３８】
ステップＳ１２３において、教師データ生成回路１２３は、フレームメモリ１２１に記憶された教師画像の注目画素と、それに対応する生徒画像（教師画像）の位置から空間的または時間的に近い位置にある幾つかの生徒画素とから、新たな教師データを生成し、加算回路１２６に出力する。
【０１３９】
ステップＳ１２４において、フレームメモリ１２１に記憶された注目フレームの教師画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ生成回路１２２において、フレームメモリ１２１に記憶された（教師画像の）生徒画素を用いて、注目画素についての予測タップが構成される。そして、予測タップは、加算回路１２４に供給される。ここで、図１０の学習装置１１１では（後述する図１２の予測装置１１２においても同様）、予測タップは、図３で説明したのと同様に、注目画素を基準として固定の位置にある生徒画素によって、常に構成される。
【０１４０】
ステップＳ１２５において、予測タップおよび教師データそれぞれの足し込みが行われる。
【０１４１】
即ち、ステップＳ１２５において、予測タップメモリ１２５の記憶値が読み出され、加算回路１２４に供給される。加算回路１２４は、予測タップメモリ１２５から供給される記憶値と、予測タップ生成回路１２２から供給されるの予測タップを構成する生徒画素とを用いて、式（２３）の正規方程式の左辺における、予測係数と前処理フィルタ係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路１２４は、その演算結果を予測タップメモリ１２５に、上書きする形で記憶させる。
【０１４２】
さらに、ステップＳ１２５では、教師データメモリ１２７の記憶値が読み出され、加算回路１２６に供給される。加算回路１２６は、教師データ生成回路１２３から供給される教師データと、教師データメモリ１２７から供給された記憶値とを用いて、式（２３）の正規方程式の右辺における前処理フィルタ係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路１２６は、その演算結果を教師データメモリ１２７に、上書きする形で記憶させる。
【０１４３】
ステップＳ１２６において、フレームメモリ１２１に記憶された注目フレームを構成する教師画素すべてを注目画素として、足し込みを行ったかどうかが判定され、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、処理はステップＳ１２４に戻る。この場合、まだ、注目画素とされていない教師画素のうちの１つが、新たに注目画素とされ、ステップＳ１２４乃至Ｓ１２６の処理が繰り返される。
【０１４４】
ステップＳ１２６において、教師画素すべてを注目画素として、足し込みを行ったと判定された場合、ステップＳ１２７に進み、次に処理すべき教師画像が、フレームメモリ１２１に記憶されているか否かが判定される。
【０１４５】
ステップＳ１２７において、次に処理すべき教師画像が、フレームメモリ１２１に記憶されていると判定された場合、ステップＳ１２３に戻り、その、次に処理すべき教師画像を対象に（注目フレームとして）、ステップＳ１２３以降の処理が繰り返される。
【０１４６】
一方、ステップＳ１２７において、次に処理すべき教師画像が、フレーム１２１に記憶されていないと判定された場合、すなわち、予め学習用に用意しておいた全ての教師画像について処理を行った場合、ステップＳ１２８に進み、演算回路１２８は、予測タップメモリ１２５および教師データメモリ１２７それぞれに記憶されている記憶値を読み出し、式（２４）の足し込み行列を演算し、前処理フィルタ係数を含んだ形の仮予測係数を求める。
【０１４７】
ステップＳ１２９において、前処理フィルタ係数が前処理フィルタ係数メモリ１３０に読み込まれ、記憶される。
【０１４８】
ステップＳ１３０において、演算回路１３１は、前処理フィルタ係数メモリ１３０に記憶された前処理フィルタ係数と、仮予測係数メモリ１２９に記憶された仮予測係数を読み出し、式（２５）を解くことにより、予測係数を求め、出力する。
【０１４９】
図１２は、図８の予測装置１１２の構成例を示している。
【０１５０】
フレームメモリ１５１には、Ｓ／Ｎを向上させる対象としての低Ｓ／Ｎ画像が、例えば、１フレーム単位などで供給されるようになっており、フレームメモリ１５１は、その低Ｓ／Ｎ画像を、そのＳ／Ｎを向上させる予測処理が終了するまで記憶する。
【０１５１】
なお、フレームメモリ１５１に供給する低Ｓ／Ｎ画像としては、従来と同様に、テレビジョン放送として放送されてくるテレビジョン放送番組を構成する画像や、ＤＶＤやビデオＣＤ等の記録媒体から再生された画像等を用いることができる。
【０１５２】
予測タップ生成回路１５２は、図１０の予測タップ生成回路１２２と同様の処理を行い、これにより、フレームメモリ１５１に記憶された低Ｓ／Ｎ画像を用いて、予測タップを構成し、予測演算回路１５３に供給する。
【０１５３】
メモリ１５４には、上述した学習処理を行うことにより得られた予測係数が入力され、記憶される。
【０１５４】
予測演算回路１５３は、予測タップ生成回路１５２から供給される予測タップと、メモリ１５４から供給される予測係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、低Ｓ／Ｎ画像の画質を向上させた高Ｓ／Ｎ画像の予測値として出力する。
【０１５５】
次に、図１３のフローチャートを参照して、図１２の予測装置１１２において行われる、低Ｓ／Ｎ画像の画質を向上させる予測処理について説明する。
【０１５６】
ステップＳ１５１において、予測装置１１２のフレームメモリ１５１、およびメモリ１５４などの全てのメモリが初期化される。
【０１５７】
ステップＳ１５２において、上述した学習装置１１１で求められた予測係数がメモリ１５４に読み込まれる。
【０１５８】
ステップＳ１５３において、フレームメモリ１５１には、高Ｓ／Ｎ画像にする対象としての入力画像（低Ｓ／Ｎ画像）が、フレーム単位で順次供給され、記憶される。
【０１５９】
ステップＳ１５４では、フレームメモリ１５１に記憶された低Ｓ／Ｎ画像の画質を向上させた高Ｓ／Ｎ画像（予測装置では、この高Ｓ／Ｎ画像は、実際には存在しないが、仮想的に想定される）（以下、注目フレーム）を構成する画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ生成回路１５２において、フレームメモリ１５１に記憶された低Ｓ／Ｎ画像の画素を用いて、注目画素についての予測タップが構成される。そして、予測タップは、予測演算回路１５３に供給される。
【０１６０】
ステップＳ１５５では、メモリ１５４に記憶されている予測係数が読み出され、予測演算回路１５３に供給される。そして、予測演算回路１５３は、予測タップ生成回路１５２から供給される予測タップと、メモリ１５４から供給される予測係数とを用いて、式（１）に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、一時記憶する。
【０１６１】
そして、ステップＳ１５６に進み、フレームメモリ１５１に記憶された注目フレームに対応する高Ｓ／Ｎ画像のフレームを構成する高Ｓ／Ｎ画素すべてを注目画素として、その予測値を求めたかどうかが判定される。ステップＳ１５６において、注目フレームを構成する高Ｓ／Ｎ画素すべてを注目画素として、まだ、予測値を求めていないと判定された場合、ステップＳ１５４に戻り、注目フレームを構成する画素のうち、まだ注目画素とされていないものが、新たに注目画素とされ、以下、同様の処理が繰り返される。
【０１６２】
一方、ステップＳ１５６において、注目フレームを構成する高Ｓ／Ｎ画素すべてを注目画素として、その予測値を求めたと判定された場合、ステップＳ１５７に進み、予測演算回路１５３は、それまでに求めた予測値でなる高画質の１フレームの画像を出力する。
【０１６３】
ステップＳ１５８において、フレームメモリ１５１に、次に処理すべきフレーム（いま注目フレームとなっているフレームの次のフレーム）が記憶されているかどうかが判定される。ステップＳ１５８において、フレーム１５１に、次に処理すべきフレームが記憶されていると判定された場合、ステップＳ１５３に戻り、そのフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
【０１６４】
一方、ステップＳ１５８において、フレームメモリ１５１に、次に処理すべきフレームが記憶されていないと判定された場合、予測処理を終了する。
【０１６５】
以上のように、学習装置１１１において、足し込み行列を演算した後に、前処理フィルタ係数を掛けることにより、前処理フィルタの変更が即座に予測係数に反映されて、出力される。したがって、予測装置１１２において、前処理フィルタの変更の影響を見ながら前処理フィルタを細かく調整することができるので、迅速な入力データの予測が可能となる。
【０１６６】
なお、本実施の形態では、ぼかす前処理フィルタを用いて、低Ｓ／Ｎ画像から高Ｓ／Ｎ画像を予測する処理について説明したが、その他の画像や音声、または記録媒体から再生された信号（RF(Radio Frequency)信号）等を対象とすることも可能である。
【０１６７】
例えば、ノイズを付加する前処理フィルタを用いて、入力画像のノイズの程度に合せて、出力画像を見ながら前処理フィルタを調整できるので、高画質の画像を出力するための前処理フィルタの選定が容易になる。また、エッジ強調などの線形フィルタによる画像エフェクトを前処理フィルタとして用いると、エフェクトの結果を確認しながら調整が行える。
【０１６８】
入力信号を音声信号として、帯域を削るような前処理フィルタを用いた場合、出力される音声を実際に聞きながら、前処理フィルタの変更ができるので、ユーザの好みを反映した音声を出力することができる。
【０１６９】
圧縮レベルの調整を前処理フィルタとして用いると、復元後の処理画像、または、処理音声を確認しながら最適な圧縮レベルを選択することができる。
【０１７０】
さらに、本実施の形態では、適応処理（予測処理）において、線形一次式を用いるようにしたが、適応処理は、２次以上の次数の式を用いて行うことも可能である。
【０１７１】
次に、教師データに前処理フィルタを掛けて生徒データを生成してから予測係数を求める従来の学習装置１１と、足しこみ行列の演算の後から前処理フィルタを掛ける本発明の学習装置１１１のそれぞれの演算回数について考察する。
【０１７２】
前処理フィルタタップ数をｆ、予測タップ数をｎ、および足し込みデータ数をＮと表すとすると、従来の学習装置１１においては、
前処理フィルタとの演算の回数は、
ｆ×ｎ （回）
加算回路における足し込みの回数は、
Ｎ×ｎ×（ｎ＋１） （回）
正規方程式を解く演算の回数は、
ｎ3 （回）
と表すことができる。
【０１７３】
一方、本発明の学習装置１１２においては、
加算回路における足し込みの回数は、
Ｎ×ｎ×（ｎ＋１）×ｆ2 （回）
前処理フィルタとの演算の回数は、
ｆ×ｎ×ｆ（ｆ＋１） （回）
正規方程式を解く演算の回数は、
ｎ3 （回）
と表すことができる。
【０１７４】
従って、前処理フィルタを変更した場合、従来の学習装置１１において、予測係数を得るために必要な演算回数は、
ｆ×ｎ＋Ｎ×ｎ×（ｎ＋１）＋ｎ3 （回）
であるのに対して、本発明の学習装置１１２においては、足し込みの演算を行う必要がないので、
ｆ×ｎ×ｆ（ｆ＋１）＋ｎ3 （回）
となる。
【０１７５】
ここで、入力データが音声データである場合、一般的な値を当てはめて、ｆ＝１０，ｎ＝１０とすると、従来の手法では、
１１０Ｎ＋１１００ （回）
本発明を用いると、
１２,０００ （回）
となる。
【０１７６】
足し込みデータ数Ｎは、サンプリング周波数44.1ｋＨｚのＣＤ並の音声データを１分程度行う場合には、Ｎ＝２,６４６,０００となる。従って、従来の手法では、このＮの値が代入され、
２９１,０６１,１００ （回）
と膨大な数になる。
【０１７７】
さらに、予測精度を上げるため、音声データを１分より長くすれば、それに比例して足し込みデータ数Ｎの値は増えることとなる。
【０１７８】
また、例えば、画像データの場合、７２０×４８０ドットの画像１枚のあたり、Ｎ＝３４５６００となり、複数枚となると、同様に膨大な回数の演算を行わなければならない。
【０１７９】
それに対して、本発明では、前処理フィルタを変更した場合の必要な演算回数は、足し込みデータ数Ｎに拠らないため１２,０００回と変わることがないので、リアルタイムで学習を行わせ、予測係数を更新させるようにすることができる。
【０１８０】
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８１】
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８２】
図１４において、CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部３０８からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８３】
CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。
【０１８４】
入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部３０７、ハードディスクなどより構成される記憶部３０８、モデム、ターミナルアダプタなどより構成される通信部３０９が接続されている。通信部３０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８５】
入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク３２１、光ディスク３２２、光磁気ディスク３２３、或いは半導体メモリ３２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。
【０１８６】
なお、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１８７】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１８８】
【発明の効果】
以上のごとく本発明のデータ処理装置および方法、記録媒体、並びにプログラムによれば、前処理フィルタの変更が即座に予測係数に反映され、迅速な入力データの予測が可能となる。
【図面の簡単な説明】
【図１】従来の学習装置の構成例を示すブロック図である。
【図２】教師画素と生徒画素を説明する図である。
【図３】予測タップとクラスタップを説明する図である。
【図４】図１の学習装置の学習処理を説明するフローチャートである。
【図５】従来の予測装置の構成例を示すブロック図である。
【図６】図５の予測装置の予測処理を説明するフローチャートである。
【図７】生徒データ、前処理フィルタ、および教師データを説明する図である。
【図８】本発明を適用したデータ処理装置の構成例を示すブロック図である。
【図９】図８のデータ処理装置の全体処理を説明するフローチャートである。
【図１０】図８の学習装置の構成例を示すブロック図である。
【図１１】図８の学習装置の学習処理を説明するフローチャートである。
【図１２】図８の予測装置の構成例を示すブロック図である。
【図１３】図８の予測装置の予測処理を説明するフローチャートである。
【図１４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１０１ データ処理装置， １１１ 学習装置， １１２ 予測装置， １１３ 判定部， １２１ フレームメモリ， １２２ 予測タップ生成回路， １２３ 教師データ生成回路， １２４ 加算回路， １２５ 予測タップメモリ， １２６ 加算回路， １２７ 教師データメモリ， １２８ 演算回路， １２９ 仮予測係数メモリ， １３０ 前処理フィルタ係数メモリ， １３１ 演算回路， １５１ フレームメモリ， １５２ 予測タップ生成回路， １５３ 予測演算回路， １５４ メモリ
【発明の属する技術分野】
本発明は、データ処理装置および方法、記録媒体、並びにプログラムに関し、特に、入力データの迅速な予測に好適なデータ処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の解像度、Ｓ／Ｎ、その他の画像の画質を向上させるための処理として、クラス分類適応処理を、先に提案している（例えば、特許文献１）。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【０００４】
即ち、適応処理では、例えば、低Ｓ／Ｎの画像（低Ｓ／Ｎ画像）を構成する画素（以下、適宜、低Ｓ／Ｎ画素という）と、所定の予測係数との線形結合により、その低Ｓ／Ｎ画像のＳ／Ｎを向上させた高Ｓ／Ｎの画像（高Ｓ／Ｎ画像）の画素の予測値を求めることで、その低Ｓ／Ｎ画像のＳ／Ｎを向上させた画像が得られる。
【０００５】
具体的には、例えば、いま、ある高Ｓ／Ｎ画像を教師データとするとともに、その高Ｓ／Ｎ画像のＳ／Ｎを劣化させた低Ｓ／Ｎ画像を生徒データとして、高Ｓ／Ｎ画像を構成する画素（以下、適宜、高Ｓ／Ｎ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの低Ｓ／Ｎ画素（低Ｓ／Ｎ画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００６】
式（１）を一般化するために、予測係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ'を、
【数１】
【０００８】
【０００９】
そして、この観測方程式に最小自乗法を適用して、高Ｓ／Ｎ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる高Ｓ／Ｎ画素の真の画素値ｙの集合でなる行列Ｙ、および高Ｓ／Ｎ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【００１０】
この場合、高Ｓ／Ｎ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗjは、自乗誤差
【数３】
【００１２】
従って、上述の自乗誤差を予測係数ｗjで微分したものが０になる場合、即ち、次式を満たす予測係数ｗjが、高Ｓ／Ｎ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための最適値ということになる。
【００１３】
【数４】
そこで、まず、式（３）を、予測係数ｗjで微分することにより、次式が成立する。
【００１５】
【数５】
式（４）および（５）より、式（６）が得られる。
【００１７】
【数６】
さらに、式（３）の残差方程式における生徒データｘij、予測係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００１９】
【数７】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
【００２１】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適な予測係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００２２】
以上のようにして、最適な予測係数ｗjを求めておき、さらに、その予測係数ｗjを用い、式（１）により、高Ｓ／Ｎ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００２３】
なお、適応処理は、低Ｓ／Ｎ画像には含まれていないが、高Ｓ／Ｎ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、高Ｓ／Ｎ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【００２４】
また、ここでは、適応処理について、Ｓ／Ｎを向上させる場合を例にして説明したが、適応処理は、その他、例えば、画素数を増加させて解像度を向上させた画像の予測値を求めること等に用いることができ、この場合、解像度の向上を図ることが可能である。
【００２５】
図１は、以上のようなクラス分類適応処理に用いる予測係数を学習する、従来の学習装置の一例の構成を示している。
【００２６】
教師データとしての高Ｓ／Ｎ画像（以下、適宜、教師画像という）は、例えば、フレーム単位で、フレームメモリ２１に供給され、フレームメモリ２１は、そこに供給される教師画像を順次記憶する。
【００２７】
ぼかしフィルタとしての前処理フィルタ２２は、フレームメモリ２１に記憶された教師画像を、例えば、フレーム単位で読み出し、ＬＰＦ(Low Pass Filter)をかけること等によって、教師画像のＳ／Ｎを低下させ、これにより、生徒データとしての低Ｓ／Ｎ画像（以下、適宜、生徒画像という）を生成し、フレームメモリ２３に供給する。
【００２８】
即ち、前処理フィルタ２２は、例えば、図２に示すように、図中、三角形のマークで示す教師画像を構成する教師画素のＳ／Ｎを低下させ、図中、円のマークで示す生徒画像を構成する生徒画素を生成する。従って、ここでは、教師画像と生徒画像とは、同一の画素数で構成される。
【００２９】
フレームメモリ２３は、前処理フィルタ２２が出力する生徒画像を、例えば、フレーム単位で順次記憶する。
【００３０】
クラスタップ生成回路２４は、注目画素を、幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いる生徒画素を、フレームメモリ２３から読み出す。即ち、クラスタップ生成回路２４は、注目画素の位置に対応する、生徒画像の位置から周辺にある（空間的または時間的に近い位置にある）幾つかの生徒画素を、フレームメモリ２３から読み出し、クラス分類に用いるクラスタップとして、クラス分類回路２６に供給する。
【００３１】
具体的には、図３に示すように、図中、黒い三角形のマークで示す教師画素が注目画素とされた場合には、クラスタップ生成回路２４は、例えば、注目画素の位置に対応する、生徒画素ｅと、その上、下、左、右、左上、左下、右上、右下にそれぞれ隣接する生徒画素ｂ，ｈ，ｄ，ｆ，ａ，ｇ，ｃ，ｉの等の正方形状の９画素を、予測タップとする。
【００３２】
クラス分類回路２６は、クラスタップ生成回路２４からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、予測タップメモリ２８および教師データメモリ３０に供給する。
【００３３】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)を用いる方法等がある。
【００３４】
ADRCを用いる方法では、クラスタップを構成する生徒画素が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００３５】
なお、KビットADRCにおいては、例えば、クラスタップを構成する生徒画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する生徒画素がKビットに再量子化される。即ち、クラスタップを構成する画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成する各画素についてのKビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各生徒画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００３６】
ここで、ADRCによれば、クラスタップが、Ｎ個の画素で構成され、そのクラスタップのＫビットADRC処理結果がクラスコードとされる場合には、注目画素は、（２N）Kクラスのうちのいずれかのクラスにクラス分類されることになる。
【００３７】
予測タップ生成回路２５は、フレームメモリ２１に記憶された教師画像を構成する画素（以下、適宜、教師画素という）を、順次、注目画素とし、その注目画素の位置に対応する生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画像の画素（以下、適宜、生徒画素という）を、フレームメモリ２３から読み出し、予測係数との乗算に用いる予測タップを構成する。
【００３８】
即ち、図３に示すように、図中、黒い三角形のマークで示す教師画素が注目画素とされた場合には、予測タップ生成回路２５は、例えば、注目画素の位置に対応する、生徒画素ｅと、その上、下、左、右、左上、左下、右上、右下にそれぞれ隣接する生徒画素ｂ，ｈ，ｄ，ｆ，ａ，ｇ，ｃ，ｉのうちの、例えば、ｂ，ｄ，ｅ，ｆ，ｈ等の十字形状の５画素を、予測タップとする。
【００３９】
そして、予測タップ生成回路２５で構成された予測タップは、加算回路２７に供給される。
【００４０】
加算回路２７は、クラス分類回路２６が出力するクラスコードに対応するアドレスの記憶値を、予測タップメモリ２８から読み出し、その記憶値と、予測タップ生成回路２５からの予測タップを構成する生徒画素とを加算することで、式（７）の正規方程式の左辺における、予測係数ｗの乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路２７は、その演算結果を、予測タップメモリ２８のクラス分類回路２６が出力するクラスコードに対応するアドレスに、上書きする形で記憶させるようになっている。
【００４１】
予測タップメモリ２８は、クラス分類回路２６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路２７に供給するとともに、そのアドレスに、加算回路２７の出力値を記憶するようになっている。
【００４２】
加算回路２９は、フレームメモリ２１に記憶された教師画像を構成する教師画素のうちの、注目画素ｘに対するものを、教師データｙとして読み出すとともに、クラス分類回路２６が出力するクラスコードに対応するアドレスの記憶値を、教師データメモリ３０から読み出し、その記憶値と、フレームメモリ２１から読み出した教師データ（教師画素）ｙとを加算することで、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路２９は、その演算結果を、予測タップメモリ２８のクラス分類回路２６が出力するクラスコードに対応するアドレスに、上書きする形で記憶させるようになっている。
【００４３】
なお、正確には、加算回路２７および３９では、式（７）における乗算も行われる。また、式（７）の右辺には、教師データｙと、生徒画素ｘとの乗算が含まれ、従って、加算回路２９で行われる乗算には、教師データｙの他に、その教師データｙに対する生徒画素ｘが必要となるが、これは、加算回路２９において、フレームメモリ２３から読み出される。
【００４４】
教師データメモリ３０は、クラス分類回路２６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路２９に供給するとともに、そのアドレスに、加算回路２９の出力値を記憶するようになっている。
【００４５】
演算回路３１は、予測タップメモリ２８および教師データメモリ３０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、クラスコードごとに、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求めるようになっている。即ち、演算回路３１は、予測タップメモリ２８および教師データメモリ３０それぞれの、各クラスコードに対応するアドレスに記憶されている記憶値から、式（７）の正規方程式をたて、これを解くことにより、クラスごとの予測係数を求めるようになっている。
【００４６】
次に、図４のフローチャートを参照して、図１の学習装置１１により行われる、予測係数の学習処理について説明する。
【００４７】
ステップＳ２１において、学習装置１１のフレームメモリ２１および２３、予測タップメモリ２８、並びに教師データメモリ３０などの全てのメモリが初期化される。
【００４８】
ステップＳ２２において、教師画像から生徒画像を生成するために、予め決定された、例えば、LPF(Low Pass Filter)などの前処理フィルタの係数が前処理フィルタ２２に読み込まれる。
【００４９】
ステップＳ２３において、予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ２１に記憶され、その中の１つのフレームが注目フレームとされる。
【００５０】
ステップＳ２４では、前処理フィルタ２２において、フレームメモリ２１に記憶された教師画像の注目フレームに対して、LPFがかけられ、これにより、教師画像のＳ／Ｎを低下させた生徒画像が生成され、フレームメモリ２３に供給されて記憶される。
【００５１】
そして、ステップＳ２５に進み、フレームメモリ２１に記憶された注目フレームの教師画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ生成回路２５において、フレームメモリ２３に記憶された生徒画素を用いて、注目画素についての予測タップが構成される。さらに、ステップＳ２５では、クラスタップ生成回路２４において、フレームメモリ２３に記憶された生徒画素を用いて、注目画素についてのクラスタップが構成される。そして、予測タップは、加算回路２７に供給され、クラスタップは、クラス分類回路２６に供給される。ここで、図１の学習装置１１では（後述する図５の予測装置４１においても同様）、予測タップやクラスタップは、図３で説明したように、注目画素を基準として固定の位置にある生徒画素によって、常に構成される。
【００５２】
クラス分類回路２６は、ステップＳ２６において、クラスタップ生成回路２４からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、予測タップメモリ２８および教師データメモリ３０に出力する。
【００５３】
そして、ステップＳ２７に進み、予測タップおよび教師データそれぞれの足し込みが行われる。
【００５４】
即ち、ステップＳ２７において、予測タップメモリ２８は、クラス分類回路２６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路２７に供給する。加算回路２７は、予測タップメモリ２８から供給される記憶値と、予測タップ生成回路２５から供給される予測タップを構成する生徒画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路２７は、その演算結果を、クラス分類回路２６が出力するクラスコードに対応する、予測タップメモリ２８のアドレスに、上書きする形で記憶させる。
【００５５】
さらに、ステップＳ２７では、教師データメモリ３０は、クラス分類回路２６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路２９に供給する。加算回路２９は、フレームメモリ２１に記憶された教師画像を構成する教師画素のうちの、注目画素に対応する教師画素を、教師データとして読み出すとともに、フレームメモリ２３に記憶された生徒画像を構成する生徒画素のうちの、教師データに対応するものを読み出し、その読み出した画素と、教師データメモリ３０から供給された記憶値とを用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路２９は、その演算結果を、クラス分類回路２６が出力するクラスコードに対応する、教師データメモリ３０のアドレスに、上書きする形で記憶させる。
【００５６】
そして、ステップＳ２８に進み、フレームメモリ２１に記憶された注目フレームを構成する教師画素すべてを注目画素として、足し込みを行ったかどうかが判定され、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、処理はステップＳ２５に戻る。この場合、まだ、注目画素とされていない教師画素のうちの１つが、新たに注目画素とされ、ステップＳ２５乃至Ｓ２８の処理が繰り返される。
【００５７】
また、ステップＳ２８において、教師画素すべてを注目画素として、足し込みを行ったと判定された場合、ステップＳ２９に進み、次に処理すべき教師画像が、フレームメモリ２１に記憶されているか否かが判定される。
【００５８】
ステップＳ２９において、次に処理すべき教師画像が、フレームメモリ２１に記憶されていると判定された場合、ステップＳ２４に戻り、その、次に処理すべき教師画像を対象に（注目フレームとして）、ステップＳ２４以降の処理が繰り返される。
【００５９】
一方、ステップＳ２９において、次に処理すべき教師画像が、フレームメモリ２１に記憶されていないと判定された場合、すなわち、予め学習用に用意しておいた全ての教師画像について処理を行った場合、ステップＳ３０に進み、演算回路３１は、予測タップメモリ２８および教師データメモリ３０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求め、出力して処理を終了する。
【００６０】
なお、以上のような予測係数の学習処理１１において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトの予測係数を出力するようにすること等が可能である。
【００６１】
次に、図５は、図１の学習装置において得られた予測係数を用いて、低Ｓ／Ｎ画像のＳ／Ｎを向上させた画像としての、高Ｓ／Ｎ画像の予測値を求める、従来の予測装置４１の一例の構成を示している。
【００６２】
フレームメモリ５１には、Ｓ／Ｎを向上させる対象としての低Ｓ／Ｎ画像が、例えば、１フレーム単位などで供給されるようになっており、フレームメモリ５１は、その低Ｓ／Ｎ画像を、そのＳ／Ｎを向上させる予測処理が終了するまで記憶する。
【００６３】
なお、フレームメモリ５１に供給する低Ｓ／Ｎ画像としては、例えば、テレビジョン放送として放送されてくるテレビジョン放送番組を構成する画像や、ＤＶＤやビデオＣＤ等の記録媒体から再生された画像等を用いることができる。
【００６４】
予測タップ生成回路５２は、図１の予測タップ生成回路２５と同様の処理を行い、これにより、フレームメモリ５１に記憶された低Ｓ／Ｎ画像を用いて、予測タップを構成し、予測演算回路５６に供給する。
【００６５】
クラスタップ生成回路５３は、図１のクラスタップ生成回路２４と同様の処理を行い、これにより、フレームメモリ５１に記憶された低Ｓ／Ｎ画像を用いて、クラスタップを構成し、クラス分類回路５４に供給する。
【００６６】
クラス分類回路５４は、図１のクラス分類回路２６と同様の処理を行い、これにより、クラスタップ生成回路５３からのクラスタップを用いたクラス分類結果としてのクラスコードを、アドレスとしてメモリ５５に供給する。
【００６７】
メモリ５５は、上述した学習処理を行うことにより得られたクラスごとの予測係数を記憶しており、クラス分類回路５４からのクラスコードに対応するアドレスに記憶されている予測係数を読み出して、予測演算回路５６に供給する。
【００６８】
予測演算回路５６は、予測タップ生成回路５２から供給される予測タップと、メモリ５５から供給される予測係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、低Ｓ／Ｎ画像の画質を向上させた高Ｓ／Ｎ画像の予測値として出力する。
【００６９】
次に、図６のフローチャートを参照して、図５の予測装置４１において行われる、低Ｓ／Ｎ画像の画質を向上させる予測処理（クラス分類適応処理）について説明する。
【００７０】
ステップＳ４１において、予測装置４１のフレームメモリ５１、およびメモリ５５などの全てのメモリが初期化される。
【００７１】
ステップＳ４２において上述した学習装置１１で求められたクラスごとの予測係数がメモリ５５に読み込まれる。
【００７２】
ステップＳ４３において、フレームメモリ５１には、高Ｓ／Ｎ画像にする対象としての入力画像（低Ｓ／Ｎ画像）が、フレーム単位で順次供給され、フレームメモリ５１は、そのようにフレーム単位で供給される入力画像を順次記憶する。
【００７３】
ステップＳ４４では、フレームメモリ５１に記憶された低Ｓ／Ｎ画像の画質を向上させた高Ｓ／Ｎ画像（予測装置４１では、この高Ｓ／Ｎ画像は、実際には存在しないが、仮想的に想定される）（以下、注目フレーム）を構成する画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ生成回路５２において、フレームメモリ５１に記憶された低Ｓ／Ｎ画像の画素を用いて、注目画素についての予測タップが構成される。さらに、ステップＳ４４では、クラスタップ生成回路５３において、フレームメモリ５１に記憶された低Ｓ／Ｎ画像（注目フレーム）の画素を用いて、注目画素についてのクラスタップが構成される。そして、予測タップは、予測演算回路５６に供給され、クラスタップは、クラス分類回路５４に供給される。
【００７４】
クラス分類回路５４は、ステップＳ４５において、クラスタップ生成回路５３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、メモリ５５に対して、アドレスとして供給し、ステップＳ４６に進む。
【００７５】
ステップＳ４７では、メモリ５５において、そこに記憶されているクラスごとの予測係数のうち、クラス分類回路５４からのクラスコードで表されるアドレスに記憶されているものが読み出され、予測演算回路５６に供給される。
【００７６】
ステップＳ４７において、予測演算回路５６は、予測タップ生成回路５２から供給される予測タップと、メモリ５５から供給される予測係数とを用いて、式（１）に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、一時記憶する。
【００７７】
そして、ステップＳ４８に進み、フレームメモリ５１に記憶された注目フレームに対応する高Ｓ／Ｎ画像のフレームを構成する高Ｓ／Ｎ画素すべてを注目画素として、その予測値を求めたかどうかが判定される。ステップＳ４８において、注目フレームを構成する高Ｓ／Ｎ画素すべてを注目画素として、まだ、予測値を求めていないと判定された場合、ステップＳ４４に戻り、注目フレームを構成する画素のうち、まだ注目画素とされていないものが、新たに注目画素とされ、以下、同様の処理が繰り返される。
【００７８】
一方、ステップＳ４８において、注目フレームを構成する高Ｓ／Ｎ画素すべてを注目画素として、その予測値を求めたと判定された場合、ステップＳ４９に進み、予測演算回路５６は、それまでに求めた予測値でなる高画質の１フレームの画像を出力する。
【００７９】
ステップＳ５０において、フレームメモリ５１に、次に処理すべきフレーム（いま注目フレームとなっているフレームの次のフレーム）が記憶されているかどうかが判定される。ステップＳ５０において、フレーム５１に、次に処理すべきフレームが記憶されていると判定された場合、ステップＳ４３に戻り、そのフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
【００８０】
一方、ステップＳ５０において、フレームメモリ５１に、次に処理すべきフレームが記憶されていないと判定された場合、予測処理を終了する。
【００８１】
以上のように、クラス分類適応処理では、クラスごとの予測係数が、学習によって求められ、そのクラスごとの予測係数を用いて、画像の画質を向上させる。
【００８２】
その他、特許文献２においては、上述の前処理フィルタとして、ぼかしフィルタの代わりに、ノイズを付加する前処理フィルタを用いて、画像信号の入力データから、ノイズを除去（低減）した画像信号を出力する処理として、クラス分類適応処理が用いられている。
【００８３】
さらに、特許文献３においては、帯域を部分的に削るような前処理フィルタを用いて、高音質なオーディオ信号を出力する処理として、同様にクラス分類適応処理が用いられている。
【００８４】
上述の例では、クラス分類処理によって、データをその性質に基づいてクラス分けし、クラスごとに適応処理を施したが、当然ながら、１つのクラスの場合についても同様の処理を行うことができ、その場合には、クラス分類処理は省略される。
【００８５】
【特許文献１】
特開２００１−２２２７０２号公報
【特許文献２】
特開２０００−３４８０２０号公報
【特許文献３】
特開平１０−３１３２５１号公報
【００８６】
【発明が解決しようとする課題】
以上のように、学習装置では、教師データに前処理フィルタを施して生徒データを生成し、予測係数を求め、予測装置では、その予測係数を利用して低Ｓ／Ｎ画像から高Ｓ／Ｎ画像を予測して出力している。したがって、前処理フィルタをどのように設定するかによって、求められる予測係数、および、予測係数を利用する予測装置の高Ｓ／Ｎ画像の出力は変わってくる。
【００８７】
しかしながら、設定した前処理フィルタが最適なものであるか否かは、学習装置で求めた予測係数を予測装置に入力し、出力データを確認するまでわからず、前処理フィルタの変更を行った場合には、学習装置で上述の２つの加算回路による足し込みの処理が行われるため、処理に時間がかかり、予測装置における前処理フィルタの変更の影響を見ながら前処理フィルタを細かく調整することができないという問題があった。
【００８８】
本発明は、このような状況に鑑みてなされたものであり、前処理フィルタの変更が即座に予測係数に反映することができ、迅速な入力データの予測を可能とするようにするものである。
【００８９】
【課題を解決するための手段】
本発明のデータ処理装置は、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する予測タップ構成手段と、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データを生成する生成手段と、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算手段と、前処理フィルタ係数の入力を受け、前処理フィルタ係数と仮予測係数とから、予測係数を求める予測係数演算手段とを備えることを特徴とする。
【００９０】
予測係数演算手段には、入力データを用いた線形一次予測によって、出力データが得られるようにするための予測係数を求めさせるようにすることができる。
【００９１】
本発明のデータ処理方法は、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する予測タップ構成ステップと、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データを生成する生成ステップと、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算手段と、前処理フィルタ係数の入力を受け、前処理フィルタ係数と仮予測係数とから、予測係数を求める予測係数演算ステップとを含むことを特徴とする。
【００９２】
本発明の記録媒体のプログラムは、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する予測タップ構成ステップと、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データを生成する生成ステップと、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算手段と、前処理フィルタ係数の入力を受け、前処理フィルタ係数と仮予測係数とから、予測係数を求める予測係数演算ステップとを含むことを特徴とする。
【００９３】
本発明のプログラムは、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する予測タップ構成ステップと、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データを生成する生成ステップと、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算手段と、前処理フィルタ係数の入力を受け、前処理フィルタ係数と仮予測係数とから、予測係数を求める予測係数演算ステップとをコンピュータに実行させることを特徴とする。
【００９４】
本発明のデータ処理装置は、入力データから、注目している注目入力データと、その周辺にある周辺データを予測タップとして構成する第１の予測タップ構成手段と、第１の予測タップ構成手段より構成された予測タップと、所定の予測係数を用いて、注目入力データに対する出力データを予測する予測手段と、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する第２の予測タップ構成手段と、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データを生成する生成手段と、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算手段と、前処理フィルタ係数の入力を受け、前処理フィルタ係数と仮予測係数とから、予測係数を求める予測係数演算手段とを備えることを特徴とする。
【００９５】
本発明においては、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれが予測タップとして構成され、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データが生成され、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数が求められ、前処理フィルタ係数と仮予測係数とから、予測係数が求められる。
【００９６】
また、本発明においては、第1の装置で、入力データから、注目している注目入力データと、その周辺にある周辺データが予測タップとして構成され、その予測タップと、所定の予測係数を用いて、注目入力データに対する出力データが予測される。また、第２の装置で、入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれが予測タップとして構成され、入力データの、注目している注目入力データと、その周辺にある周辺データとから、予測係数の学習のための教師となる教師データが生成され、入力データを構成するデータすべてを注目入力データとしたときの予測タップを用いた演算式および教師データを足し込んだ足し込み行列を演算することにより、教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数が求められ、前処理フィルタ係数と仮予測係数とから、予測係数が求められる。
【００９７】
【発明の実施の形態】
初めに、図７を参照して、教師データに前処理フィルタをかけて生徒データを求める処理を、教師データの足し込みを行った後の行列に、前処理フィルタをかけるようにしても同じ結果が得られることについて説明する。
【００９８】
図７は、生徒データ、前処理フィルタ、および教師データの関係を模式的に表した図である。
【００９９】
図７において、生徒データを{sn}、および教師データを{tn}と表す。そして、生徒データ{sn}に前処理フィルタ{f}をかけたデータを{Sn}と表す。この前処理フィルタのタップ数は、一般的には2m+1(mは正の整数)個とされ、係数はf-m, ・・ ・ , f0, ・ ・ ・ fmと表される。ここでは、説明を簡単にするための例として、m=１とし、前処理フィルタ{f}の係数はf-1, f0, f1 の3つとする。このとき、前処理フィルタをかけた生徒データ{Sn}と教師データ{tn}との間の学習で得られる予測係数を{w}とする。一般的に、この係数の個数も2m+1(m は正の整数)と表すことができ、係数はw-m, ・ ・ ・ ,w0, ・ ・ ・ wmと表すことができるが、ここでは，m=1なので、予測係数はw-1,w0,w1の3つであるとする。
【０１００】
tnの近似値tn'は
【０１０１】
最小自乗法でtnを求める場合は、
【０１０２】
今、Snは、
【０１０３】
従って、式（１０）を予測係数w-1,w0,w1 で偏微分を行うと次式が成立する。
【数９】
式（１３）を行列式で書くと
【数１０】
【０１０５】
式（１４）を展開すると、
【数１１】
【数１２】
さらに式（１２）を代入して、係数の−２は、無視できるので、
【数１３】
【０１０７】
式（１７）のtn の項を移して，wp をまとめると、
【数１４】
ここで，S, T を1 行12 列の行列、F を12 行1 列の行列（ただしS は{sn} のみ、T は{sn}と{tn}、F は{f} のみを構成要素として）となるように、
【数１５】
【数１６】
【数１８】
【０１０９】
式（２１）にコレスキー法を用いて、ｗpを求めると、
【数２０】
【０１１０】
【数２１】
【数２２】
【０１１１】
式（２５）から分かるように、予測係数{w}（式（２５）の左辺）は、足し込み行列（式（２５）の右辺の第１項）と前処理フィルタ（式（２５）の右辺の第２項）が分離された形式で表すことができ、前処理フィルタとは別に、足し込みの処理が行えることが判る。すなわち、学習に使う行列は，あらかじめ足し込んでおいた行列に前処理フィルタ{f}を後から掛けたものを用いれば良い。よって、前処理フィルタ{f}を決定し、式（２３）を解くことで予測係数を求めることができる。
【０１１２】
図８は、本発明を適用したデータ処理装置１０１の構成例を示すブロック図である。
【０１１３】
学習装置１１１は、教師画像としての高Ｓ／Ｎ画像と、予測係数を演算するときに使用される前処理フィルタ係数を入力し、予測係数を演算し、予測装置１１２に出力する。
【０１１４】
予測装置１１２には、低Ｓ／Ｎ画像と、学習装置１１１で算出された予測係数が入力される。予測装置１１２は、入力された低Ｓ／Ｎ画像から、予測タップに基づいた予測演算を行い、予測値としての高Ｓ／Ｎ画像を出力する。
【０１１５】
判定部１１３は、予測装置１１２が出力する高Ｓ／Ｎ画像に基づいて、前処理フィルタ係数を変更する必要があるか否かを判定し、前処理フィルタ係数を変更する必要があると判定した場合、変更した前処理フィルタ係数を学習装置１１１に出力する。
【０１１６】
なお、判定部１１３を省略して、作業者となるユーザが、予測装置１１２より出力される高Ｓ／Ｎ画像を見て判断し、学習装置１１１に前処理フィルタ係数を入力するようにしてもよい。
【０１１７】
図９のフローチャートを参照して、データ処理装置１０１が行う処理について説明する。
【０１１８】
ステップＳ１０１において、学習装置１１１は、入力された教師画像としての高Ｓ／Ｎ画像と、前処理フィルタ係数に基づいて、予測係数を求め、予測装置１１２に出力する。
【０１１９】
ステップＳ１０２において、予測装置１１２は、入力された低Ｓ／Ｎ画像と予測係数に基づいて、予測値としての高Ｓ／Ｎ画像を求め、出力する。
【０１２０】
ステップＳ１０３において、判定部１１３は、予測装置１１２が出力した高Ｓ／Ｎ画像に基づいて、学習装置１１１の前処理フィルタ係数を変更する必要があるか否かを判定する。変更する必要があると判定された場合、判定部１１３は、処理をステップＳ１０１に戻し、それ以降の処理が繰り返される。
【０１２１】
ステップＳ１０３で、変更する必要がないと判定された場合、判定部１１３は、処理を終了する。
【０１２２】
図１０は、図８の学習装置１１１の構成例を示すブロック図である。
【０１２３】
教師データとしての高Ｓ／Ｎ画像（以下、適宜、教師画像という）は、例えば、フレーム単位で、フレームメモリ１２１に供給され、フレームメモリ１２１は、そこに供給される教師画像を順次記憶する。
【０１２４】
予測タップ生成回路１２２は、従来の図１の予測タップ生成回路２５と同様に、フレームメモリ１２１に記憶された教師画像を構成する画素（以下、適宜、教師画素という）を、順次、注目画素とし、その注目画素の位置に対応する生徒画像の位置から周辺にある（空間的または時間的に近い位置にある）幾つかの生徒画像の画素（以下、適宜、生徒画素という）を、フレームメモリ１２１から読み出し、予測係数との乗算に用いる予測タップを構成する。従来の学習装置１１とは異なり、前処理フィルタとなる係数を後で演算するため、従来の前処理フィルタ２２（図１）に相当する回路が省かれている（その結果、教師画像と生徒画像は同一となる）ので、予測タップ生成回路１２２には、教師画像が生徒画像としてそのまま入力される。すなわち、教師画像の注目画素の位置に対応する教師画像の位置から周辺にある（空間的または時間的に近い位置にある）幾つかの教師画像の画素が、生徒画素としてフレームメモリ１２１から読み出され、予測タップが構成される。
【０１２５】
そして、予測タップ生成回路１２２で構成された予測タップは、加算回路１２４に供給される。
【０１２６】
加算回路１２４は、予測タップ生成回路１２２からの予測タップを構成する生徒画素を加算することで、式（２３）の正規方程式の左辺における、予測係数{w}および前処理フィルタ{f}の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路１２４は、その演算結果を、予測タップメモリ１２５に出力する。
【０１２７】
予測タップメモリ１２５は、加算回路１２４が出力する演算結果を記憶し、加算回路１２４が演算を行う際には、加算回路１２４にその記憶値を出力するようになっている。
【０１２８】
教師データ生成回路１２３は、フレームメモリ１２１に記憶された教師画像の注目画素と、それに対応する生徒画像（教師画像）の位置から周辺にある（空間的または時間的に近い位置にある）幾つかの生徒画素とから、新たな教師データを生成し、加算回路１２６に出力する。
【０１２９】
加算回路１２６は、教師データ生成回路１２３が出力した教師データを利用して、式（２３）の正規方程式の右辺における前処理フィルタ{f}の乗数となっているサメーション（Σ）に相当する演算を行う。上述した例では、Ｔi,jは、式（１９）のように表すことができるので、教師画像の注目画素ｔiに対してｓj-1,ｓj，およびｓj+1を乗じた値が教師データとして、教師データ生成回路１２３より入力される。そして、加算回路１２６は、その演算結果を、教師データメモリ１２７に出力する。
【０１３０】
教師データメモリ１２７は、加算回路１２６が出力する演算結果を記憶し、加算回路１２６が演算を行う際には、加算回路１２６にその記憶値を出力するようになっている。
【０１３１】
演算回路１２８は、予測タップメモリ１２５および教師データメモリ１２７それぞれに記憶されている記憶値を読み出し、式（２５）に示した行列式の足し込み行列を演算することにより、前処理フィルタ{f}の係数を含んだ仮の予測係数（以下、仮予測係数と称する）を求め、仮予測係数メモリ１２９に出力する。
【０１３２】
仮予測係数メモリ１２９には、演算回路１２８から出力された仮予測係数の値が記憶され、記憶された値は、演算回路１３１に読み出されるようになっている。
【０１３３】
前処理フィルタ係数メモリ１３０には、上述した前処理フィルタ係数{f}が入力され、記憶される。
【０１３４】
演算回路１３１は、前処理フィルタ係数メモリ１３０に記憶された前処理フィルタ係数{f}と、仮予測係数メモリ１２９に記憶された仮予測係数を読み出し、式（２５）を解くことにより、予測係数{w}を求める。
【０１３５】
次に、図１１のフローチャートを参照して、図１０の学習装置１１１により行われる、予測係数の学習処理について説明する。
【０１３６】
ステップＳ１２１において、学習装置１１１のフレームメモリ１２１、予測タップメモリ１２５、教師データメモリ１２７、仮予測係数メモリ１２９、および前処理フィルタ係数メモリ１３０などの全てのメモリが初期化される。
【０１３７】
ステップＳ１２２において、予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ１２１に記憶され、その中の１つのフレームが注目フレームとされる。
【０１３８】
ステップＳ１２３において、教師データ生成回路１２３は、フレームメモリ１２１に記憶された教師画像の注目画素と、それに対応する生徒画像（教師画像）の位置から空間的または時間的に近い位置にある幾つかの生徒画素とから、新たな教師データを生成し、加算回路１２６に出力する。
【０１３９】
ステップＳ１２４において、フレームメモリ１２１に記憶された注目フレームの教師画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ生成回路１２２において、フレームメモリ１２１に記憶された（教師画像の）生徒画素を用いて、注目画素についての予測タップが構成される。そして、予測タップは、加算回路１２４に供給される。ここで、図１０の学習装置１１１では（後述する図１２の予測装置１１２においても同様）、予測タップは、図３で説明したのと同様に、注目画素を基準として固定の位置にある生徒画素によって、常に構成される。
【０１４０】
ステップＳ１２５において、予測タップおよび教師データそれぞれの足し込みが行われる。
【０１４１】
即ち、ステップＳ１２５において、予測タップメモリ１２５の記憶値が読み出され、加算回路１２４に供給される。加算回路１２４は、予測タップメモリ１２５から供給される記憶値と、予測タップ生成回路１２２から供給されるの予測タップを構成する生徒画素とを用いて、式（２３）の正規方程式の左辺における、予測係数と前処理フィルタ係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路１２４は、その演算結果を予測タップメモリ１２５に、上書きする形で記憶させる。
【０１４２】
さらに、ステップＳ１２５では、教師データメモリ１２７の記憶値が読み出され、加算回路１２６に供給される。加算回路１２６は、教師データ生成回路１２３から供給される教師データと、教師データメモリ１２７から供給された記憶値とを用いて、式（２３）の正規方程式の右辺における前処理フィルタ係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路１２６は、その演算結果を教師データメモリ１２７に、上書きする形で記憶させる。
【０１４３】
ステップＳ１２６において、フレームメモリ１２１に記憶された注目フレームを構成する教師画素すべてを注目画素として、足し込みを行ったかどうかが判定され、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、処理はステップＳ１２４に戻る。この場合、まだ、注目画素とされていない教師画素のうちの１つが、新たに注目画素とされ、ステップＳ１２４乃至Ｓ１２６の処理が繰り返される。
【０１４４】
ステップＳ１２６において、教師画素すべてを注目画素として、足し込みを行ったと判定された場合、ステップＳ１２７に進み、次に処理すべき教師画像が、フレームメモリ１２１に記憶されているか否かが判定される。
【０１４５】
ステップＳ１２７において、次に処理すべき教師画像が、フレームメモリ１２１に記憶されていると判定された場合、ステップＳ１２３に戻り、その、次に処理すべき教師画像を対象に（注目フレームとして）、ステップＳ１２３以降の処理が繰り返される。
【０１４６】
一方、ステップＳ１２７において、次に処理すべき教師画像が、フレーム１２１に記憶されていないと判定された場合、すなわち、予め学習用に用意しておいた全ての教師画像について処理を行った場合、ステップＳ１２８に進み、演算回路１２８は、予測タップメモリ１２５および教師データメモリ１２７それぞれに記憶されている記憶値を読み出し、式（２４）の足し込み行列を演算し、前処理フィルタ係数を含んだ形の仮予測係数を求める。
【０１４７】
ステップＳ１２９において、前処理フィルタ係数が前処理フィルタ係数メモリ１３０に読み込まれ、記憶される。
【０１４８】
ステップＳ１３０において、演算回路１３１は、前処理フィルタ係数メモリ１３０に記憶された前処理フィルタ係数と、仮予測係数メモリ１２９に記憶された仮予測係数を読み出し、式（２５）を解くことにより、予測係数を求め、出力する。
【０１４９】
図１２は、図８の予測装置１１２の構成例を示している。
【０１５０】
フレームメモリ１５１には、Ｓ／Ｎを向上させる対象としての低Ｓ／Ｎ画像が、例えば、１フレーム単位などで供給されるようになっており、フレームメモリ１５１は、その低Ｓ／Ｎ画像を、そのＳ／Ｎを向上させる予測処理が終了するまで記憶する。
【０１５１】
なお、フレームメモリ１５１に供給する低Ｓ／Ｎ画像としては、従来と同様に、テレビジョン放送として放送されてくるテレビジョン放送番組を構成する画像や、ＤＶＤやビデオＣＤ等の記録媒体から再生された画像等を用いることができる。
【０１５２】
予測タップ生成回路１５２は、図１０の予測タップ生成回路１２２と同様の処理を行い、これにより、フレームメモリ１５１に記憶された低Ｓ／Ｎ画像を用いて、予測タップを構成し、予測演算回路１５３に供給する。
【０１５３】
メモリ１５４には、上述した学習処理を行うことにより得られた予測係数が入力され、記憶される。
【０１５４】
予測演算回路１５３は、予測タップ生成回路１５２から供給される予測タップと、メモリ１５４から供給される予測係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、低Ｓ／Ｎ画像の画質を向上させた高Ｓ／Ｎ画像の予測値として出力する。
【０１５５】
次に、図１３のフローチャートを参照して、図１２の予測装置１１２において行われる、低Ｓ／Ｎ画像の画質を向上させる予測処理について説明する。
【０１５６】
ステップＳ１５１において、予測装置１１２のフレームメモリ１５１、およびメモリ１５４などの全てのメモリが初期化される。
【０１５７】
ステップＳ１５２において、上述した学習装置１１１で求められた予測係数がメモリ１５４に読み込まれる。
【０１５８】
ステップＳ１５３において、フレームメモリ１５１には、高Ｓ／Ｎ画像にする対象としての入力画像（低Ｓ／Ｎ画像）が、フレーム単位で順次供給され、記憶される。
【０１５９】
ステップＳ１５４では、フレームメモリ１５１に記憶された低Ｓ／Ｎ画像の画質を向上させた高Ｓ／Ｎ画像（予測装置では、この高Ｓ／Ｎ画像は、実際には存在しないが、仮想的に想定される）（以下、注目フレーム）を構成する画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ生成回路１５２において、フレームメモリ１５１に記憶された低Ｓ／Ｎ画像の画素を用いて、注目画素についての予測タップが構成される。そして、予測タップは、予測演算回路１５３に供給される。
【０１６０】
ステップＳ１５５では、メモリ１５４に記憶されている予測係数が読み出され、予測演算回路１５３に供給される。そして、予測演算回路１５３は、予測タップ生成回路１５２から供給される予測タップと、メモリ１５４から供給される予測係数とを用いて、式（１）に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、一時記憶する。
【０１６１】
そして、ステップＳ１５６に進み、フレームメモリ１５１に記憶された注目フレームに対応する高Ｓ／Ｎ画像のフレームを構成する高Ｓ／Ｎ画素すべてを注目画素として、その予測値を求めたかどうかが判定される。ステップＳ１５６において、注目フレームを構成する高Ｓ／Ｎ画素すべてを注目画素として、まだ、予測値を求めていないと判定された場合、ステップＳ１５４に戻り、注目フレームを構成する画素のうち、まだ注目画素とされていないものが、新たに注目画素とされ、以下、同様の処理が繰り返される。
【０１６２】
一方、ステップＳ１５６において、注目フレームを構成する高Ｓ／Ｎ画素すべてを注目画素として、その予測値を求めたと判定された場合、ステップＳ１５７に進み、予測演算回路１５３は、それまでに求めた予測値でなる高画質の１フレームの画像を出力する。
【０１６３】
ステップＳ１５８において、フレームメモリ１５１に、次に処理すべきフレーム（いま注目フレームとなっているフレームの次のフレーム）が記憶されているかどうかが判定される。ステップＳ１５８において、フレーム１５１に、次に処理すべきフレームが記憶されていると判定された場合、ステップＳ１５３に戻り、そのフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
【０１６４】
一方、ステップＳ１５８において、フレームメモリ１５１に、次に処理すべきフレームが記憶されていないと判定された場合、予測処理を終了する。
【０１６５】
以上のように、学習装置１１１において、足し込み行列を演算した後に、前処理フィルタ係数を掛けることにより、前処理フィルタの変更が即座に予測係数に反映されて、出力される。したがって、予測装置１１２において、前処理フィルタの変更の影響を見ながら前処理フィルタを細かく調整することができるので、迅速な入力データの予測が可能となる。
【０１６６】
なお、本実施の形態では、ぼかす前処理フィルタを用いて、低Ｓ／Ｎ画像から高Ｓ／Ｎ画像を予測する処理について説明したが、その他の画像や音声、または記録媒体から再生された信号（RF(Radio Frequency)信号）等を対象とすることも可能である。
【０１６７】
例えば、ノイズを付加する前処理フィルタを用いて、入力画像のノイズの程度に合せて、出力画像を見ながら前処理フィルタを調整できるので、高画質の画像を出力するための前処理フィルタの選定が容易になる。また、エッジ強調などの線形フィルタによる画像エフェクトを前処理フィルタとして用いると、エフェクトの結果を確認しながら調整が行える。
【０１６８】
入力信号を音声信号として、帯域を削るような前処理フィルタを用いた場合、出力される音声を実際に聞きながら、前処理フィルタの変更ができるので、ユーザの好みを反映した音声を出力することができる。
【０１６９】
圧縮レベルの調整を前処理フィルタとして用いると、復元後の処理画像、または、処理音声を確認しながら最適な圧縮レベルを選択することができる。
【０１７０】
さらに、本実施の形態では、適応処理（予測処理）において、線形一次式を用いるようにしたが、適応処理は、２次以上の次数の式を用いて行うことも可能である。
【０１７１】
次に、教師データに前処理フィルタを掛けて生徒データを生成してから予測係数を求める従来の学習装置１１と、足しこみ行列の演算の後から前処理フィルタを掛ける本発明の学習装置１１１のそれぞれの演算回数について考察する。
【０１７２】
前処理フィルタタップ数をｆ、予測タップ数をｎ、および足し込みデータ数をＮと表すとすると、従来の学習装置１１においては、
前処理フィルタとの演算の回数は、
ｆ×ｎ （回）
加算回路における足し込みの回数は、
Ｎ×ｎ×（ｎ＋１） （回）
正規方程式を解く演算の回数は、
ｎ3 （回）
と表すことができる。
【０１７３】
一方、本発明の学習装置１１２においては、
加算回路における足し込みの回数は、
Ｎ×ｎ×（ｎ＋１）×ｆ2 （回）
前処理フィルタとの演算の回数は、
ｆ×ｎ×ｆ（ｆ＋１） （回）
正規方程式を解く演算の回数は、
ｎ3 （回）
と表すことができる。
【０１７４】
従って、前処理フィルタを変更した場合、従来の学習装置１１において、予測係数を得るために必要な演算回数は、
ｆ×ｎ＋Ｎ×ｎ×（ｎ＋１）＋ｎ3 （回）
であるのに対して、本発明の学習装置１１２においては、足し込みの演算を行う必要がないので、
ｆ×ｎ×ｆ（ｆ＋１）＋ｎ3 （回）
となる。
【０１７５】
ここで、入力データが音声データである場合、一般的な値を当てはめて、ｆ＝１０，ｎ＝１０とすると、従来の手法では、
１１０Ｎ＋１１００ （回）
本発明を用いると、
１２,０００ （回）
となる。
【０１７６】
足し込みデータ数Ｎは、サンプリング周波数44.1ｋＨｚのＣＤ並の音声データを１分程度行う場合には、Ｎ＝２,６４６,０００となる。従って、従来の手法では、このＮの値が代入され、
２９１,０６１,１００ （回）
と膨大な数になる。
【０１７７】
さらに、予測精度を上げるため、音声データを１分より長くすれば、それに比例して足し込みデータ数Ｎの値は増えることとなる。
【０１７８】
また、例えば、画像データの場合、７２０×４８０ドットの画像１枚のあたり、Ｎ＝３４５６００となり、複数枚となると、同様に膨大な回数の演算を行わなければならない。
【０１７９】
それに対して、本発明では、前処理フィルタを変更した場合の必要な演算回数は、足し込みデータ数Ｎに拠らないため１２,０００回と変わることがないので、リアルタイムで学習を行わせ、予測係数を更新させるようにすることができる。
【０１８０】
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８１】
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８２】
図１４において、CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部３０８からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８３】
CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。
【０１８４】
入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部３０７、ハードディスクなどより構成される記憶部３０８、モデム、ターミナルアダプタなどより構成される通信部３０９が接続されている。通信部３０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８５】
入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク３２１、光ディスク３２２、光磁気ディスク３２３、或いは半導体メモリ３２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。
【０１８６】
なお、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１８７】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１８８】
【発明の効果】
以上のごとく本発明のデータ処理装置および方法、記録媒体、並びにプログラムによれば、前処理フィルタの変更が即座に予測係数に反映され、迅速な入力データの予測が可能となる。
【図面の簡単な説明】
【図１】従来の学習装置の構成例を示すブロック図である。
【図２】教師画素と生徒画素を説明する図である。
【図３】予測タップとクラスタップを説明する図である。
【図４】図１の学習装置の学習処理を説明するフローチャートである。
【図５】従来の予測装置の構成例を示すブロック図である。
【図６】図５の予測装置の予測処理を説明するフローチャートである。
【図７】生徒データ、前処理フィルタ、および教師データを説明する図である。
【図８】本発明を適用したデータ処理装置の構成例を示すブロック図である。
【図９】図８のデータ処理装置の全体処理を説明するフローチャートである。
【図１０】図８の学習装置の構成例を示すブロック図である。
【図１１】図８の学習装置の学習処理を説明するフローチャートである。
【図１２】図８の予測装置の構成例を示すブロック図である。
【図１３】図８の予測装置の予測処理を説明するフローチャートである。
【図１４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１０１ データ処理装置， １１１ 学習装置， １１２ 予測装置， １１３ 判定部， １２１ フレームメモリ， １２２ 予測タップ生成回路， １２３ 教師データ生成回路， １２４ 加算回路， １２５ 予測タップメモリ， １２６ 加算回路， １２７ 教師データメモリ， １２８ 演算回路， １２９ 仮予測係数メモリ， １３０ 前処理フィルタ係数メモリ， １３１ 演算回路， １５１ フレームメモリ， １５２ 予測タップ生成回路， １５３ 予測演算回路， １５４ メモリ
Claims (6)
- 入力データを処理し、その入力データに対する出力データを予測するのに用いる予測係数を学習するデータ処理装置であって、
前記入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する予測タップ構成手段と、
前記入力データの、注目している前記注目入力データと、その周辺にある周辺データとから、前記予測係数の学習のための教師となる教師データを生成する生成手段と、
前記入力データを構成するデータすべてを注目入力データとしたときの前記予測タップを用いた演算式および前記教師データを足し込んだ足し込み行列を演算することにより、前記教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算手段と、
前記前処理フィルタ係数の入力を受け、前記前処理フィルタ係数と前記仮予測係数とから、前記予測係数を求める予測係数演算手段と
を備えることを特徴とするデータ処理装置。 - 前記予測係数演算手段は、前記入力データを用いた線形一次予測によって、前記出力データが得られるようにするための前記予測係数を求める
ことを特徴とする請求項１に記載のデータ処理装置。 - 入力データを処理し、その入力データに対する出力データを予測するのに用いる予測係数を学習するデータ処理装置のデータ処理方法であって、
前記入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する予測タップ構成ステップと、
前記入力データの、注目している前記注目入力データと、その周辺にある周辺データとから、前記予測係数の学習のための教師となる教師データを生成する生成ステップと、
前記入力データを構成するデータすべてを注目入力データとしたときの前記予測タップを用いた演算式および前記教師データを足し込んだ足し込み行列を演算することにより、前記教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算ステップと、
前記前処理フィルタ係数の入力を受け、前記前処理フィルタ係数と前記仮予測係数とから、前記予測係数を求める予測係数演算ステップと
を含むことを特徴とするデータ処理方法。 - 入力データを処理し、その入力データに対する出力データを予測するのに用いる予測係数を学習するデータ処理のプログラムであって、
前記入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する予測タップ構成ステップと、
前記入力データの、注目している前記注目入力データと、その周辺にある周辺データとから、前記予測係数の学習のための教師となる教師データを生成する生成ステップと、
前記入力データを構成するデータすべてを注目入力データとしたときの前記予測タップを用いた演算式および前記教師データを足し込んだ足し込み行列を演算することにより、前記教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算ステップと、
前記前処理フィルタ係数の入力を受け、前記前処理フィルタ係数と前記仮予測係数とから、前記予測係数を求める予測係数演算ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 入力データを処理し、その入力データに対する出力データを予測するのに用いる予測係数を学習するデータ処理をコンピュータに行わせるプログラムにおいて、
前記入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する予測タップ構成ステップと、
前記入力データの、注目している前記注目入力データと、その周辺にある周辺データとから、前記予測係数の学習のための教師となる教師データを生成する生成ステップと、
前記入力データを構成するデータすべてを注目入力データとしたときの前記予測タップを用いた演算式および前記教師データを足し込んだ足し込み行列を演算することにより、前記教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算ステップと、
前記前処理フィルタ係数の入力を受け、前記前処理フィルタ係数と前記仮予測係数とから、前記予測係数を求める予測係数演算ステップと
を含むことを特徴とするプログラム。 - 入力データを処理して、その入力データに対する出力データを予測する第１の装置と、
前記出力データを予測するのに用いる予測係数を学習する第２の装置と
を備えるデータ処理装置であって、
前記第１の装置は、
前記入力データから、注目している注目入力データの周辺にある周辺データを予測タップとして構成する第１の予測タップ構成手段と、
前記第１の予測タップ構成手段より構成された前記予測タップと、所定の予測係数を用いて、前記注目入力データに対する出力データを予測する予測手段と
を備え、
前記第２の装置は、
前記入力データを構成するデータのなかの注目している注目入力データと、その周辺にある周辺データそれぞれを予測タップとして構成する第２の予測タップ構成手段と、
前記入力データの、注目している前記注目入力データと、その周辺にある周辺データとから、前記予測係数の学習のための教師となる教師データを生成する生成手段と、
前記入力データを構成するデータすべてを注目入力データとしたときの前記予測タップを用いた演算式および前記教師データを足し込んだ足し込み行列を演算することにより、前記教師データから生徒データを求める前処理フィルタ係数を含む仮予測係数を求める仮予測係数演算手段と、
前記前処理フィルタ係数の入力を受け、前記前処理フィルタ係数と前記仮予測係数とから、前記予測係数を求める予測係数演算手段と
を備えることを特徴とするデータ処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002337891A JP4225039B2 (ja) | 2002-11-21 | 2002-11-21 | データ処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002337891A JP4225039B2 (ja) | 2002-11-21 | 2002-11-21 | データ処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004171366A JP2004171366A (ja) | 2004-06-17 |
| JP4225039B2 true JP4225039B2 (ja) | 2009-02-18 |
Family
ID=32701269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002337891A Expired - Fee Related JP4225039B2 (ja) | 2002-11-21 | 2002-11-21 | データ処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4225039B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060008178A1 (en) * | 2004-07-08 | 2006-01-12 | Seeger Adam A | Simulation of scanning beam images by combination of primitive features extracted from a surface model |
| JP4605468B2 (ja) * | 2006-03-16 | 2011-01-05 | ソニー株式会社 | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム |
| JP2008035001A (ja) * | 2006-07-27 | 2008-02-14 | Funai Electric Co Ltd | 映像装置 |
-
2002
- 2002-11-21 JP JP2002337891A patent/JP4225039B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004171366A (ja) | 2004-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6678405B1 (en) | Data processing apparatus, data processing method, learning apparatus, learning method, and medium | |
| EP2352121A1 (en) | Image processing apparatus and method | |
| JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP2013021635A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
| WO2011061958A1 (ja) | 復号化装置、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US20120321214A1 (en) | Image processing apparatus and method, program, and recording medium | |
| JP5291804B2 (ja) | 符号化装置、符号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4611535B2 (ja) | 符号化された画像を評価するための処理、装置及び、使用 | |
| JP4517409B2 (ja) | データ処理装置およびデータ処理方法 | |
| JP4324825B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| US7679675B2 (en) | Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium | |
| JP4225039B2 (ja) | データ処理装置および方法、記録媒体、並びにプログラム | |
| JP3702464B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP2007181186A (ja) | 入力映像に適応的な解像度変換装置及び解像度変換方法 | |
| JP4135045B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP2002199353A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体 | |
| JP4035895B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP4650683B2 (ja) | 画像処理装置および方法、プログラム並びに記録媒体 | |
| JP2001222702A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| US8355603B2 (en) | Data converting apparatus and data converting method, learning device and learning method, and recording medium | |
| JP4096281B2 (ja) | 画像処理装置および画像処理方法、並びに媒体 | |
| JP4442076B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP4505729B2 (ja) | 画像処理装置、画像処理方法、プログラム、および記録媒体 | |
| JP4650684B2 (ja) | 画像処理装置および方法、プログラム並びに記録媒体 | |
| JP2000151723A (ja) | データ処理装置およびデータ処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080910 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |