JP4561273B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、より少ないに演算量で高画質の画像情報を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。

本出願人は、クラス分類適応処理を用いて高解像度な画像を生成することをすでに提案している（例えば特許文献１）。先の提案においては、３×３画素のブロックの各画素のレベルが、例えばそのブロックの画素のレベルの平均値と比較することによって２値化され、さらに４ビットに圧縮される。

さらに水平方向と垂直方向のエッジが検出され（各２ビット）、各エッジ（合計４ビット）とレベル分布のパターン（４ビット）の合計８ビットでブロックのクラスが決定される。
特開平９−１７２６２１号公報

しかしながら先の提案においては、入力された３×３画素の各ブロックは必ず１個のクラスに分類される。その結果、クラスタップの範囲が狭い場合、クラス間の混ざりが生じ、予測画像の画質が低下してしまう課題があった。

逆に広範囲なクラスタップを用いた場合、クラスの数が指数関数的に増加し、クラス毎の係数を得るための学習サンプルが十分得られないという課題があった。

本発明はこのような状況に鑑みてなされたものであり、クラスの数を増大させることなく、より高画質の画像を得ることができるようにするものである。

本発明の第１の画像処理装置は、入力された学習用の画像情報の複数のクラスの特徴を検出する特徴検出手段と、検出された特徴の複数のクラスに対する所属度を演算する所属度演算手段と、入力された学習用の画像情報を所属度に基づいて重み付けする重み付け手段と、重み付けされた画像情報に基づき、複数のクラス毎の予測係数を演算する予測係数演算手段とを備え、前記特徴検出手段は、入力された学習用の画像情報のうちの生徒画像情報の特徴を検出し、前記所属度演算手段は、前記生徒画像情報の特徴の複数の前記クラスに対する所属度を演算し、前記重み付け手段は、入力された学習用の画像情報のうちの教師画像情報と前記生徒画像情報を前記所属度に基づいて重み付けし、前記予測係数演算手段は、重み付けされた前記教師画像情報と前記生徒画像情報を足し込むことで生成した足し込み行列を解くことで、複数の前記クラス毎の予測係数を演算することを特徴とする。

前記特徴検出手段は、画像情報の複数のクラスの特徴として、画像情報の予め定められている複数の方向のエッジの成分を検出するようにすることができる。

前記特徴検出手段は、画像情報に各方向毎のエッジ検出用オペレータを畳み込み演算することでエッジの成分を検出するようにすることができる。

検出されたエッジの成分の極性を判定し、判定された極性に基づいて、エッジ検出用オペレータに対応する一方のクラスの重みに所属度に基づく重みを設定し、他方のクラスの重みに０を設定する判定設定手段をさらに備えるようにすることができる。

前記特徴検出手段は、複数の異なるパラメータを設定した２次元ウェーブレット関数を画像情報に畳み込み演算することでエッジの成分を検出するようにすることができる。

前記特徴検出手段は、水平方向、垂直方向、４５度右上がりの方向、および４５度左上がりの方向の４つの方向のエッジの成分を検出するようにすることができる。

前記所属度演算手段は、エッジの成分の絶対値を演算する絶対値演算手段と、エッジの成分の絶対値の総和を演算する総和演算手段と、エッジの成分のそれぞれを総和で除算する除算手段とを備えるようにすることができる。

前記予測係数を記憶する記憶手段をさらに備えるようにすることができる。

本発明の第１の画像処理方法は、特徴検出手段が、入力された学習用の画像情報の複数のクラスの特徴を検出する特徴検出ステップと、所属度演算手段が、検出された前記特徴の複数の前記クラスに対する所属度を演算する所属度演算ステップと、重み付け手段が、入力された学習用の画像情報を前記所属度に基づいて重み付けする重み付けステップと、予測係数演算手段が、重み付けされた前記画像情報に基づき、複数の前記クラス毎の予測係数を演算する予測係数演算ステップとを含み、前記特徴検出ステップは、入力された学習用の画像情報のうちの生徒画像情報の特徴を検出し、前記所属度演算ステップは、前記生徒画像情報の特徴の複数の前記クラスに対する所属度を演算し、前記重み付けステップは、入力された学習用の画像情報のうちの教師画像情報と前記生徒画像情報を前記所属度に基づいて重み付けし、前記予測係数演算ステップは、重み付けされた前記教師画像情報と前記生徒画像情報を足し込むことで生成した足し込み行列を解くことで、複数の前記クラス毎の予測係数を演算することを特徴とする。

本発明の第１のプログラムは、コンピュータを、入力された学習用の画像情報の複数のクラスの特徴を検出する特徴検出手段と、検出された前記特徴の複数の前記クラスに対する所属度を演算する所属度演算手段と、入力された学習用の画像情報を前記所属度に基づいて重み付けする重み付け手段と、重み付けされた前記画像情報に基づき、複数の前記クラス毎の予測係数を演算する予測係数演算手段として機能させるプログラムであって、前記特徴検出手段は、入力された学習用の画像情報のうちの生徒画像情報の特徴を検出し、前記所属度演算手段は、前記生徒画像情報の特徴の複数の前記クラスに対する所属度を演算し、前記重み付け手段は、入力された学習用の画像情報のうちの教師画像情報と前記生徒画像情報を前記所属度に基づいて重み付けし、前記予測係数演算手段は、重み付けされた前記教師画像情報と前記生徒画像情報を足し込むことで生成した足し込み行列を解くことで、複数の前記クラス毎の予測係数を演算することを特徴とする。

本発明の第２の画像処理装置は、入力された画像情報の複数のクラスの特徴を検出する特徴検出手段と、検出された特徴の複数のクラスに対する所属度を演算する所属度演算手段と、入力された画像情報を複数の所属度に基づいて重み付けする重み付け手段と、複数のクラス毎の予測係数を提供する提供手段と、重み付けされた複数の画像情報のそれぞれと、提供された複数のクラス毎の予測係数とに基づいて、複数のクラス毎の予測画像情報を演算する予測画像情報演算手段と、複数のクラス毎の予測画像情報を加算する加算手段とを備えることを特徴とする。

前記特徴検出手段は、画像情報の複数のクラスの特徴として、画像情報の予め定められている複数の方向のエッジの成分を検出するようにすることができる。

前記特徴検出手段は、画像情報に各方向毎のエッジ検出用オペレータを畳み込み演算することでエッジの成分を検出するようにすることができる。

検出されたエッジの成分の極性を判定し、判定された極性に基づいて、エッジ検出用オペレータに対応する一方のクラスの重みに所属度に基づく重みを設定し、他方のクラスの重みに０を設定する判定設定手段をさらに備えるようにすることができる。

前記特徴検出手段は、複数の異なるパラメータを設定した２次元ウェーブレット関数を画像情報に畳み込み演算することでエッジの成分を検出するようにすることができる。

前記特徴検出手段は、水平方向、垂直方向、４５度右上がりの方向、および４５度左上がりの方向の４つの方向のエッジの成分を検出するようにすることができる。

前記所属度演算手段は、エッジの成分の絶対値を演算する絶対値演算手段と、エッジの成分の絶対値の総和を演算する総和演算手段と、エッジの成分のそれぞれを総和で除算する除算手段とを備えるようにすることができる。

前記提供手段は、予測係数を予め記憶しているようにすることができる。

本発明の第２の画像処理方法は、特徴検出手段が、入力された画像情報の複数のクラスの特徴を検出する特徴検出ステップと、所属度演算手段が、検出された前記特徴の複数の前記クラスに対する所属度を演算する所属度演算ステップと、重み付け手段が、入力された画像情報を複数の前記所属度に基づいて重み付けする重み付けステップと、提供手段が、複数の前記クラス毎の予測係数を提供する提供ステップと、予測画像情報演算手段が、重み付けされた複数の前記画像情報のそれぞれと、提供された複数の前記クラス毎の前記予測係数とに基づいて、複数の前記クラス毎の予測画像情報を演算する予測画像情報演算ステップと、前記加算手段が、複数の前記クラス毎の予測画像情報を加算する加算ステップとを含むことを特徴とする。

本発明の第２のプログラムは、コンピュータを、入力された画像情報の複数のクラスの特徴を検出する特徴検出手段と、検出された前記特徴の複数の前記クラスに対する所属度を演算する所属度演算手段と、入力された画像情報を複数の前記所属度に基づいて重み付けする重み付け手段と、複数の前記クラス毎の予測係数を提供する提供手段と、重み付けされた複数の前記画像情報のそれぞれと、提供された複数の前記クラス毎の前記予測係数とに基づいて、複数の前記クラス毎の予測画像情報を演算する予測画像情報演算手段と、複数の前記クラス毎の予測画像情報を加算する加算手段として機能させることを特徴とする。

第１の本発明においては、入力された学習用の画像情報の複数のクラスの特徴が検出され、検出された特徴の複数のクラスに対する所属度が演算され、入力された学習用の画像情報が所属度に基づいて重み付けされ、重み付けされた画像情報に基づき、複数のクラス毎の予測係数が演算される。そして、入力された学習用の画像情報のうちの生徒画像情報の特徴が検出され、生徒画像情報の特徴の複数の前記クラスに対する所属度が演算され、入力された学習用の画像情報のうちの教師画像情報と生徒画像情報が所属度に基づいて重み付けされ、重み付けされた教師画像情報と生徒画像情報を足し込むことで生成した足し込み行列を解くことで、複数のクラス毎の予測係数が演算される。

第２の本発明においては、入力された画像情報の複数のクラスの特徴が検出され、検出された特徴の複数のクラスに対する所属度が演算され、入力された画像情報が所属度に基づいて重み付けされ、重み付けされた複数の画像情報の画像情報のそれぞれと、提供された複数のクラス毎の予測係数とに基づいて、複数のクラス毎の予測画像情報が演算され、複数のクラス毎の予測画像情報が加算される。

本発明によれば、画像処理を行うことができる。特に、クラスの数の増大を抑制しつつ、高画質の画像処理を行うことが可能な予測係数を得ることができる。

また、本発明によれば、クラスの数を増大化することなく、高画質の画像処理を行うことが可能になる。

以下、本発明を適用した画像処理装置について説明するが、以下の実施の形態においても、クラス分類適応処理により、低解像度の画像から高解像度の画像が生成されるものとする。

図１は、本発明を適用した画像処理装置の構成例を表す。この画像処理装置１１は、入力部２１、重み付け部２２，２３、生徒画像生成部２４、エッジクラス所属度演算部２５、判定設定部２６、重み付け部２７、足し込み部２８、予測係数演算部２９、記憶部３０、重み付け部３１、足し込み部３２、予測係数演算部３３、および記憶部３４により構成されている。

エッジクラス所属度演算部２５は、エッジ検出部６１と正規化部６２により構成されている。

入力部２１は、図示せぬ装置から教師画像データを入力し、生徒画像生成部２４に出力する。生徒画像生成部２４は、入力部２１より供給された教師画像データから生徒画像データを生成し、エッジ検出部６１に出力する。エッジ検出部６１は、生徒画像生成部２４により生成された生徒画像のエッジを検出し、正規化部６２に出力する。正規化部６２は、エッジ検出部６１により検出されたエッジを正規化し、判定設定部２６に出力する。判定設定部２６は、正規化部６２の出力に基づいて所定の重みを計算し、その重みを重み付け部２７と重み付け部３１に設定する。同様に、この重みが重み付け部２２と重み付け部２３に出力される。

重み付け部２７と重み付け部３１は、生徒画像生成部２４より供給された生徒画像データに対して判定設定部２６により設定された重みを重み付けし、足し込み部２８または足し込み部３２にそれぞれ出力する。重み付け部２２と重み付け部２３は、同様に、入力部２１より入力された教師画像データに対して、判定設定部２６より供給された重みを重み付けし、重み付けされた教師画像データを足し込み部２８または足し込み部３２にそれぞれ出力する。

足し込み部２８は、重み付け部２２より供給された教師画像データと重み付け部２７より供給された生徒画像データを足し込み行列に足し込み、行列（方程式）を生成し、生成した行列（方程式）を予測係数演算部２９に出力する。予測係数演算部２９は、足し込み部２８より供給された方程式を解くことで予測係数を演算し、得られた予測係数を記憶部３０に供給し記憶させる。

同様に、足し込み部３２には、重み付け部２３より供給された教師画像データと重み付け部３１より供給された生徒画像データを足し込み行列に足し込み、方程式を生成し、その方程式を予測係数演算部３３に出力する。予測係数演算部３３は、この方程式を解くことで予測係数を演算し、記憶部３４に出力し、記憶させる。

この実施の形態においては、画像の特徴としてエッジが検出され、１つの方向のエッジに対して、凸エッジ（周囲に較べて輝度が高いエッジ）のクラスと、凹エッジ（周囲に較べて輝度が低いエッジ）のクラスという２つのクラスが対応される。重み付け部２７、足し込み部２８、予測係数演算部２９および記憶部３０は、凸エッジの予測係数を演算するための系を構成し、重み付け部３１、足し込み部３２、予測係数演算部３３、および記憶部３４は、凹エッジの予測係数を演算するための系を構成する。

図２は、エッジクラス所属度演算部２５、判定設定部２６、重み付け部２７、足し込み部２８、予測係数演算部２９、記憶部３０、重み付け部３１、足し込み部３２、予測係数演算部３３、および記憶部３４のより詳細な構成例を表している。

この実施の形態では、４つの方向のエッジが検出されるため、エッジ検出部６１は、４つの方向のエッジに対応するエッジ検出部６１−１乃至６１−４により構成され、正規化部６２は、正規化部６２−１乃至６２−４により構成される。判定設定部２６は、具体的には判定設定部２６−１乃至２６−４により構成されている。同様に、重み付け部２７は、具体的には重み付け部２７−１乃至２７−４により構成され、重み付け部３１は、重み付け部３１−１乃至３１−４により構成される。足し込み部２８は、足し込み部２８−１乃至２８−４により構成され、足し込み部３２は、足し込み部３２−１乃至３２−４により構成される。予測係数演算部２９は、予測係数演算部２９−１乃至２９−４により構成され、予測係数演算部３３は、予測係数演算部３３−１乃至３３−４により構成される。記憶部３０は、記憶部３０−１乃至３０−４により構成され、記憶部３４は、記憶部３４−１乃至３４−４により構成される。

エッジ検出部６１−１乃至６１−４は、それぞれ生徒画像生成部２４より入力された生徒画像データからエッジを検出し、検出されたエッジのデータを対応する正規化部６２−１乃至６２−４に出力する。正規化部６２−１乃至６２−４は、エッジ検出部６１−１乃至６１−４からのエッジデータを正規化する。

判定設定部２６−１は、正規化部６２−１から入力される正規化値に基づいて重みを演算し、演算した重みを凸エッジ用の重み付け部２７−１と凹エッジ用の重み付け部３１−１に設定する。この実施の形態の場合、正規化値がそのまま一方の重みとされ、他方の重みは０とされる。判定設定部２６−１は、エッジ検出部６１−１の検出結果の極性が正である場合、凸エッジ用の重み付け部２７−１に正規化値を重みとして設定し、凹エッジ用の重み付け部３１−１に０を重みとして設定する。極性が負である場合には、凹エッジ用の重み付け部３１−１に正規化値が設定され、凸エッジ用の重み付け部２７−１には重み０が設定される。

換言すれば、エッジ検出部２１２−１乃至２１２−４は、それぞれ２つのエッジ（凸エッジと凹エッジ）を検出しているのであり、そのいずれのエッジであるかは極性で分かるので、実際に検出されたエッジ（凸エッジと凹エッジのうち、極性で決定される方）に対して、対応する重み（演算により求められた値）を設定し、検出されていないエッジ（凸エッジと凹エッジの他方）には、そのことを意味する重み０が設定されている。

重み付け部２７−１は、判定設定部２６−１より供給された重みに基づいて、生徒画像生成部２４より供給された生徒画像データに重み付けを行い、足し込み部２８−１に出力する。重み付け部３１−１は、判定設定部２６−１により設定された重みに基づいて、生徒画像生成部２４より供給された生徒画像データを重み付けし、足し込み部３２−１に出力する。足し込み部２８−１は、後述する図４の重み付け部２２−１により重み付けが行われた教師画像データと、重み付け部２７−１により重み付けされた生徒画像データを足し込み行列に足し込むことで方程式を生成し、生成した方程式を予測係数演算部２９−１に出力する。予測係数演算部２９−１は、足し込み部２８−１より供給された方程式を解くことで予測係数を演算し、演算して得られた予測係数を記憶部３０−１に出力し、記憶させる。

足し込み部３２−１は、後述する図４の重み付け部２３−１により重み付けが行われた教師画像データと、重み付け部３１−１により重み付けが行われた生徒画像データを足し込み行列に足し込むことで方程式を生成し、予測係数演算部３３−１に出力する。予測係数演算部３３−１は、足し込み部３２−１より供給された方程式を解くことで予測係数を演算し、記憶部３４−１に出力し、記憶させる。

以下同様に、重み付け部２７−２は、判定設定部２６−２により設定された凸エッジ用の重みを生徒画像データに対して重み付けし、足し込み部２８−２に出力する。重み付け部３１−２は、判定設定部２６−２により設定された凹エッジ用の重みを生徒画像データ対して重み付けし、足し込み部３２−２に出力する。足し込み部２８−２は、図４の重み付け部２２−２により重み付けがなされた教師画像データと、重み付け部２７−２より重み付けされた生徒画像データを足し込み行列に足し込むことで方程式を生成し、予測係数演算部２９−２に出力する。足し込み部３２−２は、図４の重み付け部２３−２により重み付けがされた教師画像データと、重み付け部３１−２により重み付けされた生徒画像データを足し込み行列に足し込むことで方程式を生成し、生成した方程式を予測係数演算部３３−２に出力する。予測係数演算部２９−２は、入力された方程式を解くことで予測係数を演算し、記憶部３０−２に出力し、記憶させる。予測係数演算部３３−２は、入力された方程式を解くことで予測係数を演算し、記憶部３４−２に出力し、記憶させる。

重み付け部２７−３は、判定設定部２６−３により設定された凸エッジ用の重みを生徒画像データに対して重み付けし、足し込み部２８−３に出力する。重み付け部３１−３は、判定設定部２６−３により設定された凹エッジ用の重みを、生徒画像データ対して重み付けし、足し込み部３２−３に出力する。足し込み部２８−３は、図４の重み付け部２２−３より供給された教師画像データと、重み付け部２７−３より入力された生徒画像データを足し込み行列に足し込むことで方程式を生成し、予測係数演算部２９−３に出力する。足し込み部３２−３は、重み付け部２３−３より供給された教師画像データと、重み付け部３１−３より供給された生徒画像データを足し込み行列に足し込むことで方程式を生成し、生成した方程式を予測係数演算部３３−３に出力する。予測係数演算部２９−３は、入力された方程式を解くことで予測係数を演算し、記憶部３０−３に出力し、記憶させる。予測係数演算部３３−３は、入力された方程式を解くことで予測係数を演算し、記憶部３４−３に出力し、記憶させる。

重み付け部２７−４は、判定設定部２６−４より入力された凸エッジ用の重みを生徒画像データに対して重み付けし、足し込み部２８−４に出力する。重み付け部３１−４は、判定設定部２６−４により設定された凹エッジ用の重みを生徒画像データに対して重み付けし、足し込み部３２−４に出力する。足し込み部２８−４は、図４の重み付け部２２−４より供給された教師画像データと、重み付け部２７−４より供給された生徒画像データを足し込み行列に足し込み、方程式を生成し、予測係数演算部２９−４に出力する。足し込み部３２−４は、重み付け部３１−４より入力された生徒画像データと、図４の重み付け部２３−４より入力された教師画像データを足し込み行列に足し込むことで方程式を生成し、予測係数演算部３３−４に出力する。予測係数演算部２９−４は、入力された方程式を解くことで予測係数を演算し、記憶部３０−４に出力し、記憶させる。予測係数演算部３３−４は、入力された方程式を解くことで予測係数を演算し、記憶部３４−４に出力し、記憶させる。

図３は、正規化部６２、判定設定部２６のより詳細な構成を表している。正規化部６２−１は、絶対値演算部９１−１と除算部９２−１により構成され、正規化部６２−２は、絶対値演算部９１−２と除算部９２−２により構成され、正規化部６２−３は、絶対値演算部９１−３と除算部９２−３より構成され、正規化部６２−４は、絶対値演算部９１−４と除算部９２−４により構成される。正規化部６２はさらに加算部９３を有している。

判定設定部２６−１は、設定部１０１−１と判定部１０２−１により構成され、判定設定部２６−２は、設定部１０１−２と判定部１０２−２より構成され、判定設定部２６−３は、設定部１０１−３と判定部１０２−３により構成され、判定設定部２６−４は、設定部１０１−４と判定部１０２−４により構成される。

絶対値演算部９１−１は、エッジ検出部６１−１より供給されたエッジの検出結果の絶対値を演算し、演算して得られた絶対値を除算部９２−１と加算部９３に出力する。除算部９２−１は、絶対値演算部９１−１より供給された絶対値を、加算部９３より供給された総和で除算し、得られた除算値（商）を設定部１０１−１に出力する。また絶対値演算部９１−１は、エッジ検出部６１−１より入力された検出結果の極性を判定部１０２−１に出力する。判定部１０２−１は、絶対値演算部９１−１より入力された極性を判定し、その判定結果を設定部１０１−１に出力する。設定部１０１−１は、判定部１０２−１により判定された結果が正である場合、凸エッジ用の重み付け部２７−１に除算部９２−１より入力された値（商）を重みとして設定し、凹エッジ用の重み付け部３１−１には０の重みを設定する。

生徒画像データの凸エッジ用の重み付け部２７−１に設定する重みが、教師画像データの凸エッジ用の重み付け部２２−１にも出力されるとともに、生徒画像データの凹エッジ用の重み付け部３１−１に出力される重みが、教師画像データの凹エッジ用の重み付け部２３−１にも出力される。

絶対値演算部９１−２は、エッジ検出部６１−２より供給されたエッジ検出データの絶対値を演算し、得られた結果を除算部９２−２に出力するとともに、加算部９３に出力する。除算部９２−２は、絶対値演算部９１−２より入力された絶対値を、加算部９３より供給された総和で除算することで得られた値を、設定部１０１−２に出力する。判定部１０２−２は、絶対値演算部９１−２より供給されたエッジ検出データの極性を判定し、その判定結果を判定部１０１−２に出力する。設定部１０１−２は、判定された結果が正である場合、凸エッジ用の重み付け部２７−２に除算部９２−２より入力された値を設定し、凹エッジ用の重み付け部３１−２には０を設定する。逆に、判定結果が負である場合、設定部１０１−２は、凹エッジ用の重み付け部３１−２に除算部９２−２より供給された値を設定し、凸エッジ用の重み付け部２７−２には０を設定する。重み付け部２７−２に設定された重みは、教師画像データの凸エッジ用の重み付け部２２−２に出力されるとともに、重み付け部３１−２に設定された重みは、教師画像データの凹エッジ用の重み付け部２３−２に出力される。

同様に、絶対値演算部９１−３は、エッジ検出部６１−３より供給されたエッジ検出結果の絶対値を演算し、得られた絶対値を除算部９２−３と加算部９３に出力する。除算部９２−３は、絶対値演算部９１−３からの絶対値を加算部９３からの総和で除算することで得られた値を設定部１０１−３に出力する。判定部１０２−３は、絶対値演算部９１−３より供給された極性を判定し、その判定結果を設定部１０１−３に出力する。設定部１０１−３は、判定部１０２−３の判定結果が正である場合、凸エッジ用の重み付け部２７−３に除算部９２−３からの重みを設定し、凹エッジ用の重み付け部３１−３には重み０を設定する。逆に、判定結果が負である場合、設定部１０１−３は、凸エッジ用の重み付け部２７−３には重み０を設定し、凹エッジ用の重み付け部３１−３には除算部９２−３より入力された重みを設定する。凸エッジ用の重み付け部２７−３に設定された重みが教師画像データの凸エッジ用の重み付け部２２−３に設定され、凹エッジ用の重み付け部３１−３に設定された重みが教師画像データの凹エッジ用の重み付け部２３−３に設定される。

絶対値演算部９１−４は、エッジ検出部６１−４より入力されたエッジ検出結果の絶対値を演算し、除算部９２−４と加算部９３に出力する。除算部９２−４は、絶対値演算部９１−４より入力された絶対値を、加算部９３より入力された総和で除算することで得られた値を設定部１０１−４に出力する。判定部１０２−４は、絶対値演算部９１−４より入力されたエッジ検出結果の極性を判定し、その判定結果を設定部１０１−４に出力する。設定部１０１−４は、判定部１０２−４による判定結果が正である場合、凸エッジ用の重み付け部２７−４に、除算部９２−４より入力された重みを設定し、凹エッジ用の重み付け部３１−４に重み０を設定する。判定結果が負である場合には、設定部１０１−４は、凸エッジ用の重み付け部２７−４に重み０を設定し、凹エッジ用の重み付け部３１−４に、除算部９１２−４より入力された重みを設定する。凸エッジ用の重み付け部２７−４に設定された値は、教師画像データの凸エッジ用の重み付け部２２−４に出力されるとともに、凹エッジ用の重み付け部３１−４に設定された重みは、教師画像データの凹エッジ用の重み付け部２３−４に出力される。

加算部９３は、絶対値演算部９１−１乃至９１−４より供給された絶対値を加算し、その得られた総和を除算部９２−１乃至９２−４に出力する。

図４は、重み付け部２２と重み付け部２３の詳細な構成例を表している。凸エッジ用の重み付け部２２は、重み付け部２２−１乃至２２−４により構成され、凹エッジ用の重み付け部２３は、重み付け部２３−１乃至２３−４により構成されている。

凸エッジ用の重み付け部２２−１は、入力部２１より供給された教師画像データに対して設定部１０１−１より供給された凸エッジ用の重みを重み付けし、足し込み部２８−１に出力する。凹エッジ用の重み付け部２３−１は、入力部２１より供給された教師画像データに設定部１０１−１より供給された凹エッジ用の重みを重み付けし、足し込み部３２−１に出力する。

凸エッジ用の重み付け部２２−２は、入力部２１より供給された教師画像データに対して設定部１０１−２より供給された凸エッジ用の重みを重み付けし、足し込み部２８−２に出力する。凹エッジ用の重み付け部２３−２は、入力部２１より供給された教師画像データに、設定部１０１−２より供給された凹エッジ用の重みを重み付けし、足し込み部３２−２に出力する。凸エッジ用の重み付け部２２−３は、入力部２１より入力された教師画像データに対して設定部１０１−３より供給された凸エッジ用の重みを重み付けし、足し込み部２８−３に出力する。凹エッジ用の重み付け部２３−３は、入力部２１より供給された教師画像データに対して、設定部１０１−３より供給された凹エッジ用の重みを重み付けし、足し込み部３２−３に出力する。凸エッジ用の重み付け部２２−４は、入力部２１より供給された教師画像データに対して、設定部１０１−４より供給された凸エッジ用の重みを重み付けし、足し込み部２８−４に出力する。凹エッジ用の重み付け部２３−４は、入力部２１より供給された教師画像データに対して、設定部１０１−４より供給された凹エッジ用の重みを重み付けし、足し込み部３２−４に出力する。

次に、図５のフローチャートを参照して、画像処理装置１１の学習処理について説明する。ステップＳ１において、入力部２１は教師画像データを入力する。ステップＳ２において、生徒画像生成部２４は、生徒画像データを生成する。具体的には、教師画像データに対して、適当なタップ数の帯域制限のローパスフィルタをかけて間引き処理が行なわれ、生徒画像データが生成される。

ステップＳ３において、エッジクラス所属度演算部２５によりクラス所属度算出処理が行われる。クラス所属度算出処理の詳細が、図６のフローチャートに示されている。

すなわち、ステップＳ２１において、エッジ検出部６１−１乃至６１−４は、画像データとエッジ検出用オペレータの畳み込み演算を行い、演算値を求める。エッジ検出部６１−１は横方向エッジを検出し、エッジ検出部６１−２は縦方向エッジを提出し、エッジ検出部６１−３は４５度右上がりエッジを検出し、エッジ検出部６１−４は４５度左上がりエッジを検出する。このため、例えば、エッジ検出部６１−１は、図７Ａに示される横方向エッジ検出用のオペレータを使用し、エッジ検出部６１−２は、図７Ｂに示される縦方向エッジ検出用のオペレータを使用し、エッジ検出部６１−３は、図７Ｃに示される４５度右上がりエッジ検出用のオペレータを使用し、エッジ検出部６１−４は、図７Ｄに示される４５度左上がりエッジ検出用のオペレータを使用する。

図７Ａに示されるように、横方向エッジ検出用のオペレータの値は、３×３タップで構成され、左上から右下方向に−０．５，−０．５，−０．５，１．０，１．０，１．０，−０．５，−０．５，−０．５とされる。図７Ｂに示されるように、縦方向エッジ検出用のオペレータの値は、−０．５，１．０，−０．５，−０．５，１．０，−０．５，−０．５，１．０，−０．５とされる。図７Ｃに示されるように、４５度右上がりエッジ検出用のオペレータの値は、−０．５，−０．５，１．０，−０．５，１．０，−０．５，１．０，−０．５，−０．５とされる。図７Ｄに示されるように、４５度左上がりエッジ検出用のオペレータの値は、１．０，−０．５，−０．５，−０．５，１．０，−０．５，−０．５，−０．５，１．０とされる。

いま、入力される生徒画像データの３×３個の画素の値が、図８に示されるように、左上から右下方向に１４０，１２０，１６０，２００，２００，２２０，１６０，１４０，１８０であるとする。この場合、エッジ検出部６１−１においては、以下の演算が行われる。

（−０.５）×１４０＋（−０.５）×１２０＋（−０.５）×１６０＋（１．０）×２００＋（１．０）×２００＋（１．０）×２２０＋（−０.５）×１６０＋（−０.５）×１４０＋（−０.５）×１８０＝１７０

エッジ検出部６１−２においては、以下の演算が行われる。

（−０.５）×１４０＋（１．０）×１２０＋（−０.５）×１６０＋（−０.５）×２００＋（１．０）×２００＋（−０.５）×２２０＋（−０.５）×１６０＋（１．０）×１４０＋（−０.５）×１８０＝−７０

エッジ検出部６１−３においては、以下の演算が行われる。

（−０.５）×１４０＋（−０.５）×１２０＋（１．０）×１６０＋（−０.５）×２００＋（１．０）×２００＋（−０.５）×２２０＋（１．０）×１６０＋（−０.５）×１４０＋（−０.５）×１８０＝０

エッジ検出部６１−４においては、次の演算が行われる。

（１．０）×１４０＋（−０．５）×１２０＋（−０．５）×１６０＋（−０．５）×２００＋（１．０）×２００＋（−０．５）×２２０＋（−０．５）×１６０＋（−０．５）×１４０＋（１．０）×１８０＝２０

ステップＳ２２において、絶対値演算部９１−１乃至９１−４は、演算値の絶対値を演算する。いまの場合、絶対値演算部９１−１は、１７０の絶対値を演算し、絶対値演算部９１−２は、−７０の絶対値を演算し、絶対値演算部９１−３は、０の絶対値を演算し、絶対値演算部９１−４は、２０の絶対値を演算する。ステップＳ２３において、加算部９３は、絶対値を加算して総和を演算する。いまの場合、絶対値演算部９１−１から出力される絶対値は１７０、絶対値演算部９１−２が出力する絶対値は７０、絶対値演算部９１−３が出力する絶対値は０、絶対値演算部９１−４が出力する絶対値は２０であるから、加算部９３が算出する総和の値は２６０となる。ステップＳ２４において、除算部９２−１乃至９２−４は、演算値を総和で除算して、正規化値を求める。いまの場合、除算部９２−１は、１７０を２６０で除算することになるので、その値は０．６５４となる。除算部９２−２は、１７０を２６０で除算するので、０.２６９を出力する。除算部９２−３は、０を２６０で除算するので、０．０００を出力する。除算部９−４は、２０を２６０で除算するので、０.０７７を出力する。この正規化値は、生徒画像データが各エッジの方向に対応する各クラスへの所属度を表し、その値が大きい程（１に近い程）、そのクラスへの所属度が高いことを意味する。

ステップＳ２５において、判定部１０２−１乃至１０２−４は、演算値は正かを判定する。絶対値演算部９１−１には、エッジ検出部６１−１より演算値（＋１７０）が入力されるため、判定部１０２−１は、正の判定結果を判定部１０１−１に出力する。この場合、ステップＳ２６において、設定部１０１−１は、正に対応するクラスの所属度に正規化値を設定する。またステップＳ２７において、設定部１０１−１は、負に対応するクラスの所属度に重み０を設定する。すなわちエッジ検出部６１−１により検出されたのは凸エッジ（周囲に較べて輝度が高いエッジ）であって、凹エッジ（周囲に較べて輝度が低いエッジ）ではないので、設定部１０１−１は、凸エッジ用の重み付け部２７−１に除算部９２−１より入力された重み０．６５４を設定し、凹エッジ用の重み付け部２３−１に重み０を設定する。同様に、教師画像の凸エッジの重み付け部２２−１に重み０．６５４が設定され、凹エッジの重み付け部２３−１に重み０．０００が設定される。

一方、絶対値演算部９１−２には、エッジ検出部６１−２より演算値（−７０）が入力されるため、判定部１０２−２には負の極性が入力され、設定部１０１−２には、判定部１０２−２より負の判定結果が入力される。そこで処理はステップＳ２５からステップＳ２８に進み、ステップＳ２８において、設定部１０１−２は、負に対応するクラスの所属度に正規化値を設定する。また、設定部１０１−２は、ステップＳ２９において、正に対応するクラスの所属度に重み０を設定する。具体的には、設定部１０１−２は、凹エッジの重み付け部２３−２に除算部９２−２より入力された重み０.２６９を設定し、凸エッジの重み付け部２７−２には重み０．０００を設定する。従って、教師画像の凹エッジの重み付け部２３−２に重み０．２６９が設定され、凸エッジの重み付け部２２−２に重み０．０００が設定される。すなわち、エッジ検出部６１−２により検出されたのは凸エッジではなく、凹エッジであるから、このような処理が行われる。

同様に、絶対値演算部９１−３には、演算値（０）が入力されるため、判定部１０２−３は極性を正と判定し、設定部１０１−３に出力する。従って、設定部１０１−３は、ステップＳ２６とステップＳ２７の処理を行い、凸エッジの重み付け部２７−３と凹エッジの重み付け部２３−３の両方に、重み０．０００を設定する。すなわちこの場合には、いずれの場合にも０が設定されることになる。教師画像の重み付け部２２−３，２３−３にも重み０．０００が設定される。

さらに絶対値演算部９１−４は、エッジ検出部６１−４より演算値（＋２０）の入力を受ける。そこで判定部１０２−４は、極性を正と判定し、設定部１０１−４に出力する。そこで、設定部１０１−４は、ステップＳ２６とステップＳ２７で、凸エッジの重み付け部２７−４に除算部９２−４より入力された重み０．０７７を設定し、凹エッジの重み付け部３１−４には重み０．０００を設定する。教師画像の凸エッジの重み付け部２２−４には重み０．０７７が設定され、凹エッジの重み付け部２３−４には重み０．０００が設定される。

図５に戻って、ステップＳ４において、重み付け部２２−１乃至２２−４，２３−１乃至２３−４において教師画像データへの重み付けが行われる。すなわち、重み付け部２２−１乃至２２−４，２３−１乃至２３−４は、教師画像データに対して、設定部１０１−１乃至１０１−４により設定された重みを重み付けする。

さらにステップＳ５において、重み付け部２７−１乃至２７−４，３１−１乃至３１−４は、生徒画像データへの重み付けを行う。この重み付けについてさらに説明すると、次のようになる。

例えば、横方向の凸エッジの重み付け部２７−１には、判定設定部２６−１より凸エッジの重み０．６５４が入力される。そこで重み付け部２７−１は、例えば図８に示されるような生徒画像データが入力される場合、各画素値に０．６５４の重み付けを行い、図９の最上段に示されるような画素値を演算する。

すなわち、９２，７８，１０５，１３０，１３０，１４４，１０５，９２，１１８の各演算値は次式により求められる。

１４０×０．６５４＝９２
１２０×０．６５４＝７８
１６０×０．６５４＝１０５
２００×０．６５４＝１３０
２００×０．６５４＝１３０
２２０×０．６５４＝１４４
１６０×０．６５４＝１０５
１４０×０．６５４＝９２
１８０×０．６５４＝１１８

これに対して、横方向の凹エッジの重み付け部３１−１には重み０が設定される。従って、図９の最も下側に示されるように、重み付け後の画素値はすべて０となる。

縦方向の凹エッジの重み付け部３１−２においては、重み０．２６９が設定されるため、図９の上から２番目の段に示されるように、次式に示されるような演算が行われる。

１４０×０．２６９＝３８
１２０×０．２６９＝３２
１６０×０．２６９＝４３
２００×０．２６９＝５４
２００×０．２６９＝５４
２２０×０．２６９＝５９
１６０×０．２６９＝４３
１４０×０．２６９＝３８
１８０×０．２６９＝４８

縦方向の凸エッジの重み付け部２７−２においては、重みが０と設定されるため重み付け後の画素値はすべて０とされる。

４５度右上がりの凸エッジと凹エッジの重み付け部２７−３，３１−３においても、重みが０とされるため、重み付け後の画素値はすべて０とされる。

これに対して４５度左上がりの凸エッジの重み付け部２７−４においては、重み０．０７７が設定されるため、図９の上から３番目に示されるように、以下の演算が行われる。

１４０×０．０７７＝１１
１２０×０．０７７＝９
１６０×０．０７７＝１２
２００×０．０７７＝１５
２００×０．０７７＝１５
２２０×０．０７７＝１７
１６０×０．０７７＝１２
１４０×０．０７７＝１１
１８０×０．０７７＝１４

４５度左上がりの凹エッジの重み付け部３１−４においては、重みが０とされるため重み付け後の画素値もすべて０とされる。

ステップＳ６において、足し込み部２８−１乃至２８−４，３２−１乃至３１−４は足し込み行列への足し込みを行う。足し込み行列は、次の式（１）に示される。式（１）における，Ａ，Ｗ，ｖの値は、それぞれ式（２）、式（３）、または式（４）に表されている。

ここでｘは生徒画像（重み付け部２７−１乃至２７−４，３１−１乃至３１−４より供給される）の画素値を表し、ｙは教師画像（重み付け部２２−１乃至２２−４，２３−１乃至２３−４より供給される）の画素値を表し、Ｗは予測係数（行列式（方程式）を解くことで求められる未知数）を表す。

足し込み行列は、各クラス毎に用意される。すなわち、凸エッジの足し込み部２８−１乃至２８−４、並びに凹エッジの足し込み部３２−１乃至３２−４において、それぞれ独立した足し込み行列が用意される。そして、画素値は各クラス毎に重み付けされた後、そのクラスの足し込み行列に足し込まれる。

特徴量（いまの場合、エッジ検出部６１によるエッジの検出結果）を正規化して求められたクラスｃへの所属度をＢｃとして、各クラスへの重み付けは、このBｃを用いて行われる。即ち、入力タップの値（生徒画像の画素値）がＧ（ｘ１，ｘ２，・・・，ｘｉ）の場合、クラスｃの足し込み行列に足し込む値は、ＢｃをかけてＧｃ（Ｂｃ×ｘ１，Ｂｃ×ｘ２，・・・，Ｂｃ×ｘｉ）となる。

この時の足し込み行列は、次の式（５）と式（６）に表されるようになる。

以上のようにして、ステップＳ６において行列への足し込みが行われ、方程式が生成される。そしてステップＳ７において、入力部２１は、すべての教師画像データに対する処理が終了かを判定する。まだすべての教師画像データに対する処理が終了していない場合には、処理はステップＳ１に戻り、それ以降の処理が繰り返し実行される。

ステップＳ７において、すべての教師画像データに対する処理が終了したと判定された場合、ステップＳ８において、予測係数演算部２９，３３は、予測係数を演算する。即ち予測係数演算部２９−１乃至２９−４は、足し込み部２８−１乃至２８−４より入力された方程式を解くことで、対応する方向の凸エッジのクラスの予測係数Ｗを演算し、予測係数３３−１乃至３３−４は、足し込み部３２−１乃至３２−４より入力された方程式を解くことで、対応する方向の凹エッジのクラスの予測係数Ｗを演算する。

ステップＳ９において、予測係数演算部２９，３３は、すべてのクラスの予測係数が求められたかを判定する。まだすべてのクラスの予測係数が求められていない場合、処理はステップＳ１に戻り、それ以降の処理が繰り返し実行される。ステップＳ９において、すべてのクラスの予測係数が求められたと判定された場合、ステップＳ１０において、記憶部３０−１乃至３０−４、並びに記憶部３４−１乃至３４−４は、予測係数を記憶する。すなわち記憶部３０−１乃至３４−４は、予測係数演算の２９−１乃至３３−４により演算された各クラス毎の予測係数を記憶する。

以上のようにして本発明においては、入力された画像（生徒画像）は、そこに含まれる特徴（エッジ）に基づいてクラスに分類されるのであるが、１つのクラスだけに分類されるのではなく、各クラスへの所属度が算出され、その所属度に応じて複数のクラスに分類される。図８に示される生徒画像は、図１０に示されるように、横方向凸エッジのクラスに６５．４％の所属度で分類され、縦方向凹エッジのクラスに２６．９％の所属度で分類され、左上がり凸エッジのクラスに７．７％の所属度で分類される。１つの画像の各クラスへの所属度の合計は１００％となる（正規化はこのために行われる）。

その結果、必ず１つのクラスだけに分類させる場合に比べて分類の誤差が少なくなり、より正確なクラス決定を行うことが可能となる。そして、このようにして決定されたクラス毎に予測係数を演算すると、正確な予測係数を求めることができ、その予測係数を用いて予測処理を行うことで、通常の画像からより高品位の画像を演算することが可能となる。以下、この予測処理を行う実施の形態ついて説明する。

図１１は、予測処理を行う画像処理装置の実施の形態の構成例を表している。この画像処理装置２０１は、入力部２１１、エッジ検出部２１２、正規化部２１３、エッジクラス所属度演算部２１２、判定設定部２１３、重み付け部２１４、予測係数畳み込み部２１５、記憶部２１６、加算部２１７、および出力部２１８により構成されている。

エッジクラス所属度演算部２１２は、エッジ検出部２３１、正規化部２３２により構成されている。エッジ検出部２３１は、エッジ検出部２３１−１乃至エッジ検出部２３１−４により構成されている。正規化部２３２は、絶対値演算部２４１と除算部２４２により構成されている。絶対値演算部２４１は、具体的には、絶対値演算部２４１−１乃至２４１−４により構成され、除算部２４２は、除算部２４２−１乃至２４２−４により構成されている。正規化部２３２はまた加算部２４３を有している。

判定設定部２１３は、設定部２６１−１乃至２６１−４と、それぞれに対応する判定部２６２−１乃至２６２−４により構成されている。重み付け部２１４は、重み付け部２１４−１−１乃至２１４−４−２により構成されている。予測係数畳み込み部２１５は、予測係数畳み込み部２１５−１−１乃至２１５−４−２により構成されている。記憶部２１６は、記憶部２１６−１−１乃至２１６−４−２により構成されている。

入力部２１１は、処理すべき画像（図１の生徒画像生成部２４により生成された生徒画像に対応する低解像度の画像）データを入力し、エッジ検出部２３１−１乃至２３１−４に出力する。エッジ検出部２３１−１乃至２３１−４は、入力部２１１より入力された画像データのエッジを検出し、その検出結果を、対応する絶対値演算部２４１−１乃至２４１−４に出力する。絶対値演算部２４１−１乃至２４１−４は、エッジ検出部２３１−１乃至２３１−４より入力された検出結果の絶対値を演算し、その絶対値を対応する除算部２４２−１乃至２４２−４に出力するとともに、それぞれの検出結果の極性を判定部２６２−１乃至２６２−４に出力する。加算部２４３は、絶対値演算部２４１−１乃至２４１−４で演算された絶対値の総和を演算する。加算部２４３により演算して得られた総和の値は、除算部２４２−１乃至２４２−４に出力される。除算部２４２−１乃至２４２−４は、絶対値演算部２４１−１乃至２４１−４より入力された絶対値を、加算部２４３より入力された総和で除算することでエッジ検出結果の正規化値を演算する。

判定部２６２−１乃至２６２−４は、絶対値演算部２４１−１乃至２４１−４より供給された極性を判定し、その判定結果を設定部２６１−１乃至２６１−４に出力する。設定部２６１−１乃至２６１−４は、判定部２６２−１乃至２６２−４の判定結果に基づいて、除算部２４２−１乃至２４２−４より供給された正規化値を、重み付け部２１４−１−１乃至２１４−４−１、または重み付け部２１４−１−２乃至２１４−４−２のいずれかに出力する。

すなわち、設定部２６１−１は、除算部２４２−１が出力する正規化値を、判定部２６２−１の判定結果が正である場合、凸エッジの重み付け部２１４−１−１に出力し、負である場合、凹エッジの重み付け部２１４−１−２に出力する。設定部２６１−１は、除算部２４２−１からの入力を供給しない方の重み付け部に対しては重み０を設定する。

設定部２６１−２は、判定部２６２−２の判定結果が正であるとき、除算部２４２−２が出力する正規化値を、凸エッジの重み付け部２１４−２−１に出力し、凹エッジの重み付け部２１４−２−２には重み０を設定する。逆に判定結果が負であるとき、設定部２６１−２は、除算部２４２−２の出力を、凹エッジの重み付け部２１４−２−２に出力し、凸エッジの重み付け部２１４−２−１には重み０を設定する。

同様に、設定部２６１−３は、判定部２６２−３の判定結果が正であるとき、除算部２４２−３の出力する正規化値を凸エッジの重み付け部２１４−３−１に出力し、凹エッジの重み付け部２１４−３−２には重み０を設定する。逆に判定部２６２−３の判定結果が負であるとき、設定部２６１−３は、除算部２４２−３の出力する正規化値を凹エッジの重み付け部２１４−３−２に出力し、凸エッジの重み付け部２１４−３−１には重み０を設定する。設定部２６１−４は、判定部２６２−４の判定結果が正であるとき、除算部２４２−４の出力する正規化値を凸エッジの重み付け部２１４−４−１に設定し、凹エッジの重み付け部２１４−４−２には重み０を設定する。判定結果が負であるとき、設定部２６１−４は、除算部２４２−４の出力する正規化値を重み付け部２１４−４−２に設定し、凸エッジの重み付け部２１４−４−１には重み０を設定する。

凸エッジの重み付け部２１４−１−１は、設定部２６１−１より入力された重みにより入力部２１１より入力されたデータを重み付けし、凸エッジの予測係数畳み込み部２１５−１−１に出力する。凹エッジの重み付け部２１４−１−２は、入力部２１１より入力されたデータを設定部２６１−１で設定された重みで重み付けし、得られた結果を凹エッジの予測係数畳み込み部２１５−１−２に出力する。凸エッジの重み付け部２１４−２−１は、入力部２１１より入力されたデータを設定部２６１−２で設定された重みで重み付けして、凸エッジの予測係数畳み込み部２１５−２−１に出力する。凹エッジの重み付け部２１４−２−２は、入力部２１１より入力された画像データを、設定部２６１−２で設定された重みで重み付けして、凹エッジの予測係数畳み込み部２１５−２−２に出力する。

凸エッジの重み付け部２１４−３−１は、入力部２１１より入力された画像データを設定部２６１−３で設定された重みで重み付けし、凸エッジの予測係数畳み込み部２１５−３−１に出力する。凹エッジの重み付け部２１４−３−２は、入力部２１１より入力された画像データを設定部２６１−３で設定された重みで重み付けし、凹エッジの予測係数畳み込み部２１５−３−２に出力する。凸エッジの重み付け部２１４−４−１は、入力部２１１より入力された画像データを設定部２６１−４より入力された重みで重み付けし、凸エッジの予測係数畳み込み部２１５−４−１に出力する。凹エッジの重み付け部２１４−４−２は、入力部２１１より入力された画像データを設定部２６１−４で設定された重みで重み付けし、凹エッジの予測係数畳み込み部２１５−４−２に出力する。

すなわち、以上のエッジ検出部２３１−１乃至２３１−４、絶対値演算部２４１−１乃至２４１−４、除算部２４２−１乃至２４２−４、加算部２４３、設定部２６１−１乃至２６１−４、判定部２６２−１乃至２６２−４、重み付け部２１４−１−１乃至２１４−４−２は、図２と図３の対応する名称の各部と同様の機能と構成を有している。

記憶部２１６−１−１乃至２１６−４−２には、図２の記憶部３０−１乃至３０−４で記憶された記憶値が記憶されている。

凸エッジの予測係数畳み込み部２１５−１−１は、記憶部２１６−１−１より読み出された予測係数を用いて、重み付け部２１４−１−１より入力された画像データ畳み込みし、その得られた結果（図１の入力部２１より出力される教師画像に対応する高い解像度の画像のデータ）を加算部２１７に出力する。凹エッジの予測係数畳み込み部２１５−１−２は、記憶部２１６−１−２より読み出された予測係数を用いて、重み付け部２１４−１−２より入力された画像データを畳み込みし、得られた画像データを加算部２１７に出力する。

凸エッジの予測係数畳み込み部２１５−２−１は、記憶部２１６−２−１より読み出された凸エッジの予測係数を用いて、重み付け部２１４−２−１より入力された画像データを畳み込みし、得られた画像データを加算部２１７に出力する。凹エッジの予測係数畳み込み部２１５−２−２は、記憶部２１６−２−２より読み出された予測係数を用いて、重み付け部２１４−２−２より入力された画像データを畳み込みし、得られた画像データを加算部２１７に出力する。

凸エッジの予測係数畳み込み部２１５−３−１は、記憶部２１６−３−１より読み出された予測係数を用いて、重み付け部２１４−３−１より入力された画像データを畳み込みし、得られた画像データを加算部２１７に出力する。凹エッジの予測係数畳み込み部２１５−３−２は、記憶部２１６−３−２より読み出された予測係数を用いて、重み付け部２１４−３−２より入力された画像データを畳み込みし、得られた画像データを加算部２１７に出力する。凸エッジの予測係数畳み込み部２１５−４−１は、記憶部２１６−４−１より読み出された予測係数を用いて、重み付け部２１４−４−１より供給された画像データを畳み込みし、生成されたデータを加算部２１７に出力する。同様に、凹エッジの予測係数畳み込み部２１５−４−２は、記憶部２１６−４−２より読み出された予測係数を用いて、重み付け部２１４−４−２により供給された画像データを畳み込みし、生成された画像データを加算部２１７に出力する。

加算部２１７は、予測係数畳み込み部２１５−１−１乃至２１５−４−２より供給された画像データを加算し、その加算結果（教師画像に対応する高解像度の画像データ）を出力部２１８に出力する。出力部２１８は、加算部２１７より供給された加算値（画像データ）を図示せぬ装置に出力し、表示させたり、記録させたりする。

次に、図１２のフローチャートを参照して、画像処理装置２０１の予測処理（低解像度の画像から高解像度の画像を予測生成する処理）について説明する。

ステップＳ５１において、入力部２１１は画像データを入力する。ステップＳ５２においてエッジクラス所属度演算部２１２は、クラス所属度算出処理を実行する。このクラス所属度算出処理は、図６のフローチャートを参照して説明した場合と同様の処理であり、その説明は省略するが、これにより、画像の各クラスへの所属度に応じた重みが重み付け部２１４−１−１乃至２１４−４−２に設定される。

ステップＳ５３において、重み付け部２１４−１−１乃至２１４−４−２は画像データへの重み付けを行う。すなわち重み付け部２１４−１−１乃至２１４−４−２は、それぞれ設定部２６１−１乃至２６１−４により設定された重みにより、入力部２１１より入力された画像データを重み付けし、対応するクラスの予測係数畳み込み部２１５−１−１乃至２１５−４−２に出力する。

ステップＳ５４において、予測係数畳み込み部２１５−１−１乃至２１５−４−２は、対応する記憶部２１６−１−１乃至２１６−４−２より予測係数を読み出す。ステップＳ５５において、予測係数畳み込み部２１５−１−１乃至２１５−４−２は予測係数を畳み込む。具体的には、上述した式（１）乃至式（４）において、入力画像の画素値をｘに代入し、予測係数をＷに代入して、教師画像の画素値としての予測値ｙを求める。

次に、ステップＳ５６において、予測係数畳み込み部２１５−１−１乃至２１５−４−２は、すべてのクラスの予測値が求められたかを判定する。まだ、すべてのクラスの予測値が求められていない場合、処理はステップＳ５１に戻り、それ以降の処理が繰り返し実行される。すべてのクラスの予測値が求められたと判定された場合、ステップＳ５７において、加算部２１７は各クラスの予測値を加算する。具体的には、予測係数畳み込み部２１５−１−１乃至２１５−４−２より出力された予測値が加算される。ステップ５８において、加算部２１７は、すべての画像データに対する処理が終了かを判定する。まだ、すべての画像データに対する処理が終了していない場合には、処理はステップＳ５１戻り、それ以降の処理が繰り返される。すべての画像データに対する処理が終了したと判定された場合、処理は終了される。

図１３Ａ乃至図１３Ｄは、５×５タップで構成されるエッジ検出用オペレータの例を表している。図１３Ａは、横方向エッジ検出用のオペレータであり、図１３Ｂは、縦方向エッジ検出用のオペレータであり、図１３Cは４５度右上がりエッジ検出用のオペレータであり、図１３Ｄは４５度左上がりエッジ検出用のオペレータである。このように、タップ範囲を大きくすると、より広範囲な情報を取得することが可能となる。その反面、図１４Ａと図１４Ｂに示されるように、微妙なエッジも（エッジではない可能性がある場合でも）縦エッジとして分類されてしまい、画像の微小な変化を学習することが困難になる。その結果、縦エッジに分類されるパターンにクラスの混ざりが生じる。

しかしながら、オペレータのタップサイズを、３×３タップから５×５タップというように、大きい値に変更した場合にも、１ビットADRC（Adaptive Dynamic Range Coding）でクラス分類する場合のように、クラス数が増加することはなく、クラス数をハードウエア化が可能な範囲に抑えることが可能となる。

以上のようにして、クラス分類の際に任意のタップサイズのオペレータを使用してもクラス数を少なく抑えることが可能となる。クラスへの分類は、所属度として表現されるため、入力データをすべて学習に利用できるようになり、クラス数を増やすと学習データが不足するという問題がなくなる。１つの入力データについて複数の予測器で予測を行うため、予測誤差の分散が少なくなり、予測精度の向上（高画質化）が期待できる。画像のエッジなどの視覚的に重要な部分の画質を選択的に向上させることが可能となる。

以上においては、エッジ検出用のオペレータによりエッジを検出するようにしたが、２次元ウェーブレット関数を用いてエッジを検出することも可能である。

２次元ウェーブレット関数は、以下の式で表される。まず２次元平面上でｘ方向に振動する波を考える。この波は次式で表される。
exp(iωx)=cos(ωx)−isin(ωx)・・・（７）

式（７）のωは振動数を表し、iは虚数単位である。

次に２次元のガウス窓を用意する。

式（８）のσはガウス窓の幅である。

平面上の波を原点を中心としてθ回転させ、さらにガウス窓をかけることで、以下のようにガボールウェーブレット関数を求めることができる。

ω＝１として、関数の実部をプロットしたものが、図１５乃至図１９に示されている。

適当なσ，θを選び、画像との畳み込みを行うことで、微分型のエッジオペレータと同様に、局所におけるエッジ成分の特徴量を求めることが可能となる。σは局所におけるエッジ成分の太さ、θはその方向を表している。

例えば、
σ＝０，１、
θ＝０，３０，６０，９０，１２０，１５０（度）
でフィルタを作れば、２種類の太さのエッジを６方向で検出することが可能となる。画像と畳み込みを行った値によって各クラスへの所属度が求められる。

以上においては、学習と予測を異なる装置で行うようにしたが、同一の装置で行うようにしてもよい。

図１５は、σ＝０，θ＝０の場合の例を表し、図１６は、σ＝０，θ＝３０の場合の例を表し、図１７は、σ＝０，θ＝６０の場合の例を表し、図１８は、σ＝１，θ＝０の場合の例を表し、そして図１９は、σ＝２，θ＝０の場合の例を表している。

ウェーブレット変換により特徴量を抽出することにより、エッジの幅、回転方向を柔軟に検出することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明は、画像処理装置に適用することが可能である。

本発明を適用した画像処理装置の構成を示すブロック図である。 図１のエッジクラス所属度演算部、判定設定部、重み付け部、足し込み部、予測係数演算部、および記憶部のより詳細な構成を示すブロック図である。 図１の正規化部、判定設定部のより詳細な構成を示すブロック図である。 図１の重み付け部のより詳細な構成を示すブロック図である。 図１の画像処理装置の学習処理を説明するフローチャートである。 図５のステップＳ３のクラス所属度算出処理の詳細を示すフローチャートである。 エッジ検出オペレータの構成例を示す図である。 画像データの例を示す図である。 データの重み付けを説明する図である。 各クラスへの所属度を説明する図である。 本発明を適用した画像処理装置の他の構成を示すブロック図である。 図１１の画像処理装置の予測処理を説明するフローチャートである。 エッジ検出オペレータの他の例を示す図である。 エッジの例を示すである。 ウェーブレット関数の例を示す図である。 ウェーブレット関数の例を示す図である。 ウェーブレット関数の例を示す図である。 ウェーブレット関数の例を示す図である。 ウェーブレット関数の例を示す図である。

符号の説明

１１ 画像処理装置， ２１ 入力部， ２２，２３ 重み付け部， ２４ 生徒画像生成部， ２５ エッジクラス所属度演算部， ２６ 判定設定部， ２７ 重み付け部， ２８ 足し込み部， ２９ 予測係数演算部， ３０ 記憶部， ３１ 重み付け部， ３２ 足し込み部， ３３ 予測係数演算部， ３４ 記憶部

Claims (20)

1. 入力された学習用の画像情報の複数のクラスの特徴を検出する特徴検出手段と、
   検出された前記特徴の複数の前記クラスに対する所属度を演算する所属度演算手段と、
   入力された学習用の画像情報を前記所属度に基づいて重み付けする重み付け手段と、
   重み付けされた前記画像情報に基づき、複数の前記クラス毎の予測係数を演算する予測係数演算手段と
   を備え、
   前記特徴検出手段は、入力された学習用の画像情報のうちの生徒画像情報の特徴を検出し、
   前記所属度演算手段は、前記生徒画像情報の特徴の複数の前記クラスに対する所属度を演算し、
   前記重み付け手段は、入力された学習用の画像情報のうちの教師画像情報と前記生徒画像情報を前記所属度に基づいて重み付けし、
   前記予測係数演算手段は、重み付けされた前記教師画像情報と前記生徒画像情報を足し込むことで生成した足し込み行列を解くことで、複数の前記クラス毎の予測係数を演算する
   画像処理装置。
2. 前記特徴検出手段は、前記画像情報の複数のクラスの特徴として、前記画像情報の予め定められている複数の方向のエッジの成分を検出する
   請求項１に記載の画像処理装置。
3. 前記特徴検出手段は、前記画像情報に各方向毎のエッジ検出用オペレータを畳み込み演算することで前記エッジの成分を検出する
   請求項２に記載の画像処理装置。
4. 検出された前記エッジの成分の極性を判定し、判定された前記極性に基づいて、前記エッジ検出用オペレータに対応する一方のクラスの重みに前記所属度に基づく重みを設定し、他方のクラスの重みに０を設定する判定設定手段
   をさらに備える請求項３に記載の画像処理装置。
5. 前記特徴検出手段は、複数の異なるパラメータを設定した２次元ウェーブレット関数を前記画像情報に畳み込み演算することで前記エッジの成分を検出する
   請求項２に記載の画像処理装置。
6. 前記特徴検出手段は、水平方向、垂直方向、４５度右上がりの方向、および４５度左上がりの方向の４つの方向の前記エッジの成分を検出する
   請求項２に記載の画像処理装置。
7. 前記所属度演算手段は、
   前記エッジの成分の絶対値を演算する絶対値演算手段と、
   前記エッジの成分の前記絶対値の総和を演算する総和演算手段と、
   前記エッジの成分のそれぞれを前記総和で除算する除算手段と
   を備える請求項２に記載の画像処理装置。
8. 前記予測係数を記憶する記憶手段をさらに備える
   請求項１に記載の画像処理装置。
9. 特徴検出手段が、入力された学習用の画像情報の複数のクラスの特徴を検出する特徴検出ステップと、
   所属度演算手段が、検出された前記特徴の複数の前記クラスに対する所属度を演算する所属度演算ステップと、
   重み付け手段が、入力された学習用の画像情報を前記所属度に基づいて重み付けする重み付けステップと、
   予測係数演算手段が、重み付けされた前記画像情報に基づき、複数の前記クラス毎の予測係数を演算する予測係数演算ステップと
   を含み、
   前記特徴検出ステップは、入力された学習用の画像情報のうちの生徒画像情報の特徴を検出し、
   前記所属度演算ステップは、前記生徒画像情報の特徴の複数の前記クラスに対する所属度を演算し、
   前記重み付けステップは、入力された学習用の画像情報のうちの教師画像情報と前記生徒画像情報を前記所属度に基づいて重み付けし、
   前記予測係数演算ステップは、重み付けされた前記教師画像情報と前記生徒画像情報を足し込むことで生成した足し込み行列を解くことで、複数の前記クラス毎の予測係数を演算する
   画像処理装置の画像処理方法。
10. コンピュータを、
    入力された学習用の画像情報の複数のクラスの特徴を検出する特徴検出手段と、
    検出された前記特徴の複数の前記クラスに対する所属度を演算する所属度演算手段と、
    入力された学習用の画像情報を前記所属度に基づいて重み付けする重み付け手段と、
    重み付けされた前記画像情報に基づき、複数の前記クラス毎の予測係数を演算する予測係数演算手段
    として機能させるプログラムであって、
    前記特徴検出手段は、入力された学習用の画像情報のうちの生徒画像情報の特徴を検出し、
    前記所属度演算手段は、前記生徒画像情報の特徴の複数の前記クラスに対する所属度を演算し、
    前記重み付け手段は、入力された学習用の画像情報のうちの教師画像情報と前記生徒画像情報を前記所属度に基づいて重み付けし、
    前記予測係数演算手段は、重み付けされた前記教師画像情報と前記生徒画像情報を足し込むことで生成した足し込み行列を解くことで、複数の前記クラス毎の予測係数を演算する
    プログラム。
11. 入力された画像情報の複数のクラスの特徴を検出する特徴検出手段と、
    検出された前記特徴の複数の前記クラスに対する所属度を演算する所属度演算手段と、
    入力された画像情報を複数の前記所属度に基づいて重み付けする重み付け手段と、
    複数の前記クラス毎の予測係数を提供する提供手段と、
    重み付けされた複数の前記画像情報のそれぞれと、提供された複数の前記クラス毎の前記予測係数とに基づいて、複数の前記クラス毎の予測画像情報を演算する予測画像情報演算手段と、
    複数の前記クラス毎の予測画像情報を加算する加算手段と
    を備える画像処理装置。
12. 前記特徴検出手段は、前記画像情報の複数のクラスの特徴として、前記画像情報の予め定められている複数の方向のエッジの成分を検出する
    請求項１１に記載の画像処理装置。
13. 前記特徴検出手段は、前記画像情報に各方向毎のエッジ検出用オペレータを畳み込み演算することで前記エッジの成分を検出する
    請求項１２に記載の画像処理装置。
14. 検出された前記エッジの成分の極性を判定し、判定された前記極性に基づいて、前記エッジ検出用オペレータに対応する一方のクラスの重みに前記所属度に基づく重みを設定し、他方のクラスの重みに０を設定する判定設定手段
    をさらに備える請求項１３に記載の画像処理装置。
15. 前記特徴検出手段は、複数の異なるパラメータを設定した２次元ウェーブレット関数を
    前記画像情報に畳み込み演算することで前記エッジの成分を検出する
    請求項１２に記載の画像処理装置。
16. 前記特徴検出手段は、水平方向、垂直方向、４５度右上がりの方向、および４５度左上がりの方向の４つの方向の前記エッジの成分を検出する
    請求項１２に記載の画像処理装置。
17. 前記所属度演算手段は、
    前記エッジの成分の絶対値を演算する絶対値演算手段と、
    前記エッジの成分の前記絶対値の総和を演算する総和演算手段と、
    前記エッジの成分のそれぞれを前記総和で除算する除算手段と
    を備える請求項１２に記載の画像処理装置。
18. 前記提供手段は、前記予測係数を予め記憶している
    請求項１１に記載の画像処理装置。
19. 特徴検出手段が、入力された画像情報の複数のクラスの特徴を検出する特徴検出ステップと、
    所属度演算手段が、検出された前記特徴の複数の前記クラスに対する所属度を演算する所属度演算ステップと、
    重み付け手段が、入力された画像情報を複数の前記所属度に基づいて重み付けする重み付けステップと、
    提供手段が、複数の前記クラス毎の予測係数を提供する提供ステップと、
    予測画像情報演算手段が、重み付けされた複数の前記画像情報のそれぞれと、提供された複数の前記クラス毎の前記予測係数とに基づいて、複数の前記クラス毎の予測画像情報を演算する予測画像情報演算ステップと、
    前記加算手段が、複数の前記クラス毎の予測画像情報を加算する加算ステップと
    を含む画像処理装置の画像処理方法。
20. コンピュータを、
    入力された画像情報の複数のクラスの特徴を検出する特徴検出手段と、
    検出された前記特徴の複数の前記クラスに対する所属度を演算する所属度演算手段と、
    入力された画像情報を複数の前記所属度に基づいて重み付けする重み付け手段と、
    複数の前記クラス毎の予測係数を提供する提供手段と、
    重み付けされた複数の前記画像情報のそれぞれと、提供された複数の前記クラス毎の前記予測係数とに基づいて、複数の前記クラス毎の予測画像情報を演算する予測画像情報演算手段と、
    複数の前記クラス毎の予測画像情報を加算する加算手段
    として機能させるプログラム。

Images