JP2013239108A - 画像処理装置および方法、学習装置および方法、並びに、プログラム - Google Patents

Abstract

【課題】エッジやテクスチャを含む様々な画像に対して、劣化を出さない高画質化処理を実行できるようにする。
【解決手段】入力画像の注目画素を中心とした複数の画素値を複数のグループに分割するグループ分割部と、グループに属する画素値に基づいてグループ毎に算出される特徴量に基づいて、注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、入力画像の注目画素を中心とした複数の画素値、重み、および、回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部とを備える。
【選択図】図４

Description

本技術は、画像処理装置および方法、学習装置および方法、並びに、プログラムに関し、特に、エッジやテクスチャを含む様々な画像に対して、劣化を出さない高画質化処理を実行できるようにする画像処理装置および方法、学習装置および方法、並びに、プログラムに関する。

従来より、デジタル画像データにおいては、画像の輪郭などを強調するシャープネス処理が行われている。シャープネス処理によって、輪郭部分の階調の差（コントラスト）を高くすることで、見た目のシャープ感を増すことができる。

しかしながら、どのような画像に対しても一律にシャープネス処理を施すと、かえって画質が悪化することがある。例えば、文字や単純図形などの人工画像の場合、自然画像に適したシャープネス処理を行うと、元々エッジが十分に立っている個所で過強調が起こりリンギング劣化を生じる場合がある。

つまり、シャープネスの処理によって画像の中のテクスチャ部分の鮮鋭感を向上させようとすると、画像の中のエッジ部分でリンギングなどの劣化が目立ってしまう。一方、画像の中のエッジ部分でのリンギングを抑制しようとすると、画像の中のテクスチャ部分の鮮鋭感が欠けるものとなってしまう。

そこで、出願人は、エッジの鮮鋭感向上とテクスチャの鮮鋭感向上を両立する方式を提案した（例えば、特許文献１参照）。

特許文献１によれば、例えば、エッジ専用処理とテクスチャ専用処理を画像の中の各領域の特徴量に応じて使い分けている。

特開２００７−２５１６８９号公報

しかしながら、特許文献１の技術では、例えば、エッジ専用処理とテクスチャ専用処理の処理の境界が顕著になることがあった。

また、特許文献１のように、例えば、エッジ専用処理とテクスチャ専用処理を使い分ける場合、２つの専用処理を実装し、さらにそれらを使い分けるための判定処理を実装する必要があり、処理の規模が増大しやすく、高コストにつながりやすいという問題があった。

また、エッジ部分とテクスチャ部分との判定が困難な場合もあり、多様な入力画像に対して，その画質に応じて適応的に鮮鋭感を向上させようとすると、強力に鮮鋭感向上を行う際にはリンギングの抑制に限界がある。

本技術はこのような状況に鑑みて開示するものであり、エッジやテクスチャを含む様々な画像に対して、劣化を出さない高画質化処理を実行できるようにするものである。

本技術の第１の側面は、入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部とを備える画像処理装置である。

前記重み算出部は、前記グループに属する画素値に基づいて、エッジの存在と相関性の高い特徴量を算出するようにすることができる。

入力画像の注目画素を中心とした複数の画素値を複数のグループに分割するグループ分割部をさらに備え、重み算出部は、前記グループに属する画素値に基づいて前記グループ毎に算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出するようにすることができる。

前記重み算出部は、前記注目画素を中心とした第１の数の画素値を、少なくとも注目画素の画素位置を含む複数の位置の画素から成るグループであって、前記第１の数より少ない第２の数の画素値から成る複数のグループに分類するようにすることができる。

前記回帰係数は、予め学習されて記憶されており、前記学習においては、高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、生徒画像の画素値、前記重みを用いて前記教師画像の注目画素値を算出する線形一次方程式のサンプルを前記クラスコード毎に複数生成し、前記複数のサンプルから最適な前記回帰係数が算出されるようにすることができる。

本技術の第１の側面は、重み算出部が、入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出し、回帰係数読み出し部が、前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出し、画素値算出部が、前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた線形一次式の演算により出力画像の注目画素の画素値を算出するステップを含む画像処理方法である。

本技術の第１の側面は、コンピュータを、入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部とを備える画像処理装置として機能させるプログラムである。

本技術の第１の側面においては、入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みが算出され、前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数が読み出され、前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値が算出される。

本技術の第２の側面は、高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、教師画像の注目画素に対応する生徒画像の複数の画素値基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する重み算出部と、前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出する回帰係数算出部とを備える学習装置である。

前記重み算出部は、前記グループに属する画素値に基づいて、エッジの存在と相関性の高い特徴量を算出するようにすることができる。

教師画像の注目画素に対応する生徒画像の複数の画素値を複数のグループに分割するグループ分割部をさらに備え、前記重み算出部は、前記グループに属する画素値に基づいて前記グループ毎に算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出するようにすることができる。

前記重み算出部は、前記注目画素を中心とした第１の数の画素値を、少なくとも注目画素の画素位置を含む複数の位置の画素から成るグループであって、前記第１の数より少ない第２の数の画素値から成る複数のグループに分類するようにすることができる。

本技術の第２の側面は、高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、重み算出部が、教師画像の注目画素に対応する生徒画像の複数の画素値に基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出し、回帰係数算出部が、前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出するステップを含む学習方法である。

コンピュータを、高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、教師画像の注目画素に対応する生徒画像の複数の画素値基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する重み算出部と、前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出する回帰係数算出部とを備える学習装置として機能させるプログラムである。

本技術の第２の側面においては、高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、教師画像の注目画素に対応する生徒画像の複数の画素値に基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みが算出され、前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数が算出される。

本技術によれば、エッジやテクスチャを含む様々な画像に対して、劣化を出さない高画質化処理を実行できる。

本技術の一実施の形態に係る学習装置の構成例を示すブロック図である。 クラスコードの特定方式の例を説明する図である。 クラスタップのグループ分けの例を説明する図である。 本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。 学習処理の例を説明するフローチャートである。 高画質化処理の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、ここで開示する技術の実施の形態について説明する。

図１は、本技術の一実施の形態に係る学習装置の構成例を示すブロック図である。

この学習装置１０は、画像の高画質化処理に用いられる学習装置とされ、入力された生徒画像および教師画像（または教師信号）のデータに基づいて、高画質化処理において用いられる回帰係数を生成するようになされている。ここで、高画質化処理は、例えば、画像の鮮鋭感を向上させる処理、画像のノイズを除去する処理などとされる。

学習装置１０は、生徒画像を入力画像として、教師画像に近い高画質の画像を出力画像として生成するための係数である回帰係数を学習するようになされている。詳細は後述するが、回帰係数は、例えば、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとし、高画質化された画像における注目画素の予測値を演算する線形一次式の回帰予測演算に用いられる係数とされる。

回帰係数は、後述するクラスコード毎に学習され、また、後述する重みを考慮した回帰係数が学習される。

また、学習装置１０は、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量に基づいて、注目画素に対応する複数の画素値を、複数のクラスのうちのいずれかにクラス分けする。また、学習装置１０は、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量に基づいて、それらの画素値に乗じるべき重みを算出する。

すなわち、高画質化処理では、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量に基づいて、注目画素がクラス分類される。そして、学習装置１０により学習されたクラス毎の回帰係数、および、上述の重みと、入力画像の注目画素に対応する複数の画素値とを用いた線形一次式の演算を実行することにより、高画質化された画像の画素値が演算されるようになされている。

図１に示される学習装置１０は、クラス分類部２１、重み算出部２２、回帰係数学習部２３、回帰係数メモリ２４を有している。

学習装置１０においては、例えば、教師画像としてノイズのない画像を入力され、生徒画像として教師画像に対してノイズを付加するなどして画質を劣化させた画像が入力される。例えば、教師画像に各種のノイズを付加した画像、ぼけを付加した画像、画素位置をシフトさせた画像、画素を間引いた画像などが生徒画像として入力される。

クラス分類部２１は、教師画像の注目画素に対応する生徒画像の複数の画素値から成るクラスタップを抽出し、抽出されたクラスタップの特徴量に基づいて、当該クラスタップをクラス分類するようになされている。

図２は、クラス分類の方式の一例を説明する図である。この例では、クラスタップとして、入力画像の注目画素およびその周辺の画素に対応する９個の画素値が取得されている。そして、９個の画素値のそれぞれに予め設定された順番で識別番号（タップ番号）０乃至８が付されている。

タップ番号０乃至９の画素値のそれぞれは閾値判定され、閾値判定結果に基づいてコード１またはコード０が割り当てられる。この例では、画素値（輝度値）が閾値より大きい場合、コード１が割り当てられ、画素値（輝度値）が閾値より小さい場合、コード０が割り当てられている。

そして、タップ番号０乃至８のそれぞれに割り当てられたコードを並べて得られる２進数の数字がクラスコードとされる。この例では、１００００１０１１（１０進数で２６７）がクラスコードとされている。このように、当該クラスタップがクラスコード２６７に対応するクラスに分類される。あるいはまた、画素値の最大値と最小値の差分などを用いてさらに詳細にクラス分類されるようにしてもよい。

図２に示されるクラスコードの特定は、１ｂｉｔＡＤＲＣ (Adaptive Dynamic Range Coding)と称される。勿論、クラス分類部２１は、１ｂｉｔＡＤＲＣ以外の方式でクラスコードを特定するようにしてもよい。

図１に戻って、重み算出部２２は、教師画像の注目画素に対応する生徒画像の複数の画素値から予測タップを抽出し、予測タップ内の各画素値に対応する重みを算出する。重み算出部２２は、予測タップを構成する画素値を複数のグループに分類し、それぞれのグループに属する画素値から得られる特徴量に基づいて、グループ毎の重みを算出する。なお、教師画像の注目画素値をｔ_iとすると、教師画像の注目画素に対応する生徒画像の複数の画素値ｘ_ijが予測タップとして抽出される。

図３は、予測タップのグループ分けを説明する図である。同図には、２５（＝５×５）個の円が記載されており、個々の円が画素を表している。また、図中中央の黒い円は、注目画素を表している。すなわち、図３の例の場合、注目画素を中心とした２５個の画素の画素値が予測タップとされている。

図３の例の場合、予測タップを構成する画素値は、４つのグループであるグループＧ１乃至グループＧ４に分類されている。グループＧ１は、注目画素を右下に配置した９個の画素の画素値から成るグループとされる。グループＧ２は、注目画素を左下に配置した９個の画素の画素値から成るグループとされる。グループＧ１は、注目画素を右上に配置した９個の画素の画素値から成るグループとされる。グループＧ４は、注目画素を左上に配置した９個の画素の画素値から成るグループとされる。

重み算出部２２は、グループＧ１乃至グループＧ４に属するそれぞれの画素値を用いてエッジの存在と相関性の高い特徴量を算出する。例えば、ダイナミックレンジ、アクティビティなどの特徴量が、エッジの存在と相関性の高い特徴量として算出される。

重み算出部２２は、上述のようにしてグループＧ１乃至グループＧ４のそれぞれについて算出した特徴量の最大値と最小値を特定し、各グループに対して設定される重みを算出する。例えば、グループＧ_gに対応する重みｖ_gは、次のようにして求めることができる。

・・・（１）

なお、式（１）においてｍａｘｐａｒａｍおよびｍｉｎｐａｒａｍは、それぞれグループＧ１乃至グループＧ４について算出した特徴量の最大値および最小値を表している。また、式（１）における関数ｆ（ｘ）は、重みの付き方を調整するための関数とされ、例えば、式（２）、式（３）などの関数が用いられる。

・・・（２）

・・・（３）

そして、予測タップ内の各画素に乗じられる重みの総和が１.０となるように正規化される。すなわち、予測タップの画素値の総数をＬとした場合、式（４）を満たすように予測タップ内の全て（例えば、２５個）の画素値のそれぞれに乗じられる重みｖ_ijが算出される。なお、予測タップ内の注目画素付近の一部の位置の画素は、複数のグループに重複して属していることになるので、これらの画素の値には、重みが複数回乗じられることになる。

・・・（４）

式（４）におけるサフィックスｊは、予測タップ内の画素の識別番号（タップ番号）を表すことになる。

なお、図３に示したのは、グループ分けの例であって、必ずしもこの通りにグループ分けされる必要はない。例えば、一列に並んだ画素がグループとされるようにしてもよい。また、エッジの存在と相関性の高い特徴量として、個々のグループ毎に異なる特徴量が算出されるようにしてもよい。例えば、グループＧ１については、ダイナミックレンジが算出され、グループＧ２については、アクティビティが算出され、・・・のように特徴量が算出されるようにしてもよい。

図１に戻って、回帰係数学習部２３は、上述したように求められた重みｖ_ijを用いて、回帰係数を学習する。すなわち、教師画像を構成する画素の中の注目画素が順番に設定され、それぞれの注目画素に対応して重みｖ_ijが算出される。そして、教師画像の画素値を生徒画像の画素値に基づいて算出する線形一次方程式のサンプルを順次生成していく。このようにして生成された線形一次方程式のサンプルは、クラスコード別に足し込まれていく。

例えば、クラスコードｃに対応する回帰係数をｗ_cjで表した場合、上述のように足し込まれた線形一次方程式のサンプルに基づいて、式（５）により演算される最小化関数Ｑが最小となるように、回帰係数ｗ_cjを最小二乗法により求めるようにすればよい。このようにすることで、後述する式（６）の演算に用いる際に最適な回帰係数ｗ_cjを算出することができる。

・・・（５）

このようにして求められた回帰係数ｗ_cjは、クラスコードに対応付けられて回帰係数メモリ２４に記憶される。このようにして回帰係数が学習される。

図４は、本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。同図の画像処理装置１００は、図１の学習装置１０に対応する画像処理装置とされる。すなわち、画像処理装置１００は、学習装置１０により学習された回帰係数を用いて入力画像から得られる予測タップの回帰予測演算を行い、入力画像を高画質化する画像処理を行うようになされている。

図４に示される画像処理装置１００は、クラス分類部１２１、重み算出部１２２、予測演算部１２３、および、回帰係数メモリ１２４を有している。

画像処理装置１００の回帰係数メモリ１２４には、学習装置１０の回帰係数メモリ２４に記憶されていた回帰係数が予め記憶されている。

クラス分類部１２１は、入力画像の注目画素に対応する複数の画素値から成るクラスタップを抽出し、抽出されたクラスタップの特徴量に基づいて、当該クラスタップをクラス分類するようになされている。なお、画像処理装置１００のクラス分類部１２１によるクラス分類は、学習装置１０のクラス分類部２１と同様の方式により行われる。例えば、図２を参照して上述したように、クラス分類が行われ、抽出したクラスタップに対応するクラスコードが特定される。

重み算出部１２２は、入力画像の注目画素に対応する複数の画素値から成る予測タップを抽出し、予測タップ内の各画素値に対応する重みを算出する。画像処理装置１００の重み算出部１２２は、学習装置１０の重み算出部２２と同様に、例えば、図３を参照して上述したように、予測タップを構成する画素値を複数のグループに分類する。そして、重み算出部１２２は、それぞれのグループに属する画素値から得られる特徴量に基づいて、グループ毎の重みを算出する。

ここで、特徴量は、エッジの存在と相関性の高い特徴量とされ、例えば、ダイナミックレンジ、アクティビティなどの特徴量が、エッジの存在と相関性の高い特徴量として算出される。

そして、上述したように、予測タップ内の全ての画素値のそれぞれに乗じられる重みｖ_ijが算出される。

予測演算部１２３は、クラス分類部１２１により特定されたクラスコードｃに対応する回帰係数ｗ_cjを回帰係数メモリ１２４から読み出す。

そして、予測演算部１２３は、重み算出部１２２により算出された重みｖ_ijを予測タップを構成する画素値にそれぞれ乗じ、さらに、回帰係数メモリ１２４から読み出した回帰係数ｗ_cjを、予測タップを構成する画素値にそれぞれ乗じる。すなわち、注目画素の識別番号をｉとした場合、入力画像から生成される注目画素の予測値ｙｉは、式（６）に示される線形一次式により求められる。

・・・（６）

式（６）に示されるような演算を繰り返し行うことで、出力画像を構成する各画素の画素値が算出されることになる。

画像処理装置１００は、このようにして生成された出力画像を出力する。

本技術によれば、上述したように、予測タップを構成する画素値がさらに細かくグループに分類されて重みが算出される。従って、出力画像の画素を生成するための入力画像の参照領域における個々の画素の重要性が局所の特徴量により適応的に設定されることになる。具体的には、予測タップを構成する画素値の重みが各グループの特徴量に応じて切り替えられることになる。

また、本技術では、クラス毎に上記の重みの設定を含めて統計的に最適化された係数が適用され、出力画像の画素値が演算される。

本技術において、入力画像の参照領域における個々の画素の重要性は、エッジの存在と相関の高い特徴量に基づいて設定される。従って、同じ予測タップ内の画素であっても、エッジの存在する可能性の低いグループに属する画素はより強く参照され、エッジの存在する可能性の高いグループに属する画素はより弱く参照されることになる。画像の中のエッジの部分の画素は、その周辺の画素との相関性が低いと考えられるからである。

つまり、本技術によれば、例えば、従来技術のように、画像のエッジ部分とテクスチャ部分とで専用処理を切り替えるなどすることなく、参照領域の画素の重みを適切に切り替えることで、エッジ部分またはテクスチャ部分に相応しい高画質化処理を施すことができる。

従って、本技術によれば、例えば、エッジ専用処理とテクスチャ専用処理との処理境界が目立つことなく、画像全体に高画質化処理を施すことができる。

また、本技術によれば、リンギング等の劣化を抑制しつつエッジの鮮鋭化を実現し、かつ、テクスチャにおける鮮鋭感向上も同時に実現することができる。従来の技術と比較して、例えば、強力に鮮鋭感向上を行う際にも、リンギングを抑制することができる。

さらに、本技術によれば、高画質化処理に用いられる回帰係数が、クラスタップの特徴量を表すクラスコード毎に、重みを考慮して学習されるので、エッジやテクスチャのみならず、多様な特性に応じた高画質化処理を施すことが可能となる。

従って、本技術によれば、エッジやテクスチャを含む様々な画像に対して、劣化を出さない高画質化処理を実行できる。

次に、図５のフローチャートを参照して、図１の学習装置１０による学習処理の例について説明する。

ステップＳ２１において、クラス分類部２１は、教師画像の注目画素に対応する生徒画像の複数の画素値から成るクラスタップを抽出する。

ステップＳ２２において、クラス分類部２１は、ステップＳ２１で抽出したクラスタップの特徴量に基づいて、当該クラスタップをクラス分類する。このとき、例えば、図２を参照して上述したような方式でクラスタップがクラス分類される。

ステップＳ２３において、重み算出部２２は、教師画像の注目画素に対応する生徒画像の複数の画素値から予測タップを抽出する。

ステップＳ２４において、重み算出部２２は、予測タップを構成する画素値を複数のグループに分類する。このとき、例えば、図３を参照して上述したように、予測タップを構成する画素値を複数のグループに分類する。

ステップＳ２５において、重み算出部２２は、ステップＳ２４の処理で分類されたグループ毎に特徴量を算出する。ここで、特徴量は、エッジの存在と相関性の高い特徴量とされ、例えば、ダイナミックレンジ、アクティビティなどの特徴量が、エッジの存在と相関性の高い特徴量として算出される。

ステップＳ２６において、重み算出部２２は、ステップＳ２５で算出された特徴量に基づいて、予測タップ内の各画素値に対応する重みを算出する。このとき、例えば、上述したように、予測タップ内の全ての画素値のそれぞれに乗じられる重みｖ_ijが算出される。

ステップＳ２７において、回帰係数学習部２３は、上述したように求められた重みｖ_ijを用いて、教師画像の画素値を生徒画像の画素値に基づいて算出する線形一次方程式のサンプルを生成する。

ステップＳ２８において、回帰係数学習部２３は、ステップＳ２７の処理で生成されたサンプルを、クラスコード別に足し込む。

ステップＳ２９において、全サンプル分の足し込みが終了したか否かが判定される。すなわち、教師画像の全ての画素を注目画素として、ステップＳ２１乃至ステップＳ２８の処理が実行されたか否かが判定される。

ステップＳ２９において、まだ、全サンプル分の足し込みが終了していないと判定された場合、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返し実行される。

ステップＳ２９において、全サンプル分の足し込みが終了したと判定された場合、処理は、ステップＳ３０に進む。

ステップＳ３０において、回帰係数学習部２３は、クラスコード毎に回帰係数を算出する。このとき、例えば、上述のように足し込まれた線形一次方程式のサンプルに基づいて、式（５）により演算される最小化関数Ｑが最小となるように、回帰係数ｗ_cjが最小二乗法により求められる。ここで求められた回帰係数は、クラスコードに対応付けられて回帰係数メモリ２４に記憶される。

このようにして学習処理が実行される。

次に、図６のフローチャートを参照して、図４の画像処理装置１００による高画質化処理の例について説明する。なお、処理の実行に先立って、図５のステップＳ３０の処理で算出された回帰係数が、回帰係数メモリ１２４に記憶されているものとする。

ステップＳ５１において、クラス分類部１２１は、入力画像の注目画素に対応する複数の画素値から成るクラスタップを抽出する。

ステップＳ５２において、クラス分類部１２１は、ステップＳ５１の処理で抽出したクラスタップの特徴量に基づいて、当該クラスタップのクラスコードを特定する。なお、ステップＳ５２での画像処理装置１００のクラス分類部１２１によるクラスコードの特定は、ステップＳ２２での学習装置１０のクラス分類部２１と同様の方式により行われる。例えば、図２を参照して上述したように、クラス分類が行われ、抽出したクラスタップに対応するクラスコードが特定される。

ステップＳ５３において、重み算出部１２２は、入力画像の注目画素に対応する複数の画素値から成る予測タップを抽出する。

ステップＳ５４において、重み算出部１２２は、予測タップを構成する画素値を複数のグループに分類する。このとき、例えば、図３を参照して上述したように、予測タップを構成する画素値を複数のグループに分類する。

ステップＳ５５において、重み算出部１２２は、ステップＳ５４の処理で分類されたグループ毎に特徴量を算出する。ここで、特徴量は、エッジの存在と相関性の高い特徴量とされ、例えば、ダイナミックレンジ、アクティビティなどの特徴量が、エッジの存在と相関性の高い特徴量として算出される。

ステップＳ５６において、重み算出部１２２は、ステップＳ５５で算出された特徴量に基づいて、予測タップ内の各画素値に対応する重みを算出する。このとき、例えば、上述したように、予測タップ内の全ての画素値のそれぞれに乗じられる重みｖ_ijが算出される。

ステップＳ５７において、予測演算部１２３は、クラス分類部１２１により特定されたクラスコードｃに対応する回帰係数ｗ_cjを回帰係数メモリ１２４から読み出す。

ステップＳ５８において、予測演算部１２３は、ステップＳ５６の処理で求められた重みｖ_ijと、ステップＳ５７の処理で読み出した回帰係数ｗ_cjを用いて線形一次式により画素値を算出する。このとき、例えば、重みｖ_ijが予測タップを構成する画素値にそれぞれ乗じられ、さらに、回帰係数ｗ_cjが、予測タップを構成する画素値にそれぞれ乗じられる。すなわち、式（６）に示される線形一次式により画素値が求められる。

ステップＳ５９において、出力画像の全画素分の画素値の算出が終了したか否かが判定される。

ステップＳ５９において、まだ、出力画像の全画素分の画素値の算出が終了していないと判定された場合、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返し実行される。

ステップＳ５９において、出力画像の全画素分の画素値の算出が終了したと判定された場合、処理は、ステップＳ６０に進む。

ステップＳ６０において、画像処理装置１００は、出力画像を出力する。

このようにして高画質化処理が実行される。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図７に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図７において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図７に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、
前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部と
を備える画像処理装置。
（２）
前記重み算出部は、
前記グループに属する画素値に基づいて、エッジの存在と相関性の高い特徴量を算出する
（１）に記載の画像処理装置。
（３）
入力画像の注目画素を中心とした複数の画素値を複数のグループに分割するグループ分割部をさらに備え、
重み算出部は、前記グループに属する画素値に基づいて前記グループ毎に算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する
（１）または（２）に記載の画像処理装置。
（４）
前記重み算出部は、
前記注目画素を中心とした第１の数の画素値を、少なくとも注目画素の画素位置を含む複数の位置の画素から成るグループであって、前記第１の数より少ない第２の数の画素値から成る複数のグループに分類する
（３）に記載の画像処理装置。
（５）
前記回帰係数は、予め学習されて記憶されており、
前記学習においては、
高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
生徒画像の画素値、前記重みを用いて前記教師画像の注目画素値を算出する線形一次方程式のサンプルを前記クラスコード毎に複数生成し、前記複数のサンプルから最適な前記回帰係数が算出される
（１）乃至（４）に記載の画像処理装置。
（６）
重み算出部が、入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出し、
回帰係数読み出し部が、前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出し、
画素値算出部が、前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた線形一次式の演算により出力画像の注目画素の画素値を算出するステップ
を含む画像処理方法。
（７）
コンピュータを、
入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、
前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部とを備える画像処理装置として機能させる
プログラム。
（８）
高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
教師画像の注目画素に対応する生徒画像の複数の画素値基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出する回帰係数算出部と
を備える学習装置。
（９）
前記重み算出部は、
前記グループに属する画素値に基づいて、エッジの存在と相関性の高い特徴量を算出する
（８）に記載の学習装置。
（１０）
教師画像の注目画素に対応する生徒画像の複数の画素値を複数のグループに分割するグループ分割部をさらに備え、
前記重み算出部は、
前記グループに属する画素値に基づいて前記グループ毎に算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する
（８）または（９）に記載の学習装置。
（１１）
前記重み算出部は、
前記注目画素を中心とした第１の数の画素値を、少なくとも注目画素の画素位置を含む複数の位置の画素から成るグループであって、前記第１の数より少ない第２の数の画素値から成る複数のグループに分類する
（１０）に記載の学習装置。
（１２）
高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
重み算出部が、教師画像の注目画素に対応する生徒画像の複数の画素値に基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出し、
回帰係数算出部が、前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出するステップ
を含む学習方法。
（１３）
コンピュータを、
高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
教師画像の注目画素に対応する生徒画像の複数の画素値基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出する回帰係数算出部とを備える学習装置として機能させる
プログラム。

１０ 画像処理装置， ２１ クラス分類部， ２２ 重み算出部， ２３ 回帰係数学習部， ２４ 回帰係数メモリ， １００ 画像処理装置， １２１ クラス分類部， １２２ 重み算出部， １２３ 予測演算部， １２４ 回帰係数メモリ

Claims (13)

1. 入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
   前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、
   前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部と
   を備える画像処理装置。
2. 前記重み算出部は、
   前記グループに属する画素値に基づいて、エッジの存在と相関性の高い特徴量を算出する
   請求項１に記載の画像処理装置。
3. 入力画像の注目画素を中心とした複数の画素値を複数のグループに分割するグループ分割部をさらに備え、
   重み算出部は、前記グループに属する画素値に基づいて前記グループ毎に算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する
   請求項１に記載の画像処理装置。
4. 前記重み算出部は、
   前記注目画素を中心とした第１の数の画素値を、少なくとも注目画素の画素位置を含む複数の位置の画素から成るグループであって、前記第１の数より少ない第２の数の画素値から成る複数のグループに分類する
   請求項３に記載の画像処理装置。
5. 前記回帰係数は、予め学習されて記憶されており、
   前記学習においては、
   高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
   生徒画像の画素値、前記重みを用いて前記教師画像の注目画素値を算出する線形一次方程式のサンプルを前記クラスコード毎に複数生成し、前記複数のサンプルから最適な前記回帰係数が算出される
   請求項１に記載の画像処理装置。
6. 重み算出部が、入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出し、
   回帰係数読み出し部が、前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出し、
   画素値算出部が、前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた線形一次式の演算により出力画像の注目画素の画素値を算出するステップ
   を含む画像処理方法。
7. コンピュータを、
   入力画像の注目画素を中心とした複数の画素値に基づいて算出される特徴量に基づいて、前記注目画素を中心とした複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
   前記入力画像の注目画素に対応する複数の画素値に基づいて定まるクラスコード毎に記憶されている回帰係数を読み出す回帰係数読み出し部と、
   前記入力画像の注目画素を中心とした複数の画素値、前記重み、および、前記回帰係数を用いた演算により出力画像の注目画素の画素値を算出する画素値算出部とを備える画像処理装置として機能させる
   プログラム。
8. 高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
   教師画像の注目画素に対応する生徒画像の複数の画素値基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
   前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出する回帰係数算出部と
   を備える学習装置。
9. 前記重み算出部は、
   前記グループに属する画素値に基づいて、エッジの存在と相関性の高い特徴量を算出する
   請求項８に記載の学習装置。
10. 教師画像の注目画素に対応する生徒画像の複数の画素値を複数のグループに分割するグループ分割部をさらに備え、
    前記重み算出部は、
    前記グループに属する画素値に基づいて前記グループ毎に算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する
    請求項８に記載の学習装置。
11. 前記重み算出部は、
    前記注目画素を中心とした第１の数の画素値を、少なくとも注目画素の画素位置を含む複数の位置の画素から成るグループであって、前記第１の数より少ない第２の数の画素値から成る複数のグループに分類する
    請求項１０に記載の学習装置。
12. 高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
    重み算出部が、教師画像の注目画素に対応する生徒画像の複数の画素値に基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出し、
    回帰係数算出部が、前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出するステップ
    を含む学習方法。
13. コンピュータを、
    高画質の画像を教師画像とし、前記教師画像を劣化させた画像を生徒画像とし、
    教師画像の注目画素に対応する生徒画像の複数の画素値基づいて算出される特徴量に基づいて、前記生徒画像の複数の画素値のそれぞれに対応する重みを算出する重み算出部と、
    前記生徒画像の複数の画素値、前記重み、および、回帰係数を用いた線形一次式の演算により前記教師画像の注目画素値を算出する回帰予測演算の前記回帰係数を算出する回帰係数算出部とを備える学習装置として機能させる
    プログラム。

Images