JPWO2014083857A1 - 画像処理装置、及び、画像処理方法 - Google Patents

Abstract

超解像画像の復元において、階調を残したい領域の低階調化を低減する。本発明の画像処理装置は、入力画像の画素の特徴量の勾配と勾配の方向とを基に入力画像の特徴量を保存する領域を判定し、特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する重み算出手段と、重みを用いて入力画像を基に復元される高解像画像の正則化項制約を算出する正則化項算出手段と、高解像画像の再構成に基づく制約である再構成制約を算出する再構成制約算出手段と、正則化項制約と再構成制約とを基に入力画像から高解像画像を復元する画像復元手段とを含む。

Description

本発明は、画像処理に関し、特に、画像の解像度を高くする画像処理装置及び画像処理方法に関する。

撮影装置が撮影する画像（image）は、フィルム媒体の画像から、デジタルデータに移っている。

デジタルデータの画像は、フィルム媒体の画像に比べ、加工処理が容易である。そのため、デジタルデータの画像は、いろいろな画像処理装置を用いて、加工処理が実施されている。

このような加工処理の１つとして、超解像（super resolution）処理が知られている(例えば、特許文献１を参照)。

超解像処理は、解像度が低い画像（入力画像）を基に、解像度の高い画像（高解像画像）を生成する処理である。

超解像技術は、次のような技術がある。

１つ目の超解像技術は、特許文献１に記載の再構成型超解像（reconstruction based super resolution）技術である。

一般的に、入力画像は、劣化過程（deteriorate process、例えば、ボケ（blur）や低解像度化）を経由して解像度（resolution）が低下している。

そこで、再構成型超解像技術は、入力画像に対して、劣化過程を再構成し、高解像画像を生成する。

ただし、劣化過程として、複数の種類の過程が、想定可能である。そのため、再構成型超解像技術は、複数の高解像画像の候補（candidate）（又は、解（solution））を算出できる。そこで、再構成型超解像技術は、再構成した高解像画像の候補（解）を絞り込むため、制約条件（constraint conditions）を用いる。

再構成型超解像技術は、複数の制約条件を設定できる。

ここでは、代表的な制約条件を説明する。

１つ目の制約条件は、再構成に基づく制約条件（以下、「再構成制約（reconstruction constraint）」と言う）である。より具体的には、再構成制約は、入力画像と再構成した高解像画像との関係（例えば、高解像画像を劣化させた画像と入力画像との差）や再構成の処理量を基に判断する制約である。

２つ目の制約条件は、高解像画像自身の適切さを基にした制約である。より具体的には、この制約条件は、高解像画像の行列の正則性（regularity）に基づく制約である（以下、この制約条件を、「正則化項制約（regularization constraint）」と言う）。例えば、再構成型超解像技術は、ベイズ理論（事前確率：prior probability）を基に正則化項を追加する。この場合、正則化項制約は、追加した正則化項を基に判断する制約である。

そして、再構成型超解像技術は、再構成制約と正則化項制約とを基に、高解像画像の候補（解）を絞り込む。なお、再構成型超解像技術は、実際の処理として、各制約をコストとして算出し、合計コストを最小にするように判定しても良い。

２つ目の超解像技術は、学習型超解像（learning based super resolution）技術である。学習型超解像技術は、予め、学習用高解画像と低解像画像との関係を基に辞書を作成する。そして、学習型超解像技術は、その辞書を用いて、入力画像から高解像画像を生成する技術である。ここで、辞書は、事前知識（previous knowledge）といっても良い。そのため、学習型超解像技術は、事前知識を解の制約条件としたとも言える。

再構成型超解像技術は、入力画像を用いて算出した再構成制約を用いる。一方、学習型超解像技術は、学習用高解像画像と低解像画像との関係を基に作成した辞書を用いる。画像処理装置は、再構成型超解像技術の再構成制約を学習型超解像技術の辞書に基づく処理に置き換え、再構成型超解像技術の正則化項制約を用いても、超解像画像を生成できる。そのため、以下の説明では、特に断らない限り、再構成型超解像技術は、学習型超解像技術を含む超解像技術として説明する。また、特に断らない限り、再構成制約は、適宜、辞書に基づく処理に置き換え可能である。

図８は、特許文献１に記載の技術を用いる一般的な超解像画像を復元する画像処理装置９０の構成の一例を示すブロック図である。

画像処理装置９０は、再構成制約算出部９１０と、正則化項算出部９２０と、画像復元部９３０とを含む。

再構成制約算出部９１０は、再構成制約、つまり、再構成のコストを計算する。

正則化項算出部９２０は、正則化に基づく制約（正則化項制約）、つまり、正則化に基づくコストを計算する。

特許文献１に記載の超解像技術を用いる画像処理装置９０の正則化項算出部９２０は、正則化として、例えば、ＴＶ（Total Variation）を用いる（例えば、非特許文献１を参照）。ＴＶは、隣接画素間の画素値の差分の絶対値の合計が最小となるように正則化する手法である。

あるいは、正則化項算出部９２０は、ＢＴＶ（Bilateral Total Variation）を用いても良い（例えば、非特許文献２を参照）。ＢＴＶは、隣接に限らず、近傍画素間の画素値の差分の絶対値の合計値が最小になるように正則化する手法である。ただし、ＢＴＶは、画素の位置に基づく減数係数を差分の絶対値に乗じてから合計を求める。

画像復元部９３０は、復元画像として、再構成のコストと正則化のコストとの合計を最小とする超解像画像を生成（復元）する。

このように、一般的な超解像技術を用いる画像処理装置９０は、再構成制約と正則化項制約とを考慮して、解像度を高めた高解像画像を復元する。

特開２０１１−１８０７９８号公報

Michael K. Ng, Huanfeng Shen, Edmund Y. Lam, and Liangpei Zhang, "A Total Variation Regularization Based Super-Resolution Reconstruction Algorithm for Digital Video", EURASIP Journal on Advances in Signal Processing, Volume 2007, Article ID 74585, 16 pages Farsiu, S.; Robinson, M.D.; Elad, M.; Milanfar, P. "Fast and robust multiframe super resolution" IEEE Transactions on Image Processing, Volume 13, Issue 10, 2004, Pages: 1327 - 1344

画像に含まれる領域（area）は、画素値の特徴を基に、複数の種類に分類できる。

分類された領域の１つとして、テクスチャ（texture）領域がある。

テクスチャ領域は、隣接又は近傍との画素間で、所定の画素の特徴値（例えば、輝度（luminance）の階調（tone））が大きく異なることを特徴とする領域である。このようなテクスチャ領域は、特徴値（例えば、階調）の保存が望ましい。

しかし、画像処理装置９０が用いるＴＶ又はＢＴＶに基づく正則化は、テクスチャ領域のような特徴値を保存したい領域についても、特徴値を平均化（平坦化：flattening）する。その結果、テクスチャ領域は、特徴値が平坦化（例えば、輝度の階調が低階調化）されてしまう。

このように、特許文献１に記載の技術は、画素の特徴値（feature value）を残したい領域において、特徴値が平坦化（例えば、低階調化）するという問題点があった。

本発明の目的は、上記課題を解決し、超解像画像の復元において、画素の特徴値を残したい領域の平坦化を低減する画像処理装置、及び、画像処理方法を提供することにある。

本発明の一態様における画像処理装置は、入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する重み算出手段と、前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出する正則化項算出手段と、前記高解像画像の再構成に基づく制約である再構成制約を算出する再構成制約算出手段と、前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する画像復元手段とを含む。

本発明の一態様における画像処理方法は、入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出し、前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出し、前記高解像画像の再構成に基づく制約である再構成制約を算出し、前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する。

本発明の一態様におけるコンピュータ読み取り可能にプログラムを記録した記録媒体は、入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する処理と、前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出する処理と、前記高解像画像の再構成に基づく制約である再構成制約を算出する処理と、前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する処理とをコンピュータに実行させるプログラムを記憶する。

本発明によれば、超解像画像の復元において、階調を残したい領域の低階調化を低減できる。

図１は、本発明における第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２は、エッジ領域を説明するための図である。 図３は、テクスチャ領域を説明するための図である。 図４は、第１の実施形態に係る重み算出部の構成の一例を示すブロック図である。 図５は、第１の実施形態に係る画像処理装置の別の構成の一例を示すブロック図である。 図６は、第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図７は、第３の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図８は、一般的な画像処理装置の構成の一例を示すブロック図である。

次に、本発明の実施形態について図面を参照して説明する。

なお、各図面は、本発明の実施形態を説明するものである。そのため、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明は、省略する場合がある。

（第１の実施形態）
図１は、本発明における第１の実施形態に係る画像処理装置１０の構成の一例を示すブロック図である。

画像処理装置１０は、再構成制約算出部２０と、正則化項算出部３０と、画像復元部４０と、重み算出部５０とを含む。

再構成制約算出部２０は、再構成に基づく制約の状態を示す値（再構成制約）を算出する。

本実施形態の再構成制約算出部２０は、算出する値（再構成制約）として特に制限はない。

例えば、再構成制約算出部２０は、再構成制約として、再構成に基づく制約が大きくなる場合に値（コスト：cost）が多くなるように、制約を算出しても良い。一例を示すと、画像のボケ及びダウンサンプリング（down-sampling）を考慮する場合、再構成制約算出部２０は、次の数式１を用いて、再構成制約の値（コスト）を算出しても良い。

［数１］

ここで、行列Ｄはダウンサンプリング行列、行列Ｂはボケ行列、行列Ｘは入力画像の行列、行列Ｙは超解像画像（復元画像）の行列である。「ＤＢＸ」は、行列Ｄ、Ｂ及びＸの積である。

また、二重線の上下の数字は、下がノルム（norm）を示し、上がべき乗を示す。例えば、数式１は、「Ｌ２ノルム」の「２乗」を示す。

また、再構成制約算出部２０は、再構成制約として、再構成に基づく制約が小さくなる場合に値が小さくなるように、制約を算出しても良い。

正則化項算出部３０は、後ほど説明する重み算出部５０が算出した重みを考慮して、正則化に基づく制約の状態を示す値（正則化項制約）を算出する。

なお、正則化項算出部３０は、算出する値（正則化項制約）として特に制限はない。正則化項算出部３０は、正則化項制約として、制約が大きい場合に値が小さくなるように、制約を算出しても良い。また、正則化項算出部３０は、正則化項制約として、制約が小さくなる場合に値が大きくなるように、制約を算出しても良い。

このように、本実施形態の再構成制約算出部２０及び正則化項算出部３０は、算出する値に特に制限はない。ただし、以下の説明では、説明の記載を簡潔にするため、各制約は、制約が大きい場合に各制約の値が大きくなるとして説明する。制約が小さい場合に値が大きくなる制約を用いる場合、画像処理装置１０は、以下の説明における値の大小の判定を入れ替えればよい。

画像復元部４０は、復元画像として、再構成制約算出部２０が算出した再構成制約と正則化項算出部３０が算出した正則化項制約との合計（合計コスト）を最小とする超解像画像を選択（復元）する。

例えば、画像復元部４０は、超解像画像として、次の数式２を最小とする画像を選択（復元）しても良い。

［数２］

数式２の第１項は、数式１に示す再構成制約である。第２項は、正則化項制約である。

なお、本明細書において、「復元」とは、単に画像を「生成」する意味を含む。

画像処理装置１０は、画像復元部４０の復元画像において、再構成制約と正則化項制約との合計コストが最小となるまで、又は、所定の回数、既に説明した動作を繰り返す。

重み算出部５０は、隣接又は近傍の画素間での差分（例えば階調差）が特徴となる領域（例えば、テクスチャ領域。以下、例示として、テクスチャ領域を用いて説明する）を判別する。そして、重み算出部５０は、テクスチャ領域での画素間の差分が残るような重みを算出し、正則化項算出部３０に送る。

繰り返しとなるが、正則化項算出部３０は、この重みを基に正則化項を算出する。

つまり、重み算出部５０は、特徴量を保存する領域を判定し、その領域における正則化項制約を低減する重みを算出する。

なお、正則化項算出部３０が、制約が大きい場合に値が大きくなる制約（例えば、正則化項制約）を用いる場合、重み算出部５０は、テクスチャ領域において制約の値が小さくなるように、重みを算出する。その重みを用いると、正則化項算出部３０は、テクスチャ領域での画素間の差異を、他の領域の画素間の差異より低く評価した正則化項制約（コスト）を算出する。つまり、正則化項算出部３０は、正則化項制約に対するテクスチャ領域での画素間の差異の影響を受けにくくした重みを用いて、正則化項制約を算出する。その結果、本実施形態の画像処理装置１０は、テクスチャ領域の画素間の差分（例えば階調度）の低下（低階調化）を抑えた画像を復元できる。

なお、正則化項算出部３０が、制約が小さい場合に大きくなる値（正則化項制約）を用いる場合、重み算出部５０は、テクスチャ領域において制約の値が大きくなるように重みを算出しても良い。あるいは、重み算出部５０は、同様に重みを算出し、正則化項算出部３０が、重みを用いた計算方法を変更（例えば、符号反転して積和する）しても良い。

次に、図面を参照して、本実施形態の重み算出部５０について更に説明する。

重み算出部５０は、テクスチャ領域の画素の特徴値を基に、テクスチャ領域を判定する。

テクスチャ領域の画素の特徴値は、特に限らない。例えば、画素の特徴値は、輝度や光度（luminous intensity）の階調、色（色相：hue）の違い、彩度（chroma）の差などが想定できる。以下では、特徴量の一例として、輝度を用いて説明する。

図面を参照して、画像の領域について説明する。

図２は、端（エッジ）を含むエッジ領域を説明するための図である。

エッジ領域は、図２に示すように、境界（例えば、白と黒の境界）が明確であり、境界が概ね一方向となっている。つまり、エッジ領域は、輝度の勾配（gradient）量が大きく、輝度勾配方向が概ね揃っている。なお、図２に示すλ_１及びλ_２の矢印は、輝度勾配の主成分のである（ただし、λ_１≧λ_２である）。つまり、エッジ領域は、輝度勾配量が大きいため、「λ_１＞λ_２」となっている。また、エッジ領域は、輝度勾配方向が、揃っている。

図３は、テクスチャ領域について説明するための図である。（図３のλは、図２のλと同じである。）
テクスチャ領域は、図３に示すように、輝度勾配量が大きいが、輝度勾配の方向が揃っていない。（例えば、図３には、水平方向の境界と、垂直方向の境界がある。）つまり、テクスチャ領域は、輝度勾配量が大きい。また、テクスチャ領域は、輝度勾配方向が揃っていない（λ_１≒λ_２）。

テクスチャ領域の具体的な例は、木々が茂った森の領域、屋内の絨毯の領域、頭部の髪の毛の領域等である。ただし、テクスチャ領域は、これらに限定されない。テクスチャ領域は、画像中の隣接又は近傍との画素間で、所定の画素の特徴値（例えば、輝度（luminance）の階調（tone））が大きく異なることを特徴とする領域であればどのような領域でも良い。本実施形態のテクスチャ領域は、上記を含め、様々な領域を含む。

一方、平坦な領域は、輝度勾配量が小さい。また、平坦な領域は、輝度勾配方向が、揃う場合と揃わない場合とがある。なお、平坦な領域は、輝度勾配の成分の差がなく、輝度勾配方向を求めることができない場合もある。

本実施形態の重み算出部５０は、上記の各領域の特徴を基に、テクスチャ領域を検出し、検出したテクスチャ領域の重みを算出する。

図４は、本実施形態の重み算出部５０の構成の一例を示すブロック図である。

重み算出部５０は、勾配算出部５１０と、方向算出部５２０と、重みデータ算出部５３０とを含む。

勾配算出部５１０は、輝度勾配量を算出する。重み算出部５０は、輝度勾配量を基に、平坦な領域と、その他の領域（エッジ領域とテクスチャ領域）とを判別する。

本実施形態の勾配算出部５１０は、輝度勾配量を算出する手法として、特に限る必要はなく、いろいろな手法を使用できる。

例えば、勾配算出部５１０は、次のように輝度勾配量を算出しても良い。

まず、勾配算出部５１０は、画像全体の輝度勾配量の水平及び垂直成分（ｌ_ｘ，_ｌｙ）を算出する。そして、勾配算出部５１０は、例えば、ゾーベルフィルタ（Sobel Filter）を用いて輝度勾配量の成分を算出する。

次に、勾配算出部５１０は、輝度勾配量の成分（ｌ_ｘ、ｌ_ｙ）の二乗和を対角成分とする行列（行列Ｉ）を算出する。

平坦な領域は、輝度勾配量が小さく、その他の領域（エッジ領域とテクスチャ領域）は、輝度勾配量が大きい。

そのため、後ほど説明する重みデータ算出部５３０は、二乗和（行列Ｉの対角成分）を所定に閾値と比較し、平坦な領域と、その他の領域（エッジ領域とテクスチャ領域）とを判別できる。

なお、勾配算出部５１０は、判別結果として、二乗和を保存しても良い。

また、勾配算出部５１０は、上記に限らず、算出結果を後の処理に適した保存情報として保存しても良い。例えば、勾配算出部５１０は、平坦な領域を示すマスクとして、判定結果を保存しても良い。具体的には、勾配算出部５１０は、平坦な領域では「１」、それ以外の領域では「０」との値を設定したマスク（マスク行列Ｍ）を作成して、保存しても良い。

方向算出部５２０は、輝度勾配方向量を算出する。そして、方向算出部５２０は、輝度勾配方向量を基に、テクスチャ領域とエッジ領域とを判別する。

エッジ領域は、輝度勾配方向が揃っている。

一方、テクスチャ領域は、輝度勾配方向が揃っていない。

そこで、方向算出部５２０は、例えば、次のように動作する。

まず、方向算出部５２０は、直線画素（エッジ）として、座標（ｘ、ｙ）が次の数式３を満たす画素を算出する。

［数３］

ここで、ｘ、ｙは、それぞれ、画素の水平方向、垂直方向の座標である。また、各変数は、次のとおりである。

Ｉ_ｘ及びＩ_ｙ：水平及び垂直方向の輝度勾配成分
ｔ_１及びｔ_２：所定の閾値
λ_１及びλ_２：次の数式４で示す行列Ａの固有値、ただしλ_１＞λ_２
［数４］

ここで、Ｒは、その画素と近傍の画素を含む領域である。（ここで、近傍とは、予め定めた範囲である。例えば、前後左右３画素の範囲である。）
さらに、方向算出部５２０は、数式３を満たす画素の行列Ａの固有値を用いて、輝度勾配方向の揃っている程度として、行列Ｊを算出する。

ここで、行列Ｊは、対角行列である。そして、行列Ｊの対角成分は、数式３の満たす各画素の行列Ａの固有値を用いて算出された値である。ｉ番目の画素に対応する対角成分Ｊ_ｉは、その画素（画素ｉ）の固有値をλ_i１及びλ_ｉ２とすると、次の数式５となる。

［数５］

ここで、Ｊ_０は、超解像画像中の生成される階段状形状（ジャギー：jaggy）の発生について、あらかじめ定められたパラメータである。超解像画像中に生成されるジャギーは、J_０の値が大きいほど、発生が抑制される。なお、画像処理装置１０は、予め、Ｊ_０を保存しておけばよく、Ｊ_０の入手方法に特に制限はない。例えば、画像処理装置１０は、図示しないパラメータを保存したデータベースからＪ_０を読み出しても良く、利用者からＪ_０の入力を受け付けても良い。なお、λ_０は、所定の定数である。

また、関数ξ_aは、次に数式６で示すシグモイド関数である。

［数６］

テクスチャ領域は、輝度勾配方向が揃っていない。そのため、後ほど説明する重みデータ算出部５３０は、方向算出部５２０が算出した行列Ｊを基に、テクスチャ領域とエッジ領域とを判別できる。

重みデータ算出部５３０は、勾配算出部５１０の算出結果（輝度勾配量）と、方向算出部５２０の算出結果（輝度勾配方向の揃っている程度（行列Ｊ））とを基に、正則化項算出部３０が用いる重みを算出する。より詳細に説明すると、重みデータ算出部５３０は、勾配算出部５１０の算出結果（輝度勾配量）を基に、エッジ領域及びテクスチャ領域を含む領域を判別する。そして、重みデータ算出部５３０は、判別した領域から、方向算出部５２０の結果を用いて、テクスチャ領域を判別する。そして、重みデータ算出部５３０は、判別したテクスチャ領域の重さを低くした重みを算出する。

重みデータ算出部５３０は、算出した重みを、正則化項算出部３０に送信する。

なお、重みデータ算出部５３０は、正則化項算出部３０が利用可能な重みであれば、重みデータの形式を特に限る必要はない。重みデータ算出部５３０は、重みをベクトルデータとして送信しても良く、行列データとして送信しても良い。以下の説明では、一例として、重みデータ算出部５３０は、勾配算出部５１０と方向算出部５２０との算出結果を用いて、次の数式７で示す重みを算出する。

［数７］

ここで、Λは、ベクトルであり、ｄｉａｇ（Λ）は、ベクトルΛの成分を、対角成分に並べた対角行列（以下、「重み」又は「重み行列」と言う）である。また、α及びβは、所定の定数である。なお、行列Ｉ及び行列Ｍは、単位行列、及び勾配算出部５１０が算出した二乗和の行列から算出されるマスク行列である。また、行列Ｊは、方向算出部５２０が算出した輝度勾配の揃っている程度を示す算出結果である。

重みデータ算出部５３０は、算出した重みを正則化項算出部３０に送信する。

この重みを受信した正則化項算出部３０は、重みを用いて正則化項の制約を算出する。

具体的には、例えば、正則化項算出部３０は、次の数式８に示す正則化項の制約Ｒ（Ｘ）を用いる。

［数８］

ここで、行列Ｘは、入力画像である。また、行列Ｓは、平行移動を示す行列である。Ｓの下付き文字が方向、上付き文字が移動する画素数を示す。例えば、Ｓ^ｌ _ｘは、ｘ方向にｌ画素平行移動する行列である。なお、正則化項算出部３０の制約Ｒ（Ｘ）は、数式８に限定されない。例えば、正則化項算出部３０は、数式８の代わりに、次の数式９に示す制約Ｒ（Ｘ）を用いても良い。

［数９］

ここで、ｐ、ｑは、利用者が決定するパラメータである。

なお、以上の説明において、画像処理装置１０の各構成は、データを次の構成に送付するとして説明した。しかし、画像処理装置１０は、これの構成に限る必要はない。例えば、画像処理装置１０は、図示しない記憶部を含み、各構成は、記憶部に結果を記憶し、必要なデータを記憶部から取り出しても良い。

なお、以上の本実施形態の説明では、αとβを所定の定数、pとqを所定のパラメータとして説明した。しかし、本実施形態は、これに限定されない。例えば、画像処理装置１０は、画素毎に又は領域毎に、予め所定の方法（例えば、回帰分析）を基にα、β、p、及びqを決定してもよい。

より具体的な例として、例えば、画像処理装置１０は、予め用意した学習用の高解像画像（以下、「Ｘ_H」と言う）と、その高解像画像（Ｘ_Ｈ）から人工的に生成した低解像画像（以下、「Ｙ_L」と言う）を基に、α、β、p、及びqを求めてもよい。

より詳細に説明すると、例えば、次のようになる。

画像処理装置１０は、学習用の複数の高解像画像（Ｘ_Ｈ）の画素毎又は領域毎に、数式９で表される関数Ｒ（Ｘ_Ｈ）が最小になるように、α、β、p、及びqの組を求める。そして、画像処理装置１０は、画素毎又は領域毎に、高解像画像（Ｘ_Ｈ）から生成した低解像画像（Ｙ_Ｌ）の値からα、β、p、及びqを算出する関数を、所定の方法（例えば、回帰分析）を用いて求めればよい。

ここで、画像処理装置１０は、関数としては、例えば、低解像画像（Ｙ_Ｌ）に数式５を適用して算出した様々なJ_Lと、Ｊ_Ｌに対応するα、β、p、及びqを基に、J_Lを引数とするα、β、p、及びqの関数を算出する。（以下、それぞれの関数をα_L（J_L）、β_L（J_L）、p_L（J_L）、及びq_L（J_L）と言う。）或いは、より直接的に、画像処理装置１０は、ルックアップテーブル上に様々なJ_Lと、それに対応するα、β、p、及びqを保持し、ルックアップテーブルを参照して、これら（α、β、p、及びq）の値を求めても良い。

そして、画像処理装置１０は、超解像画像化の対象となる低解像度の入力画像（Y_Ｌ）に対しても、数式５を用いてJ_Lを算出する。そして、画像処理装置１０は、算出されたJ_Lを基に、上記の関数（α_L（J_L）、β_L（J_L）、p_L（J_L）、及びq_L（J_L））、又は、ルックアップテーブルを用いて、α、β、p、及びqを算出すれば良い。

ただし、画像処理装置１０のα、β、p、及びqの算出方法は、これに限定されない。

例えば、画像処理装置１０は、次のような方法を用いても良い。

画像処理装置１０は、予め、画素毎又は領域毎に、高解像画像（Ｘ_Ｈ）に数式５を適用して算出したＪ_Ｈと、数式９で表される関数Ｒ（Ｘ_Ｈ）が最小になるα、β、p、及びqの組を算出する。そして、画像処理装置１０は、前述の方法と同様に、J_Hとα、β、p、及びqの関係を、所定の方法（例えば、回帰分析）を基に算出する。（以下、これら（J_Hとα、β、p、及びq）の関数は、以下、α_H（J_H）、β_H（J_H）、p_H（J_H）、及びq_H（J_H）と表す。）或いは、画像処理装置１０は、α、β、p、及びqをルックアップテーブルとして保持しておく。

そして、画像処理装置１０は、入力となる低解像画像（Ｙ_Ｌ）に数式５を適用してJ_Lを算出する。その後、画像処理装置１０は、上述の関数（α_L（J_L）、β_L（J_L）、p_L（J_L）、及びq_L（J_L））又はルックアップテーブルを用いて、α、β、p、及びqを、暫定的に算出する。そして、画像処理装置１０は、これら（α、β、p、及びq）を用いて超解像画像（以下、「Ｘ_ＳＲ」と言う）を生成する。

さらに、画像処理装置１０は、超解像画像（Ｘ_ＳＲ）に数式５を適用してＪ_ＳＲを算出する。

そして、画像処理装置１０は、J_SRと、上記の関数（α_H（J_H）、β_H（J_H）、p_H（J_H）、及びq_H（J_H））と基に、α、β、p、及びqを、再度算出する。そして、画像処理装置１０は、算出したα、β、p、及びqを用いて超解像画像（Ｘ_ＳＲ）を更新する。

画像処理装置１０は、超解像画像（Ｘ_ＳＲ）とα、β、p、及びqの値の変化がなくなる、又は、変化が所定の範囲内となるまで、上記処理を繰り返す。このように、画像処理装置１０は、超解像画像（Ｘ_ＳＲ）を更新する。

或いは、画像処理装置１０は、次のように、α、β、p、及びqを算出しても良い。

これまでので説明では、画像処理装置１０は、入力となる低解像画像（Ｙ_Ｌ）に数式５を適用して算出したJ_L、又は、超解像画像（Ｘ_ＳＲ）に数式５を適用して算出したJ_SRを用いて、α、β、p、及びqを算出した。しかし、画像処理装置１０は、J_L及びJ_SRの両者を用いて、α、β、p、及びqを算出してもよい。

すなわち、画像処理装置１０は、予め、画素毎又は領域毎に、高解像画像（Ｘ_Ｈ）に数式５を適用して算出したJ_Hと、高解像画像（Ｘ_Ｈ）から生成した低解像画像（Ｙ_Ｌ）に数式５を適用して算出したJ_Lを算出する。さらに、画像処理装置１０は、数式９で表される関数Ｒ（Ｘ_Ｈ）が最小になるα、β、p、及びqとを算出しておく。

そして、画像処理装置１０は、J_LとJ_Hと、それぞれに対応するα、β、p、及びqとを所定の方法（例えば、回帰分析）に用いて、J_LとJ_Hを引数とする関数を算出する（以下、それぞれの関数をα_LH（J_L、J_H）、β_LH（J_L、J_H）、p_LH（J_L、J_H）、及びq_LH（J_L、J_H）と言う）。或いは、画像処理装置１０は、「α、β、p及びq」と、「J_LとJ_H」との関係を、ルックアップテーブルとして、保持しておく。

そして、画像処理装置１０は、上記と同様の方法を用いて生成した超解像画像（Ｘ_ＳＲ）と入力画像（Ｙ_Ｌ）を基に、J_LとJ_SRを求める。そして、画像処理装置１０は、J_LとJ_SRを基に、α、β、p、及びqを算出する。そして、画像処理装置１０は、算出したα、β、p、及びqを基に、超解像画像（Ｘ_ＳＲ）を更新する。そして、画像処理装置１０は、更新した超解像画像（Ｘ_ＳＲ）と入力画像（Ｙ_Ｌ）とを基に、J_LとJ_SRを算出する。そして、画像処理装置１０は、算出したJ_LとJ_SRとを基に、α_LH（J_L 、J_H）、β_LH（J_L 、J_H）、p_LH（J_L 、J_H）、及びq_LH（J_L、J_H）を用いて、α、β、p及びqを更新する。画像処理装置１０は、この処理を、超解像画像（Ｘ_ＳＲ）、α、β、p、及びqの値が変化しなくなる、又は、値の変化が所定の範囲に入るまで繰り返す。

このように本実施形態の画像処理装置１０は、高解像画像の復元において、階調を残したいテクスチャ領域の低階調化を低減する効果を得ることができる。

その理由は、次のとおりである。

画像処理装置１０の重み算出部５０は、輝度勾配量の大きさと輝度勾配量の揃っている程度を基にテクスチャ領域を判別する。そして、重み算出部５０は、判別したテクスチャ領域に対して、画素間の差が大きくて正則化項の算出結果（正則化項制約）が低くなるように重みを算出する。そして、正則化項算出部３０は、その重みを用いて正則化項を算出する。そのため、画像復元部４０は、テクスチャ領域の階調を低下させない復元画像を選択（復元）できるためである。

＜変形例＞
画像処理装置１０の構成は、これまでの説明に限らない。

例えば、画像処理装置１０は、既に説明した図示しない記憶部を含んでも良い。

また、画像処理装置１０は、各構成を複数の構成に分けても良い。

例えば、重み算出部５０は、方向算出部５２０を、行列Ａの算出部と、固有値算出部と、行列Ｊの算出部とに分けても良い。

また、画像処理装置１０は、複数の構成を１つの構成としても良い。例えば、重み算出部５０と正則化項算出部３０は、１つの構成でも良い。

さらに、本実施形態の画像処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータとして実現しても良い。さらに、画像処理装置１０は、ＩＯ（Input / Output unit）と、ＮＩＣ（Network Interface Circuit又はNetwork interface Card）とを含み、他の装置又は機器と接続しても良い。

図５は、本実施形態の別の構成である画像処理装置１８の構成の一例を示すブロック図である。

画像処理装置１８は、ＣＰＵ８１０と、ＲＯＭ８２０と、ＲＡＭ８３０と、内部記憶装置８４０と、ＩＯ８５０と、入力機器８６０と、表示機器８７０と、ＮＩＣ８８０とを含み、コンピュータを構成している。

ＣＰＵ８１０は、ＲＯＭ８２０又は内部記憶装置８４０からプログラムを読み込む。そして、ＣＰＵ８１０は、読み込んだプログラムに基づいて、図１に示す画像処理装置１０の再構成制約算出部２０と、正則化項算出部３０と、画像復元部４０と、重み算出部５０としての各機能を実現する。ＣＰＵ８１０は、各機能を実現する際に、ＲＡＭ８３０又は内部記憶装置８４０を一時記憶として使用する。また、ＣＰＵ８１０は、ＩＯ８５０を介して、入力機器８６０から入力データを受信し、表示機器８７０にデータを出力する。

なお、ＣＰＵ８１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体８９０が含むプログラムを、図示しない記憶媒体読み取り装置を用いてＲＡＭ８３０に読み込んで、動作しても良い。このように、ＣＰＵ８１０は、ＲＯＭ８１０又は記憶媒体８９０のような不揮発性メモリ（non-transitory memory）を用いても良く、ＲＡＭ８３０のような揮発性メモリ（transitory memory）を用いても良い。

あるいは、ＣＰＵ８１０は、ＮＩＣ８８０を介して、図示しない外部の装置からプログラムを受け取っても良い。

ＲＯＭ８２０は、ＣＰＵ８１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ８２０は、例えば、Ｐ−ＲＯＭ(Programmable-ROM）やフラッシュＲＯＭである。

ＲＡＭ８３０は、ＣＰＵ８１０が実行するプログラムやデータを一時的に記憶する。ＲＡＭ８３０は、例えば、Ｄ−ＲＡＭ（Dynamic-RAM）である。

内部記憶装置８４０は、画像処理装置１８が長期的に保存するデータやプログラムを記憶する。また、内部記憶装置８４０は、ＣＰＵ８１０の一時記憶装置として動作しても良い。内部記憶装置８４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。

ＩＯ８５０は、ＣＰＵ８１０と、入力機器８６０及び表示機器８７０とのデータを仲介する。ＩＯ８５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。

入力機器８６０は、画像処理装置１８の操作者からの入力指示を受信する入力部である。入力機器８６０は、例えば、キーボード、マウス又はタッチパネルである。

表示機器８７０は、画像処理装置１８の表示部である。表示機器８７０は、例えば、液晶ディスプレイである。

ＮＩＣ８８０は、ネットワークを介した他の装置（例えば、図示しない入力画像を送信する装置及び復元画像を受け取る装置）とのデータ（画像）のやり取りを中継する。ＮＩＣ８８０は、例えば、ＬＡＮ（Local Area Network）カードである。

このように構成された画像処理装置１８は、画像処理装置１０と同様の効果を得ることができる。

その理由は、画像処理装置１８のＣＰＵ８１０が、プログラムに基づいて画像処理装置１０と同様の動作を実現できるためである。

（第２の実施形態）
エッジ領域に含まれるエッジは、滑らかな場合が多い。ただし、エッジは、階段状（ジャギー：jaggy）となっている場合もある。エッジが滑らか又はジャギーであるかの判定は、複数の画素の参照が必要である。しかし、ＴＶ及びＢＴＶは、個々の画素間の差分を用いるため、エッジが滑らかであるかジャギーであるかを区別できない。そのため、特許文献１に記載の技術は、滑らかなエッジを含むエッジ領域にジャギーノイズが発生する問題点があった。

第２の実施形態に係る画像処理装置１１は、エッジ領域のジャギーノイズの発生を抑制する。

図６は、第２の実施形態の画像処理装置１１の構成の一例を示すブロック図である。

画像処理装置１１は、再構成制約算出部２０と、正則化項算出部３０と、画像復元部４１と、重み算出部５１と、方向制約算出部６０とを含む。

なお、本実施形態の画像処理装置１１は、画像処理装置１０と同様に、図５に示すＣＰＵ８１０と、ＲＯＭ８２０と、ＲＡＭ８３０とを含むコンピュータで実現されても良い。

再構成制約算出部２０及び正則化項算出部３０は、第１の実施形態の画像処理装置１０と同様のため、詳細な説明を省略する。

重み算出部５１は、算出した重みを正則化項算出部３０に送ることに加え、方向制約算出部６０に送る点を除いて、第１の実施形態の重み算出部５０と同様に動作する。そのため、これ以外の詳細な説明は、省略する。

方向制約算出部６０は、エッジ領域に含まれるエッジのような、最大の輝度勾配方向に直交する方向（エッジ方向）が揃っている領域に対して、画素値がエッジ方向に滑らかになるような制約（方向制約）を算出する。

例えば、方向制約算出部６０は、方向制約を算出するために用いる滑らかさを示す値として、エッジ方向の微分値を用いれば良い。

エッジ方向の微分値を用いる場合、方向制約算出部６０は、次のように、方向制約を算出すれば良い。

方向制約算出部６０は、エッジ方向が滑らかな領域として、微分値の変化が小さい領域に、小さなペナルティを課す（方向制約を小さくする）。一方、方向制約算出部６０は、エッジ方向が滑らかでない領域として、微分値の変化が大きな領域に、大きなペナルティを課す（方向制約を大きくする）。

数式を用いて説明すると、方向制約算出部６０は、例えば、次の数式１０で表される方向制約を算出すれば良い。

［数１０］

ここで、行列Ｌ_ｎは、次の数式（数式１１）で示すエッジ方向に沿った微分である。

［数１１］

ただし、θは、水平方向（ｘ軸）とエッジ方向の角度である。

画像復元部４１は、再構成制約及び正則化項制約に加え、方向制約算出部６０が算出した方向制約を考慮して、画像を復元する。

具体的には、画像復元部４１は、次の数式１２を最小とする画像を選択（復元）する。

［数１２］

数式１２の第３項は、方向制約である。第１項と第２項は、数式２と同様である。

このように、第２の実施形態の画像処理装置１１は、エッジ領域でのジャギーノイズの発生を抑制する効果を得ることができる。

その理由は、次のとおりである。

画像処理装置１１の方向制約算出部６０は、エッジ方向に滑らかでない領域に対して、滑らかな領域より大きなペナルティを加えるような方向制約を算出する。画像復元部４１は、方向制約を考慮して画像を復元するため、エッジ方向が滑らかな領域を残した画像を復元できるためである。

（第３の実施形態）
ＴＶ及びＢＴＶは、対象範囲の全て画素間の差分を算出することが必要である。特に、ＢＴＶは、近傍領域の全ての画素間の差分を算出することが必要である。そのため、特許文献１に記載の技術は、大きな処理時間を必要とする。

第３の実施形態に係る画像処理装置１２は、処理時間を削減できる。

図７は、第３の実施形態の画像処理装置１２の構成の一例を示すブロック図である。

画像処理装置１２は、再構成制約算出部２０と、正則化項算出部３１と、画像復元部４０と、重み算出部５０と、参照画素枝刈り部７０とを含む。

なお、第３の実施形態の画像処理装置１２は、第２の実施形態の方向制約算出部６０を含んでも良い。

また、本実施形態の画像処理装置１２は、画像処理装置１０と同様に、図５に示すＣＰＵ８１０と、ＲＯＭ８２０と、ＲＡＭ８３０とを含むコンピュータで実現されても良い。

再構成制約算出部２０、画像復元部４０及び重み算出部５０は、第１の実施形態の画像処理装置１０と同様のため、詳細な説明を省略する。

参照画素枝刈り部７０は、重み算出部５０が算出した重みの一部について、正則化項算出部３１での正則化項制約の算出に使用しないように処理する。この処理を、以下、「枝刈り」と言う。

正則化項算出部３１は、参照画素枝刈り部７０が枝刈りした重みを用いて正則化項を算出する。そのため、正則化項算出部３１は、正則化項の算出に用いる画素の数を削減できる。

なお、本実施形態の参照画素枝刈り部７０の枝刈り処理は、特に制限はない。

例えば、参照画素枝刈り部７０は、予め決められた画素に対応するマスクを備え、重みにマスクを適用しても良い。この場合、正則化項算出部３１は、マスクされた重みに対応する画素について正則化項制約を算出しない。

また、参照画素枝刈り部７０は、ランダムに重みの成分を選択して、その成分の値を「０」に設定しても良い。例えば、重み算出部５０が数式７に示す重みを算出する場合、参照画素枝刈り部７０は、ベクトルΛ、又は、重み行列（ｄｉａｇ（Λ））の一部の成分をランダムに選択し、その値を「０」とすれば良い。

そして、参照画素枝刈り部７０が、上記のように成分を「０」に設定する場合、正則化項算出部３１は、値が「０」となっている成分の差分を算出しない。

このように、正則化項算出部３０は、参照画素枝刈り部７０の結果を基に、差分の算出処理を削減する。

なお、参照画素枝刈り部７０は、重みを操作せず、重みとは別情報として枝刈りに関する情報（例えば、フラグ）を正則化項算出部３１に通知しても良い。この場合、正則化項算出部３１は、第１の実施形態と同様に、重み算出部５０から重みを受け取り、参照画素枝刈り部７０からの枝刈り情報を基に、正則化項制約を算出する画素を削減すれば良い。

このように、第３の実施形態の画像処理装置１２は、処理時間を削減する効果を得ることができる。

その理由は、次のとおりである。

画像処理装置１２の参照画素枝刈り部７０は、正則化項算出部３０において、差分を算出しない画素の削減を設定する。その結果、正則化項算出部３１は、差分の算出の処理を削減できるためである。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１２年１１月２９日に出願された日本出願特願２０１２−２６０８４４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１） 入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する重み算出手段と、前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出する正則化項算出手段と、前記高解像画像の再構成に基づく制約である再構成制約を算出する再構成制約算出手段と、前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する画像復元手段とを含む画像処理装置。

（付記２） 前記重み算出手段は、前記入力画像の画素の特徴量の勾配を算出する勾配算出手段と、前記特徴量の勾配の方向の揃っている程度を算出する方向算出手段と、前記勾配と前記方向の揃っている程度を基に前記重みを算出する重みデータ算出手段とを含む付記１に記載の画像処理装置。

（付記３） 前記重みデータ算出手段が、前記勾配の大きさが所定の値より大きく、前記勾配の方向の揃っている程度が所定の値より値小さい領域において前記所定の値低減した重みを算出することを特徴とする付記１又は付記２に記載の画像処理装置。

（付記４） 前記正則化項算出手段は、学習用の高解像画像と、その高解像画像から人工的に生成した低解像画像と、前記重み算出手段から算出された重みから、前記正則化項を表現するのに必要な定数を算出することを特徴とする付記1乃至付記３のいずれか１項に記載の画像処理装置。

（付記５） 前記正則化項算出手段は、学習用の高解像画像と、その高解像画像から人工的に生成した低解像画像と、暫定的に生成した超解像画像と、前記重み算出手段から算出された重みから、前記正則化項を表現するのに必要な定数を、繰り返し処理により算出することを特徴とする付記1乃至付記４のいずれか１項に記載の画像処理装置。

（付記６） 前記復元画像において前記入力画像の特徴量の勾配方向に直行するエッジ方向が滑らかとなる方向制約を算出する方向制約算出手段を含み、前記画像復元手段が、再構成制約及び正則化項制約に加え、前記方向制約を用いて画像を復元することを特徴とする付記１乃至付記５のいずれが１項に記載の画像処理装置。

（付記７） 前記正則化項算出手段の正則化項制約の算出において一部の画素を使用しないように制限する参照画素枝刈り手段をさらに含む付記１乃至付記６のいずれか１項に記載に画像処理装置。

（付記８） 前記参照画素枝刈り手段は、前記重み算出手段が算出する重みの一部を削除することを特徴とする付記７に記載の画像処理装置。

（付記９） 入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出し、前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出し、前記高解像画像の再構成に基づく制約である再構成制約を算出し、前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する画像処理方法。

（付記１０） 前記入力画像の画素の特徴量の勾配を算出し、前記特徴量の勾配の方向の揃っている程度を算出し、前記勾配と前記方向の揃っている程度を基に前記重みを算出する付記９に記載の画像処理方法。

（付記１１） 前記勾配の大きさが所定の値より大きく、前記勾配の方向の揃っている程度が所定の値より値小さい領域において前記所定の値低減した重みを算出することを特徴とする付記９又は付記１０に記載の画像処理方法。

（付記１２） 学習用の高解像画像と、その高解像画像から人工的に生成した低解像画像と、前記重み算出手段から算出された重みから、前記正則化項を表現するのに必要な定数を算出することを特徴とする付記９乃至付記１１のいずれか１項に記載の画像処理方法。

（付記１３） 学習用の高解像画像と、その高解像画像から人工的に生成した低解像画像と、暫定的に生成した超解像画像と、前記重み算出手段から算出された重みから、前記正則化項を表現するのに必要な定数を、繰り返し処理により算出することを特徴とする付記９乃至付記１２のいずれか１項に記載の画像処理方法。

（付記１４） 前記復元画像において前記入力画像の特徴量の勾配方向に直行するエッジ方向が滑らかとなる方向制約を算出し、再構成制約及び正則化項制約に加え、前記方向制約を用いて画像を復元することを特徴とする付記９乃至付記１３のいずれが１項に記載の画像処理方法。

（付記１５） 前記正則化項制約の算出において一部の画素を使用しないように制限する付記９乃至付記１４のいずれか１項に記載に画像処理方法。

（付記１６） 前記算出する重みの一部を削除することを特徴とする付記１５に記載の画像処理方法。

（付記１７） 入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する処理と、前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出する処理と、前記高解像画像の再構成に基づく制約である再構成制約を算出する処理と、前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する処理とをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。

（付記１８） 前記入力画像の画素の特徴量の勾配を算出する処理と、前記特徴量の勾配の方向の揃っている程度を算出する処理と、前記勾配と前記方向の揃っている程度を基に前記重みを算出する処理とをコンピュータに実行させる付記１７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

（付記１９） 前記勾配の大きさが所定の値より大きく、前記勾配の方向の揃っている程度が所定の値より値小さい領域において前記所定の値低減した重みを算出する処理をコンピュータに実行させる付記１７又は付記１８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

（付記２０） 学習用の高解像画像と、その高解像画像から人工的に生成した低解像画像と、前記重み算出手段から算出された重みから、前記正則化項を表現するのに必要な定数を算出する処理をコンピュータに実行させる付記１７乃至付記１９のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

（付記２１） 学習用の高解像画像と、その高解像画像から人工的に生成した低解像画像と、暫定的に生成した超解像画像と、前記重み算出手段から算出された重みから、前記正則化項を表現するのに必要な定数を、繰り返し処理により算出する処理をコンピュータに実行させる付記１７乃至付記２０のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

（付記２２） 前記復元画像において前記入力画像の特徴量の勾配方向に直行するエッジ方向が滑らかとなる方向制約を算出する処理と、再構成制約及び正則化項制約に加え、前記方向制約を用いて画像を復元する処理とをコンピュータに実行させる付記１７乃至付記２１のいずれが１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

（付記２３） 前記正則化項制約の算出の処理において一部の画素を使用しないように制限する処理をコンピュータに実行させる付記１７乃至付記２２のいずれか１項に記載にプログラムを記録したコンピュータ読み取り可能な記録媒体。

（付記２４） 前記算出する重みの一部を削除する処理をコンピュータに実行させる付記２３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

（付記２４） 入力画像のテクスチャ領域において、画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する重み算出手段と、前記テクスチャ領域においては前記重みを用い、前記テクスチャ領域以外の領域においては、前記重みを用いることなく、前記正則化項制約を算出する正則化項算出手段と、前記正則化項制約と、前記高解像画像の再構成に基づく制約である再構成制約と、に基づいて高解像画像を復元する画像復元手段と
を含む画像処理装置。

（付記２５） 入力画像のテクスチャ領域において、画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出し、前記テクスチャ領域においては前記重みを用い、前記テクスチャ領域以外の領域においては、前記重みを用いることなく、前記正則化項制約を算出し、前記正則化項制約と、前記高解像画像の再構成に基づく制約である再構成制約と、に基づいて高解像画像を復元する画像処理方法。

（付記２６） 入力画像のテクスチャ領域において、画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する処理と、前記テクスチャ領域においては前記重みを用い、前記テクスチャ領域以外の領域においては、前記重みを用いることなく、前記正則化項制約を算出する処理と、前記正則化項制約と、前記高解像画像の再構成に基づく制約である再構成制約と、に基づいて高解像画像を復元する処理とをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。

１０ 画像処理装置
１１ 画像処理装置
１２ 画像処理装置
１８ 画像処理装置
２０ 再構成制約算出部
３０ 正則化項算出部
３１ 正則化項算出部
４０ 画像復元部
４１ 画像復元部
５０ 重み算出部
５１ 重み算出部
６０ 方向制約算出部
７０ 参照画素枝刈り部
９０ 画像処理装置
５１０ 勾配算出部
５２０ 方向算出部
５３０ 重みデータ算出部
８１０ ＣＰＵ
８２０ ＲＯＭ
８３０ ＲＡＭ
８４０ 内部記憶装置
８５０ ＩＯ
８６０ 入力機器
８７０ 表示機器
８８０ ＮＩＣ
８９０ 記憶媒体
９１０ 再構成制約算出部
９２０ 正則化項算出部
９３０ 画像復元部

このように、正則化項算出部３１は、参照画素枝刈り部７０の結果を基に、差分の算出処理を削減する。

Claims (11)

1. 入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する重み算出手段と、
   前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出する正則化項算出手段と、
   前記高解像画像の再構成に基づく制約である再構成制約を算出する再構成制約算出手段と、
   前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する画像復元手段と
   を含む画像処理装置。
2. 前記重み算出手段は、
   前記入力画像の画素の特徴量の勾配を算出する勾配算出手段と、
   前記特徴量の勾配の方向の揃っている程度を算出する方向算出手段と、
   前記勾配と前記方向の揃っている程度を基に前記重みを算出する重みデータ算出手段と
   を含む請求項１に記載の画像処理装置。
3. 前記重みデータ算出手段が、
   前記勾配の大きさが所定の値より大きく、
   前記勾配の方向の揃っている程度が所定の値より値小さい領域において
   前記所定の値低減した重みを算出する
   ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記復元画像において前記入力画像の特徴量の勾配方向に直行するエッジ方向が滑らかとなる方向制約を算出する方向制約算出手段を含み、
   前記画像復元手段が、再構成制約及び正則化項制約に加え、前記方向制約を用いて画像を復元する
   ことを特徴とする請求項１乃至請求項３のいずれが１項に記載の画像処理装置。
5. 前記正則化項算出手段の正則化項制約の算出において一部の画素を使用しないように制限する参照画素枝刈り手段を
   さらに含む請求項１乃至請求項４のいずれか１項に記載に画像処理装置。
6. 前記参照画素枝刈り手段は、
   前記重み算出手段が算出する重みの一部を削除する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出し、
   前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出し、
   前記高解像画像の再構成に基づく制約である再構成制約を算出し、
   前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する
   画像処理方法。
8. 入力画像の画素の特徴量の勾配と前記勾配の方向とを基に前記入力画像の特徴量を保存する領域を判定し、前記特徴量を保存する領域における画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する処理と、
   前記重みを用いて前記入力画像を基に復元される高解像画像の正則化項制約を算出する処理と、
   前記高解像画像の再構成に基づく制約である再構成制約を算出する処理と、
   前記正則化項制約と前記再構成制約とを基に前記入力画像から前記高解像画像を復元する処理と
   をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
9. 入力画像のテクスチャ領域において、画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する重み算出手段と、
   前記テクスチャ領域においては前記重みを用い、前記テクスチャ領域以外の領域においては、前記重みを用いることなく、前記正則化項制約を算出する正則化項算出手段と、
   前記正則化項制約と、前記高解像画像の再構成に基づく制約である再構成制約と、に基づいて高解像画像を復元する画像復元手段と
   を含む画像処理装置。
10. 入力画像のテクスチャ領域において、画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出し、
    前記テクスチャ領域においては前記重みを用い、前記テクスチャ領域以外の領域においては、前記重みを用いることなく、前記正則化項制約を算出し、
    前記正則化項制約と、前記高解像画像の再構成に基づく制約である再構成制約と、に基づいて高解像画像を復元する
    画像処理方法。
11. 入力画像のテクスチャ領域において、画像処理の正則化に基づく制約である正則化項制約を低減する重みを算出する処理と、
    前記テクスチャ領域においては前記重みを用い、前記テクスチャ領域以外の領域においては、前記重みを用いることなく、前記正則化項制約を算出する処理と、
    前記正則化項制約と、前記高解像画像の再構成に基づく制約である再構成制約と、に基づいて高解像画像を復元する処理と
    をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images