JP6440305B2 - 超解像装置およびプログラム - Google Patents

Description

本発明は、超解像装置およびプログラムに関する。

画像の解像度を変換する場合、入力画像に補間関数を畳み込み、入力画像とは異なる標本化周期で標本化を行うことが行われる。特に、出力画像の解像度の方が入力画像の解像度よりも高い場合には、入力画像のナイキスト周波数を超える信号成分を補うことで精細感のある出力画像を得る超解像技術が用いられることもある。
超解像技術には、１枚の画像からナイキスト周波数を超える信号成分を人工的に合成することで見た目の精細感を向上する手法があり、単一フレーム超解像技術と呼ばれる。

単一フレーム超解像技術の一種として、低解像画像と高解像画像の対で予め学習したデータベースを利用する学習型超解像技術がある。学習型超解像技術においては、低解像画像をブロック分割した部分領域（低解像パッチ）と、該部分領域に対応する高解像画像の部分領域（高解像パッチ）との対を予め大量にデータベース内に蓄えておく。超解像処理実行時には、入力された低解像画像をブロック分割した各低解像パッチをキーとして、上述のデータベースを参照し、対応する高解像パッチを取得する。取得された高解像パッチを貼り合わせることで高解像画像が生成される。学習型超解像の中には、入力低解像パッチの中域成分から高域成分を推定するためにデータベース参照を行う手法もある（例えば、特許文献１参照）。

特許第４１４０６９０号公報

しかしながら、特許文献１などの学習型超解像技術においては、さまざまな低解像パッチの濃淡パターンに応じて、数多くの対をデータベースに予め登録しておく必要があり、データベース容量すなわちＲＯＭ（リードオンリーメモリ）の容量も膨大なものとなることがあるという問題がある。

本発明は、このような事情に鑑みてなされたもので、データベース容量を抑えることができる学習型の超解像装置、およびプログラムを提供する。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力された画像内の所定形状の領域内の画素であって、前記領域内の画素の画素値を大きさに従い整列したときの複数の所定順位の画素からなる入力基準画素群を除く画素である対象画素の画素値を、前記入力基準画素群に含まれる画素の画素値に基づき正規化し、
対象画素の正規化した画素値の並びを表す情報に基づいて、前記所定形状の画像中の画素であって、前記画像内において画素値を整列したときの前記複数の所定順位の画素からなる参照基準画素群を除く画素の画素値の並びを表す情報と、前記所定形状の画像よりも解像度の高い画像とを対応付けて記憶するデータベースを参照することにより、前記領域に対応する高解像画像を取得し、取得した高解像画像の各画素値を、前記入力基準画素群の画素値に基づいて補正することで、前記入力された画像を高解像度化することを特徴とする超解像装置である。

（２）また、本発明の他の態様は、（１）に記載の超解像装置であって、前記複数の所定順位の画素は、画素値が最大の画素である第１画素と、画素値が最小である第２画素であることを特徴とする。

（３）また、本発明の他の態様は、（２）に記載の超解像装置であって、前記並びは、前記第１画素および前記第２画素を基準とした画素の並びであることを特徴とする。

（４）また、本発明の他の態様は、（３）に記載の超解像装置であって、前記入力された画像を、前記所定形状に分割して、分割画像を生成する分割部と、前記分割画像毎に、当該分割画像中で最大の画素値と最小の画素値とに基づき、当該分割画像の画素値を正規化する正規化部と、前記分割画像毎に、当該分割画像中で画素値が最大である画素および最小である画素、を除く画素の正規化された画素値の、前記第１画素および前記第２画素を基準とした並びを表す情報をキーとして、前記データベースを参照して、当該分割画像に対応する高解像画像を取得する検索部と、前記検索部が取得した前記高解像画像を用いて、前記入力された画像を高解像度化した超解像画像を生成する超解像部とを備えることを特徴とする。

（５）また、本発明の他の態様は、（４）に記載の超解像装置であって、前記キーは、前記分割画像中で画素値が最大である画素および最小である画素の配置種別を表す情報を含むことを特徴とする。

（６）また、本発明の他の態様は、（３）または（４）に記載の超解像装置であって、前記超解像部は、前記分割画像各々を補間内挿して、前記検索部が取得した前記解像度の高い画像と同じ解像度にし、補間内挿した前記分割画像各々に、前記検索部が取得した前記解像度の高い画像を加算して、前記超解像画像を生成することを特徴とする。

（７）また、本発明の他の態様は、コンピュータを、入力された画像内の所定形状の領域内の画素であって、前記領域内の画素の画素値を大きさに従い整列したときの複数の所定順位の画素からなる入力基準画素群を除く画素である対象画素の画素値を、前記入力基準画素群に含まれる画素の画素値に基づき正規化し、対象画素の正規化した画素値の並びを表す情報に基づいて、前記所定形状の画像中の画素であって、前記画像内において画素値を整列したときの前記複数の所定順位の画素からなる参照基準画素群を除く画素の画素値の並びを表す情報と、前記所定形状の画像よりも解像度の高い高解像画像とを対応付けて記憶するデータベースを参照することにより、前記領域に対応する高解像画像を取得し、取得した高解像画像の各画素値を、前記入力基準画素群の画素値に基づいて補正することで、前記入力された画像を高解像度化する超解像装置として機能させるためのプログラムである。

この発明によれば、データベース容量を抑えることができる。

この発明の一実施形態による超解像システム１０の構成を示す概略ブロック図である。 同実施形態における幾何変換の順変換と逆変換とを示す図である。 同実施形態における画素値が最大および最小の画素の配置と、適用する幾何変換との対応を示す図である。 同実施形態における学習装置１の動作を説明する図である。 同実施形態における超解像装置３の構成を示す概略ブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による超解像システム１０の構成を示す概略ブロック図である。超解像システム１０は、学習装置１、データベース２、超解像装置３を含む。超解像装置３は、予め学習装置１により構築されたデータベース２を用いて、画像の高解像化をする。

従来の学習型超解像では、データベース内に低解像画像の部分領域（低解像パッチＫ）と、これに対応する高解像画像の部分領域（高解像パッチＧ）との対が記録されるのに対し、本実施形態に係るデータベース２は、低解像パッチＫを正規化し低次元化した数値データ（以下、低解像キーＮ’）と、これに対応する高解像パッチを生成するための素材となるパッチ（高解像残差パッチＥ）との対が記録される。

以下に、データベース２を構築するための学習装置１の構成について説明する。学習装置１は、分割部１１と、分割部１２と、正規化部１３と、変換部１４と、補間部１５と、減算部１６と、登録部１７を備え、学習用に入力された低解像画像ＬＳと高解像画像ＨＳとに基づいてデータベース２にデータを登録・更新することで学習を行う。

分割部１１は、低解像画像ＬＳから所定形状の低解像パッチＫを切り出す。分割部１２は、高解像画像ＨＳ内の低解像パッチＫに対応する部分を、高解像パッチＧとして切り出す。分割部１１と分割部１２とは、低解像画像ＬＳと高解像画像ＨＳとから各１箇所だけパッチを切り出してもよいし、画面内を走査しつつ順次パッチを切り出しても構わない。また、低解像画像ＬＳと高解像画像ＨＳとの対も、１対であっても構わないし、複数対であっても構わない。前記、順次パッチを切り出す場合には、正規化部１３から登録部１７までの各動作を繰り返し実行し、データベース２を順次更新する。

なお、低解像画像ＬＳまたは高解像画像ＨＳがカラー画像である場合には、色成分ごとに独立にデータベース２を備えそれぞれ独立に学習さてもよいし、全色成分共通のデータベース２を備えてこれを全色成分について学習させてもよい。

正規化部１３は、低解像パッチＫを構成する画素について画素値の最小値ｍと最大値Ｍとを求め、これらに基づいて画素値レベルを正規化（以下、レベル変換）し、パッチＪを生成する。例えば、正規化部１３は、最小値ｍが「０．０」に、最大値が「１．０」になるように、レベル変換を行う。
パッチＫにおいて、画像座標（ｉ，ｊ）における画素値をＫ（ｉ，ｊ）とする（他の画像やパッチについても同様に表記する）。このときのレベル変換は、例えば、（式１）で表される変換である。

正規化部１３は、さらにパッチＪ内において画素値が０．０および１．０をとる画素の配置に基づき、これが規定の配置になるよう幾何変換（回転変換または鏡像変換）を行う。なお、画素値が０．０の画素は、画素値が最小の画素であり、画素値が１．０の画素は、画素値が最大の画素である。正規化部１３の幾何変換の例を、図２の「変換前」および「順変換後」の対（変換識別子Ｔ＝０からＴ＝７）として例示した。

正規化部１３は、例えば、パッチＪ内の値０．０（図中では０）および値１．０（図中では１）の配置を図３に示すテンプレート（パッチＪのパターン）と照合し、合致するものに対応付けられている変換識別子Ｔの幾何変換（図２参照）を適用することで、正規化低解像パッチＮを得る。なお、パッチＪ内の値０．０および値１．０の配置が図３のテンプレートの複数に合致する場合には、正規化部１３は、所定の規則によりその一つを選択して、当該選択テンプレートに対応付けられている変換識別子Ｔの幾何変換を行う。例えば、パッチＪ内の値０および値１の配置が図３のテンプレートの複数に合致する場合には、配置種別Ｓの数値が最小のものを選択し、それでもなお唯一に絞り込めない場合には、変換識別子Ｔの数値が最小のものを選択する。

正規化部１３は、パッチＪに対して前記幾何変換を適用した後のパッチを正規化低解像パッチＮとして出力するとともに、正規化パラメータＲ＝（ｍ，Ｍ，Ｓ，Ｔ）を出力する。前記正規化パラメータＲには、低解像パッチＫ内の画素値の画素値の最小値ｍ、最大値Ｍ、パッチＪにおける値０および値１（すなわち低解像パッチＫにおける最大値および最小値）の配置を表す配置種別Ｓ、および幾何変換の変換識別子Ｔが含まれる。

変換部１４は、高解像パッチＧに対して（式２）に示すレベル変換を行い、パッチＤを生成する。

なお、（式２）における最小値ｍおよび最大値Ｍは（高解像パッチＧの最小値および最大値ではなく）低解像パッチＫの最小値および最大値である。
続いて、変換部１４は、変換識別子Ｔにより指定される無変換、回転、または鏡像の順変換を行い、その結果、パッチＦを得る。

補間部１５は、正規化低解像パッチＮを高解像パッチＧと同じ解像度となるよう補間内挿により高解像化し、パッチＰを得る。補間内挿には、例えば０次内挿（最近傍補間）を用いるが、より高次の内挿であってもよい。
例えば、高解像パッチの水平および垂直解像度が低解像パッチの水平および垂直解像度の２倍および２倍である場合には、補間部１５は、（式３）で表される変換をする。

減算部１６は、パッチＦからパッチＰを減じた差分画像を求め、その結果を高解像残差パッチＥとして出力する。すなわち、減算部１６は、（式４）で表される変換を行う。

登録部１７は、配置種別Ｓおよび変換識別子Ｔを特定するために用いられた画素値最小および最大の２画素を除く画素列を所定の順序（並び）で走査することで得られる画素値の数列（以下、低解像キーＮ’）を作成する。この所定の順序は、配置種別Ｓ毎に予め決められている。すなわち、画素値最小および最大の画素の配置を基準とする順序である。例えば、低解像パッチが水平２画素×垂直２画素である場合には、正規化低解像パッチＮを構成する４画素から２画素をピックアップし、２項の数列である低解像キーＮ’を作成する。具体的には、配置種別Ｓ＝０または配置種別Ｓ＝１の場合にはＮ’＝（Ｎ（０，１），Ｎ（１，１））とし、配置種別Ｓ＝２の場合にはＮ’＝（Ｎ（０，１），Ｎ（１，０））とする。
続いて、登録部１７は、配置種別Ｓおよび低解像キーＮ’と高解像残差パッチＥとの対をデータベース２に登録する。

登録部１７は、データベース２へ、例えば、配置種別Ｓおよび低解像キーＮ’を、検索キーとして与えたときに高解像残差パッチＥが得られるよう対応付けて記録する。
配置種別Ｓおよび低解像キーＮ’に対応する高解像残差パッチＥがデータベース２に未だ登録されていない場合には、登録部１７は、配置種別Ｓおよび低解像キーＮ’に関連付けて高解像残差パッチＥを登録する。

配置種別Ｓおよび低解像キーＮ’に対応する高解像残差パッチＥがデータベース２に既に登録されている場合には、登録部１７は、配置種別Ｓおよび低解像キーＮ’にすでに関連付けられている高解像残差パッチを破棄して高解像残差パッチＥを新規登録する。あるいは、配置種別Ｓおよび低解像キーＮ’に対応する高解像残差パッチＥがデータベース２に既に登録されている場合には、登録部１７は、配置種別Ｓおよび低解像キーＮ’にすでに関連付けられている高解像残差パッチと高解像残差パッチＥを合成したもの（例えば、両パッチの相加平均）に登録を更新する。

なお、さまざまな低解像パッチＫと高解像パッチＧの対でデータベース２の内容を更新した後、なおもすべての配置種別Ｓと低解像キーＮ’の組み合わせに対して高解像残差パッチＥが対応付けられるとは限らない。このような場合、登録部１７は、対応付けのなされていない組み合わせと同じ配置種別Ｓの中で、その組み合わせの低解像キーＮ’に最も近接しかつ対応付けなされている低解像キーＮ’’を探し、その低解像キーＮ’’に対応する高解像残差パッチを、その組み合わせに対応する高解像残差パッチＥとみなして登録するよう動作しても構わない。または、登録部１７は、対応付けのなされていない低解像キーＮ’に周囲の対応付けなされている低解像キーＮ’’をその距離が近い方から複数個選択し、これらに対応付けられている高解像残差パッチで演算（例えば距離に応じた重みづけによる相加平均）を施した結果を以て該低解像キーＮ’に対応する高解像残差パッチＥとみなして登録するよう動作しても構わない。なお、Ｎ’とＮ’’間の距離は、例えばユークリッド距離により測るものとする。

以下、低解像パッチＫが水平２画素、垂直２画素の計４画素からなり、一方、高解像パッチＧが垂直４画素、水平４画素の計１６画素からなる場合について、図４を参照しつつ学習装置１の動作を例示する。
学習装置１は、まず、分割部１１において低解像パッチＫを切り出す。低解像パッチＫの一例を図４の１００に示す。正規化部１３は、正規化パラメータを求めるための３つの処理（最小値演算１０１、最大値演算１０２、および幾何変換判定１０３）と、レベル変換１０４の処理と、幾何変換１０６の処理とを行う。

最小値演算１０１では、正規化部１３は、低解像パッチＫの中から最小値ｍを求める（この例ではｍ＝２）。最大値演算１０２では、正規化部１３は、低解像パッチＫの中から最大値Ｍを求める（この例ではＭ＝６）。レベル変換１０４では、正規化部１３は、低解像パッチＫに対し、最小値ｍと最大値Ｍとに基づいて（式１）の変換を行うことでパッチＪを求める。パッチＪの演算例を１０５に示す。

幾何変換判定１０３では、正規化部１３は、パッチＪの値０と値１の配置から配置種別Ｓと幾何変換１０６にて適用すべき変換の変換識別子Ｔとを特定する。この例では、配置種別Ｓ＝１、変換識別子Ｔ＝４となる。幾何変換１０６では、正規化部１３は、パッチＪに対して変換識別子Ｔの幾何変換を実行する。幾何変換１０６において、図２の「変換前」からＴ＝４の「順変換後」への変換を行った結果、１０７に示す正規化低解像パッチＮが得られる。

変換部１４は、レベル変換１１１の処理と幾何変換１１３の処理とを行う。レベル変換１１１では、変換部１４は、正規化部１３で得られた最小値ｍ（この例ではｍ＝２）および最大値Ｍ（この例ではＭ＝６）とに基づいて（式２）の変換を行い、図４の１１２に示すパッチＤを得る。幾何変換１１３では、変換部１４は、パッチＤに対し、幾何変換判定１０３で特定された変換識別子Ｔにより指定される無変換、回転、または鏡像の順変換を行い、その結果、１１４に示すパッチＦを得る。

補間部１５は、１０７の正規化低解像パッチＮを補間（この例では０次補間）し、１０９に示すパッチＰを生成する。減算部１６は、１１４のパッチＦから画素毎に１０９のパッチＰを減じ、その結果として１１５に示す高解像残差パッチＥを得る。登録部１７は、幾何変換判定１０３で特定された配置種別Ｓ＝１に基づき正規化低解像パッチＮから低解像キーＮ’＝（０．２５，０．５０）（図４の１０８の点線内の２画素）を生成する。

また、登録部１７は、図４の１０８に示す低解像キーＮ’＝（０．２５，０．５０）と、図４の１１５に示す高解像残差パッチＥ、および配置種別Ｓ＝１の組をデータベース２へ登録／更新する。

次に、本実施形態に係る超解像装置３の構成について図５を参照しつつ説明する。図５は、超解像装置３の構成を示す概略ブロック図である。超解像装置３は、入力された低解像画像Ｌを、データベース２を参照しつつ高解像化し、高解像画像Ｈを出力する。超解像装置３は、分割部３１と、正規化部３２と、データベース２と、検索部３３と、補間部３４と、加算部３５と、逆変換部３６と、合成部３７とを含む。

分割部３１は低解像画像Ｌから高解像パッチＫを切り出す。分割部３１は、低解像画像Ｌの画面内を走査しつつ順次パッチ（低解像パッチＫ）を切り出す。このとき、以降の正規化部３２から逆変換部３６の各動作は分割部３１が低解像パッチＬを切り出す都度実行し、その結果を合成部３７において合成することで高解像画像Ｈが構成される。

低解像画像Ｌの水平解像度をＣ_ｘ画素、垂直解像度をＣ_ｙ画素とする。低解像パッチＫの画素数を水平Ｓ_ｘ画素、垂直Ｓ_ｙ画素とする。分割部３１が低解像画像Ｌの画面内を走査しつつ順次低解像パッチＫを切り出す中で、例えば、画像座標（Ｘ，Ｙ）を左上点とする低解像パッチＫを切り出す場合には、分割部３１は、（式５）を実行する。

正規化部３２は、分割部３１から入力された低解像パッチＫに対して、図１の正規化部１３と同様の演算によりレベル変換および幾何変換を行い、正規化低解像パッチＮと正規化パラメータＲ＝（ｍ，Ｍ，Ｓ，Ｔ）とを出力する。
検索部３３は、正規化パラメータＲの配置種別Ｓに基づいて正規化低解像パッチＮから画素値最小および最大、を除く画素を選び、低解像キーＮ’を求める。具体的には、配置種別Ｓ＝０または配置種別Ｓ＝１の場合にはＮ’＝（Ｎ（０，１），Ｎ（１，１））とし、配置種別Ｓ＝２の場合にはＮ’＝（Ｎ（０，１），Ｎ（１，０））とする。

また、検索部３３は、配置種別Ｓおよび低解像キーＮ’を検索クエリとしてデータベース２に照会し、配置種別Ｓおよび低解像キーＮ’の組み合わせに対応する高解像残差パッチＥを得る。なお、検索部３３は、配置種別Ｓおよび低解像キーＮ’を検索クエリとしてデータベース２に照会した結果、対応する高解像残差パッチＥが得られなかった場合（データベース２に登録されていなかった場合）、同じ配置種別Ｓの低解像キーの中で、該低解像キーＮ’に最も近接しかつ対応付けなされている低解像キーＮ’’を探し、低解像キーＮ’’に対応する高解像残差パッチを低解像キーＮ’に対応する高解像残差パッチＥとみなして出力するよう動作しても構わない。

または、検索部３３は、同じ配置種別Ｓの低解像キーの中で、対応付けのなされていない低解像キーＮ’に周囲の対応付けなされている低解像キーＮ’’をその距離が近い方から複数個選択し、これらに対応付けられている高解像残差パッチで演算（例えば距離に応じた重みづけによる相加平均）を施した結果を以て該低解像キーＮ’に対応する高解像残差パッチＥとみなして出力するよう動作しても構わない。なお、Ｎ’とＮ’’間の距離は、例えばユークリッド距離により測るものとする。

補間部３４は、図１の補間部１５と同様の演算により、正規化低解像パッチＮを補間内挿して高解像化し、パッチＰを得る。加算部３５は、（式６）で表される演算を行う。すなわち、加算部３５は、検索部３３からの高解像残差パッチＥと、補間部３４からのパッチＰとを画素毎に加算し、パッチＦを得る。

逆変換部３６は、正規化部３２からの正規化パラメータＲのうち最小値ｍ、最大値Ｍ、および変換識別子Ｔに基づき、パッチＦに対して変換部１４の逆変換に相当する演算を実行し、高解像パッチＧを得る。
例えば、逆変換部３６は、まず、パッチＦに対し幾何変換１１３の逆変換に相当する演算を実行し、パッチＤを得る。すなわち、パッチＦに対し、変換識別子Ｔにより指定される無変換、回転、または鏡像の逆変換を図２に示すパターンで実行し、その結果としてパッチＤを得る。続いて、逆変換部３６は、パッチＤに対してレベル変換１１１の逆変換に相当する演算を実行し、高解像パッチＧを得る。なお、レベル変換１１１の逆変換は、（式７）で表される。

合成部３７は、分割部３１が低解像画像Ｌの画面内を走査するのに対応して、高解像画像における対応領域を走査しつつ、高解像パッチＧを貼り合わせていくことにより高解像画像Ｈを構成する。

高解像画像Ｈの水平解像度をＡ_ｘ・Ｃ_ｘ画素、垂直解像度をＡ_ｙ・Ｃ_ｙ画素とする。高解像パッチＧの画素数を水平Ａ_ｘ・Ｓ_ｘ画素、垂直Ａ_ｙ・Ｓ_ｙ画素とする。なお、Ａ_ｘは高解像画像Ｈの水平画素数を低解像画像Ｌの水平画素数で除した比率であり、また、Ａ_ｙは高解像画像Ｈの垂直画素数を低解像画像Ｌの垂直画素数で除した比率である。分割部３１が低解像画像Ｌの画面内を走査しつつ順次低解像パッチＫを切り出す中で、例えば、画像座標（Ｘ，Ｙ）を左上点とする低解像パッチＫを切り出した場合には、それに呼応して合成部３７は、（式８）で表される処理を実行することで高解像画像Ｈを構成する。

なお、上述の実施形態において、超解像装置３とデータベース２とは、異なる装置であるが、超解像装置３が、データベース２を含んでいてもよい。
また、超解像装置３において、加算部３５と逆変換部３６の処理順序を逆にしてもよい。この場合、補間部３４は、低解像パッチＫを補間内挿して高解像化し、パッチＰを得る。
また、上述の実施形態において、低解像パッチＫの形状は、２画素×２画素の正方形であったが、これに限らない。より画素数の多い正方形や長方形であってもよいし、矩形以外の形状であってもよい。

このように、超解像装置３が使用するデータベース２では、低解像パッチＫと高解像パッチＧの対を学習する際に、低解像パッチＫを表す情報として、低解像パッチＫ中で画素値が最大と最小の画素を除いた画素の画素値の並びを表す情報が用いられている。このため、画素値が最大と最小の画素の分だけ、低解像パッチＫを表す情報のビット数が少なくなっている。すなわち、低解像パッチＫを表す情報が取り得る値の範囲が小さくなっているので、データベース２のレコード数を抑え、容量を抑えることができる。

また、画素値の並びを表す情報における並びは、回転、鏡像変換などの幾何変換を行い、画素値が最大と最小の画素を基準とした画素の並びとなっている。これにより、幾何変換により変換可能な関係にある低解像パッチＫの集合に対して、一つの低解像パッチＫを学習しておくだけで充分となる。すなわち、データベースの学習（対の登録）に際して、低解像パッチと高解像パッチの対の個数が不十分であると、学習のオーバフィッティング（過学習；自由度の高いモデルを不十分なデータで学習すると、個々のデータの偏りや雑音に左右されて不適切なモデルが構築されてしまう現象）が生じ、該データベースを用いた超解像処理結果の画質が劣化してしまうことが起き難くなる。

また、図１における学習装置１、データベース２、超解像装置３の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより学習装置１、データベース２、超解像装置３を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した図１における学習装置１、データベース２、超解像装置３の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。
また、半導体技術の進歩により、ＬＳＩに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１…学習装置
２…データベース
３…超解像装置
１０…超解像システム
１１、１２…分割部
１３…正規化部
１４…変換部
１５…補間部
１６…減算部
１７…登録部
３１…分割部
３２…正規化部
３３…検索部
３４…補間部
３５…加算部
３６…逆変換部
３７…合成部

Claims (7)

1. 入力された画像内の所定形状の領域内の画素であって、前記領域内の画素の画素値を大きさに従い整列したときの複数の所定順位の画素からなる入力基準画素群を除く画素である対象画素の画素値を、前記入力基準画素群に含まれる画素の画素値に基づき正規化し、
   対象画素の正規化した画素値の並びを表す情報に基づいて、前記所定形状の画像中の画素であって、前記画像内において画素値を整列したときの前記複数の所定順位の画素からなる参照基準画素群を除く画素の画素値の並びを表す情報と、前記所定形状の画像よりも解像度の高い高解像画像とを対応付けて記憶するデータベースを参照することにより、前記領域に対応する高解像画像を取得し、
   取得した高解像画像の各画素値を、前記入力基準画素群の画素値に基づいて補正することで、前記入力された画像を高解像度化することを特徴とする超解像装置。
2. 前記複数の所定順位の画素は、画素値が最大の画素である第１画素と、画素値が最小のである第２画素であることを特徴とする請求項１に記載の超解像装置。
3. 前記並びは、前記第１画素および前記第２画素を基準とした画素の並びであることを特徴とする請求項２に記載の超解像装置。
4. 前記入力された画像を、前記所定形状に分割して、分割画像を生成する分割部と、
   前記分割画像毎に、当該分割画像中で最大の画素値と最小の画素値とに基づき、当該分割画像の画素値を正規化する正規化部と、
   前記分割画像毎に、当該分割画像中で画素値が最大である画素および最小である画素、を除く画素の正規化された画素値の、前記第１画素および前記第２画素を基準とした並びを表す情報をキーとして、前記データベースを参照して、当該分割画像に対応する高解像画像を取得する検索部と、
   前記検索部が取得した前記高解像画像を用いて、前記入力された画像を高解像度化した超解像画像を生成する超解像部と
   を備えることを特徴とする請求項３に記載の超解像装置。
5. 前記キーは、前記分割画像中で画素値が最大である画素および最小である画素の配置種別を表す情報を含むことを特徴とする請求項４に記載の超解像装置。
6. 前記超解像部は、前記分割画像各々を補間内挿して、前記検索部が取得した前記解像度の高い画像と同じ解像度にし、補間内挿した前記分割画像各々に、前記検索部が取得した前記解像度の高い画像を加算して、前記超解像画像を生成すること
   を特徴とする請求項４または請求項５に記載の超解像装置。
7. コンピュータを、
   入力された画像内の所定形状の領域内の画素であって、前記領域内の画素の画素値を大きさに従い整列したときの複数の所定順位の画素からなる入力基準画素群を除く画素である対象画素の画素値を、前記入力基準画素群に含まれる画素の画素値に基づき正規化し、
   対象画素の正規化した画素値の並びを表す情報に基づいて、前記所定形状の画像中の画素であって、前記画像内において画素値を整列したときの前記複数の所定順位の画素からなる参照基準画素群を除く画素の画素値の並びを表す情報と、前記所定形状の画像よりも解像度の高い高解像画像とを対応付けて記憶するデータベースを参照することにより、前記領域に対応する高解像画像を取得し、
   取得した高解像画像の各画素値を、前記入力基準画素群の画素値に基づいて補正することで、前記入力された画像を高解像度化する超解像装置
   として機能させるためのプログラム。

Images