JP6832252B2 - 超解像装置およびプログラム - Google Patents

超解像装置およびプログラム Download PDF

Info

Publication number
JP6832252B2
JP6832252B2 JP2017142681A JP2017142681A JP6832252B2 JP 6832252 B2 JP6832252 B2 JP 6832252B2 JP 2017142681 A JP2017142681 A JP 2017142681A JP 2017142681 A JP2017142681 A JP 2017142681A JP 6832252 B2 JP6832252 B2 JP 6832252B2
Authority
JP
Japan
Prior art keywords
resolution image
value
probability map
pixel position
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017142681A
Other languages
English (en)
Other versions
JP2019023798A (ja
Inventor
俊枝 三須
俊枝 三須
境田　慎一
慎一 境田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2017142681A priority Critical patent/JP6832252B2/ja
Publication of JP2019023798A publication Critical patent/JP2019023798A/ja
Application granted granted Critical
Publication of JP6832252B2 publication Critical patent/JP6832252B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Description

本発明は、超解像装置およびプログラムに関する。
画像の解像度を向上する手法として、画素間を補間する手法がある。また、ナイキスト周波数を超える信号成分を補い、または復元しつつ解像度を向上する超解像技術がある。超解像技術として、例えばベイズ推定に基づく手法や機械学習による手法がある。
ベイズ推定に基づく手法では、尤度と事前確率の積が事後確率に比例することに基づき、事後確率を最大化する高解像画像を求めることで出力すべき高解像画像を得る。具体的には、例えば、仮定した高解像画像を低解像化した結果が入力低解像画像と矛盾しないかを定量化したものを尤度として定義する。また、例えば、仮定した高解像画像が自然な画像であるか（例えば、画素値が空間的に滑らかか）を定量化したものを事前確率として定義する。ベイズ推定に基づく手法において、その解法に逐次モンテカルロ法を用いる手法が開発されている。特許文献１には、逐次モンテカルロ法を用いてベイズ推定を行う技術が記載されている。
機械学習による手法としては、畳み込みニューラルネットワーク（ＣＮＮ）を用いるものが提案されている。ＣＮＮによる手法では、低解像画像を入力側、高解像画像を出力側にとった深層ＣＮＮを構成し、予め低解像画像と高解像画像の対を用いてネットワークの学習（ニューラルネットワークのシナプス結合の重みの調整）を行うものが主流である。
非特許文献１には、機械学習とベイズ推定とを組み合わせた手法として、高解像画像からの事前確率演算にＣＮＮを応用したものが記載されている。
特許第５４０５３８９号公報
Ryan Dahl, Mohammad Norouzi, and Jonathon Shlens: "Pixel Recursive Super Resolution," arXiv:1702.00783v1 [cs.CV], 2 Feb. 2017.
補間による高解像化の手法では、入力低解像画像のナイキスト周波数を超える周波数成分が欠如するため、精細感のないぼやけた出力高解像画像しか得られない。
超解像技術のうち、ベイズ推定に基づく手法では、画像を高次元で表現した際の高次元空間の効率的なモデル化に課題が残る。非特許文献１の手法では、対象画素の画素値の生起確率を、すでに復元した隣接画素値列から条件付き確率のチェインルールにより逐次的に再構成する方法が用いられている。しかし、チェインルールによる方法では、モデル化や学習の誤差や画素のスキャン順によって画像歪が発生するおそれがある。
本発明は、上記の課題認識に基づいて行なわれたものであり、入力された低解像画像を基に、視覚的に精細感のある高解像画像を得ることのできる超解像装置およびプログラムを提供しようとするものである。
［１］上記の課題を解決するため、本発明の一態様による超解像装置は、反復演算により低解像画像から高解像画像を得る超解像装置であって、前記反復演算における時点に対応させた高解像画像候補を記憶する高解像画像候補記憶部と、前記反復演算における時点に対応させた事後確率マップを記憶する事後確率マップ記憶部と、前記反復演算における前時点の高解像画像候補から、所定の確率モデルにしたがって、仮高解像画像を確率的に生成する標本生成部と、前記仮高解像画像と前記低解像画像との間の局所領域ごとの整合度を評価して整合度の空間分布を尤度マップとして出力する尤度マップ演算部と、前記仮高解像画像が自然な画像である度合いを評価して自然な画像である度合いの空間分布を事前確率マップとして出力する事前確率マップ演算部と、前記高解像画像候補を更新して前記高解像画像候補記憶部に記憶させるとともに、前記事後確率マップを更新して前記事後確率マップ記憶部に記憶させる標本更新部と、前記高解像画像候補の時点の系列から、前記高解像画像の各画素位置における値を決定して出力する代表値演算部と、を具備し、前記標本更新部は、前記尤度マップ演算部が出力した尤度マップの各画素位置における値と前記事前確率マップ演算部が出力した前記事前確率マップの対応する画素位置における値の積と、前時点の前記事後確率マップの対応する画素位置における値と、所定の乱数値とに基づいて、前記仮高解像画像の当該画素位置における画素値または前時点の前記高解像画像候補の当該画素位置における画素値のいずれかを現時点の前記高解像画像候補の当該画素位置の画素値として決定するとともに、前記尤度マップ演算部が出力した尤度マップの各画素位置における値と前記事前確率マップ演算部が出力した前記事前確率マップの対応する画素位置における値の積と、前時点の前記事後確率マップの対応する画素位置における確率マップの同画素位置の値と、現時点の前記高解像画像候補の当該画素位置の画素値として決定するために用いた当該乱数値とに基づいて、現時点の対応する画素位置における前記積、または前時点の前記事後確率マップの対応する画素位置における値のいずれかを、現時点の前記事後確率マップの対応する画素位置における値として決定する、ことを特徴とする。
［２］また、本発明の一態様は、上記の超解像装置において、前記事前確率マップ演算部は、ニューラルネットワークによって構成され、高解像画像としてあるべき画像の例である正例と高解像画像としてあるべきではない画像の例である負例とを用いて前記ニューラルネットワークが予め学習済みである、ことを特徴とする。
［３］また、本発明の一態様は、上記の超解像装置において、前記事前確率マップ演算部は、前記仮高解像画像の画素位置における空間方向の画素値の変化量が小さいほど前記仮高解像画像が自然な画像である度合いを高く評価して、前記事前確率マップを出力する、ことを特徴とする。
［４］また、本発明の一態様は、上記の超解像装置において、前記事前確率マップ演算部は、前記仮高解像画像の画素位置の所定範囲内における画素値の総変化量が小さいほど前記仮高解像画像が自然な画像である度合いを高く評価して、前記事前確率マップを出力する、ことを特徴とする。
［５］また、本発明の一態様は、コンピューターを、反復演算により低解像画像から高解像画像を得る超解像装置であって、前記反復演算における時点に対応させた高解像画像候補を記憶する高解像画像候補記憶部と、前記反復演算における時点に対応させた事後確率マップを記憶する事後確率マップ記憶部と、前記反復演算における前時点の高解像画像候補から、所定の確率モデルにしたがって、仮高解像画像を確率的に生成する標本生成部と、前記仮高解像画像と前記低解像画像との間の局所領域ごとの整合度を評価して整合度の空間分布を尤度マップとして出力する尤度マップ演算部と、前記仮高解像画像が自然な画像である度合いを評価して自然な画像である度合いの空間分布を事前確率マップとして出力する事前確率マップ演算部と、前記高解像画像候補を更新して前記高解像画像候補記憶部に記憶させるとともに、前記事後確率マップを更新して前記事後確率マップ記憶部に記憶させる標本更新部と、前記高解像画像候補の時点の系列から、前記高解像画像の各画素位置における値を決定して出力する代表値演算部と、を具備し、前記標本更新部は、前記尤度マップ演算部が出力した尤度マップの各画素位置における値と前記事前確率マップ演算部が出力した前記事前確率マップの対応する画素位置における値の積と、前時点の前記事後確率マップの対応する画素位置における値と、所定の乱数値とに基づいて、前記仮高解像画像の当該画素位置における画素値または前時点の前記高解像画像候補の当該画素位置における画素値のいずれかを現時点の前記高解像画像候補の当該画素位置の画素値として決定するとともに、前記尤度マップ演算部が出力した尤度マップの各画素位置における値と前記事前確率マップ演算部が出力した前記事前確率マップの対応する画素位置における値の積と、前時点の前記事後確率マップの対応する画素位置における確率マップの同画素位置の値と、現時点の前記高解像画像候補の当該画素位置の画素値として決定するために用いた当該乱数値とに基づいて、現時点の対応する画素位置における前記積、または前時点の前記事後確率マップの対応する画素位置における値のいずれかを、現時点の前記事後確率マップの対応する画素位置における値として決定する、超解像装置として機能させるためのプログラムである。
本発明によれば、入力される低解像画像を基に、高精細で且つ確からしい高解像画像を効率よく得ることができる。
本発明の第１実施形態による超解像装置の概略機能構成を示すブロック図である。 同実施形態による記憶部３００の概略構成を示す機能ブロック図である。 同実施形態による事前確率マップ演算部１５が利用するニューラルネットワークの概略構成を示す概略図である。 同実施形態におけるニューラルネットワークの学習処理に用いるのに適した正例および負例の例を示す概略図である。
以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
図１は、本実施形態による超解像装置の概略機能構成を示すブロック図である。図示するように、超解像装置１は、遅延部１０と、遅延部１１と、標本生成部１２と、切替部１３と、尤度マップ演算部１４と、事前確率マップ演算部１５と、乗算部１６と、標本更新部１８と、代表値演算部１９と、初期化部２０と、記憶部３００と、を含んで構成される。これらの各機能部は、例えば、電子回路を用いて実現される。また、記憶部３００は、そして必要に応じて他の機能部は、半導体メモリーや磁気ハードディスク装置などといった記憶手段を内部に備える。また、各機能を、コンピューターおよびソフトウェアによって実現するようにしてもよい。
この超解像装置１は、マルコフ連鎖モンテカルロ法のメトロポリス・ヘイスティングス法による解法を応用した手法により、低解像画像から高解像画像へのベイズ推定を行う装置である。超解像装置１は、反復演算により低解像画像から高解像画像を得る。なお、「メトロポリス・ヘイスティングス法による解法を応用」の「応用」とは、特に、画像を構成する個々の画素の画素値が各々独立に確率的に標本化されるよう構成した手法であることを意味する。また、ベイズ推定を行う超解像装置１は、下の式（１）により高解像画像を求める。
式（１）において、Ｙは入力される低解像画像であり、Ｘは低解像画像に対応する高解像画像である。また、Ｐ（Ｘ）は、高解像画像Ｘが高解像画像としてふさわしいか否かを表す事前確率である。また、Ｐ（Ｙ｜Ｘ）は、高解像画像Ｘを低解像化したときに低解像画像Ｙになる度合いを表す条件付き確率（尤度）である。また、Ｘ＾（Ｘの上にハット）は、入力されるＹに対して超解像装置１が求めるべき高解像画像である。入力されるＹに対して高解像画像Ｘ＾（Ｘの上にハット）を求めるにあたり、Ｐ（Ｙ）はＸに依存せず一定であるため、定数として扱うことができる。
つまり、超解像装置１は、尤度と事前確率の積が事後確率に比例することに基づき、事後確率Ｐ（Ｘ｜Ｙ）を最大化する高解像画像を求める。
超解像装置１への入力は、入力低解像画像Ｙである。画像における画素位置をｒと表す。なお、画素位置rは画像内の座標を特定するための数値である。例えば、rは座標値そのものを表す2次元のベクトル値であってもよいし、画像の各標本位置に一対一対応させた1次元のインデックス値であってもよい。画素位置rにおける画像Ｙの画素値をＹ（ｒ）と書く。以下において、Ｙ以外の画像（後述する確率マップも同様）に関しても、同様に「（ｒ）」を後置することにより、画素位置ｒにおける画素値への参照を表すものとする。また、各種画像の画素値はスカラーであってもよいし、色別や波長別の輝度等（輝度、色差、色相、彩度など）を表すベクトルであってもよい。
超解像装置１からの出力を出力高解像画像Ｘ＾（Ｘの上にハット）とおく。超解像装置１は反復演算により出力高解像画像Ｘ＾（Ｘの上にハット）を導く。超解像装置１は、後述する記憶部３００内の高解像画像候補記憶部３０２に、高解像画像候補を記憶する。上記の反復演算における第t回（tは１以上の自然数）の反復後における高解像画像候補をＸｔと表す。
また、超解像装置１は、後述する記憶部３００内の事後確率マップ記憶部３０４に、高解像画像候補Ｘｔの画素ごとの画素値の確からしさを表す画像（これを、事後確率マップと呼ぶ）Ｐｔを記憶する。なお、事後確率マップＰｔは、事後確率そのものが記録されたものでなくとも、事後確率Ｐ（Ｘｔ（ｒ）｜Ｙ（ｒ））に比例する値を記録したものであればよい。例えば、画素位置ごとの、ＸｔとＹの画素値対に対する同時確率Ｐ（Ｘｔ（ｒ），Ｙ（ｒ））、即ち、Ｐ（Ｘｔ（ｒ）｜Ｙ（ｒ））Ｐ（Ｙ（ｒ））を事後確率マップＰｔ
として記憶するようにしてもよい。
次に、超解像装置１を構成する各部について説明する。
遅延部１０は、高解像画像候補Ｘｔを高解像画像候補記憶部３０２に記憶させるとともに、１時点遅延した（即ち、ｔに対してｔ−１の）高解像画像候補Ｘｔ−１を高解像画像候補記憶部３０２から読み出して出力する。なお、高解像画像候補の初期値Ｘ０は任意の画像であってよい。
遅延部１１は、事後確率マップＰｔを事後確率マップ記憶部３０４に記憶させるとともに、１時点遅延した（即ち、ｔに対してｔ−１の）事後確率マップＰｔ−１を事後確率マップ記憶部３０４から読み出して出力する。なお、事後確率マップの初期値Ｐ０は、全画素位置について０以下の任意の値を持つマップである。
標本生成部１２は、高解像画像候補Ｘｔ−１から仮の高解像画像Ｘ’（「仮高解像画像」とも呼ぶ）を生成し、出力する。つまり、反復演算における前時点の高解像画像候補から、所定の確率モデルにしたがって、仮高解像画像を確率的に生成する。
具体的には、標本生成部１２は、例えば、高解像画像候補Ｘｔ−１に対して雑音を付加することで仮の高解像画像Ｘ’を生成する。例えば、Ｎ（μ,Σ）を、平均値μ、分散共分散行列Σ（1次元の場合にあっては分散値）の正規分布としたとき、標本生成部１２は、下の式（２）により仮の高解像画像Ｘ’を生成する。
つまり、標本生成部１２は、各時点および各画素について、平均がゼロで、分散共分散行列がΣの正規分布に従う雑音を高解像画像候補に付加することにより、仮の高解像画像Ｘ’を生成する。ここで、Σは、半正定値対称行列（１次元の場合にあっては非負の実定数）である。
切替部１３は、標本生成部１２からの入力または初期化部２０からの入力のいずれか一方を選択し、選択された信号を出力する。切替部１３は、例えば、超解像装置１の反復演算処理開始時（第１回）についてのみ初期化部２０からの入力を選択し、それ以降の回では標本生成部１２からの入力を選択する。つまり、切替部１３は、仮の高解像画像Ｘ’を出力するか、その初期値を出力するかを切り替える。切替部１３からの出力は、尤度マップ演算部１４と事前確率マップ演算部１５とに供給される。
尤度マップ演算部１４は、仮の高解像画像Ｘ’（但し、初回の処理においてはその初期値）が、入力低解像画像Ｙに整合するか否かを画素位置ごとに評価し、その評価値を画像（尤度マップＬ）として出力する。尤度マップ演算部１４は、例えば、仮の高解像画像Ｘ’を基に、入力低解像画像Ｙの解像度まで解像度の削減を行い、解像度削減した仮の高解像画像Ｘ’と入力低解像画像Ｙとの誤差画像に基づいて尤度マップＬを求める。つまり、尤度マップ演算部１４は、仮高解像画像と低解像画像との間の局所領域ごとの整合度を評価して整合度の空間分布を尤度マップとして出力する。
例えば、仮の高解像画像Ｘ’が入力低解像画像Ｙに対して水平方向にｍｘ倍、且つ垂直方向にｍｙ倍の解像度であるとする。そして、仮の高解像画像Ｘ’を入力低解像画像Ｙの大きさまで解像度削減した画像をＹ’とおく。
具体的には、例えば、尤度マップ演算部１４は、まず、仮の高解像画像Ｘ’を基に、下の式（３）によるサブサンプリングを行うことによって画像Ｙ’を得る。
あるいは、尤度マップ演算部１４は、式（３）によるサブサンプリングを行う代わりに、仮の高解像画像Ｘ’に、間引きフィルターＤを畳み込んだ結果をサブサンプリングすることで画像Ｙ’を得るようにしてもよい。例えば、間引きフィルターＤとして２次元Ｌａｎｃｚｏｓ−３フィルターを用いてよい。この場合、尤度マップ演算部１４は、下の式（４）および式（５）により、サブサンプリングを行う。
なお、式（４）において、δはディラックのデルタ関数であり、Ｒ２は実2次元ベクトル空間である。また、画素位置ｒが画像外や格子点以外である場合には、Ｘ’（ｒ）＝０と定義する。式（５）は、式（４）を離散表現したものである。
また、式（４）および式（５）においては、床関数（floor function）および天井関数（ceiling function）を用いている。下の式（６）は、床関数を表すものであり、実数ｚを超えない最大の整数を返す。また、下の式（７）は、天井関数を表すものであり、実数ｚより小さくない最小の整数を返す。
以上のように画像Ｙ’（仮の高解像画像に基づく低解像画像）が得られると、続いて尤度マップ演算部１４は、画像Ｙ’と入力低解像画像Ｙとに基づいて尤度マップＬを導出する。Ｌの解像度は、仮の高解像画像Ｘ’の解像度と同一である。
具体的には、例えば、尤度マップ演算部１４は、入力低解像画像Ｙと画像Ｙ’との誤差に基づいて求めた誤差マップＥをアップコンバートすることにより、尤度マップＬを得る。尤度マップ演算部１４は、例えば、下の式（８）により誤差マップＥを求める。
式（８）において、σは正の実定数であり、例えばσ＝１とする。誤差マップＥを定義するにあたっては、Ｙ（ｒ）とＹ’（ｒ）の差の絶対値が小さいほど、Ｅ（ｒ）の値が大きくなるようにする。式（８）もそのように誤差マップＥを定義している。
尤度マップ演算部１４は、誤差マップＥをアップコンバートすることにより尤度マップＬを求める。
一例として、尤度マップ演算部１４は、下の式（９）により尤度マップＬを求める。
なお、式（９）においても、前述の床関数を用いている。式（９）は、誤差マップＥを０次補間してアップコンバートすることにより、尤度マップＬを求めるものである。
あるいは、別の例として、補間フィルターを畳み込んで小数画素位置の画素値を求めることによって、誤差マップＥをアップコンバートして、尤度マップＬを求めてもよい。例えば、尤度マップ演算部１４は、補間フィルター（Ｆとする）にＬａｎｃｚｏｓ−３フィルターを用いて、下の式（１０）によりアップコンバートを行い、尤度マップＬを求める。
事前確率マップ演算部１５は、仮の高解像画像Ｘ’に基づいて、事前確率マップＲを求めて出力する。事前確率マップＲは、仮の高解像画像Ｘ’がどの程度自然な画像であるか（自然な画像である度合い）を画素ごとに定量化した数値のマップである。自然な画像である度合いを、「画像らしさ」とも呼ぶ。つまり、事前確率マップ演算部１５は、仮高解像画像が自然な画像である度合いを評価して自然な画像である度合いの空間分布を事前確率マップとして出力する。
本実施形態において、自然な画像とは、例えば空間方向における画素値の変化の度合いの大小などのみによって特徴づけられるものではない。一例として、都市風景の画像においては、建物等が有する直線的な成分が多く含まれる場合がある。このとき、その直線の近傍の局所的領域において、空間方向の画素値変化の度合い（勾配等）が大きいこともあるが、そのような画像は現実の風景を表すものであり、自然な画像である度合いは高いと言える。特定の領域における画素間の画素値の変化を単純な算術のみによって解析するだけでは、それが「自然な画像」であるか否かを適切に評価することは困難である。本実施形態は、自然な画像である度合いを適切に評価するために次に述べるような手法を用いる。
即ち、本実施形態による事前確率マップ演算部１５は、仮の高解像画像Ｘ’に含まれる局所的な画素値列が、自然な画像として生起しやすいパターンである度合いを定量化して、事前確率マップＲの画素ごとの数値を求める。
具体的には、事前確率マップ演算部１５は、例えば、上記の局所的な画素値列が自然な画像として生起しやすいパターンであるか否かを、機械学習により構築した判別器を用いて、定量化する。例えば、その機械学習に用いて構築する判別器として、事前確率マップ演算部１５は、ニューラルネットワークを用いるようにしてよい。ニューラルネットワークとしては、典型的には、畳み込みニューラルネットワーク（ＣＮＮ）を用いることができる。畳み込みニューラルネットワークを用いた判別器の構成については、後で、別の図を参照しながら説明する。
乗算部１６は、尤度マップ演算部１４によって求められた尤度マップＬと、事前確率マップ演算部１５によって求められた事前確率マップＲとを、画素ごとに乗算する。乗算部１６は、画素ごとに乗算した結果からなる画像を、仮の事後確率マップＰ’（「仮事後確率マップ」とも呼ぶ）として出力する。具体的には、乗算部１６は、下の式（１１）によって、仮の事後確率マップＰ’を求める。
標本更新部１８は、高解像画像候補Ｘｔ−１を更新して高解像画像候補Ｘｔを出力するとともに、事後確率マップＰｔ−１を更新して事後確率マップＰｔを出力する。
標本更新部１８は、高解像画像候補に関しては、Ｐ’の画素値Ｐ’（ｒ）とＰｔ−１の画素値Ｐｔ−１（ｒ）との比に基づき、仮の高解像画像の画素値Ｘ’（ｒ）を、時刻ｔにおける高解像画像候補の画素値Ｘｔ（ｒ）として採択するか否かを確率的に決定する。そして、標本更新部１８は、高解像画像候補Ｘｔ−１を更新して高解像画像候補Ｘｔを生成し、出力する。そのため、標本更新部１８は、遅延部１０から出力された高解像画像候補Ｘｔ−１と、遅延部１１から出力された事後確率マップＰｔ−１と、切替部１３から出力された仮の高解像画像Ｘ’と、乗算部１６から出力された仮の事後確率マップＰ’とを取得する。
なお、標本更新部１８は、マルコフ連鎖モンテカルロ法のメトロポリス・ヘイスティングス法による解法における標本の採択・棄却と同様の規則によって、上記の採択を行う。即ち、標本更新部１８は、Ｐ’、Ｐｔ−１、および一様分布Ｕ（０，１）に従う標本値ｕｔ（ｒ）に基づき、高解像画像候補Ｘｔの各画素位置rにおける値Ｘｔ（ｒ）として、Ｘ’（ｒ）を採択するか、Ｘ’（ｒ）を棄却してＸｔ−１（ｒ）の値を維持するかを決定する。
例えば、標本更新部１８は、下の式（１２）により、画素位置ｒごとに、高解像画像候補の画素値Ｘｔ（ｒ）を決定する。
なお、式（１２）において、ｕｔ（ｒ）は、毎時点（ｔごと）、且つ毎画素位置（ｒごと）においてその都度標本する（乱数を発生する）ことにより得られる値である。そのため、標本更新部１８は、乱数発生器または疑似乱数発生器を用いる。また、一様分布Ｕ（０，１）にしたがう標本値ｕｔ（ｒ）を、例えば、メルセンヌ・ツイスタ等の疑似乱数発生器によって近似的に生成してもよい。つまり、疑似乱数発生器等によって、一様分布Ｕ（０，１）を近似するものであってもよい。
また、標本更新部１８は、事後確率マップに関しては、Ｐ’の画素値Ｐ’（ｒ）とＰｔ−１の画素値Ｐｔ−１（ｒ）との比に基づき、仮の事後確率マップの画素値Ｐ’（ｒ）を、時刻ｔにおける事後確率マップの画素値Ｐｔ（ｒ）として採択するか否かを確率的に決定する。具体的には、標本更新部１８は、Ｐ’（ｒ）、Ｐｔ−１（ｒ）、および一様分布Ｕ（０，１）にしたがう標本値ｕｔ（ｒ）に基づいて、下の式（１３）により、出力すべき事後確率マップＰｔの各画素位置ｒにおける値Ｐｔ（ｒ）を決定する。
なお、式（１３）におけるｕｔ（ｒ）としては、式（１２）による計算を行う際に生成したｕｔ（ｒ）の数値をそのまま用いるものとする。つまり、ｔとｒが決まれば、式（１２）におけるｕｔ（ｒ）と式（１２）におけるｕｔ（ｒ）とは、同じ値である。
以上、まとめると、標本更新部１８は、高解像画像候補を更新して、更新後の高解像画像候補を高解像画像候補記憶部に記憶させるとともに、事後確率マップを更新して、更新後の事後確率マップを事後確率マップ記憶部に記憶させる。
その処理において、標本更新部１８は、尤度マップ演算部１４が出力した尤度マップの各画素位置における値と事前確率マップ演算部１５が出力した事前確率マップの対応する画素位置における値の積（乗算部１６が出力する積）と、前時点の事後確率マップの対応する画素位置における値と、所定の乱数値とに基づいて、仮高解像画像の当該画素位置における画素値または前時点の高解像画像候補の当該画素位置における画素値のいずれかを現時点の高解像画像候補の当該画素位置の画素値として決定する。
また、標本更新部１８は、尤度マップ演算部１４が出力した尤度マップの各画素位置における値と事前確率マップ演算部１５が出力した事前確率マップの対応する画素位置における値の積（乗算部１６が出力する積）と、前時点の事後確率マップの対応する画素位置における確率マップの同画素位置の値と、現時点の前記高解像画像候補の当該画素位置の画素値として決定するために用いた当該乱数値（上記の「所定の乱数値」を、当該時点における当該画素位置の処理において再利用する）とに基づいて、現時点の対応する画素位置における積、または前時点の事後確率マップの対応する画素位置における値のいずれかを、現時点の事後確率マップの対応する画素位置における値として決定する。
代表値演算部１９は、標本更新部１８から時系列的に出力される高解像画像候補Ｘｔに対し、画素位置rごとに時間方向に見た代表値を演算し、その結果に基づいて、出力高解像画像Ｘ＾（Ｘの上にハット）を生成する。
具体的には、例えば、代表値演算部１９は、時刻Ｓから時刻Ｔ（ＳおよびＴはそれぞれ１以上の自然数、且つＳ≦Ｔ）までの間の高解像画像の画素値列（Ｘｔ（ｒ））ｔ＝Ｓ，Ｓ＋１，Ｓ＋２，・・・，Ｔ−２，Ｔ−１，１に基づき、下の式（１４）の計算を行う。
つまり、式（１４）を用いる場合、代表値演算部１９は、画素位置rごとに、時刻Ｓから時刻Ｔまでの時間区間における画素値列（Ｘｔ（ｒ））ｔ＝Ｓ，Ｓ＋１，Ｓ＋２，・・・，Ｔ−２，Ｔ−１，１の期待値（平均値）を求める。これにより、代表値演算部１９は、出力高解像画像Ｘ＾（Ｘの上にハット）を決定する。
超解像装置１による反復演算において、高解像画像候補Ｘｔは、反復の比較的初期の段階においてはその初期値の影響を強く受ける。したがって、初期値の影響が十分になくなる頃合いを以て上記の時刻Ｓを定めることが好ましい。一例として、Ｓ＝１００とする。また、高解像画像候補Ｘｔは、高解像画像としての確からしさを表す確率密度関数からの標本である。よって、式（１４）において相加平均をとる標本数（Ｔ−Ｓ＋１）が十分に大きくないと信頼性のある出力高解像画像Ｘ＾（Ｘの上にハット）が得られない。例えば、１００個の標本からの期待値を得るためには、Ｓ＝１００の場合にはＴ＝１９９とすればよい。
あるいは、例えば、代表値演算部１９は、画素位置rごとの高解像画像の画素値列（Ｘｔ（ｒ））ｔ＝Ｓ，Ｓ＋１，Ｓ＋２，・・・，Ｔ−２，Ｔ−１，１から域外値を検出し、それらの域外値を排除した上で相加平均をとるようにしてもよい。これにより、代表値演算部１９は、出力高解像画像の画素値Ｘ＾（ｒ）（ただし「Ｘ＾」は、Ｘの上にハット）を得るよう動作する。この場合、代表値演算部１９は、下の式（１５）によって算出されるλｔに基づいて、Ｘｔ（ｒ）が域外値であるか否かを判定する。
なお、式（１５）において、μＸ（ｒ）およびσＸ（ｒ）は、それぞれ、画素値列（Ｘｔ（ｒ））ｔ＝Ｓ，Ｓ＋１，Ｓ＋２，・・・，Ｔ−２，Ｔ−１，１の期待値および標準偏差である。そして、代表値演算部１９は、｜λt｜が所定の閾値θ（例えばθ＝３）を超えた場合に、対応するＸｔ（ｒ）を域外値として扱う。なお、算出過程からも明らかなように、λtは画素位置ｒごとに固有の値である。
つまり、代表値演算部１９は、下の式（１６）による計算を行うことにより、域外値を排除した期待値に基づいて、出力高解像画像Ｘ＾（Ｘの上にハット）を求める。
さらに、例えば、代表値演算部１９は、画素位置rごとの高解像画像の画素値列（Ｘｔ（ｒ））ｔ＝Ｓ，Ｓ＋１，Ｓ＋２，・・・，Ｔ−２，Ｔ−１，１の中央値（ｍｅｄ）や最頻値（ｍｏｄ）に基づいて、出力高解像画像Ｘ＾（Ｘの上にハット）を求めてもよい。例えば、中央値（ｍｅｄ）により出力高解像画像Ｘ＾（Ｘの上にハット）を得る場合には、代表値演算部１９は、下の式（１７）による計算を行う。
また、最頻値（ｍｏｄ）により出力高解像画像Ｘ＾（Ｘの上にハット）を得る場合には、代表値演算部１９は、式（１７）における「ｍｅｄ」を「ｍｏｄ」（統計的な最頻値を返す関数）による計算を行う。
さらに、例えば、代表値演算部１９は、高解像画像候補の画素値列（Ｘｔ（ｒ））ｔ＝Ｓ，Ｓ＋１，Ｓ＋２，・・・，Ｔ−２，Ｔ−１，１に関するクラスタリング処理を行うようにしてもよい。この場合、得られたクラスターのうちの最大クラスターに属する画素値列の平均値を求めることによって、代表値演算部１９は、出力高解像画像Ｘ＾（Ｘの上にハット）の画素値を得る。なお、ここでのクラスタリングの処理には、例えばｋ−平均法を用いることができる。
つまり、代表値演算部１９は、高解像画像候補の時点の系列から、高解像画像の各画素位置における値を決定して出力する。
初期化部２０は、仮の高解像画像Ｘ’の初期値を生成し、供給する。具体的には例えば、初期化部２０は、入力低解像画像Ｙを、仮の高解像画像Ｘ’の解像度までアップコンバートしたものを以て初期値Ｘ’とする。ここで初期化部２０が実行するアップコンバートは、例えば、最近傍補間によるものであってもよいし、補間フィルターを用いる手法であってもよい。補間フィルターを用いる手法としては、例えば、双一次補間や、双三次補間、Lanczos補間（例えば、Lanczos-3補間やLanczos-4補間）、sinc関数を有限タップ長で打ち切った補間フィルターに基づく手法などを用いることができる。
記憶部３００は、超解像装置１に含まれる各部が上述した処理を行う過程で、データを、少なくとも一時的に記憶する機能を有する。記憶部３００の詳細については、図２を参照しながら次に説明する。
図２は、本実施形態による記憶部３００の構成の一例を概略として示す機能ブロック図である。図示するように、記憶部３００は、入力低解像画像記憶部３０１と、高解像画像候補記憶部３０２と、仮高解像画像記憶部３０３と、事後確率マップ記憶部３０４と、仮事後確率マップ記憶部３０５と、事前確率マップ記憶部３０６と、尤度マップ記憶部３０７と、出力高解像画像記憶部３２０と、を含んで構成される。
入力低解像画像記憶部３０１は、入力低解像画像Ｙを記憶する。入力低解像画像記憶部３０１が記憶する入力低解像画像Ｙは、初期化部２０や尤度マップ演算部１４によって読み出される。
高解像画像候補記憶部３０２は、高解像画像候補Ｘｔを、時系列に記憶する。前述の通り高解像画像候補の初期値Ｘ０は任意の画像であってよく、この画像Ｘ０は、適宜、高解像画像候補記憶部３０２に書き込まれる。また、ｔ≧１におけるＸｔは、標本更新部１８によって書き込まれる。なお、超解像装置１を構成する各部は、任意のｔに関するＸｔを高解像画像候補記憶部３０２から読み出すことができる。つまり、高解像画像候補記憶部３０２は、反復演算における時点に対応させた高解像画像候補を記憶する。
仮高解像画像記憶部３０３は、仮の高解像画像Ｘ’を少なくとも一時的に記憶する。仮の高解像画像Ｘ’は、標本生成部１２によって書き込まれる。ただし、仮の高解像画像Ｘ’の初期値については、初期化部２０によって書き込まれる。そして、仮の高解像画像Ｘ’は、尤度マップ演算部１４や事前確率マップ演算部１５や標本更新部１８によって読み出される。
事後確率マップ記憶部３０４は、事後確率マップＰｔを、少なくとも遅延部１１が遅延させる期間において記憶する。前述の通り事後確率マップの初期値Ｐ０は、全画素位置について０以下の任意の値を持つマップであり、このマップＰ０は、適宜、事後確率マップ記憶部３０４に書き込まれる。また、ｔ≧１におけるＰｔは、標本更新部１８によって書き込まれる。つまり、事後確率マップ記憶部３０４は、反復演算における時点に対応させた事後確率マップを記憶する。
仮事後確率マップ記憶部３０５は、仮の事後確率マップＰ’を少なくとも一時的に記憶する。仮の事後確率マップＰ’は、乗算部１６によって仮事後確率マップ記憶部３０５に書き込まれる。また、仮の事後確率マップＰ’は、標本更新部１８によって仮事後確率マップ記憶部３０５から読み出される。
事前確率マップ記憶部３０６は、事前確率マップＲを少なくとも一時的に記憶する。事前確率マップＲは、事前確率マップ演算部１５によって事前確率マップ記憶部３０６に書き込まれる。また、事前確率マップＲは、乗算部１６によって事前確率マップ記憶部３０６から読み出される。
尤度マップ記憶部３０７は、尤度マップＬを少なくとも一時的に記憶する。尤度マップＬは、尤度マップ演算部１４によって尤度マップ記憶部３０７に書き込まれる。また、尤度マップＬは、乗算部１６によって尤度マップ記憶部３０７から読み出される。
出力高解像画像記憶部３２０は、代表値演算部１９によって求められた出力高解像画像Ｘ＾（Ｘの上にハット）を、少なくとも一時的に記憶する。
なお、データが生成された後、直ちに下流の処理過程によって処理するように超解像装置１を構成する場合には、そのデータを記憶する記憶部を持たない構成としてもよい。また、出力高解像画像Ｘ＾（Ｘの上にハット）が生成されて直ちに超解像装置１の外部に出力される場合には、出力高解像画像記憶部３２０を持たない構成としてもよい。
次に、事前確率マップ演算部１５を構成するニューラルネットワークの詳細について説明する。
図３は、本実施形態が利用するニューラルネットワークの概略構成を示す概略図である。図示するように、事前確率マップ演算部１５の一部であるニューラルネットワークは、層構造を有し、入力層３０と、中間層３４（第一の成分）と、中間層３５（第二の成分）と、出力層４０とを含んで構成される。なお、より一般的な構成として、ニューラルネットワークは、入力層と、０層以上の中間層と、出力層とを含む構成としてよい。各層は画像の画素配列に対応したマトリックスの構造を有している。マトリクス内のセル（１区画）には、値を設定できる。ニューロンは、複数のセルの値について重み付け和（weighted sum）を算出し、その値に対応する信号を出力する。ニューロンにおける重みの値は、後述する学習により調整可能である。
各層間の接続は、畳み込みニューラルネットワークの形態である。図示する例では入力層３０の局所領域３１の画素値列（この例では、３画素×３画素のブロック））に対して、ニューロン３２およびニューロン３３は、それぞれ重み付け和を計算する。そして、ニューロン３２およびニューロン３３は、それぞれの重み付け和に対して活性化関数（例えば、シグモイド関数）を適用した結果を出力する。各ニューロン出力値は中間層における対応画素の各成分値として設定される。この例では、中間層の各画素は、２次元の値（第一の成分、および第二の成分）を保持する。より具体的には、局所領域３１の画素値列に基づいてニューロン３２が算出した出力値３６（第一の成分）は、中間層３４（第一の成分）における対応画素の成分値として設定される。また、局所領域３１の画素値列に基づいてニューロン３３が算出した出力値３７（第二の成分）は、中間層３５（第二の成分）における対応画素の成分値として設定される。
画素ごとの順次処理を行う場合、ニューラルネットワークは、入力層における前記局所領域と中間層において対応する画素位置とを画像内で移動させつつ、入力層から中間層への信号値の伝搬を行う。同様に（中間層が複数存在すれば）上流の中間層から下流の中間層への信号値の伝搬を行う。中間層から出力層への信号値の伝搬も同様である。
畳み込みニューラルネットワークを構成する各ニューロンにおけるパラメーターは可変である。このパラメーターは、学習時に更新され得る。このパラメーターは、前記の重み付け和を計算する際の重みの値として使用される。
畳み込みニューラルネットワークは、例えば、正例および負例からなる学習データセットを用い、誤差逆伝播法（backpropagation）により学習を行う。
正例としては、例えば、実際の事物等を撮影して（あるいは描いて）得られた精細な画像である学習用高解像画像Ｘｔｒａｉｎを用いる。正例としての学習用高解像画像Ｘｔｒａｉｎには、無意味な雑音や、ぼやけた画像や、所定基準以上の符号化劣化を伴う画像等を含まないようにする。正例としての学習用高解像画像Ｘｔｒａｉｎに写真や、ビデオ映像フレームや、イラストや、ＣＧ（コンピューターグラフィクス）や、線画を含めてもよい。
また、正例としての学習用高解像画像Ｘｔｒａｉｎに対応させて、画面全体が所定値ρ（例えば、ρ＝１）である学習用事前確率マップＲｔｒａｉｎを用いる。
正例として、上記のＸｔｒａｉｎとＲｔｒａｉｎとの対の１対以上を用いる。
一方、負例としては、例えば、精細な画像ではない画像である学習用高解像画像Ｘｔｒａｉｎ’を用いる。負例としての学習用高解像画像Ｘｔｒａｉｎ’には、無意味な雑音や、ぼやけた画像や、所定基準以上の符号化劣化を伴う画像などを含めるようにする。
また、負例としての学習用高解像画像Ｘｔｒａｉｎ’に対応させて、画面全体が所定値ρ’（例えば、ρ’＝０）である学習用事前確率マップＲｔｒａｉｎ’を用いる。
負例として、上記のＸｔｒａｉｎ’とＲｔｒａｉｎ’との対の１対以上を用いる。
このような学習データセットを用いた学習処理を事前に行うことにより、ニューラルネットワーク内のパラメーターが適切に調整される。そして、学習済みのニューラルネットワークを用いることにより、事前確率マップ演算部１５は、入力される仮の高解像画像Ｘ’が画像としてどの程度自然であるかを画素位置ごとに数値として評価した結果である事前確率マップＲを出力することができる。
なお、ニューラルネットワーク自体、および誤差逆伝播法によるニューラルネットワークの学習処理自体は、既存技術により実現できる。
図４は、本実施形態によるニューラルネットワークの学習処理に用いるのに適した正例および負例の例を示す概略図である。
図示する例において、正例は、（Ｘｔｒａｉｎ１，Ｒｔｒａｉｎ１）の対、および（Ｘｔｒａｉｎ２，Ｒｔｒａｉｎ２）の対である。Ｘｔｒａｉｎ１およびＸｔｒａｉｎ２は、それぞれ、精細で自然な画像である。また、Ｒｔｒａｉｎ１およびＲｔｒａｉｎ２は、全画素に対応させて１を保持する画像（全白）である。
また、負例は、（Ｘｔｒａｉｎ３，Ｒｔｒａｉｎ３）の対、および（Ｘｔｒａｉｎ４，Ｒｔｒａｉｎ４）の対である。Ｘｔｒａｉｎ３は、精細ではない、非常にぼやけた自動車の画像である。また、Ｘｔｒａｉｎ４は、自然な画像とは言えないパターンを有する画像である。また、Ｒｔｒａｉｎ３およびＲｔｒａｉｎ４は、全画素に対応させて０を保持する画像（全黒）である。
以上説明したように、本実施形態によれば、尤度マップ演算部１４は、仮の高解像画像と入力画像である低解像画像との整合性を評価する。また事前確率マップ演算部１５は、仮の高解像画像が、高解像画像としてあるべき画像的特徴を有するか否かを評価する。これら２つの評価値（マップ）を用いて、標本生成部１２および標本更新部１８は、高評価な高解像画像を確率的に生成する。この確率的な生成はマルコフ連鎖モンテカルロ法に準ずる高効率な標本生成過程であり、確率的に生成された高解像画像群の代表値を代表値演算部１９が求めることにより、最も確からしい超解像結果を速やかに得ることができる。
また、本実施形態によれば、上記の事前確率マップ演算部１５が、高解像画像としてあるべき画像的特徴を有するか否かを定量化するために、生物の神経回路網を模した機械学習の手法（ニューラルネットワーク）を導入している。このため、本実施形態による超解像装置は、人間の視覚系（眼や脳の視覚神経系）を近似した応答特性を実現することが期待される。即ち、本実施形態では、視覚的に精細感のある超解像を実現することが可能となる。
また、本実施形態によれば、従来技術の方法（非特許文献１に記載された方法など）よりも良い処理効率で、高解像画像を取得することができる。
［第２実施形態］
次に、第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
本実施形態による超解像装置１０１の構成は、図１に示した機能構成における事前確率マップ演算部１５を、事前確率マップ演算部１１５によって置換した構成である。
事前確率マップ演算部１１５は、仮の高解像画像Ｘ’に基づいて、事前確率マップＲを求めて出力する。事前確率マップＲは、仮の高解像画像Ｘ’がどの程度自然な画像であるか（自然な画像である度合い）を画素ごとに定量化した数値のマップである。
具体的には、事前確率マップ演算部１１５は、空間方向の画素値の変化量（例えば、輝度勾配）が相対的に小さい場合に仮の高解像画像Ｘ’が自然な画像である度合いを高く評価して、事前確率マップＲの画素値を決定する。
一例として、事前確率マップ演算部１１５は、下の式（１８）により、事前確率マップＲを算出する。
式（１８）の右辺の指数関数ｅｘｐの中に含まれる演算子ナブラ（nabla）は、仮の高解像画像Ｘ’の画素位置ｒにおける勾配を表す。また、τは正の実定数であり、例えばτ＝１とする。式（１８）によって事前確率マップＲを算出する場合、画素位置ｒにおける勾配の絶対値が大きいほど、画素位置ｒにおける事前確率マップＲの値は小さくなる。
本実施形態では、事前確率マップ演算部１１５が出力した事前確率マップＲ（ｒ）を用いて、乗算部１６が乗算を行う。事前確率マップ演算部１１５以外の各部の処理は、第１実施形態において対応する各部の処理と同様である。
［第３実施形態］
次に、第３実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
本実施形態による超解像装置２０１の構成は、図１に示した機能構成における事前確率マップ演算部１５を、事前確率マップ演算部２１５によって置換した構成である。
事前確率マップ演算部２１５は、仮の高解像画像Ｘ’に基づいて、事前確率マップＲを求めて出力する。事前確率マップＲは、仮の高解像画像Ｘ’がどの程度自然な画像であるか（自然な画像である度合い）を画素ごとに定量化した数値のマップである。
具体的には、事前確率マップ演算部２１５は、局所的な画素値の総変化量（例えば、トータルバリエーションノルム，total variation norm）が相対的に小さい場合に仮の高解像画像Ｘ’が自然な画像である度合いを高く評価して、事前確率マップＲの画素値を決定する。
一例として、事前確率マップ演算部２１５は、下の式（１９）により事前確率マップＲを算出する。
式（１９）において、演算子ナブラ（nabla）は、式（１８）における場合と同様に、仮の高解像画像Ｘ’の画素位置（ｒ＋ｘ）における勾配を表す。また、ｘは、画素平面に沿ったベクトルである。つまり、式（１９）の右辺に含まれる定積分は、画素位置ｒの周辺の半径ρ以下の画素領域のトータルバリエーションを算出するためのものである。なお、半径ρは正の実定数であり、例えばρ＝２とする。また、φは正の実定数であり、例えばφ＝１とする。式（１９）に事前確率マップＲを算出する場合、画素位置ｒおよびその周辺における勾配の絶対値が大きいほど、画素位置ｒにおける事前確率マップＲの値は小さくなる。
本実施形態では、事前確率マップ演算部２１５が出力した事前確率マップＲ（ｒ）を用いて、乗算部１６が乗算を行う。事前確率マップ演算部２１５以外の各部の処理は、第１実施形態において対応する各部の処理と同様である。
［変形例］
上記の第１実施形態、第２実施形態、および第３実施形態では、それぞれ、事前確率マップ演算部１５、１１５、および２１５が、事前確率マップを算出していた。変形例として、事前確率マップ演算部１５、１１５、および２１５のそれぞれによる方法を複数組み合わせることにより、「どの程度自然であるか」を表す指標を定量化してもよい。
例えば、事前確率マップ演算部１５による方法で求められる事前確率マップと、事前確率マップ演算部１１５による方法で求められる事前確率マップとの、重み付け平均によるマップを用いてもよい。
また、例えば、事前確率マップ演算部１１５による方法で求められる事前確率マップと、事前確率マップ演算部２１５による方法で求められる事前確率マップとの、重み付け平均によるマップを用いてもよい。
また、例えば、事前確率マップ演算部２１５による方法で求められる事前確率マップと、事前確率マップ演算部１５による方法で求められる事前確率マップとの、重み付け平均によるマップを用いてもよい。
また、その他の方法により、事前確率マップを算出するようにしてもよい。
なお、上述した実施形態における超解像装置の機能の少なくとも一部をコンピューターで実現するようにしても良い。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上説明した少なくとも一つの実施形態あるいはその変形例によれば、超解像装置は、低解像画像を基に、高精細で確からしい高解像画像を、速やかに得ることができるようになる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、画像あるいは映像を処理するあらゆる産業において利用可能である。
１ 超解像装置
１０ 遅延部
１１ 遅延部
１２ 標本生成部
１３ 切替部
１４ 尤度マップ演算部
１５ 事前確率マップ演算部
１６ 乗算部
１８ 標本更新部
１９ 代表値演算部
２０ 初期化部
３０ 入力層
３１ 入力層における注目する局所領域
３２ ニューロン
３３ ニューロン
３４ 中間層（第一の成分）
３５ 中間層（第二の成分）
３６ ニューロン出力値（第一の成分）
３７ ニューロン出力値（第二の成分）
３８ 中間層における注目する局所領域
３９ ニューロン
４０ 出力層
４１ ニューロン出力値
１０１ 超解像装置
１１５ 事前確率マップ演算部
２０１ 超解像装置
２１５ 事前確率マップ演算部
３００ 記憶部
３０１ 入力低解像画像記憶部
３０２ 高解像画像候補記憶部
３０３ 仮高解像画像記憶部
３０４ 事後確率マップ記憶部
３０５ 仮事後確率マップ記憶部
３０６ 事前確率マップ記憶部
３０７ 尤度マップ記憶部
３２０ 出力高解像画像記憶部

Claims (5)

  1. 反復演算により低解像画像から高解像画像を得る超解像装置であって、
    前記反復演算における時点に対応させた高解像画像候補を記憶する高解像画像候補記憶部と、
    前記反復演算における時点に対応させた事後確率マップを記憶する事後確率マップ記憶部と、
    前記反復演算における前時点の高解像画像候補から、所定の確率モデルにしたがって、仮高解像画像を確率的に生成する標本生成部と、
    前記仮高解像画像と前記低解像画像との間の局所領域ごとの整合度を評価して整合度の空間分布を尤度マップとして出力する尤度マップ演算部と、
    前記仮高解像画像が自然な画像である度合いを評価して自然な画像である度合いの空間分布を事前確率マップとして出力する事前確率マップ演算部と、
    前記高解像画像候補を更新して前記高解像画像候補記憶部に記憶させるとともに、前記事後確率マップを更新して前記事後確率マップ記憶部に記憶させる標本更新部と、
    前記高解像画像候補の時点の系列から、前記高解像画像の各画素位置における値を決定して出力する代表値演算部と、
    を具備し、
    前記標本更新部は、
    前記尤度マップ演算部が出力した尤度マップの各画素位置における値と前記事前確率マップ演算部が出力した前記事前確率マップの対応する画素位置における値の積と、前時点の前記事後確率マップの対応する画素位置における値と、所定の乱数値とに基づいて、前記仮高解像画像の当該画素位置における画素値または前時点の前記高解像画像候補の当該画素位置における画素値のいずれかを現時点の前記高解像画像候補の当該画素位置の画素値として決定するとともに、
    前記尤度マップ演算部が出力した尤度マップの各画素位置における値と前記事前確率マップ演算部が出力した前記事前確率マップの対応する画素位置における値の積と、前時点の前記事後確率マップの対応する画素位置における確率マップの同画素位置の値と、現時点の前記高解像画像候補の当該画素位置の画素値として決定するために用いた当該乱数値とに基づいて、現時点の対応する画素位置における前記積、または前時点の前記事後確率マップの対応する画素位置における値のいずれかを、現時点の前記事後確率マップの対応する画素位置における値として決定する、
    ことを特徴とする超解像装置。
  2. 前記事前確率マップ演算部は、ニューラルネットワークによって構成され、高解像画像としてあるべき画像の例である正例と高解像画像としてあるべきではない画像の例である負例とを用いて前記ニューラルネットワークが予め学習済みである、
    ことを特徴とする請求項１に記載の超解像装置。
  3. 前記事前確率マップ演算部は、前記仮高解像画像の画素位置における空間方向の画素値の変化量が小さいほど前記仮高解像画像が自然な画像である度合いを高く評価して、前記事前確率マップを出力する、
    ことを特徴とする請求項１または２に記載の超解像装置。
  4. 前記事前確率マップ演算部は、前記仮高解像画像の画素位置の所定範囲内における画素値の総変化量が小さいほど前記仮高解像画像が自然な画像である度合いを高く評価して、前記事前確率マップを出力する、
    ことを特徴とする請求項１から３までのいずれか一項に記載の超解像装置。
  5. コンピューターを、
    反復演算により低解像画像から高解像画像を得る超解像装置であって、
    前記反復演算における時点に対応させた高解像画像候補を記憶する高解像画像候補記憶部と、
    前記反復演算における時点に対応させた事後確率マップを記憶する事後確率マップ記憶部と、
    前記反復演算における前時点の高解像画像候補から、所定の確率モデルにしたがって、仮高解像画像を確率的に生成する標本生成部と、
    前記仮高解像画像と前記低解像画像との間の局所領域ごとの整合度を評価して整合度の空間分布を尤度マップとして出力する尤度マップ演算部と、
    前記仮高解像画像が自然な画像である度合いを評価して自然な画像である度合いの空間分布を事前確率マップとして出力する事前確率マップ演算部と、
    前記高解像画像候補を更新して前記高解像画像候補記憶部に記憶させるとともに、前記事後確率マップを更新して前記事後確率マップ記憶部に記憶させる標本更新部と、
    前記高解像画像候補の時点の系列から、前記高解像画像の各画素位置における値を決定して出力する代表値演算部と、
    を具備し、
    前記標本更新部は、
    前記尤度マップ演算部が出力した尤度マップの各画素位置における値と前記事前確率マップ演算部が出力した前記事前確率マップの対応する画素位置における値の積と、前時点の前記事後確率マップの対応する画素位置における値と、所定の乱数値とに基づいて、前記仮高解像画像の当該画素位置における画素値または前時点の前記高解像画像候補の当該画素位置における画素値のいずれかを現時点の前記高解像画像候補の当該画素位置の画素値として決定するとともに、
    前記尤度マップ演算部が出力した尤度マップの各画素位置における値と前記事前確率マップ演算部が出力した前記事前確率マップの対応する画素位置における値の積と、前時点の前記事後確率マップの対応する画素位置における確率マップの同画素位置の値と、現時点の前記高解像画像候補の当該画素位置の画素値として決定するために用いた当該乱数値とに基づいて、現時点の対応する画素位置における前記積、または前時点の前記事後確率マップの対応する画素位置における値のいずれかを、現時点の前記事後確率マップの対応する画素位置における値として決定する、
    超解像装置として機能させるためのプログラム。
JP2017142681A 2017-07-24 2017-07-24 超解像装置およびプログラム Active JP6832252B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017142681A JP6832252B2 (ja) 2017-07-24 2017-07-24 超解像装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017142681A JP6832252B2 (ja) 2017-07-24 2017-07-24 超解像装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2019023798A JP2019023798A (ja) 2019-02-14
JP6832252B2 true JP6832252B2 (ja) 2021-02-24

Family

ID=65368925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017142681A Active JP6832252B2 (ja) 2017-07-24 2017-07-24 超解像装置およびプログラム

Country Status (1)

Country Link
JP (1) JP6832252B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220286746A1 (en) 2019-08-30 2022-09-08 Sony Group Corporation Reception device and reception method and transmission device and transmission method
DE112020004394T5 (de) 2019-09-19 2022-06-15 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und anzeigevorrichtung mit künstlicherintelligenzfunktion
US20240147001A1 (en) 2019-10-23 2024-05-02 Saturn Licensing Llc Information processing device, information processing method, and artificial intelligence system
CN112712470A (zh) * 2019-10-25 2021-04-27 华为技术有限公司 一种图像增强方法及装置

Also Published As

Publication number Publication date
JP2019023798A (ja) 2019-02-14

Similar Documents

Publication Publication Date Title
Gu et al. Using free energy principle for blind image quality assessment
JP7417640B2 (ja) リアルタイム映像超高解像度
JP6832252B2 (ja) 超解像装置およびプログラム
US11514694B2 (en) Teaching GAN (generative adversarial networks) to generate per-pixel annotation
Wang et al. Resolution enhancement based on learning the sparse association of image patches
US8594464B2 (en) Adaptive super resolution for video enhancement
Singh et al. Single image dehazing for a variety of haze scenarios using back projected pyramid network
CN113256529B (zh) 图像处理方法、装置、计算机设备及存储介质
CN106169174B (zh) 一种图像放大方法
CN115605878A (zh) 使用基于自注意力的神经网络处理图像
DE102021124769A1 (de) Latente-variable generatives modell mit einem rauschkontrastgebenden prior
Son Inverse halftoning through structure-aware deep convolutional neural networks
Liu et al. Survey on gan‐based face hallucination with its model development
Moser et al. Diffusion models, image super-resolution and everything: A survey
US11580387B2 (en) Combining point observations with raster data for machine learning
van den Oord et al. Locally-connected transformations for deep gmms
Wu et al. Non‐uniform image blind deblurring by two‐stage fully convolution network
CN116485743A (zh) 一种无参考图像质量评价方法、***、电子设备及存储介质
CN113077383B (zh) 一种模型训练方法及模型训练装置
Hasan et al. Single image super-resolution using back-propagation neural networks
JP2019082847A (ja) データ推定装置、データ推定方法及びプログラム
Dong et al. Bayesian Deep Learning for Image Reconstruction: From structured sparsity to uncertainty estimation
Attar et al. Parametric optimization of logarithmic transformation using GWO for enhancement and denoising of MRI images
Huang et al. A deep dictionary model to preserve and disentangle key features in a signal
JP2010257344A (ja) 視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210201

R150 Certificate of patent or registration of utility model

Ref document number: 6832252

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250