JP2014099048A - 画像復元装置および画像復元方法 - Google Patents
画像復元装置および画像復元方法 Download PDFInfo
- Publication number
- JP2014099048A JP2014099048A JP2012250509A JP2012250509A JP2014099048A JP 2014099048 A JP2014099048 A JP 2014099048A JP 2012250509 A JP2012250509 A JP 2012250509A JP 2012250509 A JP2012250509 A JP 2012250509A JP 2014099048 A JP2014099048 A JP 2014099048A
- Authority
- JP
- Japan
- Prior art keywords
- image
- original image
- estimated
- color channel
- estimated original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 72
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims description 39
- 238000011156 evaluation Methods 0.000 claims description 23
- 238000012804 iterative process Methods 0.000 claims description 23
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000006866 deterioration Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 9
- 230000015556 catabolic process Effects 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】既知のPSFを用いてカラー劣化画像を復元する際に、復元処理の演算量を低減する。
【解決手段】画像復元装置3において、原画像推定部23は、撮影された劣化画像の画素値と推定原画像およびPSFに基づき推定された劣化画像の画素値との差分、ならびに推定原画像における画素値の勾配のスパース性を評価する関数に基づき、推定原画像の尤もらしさを評価し、スパース性を評価する関数には重みパラメータによる重み付けがなされ、1つの代表カラーチャネルの復元処理において更新された重みパラメータを補助カラーチャネルの復元処理に用いることにより、補助カラーチャネルにおける復元処理の演算量を低減する。
【選択図】図4
【解決手段】画像復元装置3において、原画像推定部23は、撮影された劣化画像の画素値と推定原画像およびPSFに基づき推定された劣化画像の画素値との差分、ならびに推定原画像における画素値の勾配のスパース性を評価する関数に基づき、推定原画像の尤もらしさを評価し、スパース性を評価する関数には重みパラメータによる重み付けがなされ、1つの代表カラーチャネルの復元処理において更新された重みパラメータを補助カラーチャネルの復元処理に用いることにより、補助カラーチャネルにおける復元処理の演算量を低減する。
【選択図】図4
Description
本発明は、劣化画像を復元するための画像復元装置および画像復元方法に関し、特に、撮影過程で生じた画像のボケ等を修復するのに好適な画像復元装置および画像復元方法に関する。
デジタルスチルカメラ等を用いた撮影では、焦点ボケやカメラブレ等に起因する画像のボケが生じる場合がある。このボケが生じた劣化画像は、原画像(理想画像)と、この原画像を劣化させる空間フィルタを表す点拡がり関数(以下「PSF(Point Spread Function)」という。)との畳み込み(Convolution)によって得られると考えることができる。従来、劣化画像から原画像を復元する方法として、理論上得られた又は実測された既知のPSFを用いて原画像を復元する非ブラインド法(Non-Blind Deconvolution)が知られており、例えば、逆畳み込み(Deconvolution)を行う逆フィルタ(Inverse filter)およびウィーナフィルタ(Wiener filter)が知られている。
また、非ブラインド法としては、原画像の推定に際し、ベイズの定理を利用し確率統計的手法で原画像の最尤推定を行うLR(Lucy-Richardson)法(非特許文献1参照)が知られており、さらに、LR法のように所定の反復処理を必要とする原画像の推定処理をIRLSアルゴリズムによって複数回繰り返すことにより、原画像の復元精度を高めるようにした方法(以下、「IRLS適用法」という。)が知られている(非特許文献2参照)。
W.H.Richardson,"Bayesian-Based Iterative Method of Image Restoration",Journal of Optical Society of America,Vol.62,No.1,1972
A. Levin, et al. "Deconvolution using natural image priors", http://groups.csail.mit.edu/graphics/CodedAperture/SparseDeconv-LevinEtAl07.pdf, (a supplemental document of "Image and Depth from a Conventional Camera with a Coded Aperture", ACM SIGGRAPH 2007)
しかしながら、上記非特許文献2に記載の従来技術によってカラー劣化画像を復元する場合、原画像を推定するための反復処理の繰り返しステップをカラーチャネル毎に行う必要があるため、復元処理の演算量が膨大となり、処理時間や処理負荷が大きくなるという問題があった。
本発明は、このような従来技術の課題を鑑みて案出されたものであり、既知のPSFを用いてカラー劣化画像を復元する際に、復元処理の演算量を低減することを可能とした画像復元装置および画像復元方法を提供することを主目的とする。
本発明の画像復元装置は、既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元装置であって、前記劣化画像が入力される画像入力部と、前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定部と、前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成部とを備え、前記原画像推定部は、複数の前記カラーチャネルから選択された1つの代表カラーチャネルについて、所定のパラメータを含む評価指標に基づき前記推定原画像の尤もらしさを評価する一方、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについての前記推定原画像が尤もらしいと評価された際の前記パラメータの値を用いて、前記評価指標に基づき前記推定原画像の尤もらしさを評価することを特徴とする。
このように本発明によれば、既知のPSFを用いてカラー劣化画像を復元する際に、復元処理の演算量を低減することが可能となるという優れた効果を奏する。
上記課題を解決するためになされた第1の発明は、既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元装置であって、前記劣化画像が入力される画像入力部と、前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定部と、前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成部とを備え、前記原画像推定部は、複数の前記カラーチャネルから選択された1つの代表カラーチャネルについて、所定のパラメータを含む評価指標に基づき前記推定原画像の尤もらしさを評価する一方、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについての前記推定原画像が尤もらしいと評価された際の前記パラメータの値を用いて、前記評価指標に基づき前記推定原画像の尤もらしさを評価することを特徴とする。
この第1の発明に係る画像復元装置によれば、上記第1の発明において、既知のPSFを用いてカラー劣化画像を復元する際に、代表カラーチャネルについての推定原画像の尤もらしさを評価する処理において更新されたパラメータに基づき補助カラーチャネルの処理を実施するため、復元処理の演算量を低減することが可能となる。
また、第2の発明では、前記評価指標は、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数とを含み、前記パラメータは、前記スパース性を評価する関数に対する重み付けにより、前記推定原画像の前記評価おいて画素毎に前記差分との相対的な優先度合いを定める重みパラメータであり、前記原画像推定部は、前記代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された前記重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施する構成とする。
この第2の発明に係る画像復元装置によれば、IRLS適用法により既知のPSFを用いてカラー劣化画像を復元する際に、代表カラーチャネルの処理において更新された重みパラメータに基づき補助カラーチャネルの処理を実施するため、補助カラーチャネルにおける反復処理の繰り返しステップを省略することが可能となり、復元処理の演算量を低減することが可能となる。
また、第3の発明では、上記第1または第2の発明において、前記代表カラーチャネルが、複数の前記カラーチャネルのうち高周波数成分の最も多いカラーチャネルである構成とする。
この第3の発明に係る画像復元装置によれば、高周波数成分の大小に基づき重要度の高いカラーチャネルを代表カラーチャネルとして選択できるため、補助カラーチャネルにおける反復処理の繰り返しステップを省略した場合でも高精度な復元処理が可能となる。
また、第4の発明では、上記第1から第3の発明のいずれかにおいて、前記劣化画像は、RGBカラー画像であり、前記代表カラーチャネルがGチャネルからなると共に、前記補助カラーチャネルがRチャネルおよびBチャネルからなる構成とする。
この第4の発明に係る画像復元装置によれば、視感度の高いGチャネル(緑色)を代表チャネルとして指定することにより、RチャネルおよびBチャネルにおける反復処理の繰り返しステップを省略した場合でも高精度な復元処理が可能となる。
また、第5の発明では、前記評価指標は、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数とを含み、前記パラメータは、前記スパース性を評価する関数に対する重み付けにより、前記推定原画像の前記評価において画素毎に前記差分との相対的な優先度合いを定める重みパラメータであり、前記原画像推定部は、前記代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された推定原画像から求めた重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施する構成とする。
この第5の発明に係る画像復元装置によれば、IRLS適用法により既知のPSFを用いてカラー劣化画像を復元する際に、代表カラーチャネルについて最終的に更新された推定原画像から求めた重みパラメータに基づき補助カラーチャネルの処理を実施するため、補助カラーチャネルにおける反復処理の繰り返しステップを省略することが可能となり、復元処理の演算量を低減することが可能となる。特に、代表チャネルの最終復元画像を利用するため、補助カラーチャネルでの復元精度の向上が期待できる。
また、第6の発明では、既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元方法であって、前記劣化画像が入力される画像入力ステップと、前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定ステップと、前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成ステップとを含み、前記原画像推定ステップでは、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数に基づき、前記推定原画像の尤もらしさを評価し、前記スパース性を評価する関数には、前記推定原画像の前記評価おいて画素毎に前記差分との相対的な優先度合いを定める重みパラメータによる重み付けがなされ、更に、前記原画像推定ステップでは、複数のカラーチャネルから選択された1つの代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された前記重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施することを特徴とする画像復元方法である。
この第6の発明に係る画像復元方法によれば、IRLS適用法により既知のPSFを用いてカラー劣化画像を復元する際に、代表カラーチャネルの復元処理において更新された重みパラメータに基づき補助カラーチャネルの復元処理を実施するため、補助カラーチャネルにおける反復処理の繰り返しステップを省略することが可能となり、復元処理の演算量を低減することが可能となる。
以下、本発明の実施の形態について図面を参照しながら説明する。
図1は本発明に係る画像復元装置を備えた画像処理システムの概略構成を示すブロック図である。画像処理システム1は、撮影された劣化画像(撮影時の焦点ボケやカメラブレ等に起因するボケが生じた画像)の復元処理を行って原画像を取得するものであり、被写体の撮影によりデジタルカラー画像(ここでは、RGB画像)を生成する撮像装置2と、この撮像装置2から入力されたデジタルカラー画像が劣化画像である場合に、その劣化画像の復元処理を行う画像復元装置3とを備えている。
撮像装置2は、デジタルスチルカメラからなるが、少なくとも被写体像をデジタル画像データとして記録可能な限りにおいて、デジタルビデオカメラなど他の公知の装置を撮像装置2として用いることができる。
画像復元装置3は、画像処理機能を有するコンピュータシステムからなり、撮像装置2から送信された画像データが図示しないインタフェースを介して入力される画像入力部11と、入力された画像データ(劣化画像)から原画像を復元する画像復元部12と、復元された原画像からディスプレイ表示用の表示データを生成する表示データ生成部13と、原画像をユーザに対して表示するディスプレイ等からなる表示部14と、原画像を記録する記憶装置からなる記録部15とから主として構成される。
画像入力部11は、撮像装置2からの画像データを図示しないメモリに格納し、必要に応じてその画像データを画像復元部12に出力する。画像復元部12は、理論上得られた又は実測された既知のPSFを取得するPSF取得部21と、複数のカラーチャネル(成分毎に分離された色情報であり、ここでは、Rチャネル、Gチャネル、Bチャネルからなる。)から1つの代表チャネルを選択する代表チャネル選択部22と、各カラーチャネルについて、劣化画像が劣化する前の原画像を推定することにより、推定された原画像(以下、「推定原画像」という。)を取得する原画像推定部23と、カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成部24とを有している。
PSF取得部21は、ここでは、撮像装置2が備える図示しないセンサ(加速度センサ等)によって検出される手振れ情報に基づきPSFを取得する。ただし、これに限らず、他の公知の方法によってPSFを取得してもよい。
画像復元装置3の上記各部による処理機能の少なくとも一部は、画像処理アプリケーションなどのプログラムを図示しないCPUで実行するソフトウェア処理によって実現することができる。ただし、それらの処理機能はソフトウェア処理に基づくものに限定されず、同様の処理を実行可能なハードウェアを用いて実現してもよい。
図2は画像復元装置による画像復元方法の流れを示すフロー図である。画像復元装置3では、撮像装置2において撮影されたカラー画像のデータが画像入力部11に順次入力される(ST101)。画像データが入力されると、代表チャネル選択部22が、入力された画像データにおける空間周波数の情報を取得し、高周波成分の割合が最も高いカラーチャネル(例えば、赤みがかった劣化画像におけるRチャネル)を代表カラーチャネルとして選択する(ST102)。同時に、代表カラーチャネル以外の他のカラーチャネル(例えば、GチャネルおよびBチャネル)は補助カラーチャネルとして選択される。
なお、ステップST102における代表カラーチャネルの選択は、必ずしも画像データの入力毎に行う必要はなく、一連の動画データ等の場合には同じ代表カラーチャネルを用いることができる。或いは、選択すべき代表カラーチャネルを予めユーザが指定しておくことも可能である。例えば、ユーザは、緑色の視感度の高さを考慮してGチャネルを代表チャネルとして指定することができる。
次に、画像復元装置3では、ステップST102において選択された代表カラーチャネルについて、原画像推定部23が原画像の復元処理を実施する(ST103)。この代表カラーチャネルの復元処理は、従来のIRLS適用法にしたがって実施される。続いて、原画像推定部23は、各補助カラーチャネルについて原画像の復元処理をそれぞれ実施する(ST104)。詳細は後述するが、各補助カラーチャネルに関するステップST104では、代表カラーチャネルに関するステップST103の処理結果を利用することにより復元処理が効率化される。その後、画像復元装置3では、復元画像合成部26が、ステップST103およびST104において出力された各カラーチャネルの推定原画像を合成し(ST105)、その合成されたカラー復元画像が表示部14に表示されると共に、記録部15に記録される(ST106)。
ここで、上述のIRLS適用法により劣化画像を復元する原理について簡単に説明する。劣化前の原画像xおよび撮影された劣化画像yは、既知のPSFであるfに基づくN×Nのコンボリューション行列Cfにより、次の式(1)のように表すことができる。
IRLS適用法では、上記式(1)を満たす原画像xを推定するために、次の式(2)に示すような事後確率を最大とするxを求める。
ここで、P(y|x)については、劣化画像に含まれるノイズが独立に同一の確率分布に従う分散ηのガウスノイズであるとすると、次の式(3)のように表すことができる。
更に、xの事前確率P(x)は、フィルタのセットgkを用いて次の式(4)のように表すことができる。ここで、所定の関数ρに関し、iは画素を表し、gi,kは画素iを中心としたk番目のフィルタを表す。
上記式(2)〜式(4)の対数をとることにより、推定原画像xの尤もらしさを評価する評価値を次の式(5)のように表すことができる。
上記式(5)において、第1項は、推定原画像xをPSFにより劣化させた画像と撮影された画像(劣化画像y)との差分(残差)を表し、第2項は、推定原画像xにおける輝度値(画素値)の勾配がどの程度のスパース性(0成分が多いという性質)を有しているのかを評価する関数である。つまり、x(原画像)にf(PSF)を畳み込んだCfxとy(劣化画像)との差が小さいこと(評価指標1)、及びx(原画像)の勾配分布がスパースであること(評価指標2)に基づき評価値を定義し、評価値を最小化するxを求める。なお、式(5)において評価指標2に付加された重み係数w(=αη2)は、評価指標1との相対的な優先度合いを定めるスカラ値である。
そこで、上記式(5)の微分を0にするxを求める。式(5)のxについての微分の部分式を次の式(6)とすると、線形方程式Ax=bについて解く問題に帰着することができ、これにより、後に詳述するCG法(共役勾配法)によってxを推定することが可能となる。
上記式(5)では、重み係数wは画像全体に一律に作用し、重み係数wを大きくすると、復元画像の輝度勾配が緩やかになる(つまり、鮮鋭感が低下する)。一方、重み係数wを小さくする(0に近づける)と、復元画像の輝度勾配が急になる(つまり、鮮鋭感が高くなる)傾向にあるが、原画像のランダムノイズ成分が強調されたり、輪郭回りに波紋状のリンギングノイズが発生したりするという弊害が起こる。そこで、復元画像の中で輝度勾配の大きい画素については復元度合いを弱め(すなわち、スパース性を重視し)、輝度勾配の小さい画素については復元度合いを高める(すなわち、スパース性を軽視する)ように、画素毎に重みを持たせた重み行列Wk(重みパラメータ)をさらに導入し、復元度合いを画素毎に適切に変更可能としている。
一方で、復元画像の各画素についての輝度勾配の大きさは、復元処理前には未知であり、また、撮影された劣化画像の勾配を流用しても意味がないため、後述するように、IRLSアルゴリズムを導入して画像復元ステップを複数回繰り返し、各ステップで求めた復元画像から重み行列Wkを計算することで復元画質を向上させる。
そこで、式(6)における輝度勾配のスパース性を評価する項に重み行列Wkを乗じて次の式(7)とし、線形方程式A’x=bについて解くものとする。
図3は図2中の代表チャネルに関する復元処理(ST103)の詳細を示すフロー図である。画像復元部12では、カラー画像データにおける代表チャネル(例えば、Gチャネル)についての輝度情報等を取得すると、原画像推定部23が、上記式(7)における重み行列Wkの値を初期化し(ST201)、更に、推定原画像xの初期解を設定する(ST202)。ここでは、x=y(撮影された劣化画像)として初期解を設定する。
次に、原画像推定部23は、上記式(7)に基づき残差r(=A’x−b)を算出し(ST203)、続くステップST204〜ST209において、CG法に基づく反復処理により推定原画像xを順次更新しながら残差rが十分に小さくなるまで(すなわち、最終的に更新された推定原画像xが尤もらしいと評価されるまで)繰り返す。
ステップST204では、次の式(8)で表されるρが所定の閾値(略0とみなせる値)以下であるか否かによって残差rが評価される。
ρ=rTr ・・・式(8)
ρ=rTr ・・・式(8)
原画像推定部23は、ステップST204において残差rが小さくない(ρが閾値を越える)と判定した場合(No)、続くステップST205において、次の式(9)で表される予測ベクトル(修正方向ベクトル)pの更新比率(修正係数)βを算出する。ここで、ρbakはρの前回値である。なお、反復処理の初回においては、更新比率βは算出されず、予測ベクトルp=r(初期値)に設定される。
β=ρ/ρbak ・・・式(9)
β=ρ/ρbak ・・・式(9)
続くステップST206では、次の式(10)に示すように予測ベクトルpが更新される。ここで、pbakはpの前回値である。なお、反復処理の初回においては、このステップST206は省略される(すなわち、p=r)。
p=r+βpbak ・・・式(10)
p=r+βpbak ・・・式(10)
続くステップST207では、次の式(11)に示すように推定原画像xの推定解に対する更新比率(修正係数)αが算出される。ここで、q=A’pである。
α=ρ/(pTq) ・・・式(11)
α=ρ/(pTq) ・・・式(11)
続くステップST208では、次の式(12)に示すように上記予測ベクトルpおよび更新比率αに基づき推定原画像xの推定解が更新される。ここで、xbakはxの前回値である。
x=xbak+αp ・・・式(12)
x=xbak+αp ・・・式(12)
続くステップST209では、次の式(13)に示すように上記更新比率αに基づき残差rが更新され、再びステップST204に戻ってその更新された残差rの値が評価される。
r=rbak+αq ・・・式(13)
r=rbak+αq ・・・式(13)
原画像推定部23は、上記ステップST204〜ST209の反復処理を繰り返し、最終的にステップST204において残差rが十分に小さい(Yes)と判定すると、IRLSアルゴリズムの第1ステップST1を終了してステップST210に進む。
ステップST210では、上述の第1ステップST1の結果に基づき、次の式(14)によって重み行列Wkが算出される。ここで、a、εは定数である。また、Dk=Cgkxであり、xには第1ステップST1の最終的な値が用いられる。
Wk=(max{|Dk|,ε})a-2 ・・・式(14)
Wk=(max{|Dk|,ε})a-2 ・・・式(14)
その後、IRLSアルゴリズムの第2ステップST2として、上記ステップST202およびST203と同様のステップST211およびST212が実施され、更に、上記ステップST204〜ST209と同様の反復処理であるステップST213〜218が実施される。
原画像推定部23は、上記ステップSTST213〜218の反復処理を繰り返し、最終的にステップST213において残差rが十分に小さい(Yes)と判定すると、IRLSアルゴリズムの第2ステップST2を終了してステップST219に進む。
ステップST219では、上記ステップST210と同様に、上述の第2ステップST2の結果に基づき新たな重み行列Wkが算出される。その後、IRLSアルゴリズムの第3ステップST3として、上記ステップST211および212と同様のステップST220および221が実施され、更に、上記ステップST213〜ST218と同様の反復処理であるステップST222〜227が実施される。
原画像推定部23は、最終的にステップST222において残差rが十分に小さい(Yes)と判定すると、IRLSアルゴリズムの第3ステップST3を終了し、最終的な推定原画像xの推定解を代表カラーチャネルに関する復元画像として出力する(ST228)。なお、ここでは、繰り返しステップ数が3回の例(ステップST1〜ST3)を示したが、これに限らずステップ数は変更可能である。
図4は図2中の補助チャネルに関する復元処理(ST104)の詳細を示すフロー図である。この補助チャネルに関する復元処理では、上記代表チャネルに関する復元処理の重み行列Wkの情報が利用される。まず、原画像推定部23は、カラー画像データにおける補助チャネル(例えば、RチャネルまたはBチャネル)についての輝度情報等と共に、上述の代表チャネルに関する復元処理で最終的に更新された(図3中のステップST219で算出された)重み行列Wkの情報を取得する(ST301)。
その後、画像復元部12では、上述の図3中のステップST220と同様に、補助チャネルに関する推定原画像xの初期解が設定され(ステップST302)、続いて図3中のステップST221等と同様に残差rが算出される。その後、図3中のステップST222〜ST227等と同様の反復処理であるステップST304〜309が実施される。
原画像推定部23は、最終的にステップST304において残差rが十分に小さい(Yes)と判定すると、上述の代表チャネルの場合のように3回のステップを繰り返すことなく、1回のステップにより推定原画像xの推定解を復元画像として出力する(ST310)。
なお、ステップST301において図3中のステップST219で算出された重み行列Wkを取得したが、別法として、ST228で出力された復元画像を取得し、この復元画像を用いて前述のST219と同様の方法で算出した重み行列Wkを利用してもよい。ST219で算出された重み行列Wkの算出の元になった復元画像は、代表チャネルの第2ステップST2で得られた推定画像である。一方、同チャネルのST3で得られる推定画像(ST228で出力される復元画像)はST2の推定画像よりも復元精度が良いため、ST3での推定画像を、補助チャネル用重み行列の算出ソースに使用することで、当該重み行列をさらに適したものにできることが期待できる。
このように、画像復元装置3およびその画像復元方法では、従来のIRLS適用法により既知のPSFを用いてカラー劣化画像を復元する際に、代表カラーチャネルの復元処理において更新された重み行列Wkを用いて補助カラーチャネルの復元処理を実施する構成としたため、補助カラーチャネルにおける反復処理の繰り返しステップを省略することが可能となり、復元処理の演算量を低減することが可能となる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、上記実施形態では、RGB画像を用いた例を示したが、これに限らず他のカラーモデル(例えば、YUV)を用いることも可能である。その場合にも、1つのカラーチャネル(例えば、Yチャネル)が代表チャネルとして選択され、他のチャネル(例えば、UチャネルおよびVチャネル)が補助チャネルとして選択される。また、補助カラーチャネルの復元処理において流用されるパラメータ(代表カラーチャネルの復元処理で算出されたパラメータ)については、上記実施形態の重み行列Wkに限定されず、復元処理の演算量を低減可能な限りにおいて種々の変更が可能である。なお、上記実施形態に示した本発明に係る画像復元装置および画像復元方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
本発明に係る画像復元装置および画像復元方法は、既知のPSFを用いてカラー劣化画像を復元する際に、復元処理の演算量を低減することを可能とし、特に、撮像過程で生じた画像のボケ等を修復するための画像復元装置および画像復元方法などとして有用である。
1 画像処理システム
2 撮像装置
3 画像復元装置
11 画像入力部
12 画像復元部
21 PSF取得部
22 代表チャネル選択部
23 原画像推定部
2 撮像装置
3 画像復元装置
11 画像入力部
12 画像復元部
21 PSF取得部
22 代表チャネル選択部
23 原画像推定部
Claims (6)
- 既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元装置であって、
前記劣化画像が入力される画像入力部と、
前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定部と、
前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成部とを備え、
前記原画像推定部は、複数の前記カラーチャネルから選択された1つの代表カラーチャネルについて、所定のパラメータを含む評価指標に基づき前記推定原画像の尤もらしさを評価する一方、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについての前記推定原画像が尤もらしいと評価された際の前記パラメータの値を用いて、前記評価指標に基づき前記推定原画像の尤もらしさを評価することを特徴とする画像復元装置。 - 前記評価指標は、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数とを含み、
前記パラメータは、前記スパース性を評価する関数に対する重み付けにより、前記推定原画像の前記評価おいて画素毎に前記差分との相対的な優先度合いを定める重みパラメータであり、
前記原画像推定部は、前記代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された前記重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施することを特徴とする請求項1に記載の画像復元装置。 - 前記代表カラーチャネルは、複数の前記カラーチャネルのうち高周波数成分の最も多いカラーチャネルであることを特徴とする請求項1または請求項2に記載の画像復元装置。
- 前記劣化画像は、RGBカラー画像であり、前記代表カラーチャネルがGチャネルからなると共に、前記補助カラーチャネルがRチャネルおよびBチャネルからなることを特徴とする請求項1から請求項3のいずれかに記載の画像復元装置。
- 前記評価指標は、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数とを含み、
前記パラメータは、前記スパース性を評価する関数に対する重み付けにより、前記推定原画像の前記評価において画素毎に前記差分との相対的な優先度合いを定める重みパラメータであり、
前記原画像推定部は、前記代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された推定原画像から求めた重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施することを特徴とする請求項1に記載の画像復元装置。 - 既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元方法であって、
前記劣化画像が入力される画像入力ステップと、
前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定ステップと、
前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成ステップと
を含み、
前記原画像推定ステップでは、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数に基づき、前記推定原画像の尤もらしさを評価し、
前記スパース性を評価する関数には、前記推定原画像の前記評価おいて画素毎に前記差分との相対的な優先度合いを定める重みパラメータによる重み付けがなされ、
更に、前記原画像推定ステップでは、複数のカラーチャネルから選択された1つの代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された前記重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施することを特徴とする画像復元方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012250509A JP2014099048A (ja) | 2012-11-14 | 2012-11-14 | 画像復元装置および画像復元方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012250509A JP2014099048A (ja) | 2012-11-14 | 2012-11-14 | 画像復元装置および画像復元方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014099048A true JP2014099048A (ja) | 2014-05-29 |
Family
ID=50941012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012250509A Pending JP2014099048A (ja) | 2012-11-14 | 2012-11-14 | 画像復元装置および画像復元方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014099048A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104680497A (zh) * | 2015-03-19 | 2015-06-03 | 北京大学 | 利用梯度特性的自适应图像恢复方法和装置 |
CN111968040A (zh) * | 2020-07-02 | 2020-11-20 | 北京大学深圳研究生院 | 图像的复原方法、***及计算机可读存储介质 |
CN113379647A (zh) * | 2021-07-08 | 2021-09-10 | 湘潭大学 | 一种优化psf估计的多特征图像复原方法 |
-
2012
- 2012-11-14 JP JP2012250509A patent/JP2014099048A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104680497A (zh) * | 2015-03-19 | 2015-06-03 | 北京大学 | 利用梯度特性的自适应图像恢复方法和装置 |
CN111968040A (zh) * | 2020-07-02 | 2020-11-20 | 北京大学深圳研究生院 | 图像的复原方法、***及计算机可读存储介质 |
CN113379647A (zh) * | 2021-07-08 | 2021-09-10 | 湘潭大学 | 一种优化psf估计的多特征图像复原方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11783231B2 (en) | System and method for joint image refinement and perception | |
KR100907120B1 (ko) | 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체 | |
US8379120B2 (en) | Image deblurring using a combined differential image | |
WO2012017662A1 (ja) | 画像復元装置および画像復元方法 | |
JP2013508811A (ja) | 空間画像事前確率を用いたぼけ画像修正 | |
JP5007241B2 (ja) | 画像処理装置 | |
JP2017010092A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2008146643A (ja) | 動きでぶれた画像における動きのぶれを低減する方法、動きでぶれた画像における動きのぶれを低減するための装置、および動きでぶれた画像における動きのぶれを低減するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体 | |
JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
WO2014070273A1 (en) | Recursive conditional means image denoising | |
JP2017010095A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2020086891A (ja) | 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP6624061B2 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体 | |
CN115496673A (zh) | 图像处理方法、图像处理装置、图像处理***、以及存储介质 | |
JP6541454B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2017010093A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
TW202025085A (zh) | 圖像處理設備和方法 | |
JP2014099048A (ja) | 画像復元装置および画像復元方法 | |
JP2012003454A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
CN106447610B (zh) | 图像重建方法及装置 | |
KR101152525B1 (ko) | 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치 | |
JPWO2011086594A1 (ja) | 画像処理装置、及びその方法 | |
JP2011165013A (ja) | 画像復元装置および画像復元方法 | |
Kim et al. | Evaluating super resolution algorithms | |
JP2019045981A (ja) | 画像処理装置、画像処理方法及びプログラム |