JP2014099048A - 画像復元装置および画像復元方法 - Google Patents

画像復元装置および画像復元方法 Download PDF

Info

Publication number
JP2014099048A
JP2014099048A JP2012250509A JP2012250509A JP2014099048A JP 2014099048 A JP2014099048 A JP 2014099048A JP 2012250509 A JP2012250509 A JP 2012250509A JP 2012250509 A JP2012250509 A JP 2012250509A JP 2014099048 A JP2014099048 A JP 2014099048A
Authority
JP
Japan
Prior art keywords
image
original image
estimated
color channel
estimated original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012250509A
Other languages
English (en)
Inventor
Tomohide Maeda
友英 前田
Kenji Tabei
憲治 田部井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2012250509A priority Critical patent/JP2014099048A/ja
Publication of JP2014099048A publication Critical patent/JP2014099048A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】既知のＰＳＦを用いてカラー劣化画像を復元する際に、復元処理の演算量を低減する。
【解決手段】画像復元装置３において、原画像推定部２３は、撮影された劣化画像の画素値と推定原画像およびＰＳＦに基づき推定された劣化画像の画素値との差分、ならびに推定原画像における画素値の勾配のスパース性を評価する関数に基づき、推定原画像の尤もらしさを評価し、スパース性を評価する関数には重みパラメータによる重み付けがなされ、１つの代表カラーチャネルの復元処理において更新された重みパラメータを補助カラーチャネルの復元処理に用いることにより、補助カラーチャネルにおける復元処理の演算量を低減する。
【選択図】図４

Description

本発明は、劣化画像を復元するための画像復元装置および画像復元方法に関し、特に、撮影過程で生じた画像のボケ等を修復するのに好適な画像復元装置および画像復元方法に関する。
デジタルスチルカメラ等を用いた撮影では、焦点ボケやカメラブレ等に起因する画像のボケが生じる場合がある。このボケが生じた劣化画像は、原画像（理想画像）と、この原画像を劣化させる空間フィルタを表す点拡がり関数（以下「ＰＳＦ（Point Spread Function）」という。）との畳み込み（Convolution）によって得られると考えることができる。従来、劣化画像から原画像を復元する方法として、理論上得られた又は実測された既知のＰＳＦを用いて原画像を復元する非ブラインド法（Non-Blind Deconvolution）が知られており、例えば、逆畳み込み（Deconvolution）を行う逆フィルタ（Inverse filter）およびウィーナフィルタ（Wiener filter）が知られている。
また、非ブラインド法としては、原画像の推定に際し、ベイズの定理を利用し確率統計的手法で原画像の最尤推定を行うＬＲ（Lucy-Richardson）法（非特許文献１参照）が知られており、さらに、ＬＲ法のように所定の反復処理を必要とする原画像の推定処理をＩＲＬＳアルゴリズムによって複数回繰り返すことにより、原画像の復元精度を高めるようにした方法（以下、「ＩＲＬＳ適用法」という。）が知られている（非特許文献２参照）。
しかしながら、上記非特許文献２に記載の従来技術によってカラー劣化画像を復元する場合、原画像を推定するための反復処理の繰り返しステップをカラーチャネル毎に行う必要があるため、復元処理の演算量が膨大となり、処理時間や処理負荷が大きくなるという問題があった。
本発明は、このような従来技術の課題を鑑みて案出されたものであり、既知のＰＳＦを用いてカラー劣化画像を復元する際に、復元処理の演算量を低減することを可能とした画像復元装置および画像復元方法を提供することを主目的とする。
本発明の画像復元装置は、既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元装置であって、前記劣化画像が入力される画像入力部と、前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定部と、前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成部とを備え、前記原画像推定部は、複数の前記カラーチャネルから選択された１つの代表カラーチャネルについて、所定のパラメータを含む評価指標に基づき前記推定原画像の尤もらしさを評価する一方、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについての前記推定原画像が尤もらしいと評価された際の前記パラメータの値を用いて、前記評価指標に基づき前記推定原画像の尤もらしさを評価することを特徴とする。
このように本発明によれば、既知のＰＳＦを用いてカラー劣化画像を復元する際に、復元処理の演算量を低減することが可能となるという優れた効果を奏する。
本発明に係る画像復元装置を備えた画像処理システムの概略構成を示すブロック図 図１に示した画像復元装置による画像復元方法の流れを示すフロー図 図２中の代表チャネルに関する復元処理（ＳＴ１０３）の詳細を示すフロー図 図２中の補助チャネルに関する復元処理（ＳＴ１０４）の詳細を示すフロー図
上記課題を解決するためになされた第１の発明は、既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元装置であって、前記劣化画像が入力される画像入力部と、前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定部と、前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成部とを備え、前記原画像推定部は、複数の前記カラーチャネルから選択された１つの代表カラーチャネルについて、所定のパラメータを含む評価指標に基づき前記推定原画像の尤もらしさを評価する一方、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについての前記推定原画像が尤もらしいと評価された際の前記パラメータの値を用いて、前記評価指標に基づき前記推定原画像の尤もらしさを評価することを特徴とする。
この第１の発明に係る画像復元装置によれば、上記第１の発明において、既知のＰＳＦを用いてカラー劣化画像を復元する際に、代表カラーチャネルについての推定原画像の尤もらしさを評価する処理において更新されたパラメータに基づき補助カラーチャネルの処理を実施するため、復元処理の演算量を低減することが可能となる。
また、第２の発明では、前記評価指標は、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数とを含み、前記パラメータは、前記スパース性を評価する関数に対する重み付けにより、前記推定原画像の前記評価おいて画素毎に前記差分との相対的な優先度合いを定める重みパラメータであり、前記原画像推定部は、前記代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された前記重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施する構成とする。
この第２の発明に係る画像復元装置によれば、ＩＲＬＳ適用法により既知のＰＳＦを用いてカラー劣化画像を復元する際に、代表カラーチャネルの処理において更新された重みパラメータに基づき補助カラーチャネルの処理を実施するため、補助カラーチャネルにおける反復処理の繰り返しステップを省略することが可能となり、復元処理の演算量を低減することが可能となる。
また、第３の発明では、上記第１または第２の発明において、前記代表カラーチャネルが、複数の前記カラーチャネルのうち高周波数成分の最も多いカラーチャネルである構成とする。
この第３の発明に係る画像復元装置によれば、高周波数成分の大小に基づき重要度の高いカラーチャネルを代表カラーチャネルとして選択できるため、補助カラーチャネルにおける反復処理の繰り返しステップを省略した場合でも高精度な復元処理が可能となる。
また、第４の発明では、上記第１から第３の発明のいずれかにおいて、前記劣化画像は、ＲＧＢカラー画像であり、前記代表カラーチャネルがＧチャネルからなると共に、前記補助カラーチャネルがＲチャネルおよびＢチャネルからなる構成とする。
この第４の発明に係る画像復元装置によれば、視感度の高いＧチャネル（緑色）を代表チャネルとして指定することにより、ＲチャネルおよびＢチャネルにおける反復処理の繰り返しステップを省略した場合でも高精度な復元処理が可能となる。
また、第５の発明では、前記評価指標は、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数とを含み、前記パラメータは、前記スパース性を評価する関数に対する重み付けにより、前記推定原画像の前記評価において画素毎に前記差分との相対的な優先度合いを定める重みパラメータであり、前記原画像推定部は、前記代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された推定原画像から求めた重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施する構成とする。
この第５の発明に係る画像復元装置によれば、ＩＲＬＳ適用法により既知のＰＳＦを用いてカラー劣化画像を復元する際に、代表カラーチャネルについて最終的に更新された推定原画像から求めた重みパラメータに基づき補助カラーチャネルの処理を実施するため、補助カラーチャネルにおける反復処理の繰り返しステップを省略することが可能となり、復元処理の演算量を低減することが可能となる。特に、代表チャネルの最終復元画像を利用するため、補助カラーチャネルでの復元精度の向上が期待できる。
また、第６の発明では、既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元方法であって、前記劣化画像が入力される画像入力ステップと、前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定ステップと、前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成ステップとを含み、前記原画像推定ステップでは、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数に基づき、前記推定原画像の尤もらしさを評価し、前記スパース性を評価する関数には、前記推定原画像の前記評価おいて画素毎に前記差分との相対的な優先度合いを定める重みパラメータによる重み付けがなされ、更に、前記原画像推定ステップでは、複数のカラーチャネルから選択された１つの代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された前記重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施することを特徴とする画像復元方法である。
この第６の発明に係る画像復元方法によれば、ＩＲＬＳ適用法により既知のＰＳＦを用いてカラー劣化画像を復元する際に、代表カラーチャネルの復元処理において更新された重みパラメータに基づき補助カラーチャネルの復元処理を実施するため、補助カラーチャネルにおける反復処理の繰り返しステップを省略することが可能となり、復元処理の演算量を低減することが可能となる。
以下、本発明の実施の形態について図面を参照しながら説明する。
図１は本発明に係る画像復元装置を備えた画像処理システムの概略構成を示すブロック図である。画像処理システム１は、撮影された劣化画像（撮影時の焦点ボケやカメラブレ等に起因するボケが生じた画像）の復元処理を行って原画像を取得するものであり、被写体の撮影によりデジタルカラー画像（ここでは、ＲＧＢ画像）を生成する撮像装置２と、この撮像装置２から入力されたデジタルカラー画像が劣化画像である場合に、その劣化画像の復元処理を行う画像復元装置３とを備えている。
撮像装置２は、デジタルスチルカメラからなるが、少なくとも被写体像をデジタル画像データとして記録可能な限りにおいて、デジタルビデオカメラなど他の公知の装置を撮像装置２として用いることができる。
画像復元装置３は、画像処理機能を有するコンピュータシステムからなり、撮像装置２から送信された画像データが図示しないインタフェースを介して入力される画像入力部１１と、入力された画像データ（劣化画像）から原画像を復元する画像復元部１２と、復元された原画像からディスプレイ表示用の表示データを生成する表示データ生成部１３と、原画像をユーザに対して表示するディスプレイ等からなる表示部１４と、原画像を記録する記憶装置からなる記録部１５とから主として構成される。
画像入力部１１は、撮像装置２からの画像データを図示しないメモリに格納し、必要に応じてその画像データを画像復元部１２に出力する。画像復元部１２は、理論上得られた又は実測された既知のＰＳＦを取得するＰＳＦ取得部２１と、複数のカラーチャネル（成分毎に分離された色情報であり、ここでは、Ｒチャネル、Ｇチャネル、Ｂチャネルからなる。）から１つの代表チャネルを選択する代表チャネル選択部２２と、各カラーチャネルについて、劣化画像が劣化する前の原画像を推定することにより、推定された原画像（以下、「推定原画像」という。）を取得する原画像推定部２３と、カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成部２４とを有している。
ＰＳＦ取得部２１は、ここでは、撮像装置２が備える図示しないセンサ（加速度センサ等）によって検出される手振れ情報に基づきＰＳＦを取得する。ただし、これに限らず、他の公知の方法によってＰＳＦを取得してもよい。
画像復元装置３の上記各部による処理機能の少なくとも一部は、画像処理アプリケーションなどのプログラムを図示しないＣＰＵで実行するソフトウェア処理によって実現することができる。ただし、それらの処理機能はソフトウェア処理に基づくものに限定されず、同様の処理を実行可能なハードウェアを用いて実現してもよい。
図２は画像復元装置による画像復元方法の流れを示すフロー図である。画像復元装置３では、撮像装置２において撮影されたカラー画像のデータが画像入力部１１に順次入力される（ＳＴ１０１）。画像データが入力されると、代表チャネル選択部２２が、入力された画像データにおける空間周波数の情報を取得し、高周波成分の割合が最も高いカラーチャネル（例えば、赤みがかった劣化画像におけるＲチャネル）を代表カラーチャネルとして選択する（ＳＴ１０２）。同時に、代表カラーチャネル以外の他のカラーチャネル（例えば、ＧチャネルおよびＢチャネル）は補助カラーチャネルとして選択される。
なお、ステップＳＴ１０２における代表カラーチャネルの選択は、必ずしも画像データの入力毎に行う必要はなく、一連の動画データ等の場合には同じ代表カラーチャネルを用いることができる。或いは、選択すべき代表カラーチャネルを予めユーザが指定しておくことも可能である。例えば、ユーザは、緑色の視感度の高さを考慮してＧチャネルを代表チャネルとして指定することができる。
次に、画像復元装置３では、ステップＳＴ１０２において選択された代表カラーチャネルについて、原画像推定部２３が原画像の復元処理を実施する（ＳＴ１０３）。この代表カラーチャネルの復元処理は、従来のＩＲＬＳ適用法にしたがって実施される。続いて、原画像推定部２３は、各補助カラーチャネルについて原画像の復元処理をそれぞれ実施する（ＳＴ１０４）。詳細は後述するが、各補助カラーチャネルに関するステップＳＴ１０４では、代表カラーチャネルに関するステップＳＴ１０３の処理結果を利用することにより復元処理が効率化される。その後、画像復元装置３では、復元画像合成部２６が、ステップＳＴ１０３およびＳＴ１０４において出力された各カラーチャネルの推定原画像を合成し（ＳＴ１０５）、その合成されたカラー復元画像が表示部１４に表示されると共に、記録部１５に記録される（ＳＴ１０６）。
ここで、上述のＩＲＬＳ適用法により劣化画像を復元する原理について簡単に説明する。劣化前の原画像ｘおよび撮影された劣化画像ｙは、既知のＰＳＦであるｆに基づくＮ×Ｎのコンボリューション行列Ｃｆにより、次の式（１）のように表すことができる。
Figure 2014099048
ＩＲＬＳ適用法では、上記式（１）を満たす原画像ｘを推定するために、次の式（２）に示すような事後確率を最大とするｘを求める。
Figure 2014099048
ここで、Ｐ（ｙ｜ｘ）については、劣化画像に含まれるノイズが独立に同一の確率分布に従う分散ηのガウスノイズであるとすると、次の式（３）のように表すことができる。
Figure 2014099048
更に、ｘの事前確率Ｐ（ｘ）は、フィルタのセットｇｋを用いて次の式（４）のように表すことができる。ここで、所定の関数ρに関し、ｉは画素を表し、ｇｉ，ｋは画素ｉを中心としたｋ番目のフィルタを表す。
Figure 2014099048
上記式（２）〜式（４）の対数をとることにより、推定原画像ｘの尤もらしさを評価する評価値を次の式（５）のように表すことができる。
Figure 2014099048
上記式（５）において、第１項は、推定原画像ｘをＰＳＦにより劣化させた画像と撮影された画像（劣化画像ｙ）との差分（残差）を表し、第２項は、推定原画像ｘにおける輝度値（画素値）の勾配がどの程度のスパース性（０成分が多いという性質）を有しているのかを評価する関数である。つまり、ｘ（原画像）にｆ（ＰＳＦ）を畳み込んだＣｆｘとｙ（劣化画像）との差が小さいこと（評価指標１）、及びｘ（原画像）の勾配分布がスパースであること（評価指標２）に基づき評価値を定義し、評価値を最小化するｘを求める。なお、式（５）において評価指標２に付加された重み係数ｗ（＝αη２）は、評価指標１との相対的な優先度合いを定めるスカラ値である。
そこで、上記式（５）の微分を０にするｘを求める。式（５）のｘについての微分の部分式を次の式（６）とすると、線形方程式Ａｘ＝ｂについて解く問題に帰着することができ、これにより、後に詳述するＣＧ法（共役勾配法）によってｘを推定することが可能となる。
Figure 2014099048
上記式（５）では、重み係数ｗは画像全体に一律に作用し、重み係数ｗを大きくすると、復元画像の輝度勾配が緩やかになる（つまり、鮮鋭感が低下する）。一方、重み係数ｗを小さくする（０に近づける）と、復元画像の輝度勾配が急になる（つまり、鮮鋭感が高くなる）傾向にあるが、原画像のランダムノイズ成分が強調されたり、輪郭回りに波紋状のリンギングノイズが発生したりするという弊害が起こる。そこで、復元画像の中で輝度勾配の大きい画素については復元度合いを弱め（すなわち、スパース性を重視し）、輝度勾配の小さい画素については復元度合いを高める（すなわち、スパース性を軽視する）ように、画素毎に重みを持たせた重み行列Ｗｋ（重みパラメータ）をさらに導入し、復元度合いを画素毎に適切に変更可能としている。
一方で、復元画像の各画素についての輝度勾配の大きさは、復元処理前には未知であり、また、撮影された劣化画像の勾配を流用しても意味がないため、後述するように、ＩＲＬＳアルゴリズムを導入して画像復元ステップを複数回繰り返し、各ステップで求めた復元画像から重み行列Ｗｋを計算することで復元画質を向上させる。
そこで、式（６）における輝度勾配のスパース性を評価する項に重み行列Ｗｋを乗じて次の式（７）とし、線形方程式Ａ’ｘ＝ｂについて解くものとする。
Figure 2014099048
図３は図２中の代表チャネルに関する復元処理（ＳＴ１０３）の詳細を示すフロー図である。画像復元部１２では、カラー画像データにおける代表チャネル（例えば、Ｇチャネル）についての輝度情報等を取得すると、原画像推定部２３が、上記式（７）における重み行列Ｗｋの値を初期化し（ＳＴ２０１）、更に、推定原画像ｘの初期解を設定する（ＳＴ２０２）。ここでは、ｘ＝ｙ（撮影された劣化画像）として初期解を設定する。
次に、原画像推定部２３は、上記式（７）に基づき残差ｒ（＝Ａ’ｘ−ｂ）を算出し（ＳＴ２０３）、続くステップＳＴ２０４〜ＳＴ２０９において、ＣＧ法に基づく反復処理により推定原画像ｘを順次更新しながら残差ｒが十分に小さくなるまで（すなわち、最終的に更新された推定原画像ｘが尤もらしいと評価されるまで）繰り返す。
ステップＳＴ２０４では、次の式（８）で表されるρが所定の閾値（略０とみなせる値）以下であるか否かによって残差ｒが評価される。
ρ=rTr ・・・式（８）
原画像推定部２３は、ステップＳＴ２０４において残差ｒが小さくない（ρが閾値を越える）と判定した場合（Ｎｏ）、続くステップＳＴ２０５において、次の式（９）で表される予測ベクトル（修正方向ベクトル）ｐの更新比率（修正係数）βを算出する。ここで、ρｂａｋはρの前回値である。なお、反復処理の初回においては、更新比率βは算出されず、予測ベクトルｐ＝ｒ（初期値）に設定される。
β=ρ/ρbak ・・・式（９）
続くステップＳＴ２０６では、次の式（１０）に示すように予測ベクトルｐが更新される。ここで、ｐｂａｋはｐの前回値である。なお、反復処理の初回においては、このステップＳＴ２０６は省略される（すなわち、ｐ＝ｒ）。
p=r+βpbak ・・・式（１０）
続くステップＳＴ２０７では、次の式（１１）に示すように推定原画像ｘの推定解に対する更新比率（修正係数）αが算出される。ここで、ｑ＝Ａ’ｐである。
α=ρ/(pTq) ・・・式（１１）
続くステップＳＴ２０８では、次の式（１２）に示すように上記予測ベクトルｐおよび更新比率αに基づき推定原画像ｘの推定解が更新される。ここで、ｘｂａｋはｘの前回値である。
x=xbak+αp ・・・式（１２）
続くステップＳＴ２０９では、次の式（１３）に示すように上記更新比率αに基づき残差ｒが更新され、再びステップＳＴ２０４に戻ってその更新された残差ｒの値が評価される。
r=rbak+αq ・・・式（１３）
原画像推定部２３は、上記ステップＳＴ２０４〜ＳＴ２０９の反復処理を繰り返し、最終的にステップＳＴ２０４において残差ｒが十分に小さい（Ｙｅｓ）と判定すると、ＩＲＬＳアルゴリズムの第１ステップＳＴ１を終了してステップＳＴ２１０に進む。
ステップＳＴ２１０では、上述の第１ステップＳＴ１の結果に基づき、次の式（１４）によって重み行列Ｗｋが算出される。ここで、ａ、εは定数である。また、Ｄｋ＝Ｃｇｋｘであり、ｘには第１ステップＳＴ１の最終的な値が用いられる。
Wk=(max{|Dk|,ε})a-2 ・・・式（１４）
その後、ＩＲＬＳアルゴリズムの第２ステップＳＴ２として、上記ステップＳＴ２０２およびＳＴ２０３と同様のステップＳＴ２１１およびＳＴ２１２が実施され、更に、上記ステップＳＴ２０４〜ＳＴ２０９と同様の反復処理であるステップＳＴ２１３〜２１８が実施される。
原画像推定部２３は、上記ステップＳＴＳＴ２１３〜２１８の反復処理を繰り返し、最終的にステップＳＴ２１３において残差ｒが十分に小さい（Ｙｅｓ）と判定すると、ＩＲＬＳアルゴリズムの第２ステップＳＴ２を終了してステップＳＴ２１９に進む。
ステップＳＴ２１９では、上記ステップＳＴ２１０と同様に、上述の第２ステップＳＴ２の結果に基づき新たな重み行列Ｗｋが算出される。その後、ＩＲＬＳアルゴリズムの第３ステップＳＴ３として、上記ステップＳＴ２１１および２１２と同様のステップＳＴ２２０および２２１が実施され、更に、上記ステップＳＴ２１３〜ＳＴ２１８と同様の反復処理であるステップＳＴ２２２〜２２７が実施される。
原画像推定部２３は、最終的にステップＳＴ２２２において残差ｒが十分に小さい（Ｙｅｓ）と判定すると、ＩＲＬＳアルゴリズムの第３ステップＳＴ３を終了し、最終的な推定原画像ｘの推定解を代表カラーチャネルに関する復元画像として出力する（ＳＴ２２８）。なお、ここでは、繰り返しステップ数が３回の例（ステップＳＴ１〜ＳＴ３）を示したが、これに限らずステップ数は変更可能である。
図４は図２中の補助チャネルに関する復元処理（ＳＴ１０４）の詳細を示すフロー図である。この補助チャネルに関する復元処理では、上記代表チャネルに関する復元処理の重み行列Ｗｋの情報が利用される。まず、原画像推定部２３は、カラー画像データにおける補助チャネル（例えば、ＲチャネルまたはＢチャネル）についての輝度情報等と共に、上述の代表チャネルに関する復元処理で最終的に更新された（図３中のステップＳＴ２１９で算出された）重み行列Ｗｋの情報を取得する（ＳＴ３０１）。
その後、画像復元部１２では、上述の図３中のステップＳＴ２２０と同様に、補助チャネルに関する推定原画像ｘの初期解が設定され（ステップＳＴ３０２）、続いて図３中のステップＳＴ２２１等と同様に残差ｒが算出される。その後、図３中のステップＳＴ２２２〜ＳＴ２２７等と同様の反復処理であるステップＳＴ３０４〜３０９が実施される。
原画像推定部２３は、最終的にステップＳＴ３０４において残差ｒが十分に小さい（Ｙｅｓ）と判定すると、上述の代表チャネルの場合のように３回のステップを繰り返すことなく、１回のステップにより推定原画像ｘの推定解を復元画像として出力する（ＳＴ３１０）。
なお、ステップＳＴ３０１において図３中のステップＳＴ２１９で算出された重み行列Ｗｋを取得したが、別法として、ＳＴ２２８で出力された復元画像を取得し、この復元画像を用いて前述のＳＴ２１９と同様の方法で算出した重み行列Ｗｋを利用してもよい。ＳＴ２１９で算出された重み行列Ｗｋの算出の元になった復元画像は、代表チャネルの第２ステップＳＴ２で得られた推定画像である。一方、同チャネルのＳＴ３で得られる推定画像（ＳＴ２２８で出力される復元画像）はＳＴ２の推定画像よりも復元精度が良いため、ＳＴ３での推定画像を、補助チャネル用重み行列の算出ソースに使用することで、当該重み行列をさらに適したものにできることが期待できる。
このように、画像復元装置３およびその画像復元方法では、従来のＩＲＬＳ適用法により既知のＰＳＦを用いてカラー劣化画像を復元する際に、代表カラーチャネルの復元処理において更新された重み行列Ｗｋを用いて補助カラーチャネルの復元処理を実施する構成としたため、補助カラーチャネルにおける反復処理の繰り返しステップを省略することが可能となり、復元処理の演算量を低減することが可能となる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、上記実施形態では、ＲＧＢ画像を用いた例を示したが、これに限らず他のカラーモデル（例えば、ＹＵＶ）を用いることも可能である。その場合にも、１つのカラーチャネル（例えば、Ｙチャネル）が代表チャネルとして選択され、他のチャネル（例えば、ＵチャネルおよびＶチャネル）が補助チャネルとして選択される。また、補助カラーチャネルの復元処理において流用されるパラメータ（代表カラーチャネルの復元処理で算出されたパラメータ）については、上記実施形態の重み行列Ｗｋに限定されず、復元処理の演算量を低減可能な限りにおいて種々の変更が可能である。なお、上記実施形態に示した本発明に係る画像復元装置および画像復元方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
本発明に係る画像復元装置および画像復元方法は、既知のＰＳＦを用いてカラー劣化画像を復元する際に、復元処理の演算量を低減することを可能とし、特に、撮像過程で生じた画像のボケ等を修復するための画像復元装置および画像復元方法などとして有用である。
１ 画像処理システム
２ 撮像装置
３ 画像復元装置
１１ 画像入力部
１２ 画像復元部
２１ ＰＳＦ取得部
２２ 代表チャネル選択部
２３ 原画像推定部

Claims (6)

  1. 既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元装置であって、
    前記劣化画像が入力される画像入力部と、
    前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定部と、
    前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成部とを備え、
    前記原画像推定部は、複数の前記カラーチャネルから選択された１つの代表カラーチャネルについて、所定のパラメータを含む評価指標に基づき前記推定原画像の尤もらしさを評価する一方、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについての前記推定原画像が尤もらしいと評価された際の前記パラメータの値を用いて、前記評価指標に基づき前記推定原画像の尤もらしさを評価することを特徴とする画像復元装置。
  2. 前記評価指標は、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数とを含み、
    前記パラメータは、前記スパース性を評価する関数に対する重み付けにより、前記推定原画像の前記評価おいて画素毎に前記差分との相対的な優先度合いを定める重みパラメータであり、
    前記原画像推定部は、前記代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された前記重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施することを特徴とする請求項１に記載の画像復元装置。
  3. 前記代表カラーチャネルは、複数の前記カラーチャネルのうち高周波数成分の最も多いカラーチャネルであることを特徴とする請求項１または請求項２に記載の画像復元装置。
  4. 前記劣化画像は、ＲＧＢカラー画像であり、前記代表カラーチャネルがＧチャネルからなると共に、前記補助カラーチャネルがＲチャネルおよびＢチャネルからなることを特徴とする請求項１から請求項３のいずれかに記載の画像復元装置。
  5. 前記評価指標は、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数とを含み、
    前記パラメータは、前記スパース性を評価する関数に対する重み付けにより、前記推定原画像の前記評価において画素毎に前記差分との相対的な優先度合いを定める重みパラメータであり、
    前記原画像推定部は、前記代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された推定原画像から求めた重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施することを特徴とする請求項１に記載の画像復元装置。
  6. 既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元方法であって、
    前記劣化画像が入力される画像入力ステップと、
    前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定ステップと、
    前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成ステップと
    を含み、
    前記原画像推定ステップでは、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数に基づき、前記推定原画像の尤もらしさを評価し、
    前記スパース性を評価する関数には、前記推定原画像の前記評価おいて画素毎に前記差分との相対的な優先度合いを定める重みパラメータによる重み付けがなされ、
    更に、前記原画像推定ステップでは、複数のカラーチャネルから選択された１つの代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された前記重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施することを特徴とする画像復元方法。
JP2012250509A 2012-11-14 2012-11-14 画像復元装置および画像復元方法 Pending JP2014099048A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012250509A JP2014099048A (ja) 2012-11-14 2012-11-14 画像復元装置および画像復元方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012250509A JP2014099048A (ja) 2012-11-14 2012-11-14 画像復元装置および画像復元方法

Publications (1)

Publication Number Publication Date
JP2014099048A true JP2014099048A (ja) 2014-05-29

Family

ID=50941012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012250509A Pending JP2014099048A (ja) 2012-11-14 2012-11-14 画像復元装置および画像復元方法

Country Status (1)

Country Link
JP (1) JP2014099048A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680497A (zh) * 2015-03-19 2015-06-03 北京大学 利用梯度特性的自适应图像恢复方法和装置
CN111968040A (zh) * 2020-07-02 2020-11-20 北京大学深圳研究生院 图像的复原方法、***及计算机可读存储介质
CN113379647A (zh) * 2021-07-08 2021-09-10 湘潭大学 一种优化psf估计的多特征图像复原方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680497A (zh) * 2015-03-19 2015-06-03 北京大学 利用梯度特性的自适应图像恢复方法和装置
CN111968040A (zh) * 2020-07-02 2020-11-20 北京大学深圳研究生院 图像的复原方法、***及计算机可读存储介质
CN113379647A (zh) * 2021-07-08 2021-09-10 湘潭大学 一种优化psf估计的多特征图像复原方法

Similar Documents

Publication Publication Date Title
US11783231B2 (en) System and method for joint image refinement and perception
KR100907120B1 (ko) 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체
US8379120B2 (en) Image deblurring using a combined differential image
WO2012017662A1 (ja) 画像復元装置および画像復元方法
JP2013508811A (ja) 空間画像事前確率を用いたぼけ画像修正
JP5007241B2 (ja) 画像処理装置
JP2017010092A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2008146643A (ja) 動きでぶれた画像における動きのぶれを低減する方法、動きでぶれた画像における動きのぶれを低減するための装置、および動きでぶれた画像における動きのぶれを低減するコンピュータ・プログラムを具現するコンピュータ読み取り可能な媒体
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2014070273A1 (en) Recursive conditional means image denoising
JP2017010095A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2020086891A (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6624061B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
CN115496673A (zh) 图像处理方法、图像处理装置、图像处理***、以及存储介质
JP6541454B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017010093A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
TW202025085A (zh) 圖像處理設備和方法
JP2014099048A (ja) 画像復元装置および画像復元方法
JP2012003454A (ja) 画像処理装置、撮像装置および画像処理プログラム
CN106447610B (zh) 图像重建方法及装置
KR101152525B1 (ko) 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치
JPWO2011086594A1 (ja) 画像処理装置、及びその方法
JP2011165013A (ja) 画像復元装置および画像復元方法
Kim et al. Evaluating super resolution algorithms
JP2019045981A (ja) 画像処理装置、画像処理方法及びプログラム