JP6194793B2 - 画像補正装置、画像補正方法及び画像補正プログラム - Google Patents

Description

本件は、画像補正装置、画像補正方法及び画像補正プログラムに関する。

デジタルカメラ（より詳しくはデジタルスチルカメラ）によって被写体が撮影される場合、焦点がずれて撮影により得られる画像がぼけることがある。ぼけた画像（以下、ぼけ画像という）からぼけを取り除き、ぼけ画像をエッジ（輪郭）が先鋭化された非ぼけ画像に補正する技術が提案されている。

例えば、ぼけ画像は、ぼけていないと推定される推定画像に画像のぼけの程度を表すPoint Spread Function（ＰＳＦ：点拡がり関数）を畳み込んだ画像であると仮定する。そして、ぼけ画像と複数の推定画像との二乗誤差から誤差が最小となる推定画像を非ぼけ画像として決定する技術が知られている（例えば、特許文献１、非特許文献１参照）。

ところが、ぼけ画像にノイズが含まれている場合、上述した技術によってぼけ画像を非ぼけ画像に補正する場合、ノイズまで強調されてしまい、補正精度が低下する。例えば、ノイズを低減する技術（例えば、特許文献２参照）を利用してぼけ画像からノイズを低減した上で補正がなされれば、わずかながら上述した補正精度の低下は抑制される。

特開２０１３−２５０８９１号公報 特開２００８−１２４７６４号公報

アナト・レビン(Anat Levin)、外３名、「アンダースタンディング・アンド・エヴァリュエーティング・ブラインド・デコンボリューション・アルゴリズムス(Understanding and evaluating blind deconvolution algorithms)」、[online]、２００９年、シー・ブイ・ピー・アール(CVPR)、[平成２５年１２月１２日検索]、インターネット<URL:ｈｔｔｐ：／／ｗｗｗ．ｗｉｓｄｏｍ．ａｃ．ｉｌ／~ｌｅｖｉｎａ／ｐａｐｅｒｓ／ｄｅｃｏｎｖＬｅｖｉｎＥｔａｌＣＶＰＲ０９．ｐｄｆ>.

しかしながら、ノイズを含むぼけ画像から非ぼけ画像に補正する場合、ノイズ量の低減が不十分だと補正後の非ぼけ画像ではノイズが強調され、逆に、ノイズ量の低減が過分だと、エッジの先鋭度が低下するという問題がある。

そこで、１つの側面では、本件は、ぼけ画像を高精度に補正できる画像補正装置、画像補正方法及び画像補正プログラムを提供することを目的とする。

本明細書に開示の画像補正装置は、画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像を補正する画像補正装置であって、前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出手段と、前記抽出手段によって抽出されたノイズ量に応じた前記重み係数を算出する算出手段と、を有する画像補正装置である。

本明細書に開示の画像補正方法は、画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像を補正する画像補正方法であって、前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出ステップと、前記抽出ステップによって抽出されたノイズ量に応じた前記重み係数を算出する算出ステップと、を有する画像補正方法である。

本明細書に開示の画像補正プログラムは、画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像をコンピュータに補正させる画像補正プログラムであって、前記コンピュータに、前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出ステップと、前記抽出ステップによって抽出されたノイズ量に応じた前記重み係数を算出する算出ステップと、を実行させるための画像補正プログラムである。

本明細書に開示の画像補正装置、画像補正方法及び画像補正プログラムによれば、ぼけ画像を高精度に補正することができる。

図１は、撮像装置のブロック図の一例である。 図２は、画像補正装置の動作の一例を示すフローチャートである。 図３は、ノイズ低減の一例を説明するための図である。 図４は、画像の微分の一例を説明するための図である。 図５は、差分画像の生成の一例を説明するための図である。 図６は、差分画像の生成の一例を説明するための図である。 図７は、差分画像の輝度勾配の頻度を示すグラフの一例である。 図８は、ぼけ画像が非ぼけ画像に補正される様子の一例を比較例と対比して説明するための図である。 図９は、重み係数の算出式を求める処理の一例を示すフローチャートである。 図１０は、重み係数と補正後のノイズ量の関係を示すグラフの一例である。 図１１は、重み係数の算出式の一例である。 図１２は、情報処理装置のハードウェア構成の一例である。

以下、本件を実施するための形態について図面を参照して説明する。

図１は、撮像装置１００のブロック図の一例である。
撮像装置１００は、光学系１１０、撮像素子１２０、Analogue Front End（ＡＦＥ）１３０、画像補正装置１４０、後処理装置１５０、駆動制御装置１６０、制御装置１７０、画像メモリ１８０及び表示装置１９０を含んでいる。撮像装置１００としては、例えばスマートフォンを含む携帯電話機、ネットワークカメラ、デジタルカメラなどがある。

光学系１１０は、例えば複数のレンズ１１１，１１２，１１３と絞り１１４を含んでいる。複数のレンズ１１１，１１２，１１３の各位置は、駆動制御装置１６０から出力されたレンズ用駆動制御信号に基づいて調整される。絞り１１４の絞りの度合は、駆動制御装置１６０から出力された絞り用駆動制御信号に基づいて調整される。これにより、光学系１１０は、被写体からの光を撮像素子１２０の撮像面に集光させて被写体の像を結像する。

撮像素子１２０は、駆動制御装置１６０から出力された撮像用駆動制御信号とＡＦＥ１４０から出力されたタイミングパルスに基づいて、被写体の像をアナログ信号の画像に変換し、ＡＦＥ１４０に出力する。尚、撮像素子１２０としては、例えば、Charge Coupled Device（ＣＣＤ：電荷結合素子）やComplementary Metal Oxide Semiconductor（ＣＭＯＳ：相補型金属酸化膜半導体）といった二次元撮像素子がある。

ＡＦＥ１３０は、例えばタイミングジェネレータ１３１とAnalogue/Digital Converter（Ａ／Ｄコンバータ）１３２とを含んでいる。タイミングジェネレータ１３１は、制御装置１７０から出力された制御信号に基づいて、撮像素子１２０とＡ／Ｄコンバータ１３２の駆動タイミングを決定するタイミングパルスを生成し、撮像素子１２０とＡ／Ｄコンバータ１３２に出力する。Ａ／Ｄコンバータ１３２は、タイミングパルスに基づいて、撮像素子１２０から出力されたアナログ信号の画像をデジタル信号の画像に変換し、画像補正装置１４０に出力する。尚、ＡＦＥ１３０は例えばハードウェア回路で実現される。

画像補正装置１４０は、ＰＳＦと画像に含まれるノイズのノイズ量を低減（好ましくは除去）する度合を決定する重み係数とを利用して、Ａ／Ｄコンバータ１３２から出力された画像を補正する。ＰＳＦによりエッジ部分の周辺画素への拡がりの程度が判断できる。ノイズとしては例えば撮像素子１２０の暗電流によるノイズがある。画像補正装置１４０は、例えばDigital Signal Processor（ＤＳＰ）によって実現される。画像補正装置１４０をハードウェア回路で実現してもよい。画像補正装置１４０は、例えばＲＡＷメモリ１４１、ノイズ量抽出部１４２、設定部１４３、重み係数算出部１４４及び画像補正部１４５を含んでいる。ノイズ量抽出部１４２，・・・，画像補正部１４５は、撮像装置１００が有する記憶装置（不図示）に記憶されたプログラムがＤＳＰに読み込まれて処理されることにより実現される。尚、当該プログラムは後述するフローチャートに応じたプログラムとすることができる。

ＲＡＷメモリ１４１は、Ａ／Ｄコンバータ１３２から出力された画像をＲＡＷ形式で記憶する。これにより、ＲＡＷメモリ１４１にはまだ加工されていない画像（例えばオリジナル画像）が記憶される。
ノイズ量抽出部１４２は、ＲＡＷメモリ１４１から画像を取得し、ノイズを低減する前の画像から得られる第１微分画像とノイズを低減した後の画像から得られる第２微分画像との差分に基づいて、画像に含まれるノイズのノイズ量を抽出する。
設定部１４３は、制御装置１７０から出力された制御信号に基づいて、重み係数算出部１４４に対し重み係数の算出式を選択的に設定する。重み係数の算出式としては、例えばノイズ量と重み係数との関係が関数化された関数（例えば１次関数）による算出式やノイズ量と重み係数との関係が対応付けられたルックアップテーブルによる算出式などがある。これらの算出式は設定部１４３によって保持されていてもよいし記憶装置に記憶されていて設定部１４３が取得するようにしてもよい。

重み係数算出部１４４は、ノイズ量抽出部１４２によって抽出されたノイズ量と設定部１４３によって設定された算出式に基づいて、ノイズ量に応じた重み係数を算出する。重み係数算出部１４４は、算出した重み係数を画像補正部１４５に出力する。
画像補正部１４５は、ＲＡＷメモリ１４１から画像を取得し、重み係数算出部１４４から出力された重み係数に基づいて、取得した画像を補正する。この結果、ぼけ画像は非ぼけ画像に補正される。非ぼけ画像は画像メモリ１８０に保存される。
後処理装置１５０は、制御装置１７０から出力された制御信号に基づいて、画像補正部１４５から非ぼけ画像を取得して表示装置１９０に表示させる。具体的には、後処理装置１５０は、非ぼけ画像から表示装置１９０に表示させるための表示用非ぼけ画像を生成し、生成した表示用非ぼけ画像を表示装置１９０に出力する。後処理装置１５０は、画像メモリ１８０から非ぼけ画像を取得して同様の処理を行ってもよい。尚、表示用非ぼけ画像の生成としては、例えば画像フォーマットの変換、表示装置１９０の画面サイズに合わせるための調整（例えば拡大処理や縮小処理）、表示装置１９０の解像度に合わせるための調整（例えば解像度変換処理）がある。

駆動制御装置１６０は、制御装置１７０から出力された制御信号に基づいて、レンズ用駆動制御信号や絞り用駆動制御信号を生成する。駆動制御装置１６０は、生成したこれらの駆動制御信号を光学系１１０や撮像素子１２０に出力することにより、光学系１１０のレンズ１１１，１１２，１１３の各位置や絞り１１４の絞り度合を制御する。
制御装置１７０は、撮像装置１００全体の動作を制御する。例えば、制御装置１７０は、上述したＡＦＥ１３０、画像補正装置１４０、後処理装置１５０及び駆動制御装置１６０を制御するための各種の制御信号を生成する。制御装置１７０は、生成した制御信号を対応する構成要素（例えばＡＦＥ１３０や画像補正装置１４０等）へ出力する。これにより、各構成要素が制御される。例えば、制御装置１７０は撮像装置１００が有する操作機構（不図示）がユーザにより操作された場合、設定部１４３を制御する制御信号を出力すれば、設定部１４３は当該制御信号によって制御される。尚、制御装置１７０としては例えばCentral Processing Unit（ＣＰＵ）がある。上述した後処理装置１５０及び駆動制御装置１６０はＣＰＵで実現される。

画像メモリ１８０は、画像補正部１４５によって補正された画像を記憶する。画像メモリ１８０としては例えばフラッシュメモリがある。
表示装置１９０は、後処理装置１５０から出力された表示用非ぼけ画像を表示する。表示装置１９０は例えばVideo Random Access Memory（ＶＲＡＭ）と液晶ディスプレイとを含んでいる。したがって、後処理装置１５０から出力された表示用非ぼけ画像はＶＲＡＭに記憶され、ＶＲＡＭに記憶された表示用非ぼけ画像が液晶ディスプレイに表示される。尚、後処理装置１５０とＶＲＡＭは画像補正装置１４０に含まれていてもよい。

次に、図２乃至図７を参照して、上述した画像補正装置１４０の動作について説明する。

図２は、画像補正装置１４０の動作の一例を示すフローチャートである。図３は、ノイズ低減の一例を説明するための図である。図４は、画像の微分の一例を説明するための図である。図５及び図６は、差分画像の生成の一例を説明するための図である。図７は、差分画像の輝度勾配の頻度を示すグラフの一例である。

まず、図２に示すように、ノイズ量抽出部１４２は、画像のノイズを低減する（ステップＳ１０１）。具体的には、ノイズ量抽出部１４２は、ＲＡＷメモリ１４１から画像を取得し、ローパスフィルタを利用して画像に含まれるノイズを低減する。この結果、図３（ａ）に示すように、ノイズ低減前の画像（波形図）に含まれていたノイズ（例えば高周波成分）はローパスフィルタによって低減し、図３（ｂ）に示すように、ノイズが低減した画像（波形図）が生成される。

次いで、ノイズ量抽出部１４２は、ノイズ低減前の画像とノイズ低減後の画像の双方を微分する（ステップＳ１０２）。この結果、図４（ａ）に示すように、ノイズ低減前の画像が微分されると、エッジ部分が強調された第１微分画像が生成される。同様に、図４（ｂ）に示すように、ノイズ低減後の画像が微分されると、エッジ部分が強調された第２微分画像が生成される。尚、図４において、視認性確保の観点から微分前後の画像の縮尺は変更されている。後述する図６においても同様である。

次いで、ノイズ量抽出部１４２は、微分後の双方の画像の差分を生成する（ステップＳ１０３）。すなわち、ノイズ量抽出部１４２は、第１微分画像と第２微分画像との差分画像を生成する。具体的には、ノイズ低減前の画像の微分結果である第１微分画像（図５（ａ）参照）からノイズ低減後の画像の微分結果である第２微分画像（図５（ｂ）参照）が差し引かれ、差分画像（図５（ｃ）参照）が生成される。この結果、ノイズが少ない画像（図６（ａ）参照）からはノイズが少ない差分画像（図６（ｂ）参照）が生成される。ノイズが多い画像（図６（ｃ）参照）からはノイズが多い差分画像（図６（ｄ）参照）が生成される。

次いで、ノイズ量抽出部１４２は、ノイズ量を抽出する（ステップＳ１０４）。具体的には、ノイズ量抽出部１４２は、差分画像における輝度勾配の頻度を生成し、生成した輝度勾配の頻度に基づいて信号対雑音比（Ｓ／Ｎ比）を算出する。Ｓ／Ｎ比とノイズの標準偏差との関係は定式化しているため、Ｓ／Ｎ比とノイズの標準偏差との関係を表す所定の数式を利用して、Ｓ／Ｎ比に応じたノイズの標準偏差をノイズ量として抽出する。ＳＮ比が大きいほどノイズの影響が小さい。逆に、ＳＮ比が小さいほどノイズの影響が大きい。例えば、図７に示すように、ノイズが少ない画像を表す正規分布ＡのＳ／Ｎ比が算出されると、Ｓ／Ｎ比３０．８ｄＢが算出される。ノイズが多い画像を表す正規分布ＢのＳ／Ｎ比が算出されると、Ｓ／Ｎ比２１．２ｄＢが算出される。算出されたこれらのＳ／Ｎ比に基づいて、ノイズの標準偏差がノイズ量として抽出される。このように、第１微分画像と第２微分画像との差分画像を生成し、差分画像のおける輝度勾配の頻度のＳ／Ｎ比を算出し、算出したノイズの標準偏差をノイズ量として抽出することで、微分を行わずに同様の処理を行った場合と比べて、エッジの影響が抑制されたノイズ量が感度良く抽出される。

次いで、重み係数算出部１４４は、ノイズ量と重み係数の算出式を利用して重み係数を算出する（ステップＳ１０５）。具体的には、重み係数算出部１４４は、ノイズ量抽出部１４２からノイズ量を取得する。重み係数算出部１４４は、取得したノイズ量と設定部１４３によって設定された算出式に基づいて、ノイズ量に応じた重み係数を算出する。重み係数の算出式としては、図２に示すように、（１）ノイズ量ｘと重み係数εとの関係を関数化したε＝ｆ（ｘ）、（２）ノイズ量ｘと重み係数εとの関係を線形関数化したε＝ａｘ＋ｂ、（３）ノイズ量ｘと重み係数εとの対応関係を表すルックアップテーブルなどがある。重み係数算出部１４４は、設定されたいずれかの算出式に取得したノイズ量を入力することによって、ノイズ量に応じた重み係数を算出する。尚、重み係数の算出式の詳細は後述する。

次いで、画像補正部１４５は、ノイズ低減前の画像を補正する（ステップＳ１０６）。具体的には、画像補正部１４５は、ＰＳＦと重み係数算出部１４４から出力された重み係数とを利用して画像を補正する。この結果、ぼけ画像は非ぼけ画像に補正される。より詳しくは、ノイズ量が少ないぼけ画像には少ないノイズ量に応じた重み係数が利用されて非ぼけ画像に補正される。ノイズ量が多いぼけ画像には多いノイズ量に応じた重み係数が利用されて非ぼけ画像に補正される。

ここで、本実施形態におけるぼけ画像について説明する。

ぼけ画像は、非ぼけ画像に対し、ある点から光学的な拡がりを持ったぼけを畳み込んだ画像である。したがって、ぼけ画像をＹ、非ぼけ画像をＸ、ぼけ関数（例えばＰＳＦ）をｋ、ノイズをｎとすると、ぼけ画像Ｙは、以下に示す数式（１）で表される。

上述した数式（１）において、ぼけ画像Ｙは非ぼけ画像Ｘに対してＰＳＦを畳み込んだ画像となっている。さらに、ぼけ画像Ｙには、画像上のノイズが含まれる。ここで、理想的に画像にノイズが含まれていない場合（ノイズ０の場合）、以下に示す数式（２）を評価関数とし、非ぼけ画像Ｘが求められる。

上述した数式（２）において、評価関数が最小になるほどぼけ画像が非ぼけ画像に近づく。

ところが、画像にノイズが含まれている場合、上述した評価関数が最小になるだけでは、ぼけ画像が非ぼけ画像に補正される際にノイズの影響を受ける。したがって、以下に示す数式（３）に表されるように、ノイズの影響を少なくする正則化項εＥ（Ｘ）を評価関数に追加する。

正則化項εＥ（Ｘ）は、正則化関数Ｅ（Ｘ）に重み係数εを掛け合わせたものである。したがって、重み係数εの値が大きくなるほどノイズの影響が少なくなるが、重み係数εの値が大きすぎるとエッジの先鋭度が低下し非ぼけ画像がなまる。このため、ノイズ量に応じた重み係数が算出されることが望ましい。本実施形態では、上述したように、ノイズ量に応じた重み係数が算出されるため、ノイズ量の低減が不十分であったり過分であったりすることが解消され、ぼけ画像が高精度に補正される。

図８は、ぼけ画像Ｙが非ぼけ画像Ｘに補正される様子の一例を比較例と対比して説明するための図である。

まず、図８（ａ）に示すように、ノイズが少ないぼけ画像「Ｙ１」に対しＰＳＦ「ｋ」とぼけ画像「Ｙ１」に応じた重み係数「ε１」（不図示）が利用されて補正がなされると、ノイズの強調とエッジの先鋭度の低下が抑えられた非ぼけ画像「Ｘ１」が復元される。また、図８（ｂ）に示すように、ノイズが多いぼけ画像「Ｙ２」に対しＰＳＦ「ｋ」とぼけ画像「Ｙ１」に応じた重み係数「ε２」（不図示）が利用されて補正がなされても、ノイズの強調とエッジの先鋭度の低下が抑えられた非ぼけ画像「Ｘ２」が復元される。より詳しくは、非ぼけ画像Ｘ１，Ｘ２のいずれもがそれぞれぼけ画像Ｙ１，Ｙ２に対しノイズが低減されており、かつ、エッジ部分の先鋭度の低下（低傾斜）が抑えられエッジ部分が急峻（高傾斜）となっている。

一方、図８（ｃ）に示すように、ノイズを含むぼけ画像「Ｙ３」に対しＰＳＦ「ｋ」と適正でない重み係数、例えばぼけ画像「Ｙ３」に応じていない重み係数（不図示）が利用されて補正がなされると、エッジの先鋭度の低下は抑えられるものの、ノイズが強調された非ぼけ画像「Ｘ３」が復元される。

以上説明したように、画像のぼけの程度を表すＰＳＦとノイズ量の低減度を決める重み係数を利用して画像を補正する場合、ノイズ低減前後の微分画像同士の差分に基づいてノイズ量を抽出し、ノイズ量に応じた重み係数を算出することで、ぼけ画像を高精度に補正することができる。

次に、図９乃至図１１を参照して、上述した重み係数の算出式を求める処理について説明する。

図９は、重み係数の算出式を求める処理の一例を示すフローチャートである。図１０は、重み係数と補正後のノイズ量の関係を示すグラフの一例である。図１１は、重み係数の算出式の一例である。尚、図９に示す処理は、撮像装置１００の製造を担当する担当者（例えば設計者や開発者など）が後述する情報処理装置３００を利用することによって行われる。求められた算出式は、撮像装置１００の設定部１４３に保持されたり撮像装置１００が有する記憶装置に記憶されたりする。

まず、図９に示すように、複数の画像の中から任意の画像が１つ指定される（ステップＳ２０１）。指定した画像が重み係数の算出対象画像となる。画像が指定されると、指定した画像のノイズ量が抽出される（ステップＳ２０２）。ノイズ量の抽出は上述した抽出処理と同様の処理により行われる。例えば、指定した画像に含まれるノイズ量が少なければ、図１０に示すように、ノイズ低減前のノイズ量としてノイズ量「１０」が抽出される。

ノイズ量が抽出されると、次いで、重み係数が指定される（ステップＳ２０３）。指定した画像に対する重み係数が初めて指定される場合には、例えば非常に小さな重み係数（例えば「０」）が指定される。重み係数が指定されると、次いで、指定した重み係数を利用して指定した画像を補正する（ステップＳ２０４）。画像の補正は上述した補正処理と同様の処理により行われる。画像が補正されると、補正後の画像のノイズ量が抽出される（ステップＳ２０５）。上述したように、ノイズ量「１０」が抽出されていた場合、図１０に示すように、補正により補正後のノイズ量はノイズ量「１０」からわずかに低減する（重み係数「０」に対応する２つの点の内ノイズ量「１０」以下の点の方を参照）。

次いで、補正後のノイズ量が閾値以下であるか否か判断される（ステップＳ２０６）。当該閾値は、ノイズ量の低減度合と非ぼけ画像のなまり具合いに応じて、上述した担当者によって適宜設定される。図１０に示すように、重み係数「０」が指定した場合、補正後のノイズ量は閾値以下でないため、ノイズの低減が不十分であると判断され（ステップＳ２０６：ＮＯ）、次の重み係数（例えば「０．００５」）が指定される（ステップＳ２０７）。その後、補正後のノイズ量が閾値以下になるまで、ステップＳ２０４〜Ｓ２０７の処理が行われる。これにより、図１０に示すように、補正後のノイズ量が閾値以下となる重み係数（例えば「０．０７」）が決定される。すなわち、ノイズ低減前のノイズ量がノイズ量「１０」である場合には、図１０のＡで示される重み係数が決定される。尚、例えば図１０のＡで示される重み係数より大きな重み係数（例えば「０．１」）が指定された場合、エッジの先鋭度が低下するため、当該重み係数は採用されない。

ノイズ低減前のノイズ量と当該ノイズ量に応じた重み係数が決定されると、指定した画像のノイズ低減前のノイズ量と決定された重み係数とを関連付ける（ステップＳ２０８）。ノイズ量と重み係数が関連付けられると、全画像が完了したか否か判断される（ステップＳ２０９）。例えば、まだ重み係数の算出対象画像が残っている場合には、全画像が完了していないと判断され（ステップＳ２０９：ＮＯ）、別の画像が指定される（ステップＳ２１０）。そして、指定された別の画像のノイズ量が抽出される（ステップＳ２１１）。これにより、図１０に示すように、例えばノイズ低減前のノイズ量「２１」が抽出される。ノイズ量が抽出されると、上述したステップＳ２０３〜Ｓ２０９の処理が繰り返される。例えば、指定された別の画像に対し重み係数「０」が指定されて補正された場合ノイズが強調されるが、重み係数を段々と大きくし、補正後のノイズ量を順次抽出することで、図１０に示すように、ノイズ低減前のノイズ量「２１」に対し図１０のＢで示される重み係数（例えば「０．１５」）が決定される。尚、上述したように、例えば図１０のＢで示される重み係数より大きな重み係数（例えば「０．２」）が指定された場合、エッジの先鋭度が低下するため、当該重み係数もまた採用されない。そして、全画像が完了したと判断された場合（ステップＳ２０９：ＹＥＳ）、処理が終了する。

図１１では、ノイズ低減前のノイズ量と重み係数との複数の関係がグラフ上にプロットされている。グラフ上には上述した関係Ａ，Ｂ以外にも複数の関係がプロットされている。これらの関係を分析すると、例えばグラフ上にプロットされたすべての関係を通る関数ε＝ｆ（ｘ）を重み係数の算出式としてもよい。また、グラフ上にプロットされたすべての関係に対し最小二乗法を利用し、図１１に示すように、線形関数化した１次関数ε＝ａｘ＋ｂを重み係数の算出式としてもよい。さらに、このような関数を重み係数の算出式とせずに、複数の関係を表すルックアップテーブルを重み係数の算出式としてもよい。このように求められた重み係数算出式が撮像装置１００に搭載されるため、ノイズ量に応じた最適な重み係数が算出される。

次に、図１２を参照して、上述した画像補正装置１４０を情報処理装置３００で実現する場合について説明する。

図１２は、情報処理装置３００のハードウェア構成の一例である。情報処理装置３００しては、例えばPersonal Computer（ＰＣ）、スマートフォンを含む携帯電話機、タブレット端末などがある。

情報処理装置３００は、少なくともＣＰＵ３０１、ＲＡＭ３０２、Read Only Memory（ＲＯＭ）３０３及び通信Ｉ／Ｆ（インタフェース）３０４を含んでいる。情報処理装置３００は、必要に応じて、Hard Disk Drive（ＨＤＤ）３０５、入力Ｉ／Ｆ３０６、出力Ｉ／Ｆ３０７、入出力Ｉ／Ｆ３０８、ドライブ装置３０９の少なくとも１つを含んでいてもよい。これらの各機器３０１〜３０９は、内部バス３１０によって互いに接続されている。少なくともＣＰＵ３０１とＲＡＭ３０２とが協働することによってコンピュータが実現される。

入力Ｉ／Ｆ３０６には、入力装置４１０が接続される。入力装置４１０としては、例えばキーボードやマウスなどがある。
出力Ｉ／Ｆ３０７には、表示装置４２０が接続される。表示装置４２０としては、例えば液晶ディスプレイがある。
入出力Ｉ／Ｆ３０８には、半導体メモリ４３０が接続される。半導体メモリ４３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ３０８は、半導体メモリ４３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ３０６及び入出力Ｉ／Ｆ３０８は、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ３０７は、例えばディスプレイポートを備えている。

ドライブ装置３０９には、可搬型記録媒体４４０が挿入される。可搬型記録媒体４４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置３０９は、可搬型記録媒体４４０に記録されたプログラムやデータを読み込む。
通信Ｉ／Ｆ３０４は、例えばポートとPhysical Layer Chip（ＰＨＹチップ）とを備えている。情報処理装置３００は、通信Ｉ／Ｆ３０４を介してネットワークＮＷと接続される。

上述したＲＡＭ３０２は、ＲＯＭ３０３やＨＤＤ３０５に記憶されたプログラムを読み込む。ＲＡＭ３０２は、可搬型記録媒体４４０に記録されたプログラムを読み込む。読み込まれたプログラムをＣＰＵ３０１が実行することにより、上述した各種の動作が実行される。尚、プログラムは上述したフローチャートに応じたものとすればよい。以上説明した情報処理装置３００によっても、ぼけ画像を高精度に補正することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、２つの機能を１つの機能で実現してもよいし、１つの機能を２つ以上の機能に分散してもよい。また、上述した差分画像は１次元の波形図を利用して説明したが、２次元の差分画像でも同様である。さらに、上述した図１０では１つの閾値が設定されたが、当該閾値より下に別の閾値が設けられてもよい。当該別の閾値はエッジの先鋭度を判定するための閾値である。別の閾値により、図１０のＡやＢにおける重み係数（例えば「０．０７」や「０．１５」）を超える重み係数（例えば「０．１」や「０．２」）が排除される。すなわち、閾値と別の閾値との間に存在する重み係数（例えば「０．０７」や「０．１５」）だけが決定される。

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像を補正する画像補正方法であって、前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出ステップと、前記抽出ステップによって抽出されたノイズ量に応じた前記重み係数を算出する算出ステップと、を有する画像補正方法。
（付記２）前記算出ステップは、前記ノイズ量の増加に応じて前記重み係数を増加することを特徴とする付記１に記載の画像補正方法。
（付記３）前記算出ステップは、前記ノイズ量と前記重み係数との関係を関数化した関数情報に基づいて、前記重み係数を算出することを特徴とする付記１又は２に記載の画像補正方法。
（付記４）前記算出ステップは、前記ノイズ量と前記重み係数との関係を線形関数化した線形関数情報に基づいて、前記重み係数を算出することを特徴とする付記３に記載の画像補正方法。
（付記５）前記算出ステップは、前記ノイズ量と前記重み係数との対応表を表す対応表情報に基づいて、前記重み係数を算出することを特徴とする付記１又は２に記載の画像補正方法。
（付記６）前記抽出ステップは、前記差分における輝度勾配に基づいて信号対雑音比を算出し、前記信号対雑音比とノイズの標準偏差との関係を表す数式を利用して、算出した前記信号対雑音比に応じたノイズの標準偏差をノイズ量として抽出することを特徴とする付記１から５のいずれか１項に記載の画像補正方法。

１００ 撮像装置
１４０ 画像補正装置
１４１ ＲＡＷメモリ
１４２ ノイズ量抽出部（抽出手段）
１４３ 設定部
１４４ 重み係数算出部（算出手段）
１４５ 画像補正部

Claims (8)

1. 画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像を補正する画像補正装置であって、
   前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出手段と、
   前記抽出手段によって抽出されたノイズ量に応じた前記重み係数を算出する算出手段と、
   を有する画像補正装置。
2. 前記算出手段は、前記ノイズ量の増加に応じて前記重み係数を増加することを特徴とする請求項１に記載の画像補正装置。
3. 前記算出手段は、前記ノイズ量と前記重み係数との関係を関数化した関数情報に基づいて、前記重み係数を算出することを特徴とする請求項１又は２に記載の画像補正装置。
4. 前記算出手段は、前記ノイズ量と前記重み係数との関係を線形関数化した線形関数情報に基づいて、前記重み係数を算出することを特徴とする請求項３に記載の画像補正装置。
5. 前記算出手段は、前記ノイズ量と前記重み係数との対応表を表す対応表情報に基づいて、前記重み係数を算出することを特徴とする請求項１又は２に記載の画像補正装置。
6. 前記抽出手段は、前記差分における輝度勾配に基づいて信号対雑音比を算出し、前記信号対雑音比とノイズの標準偏差との関係を表す数式を利用して、算出した前記信号対雑音比に応じたノイズの標準偏差をノイズ量として抽出することを特徴とする請求項１から５のいずれか１項に記載の画像補正装置。
7. 画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像を補正する画像補正方法であって、
   前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出ステップと、
   前記抽出ステップによって抽出されたノイズ量に応じた前記重み係数を算出する算出ステップと、
   を有する画像補正方法。
8. 画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像をコンピュータに補正させる画像補正プログラムであって、
   前記コンピュータに、
   前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出ステップと、
   前記抽出ステップによって抽出されたノイズ量に応じた前記重み係数を算出する算出ステップと、
   を実行させるための画像補正プログラム。

Images