JP7146088B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来の画像処理装置は、撮影画像と点像強度分布とを用いて画像更新処理を行う画像更新手段と、撮影画像又は画像更新処理により生成された少なくとも一つの画像を含む複数の画像に基づいて、複数の画像のそれぞれの画素毎に複数の画像のそれぞれの重みを算出する重み算出手段と、その重みを用いて複数の画像を合成し、回復画像を生成する画像合成手段とを有する（例えば、特許文献１を参照）。

特開２０１７－４１０１４号公報（図５）

従来の画像処理装置は、画像更新処理により生成した複数の画像の一つを基準画像とし、基準画像との類似度に応じて、画像更新処理により生成した複数の画像に対する重みを決めていた。また、この重みに従い複数の画像を合成していた。そのため、基準画像にジャギー等のアーティファクトが含まれている場合、ジャギー等のアーティファクトと似た処理結果をもつ画像に対する重みが大きくなり、画像合成の結果、ジャギー等のアーティファクトが残ってしまうという問題があった。

本発明の一又は複数の態様は、上記のような問題点を解決するためになされたものであり、ジャギー等のアーティファクトの発生のない画像を得ることを目的としている。

本発明の一態様に係る画像処理装置は、複数の画素を含む入力画像に対して、前記複数の画素の画素値の変化が小さくなるほど高い評価値となる第１の評価関数を用いて、前記入力画像から、前記入力画像にボケが含まれる前の潜在画像を求めることで、前記入力画像のボケを補正した第１の補正画像を生成する第１の補正処理部と、前記入力画像に対して、前記複数の画素の画素値の変化が大きくなるほど高い評価値となる第２の評価関数を用いて、前記入力画像から前記潜在画像を求めることで、前記入力画像のボケを補正した第２の補正画像を生成する第２の補正処理部と、前記複数の画素の各々を対象画素として、前記対象画素を含む予め定められた領域に含まれている画素の画素値のばらつきが大きいほど、前記第２の補正画像に対する重みが大きくなるように、前記対象画素における重み値を特定することで、前記複数の画素の各々に対応する重み値を特定する重み値特定部と、前記複数の画素の各々に対応する重み値を用いて、前記第１の補正画像及び第２の補正画像の加重加算を行う加重加算部と、を備えることを特徴とする。

本発明の一態様に係る画像処理方法は、複数の画素を含む入力画像に対して、前記複数の画素の画素値の変化が小さくなるほど高い評価値となる第１の評価関数を用いて、前記入力画像から、前記入力画像にボケが含まれる前の潜在画像を求めることで、前記入力画像のボケを補正した第１の補正画像を生成し、前記入力画像に対して、前記複数の画素の画素値の変化が大きくなるほど高い評価値となる第２の評価関数を用いて、前記入力画像から前記潜在画像を求めることで、前記入力画像のボケを補正した第２の補正画像を生成し、前記複数の画素の各々を対象画素として、前記対象画素を含む予め定められた領域に含まれている画素の画素値のばらつきが大きいほど、前記第２の補正画像に対する重みが大きくなるように、前記対象画素における重み値を特定することで、前記複数の画素の各々に対応する重み値を特定し、前記複数の画素の各々に対応する重み値を用いて、前記第１の補正画像及び第２の補正画像の加重加算を行うことを特徴とする。

本発明の一又は複数の態様によれば、ジャギー等のアーティファクトの発生のない画像を得ることができる。

実施の形態１に係る画像処理装置の構成を概略的に示すブロック図である。 （Ａ）及び（Ｂ）は、ハードウェア構成例を示すブロック図である。 実施の形態１に係る画像処理装置での動作を示すフローチャートである。 実施の形態２に係る画像処理装置の構成を概略的に示すブロック図である。 実施の形態２に係る画像処理装置での動作を示すフローチャートである。 実施の形態３に係る画像処理装置の構成を概略的に示すブロック図である。 実施の形態３に係る画像処理装置での動作を示すフローチャートである。 実施の形態４に係る画像処理装置の構成を概略的に示すブロック図である。 実施の形態４に係る画像処理装置での動作を示すフローチャートである。 実施の形態５に係る画像処理装置の構成を概略的に示すブロック図である。 実施の形態５に係る画像処理装置での動作を示すフローチャートである。 実施の形態６に係る画像処理装置の構成を概略的に示すブロック図である。 実施の形態６に係る画像処理装置での動作を示すフローチャートである。

実施の形態１．
図１は、実施の形態１に係る画像処理装置１００の構成を概略的に示すブロック図である。
画像処理装置１００は、第１の評価関数最小化部１０１と、第２の評価関数最小化部１０２と、重み画像生成部１０３と、加重加算部１０４とを備える。

第１の評価関数最小化部１０１は、入力画像に含まれるボケを補正することで、第１の補正画像を生成する。生成された第１の補正画像は、加重加算部１０４に与えられる。
第２の評価関数最小化部１０２は、入力画像に含まれるボケを補正することで、第２の補正画像を生成する。生成された第２の補正画像は、加重加算部１０４に与えられる。

例えば、第１の評価関数最小化部１０１及び第２の評価関数最小化部１０２は、入力画像に含まれるボケをデコンボリューション問題として扱い、そのボケを補正する。
ここで、入力画像に含まれるボケの原因としては、入力画像を撮像するための撮像装置であるカメラの光学系によるボケ（光学系ボケ）、又は、入力画像撮像時にカメラが動いてしまうことによるボケ（動きボケ）等がある。

以下、デコンボリューション問題について述べる。なお、以下の説明では、入力画像をボケ画像Ｂということもある。これは入力画像にボケが含まれるためである。

ボケ画像Ｂは、ぶれを含まない潜在画像Ｌをある点像分布関数Ｋで畳み込んだ後、ノイズＮを加算したものとして、下記の式（１）でモデル化することができる。

ここで、＊は畳み込み演算を表す。

ここでデコンボリューション問題は、ボケ画像Ｂと、点像分布関数Ｋとが与えられたときに、式（１）のモデルのもと、潜在画像Ｌを求める、又は、ボケ画像Ｂが与えられたときに、式（１）のモデルのもと、潜在画像Ｌと点像分布関数Ｋとを求める問題である。
この問題は、数学的には、最適化問題として定義可能で、適切な評価関数を最小化する潜在画像Ｌ、又は、潜在画像Ｌ及び点像分布関数Ｋを求めることと等価である。

以下、点像分布関数Ｋは既知であるとする。この場合、最小化したい評価関数をＣ（Ｌ）とすると、Ｃ（Ｌ）は、忠実度項と、正規化項との和からなり、例えば、下記の式（２）で表すことができる。

なお、式（２）で、ｗは定数を表し、Ｄｓは、予め定められた畳み込みカーネルを表す。また、||・||^ｐは、ｐ次のノルムを表し、||・||^ｑは、ｑ次のノルムを表す。画像処理では、ｐとしては２が、ｑとして２以下の値が使われることが多い。

式（２）において、第１項が忠実度項に相当する。忠実度項は、式（１）の関係が成立する場合に、最小値をとる関数である。
また、式（２）における第２項は、正規化項に相当する。正規化項は、最適化問題の解に一定の制限を課すための項である。例えば、式（２）の第１項を最小とする潜在画像Ｌは、複数個存在する。そこで、式（２）の第２項により潜在画像Ｌに一定の制限を課すことで最適化問題の解を一意に定めることができる。

ここで、式（２）の第２項である正規化項のΣは、Ｄｓとして複数個の畳み込みカーネルを使用する場合に、各畳み込みカーネルについて得たｑ次のノルムの和をとることを意味する。
なお、式（２）の最適化処理は、例えば、特表２０１６－５３２３６７号公報に詳細に記載されている。

ここで、実施の形態１による第１の評価関数最小化部１０１は、Ｄｓとして画像の１次微分を表すカーネルを用いる。この場合、式（２）の正規化項は、潜在画像Ｌの画素値の変化が小さいほど、又は、潜在画像Ｌが平坦な画像になるほど、小さくなる。逆に、潜在画像Ｌにエッジ、又は、単調に増加若しくは減少するグラデーション部分が多くなるほど、式（２）の正規化項は大きな値となる。言い換えると、Ｄｓとして画像の１次微分を表すカーネルを用いた場合、潜在画像Ｌは、エッジ又は階調性の乏しい画像となる。

なお、Ｄｓとして１次微分を表すカーネルを用いる場合、１次微分カーネルを行列形式で表すと、評価関数Ｃ（Ｌ）は、下記の式（３）で表すことができる。

なお、式（３）の正規化項のうち、第１項は、垂直方向の１次微分に、第２項は、水平方向の一次微分に相当する。また、Ｗ１は、式（３）における定数ｗに対応する第１の定数を表す。

一方、実施の形態１における第２の評価関数最小化部１０２は、Ｄｓとして画像の２次微分を表すカーネルを用いる。この場合、式（２）の正規化項は、潜在画像Ｌの画素値の変化が小さい場合だけでなく、エッジ又はグラデーション部分でも小さい値をとる。言い換えると、Ｄｓとして画像の２次微分を表すカーネルを用いた場合、潜在画像Ｌは、エッジ又はグラデーション部の画素値の変化が保たれた画像となる。その一方で、その場合には、画像中の平坦な部分が平坦なまま保存されず、本来平坦であるべき箇所に不自然にエッジ状の模様が現れることがある。

上記から、第２の評価関数最小化部１０２は、エッジ又はグラデーション等、画素値にある程度の変化がある領域の処理に優れ、第１の評価関数最小化部１０１は、画素値の変化が少ない領域の処理に優れていることが分かる。

なお、Ｄｓとして、２次微分カーネルを用いる場合、２次微分カーネルを行列形式で表すと、評価関数Ｃ（Ｌ）は、下記の式（４）で表すことができる。

なお、式（４）の正規化項のうち、第１項は、垂直方向の２次微分に、第２項は、水平方向の２次微分に、第３項は、斜め方向の２次微分に相当する。また、Ｗ２は、式（４）における定数ｗに対応する第２の定数を表す。

以上のように、第１の評価関数最小化部１０１は、複数の画素を含む入力画像に対して、複数の画素の画素値の変化が小さくなるほど高い評価値となる第１の評価関数を用いて、入力画像から、入力画像にボケが含まれる前の潜在画像を求めることで、入力画像のボケを補正した第１の補正画像を生成する第１の補正処理部として機能する。
ここで、第１の評価関数は、入力画像の１次微分の大きさを表す項に定数（ここでは、第１の定数）を乗じた値を含む評価値を求める関数である。

また、第２の評価関数最小化部１０２は、入力画像に対して、複数の画素の画素値の変化が大きくなるほど高い評価値となる第２の評価関数を用いて、入力画像から潜在画像を求めることで、入力画像のボケを補正した第２の補正画像を生成する第２の補正処理部として機能する。
ここで、第２の評価関数は、入力画像の２次微分の大きさを表す項に定数（ここでは、第２の定数）を乗じた値を含む評価値を求める関数である。

重み画像生成部１０３は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定する重み値特定部である。特定された重み値は、加重加算部１０４に与えられる。

なお、後述の加重加算部１０４で行う加重加算を考慮すると、重み値は、０以上１以下の値であることが望ましい。以下、重み画像生成部１０３の具体的動作例として、ばらつきを判定するために入力画像の画素値の分散を用いる場合を示す。

この場合、重み画像生成部１０３はまず、入力画像に含まれる各々の画素を対象画素として特定し、この対象画素を含む予め定められた領域を定義し、その領域内の画素値の分散を計算する。
次に、重み画像生成部１０３は、入力画像の対象画素について求めた分散を０以上１以下の値にマッピングする。なお、マッピングの結果は、分散の値が小さいほど０に近い値をとり、逆に分散の値が大きいほど１に近い値をとるのがよい。

このようなマッピングの方法として、例えば、閾値εを設定し、分散の値がνであったときに、下記の式（５）により、分散の値νを０以上１以下の値であるｍにマッピングすることができる。

なお、マッピングの方法は、上記の式（５）に限らず、入力画像の各画素近傍で求めた画素値のばらつきに相当する値が予め定められた閾値より大きいほど、１に近づき、逆に予め定められた閾値より小さいほど０に近づくものであればよい。

また、上記のｍの値は、入力画像の各画素について個別の値が計算できる。よって、各画素について個別に計算されるｍの値を画素値とみなせば、重み画像生成部１０３の出力はあたかも画像のようにみなすことができる。そこで、以下、重み画像生成部１０３の出力を重み画像と呼ぶこともある。また、重み画像の画素値とは、入力画像の各画素について計算されるｍの値を指すこととする。なお、ｍの値は、重み値ともいう。

加重加算部１０４は、重み画像生成部１０３の出力する重み画像の画素値に基づき、第１の評価関数最小化部１０１から出力される第１の補正画像と、第２の評価関数最小化部１０２から出力される第２の補正画像とを加重加算した結果である出力画像を生成する。

ここで、加重加算部１０４は、重み画像の画素値が大きいほど、第２の補正画像の対応する画素値に対する重みを大きくし、重み画像の画素値が小さいほど、第１の補正画像の対応する画素値に対する重みを大きくする。
例えば、式（５）に示されているように、重み画像生成部１０３から出力される重み値が、０以上１以下の値ｍに制限されている場合、加重加算部１０４は、下記の式（６）により算出される値Ｄ３を、出力画像の画素値として算出することができる。

ここで、Ｄ１は、第１の補正画像の対応する画素値、Ｄ２は、第２の補正画像の対応する画素値、ｍは重み画像の対応する画素値（重み値）である。

以上に記載された第１の評価関数最小化部１０１、第２の評価関数最小化部１０２、重み画像生成部１０３及び加重加算部１０４の一部又は全部は、例えば、図２（Ａ）に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。

また、第１の評価関数最小化部１０１、第２の評価関数最小化部１０２、重み画像生成部１０３及び加重加算部１０４の一部又は全部は、例えば、図２（Ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路１２で構成することもできる。

図３は、実施の形態１に係る画像処理装置１００での動作を示すフローチャートである。
図３に示されているフローチャートは、例えば、入力画像が画像処理装置１００の図示しない入力インターフェースに入力された場合、画像処理装置１００の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。

まず、第１の評価関数最小化部１０１は、上記の式（３）を用いて、入力画像に含まれるボケを補正した第１の補正画像を生成する（Ｓ１０）。生成された第１の補正画像は、加重加算部１０４に与えられる。

次に、第２の評価関数最小化部１０２は、上記の式（４）を用いて、入力画像に含まれるボケを補正した第２の補正画像を生成する（Ｓ１１）。生成された第２の補正画像は、加重加算部１０４に与えられる。

次に、重み画像生成部１０３は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定し、特定された重み値を対応する画素毎に示す重み画像を生成する（Ｓ１２）。生成された重み画像は、加重加算部１０４に与えられる。

次に、加重加算部１０４は、重み画像生成部１０３の出力する重み画像の画素値に基づき、第１の評価関数最小化部１０１から出力される第１の補正画像と、第２の評価関数最小化部１０２から出力される第２の補正画像とを加重加算した結果である出力画像を生成する（Ｓ１３）。

以上のように、実施の形態１によれば、入力画像のエッジ部又はグラデーション部等、画素値にある程度の変化が含まれる箇所では第２の補正画像の重みが重くなり、逆に、入力画像の画素値の変化の少ない箇所では、第１の補正画像の重みが重くなる。つまり、入力画像の画素毎に、第１の評価関数最小化部１０１及び第２の評価関数最小化部１０２のより適した方の処理結果に対する重みが大きくなる。

このような構成にすることにより、入力画像のエッジ部又はグラデーション部等、画素値にある程度の変化が含まれる箇所と、入力画像の画素値の変化の少ない箇所の各々に適した画素値が選択されるため、ジャギー等のアーティファクトの少ない出力画像を得ることができる。

実施の形態２．
図４は、実施の形態２に係る画像処理装置２００の構成を概略的に示すブロック図である。
画像処理装置２００は、第１の評価関数最小化部２０１と、第２の評価関数最小化部２０２と、重み画像生成部１０３と、加重加算部１０４と、入力画像解析部２０５とを備える。
実施の形態２における重み画像生成部１０３及び加重加算部１０４は、実施の形態１における重み画像生成部１０３及び加重加算部１０４と同様である。

実施の形態２は、実施の形態１で説明した式（２）の定数ｗを入力画像の特性に応じて変化させる。

まず、式（２）の定数ｗについて説明する。
定数ｗは、忠実度項と正規化項との間の重みを調整する値であり、定数ｗの値を大きくするほど、式（２）に占める正規化項の割合が多くなる。

Ｄｓとして１次微分を用いる第１の評価関数最小化部２０１でも、Ｄｓとして２次微分を用いる第２の評価関数最小化部２０２でも、潜在画像Ｌにランダムなノイズが多くのっていると、正規化項の大きさが大きくなる。このため、式（２）で算出される値も大きくなる。

一方、第１の評価関数最小化部２０１も第２の評価関数最小化部２０２も、式（２）で算出される値の大きさが最小となる潜在画像Ｌを求めるので、定数ｗに対応する第１の定数ｗ１及び第２の定数ｗ２の値を大きくするほど、潜在画像Ｌとして、ランダムなノイズが含まれない画像を出力することになる。

言い換えると、ボケ画像Ｂにランダムなノイズが多く含まれる場合、第１の定数ｗ１及び第２の定数ｗ２の値を大きくすることでノイズが除去された潜在画像Ｌを得ることができる。一方で、テキスチャと呼ばれる、画像中にある細かい模様も画素値の変化はランダムであるので、第１の定数ｗ１及び第２の定数ｗ２の値を必要以上に大きくすると、潜在画像Ｌではテキスチャが失われ、かえって不自然な出力画像が得られることになる。

従って、第１の定数ｗ１及び第２の定数ｗ２の値は、ボケ画像Ｂに含まれるノイズ量に応じて変えることがよく、ノイズ量が少ないときは第１の定数ｗ１及び第２の定数ｗ２の値を小さくし、ノイズ量が多いときは第１の定数ｗ１及び第２の定数ｗ２の値を大きくするのがよい。このようにすることで、ボケ画像Ｂにノイズが多く含まれる場合には、ノイズ処理を適度に行い、逆にボケ画像Ｂにノイズがあまり含まれない場合には、必要以上にテキスチャを失うことなく、ボケ補正を行うことが可能となる。
以下、実施の形態２の構成を説明する。

入力画像解析部２０５は、入力画像をもとにボケ画像Ｂに含まれるノイズ量を推定し、推定されたノイズ量が多いほど、大きくなるように第１の定数ｗ１及び第２の定数ｗ２の値を決定する。決定された第１の定数ｗ１は第１の評価関数最小化部２０１に与えられ及び第２の定数ｗ２は第２の評価関数最小化部２０２に与えられる。

例えば、入力画像解析部２０５は、ノイズ量が予め定められた閾値よりも多い場合には、第１の定数ｗ１及び第２の定数ｗ２として、予め定められた第１の値を決定し、ノイズ量が予め定められた閾値よりも少ない場合には、第１の定数ｗ１及び第２の定数ｗ２として、予め定められた第２の値を決定する。ここで、第１の値は第２の値よりも大きな値である。
また、入力画像解析部２０５は、ノイズ量の多さに対し単調増加となるように第１の定数ｗ１及び第２の定数ｗ２を決定してもよい。

以下、入力画像解析部２０５でのノイズ量の推定方法の一例を述べる。
通常、ノイズ量は、信号量をノイズ量の分散で割ったＳ／Ｎ比で定義できる。
Ｓ／Ｎ比が大きいほどノイズ量は少なく、逆にＳ／Ｎ比が小さいほどノイズ量は多くなる。

本実施の形態で扱う入力画像のように、カメラで得られた画像では、信号量は、輝度（画素値）と考えられる。しかし、画像は、複数の画素からなるため、入力画像中には様々な画素値が現れる。よって、入力画像解析部２０５は、入力画像の画素値から代表的な値である代表値を抽出し、抽出された代表値を信号量Ｓとする。

代表値としては、単純な例では、入力画像中の画素値の平均値又は最頻値を使うことができる。また、入力画像中の画素値の最大値と最小値との差を代表値とすることもできる。他にも、入力画像の画素値のヒストグラム分布を集計し、画素値の上位及び下位の予め定められた割合を占めるものはアウトライヤーとして除去した後に算出された、平均値、最頻値、又は、最大値と最小値の差を、代表値として使うことができる。

Ｓ／Ｎ比を概算する最も単純な例では、上記のように求めた信号量Ｓでのみ、Ｓ／Ｎを判断することができる。言い換えると、入力画像解析部２０５は、信号量Ｓの値が大きいほど、ノイズ量は少ないと判断し、信号量Ｓの値が小さいほど、ノイズ量は多いと判断する。そして、入力画像解析部２０５は、ノイズ量が多いほど第１の定数ｗ１及び第２の定数ｗ２の値を大きくすればよい。

なお、上記の中で入力画像の最大値と最小値の差を使うことで、入力画像に一定のオフセット成分がある場合でも、信号量Ｓを判定することが可能となる。以下、カメラで撮像された入力画像にオフセット成分が発生する例をいくつか示す。

まず、カメラでの撮像として、航空機カメラ等、上空から地表を撮る場合を考える。この場合、カメラと地上の被写体の間に雲があると、雲で太陽光が反射したものが入力画像中にオフセット成分として発生する。また、地上での撮像の場合も、霧の日等は大気中（霧）で散乱した太陽光に由来する入射光がオフセット成分の原因となる。

第１の評価関数最小化部２０１は、入力画像に含まれるボケを補正することで、第１の補正画像を生成する。生成された第１の補正画像は、加重加算部１０４に与えられる。
ここで、実施の形態２においては、第１の評価関数最小化部２０１は、入力画像解析部２０５から与えられる第１の定数ｗ１を用いて、上記の式（３）で示される値が最小となるように算出した潜在画像Ｌを、第１の補正画像とする。

第２の評価関数最小化部２０２は、入力画像に含まれるボケを補正することで、第２の補正画像を生成する。生成された第２の補正画像は、加重加算部１０４に与えられる。
ここで、実施の形態２においては、第２の評価関数最小化部２０２は、入力画像解析部２０５から与えられる第２の定数ｗ２を用いて、上記の式（４）で示される値が最小となるように算出した潜在画像Ｌを、第２の補正画像とする。

以上に記載された第１の評価関数最小化部２０１、第２の評価関数最小化部２０２、重み画像生成部１０３、加重加算部１０４及び入力画像解析部２０５の一部又は全部は、例えば、図２（Ａ）に示されているように、メモリ１０と、プロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。

また、第１の評価関数最小化部２０１、第２の評価関数最小化部２０２、重み画像生成部１０３、加重加算部１０４及び入力画像解析部２０５の一部又は全部は、例えば、図２（Ｂ）に示されているように、処理回路１２で構成することもできる。

図５は、実施の形態２に係る画像処理装置２００での動作を示すフローチャートである。
図５に示されているフローチャートも、例えば、入力画像が画像処理装置２００の図示しない入力インターフェースに入力された場合、画像処理装置２００の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。

まず、入力画像解析部２０５は、入力画像に含まれるノイズ量を推定し、推定されたノイズ量が多いほど、大きくなるように第１の定数ｗ１及び第２の定数ｗ２の値を決定する（Ｓ２０）。決定された第１の定数ｗ１は第１の評価関数最小化部２０１に与えられ及び第２の定数ｗ２は第２の評価関数最小化部２０２に与えられる。

次に、第１の評価関数最小化部２０１は、入力画像解析部２０５から与えられた第１の定数ｗ１を式（３）に用いて、入力画像に含まれるボケを補正した第１の補正画像を生成する（Ｓ２１）。生成された第１の補正画像は、加重加算部１０４に与えられる。

次に、第２の評価関数最小化部２０２は、入力画像解析部２０５から与えられた第２の定数ｗ２を式（４）に用いて、入力画像に含まれるボケを補正した第２の補正画像を生成する（Ｓ２２）。生成された第２の補正画像は、加重加算部１０４に与えられる。

次に、重み画像生成部１０３は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定し、特定された重み値を対応する画素毎に示す重み画像を生成する（Ｓ２３）。生成された重み画像は、加重加算部１０４に与えられる。

次に、加重加算部１０４は、重み画像生成部１０３の出力する重み画像の画素値に基づき、第１の評価関数最小化部２０１から出力される第１の補正画像と、第２の評価関数最小化部２０２から出力される第２の補正画像とを加重加算した結果である出力画像を生成する（Ｓ２４）。

以上のように、実施の形態２によれば、入力画像のノイズ量に応じて、入力画像のボケを適切に補正することができる。
なお、式（３）における第１の定数Ｗ１と、式（４）における第２の定数Ｗ２との両方を、上記のようにノイズ量に応じて決定することで、実施の形態２における効果は大きくなるが、式（３）における第１の定数Ｗ１及び式（４）における第２の定数Ｗ２の何れか一方のみを変化させるだけでも、実施の形態２における効果を得ることができる。

実施の形態３．
図６は、実施の形態３に係る画像処理装置３００の構成を概略的に示すブロック図である。
画像処理装置３００は、第１の評価関数最小化部３０１と、第２の評価関数最小化部３０２と、重み画像生成部１０３と、加重加算部１０４と、撮像条件解析部３０６とを備える。
実施の形態３における重み画像生成部１０３及び加重加算部１０４は、実施の形態１における重み画像生成部１０３及び加重加算部１０４と同様である。

実施の形態２は、入力画像のノイズ量を、入力画像を解析することにより推定しているが、実施の形態３は、入力画像のノイズ量を、入力画像の撮像条件から推定する。

撮像条件解析部３０６は、入力画像を撮像した撮像装置としてのカメラから、撮像条件を取得する。そして、撮像条件解析部３０６は、取得された撮像条件から入力画像のノイズ量を推定する。撮像条件解析部３０６は、推定されたノイズ量が多いほど、大きくなるように第１の定数ｗ１及び第２の定数ｗ２の値を決定する。決定された第１の定数ｗ１は第１の評価関数最小化部３０１に与えられ、第２の定数ｗ２は第２の評価関数最小化部３０２に与えられる。

例えば、撮像条件解析部３０６は、ノイズ量が予め定められた閾値よりも多い場合には、第１の定数ｗ１及び第２の定数ｗ２として、予め定められた第１の値を決定し、ノイズ量が予め定められた閾値よりも少ない場合には、第１の定数ｗ１及び第２の定数ｗ２として、予め定められた第２の値を決定する。ここで、第１の値は第２の値よりも大きな値である。
また、撮像条件解析部３０６は、ノイズ量の多さに対し単調増加となるように第１の定数ｗ１及び第２の定数ｗ２を決定してもよい。

一般的に、入力画像に含まれるノイズ量は、撮像時間（露光時間）が長くなるほど少なくなる。よって、撮像条件解析部３０６は、撮像条件として撮像時間を引数とし、撮像時間が長いほどノイズ量が少ないと判定する。そして、撮像条件解析部３０６は、ノイズ量が多いほど、第１の定数ｗ１及び第２の定数ｗ２を大きくするように、第１の定数ｗ１及び第２の定数ｗ２の値を決定する。

第１の評価関数最小化部３０１は、入力画像に含まれるボケを補正することで、第１の補正画像を生成する。生成された第１の補正画像は、加重加算部１０４に与えられる。
ここで、実施の形態３においては、第１の評価関数最小化部３０１は、撮像条件解析部３０６から与えられる第１の定数ｗ１を用いて、上記の式（３）で示される値が最小となるように算出した潜在画像Ｌを、第１の補正画像とする。

第２の評価関数最小化部３０２は、入力画像に含まれるボケを補正することで、第２の補正画像を生成する。生成された第２の補正画像は、加重加算部１０４に与えられる。
ここで、実施の形態３においては、第２の評価関数最小化部３０２は、撮像条件解析部３０６から与えられる第２の定数ｗ２を用いて、上記の式（４）で示される値が最小となるように算出した潜在画像Ｌを、第２の補正画像とする。

以上に記載された第１の評価関数最小化部３０１、第２の評価関数最小化部３０２、重み画像生成部１０３、加重加算部１０４及び撮像条件解析部３０６の一部又は全部は、例えば、図２（Ａ）に示されているように、メモリ１０と、プロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。

また、第１の評価関数最小化部３０１、第２の評価関数最小化部３０２、重み画像生成部１０３、加重加算部１０４及び撮像条件解析部３０６の一部又は全部は、例えば、図２（Ｂ）に示されているように、処理回路１２で構成することもできる。

図７は、実施の形態３に係る画像処理装置３００での動作を示すフローチャートである。
図７に示されているフローチャートも、例えば、入力画像が画像処理装置３００の図示しない入力インターフェースに入力された場合、画像処理装置３００の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。

まず、撮像条件解析部３０６は、入力画像に含まれるノイズ量を推定し、推定されたノイズ量が多いほど、大きくなるように第１の定数ｗ１及び第２の定数ｗ２の値を決定する（Ｓ３０）。決定された第１の定数ｗ１は第１の評価関数最小化部３０１に与えられ、第２の定数ｗ２は第２の評価関数最小化部３０２に与えられる。

次に、第１の評価関数最小化部３０１は、撮像条件解析部３０６から与えられた第１の定数ｗ１を式（３）に用いて、入力画像に含まれるボケを補正した第１の補正画像を生成する（Ｓ３１）。生成された第１の補正画像は、加重加算部１０４に与えられる。

次に、第２の評価関数最小化部３０２は、撮像条件解析部３０６から与えられた第２の定数ｗ２を式（４）に用いて、入力画像に含まれるボケを補正した第２の補正画像を生成する（Ｓ３２）。生成された第２の補正画像は、加重加算部１０４に与えられる。

次に、重み画像生成部１０３は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定し、特定された重み値を対応する画素毎に示す重み画像を生成する（Ｓ３３）。生成された重み画像は、加重加算部１０４に与えられる。

次に、加重加算部１０４は、重み画像生成部１０３の出力する重み画像の画素値に基づき、第１の評価関数最小化部３０１から出力される第１の補正画像と、第２の評価関数最小化部３０２から出力される第２の補正画像とを加重加算した結果である出力画像を生成する（Ｓ３４）。

以上のように、実施の形態３によれば、入力画像に含まれるノイズ量に応じた処理が可能となる。具体的には、入力画像にノイズが多く含まれる場合はノイズ処理を適度に行い、逆に入力画像にノイズがあまり含まれない場合、必要以上にテキスチャを失うことなく、ボケ補正を行うことが可能となる。

なお、別の表現を用いると、実施の形態３によれば、入力画像を撮像した際の撮像時間の長さに対して第１の定数ｗ１及び第２の定数ｗ２の大きさが単調非増加となるように、第１の評価関数最小化部３０１及び第２の評価関数最小化部３０２を制御することができる。
なお、式（３）における第１の定数Ｗ１と、式（４）における第２の定数Ｗ２との両方を、上記のようにノイズ量に応じて決定することで、実施の形態３における効果は大きくなるが、式（３）における第１の定数Ｗ１及び式（４）における第２の定数Ｗ２の何れか一方のみを変化させるだけでも、実施の形態３における効果を得ることができる。

実施の形態４．
図８は、実施の形態４に係る画像処理装置４００の構成を概略的に示すブロック図である。
画像処理装置４００は、第１の評価関数最小化部１０１と、第２の評価関数最小化部１０２と、重み画像生成部４０３と、加重加算部１０４と、入力画像解析部４０５とを備える。
実施の形態４における第１の評価関数最小化部１０１、第２の評価関数最小化部１０２及び加重加算部１０４は、実施の形態１における第１の評価関数最小化部１０１、第２の評価関数最小化部１０２及び加重加算部１０４と同様である。

実施の形態２及び３は、第１の定数ｗ１及び第２の定数ｗ２を調整しているが、実施の形態４は、第１の定数ｗ１及び第２の定数ｗ２の変わりに閾値εを調整する。
閾値εを大きい値に設定すると、重み画像中には、重み値を示す画素値が０に近い画素が増え、出力画像では第１の評価関数最小化部１０１から出力される第１の補正画像の占める割合が多くなる。

逆に、閾値εを小さい値に設定すると、重み画像中には、重み値を示す画素値が１に近い画素が増え、出力画像では第２の評価関数最小化部１０２から出力される第２の補正画像の占める割合が多くなる。

第１の補正画像は、ランダムノイズの除去効果が高いものなので、閾値εを大きい値に設定すると、加重加算部１０４からも、よりノイズ除去の効果が高い出力画像が得られる。また、第２の補正画像は、エッジの保存性に優れた画像なので、閾値εを小さい値に設定すると加重加算部１０４からも、よりエッジを保存した出力画像が得られる。

入力画像解析部４０５は、入力画像をもとにボケ画像Ｂに含まれるノイズ量を推定し、推定されたノイズ量が多いほど、大きくなるように閾値εの値を決定する。決定された閾値εは、重み画像生成部４０３に与えられる。
ノイズ量の推定方法については、実施の形態２と同様である。

例えば、入力画像解析部４０５は、ノイズ量が予め定められた閾値よりも多い場合には、閾値εとして、予め定められた第１の値を決定し、ノイズ量が予め定められた閾値よりも少ない場合には、閾値εとして、予め定められた第２の値を決定する。ここで、第１の値は第２の値よりも大きな値である。
また、入力画像解析部４０５は、ノイズ量の多さに対し単調増加となるように閾値εを決定してもよい。

重み画像生成部４０３は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定する。特定された重み値は、加重加算部１０４に与えられる。
例えば、重み画像生成部４０３は、上記の式（５）により、重み値ｍを算出し、画素毎に重み値ｍを示す重み画像を生成する。ここで、重み画像生成部４０３は、入力画像解析部４０５から与えられる閾値εを用いて、重み値ｍを算出する。そして、生成された重み画像は、加重加算部１０４に与えられる。

図９は、実施の形態４に係る画像処理装置４００での動作を示すフローチャートである。
図９に示されているフローチャートも、例えば、入力画像が画像処理装置４００の図示しない入力インターフェースに入力された場合、画像処理装置４００の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。

まず、入力画像解析部４０５は、入力画像に含まれるノイズ量を推定し、推定されたノイズ量が多いほど、大きくなるように閾値εの値を決定する（Ｓ４０）。決定された閾値εは、重み画像生成部４０３に与えられる。

次に、第１の評価関数最小化部１０１は、式（３）を用いて、入力画像に含まれるボケを補正した第１の補正画像を生成する（Ｓ４１）。生成された第１の補正画像は、加重加算部１０４に与えられる。

次に、第２の評価関数最小化部１０２は、式（４）を用いて、入力画像に含まれるボケを補正した第２の補正画像を生成する（Ｓ４２）。生成された第２の補正画像は、加重加算部１０４に与えられる。

次に、重み画像生成部４０３は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定し、特定された重み値を対応する画素毎に示す重み画像を生成する（Ｓ４３）。ここでは、重み画像生成部４０３は、入力画像解析部４０５から与えられた閾値εを用いて、重み値を特定する。生成された重み画像は、加重加算部１０４に与えられる。

次に、加重加算部１０４は、重み画像生成部４０３の出力する重み画像の画素値に基づき、第１の評価関数最小化部１０１から出力される第１の補正画像と、第２の評価関数最小化部１０２から出力される第２の補正画像とを加重加算した結果である出力画像を生成する（Ｓ４４）。

以上のように、実施の形態４によれば、入力画像のノイズ量に応じて、入力画像のボケを適切に補正することができる。

実施の形態５．
図１０は、実施の形態５に係る画像処理装置５００の構成を概略的に示すブロック図である。
画像処理装置５００は、第１の評価関数最小化部１０１と、第２の評価関数最小化部１０２と、重み画像生成部５０３と、加重加算部１０４と、撮像条件解析部５０６とを備える。
実施の形態５における第１の評価関数最小化部１０１、第２の評価関数最小化部１０２及び加重加算部１０４は、実施の形態１における第１の評価関数最小化部１０１、第２の評価関数最小化部１０２及び加重加算部１０４と同様である。

実施の形態４は、入力画像のノイズ量を、入力画像を解析することにより推定して閾値εを決定しているが、実施の形態５は、入力画像のノイズ量を、入力画像の撮像条件から推定して閾値εを決定する。

撮像条件解析部５０６は、入力画像を撮像した撮像装置としてのカメラから、撮像条件を取得する。そして、撮像条件解析部５０６は、取得された撮像条件から入力画像のノイズ量を推定する。ノイズ量の推定方法は、実施の形態３と同様である。

そして、撮像条件解析部５０６は、推定されたノイズ量が多いほど、大きくなるように閾値εの値を決定する。決定された閾値εは、重み画像生成部５０３に与えられる。

例えば、撮像条件解析部５０６は、ノイズ量が予め定められた閾値よりも多い場合には、閾値εとして、予め定められた第１の値を決定し、ノイズ量が予め定められた閾値よりも少ない場合には、閾値εとして、予め定められた第２の値を決定する。ここで、第１の値は第２の値よりも大きな値である。
また、撮像条件解析部５０６は、ノイズ量の多さに対し単調増加となるように閾値εを決定してもよい。

図１１は、実施の形態５に係る画像処理装置５００での動作を示すフローチャートである。
図１１に示されているフローチャートも、例えば、入力画像が画像処理装置５００の図示しない入力インターフェースに入力された場合、画像処理装置５００の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。

まず、撮像条件解析部５０６は、入力画像に含まれるノイズ量を推定し、推定されたノイズ量が多いほど、大きくなるように閾値εの値を決定する（Ｓ５０）。決定された閾値εは、重み画像生成部５０３に与えられる。

次に、第１の評価関数最小化部１０１は、式（３）を用いて、入力画像に含まれるボケを補正した第１の補正画像を生成する（Ｓ５１）。生成された第１の補正画像は、加重加算部１０４に与えられる。

次に、第２の評価関数最小化部１０２は、式（４）を用いて、入力画像に含まれるボケを補正した第２の補正画像を生成する（Ｓ５２）。生成された第２の補正画像は、加重加算部１０４に与えられる。

次に、重み画像生成部５０３は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定し、特定された重み値を対応する画素毎に示す重み画像を生成する（Ｓ５３）。ここでは、重み画像生成部５０３は、撮像条件解析部５０６から与えられた閾値εを用いて、重み値を特定する。生成された重み画像は、加重加算部１０４に与えられる。

次に、加重加算部１０４は、重み画像生成部５０３の出力する重み画像の画素値に基づき、第１の評価関数最小化部１０１から出力される第１の補正画像と、第２の評価関数最小化部１０２から出力される第２の補正画像とを加重加算した結果である出力画像を生成する（Ｓ５４）。

以上のように、実施の形態５によれば、入力画像に含まれるノイズ量に応じた処理が可能となる。具体的には、入力画像にノイズが多く含まれる場合はノイズ処理を適度に行い、逆に入力画像にノイズがあまり含まれない場合、必要以上にテキスチャを失うことなく、ボケ補正を行うことが可能となる。

実施の形態６．
図１２は、実施の形態６に係る画像処理装置６００の構成を概略的に示すブロック図である。
画像処理装置６００は、第１の評価関数最小化部１０１と、第２の評価関数最小化部１０２と、重み画像生成部６０３と、加重加算部１０４と、撮像条件解析部６０６と、特徴記憶部６０７とを備える。
実施の形態６における第１の評価関数最小化部１０１、第２の評価関数最小化部１０２及び加重加算部１０４は、実施の形態１における第１の評価関数最小化部１０１、第２の評価関数最小化部１０２及び加重加算部１０４と同様である。

実施の形態６は、加重加算部１０４での加重加算の割合を、入力画像に写っている対象、言い換えると、撮像される対象の特徴に関する情報から決めることができる。ここで、入力画像に写っている対象は、撮像が行われた地点である撮像地点により特定されるものとする。撮像地点は、例えば、緯度及び経度により特定され、緯度及び経度を引数に撮像地点の地形により特徴を判断する場合を説明する。

例えば、航空機搭載カメラ等の上空からの撮像では、事前の撮像計画から撮像地点（言い換えると、カメラに写っている地点）の緯度及び経度を判断でき、この場合、緯度及び経度と、撮像地点の地形とを対応付ける情報（例えば、テーブル）を持っておけば、緯度及び経度を引数に撮像地点の特徴を決めることができる。

撮像地点として、例えば、上空から住宅又はビルの密集した都市部を写した場合と、砂漠又は海上といった自然物が多い地形を写した場合とでは、そもそも入力画像に含まれる信号変化の大きさが異なる。

具体的には、都市部等の人工物が多い場合、建物と建物との境目等のようにエッジが多いと考えられるので、加重加算部１０４でより第２の評価関数最小化部１０２からの第２の補正画像に対する重みが大きくなるように重み画像生成部６０３で重み画像を調整してもよい。
逆に、砂漠又は海上といった自然物が多い地形では輝度が急激に変化するエッジ状の箇所は少ないと考えられるので、加重加算部１０４でより第１の評価関数最小化部１０１からの第１の補正画像に対する重みが大きくなるように重み画像生成部６０３で重み画像を調整してもよい。
このようにすることで、被写体あるいは撮像地点により適した画像処理を実施することができる。

特徴記憶部６０７は、経度及び緯度に対応する地形の特徴を示す特徴情報を記憶する。特徴情報としては、例えば、事前の撮像計画に基づいて、撮像地点の特徴と、経度及び緯度とを対応付けたテーブル情報である特徴テーブルが用いられればよい。
なお、特徴記憶部６０７は、不揮発性メモリ又は揮発性メモリにより構成することができる。

撮像条件解析部６０６は、入力画像を撮像した撮像装置としてのカメラから、撮像条件を取得する。ここでは、撮像条件として、入力画像が撮像された地点の経度及び緯度を取得する。
そして、撮像条件解析部６０６は、特徴記憶部６０７に記憶されている特徴情報から、取得された経度及び緯度に対応する特徴を特定する。なお、特徴情報で示されている特徴には、予め閾値εが定められているものとする。このため、撮像条件解析部６０６は、特定された特徴に対応する閾値εを決定することができる。決定された閾値εは、重み画像生成部６０３に与えられる。

例えば、特定された特徴が、都市部等の人工物が多い場所を示す場合には、閾値εの大きさを予め定められた値より小さくし、第２の評価関数最小化部１０２からの第２の補正画像への重みがより大きな値になるようにすればよい。
逆に、特定された特徴が、砂漠又は海上といった自然物が多い地形を示す場合には、閾値εの大きさを予め定められた値より大きくし、第１の評価関数最小化部からの第１の補正画像への重みがより大きな値になるようにすればよい。

重み画像生成部６０３は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定する。特定された重み値は、加重加算部１０４に与えられる。
例えば、重み画像生成部６０３は、上記の式（５）により、重み値ｍを算出し、画素毎に重み値ｍを示す重み画像を生成する。そして、生成された重み画像は、加重加算部１０４に与えられる。

図１３は、実施の形態６に係る画像処理装置６００での動作を示すフローチャートである。
図１３に示されているフローチャートも、例えば、入力画像が画像処理装置６００の図示しない入力インターフェースに入力された場合、画像処理装置６００の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。

まず、撮像条件解析部６０６は、入力画像の撮像条件としてのメタデータを解析することで、入力画像が撮像された地点の経度及び緯度を取得する（Ｓ６１）。
そして、撮像条件解析部６０６は、特徴記憶部６０７に記憶されている特徴情報を参照して、取得された経度及び緯度に対応する特徴を特定する（Ｓ６２）。撮像条件解析部６０６は、特定された特徴に対応する閾値εを、重み画像生成部６０３に与える。ここでの特徴は、撮像される対象の特徴である。

次に、第１の評価関数最小化部１０１は、式（３）を用いて、入力画像に含まれるボケを補正した第１の補正画像を生成する（Ｓ６２）。生成された第１の補正画像は、加重加算部１０４に与えられる。

次に、第２の評価関数最小化部１０２は、式（４）を用いて、入力画像に含まれるボケを補正した第２の補正画像を生成する（Ｓ６３）。生成された第２の補正画像は、加重加算部１０４に与えられる。

次に、重み画像生成部６０３は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定し、特定された重み値を対応する画素毎に示す重み画像を生成する（Ｓ６４）。ここでは、重み画像生成部６０３は、撮像条件解析部６０６から与えられた閾値εを用いて、重み値を特定する。生成された重み画像は、加重加算部１０４に与えられる。

次に、加重加算部１０４は、重み画像生成部６０３の出力する重み画像の画素値に基づき、第１の評価関数最小化部１０１から出力される第１の補正画像と、第２の評価関数最小化部１０２から出力される第２の補正画像とを加重加算した結果である出力画像を生成する（Ｓ６５）。

以上のように、実施の形態６によれば、入力画像が撮像された地点の特徴に応じた処理が可能となる。具体的には、入力画像で撮像された対象に応じたボケ補正を行うことが可能となる。

以上に記載された実施の形態６では、入力画像の特徴に応じて、閾値εを決定しているが、実施の形態６はこのような例に限定されない。
例えば、撮像条件解析部６０６は、特定された特徴に応じて、第１の定数ｗ１及び第２の定数ｗ２の値を調整してもよい。具体的には、特定された特徴が都市部等の人工物が多い場所を示す場合には、エッジ状の箇所を重視して再現するために、第１の定数ｗ１及び第２の定数ｗ２の値を予め定められた値よりも小さい値にすればよい。
逆に、特定された特徴が砂漠又は海上といった自然物が多い地形を示す場合には、輝度が急激に変化するエッジ状の箇所は少なく、逆に平坦な箇所が多いと考えられるため、第１の定数ｗ１及び第２の定数ｗ２の値を予め定められた値よりも大きい値にすればよい。
なお、この場合でも、第１の定数ｗ１及び第２の定数ｗ２の何れか一方のみが変化されてもよい。

また、実施の形態６は、経度及び緯度に基づいて、入力画像の特徴を特定しているが、実施の形態６は、このような例に限定されない。
例えば、監視カメラ等のカメラで、海岸沿いの地点から周囲の景色を撮像する場合、海側をとるか、陸側をとるかで重み値が調整されてもよい。
具体的には、陸側をとる場合、住宅等の人工物が多く撮れることが予想されるので、そこにはエッジ状の輝度変化が多く見られると予想できる。従って、このような場合には、加重加算部１０４において、より第２の評価関数最小化部１０２からの第２の補正画像への重みがより大きくなるように重み画像生成部６０３で重み画像を調整してもよい。
逆に海側をとる場合、海又は空といった輝度変化があまり見られないものが多く撮れることが予想されるので、その場合は、第１の評価関数最小化部１０１からの第１の補正画像への重みがより大きくなるように重み画像生成部６０３で重み画像を調整してもよい。

このような場合、入力画像のメタデータに含まれている、緯度及び経度と、撮影方向とを引数に撮像地点の特徴を定めることが可能である。
このため、特徴記憶部６０７に記憶されている特徴情報が、経度及び緯度並びに撮像方向と、特徴とを対応付けておけばよい。

１００，２００，３００，４００，５００，６００ 画像処理装置、 １０１，２０１，３０１ 第１の評価関数最小化部、 １０２，２０２，３０２ 第２の評価関数最小化部、 １０３，４０３，５０３，６０３ 重み画像生成部、 １０４ 加重加算部、 ２０５，４０５ 入力画像解析部、 ３０６，５０６，６０６ 撮像条件解析部、 ６０７ 特徴記憶部。

Claims (10)

1. 複数の画素を含む入力画像に対して、前記複数の画素の画素値の変化が小さくなるほど高い評価値となる第１の評価関数を用いて、前記入力画像から、前記入力画像にボケが含まれる前の潜在画像を求めることで、前記入力画像のボケを補正した第１の補正画像を生成する第１の補正処理部と、
   前記入力画像に対して、前記複数の画素の画素値の変化が大きくなるほど高い評価値となる第２の評価関数を用いて、前記入力画像から前記潜在画像を求めることで、前記入力画像のボケを補正した第２の補正画像を生成する第２の補正処理部と、
   前記複数の画素の各々を対象画素として、前記対象画素を含む予め定められた領域に含まれている画素の画素値のばらつきが大きいほど、前記第２の補正画像に対する重みが大きくなるように、前記対象画素における重み値を特定することで、前記複数の画素の各々に対応する重み値を特定する重み値特定部と、
   前記複数の画素の各々に対応する重み値を用いて、前記第１の補正画像及び第２の補正画像の加重加算を行う加重加算部と、を備えること
   を特徴とする画像処理装置。
2. 前記第１の評価関数は、前記入力画像の１次微分の大きさを表す項に第１の定数を乗じた値を含む評価値を求める関数であり、
   前記第２の評価関数は、前記入力画像の２次微分の大きさを表す項に第２の定数を乗じた値を含む評価値を求める関数であること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記入力画像に含まれているノイズ量を推定し、前記推定されたノイズ量が多いほど、大きくなるように前記第１の定数及び前記第２の定数の少なくとも何れか一方の値を決定する入力画像解析部をさらに備えること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記重み値特定部は、前記ばらつきが閾値を超えた場合に、前記第２の補正画像に対する重みが大きくなるように、前記対象画素における重み値を特定し、
   前記入力画像に含まれているノイズ量を推定し、前記推定されたノイズ量が多いほど、大きくなるように前記閾値を決定する入力画像解析部をさらに備えること
   を特徴とする請求項１又は２に記載の画像処理装置。
5. 前記入力画像解析部は、前記複数の画素の画素値における代表的な値である代表値が小さいほど、前記ノイズ量が多いと推定すること
   を特徴とする請求項３又は４に記載の画像処理装置。
6. 前記入力画像は、撮像装置により撮像された画像であり、
   前記撮像装置から、前記入力画像を撮像した際の撮像条件を取得し、前記撮像条件から、前記入力画像に含まれているノイズ量を推定し、前記推定されたノイズ量が多いほど、大きくなるように前記第１の定数及び前記第２の定数の少なくとも何れか一方の値を決定する撮像条件解析部をさらに備えること
   を特徴とする請求項２に記載の画像処理装置。
7. 前記重み値特定部は、前記ばらつきが閾値を超えた場合に、前記第２の補正画像に対する重みが大きくなるように、前記対象画素における重み値を特定し、
   前記入力画像は、撮像装置により撮像された画像であり、
   前記撮像装置から、前記入力画像を撮像した際の撮像条件を取得し、前記撮像条件から、前記入力画像に含まれているノイズ量を推定し、前記推定されたノイズ量が多いほど、大きくなるように前記閾値を決定する撮像条件解析部をさらに備えること
   を特徴とする請求項１又は２に記載の画像処理装置。
8. 前記撮像条件解析部は、前記撮像条件に含まれている露光時間が長いほど、前記ノイズ量が少ないと推定すること
   を特徴とする請求項６又は７に記載の画像処理装置。
9. 前記撮像条件解析部は、前記撮像条件に含まれている撮像される対象に関する情報から、前記ノイズ量を推定すること
   を特徴とする請求項６又は７に記載の画像処理装置。
10. 複数の画素を含む入力画像に対して、前記複数の画素の画素値の変化が小さくなるほど高い評価値となる第１の評価関数を用いて、前記入力画像から、前記入力画像にボケが含まれる前の潜在画像を求めることで、前記入力画像のボケを補正した第１の補正画像を生成し、
    前記入力画像に対して、前記複数の画素の画素値の変化が大きくなるほど高い評価値となる第２の評価関数を用いて、前記入力画像から前記潜在画像を求めることで、前記入力画像のボケを補正した第２の補正画像を生成し、
    前記複数の画素の各々を対象画素として、前記対象画素を含む予め定められた領域に含まれている画素の画素値のばらつきが大きいほど、前記第２の補正画像に対する重みが大きくなるように、前記対象画素における重み値を特定することで、前記複数の画素の各々に対応する重み値を特定し、
    前記複数の画素の各々に対応する重み値を用いて、前記第１の補正画像及び第２の補正画像の加重加算を行うこと
    を特徴とする画像処理方法。

Images