JP7146088B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP7146088B2 JP7146088B2 JP2021525533A JP2021525533A JP7146088B2 JP 7146088 B2 JP7146088 B2 JP 7146088B2 JP 2021525533 A JP2021525533 A JP 2021525533A JP 2021525533 A JP2021525533 A JP 2021525533A JP 7146088 B2 JP7146088 B2 JP 7146088B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- input image
- value
- unit
- evaluation function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 82
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000011156 evaluation Methods 0.000 claims description 136
- 238000003384 imaging method Methods 0.000 claims description 73
- 238000004458 analytical method Methods 0.000 claims description 30
- 238000010191 image analysis Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 description 130
- 238000010586 diagram Methods 0.000 description 13
- 238000010606 normalization Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 240000001973 Ficus microcarpa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置及び画像処理方法に関する。
従来の画像処理装置は、撮影画像と点像強度分布とを用いて画像更新処理を行う画像更新手段と、撮影画像又は画像更新処理により生成された少なくとも一つの画像を含む複数の画像に基づいて、複数の画像のそれぞれの画素毎に複数の画像のそれぞれの重みを算出する重み算出手段と、その重みを用いて複数の画像を合成し、回復画像を生成する画像合成手段とを有する(例えば、特許文献1を参照)。
従来の画像処理装置は、画像更新処理により生成した複数の画像の一つを基準画像とし、基準画像との類似度に応じて、画像更新処理により生成した複数の画像に対する重みを決めていた。また、この重みに従い複数の画像を合成していた。そのため、基準画像にジャギー等のアーティファクトが含まれている場合、ジャギー等のアーティファクトと似た処理結果をもつ画像に対する重みが大きくなり、画像合成の結果、ジャギー等のアーティファクトが残ってしまうという問題があった。
本発明の一又は複数の態様は、上記のような問題点を解決するためになされたものであり、ジャギー等のアーティファクトの発生のない画像を得ることを目的としている。
本発明の一態様に係る画像処理装置は、複数の画素を含む入力画像に対して、前記複数の画素の画素値の変化が小さくなるほど高い評価値となる第1の評価関数を用いて、前記入力画像から、前記入力画像にボケが含まれる前の潜在画像を求めることで、前記入力画像のボケを補正した第1の補正画像を生成する第1の補正処理部と、前記入力画像に対して、前記複数の画素の画素値の変化が大きくなるほど高い評価値となる第2の評価関数を用いて、前記入力画像から前記潜在画像を求めることで、前記入力画像のボケを補正した第2の補正画像を生成する第2の補正処理部と、前記複数の画素の各々を対象画素として、前記対象画素を含む予め定められた領域に含まれている画素の画素値のばらつきが大きいほど、前記第2の補正画像に対する重みが大きくなるように、前記対象画素における重み値を特定することで、前記複数の画素の各々に対応する重み値を特定する重み値特定部と、前記複数の画素の各々に対応する重み値を用いて、前記第1の補正画像及び第2の補正画像の加重加算を行う加重加算部と、を備えることを特徴とする。
本発明の一態様に係る画像処理方法は、複数の画素を含む入力画像に対して、前記複数の画素の画素値の変化が小さくなるほど高い評価値となる第1の評価関数を用いて、前記入力画像から、前記入力画像にボケが含まれる前の潜在画像を求めることで、前記入力画像のボケを補正した第1の補正画像を生成し、前記入力画像に対して、前記複数の画素の画素値の変化が大きくなるほど高い評価値となる第2の評価関数を用いて、前記入力画像から前記潜在画像を求めることで、前記入力画像のボケを補正した第2の補正画像を生成し、前記複数の画素の各々を対象画素として、前記対象画素を含む予め定められた領域に含まれている画素の画素値のばらつきが大きいほど、前記第2の補正画像に対する重みが大きくなるように、前記対象画素における重み値を特定することで、前記複数の画素の各々に対応する重み値を特定し、前記複数の画素の各々に対応する重み値を用いて、前記第1の補正画像及び第2の補正画像の加重加算を行うことを特徴とする。
本発明の一又は複数の態様によれば、ジャギー等のアーティファクトの発生のない画像を得ることができる。
実施の形態1.
図1は、実施の形態1に係る画像処理装置100の構成を概略的に示すブロック図である。
画像処理装置100は、第1の評価関数最小化部101と、第2の評価関数最小化部102と、重み画像生成部103と、加重加算部104とを備える。
図1は、実施の形態1に係る画像処理装置100の構成を概略的に示すブロック図である。
画像処理装置100は、第1の評価関数最小化部101と、第2の評価関数最小化部102と、重み画像生成部103と、加重加算部104とを備える。
第1の評価関数最小化部101は、入力画像に含まれるボケを補正することで、第1の補正画像を生成する。生成された第1の補正画像は、加重加算部104に与えられる。
第2の評価関数最小化部102は、入力画像に含まれるボケを補正することで、第2の補正画像を生成する。生成された第2の補正画像は、加重加算部104に与えられる。
第2の評価関数最小化部102は、入力画像に含まれるボケを補正することで、第2の補正画像を生成する。生成された第2の補正画像は、加重加算部104に与えられる。
例えば、第1の評価関数最小化部101及び第2の評価関数最小化部102は、入力画像に含まれるボケをデコンボリューション問題として扱い、そのボケを補正する。
ここで、入力画像に含まれるボケの原因としては、入力画像を撮像するための撮像装置であるカメラの光学系によるボケ(光学系ボケ)、又は、入力画像撮像時にカメラが動いてしまうことによるボケ(動きボケ)等がある。
ここで、入力画像に含まれるボケの原因としては、入力画像を撮像するための撮像装置であるカメラの光学系によるボケ(光学系ボケ)、又は、入力画像撮像時にカメラが動いてしまうことによるボケ(動きボケ)等がある。
以下、デコンボリューション問題について述べる。なお、以下の説明では、入力画像をボケ画像Bということもある。これは入力画像にボケが含まれるためである。
ここでデコンボリューション問題は、ボケ画像Bと、点像分布関数Kとが与えられたときに、式(1)のモデルのもと、潜在画像Lを求める、又は、ボケ画像Bが与えられたときに、式(1)のモデルのもと、潜在画像Lと点像分布関数Kとを求める問題である。
この問題は、数学的には、最適化問題として定義可能で、適切な評価関数を最小化する潜在画像L、又は、潜在画像L及び点像分布関数Kを求めることと等価である。
この問題は、数学的には、最適化問題として定義可能で、適切な評価関数を最小化する潜在画像L、又は、潜在画像L及び点像分布関数Kを求めることと等価である。
以下、点像分布関数Kは既知であるとする。この場合、最小化したい評価関数をC(L)とすると、C(L)は、忠実度項と、正規化項との和からなり、例えば、下記の式(2)で表すことができる。
なお、式(2)で、wは定数を表し、Dsは、予め定められた畳み込みカーネルを表す。また、||・||pは、p次のノルムを表し、||・||qは、q次のノルムを表す。画像処理では、pとしては2が、qとして2以下の値が使われることが多い。
式(2)において、第1項が忠実度項に相当する。忠実度項は、式(1)の関係が成立する場合に、最小値をとる関数である。
また、式(2)における第2項は、正規化項に相当する。正規化項は、最適化問題の解に一定の制限を課すための項である。例えば、式(2)の第1項を最小とする潜在画像Lは、複数個存在する。そこで、式(2)の第2項により潜在画像Lに一定の制限を課すことで最適化問題の解を一意に定めることができる。
また、式(2)における第2項は、正規化項に相当する。正規化項は、最適化問題の解に一定の制限を課すための項である。例えば、式(2)の第1項を最小とする潜在画像Lは、複数個存在する。そこで、式(2)の第2項により潜在画像Lに一定の制限を課すことで最適化問題の解を一意に定めることができる。
ここで、式(2)の第2項である正規化項のΣは、Dsとして複数個の畳み込みカーネルを使用する場合に、各畳み込みカーネルについて得たq次のノルムの和をとることを意味する。
なお、式(2)の最適化処理は、例えば、特表2016-532367号公報に詳細に記載されている。
なお、式(2)の最適化処理は、例えば、特表2016-532367号公報に詳細に記載されている。
ここで、実施の形態1による第1の評価関数最小化部101は、Dsとして画像の1次微分を表すカーネルを用いる。この場合、式(2)の正規化項は、潜在画像Lの画素値の変化が小さいほど、又は、潜在画像Lが平坦な画像になるほど、小さくなる。逆に、潜在画像Lにエッジ、又は、単調に増加若しくは減少するグラデーション部分が多くなるほど、式(2)の正規化項は大きな値となる。言い換えると、Dsとして画像の1次微分を表すカーネルを用いた場合、潜在画像Lは、エッジ又は階調性の乏しい画像となる。
なお、Dsとして1次微分を表すカーネルを用いる場合、1次微分カーネルを行列形式で表すと、評価関数C(L)は、下記の式(3)で表すことができる。
なお、式(3)の正規化項のうち、第1項は、垂直方向の1次微分に、第2項は、水平方向の一次微分に相当する。また、W1は、式(3)における定数wに対応する第1の定数を表す。
一方、実施の形態1における第2の評価関数最小化部102は、Dsとして画像の2次微分を表すカーネルを用いる。この場合、式(2)の正規化項は、潜在画像Lの画素値の変化が小さい場合だけでなく、エッジ又はグラデーション部分でも小さい値をとる。言い換えると、Dsとして画像の2次微分を表すカーネルを用いた場合、潜在画像Lは、エッジ又はグラデーション部の画素値の変化が保たれた画像となる。その一方で、その場合には、画像中の平坦な部分が平坦なまま保存されず、本来平坦であるべき箇所に不自然にエッジ状の模様が現れることがある。
上記から、第2の評価関数最小化部102は、エッジ又はグラデーション等、画素値にある程度の変化がある領域の処理に優れ、第1の評価関数最小化部101は、画素値の変化が少ない領域の処理に優れていることが分かる。
なお、Dsとして、2次微分カーネルを用いる場合、2次微分カーネルを行列形式で表すと、評価関数C(L)は、下記の式(4)で表すことができる。
なお、式(4)の正規化項のうち、第1項は、垂直方向の2次微分に、第2項は、水平方向の2次微分に、第3項は、斜め方向の2次微分に相当する。また、W2は、式(4)における定数wに対応する第2の定数を表す。
以上のように、第1の評価関数最小化部101は、複数の画素を含む入力画像に対して、複数の画素の画素値の変化が小さくなるほど高い評価値となる第1の評価関数を用いて、入力画像から、入力画像にボケが含まれる前の潜在画像を求めることで、入力画像のボケを補正した第1の補正画像を生成する第1の補正処理部として機能する。
ここで、第1の評価関数は、入力画像の1次微分の大きさを表す項に定数(ここでは、第1の定数)を乗じた値を含む評価値を求める関数である。
ここで、第1の評価関数は、入力画像の1次微分の大きさを表す項に定数(ここでは、第1の定数)を乗じた値を含む評価値を求める関数である。
また、第2の評価関数最小化部102は、入力画像に対して、複数の画素の画素値の変化が大きくなるほど高い評価値となる第2の評価関数を用いて、入力画像から潜在画像を求めることで、入力画像のボケを補正した第2の補正画像を生成する第2の補正処理部として機能する。
ここで、第2の評価関数は、入力画像の2次微分の大きさを表す項に定数(ここでは、第2の定数)を乗じた値を含む評価値を求める関数である。
ここで、第2の評価関数は、入力画像の2次微分の大きさを表す項に定数(ここでは、第2の定数)を乗じた値を含む評価値を求める関数である。
重み画像生成部103は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定する重み値特定部である。特定された重み値は、加重加算部104に与えられる。
なお、後述の加重加算部104で行う加重加算を考慮すると、重み値は、0以上1以下の値であることが望ましい。以下、重み画像生成部103の具体的動作例として、ばらつきを判定するために入力画像の画素値の分散を用いる場合を示す。
この場合、重み画像生成部103はまず、入力画像に含まれる各々の画素を対象画素として特定し、この対象画素を含む予め定められた領域を定義し、その領域内の画素値の分散を計算する。
次に、重み画像生成部103は、入力画像の対象画素について求めた分散を0以上1以下の値にマッピングする。なお、マッピングの結果は、分散の値が小さいほど0に近い値をとり、逆に分散の値が大きいほど1に近い値をとるのがよい。
次に、重み画像生成部103は、入力画像の対象画素について求めた分散を0以上1以下の値にマッピングする。なお、マッピングの結果は、分散の値が小さいほど0に近い値をとり、逆に分散の値が大きいほど1に近い値をとるのがよい。
なお、マッピングの方法は、上記の式(5)に限らず、入力画像の各画素近傍で求めた画素値のばらつきに相当する値が予め定められた閾値より大きいほど、1に近づき、逆に予め定められた閾値より小さいほど0に近づくものであればよい。
また、上記のmの値は、入力画像の各画素について個別の値が計算できる。よって、各画素について個別に計算されるmの値を画素値とみなせば、重み画像生成部103の出力はあたかも画像のようにみなすことができる。そこで、以下、重み画像生成部103の出力を重み画像と呼ぶこともある。また、重み画像の画素値とは、入力画像の各画素について計算されるmの値を指すこととする。なお、mの値は、重み値ともいう。
加重加算部104は、重み画像生成部103の出力する重み画像の画素値に基づき、第1の評価関数最小化部101から出力される第1の補正画像と、第2の評価関数最小化部102から出力される第2の補正画像とを加重加算した結果である出力画像を生成する。
ここで、加重加算部104は、重み画像の画素値が大きいほど、第2の補正画像の対応する画素値に対する重みを大きくし、重み画像の画素値が小さいほど、第1の補正画像の対応する画素値に対する重みを大きくする。
例えば、式(5)に示されているように、重み画像生成部103から出力される重み値が、0以上1以下の値mに制限されている場合、加重加算部104は、下記の式(6)により算出される値D3を、出力画像の画素値として算出することができる。
例えば、式(5)に示されているように、重み画像生成部103から出力される重み値が、0以上1以下の値mに制限されている場合、加重加算部104は、下記の式(6)により算出される値D3を、出力画像の画素値として算出することができる。
ここで、D1は、第1の補正画像の対応する画素値、D2は、第2の補正画像の対応する画素値、mは重み画像の対応する画素値(重み値)である。
以上に記載された第1の評価関数最小化部101、第2の評価関数最小化部102、重み画像生成部103及び加重加算部104の一部又は全部は、例えば、図2(A)に示されているように、メモリ10と、メモリ10に格納されているプログラムを実行するCPU(Central Processing Unit)等のプロセッサ11とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
また、第1の評価関数最小化部101、第2の評価関数最小化部102、重み画像生成部103及び加重加算部104の一部又は全部は、例えば、図2(B)に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)又はFPGA(Field Programmable Gate Array)等の処理回路12で構成することもできる。
図3は、実施の形態1に係る画像処理装置100での動作を示すフローチャートである。
図3に示されているフローチャートは、例えば、入力画像が画像処理装置100の図示しない入力インターフェースに入力された場合、画像処理装置100の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。
図3に示されているフローチャートは、例えば、入力画像が画像処理装置100の図示しない入力インターフェースに入力された場合、画像処理装置100の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。
まず、第1の評価関数最小化部101は、上記の式(3)を用いて、入力画像に含まれるボケを補正した第1の補正画像を生成する(S10)。生成された第1の補正画像は、加重加算部104に与えられる。
次に、第2の評価関数最小化部102は、上記の式(4)を用いて、入力画像に含まれるボケを補正した第2の補正画像を生成する(S11)。生成された第2の補正画像は、加重加算部104に与えられる。
次に、重み画像生成部103は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定し、特定された重み値を対応する画素毎に示す重み画像を生成する(S12)。生成された重み画像は、加重加算部104に与えられる。
次に、加重加算部104は、重み画像生成部103の出力する重み画像の画素値に基づき、第1の評価関数最小化部101から出力される第1の補正画像と、第2の評価関数最小化部102から出力される第2の補正画像とを加重加算した結果である出力画像を生成する(S13)。
以上のように、実施の形態1によれば、入力画像のエッジ部又はグラデーション部等、画素値にある程度の変化が含まれる箇所では第2の補正画像の重みが重くなり、逆に、入力画像の画素値の変化の少ない箇所では、第1の補正画像の重みが重くなる。つまり、入力画像の画素毎に、第1の評価関数最小化部101及び第2の評価関数最小化部102のより適した方の処理結果に対する重みが大きくなる。
このような構成にすることにより、入力画像のエッジ部又はグラデーション部等、画素値にある程度の変化が含まれる箇所と、入力画像の画素値の変化の少ない箇所の各々に適した画素値が選択されるため、ジャギー等のアーティファクトの少ない出力画像を得ることができる。
実施の形態2.
図4は、実施の形態2に係る画像処理装置200の構成を概略的に示すブロック図である。
画像処理装置200は、第1の評価関数最小化部201と、第2の評価関数最小化部202と、重み画像生成部103と、加重加算部104と、入力画像解析部205とを備える。
実施の形態2における重み画像生成部103及び加重加算部104は、実施の形態1における重み画像生成部103及び加重加算部104と同様である。
図4は、実施の形態2に係る画像処理装置200の構成を概略的に示すブロック図である。
画像処理装置200は、第1の評価関数最小化部201と、第2の評価関数最小化部202と、重み画像生成部103と、加重加算部104と、入力画像解析部205とを備える。
実施の形態2における重み画像生成部103及び加重加算部104は、実施の形態1における重み画像生成部103及び加重加算部104と同様である。
実施の形態2は、実施の形態1で説明した式(2)の定数wを入力画像の特性に応じて変化させる。
まず、式(2)の定数wについて説明する。
定数wは、忠実度項と正規化項との間の重みを調整する値であり、定数wの値を大きくするほど、式(2)に占める正規化項の割合が多くなる。
定数wは、忠実度項と正規化項との間の重みを調整する値であり、定数wの値を大きくするほど、式(2)に占める正規化項の割合が多くなる。
Dsとして1次微分を用いる第1の評価関数最小化部201でも、Dsとして2次微分を用いる第2の評価関数最小化部202でも、潜在画像Lにランダムなノイズが多くのっていると、正規化項の大きさが大きくなる。このため、式(2)で算出される値も大きくなる。
一方、第1の評価関数最小化部201も第2の評価関数最小化部202も、式(2)で算出される値の大きさが最小となる潜在画像Lを求めるので、定数wに対応する第1の定数w1及び第2の定数w2の値を大きくするほど、潜在画像Lとして、ランダムなノイズが含まれない画像を出力することになる。
言い換えると、ボケ画像Bにランダムなノイズが多く含まれる場合、第1の定数w1及び第2の定数w2の値を大きくすることでノイズが除去された潜在画像Lを得ることができる。一方で、テキスチャと呼ばれる、画像中にある細かい模様も画素値の変化はランダムであるので、第1の定数w1及び第2の定数w2の値を必要以上に大きくすると、潜在画像Lではテキスチャが失われ、かえって不自然な出力画像が得られることになる。
従って、第1の定数w1及び第2の定数w2の値は、ボケ画像Bに含まれるノイズ量に応じて変えることがよく、ノイズ量が少ないときは第1の定数w1及び第2の定数w2の値を小さくし、ノイズ量が多いときは第1の定数w1及び第2の定数w2の値を大きくするのがよい。このようにすることで、ボケ画像Bにノイズが多く含まれる場合には、ノイズ処理を適度に行い、逆にボケ画像Bにノイズがあまり含まれない場合には、必要以上にテキスチャを失うことなく、ボケ補正を行うことが可能となる。
以下、実施の形態2の構成を説明する。
以下、実施の形態2の構成を説明する。
入力画像解析部205は、入力画像をもとにボケ画像Bに含まれるノイズ量を推定し、推定されたノイズ量が多いほど、大きくなるように第1の定数w1及び第2の定数w2の値を決定する。決定された第1の定数w1は第1の評価関数最小化部201に与えられ及び第2の定数w2は第2の評価関数最小化部202に与えられる。
例えば、入力画像解析部205は、ノイズ量が予め定められた閾値よりも多い場合には、第1の定数w1及び第2の定数w2として、予め定められた第1の値を決定し、ノイズ量が予め定められた閾値よりも少ない場合には、第1の定数w1及び第2の定数w2として、予め定められた第2の値を決定する。ここで、第1の値は第2の値よりも大きな値である。
また、入力画像解析部205は、ノイズ量の多さに対し単調増加となるように第1の定数w1及び第2の定数w2を決定してもよい。
また、入力画像解析部205は、ノイズ量の多さに対し単調増加となるように第1の定数w1及び第2の定数w2を決定してもよい。
以下、入力画像解析部205でのノイズ量の推定方法の一例を述べる。
通常、ノイズ量は、信号量をノイズ量の分散で割ったS/N比で定義できる。
S/N比が大きいほどノイズ量は少なく、逆にS/N比が小さいほどノイズ量は多くなる。
通常、ノイズ量は、信号量をノイズ量の分散で割ったS/N比で定義できる。
S/N比が大きいほどノイズ量は少なく、逆にS/N比が小さいほどノイズ量は多くなる。
本実施の形態で扱う入力画像のように、カメラで得られた画像では、信号量は、輝度(画素値)と考えられる。しかし、画像は、複数の画素からなるため、入力画像中には様々な画素値が現れる。よって、入力画像解析部205は、入力画像の画素値から代表的な値である代表値を抽出し、抽出された代表値を信号量Sとする。
代表値としては、単純な例では、入力画像中の画素値の平均値又は最頻値を使うことができる。また、入力画像中の画素値の最大値と最小値との差を代表値とすることもできる。他にも、入力画像の画素値のヒストグラム分布を集計し、画素値の上位及び下位の予め定められた割合を占めるものはアウトライヤーとして除去した後に算出された、平均値、最頻値、又は、最大値と最小値の差を、代表値として使うことができる。
S/N比を概算する最も単純な例では、上記のように求めた信号量Sでのみ、S/Nを判断することができる。言い換えると、入力画像解析部205は、信号量Sの値が大きいほど、ノイズ量は少ないと判断し、信号量Sの値が小さいほど、ノイズ量は多いと判断する。そして、入力画像解析部205は、ノイズ量が多いほど第1の定数w1及び第2の定数w2の値を大きくすればよい。
なお、上記の中で入力画像の最大値と最小値の差を使うことで、入力画像に一定のオフセット成分がある場合でも、信号量Sを判定することが可能となる。以下、カメラで撮像された入力画像にオフセット成分が発生する例をいくつか示す。
まず、カメラでの撮像として、航空機カメラ等、上空から地表を撮る場合を考える。この場合、カメラと地上の被写体の間に雲があると、雲で太陽光が反射したものが入力画像中にオフセット成分として発生する。また、地上での撮像の場合も、霧の日等は大気中(霧)で散乱した太陽光に由来する入射光がオフセット成分の原因となる。
第1の評価関数最小化部201は、入力画像に含まれるボケを補正することで、第1の補正画像を生成する。生成された第1の補正画像は、加重加算部104に与えられる。
ここで、実施の形態2においては、第1の評価関数最小化部201は、入力画像解析部205から与えられる第1の定数w1を用いて、上記の式(3)で示される値が最小となるように算出した潜在画像Lを、第1の補正画像とする。
ここで、実施の形態2においては、第1の評価関数最小化部201は、入力画像解析部205から与えられる第1の定数w1を用いて、上記の式(3)で示される値が最小となるように算出した潜在画像Lを、第1の補正画像とする。
第2の評価関数最小化部202は、入力画像に含まれるボケを補正することで、第2の補正画像を生成する。生成された第2の補正画像は、加重加算部104に与えられる。
ここで、実施の形態2においては、第2の評価関数最小化部202は、入力画像解析部205から与えられる第2の定数w2を用いて、上記の式(4)で示される値が最小となるように算出した潜在画像Lを、第2の補正画像とする。
ここで、実施の形態2においては、第2の評価関数最小化部202は、入力画像解析部205から与えられる第2の定数w2を用いて、上記の式(4)で示される値が最小となるように算出した潜在画像Lを、第2の補正画像とする。
以上に記載された第1の評価関数最小化部201、第2の評価関数最小化部202、重み画像生成部103、加重加算部104及び入力画像解析部205の一部又は全部は、例えば、図2(A)に示されているように、メモリ10と、プロセッサ11とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
また、第1の評価関数最小化部201、第2の評価関数最小化部202、重み画像生成部103、加重加算部104及び入力画像解析部205の一部又は全部は、例えば、図2(B)に示されているように、処理回路12で構成することもできる。
図5は、実施の形態2に係る画像処理装置200での動作を示すフローチャートである。
図5に示されているフローチャートも、例えば、入力画像が画像処理装置200の図示しない入力インターフェースに入力された場合、画像処理装置200の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。
図5に示されているフローチャートも、例えば、入力画像が画像処理装置200の図示しない入力インターフェースに入力された場合、画像処理装置200の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。
まず、入力画像解析部205は、入力画像に含まれるノイズ量を推定し、推定されたノイズ量が多いほど、大きくなるように第1の定数w1及び第2の定数w2の値を決定する(S20)。決定された第1の定数w1は第1の評価関数最小化部201に与えられ及び第2の定数w2は第2の評価関数最小化部202に与えられる。
次に、第1の評価関数最小化部201は、入力画像解析部205から与えられた第1の定数w1を式(3)に用いて、入力画像に含まれるボケを補正した第1の補正画像を生成する(S21)。生成された第1の補正画像は、加重加算部104に与えられる。
次に、第2の評価関数最小化部202は、入力画像解析部205から与えられた第2の定数w2を式(4)に用いて、入力画像に含まれるボケを補正した第2の補正画像を生成する(S22)。生成された第2の補正画像は、加重加算部104に与えられる。
次に、重み画像生成部103は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定し、特定された重み値を対応する画素毎に示す重み画像を生成する(S23)。生成された重み画像は、加重加算部104に与えられる。
次に、加重加算部104は、重み画像生成部103の出力する重み画像の画素値に基づき、第1の評価関数最小化部201から出力される第1の補正画像と、第2の評価関数最小化部202から出力される第2の補正画像とを加重加算した結果である出力画像を生成する(S24)。
以上のように、実施の形態2によれば、入力画像のノイズ量に応じて、入力画像のボケを適切に補正することができる。
なお、式(3)における第1の定数W1と、式(4)における第2の定数W2との両方を、上記のようにノイズ量に応じて決定することで、実施の形態2における効果は大きくなるが、式(3)における第1の定数W1及び式(4)における第2の定数W2の何れか一方のみを変化させるだけでも、実施の形態2における効果を得ることができる。
なお、式(3)における第1の定数W1と、式(4)における第2の定数W2との両方を、上記のようにノイズ量に応じて決定することで、実施の形態2における効果は大きくなるが、式(3)における第1の定数W1及び式(4)における第2の定数W2の何れか一方のみを変化させるだけでも、実施の形態2における効果を得ることができる。
実施の形態3.
図6は、実施の形態3に係る画像処理装置300の構成を概略的に示すブロック図である。
画像処理装置300は、第1の評価関数最小化部301と、第2の評価関数最小化部302と、重み画像生成部103と、加重加算部104と、撮像条件解析部306とを備える。
実施の形態3における重み画像生成部103及び加重加算部104は、実施の形態1における重み画像生成部103及び加重加算部104と同様である。
図6は、実施の形態3に係る画像処理装置300の構成を概略的に示すブロック図である。
画像処理装置300は、第1の評価関数最小化部301と、第2の評価関数最小化部302と、重み画像生成部103と、加重加算部104と、撮像条件解析部306とを備える。
実施の形態3における重み画像生成部103及び加重加算部104は、実施の形態1における重み画像生成部103及び加重加算部104と同様である。
実施の形態2は、入力画像のノイズ量を、入力画像を解析することにより推定しているが、実施の形態3は、入力画像のノイズ量を、入力画像の撮像条件から推定する。
撮像条件解析部306は、入力画像を撮像した撮像装置としてのカメラから、撮像条件を取得する。そして、撮像条件解析部306は、取得された撮像条件から入力画像のノイズ量を推定する。撮像条件解析部306は、推定されたノイズ量が多いほど、大きくなるように第1の定数w1及び第2の定数w2の値を決定する。決定された第1の定数w1は第1の評価関数最小化部301に与えられ、第2の定数w2は第2の評価関数最小化部302に与えられる。
例えば、撮像条件解析部306は、ノイズ量が予め定められた閾値よりも多い場合には、第1の定数w1及び第2の定数w2として、予め定められた第1の値を決定し、ノイズ量が予め定められた閾値よりも少ない場合には、第1の定数w1及び第2の定数w2として、予め定められた第2の値を決定する。ここで、第1の値は第2の値よりも大きな値である。
また、撮像条件解析部306は、ノイズ量の多さに対し単調増加となるように第1の定数w1及び第2の定数w2を決定してもよい。
また、撮像条件解析部306は、ノイズ量の多さに対し単調増加となるように第1の定数w1及び第2の定数w2を決定してもよい。
一般的に、入力画像に含まれるノイズ量は、撮像時間(露光時間)が長くなるほど少なくなる。よって、撮像条件解析部306は、撮像条件として撮像時間を引数とし、撮像時間が長いほどノイズ量が少ないと判定する。そして、撮像条件解析部306は、ノイズ量が多いほど、第1の定数w1及び第2の定数w2を大きくするように、第1の定数w1及び第2の定数w2の値を決定する。
第1の評価関数最小化部301は、入力画像に含まれるボケを補正することで、第1の補正画像を生成する。生成された第1の補正画像は、加重加算部104に与えられる。
ここで、実施の形態3においては、第1の評価関数最小化部301は、撮像条件解析部306から与えられる第1の定数w1を用いて、上記の式(3)で示される値が最小となるように算出した潜在画像Lを、第1の補正画像とする。
ここで、実施の形態3においては、第1の評価関数最小化部301は、撮像条件解析部306から与えられる第1の定数w1を用いて、上記の式(3)で示される値が最小となるように算出した潜在画像Lを、第1の補正画像とする。
第2の評価関数最小化部302は、入力画像に含まれるボケを補正することで、第2の補正画像を生成する。生成された第2の補正画像は、加重加算部104に与えられる。
ここで、実施の形態3においては、第2の評価関数最小化部302は、撮像条件解析部306から与えられる第2の定数w2を用いて、上記の式(4)で示される値が最小となるように算出した潜在画像Lを、第2の補正画像とする。
ここで、実施の形態3においては、第2の評価関数最小化部302は、撮像条件解析部306から与えられる第2の定数w2を用いて、上記の式(4)で示される値が最小となるように算出した潜在画像Lを、第2の補正画像とする。
以上に記載された第1の評価関数最小化部301、第2の評価関数最小化部302、重み画像生成部103、加重加算部104及び撮像条件解析部306の一部又は全部は、例えば、図2(A)に示されているように、メモリ10と、プロセッサ11とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
また、第1の評価関数最小化部301、第2の評価関数最小化部302、重み画像生成部103、加重加算部104及び撮像条件解析部306の一部又は全部は、例えば、図2(B)に示されているように、処理回路12で構成することもできる。
図7は、実施の形態3に係る画像処理装置300での動作を示すフローチャートである。
図7に示されているフローチャートも、例えば、入力画像が画像処理装置300の図示しない入力インターフェースに入力された場合、画像処理装置300の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。
図7に示されているフローチャートも、例えば、入力画像が画像処理装置300の図示しない入力インターフェースに入力された場合、画像処理装置300の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。
まず、撮像条件解析部306は、入力画像に含まれるノイズ量を推定し、推定されたノイズ量が多いほど、大きくなるように第1の定数w1及び第2の定数w2の値を決定する(S30)。決定された第1の定数w1は第1の評価関数最小化部301に与えられ、第2の定数w2は第2の評価関数最小化部302に与えられる。
次に、第1の評価関数最小化部301は、撮像条件解析部306から与えられた第1の定数w1を式(3)に用いて、入力画像に含まれるボケを補正した第1の補正画像を生成する(S31)。生成された第1の補正画像は、加重加算部104に与えられる。
次に、第2の評価関数最小化部302は、撮像条件解析部306から与えられた第2の定数w2を式(4)に用いて、入力画像に含まれるボケを補正した第2の補正画像を生成する(S32)。生成された第2の補正画像は、加重加算部104に与えられる。
次に、重み画像生成部103は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定し、特定された重み値を対応する画素毎に示す重み画像を生成する(S33)。生成された重み画像は、加重加算部104に与えられる。
次に、加重加算部104は、重み画像生成部103の出力する重み画像の画素値に基づき、第1の評価関数最小化部301から出力される第1の補正画像と、第2の評価関数最小化部302から出力される第2の補正画像とを加重加算した結果である出力画像を生成する(S34)。
以上のように、実施の形態3によれば、入力画像に含まれるノイズ量に応じた処理が可能となる。具体的には、入力画像にノイズが多く含まれる場合はノイズ処理を適度に行い、逆に入力画像にノイズがあまり含まれない場合、必要以上にテキスチャを失うことなく、ボケ補正を行うことが可能となる。
なお、別の表現を用いると、実施の形態3によれば、入力画像を撮像した際の撮像時間の長さに対して第1の定数w1及び第2の定数w2の大きさが単調非増加となるように、第1の評価関数最小化部301及び第2の評価関数最小化部302を制御することができる。
なお、式(3)における第1の定数W1と、式(4)における第2の定数W2との両方を、上記のようにノイズ量に応じて決定することで、実施の形態3における効果は大きくなるが、式(3)における第1の定数W1及び式(4)における第2の定数W2の何れか一方のみを変化させるだけでも、実施の形態3における効果を得ることができる。
なお、式(3)における第1の定数W1と、式(4)における第2の定数W2との両方を、上記のようにノイズ量に応じて決定することで、実施の形態3における効果は大きくなるが、式(3)における第1の定数W1及び式(4)における第2の定数W2の何れか一方のみを変化させるだけでも、実施の形態3における効果を得ることができる。
実施の形態4.
図8は、実施の形態4に係る画像処理装置400の構成を概略的に示すブロック図である。
画像処理装置400は、第1の評価関数最小化部101と、第2の評価関数最小化部102と、重み画像生成部403と、加重加算部104と、入力画像解析部405とを備える。
実施の形態4における第1の評価関数最小化部101、第2の評価関数最小化部102及び加重加算部104は、実施の形態1における第1の評価関数最小化部101、第2の評価関数最小化部102及び加重加算部104と同様である。
図8は、実施の形態4に係る画像処理装置400の構成を概略的に示すブロック図である。
画像処理装置400は、第1の評価関数最小化部101と、第2の評価関数最小化部102と、重み画像生成部403と、加重加算部104と、入力画像解析部405とを備える。
実施の形態4における第1の評価関数最小化部101、第2の評価関数最小化部102及び加重加算部104は、実施の形態1における第1の評価関数最小化部101、第2の評価関数最小化部102及び加重加算部104と同様である。
実施の形態2及び3は、第1の定数w1及び第2の定数w2を調整しているが、実施の形態4は、第1の定数w1及び第2の定数w2の変わりに閾値εを調整する。
閾値εを大きい値に設定すると、重み画像中には、重み値を示す画素値が0に近い画素が増え、出力画像では第1の評価関数最小化部101から出力される第1の補正画像の占める割合が多くなる。
閾値εを大きい値に設定すると、重み画像中には、重み値を示す画素値が0に近い画素が増え、出力画像では第1の評価関数最小化部101から出力される第1の補正画像の占める割合が多くなる。
逆に、閾値εを小さい値に設定すると、重み画像中には、重み値を示す画素値が1に近い画素が増え、出力画像では第2の評価関数最小化部102から出力される第2の補正画像の占める割合が多くなる。
第1の補正画像は、ランダムノイズの除去効果が高いものなので、閾値εを大きい値に設定すると、加重加算部104からも、よりノイズ除去の効果が高い出力画像が得られる。また、第2の補正画像は、エッジの保存性に優れた画像なので、閾値εを小さい値に設定すると加重加算部104からも、よりエッジを保存した出力画像が得られる。
入力画像解析部405は、入力画像をもとにボケ画像Bに含まれるノイズ量を推定し、推定されたノイズ量が多いほど、大きくなるように閾値εの値を決定する。決定された閾値εは、重み画像生成部403に与えられる。
ノイズ量の推定方法については、実施の形態2と同様である。
ノイズ量の推定方法については、実施の形態2と同様である。
例えば、入力画像解析部405は、ノイズ量が予め定められた閾値よりも多い場合には、閾値εとして、予め定められた第1の値を決定し、ノイズ量が予め定められた閾値よりも少ない場合には、閾値εとして、予め定められた第2の値を決定する。ここで、第1の値は第2の値よりも大きな値である。
また、入力画像解析部405は、ノイズ量の多さに対し単調増加となるように閾値εを決定してもよい。
また、入力画像解析部405は、ノイズ量の多さに対し単調増加となるように閾値εを決定してもよい。
重み画像生成部403は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定する。特定された重み値は、加重加算部104に与えられる。
例えば、重み画像生成部403は、上記の式(5)により、重み値mを算出し、画素毎に重み値mを示す重み画像を生成する。ここで、重み画像生成部403は、入力画像解析部405から与えられる閾値εを用いて、重み値mを算出する。そして、生成された重み画像は、加重加算部104に与えられる。
例えば、重み画像生成部403は、上記の式(5)により、重み値mを算出し、画素毎に重み値mを示す重み画像を生成する。ここで、重み画像生成部403は、入力画像解析部405から与えられる閾値εを用いて、重み値mを算出する。そして、生成された重み画像は、加重加算部104に与えられる。
図9は、実施の形態4に係る画像処理装置400での動作を示すフローチャートである。
図9に示されているフローチャートも、例えば、入力画像が画像処理装置400の図示しない入力インターフェースに入力された場合、画像処理装置400の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。
図9に示されているフローチャートも、例えば、入力画像が画像処理装置400の図示しない入力インターフェースに入力された場合、画像処理装置400の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。
まず、入力画像解析部405は、入力画像に含まれるノイズ量を推定し、推定されたノイズ量が多いほど、大きくなるように閾値εの値を決定する(S40)。決定された閾値εは、重み画像生成部403に与えられる。
次に、第1の評価関数最小化部101は、式(3)を用いて、入力画像に含まれるボケを補正した第1の補正画像を生成する(S41)。生成された第1の補正画像は、加重加算部104に与えられる。
次に、第2の評価関数最小化部102は、式(4)を用いて、入力画像に含まれるボケを補正した第2の補正画像を生成する(S42)。生成された第2の補正画像は、加重加算部104に与えられる。
次に、重み画像生成部403は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定し、特定された重み値を対応する画素毎に示す重み画像を生成する(S43)。ここでは、重み画像生成部403は、入力画像解析部405から与えられた閾値εを用いて、重み値を特定する。生成された重み画像は、加重加算部104に与えられる。
次に、加重加算部104は、重み画像生成部403の出力する重み画像の画素値に基づき、第1の評価関数最小化部101から出力される第1の補正画像と、第2の評価関数最小化部102から出力される第2の補正画像とを加重加算した結果である出力画像を生成する(S44)。
以上のように、実施の形態4によれば、入力画像のノイズ量に応じて、入力画像のボケを適切に補正することができる。
実施の形態5.
図10は、実施の形態5に係る画像処理装置500の構成を概略的に示すブロック図である。
画像処理装置500は、第1の評価関数最小化部101と、第2の評価関数最小化部102と、重み画像生成部503と、加重加算部104と、撮像条件解析部506とを備える。
実施の形態5における第1の評価関数最小化部101、第2の評価関数最小化部102及び加重加算部104は、実施の形態1における第1の評価関数最小化部101、第2の評価関数最小化部102及び加重加算部104と同様である。
図10は、実施の形態5に係る画像処理装置500の構成を概略的に示すブロック図である。
画像処理装置500は、第1の評価関数最小化部101と、第2の評価関数最小化部102と、重み画像生成部503と、加重加算部104と、撮像条件解析部506とを備える。
実施の形態5における第1の評価関数最小化部101、第2の評価関数最小化部102及び加重加算部104は、実施の形態1における第1の評価関数最小化部101、第2の評価関数最小化部102及び加重加算部104と同様である。
実施の形態4は、入力画像のノイズ量を、入力画像を解析することにより推定して閾値εを決定しているが、実施の形態5は、入力画像のノイズ量を、入力画像の撮像条件から推定して閾値εを決定する。
撮像条件解析部506は、入力画像を撮像した撮像装置としてのカメラから、撮像条件を取得する。そして、撮像条件解析部506は、取得された撮像条件から入力画像のノイズ量を推定する。ノイズ量の推定方法は、実施の形態3と同様である。
そして、撮像条件解析部506は、推定されたノイズ量が多いほど、大きくなるように閾値εの値を決定する。決定された閾値εは、重み画像生成部503に与えられる。
例えば、撮像条件解析部506は、ノイズ量が予め定められた閾値よりも多い場合には、閾値εとして、予め定められた第1の値を決定し、ノイズ量が予め定められた閾値よりも少ない場合には、閾値εとして、予め定められた第2の値を決定する。ここで、第1の値は第2の値よりも大きな値である。
また、撮像条件解析部506は、ノイズ量の多さに対し単調増加となるように閾値εを決定してもよい。
また、撮像条件解析部506は、ノイズ量の多さに対し単調増加となるように閾値εを決定してもよい。
図11は、実施の形態5に係る画像処理装置500での動作を示すフローチャートである。
図11に示されているフローチャートも、例えば、入力画像が画像処理装置500の図示しない入力インターフェースに入力された場合、画像処理装置500の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。
図11に示されているフローチャートも、例えば、入力画像が画像処理装置500の図示しない入力インターフェースに入力された場合、画像処理装置500の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。
まず、撮像条件解析部506は、入力画像に含まれるノイズ量を推定し、推定されたノイズ量が多いほど、大きくなるように閾値εの値を決定する(S50)。決定された閾値εは、重み画像生成部503に与えられる。
次に、第1の評価関数最小化部101は、式(3)を用いて、入力画像に含まれるボケを補正した第1の補正画像を生成する(S51)。生成された第1の補正画像は、加重加算部104に与えられる。
次に、第2の評価関数最小化部102は、式(4)を用いて、入力画像に含まれるボケを補正した第2の補正画像を生成する(S52)。生成された第2の補正画像は、加重加算部104に与えられる。
次に、重み画像生成部503は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定し、特定された重み値を対応する画素毎に示す重み画像を生成する(S53)。ここでは、重み画像生成部503は、撮像条件解析部506から与えられた閾値εを用いて、重み値を特定する。生成された重み画像は、加重加算部104に与えられる。
次に、加重加算部104は、重み画像生成部503の出力する重み画像の画素値に基づき、第1の評価関数最小化部101から出力される第1の補正画像と、第2の評価関数最小化部102から出力される第2の補正画像とを加重加算した結果である出力画像を生成する(S54)。
以上のように、実施の形態5によれば、入力画像に含まれるノイズ量に応じた処理が可能となる。具体的には、入力画像にノイズが多く含まれる場合はノイズ処理を適度に行い、逆に入力画像にノイズがあまり含まれない場合、必要以上にテキスチャを失うことなく、ボケ補正を行うことが可能となる。
実施の形態6.
図12は、実施の形態6に係る画像処理装置600の構成を概略的に示すブロック図である。
画像処理装置600は、第1の評価関数最小化部101と、第2の評価関数最小化部102と、重み画像生成部603と、加重加算部104と、撮像条件解析部606と、特徴記憶部607とを備える。
実施の形態6における第1の評価関数最小化部101、第2の評価関数最小化部102及び加重加算部104は、実施の形態1における第1の評価関数最小化部101、第2の評価関数最小化部102及び加重加算部104と同様である。
図12は、実施の形態6に係る画像処理装置600の構成を概略的に示すブロック図である。
画像処理装置600は、第1の評価関数最小化部101と、第2の評価関数最小化部102と、重み画像生成部603と、加重加算部104と、撮像条件解析部606と、特徴記憶部607とを備える。
実施の形態6における第1の評価関数最小化部101、第2の評価関数最小化部102及び加重加算部104は、実施の形態1における第1の評価関数最小化部101、第2の評価関数最小化部102及び加重加算部104と同様である。
実施の形態6は、加重加算部104での加重加算の割合を、入力画像に写っている対象、言い換えると、撮像される対象の特徴に関する情報から決めることができる。ここで、入力画像に写っている対象は、撮像が行われた地点である撮像地点により特定されるものとする。撮像地点は、例えば、緯度及び経度により特定され、緯度及び経度を引数に撮像地点の地形により特徴を判断する場合を説明する。
例えば、航空機搭載カメラ等の上空からの撮像では、事前の撮像計画から撮像地点(言い換えると、カメラに写っている地点)の緯度及び経度を判断でき、この場合、緯度及び経度と、撮像地点の地形とを対応付ける情報(例えば、テーブル)を持っておけば、緯度及び経度を引数に撮像地点の特徴を決めることができる。
撮像地点として、例えば、上空から住宅又はビルの密集した都市部を写した場合と、砂漠又は海上といった自然物が多い地形を写した場合とでは、そもそも入力画像に含まれる信号変化の大きさが異なる。
具体的には、都市部等の人工物が多い場合、建物と建物との境目等のようにエッジが多いと考えられるので、加重加算部104でより第2の評価関数最小化部102からの第2の補正画像に対する重みが大きくなるように重み画像生成部603で重み画像を調整してもよい。
逆に、砂漠又は海上といった自然物が多い地形では輝度が急激に変化するエッジ状の箇所は少ないと考えられるので、加重加算部104でより第1の評価関数最小化部101からの第1の補正画像に対する重みが大きくなるように重み画像生成部603で重み画像を調整してもよい。
このようにすることで、被写体あるいは撮像地点により適した画像処理を実施することができる。
逆に、砂漠又は海上といった自然物が多い地形では輝度が急激に変化するエッジ状の箇所は少ないと考えられるので、加重加算部104でより第1の評価関数最小化部101からの第1の補正画像に対する重みが大きくなるように重み画像生成部603で重み画像を調整してもよい。
このようにすることで、被写体あるいは撮像地点により適した画像処理を実施することができる。
特徴記憶部607は、経度及び緯度に対応する地形の特徴を示す特徴情報を記憶する。特徴情報としては、例えば、事前の撮像計画に基づいて、撮像地点の特徴と、経度及び緯度とを対応付けたテーブル情報である特徴テーブルが用いられればよい。
なお、特徴記憶部607は、不揮発性メモリ又は揮発性メモリにより構成することができる。
なお、特徴記憶部607は、不揮発性メモリ又は揮発性メモリにより構成することができる。
撮像条件解析部606は、入力画像を撮像した撮像装置としてのカメラから、撮像条件を取得する。ここでは、撮像条件として、入力画像が撮像された地点の経度及び緯度を取得する。
そして、撮像条件解析部606は、特徴記憶部607に記憶されている特徴情報から、取得された経度及び緯度に対応する特徴を特定する。なお、特徴情報で示されている特徴には、予め閾値εが定められているものとする。このため、撮像条件解析部606は、特定された特徴に対応する閾値εを決定することができる。決定された閾値εは、重み画像生成部603に与えられる。
そして、撮像条件解析部606は、特徴記憶部607に記憶されている特徴情報から、取得された経度及び緯度に対応する特徴を特定する。なお、特徴情報で示されている特徴には、予め閾値εが定められているものとする。このため、撮像条件解析部606は、特定された特徴に対応する閾値εを決定することができる。決定された閾値εは、重み画像生成部603に与えられる。
例えば、特定された特徴が、都市部等の人工物が多い場所を示す場合には、閾値εの大きさを予め定められた値より小さくし、第2の評価関数最小化部102からの第2の補正画像への重みがより大きな値になるようにすればよい。
逆に、特定された特徴が、砂漠又は海上といった自然物が多い地形を示す場合には、閾値εの大きさを予め定められた値より大きくし、第1の評価関数最小化部からの第1の補正画像への重みがより大きな値になるようにすればよい。
逆に、特定された特徴が、砂漠又は海上といった自然物が多い地形を示す場合には、閾値εの大きさを予め定められた値より大きくし、第1の評価関数最小化部からの第1の補正画像への重みがより大きな値になるようにすればよい。
重み画像生成部603は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定する。特定された重み値は、加重加算部104に与えられる。
例えば、重み画像生成部603は、上記の式(5)により、重み値mを算出し、画素毎に重み値mを示す重み画像を生成する。そして、生成された重み画像は、加重加算部104に与えられる。
例えば、重み画像生成部603は、上記の式(5)により、重み値mを算出し、画素毎に重み値mを示す重み画像を生成する。そして、生成された重み画像は、加重加算部104に与えられる。
図13は、実施の形態6に係る画像処理装置600での動作を示すフローチャートである。
図13に示されているフローチャートも、例えば、入力画像が画像処理装置600の図示しない入力インターフェースに入力された場合、画像処理装置600の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。
図13に示されているフローチャートも、例えば、入力画像が画像処理装置600の図示しない入力インターフェースに入力された場合、画像処理装置600の図示しない入力装置である入力部がユーザから指示を受けた場合等に開始される。
まず、撮像条件解析部606は、入力画像の撮像条件としてのメタデータを解析することで、入力画像が撮像された地点の経度及び緯度を取得する(S61)。
そして、撮像条件解析部606は、特徴記憶部607に記憶されている特徴情報を参照して、取得された経度及び緯度に対応する特徴を特定する(S62)。撮像条件解析部606は、特定された特徴に対応する閾値εを、重み画像生成部603に与える。ここでの特徴は、撮像される対象の特徴である。
そして、撮像条件解析部606は、特徴記憶部607に記憶されている特徴情報を参照して、取得された経度及び緯度に対応する特徴を特定する(S62)。撮像条件解析部606は、特定された特徴に対応する閾値εを、重み画像生成部603に与える。ここでの特徴は、撮像される対象の特徴である。
次に、第1の評価関数最小化部101は、式(3)を用いて、入力画像に含まれるボケを補正した第1の補正画像を生成する(S62)。生成された第1の補正画像は、加重加算部104に与えられる。
次に、第2の評価関数最小化部102は、式(4)を用いて、入力画像に含まれるボケを補正した第2の補正画像を生成する(S63)。生成された第2の補正画像は、加重加算部104に与えられる。
次に、重み画像生成部603は、入力画像の各画素について、各画素近傍での画素値のばらつきを判定し、画素値のばらつきが大きいほど、大きな値となるように重み値を特定し、特定された重み値を対応する画素毎に示す重み画像を生成する(S64)。ここでは、重み画像生成部603は、撮像条件解析部606から与えられた閾値εを用いて、重み値を特定する。生成された重み画像は、加重加算部104に与えられる。
次に、加重加算部104は、重み画像生成部603の出力する重み画像の画素値に基づき、第1の評価関数最小化部101から出力される第1の補正画像と、第2の評価関数最小化部102から出力される第2の補正画像とを加重加算した結果である出力画像を生成する(S65)。
以上のように、実施の形態6によれば、入力画像が撮像された地点の特徴に応じた処理が可能となる。具体的には、入力画像で撮像された対象に応じたボケ補正を行うことが可能となる。
以上に記載された実施の形態6では、入力画像の特徴に応じて、閾値εを決定しているが、実施の形態6はこのような例に限定されない。
例えば、撮像条件解析部606は、特定された特徴に応じて、第1の定数w1及び第2の定数w2の値を調整してもよい。具体的には、特定された特徴が都市部等の人工物が多い場所を示す場合には、エッジ状の箇所を重視して再現するために、第1の定数w1及び第2の定数w2の値を予め定められた値よりも小さい値にすればよい。
逆に、特定された特徴が砂漠又は海上といった自然物が多い地形を示す場合には、輝度が急激に変化するエッジ状の箇所は少なく、逆に平坦な箇所が多いと考えられるため、第1の定数w1及び第2の定数w2の値を予め定められた値よりも大きい値にすればよい。
なお、この場合でも、第1の定数w1及び第2の定数w2の何れか一方のみが変化されてもよい。
例えば、撮像条件解析部606は、特定された特徴に応じて、第1の定数w1及び第2の定数w2の値を調整してもよい。具体的には、特定された特徴が都市部等の人工物が多い場所を示す場合には、エッジ状の箇所を重視して再現するために、第1の定数w1及び第2の定数w2の値を予め定められた値よりも小さい値にすればよい。
逆に、特定された特徴が砂漠又は海上といった自然物が多い地形を示す場合には、輝度が急激に変化するエッジ状の箇所は少なく、逆に平坦な箇所が多いと考えられるため、第1の定数w1及び第2の定数w2の値を予め定められた値よりも大きい値にすればよい。
なお、この場合でも、第1の定数w1及び第2の定数w2の何れか一方のみが変化されてもよい。
また、実施の形態6は、経度及び緯度に基づいて、入力画像の特徴を特定しているが、実施の形態6は、このような例に限定されない。
例えば、監視カメラ等のカメラで、海岸沿いの地点から周囲の景色を撮像する場合、海側をとるか、陸側をとるかで重み値が調整されてもよい。
具体的には、陸側をとる場合、住宅等の人工物が多く撮れることが予想されるので、そこにはエッジ状の輝度変化が多く見られると予想できる。従って、このような場合には、加重加算部104において、より第2の評価関数最小化部102からの第2の補正画像への重みがより大きくなるように重み画像生成部603で重み画像を調整してもよい。
逆に海側をとる場合、海又は空といった輝度変化があまり見られないものが多く撮れることが予想されるので、その場合は、第1の評価関数最小化部101からの第1の補正画像への重みがより大きくなるように重み画像生成部603で重み画像を調整してもよい。
例えば、監視カメラ等のカメラで、海岸沿いの地点から周囲の景色を撮像する場合、海側をとるか、陸側をとるかで重み値が調整されてもよい。
具体的には、陸側をとる場合、住宅等の人工物が多く撮れることが予想されるので、そこにはエッジ状の輝度変化が多く見られると予想できる。従って、このような場合には、加重加算部104において、より第2の評価関数最小化部102からの第2の補正画像への重みがより大きくなるように重み画像生成部603で重み画像を調整してもよい。
逆に海側をとる場合、海又は空といった輝度変化があまり見られないものが多く撮れることが予想されるので、その場合は、第1の評価関数最小化部101からの第1の補正画像への重みがより大きくなるように重み画像生成部603で重み画像を調整してもよい。
このような場合、入力画像のメタデータに含まれている、緯度及び経度と、撮影方向とを引数に撮像地点の特徴を定めることが可能である。
このため、特徴記憶部607に記憶されている特徴情報が、経度及び緯度並びに撮像方向と、特徴とを対応付けておけばよい。
このため、特徴記憶部607に記憶されている特徴情報が、経度及び緯度並びに撮像方向と、特徴とを対応付けておけばよい。
100,200,300,400,500,600 画像処理装置、 101,201,301 第1の評価関数最小化部、 102,202,302 第2の評価関数最小化部、 103,403,503,603 重み画像生成部、 104 加重加算部、 205,405 入力画像解析部、 306,506,606 撮像条件解析部、 607 特徴記憶部。
Claims (10)
- 複数の画素を含む入力画像に対して、前記複数の画素の画素値の変化が小さくなるほど高い評価値となる第1の評価関数を用いて、前記入力画像から、前記入力画像にボケが含まれる前の潜在画像を求めることで、前記入力画像のボケを補正した第1の補正画像を生成する第1の補正処理部と、
前記入力画像に対して、前記複数の画素の画素値の変化が大きくなるほど高い評価値となる第2の評価関数を用いて、前記入力画像から前記潜在画像を求めることで、前記入力画像のボケを補正した第2の補正画像を生成する第2の補正処理部と、
前記複数の画素の各々を対象画素として、前記対象画素を含む予め定められた領域に含まれている画素の画素値のばらつきが大きいほど、前記第2の補正画像に対する重みが大きくなるように、前記対象画素における重み値を特定することで、前記複数の画素の各々に対応する重み値を特定する重み値特定部と、
前記複数の画素の各々に対応する重み値を用いて、前記第1の補正画像及び第2の補正画像の加重加算を行う加重加算部と、を備えること
を特徴とする画像処理装置。 - 前記第1の評価関数は、前記入力画像の1次微分の大きさを表す項に第1の定数を乗じた値を含む評価値を求める関数であり、
前記第2の評価関数は、前記入力画像の2次微分の大きさを表す項に第2の定数を乗じた値を含む評価値を求める関数であること
を特徴とする請求項1に記載の画像処理装置。 - 前記入力画像に含まれているノイズ量を推定し、前記推定されたノイズ量が多いほど、大きくなるように前記第1の定数及び前記第2の定数の少なくとも何れか一方の値を決定する入力画像解析部をさらに備えること
を特徴とする請求項2に記載の画像処理装置。 - 前記重み値特定部は、前記ばらつきが閾値を超えた場合に、前記第2の補正画像に対する重みが大きくなるように、前記対象画素における重み値を特定し、
前記入力画像に含まれているノイズ量を推定し、前記推定されたノイズ量が多いほど、大きくなるように前記閾値を決定する入力画像解析部をさらに備えること
を特徴とする請求項1又は2に記載の画像処理装置。 - 前記入力画像解析部は、前記複数の画素の画素値における代表的な値である代表値が小さいほど、前記ノイズ量が多いと推定すること
を特徴とする請求項3又は4に記載の画像処理装置。 - 前記入力画像は、撮像装置により撮像された画像であり、
前記撮像装置から、前記入力画像を撮像した際の撮像条件を取得し、前記撮像条件から、前記入力画像に含まれているノイズ量を推定し、前記推定されたノイズ量が多いほど、大きくなるように前記第1の定数及び前記第2の定数の少なくとも何れか一方の値を決定する撮像条件解析部をさらに備えること
を特徴とする請求項2に記載の画像処理装置。 - 前記重み値特定部は、前記ばらつきが閾値を超えた場合に、前記第2の補正画像に対する重みが大きくなるように、前記対象画素における重み値を特定し、
前記入力画像は、撮像装置により撮像された画像であり、
前記撮像装置から、前記入力画像を撮像した際の撮像条件を取得し、前記撮像条件から、前記入力画像に含まれているノイズ量を推定し、前記推定されたノイズ量が多いほど、大きくなるように前記閾値を決定する撮像条件解析部をさらに備えること
を特徴とする請求項1又は2に記載の画像処理装置。 - 前記撮像条件解析部は、前記撮像条件に含まれている露光時間が長いほど、前記ノイズ量が少ないと推定すること
を特徴とする請求項6又は7に記載の画像処理装置。 - 前記撮像条件解析部は、前記撮像条件に含まれている撮像される対象に関する情報から、前記ノイズ量を推定すること
を特徴とする請求項6又は7に記載の画像処理装置。 - 複数の画素を含む入力画像に対して、前記複数の画素の画素値の変化が小さくなるほど高い評価値となる第1の評価関数を用いて、前記入力画像から、前記入力画像にボケが含まれる前の潜在画像を求めることで、前記入力画像のボケを補正した第1の補正画像を生成し、
前記入力画像に対して、前記複数の画素の画素値の変化が大きくなるほど高い評価値となる第2の評価関数を用いて、前記入力画像から前記潜在画像を求めることで、前記入力画像のボケを補正した第2の補正画像を生成し、
前記複数の画素の各々を対象画素として、前記対象画素を含む予め定められた領域に含まれている画素の画素値のばらつきが大きいほど、前記第2の補正画像に対する重みが大きくなるように、前記対象画素における重み値を特定することで、前記複数の画素の各々に対応する重み値を特定し、
前記複数の画素の各々に対応する重み値を用いて、前記第1の補正画像及び第2の補正画像の加重加算を行うこと
を特徴とする画像処理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/023632 WO2020250412A1 (ja) | 2019-06-14 | 2019-06-14 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020250412A1 JPWO2020250412A1 (ja) | 2021-10-21 |
JP7146088B2 true JP7146088B2 (ja) | 2022-10-03 |
Family
ID=73781590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021525533A Active JP7146088B2 (ja) | 2019-06-14 | 2019-06-14 | 画像処理装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7146088B2 (ja) |
WO (1) | WO2020250412A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014148074A1 (ja) | 2013-03-18 | 2014-09-25 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体 |
WO2016171087A1 (ja) | 2015-04-23 | 2016-10-27 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
-
2019
- 2019-06-14 WO PCT/JP2019/023632 patent/WO2020250412A1/ja active Application Filing
- 2019-06-14 JP JP2021525533A patent/JP7146088B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014148074A1 (ja) | 2013-03-18 | 2014-09-25 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体 |
WO2016171087A1 (ja) | 2015-04-23 | 2016-10-27 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020250412A1 (ja) | 2021-10-21 |
WO2020250412A1 (ja) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4799428B2 (ja) | 画像処理装置及び方法 | |
JP4999680B2 (ja) | 画像ノイズを低減することによる画像データ処理方法および該方法を実行するカメラ組み込み手段 | |
US20170365046A1 (en) | Algorithm and device for image processing | |
JP5651118B2 (ja) | 画像処理装置および画像処理方法 | |
Hee Park et al. | Gyro-based multi-image deconvolution for removing handshake blur | |
WO2017090458A1 (ja) | 撮影装置、および撮影方法、並びにプログラム | |
US9589328B2 (en) | Globally dominant point spread function estimation | |
JP5968073B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
KR102106537B1 (ko) | 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템 | |
JP6598660B2 (ja) | 画像処理装置および画像処理方法 | |
JP2017010092A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
WO2018037920A1 (ja) | 画像処理装置、画像処理方法及びコンピュータ読み取り可能記録媒体 | |
JP2017010095A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
TW201351343A (zh) | 影像合成裝置及用於影像合成之電腦程式 | |
US20200118250A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
KR101394361B1 (ko) | 알파매트 추정과 영상 합성을 이용한 단일 영상의 안개 제거 장치 및 방법 | |
JP2018133110A (ja) | 画像処理装置及び画像処理プログラム | |
JP6344934B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体 | |
JP6541454B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
KR101437898B1 (ko) | 단일 영상을 이용한 hdr 영상 생성 장치 및 방법 | |
JP7263149B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7146088B2 (ja) | 画像処理装置及び画像処理方法 | |
WO2015047538A1 (en) | Psf estimation using multiple smaller images | |
JP7209867B2 (ja) | 画像処理装置および画像処理方法 | |
JP2017130167A (ja) | 画像処理装置、撮像装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7146088 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |