JP2017130167A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP2017130167A JP2017130167A JP2016011128A JP2016011128A JP2017130167A JP 2017130167 A JP2017130167 A JP 2017130167A JP 2016011128 A JP2016011128 A JP 2016011128A JP 2016011128 A JP2016011128 A JP 2016011128A JP 2017130167 A JP2017130167 A JP 2017130167A
- Authority
- JP
- Japan
- Prior art keywords
- image
- noise reduction
- noise
- pixel
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 175
- 238000003384 imaging method Methods 0.000 title claims description 52
- 230000009467 reduction Effects 0.000 claims abstract description 88
- 239000000284 extract Substances 0.000 claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims description 69
- 238000000034 method Methods 0.000 claims description 48
- 238000011946 reduction process Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 30
- 238000012546 transfer Methods 0.000 description 23
- 230000003321 amplification Effects 0.000 description 21
- 238000013527 convolutional neural network Methods 0.000 description 21
- 238000003199 nucleic acid amplification method Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000004075 alteration Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】撮影画像等に対して残留ノイズの発生を抑制しつつノイズ低減処理を行う。【解決手段】画像処理装置704は、入力画像を複数の第1の画像に周波数分解し、第1の画像に含まれる信号成分であって信号値の絶対値が閾値以下である第1の信号成分に対して第1のノイズ低減処理を行うことで第2の画像を生成する。第2の画像における信号値の絶対値が閾値より大きい第2の信号成分に対して、第2のノイズ低減処理を行って第3の画像を生成する。第2のノイズ低減処理は、第2の信号成分から対象画素を抽出し、第2の画像から複数の参照画素を抽出し、相関値算出画像から対象領域データと参照領域データを抽出し、各参照領域データに対して対象領域データとの相関値を算出し、相関値に基づいて各参照画素に対する重みを設定する。参照画素と重みから算出した信号値により対象画素に対応する出力画素を生成する。【選択図】図11
Description
本発明は、画像のノイズを低減する画像処理技術に関する。
デジタルカメラ等の撮像装置による撮影光学系(以下、単に光学系という)を通した撮像では、該光学系で発生する回折や収差等の影響により1点から発生した光が1点に収束することができず、微小な広がりを持つ。このような微小な広がりを持った分布をPSF(Point Spread Function:点像強度分布関数)という。撮像により生成された撮影画像には、理想的な被写体像にPSFが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。撮影画像に対して上記光学系による解像度劣化を補正する高解像度化処理が行われている。
ただし、実際にエッジ強調処理、画像回復処理および超解像処理等の高解像度化処理を行って劣化を受ける前の元の画像を得ようとすると、撮像素子によって生じ得るノイズを著しく増幅させてしまう場合がある。すなわち、高解像度化処理を強くすると画像の解像度が向上するが、ノイズが著しく増幅されてしまう。一方、ノイズの増幅を抑制しようとすると、高解像度化処理の効果を抑制する必要がある。高解像度化処理の効果とノイズの抑制とを両立させるには、高解像度化処理を行って取得した高解像度画像に対してノイズ低減処理を行うことが好ましい。
画像に対してノイズ低減処理を行う方法として、特許文献1や非特許文献1にはウェーブレット変換を用いた方法が開示されている。特許文献1には、3次元データに対してウェーブレット変換を用いたノイズ低減処理を行っており、この処理は2次元画像に対しても適用することが可能である。ウェーブレット変換を用いたノイズ低減処理は、従来はノイズ低減処理に用いられてきたガウシアンフィルタやメディアンフィルタ等の2次元フィルタに比べてエッジを保存することが可能である。このため、撮影画像や高解像度画像に対するノイズ低減処理として、ウェーブレット変換を用いたノイズ低減処理は有効である。
David L. Donoho, "De-Noising by Soft-Thresholding," IEEE TRANSACTIONS ON INFORMATION THEORY, VOL.41, NO.3 (1995).
しかしながら、特許文献1や非特許文献1にて開示されたウェーブレット変換を用いたノイズ低減処理では、残留ノイズが発生する場合がある。ウェーブレット変換を用いたノイズ低減処理では、設定した閾値より小さい信号成分に対してノイズ低減処理を行うため、閾値より大きい信号成分のノイズが存在する場合にはこれが処理されず残留する。また、残留ノイズが発生しないように閾値を大きく設定すると、必要な信号成分に対してもノイズ低減処理が施され、その結果、ノイズ低減処理後の画像が劣化する。
本発明は、撮影画像や高解像度画像に対して、残留ノイズの発生を抑制しつつ効果的にノイズ低減処理を行うことができるようにした画像処理装置および撮像装置等を提供する。
本発明の一側面としての画像処理装置は、撮像により生成された撮影画像および該撮影画像から生成された画像のうち一方である入力画像を複数の周波数帯域成分からなる複数の第1の画像に周波数分解する周波数分解手段と、複数の第1の画像のうち少なくとも1つの第1の画像に含まれる信号成分であって、信号値の絶対値が閾値以下である第1の信号成分に対して第1のノイズ低減処理を行うことにより第2の画像を生成する第1のノイズ低減手段と、第2の画像における信号値の絶対値が閾値より大きい第2の信号成分に対して、第2のノイズ低減処理を行って第3の画像を生成する第2のノイズ低減手段とを有する。第2のノイズ低減手段は、第2の信号成分から対象画素を抽出し、第2の画像から複数の参照画素を抽出し、入力画像から得られる相関値算出画像から対象画素に対応した画素を含む部分領域である対象領域データと参照画素に対応した画素を含む部分領域である複数の参照領域データとを抽出し、複数の参照領域データのそれぞれに対して、対象領域データとの相関値を算出し、相関値に基づいて、複数の参照画素のそれぞれに対する重みを設定し、複数の参照画素と重みから算出した信号値を用いて対象画素に対応する出力画素を生成することを特徴とする。
なお、上記画像処理装置と入力画像を得るための撮像を行う撮像手段とを有する撮像装置も、本発明の他の一側面を構成する。
また、コンピュータに上記画像処理装置としての動作を行わせるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。
本発明によれば、撮影画像や高解像度画像等の入力画像に対して、残留ノイズの発生を抑制しつつ効果的にノイズ低減処理を行うことができ、高画質の画像を生成することができる。
以下、本発明の実施例について図面を参照しながら説明する。
図1には、本発明の実施例である画像処理装置が行う画像処理(画像処理方法)の流れを示している。この画像処理は、画像処理装置を構成するコンピュータ(パーソナルコンピュータやCPU等)がコンピュータプログラムとして画像処理プログラムに従って実行する。該画像処理は、デジタルカメラ等の撮像装置から取得した撮影画像である入力画像に対してノイズ低減処理を行う。
ステップS101において、コンピュータは、撮像装置から入力画像としての撮影画像を取得する。撮像装置は、撮影光学系(以下、単に光学系という)により形成された被写体像をCMOSセンサやCCDセンサ等の撮像素子により撮像(光電変換)して撮影画像を生成する。撮像装置からの撮影画像の取得は、撮像装置と画像処理装置(コンピュータ)とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。撮影画像には、撮影時の焦点距離、F値、撮影距離、画素サイズ等といった撮影条件情報が付加されている。
次にステップS102において、コンピュータ(ノイズ取得手段)は、入力画像に含まれるノイズ量σ0を算出する。ここにいうノイズ量は、ノイズ分布の標準偏差である。
撮影画像である入力画像に含まれるノイズ量σ0としては、撮像装置のISO感度や輝度レベル等の撮影条件に対するノイズ量データを予め測定してメモリに記憶しておき、撮影画像を取得した撮影時の撮影条件に合致するノイズ量を取得してもよい。なお、ノイズ量そのものを取得しない場合であっても、ISO感度や輝度レベル等の撮影条件を用いてノイズ量に関する情報を取得する場合は、本発明におけるノイズ量の取得に相当するものとする。
また、ノイズ量σ0を算出する別手法として、MAD(Median Absolute Deviation)を用いてもよい。MADは、入力画像をウェーブレット変換して取得した最も高周波なHH1のサブバンド画像のウェーブレット係数wHH1において、(1)式により算出される。
MAD=median(|wHH1−median(wHH1)|) (1)
入力画像に含まれるノイズ量σ0は、MADと標準偏差が(2)式の関係であることから推定することができる。
σ0=MAD/0.6745 (2)
また、ノイズ量σ0は、入力画像における部分領域等の一定の範囲を持つ領域ごとに取得してもよいし、画素ごとに取得してもよい。
MAD=median(|wHH1−median(wHH1)|) (1)
入力画像に含まれるノイズ量σ0は、MADと標準偏差が(2)式の関係であることから推定することができる。
σ0=MAD/0.6745 (2)
また、ノイズ量σ0は、入力画像における部分領域等の一定の範囲を持つ領域ごとに取得してもよいし、画素ごとに取得してもよい。
次にステップS103において、コンピュータ(周波数分解手段)は、入力画像に対してウェーブレット変換(離散ウェーブレット変換)を行う。これにより、撮影画像は、図2に示すような互いに異なる複数の周波数帯域成分HH,HL,LH,LLとしての複数のサブバンド画像に周波数分解される。ウェーブレット変換で用いる基底関数は予め数列データとしてメモリに記憶しておき、選択した基底関数の数列を取得してウェーブレット変換を行う。本実施例では、変換レベルを3としたときの処理の例について説明するが、変換レベルは3に限定されるものではなく、変更が可能である。
次にステップS104(第1のノイズ低減ステップ)において、コンピュータ(第1のノイズ低減手段)は、閾値を設定し、サブバンド画像に対して、該閾値に基づいた第1のノイズ低減処理を行う。第1のノイズ低減処理は、(3)式に示すように、サブバンド画像におけるウェーブレット係数wsubband(i,j)の絶対値が設定した閾値以下の信号成分(第1の信号成分)をノイズとみなして0に置き換える閾値処理を行う。
閾値の設定は、重みパラメータとして(2log(Q))1/2を用い、ステップS102で算出したノイズ量に基づいて設定する。Qはサブバンド画像ごとのデータ数である。ただし、閾値の設定はこれに限定されない。
次にステップS105〜S109において、コンピュータ(第2のノイズ低減手段)は、第2のノイズ低減処理を行う。第1のノイズ低減処理では、絶対値が閾値以下の信号成分に対してノイズ低減処理を行うため、閾値より絶対値が大きい信号成分のノイズが存在する場合には処理されずに残留する。そこで、第2のノイズ低減処理では、ウェーブレット係数が上記閾値より大きい信号成分(第2の信号成分)に対してノイズ低減処理を行う。本実施例では、第2のノイズ低減処理としてNLM(Non-Local Means)フィルタと呼ばれる被写体空間の自己相似性を利用したノイズ低減処理を用いる。
NLMフィルタは、画像の劣化が少ないノイズ低減処理として知られており、対象画素(注目画素)の信号値を、該注目画素を含む部分領域の構造に似ている複数の部分領域における各画素の加重平均信号値で置換してノイズを低減する。この際、加重平均で用いる重みは、注目画素を中心とする部分領域の各信号値を成分としたベクトルと、該注目画素の周辺にある画素から同様に生成したベクトルの距離に応じて決定される。
以下、第2のノイズ低減処理としてNLMフィルタを用いるノイズ低減処理に関して詳細に説明する。
以下、第2のノイズ低減処理としてNLMフィルタを用いるノイズ低減処理に関して詳細に説明する。
ステップS105では、コンピュータは、注目画素と複数の参照画素を抽出する。注目画素とは、1回の処理で第2のノイズ低減処理を行う画素であり、単数でも複数でもよい。コンピュータは、注目画素を、サブバンド画像内においてウェーブレット係数が上記閾値より大きい信号成分(第2の信号成分)から抽出する。例えば、図3に示すように、第1のノイズ低減処理を行った後のサブバンド画像200から注目画素201を抽出する。ただし、注目画素のサイズや形状および抽出位置は図3に示すものに限定されない。
参照画素とは、加重平均に用いる画素であり、第1のノイズ低減処理後のサブバンド画像から抽出する。ただし、被写体空間の自己相似性を利用するという観点から、注目画素が存在する周波数帯域成分であるサブバンド画像から抽出することが望ましい。また、サブバンド画像のある色成分(例えばGreen)から注目画素を抽出している場合は、サブバンド画像の他の色成分(RedやBlue)から参照画素を取得してもよい。
また、注目画素の相似形状はその近傍に存在している可能性が高いことから、処理の高速化のため、参照画素の抽出領域を注目画素の近傍に絞ってもよい。また、注目画素におけるノイズ量に応じて参照画素の抽出領域を決定してもよく、ノイズ量が大きくなるほど抽出領域を大きく設定することでノイズ低減処理の効果を向上することができる。
例えば図3に示すように、第1のノイズ低減処理を行った後のサブバンド画像200において抽出領域202を設定する。ただし抽出領域のサイズおよび形状は図3に示すものに限定されない。また、参照画素は、抽出領域内から抽出し、例えば図3の参照画素203のように抽出する。ただし、参照画素のサイズや形状および抽出位置は図3に示すものに限定されない。
さらに、注目画素および参照画素を、第1のノイズ低減処理を行った後の画像から抽出してもよく、この場合は、サブバンド画像における閾値より大きい絶対値を持つウェーブレット係数に対応する画素を注目画素として抽出する。第1のノイズ低減処理を行った後の画像から注目画素および参照画素を抽出する場合は、後述するステップ110のウェーブレット逆変換(合成)をステップS104とS105の間に行い、第1のノイズ低減処理を行った後の画像(第2の画像)を生成しておく。例えば、図4に示すように第1のノイズ低減処理を行った後の画像300から注目画素301を抽出し、抽出領域302内から参照画素303を抽出する。
ステップS106では、コンピュータは、後述する相関値算出画像から注目画素に対応する画素を含む部分領域である注目データ(対象領域データ)と参照画素に対応する画素を含む部分領域である参照データ(参照領域データ)を抽出する。
注目データおよび参照データは、信号の分布に関する情報を持っている必要があるため、複数の画素を含む必要がある。したがって、注目画素および参照画素が1画素の場合は、注目データおよび参照データは必ず注目画素および参照画素より画素数が多くなる。また、注目画素に対応する画素および参照画素に対応する画素を注目画素および参照画素としてもよい。
ここで、相関値算出画像は、第1のノイズ低減処理を行う前のサブバンド画像または第1のノイズ低減処理を行った後のサブバンド画像である。注目データおよび参照データは、これらいずれかの相関値算出画像から抽出すればよい。ただし、被写体空間の自己相似性を利用するという観点から、注目画素が存在する周波数帯域であるサブバンド画像から抽出することが望ましい。例えば、図5に示すように、ノイズ低減処理を行う前のサブバンド画像400から注目画素に対応する画素401および参照画素に対応する画素402を含む部分領域を注目データ403および参照データ404として抽出する。ただし、注目データおよび参照データのサイズや形状および抽出位置は図5に示すものに限定されない。
また、相関値算出画像を、第1のノイズ低減処理を行う前の撮影画像または第1のノイズ低減処理を行った後の画像(サブバンド画像以外の画像)としてもよい。第1のノイズ低減処理を行った後の画像である相関値算出画像から注目データおよび参照データを抽出する場合は、第1のノイズ低減処理を行った後のサブバンド画像をウェーブレット逆変換(合成)して第1のノイズ低減処理を行った後の画像(第2の画像)を生成しておく。
例えば、図6に示すように、第1のノイズ低減処理を行う前の撮影画像500から注目画素に対応する画素501および参照画素に対応する画素502を含む部分領域を注目データ503および参照データ504として抽出する。
ステップS107では、コンピュータは、ステップS106で取得した注目データと参照データの相関値を算出する。相関値の算出方法として、注目データと参照データの信号差の二乗平均平方根を使用する手法について説明する。ただし、これ以外の方法で相関値を算出してもよい。また、以下の説明においては、簡単のため色成分(RGB)を考えず、単色信号の場合で式を記述するが、複数の色成分を持つ場合にも同様に適用できる。
注目データおよび参照データを画像の部分領域として、つまりは行列として扱う場合は、相関算出式gは以下の(4)式のようになる。
Tは注目データにおける各画素の信号値を成分tijとする行列、NはTの行数、MはTの列数、Rkはk番目の参照データの各信号値を成分rijとする行列である。(4)式で表される相関値の算出式は、注目データと参照データの差分を見ているため、値が0に近いほど両者の相似性が高いことを意味する。
ここで、注目データおよび参照データの信号から直流成分(平均値を意味し、画像の明るさに相当する)を減算してもよい。相関算出によって判定したいのは、注目データと参照データの持つ構造がどの程度似ているかであるため、その明るさ(直流成分)は無関係である。また両者の相関が最も高くなるように、参照データのコントラストを調整してもよい。これは参照データの交流成分をスカラー倍することに相当する。
また、注目画素におけるノイズ量に応じて、注目データおよび参照データの画素数を決定してもよい。例えば、ノイズ量が大きい注目画素に対してノイズ低減処理を行う場合は、注目データおよび参照データの画素数を少なくする。注目データおよび参照データの画素数を少なくすると、相関値が大きくなり、重みが大きくなる参照画素が増加するため、ノイズ低減処理の効果を向上することができる。ノイズ量が小さい注目画素に対してノイズ低減処理を行う場合は、注目データおよび参照データの画素数を多くすることでノイズ低減処理の効果を抑制することもできる。
次にステップS108では、コンピュータは、各参照画素に対する重みをステップS107で求めた相関値から設定する。相関が高いほど、その参照データが注目データと類似しているので、重みを大きく設定する。これによって注目画素周辺の構造を保ったままノイズ低減処理を行うことができる。また、ステップS102で算出したノイズ量に基づいて重みを設定する。つまり、ノイズ量が大きいほど重みを大きく設定し、ノイズ低減処理の効果を強くする。例えば、以下の(5)式のように重みを設定する。
wkはk番目の参照画素に対応した重みであり、cは重み調整パラメータである。重み調整パラメータは定数としてもよいし、ユーザが調整できるようなパラメータとしてもよい。Zは重みwkの規格化因子であり、以下の(6)式を満たす。
この際、注目画素におけるノイズ量に応じて重みを設定する。または、注目画素と参照画素におけるノイズ量に応じて重みを設定してもよい。例えば、注目画素におけるノイズ量に対して参照画素におけるノイズ量が大きい場合は、ノイズが強い画素が参照され、効果の低減や弊害の要因となり得るため、重みを小さく設定する。ただし、重みの算出方法はこれに限らない。
次にステップS109では、コンピュータは、ステップS108で設定した重みを用いて参照画素の加重平均を算出し、その値で注目画素の信号値を置換する。これにより、注目画素のノイズ低減処理が完了する。加重平均信号値saveは、例えば以下の(7)式のように算出する。
skは、k番目の参照データにおける参照画素の信号値である。ただし、加重平均の算出方法はこれに限らない。例えば、非線型結合を用いてもよい。
複数の画素を合成することで信号値が平均化され、ノイズが低減される。この加重平均信号値saveで注目画素を置換することで、該注目画素をノイズ低減処理した出力画素が生成される。注目画素が複数の場合は、(7)式を各注目画素に対して算出すればよい。またこの際、同時に他のノイズ低減処理の手法を併用してもよい。さらに、前述した置換処理の代わりに、加重平均信号値を参考にして学習型のノイズ低減処理を使用してもよい。
上述した第2のノイズ低減処理を第1のノイズ低減処理を行った後のサブバンド画像または第1のノイズ低減処理を行った後の画像(サブバンド画像以外の画像)に対して行うことで、第2のノイズ低減処理後のサブバンド画像または画像を生成する。または、予めノイズ低減処理を行うサブバンド画像や領域を設定しておき、そのサブバンド画像や領域に対してのみノイズ低減処理を行ってもよい。
次にステップS110において、コンピュータ(合成手段)は、ノイズ低減処理後の複数のサブバンド画像HH,HL,LH,LLをウェーブレット逆変換により合成する。これにより、ステップS111において、ノイズ低減処理後の出力画像(第3の画像)を取得する。ただし、ステップS105において、注目画素および参照画素を第1のノイズ低減処理を行った後の画像から抽出した場合は、ステップS110は行わなくてよい。
以上の画像処理によって取得されたノイズ低減処理後の画像は、残留ノイズの発生を抑制しつつ効果的なノイズ低減処理が行われたものである。
次に、本発明の実施例2について説明する。本実施例では、撮影画像に対して高解像度化処理を行った後にノイズ低減処理を行う。
まず、本実施例における前提技術である高解像度化処理について説明する。撮像光学系(以下、単に光学系ともいう)を用いた撮像により得られた撮影画像における該光学系の回折や収差に起因する劣化を補正するための高解像度化処理の1つとして、以下の画像回復処理が行われる。
実空間(x,y)上において光学系による劣化を受ける前の画像をf(x,y)とし、光学系のPSFをh(x,y)とし、劣化した画像をg(x,y)とすると、これらの関係は以下に示す(8)式で表現することができる。
g(x,y)=∫∫f(X,Y)・h(x−X,y−Y)dXdY (8)
(8)式に対してフーリエ変換を行い、実空間(x,y)から周波数空間(u,v)への変換を行うと、
G(u,v)=F(u,v)・H(u,v) (9)
となる。F(u,v)はf(x,y)のフーリエ変換であり、G(u,v)はg(x,y)のフーリエ変換であり、H(u,v)はh(x,y)のフーリエ変換である。すなわち、H(u,v)はOTF(Optical Transfer Function:光学伝達関数)である。
g(x,y)=∫∫f(X,Y)・h(x−X,y−Y)dXdY (8)
(8)式に対してフーリエ変換を行い、実空間(x,y)から周波数空間(u,v)への変換を行うと、
G(u,v)=F(u,v)・H(u,v) (9)
となる。F(u,v)はf(x,y)のフーリエ変換であり、G(u,v)はg(x,y)のフーリエ変換であり、H(u,v)はh(x,y)のフーリエ変換である。すなわち、H(u,v)はOTF(Optical Transfer Function:光学伝達関数)である。
さらに、(9)式を変形すると、
F(u,v)=G(u,v)/H(u,v) (10)
となる。これは周波数空間上で劣化画像g(x,y)のフーリエ変換G(u,v)をPSFであるh(x,y)のフーリエ変換H(u,v)で除することにより、劣化を受ける前の元の画像f(x,y)のフーリエ変換であるF(u,v)を得ることができることを意味する。したがって、F(u,v)に逆フーリエ変換を行うことにより、劣化前の元の画像f(x,y)を得ることができる。
F(u,v)=G(u,v)/H(u,v) (10)
となる。これは周波数空間上で劣化画像g(x,y)のフーリエ変換G(u,v)をPSFであるh(x,y)のフーリエ変換H(u,v)で除することにより、劣化を受ける前の元の画像f(x,y)のフーリエ変換であるF(u,v)を得ることができることを意味する。したがって、F(u,v)に逆フーリエ変換を行うことにより、劣化前の元の画像f(x,y)を得ることができる。
ただし、実際にこのような処理を行って元の画像を得ようとすると、撮像素子によって生じ得るノイズを著しく増幅させ、画像上にリンギングを発生させたりエッジの掘り込み(アンダーシュート)を発生させたりする等の弊害が生ずるおそれがある。このようなノイズの増幅を抑制するための画像回復手法として、(11)式で表されるウィナーフィルタを用いることが知られている。H(u,v)はOTF(光学伝達関数)であり、Γはノイズの増幅量を低減するための定数である。さらに言えば、画像回復処理を施す対象の画像に全くノイズが発生していなくても、増幅率が大きくなりすぎると上記リンギングその他の弊害が発生しやすくなる。したがって、Γは増幅率を制御する調整項として利用することが可能であると言える。また、Γは定数ではなくΓ(u,v)として、周波数特性を考慮した調整項としてもよい。以下、λf(u,v)を高解像度化処理の周波数特性といい、Γを増幅率調整項という。
また、光学系の光学伝達関数H(u,v)は像面、つまりは入力画像における領域(部分)ごとに異なる。したがって、(11)式で示す高解像度化処理の周波数特性λf(u,v)も領域ごとに異なる特性としてもよい。ただし、ここでいう領域とは、画素単位の領域も含む。
(11)式を、劣化画像g(x,y)のフーリエ変換G(u,v)に乗ずれば、光学系の回折や収差によって発生したPSFの位相成分を0とし、振幅成分の周波数特性を増幅することで高解像度かつ良好な画像を得ることができる。すなわち、ウィナーフィルタを用いた画像回復処理により回復された画像の周波数空間情報をR(u,v)とすると、
R(u,v)=G(u,v)・λf(u,v) (12)
が得られる。
R(u,v)=G(u,v)・λf(u,v) (12)
が得られる。
ウィナーフィルタにおいて、Γを調節して増幅率を強くすると、高解像度化処理の効果は向上するが、ノイズが著しく増幅されてしまう。また、Γを調節して増幅率を弱くすると、ノイズの増幅を抑制することができるが、同時に高解像度化処理の効果が低下する。
以下、本実施例について説明する。図7には、本実施例において行う画像処理(画像処理方法)の流れを示している。この画像処理は、画像処理装置を構成するコンピュータ(パーソナルコンピュータやCPU等)がコンピュータプログラムとして画像処理プログラムに従って実行する。該画像処理は、デジタルカメラ等の撮像装置から取得した撮影画像に対して高解像度化処理を行った後、高解像度化処理の周波数特性に基づいてノイズ低減処理を行う。本実施例では、高解像度化処理の一例として、上記した画像回復処理を用いる手法について説明する。
まずステップS601において、コンピュータは、撮像装置から撮影画像を取得する。撮像装置は、撮影光学系(以下、単に光学系という)により形成された被写体像をCMOSセンサやCCDセンサ等の撮像素子により撮像(光電変換)して撮影画像を生成する。撮像装置からの撮影画像の取得は、撮像装置と画像処理装置(コンピュータ)とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。撮影画像には、撮影時の焦点距離、F値、撮影距離、画素サイズ等といった撮影条件情報が付加されている。
図8には、撮影画像を水平方向にM分割、垂直方向にN分割して示している。光学系の光学特性は一様ではないが、狭い領域ならばその中の光学特性は一様であるとみなすことができる。以下、この光学系の光学特性が一様である領域をシフトインバリアント領域といい、シフトインバリアント領域(m,n)ごとに処理を行う。なお、シフトインバリアント領域は、予め光学系の光学特性を考慮して決定しておくことが好ましい。分割数を増やしてシフトインバリアント領域を細かくすると、後述する画像回復処理等の精度は向上するが、一方で処理速度やデータ量は増えることになる。したがって、処理のコストを考慮してシフトインバリアント領域を決定するとよい。
次にステップS602において、コンピュータ(ノイズ取得手段)は、撮影画像に含まれる第1のノイズ量σ0を算出する。第1のノイズ量の算出は、実施例1におけるステップS102で説明したように行う。なお、ステップS602の処理は、ステップS605を実行する前であれば、ステップS603およびステップS604を実行した後に行ってもよい。
次にステップS603において、コンピュータは、光学系の光学伝達関数を取得する。光学伝達関数とは、式(9)にてH(u,v)で表されるように2次元空間におけるPSFの周波数特性である。すなわち、光学伝達関数はPSFによってその特性が変化する。光学伝達関数は、光学系の状態によって膨大な量のバリエーションがある。例として焦点距離が可変なズームレンズの場合は、焦点距離、F値、撮影距離、画面位置、色(波長)等の組み合わせ分だけ光学伝達関数が存在する。したがって、現実的にはこれらの組み合わせの中から画像回復処理に必要なものだけ保持しておけばよい。なお、保持している撮影条件以外の光学伝達関数は補間処理によって生成してもよい。これら光学伝達関数データは予め光学CAD等で計算しておき、上記画像回復処理に適したデータベースにしてメモリに保持しておく。光学伝達関数データベースの画面位置は図8のシフトインバリアント領域に対応するようにしておくことが望ましい。また、光学伝達関数は測定によって求め、データとして保持しておいて使用するときに取得してもよい。
そして、コンピュータは、取得した撮影画像から撮影時の焦点距離、F値、撮影距離、画素サイズ等の情報を取得し、予め保持された光学伝達関数データベースの中から上記に合致した光学伝達関数を取得する。
次にステップS604において、コンピュータは、高解像度化処理の周波数特性を算出する。ユーザは画像回復処理の強さを指定し、取得した光学伝達関数を用いて(13)式により高解像度化処理の周波数特性λf(u,v)を算出する。
図7のシフトインバリアント領域(m,n)を代表する光学伝達関数をHm,n(u,v)とする。このとき、(11)式は、
図7のシフトインバリアント領域(m,n)を代表する光学伝達関数をHm,n(u,v)とする。このとき、(11)式は、
と書き改めることができる。
(13)式により、シフトインバリアント領域(m,n)ごとに高解像度化処理の周波数特性λf m,n(u,v)を算出することができる。
画像回復処理の強さはユーザが分かりやすい0〜100等のような数値範囲でよい。このとき、ユーザが指定した値に対して、実際に適用する画像回復処理の信号増幅量を設定する。この信号増幅量は、(13)式の絶対値(|λf m,n(u,v)|)として計算され、Γm,nによって制御を行う。ここで、信号増幅量は、例えば特定の周波数位置(u,v)における値|λf m,n(u,v)|としてもよいし、|λf m,n(u,v)|の帯域内の最大値や平均値としてもよい。
次にステップS605において、コンピュータ(高解像度化手段)は、撮影画像に対して、算出した高解像度化処理の周波数特性λf m,n(u,v)に基づいて画像回復処理を行い、高解像度画像を取得する。本実施例では、この高解像度画像が入力画像となる。
高解像度化処理において、シフトインバリアント領域(m,n)ごとに算出した高解像度化処理の周波数特性λf m,n(u,v)を用いることによって、シフトインバリアント領域(m,n)ごとに最適な画像回復処理を行うことが可能となる。さらに言えば、シフトインバリアント領域の切り替わりで不連続にならないような補間処理を用いると、より良好な画像回復処理による高解像度化処理を行うことが可能となる。画像回復処理は、(13)式をフーリエ逆変換して得られる実空間のフィルタを用いて、撮影画像に畳み込むことで行ってもよい。その場合、予め生成された実空間のフィルタを前記の光学伝達関数データベースに格納して用いることも可能である。
次にステップS606において、コンピュータは、高解像度画像に対してウェーブレット変換(離散ウェーブレット変換)を行う。高解像度画像に対してウェーブレット変換を行う方法は、実施例1におけるステップS103で説明したものと同じである。
ウェーブレット変換により分解して得られた複数のサブバンド画像は、図9に示すように、画像回復処理時に入力画像を分割して処理したときと同様に、水平方向にM分割され、垂直方向にN分割される。サブバンド画像における各分割領域は、撮像光学系の光学特性(光学伝達関数:OTF)に基づいて分割された領域に相当する。そして、各サブバンド画像おけるM×N個の分割領域における分割領域(m,n)ごとに処理を行う。
次にステップS607において、コンピュータは、入力画像のシフトインバリアント領域(m,n)で行った高解像度化処理の周波数特性λf m,n(u,v)を取得し、サブバンド画像の分割領域(m,n)における増幅量Asubband(m,n)を算出する。光学伝達関数データベースに実空間のフィルタを格納した場合の増幅量は、予め実空間のフィルタとともに格納したものを用いてもよいし、実空間のフィルタをフーリエ変換して求めてもよい。
上述したように光学系の光学伝達関数Hm,n(u,v)はシフトインバリアント領域ごとに異なるため、高解像度化処理は入力画像におけるシフトインバリアント領域ごとの周波数特性λf m,n(u,v)に基づいて行われる。このため、高解像度画像には、シフトインバリアント領域における高解像度化処理の周波数特性λf m,n(u,v)に基づいて増幅されたノイズを含んでいる。つまり、高解像度化処理によるノイズの増幅量は、各サブバンド画像の複数の分割領域において一様ではなく、分割領域ごとに異なる。したがって、サブバンド画像の分割領域(m,n)における増幅量Asubband(m,n)を(14)式により算出する。(14)式において、Nは高解像度化処理の周波数特性λf m,n(u,v)のデータ数である。
図10には、サブバンド画像の分割領域(m,n)における増幅量Asubband(m,n)の算出結果の例を示している。
なお、周波数分解の周波数特性Ψsubband(u,v)は、ウェーブレット変換時に取得した基底関数の数列をフーリエ変換することで取得する。また、予めウェーブレット変換の各基底関数の数列からサブバンドの周波数特性Ψsubband(u,v)を算出して、メモリに記憶しておき、これを取得してもよい。
次にステップS608において、コンピュータは、サブバンド画像の各分割領域(m,n)におけるノイズ量(第2のノイズ量)を取得する。上述したように入力画像のシフトインバリアント領域(m,n)ごとに行った高解像度化処理の周波数特性λf m,n(u,v)は、シフトインバリアント領域ごとの撮像光学系の光学伝達関数Hm,n(u,v)に基づいて算出される。このため、サブバンド画像の分割領域ごとにノイズ量が異なる。よって、高解像度化処理の周波数特性に基づいて、サブバンド画像の分割領域(m,n)ごとのノイズ量σsubband(m,n)を取得する必要がある。
サブバンド画像の分割領域(m,n)ごとのノイズ量σsubband(m,n)は、ステップS602で取得した撮影画像に含まれるノイズ量σ0と、ステップS607で算出した増幅量Asubband(m,n)とを用いて(15)式により算出する。
次にステップS609において、コンピュータ(第1のノイズ低減手段)は、閾値を設定し、サブバンド画像における該閾値以下の信号値を有する第1の信号成分に対して第1のノイズ低減処理を行う。第1のノイズ低減処理は、(16)式に示すように、サブバンド画像の領域(m,n)内の位置(i,j)ごとのウェーブレット係数wm,n subband(i,j)のうち、その絶対値が閾値以下の係数を0に置き換えることで閾値処理を行う。
閾値は、ステップS608で算出したサブバンド画像の領域(m,n)におけるノイズ量に基づいて設定する。つまり、第1のノイズ低減処理は、撮影画像のシフトインバリアント領域ごとの高解像度化処理によるノイズの増幅量に対して適応化されている。したがって、設定した閾値を用いて第1のノイズ低減処理を行うことで、シフトインバリアント領域ごとの高解像度化処理の周波数特性に基づいて、増幅されたノイズを効果的に低減することができる。
次にステップS610〜S614において、コンピュータ(第2のノイズ低減手段)は、サブバンド画像の分割領域(m,n)ごとに取得した第2のノイズ量に基づいて、該分割領域ごとにNLMフィルタを用いた第2のノイズ低減処理を行う。本実施例における第2のノイズ低減処理も実施例1と同様に、設定した閾値よりウェーブレット係数の絶対値が大きい成分に対してノイズ低減処理を行う。
ステップS610では、コンピュータは、第1のノイズ低減処理を行った後のサブバンド画像または第1のノイズ低減処理を行った後の画像(サブバンド画像以外の画像)から注目画素と参照画素を抽出する。ここで、注目画素における第2のノイズ量に応じて参照画素の抽出領域を決定してもよい。第2のノイズ量が大きくなるほど抽出領域を大きく設定することでノイズ低減処理の効果を向上することができる。
また、第1のノイズ低減処理を行った後の画像から注目画素と参照画素を抽出する場合は、第2のノイズ量として高解像度画像に含まれるノイズ量も取得してよい。すなわち、サブバンド画像と高解像度画像の両方に含まれるノイズ量を第2のノイズ量として取得してもよい。高解像度画像に含まれるノイズ量は、(15)式で求められる。
高解像度画像における増幅量Asubband(m,n)は(17)式により求めることができる。
注目画素と参照画素の抽出に関しては、実施例1のステップS105で説明した通りである。
ステップS611では、コンピュータは、相関値算出画像から注目データと参照データを抽出する。相関値算出画像および注目データと参照データの抽出に関しては、実施例1のステップS106で説明した通りである。
ステップS612では、コンピュータは、ステップS611で取得した注目データと参照データの相関値を算出する。ここで、注目画素における第2のノイズ量に応じて、注目データおよび参照データの画素数を決定してもよい。相関値の算出に関して、実施例1のステップS107で説明した通りである。
ステップS613では、コンピュータは、各参照画素に対応する重みをステップS612で求めた相関値から設定する。また、ステップS608で算出した第2のノイズ量に基づいて重みを設定する。つまり、第2のノイズ量が大きいほど重みを大きく設定し、ノイズ低減処理の効果を強くする。例えば、以下の(18)式のように重みを設定する。
Zは重みwkの規格化因子であり、以下の(19)式を満たす。
この際、注目画素における第2のノイズ量に応じて重みを設定する。あるいは、注目画素と参照画素における第2のノイズ量に応じて重みを設定してもよい。ただし、重みの算出方法はこれに限らない。
ステップS614では、コンピュータは、実施例1のステップS109と同様に、ステップ613で設定した重みを用いて参照画素の加重平均を算出し、その値で注目画素の信号値を置換する。
次にステップS615では、コンピュータは、ノイズ低減処理後の複数のサブバンド画像HH,HL,LH,LLをウェーブレット逆変換により合成する。これにより、ステップS616において、ノイズ低減処理後の出力画像(第3の画像)を取得する。ただし、ステップS610において、注目画素および参照画素を第1のノイズ低減処理を行った後の画像から抽出した場合は、ステップS615は行わなくてよい。
上記したノイズ低減処理は、サブバンド画像の領域(m,n)における第2のノイズ量に基づいたものであり、撮影画像のシフトインバリアント領域ごとの高解像度化処理によるノイズの増幅量に対して適応化されている。したがって、本実施例によれば、ノイズ低減処理により、高解像度化処理によって増幅されたノイズを残留ノイズの発生を抑制しつつ効果的に低減することができる。
なお、本実施例では高解像度化処理の一例として画像回復処理を用いる手法について説明したが、高解像度化処理の周波数特性を取得できる場合であれば、エッジ強調処理や超解像処理等の他の高解像度化処理を行ってもよい。
次に、本発明の実施例3について説明する。図11には、実施例1または実施例2で説明した画像処理装置を内蔵した撮像装置の構成を示している。ここでは、実施例2の画像処理装置が内蔵されている場合について説明する。
撮影光学系701により形成された被写体の光学像は、撮像素子702により撮像(光電変換)される。撮像素子702から出力されたアナログ電気信号は、A/D変換器703によりデジタル信号に変換されて画像処理装置としての画像処理部704に入力される。撮影光学系701および撮像素子702により撮像部(撮像手段)が構成される。
画像処理部704は、入力されたデジタル信号に対して各種画像処理を行うことにより撮影画像を生成する。
表示部705には、高解像度化処理およびノイズ低減処理を行うか否かをユーザに選択させるためのGUI(グラフィカルユーザーインターフェース)と、高解像度化処理の強さを決定させるためのGUIとが表示される。GUIにおいてユーザが高解像度化処理およびノイズ低減処理を行うことを選択し、かつ高解像度化処理の強さを決定すると、画像処理部704は、実施例1で説明した高解像度化処理およびノイズ低減処理を行う。また、予めユーザが高解像度化処理およびノイズ低減処理を行うことおよび高解像度化処理の強さを決定しておき、画像処理部704が取得した撮影画像に対して自動的に高解像度化処理およびノイズ低減処理を行うようにしてもよい。
画像処理部704に高解像度化処理を行わせるために、状態検知部707は、撮影画像を生成する際における撮像装置の撮影条件の情報を得る。状態検知部707は、撮影条件の情報をシステムコントローラ710から得てもよい。また、撮像光学系701に関する撮影条件の情報については、撮像光学系701の絞り701aの動作やフォーカスレンズ701bの移動を制御する撮像光学系制御部706から得てもよい。撮影条件情報は撮影画像に付加され、該撮影画像は画像処理部704に接続されている画像記録媒体709に記録される。
光学伝達関数情報は、撮像光学系701の識別情報及び焦点距離、F値、撮影距離、画面位置等の撮影条件の組み合わせ毎に、予め記憶部708に保持されている。
画像処理部704は、高解像度化処理およびノイズ低減処理により生成された出力画像(第3の画像)を半導体メモリや光ディスク等の画像記録媒体709に出力して記録させたり、表示部705に出力して表示させたりする。以上説明した一連の動作は、CPUやMPU等によって構成されるシステムコントローラ710により制御される。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
701 撮影光学系
702 撮像素子
704 画像処理部
702 撮像素子
704 画像処理部
Claims (21)
- 撮像により生成された撮影画像および該撮影画像から生成された画像のうち一方である入力画像を複数の周波数帯域成分からなる複数の第1の画像に周波数分解する周波数分解手段と、
前記複数の第1の画像のうち少なくとも1つの第1の画像に含まれる信号成分であって、信号値の絶対値が閾値以下である第1の信号成分に対して第1のノイズ低減処理を行うことにより第2の画像を生成する第1のノイズ低減手段と、
前記第2の画像における信号値の絶対値が前記閾値より大きい第2の信号成分に対して、第2のノイズ低減処理を行って第3の画像を生成する第2のノイズ低減手段とを有し、
前記第2のノイズ低減手段は、
前記第2の信号成分から対象画素を抽出し、
前記第2の画像から複数の参照画素を抽出し、
前記入力画像から得られる相関値算出画像から前記対象画素に対応した画素を含む部分領域である対象領域データと前記参照画素に対応した画素を含む部分領域である複数の参照領域データとを抽出し、
前記複数の参照領域データのそれぞれに対して、前記対象領域データとの相関値を算出し、
前記相関値に基づいて、前記複数の参照画素のそれぞれに対する重みを設定し、
前記複数の参照画素と前記重みから算出した信号値を用いて前記対象画素に対応する出力画素を生成することを特徴とする画像処理装置。 - 前記入力画像に含まれるノイズ量を取得するノイズ取得手段を有し、
前記第1のノイズ低減手段は、前記ノイズ量に基づいて前記閾値を設定し、
前記第2のノイズ低減手段は、前記ノイズ量と前記相関値に基づいて前記複数の参照画素のそれぞれに対する重みを設定することを特徴とすることを特徴とする請求項1に記載の画像処理装置。 - 前記撮影画像に対して高解像度化処理を行うことにより高解像度画像としての前記入力画像を生成する高解像度化手段を有し、
前記ノイズ取得手段は、
前記撮影画像に含まれる第1のノイズ量を取得し、
前記第1のノイズ量と前記高解像度化処理の特性とに基づいて、前記複数の第1の画像または前記複数の第1の画像と前記高解像度画像の両方に含まれる第2のノイズ量を算出し、
前記ノイズ量は、前記第2のノイズ量であることを特徴とする請求項2に記載の画像処理装置。 - 前記第2のノイズ量は、前記高解像度化処理の特性と前記周波数分解に用いる基底関数の周波数特性とに基づいて算出されることを特徴とする請求項3に記載の画像処理装置。
- 前記第2のノイズ低減手段は、少なくとも前記対象画素における前記ノイズ量と前記相関値とに基づいて前記複数の参照画素のそれぞれに対する重みを設定することを特徴とする請求項2から4のいずれか一項に記載の画像処理装置。
- 前記第2のノイズ低減手段は、前記対象画素および前記参照画素における前記ノイズ量と前記相関値とに基づいて前記複数の参照画素のそれぞれに対する重みを設定することを特徴とする請求項2から4のいずれか一項に記載の画像処理装置。
- 前記第2のノイズ低減手段は、前記ノイズ量に基づいて抽出された抽出領域から前記参照画素を抽出することを特徴とする請求項2から6のいずれか一項に記載の画像処理装置。
- 前記第2のノイズ低減手段は、前記対象画素における前記ノイズ量に基づいて前記対象領域データおよび前記参照領域データの画素数を設定することを特徴とする請求項2から7のいずれか一項に記載の画像処理装置。
- 前記相関値算出画像は、前記入力画像であることを特徴とする請求項1から8のいずれか一項に記載の画像処理装置。
- 前記相関値算出画像は、前記第1の画像であることを特徴とする請求項1から8のいずれか一項に記載の画像処理装置。
- 前記相関値算出画像は、前記第1のノイズ低減処理が行われた前記第1の画像を含む前記複数の第1の画像を合成することで生成された画像であることを特徴とする請求項1から8のいずれか一項に記載の画像処理装置。
- 前記相関値算出画像は、前記第1のノイズ低減処理が行われた前記第1の画像であることを特徴とする請求項1から8のいずれか一項に記載の画像処理装置。
- 前記第2の画像は、前記第1のノイズ低減処理が行われた前記第1の画像を含む前記複数の第1の画像を合成することで生成された画像であることを特徴とする請求項1から12のいずれか一項に記載の画像処理装置。
- 前記第2の画像は、前記第1のノイズ低減処理が行われた前記第1の画像であり、
前記第2のノイズ低減手段は、前記対象画素を含む前記第1の画像から前記参照画素を抽出することを特徴とする請求項1から12のいずれか一項に記載の画像処理装置。 - 前記第2のノイズ低減手段は、前記対象画素が含まれる周波数帯域に対応する前記第1の画像としての前記相関値算出画像から前記対象領域データと前記参照領域データを抽出することを特徴とする請求項1から8、10、12および14のいずれか一項に記載の画像処理方法。
- 前記周波数分解は、離散ウェーブレット変換により行われることを特徴とする請求項1から15のいずれか一項に記載の画像処理装置。
- 前記高解像度化処理は、前記撮像に用いられた光学系の光学特性に基づいて行われることを特徴とする請求項3に記載の画像処理装置。
- 前記高解像度化処理の特性は、前記入力画像における前記撮像に用いられた光学系の光学特性に基づいて分割される領域ごとに異なることを特徴とする請求項3に記載の画像処理装置。
- 前記高解像度化処理の特性は、前記撮像に用いられた光学系の光学特性に基づく周波数特性であることを特徴とする請求項3に記載の画像処理装置。
- 請求項1から19のいずれか一項に記載の画像処理装置と、
前記撮像を行う撮像手段とを有することを特徴とする撮像装置。 - コンピュータに撮像により生成された撮影画像および該撮影画像から生成された画像のうち一方である入力画像に対する画像処理を行わせるコンピュータプログラムであって、
前記画像処理は、
前記入力画像を複数の周波数帯域成分からなる複数の第1の画像に周波数分解するステップと、
前記複数の第1の画像のうち少なくとも1つの第1の画像に含まれる信号成分であって、信号値の絶対値が閾値以下である第1の信号成分に対して第1のノイズ低減処理を行うことにより第2の画像を生成する第1のノイズ低減ステップと、
前記第2の画像における信号値の絶対値が前記閾値より大きい第2の信号成分に対して、第2のノイズ低減処理を行って第3の画像を生成する第2のノイズ低減ステップとを有し、
前記第2のノイズ低減ステップにおいて、
前記第2の信号成分から対象画素を抽出し、
前記第2の画像から複数の参照画素を抽出し、
前記入力画像から得られる相関値算出画像から前記対象画素に対応した画素を含む部分領域である対象領域データと前記参照画素に対応した画素を含む部分領域である複数の参照領域データとを抽出し、
前記複数の参照領域データのそれぞれに対して、前記対象領域データとの相関値を算出し、
前記相関値に基づいて、前記複数の参照画素のそれぞれに対する重みを設定し、
前記複数の参照画素と前記重みから算出した信号値を用いて前記対象画素に対応する出力画素を生成することを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016011128A JP2017130167A (ja) | 2016-01-22 | 2016-01-22 | 画像処理装置、撮像装置および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016011128A JP2017130167A (ja) | 2016-01-22 | 2016-01-22 | 画像処理装置、撮像装置および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017130167A true JP2017130167A (ja) | 2017-07-27 |
Family
ID=59396662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016011128A Pending JP2017130167A (ja) | 2016-01-22 | 2016-01-22 | 画像処理装置、撮像装置および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017130167A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113228099A (zh) * | 2019-01-09 | 2021-08-06 | 爱克发有限公司 | 基于mtf调制的量子噪声测量来计算数字图像检测器***的点扩散函数的方法和*** |
JP2022551539A (ja) * | 2020-01-30 | 2022-12-09 | 三菱電機株式会社 | 画像取得設定にとらわれない人工知能(ai)モジュールを用いた画像再構成 |
-
2016
- 2016-01-22 JP JP2016011128A patent/JP2017130167A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113228099A (zh) * | 2019-01-09 | 2021-08-06 | 爱克发有限公司 | 基于mtf调制的量子噪声测量来计算数字图像检测器***的点扩散函数的方法和*** |
JP2022551539A (ja) * | 2020-01-30 | 2022-12-09 | 三菱電機株式会社 | 画像取得設定にとらわれない人工知能(ai)モジュールを用いた画像再構成 |
JP7297164B2 (ja) | 2020-01-30 | 2023-06-23 | 三菱電機株式会社 | 画像取得設定にとらわれない人工知能(ai)モジュールを用いた画像再構成 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110023810B (zh) | 光学***像差的数字校正 | |
JP6327922B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR100911890B1 (ko) | 이미지 모델의 컬러 성분의 복원을 위한 방법, 시스템,프로그램 모듈, 및 컴퓨터 프로그램 생성물 | |
JP5213670B2 (ja) | 撮像装置及びぶれ補正方法 | |
US11625815B2 (en) | Image processor and method | |
KR101227530B1 (ko) | 화상처리장치 및 화상처리방법 | |
JP6351903B1 (ja) | 画像処理装置、画像処理方法、及び撮影装置 | |
US8295629B2 (en) | Method and system for processing low-illuminance image | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
KR20100064369A (ko) | 영상 처리 방법 및 장치 | |
JP2013143599A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2017010092A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6711396B2 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
JP6614843B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
KR101341101B1 (ko) | 영상 복원 장치 및 복원 방법 | |
JP6317635B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6344934B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体 | |
JP2023055848A (ja) | 画像処理方法、画像処理装置、画像処理システム、およびプログラム | |
JP6541454B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2017010093A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2017130167A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5115297B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
Seshadrinathan et al. | Noise and dynamic range optimal computational imaging | |
JP5197447B2 (ja) | 画像処理装置及び撮像装置 |