JP2011071930A - 画像処理装置、撮像装置、画像処理方法、並びにプログラム - Google Patents
画像処理装置、撮像装置、画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP2011071930A JP2011071930A JP2009223492A JP2009223492A JP2011071930A JP 2011071930 A JP2011071930 A JP 2011071930A JP 2009223492 A JP2009223492 A JP 2009223492A JP 2009223492 A JP2009223492 A JP 2009223492A JP 2011071930 A JP2011071930 A JP 2011071930A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coefficient
- filter
- information
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 88
- 238000003384 imaging method Methods 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 56
- 230000003287 optical effect Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 abstract 2
- 230000035807 sensation Effects 0.000 abstract 2
- 230000004075 alteration Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000007796 conventional method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 238000005311 autocorrelation function Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
【課題】エッジ部の解像感を復元しつつ、平坦部では復元を抑え雑音感を低減することが可能な画像処理装置、撮像装置、画像処理方法、並びにプログラムを提供する。
【解決手段】撮像装置の信号処理部14は、ボケた(劣化した)画像を畳み込みフィルタによって復元する機能を有し、信号処理部14は、画像から少なくとも形状情報を含む情報を取得する画像情報取得部141と、取得された画像情報によって逆畳み込みフィルタの係数を設定する係数設定部142と、逆畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部143と、を有する。そして、フィルタ処理部143は、画像の局所的な領域において、この局所的な領域の画像情報に応じた係数によってフィルタリング処理を行う機能を有している。
【選択図】図2
【解決手段】撮像装置の信号処理部14は、ボケた(劣化した)画像を畳み込みフィルタによって復元する機能を有し、信号処理部14は、画像から少なくとも形状情報を含む情報を取得する画像情報取得部141と、取得された画像情報によって逆畳み込みフィルタの係数を設定する係数設定部142と、逆畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部143と、を有する。そして、フィルタ処理部143は、画像の局所的な領域において、この局所的な領域の画像情報に応じた係数によってフィルタリング処理を行う機能を有している。
【選択図】図2
Description
本発明は、ボケ劣化した画像の復元処理機能を有する画像処理装置、撮像装置、画像処理方法、並びにプログラムに関するものである。
従来のボケた画像の復元回路では、ボケの光学特性H(x,y)の逆フィルタを作成し、入力画像に畳み込むことにより、ボケた画像を復元していた。
しかし逆フィルタの場合は、高周波のデータが増幅されるため、雑音が増幅されてしまう欠点があった。
しかし逆フィルタの場合は、高周波のデータが増幅されるため、雑音が増幅されてしまう欠点があった。
その対策として、ウィナー(Wiener)フィルタ(式1)が一般的に知られている(たとえば非特許文献1参照)
ここで、Sff(u、v)とSnn(u,v)は、それぞれ信号と雑音の電力スペクトルをそれぞれ示している。
画像処理論(土井康弘・安藤繁 著 / 昭晃堂 / 昭和55年6月15日発行)99ページ ウィーナフィルタリング
しかしながら、ウィナー(Wiener)フィルタは、画面全体一律に同じ処理がかけられるため、人間の目には過剰な低域フィルタリングとなり、解像感が低下する傾向がある。
本発明は、復元したいボケ画像のエッジを判別し、エッジ部の解像感を復元しつつ、平坦部では復元を抑え雑音感を低減することが可能な画像処理装置、撮像装置、画像処理方法、並びにプログラムを提供することにある。
本発明の第1の観点は、劣化した画像を畳み込みフィルタによって復元する画像処理装置であって、前記画像から少なくとも形状情報を含む情報を取得する画像情報取得部と、前記画像情報によって前記畳み込みフィルタの係数を設定する係数設定部と、前記畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部と、を有し、前記フィルタ処理部は、前記画像の局所的な領域において、該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う。
好適には、前記形状情報とは平坦部かエッジ部や細部に基づいた情報である。
好適には、前記係数設定部は、前記画像の局所的な領域が平坦部と判断された場合、前記畳み込みフィルタがウィナーフィルタの特性を発現するように前記係数を設定する。
好適には、前記画像情報取得部は、雑音情報を取得可能であり、前記係数設定部は、前記形状情報と前記雑音情報とを用いたファジー推論によって前記係数を設定する。
好適には、前記係数設定部は、前記ファジー推論により、雑音が重畳していないもしくは雑音の重畳が少ないと推定されれば前記画像を撮影した撮像レンズにおける点広がり関数(PSF)のインバースフィルタに近くなる係数を、雑音が多いと推定されればウィナーフィルタの特性が強くなる係数を設定する。
好適には、前記係数設定部は、前記ファジー推論によって、エッジ部や細部であると推定されれば前記画像を撮影した撮像レンズにおける点広がり関数(PSF)のインバースフィルタに近くなる係数を、平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する。
好適には、前記係数設定部は、前記ファジー推論によって、雑音の重畳が無いもしくは少なく且つエッジ部や細部であると推定されれば前記画像を撮影した撮像レンズにおけるPSFのインバースフィルタに近くなる係数を、雑音が多くかつ平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する。
本発明の第2の観点の撮像装置は、光学系と、前記光学系を通過した被写体像を撮像し、画像信号を出力する撮像素子と、前記撮像素子の画像信号に画像処理を行い、劣化した画像を畳み込みフィルタによって復元する画像処理装置と、を有し、前記画像処理装置は、前記画像から少なくとも形状情報を含む情報を取得する画像情報取得部と、前記画像情報によって前記畳み込みフィルタの係数を設定する係数設定部と、前記畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部と、を有し、前記フィルタ処理部は、前記画像の局所的な領域において、該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う。
本発明の第3の観点は、劣化した画像を畳み込みフィルタによって復元する画像処理方法であって、前記画像から少なくとも形状情報を含む情報を取得する取得ステップと、前記画像情報によって前記畳み込みフィルタの係数を設定する設定ステップと、前記畳み込みフィルタによるフィルタリング処理を行う処理ステップと、を有し、前記処理ステップでは、前記画像の局所的な領域において、当該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う。
本発明の第4の観点は、劣化した画像を畳み込みフィルタによって復元する画像処理であって、前記画像から少なくとも形状情報を含む情報を取得する取得処理と、前記画像情報によって前記畳み込みフィルタの係数を設定する設定処理と、前記畳み込みフィルタによるフィルタリング処理を行うフィルタリング処理と、を実行し、前記フィルタリング処理では、前記画像の局所的な領域において、当該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う画像処理をコンピュータに実行させるプログラムである。
本発明によれば、復元したいボケ画像のエッジを判別し、エッジ部の解像感を復元しつつ、平坦部では復元を抑え雑音感を低減することができる。
以下、本発明の実施形態を添付図面に関連付けて説明する。
図1は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
撮像装置10は、図1に示すように、光学系11、撮像素子12、アナログ/デジタル(A/D)変換部13、および信号処理部(復元処理部)14を有する。
撮像装置10は、光学系に収差制御部(収差制御面、または収差制御素子)を適用し、収差を意図的に発生させ、復元処理を行う、焦点深度拡張機能を有する。
光学系11は、被写体に対向するレンズ111および収差制御素子112を含み、このレンズ111および収差制御素子112により被写体OBJの光学像を集光して、撮像素子12の撮像面上に被写体の像を結像する。
撮像素子12で撮像される被写体分散像は、収差制御素子112により撮像素子12の像面上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。
撮像素子12は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサなどの固体撮像素子により形成され、光学系11を通った被写体OBJの光学像を受けて画像信号に変換し、A/D変換部13に出力する。
撮像素子12は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサなどの固体撮像素子により形成され、光学系11を通った被写体OBJの光学像を受けて画像信号に変換し、A/D変換部13に出力する。
A/D変換部13は、撮像素子12から出力されるアナログ信号をデジタル信号に変換し、デジタル画像信号S13を信号処理部14に出力する。
画像処理装置の一部を形成する信号処理部14は、前段のA/D変換部13からくる撮像画像のデジタル信号を入力し、エッジ強調等の画像処理を施し、光学系11の収差により低下したコントラストを向上させボケた画像を復元し、後段の処理部に出力する。
以下、信号処理部14の具体的な画像復元機能について説明する。
カメラで撮影して得られる画像は、ボケや雑音の重畳などで劣化している。ボケにより劣化した画像を復元する方法として、ボケの原因となるレンズの点広がり関数(PSF)を利用したウィナーフィルタがある。
ウィナーフィルタは、理想画像と推定画像との2乗誤差を最小にするフィルタであり、雑音重畳画像にも対応できるフィルタである。
しかしながら、ウィナーフィルタは画像に対して一律の処理、すなわち時不変処理となるため、設定した係数によってはボケの復元効果がなく、さらに雑音の強調をしてしまう場合がある。
本実施形態では、画像から得られる情報によって局所領域毎に適切なフィルタ係数を設定するウィナーフィルタを適用する。
本実施形態に係る方法は、画像から取得した形状情報を用い復元関数を導き出すことにより、エッジ情報を残したまま雑音のない画像を簡易な計算処理で復元することができるように構成されている。
さらに、本実施形態においては、雑音情報と形状情報を用いて、ファジー推論によって係数を決定する。そして、ファジー集合のパラメータを変化させることにより、最適なパラメータを導き出し、復元関数を導き出すことによって、さらに精度よくエッジ情報を残したまま雑音のない画像を復元することを可能に構成されている。
カメラで撮影して得られる画像は、ボケや雑音の重畳などで劣化している。ボケにより劣化した画像を復元する方法として、ボケの原因となるレンズの点広がり関数(PSF)を利用したウィナーフィルタがある。
ウィナーフィルタは、理想画像と推定画像との2乗誤差を最小にするフィルタであり、雑音重畳画像にも対応できるフィルタである。
しかしながら、ウィナーフィルタは画像に対して一律の処理、すなわち時不変処理となるため、設定した係数によってはボケの復元効果がなく、さらに雑音の強調をしてしまう場合がある。
本実施形態では、画像から得られる情報によって局所領域毎に適切なフィルタ係数を設定するウィナーフィルタを適用する。
本実施形態に係る方法は、画像から取得した形状情報を用い復元関数を導き出すことにより、エッジ情報を残したまま雑音のない画像を簡易な計算処理で復元することができるように構成されている。
さらに、本実施形態においては、雑音情報と形状情報を用いて、ファジー推論によって係数を決定する。そして、ファジー集合のパラメータを変化させることにより、最適なパラメータを導き出し、復元関数を導き出すことによって、さらに精度よくエッジ情報を残したまま雑音のない画像を復元することを可能に構成されている。
上述したように、本実施形態の信号処理部14は、ボケて劣化した画像を逆畳み込みフィルタによって復元する機能を有している。
図2は、本実施形態に係る信号処理部14の構成例を示す機能ブロック図である。
図2は、信号処理部14は、画像から少なくとも形状情報を含む情報を取得する画像情報取得部141と、所得された画像情報によって畳み込みフィルタの係数を設定する係数設定部142と、畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部143と、を有する。
そして、フィルタ処理部143は、画像の局所的な領域において、この局所的な領域の画像情報に応じた係数によってフィルタリング処理を行う機能を有している。
ここで、形状情報とは平坦部かエッジ部や細部に基づいた情報である。
図2は、信号処理部14は、画像から少なくとも形状情報を含む情報を取得する画像情報取得部141と、所得された画像情報によって畳み込みフィルタの係数を設定する係数設定部142と、畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部143と、を有する。
そして、フィルタ処理部143は、画像の局所的な領域において、この局所的な領域の画像情報に応じた係数によってフィルタリング処理を行う機能を有している。
ここで、形状情報とは平坦部かエッジ部や細部に基づいた情報である。
係数設定部142は、画像の局所的な領域が平坦部と判断された場合、畳み込みフィルタがウィナーフィルタの特性を発現するように係数を設定する。
また、画像情報取得部141は、形状情報に加えて雑音情報を取得可能である。
そして、係数設定部142は、形状情報と雑音情報とを用いたファジー推論によって係数を設定する機能を有している。
この場合、係数設定部142は、ファジー推論により、雑音が重畳していないもしくは雑音の重畳が少ないと推定されれば画像を撮影した撮像レンズにおける点広がり関数(PSF)のインバースフィルタに近くなる係数を、雑音が多いと推定されればウィナーフィルタの特性が強くなる係数を設定する。
そして、係数設定部142は、形状情報と雑音情報とを用いたファジー推論によって係数を設定する機能を有している。
この場合、係数設定部142は、ファジー推論により、雑音が重畳していないもしくは雑音の重畳が少ないと推定されれば画像を撮影した撮像レンズにおける点広がり関数(PSF)のインバースフィルタに近くなる係数を、雑音が多いと推定されればウィナーフィルタの特性が強くなる係数を設定する。
また、係数設定142部は、ファジー推論によって、エッジ部や細部であると推定されれば画像を撮影した撮像レンズにおける点広がり関数(PSF)のインバースフィルタに近くなる係数を、平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する。
また、係数設定部142は、ファジー推論によって、雑音の重畳が無いもしくは少なくかつエッジ部や細部であると推定されれば画像を撮影した撮像レンズにおけるPSFのインバースフィルタに近くなる係数を、雑音が多くかつ平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する。
以下に、信号処理部140の具体的に処理を、形状情報に基づく復元処理と、形状情報および雑音情報に基づく復元処理とに分けて説明する。
[形状情報に基づく復元処理]
まず、形状情報に基づく復元処理について説明する。
信号処理部140は、局所領域において、復元すべきボケ画像のエッジを判別する。
平坦部にはウィナーフィルタを、エッジ部には、通常の畳み込みフィルタを掛ける。
本実施形態では、エッジの判定係数Kを用い、以下の畳み込みフィルタ(式2)を使用する。
まず、形状情報に基づく復元処理について説明する。
信号処理部140は、局所領域において、復元すべきボケ画像のエッジを判別する。
平坦部にはウィナーフィルタを、エッジ部には、通常の畳み込みフィルタを掛ける。
本実施形態では、エッジの判定係数Kを用い、以下の畳み込みフィルタ(式2)を使用する。
エッジの判定係数Kは原信号近傍の平坦部や、エッジ部等の形状に関する情報が得ることができ、次式(式3,式4)で与えられる。
ここで、var(i,j)はフィルタ窓内のデータの局所分散を示し,σn 2(i,j)は原信号の推定分散を示している。
情報の取得は、図3に示すように、局所領域LARにおいて、この部分の画像は平坦部であるか、エッジ部であるか、細部であるかを判別することによる。
形状情報では、局所領域LAR内が平坦部か非平坦部であるかの判別を行う。
平坦であれば、Snn/Sffの影響を大きくし、その逆の場合は小さくする。
形状情報では、局所領域LAR内が平坦部か非平坦部であるかの判別を行う。
平坦であれば、Snn/Sffの影響を大きくし、その逆の場合は小さくする。
図4は、形状情報のみを用いる場合の信号処理部の処理を説明するためのフローチャートである。
信号処理部140は、注目点周辺の局所領域でのエッジ判定係数Kを算出する(ST1)。
次に、エッジ判定係数Kを用いて、注目点における畳み込みフィルタを作成する(ST2)。
注目点の周辺データと畳み込みフィルタを用いて、畳み込み演算を行う(ST3)。
以上の処理を全ての画素の計算が終わるまで行う(ST4)。
次に、エッジ判定係数Kを用いて、注目点における畳み込みフィルタを作成する(ST2)。
注目点の周辺データと畳み込みフィルタを用いて、畳み込み演算を行う(ST3)。
以上の処理を全ての画素の計算が終わるまで行う(ST4)。
図5の理想画像を用いて効果の確認を行った。
図6は、図5の理想画像に対し、H(x,y)の光学特性を掛け合わせて作成したボケ画像であり、センサ部である撮像素子12において雑音が加算されることをシミュレーションするため、ガウス性の雑音を加算している。
図7は一般の畳み込みフィルタによる復元画像であるが、人物の肌部分など、雑音が目立っていることがわかる。
また、図8はウィナーフィルタによる復元画像であり、雑音は抑えられているが、全体的に解像感が甘くなっていることがわかる。
これに対し、図9が本実施形態の畳み込みフィルタによる復元画像であるが、肌部分の雑音を抑えつつ目や帽子のエッジ部分の解像感を残していることがわかる。
図6は、図5の理想画像に対し、H(x,y)の光学特性を掛け合わせて作成したボケ画像であり、センサ部である撮像素子12において雑音が加算されることをシミュレーションするため、ガウス性の雑音を加算している。
図7は一般の畳み込みフィルタによる復元画像であるが、人物の肌部分など、雑音が目立っていることがわかる。
また、図8はウィナーフィルタによる復元画像であり、雑音は抑えられているが、全体的に解像感が甘くなっていることがわかる。
これに対し、図9が本実施形態の畳み込みフィルタによる復元画像であるが、肌部分の雑音を抑えつつ目や帽子のエッジ部分の解像感を残していることがわかる。
[形状情報および雑音情報に基づく復元処理]
まず、ウィナーフィルタについて再度考察する。
ウィナーフィルタは、次式においても示すことができる。
まず、ウィナーフィルタについて再度考察する。
ウィナーフィルタは、次式においても示すことができる。
ここで、雑音が存在しないときにはSnnは0となり、(式5)は次のようになる。
すなわち、雑音が無いときにはウィナーフィルタは理想的なインバースフィルタとなることが分かる。
また、雑音がある時には雑音の状況が推定できればMが推定できることが分かる。
よって、何らかの情報によってSnn/Sffが推定できれば画素毎に適切なフィルタ係数が与えられる。
なお、一般的に数値計算用のプログラム等ではこのウィナーフィルタのSnn/Sffの係数に対して数値を与えるようになっている。
つまり、雑音の重畳具合も分からず,理想画像も無い状態では人の感覚によって係数を与えており、必ずしもシステマティックに与えているとは言いがたい。
そこで、本実施形態においては、この係数をシステマティックに与える方法を実現している。
また、雑音がある時には雑音の状況が推定できればMが推定できることが分かる。
よって、何らかの情報によってSnn/Sffが推定できれば画素毎に適切なフィルタ係数が与えられる。
なお、一般的に数値計算用のプログラム等ではこのウィナーフィルタのSnn/Sffの係数に対して数値を与えるようになっている。
つまり、雑音の重畳具合も分からず,理想画像も無い状態では人の感覚によって係数を与えており、必ずしもシステマティックに与えているとは言いがたい。
そこで、本実施形態においては、この係数をシステマティックに与える方法を実現している。
本実施形態においては、(式5)に示すウィナーフィルタの式におけるSnn/Sffの項に対して処理点とその近傍領域からの情報からウィナーフィルタの相関に関する項の係数を与える。
具体的には、画像の雑音情報および形状情報を参照して雑音の除去、およびボケの復元を行うフィルタを作成する。
つまり、(式5)を(式7)のように書き直す。
具体的には、画像の雑音情報および形状情報を参照して雑音の除去、およびボケの復元を行うフィルタを作成する。
つまり、(式5)を(式7)のように書き直す。
ここで(式7)式のX()の部分を求めることが本実施形態の特徴的な部分である。
なお、ここで、F()は出力画像を,H()はPSFを,G()は劣化画像を表す。Snn()は雑音画像の自己相関関数を、Sff()は理想画像の自己相関関数を表す。
また、X()を画像情報と呼び、局所領域の雑音情報と形状情報に応じた値が入る。
この2つの情報は各々、以下のように算出される。
なお、ここで、F()は出力画像を,H()はPSFを,G()は劣化画像を表す。Snn()は雑音画像の自己相関関数を、Sff()は理想画像の自己相関関数を表す。
また、X()を画像情報と呼び、局所領域の雑音情報と形状情報に応じた値が入る。
この2つの情報は各々、以下のように算出される。
雑音情報は局所領域にどれだけの雑音が重畳しているか、および、上述したように、局所領域が平坦部かエッジや細部かを判断する情報である。
つまり、局所領域内に雑音があり平坦部であれば極力ウィナーフィルタの係数を大きくし、その逆であれば小さくすれば良い。
この2つの情報は、(式8)によって算出される。
つまり、局所領域内に雑音があり平坦部であれば極力ウィナーフィルタの係数を大きくし、その逆であれば小さくすれば良い。
この2つの情報は、(式8)によって算出される。
ここでg(x,y)はフィルタ窓内のデータを、g(x0,y0)はフィルタ窓内の中心画素のデータをεは雑音の閾値を表す。また、得られたN(x,y)の平均値n(x,y)を雑音情報として用いる。
また、形状情報は既に示した(式3)、(式4)で算出される。
また、形状情報は既に示した(式3)、(式4)で算出される。
本実施形態では、ガウス性雑音としてσn 2に100を与える。
一般的にガウス性雑音の場合σn 2として100〜400程度であるが、本実施形態ではカメラからの取得画像であり、撮像素子12における暗電流などの影響を考えても大体σn 2が1000程度が妥当であるとしている。
しかしながら、この2つの情報は各々独立している情報であるため、この2つの情報を関連付けることが必要となる。
本実施形態においては、この2つの情報を関連付けるためにファジー推論を用いる。
一般的にガウス性雑音の場合σn 2として100〜400程度であるが、本実施形態ではカメラからの取得画像であり、撮像素子12における暗電流などの影響を考えても大体σn 2が1000程度が妥当であるとしている。
しかしながら、この2つの情報は各々独立している情報であるため、この2つの情報を関連付けることが必要となる。
本実施形態においては、この2つの情報を関連付けるためにファジー推論を用いる。
前述したように,局所領域内に雑音があり、かつ平坦であればウィナーフィルタの係数を大きくし、その逆であれば小さくするというルールを作る。このとき、ファジー推論のルールは以下のように表すことができる。
ここでk()とn()の{平坦,非平坦}、{雑音無,雑音有}は各々のファジー集合であり、図10(A)および(B)に示すように表される。
図10(A)が雑音情報のファジー集合を示し、図10(B)が形状情報のファジー集合を示している。
このファジー集合はka,kbまたはna,nbによって変化させることができる。
求められたファジー集合の適合度から、非ファジー化手続きを経てウィナーフィルタの係数を得る事ができる(非特許文献2:L.A.Zadeh,“Fuzzy Sets and Applications”,John Wiley&Sons. Inc.,1987参照)。
図10(A)が雑音情報のファジー集合を示し、図10(B)が形状情報のファジー集合を示している。
このファジー集合はka,kbまたはna,nbによって変化させることができる。
求められたファジー集合の適合度から、非ファジー化手続きを経てウィナーフィルタの係数を得る事ができる(非特許文献2:L.A.Zadeh,“Fuzzy Sets and Applications”,John Wiley&Sons. Inc.,1987参照)。
図11は、本実施形態に係るファジーテーブルを示す図である。
図11は、(式9)式と後件部実数値をまとめたものを示している。
図11は、(式9)式と後件部実数値をまとめたものを示している。
図11の例では、平坦で雑音無しの場合「0.5」、平坦で雑音が有る場合「2.0」、非平坦(エッジ)で雑音無しの場合「0.02」、非平坦で雑音が有る場合「1.5」が与えられる。
すなわち、平坦であれば大きく、その逆ならば小さくする。雑音があれば大きく、その逆ならば小さくする。
求められたファジー集合の適合度から,非ファジー化手続きを経て,Snn() / Sff() を得る。
以上によって、処理点の近傍領域の情報から適切なウィナーフィルタの係数がシステマティックに求めることができる。
すなわち、平坦であれば大きく、その逆ならば小さくする。雑音があれば大きく、その逆ならば小さくする。
求められたファジー集合の適合度から,非ファジー化手続きを経て,Snn() / Sff() を得る。
以上によって、処理点の近傍領域の情報から適切なウィナーフィルタの係数がシステマティックに求めることができる。
次に、本実施形態に係る形状情報と雑音情報を用いた方法の適用例について説明する。
[ファジー集合のパラメータの決定]
本実施形態のウィナーフィルタの係数を求める方法では、形状情報と雑音情報に対するファジー集合の設定によりその性質が変化する。
ここでは、従来のウィナーフィルタと同等程度の出力を得ることを目標として考える。
このとき、ウィナーフィルタに与えるPSFは図12に示すようなPSFとする。これはガウス関数を簡略化したものである。ここではこれを用いて種々の画像に対し適用する。
本実施形態のウィナーフィルタの係数を求める方法では、形状情報と雑音情報に対するファジー集合の設定によりその性質が変化する。
ここでは、従来のウィナーフィルタと同等程度の出力を得ることを目標として考える。
このとき、ウィナーフィルタに与えるPSFは図12に示すようなPSFとする。これはガウス関数を簡略化したものである。ここではこれを用いて種々の画像に対し適用する。
また、劣化画像は理想画像に対し、図12のPSFを適用し、その後ガウス性雑音を重畳した画像を用いる。
ファジー集合のパラメータは実験的手法によって求める(非特許文献3:木村誠聡,浜田悟史,田口亮,村田裕,“ELSEルールを加えたファジーフィルタ”,電子情報通信学会論文誌(A),Vol.J79-A,No.2,PP.1649-1651,Sep.,1996)。
ファジー集合のパラメータは実験的手法によって求める(非特許文献3:木村誠聡,浜田悟史,田口亮,村田裕,“ELSEルールを加えたファジーフィルタ”,電子情報通信学会論文誌(A),Vol.J79-A,No.2,PP.1649-1651,Sep.,1996)。
図13および図14は、PSF適用し、ガウス性雑音を重畳した画像を用いた結果の一部を示す図である。
図13は、雑音情報のファジー集合を固定化し、形状情報のパラメータを動かした結果の一部である。
ka=0,kb=0.1のとき、k()の非平坦の範囲が広く処理点はエッジや細部が多いと判断される。
逆にka=0.9,kb=1の場合はk()の平坦の範囲が広く処理点は平坦部と判断される。
図13より、エッジ部や細部と判断された場合、雑音はあまり平滑化されず、エッジが良く保存されていることが分かる。
また、平坦と判断された場合、雑音は平滑化されているものの、エッジの保存性は良くないことが分かる。
同様にka,kbを全体的に動かしたとき、形状情報は主観的に大体ka=0.2〜0.4,kb=0.6〜0.8程度で良い結果が得られる。
ka=0,kb=0.1のとき、k()の非平坦の範囲が広く処理点はエッジや細部が多いと判断される。
逆にka=0.9,kb=1の場合はk()の平坦の範囲が広く処理点は平坦部と判断される。
図13より、エッジ部や細部と判断された場合、雑音はあまり平滑化されず、エッジが良く保存されていることが分かる。
また、平坦と判断された場合、雑音は平滑化されているものの、エッジの保存性は良くないことが分かる。
同様にka,kbを全体的に動かしたとき、形状情報は主観的に大体ka=0.2〜0.4,kb=0.6〜0.8程度で良い結果が得られる。
図14は、形状情報のファジー集合を固定し,雑音情報のファジー集合を変化させたときの結果の一部である。
na=0,nb=1のときにはn()の雑音有の範囲が広く処理点と近傍領域には雑音がかなり重畳していると判断される。
逆にna=24,nb=25のときにはn()の雑音無の範囲が広く処理点と近傍領域には雑音がほとんど無いと判断される。
図14より、雑音が重畳されていると判断された場合、雑音は平滑化されるものの、エッジや細部が劣化していることが分かる。
逆に雑音が無いと判断された場合雑音は除去されておらず、エッジや細部が保存されていることが分かる。
na=0,nb=1のときにはn()の雑音有の範囲が広く処理点と近傍領域には雑音がかなり重畳していると判断される。
逆にna=24,nb=25のときにはn()の雑音無の範囲が広く処理点と近傍領域には雑音がほとんど無いと判断される。
図14より、雑音が重畳されていると判断された場合、雑音は平滑化されるものの、エッジや細部が劣化していることが分かる。
逆に雑音が無いと判断された場合雑音は除去されておらず、エッジや細部が保存されていることが分かる。
以上より雑音情報のna,nbを同様に全体的に動かしたとき、主観的に大体na=0〜8,nb=10〜15程度が適当である考察される。
ファジー推論の特徴として、以上のように広い範囲において適当と考えられるパラメータが存在しているため、入力情報に対してロバストなフィルタであると言える。
このことは、図15に示すようにnaのみを変化させたとき、naが大体7〜13程度で最小のMSEから2%程度しか変化しないことからも明らかである。
以上より、本稿ではファジー集合のパラメータを各範囲の中心程に定めka=0.3,kb=0.7,na=4,nb=12と決定する。
以後の適用例ではこのパラメータを用いる。
このことは、図15に示すようにnaのみを変化させたとき、naが大体7〜13程度で最小のMSEから2%程度しか変化しないことからも明らかである。
以上より、本稿ではファジー集合のパラメータを各範囲の中心程に定めka=0.3,kb=0.7,na=4,nb=12と決定する。
以後の適用例ではこのパラメータを用いる。
[種々の雑音が重畳した画像に対する適用例]
上述したPSFを用いた適用例から、本実施形態に係る方法におけるファジー集合のパラメータを適切に設定することで、ウィナーフィルタに対して適当な係数を与えると考察される。
以下ではこのことを示すために種々の雑音重畳画像に対し本方法を適用する。
比較対象の方法として従来の固定値パラメータを与えたウィナーフィルタを用いる。ここで従来法のウィナーフィルタの固定係数を0.1と定める。
上述したPSFを用いた適用例から、本実施形態に係る方法におけるファジー集合のパラメータを適切に設定することで、ウィナーフィルタに対して適当な係数を与えると考察される。
以下ではこのことを示すために種々の雑音重畳画像に対し本方法を適用する。
比較対象の方法として従来の固定値パラメータを与えたウィナーフィルタを用いる。ここで従来法のウィナーフィルタの固定係数を0.1と定める。
図16から図21までが本方法と比較対象の従来のウィナーフィルタの適用結果である。
図16から図21において、(A)は元画像を、(B)は劣化画像を、(C)は従来のウィナーフィルタを適用した場合の画像を、(D)は本方法を適用した場合の画像を、それぞれ示している。
図16から図21において、(A)は元画像を、(B)は劣化画像を、(C)は従来のウィナーフィルタを適用した場合の画像を、(D)は本方法を適用した場合の画像を、それぞれ示している。
図16(A)〜(D)は、雑音をまったく重畳させない画像に対して、双方の方法を適用したものである。
本方法は従来法に比べMSE(Mean Square Error)で劣っており、主観的にもエッジ部がやや劣化していることが分かる。
図17(A)〜(D)は、σ=5の場合であるが、図16の場合と同様である。
本方法は従来法に比べMSE(Mean Square Error)で劣っており、主観的にもエッジ部がやや劣化していることが分かる。
図17(A)〜(D)は、σ=5の場合であるが、図16の場合と同様である。
しかし、図18(A)〜(D)に示すように、σ=10程度から従来法と本方法の差が小さくなり、主観的には本方法の方が雑音が平滑化されエッジも保存されていると言える。
これに対して、従来法は、MSEは良いものの、主観的には雑音が強調され、雑音によって画像が劣化していると言える。
σ=15以上の図19〜図21の場合、その傾向が強く出ており、本方法がエッジを保存しつつ雑音を除去できている。
また、MSEの値も本方法の方が優れていることが明らかである。
これに対して、従来法は、MSEは良いものの、主観的には雑音が強調され、雑音によって画像が劣化していると言える。
σ=15以上の図19〜図21の場合、その傾向が強く出ており、本方法がエッジを保存しつつ雑音を除去できている。
また、MSEの値も本方法の方が優れていることが明らかである。
これにより、本方法は各画素に対して適切なウィナーフィルタの係数を与えており、本方法が従来法に対して優位性がある。
このことは、従来法の係数の決定は人による感覚で毎回決める必要があり、どれが適切なパラメータであるかの決定が困難であるものの、本方法は種々の画像の適用例からもそのファジー集合のパラメータはロバストであり、つまりシステマティックに決定していることからも伺える。
このことは、従来法の係数の決定は人による感覚で毎回決める必要があり、どれが適切なパラメータであるかの決定が困難であるものの、本方法は種々の画像の適用例からもそのファジー集合のパラメータはロバストであり、つまりシステマティックに決定していることからも伺える。
以上説明したように、本実施形態によれば、撮像装置10の信号処理部14は、ボケた(劣化した)画像を畳み込みフィルタによって復元する機能を有している。
信号処理部140は、画像から少なくとも形状情報を含む情報を取得する画像情報取得部141と、取得された画像情報によって畳み込みフィルタの係数を設定する係数設定部142と、畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部143と、を有する。
そして、フィルタ処理部143は、画像の局所的な領域において、この局所的な領域の画像情報に応じた係数によってフィルタリング処理を行う機能を有している。
したがって、本第1の実施形態によれば、以下の効果を得ることができる。
信号処理部140は、画像から少なくとも形状情報を含む情報を取得する画像情報取得部141と、取得された画像情報によって畳み込みフィルタの係数を設定する係数設定部142と、畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部143と、を有する。
そして、フィルタ処理部143は、画像の局所的な領域において、この局所的な領域の画像情報に応じた係数によってフィルタリング処理を行う機能を有している。
したがって、本第1の実施形態によれば、以下の効果を得ることができる。
本実施形態によれば、エッジ部の解像感を復元しつつ、平坦部では復元を抑え雑音感を低減することができる。
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、CPU等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
10・・・撮像装置、11・・・光学系、12・・・撮像素子、13・・・アナログ/デジタル(A/D)変換部、14・・・信号処理部、141・・・画像情報取得部、142・・・係数設定部、143・・・フィルタ処理部。
Claims (16)
- 劣化した画像を畳み込みフィルタによって復元する画像処理装置であって、
前記画像から少なくとも形状情報を含む情報を取得する画像情報取得部と、
前記画像情報によって前記畳み込みフィルタの係数を設定する係数設定部と、
前記畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部と、を有し、
前記フィルタ処理部は、
前記画像の局所的な領域において、当該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う
画像処理装置。 - 前記形状情報とは平坦部かエッジ部や細部に基づいた情報である
請求項1に記載の画像処理装置。 - 前記係数設定部は、
前記画像の局所的な領域が平坦部と判断された場合、前記畳み込みフィルタがウィナーフィルタの特性を発現するように前記係数を設定する
請求項2に記載の画像処理装置。 - 前記画像情報取得部は、
雑音情報を取得可能であり、
前記係数設定部は、
前記形状情報と前記雑音情報とを用いたファジー推論によって前記係数を設定する
請求項1に記載の画像処理装置。 - 前記係数設定部は、
前記ファジー推論により、雑音が重畳していないもしくは雑音の重畳が少ないと推定されれば前記画像を撮影した撮像レンズにおける点広がり関数(PSF)のインバースフィルタに近くなる係数を、雑音が多いと推定されればウィナーフィルタの特性が強くなる係数を設定する
請求項4に記載の画像処理装置。 - 前記係数設定部は、
前記ファジー推論によって、エッジ部や細部であると推定されれば前記画像を撮影した撮像レンズにおける点広がり関数(PSF)のインバースフィルタに近くなる係数を、平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する
請求項4に記載の画像処理装置。 - 前記係数設定部は、
前記ファジー推論によって、雑音の重畳が無いもしくは少なく且つエッジ部や細部であると推定されれば前記画像を撮影した撮像レンズにおけるPSFのインバースフィルタに近くなる係数を、雑音が多くかつ平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する
請求項5または6に記載の画像処理装置。 - 光学系と、
前記光学系を通過した被写体像を撮像し、画像信号を出力する撮像素子と、
前記撮像素子の画像信号に画像処理を行い、劣化した画像を畳み込みフィルタによって復元する画像処理装置と、を有し、
前記画像処理装置は、
前記画像から少なくとも形状情報を含む情報を取得する画像情報取得部と、
前記画像情報によって前記畳み込みフィルタの係数を設定する係数設定部と、
前記畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部と、を有し、
前記フィルタ処理部は、
前記画像の局所的な領域において、該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う
撮像装置。 - 劣化した画像を逆畳み込みフィルタによって復元する画像処理方法であって、
前記画像から少なくとも形状情報を含む情報を取得する取得ステップと、
前記画像情報によって前記畳み込みフィルタの係数を設定する設定ステップと、
前記畳み込みフィルタによるフィルタリング処理を行う処理ステップと、を有し、
前記処理ステップでは、
前記画像の局所的な領域において、当該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う
画像処理方法。 - 前記形状情報とは平坦部かエッジ部や細部かに基づいた情報である
請求項9に記載の画像処理方法。 - 前記設定ステップは、
前記画像の局所的な領域が平坦部と判断された場合、前記畳み込みフィルタがウィナーフィルタの特性を発現するように前記係数を設定する
請求項10に記載の画像処理方法。 - 前記取得ステップは、
雑音情報を取得可能であり、
前記設定ステップは、
前記形状情報と前記雑音情報とを用いたファジー推論によって前記係数を設定する
請求項9に記載の画像処理方法。 - 前記設定ステップは、
前記ファジー推論により、雑音が重畳していないもしくは雑音の重畳が少ないと推定されれば前記画像を撮影した撮像レンズにおける点広がり関数(PSF)のインバースフィルタに近くなる係数を、雑音が多いと推定されればウィナーフィルタの特性が強くなる係数を設定する
請求11に記載の画像処理方法。 - 前記設定ステップは、
前記ファジー推論によって、エッジ部や細部であると推定されれば前記画像を撮影した撮像レンズにおける点広がり関数(PSF)のインバースフィルタに近くなる係数を、平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する
請求項12に記載の画像処理方法。 - 前記設定ステップは、
前記ファジー推論によって、雑音の重畳が無いもしくは少なく且つエッジ部や細部であると推定されれば前記画像を撮影した撮像レンズにおけるPSFのインバースフィルタに近くなる係数を、雑音が多くかつ平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する
請求項13または14に記載の画像処理方法。 - 劣化した画像を畳み込みフィルタによって復元する画像処理であって、
前記画像から少なくとも形状情報を含む情報を取得する取得処理と、
前記画像情報によって前記畳み込みフィルタの係数を設定する設定処理と、
前記畳み込みフィルタによるフィルタリング処理を行うフィルタリング処理と、を実行し、
前記フィルタリング処理では、
前記画像の局所的な領域において、当該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う
画像処理をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223492A JP2011071930A (ja) | 2009-09-28 | 2009-09-28 | 画像処理装置、撮像装置、画像処理方法、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223492A JP2011071930A (ja) | 2009-09-28 | 2009-09-28 | 画像処理装置、撮像装置、画像処理方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011071930A true JP2011071930A (ja) | 2011-04-07 |
Family
ID=44016723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009223492A Pending JP2011071930A (ja) | 2009-09-28 | 2009-09-28 | 画像処理装置、撮像装置、画像処理方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011071930A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013042328A (ja) * | 2011-08-15 | 2013-02-28 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
WO2015046625A1 (en) | 2013-09-27 | 2015-04-02 | Ricoh Company, Limited | Image capturing apparatus, image capturing system, and image capturing method |
-
2009
- 2009-09-28 JP JP2009223492A patent/JP2011071930A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013042328A (ja) * | 2011-08-15 | 2013-02-28 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
WO2015046625A1 (en) | 2013-09-27 | 2015-04-02 | Ricoh Company, Limited | Image capturing apparatus, image capturing system, and image capturing method |
JP2015070435A (ja) * | 2013-09-27 | 2015-04-13 | 株式会社リコー | 撮像装置、撮像システムおよび撮像方法 |
CN105594193A (zh) * | 2013-09-27 | 2016-05-18 | 株式会社理光 | 图像捕捉装置、图像捕捉***和图像捕捉方法 |
KR101773311B1 (ko) * | 2013-09-27 | 2017-08-31 | 가부시키가이샤 리코 | 이미지 캡처 장치, 이미지 캡처 시스템, 및 이미지 캡처 방법 |
RU2657015C2 (ru) * | 2013-09-27 | 2018-06-08 | Рикох Компани, Лимитед | Устройство захвата изображений, система захвата изображений и способ захвата изображений |
US10187565B2 (en) | 2013-09-27 | 2019-01-22 | Ricoh Company, Limited | Image capturing apparatus, image capturing system, and image capturing method |
CN105594193B (zh) * | 2013-09-27 | 2019-07-26 | 株式会社理光 | 图像捕捉装置、图像捕捉***和图像捕捉方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2489007B1 (en) | Image deblurring using a spatial image prior | |
Russo | A method for estimation and filtering of Gaussian noise in images | |
Aslantas et al. | A comparison of criterion functions for fusion of multi-focus noisy images | |
CA2616871A1 (en) | Apparatus and method for adaptive 3d noise reduction | |
JP2005227838A (ja) | 画像処理方法および装置並びにプログラム | |
JP2009093323A (ja) | 画像処理装置およびプログラム | |
US8249376B2 (en) | Apparatus and method of restoring an image | |
JP5672527B2 (ja) | 画像処理装置及び画像処理方法 | |
Zhu et al. | Restoration for weakly blurred and strongly noisy images | |
JP2011134204A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
EP3438923B1 (en) | Image processing apparatus and image processing method | |
Sakai et al. | Hybrid method for multi-exposure image fusion based on weighted mean and sparse representation | |
US10217193B2 (en) | Image processing apparatus, image capturing apparatus, and storage medium that stores image processing program | |
Nasri et al. | SNLM: a switching non-local means filter for removal of high density salt and pepper noise | |
Xu et al. | An image-enhancement method based on variable-order fractional differential operators | |
JP2009177332A (ja) | ぶれ検出装置、ぶれ補正装置及び撮像装置 | |
JP2009025862A (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置 | |
Zhou et al. | DeLiEve-Net: Deblurring low-light images with light streaks and local events | |
Aghajarian et al. | Salt-and-pepper noise removal using modified mean filter and total variation minimization | |
JP2015166979A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP2011071930A (ja) | 画像処理装置、撮像装置、画像処理方法、並びにプログラム | |
JP4456096B2 (ja) | ノイズ除去方法および装置並びにプログラム | |
JP6514504B2 (ja) | 画像処理装置およびその制御方法、ならびにプログラム | |
JP2010113689A (ja) | 画像処理装置、撮像装置、画像処理方法、並びにプログラム | |
JP2017130167A (ja) | 画像処理装置、撮像装置および画像処理プログラム |