JP2013026669A - ノイズ低減装置、ノイズ低減方法及びプログラム - Google Patents

ノイズ低減装置、ノイズ低減方法及びプログラム Download PDF

Info

Publication number
JP2013026669A
JP2013026669A JP2011156659A JP2011156659A JP2013026669A JP 2013026669 A JP2013026669 A JP 2013026669A JP 2011156659 A JP2011156659 A JP 2011156659A JP 2011156659 A JP2011156659 A JP 2011156659A JP 2013026669 A JP2013026669 A JP 2013026669A
Authority
JP
Japan
Prior art keywords
image
image patch
noise reduction
patch
variance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011156659A
Other languages
English (en)
Other versions
JP5822157B2 (ja
Inventor
Masayuki Tanaka
正行 田中
Masatoshi Okutomi
正敏 奥富
Keitaro Yamauchi
啓大朗 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2011156659A priority Critical patent/JP5822157B2/ja
Publication of JP2013026669A publication Critical patent/JP2013026669A/ja
Application granted granted Critical
Publication of JP5822157B2 publication Critical patent/JP5822157B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Picture Signal Circuits (AREA)

Abstract

【課題】ノイズを含んでいる一枚の画像に対し、位置毎に異なるノイズ低減処理を簡単に行えるようにしたノイズ低減装置を提供する。
【解決手段】ノイズ低減装置は、画像から画像パッチ集合を生成する、画像パッチ集合生成部と、画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理部と、ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成する、画像合成部と、
を備える。
【選択図】図1

Description

本発明は、デジタル画像処理技術に関し、特に、デジタル画像のノイズを低減し、デノイズされた画像を得るためのノイズ低減装置、ノイズ低減方法及びプログラムに関する。
近年、画像取得装置の一つとして、デジタルカメラは急速に普及している。高品位な画質を得るために、デジタルカメラで撮影されたデジタル画像に対し、様々なデジタル画像処理が施される。数多くのデジタル画像処理(以下、単に、「画像処理」と言う。)の中で、ノイズ低減処理が画質に大きな影響を与えるため、大変重要な画像処理の一つであることが広く知られている。
従来では、例えば、非特許文献1、非特許文献2、及び特許文献1に開示されたように、デジタル画像(以下、単に、「画像」とも言う。)に含まれるノイズを低減するための画像ノイズ低減技術が数多く提案されている。
特許文献1には、ノイズ低減効果の低い部分の出現を抑え、画像全体として高いノイズ低減効果を得ることができる画像信号処理装置が開示されている。
特許文献1の画像信号処理装置は、画像信号に対して第1の平滑化処理を行うことで、ノイズ低減された第1の平滑化信号を生成する第1の平滑化信号生成部と、画像信号に対して第1の平滑化処理と異なる第2の平滑化処理を行うことで、ノイズ低減された第2の平滑化信号を生成する第2の平滑化信号生成部と、画像信号、第1の平滑化信号、及び第2の平滑化信号のいずれか1つの値に応じた混合割合に従って第1の平滑化信号と第2の平滑化信号とを混合処理する混合処理部とを備えることを主な特徴としている。
つまり、特許文献1では、画像に対してノイズ低減効果の異なる2つの平滑化処理を行い、それら2つの平滑化処理により生成された2つの平滑化信号を所定の混合割合で混合処理することにより、当該画像のノイズを低減するようにしている。
特開2011−87087号公報
ジェー. ポーティラ(J. Portilla)、ブィ. ストレラ(V. Strela)、エム. ジェー. ウェインライト(M. J. Wainwright)、イー. ピー. シモンセリ(E. P. Simoncelli)共著,「イメージ デノイジング ユージング スケール ミックスチャー オフ ガウシアン イン ザ ウェーブレット ドメイン (Image Denoising using Scale Mixture of Gaussians in the Wavelet Domain)」,IEEE トランスアクションズ オン イメージ プロセシング(IEEE Transactions on Image Processing),第12巻,第11号,p.1338-1351,2003年 エイ. ブアデス(A. Buades)、ビー. コル(B. Coll)、ジェー. エム. モレル(J.M. Morel)共著,「ア ノンローカル アルゴリズム フォー イメージ デノイジング (A non-local algorithm for image denoising)」,IEEE コンピュータ ソサイエティー カンファレンス オン コンピュータ ビジョン アンド パターン レコグニション (IEEE Computer Society Conference on Computer Vision and Pattern Recognition),第2巻,p.60-65,2005年
ところで、自然画像は、その画素位置(又は画像領域)によりテクスチャやエッジが大きく異なるという性質を有している。
しかし、従来のノイズ低減技術(例えば、非特許文献1及び非特許文献2を参照)の殆どは、テクスチャ領域・エッジ領域を問わず、画像全体に対して均質的にノイズ低減処理を行うものであり、つまり、画像領域毎(又は画素位置毎)に異なるノイズ低減処理を行っていない。
また、特許文献1では、2つの平滑化処理により生成された2つの平滑化信号を混合処理する際の混合割合は、画像の箇所毎(画素位置毎)に異なる値となっているものの、基本的に、特許文献1において、画像のノイズを低減するために、2種類の平滑化処理しか行っておらず、画像の箇所毎(画素位置毎)に異なる処理とはなっていない。
本発明は、上述のような事情よりなされたものであり、本発明の目的は、ノイズを含んでいる一枚の画像に対し、位置毎に異なるノイズ低減処理を簡単に行えるようにした、ノイズ低減装置、ノイズ低減方法及びプログラムを提供することにある。
本発明は、ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減装置に関し、本発明の上記目的は、前記画像から画像パッチ集合を生成する、画像パッチ集合生成部と、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理部と、前記ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、前記デノイズされた画像を合成する、画像合成部とを備え、前記ノイズ低減処理部は、前記全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する、平均ベクトル算出部と、前記画像パッチ集合、及び前記平均ベクトル算出部で算出された平均ベクトルに基づき、前記全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する、分散共分散行列算出部と、固有値固有ベクトル算出処理を行うことにより、前記分散共分散行列算出部で算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する、固有値固有ベクトル算出部と、前記固有値固有ベクトル算出部で算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する、基底行列生成部と、前記全ての画像パッチに対し、各画像パッチ、前記平均ベクトル算出部で算出された各画像パッチに対応する平均ベクトル、及び、前記基底行列生成部で生成された各画像パッチに対応する基底行列に基づき、画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する、画像パッチ射影部とを備えることによって効果的に達成される。
また、本発明の上記目的は、ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減装置であって、前記画像に対し、フィルタリング処理を行うことにより、フィルタリングされた画像を生成する、フィルタリング処理部と、前記画像から画像パッチ集合を生成するとともに、前記フィルタリングされた画像からフィルタリングされた画像パッチ集合を生成する、画像パッチ集合生成部と、前記画像パッチ集合及び前記フィルタリングされた画像パッチ集合に基づき、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理部と、前記ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、前記デノイズされた画像を合成する、画像合成部とを備え、前記ノイズ低減処理部は、前記画像パッチ集合及び前記フィルタリングされた画像パッチ集合に基づき、前記全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する、平均ベクトル算出部と、前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記平均ベクトル算出部で算出された平均ベクトルに基づき、前記全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する、分散共分散行列算出部と、固有値固有ベクトル算出処理を行うことにより、前記分散共分散行列算出部で算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する、固有値固有ベクトル算出部と、前記固有値固有ベクトル算出部で算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する、基底行列生成部と、前記全ての画像パッチに対し、各画像パッチ、前記平均ベクトル算出部で算出された各画像パッチに対応する平均ベクトル、及び、前記基底行列生成部で生成された各画像パッチに対応する基底行列に基づき、画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する、画像パッチ射影部とを備えることによって効果的に達成される。
また、本発明の上記目的は、ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減装置であって、予め撮影された一枚以上の画像を格納する画像データベースと、前記画像から画像パッチ集合を生成するとともに、前記画像データベースに格納されている画像からデータベース画像パッチ集合を生成する、画像パッチ集合生成部と、前記画像パッチ集合及び前記データベース画像パッチ集合に基づき、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理部と、前記ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、前記デノイズされた画像を合成する、画像合成部とを備え、前記ノイズ低減処理部は、前記画像パッチ集合及び前記データベース画像パッチ集合に基づき、前記全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する、平均ベクトル算出部と、前記画像パッチ集合、前記データベース画像パッチ集合、及び前記平均ベクトル算出部で算出された平均ベクトルに基づき、前記全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する、分散共分散行列算出部と、固有値固有ベクトル算出処理を行うことにより、前記分散共分散行列算出部で算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する、固有値固有ベクトル算出部と、前記固有値固有ベクトル算出部で算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する、基底行列生成部と、前記全ての画像パッチに対し、各画像パッチ、前記平均ベクトル算出部で算出された各画像パッチに対応する平均ベクトル、及び、前記基底行列生成部で生成された各画像パッチに対応する基底行列に基づき、画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する、画像パッチ射影部とを備えることによって効果的に達成される。
また、本発明の上記目的は、ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減装置であって、前記画像に対し、フィルタリング処理を行うことにより、フィルタリングされた画像を生成する、フィルタリング処理部と、予め撮影された一枚以上の画像を格納する画像データベースと、前記フィルタリングされた画像からフィルタリングされた画像パッチ集合を生成するとともに、前記画像データベースに格納されている画像からデータベース画像パッチ集合を生成し、さらに、前記画像から画像パッチ集合を生成する、画像パッチ集合生成部と、前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記データベース画像パッチ集合に基づき、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理部と、前記ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、前記デノイズされた画像を合成する、画像合成部とを備え、前記ノイズ低減処理部は、前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記データベース画像パッチ集合に基づき、前記全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する、平均ベクトル算出部と、前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、前記データベース画像パッチ集合、及び前記平均ベクトル算出部で算出された平均ベクトルに基づき、前記全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する、分散共分散行列算出部と、固有値固有ベクトル算出処理を行うことにより、前記分散共分散行列算出部で算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する、固有値固有ベクトル算出部と、前記固有値固有ベクトル算出部で算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する、基底行列生成部と、前記全ての画像パッチに対し、各画像パッチ、前記平均ベクトル算出部で算出された各画像パッチに対応する平均ベクトル、及び、前記基底行列生成部で生成された各画像パッチに対応する基底行列に基づき、画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する、画像パッチ射影部とを備えることによって効果的に達成される。
また、本発明の上記目的は、ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減装置であって、フィルタリング処理部と、画像データベースと、画像パッチ集合生成部と、ノイズ低減処理部と、画像合成部とを備え、前記ノイズ低減装置では、前記フィルタリング処理部が、前記画像に対し、フィルタリング処理を行うことにより、フィルタリングされた画像を生成し、前記画像パッチ集合生成部が、前記画像から画像パッチ集合を生成するとともに、前記フィルタリングされた画像からフィルタリングされた画像パッチ集合を生成し、前記ノイズ低減処理部が、前記画像パッチ集合及び前記フィルタリングされた画像パッチ集合に基づき、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成し、前記画像合成部が、前記ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成し、前記デノイズされた画像が、前記画像データベースの画像として、前記画像データベースに格納され、前記画像パッチ集合生成部が、前記画像データベースに格納されている画像に対して、データベース画像パッチ集合生成処理を行うことにより、データベース画像パッチ集合を生成し、前記ノイズ低減処理部が、前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記データベース画像パッチ集合に基づき、前記全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成し、前記画像合成部が、前記ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成し、繰り返し処理終了条件を満たしたと判定された場合に、前記デノイズされた画像を前記ノイズ低減装置が生成したデノイズされた画像とし、前記繰り返し処理終了条件を満たさないと判定された場合に、前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記データベース画像パッチ集合に基づいて行われるノイズ低減処理を繰り返し行うことにより、デノイズされた画像パッチを生成し、生成したデノイズされた画像パッチを前記画像データベースの画像とすることによって効果的に達成される。
本発明に係るノイズ低減装置によれば、ノイズを含んでいる一枚の画像に対し、画像パッチ毎に異なるパラメータによるノイズ低減処理を行った上で、デノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を得るようにしているので、ノイズを含む画像の位置毎に異なるノイズ低減処理を簡単に行うことが可能になり、当該画像の領域(テクスチャ領域・エッジ領域)別に最適なノイズ低減効果を得ることができる。
本発明の発明者らは、異なるレベルのノイズを付加した12枚のデジタル画像に対し、非特許文献1に記載された従来のノイズ低減方法を用いてノイズ低減を行った結果、非特許文献2に記載された従来のノイズ低減方法を用いてノイズ低減を行った結果、及び、本発明に係るノイズ低減方法を用いてノイズ低減を行った結果を比較することにより、本発明のノイズ低減効果を検証した。
表1は、異なるレベルのノイズが付加されたデジタル画像に対して、非特許文献1によるノイズ低減方法、非特許文献2によるノイズ低減方法、及び本発明によるノイズ低減方法を用いて、ノイズ低減を行って得られた結果画像(即ち、デノイズされた画像)のPSNR(Peak Signal-to-Noise Ratio)を示している。
PSNRは画質指標の一つであり、PSNRの値が高いほど、結果画像(デノイズされた画像)が原画像(ノイズが付加されていないデジタル画像)に近いことを意味する。
表1の結果から、本発明に係るノイズ低減方法によるノイズ低減効果が一番高いことは、はっきりと確認された。
Figure 2013026669
本発明に係るノイズ低減装置の第1実施形態(ノイズ低減装置1)を示すブロック構成図である。 本発明に係るノイズ低減装置の画像パッチ集合生成部で行われる画像パッチ集合生成処理を説明するための模式図である。 本発明に係るノイズ低減装置1のノイズ低減処理部20の実施形態を示すブロック構成図である。 本発明に係るノイズ低減装置の第2実施形態(ノイズ低減装置2)を示すブロック構成図である。 本発明に係るノイズ低減装置2のノイズ低減処理部21の実施形態を示すブロック構成図である。 本発明に係るノイズ低減装置の第3実施形態(ノイズ低減装置3)を示すブロック構成図である。 本発明に係るノイズ低減装置3のノイズ低減処理部22の実施形態を示すブロック構成図である。 本発明に係るノイズ低減装置の第4実施形態(ノイズ低減装置4)を示すブロック構成図である。 本発明に係るノイズ低減装置4のノイズ低減処理部23の実施形態を示すブロック構成図である。 本発明に係るノイズ低減装置の第5実施形態(ノイズ低減装置5)を示すブロック構成図である。 本発明に係るノイズ低減装置5の処理流れを示すフロー図である。
本発明は、ノイズを含んでいる一枚の画像に対し、位置毎に異なるノイズ低減処理を簡単に行えるようにした、ノイズ低減装置、ノイズ低減方法及びプログラムに関する。
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
図1は、本発明に係るノイズ低減装置の第1実施形態(以下、単に「ノイズ低減装置1」とも言う。)を示すブロック構成図である。以下、図1を用いて、ノイズ低減装置1を詳細に説明する。
図1に示すように、ノイズ低減装置1は、ノイズを含む一枚のデジタル静止画像(以下、単に、「入力画像」又は「画像」とも言う。)から、デノイズされた画像を得るための装置であり、入力画像から画像パッチ集合を生成する画像パッチ集合生成部10と、画像パッチ集合生成部10で生成された画像パッチ集合に属する全ての画像パッチに対して、ノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理部20と、ノイズ低減処理部20で得られた全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を得る、画像合成部30とから構成される。
本発明では、デジタル静止画像であれば、複数チャネル画像・単一チャネル画像を問わず、本発明に係るノイズ低減技術を適用し、その画像のデノイズされた画像を簡単に得ることができる。
また、デジタル静止画像に限らず、動画像のフレームに、本発明に係るノイズ低減技術を適用し、そのフレームのデノイズされた画像(デノイズされたフレーム)を簡単に得ることが可能であり、本発明を動画像のノイズ低減にも適用することができると言える。
以下、説明上の便宜から、本発明のノイズ低減装置に入力されるデジタル画像は、例えば、グレースケール画像のような単一チャネル画像(即ち、単一のカラーチャネルを持つ画像)であることを前提とする。
また、本発明に係るノイズ低減技術を複数チャネル画像(複数のカラーチャネルを持つカラー画像)に適用する場合に、各カラーチャネルに対して、後述のような、単一チャネル画像を入力画像とする本発明に係るノイズ低減装置で行われる処理を繰り返せばよい。
図1に示すように、ノイズ低減装置1では、まず、画像パッチ集合生成部10が、入力画像から、当該入力画像の画像パッチ集合を生成する。
具体的に、画像パッチ集合生成部10は、入力画像から画像パッチ集合を得るために、入力画像に対して、画像パッチ集合生成処理を行うことにより、画像パッチ集合を生成する。画像パッチ集合生成処理は、図2に示すように、入力画像に対して、画素位置をずらしながら、複数の画像パッチを生成する処理である。
本発明では、画像パッチ集合生成処理において、画素位置のずらし量を任意に設定することができるが、ずらし量の一具体例として、1画素であり、つまり、画素位置を1画素ずらしながら、複数の画像パッチを生成する。
本発明では、画像パッチ集合生成処理により得られた複数の画像パッチを一つの集合(即ち、画像パッチ集合)としている。画像パッチは、その画像パッチに属する全ての画素の画素値を一列に並べることにより、列ベクトルに変換することができる。つまり、一つの画像パッチは、一つの列ベクトルに対応する。
以下、画像パッチの一具体例として、画像内のm画素×n画素の矩形領域を画像パッチとする(図2を参照する。)。説明上の便宜から、以下の説明では、画像パッチを矩形領域(m画素×n画素)としているが、本発明において、画像パッチは矩形領域に限定されることがなく、任意の形状(例えば、多角形)を有する領域を画像パッチとすることができる。
次に、ノイズ低減装置1では、図1に示すように、ノイズ低減処理部20が、画像パッチ集合生成部10で生成された画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する。
そして、ノイズ低減装置1では、図1に示すように、画像合成部30が、ノイズ低減処理部20で得られた全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成する。
ここで、画像合成部30にて行われる画像合成処理とは、ノイズ低減された全ての画像パッチ(即ち、ノイズ低減処理部20で得られた全てのデノイズされた画像パッチ)を画像の元の画素位置に戻す処理であり、つまり、デノイズされた画像パッチの画素値を画像の元の画素位置に対応するデノイズされた画像の画素値とする処理である。
ところで、図2にも示されるように、画像パッチ集合生成部10では、画像パッチ集合生成処理により入力画像から複数の画像パッチを生成する際に、画素位置を所定個数の画素(例えば、1画素)ずらしながら、画像パッチ同士が重なりあうように、画像パッチが生成される。
このように重なりあって生成された各画像パッチに対し、それぞれノイズ低減処理を行うと、画像パッチが重なっている画素において、画素値が一致しないことになる。つまり、画素位置によって、複数のデノイズされた画像パッチに対応する画素があれば、一つのデノイズされた画素パッチに対応する画素もある。
そこで、本発明は、このような画像パッチが重なっている画素(即ち、複数のデノイズされた画像パッチに対応する画素)に対し、これら複数のデノイズされた画像パッチの画素値を平均し、その平均値を画像合成処理後の画素値(即ち、デノイズされた画像の画素値)とするように、画像合成処理を行う。なお、本発明では、複数のデノイズされた画像パッチの画素値を平均する際に、単純平均のかわりに、重み付き平均を用いても良い。
このようにして、本発明のノイズ低減装置1によれば、ノイズを含む入力画像から、その画像のデノイズされた画像を得ることができる。
次に、本発明に係るノイズ低減装置1のノイズ低減処理部20の実施形態について説明する。ノイズ低減処理部20は、画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する。
図3は、本発明に係るノイズ低減装置1のノイズ低減処理部20の実施形態を示すブロック構成図である。
図3に示されたように、ノイズ低減処理部20は、平均ベクトル算出部210と、分散共分散行列算出部220と、固有値固有ベクトル算出部230と、基底行列生成部240と、画像パッチ射影部250とから構成され、画像パッチ集合に属する全ての画像パッチに対し、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する。
既述したように、一つの画像パッチは、一つの列ベクトルに対応する。よって、画像パッチ集合を列ベクトルの集合とすることが可能になり、画像パッチ集合を意味する列ベクトル並べた行列
Figure 2013026669
は、下記数1によって表すことができる。以下、この行列
Figure 2013026669
を単に「画像パッチ集合」とも言う。
Figure 2013026669
ここで、
Figure 2013026669
は入力画像におけるk番目の画像パッチに対応する列ベクトルを表す。以下、この列ベクトル
Figure 2013026669
を単に「k番目の画像パッチ」、又は
Figure 2013026669
とも言う。また、Nは画像パッチ集合の要素数を表す。つまり、Nは入力画像から得られた複数の画像パッチの個数である。
図3に示すように、ノイズ低減処理部20では、まず、平均ベクトル算出部210が、画像パッチ集合に属する全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する。
ここで、説明の便宜上、k番目の画像パッチに対し、平均ベクトル算出部210にて行われる平均ベクトル算出処理だけを説明する。
平均ベクトル算出部210では、下記数2及び数3に基づき、平均ベクトル算出処理を行うことにより、画像パッチ
Figure 2013026669
に対応する平均ベクトル
Figure 2013026669
を算出する。
Figure 2013026669
Figure 2013026669
ここで、
Figure 2013026669
は、画像パッチ
Figure 2013026669
と画像パッチ
Figure 2013026669
の間の類似度に基づく重み関数である。画像パッチ
Figure 2013026669
と画像パッチ
Figure 2013026669
の間の類似度が大きければ、重み
Figure 2013026669
が大きくなるように設定される。即ち、ノイズ低減装置1で使用される重み
Figure 2013026669
は、入力画像の画像パッチ間の類似度に基づいて設定されている。重み関数
Figure 2013026669
の具体例については、後述する。
次に、ノイズ低減処理部20では、分散共分散行列算出部220が、画像パッチ集合、及び平均ベクトル算出部210で算出された平均ベクトルに基づき、画像パッチ集合に属する全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する。
分散共分散行列算出部220では、下記数4に基づき、分散共分散行列算出処理を行うことにより、画像パッチ
Figure 2013026669
に対応する分散共分散行列
Figure 2013026669
を算出する。
Figure 2013026669
ここで、重み関数
Figure 2013026669
の具体実施例について説明する。
第1例として、下記数5で表す関数を重み関数
Figure 2013026669
として用いることができる。
Figure 2013026669
ただし、
Figure 2013026669
は類似度評価における標準偏差を表す。また、
Figure 2013026669
はユークリッドノルムを表す。
また、第2例として、下記数6で表す二値出力の重み関数を重み関数
Figure 2013026669
として用いることができる。
Figure 2013026669
ただし、τは所定の定数である。
更に、第3例として、下記数7で表す重み関数を重み関数
Figure 2013026669
として用いることができる。
Figure 2013026669
次に、ノイズ低減処理部20では、固有値固有ベクトル算出部230が、固有値固有ベクトル算出処理を行うことにより、分散共分散行列算出部220で算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する。
次に、ノイズ低減処理部20では、基底行列生成部240が、固有値固有ベクトル算出部230で算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する。
ここで、基底行列生成部240の2つの実施形態について説明する。
基底行列生成部240の第1実施形態では、下記数8に基づき、基底行列生成処理を行うことにより、画像パッチ
Figure 2013026669
に対応する基底行列
Figure 2013026669
を生成する。
Figure 2013026669
ただし、
Figure 2013026669
は画像パッチ
Figure 2013026669
に対応する分散共分散行列
Figure 2013026669
に大きな固有値に対応する固有ベクトルである。また、Lは予め設定された所定のパラメータであり、基底の個数を表す。
また、基底行列生成部240の第2実施形態では、固有値の値を利用して、上記数8に基づき、基底行列生成処理を行うことにより、画像パッチ
Figure 2013026669
に対応する基底行列を生成する。
ただし、基底行列生成部240の第2実施形態では、
Figure 2013026669
を満足するとする。ここで、
Figure 2013026669
は固有ベクトル
Figure 2013026669
に対応する固有値である。また、ρは予め設定された所定のパラメータである。
なお、基底行列生成部240の第2実施形態では、パラメータρを予め設定せず、
Figure 2013026669
に基づき、パラメータρを設定するようにしても良い。ここで、
Figure 2013026669
は入力画像のノイズの分散を表す。また、rは予め設定された所定のパラメータである。一例として、例えば、rの値を5と設定する。つまり、パラメータρを入力画像のノイズの分散の定数倍と設定するようにしても良い。
次に、ノイズ低減処理部20では、画像パッチ射影部250が、画像パッチ集合に属する全ての画像パッチに対し、各画像パッチ、平均ベクトル算出部210で算出された各画像パッチに対応する平均ベクトル、及び、基底行列生成部240で生成された各画像パッチに対応する基底行列に基づき、画像パッチの射影を算出する画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチ(即ち、射影された画像パッチ)を生成する。
画像パッチ射影部250では、画像パッチ
Figure 2013026669
平均ベクトル
Figure 2013026669
及び基底行列
Figure 2013026669
を用いて、下記数9に基づき、画像パッチ射影処理を行うことにより、画像パッチ
Figure 2013026669
のデノイズされた画像パッチ
Figure 2013026669
を生成する。
Figure 2013026669
上述のようにして、本発明のノイズ低減装置1のノイズ低減処理部20が、画像パッチ集合に属する全ての画像パッチのデノイズされた画像パッチを生成することができる。
上記から分かるように、本発明では、画像パッチに対して行われるノイズ低減処理は、画像パッチをアフィン空間に射影する、画像パッチ射影処理を意味し、アフィン空間に射影された画像パッチは、デノイズされた画像パッチとなる。
つまり、画像パッチ
Figure 2013026669
のデノイズされた画像パッチ
Figure 2013026669
は、画像パッチ
Figure 2013026669
をアフィン空間に射影することで得られた、アフィン空間に射影された画像パッチである。
ただし、平均ベクトル算出部210で算出された平均ベクトル
Figure 2013026669
は、画像パッチ
Figure 2013026669
に対応するアフィン空間の原点となる。また、基底行列生成部240で生成された基底行列
Figure 2013026669
は、画像パッチ
Figure 2013026669
に対応するアフィン空間の基底行列となる。
要するに、ノイズ低減処理部20にて行われる「画像パッチ毎に、異なるパラメータによるノイズ低減処理」とは、各画像パッチを異なるアフィン空間(異なる原点と基底行列を持つアフィン空間)に射影することである。
図4は、本発明に係るノイズ低減装置の第2実施形態(以下、単に「ノイズ低減装置2」とも言う。)を示すブロック構成図である。以下、図4を用いて、ノイズ低減装置2を詳細に説明する。
図4に示すように、ノイズ低減装置2は、ノイズを含む入力画像から、デノイズされた画像を得るための装置であり、入力画像に対し、フィルタリング処理を行うフィルタリング処理部40と、入力画像から画像パッチ集合を生成するとともに、フィルタリングされた画像からフィルタリングされた画像パッチ集合を生成する画像パッチ集合生成部11と、画像パッチ集合及びフィルタリングされた画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成するノイズ低減処理部21と、ノイズ低減処理部21で得られた全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を得る画像合成部30とから構成される。
図4に示すように、ノイズ低減装置2では、まず、フィルタリング処理部40が、入力画像に対し、所定のフィルタを用いてフィルタリング処理を行うことにより、フィルタリングされた画像を生成する。
ここで、所定のフィルタとして、例えば、ローパスフィルタや、バイラテラルフィルタを用いることができる。
また、離散コサイン変換(DCT)を用いて入力画像を周波数領域へ変換し、変換された周波数領域で閾値処理を施す処理を、フィルタリング処理部40にて行われるフィルタリング処理とすることもできる。
次に、ノイズ低減装置2では、図4に示すように、画像パッチ集合生成部11が、入力画像から当該入力画像の画像パッチ集合を生成するとともに、フィルタリング処理部40で得られたフィルタリングされた画像からフィルタリングされた画像パッチ集合を生成する。
具体的に、画像パッチ集合生成部11は、入力画像に対して、画像パッチ集合生成処理を行うことにより、画像パッチ集合を生成するとともに、フィルタリングされた画像に対して、フィルタリングされた画像パッチ集合生成処理を行うことにより、フィルタリングされた画像パッチ集合を生成する。
ここで、画像パッチ集合生成処理は、前述したノイズ低減装置1の画像パッチ集合生成部10にて行われる画像パッチ集合生成処理と同じであるため、その詳細な説明は省略する。
また、フィルタリングされた画像パッチ集合生成処理は、基本的に、画像パッチ集合生成処理と同じであるため、その詳細な説明は省略する。
ただし、画像パッチ集合生成処理は、入力画像に対して、その画素位置をずらしながら、複数の画像パッチを生成する処理であるのに対し、フィルタリングされた画像パッチ集合生成処理は、フィルタリングされた画像に対して、その画素位置をずらしながら、複数のフィルタリングされた画像パッチを生成する処理である。
次に、ノイズ低減装置2では、図4に示すように、ノイズ低減処理部21が、画像パッチ集合生成部11で生成された画像パッチ集合及びフィルタリングされた画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する。
そして、ノイズ低減装置2では、図4に示すように、画像合成部30が、ノイズ低減処理部21で得られた全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成する。
ここで、画像合成処理は、前述したノイズ低減装置1の画像合成部30にて行われる画像合成処理と同じであるため、その詳細な説明は省略する。
このようにして、本発明のノイズ低減装置2によれば、ノイズを含む入力画像から、その画像のデノイズされた画像を得ることができる。
次に、本発明に係るノイズ低減装置2のノイズ低減処理部21の実施形態について説明する。ノイズ低減処理部21は、画像パッチ集合及びフィルタリングされた画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する。
図5は、本発明に係るノイズ低減装置2のノイズ低減処理部21の実施形態を示すブロック構成図である。
図5に示されたように、ノイズ低減処理部21は、平均ベクトル算出部211と、分散共分散行列算出部221と、固有値固有ベクトル算出部230と、基底行列生成部240と、画像パッチ射影部250とから構成され、画像パッチ集合及びフィルタリングされた画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対し、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する。
図5に示すように、ノイズ低減処理部21では、まず、平均ベクトル算出部211が、画像パッチ集合及びフィルタリングされた画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する。
ここで、説明の便宜上、k番目の画像パッチに対し、平均ベクトル算出部211にて行われる平均ベクトル算出処理だけを説明する。
平均ベクトル算出部211では、下記数10及び数11に基づき、平均ベクトル算出処理を行うことにより、画像パッチ
Figure 2013026669
に対応する平均ベクトル
Figure 2013026669
を算出する。
Figure 2013026669
Figure 2013026669
ここで、
Figure 2013026669
は、画像パッチ集合生成部11で生成されたフィルタリングされた画像パッチ集合におけるk番目のフィルタリングされた画像パッチを表し、以下、単に
Figure 2013026669
とも言う。
Figure 2013026669
はフィルタリングされた画像パッチ
Figure 2013026669
とフィルタリングされた画像パッチ
Figure 2013026669
の間の類似度に基づく重み関数である。フィルタリングされた画像パッチ
Figure 2013026669
とフィルタリングされた画像パッチ
Figure 2013026669
の間の類似度が大きければ、重み
Figure 2013026669
が大きくなるように設定される。即ち、重み関数
Figure 2013026669
は、重み関数
Figure 2013026669
と同じように設定すれば良いので、その具体例の説明は省略する。ただし、ノイズ低減装置2で使用される重み
Figure 2013026669
は、フィルタリングされた画像パッチ間の類似度に基づいて設定されている。
次に、ノイズ低減処理部21では、分散共分散行列算出部221が、画像パッチ集合、フィルタリングされた画像パッチ集合、及び平均ベクトル算出部211で算出された平均ベクトルに基づき、画像パッチ集合に属する全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する。
分散共分散行列算出部221では、下記数12に基づき、分散共分散行列算出処理を行うことにより、画像パッチ
Figure 2013026669
に対応する分散共分散行列
Figure 2013026669
を算出する。
Figure 2013026669
次に、ノイズ低減処理部21では、固有値固有ベクトル算出部230が、固有値固有ベクトル算出処理を行うことにより、分散共分散行列算出部221で算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する。
次に、ノイズ低減処理部21では、基底行列生成部240が、固有値固有ベクトル算出部230で算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する。
ここで、ノイズ低減処理部21の基底行列生成部240にて行われる処理は、前述したノイズ低減処理部20の基底行列生成部240にて行われる処理と同じであるため、その詳細な説明は省略する。
次に、ノイズ低減処理部21では、画像パッチ射影部250が、画像パッチ集合に属する全ての画像パッチに対し、各画像パッチ、平均ベクトル算出部211で算出された各画像パッチに対応する平均ベクトル、及び、基底行列生成部240で生成された各画像パッチに対応する基底行列に基づき、画像パッチの射影を算出する画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチ(即ち、射影された画像パッチ)を生成する。
ここで、ノイズ低減処理部21の画像パッチ射影部250にて行われる処理は、前述したノイズ低減処理部20の画像パッチ射影部250にて行われる処理と同じであるため、その詳細な説明は省略する。
上述のようにして、本発明のノイズ低減装置2のノイズ低減処理部21が、画像パッチ集合及びフィルタリングされた画像パッチ集合に基づいて、画像パッチ集合に属する全ての画像パッチのデノイズされた画像パッチを生成することができる。
図6は、本発明に係るノイズ低減装置の第3実施形態(以下、単に「ノイズ低減装置3」とも言う。)を示すブロック構成図である。以下、図6を用いて、ノイズ低減装置3を詳細に説明する。
図6に示すように、ノイズ低減装置3は、ノイズを含む入力画像から、デノイズされた画像を得るための装置であり、予め撮影された一枚以上の画像を格納する画像データベース50と、入力画像から画像パッチ集合を生成するとともに、画像データベース50に格納されている画像からデータベース画像パッチ集合を生成する画像パッチ集合生成部12と、画像パッチ集合及びデータベース画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対して、ノイズ低減処理を行うことにより、デノイズされた画像パッチを生成するノイズ低減処理部22と、ノイズ低減処理部22で得られた全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を得る画像合成部30とから構成される。
図6に示すように、ノイズ低減装置3では、まず、画像パッチ集合生成部12が、入力画像から当該入力画像の画像パッチ集合を生成するとともに、画像データベース50に格納されている画像からデータベース画像パッチ集合を生成する。
具体的に、画像パッチ集合生成部12は、入力画像に対して、画像パッチ集合生成処理を行うことにより、画像パッチ集合を生成するとともに、画像データベース50に格納されている画像に対して、データベース画像パッチ集合生成処理を行うことにより、データベース画像パッチ集合を生成する。
ここで、画像パッチ集合生成処理は、前述したノイズ低減装置1の画像パッチ集合生成部10にて行われる画像パッチ集合生成処理と同じであるため、その詳細な説明は省略する。
また、データベース画像パッチ集合生成処理は、基本的に、画像パッチ集合生成処理と同じであるため、その詳細な説明は省略する。
ただし、画像パッチ集合生成処理は、入力画像に対して、その画素位置をずらしながら、複数の画像パッチを生成する処理であるのに対し、データベース画像パッチ集合生成処理は、画像データベース50に格納されている画像に対して、その画素位置をずらしながら、複数のデータベース画像パッチを生成する処理である。
次に、ノイズ低減装置3では、図6に示すように、ノイズ低減処理部22が、画像パッチ集合生成部12で生成された画像パッチ集合及びデータベース画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する。
そして、ノイズ低減装置3では、図6に示すように、画像合成部30が、ノイズ低減処理部22で得られた全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成する。
ここで、画像合成処理は、前述したノイズ低減装置1の画像合成部30にて行われる画像合成処理と同じであるため、その詳細な説明は省略する。
このようにして、本発明のノイズ低減装置3によれば、ノイズを含む入力画像から、その画像のデノイズされた画像を得ることができる。
次に、本発明に係るノイズ低減装置3のノイズ低減処理部22の実施形態について説明する。ノイズ低減処理部22は、画像パッチ集合及びデータベース画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する。
図7は、本発明に係るノイズ低減装置3のノイズ低減処理部22の実施形態を示すブロック構成図である。
図7に示されたように、ノイズ低減処理部22は、平均ベクトル算出部212と、分散共分散行列算出部222と、固有値固有ベクトル算出部230と、基底行列生成部240と、画像パッチ射影部250とから構成され、画像パッチ集合及びデータベース画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対し、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する。
図7に示すように、ノイズ低減処理部22では、まず、平均ベクトル算出部212が、画像パッチ集合及びデータベース画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する。
ここで、説明の便宜上、k番目の画像パッチに対し、平均ベクトル算出部212にて行われる平均ベクトル算出処理だけを説明する。
平均ベクトル算出部212では、下記数13及び数14に基づき、平均ベクトル算出処理を行うことにより、画像パッチ
Figure 2013026669
に対応する平均ベクトル
Figure 2013026669
を算出する。
Figure 2013026669
Figure 2013026669
ここで、
Figure 2013026669
は、画像パッチ集合生成部12で生成されたデータベース画像パッチ集合におけるi番目のデータベース画像パッチを表し、以下、単に
Figure 2013026669
とも言う。Mはデータベース画像パッチ集合の要素数である。
Figure 2013026669
はデータベース画像パッチ
Figure 2013026669
と画像パッチ
Figure 2013026669
の間の類似度に基づく重み関数である。データベース画像パッチ
Figure 2013026669
と画像パッチ
Figure 2013026669
の間の類似度が大きければ、重み
Figure 2013026669
が大きくなるように設定される。即ち、重み関数
Figure 2013026669
は、重み関数
Figure 2013026669
と同じように設定すれば良いので、その具体例の説明は省略する。ただし、ノイズ低減装置3で使用される重み
Figure 2013026669
は、データベース画像パッチと画像パッチの間の類似度に基づいて設定されている。
次に、ノイズ低減処理部22では、分散共分散行列算出部222が、画像パッチ集合、データベース画像パッチ集合、及び平均ベクトル算出部212で算出された平均ベクトルに基づき、画像パッチ集合に属する全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する。
分散共分散行列算出部222では、下記数15に基づき、分散共分散行列算出処理を行うことにより、画像パッチ
Figure 2013026669
に対応する分散共分散行列
Figure 2013026669
を算出する。
Figure 2013026669
次に、ノイズ低減処理部22では、固有値固有ベクトル算出部230が、固有値固有ベクトル算出処理を行うことにより、分散共分散行列算出部222で算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する。
次に、ノイズ低減処理部22では、基底行列生成部240が、固有値固有ベクトル算出部230で算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する。
ここで、ノイズ低減処理部22の基底行列生成部240にて行われる処理は、前述したノイズ低減処理部20の基底行列生成部240にて行われる処理と同じであるため、その詳細な説明は省略する。
次に、ノイズ低減処理部22では、画像パッチ射影部250が、画像パッチ集合に属する全ての画像パッチに対し、各画像パッチ、平均ベクトル算出部212で算出された各画像パッチに対応する平均ベクトル、及び、基底行列生成部240で生成された各画像パッチに対応する基底行列に基づき、画像パッチの射影を算出する画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する。
ここで、ノイズ低減処理部22の画像パッチ射影部250にて行われる処理は、前述したノイズ低減処理部20の画像パッチ射影部250にて行われる処理と同じであるため、その詳細な説明は省略する。
上述のようにして、本発明のノイズ低減装置3のノイズ低減処理部22が、画像パッチ集合及びデータベース画像パッチ集合に基づいて、画像パッチ集合に属する全ての画像パッチのデノイズされた画像パッチを生成することができる。
図8は、本発明に係るノイズ低減装置の第4実施形態(以下、単に「ノイズ低減装置4」とも言う。)を示すブロック構成図である。以下、図8を用いて、ノイズ低減装置4を詳細に説明する。
図8に示すように、ノイズ低減装置4は、ノイズを含む入力画像から、デノイズされた画像を得るための装置であり、入力画像に対し、フィルタリング処理を行うフィルタリング処理部40と、予め撮影された一枚以上の画像を格納する画像データベース50と、フィルタリングされた画像からフィルタリングされた画像パッチ集合を生成するとともに、画像データベース50に格納されている画像からデータベース画像パッチ集合を生成し、さらに、入力画像から画像パッチ集合を生成する画像パッチ集合生成部13と、画像パッチ集合、フィルタリングされた画像パッチ集合及びデータベース画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成するノイズ低減処理部23と、ノイズ低減処理部23で得られた全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を得る画像合成部30とから構成される。
図8に示すように、ノイズ低減装置4では、まず、フィルタリング処理部40が、入力画像に対し、所定のフィルタを用いてフィルタリング処理を行うことにより、フィルタリングされた画像を生成する。
ここで、ノイズ低減装置4のフィルタリング処理部40にて行われる処理は、前述したノイズ低減装置2のフィルタリング処理部40にて行われる処理と同じであるため、その詳細な説明は省略する。
次に、ノイズ低減装置4では、図8に示すように、画像パッチ集合生成部13が、フィルタリングされた画像からフィルタリングされた画像パッチ集合を生成するとともに、画像データベース50に格納されている画像からデータベース画像パッチ集合を生成し、さらに、入力画像から画像パッチ集合を生成する。
具体的に、画像パッチ集合生成部13は、フィルタリングされた画像に対して、フィルタリングされた画像パッチ集合生成処理を行うことにより、フィルタリングされた画像パッチ集合を生成するとともに、画像データベース50に格納されている画像に対して、データベース画像パッチ集合生成処理を行うことにより、データベース画像パッチ集合を生成し、さらに、入力画像に対して、画像パッチ集合生成処理を行うことにより、画像パッチ集合を生成する。
ここで、フィルタリングされた画像パッチ集合生成処理は、前述したノイズ低減装置2の画像パッチ集合生成部11にて行われるフィルタリングされた画像パッチ集合生成処理と同じであるため、その詳細な説明は省略する。
また、データベース画像パッチ集合生成処理は、前述したノイズ低減装置3の画像パッチ集合生成部12にて行われるデータベース画像パッチ集合生成処理と同じであるため、その詳細な説明は省略する。
また、画像パッチ集合生成処理は、前述したノイズ低減装置1の画像パッチ集合生成部10にて行われる画像パッチ集合生成処理と同じであるため、その詳細な説明は省略する。
次に、ノイズ低減装置4では、図8に示すように、ノイズ低減処理部23が、画像パッチ集合生成部13で生成された、画像パッチ集合、フィルタリングされた画像パッチ集合及びデータベース画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する。
そして、ノイズ低減装置4では、図8に示すように、画像合成部30が、ノイズ低減処理部23で得られた全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成する。
ここで、画像合成処理は、前述したノイズ低減装置1の画像合成部30にて行われる画像合成処理と同じであるため、その詳細な説明は省略する。
このようにして、本発明のノイズ低減装置4によれば、ノイズを含む入力画像から、その画像のデノイズされた画像を得ることができる。
次に、本発明に係るノイズ低減装置4のノイズ低減処理部23の実施形態について説明する。ノイズ低減処理部23は、画像パッチ集合、フィルタリングされた画像パッチ集合及びデータベース画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する。
図9は、本発明に係るノイズ低減装置4のノイズ低減処理部23の実施形態を示すブロック構成図である。
図9に示されたように、ノイズ低減処理部23は、平均ベクトル算出部213と、分散共分散行列算出部223と、固有値固有ベクトル算出部230と、基底行列生成部240と、画像パッチ射影部251とから構成され、画像パッチ集合、フィルタリングされた画像パッチ集合及びデータベース画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対し、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する。
図9に示すように、ノイズ低減処理部23では、まず、平均ベクトル算出部213が、画像パッチ集合、フィルタリングされた画像パッチ集合及びデータベース画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する。
ここで、説明の便宜上、k番目の画像パッチに対し、平均ベクトル算出部213にて行われる平均ベクトル算出処理だけを説明する。
平均ベクトル算出部213では、下記数16及び数17に基づき、平均ベクトル算出処理を行うことにより、画像パッチ
Figure 2013026669
に対応する平均ベクトル
Figure 2013026669
を算出する。
Figure 2013026669
Figure 2013026669
ここで、
Figure 2013026669
はデータベース画像パッチ
Figure 2013026669
とフィルタリングされた画像パッチ
Figure 2013026669
の間の類似度に基づく重み関数である。データベース画像パッチ
Figure 2013026669
とフィルタリングされた画像パッチ
Figure 2013026669
の間の類似度が大きければ、重み
Figure 2013026669
が大きくなるように設定される。即ち、重み関数
Figure 2013026669
は、重み関数
Figure 2013026669
と同じように設定すれば良いので、その具体例の説明は省略する。ただし、ノイズ低減装置4で使用される重み
Figure 2013026669
は、データベース画像パッチとフィルタリングされた画像パッチの間の類似度に基づいて設定されている。
次に、ノイズ低減処理部23では、分散共分散行列算出部223が、画像パッチ集合、フィルタリングされた画像パッチ集合、データベース画像パッチ集合、及び平均ベクトル算出部213で算出された平均ベクトルに基づき、画像パッチ集合に属する全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する。
分散共分散行列算出部223では、下記数18に基づき、分散共分散行列算出処理を行うことにより、画像パッチ
Figure 2013026669
に対応する分散共分散行列
Figure 2013026669
を算出する。
Figure 2013026669
次に、ノイズ低減処理部23では、固有値固有ベクトル算出部230が、固有値固有ベクトル算出処理を行うことにより、分散共分散行列算出部223で算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する。
次に、ノイズ低減処理部23では、基底行列生成部240が、固有値固有ベクトル算出部230で算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する。
ここで、ノイズ低減処理部23の基底行列生成部240にて行われる処理は、前述したノイズ低減処理部20の基底行列生成部240にて行われる処理と同じであるため、その詳細な説明は省略する。
次に、ノイズ低減処理部23では、画像パッチ射影部250が、画像パッチ集合に属する全ての画像パッチに対し、各画像パッチ、平均ベクトル算出部213で算出された各画像パッチに対応する平均ベクトル、及び、基底行列生成部240で生成された各画像パッチに対応する基底行列に基づき、画像パッチの射影を算出する画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する。
ここで、ノイズ低減処理部23の画像パッチ射影部250にて行われる処理は、前述したノイズ低減処理部20の画像パッチ射影部250にて行われる処理と同じであるため、その詳細な説明は省略する。
上述のようにして、本発明のノイズ低減装置4のノイズ低減処理部23が、画像パッチ集合、フィルタリングされた画像パッチ集合及びデータベース画像パッチ集合に基づいて、画像パッチ集合に属する全ての画像パッチのデノイズされた画像パッチを生成することができる。
図10は、本発明に係るノイズ低減装置の第5実施形態(以下、単に「ノイズ低減装置5」とも言う。)を示すブロック構成図である。また、図11はノイズ低減装置5にて行われる処理の流れを示すフロー図である。以下、図10及び図11を用いて、ノイズ低減装置5を詳細に説明する。
ノイズ低減装置5は、本発明に係るノイズ低減装置の第2実施形態と本発明に係るノイズ低減装置の第4実施形態を組み合わせた、繰り返し処理を有する実施形態である。
図10に示すように、ノイズ低減装置5は、ノイズを含む入力画像から、デノイズされた画像を得るための装置であり、フィルタリング処理部40と、画像データベース51と、画像パッチ集合生成部14と、ノイズ低減処理部24と、画像合成部31とから構成される。
ここで、ノイズを含む入力画像からデノイズされた画像を得るために、図10と図11を参照しながら、ノイズ低減装置5にて行われる処理の流れについて説明する。
ノイズ低減装置5では、まず、繰り返し処理の回数kの値を0と設定する(図11のステップS100を参照)。
次に、ノイズ低減装置5では、フィルタリング処理部40が、入力画像に対し、所定のフィルタを用いてフィルタリング処理を行うことにより、フィルタリングされた画像を生成する(図11のステップS110を参照)。
ここで、ノイズ低減装置5のフィルタリング処理部40にて行われる処理は、前述したノイズ低減装置2のフィルタリング処理部40にて行われる処理と同じであるため、その詳細な説明は省略する。
次に、ノイズ低減装置5では、画像パッチ集合生成部14が、入力画像から当該入力画像の画像パッチ集合を生成するとともに、フィルタリング処理部40で得られたフィルタリングされた画像からフィルタリングされた画像パッチ集合を生成する(図11のステップS120を参照)。
ここで、ノイズ低減装置5の画像パッチ集合生成部14にて行われる処理は、前述したノイズ低減装置2の画像パッチ集合生成部11にて行われる処理と同じであるため、その詳細な説明は省略する。
次に、ノイズ低減装置5では、ノイズ低減処理部24が、画像パッチ集合生成部14で生成された画像パッチ集合及びフィルタリングされた画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する(図11のステップS130を参照)。
ここで、ノイズ低減装置5のノイズ低減処理部24にて行われる処理は、前述したノイズ低減装置2のノイズ低減処理部21にて行われる処理と同じであるため、その詳細な説明は省略する。
次に、ノイズ低減装置5では、画像合成部31が、ノイズ低減処理部24で得られた全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成する(図11のステップS140を参照)。
ここで、ノイズ低減装置5の画像合成部31にて行われる処理は、前述したノイズ低減装置2の画像合成部30にて行われる処理と同じであるため、その詳細な説明は省略する。
次に、ノイズ低減装置5では、デノイズされた画像を、画像データベース51の画像として、画像データベース51に格納する(図11のステップS150を参照)。
次に、ノイズ低減装置5では、画像パッチ集合生成部14が、画像データベース51に格納されている画像に対して、データベース画像パッチ集合生成処理を行うことにより、データベース画像パッチ集合を生成する(図11のステップS160を参照)。
ここで、ノイズ低減装置5の画像パッチ集合生成部14にて行われるデータベース画像パッチ集合生成処理は、前述したノイズ低減装置4の画像パッチ集合生成部13にて行われるデータベース画像パッチ集合生成処理と同じであるため、その詳細な説明は省略する。
次に、ノイズ低減装置5では、ノイズ低減処理部24が、画像パッチ集合生成部14で生成された、画像パッチ集合、フィルタリングされた画像パッチ集合及びデータベース画像パッチ集合に基づき、画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する(図11のステップS170を参照)。
ここで、ノイズ低減装置5のノイズ低減処理部24にて行われる処理は、前述したノイズ低減装置4のノイズ低減処理部23にて行われる処理と同じであるため、その詳細な説明は省略する。
次に、ノイズ低減装置5では、画像合成部31が、ノイズ低減処理部24で得られた全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成する(図11のステップS180を参照)。
ここで、ノイズ低減装置5の画像合成部31にて行われる処理は、前述したノイズ低減装置4の画像合成部30にて行われる処理と同じであるため、その詳細な説明は省略する。
次に、ノイズ低減装置5では、繰り返し処理の回数kの値を1増加させるようにする(図11のステップS190を参照)。
次に、ノイズ低減装置5では、繰り返し処理終了条件(即ち、k>所定の値)を満たすか否かを判定し(図11のステップS200を参照)、繰り返し処理終了条件(k>所定の値)を満たしたと判定した場合に、デノイズされた画像をノイズ低減装置5が生成したデノイズされた画像として外部に出力する(図11のステップS210を参照)。これで、ノイズ低減装置5での処理が終了する。
一方、ステップS200において、ノイズ低減装置5が、繰り返し処理終了条件(k>所定の値)を満たさないと判定した場合に、ステップS150に戻り、ノイズ低減装置5では、ステップS150での処理、ステップS160での処理、ステップS170での処理、ステップS180での処理、ステップS190での処理、及びステップS200での処理を繰り返すようにする。
このようにして、本発明のノイズ低減装置5によれば、ノイズを含む入力画像から、その画像のデノイズされた画像を得ることができる。
なお、本発明に係るノイズ低減装置は、コンピュータシステムを利用し、ソフトウェア(コンピュータプログラム)により実装されることができ、そして、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)やFPGA(Field Programmable Gate Array)などのハードウェアにより実装されることも勿論できる。
ノイズ低減装置 1,2,3,4,5
画像パッチ集合生成部 10,11,12,13,14
ノイズ低減処理部 20,21,22,23,24
画像合成部 30,31
フィルタリング処理部 40
画像データベース 50,51
平均ベクトル算出部 210,211,212,213
分散共分散行列算出部 220,221,222,223
固有値固有ベクトル算出部 230
基底行列生成部 240
画像パッチ射影部 250

Claims (51)

  1. ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減装置であって、
    前記画像から画像パッチ集合を生成する、画像パッチ集合生成部と、
    前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理部と、
    前記ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、前記デノイズされた画像を合成する、画像合成部と、
    を備え、
    前記ノイズ低減処理部は、
    前記全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する、平均ベクトル算出部と、
    前記画像パッチ集合、及び前記平均ベクトル算出部で算出された平均ベクトルに基づき、前記全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する、分散共分散行列算出部と、
    固有値固有ベクトル算出処理を行うことにより、前記分散共分散行列算出部で算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する、固有値固有ベクトル算出部と、
    前記固有値固有ベクトル算出部で算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する、基底行列生成部と、
    前記全ての画像パッチに対し、各画像パッチ、前記平均ベクトル算出部で算出された各画像パッチに対応する平均ベクトル、及び、前記基底行列生成部で生成された各画像パッチに対応する基底行列に基づき、画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する、画像パッチ射影部とを備えることを特徴とするノイズ低減装置。
  2. 前記平均ベクトル算出部では、次の数式に基づき、前記平均ベクトル算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する平均ベクトル
    Figure 2013026669
    を算出し、
    Figure 2013026669
    Figure 2013026669
    ここで、
    Figure 2013026669
    は、画像パッチ
    Figure 2013026669
    と画像パッチ
    Figure 2013026669
    の間の類似度に基づく重み関数であり、Nは前記画像パッチ集合の要素数を表し、
    前記分散共分散行列算出部では、
    Figure 2013026669
    に基づき、前記分散共分散行列算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    を算出する請求項1に記載のノイズ低減装置。
  3. 前記基底行列生成部では、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列
    Figure 2013026669
    を生成し、
    ただし、
    Figure 2013026669
    は画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    に大きな固有値に対応する固有ベクトルであり、Lは基底の個数を表す所定のパラメータである請求項2に記載のノイズ低減装置。
  4. 前記基底行列生成部では、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、ρは予め設定された所定のパラメータである請求項2に記載のノイズ低減装置。
  5. 前記基底行列生成部では、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、
    Figure 2013026669
    に基づいてρを設定し、
    Figure 2013026669
    は前記画像のノイズの分散を表し、rは予め設定された所定のパラメータである請求項2に記載のノイズ低減装置。
  6. 前記画像パッチ射影部では、画像パッチ
    Figure 2013026669
    平均ベクトル
    Figure 2013026669
    及び基底行列
    Figure 2013026669
    を用いて、
    Figure 2013026669
    に基づき、前記画像パッチ射影処理を行うことにより、画像パッチ
    Figure 2013026669
    のデノイズされた画像パッチ
    Figure 2013026669
    を生成する請求項3乃至請求項5のいずれかに記載のノイズ低減装置。
  7. ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減装置であって、
    前記画像に対し、フィルタリング処理を行うことにより、フィルタリングされた画像を生成する、フィルタリング処理部と、
    前記画像から画像パッチ集合を生成するとともに、前記フィルタリングされた画像からフィルタリングされた画像パッチ集合を生成する、画像パッチ集合生成部と、
    前記画像パッチ集合及び前記フィルタリングされた画像パッチ集合に基づき、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理部と、
    前記ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、前記デノイズされた画像を合成する、画像合成部と、
    を備え、
    前記ノイズ低減処理部は、
    前記画像パッチ集合及び前記フィルタリングされた画像パッチ集合に基づき、前記全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する、平均ベクトル算出部と、
    前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記平均ベクトル算出部で算出された平均ベクトルに基づき、前記全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する、分散共分散行列算出部と、
    固有値固有ベクトル算出処理を行うことにより、前記分散共分散行列算出部で算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する、固有値固有ベクトル算出部と、
    前記固有値固有ベクトル算出部で算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する、基底行列生成部と、
    前記全ての画像パッチに対し、各画像パッチ、前記平均ベクトル算出部で算出された各画像パッチに対応する平均ベクトル、及び、前記基底行列生成部で生成された各画像パッチに対応する基底行列に基づき、画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する、画像パッチ射影部とを備えることを特徴とするノイズ低減装置。
  8. 前記平均ベクトル算出部では、次の数式に基づき、前記平均ベクトル算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する平均ベクトル
    Figure 2013026669
    を算出し、
    Figure 2013026669
    ここで、
    Figure 2013026669
    はフィルタリングされた画像パッチ
    Figure 2013026669
    とフィルタリングされた画像パッチ
    Figure 2013026669
    の間の類似度に基づく重み関数であり、Nは前記画像パッチ集合の要素数を表し、
    前記分散共分散行列算出部では、
    Figure 2013026669
    に基づき、前記分散共分散行列算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    を算出する請求項7に記載のノイズ低減装置。
  9. 前記基底行列生成部では、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列
    Figure 2013026669
    を生成し、
    ただし、
    Figure 2013026669
    は画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    に大きな固有値に対応する固有ベクトルであり、Lは基底の個数を表す所定のパラメータである請求項8に記載のノイズ低減装置。
  10. 前記基底行列生成部では、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、ρは予め設定された所定のパラメータである請求項8に記載のノイズ低減装置。
  11. 前記基底行列生成部では、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、
    Figure 2013026669
    に基づいてρを設定し、
    Figure 2013026669
    は前記画像のノイズの分散を表し、rは予め設定された所定のパラメータである請求項8に記載のノイズ低減装置。
  12. 前記画像パッチ射影部では、画像パッチ
    Figure 2013026669
    平均ベクトル
    Figure 2013026669
    及び基底行列
    Figure 2013026669
    を用いて、
    Figure 2013026669
    に基づき、前記画像パッチ射影処理を行うことにより、画像パッチ
    Figure 2013026669
    のデノイズされた画像パッチ
    Figure 2013026669
    を生成する請求項9乃至請求項11のいずれかに記載のノイズ低減装置。
  13. ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減装置であって、
    予め撮影された一枚以上の画像を格納する画像データベースと、
    前記画像から画像パッチ集合を生成するとともに、前記画像データベースに格納されている画像からデータベース画像パッチ集合を生成する、画像パッチ集合生成部と、
    前記画像パッチ集合及び前記データベース画像パッチ集合に基づき、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理部と、
    前記ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、前記デノイズされた画像を合成する、画像合成部と、
    を備え、
    前記ノイズ低減処理部は、
    前記画像パッチ集合及び前記データベース画像パッチ集合に基づき、前記全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する、平均ベクトル算出部と、
    前記画像パッチ集合、前記データベース画像パッチ集合、及び前記平均ベクトル算出部で算出された平均ベクトルに基づき、前記全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する、分散共分散行列算出部と、
    固有値固有ベクトル算出処理を行うことにより、前記分散共分散行列算出部で算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する、固有値固有ベクトル算出部と、
    前記固有値固有ベクトル算出部で算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する、基底行列生成部と、
    前記全ての画像パッチに対し、各画像パッチ、前記平均ベクトル算出部で算出された各画像パッチに対応する平均ベクトル、及び、前記基底行列生成部で生成された各画像パッチに対応する基底行列に基づき、画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する、画像パッチ射影部とを備えることを特徴とするノイズ低減装置。
  14. 前記平均ベクトル算出部では、次の数式に基づき、前記平均ベクトル算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する平均ベクトル
    Figure 2013026669
    を算出し、
    Figure 2013026669
    ここで、
    Figure 2013026669
    はデータベース画像パッチ
    Figure 2013026669
    と画像パッチ

    Figure 2013026669
    の間の類似度に基づく重み関数であり、Mは前記データベース画像パッチ集合の要素数を表し、
    前記分散共分散行列算出部では、
    Figure 2013026669
    に基づき、前記分散共分散行列算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    を算出する請求項13に記載のノイズ低減装置。
  15. 前記基底行列生成部では、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列
    Figure 2013026669
    を生成し、
    ただし、
    Figure 2013026669
    は画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    に大きな固有値に対応する固有ベクトルであり、Lは基底の個数を表す所定のパラメータである請求項14に記載のノイズ低減装置。
  16. 前記基底行列生成部では、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、ρは予め設定された所定のパラメータである請求項14に記載のノイズ低減装置。
  17. 前記基底行列生成部では、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、
    Figure 2013026669
    に基づいてρを設定し、
    Figure 2013026669
    は前記画像のノイズの分散を表し、rは予め設定された所定のパラメータである請求項14に記載のノイズ低減装置。
  18. 前記画像パッチ射影部では、画像パッチ
    Figure 2013026669
    平均ベクトル
    Figure 2013026669
    及び基底行列
    Figure 2013026669
    を用いて、
    Figure 2013026669
    に基づき、前記画像パッチ射影処理を行うことにより、画像パッチ
    Figure 2013026669
    のデノイズされた画像パッチ
    Figure 2013026669
    を生成する請求項15乃至請求項17のいずれかに記載のノイズ低減装置。
  19. ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減装置であって、
    前記画像に対し、フィルタリング処理を行うことにより、フィルタリングされた画像を生成する、フィルタリング処理部と、
    予め撮影された一枚以上の画像を格納する画像データベースと、
    前記フィルタリングされた画像からフィルタリングされた画像パッチ集合を生成するとともに、前記画像データベースに格納されている画像からデータベース画像パッチ集合を生成し、さらに、前記画像から画像パッチ集合を生成する、画像パッチ集合生成部と、
    前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記データベース画像パッチ集合に基づき、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理部と、
    前記ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、前記デノイズされた画像を合成する、画像合成部と、
    を備え、
    前記ノイズ低減処理部は、
    前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記データベース画像パッチ集合に基づき、前記全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する、平均ベクトル算出部と、
    前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、前記データベース画像パッチ集合、及び前記平均ベクトル算出部で算出された平均ベクトルに基づき、前記全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する、分散共分散行列算出部と、
    固有値固有ベクトル算出処理を行うことにより、前記分散共分散行列算出部で算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する、固有値固有ベクトル算出部と、
    前記固有値固有ベクトル算出部で算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する、基底行列生成部と、
    前記全ての画像パッチに対し、各画像パッチ、前記平均ベクトル算出部で算出された各画像パッチに対応する平均ベクトル、及び、前記基底行列生成部で生成された各画像パッチに対応する基底行列に基づき、画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する、画像パッチ射影部とを備えることを特徴とするノイズ低減装置。
  20. 前記平均ベクトル算出部では、次の数式に基づき、前記平均ベクトル算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する平均ベクトル
    Figure 2013026669
    を算出し、
    Figure 2013026669
    Figure 2013026669
    ここで、
    Figure 2013026669
    はデータベース画像パッチ
    Figure 2013026669
    とフィルタリングされた画像パッチ
    Figure 2013026669
    の間の類似度に基づく重み関数であり、Mは前記データベース画像パッチ集合の要素数を表し、
    前記分散共分散行列算出部では、
    Figure 2013026669
    に基づき、前記分散共分散行列算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    を算出する請求項19に記載のノイズ低減装置。
  21. 前記基底行列生成部では、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列
    Figure 2013026669
    を生成し、
    ただし、
    Figure 2013026669
    は画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    に大きな固有値に対応する固有ベクトルであり、Lは基底の個数を表す所定のパラメータである請求項20に記載のノイズ低減装置。
  22. 前記基底行列生成部では、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、ρは予め設定された所定のパラメータである請求項20に記載のノイズ低減装置。
  23. 前記基底行列生成部では、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、
    Figure 2013026669
    に基づいてρを設定し、
    Figure 2013026669
    は前記画像のノイズの分散を表し、rは予め設定された所定のパラメータである請求項20に記載のノイズ低減装置。
  24. 前記画像パッチ射影部では、画像パッチ
    Figure 2013026669
    平均ベクトル
    Figure 2013026669
    及び基底行列
    Figure 2013026669
    を用いて、
    Figure 2013026669
    に基づき、前記画像パッチ射影処理を行うことにより、画像パッチ
    Figure 2013026669
    のデノイズされた画像パッチ
    Figure 2013026669
    を生成する請求項21乃至請求項23のいずれかに記載のノイズ低減装置。
  25. ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減装置であって、
    フィルタリング処理部と、画像データベースと、画像パッチ集合生成部と、ノイズ低減処理部と、画像合成部とを備え、
    前記ノイズ低減装置では、
    前記フィルタリング処理部が、前記画像に対し、フィルタリング処理を行うことにより、フィルタリングされた画像を生成し、
    前記画像パッチ集合生成部が、前記画像から画像パッチ集合を生成するとともに、前記フィルタリングされた画像からフィルタリングされた画像パッチ集合を生成し、
    前記ノイズ低減処理部が、前記画像パッチ集合及び前記フィルタリングされた画像パッチ集合に基づき、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成し、
    前記画像合成部が、前記ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成し、
    前記デノイズされた画像が、前記画像データベースの画像として、前記画像データベースに格納され、
    前記画像パッチ集合生成部が、前記画像データベースに格納されている画像に対して、データベース画像パッチ集合生成処理を行うことにより、データベース画像パッチ集合を生成し、
    前記ノイズ低減処理部が、前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記データベース画像パッチ集合に基づき、前記全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成し、
    前記画像合成部が、前記ノイズ低減処理部で生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成し、
    繰り返し処理終了条件を満たしたと判定された場合に、前記デノイズされた画像を前記ノイズ低減装置が生成したデノイズされた画像とし、
    前記繰り返し処理終了条件を満たさないと判定された場合に、前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記データベース画像パッチ集合に基づいて行われるノイズ低減処理を繰り返し行うことにより、デノイズされた画像パッチを生成し、生成したデノイズされた画像パッチを前記画像データベースの画像とすることを特徴とするノイズ低減装置。
  26. ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減方法であって、
    前記画像から画像パッチ集合を生成する、画像パッチ集合生成ステップと、
    前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理ステップと、
    前記ノイズ低減処理ステップで生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、前記デノイズされた画像を合成する、画像合成ステップと、
    を有し、
    前記ノイズ低減処理ステップは、
    前記全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する、平均ベクトル算出ステップと、
    前記画像パッチ集合、及び前記平均ベクトル算出ステップで算出された平均ベクトルに基づき、前記全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する、分散共分散行列算出ステップと、
    固有値固有ベクトル算出処理を行うことにより、前記分散共分散行列算出ステップで算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する、固有値固有ベクトル算出ステップと、
    前記固有値固有ベクトル算出ステップで算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する、基底行列生成ステップと、
    前記全ての画像パッチに対し、各画像パッチ、前記平均ベクトル算出ステップで算出された各画像パッチに対応する平均ベクトル、及び、前記基底行列生成ステップで生成された各画像パッチに対応する基底行列に基づき、画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する、画像パッチ射影ステップとを有することを特徴とするノイズ低減方法。
  27. 前記平均ベクトル算出ステップでは、次の数式に基づき、前記平均ベクトル算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する平均ベクトル
    Figure 2013026669
    を算出し、
    Figure 2013026669
    Figure 2013026669
    ここで、
    Figure 2013026669
    は、画像パッチ
    Figure 2013026669
    と画像パッチ
    Figure 2013026669
    の間の類似度に基づく重み関数であり、Nは前記画像パッチ集合の要素数を表し、
    前記分散共分散行列算出ステップでは、
    Figure 2013026669
    に基づき、前記分散共分散行列算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    を算出する請求項26に記載のノイズ低減方法。
  28. 前記基底行列生成ステップでは、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列
    Figure 2013026669
    を生成し、
    ただし、
    Figure 2013026669
    は画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    に大きな固有値に対応する固有ベクトルであり、Lは基底の個数を表す所定のパラメータである請求項27に記載のノイズ低減方法。
  29. 前記基底行列生成ステップでは、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、ρは予め設定された所定のパラメータである請求項27に記載のノイズ低減方法。
  30. 前記基底行列生成ステップでは、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、
    Figure 2013026669
    に基づいてρを設定し、
    Figure 2013026669
    は前記画像のノイズの分散を表し、rは予め設定された所定のパラメータである請求項27に記載のノイズ低減方法。
  31. 前記画像パッチ射影ステップでは、画像パッチ
    Figure 2013026669
    平均ベクトル
    Figure 2013026669
    及び基底行列
    Figure 2013026669
    を用いて、
    Figure 2013026669
    に基づき、前記画像パッチ射影処理を行うことにより、画像パッチ
    Figure 2013026669
    のデノイズされた画像パッチ
    Figure 2013026669
    を生成する請求項28乃至請求項30のいずれかに記載のノイズ低減方法。
  32. ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減方法であって、
    前記画像に対し、フィルタリング処理を行うことにより、フィルタリングされた画像を生成する、フィルタリング処理ステップと、
    前記画像から画像パッチ集合を生成するとともに、前記フィルタリングされた画像からフィルタリングされた画像パッチ集合を生成する、画像パッチ集合生成ステップと、
    前記画像パッチ集合及び前記フィルタリングされた画像パッチ集合に基づき、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理ステップと、
    前記ノイズ低減処理ステップで生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、前記デノイズされた画像を合成する、画像合成ステップと、
    を有し、
    前記ノイズ低減処理ステップは、
    前記画像パッチ集合及び前記フィルタリングされた画像パッチ集合に基づき、前記全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する、平均ベクトル算出ステップと、
    前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記平均ベクトル算出ステップで算出された平均ベクトルに基づき、前記全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する、分散共分散行列算出ステップと、
    固有値固有ベクトル算出処理を行うことにより、前記分散共分散行列算出ステップで算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する、固有値固有ベクトル算出ステップと、
    前記固有値固有ベクトル算出ステップで算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する、基底行列生成ステップと、
    前記全ての画像パッチに対し、各画像パッチ、前記平均ベクトル算出ステップで算出された各画像パッチに対応する平均ベクトル、及び、前記基底行列生成ステップで生成された各画像パッチに対応する基底行列に基づき、画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する、画像パッチ射影ステップとを有することを特徴とするノイズ低減方法。
  33. 前記平均ベクトル算出ステップでは、次の数式に基づき、前記平均ベクトル算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する平均ベクトル
    Figure 2013026669
    を算出し、
    Figure 2013026669
    ここで、
    Figure 2013026669
    はフィルタリングされた画像パッチ
    Figure 2013026669
    とフィルタリングされた画像パッチ
    Figure 2013026669
    の間の類似度に基づく重み関数であり、Nは前記画像パッチ集合の要素数を表し、
    前記分散共分散行列算出部では、
    Figure 2013026669
    に基づき、前記分散共分散行列算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    を算出する請求項32に記載のノイズ低減方法。
  34. 前記基底行列生成ステップでは、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列
    Figure 2013026669
    を生成し、
    ただし、
    Figure 2013026669
    は画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    に大きな固有値に対応する固有ベクトルであり、Lは基底の個数を表す所定のパラメータである請求項33に記載のノイズ低減方法。
  35. 前記基底行列生成ステップでは、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、ρは予め設定された所定のパラメータである請求項33に記載のノイズ低減方法。
  36. 前記基底行列生成ステップでは、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、
    Figure 2013026669
    に基づいてρを設定し、
    Figure 2013026669
    は前記画像のノイズの分散を表し、rは予め設定された所定のパラメータである請求項33に記載のノイズ低減方法。
  37. 前記画像パッチ射影ステップでは、画像パッチ
    Figure 2013026669
    平均ベクトル
    Figure 2013026669
    及び基底行列
    Figure 2013026669
    を用いて、
    Figure 2013026669
    に基づき、前記画像パッチ射影処理を行うことにより、画像パッチ
    Figure 2013026669
    のデノイズされた画像パッチ
    Figure 2013026669
    を生成する請求項34乃至請求項36のいずれかに記載のノイズ低減方法。
  38. ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減方法であって、
    予め撮影された一枚以上の画像を画像データベースに格納するステップと、
    前記画像から画像パッチ集合を生成するとともに、前記画像データベースに格納されている画像からデータベース画像パッチ集合を生成する、画像パッチ集合生成ステップと、
    前記画像パッチ集合及び前記データベース画像パッチ集合に基づき、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理ステップと、
    前記ノイズ低減処理ステップで生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、前記デノイズされた画像を合成する、画像合成ステップと、
    を有し、
    前記ノイズ低減処理ステップは、
    前記画像パッチ集合及び前記データベース画像パッチ集合に基づき、前記全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する、平均ベクトル算出ステップと、
    前記画像パッチ集合、前記データベース画像パッチ集合、及び前記平均ベクトル算出ステップで算出された平均ベクトルに基づき、前記全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する、分散共分散行列算出ステップと、
    固有値固有ベクトル算出処理を行うことにより、前記分散共分散行列算出ステップで算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する、固有値固有ベクトル算出ステップと、
    前記固有値固有ベクトル算出ステップで算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する、基底行列生成ステップと、
    前記全ての画像パッチに対し、各画像パッチ、前記平均ベクトル算出ステップで算出された各画像パッチに対応する平均ベクトル、及び、前記基底行列生成ステップで生成された各画像パッチに対応する基底行列に基づき、画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する、画像パッチ射影ステップとを有することを特徴とするノイズ低減方法。
  39. 前記平均ベクトル算出ステップでは、次の数式に基づき、前記平均ベクトル算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する平均ベクトル
    Figure 2013026669
    を算出し、
    Figure 2013026669
    ここで、
    Figure 2013026669
    はデータベース画像パッチ
    Figure 2013026669
    と画像パッチ
    Figure 2013026669
    の間の類似度に基づく重み関数であり、Mは前記データベース画像パッチ集合の要素数を表し、
    前記分散共分散行列算出ステップでは、
    Figure 2013026669
    に基づき、前記分散共分散行列算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    を算出する請求項38に記載のノイズ低減方法。
  40. 前記基底行列生成ステップでは、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列
    Figure 2013026669
    を生成し、
    ただし、
    Figure 2013026669
    は画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    に大きな固有値に対応する固有ベクトルであり、Lは基底の個数を表す所定のパラメータである請求項39に記載のノイズ低減方法。
  41. 前記基底行列生成ステップでは、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、ρは予め設定された所定のパラメータである請求項39に記載のノイズ低減方法。
  42. 前記基底行列生成ステップでは、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、
    Figure 2013026669
    に基づいてρを設定し、
    Figure 2013026669
    は前記画像のノイズの分散を表し、rは予め設定された所定のパラメータである請求項39に記載のノイズ低減方法。
  43. 前記画像パッチ射影ステップでは、画像パッチ
    Figure 2013026669
    平均ベクトル
    Figure 2013026669
    及び基底行列
    Figure 2013026669
    を用いて、
    Figure 2013026669
    に基づき、前記画像パッチ射影処理を行うことにより、画像パッチ
    Figure 2013026669
    のデノイズされた画像パッチ
    Figure 2013026669
    を生成する請求項40乃至請求項42のいずれかに記載のノイズ低減方法。
  44. ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減方法であって、
    前記画像に対し、フィルタリング処理を行うことにより、フィルタリングされた画像を生成する、フィルタリング処理ステップと、
    予め撮影された一枚以上の画像を画像データベースに格納するステップと、
    前記フィルタリングされた画像からフィルタリングされた画像パッチ集合を生成するとともに、前記画像データベースに格納されている画像からデータベース画像パッチ集合を生成し、さらに、前記画像から画像パッチ集合を生成する、画像パッチ集合生成ステップと、
    前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記データベース画像パッチ集合に基づき、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成する、ノイズ低減処理ステップと、
    前記ノイズ低減処理ステップで生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、前記デノイズされた画像を合成する、画像合成ステップと、
    を有し、
    前記ノイズ低減処理ステップは、
    前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記データベース画像パッチ集合に基づき、前記全ての画像パッチに対し、平均ベクトル算出処理を行うことにより、各画像パッチに対応する平均ベクトルを算出する、平均ベクトル算出ステップと、
    前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、前記データベース画像パッチ集合、及び前記平均ベクトル算出ステップで算出された平均ベクトルに基づき、前記全ての画像パッチに対し、分散共分散行列算出処理を行うことにより、各画像パッチに対応する分散共分散行列を算出する、分散共分散行列算出ステップと、
    固有値固有ベクトル算出処理を行うことにより、前記分散共分散行列算出ステップで算出された、各画像パッチに対応する分散共分散行列の固有値固有ベクトルをそれぞれ算出する、固有値固有ベクトル算出ステップと、
    前記固有値固有ベクトル算出ステップで算出された、各画像パッチに対応する固有値固有ベクトルに基づき、基底行列生成処理を行うことにより、各画像パッチに対応する基底行列をそれぞれ生成する、基底行列生成ステップと、
    前記全ての画像パッチに対し、各画像パッチ、前記平均ベクトル算出ステップで算出された各画像パッチに対応する平均ベクトル、及び、前記基底行列生成ステップで生成された各画像パッチに対応する基底行列に基づき、画像パッチ射影処理を行うことにより、各画像パッチのデノイズされた画像パッチを生成する、画像パッチ射影ステップとを有することを特徴とするノイズ低減方法。
  45. 前記平均ベクトル算出ステップでは、次の数式に基づき、前記平均ベクトル算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する平均ベクトル
    Figure 2013026669
    を算出し、
    Figure 2013026669
    Figure 2013026669
    ここで、
    Figure 2013026669
    はデータベース画像パッチ
    Figure 2013026669
    とフィルタリングされた画像パッチ
    Figure 2013026669
    の間の類似度に基づく重み関数であり、Mは前記データベース画像パッチ集合の要素数を表し、
    前記分散共分散行列算出ステップでは、
    Figure 2013026669
    に基づき、前記分散共分散行列算出処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    を算出する請求項44に記載のノイズ低減方法。
  46. 前記基底行列生成ステップでは、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列
    Figure 2013026669
    を生成し、
    ただし、
    Figure 2013026669
    は画像パッチ
    Figure 2013026669
    に対応する分散共分散行列
    Figure 2013026669
    に大きな固有値に対応する固有ベクトルであり、Lは基底の個数を表す所定のパラメータである請求項45に記載のノイズ低減方法。
  47. 前記基底行列生成ステップでは、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、ρは予め設定された所定のパラメータである請求項45に記載のノイズ低減方法。
  48. 前記基底行列生成ステップでは、固有値の値を利用して、
    Figure 2013026669
    に基づき、前記基底行列生成処理を行うことにより、画像パッチ
    Figure 2013026669
    に対応する基底行列を生成し、
    ただし、
    Figure 2013026669
    が成立し、
    Figure 2013026669
    は固有ベクトル
    Figure 2013026669
    に対応する固有値であり、
    Figure 2013026669
    に基づいてρを設定し、
    Figure 2013026669
    は前記画像のノイズの分散を表し、rは予め設定された所定のパラメータである請求項45に記載のノイズ低減方法。
  49. 前記画像パッチ射影ステップでは、画像パッチ
    Figure 2013026669
    平均ベクトル
    Figure 2013026669
    及び基底行列
    Figure 2013026669
    を用いて、
    Figure 2013026669
    に基づき、前記画像パッチ射影処理を行うことにより、画像パッチ
    Figure 2013026669
    のデノイズされた画像パッチ
    Figure 2013026669
    を生成する請求項46乃至請求項48のいずれかに記載のノイズ低減方法。
  50. ノイズを含む一枚の画像から、当該画像のデノイズされた画像を生成するノイズ低減方法であって、
    フィルタリング処理ステップと、画像パッチ集合生成ステップと、ノイズ低減処理ステップと、画像合成ステップとを有し、
    前記ノイズ低減方法では、
    前記フィルタリング処理部ステップが、前記画像に対し、フィルタリング処理を行うことにより、フィルタリングされた画像を生成し、
    前記画像パッチ集合生成ステップが、前記画像から画像パッチ集合を生成するとともに、前記フィルタリングされた画像からフィルタリングされた画像パッチ集合を生成し、
    前記ノイズ低減処理ステップが、前記画像パッチ集合及び前記フィルタリングされた画像パッチ集合に基づき、前記画像パッチ集合に属する全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成し、
    前記画像合成ステップが、前記ノイズ低減処理ステップで生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成し、
    前記デノイズされた画像が、画像データベースの画像として、前記画像データベースに格納され、
    前記画像パッチ集合生成ステップが、前記画像データベースに格納されている画像に対して、データベース画像パッチ集合生成処理を行うことにより、データベース画像パッチ集合を生成し、
    前記ノイズ低減処理ステップが、前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記データベース画像パッチ集合に基づき、前記全ての画像パッチに対して、画像パッチ毎に、異なるパラメータによるノイズ低減処理を行うことにより、デノイズされた画像パッチを生成し、
    前記画像合成ステップが、前記ノイズ低減処理ステップで生成された全てのデノイズされた画像パッチに対し、画像合成処理を行うことにより、デノイズされた画像を合成し、
    繰り返し処理終了条件を満たしたと判定された場合に、前記デノイズされた画像を前記ノイズ低減装置が生成したデノイズされた画像とし、
    前記繰り返し処理終了条件を満たさないと判定された場合に、前記画像パッチ集合、前記フィルタリングされた画像パッチ集合、及び前記データベース画像パッチ集合に基づいて行われるノイズ低減処理を繰り返し行うことにより、デノイズされた画像パッチを生成し、生成したデノイズされた画像パッチを前記画像データベースの画像とすることを特徴とするノイズ低減方法。
  51. 請求項26乃至請求項50の何れかに記載のノイズ低減方法をコンピュータに実行させるためのプログラム。
JP2011156659A 2011-07-15 2011-07-15 ノイズ低減装置、ノイズ低減方法及びプログラム Expired - Fee Related JP5822157B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011156659A JP5822157B2 (ja) 2011-07-15 2011-07-15 ノイズ低減装置、ノイズ低減方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011156659A JP5822157B2 (ja) 2011-07-15 2011-07-15 ノイズ低減装置、ノイズ低減方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013026669A true JP2013026669A (ja) 2013-02-04
JP5822157B2 JP5822157B2 (ja) 2015-11-24

Family

ID=47784590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011156659A Expired - Fee Related JP5822157B2 (ja) 2011-07-15 2011-07-15 ノイズ低減装置、ノイズ低減方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5822157B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018203433A1 (ja) * 2017-05-02 2018-11-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2019116975A1 (ja) * 2017-12-13 2019-06-20 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP2019101686A (ja) * 2017-11-30 2019-06-24 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2019106173A (ja) * 2017-12-13 2019-06-27 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
KR102060656B1 (ko) 2018-07-17 2019-12-30 국방과학연구소 소나 영상의 잡음을 제거하는 장치 및 방법
CN111721420A (zh) * 2020-04-27 2020-09-29 浙江智物慧云技术有限公司 基于红外阵列时序的半监督人工智能人体检测嵌入式算法
EP3826301A1 (en) 2019-11-22 2021-05-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer program
US11393074B2 (en) 2019-04-25 2022-07-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US11410279B2 (en) 2019-09-13 2022-08-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US11423515B2 (en) 2019-11-06 2022-08-23 Canon Kabushiki Kaisha Image processing apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272897A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 文脈支援型人間識別のためのデジタル画像処理方法および装置
JP2009071676A (ja) * 2007-09-14 2009-04-02 Casio Comput Co Ltd 撮像装置、撮像装置制御プログラム及び撮像装置制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272897A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 文脈支援型人間識別のためのデジタル画像処理方法および装置
JP2009071676A (ja) * 2007-09-14 2009-04-02 Casio Comput Co Ltd 撮像装置、撮像装置制御プログラム及び撮像装置制御方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018191123A (ja) * 2017-05-02 2018-11-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2018203433A1 (ja) * 2017-05-02 2018-11-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10999541B2 (en) 2017-05-02 2021-05-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium
JP7005168B2 (ja) 2017-05-02 2022-01-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11055564B2 (en) 2017-11-30 2021-07-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP2019101686A (ja) * 2017-11-30 2019-06-24 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2019116975A1 (ja) * 2017-12-13 2019-06-20 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP2019106173A (ja) * 2017-12-13 2019-06-27 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP7114431B2 (ja) 2017-12-13 2022-08-08 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
US11301962B2 (en) 2017-12-13 2022-04-12 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and medium
KR102060656B1 (ko) 2018-07-17 2019-12-30 국방과학연구소 소나 영상의 잡음을 제거하는 장치 및 방법
US11393074B2 (en) 2019-04-25 2022-07-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US11410279B2 (en) 2019-09-13 2022-08-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US11423515B2 (en) 2019-11-06 2022-08-23 Canon Kabushiki Kaisha Image processing apparatus
US11756165B2 (en) 2019-11-06 2023-09-12 Canon Kabushiki Kaisha Image processing apparatus, method, and storage medium for adding a gloss
US11836900B2 (en) 2019-11-06 2023-12-05 Canon Kabushiki Kaisha Image processing apparatus
EP3826301A1 (en) 2019-11-22 2021-05-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer program
US11580620B2 (en) 2019-11-22 2023-02-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable medium
CN111721420B (zh) * 2020-04-27 2021-06-29 浙江智物慧云技术有限公司 基于红外阵列时序的半监督人工智能人体检测嵌入式算法
CN111721420A (zh) * 2020-04-27 2020-09-29 浙江智物慧云技术有限公司 基于红外阵列时序的半监督人工智能人体检测嵌入式算法

Also Published As

Publication number Publication date
JP5822157B2 (ja) 2015-11-24

Similar Documents

Publication Publication Date Title
JP5822157B2 (ja) ノイズ低減装置、ノイズ低減方法及びプログラム
Vishwakarma et al. Color image enhancement techniques: a critical review
US7664301B2 (en) Method and apparatus for enhancing image quality of a two-dimensional ultrasound image
CN109978774B (zh) 多帧连续等曝光图像的去噪融合方法及装置
Ono et al. Decorrelated vectorial total variation
US8792746B2 (en) Image processing apparatus, image processing method, and program
Gupta et al. Review of different local and global contrast enhancement techniques for a digital image
JP4858609B2 (ja) ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
EP3186954A1 (en) Image processing apparatus, image processing method, recording medium, and program
Iwanami et al. An adaptive contrast enhancement using regional dynamic histogram equalization
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
CN113222853B (zh) 一种基于噪声估计的渐进式红外图像降噪方法
TW201349170A (zh) 深度圖產生裝置及其方法
Viswanath Enhancement of brain tumor images
KR101341617B1 (ko) 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법
KR20100097858A (ko) 예제 기반 신경회로망을 이용한 고해상도 영상 확대
Kaur et al. An improved adaptive bilateral filter to remove gaussian noise from color images
Guarnera et al. Adaptive color demosaicing and false color removal
JP7365206B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7437921B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Lin et al. Improved BM3D for Real Image Denoising
Priorov et al. Applications of image filtration based on principal component analysis and nonlocal image processing
Kadri et al. Colour Image Denoising using Curvelets and Scale Dependent Shrinkage
KR101958194B1 (ko) 변환 도메인의 대조비 개선 장치 및 방법
Sharma et al. Contrast enhancement using pixel based image fusion in wavelet domain

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150925

R150 Certificate of patent or registration of utility model

Ref document number: 5822157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees