JP5242540B2 - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
JP5242540B2
JP5242540B2 JP2009265681A JP2009265681A JP5242540B2 JP 5242540 B2 JP5242540 B2 JP 5242540B2 JP 2009265681 A JP2009265681 A JP 2009265681A JP 2009265681 A JP2009265681 A JP 2009265681A JP 5242540 B2 JP5242540 B2 JP 5242540B2
Authority
JP
Japan
Prior art keywords
pixel
image
value
processing method
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009265681A
Other languages
English (en)
Other versions
JP2010198599A (ja
Inventor
ジェイ．エル．ヴァン ビーク ペトラス
ヤン ジュンラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2010198599A publication Critical patent/JP2010198599A/ja
Application granted granted Critical
Publication of JP5242540B2 publication Critical patent/JP5242540B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理方法および画像処理システムに関するものであり、特に、ノイズ除去およびボケ除去に関するものである。
従来から、複数の低解像度画像から高解像度画像を構成する超解像技術が用いられている。低解像度画像は、限られた解像度の、または、望ましい解像度より低い空間解像度のカメラまたはセンサーシステムによって撮像される。超解像技術は、このようにして得られた低解像度画像から、より解像度の高い高解像度画像を生成する技術である。
ここで、低解像度画像は、低解像度画像を得るための画像撮像処理に内在する、１または複数種類の劣化の影響を受けることが多い。画質劣化の一般的な種類には、ボケ、ノイズ、および非線形性が含まれる。ボケは、低解像度画像において、高周波細部（high-frequency detail）がカットされることによって生じる。また、ボケは、カメラの光学素子、画像センサ、および他の要因に起因して生じる。ノイズは、画像センサ、システム電子機器、アナログ・デジタル変換、および他の要因によって引き起こされるランダムな信号変化の一態様である。
このため、より高精度な高解像度画像を生成するためには、このような劣化の影響を低減させることが重要となる（例えば、下記の特許文献１−５参照）。
米国特許第６４７００９７号明細書 米国特許出願公開第２００８／０１３７９７８号明細書（２００８年６月１２日公開） 米国特許出願公開第２００７／０２１７７１３号明細書（２００７年９月２０日公開） 米国特許出願公開第２００８／０２５３６７８号明細書（２００８年１０月１６日公開） 国際公開第２００５／１２２０８６号パンフレット（２００５年１２月２２日公開）
しかしながら、従来は、ノイズやボケの影響を低い計算コストで低減させることが困難であった。例えば、従来は、複数の低解像度画像のそれぞれについて、個別にノイズ除去が行われており、これは高解像度画像生成に要する計算コストを増大させるものであった。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、低い計算コストでノイズやボケ等を除去した画像を生成する画像処理方法を提供することにある。
上記課題を解決するために、本発明の画像処理方法は、一定の周期の繰り返しパターンを有する基準画像を用いて処理対象画像を更新することによって、該処理対象画像のボケを除去する画像処理方法であって、上記処理対象画像に含まれる第１画素から上記一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、上記第１画素の画素値を、該第１画素に対応する位置の上記基準画像の画素の画素値と、上記重み設定工程で決定した重みと、上記画素群に含まれる各画素の画素値とを用いて更新する更新工程とを含むことを特徴としている。
上記の構成において、基準画像は、一定の周期の繰り返しパターンを有しており、この基準画像を用いて更新される処理対象画像も同じ周期の繰り返しパターンを有することとなる。このため、第１画素からこの周期分だけ離れた位置の画素の画素値は、理論上、第１画素と同一となる。すなわち、これらの画素の画素値が相違している場合には、例えばボケ等の要因によって、何れかの画素の画素値が異常な値となっていることが考えられる。
そこで、上記の構成によれば、第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを適用して第１画素の画素値を更新している。これにより、低い計算コストでこれらの画素のボケを除去することができる。無論、ここで適用する重みは、第１画素の画素値との差が大きいほど、その画素値の更新への寄与を小さくするような重みとなる。
また、上記画像処理方法は、上記基準画像よりも空間解像度が低い複数の低解像度画像を合成することによって上記基準画像を生成する合成工程を含むことが好ましい。
上記の構成によれば、複数の低解像度画像に基づいて処理対象画像が更新されることになる。つまり、更新によって生成される画像は、上記低解像度画像よりも解像度が高く、かつボケが除去された画像となる。すなわち、上記の構成によれば、低解像度画像の高解像度化及びボケ除去を行うことができる。なお、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い画像を生成する方法としては、従来から用いられている方法を適用することもできる。
また、上記複数の低解像度画像の空間解像度は、それぞれ同一であることが好ましい。
上記の構成によれば、複数の低解像度画像を合成する際の演算が簡略となる。なお、各低解像度画像の空間解像度は、誤差等の影響により多少変動することも考えられるが、このような変動は、上記「同一」の範囲に含まれるものとする。
また、上記基準画像は、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して生成されたものであることが好ましい。
上記の構成によれば、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い基準画像を生成することができる。
また、上記基準画像は、露光時間の異なる複数の低解像度画像を合成して生成されたものであり、上記基準画像における上記第１画素に対応する位置の画素の画素値に、該画素値の信頼度を示す信頼度数値を対応付けする工程をさらに含み、上記更新工程では、上記信頼度数値に基づいて上記第１画素の画素値を更新することが好ましい。
上記の構成によれば、基準画像として、露光時間の異なる複数の低解像度画像を合成して生成された画像を用いている。これにより、露光時間の等しい低解像度画像を用いた場合と比べて、基準画像のダイナミックレンジを拡大することができ、更新によって生成される画像のダイナミックレンジも拡大することができる。
さらに、上記の構成によれば、基準画像の画素値に信頼度数値を対応付けし、この信頼度数値を用いて処理対象画像の更新を行う。このように、信頼度を更新に反映させることによって、生成される画像の精度を高めることができる。
なお、信頼度は、例えば画素値に基づいて設定することもできる。例えば、ある画素の画素値が、その画素の取りうる値の上限に近い場合には、露光過多で白とびした画素である可能性がある。同様に、画素値がその画素の取りうる値の下限に近い場合には、露光不測で黒つぶれした画素である可能性がある。
このような画素は、撮像した対象物の形状等を正確に示すものとは言えないため、このような画素の画像更新に対する寄与は低下させることが望ましい。つまり、上限値または下限値に近い画素の信頼度を低く設定するという方法が考えられる。無論、信頼度の設定方法は、この例に限られない。
また、上記画像処理方法では、上記処理対象画像の初期値を、上記基準画像とすることが好ましい。
ここで、処理対象画像は、更新工程で更新されることによって、基準画像との誤差が小さくなるように更新されるため、処理対象画像の初期値は特に限定されない。しかし、処理対象画像と基準画像との誤差が大きい場合には、更新回数が増え、演算処理の負担が増大する。そこで、上記構成では、処理対象画像の初期値として、基準画像を適用している。これにより、更新回数を少なくし、演算処理の負担を軽減することができる。
また、上記重み設定工程では、上記第１画素の近傍の画素よりなる第１近接画素群を設定すると共に、上記第１画素群に含まれる画素のそれぞれについて、該画素の近傍の画素よりなる第２近接画素群を設定し、上記第１画素群に含まれる各画素の重みを、該画素に対応する第２近接画素群に含まれる各画素の画素値と、上記第１画素群に含まれる各画素の画素値との差分である画素値差分を用いて算出することが好ましい。
ここで、処理対象画像に含まれる各画素の画素値が全て正常であると仮定すると、処理対象画像は基準画像と同じ周期性を有するので、対応する第１近接画素群の各画素の画素値と第２近接画素群の各画素の画素値とは同じ値となり、画素値差分はゼロとなる。逆に言えば、異常な値の画素値が含まれていた場合には、画素値差分は大きくなる。すなわち、画素値差分は、処理対象画像に含まれる画素の画素値の正否を判断する判断材料となりうる。
そこで、上記の構成によれば、画素値差分を用いて重みを設定している。これにより、重みの信頼性を高め、生成される画像の精度を高めることができる。なお、当然のことながら、重みは、画素値差分が大きい画素値ほど更新への寄与が小さくなるように設定される。
例えば、上記重み設定工程では、上記第１近接画素群及び上記第２近接画素群に含まれる各画素について、上記画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで算出してもよい。
これにより、画素値差分の大小に応じた重みを設定することができる。なお、上記の重み算出は、「画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値」をｘとすれば、ｅｘを重みとして算出することを指す。また、言い換えれば、ｅｘｐ（ｘ）を重みとして算出することを指す。なお、ｅは自然対数の底である。
また、本発明の他の画像処理方法は、上記課題を解決するために、異なる露光時間で撮像された複数の低解像度画像を用いて処理対象画像を更新することによって、該処理対象画像のボケを除去する画像処理方法であって、上記複数の低解像度画像を合成して、該低解像度画像よりも解像度の高い基準画像を生成する合成工程と、上記合成工程で生成した基準画像に含まれる第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、上記信頼度設定工程で設定された信頼度数値と、上記第１画素の画素値と、上記処理対象画像において上記第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含むことを特徴としている。
上記の構成によれば、露光時間の異なる複数の低解像度画像を合成して生成された基準画像を用いている。これにより、露光時間の等しい低解像度画像を用いた場合と比べて、基準画像のダイナミックレンジを拡大することができ、更新によって生成される画像のダイナミックレンジも拡大することができる。
また、上記の構成によれば、基準画像の画素値に信頼度数値を対応付けし、この信頼度数値を用いて処理対象画像の更新を行う。このように、信頼度を更新に反映させることによって、生成される画像の精度を高めることができる。
ここで、上記更新工程において更新の対象となる処理対象画像の対応画素の画素値が適正な値であるか否かは、対応画素の画素値と、対応画素の近傍に位置する画素の画素値との差、すなわち対応画素の近傍領域における局所変動の値に基づいて判断することもできる。
そこで、上記の構成によれば、局所変動の値を用いて処理対象画像の更新を行い、局所変動の値を更新に反映させている。これにより、更新工程における画素値更新の精度を高めることができる。
また、上記複数の低解像度画像の空間解像度は、それぞれ同一であることが好ましい。
上記の構成によれば、複数の低解像度画像を合成する際の演算が簡略となる。
また、上記局所変動の値は、上記対応画素の画素値と、該対応画素に隣接する４つの画素の画素値との差分を用いて算出されてもよい。
つまり、対応画素の近傍領域の局所変動とは、対応画素の画素値の、対応画素に隣接する４つの画素の画素値に対する変動の程度を示すものであってもよい。無論、局所変動の算出方法は、この例に限られず、例えば対応画素の画素値と、対応画素に隣接する８つの画素の画素値との差分を用いて算出してもよい。
また、上記合成工程では、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して上記基準画像を生成することが好ましい。
上記の構成によれば、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い基準画像を生成することができる。
また、上記更新工程では、全変動ノルムに基づく拘束項を含むコスト関数を最小化することによって、処理対象画像を更新することが好ましい。
すなわち、局所変動を用いた画素値の更新は、全変動ノルムに基づく拘束項をコスト関数に含めることで実現してもよい。
また、本発明のさらに他の画像処理方法は、上記課題を解決するために、一定の周期の繰り返しパターンを有する基準画像のノイズを除去する画像処理方法であって、上記基準画像に含まれる第１画素から上記一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、上記重み設定工程で設定した重みを、上記画素群に含まれる各画素の画素値に適用して更新する更新工程とを含むことを特徴としている。
上記の構成において、基準画像は、一定の周期の繰り返しパターンを有しているため、第１画素からこの周期分だけ離れた位置の画素の画素値は、理論上、第１画素と同一となる。すなわち、これらの画素の画素値が相違している場合には、例えばノイズの発生等の要因によって、何れかの画素の画素値が異常な値となっていることが考えられる。
そこで、上記の構成によれば、第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを適用している。これにより、低い計算コストでこれらの画素に生じているノイズを除去することができる。無論、ここで適用する重みは、第１画素の画素値との差が大きいほど、その画素値を小さく補正するような重みとなる。
また、上記画像処理方法は、上記基準画像よりも空間解像度が低い複数の低解像度画像を合成することによって上記基準画像を生成する合成工程を含むことが好ましい。
上記の構成によれば、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い基準画像を生成することができる。つまり、上記画像処理方法で生成されるノイズ除去画像は、上記低解像度画像よりも解像度が高く、かつノイズが除去された画像となる。すなわち、上記の構成によれば、低解像度画像の高解像度化及びノイズ除去を行うことができる。
また、上記複数の低解像度画像には、撮像時の露光時間が異なるものが含まれることが好ましい。
上記の構成によれば、露光時間の等しい低解像度画像を用いた場合と比べて、基準画像のダイナミックレンジを拡大することができ、更新工程における更新によって生成される画像のダイナミックレンジも拡大することができる。
また、上記複数の低解像度画像の空間解像度は、それぞれ同一またはほぼ等しいことが好ましい。
上記の構成によれば、複数の低解像度画像を合成する際の演算が簡略となる。
また、上記合成工程では、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して上記基準画像を生成することが好ましい。
上記の構成によれば、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い基準画像を生成することができる。
また、上記重み設定工程では、上記第１画素に近接する画素よりなる第１近接画素群を設定すると共に、上記第１画素群に含まれる画素のそれぞれについて、該画素に近接する画素よりなる第２近接画素群を設定し、上記第１画素群に含まれる各画素の重みを、該画素に対応する第２近接画素群に含まれる各画素の画素値と、上記第１画素群に含まれる各画素の画素値との差分である画素値差分を用いて算出することが好ましい。
上述のように、画素値差分は、画像に含まれる画素の画素値の正否を判断する判断材料となりうる。そこで、上記の構成によれば、画素値差分を用いて重みを設定している。これにより、重みの信頼性を高め、生成される画像の精度を高めることができる。
例えば、上記重み設定工程では、第１近接画素群及び第２近接画素群に含まれる各画素について、上記画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで算出してもよい。
これにより、画素値差分の大小に応じた重みを設定することができる。
また、上記画像処理方法では、上記更新工程で更新された画素値を有するノイズ除去画像を用いて処理対象画像を更新することによって、該処理対象画像からボケを除去したボケ除去画像を生成するために、上記ノイズ除去画像に含まれるノイズ除去第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、上記信頼度設定工程で設定された信頼度数値と、上記ノイズ除去第１画素の画素値と、上記処理対象画像において上記ノイズ除去第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含むことが好ましい。
上記の構成によれば、ノイズを除去したノイズ除去画像を用いて処理対象画像を更新している。このため、更新後の画素値に対するノイズの影響を低減して、高精度な画像を生成することができる。
また、本発明のさらに他の画像処理方法は、上記課題を解決するために、一定の周期の繰り返しパターンを有する基準画像からノイズを除去したノイズ除去画像を生成する画像処理方法であって、上記基準画像に含まれる第１画素から上記一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、上記重み設定工程で設定した重みを用いて、上記画素群に含まれる各画素の画素値を組み合わせることによって、上記ノイズ除去画像において上記第１画素に対応する対応位置の画素の画素値を更新する更新工程とを含むことを特徴としている。
上記の構成において、基準画像は、一定の周期の繰り返しパターンを有しているため、第１画素からこの周期分だけ離れた位置の画素の画素値は、理論上、第１画素と同一となる。すなわち、これらの画素の画素値が相違している場合には、例えばノイズの発生等の要因によって、何れかの画素の画素値が異常な値となっていることが考えられる。
そこで、上記の構成によれば、第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定している。そして、この重みを用いて上記画素群に含まれる各画素の画素値を組み合わせているので、低い計算コストでこれらの画素に生じているノイズを除去することができる。なお、重みを用いて画素値を組み合わせる方法としては、例えば各画素値の重み付け平均をとる方法が挙げられる。無論、ここで適用する重みは、第１画素の画素値との差が大きいほど、その画素値を小さく補正するような重みとなる。
なお、上記ノイズ除去画像の初期値は、上記基準画像とすることが好ましい。
これにより、更新回数を少なくし、演算処理の負担を軽減することができる。
また、上記重み設定工程では、上記ノイズ除去画像において、上記第１画素に対応する位置の画素に近接する画素よりなる第１近接画素群を設定すると共に、上記第１画素群に含まれる画素に対応する位置の画素に近接する画素よりなる第２近接画素群を設定し、上記第１画素群に含まれる各画素の重みを、該画素に対応する第２近接画素群に含まれる各画素の画素値と、上記第１画素群に含まれる各画素の画素値との差分である画素値差分を用いて算出することが好ましい。
上述のように、画素値差分は、画像に含まれる画素の画素値の正否を判断する判断材料となりうる。そこで、上記の構成によれば、画素値差分を用いて重みを設定している。これにより、重みの信頼性を高め、生成される画像の精度を高めることができる。
また、上記重み設定工程では、第１近接画素群及び第２近接画素群に含まれる各画素について、上記画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで算出することが好ましい。
これにより、画素値差分の大小に応じた重みを設定することができる。
また、上記基準画像は、該基準画像よりも空間解像度が低い複数の低解像度画像を合成することによって上記基準画像を生成する合成工程で生成されたものであることが好ましい。
上記の構成によれば、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い基準画像を生成することができる。つまり、上記画像処理方法で生成されるノイズ除去画像は、上記低解像度画像よりも解像度が高く、かつノイズが除去された画像となる。すなわち、上記の構成によれば、低解像度画像の高解像度化及びノイズ除去を行うことができる。
また、上記複数の低解像度画像には、撮像時の露光時間が異なるものが含まれることが好ましい。
上記の構成によれば、露光時間の等しい低解像度画像を用いた場合と比べて、基準画像のダイナミックレンジを拡大することができ、生成されるノイズ除去画像のダイナミックレンジも拡大することができる。
また、上記複数の低解像度画像の空間解像度は、それぞれ同一またはほぼ等しいことが好ましい。
上記の構成によれば、複数の低解像度画像を合成する際の演算が簡略となる。
また、上記基準画像は、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して生成されたものであることが好ましい。
上記の構成によれば、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い基準画像を生成することができる。
また、上記画像処理方法では、上記更新工程で更新された画素値を有するノイズ除去画像を用いてボケ除去対象画像を更新することによって、該ボケ除去対象画像からボケを除去したボケ除去画像を生成するために、上記ノイズ除去画像に含まれるノイズ除去第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、上記信頼度設定工程で設定された信頼度数値と、上記ノイズ除去第１画素の画素値と、上記ボケ除去対象画像において上記ノイズ除去第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含むことが好ましい。
上記の構成によれば、ノイズを除去したノイズ除去画像を用いてボケ除去対象画像を更新している。このため、更新後の画素値へのノイズの影響を低減して、高精度な画像を生成することができる。
本発明における、上述したおよび他の目的、特徴、および利点は、添付した図面とともに、下記に示す本発明の詳細な説明（実施の形態）を参照することによって、より容易に理解されるだろう。
以上のように、本発明の画像処理方法は、処理対象画像に含まれる第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、上記第１画素の画素値を、該第１画素に対応する位置の上記基準画像の画素の画素値と、上記重み設定工程で決定した重みと、上記画素群に含まれる各画素の画素値とを用いて更新する更新工程とを含む構成である。
また、本発明の他の画像処理方法は、複数の低解像度画像を合成して、該低解像度画像よりも解像度の高い基準画像を生成する合成工程と、上記合成工程で生成した基準画像に含まれる第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、上記信頼度設定工程で設定された信頼度数値と、上記第１画素の画素値と、上記処理対象画像において上記第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含む構成である。
そして、本発明のさらに他の画像処理方法は、基準画像に含まれる第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、上記重み設定工程で設定した重みを、上記画素群に含まれる各画素の画素値に適用して更新する更新工程とを含む構成である。
また、本発明のさらに他の画像処理方法は、基準画像に含まれる第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、上記重み設定工程で設定した重みを用いて、上記画素群に含まれる各画素の画素値を組み合わせることによって、上記ノイズ除去画像において上記第１画素に対応する対応位置の画素の画素値を更新する更新工程とを含む構成である。
したがって、低い計算コストで処理対象画像のボケを除去し、または低い計算コストで基準画像のノイズを除去することができる。
画像撮像モデルの典型例を示す図である。 １つ以上の低解像度画像からリサンプリング画像を形成し、リサンプリング画像の画素の信頼性に基づく重みマトリクスを生成し、ボケ画像を繰り返し推定することを含む、本発明に係る典型的な実施形態を示すチャート図である。 局所変動および正規化を用いたボケ除去を含む、本発明に係る典型的な実施形態を示すチャート図である。 ボケ除去の前にノイズ除去を含む、本発明に係る典型的な実施形態を示すチャート図である。 空間の繰り返しパターンを示す画像の一例を表す図である。 繰り返しパターン、ならびに、当該繰り返しパターンの縦および横の周期を示す図である。 中央画素の近傍画素を示す図である。 中央画素の近傍画素、および、関連する画素のパッチを示す図である。 非局所的な重みの決定、および、入力画像についての非局所的な重み付けされた平均を含む、本発明に係る典型的な実施形態を示すチャート図である。 ノイズが除去された画像の繰り返し推定値を漸進的に改良する、非局所的な重みの決定を含む、本発明に係る典型的な実施形態を示すチャート図である。 非局所的な正規化拘束項を含む、本発明に係る典型的な実施形態を示すチャート図である。 非局所的な正規化拘束項、および、ダイナミックレンジの拡張を含む、本発明に係る典型的な実施形態を示すチャート図である。
本発明に係る実施形態は、上記図面を参照することによって最も明らかとなるだろう。以下の説明において、同様の部材には同様の符号を付している。上述した図面は、この詳細な説明の一部として明白に取り入れられる。
本明細書で記述され、また、図面に図示されている本発明の要素は、様々な異なる構成に改作されてもよく、また、設計されてもよいことは、容易に理解できるだろう。すなわち、本発明の方法およびシステムに係る実施形態について下記に示すより詳細な説明は、本発明の範囲を限定するものではなく、本発明についての現在における好ましい実施形態の代表に過ぎない。
本発明に係る実施形態の要素は、ハードウェア、ファームウェア、および／またはソフトウェアにおいて実現される。本明細書において開示する実施形態では、これらの形態のうち１つのみについて説明するが、当業者が任意の形態においてこれらの要素を実現し得ることは明らかであり、このようにして実現されたものも本発明の範囲に含まれる。
以下の説明において、画像は、例えば、Ｘなどの、マトリクス／ベクトルの概念を用いて表されてもよいし、または同等に、例えば、Ｘ（ｉ，ｊ）もしくはＸなどの、画素値の２次元離散配列として表されてもよい。演算子は、例えば、Ｈなどの、マトリクス／ベクトルの概念を用いて表されてもよいし、または同等に、例えばＨ（ｉ，ｊ）で表されたフィルタなどの、２次元演算子として表されてもよい。なお、畳み込みは、＊で表す。
本発明に係る一実施形態は、１または複数の低解像度画像から高解像度画像を生成する方法およびシステムを含んでいる。低解像度画像は、限られた解像度の、または、望ましい解像度より低い空間解像度のカメラまたはセンサーシステムによって撮像される。一般に、高解像度画像の生成に用いられる低解像度画像は、同一の撮像対象を同一のカメラまたはセンサーシステムで撮像して得られたものであるから、各低解像度画像の空間解像度は、それぞれ同一となるか、またはほぼ等しくなる。低解像度画像は、低解像度画像を得るための画像撮像処理に内在する、１または複数種類の劣化の影響を受けることが多い。画質劣化の一般的な種類には、ボケ、ノイズ、および非線形性が含まれる。ボケは、低解像度画像において、高周波細部（high-frequency detail）がカットされることによって生じる。また、ボケは、カメラの光学素子、画像センサ、および他の要因に起因して生じる。ノイズは、画像センサ、システム電子機器、アナログ・デジタル変換、および他の要因によって引き起こされるランダムな信号変化の一態様である。典型的な非線形性には、飽和率（saturation）および他の要素が含まれる。
（撮像処理モデル）
図１は、ｉ番目の低解像度画像を撮像するための典型的な撮像処理モデル１０を示している。Ｘで表される、理想的な高解像度画像１２は、レンズおよびセンサのボケにより劣化する（ステップ１４）。なお、ステップ１４における、レンズおよびセンサのボケは、ＨＰＳＦで表される点広がり関数（point-spread-function）の組み合わせによって表される。次に、劣化した画像１５は、Ｍｉで表されるセンサ動きによる劣化（動き演算子）の影響を受ける（ステップ１６）。この結果として劣化した画像１７は、続いて、ダウンサンプリングされる（ステップ１８）。なお、ダウンサンプリング演算子は、Ｄｉで表される。次に、Ｖｉで表される付加的なノイズが、ダウンサンプリングされた画像１９に追加される（ステップ２０）。その結果、ｉ番目に撮像された低解像度画像２２は、付加的なノイズを含むこととなる。図１に示される撮像処理モデル１０は、下記式（１）によって表される。
上記式（１）において、ｉ番目に撮像された低解像度画像２２は、Ｙｉで表される。
本発明に係る一実施形態において、ダウンサンプリング演算子および動き演算子は既知のものであってもよい。ダウンサンプリング演算子および動き演算子が既知である場合には、観測された低解像度画像を１つのリサンプリング画像に組み込むことによって、ダウンサンプリング処理およびセンサ動きの影響を無視できる。リサンプリング画像Ｙresampledは、下記式（２）によって表される。
上記式（２）において、Ｖは、アップサンプリングされ、動き補償されたノイズ場を示す。また、上記式（２）において、
は、ｉ番目の低解像度画像２２の撮像に関するセンサ動き演算子の逆関数を示し、
は、ｉ番目の低解像度画像２２の撮像に関するダウンサンプリング演算子の逆関数を示す。リサンプリング画像Ｙresampledは、カメラのボケＨＰＳＦおよびノイズＶによって、さらに劣化する。
（ボケ除去）
本発明に係る一実施形態は、リサンプリング画像Ｙresampledから、ＨＰＳＦで表されるボケの影響を除去する方法およびシステムを含んでいる。理想的な高解像度画像の推定値は、
と表され、以下の式（３）のように定式化されたコスト関数の最小化によって計算される。
なお、上記式（３）において、Φ（Ｘ）は、下記式（４）によって求められる。
上記式（４）において、Ｃ（Ｘ）は正規化項であり、また、安定化項、拘束項である。式（４）に示すように、高解像度画像は、リサンプリング画像との誤差が小さくなるように更新される。なお、リサンプリング画像は、低解像度画像からリサンプリングした画像であり、ボケを含んでおり、現時点の推定値Ｘとリサンプリング画像との差分を直接求めることはできない。このため、式（４）では、現時点の推定値ＸにボケＨＰＳＦを乗じてリサンプリング画像との差分を取っている。
本発明に係る一実施形態では、Ｘの推定値を繰り返し計算するために、繰り返し最小化法（iterative minimization methods）を用いてもよい。この実施形態では、最急降下法を用いて、コスト関数の勾配方向の反対方向に、現時点の推定値を更新することによって、現時点の推定値から次の推定値を、繰り返し毎に生成してもよい。ここで、現時点の推定値は、
によって示され、次の推定値は、
によって示される。一実施形態では、初期推定値は、リサンプリング画像に直接的に基づいている。つまり、初期推定値としてリサンプリング画像を適用することもできる。ここで、初期推定値は、
によって示され、下記式（５）によって決定される。
一実施形態では、上記式（４）において、λ＝０であるとき、Ｘの推定値は、最小（ＬＳ）解に制約されなくてもよい。この実施形態では、繰り返しの最小化法は、下記式（６）によって与えられる。
上記式（６）において、βは、ステップサイズ、または、更新重みである。一実施形態において、更新重みβは一定であってもよい。他の実施形態では、繰り返し毎に、更新重みβの最適値が計算されてもよい。この実施形態において、更新重みβの最適値は、現時点の最急降下方向を与えるコスト関数を最小化する値である。本発明に係る一実施形態は、共役勾配最小化法に従って改善された降下方向の計算を含んでいる。他の実施形態では、当業者に知られた他の最小化法を用いてもよい。
一実施形態では、λ＞０のとき、正規化拘束項（regularization constraint）は、チーホノフ‐ミラー（Tikhonov-Miller）解法に従って、Ｌ２ノルムと組み合わされた線形高域通過フィルタに基づいていてもよい。ここで、正規化拘束項は、
により示される。一実施形態において、線形高域通過フィルタは、Ｌにより示される２次元ラプラシアンフィルタを含んでいてもよい。この実施形態において、正規化拘束項は下記式（７）に従って決定される。
一実施形態は、最急降下法を用いた下記式（８）による繰り返し最小化を含んでいてもよい。
上記式（８）において、βは、ステップサイズ、または、更新重みである。一実施形態は、小さい局所的な空間ウィンドウにおける隣接した画素の重み付けを含む離散ラプラシアンフィルタを含んでいてもよい。
（ボケ除去：正規化拘束項の他の例）
本発明に係る他の実施形態において、正規化拘束項は全変動（Total Variation；ＴＶ）ノルムに基づいていてもよい。この実施形態において、ＴＶノルムは、勾配振幅のＬ１ノルムとして計算され、正規化拘束項は、下記式（９）に従って決定される。
上記式（９）において、典型的な離散変形は下記式（１０）によって決定される。
上記式（１０）において、（ｉ，ｊ）は画素の位置であり、Ｄｉ，ｊ（Ｘ）は下記式（１１）によって与えられる。
上記式（１１）において、Ｓは、画素の位置（ｉ，ｊ）に近接する局所的近傍を示す。
一実施形態において、画素の位置（ｉ，ｊ）における局所変動Ｄｉ，ｊ（Ｘ）は、局所的近傍である、隣接した４つの近傍画素を用いて定義されてもよい。この実施形態において、Ｓ＝｛（１，０）、（０，１）、（−１，０）、（０，−１）｝である。他の実施形態において、局所変動は、局所的近傍である、隣接した８つの近傍画素を用いて定義されてもよい。さらなる他の実施形態では、他の局所的近傍が用いられてもよい。最急降下法に基づく最小化を用いるにあたり、一実施形態は、下記式（１２）および式（１３）による繰り返し更新を含んでいてもよい。
上記式（１２）において、＊は畳み込みを示す。
αｉ，ｊ，ｌ，ｍは、局所的近傍Ｓのためのデータ適応重みを含んでいる。他の実施形態では、最適化最急降下、共役勾配、および他の最小化アプローチを用いた最小化に準じた繰り返し更新を含んでもよい。
（ボケ除去：異なる露光時間の利用）
本発明に係る他の実施形態は、複数の異なる露光時間を用いて撮像された複数の低解像度画像から形成されたリサンプリング画像Ｙresampled（基準画像）から、ＨＰＳＦで表されるボケの影響を除去する方法およびシステムを含んでもよい。この実施形態において、リサンプリング画像は、下記式（１４）によって形成される。
上記式（１４）において、τｉは、ｉ番目に撮像された低解像度画像の露光時間であって、全ての画像（ｉ＝１，・・・，Ｉ）における最大露光時間に基づくものである。このτｉによって、異なる露光時間で撮像された低解像度画像を用いてリサンプリング画像を生成することができる。
一実施形態では、Ｗにより示される対角重みマトリクスは、リサンプリング画像Ｙresampledに関連付けて定義される。ここで、対角（diagonal）における入力Ｗ（ｉ，ｊ）は、リサンプリング画像Ｙresampledにおける画素（ｉ，ｊ）の信頼度に相当する。つまり、対角重みマトリクスＷは、リサンプリング画像Ｙresampledの各画素について、その画素値の信頼度を示すものである。一実施形態において、信頼度の値は０．０から１．０の間であり、０．０に近い値は、１．０に近い値の信頼度よりも、低い信頼度を有するデータサンプルを示す。ただし、他の実施形態では、他の値が用いられてもよい。ここで、最大画素値または最大画素値に近い画素値を有する画素は、白とびまたは黒つぶれが発生した画素である可能性が高い。このため、一実施形態では、このような画素の寄与を低下させるために、０．０に近い信頼度の値が割り当てられる。
一実施形態では、ダイナミックレンジの拡大を含むコスト関数は、下記式（１５）によって与えられる。
上記式（１５）において、Ｗは、信頼度の値を含む重みマトリクスである。一実施形態は、最急降下法に基づく最小化およびＴＶ拘束項を用い、下記式（１６）による繰り返し更新を含んでいてもよい。つまり、式（９）に示す、全変動ノルムに基づく拘束項を含むコスト関数を最小化することによって、高解像度画像（処理対象画像）を更新してもよい。つまり、式（１６）による演算は、信頼度数値と、リサンプリング画像（基準画像）における位置（ｉ，ｊ）の画素（第１画素）の画素値と、処理対象画像における位置（ｉ，ｊ）の画素（対応画素）の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する処理に相当する。
上記式（１６）において、＊は畳み込みを示す。リサンプリング画像には、低解像度画像の露光時間が反映される。コスト関数は、重みマトリクスを含んでいてもよい。ここで、上記のように、式（１６）は、右辺第２項にＷ（ｉ，ｊ）が含まれている点を除けば式（１２）と同じである。つまり、式（１６）を用いた演算によれば、局所変動の値を用いて処理対象画像が更新され、更新された処理対象画像を用いて局所変動の値も更新される。
この実施形態について、図２および図３を参照して説明する。まず、複数の低解像度画像を受信し（ステップ３０）、低解像度画像からリサンプリング画像が形成される（ステップ３２：合成工程）。ステップ３２では、リサンプリング画像は、上述したように、下記式（１７）によって形成される。
重みマトリクスは、リサンプリング画像に基づいて生成され（ステップ３４：信頼度設定工程）、ボケが除去された画像の初期推定値が形成される（ステップ３６）。一実施形態において、初期推定値は、リサンプリング画像に基づいている。つまり、リサンプリング画像を初期推定値としてもよい。更新推定値は、ＴＶ拘束項および最小化処理を用いて生成される（ステップ３８：更新工程、式（１６）参照）。繰り返し終了状態であるか否かが調べられ（ステップ４０）、終了状態であれば、先に生成した推定値をボケ除去画像４１として出力して繰り返し処理は終了される（ステップ４２）。終了状態でなければ、先に生成した推定値４３を用いて新しい推定値が生成される（ステップ３８）。なお、繰り返しの終了は、例えば、生成した推定値とリサンプリング画像との誤差が、予め定めた閾値以下であるか否かに応じて判断することもできる。
図３は、ＴＶ拘束項、および、信頼度重みマトリクスを含む、本発明の典型的な実施形態における繰り返しの一例を示す図である。ボケ演算子は、ＨＰＳＦにより示される既知の点広がり関数５４、Ｙresampledにより示されるリサンプリング画像（基準画像）５２、Ｗにより示される重みマトリクス（信頼度数値）５０、および、
により示される現時点の推定値（処理対象画像）５６を用いて適用される（ステップ５８）。なお、リサンプリング画像５２および重みマトリクス５０は、図２に示す処理で生成されたものを用いてもよい。局所変動は、現時点の推定値５６を用いて計算される（ステップ６０、式（１１）参照）。正規化演算子（ＴＶ拘束項）は、ステップ６０において計算された局所変動、および現時点の推定値５６を用いて適用される（ステップ６２）。更新方向は、ボケ処理および正規化処理の結果を用いて計算され（ステップ６４）、推定値５６は、新しい推定値６６が生成されることで更新される（更新工程）。
ボケ除去における主要な問題の１つは、ノイズが増幅される可能性があることである。ノイズは、撮像画像データにそもそも内在しているものであり、ボケの除去においてノイズを無視することは、高解像度画像の有用性が減少するという結果を招く。ボケの除去における正規化項、安定化項、または拘束項の利用は、撮像画像データにおけるノイズを制御または抑制し、また、ノイズの増幅を防ぐ方法の一つである。全変動の拘束項は、ノイズを制御するのに効果的である。しかしながら、この拘束項は、多くの正規化拘束項と同様に、局所的に作用し、少量のボケを再び取り込む可能性がある。拘束の強さは、ノイズが増幅する危険性とボケとのバランスをとるように適切に選択すればよい。
（ボケ除去に先立つノイズ除去）
本発明に係る実施形態は、図４に示すように、ボケの除去（ステップ７６）に先立って、複数の低解像度画像７０を組み合わせること（ステップ７２、合成工程）によって形成されたリサンプリング画像７３のノイズを除去すること（ステップ７４）を含む。ノイズが除去された画像（ノイズ除去画像）７５は、ボケの除去が行われ（ステップ７６）、高解像度画像の最終的な推定値（ボケ除去画像）７８を形成する。一実施形態は、本明細書で記述する、ボケを除去する方法およびシステムに先だって適用される、周知のノイズ除去法を含んでいてもよい。他の実施形態は、後述する、本発明に係るシステムおよび方法によるノイズ除去を含んでいてもよい。
本発明に係る一実施形態は、ボケが再び取り込まれる可能性を減少させるようにノイズ除去の能力を改善した、ノイズ除去およびノイズ抑制のための方法およびシステムを含んでいてもよい。また、この実施形態は、非局所的な手段（non-local means）を含んでいてもよい。
一実施形態は、非局所的な手段の決定を制限するために、画像データにおける繰り返しパターンについての予め取得された情報を利用してもよい。画像データが繰り返しパターンを示す典型例は、特定のテストパターンを表示するように制御されたＬＣＤ（液晶ディスプレイ）パネルを撮像した画像である。結果として得られる画像は、ＬＣＤ画素およびサブ画素の配列を含む。画像において視認されるＬＣＤ画素のパターンは、カメラおよびＬＣＤパネルのセットアップにおける厳格な制御のために非常に均一である。このような画像８０の一例を図５に示す。図５に示される典型的な画像８０について図６に示す。図６に示すように、画像８０は、あるパターンと次のパターンとの間が一定の周期で、縦および横に繰り返される、ＬＣＤ画素のパターンを含んでいる。画像８０は、ｌｘで示される横の周期８４と、ｌｙで示される縦の周期８６とを繰り返すパターン８２を含んでいる。本発明に係る一実施形態では、画像８０における各画素に、極めて類似性が高く、それ故ノイズ除去のための優れた候補を表す、画像の異なる領域における画素が配置されている。
一部の画像は、白とびや黒つぶれを含んでおり、これらはＬＣＤパネルにおける画素欠陥に相当する。これらの（サブ）画素欠陥は、規則的なパターンにおける例外であり、画像８０を用いてＬＣＤパネルの画素欠陥を検出するためには、これらの例外パターンが、ノイズ除去の後も保持されなければならない。しかし、通常のノイズ除去技術を適用した場合には、このようなＬＣＤパネルの欠陥パターンの視認性を減退させてしまう。これに対し、本発明に係る一実施形態は、この問題を避けることができるデータ適応重みを含んでいる。
本発明に係る実施形態は、追加的なボケを取り込むことがないため、多くの既存のノイズ除去技術よりも有利である。ボケを除去する前に、本発明に係る実施形態によりノイズを除去することで、ノイズのパワーを減少させることができる。これにより、ボケを除去するときに、正規化拘束の強さを減少させることが可能になる。これは、正規化に起因するボケの危険性を減少させ、さらに、正規化が適用される場合に起こり得る他の影響の危険性を減少させる。
（ノイズ除去：非繰り返し方法）
本発明に係る一実施形態は、画像のノイズ除去のための、非繰り返し方法およびシステムを含んでいてもよい。この実施形態は、非局所的な近傍画素と、データ適応重みとを用いた、重み付け平均化を含んでいてもよい。この実施形態において、画像は画素毎に処理され、また、処理の対象となる画素（例えば、位置（ｉ，ｊ）における画素）は、中央画素と見なされる。近傍インデックス集合は、下記のように表される。
上記において、０は処理される中央画素を表し、また、他のインデックス値はノイズ除去において利用される近傍画素を表すものとして定義される。中央画素の周囲における画素のパッチ（第１近接画素群）が定義され、同様に、近傍画素の周囲における画素のパッチ（第２近接画素群）が定義される。パッチサイズは、（２Ａ＋１）×（２Ｂ＋１）画素と定義される（Ａ、Ｂは任意の正数）。なお、他のパッチサイズが用いられてもよい。近傍インデックス集合Ｎは、近傍画素に加えて、近傍パッチについて表すものであってもよい。
ｎ番目の近傍画素は、画像において、Ｌｎ個の画素によって縦に、かつ、Ｍｎ個の画素によって横にオフセットされる。つまり、ｎ番目の近傍画素は、Ｌｎ個の画素の幅だけ縦方向にオフセットされ、Ｍｎ個の画素の幅だけ横方向にオフセットされる。なお、Ｍｎ、Ｌｎは、理論上、中央画素と同じ画素値を有すると考えられる画素の位置を特定するものである。つまり、一定の周期の繰り返しパターンを有する画像において、中央画素からこの周期分離れた位置の画素は、中央画素と同じ画素値を有すると考えられる。このため、近傍画素をこの周期分だけオフセットして中央画素の画素値と比較することにより、中央画素の画素値の適否を判断することができる。本発明に係る一実施形態では、これらのオフセットは、１つの方向ベクトル（パターン反復方向ベクトル）を用いて定義されてもよい。他の実施形態では、２つの方向ベクトルを用いて定義されてもよい。これらの実施形態において、１つまたは２つの方向ベクトルは、画像平面において、パターンが１つのみの方向に沿って繰り返しされるか、または２つの方向に沿って繰り返しされるか、のいずれであるかによって決まる。第１の方向ベクトルは、ｒ＝〔ｒｘ，ｒｙ〕Ｔと定義される。また、第２の方向ベクトルは、ｓ＝〔ｓｘ，ｓｙ〕Ｔと定義される。図５および図６に示す典型的な画像８０について、図７に示すように、中央画素（第１画素、ノイズ除去第１画素）９０に対して、第１方向ベクトルはｒ＝〔ｌｘ，０〕Ｔ（９１）と定義され、第２方向ベクトルはｓ＝〔０，ｌｙ〕Ｔ（９３）と定義される。近傍画素に対するオフセットは、下記式（１８）によって、方向ベクトルの線形整数結合（linear integer combinations）として定義される。
上記式（１８）において、ｐｎおよびｑｎは整数である。したがって、縦および横のオフセットは、Ｍｎ＝ｐｎｓｘ＋ｑｎｒｘおよびＬｎ＝ｐｎｓｙ＋ｑｎｒｙの各々によって決定される。
例えば、８つの最近傍オフセット画素は下記式（１９）を用いて決定される。
図７は、中央画素９０と、下記式（２０）により示されるオフセットされた８つの最も近接した近傍画素（画素群に含まれる画素）９２、９４、９６、９８、１００、１０２、１０４、１０６とを示す図である。
本発明に係る一実施形態において、近傍は、１つまたは２つの方向ベクトルによって定義された、規則的な格子上に配置された画素に限定される。画像パターンが１つの方向のみに繰り返される場合、１つの方向ベクトルのみが必要とされる。
本発明に係る一実施形態では、（ｉ，ｊ）に配置された画素（中央画素）のｎ番目の近傍画素に対するノイズ除去重みは、下記式（２１）によって表される。
上記式（２１）において、ｈはノイズ除去強度に関するパラメータであり、ｈの値が大きい程、ノイズ除去強度がより高いことを示す。この実施形態において、ノイズ除去重みは、中央パッチにおける対応画素と近傍画素との間における画素値の差に基づいていてもよい。また、本発明に係る他の実施形態では、指数関数ｅｘｐを形成する代替の関数を用いてもよい。さらに、本発明に係る一実施形態では、重みは、数学の定式（mathematical formulation）を用いて決定されてもよく、他の実施形態では、ルックアップテーブルなどのような、事前に計算されるマッピング用のデータを用いて決定されてもよい。
図８は、画像１２０の典型例を示す図である。図８には、典型的な中央画素（第１画素、ノイズ除去第１画素）１３１、および中央画素１３１に関する画素のパッチ（第１近接画素群）１２１が示されている。また、図８には、８つの近傍画素（画素群に含まれる画素）１３２〜１３９、およびそれらに関連するパッチ（第２近接画素群）１２２〜１２９が示されている。
本実施形態は、図９に表されている。非局所的重み（重み）１５４は、入力画像（基準画像）１５０から計算される（ステップ１５２：重み設定工程）。ステップ１５２では、例えば式（２１）を用いて演算が行なわれる。非局所的重み１５４は、入力画像１５０の非局所的重み付け平均化（ステップ１５６：更新工程）において、入力画像１５０からノイズを除去したノイズ除去画像１５８を形成するために用いられる。このノイズ除去画像１５８の形成には、例えば、後述の式（２２）を用いることができる。本発明に係る一実施形態では、式（２１）、（２２）に示すように、入力画像１５０は、複数の低解像度画像から形成されたリサンプリング画像であってもよい。
以上のように、本発明に係る一実施形態では、重みは、中央画素に関する近傍画素に対して決定され、中央画素のノイズ除去値は、下記式（２２）によって決定される。そして、このようにして求めたノイズ除去値を有する画素で構成されるノイズ除去画像をリサンプリング画像として用いて、ボケ除去画像を生成してもよい。ボケ除去画像の生成には、例えば、式（１５）（１６）を用いてもよい。これにより、ノイズの影響を低減させた精度の高いボケ除去画像を生成することができる。
（ノイズ除去：繰り返し方法）
本発明に係る一実施形態は、非局所的な近傍画素およびデータ適応重みを用いて、ノイズを繰り返し除去することを含んでいる。この実施形態では、下記式（２３）により表される、ノイズ除去画像についての現時点の推定値を用いて、繰り返し推定値の各々における重みが決定される。
現時点の重み推定値と、下記式（２４）に含まれるリサンプリング画像とから、更新されたノイズ除去推定値が生成される。式（２４）に示すように、更新されたノイズ除去推定値は、現時点の重み推定値を用いて、リサンプリング画像（基準画像）の中央画素（位置（ｉ，ｊ）の画素）を基準としてパターン反復方向ベクトルで特定される位置の画素よりなる画素群に含まれる各画素の画素値を組み合わせることによって、現時点のノイズ除去推定値（処理対象画像）を更新することで算出される。
この実施形態において、ノイズ除去重みは、繰り返しが進むにつれて、継続的に改善される。
本発明に係る一実施形態では、初期推定値は、直接、リサンプリング画像に基づいている。つまり、初期推定値としてリサンプリング画像を適用することもできる。この実施形態において、初期推定値は、
と表され、下記式（２５）によって決定される。
本実施形態は、図１０に表される。この実施形態では、非局所的重み（重み）１６４が、リサンプリング画像（基準画像）１６０から計算される（ステップ１６２）。ステップ１６２では、例えば式（２１）を用いて演算が行なわれる。そして、リサンプリング画像１６０に非局所的重み付け平均化（ステップ１６６）を施して、初期ノイズ除去画像推定値（ノイズ除去画像）１６８を生成する。次の繰り返しでは、現時点のノイズ除去画像推定値１６８から、非局所的重み（重み）１７２が計算される（ステップ１７０、重み設定工程）。ステップ１７０では、例えば式（２３）を用いて演算が行なわれる。現時点のノイズ除去画像推定値に基づく非局所的重み１７２とリサンプリング画像１６０とに、リサンプリング画像１６０の非局所的重み平均化（ステップ１６６）を施すことによって、新たなノイズ除去画像推定値１６８が生成される（更新工程）。この更新工程では、例えば式（２４）を用いて演算が行なわれる。
繰り返しの一回目には、ノイズ除去重みは、入力画像（リサンプリング画像１６０）から計算される。一方、繰り返しの二回目には、ノイズ除去重みは、前回の繰り返し推定値（ノイズ除去画像推定値１６８）の出力に基づいて計算される。したがって、ノイズ除去重みは、繰り返しによって改善される。
上述した、ノイズを繰り返し除去する機構は、勾配降下法を用いて連続して最小化されるコスト関数を導入することによって、間接的に導かれる。コスト関数は下記式（２６）によって定義されてもよい。
上記式（２６）において、ノイズ除去重みは、
と表され、下記式（２７）によって定義される。
ノイズ除去のための繰り返し勾配降下アルゴリズムは、
に関する。
の勾配（導関数）を決定することによって構成される。
他のコスト関数が、下記式（２８）によって定義されてもよい。
勾配を決定することによって、ノイズ除去のための、繰り返し勾配降下アルゴリズムが与えられる。
ノイズ除去の推定値は、依然としてボケを含んでいるので、引き続きボケ除去が行われてもよい。一実施形態において、ボケの除去は、当業者に既知の方法を含んでいてもよい。他の実施形態において、ボケの除去は、コスト関数の最小化および正規化を利用した、本発明の実施形態によるボケの除去を含んでいてもよい。例えば、上記のようにして求めたノイズ除去値を有する画素で構成されるノイズ除去画像をリサンプリング画像として用いて、ボケ除去画像を生成してもよい。そして、ボケ除去画像の生成には、例えば、式（１５）（１６）を用いてもよい。これにより、ノイズの影響を低減させた精度の高いボケ除去画像を生成することができる。
（ノイズ除去：非局所的な正規化拘束項の利用）
本発明に係る一実施形態は、複数の低解像度観測画像に対応する高解像度画像における繰り返しパターンに基づいた、非局所的な正規化拘束項を利用した、ボケ除去のための方法およびシステムを含んでいてもよい。ここでは、非局所的な正規化拘束項を用いて高解像度画像（処理対象画像）のボケを除去する画像処理方法について説明する。なお、ここでは、ボケ除去の基準となるリサンプリング画像（基準画像）が、複数の低解像度画像から生成された高解像度画像である例について説明するが、これに限られない。つまり、ここで説明するノイズ除去方法におけるリサンプリング画像は、一定の周期の繰り返しパターンを有するものであればよく、特に限定されない。なお、これは上述の各実施形態においても同様であり、リサンプリング画像は、必ずしも複数の低解像度画像から生成された高解像度画像である必要はない。本発明に係る一実施形態は、非局所的な正規化拘束項を含んでおり、これによりノイズ抑制を改善する。ボケ除去に先立って個別にノイズ除去を行うシステムと比較して、非局所的正規化拘束項を含む本発明に係る一実施形態は、計算コストが低くなるという利点を有する。
理想的な高解像度画像の推定値は、
と表され、下記式（２９）により定式化されたコスト関数の最小化によって計算されて、ボケの除去とノイズの除去とが同時に行われる。
上記式（２９）では、下記式（３０）が与えられる。
また、上記式（３０）において、
は、中央画素パッチと非局所的近傍パッチとの類似度に基づいたデータ適応ノイズ除去重みである。より詳細には、データ適応ノイズ除去重みは、中央画素パッチに含まれる各画素の画素値と、非局所的近傍パッチに含まれる各画素の画素値とが、ノイズが全く発生していないと仮定した場合に同一またはほぼ同一となることを利用して求めたものであり、下記式（３１）によって与えられる。なお、式（３１）におけるＭｎ、Ｌｎは、式（１８）のＭｎ、Ｌｎと同じものである。つまり、式（３１）を用いた演算は、中央画素のパッチ（第１近接画素群）及び非局所的近傍における画素のパッチ（第２近接画素群）に含まれる各画素について画素値の差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで重みを算出する処理に相当する。
コスト関数を最小化するための繰り返し更新方程式は、勾配降下法を用いて決定される。本発明に係る一実施形態では、繰り返し更新は、下記式（３２）によって実現される。
上記式（３２）において、＊は畳み込みを示す。式（３２）を用いた演算は、更新後の高解像度画像の（ｉ，ｊ）に位置する画素（第１画素）の画素値を、更新前の高解像度画像の（ｉ，ｊ）に位置する画素（第１画素に対応する位置のリサンプリング画像（基準画像）の画素）の画素値と、上記式（３１）で算出した重みと、上記画素群に含まれる各画素の画素値とを用いて更新する処理に相当する。
図１１は、複数の低解像度観測に関する高解像度画像における、繰り返しパターンに基づいた非局所的な正規化拘束項を含む、本発明に係る典型的な実施形態における繰り返しの一例を示す図である。ボケ演算子は、既知の点広がり関数１８４、リサンプリング画像（基準画像）１８２、および現時点の推定値（処理対象画像）１８６を用いて適用される（ステップ１８８）。ここで、既知の点広がり関数はＨＰＳＦにより表され、リサンプリング画像はＹresampledにより表され、現時点の推定値は、
と表される（式（２９）参照）。非局所的重み（重み）は、現時点の推定値１８６を用いて計算される（ステップ１９０：重み設定工程、式（３１）参照）。非局所的正規化演算子は、ステップ１９０にて計算された非局所的重みと現時点の推定値１８６とを用いて適用される（ステップ１９２、式（３０）参照）。更新方向は、ボケ工程と正規化工程との結果を用いて計算され（ステップ１９４）、推定値１８６は、新しい現時点の推定値１９６を生成することによって更新される（更新工程、式（３２）参照）。
（ノイズ除去：異なる露光時間の利用）
本発明に係る一実施形態では、リサンプリング画像Ｙresampledは、複数の異なる露光時間で撮像された複数の低解像度画像から形成される。なお、リサンプリング画像の生成に用いる複数の低解像度画像は、その撮像時の露光時間がそれぞれ同一であってもよい。しかし、異なる露光時間の低解像度画像を合成してリサンプリング画像を生成した場合には、リサンプリング画像のダイナミックレンジを拡張することができるという利点がある。この実施形態において、リサンプリング画像は、下記式（３３）によって決定される。
上記式（３３）において、τｉは、ｉ番目に撮像された低解像度画像の露光時間であって、全ての画像（ｉ＝１，・・・，Ｉ）についての最大の露光時間に基づいている。
一実施形態では、リサンプリング画像Ｙresampledに関して、対角重みマトリクスＷが定義され、対角上の入力Ｗ（ｉ，ｊ）は、リサンプリング画像Ｙresampledにおける画素（ｉ，ｊ）の信頼度に相当する。一実施形態において、信頼度の値は、０．０から１．０の間であり、０．０に近い値は、１．０に近い値の信頼度よりも、低い信頼度を有するデータサンプルを示す。他の実施形態では、他の値が用いられてもよい。一実施形態では、最大画素値または最大画素値に近い画素値を有する画素は、０．０に近い信頼度の値を割り当てられる。
理想的な高解像度画像について、
で示される推定値は、ボケ除去とノイズ除去とを同時に実現するために定式化されたコスト関数の最小化によって計算される。ダイナミックレンジ拡張のための計算式は下記式（３４）によって与えられる。
上記式（３４）において、下記式（３５）が与えられる。
また、上記式（３５）において、
は、中央画素パッチに含まれる各画素の画素値と、非局所的近傍パッチに含まれる各画素の画素値との類似度に基づいた、データ適応ノイズ除去重みであり、下記式（３６）によって与えられる。
コスト関数を最小化するための繰り返し更新方程式は、勾配降下法を用いて決定される。本発明に係る一実施形態における繰り返し更新は、下記式（３７）によって構成される。
上記式（３７）において、＊は畳み込みを示し、Ｗ（ｉ，ｊ）は信頼度の重みを示す。
図１２は、それぞれ異なる露光時間で撮像された複数の低解像度観測画像に対応する高解像度画像における、繰り返しパターンに基づいた非局所的な正規化拘束項を含む、本発明に係る一実施形態における繰り返しの一例を示す図である。ボケ演算子は、既知の点広がり関数２０４、リサンプリング画像２０２、信頼度の重み２００、および現時点の推定値２０６を用いて適用される（ステップ２０８）。ここで、既知の点広がり関数はＨＰＳＦと表され、リサンプリング画像はＹresampledと表され、信頼度の重みはＷと表され、現時点の推定値は
と表される（式（３４）参照）。非局所的重みは、現時点の推定値２０６を用いて計算される（ステップ２１０、式（３６）参照）。非局所的正規化演算子は、ステップ２１０にて計算された非局所的重みと現時点の推定値２０６とを用いて適用される（ステップ２１２、式（３５）参照）。更新方向は、ボケ演算および正規化演算の結果を用いて計算され（ステップ２１４）、推定値２０６は、新しい現時点の推定値２１６を生成することによって更新される（式（３７）参照）。
以上のように、本発明に係る一実施形態は、入力画像から、ノイズおよびボケのいずれもが除去された画像を繰り返し推定する方法およびシステムを含んでいる。典型的な実施形態は、現時点の画像推定値を用いた、非局所的な重み（non-local weights）の計算を含んでおり、非局所的な重み、現時点の推定値、および入力画像を用いて、新たな画像推定値を生成する。この実施形態において、高解像度画像は、低解像度画像の組み合わせから成る入力画像から推定されてもよい。
また、本発明に係る他の一実施形態は、非局所的な重みを用いて、画像のノイズを除去する方法およびシステムを含んでいる。この実施形態において、高解像度画像は、低解像度画像の組み合わせから成る入力画像から推定されてもよい。
そして、本発明に係るさらなる他の一実施形態は、非局所的な重みを用いて、画像のノイズを繰り返し除去する方法およびシステムを含んでいる。この実施形態において、高解像度画像は、低解像度画像の組み合わせから成る入力画像から推定されてもよい。
また、本発明に係るさらなる他の一実施形態は、局所的拘束項を用いた、画像のボケを繰り返し除去する方法およびシステムを含んでいる。
以上のように、本発明の画像形成方法は、以下の工程（ａ）〜工程（ｃ）を含むことを特徴としている。
工程（ａ）；１つの第１画像について、水平成分及び垂直成分より成るパターン反復方向ベクトルを決定する工程、工程（ｂ）；再構成画像の第１画素について、該再構成画像の第１画素群に関連した複数の第１重みを決定する工程、ここで、１）上記第１画素群は、その各画素が、水平方向における第１画素からの水平成分の画素値の近接整数と、垂直方向における第１画素からの垂直成分の画素値の近接数とから特定されるものであり、２）上記第１画素群は、その各画素が、関連する画素値を含むものであり、３）上記第１重みは、上記再構成画像を用いて決定されるものである、工程（ｃ）；上記再構成画像の上記第１画素に関連した位置の上記第１画像における画素の画素値に基づいて、上記再構成画像における上記第１画素に関連した第１画素値を更新するとともに、上記複数の第１重みを用いて上記第１画素群における関連する上記画素値同士の組み合わせを更新する工程。
また、上記画像形成方法では、Ａ）上記第１画像は、第２画像と、第３画像とを合成する工程によって生成されたものであり、Ｂ）上記第１画像は、上記第２画像の第２空間解像度よりも大きく、且つ、上記第３画像の第３空間解像度よりも大きい第１空間解像度を有していることが好ましい。
そして、上記画像形成方法では、上記第２空間解像度と上記第３空間解像度とは、ほぼ等しいことが好ましい。
また、上記第２画像と上記第３画像との合成は、Ａ）上記第２画像に対応する第１逆動き演算子と、Ｂ）上記第３画像に対応する第２逆動き演算子と、Ｃ）上記第２画像に対応する第１逆ダウンサンプリング演算子と、Ｄ）上記第３画像に対応する第２逆ダウンサンプリング演算子と、含むことが好ましい。
さらに、Ａ）上記再構成画像の上記第１画素の位置に対応した上記第１画像の位置において、上記第１画像の画素値の信頼度数値を対応付けし、Ｂ）１）第２画像と第３画像とを合成する上記工程は、上記第２画像を撮像したときの露光時間である第１露光時間と、上記第３画像を撮像したときの第２露光時間とに基づいており、２）上記更新は、さらに、上記信頼度数値に基づいて行われるものであってもよい。
また、上記再構成画像を上記第１画像に初期化する工程をさらに含むことが好ましい。
そして、複数の第１重みを決定する工程は、上記第１画素群および上記第１画素における第２画素に対して、画素値差分を算出する工程をさらに含み、該画素値差分とは、上記第１画素に近接する第１近傍における画素群と、上記第２画素に近接する第２近傍の画素群との、画素値の差分であることが好ましい。
また、Ａ）上記差分を二乗する工程と、Ｂ）上記二乗された差分を加算する工程と、Ｃ）上記二乗され加算された差分を第１パラメータに基づいて調整する工程と、Ｄ）上記二乗され加算され調整された差分の指数をとる工程とをさらに含むことが好ましい。
そして、本発明の画像形成方法は、以下の工程（ａ）〜工程（ｃ）を含むことを特徴とする。すなわち、工程（ａ）；第１画像を撮像したときの第１露光時間と、第２画像を撮像したときの第２露光時間とを用いて該第１画像と該第２画像とを合成することによって、該第１画像の第１空間解像度よりも大きく、且つ、該第２画像の２空間解像度よりも大きい空間解像度を有する合成画像を生成する工程、工程（ｂ）；上記合成画像における第１画素に信頼度数値を対応付ける工程、工程（ｃ）；上記信頼度数値に基づき、再構成画像において、上記合成画像における上記第１画素に対応する位置の第１画素値と、上記合成画像における上記第１画素に対応付けられた値と、上記位置に隣接した領域における上記再構成画像の局所変動の値とを更新する工程。
また、上記第１空間解像度と上記第２空間解像度とは、ほぼ等しいことが好ましい。
そして、上記領域は、４つの隣接する画素からなることが好ましい。
また、上記合成画像を生成する工程では、Ａ）上記第１画像に対応する第１逆動き演算子と、Ｂ）上記第２画像に対応する第２逆動き演算子と、Ｃ）上記第１画像に対応する第１逆ダウンサンプリング演算子と、Ｄ）上記第２画像に対応する第２逆ダウンサンプリング演算子とを含むことが好ましい。
そして、上記更新する工程では、全変動ノルムに基づいた第１拘束項を含んだ第１コスト関数の最小化を含むことが好ましい。
また、本発明の画像形成方法は、以下の工程（ａ）〜工程（ｃ）を含むことを特徴としている。すなわち、工程（ａ）；１つの第１画像に関して、水平成分及び垂直成分を含んだパターン反復方向ベクトルを決定する工程、工程（ｂ）；上記第１画像における第１画素に対して、上記第１画像における第１画素群に関連した複数の第１重みを決定する工程であって、上記第１画素群は、その各画素が、水平方向における第１画素からの水平成分の画素値における近接整数と、垂直方向における第１画素からの垂直成分の画素値における近接数とから特定されるものであり、且つ、該各画素は関連する画素値を含むものであり、工程（ｃ）；上記第１画像における上記第１画素に対応する位置にて、上記複数の第１重みを用いて上記第１画素群の対応する画素値を合成することによって、ノイズ除去された画像における第１ノイズ除去画素値を決定する工程。
そして、Ａ）上記第１画像は、第２画像と、第３画像とを合成する工程によって生成されるものであり、Ｂ）上記第１画像は、上記第２画像の第２空間解像度よりも大きく、且つ、上記第３画像の第３空間解像度よりも大きい第１空間解像度を有していることが好ましい。
また、第２画像と第３画像とを合成する上記工程では、上記第２画像を撮像したときの第１露光時間と、上記第３画像を撮像したときの第２露光時間とを用いることが好ましい。
そして、上記第２空間解像度と上記第３空間解像度とは、ほぼ等しいことが好ましい。
また、上記第２画像と上記第３画像との合成は、Ａ）上記第２画像に対応する第１逆動き演算子と、Ｂ）上記第３画像に対応する第２逆動き演算子と、Ｃ）上記第２画像に対応する第１逆ダウンサンプリング演算子と、Ｄ）上記第３画像に対応する第２逆ダウンサンプリング演算子とを含むことが好ましい。
そして、複数の第１重みを決定する工程は、上記第１画素群および上記第１画素における第２画素に対して、画素値差分を算出する工程をさらに含み、該画素値差分とは、上記第１画素に近似する第１隣接における対応する画素群と、上記第２画素に近似する第２隣接との差分であることが好ましい。
また、Ａ）上記差分を二乗する工程と、Ｂ）上記二乗された差分を加算する工程と、Ｃ）上記二乗され加算された差分を第１パラメータに基づいて調整する工程と、Ｄ）上記二乗され加算され調整された差分の指数をとる行程とをさらに含むことが好ましい。
さらに、Ａ）上記ノイズ除去画素と信頼度数値とを関連付ける工程と、Ｂ）上記信頼度数値に基づいて、上記ノイズ除去画像における上記第１ノイズ除去画素に対応する位置の、再構成画像における第１画素値と、上記ノイズ除去画像における上記第１ノイズ除去画素に対応する値と、上記第１ノイズ除去画素に対応する上記位置に隣接した領域における上記再構成画像の局所変動の値とを更新する工程とを含む構成であってもよい。
また、本発明の画像形成方法は、以下の工程（ａ）〜工程（ｃ）を含むことを特徴とする。すなわち、工程（ａ）；１つの第１画像に関して、水平成分及び垂直成分を含んだパターン反復方向ベクトルを決定する工程、工程（ｂ）；上記第１画像の第１画素に関して、第１画像の第１画素群に対応する複数の第１重みを決定する工程、ここで、１）上記第１画素群は、その各画素が、水平方向における第１画素からの水平成分の画素値における近接整数と、垂直方向における第１画素からの垂直成分の画素値における近接数とから特定されるものであり、２）上記第１画素群は、その各画素が、関連する画素値を含むものであり、３）上記重みは、上記第１画像に対応付けられたノイズ除去画像を用いて決定されるものである、工程（ｃ）；上記第１重みを用いて上記第１画素群の関連する画素値を合成することによって、上記ノイズ除去画像の、上記第１画像の第１画素に対応する位置に存在する第１ノイズ除去画素の値を更新する工程。
そして、上記ノイズ除去画像を上記第１画像に初期化する工程をさらに含むことが好ましい。
また、複数の第１重みを決定する工程は、上記複数の第１画素群からの上記第１画像における第２画素位置に対応する上記ノイズ除去画像における第２画素に対して、且つ、上記第１画像における上記第１画素に対応する上記ノイズ除去画像における第１画素位置に対して、画素値差分を算出する工程をさらに含み、該画素値差分とは、上記ノイズ除去画像における上記第１画素位置に近似する第１近傍における対応する画素群と、上記ノイズ除去画像における上記第２画素位置に近似する第２隣接との差分であることが好ましい。
そして、Ａ）上記差分を二乗する工程と、Ｂ）上記二乗された差分を加算する工程と、Ｃ）上記二乗され加算された差分を第１パラメータに基づいて調整する工程と、Ｄ）上記二乗され加算され調整された差分の指数をとる工程とをさらに含むことが好ましい。
また、Ａ）上記第１画像は、第２画像と、第３画像とを合成する工程によって生成されるものであり、Ｂ）上記第１画像は、上記第２画像の第２空間解像度よりも大きく、且つ、上記第３画像の第３空間解像度よりも大きい第１空間解像度を有していることが好ましい。
そして、第２画像と第３画像とを合成する上記工程では、上記第２画像を撮像したときの第１露光時間と、上記第３画像を撮像したときの第２露光時間とを用いることが好ましい。
また、上記第２空間解像度と上記第３空間解像度とは、ほぼ等しいことが好ましい。
そして、上記第２画像と上記第３画像との合成は、Ａ）上記第２画像に対応する第１逆動き演算子と、Ｂ）上記第３画像に対応する第２逆動き演算子と、Ｃ）上記第２画像に対応する第１逆ダウンサンプリング演算子と、Ｄ）上記第３画像に対応する第２逆ダウンサンプリング演算子とを含むことが好ましい。
さらに、Ａ）上記ノイズ除去画素と信頼度数値とを対応付ける工程と、Ｂ）上記信頼度数値に基づいた上記ノイズ除去画像における上記第１ノイズ除去画素に対応する位置にて再構成画像における第１画素値と、上記ノイズ除去画像における上記第１ノイズ除去画素に対応する値と、上記第１ノイズ除去画素に対応する上記位置に隣接した領域における上記再構成画像の局所変動の値とを更新する工程とを含むことが好ましい。
上述した説明において採用された用語や表現は、説明のための用語として用いられるものであり、何ら限定を伴うものではない。また、ここで説明された特徴に相当するもの、またはその一部を除いて、これらの用語および表現の使用において何ら意図はない。本発明の範囲は、以下の請求項によってのみ定義され、限定されるものであることは明らかである。
画像の高解像度化を行う装置に好適に適用できる。例えば、液晶表示パネルの品質検査を行う検査装置では、液晶表示パネルのカラーフィルタを撮像した高解像度の画像が必要となるため、このような検査装置における、カラーフィルタを撮像した画像の高解像度化等に好適に適用できる。
５０ 重みマトリクス（信頼度数値）
５２ リサンプリング画像（基準画像）
５４ 現時点の推定値（処理対象画像）
７０ 低解像度画像
７３ リサンプリング画像（基準画像）
７５ ノイズが除去された画像（ノイズ除去画像）
７８ 最終的な推定値（ボケ除去画像）
９０ 中央画素（第１画素、ノイズ除去第１画素）
９２、９４、９６、９８、１００、１０２、１０４、１０６ 近傍画素（画素群に含まれる画素）
１２１ パッチ（第１近接画素群）
１２２〜１２９ パッチ（第２近接画素群）
１３１ 中央画素（第１画素、ノイズ除去第１画素）
１３２〜１３９ 近傍画素（画素群に含まれる画素）
１５０ 入力画像（基準画像）
１５４ 非局所的重み（重み）
１５８ ノイズ除去画像
１６０ リサンプリング画像（基準画像）
１６４ 非局所的重み（重み）
１６８ ノイズ除去画像推定値（ノイズ除去画像）
１７２ 非局所的重み（重み）
１８２ リサンプリング画像（基準画像）
１８６、１９６ 現時点の推定値（処理対象画像）

Claims (30)

  1. 一定の周期の繰り返しパターンを有する基準画像を用いて処理対象画像を更新することによって、該処理対象画像のボケを除去する画像処理方法であって、
    上記処理対象画像に含まれる第１画素から上記一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、
    上記第１画素の画素値を、該第１画素に対応する位置の上記基準画像の画素の画素値と、上記重み設定工程で決定した重みと、上記画素群に含まれる各画素の画素値とを用いて更新する更新工程とを含むことを特徴とする画像処理方法。
  2. 上記基準画像よりも空間解像度が低い複数の低解像度画像を合成することによって上記基準画像を生成する合成工程を含むことを特徴とする請求項１に記載の画像処理方法。
  3. 上記複数の低解像度画像の空間解像度は、それぞれ同一であることを特徴とする請求項２に記載の画像処理方法。
  4. 上記基準画像は、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して生成されたものであることを特徴とする請求項２または３に記載の画像処理方法。
  5. 上記基準画像は、露光時間の異なる複数の低解像度画像を合成して生成されたものであり、
    上記基準画像における上記第１画素に対応する位置の画素の画素値に、該画素値の信頼度を示す信頼度数値を対応付けする工程をさらに含み、
    上記更新工程では、上記信頼度数値に基づいて上記第１画素の画素値を更新することを特徴とする請求項２に記載の画像処理方法。
  6. 上記処理対象画像の初期値を、上記基準画像とすることを特徴とする請求項１に記載の画像処理方法。
  7. 上記重み設定工程では、
    上記第１画素に近接する画素よりなる第１近接画素群を設定すると共に、上記第１画素群に含まれる画素のそれぞれについて、該画素に近接する画素よりなる第２近接画素群を設定し、
    上記第１画素群に含まれる各画素の重みを、該画素に対応する第２近接画素群に含まれる各画素の画素値と、上記第１画素群に含まれる各画素の画素値との差分である画素値差分を用いて算出することを特徴とする請求項１に記載の画像処理方法。
  8. 上記重み設定工程では、上記第１近接画素群及び上記第２近接画素群に含まれる各画素について、上記画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで算出することを特徴とする請求項７に記載の画像処理方法。
  9. 異なる露光時間で撮像された複数の低解像度画像を用いて処理対象画像を更新することによって、該処理対象画像のボケを除去する画像処理方法であって、
    上記複数の低解像度画像を合成して、該低解像度画像よりも解像度の高い基準画像を生成する合成工程と、
    上記合成工程で生成した基準画像に含まれる第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、
    上記信頼度設定工程で設定された信頼度数値と、上記第１画素の画素値と、上記処理対象画像において上記第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含むことを特徴とする画像処理方法。
  10. 上記複数の低解像度画像の空間解像度は、それぞれ同一であることを特徴とする請求項９に記載の画像処理方法。
  11. 上記局所変動の値は、上記対応画素の画素値と、該対応画素に隣接する４つの画素の画素値との差分を用いて算出されることを特徴とする請求項９に記載の画像処理方法。
  12. 上記合成工程では、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して上記基準画像を生成することを特徴とする請求項９に記載の画像処理方法。
  13. 上記更新工程では、全変動ノルムに基づく拘束項を含むコスト関数を最小化することによって、処理対象画像を更新することを特徴とする請求項９に記載の画像処理方法。
  14. 一定の周期の繰り返しパターンを有する基準画像のノイズを除去する画像処理方法であって、
    上記基準画像に含まれる第１画素から上記一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、
    上記重み設定工程で設定した重みを、上記画素群に含まれる各画素の画素値に適用して更新する更新工程とを含むことを特徴とする画像処理方法。
  15. 上記基準画像よりも空間解像度が低い複数の低解像度画像を合成することによって上記基準画像を生成する合成工程を含むことを特徴とする請求項１４に記載の画像処理方法。
  16. 上記複数の低解像度画像には、撮像時の露光時間が異なるものが含まれることを特徴とする請求項１５に記載の画像処理方法。
  17. 上記複数の低解像度画像の空間解像度は、それぞれ同一であることを特徴とする請求項１５に記載の画像処理方法。
  18. 上記合成工程では、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して上記基準画像を生成することを特徴とする請求項１５に記載の画像処理方法。
  19. 上記重み設定工程では、
    上記第１画素に近接する画素よりなる第１近接画素群を設定すると共に、上記第１画素群に含まれる画素のそれぞれについて、該画素に近接する画素よりなる第２近接画素群を設定し、
    上記第１画素群に含まれる各画素の重みを、該画素に対応する第２近接画素群に含まれる各画素の画素値と、上記第１画素群に含まれる各画素の画素値との差分である画素値差分を用いて算出することを特徴とする請求項１４に記載の画像処理方法。
  20. 上記重み設定工程では、第１近接画素群及び第２近接画素群に含まれる各画素について、上記画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで算出することを特徴とする請求項１９に記載の画像処理方法。
  21. 上記更新工程で更新された画素値を有するノイズ除去画像を用いて処理対象画像を更新することによって、該処理対象画像からボケを除去したボケ除去画像を生成するために、
    上記ノイズ除去画像に含まれるノイズ除去第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、
    上記信頼度設定工程で設定された信頼度数値と、上記ノイズ除去第１画素の画素値と、上記処理対象画像において上記ノイズ除去第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含むことを特徴とする請求項１４に記載の画像処理方法。
  22. 一定の周期の繰り返しパターンを有する基準画像からノイズを除去したノイズ除去画像を生成する画像処理方法であって、
    上記基準画像に含まれる第１画素から上記一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、
    上記重み設定工程で設定した重みを用いて、上記画素群に含まれる各画素の画素値を組み合わせることによって、上記ノイズ除去画像において上記第１画素に対応する対応位置の画素の画素値を更新する更新工程とを含むことを特徴とする画像処理方法。
  23. 上記ノイズ除去画像の初期値を、上記基準画像とすることを特徴とする請求項２２に記載の画像処理方法。
  24. 上記重み設定工程では、
    上記ノイズ除去画像において、上記第１画素に対応する位置の画素に近接する画素よりなる第１近接画素群を設定すると共に、上記第１画素群に含まれる画素に対応する位置の画素に近接する画素よりなる第２近接画素群を設定し、
    上記第１画素群に含まれる各画素の重みを、該画素に対応する第２近接画素群に含まれる各画素の画素値と、上記第１画素群に含まれる各画素の画素値との差分である画素値差分を用いて算出することを特徴とする請求項２２に記載の画像処理方法。
  25. 上記重み設定工程では、第１近接画素群及び第２近接画素群に含まれる各画素について、上記画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで算出することを特徴とする請求項２２に記載の画像処理方法。
  26. 上記基準画像は、該基準画像よりも空間解像度が低い複数の低解像度画像を合成することによって上記基準画像を生成する合成工程で生成されたものであることを特徴とする請求項２２に記載の画像処理方法。
  27. 上記複数の低解像度画像には、撮像時の露光時間が異なるものが含まれることを特徴とする請求項２６に記載の画像処理方法。
  28. 上記複数の低解像度画像の空間解像度は、それぞれ同一であることを特徴とする請求項２６に記載の画像処理方法。
  29. 上記基準画像は、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して生成されたものであることを特徴とする請求項２６に記載の画像処理方法。
  30. 上記更新工程で更新された画素値を有するノイズ除去画像を用いてボケ除去対象画像を更新することによって、該ボケ除去対象画像からボケを除去したボケ除去画像を生成するために、
    上記ノイズ除去画像に含まれるノイズ除去第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、
    上記信頼度設定工程で設定された信頼度数値と、上記ノイズ除去第１画素の画素値と、上記ボケ除去対象画像において上記ノイズ除去第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含むことを特徴とする請求項２２に記載の画像処理方法。
JP2009265681A 2009-02-23 2009-11-20 画像処理方法 Expired - Fee Related JP5242540B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/390,855 US8331714B2 (en) 2009-02-23 2009-02-23 Methods and systems for image processing
US12/390,855 2009-02-23

Publications (2)

Publication Number Publication Date
JP2010198599A JP2010198599A (ja) 2010-09-09
JP5242540B2 true JP5242540B2 (ja) 2013-07-24

Family

ID=42631018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009265681A Expired - Fee Related JP5242540B2 (ja) 2009-02-23 2009-11-20 画像処理方法

Country Status (2)

Country Link
US (1) US8331714B2 (ja)
JP (1) JP5242540B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553943B2 (en) 2011-06-14 2013-10-08 Qualcomm Incorporated Content-adaptive systems, methods and apparatus for determining optical flow
JP5978949B2 (ja) * 2012-03-16 2016-08-24 富士通株式会社 画像合成装置及び画像合成用コンピュータプログラム
US20130300831A1 (en) * 2012-05-11 2013-11-14 Loren Mavromatis Camera scene fitting of real world scenes
KR101910870B1 (ko) * 2012-06-29 2018-10-24 삼성전자 주식회사 잡음 제거 장치, 시스템 및 방법
JP6088344B2 (ja) * 2013-05-02 2017-03-01 日本放送協会 撮影装置およびノイズ除去プログラム
US10165263B2 (en) * 2013-09-30 2018-12-25 Nikon Corporation Point spread function estimation of optics blur
CN103886553B (zh) * 2014-03-10 2017-02-01 广东威创视讯科技股份有限公司 图像非局部均值去噪方法和***
JP6390173B2 (ja) * 2014-06-02 2018-09-19 日本電気株式会社 情報処理装置、情報処理システム、画像処理方法、及び、プログラム
JP6652052B2 (ja) * 2014-06-03 2020-02-19 ソニー株式会社 画像処理装置および画像処理方法
JP6115968B2 (ja) * 2015-08-04 2017-04-19 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
CN105118033A (zh) * 2015-08-19 2015-12-02 杭州电子科技大学 一种利用自适应噪声估计的维纳滤波图像复原方法
JP6518203B2 (ja) * 2016-02-26 2019-05-22 株式会社ジャパンディスプレイ タッチ検出装置及びタッチ検出方法
CN110622211B (zh) * 2017-03-15 2023-11-14 特利丹菲力尔有限责任公司 用于减少图像中的低频不均匀性的***和方法
US10796464B2 (en) * 2017-08-25 2020-10-06 Siemens Healthcare Gmbh Selective image reconstruction
JP7106307B2 (ja) * 2018-03-14 2022-07-26 キヤノンメディカルシステムズ株式会社 医用画像診断装置、医用信号復元方法、医用信号復元プログラム、モデル学習方法、モデル学習プログラム、および磁気共鳴イメージング装置
US10755387B2 (en) * 2018-08-09 2020-08-25 Dreamworks Animation Llc Firefly detection using a plurality of buffers
EP3618287B1 (en) * 2018-08-29 2023-09-27 Université de Genève Signal sampling with joint training of learnable priors for sampling operator and decoder
CN110335215B (zh) * 2019-07-09 2021-07-02 格兰菲智能科技有限公司 图像反走样方法及图像反走样装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5489772A (en) * 1994-11-14 1996-02-06 Hewlett-Packard Company Variable optical sampling rate dependent on requested scan resolution
US6470097B1 (en) 1999-01-22 2002-10-22 Siemens Corporation Research, Inc. Total variational blind image restoration from image sequences
US7561186B2 (en) * 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction
FR2870071B1 (fr) 2004-05-05 2006-12-08 Centre Nat Rech Scient Cnrse Procede de traitement de donnees d'images, par reduction de bruit d'image, et camera integrant des moyens de mise en oeuvre de ce procede
JP4429816B2 (ja) * 2004-06-10 2010-03-10 オリンパス株式会社 撮像装置および画像の高解像度化方法
US20060291751A1 (en) 2004-12-16 2006-12-28 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution)
JP4518979B2 (ja) * 2005-03-03 2010-08-04 ライトロン株式会社 微細な試料を可視化する装置と方法、微細な格子の乱れを可視化する装置と方法
JP2007193508A (ja) * 2006-01-18 2007-08-02 Sanyo Electric Co Ltd 画像処理装置及び画像処理プログラム
JP4859516B2 (ja) * 2006-04-27 2012-01-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像復元方法
US8941580B2 (en) * 2006-11-30 2015-01-27 Sharp Laboratories Of America, Inc. Liquid crystal display with area adaptive backlight
US20080137978A1 (en) 2006-12-07 2008-06-12 Guoyi Fu Method And Apparatus For Reducing Motion Blur In An Image
US7856150B2 (en) 2007-04-10 2010-12-21 Arcsoft, Inc. Denoise method on image pyramid
JP4814840B2 (ja) * 2007-05-23 2011-11-16 オリンパス株式会社 画像処理装置又は画像処理プログラム
US8903191B2 (en) * 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video

Also Published As

Publication number Publication date
US20100215282A1 (en) 2010-08-26
US8331714B2 (en) 2012-12-11
JP2010198599A (ja) 2010-09-09

Similar Documents

Publication Publication Date Title
JP5242540B2 (ja) 画像処理方法
JP4799428B2 (ja) 画像処理装置及び方法
JP4152398B2 (ja) 手ぶれ補正装置
EP2160715B1 (en) Image processing method and apparatus
JP4342493B2 (ja) 手ぶれ補正装置
JP2006129236A (ja) リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体
US8213746B2 (en) Super-resolution image processing
JP2007188493A (ja) 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置
CN110675317B (zh) 基于学习和自适应三边滤波正则化的超分辨率重建方法
JP2013003610A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2009181508A (ja) 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006238032A (ja) 画像復元方法およびその装置
JP5105286B2 (ja) 画像復元装置、画像復元方法及び画像復元プログラム
JP6344934B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体
JPWO2016075914A1 (ja) 画像信号処理装置、画像信号処理方法及び画像信号処理プログラム
CN116824070B (zh) 一种基于深度图像的实时三维重建方法及***
JP2021133247A5 (ja)
JP2023055848A (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム
JP4927005B2 (ja) 変化要因情報のデータの生成法および信号処理装置
JP5197447B2 (ja) 画像処理装置及び撮像装置
JP5495500B2 (ja) 変化要因情報のデータの生成法および信号処理装置
Yu et al. A method of gibbs artifact reduction for POCS super-resolution image reconstruction
Milyukova et al. Image restoration using two-dimensional variations
JP6532148B2 (ja) 超解像装置およびプログラム
JP5065099B2 (ja) 変化要因情報のデータの生成法および信号処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130403

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees