JP5496036B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は画像処理装置および画像処理プログラムに関するものである。

デジタルカメラ等の撮像装置において静止画を撮影する場合に、ノイズの少ない画像を得るためには、十分な露光時間を確保することが有効である。しかしながら露光時間を長くすると、手ぶれによるカメラの動きや、被写体の動きにより画像にぶれが生じ、撮影した画像が不鮮明になるという問題がある。

このようなぶれに対処する方式として、電子ぶれ補正方式が提案されている。例えば、特許文献１では、撮影がぶれの少ない短い露光時間で連続して複数回実施され、得られた複数枚の画像間の動きがキャンセルされるように位置合わせ処理が行われた後、合成処理が行われることにより、ぶれの無い良好な画像を得る方式が提案されている。

また、位置合わせ処理が失敗した領域において合成処理が実施されると、画像がぼける、あるいは、２重像が発生するといった問題がある。これに対して、特許文献２では、合成処理による加算処理（平均化処理）の前に、対応する画素間の差分値を計算し、そしてこの差分値が閾値を超える場合には位置合わせ処理が失敗したと判断して合成処理は行わない方式が提案されている。

同様に特許文献３では、対応する画素間の差分値を基に、合成処理における加重平均処理の重みを調整することで、ぼけや２重像の発生を抑える方式が提案されている。このように画素単位で合成の重みを調整することにより、位置合わせが失敗した領域における問題の発生を抑えることが可能である（画素選択処理）。

しかし、これらの方式においては画素単位で合成によるＳＮ改善効果が変動することになり、結果としてノイズにばらつきのある画像が生成されることとなる（ノイズむら）。

特許文献４では、この問題に対処する方式が提案されている。特許文献４で開示されている方式について図１５を用いて説明する。

レンズ等からなる光学系８００を通して撮像素子８０１にて画像が撮像され、画像がフレームメモリ８０２に格納される。以上の撮像処理を所定枚数分繰り返すことで、フレームメモリ８０２に複数枚の画像が格納される。動き情報取得部８０３は、フレームメモリ８０２に格納された複数枚の画像間の動きベクトルを検出し、動き情報として合成処理部８０４に出力する。合成処理部８０４はフレームメモリ８０２に格納された複数枚の画像を動き情報を用いて位置合わせした後、加算合成する。加算合成の際に、合成に適しない画素は除外する処理をし、合成画像とともに合成枚数情報として出力する。パラメータ制御部８０５は合成枚数情報から各画素における必要ノイズ低減強度を考慮して各画素におけるノイズ低減パラメータをノイズ低減処理部８０６に出力する。ノイズ低減処理部８０６は、入力される合成画像に対して、パラメータ制御部８０５から指定されるノイズ低減パラメータで、各画素に対してノイズ低減処理を施し、画像処理部８０７に出力する。画像処理部８０７は色処理や階調変換処理等、必要な画像処理を施し、出力画像を作成する。このように合成枚数の変動に応じてノイズ低減の強度を画素単位で変化させることで、ノイズむらの発生を抑えた画像合成が可能となる。

特開平９−２６１５２６号公報 特開２００２−２９０８１７号公報 特開２００８−９９２６０号公報 特開２００９−１９４７００号公報

しかしながら、特許文献４で開示されている方式においては、ノイズ低減処理部におけるノイズ低減強度を画素単位で制御しなければならない。つまり、画素単位でノイズ低減パラメータを変更しなければならない。通常、ノイズ低減処理は、１枚の画像の処理に対して１個のノイズ低減強度を指定する場合が多く、画素単位でノイズ低減強度を制御するためには、特別な改造を要する場合が多い。このため、特許文献４で開示される方式は、既存のノイズ低減処理をそのまま使用できない場合が多く、特にハードウェアで実現する際には改造の手間やハードウェア規模の増大が問題となる。

また、ノイズ低減アルゴリズムによってはこのような改造がアルゴリズムの特性上困難な場合がある。

従って、特許文献４で開示される方式に適用可能なノイズ低減アルゴリズムは種類が限られることとなり、この制限により十分なノイズ低減性能を得ることができないという問題がある。

本発明は、上記問題に鑑みてなされたもので、特別な改造を必要としない汎用的なノイズ低減処理を用いて、画素選択処理に起因するノイズむらを抑えることが可能な画像処理装置を提供することを目的とする。

本発明のある態様に係る画像処理装置は、複数枚の画像の中から１枚の画像を基準画像と定め、基準画像と、複数枚の画像のうち基準画像以外の画像との間の相関量に基づいて複数枚の画像の第１の合成比率を決定し、合成画像を生成する第１の合成部と、複数のパラメータを用いて少なくとも合成画像のノイズを低減し、合成画像に対するノイズ低減を行った結果得られたノイズ低減済み合成画像を少なくとも含む複数のノイズ低減済み画像を生成するノイズ低減部と、複数のノイズ低減済み画像における第２の合成比率を第１の合成比率に応じて決定し、第２の合成比率に基づいて複数のノイズ低減済み画像を合成する第２の合成部とを備える。

本発明の別の態様に係る画像処理プログラムは、撮像した画像をコンピュータで処理するための画像処理プログラムであって、コンピュータに、複数枚の画像の中から１枚の画像を基準画像と定め、基準画像と、複数枚の画像のうち基準画像以外の画像との間の相関量に基づいて複数枚の画像の第１の合成比率を決定し、合成画像を生成する第１の合成手順と、複数のパラメータを用いて少なくとも合成画像のノイズを低減し、合成画像に対するノイズ低減を行った結果得られたノイズ低減済み合成画像を少なくとも含む複数のノイズ低減済み画像を生成するノイズ低減手順と、複数のノイズ低減済み画像における第２の合成比率を第１の合成比率に応じて決定し、第２の合成比率に基づいて複数のノイズ低減済み画像を合成する第２の合成手順とを実行させる。

本発明によると、特別な改造を必要としない汎用的なノイズ低減処理を用いて、画素選択処理に起因するノイズむらを抑えることができる。

本発明の第１実施形態の画像処理装置の概略構成図である。 第１実施形態の第２の合成処理部の概略構成図である。 第１実施形態の合成比率の算出方法を説明するための図である。 第１実施形態の変形例を示す図である。 第１実施形態の変形例を示す図である。 本発明の第２実施形態の画像処理装置の概略構成図である。 第２実施形態の第２の合成処理部の概略構成図である。 第２実施形態の合成比率の算出方法を説明するための図である。 本発明の第３実施形態の画像処理装置の概略構成図である。 第３実施形態の第２の合成処理部の概略構成図である。 第３実施形態の合成比率の算出方法を説明するための図である。 本発明の第４実施形態の画像処理装置の概略構成図である。 第４実施形態の合成比率情報を説明する図である。 第４実施形態の合成比率の算出方法を説明するための図である。 従来例における画像処理装置の概略構成図である。

本発明の第１実施形態の画像処理装置について図１を用いて説明する。図１は、本実施形態の画像処理装置の概略構成図である。

本実施形態の画像処理装置は、光学系１００と、撮像素子１０１と、フレームメモリ１０２と、動き情報取得部１０３と、第１の合成処理部（第１の合成部）１０４と、第１のノイズ低減処理部（基準画像ノイズ低減部）１０５と、第２のノイズ低減処理部（合成画像ノイズ低減部）１０５’と、第２の合成処理部（第２の合成部）１０７と、画像処理部１０８とを備える。

撮像素子１０１は、レンズなどで構成される光学系１００を通して受光面に入射される光に応じた電気信号を所定のタイミングで出力する。この電気信号は画像データとしてフレームメモリ１０２に格納される。このような撮像処理を所定枚数分繰り返すことで、複数枚の画像データがフレームメモリ１０２に格納される。以下において、画像データを単に画像として扱うものとする。

動き情報取得部１０３は、フレームメモリ１０２に格納された複数枚の画像間の動きベクトルを検出し、動き情報として第１の合成処理部１０４に出力する。本実施形態では、動き情報取得部１０３は、複数枚の画像の中から基準画像を選択し、基準画像と他の画像との間で、動きベクトルを検出する。

第１の合成処理部１０４は、フレームメモリ１０２に格納された複数枚の画像を動き情報を用いて位置合わせして加算合成を行った後、加算合成結果を加算枚数に応じて正規化し合成画像として出力する。

第１の合成処理部１０４は、加算合成の際に、基準画像の画素とその他の画像の画素との差分の絶対値が所定値よりも大きい場合には(即ち、基準画像の画素とその他の画像の画素との間の相関量が小さい場合には)、その他の画像の画素は合成に使用しないものとする画素選択処理を行う。第１の合成処理部１０４は、合成画像の各画素位置において、第１の合成処理部１０４で合成した枚数を合成枚数情報（第１の合成比率）として第２の合成処理部１０７に出力する。

第１のノイズ低減処理部１０５は、基準画像に対して第１のノイズ低減パラメータ（第１のパラメータ）に基づいてノイズ低減処理を施し、処理後の基準画像を第２の合成処理部１０７に出力する。第１のノイズ低減パラメータは、１枚の基準画像に対して適用することを前提として事前に調整されるパラメータであり、撮像時の条件（ＩＳＯ感度等）に応じて選択される。

第２のノイズ低減処理部１０５’は、第１の合成処理部１０４が出力する合成画像に対して第２のノイズ低減パラメータ（第２のパラメータ）に基づいてノイズ低減処理を施し、処理後の合成画像を第２の合成処理部１０７に出力する。第２のノイズ低減パラメータは、複数枚の画像が第１の合成処理部１０４で合成されてノイズ低減されたことを前提として事前に調整されるパラメータであり、第１のノイズ低減パラメータと同様に、撮像時の条件（ＩＳＯ感度等）に応じて選択される。第１の合成処理部１０４で複数枚の画像を合成することによるノイズ低減効果が期待できるので、第２のノイズ低減パラメータは第１のノイズ低減パラメータよりもノイズ低減強度が弱いパラメータである。典型的には、第１の合成処理部１０４で画素選択処理がなされずにすべての画像が合成された場合のノイズ量の減少を想定して第２のノイズ低減パラメータは設定される。例えば、４枚の画像に基づいて合成が行われる場合に、基準画像の画素とその他の３枚の画像の画素との差分の絶対値がそれぞれ所定値以下であり、４枚の画像を全て用いて画像が合成される場合のノイズ量の減少を想定して第２のノイズ低減パラメータは設定される。

第１のノイズ低減処理部１０５、第２のノイズ低減処理部１０５’は、汎用のノイズ低減処理部であればよい。また、これらは必ずしも同一の処理である必要はないが、同一の処理として同一の処理ブロックを時分割で使用するなどの手法により装置規模を抑えることが望ましい。

次に図２に第２の合成処理部１０７の構成を示す。

第２の合成処理部１０７は、加重平均化処理部２００と、合成比率決定部２０１とを備える。第２の合成処理部１０７は、第１のノイズ低減処理部１０５から出力される画像と第２のノイズ低減処理部１０５’から出力される画像とを合成枚数情報に基づいてさらに合成する。

合成比率決定部２０１は、合成枚数情報から、２枚の出力画像の合成比率（第２の合成比率）を決定する。図３に合成比率の例を示す。図３（ａ）中の第１合成比率は第１のノイズ低減処理部１０５から出力される出力画像の合成比率であり、図３（ｂ）中の第２合成比率は第２のノイズ低減処理部１０５’から出力される出力画像の合成比率である。合成比率決定部２０１は、あらかじめ設定された図３に示すような関係を折れ線近似やテーブル化等の手法により保持している。図３に示す例では、合成枚数が少ない画素においては、第１のノイズ低減処理部１０５から出力される出力画像（基準画像に対して強いノイズ低減パラメータでノイズ低減処理を施した画像）の合成比率が相対的に高くなるように、合成比率決定部２０１は、第１合成比率として１．０に近い値、第２合成比率として０．０に近い値を出力する。

一方、合成枚数が多い画素においては、第２のノイズ低減処理部１０５’から出力される出力画像（第１の合成処理部１０４が生成した合成画像に対して弱いノイズ低減パラメータである第２のノイズ低減パラメータによってノイズ低減処理を施した画像）の合成比率が相対的に高くなるように、合成比率決定部２０１は、第１合成比率として０．０に近い値、第２合成比率として１．０に近い値を出力する。

このように、合成枚数が少ない程合成比率決定部２０１において決定する合成比率は、ノイズ低減された基準画像の比率が大きくなる。つまり第１の合成処理部１０４で合成された画像において基準画像が占める割合が大きいほど、第２の合成処理部１０７で合成される画像においてノイズ低減された基準画像が占める割合が大きくなる。

この合成比率に基づき、加重平均化処理部２００は２枚の出力画像を加重平均化処理する。この結果、第１の合成処理部１０４において位置合わせが問題なくでき、合成枚数が多い領域の画素については、相対的に弱いノイズ低減処理が適用される。

一方、第１の合成処理部１０４において位置合わせが失敗し、合成枚数が少ない領域の画素については、相対的に強いノイズ低減処理が適用される。

第２の合成処理部１０７から出力される画像は、画像処理部１０８で色処理や階調変換処理等、必要な画像処理が施される。

本発明の第１実施形態の効果について説明する。

本実施形態のように、合成枚数の変動に応じてノイズ低減の強度を画素単位で変化させることで、ノイズむらの発生を抑えた画像合成が可能となる。この際使用するノイズ低減パラメータ（第１のノイズ低減パラメータ、第２のノイズ低減パラメータ）は、合成枚数に応じて画素単位でその強度を制御する必要がなく、各画素において、同一のノイズ低減パラメータを使用することができる。そのため、汎用のノイズ低減パラメータを使用することが可能となり、ノイズ低減処理を行うための特別な改造が不要となる。この結果、汎用の高性能なノイズ低減処理を採用することによる画質向上の効果や、既存の設計済みノイズ低減処理を採用することによる装置設計の容易化といった効果を得ることができる。

なお、本実施形態においては動き情報取得部１０３により画像間の位置合わせ処理を行う形態について示したが、撮像時のフレームレートが十分高ければ、画像間の変化量は小さいため位置合わせ処理を省く構成とすることも可能である。

図１で示した構成においては、撮像素子１０１で撮像した画像を第１のノイズ低減処理部１０５、第２のノイズ低減処理部１０５’でノイズ低減した後に、画像処理部１０８に入力する構成になっている。そのため撮像素子１０１がベイヤー配列のような単板の撮像素子の場合には、ノイズ低減処理も単板の撮像素子に対応した処理である必要がある。採用したいノイズ低減処理が、ＲＧＢやＹＣｂＣｒ形式の３板のみに対応する処理の場合には、画像処理装置は、図４に示すような構成とすることが可能である。図４に示す構成においては、撮像素子１０１で撮像した単板の画像は、第１の画像処理部３００、第２の画像処理部３００’における画像処理において３板に変換された後、それぞれ第１のノイズ低減処理部３０１、第２のノイズ低減処理部３０１’でノイズ低減処理がなされる。そして、第２の合成処理部３０２で合成枚数情報に基づいて、画像が合成される。

また、画像処理装置は、図５に示すような構成とすることも可能である。図５に示す構成においては、撮像素子１０１で撮像された画像全てを画像処理部３１０で３板に変換した後、フレームメモリ３１１に格納する。そして、動き情報取得部３１２、第１の合成処理部３１３における位置合わせ処理、第１のノイズ低減処理部３１４、第２のノイズ低減処理部３１４’におけるノイズ低減処理、第２の合成処理部３１５における合成処理は、３板に変換された画像に対して適用される。

次に本発明の第２実施形態について図６を用いて説明する。図６は本実施形態の画像処理装置の概略構成図である。

第１実施形態においては、ノイズ低減強度の異なる２種類のパラメータ（第１のノイズ低減パラメータと第２のノイズ低減パラメータ）を用いて、合成枚数の変動に応じたノイズ低減処理を実現した。第２実施形態は、パラメータを３種類に増やして、より細かい制御の実現を目的とした実施形態である。以下、第１実施形態と異なる部分について説明する。

本実施形態の画像処理装置は、第１のノイズ低減処理部１０５、第２のノイズ低減処理部１０５’に加えて、第３のノイズ低減処理部１０５”（合成画像ノイズ低減部）をさらに備える。

第３のノイズ低減処理部１０５”は、第１の合成処理部１０４が出力する合成画像に対して、第２のノイズ低減処理部１０５’と同様に、第３のノイズ低減パラメータに基づいてノイズ低減処理を施し、処理後の画像を第２の合成処理部４００に出力する。第３のノイズ低減パラメータは、第１のノイズ低減パラメータよりもノイズ低減強度が弱く、かつ第２のノイズ低減パラメータよりもノイズ低減強度を強く設定したパラメータである。

典型的には、第１のノイズ低減パラメータは、１枚の基準画像に対して適用することを前提として調整されるパラメータであり、第２のノイズ低減パラメータは、第１の合成処理部１０４で画素選択処理がなされずにすべての画像が合成された場合のノイズ量の減少を想定して弱めに設定されるパラメータである。そして第３のノイズ低減パラメータは、第１のノイズ低減パラメータと第２のノイズ低減パラメータの中間的なノイズ低減強度を有するパラメータである。

図７に第２の合成処理部４００の構成を示す。

第２の合成処理部４００は、第１のノイズ低減処理部１０５、第２のノイズ低減処理部１０５’、第３のノイズ低減処理部１０５”から出力される画像を、第１の合成処理部１０４から出力される合成枚数情報に基づいて、さらに合成する。

合成比率決定部４０２は、合成枚数情報から、３枚の出力画像の合成比率を決定する。図８に合成比率の例を示す。図８（ａ）中の第１合成比率は第１のノイズ低減処理部１０５から出力される画像の合成比率であり、図８（ｂ）中の第２合成比率は第２のノイズ低減処理部１０５’から出力される画像の合成比率であり、図８（ｃ）中の第３合成比率は第３のノイズ低減処理部１０５”から出力される画像の合成比率である。合成比率決定部４０２は、あらかじめ設定された図８に示すような関係を折れ線近似やテーブル化等の手法により保持すればよい。

図８に示す例では、合成枚数が少ない画素においては、第１のノイズ低減処理部１０５から出力される画像（基準画像に対して強いノイズ低減パラメータでノイズ低減処理を施した画像）の合成比率が相対的に高くなるように、第１合成比率は１．０に近い値、第２合成比率および第３合成比率は０．０に近い値を出力する。

一方、合成枚数が多い画素においては、第２のノイズ低減処理部１０５’から出力される画像（合成処理部１０４が生成した合成画像に対して弱いノイズ低減パラメータでノイズ低減処理を施した画像）の合成比率が相対的に高くなるように、第２合成比率は１．０に近い値、第１合成比率および第３合成比率は０．０に近い値を出力する。

さらに、合成枚数が中程度の場合には、中間的な特性となるように第３合成比率を１．０に近い値、第１合成比率および第２合成比率を０．０に近い値とする。

このような合成比率に基づき、加重平均化処理部４０１はそれぞれの出力画像を加重平均化処理する。この結果、第１の合成処理部１０４において位置合わせが問題なくでき、合成枚数が多い領域の画素については、相対的に弱いノイズ低減処理が適用される。

一方、第１の合成処理部１０４において位置合わせが失敗し、合成枚数が少ない領域の画素については、相対的に強いノイズ低減処理が適用される。

さらに、合成枚数が中程度の場合にはこれら中間的な特性となる。

第２の合成処理部４００から出力される画像は、画像処理部１０８で色処理や階調変換処理等、必要な画像処理が施される。

本発明の第２実施形態の効果について説明する。

本実施形態のように、使用するノイズ低減パラメータの種類を２種類から３種類に増やすことで、合成枚数の変動に対するノイズ低減強度の制御がより細かくなり、第１の実施の形態における効果に加えて、さらに画質向上の効果を得ることができる。

なお、第２実施形態では、合成画像にノイズ低減を行うノイズ低減処理部として２個のノイズ低減処理部を用いる例を示したが、これに限られることはなく、ノイズ低減処理部の数をＮ個（Ｎは２以上の自然数）とすることができる。ノイズ低減処理部の数を増やすことで、より制御を細かくし、ノイズを低減した画像を得ることができる。

次に本発明の第３実施形態について図９を用いて説明する。図９は本実施形態の画像処理装置の概略構成図である。

第２実施形態においては、ノイズ低減強度の異なる３種類のパラメータ（第１のノイズ低減パラメータ、第２のノイズ低減パラメータ、第３のノイズ低減パラメータ）を用いて、基準画像に対して第１のノイズ低減パラメータを適用し、合成画像に対して第２のノイズ低減パラメータおよび第３のノイズ低減パラメータを適用することにより、合成枚数の変動に応じたノイズ低減の強度を制御した。これに対して第３実施形態は、合成画像にのみ２種類のノイズ低減パラメータを適用する実施形態である。以下、第１、第２実施形態と異なる部分について説明する。

本実施形態の画像処理装置は、ノイズ低減処理部として、第１のノイズ低減処理部（合成画像ノイズ低減部）５０１と、第２のノイズ低減処理部１０５’とを備える。

第２の合成処理部５００は、第１のノイズ低減処理部５０１、第２のノイズ低減処理部１０５’から出力される出力画像を、第１の合成処理部１０４から出力される合成枚数情報に基づいて、さらに合成する。

第１のノイズ低減処理部５０１は、第１の合成処理部１０４で合成された合成画像に対して、第４のノイズ低減パラメータに基づいてノイズ低減処理を施し、処理後の画像を第２の合成処理部５００に出力する。第４のノイズ低減パラメータは、相対的にノイズ低減強度を強くするパラメータである。第４のノイズ低減パラメータは、１枚の基準画像に対して適用することを前提として調整されるパラメータである。なお、第４のノイズ低減パラメータは、第２のノイズ低減パラメータよりもノイズ低減強度が強く、かつ１枚の基準画像に対して適用することを前提として調整されるパラメータよりもノイズ低減強度が弱いパラメータとしても良い。

図１０に第２の合成処理部５００の構成を示す。

第２の合成処理部５００は、第１のノイズ低減処理部５０１、第２のノイズ低減処理部１０５’から出力される画像を、第１の合成処理部１０４から出力される合成枚数情報に基づいて、さらに合成する。

合成比率決定部６００は、合成枚数情報から、２枚の出力画像の合成比率を決定する。図１１に合成比率の例を示す。図１１（ａ）中の第１合成比率は第１のノイズ低減処理部５０１から出力される画像の合成比率である、図１１（ｂ）中の第２合成比率は第２のノイズ低減処理部１０５’から出力される画像の合成比率である。合成比率決定部６００は、あらかじめ設定された図１１に示すような関係を折れ線近似やテーブル化等の手法により保持すればよい。

図１１に示す例では、合成枚数が少ない画素においては、第１のノイズ低減処理部５０１から出力される画像（合成処理部１０４が生成した合成画像に対して比較的強いノイズ低減処理を施した画像）の合成比率が相対的に高くなるように、第１合成比率は１．０に近い値、第２合成比率は０．０に近い値を出力する。

一方、合成枚数が多い画素においては、第２のノイズ低減処理部１０５’から出力される画像（合成処理部１０４が生成した合成画像に対して弱いノイズ低減パラメータでノイズ低減処理を施した画像）の合成比率が相対的に高くなるように、第２合成比率は１．０に近い値、第１合成比率は０．０に近い値を出力する。

このような合成比率に基づき、加重平均化処理部６０１はそれぞれの出力画像を加重平均化処理する。

第２の合成処理部５００から出力される画像は、画像処理部１０８で色処理や階調変換処理等、必要な画像処理が施される。

本発明の第３実施形態の効果について説明する。

本実施形態のように、使用するノイズ低減パラメータを複数用意し、これを合成画像にのみ適用することでも第１実施形態や第２実施形態と同様の効果を得ることが可能である。また、ノイズ低減処理を合成画像に対してのみ行う形態のため、処理構成が簡単になるといった効果を得ることができる。

なお、第３実施形態では、２個のノイズ低減処理部を用いて合成画像に対するノイズ低減処理を行ったが、これに限られることはなく、ノイズ低減処理部の数をＮ個（Ｎは２以上の自然数）とすることができる。ノイズ低減処理部の数を増やすことで、より制御を細かくし、ノイズを低減した画像を得ることができる。

次に本発明の第４実施形態について図１２を用いて説明する。図１２は本実施形態の画像処理装置の概略構成図である。

第１実施形態ないし第３実施形態においては、第１の合成処理部１０４で実行される画素選択処理は、特許文献２等で提案されている各画像の各画素に関して合成するかしないかを選択する方式を想定しており、結果として第１の合成処理部１０４は合成画像の各画素に関して合成枚数情報を出力する構成としていた。このような構成の場合、撮像する複数枚画像の最大枚数が事前に決まっていれば問題はないが、決まっていない場合には、合成枚数情報を格納するビット幅を決定できないという問題が生じる。

また、画素選択処理を特許文献３等で開示されている加重平均重みを調整する方式とする場合には適用できないという問題がある。

そこで、第４実施形態は、第１実施形態の第１の合成処理部１０４が出力する合成枚数情報に換えて、第１の合成処理部７００は、複数枚画像のうち基準画像を除いた画像の重みの累算値を合成比率情報として出力する。以下、第１実施形態と異なる部分について説明する。

図１３に第１の合成処理部７００が出力する合成比率情報を説明する図を示す。本実施形態では、４枚の画像（画像１〜画像４）を撮像して合成するものとし、画像１を基準画像とする。また、画像中の画素の中で３つの画素（画素Ａ〜画素Ｃ）を例として説明する。画像の重み（合成比率）は、位置合わせの状態に応じて予め設定されており、図１３では一例が示されている。

ある画素Ａにおいては、位置合わせがうまくいったので、画素選択処理が動作する必要がなく、４枚の画像の画素が等しい割合（０．２５）で合成される。この場合の合成比率情報は、基準画像である画像１を除いた画像２から画像４までの合成比率を累算した０．７５とする。

別の画素Ｂにおいて、画像４において位置合わせがうまくいかなかった場合には、画像１から画像４までの合成比率は図１３に示すような値となる。この場合には、合成比率情報は、画像２から画像４までの合成比率を累算した０．４とする。

さらに別の画素Ｃにおいて、全ての位置合わせがうまくいかなかった場合には、図１３に示すように、画像２から画像４までの合成比率は全て０．０となる。この場合の合成比率情報は０．０になる。

第２の合成処理部７０１は、第１の合成処理部７００から出力される合成比率情報に基づいて、図１４に示す関係から合成比率を決定する。図１４（ａ）は、合成比率情報と第１合成比率との関係を示す図であり、図１４（ｂ）は、合成比率情報と第２合成比率との関係を示す図である。図１４に示す例では、合成比率情報が小さい画素においては、第１のノイズ低減処理部１０５から出力される出力画像の合成比率が相対的に高くなるように、第１合成比率は１．０に近い値、第２合成比率は０．０に近い値が出力される。

一方、合成比率情報が大きい画素においては、第２のノイズ低減処理部１０５’から出力される出力画素の合成比率が相対的に高くなるように、第２の合成比率は１．０に近い値、第１合成比率は０．０に近い値が出力される。

本発明の第４実施形態の効果について説明する。

本実施形態のように、第１の合成処理部７００は、複数枚画像のうち基準画像を除いた画像の重みの累算値を合成比率情報として出力するので、画素選択処理として加重平均重みを調整する方式とした場合にも第１実施形態で示した構成を適用することが可能となる。

なお、本実施形態においては、複数枚画像のうち基準画像を除いた画像の重みの累算値を合成比率情報としたが、基準画像の重みを合成比率情報とすることも可能である。この場合には、図１４のグラフを左右反転させて適宜設定することで同様の効果を得ることができる。

また、本実施形態を第２実施形態または第３実施形態に適用することも可能である。

上述した実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。

この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体を備える。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上記撮像装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。

１０３、３１２ 動き情報取得部
１０４、３０３、７００ 第１の合成処理部（第１の合成部）
１０５、３０１、３１４ 第１のノイズ低減処理部（基準画像ノイズ低減部）
１０５’、３０１’、３１４’ 第２のノイズ低減処理部（合成画像ノイズ低減部）
１０５” 第３のノイズ低減処理部（合成画像ノイズ低減部）
１０７、３０２、３１５、４００、５００ 第２の合成処理部（第２の合成部）
１０８ 画像処理部
５０１ 第１のノイズ低減処理部（合成画像ノイズ低減部）

Claims (9)

1. 複数枚の画像の中から１枚の画像を基準画像と定め、前記基準画像と、前記複数枚の画像のうち前記基準画像以外の画像との間の相関量に基づいて前記複数枚の画像の第１の合成比率を決定し、合成画像を生成する第１の合成部と、
   複数のパラメータを用いて少なくとも前記合成画像のノイズを低減し、前記合成画像に対するノイズ低減を行った結果得られたノイズ低減済み合成画像を少なくとも含む複数のノイズ低減済み画像を生成するノイズ低減部と、
   前記複数のノイズ低減済み画像における第２の合成比率を前記第１の合成比率に応じて決定し、前記第２の合成比率に基づいて前記複数のノイズ低減済み画像を合成する第２の合成部とを備えることを特徴とすることを特徴とする画像処理装置。
2. 前記ノイズ低減部は、
   前記基準画像に対して第１のパラメータを用いてノイズを低減し、ノイズ低減済み基準画像を生成する基準画像ノイズ低減部と、
   前記合成画像に対して、前記第１のパラメータよりもノイズ低減の強度が小さい第２のパラメータを用いてノイズを低減し、前記ノイズ低減済み合成画像を生成する合成画像ノイズ低減部とを備え、
   前記第２の合成比率は、前記ノイズ低減済み基準画像と前記ノイズ低減済み合成画像との合成比率であり、
   前記第２の合成部は、前記第２の合成比率を前記第１の合成比率に応じて決定し、前記第２の合成比率に基づいて前記ノイズ低減済み基準画像と前記ノイズ低減済み合成画像とを合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の合成部は、前記第１の合成比率において前記基準画像の比率が大きいほど、前記ノイズ低減済み基準画像の比率が大きくなるように、前記第２の合成比率を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記ノイズ低減部は、前記合成画像に対してＮ個（Ｎは２以上の自然数）のパラメータを用いてノイズを低減し、Ｎ個のノイズ低減済み合成画像を生成する合成画像ノイズ低減部を備え、
   前記第２の合成比率は、前記Ｎ個のノイズ低減済み合成画像における合成比率であり、
   前記第２の合成部は、前記第２の合成比率を前記第１の合成比率に応じて決定し、前記第２の合成比率に基づいて前記ノイズ低減済み合成画像同士をさらに合成することを特徴とすることを特徴とする請求項１に記載の画像処理装置。
5. 前記ノイズ低減部は、前記基準画像に対して第１のパラメータを用いてノイズを低減し、ノイズ低減済み基準画像を生成する基準画像ノイズ低減部と、前記合成画像に対して、前記第１のパラメータよりもノイズ低減の強度が小さいＮ個（Ｎは２以上の自然数）のパラメータを用いてノイズを低減し、Ｎ個のノイズ低減済み合成画像を生成する合成画像ノイズ低減部を備え、
   前記第２の合成比率は、前記ノイズ低減済み基準画像と、前記Ｎ個のノイズ低減済み合成画像との合成比率であり、
   前記第２の合成部は、前記第２の合成比率を前記第１の合成比率に応じて決定し、前記第２の合成比率に基づいて前記ノイズ低減済み基準画像と前記Ｎ個のノイズ低減済み合成画像とを合成することを特徴とする請求項１に記載の画像処理装置。
6. 前記第２の合成部は、前記第１の合成比率において前記基準画像の比率が大きいほど、前記ノイズ低減済み基準画像の比率が大きくなるように、前記第２の合成比率を決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記第１の合成部は、前記複数枚の画像に対して重みを付け、前記複数枚の画像のうち前記基準画像を除いた画像の重みの累算値を合成比率情報として決定することを特徴とする請求項１から６のいずれか一つに記載の画像処理装置。
8. 前記第１の合成部は、前記複数枚の画像に対して重みを付け、前記複数枚の画像のうち前記基準画像の重みを合成比率情報として決定することを特徴とする請求項１から６のいずれか一つに記載の画像処理装置。
9. 撮像した画像をコンピュータで処理するための画像処理プログラムであって、前記コンピュータに、
   複数枚の画像の中から１枚の画像を基準画像と定め、前記基準画像と、前記複数枚の画像のうち前記基準画像以外の画像との間の相関量に基づいて前記複数枚の画像の第１の合成比率を決定し、合成画像を生成する第１の合成手順と、
   複数のパラメータを用いて少なくとも前記合成画像のノイズを低減し、前記合成画像に対するノイズ低減を行った結果得られたノイズ低減済み合成画像を少なくとも含む複数のノイズ低減済み画像を生成するノイズ低減手順と、
   前記複数のノイズ低減済み画像における第２の合成比率を前記第１の合成比率に応じて決定し、前記第２の合成比率に基づいて前記複数のノイズ低減済み画像を合成する第２の合成手順とを実行させることを特徴とする画像処理プログラム。

Images