JP6338376B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮影画像を回復させる画像処理装置に関する。

特許文献１には、撮像系の光学伝達関数に基づいて生成または選択された画像回復フィルタを用いて、レンズの収差により劣化した画像を回復させる画像処理方法が開示されている。

特開２０１１−１２３５８９号公報

しかしながら、撮像系により結像された画像データには、撮像素子に起因するランダムノイズが含まれている。このランダムノイズは、レンズの収差に起因するノイズではない。このため、光学伝達関数に基づいて生成または選択された画像回復フィルタを適用すると、被写体の劣化画像は回復するが、ランダムノイズ成分は変形または強調されてしまう（ノイズ特性が変化してしまう）。

そこで本発明は、光学系に起因する劣化画像の回復処理において、撮像素子に起因するノイズの変形または強調を低減可能な画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、光学系を介して得られた第１の画像に対して前記光学系に起因する収差を低減するための画像回復処理を行うことにより第２の画像を生成する画像回復部と、前記第１の画像と前記第２の画像との差分絶対値に応じた合成比率で前記第１の画像と前記第２の画像との合成画像を生成する合成部とを有し、前記合成部は、前記差分絶対値が第１の閾値以上である第１の画素位置では、前記差分絶対値が前記第１の閾値よりも小さい第２の画素位置よりも、前記第１の画像に対する前記第２の画像の合成比率が高くなるように、前記合成画像を生成する。

本発明の他の側面としての撮像装置は、光学系を介して得られた光学像を光電変換して画像信号を得る撮像素子と、前記画像信号に基づく第１の画像に対して前記光学系に起因する収差を低減するための画像回復処理を行うことにより第２の画像を生成する画像回復部と、前記第１の画像と前記第２の画像との差分絶対値に応じた合成比率で前記第１の画像と前記第２の画像との合成画像を生成する合成部とを有し、前記合成部は、前記差分絶対値が第１の閾値以上である第１の画素位置では、前記差分絶対値が前記第１の閾値よりも小さい第２の画素位置よりも、前記第１の画像に対する前記第２の画像の合成比率が高くなるように、前記合成画像を生成する。

本発明の他の側面としての画像処理方法は、光学系を介して得られた第１の画像に対して前記光学系に起因する収差を低減するための画像回復処理を行うことにより第２の画像を生成する画像回復ステップと、前記第１の画像と前記第２の画像との差分絶対値に応じた合成比率に応じて前記第１の画像と前記第２の画像との合成画像を生成する合成ステップとを有し、前記合成ステップでは、前記差分絶対値が第１の閾値以上である第１の画素位置では、前記差分絶対値が前記第１の閾値よりも小さい第２の画素位置よりも、前記第１の画像に対する前記第２の画像の合成比率が高くなるように、前記合成画像を生成する。

本発明の他の側面としてのプログラムは、コンピュータに、前記画像処理方法を実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、光学系に起因する劣化画像の回復処理において、撮像素子に起因するノイズの変形または強調を低減可能な画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体を提供することができる。

実施形態１における画像処理装置を備えた撮像装置のブロック図である。 画像回復処理前後の画像の変化を示す図である。 前処理画像と回復画像の差分絶対値を示す図である。 実施形態２における画像処理装置を備えた撮像装置のブロック図である。 実施形態２において、画像回復処理による色滲みの減少およびノイズの変形を示す図である。 実施形態３における画像処理装置を備えた撮像装置のブロック図である。 実施形態３における合成比率算出部のブロック図である。 実施形態３におけるエッジ検出部のブロック図およびフィルタ係数の説明図である。 実施形態３におけるコアリング部の入力画素値と出力画素値との関係を示すグラフである。 実施形態３におけるリミッタ部の入力画素値と出力画素値との関係を示すグラフである。 実施形態１において、前処理画像の画素値ｐと回復画像の画素値ｒとの合成比率を示すグラフである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

［実施形態１］
まず、図１を参照して、本発明の実施形態１における画像処理装置および撮像装置について説明する。図１は、本実施形態における画像処理装置１５を備えた撮像装置１０の構成を示すブロック図である。

図１において、１００は光学系（撮影光学系）である。なお本実施形態において、撮像装置１０は、光学系１００とともに一体的に構成されているが、これに限定されるものではない。本実施形態は、画像処理装置１５を備えた撮像装置本体と、撮像装置本体に着脱可能な光学系１００（レンズ装置）とにより構成された撮像システムにも適用可能である。

１０１はＣＭＯＳセンサやＣＣＤセンサを備えた撮像素子である。撮像素子１０１は、光学系１００を介して得られた被写体像（光学像）を光電変換して画像信号を出力する。１０２はＡ／Ｄ変換部である。Ａ／Ｄ変換部１０２は、撮像素子１０１から出力された画像信号（アナログ画像信号）をデジタル画像信号へ変換する。１０３は前処理部である。前処理部１０３は、Ａ／Ｄ変換部１０２から出力されたデジタル画像信号に対して前処理を実施する。

１０４は画像回復部である。画像回復部１０４は、前処理部１０３からの出力信号（前処理画像）に対して画像回復処理を行う。すなわち画像回復部１０４は、光学系１００を介して得られた前処理画像（第１の画像）に対して画像回復処理を行うことにより、回復画像（第２の画像）を生成する。これにより、光学系１００の収差により劣化した第１の画像（劣化画像）から第２の画像（回復画像）が生成される。

１０５は合成比率算出部である。合成比率算出部１０５は、前処理部１０３からの出力信号（前処理画像、すなわち第１の画像）と画像回復部１０４からの出力信号（回復画像、すなわち第２の画像）との合成比率を算出する。１０６は合成部である。合成部１０６は、合成比率算出部１０５により算出された合成比率に応じて、前処理部１０３からの出力信号（第１の画像）と画像回復部１０４からの出力信号（第２の画像）とを合成して合成画像を生成する。

１０７は信号処理部である。信号処理部１０７は、合成部１０６からの出力信号（合成画像）に対して所定の信号処理を行い、信号処理後の信号を出力端子１０８に出力する。本実施形態において、撮像装置１０は画像処理装置１５を備え、画像処理装置１５は、画像回復部１０４、合成比率算出部１０５、合成部１０６、および、信号処理部１０７により構成されている。

光学系１００は、１枚以上のレンズや絞りなどにより構成され、少なくとも光学的な収差（歪曲収差、軸上色収差、倍率色収差など）を含む。撮像素子１０１は、光学系１００を介して投影される像を結像する素子であり、撮影画像（結像画像）にはノイズ（ランダムノイズ）が含まれている。Ａ／Ｄ変換部１０２は、撮像素子１０１から得られるランダムノイズを含む撮影画像を量子化してデジタル画像信号へ変換する。前処理部１０３は、Ａ／Ｄ変換部１０２から得られるデジタル画像信号に対して前処理を実施する。前処理とは、撮像素子１０１の欠陥画素補正や周辺光量落ち補正など、画像回復処理前に必要な補正処理である。ただし本実施形態において、画像回復処理を行う前に補正処理（前処理）を必要としない場合、前処理部１０３は不要である。

画像回復部１０４は、前処理部１０３からの出力信号（前処理画像）に対して画像回復処理を行う。画像回復処理とは、レンズ（光学系１００）に起因する収差を低減するための処理である。具体的な画像回復方法としては、特許文献１のように種々の公知例が知られている。画像回復処理の結果、例えば図２に示されるような結果が得られる。図２は、画像回復処理前後の画像の変化を示す図である。撮影画像（前処理画像）には、前処理画像の一部分２０４として示されるように、被写体のエッジ２０２の周囲に収差による滲み２０１、２０３が生じている。また、前処理画像の一部分２０４には、ノイズ２００も含まれている。このような撮影画像（前処理画像）に対して画像回復処理を行うと、回復画像の一部分２０６として示されるように、回復したエッジ２０７の周囲の滲みは低減する。しかしながら、ノイズ２００は、画像回復フィルタの効果によって、変形したノイズ２０５のようにその形状が変形してしまう。

合成比率算出部１０５は、前処理画像と回復画像とを比較し、合成比率を算出する。この合成比率は、後段の合成部１０６による前処理画像と回復画像との混合比に相当する。ここで、図３を参照して、合成比率の算出方法について説明する。図３は、前処理画像と回復画像の差分絶対値を示す図である。図３において、多くの収差が発生する高像高の領域（レンズの光軸中心位置から遠い領域）を切り出した一部領域を取り上げているが、処理対象としては画像の全領域に実施してもよい。

図３において、差分絶対値３０２は、前処理画像の一部３００と回復画像の一部３０１の差分絶対値であり、エッジ情報を示している。合成比率算出部１０５は、差分絶対値３０２に対応する画素値に基づいて合成比率を決定する。

合成部１０６は、差分絶対値３０２に対応する画素値が第１の閾値以上である場合、その画素位置においては回復画像の画素値を出力する。また合成部１０６は、差分絶対値３０２に対応する画素値が第１の閾値よりも小さく、かつ、第２の閾値よりも大きい場合、その画素位置においては前処理画像の画素値と回復画像の画素値との荷重平均値を出力する。また合成部１０６は、差分絶対値３０２に対応する画素値が第２の閾値以下である場合、その画素位置においては前処理画像の画素値を出力する。以下、合成部１０６による演算方法について、数式を用いて詳述する。

前処理画像の画素値をｐ１、回復画像の画素値をｒ１、第１の閾値をＴ１、第２の閾値をＴ２、差分絶対値をｄ１、出力画素値（合成部１０６からの出力信号）をｏとする。また、閾値パラメータの設定条件として、Ｔ１＞Ｔ２を満たす必要がある。

まず、差分絶対値ｄ１は、以下の式（１）の演算により求められる。

ｄ１＝｜ｐ１−ｒ１｜ … （１）
出力画素値ｏは、式（１）により算出された差分絶対値ｄ１を重みとみなし、閾値パラメータＴ１、Ｔ２を用いて、以下の式（２）の演算により算出される。

ｏ＝ｒ１ （ｄ１≧Ｔ１の場合）
ｏ＝｛ｒ１・（ｄ１−Ｔ２）＋ｐ１・（Ｔ１−ｄ１）｝／（Ｔ１−Ｔ２） （Ｔ１＞ｄ１＞Ｔ２の場合）
ｏ＝ｐ１ （Ｔ２≧ｄ１の場合） … （２）
図１１は、前処理画像の画素値ｐ１と回復画像の画素値ｒ１との合成比率を示すグラフであり、式（２）の関係に対応している。図１１（ａ）は回復画像の画素値ｒ１の合成比率とエッジ情報（差分絶対値ｄ１）との関係、図１１（ｂ）は前処理画像の画素値ｐ１とエッジ情報（差分絶対値ｄ１）との関係をそれぞれ示している。出力画素値ｏにより構成される出力画像が、合成部１０６による合成結果となる。信号処理部１０７は、合成部１０６による合成結果に対して、絵作り（画像形成）に必要な、ガンマ補正やシャープネス補正などの信号処理を実施する。信号処理部１０７からの出力信号は、出力端子１０８へ出力される。

このように本実施形態において、合成比率算出部１０５は、第１の画像（前処理画像、すなわち撮影画像）または第２の画像（回復画像）に含まれる情報に基づいて、第１の画像と第２の画像との合成比率を算出する。好ましくは、第１の画像または第２の画像に含まれる情報とは、エッジ情報である。

好ましくは、合成比率算出部１０５は、第１の画像と第２の画像との差分絶対値に基づいて合成比率を算出する。より好ましくは、合成部１０６は、差分絶対値が第１の閾値以上（ｄ１≧Ｔ１）である第１の画素位置において、第２の画像（回復画像）を用いて合成画像を生成する。また合成部１０６は、差分絶対値が第１の閾値よりも小さい第２の閾値以下（Ｔ２≧ｄ１）である第２の画素位置において、第１の画像（前処理画像、すなわち撮影画像）を用いて合成画像を生成する。また合成部１０６は、差分絶対値が第１の閾値よりも小さく、かつ、第２の閾値よりも大きい（Ｔ１＞ｄ１＞Ｔ２が成立する）第３の画素位置において、第１の画像および第２の画像の両方を用いて合成画像を生成する。更に好ましくは、合成部１０６は、第３の画素位置において、差分絶対値が第１の閾値よりも第２の閾値に近い場合、第２の画像よりも第１の画像の合成比率を高める。すなわち、主に第１の画像を用いて画像合成を行う。一方、差分絶対値が第２の閾値よりも第１の閾値に近い場合、第１の画像よりも第２の画像の合成比率を高める。すなわち、主に第２の画像を用いて画像合成を行う。

本実施形態によれば、画像回復部１０４による回復効果が大きい領域に対しては光学系１００に起因して劣化した画像を適切に回復させ、画像回復部１０４による回復効果が小さい領域に対しては自然なノイズ形状の出力画像を得ることができる。

［実施形態２］
次に、図４を参照して、本発明の実施形態２における画像処理装置および撮像装置について説明する。図４は、本実施形態における画像処理装置４５を備えた撮像装置４０の構成を示すブロック図である。図４において、光学系４００、撮像素子４０１、Ａ／Ｄ変換４０２、前処理部４０３、画像回復部４０４は、図１の光学系１００、撮像素子１０１、Ａ／Ｄ変換部１０２、前処理部１０３、および、画像回復部１０４とそれぞれ同様である。

４０５は第２の信号処理部である。第２の信号処理部４０５は、画像回復部４０４からの出力信号（回復画像、すなわち第２の画像）に対してガンマ補正やシャープネス補正などの信号処理を行う。４０６は第１の信号処理部である。第１の信号処理部４０６は、前処理部４０３からの出力信号（前処理画像、すなわち第１の画像）に対して、第２の信号処理部４０５と同等の信号処理を行う。

４０７は合成比率算出部である。合成比率算出部４０７は、第２の信号処理部４０５からの第２の出力信号（第２の画像に基づく出力信号）と第１の信号処理部４０６からの第１の出力信号（第１の画像に基づく出力信号）との合成比率を算出する。すなわち合成比率算出部４０７は、第１の信号処理部４０６からの第１の出力信号と第２の信号処理部４０５からの第２の出力信号とを用いて、第１の画像と第２の画像との合成比率を算出する。

４０８は合成部である。合成部４０８は、合成比率算出部４０７により算出された合成比率に基づいて、第２の信号処理部４０５からの出力信号と第１の信号処理部４０６からの出力信号とを合成する。合成後の信号は、出力端子４０９に出力される。本実施形態において、撮像装置４０は画像処理装置４５を備え、画像処理装置４５は、画像回復部４０４、第２の信号処理部４０５、第１の信号処理部４０６、合成比率算出部４０７、および、合成部４０８により構成されている。

第２の信号処理部４０５は、画像回復部４０４により回復された画像（回復画像）に対して、絵作り（画像形成）に必要な、ガンマ補正やシャープネス補正などの信号処理を行う。第１の信号処理部４０６は、前処理部４０３からの出力信号（前処理画像）に対して、第２の信号処理部４０５と等価な信号処理を行う。このように本実施形態では、信号処理後（画像形成後）に合成比率の算出および信号の合成が行われる。なお本実施形態において、第２の信号処理部４０５からの第２の出力信号を回復画像、第１の信号処理部４０６からの第１の出力信号を回復前画像という場合がある。

続いて、図５を参照して、合成比率算出部４０７について説明する。図５は、画像回復処理による色滲みの減少およびノイズの変形を示す図である。図５に示されるように、撮影画像（回復前画像）には、回復前画像の一部分５０４として示されるように、被写体のエッジ５０２の周囲に収差による滲み５０１、５０３が生じている。このような回復前画像に対して画像回復処理を行うと、回復画像の一部分５０６として示されるように、収差による色滲み５０１、５０３は低減する。しかしながら、画像回復処理によりノイズ５００の周囲には色滲みが発生し、ノイズ５００は変形したノイズ５０５となる。

合成比算出部４０７は、回復前画像と回復画像とを比較して、合成比率を算出する。以下、数式を用いて、合成比率の具体的な算出方法について説明する。画素値が光の三原色（Ｒ，Ｇ，Ｂ）で示されるとき、彩度Ｓは、例えば以下の式（３）のように表現することができる。

Ｍ＝ｍａｘ（Ｒ，Ｇ，Ｂ）
ｍ＝ｍｉｎ（Ｒ，Ｇ，Ｂ）
Ｓ＝０ （Ｍ＝０の場合）
Ｓ＝（Ｍ−ｍ）／Ｍ （Ｍ≠０の場合） … （３）
式（３）において、ｍａｘ（）は与えられた要素の最大値を求める関数、ｍｉｎ（）は与えられた要素の最小値を求める関数である。回復前画像と回復画像を重ね合わせ、同一位置にある画素値の彩度Ｓを比較する。このとき合成比算出部４０７は、回復前画像と回復画像の彩度Ｓが低いほうの画素値を選択されるように合成比率を算出する。

回復前画像の彩度をＳ１、回復画像の彩度をＳ２とすると、合成比率ｄ２は、例えば以下の式（４）のように算出される。

ｄ２＝０ （Ｓ１＞Ｓ２）
ｄ２＝１ （Ｓ２≧Ｓ１） … （４）
合成部４０８は、画素単位で個別に求められた合成比率ｄ２を用いて回復画像と回復前画像とを合成する。回復画像の画素値をｒ２、回復前画像の画素値をｐ２、出力画素値（合成部４０８からの出力信号）をｏとする。このとき、出力画素値ｏ（合成結果）は、例えば以下の式（５）のように算出される。

ｏ＝ｐ２・（１−ｄ２）＋ｒ２・ｄ２ … （５）
合成部４０８は、式（５）により算出された出力画素値ｏにより構成される画像を、出力端子４０９に出力する。

このように本実施形態において、合成比率算出部４０７は、第１の出力信号（回復前画像）および第２の出力信号（回復後画像）のそれぞれの彩度に基づいて合成比率を算出する。好ましくは、合成部４０８は、第１の出力信号の彩度が第２の出力信号の彩度よりも低い第４の画素位置において、第１の出力信号を用いて合成画像を生成する。また合成部４０８は、第２の出力信号の彩度が第１の出力信号の彩度よりも低い第５の画素位置において、第２の出力信号を用いて合成画像を生成する。なお、本実施形態における合成比率算出部４０７の合成比率の算出方法と、実施形態１における合成比率算出部１０５の合成比率の算出方法は、入れ替えることが可能である。

本実施形態によれば、光学系１００に起因する画像劣化により色つきが発生している領域に対しては色つきを低減させ、それ以外の領域に対しては自然なノイズ形状の出力画像を得ることができる。

［実施形態３］
次に、図６を参照して、本発明の実施形態３における画像処理装置について説明する。図６は、本実施形態における画像処理装置の構成を示すブロック図である。

次に、図６を参照して、本発明の実施形態３における画像処理装置および撮像装置について説明する。図６は、本実施形態における画像処理装置６５を備えた撮像装置６０の構成を示すブロック図である。図６において、光学系６００、撮像素子６０１、Ａ／Ｄ変換６０２、前処理部６０３、画像回復部６０４は、図１の光学系１００、撮像素子１０１、Ａ／Ｄ変換部１０２、前処理部１０３、および、画像回復部１０４とそれぞれ同様である。また、合成部６０６および信号処理部６０７は、図１の合成部１０６および信号処理部１０７とそれぞれ同様である。すなわち図６の撮像装置６０は、合成比率算出部６０５のみが図１の撮像装置１０と異なる。

図７を参照して、本実施形態における合成比率算出部６０５について説明する。図７は、合成比率算出部６０５のブロック図である。合成比率算出部６０５において、７００は、画像回復部６０４からの出力信号（回復画像）を入力する入力端子である。７０１は、回復画像のエッジを検出してエッジ信号を求めるエッジ検出部である。７０２は、エッジ信号に含まれるノイズを除去するコアリング部である。７０３は、ノイズが除去されたエッジ信号の上限クリップを実施するリミッタ部である。７０４は、リミッタ部７０３からの出力信号に対してＭＡＸフィルタを適用するＭＡＸフィルタ部である。７０５は、ＭＡＸフィルタ部７０４からの出力信号が出力される出力端子である。

エッジ検出部７０１は、エッジ検出を行い、各画素位置においてエッジ部または平坦部のいずれであるかを判定する。そしてエッジ検出部７０１は、エッジ部であると判定した画素位置には第１の値（大きな値）を出力する。一方、エッジ検出部７０１は、平坦部であると判定した画素位置には第１の値よりも小さい第２の値（小さな値）を出力する。エッジ検出部７０１としては種々の構成があるが、本実施形態では図８に示されるエッジ検出部７０１を採用する。

図８（ａ）は、本実施形態におけるエッジ検出部７０１のブロック図およびフィルタ係数の説明図である。図８（ａ）において、８００は、入力画像（回復画像）を入力する入力端子である。８０１は水平Ｓｏｂｅｌフィルタ部である。水平Ｓｏｂｅｌフィルタ部８０１は、入力画像に対して水平方向のＳｏｂｅｌフィルタを適用し、水平方向エッジを検出する。８０２は垂直Ｓｏｂｅｌフィルタ部である。垂直Ｓｏｂｅｌフィルタ部８０２は、入力画像に対して垂直方向のＳｏｂｅｌフィルタを適用し、垂直方向エッジを検出する。

８０３は、水平方向エッジの絶対値を算出する絶対値部である。８０４は、垂直方向エッジの絶対値を算出する絶対値部である。８０５は、絶対値部８０３、８０４からの出力信号（水平方向エッジの絶対値と垂直方向エッジの絶対値）を加算する加算部である。加算部８０５からの出力信号（加算信号）は、出力端子８０６に出力される。

水平Ｓｏｂｅｌフィルタ部８０１は、着目画素を中心に３×３画素の空間ＦＩＲフィルタを適用する。水平Ｓｏｂｅｌフィルタ部８０１のフィルタ係数としては、例えば図８（ｂ）に示される値が用いられる。垂直Ｓｏｂｅｌフィルタ部８０２は、着目画素を中心に３×３画素の空間ＦＩＲフィルタを適用する。垂直Ｓｏｂｅｌフィルタ部８０２のフィルタ係数としては、例えば図８（ｃ）に示される値が用いられる。出力端子８０５から出力される値（エッジ情報）は、その値が大きいほどエッジ部である（エッジ部に近い）ことを示し、その値が小さいほど平坦部である（平坦部に近い）ことを示す。

コアリング部７０２は、所定の定数を減じ、負数になった画素値を０に置換する。図９は、コアリング部７０２の入力画素値と出力画素値との関係を示すグラフである。図９中のＴは、減ずる所定の定数である。定数Ｔは、除去すべきノイズ成分の大きさと、残すべきエッジの大きさのバランスにより決定される。リミッタ部７０３は、上限を超えている値をクリップする。図１０は、リミッタ部７０３の入力画素値と出力画素値との関係を示すグラフである。

ＭＡＸフィルタ部７０４は、着目画素を中心にｎ画素×ｎ画素の範囲を参照し、その範囲内で最大値となる値を着目画素位置の出力とする。値ｎとしては、対象とする画像劣化による滲みの幅を画素数に変換した値が用いられる。例えば、最大で３画素の滲みが発生するレンズ収差の画像回復を行う場合、ｎは３・２＋１＝７である。ＭＡＸフィルタ部７０４からの出力信号は出力端子７０５に出力される。

このように本実施形態において、合成比率算出部６０５は、回復画像（第２の画像）のエッジ情報を検出するエッジ検出部７０１を有する。そして合成部６０６は、エッジ検出部７０１により検出されたエッジ情報に基づいて、前処理画像（第１の画像）と回復画像（第２の画像）との合成比率を算出する。合成部６０６は、エッジ検出部７０１で検出されたエッジ情報をｄ１とし、図１１に従って前処理画像と回復画像の合成比率を算出すればよい。

本実施形態によれば、エッジ部に対しては光学系１００に起因する画像劣化が回復し、平坦部に対しては自然なノイズ形状の出力画像を得ることができる。なお、実施形態２における第１の信号処理部４０６を、本実施形態の前処理部６０３と合成部６０６の間に設け、実施形態２における第２の信号処理部４０５を、本実施形態の画像回復部６０４と合成比率算出部６０５の間に設けても構わない。この場合、合成比率算出部６０５は、第２の信号処理部４０５からの第２の出力信号を用いて、エッジ情報を検出することになる。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。

各実施形態によれば、光学系に起因する劣化画像の回復処理において、撮像素子に起因するノイズの変形または強調（ノイズ特性の変化）を低減可能な画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１５ 画像処理装置
１０４ 画像回復部
１０５ 合成比率算出部
１０６ 合成部

Claims (9)

1. 光学系を介して得られた第１の画像に対して前記光学系に起因する収差を低減するための画像回復処理を行うことにより第２の画像を生成する画像回復部と、
   前記第１の画像と前記第２の画像との差分絶対値に応じた合成比率で前記第１の画像と前記第２の画像との合成画像を生成する合成部と、を有し、
   前記合成部は、前記差分絶対値が第１の閾値以上である第１の画素位置では、前記差分絶対値が前記第１の閾値よりも小さい第２の画素位置よりも、前記第１の画像に対する前記第２の画像の合成比率が高くなるように、前記合成画像を生成する、ことを特徴とする画像処理装置。
2. 前記合成部は、
   前記差分絶対値が第１の閾値以上である第１の画素位置において、前記第２の画像を用いて前記合成画像を生成し、
   前記差分絶対値が前記第１の閾値よりも小さい第２の閾値以下である第２の画素位置において、前記第１の画像を用いて前記合成画像を生成し、
   前記差分絶対値が前記第１の閾値よりも小さく、かつ、前記第２の閾値よりも大きい第３の画素位置において、前記第１の画像および前記第２の画像の両方を用いて前記合成画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成部は、前記第３の画素位置において、
   前記差分絶対値が前記第１の閾値よりも前記第２の閾値に近い場合、前記第２の画像よりも前記第１の画像の合成比率を高め、
   前記差分絶対値が前記第２の閾値よりも前記第１の閾値に近い場合、前記第１の画像よりも前記第２の画像の合成比率を高めることを特徴とする請求項２に記載の画像処理装置。
4. 前記画像回復部は、前記光学系の収差により劣化した前記第１の画像に対して前記画像回復処理を行うことにより、前記第２の画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 光学系を介して得られた光学像を光電変換して画像信号を得る撮像素子と、
   前記画像信号に基づく第１の画像に対して前記光学系に起因する収差を低減するための画像回復処理を行うことにより第２の画像を生成する画像回復部と、
   前記第１の画像と前記第２の画像との差分絶対値に応じた合成比率で前記第１の画像と前記第２の画像との合成画像を生成する合成部と、を有し、
   前記合成部は、前記差分絶対値が第１の閾値以上である第１の画素位置では、前記差分絶対値が前記第１の閾値よりも小さい第２の画素位置よりも、前記第１の画像に対する前記第２の画像の合成比率が高くなるように、前記合成画像を生成する、ことを特徴とする撮像装置。
6. 光学系を備えたレンズ装置と、
   請求項５に記載の撮像装置と、を有することを特徴とする撮像システム。
7. 光学系を介して得られた第１の画像に対して前記光学系に起因する収差を低減するための画像回復処理を行うことにより第２の画像を生成する画像回復ステップと、
   前記第１の画像と前記第２の画像との差分絶対値に応じた合成比率で前記第１の画像と前記第２の画像との合成画像を生成する合成ステップと、を有し、
   前記合成ステップでは、前記差分絶対値が第１の閾値以上である第１の画素位置では、前記差分絶対値が前記第１の閾値よりも小さい第２の画素位置よりも、前記第１の画像に対する前記第２の画像の合成比率が高くなるように、前記合成画像を生成する、ことを特徴とする画像処理方法。
8. コンピュータに、請求項７に記載の画像処理方法を実行させるように構成されていることを特徴とするプログラム。
9. 請求項８に記載のプログラムを記憶していることを特徴とする記憶媒体。