JP4995359B1 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

画像処理装置（２）は、撮影画像中で輝度値が所定の値より大きな画像位置である輝度飽和位置を検出し光源画像を作成する輝度飽和位置検出部（１０）と、光源画像と光学系の光学特性データとに基づきフレアモデル画像を作成するフレアモデル作成部（１１）と、輝度飽和位置から撮影画像上の略光軸方向の画像位置であって輝度飽和位置近傍の予め定められた画像位置をフレア位置として設定するフレア位置設定部（１２）と、フレア位置における、撮影画像の輝度値とフレアモデル画像の輝度値との関係性に基づいてフレアモデル画像の輝度をゲイン調整することにより、推定フレア像を作成するフレアモデル輝度調整部（１３）と、撮影画像から推定フレア像を減算する不要光減算部（６）とを備える。
【選択図】図９

Description

本発明は、回折光学素子を含む光学系を介して撮影された撮影画像から不要光の成分を画像処理により低減する技術に関する。

被写体を撮影する撮像装置において、被写体が明るい場合に、被写体の周辺部の不要光が視認可能な明るさとなり、撮影画像に悪影響を及ぼす場合がある。特に回折格子を有する回折レンズを用いた場合は、回折レンズの設計次数以外の不要次数回折光による不要光が発生し、非球面レンズのみを用いた光学系と比較して不要光が大きくなる場合がある。

こうした不要光を画像処理により低減する従来技術として、例えば特許文献１では、回折レンズの不要次数回折光（０次光や２次光）のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と撮影画像との畳込み積分から不要光を推定し、元画像から減算することにより不要光を低減している。

また、特許文献２では、露光時間の異なる複数の画像を撮影し、短い露光時間の画像から不要光を推定し、露光時間の長い画像から推定した不要光を減算することにより不要光を低減している。

特開平９−２３８３５７号公報 特開平１１−３５５６３６号公報

本願発明者は、回折レンズを用いて非常に明るい被写体を撮影すると、撮影画像の光軸位置から離れた画像位置において、上述した不要次数回折光による不要光とは異なる、円弧状フレア光による大きな不要光が発生することを見出した。そして、この円弧状フレア光による不要光は、撮影された画像の品質を大きく低下させる場合があることがわかった。

円弧状フレア光による不要光は、不要次数回折光による不要光とは異なる。そのため、特許文献１のように不要次数回折光のＰＳＦを用いて不要光を低減する方法では、円弧状フレア光による不要光を低減することができない。また、特許文献１においてＰＳＦと撮影画像との畳込み積分により不要光を推定する場合、被写体が明るいことにより撮影画像の輝度が飽和していると、輝度飽和部では誤った被写体の明るさ（輝度）から不要光を推定することになる。そのため、適切に不要光を推定することが難しい。被写体の明るさが、撮影画像の飽和レベルより明るくなるほど、推定した不要光成分の大きさが実際より小さくなる。つまり、被写体が明るく、撮影画像の輝度が飽和する場合には、適切に不要光を低減することが困難である。

また、特許文献２では、露光時間の異なる複数の画像を撮影し演算する必要があるため、演算コストが増大するだけでなく、動画を撮影する場合に適切な不要光の推定が困難となる場合がある。

そこで、本発明は、上記課題を解決するためになされたものであって、回折光学素子を含む光学系を介して撮影された撮影画像において輝度が飽和している場合であっても、撮像画像に含まれる不要光の成分を、画像処理により適切に低減することができる画像処理装置、撮像装置、及び画像処理方法を提供することを目的とする。

上記の目的を達成するために、本発明の一態様に係る画像処理装置は、回折光学素子を含む光学系を介して撮影された撮影画像から不要光の成分を低減する画像処理装置であって、前記撮影画像中の明るい被写体の周辺部に発生する推定フレア像を作成するフレア像推定部と、前記撮影画像から、前記推定フレア像を減算する不要光減算部とを備え、前記フレア像推定部は、前記撮影画像中で輝度値が所定の値より大きな画像位置である輝度飽和位置を検出し光源画像を作成する輝度飽和位置検出部と、前記光源画像と前記光学系の光学特性データとに基づきフレアモデル画像を作成するフレアモデル作成部と、前記輝度飽和位置から撮影画像上の略光軸方向の画像位置であって前記輝度飽和位置近傍の予め定められた画像位置をフレア位置として設定するフレア位置設定部と、前記フレア位置における、前記撮影画像の輝度値と前記フレアモデル画像の輝度値との関係性に基づいて前記フレアモデル画像の輝度をゲイン調整することにより、前記推定フレア像を作成するフレアモデル輝度調整部とを有する。

この構成によれば、回折格子特有の不要光が大きくなる画像位置において、撮影画像の輝度値とフレアモデル画像の輝度値とを比較することにより、フレアモデル画像の輝度を適切にゲイン調整することができるので、推定フレア像を高精度に作成することが可能となる。このように作成された推定フレア像を撮影画像から減算することにより、撮影画像の輝度が飽和している場合であっても、１回の撮影で得られた撮影画像から適切に不要光を低減することが可能となる。

本発明は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部をステップとする画像処理方法として実現することもできる。

本発明によれば、回折光学素子を含む光学系を介して撮影された撮影画像において輝度が飽和している場合であっても、撮像画像に含まれる不要光の成分を、画像処理により適切に低減することができる。

図１は、本発明の実施の形態における光学系の構成例を示す模式図である。 図２Ａは、本発明の実施の形態における光学系のＰＳＦを示す図である。 図２Ｂは、本発明の実施の形態における光学系のＰＳＦを示す図である。 図３Ａは、本発明の実施の形態における光学系のＰＳＦの輝度推移を示す図である。 図３Ｂは、本発明の実施の形態における光学系のＰＳＦの輝度推移を示す図である。 図４は、本発明の実施の形態における回折レンズを示す図である。 図５は、本発明の実施の形態におけるフレア光発生原理を説明する図である。 図６は、本発明の実施の形態における被写体を示す図である。 図７Ａは、本発明の実施の形態における被写体の撮影画像を示す図である。 図７Ｂは、本発明の実施の形態における被写体の撮影画像を示す図である。 図８Ａは、本発明の実施の形態における被写体の撮影画像の輝度推移を示す図である。 図８Ｂは、本発明の実施の形態における被写体の撮影画像の輝度推移を示す図である。 図９は、本発明の実施の形態１における撮像装置の機能構成を示すブロック図である。 図１０は、本発明の実施の形態１における光源画像を示す図である。 図１１Ａは、本発明の実施の形態１における光源周波数データの振幅スペクトルを示す図である。 図１１Ｂは、本発明の実施の形態１におけるＯＴＦの振幅スペクトルを示す図である。 図１１Ｃは、本発明の実施の形態１におけるフレアモデル周波数データの振幅スペクトルを示す図である。 図１２は、本発明の実施の形態１におけるフレアモデル画像を示す図である。 図１３は、本発明の実施の形態１におけるフレアモデル画像を示す図である。 図１４は、本発明の実施の形態１における光学系のＰＳＦを示す図である。 図１５Ａは、本発明の実施の形態１における第１被写体を示す図である。 図１５Ｂは、本発明の実施の形態１における第２被写体を示す図である。 図１６Ａは、本発明の実施の形態１における第１被写体の撮影画像を示す図である。 図１６Ｂは、本発明の実施の形態１における第２被写体の撮影画像を示す図である。 図１７Ａは、本発明の実施の形態１における第１被写体の撮影画像の輝度推移を示す図である。 図１７Ｂは、本発明の実施の形態１における第２被写体の撮影画像の輝度推移を示す図である。 図１８Ａは、本発明の実施の形態１における第１被写体の出力画像を示す図である。 図１８Ｂは、本発明の実施の形態１における第２被写体の出力画像を示す図である。 図１９Ａは、本発明の実施の形態１における第１被写体の出力画像の輝度推移を示す図である。 図１９Ｂは、本発明の実施の形態１における第２被写体の出力画像の輝度推移を示す図である。 図２０Ａは、本発明の実施の形態１における第１被写体の推定フレア像の輝度推移を示す図である。 図２０Ｂは、本発明の実施の形態１における第２被写体の推定フレア像の輝度推移を示す図である。 図２１は、本発明の実施の形態１における撮像装置の処理の流れを示すフローチャートである。 図２２Ａは、本発明の実施の形態２における第１被写体の撮影画像を示す図である。 図２２Ｂは、本発明の実施の形態２における第２被写体の撮影画像を示す図である。 図２３Ａは、本発明の実施の形態２における第１被写体の撮影画像の輝度推移を示す図である。 図２３Ｂは、本発明の実施の形態２における第２被写体の撮影画像の輝度推移を示す図である。 図２４は、本発明の実施の形態２における光学系のＰＳＦを示す図である。 図２５Ａは、本発明の実施の形態２における第１被写体の出力画像を示す図である。 図２５Ｂは、本発明の実施の形態２における第２被写体の出力画像を示す図である。 図２６Ａは、本発明の実施の形態２における第１被写体の出力画像の輝度推移を示す図である。 図２６Ｂは、本発明の実施の形態２における第２被写体の出力画像の輝度推移を示す図である。 図２７Ａは、本発明の実施の形態２における第１被写体の推定フレア像の輝度推移を示す図である。 図２７Ｂは、本発明の実施の形態２における第２被写体の推定フレア像の輝度推移を示す図である。 図２８は、本発明の実施の形態２の変形例におけるシュリンク後の光源画像を示す図である。 図２９Ａは、本発明の実施の形態２の変形例における出力画像を示す図である。 図２９Ｂは、本発明の実施の形態２の変形例における出力画像の輝度推移を示す図である。

以下、本発明の実施の形態を詳細に説明する前に、回折光学素子を含む光学系を備える撮像装置で明るい被写体を撮影した場合に、輝度が飽和した被写体像の周辺部に円弧状フレア光による不要光が視認可能なレベルに発生する現象について説明する。

図１は、本発明の実施の形態における光学系の構成例を模式的に示す図である。図１に示すように、光学系２００は、負のパワーを持つレンズ２０１と、正のパワーを持つ回折レンズ２０２とを備える。

回折レンズ２０２は、回折光学素子に相当し、互いに材料が異なる第１部材２０３及び第２部材２０４を有する。第１部材２０３の一方の面は、非球面形状に形成されている。また、第１部材２０３の他方の面には、回折格子２０６が光軸２１０を中心に輪帯状に形成されている。回折格子２０６の表面は、第２部材２０４によって非球面形状に被覆されている。

このような光学系２００を介して、被写体の像が撮像素子２０８の撮像面２０９に結像される。撮像面に結像された被写体の像は、撮像素子２０８に撮影画像として取り込まれる。撮像素子２０８はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などにより構成される。絞り２１１は、回折レンズ２０２の像面側に設置され、撮像素子２０８の撮像面２０９に入射する光線を調整する。

回折格子２０６の格子厚ｄは、（式１）により求められる。

ここで、ｎ１は第１部材２０３の屈折率を表わし、ｎ２は第２部材２０４の屈折率を表わす。λは波長である。ここでは、光学系２００は、撮像用途の光学系である。そのため、λは、４００ｎｍから７００ｎｍ程度の可視域の波長範囲の値をとる。

ｍは回折次数である。ここではｍ＝１としている。つまり、回折格子２０６の格子厚ｄは、１次回折光の回折効率が高くなるように設計されている。この可視域の波長範囲においてｄがほぼ一定値となる屈折率（ｎ１及びｎ２）を持つ第１部材２０３及び第２部材２０４を組合せることにより、回折レンズ２０２は、可視域の波長範囲全領域で高い１次回折効率を得ることができることが知られている（例えば特許第４０７７５０８号公報を参照）。本発明の実施の形態においては、ｎ１及びｎ２がこのような組合せとなるよう、第１部材２０３及び第２部材２０４が用いられる。

図２Ａに、図１の光学系２００の画角４５度付近でのＰＳＦを示す。図２Ｂに、ＰＳＦの不要光成分の分布が見やすいように、図２ＡのＰＳＦの明るさを調整したＰＳＦを示す。図２Ａ及び図２Ｂでは、画像中心の左方向が光軸方向である。つまり、画像の左方向に、光軸と撮像面とが交差する位置に対応する画像位置が存在する。なお、ＰＳＦとは、光学系の点光源に対する応答を表す関数であり、画像として表すことができる。

図３Ａに、図２ＡのＰＳＦの輝度最大位置周辺部の画像水平方向の輝度推移を示す。図３Ａにおいて、縦軸は輝度を表わし、横軸は画像位置を表わしている。図３Ｂに、図３Ａの縦軸のスケールを拡大したときの輝度推移を示す。

図２Ａ〜図３Ｂに示すように、回折格子を含む光学系に用いて撮影された撮像画像には、輝度の大きい円弧状の不要光が発生する。なお、不要光とは、画像に写ってしまう不要な光である。つまり、不要光とは、本来、画像に写ることが望ましくない光である。この不要光によって画質が劣化する。

本願発明者は、この不要光が、０次、２次の回折光といった設計次数以外の不要次数回折光よりも輝度が大きく、回折格子の各輪帯ピッチの影響により発生することを見出した。具体的には、図２Ａ〜図３Ｂに示すように、特に光軸以外の画像位置であって有限の画角の画像位置において、明るい被写体像の光軸側に大きな円弧状の不要光が発生することを、実験からも確認できた。特に回折格子の格子厚ｄが大きい場合には、図３Ｂに示すように、ＰＳＦの最大輝度の位置より光軸側に大きな不要光が生じた。

この大きな不要光は、明るい被写体を撮影することにより得られる撮影画像中の被写体像の位置の輝度が飽和したときに、被写体像の位置よりも光軸側の位置に発生する。このように発生した大きな不要光は、撮影画像に悪影響を及ぼす。

ここで、回折格子の各輪帯ピッチの影響により、円弧状の大きな不要光が発生する原理を説明する。図４に、回折レンズ２０２に形成された回折格子の輪帯を物体側からみた場合の模式図を示す。図４に示すように、回折格子３０１が設けられた回折レンズにおいて、回折輪帯３０２のそれぞれは、同心円状に配置される段差面にはさまれている。

このため、隣り合った２つの回折輪帯３０２のそれぞれを透過する光は、回折輪帯３０２の幅（輪帯ピッチＰ）のスリットを透過する光とみなすことができる。一般に、輪帯ピッチＰを小さくすることにより、回折レンズは収差を良好に補正できる。しかし、回折輪帯３０２の幅が小さくなると、回折レンズを透過する光は、同心円状に配置された非常に狭い幅のスリットを通過する光とみなすことができる。このような場合、段差面の近傍において、光の波面の回りこみ現象が見られるようになる。

図５に、回折格子３０１によって光が回折する様子を模式的に示す。一般に、非常に狭い幅Ｐのスリットを透過した光は、無限遠の観測点において回折縞を形成する。これをフラウンホーファー回折という。この回折現象は、正の焦点距離を有するレンズ系を含むことによって、有限距離（例えば焦点面）でも発生する。

本願発明者は、回折輪帯３０２の幅が小さくなると、各輪帯を透過した光が互いに干渉しあうことにより、図５に示すような、同心円状に広がる縞状フレア光３０５が発生することを実レンズによる画像評価で確認した。また、光軸に対して斜めに入射し、回折輪帯の一部分のみを通過する光によって、図２Ａ又は図２Ｂに示すような、円弧状フレア光が発生することがあることを、実レンズによる画像評価で確認した。また、不要次数回折光は特定の波長に対しては発生しないが、円弧状フレア光は設計波長を含め使用波長帯全域で発生することが、詳細な検討により明らかになった。

図６に、蛍光灯を想定して模擬的に作成した光源を示す。図７Ａ及び図７Ｂに、回折光学素子を含む光学系を介して光源を撮影した撮影画像の一例を示す。図７Ａ及び図７Ｂの撮影画像は、図６に示す長方形で輝度が均一な光源を、図１の光学系で撮影することにより得られる画像である。また、図７Ａ及び図７Ｂの撮影画像は、画角４５度付近に撮像される蛍光灯の像である。なお、図７Ａ及び図７Ｂは、図２ＡのＰＳＦと、図６の被写体画像とを、畳込み積分することにより実際の撮像画像を模擬的に作成した画像である。

図７Ａは、撮影画像の輝度飽和レベルを１．０とした場合に、光源像の最大輝度が０．７となるように作成された撮影画像を示す図である。また、図７Ｂは、撮影画像の輝度飽和レベルを１．０とした場合に、光源像の最大輝度が３．０となるように作成された撮影画像を示す図である。

図７Ｂでは、撮像面２０９において輝度が１．０を超える画像位置で、撮影画像の輝度が飽和している。図８Ａ及び図８Ｂに、図７Ａ及び図７Ｂそれぞれの撮影画像の中心付近の画像水平方向の輝度推移を示す。図８Ａ及び図８Ｂでは、いずれも縦軸は輝度を表わし、横軸は画像位置を表わす。

図７Ａ〜図８Ｂから分かるように、光源像の最大輝度が大きくなるほど、光源像の光軸方向（画像の左方向）の画像位置に二重像のような不要光も大きくなる。図７Ａでは目立たない不要光が、図７Ｂでは視認できる輝度になり、撮影画像に悪影響を及ぼすことが分かる。この二重像のような不要光は、図２ＡのＰＳＦに生じている、本願発明者が見出した円弧状フレアに相当する。

本発明の一態様に係る画像処理装置は、回折光学素子を含む光学系を介して撮影された撮影画像において輝度が飽和している場合であっても、図７Ｂ及び図８Ｂに示したような、不要光の成分を低減することを目的とする。特に、本発明の実施の形態に係る画像処理装置は、本願発明者が見出した円弧状フレアの特徴である、光源像の光軸側に大きな不要光が発生するという特徴を利用して、撮影画像から不要光の成分を低減する。

具体的には、輝度の大きな不要光となる円弧状フレアの発生位置を撮影画像中で設定し、その位置での輝度を用いて不要光を推定し低減することにより、撮影画像から不要光を低減する。円弧状フレアは、光学構造や画像位置によっては不要次数回折光の５倍や１０倍程度の輝度の大きな不要光となる。このため、本発明を用いることにより、不要次数回折光のみを除去する画像処理方法に比べて、適切に不要光を低減することが可能となる。更に、撮影画像中の白色ノイズ等のノイズ輝度の大きさに対する、円弧状フレアの輝度の大きさの比率は、ノイズ輝度に対する不要次数回折光の比率よりも大きくなる。光学構造や画像位置によっては不要次数回折光の場合の５倍や１０倍程度比率が大きくなる。したがって、特定の位置での輝度を用いて不要光を推定した場合に、不要次数回折光のみを推定して不要光を除去する従来の画像処理方法に比べて、ノイズ輝度の影響が少ない高い精度での不要光の推定が可能であり、撮影画像に含まれる不要光の成分を適切に低減することができる。

本発明の一態様に係る画像処理装置は、画像中の特定位置の輝度に限定して不要光を推定するため、少ない演算量で不要光を推定することが可能である。

以下で好適な実施の形態を説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、本発明の一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲の記載に基づいて特定される。したがって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素は、本発明の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。

（実施の形態１）
以下、本発明の実施の形態１について図面を参照しながら説明する。

図９は、本発明の実施の形態１における撮像装置の機能構成を示すブロック図である。本実施の形態における撮像装置は、撮像部１と、画像処理装置２とを備える。

撮像部１は、回折光学素子を含む光学系を介してＣＣＤやＣＭＯＳなどの撮像素子に被写体像を取込むことにより、撮影画像Ｉｒ（ｘ，ｙ）を作成する。ｘ及びｙは、画像中の垂直方向及び水平方向の位置を表す。

画像処理装置２は、回折光学素子を含む光学系を介して撮影された撮影画像から不要光の成分を低減する。なお、不要光の成分とは、不要光によって形成される像（不要光像）の輝度を示す。

図９に示すように、画像処理装置２は、フレア像推定部５と不要光減算部６とを備える。

フレア像推定部５は、撮影画像Ｉｒに含まれる不要光の分布を推定することにより推定フレア像Ｉｆ（ｘ，ｙ）を作成する。不要光減算部６は、撮影画像Ｉｒから推定フレア像Ｉｆを減算することにより、不要光の成分が低減された出力画像Ｉｏ（ｘ，ｙ）を出力する。

フレア像推定部５は、輝度飽和位置検出部１０と、フレアモデル作成部１１と、フレア位置設定部１２と、フレアモデル輝度調整部１３とを有する。

輝度飽和位置検出部１０は、撮影画像Ｉｒで輝度値が所定の値Ｉｓａより大きな画像位置を輝度飽和位置として検出する。所定の値Ｉｓａは、輝度レベルを、黒が０、白が１．０と表現した場合、例えば０．９８と設定されればよい。つまり、所定の値Ｉｓａは、被写体が明るすぎて、撮影画像Ｉｒの輝度レベルが実質的に飽和していると判断される値が設定される。

そして、輝度飽和位置検出部１０は、このように検出された輝度飽和位置を示す光源画像を作成する。具体的には、輝度飽和位置検出部１０は、例えば、輝度飽和位置の輝度値を輝度の上限値に設定し、輝度飽和位置以外の画像位置の輝度値を輝度の下限値に設定することにより、光源画像を作成する。

図１０に、図７Ｂに示す撮影画像Ｉｒにおいて、輝度飽和位置検出部１０が検出した輝度飽和位置を示す。図１０に示す光源画像では、輝度飽和した画像位置の輝度値は１．０と表現され、その他の画像位置の輝度値は０と表現されている。図１０の光源画像は、図７Ｂと同様に、画角４５度付近の画像である。図１０の光源画像において、画像中心から左方向が光軸方向である。

この輝度飽和位置検出部１０が検出した図１０の輝度飽和位置を示す画像である光源画像Ｉｓ（ｘ，ｙ）を用いて推定フレア像Ｉｆが作成される。輝度飽和位置は、被写体が明るく写っている部分である。したがって、輝度飽和位置を光源と仮定して推定フレア像を作成するための計算に用いても妥当性を逸しない。

次にフレアモデル作成部１１の処理を説明する。フレアモデル作成部１１は、光源画像と光学系の光学特性データとに基づきフレアモデル画像を作成する。フレアモデル作成部１１は、フーリエ変換部１５と、ＯＴＦ作成部１６と、積算部１７と、逆フーリエ変換部１８とを有する。

フーリエ変換部１５は、光源画像ＩｓをＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などによりフーリエ変換し、複素数データである光源周波数データＦｓ（ｕ，ｖ）を出力する。ｕ及びｖは、各複素数データの垂直方向及び水平方向の格納アドレスを表し、各格納アドレスがそれぞれ異なる周波数に対応する。図１１Ａに、図１０の光源画像Ｉｓをフーリエ変換した光源周波数データＦｓの振幅スペクトルを示す。

ＯＴＦ作成部１６は、光源画像Ｉｓの画像位置に応じて、ＰＳＦをフーリエ変換したＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）データＦｏ（ｕ，ｖ）を準備する。ＯＴＦデータは、像高毎にあらかじめ保持しておいたＰＳＦを、光源画像Ｉｓの画像位置に応じて抽出及び回転し、フーリエ変換することにより作成されればよい。また、ＯＴＦデータは、画像位置毎にあらかじめメモリに保持されていてもよい。図１１Ｂに図２ＡのＰＳＦをフーリエ変換したＯＴＦデータＦｏの振幅スペクトルを示す。

積算部１７は、光源周波数データＦｓとＯＴＦデータＦｏとの各周波数要素の複素数を積算し、フレアモデル周波数データＦｆｍ（ｕ，ｖ）を作成する。つまり、積算部１７は、周波数ごとに、光源周波数データＦｓとＯＴＦデータＦｏとの積を算出することにより、フレアモデル周波数データＦｆｍ（ｕ，ｖ）を作成する。図１１Ｃに、フレアモデル周波数データＦｆｍの振幅スペクトルを示す。

ＰＳＦで表現される、光学系に起因するぼけにより、図１１Ａの光源周波数データＦｓに比較して、図１１Ｃのフレアモデル周波数データＦｆｍは、高周波域の振幅が低減している。なお、図１１Ａ及び図１１Ｃにおいて、振幅スペクトルの明るさは、見やすくするために、実際の値に同一のゲインをかけて調整されている。

逆フーリエ変換部１８は、フレアモデル周波数データＦｆｍを逆フーリエ変換し、フレアモデル画像Ｉｆｍ’（ｘ，ｙ）を作成する。図１２にフレアモデル画像Ｉｆｍ’を示す。更に、逆フーリエ変換部１８は、フレアモデル画像Ｉｆｍ’のうち、撮影画像Ｉｒの輝度飽和位置（光源）の輝度を０に変更することにより、フレアモデル画像Ｉｆｍを作成する。このフレアモデル画像Ｉｆｍは、フレアモデル画像Ｉｆｍ’のうち不要光成分のみを残した画像に相当する。図１３にフレアモデル画像Ｉｆｍを示す。

このように、フレアモデル作成部１１は、回折格子に起因する不要光成分を含んだフレアモデル画像Ｉｆｍを推定する。撮影画像Ｉｒの輝度飽和部（光源）の輝度が飽和している場合、輝度飽和部の実際の輝度が分からない。そのため、不要光成分の輝度値の絶対値は不明である。そこで、フレアモデル作成部１１は、不要光成分の相対輝度分布を推定することによりフレアモデル画像Ｉｆｍを作成する。

なお、光源画像Ｉｓ中の光源の画像位置（輝度が１の画像位置）が画像端に近い場合は、フレアモデル画像Ｉｆｍ中の不要光成分が、光源画像Ｉｓの画像サイズの外側にも発生する可能性がある。そのため、フレアモデル作成部１１は、光源画像Ｉｓの画像サイズを、輝度が０の画像領域を周辺部に追加して拡大するなど、適切に画像サイズを調整して演算を行う。

また、フレアモデル作成部１１は、周波数領域上での演算を行っているが、空間領域上で畳込み積分演算により上述した周波数領域上での演算と等価な演算を行ってもよい。つまり、フレアモデル作成部１１は、光源画像ＩｓとＰＳＦとを畳込み積分演算することにより、フレアモデル画像Ｉｆｍ’を作成してもよい。この場合、フレアモデル作成部１１は、フーリエ変換部１５、ＯＴＦ作成部１６、積算部１７、及び逆フーリエ変換部１８を有する必要はない。なお、本実施の形態では、フレアモデル作成部１１は、演算時間の優位性の観点から、周波数領域上での演算を行っている。

次に、フレア位置設定部１２は、回折格子を含む光学系を用いて画像を撮影した場合に、光源位置の光軸側に局所的に大きな不要光が発生することに基づいて、局所的に不要光が大きくなることがあらかじめ分かっているフレア位置（ｘｆ，ｙｆ）を、輝度飽和位置検出部１０で検出済みの輝度飽和位置を用いて設定する。つまり、フレア位置設定部１２は、輝度飽和位置から撮影画像上の略光軸方向の画像位置であって輝度飽和位置近傍の予め定められた画像位置をフレア位置として設定する。

本実施の形態では、このフレア位置は、光学系の光学特性データの一例であるＰＳＦにおいて不要光が多い位置として予め定められた位置と対応する画像位置である。具体的には、フレア位置は、輝度飽和位置から撮影画像上の略光軸方向に、ＰＳＦにおいて不要光が多い位置として予め定められた位置により特定される距離だけ離れた画像位置である。なお、ＰＳＦにおいて不要光が多い位置として予め定められた位置は、例えば、最も輝度が高い位置の近傍にある、不要光の輝度値のピーク位置である。

図１４に、本発明の実施の形態１の光学系の画角４５度付近におけるＰＳＦを示す。なお、図１４に示すＰＳＦでは、輝度分布を見やすくするために輝度が調整されている（図２Ｂと同一のＰＳＦ）。また、図１４に示すＰＳＦでは、垂直方向及び水平方向の画素数がそれぞれ２５６画素である。

ＰＳＦの輝度が最も大きな画像位置から、光軸方向（画像中心から左方向）に１６画素程度離れた領域（図１４の点線で囲まれた領域）に、光学系に含まれる回折格子に起因する大きな不要光が発生している。

図１５Ａ及び図１５Ｂに、このＰＳＦを光学特性データとして持つ光学系を介して撮影される被写体を示す。図１５Ａに第１被写体を示し、図１５Ｂに第２被写体を示す。

第１被写体は、矩形の光源（例えば蛍光灯）を想定して模式的に作成された被写体である。また、第２被写体は、円形の光源を想定して模式的に作成された被写体である。なお、図１５Ａの被写体は図６の被写体と同一である。

図１６Ａ及び図１６Ｂに、図１５Ａ及び図１５Ｂのそれぞれの被写体の撮影画像Ｉｒを示す。図１６Ａ及び図１６Ｂの撮影画像では、全領域でＰＳＦは大きく変動しないと仮定する。

図１６Ａ及び図１６Ｂの撮影画像は、図２ＡのＰＳＦと図１５Ａ及び図１５Ｂそれぞれの被写体との畳込み積分を行うことにより模擬的に作成された画像である。なお、被写体が明るいため、被写体が写っている画像位置では輝度が飽和している。また、輝度が飽和している画像位置の光軸側（画像中心から左方向）には、おおきな不要光が発生している。

図１７Ａ及び図１７Ｂに、図１６Ａ及び図１６Ｂのそれぞれの撮影画像Ｉｒの画像中心付近の水平方向の輝度の推移を示す。図１７Ａ及び図１７Ｂより、いずれの被写体でも、飽和した画像位置から光軸方向に１６画素程度離れた位置（図１７Ａ及び図１７Ｂ中の矢印の位置）で大きな不要光が生じている。

不要光の輝度値のピーク位置は、撮影画像中での光源の幅が大きいほど、輝度が飽和した画像位置に近づく傾向がある。しかし、ＰＳＦにおいて大きな不要光が発生する、光源から光軸方向に１６画素程度離れた画像位置では、撮影画像においても、不要光のピーク位置からは多少ずれる場合があるものの、被写体によらず常に撮影画像に大きな不要光が生じる。

したがって、フレア位置設定部１２は、あらかじめ大きな不要光が発生すると分かっている位置である、輝度飽和位置から光軸方向にフレア距離Ｄｆの画像位置を、フレア位置（ｘｆ，ｙｆ）として設定する。つまり、フレア位置設定部１２は、輝度飽和位置から撮影画像上の略光軸方向に予め定められた距離（フレア距離Ｄｆ）離れた位置をフレア位置として設定する。

ここではフレア距離Ｄｆは、ＰＳＦにおける光源位置から不要光の輝度値のピーク位置までの距離である１６画素と予め設定されている。なお、フレア距離Ｄｆは、前述したように光源の幅が大きな被写体ほど不要光のピーク位置が光源の画像位置に近づくことを考慮して、ＰＳＦでの光源位置から不要光の輝度値のピーク位置までの距離より少し小さめ（例えば１３画素など）に設定されてもよい。その際は、不要光のピーク位置は、想定される被写体を用いた実験やシミュレーションから試行錯誤的に求めればよい。

フレアモデル輝度調整部１３は、フレア位置（ｘｆ，ｙｆ）における、撮影画像の輝度Ｉｒ（ｘｆ，ｙｆ）とフレアモデル画像の輝度Ｉｆｍ（ｘｆ，ｙｆ）との関係性に基づいて、フレアモデル画像Ｉｆｍの輝度値を調整することにより、推定フレア像Ｉｆ（ｘ，ｙ）を作成する。具体的には、フレアモデル輝度調整部１３は、フレア位置（ｘｆ，ｙｆ）での推定フレア像Ｉｆの輝度が、フレア位置（ｘｆ，ｙｆ）での撮影画像の輝度Ｉｒ（ｘｆ，ｙｆ）のＮｆ倍（Ｎｆ＜１）となるように、フレアモデル画像Ｉｆｍをゲイン調整し、推定フレア像Ｉｆを作成する。より具体的には、フレアモデル作成部１１は、例えば式（２）によって推定フレア像Ｉｆを作成する。

つまり、本実施の形態では、フレア位置における撮影画像の輝度値とフレア位置におけるフレアモデル画像の輝度値との関係性とは、撮影画像の輝度値とフレアモデル画像の輝度値との比に対応する。すなわち、本実施の形態では、フレアモデル輝度調整部１３は、フレア位置における撮影画像の輝度値とフレア位置におけるフレアモデル画像の輝度値との比を用いて、フレアモデル画像の輝度をゲイン調整する。

不要光減算部６は、こうして求められた推定フレア像Ｉｆを、撮影画像Ｉｒから減算することにより、不要光の成分が低減された出力画像Ｉｏを得る。図１８Ａに、第１被写体が撮影された撮影画像から不要光の成分が低減された出力画像Ｉｏを示す。また、図１８Ｂに、第２被写体が撮影された撮影画像から不要光の成分が低減された出力画像Ｉｏを示す。ここではＮｆ＝０．８に設定している。

図１９Ａ及び図１９Ｂに、図１８Ａ又は図１８Ｂに示す出力画像Ｉｏの画像中心付近における画像水平方向の輝度推移を示す。図１９Ａ及び図１９Ｂにおいて、実線が出力画像Ｉｏの輝度推移を示し、点線が撮影画像Ｉｒの輝度推移を示す。第１被写体及び第２被写体は互いに幅が異なる。しかし、いずれの被写体においても、不要光が大幅に低減されている。

図２０Ａ及び図２０Ｂに、推定フレア像Ｉｆの輝度推移を示す。実線が推定フレア像Ｉｆの輝度推移、点線が撮影画像Ｉｒの輝度推移を示す。ここでは、Ｎｆ＝０．８であるので、矢印で指し示すフレア位置における推定フレア像の輝度Ｉｆ（ｘｆ，ｙｆ）が、撮影画像の輝度Ｉｒ（ｘｆ，ｙｆ）の０．８倍となっている。

なお、撮影画像Ｉｒに含まれる実際の不要光の輝度分布と、推定フレア像Ｉｆの輝度分布とは、実際の光源形状と本実施の形態で光源と仮定している飽和輝度位置の形状が若干異なるため、厳密には一致しない。したがって、Ｎｆを１．０とすると、実際の不要光の輝度分布と推定フレア像の輝度分布とが異なることにより、過剰な不要光の補正となる領域が発生する。そのため、ＮｆはＮｆ＜１．０とすることが望ましい。

撮影環境により実際の不要光の輝度分布と推定フレア像の輝度分布との違いの大きさは異なるので、過剰補正のリスクを考慮して、Ｎｆは０．２〜０．８程度に設定しておくことが好ましい。つまり、フレアモデル輝度調整部１３は、フレア位置における推定フレア像の輝度値が、フレア位置における撮影画像の輝度値の０．２倍から０．８倍の範囲となるように、フレアモデル画像の輝度をゲイン調整することが好ましい。Ｎｆが小さくなるほど、不要光の低減効果は小さくなるが、上記の設定範囲であれば撮影画像と比較すると大幅に不要光は低減される。

以上のように、本実施の形態における画像処理装置又は撮像装置によれば、回折格子特有の不要光が大きくなる画像位置において、撮影画像の輝度値とフレアモデル画像の輝度値とを比較することにより、フレアモデル画像の輝度を適切にゲイン調整することができるので、推定フレア像を高精度に作成することが可能となる。このように作成された推定フレア像を撮影画像から減算することにより、撮影画像の輝度が飽和している場合であっても、１回の撮影で得られた撮影画像から適切に不要光を低減することが可能となる。

つまり、本実施の形態における画像処理装置又は撮像装置によれば、本願発明者が見出した回折光学素子を含む光学系において発生する円弧状の大きな不要光の成分を撮影画像から低減することができる。円弧状の大きな不要光は、回折光学素子を含む光学系の光学特性に依存するが、光学系の光学特性が変化しなければ、被写体が変わっても、撮影画像において高い輝度を示す画像位置から不要光が発生する画像位置までの距離は大きくは変化しない。したがって、光学系のＰＳＦにおいて大きな不要光が発生している位置に対応する画像位置であるフレア位置の輝度値に基づいて、フレアモデル画像の輝度をゲイン調整することにより、撮影画像の輝度が飽和している場合であっても、不要光の像を高精度に推定することが可能となる。

なお、本実施の形態では、撮影画像Ｉｒの画角４５度付近の不要光低減処理についてのみ説明を行ったが、実際の画像全体の処理を行う際には、画像処理装置２は、例えば画像を正方形のブロックに分割し、ブロック毎に上述した画像処理を行えばよい。この際のブロックサイズは、高速なＦＦＴの演算を適用できるように、例えば垂直方向及び水平方向の画素数を各６４画素などの２の階乗の大きさとすれば、高速な演算が可能となる。または、フレア像推定部５は、ブロック毎に推定フレア像Ｉｆを求め、不要光減算部６は、最後に画像全体でまとめて不要光減算処理を行ってもよい。

このとき、画像処理装置２は、各ブロック内部ではＰＳＦが大きく変動しないと仮定し、ＯＴＦデータＦｏを各ブロック毎に準備しメモリに保存しておけば、高速に画像処理の演算を行うことが可能となる。更には、輝度飽和位置検出部１０は、輝度飽和位置が存在しなかったブロックでは、不要光を低減する必要がないため、不要な演算をしないようにすれば、更に高速に画像処理の演算を行うことが可能となる。

なお、各ブロック毎でＰＳＦが異なるため、フレア位置（ｘｆ，ｙｆ）を設定する際に用いるフレア距離Ｄｆは、ブロック毎に、当該ブロックのＰＳＦの円弧状フレアに対応させて設定されることは言うまでもない。フレア距離Ｄｆは、予め撮像装置の工場出荷時点でブロック毎もしくは画像位置毎に予め設定されてもよいし、撮影の都度ＰＳＦから円弧状フレアの位置を検出して求められてもよい。

図２１に、本発明の実施の形態１における撮像装置の動作を示すフローチャートの一例を示す。具体的には、図２１は、ブロックごとに推定フレア像を作成する処理の流れを示すフローチャートである。

撮像ステップＳ１０１において、撮像部１は、撮影画像Ｉｒを作成する。不要光低減ステップＳ１０２において、画像処理装置２は、撮影画像Ｉｒから不要光を低減した出力画像Ｉｏを出力する。

不要光低減ステップＳ１０２中の、ブロック分割ステップＳ１０９では、画像処理装置２は、撮影画像Ｉｒを、垂直方向及び水平方向の画素が６４画素の正方形のブロックなど、ＰＳＦが大きく変わらない範囲でブロック分割する。フレア像推定ステップＳ１０５では、フレア像推定部５は、ブロック毎に、推定フレア像Ｉｆを作成する。

フレア像推定ステップＳ１０５中の輝度飽和位置検出ステップＳ１１０では、輝度飽和位置検出部１０は、撮影画像Ｉｒ中の１つブロックについて、輝度が飽和した画像位置を検出し、光源画像Ｉｓを作成する。フレアモデル作成ステップＳ１１１では、フレアモデル作成部１１は、フレアモデルを作成する。

具体的には、フーリエ変換ステップＳ１１５では、フーリエ変換部１５は、光源画像Ｉｓをフーリエ変換して光源周波数データＦｓを作成する。ＯＴＦ作成ステップＳ１１６では、ＯＴＦ作成部１６は、ＯＴＦデータＦｏを作成する。積算ステップＳ１１７では、積算部１７は、光源周波数データＦｓとＯＴＦデータＦｏを積算することにより、フレアモデル周波数データＦｆｍを作成する。さらに、逆フーリエ変換ステップＳ１１８では、逆フーリエ変換部１８は、フレアモデル周波数データＦｆｍを逆フーリエ変換し、フレアモデル画像Ｉｆｍを作成する。

フレア位置設定ステップＳ１１２では、フレア位置設定部１２は、フレア位置（ｘｆ，ｙｆ）を設定する。フレアモデル輝度調整ステップＳ１１３では、フレアモデル輝度調整部１３は、式（２）に基づき推定フレア像Ｉｆを作成する。なお、フレアモデル作成ステップＳ１１１の前にフレア位置設定ステップＳ１１２が行われてもよい。また、フレアモデル作成ステップＳ１１１と、フレア位置設定ステップＳ１１２とは並列に処理されてもよい。

推定フレア像保存ステップＳ１１４では、フレア像推定部５は、作成した推定フレア像Ｉｆを、計算を行ったブロックの推定フレア像としてメモリなどに保存する。なお、輝度飽和位置検出ステップＳ１１０で、ブロック中に輝度飽和位置が存在しなかった場合は、画像処理装置２は、そのステップＳ１１０以降のステップＳ１１４までのステップの処理を省略し、そのブロックでのフレアモデル画像Ｉｆｍは作成済み（不要光成分が０）として、ステップＳ１２０に進んでもよい。

ステップＳ１２０において、まだ推定フレア像Ｉｆの作成処理を行っていないブロックがあると判定された場合は、計算ブロック移動ステップＳ１２１では、画像処理装置２は、ブロック位置を移動し、移動後のブロックで推定フレア像Ｉｆを作成する。ステップＳ１２０において、すべてのブロックでの推定フレア像Ｉｆの作成処理が終わったと判定された場合は、不要光減算ステップＳ１０６では、不要光減算部６は、全ブロックの推定フレア像Ｉｆを、撮影画像Ｉｒから減算し、出力画像Ｉｏを作成する。

なお、逆フーリエ変換部１８は、フレアモデル画像Ｉｆｍ’のうち、撮影画像Ｉｒの輝度飽和位置（光源）の輝度を０に変更することにより、フレアモデル画像のうち不要光成分のみが残されたフレアモデル画像Ｉｆｍを作成している。しかし、逆フーリエ変換部１８は、必ずしもフレアモデル画像Ｉｆｍ’のうち撮影画像Ｉｒの輝度飽和位置（光源）の輝度を０にする必要はない。この処理は、撮影画像Ｉｒの輝度飽和位置は不要光の減算をしないことを意味している。したがって、逆フーリエ変換部１８は、フレアモデル画像Ｉｆｍ’のうち撮影画像Ｉｒの輝度飽和位置（光源）の輝度を０に変更せずに、不要光減算部６が、撮影画像Ｉｒの輝度飽和位置（光源）では、推定フレア像Ｉｆを減算しないようにしてもよい。この場合、Ｉｆｍ＝Ｉｆｍ’となる。つまり、画像処理装置２は、結果的に撮影画像Ｉｒの輝度飽和位置では、不要光の減算がされない構成となっていればよい。

なお、逆フーリエ変換部１８は、フレアモデル画像Ｉｆｍ’のうち、撮影画像Ｉｒの輝度飽和位置の輝度を０に変更することにより、輝度飽和位置では不要光の減算を行わないようにしているが、更に撮影画像Ｉｒの輝度飽和位置の周辺領域の数画素の幅についても不要光の減算を行わないようにしてもよい。つまり、不要光減算部６は、輝度飽和位置と隣接する所定の画素数幅の画像位置では、撮影画像から推定フレア像を減算しないようにしてもよい。すなわち、不要光減算部６は、撮影画像のうち、輝度飽和位置から所定の画素数より離れた画像位置だけ、撮影画像から推定フレア像を減算してもよい。

これは、撮影画像Ｉｒの輝度飽和位置を光源と仮定しているが、この仮定した光源形状より実際の光源形状が小さい場合があるからである。そして、このような場合には、輝度飽和位置の周辺部では、推定フレア像Ｉｆの輝度が実際より大きくなり、不要光の低減が過剰になる場合があるためである。画像処理装置２は、撮影画像Ｉｒの輝度飽和位置の全周囲の数画素の幅（例えば１〜３画素）についても不要光の減算を行わないことにより、不要光の過剰補正を回避してより自然な出力画像を得ることができる。本実施の形態においては、輝度飽和位置の全周囲の２画素の幅については不要光の減算を行わないようにしている。

また、実際の光源形状と、推定した光源形状とが異なることに起因した過剰な不要光低減を回避するための別の方法として、輝度飽和位置検出部１０は、輝度飽和位置から推定した光源形状の周辺部をシュリンクすることにより外形を小さくした光源画像を新たな光源画像Ｉｓとして作成してもよい。詳細は、実施の形態２において説明するのでここでは省略する。

なお、本実施の形態では白黒画像での不要光低減の方法を説明したが、上述した不要光低減の方法は、カラー画像にも適用できることは言うまでもない。撮影画像がカラー画像の場合は、画像処理装置２は、Ｒ（赤）・Ｇ（緑）・Ｂ（青）いずれかの色に対して推定フレア像Ｉｆを作成し、別途算出しておいたＲ・Ｇ・Ｂの色毎の不要光の比率に応じて、その推定フレア像Ｉｆを色毎にゲイン調整すればよい。例えば、フレア像推定部５は、Ｇの推定フレア像Ｉｆ＿ｇを作成する。このとき、不要光の比率がＲ・Ｇ・Ｂでおおよそ０．８：１．０：０．６であると予め定められている場合は、フレア像推定部５は、Ｒ及びＢの推定フレア像をそれぞれ０．８＊Ｉｆ＿ｇ及び０．６＊Ｉｆ＿ｇとして作成する。そして、不要光減算部６は、撮影画像ＩｒのＲ・Ｇ・Ｂそれぞれの色の画像から、Ｒ・Ｇ・Ｂそれぞれの色の推定フレア像を減算すればよい。なお、フレア像推定部５は、Ｒ・Ｇ・Ｂの色毎に、推定フレア像を個別に求めてもよいが、この場合はＲ・Ｇ・Ｂの色毎にＰＳＦを用意する必要があり、また、演算時間も増大する。したがって、フレア像推定部５は、上記のようにＲ・Ｇ・Ｂのうちいずれかの色の推定フレア像からＲ・Ｇ・Ｂのうちの他の色の推定フレア像を作成することにより、メモリ量の増大、あるいは演算時間の増大を抑制することができる。

なお、図１４及び図２ＡのＰＳＦの取得方法については、撮像部１の光学系を用いて点光源を実際に撮影することにより円弧状の不要光を含むＰＳＦを取得すればよい。または、光学系の構造をシミュレーションして円弧状の不要光を含むＰＳＦを取得してもよい。

（実施の形態２）
以下、本発明の実施の形態２について図面を参照しながら説明する。本実施の形態における撮像装置の構成は、図９と同様である。ただし、本実施の形態では、フレア位置設定部１２とフレアモデル輝度調整部１３との処理が実施の形態１と異なる。したがって、フレア位置設定部１２とフレアモデル輝度調整部１３との処理の説明を中心に以下で説明を行い、その他の処理は実施の形態１と同様であるため詳しい説明を省略する。

図２２Ａ及び図２２Ｂに、本実施の形態で用いる撮影画像Ｉｒ（ｘ，ｙ）を示す。図２２Ａ及び図２２Ｂの撮影画像は、図２ＡのＰＳＦと図１５Ａ及び図１５Ｂの被写体から模擬的に作成されている。図２２Ａに、第１被写体の撮影画像Ｉｒを示し、図２２Ｂに第２被写体の撮影画像Ｉｒを示す。

第１被写体は、矩形の光源（例えば蛍光灯）を想定して模式的に作成された被写体である。また、第２被写体は、円形の光源を想定して模式的に作成された被写体である。

図２３Ａ及び図２３Ｂに、図２２Ａ及び図２２Ｂの被写体１及び被写体２の撮影画像Ｉｒの画像中心付近の画像水平方向の輝度推移を示す。図２２Ａ及び図２２Ｂ、図２３Ａ及び図２３Ｂでは、矩形の光源及び円形の光源の背景の像が０．２程度の輝度を持つ。本実施の形態における画像処理装置２は、光源の背景に壁などがあり、背景像が輝度を有する場合であっても、光源の不要光を適切に低減することができる。ここでも、図２２Ａ及び図２２Ｂの撮影画像は、画角４５度付近に第１被写体及び第２被写体が撮影された画像である。

本実施の形態のフレア位置設定部１２は、回折格子を含む光学系において局所的に大きな不要光が発生する画像位置であるフレア位置を光学系の光学特性データに基づいて設定する。具体的には、フレア位置設定部１２は、第１フレア位置（ｘｆ１，ｙｆ１）と第２フレア位置（ｘｆ２，ｙｆ２）とを輝度飽和位置に基づいて設定する。

ここで、第１フレア位置（ｘｆ１，ｙｆ１）は、局所的に不要光が大きくなることがＰＳＦにおいてあらかじめ分かっている画像位置である。また、第２フレア位置（ｘｆ２，ｙｆ２）は、不要光が小さくなることがＰＳＦにおいてあらかじめ分かっている画像位置である。つまり、フレア位置設定部１２は、輝度飽和位置に対応するＰＳＦにおいて不要光が多い位置として予め定められた第１位置に対応する輝度飽和位置近傍の画像位置と、当該ＰＳＦにおいて第１位置よりも不要光が少ない位置として予め定められた第２位置に対応する画像位置とを、フレア位置として設定する。

図２４に、本発明の実施の形態２の光学系の画角４５度付近におけるＰＳＦを示す（図２Ｂと同一のＰＳＦ）。図２２Ａ及び図２２Ｂの撮影画像の画像位置では、全領域でＰＳＦは大きく変動しないものとする。図２４に示すＰＳＦでは、垂直方向及び水平方向の画素数がそれぞれ２５６画素である。

ＰＳＦの輝度が最も大きな画像位置から、光軸方向に１６画素程度離れた領域（図２４の点線で囲まれた領域のうちの右側の領域）に、光学系に含まれる回折格子に起因する大きな不要光が発生している。また、輝度が最も大きな画像位置から、光軸方向に３０画素程度離れた領域（図２４の点線で囲まれた領域のうちの左側の領域）では、不要光が大幅に小さくなる領域が発生している。回折格子を含む光学系のＰＳＦでは、このように輝度が最も大きな画像位置から光軸方向に、不要光の大きさが急激に変化する領域が生じる。

したがって、フレア位置設定部１２は、撮影画像Ｉｒの輝度飽和位置から、光軸方向にフレア距離Ｄｆ１離れた不要光の大きい画像位置を第１フレア位置（ｘｆ１，ｙｆ１）として設定する。また、フレア位置設定部１２は、光軸方向にフレア距離Ｄｆ２離れた不要光の小さい画像位置を第２フレア位置（ｘｆ２，ｙｆ２）として設定する。

ここではフレア距離Ｄｆ１は１３画素に設定されており、フレア距離Ｄｆ２は３０画素に設定されている。フレア距離Ｄｆ２は、不要光が小さな画像位置に設定されればよいので、３０画素より大きな値が設定されてもよい。

図２３Ａ及び図２３Ｂから分かるように、被写体が変わっても、フレア距離Ｄｆ１の画像位置では大きな不要光が発生し、フレア距離Ｄｆ２の画像位置では、フレア距離Ｄｆ１の画像位置に比較して大幅に小さな不要光しか発生していない。

次に、本実施の形態のフレアモデル輝度調整部１３は、フレア位置設定部１２が設定した第１フレア位置及び第２フレア位置のそれぞれにおける撮影画像Ｉｒの輝度及びフレアモデル画像Ｉｆｍの輝度を利用して、フレアモデル画像Ｉｆｍの輝度を調整することにより、推定フレア像Ｉｆ（ｘ，ｙ）を作成する。

具体的には、フレアモデル輝度調整部１３は、推定フレア像Ｉｆにおける第１フレア位置（ｘｆ１，ｙｆ１）の輝度値と第２フレア位置（ｘｆ２，ｙｆ２）輝度値との差分値が、撮影画像Ｉｒにおける第１フレア位置（ｘｆ１，ｙｆ１）の輝度値と第２フレア位置（ｘｆ２，ｙｆ２）の輝度値との差分値のＮｆ倍（Ｎｆ＜１）となるように、フレアモデル画像Ｉｆｍの輝度をゲイン調整し、推定フレア像Ｉｆを作成する。つまり、フレアモデル輝度調整部１３は、光源による不要光が大きな画像位置の輝度と、不要光が小さな画像位置の輝度との差分を用いてフレアモデル画像の輝度をゲイン調整することにより、背景の輝度に影響されずに不要光の大きさを推定することが可能となる。

不要光減算部６は、このように作成された推定フレア像Ｉｆを撮影画像から減算する。これにより、画像処理装置２は、背景に輝度を持つ被写体が撮影された撮影画像から、適切に不要光の輝度分布のみを低減することが可能となる。

具体的にはフレア像推定部５は、以下の式（３）、式（４）及び式（５）によって推定フレア像Ｉｆを作成する。まず、フレアモデル輝度調整部１３は、撮影画像Ｉｒにおいて、第１フレア位置の輝度であるＩｒ（ｘｆ１，ｙｆ１）と、第２フレア位置の輝度であるＩｒ（ｘｆ２，ｙｆ２）との差分Ｍｒを式（３）から求める。

更に、フレアモデル輝度調整部１３は、フレアモデル作成部１１で作成されたフレアモデル画像Ｉｆｍにおいて、第１フレア位置の輝度であるＩｆｍ（ｘｆ１，ｙｆ１）と、第２フレア位置の輝度であるＩｆｍ（ｘｆ２，ｙｆ２）との差分Ｍｆｍを式（４）から求める。

フレアモデル輝度調整部１３は、こうして求めた撮影画像Ｉｒの差分Ｍｒと、フレアモデル画像Ｉｆｍの差分Ｍｆｍとを用いて、式（５）により推定フレア像Ｉｆを求める。

不要光減算部６は、このように求められた推定フレア像Ｉｆを、撮影画像Ｉｒから減算することにより、不要光が低減された出力画像Ｉｏを得る。

図２５Ａに、不要光が低減された、第１被写体の出力画像Ｉｏを示す。また、図２５Ｂに、不要光が低減された、第２被写体の出力画像Ｉｏを示す。ここではＮｆ＝０．８に設定されている。また、図２６Ａ及び図２６Ｂに、図２５Ａ又は図２５Ｂの画像中心付近の画像水平方向の輝度推移を示す。図２６Ａ及び図２６Ｂにおいて、実線が出力画像Ｉｏの輝度推移を示し、点線が撮影画像Ｉｒの輝度推移を示す。いずれの被写体においても不要光が大幅に低減されている。

図２７Ａ及び図２７Ｂに、第１被写体又は第２被写体の推定フレア像Ｉｆの輝度推移を示す。図２７Ａ及び図２７Ｂにおいて、実線が推定フレア像Ｉｆの輝度推移を示し、点線が撮影画像Ｉｒの輝度推移を示す。ここでは、Ｎｆが０．８に設定されているため、推定フレア像Ｉｆにおける第１フレア位置（ｘｆ１，ｙｆ１）の輝度と第２フレア位置（ｘｆ２，ｙｆ２）の輝度との差分が、撮影画像Ｉｒにおける差分の０．８倍となっている。

なお、撮影画像Ｉｒに含まれる実際の不要光分布と、推定フレア像Ｉｆの分布は、実際の光源形状と本実施の形態で光源と仮定している飽和輝度位置の形状が多少異なるため、厳密には一致しない。したがって、Ｎｆを１．０とすると、実際の不要光分布と推定フレア像の分布が異なることによる過剰な不要光の補正が生じる領域が発生する場合がある。そのため、ＮｆはＮ＜１．０とすることが望ましい。撮影環境により実際の不要光分布と推定フレア像の分布の差異の大きさは異なるため、過剰補正のリスクを考慮して、Ｎｆは０．２〜０．８程度に設定されることが好ましい。つまり、フレアモデル輝度調整部１３は、複数のフレア位置における推定フレア像の輝度値の差分値が、複数のフレア位置における撮影画像の輝度値の差分値の０．２倍から０．８倍の範囲となるように、フレアモデル画像の輝度をゲイン調整することが好ましい。Ｎｆが小さくなるほど、不要光の低減効果は小さくなるが、上記の設定範囲であれば撮影画像と比較すると大幅に不要光は低減される。

以上のように、本実施の形態における画像処理装置又は撮像装置によれば、撮影画像とフレアモデル画像において、回折格子特有の不要光が大きくなる画像位置の輝度値と、不要光が小さな画像位置の輝度値との差分を用いてフレアモデル画像のゲイン調整を行うことができるので、推定フレア像を高精度に推定することが可能となる。このように推定された推定フレア像を撮影画像から減算することにより、撮影画像の輝度が飽和しており、かつ、背景が小さな輝度を有する場合であっても、１回の撮影で得られた撮影画像から適切に不要光を低減することが可能となる。

なお、本実施の形態では、撮影画像Ｉｒの画角４５度付近の不要光低減処理についてのみ説明を行ったが、実際の画像全体の処理を行う際には、画像処理装置２は、例えば画像を正方形のブロックに分割し、ブロック毎に上述した画像処理を行えばよい。この際のブロックサイズは、高速なＦＦＴの演算を適用できるように、例えば垂直方向及び水平方向の画素数を各６４画素などの２の階乗の大きさとすれば、高速な演算が可能となる。または、フレア像推定部５は、ブロック毎に推定フレア像Ｉｆを求め、不要光減算部６は、最後に画像全体でまとめて不要光減算処理を行ってもよい。

このとき、画像処理装置２は、各ブロック内部ではＰＳＦが大きく変動しないと仮定し、ＯＴＦデータＦｏを各ブロック毎に準備しメモリに保存しておけば、高速に画像処理の演算を行うことが可能となる。更には、輝度飽和位置検出部１０は、輝度飽和位置が存在しなかったブロックでは、不要光を低減する必要がないため、不要な演算をしないようにすれば、更に高速に画像処理の演算を行うことが可能となる。

なお、各ブロック毎でＰＳＦが異なるため、フレア位置（ｘｆ，ｙｆ）を設定する際に用いるフレア距離Ｄｆは、ブロック毎に、当該ブロックのＰＳＦの円弧状フレアに対応させて設定されることは言うまでもない。フレア距離Ｄｆは、予め撮像装置の工場出荷時点でブロック毎もしくは画像位置毎に予め設定されてもよいし、撮影の都度ＰＳＦから円弧状フレアの位置を検出して求められてもよい。

なお、本実施の形態における撮像装置の動作を示すフローチャートは、図２１の実施の形態１のフローチャートと同様であるが、フレア位置設定ステップＳ１１２とフレアモデル輝度調整ステップＳ１１３との内部処理が異なる。フレア位置設定ステップＳ１１２及びフレアモデル輝度調整ステップＳ１１３では、本実施の形態のフレア位置設定部１２及びフレアモデル輝度調整部１３において説明した処理が実施される。なお、フレアモデル作成ステップＳ１１１の前にフレア位置設定ステップＳ１１２が行われてもよく、また、フレアモデル作成ステップＳ１１１と、フレア位置設定ステップＳ１１２とは並列に処理されてもよい。

なお、図２５Ａの本実施の形態による出力画像では、図２６Ａの輝度推移からもわかるように、図２２Ａの撮影画像と比較して大幅に不要光が低減されている。しかし、図２６Ａの光源の光軸側（画像の左方向）の最も不要光の大きな領域の両端では、過剰な不要光の補正により出力画像の輝度が背景よりも小さくなっている。

これは、実際の光源（蛍光灯）の形状と、輝度飽和位置から推定した光源の形状とが異なることに起因している。被写体によっては、このように不要光の過剰な補正が発生する場合があり、出力画像に不自然な輝度分布が生じる場合がある。

このような場合は、輝度飽和位置検出部１０は、輝度飽和位置から推定される光源形状の周辺部をシュリンクし、光源画像の外形を小さくすることにより、過剰な補正を低減することができる。つまり、輝度飽和位置検出部１０は、輝度飽和位置の集合として形成される光源形状の大きさを縮小することにより得られる画像を光源画像として作成する。

図２８に、図１０の光源画像Ｉｓの外形を１画素ずつシュリンクした光源画像を示す。図１０では光源画像の水平方向の幅が９画素であるが、図２８では、光源画像の外形が１画素ずつ削除されているため、幅が７画素となっている。この光源画像を新たに光源画像Ｉｓとして用いて画像処理を行った際の出力画像Ｉｏ及び出力画像Ｉｏの中心付近の水平方向の輝度推移を図２９Ａ及び図２９Ｂに示す。図２９Ａ及び図２９Ｂから分かるように、光源画像をシュリンクすることにより、不要光の過剰な補正が低減され、より自然な出力画像が得られる。シュリンクする画素数はここでは１画素としたが、最適な値は撮影環境により異なるため、想定される撮影環境に応じて決めればよい。

なお、実施の形態１と同様に、逆フーリエ変換部１８は、フレアモデル画像Ｉｆｍ’のうち、撮影画像Ｉｒの輝度飽和位置の輝度を０に変更することにより、輝度飽和位置では不要光の減算を行わないようにしているが、更に撮影画像Ｉｒの輝度飽和位置の全周囲の数画素の幅についても不要光の減算を行わないようにしてもよい。これは、撮影画像Ｉｒの輝度飽和位置を光源と仮定しているが、この仮定した光源形状より実際の光源形状が小さい場合があるからである。そして、このような場合には、輝度飽和位置の周辺部では、推定フレア像Ｉｆの輝度が実際より大きくなり、不要光の低減が過剰になる場合があるためである。画像処理装置２は、撮影画像Ｉｒの輝度飽和位置の全周囲の数画素の幅（例えば１〜３画素）についても不要光の減算を行わないことにより、不要光の過剰補正を回避してより自然な出力画像を得ることができる。本実施の形態においては、輝度飽和位置の全周囲の２画素の幅については不要光の減算を行わないようにしている。

なお、実施の形態１と同様に、本実施の形態では白黒画像での不要光低減の方法を説明したが、上述した不要光低減の方法は、カラー画像にも適用できることは言うまでもない。撮影画像がカラー画像の場合は、画像処理装置２は、Ｒ（赤）・Ｇ（緑）・Ｂ（青）いずれかの色に対して推定フレア像Ｉｆを作成し、Ｒ・Ｇ・Ｂの色毎の不要光の比率に応じて、その推定フレア像Ｉｆを色毎にゲイン調整すればよい。例えば、フレア像推定部５は、Ｇの推定フレア像Ｉｆ＿ｇを作成する。このとき、不要光の比率がＲ・Ｇ・Ｂでおよそ０．８：１．０：０．６であると予め定められている場合は、フレア像推定部５は、Ｒ及びＢの推定フレア像をそれぞれ０．８＊Ｉｆ＿ｇ及び０．６＊Ｉｆ＿ｇとして作成する。そして、不要光減算部６は、撮影画像ＩｒのＲ・Ｇ・Ｂそれぞれの色の画像から、Ｒ・Ｇ・Ｂそれぞれの色の推定フレア像を減算すればよい。なお、フレア像推定部５は、Ｒ・Ｇ・Ｂの色毎に、推定フレア像を個別に求めてもよいが、この場合はＲ・Ｇ・Ｂの色毎にＰＳＦを用意する必要があり、また、演算時間も増大する。したがって、フレア像推定部５は、上記のようにＲ・Ｇ・Ｂのうちいずれかの色の推定フレア像からＲ・Ｇ・Ｂのうちの他の色の推定フレア像を作成することにより、メモリ量の増大、あるいは演算時間の増大を抑制することができる。

なお、図２４及び図２ＡのＰＳＦの取得方法については、撮像部１の光学系を用いて点光源を実際に撮影することにより円弧状の不要光を含むＰＳＦを取得すればよい。または、光学系の構造をシミュレーションして円弧状の不要光を含むＰＳＦを取得してもよい。

なお、本実施の形態において、フレア位置設定部１２は、２点のフレア位置（第１フレア位置及び第２フレア位置）を設定していたが、３点以上のフレア位置を設定してもよい。３点以上のフレア位置が設定された場合であっても、フレア位置設定部１２は、３点以上のフレア位置における撮影画像の輝度値の差分値と、３点以上のフレア位置におけるフレアモデル画像の輝度値の差分値との比を用いて、フレアモデル画像の輝度をゲイン調整すればよい。具体的には、フレア位置設定部１２は、各フレア位置間の撮影画像の輝度値の差分値の代表値（例えば、平均値又は最大値など）と、各フレア位置間のフレアモデル画像の輝度値の差分値の代表値との比を用いて、フレアモデル画像の輝度をゲイン調整すればよい。

以上、本発明の一態様に係る画像処理装置又は撮像装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、上記実施の形態１及び２において、フレアモデル作成部１１は、フーリエ変換部１５と、ＯＴＦ作成部１６と、積算部１７と、逆フーリエ変換部１８とを有していたが、上述したように空間領域においてフレアモデル画像を作成する場合には、これらの処理部を有する必要はない。

また、上記実施の形態１または２における画像処理装置２が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置２は、フレア像推定部５と不要光減算部６とを有するシステムＬＳＩから構成されてもよい。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本発明は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部をステップとする画像処理方法として実現することもできる。また、画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明は、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話用カメラ、監視カメラ、医療用カメラ、望遠鏡、顕微鏡、車載カメラ、ステレオ測距カメラ、多眼式カメラなど、光学系により被写体像を撮影する撮像装置全般に有用である。

１ 撮像部
２ 画像処理装置
５ フレア像推定部
６ 不要光減算部
１０ 輝度飽和位置検出部
１１ フレアモデル作成部
１２ フレア位置設定部
１３ フレアモデル輝度調整部
１５ フーリエ変換部
１６ ＯＴＦ作成部
１７ 積算部
１８ 逆フーリエ変換部
２００ 光学系
２０１ レンズ
２０２ 回折レンズ
２０３ 第１部材
２０４ 第２部材
２０６ 回折格子
２０８ 撮像素子
２０９ 撮像面
２１０ 光軸
２１１ 絞り
３０１ 回折格子
３０２ 回折輪帯
３０５ 縞状フレア光

Claims (13)

1. 回折光学素子を含む光学系を介して撮影された撮影画像から不要光の成分を低減する画像処理装置であって、
   前記撮影画像中の明るい被写体の周辺部に発生する推定フレア像を作成するフレア像推定部と、
   前記撮影画像から、前記推定フレア像を減算する不要光減算部とを備え、
   前記フレア像推定部は、
   前記撮影画像中で輝度値が所定の値より大きな画像位置である輝度飽和位置を検出し光源画像を作成する輝度飽和位置検出部と、
   前記光源画像と前記光学系の光学特性データとに基づきフレアモデル画像を作成するフレアモデル作成部と、
   前記輝度飽和位置から撮影画像上の略光軸方向の画像位置であって前記輝度飽和位置近傍の予め定められた画像位置をフレア位置として設定するフレア位置設定部と、
   前記フレア位置における、前記撮影画像の輝度値と前記フレアモデル画像の輝度値との関係性に基づいて前記フレアモデル画像の輝度をゲイン調整することにより、前記推定フレア像を作成するフレアモデル輝度調整部とを有する
   画像処理装置。
2. 前記フレア位置設定部は、前記フレア位置を１点設定し、
   前記フレアモデル輝度調整部は、前記フレア位置における、前記撮影画像の輝度値と前記フレアモデル画像の輝度値との比を用いて、前記フレアモデル画像の輝度をゲイン調整する
   請求項１に記載の画像処理装置。
3. 前記フレア位置設定部は、前記輝度飽和位置に対応するＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）において不要光が多い位置として予め定められた位置と対応する前記輝度飽和位置近傍の画像位置を前記フレア位置として設定する
   請求項２に記載の画像処理装置。
4. 前記フレアモデル輝度調整部は、前記フレア位置における前記推定フレア像の輝度値が、前記フレア位置における前記撮影画像の輝度値の０．２倍から０．８倍の範囲となるように、前記フレアモデル画像の輝度をゲイン調整する
   請求項２又は３に記載の画像処理装置。
5. 前記フレア位置設定部は、前記フレア位置を少なくとも２点設定し、
   前記フレアモデル輝度調整部は、前記複数のフレア位置における前記撮影画像の輝度値の差分値と、前記複数のフレア位置における前記フレアモデル画像の輝度値の差分値との比を用いて、前記フレアモデル画像の輝度をゲイン調整する
   請求項１に記載の画像処理装置。
6. 前記フレア位置設定部は、少なくとも、前記輝度飽和位置に対応するＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）において不要光が多い位置として予め定められた第１位置と対応する前記輝度飽和位置近傍の画像位置と、前記第１位置よりも不要光が少ない位置として予め定められた第２位置と対応する画像位置とを、前記フレア位置として設定する
   請求項５に記載の画像処理装置。
7. 前記フレアモデル輝度調整部は、前記複数のフレア位置における前記推定フレア像の輝度値の差分値が、前記複数のフレア位置における前記撮影画像の輝度値の差分値の０．２倍から０．８倍の範囲となるように、前記フレアモデル画像の輝度をゲイン調整する
   請求項５又は６に記載の画像処理装置。
8. 前記不要光減算部は、前記輝度飽和位置と隣接する所定の画素数幅の画像位置では、前記撮影画像から前記推定フレア像を減算しない
   請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記輝度飽和位置検出部は、前記輝度飽和位置の集合として形成される光源形状の大きさを縮小することにより得られる画像を前記光源画像として作成する
   請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記画像処理装置は、集積回路として構成されている
    請求項１〜９のいずれか１項に記載の画像処理装置。
11. 回折光学素子を含む光学系を介して撮影画像を撮影する撮像部と、
    請求項１〜１０のいずれか１項に記載の画像処理装置とを備える
    撮像装置。
12. 回折光学素子を含む光学系を介して撮影された撮影画像から不要光の成分を低減する画像処理方法であって、
    前記撮影画像中の明るい被写体の周辺部に発生する推定フレア像を作成するフレア像推定ステップと、
    前記撮影画像から、前記推定フレア像を減算する不要光減算ステップとを含み、
    前記フレア像推定ステップは、
    前記撮影画像中で輝度値が所定の値より大きな画像位置である輝度飽和位置を検出し光源画像を作成する輝度飽和位置検出ステップと、
    前記光源画像と前記光学系の光学特性データとに基づきフレアモデル画像を作成するフレアモデル作成ステップと、
    前記輝度飽和位置から撮影画像上の略光軸方向の画像位置であって前記輝度飽和位置近傍の予め定められた画像位置をフレア位置として設定するフレア位置設定ステップと、
    前記フレア位置における、前記撮影画像の輝度値と前記フレアモデル画像の輝度値との関係性に基づいて前記フレアモデル画像の輝度をゲイン調整することにより、前記推定フレア像を作成するフレアモデル輝度調整ステップとを含む
    画像処理方法。
13. 請求項１２に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images