JP2019176302A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】補正効果を得つつ補正処理による副作用をも抑えた良好な画質を実現可能とすることを課題とする。【解決手段】画像処理装置（１００）は、撮像光学系に関するレンズ特性情報に基づいて前記撮像光学系の特性に起因する画質低下を補正するための補正値を設定する補正設定手段（４）と、前記補正値を基に、前記画質低下を画像処理により補正する（５０１）と、を有し、前記補正設定手段（４）は、所定の像高より高い像高の領域について、前記所定の像高以下の像高の領域と比べて補正値の像高に応じた平均変化率を小さくする。【選択図】図１

Description

本発明は、光学系を介して撮影された画像を処理する画像処理技術に関する。

撮像素子に被写体像を結像させるためのレンズユニットは、被写体像に歪み、滲み、周辺光量落ちなどの画質低下を生じさせてしまう各種の要因を内包している。例えば像の周辺の色が滲む倍率色収差は、レンズユニットを通過した赤、緑、青の各光が、それらの波長ごとに光軸に対して直交する方向の異なる位置に集光されることによって引き起こされる。また画像中心の光量に比べて端部ほど光量が低下する周辺光量落ちは、レンズユニットの鏡筒などによって周辺光の一部がけられることにより生じる、所謂、口径食（ヴィグネッティング）、コサイン４乗則などによって引き起こされる。これらレンズユニットに起因する画質の低下は、例えば倍率色収差であれば、複雑な形状の複数のレンズを組み合わせて用いたり、色分散の少ない蛍石をレンズ素材に用いたりすることで、ある程度は低減できる。周辺光量落ちについても、例えば設計上で決められている撮像素子サイズよりもイメージサークルの大きなレンズを用いることで、ある程度は低減可能である。しかしながら、これらのいずれを行った場合でも、それら全ての画質低下の無くすことはできない。

そこで、レンズユニットの特性に起因する画質低下を、信号処理による画像補正によって低減させるようなレンズ光学補正技術が各種提案されている。例えば特許文献１には、レンズユニットの絞り、焦点距離、撮影距離に応じた周辺光量落ちの補正データをＲＯＭに記録しておき、実際の絞り値、焦点距離、撮影距離などに応じた補正データを用いた補正を行って周辺光量落ちを低減する技術が開示されている。また例えば特許文献２には、レンズユニットの収差情報、被写体の輝度データ、色差データに基づいて、レンズの収差に起因する画質低下を補正する技術が開示されている。さらに例えば特許文献３には、ズーム位置、絞り値、フォーカス位置ごとに周辺光量落ちの補正値を持つのではなく、離散的な補正値から現在のズーム位置、絞り値、フォーカス位置に対応する補正値を補間により求める技術が開示されている。

特開２００３−１１０９３６号公報 特開２０００−３４３７号公報 特開２００６−１２１３８４号公報

ところで、レンズによっては、撮像素子の撮像面上において、ある像高よりも高い像高には光が届かず、被写体像等も形成されない領域が生ずることがある。このように光が届かず被写体像等も形成されない領域では、前述した補正処理を行っても補正の効果は得られない。また一般に、補正処理の際には高い像高ほど大きい補正値が用いられるため、光が届かず被写体像等も形成されない高い像高の領域では、大きい補正値を用いた補正処理によってノイズの増加などの副作用が生じて画質が低下してしまうことがある。なお、このような画質低下を生じさせないように、例えば補正値を所定の値でクリップすることも考えられるが、この場合、光が届き被写体像等が形成される領域に対する補正効果も併せて弱まってしまうことになる。

そこで、本発明は、補正効果を得つつ補正処理による副作用をも抑えた良好な画質を実現可能とすることを目的とする。

本発明の画像処理装置は、撮像光学系に関する特性情報に基づいて、前記撮像光学系の特性に起因する画質低下を補正するための補正値を設定する補正設定手段と、前記補正値を基に、前記画質低下を画像処理により補正する補正手段と、を有し、前記補正設定手段は、所定の像高より高い像高の領域について、前記所定の像高以下の像高の領域と比べて補正値の像高に応じた平均変化率を小さくすることを特徴とする。

本発明によれば、補正効果を得つつ補正処理による副作用をも抑えた良好な画質を実現可能となる。

画像処理装置の一適用例であるデジタルカメラの概略構成図である。 補正設定部の概略構成図である。 周辺光量落ちの画像例と周辺光量落ちの補正値の説明図である。 レンズ光学補正処理の概要と詳細なフローチャートである。 周辺光量落ちの画像例と各像高の画素値の説明図である。 黒い被写体を含む周辺光量落ちの画像例と各像高の画素値の説明図である。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
本実施形態では、画像処理装置の適用例としてデジタルカメラ、スキャナ等の撮像系を有する装置を挙げるが、画像データを処理できる装置であれば特にこれらの例には限定されない。すなわち本実施形態の画像処理装置は、撮像された画像を処理するパーソナルコンピュータ等の情報処理装置であっても良いし、携帯型の情報端末、プリンタ等の画像形成装置などでも良い。

図１は、本実施形態における画像処理装置の一適用例であるデジタルカメラ（以下、カメラ１００とする。）の概略的な構成を示すブロック図である。
カメラ１００において、レンズユニット１は、フォーカスレンズ１０１、絞り１０２、ズームレンズ１０３等の撮像光学系を有し、不図示の被写体等の光学像を撮像素子２の撮像面上に結像させる。フォーカスレンズ１０１は、被写体までの距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。絞り１０２は、Ｆナンバーの撮影状態設定としてその開口径が制御される。ズームレンズ１０３は、被写体の像倍率を調整するために不図示の手動マニュアルズーム機構によりレンズの位置が制御される。

またレンズユニット１は、特性記録部１０４も備えている。特性記録部１０４は、レンズユニット１の識別情報であるレンズＩＤ、レンズの焦点距離、開放Ｆ値、イメージサークルの大きさ、レンズ光学特性に起因する画質低下の補正に用いられる補正データなど、レンズユニット固有のレンズ特性情報を保持している。また、本実施形態の場合、詳細は後述するが、特性記録部１０４に保持されている補正データは、レンズユニット１の設計上のイメージサークルの像高以下の像高範囲に対応したデータであるとする。

レンズ特性情報に含まれる補正データには、周辺光量低下、回折、色収差、シェーディング、球面収差、歪曲収差等のレンズユニット１に起因する各種の画質低下を信号処理で補正するための補正値、画像回復処理のための補正値等が含まれている。一例として、画像中心の光量に比べて端部ほど光量が低下する周辺光量低下（以下、周辺光量落ちとする。）の補正に用いるデータには、レンズユニット１の各焦点距離と各絞り値における各像高と入射光量データとの対応関係を表す情報などが含まれる。また例えば、画像回復処理に関する補正データには、レンズユニット１の光学系による収差や回折現象によって撮像画像に生ずる画質低下を、光学系の光学伝達関数（ＯＴＦ）から算出した補正特性を有する画像回復フィルタで補正する補正値が含まれる。画像回復処理には、撮像光学系の光学伝達関数の逆特性を有する画像回復フィルタを用いて、入力画像に対する畳み込み演算（コンボリューション処理）を行う方法等が用いられる。画像回復フィルタを用いた画像回復処理は、一般に撮像画像に含まれる各周波数成分を強調することで画像の鮮鋭度を回復するような処理や、撮像光学系の軸上色収差、色のコマ収差など色成分に関わる収差を補正する処理となる。なお、これらレンズ特性情報に含まれる補正データは、予め求められているものであり、回折、色収差、シェーディング、球面収差、歪曲収差等に関する補正データについても同様に予め求められている。これらの補正データは、レンズユニット１のイメージサークルの像高以下の全ての像高範囲に対応したデータとなされていても良いが、特性記録部１０４に保持する記録データ量を減らすために、離散的なデータとなされていても良い。

撮像素子２は、例えば一般的な原色カラーフィルタを備える単板カラー撮像素子である。原色カラーフィルタは、６５０ｎｍ近傍に透過主波長帯を持つＲ（赤）フィルタ、５５０ｎｍ近傍に透過主波長帯を持つＧ（緑）フィルタ、４５０ｎｍ近傍に透過主波長帯を持つＢ（青）フィルタの３種類の色フィルタからなる。単板カラー撮像素子では、この色フィルタが画素毎にモザイク状に空間的に配列され、各画素からはそれぞれ単一の色における信号強度が得られる。このため、撮像素子２からは、色モザイク画像が出力されることになる。当該撮像素子２により得られたアナログ画像信号は、Ａ／Ｄ変換部３に送られる。

Ａ／Ｄ変換部３は、撮像素子２からのアナログ画像信号をデジタル画像信号（画像データ）に変換する。本実施形態では、この時点で画素毎に例えば１２ｂｉｔの画像データが生成される。Ａ／Ｄ変換部３のデジタル変換により得られた画像データは、現像部５と補正設定部４に送られる。

補正設定部４は、特性記録部１０４から取得したレンズ特性情報と、レンズユニット１の現在の状態を示す情報（以下、レンズ状態情報とする。）とを基に、レンズ光学特性に応じた補正処理のための補正値を設定する。補正設定部４により設定される補正値は、周辺光量落ち、回折現象、色収差等による画質低下をそれぞれ補正する補正値、画像回復フィルタのフィルタ係数等の種々の補正値であり、これらの補正値はメモリ１１に格納される。また詳細は後述するが、補正設定部４は、それら補正値を設定する際、Ａ／Ｄ変換部３からの画像データを基に、イメージサークル外の光が届かない像高を求め、イメージサークル外の像高範囲の領域に対する補正値をも設定する。本実施形態において補正設定部４により補正値を設定する際の動作と詳細な構成については後述する。

現像部５は、Ｒ，Ｇ，Ｂの画像データをＲ，Ｇ，Ｂの各バンドに対応する色プレーンに分け、画素補間処理、レンズ光学特性に応じた補正処理、輝度信号処理、及び色信号処理などの一連の現像処理を行う。これら一連の現像処理のうち、特に、レンズ光学特性に応じた補正処理は補正部５１により行われる。補正部５１は、補正設定部４により設定された補正値を取得し、その補正値を用いて、レンズ光学特性に応じた画質低下を信号処理により補正するための補正処理を行う。この補正部５１における補正処理の詳細については後述する。このような現像部５での現像処理によって、Ｒ，Ｇ，Ｂの色空間から８ｂｉｔの輝度（Ｙ）データ、色差（Ｕ、Ｖ）データの色空間への変換がなされ、そのＹＵＶデータが処理部６に送られる。

処理部６は、現像部５による一連の現像処理後の画像データに対し、リサイズ処理などを行い、出力部７へ供給する。
出力部７は、ＨＤＭＩ（登録商標）などの出力インタフェースへの出力、半導体メモリカードなどの記録メディアへの記録、カメラ１００の表示装置（図示せず）への出力の一つ以上を行う。
ＵＩ部９は、スイッチ、ボタン、表示装置（図示せず）に設けられたタッチパネルなどの入力機器を一つ以上有する。ユーザによる指示などの外部からの操作は、ＵＩ部９を介してカメラ１００の制御部１０に入力され、制御部１０はこれを受けて演算を行ったり、各部を制御したりする。

制御部１０は、バス８を介して各部を制御し、また適宜必要な演算処理を行う。
メモリ１１は、各処理部で用いられる画像データや、絞り値、シャッタースピード、ＩＳＯ感度、ホワイトバランスゲイン値、ｓ−ＲＧＢなどの色域の設定などの撮影時情報、前述した補正値等のデータを記憶する。メモリ１１に記憶されているデータは、制御部１０の指示によって適宜読み出されて使用される。
バス８は、図１に示す各構成要素を互いに通信可能に接続する。

以下、補正設定部４における補正値設定処理およびその補正値を用いた補正部５１による補正処理の詳細を説明する。
ここで、本実施形態において、レンズユニット１は、例えば所謂ＡＰＳ−Ｃサイズの撮像素子に対応させて設計されたＡＰＳ−Ｃ対応レンズユニット（以下、ＡＰＳ−Ｃレンズとする。）であるとする。ＡＰＳ−Ｃレンズは、ＡＰＳ−Ｃサイズの撮像素子に対して光学的性能（光量や収差性能等）を最適化するようにしたイメージサークル（有効像円）が設定されており、当該イメージサークルの半径は約１３．４ｍｍである。このため、レンズユニット１の特性記録部１０４には、ＡＰＳ−Ｃレンズのイメージサークルの像高以下の像高範囲内に対応したレンズ特性情報が保持されている。すなわち特性記録部１０４には、像高で表すと像高０ｍｍから１３．４ｍｍの間に限定された像高範囲内に対応したレンズ特性情報が保存されており、像高１３．４ｍｍを超える領域のレンズ特性情報は保存されておらず、存在していない。また、本実施形態において、レンズユニット１は、カメラ本体に対して交換可能となされた交換レンズであるとする。

一方、本実施形態において、撮像素子２は、例えば所謂３５ｍｍフルサイズの撮像素子（以下、３５ｍｍフルサイズセンサとする。）であり、当該撮像素子２の撮像面サイズは約３６．０×２４．０ｍｍである。すなわち本実施形態のカメラ１００は、３５ｍｍフルサイズセンサを有するレンズ交換式カメラ（以下、３５ｍｍフルサイズカメラとする。）である。そして本実施形態では、当該３５ｍｍフルサイズカメラに対し、ＡＰＳ−Ｃサイズの撮像素子に対応させて設計されたレンズユニット１（ＡＰＳ−Ｃレンズ）を装着した場合を想定している。

本実施形態のように、３５ｍｍフルサイズカメラにＡＰＳ−Ｃレンズを装着した場合、ＡＰＳ−Ｃレンズにより結像された被写体像等が、３５ｍｍフルサイズセンサである撮像素子２により撮像されることになる。なお、レンズユニット１により結像される被写体像等は、設計上のＡＰＳ−Ｃサイズに対応したイメージサークルの内側だけでなく、その外側にも存在する場合がある。このため、３５ｍｍフルサイズセンサで撮像した場合には、イメージサークル外に形成された被写体像等をも撮像することが可能となる。

これに対し、レンズユニット１の特性記録部１０４に保持されているレンズ特性情報は、前述したように、ＡＰＳ−Ｃレンズのイメージサークルの像高以下の像高範囲に対応した情報となされおり、イメージサークル外の領域に対応した情報は存在していない。したがって、レンズ光学特性に応じた補正処理に用いられる補正データについても同様に、イメージサークル外の領域に対応した補正値は存在していない。この場合、イメージサークル外の領域に対する補正処理を行うためには、当該イメージサークル外の領域に対応した補正値を別途生成する必要がある。イメージサークル外の領域に対応した補正値は、一例として、特性記録部１０４に保持されているイメージサークル内の補正データを基に、イメージサークル外の像高方向の補正値を補間処理等することで生成することができる。

ただし、３５ｍｍフルサイズセンサの撮像面上において、ＡＰＳ−Ｃレンズのイメージサークル外の高い像高の領域では、レンズからの光が届かず被写体像等も形成されない領域になることが多い。そして、このような光が届かず被写体像等も形成されない領域については、補間処理等により生成した補正値を用いた補正処理を行ったとしても、その補正の効果は得られないと考えられる。また例えば、イメージサークル内の補正値を像高方向に補間処理してイメージサークル外の補正値を生成した場合、高い像高ほど大きい補正値が生成されることになると考えられる。しかしながら、光が届かず被写体像等も形成されない領域に対して、大きい補正値を用いた補正処理が行われた場合、当該大きい補正値による補正処理に起因するノイズの増加などの副作用が生じて画質が低下してしまう虞がある。

そこで、本実施形態において、補正設定部４は、イメージサークル外の領域に適用する補正値を生成する際には、イメージサークル外であって光が届かなくなる像高を求め、その光が届かなくなる像高以上の領域（以下、無光領域とする。）を設定する。光が届かない像高をどのようにして設定するかについては後述する。さらに、補正設定部４は、無光領域に対しては、ノイズの増加などの副作用が生じない補正処理を可能にするような補正値を設定する。そして、補正部５１では、補正設定部４により設定された補正値を用いて、画像データの補正処理を行う。これにより、本実施形態のカメラ１００では、光が届く領域に対する補正効果を得ながら、光が届かない無光領域に対する補正処理の副作用を抑えた画像データを得ることを可能にしている。

＜周辺光量落ちの補正値設定処理の例＞
図２は、本実施形態における補正設定部４の詳細な構成を示した図である。なお、図２には図１の制御部１０及びメモリ１１も描かれている。
補正設定部４は、レンズ光学特性に応じた補正処理のための補正値として、周辺光量落ち、回折現象、色収差などの補正に用いる種々の補正値を設定するが、ここでは、一例として、周辺光量落ちを補正する補正値を設定する場合を挙げて説明する。

図２において、制御部１０は、本実施形態のカメラ１００への電源入時、あるいは交換レンズ（レンズユニット１）が接続されたときに、レンズユニット１の特性記録部１０４からレンズ特性情報を読み込む。この時読み込まれるレンズ特性情報は、レンズユニット１のレンズＩＤ、レンズの少なくともワイド端とテレ端の焦点距離、開放Ｆ値、イメージサークルの大きさ、イメージサークル内の像高範囲に対応した補正データ等である。

また制御部１０は、所定のタイミング毎、例えば静止画の撮像が行われる毎や動画のフレーム毎に、レンズユニット１の現在の状態を示すレンズ状態情報を取得する。具体的には、制御部１０は、現在の絞り値、現在の焦点距離（ズーム位置）、現在のフォーカス位置等の情報を、レンズ状態情報として取得する。なお、これらの情報は一例であり、制御部１０は、それら以外の、画像補正に使用可能なレンズの状態等を示す情報を適宜取得することも可能である。そして、制御部１０は、取得したレンズ状態情報をレンズ特性情報と共に、像高設定部２０４および算出部２０５に通知する。

算出部２０５は、制御部１０から通知されたレンズ特性情報およびレンズ状態情報を基に、周辺光量落ちを補正するための補正値を算出する。ここでの補正値は、レンズ特性情報とレンズ状態情報から予め算出して記録しておいた補正値を基に算出しても良いし、レンズ状態情報とレンズ特性情報を基に一般的な光学式から導かれる近似された値を用いても良い。

ここで、本実施形態の補正設定部４において、周辺光量落ちを補正するための補正値は、レンズ特性情報としての入射光量データを利用して算出する。
図３（ａ）〜図３（ｄ）は、レンズユニット１がワイド側の焦点距離でかつ絞り開放に設定された時の入射光量データと、入射光量データに対応した補正値との関係を説明するための図である。
図３（ａ）は、ＡＰＳ−Ｃレンズであるレンズユニット１がワイド側の焦点距離でかつ絞り開放に設定され状態で、３５ｍｍフルサイズセンサである撮像素子２により撮像を行った場合を想定した撮像画像６００の一例を示している。図３（ａ）の撮像画像６００は、レンズユニット１がワイド側の焦点距離でかつ絞り開放である状態の時に、例えば全体が均一な輝度の被写体を画面全面に写すようにして撮影された場合を想定した撮像画像例であるとする。また、図３（ａ）には、レンズユニット１のイメージサークル６１０を表した仮想円と光軸（画面中心）から対角線方向へ延びる仮想直線も描かれている。なお、ここでは全体が均一な輝度の被写体の撮像画像６００を例に挙げているが、これはレンズユニット１が持つ入射光量に対するレンズ特性を判り易く説明するための例であり、撮像される被写体は全体が均一な輝度のものに限定されるわけではない。

本実施形態の場合、特性記録部１０４に保持されているレンズ特性情報の入射光量データは、前述したように、ＡＰＳ−Ｃレンズのイメージサークルの半径に相当する約１３．４ｍｍの像高範囲内の領域に対応したデータのみが存在する。一方、３５ｍｍフルサイズセンサである撮像素子２の撮像面サイズは前述したように約３６．０×２４．０ｍｍであり、撮像素子２の中心からの最大像高（センサ中心から対角線方向の最大像高、以下、センサ最大像高とする。）は約２１．６ｍｍとなる。このため本実施形態の場合、算出部２０５は、イメージサークルより外側の領域の存在しないデータについては別途作成する。例えば算出部２０５は、イメージサークル内の入射光量データの傾きに応じた補間処理によりイメージサークル外の領域の入射光量データを求め、さらにそのイメージサークル外の入射光量データを基にイメージサークル外の周辺光量落ちの補正値を作成する。

図３（ｂ）は、レンズユニット１がワイド側の焦点距離でかつ絞り開放である場合の入射光量と像高の対応関係を表した図である。図３（ｂ）の入射光量データ６０２のうち実線部分はイメージサークル内の像高範囲における各像高の入射光量を表し、点線部分は補間処理により作成されたイメージサークル外の各像高の入射光量を表している。また、図３（ｃ）は、レンズユニット１がワイド側の焦点距離でかつ絞り開放である場合の各像高と周辺光量落ちの補正値との対応関係を表した図である。図３（ｃ）の補正データ６０３のうち実線部分はイメージサークル内の像高範囲の各像高に対応した補正値を表し、点線部分はイメージサークル外の入射光量を基に作成された周辺光量落ちの補正値を表している。周辺光量落ちの補正値は入射光量の減少を補うための補正値であるため、図３（ｃ）の補正データ６０３に示すように、イメージサークル外のように入射光量が減少する領域では周辺光量落ちの補正値は大きな値となされる。特に図３（ｂ）の入射光量データ６０２の値がゼロとなる像高以上（例えば像高１６ｍｍ以上）の領域では、周辺光量落ちの補正値が非常に大きい値になる。そして、入射光量がゼロとなる像高以上の無光領域に対し、大きな補正値による補正処理を行うと、前述したように副作用が生ずる虞があり、また無光領域は補正処理による補正効果が得られない領域である。

このため、本実施形態の場合、補正設定部４は、入射光量がゼロとなる無光領域を設定し、イメージサークル内における補正値の像高に応じた平均変化率よりも、当該無光領域における補正値の像高に応じた平均変化率が小さくなるようした補正値を設定する。
このような補正値設定処理を実現するために、補正設定部４は、前述した算出部２０５に加え、図２に示すように、取得部２０１、差分部２０２、比較部２０３、像高設定部２０４、修正部２０６を有している。すなわち補正設定部４では、３５ｍｍフルサイズセンサの撮像素子２による撮像画像データを基に、イメージサークル外の各像高の入射光量データを取得し、当該イメージサークル外の各像高の入射光量データを基に、無光領域の像高に対応した補正値を修正する。

取得部２０１は、Ａ／Ｄ変換部３から画像データを取得し、また制御部１０から例えば像高方向順に所定の像高幅毎の像高領域を示す領域情報が与えられる。なお、所定の像高幅は１画素分の幅であっても良いし、複数画素分の幅であってもよい。取得部２０１は、制御部１０から与えられた領域情報により示される、像高方向順の所定像高幅の像高領域毎に、画像データから例えばＧ（緑）の画素値を取得する。本実施形態の場合、制御部１０からは一度につき二つの領域情報が与えられ、したがって取得部２０１は、それら二つの領域情報に対応した二つの像高領域でそれぞれ画素値を取得し、それら二つの像高領域の画素値のペアを差分部２０２に出力する。なお、所定の像高幅が複数画素分の幅である場合、取得部２０１は、制御部１０にて設定された二つの領域情報について、それぞれ複数画素値の平均値を求めて、それら平均値のペアを差分部２０２に出力する。

差分部２０２は、取得部２０１から送られてきたペアの値の差分の絶対値を求めて、比較部２０３に出力する。
比較部２０３は、メモリ１１の閾値保持部２０７に予め用意されている閾値を読み出し、差分部２０２から送られてきた差分の絶対値と閾値とを比較し、その比較結果を像高設定部２０４に出力する。

像高設定部２０４は、比較部２０３から送られてきた比較結果と、制御部１０の制御の下でレンズユニット１から送られてきたレンズ特性情報およびレンズ状態情報とに基づいて、イメージサークル外の領域であって光の届かない像高以上の無光領域を設定する。そして、像高設定部２０４は、その設定した無光領域に対応した像高を示す情報を修正部２０６に出力する。

このように、取得部２０１では画像データを取得し、差分部２０２では各像高における画像データの差分の絶対値を求め、比較部２０３では差分絶対値と閾値とを比較し、像高設定部２０４では比較結果を基に入射光量がゼロとなる像高を設定する。つまり、像高設定部２０４では、各像高における画像データの差分の絶対値が閾値未満の所定範囲内になる像高を所定の像高として設定する。そして、この所定の像高以上が無光領域として設定される。

修正部２０６は、像高設定部２０４から入力された像高を示す情報、つまり光が届かない像高以上の無光領域を表す情報を基に、算出部２０５から入力された補正値（つまり図３（ｃ）の補正データ６０３）を修正する。このときの修正部２０６は、例えば、算出部２０５により算出された補正値からイメージサークル内における補正値の像高に応じた平均変化率を求める。そして、修正部２０６は、イメージサークル内の補正値の像高に応じた平均変化率よりも、イメージサークル外の無光領域における補正値の像高に応じた平均変化率が小さくなるように、当該無光領域の補正値を修正する。なお、イメージサークル内の補正値の像高に応じた平均変化率は、予め求められていてもよい。このようにして修正部２０６による修正処理がなされた後の補正値が、図１の補正部５１に送られる。

図３（ｄ）は、算出部２０５にて算出された補正値（図３（ｃ）の補正データ６０３）を、取得部２０１から修正部２０６までの構成により修正した後の周辺光量落ちの補正値と各像高との関係を表した補正データ６０４を示している。図３（ｄ）の補正データ６０４のうち実線部分はイメージサークル内の像高範囲の補正値を表し、点線部分はイメージサークル外の入射光量を基に作成され、かつ無光領域では更に修正がなされた後の補正値を表している。図３（ｄ）に示した補正データ６０４は、入射光量データの値がゼロとなる像高以上の無光領域における修正後の補正値は、それより低い像高の光が届いている領域と比べて、補正値の像高に応じた平均変化率が小さく設定されている。図３（ｄ）の例では、入射光量データの値がゼロとなる像高以上の無光領域の補正値を、入射光量データの値がゼロになったところの像高の補正値によりクリップするような修正により、無光領域における補正値の平均変化率を小さくしている。したがって、この図３（ｄ）に示した補正データ６０４を用いた補正処理が行われた場合、光が届く領域に対する補正効果を得ながら、光が届かない領域付近に対する補正処理の副作用を抑えた画像データを得ることが可能となる。

図４（ａ）は、本実施形態のカメラ１００にて行われるレンズ光学特性に応じた補正処理の全体の処理の流れを示すフローチャートである。この図４（ａ）のフローチャートの処理は、制御部１０および制御部１０による制御の下で補正設定部４と補正部５１により実行される。
なお、図４（ａ）のフローチャートの処理は、ハードウェア構成により実行されてもよいし、ＣＰＵ等が実行するプログラムに基づくソフトウェア構成により実現されてもよく、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ＣＰＵ等が実行するプログラムは、例えばメモリ１１に格納されていても良いし、不図示の着脱可能な外部半導体メモリ等の記録媒体から取得されても良く、或いは不図示のネットワーク等を介して取得されてもよい。図４（ａ）の説明では、各処理のステップＳ３０１〜ステップＳ３０３をＳ３０１〜Ｓ３０３と略記する。これらのことは後述する図４（ｂ）と図４（ｃ）のフローチャートにおいても同様であるとする。

図４（ａ）のＳ３０１において、補正設定部４は、制御部１０による制御の下、イメージサークル外で光が届かない像高以上の無光領域を設定する。Ｓ３０１における像高設定処理の詳細は後述する。
次にＳ３０２において、補正設定部４は、制御部１０による制御の下、補正部５１がレンズ光学特性に応じた補正処理を行う際に用いる補正値を設定する。Ｓ３０２における補正値制御処理の詳細は後述する。
次にＳ３０３において、補正部５１は、制御部１０による制御の下、補正設定部４により設定された補正値を用い、レンズユニット１の特性に起因する画質低下を画像信号処理により低減させる補正処理を行う。

図４（ｂ）は、図４（ａ）のＳ３０１における像高設定処理の詳細な流れを示したフローチャートである。この図４（ｂ）のフローチャートの処理は、制御部１０、および制御部１０による制御下で補正設定部４により実行される。
ここでは、先ず、レンズユニット１が絞り開放でかつワイド側の焦点距離に設定され、例えば全体が均一な輝度の被写体を画面全面に写すことで得られた画像データを想定して、イメージサークル外の光が届かない像高を設定する例について説明する。また以下の説明では、前述した制御部１０から取得部２０１に与えられる領域情報により、像高方向順の所定の像高幅として１画素幅毎の像高領域が設定される場合を例に挙げる。このため、取得部２０１は、像高方向順の二つの像高領域の画素値を求め、それら二つの像高領域の画素値のペアを差分部２０２に出力するものとする。

図４（ｂ）のＳ４０１において、制御部１０は、補正設定部４の像高設定部２０４に対し、像高ｉの初期値を設定する。本実施形態の場合、像高ｉの初期値は、例えばレンズ特性情報に記述されたイメージサークルの大きさを表す値、具体的にはレンズユニット１におけるイメージサークルの半径に相当する１３．４ｍｍの値が設定される。

次にＳ４０２において、制御部１０は、像高設定部２０４に対し、センサ最大像高ｓを設定する。本実施形態の場合、センサ最大像高ｓは、３５ｍｍフルサイズセンサである撮像素子２の撮像画面サイズにおける中心から対角線方向の長さであり、具体的には２１．６ｍｍの値が設定される。

次にＳ４０３において、制御部１０は、像高ｉとセンサ最大像高ｓとを比較し、像高ｉが画像中心（像高は０）より大きく、センサ最大像高未満（０＜ｉ＜ｓ）の像高であるか否かの判定が行われる。そして、制御部１０は、像高ｉがセンサ最大像高未満（０＜ｉ＜ｓ）の像高であると判定した場合にはＳ４０５に処理を進める。なお、像高ｉが初期値に設定された時点では、像高ｉがセンサ最大像高ｓより小さいため、Ｓ４０５に処理が進められる。一方、Ｓ４０３において、像高ｉがセンサ最大像高ｓ以上であると判定された場合、制御部１０は後述するＳ４０４に処理を進める。

Ｓ４０５に処理が進んだ場合、補正設定部４の取得部２０１は、制御部１０から与えられる領域情報を基に、Ａ／Ｄ変換部３より入力される画像データから、像高ｉより高い像高ｉ'の像高領域の画像データを取得する。このときの取得部２０１は、制御部１０から与えられる領域情報により、像高ｉと、画像中心を基準とした場合の対象象限とが設定される。本実施形態では、対象象限の初期値として、例えば画面右下にあたる第四象限が設定されるとする。

図５（ａ）〜図５（ｃ）は、レンズユニット１がワイド側の焦点距離でかつ絞り開放に設定された時の撮像画像と各像高の画素値との関係を説明するための図である。
図５（ａ）は、レンズユニット１がワイド側の焦点距離でかつ絞り開放に設定され状態で、撮像素子２により撮像された撮像画像４００の一例を示している。図５（ａ）の撮像画像４００は、レンズユニット１がワイド側の焦点距離でかつ絞り開放である状態の時に、例えば全体が均一な輝度の被写体を画面全面に写した場合を想定した撮像画像例である。また、図５（ａ）には、図３（ａ）の例と同様、イメージサークル４１０を表した仮想円と光軸（画面中心）から対角線方向へ延びる仮想直線も描かれている。

図５（ｃ）は、図５（ａ）の撮像画像４００の画像中心から第四象限の画像端への像高方向順の各画素値をプロットしたグラフである。取得部２０１は、Ｓ４０５において、制御部１０からの領域情報を基に、撮像画像４００の画像中心から第四象限の画像端への仮想直線上で、設定された像高ｉとその像高ｉより所定高さ分だけ高い像高ｉ'の各画素値のデータをペアとして取得する。図５（ａ）と図５（ｃ）の場合、取得部２０１は、撮像画像４００の画像中心から第四象限の画像端への仮想直線上で、イメージサークル４１０との交点の座標４０１の画素値４０２を取得する。さらに、取得部２０１は、像高ｉより高い像高ｉ'における座標４０３の画素値４０４を取得する。なお、初期値に設定された像高ｉは前述したようにイメージサークルの半径に相当する１３．４ｍｍであり、一方、像高ｉより高い像高ｉ'は例えば１８．４ｍｍに設定されるとする。

なお、一般的なレンズは、絞り開放でワイド側の焦点距離の場合にはイメージサークル近傍で急激に入射光量が低下するようなレンズ特性になることが多い。レンズユニット１においても同様に、絞り開放でワイド側の焦点距離の場合にはイメージサークル近傍で急激に入射光量が低下するレンズ特性であるとする。このためイメージサークル４１０上の座標４０１の光量は既に低くなりつつあり、画像中心の画素値が適正露出に相当する値の１２８であったとすると、イメージサークル４１０上の画素値４０２は、その約半分の値である６４程度にまで落ちているとする。一方で、イメージサークル４１０からさらに高い像高方向に離れた座標４０３では既に光量が略々０になっているとする。取得部２０１は、図５（ａ）の座標４０１における画素値４０２と座標４０３における画素値４０４のペアのデータを、差分部２０２へ出力する。そして、制御部１０は、補正設定部４における処理をＳ４０６に進める。

次にＳ４０６に進むと、差分部２０２は、取得部２０１から送られてきた画素値４０２と画素値４０４のペアのデータから、それらの画素値の差分の絶対値を求める。すなわち、画素値４０２を値ｘ、画素値４０４を値ｙとすると、Ｓ４０６において、差分部２０２は差分の絶対値｜ｘ−ｙ｜を算出する。なお、前述した例のように画素値４０２の値ｘが６４で、画素値４０４の値ｙが０であった場合、その差分絶対値｜ｘ−ｙ｜は６４となる。そして、差分部２０２は差分絶対値｜ｘ−ｙ｜を比較部２０３に出力し、制御部１０は補正設定部４における処理をＳ４０７に進める。

Ｓ４０７に進むと、比較部２０３は、差分部２０２から入力された差分絶対値｜ｘ−ｙ｜と、メモリ１１の閾値保持部２０７に用意されている閾値との比較を行い、差分絶対値｜ｘ−ｙ｜が閾値未満（｜ｘ−ｙ｜＜閾値）であるか否かを判定する。本実施形態の場合、閾値は例えば値１０に予め設定されているとする。なお、前述した例のように差分絶対値｜ｘ−ｙ｜が６４である場合、比較部２０３は、差分絶対値｜ｘ−ｙ｜が閾値未満でない（差分絶対値が閾値以上である）と判定する。比較部２０３は当該比較に基づく判定結果（比較結果）を表す情報を像高設定部２０４に出力する。

像高設定部２０４は、その判定結果を基に、像高ｉは光が届かない無光領域に含まれるかどうか判断し、光が届く領域であると判断した場合にはＳ４０８に処理を進める。なお、前述した例のように差分の絶対値｜ｘ−ｙ｜が６４である場合、差分絶対値｜ｘ−ｙ｜が閾値未満でないとの判定結果が得られ、像高設定部２０４において、像高ｉは光が届く領域であると判断されてＳ４０８の処理に進むことになる。一方、像高設定部２０４は光が届かない無光領域であると判断した場合には判断結果を制御部１０に通知し、制御部１０は補正設定部４の処理を後述するＳ４０９に進める。

Ｓ４０８に進むと、像高設定部２０４は、像高ｉをインクリメントし、インクリメント前の像高ｉより高い像高方向に像高ｉを更新する。本実施形態において、像高ｉのインクリメントを行う際には、インクリメント前の像高ｉよりも例えば５ｍｍ分だけ高い像高が設定されるとする。前述した例のようのインクリメント前の像高ｉが１３．４ｍｍであったとすると、インクリメント後の像高ｉは１８．４ｍｍに設定される。

その後、制御部１０は、補正設定部４における処理をＳ４０３に戻す。これにより、Ｓ４０３以降では、インクリメント後の像高ｉを用いて前述同様の処理が行われる。すなわちＳ４０３では、インクリメント後の像高ｉとセンサ最大像高ｓの比較が行われ、その比較の結果、例えばＳ４０５に進んだ場合には前述同様に第四象限において像高ｉの画素値とそれより高い像高ｉ'の画素値を取得する。なお、Ｓ４０８でインクリメントにより像高ｉが１８．４ｍｍに設定された場合、それより高い像高ｉ'は例えば２０．４ｍｍに設定される。このように本実施形態において、像高ｉより高い像高ｉ'については、像高ｉより高くかつセンサ最大像高ｓの２１．６ｍｍより低い像高に設定される。

さらに、次のＳ４０６ではそれら像高ｉと像高ｉ'の画素値のペアから差分絶対値が算出され、さらに次のＳ４０７では差分絶対値と閾値の比較が行われることになる。前述した図５（ａ）と図５（ｃ）の例の場合、取得部２０１は、インクリメント後の像高ｉに対応した座標４０３の画素値４０４とそれより高い像高ｉ'に対応した座標４０５の画素値４０６とのペアの差分絶対値が算出されて閾値と比較される。ここで、図５（ａ）と図５（ｃ）の例の場合、座標４０３の画素値４０４と座標４０５の画素値４０６はともに値が０になっているため、差分絶対値も０である。したがってＳ４０７において、比較部２０３では、差分絶対値が閾値未満であると判定され、その判定結果の情報が像高設定部２０４に送られる。そして、像高設定部２０４は、差分絶対値が閾値未満であるとの判定結果を受けた場合には、後述するＳ４０９に処理を進める。

ここで、比較部２０３において差分絶対値が閾値未満であるとの判定結果が得られた状態は、イメージサークル外で周辺光量落ちが大きい可能性が高い領域であるにも関わらず、像高が変化しても画素値に増減がなくなっている状態であると考えられる。そして、像高ｉがこのような状態になるのは、レンズユニット１の鏡筒などで光がけられて届かない状態、若しくは被写体が真っ黒であるため入射光量が非常に少なくなっている状態のいずれかであると考えられる。そこで、補正設定部４においては、Ｓ４０９からＳ４１１までにより、それらのいずれの状態であるかを判定する処理するが行われる。

Ｓ４０９に進むと、取得部２０１は、Ａ／Ｄ変換部３より入力される画像データから、制御部１０から与えられる領域情報を基に、撮像画像の複数象限について像高ｉの画像データを取得する。このため、制御部１０は、撮像画像の画像中心を基準とした場合の各象限のうち前述した処理で扱われた第四象限を除く他の象限について、第四象限で設定された像高ｉと同じ像高ｉを設定する。ここでは、一例として画面右上にあたる第一象限について像高ｉを設定する場合を説明する。

図５（ｂ）は、図５（ａ）の撮像画像４００の画像中心から第一象限の画像端への像高方向順の各画素値をプロットしたグラフである。この時の制御部１０は、撮像画像４００の画像中心から第一象限の画像端へ向かう仮想直線上で、前述のＳ４０７で差分絶対値が閾値未満であると判定された際の像高ｉ（つまり１８．４ｍｍの像高）に対応した座標４１３を設定する。したがって、Ｓ４０９において、取得部２０１は、制御部１０からの第一象限の座標４１３を示す領域情報により、撮像画像４００の画像中心から第一象限の画像端へ向かう仮想直線上で設定された像高ｉの画素値４１４を取得する。そして、取得部２０１は、座標４１３における画素値４１４を、差分部２０２へ出力する。なお、図５（ａ）と図５（ｂ）の例の場合、像高ｉの画素値４１４は０であるとする。

次にＳ４１０において、差分部２０２は、前述した第四象限の像高ｉで取得された画素値４０４と、第一象限の像高ｉで取得された画素値４１４との差分絶対値を求める。例えば画素値４０４を値ｍ、画素値４１４を値ｎとすると、Ｓ４１０において、差分部２０２は差分の絶対値｜ｍ−ｎ｜を算出する。この例の場合、前述したように画素値４０４の値ｍは０であり、画素値４１４の値ｎも０であるため、それらの差分絶対値｜ｍ−ｎ｜も０となる。そして、差分部２０２は差分絶対値｜ｍ−ｎ｜を比較部２０３に出力し、制御部１０は補正設定部４における処理をＳ４１１に進める。

Ｓ４１１に進むと、比較部２０３は、差分部２０２から入力された差分絶対値｜ｍ−ｎ｜と、メモリ１１の閾値保持部２０７に用意されている閾値との比較を行い、差分絶対値｜ｍ−ｎ｜が閾値未満（｜ｍ−ｎ｜＜閾値）であるか否かを判定する。ここでも閾値が例えば値１０に予め設定されているとする。ここまでの例では、差分絶対値｜ｍ−ｎ｜が０であるため、比較部２０３は、Ｓ４１１において、差分絶対値｜ｍ−ｎ｜が閾値未満であると判定し、その判定結果が像高設定部２０４に送られる。

像高設定部２０４は、差分絶対値｜ｍ−ｎ｜が閾値未満であるとの判定結果が入力されると、第四象限と第一象限における同一の像高ｉの画素値が略々同じで象限が異なっていても画素値の増減がないことを認識する。この場合、像高設定部２０４は、像高ｉの領域はレンズユニット１の鏡筒などでけられることで光が届かない無光領域であると判断し、Ｓ４１３において、無光領域が像高ｉ以上の像高であることを表す情報を修正部２０６に送る。これにより、修正部２０６では、像高ｉ以上の無光領域に対応した補正値を前述したように修正する処理が行われることになる。なお、修正部２０６における処理の詳細は後述する。

一方、Ｓ４１１において、例えば差分絶対値｜ｍ−ｎ｜が閾値未満でないと判定された場合、それら第四象限または第一象限の、イメージサークルの近傍またはイメージサークル外に真っ黒の被写体が存在している可能性があると考えられる。この場合の詳細については後述する。

なお、前述の例では、画像中心から画像の四隅方向について象限を設定したが、必ずしもこれに限ったものではなく、例えば画像中心を原点とした角度でさらに細かく象限を設定しても良い。また、前述の例では、二つの象限における同一像高ｉの画素値の差分絶対値を求める例を挙げたが、例えば三つ以上の象限における同一像高ｉの画素値を取得してそれらの差分絶対値を求めて閾値と比較することで、像高ｉが無光領域か否かを判断しても良い。

次に、レンズユニット１がテレ側の焦点距離でかつ絞り開放に設定された場合を想定して、図４（ａ）のＳ３０１で行われる像高設定処理を説明する。ここでも、レンズユニット１が持つ入射光量に対するレンズ特性を判り易く説明するために、例えば全体が均一な輝度の被写体を画面全面に写した場合を想定した例を挙げる。
レンズユニット１がテレ側の焦点距離でかつ絞り開放である場合においても、図４（ａ）のＳ３０１の像高設定処理は、前述した図４（ｂ）のフローチャートと概ね同様の処理が行われる。このため、これ以降では、前述したレンズユニット１がワイド側の焦点距離でかつ絞り開放に設定された想定例とは、入射光量や画素値、差分絶対値等が異なっている場合の処理等についてのみ説明し、それら以外の処理の説明は適宜省略する。

図５（ｄ）〜図５（ｆ）には、レンズユニット１がテレ側の焦点距離でかつ絞り開放に設定された場合を想定した撮像画像と各像高の画素値との関係を説明するための図である。
図５（ｄ）は、レンズユニット１がテレ側の焦点距離でかつ絞り開放に設定された状態で撮像素子２により撮像された撮像画像４２０の一例を示している。図５（ｄ）の撮像画像４２０は、図５（ａ）の例と同様に全体が均一な輝度の被写体を画面全面に写すように撮影した画像例である。また図５（ｄ）にも前述同様のイメージサークル４１０を表した仮想円と画面中心から対角線方向へ延びる仮想直線が描かれている。

図５（ｆ）は、図５（ｄ）の撮像画像４２０の画像中心から第四象限の画像端への像高方向順の各画素値をプロットしたグラフである。取得部２０１は、Ｓ４０５において、前述同様に、図５（ｄ）の撮像画像４２０の画像中心から第四象限の画像端へ向かう仮想直線上で、設定された像高ｉと像高ｉ'の各画素値のデータをペアとして取得する。図５（ｄ）と図５（ｆ）の場合、取得部２０１は、撮像画像４２０の画像中心から第四象限の画像端へ向かう仮想直線上で、イメージサークル４１０との交点の座標４２１の画素値４２２を取得し、さらに像高ｉ'における座標４２３の画素値４２４を取得する。

ここで、一般的なレンズは、絞り開放でテレ側の焦点距離の場合には、イメージサークル近傍でも入射光量が急激に低下することは少なく、イメージサークル外の高い像高でも入射光量が緩やかに低下するようなレンズ特性になることが多い。レンズユニット１も同様に、絞り開放でテレ側の焦点距離の場合にはイメージサークル近傍やイメージサークル外の高い像高でも入射光量の低下が少ないレンズ特性であるとする。このためイメージサークル４１０上の座標４２１の光量低下は少なく、画像中心の画素値が適正露出に相当する値の１２８であったとすると、イメージサークル４１０上の画素値４２２は、その約３／４の値である９６程度を維持しているとする。また、イメージサークル４１０からさらに高い像高方向に離れた座標４２３においても光量は０にならず、例えば画像中心の光量（１２８）の半分程度の値である６４程度の画素値であるとする。

取得部２０１は、Ｓ４０５において、座標４２１の画素値４２２と座標４２３の画素値４２４のペアを、差分部２０２へ出力する。そして、差分部２０２は、Ｓ４０６において、画素値４２２と画素値４２４の差分絶対値｜ｘ−ｙ｜を求める。この例の場合、画素値４２２の値ｘが９６で、画素値４２４の値ｙが６４であるため、その差分絶対値｜ｘ−ｙ｜は３２となる。

次のＳ４０７において、比較部２０３は、差分絶対値｜ｘ−ｙ｜と閾値との比較を行う。この例の場合、差分絶対値｜ｘ−ｙ｜が３２であり閾値の１０より大きいため、比較部２０３は、差分絶対値｜ｘ−ｙ｜が閾値未満でない（差分絶対値が閾値以上である）と判定する。この判定結果により、像高設定部２０４は、像高ｉが光の届く領域であると判断し、次のＳ４０８において像高ｉのインクリメントを行う。

そして、Ｓ４０８からＳ４０３に処理が戻ると、Ｓ４０３以降では、インクリメント後の像高ｉを用いて前述同様の処理が行われる。その後、Ｓ４０６まで処理が進み、インクリメント後の像高ｉ（１８．４ｍｍ）と像高ｉ'（２１．６ｍｍ）の画素値のペアから差分絶対値が算出され、さらに次のＳ４０７で差分絶対値と閾値の比較が行われる。前述した図５（ｄ）と図５（ｆ）の例の場合、取得部２０１は、インクリメント後の像高ｉに対応した座標４２３の画素値４２４と像高ｉ'に対応した座標４２５の画素値４２６とのペアの差分絶対値が算出されて閾値と比較される。この例の場合、像高ｉ'の座標４２５でも未だ入射光量が０になっておらず、画素値４２４と画素値４２６との差分絶対値が閾値より大ききとする。したがって、Ｓ４０７では、差分絶対値が閾値未満でないと判定され、Ｓ４０８において更に像高ｉのインクリメントが行われる。この時のインクリメント前の像高ｉは１８．４ｍｍであり、したがって像高を５ｍｍ分だけ高くするインクリメント後の像高ｉは２１．６ｍｍとなる。

このＳ４０８の後にＳ４０３に戻ると、制御部１０は像高ｉとセンサ最大像高ｓとの比較を行うが、この時の像高ｉは前述のように２１．６ｍｍになっており、センサ最大像高ｓである２１．６ｍｍと同じ値になっている。したがって、制御部１０は、Ｓ４０３において、像高ｉがセンサ最大像高ｓ以上であると判定し、Ｓ４０４に処理を進める。

Ｓ４０４に進むと、制御部１０は、像高設定部２０４を制御し、像高ｉにセンサ最大像高ｓの値を設定させた後、Ｓ４１３に処理を進める。Ｓ４１３に進むと、像高設定部２０４は、センサ最大像高ｓの値に設定された像高ｉを示す情報を修正部２０６に出力する。この場合、修正部２０６では、センサ最大像高ｓまで無光領域が存在しないため前述した算出部２０５にて算出された補正値を修正せずに出力する。

なお、図５（ｅ）は図５（ｄ）の撮像画像４２０の画像中心から第四象限を除く他の象限（例えば第一象限）の画像端への像高方向順の各画素値をプロットしたグラフである。ただし、この例の場合、図４（ｂ）のＳ４０９以降へ処理は進まないため、図５（ｅ）を用いた説明は省略する。

次に、レンズユニット１がテレ側の焦点距離でかつ絞り開放に設定された状態で撮影が行われた時に、撮像画像内に例えば真っ黒の被写体が写っていた場合において、図４（ａ）のＳ３０１で行われる像高設定処理を説明する。ここでも、レンズユニット１が持つ入射光量に対するレンズ特性を判り易く説明するために、例えば全体が均一な輝度の被写体を画面全面に写すように撮影する場合を例に挙げるが、その撮像画像内には真っ黒の被写体が写っているとする。

この例においても、図４（ａ）のＳ３０１の像高設定処理は、前述した図４（ｂ）のフローチャートと概ね同様の処理が行われる。これ以降では、前述したレンズユニット１がワイド側の焦点距離でかつ絞り開放に設定された例において黒色の被写体が写っていた場合に、入射光量や画素値、差分絶対値等が異なっている処理等についてのみ説明し、それら以外の処理の説明は適宜省略する。

図６（ａ）〜図６（ｃ）には、レンズユニット１がテレ側の焦点距離でかつ絞り開放に設定され、例えばイメージサークル近傍或いはイメージサークル外に黒色の被写体が写った場合を想定した撮像画像と各像高の画素値との関係を説明するための図である。
図６（ａ）は、レンズユニット１がテレ側の焦点距離でかつ絞り開放に設定された状態で撮像素子２により撮像された場合を想定した撮像画像５００の一例を示している。図６（ａ）の撮像画像５００は、図５（ａ）の例と同様に全体が均一な輝度の被写体を画面全面に写すように撮影した場合を想定している。ただし、図６（ａ）の撮像画像５００の例では、黒色の被写体（例えば自動車）が、撮像画像５００の第四象限内に存在し、イメージサークル５１０近傍から第四象限の画像端までの間に写っているとする。また図６（ａ）にも前述同様のイメージサークル５１０を表した仮想円と画面中心から対角線方向へ延びる仮想直線が描かれている。

図６（ｃ）は、図６（ａ）の撮像画像５００の画像中心から第四象限の画像端への像高方向順の各画素値をプロットしたグラフである。取得部２０１は、Ｓ４０５において、前述同様に、図６（ａ）の撮像画像５００の画像中心から第四象限の画像端へ向かう仮想直線上で、設定された像高ｉと像高ｉ'の各画素値のデータをペアとして取得する。この例の場合、取得部２０１は、撮像画像５００の画像中心から第四象限の画像端へ向かう仮想直線上で、イメージサークル５１０との交点の座標５０１の画素値５０２を取得し、さらに像高ｉ'における座標５０３の画素値５０４を取得する。

ここで、レンズユニット１が絞り開放でテレ側の焦点距離である場合、入射光量は前述したようにイメージサークル近傍で急激に低下することは少なく、イメージサークル外の高い像高でも緩やかに低下することが多い。ただしこの例の場合、黒色の被写体が、撮像画像５００の第四象限内でイメージサークル５１０近傍から画像端までの間に写っている。そして、黒色の被写体に含まれる各画素の画素値、つまりそれら各画素に対応した像高の入射光量は非常に低い値（例えば０）になっているとする。このため、イメージサークル５１０上の座標５０１の画素値５０２や、その座標５０１より高い像高の座標５０３，５０５の画素値５０４，５０６がそれぞれ０になっているとする。

この例の場合、Ｓ４０５において取得部２０１により取得された座標５０１の画素値５０２と座標５０３の画素値５０４のペアが共に０であるため、Ｓ４０６において差分部２０２で算出された差分絶対値｜ｘ−ｙ｜も０となる。したがって、Ｓ４０７において、比較部２０３は、差分絶対値｜ｘ−ｙ｜が閾値未満であると判定し、補正設定部４の処理はＳ４０９の処理に進むことになる。すなわち差分絶対値｜ｘ−ｙ｜が閾値未満になるのは、前述したように、鏡筒などで光がけられた状態か、若しくは真っ黒な被写体が写っている状態かのいずれかであるため、それらいずれの状態であるかを判定するためにＳ４０９以降に処理が進められる。

Ｓ４０９に進むと、制御部１０による制御の下、取得部２０１は、撮像画像の複数象限について像高ｉの画像データを取得する。ここでも前述同様に、制御部１０は、撮像画像５００の画像中心から第一象限の画像端までの直線上において、第四象限で差分絶対値が閾値未満であるとの判定された時の像高ｉに対応した座標を設定する。この例の場合、Ｓ４０７で差分絶対値が閾値未満であるとの判定された時の像高ｉは、初期値に設定された像高である。したがって、制御部１０は、画像中心から第一象限の画像端へ向かう仮想直線上で、イメージサークル５１０との交点の像高ｉに対応した座標５１１を設定し、取得部２０１は、その座標５１１の画素値を取得することになる。

図６（ｂ）は、図６（ａ）の撮像画像５００の画像中心から第一象限の画像端への像高方向順の各画素値をプロットしたグラフである。ここで図６（ａ）の例の場合、撮像画像５００内で黒い被写体が写っているのは第四象限だけであり、第一象限には黒い被写体は写っていない。したがって、第一象限において各画素値をプロットした図６（ｂ）のグラフは、前述した図５（ｄ）の撮像画像４２０の第四象限における図５（ｆ）のグラフと同様のグラフとなる。このため前述したように第一象限の像高１３．４ｍｍの座標５１１における画素値５１２は例えば９６であり、また像高１８．４ｍｍの座標５１３の画素値５１４は６４、さらに像高２０．４ｍｍの座標５１５の画素値５１６もある程度大きい値であるとする。

そして、Ｓ４０９からＳ４１０に進むと、差分部２０２では、前述同様に、第四象限の像高ｉで取得された画素値５０２と第一象限の像高ｉで取得された画素値５１２との差分絶対値｜ｍ−ｎ｜が求められる。ここで、第四象限の像高ｉで取得された画素値５０２は前述したように０であり、一方、第一象限の像高ｉで取得された画素値５１２は例えば９６である。したがって、それらの差分絶対値｜ｍ−ｎ｜は９６となる。

次にＳ４１１に進むと、比較部２０３は、前述したように、差分絶対値｜ｍ−ｎ｜と閾値を比較し、差分絶対値｜ｍ−ｎ｜が閾値未満（｜ｍ−ｎ｜＜閾値）であるか否かを判定する。この例の場合、差分絶対値｜ｍ−ｎ｜は９６であり、閾値は１０であるため、Ｓ４１１において、比較部２０３は、差分絶対値｜ｍ−ｎ｜が閾値未満でない（閾値以上である）と判定し、その判定結果が像高設定部２０４に送られる。

像高設定部２０４は、差分絶対値｜ｍ−ｎ｜が閾値未満でないとの判定結果が入力されると、第四象限と第一象限の複数象限における同一の像高ｉの画素値が同じでなく、大きく異なっていると判断する。この場合、像高設定部２０４は、第一象限の像高ｉには光が届いていると判断し、Ｓ４０８に処理を進める。そして、像高設定部２０４は、第一象限において前述同様に像高ｉをインクリメントする。

その後、補正設定部４の処理はＳ４０３に戻り、以降、第一象限においてＳ４０３以降の処理が行われる。すなわち、第一象限について前述同様のＳ４０３以降の処理が行われる。図６（ａ）に示す第一象限の場合は、画像端の像高まで無光領域が存在しないため、Ｓ４０３からＳ４０７、さらにＳ４０８からＳ４０３に戻る処理が行われる。そして、最終的には第一象限において、Ｓ４０３において像高ｉがセンサ最大像高ｓ以上であると判定されてＳ４０４に処理が進み、その後Ｓ４１３に処理が進むことになる。

そして、Ｓ４１３に進むと、像高設定部２０４は、センサ最大像高ｓの値に設定された像高ｉを示す情報を修正部２０６に出力する。これにより、修正部２０６では、センサ最大像高ｓまで無光領域が存在しないため前述した算出部２０５にて算出された補正値を修正せずに出力する。すなわち、レンズユニット１がテレ側の焦点距離でかつ絞り開放に設定された状態で撮影された撮像画像内に黒い被写体が写っている場合、鏡筒等のけられによる無光領域が存在する場合のような補正値の修正は行われない。

図４（ｃ）は、図４（ａ）のＳ３０２における補正値制御処理の詳細な流れを示したフローチャートである。この図４（ｃ）のフローチャートの処理は、制御部１０、および制御部１０による制御下、修正部２０６により実行される。

図４（ｃ）のＳ５０１において、修正部２０６は、像高設定部２０４によって前述したように設定された像高ｉを示す情報を取得する。
次にＳ５０２において、修正部２０６は、算出部２０５を介して、制御部１０からレンズ最大像高ｄの情報を取得する。レンズ最大像高ｄは、制御部１０がレンズユニット１の特性記録部１０４より読み出したレンズ特性情報から取得された情報である。本実施形態で例示したように、レンズユニット１のレンズ特性情報がイメージサークル内の情報に限られていてイメージサークル外の情報が存在していない場合、レンズ最大像高ｄは、イメージサークルの半径に相当する像高となる。

次にＳ５０３において、修正部２０６は、像高ｉとレンズ最大像高ｄとを比較し、像高ｉがレンズ最大像高ｄより大きいか否かを判定する。ここで、レンズ特性情報が存在している像高の補正値については修正する必要がないため、修正部２０６は、像高ｉがレンズ最大像高ｄ以下であると判定した場合にはＳ５０４に処理を進めて、像高ｉにレンズ最大像高ｄの値を設定する。このＳ５０４の後、修正部２０６はＳ５０５に処理を進める。一方、レンズ特性情報が存在していない像高の補正値については必要に応じて修正する必要があるため、修正部２０６は、Ｓ５０３において像高ｉがレンズ最大像高ｄより大きいと判定（ｄ＜ｉ）した場合にはＳ５０５に処理を進める。

Ｓ５０５に進むと、修正部２０６は、算出部２０５により前述のように算出された周辺光量落ちの補正データを取得する。本実施形態の場合、Ｓ５０５において、修正部２０６は、前述の図３（ｃ）に示したような補正データ６０３を取得する。

次にＳ５０６において、修正部２０６は、補正データ６０３のうち像高ｉよりも高い像高に対応した補正値のみを前述したように修正する。本実施形態の場合、修正部２０６は、像高ｉより高い無光領域における補正値の像高に応じた平均変化率を、像高ｉより低い像高の領域における補正値の像高に応じた平均変化率より小さくなるように修正する。一例として、修正部２０６は、図３（ｄ）に示したように、像高ｉ以上の無光領域の補正値を、像高ｉに対応した補正値によりクリップするように修正する。そして、その修正後の補正値からなる補正データが、補正設定部４から出力されて、図１の現像部５の補正部５１に送られることになる。このＳ５０６の処理後、補正設定部４の処理は、前述した図４（ａ）のＳ３０３に進む。

以上にように、本実施形態のカメラ１００によれば、イメージサークル外の光が届かない像高を設定し、その設定像高より高い像高で、設定像高よりも低い像高と比べて、補正値の像高に応じた平均変化率を小さくする。これにより、イメージサークル外の光が届く領域に対する補正効果を得ながら、イメージサークル外の光が届かない領域に対するノイズ増加や色曲がり等のレンズ光学補正による副作用を抑えることができる。

なお前述した実施形態では、３５ｍｍフルサイズの撮像素子を有するレンズ交換式カメラに、ＡＰＳ−Ｃレンズを装着した場合を例に挙げたが、例えば円周魚眼レンズを装着したカメラにも本実施形態の画像処理は適用可能である。円周魚眼レンズを装着した場合、撮像素子の撮像面上では、円周魚眼レンズによるイメージサークルよりも高い像高には、光が届かず被写体像等も形成されない領域が存在する。このため、円周魚眼レンズを装着した場合も、前述同様にイメージサークル外で光が届かない領域を設定し、その設定領域より像高方向でより高い領域は、設定領域よりも低い像高の領域と比べて、補正値の像高に応じた平均変化率を小さくする。これにより、円周魚眼レンズを装着した場合も、イメージサークル外の光が届く領域に対する補正効果を得ながら、光が届かない領域付近に対するレンズ光学補正の副作用を抑えることができる。

＜回折補正の補正値設定処理の例＞
前述した例では、周辺光量落ちの補正値設定処理を例に挙げたが、他の補正値設定処理の例として、以下、画像の回折補正のための補正値設定処理ついて説明する。回折補正が行われる場合、図１および図２の補正設定部４では回折補正のための補正値の設定処理が行われる。そして、現像部５の補正部５１では、補正設定部４にて設定された回折補正の補正値を用い、Ａ／Ｄ変換部３から入力されるデジタル画像信号（画像データ）に対して、回折現象に起因する画質低下を補正する画像処理が行われる。

以下、本実施形態のおける回折補正のための補正値設定処理についてさらに詳しく説明する。
カメラ１００において、電源入時、あるいは交換レンズ（レンズユニット１）が接続されたときに、制御部１０は、前述同様に、特性記録部１０４からレンズユニット１のレンズ特性情報を読み込む。このときのレンズ特性情報には、回折補正フィルタの情報が含まれている。さらに、制御部１０は、前述同様に、所定のタイミング（例えばフレーム毎）でレンズユニット１の現在の状態を示すレンズ状態情報を取得する。そして、制御部１０は、レンズ特性情報およびレンズ状態情報を図２に示した補正設定部４に通知する。

補正設定部４の取得部２０１、差分部２０２、比較部２０３、像高設定部２０４における処理は前述同様であり、像高設定部２０４からは前述同様にして設定された像高ｉの値が修正部２０６に送られる。
算出部２０５は、レンズ特性情報に含まれる回折補正フィルタの情報を、レンズ状態情報に含まれる撮影時の絞り値に応じた回折補正係数に変換するような補正値算出処理を行う。また算出部２０５は、イメージサークル外における回折補正係数を補間処理により生成する。そして、算出部２０５により算出された回折補正係数が補正データとして修正部２０６に送られる。

回折補正処理の場合も前述した全体の処理の流れは前述した図４（ａ）のフローチャートと同様であり、また像高設定処理の流れも前述の図４（ｂ）のフローチャートと同様である。図４（ｃ）のフローチャートの補正値制御処理では、Ｓ５０１からＳ５０４までは前述同様であるが、Ｓ５０５以降の処理が前述の処理とは一部異なる。
回折補正処理において、図４（ｃ）の補正値制御処理のＳ５０５に進むと、修正部２０６は、算出部２０５により回折補正フィルタが撮影時の絞り値に応じて変換された回折補正係数からなる補正データを取得する。

次にＳ５０６において、修正部２０６は、算出部２０５により前述のように生成された回折補正係数を、像高設定部２０４により設定された像高ｉに基づいて修正する。具体的には、修正部２０６は、像高設定部２０４から通知された像高ｉより高い像高に対して、補正値の像高に応じた平均変化率が小さくなるように回折補正係数を修正する。回折補正係数の修正の際にも、像高ｉ以上の像高の回折補正係数をクリップするような修正処理を行っても良い。そして、その修正後の回折補正係数が補正設定部４から出力され、図１の現像部５の補正部５１に送られる。このＳ５０６の処理後、補正設定部４の処理は、前述した図４（ａ）のＳ３０３に進む。これにより、Ｓ３０３において、補正部５１では、回折現象に起因する画質低下を、画像信号処理によって低減させる回折補正処理が行われる。

以上のように、回折補正処理を行う場合にも前述同様に、イメージサークル外の光が届かない像高を設定し、その設定像高より高い像高で、設定像高よりも低い像高と比べて、回折補正の補正量が弱まるように回折補正係数を修正する。これにより、光が届く領域に対する補正効果は得ながら、光が届かない領域付近に対する回折補正の副作用を抑えることができる。

なお、本発明は、像高に応じて変化する補正データを用いる処理であれば適用可能である。例えば、ＲＧＢベイヤー配列の撮像素子を備えるカメラにおいて、Ｇに対応した画素の結像位置に対するＲまたはＢに対応した画素のズレの量を補正する色収差補正にも適用できる。この時、算出部２０５では、Ｇに対応した画素の結像位置に対するＲまたはＢに対応した画素のズレの量が算出されて修正部２０６に入力される。そして、修正部２０６では、像高設定部２０４から送られてきた像高ｉより高い像高に対して、前述のズレの量を小さくするような修正処理が行われる。

前述した実施形態では、レンズ交換が可能なデジタルカメラを例に挙げたが、この例には限定されず他の撮像装置にも適用可能である。例えば、デジタルカメラだけでなく、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、各種の監視カメラ、工業用カメラ、車載カメラ、医療用カメラなどにも本実施形態は適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１：レンズユニット、２：撮像素子、３：Ａ／Ｄ変換部、４：補正設定部、５：現像部、６：処理部、１０：制御部、１１：メモリ、５１：補正部、１００：デジタルカメラ、２０１：取得部、２０２：差分部、２０３：比較部、２０４：像高設定部、２０５：算出部、２０６：修正部

Claims (14)

1. 撮像光学系に関する特性情報に基づいて、前記撮像光学系の特性に起因する画質低下を補正するための補正値を設定する補正設定手段と、
   前記補正値を基に、前記画質低下を画像処理により補正する補正手段と、を有し、
   前記補正設定手段は、所定の像高より高い像高の領域について、前記所定の像高以下の像高の領域と比べて補正値の像高に応じた平均変化率を小さくすることを特徴とする画像処理装置。
2. 前記補正設定手段は、
   画像信号を取得する取得手段と、
   異なる像高の画像信号の差分の絶対値を出力する差分手段と、
   前記差分の絶対値と所定の閾値とを比較する比較手段と、
   像高を設定する像高設定手段と、を有し、
   前記像高設定手段では、前記所定の像高より高い像高として、前記差分の絶対値が前記所定の閾値未満になる像高を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像信号に基づく画像の中心を原点として、前記画像に対して少なくとも二つの象限を設定する制御手段を有し、
   前記像高設定手段は、
   前記少なくとも二つの象限のうちのいずれか一つの象限において前記画像信号の差分の絶対値が前記所定の閾値未満になっても、残りの象限において前記画像信号の差分の絶対値が前記所定の閾値未満にならない像高は、前記所定の像高より高い像高として設定せず、
   前記少なくとも二つの象限の全ての象限において前記画像信号の差分の絶対値が前記所定の閾値未満になる像高を、前記所定の像高より高い像高として設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記補正値は、前記像高に応じて変化する値であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記特性情報は、前記所定の像高以下の像高に対応して存在することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記補正設定手段は、前記特性情報を基に前記所定の像高より高い像高の領域の補正値を補間により生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記所定の像高は、撮像光学系の設計上のイメージサークルの像高であることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記補正設定手段は、周辺光量低下を補正する補正値を設定し、
   前記補正手段は、前記補正値に基づいて周辺光量低下を補正することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記補正設定手段は、色収差の補正値を設定し、
   前記補正手段は、前記補正値に基づいて前記色収差を補正することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記補正設定手段は、回折補正の補正値を設定し、
    前記補正手段は、前記補正値に基づいて前記回折補正を行うことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記補正設定手段は、画像回復の補正値を設定し、
    前記補正手段は、前記補正値に基づいて前記画像回復を行うことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記撮像光学系は交換レンズであることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 画像処理装置が実行する画像処理方法であって、
    撮像光学系に関する特性情報に基づいて、前記撮像光学系の特性に起因する画質低下を補正するための補正値を設定する補正設定工程と、
    前記補正値を基に、前記画質低下を画像処理により補正する補正工程と、を有し、
    前記補正設定工程では、所定の像高より高い像高の領域について、前記所定の像高以下の像高の領域と比べて補正値の像高に応じた平均変化率を小さくすることを特徴とする画像処理方法。
14. コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images