JP2011049641A - 撮影装置、その制御方法、及びプログラム - Google Patents

Abstract

【課題】撮影レンズに起因する画質の低下を、離散的な補正データに基づいてリアルタイムに補正することができるようにする。
【解決手段】撮影レンズの特性情報を予め記録しておき、撮影時には、この撮影レンズの特性情報と撮影レンズのズーム位置、フォーカス位置、絞り値等の状態に基づいて、撮影レンズに起因する画像劣化を補正するための補正係数の計算頻度を、その画像劣化の度合いに基づいて制御する。そして、計算された補正係数に基づいて、離散的な補正データを補間する形でデジタル画像データを補正する。
【選択図】図２

Description

本発明は、撮影装置、その制御方法、及びプログラムに関し、特に撮影された画像の補正技術に関する。

一般に、撮影レンズには、その特性により、撮影画像においてボケや歪み、滲み、或いは周辺光量落ち等の画像を劣化させる各種の要因を内包している。例えば、像の周辺が滲む倍率色収差は、撮影レンズを通過した赤、緑、青の各光が、その波長ごとに光軸垂直方向における異なる位置で結像されることによって生じる。

また、画像中心に比べて周辺ほど光量が低下する周辺光量落ちは、撮影レンズの鏡筒によって周辺光の一部がケラレることにより生じる所謂、口径食（ヴィグネッティング）、或いはコサイン４乗則などによって引き起こされる。

これら撮影レンズに起因する種々の問題は、例えば色収差であれば複数の撮影レンズを用いたり、色分散の少ない蛍石をレンズ素材用としている等の方法である程度は低減できるが、完全に防止することはできない。周辺光量落ちについても、イメージサークルの大きな撮影レンズを用いることである程度は低減できるが、完全に防止することはできない。

そこで、デジタルカメラでは、撮影レンズの特性による画像劣化を画像補正により低減させる手法が多く用いられるようになってきた。例えば、撮影レンズの絞りや焦点距離に応じた周辺光量低下データをＲＯＭに記録し、実際の撮影レンズの絞り値や焦点距離に応じて、デジタル・シグナル・プロセッサで補正する手法が特許文献１に記載されている。

また、撮影レンズの収差情報と、被写体の輝度データ、及び色差データに基づいてレンズ収差に起因する画質の低下を補正する手法が特許文献２で公開示されている。

さらに、これら撮影レンズに起因する画質の低下を補正する方法は、デジタルスチルカメラだけでなく、デジタルビデオカムコーダや、撮像素子が受光した像をリアルタイムで表示する所謂ライブビュー機能を搭載したカメラなどにも適用されている。

例えば、特許文献３では、レンズ装置に収差や周辺光量などの補正データを記憶させておき、電源投入時やレンズ接続時にその情報を受信して、リアルタイムで補正を行う方法が開示されている。

しかし、周辺光量補正データは、１つの撮影レンズでも絞り値やフォーカス位置に応じて補正データは異なり、さらにズーム機構を備えた撮影レンズであれば焦点距離によっても補正データは異なる。従って、上記の補正データは膨大なものになり、多くのメモリ領域を必要とするのみならず、通信時間が長くなるという問題があった。

そこで、特許文献４では、ズーム位置、絞り値、フォーカス位置ごとに周辺光量落ち補正データを持つのではなく、離散的な補正データから現在のズーム位置、絞り値、フォーカス位置に対応する補正データを演算により求めて補間する方法が開示されている。

特開２００３−１１０９３６号公報 特開２０００−３４３７号公報 特開２００８−９６９０７号公報 特開２００６−１２１３８４号公報

しかしながら、特許文献４の方法では、現在のズーム位置、絞り値、フォーカス位置に対応する補正データを離散的な補正データに基づいて補間するための補間演算に時間を要する。そのため、ズーム位置やフォーカス位置を変更した後は、補正データの演算が追いつかずに撮影レンズに起因する画質の低下が目立ってしまうことがあった。これを解決するために、デジタルカメラの補正データの補間演算の処理速度を向上させることが考えられるが、単にデジタルカメラの画像処理回路を性能の優れたものに置き換えるのであれば、コストの増加につながってしまう。

本発明は、このような技術的な背景の下になされたもので、その目的は、撮影レンズの状態が変化した場合であっても、撮影レンズに起因する画質の低下を、離散的な補正データに基づいて適切な応答特性で補正することができるようにすることにある。

上記目的を達成するため、本発明は、撮影レンズにより得られた被写体の光学像を光電変換して得られた画像データに画像処理を施す撮像装置において、撮影時に前記撮影レンズの状態を取得する取得手段と、撮影レンズの特性情報と前記撮影レンズの状態に基づいて、前記撮影レンズに起因する画像劣化を補正するための補正係数を計算する計算手段と、前記補正係数を用いて前記画像データを補正する補正手段と、前記計算手段により前記補正係数を計算する際の計算頻度を、前記撮影レンズに起因する画像劣化の度合いに基づいて制御する制御手段と、を有することを特徴とする。

本発明によれば、撮影レンズの状態が変化した場合であっても、撮影レンズに起因する画質の低下を、離散的な補正データに基づいて適切な応答特性で補正することが可能となる。

本発明の実施の形態に係る撮影装置の概略構成を示すブロック図である。 図１の撮像装置での補正係数の頻度設定処理を示すフローチャートである。 周辺光量落ち補正処理を示すフローチャートである。 色収差補正処理を示すフローチャートである。 撮像素子が受光する輝度と現像後の輝度との関係を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態に係る撮影装置の概略構成を示すブロック図である。図１に示した撮像装置１００は、撮影レンズ１０としてフォーカスレンズ１０ａ、ズームレンズ１０ｂ、及びレンズＩＤやレンズのワイド端・テレ端焦点距離、離散的な補正データなどの情報が記録されたレンズ情報記録部１０ｃを有している。

なお、上記の記録される離散的な補正データには、周辺光量落ち、色収差、シェーディング、球面収差、歪曲収差等の撮影レンズ１０に起因する各種の画質劣化を補正するための補正データが含まれている。

撮影レンズ１０を透過した光学像は、絞りシャッタ１２を開くことで撮像素子１４に入射される。撮像素子１４は、光学像を光電変換し、アナログの画像信号として出力する。Ａ／Ｄ変換器１６は、アナログ画像信号をデジタル画像データに変換する。

タイミング信号発生回路１８は、メモリ制御部２２、システム制御部５０の制御の下に、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号、制御信号等を供給する。

画像処理回路２０は、Ａ／Ｄ変換器１６からの画像データ、或いはメモリ制御部２２からの画像データに対して、画素補間処理、色変換処理等の所定の画像処理を施す。また、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。この演算結果に基づいて、システム制御部５０は、絞りシャッタ駆動部４０、フォーカスレンズ駆動部４２を制御するためのＴＴＬ方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理及びフラッシュ４８のプリ発光（ＥＦ）処理を行う。

また、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、この演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行う。

顔認識回路２１は、被写体像の中から人物像、特に顔を認識（検出）し、その検出結果をシステム制御部５０に通知する。システム制御部５０は、顔検出結果に応じて顔の部分にフォーカスを合わせるためにフォーカスレンズ駆動部４２を制御したり、フラッシュ４８の光量を調整したりする。また、システム制御部５０は、顔検出結果に応じて、顔の肌がきれいに見えるように、画像処理回路２０によりＷＢ（ホワイトバランス）を処理させる。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング信号発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、及び圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力された画像データは、画像処理回路２０及びメモリ制御部２２を介して、又はメモリ制御部２２のみを介して画像表示メモリ２４又はメモリ３０に書き込まれる。

画像表示部２８は、Ｄ／Ａ変換器２６によりアナログ信号に変換され、画像表示メモリ２４に書き込まれた画像信号を逐次表示することで、電子ビューファインダ（ＥＶＦ）機能、所謂、ライブビュー機能を実現する。なお、画像表示部２８は、システム制御部５０の指示により、電子ビューファインダ（ＥＶＦ）機能をＯＮ／ＯＦＦする。

上記のライブビュー機能においては、本実施の形態に特有な撮影レンズ１０に起因する画質低減を抑制するための画像補正を行うことができる。この画像補正においては、電源投入時、或いは交換レンズ（撮影レンズ１０）が接続されたときに、レンズ情報記録部１０ｃから撮影レンズ１０の情報を読み込んでおく。このレンズの特性情報には、前述のように、撮影レンズ１０のＩＤや開放絞り値、テレ端、ワイド端の焦点距離などの情報が含まれている。

レンズ情報取得部１５は、或るタイミング、例えばフレーム毎に撮影レンズ１０の現在の状態を取得する。具体的には、レンズ情報取得部１５は、絞りシャッタ駆動部４０から現在の絞り値を、ズームレンズ駆動部４４から現在の焦点距離(ズーム位置)を、フォーカスレンズ駆動部４２から現在のフォーカス位置を取得する。ただし、これら以外の画像補正に必要なレンズ状態を適宜取得することも可能である。

システム制御部５０は、レンズ情報取得部１５により取得されたレンズ状態と、レンズ情報記録部１０ｃから予め読み込んでおいたレンズの特性情報を補正係数計算部２３へ通知する。補正係数計算部２３は、例えば撮影レンズ１０の周辺光量落ちを補正する補正係数、歪曲を補正する補正係数、色収差を補正する補正係数等の種々の補正係数を算出し、それら複数の補正係数を画像処理回路２０に通知する。

画像処理回路２０は、通知された複数の補正係数に基づいて、撮影レンズ１０に起因する複数種の画像劣化を補正する。この場合、画像処理回路２０は、各画像劣化に対応する離散的な補正データを補間する形で補正処理を行う。

上記の補正係数計算部２３での画像補正係数の計算に、長時間を要する場合があり、その計算所要時間によってはリアルタイムで画像補正を行うことができない場合がある。この場合、例えば、数フレームに１度のタイミングで補正係数を計算し、遅延して補正処理を行うことが考えられる。

しかしながら、遅延して補正処理を行うと逆に見栄えが悪くなる場合もある。例えば、周辺光量落ちに係る補正係数を、上記のように、数フレームに１度のタイミングで計算した場合、次のような問題が発生する。

すなわち、ワイド側からテレ側にズームを行うと、周辺光量落ちが低減するので、過剰に補正を掛けることになり、画像の周辺が一瞬明るくなり、数フレーム経過してから最適補正になる。逆に、テレ側からワイド側へズームを行うと、周辺光量落ちが徐々に増大するので、補正の掛け方が少なくなり、画像の周辺が一瞬暗くなり、数フレーム経過してから最適補正になる。

ここで、ズーム位置がテレ側からワイド側に移動した場合の方が、ワイド側からテレ側へ移動した場合よりも、見栄えが悪くなる。従って、本実施の形態では、ズーム位置がテレ側からワイド側に移動し、より見栄えが悪くなる場合にのみ、周辺光量落ち補正のための補正係数の計算の周期（頻度）を上げ、他の補正処理のプライオリティを下げることとしている。

メモリ３０は、撮像に係る静止画像を格納する。また、メモリ３０は、動画撮影時に所定レートで連続的に記録媒体２００に書き込まれる画像のフレームバッファとして使用される。さらに、メモリ３０は、システム制御部５０の作業領域としても使用される。

圧縮・伸長回路３２は、公知の画像圧縮方法を用いて画像データを圧縮・伸長する。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理又は伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。

絞りシャッタ駆動部４０は、画像処理回路２０での演算結果に基づいて、絞りシャッタ１２を駆動し、絞り及びシャッタ速度を制御する。フォーカスレンズ駆動部４２は、画像処理回路２０での演算結果に基づいて、フォーカスレンズ１０ａを駆動し、ＡＦ（オートフォーカス）制御を行う。ズームレンズ駆動部４４は、操作部７０による変倍操作に応じて、ズームレンズ１０ｂを駆動する。フラッシュ４８は、ＡＦ補助光の投光機能やフラッシュ調光機能を有する。

システム制御部５０は、ＣＰＵやメモリを含み、撮像装置１００の動作を全体的に制御する。メモリ５２には、システム制御部５０の動作用の定数、変数、コンピュータプログラム（基本プログラム）等が記憶される。

不揮発性メモリ５６は、例えば電気的に消去・記録可能なＥＥＰＲＯＭ等で構成され、コンピュータプログラム等の格納用メモリとして使用される。この場合、当然ながら、コンピュータプログラムは、コンピュータ読取可能に不揮発性メモリ５６に格納される。

このコンピュータプログラムには、後述する図２〜４のフローチャートに係るコンピュータ実行可能に構成されたアプリケーションプログラムが含まれる。また、不揮発性メモリ５６には、メニュー画面、露出補正／ＡＥＢ設定画面等のＧＵＩ画面上で設定された設定値等も格納される。

メインスイッチ６０は、撮像装置１００の電源のオン／オフを切換えるためのスイッチである。また、メインスイッチ６０の操作によって、撮像装置１００に接続された記録媒体２００の電源のオン／オフも同時に切換えることができる。

シャッタスイッチ（ＳＷ１）６２は、レリーズボタンの第１ストローク操作（半押し）によってＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始をシステム制御部５０に指示する。シャッタスイッチ（ＳＷ２）６４は、レリーズボタンの第２ストローク操作（全押し）によってＯＮとなり、露光処理、現像処理及び記録処理からなる一連の撮像処理の動作開始をシステム制御部５０に指示する。

操作部７０は、各種ボタン、スイッチ、タッチパネル等を有している。ボタンとしては、例えば、メニューボタン、セットボタン、メニュー移動ボタン、圧縮モードスイッチなどが有る。システム制御部５０は、操作部７０からの信号に応じて各種動作を行う。

なお、圧縮モードスイッチは、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）圧縮の圧縮率を選択するため、或いは撮像素子１４の信号をそのままデジタル化して記録媒体２００に記録するＣＣＤＲＡＷモードを選択するためのスイッチである。

ＪＰＥＧ圧縮のモードとしては、例えばノーマルモードとファインモードが用意されており、撮影した画像のデータサイズを重視する場合はノーマルモードを、撮影した画像の画質を重視する場合はファインモードを、それぞれ選択すればよい。

ＪＰＥＧ圧縮のモードにおいては、撮像素子１４から読み出されてＡ／Ｄ変換器１６、画像処理回路２０、及びメモリ制御部２２を介して、メモリ３０に書き込まれた画像データを読み出す。この画像データを、設定に係る圧縮率で圧縮・伸長回路３２により圧縮し、記録媒体２００に記録する。

ＣＣＤＲＡＷモードでは、撮像素子１４の色フィルタの画素配列に応じて、ライン毎にそのまま画像データを読み出して、Ａ／Ｄ変換器１６、及びメモリ制御部２２を介して、メモリ３０に書き込まれた画像データを読み出し、記録媒体２００に記録する。

動画記録ボタン７３は、撮影された動画データをメモリ３０、記録媒体２００に記録する記録動作を指示するために操作される。

９０は記録媒体２００のインタフェースであり、９２は記録媒体２００との接続を行うコネクタである。記録媒体２００は、撮像装置１００で撮影されら動画データ、静止画データを記録・保存するために利用され、インタフェース２０４、記録部２０２を有し、コネクタ２０６を介して撮像装置１００に着脱自在に接続される。記録媒体２００に記録・保存する場合は、撮影レンズ１０による画質低減を抑制するための画像補正を行うことができる。

＜ライブビュー実施時、或いは動画像記録中の画像補正処理＞
次に、ライブビュー実施時、或いは動画記録中に撮影レンズ１０に起因する画像劣化を補正するための画像補正処理を、図２〜４のフローチャートに基づいて説明する。本実施の形態では、撮影レンズ１０の焦点距離の増減に応じて、周辺光量落ち補正用の補正係数の計算頻度を異ならせる例を用いて説明を行う。

まず、周辺光量落ち補正用の補正係数の頻度設定処理を、図２のフローチャートに基づいて説明する。

ライブビュー実施時、或いは動画記録ボタン７３の押下により動画記録が開始されると、ステップＳ２０１において、システム制御部５０は、補正係数計算部２３に対し補正係数の演算頻度を示すＦｌａｇを初期値０に設定する。次に、ステップＳ２０２において、レンズ情報取得部１５は、システム制御部５０の制御の下にレンズ情報記録部１０ｃからレンズの特性情報を読み込む。なお、レンズの特性情報の読み込むタイミングは、ライブビュー実施時、或いは動画記録が開始される時点ではなく、電源投入時や交換レンズの接続時に行ってもよい。

次に、ステップＳ２０３において、システム制御部５０は、現在の焦点距離、フォーカス位置、絞り値など、撮影レンズ１０に起因する画像劣化を補正するための補正係数を算出するのに必要な撮影レンズ１０の状態の情報を取得する。なお、システム制御部５０は、現在の焦点距離、フォーカス位置、絞り値を、それぞれ、ズームレンズ駆動部４４、フォーカスレンズ駆動部４２、絞りシャッタ駆動部４０から取得する。

そして、ステップＳ２０４において、システム制御部５０は、撮影レンズ１０の状態が前回の状態から変化しているか否かを判定する。撮影レンズ１０の状態が前回の状態から変化していなければ、ステップＳ２０５において、システム制御部５０は、補正係数計算部２３に対し、補正係数の演算頻度を示すＦｌａｇを０に設定し（Ｓ２０５）、ステップＳ２０３に戻る。

一方、撮影レンズ１０の状態が前回の状態から変化している場合は、ステップＳ２０６において、システム制御部５０は、その状態変化が撮影レンズ１０の焦点距離が前回よりもワイド（広角）側に移動する変化であるか否かを判別する。その結果、ワイド側に移動する変化であれば、ステップＳ２０７において、システム制御部５０は、補正係数計算部２３に対し、補正係数の演算頻度を示すＦｌａｇを２に設定し、ステップＳ２０３に戻る。

一方、ワイド側ではなくテレ側（望遠）へ移動する変化であれば、ステップＳ２０８において、システム制御部５０は、補正係数計算部２３に対し、補正係数の演算頻度を示すＦｌａｇを２に設定し、ステップＳ２０３に戻る。

システム制御部５０は、これらの処理を連続して繰り返す。そうすることで、補正係数計算部２３の補正係数の演算頻度を示すＦｌａｇは、撮影レンズ１０の移動がないときは０、撮影レンズ１０の焦点距離がテレ側に移動されているときは１、撮影レンズ１０の焦点距離がワイド側に移動されているときは２に設定される。

続いて、周辺光量落ち補正処理を、図３のフローチャートに基づいて説明する。この周辺光量落ち補正処理は、図２に示す補正係数の頻度設定処理、および、後述する図４に示す色収差補正処理と並行して実施される。また、この周辺光量落ち補正処理は、システム制御部５０が補正係数計算部２３、及び画像処理回路２０を制御することによって実行される。

ライブビュー実施時、或いは動画記録ボタン７３の押下により動画記録が開始されると、ステップＳ３０１において、補正係数計算部２３は、現在設定されている補正係数の演算頻度を示すＦｌａｇが０以外であるか否かを判定する。

このＦｌａｇが０であると判定されると、ステップＳ３１２において、補正係数計算部２３は新たな周辺光量落ち補正用の補正係数を求めることなく、前回求めた周辺光量落ち補正用の補正係数を不図示の内部メモリから読み出す。ただし、この周辺光量落ち補正処理の開始後すぐにステップＳ３１２に進んだ場合に限り、前回求めた周辺光量落ち補正用の補正係数が存在しない。このような場合に限り、システム制御部５０から最新の撮影レンズ１０の状態の情報を受け取り、新たな周辺光量落ち補正用の補正係数を演算する。

次に、ステップＳ３１３において、画像処理回路２０はＡ／Ｄ変換器１６から最新の画像データを受け取る。

そして、ステップＳ３１４において、画像処理回路２０は、受け取った画像データに対し、ステップＳ３１２で読み出した周辺光量落ち補正用の補正係数を用いて周辺光量落ち補正処理を行う。そして、ステップＳ３０１に戻る。

ステップＳ３０１でＦｌａｇが０以外であると判定されると、ステップＳ３０２において、補正係数計算部２３は、システム制御部５０から最新の撮影レンズ１０の状態の情報を受け取る。

ステップＳ３０３において、補正係数計算部２３は、レンズ情報記録部１０ｃに記憶されていた離散的な補正データから、ステップＳ３０２で受け取った最新の撮影レンズ１０の状態の情報に対応する周辺光量落ち補正用の補正係数を補間演算にて求める。

ステップＳ３０４において、画像処理回路２０はＡ／Ｄ変換器１６から最新の画像データを受け取る。

ステップＳ３０５において、画像処理回路２０は、受け取った画像データに対し、ステップＳ３０３で求めた周辺光量落ち補正用の補正係数を用いて周辺光量落ち補正処理を行う。画像処理回路２０にて周辺光量落ち補正処理が行われた画像データはＤ／Ａ変換器２６によりＤ／Ａ変換し、画像表示部２８に表示される。

ステップＳ３０６において、補正係数計算部２３は、現在設定されている補正係数の演算頻度を示すＦｌａｇが２であるか否かを判定する。

Ｆｌａｇが２であると判定されると、ステップＳ３０７において、補正係数計算部２３は、ステップＳ３０３で求めた周辺光量落ち補正用の補正係数を用いて、連続する２フレームの画像データに対して周辺光量落ち補正処理を行ったか否かを判定する。連続する２フレームの画像データに対して周辺光量落ち補正処理を行っていなければ、ステップＳ３０４、Ｓ３０５に戻り、画像処理回路２０が新たな画像データを受け取って、先ほどと同一の周辺光量落ち補正用の補正係数を用いて周辺光量落ち補正処理を行う。

連続する２フレームの画像データに対して周辺光量落ち補正処理を行っていれば、ステップＳ３０９にて、補正係数計算部２３は、最新の補正係数の演算頻度を示すＦｌａｇが０であるか否かを、すなわち、撮影レンズ１０の駆動が停止したか否かを判定する。

Ｆｌａｇが０でなければ、ステップＳ３０１に戻る。

Ｆｌａｇが０であれば、ステップＳ３１０において、補正係数計算部２３は、最新の撮影レンズ１０の状態の情報をシステム制御部５０から受け取る。そして、ステップＳ３１１において、補正係数計算部２３は、最新の撮影レンズ１０の状態に応じた周辺光量落ち補正用の補正係数を求め、ステップＳ３０１に戻る。

このように、補正係数計算部２３は、Ｆｌａｇが２に設定されている場合は、１度求めた周辺光量落ち補正用の補正係数を用いて、２フレームに対して周辺光量落ち補正を行う（Ｓ３０３〜Ｓ３０７）。すなわち、撮影レンズ１０がワイド側に移動している間は、補正係数計算部２３によって２フレームの画像に一度の頻度で周辺光量落ち補正用の補正係数が更新され、この補正係数を用いて画像処理回路２０にて周辺光量落ち補正が行われる。そして、撮影レンズ１０の移動が停止すれば、補正係数計算部２３によって停止した撮影レンズ１０の位置に応じた周辺光量落ち補正用の補正係数が求められる（Ｓ３０９〜Ｓ３１１）。撮影レンズ１０がそのまま停止していれば、その補正係数を用いて、その後の各フレーム画像に対して画像処理回路２０にて周辺光量落ち補正が行われる（ステップＳ３１２〜Ｓ３１４）。

ここで、ステップＳ３０６に戻り、Ｆｌａｇが２でない、すなわちＦｌａｇが１であると判定されると、ステップＳ３０８に進む。

ステップＳ３０８において、補正係数計算部２３は、ステップＳ３０３で求めた同一の周辺光量落ち補正用の補正係数を用いて、連続する４フレームの画像データに対して周辺光量落ち補正処理を行ったか否かを判定する。連続する４フレームの画像データに対して周辺光量落ち補正処理を行っていなければ、ステップＳ３０４、Ｓ３０５に戻り、画像処理回路２０が新たな画像データを受け取って、先ほどと同一の周辺光量落ち補正用の補正係数を用いて周辺光量落ち補正処理を行う。

反対に、連続する４フレームの画像データに対して周辺光量落ち補正処理を行っていれば、ステップＳ３０９に進む。

このように、本実施の形態では、撮影レンズ１０の焦点距離がワイド側に移動した場合は、テレ側に移動した場合よりも周辺光量落ち補正用の補正係数の計算頻度を高くしている。

これは、次の理由による。すなわち、一般には、画像処理回路２０は専用のプロセッサから構成されるため、画像補正処理は比較的高速に行うことができる。しかしながら、補正係数を計算する補正係数計算部２３は、計算アルゴリズムが日々改良されることから、専用プロセッサではなく汎用プロセッサで計算される場合も多い。さらには、廉価版の撮像装置においては、メモリ容量や汎用プロセッサの処理速度が充分でなく、補正係数の計算処理に長時間を要し、撮影レンズ１０の状態をリアルタイムで反映した補正係数を得られない場合もある。例えば、周辺光量落ちの度合いは、焦点距離、絞り値、フォーカス位置などによって大きく変化する。特に、ズームを行って焦点距離が変わった場合は、周辺光量落ちの度合いは大きく変わるため、画像補正のリアルタイム性がより強く求められる。

しかしながら、周辺光量落ち補正用の補正係数の計算をフレーム毎に行うと、色収差補正等の他の補正処理が間に合わなくなる可能性もある。そこで、本実施の形態では、原則として、数フレームに１度という周期（頻度）で、周辺光量落ち用の補正係数を計算することとしている。

ここで、例えば焦点距離をワイド（広角）側からテレ（望遠）側へ移動させた場合は、画像の周辺部が明るくなり、その後、テレ側の補正係数による補正が効いて適正露出となる。逆に、焦点距離をテレ（望遠）側からワイド（広角）側に移動させた場合は、画像の周辺部が暗くなった後に、適正露出となる。

しかし、画像の周辺部が明るくなるという画質劣化は、画像の周辺部が暗くなるという画質劣化に比べて目立たない。すなわち、図５に示すように、撮像素子１４の出力輝度が「２０００」の場合に、ＪＰＥＧなどへの現像を行ったときは、そのＪＰＥＧデータの輝度は「１９２」程度になる。焦点距離をテレ側に移動させ、周辺光量落ちが抑制されて撮像素子１４の出力輝度が２倍の「４０００」になった場合でも、ＪＰＥＧに現像した場合の輝度は、２倍の「３８４」にはならずに「２５５」になる。

一方、撮像素子１４の出力輝度が「２０００」の場合に焦点距離をワイド側に移動させ、周辺光量落ちが発生して撮像素子１４の出力輝度が「１０００」となったときは、ＪＰＥＧに現像した場合の輝度は、約半分の「９６」程度になる。

従って、テレ（望遠）側からワイド（広角）側に移動させた場合に画像の周辺部が暗くなるという画質劣化は、焦点距離をワイド側からテレ側へ移動させた場合に画像の周辺部が明るくなるという画質劣化に比べて、目立つこととなる。

そこで、本実施の形態では、焦点距離がワイド側からテレ側へ移動した場合は、４フレームに１度という周期（頻度）で、周辺光量落ち用の補正係数を計算することとしている。一方、焦点距離がテレ側からワイド側に移動した場合は、２フレームに１度の周期で補正係数を算出することとしている。

次に、色収差補正処理を、図４のフローチャートに基づいて説明する。この色収差補正処理は、図２に示す補正係数の頻度設定処理、および、図３に示す周辺光量落ち補正処理と並行して実施される。また、この色収差補正処理は、システム制御部５０が補正係数計算部２３、及び画像処理回路２０を制御することによって実行される。

この色収差補正処理は、図３に示す周辺光量落ち補正処理とは反対に、撮影レンズ１０の焦点距離がテレ側からワイド側へ移動した場合のほうが、ワイド側からテレ側に移動した場合よりも、補正係数を算出する更新周期が長く設定される。

ライブビュー実施時、或いは動画記録ボタン７３の押下により動画記録が開始されると、ステップＳ４０１において、補正係数計算部２３は、現在設定されている補正係数の演算頻度を示すＦｌａｇが０以外であるか否かを判定する。このＦｌａｇが０であると判定されると、ステップＳ４１２において、補正係数計算部２３は前回求めた色収差補正用の補正係数を不図示の内部メモリから読み出す。そして、ステップＳ４１３、Ｓ４１４において、画像処理回路２０はＡ／Ｄ変換器１６から最新の画像データを受け取り、ステップＳ４１２で補正係数計算部２３が読み出した色収差補正用の補正係数を用いて色収差補正処理を行う。そして、ステップＳ４０１に戻る。

ステップＳ４０１でＦｌａｇが０以外であると判定されると、ステップＳ４０２において、補正係数計算部２３は、システム制御部５０から最新の撮影レンズ１０の状態の情報を受け取る。ステップＳ４０３において、補正係数計算部２３は、レンズ情報記録部１０ｃに記憶されていた離散的な補正データから、ステップＳ４０２で受け取った最新の撮影レンズ１０の状態の情報に対応する色収差補正用の補正係数を補間演算にて求める。

画像処理回路２０は、ステップＳ４０４において、Ａ／Ｄ変換器１６から最新の画像データを受け取り、ステップＳ４０５において、受け取った画像データに対し、ステップＳ４０３で求めた色収差補正用の補正係数を用いて色収差補正処理を行う。

ステップＳ４０６において、補正係数計算部２３は、現在設定されている補正係数の演算頻度を示すＦｌａｇが２であるか否かを判定する。

Ｆｌａｇが２であると判定されると、ステップＳ４０７において、補正係数計算部２３は、ステップＳ４０３で求めた色収差補正用の補正係数を用いて、連続する６フレームの画像データに対して色収差補正処理を行ったか否かを判定する。連続する６フレームの画像データに対して色収差補正処理を行っていなければ、ステップＳ４０４、Ｓ４０５に戻る。

反対に、連続する６フレームの画像データに対して色収差補正処理を行っていれば、ステップＳ４０９にて、補正係数計算部２３は、最新の補正係数の演算頻度を示すＦｌａｇが０であるか否かを判定する。Ｆｌａｇが０でなければ、ステップＳ４０１に戻る。

Ｆｌａｇが０であれば、ステップＳ４１０において、補正係数計算部２３は最新の撮影レンズ１０の状態の情報をシステム制御部５０から受け取る。ステップＳ４１１において、補正係数計算部２３は最新の撮影レンズ１０の状態に応じた色収差補正用の補正係数を求め、ステップＳ４０１に戻る。

ステップＳ４０６に戻り、Ｆｌａｇが２でない、すなわちＦｌａｇが１であると判定されると、ステップＳ４０８に進む。

ステップＳ４０８において、補正係数計算部２３は、ステップＳ４０３で求めた同一の色収差補正用の補正係数を用いて、連続する４フレームの画像データに対して色収差補正処理を行ったか否かを判定する。連続する４フレームの画像データに対して色収差補正処理を行っていなければ、ステップＳ４０４、Ｓ４０５に戻る。反対に、連続する４フレームの画像データに対して色収差補正処理を行っていれば、ステップＳ４０９に進む。

このように、本実施形態では、補正係数計算部２３は撮影レンズ１０の焦点距離がワイド側に移動している場合には、テレ側に移動する場合に比較して、色収差補正用の補正係数を算出する周期を長く（頻度を低く）設定している。このように、補正係数計算部２３は、色収差補正用の補正係数の演算負荷を軽減することで、周辺光量落ち補正用の補正係数の演算負荷の増加に対応できる。

一般的なデジタルカメラでは、補正係数計算部２３の演算処理能力には限界が存在する。そこで、撮影レンズ１０の焦点距離の移動方向に応じて、特定の画像劣化の目立ち具合に差が生じるのであれば、移動方向に応じて、差を目立たなくするための処理に多くの演算負荷をかけ、それ以外の処理の演算負荷を軽減すればよい。

なお、本実施の形態では、撮影レンズ１０をワイド側に移動させる場合には２フレームの周期で周辺光量落ち補正用の補正係数を計算し、テレ側に移動させる場合には４フレームの周期で周辺光量落ち補正用の補正係数を計算したが、これに限られるものではない。撮影レンズ１０をワイド側に移動させる場合の周辺光量落ち補正用の補正係数の更新周期を、テレ側に移動させる場合よりも短く設定するのであれば、フレームの更新周期は補正係数計算部２３の演算処理能力に応じて自由に設定して構わない。

また、補正係数の計算周期を短く設定することで計算頻度を高くするのではなく、周辺光量落ち補正用の補正係数の計算処理を色収差補正用の補正係数の計算処理より優先的に行うことで、実質的に周辺光量落ち補正用の補正係数の計算頻度を高くしてもよい。すなわち、周辺光量落ち補正用の補正係数を２回更新したら、色収差補正用の補正係数を１回更新するというようにしても構わない。

また、色収差補正用の補正係数に代えて、シェーディング補正用、球面収差補正用、あるいは、歪曲収差補正用の補正係数を求める構成としても構わない。

このように、周辺光量落ちによる画像劣化が目立つ方向に撮影レンズを移動させる場合に限り、その補正用の補正係数の計算頻度を高くする。こうすることで、動画記録やライブビューの際でも、色収差補正等の他の各種の補正処理を行いつつ、周辺光量落ちによる画像劣化を適切な応答特性で補正できる。

［応用変形例］
本発明は、上記の実施の形態に限定されることなく、種々の応用変形が考えられる。すなわち、上記の実施の形態では、焦点距離（合焦位置：ズーム位置）の移動方向に基づいて補正係数の計算頻度を変化させていたが、その変化量に基づいて補正係数の計算頻度を変化させることも考えられる。また、焦点距離に限らず、フォーカス位置の移動方向や、絞り値の増減方向に応じて、これらの画像劣化の程度に差異が生じる場合も考えられる。このような場合には、フォーカス位置の移動方向や、絞り値の増減方向に応じて、それぞれの補正係数の計算頻度を変化させるようにしても構わない。

また、周辺光量落ち補正だけでなく、色収差補正、シェーディング補正、球面収差補正、歪曲収差補正等の撮影レンズに起因する他の画像劣化に係る補正を行う場合にも、画像劣化が目立つ場合に限り、補正係数の計算頻度（補正頻度）を高くしてもよい。

さらに、上記の色収差補正、シェーディング補正、球面収差補正、歪曲収差補正等を並行して行う場合は、画像劣化が激しいものに係る補正を優先的に実行することで、全体として画質劣化を効率的に抑制することも可能である。

また、上記の実施の形態に係る技術思想を適用する撮像装置としては、デジタルビデオカムコーダ、デジタルカメラといった固体撮像素子を用いる各種の撮影装置が考えられる。また、上記の固体撮像素子としては、ＣＭＯＳ（相補形金属酸化膜半導体）イメージセンサ、ＣＣＤ（電荷結合素子）イメージセンサ等の各種のイメージセンサを用いることができる。

さらに、撮像装置の種類も限定されることなく、デジタルビデオカムコーダ、デジタルカメラ、監視カメラ、自動車の後方監視カメラ（バックカメラ）等に上記の実施の形態の技術思想を適用することができる。また、撮影レンズは、交換レンズ、固着型（内蔵型）の撮影レンズの何れでもよい。

１０…撮影レンズ
１０ａ…フォーカスレンズ
１０ｂ…ズームレンズ
１０ｃ…レンズ情報記録部
１４…撮像素子
１５…レンズ状態取得部
２０…画像処理回路
２１…顔認識回路
２３…補正係数計算部
４０…絞りシャッタ駆動部
４２…フォーカスレンズ駆動部
４４…ズームレンズ駆動部
５０…システム制御部
７３…動画記録ボタン

Claims (11)

1. 撮影レンズにより得られた被写体の光学像を光電変換して得られた画像データに画像処理を施す撮像装置において、
   撮影時に前記撮影レンズの状態を取得する取得手段と、
   撮影レンズの特性情報と前記撮影レンズの状態に基づいて、前記撮影レンズに起因する画像劣化を補正するための補正係数を計算する計算手段と、
   前記補正係数を用いて前記画像データを補正する補正手段と、
   前記計算手段により前記補正係数を計算する際の計算頻度を、前記撮影レンズに起因する画像劣化の度合いに基づいて制御する制御手段と、
   を有することを特徴とする撮影装置。
2. 前記制御手段は、前記撮影レンズに起因する複数種の画像劣化に係る複数の前記補正係数を前記計算手段により計算する場合の計算頻度を、或る種の画像劣化の程度に基づいて制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記或る種の画像劣化に係る前記補正係数の計算頻度を高くした場合、他の種の画像劣化に係る前記補正係数の計算頻度を低くすることを特徴とする請求項２に記載の撮像装置。
4. 少なくとも前記撮影レンズに起因する画像劣化を補正するための離散的な補正データを記録する記録手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮影レンズに起因する画像劣化は、画像の周辺部での光量落ち、色収差による劣化の何れかであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記計算手段は、前記撮影レンズに起因する複数種の画像劣化を補正するための複数の補正係数を計算することを特徴とする請求項２に記載の撮像装置。
7. 前記撮影レンズの状態は、ズーム位置、フォーカス位置、絞り値の少なくとも何れかであることを特徴とする請求項１乃至６のいずれか１項に記載の撮影装置。
8. 前記制御手段は、前記撮影レンズのズーム位置が、ワイドからテレに移動する場合と、テレからワイドに移動する場合とで、前記計算頻度を変化させることを特徴とする請求項１に記載の撮影装置。
9. 前記計算手段は、前記撮影レンズに起因する画像の周辺部での光量落ちを補正するための補正係数を計算するものであり、
   前記制御手段は、前記撮影レンズのズーム位置が、ワイドからテレに移動する場合は、テレからワイドに移動する場合よりも、前記計算頻度を低く設定することを特徴とする請求項８に記載の撮影装置。
10. 撮影レンズにより得られた被写体の光学像を光電変換して得られた画像データに画像処理を施す撮像装置の制御方法において、
    撮影時に前記撮影レンズの状態を取得する取得工程と、
    撮影レンズの特性情報と前記撮影レンズの状態に基づいて、前記撮影レンズに起因する画像劣化を補正するための補正係数を計算する計算工程と、
    前記補正係数を用いて前記画像データを補正する補正工程と、
    前記計算工程により前記補正係数を計算する際の計算頻度を、前記撮影レンズに起因する画像劣化の度合いに基づいて制御する制御工程と、
    を有することを特徴とする撮影装置の制御方法。
11. 請求項１０に記載の撮像装置の制御方法をコンピュータが実行するためのプログラム。