JP5272699B2 - 画像処理装置、撮像装置、プログラムおよび画像処理方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置、プログラムおよび画像処理方法に関する。

レンズには、単色光により発生する収差（サイデルの５収差）や、色の波長の違いによる色収差といった収差があることが知られている。そして、電子カメラで撮像された画像につき、従来から上記の収差の影響を抑制する技術が種々提案されている。一例として、特許文献１には、レンズと撮像素子との光軸方向での相対距離を変化させて取得した複数の画像を用いて、像面湾曲収差（像高に応じて合焦位置が変化することで像面が湾曲する収差）および軸上色収差（光軸上の結像位置が色の波長ごとに異なることで生じる収差）を補正する技術が開示されている。
特開２００８−８５７７４公報

ところで、上記の従来技術では、レンズと撮像素子との光軸方向での相対距離を調整することで収差補正を行うが、他の方法によって軸上色収差や像面湾曲を補正する手段がなお要望されている。

そこで、本発明の目的は、軸上色収差や像面湾曲収差などの収差補正を行う手段を提供することにある。

一の態様の画像処理装置は、画像読込部と、画像処理部と、補正画像生成部とを備える。画像読込部は、撮影レンズの焦点距離、撮影距離、撮影レンズの一部のレンズ群の配置の少なくとも１つのパラメータを変化させてそれぞれ撮像された複数の撮像画像を取得する。画像処理部は、撮像画像の画像処理を実行する。補正画像生成部は、各々の撮像画像からそれぞれ画像情報を取得するとともに、複数の画像情報を組み合わせて、撮影レンズの収差が補正された補正画像を生成する。複数の撮像画像における撮影条件の変化量は、撮影レンズの種類、撮影レンズの焦点距離、撮影距離に基づいて決定される。撮像画像は複数の色成分の情報を含み、複数の撮像画像は、各々の色成分に対応する波長の光における撮影レンズの結像位置のずれに応じてパラメータを変化させて撮像された画像である。画像処理部は、撮像画像間の撮影倍率の差を調整する倍率調整処理と、撮像画像間の歪曲収差の差を調整する歪曲収差調整処理と、撮像画像間での被写体のぶれを補正するぶれ補正処理と、撮像画像間での画像の明るさの差を調整する明度調整処理との少なくとも１つの処理を実行する。補正画像生成部は、各々の撮像画像からそれぞれ異なる色成分に対応する画像情報を取得して、軸上色収差が補正された補正画像を生成する。

一の態様の画像処理装置は、画像読込部と、画像処理部と、補正画像生成部とを備える。画像読込部は、撮影レンズの焦点距離、撮影距離、撮影レンズの一部のレンズ群の配置の少なくとも１つのパラメータを変化させてそれぞれ撮像された複数の撮像画像を取得する。画像処理部は、撮像画像の画像処理を実行する。補正画像生成部は、各々の撮像画像からそれぞれ画像情報を取得するとともに、複数の画像情報を組み合わせて、撮影レンズの収差が補正された補正画像を生成する。複数の撮像画像における撮影条件の変化量は、撮影レンズの種類、撮影レンズの焦点距離、撮影距離、撮影レンズの絞り値に基づいて決定される。画像処理部は、撮像画像間の撮影倍率の差を調整する倍率調整処理と、撮像画像間の歪曲収差の差を調整する歪曲収差調整処理と、撮像画像間での被写体のぶれを補正するぶれ補正処理と、撮像画像間での画像の明るさの差を調整する明度調整処理との少なくとも１つの処理を実行する。補正画像生成部は、撮像画像間でそれぞれの像高が異なる位置から画像情報を取得して、像面湾曲収差が補正された補正画像を生成する。

一の態様の画像処理装置は、画像読込部と、画像処理部と、補正画像生成部とを備える。画像読込部は、撮影レンズの焦点距離を変化させてブラケティング撮影された複数の撮像画像を取得する。画像処理部は、撮像画像間で明るさが相違する場合、撮像画像間での画像の明るさの差を調整する明度調整処理を実行する。補正画像生成部は、各々の撮像画像からそれぞれ画像情報を取得するとともに、複数の画像情報を組み合わせて、撮影レンズの収差が補正された補正画像を生成する。画像処理部は、Ｒ画素の主波長で撮像面に結像する第１の撮像画像、Ｇ画素の主波長で撮像面に結像する第２の撮像画像、Ｂ画素の主波長で撮像面に結像する第３の撮像画像間での画像の明るさの差を調整する。

ここで、上記の一の態様の画像処理装置を含む撮像装置や、コンピュータを上記の一の態様の画像処理装置として機能させるプログラムや、上記の画像処理装置や撮像装置の動作を方法のカテゴリで表現したものも本発明の具体的態様として有効である。

本発明では、撮影レンズの収差を補正した補正画像を生成できる。

＜一の実施形態の説明＞
図１は、一の実施形態である電子カメラシステムの構成例を示す概要図である。一の実施形態の電子カメラシステムは、レンズユニット１と、画像処理装置としてのカメラ本体２とを有している。レンズユニット１は、電気接点を備えたマウント（不図示）を介してカメラ本体２に交換可能に装着される。そして、レンズユニット１とカメラ本体２との接続時には、上記の電気接点による電気的な接続が確立する。

まず、レンズユニット１の構成を説明する。レンズユニット１には、撮影レンズ１１と、レンズ駆動部１２と、絞り１３と、絞り駆動部１４と、レンズメモリ１５と、レンズマイコン１６とが収容されている。なお、レンズ駆動部１２、絞り駆動部１４、レンズメモリ１５は、それぞれレンズマイコン１６と接続されている。

撮影レンズ１１は、ズームレンズおよびフォーカシングレンズを含む複数のレンズで構成されている。撮影レンズ１１のレンズ位置は、レンズ駆動部１２によってそれぞれ光軸方向に調整される。また、レンズ駆動部１２はレンズ位置を検出するエンコーダを内蔵している。

また、図１では、簡単のため撮影レンズ１１を１枚のレンズとして図示するが、実際の撮影レンズ１１は複数のレンズ群を有しており、レンズ駆動部１２はそのうちの１群を任意に移動させることが可能である。

絞り１３は、カメラ本体２に入射する単位時間当たりの光量を調節する。この絞り１３の開口量（絞り値）は絞り駆動部１４によって調整される。

レンズメモリ１５は不揮発性の記憶媒体である。このレンズメモリ１５には、レンズの位置と、撮影レンズ１１の焦点距離および撮影距離との対応関係を示すテーブルデータが記憶されている。

レンズマイコン１６は、レンズ駆動部１２のエンコーダによって撮影レンズ１１のレンズ位置を取得する。また、レンズマイコン１６は、レンズメモリ１５のテーブルデータを参照して、撮影レンズ１１の焦点距離や撮影時の撮影距離を上記のレンズ位置から求める。そして、レンズマイコン１６は、上記の電気接点を介してカメラ本体２との間で通信を行い、撮影レンズ１１の種類、撮影レンズ１１の焦点距離、撮影距離、絞り値などの情報をカメラ本体２に出力する。

次に、カメラ本体２の構成を説明する。カメラ本体２は、撮像素子２１と、ＡＦＥ２２と、ＣＰＵ２３と、第１メモリ２４と、第２メモリ２５と、メディアＩ／Ｆ２６と、レリーズ釦２７とを有している。なお、ＡＦＥ２２、第１メモリ２４、第２メモリ２５、メディアＩ／Ｆ２６およびレリーズ釦２７は、それぞれＣＰＵ２３と接続されている。

撮像素子２１は、撮影レンズ１１を通過した光束による結像を撮像して撮像画像の画像信号を生成する。この撮像素子２１の撮像面には、複数の受光素子がマトリックス状に配列されている。また、撮像素子２１の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子２１の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。なお、撮像素子２１の出力はＡＦＥ２２に接続されている。

また、撮影モードでの撮像素子２１は、レリーズ釦２７の全押し操作に応答して記録用の静止画像（本画像）を撮像する。また、撮影モードでの撮像素子２１は、撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。ここで、時系列に取得されたスルー画像のデータは、ＣＰＵ２３による各種の演算処理に使用される。

ＡＦＥ２２は、撮像素子２１の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ２２は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。

ＣＰＵ２３は、カメラ本体２の統括的な制御を行うプロセッサである。例えば、ＣＰＵ２３は、スルー画像のデータを用いて、それぞれ公知のＡＦ（オートフォーカス）演算処理やＡＥ（自動露出）演算処理を実行する。また、ＣＰＵ２３は、プログラムの実行により、画像処理部２８および補正画像生成部２９として機能する。

画像処理部２８は、デジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部２８は、撮影モードの１つである収差補正モードにおいて、倍率調整処理、歪曲収差調整処理、ぶれ補正処理、明度調整処理を実行する（倍率調整処理、歪曲収差調整処理、ぶれ補正処理、明度調整処理の各内容は後述する）。

補正画像生成部２９は、収差補正モードにおいて、撮影条件が異なる複数の撮像画像からそれぞれ画像情報を取得するとともに、複数の画像情報を組み合わせて撮影レンズ１１の収差を補正した補正画像を生成する。なお、一の実施形態での収差補正モードには、軸上色収差の補正を行う第１モードと、像面湾曲収差の補正を行う第２モードとの２種類のサブモードが存在する。

第１メモリ２４は、ＣＰＵ２３による画像処理の前工程や後工程で画像のデータを一時的に記憶するバッファメモリである。例えば、第１メモリ２４は揮発性の記憶媒体であるＳＤＲＡＭにより構成される。

第２メモリ２５は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ２５には、ＣＰＵ２３によって実行されるプログラムが記憶される。このプログラムによる収差補正モードでの動作例については後述する。

また、第２メモリ２５には、カメラ本体２に装着可能なレンズユニット１の軸上色収差データおよび像面湾曲収差データが記憶されている。勿論、複数のレンズユニット１について、レンズユニット１の種類ごとにそれぞれ軸上色収差データおよび像面湾曲収差データを第２メモリ２５に記憶させておくことも可能である。

ここで、上記の軸上色収差データは、上記の第１モードで実行されるブラケティング撮影で、各画像を撮影するときの撮影レンズ１１の焦点距離（ｆｒ，ｆｇ，ｆｂ）を求めるためのデータである。また、上記の像面湾曲収差データは、上記の第２モードで実行されるブラケティング撮影で、各画像を撮影するときの撮影レンズ１１の焦点距離を求めるためのデータである（軸上色収差データおよび像面湾曲収差データの具体的内容は後述する）。

なお、軸上色収差データおよび像面湾曲収差データのパラメータは、撮影レンズ１１の光学設計によって決定されるとともに、撮影レンズ１１の種類毎にそれぞれ相違する。そして、軸上色収差データおよび像面湾曲収差データは、レンズユニット１の製造者によって予め用意される。

メディアＩ／Ｆ２６は、記憶媒体３を着脱自在に装着できるコネクタを有している。そして、メディアＩ／Ｆ２６は、コネクタに装着された記憶媒体３に対してデータの書き込み／読み込みを実行する。上記の記憶媒体３は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体３の一例としてメモリカードを図示する。

レリーズ釦２７は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。

＜収差補正モードの動作例１＞
次に、図２の流れ図を参照しつつ、一の実施形態における収差補正モード（第１モード）の動作例を説明する。

電子カメラのＲ，Ｇ，Ｂの各画素での合焦位置は、撮影レンズ１１の軸上色収差に応じてそれぞれ異なるものとなる。例えば、カメラ本体２が主要被写体に焦点を合わせたときには、基準波長（例えばｄ線）による主要被写体の像が撮像素子２１の撮像面に結像する。このとき、Ｒ，Ｇ，Ｂ各画素の主波長（λｒ，λｇ，λｂ）の像は、軸上色収差の影響により撮像面（撮影レンズ１１の焦点位置）では結像せず、それぞれｄｆｒ，ｄｆｇ，ｄｆｂだけ撮像面から離れて結像する（図３参照）。

そのため、撮影時に任意の波長でピントが合うように焦点を合わせても、１つの撮影条件で撮影される画像では、軸上色収差によって赤や青などの色にじみが生じうる。軸上色収差をなるべく小さくなるように撮影レンズ１１を設計しても、現実には、全ての収差を０に抑えることは困難である。そして、撮影レンズ１１の種類や撮影条件によっては、撮影された画像で軸上色収差が目立つという問題があった。

そこで、図２の動作例では、撮影レンズ１１のパワー（焦点距離の逆数）を変化させてブラケティング撮影された複数の撮像画像を用いて、軸上色収差が補正された補正画像をＣＰＵ２３が生成する。なお、図２に示す一連の処理は、レリーズ釦２７の半押し操作に応じてＣＰＵ２３がプログラムを実行することで開始される。

ステップＳ１０１：ＣＰＵ２３は、ＡＦ演算処理およびＡＥ演算処理を実行する。このとき、ＣＰＵ２３は、レンズマイコン１６と通信を行って撮影条件の情報を取得する。このＳ１０１での撮影条件の情報には、撮影レンズ１１の種類、撮影レンズ１１の焦点距離、撮影距離の情報が含まれる。なお、Ｓ１０１でのカメラ本体２は、基準波長での主要被写体の像が撮像素子２１の撮像面に結像する状態にあるものとする。

ステップＳ１０２：ＣＰＵ２３は、第２メモリ２５の軸上色収差データを用いて、ブラケティング撮影での各画像の撮影条件を求める。

上記のように、ＣＰＵ２３は、焦点距離ｆを変化させてブラケティング撮影を行うことで、Ｒ，Ｇ，Ｂ各画素の主波長（λｒ，λｇ，λｂ）の像がそれぞれ撮像面に結像した画像を取得する必要がある。よって、Ｓ１０２でのＣＰＵ２３は、ブラケティング撮影の撮影条件として、上記の主波長（λｒ，λｇ，λｂ）が撮像面に結像するときの撮影レンズ１１の焦点距離（ｆｒ，ｆｇ，ｆｂ）を求める。なお、Ｓ１０２でのＣＰＵ２３は、撮影レンズ１１の種類の情報（Ｓ１０１）を用いて、カメラ本体２に装着されている撮影レンズ１１に対応した軸上色収差データを適用する。また、Ｒ，Ｇ，Ｂ各画素の主波長（λｒ，λｇ，λｂ）としては、各画素の分光感度のピーク波長や、各画素の分光感度の中心波長や、各画素の分光感度の形に合わせた重心波長などを用いることができる。

ここで、軸上色収差データは、撮影レンズ１１の焦点距離と撮影距離との関数の形式（関数の係数値など）で、ｆｒ，ｆｇ，ｆｂを示すものでもよい。この場合、ＣＰＵ２３は、Ｓ１０１で取得した焦点距離および撮影距離の値を上記の関数に代入することで、ブラケティング撮影での撮影条件であるｆｒ，ｆｇ，ｆｂの値を求めることができる。

また、軸上色収差データは、撮影レンズ１１の焦点距離と撮影距離との組み合わせに対して、ｆｒ，ｆｇ，ｆｂの値をテーブル形式で記憶するものでもよい。この場合、ＣＰＵ２３は、Ｓ１０１で取得した焦点距離と撮影距離との組み合わせに対応するｆｒ，ｆｇ，ｆｂの値を軸上色収差データから読み出せばよい。なお、Ｓ１０１の焦点距離および撮影距離に対応するｆｒ，ｆｇ，ｆｂの値が軸上色収差データになければ、ＣＰＵ２３は、Ｓ１０１の焦点距離および撮影距離に近い条件のデータをサンプルとして複数選択する。そして、ＣＰＵ２３は、これらのサンプルから補間によりｆｒ，ｆｇ，ｆｂの値を求めればよい。

ステップＳ１０３：ＣＰＵ２３は、レリーズ釦２７が全押しされたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）、ＣＰＵ２３はＳ１０４に処理を移行させる。一方、上記要件を満たさない場合（ＮＯ側）、ＣＰＵ２３はレリーズ釦２７の全押し操作を待機する。

ステップＳ１０４：ＣＰＵ２３は、撮影レンズ１１の焦点距離をｆｒ，ｆｇ，ｆｂに順次設定するとともに、撮像素子２１を駆動させてブラケティング撮影を実行する。ブラケティング撮影によって撮像素子２１から出力される各々の撮像画像のデータは、ＡＦＥ２２を介して画像処理部２８で所定の画像処理を施された後に、それぞれ色補間される前の状態で第１メモリ２４にバッファリングされる。

また、ＣＰＵ２３は、このブラケティング撮影のときに各画像の露出条件を一致させて撮影を行う。また、被写体ブレや照明変化の影響を抑制するために、ＣＰＵ２３は高速で連続撮影（連写）を行うことが好ましい。

なお、Ｓ１０４のブラケティング撮影で取得した画像のうち、焦点距離ｆｒで撮影された画像（Ｒ画素の主波長λｒで撮像面に結像する画像）をＩｒと表記する。また、焦点距離ｆｇで撮影された画像（Ｇ画素の主波長λｇで撮像面に結像する画像）をＩｇと表記する。また、焦点距離ｆｂで撮影された画像（Ｂ画素の主波長λｂで撮像面に結像する画像）をＩｂと表記する。

ステップＳ１０５：画像処理部２８は、画像Ｉｒ，Ｉｇ，Ｉｂ間の撮影倍率の差を調整する倍率調整処理を実行する。

撮影レンズ１１の焦点距離を変化させてブラケティング撮影を行った場合、撮影条件の相違と倍率色収差の影響とにより、画像Ｉｒでの倍率βｒと、画像Ｉｇでの倍率βｇと、画像Ｉｂでの倍率βｂとはそれぞれ異なるものとなる。そこで、Ｓ１０５での画像処理部２８は、画像Ｉｒをβｇ／βｒに変倍するとともに、画像Ｉｂをβｇ／βｂに変倍する。これにより、画像Ｉｒ，Ｉｇ，Ｉｂの倍率差による絵柄のズレが抑制される。

ここで、上記のβｇ／βｒ，βｇ／βｂの取得は、以下のようにして行われる。例えば、βｇ／βｒ，βｇ／βｂの各値と、撮影レンズ１１の種類、撮影レンズ１１の焦点距離、撮影距離との対応関係を示すテーブルを予め第２メモリ２５に記憶しておき、画像処理部２８は、Ｓ１０１の撮影条件の情報を用いて、上記のテーブルからβｇ／βｒ，βｇ／βｂの値を取得すればよい。なお、Ｓ１０１の撮影条件に対応する値が上記のテーブルになければ、画像処理部２８は、Ｓ１０１の撮影条件に近い条件のデータをサンプルとして複数選択する。そして、画像処理部２８は、これらのサンプルから補間によりβｇ／βｒ，βｇ／βｂの値を求めればよい。なお、図４は、波長の違いによる撮影倍率の差を示す模式図である。

あるいは、第２メモリ２５には、撮影レンズ１１の焦点距離と撮影距離との関数の形式（関数の係数値など）で、βｇ／βｒ，βｇ／βｂの値を記憶させておいてもよい。この場合、ＣＰＵ２３は、Ｓ１０１の撮影条件を上記の関数に代入することで、βｇ／βｒ，βｇ／βｂの値を求めることができる。

なお、画像間での撮影倍率の差が十分に小さい場合（例えば、撮影倍率による絵柄のズレが１画素分未満となる場合）には、画像処理部２８はＳ１０５の処理を省略してもよい。

ステップＳ１０６：画像処理部２８は、画像Ｉｒ，Ｉｇ，Ｉｂ間の歪曲収差の差を調整する歪曲収差調整処理を実行する。

撮影レンズ１１の焦点距離を変化させてブラケティング撮影を行った場合、撮影条件の相違と色による歪曲収差の違いとに応じて、画像Ｉｒでの歪曲収差ｄｒと、画像Ｉｇでの歪曲収差ｄｇと、画像Ｉｂでの歪曲収差ｄｂとはそれぞれ異なるものとなる。そこで、Ｓ１０６での画像処理部２８は、例えば、画像Ｉｒの歪曲収差および画像Ｉｂの歪曲収差が、それぞれ画像Ｉｇの歪曲収差と等しくなるように補正する。これにより、画像Ｉｒ，Ｉｇ，Ｉｂの歪曲収差の違いによる絵柄のズレが抑制される。

なお、画像間での歪曲収差の差が十分に小さい場合（例えば、歪曲収差による絵柄のズレが１画素分未満となる場合）には、画像処理部２８はＳ１０６の処理を省略してもよい。

ステップＳ１０７：画像処理部２８は、画像Ｉｒ，Ｉｇ，Ｉｂ間の被写体のぶれを補正するぶれ補正処理を実行する。

上記のブラケティング撮影を高速連写で行った場合においても、撮影ぶれなどによって画像間で絵柄がずれてしまう場合がある。そこで、Ｓ１０７での画像処理部２８は、ぶれ補正処理により画像Ｉｒ，Ｉｇ，Ｉｂ間の位置合わせを行う。

例えば、画像処理部２８は、画像Ｉｒ，Ｉｇ，Ｉｂにそれぞれエッジ抽出処理を施す。そして、画像処理部２８は、各画像のエッジまたはコーナーを用いて画像間で公知のマッチングを行って各画像を位置合わせする。

ステップＳ１０８：画像処理部２８は、画像Ｉｒ，Ｉｇ，Ｉｂ間での画像の明るさの差を調整する明度調整処理を実行する。

上記のブラケティング撮影では、撮影条件の相違による周辺減光の変化や、画像間で照明の状態が変化することにより、画像間で明るさが相違する場合がある。そこで、Ｓ１０８での画像処理部２８は、画像Ｉｒ，Ｉｇ，Ｉｂ間でそれぞれ対応位置にある被写体の明るさを比較する。そして、画像間の対応位置で明るさが異なる場合、画像処理部２８は、例えば画像Ｉｇの明るさを基準として画像ＩｒまたはＩｂのゲインを補正する。これにより、画像Ｉｒ，Ｉｇ，Ｉｂで同一箇所の明るさを合わせることができる。

ステップＳ１０９：補正画像生成部２９は、画像Ｉｒ，Ｉｇ，Ｉｂからそれぞれカラーフィルタの各色に対応する画像情報を取得する。

具体的には、補正画像生成部２９は、画像ＩｒからはＲ画素の画像情報のみを抽出する。また、補正画像生成部２９は、画像ＩｇからはＧ画素の画像情報のみを抽出する。また、補正画像生成部２９は、画像ＩｂからはＢ画素の画像情報のみを抽出する（図５参照）。よって、各色画素の画像情報は、それぞれが異なる画素位置の情報をベイヤ配列に準拠したモザイク状のパターンで有することとなる。

ステップＳ１１０：補正画像生成部２９は、Ｓ１０９で取得した各色の画像情報を組み合わせて補正画像のデータを生成する（図５参照）。

ここで、上記のＲ，Ｇ，Ｂ画素の画像情報は、各色の主波長が撮像面に結像する条件で取得された画像からそれぞれ生成されている。よって、補正画像生成部２９は、これらの画像情報を組み合わせることで、軸上色収差の補正された１フレーム分の補正画像を得ることができる。

そして、画像処理部２８は、補正画像のデータに色補間を含む各種の画像処理を施す。その後、補正画像のデータは、ＣＰＵ２３の制御によって、メディアＩ／Ｆ２６に装着された記憶媒体３に最終的に記録される。なお、ＣＰＵ２３は、不図示のモニタに補正画像を再生表示するようにしてもよい。以上で、図２の流れ図の説明を終了する。

このように、一の実施形態の電子カメラシステムは、撮影レンズ１１の焦点距離を調整してブラケティング撮影された複数の撮像画像を用いて、軸上色収差が補正された補正画像を取得できる。

＜収差補正処理の例２＞
次に、図６の流れ図を参照しつつ、一の実施形態における収差補正モード（第２モード）の動作例を説明する。

撮影レンズ１１の像面湾曲収差により、光軸中心で合焦させる撮影条件で撮影した場合には、画像の周辺部ではピントがぼけてしまう（図７参照）。一方、画像の周辺部で合焦させる撮影条件で撮影した場合には、画像の中心部でピントがぼけてしまう。像面湾曲収差をなるべく小さくなるように撮影レンズ１１を設計しても、全ての収差を０に抑えることは困難である。そして、撮影レンズ１１の種類や撮影条件によっては、撮影された画像で像面湾曲収差が目立つという問題があった。

そのため、図６の動作例では、撮影レンズ１１のパワー（焦点距離の逆数）を変化させてブラケティング撮影された複数の撮像画像を用いて、像面湾曲収差が補正された補正画像をＣＰＵ２３が生成する。なお、図６に示す一連の処理は、レリーズ釦２７の半押し操作に応じてＣＰＵ２３がプログラムを実行することで開始される。

ステップＳ２０１：ＣＰＵ２３は、ＡＦ演算処理およびＡＥ演算処理を実行する。このとき、ＣＰＵ２３は、レンズマイコン１６と通信を行って撮影条件の情報を取得する。このＳ１０１での撮影条件の情報には、撮影レンズ１１の種類、撮影レンズ１１の焦点距離、撮影距離、絞り値の情報が含まれる。

ステップＳ２０２：ＣＰＵ２３は、第２メモリ２５の像面湾曲収差データを用いて、ブラケティング撮影での各画像の撮影条件を求める。

この第２モードでのＣＰＵ２３は、焦点距離ｆを変化させてブラケティング撮影を行うことで、撮像面に結像する像高（光軸中心に対応する点からの距離）がそれぞれ異なる複数の画像を取得する必要がある。よって、Ｓ２０２でのＣＰＵ２３は、撮影レンズ１１の像面湾曲を考慮して、撮像面に結像する像高がそれぞれ異なるように、ブラケティング撮影における撮影レンズ１１の焦点距離をそれぞれ求める。また、図８に、焦点距離ｆの調整により所定の像高での像面湾曲を補正する例を模式的に示す。

なお、Ｓ２０２でのＣＰＵ２３は、撮影レンズ１１の種類の情報（Ｓ２０１）を用いて、カメラ本体２に装着されている撮影レンズ１１に対応した像面湾曲収差データを適用する。

ここで、像面湾曲収差データは、撮影レンズ１１の焦点距離、撮影距離、絞り値との関数の形式（関数の係数値など）で、撮像面に結像する像高との対応関係を記憶するものであってもよい。この場合、ＣＰＵ２３は、Ｓ２０１で取得した焦点距離、撮影距離、絞り値を上記の関数にそれぞれ代入することで、撮像面に結像する像高の位置を求めることができる。また、ＣＰＵ２３は、撮像面に結像させる像高を指定すれば、上記の関数から任意の像高に対応する焦点距離の値を求めることもできる。

よって、Ｓ２０２でのＣＰＵ２３は、ブラケティング撮影の撮影回数に応じて任意の間隔で像高を指定し、各々の像高に対応する焦点距離の値を求めればよい。

なお、像面湾曲収差データは、撮影レンズ１１の焦点距離、撮影距離、絞り値との組み合わせに対して、撮像面に結像する像高の値をテーブル形式で記憶するものであってもよい。この場合においても、上記の関数の場合と同様に、ＣＰＵ２３はブラケティング撮影で適用する焦点距離の値を求めることができる。

ステップＳ２０３：ＣＰＵ２３は、レリーズ釦２７が全押しされたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）、ＣＰＵ２３はＳ２０４に処理を移行させる。一方、上記要件を満たさない場合（ＮＯ側）、ＣＰＵ２３はレリーズ釦２７の全押し操作を待機する。

ステップＳ２０４：ＣＰＵ２３は、撮影レンズ１１の焦点距離をＳ２０２で求めた値に順次設定するとともに、撮像素子２１を駆動させて所定回数のブラケティング撮影を実行する。ブラケティング撮影によって撮像素子２１から出力される各々の撮像画像のデータは、ＡＦＥ２２を介して画像処理部２８で所定の画像処理を施された後に、それぞれ第１メモリ２４にバッファリングされる。

また、ＣＰＵ２３は、このブラケティング撮影のときに各画像の露出条件を一致させて撮影を行う。また、被写体ブレや照明変化の影響を抑制するために、ＣＰＵ２３は高速で連写を行うことが好ましい。なお、簡単のため、Ｓ２０４のブラケティング撮影で取得した各画像は、画像Ｉ１〜Ｉｎと表記する。

ステップＳ２０５：画像処理部２８は、画像Ｉ１〜Ｉｎ間の撮影倍率の差を調整する倍率調整処理を実行する。このＳ２０５での倍率調整処理の内容は、上記の第１モードのＳ１０５の処理とほぼ共通するので重複説明は省略する。

ステップＳ２０６：画像処理部２８は、画像Ｉ１〜Ｉｎ間の歪曲収差の差を調整する歪曲収差調整処理を実行する。このＳ２０６での歪曲収差調整処理の内容は、上記の第１モードのＳ１０６の処理とほぼ共通するので重複説明は省略する。

ステップＳ２０７：画像処理部２８は、画像Ｉ１〜Ｉｎ間の被写体のぶれを補正するぶれ補正処理を実行する。このＳ２０７でのぶれ補正処理の内容は、上記の第１モードのＳ１０７の処理とほぼ共通するので重複説明は省略する。

ステップＳ２０８：画像処理部２８は、画像Ｉ１〜Ｉｎ間での画像の明るさの差を調整する明度調整処理を実行する。このＳ２０８での明度調整処理の内容は、上記の第１モードのＳ１０８の処理とほぼ共通するので重複説明は省略する。

ステップＳ２０９：補正画像生成部２９は、画像Ｉ１〜Ｉｎから画像情報を生成する。具体的には、補正画像生成部２９は、画像Ｉ１〜Ｉｎのそれぞれにおいて、像面湾曲収差が０とみなせる像高の範囲を、円形状または環状に切り出して画像情報を生成する。

ステップＳ２１０：補正画像生成部２９は、Ｓ２０９で取得した画像情報を組み合わせて補正画像のデータを生成する。このとき、補正画像生成部２９は、各像高での像面湾曲収差が０とみなせる撮影条件の画像情報から、補正画像の各位置での画素値を抽出して画像合成を行う。なお、像面湾曲収差が０とみなせる撮影条件の画像情報がない箇所については、補正画像生成部２９は、近い撮影条件で撮影された複数の画像情報を用いてその箇所での画素値を推定すればよい。

ここで、Ｓ２０９で取得された画像情報は、それぞれ像面湾曲収差が０とみなせる像高の範囲の画像で構成されている。よって、補正画像生成部２９は、これらの画像情報を組み合わせることで、像面湾曲収差の補正された１フレーム分の補正画像を得ることができる。

そして、画像処理部２８は、補正画像のデータに各種の画像処理を施す。その後、補正画像のデータは、ＣＰＵ２３の制御によって、メディアＩ／Ｆ２６に装着された記憶媒体３に最終的に記録される。なお、ＣＰＵ２３は、不図示のモニタに補正画像を再生表示するようにしてもよい。以上で、図６の流れ図の説明を終了する。

このように、一の実施形態の電子カメラシステムは、撮影レンズ１１の焦点距離を調整してブラケティング撮影された複数の撮像画像を用いて、像面湾曲収差が補正された補正画像を取得できる。

＜一の実施形態の変形例＞
上記の図２および図６の収差補正モードの動作例では、ブラケティング撮影のときに撮影レンズの焦点距離のみを変化させる例を説明した。しかし、ＣＰＵ２３は、収差補正モードでのブラケティング撮影のときに、撮影レンズ１１を構成するレンズ群のうちの１つを移動させることで、撮影レンズ１１の位置あるいは撮影距離のパラメータを変更してもよい。このように、撮影レンズ１１の位置あるいは撮影距離のパラメータを変化させる場合にも、図２または図６に示す動作例のケースとほぼ同様の効果を得ることができる。

例えば、収差補正モードの第１モードにおいて、撮影レンズ１１の位置あるいは撮影距離のパラメータを変化させてブラケティング撮影を行う場合、まず、ＣＰＵ２３は、各色画素の軸上色収差の量（ｄｆｒ，ｄｆｇ，ｄｆｂ）を求める。次に、ＣＰＵ２３は、軸上色収差の量に対応する撮影レンズ１１の移動量をそれぞれ求め、これらのレンズの移動量を用いてブラケティング撮影を行えばよい。

同様に、収差補正モードの第２モードにおいて、撮影レンズ１１の位置あるいは撮影距離のパラメータを変化させてブラケティング撮影を行う場合、ＣＰＵ２３は、像面湾曲収差データを用いて、任意の像高に対応する撮影距離や焦点レンズの位置を求めればよい。

ここで、撮影レンズ１１のうちの任意のレンズ群を駆動させて撮影距離やレンズ位置を調整する場合、駆動させるレンズ群が内側のレンズであれば、撮影条件の異なる複数の画像を撮影するときに、電子カメラシステムはレンズユニット１に装着されたフードやフィルタの回転を抑制することができる。

また、撮影距離等を調整するときに複数のレンズからなるレンズ群を移動させる場合には、１枚のレンズを移動させる場合と比べて、収差の補正が光学設計上一層容易となる。

さらに、一の実施形態の電子カメラシステムは、撮像素子２１の位置を光軸方向にシフトさせて、ブラケティング撮影の撮影条件を調整する構成であってもよい。

また、ＣＰＵ２３は、上記のブラケティング撮影のときに、撮影レンズ１１の焦点距離の変更と撮影レンズ１１の位置あるいは撮影距離の変更とを組み合わせて実行してもよい。この場合には、１つのパラメータでは収差の補正が困難なケースにおいても、ＣＰＵ２３はより適切な撮影条件で各々の撮像画像を取得することができる。

＜他の実施形態の説明＞
図９は、他の実施形態に係る画像処理装置の構成例を示すブロック図である。他の実施形態では、コンピュータに画像処理プログラムを実行させることで画像処理装置の機能を実現する。よって、他の実施形態の構成においても、上述の一の実施形態の電子カメラシステムとほぼ同様の効果を奏することができる。

画像処理装置を構成するコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。

データ読込部３２は、撮像画像のデータや、画像処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部３２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置（カメラ本体２など）と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。

記憶装置３３は、上記の画像処理プログラムと、プログラムの実行に必要となる各種のデータ（軸上色収差データや像面湾曲収差データなど）とを記憶する。また、記憶装置３３には、データ読込部３２から取得した撮像画像のデータを記録することもできる。なお、他の実施形態での記憶装置３３は、ハードディスクや、不揮発性の半導体メモリなどで構成される。

ＣＰＵ３４は、コンピュータ３１の各部動作を統括的に制御するプロセッサである。他の実施形態では、ＣＰＵ３４が画像処理プログラムを実行することで、一の実施形態でのＣＰＵ２３、画像処理部２８、補正画像生成部２９の各動作がソフトウェア的に実現される。また、メモリ３５は、画像処理プログラムの演算結果などを一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭなどで構成される。

ここで、一の実施形態で説明した収差補正モードの動作を、他の実施形態のコンピュータ３１で実現する場合、軸上色収差が補正された条件で撮影された複数の画像や、それぞれが異なる像高で像面湾曲収差を０にした複数の画像を、予め電子カメラで撮影しておく必要がある。そして、コンピュータ３１は、上記の撮像画像の各データと、その撮影条件の情報とを対応付けした画像ファイルをデータ読込部３２から読み込むことで、一の実施形態と同様の処理を行うことが可能となる。

＜実施形態の補足事項＞
（１）上記の一の実施形態では、レンズ交換可能な電子カメラシステムの例を説明したが、本発明は、いわゆるレンズ一体型の電子カメラにも当然に適用できる。

（２）電子カメラの撮像素子２１がアドレス指定読み出し可能な構成（ＣＭＯＳなど）であれば、上記の第１モードでの画像Ｉｒ，Ｉｇ，Ｉｂの撮影時に、撮像素子２１は画像情報の生成に必要となる色の信号のみを出力するようにしてもよい。

（３）上記の一の実施形態において、基準波長はいずれかの画素の主波長であってもよい。

（４）上記実施形態で説明した画像処理装置はあくまで一例であり、本発明を実施するときには、上記実施形態および変形例に示す構成やその処理の順序についてあらゆる組み合わせをとることができる。例えば、画像処理装置は、収差補正モードにおける倍率調整処理、歪曲収差調整処理、ぶれ補正処理、明度調整処理の実行順を適宜変更してもよい。また、画像処理装置は、図２に示す第１モードの処理と、図６に示す第２モードの処理とを組み合わせて、軸上色収差および像面湾曲収差が両方とも補正された補正画像を生成してもよい。

（５）本発明のプログラムを実行する画像処理装置は、上記実施形態のカメラ本体２やコンピュータ３１の例に限定されることなく、カメラ付携帯電話や画像のビューアなどの電子機器にも広く適用できる。

（６）上記の各実施形態では、画像処理部２８、補正画像生成部２９の機能をプログラムでソフトウェア的に実現する例を説明したが、これらの処理をＡＳＩＣによってハードウエア的に実現しても勿論かまわない。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

一の実施形態における電子カメラシステムの構成例を示す概要図 一の実施形態における収差補正モード（第１モード）の動作例を示す流れ図 軸上色収差の一例を示す説明図 波長の違いによる撮影倍率の差を示す模式図 第１モードでの補正画像の生成方法を示す概要図 一の実施形態における収差補正モード（第２モード）の動作例を示す流れ図 像面湾曲収差の例を示す説明図 焦点距離ｆの調整で所定の像高での像面湾曲を補正する例を示す模式図 他の実施形態の画像処理装置の構成例を示す概要図

符号の説明

１…レンズユニット、２…カメラ本体、１１…撮影レンズ、１２…レンズ駆動部、１３…絞り、１６…レンズマイコン、２１…撮像素子、２３…ＣＰＵ、２５…第２メモリ、２８…画像処理部、２９…補正画像生成部、３１…コンピュータ

Claims (10)

1. 撮影レンズの焦点距離、撮影距離、前記撮影レンズの一部のレンズ群の配置の少なくとも１つのパラメータを変化させてそれぞれ撮像された複数の撮像画像を取得する画像読込部と、
   前記撮像画像の画像処理を実行する画像処理部と、
   各々の前記撮像画像からそれぞれ画像情報を取得するとともに、複数の前記画像情報を組み合わせて、前記撮影レンズの収差が補正された補正画像を生成する補正画像生成部と、を備え、
   複数の前記撮像画像における撮影条件の変化量は、前記撮影レンズの種類、前記撮影レンズの焦点距離、前記撮影距離に基づいて決定され、
   前記撮像画像は複数の色成分の情報を含み、
   複数の前記撮像画像は、各々の前記色成分に対応する波長の光における前記撮影レンズの結像位置のずれに応じて前記パラメータを変化させて撮像された画像であって、
   前記画像処理部は、前記撮像画像間の撮影倍率の差を調整する倍率調整処理と、前記撮像画像間の歪曲収差の差を調整する歪曲収差調整処理と、前記撮像画像間での被写体のぶれを補正するぶれ補正処理と、前記撮像画像間での画像の明るさの差を調整する明度調整処理との少なくとも１つの処理を実行し、
   前記補正画像生成部は、各々の撮像画像からそれぞれ異なる前記色成分に対応する前記画像情報を取得して、軸上色収差が補正された前記補正画像を生成することを特徴とする画像処理装置。
2. 撮影レンズの焦点距離、撮影距離、前記撮影レンズの一部のレンズ群の配置の少なくとも１つのパラメータを変化させてそれぞれ撮像された複数の撮像画像を取得する画像読込部と、
   前記撮像画像の画像処理を実行する画像処理部と、
   各々の前記撮像画像からそれぞれ画像情報を取得するとともに、複数の前記画像情報を組み合わせて、前記撮影レンズの収差が補正された補正画像を生成する補正画像生成部と、を備え、
   複数の前記撮像画像における撮影条件の変化量は、前記撮影レンズの種類、前記撮影レンズの焦点距離、前記撮影距離、前記撮影レンズの絞り値に基づいて決定され、
   前記画像処理部は、前記撮像画像間の撮影倍率の差を調整する倍率調整処理と、前記撮像画像間の歪曲収差の差を調整する歪曲収差調整処理と、前記撮像画像間での被写体のぶれを補正するぶれ補正処理と、前記撮像画像間での画像の明るさの差を調整する明度調整処理との少なくとも１つの処理を実行し、
   前記補正画像生成部は、前記撮像画像間でそれぞれの像高が異なる位置から前記画像情報を取得して、像面湾曲収差が補正された前記補正画像を生成することを特徴とする画像処理装置。
3. 撮影レンズの焦点距離を変化させてブラケティング撮影された複数の撮像画像を取得する画像読込部と、
   前記撮像画像間で明るさが相違する場合、前記撮像画像間での画像の明るさの差を調整する明度調整処理を実行する画像処理部と、
   各々の前記撮像画像からそれぞれ画像情報を取得するとともに、複数の前記画像情報を組み合わせて、前記撮影レンズの収差が補正された補正画像を生成する補正画像生成部と、を備え、
   前記画像処理部は、Ｒ画素の主波長で撮像面に結像する第１の撮像画像、Ｇ画素の主波長で撮像面に結像する第２の撮像画像、Ｂ画素の主波長で撮像面に結像する第３の撮像画像間での画像の明るさの差を調整することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   複数の前記撮像画像における撮影条件の変化量は、前記撮影レンズの種類、前記撮影レンズの焦点距離、撮影距離、前記撮影レンズの絞り値の少なくとも１以上に基づいて決定されることを特徴とする画像処理装置。
5. 請求項３または請求項４に記載の画像処理装置において、
   前記撮像画像は複数の色成分の情報を含み、
   複数の前記撮像画像は、各々の前記色成分に対応する波長の光における前記撮影レンズの結像位置のずれに応じて前記焦点距離を変化させて撮像された画像であって、
   前記補正画像生成部は、各々の撮像画像からそれぞれ異なる前記色成分に対応する前記画像情報を取得して、軸上色収差が補正された前記補正画像を生成することを特徴とする画像処理装置。
6. 請求項３または請求項４に記載の画像処理装置において、
   前記補正画像生成部は、前記撮像画像間でそれぞれの像高が異なる位置から前記画像情報を取得して、像面湾曲収差が補正された前記補正画像を生成することを特徴とする画像処理装置。
7. 請求項３から請求項６のいずれか１項に記載の画像処理装置において、
   前記画像処理部は、前記撮像画像間の撮影倍率の差を調整する倍率調整処理と、前記撮像画像間の歪曲収差の差を調整する歪曲収差調整処理と、前記撮像画像間での被写体のぶれを補正するぶれ補正処理との少なくとも１つの処理をさらに実行することを特徴とする画像処理装置。
8. 撮影レンズの焦点距離を変化させてブラケティング撮影された複数の撮像画像を取得する画像読込処理と、
   前記撮像画像間で明るさが相違する場合、Ｒ画素の主波長で撮像面に結像する第１の撮像画像、Ｇ画素の主波長で撮像面に結像する第２の撮像画像、Ｂ画素の主波長で撮像面に結像する第３の撮像画像間での画像の明るさの差を調整する明度調整処理を実行する画像処理と、
   各々の前記撮像画像からそれぞれ画像情報を取得するとともに、複数の前記画像情報を組み合わせて、前記撮影レンズの収差が補正された補正画像を生成する補正画像生成処理と、
   をコンピュータに実行させることを特徴とするプログラム。
9. 撮影レンズの焦点距離を変化させてブラケティング撮影された複数の撮像画像を撮像する撮像工程と、
   前記撮像画像間で明るさが相違する場合、Ｒ画素の主波長で撮像面に結像する第１の撮像画像、Ｇ画素の主波長で撮像面に結像する第２の撮像画像、Ｂ画素の主波長で撮像面に結像する第３の撮像画像間での画像の明るさの差を調整する明度調整処理を実行する画像処理を実行する画像処理工程と、
   各々の前記撮像画像からそれぞれ画像情報を取得するとともに、複数の前記画像情報を組み合わせて、前記撮影レンズの収差が補正された補正画像を生成する補正画像生成工程と、
   を有することを特徴とする画像処理方法。
10. 撮影レンズを通過した光束による結像を撮像する撮像部と、
    請求項１から請求項３のいずれか１項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。

Images