JP5963542B2 - 画像処理装置、その制御方法及びプログラム - Google Patents

Description

本発明は、ズームレンズの焦点距離、フォーカスレンズ位置、及び光学絞り量といった可変の光学パラメータを有する画像処理装置、その制御方法及びプログラムに関する。

ビデオカメラやデジタルカメラ等の撮像装置においては、遠くの被写体をアップにして撮影するためのズームレンズ、撮影したい被写体にピントを合わせるためのフォーカスレンズ、様々な光量の被写体に対して適切な露光状態を調整するための光学絞り等から構成されたレンズユニットが搭載される。そして、このレンズユニットにより投影された光学像を、ＣＣＤやＣＭＯＳ等の固体撮像素子により光電変換して映像信号を生成し、モニタに表示したり、記録メディアに記録したりする。

このようなレンズユニットにおいては、光の回折やレンズの屈折率等の物理現象に起因した収差や光量落ちと呼ばれる特性劣化が生じることも良く知られている。
ビデオカメラ等のレンズユニットで特に留意している収差は、倍率色収差、軸上色収差、歪曲収差である。また、光量落ちについては、特に撮影画角の四隅において顕著となる周辺光量落ちに留意している。これらの収差や周辺光量落ちは、レンズユニット設計において所定以上発生しないように設計されるのが一般的であった。

ところが近年、こうした収差や周辺光量落ちを信号処理で補正して、最終出力画像で目立たなくすることで、レンズユニット設計の自由度を確保し、コスト削減を狙ったり、収差や周辺光量落ち以外のレンズ性能の向上を狙ったりしたレンズユニット設計を実現する技術が提案されている。中でも、倍率色収差、歪曲収差、周辺光量落ちは、被写体にほとんど依存せず、ズームレンズの焦点距離、フォーカスレンズ位置、及び光学絞り量の３つの光学パラメータに応じて、光軸中心に対する点対称な現象となる。そこで、予め所定の光学パラメータの状態に対応した補正特性を、補正データベースとして記憶しておき、光学パラメータの状態に応じて、光軸中心に対する点対称な補正処理を行う技術が提案されている。

周辺光量落ちは、光軸中心に対して点対称に光量が減衰する現象なので、光軸中心に対して点対称なゲイン処理を施すことで実現される。また、倍率色収差は、光軸中心に対して点対称な光の波長別の結像位置ズレという現象なので、光軸中心に対して点対称な座標変換処理を、例えばＲＧＢ（赤緑青）３原色画像のＲとＢに対して行い、ＲＧＢの結象位置を揃えることで実現される。また、歪曲収差は、光軸中心に対して点対称な結像位置歪みという現象なので、倍率色収差補正と同様、光軸中心に対する点対称な座標変換処理を行うことで実現される。

さらに、これら周辺光量落ち補正、倍率色収差補正、歪曲収差補正を同時に実現するにあたり、補正の順序をどうするのが最終補正画質として適切かという課題が生じている。この課題に対して、特許文献１においては、倍率色収差補正や歪曲収差補正のような座標変換を伴う補正を実施する前に、周辺光量落ち補正のような座標変換を伴わない補正を実施するのが良いとしている。理由としては座標変換を伴う補正を先に実施してしまうと、座標変換を伴わない周辺光量落ち補正の補正ゲインが、座標変換後の画像に正しく適用できないためであるとしている。

特開２００２−１９０９７９号公報

周辺光量落ち、倍率色収差、歪曲収差の特性は、本来、上述した光学パラメータの状態に応じて様々な様相を呈するものである。さらに、これらいずれかの補正の後に別の補正を施す場合に、後から施した補正は、先に施した補正の影響により精度が低下する。したがって、最終補正画質を適切なものとするには、上述した光学パラメータに応じて、補正の精度としてどの補正を重視した補正順序とするかを考慮すべきであるが、上記従来の技術では、何ら考慮されていない。

本願発明者が検討したところによれば、周辺光量落ちはズームレンズの焦点距離と光学絞り量に比較的大きく依存して特性が変化する。具体的には、焦点距離が短い（ワイド）程、周辺光量落ちが生じ始める光軸中心からの距離（以下、像高と表記する）は遠く（以下、像高が高いと表記する）なり、かつ、周辺光量落ちは像高に対して急峻に折れ曲がる特性となることが多い。逆に焦点距離が長い（テレ）程、周辺光量落ちが生じ始める像高は低くなり、かつ、周辺光量落ちは像高に対して緩やかに折れ曲がる特性となることが多い。

また、本願発明者が検討したところによれば、倍率色収差や歪曲収差は、ズームレンズの焦点距離とフォーカスレンズ位置に比較的大きく依存して特性が変化する。具体的には、焦点距離及びフォーカスレンズ位置が至近である場合において、とりわけ収差が大きくなることが多い。ただし、他の焦点距離やフォーカスレンズ位置であっても収差が生じないわけはない。

さらに、本願発明者が検討したところによれば、補正に過不足が生じた場合には、倍率色収差、歪曲収差、周辺光量落ちの順で補正後の画質への影響が大きくなる。とりわけ倍率色収差は、無彩色の被写体のエッジに対して本来は無いはずの色が発色してしまう現象であるので、最も目立ちやすい。歪曲収差は、被写体エッジが歪んでしまう現象だが、色が発色しないという点で、倍率色収差よりは目立ちにくい。周辺光量落ちは、空等の平坦な被写体の場合にのみ目立ちやすくなる。
そして、これは、収差及び周辺光量落ちを補正することが可能な撮像装置のみ関連する課題ではない。撮像装置で得られた画像を取得して、取得した画像の収差及び周辺光量落ちを補正するアプリケーションを備えたパーソナルコンピュータ等の画像処理機能を備えた演算装置においても同様の課題が発生し得る。

本発明は上記のような点に鑑みてなされたものであり、例えば倍率色収差補正、歪曲収差補正、光量落ち補正といった光学補正を行う際に、最終補正画質を適切なものにできるようにすることを目的とする。

本発明の画像処理装置は、画像信号に対して光量落ち補正を行う第１の光学補正手段と、前記画像信号に対して倍率色収差補正及び歪曲収差補正の少なくともいずれかの収差補正を行う第２の光学補正手段と、前記画像信号を撮像素子で生成する際に用いられた結像光学系の光学パラメータが第１の値に設定された場合、前記第２の光学補正手段による収差補正を行った後に、前記第１の光学補正手段による光量落ち補正を行い、前記光学パラメータが第２の値に設定された場合、前記第１の光学補正手段による光量落ち補正を行った後に、前記第２の光学補正手段による収差補正を行うように制御する制御手段とを有し、前記光学パラメータが前記第１の値に設定された場合は、前記第２の値に設定された場合に比べて、前記第２の光学補正手段による収差補正の補正量が大きくなることを特徴とする。

本発明によれば、光学パラメータに応じて光学補正の補正順序を切り替えることにより、光学補正を行う際に、最終補正画質を適切なものとすることができる。

第１の実施形態に係るビデオカメラの構成を示す図である。 倍率色収差補正値生成部の詳細な構成を示す図である。 倍率色収差補正部の詳細な構成を示す図である。 光学補正プロットデータを説明するための図である。 位相ずれを補正する概念を示す図である。 倍率色収差補正部による処理を説明するための図である。 補正順序切り替え制御のための制御線図である。 第１の実施形態における補正順序切り替え制御を示すフローチャートである。 第２の実施形態に係るビデオカメラの構成を示す図である。 第２の実施形態における補正順序切り替え制御を示すフローチャートである。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、本発明を適用した画像処理装置の例である、第１の実施形態に係るビデオカメラの構成を示す図である。１０１は結像光学系であり、ズームレンズの焦点距離、フォーカスレンズ位置、及び光学絞り量を可変の光学パラメータとして制御対象とすることができる。１０２は撮像素子であるＲＧＢ（赤緑青）３板式イメージエリアセンサである。撮像素子１０２は、ベイヤー配列のように、複数のカラーフィルタに対応する画素が所定のパターンで配置された単板式イメージエリアセンサであってもよい。１０３は相関二重サンプリング及びアナログデジタル変換装置からなるアナログフロントエンド（以下ＡＦＥと略記する）である。

１０４は第１の切替部である。１０５は第１の光学補正手段として機能する光量落ち補正部である。１０６は第２の切替部である。１０７は第２の光学補正手段として機能する倍率色収差補正部である。１０８は第３の切替部である。１０９はカメラ信号処理部である。

１１０は光学系駆動部である。１１１はセンサ駆動部である。１１２は光量落ち補正値生成部である。１１３は倍率色収差補正値生成部である。１１４は補正順序切替判定部である。１１５は同期信号生成部である。１１６は像高演算部である。１１７はマイコンである。１１８は光学補正データベースである。１１９はＡＥ（自動露出）評価値生成部である。１２０はＡＦ（オートフォーカス）評価値生成部である。１２１はズーム操作入力部である。

また、図１に示す信号及びデータとして、Ｓ１０１はＲＡＷ画像信号である。Ｓ１０２は第１の切替部出力画像信号である。Ｓ１０３は光量落ち補正済画像信号である。Ｓ１０４は第２の切替部出力画像信号である。Ｓ１０５は倍率色収差補正済画像信号である。Ｓ１０６は第３の切替部出力画像信号である。Ｓ１０７はカメラ信号処理済画像信号である。なお、第１の実施形態において、ＲＡＷ画像信号Ｓ１０１、第１の切替部出力画像信号、光量落ち補正済画像信号Ｓ１０３、第２の切替部出力画像信号Ｓ１０４、倍率色収差補正済画像信号Ｓ１０５、及び第３の切替部出力画像信号Ｓ１０６は、ＲＧＢ３板式イメージエリアセンサ１０２の各色に対応したＲＧＢ３チャネルの画像信号である。

Ｓ１０８はズーム・フォーカス・絞り用のモータを駆動する結像光学系駆動信号である。Ｓ１０９は光電荷蓄積・読み出しを行うセンサ駆動信号である。Ｓ１１０は光量落ち補正値である。Ｓ１１１は倍率色収差補正値である。Ｓ１１２は補正順序切替信号である。Ｓ１１３は水平及び垂直同期信号である。Ｓ１１４は像高データである。Ｓ１１５はズーム・フォーカス・絞り位置を指示する結像光学系駆動設定データである。Ｓ１１６は電子シャッター量等を指示するセンサ駆動設定データである。Ｓ１１７はセンサ中心位置と光学中心位置の相対位置を指示する中心座標データである。Ｓ１１８はズーム・フォーカス・絞り位置に応じた光量落ち特性データである。Ｓ１１９はズーム・フォーカス・絞り位置に応じた倍率色収差特性データである。

Ｓ１２１は白バランスゲイン等のカメラ信号処理設定データである。Ｓ１２２は光学特性データである。Ｓ１２３はＡＥ評価用信号である。Ｓ１２４はＡＦ評価用信号である。Ｓ１２５はＡＥ評価データである。Ｓ１２６はＡＦ評価データである。Ｓ１２７はズーム制御信号である。

図２は、倍率色収差補正値生成部１１３の詳細な構成を示す図である。詳細は後述するが、２４１は関数係数算出回路、２４２は補正値算出回路、２４３はＸＹベクトル係数算出回路、２４４、２４５は乗算器である。

また、図３は、倍率色収差補正部１０７の詳細な構成を示す図である。詳細は後述するが、３０１、３０２は補間制御回路、３０３はバッファメモリ、３０４〜３１１は水平補間回路、３１２は垂直補間回路である。

次に、第１の実施形態に係るビデオカメラの動作の説明を行う。
結像光学系１０１を通じて、イメージエリアセンサ１０２の受光面上に結像された光学像は、イメージエリアセンサ１０２で光電変換され、センサ出力映像信号として生成される。イメージエリアセンサ１０２で生成されたセンサ出力映像信号は、ＡＦＥ１０３にて相関二重サンプリング及びＡ／Ｄ変換されて、ＲＡＷ画像信号Ｓ１０１が生成される。

光量落ち補正部１０５では、第１の切替部１０４で切り替えられた画像信号Ｓ１０２（画像信号Ｓ１０１又はＳ１０５）に対して、結像光学系１０１により発現する周辺の光量落ち領域をゲインアップする補正がなされる。この結果、光量落ち補正済画像信号Ｓ１０３が生成される。この補正は、像高演算部１１６によって生成された像高データＳ１１４と、マイコン１１７により設定された光量落ち特性データＳ１１８とに基づいて光量落ち補正値生成部１１２により算出された光量落ち補正値Ｓ１１０に基づいて行われる。

倍率色収差補正部１０７では、第２の切替部１０６で切り替えられた画像信号Ｓ１０４（画像信号Ｓ１０１又はＳ１０３）に対して、結像光学系１０１により発現する倍率色収差を局所的な変倍処理によって補正がなされる。この結果、倍率色収差補正済画像信号Ｓ１０５が生成される。この補正は、像高演算部１１６によって生成され像高データＳ１１４と、マイコン１１７により設定された倍率色収差特性データＳ１１９とに基づいて倍率色収差補正値生成部１１３により算出された倍率色収差補正値Ｓ１１１に基づいて行われる。
倍率色収差補正値生成部１１３による倍率色収差補正値Ｓ１１１の生成動作の詳細、及び倍率色収差補正部１０７による倍率色収差補正動作の詳細については、図２、図３を参照して後述する。像高演算部１１６による像高データＳ１１４の生成動作の詳細についても後述する。

カメラ信号処理部１０９では、第３の切替部１０８で切り替えられた画像信号Ｓ１０６（画像信号Ｓ１０３又はＳ１０５）に対して、ガンマ処理、白バランス処理、マトリクス処理等の周知のカメラ信号処理が施される。この結果、カメラ信号処理済画像信号Ｓ１０７が生成される。この処理は、マイコン１１７により設定されるカメラ信号処理設定データＳ１２１に基づいて行われる。カメラ信号処理済画像信号Ｓ１０７は、図示しない記録部や表示部において、動画として記録されたり、表示されたりする。また、カメラ信号処理部１０９では、入力された第３の切替部出力画像信号Ｓ１０６から、自動露光制御に用いるためのＡＥ評価用信号Ｓ１２３と、自動焦点制御に用いるためのＡＦ評価用信号Ｓ１２４とを生成し、それぞれＡＥ評価値生成部１１９及びＡＦ評価値生成部１２０に伝送する。

イメージエリアセンサ１０２は、センサ駆動部１１１によって生成されたセンサ駆動信号Ｓ１０９によって駆動されることにより、センサ出力映像信号が読み出される。また、センサ駆動部１１１では、同期信号生成部１１５によって生成された水平及び垂直同期信号Ｓ１１３に同期してセンサ駆動信号Ｓ１０９が生成されるので、センサ出力映像信号は水平及び垂直同期信号Ｓ１１３に同期したものとなる。さらに、マイコン１１７によって設定されるセンサ駆動設定データＳ１１６によって、蓄積時間の制御がなされる。

像高演算部１１６では、同期信号生成部１１５によって生成された水平及び垂直同期信号Ｓ１１３から、水平座標及び垂直座標を生成し、これを極座標変換する処理を行うことにより、中心位置からの距離である像高データを生成する。その際に、マイコン１１７により中心座標データＳ１１７が与えられることにより、結像光学系１０１に光学手ぶれ補正部を含む場合に、光学手ぶれ補正に追従した像高データＳ１１４を生成することも可能である。中心座標データＳ１１７は、水平方向の光学中心位置Ｃｘと、垂直方向の光学中心位置Ｃｙとからなるものとすれば、水平座標Ｘｔ及び垂直座標Ｙｔから、中心位置（Ｃｘ，Ｃｙ）を原点とする極座標系における極座標は下式（１）、（２）と表すことができる。像高演算部１１６は、上記式の演算により極座標値Ｒｔとθｔを求め、これらをもって像高データＳ１１４を出力する。平方根演算は、二分法、開平法等の既知の手法を有限語長精度で表現することにより、またａｔａｎ演算は、高次関数近似或いはＸＹ比を所定の値域に区間分割した区分低次関数近似により、ハードウェアでも実現が可能である。

ＡＥ評価値生成部１１９では、ＡＥ評価用信号Ｓ１２３を周知の測光用積分動作を行うことにより、ＡＥ評価データＳ１２５を生成する。マイコン１１７は、所定のタイミングにてＡＥ評価データＳ１２５を読み込む動作を行う。さらに、マイコン１１７は、ＡＥ評価データＳ１２５に基づき、結像光学系駆動設定データＳ１１５を生成して光学系駆動部１１０を制御する。これにより、結像光学系駆動信号Ｓ１０８を制御し、結像光学系１０１に含まれる光学絞り量を調節し、又は、センサ駆動設定データＳ１１６を生成することにより、センサ駆動部１１１を制御して、センサ駆動信号Ｓ１０９を生成することにより、ＲＧＢ３板式イメージエリアセンサ１０２の蓄積時間を調節し、又は、カメラ信号処理設定データＳ１２１を生成することにより、カメラ信号処理部１０９におけるゲインを調節することにより、ＡＥ動作を実現する。

ＡＦ評価値生成部１２０では、ＡＦ評価用信号Ｓ１２４を周知の高周波検波積分動作を行うことにより、ＡＦ評価データＳ１２６を生成する。マイコン１１７は、所定のタイミングにてＡＦ評価データＳ１２６を読み込む動作を行う。さらに、マイコン１１７は、ＡＥ評価データＳ１２５に基づき、結像光学系駆動設定データＳ１１５を生成して光学系駆動部１１０を制御する。これにより、結像光学系駆動信号Ｓ１０８を制御し、結像光学系１０１に含まれるフォーカスレンズ位置を調節することにより、ＡＦ動作を実現する。

マイコン１１７は、ユーザ操作によるズーム操作入力部１２１からのズーム制御信号Ｓ１２７を検知して、結像光学系駆動設定データＳ１１５を生成して光学系駆動部１１０を制御する。これにより、結像光学系駆動信号Ｓ１０８を制御し、結像光学系１０１に含まれるズームレンズの焦点距離を調節する。
さらに、マイコン１１７は、光学補正データベース１１８に予め記憶された光学補正データ（光学補正特性情報）から、結像光学系駆動設定データＳ１１５に基づき、ズームレンズの焦点距離と、フォーカスレンズ位置と、光学絞り量に合致するか、又は、それに近い光学補正データを選択して読み出す。そして、ズームレンズの焦点距離と、フォーカスレンズ位置と、光学絞り量によって発生する、結像光学系１０１の光量落ちと倍率色収差を表す、光量落ち特性データＳ１１８及び倍率色収差特性データＳ１１９を生成する。光量落ち特性データＳ１１８及び倍率色収差特性データＳ１１９の生成について説明する。

光学補正データベース１１８の保持する光学補正データは、例えば所定の像高位置における倍率色収差補正量、或いは光量落ち補正量を直接示すプロットデータであるが、これらの補正量特性を近似した関数の係数項を保持していてもよい。光学補正データベース１１８は、ビデオカメラの許容するメモリ容量や、光学系の特性変化量の傾向に応じて情報量を予め決定しておけばよいが、メモリ容量は有限であるため情報は離散的にしか持てない。したがって、情報のない光学パラメータ領域、像高位置、角度では、前後の情報から補間することで補う。
まず、マイコン１１７は、例えば光学補正データベース１１８が保持している光学補正特性情報のうち、現在の光学パラメータ近傍の２つＯａ、ＯＢを選択する。光学補正データベース１１８には、図４（ａ）に示すように、光学パラメータＯａにおける光学補正プロットデータｃｆａ１〜ｃｆａ４、及び光学パラメータＯｂにおける光学補正プロットデータｃｆｂ１〜ｃｆｂ４が保持されている。マイコン１１７は、像高に対して与えられた２個の補正量プロットデータの補間処理を、現在の光学パラメータとＯａ、Ｏｂとの乖離度に応じて重み付けして行う。これにより、図４（ｂ）に示すようなｃｍ１〜ｃｍ４の４個の補正プロットデータを算出し、補正量プロットデータセットＣｍとして出力する。このように生成した上記補正量プロットデータセットＣｍが、光量落ち特性データＳ１１８、及び倍率色収差補正データＳ１１９として生成される。

次に、光量落ち補正部１０５の補正動作について説明する。
光量落ち特性データＳ１１８は、像高に応じてどのような補正ゲインをかけるべきであるかを示すデータとなっている。光量落ち補正部１０５では、入力された光量落ち特性データＳ１１８と、像高データＳ１１４の極座標値Ｒｔにより補正ゲインを決定し、第１の切替部出力画像信号Ｓ１０２に対してゲイン補正を施すことにより光量落ち補正を実現する。

次に、倍率色収差補正値生成部１１３の補正動作について説明する。
図２は、倍率色収差補正値生成部１１３の構成を示す図である。現在の着目画素における極座標値Ｒｔ、θｔを示す像高データＳ１１４と、マイコン１１７から出力された補正量プロットデータセットＣｍ１〜Ｃｍ４は、関数係数算出回路２４１に入力される。
関数係数算出回路２４１は、図４（ｃ）に示すように、現在の着目画素における極座標値Ｒｔが属するプロット区間を求め（太い黒線区間）、プロット区間に対応する近似関数の係数ａ、ｂ、ｃを出力する。上記の処理における各プロット区間は、例えば下式（３）という二次関数で近似する。これを一次関数（折れ線近似）としたり、三次以上の高次の関数としたりすることも可能である。

補正値算出回路２４２は、上記式に基づき、現在の着目画素における極座標値Ｒｔから補正量Ｚｔを算出する。補正量Ｚｔは、極座標系でθｔ方向に見たときの補正量を示しているが、後述するように、倍率色収差補正部１０７では、水平、垂直に従属的に補間処理を行うことになる。このため、倍率色収差補正値生成部１１３は、求められた補正量Ｚｔを水平垂直方向（ＸＹ方向と略す）にベクトル分解する。
ＸＹベクトル係数算出回路２４３は、着目画素ｔにおける極座標値Ｒｔ、θｔから、補正量ＺｔをＸＹ方向にベクトル分解するためのベクトル係数Ｖｘ、Ｖｙを、下式（４）で求める。

ｃｏｓθ、ｓｉｎθ演算は、高次関数近似或いは極座標値θを所定の値域に区間分割した区分低次関数近似により、ハードウェアでも実現が可能である。
ベクトル係数Ｖｘ、Ｖｙは、乗算器２４４、２４５で補正量Ｚｔに乗じられ、下式（５）でＸＹ方向の補正量ＺｔＨ、ＺｔＶが求められる。

このようにして求められたＸＹ方向の補正量ＺｔＨ、ＺｔＶは、倍率色収差補正の場合、ＲＧＢ３板式イメージエリアセンサ１０２の各色に対応したＲＧＢ３チャネルの画像信号に独立で、水平、垂直方向の位相ズレ成分として分離した位相ズレ量である。なお、歪曲収差補正の場合、補正量ＺｔＨ、ＺｔＶは、ＲＧＢ３板式イメージエリアセンサ１０２の各色に対応したＲＧＢ３チャネルの画像信号に共通で、水平、垂直方向の位相ズレ成分として分離した位相ズレ量である。
なお、この例では、光学補正データベース１１８は、光学補正量を直接示すプロットデータを保持しているが、補正特性を近似した関数の係数項を保持していてもよく、その場合は、上記説明の補正量プロットデータが、近似関数の次数に置き換わる。

次に、倍率色収差補正部１０７の補正動作について詳細に説明する。
倍率色収差補正や歪曲収差補正の場合、光学補正値は、着目画素位置における歪み量を水平、垂直方向の位相ズレ成分として分離した位相ズレ量である。この位相ずれを補正する概念を示す図が図５（ａ）〜（ｃ）であり、簡単のために、補間演算を着目画素位置近傍４画素で行うように例示している。
図５（ａ）の黒画素は、着目画素Ｓが本来あるべき位相を示しており、ドットで表す画素は、着目画素Ｓが倍率色収差や歪曲収差の影響で、位相ズレして撮像された位置を示す仮想画素Ｓ’である。
倍率色収差や歪曲収差を補正するには、水平方向にＨｐ、垂直方向にＶｐ位相がずれてしまった仮想画素Ｓ’を求め、着目画素Ｓの位置に再配置すればよい。仮想画素Ｓ’は、図５（ｂ）に示すように、近傍に存在する実際に撮像した画素ｓ１、ｓ２、ｓ３、ｓ４から、画素s１、ｓ２、ｓ３、ｓ４と仮想画素Ｓ’との画素間距離ｃ１、ｃ２、ｃ３、ｃ４で、重み付け補間演算することで生成することができる。
生成された仮想画素Ｓ’は、図５（ｃ）に示すように、着目画素Ｓの位置に置き換えられ、倍率色収差や歪曲収差が補正される。

図３は、倍率色収差補正部１０７の構成を示す図であり、図５（ａ）〜（ｃ）で説明した処理を、着目画素近傍位置６４画素で補間演算することにより実現する構成を示す。
倍率色収差補正部１０７に入力された補正量ＺｔＨ、ＺｔＶは、補間制御回路３０１、３０２に入力され、それぞれ整数の水平、垂直位相ズレ成分をＨｐ、Ｖｐとして出力する。また、補間制御回路３０１、３０２は、小数の水平、垂直位相ズレ成分を補間係数ｃｈ０〜ｃｈ７、ｃｖ０〜ｃｖ７として出力する。
バッファメモリ３０３は、入力信号Ｓを水平、垂直方向に順次複数画素にわたり保持しており、図６に示すように着目画素位置ＳからＨｐ、Ｖｐだけずれたアドレスを中心に、仮想画素Ｓ’近傍の参照画素ｓ００〜ｓ７７を同時に読み出す。なお、図６の、左右の画素位置０〜７、上下の画素位置０〜７を組み合わせたものが、仮想画素Ｓ’近傍の６４画素を示す画素番号（ｓ００等）を示すものとする。
バッファメモリ３０３から出力された参照画素ｓ００〜ｓ７７は、各ライン毎に設けられた水平補間回路３０４〜３１１に入力されるとともに、各参照画素に対応した補間係数ｃｈ０〜ｃｈ７が入力され、水平方向に補間処理した参照画素ｓ０’〜ｓ７’を出力する。水平補間回路３０４〜３１１はいずれも同じ構成であり、例えば参照画素ｓ００〜ｓ０７は、補間係数ｃｈ０〜ｃｈ７とそれぞれ乗じられ、その平均値を取り、水平方向の補間処理を施した参照画素ｓ０’となる。ｓ１’〜ｓ７’についても同様である。
水平補間回路３０４〜３１１から出力された参照画素ｓ０’〜ｓ７’は、垂直補間回路３１２に入力されるとともに、各参照画素に対応した補間係数ｃｖ０〜ｃｖ７が入力される。この結果、参照画素ｓ０’〜ｓ７’と補間係数ｃｖ０〜ｃｖ７がそれぞれ乗じられ、平均値を取り、垂直方向に補間処理した仮想画素Ｓ’を出力する。
このように生成された仮想画素Ｓ’は、上述した通り、倍率色収差や歪曲収差が補正された結果となる。

結像光学系駆動設定データＳ１１５は、補正順序切替判定部１１４にも入力される。補正順序切替判定部１１４では、結像光学系駆動設定データＳ１１５の値に応じた制御線図を示す図７（ａ）又は（ｂ）と、図８に示すフローチャートに従って補正順序切替信号Ｓ１１２を決定する。
図７（ａ）は、ズームレンズの焦点距離（Zoomと表記）と、光学絞りの絞り量（Fnoと表記）による補正順序切替信号Ｓ１１２の制御線図であって、下式（６）で示す直線特性である。
図７（ｂ)は、ズームレンズの焦点距離（Zoomと表記）と、フォーカスレンズ位置（Focusと表記）による補正順序切替信号Ｓ１１２の制御線図であって、下式（７）で示す直線特性である。

Zoom = K₁Fno + C₁・・・式（６）
K₁及びC₁は、固定の係数及び定数項
Zoom = K₂Fno + C₂・・・式（７）
K₂及びC₂は、固定の係数及び定数項

結像光学系駆動設定データＳ１１５は、図７（ａ）と図７（ｂ）で表記したZoom、Fno、Focusとなる。したがって、結像光学系駆動設定データＳ１１５がマイコン１１７から与えられると、図７（ａ）と図７（ｂ）に示した直線特性にあてはめ、値を比較することにより、補正順序切替信号Ｓ１１２を決定する。この決定の過程を、図８の補正順序切り替え制御を示すフローチャートで説明する。
結像光学系駆動設定データＳ１１５が更新されたタイミングで処理開始となる。ステップＳ１において、式（６）に従った第１の判定を行い、次にステップＳ２、Ｓ３において、補正順序切替信号Ｓ１１２を決定する。すなわち、ズームレンズの焦点距離がテレ端又はテレ端に近い領域か、光学絞りの絞り量がＦ５．６以下の小絞りから開放の領域においては、補正順序切替信号Ｓ１１２を１とし、それ以外では補正順序切替信号Ｓ１１２を０とする。
次に、ステップＳ４において、式（７）に従った第２の判定を行い、次にステップＳ５において、補正順序切替信号Ｓ１１２を更新する。すなわち、ズームレンズの焦点距離がワイド端に近いマクロ撮影領域であって、フォーカスレンズ位置が１０ｃｍ以下の至近距離領域である場合には補正順序切替信号Ｓ１１２を１に更新し、それ以外の場合にはステップＳ２、Ｓ３において決定された補正順序切替信号Ｓ１１２の値とする。その後、処理終了となる。

以上の補正順序切替判定部１１４の動作により、焦点距離とフォーカスレンズ位置がマクロ撮影領域近傍にある場合と、焦点距離がテレ端寄りか、光学絞りの絞り量がＦ５．６より開放側の場合には、補正順序切替信号Ｓ１１２は１となり、それ以外の場合には、補正順序切替信号Ｓ１１２は０となる。
したがって、補正順序切替判定部１１４の動作により、焦点距離とフォーカスレンズ位置がマクロ撮影領域近傍にある場合と、焦点距離がテレ端寄りで、光学絞りの絞り量がＦ５．６より開放側の場合には、第１の切替部１０４と、第２の切替部１０６と、第３の切替部１０８は１側に接続となる。これにより、第１の切替部出力画像信号Ｓ１０２は倍率色収差補正済画像信号Ｓ１０５、第２の切替部出力画像信号Ｓ１０４はＲＡＷ画像信号Ｓ１０１、第３の切替部出力画像信号Ｓ１０６は光量落ち補正済画像信号Ｓ１０３となる。したがって、カメラ信号処理部１０９には、先に倍率色収差補正がされ、その後に光量落ち補正がされた画像信号が入力される。
このように、倍率色収差が顕著であるマクロ撮影領域近傍、及び光量落ちが像高に対してなだらかであるテレ端よりの小絞り〜開放においては、倍率色収差補正を先に行うことにより、倍率色収差補正の補正精度を重視した光学補正を実現できる。

一方、それ以外の場合には、第１の切替部１０４と、第２の切替部１０６と、第３の切替部１０８は０側に接続となる。これにより、第１の切替部出力画像信号Ｓ１０２はＲＡＷ画像信号Ｓ１０１、第２の切替部出力画像信号Ｓ１０４は光量落ち補正済画像信号Ｓ１０３、光量落ち補正済画像信号Ｓ１０３は倍率色収差補正済画像信号Ｓ１０５となる。したがって、カメラ信号処理部１０９には、先に光量落ち補正がされ、その後に倍率色収差補正がされた画像信号が入力される。
このように、倍率色収差がさほど顕著ではなく、逆に光量落ちが像高に対して急峻に発生する条件においては、光量落ち補正を先に行うことにより、光量落ち補正の補正精度を重視した光学補正を実現できる。

以上説明した動作の結果、ズーム・フォーカス・絞り位置に対する光量落ち特性と倍率色収差特性から、総合的に補正誤差の少ない光量落ち補正と倍率色収差補正が実現でき、最終補正画質を適切なものとすることができる。なお、本実施形態の倍率色収差補正部を、歪曲収差補正部と置き換えても同様の効果がある。

（第２の実施形態）
図９は、本発明を適用した画像処理装置の例である、第２の実施形態に係るビデオカメラの構成を示す図である。なお、第１の実施形態と同様の構成要素、信号及びデータには同じ符号を付加し、その説明を省略する。
９２２は補正順序履歴データベースであり、補正順序の履歴を保持する。Ｓ９２８は補正順序切替判定データである。第２の実施形態において、第１の実施形態と異なる点は、補正順序履歴データベース９２２と、補正順序切替判定データＳ９２８とを用いて、補正順序切替信号Ｓ１１２を生成する補正順序切替判定部１１４の動作である。以下、図１０のフローチャートを用いてその説明を行う。

結像光学系駆動設定データＳ１１５が更新されたタイミングで処理開始となる。ステップＳ１１において、式（６）に従った第１の判定を行い、次にステップＳ１２〜Ｓ１５において補正順序切替判定データＳ９２８を参照し、補正順序切替信号Ｓ１１２を更新するか否かを判定する。すなわち、補正順序切替信号Ｓ１１２を０としたい場合、補正順序切替判定データＳ９２８も０であれば（ステップＳ１２）、補正順序切替信号Ｓ１１２を０とする（ステップＳ１４）。また、補正順序切替信号Ｓ１１２を１としたい場合、補正順序切替判定データＳ９２８も１であれば（ステップＳ１３）、補正順序切替信号Ｓ１１２を１とする（ステップＳ１５）。それ以外では補正順序切替信号Ｓ１１２を更新せず、ステップＳ１９に進む。
次に、ステップＳ１６において、式（７）に従った第２の判定を行い、次にステップＳ１７、Ｓ１８において、補正順序切替判定データＳ９２８を参照し、補正順序切替信号Ｓ１１２を更新するか否かを判定する。補正順序切替信号Ｓ１１２を１としたい場合、補正順序切替判定データＳ９２８も１であれば（ステップＳ１７）、補正順序切替信号Ｓ１１２を１とする（ステップＳ１８）。それ以外では補正順序切替信号Ｓ１１２を更新せず、ステップＳ１９に進む。
次に、ステップＳ１９において、補正順序切替信号Ｓ１１２の値を補正順序切替判定データＳ９２８として更新する。これにより、補正順序履歴データベース９２２に補正順序切替信号Ｓ１１２が過去の補正順序履歴として記憶される。その後、処理終了となる。

以上の動作により、式（６）及び式（７）に従った第１及び第２の判定だけではなく、過去の判定履歴を補正順序切替判定データＳ９２８から反映することができる。これにより、第１の実施形態で説明した光量落ち補正と倍率色収差補正の補正順序が頻繁に入れ替わることを防止し、より安定した質の良い補正誤差の少ない光量落ち補正と倍率色収差補正が実現できる。なお、本実施形態においても、倍率色収差補正部を、歪曲収差補正部と置き換えても同様の効果がある。
また、本実施形態での補正順序切替判定データＳ９２８の参照は、過去１回前の結果の参照としているが、その回数としては１回前に限るものではない。
また、第１及び第２の実施形態ではビデオカメラを例にあげて説明を行ったが、可変の光学パラメータの情報が付与された画像に対して、収差及び周辺光量落ちの補正を行う機能を備えた画像処理装置であれば、本発明を適用することが可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：結像光学系、１０２：ＲＧＢ３板式イメージエリアセンサ、１０３：ＡＦＥ、１０４：第１の切替部、１０５：光量落ち補正部、１０６：第２の切替部、１０７：倍率色収差補正部、１０８：第３の切替部、１０９：カメラ信号処理部、１１０：光学系駆動部、１１１：センサ駆動部、１１２：光量落ち補正値生成部、１１３：倍率色収差補正値生成部、１１４：補正順序切替判定部、１１５：同期信号生成部、１１６：像高演算部、１１７：マイコン、１１８：光学補正データベース、１１９：ＡＥ評価値生成部、１２０：ＡＦ評価値生成部、１２１：ズーム操作入力部、１２２：補正順序履歴データベース

Claims (6)

1. 画像信号に対して光量落ち補正を行う第１の光学補正手段と、
   前記画像信号に対して倍率色収差補正及び歪曲収差補正の少なくともいずれかの収差補正を行う第２の光学補正手段と、
   前記画像信号を撮像素子で生成する際に用いられた結像光学系の光学パラメータが第１の値に設定された場合、前記第２の光学補正手段による収差補正を行った後に、前記第１の光学補正手段による光量落ち補正を行い、前記光学パラメータが第２の値に設定された場合、前記第１の光学補正手段による光量落ち補正を行った後に、前記第２の光学補正手段による収差補正を行うように制御する制御手段とを有し、
   前記光学パラメータが前記第１の値に設定された場合は、前記第２の値に設定された場合に比べて、前記第２の光学補正手段による収差補正の補正量が大きくなることを特徴とする画像処理装置。
2. 前記光学パラメータは、ズームレンズの焦点距離、フォーカスレンズ位置、及び光学絞り量の少なくともいずれかであることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の光学補正手段による収差補正と、前記第１の光学補正手段による光量落ち補正の、補正順序の履歴を保持する記憶手段を備え、
   前記制御手段は、前記補正順序の履歴も参照して、前記第２の光学補正手段による収差補正と、前記第１の光学補正手段による光量落ち補正のどちらを先に行うかを決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 撮像素子と、
   結像光学系と、
   前記撮像素子で生成された画像信号に対して光量落ち補正を行う第１の光学補正手段と、
   前記画像信号に対して倍率色収差補正及び歪曲収差補正の少なくともいずれかの収差補正を行う第２の光学補正手段と、
   前記画像信号を生成する際に用いられた前記結像光学系の光学パラメータが第１の値に設定された場合、前記第２の光学補正手段による収差補正を行った後に、前記第１の光学補正手段による光量落ち補正を行い、前記光学パラメータが第２の値に設定された場合、前記第１の光学補正手段による光量落ち補正を行った後に、前記第２の光学補正手段による収差補正を行うように制御する制御手段とを有し、
   前記光学パラメータが前記第１の値に設定された場合は、前記第２の値に設定された場合に比べて、前記第２の光学補正手段による収差補正の補正量が大きくなることを特徴とする撮像装置。
5. 画像信号に対して光量落ち補正を行う第１の光学補正手段と、前記画像信号に対して倍率色収差補正及び歪曲収差補正の少なくともいずれかの収差補正を行う第２の光学補正手段とを備えた画像処理装置の制御方法であって、
   前記画像信号を撮像素子で生成する際に用いられた結像光学系の光学パラメータが第１の値に設定された場合、前記第２の光学補正手段による収差補正を行った後に、前記第１の光学補正手段による光量落ち補正を行い、前記光学パラメータが第２の値に設定された場合、前記第１の光学補正手段による光量落ち補正を行った後に、前記第２の光学補正手段による収差補正を行うように制御するステップを有し、
   前記光学パラメータが前記第１の値に設定された場合は、前記第２の値に設定された場合に比べて、前記第２の光学補正手段による収差補正の補正量が大きくなることを特徴とする画像処理装置の制御方法。
6. 画像信号に対して光量落ち補正を行う第１の光学補正手段と、前記画像信号に対して倍率色収差補正及び歪曲収差補正の少なくともいずれかの収差補正を行う第２の光学補正手段とを備えた画像処理装置を制御するためのプログラムであって、
   前記画像信号を撮像素子で生成する際に用いられた結像光学系の光学パラメータが第１の値に設定された場合、前記第２の光学補正手段による収差補正を行った後に、前記第１の光学補正手段による光量落ち補正を行い、前記光学パラメータが第２の値に設定された場合、前記第１の光学補正手段による光量落ち補正を行った後に、前記第２の光学補正手段による収差補正を行うように制御する処理をコンピュータに実行させ、
   前記光学パラメータが前記第１の値に設定された場合は、前記第２の値に設定された場合に比べて、前記第２の光学補正手段による収差補正の補正量が大きくなることを特徴とするプログラム。

Images