JP2001186533A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 簡単かつ安価な構成で、入力画像信号の色収
差を補正できると共に、欠落色信号の補間処理で色収差
を補正できる画像処理装置を提供する。 【解決手段】 撮像素子１から得られる画像情報の色信
号を記憶する画像情報記憶部31と、撮像光学系２で発生
する色収差の情報を記憶する色収差情報記憶部33と、画
像情報の色信号の画素位置と撮像光学系２に関する情報
とに基づいて色収差情報記憶部33から色収差情報を読み
出して色収差補正情報を生成する色収差補正情報生成部
34,35と、画像情報の色信号の画素位置と色収差補正情
報とに基づいて補間係数を算出する補間係数算出部36
と、画像情報の色信号と補間係数とを用いて画像情報の
色信号および前記欠落している画像情報の色信号に関し
て補間処理を行う補間処理部36とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置において
発生する光学系の倍率色収差を信号処理で補正する画像
処理装置、特に欠落している色信号を信号処理で補間す
る際に倍率色収差を補正する画像処理装置に関するもの
である。

【０００２】

【従来の技術】撮像装置等に用いる光学系で発生する収
差の一つに倍率色収差がある。色収差は、波長によって
屈折率が異なることに起因するもので、特に倍率色収差
は色によって焦点距離が異なることで、像面における像
の位置（倍率）が各色でずれて見られる現象である。な
お、本明細書では、倍率色収差を以後簡略して色収差と
記す。この色収差は、レンズの材質等である程度補正で
きるが、この場合には材質が高価になる等の原因でレン
ズ製造におけるコストがかかることになる。

【０００３】そこで、従来、色収差を信号処理によって
補正する方法が幾つか提案されている。例えば、特公平
６−５９５９号公報には、基準色と他色との誤差および
近傍の色信号から補間処理を行うための補正データを予
め記憶し、撮像動作時にこれら記憶されているデータを
読み出して他色のデータを近傍のデータにより補間する
ことで補正を行うようにしたものが開示されている。

【０００４】また、特開平８−２０５１８１号公報に
は、ズーム位置等のレンズ状態と画面位置に対応した色
収差情報（基準色に対する他色のずれ情報）を予めメモ
リに記憶し、該当する色収差情報を用いて基準色との色
収差を補正した画像データを補間するようにしたものが
開示されている。さらに、この公報には、色収差情報の
メモリを減らすための工夫として、画面中心からの距離
に応じて色収差を判定したり、部分的に色収差情報を記
憶して、色収差情報が存在しない部分は補間により色収
差情報を求めることも開示されている。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来例では、基本的に各画素すべての色が存在する段
階で色収差補正を行っているため、例えばＲＧＢで表さ
れる場合には、各色一つずつの撮像素子（３板撮像素
子）を持つ撮像装置が必要となり、撮像素子を多く持つ
分だけ撮像装置自体が大きく、かつコスト高になる。

【０００６】これに対し、単板や２板の撮像素子を用い
る（画像再現に必要な色信号に対して撮像素子が少な
い）場合には、３板撮像素子を用いる撮像装置に比べ撮
像装置自体を小さく、かつ安価にできるが、この場合に
は、画像として再現するために各画素に関して欠落して
いる色信号を補間する必要がある。ところが、この場合
に補間される色信号は、上述した色収差の影響により、
参照する画素の像とは異なった部分の像に関して生成さ
れることになる。

【０００７】この様子を、図１０を用いてさらに詳細に
説明する。図１０は、単板撮像素子における欠落色信号
の補間の様子を示している。ここで注目している画素
“Ｇ｛ｉ，ｊ｝”にはＧ信号が存在し、画像として再現
するにはＲ信号およびＢ信号を補間する必要がある。こ
の位置に結像するＧ信号の像に関して、理想的には補間
されるＲ信号およびＢ信号は同一位置に結像する。しか
し、実際には光学系の色収差により、Ｇ信号の像に関す
るＲ信号およびＢ信号の結像位置“Ｒ｛ｉ，ｊ｝”，
“Ｂ｛ｉ，ｊ｝”は、図１０のようにＧ信号の位置とは
異なった位置に結像される。

【０００８】ここで、色収差補正を行わずにＲ信号およ
びＢ信号の欠落色信号の補間処理を行うと、参照してい
るＧ信号の像に対して位置的にずれた像の欠落色信号を
補間することになり、実際の被写体の色とは異なる色と
して再現される場合がある。図１０の場合には、“Ｇ
｛ｉ，ｊ｝”にある像のＲ信号およびＢ信号をこのまま
補間しようとしても、色収差の影響により実際の像のＲ
信号およびＢ信号は“Ｇ｛ｉ，ｊ｝”ではないため、結
果として適切な補間処理を行うことができないことにな
る。

【０００９】以上のことから、欠落色信号を補間処理す
るにあたっては、色収差を補正する必要がある。ここ
で、信号処理による色収差の補正方法として、撮像光学
系の色収差情報を基に、色信号の位置ずれ補正量を表す
位置補正情報を各画素毎に保持したルックアップテーブ
ル（ＬＵＴ）を予めメモリに記憶させ、欠落色信号の補
間処理において画素の位置をアドレスとしてメモリのＬ
ＵＴから位置補正情報を読み込み、その位置補正情報に
より位置を補正して補間処理を行う、という方法が考え
られる。

【００１０】しかし、この場合には、補間処理前に各画
素に対して位置補正情報のＬＵＴを参照するため、参照
時の計算時間の増加やメモリ等の回路規模の増大が引き
起こされ、コストの安い撮像装置では色収差を補正する
ことが困難であった。

【００１１】したがって、かかる点に鑑みてなされた本
発明の目的は、簡単かつ安価な構成で、入力画像信号の
色収差を補正できると共に、欠落色信号の補間処理で色
収差を補正できる画像処理装置を提供しようとするもの
である。

【００１２】

【課題を解決するための手段】上記目的を達成する請求
項１に係る発明は、撮像光学系を経て撮像素子から得ら
れる画像情報の色信号に基づいて各画素に関して欠落し
ている画像情報の色信号を補間処理により復元する画像
処理装置において、前記撮像素子から得られる画像情報
の色信号を記憶する画像情報記憶部と、前記撮像光学系
で発生する色収差の情報を色収差情報として記憶する色
収差情報記憶部と、前記画像情報記憶部に記憶されてい
る画像情報の色信号の画素位置と前記撮像光学系に関す
る情報とに基づいて、前記色収差情報記憶部から色収差
情報を読み出して色収差を補正するための色収差補正情
報を生成する色収差補正情報生成部と、前記画像情報記
憶部に記憶されている画像情報の色信号の画素位置と前
記色収差補正情報生成部で生成された色収差補正情報と
に基づいて補間処理のための補間係数を算出する補間係
数算出部と、前記画像情報記憶部に記憶されている画像
情報の色信号と前記補間係数算出部で算出された補間係
数とを用いて前記画像情報記憶部に記憶されている画像
情報の色信号および前記欠落している画像情報の色信号
に関して補間処理を行う補間処理部と、を有することを
特徴とするものである。

【００１３】請求項１に係る発明によると、画像情報の
色信号の画素位置と撮像光学系の状態とに基づいて色収
差情報から色収差補正情報が生成されるので、撮像光学
系の状態変化に応じて画素毎に適した色収差補正情報を
得ることができると共に、画像情報の色信号の画素位置
に応じて、色収差補正情報から補間係数を生成して入力
された画像情報の色信号および欠落している画像情報の
色信号に補間処理が施されるので、画素毎に色収差補正
に適した補間係数が求められ、補間処理によって画素単
位で入力色信号と欠落色信号の色収差を補正することが
可能となり、結果として、撮像光学系や撮像素子等のコ
ストを最小限に抑え、信号処理によって全画素に関する
全ての色信号に対して色収差を補正した高画質な画像を
生成することが可能となる。

【００１４】請求項２に係る発明は、撮像光学系を経て
撮像素子から得られる画像情報の色信号に基づいて各画
素に関して欠落している画像情報の色信号を補間処理に
より復元する画像処理装置において、前記撮像素子から
得られる画像情報の色信号を記憶する画像情報記憶部
と、前記撮像素子から得られる画像情報の色信号に基づ
いて前記撮像光学系で発生する色収差の情報を生成する
色収差情報生成部と、前記色収差情報生成部で生成され
た色収差の情報を色収差情報として記憶する色収差情報
記憶部と、前記画像情報記憶部に記憶されている画像情
報の色信号の画素位置と前記撮像光学系に関する情報と
に基づいて前記色収差情報記憶部から色収差情報を読み
出して色収差を補正するための色収差補正情報を生成す
る色収差補正情報生成部と、前記画像情報記憶部に記憶
されている画像情報の色信号の画素位置と前記色収差補
正情報生成部で生成された色収差補正情報とに基づいて
補間処理のための補間係数を算出する補間係数算出部
と、前記画像情報記憶部に記憶されている画像情報の色
信号と前記補間係数算出部で算出された補間係数とを用
いて前記画像情報記憶部に記憶されている画像情報の色
信号および前記欠落している画像情報の色信号に関して
補間処理を行う補間処理部と、を有することを特徴とす
るものである。

【００１５】請求項２に係る発明によると、画像情報の
色信号から色収差情報が生成されるので、画像情報を得
る実際の撮像光学系に適合した色収差情報を得ることが
できると共に、この色収差情報を利用して画像情報の色
信号の画素位置と撮像光学系の状態とに基づいて色収差
補正情報が生成されるので、撮像光学系の状態変化に応
じて画素毎に適した色収差補正情報を得ることが可能と
なる。また、画像情報の色信号の画素位置に応じて色収
差補正情報から補間係数が生成されるので、画素毎に色
収差補正に適した補間係数が求められると共に、この補
間係数に基づいて入力された画像情報の色信号および欠
落している画像情報の色信号に対して補間処理が施され
るので、画素単位で入力色信号と欠落色信号の色収差を
補正することができ、結果として、撮像光学系や撮像素
子等のコストを最小限に抑え、信号処理によって全画素
に関する全ての色信号に対して色収差を補正した高画質
な画像を生成することが可能となる。

【００１６】請求項３に係る発明は、請求項１または２
に記載の画像処理装置において、前記色収差情報記憶部
は、前記画像情報の色信号の画素位置と前記撮像光学系
に関する情報とに依存する特性を前記色収差情報として
記憶することを特徴とするものである。

【００１７】請求項３に係る発明によると、各画素毎に
色収差情報を記憶する必要がないので、色収差情報記憶
部のメモリ容量を縮小することが可能になると共に、色
収差情報記憶部およびその周辺の回路構成の簡略化を図
ることが可能になる。

【００１８】請求項４に係る発明は、請求項１または２
に記載の画像処理装置において、前記色収差補正情報生
成部は、前記色収差情報記憶部から読み出される前記色
収差情報を、前記画像情報の色信号の画素位置と前記撮
像光学系に関する情報とに依存する特性に変換して、前
記色収差補正情報を生成することを特徴とするものであ
る。

【００１９】請求項４に係る発明によると、色収差補正
情報を生成するための情報を各画素毎に保持する必要が
ないので、メモリ容量を縮小することが可能になると共
に、色収差補正情報生成部およびその周辺の回路構成の
簡略化を図ることが可能となる。

【００２０】請求項５に係る発明は、請求項１〜４のい
ずれか一項に記載の画像処理装置において、前記撮像光
学系に関する情報は、前記撮像光学系の焦点距離である
ことを特徴とするものである。

【００２１】請求項５に係る発明によると、撮影時のズ
ーム動作等により焦点距離が変化しても、それに対応し
た色収差情報や色収差補正情報等を得て適切に色収差を
補正することが可能となるので、結果的に様々な撮影状
態においても常に適切な色収差補正を行うことが可能と
なる。

【００２２】請求項６に係る発明は、請求項１〜４のい
ずれか一項に記載の画像処理装置において、前記撮像光
学系に関する情報は、前記撮像光学系の結像面を複数の
ブロックに分割して定義する情報であることを特徴とす
るものである。

【００２３】請求項６に係る発明によると、色収差が複
雑に発生する撮像光学系に対しても複数のブロックに分
割して部分的に対応した色収差情報や色収差補正情報等
を得て部分的に適切に色収差を補正することが可能とな
るので、結果的に結像面全体すなわち画像全体に適切な
色収差補正を行うことが可能となる。

【００２４】請求項７に係る発明は、請求項２に記載の
画像処理装置において、前記色収差情報生成部は、色収
差の補正を目的としたパターン情報をパターン参照情報
として記憶するパターン参照情報記憶部と、前記パター
ン情報を撮影した画像情報の色信号をパターン画像情報
として記憶するパターン画像情報記憶部と、前記パター
ン画像情報記憶部に記憶されている前記パターン画像情
報に対して位置補正を行うパターン画像情報位置補正部
と、前記パターン画像情報位置補正部で位置補正された
前記パターン画像情報と前記パターン参照情報とを比較
して色ずれ情報を生成するパターン情報間色ずれ比較部
と、前記パターン情報間色ずれ比較部で生成された色ず
れ情報に基づいて前記色収差情報を算出する色収差情報
算出部と、を有することを特徴とするものである。

【００２５】請求項７に係る発明によると、色収差を補
正するためのパターン情報を用意し、これを撮影した画
像情報と予め記憶されている参照情報とを比較して色収
差情報が生成されるので、撮像光学系の設計スペックに
対して誤差が生じていても、各装置毎に適した色収差情
報を得ることができ、結果的にどの装置においても適切
に色収差補正を行うことが可能となる。

【００２６】

【発明の実施の形態】以下、図面を参照して、本発明に
係る画像処理装置の実施の形態について説明する。

【００２７】図１は、本発明の第１実施の形態としての
電子スチールカメラの基本的構成を示すブロック図であ
る。この電子スチールカメラは、電子シャッタ機能を有
する単板式のカラーＣＣＤ撮像素子１を用いるもので、
このＣＣＤ撮像素子１には、レンズ群２および絞り・シ
ャッタ機構３を経て被写体像が結像され、その被写体像
が光電変換されて画像信号として出力される。ＣＣＤ撮
像素子１からの被写体像の画像信号は、図示しない相関
二重サンプリング回路等でノイズ成分が除去さたのち、
アンプ４で増幅され、さらにＡ／Ｄ変換器５でデジタル
信号に変換されてカメラ信号処理回路６に供給され、こ
こで画像データとして処理される。

【００２８】また、Ａ／Ｄ変換器５の出力は、ＡＦ，Ａ
Ｅ，ＡＷＢ検波回路７にも供給され、ここで本来の撮影
に先立って、フォーカスを自動的に制御するためのＡＦ
情報を取り出すＡＦ検波処理、露出を自動的に制卸する
ためのＡＥ情報を取り出すＡＥ検波処理、およびホワイ
トバランスを自動的に設定するためのＡＷＢ情報を取り
出すＡＷＢ検波処理が行われる。このＡＦ，ＡＥ，ＡＷ
Ｂ検波回路７からのＡＦ情報、ＡＥ情報およびＡＷＢ情
報は、それぞれＣＰＵ８を介してレンズ群２、絞り・シ
ャッタ機構３およびカメラ信号処理回路６に供給され
る。

【００２９】カメラ信号処理回路６およびＣＰＵ８は、
バスライン９に接続され、このバスライン９には、メモ
リコントローラ１０を介して、画像データの色処理等を
行う際に作業用メモリとして用いられるＤＲＡＭｌｌが
接続されていると共に、カメラ信号処理回路６からの画
像データを圧縮処理する圧縮回路（ＪＰＥＧ）１２が接
続されている。また、バスライン９には、圧縮回路１２
で圧縮処理された画像データをメモリカード１３に記録
するために、メモリカードＩ／Ｆ１４が接続されている
と共に、メモリカード１３に記録された画像データを読
み出して表示したり、撮影状態を表示するために表示回
路１５を介して液晶表示素子（ＬＣＤ）１６が接続され
ている。さらに、バスライン９には、メモリカード１３
に記録されている画像データをパソコン（ＰＣ）１７へ
転送するためのＰＣＩ／Ｆ１８が接続されている。

【００３０】また、ＣＰＵ８には、ＡＦ，ＡＥ，ＡＷＢ
検波回路７からのＡＥ情報に基づいて制御されるストロ
ボ装置１９、および各種撮影モードの設定やトリガスイ
ッチの駆動等を行う入力キー２０がそれぞれ接続されて
いる。なお、ＣＣＤ撮像素子１は、ＣＰＵ８の制御のも
とにタイミングジェネレータ（ＴＧ）２１からのタイミ
ングパルスによって駆動されるようになっている。

【００３１】さらに、レンズ群２は、入力キー２０から
のズーム操作に応じてモータ２２により駆動され、その
焦点距離情報がモータ２２を介してＣＰＵ８に取り込ま
れてＡＦ情報、ＡＥ情報、ＡＷＢ情報とともにカメラ信
号処理回路６に供給されるようになっている。

【００３２】図２は、本実施の形態で用いるレンズ群２
の一例の構成を示すものである。このレンズ群２は、ズ
ームレンズで収差等に関して光軸回転対称の特性を持
ち、モータ２２により駆動して焦点距離を変更すること
で望遠（テレ）や広角（ワイド）の状態にすることがで
きる構成になっている。

【００３３】図３は、本実施形態におけるカメラ信号処
理回路６の内部の一例の構成を示すブロック図である。
このカメラ信号処理回路６は、フレームメモリ３１、ホ
ワイトバランス設定部３２、撮像光学系情報メモリ３
３、色収差補正情報特性算出部３４、色収差補正情報算
出部３５、色収差補正・欠落色補間処理部３６、色強調
マトリックス変換部３７およびγ補正部３８を有してお
り、撮像光学系情報メモリ３３には、色収差情報を含む
撮像光学系に関する情報を予め記憶しておく。

【００３４】このカメラ信号処理回路６では、Ａ／Ｄ変
換器５からデジタル信号として出力される画像信号をフ
レームメモリ３１に記憶し、このフレームメモリ３１に
記憶された画像信号に対してホワイトバランス設定部３
２において、ＣＰＵ８から出力されるＡＷＢ情報やＡＥ
情報等を用いてホワイトバランス調整を行い、そのホワ
イトバランス調整された画像信号を、色収差補正情報算
出部３５および色収差補正・欠落色補間処理部３６にそ
れぞれ供給する。

【００３５】一方、色収差補正情報特性算出部３４で
は、撮像光学系情報メモリ３３に予め記憶されている色
収差情報等の撮像光学系に関する情報と、ＣＰＵ８から
出力される焦点距離情報やＡＦ情報とに基づいて、結像
面すなわちＣＣＤ撮像素子１上での画素の位置に依存す
る関数として表される色収差補正情報を生成するための
特性を算出し、その算出した色収差補正情報の特性を色
収差補正情報算出部３５に供給する。

【００３６】色収差補正情報算出部３５では、ホワイト
バランス設定部３２でホワイトバランス調整された画像
信号と、色収差補正情報特性算出部３４で算出された色
収差補正情報の特性とに基づいて、画素単位で画像信号
を参照して、参照画素の位置に関して色収差補正情報の
特性から色収差補正情報を算出し、その算出した色収差
補正情報を色収差補正・欠落色補間処理部３６に供給す
る。本実施の形態では、色収差補正情報は、各色別に参
照画素における像の位置ずれを像面の座標値としてサブ
ピクセルのレベルで表されるものとする。

【００３７】色収差補正・欠落色補間処理部３６では、
ホワイトバランス設定部３２でホワイトバランス調整さ
れた画像信号と、色収差補正情報算出部３５で算出され
た色収差補正情報とに基づいて、後述するようにして入
力された画像信号に関する色収差補正処理、および欠落
している色信号に関して色収差を補正する補間処理を行
う。

【００３８】色収差補正・欠落色補間処理部３６で色収
差補正および欠落色補間処理された画像信号は、色強調
マトリックス変換部３７で色強調処理を施した後、γ補
正部３８でγ補正してバスライン９に伝送する。

【００３９】図４は、上記の色収差補正・欠落色補間処
理部３６での処理の流れを示すフローチャートである。
図１に示した電子スチールカメラで撮影して得られる画
像信号には、それ自体に色収差、すなわち各画素におい
て色毎に異なった位置ずれが生じて、本来参照する位置
からずれた部分を像としているため、この色収差を補正
しなければ欠落している色信号を適切に補間することが
できない。

【００４０】そこで、色収差補正・欠落色補間処理部３
６では、先ず、ステップＳ１で、色収差補正および欠落
色補間対象となる色信号を有する参照画素位置の近傍画
素について、画素値、像面座標値、および該当色の色収
差補正情報を読み込む。ただし、参照画素の色収差補正
においては、参照画素自身の情報も併せて読み込む。な
お、ここで必要とする近傍画素数は、例えば通常行われ
る一般の補間と同程度とすることができる。

【００４１】次に、ステップＳ２で、読み込まれた各画
素の像面座標値を色収差補正情報に基づいて補正する。
これは各画素に関する色収差補正であり、結果として各
画素が持つ画素値に対応する像の位置は適切な場所にな
る。

【００４２】図５（Ａ）は、その一例を示すものであ
る。ここでは、参照画素ｐ０{ｉ，ｊ}をＧ信号（白点）
とし、近傍画素としてｐ０{ｉ，ｊ}の対角に隣接する４
個の画素を用いている。ここで、参照画素ｐ０{ｉ，ｊ}
におけるＧの色収差補正情報を{ＧＦｘ（ｉ，ｊ），Ｇ
Ｆｙ（ｉ，ｊ）}とすると、ステップＳ２の色収差補正
により、参照画素ｐ０{ｉ，ｊ}が本来結像される位置
は、色収差補正情報分だけずれて図５（Ａ）中のｐ０
{ｉ＋ＧＦｘ（ｉ，ｊ），ｊ＋ＧＦｙ（ｉ，ｊ）}とな
る。同様に、近傍画素についても、色収差補正により本
来の結像位置は色収差補正情報分だけずれるようにな
る。

【００４３】その後、ステップＳ３において、ステップ
Ｓ２で色収差補正された各画素の位置と参照画素位置と
の距離に基づいて、補間処理に利用する重み係数（補間
係数）を算出する。ここで、算出される補間係数は、色
収差の補正を考慮したものであり、特性として色収差補
正された各画素に対し、参照画素位置との距離が小さい
（近い）場合は補間係数を大きく、参照画素位置との距
離が大きい（遠い）場合は補間係数を小さくなるように
する。

【００４４】図５（Ｂ）は、その一例を示すもので、図
５（Ａ）から色収差補正された後の状態を示している。
図５（Ｂ）において、近傍に位置する５個の色収差補正
画素Ｐ０〜Ｐ４によって参照位置の画素Ｐ{ｉ，ｊ}の補
間を行う場合、画素Ｐ{ｉ，ｊ}と画素Ｐｎ（ｎ＝０，
１，２，３，４）との距離をＤｎとすると、画素Ｐｎに
対応する補間係数Ｗｎは（１）式のようになる。

【００４５】

【数１】 Ｗｎ＝（Ｓ−Ｄｎ）／（４×Ｓ） （１） ただし、Ｓ＝ΣＤｎ（ｎ＝０，１，２，３，４）

【００４６】（１）式から明らかなように、補間係数Ｗ
ｎは、距離の総和Ｓに対して、距離Ｄｎがどの程度の割
合であるかに基づいて決定される。すなわち、距離Ｄｎ
が小さければ補間係数Ｗｎは大きくなることで補間にお
ける画素値の計算割合は大きくなり、距離Ｄｎが大きけ
れば補間係数Ｗｎは小さくなることで補間における画素
値の計算割合は小さくなる。また、補間係数Ｗｎの総和
は１となることは明らかである。さらに、（１）式を一
般化して、近傍に位置するＮ個の色収差補正画素を用い
て補間処理を行う場合の補間係数Ｗｎは、（２）式のよ
うになる。

【００４７】

【数２】 Ｗｎ＝（Ｓ−Ｄｎ）／｛（Ｎ−１）×Ｓ｝ （２） ただし、Ｓ＝ΣＤｎ（ｎ＝０，１，．．．，Ｎ−１）

【００４８】次に、ステップＳ４において、算出された
補間係数とそれに対応する色収差補正された各画素の画
素値とを用いて、参照画素位置における該当色信号の画
素値を補間処理にて算出する。ここで、（２）式におけ
るＮ個の補間係数Ｗｎと対応するＮ個の色収差補正画素
Ｐｎの画素値をＰＶｎとすると、参照位置の画素Ｐ
{ｉ，ｊ}の補間画素値ＰＶ{ｉ，ｊ}は、（３）式のよう
になる。

【００４９】

【数３】 ＰＶ{ｉ，ｊ}＝Σ（ＰＶｎ×Ｗｎ） （３） ただし、ｎ＝０，１，…，Ｎ−１

【００５０】上述したステップＳｌ〜Ｓ４によって、色
収差を補正した画素値の位置関係を補間係数に反映させ
て参照位置の画素値を補間により算出することにより、
参照位置に関して色収差が補正された適切な画素値を得
ることができる。また、図４で説明した色収差を補正す
る補聞方法は、入力される画像信号および欠落色信号の
両方に対して同じ方法で実現できるので、各画素におい
て入力信号の色収差補正と欠落色信号の補間とに場合分
けするといった手間が不要となり、処理系自体を単純に
構成することができる。

【００５１】以上のように、本実施の形態によれば、色
収差補正情報を、撮像光学系が持つ色収差情報に基づい
て画素の位置に依存する関数として算出するので、各画
素における色収差情報を記憶する大容量のメモリを必要
とせず、処理回路規模を縮小することができる。また、
ズーム等により撮像光学系の状態が変化しても、それに
対応した色収差補正情報を得るようにしたので、広角や
望遠等様々な状況においても常に適切な色収差補正情報
を算出することができる。さらに、入力色信号および欠
落色信号の如何にかかわらず、画素毎に色収差を補正す
るための補間処理を同一の処理で行うことができるの
で、処理回路規模の縮小化および処理の高速化を図るこ
とができ、結果として色収差が適切に補正されたカラー
画像を再現することができる。

【００５２】本発明の第２実施の形態では、図１に示し
た電子スチールカメラにおいて、モータ２２を省略する
と共に、レンズ群２を偏心自由曲面レンズをもって構成
する。その他の基本的構成は、図１と同様であるので詳
細な説明は省略する。

【００５３】図６は、本実施の形態で用いるレンズ群２
の一例の構成を示すものである。このレンズ群２は、非
回転対称形状の偏心自由曲面レンズで、非常に明るくか
つ高解像な画像信号が得られる、小型軽量化にできる、
等の特徴を有している。

【００５４】図７は、本実施の形態における図１に示す
カメラ信号処理回路６の内部の一例の構成を示すブロッ
ク図である。このカメラ信号処理回路６は、フレームメ
モリ４１、ホワイトバランス設定部４２、第１スイッチ
４３、色収差情報生成部４４、色収差情報メモリ４５、
第２スイッチ４６、撮像光学系情報メモリ４７、色収差
補正情報特性算出部４８、色収差補正情報算出部４９、
色収差補正・欠落色補間処理部５０、色強調マトリック
ス変換部５１およびγ補正部５２を有している。ここ
で、フレームメモリ４１、ホワイトバランス設定部４
２、色収差補正・欠落色補間処理部５０、色強調マトリ
ックス変換部５１およびγ補正部５２は、それぞれ図３
に示したフレームメモリ３１、ホワイトバランス設定部
３２、色収差補正・欠落色補間処理部３６、色強調マト
リックス変換部３７およびγ補正部３８と同等の機能で
あるので、説明を省略する。また、色収差補正・欠落色
補聞処理部５０での内部処理についても、図４と同等で
あるので、説明を省略する。

【００５５】本実施の形態では、予め色収差情報を生成
するための基準パターンを用意し、これを電子スチール
カメラで撮影することによって色収差情報を色収差情報
メモリ４５に記憶し、この色収差情報と撮像光学系情報
メモリ４７に予め記憶した撮像光学系情報とに基づいて
色収差補正情報を算出する。

【００５６】このため、先ず、図１の入力キー２０の状
態によって選択される一般撮影モードもしくは基準パタ
ーン撮影モードの撮影モード信号に基づいてＣＰＵ８に
より第１スイッチ４３および第２スイッチ４６を制御す
る。

【００５７】ここで、撮影モード信号が基準パターン撮
影モードを示す場合には、第１スイッチ４３はホワイト
バランス調整後の画像信号を色収差情報生成部４４に伝
送するように駆動し、第２スイッチ４６は色収差補正情
報特性算出部４８に色収差情報メモリ４５からの情報を
伝送しないように開状態に駆動する。これにより、基準
パターン撮影モードでは、撮影された基準パターンの画
像信号を色収差情報生成部４４に供給して、後述する方
法により色収差情報を生成し、その生成された色収差情
報を色収差情報メモリ４５に記憶して、一般撮影モード
にて撮影される画像信号の色収差補正に利用する。

【００５８】これに対し、撮影モードが一般撮影モード
を示す場合には、第１スイッチ４３はホワイトバランス
調整後の画像信号を色収差補正情報算出部４９、および
色収差補正・欠落色補間処理部５０に伝送するように駆
動し、第２スイッチ４６は色収差補正情報特性算出部４
８に色収差情報メモリ４５からの情報を伝送するように
閉状態に駆動する。これにより、一般撮影モードでは、
色収差補正情報特性算出部４８に、色収差情報メモリ４
５内の色収差情報を第２スイッチ４６を経て読み込むと
共に、撮像光学系情報メモリ４７内の撮像光学系情報を
読み込む。

【００５９】ここで、撮像光学系情報メモリ４７内に予
め記憶する撮像光学系情報は、例えば図８に示すよう
に、像面全体を複数の部分ブロックに分割して定義され
る情報で、画素の位置に応じて当該画素がどのブロック
に属するかが決定される情報とする。

【００６０】色収差補正情報特性算出部４８では、撮像
光学系情報の各ブロック毎に、色収差情報に基づいて色
収差補正情報を生成するための特性を算出する。このよ
うに、各ブロックに対応して個別に色収差補正情報を生
成するための特性を算出することは、偏心自由曲面レン
ズのように非回転対称形状で、かつ色収差が部分的に異
なって複雑に発生する撮像光学系を有する場合には、非
常に有効な方法である。この色収差補正情報を生成する
ための特性は、第１実施の形態と同様、ＣＣＤ撮像素子
１上での画素の位置に依存する関数として表される。

【００６１】色収差補正情報算出部４９では、ホワイト
バランス調整後の画像信号と、色収差補正情報特性算出
部４８で算出された色収差補正情報の特性とをそれぞれ
読み込んで、色収差補正情報を算出する。この色収差補
正情報算出部４９での処理は、基本的には図３に示した
第１実施の形態における色収差補正情報算出部３５での
処理と同じであるが、本実施の形態では像面を分割した
ブロック単位で色収差補正情報の特性が異なるので、参
照画素の位置に対応したブロックに関する色収差補正情
報の特性を選択し、その選択した色収差補正情報の特性
に基づいて参照画素における像の位置ずれを像面の座標
値として表す色収差補正情報を算出する。以後の処理
は、第１実施の形態と同様である。

【００６２】図９は、図７に示した色収差情報生成部４
４の内部の一例の構成を示すブロック図である。この色
収差情報生成部４４は、基準パターン画像信号メモリ６
１、基準パターン参照信号メモリ６２、画像信号位置補
正部６３、画像信号・参照信号間色ずれ比較部６４およ
び色収差情報算出部６５を有している。

【００６３】本実施の形態では、第１実施の形態のよう
に光学設計値等に基づく撮像光学系の色収差情報を予め
記憶するのではなく、基準パターンを撮影して得られる
画像信号に基づいて色収差情報を生成する。このため、
色収差情報を生成するにあたっては、先ず、第１スイッ
チ４３を経て伝送される撮影された基準パターンの画像
信号を、基準パターン画像信号メモリ６１に読み込んで
記憶する。ここで、基準パターン画像信号メモリ６１に
記憶される基準パターンの画像信号は、ホワイトバラン
ス調整後の単板画像信号であり、各画素に関して欠落色
信号が存在している。

【００６４】また、これとは別に、基準パターン参照信
号メモリ６２には、色収差のない基準パターンの参照情
報を予め記憶しておく。この基準パターン参照信号メモ
リ６２に記憶される基準パターンの参照情報は、撮像装
置と同様の単板カラーフィルタにより単板の参照情報と
して扱われる。なお、ここで利用する基準パターンとし
ては、色収差情報を生成するという観点から、カラーチ
ャート等のように複数の色が混在するパターンであるこ
とが望ましく、また、色収差のない参照情報が得られ易
いように、ＣＧ等による人工的なデータを用いるのが取
り扱いの点で好ましい。

【００６５】次に、画像信号位置補正部６３において、
基準パターンの画像信号に関する位置合わせ、例えば基
準パターンの中心を画像全体の中心に合わせる等の処理
を行った後、画像信号・参照信号間色ずれ比較部６４に
おいて、同一画素位置における画像信号と参照信号とを
比較して色ずれを算出する。

【００６６】画像信号・参照信号間色ずれ比較部６４で
の色ずれの算出方法は、基準パターンにも依存するが、
例えば参照している画素とその近傍における画素値とか
ら参照画素の色がどちらの方向にどの程度ずれているか
を求め、これを画像全体に対して行うことで色ずれ情報
として算出する。

【００６７】次に、色収差情報算出部６５において、画
像信号・参照信号間色ずれ比較部６４からの色ずれ情報
に基づいて色収差情報を算出する。ここで、色収差情報
は画素単位で算出せず、例えばブロック内における該当
色の色ずれ情報の平均を当該ブロックの色収差情報とし
て、撮像光学系情報で定義している部分ブロックに対応
する形で部分的に算出してブロック毎に異なる色収差特
性を保持するようにする。この色収差情報算出部６５で
生成した色収差情報は、色収差情報メモリ４５に伝送す
る。

【００６８】なお、上記の構成では、撮像装置の入力キ
ー２０を切り換えることで、基準パターン撮影による色
収差情報を更新することが可能であるが、別方法として
製造時の検査等において色収差情報を上記の方法で予め
記憶し、一般には色収差情報の更新ができないようにす
ることも可能である。

【００６９】以上のように、本実施の形態によれば、像
面全体を複数のブロックに分割し、各ブロックに対応し
た状態で画素の位置に依存する関数としての色収差補正
情報を算出して補間処理を行うようにしたので、部分的
に色収差特性が異なる複雑な撮像光学系に対しても、参
照画素に対して適切な色収差補正情報を算出することが
できる。すなわち、どの部分に関しても適切な色収差補
正を行うことができるので、結果的に画像全体に色収差
補正効果をあげることができる。また、基準パターンを
撮影して色収差情報を生成するので、例えば撮像光学系
の設計スペックに対して製造等により誤差が生じても、
それそれの装置において最適な色収差情報を得ることが
でき、結果的に色収差が補正された画像を再現すること
ができる。さらに、第１実施の形態の場合と同様に、入
力色信号および欠落色信号の如何にかかわらず、画素毎
に色収差を補正するための補間処理を同一の処理で行う
ことができるので、処理回路規模の縮小化および処理の
高速化を図ることができ、結果として色収差が適切に補
正されたカラー画像を再現することができる。

【００７０】

【発明の効果】以上説明したところから明らかなよう
に、本発明によれば、簡単かつ安価な構成で、入力画像
信号の色収差を補正できると共に、欠落色信号の補間処
理で色収差を補正できる画像処理装置を得ることができ
る。

【図面の簡単な説明】

【図１】 本発明の第１実施の形態としての電子スチー
ルカメラの基本的構成を示すブロック図である。

【図２】 図１に示すレンズ群の一例の構成を示す図で
ある。

【図３】 図１に示すカメラ信号処理回路の内部の一例
の構成を示すブロック図である。

【図４】 図３に示す色収差補正・欠落色補間処理部で
の処理の流れを示すフローチャートである。

【図５】 同じく、色収差補正および欠落色補間の一例
を示す図である。

【図６】 本発明の第２実施の形態で用いるレンズ群の
一例の構成を示す図である。

【図７】 第２実施の形態における図１に示すカメラ信
号処理回路の内部の一例の構成を示すブロック図であ
る。

【図８】 図７に示した撮像光学系情報メモリに予め記
憶する撮像光学系情報を説明するための図である。

【図９】 図７に示した色収差情報生成部の内部の一例
の構成を示すブロック図である。

【図１０】 色収差補正を行わない場合の単板撮像素子
における欠落色信号の補間の様子を示す図である。

【符号の説明】

１ カラーＣＣＤ撮像素子 ２ レンズ群 ３ 絞り・シャッタ機構 ４ アンプ ５ Ａ／Ｄ変換器 ６ カメラ信号処理回路 ７ ＡＦ，ＡＥ，ＡＷＢ検波回路 ８ ＣＰＵ ９ バスライン １０ メモリコントローラ １１ ＤＲＡＭ １２ 圧縮回路（ＪＰＥＧ） １３ メモリカード １４ メモリカードＩ／Ｆ １５ 表示回路 １６ 液晶表示素子（ＬＣＤ） １７ パソコン（ＰＣ） １８ ＰＣＩ／Ｆ １９ ストロボ装置 ２０ 入力キー ２１ タイミングジェネレータ（ＴＧ） ２２ モータ ３１ フレームメモリ ３２ ホワイトバランス設定部 ３３ 撮像光学系情報メモリ ３４ 色収差補正情報特性算出部 ３５ 色収差補正情報算出部 ３６ 色収差補正・欠落色補間処理部 ３７ 色強調マトリックス変換部 ３８ γ補正部 ４１ フレームメモリ ４２ ホワイトバランス設定部 ４３ 第１スイッチ ４４ 色収差情報生成部 ４５ 色収差情報メモリ ４６ 第２スイッチ ４７ 撮像光学系情報メモリ ４８ 色収差補正情報特性算出部 ４９ 色収差補正情報算出部 ５０ 色収差補正・欠落色補間処理部 ５１ 色強調マトリックス変換部 ５２ γ補正部 ６１ 基準パターン画像信号メモリ ６２ 基準パターン参照信号メモリ ６３ 画像信号位置補正部 ６４ 画像信号・参照信号間色ずれ比較部 ６５ 色収差情報算出部

Claims (7)

【特許請求の範囲】
1. 【請求項１】 撮像光学系を経て撮像素子から得られる
   画像情報の色信号に基づいて各画素に関して欠落してい
   る画像情報の色信号を補間処理により復元する画像処理
   装置において、 前記撮像素子から得られる画像情報の色信号を記憶する
   画像情報記憶部と、 前記撮像光学系で発生する色収差の情報を色収差情報と
   して記憶する色収差情報記憶部と、 前記画像情報記憶部に記憶されている画像情報の色信号
   の画素位置と前記撮像光学系に関する情報とに基づい
   て、前記色収差情報記憶部から色収差情報を読み出して
   色収差を補正するための色収差補正情報を生成する色収
   差補正情報生成部と、 前記画像情報記憶部に記憶されている画像情報の色信号
   の画素位置と前記色収差補正情報生成部で生成された色
   収差補正情報とに基づいて補間処理のための補間係数を
   算出する補間係数算出部と、 前記画像情報記憶部に記憶されている画像情報の色信号
   と前記補間係数算出部で算出された補間係数とを用いて
   前記画像情報記憶部に記憶されている画像情報の色信号
   および前記欠落している画像情報の色信号に関して補間
   処理を行う補間処理部と、 を有することを特徴とする画像処理装置。
2. 【請求項２】 撮像光学系を経て撮像素子から得られる
   画像情報の色信号に基づいて各画素に関して欠落してい
   る画像情報の色信号を補間処理により復元する画像処理
   装置において、 前記撮像素子から得られる画像情報の色信号を記憶する
   画像情報記憶部と、 前記撮像素子から得られる画像情報の色信号に基づいて
   前記撮像光学系で発生する色収差の情報を生成する色収
   差情報生成部と、 前記色収差情報生成部で生成された色収差の情報を色収
   差情報として記憶する色収差情報記憶部と、 前記画像情報記憶部に記憶されている画像情報の色信号
   の画素位置と前記撮像光学系に関する情報とに基づいて
   前記色収差情報記憶部から色収差情報を読み出して色収
   差を補正するための色収差補正情報を生成する色収差補
   正情報生成部と、 前記画像情報記憶部に記憶されている画像情報の色信号
   の画素位置と前記色収差補正情報生成部で生成された色
   収差補正情報とに基づいて補間処理のための補間係数を
   算出する補間係数算出部と、 前記画像情報記憶部に記憶されている画像情報の色信号
   と前記補間係数算出部で算出された補間係数とを用いて
   前記画像情報記憶部に記憶されている画像情報の色信号
   および前記欠落している画像情報の色信号に関して補間
   処理を行う補間処理部と、 を有することを特徴とする画像処理装置。
3. 【請求項３】 前記色収差情報記憶部は、前記画像情報
   の色信号の画素位置と前記撮像光学系に関する情報とに
   依存する特性を前記色収差情報として記憶することを特
   徴とする請求項１または２に記載の画像処理装置。
4. 【請求項４】 前記色収差補正情報生成部は、前記色収
   差情報記憶部から読み出される前記色収差情報を、前記
   画像情報の色信号の画素位置と前記撮像光学系に関する
   情報とに依存する特性に変換して、前記色収差補正情報
   を生成することを特徴とする請求項１または２に記載の
   画像処理装置。
5. 【請求項５】 前記撮像光学系に関する情報は、前記撮
   像光学系の焦点距離であることを特徴とする請求項１〜
   ４のいずれか一項に記載の画像処理装置。
6. 【請求項６】 前記撮像光学系に関する情報は、前記撮
   像光学系の結像面を複数のブロックに分割して定義する
   情報であることを特徴とする請求項１〜４のいずれか一
   項に記載の画像処理装置。
7. 【請求項７】 前記色収差情報生成部は、 色収差の補正を目的としたパターン情報をパターン参照
   情報として記憶するパターン参照情報記憶部と、 前記パターン情報を撮影した画像情報の色信号をパター
   ン画像情報として記憶するパターン画像情報記憶部と、 前記パターン画像情報記憶部に記憶されている前記パタ
   ーン画像情報に対して位置補正を行うパターン画像情報
   位置補正部と、 前記パターン画像情報位置補正部で位置補正された前記
   パターン画像情報と前記パターン参照情報とを比較して
   色ずれ情報を生成するパターン情報間色ずれ比較部と、 前記パターン情報間色ずれ比較部で生成された色ずれ情
   報に基づいて前記色収差情報を算出する色収差情報算出
   部と、 を有することを特徴とする請求項２に記載の画像処理装
   置。