JP2009124524A - 撮像装置および撮像画素データ補正方法並びにプログラム - Google Patents

Abstract

【課題】画素共有画素技術を適用した固体撮像素子の同じ色光用の画素からの撮像画素データについての補正を適切に行える撮像装置を提供する。
【解決手段】２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた撮像面を備える固体撮像素子を備える。光学系を通じて画素に入射する同一の色光毎に、撮像画素データについて、補正制御信号に基づいて所定の補正を行う補正手段と、同一の色光毎についての補正制御信号を、各１組みを構成する所定の複数個の画素の、配列パターン内における各画素位置の違いに応じて、それぞれ算出して、補正手段に供給する補正制御信号算出手段とを設ける。
【選択図】図７

Description

この発明は、例えばＣＭＯＳイメージセンサなどの固体撮像素子を備える撮像装置、および、当該撮像装置からの撮像画素データの補正方法並びに当該補正方法を実行するプログラムに関する。

例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの固体撮像素子は、光電変換素子を含む画素セルの上方に色フィルタ、さらにその上に集光用のマイクロレンズが積層された構造となっている。そして、デジタルビデオカメラやデジタルスチルカメラなどの撮像装置においては、マイクロレンズの前に撮影レンズなどのレンズ系が設けられ、２次元アレイ状に複数の画素が配列されている固体撮像素子の撮像面に被写体像が結像される構成とされる。

ところで、一般的に、撮像装置においては、固体撮像素子の撮像面への入射光量が、レンズ系を起因として、固体撮像素子の撮像面の中央部より、撮像面の周辺部が低下するため、画像の中央部に比べ、画像の周辺部が暗くなるシェーディングと呼ばれる感度むら（不均一性）の現象が生じることが知られている。

このシェーディングは、主として、固体撮像素子の撮像面の前面側に設けられたマイクロレンズと撮影レンズとの光学的な関係により発生する。例えば、撮影レンズを通過した光線は、撮像面の周辺ほど、斜めに入射するようになるので、撮像面において撮影レンズの光軸から離れた周辺部分の領域では、画素の感光部（画素セル）に対し、本来の入射光線の一部しか入射しないようになり、光量が低下し、シェーディングが発生する。シェーディング現象は、固体撮像素子の撮像面上の画素位置の、撮像面と撮影レンズの光軸とが交わる位置（通常、撮像面の中心位置）からの距離に比例して発生する。つまり、撮影レンズの光軸中心位置からのずれに応じて光量が低下するたシェーディングが発生する。

このようなシェーディングを補正するために、一般には、上記撮像素子からの撮像画素信号に対し、光軸中心からの距離に応じて求めた補正係数を画素値に乗じたり、補正係数からゲインを調整したりなどして、電気的に補正することが行われている（例えば特許文献１（特開２００７−３６６９６号公報）参照）。

シェーディング補正方法の例として、特許文献１では、光軸中心からの距離に応じて、記憶装置に記憶された補正データを読み出し、ゲイン調整を行い、補正を行う方法が示されている。また、撮像平面を上、下、左、右の４つの領域に分割し、各領域に対し重み付け付加、座標シフト、さらに回転処理を施し、光軸に対し正対せず角度を持ったような回転形状のシェーディング特性の補正を可能な方法もある。

ところで、近年、ビデオカメラやデジタルスチルカメラ用に用いられるＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの固体撮像素子には、一層の高画素数化と小型化が同時に要求されている。小型化を保ちつつ高画素数化を進めると、当然のことながら１画素あたりの面積が小さくなるために画素感度の減少が懸念される。

この問題を解決するために、従来は、回路・配線レイアウトの工夫あるいは製造プロセスの進化等によって、固体撮像素子の画素構成（フォトダイオードと、増幅トランジスタやリセットトランジスタなどを含む周辺回路からなる）におけるフォトダイオード部の占める割合をできるだけ大きくすることで、高画素数化と小型化の両立を図ってきた。

しかしながら、固体撮像素子に対する近年の高画素数化と小型化の要求はますます強まり、同時に低照度における高画質化も注目されてきており、もはや上記対応だけでは、画質として満足できる画素感度を得る固体撮像素子を提供することが事実上不可能になってきている。

そこで、固体撮像素子におけるこの問題を回避するための技術として、画素を構成するために必要な回路の一部分、例えば増幅用トランジスタやリセット用トランジスタを、水平方向および／または垂直方向に隣接または近接する複数の画素の間で共有させることにより、１画素当たりの回路（配線を含む）を減らし、その減らした分だけ受光用フォトダイオードに割り当てる面積を大きくして、画素の感度を稼ぐ技術が注目されている（以降、この技術を画素共有技術と呼ぶ）。

例えば特許文献２（特許第３８３８６６５号公報）では、画素からの画素データの読出しに必要な増幅用トランジスタおよびリセット用トランジスタを、隣接する２個の画素で共有化し、当該増幅用トランジスタおよびリセット用トランジスタに接続されている２個の画素を時間をずらして順に選択することで、それぞれの画素から画素データを読み出すことで、１画素あたりのトランジスタ数を削減し、その分をフォトダイオードの面積に回すことで、画素の感度向上を実現する画素共有技術が開示されている。

ところで、画素共有技術を用いない一般的な固体撮像素子は、全ての画素が画一的に構成されるのが通常である。すなわち、一般的な固体撮像素子の画素構成は、画面のどの位置の画素をみても常に同じである。このため、一般的な固体撮像素子では、画素毎のフォトダイオードの、半導体構造上の周辺環境も、全ての画素で同じとなり、製造上のバラツキの要因を除けば、基本的には、光学的特性は全画素で共通といえる。

しかしながら、上記特許文献２を始めとする「画素共有技術」を適用した固体撮像素子では、隣接あるいは近接する複数の画素間で回路を共有利用させるために、回路を共有する複数の画素を一つの単位として考えた場合には、当該単位は全て同じ構成となるが、当該単位内の各画素においては、当該単位内における画素配列位置により、半導体構造上の周辺環境が異なる。このために、画素共有技術を用いる固体撮像素子では、回路を共有する複数の画素の配列パターンに応じた繰り返しパターンをもって回路レイアウトが形成されることになる。

すなわち、回路を共有する複数の画素を単位としたとき、固体撮像素子上では、当該単位が、水平方向および垂直方向に、複数個、繰り返し配列されるものであるが、それら複数個の単位において、単位内の複数の画素の配列パターン上で同じ位置になる画素は、そのフォトダイオードの、半導体構造上の周辺環境配置は同一のものとなるため、光学的特性も揃うことになる。

しかし、回路を共有する複数の画素単位内の、当該画素の配列パターン上で異なる位置になる画素間、すなわち、前記単位内の隣接画素または近接画素間では、回路・レイアウトが異なるため、画素のフォトダイオードの半導体構造上の周辺環境配置も異なり、それら画素の画素特性がそれぞれ異なったものになることは避けられない。

このため、「画素共有技術」を適用した固体撮像素子で、全画面均一の被写体を撮像したとしても、前記単位内の隣接画素間で画素データ出力値が異なることになり、最終出力画像の品質が著しく低下してしまうという問題が発生する。

以上のような画素共有技術にまつわる上記の問題を、回避するために、従来は、
Ａ．画素レイアウトの工夫により、できるだけ光学的不均一性を軽減する
Ｂ．光学的不均一性が発生しても、出力画像に影響を与えないような組み合わせで画素共有させる
といった、固体撮像装置側の画素構造を工夫した技術が、特許文献３（特開２００４−１７２９５０号公報）、特許文献４（特開２０５−１１０１０４号公報）、特許文献５（特開２００６−７３７３３号公報）、特許文献６（特開２００６−１５７９５３号公報）など、多数開示されている。

上記の特許文献は、次の通りである。
特開２００７−１４２６９７号公報 特許第３８３８６６５号公報 特開２００４−１７２９５０号公報 特開２０５−１１０１０４号公報 特開２００６−７３７３３号公報 特開２００６−１５７９５３号公報

前述した特許文献１に開示されているシェーディングの補正技術においては、記憶装置には、モノクローム（単色）の画像の場合であれば、シェーディング補正のための１セットの補正データが記憶され、また、カラー画像の場合であれば、各色光毎に、シェーディング補正のための１セットの補正データ（したがって、カラー用の色光数に応じた複数セットのシェーディング補正のための補正データ）が記憶される。

そして、各色光用（モノクロームの場合の単色を含む。また、単色には、輝度値（明暗信号）のみの場合、つまり、いわゆる白黒の場合を含むものとする。この明細書において、以下同じ）の画素の光軸中心からの距離に応じて、記憶装置に記憶された当該色光用の補正係数算出テーブル（白黒のモノクロームの場合を含む。この明細書において、以下同じ）から補正データを読み出し、ゲイン調整を行い、補正を行うようにしている。

つまり、全画面に渡って、各色光用の画素におけるシェーディング特性が、それぞれ同じ特性を備えているという大前提の元で成り立つものである。

このため、上述した画素共有技術を適用した固体撮像装置においても、上記の特許文献２〜６に開示されている技術を用いて、共有画素のそれぞれについての画素特性のばらつきをなくすようにする必要がある。

しかしながら、前述したように、上記特許文献３〜６などに開示されている技術は、いずれも、固体撮像素子側の画素構造を工夫したものである。このため、例えば、上記Ａによる画素構造の工夫では、回路を共有する複数の画素（以下、回路を共有する複数の画素を共有画素と称する）の光学的不均一性を軽減させることはできても、完全になくすことはできない。

したがって、画素共有技術を適用した固体撮像装置においては、従来は、共有画素を構成する複数の画素のそれぞれの画素特性のばらつきのために、上述したような従来のシェーディング補正技術を用いたとしても完全に補正することができず、その結果、補正後の信号にもある程度のレンズシェーディングが残り、出力画質を悪化させるという問題があった。

また、共有画素のそれぞれについての画素特性のばらつきをなくすようにする、上記Ａの方法または上記Ｂの方法のいずれの場合も、画素構成、レイアウト、あるいは、画素データの読出し構成にまで、固体撮像素子に対して、大きな制約を課すことになり、延いては、当該ＡまたはＢの方法を適用した固体撮像素子の出力を処理する撮像装置全体に対しても大きな制約を課すことになってしまうという問題もある。

同じ色光用の画素からの撮像画素データを補正する場合には、上述したシェーディングに限らず、一般的に、同じ特性として、全て同じ補正特性により補正するのが通常であり、共有画素技術を用いた固体撮像素子からの撮像画素データについての補正を行う場合には、上述したシェーディングの場合と同様の問題が残る。

この発明は、上記の問題点にかんがみ、固体撮像素子側の画素構造を工夫するのではなく、画素共有技術を適用した固体撮像素子の同じ色光用の画素からの撮像画素データについての補正を適切に行うことにより、出力画質への影響を、より軽減することができるようにした撮像装置および撮像画素データ補正方法を提供することを目的とする。

上記の課題を解決するために、この発明は、
２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた撮像面を備える固体撮像素子と、
光学系を通じて画素に入射する同一の色光毎に、前記画素からの撮像画素データについて、補正制御信号に基づいて所定の補正を行う補正手段と、
前記同一の色光毎についての前記補正制御信号を、前記各１組みを構成する前記所定の複数個の画素の、前記配列パターン内における各画素位置の違いに応じて、それぞれ算出して、前記補正手段に供給する補正制御信号算出手段と、
を備える撮像装置を提供する。

上述の構成のこの発明による撮像装置においては、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとして、これを共有画素とする。そして、この発明による撮像装置の補正制御信号生成手段は、同一の色光用画素であっても、共有画素の配列パターン内における各画素位置の違いに応じて異なる補正制御信号を生成する。

そして、補正手段は、補正制御信号生成手段で生成された、配列パターン内において対応する画素位置の画素データについての補正制御信号を用いて、各画素データについての補正処理を行う。これにより、共有画素を構成する複数個の画素のそれぞれにおける、その配列パターンに応じた画素位置に基づく画素特性の不均一性が補正されて、軽減される。

この発明によれば、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとして、これを共有画素とする固体撮像素子からの撮像データについて、同一の色光毎についての補正制御信号を、共有画素の、前記配列パターン内における各画素位置の違いに応じて、それぞれ生成して、補正手段に供給するようにするので、画素共有画素技術を適用した固体撮像素子を用いる撮像装置においても、適切な補正ができて、出力画質への影響を、より軽減することができる。

以下、この発明による撮像装置の実施形態を、図を参照しながら説明する。

図１は、この実施形態の撮像装置１０の要部の構成例を示すブロック図であり、撮像レンズを備える光学系１と、固体撮像素子の例としてのＣＭＯＳイメージセンサ２と、アナログ信号処理部３と、デジタル信号処理部４と、カメラ制御マイクロコンピュータ（マイクロコンピュータはマイコンと略称する）５と、手ぶれセンサ６と、レンズ駆動用ドライバ部７と、ヒューマンインターフェースマイコン８と、ユーザーインターフェース９とを備えている。

光学系１は、手ぶれを補正するために撮像レンズを位置調整するためのアクチュエータを備える。このアクチュエータは、レンズ駆動用ドライバ部７からのレンズ駆動信号により駆動制御される。レンズ駆動用ドライバ部７は、カメラ制御マイコン５からの制御に基づき、レンズ駆動信号を生成して、アクチュエータを駆動制御する。

また、この実施形態の撮像装置におけるレンズ系１は、焦点距離を短焦点側（広角側）から長焦点側（望遠側）まで可変することができるズーム機構を含んでいる。レンズ駆動用ドライバ部７は、カメラ制御マイコン５から受け取ったズーム制御信号により光学系１のズーム機構を制御するようにする。

ＣＭＯＳイメージセンサ２は、水平方向および垂直方向に多数個の画素が配列されたものであると共に、画素共有技術が適用されたものであり、また、カラー画像を得るために、色フィルタが、光入射側に配置されているものである。

図２は、このＣＭＯＳイメージセンサ２の撮像面における画素配列および色フィルタ配列の例を示すものである。図２（Ａ）は、いわゆるベイヤー配列を示すもので、矩形の画素Ｐｓが、水平方向および垂直方向に多数個配列されると共に、１つ置きの水平方向の画素の行では、赤Ｒと緑Ｇの色フィルタが、交互に画素に対向するように配され、残りの１つ置きの水平方向の画素の行では、青Ｂと緑Ｇの色フィルタが、交互に画素に対抗するように配され、かつ、赤Ｒと青Ｂの色フィルタが配される画素が、垂直方向の画素の１列に含まれないように配されたものである。

図２（Ｂ）および（Ｃ）は、ひし形形状の画素Ｐｄを、水平方向および垂直方向に多数個、配列したものである。これは、見かけ上の画素ピッチを、水平方向および垂直方向において、図２（Ａ）のベイヤー配列の場合よりも短くすることができる画素配置例である。ただし、図示のように、色フィルタの配置が、図２（Ｂ）と図２（Ｃ）とで異なるものである。

すなわち、図２（Ｂ）の画素配列例では、１つ置きの水平方向の画素の行では、赤Ｒと青Ｂの色フィルタが交互に画素に対向し、かつ、赤Ｒと青Ｂの色フィルタが、垂直方向にも交互に画素に対向するように配されると共に、残りの１つ置きの水平方向の画素の行では、緑Ｇの色フィルタのみが、画素に対向するように配されたものである。

そして、図２（Ｃ）の画素配列例は、１つ置きの水平方向の画素の行では、赤Ｒと緑Ｇの色フィルタが交互に画素に対向するように配された行と、青Ｂと緑Ｇの色フィルタが交互に画素に対向するように配された行とが１行置きになるようにされると共に、残りの１つ置きの水平方向の画素の行では、緑Ｇの色フィルタのみが、画素に対向するように配され、かつ、赤Ｒと青Ｂの色フィルタが配される画素が、垂直方向の画素の１列に含まれないように配されたものである。

以上は、いわゆる単板の固体撮像素子の構成の場合の例であるが、図２（Ｄ）および図２（Ｅ）に示すように、赤Ｒ、緑Ｇ、青Ｂのそれぞれの色光毎に、１個の固体撮像素子、すなわち、赤色光用固体撮像素子Ｉｒ，緑色光用固体撮像素子Ｉｇ，青色光用固体撮像素子Ｉｂが設けられる３板の構成とするようにすることもできる。図２（Ｄ）は、図２（Ａ）の場合と同様に、矩形の画素が水平方向および垂直方向に多数個配列される固体撮像素子が用いられる場合であり、また、図２（Ｅ）は、図２（Ｂ），（Ｃ）の場合と同様に、ひし形の画素が水平方向および垂直方向に多数個配列される固体撮像素子が用いられる場合である。

ここで、赤Ｒの色フィルタが対向された画素は、赤色光用の画素であり、青Ｂの色フィルタが対向された画素は、青色光用の画素であり、緑Ｇの色フィルタが対向された画素は、緑色光用の画素である。図２において、Ｒ，Ｇ，Ｂは、各色フィルタのみではなく、各色光用の画素をも示しているものとする。

なお、この例のようなカラー撮像素子ではなく、白黒用撮像素子の場合には、白黒光用の画素には色フィルタは対向して設けられないのは言うまでもない。また、図２（Ｄ）や図２（Ｅ）のような３板のイメージセンサの場合には、各色光用の固体撮像素子Ｉｒ，Ｉｇ，Ｉｂのそれぞれの撮像面の全ての画素に対して、１色の色フィルタが対向して設けられることになる。いずれも、この発明の対象となるものである。

この例のＣＭＯＳイメージセンサ２としては、図２（Ａ）〜（Ｅ）のいずれの構成とすることも可能であるが、以下に説明するこの実施形態では、説明の簡単のため、図２（Ａ）のベイヤー配列の場合とする。

そして、この実施形態では、ＣＭＯＳイメージセンサ２からの出力は、例えば１チャンネルとされる。このＣＭＯＳイメージセンサからの１チャンネル読み出しの方法は、図３に示すような形で行われるものとする。つまり、図３に示すように、ＣＭＯＳイメージセンサの多数の画素Ｐｓについて、その１行ずつ、左から順に一つのチャンネルで撮像画素データを順次に読み出し、１画面に渡って横方向に走査していき、１水平ライン分の全てを読み終えたところで次の行に移り、同様に横方向に走査しながら１画面全部を読み出していく。

したがって、この例の場合、ＣＭＯＳイメージセンサ２からの出力画素シーケンスは、画素配列を横方向に走査した順番そのものとなる。

一般に、ＣＭＯＳイメージセンサは、上述した１チャンネル読み出しだけでなく、多チャンネルの並列読み出しにも適しているが、この発明は、こういった読出し方式に本質的に左右されるものではない。そして、この実施形態においては、説明の都合上、読み出しについては図３に示したような読み出しシーケンスの場合の例について説明するが、もちろん、この発明の適用は、この読み出し形式に限ったものではなく、以下に説明する実施形態を、適宜、他の読み出し形式に適用することができる。

この実施形態のＣＭＯＳイメージセンサ２は、前述した画素共有技術が適用された画素構造となっている。図４（Ａ）、図４（Ｂ）および図４（Ｃ）として、ベイヤー配列の場合における共有画素の配列パターンの３つの例を示す。

図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、上段は、ＣＭＯＳイメージセンサ２における共有画素の配列パターンを示しており、図上、太線で結んだ複数個の画素が共有画素である。

図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、中段は、共有画素の画素配列パターン内における各画素位置毎の識別子（共有画素ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と称することとする）を示している。

また、図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、下段は、ＣＭＯＳイメージセンサ２からの出力画素シーケンスを共有画素ＩＤで表したものである。この下段の共有画素ＩＤの出力シーケンスは、共有画素の配列パターンにのみ着目した場合であり、各画素に対応する色フィルタの違いについては、ここでは考慮していない。なお、当該下段の記載において、１Ｈ，２Ｈ，３Ｈ、・・・におけるＨは、水平方向の行、つまり水平ラインを表している。

図４（Ａ）の例は、垂直方向の２個の画素が共有画素とされる場合である。すなわち、この例においては、互いに隣接する２水平ラインの上下の２画素が共有画素となる。そして、共有画素関係を構成する隣接する２水平ラインのうちの第１の水平ライン（１Ｈ目、３Ｈ目、５Ｈ目、・・・）では、赤色光用の画素Ｒと、緑色光用の画素Ｇとが、交互に出現するものであり、また、共有画素関係を構成する隣接する２水平ラインのうちの第２の水平ライン（２Ｈ目、４Ｈ目、６Ｈ目、・・・）では、青色光用の画素Ｂと、緑色光用の画素Ｇとが、交互に出現するものである。この例では、各色光をも考慮して共有画素ＩＤを定める。

したがって、共有画素ＩＤは、図４（Ａ）の中段に示すように、第１の水平ライン（１Ｈ目、３Ｈ目、５Ｈ目、・・・）では、赤色光用の画素Ｒに、ＩＤ「０」を割り当て、緑色光用の画素Ｇに、ＩＤ「１」を割り当てて、「０」と「１」とが交互に出現するものとなる。

また、第２の水平ライン（２Ｈ目、４Ｈ目、６Ｈ目、・・・）では、緑色光用の画素Ｇに、ＩＤ「２」を割り当て、青色光用の画素Ｂに、ＩＤ「３」を割り当てて、「２」と「３」とが交互に出現するものとなる。

したがって、共有画素ＩＤで表わされる画素出力シーケンスは、図４（Ａ）の下段に示すように、１Ｈ目、３Ｈ目、５Ｈ目、・・・の奇数水平ラインでは、「０」と「１」とが交互に出現し、２Ｈ目、４Ｈ目、６Ｈ目、・・・の偶数水平ラインでは、「２」と「３」とが交互に出現するものとなる。

図４（Ｂ）の例は、図４（Ａ）の例と同様に、垂直方向の２個の画素が共有画素とされる場合であるが、この例の場合には、水平方向の１画素毎に、共有画素を構成する画素が、垂直方向に１画素分ずれた画素位置のものとされている。この例においても、各色光をも考慮して共有画素ＩＤを定めるには、図４（Ａ）の例の場合と同様の４種のＩＤ「０」、「１」、「２」、「３」を割り当てることになる。

したがって、共有画素ＩＤは、図４（Ｂ）の中段に示すように、図４（Ａ）の例の場合と全く同様に各色光用画素に割り当てられ、共有画素ＩＤで表わされる画素シーケンスも、図４（Ｂ）の下段に示すように、図４（Ａ）の場合と全く同様とされる。

図４（Ｃ）の例は、垂直方向の４個のジグザグの配置位置の画素が、共有画素とされる場合である。すなわち、共有画素を構成する４個の画素は、４水平ラインに跨ったものとなる。

そして、共有画素ＩＤは、図４（Ｃ）の中段に示すように、この例の場合には、同じ赤色光用の画素Ｒであっても、共有画素として、異なる２水平ライン（４水平ラインの第１水平ラインと第３水平ライン）位置の２個が含まれるので、これら２個の赤色光用の画素Ｒに対して、ＩＤ「０」とＩＤ「４」の２個が割り当てられ、また、同様に、同じ赤色光用の画素Ｒであっても、共有画素として、異なる２水平ライン（４水平ラインの第２水平ラインと第４水平ライン）位置の２個が含まれるので、これら２個の青色光用の画素Ｂに対して、ＩＤ「３」とＩＤ「７」の２個が割り当てられる。

そして、同じ緑色光用の画素Ｇは、共有画素を構成する４水平ラインのすべてに跨った位置の４個が含まれるので、これら４個の緑色光用の画素Ｇに対して、ＩＤ「１」とＩＤ「２」とＩＤ「５」とＩＤ「７」との４個が割り当てられる。

したがって、共有画素ＩＤで表される画素出力シーケンスは、図４（Ｃ）の下段に示すように、共有画素を構成する４水平ラインの第１水平ラインでは、ＩＤ「０」とＩＤ「１」とが交互に出現し、前記４水平ラインの第２水平ラインでは、ＩＤ「２」とＩＤ「３」とが交互に出現し、前記４水平ラインの第３水平ラインでは、ＩＤ「４」とＩＤ「５」とが交互に出現し、前記４水平ラインの第４水平ラインでは、ＩＤ「６」とＩＤ「７」とが交互に出現するものとなり、かつ、これが４水平ライン毎に、繰り返しが出現するものとなる。

この実施形態のＣＭＯＳイメージセンサ２における共有画素配列パターンとしては、図４（Ａ），（Ｂ），（Ｃ）のいずれであってもよく、この実施形態では、ＣＭＯＳイメージセンサ２は、例えば図４（Ａ）の共有画素配列パターンの共有画素を備える構成とされる。

そして、光学系１に入射した光は、上述したような構成のＣＭＯＳイメージセンサ２において、光電変換された後に、電気信号として、すなわち、撮像画素データとして出力される。ＣＭＯＳイメージセンサ２は、カメラ制御マイコン５からの制御信号により、読み出し開始／停止制御および読み出し位置制御などを行う。

このＣＭＯＳイメージセンサ２からの、この例においては、１チャンネルの出力撮像画素データは、アナログ信号処理部３に供給されて、サンプルホールド、自動利得制御などの処理がなされた後、Ａ／Ｄ（アナログ−デジタル）変換されて、デジタル信号処理部４に入力される。

なお、この例では、ＣＭＯＳイメージセンサ２からのアナログ出力信号を、アナログ信号処理部３にて、サンプルホールド、自動利得制御、Ａ／Ｄ変換する構成として説明したが、ＣＭＯＳイメージセンサ２の内部にアナログ信号処理部３の構成を取り込んだ構成とするようにしてもよい。

デジタル信号処理部４は、アナログ信号処理部３から供給されてきた撮像画素信号ＲＡＷ（生データ）をデジタル撮像画素データに変換すると共に、その変換後のデジタル撮像画素データに対して、カメラ制御マイコン５の指示に従って、様々な信号処理を行う。このデジタル信号処理部４で行われる各種信号処理には、ホワイトバランス処理やガンマ処理、色差信号処理などのいわゆるカメラ信号処理や、カメラ制御用の検波データ（画面内の撮像画像情報を示すデータ、例えば明るさやコントラスト、色合い等）の計算処理を含む。

デジタル信号処理部４は、後述するように、基準タイミング信号発生器を備え、この基準タイミング信号発生器から各種タイミング信号を発生する。このタイミング信号には、撮像画像データについての水平同期信号ＨＤおよび垂直同期信号ＶＤを含み、デジタル信号処理部４は、これら水平同期信号ＨＤ、垂直同期信号ＶＤおよびその他の必要なタイミング信号をＣＭＯＳイメージセンサ２に供給する。なお、図示は省略したが、デジタル信号処理部４の基準タイミング信号発生器からのタイミング信号は、カメラ制御マイコン５にも供給されている。

ＣＭＯＳイメージセンサ２は、前述した図３の読み出し形式により各画素から撮像画素データを読み出すようにするが、そのための読み出し部および読み出しタイミング信号発生器を備えている。そして、ＣＭＯＳイメージセンサ２の読み出しタイミング発生器は、デジタル信号処理部４から受けた前記水平同期信号ＨＤおよび垂直同期信号ＶＤに同期する読み出しタイミング信号を生成して、ＣＭＯＳイメージセンサ２からの撮像画素データの読み出しを、カメラ制御マイコン５からの制御信号に基づいて行う。

そして、この実施形態では、デジタル信号処理部４は、さらに、共有画素の不均一性を補正するための構成としての、共有画素別シェーディング補正処理部を備えるが、この共有画素別シェーディング補正処理部の詳細については、後で詳述する。

カメラ制御マイコン５は、デジタル信号処理部４から送られてきた検波データや手ぶれセンサ６から送られてくる撮像装置１０の手ぶれ情報により、現在の撮像画像の状態を把握し、ヒューマンインターフェースマイコン８を経由して送られてくる各種設定モードに応じた制御を行う。すなわち、カメラ制御マイコン５は、読み出し領域指定データをＣＭＯＳイメージセンサ２に、撮像画像制御用データをデジタル信号処理部４に、レンズ制御データをレンズ駆動用ドライバ部７に、自動利得制御用のゲイン制御データをアナログ信号処理部３に、それぞれ供給する。

ＣＭＯＳイメージセンサ２は、ＣＭＯＳイメージセンサ２の撮像面の撮像領域のうちの、読み出し領域指定データにより指定される任意の領域の信号を、読み出しタイミング信号によって順次読み出し、アナログ信号処理部３に出力する。

また、デジタル信号処理部４、レンズ駆動用ドライバ部７、アナログ信号処理部３は、カメラ制御マイコン５から送られてきた制御値に応じた処理を行い、所望の信号処理・タイミング発生・レンズ駆動・ゲイン処理が実現される。

ユーザーインターフェース９は、ユーザーの操作入力を受け付けるためのキー操作部と、撮像装置１０のモードや、カメラ情報を報知するためのディスプレイを備える。ユーザーが行うメニュー操作等についてはユーザーインターフェース９を介してヒューマンインターフェースマイコン８で制御される。

ヒューマンインターフェースマイコン８は、ユーザーが現在どのような撮影モードやズーム倍率を選択しているのか、あるいはどのような制御を望んでいるのか等を、ユーザーインターフェース９を通じたユーザー操作指示入力に基づいて検知し、カメラ制御マイコン５に対して、検知出力をユーザー指示情報として送る。

同時に、カメラ制御マイコン５は、得られたカメラ制御情報（被写体距離やＦ値、ズーム位置、シャッタースピード、倍率等）をヒューマンインターフェースマイコン８に送信し、ユーザーインターフェース９のディスプレイを介して、現在のカメラの情報を、ユーザーに知らせるようにしている。これらのブロックの詳細については、この発明と直接関係無いためここでは省略する。

［デジタル信号処理部４の詳細構成例の説明］
図５は、デジタル信号処理部４の詳細構成例を示すものである。この例においては、デジタル信号処理部４は、カメラ信号前処理部４１と、共有画素別シェーディング補正処理部４２と、カメラ信号主処理部４３と、基準タイミング信号発生器４４と、通信インターフェース４５とを備える。

基準タイミング信号発生器４４は、前述した水平同期信号ＨＤおよび垂直同期信号ＶＤを発生して、ＣＭＯＳイメージセンサ２に供給すると共に、画素タイミングの基準となる基準タイミング信号ＴＧをカメラ信号前処理部４１および共有画素別シェーディング補正処理部４２に供給する。基準タイミング信号発生器４４は、また、各種タイミング信号を、カメラ信号主処理部４３に供給する。さらに、図示は省略したが、基準タイミング信号発生器４４は、各種タイミング信号を、カメラ制御マイコン５にも供給する。

通信インターフェース４５は、カメラ信号主処理部４３から得られる各種検波値ＤＥＴを、カメラ制御マイコン５に供給する。カメラ制御マイコン５は、前述したように、受け取った各種検波値ＤＥＴに基づいて、例えば自動利得制御信号などの制御信号を生成して、それぞれ対応する処理部に供給するようにする。

また、通信インターフェース４５は、カメラ制御マイコン５からのカメラ信号処理制御用パラメータＰｍを受け取り、必要な制御信号をカメラ信号前処理部４１、共有画素別シェーディング補正処理部４２およびカメラ信号主処理部４３に供給する。これにより、カメラ信号前処理部４１、共有画素別シェーディング補正処理部４２およびカメラ信号主処理部４３は、カメラ制御マイコン５によって処理動作が制御できる構成とされている。

カメラ信号前処理部４１は、アナログ信号処理部３からの撮像画像信号ＲＡＷを受け、シェーディング補正処理の前段として行っておくべき処理群を実行するもので、例えばデジタルクランプ処理などが含まれる。このカメラ信号前処理部４１で行う処理群は、この発明とは直接には関係が無いので、ここでは、その詳細な説明は省略する。

カメラ信号前処理部４１の出力は、共有画素別シェーディング補正処理部４２に供給される。共有画素別シェーディング補正処理部４２では、共有画素を構成する画素のそれぞれ毎（共有画素ＩＤが同じ画素毎）に、シェーディング補正処理を実行する。

この実施形態においては、図６に示すように、撮像面の全画素領域ＡＦＬのうちの有効画素領域ＶＦＬの画素からの撮像画素データのみを、共有画素別シェーディング補正処理部４２での処理対象とする。このため、カメラ信号前処理部４１および共有画素別シェーディング補正処理部４２には、アナログ信号処理部３から送られてくる撮像画素データが、有効画素領域ＶＦＬのものであるかどうかを示す領域指示情報Ｓｆｌが、カメラ制御マイコン５から通信インターフェース４５を通じて送られてくる。

そして、この実施形態では、共有画素別シェーディング補正処理部４２には、前述の図４を用いて説明した共有画素ＩＤに関する情報、すなわち、共有画素ＩＤ設定情報Ｓｉｄが、カメラ制御マイコン５から通信インターフェース４５を通じて送られてくる。さらに、共有画素別シェーディング補正処理部４２には、基準タイミング信号発生器４４から、基準タイミング信号ＴＧ（画素クロックを含む）および水平同期信号ＨＤ、垂直同期信号ＶＤが送られてくる。

共有画素別シェーディング補正処理部４２の詳細な構成およびその処理動作は、後で詳述するが、概略を説明すると次のようになる。

すなわち、共有画素別シェーディング補正処理部４２では、この実施形態では、予め、撮影レンズを含む光学系１により生じるシェーディング特性を求めて、当該シェーディング特性に応じて、ＣＭＯＳイメージセンサ２の撮像面上の画素からの撮像画素データを、撮像面の中央部の画素の明るさに合わせるように補正する補正制御信号、つまり、明るさを補正するためのゲイン制御信号を、撮影レンズの光軸中心からの距離位置における画素に対する補正制御信号として記憶しておく。同一の色光用画素であっても、共有画素ＩＤが異なれば、異なる補正制御信号となる。

この補正制御信号は、この実施形態では、共有画素ＩＤ毎、つまり、共有画素を構成する複数個の画素のそれぞれに対応して記憶しておく。

そして、入力撮像画素データが共有画素を構成する複数個の画素のいずれであるかにより、記憶されている複数個の補正制御信号の中から、参照する補正制御信号を選択する。また、入力撮像画素データの画素位置を、撮影レンズの光軸中心からの距離位置に変換し、その変換した距離位置により、予め記憶されている補正制御信号を検索して、それぞれの撮像画素データについての補正制御信号を得るようにする。

このため、まず、共有画素別シェーディング補正処理部４２では、基準タイミング信号発生部４４からの準タイミング信号ＴＧ（画素クロックを含む）および水平同期信号ＨＤ、垂直同期信号ＶＤに基づいて、カメラ信号前処理部４１から入力される撮像画素データＰｄが、有効画素領域ＶＦＬのどの位置の画素のデータであるかの座標位置情報を算出する。

そして、その画素の座標位置情報を、画像に発生するシェーディング特性の形態に対応した座標（撮影レンズの光軸中心からの距離位置の座標）に変換する。

また、共有画素別シェーディング補正処理部４２では、共有画素ＩＤ設定情報Ｓｉｄ（共有画素ＩＤの情報）により、カメラ信号前処理部４１から入力される撮像画素データＰｄが、共有画素を構成する複数の画素のいずれであるかを検出し、予め記憶している補正制御信号の中から、変換座標（撮影レンズの光軸中心からの距離位置の座標）と、共有画素ＩＤとにより定まる補正制御信号を選択して得る。

そして、共有画素別シェーディング補正処理部４２では、得た補正制御信号を用いて、カメラ信号前処理部４１から入力される撮像画素データＰｘのゲインを補正することで、シェーディング補正を行う。補正結果の撮像画素データＰｘｃは、カメラ信号主処理部４３に供給される。

カメラ信号主処理部４３では、カメラ制御マイコン５からの通信インターフェース４５を通じた制御指示に応じて、ノイズリダクション／欠陥補正／デモザイク／ホワイトバランス／解像度変換といった公知の技術で構成される、各種カメラ信号処理を行い、出力データとしての輝度データＹおよび色データＣを、後段のビデオ系処理ブロック（図示は省略）へと供給する。このカメラ信号主処理部４３の詳細内容については、この発明とは直接関係無いため、ここでは省略する。

［共有画素別シェーディング補正処理部４２の詳細構成例］
図７は、共有画素別シェーディング補正処理部４２の詳細構成例を示すブロック図である。この例の共有画素別シェーディング補正処理部４２は、本線信号としてカメラ信号前処理部４１から送られてくる撮像画素データＰｘに対して設けられる遅延調整部４２１と、共有画素別ゲイン補正部４２２と、タイミング生成部４２３と、補正制御信号算出部４２４と、通信インターフェース４２５とを備える。

補正制御信号算出部４２４は、撮影レンズの光軸中心からの距離位置と、当該距離位置におけるシェーディング特性の補正制御信号（ゲイン制御信号）とを対応付けた対応テーブル（ルックアップテーブル）をＮ個（Ｎは２以上の整数）備える。すなわち、図７に示すように、補正制御信号算出部４２４は、Ｎ個のルックアップテーブルＬＵＴ１〜ＬＵＴＮを備える。

ここで、補正制御信号算出部４２４が備えるルックアップテーブルの数Ｎは、この例では、共有画素ＩＤの数またはその整数倍に等しい。これは、この実施形態の撮像装置のＣＭＯＳイメージセンサ２で取り扱う色光の数（色チャンネル数）に必ずしも等しいわけではなく、同一の色光であって、共有画素ＩＤが異なるＭ（Ｍは２以上の整数）個の画素が存在する場合には、それぞれについて設けられることを意味している。つまり、ＣＭＯＳイメージセンサ２で取り扱う色光の数（色チャンネル数）に、共有画素ＩＤがＭ個存在する各色チャンネルについての（Ｍ−１）を、それぞれ加えた数に相当する。

この例では、図４（Ａ）の場合であり、図８（Ａ）〜（Ｄ）に示すように、共有画素ＩＤは、「０」、「１」、「２」、「３」の４個である。すなわち、赤の色光用画素Ｒおよび青の色光用画素Ｂについては、共有画素ＩＤが１個設定されるのに対して、緑の色光用画素Ｇについては、２個の共有画素ＩＤが設定されるので、合計で４個となる。したがって、補正制御信号算出部４２は、この例では、少なくとも４個のルックアップテーブルを備える。

ここで、図８では、補正対象となる画素をＰｘ＿Ｏとして、丸で囲んで示し、その周囲の各色光用画素との対応関係を示している。この図８に示すように、この実施形態では、ＣＭＯＳイメージセンサ２で扱う複数種の色光は、３種の色光（Ｒ，Ｇ，Ｂ）であるが、緑の色光については、共有画素ＩＤが２個設定されるので、４個のルックアップテーブルを、補正制御信号算出部４２４は備えるものとなっている。

ここで、図８（Ｂ）に示すように、共有画素ＩＤ＝「１」の緑色光用画素Ｇは、左右に赤色光用の画素Ｒが、上下に青色光用の画素Ｂが配列されているものであり、これを以下、緑色光用画素Ｇ１とする。また、図８（Ｃ）に示すように、共有画素ＩＤ＝「２」の緑色光用画素Ｇは、左右に青色光用の画素Ｂが、上下に赤色光用の画素Ｒが配列されているものであり、これを以下、緑色光用画素Ｇ２とする。

図４（Ａ）の例のベイヤー配列における共有画素のパターンを備える撮像装置において、シェーディング特性を、これら４種の色光用画素Ｒ，Ｇ１，Ｇ２，Ｂについて測定したところ、ズームレンズの望遠側端では、図９に示すような特性となり、ズームレンズの広角側端では、図１０に示すような特性となった。なお、図９および図１０において、横軸は、撮影レンズの光軸中心位置からの距離であり、横軸の中央が撮影レンズの光軸中心位置である。

これらの図９および図１０からも、緑色光用画素Ｇ１と、Ｇ２とでは、シェーディング特性が異なることが分かる。そして、この図９および図１０に示されるように、シェーディング特性は、望遠側端と広角側端とで異なるので、補正制御信号算出部４２４が備えるルックアップテーブルとしては、４種の色光用画素Ｒ，Ｇ１，Ｇ２，Ｂであって、ズームレンズの望遠端用の４個、ズームレンズの広角端用の４個、の合計８個とするのが好ましい。

しかし、この実施形態では、補正制御信号算出部４２４が備えるルックアップテーブルＬＵＴ１〜ＬＵＴＮとしては、説明の簡単のため、４種の色光用画素Ｒ，Ｇ１，Ｇ２，Ｂについての４個（Ｎ＝４）としている。

補正制御信号算出部４２４には、後述するように、タイミング生成部４２３からのテーブル選択信号ＳＥＬが供給され、このテーブル選択信号ＳＥＬにより、Ｎ個のルックアップテーブルＬＵＴ１〜ＬＵＴＮのいずれを用いるかが選択制御される。

なお、ルックアップテーブルＬＵＴ１〜ＬＵＴＮの格納データは、使用するＣＭＯＳイメージセンサ２に採用するカラーフィルタパターンや共有画素パターンに応じたものとする必要があるので、カメラ制御マイコン５の制御により、書き換え可能の構成とされている。

また、上述の説明では、ズームレンズの望遠側端と広角側端とにおけるシェーディング特性を考慮するようにしたが、さらに、望遠側端と広角側端との間の中央値近傍の標準焦点距離位置におけるシェーディングを考慮してもよい。その場合には、ズームレンズの望遠端用の４個、ズームレンズの広角端用の４個、標準焦点距離位置用の４個、の合計１２個のルックアップテーブルを補正制御信号算出部４２４に設けるようにする。

そして、撮像装置において、撮影時にユーザーに設定されたズームレンズの焦点距離位置が、望遠側端、広角側端、標準焦点距離位置の間の位置であるときには、望遠端用、広角端用、標準焦点距離位置用、の３種のルックアップテーブルを用いて補間処理して、補正制御信号を生成するようにしてもよい。例えば、撮影時にユーザーに設定されたズームレンズの焦点距離位置が、望遠側端と標準焦点距離位置との間であれば、当該設定された焦点距離位置と、望遠側端との距離および標準焦点距離との距離のそれぞれにより重み付けをして、望遠端用と標準焦点距離位置用の２種のルックアップテーブルを用いて補間処理するようにすればよい。なお、前述した望遠側端用と、広角側端との２種のルックアップテーブルを用いる、ルックアップテーブルが８個の場合も、ズーム位置が望遠側端と広角側端との間の焦点距離位置であるときも、同様の補間処理をして補正制御信号を生成するようにすることができる。

なお、レンズのズーム位置だけでなく、フォーカス位置、像高、絞り量、射出瞳位置、ストロボ発光量等の要素もシェーディング特性に影響があるので、これらの条件を加味して、より多数のルックアップテーブルを補正制御信号算出部４２４に設けても良い。その場合には、カメラ制御マイコン５は、上記の複数の要素の状態条件に応じたテーブル選択信号ＳＥＬを生成し、当該生成したテーブル選択信号ＳＥＬを、タイミング生成部４２３を通じて、補正制御信号算出部４２４に供給するようにしてもよい。タイミング生成部４２３は、画素タイミングに合わせて、テーブル選択信号ＳＥＬを、補正制御信号算出部４２４に供給するようにする。

補正制御信号算出部４２４は、また、ＣＭＯＳイメージセンサ２の撮像面上における画素の座標位置から、ルックアップテーブルを参照するための、撮影レンズの光軸中心位置からの距離位置に変換する処理部を備える。

遅延調整部４２１は、タイミング生成部４２３および補正制御信号算出部４２４における処理遅延分を、入力撮像画素データＰｘに対して与えて、後述する共有画素別ゲイン補正部４１での補正処理におけるタイミングを合わせるためのものである。

タイミング生成部４２３は、基準タイミング信号発生部４４からの基準タイミング信号ＴＧ、水平同期信号ＨＤおよび垂直同期信号ＶＤを受けると共に、カメラ制御マイコン５からの領域指示情報Ｓｆｌを通信インターフェース４２５を通じて受けて、図３に示した読み出し方法にしたがって読み出される各画素について、撮像面上の座標位置を示すカウンタ信号ＣＮＴを生成する。

基準タイミング信号から画素クロックが得られるので、有効画素領域において、垂直同期信号ＶＤを基準として、画素クロックと、水平同期信号ＨＤとをカウントすることにより、カウンタ信号ＣＮＴを得る。このカウンタ信号ＣＮＴは、有効画素領域の１フレームの何番目の水平ラインの何番目の画素であるかを示す信号（カウント値）が含まれている。タイミング生成部４２３は、生成したカウンタ信号ＣＮＴを、補正制御信号算出部４２４に供給する。

また、タイミング生成部４２３は、この例では、カメラ制御マイコン５からの共有画素ＩＤ設定情報Ｓｉｄを受けて、ルックアップテーブルのテーブル選択信号ＳＥＬを生成し、補正制御信号算出部４２４に供給するようにする。なお、前述したように、ズーム位置等を考慮する場合には、タイミング生成部４２３は、それらの情報を、カメラ制御マイコン５から受けて、ルックアップテーブルのテーブル選択信号ＳＥＬを生成するようにする。

補正制御信号算出部４２４では、複数個のルックアップテーブルＬＵＴ１〜ＬＵＴＮのうちから、テーブル選択信号ＳＥＬにより選択された、共有画素ＩＤに応じたルックアップテーブルが選択されて、当該選択されたルックアップテーブルから、シェーディング補正用の補正制御信号が、画素毎に後述のようにして読み出されて算出される。

この補正制御信号は、前述したように、ゲイン制御信号ＧＣであり、これが共有画素別ゲイン補正部４２２に供給される。そして、共有画素別ゲイン補正部４２２において、遅延調整部４２１を通じた撮像画素データＰｘに、補正制御信号、すなわち、ゲイン制御信号ＧＣが乗算されて、シェーディング補正がなされる。

なお、この実施形態では、補正のオン・オフが制御可能とされている。カメラ制御マイコン５は、この例では、ユーザーインターフェース９を通じたユーザーのシェーディング補正のオン・オフ切り替え指示操作に応じた補正オン・オフ信号を通信インターフェース４２５を通じてタイミング生成部４２３に供給する。

タイミング生成部４２３は、この通信インターフェース４２５を通じたカメラ制御マイコン５からの補正オン・オフ信号ＳＷを受けて、共有画素別ゲイン補正部４２２に供給する。共有画素別ゲイン補正部４２２では、補正オン・オフ信号ＳＷが補正オンを示すものであるときには、補正制御信号算出部４２４からの補正制御信号としてのゲイン制御信号ＧＣによりゲイン補正してシェーディング特性の補正を実行し、その補正後の撮像画素データＰｘｃを、共有画素別シェーディング補正処理部４２の出力信号として出力する。

また、補正オン・オフ信号ＳＷが補正オフを示すものであるときには、共有画素別ゲイン補正部４２２では、撮像画素データについてのゲイン補正は行わず、遅延調整部４２１からの撮像画素データをそのまま、撮像画素データＰｘｃとして出力する。

［補正制御信号算出部４２４の詳細構成例］
この実施形態の補正制御信号算出部４２４では、撮影レンズに起因して楕円状に周辺光量が低下する楕円シェーディング特性を補正するようにする。図１１に、この実施形態における補正制御信号算出部４２４の構成例のブロック図を示す。

この図１１に示すように、この実施形態の補正制御信号算出部４２４は、光軸中心座標シフト部４２４１と、座標軸回転部４２４２と、疑似距離計算部４２４３と、ゲイン算出部４２４４とを備えている。

光軸中心座標シフト部４２４１は、タイミング信号生成部４からのカウンタ信号ＣＮＴを受けて、このカウンタ信号ＣＮＴが示す、撮像面の有効領域の左上隅を原点位置とする補正対象画素の座標位置情報（図１２（Ａ）参照）から、撮影レンズの光軸中心を原点とする座標情報（図１２（Ｂ）参照）に変換する。この光軸中心座標シフト部４２４１からの、撮影レンズの光軸中心を原点とする座標情報に変換された補正対象画素の位置情報は、座標軸回転部４２４２に供給される。

座標軸回転部４２４２は、補正対象の楕円シェーディング特性の楕円の傾きに応じて、楕円の長軸方向、短軸方向が、水平方向、垂直方向に一致するように座標軸を回転させる処理を行う（図１２（Ｃ）参照）。この座標軸回転部４２４２からの座標軸を回転させた補正対象画素の位置情報は、疑似距離計算部４２４３に供給される。

疑似距離計算部４２４３は、補正対象の楕円シェーディング特性の楕円の傾き（図１２（Ｄ）参照）に応じた補正対象画素についての、ルックアップテーブルを参照する光軸からの距離座標情報（これを、以下、疑似距離情報という）を計算して、ゲイン算出処理部４２４４に供給する。

ゲイン算出処理部４２４４は、前述したＮ個、この例では、共有画素ＩＤを考慮した４種の色光用画素Ｒ，Ｇ１，Ｇ２，Ｂについての４個のルックアップテーブルＬＵＴ１〜ＬＵＴ４を備えている。以下、この４種の色光用画素Ｒ，Ｇ１，Ｇ２，Ｂのルックアップテーブルは、それぞれ、Ｒテーブル、Ｇ１テーブル、Ｇ２テーブル、Ｂテーブルと呼ぶことにする。

これらＲテーブル、Ｇ１テーブル、Ｇ２テーブル、Ｂテーブルのシェーディング補正用のテーブル情報は、前述したように、カメラ制御マイコン５からのテーブル設定情報により、予め書き込まれており、また、この例では、適宜、書き換えることができるように構成されている。

そして、このゲイン算出処理部４２４４には、タイミング生成部４２３からのテーブル選択信号ＳＥＬが供給される。このテーブル選択信号ＳＥＬは、この例では、Ｒテーブル、Ｇ１テーブル、Ｇ２テーブル、Ｂテーブルのそれぞれ用の４個のイネーブル信号Ｒ＿ＴＢＬＥＮ、Ｇ１＿ＴＢＬＥＮ、Ｇ２＿ＴＢＬＥＮ、Ｂ＿ＴＢＬＥＮからなる。

そして、前述したように、この実施形態では、図４（Ａ）の場合を取り扱っているので、ゲイン算出処理部４２４４では、図１３に示すように、奇数番目の水平ラインにおいては、ＲテーブルとＧ１テーブルとが用いられて、補正制御信号が算出され、また、偶数番目の水平ラインにおいては、Ｇ２テーブルとＢテーブルとが用いられて、補正制御信号が算出される。

そして、図１４（Ａ）に示すように、奇数番目の水平ラインにおいては、画素クロックに同期して、補正対象画素は、赤色光用画素Ｒと、第１の緑色光用画素Ｇ１とが、１画素（ピクセル）毎に交互に現れるので、その共有画素ＩＤに対応して、テーブル選択信号ＳＥＬ、すなわち、Ｒテーブル、Ｇ１テーブル、Ｇ２テーブル、Ｂテーブルのそれぞれ用の４個のイネーブル信号Ｒ＿ＴＢＬＥＮ、Ｇ１＿ＴＢＬＥＮ、Ｇ２＿ＴＢＬＥＮ、Ｂ＿ＴＢＬＥＮは、図１４（Ｂ）に示すようなものとなる。

ここで、図１４では、イネーブル信号がハイレベルのときルックアップテーブルがイネーブル状態（動作状態）とされ、イネーブル信号がローレベルのときルックアップテーブルがディスエーブル状態（非動作状態）とされる。

すなわち、奇数番目の水平ラインにおいては、Ｒテーブル用のイネーブル信号Ｒ＿ＴＢＬＥＮは、奇数番目の画素のときに、Ｒテーブルをイネーブル状態（動作状態）とする状態となり、Ｇ１テーブル用のイネーブル信号Ｇ１＿ＴＢＬＥＮは、偶数番目の画素のときに、Ｇ１テーブルをイネーブル状態（動作状態）とする状態となる。そして、Ｇ２テーブルおよびＢテーブルのイネーブル信号Ｇ２＿ＴＢＬＥＮおよびＢ＿ＴＢＬＥＮは、共に、Ｇ２テーブルおよびＢテーブルをディスエーブル状態（非動作状態）とするものとなる。

次に、図１４（Ｃ）に示すように、偶数番目の水平ラインにおいては、画素クロックに同期して、補正対象画素は、第２の緑色光用画素Ｇ２と、青色光用画素Ｂとが、１画素毎に交互に現れるので、その共有画素ＩＤに対応して、テーブル選択信号ＳＥＬ、すなわち、Ｒテーブル、Ｇ１テーブル、Ｇ２テーブル、Ｂテーブルのそれぞれ用の４個のイネーブル信号Ｒ＿ＴＢＬＥＮ、Ｇ１＿ＴＢＬＥＮ、Ｇ２＿ＴＢＬＥＮ、Ｂ＿ＴＢＬＥＮは、図１４（Ｄ）に示すようなものとなる。

すなわち、偶数番目の水平ラインにおいては、Ｇ２テーブル用のイネーブル信号Ｇ２＿ＴＢＬＥＮは、奇数番目の画素のときに、Ｇ２テーブルをイネーブル状態（動作状態）とする状態となり、Ｂテーブル用のイネーブル信号Ｂ＿ＴＢＬＥＮは、偶数番目の画素のときに、Ｂテーブルをイネーブル状態（動作状態）とする状態となる。そして、ＲテーブルおよびＧ１テーブルのイネーブル信号Ｒ＿ＴＢＬＥＮおよびＧ１＿ＴＢＬＥＮは、共に、ＲテーブルおよびＧ１テーブルをディスエーブル状態（非動作状態）とするものとなる。

そして、ゲイン算出処理部４２４４では、イネーブル状態とされたルックアップテーブルが、疑似距離計算部４２４３からの疑似距離情報を参照情報として参照されて、対応するゲイン制御信号（共有画素別ゲイン制御信号）ＧＣが、当該ルックアップテーブルから読み出されて出力され、共有画素別ゲイン補正部４２２に供給される。

［共有画素別ゲイン補正部４２２の構成例］
図１５に、この実施形態における共有画素別ゲイン補正部４２２の構成例のブロック図を示す。この実施形態においては、共有画素別ゲイン補正部４２２は、シェーディング補正処理を実行する乗算器４２２１と、セレクタ４２２２とからなる。

遅延調整部４２１からの撮像画素データは、乗算器４２２１に供給されると共に、セレクタ４２２２の一方の入力端に供給される。乗算器４２２１には、補正制御信号算出部４２４からの共有画素別ゲイン制御信号ＧＣが供給されて、補正対象の撮像画素データに乗算され、シェーディング補正処理が実行される。この補正処理がなされた撮像画素データは、乗算器４２２１からセレクタ４２２２の他方の入力端に供給される。

セレクタ４２２２には、タイミング生成部４２３からの補正オン・オフ信号ＳＷが供給されており、補正オン・オフ信号ＳＷが補正オンを示すものであるときには、乗算器４２２１からのシェーディング補正された撮像画素データがこのセレクタ４２２２から出力され、また、補正オン・オフ信号ＳＷが補正オフを示すものであるときには、遅延調整部４２１からの撮像画素データが、シェーディング補正処理されずに、そのままセレクタ４２２２から出力される。そして、このセレクタ４２２２の出力が、共有画素別シェーディング補正処理部４２の出力Ｐｘｃとされる。

以上のようにして、この実施形態の撮像装置においては、固体撮像素子が共有画素技術を用いた構成となっていても、適切なシェーディング補正ができて、出力画質への影響を、より軽減することができる。

［他の実施形態］
＜ソフトウエア処理による構成＞
上述した実施形態では、共有画素別シェーディング補正処理は、ハードウエアを用いた処理としたが、マイコンによるソフトウエア処理とすることもできる。例えば、図１６は、そのソフトウエア処理とした場合における処理の流れを概要を示すフローチャートである。

すなわち、マイコンは、先ず、補正対象画素の隣接画素の画素データを取得する（ステップＳ１０１）。

次に、撮像面上での補正対象画素の座標位置を、画素クロック、水平同期信号ＨＤ、垂直同期信号ＶＤをカウントすることにより算出する（ステップＳ１０２）。続いて、算出した撮像面での補正対象画素の座標位置を、撮影レンズの光軸からの距離座標位置（疑似距離座標位置）に変換する（ステップＳ１０３）。

次に、補正対象画素の共有画素ＩＤを参照し、シェーディング補正に使用するルックアップテーブルを、予め用意されている複数のルックアップテーブルの中から選択する（ステップＳ１０４）。

そして、選択したルックアップテーブルを、ステップＳ１０３で求めた疑似距離座標位置情報で参照して、共有画素別ゲイン補正信号ＧＣを取得する（ステップＳ１０５）。取得した共有画素別ゲイン補正信号ＧＣを、補正対象画素の画素データと乗算する演算処理をして、ゲイン補正する（ステップＳ１０６）。これにより、シェーディング補正された撮像画素データが得られる。

次に、撮像画素データについての処理を終了するか否か判別し（ステップＳ１０７）、処理終了でなければ、ステップＳ１０１に戻り、このステップＳ１０１以降の処理を繰り返す。また、ステップＳ１０７で処理終了と判別したときには、この処理ルーチンを終了する。

＜対象撮像素子の変更＞
なお、以上の実施形態の説明においては、固体撮像素子に対して配される色フィルタ、読み出しチャンネル、画素の共有方法については、例を限定して説明してきたが、もちろん、この発明は、これらの限定に限られるものではなく、この発明の主旨を外れない範囲で広く適用することが可能である。

例えば、図４の例では、共有画素ＩＤで表わした出力画素シーケンスは、色フィルタの色を考慮した場合であるが、固体撮像素子に対して配される色フィルタの各色を考慮しない場合には、図４（Ａ），（Ｂ），（Ｃ）に示した共有画素の配列パターンの３つの例における共有画素ＩＤ、および、共有画素ＩＤで表した出力画素シーケンスは、図１７に示すようなものとなる。

なお、この図１７の例は、例えば図２（Ｄ）や図２（Ｅ）のような３板式のイメージセンサを用いる場合における場合の例で、図１７は赤色光用の固体撮像素子の場合を示したものである。

この例の場合、図１７（Ａ），（Ｂ），（Ｃ）のそれぞれ上段に示した共有画素の配列パターンの３つの例における共有画素ＩＤは、それぞれ中段に示すようなものとなり、また、共有画素ＩＤで表した出力画素シーケンスは、それぞれ下段に示すようなものとなる。

そして、この場合には、図１７の中段に示した共有画素ＩＤに応じたルックアップテーブルを用意し、補正対象画素の共有画素ＩＤに基づいてテーブル選択信号により、ルックアップテーブルを選択し、当該選択したルックアップテーブルを用いてシェーディング補正用の共有画素別ゲイン制御信号を得、シェーディング補正を実行する。

緑色光用の固体撮像素子や青色光用の固体撮像素子からの撮像画素データについてのシェーディング補正も、それぞれ用のルックアップテーブルを用意し、同様に行なうものである。

［その他の実施形態および変形例］
なお、以上の説明は、全て、シェーディング補正に、この発明を適用した場合であるが、前述もしたように、この発明の対象とする撮像画素データについての補正処理としては、シェーディング補正に限られるものではなく、従来、各色光毎に同一の補正をすればよいとされている補正処理を、共有画素技術を用いた固体撮像素子からの撮像画素データに対して施す場合の全てに適用可能である。

なお、カメラ信号処理ＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）は、複数のタイプの撮像素子に対応するのが一般的であるため、撮像素子によっては、
（１）共有画素技術を使用していて、共有画素別のシェーディングの差が大きい
（２）共有画素技術を使用しているが、共有画素別のシェーディングの差が小さい
（３）そもそも共有画素技術を使用していない
などの撮像素子群のバリエーションに対応しなくてはならない場合がある。

上述の実施形態では、上記（１）の場合に関して特化して説明してきたが、上記（２）あるいは上記（３）の撮像素子を、イメージセンサとして用いた場合には、共有画素別のルックアップテーブルに同じ補正データを書き込めばよい。あるいはテーブル選択信号ＳＥＬが固定になるようにカメラ制御マイコンから設定し、特定のルックアップテーブルのみを使うようにしてもよい。

なお、上述した実施形態の構成は、説明の都合上、図４（Ａ）に示した共有画素パターンならびに読み出し方法に特化して説明してきたが、別の共有画素パターンや読み出し方法にも柔軟に対応できるように、タイミング生成部４２３等をプログラマブルに構成しておくのが望ましい。

また、上述の実施形態の説明では、固体撮像素子は、ＣＭＯＳイメージセンサとしたが、ＣＣＤイメージセンサでもよい。

この発明による撮像装置の実施形態のハードウエア構成例を示す図である。 この発明による撮像装置の実施形態で用いる固体撮像素子の画素配列および色フィルタ配置の例を説明するための図である。 この発明による撮像装置の実施形態で用いる固体撮像素子からの撮像画像データの読み出し方法の例を説明するための図である。 この発明による撮像装置の実施形態で用いる固体撮像素子における共有画素の配列パターンおよび共有画素ＩＤを説明するための図である。 この発明による撮像装置の実施形態の要部のハードウエア構成例を示す図である。 この発明による撮像装置の実施形態を説明するために用いる図である。 図５のハードウエア構成例における一部のブロックのハードウエア構成例を示す図である。 図７のハードウエア構成例を説明するために用いる図である。 図７のハードウエア構成例を説明するために用いる図である。 図７のハードウエア構成例を説明するために用いる図である。 図７のハードウエア構成例における一部のブロックのハードウエア構成例を示す図である。 図１１のハードウエア構成例における処理動作を説明するために用いる図である。 図１１のハードウエア構成例における処理動作を説明するために用いる図である。 図１１のハードウエア構成例における処理動作を説明するために用いる図である。 図７のハードウエア構成例における一部のブロックのハードウエア構成例を示す図である。 この発明による撮像装置の他の実施形態の要部を説明するためのフローチャートを示す図である。 この発明による撮像装置における共有画素ＩＤパターンの他の例を説明するための図である。

符号の説明

２…ＣＭＯＳイメージャ、４…デジタル信号処理部、５…カメラ制御マイコン、４２…共有画素別シェーディング補正処理部、４４…基準タイミング信号発生器、４２２…共有画素別ゲイン補正部、４２３…タイミング生成部、４２４…補正制御信号算出部、４２４４…ゲイン算出処理部

Claims (6)

1. ２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた撮像面を備える固体撮像素子と、
   光学系を通じて画素に入射する同一の色光毎に、前記画素からの撮像画素データについて、補正制御信号に基づいて所定の補正を行う補正手段と、
   前記同一の色光毎についての前記補正制御信号を、前記各１組みを構成する前記所定の複数個の画素の、前記配列パターン内における各画素位置の違いに応じて、それぞれ算出して、前記補正手段に供給する補正制御信号算出手段と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記所定の補正は、前記光学系を通じて前記撮像面に入射する光の、前記撮像面上における画素位置の違いに応じた入射光量の不均一性を、前記補正制御信号により、前記撮像画素データのゲインを補正することに補正するものである
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記補正制御信号算出手段は、前記撮像面上における画素位置と、当該画素位置における前記補正制御信号とを対応付けた補正制御信号テーブルを備え、前記画素位置を入力として、対応する前記補正制御信号を出力して算出するものであって、前記補正制御信号テーブルを、前記同一の色光毎について、前記各１組みを構成する前記所定の複数個の画素の数分備え、前記配列パターン内における各画素位置の違いに応じて、前記補正制御信号テーブルを選択する
   ことを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   ズーム機構を備え、
   前記補正制御信号テーブルは、予め定められた所定のズーム倍率のそれぞれにおいて、前記同一の色光毎について、前記各１組みを構成する前記所定の複数個の画素の数分備え、前記ズーム機構において選定されているズーム倍率によって、使用する前記補正制御信号テーブルが選択される
   ことを特徴とする撮像装置。
5. ２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた撮像面を備える固体撮像素子からの撮像画素データを補正する撮像画素データ補正方法であって、
   光学系を通じて前記撮像面に入射する同一の色光毎に、前記撮像画素データについて、補正制御信号に基づいて所定の補正を行う補正工程と、
   前記補正工程に先立ち、前記同一の色光毎についての前記補正制御信号を、前記各１組みを構成する前記所定の複数個の画素の、前記配列パターン内における各画素位置の違いに応じて、それぞれ算出する補正制御信号算出工程と、
   を有する撮像画素データ補正方法。
6. ２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた固体撮像素子を備える撮像装置に、
   光学系を通じて前記撮像面に入射する同一の色光毎に、前記撮像画素データについて、補正制御信号に基づいて所定の補正を行う補正工程と、
   前記補正工程に先立ち、前記同一の色光毎についての前記補正制御信号を、前記各１組みを構成する前記所定の複数個の画素の、前記配列パターン内における各画素位置の違いに応じて、それぞれ算出する補正制御信号算出工程と、
   を実行させるためのプログラム。
   

Images