JP4294810B2 - 固体撮像装置および信号読出し方法 - Google Patents
固体撮像装置および信号読出し方法 Download PDFInfo
- Publication number
- JP4294810B2 JP4294810B2 JP25713999A JP25713999A JP4294810B2 JP 4294810 B2 JP4294810 B2 JP 4294810B2 JP 25713999 A JP25713999 A JP 25713999A JP 25713999 A JP25713999 A JP 25713999A JP 4294810 B2 JP4294810 B2 JP 4294810B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- horizontal
- transfer path
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置および信号読出し方法に関し、たとえば、数百万を越えるような画素数の高画素化した撮像部を有するディジタルカメラや画像入力装置等の、特に、予備の撮像モードに適用して好適なものである。
【０００２】
【従来の技術】
近年、銀塩カメラの画質を目指して、電気的に被写体の画像を撮影するディジタルカメラが画素数を一層高める技術が各種提案されてきている。たとえば、特開平10-136391 号公報には、画像の空間サンプリングの最適化をもたらし、受光効率の向上を図るように画素をずらして配置するとともに、モアレ等の偽信号を抑圧する固体撮像装置が提案されている。
【０００３】
【発明が解決しようとする課題】
ところで、高画質を目的として撮像部に高画素化した画素アレイを用いたディジタルカメラ等においては、本撮像（すなわち、スチル撮像）を行う前に、撮像部からAE/AF (Automatic Exposure/Automatic Focusing）動作や液晶画面に画像を表示させるムービー駆動を行っている。この場合、画素アレイの高画素化に伴って撮像により得られた信号電荷を読み出す時間が以前よりも要してしまう。これはフレームレートに問題を生じることを意味している。ここで、高画素とは、たとえば、百万画素以上の画素数、いわゆるメガピクセルのことを示している。
【０００４】
この問題の対策として読出しフレームレートを上げるために撮像部で得られた信号電荷を垂直方向に間引き読出しする方法が提案されている。具体的には、たとえば150 万画素（1280×1024）を全画素読出しする際の駆動周波数CLK が12.2725MHzのとき、この駆動周波数CLK を基に１水平同期期間（1H）と１垂直同期期間（1V）は、それぞれ、1H=1560CLK, 1V=1050Hとなる。すなわち、フレームレートは133msec ＝1/7.5secである。垂直方向に1/2 間引きすると、1Hは同じ時間を要して1V=525H であるから、フレームレートは66.7msec=1/15secになる。さらに、垂直方向に1/4 間引きしても1V=262.5H であるから、33.4msec=1/30sを要することがわかる。
【０００５】
ここで、150 万画素を全画素読出しして従来の方式の画像サイズ、すなわち（640 ×480 ) をムービー動作で全画素読出し表示を行う場合、上述した条件で水平・垂直方向にともに1/2 の画素間引きを行う。この結果、画素間引きしても水平方向の画素は640 画素、垂直方向の画素（走査線）は525 本である。また、垂直方向に1/4 間引きする場合、水平方向には1/2 間引きしか行われない。これにより、垂直方向の本数が262.5 本になることから、フレームレートの改善が図られる。しかし、この垂直間引きは480 本に足りないので、所望の本数に合わせるため垂直方向には補間処理が行われる。一方、水平方向について画素は1280画素すべて読み出して後段の信号処理において間引き処理を行って640 画素に合わせている。このことからも明らかなように画素ずらし配置がなされた高画素を有する撮像部からの信号電荷の読出しにおいてフレームレートの改善を厳密に考慮した水平方向に対する画素間引き読出しは行われていない。この結果、本撮像のタイミングに間に合わなくなってしまう虞も生じてくる。
【０００６】
本発明はこのような従来技術の欠点を解消し、高画素によって高画質化しても予備的な信号読出しの出力レートを改善し、本撮像に影響することなく行うことのできる固体撮像装置および信号読出し方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、光電変換する複数の受光素子を有し、この複数の受光素子の隣接する受光素子同士の位置が互いにずれて２次元配置され、各受光素子に対して被写界からの入射光側にこの入射光を色分解する色分解手段が配設された撮像手段と、この撮像手段から複数の受光素子に蓄積された信号電荷に応じた信号を読み出し、この読み出された信号にディジタル処理を施す信号処理手段とを含む固体撮像装置において、撮像手段は、複数の受光素子から得られた信号電荷を２次元配置における列に対応した垂直方向に転送する垂直電荷転送路と、この垂直電荷転送路に実質的に直交する方向に配され、この垂直電荷転送路に供給された信号電荷を水平駆動信号に応動して転送する水平電荷転送路と、複数の受光素子のそれぞれと垂直電荷転送路との間に配設された転送電極とを含み、この装置はさらに、転送電極に複数の受光素子からの信号電荷を垂直電荷転送路に読み出す転送タイミング信号を供給して信号電荷を読み出させ、垂直電荷転送路に供給された垂直駆動信号に応動してこの垂直電荷転送路の信号電荷を水平転送路まで転送させ、水平電荷転送路に供給された水平駆動信号に応動してこの水平電荷転送路の信号電荷を転送させる場合、複数の受光素子の実質的にすべてから蓄積された信号電荷を読み出す本撮像とこの本撮像に先行する予備撮像とに応じて信号電荷を転送させる信号供給手段と、この信号供給手段から供給される信号を受けて行われる本撮像と予備撮像のうち、予備撮像において得られた信号電荷が混合され、さらに混合された信号電荷に演算処理を施し予備撮像における輝度信号および色差信号が生成される予備の画像信号生成手段とを含むことを特徴とする。
【０００８】
ここで、色分解手段には、原色フィルタが用いられる場合、この原色フィルタの配置パターンとして色G の色フィルタを正方格子状に配され、色G の色フィルタ配置の中央に位置する受光素子に色R または色B を交互に配され、かつ色G を介した対角に位置する色フィルタが同色にされた完全市松パターンが用いられることが好ましい。これにより、２ライン同時読出しした際に水平電荷転送路に、色“BGRGBGRGBGRG”の繰返しパターンができる。
【０００９】
信号供給手段は、予備撮像において、水平転送路に形成されたパケットをｎ個の水平駆動単位で動作させ、この水平駆動単位の各パケットに供給される水平駆動タイミング信号が生成される際に、水平駆動単位のうち、ｎ−１個のパケットと１個のパケットとが順次隣接した位置に信号電荷を蓄積するポテンシャル井戸が形成させる水平駆動タイミング信号の生成を行わせるとともに、この１個のパケットの転送用に６相駆動に相当する駆動をもたらす水平駆動タイミング信号を生成させることが好ましい。
【００１０】
信号供給手段は、水平駆動単位のうち、ｎ−１個のパケットにポテンシャル井戸を形成させ、隣接した残る１個のパケットに障壁が形成されるタイミング信号としての第１の水平駆動単位信号と、ｎ−１個のパケットに含まれる読み出した信号電荷の数と同数のパケットに連続したポテンシャル井戸を形成させるタイミング信号としての第２の水平駆動単位信号と、水平駆動単位のパケットに対して２相駆動を行う第３の水平駆動単位信号とが生成され、時間経過に応じて順次出力されることが望ましい。
【００１１】
これらの関係による動作を簡単に説明すると、たとえば、通常信号電荷の混合を避けるとともに、簡単な転送が行われるため２電極構造が用いられ、２相駆動されることが多い。n=6 の場合、５個のパケットには３つの信号電荷が入っているが、この３つの信号電荷を仕切る障壁がないので、信号電荷は混合する。次のタイミングでは、５パケット分に含まれる信号電荷が１つのパケットにまとめられる。このパケットに水平駆動単位でまとめられた信号電荷が転送させられると従来の水平における２相駆動に対して６相駆動に同等の転送が行われることになるので転送レートを３倍に向上させることができる。
【００１２】
また、画像信号生成手段は、画像信号生成手段は、複数の混合した信号電荷がディジタル化されて順次供給される混合信号が複数個ずつ加算され、この加算により三原色RGB で表される所定の輝度信号が生成される輝度生成機能ブロックと、供給される混合信号のうち、対象の混合信号と一つ前の混合信号との差を取って得られる第１の成分信号および該対象の混合信号と一つ後の混合信号との差を取って得られる第２の成分信号にそれぞれ２種類ずつの係数を乗算させて得られた値の差から２つの色差信号が生成される色差生成機能ブロックとを含み、輝度生成機能ブロックは、加算される混合信号が複数個単位にまとめられる際に、各単位のサンプリング開始位置が所定の個数分ずらされるとともに、結果的に各単位の混合信号が重複する位置関係を保ってサンプリングが行われること好ましい。これにより、直接的に演算処理を介して三原色RGB の関係に基づいて本来の輝度信号および色差信号に近い信号が得られる。
【００１３】
輝度信号は、算出の際に加算する各混合信号に乗算する係数として色分解手段の各色フィルタの感度比が用いられてもよい。
【００１４】
さらに、画像信号生成手段において、複数個単位には、混合信号が３つで１単位とされ、各単位の混合信号が２個の間隔分ずらされた位置からサンプリングが行われることが望ましい。
【００１５】
画像信号生成手段は、複数の混合した信号電荷がディジタル化されて順次供給される混合信号に対して起点とする混合信号の後に供給される混合信号が複数個ずつサンプルホールドされる信号保持手段と、この信号保持手段の保持した各混合信号に対して係数を個々に乗算して得られる値の総和の平均が行われて三原色RGB をそれぞれ生成されるマトリクス手段と、このマトリクス手段からの三原色RGB に対してガンマ補正を施す補正手段と、この補正手段で補正した三原色RGB を用いて輝度信号および色差信号が生成される色差マトリクス手段とを含むことが好ましい。これにより、混合した信号から三原色RGB を分離し、この分離したRGB データから輝度信号および色差信号を生成することができる。
【００１６】
本発明の固体撮像装置は、信号供給手段から供給される信号を受けて行う予備撮像において得られた信号電荷を混合して、水平電荷転送路に供給された電荷を間引いた状態と同じ状態にして信号電荷を読み出すことにより、実質的な転送レートの向上を図っている。この混合した信号電荷に画像信号生成手段で演算処理を施し水平方向に間引きして混合した信号からの近似または水平方向の所定の範囲内での複数の信号電荷の代表的な三原色RGB の色を得ることにより、予備撮像における輝度信号および色差信号を生成している。
【００１７】
また、本発明は上述の課題を解決するために、光電変換する複数の受光素子を有し、この複数の受光素子の隣接する受光素子同士の位置が互いにずれて２次元配置され、各受光素子に対して被写界からの入射光側に該入射光を色分解する色分解手段が配設され、複数の受光素子から得られた信号電荷を２次元配置における列に対応した垂直方向に転送する垂直電荷転送路と、この垂直電荷転送路に実質的に直交する方向に配され、この垂直電荷転送路に供給された信号電荷を水平駆動信号に応動して転送する水平電荷転送路と、複数の受光素子のそれぞれと垂直電荷転送路との間に配設された転送電極とを有する撮像手段を用意し、複数の受光素子の実質的にすべてから蓄積された信号電荷を読み出す本撮像に先行して行う予備撮像における複数の受光素子からの信号電荷を信号として読み出す信号読出し方法において、転送電極を導通状態にする転送タイミング信号を供給して、複数の受光素子から信号電荷を垂直電荷転送路に読み出させ、この垂直電荷転送路に垂直駆動信号を供給して、読み出された信号電荷を水平電荷転送路まで転送させ、水平電荷転送路に水平駆動信号を供給して、読み出された信号電荷のいくつかを混ぜ合わせ、水平駆動の速度を改善するタイミングの調整をしながら、転送させる転送工程を含むことを特徴とする。
【００１８】
ここで、色分解に原色フィルタが用いられる場合、この原色フィルタの配置パターンは、色G の色フィルタを正方格子状に配され、色G の色フィルタ配置の中央に位置する受光素子に色R または色B を交互に配され、かつ色G を介した対角の色フィルタに同色が配された完全市松パターンが用いられ、この配置パターンの原色フィルタを介して入射光を色分解することが好ましい。
【００１９】
転送工程は、予備の撮像において、用意した水平電荷転送路に形成されたパケットをｎ個の水平駆動単位で動作させる各パケットに供給する水平駆動タイミング信号は、水平駆動単位のうち、ｎ−１個のパケットと１個のパケットが隣接して順次ポテンシャル井戸を形成させる信号を供給し、次にこの１個のパケットに蓄積された信号電荷を６相駆動に相当する駆動を行わせる信号を供給することが望ましい。
【００２０】
転送工程は、水平駆動単位のうち、ｎ−１個のパケットにポテンシャル井戸を形成させ、残る１個のパケットを障壁にするタイミング信号としての第１の水平駆動単位信号を供給し、ｎ−１個のパケットに含まれる読み出した信号電荷の数と同数のパケットが連続したポテンシャル井戸を形成させるタイミング信号としての第２の水平駆動単位信号を供給し、水平駆動単位のパケットに対して２相駆動を行う第３の水平駆動単位信号を供給することが好ましい。これにより、従来の水平駆動時に転送できるパケットに信号電荷を詰め込む飽和状態を回避して読出しの高速化を図っている。
【００２１】
本発明の信号読出し方法は、水平電荷転送路に供給する水平駆動信号のタイミングの調整を行って、読み出された信号電荷のいくつかを混ぜ合わせることにより、水平方向に見た複数の信号電荷を１つで表して間引きした状態と同じ状態を作る。この状態の信号電荷に対する水平駆動の速度を改善するタイミングの調整をしながら、転送させることにより、水平方向の読出し時間の短縮化を図っている。
【００２２】
さらに、本発明は上述の課題を解決するために、光電変換する複数の受光素子を有し、この複数の受光素子の隣接する受光素子同士の位置が互いにずれて２次元配置され、各受光素子に対して被写界からの入射光側に該入射光を色分解する色分解手段が配設され、複数の受光素子から得られた信号電荷を２次元配置における列に対応した垂直方向に転送する垂直電荷転送路と、この垂直電荷転送路に実質的に直交する方向に配され、この垂直電荷転送路に供給された信号電荷を水平駆動信号に応動して転送する水平電荷転送路と、複数の受光素子のそれぞれと垂直電荷転送路との間に配設された転送電極とを有する撮像手段を用意し、複数の受光素子の実質的にすべてから蓄積された信号電荷を読み出す本撮像に先行して行う予備撮像における複数の受光素子から読み出した信号にディジタルの信号処理を施す信号処理方法において、色分解手段にG 正方RB完全市松パターンが用いられている場合、転送電極を導通状態にする転送タイミング信号を供給して、複数の受光素子から信号電荷を前記垂直電荷転送路に読み出させ、この垂直電荷転送路に垂直駆動信号を供給して、読み出された信号電荷を水平電荷転送路まで転送させ、水平電荷転送路に水平駆動信号を供給して、読み出された信号電荷のいくつかを混ぜ合わせるタイミングの調整をしながら、転送させて水平転送する段階ですでに混合された信号電荷を読み出し、この混合した信号電荷をディジタル化して画素データにして供給し、この画素データに基づいてこの撮像の画像における画像成分を表す輝度信号および色差信号を生成する画像信号生成工程を含むことを特徴とする。
【００２３】
ここで、画像生成工程は、得られた画素データを順次複数個ずつ加算し、この加算により三原色RGB で表される所定の輝度信号を生成する輝度生成工程と、供給される画素データのうち、対象の画素データと一つ前の画素データとの差を取って得られる第１の差分データおよびこの対象の画素データと一つ後の画素データとの差を取って得られる第２の差分データにそれぞれ２種類ずつの係数を乗算して得られた値の差から２つの色差信号を生成する色差生成工程とを含み、さらに、輝度生成工程は、複数個単位の画素データを加算して前記輝度信号を生成する際に、各単位の画素データを所定の個数分ずらした関係の位置からサンプリングを行うことが好ましい。
【００２４】
輝度生成工程は、算出の際に加算する各画素データに乗算する係数として色分解する際に適用する各色フィルタの感度比とするとよい。
【００２５】
サンプリングは、画素データを３つずつまとめた複数個単位とし、次の複数個単位のサンプリングに際して各単位の画素データを２個分ずらした位置の画素データから行うことが好ましい。
【００２６】
また、画像信号生成工程は、複数の混合した信号電荷をディジタル化して順次供給される画素データに対して起点とする画素データの後に供給される画素データを複数個ずつサンプルホールドする信号保持工程と、この信号保持工程の保持した各画素データに対して係数を個々に乗算して得られる値の総和の平均を行って三原色RGB をそれぞれ生成するマトリクス工程と、このマトリクス工程で得られた三原色RGB に対してガンマ補正を行う補正工程と、この補正工程で補正した三原色RGB を用いて輝度信号および色差信号を生成する色差マトリクス工程とを含むことが有利である。これにより、混合した画素データの中から三原色RGB の画素データをそれぞれ近似でなく、正確に復元させることができる。
【００２７】
本発明の信号処理方法は、水平方向に間引きすることにより得られる混合した画素データであってもこの画素データに基づいて信号処理を施すことにより、この撮像の画像における画像成分を表す輝度信号および色差信号の近似または所定の範囲内での正確なRGB データの復元に基づく生成を行うことができる。
【００２８】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の一実施例を詳細に説明する。
【００２９】
本発明を適用した実施例のディジタルスチルカメラ10の構成を図１に示す。図１のディジタルスチルカメラ10には、光学レンズ系12、操作部14、システム制御部18、信号発生部20、タイミング信号供給部22、絞り調節機構24、光学ローパスフィルタ26、色分解部28、撮像部30、前処理部32、A/D 変換部34、信号処理部36、圧縮／伸張部38、記録再生部40、およびモニタ42が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus:自動焦点）調節機構が含まれている。これらの機構の調節は、操作部14の一部を成すレリーズシャッタが、たとえば半押し状態にされた際に予備的な被写界の撮像を行って得られる情報に基づいて行われる（予備の撮像とする）。操作信号は、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、後述する信号発生部20、タイミング信号供給部22のタイミング信号発生部22a 、ドライバ部22b を介して駆動信号が供給される。本撮像する場合、得られた情報に応じてピント・露出等が設定された状態で上述したレリーズシャッタを全押しすることにより撮像タイミングをシステム制御部18に供給している。システム制御部18は、この信号を受けて本撮像の撮像および信号読出しといった撮像制御を行う。
【００３０】
操作部14には、図示しないレリーズシャッタやたとえばモニタ画面に表示される項目を選択する機能が備えられている。特に、レリーズシャッタは、複数の段階のそれぞれでカメラ10の操作を行うようにシステムバス16を介して操作信号をシステム制御部18に出力する。また、本実施例において操作部14は、各種の動作・処理を行う際のモードの選択などを行えるように、モニタに表示されるポインティングデバイスも備えている。この場合の操作部14の操作に応じた信号がシステム制御部18に操作信号として供給される。
【００３１】
システム制御部18は、たとえば CPU（Central Processing Unit:中央演算処理装置）を有する。システム制御部18には、ディジタルスチルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部18は、たとえば、ユーザの操作に伴って操作部14から供給される情報とこの ROMの情報を用いて各部の動作を制御する制御信号を生成する。システム制御部18は、生成した制御信号を信号発生部20、あらわに制御信号の供給を示していないがタイミング信号供給部22、前処理部32、A/D 変換部34の他に、システムバス16を介して信号処理部36、圧縮／伸張部38、記録再生部40およびモニタ42にも供給する。特に、システム制御部18は、後述するタイミング信号供給部22に対して予備の撮像と本撮像とで生成するタイミング信号等が異なるように切換制御している。また、システム制御部18は、後述する信号処理部36に対しても特徴を有する各種の制御を行っている。
【００３２】
信号発生部20は、システム制御部18からの制御に応じてシステムクロックを発振器により発生する。信号発生部20は、このシステムクロックをタイミング信号供給部22および信号処理部36に供給する。また、システムクロックは、たとえばシステムバス16を介してシステム制御部18の動作タイミングの基準としても供給される。そして、本実施例で信号発生部20は、信号処理部36に供給される混合された信号電荷を電圧信号に変換された画素データをサンプリングするサンプリング信号が供給されている。また、信号発生部20は、サンプリングした画素データを用いた演算処理を行う際のクロックや信号処理に用いるタイミング信号も信号処理部36に供給している（図６を参照）。
【００３３】
図１に戻って、タイミング信号供給部22には、タイミング信号発生部22a およびドライバ部22b が備えられている。タイミング信号供給部22は、システム制御部18の制御によって予備の撮像と本撮像とで切換制御されることにより、異なるタイミング信号を生成し、撮像部30に出力する。
【００３４】
タイミング信号発生部22a は供給されるシステムクロックを制御信号に基づいて各部を動作させるタイミング信号を生成する回路を含む。生成するタイミング信号は、たとえばトランスファシフトゲートパルス、垂直転送タイミング信号、および水平転送タイミング信号である。これらの信号は予備の撮像と本撮像とで供給のタイミングや周波数を変更することが一般的に行われる。
【００３５】
ただし、本実施例の予備の撮像では、基本的に（特に、水平方向の読出しに関わる）周波数を変更させず、そのまま用いて本撮像の場合と異なるタイミングで信号を供給するように変えている。この供給する信号のタイミングの変更は、水平駆動信号に対して行う。したがって、トランスファシフトゲートパルスおよび垂直転送タイミング信号は本撮像時と変わらないタイミング関係で供給される。このため、本撮像と予備の撮像において供給する信号を共通化できる。撮像部30には、後述するように、G 正方RB完全市松パターンの色フィルタが配置された受光素子から全画素読出しをする。垂直転送路VRには水平転送路HRへの２ライン同時読出しを行うように２ラインずつシフトさせる垂直駆動信号を供給する。すなわち、垂直駆動は、用いる色フィルタ配置の関係から三原色RGB がすべて揃うように２ライン同時読出しに対応した垂直転送タイミング信号をタイミング信号発生部22a で生成し、この生成した垂直転送タイミング信号を用いてドライバ部22b で垂直駆動信号を生成する。この垂直駆動は、本撮像でも同じに使うことを重視して垂直間引きしない場合、単に１ラインずつの転送でも構わない。垂直方向に間引きを行う場合、２ライン同時読出しした際の色関係が保たれるように間引きする。これにより、２ライン同時読出しした際に水平電荷転送路に、色“BGRGBGRGBGRG”の繰返しパターンができる。
【００３６】
水平駆動信号は、生成にあたり、最初に複数個を単位に駆動させる水平駆動単位のパケット数を決めておく。本実施例では、このパケット数n を６個にしている。６個のパケットにそれぞれ供給するタイミング信号は６つの信号を一まとめに扱うことから６つのタイミング信号（または生成する駆動信号）を時間経過に合わせて順次供給する水平駆動単位信号としている。タイミング信号発生部22a は、第１の水平駆動単位信号として水平駆動単位の n-1＝5 パケットに連続してポテンシャル井戸を形成させ、隣接する残る１パケットに障壁を形成させる信号を生成する。この信号がドライバ部22b を介して供給されることにより、隣接する水平駆動単位とは区別できる。タイミング信号発生部22a は、次に第２の水平駆動単位信号として第１の水平駆動単位信号と逆位相関係の信号を生成する。この信号がドライバ部22b を介して供給されることにより、５パケットに含まれている信号電荷は混合され、かつ１パケット内に集められる。この状態にした後、タイミング信号発生部22a はこの水平駆動単位の信号電荷を集約したパケットに対して６相駆動相当の駆動を行わせる第３の水平駆動単位信号を生成する。この信号がドライバ部22b を介して水平転送路HR内の信号電荷がすべて出力されるまで供給すると、信号電荷の読出し時間を短縮化することができる。また、第３の水平駆動単位信号を供給する代わりに第１および第２の水平駆動単位信号を交互に供給するようにしてもタイミング信号をまとめて印加しているので６電極単位に信号電荷を移動させることができる。
【００３７】
また、タイミング信号発生部22a は、上述した一連の転送のうち、部分的に異なる水平転送を行わせる場合として、第１の水平駆動単位信号を生成した後に、水平駆動単位の半分、すなわち３パケットずつポテンシャル井戸と障壁を形成する第４の水平駆動単位信号とこの第４の水平駆動単位信号と逆位相関係にある第５の水平駆動単位信号とを交互に生成し、ドライバ部22b を介して撮像部30に水平転送路HR内の信号電荷がすべて出力されるまで供給する。これにより、従来の水平駆動時に転送できるパケットに信号電荷を詰め込む飽和状態を回避し、２相駆動で信号電荷読出しの高速化を図っている。通常の２相駆動に対して水平駆動単位を１周期で移動させることから、６相駆動に相当する転送が行われる。結果的に、３倍の転送レートで信号電荷読出しが行われることになる。
【００３８】
すなわち、これは、水平転送に際して供給された信号電荷の位置関係に着目すると、水平転送パケットが従来の予備の撮像時や本撮像時の２パケットに比べて３倍の６パケット数を単位に扱うことになる。信号電荷を有する間の転送電極構造がたとえば３倍の電極数を扱うことを意味する。タイミング信号発生部22a はこの電極数に応じて初めの位相駆動を保ちながら、信号電荷が移動するように考慮した水平転送タイミング信号を生成し、供給する。後述する水平転送路HRが６電極構造を用いていることおよび２相駆動を行っていることから６パケットの半分、すなわち３パケットずつ同相にするタイミングが有効である。より具体的な説明は後段で行う。
【００３９】
タイミング信号発生部22a は、基本的にシステム制御部18の制御により撮像のモードに応じてタイミング信号を生成し、この生成したタイミング信号を図１に示すように各部に出力するとともに、ドライバ部22b にも供給する。ドライバ部22b は、各タイミングで供給されるタイミング信号を重畳させて駆動信号を生成している。ドライバ部22b は前述した光学レンズ系12のズーム調節機構およびAF調節機構の他、絞り調節機構24および撮像部30にも駆動信号をそれぞれ供給する。ドライバ部22b もシステム制御部18により直接的に制御させるようにしてもよい。また、システム制御部18はドライバ部22b に対して、たとえば読み出したくない列のフィールドシフトゲートパルスの駆動信号への重畳を禁止するようにしてもよい。
【００４０】
絞り調節機構24は、被写体の撮影において最適な入射光の光束を撮像部30に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構24にもドライバ部22b から駆動信号が供給される。この駆動信号は、前述したシステム制御部18からの制御に応じて動作させるための信号である。この場合、システム制御部18は、図示しないが、撮像部30で光電変換した信号電荷を基にAE（Automatic Exposure :自動露出）処理として絞り・露光時間を算出している。絞り調節機構24には、この算出した値に対応する制御信号が供給されたタイミング信号発生部22a からの信号に応じた駆動信号がドライバ部22b から供給される。
【００４１】
撮像部30は光電変換する撮像素子を光学レンズ系12の光軸と直交する平面が形成されるように配置する。また、撮像素子の入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ26と一体的に色分解する色分解部28の色フィルタCFが一体的に配設される。本実施例では単板方式の色フィルタを用いて撮像する。色フィルタCFの種類等については後段でさらに詳述する。撮像素子には、 CCD（Charge Coupled Device:電荷結合素子）や MOS（Metal Oxide Semiconductor:金属酸化型半導体）タイプがある。撮像部30は、供給される駆動信号に応じて光電変換によって得られた信号電荷を予備の撮像と本撮像とそれぞれのモードに合わせて読み出す。予備の撮像では、複数の画素データ単位に混合した信号電荷を出力する。
【００４２】
本実施例では画素ずらしした、いわゆるハニカム配置していること、および色フィルタパターンに色フィルタR, G, B のうち、色G の色フィルタを正方格子状に配し、これら格子の中心に配する色R, Bの色フィルタを完全市松状に配したパターンを形成している。この用いている色フィルタ配置パターンをG 正方（格子）RB完全市松パターンと呼ぶ（図２を参照）。信号電荷の読出しは、このパターンを考慮して信号電荷の混合や個々の信号電荷の２ライン同時読出し等が行われる。
【００４３】
図１に戻って、前処理部32には、図示しないがCDS （Correlated Double Sampling: 相関二重サンプリング；以下CDS という）部が備えられている。CDS 部は、たとえば、CCD 型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部22a からのタイミング信号によりクランプするクランプ回路と、タイミング信号により信号電荷をホールドするサンプルホールド回路を有する。CDS 部は、ノイズ成分を除去してA/D 変換部34に送る。A/D 変換部34は、供給される信号電荷というアナログ信号の信号レベルを所定の量子化レベルにより量子化してディジタル信号に変換するA/D 変換器を有する。A/D 変換部34は、タイミング信号発生部22a から供給される変換クロック等のタイミング信号により変換したディジタル信号を信号処理部36に出力する。
【００４４】
信号処理部36には、予備撮像処理部36a および本撮像処理部36b が備えられている。予備撮像処理部36a には、複数の画素データを単位に混合した信号電荷をディジタル化した混合画素データが供給される。予備撮像処理部36a には、供給される混合画素データを複数個、たとえば３個ずつ加算するとともに、次の加算に際して２個混合画素データをシフトさせた位置の混合画素データを加算開始位置にして加算処理を行う輝度信号算出機能部360aと、供給される相前後する混合画素データの差分 (R-G), (B-G) を求めて、この求めた値にそれぞれ４つの係数を乗算した値の差分値を、(R-Y), (B-Y)として算出する色差信号算出機能部362aとが備えられている（図３を参照）。より詳細な計算式の関係については後段で説明する。予備撮像処理部36a は、演算処理による直接的なマトリクス処理を行っている。
【００４５】
本撮像処理部36b には、具体的に図示しないが得られた画像をより一層高画質化するためにガンマ補正部360b（図６を参照）、輝度データ生成機能部、輝度データ補間機能部、高解像度プレーン補間機能部、および色差マトリクス処理部362bが含まれる。ガンマ補正部360bには、色の補正を行うガンマ補正回路や自動的にホワイトバランスの調整を行うAWB (Automatic White Balance）回路等がある。特に、ガンマ補正部360bは、 ROM（Read Only Memory）に供給されるディジタル信号とこのディジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。ガンマ補正部360bは、この配置に限定されるものでなく、後段に設けてもよいが、この位置に配することにより、設けるルックアップテーブルの個数が最小で済む。これら一連のデータ補正においてもタイミング信号発生部22a からのタイミング信号に応じて供給される。ガンマ補正部360bは、この処理した補正データを輝度データ生成機能部（図示せず）に出力する。
【００４６】
輝度データ生成機能部はシステム制御部18の制御により動作する。輝度データ生成機能部は、たとえば色の配置を考慮した重み付け演算を行うことにより受光素子の位置する画素での輝度データY を生成し、輝度データ補間機能部に出力する。輝度データ補間機能部は、供給される輝度データY の間にある仮想画素の位置における輝度データの補間生成を行う演算機能部である。輝度データ補間機能部は、プレーンの輝度データYhを生成し、高解像度プレーン補間機能部（図示せず）に供給される。高解像度プレーン補間機能部は、プレーンの輝度データYhとデータ補正した三原色R, G, B の画素データを入力し、これらのデータを用いてR プレーンデータ、G プレーンデータおよびB プレーンデータを生成する演算機能部である。高解像度プレーン補間機能部は、生成した三原色RGB のプレーンデータを色差マトリクス処理部362bに出力する。高解像度プレーン補間機能部には、これらの信号処理して得られた画像データを格納するとともに、非破壊読出し可能なメモリがそれぞれ備えられている。高解像度プレーン補間機能部はプレーン補間に用いる画素データを読み出して画素データの算出を行う。このような処理を経た画素データが色差マトリクス処理部362bに供給される。上述した処理は図示しないが図６に示す色差マトリクス処理部362bは、供給される三原色RGB のそれぞれR プレーンデータ、G プレーンデータおよびB プレーンデータを用いて、画像表示に用いる形式、すなわち輝度データY 、色差データ(R-Y), (B-Y)に変換する。これらの出力形式のデータは、各色に定めた混合割合を乗算し演算することから得られる。混合割合を決める係数は、従来からの値を用いる。この変換した３つのデータに各帯域を含み折返し歪が生じないカットオフ周波数に設定してアンチエリアシング処理を施す。このうち、輝度データY をアパーチャ調整部に送って、輝度データY の周波数の高域を持ち上げる。これにより、画像の輪郭が強調される。このようにして色差マトリクス処理部362bは、輝度データY 、色差データ(R-Y), (B-Y)を圧縮／伸張部38およびモニタ42に出力する。色差マトリクス処理部362bは、モニタ42に撮像した画像をシステムバス16を介して供給する。
【００４７】
このように構成して信号処理部36は、受光素子の画素データを用いて、この際にたとえば、相関の大きい方の画素データから輝度データY および色差データを生成して圧縮／伸張部38およびモニタ42に出力する。
【００４８】
圧縮／伸張部38は、たとえば、直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮／伸張部38は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介して記録再生部40に供給する。また、圧縮／伸張部38は、前述と同様にシステム制御部18の制御により信号処理部36からのデータをスルーさせ、システムバス16を介してモニタ42に供給させてもよい。圧縮／伸張部38が伸張処理を行う場合、逆に記録再生部40から読み出したデータをシステムバス16を介して圧縮／伸張部38に取り込んで処理する。ここで、処理されたデータもモニタ42に供給して表示させる。
【００４９】
記録再生部40は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む（ともに図示せず）。記録媒体には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。モニタ42は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データおよび色差データまたは三原色RGB のデータを画面の大きさを考慮するとともに、タイミング調整して表示する機能を有する。液晶表示のようなモニタを用いてムービー表示する場合、たとえば、予備の撮像において受光素子、すなわち画素を水平方向の画素数に対して1/3 間引きして得られた画像を表示させる。
【００５０】
図１に示すディジタルスチルカメラ10は、このように構成して高画素化した撮像部30を有していながら予備の撮像と本撮像とを切り換えて制御してそれぞれの撮像に応じた適切な撮像を行っている。すなわち、予備の撮像では高速な信号読出しを行って本撮像の露光条件等の設定を迅速に行わせ、本撮像では全画素読出しを行って、画像全体の画質を高める撮影が行われる。
【００５１】
さらに、撮像部30と色分解部28に用いる色フィルタCFについて説明する。図２は、撮像部30の撮像面およびドライバ部22b からの垂直転送駆動信号V1〜V8を印加する位置関係を示している。撮像部30は、これまで述べてきたように、入射する光を光電変換する受光素子PDに隣接した受光素子PDが垂直方向および水平方向にずらされて２次元配置された受光部30a と、この受光部30a の前面に形成された開口部APを迂回するように配置され、かつ受光素子PDから予備の撮像モードおよび本撮像モード時における信号を取り出す電極ELと、この電極ELを介して供給される信号を受光部30a の垂直方向に順次転送する垂直転送レジスタVRと、垂直転送レジスタVRに対して直交する方向、すなわち水平方向に信号を転送する水平転送レジスタHRとを備えている。
【００５２】
垂直転送レジスタVRは、供給される垂直転送駆動信号V1〜V8に応じて信号を転送している。すなわち、垂直転送レジスタは１受光部あたり４電極構造になっている。また、１受光部領域の水平隣接領域は２電極構造で前述したように画素ずらしに対応するように構成されている。すなわち、これに対応して水平転送レジスタHRも２電極構造単位になっている。本実施例の撮像部30に形成された開口部APは、六角形のハニカム形状に形成する。開口形状は、一般的に正方格子であるがこの形状は、感度を向上させるとともに、垂直転送レジスタの幅を同じにして転送効率を低下させないようにする条件を満たせばよい。このことから判るように形状は、多角形でもよく、この他の例としては、正方格子を45°回転させた開口形状として、たとえば、菱形等があり、さらに八角形等にしてもよい。
【００５３】
開口部APは、図２に示すように各開口部APを覆う色フィルタCFの直下にそれぞれ対応して配置される受光素子PDの間隔を各方向毎の画素ピッチPPとするとき、開口部APの配列は、一列毎に垂直方向にあるいは一行毎に水平方向に画素ピッチPP分だけ移動させた２次元配置になっている。四角形以上の多角形を用いる場合、開口形状に合わせて開口部APを隙間なく、隣接する開口部APが稠密な配置に配置にさせてもよい。このような場合、配置する上での画素ピッチPPは半ピッチのずらしでもよい。図２のように六角形の場合、稠密な配置は、水平・垂直方向とも上述した画素ピッチPPの半分だけずらした配置（｜PP｜/2）により形成できる。このように稠密な配置を得るには開口部APの形状に依存する。
【００５４】
次に本実施例の特徴である予備の撮像（レリーズシャッタの半押し操作時）における動作を説明する。図２の撮像部30は、高速読出しを行う予備の撮像時の状態を示している。この図が示す状態に至る前に、まず、受光素子PDすべてから信号電荷を読み出す。この読出しのため、タイミング信号供給部22のタイミング信号発生部22a は垂直駆動信号V1, V3, V5, V7だけに生成したフィールドシフトゲートパルスを供給する。この供給を受けてこのパルスが重畳した垂直駆動信号V1, V3, V5, V7を電極ELに供給することにより、フィールドシフトゲートがオン状態になる。この結果、受光素子PDから本撮像時と同様に全画素の信号電荷が垂直転送路VRに読み出される。読み出された信号電荷は、ドライバ部22b から信号線を介して垂直転送路VRに供給される４相の垂直駆動信号により水平転送路HRに向かって転送される。図２の状態は、垂直転送路VRのパケットを２段転送して水平転送路HRに信号電荷を送った状態である。この色フィルタ配置では、画素ずらししていることから、２ラインずつ信号電荷を読み出す、２ライン同時読出しを行う垂直転送しても異なる色が混じることなく、１水平転送路HRに揃えることができる。このため、水平転送は、２ライン毎に行われる。水平転送を行うにあたり、図２に示すように水平転送路HRには、各パケットに水平駆動信号H1〜H6が供給されている。
【００５５】
２ライン同時読出しを行って水平転送路HRに信号電荷を供給すると、水平転送路HRには、色“B,_,G,-,R_,G,_,B,_,G,・・・”の位置関係に信号電荷が配されることになる。ここで、“_ ”は、信号電荷のない空きパケットを表し、“-"はポテンシャル障壁を表している。水平転送路HRは、実際６電極構造である。
【００５６】
ところで、各パケットに供給される水平駆動信号H1〜H6のうち、図４(a) に示す水平駆動信号H1〜H5（第１の水平駆動単位信号）はすべて同相の信号を供給し、図４(b) に示す水平駆動信号H6（第２の水平駆動単位信号）だけ水平駆動信号H1〜H5と逆相の信号を供給する。この結果、水平転送路HRには、図４(c) に示す３つの信号電荷を１つのポテンシャル井戸に色の区別なく入れる大きなポテンシャル井戸が形成される。この形成によって３つの信号電荷を単位に信号電荷が混合される。このとき、水平駆動信号H6の印加されたパケットに障壁が形成されるので、信号電荷の混合が３つの信号電荷単位に区切られる。
【００５７】
次に、水平駆動信号H1〜H5と水平駆動信号H6との位相関係が逆になることから、ポテンシャル井戸は図４(d) に示すように１つのパケットにまとめられる。これにより、水平転送路HRには、混合した信号電荷が“(BGR)-,-,-,-,-,(GBG),-,-,-,-,-,(RGB),-,-,-,-,-,(GRG),-,-,-,-,-,(BGR),-,-,-・・・ ”という位置関係で混合される。ここで、この信号電荷の配置を見ると、６パケット毎に信号電荷があるので、以後、この１パケットの信号電荷を１周期で６電極分矢印A の方向へ転送させる水平駆動信号を供給する。供給する水平駆動信号（第３の水平駆動単位信号）としては、たとえば、上述した図４(a), (b)を供給してもよい。通常６相駆動では1/6 周期で１電極分、（１パケット分）転送されるから１周期では６電極（パケット）分の転送ができるので、６相駆動と同等の転送レートで転送が行われることがわかる。元々行っていた２相駆動を６相駆動と同等の転送ができることから、読出し周波数を変えることなく転送レートは３倍に上がることになる。また、供給する周波数を上げて６相駆動させても同様の転送を行わせることができる。
【００５８】
この混合した後の信号電荷を転送させる方法は、上述した方法に限定されるものでなく、図４(c) のポテンシャルを形成した後、水平駆動信号H4, H5, H6がレベル「L 」になるようタイミング信号発生部22a で生成した水平タイミング信号をドライバ部22b を介して供給する。これにより、６個のパケットのうち、ポテンシャル井戸と障壁との関係が半分ずつにパケットが分けられる。以後、水平駆動信号H1, H2, H3は水平駆動信号H4, H5, H6と逆相の位相関係で水平駆動信号が供給されると、水平駆動信号が変化するT/2 秒間隔（半周期）毎に連続した３パケットに印加する水平駆動信号が位相反転するので、信号電荷を運ぶパケットを３つずつ矢印A 方向に移動させることになる。
【００５９】
このように水平駆動信号が時間経過にともなって供給されると、ポテンシャルは矢印A 方向に信号電荷を1/2 周期毎に運ぶことから、結果的に、この場合も前述したように読出し周波数の変更を行うことなく、かつ２相駆動を維持しながら、水平駆動信号の供給タイミングを変えるだけで、水平転送路HRに読み出した信号電荷を３倍の転送レートで読み出すことができる。たとえば、表示装置における最大の規格UXGA（Ultra eXtended Graphics Array ）の水平方向に1600画素、垂直方向に1200画素の情報量を有している撮像部では、予備の撮像において読出しがほぼ533 画素程度となり、VGA (Video Graphics Array ) の640 画素に足りない。しかしながら、さらに撮像部30の高画素化が望まれていることから、このような水平方向の間引き高速読出しは今後のことを鑑みて非常に有効な技術である。また、本実施例では受光素子PDすべて全画素読出しする場合を考察したが、これまで行われていたように垂直方向に間引くとより一層読出しを短縮化する個とができる。この場合、垂直駆動信号の供給先を同じにすることが望ましい。これは、後段で行われる信号処理の色に関係するからである。
【００６０】
このようにして予備の撮像モードにおいて水平方向に少なくとも、1/3 間引きを実現させることができ、読出し周波数を変えなくても信号電荷の読出し時間の短縮化を図ることができる。
【００６１】
これに対して、これまで行われていた撮像部30からの信号読出しを比較例として挙げて説明する。ここで、撮像部30の構成は全く同じである（図３を参照）。本実施例とは、信号電荷の水平駆動が相違している。図４(e), (f)と互いに逆位相関係にあるタイミング信号が水平駆動信号の偶数と奇数の駆動信号に供給されている。すなわち、水平駆動信号H1, H3, H5と水平駆動信号H2, H4, H6である。これら２種類の駆動信号が供給されると、水平転送路HRには、図４(g) のポテンシャルおよび障壁が１パケット毎に形成される。位相を1/2 進める駆動を行うと、水平転送路HRは、図４(h) に示す位置に信号電荷を1 パケット分転送する。撮像部30の各受光素子PDからの信号電荷読出しは、水平方向の間引きが行えず、基本的に本撮像と予備の撮像モードで同じある。ただし、これまで予備の撮像において垂直方向の間引きを1/2, 1/4等の間引きを行って信号電荷の読出しにおける時間短縮を図ってきている。タイミング信号発生部22a は1/2 間引き読出しする場合、フィールドシフトゲートパルスを垂直駆動タイミング信号に供給し、ドライバ部22b でこれらの信号を重畳して垂直駆動信号V1, V3またはV5, V7を生成する。信号電荷を受光素子PDから読み出す場合、ドライバ部22b はこの垂直駆動信号V1, V3, または V5, V7 を転送電極EL（フィールドシフトゲート）に印加する。この印加により、フィールドシフトゲートパルスが重畳された垂直駆動信号の印加された転送電極ELを介して1/2 に間引いて信号電荷を読み出す。読み出された信号電荷は、水平転送路HRで予備の撮像でも三原色RGB が要求されるとき、２ライン同時読出しが行われる。単に、ライン毎の読出しを行うと、それぞれ色R, Bと色G だけの水平ライン読出しとなる。このため、三原色RGB が１ラインに揃わないので、信号処理における補間を適切に行えないことになる。そこで行われる２ライン同時読出しした水平転送路HRでの状態が図２の状態である。水平転送路HRの各パケットにはそれぞれ、水平駆動信号H1〜H6が供給されている。水平転送路HRは、１パケット分を障壁に用いて信号電荷を転送する２電極構造を用いている（図２を参照）。
【００６２】
一般的に、水平転送路HRの信号電荷を転送する場合、電極構造に対応して図４(g), (h)に示すように２相駆動が行われる。一方の相の水平駆動信号が水平駆動信号H1, H3, H5であり、他方の水平駆動信号が水平駆動信号H2, H4, H6である。水平駆動信号H1, H3, H5を印加することにより、生成されるポテンシャル井戸は、図４(g) のように形成される。次に、水平駆動信号H2, H4, H6が印加されると、ポテンシャル井戸は，１パケット分だけ移動する( 図４(h) を参照）。このような手順を繰り返して２ライン分の信号電荷が１ライン分として水平転送路HRから読み出される。この信号読出しは水平方向の間引きを何等考慮されていないので高速読出しを行う際に要する時間が本実施例に比べて本撮像と同様に読み出して３倍かかることになる。
【００６３】
なお、仮に奇数列または偶数列の一方を読み出す信号電荷読出しを行う場合、カラー液晶表示に読み出した画素データには使えないが、たとえば測光に色G だけを用いて行っても水平方向に1/2 間引きすることしかできない。この場合、２倍の水平駆動レートにまでしか水平転送レートを上げられない。
【００６４】
ところで、予備の撮像ではこのように画質優先仕様によって読出し所要時間がかかると、操作上問題が生じる。たとえば、予備の撮像が遅いと、撮りたいタイミングの画像のシーンがあっても、本撮像までの撮影条件等を設定できなくなることから極端な場合、撮影待機状態となってしまう。
【００６５】
このように動作させることによって信号電荷を従来に比べて高速に読み出すことを実現しているが、得られる信号電荷は混合した信号電荷である。読み出した信号電荷に前処理部32でノイズ除去等を施し、A/D 変換部34で混合した画素データに変換されている。この変換された画素データを用いてモニタ42に表示しても混色のため良好な画像を得ることができない虞れがある。
【００６６】
そこで、信号処理部36の予備撮像処理部36a にこの混合した画素データを供給する（図１および図３を参照）。予備撮像処理部36a は、システム制御部18によりイネーブル状態にされている。予備撮像処理部36a には、１パケットに混合した画素データが矢印A 方向の順に供給される（図５(a) を参照）。画素データは<>内の番号で各パケットを表す。本実施例の輝度信号算出機能部360aはパケット<2> から３パケット分の画素データを加算して
【００６７】
【数１】
を算出している。同様に、次の輝度データは、<4> を起点に３パケット、すなわち<4>, <5>, <6> を用いている。さらに次の輝度データは、<6> を起点に３パケットから算出する。このように輝度データは３パケットを用いながら、用いた３パケットのうち、２パケット分シフトさせた最後の１パケットを次の輝度データ算出における最初パケットとして用いる。この場合、必ず１パケット分の画素データを重複読出しする関係を用いて算出している（図５(b) を参照）。この読出しにより、式(1) に示すように輝度データは2R+5G+2B＝2(R+B+G)+3G で表す。
【００６８】
なお、三原色RGB それぞれに乗算する係数には、色フィルタの感度比を適用してもよい。
【００６９】
また、色差データは色差信号算出機能部362aで行う。色差信号算出機能部362aにも輝度信号算出機能部360aと同様に混合した画素データが供給されている。色差信号算出機能部362aでは、相前後するパケットの差分を用いて(R-G), (B-G)を算出する。差分(R-G) は式(2a), (2b)
【００７０】
【数２】
(R-G)12 ＝<1> −<2> ・・・(2a)
(R-G)32 ＝<3> −<2> ・・・(2b)
に示すように３パケットの両端に位置するデータのそれぞれから真中のデータを引いて求めている。換言すると、差分（B-G)は２パケット分シフトさせながら、すなわち差分(R-G) の算出に用いたパケットと１つ分重複させて、３パケットの両端に位置するデータのそれぞれから真中のデータを引いて求めている。これが式(3a), (3b)
【００７１】
【数３】
(B-G)34 ＝<3> −<4> ・・・(3a)
(B-G)54 ＝<5> −<4> ・・・(3b)
である。添字は用いたパケットを表している。
【００７２】
色差データ(R-Y), (B-Y)は、求めた差分データに係数を乗算した値の差分から算出する。この計算式は、式(4a), (4b)
【００７３】
【数４】
R-Y ＝0.7(R-G)12−0.11(B-G)34 ・・・(4a)
B-Y ＝0.89(B-G)34 −0.30(R-G)12 ・・・(4b)
から算出できる。
【００７４】
このように水平方向に混合することにより水平間引きして高速に読み出すとともに、信号電荷を画素データに変換して、ほぼ直接的に供給された画素データに基づいて算出した近似的な輝度データおよび色差データが信号処理部36からモニタ42に出力される。これらの信号を用いてモニタ42に表示させても混合した画素データをそのままモニタ表示する場合よりも高画質に画像表示させることができる。
【００７５】
この水平方向に混合して水平方向の間引きを行うことにより、信号電荷の読出しを高速化を行っている。混色した画素データを用いてもより一層の高画質な画像を表示させるように三原色RGB を正確に得る予備撮像処理部36a の他の実施例について構成および動作を説明する。混合した画素データは、図５(a) に示した関係で供給されている。この場合、予備撮像信号処理部36a には、サンプル保持部364a、マトリクス部366a、ガンマ補正部360bおよび色差マトリクス部362bが備えられている。この中で、ガンマ補正部360bおよび色差マトリクス部362bは、本撮像処理部36b の構成を共通化して用いる。これにより、構成の簡略化を図る。このために、図示しないがマトリクス部366aとガンマ補正部360bとの間、およびガンマ補正部360bと色差マトリクス部362bとの間に本撮像と予備の撮像で供給される画素データを切り換える選択スイッチが設けられている。予備撮像処理部36a は選択スイッチも含めてシステム制御部18により制御されている。
【００７６】
サンプル保持部364aには、供給されるパケットを連続３つずつの単位でサンプリングするサンプルホールド回路3640a, 3642a, 3644a が含まれる。サンプル保持部364aは、たとえば、図４(a) のパケット<1> を起点にサンプリングを開始する。タイミングは、信号発生部20から供給されている。サンプルホールド回路3640a, 3642a, 3644a は、それぞれ、連続３パケットのうち、３番目、１番目、２番目に供給される画素データをサンプルホールドする。サンプルホールド回路3640a, 3642a, 3644a にサンプルホールドした画素データは、それぞれ三刺激値X, Y, Z という変数で表す。サンプル保持部364aは、連続する３パケット単位に保持した画素データをマトリクス部366aに出力する。
【００７７】
マトリクス部366aは、供給される三刺激値X, Y, Z に基づいて三原色RGB を求めるマトリクス演算が行われるRGB マトリクス処理機能を有している。演算は後述する計算式に基づいて行う。算出したRGB データは、ガンマ補正部360bに供給される。供給されたRGB データは、ガンマ補正部360bの、たとえばルックアップテーブルに書き込まれているデータにより補正されて色差マトリクス部362bに供給される。
【００７８】
色差マトリクス部362bは、補正したRGB データに基づいて輝度データ Y, 色差(R-Y), (B-Y)を生成する回路または演算機能部を有している。マトリクス部366a、ガンマ補正部360bおよび色差マトリクス部362bには信号発生部20からの信号が供給されている。これらの各部は、システム制御部18の制御を受けて、この供給される信号のタイミングに応じて動作している。
【００７９】
なお、本撮像処理部36b が、ガンマ補正部360bの処理後もRGB データをそのまま供給して高域輝度信号YHを生成させる動作を行っている場合、色差マトリクス部362bからの輝度データY を低域輝度信号YLとして、図示しないが両信号を合成させるようにして帯域の延びた輝度信号Y を生成することができる。
【００８０】
このように構成して混合した画素データから三原色RGB データを正確に復元しこれらのデータに基づいて画像データ（輝度・色差）を生成してモニタ42に出力させることができる。
【００８１】
この構成に基づく動作を簡単に説明する。信号処理部36の予備撮像処理部36a ではサンプル保持部364aが連続３パケットずつサンプリングホールドする。サンプルホールドする混合した画素データと三刺激値X, Y, Z との関係は、式(5a), (5b), (5c)
【００８２】
【数５】
X ＝R ＋2G ・・・(5a)
Y ＝R ＋G ＋B ・・・(5b)
Z ＝B ＋2G ・・・(5c)
である。これらがマトリクス部366aに供給されると、三原色RGB は、式(6a), (6b), (6c)
【００８３】
【数６】
R ＝(X＋2Y−2Z) ／3 ・・・(6a)
G ＝(X＋Z −Y)／3 ・・・(6b)
B ＝(Z＋2Y−2X) ／3 ・・・(6c)
により得られる。算出した三原色RGB はガンマ補正部360bで補正が施される。さらに補正したRGB データが色差マトリクス部362bで三原色RGB データに対して通常マトリクス変換に用いる係数を用いて輝度データY 、および色差データ(R-Y), (B-Y)を容易に生成する。
【００８４】
なお、本実施例では、G 正方RB完全市松パターンを用いて説明したが、色パターンに限定されるものでなく、前述した水平転送路HRにおける色の繰返しパターンが得られる色フィルタ配置であれば、たとえば、縦ストライプのパターンが色RGBGRBG・・・や補色ストライプの色フィルタを用いても同様な効果を奏することができる。
【００８５】
このように動作させることにより、信号電荷を混合して水平間引き読出しして読出し時間の短縮化を図るとともに、混合した画素データから３つの信号電荷における三原色RGB データを求め、得られた三原色RGB データを基に輝度データY 、色差データ(R-Y), (B-Y)が得られるので、高速に信号を読み出すことによる画質劣化を避けることができる。
【００８６】
以上のように構成することにより、いわゆるハニカム配置のディジタルスチルカメラ10において、通常の信号電荷読出しと同様に信号電荷を受光素子から読み出し、垂直転送路を垂直転送して、水平転送路での転送において信号電荷の色を考慮せず、混合した信号電荷を出力することで、信号電荷の読出しを従来の読出しに比べて時間短縮することができる。具体的には、G 正方RB完全市松パターンでは読み出した信号電荷を水平転送する際に５つのパケットが同じポテンシャル（井戸）を形成するように水平駆動信号を供給することによって、読出し周波数を変えることなく、２相駆動でありながら、６相駆動と同等の読み出しを行うことができる。このとき、水平転送レートは３倍にすることができる。このような駆動による信号読出しを行うことによって高画素化した撮像部30を用いても予備の撮像の影響により本撮像のタイミングを外すような操作上の問題等を回避することができるようになる。
【００８７】
そして、読み出した画素データが混色を示しているので、混色による画像の品質低下を改善するように信号処理を施して近似または所定の範囲内での正確な信号の復元することにより、モニタに供給するムービー表示の画像を高画質に提供できる。したがって、高画素化された撮像部を有しても予備の撮像時に高画質な画像を迅速に提供できるので、ユーザにカメラ操作性の違和感を与えることなく操作させることができる。
【００８８】
【発明の効果】
このように本発明の固体撮像装置によれば、信号供給手段から供給される信号を受けて行う予備撮像において得られた信号電荷を混合して、水平電荷転送路に供給された電荷を間引いた状態と同じ状態にして信号電荷を読み出すことにより、実質的な転送レートの向上を図っている。具体的には信号供給手段からタイミング調整された水平駆動信号により間引きして得られた画素データをそのままの周波数で読み出して、画素の送出レートを３倍以上にして出力しているので、高画素化した撮像手段を用いても予備の撮像の影響により本撮像のタイミングを外すような操作上の問題等を回避することができる。そして、この混合した信号電荷に基づいてディジタル化されたデータに画像信号生成手段で演算処理を施し水平方向に間引きして混合した信号からの近似または水平方向の所定の範囲内での複数の信号電荷の代表的な三原色RGB の色を得て予備撮像における輝度信号および色差信号を生成して信号電荷読出しの時間短縮化および色の改善を近似または所定の範囲内での正確な信号の復元によって行うことにより、混色で信号電荷を読み出しても高画質な画像を提供することができる。これにより、高画質な画像およびユーザに違和感を与えることのない操作性の両方を提供することができる。
【００８９】
また、本発明の信号読出し方法によれば、水平電荷転送路に供給する水平駆動信号のタイミングの調整を行って、読み出された信号電荷のいくつかを混ぜ合わせることにより、水平方向に見た複数の信号電荷を１つで表して間引きした状態と同じ状態を作って、この状態の信号電荷に対する水平駆動の速度を改善するタイミングの調整をしながら、転送させて、読出し周波数を変えることなく、タイミングを調整するだけで信号電荷の水平方向の読出し時間の短縮化を図ることができる。これにより、高画素化した撮像手段を用いても予備の撮像の影響により本撮像のタイミングを外すような操作上の問題等を回避することができる。
【００９０】
さらに、本発明の信号処理方法によれば、水平方向に間引きすることにより読出し時間の短縮化を図り、間引きに応じて得られる画素データがたとえ混合した画素データであっても、この画素データに基づいて信号処理を施すことにより、この撮像の画像における画像成分を表す輝度信号および色差信号を近似または所定の範囲内での正確な信号の復元を行うことができる。これにより、高画質な画像およびユーザに違和感を与えることのない操作性の両方を提供することができる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置を適用したディジタルスチルカメラの概略的な構成を示すブロック図である。
【図２】図１のディジタルスチルカメラにおける撮像部を入射光側から見た撮像平面を示すとともに、撮像における水平転送の信号電荷の位置関係および水平駆動信号の供給位置の関係を示す模式図である。
【図３】図１の信号処理部における予備撮像処理部の概略的な構成を示すブロック図である。
【図４】図２の撮像部における本実施例と従来の水平転送路に供給する水平駆動信号の位相および水平駆動信号により生成されるポテンシャル井戸の関係を比較するタイミングチャートである。
【図５】図１の予備撮像処理部における直接的な輝度データおよび色差データの演算の手順を示すタイミングチャートである。
【図６】図１の予備撮像処理部の他の実施例における概略的な構成を示すブロック図である。
【符号の説明】
10 ディジタルスチルカメラ
12 光学レンズ
14 操作部
18 システム制御部
22 タイミング信号供給部
30 撮像部
32 前処理部
34 A/D 変換部
36 信号処理部
38 圧縮／伸張部
42 モニタ
22a タイミング信号発生部
22b ドライバ部
36a 予備撮像処理部
【発明の属する技術分野】
本発明は、固体撮像装置および信号読出し方法に関し、たとえば、数百万を越えるような画素数の高画素化した撮像部を有するディジタルカメラや画像入力装置等の、特に、予備の撮像モードに適用して好適なものである。
【０００２】
【従来の技術】
近年、銀塩カメラの画質を目指して、電気的に被写体の画像を撮影するディジタルカメラが画素数を一層高める技術が各種提案されてきている。たとえば、特開平10-136391 号公報には、画像の空間サンプリングの最適化をもたらし、受光効率の向上を図るように画素をずらして配置するとともに、モアレ等の偽信号を抑圧する固体撮像装置が提案されている。
【０００３】
【発明が解決しようとする課題】
ところで、高画質を目的として撮像部に高画素化した画素アレイを用いたディジタルカメラ等においては、本撮像（すなわち、スチル撮像）を行う前に、撮像部からAE/AF (Automatic Exposure/Automatic Focusing）動作や液晶画面に画像を表示させるムービー駆動を行っている。この場合、画素アレイの高画素化に伴って撮像により得られた信号電荷を読み出す時間が以前よりも要してしまう。これはフレームレートに問題を生じることを意味している。ここで、高画素とは、たとえば、百万画素以上の画素数、いわゆるメガピクセルのことを示している。
【０００４】
この問題の対策として読出しフレームレートを上げるために撮像部で得られた信号電荷を垂直方向に間引き読出しする方法が提案されている。具体的には、たとえば150 万画素（1280×1024）を全画素読出しする際の駆動周波数CLK が12.2725MHzのとき、この駆動周波数CLK を基に１水平同期期間（1H）と１垂直同期期間（1V）は、それぞれ、1H=1560CLK, 1V=1050Hとなる。すなわち、フレームレートは133msec ＝1/7.5secである。垂直方向に1/2 間引きすると、1Hは同じ時間を要して1V=525H であるから、フレームレートは66.7msec=1/15secになる。さらに、垂直方向に1/4 間引きしても1V=262.5H であるから、33.4msec=1/30sを要することがわかる。
【０００５】
ここで、150 万画素を全画素読出しして従来の方式の画像サイズ、すなわち（640 ×480 ) をムービー動作で全画素読出し表示を行う場合、上述した条件で水平・垂直方向にともに1/2 の画素間引きを行う。この結果、画素間引きしても水平方向の画素は640 画素、垂直方向の画素（走査線）は525 本である。また、垂直方向に1/4 間引きする場合、水平方向には1/2 間引きしか行われない。これにより、垂直方向の本数が262.5 本になることから、フレームレートの改善が図られる。しかし、この垂直間引きは480 本に足りないので、所望の本数に合わせるため垂直方向には補間処理が行われる。一方、水平方向について画素は1280画素すべて読み出して後段の信号処理において間引き処理を行って640 画素に合わせている。このことからも明らかなように画素ずらし配置がなされた高画素を有する撮像部からの信号電荷の読出しにおいてフレームレートの改善を厳密に考慮した水平方向に対する画素間引き読出しは行われていない。この結果、本撮像のタイミングに間に合わなくなってしまう虞も生じてくる。
【０００６】
本発明はこのような従来技術の欠点を解消し、高画素によって高画質化しても予備的な信号読出しの出力レートを改善し、本撮像に影響することなく行うことのできる固体撮像装置および信号読出し方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、光電変換する複数の受光素子を有し、この複数の受光素子の隣接する受光素子同士の位置が互いにずれて２次元配置され、各受光素子に対して被写界からの入射光側にこの入射光を色分解する色分解手段が配設された撮像手段と、この撮像手段から複数の受光素子に蓄積された信号電荷に応じた信号を読み出し、この読み出された信号にディジタル処理を施す信号処理手段とを含む固体撮像装置において、撮像手段は、複数の受光素子から得られた信号電荷を２次元配置における列に対応した垂直方向に転送する垂直電荷転送路と、この垂直電荷転送路に実質的に直交する方向に配され、この垂直電荷転送路に供給された信号電荷を水平駆動信号に応動して転送する水平電荷転送路と、複数の受光素子のそれぞれと垂直電荷転送路との間に配設された転送電極とを含み、この装置はさらに、転送電極に複数の受光素子からの信号電荷を垂直電荷転送路に読み出す転送タイミング信号を供給して信号電荷を読み出させ、垂直電荷転送路に供給された垂直駆動信号に応動してこの垂直電荷転送路の信号電荷を水平転送路まで転送させ、水平電荷転送路に供給された水平駆動信号に応動してこの水平電荷転送路の信号電荷を転送させる場合、複数の受光素子の実質的にすべてから蓄積された信号電荷を読み出す本撮像とこの本撮像に先行する予備撮像とに応じて信号電荷を転送させる信号供給手段と、この信号供給手段から供給される信号を受けて行われる本撮像と予備撮像のうち、予備撮像において得られた信号電荷が混合され、さらに混合された信号電荷に演算処理を施し予備撮像における輝度信号および色差信号が生成される予備の画像信号生成手段とを含むことを特徴とする。
【０００８】
ここで、色分解手段には、原色フィルタが用いられる場合、この原色フィルタの配置パターンとして色G の色フィルタを正方格子状に配され、色G の色フィルタ配置の中央に位置する受光素子に色R または色B を交互に配され、かつ色G を介した対角に位置する色フィルタが同色にされた完全市松パターンが用いられることが好ましい。これにより、２ライン同時読出しした際に水平電荷転送路に、色“BGRGBGRGBGRG”の繰返しパターンができる。
【０００９】
信号供給手段は、予備撮像において、水平転送路に形成されたパケットをｎ個の水平駆動単位で動作させ、この水平駆動単位の各パケットに供給される水平駆動タイミング信号が生成される際に、水平駆動単位のうち、ｎ−１個のパケットと１個のパケットとが順次隣接した位置に信号電荷を蓄積するポテンシャル井戸が形成させる水平駆動タイミング信号の生成を行わせるとともに、この１個のパケットの転送用に６相駆動に相当する駆動をもたらす水平駆動タイミング信号を生成させることが好ましい。
【００１０】
信号供給手段は、水平駆動単位のうち、ｎ−１個のパケットにポテンシャル井戸を形成させ、隣接した残る１個のパケットに障壁が形成されるタイミング信号としての第１の水平駆動単位信号と、ｎ−１個のパケットに含まれる読み出した信号電荷の数と同数のパケットに連続したポテンシャル井戸を形成させるタイミング信号としての第２の水平駆動単位信号と、水平駆動単位のパケットに対して２相駆動を行う第３の水平駆動単位信号とが生成され、時間経過に応じて順次出力されることが望ましい。
【００１１】
これらの関係による動作を簡単に説明すると、たとえば、通常信号電荷の混合を避けるとともに、簡単な転送が行われるため２電極構造が用いられ、２相駆動されることが多い。n=6 の場合、５個のパケットには３つの信号電荷が入っているが、この３つの信号電荷を仕切る障壁がないので、信号電荷は混合する。次のタイミングでは、５パケット分に含まれる信号電荷が１つのパケットにまとめられる。このパケットに水平駆動単位でまとめられた信号電荷が転送させられると従来の水平における２相駆動に対して６相駆動に同等の転送が行われることになるので転送レートを３倍に向上させることができる。
【００１２】
また、画像信号生成手段は、画像信号生成手段は、複数の混合した信号電荷がディジタル化されて順次供給される混合信号が複数個ずつ加算され、この加算により三原色RGB で表される所定の輝度信号が生成される輝度生成機能ブロックと、供給される混合信号のうち、対象の混合信号と一つ前の混合信号との差を取って得られる第１の成分信号および該対象の混合信号と一つ後の混合信号との差を取って得られる第２の成分信号にそれぞれ２種類ずつの係数を乗算させて得られた値の差から２つの色差信号が生成される色差生成機能ブロックとを含み、輝度生成機能ブロックは、加算される混合信号が複数個単位にまとめられる際に、各単位のサンプリング開始位置が所定の個数分ずらされるとともに、結果的に各単位の混合信号が重複する位置関係を保ってサンプリングが行われること好ましい。これにより、直接的に演算処理を介して三原色RGB の関係に基づいて本来の輝度信号および色差信号に近い信号が得られる。
【００１３】
輝度信号は、算出の際に加算する各混合信号に乗算する係数として色分解手段の各色フィルタの感度比が用いられてもよい。
【００１４】
さらに、画像信号生成手段において、複数個単位には、混合信号が３つで１単位とされ、各単位の混合信号が２個の間隔分ずらされた位置からサンプリングが行われることが望ましい。
【００１５】
画像信号生成手段は、複数の混合した信号電荷がディジタル化されて順次供給される混合信号に対して起点とする混合信号の後に供給される混合信号が複数個ずつサンプルホールドされる信号保持手段と、この信号保持手段の保持した各混合信号に対して係数を個々に乗算して得られる値の総和の平均が行われて三原色RGB をそれぞれ生成されるマトリクス手段と、このマトリクス手段からの三原色RGB に対してガンマ補正を施す補正手段と、この補正手段で補正した三原色RGB を用いて輝度信号および色差信号が生成される色差マトリクス手段とを含むことが好ましい。これにより、混合した信号から三原色RGB を分離し、この分離したRGB データから輝度信号および色差信号を生成することができる。
【００１６】
本発明の固体撮像装置は、信号供給手段から供給される信号を受けて行う予備撮像において得られた信号電荷を混合して、水平電荷転送路に供給された電荷を間引いた状態と同じ状態にして信号電荷を読み出すことにより、実質的な転送レートの向上を図っている。この混合した信号電荷に画像信号生成手段で演算処理を施し水平方向に間引きして混合した信号からの近似または水平方向の所定の範囲内での複数の信号電荷の代表的な三原色RGB の色を得ることにより、予備撮像における輝度信号および色差信号を生成している。
【００１７】
また、本発明は上述の課題を解決するために、光電変換する複数の受光素子を有し、この複数の受光素子の隣接する受光素子同士の位置が互いにずれて２次元配置され、各受光素子に対して被写界からの入射光側に該入射光を色分解する色分解手段が配設され、複数の受光素子から得られた信号電荷を２次元配置における列に対応した垂直方向に転送する垂直電荷転送路と、この垂直電荷転送路に実質的に直交する方向に配され、この垂直電荷転送路に供給された信号電荷を水平駆動信号に応動して転送する水平電荷転送路と、複数の受光素子のそれぞれと垂直電荷転送路との間に配設された転送電極とを有する撮像手段を用意し、複数の受光素子の実質的にすべてから蓄積された信号電荷を読み出す本撮像に先行して行う予備撮像における複数の受光素子からの信号電荷を信号として読み出す信号読出し方法において、転送電極を導通状態にする転送タイミング信号を供給して、複数の受光素子から信号電荷を垂直電荷転送路に読み出させ、この垂直電荷転送路に垂直駆動信号を供給して、読み出された信号電荷を水平電荷転送路まで転送させ、水平電荷転送路に水平駆動信号を供給して、読み出された信号電荷のいくつかを混ぜ合わせ、水平駆動の速度を改善するタイミングの調整をしながら、転送させる転送工程を含むことを特徴とする。
【００１８】
ここで、色分解に原色フィルタが用いられる場合、この原色フィルタの配置パターンは、色G の色フィルタを正方格子状に配され、色G の色フィルタ配置の中央に位置する受光素子に色R または色B を交互に配され、かつ色G を介した対角の色フィルタに同色が配された完全市松パターンが用いられ、この配置パターンの原色フィルタを介して入射光を色分解することが好ましい。
【００１９】
転送工程は、予備の撮像において、用意した水平電荷転送路に形成されたパケットをｎ個の水平駆動単位で動作させる各パケットに供給する水平駆動タイミング信号は、水平駆動単位のうち、ｎ−１個のパケットと１個のパケットが隣接して順次ポテンシャル井戸を形成させる信号を供給し、次にこの１個のパケットに蓄積された信号電荷を６相駆動に相当する駆動を行わせる信号を供給することが望ましい。
【００２０】
転送工程は、水平駆動単位のうち、ｎ−１個のパケットにポテンシャル井戸を形成させ、残る１個のパケットを障壁にするタイミング信号としての第１の水平駆動単位信号を供給し、ｎ−１個のパケットに含まれる読み出した信号電荷の数と同数のパケットが連続したポテンシャル井戸を形成させるタイミング信号としての第２の水平駆動単位信号を供給し、水平駆動単位のパケットに対して２相駆動を行う第３の水平駆動単位信号を供給することが好ましい。これにより、従来の水平駆動時に転送できるパケットに信号電荷を詰め込む飽和状態を回避して読出しの高速化を図っている。
【００２１】
本発明の信号読出し方法は、水平電荷転送路に供給する水平駆動信号のタイミングの調整を行って、読み出された信号電荷のいくつかを混ぜ合わせることにより、水平方向に見た複数の信号電荷を１つで表して間引きした状態と同じ状態を作る。この状態の信号電荷に対する水平駆動の速度を改善するタイミングの調整をしながら、転送させることにより、水平方向の読出し時間の短縮化を図っている。
【００２２】
さらに、本発明は上述の課題を解決するために、光電変換する複数の受光素子を有し、この複数の受光素子の隣接する受光素子同士の位置が互いにずれて２次元配置され、各受光素子に対して被写界からの入射光側に該入射光を色分解する色分解手段が配設され、複数の受光素子から得られた信号電荷を２次元配置における列に対応した垂直方向に転送する垂直電荷転送路と、この垂直電荷転送路に実質的に直交する方向に配され、この垂直電荷転送路に供給された信号電荷を水平駆動信号に応動して転送する水平電荷転送路と、複数の受光素子のそれぞれと垂直電荷転送路との間に配設された転送電極とを有する撮像手段を用意し、複数の受光素子の実質的にすべてから蓄積された信号電荷を読み出す本撮像に先行して行う予備撮像における複数の受光素子から読み出した信号にディジタルの信号処理を施す信号処理方法において、色分解手段にG 正方RB完全市松パターンが用いられている場合、転送電極を導通状態にする転送タイミング信号を供給して、複数の受光素子から信号電荷を前記垂直電荷転送路に読み出させ、この垂直電荷転送路に垂直駆動信号を供給して、読み出された信号電荷を水平電荷転送路まで転送させ、水平電荷転送路に水平駆動信号を供給して、読み出された信号電荷のいくつかを混ぜ合わせるタイミングの調整をしながら、転送させて水平転送する段階ですでに混合された信号電荷を読み出し、この混合した信号電荷をディジタル化して画素データにして供給し、この画素データに基づいてこの撮像の画像における画像成分を表す輝度信号および色差信号を生成する画像信号生成工程を含むことを特徴とする。
【００２３】
ここで、画像生成工程は、得られた画素データを順次複数個ずつ加算し、この加算により三原色RGB で表される所定の輝度信号を生成する輝度生成工程と、供給される画素データのうち、対象の画素データと一つ前の画素データとの差を取って得られる第１の差分データおよびこの対象の画素データと一つ後の画素データとの差を取って得られる第２の差分データにそれぞれ２種類ずつの係数を乗算して得られた値の差から２つの色差信号を生成する色差生成工程とを含み、さらに、輝度生成工程は、複数個単位の画素データを加算して前記輝度信号を生成する際に、各単位の画素データを所定の個数分ずらした関係の位置からサンプリングを行うことが好ましい。
【００２４】
輝度生成工程は、算出の際に加算する各画素データに乗算する係数として色分解する際に適用する各色フィルタの感度比とするとよい。
【００２５】
サンプリングは、画素データを３つずつまとめた複数個単位とし、次の複数個単位のサンプリングに際して各単位の画素データを２個分ずらした位置の画素データから行うことが好ましい。
【００２６】
また、画像信号生成工程は、複数の混合した信号電荷をディジタル化して順次供給される画素データに対して起点とする画素データの後に供給される画素データを複数個ずつサンプルホールドする信号保持工程と、この信号保持工程の保持した各画素データに対して係数を個々に乗算して得られる値の総和の平均を行って三原色RGB をそれぞれ生成するマトリクス工程と、このマトリクス工程で得られた三原色RGB に対してガンマ補正を行う補正工程と、この補正工程で補正した三原色RGB を用いて輝度信号および色差信号を生成する色差マトリクス工程とを含むことが有利である。これにより、混合した画素データの中から三原色RGB の画素データをそれぞれ近似でなく、正確に復元させることができる。
【００２７】
本発明の信号処理方法は、水平方向に間引きすることにより得られる混合した画素データであってもこの画素データに基づいて信号処理を施すことにより、この撮像の画像における画像成分を表す輝度信号および色差信号の近似または所定の範囲内での正確なRGB データの復元に基づく生成を行うことができる。
【００２８】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の一実施例を詳細に説明する。
【００２９】
本発明を適用した実施例のディジタルスチルカメラ10の構成を図１に示す。図１のディジタルスチルカメラ10には、光学レンズ系12、操作部14、システム制御部18、信号発生部20、タイミング信号供給部22、絞り調節機構24、光学ローパスフィルタ26、色分解部28、撮像部30、前処理部32、A/D 変換部34、信号処理部36、圧縮／伸張部38、記録再生部40、およびモニタ42が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus:自動焦点）調節機構が含まれている。これらの機構の調節は、操作部14の一部を成すレリーズシャッタが、たとえば半押し状態にされた際に予備的な被写界の撮像を行って得られる情報に基づいて行われる（予備の撮像とする）。操作信号は、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、後述する信号発生部20、タイミング信号供給部22のタイミング信号発生部22a 、ドライバ部22b を介して駆動信号が供給される。本撮像する場合、得られた情報に応じてピント・露出等が設定された状態で上述したレリーズシャッタを全押しすることにより撮像タイミングをシステム制御部18に供給している。システム制御部18は、この信号を受けて本撮像の撮像および信号読出しといった撮像制御を行う。
【００３０】
操作部14には、図示しないレリーズシャッタやたとえばモニタ画面に表示される項目を選択する機能が備えられている。特に、レリーズシャッタは、複数の段階のそれぞれでカメラ10の操作を行うようにシステムバス16を介して操作信号をシステム制御部18に出力する。また、本実施例において操作部14は、各種の動作・処理を行う際のモードの選択などを行えるように、モニタに表示されるポインティングデバイスも備えている。この場合の操作部14の操作に応じた信号がシステム制御部18に操作信号として供給される。
【００３１】
システム制御部18は、たとえば CPU（Central Processing Unit:中央演算処理装置）を有する。システム制御部18には、ディジタルスチルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部18は、たとえば、ユーザの操作に伴って操作部14から供給される情報とこの ROMの情報を用いて各部の動作を制御する制御信号を生成する。システム制御部18は、生成した制御信号を信号発生部20、あらわに制御信号の供給を示していないがタイミング信号供給部22、前処理部32、A/D 変換部34の他に、システムバス16を介して信号処理部36、圧縮／伸張部38、記録再生部40およびモニタ42にも供給する。特に、システム制御部18は、後述するタイミング信号供給部22に対して予備の撮像と本撮像とで生成するタイミング信号等が異なるように切換制御している。また、システム制御部18は、後述する信号処理部36に対しても特徴を有する各種の制御を行っている。
【００３２】
信号発生部20は、システム制御部18からの制御に応じてシステムクロックを発振器により発生する。信号発生部20は、このシステムクロックをタイミング信号供給部22および信号処理部36に供給する。また、システムクロックは、たとえばシステムバス16を介してシステム制御部18の動作タイミングの基準としても供給される。そして、本実施例で信号発生部20は、信号処理部36に供給される混合された信号電荷を電圧信号に変換された画素データをサンプリングするサンプリング信号が供給されている。また、信号発生部20は、サンプリングした画素データを用いた演算処理を行う際のクロックや信号処理に用いるタイミング信号も信号処理部36に供給している（図６を参照）。
【００３３】
図１に戻って、タイミング信号供給部22には、タイミング信号発生部22a およびドライバ部22b が備えられている。タイミング信号供給部22は、システム制御部18の制御によって予備の撮像と本撮像とで切換制御されることにより、異なるタイミング信号を生成し、撮像部30に出力する。
【００３４】
タイミング信号発生部22a は供給されるシステムクロックを制御信号に基づいて各部を動作させるタイミング信号を生成する回路を含む。生成するタイミング信号は、たとえばトランスファシフトゲートパルス、垂直転送タイミング信号、および水平転送タイミング信号である。これらの信号は予備の撮像と本撮像とで供給のタイミングや周波数を変更することが一般的に行われる。
【００３５】
ただし、本実施例の予備の撮像では、基本的に（特に、水平方向の読出しに関わる）周波数を変更させず、そのまま用いて本撮像の場合と異なるタイミングで信号を供給するように変えている。この供給する信号のタイミングの変更は、水平駆動信号に対して行う。したがって、トランスファシフトゲートパルスおよび垂直転送タイミング信号は本撮像時と変わらないタイミング関係で供給される。このため、本撮像と予備の撮像において供給する信号を共通化できる。撮像部30には、後述するように、G 正方RB完全市松パターンの色フィルタが配置された受光素子から全画素読出しをする。垂直転送路VRには水平転送路HRへの２ライン同時読出しを行うように２ラインずつシフトさせる垂直駆動信号を供給する。すなわち、垂直駆動は、用いる色フィルタ配置の関係から三原色RGB がすべて揃うように２ライン同時読出しに対応した垂直転送タイミング信号をタイミング信号発生部22a で生成し、この生成した垂直転送タイミング信号を用いてドライバ部22b で垂直駆動信号を生成する。この垂直駆動は、本撮像でも同じに使うことを重視して垂直間引きしない場合、単に１ラインずつの転送でも構わない。垂直方向に間引きを行う場合、２ライン同時読出しした際の色関係が保たれるように間引きする。これにより、２ライン同時読出しした際に水平電荷転送路に、色“BGRGBGRGBGRG”の繰返しパターンができる。
【００３６】
水平駆動信号は、生成にあたり、最初に複数個を単位に駆動させる水平駆動単位のパケット数を決めておく。本実施例では、このパケット数n を６個にしている。６個のパケットにそれぞれ供給するタイミング信号は６つの信号を一まとめに扱うことから６つのタイミング信号（または生成する駆動信号）を時間経過に合わせて順次供給する水平駆動単位信号としている。タイミング信号発生部22a は、第１の水平駆動単位信号として水平駆動単位の n-1＝5 パケットに連続してポテンシャル井戸を形成させ、隣接する残る１パケットに障壁を形成させる信号を生成する。この信号がドライバ部22b を介して供給されることにより、隣接する水平駆動単位とは区別できる。タイミング信号発生部22a は、次に第２の水平駆動単位信号として第１の水平駆動単位信号と逆位相関係の信号を生成する。この信号がドライバ部22b を介して供給されることにより、５パケットに含まれている信号電荷は混合され、かつ１パケット内に集められる。この状態にした後、タイミング信号発生部22a はこの水平駆動単位の信号電荷を集約したパケットに対して６相駆動相当の駆動を行わせる第３の水平駆動単位信号を生成する。この信号がドライバ部22b を介して水平転送路HR内の信号電荷がすべて出力されるまで供給すると、信号電荷の読出し時間を短縮化することができる。また、第３の水平駆動単位信号を供給する代わりに第１および第２の水平駆動単位信号を交互に供給するようにしてもタイミング信号をまとめて印加しているので６電極単位に信号電荷を移動させることができる。
【００３７】
また、タイミング信号発生部22a は、上述した一連の転送のうち、部分的に異なる水平転送を行わせる場合として、第１の水平駆動単位信号を生成した後に、水平駆動単位の半分、すなわち３パケットずつポテンシャル井戸と障壁を形成する第４の水平駆動単位信号とこの第４の水平駆動単位信号と逆位相関係にある第５の水平駆動単位信号とを交互に生成し、ドライバ部22b を介して撮像部30に水平転送路HR内の信号電荷がすべて出力されるまで供給する。これにより、従来の水平駆動時に転送できるパケットに信号電荷を詰め込む飽和状態を回避し、２相駆動で信号電荷読出しの高速化を図っている。通常の２相駆動に対して水平駆動単位を１周期で移動させることから、６相駆動に相当する転送が行われる。結果的に、３倍の転送レートで信号電荷読出しが行われることになる。
【００３８】
すなわち、これは、水平転送に際して供給された信号電荷の位置関係に着目すると、水平転送パケットが従来の予備の撮像時や本撮像時の２パケットに比べて３倍の６パケット数を単位に扱うことになる。信号電荷を有する間の転送電極構造がたとえば３倍の電極数を扱うことを意味する。タイミング信号発生部22a はこの電極数に応じて初めの位相駆動を保ちながら、信号電荷が移動するように考慮した水平転送タイミング信号を生成し、供給する。後述する水平転送路HRが６電極構造を用いていることおよび２相駆動を行っていることから６パケットの半分、すなわち３パケットずつ同相にするタイミングが有効である。より具体的な説明は後段で行う。
【００３９】
タイミング信号発生部22a は、基本的にシステム制御部18の制御により撮像のモードに応じてタイミング信号を生成し、この生成したタイミング信号を図１に示すように各部に出力するとともに、ドライバ部22b にも供給する。ドライバ部22b は、各タイミングで供給されるタイミング信号を重畳させて駆動信号を生成している。ドライバ部22b は前述した光学レンズ系12のズーム調節機構およびAF調節機構の他、絞り調節機構24および撮像部30にも駆動信号をそれぞれ供給する。ドライバ部22b もシステム制御部18により直接的に制御させるようにしてもよい。また、システム制御部18はドライバ部22b に対して、たとえば読み出したくない列のフィールドシフトゲートパルスの駆動信号への重畳を禁止するようにしてもよい。
【００４０】
絞り調節機構24は、被写体の撮影において最適な入射光の光束を撮像部30に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構24にもドライバ部22b から駆動信号が供給される。この駆動信号は、前述したシステム制御部18からの制御に応じて動作させるための信号である。この場合、システム制御部18は、図示しないが、撮像部30で光電変換した信号電荷を基にAE（Automatic Exposure :自動露出）処理として絞り・露光時間を算出している。絞り調節機構24には、この算出した値に対応する制御信号が供給されたタイミング信号発生部22a からの信号に応じた駆動信号がドライバ部22b から供給される。
【００４１】
撮像部30は光電変換する撮像素子を光学レンズ系12の光軸と直交する平面が形成されるように配置する。また、撮像素子の入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ26と一体的に色分解する色分解部28の色フィルタCFが一体的に配設される。本実施例では単板方式の色フィルタを用いて撮像する。色フィルタCFの種類等については後段でさらに詳述する。撮像素子には、 CCD（Charge Coupled Device:電荷結合素子）や MOS（Metal Oxide Semiconductor:金属酸化型半導体）タイプがある。撮像部30は、供給される駆動信号に応じて光電変換によって得られた信号電荷を予備の撮像と本撮像とそれぞれのモードに合わせて読み出す。予備の撮像では、複数の画素データ単位に混合した信号電荷を出力する。
【００４２】
本実施例では画素ずらしした、いわゆるハニカム配置していること、および色フィルタパターンに色フィルタR, G, B のうち、色G の色フィルタを正方格子状に配し、これら格子の中心に配する色R, Bの色フィルタを完全市松状に配したパターンを形成している。この用いている色フィルタ配置パターンをG 正方（格子）RB完全市松パターンと呼ぶ（図２を参照）。信号電荷の読出しは、このパターンを考慮して信号電荷の混合や個々の信号電荷の２ライン同時読出し等が行われる。
【００４３】
図１に戻って、前処理部32には、図示しないがCDS （Correlated Double Sampling: 相関二重サンプリング；以下CDS という）部が備えられている。CDS 部は、たとえば、CCD 型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部22a からのタイミング信号によりクランプするクランプ回路と、タイミング信号により信号電荷をホールドするサンプルホールド回路を有する。CDS 部は、ノイズ成分を除去してA/D 変換部34に送る。A/D 変換部34は、供給される信号電荷というアナログ信号の信号レベルを所定の量子化レベルにより量子化してディジタル信号に変換するA/D 変換器を有する。A/D 変換部34は、タイミング信号発生部22a から供給される変換クロック等のタイミング信号により変換したディジタル信号を信号処理部36に出力する。
【００４４】
信号処理部36には、予備撮像処理部36a および本撮像処理部36b が備えられている。予備撮像処理部36a には、複数の画素データを単位に混合した信号電荷をディジタル化した混合画素データが供給される。予備撮像処理部36a には、供給される混合画素データを複数個、たとえば３個ずつ加算するとともに、次の加算に際して２個混合画素データをシフトさせた位置の混合画素データを加算開始位置にして加算処理を行う輝度信号算出機能部360aと、供給される相前後する混合画素データの差分 (R-G), (B-G) を求めて、この求めた値にそれぞれ４つの係数を乗算した値の差分値を、(R-Y), (B-Y)として算出する色差信号算出機能部362aとが備えられている（図３を参照）。より詳細な計算式の関係については後段で説明する。予備撮像処理部36a は、演算処理による直接的なマトリクス処理を行っている。
【００４５】
本撮像処理部36b には、具体的に図示しないが得られた画像をより一層高画質化するためにガンマ補正部360b（図６を参照）、輝度データ生成機能部、輝度データ補間機能部、高解像度プレーン補間機能部、および色差マトリクス処理部362bが含まれる。ガンマ補正部360bには、色の補正を行うガンマ補正回路や自動的にホワイトバランスの調整を行うAWB (Automatic White Balance）回路等がある。特に、ガンマ補正部360bは、 ROM（Read Only Memory）に供給されるディジタル信号とこのディジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。ガンマ補正部360bは、この配置に限定されるものでなく、後段に設けてもよいが、この位置に配することにより、設けるルックアップテーブルの個数が最小で済む。これら一連のデータ補正においてもタイミング信号発生部22a からのタイミング信号に応じて供給される。ガンマ補正部360bは、この処理した補正データを輝度データ生成機能部（図示せず）に出力する。
【００４６】
輝度データ生成機能部はシステム制御部18の制御により動作する。輝度データ生成機能部は、たとえば色の配置を考慮した重み付け演算を行うことにより受光素子の位置する画素での輝度データY を生成し、輝度データ補間機能部に出力する。輝度データ補間機能部は、供給される輝度データY の間にある仮想画素の位置における輝度データの補間生成を行う演算機能部である。輝度データ補間機能部は、プレーンの輝度データYhを生成し、高解像度プレーン補間機能部（図示せず）に供給される。高解像度プレーン補間機能部は、プレーンの輝度データYhとデータ補正した三原色R, G, B の画素データを入力し、これらのデータを用いてR プレーンデータ、G プレーンデータおよびB プレーンデータを生成する演算機能部である。高解像度プレーン補間機能部は、生成した三原色RGB のプレーンデータを色差マトリクス処理部362bに出力する。高解像度プレーン補間機能部には、これらの信号処理して得られた画像データを格納するとともに、非破壊読出し可能なメモリがそれぞれ備えられている。高解像度プレーン補間機能部はプレーン補間に用いる画素データを読み出して画素データの算出を行う。このような処理を経た画素データが色差マトリクス処理部362bに供給される。上述した処理は図示しないが図６に示す色差マトリクス処理部362bは、供給される三原色RGB のそれぞれR プレーンデータ、G プレーンデータおよびB プレーンデータを用いて、画像表示に用いる形式、すなわち輝度データY 、色差データ(R-Y), (B-Y)に変換する。これらの出力形式のデータは、各色に定めた混合割合を乗算し演算することから得られる。混合割合を決める係数は、従来からの値を用いる。この変換した３つのデータに各帯域を含み折返し歪が生じないカットオフ周波数に設定してアンチエリアシング処理を施す。このうち、輝度データY をアパーチャ調整部に送って、輝度データY の周波数の高域を持ち上げる。これにより、画像の輪郭が強調される。このようにして色差マトリクス処理部362bは、輝度データY 、色差データ(R-Y), (B-Y)を圧縮／伸張部38およびモニタ42に出力する。色差マトリクス処理部362bは、モニタ42に撮像した画像をシステムバス16を介して供給する。
【００４７】
このように構成して信号処理部36は、受光素子の画素データを用いて、この際にたとえば、相関の大きい方の画素データから輝度データY および色差データを生成して圧縮／伸張部38およびモニタ42に出力する。
【００４８】
圧縮／伸張部38は、たとえば、直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮／伸張部38は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介して記録再生部40に供給する。また、圧縮／伸張部38は、前述と同様にシステム制御部18の制御により信号処理部36からのデータをスルーさせ、システムバス16を介してモニタ42に供給させてもよい。圧縮／伸張部38が伸張処理を行う場合、逆に記録再生部40から読み出したデータをシステムバス16を介して圧縮／伸張部38に取り込んで処理する。ここで、処理されたデータもモニタ42に供給して表示させる。
【００４９】
記録再生部40は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む（ともに図示せず）。記録媒体には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。モニタ42は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データおよび色差データまたは三原色RGB のデータを画面の大きさを考慮するとともに、タイミング調整して表示する機能を有する。液晶表示のようなモニタを用いてムービー表示する場合、たとえば、予備の撮像において受光素子、すなわち画素を水平方向の画素数に対して1/3 間引きして得られた画像を表示させる。
【００５０】
図１に示すディジタルスチルカメラ10は、このように構成して高画素化した撮像部30を有していながら予備の撮像と本撮像とを切り換えて制御してそれぞれの撮像に応じた適切な撮像を行っている。すなわち、予備の撮像では高速な信号読出しを行って本撮像の露光条件等の設定を迅速に行わせ、本撮像では全画素読出しを行って、画像全体の画質を高める撮影が行われる。
【００５１】
さらに、撮像部30と色分解部28に用いる色フィルタCFについて説明する。図２は、撮像部30の撮像面およびドライバ部22b からの垂直転送駆動信号V1〜V8を印加する位置関係を示している。撮像部30は、これまで述べてきたように、入射する光を光電変換する受光素子PDに隣接した受光素子PDが垂直方向および水平方向にずらされて２次元配置された受光部30a と、この受光部30a の前面に形成された開口部APを迂回するように配置され、かつ受光素子PDから予備の撮像モードおよび本撮像モード時における信号を取り出す電極ELと、この電極ELを介して供給される信号を受光部30a の垂直方向に順次転送する垂直転送レジスタVRと、垂直転送レジスタVRに対して直交する方向、すなわち水平方向に信号を転送する水平転送レジスタHRとを備えている。
【００５２】
垂直転送レジスタVRは、供給される垂直転送駆動信号V1〜V8に応じて信号を転送している。すなわち、垂直転送レジスタは１受光部あたり４電極構造になっている。また、１受光部領域の水平隣接領域は２電極構造で前述したように画素ずらしに対応するように構成されている。すなわち、これに対応して水平転送レジスタHRも２電極構造単位になっている。本実施例の撮像部30に形成された開口部APは、六角形のハニカム形状に形成する。開口形状は、一般的に正方格子であるがこの形状は、感度を向上させるとともに、垂直転送レジスタの幅を同じにして転送効率を低下させないようにする条件を満たせばよい。このことから判るように形状は、多角形でもよく、この他の例としては、正方格子を45°回転させた開口形状として、たとえば、菱形等があり、さらに八角形等にしてもよい。
【００５３】
開口部APは、図２に示すように各開口部APを覆う色フィルタCFの直下にそれぞれ対応して配置される受光素子PDの間隔を各方向毎の画素ピッチPPとするとき、開口部APの配列は、一列毎に垂直方向にあるいは一行毎に水平方向に画素ピッチPP分だけ移動させた２次元配置になっている。四角形以上の多角形を用いる場合、開口形状に合わせて開口部APを隙間なく、隣接する開口部APが稠密な配置に配置にさせてもよい。このような場合、配置する上での画素ピッチPPは半ピッチのずらしでもよい。図２のように六角形の場合、稠密な配置は、水平・垂直方向とも上述した画素ピッチPPの半分だけずらした配置（｜PP｜/2）により形成できる。このように稠密な配置を得るには開口部APの形状に依存する。
【００５４】
次に本実施例の特徴である予備の撮像（レリーズシャッタの半押し操作時）における動作を説明する。図２の撮像部30は、高速読出しを行う予備の撮像時の状態を示している。この図が示す状態に至る前に、まず、受光素子PDすべてから信号電荷を読み出す。この読出しのため、タイミング信号供給部22のタイミング信号発生部22a は垂直駆動信号V1, V3, V5, V7だけに生成したフィールドシフトゲートパルスを供給する。この供給を受けてこのパルスが重畳した垂直駆動信号V1, V3, V5, V7を電極ELに供給することにより、フィールドシフトゲートがオン状態になる。この結果、受光素子PDから本撮像時と同様に全画素の信号電荷が垂直転送路VRに読み出される。読み出された信号電荷は、ドライバ部22b から信号線を介して垂直転送路VRに供給される４相の垂直駆動信号により水平転送路HRに向かって転送される。図２の状態は、垂直転送路VRのパケットを２段転送して水平転送路HRに信号電荷を送った状態である。この色フィルタ配置では、画素ずらししていることから、２ラインずつ信号電荷を読み出す、２ライン同時読出しを行う垂直転送しても異なる色が混じることなく、１水平転送路HRに揃えることができる。このため、水平転送は、２ライン毎に行われる。水平転送を行うにあたり、図２に示すように水平転送路HRには、各パケットに水平駆動信号H1〜H6が供給されている。
【００５５】
２ライン同時読出しを行って水平転送路HRに信号電荷を供給すると、水平転送路HRには、色“B,_,G,-,R_,G,_,B,_,G,・・・”の位置関係に信号電荷が配されることになる。ここで、“_ ”は、信号電荷のない空きパケットを表し、“-"はポテンシャル障壁を表している。水平転送路HRは、実際６電極構造である。
【００５６】
ところで、各パケットに供給される水平駆動信号H1〜H6のうち、図４(a) に示す水平駆動信号H1〜H5（第１の水平駆動単位信号）はすべて同相の信号を供給し、図４(b) に示す水平駆動信号H6（第２の水平駆動単位信号）だけ水平駆動信号H1〜H5と逆相の信号を供給する。この結果、水平転送路HRには、図４(c) に示す３つの信号電荷を１つのポテンシャル井戸に色の区別なく入れる大きなポテンシャル井戸が形成される。この形成によって３つの信号電荷を単位に信号電荷が混合される。このとき、水平駆動信号H6の印加されたパケットに障壁が形成されるので、信号電荷の混合が３つの信号電荷単位に区切られる。
【００５７】
次に、水平駆動信号H1〜H5と水平駆動信号H6との位相関係が逆になることから、ポテンシャル井戸は図４(d) に示すように１つのパケットにまとめられる。これにより、水平転送路HRには、混合した信号電荷が“(BGR)-,-,-,-,-,(GBG),-,-,-,-,-,(RGB),-,-,-,-,-,(GRG),-,-,-,-,-,(BGR),-,-,-・・・ ”という位置関係で混合される。ここで、この信号電荷の配置を見ると、６パケット毎に信号電荷があるので、以後、この１パケットの信号電荷を１周期で６電極分矢印A の方向へ転送させる水平駆動信号を供給する。供給する水平駆動信号（第３の水平駆動単位信号）としては、たとえば、上述した図４(a), (b)を供給してもよい。通常６相駆動では1/6 周期で１電極分、（１パケット分）転送されるから１周期では６電極（パケット）分の転送ができるので、６相駆動と同等の転送レートで転送が行われることがわかる。元々行っていた２相駆動を６相駆動と同等の転送ができることから、読出し周波数を変えることなく転送レートは３倍に上がることになる。また、供給する周波数を上げて６相駆動させても同様の転送を行わせることができる。
【００５８】
この混合した後の信号電荷を転送させる方法は、上述した方法に限定されるものでなく、図４(c) のポテンシャルを形成した後、水平駆動信号H4, H5, H6がレベル「L 」になるようタイミング信号発生部22a で生成した水平タイミング信号をドライバ部22b を介して供給する。これにより、６個のパケットのうち、ポテンシャル井戸と障壁との関係が半分ずつにパケットが分けられる。以後、水平駆動信号H1, H2, H3は水平駆動信号H4, H5, H6と逆相の位相関係で水平駆動信号が供給されると、水平駆動信号が変化するT/2 秒間隔（半周期）毎に連続した３パケットに印加する水平駆動信号が位相反転するので、信号電荷を運ぶパケットを３つずつ矢印A 方向に移動させることになる。
【００５９】
このように水平駆動信号が時間経過にともなって供給されると、ポテンシャルは矢印A 方向に信号電荷を1/2 周期毎に運ぶことから、結果的に、この場合も前述したように読出し周波数の変更を行うことなく、かつ２相駆動を維持しながら、水平駆動信号の供給タイミングを変えるだけで、水平転送路HRに読み出した信号電荷を３倍の転送レートで読み出すことができる。たとえば、表示装置における最大の規格UXGA（Ultra eXtended Graphics Array ）の水平方向に1600画素、垂直方向に1200画素の情報量を有している撮像部では、予備の撮像において読出しがほぼ533 画素程度となり、VGA (Video Graphics Array ) の640 画素に足りない。しかしながら、さらに撮像部30の高画素化が望まれていることから、このような水平方向の間引き高速読出しは今後のことを鑑みて非常に有効な技術である。また、本実施例では受光素子PDすべて全画素読出しする場合を考察したが、これまで行われていたように垂直方向に間引くとより一層読出しを短縮化する個とができる。この場合、垂直駆動信号の供給先を同じにすることが望ましい。これは、後段で行われる信号処理の色に関係するからである。
【００６０】
このようにして予備の撮像モードにおいて水平方向に少なくとも、1/3 間引きを実現させることができ、読出し周波数を変えなくても信号電荷の読出し時間の短縮化を図ることができる。
【００６１】
これに対して、これまで行われていた撮像部30からの信号読出しを比較例として挙げて説明する。ここで、撮像部30の構成は全く同じである（図３を参照）。本実施例とは、信号電荷の水平駆動が相違している。図４(e), (f)と互いに逆位相関係にあるタイミング信号が水平駆動信号の偶数と奇数の駆動信号に供給されている。すなわち、水平駆動信号H1, H3, H5と水平駆動信号H2, H4, H6である。これら２種類の駆動信号が供給されると、水平転送路HRには、図４(g) のポテンシャルおよび障壁が１パケット毎に形成される。位相を1/2 進める駆動を行うと、水平転送路HRは、図４(h) に示す位置に信号電荷を1 パケット分転送する。撮像部30の各受光素子PDからの信号電荷読出しは、水平方向の間引きが行えず、基本的に本撮像と予備の撮像モードで同じある。ただし、これまで予備の撮像において垂直方向の間引きを1/2, 1/4等の間引きを行って信号電荷の読出しにおける時間短縮を図ってきている。タイミング信号発生部22a は1/2 間引き読出しする場合、フィールドシフトゲートパルスを垂直駆動タイミング信号に供給し、ドライバ部22b でこれらの信号を重畳して垂直駆動信号V1, V3またはV5, V7を生成する。信号電荷を受光素子PDから読み出す場合、ドライバ部22b はこの垂直駆動信号V1, V3, または V5, V7 を転送電極EL（フィールドシフトゲート）に印加する。この印加により、フィールドシフトゲートパルスが重畳された垂直駆動信号の印加された転送電極ELを介して1/2 に間引いて信号電荷を読み出す。読み出された信号電荷は、水平転送路HRで予備の撮像でも三原色RGB が要求されるとき、２ライン同時読出しが行われる。単に、ライン毎の読出しを行うと、それぞれ色R, Bと色G だけの水平ライン読出しとなる。このため、三原色RGB が１ラインに揃わないので、信号処理における補間を適切に行えないことになる。そこで行われる２ライン同時読出しした水平転送路HRでの状態が図２の状態である。水平転送路HRの各パケットにはそれぞれ、水平駆動信号H1〜H6が供給されている。水平転送路HRは、１パケット分を障壁に用いて信号電荷を転送する２電極構造を用いている（図２を参照）。
【００６２】
一般的に、水平転送路HRの信号電荷を転送する場合、電極構造に対応して図４(g), (h)に示すように２相駆動が行われる。一方の相の水平駆動信号が水平駆動信号H1, H3, H5であり、他方の水平駆動信号が水平駆動信号H2, H4, H6である。水平駆動信号H1, H3, H5を印加することにより、生成されるポテンシャル井戸は、図４(g) のように形成される。次に、水平駆動信号H2, H4, H6が印加されると、ポテンシャル井戸は，１パケット分だけ移動する( 図４(h) を参照）。このような手順を繰り返して２ライン分の信号電荷が１ライン分として水平転送路HRから読み出される。この信号読出しは水平方向の間引きを何等考慮されていないので高速読出しを行う際に要する時間が本実施例に比べて本撮像と同様に読み出して３倍かかることになる。
【００６３】
なお、仮に奇数列または偶数列の一方を読み出す信号電荷読出しを行う場合、カラー液晶表示に読み出した画素データには使えないが、たとえば測光に色G だけを用いて行っても水平方向に1/2 間引きすることしかできない。この場合、２倍の水平駆動レートにまでしか水平転送レートを上げられない。
【００６４】
ところで、予備の撮像ではこのように画質優先仕様によって読出し所要時間がかかると、操作上問題が生じる。たとえば、予備の撮像が遅いと、撮りたいタイミングの画像のシーンがあっても、本撮像までの撮影条件等を設定できなくなることから極端な場合、撮影待機状態となってしまう。
【００６５】
このように動作させることによって信号電荷を従来に比べて高速に読み出すことを実現しているが、得られる信号電荷は混合した信号電荷である。読み出した信号電荷に前処理部32でノイズ除去等を施し、A/D 変換部34で混合した画素データに変換されている。この変換された画素データを用いてモニタ42に表示しても混色のため良好な画像を得ることができない虞れがある。
【００６６】
そこで、信号処理部36の予備撮像処理部36a にこの混合した画素データを供給する（図１および図３を参照）。予備撮像処理部36a は、システム制御部18によりイネーブル状態にされている。予備撮像処理部36a には、１パケットに混合した画素データが矢印A 方向の順に供給される（図５(a) を参照）。画素データは<>内の番号で各パケットを表す。本実施例の輝度信号算出機能部360aはパケット<2> から３パケット分の画素データを加算して
【００６７】
【数１】
【００６８】
なお、三原色RGB それぞれに乗算する係数には、色フィルタの感度比を適用してもよい。
【００６９】
また、色差データは色差信号算出機能部362aで行う。色差信号算出機能部362aにも輝度信号算出機能部360aと同様に混合した画素データが供給されている。色差信号算出機能部362aでは、相前後するパケットの差分を用いて(R-G), (B-G)を算出する。差分(R-G) は式(2a), (2b)
【００７０】
【数２】
(R-G)12 ＝<1> −<2> ・・・(2a)
(R-G)32 ＝<3> −<2> ・・・(2b)
に示すように３パケットの両端に位置するデータのそれぞれから真中のデータを引いて求めている。換言すると、差分（B-G)は２パケット分シフトさせながら、すなわち差分(R-G) の算出に用いたパケットと１つ分重複させて、３パケットの両端に位置するデータのそれぞれから真中のデータを引いて求めている。これが式(3a), (3b)
【００７１】
【数３】
(B-G)34 ＝<3> −<4> ・・・(3a)
(B-G)54 ＝<5> −<4> ・・・(3b)
である。添字は用いたパケットを表している。
【００７２】
色差データ(R-Y), (B-Y)は、求めた差分データに係数を乗算した値の差分から算出する。この計算式は、式(4a), (4b)
【００７３】
【数４】
R-Y ＝0.7(R-G)12−0.11(B-G)34 ・・・(4a)
B-Y ＝0.89(B-G)34 −0.30(R-G)12 ・・・(4b)
から算出できる。
【００７４】
このように水平方向に混合することにより水平間引きして高速に読み出すとともに、信号電荷を画素データに変換して、ほぼ直接的に供給された画素データに基づいて算出した近似的な輝度データおよび色差データが信号処理部36からモニタ42に出力される。これらの信号を用いてモニタ42に表示させても混合した画素データをそのままモニタ表示する場合よりも高画質に画像表示させることができる。
【００７５】
この水平方向に混合して水平方向の間引きを行うことにより、信号電荷の読出しを高速化を行っている。混色した画素データを用いてもより一層の高画質な画像を表示させるように三原色RGB を正確に得る予備撮像処理部36a の他の実施例について構成および動作を説明する。混合した画素データは、図５(a) に示した関係で供給されている。この場合、予備撮像信号処理部36a には、サンプル保持部364a、マトリクス部366a、ガンマ補正部360bおよび色差マトリクス部362bが備えられている。この中で、ガンマ補正部360bおよび色差マトリクス部362bは、本撮像処理部36b の構成を共通化して用いる。これにより、構成の簡略化を図る。このために、図示しないがマトリクス部366aとガンマ補正部360bとの間、およびガンマ補正部360bと色差マトリクス部362bとの間に本撮像と予備の撮像で供給される画素データを切り換える選択スイッチが設けられている。予備撮像処理部36a は選択スイッチも含めてシステム制御部18により制御されている。
【００７６】
サンプル保持部364aには、供給されるパケットを連続３つずつの単位でサンプリングするサンプルホールド回路3640a, 3642a, 3644a が含まれる。サンプル保持部364aは、たとえば、図４(a) のパケット<1> を起点にサンプリングを開始する。タイミングは、信号発生部20から供給されている。サンプルホールド回路3640a, 3642a, 3644a は、それぞれ、連続３パケットのうち、３番目、１番目、２番目に供給される画素データをサンプルホールドする。サンプルホールド回路3640a, 3642a, 3644a にサンプルホールドした画素データは、それぞれ三刺激値X, Y, Z という変数で表す。サンプル保持部364aは、連続する３パケット単位に保持した画素データをマトリクス部366aに出力する。
【００７７】
マトリクス部366aは、供給される三刺激値X, Y, Z に基づいて三原色RGB を求めるマトリクス演算が行われるRGB マトリクス処理機能を有している。演算は後述する計算式に基づいて行う。算出したRGB データは、ガンマ補正部360bに供給される。供給されたRGB データは、ガンマ補正部360bの、たとえばルックアップテーブルに書き込まれているデータにより補正されて色差マトリクス部362bに供給される。
【００７８】
色差マトリクス部362bは、補正したRGB データに基づいて輝度データ Y, 色差(R-Y), (B-Y)を生成する回路または演算機能部を有している。マトリクス部366a、ガンマ補正部360bおよび色差マトリクス部362bには信号発生部20からの信号が供給されている。これらの各部は、システム制御部18の制御を受けて、この供給される信号のタイミングに応じて動作している。
【００７９】
なお、本撮像処理部36b が、ガンマ補正部360bの処理後もRGB データをそのまま供給して高域輝度信号YHを生成させる動作を行っている場合、色差マトリクス部362bからの輝度データY を低域輝度信号YLとして、図示しないが両信号を合成させるようにして帯域の延びた輝度信号Y を生成することができる。
【００８０】
このように構成して混合した画素データから三原色RGB データを正確に復元しこれらのデータに基づいて画像データ（輝度・色差）を生成してモニタ42に出力させることができる。
【００８１】
この構成に基づく動作を簡単に説明する。信号処理部36の予備撮像処理部36a ではサンプル保持部364aが連続３パケットずつサンプリングホールドする。サンプルホールドする混合した画素データと三刺激値X, Y, Z との関係は、式(5a), (5b), (5c)
【００８２】
【数５】
X ＝R ＋2G ・・・(5a)
Y ＝R ＋G ＋B ・・・(5b)
Z ＝B ＋2G ・・・(5c)
である。これらがマトリクス部366aに供給されると、三原色RGB は、式(6a), (6b), (6c)
【００８３】
【数６】
R ＝(X＋2Y−2Z) ／3 ・・・(6a)
G ＝(X＋Z −Y)／3 ・・・(6b)
B ＝(Z＋2Y−2X) ／3 ・・・(6c)
により得られる。算出した三原色RGB はガンマ補正部360bで補正が施される。さらに補正したRGB データが色差マトリクス部362bで三原色RGB データに対して通常マトリクス変換に用いる係数を用いて輝度データY 、および色差データ(R-Y), (B-Y)を容易に生成する。
【００８４】
なお、本実施例では、G 正方RB完全市松パターンを用いて説明したが、色パターンに限定されるものでなく、前述した水平転送路HRにおける色の繰返しパターンが得られる色フィルタ配置であれば、たとえば、縦ストライプのパターンが色RGBGRBG・・・や補色ストライプの色フィルタを用いても同様な効果を奏することができる。
【００８５】
このように動作させることにより、信号電荷を混合して水平間引き読出しして読出し時間の短縮化を図るとともに、混合した画素データから３つの信号電荷における三原色RGB データを求め、得られた三原色RGB データを基に輝度データY 、色差データ(R-Y), (B-Y)が得られるので、高速に信号を読み出すことによる画質劣化を避けることができる。
【００８６】
以上のように構成することにより、いわゆるハニカム配置のディジタルスチルカメラ10において、通常の信号電荷読出しと同様に信号電荷を受光素子から読み出し、垂直転送路を垂直転送して、水平転送路での転送において信号電荷の色を考慮せず、混合した信号電荷を出力することで、信号電荷の読出しを従来の読出しに比べて時間短縮することができる。具体的には、G 正方RB完全市松パターンでは読み出した信号電荷を水平転送する際に５つのパケットが同じポテンシャル（井戸）を形成するように水平駆動信号を供給することによって、読出し周波数を変えることなく、２相駆動でありながら、６相駆動と同等の読み出しを行うことができる。このとき、水平転送レートは３倍にすることができる。このような駆動による信号読出しを行うことによって高画素化した撮像部30を用いても予備の撮像の影響により本撮像のタイミングを外すような操作上の問題等を回避することができるようになる。
【００８７】
そして、読み出した画素データが混色を示しているので、混色による画像の品質低下を改善するように信号処理を施して近似または所定の範囲内での正確な信号の復元することにより、モニタに供給するムービー表示の画像を高画質に提供できる。したがって、高画素化された撮像部を有しても予備の撮像時に高画質な画像を迅速に提供できるので、ユーザにカメラ操作性の違和感を与えることなく操作させることができる。
【００８８】
【発明の効果】
このように本発明の固体撮像装置によれば、信号供給手段から供給される信号を受けて行う予備撮像において得られた信号電荷を混合して、水平電荷転送路に供給された電荷を間引いた状態と同じ状態にして信号電荷を読み出すことにより、実質的な転送レートの向上を図っている。具体的には信号供給手段からタイミング調整された水平駆動信号により間引きして得られた画素データをそのままの周波数で読み出して、画素の送出レートを３倍以上にして出力しているので、高画素化した撮像手段を用いても予備の撮像の影響により本撮像のタイミングを外すような操作上の問題等を回避することができる。そして、この混合した信号電荷に基づいてディジタル化されたデータに画像信号生成手段で演算処理を施し水平方向に間引きして混合した信号からの近似または水平方向の所定の範囲内での複数の信号電荷の代表的な三原色RGB の色を得て予備撮像における輝度信号および色差信号を生成して信号電荷読出しの時間短縮化および色の改善を近似または所定の範囲内での正確な信号の復元によって行うことにより、混色で信号電荷を読み出しても高画質な画像を提供することができる。これにより、高画質な画像およびユーザに違和感を与えることのない操作性の両方を提供することができる。
【００８９】
また、本発明の信号読出し方法によれば、水平電荷転送路に供給する水平駆動信号のタイミングの調整を行って、読み出された信号電荷のいくつかを混ぜ合わせることにより、水平方向に見た複数の信号電荷を１つで表して間引きした状態と同じ状態を作って、この状態の信号電荷に対する水平駆動の速度を改善するタイミングの調整をしながら、転送させて、読出し周波数を変えることなく、タイミングを調整するだけで信号電荷の水平方向の読出し時間の短縮化を図ることができる。これにより、高画素化した撮像手段を用いても予備の撮像の影響により本撮像のタイミングを外すような操作上の問題等を回避することができる。
【００９０】
さらに、本発明の信号処理方法によれば、水平方向に間引きすることにより読出し時間の短縮化を図り、間引きに応じて得られる画素データがたとえ混合した画素データであっても、この画素データに基づいて信号処理を施すことにより、この撮像の画像における画像成分を表す輝度信号および色差信号を近似または所定の範囲内での正確な信号の復元を行うことができる。これにより、高画質な画像およびユーザに違和感を与えることのない操作性の両方を提供することができる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置を適用したディジタルスチルカメラの概略的な構成を示すブロック図である。
【図２】図１のディジタルスチルカメラにおける撮像部を入射光側から見た撮像平面を示すとともに、撮像における水平転送の信号電荷の位置関係および水平駆動信号の供給位置の関係を示す模式図である。
【図３】図１の信号処理部における予備撮像処理部の概略的な構成を示すブロック図である。
【図４】図２の撮像部における本実施例と従来の水平転送路に供給する水平駆動信号の位相および水平駆動信号により生成されるポテンシャル井戸の関係を比較するタイミングチャートである。
【図５】図１の予備撮像処理部における直接的な輝度データおよび色差データの演算の手順を示すタイミングチャートである。
【図６】図１の予備撮像処理部の他の実施例における概略的な構成を示すブロック図である。
【符号の説明】
10 ディジタルスチルカメラ
12 光学レンズ
14 操作部
18 システム制御部
22 タイミング信号供給部
30 撮像部
32 前処理部
34 A/D 変換部
36 信号処理部
38 圧縮／伸張部
42 モニタ
22a タイミング信号発生部
22b ドライバ部
36a 予備撮像処理部
Claims (14)
- 光電変換する複数の受光素子を有し、該複数の受光素子の隣接する受光素子同士の位置が互いにずれて２次元配置され、各受光素子に対して被写界からの入射光側に該入射光を色分解する色分解手段が配設された撮像手段と、該撮像手段から前記複数の受光素子に蓄積された信号電荷に応じた信号を読み出し、該読み出された信号にディジタル処理を施す信号処理手段とを含む固体撮像装置において、
前記撮像手段は、前記複数の受光素子から得られた信号電荷を前記２次元配置における列に対応した垂直方向に転送する垂直電荷転送路と、該垂直電荷転送路に実質的に直交する方向に配され、該垂直電荷転送路に供給された信号電荷を水平駆動信号に応動して転送する水平電荷転送路と、前記複数の受光素子のそれぞれと前記垂直電荷転送路との間に配設された転送電極とを含み、
該装置はさらに、前記転送電極に前記複数の受光素子からの信号電荷を前記垂直電荷転送路に読み出す転送タイミング信号を供給して前記信号電荷を読み出させ、前記垂直電荷転送路に供給された垂直駆動信号に応動して該垂直電荷転送路の信号電荷を前記水平転送路まで転送させ、前記水平電荷転送路に供給された水平駆動信号に応動して該水平電荷転送路の信号電荷を転送させる場合、前記複数の受光素子すべてから蓄積された信号電荷を読み出す本撮像と水平方向に隣接する異なる成分の信号電荷を前記水平電荷転送路において所定の個数ずつ１つのパケットにまとめて混合して読み出す予備撮像とに応じて前記信号電荷を転送させる信号供給手段と、
該信号供給手段から供給される信号を受けて行われる前記本撮像と前記予備撮像のうち、前記予備撮像において混合された信号電荷の色属性を基に演算処理を施し前記予備撮像における輝度信号および色差信号を生成する予備の画像信号生成手段とを含み、
前記信号供給手段は、前記予備撮像において、前記水平転送路に形成されたパケットをｎ個の水平駆動単位で動作させ、該水平駆動単位の各パケットに供給される水平駆動タイミング信号が生成される際に、
前記水平駆動単位のうち、ｎ−１個のパケットと１個のパケットとが順次隣接した位置に前記信号電荷を蓄積するポテンシャル井戸が形成させる水平駆動タイミング信号の生成を行わせるとともに、該１個のパケットの転送用に６相駆動に相当する駆動をもたらす水平駆動タイミング信号を生成させることを特徴とする固体撮像装置。 - 請求項１に記載の装置において、前記色分解手段には、原色フィルタが用いられる場合、該原色フィルタの配置パターンとして色G の色フィルタを正方格子状に配され、前記色G の色フィルタ配置の中央に位置する受光素子に色R または色B を交互に配され、かつ前記色G を介した対角に位置する色フィルタが同色にされた完全市松パターンが用いられることを特徴とする固体撮像装置。
- 請求項１または２に記載の装置において、前記信号供給手段は、前記水平駆動単位のうち、ｎ−１個のパケットに前記ポテンシャル井戸を形成させ、隣接した残る１個のパケットに障壁が形成されるタイミング信号としての第１の水平駆動単位信号と、
前記ｎ−１個のパケットに含まれる読み出した信号電荷の数と同数のパケットに連続したポテンシャル井戸を形成させるタイミング信号としての第２の水平駆動単位信号と、
前記水平駆動単位のパケットに対して２相駆動を行う第３の水平駆動単位信号とが生成され、時間経過に応じて順次出力されることを特徴とする固体撮像装置。 - 請求項１または２に記載の装置において、前記画像信号生成手段は、複数の混合した信号電荷をディジタル化して順次供給される混合信号が複数個ずつ加算され、該加算により三原色RGB で表される所定の輝度信号が生成される輝度生成機能ブロックと、
供給される混合信号のうち、対象の混合信号と一つ前の混合信号との差を取って得られる第１の成分信号および該対象の混合信号と一つ後の混合信号との差を取って得られる第２の成分信号にそれぞれ２種類ずつの係数を乗算させて得られた値の差から２つの色差信号が生成される色差生成機能ブロックとを含み、
前記輝度生成機能ブロックは、加算される混合信号が複数個単位にまとめられる際に、各単位のサンプリング開始位置が所定の個数分ずらされるとともに、結果的に各単位の混合信号が重複する位置関係を保ってサンプリングが行われることを特徴とする固体撮像装置。 - 請求項４に記載の装置において、前記輝度信号は、算出の際に加算する各混色信号に乗算する係数として前記色分解手段の各色フィルタの感度比が用いられることを特徴とする固体撮像装置。
- 請求項４に記載の装置において、前記複数個単位には、前記混合信号が３つで１単位とされ、各単位の混合信号が２個の間隔分ずらされた位置からサンプリングが行われることを特徴とする固体撮像装置。
- 請求項１に記載の装置において、前記画像信号生成手段は、複数の混合した信号電荷がディジタル化されて順次供給される混合信号に対して起点とする混合信号の後に供給される混合信号が複数個ずつサンプルホールドされる信号保持手段と、
該信号保持手段の保持した各混合信号に対して係数を個々に乗算して得られる値の総和の平均が行われて三原色RGB をそれぞれ生成されるマトリクス手段と、
該マトリクス手段からの三原色RGB に対してガンマ補正を施す補正手段と、
該補正手段で補正した三原色RGB を用いて輝度信号および色差信号が生成される色差マトリクス手段とを含むことを特徴とする固体撮像装置。 - 光電変換する複数の受光素子を有し、該複数の受光素子の隣接する受光素子同士の位置が互いにずれて２次元配置され、各受光素子に対して被写界からの入射光側に該入射光を色分解する色分解手段が配設され、前記複数の受光素子から得られた信号電荷を前記２次元配置における列に対応した垂直方向に転送する垂直電荷転送路と、該垂直電荷転送路に実質的に直交する方向に配され、該垂直電荷転送路に供給された信号電荷を水平駆動信号に応動して転送する水平電荷転送路と、前記複数の受光素子のそれぞれと前記垂直電荷転送路との間に配設された転送電極とを有する撮像手段を用意し、前記複数の受光素子すべてから蓄積された信号電荷を読み出す本撮像に先行して行う予備撮像における前記複数の受光素子からの信号電荷を信号として読み出す信号読出し方法において、該方法は、
前記転送電極を導通状態にする転送タイミング信号を供給して、前記複数の受光素子から信号電荷を前記垂直電荷転送路に読み出させ、該垂直電荷転送路に垂直駆動信号を供給して、前記読み出された信号電荷を前記水平電荷転送路まで転送させ、前記水平電荷転送路に水平駆動信号を供給して、水平方向に隣接する異なる成分の信号電荷を前記水平電荷転送路において所定の個数ずつ１つのパケットにまとめて混合して読み出して、水平駆動の速度を改善するタイミングの調整をしながら、転送させる転送工程を含み、
該転送工程は、前記予備の撮像において、用意した水平電荷転送路に形成されたパケットをｎ個の水平駆動単位で動作させる各パケットに供給する水平駆動タイミング信号は、前記水平駆動単位のうち、ｎ−１個のパケットと１個のパケットが隣接して順次ポテンシャル井戸を形成させる信号を供給し、次に該１個のパケットに蓄積された信号電荷を６相駆動に相当する駆動を行わせる信号を供給し、
該方法は、さらに、前記予備撮像において混合された信号電荷の色属性を基に演算処理を施し前記予備撮像における輝度信号および色差信号を生成することを特徴とする信号読出し方法。 - 請求項８に記載の方法において、前記色分解に原色フィルタが用いられる場合、該原色フィルタの配置パターンは、色G の色フィルタを正方格子状に配され、前記色G の色フィルタ配置の中央に位置する受光素子に色R または色B を交互に配され、かつ前記色G を介した対角の色フィルタに同色が配された完全市松パターンが用いられ、該配置パターンの原色フィルタを介して入射光を色分解することを特徴とする信号読出し方法。
- 請求項８または９に記載の方法において、前記転送工程は、前記水平駆動単位のうち、ｎ−１個のパケットに前記ポテンシャル井戸を形成させ、残る１個のパケットを障壁にするタイミング信号としての第１の水平駆動単位信号を供給し、
前記ｎ−１個のパケットに含まれる読み出した信号電荷の数と同数のパケットが連続したポテンシャル井戸を形成させるタイミング信号としての第２の水平駆動単位信号を供給し、
前記水平駆動単位のパケットに対して２相駆動を行う第３の水平駆動単位信号を供給することを特徴とする信号読出し方法。 - 光電変換する複数の受光素子を有し、該複数の受光素子の隣接する受光素子同士の位置が互いにずれて２次元配置され、各受光素子に対して被写界からの入射光側に該入射光を色分解する色分解手段が配設され、前記複数の受光素子から得られた信号電荷を前記２次元配置における列に対応した垂直方向に転送する垂直電荷転送路と、該垂直電荷転送路に実質的に直交する方向に配され、該垂直電荷転送路に供給された信号電荷を水平駆動信号に応動して転送する水平電荷転送路と、前記複数の受光素子のそれぞれと前記垂直電荷転送路との間に配設された転送電極とを有する撮像手段を用意し、前記複数の受光素子すべてから蓄積された信号電荷を読み出す本撮像に先行して行う予備撮像における前記複数の受光素子から読み出した信号にディジタルの信号処理を施す信号処理方法において、該方法は、
前記色分解手段にG 正方RB完全市松パターンが用いられている場合、前記転送電極を導通状態にする転送タイミング信号を供給して、前記複数の受光素子から信号電荷を前記垂直電荷転送路に読み出させ、該垂直電荷転送路に垂直駆動信号を供給して、前記読み出された信号電荷を前記水平電荷転送路まで転送させ、前記水平電荷転送路に水平駆動信号を供給して、水平転送する段階でタイミングの調整をしながら、水平方向に隣接する異なる成分の信号電荷を前記水平電荷転送路において所定の個数ずつ１つのパケットにまとめて混合して読み出し、該混合した信号電荷をディジタル化して画素データにして供給し、
混合された信号電荷の色属性を基に供給される画素データに演算処理を施し、演算処理により得られる画素データから該撮像の画像における画像成分を表す輝度信号および色差信号を生成する画像信号生成工程を含み、
該画像生成工程は、得られた画素データを順次複数個ずつ加算し、該加算により三原色RGB で表される所定の輝度信号を生成する輝度生成工程と、
供給される画素データのうち、対象の画素データと一つ前の画素データとの差を取って得られる第１の差分データおよび該対象の画素データと一つ後の画素データとの差を取って得られる第２の差分データにそれぞれ２種類ずつの係数を乗算して得られた値の差から２つの色差信号を生成する色差生成工程とを含み、
さらに、前記輝度生成工程は、複数個単位の画素データを加算して前記輝度信号を生成する際に、各単位の画素データを所定の個数分ずらした関係の位置からサンプリングを行うことを特徴とする信号処理方法。
むことを特徴とする信号処理方法。 - 請求項11に記載の方法において、前記輝度生成工程は、算出の際に加算する各画素データに乗算する係数として前記色分解する際に適用する各色フィルタの感度比とすることを特徴とする信号処理方法。
- 請求項11に記載の方法において、前記サンプリングは、前記画素データを３つずつまとめた複数個単位とし、次の複数個単位のサンプリングに際して各単位の画素データを２個分ずらした位置の画素データから行うことを特徴とする信号処理方法。
- 請求項11または12に記載の方法において、前記画像信号生成工程は、複数の混合した信号電荷をディジタル化して順次供給される画素データに対して起点とする画素データの後に供給される画素データを複数個ずつサンプルホールドする信号保持工程と、
該信号保持工程の保持した各画素データに対して係数を個々に乗算して得られる値の総和の平均を行って三原色RGB をそれぞれ生成するマトリクス工程と、
該マトリクス工程で得られた三原色RGB に対してガンマ補正を行う補正工程と、
該補正工程で補正した三原色RGB を用いて輝度信号および色差信号を生成する色差マトリクス工程とを含むことを特徴とする信号処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25713999A JP4294810B2 (ja) | 1999-09-10 | 1999-09-10 | 固体撮像装置および信号読出し方法 |
| US09/657,819 US6795119B1 (en) | 1999-09-10 | 2000-09-08 | Solid-state image pickup apparatus for producing image signals with pixel signals mixed in a horizontal direction and a signal reading method for the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25713999A JP4294810B2 (ja) | 1999-09-10 | 1999-09-10 | 固体撮像装置および信号読出し方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001086519A JP2001086519A (ja) | 2001-03-30 |
| JP2001086519A5 JP2001086519A5 (ja) | 2005-06-16 |
| JP4294810B2 true JP4294810B2 (ja) | 2009-07-15 |
Family
ID=17302267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25713999A Expired - Fee Related JP4294810B2 (ja) | 1999-09-10 | 1999-09-10 | 固体撮像装置および信号読出し方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6795119B1 (ja) |
| JP (1) | JP4294810B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7218348B2 (en) * | 2000-06-02 | 2007-05-15 | Fujifilm Corporation | Solid-state electronic imaging device and method of controlling opertion thereof |
| WO2002093939A1 (fr) | 2001-05-15 | 2002-11-21 | Matsushita Electric Industrial Co., Ltd. | Dispositif d'imagerie et procede de traitement de signaux associe |
| JP4307780B2 (ja) | 2002-03-07 | 2009-08-05 | 富士フイルム株式会社 | 固体撮像装置およびその信号読出し方法 |
| US20040041917A1 (en) * | 2002-08-28 | 2004-03-04 | Logitech Europe S.A. | Digital camera with automatic audio recording background |
| JP2004229119A (ja) * | 2003-01-24 | 2004-08-12 | Matsushita Electric Ind Co Ltd | Ｍｏｓ型固体撮像素子およびこれを備えた撮像装置 |
| US7554590B2 (en) * | 2003-02-26 | 2009-06-30 | Digital Imaging Systems Gmbh | Simultaneous readout of CMOS APS imagers |
| JP2006287464A (ja) * | 2005-03-31 | 2006-10-19 | Fuji Photo Film Co Ltd | 固体撮像装置及び固体撮像装置の動作方法 |
| KR100566564B1 (ko) * | 2005-04-25 | 2006-03-31 | 엠텍비젼 주식회사 | 색 온도 검출 방법 및 장치 |
| JP4600315B2 (ja) * | 2006-03-01 | 2010-12-15 | ソニー株式会社 | カメラ装置の制御方法及びこれを用いたカメラ装置 |
| KR101496460B1 (ko) * | 2008-06-05 | 2015-02-26 | 엘지전자 주식회사 | 이미지 센서 출력 제어장치 및 방법 |
| JP5812475B2 (ja) * | 2010-08-06 | 2015-11-11 | 株式会社日立国際電気 | 撮像方法および撮像装置 |
| EP3104608B1 (en) * | 2014-03-06 | 2020-09-09 | Samsung Electronics Co., Ltd. | Image decoding method and device therefor, and image encoding method and device therefor |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5410349A (en) * | 1990-07-06 | 1995-04-25 | Fuji Photo Film Co., Ltd. | Solid-state image pick-up device of the charge-coupled device type synchronizing drive signals for a full-frame read-out |
| JP2817581B2 (ja) * | 1993-08-02 | 1998-10-30 | 日本電気株式会社 | 固体撮像装置 |
| JP2865019B2 (ja) * | 1995-05-31 | 1999-03-08 | 日本電気株式会社 | 電荷転送固体撮像装置の駆動方法 |
| US5844598A (en) * | 1996-01-17 | 1998-12-01 | Pixel Vision, Inc. | CCD based optical detector for a confocal microscope |
| JP3830590B2 (ja) | 1996-10-30 | 2006-10-04 | 株式会社東芝 | 固体撮像装置 |
| US6452634B1 (en) * | 1996-12-26 | 2002-09-17 | Sony Corporation | Charge transfer device and method of driving the same, and solid state imaging device and method of driving the same |
| JPH10248068A (ja) * | 1997-03-05 | 1998-09-14 | Canon Inc | 撮像装置及び画像処理装置 |
-
1999
- 1999-09-10 JP JP25713999A patent/JP4294810B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-08 US US09/657,819 patent/US6795119B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6795119B1 (en) | 2004-09-21 |
| JP2001086519A (ja) | 2001-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP4378804B2 (ja) | 撮像装置 | |
| JP4142340B2 (ja) | 撮像装置 | |
| US7349016B2 (en) | Solid-state color imaging apparatus capable of reducing false signals with regard to both luminance and chrominance | |
| JP3877565B2 (ja) | 撮像装置 | |
| EP0469836B1 (en) | Image signal processing apparatus | |
| JPH0946715A (ja) | 撮像装置 | |
| JP2004064165A (ja) | 撮像装置および撮像方法 | |
| JP2003264844A (ja) | 固体撮像装置およびその信号読出し方法 | |
| JP4600315B2 (ja) | カメラ装置の制御方法及びこれを用いたカメラ装置 | |
| US20040263652A1 (en) | Image-taking apparatus and solid-state image-taking element | |
| JP4294810B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP3854662B2 (ja) | 撮像装置 | |
| JP3967853B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
| JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JPH048992B2 (ja) | ||
| JP2004194248A (ja) | 撮像素子及び撮像装置 | |
| JP2006041867A (ja) | 画像処理方法および画像処理装置並びに撮像装置およびタイミング制御装置 | |
| JP2005020276A (ja) | 固体撮像素子および撮像装置 | |
| JP3535623B2 (ja) | カラー撮像装置 | |
| JP3905342B2 (ja) | 固体撮像装置 | |
| JP3999417B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP3849230B2 (ja) | 信号処理装置 | |
| JP2845602B2 (ja) | カラー固体撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040922 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040922 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090409 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |