JP2008288649A - Image pickup apparatus and method of correcting captured image data - Google Patents
Image pickup apparatus and method of correcting captured image data Download PDFInfo
- Publication number
- JP2008288649A JP2008288649A JP2007128853A JP2007128853A JP2008288649A JP 2008288649 A JP2008288649 A JP 2008288649A JP 2007128853 A JP2007128853 A JP 2007128853A JP 2007128853 A JP2007128853 A JP 2007128853A JP 2008288649 A JP2008288649 A JP 2008288649A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- horizontal
- line
- pixels
- solid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
Description
この発明は、例えばＣＭＯＳイメージャなどの固体撮像素子を備える撮像装置、および、当該撮像装置からの撮像データの補正方法に関する。 The present invention relates to an imaging device including a solid-state imaging device such as a CMOS imager, and a method for correcting imaging data from the imaging device.
固体撮像素子、特に、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャなどのＸ−Ｙアドレス型の固体撮像素子を使った撮像装置においては、その読み出し方法に起因した「縦筋状固定パターンノイズ」という大きな問題がある。 In an imaging apparatus using an XY address type solid-state imaging device such as a solid-state imaging device, especially a CMOS (Complementary Metal Oxide Semiconductor) imager, a big problem of “vertical streak-like fixed pattern noise” caused by the reading method. There is.
すなわち、例えばＣＭＯＳイメージャからなる固体撮像素子は、例えば図１９に示すように、点線で囲んで示す画素の多数個が水平方向および垂直方向にマトリクス状に配列されたものである。図１９では、便宜上、水平方向×垂直方向＝２×２の構成を示している。各画素は、フォトダイオードからなる受光部１０１と、画素トランジスタ１０２とを備える。
That is, for example, as shown in FIG. 19, for example, a solid-state imaging device composed of a CMOS imager has a large number of pixels surrounded by dotted lines arranged in a matrix in the horizontal and vertical directions. FIG. 19 shows a configuration of horizontal direction × vertical direction = 2 × 2 for convenience. Each pixel includes a
そして、画素の各行（水平方向の複数の画素；ライン）を順に選択するための垂直走査回路１０３と、画素の各列（垂直方向の複数の画素；コラム）を順に選択するための水平走査回路１０４と、信号出力回路１０５とを備えている。垂直走査回路１０３および水平走査回路１０４は、シフトレジスタにより構成され、垂直走査パルスおよび水平走査パルスを、１ライン毎および１コラム毎に、順次に発生するものとされている。
A
そして、各ラインの画素トランジスタ１０２のゲートは、水平信号線１０６のそれぞれに接続され、また、各コラムの画素トランジスタ１０２のソースは、垂直信号線１０７のそれぞれに接続されている。
The gates of the
垂直信号線１０７のそれぞれは、画素毎のオフセット信号を除去するための相関二重サンプリング回路（ＣＤＳ）１０８および水平スイッチトランジスタ１０９のそれぞれに接続される。そして、水平スイッチトランジスタ１０９のゲートに、水平走査回路１０４からの水平走査パルスが順次に供給される。また、水平スイッチトランジスタ１０９のソースは、共通に接続されて、その接続点が信号出力回路１０５の入力端に接続される。
Each of the
各画素に蓄積された画素信号の読み出しに際しては、垂直走査回路１０３からの垂直走査パルスが１本の水平信号線に加えられ、当該水平信号線に接続されている画素トランジスタ１０２の全てが導通状態になって、受光部１０１からの画素信号が、垂直信号線１０７に読み出される。
When reading out the pixel signal stored in each pixel, a vertical scanning pulse from the
水平走査回路１０４は、垂直信号線１０７に接続されている水平スイッチトランジスタ１０９に順次に水平走査パルスを供給して、当該水平スイッチトランジスタ１０９を導通状態にする。そして、導通状態になった水平スイッチトランジスタ１０９を介して、ＣＤＳ１０８によりオフセットが除去された画素信号が信号出力回路１０５に入力され、電圧信号により変換されて、外部に出力される。
The
このようなＸ−Ｙアドレス型の固体撮像素子では、信号出力回路１０５から出力される画素信号は、コラム毎に垂直信号線が異なるため、ＣＤＳ１０８や水平スイッチトランジスタ１０９などにばらつきがあると、コラム毎に異なるオフセットが画素信号に乗ってします。このコラム毎のオフセットは、表示画面上で縦筋状の固定パターンノイズとして現れ、画質が劣化する。
In such an XY address type solid-state imaging device, the pixel signal output from the
この縦筋状の固定パターンノイズを補正する技術が、例えば特許文献１や特許文献２に開示されている。
Techniques for correcting this vertical streak-like fixed pattern noise are disclosed in
これらに開示されている技術は、固体撮像素子の有効画素領域の周囲の遮光部分である枠領域（この遮光領域は、ＯＰＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ：黒レベルを決めるために配置されている）領域と称される）の画素からの画素信号を、各列（コラム）毎に積分することで、各コラム毎のオフセット量（バラツキ）を検出し、検出された各コラム毎のオフセット量を、有効画素領域の対応する各コラムの画素信号から減算することで、縦筋状の固定パターンノイズを補正するというものである。 The techniques disclosed in these are referred to as a frame region that is a light-shielding portion around the effective pixel region of the solid-state imaging device (this light-shielding region is arranged to determine an OPB (Optical Black: black level)). Is integrated for each column (column) to detect an offset amount (variation) for each column, and the detected offset amount for each column is determined as an effective pixel region. The vertical streak fixed pattern noise is corrected by subtracting from the corresponding pixel signal of each column.
上述した特許文献１，２に開示されている各コラム毎のオフセット量の検出および補正方法は、各コラム毎に、当該コラムに含まれる全画素の画素特性および読み出し特性が共通という大前提の元で成り立つものである。
The method of detecting and correcting the offset amount for each column disclosed in
ところで、近年、ビデオカメラやデジタルスチルカメラ用に用いられるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージャやＣＭＯＳイメージャなどの固体撮像素子には、一層の高画素数化と小型化が同時に要求されている。小型化を保ちつつ高画素数化を進めると、当然のことながら１画素あたりの面積が小さくなるために画素感度の減少が懸念される。 In recent years, solid-state imaging devices such as CCD (Charge Coupled Device) imagers and CMOS imagers used for video cameras and digital still cameras are required to have higher pixel counts and smaller sizes at the same time. If the number of pixels is increased while maintaining the size reduction, the area per pixel is naturally reduced, and there is a concern that the pixel sensitivity may decrease.
この問題を解決するために、従来は、回路・配線レイアウトの工夫あるいは製造プロセスの進化等によって、固体撮像素子の画素構成（フォトダイオードと、増幅トランジスタやリセットトランジスタなどを含む周辺回路からなる）におけるフォトダイオード部の占める割合をできるだけ大きくすることで、高画素数化と小型化の両立を図ってきた。 In order to solve this problem, in the past, in a pixel configuration of a solid-state imaging device (consisting of a photodiode, a peripheral circuit including an amplification transistor, a reset transistor, etc.) by devising a circuit / wiring layout or an evolution of a manufacturing process, etc. By increasing the proportion of the photodiode portion as much as possible, we have attempted to achieve both high pixel count and miniaturization.
しかしながら、固体撮像素子に対する近年の高画素数化と小型化の要求はますます強まり、同時に低照度における高画質化も注目されてきており、もはや上記対応だけでは、画質として満足できる画素感度を得る固体撮像素子を提供することが事実上不可能になってきている。 However, the recent demand for higher pixel count and smaller size for solid-state imaging devices has increased, and at the same time, higher image quality at low illuminance has attracted attention. It has become virtually impossible to provide a solid-state imaging device.
そこで、固体撮像素子におけるこの問題を回避するための技術として、画素を構成するために必要な回路の一部分、例えば増幅用トランジスタやリセット用トランジスタを、水平方向および／または垂直方向に隣接または近接する複数の画素の間で共有させることにより、１画素当たりの回路（配線を含む）を減らし、その減らした分だけ受光用フォトダイオードに割り当てる面積を大きくして、画素の感度を稼ぐ技術が注目されている（以降、この技術を画素共有技術と呼ぶ）。 Therefore, as a technique for avoiding this problem in the solid-state imaging device, a part of a circuit necessary for constituting a pixel, for example, an amplifying transistor and a resetting transistor are adjacent to or adjacent to each other in the horizontal direction and / or the vertical direction. A technology that increases the sensitivity of pixels by reducing the number of circuits (including wiring) per pixel by increasing the area allocated to the light-receiving photodiode by reducing the number of circuits (including wiring) shared by multiple pixels is drawing attention. (Hereinafter, this technology is referred to as pixel sharing technology).
例えば特許文献３（特許第３８３８６６５号公報）では、画素からの画素データの読出しに必要な増幅用トランジスタおよびリセット用トランジスタを、隣接する２個の画素で共有化し、当該増幅用トランジスタおよびリセット用トランジスタに接続されている２個の画素を時間をずらして順に選択することで、それぞれの画素から画素データを読み出すことで、１画素あたりのトランジスタ数を削減し、その分をフォトダイオードの面積に回すことで、画素の感度向上を実現する画素共有技術が開示されている。 For example, in Patent Document 3 (Japanese Patent No. 3838665), an amplification transistor and a reset transistor necessary for reading pixel data from a pixel are shared by two adjacent pixels, and the amplification transistor and the reset transistor are shared. By sequentially selecting two pixels connected to each other at different times, pixel data is read out from each pixel, thereby reducing the number of transistors per pixel and turning that amount to the area of the photodiode. Thus, a pixel sharing technique that improves the sensitivity of the pixel is disclosed.
ところで、画素共有技術を用いない一般的な固体撮像素子は、全ての画素が画一的に構成されるのが通常である。すなわち、一般的な固体撮像素子の画素構成は、画面のどの位置の画素をみても常に同じである。このため、一般的な固体撮像素子では、画素毎のフォトダイオードの、半導体構造上の周辺環境も、全ての画素で同じとなり、製造上のバラツキの要因を除けば、基本的には、光学的特性は全画素で共通といえる。 By the way, in a general solid-state imaging device that does not use the pixel sharing technique, all the pixels are usually configured uniformly. That is, the pixel configuration of a general solid-state imaging device is always the same regardless of the pixel at any position on the screen. For this reason, in a general solid-state image sensor, the peripheral environment on the semiconductor structure of the photodiode for each pixel is the same for all pixels, and basically, except for the factor of manufacturing variation, it is basically optical. The characteristics are common to all pixels.
しかしながら、上記特許文献３を始めとする「画素共有技術」を適用した固体撮像素子では、隣接あるいは近接する複数の画素間で回路を共有利用させるために、回路を共有する複数の画素を一つの単位として考えた場合には、当該単位は全て同じ構成となるが、当該単位内の各画素においては、当該単位内における画素配列位置により、半導体構造上の周辺環境が異なる。このために、画素共有技術を用いる固体撮像素子では、回路を共有する複数の画素の配列パターンに応じた繰り返しパターンをもって回路レイアウトが形成されることになる。
However, in the solid-state imaging device to which the “pixel sharing technology” including the above-mentioned
すなわち、回路を共有する複数の画素を単位としたとき、固体撮像素子上では、当該単位が、水平方向および垂直方向に、複数個、繰り返し配列されるものであるが、それら複数個の単位において、単位内の複数の画素の配列パターン上で同じ位置になる画素は、そのフォトダイオードの、半導体構造上の周辺環境配置は同一のものとなるため、光学的特性も揃うことになる。 That is, when a plurality of pixels sharing a circuit are used as a unit, a plurality of the units are repeatedly arranged in the horizontal direction and the vertical direction on the solid-state imaging device. The pixels at the same position on the arrangement pattern of a plurality of pixels in the unit have the same peripheral environment arrangement on the semiconductor structure of the photodiode, and therefore have the same optical characteristics.
しかし、回路を共有する複数の画素単位内の、当該画素の配列パターン上で異なる位置になる画素間、すなわち、前記単位内の隣接画素または近接画素間では、回路・レイアウトが異なるため、画素のフォトダイオードの半導体構造上の周辺環境配置も異なり、それら画素の画素特性がそれぞれ異なったものになることは避けられない。 However, since the circuit and layout are different between pixels at different positions on the arrangement pattern of the pixels in a plurality of pixel units sharing a circuit, that is, between adjacent pixels or adjacent pixels in the unit, The peripheral environment arrangement on the semiconductor structure of the photodiode is also different, and it is inevitable that the pixel characteristics of the pixels are different from each other.
このため、「画素共有技術」を適用した固体撮像素子で、全画面均一の被写体を撮像したとしても、前記単位内の隣接画素間で画素データ出力値が異なることになり、最終出力画像の品質が著しく低下してしまうという問題が発生する。 For this reason, even if a solid-state image sensor to which the “pixel sharing technology” is applied is used to capture an image of a subject that is uniform on the entire screen, the pixel data output value differs between adjacent pixels in the unit, and the quality of the final output image This causes a problem that the remarkably decreases.
以上のような画素共有技術にまつわる上記の問題を、回避するために、従来は、
Ａ．画素レイアウトの工夫により、できるだけ光学的不均一性を軽減する
Ｂ．光学的不均一性が発生しても、出力画像に影響を与えないような組み合わせで画素共有させる
といった、固体撮像装置側の画素構造を工夫した技術が、特許文献４（特開２００４−１７２９５０号公報）、特許文献５（特開２０５−１１０１０４号公報）、特許文献６（特開２００６−７３７３３号公報）、特許文献７（特開２００６−１５７９５３号公報）など、多数開示されている。
A. Reduce optical non-uniformity as much as possible by devising pixel layout. Patent Document 4 (Japanese Patent Application Laid-Open No. 2004-172950) discloses a technique for devising the pixel structure on the solid-state imaging device side such that pixels are shared in a combination that does not affect the output image even if optical non-uniformity occurs. Publication No.), Patent Literature 5 (Japanese Patent Laid-Open No. 205-110104), Patent Literature 6 (Japanese Patent Laid-Open No. 2006-73733), Patent Literature 7 (Japanese Patent Laid-Open No. 2006-15753), and the like.
前述したように、特許文献１，２に開示されている縦筋状の固定パターンノイズ補正方法は、各コラム毎に、当該コラムに含まれる全画素の画素特性および読み出し特性が共通という大前提の元で成り立つものである。
As described above, the vertical streaky fixed pattern noise correction methods disclosed in
このため、上述した画素共有技術を適用した固体撮像装置においても、上記の特許文献４〜７に開示されている技術を用いて、共有画素のそれぞれについての画素特性のばらつきをなくすようにする必要がある。
For this reason, even in a solid-state imaging device to which the above-described pixel sharing technique is applied, it is necessary to eliminate variations in pixel characteristics for each of the shared pixels by using the techniques disclosed in
しかしながら、前述したように、上記特許文献４〜７などに開示されている技術は、いずれも、固体撮像素子側の画素構造を工夫したものである。このため、例えば、上記Ａによる画素構造の工夫では、回路を共有する複数の画素（以下、回路を共有する複数の画素を共有画素と称する）の光学的不均一性を軽減させることはできても、完全になくすことはできない。
However, as described above, all of the techniques disclosed in
このため、画素共有技術を適用した固体撮像装置においては、従来は、共有画素を構成する複数の画素のそれぞれの画素特性のばらつきのために、縦筋状の固定パターンノイズを完全に補正することができず、縦筋状の固定パターンノイズが残留してしまうという問題があった。特に、低照度時等、ゲインが高い場合には、この縦筋状の固定パターンノイズは非常に問題となる。 For this reason, in a solid-state imaging device to which pixel sharing technology is applied, conventionally, vertical streak fixed pattern noise is completely corrected due to variations in pixel characteristics of a plurality of pixels constituting the shared pixel. However, there is a problem that the vertical streaky fixed pattern noise remains. In particular, when the gain is high, such as when the illuminance is low, this vertical streak fixed pattern noise becomes a serious problem.
また、共有画素のそれぞれについての画素特性のばらつきをなくすようにする、上記Ａの方法または上記Ｂの方法のいずれの場合も、画素構成、レイアウト、あるいは、画素データの読出し構成にまで、固体撮像素子に対して、大きな制約を課すことになり、延いては、当該ＡまたはＢの方法を適用した固体撮像素子の出力を処理する撮像装置全体に対しても大きな制約を課すことになってしまうという問題もある。 Further, in any case of the above method A or B, which eliminates variations in pixel characteristics for each of the shared pixels, solid-state imaging up to the pixel configuration, layout, or pixel data readout configuration A large restriction is imposed on the element, and accordingly, a large restriction is also imposed on the entire imaging apparatus that processes the output of the solid-state imaging element to which the method A or B is applied. There is also a problem.
この発明は、上記の問題点を回避して、画素共有画素技術を適用した固体撮像素子についても、縦筋状の固定パターンノイズを、より軽減することができるようにした撮像装置を提供することを目的とする。 The present invention provides an imaging apparatus that avoids the above-described problems and can further reduce the vertical streak-like fixed pattern noise even in a solid-state imaging device to which the pixel sharing pixel technology is applied. With the goal.
上記の課題を解決するために、この発明による撮像装置は、
２次元アレイ状に配列される複数の画素を、画素の配列パターンが同一となる所定の複数個の画素ずつを１組みとし、各１組みを構成する前記所定の複数個の画素に対して画素構成に必要な回路を共有する構成とされた固体撮像素子と、
前記画素構成に必要な回路を共有する前記所定の複数個の画素によって形成される水平方向の画素の配列パターンが互いに異なる水平ライン数に応じた数であって、前記水平方向の画素の配列パターンが異なる水平ラインのそれぞれに対応して設けられるラインメモリと、
前記固体撮像素子の有効領域の周囲の遮光領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、当該水平方向の画素の配列パターンの水平ラインに対応するラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記対応するラインメモリに書き込まれている画素データの平均値により補正する検出補正手段と、
を備えることを特徴とする。
In order to solve the above problems, an imaging apparatus according to the present invention provides:
A plurality of pixels arranged in a two-dimensional array is formed as a set of a plurality of predetermined pixels having the same pixel arrangement pattern, and the pixels corresponding to the predetermined plurality of pixels constituting each set A solid-state imaging device configured to share a circuit necessary for the configuration;
The horizontal pixel array pattern formed by the predetermined plurality of pixels sharing a circuit necessary for the pixel configuration is a number corresponding to the number of different horizontal lines, and the horizontal pixel array pattern A line memory provided corresponding to each of the different horizontal lines,
In a light shielding region around the effective region of the solid-state imaging device, an average value of pixel data included in the horizontal line is detected for each horizontal line having a different horizontal pixel arrangement pattern, and the detected pixel data The average value is written in the line memory corresponding to the horizontal line of the horizontal pixel array pattern, and in the effective area of the solid-state image sensor, the horizontal pixel array pattern is different for each horizontal line. Detecting and correcting means for correcting the pixel data of the horizontal line by an average value of the pixel data written in the corresponding line memory;
It is characterized by providing.
上述の構成のこの発明による撮像装置においては、共有画素により形成される水平方向の画素の配列パターンが互いに異なる水平ライン数だけ、ラインメモリが設けられる。そして、それぞれのラインメモリは、水平方向の画素の配列パターンが異なる水平ラインのそれぞれに対応するようにされ、遮光領域において、対応する配列パターンの水平ラインの画素データの平均値が書き込まれる。 In the imaging device according to the present invention having the above-described configuration, the line memories are provided by the number of horizontal lines having different horizontal pixel array patterns formed by the shared pixels. Each line memory corresponds to each horizontal line having a different pixel arrangement pattern in the horizontal direction, and an average value of pixel data of the horizontal line of the corresponding arrangement pattern is written in the light shielding region.
そして、有効領域においては、水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データが、対応するラインメモリに書き込まれている画素データの平均値により補正される。 In the effective region, the pixel data of each horizontal line is corrected by the average value of the pixel data written in the corresponding line memory for each horizontal line having a different horizontal pixel arrangement pattern.
これにより、この発明によれば、画素共有技術が適用された固体撮像素子においても、縦筋状の固定パターンノイズが補正される。 Thus, according to the present invention, vertical streak-like fixed pattern noise is corrected even in a solid-state imaging device to which the pixel sharing technique is applied.
この発明によれば、画素共有技術が適用された固体撮像素子においても、固体撮像素子側の画素構造を工夫することなく、縦筋状の固定パターンノイズを補正することができる。 According to the present invention, even in the solid-state imaging device to which the pixel sharing technique is applied, it is possible to correct the vertical streak fixed pattern noise without devising the pixel structure on the solid-state imaging device side.
以下、この発明による撮像装置の実施形態を、図を参照しながら説明する。 Hereinafter, embodiments of an imaging apparatus according to the present invention will be described with reference to the drawings.
［第１の実施形態］
図１は、この実施形態の撮像装置１０の要部の構成例を示すブロック図であり、撮像レンズを備える光学系１と、固体撮像素子の例としてのＣＭＯＳイメージャ２と、アナログ信号処理部３と、デジタル信号処理部４と、カメラ制御マイクロコンピュータ（マイクロコンピュータはマイコンと略称する）５と、手ぶれセンサ６と、レンズ駆動用ドライバ部７と、ヒューマンインターフェースマイコン８と、ユーザーインターフェース９とを備えている。
[First Embodiment]
FIG. 1 is a block diagram illustrating a configuration example of a main part of an
光学系１は、手ぶれを補正するために撮像レンズを位置調整するためのアクチュエータを備える。このアクチュエータは、レンズ駆動用ドライバ部７からのレンズ駆動信号により駆動制御される。
The
ＣＭＯＳイメージャ２は、水平方向および垂直方向に多数個の画素が配列されたものであると共に、画素共有技術が適用されたものであり、また、カラー画像を得るために、色フィルタが、光入射側に配置されているものである。
The
図２は、このＣＭＯＳイメージャ２における画素配列と色フィルタとの例を示すものである。図２（Ａ）は、いわゆるベイヤー配列を示すもので、矩形の画素Ｐｓが、水平方向および垂直方向に多数個配列されると共に、１つ置きの水平方向の画素の行では、赤Ｒと緑Ｇの色フィルタが、交互に画素に対向するように配され、残りの１つ置きの水平方向の画素の行では、青Ｂと緑Ｇの色フィルタが、交互に画素に対抗するように配され、かつ、赤Ｒと青Ｂの色フィルタが配される画素が、垂直方向の画素の１列に含まれないように配されたものである。
FIG. 2 shows an example of a pixel array and a color filter in the
図２（Ｂ）および（Ｃ）は、ひし形形状の画素Ｐｄを、水平方向および垂直方向に多数個、配列したものである。これは、見かけ上の画素ピッチを、水平方向および垂直方向において、図２（Ａ）のベイヤー配列の場合よりも短くすることができる画素配置例である。ただし、図示のように、色フィルタの配置が、図２（Ｂ）と図２（Ｃ）とで異なるものである。 2B and 2C show a large number of rhombus-shaped pixels Pd arranged in the horizontal and vertical directions. This is an example of a pixel arrangement in which the apparent pixel pitch can be made shorter in the horizontal direction and the vertical direction than in the case of the Bayer array in FIG. However, as illustrated, the arrangement of the color filters is different between FIG. 2B and FIG. 2C.
すなわち、図２（Ｂ）の画素配列例では、１つ置きの水平方向の画素の行では、赤Ｒと青Ｂの色フィルタが交互に画素に対向し、かつ、赤Ｒと青Ｂの色フィルタが、垂直方向にも交互に画素に対向するように配されると共に、残りの１つ置きの水平方向の画素の行では、緑Ｇの色フィルタのみが、画素に対抗するように配されたものである。 That is, in the pixel arrangement example of FIG. 2B, in every other horizontal pixel row, the red R and blue B color filters alternately face the pixels, and the red R and blue B colors. The filters are arranged so as to alternately oppose the pixels in the vertical direction, and only the green G color filter is arranged to oppose the pixels in every other horizontal row of pixels. It is a thing.
そして、図２（Ｃ）の画素配列例は、１つ置きの水平方向の画素の行では、赤Ｒと緑Ｇの色フィルタが交互に画素に対向するように配された行と、青Ｂと緑Ｇの色フィルタが交互に画素に対抗するように配された行とが１行置きになるようにされると共に、残りの１つ置きの水平方向の画素の行では、緑Ｇの色フィルタのみが、画素に対抗するように配され、かつ、赤Ｒと青Ｂの色フィルタが配される画素が、垂直方向の画素の１列に含まれないように配されたものである。 2C, in every other horizontal pixel row, red R and green G color filters are arranged so as to alternately face the pixels, and blue B And green G color filters are alternately arranged in rows opposite to the pixels, and every other horizontal row of pixels has a green G color. Only the filters are arranged so as to oppose the pixels, and the pixels where the red R and blue B color filters are arranged are arranged so as not to be included in one column of pixels in the vertical direction.
以上は、いわゆる単板の固体撮像素子の構成の場合の例であるが、図２（Ｄ）および図２（Ｅ）に示すように、赤Ｒ、緑Ｇ、青Ｂのそれぞれ毎に、１個の固体撮像素子Ｉｒ，Ｉｇ，Ｉｂが設けられる３板の構成とするようにすることもできる。図２（Ｄ）は、図２（Ａ）の場合と同様に、矩形の画素が水平方向および垂直方向に多数個配列される固体撮像素子が用いられる場合であり、また、図２（Ｅ）は、図２（Ｂ），（Ｃ）の場合と同様に、ひし形の画素が水平方向および垂直方向に多数個配列される固体撮像素子が用いられる場合である。 The above is an example in the case of a so-called single-plate solid-state imaging device. As shown in FIGS. 2D and 2E, each of red R, green G, and blue B is 1 for each. A three-plate configuration in which the solid-state imaging devices Ir, Ig, and Ib are provided may be employed. FIG. 2D shows a case where a solid-state imaging device in which a large number of rectangular pixels are arranged in the horizontal direction and the vertical direction is used, as in FIG. 2A. Also, FIG. Is a case where a solid-state imaging device in which a large number of rhombus pixels are arranged in the horizontal direction and the vertical direction is used, as in the case of FIGS. 2B and 2C.
この例のＣＭＯＳイメージャ２としては、図２（Ａ）〜（Ｅ）のいずれの構成とすることも可能であるが、この実施形態では、説明の簡単のため、図２（Ａ）のベイヤー配列の場合とする。
The
そして、この実施形態では、ＣＭＯＳイメージャ２からの出力は、例えば１チャンネルとされる。このＣＭＯＳイメージャからの１チャンネル読み出しの方法は、図３に示すような形で行われるものとする。つまり、図３に示すように、ＣＭＯＳイメージャの多数の画素Ｐｓについて、その１行ずつ、左から順に一つのチャンネルで画素データを並列に読み出し、１画面に渡って横方向に走査していき、１水平ライン分の全てを読み終えたところで次の行に移り、同様に横方向に走査しながら１画面全部を読み出していく。
In this embodiment, the output from the
すなわち、この場合、ＣＭＯＳイメージャ２からの出力画素シーケンスは、画素配列を横方向に走査した順番そのものとなる。
That is, in this case, the output pixel sequence from the
一般に、ＣＭＯＳイメージャは、上述した１チャンネル読み出しだけでなく、多チャンネルの並列読み出しにも適しているが、この発明は、こういった読出し方式に本質的に左右されるものではない。そして、この実施形態においては、説明の都合上、読み出しについては図３に示したような読み出しシーケンスの場合の例について説明するが、もちろん、この発明の適用は、この読み出し形式に限ったものではなく、以下に説明する実施形態を、適宜、他の読み出し形式に適用すればよい。 In general, the CMOS imager is suitable not only for the one-channel reading described above but also for the multi-channel parallel reading, but the present invention is not essentially dependent on such a reading method. In this embodiment, for the sake of explanation, an example of the reading sequence as shown in FIG. 3 will be described for reading. Of course, the application of the present invention is not limited to this reading format. Instead, the embodiment described below may be applied to other readout formats as appropriate.
この実施形態のＣＭＯＳイメージャ２は、前述した画素共有技術が適用された画素構造となっている。図４（Ａ）、図４（Ｂ）および図４（Ｃ）として、共有画素の配列パターンの３つの例を示す。
The
図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、上段は、ＣＭＯＳイメージャ２における共有画素の配列パターンを示しており、図上、太線で結んだ複数個の画素が共有画素である。
In each of FIG. 4A, FIG. 4B, and FIG. 4C, the upper stage shows an array pattern of shared pixels in the
図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、中段は、共有画素の画素配列パターン内における各画素位置毎の識別子（共有画素ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と称することとする）を示している。 In each of FIGS. 4A, 4B, and 4C, the middle stage is referred to as an identifier (shared pixel ID (Identification)) for each pixel position in the pixel arrangement pattern of the shared pixels. ).
また、図４（Ａ）、図４（Ｂ）および図４（Ｃ）のそれぞれにおいて、下段は、ＣＭＯＳイメージャ２からの出力画素シーケンスを共有画素ＩＤで表したものである。この下段の共有画素ＩＤの出力シーケンスは、共有画素の配列パターンにのみ着目した場合であり、各画素に対応する色フィルタの違いについては、ここでは考慮していない。なお、当該下段の記載において、１Ｈ，２Ｈ，３Ｈ、・・・におけるＨは、水平方向の行、つまり水平ラインを表している。
Further, in each of FIGS. 4A, 4B, and 4C, the lower stage represents an output pixel sequence from the
図４（Ａ）の例は、垂直方向の２個の画素が共有画素とされる場合である。すなわち、この例においては、互いに隣接する２水平ラインの上下の２画素が共有画素となる。したがって、共有画素ＩＤは、中段に示すように、各水平ライン毎に、「０」と「１」とが交互に出現するものとなる。そして、共有画素ＩＤで表される画素出力シーケンスは、下段に示すように、ある水平ラインで、全ての画素出力に対して「０」が出力されるものとなり、次に、水平ラインで、全ての画素出力に対して「１」が出力されるものとなる。 The example of FIG. 4A is a case where two pixels in the vertical direction are shared pixels. That is, in this example, two pixels above and below two horizontal lines adjacent to each other are shared pixels. Accordingly, as shown in the middle row, the shared pixel ID has “0” and “1” appearing alternately for each horizontal line. In the pixel output sequence represented by the shared pixel ID, as shown in the lower part, “0” is output for all pixel outputs in a certain horizontal line, and then all in the horizontal line. “1” is output with respect to the pixel output.
図４（Ｂ）の例も、垂直方向の２個の画素が共有画素とされる場合であるが、この例の場合には、水平方向の１画素毎に、共有画素が、垂直方向に１画素分ずれた画素位置のものとされている。したがって、共有画素ＩＤは、中段に示すように、各水平ラインにおいて、画素毎に、「０」と「１」とが交互に出現するものとなり、かつ、隣接する水平ラインで、「０」と「１」との交互出現順序が逆になるものとなる。そして、共有画素ＩＤで表される画素出力シーケンスも、下段に示すように、各水平ラインにおいて、画素毎に、「０」と「１」とが交互に出現するものとなり、かつ、隣接する水平ラインで、「０」と「１」との交互出現順序が逆になるものとなる。 The example of FIG. 4B is also a case where two pixels in the vertical direction are shared pixels. In this example, one pixel is shared in the vertical direction for each pixel in the horizontal direction. The pixel position is shifted by the amount of pixels. Therefore, as shown in the middle row, the shared pixel ID is such that “0” and “1” appear alternately for each pixel in each horizontal line, and “0” in the adjacent horizontal line. The alternating appearance order with “1” is reversed. In the pixel output sequence represented by the shared pixel ID, “0” and “1” appear alternately for each pixel in each horizontal line as shown in the lower part, and adjacent horizontal lines are also displayed. In the line, the alternating appearance order of “0” and “1” is reversed.
図４（Ｃ）の例は、垂直方向の４個のジグザグの配置位置の画素が、共有画素とされる場合である。したがって、共有画素ＩＤは、中段に示すように、４水平ライン毎に、「０」、「１」、「２」、「３」が出現するものとなる。そして、共有画素ＩＤで表される画素出力シーケンスも、下段に示すように、４水平ライン毎に、「０」、「１」、「２」、「３」が出現するものとなる。 The example of FIG. 4C is a case where the pixels at the four zigzag arrangement positions in the vertical direction are shared pixels. Therefore, as shown in the middle row, “0”, “1”, “2”, and “3” appear in the shared pixel ID every four horizontal lines. In the pixel output sequence represented by the shared pixel ID, “0”, “1”, “2”, and “3” appear every four horizontal lines as shown in the lower part.
この実施形態のＣＭＯＳイメージャ２における共有画素配列パターンとしては、図４（Ａ），（Ｂ），（Ｃ）のいずれであってもよく、この実施形態では、ＣＭＯＳイメージャ２は、例えば図４（Ａ）の共有画素配列パターンの共有画素を備える構成とされる。
The shared pixel array pattern in the
そして、光学系１に入射した光は、上述したような構成のＣＭＯＳイメージャ２において、光電変換された後に、電気信号として、すなわち、撮像画像データとして出力される。ＣＭＯＳイメージャ２は、カメラ制御マイコン５からの制御信号により、読み出し開始／停止制御および読み出し位置制御などを行う。
The light incident on the
このＣＭＯＳイメージャ２からの、この例においては、１チャンネルの出力画像データは、アナログ信号処理部３に供給されて、サンプルホールド、自動利得制御などの処理がなされた後、Ａ／Ｄ（アナログ−デジタル）変換されて、デジタル信号処理部４に入力される。
In this example, the output image data of one channel from the
なお、この例では、ＣＭＯＳイメージャ２からのアナログ出力信号を、アナログ信号処理部３にて、サンプルホールド、自動利得制御、Ａ／Ｄ変換する構成として説明したが、ＣＭＯＳイメージャ２の内部にアナログ信号処理部３の構成を取り込んだ構成とするようにしてもよい。
In this example, the analog output signal from the
デジタル信号処理部４は、アナログ信号処理部３から供給されてきた撮像画像データＲＡＷ（生データ）に対して、カメラ制御マイコン５の指示に従って、様々な信号処理を行う。このデジタル信号処理部４で行われる各種信号処理には、ホワイトバランス処理やガンマ処理、色差信号処理などのいわゆるカメラ信号処理や、カメラ制御用の検波データ（画面内の撮像画像情報を示すデータ、例えば明るさやコントラスト、色合い等）の計算処理を含む。
The digital
デジタル信号処理部４は、後述するように、基準タイミング信号発生器を備え、この基準タイミング信号発生器から各種タイミング信号を発生する。このタイミング信号には、撮像画像データについての水平同期信号ＨＤおよび垂直同期信号ＶＤを含み、デジタル信号処理部４は、これら水平同期信号ＨＤ、垂直同期信号ＶＤおよびその他の必要なタイミング信号をＣＭＯＳイメージャ２に供給する。なお、図示は省略したが、デジタル信号処理部４の基準タイミング信号発生器からのタイミング信号は、カメラ制御マイコン５にも供給されている。
As will be described later, the digital
ＣＭＯＳイメージャ２は、前述した図３の読み出し形式により各画素から画素データを読み出すようにするが、そのための読み出し部および読み出しタイミング信号発生器を備えている。そして、ＣＭＯＳイメージャ２の読み出しタイミング発生器は、デジタル信号処理部４から受けた前記水平同期信号ＨＤおよび垂直同期信号ＶＤに同期する読み出しタイミング信号を生成して、ＣＭＯＳイメージャ２からの画素データの読み出しを、カメラ制御マイコン５からの制御信号に基づいて行う。
The
また、ＣＭＯＳイメージャ２は、デジタル信号処理部４からのタイミング信号と、カメラ制御マイコン５からの制御信号とに基づいて、有効画素領域だけでなく、当該有効画素領域の外側の枠領域の画素からも画素データの読み出しが可能とされている。この枠領域は、被写体からの光が入射しないように遮光された遮光領域（ＯＰＢ領域）である。したがって、この遮光領域（ＯＰＢ領域）の画素からの画素データは、黒レベルに相当するものとなる。
In addition, the
そして、この実施形態では、デジタル信号処理部４は、さらに、共有画素の不均一性をも考慮して、縦筋状の固定パターンノイズを補正するための構成としての、共有画素別縦筋検出補正部を備えるが、この処理部の詳細については、後で詳述する。
In this embodiment, the digital
カメラ制御マイコン５は、デジタル信号処理部４から送られてきた検波データや手ぶれセンサ６から送られてくる撮像装置１０の手ぶれ情報により、現在の撮像画像の状態を把握し、ヒューマンインターフェースマイコン８を経由して送られてくる各種設定モードに応じた制御を行う。すなわち、カメラ制御マイコン５は、読み出し領域指定データをＣＭＯＳイメージャ２に、撮像画像制御用データをデジタル信号処理部４に、レンズ制御データをレンズ駆動用ドライバ部７に、自動利得制御用のゲイン制御データをアナログ信号処理部３に、それぞれ供給する。
The
ＣＭＯＳイメージャ２は、ＣＭＯＳイメージャ２の撮像領域のうちの、読み出し領域指定データにより指定される任意の領域（有効領域か枠領域（遮光領域）かを指定する場合も含む）の信号を、読み出しタイミング信号によって順次読み出し、アナログ信号処理部３に出力する。
The
また、デジタル信号処理部４、レンズ駆動用ドライバ部７、アナログ信号処理部３は、カメラ制御マイコン５から送られてきた制御値に応じた処理を行い、所望の信号処理・タイミング発生・レンズ駆動・ゲイン処理が実現される。
The digital
ユーザーインターフェース９は、ユーザーの操作入力を受け付けるためのキー操作部と、撮像装置１０のモードや、カメラ情報を報知するためのディスプレイを備える。ユーザーが行うメニュー操作等についてはユーザーインターフェース９を介してヒューマンインターフェースマイコン８で制御される。
The user interface 9 includes a key operation unit for accepting user operation input, and a display for notifying the mode of the
ヒューマンインターフェースマイコン８は、ユーザーが現在どのような撮影モードを選択しているのか、あるいはどのような制御を望んでいるのか等を、ユーザーインターフェース９を通じたユーザー操作指示入力に基づいて検知し、カメラ制御マイコン５に対して、検知出力をユーザー指示情報として送る。
The human interface microcomputer 8 detects, based on a user operation instruction input through the user interface 9, what kind of shooting mode the user is currently selecting, what kind of control he desires, and the like. A detection output is sent to the
同時に、カメラ制御マイコン５は、得られたカメラ制御情報（被写体距離やＦ値、シャッタースピード、倍率等）をヒューマンインターフェースマイコン８に送信し、ユーザーインターフェース９のディスプレイを介して、現在のカメラの情報を、ユーザーに知らせるようにしている。これらのブロックの詳細については、この発明と直接関係無いためここでは省略する。
At the same time, the
［デジタル信号処理部４の詳細構成例の説明］
図５は、デジタル信号処理部４の詳細構成例を示すものである。この例においては、デジタル信号処理部４は、カメラ信号前処理部４１と、共有画素別縦筋検出補正部４２と、カメラ信号主処理部４３と、基準タイミング信号発生器４４と、通信インターフェース４５とを備える。
[Description of Detailed Configuration Example of Digital Signal Processing Unit 4]
FIG. 5 shows a detailed configuration example of the digital
基準タイミング信号発生器４４は、前述した水平同期信号ＨＤおよび垂直同期信号ＶＤを発生して、ＣＭＯＳイメージャ２に供給すると共に、画素タイミングの基準となる基準タイミング信号ＴＧをカメラ信号前処理部４１および共有画素別縦筋検出補正部４２に供給する。基準タイミング信号発生器４４は、また、各種タイミング信号を、カメラ信号主処理部４３に供給する。さらに、図示は省略したが、基準タイミング信号発生器４４は、各種タイミング信号を、カメラ制御マイコン５にも供給する。
The reference
通信インターフェース４５は、カメラ信号主処理部４３から得られる各種検波値ＤＥＴを、カメラ制御マイコン５に供給する。カメラ制御マイコン５は、前述したように、受け取った各種検波値に基づいて、例えば自動利得制御信号などの制御信号を生成して、それぞれ対応する処理部に供給するようにする。
The
また、通信インターフェース４５は、カメラ制御マイコン５からのカメラ信号処理制御用パラメータＰｍを受け取り、必要な制御信号をカメラ信号前処理部４１、共有画素別縦筋検出補正部４２およびカメラ信号主処理部４３に供給する。
The
カメラ信号前処理部４１は、アナログ信号処理部３からの撮像画像データＲＡＷを受け、縦筋検出および補正処理の前段として行っておくべき処理群を実行するもので、例えばデジタルクランプ処理などが含まれる。このカメラ信号前処理部４１で行う処理群は、この発明とは直接には関係が無いので、ここでは、その詳細な説明は省略する。
The camera
カメラ信号前処理部４１の出力は、共有画素別縦筋検出補正部４２に供給される。共有画素別縦筋検出補正部４２では、ＣＭＯＳイメージャ２の各列（コラム）毎かつ共有画素を構成する画素のそれぞれ毎（共有画素ＩＤ毎）に、平均黒レベルを検出することにより、黒レベルのオフセットズレを検出する。この黒レベルのオフセットズレの検出は、この例では、図６に示すように、ＣＭＯＳイメージャ２の有効画素領域の外側の枠領域（遮光領域）であるＯＰＢ領域の情報を使って行われる。
The output of the camera
この例においては、ＣＭＯＳイメージャ２の全画素領域の上下左右に設けられるＯＰＢ領域のうち、有効画素領域の上下のＯＰＢ領域のみを黒レベルのオフセットズレの検出枠ＦＬとする。以下、この検出枠ＦＬを縦筋検出枠という。なお、図６では、紙面の都合上、垂直方向の下側のＯＰＢ領域は示されていない。
In this example, of the OPB areas provided above, below, left, and right of all the pixel areas of the
前述したように、ＣＭＯＳイメージャ２は、デジタル信号処理部４からのタイミング信号およびカメラ制御マイコン５からの制御信号に基づいて、有効画素領域のみでなく、ＯＰＢ領域からも画素データを出力する。カメラ制御マイコン５は、デジタル信号処理部４からのタイミング信号から、ＣＭＯＳイメージャ２から画素データが出力されている領域が、ＯＰＢ領域か、有効画素領域かを認識している。
As described above, the
共有画素別縦筋検出補正部４２には、カメラ信号前処理部４１から送られてきる撮像画像データが縦筋検出枠領域ＦＬのものであるか、縦筋検出枠領域ＦＬ以外のものであるかを示す領域指示情報Ｓｆｌが、カメラ制御マイコン５から通信インターフェース４５を通じて送られてくる。
In the shared pixel-specific vertical stripe
また、後述するように、共有画素を構成する画素のそれぞれ毎の黒レベルのオフセットズレを検出するために、共有画素別縦筋検出補正部４２には、カメラ制御マイコン５から通信インターフェース４５を通じて、前述の図４を用いて説明した共有画素ＩＤに関する情報、すなわち、共有画素ＩＤ設定情報Ｓｉｄが供給される。さらに、後述するように、カメラ制御マイコン５からは、積分器設定情報Ｗｋが通信インターフェース４５を通じて、共有画素別縦筋検出補正部４２に供給される。
Further, as described later, in order to detect a black level offset shift for each of the pixels constituting the shared pixel, the shared pixel-specific vertical stripe detection /
そして、共有画素別縦筋検出補正部４２は、カメラ信号前処理部４１から送られてくる撮像画像データＲＡＷを、検出した各列（コラム）毎かつ共有画素別黒レベルのオフセットズレを用いて補正した後、カメラ信号主処理部４３に供給する。
Then, the vertical stripe detection /
カメラ信号主処理部４３では、カメラ制御マイコン５からの通信インターフェース４５を通じた制御指示に応じて、ノイズリダクション／欠陥補正／デモザイク／ホワイトバランス／解像度変換といった公知の技術で構成される、各種カメラ信号処理を行い、出力データとしての輝度データＹおよび色データＣを、後段のビデオ系処理ブロック（図示は省略）へと供給する。このカメラ信号主処理部４３の詳細内容については、この発明とは直接関係無いため、ここでは省略する。
In the camera signal
＜共有画素別縦筋検出補正部４２の説明＞
図７は、共有画素別縦筋検出補正部４２の詳細構成例を示すブロック図である。この例の共有画素別縦筋検出補正部４２は、本線信号としての撮像画像データＲＡＷに対して設けられる遅延調整部４２１および４２２と、タイミング生成部４２３と、共有画素別コラム積分処理部４２４と、メモリ部４２５と、通信インターフェース４２６と、共有画素別減算部４２７とを備える。
<Description of Shared Pixel Perpendicular Line
FIG. 7 is a block diagram illustrating a detailed configuration example of the shared pixel-specific vertical stripe
遅延調整部４２１および４２２は、タイミング生成部４２３と、共有画素別コラム積分処理部４２４における処理遅延分を、本線信号としての入力撮像画像データＲＡＷに対して与えて、共有画素別減算部４２７における、後述する共有画素別の黒レベルオフセット補正用の減算処理のタイミングを調整するためのものである。
The
共有画素別積分処理部４２４は、後述するように、縦筋検出枠領域ＦＬにおいては、遅延調整部４２１からの本線信号の水平ラインのデータ毎に、当該ラインの画素データと、メモリ部４２５の１または複数個のラインメモリのうちの、後述するように、前記本線信号の水平ラインが有する前記共有画素の配列パターンに応じて選択されるラインメモリからの画素データとを積分して、ラインの各画素の黒レベルの平均値を求め、求めた黒レベルの平均値を、メモリ部４２５の前記選択されているラインメモリに書き戻して、当該ラインメモリの記憶データを更新するようにする機能を備える。
As will be described later, in the vertical stripe detection frame region FL, the shared pixel-specific
また、この例の共有画素別積分処理部４２４は、縦筋検出枠領域ＦＬ以外の領域、すなわち、主として有効画素領域では、本線信号としての入力撮像画像データＲＡＷが属する水平ラインが有する前記共有画素の配列パターンに応じて選択されたラインメモリからの各画素の黒レベルの平均値を、本線信号の画素データから減算する補正信号Ｓｏｆ（オフセット量）として、共有画素別減算部４２７に供給する機能を備える。
In addition, the
メモリ部４２５は、共有画素によって形成される水平方向の画素の配列パターン（以下、水平共有画素パターンという）が互いに異なる水平ライン数に応じた数のラインメモリを備える。図４の例のように、共有画素を構成する画素数がｎ個であって、当該共有画素を構成するそのｎ個の画素が垂直方向に配置されている場合には、ｎ個の水平共有画素パターンが形成されるので、メモリ部４２５は、ｎ個のラインメモリを備える。もしも、共有画素を構成するｎ個の画素が、全て水平方向にのみ配列されているときには、共有画素によって形成される水平共有配列パターンは１個のみであるので、その場合には、メモリ部４２５のラインメモリは１個となる。
The
メモリ部４２５を構成する各ラインメモリは、この例では、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））で構成される。そして、この例においては、ラインメモリのそれぞれは、共有画素によって形成される水平方向の画素の配列パターンのそれぞれに対応して割り付けられる。
In this example, each line memory configuring the
例えば、図４（Ａ）のような共有画素構成の場合には、共有画素によって形成される水平共有画素パターンとして、共有画素ＩＤとして全て０が続くパターンのラインと、共有画素ＩＤとして全て１が続くパターンのラインとの２種からなる。このため、その例の場合には、メモリ部４２５は、共有画素ＩＤとして全て０が続く水平共有画素パターンのラインに対応するラインメモリＭ１と、共有画素ＩＤとして全て１が続く水平共有画素パターンのラインに対応するラインメモリＭ２との２個を備える。
For example, in the case of a shared pixel configuration as shown in FIG. 4A, as a horizontal shared pixel pattern formed by shared pixels, a line of a pattern in which all 0s are shared pixel IDs and all shared pixel IDs are 1s. It consists of two types of lines with the following pattern. Therefore, in the case of the example, the
また、図４（Ｃ）のような共有画素構成の場合には、水平共有画素パターンとして、中段に示すように、共有画素ＩＤとして全て０が続くライン、共有画素ＩＤとして全て１が続くライン、共有画素ＩＤとして全て２が続くライン、共有画素ＩＤとして全て３が続くライン、の４種からなる。このため、その例では、メモリ部４２５には、共有画素ＩＤとして全て０が続く水平共有画素パターンのラインに対応するラインメモリＭ１と、共有画素ＩＤとして全て１が続く水平共有画素パターンのラインに対応するラインメモリＭ２と、共有画素ＩＤとして全て２が続く水平共有画素パターンのラインに対応するラインメモリＭ３と、共有画素ＩＤとして全て３が続く水平共有画素パターンのラインに対応するラインメモリＭ４との４個が設けられる。
In the case of the shared pixel configuration as shown in FIG. 4C, as the horizontal shared pixel pattern, as shown in the middle stage, a line in which all 0s are shared pixel IDs and a line in which all 1s are shared pixel IDs, There are four types: a line that continues with 2 as the shared pixel ID, and a line that continues with 3 as the shared pixel ID. Therefore, in this example, the
上述したように、この例では、共有画素の配列パターンとしては、図４（Ａ）の例を採用するので、図７に示すように、以下の説明においては、メモリ部４２５は、共有画素ＩＤとして全て０が続く水平共有画素パターンのライン（第１パターンラインという）に対応するラインメモリＭ１と、共有画素ＩＤとして全て１が続く水平共有画素パターンのライン（第２パターンラインという）に対応するラインメモリＭ２とからなるものとする。
As described above, in this example, as the shared pixel array pattern, the example of FIG. 4A is adopted. Therefore, as illustrated in FIG. 7, in the following description, the
メモリ部４２５のラインメモリＭ１，Ｍ２のそれぞれには、後述するように、タイミング生成部４２３からのチップセレクト信号ＳＥＬ１、書き込みイネーブル信号ＷＥＮ１、読み出しイネーブル信号ＲＥＮ１および画素アドレス指定情報の第１のセット（ラインメモリＭ１用のセット）と、チップセレクト信号ＳＥＬ２、書き込みイネーブル信号ＷＥＮ２、読み出しイネーブル信号ＲＥＮ２および画素アドレス指定情報の第２のセット（ラインメモリＭ２用のセット）とが、メモリ制御信号ＣＴＭｍとして、それぞれ供給される。
In each of the line memories M1 and M2 of the
この場合、チップセレクト信号がアクティブ状態となっているラインメモリが動作可能となり、かつ、動作可能状態となっている状態で書き込みイネーブル信号がアクティブにされたラインメモリが書き込み可能状態（書き込みイネーブル状態）となり、読み出しイネーブル信号がアクティブにされたラインメモリが読み出し可能状態（読み出しイネーブル状態）とされる。 In this case, the line memory in which the chip select signal is in the active state is operable, and the line memory in which the write enable signal is activated in the operable state is in the writable state (write enable state). Thus, the line memory in which the read enable signal is activated is brought into a readable state (read enable state).
タイミング生成部４２３は、共有画素別減算部４２７の減算処理を有効にするか否かを制御する制御信号ＳＵＢＥＮと、共有画素別コラム積分処理部４２４に供給する制御信号ＩＥＮと、前述したメモリ部４２５に供給するメモリ制御信号ＣＴＭｍとを生成する。
The
共有画素別減算部４２７に供給する制御信号ＳＵＢＥＮは、後述するように、有効画素領域でのみ、当該共有画素別減算部４２７での画素データからのオフセット（黒レベル）の減算処理を有効にするように制御する信号である。
As will be described later, the control signal SUBEN supplied to the subpixel-
共有画素別コラム積分処理部４２４に供給する制御信号ＩＥＮは、縦筋検出枠領域ＦＬにおいては、共有画素別積分処理部４２４での積分結果をメモリ部４２５に格納するように制御すると共に、有効画素領域を含むその他の領域では、共有画素別積分処理部４２４から、それまでの積分結果を共有画素別減算部４２７に供給するように制御する信号である。
The control signal IEN supplied to the shared pixel column
メモリ部４２５に供給するメモリ制御信号ＣＴＭｍは、前述したように、共有画素別積分処理部４２４での積分結果を格納するメモリ部４２５のラインメモリのそれぞれを書き込み制御および読み出し制御するための制御信号を含むものである。
As described above, the memory control signal CTMm supplied to the
共有画素別減算部４２７は、この例では、図８に示すように、減算器４２７１と、選択回路４２７２とを備える。そして、減算器４２７１は、本線信号から共有画素別コラム積分処理部４２４からの補正信号Ｓｏｆを、各画素毎に減算して、オフセットを除去するようにし、当該オフセットを除去した信号を選択回路４２７２に供給する。
In this example, the
選択回路４２７２は、本線信号と減算器４２７１からの減算出力信号とのいずれかをタイミング生成部４２３からの制御信号ＳＵＢＥＮにより選択する。
The
タイミング生成部４２３は、基準タイミング信号発生器４４からの基準タイミング信号ＴＧと、カメラ制御マイコン５から通信インターフェース４２６を通じて与えられる領域指示情報Ｓｆｌとから、共有画素別減算部４２７に供給する制御信号ＳＵＢＥＮを生成する。
The
この制御信号ＳＵＢＥＮは、有効画素領域と、縦筋検出枠領域ＦＬを含む有効画素領域以外とで状態を異にする信号であり、この制御信号ＳＵＢＥＮにより、選択回路４２７２は、有効画素領域では、減算器４２７１からの減算出力信号を出力し、縦筋検出枠領域ＦＬを含む有効画素領域以外では本線信号を出力する。
This control signal SUBEN is a signal that makes the state different between the effective pixel region and other than the effective pixel region including the vertical stripe detection frame region FL. By this control signal SUBEN, the selection circuit 4272 A subtraction output signal from the
なお、この例では、共有画素別減算部４２７では、縦筋状の固定パターンノイズを補正するためのオフセットを減算処理した結果の出力信号は、選択回路４２７２により有効画素領域においてのみ出力するようしたが、選択回路４２７２を設けずに、減算器４２７１からの減算出力信号を、全ての領域で出力するようにしても良い。
In this example, the
次に、共有画素別コラム積分処理部４２４への制御信号ＩＥＮと、メモリ部４２５へのメモリ制御信号ＣＴＬｍとについて、共有画素別コラム積分処理部４２４の構成例と共に説明する。
Next, the control signal IEN to the column
図９は、共有画素別積分処理部４２４の構成例を説明するためのブロック図である。この例においては、共有画素別積分処理部４２４は、ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）デジタルフィルタの構成とされた積分器４２４１と、選択回路４２４２とを備える。
FIG. 9 is a block diagram for explaining a configuration example of the
この例の積分器４２４１においては、遅延調整部４２１から供給される本線信号である撮像画像データＲＡＷが乗算回路１０１に供給されて、この乗算回路１０１において定数Ｋ（Ｋ＜１）が乗算される。縦筋検出枠領域ＦＬにおいては、乗算回路１０１に供給される撮像画像データは、遮光領域の画素データ（黒レベル＝オフセット量）である。この乗算回路１０１からの定数Ｋが乗算された黒レベルデータは加算回路１０２に供給される。
In the integrator 4241 of this example, the captured image data RAW that is the main line signal supplied from the
また、後述するように、メモリ部４２５のラインメモリのうちの、当該時点で本線信号として入力されている撮像画像データにおける水平共有画素パターンに対応するラインメモリから、当該水平共有画素パターンのラインの画素についての積分結果（オフセット量の平均値）が、乗算回路１０３に供給されて、この乗算回路１０３において定数（Ｋ−１）が乗算される。
Further, as will be described later, from the line memory corresponding to the horizontal shared pixel pattern in the captured image data input as the main line signal at that time in the line memory of the
そして、この乗算回路１０３からの定数（Ｋ−１）が乗算された黒レベルデータが加算回路１０２に供給され、その加算結果が選択回路４２４２の一方の入力端に供給される。また、メモリ部４２５から読み出された積分結果である黒レベル平均値は、選択回路４２４２の他方の入力端に供給される。
Then, the black level data multiplied by the constant (K−1) from the
そして、この例では、選択回路４２４２は、加算回路１０２からの加算結果（積分結果）の信号と、メモリ部４２５の当該時点で読み出しイネーブルとされているラインメモリからの積分結果とのいずれかを、タイミング生成部４２３からの制御信号ＩＥＮにより選択する。
In this example, the
タイミング生成部４２３は、基準タイミング信号発生器４４からの基準タイミング信号ＴＧと、カメラ制御マイコン５から通信インターフェース４２６を通じて与えられる領域指示情報Ｓｆｌとから、共有画素別積分処理部４２４の選択回路４２４２に供給する制御信号ＩＥＮを生成する。
The
この制御信号ＩＥＮは、縦筋検出枠領域ＦＬと、有効画素領域を含むその他の領域とで状態を異にする信号であり、この制御信号ＩＥＮにより、選択回路４２４２は、縦筋検出枠領域ＦＬでは、加算器１０２からの加算出力信号を出力し、有効画素領域を含むその他の領域では、メモリ部４２５から読み出された信号を出力する。
This control signal IEN is a signal that makes the state different between the vertical stripe detection frame area FL and other areas including the effective pixel area. By this control signal IEN, the
そして、タイミング生成部４２３は、基準タイミング信号発生器４４からの基準タイミング信号ＴＧと、カメラ制御マイコン５から通信インターフェース４２６を通じて与えられる領域指示情報Ｓｆｌとから、現在入力中の撮像画像データは、縦筋検出枠領域ＦＬのデータであるか、あるいは有効画素領域を含むその他の領域のデータであるかを判別すると共に、何ライン目の何画素目に当たるかを把握して、前述したメモリ制御信号ＣＴＬｍを生成する。
Then, the
すなわち、前述したように、積分器４２４１の積分結果は、縦筋検出枠領域ＦＬの期間のみ、選択回路４２４２において選択されて出力されて、メモリ部４２５に供給され、そのラインメモリのいずれかに書き込まれるようにされる。このため、ラインメモリＭ１の書き込みイネーブル信号ＷＥＮ１およびラインメモリＭ２の書き込みイネーブル信号ＷＥＮ２は、縦筋検出枠ＦＬでのみアクティブとなることができるようにされている。
That is, as described above, the integration result of the integrator 4241 is selected and output by the
そして、図１０に示すように、縦筋検出枠領域ＦＬにおいて、現在入力中の撮像画像データが、水平共有画素パターンが第１パターンラインであるとき（１ライン目，３ライン目，５ライン目、・・・）に、ラインメモリＭ１の書き込みイネーブル信号ＷＥＮ１がアクティブとなり、また、水平共有画素パターンが第２パターンライン（２ライン目，４ライン目，６ライン目、・・・）であるときに、ラインメモリＭ２の書き込みイネーブル信号ＷＥＮ２がアクティブとなる。なお、図１０では、有効領域の１ラインに含まれる画素数はＭ（Ｍは正の整数）としている。 As shown in FIG. 10, in the vertical stripe detection frame region FL, when the horizontal shared pixel pattern is the first pattern line in the currently input captured image data (first line, third line, fifth line) ,..., When the write enable signal WEN1 of the line memory M1 becomes active and the horizontal shared pixel pattern is the second pattern line (second line, fourth line, sixth line,...). In addition, the write enable signal WEN2 of the line memory M2 becomes active. In FIG. 10, the number of pixels included in one line of the effective area is M (M is a positive integer).
また、ラインメモリＭ１、Ｍ２の読み出しイネーブル信号ＲＥＮ１、ＲＥＮ２は、縦筋検出枠領域ＦＬのみではなく、全領域においてアクティブになることができるようにされており、図１０に示すように、水平共有画素パターンが第１パターンラインであるとき（１ライン目，３ライン目，５ライン目、・・・）には、ラインメモリＭ１の読み出しイネーブル信号ＲＥＮ１がアクティブとなり、また、水平共有画素パターンが第２パターンライン（２ライン目，４ライン目，６ライン目、・・・）であるときに、ラインメモリＭ２の読み出しイネーブル信号ＲＥＮ２がアクティブとなる。 Further, the read enable signals REN1 and REN2 of the line memories M1 and M2 can be activated not only in the vertical stripe detection frame area FL but also in the entire area. As shown in FIG. When the pixel pattern is the first pattern line (first line, third line, fifth line,...), The read enable signal REN1 of the line memory M1 is active, and the horizontal shared pixel pattern is the first pattern line. When there are two pattern lines (second line, fourth line, sixth line,...), The read enable signal REN2 of the line memory M2 becomes active.
なお、ラインメモリＭ１，Ｍ２のチップイネーブル信号は、それぞれ書き込みイネーブル信号ＷＥＮ１，ＷＥＮ２、読み出しイネーブル信号ＲＥＮ１，ＲＥＮ２がアクティブとされるときにアクティブとされるものである。 The chip enable signals of the line memories M1 and M2 are activated when the write enable signals WEN1 and WEN2 and the read enable signals REN1 and REN2 are activated, respectively.
以上のことから、図１１の上側にも示すように、この例では、縦筋検出枠領域ＦＬでは、奇数番目の水平ラインでは、ラインメモリＭ１が書き込み可および読み出し可の状態とされ、偶数ライン目の水平ラインでは、ラインメモリＭ２が書き込み可および読み出し可の状態とされると共に、図１１の右側に示すように、１ライン分のＭ個の画素のアドレスが順次にタイミング生成部４２３からの画素アドレス情報により指定される。なお、１画素データについて、メモリアクセスは、読み出しアクセスと書き込みアクセスとが時分割でなされるものである。
From the above, as shown also in the upper side of FIG. 11, in this example, in the vertical stripe detection frame region FL, the line memory M1 is set in a writable and readable state in the odd-numbered horizontal lines, and even lines In the horizontal line of the eye, the line memory M2 is in a writable and readable state, and the addresses of M pixels for one line are sequentially sent from the
そして、縦筋検出枠領域ＦＬでは、共有画素別積分処理部４２４の選択回路４２４２は、加算器１０２の出力を選択出力するので、上述したようにして積分器４２４１でそれまでのラインメモリＭ１の画素データと新たに取り込まれたデータとの加算積分値（平均値）が選択回路４２４２から出力され、その出力された積分値が、図１１で上側に示すように、積分に用いられたデータが格納されていた同じラインメモリＭ１，Ｍ２の同じ画素アドレスに、書き戻される。
In the vertical stripe detection frame region FL, the
このとき、縦筋検出枠領域ＦＬでは、共有画素別減算部４２７では、選択回路４２７２が本線信号を出力するように選択制御されているので、共有画素別積分処理部４２４の出力は、共有画素別減算部４２７の出力には反映されない。
At this time, in the vertical streak detection frame region FL, since the
一方、有効画素領域では、奇数番目の水平ラインでは、ラインメモリＭ１が読み出し可の状態とされ、偶数ライン目の水平ラインでは、ラインメモリＭ２が読み出し可の状態とされると共に、図１１の右側に示すように、１ライン分のＭ個の画素のアドレスが順次にタイミング生成部４２３からの画素アドレス情報により指定される。
On the other hand, in the effective pixel area, the line memory M1 is readable in the odd-numbered horizontal lines, and the line memory M2 is readable in the even-numbered horizontal lines, and the right side of FIG. As shown, the addresses of M pixels for one line are sequentially specified by the pixel address information from the
そして、この有効画素領域では、共有画素別減算部４２７では、選択回路４２７２が減算器４２７１の出力信号を出力するように選択制御されているので、ラインメモリＭ１またはＭ２から読み出されたオフセットが、本線信号の対応する各画素データから減算されたものが、共有画素別減算部４２７から出力される。すなわち、縦筋状の固定パターンノイズが共有画素の影響を受けずに除去されるものとなる。
In this effective pixel area, the
なお、この例では、積分器４２４１は、カメラ制御マイコン５からの積分器設定情報Ｗｋに応じて、前記Ｋの値を変更して積分時定数を切り替える等、積分動作の制御を行うように構成されている。
In this example, the integrator 4241 is configured to control the integration operation such as changing the value of K and switching the integration time constant according to the integrator setting information Wk from the
以上のようにして、この実施形態によれば、共有画素を構成する画素のそれぞれ毎に異なる黒レベル（平均黒レベル）を検出し、その検出した平均黒レベルにより、共有画素を構成する画素のそれぞれ毎にオフセット量を減算して補正処理をするので、共有画素構成のイメージャを用いても、共有画素別の黒レベルの不均一性に基づく縦筋状の固定パターンノイズを改善することができる。 As described above, according to this embodiment, a different black level (average black level) is detected for each of the pixels constituting the shared pixel, and the pixels constituting the shared pixel are detected based on the detected average black level. Since the offset amount is subtracted for each correction process, even if an imager having a shared pixel configuration is used, it is possible to improve vertical streak-like fixed pattern noise based on non-uniformity of the black level for each shared pixel. .
なお、図４の下段に示したように、共有画素ＩＤによる画素出力シーケンスは、固体撮像素子の共有画素の配列パターンによって変わるので、使用する固体撮像素子によって変わる。このため、タイミング生成部４２３でのメモリ制御信号ＣＴＬｍなどの生成は、カメラ制御マイコン５からの設定によって、自由に発生させられる構成にするのが望ましい。
As shown in the lower part of FIG. 4, the pixel output sequence based on the shared pixel ID varies depending on the shared pixel array pattern of the solid-state image sensor, and therefore varies depending on the solid-state image sensor to be used. For this reason, it is desirable that the generation of the memory control signal CTLm and the like in the
また、上述の例では、共有画素別積分処理部４２４の積分器４２４１は、ＩＩＲフィルタの構成として、コラム積分を行うようにしたが、積分器４２４１の構成としては、ＩＩＲフィルタの構成に限定されるものではない。
In the above example, the integrator 4241 of the
また、遮光領域（ＯＰＢ領域）に画素欠陥等が存在した場合に備えて、想定しているレベルを逸脱する信号用のリミッタ、あるいは除去機能等を、共有画素別積分処理部４２４の前段に前処理として加えるようにするのも望ましい。これは、計算結果がずれると、補正処理でコラム方向全体にキズをつけてしまうことになるためである。
In addition, a signal limiter or removal function that deviates from the assumed level is provided before the
また、上述した共有画素別積分処理部４２４の構成についても単なる一例であり、別の構成で同様の演算処理を実現しても構わない。また、上述の説明では、積分処理を実行するタイミングを、縦筋検出枠領域であるＯＰＢ領域としたが、例えば、前述した特許文献２のように、モード切り替わり時等に、アイリス（絞り）を閉じた状態で全領域を積分するように構成しても構わない。
Further, the configuration of the above-described
［ソフトウエア処理の例］
以上説明したデジタル信号処理部４の共有画素別縦筋検出補正部４２における処理の流れの例を図１２のフローチャートを参照して説明する。なお、この図１２のフローチャートの処理は、ラインメモリを備えるメモリ部４２５を除いて、共有画素別縦筋検出補正部４２をソフトウエア処理により構成する場合に相当するものである。
[Example of software processing]
An example of the flow of processing in the shared pixel-specific vertical stripe detection /
先ず、共有画素別縦筋検出補正部４２の現在の入力撮像画像データが縦筋検出枠領域ＦＬからのデータであるか否か判別し（ステップＳ１０１）、縦筋検出枠領域ＦＬであると判別したときには、当該入力撮像画像データが含まれる水平ラインの水平共有画素パターンに対応して設けられているラインメモリを選択し、そのラインメモリを書き込みイネーブルおよび読み出しイネーブルの状態とする（ステップＳ１０２）。
First, it is determined whether or not the current input captured image data of the shared pixel-specific vertical stripe
そして、選択したラインメモリから読み出したデータと入力画素データとから、対応する画素の黒レベルデータ積分値（平均値）を算出し（ステップＳ１０３）、算出した黒レベルデータ積分値を、選択したラインメモリに書き戻す（ステップＳ１０４）。 Then, the black level data integrated value (average value) of the corresponding pixel is calculated from the data read from the selected line memory and the input pixel data (step S103), and the calculated black level data integrated value is selected as the selected line. Write back to the memory (step S104).
次に、入力撮像画像データは有効画素領域からのデータであるか否か判別し（ステップＳ１０５）、有効画素領域でなければ、ステップＳ１０１に戻り、このステップＳ１０１以降の処理を繰り返す。 Next, it is determined whether or not the input captured image data is data from an effective pixel area (step S105). If the input captured image data is not an effective pixel area, the process returns to step S101, and the processes after step S101 are repeated.
また、ステップＳ１０１で、入力撮像画像データが、縦筋検出枠領域ＦＬでないと判別したときには、ステップＳ１０５にジャンプして、有効画素領域からのデータであるか否か判別する。 If it is determined in step S101 that the input captured image data is not the vertical stripe detection frame area FL, the process jumps to step S105 to determine whether the data is from an effective pixel area.
そして、ステップＳ１０５で、入力撮像画像データが、有効画素領域からのデータであると判別したときには、当該入力撮像画像データが含まれる水平ラインの水平共有画素パターンに対応して設けられているラインメモリを選択し、そのラインメモリを書き込み不能の状態ではあるが、読み出しイネーブルの状態とする（ステップＳ１０６）。 When it is determined in step S105 that the input captured image data is data from the effective pixel area, the line memory provided corresponding to the horizontal shared pixel pattern of the horizontal line including the input captured image data. Is selected, and the line memory is set in a read-enabled state although it is in a write-disabled state (step S106).
そして、選択したラインメモリから読み出した黒レベルデータ積分値（オフセット量）を、対応する水平方向位置の画素データから減算して、出力する（ステップＳ１０７）。その後、ステップＳ１０５に戻り、前述したステップＳ１０５以降の処理を繰り返す。 Then, the black level data integrated value (offset amount) read from the selected line memory is subtracted from the corresponding pixel data in the horizontal direction and output (step S107). Then, it returns to step S105 and repeats the process after step S105 mentioned above.
以上の実施形態の説明においては、固体撮像素子に対して配される色フィルタ、読み出しチャンネル、画素の共有方法については、例を限定して説明してきたが、もちろん、この発明は、これらの限定に限られるものではなく、この発明の主旨を外れない範囲で広く適用することが可能である。 In the above description of the embodiment, the color filter, readout channel, and pixel sharing method arranged for the solid-state imaging device have been described with limited examples. Of course, the present invention is not limited to these. The present invention is not limited to this, and can be widely applied without departing from the gist of the present invention.
例えば、固体撮像素子に対して配される色フィルタを考慮した場合には、図４（Ａ），（Ｂ），（Ｃ）に示した共有画素の配列パターンの３つの例における共有画素ＩＤ、および、共有画素ＩＤで表した出力画素シーケンスは、図１３に示すようなものとなる。 For example, when a color filter arranged for a solid-state image sensor is considered, the shared pixel IDs in the three examples of the shared pixel array patterns shown in FIGS. 4A, 4B, and 4C are shown. The output pixel sequence represented by the shared pixel ID is as shown in FIG.
すなわち、図１３（Ａ），（Ｂ），（Ｃ）のそれぞれ上段に示した共有画素の配列パターンの３つの例における共有画素ＩＤは、それぞれ中断に示すようなものとなり、また、共有画素ＩＤで表した出力画素シーケンスは、それぞれ下段に示すようなものとなる。 That is, the shared pixel IDs in the three examples of the array pattern of the shared pixels shown in the upper part of each of FIGS. 13A, 13B, and 13C are as shown in the interruptions. The output pixel sequences represented by are respectively as shown in the lower part.
そして、この場合には、図１３の中断に示した共有画素ＩＤに応じた、黒レベルオフセット値が検出生成され、図１３の下断に示した共有画素ＩＤシーケンスに同期して、補正処理が実行される。 In this case, a black level offset value corresponding to the shared pixel ID shown in the interruption of FIG. 13 is detected and generated, and the correction process is performed in synchronization with the shared pixel ID sequence shown in the lower part of FIG. Executed.
［第２の実施形態］
上述した第１の実施形態の撮像装置は、画素の読み出しのための構造が、縦筋状の固定パターンノイズが発生する固体撮像素子に、画素共有技術を適用した場合における、縦筋状の固定パターンノイズの検出および補正を行うものである。
[Second Embodiment]
In the imaging apparatus according to the first embodiment described above, the structure for reading out pixels is fixed in the form of vertical streaks when the pixel sharing technique is applied to a solid-state image sensor that generates fixed pattern noise in the form of vertical streaks. Pattern noise is detected and corrected.
しかし、上述した第１の実施形態の撮像装置の構成を、そのまま適用して、縦筋状の固定パターンノイズのみではなく、共有画素別の水平ダークシェーディングの補正を行うことができる。 However, by applying the configuration of the imaging apparatus of the first embodiment described above as it is, not only vertical streak fixed pattern noise but also horizontal dark shading for each shared pixel can be corrected.
この第２の実施形態では、このことを利用したもので、縦筋状の固定パターンノイズは発生しなくでも、以下に説明する水平ダークシェーディングが発生する固体撮像素子を使用した撮像装置においても、この水平ダークシェーディングを補正する場合を対象とすることができる。もちろん、縦筋状の固定パターンノイズと、水平ダークシェーディングとの両方が発生する固体撮像素子を用いる場合も、この第２の実施形態の適用範囲である。 In the second embodiment, this is utilized, and even in an imaging apparatus using a solid-state imaging device that generates horizontal dark shading described below, even if vertical pattern fixed pattern noise does not occur, The case where this horizontal dark shading is corrected can be targeted. Of course, the application range of the second embodiment is also applicable to the case of using a solid-state imaging device in which both vertical streak fixed pattern noise and horizontal dark shading are generated.
水平ダークシェーディングについて簡単に説明する。固体撮像素子からの撮像画像データにおいては、画素構成が従来の一般的な画一的な構成である場合においても、水平方向の複数画素の黒レベルは、水平方向の画素位置に応じて異なり、所定の変化形状の水平ダークシェーディングを呈するものとなる。これは、上述した水平共有画素パターンが１種類の場合における水平ダークシェーディングに相当する。 The horizontal dark shading will be briefly described. In the captured image data from the solid-state imaging device, even when the pixel configuration is a conventional general uniform configuration, the black level of the plurality of pixels in the horizontal direction differs depending on the pixel position in the horizontal direction, It exhibits horizontal dark shading with a predetermined change shape. This corresponds to horizontal dark shading when the above-described horizontal shared pixel pattern is one type.
したがって、画素共有技術を適用した固体撮像素子からの撮像画像データにおいては、水平共有画素パターンの数分だけ、異なる形状の水平ダークシェーディングが発生することになる。 Accordingly, in the captured image data from the solid-state imaging device to which the pixel sharing technique is applied, horizontal dark shading having different shapes is generated by the number of horizontal shared pixel patterns.
図１４は、この水平ダークシェーディングの変化形状の一例を示したものである。図１４（Ａ）に示すように、この例は、前述した図４（Ａ）の共有画素パターンの固体撮像素子における水平ダークシェーディングの形状を示すものである。 FIG. 14 shows an example of the changing shape of the horizontal dark shading. As shown in FIG. 14A, this example shows the shape of horizontal dark shading in the solid-state imaging device having the shared pixel pattern shown in FIG.
すなわち、この例においては、図１４（Ａ）において共有画素ＩＤ＝「０」が連続するラインに対しては、図１４（Ｂ）のＩＤ０特性に示すような変化形状の水平ダークシェーディングが発生し、図１４（Ａ）において共有画素ＩＤ＝「１」が連続するラインに対しては、図１４（Ｃ）のＩＤ１特性に示すような変化形状の水平ダークシェーディングが発生するものとしている。 That is, in this example, horizontal dark shading having a change shape as shown in the ID0 characteristic of FIG. 14B occurs for a line in which the shared pixel ID = “0” continues in FIG. 14A. In FIG. 14A, horizontal dark shading having a changed shape as shown in the ID1 characteristic of FIG. 14C occurs for a line in which the shared pixel ID = “1” continues.
また、図１５は、この水平ダークシェーディングの変化形状の他の一例を示したものである。図１５（Ａ）に示すように、この例は、前述した図１３（Ｃ）の共有画素パターンの固体撮像素子における水平ダークシェーディングの形状を示すものである。 FIG. 15 shows another example of the horizontal dark shading change shape. As shown in FIG. 15A, this example shows the shape of horizontal dark shading in the solid-state imaging device having the shared pixel pattern shown in FIG.
すなわち、この例においては、図１５（Ａ）において共有画素ＩＤ＝「０」と、共有画素ＩＤ＝「１」とが交互に現れるラインに対しては、図１５（Ｂ）のＩＤ０，１特性に示すような変化形状の水平ダークシェーディングが発生し、図１５（Ａ）において共有画素共有画素ＩＤ＝「２」と、共有画素ＩＤ＝「３」とが交互に現れるラインに対しては、図１５（Ｃ）のＩＤ２，３特性に示すような変化形状の水平ダークシェーディングが発生するものとしている。また、図１５（Ａ）において共有画素ＩＤ＝「４」と、共有画素ＩＤ＝「５」とが交互に現れるラインに対しては、図１５（Ｄ）のＩＤ４，５特性に示すような変化形状の水平ダークシェーディングが発生し、図１５（Ａ）において共有画素共有画素ＩＤ＝「６」と、共有画素ＩＤ＝「７」とが交互に現れるラインに対しては、図１５（Ｅ）のＩＤ６，７特性に示すような変化形状の水平ダークシェーディングが発生するものとしている。
That is, in this example, for the lines in which the shared pixel ID = “0” and the shared pixel ID = “1” appear alternately in FIG. 15A, the ID0,1 characteristics of FIG. As shown in FIG. 15A, horizontal dark shading having a change shape as shown in FIG. 15A occurs. In FIG. 15A, the common pixel ID = “2” and the shared pixel ID = “3” appear alternately. It is assumed that horizontal dark shading having a changed shape as shown in
なお、図１４および図１５に示した、共有画素パターンにおける水平ダークシェーディングの変化形状は、一例の模式図であり、実際には、この限りではない。 Note that the horizontal dark shading change shape in the shared pixel pattern shown in FIGS. 14 and 15 is a schematic diagram of an example, and is not limited to this.
上述した第１の実施形態では、共有画素パターンに応じて設けられた複数のラインメモリに、対応する水平ラインの画素についての黒レベルの積分値（平均値）が記憶されて、有効領域の対応する画素データのそれぞれから減算されるので、上述した変化形状の水平ダークシェーディングが、上述の第１の実施形態の構成、そのままで補正されることになる。 In the first embodiment described above, the integrated value (average value) of the black level for the pixels of the corresponding horizontal line is stored in the plurality of line memories provided in accordance with the shared pixel pattern, and the correspondence of the effective area is determined. Since the pixel data is subtracted from each pixel data to be changed, the above-described horizontal dark shading having a changed shape is corrected as it is in the configuration of the first embodiment described above.
画素共有技術が適用されていない固体撮像素子の場合には、前述した特許文献１あるいは特許文献２の手法を適用することで、縦筋状の固定パターンノイズと同時に水平ダークシェーディングも検出することができるため、両者の補正を同時にすることができる。
In the case of a solid-state imaging device to which the pixel sharing technique is not applied, horizontal dark shading can be detected simultaneously with the vertical streak fixed pattern noise by applying the method of
しかし、画素共有技術が適用された固体撮像素子の場合、上述したように、共有画素別に複数の水平ダークシェーディングの変化形状パターンが存在するので、前述した特許文献１，２の技術では、これらの複数個の水平ダークシェーディングの変化形状の平均値の形状しか検出することができないため、その結果、縦筋状の固定パターンノイズと同じく適切な補正を行うことができない。その結果、特に低照度時等、ゲインが高い場合には無彩色の背景に色がついたりするなど、画質を著しく悪化させてしまう。 However, in the case of the solid-state imaging device to which the pixel sharing technique is applied, as described above, there are a plurality of horizontal dark shading change shape patterns for each shared pixel. Since only the average shape of a plurality of horizontal dark shading change shapes can be detected, as a result, it is not possible to perform appropriate correction in the same manner as the vertical streak fixed pattern noise. As a result, when the gain is high, particularly at low illuminance, the achromatic background is colored, and the image quality is significantly deteriorated.
これに対して、この第２の実施形態によれば、共有画素別に遮光領域でコラム積分が実施されるため、水平共有画素パターン数に応じた数のラインメモリのそれぞれには、図１４や図１５に、模式的に示した水平共有画素パターン別の水平ダークシェーディングがそれぞれ格納される。そして、そのラインメモリから、それぞれタイミングを合わせて、検出された黒レベルオフセットが読み出されて補正がなされるため、水平ダークシェーディング補正が実現できるようになる。 On the other hand, according to the second embodiment, column integration is performed in the light-shielding region for each shared pixel. Therefore, each of the number of line memories corresponding to the number of horizontal shared pixel patterns includes FIG. In FIG. 15, horizontal dark shading for each horizontal shared pixel pattern schematically shown is stored. Since the detected black level offset is read out from the line memory at the same timing and correction is performed, horizontal dark shading correction can be realized.
前述したように、この水平ダークシェーディング補正は、縦筋状の固定パターンノイズが生じないような固体撮像素子であって、水平ダークシェーディングが生じる固体撮像素子について適用できる。もちろん、縦筋状の固定パターンノイズが発生するような固体撮像素子の場合には、水平ダークシェーディングの検出・補正と一緒に、縦筋状の固定パターンノイズも、上述と同様にして検出・補正動作がなされる。 As described above, this horizontal dark shading correction can be applied to a solid-state imaging device that does not generate vertical streak-like fixed pattern noise and that generates horizontal dark shading. Of course, in the case of a solid-state imaging device that generates vertical streak fixed pattern noise, vertical streak fixed pattern noise is detected and corrected in the same manner as described above, along with detection and correction of horizontal dark shading. Action is taken.
［第３の実施形態］
デジタル信号処理部４は、通常は、カメラ信号処理ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成されるが、この種のカメラ信号処理ＬＳＩは、複数のタイプの固体撮像素子に対応するのが一般的である。
[Third Embodiment]
The digital
しかし、固体撮像素子によっては
（１）画素共有技術を使用していて、共有画素別の固定パターンノイズの差が大きい
（２）画素共有技術を使用しているが、共有画素別の固定パターンノイズの差が小さい
（３）そもそも画素共有技術を使用していない
などの特性の違いがあり、これらの固体撮像素子群のバリエーションに対応しなくてはならないケースがある。
However, depending on the solid-state imaging device, (1) the pixel sharing technique is used and the difference in the fixed pattern noise for each shared pixel is large. (2) The pixel sharing technique is used, but the fixed pattern noise for each shared pixel. (3) There are differences in characteristics such as not using pixel sharing technology in the first place, and there are cases where it is necessary to deal with variations of these solid-state image sensor groups.
例えば画素サイズが大きい固体撮像素子であれば、そもそも画素共有技術を採用しないために、上記（３）の場合となる。一方、画素共有技術を使用していても、画素共有パターンに起因する特性の不均一性対策として、前述した特許文献４〜６に開示されているような技術を採用できれば、限りなく上記（２）の場合に近くなるが、この対策がコスト的に見合わない場合には、上記（１）の場合となってしまう。
For example, in the case of a solid-state imaging device having a large pixel size, the above-described case (3) occurs because the pixel sharing technique is not employed in the first place. On the other hand, even if the pixel sharing technique is used, as long as the technique disclosed in
ところで、これら全ての固体撮像素子に対応するためには、デジタル信号処理部４は、少なくとも、上記（１）の場合に適用するだけの構成要素（リソース）、すなわち、第１の実施形態に示したように、水平共有画素パターン数のラインメモリを搭載し、共有画素別に積分・補正ができる構成にしておく必要がある。
By the way, in order to cope with all of these solid-state imaging devices, the digital
しかしながら、この構成要素（リソース）は、上記（２）あるいは上記（３）の場合の固体撮像素子を用いる撮像装置におけるデジタル信号処理部とした場合には、本来不要なものとなるだけでなく、共有画素別に積分する構成の場合は、各コラムで積分可能な画素数が、１／（ラインメモリ数）に減ってしまう。 However, this component (resource) is not only unnecessary in the case of the digital signal processing unit in the imaging device using the solid-state imaging device in the above (2) or (3), In the case of a configuration in which the integration is performed for each shared pixel, the number of pixels that can be integrated in each column is reduced to 1 / (the number of line memories).
つまり、ＯＰＢ領域（遮光領域）で発生するランダムノイズが大きい場合等、積分結果へのランダムノイズの影響を抑圧するために、多くの画素を積分したいのに対して、不要なリソースのために、検出・補正性能が劣化してしまうという問題が出てくる。 In other words, in order to suppress the influence of random noise on the integration result, such as when the random noise generated in the OPB area (light-shielding area) is large, it is necessary to integrate many pixels, but for unnecessary resources, There arises a problem that the detection / correction performance deteriorates.
そこで、この第３の実施形態の撮像装置では、前述した第１の実施形態の基本的な構成は、そのままに、メモリ部４２５のメモリ制御信号ＣＴＬｍを生成するタイミング生成部４２３と、カメラ制御マイコン５の構成を、以下に説明するように構成とする。
Therefore, in the imaging apparatus of the third embodiment, the basic configuration of the first embodiment described above is not changed, and the
すなわち、この第３の実施形態においては、タイミング生成部４２３では、メモリ部４２５のメモリ制御信号ＣＴＬｍとして、図１６に示すように、複数のモード、この例においては、３つのモードの制御信号を出力できるようにする。そして、使用者のモード変更指示などに基づいて、カメラ制御マイコン５が、タイミング生成部４２３を制御して、どのモードの制御信号を出力するか選択制御できるような構成とする。
That is, in the third embodiment, in the
上記（１）の場合の固体撮像素子を用いる撮像装置においては、上述した第１の実施形態および第２の実施形態のように、縦筋状の固定パターンノイズや水平ダークシェーディングを共有画素別に検出・補正できることが必須であるので、上述の第１の実施形態および第２の実施形態と同様のメモリ制御信号ＣＴＬｍを用いるようにする。 In the imaging apparatus using the solid-state imaging device in the case of (1) above, vertical streak-like fixed pattern noise and horizontal dark shading are detected for each shared pixel as in the first and second embodiments described above. Since correction is essential, the memory control signal CTLm similar to that in the first and second embodiments described above is used.
そこで、この第３の実施形態では、当該上記（１）の場合の固体撮像素子を用いる場合をモード１とし、例えば、撮像装置の製造時に当該モード１を、カメラ制御マイコン５に対して設定入力するようにする。
Therefore, in the third embodiment, the case of using the solid-state imaging device in the case (1) is referred to as
すると、カメラ制御マイコン５から、タイミング生成部４２３に、モード１であることが伝えられ、タイミング生成部４２３は、図１６（Ａ）に示すように、第１および第２の実施形態と同様に、図１０に示した書き込みイネーブル信号ＷＥＮ１，ＷＥＮ２および読み出しイネーブル信号ＲＥＮ１，ＲＥＮ２を生成して、メモリ部４２５のラインメモリＭ１およびＭ２に供給するようにする。なお、チップセレクト信号および画素アドレス信号についての説明は省略する。以下、同様である。
Then, the
一方、上記（２）の場合、あるいは上記（３）の場合の固体撮像素子を用いる場合は、黒レベルを共有画素別に分けて積分する必要が無く、できるだけ積分画素数が増やせるように、一つのラインメモリだけに積分結果を格納するように、メモリ制御信号ＣＴＬｍを生成するようにするとよい。このとき、メモリ部４２５で未使用のラインメモリの方は、不要な消費電力を削減するためにパワーセーブしておくのが望ましい。
On the other hand, in the case of using the solid-state imaging device in the case of (2) or (3), there is no need to divide and integrate the black level for each shared pixel, so that the number of integration pixels can be increased as much as possible. The memory control signal CTLm may be generated so that the integration result is stored only in the line memory. At this time, it is desirable to save the power of the unused line memory in the
そこで、この第３の実施形態では、上記（２）の場合、あるいは上記（３）の場合の固体撮像素子を用いる場合をモード２とし、例えば、撮像装置の製造時に当該モード２を、カメラ制御マイコン５に対して設定入力するようにする。
Therefore, in the third embodiment, the case of (2) or the case of using the solid-state imaging device in the case of (3) is referred to as
すると、カメラ制御マイコン５から、タイミング生成部４２３に、モード２であることが伝えられ、タイミング生成部４２３は、図１６（Ｂ）に示すように、メモリ部４２５のラインメモリのうちの特定の１個のラインメモリ、この例では、ラインメモリＭ１に対する書き込みイネーブル信号ＷＥＮ１および読み出しイネーブル信号ＲＥＮ１が、縦筋検出枠領域ＦＬで、アクティブの状態となり、前述した積分動作がなされる。そして、図１６では、省略してあるが、有効画素領域では、ラインメモリＭ１に対する読み出しイネーブル信号ＲＥＮ１のみがアクティブの状態となり、補正用の黒レベル（オフセット）が共有画素別減算部４２７に出力される。
Then, the
一方、このとき、メモリ部４２５の他の全てのラインメモリ、この例ではラインメモリＭ２の書き込みイネーブル信号ＷＥＮ２および読み出しイネーブル信号ＲＥＮ２は、アクティブの状態にはならず、常にパワーセーブの状態とされる。
On the other hand, all the other line memories of the
ところで、上記（２）の場合、あるいは上記（３）の場合の固体撮像素子を用いる場合をモード２において、固体撮像素子からの画素データの読み出しモードが変わると、縦筋状の固定パターンノイズや水平ダークシェーディングの形状・レベルが変わることが多々ある。
By the way, in the case of using the solid-state imaging device in the case of (2) or in the case of (3) above in
そこで、この第３の実施形態では、モード２においては、固体撮像素子からの画素データについての読み出しモード別に、画素の黒レベル積分値（平均値）を格納するラインメモリを切り替えられるように構成する。
Therefore, in the third embodiment, in
すなわち、モード２の状態において、例えば使用者により、固体撮像素子からの画素データの読み出しモードの変更指示があったときには、カメラ制御マイコン５は、固体撮像素子に画素データの読み出しモードの変更指示をすると共に、その読み出しモードの変更を、タイミング生成部４２３に伝える。
That is, in the state of
タイミング生成部４２３は、この読み出しモードの変更を受けて、メモリ部４２５のラインメモリを、変更後の読み出しモードに対応するラインメモリに変更するようにする制御信号を生成し、メモリ部４２５のラインメモリを変更制御するようにすると共に、メモリ制御信号ＣＴＬｍを、当該変更後のラインメモリを書き込み、読み出し制御する制御信号に変更する。このモードを、この例ではモード３と呼ぶことにする。なお、ラインメモリの数よりも、変更できる読み出しモードの数の方が多いときには、そのときに使用されていなかったラインメモリの一つを、そのメモリ内容をクリアして、用いるようにするとよい。
In response to the change of the read mode, the
メモリ部４２５の構成が、前述のように、２個のラインメモリＭ１およびＭ２からなる場合には、モード３のときには、図１６（Ｃ）に示すように、メモリ部４２５のラインメモリがラインメモリＭ１からラインメモリＭ２に変更され、ラインメモリＭ２に対する書き込みイネーブル信号ＷＥＮ２および読み出しイネーブル信号ＲＥＮ２が、縦筋検出枠領域ＦＬで、アクティブの状態となり、前述した積分動作がなされる。そして、図１６（Ｃ）では、省略してあるが、有効画素領域では、ラインメモリＭ２に対する読み出しイネーブル信号ＲＥＮ２のみがアクティブの状態となり、補正用の黒レベル（オフセット）が共有画素別減算部４２７に出力される。
When the configuration of the
図１７および図１８のフローチャートを参照して、この第３の実施形態における処理動作の流れを説明する。この図１７および図１８のフローチャートの処理は、デジタル信号処理部４の共有画素別縦筋検出補正部４２における処理の流れの例であり、共有画素別縦筋検出補正部４２をソフトウエア処理により構成する場合に相当するものである。なお、この例は、説明の簡単のため、メモリ部４２５のラインメモリは２個で、読み出しモードは、２種類が選択可能とされているとした場合の例である。
With reference to the flowcharts of FIGS. 17 and 18, the flow of the processing operation in the third embodiment will be described. 17 and 18 is an example of a process flow in the shared pixel-specific vertical stripe detection /
先ず、モード１が設定されているか、あるいはモード２が設定されているかを判別する（ステップＳ２０１）。このステップＳ２０１で、モード１が設定されていると判別したときには、図１２に示した処理ルーチンを実行するように全体を制御する（ステップＳ２０２）。その後、モード２に変更されたか否かを判別し（ステップＳ２０３）、モード２に変更されなければ、ステップＳ２０２に戻って、図１２に示したモード１の処理ルーチンを継続する。
First, it is determined whether
ステップＳ２０１で、モード２が設定されていると判別したときには、カメラ制御マイコン５からのモード指示に応じて、タイミング生成部４２３は、読み出しモードに応じたメモリ部４２５の特定のラインメモリを選定し、当該選定したラインメモリの読み出しおよび書き込みを制御するメモリ制御信号ＣＴＬｍをメモリ部４２５に供給するようにする（ステップＳ２０４）。
When it is determined in step S201 that the
次に、入力撮像画像データが縦筋検出枠領域ＦＬからのものであるか否か判別し（ステップＳ２０５）、縦筋検出枠領域ＦＬからのものであると判別したときには、ステップＳ２０４で選定されたラインメモリを書き込みイネーブルおよび読み出しイネーブルの状態とする。そして、選択したラインメモリから読み出したデータと入力画素データとから、対応する画素の黒レベルデータ積分値（平均値）を算出し（ステップＳ２０６）、算出した黒レベルデータ積分値を、選択したラインメモリに書き戻す（ステップＳ２０７）。 Next, it is determined whether or not the input captured image data is from the vertical stripe detection frame area FL (step S205). When it is determined that the input captured image data is from the vertical stripe detection frame area FL, it is selected in step S204. The line memory is set in a write enable state and a read enable state. Then, the black level data integrated value (average value) of the corresponding pixel is calculated from the data read from the selected line memory and the input pixel data (step S206), and the calculated black level data integrated value is calculated as the selected line. Write back to the memory (step S207).
次に、入力撮像画像データは有効画素領域からのデータであるか否か判別し（ステップＳ２０８）、有効画素領域でなければ、ステップＳ２０５に戻り、このステップＳ２０５以降の処理を繰り返す。 Next, it is determined whether or not the input captured image data is data from an effective pixel area (step S208). If the input captured image data is not an effective pixel area, the process returns to step S205, and the processing from step S205 is repeated.
また、ステップＳ２０５で、入力撮像画像データが、縦筋検出枠領域ＦＬからのデータでないと判別したときには、ステップＳ２０８にジャンプして、有効画素領域からのデータであるか否か判別する。 If it is determined in step S205 that the input captured image data is not data from the vertical stripe detection frame area FL, the process jumps to step S208 to determine whether the data is from the effective pixel area.
そして、ステップＳ２０８で、入力撮像画像データが、有効画素領域からのデータであると判別したときには、選定されているラインメモリを書き込み不能の状態とすると共に、読み出しイネーブルの状態とし、当該ラインメモリから読み出した黒レベルデータ積分値（オフセット量）を、対応する水平方向位置の画素データから減算して、出力する（ステップＳ２０９）。 In step S208, when it is determined that the input captured image data is data from the effective pixel area, the selected line memory is set in a non-writable state and in a read enabled state. The read black level data integration value (offset amount) is subtracted from the corresponding pixel data in the horizontal direction and output (step S209).
次に、カメラ制御マイコン５は、固体撮像素子からの画素データの読み出しモードが変更されたか否かを判別する（ステップＳ２１０）。このステップＳ２１０で、読み出しモードが変更されていないと判別したときには、ステップＳ２０５に戻って、上述したステップＳ２０５以降の処理を繰り返す。
Next, the
また、ステップＳ２１０で、読み出しモードが変更されたと判別したときには、メモリ部４２５のラインメモリを、変更された読み出しモードに対応するラインメモリに変更する（図１８のステップＳ２１１）。
If it is determined in step S210 that the read mode has been changed, the line memory in the
次に、入力撮像画像データが縦筋検出枠領域ＦＬからのものであるか否か判別し（ステップＳ２１２）、縦筋検出枠領域ＦＬからのものであると判別したときには、ステップＳ２１１で選定されたラインメモリを書き込みイネーブルおよび読み出しイネーブルの状態とする。そして、選択したラインメモリから読み出したデータと入力画素データとから、対応する画素の黒レベルデータ積分値（平均値）を算出し（ステップＳ２１３）、算出した黒レベルデータ積分値を、選択したラインメモリに書き戻す（ステップＳ２１４）。 Next, it is determined whether or not the input captured image data is from the vertical stripe detection frame area FL (step S212). When it is determined that the input captured image data is from the vertical stripe detection frame area FL, it is selected in step S211. The line memory is set in a write enable state and a read enable state. Then, the black level data integrated value (average value) of the corresponding pixel is calculated from the data read from the selected line memory and the input pixel data (step S213), and the calculated black level data integrated value is selected as the selected line. Write back to the memory (step S214).
次に、入力撮像画像データは有効画素領域からのデータであるか否か判別し（ステップＳ２１５）、有効画素領域でなければ、ステップＳ２１２に戻り、このステップＳ２１２以降の処理を繰り返す。 Next, it is determined whether or not the input captured image data is data from an effective pixel area (step S215). If the input captured image data is not an effective pixel area, the process returns to step S212, and the processes after step S212 are repeated.
また、ステップＳ２１２で、入力撮像画像データが、縦筋検出枠領域ＦＬからのデータでないと判別したときには、ステップＳ２１５にジャンプして、有効画素領域からのデータであるか否か判別する。 If it is determined in step S212 that the input captured image data is not data from the vertical stripe detection frame area FL, the process jumps to step S215 to determine whether the data is from the effective pixel area.
そして、ステップＳ２１５で、入力撮像画像データが、有効画素領域からのデータであると判別したときには、選定されているラインメモリを書き込み不能の状態とすると共に、読み出しイネーブルの状態とし、当該ラインメモリから読み出した黒レベルデータ積分値（オフセット量）を、対応する水平方向位置の画素データから減算して、出力する（ステップＳ２１６）。 In step S215, when it is determined that the input captured image data is data from the effective pixel area, the selected line memory is set in a non-writable state and in a read enabled state, The read black level data integration value (offset amount) is subtracted from the corresponding pixel data in the horizontal direction and output (step S216).
次に、固体撮像素子からの画素で他の読み出しモードが、最初の読み出しモードに復帰されたか否か判別し（ステップＳ２１７）、復帰されたと判別したときには、図１７のステップＳ２０４に戻り、このステップＳ２０４以降の処理を繰り返す。 Next, it is determined whether or not another readout mode has been returned to the first readout mode for the pixels from the solid-state imaging device (step S217). If it is determined that the readout mode has been restored, the process returns to step S204 in FIG. The processes after S204 are repeated.
また、ステップＳ２１７で、最初の読み出しモードに復帰してはいないと判別したときには、モード１に変更されたか否か判別し（ステップＳ２１８）、変更されてはいないと判別したときには、ステップＳ２１２に戻り、このステップＳ２１２以降の処理を繰り返す。 If it is determined in step S217 that the first read mode has not been returned, it is determined whether or not the mode has been changed to mode 1 (step S218). If it is determined that the mode has not been changed, the process returns to step S212. Then, the processing after step S212 is repeated.
また、ステップＳ２１８で、モード１に変更されたと判別したときには、図１７のステップＳ２０２に戻り、このステップＳ２０２以降の処理を繰り返す。
When it is determined in step S218 that the mode has been changed to
上記の構成によって、上記（１）〜（３）の場合の固体撮像素子の全てに対応しつつ、上記（２）、（３）の場合の固体撮像素子を用いる撮像装置においては、オーバーヘッドとなるハードウエアリソースを効率良く使うことが可能となる。 With the above configuration, the imaging apparatus using the solid-state imaging device in the cases (2) and (3) is an overhead while corresponding to all of the solid-state imaging devices in the cases (1) to (3). Hardware resources can be used efficiently.
なお、一般的に、ＯＰＢ領域だけでは積分画素数を増やすことに制約があるので、特許文献２のように、電源投入時等にアイリスを閉じた状態にて、モード２、モード３での全画面検出を行って、それぞれのメモリ部４２５のラインメモリに格納しておき、モード遷移時に速やかに積分値が収束できるようにしておくのが望ましい。
In general, since there is a restriction on increasing the number of integrated pixels only in the OPB region, all of the
以上説明したように、上述の実施形態の撮像装置によれば、画素感度向上を目的として隣接または近接画素間でトランジスタ等画素構成に必要な回路を共有している固体撮像素子に対して、共有画素パターン、フィルタコーディング、読出しチャンネル形態などは問わずに、非常に簡易な構成で、上記固体撮像素子の持つ共有パターンに起因する隣接画素の回路レイアウト不均一性を起因とする「縦筋状ノイズの不均一性」を補正することができる。また、上記固体撮像素子の持つ共有パターンに起因する隣接画素の回路レイアウト不均一性を起因とする「水平ダークシェーディングの不均一性」を補正することができる。 As described above, according to the imaging device of the above-described embodiment, it is shared for a solid-state imaging device that shares a circuit necessary for pixel configuration such as a transistor between adjacent or adjacent pixels for the purpose of improving pixel sensitivity. Regardless of pixel pattern, filter coding, readout channel form, etc., “vertical streak noise is caused by non-uniform circuit layout of adjacent pixels due to the shared pattern of the solid-state image sensor with a very simple configuration. Non-uniformity ”can be corrected. In addition, “horizontal dark shading non-uniformity” caused by non-uniform circuit layout of adjacent pixels due to the shared pattern of the solid-state imaging device can be corrected.
また、第３の実施形態によれば、一つの撮像装置システムで、共有画素別検出・補正が必要な固体撮像素子と、不要な固体撮像素子との両方に対応する必要がある場合に、共有画素別検出・補正のために搭載した、ラインメモリを効率的に使用できる。 In addition, according to the third embodiment, when one imaging apparatus system needs to cope with both a solid-state imaging element that needs to be detected and corrected for each shared pixel and an unnecessary solid-state imaging element, it is shared. The line memory installed for pixel-specific detection and correction can be used efficiently.
なお、上述した第１〜第３の実施形態の構成は、説明の都合上、図４（Ａ）に示した共有画素パターンならびに読み出し方法に特化して説明してきたが、別の共有画素パターンや読み出し方法にも柔軟に対応できるように、タイミング生成部４２３等をプログラマブルに構成しておくのが望ましい。
Note that the configurations of the first to third embodiments described above have been described specifically for the shared pixel pattern and the readout method illustrated in FIG. 4A for convenience of explanation. It is desirable that the
また、上述の実施形態の説明では、固体撮像素子は、ＣＭＯＳイメージャとしたが、ＣＣＤイメージャでもよい。 In the above description of the embodiment, the solid-state imaging device is a CMOS imager, but may be a CCD imager.
２…ＣＭＯＳイメージャ、４…デジタル信号処理部、５…カメラ制御マイコン、４２…共有画素別縦筋検出補正部、４４…基準タイミング信号発生器、４２３…タイミング生成部、４２４…共有画素別コラム積分処理部、４２５…メモリ部、４２７…共有画素別減算部
DESCRIPTION OF
Claims (7)
前記画素構成に必要な回路を共有する前記所定の複数個の画素によって形成される水平方向の画素の配列パターンが互いに異なる水平ライン数に応じた数であって、前記水平方向の画素の配列パターンが異なる水平ラインのそれぞれに対応して設けられるラインメモリと、
前記固体撮像素子の有効領域の周囲の遮光領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、当該水平方向の画素の配列パターンの水平ラインに対応するラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記対応するラインメモリに書き込まれている画素データの平均値により補正する検出補正手段と、
を備えることを特徴とする撮像装置。 A plurality of pixels arranged in a two-dimensional array is formed as a set of a plurality of predetermined pixels having the same pixel arrangement pattern, and the pixels corresponding to the predetermined plurality of pixels constituting each set A solid-state imaging device configured to share a circuit necessary for the configuration;
The horizontal pixel array pattern formed by the predetermined plurality of pixels sharing a circuit necessary for the pixel configuration is a number corresponding to the number of different horizontal lines, and the horizontal pixel array pattern A line memory provided corresponding to each of the different horizontal lines,
In a light shielding region around the effective region of the solid-state imaging device, an average value of pixel data included in the horizontal line is detected for each horizontal line having a different horizontal pixel arrangement pattern, and the detected pixel data The average value is written in the line memory corresponding to the horizontal line of the horizontal pixel array pattern, and in the effective area of the solid-state image sensor, the horizontal pixel array pattern is different for each horizontal line. Detecting and correcting means for correcting the pixel data of the horizontal line by an average value of the pixel data written in the corresponding line memory;
An imaging apparatus comprising:
前記画素構成に必要な回路を共有する前記所定の複数個の画素によって形成される水平方向の画素の配列パターンが互いに異なる水平ライン数に応じた数であって、前記水平方向の画素の配列パターンが異なる水平ラインのそれぞれに対応して設けられるラインメモリと、
前記固体撮像素子の有効領域の周囲の遮光領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、当該水平方向の画素の配列パターンの水平ラインに対応するラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記対応するラインメモリに書き込まれている画素データの平均値により補正する第１の検出補正手段と、
前記固体撮像素子の有効領域の周囲の遮光領域において、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、前記ラインメモリのうちの特定のラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記特定のラインメモリに書き込まれている画素データの平均値により補正する第２の検出補正手段と、
前記第１の検出補正手段と、前記第２の検出補正手段とのいずれかを選択する選択手段と、
を備えることを特徴とする撮像装置。 A plurality of pixels arranged in a two-dimensional array is formed as a set of a plurality of predetermined pixels having the same pixel arrangement pattern, and the pixels corresponding to the predetermined plurality of pixels constituting each set A solid-state imaging device configured to share a circuit necessary for the configuration;
The horizontal pixel array pattern formed by the predetermined plurality of pixels sharing a circuit necessary for the pixel configuration is a number corresponding to the number of different horizontal lines, and the horizontal pixel array pattern A line memory provided corresponding to each of the different horizontal lines,
In a light shielding region around the effective region of the solid-state imaging device, an average value of pixel data included in the horizontal line is detected for each horizontal line having a different horizontal pixel arrangement pattern, and the detected pixel data The average value is written in the line memory corresponding to the horizontal line of the horizontal pixel array pattern, and in the effective area of the solid-state image sensor, the horizontal pixel array pattern is different for each horizontal line. First detection correction means for correcting the pixel data of the horizontal line by an average value of the pixel data written in the corresponding line memory;
In a light shielding area around the effective area of the solid-state imaging device, an average value of pixel data included in the horizontal line is detected, and the detected average value of the pixel data is stored in a specific line memory of the line memory. In addition to writing, in the effective area of the solid-state imaging device, pixel data of each horizontal line is written to the specific line memory for each horizontal line having a different pixel arrangement pattern in the horizontal direction. Second detection correction means for correcting by an average value;
A selection means for selecting one of the first detection correction means and the second detection correction means;
An imaging apparatus comprising:
前記選択手段により前記第２の検出補正手段が選択されているときに、前記固体撮像素子からの画素データの読み出しモードが変更されたときに、前記特定のラインメモリが別のラインメモリに変更される
ことを特徴とする撮像装置。 The imaging device according to claim 2,
When the second detection correction unit is selected by the selection unit and the reading mode of pixel data from the solid-state imaging device is changed, the specific line memory is changed to another line memory. An imaging device characterized by the above.
前記画素の配列パターンは、前記画素のそれぞれに対して配される色フィルタの違いも含めたものとされる
ことを特徴とする撮像装置。 In the imaging device according to claim 1 or 2,
The pixel arrangement pattern includes a difference in color filters arranged for each of the pixels.
前記固体撮像素子の有効領域の周囲の遮光領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、当該水平方向の画素の配列パターンの水平ラインに対応するラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記対応するラインメモリに書き込まれている画素データの平均値により補正する検出補正工程を備える
ことを特徴とする撮像データ補正方法。 A plurality of pixels arranged in a two-dimensional array is formed as a set of a plurality of predetermined pixels having the same pixel arrangement pattern, and the pixels corresponding to the predetermined plurality of pixels constituting each set Horizontal lines having different pixel arrangement patterns in the horizontal direction formed by the solid-state imaging device configured to share the circuit necessary for the configuration and the predetermined plurality of pixels sharing the circuit required for the pixel configuration An imaging data correction method for an imaging apparatus comprising a line memory provided corresponding to each of horizontal lines in which the horizontal pixel arrangement pattern is different,
In a light shielding region around the effective region of the solid-state imaging device, an average value of pixel data included in the horizontal line is detected for each horizontal line having a different horizontal pixel arrangement pattern, and the detected pixel data The average value is written in the line memory corresponding to the horizontal line of the horizontal pixel array pattern, and in the effective area of the solid-state image sensor, the horizontal pixel array pattern is different for each horizontal line. An imaging data correction method comprising: a detection correction step of correcting pixel data of the horizontal line by an average value of pixel data written in the corresponding line memory.
前記固体撮像素子の有効領域の周囲の遮光領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、当該水平方向の画素の配列パターンの水平ラインに対応するラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記対応するラインメモリに書き込まれている画素データの平均値により補正する第１の検出補正工程と、
前記固体撮像素子の有効領域の周囲の遮光領域において、当該水平ラインに含まれる画素データの平均値を検出し、検出した前記画素データの平均値を、前記ラインメモリのうちの特定のラインメモリに書き込むと共に、前記固体撮像素子の前記有効領域において、前記水平方向の画素の配列パターンが異なる水平ライン毎に、それぞれの水平ラインの画素データを、前記特定のラインメモリに書き込まれている画素データの平均値により補正する第２の検出補正工程と、
前記第１の検出補正工程または前記第２の検出補正工程の実行に先立ち、前記第１の検出補正工程と、前記第２の検出補正工程とのいずれかを選択する選択工程と、
を備えることを特徴とする撮像データ補正方法。 A plurality of pixels arranged in a two-dimensional array is formed as a set of a plurality of predetermined pixels having the same pixel arrangement pattern, and the pixels corresponding to the predetermined plurality of pixels constituting each set Horizontal lines having different pixel arrangement patterns in the horizontal direction formed by the solid-state imaging device configured to share the circuit necessary for the configuration and the predetermined plurality of pixels sharing the circuit required for the pixel configuration An imaging data correction method for an imaging apparatus comprising a line memory provided corresponding to each of horizontal lines in which the horizontal pixel arrangement pattern is different,
In a light shielding region around the effective region of the solid-state imaging device, an average value of pixel data included in the horizontal line is detected for each horizontal line having a different horizontal pixel arrangement pattern, and the detected pixel data The average value is written in the line memory corresponding to the horizontal line of the horizontal pixel array pattern, and in the effective area of the solid-state image sensor, the horizontal pixel array pattern is different for each horizontal line. A first detection correction step of correcting the pixel data of the horizontal line by an average value of the pixel data written in the corresponding line memory;
In a light shielding area around the effective area of the solid-state imaging device, an average value of pixel data included in the horizontal line is detected, and the detected average value of the pixel data is stored in a specific line memory of the line memory. In addition to writing, in the effective area of the solid-state imaging device, pixel data of each horizontal line is written to the specific line memory for each horizontal line having a different pixel arrangement pattern in the horizontal direction. A second detection correction step of correcting by an average value;
Prior to the execution of the first detection correction step or the second detection correction step, a selection step of selecting one of the first detection correction step and the second detection correction step;
An imaging data correction method comprising:
前記第２の検出補正工程において、前記固体撮像素子からの画素データの読み出しモードが変更されたときに、前記特定のラインメモリが別のラインメモリに変更される
ことを特徴とする撮像データ補正方法。
The imaging data correction method according to claim 6,
In the second detection and correction step, when the reading mode of pixel data from the solid-state imaging device is changed, the specific line memory is changed to another line memory. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007128853A JP2008288649A (en) | 2007-05-15 | 2007-05-15 | Image pickup apparatus and method of correcting captured image data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007128853A JP2008288649A (en) | 2007-05-15 | 2007-05-15 | Image pickup apparatus and method of correcting captured image data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008288649A true JP2008288649A (en) | 2008-11-27 |
Family
ID=40147997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007128853A Pending JP2008288649A (en) | 2007-05-15 | 2007-05-15 | Image pickup apparatus and method of correcting captured image data |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008288649A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013001869A1 (en) | 2011-06-30 | 2013-01-03 | 富士フイルム株式会社 | Imaging device and imaging program |
| WO2013008598A1 (en) | 2011-07-13 | 2013-01-17 | 富士フイルム株式会社 | Image pickup apparatus and signal value correction method |
-
2007
- 2007-05-15 JP JP2007128853A patent/JP2008288649A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013001869A1 (en) | 2011-06-30 | 2013-01-03 | 富士フイルム株式会社 | Imaging device and imaging program |
| US8970748B2 (en) | 2011-06-30 | 2015-03-03 | Fujifilm Corporation | Imaging device, storage medium storing a control program for imaging device, and control method for imaging device |
| WO2013008598A1 (en) | 2011-07-13 | 2013-01-17 | 富士フイルム株式会社 | Image pickup apparatus and signal value correction method |
| US8780239B2 (en) | 2011-07-13 | 2014-07-15 | Fujifilm Corporation | Image pickup apparatus and signal value correction method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4292426B2 (en) | Imaging apparatus and imaging data correction method | |
| JP5045380B2 (en) | Imaging apparatus, imaging data correction method, and program | |
| US7133073B1 (en) | Method and apparatus for color interpolation | |
| US8310577B1 (en) | Method and apparatus for color compensation | |
| US6888568B1 (en) | Method and apparatus for controlling pixel sensor elements | |
| JP4640507B2 (en) | Solid-state imaging device, signal processing method for solid-state imaging device, and imaging device | |
| US8031246B2 (en) | Image sensor, electronic apparatus, and driving method of electronic apparatus | |
| JP5852324B2 (en) | Imaging apparatus, control method therefor, and program | |
| US8422819B2 (en) | Image processing apparatus having a noise reduction technique | |
| US20120086838A1 (en) | Method and apparatus for image noise reduction using noise models | |
| EP2101488A1 (en) | Solid-state imaging device, solid-state imaging device drive method, and imaging device | |
| CN103748868A (en) | Imaging device, signal processing method, and program | |
| KR102129627B1 (en) | Solid-state imaging device, signal processing method thereof and electronic apparatus | |
| JP5746521B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP2007053634A (en) | Image pickup device and defective pixel correction device and method | |
| JP2008054136A (en) | Imaging apparatus and driving control method | |
| KR20100038140A (en) | Solid-state imaging element, driving method therefor, and camera system | |
| JP2007028339A (en) | Imaging apparatus, control method and program thereof and storage medium | |
| JP2012044452A (en) | Imaging device and defective pixel detecting method for the same | |
| JP2010130317A (en) | Image capturing apparatus, and method of controlling the same | |
| JP6305169B2 (en) | Solid-state imaging device, imaging apparatus, control method thereof, program, and storage medium | |
| JP5434485B2 (en) | Solid-state image sensor, solid-state image sensor driving method, and camera system | |
| JP2004023683A (en) | Defect correction apparatus and method for solid-state imaging device | |
| JP2008288649A (en) | Image pickup apparatus and method of correcting captured image data | |
| US8169521B2 (en) | Image sampling method and image processing method thereof |