JP4807075B2 - Imaging device and defective pixel correction method thereof - Google Patents

Imaging device and defective pixel correction method thereof Download PDF

Info

Publication number
JP4807075B2
JP4807075B2 JP2005379169A JP2005379169A JP4807075B2 JP 4807075 B2 JP4807075 B2 JP 4807075B2 JP 2005379169 A JP2005379169 A JP 2005379169A JP 2005379169 A JP2005379169 A JP 2005379169A JP 4807075 B2 JP4807075 B2 JP 4807075B2
Authority
JP
Japan
Prior art keywords
information
pixel
defect
pixels
defective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005379169A
Other languages
Japanese (ja)
Other versions
JP2007181064A (en
Inventor
晶宏 玉置
顕 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005379169A priority Critical patent/JP4807075B2/en
Publication of JP2007181064A publication Critical patent/JP2007181064A/en
Application granted granted Critical
Publication of JP4807075B2 publication Critical patent/JP4807075B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子を備え、画素加算により感度の向上を図る撮像装置に関し、特に、欠陥画素を補償する機能を有する撮像装置およびその欠陥画素補正方法に関するものである。   The present invention relates to an imaging apparatus that includes a solid-state imaging device such as a charge coupled device (CCD) and a complementary metal oxide semiconductor (CMOS) sensor, and improves sensitivity by pixel addition, and particularly has an ability to compensate for defective pixels. The present invention relates to an apparatus and a defective pixel correction method thereof.

一般にＣＣＤやＣＭＯＳなどの固体撮像素子には、半導体の局部的な結晶欠陥などによる異常な撮像信号を出力する欠陥画素を生じ、これに起因する画質劣化を生じることが知られている。
これらには、たとえば黒傷欠陥画素や白傷欠陥画素などがあるが、どちらも孤立点である。 In general, it is known that a solid-state imaging device such as a CCD or a CMOS has a defective pixel that outputs an abnormal imaging signal due to a local crystal defect of a semiconductor and causes image quality degradation due to this.
These include, for example, black defect pixels and white defect pixels, both of which are isolated points.

従来、これら欠陥画素を信号処理によって補正するための方式や回路構成が各種提案されているが、基本的には欠陥画素の位置データを記憶する記憶手段（メモリやバッファ）を持ち、欠陥画素に係るデータを一つ前のデータや近傍画素の平均値データなどで置換して補正する欠陥補正手段が一般的である。従来はたとえば特許第３５４４３０４号などがある。
特許第３５４４３０４号公報 Conventionally, various methods and circuit configurations for correcting these defective pixels by signal processing have been proposed. Basically, however, the defective pixels have storage means (memory or buffer) for storing the position data of the defective pixels. Defect correction means for correcting such data by replacing it with the previous data or the average value data of neighboring pixels is generally used. Conventionally, for example, there is Japanese Patent No. 3544304.
Japanese Patent No. 3544304

さて、固体撮像素子には、画像サイズを落としてフレームレートを上げるモードが用意されていることがある。
このモードは、たとえば上下左右２画素ずつの合計４画素を加算して１画素として扱い、画像サイズとしては１／４になるが、１画面を出力する時間も１／４になるものである。
このモードを使うとき、加算する４画素の中の１画素でも欠陥画素が含まれていた場合、加算後の画素も欠陥画素として扱われる。
また、加算数が多くなるほどに、加算画素の中に含まれる欠陥画素の数が多くなる可能性も高くなる。さらに加算前は孤立点欠陥であったものが、加算により連続欠陥となってしまう可能性も高くなる。 Now, a solid-state imaging device may be provided with a mode for reducing the image size and increasing the frame rate.
In this mode, for example, a total of four pixels of two pixels, top, bottom, left, and right, are added and treated as one pixel, and the image size is 1/4, but the time for outputting one screen is also 1/4.
When using this mode, if even one of the four pixels to be added contains a defective pixel, the pixel after the addition is also treated as a defective pixel.
In addition, as the number of additions increases, the possibility that the number of defective pixels included in the addition pixels increases also increases. Furthermore, there is a high possibility that what was an isolated point defect before addition becomes a continuous defect by addition.

ここで従来の欠陥補正では、欠陥画素の位置情報は加算前の最大画像サイズでのアドレス情報だけが格納されている。
そのため画素加算モード時は、それ用のアドレス情報を格納する記憶装置を別に用意するか、最大画像サイズのアドレス情報から演算して求めるしかない。
記憶装置を別に用意すれば回路規模の増大になる。最大サイズでのアドレスから求める場合には、加算後の画素に複数の欠陥が含まれていた場合の処理が複雑になる（アドレス情報は位置順に格納され順次処理される）。
加算画素に複数の欠陥が含まれていた場合、同じ加算画素に対して複数のアドレス情報を持つ事になるが、処理上は最初のアドレス以外は無視する構造を持たなければならない。そのため画素加算モードでは欠陥補正しないのが殆どである。 Here, in the conventional defect correction, only the address information at the maximum image size before addition is stored as the position information of the defective pixel.
For this reason, in the pixel addition mode, a storage device for storing address information therefor must be prepared separately or calculated from the address information of the maximum image size.
If a separate storage device is prepared, the circuit scale increases. In the case of obtaining from the address in the maximum size, the processing when the added pixel includes a plurality of defects is complicated (address information is stored in order of position and sequentially processed).
When a plurality of defects are included in the addition pixel, the same addition pixel has a plurality of pieces of address information, but the processing must have a structure that ignores other than the first address. For this reason, in the pixel addition mode, defect correction is mostly not performed.

また、近年、固体撮像素子の感度を低下させることなく高画素化や小型化をするため、信号検出トランジスタを複数画素で共有する構成をとるようになってきた。
この構成において、この複数画素で共有された信号検出トランジスタが欠陥となった場合、共有されている全画素が欠陥画素となってしまい、この原因による欠陥画素の発生の場合、孤立点での欠陥ではなく、共有形式の画素配置パターンでの欠陥が発生することになる。
ここで、従来通りの欠陥補正方式を用いても問題なく補正できる。 In recent years, in order to increase the number of pixels and reduce the size without reducing the sensitivity of the solid-state imaging device, a configuration in which a signal detection transistor is shared by a plurality of pixels has been adopted.
In this configuration, when the signal detection transistor shared by the plurality of pixels becomes defective, all the shared pixels become defective pixels, and in the case of defective pixels due to this cause, the defect at the isolated point Instead, a defect occurs in the shared pixel arrangement pattern.
Here, even if a conventional defect correction method is used, it can be corrected without any problem.

しかし、共有形式の画素配置パターンでの欠陥であるので、共有画素のうち１画素の位置が判れば、他の画素の位置は明白であるにもかかわらず、全ての共有画素について位置情報を格納してしまうため、欠陥情報を格納するメモリ容量を無駄に消費することになる。
また、補正を行う場合、共有での画素配列パターンによっては、補間に使用する画素も欠陥である可能性があるため、使用する画素の欠陥判別機能も必要になる。 However, since it is a defect in the shared pixel arrangement pattern, if the position of one pixel among the shared pixels is known, the position information of all the shared pixels is stored even though the positions of the other pixels are obvious. Therefore, the memory capacity for storing the defect information is wasted.
When correction is performed, depending on the shared pixel arrangement pattern, a pixel used for interpolation may be defective, and thus a function for determining a defect of the pixel used is required.

本発明は、位置情報算出を単純化でき、また、欠陥補正系の回路規模の増大を抑えることが可能な撮像装置およびその欠陥画素補正方法を提供することにある。   It is an object of the present invention to provide an imaging apparatus capable of simplifying position information calculation and suppressing an increase in circuit scale of a defect correction system and a defective pixel correction method thereof.

本発明の第１の観点は、撮像素子の複数画素単位の情報を読み出すことが可能な撮像装置であって、欠陥画素情報を格納し、かつ、当該欠陥画素情報に加えて、上記撮像素子の複数画素単位の情報に対する欠陥状況を示す情報を記憶する欠陥情報記憶部と、上記欠陥情報記憶部に記憶された欠陥画素情報およびフラグ情報に基づいて上記複数画素単位の位置情報を生成し、生成した位置情報を基に上記撮像素子の読み出し画像信号に対して欠陥補正を行う欠陥補正部と、を有し、撮像素子の各画素の画像情報を複数個加算しつつ読み出し可能な画素加算読み出しモード、および画素加算を行わずに画素情報の読み出しを行う通常画素読み出しモードを含み、上記欠陥情報記憶部のフラグ情報には、上記撮像素子からの出力が画素加算されている状態での加算後の画素が、加算される前の状態で欠陥画素を２画素以上含んでいる場合、２つ目以降の欠陥画素は位置情報を無効とするフラグ情報を含み、上記欠陥補正部は、通常画素読み出しモードの場合は、上記欠陥情報記憶部に記憶されている位置情報に基づいて欠陥補正を行う。 According to a first aspect of the present invention, there is provided an imaging apparatus capable of reading information of a plurality of pixel units of an imaging device, storing defective pixel information, and in addition to the defective pixel information, A defect information storage unit that stores information indicating a defect status with respect to information of a plurality of pixel units, and position information of the plurality of pixel units is generated based on the defect pixel information and flag information stored in the defect information storage unit, and generated position information based on anda defect correction unit that performs defect correction on the read image signal of the image pickup device, readable pixel addition readout mode while a plurality adds the image information of each pixel of the image sensor And a normal pixel read mode in which pixel information is read without pixel addition, and the output from the image sensor is added to the flag information in the defect information storage unit. When the pixel after addition in the state includes two or more defective pixels in the state before the addition, the second and subsequent defective pixels include flag information that invalidates the position information, and the defect correction unit In the normal pixel readout mode, defect correction is performed based on the position information stored in the defect information storage unit .

好適には、上記欠陥補正部は、上記欠陥情報記憶部の上記フラグ情報を基に画素加算後の欠陥画素を判断する判定部と、加算画素の位置情報を生成する位置情報生成部と、生成された位置情報を基に欠陥補正を行う欠陥補正回路と、を含む。 Preferably, the upper Symbol defect correction unit includes a determination unit for determining a defective pixel after pixel addition based on the flag information in the defect information storage unit, a position information generating unit for generating position information of the added pixel, And a defect correction circuit that performs defect correction based on the generated position information.

また、本発明は、撮像素子の複数画素単位の情報を読み出すことが可能な撮像装置であって、欠陥画素情報を格納し、かつ、当該欠陥画素情報に加えて、上記撮像素子の複数画素単位の情報に対する欠陥状況を示す情報を記憶する欠陥情報記憶部と、上記欠陥情報記憶部に記憶された欠陥画素情報およびフラグ情報に基づいて上記複数画素単位の位置情報を生成し、生成した位置情報を基に上記撮像素子の読み出し画像信号に対して欠陥補正を行う欠陥補正部と、を有し、上記複数画素単位の情報は、信号検出素子を共有する複数の画素情報を含み、上記欠陥情報記憶部のフラグ情報には、撮像素子の信号検出素子が複数画素で共有された状態での欠陥である旨を示すフラグ情報を含み、上記欠陥補正部は、生成された位置情報を基に欠陥画素と判断された共有画素の全てを補正する。
好適には、上記欠陥補正部は、上記画素共有状態での欠陥を示すフラグ情報を基に共有されている画素全てを欠陥と判定する共有判定部と、上記共有判定部の判定結果に応じて共有画素の位置情報を生成する位置情報生成部と、生成された位置情報を基に欠陥画素と判断された共有画素の全てを補正する欠陥補正回路と、を含む。 In addition, the present invention is an imaging apparatus capable of reading out information of a plurality of pixel units of an image sensor, stores defective pixel information, and in addition to the defective pixel information, a plurality of pixel units of the image sensor A defect information storage unit that stores information indicating a defect status with respect to the information of the image, and the positional information generated by generating the position information of the plurality of pixels based on the defective pixel information and flag information stored in the defect information storage unit A defect correction unit that performs defect correction on the read image signal of the image sensor based on the information, and the information of the plurality of pixel units includes a plurality of pixel information sharing the signal detection element, and the defect information The flag information of the storage unit includes flag information indicating that the signal detection element of the image sensor is a defect in a state shared by a plurality of pixels, and the defect correction unit detects the defect based on the generated position information. Picture Correcting all shared pixels determined to.
Preferably, the upper Symbol defect correction unit includes a shared determination unit determines all pixels with defects that are shared on the basis of flag information indicating a defect in the pixel shared state, according to a determination result of the shared determination unit A position information generation unit that generates position information of the shared pixels, and a defect correction circuit that corrects all of the shared pixels that are determined to be defective pixels based on the generated position information.

好適には、上記位置情報生成部で生成された位置情報を上記欠陥補正回路で参照するためのバッファを有する。   Preferably, there is provided a buffer for referring to the position information generated by the position information generation unit with the defect correction circuit.

好適には、上記欠陥補正部は、画素共有での欠陥の場合で、かつ補正に使用する近傍画素も欠陥である場合は、欠陥である近傍画素を使用しない補間処理を行う。   Preferably, the defect correction unit performs an interpolation process that does not use a neighboring pixel that is a defect if the defect is due to pixel sharing and the neighboring pixel used for correction is also a defect.

本発明の第２の観点は、撮像素子の複数画素単位の情報を読み出すことが可能な撮像装置の欠陥画素補正方法であって、欠陥画素情報に加えて、上記撮像素子の複数画素単位の情報に対する欠陥状況を示す情報を欠陥情報記憶部に記憶し、上記欠陥情報記憶部に記憶された欠陥画素情報およびフラグ情報に基づいて上記複数画素単位の位置情報を生成し、生成した位置情報を基に上記撮像素子の読み出し画像信号に対して欠陥補正を行い、撮像素子の各画素の画像情報を複数個加算しつつ読み出し可能な画素加算読み出しモード、および画素加算を行わずに画素情報の読み出しを行う通常画素読み出しモードを含み、上記フラグ情報には、上記撮像素子からの出力が画素加算されている状態での加算後の画素が、加算される前の状態で欠陥画素を２画素以上含んでいる場合、２つ目以降の欠陥画素は位置情報を無効とするフラグ情報を含み、上記欠陥補正を行うに際し、通常画素読み出しモードの場合は、上記欠陥情報記憶部に記憶されている位置情報に基づいて欠陥補正を行う。
また、本発明は、撮像素子の複数画素単位の情報を読み出すことが可能な撮像装置の欠陥画素補正方法であって、欠陥画素情報に加えて、上記撮像素子の複数画素単位の情報に対する欠陥状況を示す情報を記憶し、上記記憶された欠陥画素情報およびフラグ情報に基づいて上記複数画素単位の位置情報を生成し、生成した位置情報を基に上記撮像素子の読み出し画像信号に対して欠陥補正を行い、上記複数画素単位の情報は、信号検出素子を共有する複数の画素情報を含み、上記フラグ情報には、上記撮像素子の信号検出素子が複数画素で共有された状態での欠陥である旨を示すフラグ情報を含み、上記欠陥補正を行うに際し、生成された位置情報を基に欠陥画素と判断された共有画素の全てを補正する。 According to a second aspect of the present invention, there is provided a defective pixel correction method for an image pickup apparatus capable of reading out information of a plurality of pixel units of the image pickup device, in addition to the defective pixel information, information of the plurality of pixel units of the image pickup device. information indicating the defective status is stored in the defect information storage section for, based on the defect information the defect pixel information stored in the storage unit and the flag information to generate position information of the plurality of pixels, based on the generated position information the have line defect correction on the read image signal from the image sensor, the reading of pixel information without readable pixel addition reading mode, and pixel addition with a plurality adds the image information of each pixel of the image pickup device In the flag information, the pixel after addition in the state where the output from the image sensor is added is displayed in the flag information in the state before the addition. In the normal pixel read mode, the second and subsequent defective pixels include flag information that invalidates the position information, and are stored in the defect information storage unit in the normal pixel readout mode. Defect correction is performed based on the positional information .
In addition, the present invention is a defective pixel correction method for an image pickup apparatus capable of reading out information of a plurality of pixel units of the image pickup device, and includes a defect situation for information of the plurality of pixel units of the image pickup device in addition to the defective pixel information. Information is generated, position information for each of the plurality of pixels is generated based on the stored defective pixel information and flag information, and defect correction is performed on the read image signal of the image sensor based on the generated position information. The information of the plurality of pixels includes a plurality of pieces of pixel information sharing the signal detection element, and the flag information is a defect in a state where the signal detection element of the imaging element is shared by the plurality of pixels. When performing the defect correction, the flag information indicating the fact is corrected, and all the shared pixels determined to be defective pixels based on the generated position information are corrected .

本発明によれば、メモリの増大を抑えつつ画素加算時の欠陥補正に対応することが可能となる。
また、欠陥情報記憶メモリの容量を大幅に削減することができる。
さらにまた、補正で使用する近傍画素も画素共有での欠陥になってしまっても対応することができる。 According to the present invention, it is possible to cope with defect correction at the time of pixel addition while suppressing an increase in memory.
In addition, the capacity of the defect information storage memory can be greatly reduced.
Furthermore, even if neighboring pixels used for correction become defective due to pixel sharing, it is possible to cope with them.

以下、本発明の実施形態を図面に関連付けて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜第１実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。 <First Embodiment>
FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus according to the first embodiment of the present invention.

本撮像装置１０は、図１に示すように、レンズ系１１、たとえばＣＭＯＳセンサにより形成された撮像素子１２、プリ処理部１３、画素欠陥検出部１４、欠陥情報記憶メモリ１５、欠陥補正部１６、およびカメラ信号処理部１７を有する。 As shown in FIG. 1, the imaging apparatus 10 includes a lens system 11, for example, an imaging element 12 formed by a CMOS sensor, a pre-processing unit 13, a pixel defect detection unit 14, a defect information storage memory 15, a defect correction unit 16, And a camera signal processing unit 17.

撮像素子１２は、複数の単位画素がマトリクス状に配列されており、本実施形態においては、撮像素子１２の駆動部により単位画素の画素情報を複数個加算しつつ読み出し可能に構成されている。
本実施形態の撮像装置１０は、このように単位画素の画素情報を複数個加算しつつ読み出しを行う画素加算読み出しモードＭＯＤ1と、画素加算を行わずに画素情報の読み出しを行う通常画素読み出しモードＭＯＤ２と、を有し、選択的に設定可能に構成される。 The image sensor 12 has a plurality of unit pixels arranged in a matrix. In the present embodiment, the image sensor 12 is configured to be readable while adding a plurality of pieces of pixel information of the unit pixels by the drive unit of the image sensor 12.
The imaging apparatus 10 of the present embodiment thus has a pixel addition reading mode MOD1 that performs reading while adding a plurality of pieces of pixel information of unit pixels, and a normal pixel reading mode MOD2 that reads pixel information without performing pixel addition. And is configured to be selectively settable.

図２は、本実施形態に係る撮像素子１２の単位画素の第１の構成例を示す回路図である。
各画素１２０は、図２に示すように、基本的に、光を受けて信号電荷を蓄積する光電変換素子１２１、蓄積された信号電荷を増幅する増幅トランジスタ１２２、光電変換素子１２１に蓄積された信号電荷を増幅トランジスタ１２２のゲート電極に転送する転送トランジスタ１２３、および増幅トランジスタ１２２のゲート電位をリセットするためのリセットトランジスタ１２４を有する。
増幅トランジスタ１２２とリセットトランジスタのドレインは選択信号配線１２５に接続され、増幅トランジスタ１２２のソースは信号線１２６に接続され、転送トランジスタ１２３のゲート電極が転送信号配線１２７に接続されている。
選択信号配線１２５および転送信号配線１２７と、信号線１２６は直交するように、マトリクス状に複数配線され、選択信号配線１２５および転送信号配線１２７は図示しない垂直選択回路により選択的に駆動され、信号線１２６は、ＣＤＳ回路（相関二重サンプリング回路）等に接続される。 FIG. 2 is a circuit diagram illustrating a first configuration example of a unit pixel of the image sensor 12 according to the present embodiment.
As shown in FIG. 2, each pixel 120 is basically stored in a photoelectric conversion element 121 that receives light and accumulates signal charges, an amplification transistor 122 that amplifies the accumulated signal charges, and photoelectric conversion elements 121. A transfer transistor 123 that transfers signal charges to the gate electrode of the amplification transistor 122 and a reset transistor 124 that resets the gate potential of the amplification transistor 122 are included.
The drains of the amplification transistor 122 and the reset transistor are connected to the selection signal wiring 125, the source of the amplification transistor 122 is connected to the signal line 126, and the gate electrode of the transfer transistor 123 is connected to the transfer signal wiring 127.
A plurality of selection signal lines 125 and transfer signal lines 127 and signal lines 126 are arranged in a matrix so as to be orthogonal to each other, and the selection signal lines 125 and the transfer signal lines 127 are selectively driven by a vertical selection circuit (not shown) to generate signals. The line 126 is connected to a CDS circuit (correlated double sampling circuit) or the like.

プリ処理部１３は、撮像素子１２から読み出されたアナログ画素情報に対して標本化処理、量子化処理等を行い、アナログ信号からデジタル信号に変換（Ａ／Ｄ変換）して欠陥補正回路１６、および画素欠陥検出部１４に出力する。   The pre-processing unit 13 performs sampling processing, quantization processing, and the like on the analog pixel information read from the image sensor 12, converts the analog signal into a digital signal (A / D conversion), and performs the defect correction circuit 16. , And the pixel defect detection unit 14.

画素欠陥検出部１４は、プリ処理部１３により供給されたデジタル画素情報に基づいて欠陥画素を検出する。   The pixel defect detection unit 14 detects a defective pixel based on the digital pixel information supplied from the pre-processing unit 13.

欠陥情報記憶メモリ１５は、画素欠陥検出部１４で検出された画素欠陥位置情報（アドレス情報）を記憶し、かつ、撮像素子１２からの出力が画素加算されている状態での加算後の画素が、加算される前の状態で欠陥画素を２画素以上含んでいる場合、２つ目以降の欠陥画素は位置情報を無効とする（補正（ケア）しない）ことを示すフラグ情報も記憶する。 The defect information storage memory 15 stores pixel defect position information (address information) detected by the pixel defect detection unit 14, and the pixel after addition in a state where the output from the image sensor 12 is pixel-added is stored. When two or more defective pixels are included in the state before being added, the second and subsequent defective pixels also store flag information indicating that the position information is invalid (not corrected (care)).

図３（Ａ）〜（Ｃ）は、第１の実施形態の欠陥情報記憶メモリ１５における画素加算状態の欠陥アドレスを格納した場合の例を示す図であって、欠陥画素とメモリに格納されるアドレスとフラグとの関係を示す図である。   FIGS. 3A to 3C are diagrams illustrating an example in which the defect address in the pixel addition state in the defect information storage memory 15 according to the first embodiment is stored, and is stored in the defective pixel and the memory. It is a figure which shows the relationship between an address and a flag.

図３（Ａ）の例は、全画素読み出しの場合であって、４×４の画素マトリクスを抽出して示している。
第１行目がＲ、Ｇ、Ｒ、Ｇの画素配列であり、第２行目がＧＢ、Ｒ、ＧＢ、Ｂの画素配列であり、第３行目がＲ、Ｇ、Ｒ、Ｇの画素配列であり、第４行目がＧＢ、Ｂ、ＧＢ、Ｂの画素配列である。 The example of FIG. 3A is a case of all pixel readout, and shows a 4 × 4 pixel matrix extracted.
The first row is an R, G, R, G pixel array, the second row is a GB, R, GB, B pixel array, and the third row is an R, G, R, G pixel. The fourth row is a pixel array of GB, B, GB, and B.

図３（Ｂ）は、欠陥情報記憶メモリ１５に格納されるアドレスＡＤＲ１５とフラグＦＬＧ１５との関係を示している。
この例においては、図３（Ａ）において太線で示す３×３の画素加算において、１行１列目Ｒ画素のアドレスをＮとして、この１行１列目のＲ画素とアドレス（Ｎ＋３ライン＋２）のＲ画素、すなわち、３行３列目のＲ画素に欠陥がある場合である場合、撮像素子１２からの出力が画素加算されている状態での加算後の画素が、加算される前の状態で欠陥画素を２画素以上含んでいる場合、２つ目以降の欠陥画素は位置情報を無効とする（補正（ケア）しない）ことを示すフラグ情報を「１」として記憶する。
この場合、画素加算のアドレス指定は、３×３の画素配列の１行１列目のＲ画素のアドレスＮを記憶する。
このように、本実施形態においては、画素加算用に欠陥情報記憶メモリを追加することなく、フラグを追加するだけで対応できていることがわかる。 FIG. 3B shows the relationship between the address ADR15 stored in the defect information storage memory 15 and the flag FLG15.
In this example, in the 3 × 3 pixel addition indicated by a bold line in FIG. 3A, the address of the R pixel in the first row and the first column is N, and the R pixel in the first row and the first column and the address (N + 3 line + 2) ), That is, when there is a defect in the R pixel in the third row and the third column, the pixel after the addition in the state where the output from the image sensor 12 is added is the pixel before the addition. When the state includes two or more defective pixels, flag information indicating that the second and subsequent defective pixels invalidate the position information (do not perform correction (care)) is stored as “1”.
In this case, the address addition for pixel addition stores the address N of the R pixel in the first row and the first column of the 3 × 3 pixel array.
Thus, in the present embodiment, it can be seen that it can be dealt with by adding a flag without adding a defect information storage memory for pixel addition.

図３（Ｃ）は、欠陥補正部１６が画素加算読み出しモードＭＯＤ１においてフラグＦＬＧ１５の情報を見てアドレス変換して使用する場合を示している。   FIG. 3C shows a case where the defect correcting unit 16 uses the information of the flag FLG15 by performing address conversion in the pixel addition reading mode MOD1.

欠陥補正部１６は、プリ処理部１３によりデジタル画像信号に対して、欠陥情報記憶メモリ１５に格納されたフラグ情報と、画素加算読み出しモードＭＯＤ１または通常画素読み出しモードＭＯＤ２に応じたアドレス情報（位置情報）に基づいて欠陥補正を行う。   The defect correction unit 16 applies flag information stored in the defect information storage memory 15 to the digital image signal by the pre-processing unit 13 and address information (position information) according to the pixel addition reading mode MOD1 or the normal pixel reading mode MOD2. ) To correct defects.

カメラ信号処理部１７は、欠陥補正部１６の出力画像信号に対してカラー補間、ホワイトバランス、圧縮等の処理を行う。   The camera signal processing unit 17 performs processing such as color interpolation, white balance, and compression on the output image signal of the defect correction unit 16.

図４は、第１の実施形態に係る欠陥補正部１６の構成例を示すブロック図である。   FIG. 4 is a block diagram illustrating a configuration example of the defect correction unit 16 according to the first embodiment.

図４の欠陥補正部１６は、欠陥情報記憶メモリ１５のフラグＦＬＧ１５を基に画素加算後の欠陥画素を判断する判定部１６１と、欠陥情報記憶メモリ１５のアドレスＡＤＲ１５の情報を判定部１６１の判定結果に基づいて選択して出力するセレクタ１６２と、セレクタ１６２により選択されたアドレス情報に基づくアドレス変換により加算画素の位置情報であるアドレスを生成するアドレス変換部１６３と、画素加算読み出しモードＭＯＤ１または通常画素読み出しモードＭＯＤ２を示す信号に応じて欠陥情報記憶メモリ１５によるアドレス情報ＡＤＲ１５またはアドレス変換部１６３による加算画素のアドレス情報ＡＤＲ１６３を選択して出力するセレクタ１６４と、セレクタ１６４で選択されたアドレス情報に基づいて欠陥補正を行う欠陥補正回路１６５と、を有する。   The defect correction unit 16 in FIG. 4 determines the defective pixel after pixel addition based on the flag FLG15 of the defect information storage memory 15 and the determination unit 161 determines the information of the address ADR15 of the defect information storage memory 15. A selector 162 that selects and outputs based on the result, an address converter 163 that generates an address that is position information of the added pixel by address conversion based on the address information selected by the selector 162, and a pixel addition read mode MOD1 or normal A selector 164 that selects and outputs the address information ADR15 by the defect information storage memory 15 or the address information ADR163 of the added pixel by the address converter 163 according to the signal indicating the pixel readout mode MOD2, and the address information selected by the selector 164 Defect correction based on It has a correction circuit 165, a.

セレクタ１６４は、画素加算読み出しモードＭＯＤ１の場合にはアドレス変換部１６３による加算画素のアドレス情報ＡＤＲ１６３を選択して欠陥補正回路１６５に出力する。
一方、セレクタは、通常画素読み出しモードＭＯＤ２の場合には、欠陥情報記憶メモリ１５によるアドレス情報ＡＤＲ１５を選択して欠陥補正回路１６５に出力する In the pixel addition readout mode MOD1, the selector 164 selects the address information ADR 163 of the added pixel by the address conversion unit 163 and outputs it to the defect correction circuit 165.
On the other hand, the selector selects the address information ADR15 from the defect information storage memory 15 and outputs it to the defect correction circuit 165 in the normal pixel readout mode MOD2.

アドレス変換部１６３のアドレス変換は、次のようにして容易に求めることができる。したがって、小規模なハードウェアで実現することができる。   The address conversion of the address conversion unit 163 can be easily obtained as follows. Therefore, it can be realized with small-scale hardware.

（数１）
変換後の垂直アドレス ＝ 変換前の垂直アドレス ／ 加算する垂直画素数
変換後の水平アドレス ＝ 変換前の水平アドレス ／ 加算する水平画素数 (Equation 1)
Vertical address after conversion = vertical address before conversion / number of vertical pixels to add Horizontal address after conversion = horizontal address before conversion / number of horizontal pixels to add

図５は、第１の実施形態に係る欠陥補正部１６の動作を説明するための図である。   FIG. 5 is a diagram for explaining the operation of the defect correction unit 16 according to the first embodiment.

撮像素子１２の撮像画像は、プリ処理部１３で所定の処理を受けてデジタル画像信号として欠陥補正部１６に入力される。
欠陥補正部１６においては、判定部１６１で欠陥情報記憶メモリ１５のフラグＦＬＧ１５を読み出す（ＳＴ１）。
そして、画素加算読み出しモードの場合（ＳＴ２）、欠陥情報記憶メモリ１５のアドレスＡＤＲ１５の情報がセレクタ１６２を通してアドレス変換部１６３に読み出される（ＳＴ３）。
アドレス変換部１６３においては、セレクタ１６２により選択されたアドレス情報に基づくアドレス変換により加算画素の位置情報であるアドレスが生成される（ＳＴ４）。
このアドレス変換により得られた加算画素のアドレス情報ＡＤＲ１６３がセレクタ１６４を通して、欠陥画素回路１６５に供給される。
そして、欠陥画素回路１６５において、加算画素のアドレス情報ＡＤＲ１６３に基づいて入力画像に対する欠陥補正が行われる。 The captured image of the image sensor 12 is subjected to predetermined processing by the pre-processing unit 13 and input to the defect correction unit 16 as a digital image signal.
In the defect correction unit 16, the determination unit 161 reads the flag FLG15 in the defect information storage memory 15 (ST1).
In the pixel addition reading mode (ST2), the information of the address ADR15 in the defect information storage memory 15 is read out to the address conversion unit 163 through the selector 162 (ST3).
In the address conversion unit 163, an address that is position information of the addition pixel is generated by address conversion based on the address information selected by the selector 162 (ST4).
The address information ADR 163 of the added pixel obtained by this address conversion is supplied to the defective pixel circuit 165 through the selector 164.
Then, the defective pixel circuit 165 performs defect correction on the input image based on the address information ADR 163 of the addition pixel.

一方、通常画素読み出しモードＭＯＤ２の場合には、欠陥情報記憶メモリ１５によるアドレス情報ＡＤＲ１５がセレクタ１６４を通して欠陥補正回路１６５に供給され、入力画像に対する欠陥補正が行われる。   On the other hand, in the normal pixel readout mode MOD2, the address information ADR15 from the defect information storage memory 15 is supplied to the defect correction circuit 165 through the selector 164, and defect correction is performed on the input image.

以上説明したように、本第１の実施形態によれば、画素欠陥検出部１４で検出された画素欠陥情報を記憶し、かつ、撮像素子１２からの出力が画素加算されている状態での加算後の画素が、加算される前の状態で欠陥画素を２画素以上含んでいる場合、２つ目以降の欠陥画素は位置情報を無効とする（補正（ケア）しない）ことを示すフラグ情報も記憶する欠陥情報記憶メモリ１５と、プリ処理部１３によりデジタル画像信号に対して、画素加算読み出しモードＭＯＤ１または通常画素読み出しモードＭＯＤ２に応じたアドレス情報（位置情報）に基づいて欠陥補正を行う欠陥補正部１６と、を有し、この欠陥補正部１６は、欠陥情報記憶メモリ１５のフラグＦＬＧ１５を基に画素加算後の欠陥画素を判断する判定部１６１と、欠陥情報記憶メモリ１５のアドレスＡＤＲ１５の情報を判定部１６１の判定結果に基づいて選択して出力するセレクタ１６２と、セレクタ１６２により選択されたアドレス情報に基づくアドレス変換により加算画素の位置情報であるアドレスを生成するアドレス変換部１６３と、画素加算読み出しモードＭＯＤ１または通常画素読み出しモードＭＯＤ２を示す信号に応じて欠陥情報記憶メモリ１５によるアドレス情報ＡＤＲ１５またはアドレス変換部１６３による加算画素のアドレス情報ＡＤＲ１６３を選択して出力するセレクタ１６４と、セレクタ１６４で選択されたアドレス情報に基づいて欠陥補正を行う欠陥補正回路１６５と、を有することから、以下の効果を得ることができる。 As described above, according to the first embodiment, pixel defect information detected by the pixel defect detection unit 14 is stored, and addition in a state where the output from the image sensor 12 is pixel-added. When the subsequent pixel includes two or more defective pixels in a state before addition, flag information indicating that the second and subsequent defective pixels invalidate the position information (do not correct (care)) Defect correction for performing defect correction based on address information (position information) corresponding to the pixel addition reading mode MOD1 or the normal pixel reading mode MOD2 for the digital image signal by the defect information storage memory 15 to be stored and the pre-processing unit 13. The defect correction unit 16 includes a determination unit 161 that determines a defective pixel after pixel addition based on the flag FLG15 of the defect information storage memory 15, and a defect information storage. A selector 162 that selects and outputs the information of the address ADR15 of the memory 15 based on the determination result of the determination unit 161, and an address that is position information of the addition pixel is generated by address conversion based on the address information selected by the selector 162. The address conversion unit 163 and the address information ADR15 by the defect information storage memory 15 or the address information ADR163 of the addition pixel by the address conversion unit 163 are selected and output according to a signal indicating the pixel addition reading mode MOD1 or the normal pixel reading mode MOD2. Since the selector 164 and the defect correction circuit 165 that performs defect correction based on the address information selected by the selector 164 are provided, the following effects can be obtained.

固体撮像素子が画素加算されて出力される時の欠陥画素の補正において、加算された画素の中に複数の欠陥が存在する場合、加算後の位置情報算出は一つの位置が判れば良いので、それ以外の位置情報（アドレス情報）を無効とするフラグを設けていることから、加算後の位置情報算出を単純化し、回路規模の増大を抑えた欠陥補正部を実現することが可能となる。
換言すれば、メモリの増大を抑えつつ画素加算時の欠陥補正に対応することが可能となり、また、欠陥情報記憶メモリの容量を大幅に削減することができる。 In the correction of defective pixels when the solid-state image sensor is added and output, if there are a plurality of defects in the added pixels, the position information calculation after the addition only needs to know one position, Since the flag for invalidating other position information (address information) is provided, it is possible to simplify the calculation of the position information after addition and to realize a defect correction unit that suppresses an increase in circuit scale.
In other words, it is possible to cope with defect correction at the time of pixel addition while suppressing an increase in memory, and the capacity of the defect information storage memory can be greatly reduced.

＜第２実施形態＞
図６は、本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。 Second Embodiment
FIG. 6 is a block diagram illustrating a configuration example of an imaging apparatus according to the second embodiment of the present invention.

本第２の実施形態が第１の実施形態と異なる点は、撮像素子１２Ａにおいて、複数の画素で信号検出トランジスタ（増幅トランジスタ）を共有する場合に対応した回路とした点にある。
その他の構成は第１の実施形態の同様であり、図６においては同一構成部分には図１と同一符号を付している。 The second embodiment is different from the first embodiment in that the imaging device 12A has a circuit corresponding to a case where a plurality of pixels share a signal detection transistor (amplification transistor).
The other configuration is the same as that of the first embodiment. In FIG. 6, the same components as those in FIG.

以下では、撮像素子１２Ａの共有画素の構成例、欠陥情報記憶メモリ１５Ａの記憶情報、および欠陥補正部１６Ａの構成および機能について説明する。   Hereinafter, a configuration example of the shared pixel of the image sensor 12A, storage information of the defect information storage memory 15A, and a configuration and function of the defect correction unit 16A will be described.

図７は、複数の画素で信号検出トランジスタ（増幅トランジスタ）を共有する具体的な構成例を示す回路図である。   FIG. 7 is a circuit diagram illustrating a specific configuration example in which a plurality of pixels share a signal detection transistor (amplification transistor).

この共有画素セル（単位セル）２００は、図７に示すように、２つの画素２０１、２０２を含み、図中の上下２つの光電変換素子２０３、２０４と、それぞれに転送トランジスタ２０５５、２０６と、１つのリセットトランジスタ２０７と、１つの増幅トランジスタ２０８で２つの画素２０１、２０２２が構成されている。
そして、全面選択信号配線２０９は、各リセットトランジスタ２０７と増幅トランジスタ２０８のドレインに接続されており、この全面選択信号配線２０９を転送信号配線２１０、２１１、リセット信号配線２１２とともに制御して、信号の読み出し動作を行うことにより、画素配線の簡素化、画素の縮小等を実現している。 As shown in FIG. 7, the shared pixel cell (unit cell) 200 includes two pixels 201 and 202, two upper and lower photoelectric conversion elements 203 and 204 in the figure, and transfer transistors 2055 and 206, respectively. Two pixels 201 and 2022 are formed by one reset transistor 207 and one amplification transistor 208.
The full-surface selection signal wiring 209 is connected to the drains of the reset transistors 207 and the amplification transistors 208. The full-surface selection signal wiring 209 is controlled together with the transfer signal wirings 210 and 211 and the reset signal wiring 212, so that the signal By performing the reading operation, simplification of the pixel wiring, reduction of the pixel, and the like are realized.

この共有画素２００は、２画素共有の場合を例示しているが、さらに複数の画素、たとえば４画素の場合も同様に構成可能である。   The shared pixel 200 is illustrated as an example in which two pixels are shared, but can be configured similarly in the case of a plurality of pixels, for example, four pixels.

本第２の実施形態の欠陥情報記憶メモリ１５Ａは、画素の欠陥位置情報に加えて、撮像素子１２Ａの信号検出トランジスタ（図７の例では増幅トランジスタとリセットトランジスタ）が複数画素で共有された状態での欠陥である旨を示すフラグも記憶する。   In the defect information storage memory 15A of the second embodiment, in addition to the defect position information of the pixel, the signal detection transistor (amplification transistor and reset transistor in the example of FIG. 7) is shared by a plurality of pixels. A flag indicating that the defect is a defect is also stored.

図８（Ａ）〜（Ｃ）は、画素共有状態の欠陥アドレスを格納した場合の第１例を示す図である。   FIGS. 8A to 8C are diagrams illustrating a first example when a defective address in a pixel sharing state is stored.

図８（Ａ）は、共有画素の第１例を示している。この例は、２×２のマトリクス配列の４画素共有の場合を示している。
図８（Ｂ）は、図８（Ａ）の共有画素に欠陥がある場合の欠陥情報記憶メモリ１５Ａの記憶情報を示している。
この場合、共有画素の欠陥がある場合、２×２の共有画素において、１行１列目の画素のアドレスをＮとして記憶する。これに加えて、共有画素の欠陥である旨を示すフラグ情報を「１」として記憶する。 FIG. 8A shows a first example of shared pixels. This example shows a case of sharing 4 pixels in a 2 × 2 matrix array.
FIG. 8B shows storage information in the defect information storage memory 15A when the shared pixel in FIG. 8A has a defect.
In this case, if there is a defect in the shared pixel, the address of the pixel in the first row and the first column is stored as N in the 2 × 2 shared pixel. In addition to this, flag information indicating that the shared pixel is defective is stored as “1”.

図８（Ｃ）は、欠陥補正部１６で共有画素の欠陥がある旨をフラグ情報で認識した場合に、欠陥アドレス記憶バッファに展開するアドレス情報を示している。
この例の場合、アドレスＮに加えて、アドレス（Ｎ＋１）、アドレス（Ｎ＋１ライン）、アドレス（Ｎ＋１ライン＋１）を展開する。
このときアドレスＮには共有画素の元々のアドレスであることを示すフラグ「０」を設定し、以降、展開したアドレス（Ｎ＋１）、アドレス（Ｎ＋１ライン）、アドレス（Ｎ＋１ライン＋１）には、アドレス展開後のアドレスであることを示すフラグ「１」を設定する。
これは、欠陥補正処理において、画素共有同士の欠陥を補間に使用しないためである。 FIG. 8C shows the address information developed in the defect address storage buffer when the defect correction unit 16 recognizes that there is a defect in the shared pixel from the flag information.
In this example, in addition to the address N, an address (N + 1), an address (N + 1 line), and an address (N + 1 line + 1) are expanded.
At this time, the flag “0” indicating the original address of the shared pixel is set in the address N, and the address (N + 1), address (N + 1 line), and address (N + 1 line + 1) are expanded to the address after that. A flag “1” indicating the expanded address is set.
This is because the defect between pixel shares is not used for interpolation in the defect correction process.

図９（Ａ）〜（Ｃ）は、画素共有状態の欠陥アドレスを格納した場合の第２例を示す図である。   FIGS. 9A to 9C are diagrams illustrating a second example in which a defective address in a pixel sharing state is stored.

図９（Ａ）は、共有画素の第２例を示している。この例は、２×２のマトリクス配列ではなく、２列で交互に配列された４画素共有の場合を示している。
図９（Ｂ）は、図９（Ａ）の共有画素に欠陥がある場合の欠陥情報記憶メモリ１５Ａの記憶情報を示している。
この場合、共有画素の欠陥がある場合、共有画素において、１行１列目の画素のアドレスをＮとして記憶する。これに加えて、共有画素の欠陥である旨を示すフラグ情報を「１」として記憶する。 FIG. 9A illustrates a second example of the shared pixel. This example shows a case of sharing four pixels arranged alternately in two columns instead of a 2 × 2 matrix arrangement.
FIG. 9B shows storage information in the defect information storage memory 15A when the shared pixel in FIG. 9A has a defect.
In this case, if there is a defect in the shared pixel, the address of the pixel in the first row and first column is stored as N in the shared pixel. In addition to this, flag information indicating that the shared pixel is defective is stored as “1”.

図９（Ｃ）は、欠陥補正部１６で共有画素の欠陥がある旨をフラグ情報で認識した場合に、欠陥アドレス記憶バッファに展開するアドレス情報を示している。
この例の場合、アドレスＮに加えて、アドレス（Ｎ＋１）、アドレス（Ｎ＋１ライン）、アドレス（Ｎ＋１ライン＋１）を展開する。
このときアドレスＮには共有画素の元々のアドレスであることを示すフラグ「０」を設定し、以降、展開したアドレス（Ｎ＋１ライン＋１）、アドレス（Ｎ＋２ライン）、アドレス（Ｎ＋３ライン＋１）には、アドレス展開後のアドレスであることを示すフラグ「１」を設定する。
これは、欠陥補正処理において、画素共有同士の欠陥を補間に使用しないためである。 FIG. 9C shows address information developed in the defect address storage buffer when the defect correction unit 16 recognizes that there is a defect in the shared pixel from the flag information.
In this example, in addition to the address N, an address (N + 1), an address (N + 1 line), and an address (N + 1 line + 1) are expanded.
At this time, a flag “0” indicating that the original address of the shared pixel is set in the address N, and thereafter, the developed address (N + 1 line + 1), address (N + 2 line), and address (N + 3 line + 1) are set. The flag “1” indicating that the address has been expanded is set.
This is because the defect between pixel shares is not used for interpolation in the defect correction process.

本第２の実施形態に係る欠陥補正部１６Ａは、欠陥情報記憶メモリ１５Ａの記憶情報に基づいて画素共有であると判定すると、欠陥情報記憶メモリ１５Ａのアドレス情報ＡＤＴ１５Ａに基づいて共有画素のアドレスを生成して、生成したアドレスにより欠陥補正を行う。   When the defect correction unit 16A according to the second embodiment determines that the pixel is shared based on the storage information of the defect information storage memory 15A, the defect correction unit 16A determines the address of the shared pixel based on the address information ADT15A of the defect information storage memory 15A. The defect is corrected by the generated address.

図１０は、第２の実施形態に係る欠陥補正部１６Ａの構成例を示すブロック図である。   FIG. 10 is a block diagram illustrating a configuration example of the defect correction unit 16A according to the second embodiment.

図１０の欠陥補正部１６Ａは、欠陥情報記憶メモリ１５ＡのフラグＦＬＧ１５Ａを基に補正対象が共有画素であるか判定する共有判定部１６６と、共有判定部１６６で共有と判定された場合に、欠陥情報記憶メモリ１５Ａのアドレス情報ＡＤＴ１５Ａに基づいて共有画素のアドレスを生成するアドレス生成部１６７と、現画素のアドレスと生成されたアドレス（位置）情報を補正回路で参照するための欠陥アドレス記憶バッファ１６８と、バッファ１６８にバッファリングされたアドレス情報により欠陥画素と判断された共有画素の全てを補正する欠陥補正回路１６９と、を有する。   The defect correction unit 16A in FIG. 10 determines whether the correction target is a shared pixel based on the flag FLG15A in the defect information storage memory 15A, and the share determination unit 166 determines that the defect is shared. An address generation unit 167 that generates an address of the shared pixel based on the address information ADT15A of the information storage memory 15A, and a defective address storage buffer 168 for referring to the current pixel address and the generated address (position) information by the correction circuit. And a defect correction circuit 169 that corrects all of the shared pixels determined to be defective pixels based on the address information buffered in the buffer 168.

そして、本第２の実施形態においては、画素共有での欠陥の場合は、補正に使用する近傍画素も欠陥になる可能性があることから、これに対応する補正方法として、従来の近傍画素の平均値で補間する方式に加え、画素共有での欠陥の場合で、かつ補正に使用する近傍画素も欠陥である場合は、欠陥である近傍画素を使用しない補間方法をとる。   In the second embodiment, in the case of a defect due to pixel sharing, there is a possibility that neighboring pixels used for correction may also be defective. Therefore, as a corresponding correction method, In addition to the method of interpolating with an average value, in the case of a defect due to pixel sharing, and when a neighboring pixel used for correction is also a defect, an interpolation method that does not use a neighboring pixel that is a defect is taken.

図１１は、本第２の実施形態の欠陥補正方法の第１例を示す図である。
図１１に示すような画素共有状態の場合、補間に使用する画素（この場合はＲ８）も欠陥になってしまっているため、補間画素としては使用できない。このため、Ｒ８は使用しないで、それ以外の正常画素だけを使用して補間画素を生成する。 FIG. 11 is a diagram illustrating a first example of the defect correction method according to the second embodiment.
In the pixel sharing state as shown in FIG. 11, the pixel used for interpolation (in this case, R8) is also defective and cannot be used as an interpolation pixel. For this reason, R8 is not used, and interpolation pixels are generated using only other normal pixels.

図１２は、本第２の実施形態の欠陥補正方法の第２例を示す図である。
図１２の例は、図１１の方式で注目画素がアドレス展開により生成された画素の場合の処理である。
この例では、展開されたアドレスの画素の上側の画素（この場合はＲ５）も、画素共有での欠陥画素となるため、補間に使用できない。このためＲ５は使用しないで、それ以外の正常画素だけを使用して補間画素を生成する。
この処理は、バッファ１６８を持たせたことにより判定することができる。 FIG. 12 is a diagram illustrating a second example of the defect correction method according to the second embodiment.
The example of FIG. 12 is processing when the target pixel is a pixel generated by address expansion in the method of FIG.
In this example, the pixel above the pixel of the developed address (in this case, R5) is also a defective pixel due to pixel sharing and cannot be used for interpolation. For this reason, R5 is not used, and interpolation pixels are generated using only other normal pixels.
This process can be determined by providing the buffer 168.

図１３は、第２の実施形態に係る欠陥補正部１６Ａの動作を説明するための図である。   FIG. 13 is a diagram for explaining the operation of the defect correcting unit 16A according to the second embodiment.

撮像素子１２Ａの撮像画像は、プリ処理部１３で所定の処理を受けてデジタル画像信号として欠陥補正部１６Ａに入力される。
欠陥補正部１６Ａにおいては、欠陥情報記憶メモリ１５ＡからアドレスＡＤＲ１５Ａが読み出され（ＳＴ１１）、現画素のアドレスがバッファ１６８に格納される（ＳＴ１２）。
そして、共有判定部１６６で欠陥情報記憶メモリ１５ＡのフラグＦＬＧ１５Ａが読み出され、画素共有できるか判定される（ＳＴ１３）。
そして、画素共有の場合、アドレス生成部１６７において、共有画素のアドレスが生成され（ＳＴ１４）、生成されたアドレスがバッファ１６８に格納される（ＳＴ１５）。
そして、アドレスのソートが行われる。そして、欠陥補正回路１６９において、バッファ１６８にバッファリングされたアドレス情報により欠陥画素と判断された共有画素の全てが補正される。 The captured image of the image sensor 12A is subjected to predetermined processing by the pre-processing unit 13 and is input to the defect correction unit 16A as a digital image signal.
In the defect correction unit 16A, the address ADR 15A is read from the defect information storage memory 15A (ST11), and the address of the current pixel is stored in the buffer 168 (ST12).
Then, the sharing determination unit 166 reads the flag FLG15A of the defect information storage memory 15A, and determines whether or not the pixels can be shared (ST13).
In the case of pixel sharing, the address generation unit 167 generates an address of the shared pixel (ST14), and the generated address is stored in the buffer 168 (ST15).
Then, address sorting is performed. Then, in the defect correction circuit 169, all of the shared pixels that are determined as defective pixels based on the address information buffered in the buffer 168 are corrected.

以上説明したように、本第２の実施形態によれば、撮像素子１２Ａの信号検出トランジスタが複数画素で共有されたものにおける欠陥画素の補正において、共有する画素の中に複数の欠陥が存在する場合、共有状態での欠陥であることを記憶するように構成したことから、回路規模の増大を抑えた補正回路を実現することができる。
換言すれば、欠陥情報記憶メモリを大幅に削減することができることはもとより、補正で使用する近傍画素も画素共有での欠陥になってしまっても対応できる利点がある。 As described above, according to the second embodiment, in the correction of defective pixels in the case where the signal detection transistor of the image sensor 12A is shared by a plurality of pixels, there are a plurality of defects in the shared pixels. In this case, since the defect is stored in the shared state, it is possible to realize a correction circuit that suppresses an increase in circuit scale.
In other words, the defect information storage memory can be greatly reduced, and there is an advantage that the neighboring pixels used for correction can be dealt with even if they become defective due to pixel sharing.

本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。1 is a block diagram illustrating a configuration example of an imaging apparatus according to a first embodiment of the present invention. 本実施形態に係る撮像素子の単位画素の第１の構成例を示す回路図である。It is a circuit diagram showing the 1st example of composition of a unit pixel of an image sensor concerning this embodiment. 第１の実施形態の欠陥情報記憶メモリにおける画素加算状態の欠陥アドレスを格納した場合の例を示す図であって、欠陥画素とメモリに格納されるアドレスとフラグとの関係を示す図である。It is a figure which shows the example at the time of storing the defective address of the pixel addition state in the defect information storage memory of 1st Embodiment, Comprising: It is a figure which shows the relationship between the address stored in a defective pixel, memory, and a flag. 第１の実施形態に係る欠陥補正部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the defect correction part which concerns on 1st Embodiment. 第１の実施形態に係る欠陥補正部の動作を説明するための図である。It is a figure for demonstrating operation | movement of the defect correction part which concerns on 1st Embodiment. 本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the imaging device which concerns on the 2nd Embodiment of this invention. 複数の画素で信号検出トランジスタ（増幅トランジスタ）を共有する具体的な構成例を示す回路図である。It is a circuit diagram which shows the specific structural example which shares a signal detection transistor (amplification transistor) with a some pixel. 画素共有状態の欠陥アドレスを格納した場合の第１例を示す図である。It is a figure which shows the 1st example at the time of storing the defect address of a pixel shared state. 画素共有状態の欠陥アドレスを格納した場合の第２例を示す図である。It is a figure which shows the 2nd example at the time of storing the defect address of a pixel shared state. 第２の実施形態に係る欠陥補正部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the defect correction part which concerns on 2nd Embodiment. 第２の実施形態の欠陥補正方法の第１例を示す図である。It is a figure which shows the 1st example of the defect correction method of 2nd Embodiment. 第２の実施形態の欠陥補正方法の第２例を示す図である。It is a figure which shows the 2nd example of the defect correction method of 2nd Embodiment. 第２の実施形態に係る欠陥補正部の動作を説明するための図である。It is a figure for demonstrating operation | movement of the defect correction part which concerns on 2nd Embodiment.

符号の説明Explanation of symbols

１０，１０Ａ・・・撮像装置、１１・・・レンズ系、１２，１２Ａ・・・撮像素子、１３・・・プリ処理部、１４・・・画素欠陥検出部、１５，１５Ａ・・・欠陥情報記憶メモリ、１６，１６Ａ・・・欠陥補正回路、１７・・・カメラ信号処理部。   DESCRIPTION OF SYMBOLS 10,10A ... Imaging device, 11 ... Lens system, 12, 12A ... Imaging element, 13 ... Pre-processing part, 14 ... Pixel defect detection part, 15, 15A ... Defect information Storage memory 16, 16A ... defect correction circuit, 17 ... camera signal processing unit.

Claims (8)

撮像素子の複数画素単位の情報を読み出すことが可能な撮像装置であって、
欠陥画素情報を格納し、かつ、当該欠陥画素情報に加えて、上記撮像素子の複数画素単位の情報に対する欠陥状況を示す情報を記憶する欠陥情報記憶部と、
上記欠陥情報記憶部に記憶された欠陥画素情報およびフラグ情報に基づいて上記複数画素単位の位置情報を生成し、生成した位置情報を基に上記撮像素子の読み出し画像信号に対して欠陥補正を行う欠陥補正部と、を有し、
撮像素子の各画素の画像情報を複数個加算しつつ読み出し可能な画素加算読み出しモード、および画素加算を行わずに画素情報の読み出しを行う通常画素読み出しモードを含み、
上記欠陥情報記憶部のフラグ情報には、上記撮像素子からの出力が画素加算されている状態での加算後の画素が、加算される前の状態で欠陥画素を２画素以上含んでいる場合、２つ目以降の欠陥画素は位置情報を無効とするフラグ情報を含み、
上記欠陥補正部は、
通常画素読み出しモードの場合は、上記欠陥情報記憶部に記憶されている位置情報に基づいて欠陥補正を行う
撮像装置。 An imaging device capable of reading out information in units of a plurality of pixels of an imaging element,
A defect information storage unit that stores defect pixel information, and stores information indicating a defect status with respect to information of a plurality of pixel units of the imaging element in addition to the defect pixel information;
Based on the defective pixel information and flag information stored in the defect information storage unit, position information of the plurality of pixels is generated, and defect correction is performed on the read image signal of the image sensor based on the generated position information. It has a defect correction section, and
Including a pixel addition readout mode in which a plurality of image information of each pixel of the image sensor is added, and a normal pixel readout mode in which pixel information is read out without performing pixel addition,
In the flag information of the defect information storage unit, when the pixel after addition in a state where the output from the image sensor is added includes two or more defective pixels in the state before addition, The second and subsequent defective pixels include flag information that invalidates the position information,
The defect correction unit is
In the normal pixel readout mode, an imaging apparatus that performs defect correction based on position information stored in the defect information storage unit . 上記欠陥補正部は、
上記欠陥情報記憶部の上記フラグ情報を基に画素加算後の欠陥画素を判断する判定部と、
加算画素の位置情報を生成する位置情報生成部と、
生成された位置情報を基に欠陥補正を行う欠陥補正回路と、を含む
請求項１記載の撮像装置。 Above Symbol defect correction unit,
A determination unit that determines a defective pixel after pixel addition based on the flag information in the defect information storage unit;
A position information generation unit that generates position information of the addition pixels;
The imaging device according to claim 1, further comprising: a defect correction circuit that performs defect correction based on the generated position information. 撮像素子の複数画素単位の情報を読み出すことが可能な撮像装置であって、
欠陥画素情報を格納し、かつ、当該欠陥画素情報に加えて、上記撮像素子の複数画素単位の情報に対する欠陥状況を示す情報を記憶する欠陥情報記憶部と、
上記欠陥情報記憶部に記憶された欠陥画素情報およびフラグ情報に基づいて上記複数画素単位の位置情報を生成し、生成した位置情報を基に上記撮像素子の読み出し画像信号に対して欠陥補正を行う欠陥補正部と、を有し、
上記複数画素単位の情報は、信号検出素子を共有する複数の画素情報を含み、
上記欠陥情報記憶部のフラグ情報には、撮像素子の信号検出素子が複数画素で共有された状態での欠陥である旨を示すフラグ情報を含み、
上記欠陥補正部は、
生成された位置情報を基に欠陥画素と判断された共有画素の全てを補正する
撮像装置。 An imaging device capable of reading out information in units of a plurality of pixels of an imaging element,
A defect information storage unit that stores defect pixel information, and stores information indicating a defect status with respect to information of a plurality of pixel units of the imaging element in addition to the defect pixel information;
Based on the defective pixel information and flag information stored in the defect information storage unit, position information of the plurality of pixels is generated, and defect correction is performed on the read image signal of the image sensor based on the generated position information. A defect correction unit,
The information of the plurality of pixel units includes a plurality of pixel information sharing the signal detection element,
The flag information of the defect information storage unit includes flag information indicating that the signal detection element of the image sensor is a defect in a state where the signal detection element is shared by a plurality of pixels,
The defect correction unit is
An imaging device that corrects all shared pixels determined to be defective pixels based on generated position information . 上記欠陥補正部は、
上記画素共有状態での欠陥を示すフラグ情報を基に共有されている画素全てを欠陥と判定する共有判定部と、
上記共有判定部の判定結果に応じて共有画素の位置情報を生成する位置情報生成部と、
生成された位置情報を基に欠陥画素と判断された共有画素の全てを補正する欠陥補正回路と、を含む
請求項３記載の撮像装置。 Above Symbol defect correction unit,
A sharing determination unit that determines all pixels that are shared based on flag information indicating defects in the pixel sharing state as defects,
A position information generation unit that generates position information of a shared pixel according to a determination result of the sharing determination unit;
The imaging apparatus according to claim 3, further comprising: a defect correction circuit that corrects all of the shared pixels determined to be defective pixels based on the generated position information. 上記位置情報生成部で生成された位置情報を上記欠陥補正回路で参照するためのバッファを有する
請求項４記載の撮像装置。 The imaging apparatus according to claim 4, further comprising a buffer for referring to the position information generated by the position information generation unit in the defect correction circuit. 上記欠陥補正部は、画素共有での欠陥の場合で、かつ補正に使用する近傍画素も欠陥である場合は、欠陥である近傍画素を使用しない補間処理を行う
請求項３から５のいずれか一に記載の撮像装置。 The defect correction section, in the case of a defect in the pixel sharing, and if the neighboring pixels to be used for correction is also defective, any one of claims 3 to 5 for performing an interpolation process that does not use neighboring pixels is a defective the image pickup apparatus according to. 撮像素子の複数画素単位の情報を読み出すことが可能な撮像装置の欠陥画素補正方法であって、
欠陥画素情報に加えて、上記撮像素子の複数画素単位の情報に対する欠陥状況を示す情報を欠陥情報記憶部に記憶し、
上記欠陥情報記憶部に記憶された欠陥画素情報およびフラグ情報に基づいて上記複数画素単位の位置情報を生成し、
生成した位置情報を基に上記撮像素子の読み出し画像信号に対して欠陥補正を行い、
撮像素子の各画素の画像情報を複数個加算しつつ読み出し可能な画素加算読み出しモード、および画素加算を行わずに画素情報の読み出しを行う通常画素読み出しモードを含み、
上記フラグ情報には、上記撮像素子からの出力が画素加算されている状態での加算後の画素が、加算される前の状態で欠陥画素を２画素以上含んでいる場合、２つ目以降の欠陥画素は位置情報を無効とするフラグ情報を含み、
上記欠陥補正を行うに際し、
通常画素読み出しモードの場合は、上記欠陥情報記憶部に記憶されている位置情報に基づいて欠陥補正を行う
撮像装置の欠陥画素補正方法。 A defective pixel correction method for an image pickup apparatus capable of reading out information of a plurality of pixel units of an image pickup element,
In addition to the defective pixel information, the defect information storage unit stores information indicating a defect status with respect to information on a plurality of pixel units of the image sensor,
Based on the defective pixel information and flag information stored in the defect information storage unit, to generate position information of the plurality of pixels,
Based on the generated position information it has line defect correction to the read image signal of the image pickup device,
Including a pixel addition readout mode in which a plurality of image information of each pixel of the image sensor is added, and a normal pixel readout mode in which pixel information is read out without performing pixel addition,
In the flag information, when the pixel after addition in the state where the output from the image sensor is pixel-added includes two or more defective pixels in the state before addition, the second and subsequent pixels The defective pixel includes flag information that invalidates the position information,
When performing the above defect correction,
In the normal pixel readout mode, a defective pixel correction method for an imaging apparatus that performs defect correction based on position information stored in the defect information storage unit . 撮像素子の複数画素単位の情報を読み出すことが可能な撮像装置の欠陥画素補正方法であって、
欠陥画素情報に加えて、上記撮像素子の複数画素単位の情報に対する欠陥状況を示す情報を記憶し、
上記記憶された欠陥画素情報およびフラグ情報に基づいて上記複数画素単位の位置情報を生成し、
生成した位置情報を基に上記撮像素子の読み出し画像信号に対して欠陥補正を行い、
上記複数画素単位の情報は、信号検出素子を共有する複数の画素情報を含み、
上記フラグ情報には、上記撮像素子の信号検出素子が複数画素で共有された状態での欠陥である旨を示すフラグ情報を含み、
上記欠陥補正を行うに際し、
生成された位置情報を基に欠陥画素と判断された共有画素の全てを補正する
撮像装置の欠陥画素補正方法。 A defective pixel correction method for an image pickup apparatus capable of reading out information of a plurality of pixel units of an image pickup element,
In addition to the defective pixel information, information indicating the defect status for the information of the plurality of pixels of the image sensor is stored,
Based on the stored defective pixel information and flag information, the position information of the plurality of pixels is generated,
Perform defect correction on the read image signal of the image sensor based on the generated position information,
The information of the plurality of pixel units includes a plurality of pixel information sharing the signal detection element ,
To the flag information, see contains flag information indicating that a defect in a state where the signal detection element of the image pickup device is shared by a plurality of pixels,
When performing the above defect correction,
A defective pixel correction method for an imaging apparatus, which corrects all shared pixels determined to be defective pixels based on generated position information .
JP2005379169A 2005-12-28 2005-12-28 Imaging device and defective pixel correction method thereof Expired - Fee Related JP4807075B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005379169A JP4807075B2 (en) 2005-12-28 2005-12-28 Imaging device and defective pixel correction method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005379169A JP4807075B2 (en) 2005-12-28 2005-12-28 Imaging device and defective pixel correction method thereof

Publications (2)

Publication Number Publication Date
JP2007181064A JP2007181064A (en) 2007-07-12
JP4807075B2 true JP4807075B2 (en) 2011-11-02

Family

ID=38305730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005379169A Expired - Fee Related JP4807075B2 (en) 2005-12-28 2005-12-28 Imaging device and defective pixel correction method thereof

Country Status (1)

Country Link
JP (1) JP4807075B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4931238B2 (en) * 2007-08-14 2012-05-16 キヤノン株式会社 Imaging apparatus and driving method thereof
JP5222654B2 (en) * 2008-07-31 2013-06-26 株式会社エルモ社 Defective pixel detection device for imaging device and marking device for imaging device
JP6259492B2 (en) * 2011-03-24 2018-01-10 キヤノン株式会社 Image processing apparatus and image processing method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122538A (en) * 1997-10-17 1999-04-30 Nikon Corp Defective pixel correction device

Also Published As

Publication number Publication date
JP2007181064A (en) 2007-07-12

Similar Documents

Publication Publication Date Title
JP4018727B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP6016412B2 (en) Imaging apparatus and signal processing method
JP5185805B2 (en) Imaging device
JP2007053634A (en) Image pickup device and defective pixel correction device and method
JPWO2012117616A1 (en) Imaging apparatus and defective pixel correction method
JP5068158B2 (en) Imaging device
JP4985124B2 (en) Image processing apparatus, image processing method, and image processing program
JP2015053644A (en) Imaging device
JP4807075B2 (en) Imaging device and defective pixel correction method thereof
JP4678849B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP4606218B2 (en) Distortion correction device
JP2007166486A (en) Solid-state imaging apparatus
JP2010010760A (en) Image capturing apparatus and method
JP2007306506A (en) Imaging apparatus
JP2001203969A (en) Image pickup device and its operation control method
JP7492345B2 (en) Image pickup device and control method thereof, and image pickup apparatus and control method thereof
JP4586431B2 (en) Imaging apparatus and imaging method
JP5398610B2 (en) Solid-state electronic imaging device and operation control method thereof
JP5270766B2 (en) Imaging device
JP2007228269A (en) Image signal processing device and method
JP4229234B2 (en) Digital camera
JP3990059B2 (en) Apparatus and method for correcting defective pixel of imaging device
JP5511205B2 (en) Imaging apparatus and imaging method
JP5072466B2 (en) Imaging device
JP2002185861A (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110801

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140826

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees