WO2017006411A1

WO2017006411A1 - Signal processing method and driving method for solid-state image pickup device

Info

Publication number: WO2017006411A1
Application number: PCT/JP2015/069398
Authority: WO
Inventors: 秀樹冨永; 泰範川口
Original assignee: 株式会社島津製作所
Priority date: 2015-07-06
Filing date: 2015-07-06
Publication date: 2017-01-12
Also published as: JP6512291B2; JPWO2017006411A1

Abstract

Provided is a method for processing signals read from a solid-state image pickup device 1 comprising: a plurality of pixels 10 that are so arranged as to be adjacent to one another; and a predetermined plurality of storage elements 37 that are provided for each of the plurality of pixels 10 and that sequentially hold signals outputted from each pixel 10. The method comprises: determining, from among signals read from the storage elements 37, an unsuitable signal that is unsuitable for a predetermined condition; and estimating a normal signal on the basis of signals that were acquired, in pixels 10 adjacent to the pixel 10 corresponding to the storage element 37 from which the unsuitable signal has been read, at a timing corresponding to the timing of the unsuitable signal and/or on the basis of signals that were acquired, in the pixel 10 corresponding to the storage element 37 from which the unsuitable signal has been read, at timings immediately before and after the timing of the unsuitable signal.

Description

固体撮像素子の信号処理方法及び駆動方法Signal processing method and driving method for solid-state imaging device

　本発明は固体撮像素子の信号処理方法及び駆動方法に関する。特に、短時間のうちに高速で起こる現象を撮影するために好適に用いられる固体撮像素子の信号処理方法及び駆動方法に関する。 The present invention relates to a signal processing method and a driving method for a solid-state imaging device. In particular, the present invention relates to a signal processing method and a driving method of a solid-state imaging device that is preferably used for photographing a phenomenon that occurs at high speed in a short time.

　爆発、破壊、燃焼、衝突、あるいは放電のように、短時間のうちに高速で起こる現象を高速で連続撮影するための高速撮影装置（高速ビデオカメラ）が従来知られている（例えば非特許文献１）。こうした装置では、100万フレーム／秒程度あるいはそれ以上の速度で連続撮影を行うため、一般的なビデオカメラやデジタルカメラなどに利用される撮像素子と異なる、特殊な構造を有する固体撮像素子が用いられる。 2. Description of the Related Art Conventionally, a high-speed photographing device (high-speed video camera) for continuously photographing a phenomenon that occurs at a high speed in a short time, such as explosion, destruction, combustion, collision, or electric discharge, is known (for example, non-patent literature). 1). In such a device, since continuous shooting is performed at a speed of about 1 million frames / second or more, a solid-state image pickup device having a special structure different from an image pickup device used for a general video camera or a digital camera is used. It is done.

　本発明者らは、そのような固体撮像素子の１つを特許文献１において提案している。この固体撮像素子は、Ｎ個（例えば10万個）の画素と、Ｎ個の画素のそれぞれに対応するＭ個（例えば128個）の記憶素子を備えている。Ｎ個の画素は画素領域に集約されており、該画素領域内に２次元配列（例えば250×400個の格子状配列）されている。また、Ｎ×Ｍ個の記憶素子は、前記画素領域から空間的に分離された記憶領域に配置されている。画素領域内の各画素からは画素出力線が延設されており、スイッチングトランジスタを介して当該画素に対応するＭ個の記憶素子に接続されている。 The present inventors have proposed one such solid-state imaging device in Patent Document 1. This solid-state imaging device includes N (for example, 100,000) pixels and M (for example, 128) storage elements corresponding to each of the N pixels. N pixels are collected in a pixel area, and are two-dimensionally arranged in the pixel area (for example, 250 × 400 grid array). The N × M storage elements are arranged in a storage area that is spatially separated from the pixel area. A pixel output line extends from each pixel in the pixel region, and is connected to M memory elements corresponding to the pixel via a switching transistor.

　上記固体撮像素子では、各画素において所定のサンプリング時間、信号を蓄積させ、続いて該画素に対応するＭ個の記憶素子のうちの１つに出力信号を保持させるという動作を繰り返し行う。そして、Ｍ個の記憶素子の全てに出力信号が保持されると、最初の記憶素子に戻り、該記憶素子から順に画素信号を上書きしていく。各画素における信号の蓄積及び記憶素子への出力は全画素において一斉に行われる。撮影終了後、各記憶素子に保持された信号は固体撮像素子の外部に読み出され、Ｍ枚（例えば128フレーム）の画像が作成される。 In the solid-state imaging device, an operation of accumulating signals for a predetermined sampling time in each pixel and subsequently holding an output signal in one of M memory elements corresponding to the pixel is repeatedly performed. When the output signal is held in all the M memory elements, the process returns to the first memory element, and the pixel signals are overwritten in order from the memory element. Signal accumulation in each pixel and output to the storage element are performed simultaneously in all pixels. After the photographing is completed, the signal held in each storage element is read out to the outside of the solid-state imaging element, and M (for example, 128 frames) images are created.

特許第４９３１１６０号公報Japanese Patent No. 4931160

　上述の固体撮像素子では、通常、画素の数に比べて２桁以上多くの記憶素子が設けられ、例えば上述した例の場合、記憶素子の数は1000万個以上にもなる。通常、固体撮像素子は、素子に欠陥を生じさせる要因である塵埃の混入を防ぐためにクリーンルームにおいて製造されるが、それでも塵埃の混入を完全に防ぐことは困難である。また、素子の欠陥は配線パターンの形成不良など塵埃の混入以外の要因でも起こりうる。そのため、上述のとおり極めて多数の記憶素子を有する固体撮像素子の製造工程において、ある割合で記憶素子に不具合が生じることは避けがたい。１つの記憶素子の不具合により生じるデータの欠落は１フレーム中の１画素の信号分のみであり撮像データ全体に致命的な影響を及ぼすものではないが、画像内に信号のない領域が存在すると見た目に不自然さを感じさせてしまうという問題があった。 In the above-described solid-state imaging device, usually, two or more digits of memory elements are provided compared to the number of pixels. For example, in the case of the above-described example, the number of memory elements is 10 million or more. Normally, a solid-state imaging device is manufactured in a clean room in order to prevent dust contamination, which is a factor causing defects in the device, but it is still difficult to completely prevent dust contamination. In addition, the defect of the element may also be caused by factors other than dust contamination such as poor wiring pattern formation. Therefore, in the manufacturing process of the solid-state imaging device having a very large number of memory elements as described above, it is unavoidable that a problem occurs in the memory elements at a certain rate. The lack of data caused by a malfunction of one memory element is only for one pixel signal in one frame and does not have a fatal effect on the entire imaging data, but it appears that there is a region without a signal in the image. There was a problem that made me feel unnatural.

　本発明が解決しようとする課題は、１つの画素に対して該画素からの出力信号を保持するための複数の記憶素子が対応付けられた構成を有する固体撮像素子について、記憶素子の一部に不具合が生じた場合でも欠落のない撮像データを取得することができる固体撮像素子の信号処理方法及び駆動方法を提供することである。 A problem to be solved by the present invention is that a solid-state imaging device having a configuration in which a plurality of storage elements for holding an output signal from the pixel is associated with one pixel is included in a part of the storage element. It is an object to provide a signal processing method and a driving method for a solid-state imaging device capable of acquiring imaging data without omission even when a defect occurs.

　上記課題を解決するために成された本発明の第１の態様は、
　互いに隣接して配置され、それぞれが受光した光の強度に応じた信号を出力する複数の画素と、
　前記複数の画素のそれぞれに対して所定の複数個設けられた記憶素子であって、前記複数の画素のそれぞれから出力される信号が順に保持される記憶素子と
　を有する固体撮像素子において、前記複数の画素にそれぞれ対応する前記複数個の記憶素子の一部又は全部から読み出された信号を処理する方法であって、
　前記記憶素子から読み出された信号の中から予め決められた条件に適合しない不適合信号を特定し、
　前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素において該不適合信号と対応する時間に取得された信号、及び／又は前記不適合信号が読み出された記憶素子に対応する画素において前記不適合信号と隣接する時間に取得された信号に基づいて正常な信号を推定する
　ことを特徴とする。 In order to solve the above problems, the first aspect of the present invention is:
A plurality of pixels arranged adjacent to each other and each outputting a signal corresponding to the intensity of the received light;
A plurality of predetermined storage elements for each of the plurality of pixels, the storage elements sequentially holding signals output from the plurality of pixels; A method of processing signals read from a part or all of the plurality of storage elements respectively corresponding to the pixels;
A non-conforming signal that does not conform to a predetermined condition from among the signals read from the storage element;
A signal acquired at a time corresponding to the nonconforming signal in a pixel arranged adjacent to a pixel corresponding to the memory element from which the nonconforming signal is read, and / or a memory element from which the nonconforming signal is read A normal signal is estimated based on a signal acquired at a time adjacent to the nonconforming signal in a corresponding pixel.

　上記複数の画素の互いに隣接した配置とは、典型的には２次元的な配置（例えば格子状やハニカム状の配置）であるが、直線状、曲線状、ループ状などの１次元配置であってもよい。
　上記予め決められた条件に適合しない不適合信号とは、例えば、製造工程において不具合が生じていることが判明している記憶素子等（記憶素子に接続される信号線等も含む）から読み出された信号、隣接する画素との信号の大きさの差が所定の閾値よりも大きい信号、あるいは一定以上の明度で撮影されているにもかかわらず信号値がゼロである信号（信号そのものが記憶素子に保持されていない場合を含む）などである。 The arrangement of the plurality of pixels adjacent to each other is typically a two-dimensional arrangement (for example, a lattice-like or honeycomb-like arrangement), but is a one-dimensional arrangement such as a straight line, a curved line, or a loop. May be.
The non-conforming signal that does not conform to the predetermined condition is read from, for example, a memory element or the like (including a signal line connected to the memory element) that has been found to be defective in the manufacturing process. Signal, a signal whose magnitude difference between adjacent pixels is larger than a predetermined threshold value, or a signal whose signal value is zero even though it is photographed with a lightness of a certain level or more (the signal itself is a storage element) (Including the case where it is not held in).

　上記固体撮像素子では、複数の画素において同じタイミングで受光した光の強度に対応する信号を各画素から所定のサンプリング周期で読み出し、当該画素に対応する複数の記憶素子に順に保持させる。各画素と当該画素に対応する複数の記憶素子を結ぶ信号出力線が各画素に独立に設けられる場合には、各画素から記憶素子への信号の出力を全画素で一斉に行う。一方、１本の信号出力線を複数の画素が共有する構成の場合には、該複数の画素を順に切り替えて、当該画素に対応する記憶素子に信号を出力する。各画素に独立に信号出力線が設けられる構成では、記憶素子への信号の出力に要する時間が短いため、サンプリング周期を短くすることができる。また、複数の画素が１本の信号出力線を共有する構成では、信号出力線の本数を少なくして画素領域における受光面積の割合を大きくすることができる。 In the solid-state imaging device, a signal corresponding to the intensity of light received at the same timing in a plurality of pixels is read from each pixel at a predetermined sampling period, and is sequentially held in a plurality of storage elements corresponding to the pixel. In the case where a signal output line connecting each pixel and a plurality of memory elements corresponding to the pixel is provided independently for each pixel, signal output from each pixel to the memory element is performed simultaneously for all the pixels. On the other hand, in the case where a plurality of pixels share one signal output line, the plurality of pixels are sequentially switched, and a signal is output to the memory element corresponding to the pixel. In a configuration in which a signal output line is provided independently for each pixel, the sampling period can be shortened because the time required to output a signal to the storage element is short. In a configuration in which a plurality of pixels share one signal output line, the number of signal output lines can be reduced and the ratio of the light receiving area in the pixel region can be increased.

　例えば、複数の画素が格子状に２次元配置された固体撮像素子である場合に、不適合信号が読み出された記憶素子に対応する画素（対象画素）と隣接する４つまたは８つの画素（周辺画素）で不適合信号と同じタイミングで取得された信号の値を平均して正常な信号を推定する（周辺補正）。あるいは、対象画素において該不適合信号の前及び／又は後に取得された１乃至複数の信号の値を平均して正常な信号を推定する（前後補正）。あるいは、周辺補正と前後補正の両方により正常な信号を推定する。このように、本発明の第１の態様の信号処理方法を用いると、固体撮像素子の記憶素子から読み出された信号の一部に問題が生じていても、当該記憶素子から本来読み出されるべき正常な信号を推定して欠落のない撮像データを取得することができる。 For example, when a plurality of pixels is a solid-state imaging device arranged two-dimensionally in a grid, four or eight pixels (peripheral) adjacent to a pixel (target pixel) corresponding to a storage element from which a nonconforming signal is read A normal signal is estimated by averaging the signal values acquired at the same timing as the nonconforming signal in the pixel) (peripheral correction). Alternatively, a normal signal is estimated by averaging the values of one or more signals acquired before and / or after the nonconforming signal in the target pixel (front-back correction). Alternatively, a normal signal is estimated by both peripheral correction and front-back correction. As described above, when the signal processing method according to the first aspect of the present invention is used, even if a problem occurs in a part of the signal read from the storage element of the solid-state imaging device, it should be originally read from the storage element. It is possible to estimate normal signals and acquire imaging data with no missing portions.

　上記正常な信号を推定する際に、周辺補正を行うか、前後補正を行うか、あるいはそれら両方を行うかは、撮像する対象物の特性に応じて使用者が判断すればよい。しかし、未熟な使用者の場合、そうした判断を適切に下すことが難しい。 When estimating the normal signal, the user may determine whether to perform the peripheral correction, the front-back correction, or both of them according to the characteristics of the object to be imaged. However, it is difficult for an immature user to make such a decision appropriately.

　そこで、上記第１の態様では、さらに、
　前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素について、該不適合信号と同じ時間に取得された信号と、該不適合信号と隣接する時間に取得された信号との間の相関度を求め、
　前記相関度に基づいて前記正常な信号を推定する方法を決定する
　ことが好ましい。 Therefore, in the first aspect,
For a pixel arranged adjacent to a pixel corresponding to a storage element from which the nonconforming signal is read, a signal acquired at the same time as the nonconforming signal, and a signal acquired at a time adjacent to the nonconforming signal The degree of correlation between
It is preferable to determine a method for estimating the normal signal based on the degree of correlation.

　この態様では、周辺画素において不適合信号と同じ時間に取得された信号、及び不適合信号の前後に取得された信号の相関度を求める。信号の相関度は、不適合信号と、その前後に取得された信号の値の変化の大きさから求められる。例えば、求められた相関度が予め決められた閾値以上の値である場合には、動きの少ない（あるいは静止した）信号であり、求めた相関度が予め決められた閾値未満である場合には、動きの激しい信号である、と考えることができる。従って、前者の場合には前後補正によって、後者の場合には周辺補正によって、正常な信号を推定することができる。 In this aspect, the correlation between the signal acquired at the same time as the nonconforming signal in the surrounding pixels and the signal acquired before and after the nonconforming signal is obtained. The correlation degree of the signal is obtained from the nonconforming signal and the magnitude of the change in the value of the signal acquired before and after that. For example, when the calculated degree of correlation is a value greater than or equal to a predetermined threshold, the signal has little motion (or is stationary), and when the calculated degree of correlation is less than a predetermined threshold It can be considered that the signal is intense. Therefore, a normal signal can be estimated by front-back correction in the former case and by peripheral correction in the latter case.

　また、前後補正と周辺補正を組み合わせた補正処理を行うようにしてもよい。例えば、上記相関度の値に応じて前後補正と周辺補正にそれぞれ重み付けを行い、それら両方を用いて正常な信号を推定することができる。 Further, a correction process combining front and rear correction and peripheral correction may be performed. For example, it is possible to weight the front and rear correction and the peripheral correction in accordance with the correlation value, and to estimate a normal signal using both.

　また、上記課題を解決するために成された本発明の第２の態様は、
　それぞれが受光した光の強度に応じた信号を出力する１乃至複数の画素と、
　前記１乃至複数の画素のそれぞれに対して所定の複数個設けられた記憶素子と
　を有する固体撮像素子の駆動方法であって、
　前記１乃至複数の画素のそれぞれに対応する前記所定の複数個の記憶素子の中から予め決められた条件に適合しない不適合記憶素子を特定し、
　前記１乃至複数の画素のそれぞれについて、当該画素に対応付けられた所定の複数個の記憶素子の中から前記不適合記憶素子を除いた正常記憶素子を用いて当該画素から出力される信号を順に保持する
　ことを特徴とする。 In addition, the second aspect of the present invention, which has been made to solve the above problems,
One or more pixels that each output a signal corresponding to the intensity of the received light;
A driving method of a solid-state imaging device having a predetermined plurality of storage elements for each of the one to a plurality of pixels,
Identifying a nonconforming memory element that does not conform to a predetermined condition from the predetermined plurality of memory elements corresponding to each of the one or more pixels;
For each of the one to a plurality of pixels, a signal output from the pixel is sequentially held using a normal storage element excluding the nonconforming storage element from a predetermined plurality of storage elements associated with the pixel. It is characterized by.

　上記不適合記憶素子とは、例えば、所定の検査において動作不良が確認されている記憶素子、前回の撮像時に正常な信号を読み出すことができなかった記憶素子、あるいは信号の書き込みや読み出しのために設けられている信号出力線に不具合がある記憶素子である。 The nonconforming memory element is, for example, a memory element whose operation failure has been confirmed in a predetermined inspection, a memory element in which a normal signal could not be read at the previous imaging, or a signal writing or reading This is a memory element having a defect in the signal output line.

　本発明の第２の態様では、予め決められた条件に適合しない（不具合が生じた）記憶素子を使用せず、正常な記憶素子のみを用いて複数フレーム分の信号を保持させるため、それらを順に読み出すと欠落のない正常な撮像データが得られる。 In the second aspect of the present invention, since a memory element that does not meet a predetermined condition (failed) is not used and a signal for a plurality of frames is held using only a normal memory element, When read in order, normal imaging data with no omission is obtained.

　固体撮像素子では、画素からの出力信号を保持する記憶素子をシフトレジスタによって指定することが多い。シフトレジスタは、画素を、該画素に対応する複数の記憶素子のうちの１つに選択的に接続するものであり、パルスを１つ受信する毎に画素に接続する記憶素子を順に切り替える。従って、不適合記憶素子よりも１つ前の記憶素子に画素からの出力信号を保持した後、シフトレジスタに２つのパルスを連続送信することにより、該特定された記憶素子をスキップし、正常な記憶素子のみを用いて画素からの出力信号を順に保持させることができる。 In a solid-state image sensor, a memory element that holds an output signal from a pixel is often designated by a shift register. The shift register selectively connects a pixel to one of a plurality of storage elements corresponding to the pixel, and sequentially switches the storage element connected to the pixel every time one pulse is received. Therefore, after the output signal from the pixel is held in the memory element immediately before the nonconforming memory element, two pulses are continuously transmitted to the shift register, so that the specified memory element is skipped and normal memory is stored. The output signals from the pixels can be held in order using only the elements.

　本発明の第１の態様である固体撮像素子の信号処理方法を用いることにより、該固体撮像素子の記憶素子から読み出された信号の一部に問題が生じていても、当該記憶素子から本来読み出されるべき正常な信号を推定して欠落のない撮像データを取得することができる。また、本発明の第２の態様である固体撮像素子の駆動方法を用いることにより、該固体撮像素子の記憶素子の一部に不具合がある場合でも欠落のない撮像データを取得することができる。 By using the signal processing method for the solid-state imaging device according to the first aspect of the present invention, even if a problem occurs in a part of the signal read from the storage device of the solid-state imaging device, It is possible to estimate normal signals to be read out and obtain imaging data that is not missing. In addition, by using the solid-state imaging device driving method according to the second aspect of the present invention, it is possible to obtain imaging data that is not missing even when a part of the storage element of the solid-state imaging device has a defect.

本発明に係る固体撮像素子の信号処理方法及び駆動方法を実施する固体撮像素子と制御・信号処理部の一構成例。1 shows a configuration example of a solid-state imaging device and a control / signal processing unit that implement a signal processing method and a driving method of a solid-state imaging device according to the present invention. 本実施例における画素の回路構成図。FIG. 3 is a circuit configuration diagram of a pixel in this embodiment. 本実施例における画素と記憶ユニットの接続、及び記憶ユニット内の回路構成を示す図。FIG. 5 is a diagram illustrating a connection between a pixel and a storage unit and a circuit configuration in the storage unit in the embodiment. シフトレジスタに送信する駆動パルス信号の例。An example of a driving pulse signal transmitted to the shift register. 実施例１における駆動パルスの送信パターンの例。FIG. 4 is an example of a transmission pattern of drive pulses in the first embodiment. 実施例１における信号処理の一例。FIG. 3 shows an example of signal processing in Embodiment 1. FIG. 実施例１における信号処理の別の例。4 is another example of signal processing in the first embodiment. 実施例１における信号処理のさらに別の例。6 is still another example of signal processing in the first embodiment. 実施例２の固体撮像素子及び制御・信号処理部の構成図。FIG. 6 is a configuration diagram of a solid-state imaging device and a control / signal processing unit according to a second embodiment. 実施例２の信号処理方法のフローチャート。10 is a flowchart of a signal processing method according to the second embodiment. 実施例２の信号処理方法を用いた計算例。7 is a calculation example using the signal processing method according to the second embodiment. 実施例２の信号処理方法を用いた別の計算例。10 is another calculation example using the signal processing method according to the second embodiment. 実施例２の信号処理方法を用いたさらに別の計算例。FIG. 14 is still another calculation example using the signal processing method according to the second embodiment. 実施例３における固体撮像素子の駆動方法における駆動パルス信号の送信パターンの例。FIG. 14 is an example of a transmission pattern of a driving pulse signal in the method for driving a solid-state imaging element according to the third embodiment.

　本発明に係る固体撮像素子の信号処理方法及び駆動方法の一実施例について、以下、図面を参照して説明する。図１は、本実施例における固体撮像素子１の半導体チップ上のレイアウトを示す概略平面図、及び該固体撮像素子の撮像動作を制御するとともに信号を処理する制御・信号処理部５０の概略構成図である。 Embodiments of a signal processing method and a driving method for a solid-state imaging device according to the present invention will be described below with reference to the drawings. FIG. 1 is a schematic plan view showing a layout of a solid-state imaging device 1 on a semiconductor chip in this embodiment, and a schematic configuration diagram of a control / signal processing unit 50 that controls the imaging operation of the solid-state imaging device and processes signals. It is.

　はじめに、本実施例における固体撮像素子１の概略構成を説明する。
　図１に示すように、固体撮像素子１は、複数の画素が配置された矩形状の画素領域２と、該画素領域２から空間的に分離され、複数の記憶素子が配置された矩形状の記憶領域３とを備えている。画素領域２には、10万個の画素１０が250×400個の２次元アレイ状に配置されている。また、記憶領域３にも、画素１０と同数（即ち10万個）の記憶ユニット３０が250×400個の２次元アレイ状に配置されている。さらに、各記憶ユニット３０には128個の記憶素子が配置されており、各画素１０と該画素１０に対応する後述の記憶ユニット３０内の記憶素子は画素出力線４０で接続されている。画素１０から読み出された信号は、該画素１０に対応する記憶ユニット３０内の記憶素子に順に保持される。 First, a schematic configuration of the solid-state imaging device 1 in the present embodiment will be described.
As shown in FIG. 1, a solid-state imaging device 1 includes a rectangular pixel region 2 in which a plurality of pixels are arranged, and a rectangular shape in which a plurality of storage elements are arranged spatially separated from the pixel region 2. And a storage area 3. In the pixel region 2, 100,000 pixels 10 are arranged in a 250 × 400 two-dimensional array. In the storage area 3, the same number (ie 100,000) of storage units 30 as the pixels 10 are arranged in a 250 × 400 two-dimensional array. Further, 128 storage elements are arranged in each storage unit 30, and each pixel 10 and a storage element in a storage unit 30 described later corresponding to the pixel 10 are connected by a pixel output line 40. Signals read from the pixels 10 are sequentially held in the storage elements in the storage unit 30 corresponding to the pixels 10.

　記憶領域３の近傍には、垂直走査回路領域４と水平走査回路領域５が設けられている。垂直走査回路領域４と水平走査回路領域５には、記憶領域３中の記憶ユニット３０に含まれる記憶素子からの信号の読み出しを制御するためのシフトレジスタなどの回路が配設されている。 In the vicinity of the storage area 3, a vertical scanning circuit area 4 and a horizontal scanning circuit area 5 are provided. In the vertical scanning circuit region 4 and the horizontal scanning circuit region 5, circuits such as a shift register for controlling reading of signals from the storage elements included in the storage unit 30 in the storage region 3 are arranged.

　画素領域２に配置された画素１０の１つの回路構成を図２に示す。画素１０は、フォトダイオード１１、転送用トランジスタ１２、リセット用トランジスタ１３、フローティングディフュージョン１４、バッファ用トランジスタ１５、第１電流遮断用トランジスタ１６、第１バイアス用トランジスタ１７、第１コンデンサ１８、第１サンプリング用トランジスタ１９、第２サンプリング用トランジスタ２０、第２コンデンサ２１、ソースフォロア増幅用トランジスタ２２、第２電流遮断用トランジスタ２３、負荷電流源用トランジスタ２４、及び出力制御用トランジスタ２５を含んで構成されている。 FIG. 2 shows one circuit configuration of the pixel 10 arranged in the pixel region 2. The pixel 10 includes a photodiode 11, a transfer transistor 12, a reset transistor 13, a floating diffusion 14, a buffer transistor 15, a first current cutoff transistor 16, a first bias transistor 17, a first capacitor 18, and a first sampling. Transistor 19, second sampling transistor 20, second capacitor 21, source follower amplification transistor 22, second current cutoff transistor 23, load current source transistor 24, and output control transistor 25. Yes.

　転送用トランジスタ１２、リセット用トランジスタ１３、第１電流遮断用トランジスタ１６、第１サンプリング用トランジスタ１９、及び第２サンプリング用トランジスタ２０のゲート端子には、それぞれφＴ、φＲ、φＸ１、φＮＳ、φＳＳなる駆動パルス信号（制御信号）を供給するための駆動ラインが接続されている。また、第２電流遮断用トランジスタ２３及び出力制御用トランジスタ２５のゲート端子にはφＸ２なる駆動パルス信号（制御信号）を供給するための駆動ラインが接続されている。 Drives of φT, φR, φX1, φNS, and φSS are applied to the gate terminals of the transfer transistor 12, the reset transistor 13, the first current cutoff transistor 16, the first sampling transistor 19, and the second sampling transistor 20, respectively. A drive line for supplying a pulse signal (control signal) is connected. In addition, a drive line for supplying a drive pulse signal (control signal) of φX2 is connected to the gate terminals of the second current cutoff transistor 23 and the output control transistor 25.

　図３は画素１０と該画素１０に対応する記憶ユニット３０の接続、及び記憶ユニット３０内の回路構成を示す図である。図３には１つの画素１０と該画素１０に対応する記憶ユニット３０のみを記載しているが、上述のとおり、画素１０と記憶ユニット３０はいずれも250×400個の２次元アレイ状に配置されている。 FIG. 3 is a diagram showing a connection between the pixel 10 and the storage unit 30 corresponding to the pixel 10, and a circuit configuration in the storage unit 30. FIG. 3 shows only one pixel 10 and the storage unit 30 corresponding to the pixel 10, but as described above, both the pixel 10 and the storage unit 30 are arranged in a 250 × 400 two-dimensional array. Has been.

　画素１０から延設されている画素出力線４０は、書き込み用トランジスタ３１を介して記憶ユニット３０内の記憶素子に接続されている。記憶ユニット３０には、蓄積フレーム数Ｌ（この例ではＬ＝１２８）分のサンプリング用トランジスタ３６及びコンデンサ３７（記憶素子）が設けられている。書き込み用トランジスタ３１のゲート端子には、全記憶ユニット３０に共通の駆動パルス信号φＷＳを供給するための駆動ラインが接続されている。サンプリング用トランジスタ３６のゲート端子には、１個の記憶ユニット３０に含まれるＬ個のサンプリング用トランジスタ３６を順に指定するための駆動パルス信号φＶＣＬＫ１＿Ｏ＜？＞（？は０～１２７）を供給するシフトレジスタＶＳＲ１が接続されている。シフトレジスタＶＳＲ１はスタート信号φＶＳ１とクロック信号φＶＣＬＫ１を受けて動作する。図４に示すように、シフトレジスタＶＳＲ１には、最初にスタート信号φＶＳ１が送信され、その後、所定の間隔でクロック信号φＶＣＬＫ１が送信される。クロック信号φＶＣＬＫ１を１つ受信するごとに、Ｌ個のサンプリング用トランジスタ３６のオン／オフが順に切り替えられる。 A pixel output line 40 extending from the pixel 10 is connected to a storage element in the storage unit 30 via a writing transistor 31. The storage unit 30 is provided with sampling transistors 36 and capacitors 37 (storage elements) for the number L of accumulation frames (L = 128 in this example). A drive line for supplying a common drive pulse signal φWS to all the storage units 30 is connected to the gate terminal of the write transistor 31. At the gate terminal of the sampling transistor 36, a drive pulse signal φVCLK1_O <? For designating the L sampling transistors 36 included in one storage unit 30 in order. A shift register VSR1 for supplying> (? Is 0 to 127) is connected. Shift register VSR1 operates in response to start signal φVS1 and clock signal φVCLK1. As shown in FIG. 4, a start signal φVS1 is first transmitted to the shift register VSR1, and then a clock signal φVCLK1 is transmitted at a predetermined interval. Each time one clock signal φVCLK1 is received, ON / OFF of the L sampling transistors 36 is sequentially switched.

　書き込み用トランジスタ３１と記憶ユニット３０の間には、記憶ユニット３０から信号を読み出すための垂直読み出し用トランジスタ３８と水平読み出し用トランジスタ３９が接続されている。垂直読み出し用トランジスタ３８には、２次元配置された記憶ユニット３０の縦方向の位置を指定するφＶＣＬＫ０＿Ｏ＜＊＞（＊は０～２４９）なる駆動パルス信号を供給するシフトレジスタＶＳＲ０が接続されている。シフトレジスタＶＳＲ０はスタート信号φＶＳ０とクロック信号φＶＣＬＫ０を受けて動作する。また、水平読み出し用トランジスタ３９には、記憶ユニット３０の横方向の位置を指定するφＨＣＬＫ＿Ｏ＜＃＞（＃は０～３９９）なる駆動パルス信号を供給するシフトレジスタＨＳＲが接続されている。シフトレジスタＨＳＲはスタート信号φＨＳとクロック信号φＨＣＬＫを受けて動作する。 Between the write transistor 31 and the storage unit 30, a vertical read transistor 38 and a horizontal read transistor 39 for reading a signal from the storage unit 30 are connected. Connected to the vertical read transistor 38 is a shift register VSR0 for supplying a drive pulse signal φVCLK0_O <**> (* is 0 to 249) that designates the vertical position of the two-dimensionally arranged storage units 30. . Shift register VSR0 operates in response to start signal φVS0 and clock signal φVCLK0. The horizontal read transistor 39 is connected to a shift register HSR that supplies a drive pulse signal of φHCLK_O <#> (# is 0 to 399) that designates the horizontal position of the storage unit 30. Shift register HSR operates by receiving start signal φHS and clock signal φHCLK.

　次に、図５の駆動パルス信号の送信パターンを参照して固体撮像素子１の撮像動作を説明する。
　はじめに、転送用トランジスタ１２をオフ（φＴ：オン→オフ）にしてフォトダイオード１１をフローティング状態にし、光電変換で発生した電荷の蓄積（露光）を開始する。このとき、フローティングディフュージョン１４はリセット電圧ＶＲにリセットされている。少し遅れてリセット用トランジスタ１３をオフ（φＲ：オン→オフ）にしてフローティングディフュージョン１４をフローティング状態にする。このとき、フローティングディフュージョン１４の電圧はリセット電圧ＶＲ＋リセットノイズ電圧になる。続いて、第１サンプリング用トランジスタ１９、第２サンプリング用トランジスタ２０を共にオン（φＮＳ、φＳＳ：オフ→オン）にして、第１コンデンサ１８の第２サンプリング用トランジスタ２０側の端子電圧と第２コンデンサ２１の第２サンプリング用トランジスタ２０側の端子電圧をいずれもリセット電圧ＶＲにリセットする。 Next, the imaging operation of the solid-state imaging device 1 will be described with reference to the drive pulse signal transmission pattern of FIG.
First, the transfer transistor 12 is turned off (φT: on → off), the photodiode 11 is brought into a floating state, and accumulation (exposure) of charges generated by photoelectric conversion is started. At this time, the floating diffusion 14 is reset to the reset voltage VR. After a short delay, the reset transistor 13 is turned off (φR: on → off), and the floating diffusion 14 is brought into a floating state. At this time, the voltage of the floating diffusion 14 becomes the reset voltage VR + the reset noise voltage. Subsequently, both the first sampling transistor 19 and the second sampling transistor 20 are turned on (φNS, φSS: off → on), and the terminal voltage on the second sampling transistor 20 side of the first capacitor 18 and the second capacitor are set. All the terminal voltages on the second sampling transistor 20 side of 21 are reset to the reset voltage VR.

　さらに、第１サンプリング用トランジスタ１９のみをオフ（φＮＳ：オン→オフ）にし、第１コンデンサ１８の第２サンプリング用トランジスタ２０側の端子と第２コンデンサ２１の第２サンプリング用トランジスタ２０側の端子をいずれもフローティング状態にする。このとき、バッファ用トランジスタ１５を通して第１コンデンサ１８に与えられる電圧がリセット電圧＋リセットノイズ電圧であれば、ソースフォロア増幅用トランジスタ２２のゲート端子に印加される電圧はリセット電圧ＶＲになるため、リセットノイズが除去される。その後、転送用トランジスタ１２をオン（φＴ：オフ→オン）にして、フォトダイオード１１からフローティングディフュージョン１４に信号電荷を転送する。これにより、ソースフォロア増幅用トランジスタ２２のゲート端子に印加される電圧は、リセット電圧ＶＲから［正味の信号電圧］×［ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路のゲイン］だけ下がる。 Further, only the first sampling transistor 19 is turned off (φNS: ON → OFF), and the terminal on the second sampling transistor 20 side of the first capacitor 18 and the terminal on the second sampling transistor 20 side of the second capacitor 21 are connected. Both are in a floating state. At this time, if the voltage applied to the first capacitor 18 through the buffer transistor 15 is the reset voltage + the reset noise voltage, the voltage applied to the gate terminal of the source follower amplification transistor 22 becomes the reset voltage VR. Noise is removed. Thereafter, the transfer transistor 12 is turned on (φT: off → on), and the signal charge is transferred from the photodiode 11 to the floating diffusion 14. As a result, the voltage applied to the gate terminal of the source follower amplification transistor 22 is lowered from the reset voltage VR by [net signal voltage] × [gain of CDS (Correlated Double Sampling) circuit].

　さらに、第２サンプリング用トランジスタ２０もオフ（φＳＳ：オン→オフ）にすると、ソースフォロア増幅用トランジスタ２２のゲート端子に印加される電圧が確定する。このときの電圧はリセットノイズ電圧が除かれた［正味の信号電圧］×［ＣＤＳ回路のゲイン］なる電圧である。その後、出力制御用トランジスタ２５をオン（φＸ２；オフ→オン）にして、フローティングディフュージョン１４におけるリセットノイズを含まない信号電圧を、ソースフォロア増幅用トランジスタ２２を介して画素出力線４０に出力する。 Furthermore, when the second sampling transistor 20 is also turned off (φSS: on → off), the voltage applied to the gate terminal of the source follower amplification transistor 22 is determined. The voltage at this time is a voltage of [net signal voltage] × [gain of CDS circuit] from which the reset noise voltage is removed. Thereafter, the output control transistor 25 is turned on (φX2; off → on), and a signal voltage not including reset noise in the floating diffusion 14 is output to the pixel output line 40 via the source follower amplification transistor 22.

　上記のように画素１０から信号を画素出力線４０に出力する間に、記憶ユニット３０では、シフトレジスタＶＳＲ１にスタート信号φＶＳ１と最初のクロック信号φＶＣＬＫを送信し、シフトレジスタＶＳＲ１によって当該画素１０に対応する最初の記憶素子のサンプリング用トランジスタ３６をオン（φＶＣＬＫ１＿Ｏ＜０＞：オフ→オン）にする。そして、書き込み用トランジスタ３１をオン（φＷＳ：オフ→オン）にして最初の記憶素子に画素１０からの出力信号を保持させる。これにより、１つのサイクルが完了する。 While the signal is output from the pixel 10 to the pixel output line 40 as described above, the storage unit 30 transmits the start signal φVS1 and the first clock signal φVCLK to the shift register VSR1, and corresponds to the pixel 10 by the shift register VSR1. The sampling transistor 36 of the first memory element to be turned on is turned on (φVCLK1_O <0>: off → on). Then, the writing transistor 31 is turned on (φWS: off → on), and the output signal from the pixel 10 is held in the first memory element. This completes one cycle.

　２回目から１２８回目のサイクルでは、スタート信号φＶＳ１を除き上記同様に制御パルス信号を送信して各トランジスタをオン／オフさせる。図４に示したとおり、クロック信号φＶＣＬＫ１を１つ送信するごとにサンプリング用トランジスタ３６をオンにする記憶素子が順に切り替えられ、画素１０からの出力信号が保持される。Ｌ個の記憶素子（のコンデンサ３７）に出力信号が保持されると、再び上述した一連の動作が繰り返され、最初の記憶素子（のコンデンサ３７）から順に画素信号が上書きされる。 In the second to 128th cycles, except for the start signal φVS1, a control pulse signal is transmitted in the same manner as described above to turn on / off each transistor. As shown in FIG. 4, every time one clock signal φVCLK1 is transmitted, the storage element that turns on the sampling transistor 36 is sequentially switched, and the output signal from the pixel 10 is held. When the output signal is held in the L memory elements (capacitor 37), the above-described series of operations is repeated again, and the pixel signals are overwritten in order from the first memory element (capacitor 37).

　撮像動作を終えると、垂直読み出し用トランジスタ３８と水平読み出し用トランジスタ３９により記憶ユニット３０を順に指定し、さらに該記憶ユニット３０内の記憶素子を順に指定して（サンプリング用トランジスタ３６をオンにして）、該記憶素子（のコンデンサ３７）に保持された信号を固体撮像素子１の外部に読み出す。 When the imaging operation is finished, the storage unit 30 is designated in order by the vertical readout transistor 38 and the horizontal readout transistor 39, and further the storage elements in the storage unit 30 are designated in order (with the sampling transistor 36 turned on). The signal held in the storage element (capacitor 37 thereof) is read out of the solid-state imaging device 1.

　以下、本発明に係る信号処理方法の具体的な一実施例について説明する。
　再び図１を参照して制御・信号処理部５０の構成を説明する。制御・信号処理部５０は、記憶部５１の他に、機能ブロックとして撮像制御部５２、不適合信号特定部５３、信号推定部５４、及び画像生成部５５を備えている。制御・信号処理部５０の実体はパーソナルコンピュータであり、入力部６０と表示部７０が接続されている。また、上記の各機能ブロックは、記憶部５１に保存された制御・信号処理プログラムを実行することにより具現化される。記憶部５１には、製造工程において発見された記憶素子の不具合情報（例えばＸ番目の画素のＫフレーム目の信号が保持される記憶素子に不具合あり）が保存されている。また、使用者が、一定の明度の下で予備撮影を行い、各記憶素子から読み出した信号の値が予備撮影時の明度と整合しない記憶素子の情報を記憶部５１に保存するようにしてもよい。 Hereinafter, a specific embodiment of the signal processing method according to the present invention will be described.
With reference to FIG. 1 again, the configuration of the control / signal processing unit 50 will be described. In addition to the storage unit 51, the control / signal processing unit 50 includes an imaging control unit 52, a nonconforming signal specifying unit 53, a signal estimation unit 54, and an image generation unit 55 as functional blocks. The entity of the control / signal processing unit 50 is a personal computer, to which an input unit 60 and a display unit 70 are connected. Each functional block is implemented by executing a control / signal processing program stored in the storage unit 51. The storage unit 51 stores storage element failure information discovered in the manufacturing process (for example, the storage element holding the signal in the Kth frame of the Xth pixel has a failure). In addition, the user may perform preliminary shooting at a certain brightness, and store in the storage unit 51 information on a storage element whose signal value read from each storage element does not match the brightness at the time of preliminary shooting. Good.

　使用者により撮像が指示されると、撮像制御部５２は指示内容（撮像時間、サンプリング間隔等）に基づいて上述した固体撮像素子１に駆動パルス信号を送信して各部を動作させる。撮像が終了すると、記憶素子に保持された信号を上述の手順で読み出し、記憶部５１に保存する。 When imaging is instructed by the user, the imaging controller 52 transmits a drive pulse signal to the solid-state imaging device 1 described above based on the instruction content (imaging time, sampling interval, etc.) to operate each unit. When the imaging is completed, the signal held in the storage element is read out according to the above-described procedure and stored in the storage unit 51.

　記憶部５１に全ての信号が保存されると、不適合信号特定部５３は記憶部５１に保存された記憶素子の不具合情報を読み出し、対応する不適合信号を特定する。また、保存された信号を相互に比較して、記憶素子の不具合情報に対応する信号以外の不適合信号の有無を確認する。具体的には、隣接する画素との信号の大きさの差が使用者により予め指定された所定の閾値よりも大きい信号、あるいは一定以上の明度で撮影されているにもかかわらず信号値がゼロである信号（信号そのものが記憶素子に保持されていない場合を含む）などを不適合信号として追加で特定する。 When all the signals are stored in the storage unit 51, the nonconforming signal specifying unit 53 reads out the defect information of the storage element stored in the storage unit 51, and specifies the corresponding nonconforming signal. In addition, the stored signals are compared with each other to check whether there is a nonconforming signal other than the signal corresponding to the defect information of the storage element. Specifically, the signal value is zero even though the difference in signal magnitude between the adjacent pixels is larger than a predetermined threshold specified in advance by the user, or the signal value is photographed at a certain brightness or higher. The signal (including the case where the signal itself is not held in the memory element) is additionally specified as a nonconforming signal.

　不適合信号が特定されると、信号推定部５４は、不適合信号に代わる正常な信号を推定する。本実施例では以下に説明する２通りの推定方法（前後補正、周辺補正）が用いられる。 When the nonconforming signal is specified, the signal estimating unit 54 estimates a normal signal instead of the nonconforming signal. In this embodiment, the following two estimation methods (front and rear correction and peripheral correction) described below are used.

　１つ目の方法（前後補正）では、図６に示すように、欠落したフレーム（Ｋフレーム）の前のフレーム（Ｋ－１フレーム）における同一画素１０の信号と後のフレーム（Ｋ＋１フレーム）における同一画素１０の信号を平均する。
　２つ目の方法（周辺補正）では、図７に示すように、欠落したフレーム（Ｋフレーム）内の信号であって、不適合信号に対応する画素（対象画素）と上下左右に隣接する４つの画素（周辺画素）の信号を平均する。あるいは、不適合信号に対応する画素と斜め方向に隣接する４つの画素の信号も含めた、合計８つの信号を平均してもよい。この場合には、８つの信号を単純平均するほか、上下左右に隣接する画素の信号と斜め方向に隣接する画素の信号に重み付けを加えて平均してもよい。
　また、これら２つの方法は、いずれか一方を用いることも、両方を併用することもできる。 In the first method (front and back correction), as shown in FIG. 6, the signal of the same pixel 10 in the previous frame (K-1 frame) and the subsequent frame (K + 1 frame) of the missing frame (K frame) The signals of the same pixel 10 are averaged.
In the second method (peripheral correction), as shown in FIG. 7, there are four signals adjacent to the pixel (target pixel) corresponding to the nonconforming signal in the missing frame (K frame). The signals of pixels (peripheral pixels) are averaged. Or you may average a total of eight signals including the signal of four pixels which adjoin the diagonal corresponding to the pixel corresponding to a nonconforming signal. In this case, in addition to simply averaging the eight signals, weighting may be applied to the signals of the pixels adjacent in the vertical and horizontal directions and the signals of the pixels adjacent in the diagonal direction.
In addition, either of these two methods can be used, or both can be used in combination.

　信号推定部５４により正常な信号が推定されると、画像生成部５５は推定した信号を用いて画像データを作成し、表示部７０に表示する。このように、本実施例の信号処理方法を用いると、固体撮像素子１の製造工程で記憶素子に不具合が発生したり、あるいは記憶素子への信号の書き込みや記憶素子からの読み出しの際に不具合が発生したりしても、当該記憶素子から本来読み出されるべき正常な信号を推定して欠落のない撮像データを取得することができる。 When a normal signal is estimated by the signal estimation unit 54, the image generation unit 55 creates image data using the estimated signal and displays it on the display unit 70. As described above, when the signal processing method of this embodiment is used, a problem occurs in the memory element in the manufacturing process of the solid-state imaging device 1, or a problem occurs when a signal is written to or read from the memory element. Even if this occurs, it is possible to estimate normal signals that should be read from the storage element and acquire imaging data that is not missing.

　また、以下に説明する方法を用いて正常な信号を推定することも可能である。上記２つ目の方法では、１つの記憶素子から読み出した信号を、そのまま撮像データを構成する１つの信号として用いたが、この変形例では、隣接する４つの画素における同一時点での信号を平均し、その平均値を撮像データにおける１つの信号として用いる。即ち、図８に記載した実線で囲まれた画素配置から、破線で囲まれた信号を生成して撮像データを生成する。そして、不適合信号が存在する場合には、当該信号を除く３つの信号を平均して撮像データにおける１つの信号とする。この方法によっても上記同様に欠落のない撮像データを得ることができる。 It is also possible to estimate a normal signal using the method described below. In the second method, the signal read from one storage element is used as it is as one signal constituting the imaging data, but in this modification, the signals at the same time in four adjacent pixels are averaged. The average value is used as one signal in the imaging data. That is, imaging data is generated by generating a signal surrounded by a broken line from the pixel arrangement surrounded by a solid line shown in FIG. When there is a nonconforming signal, the three signals excluding the signal are averaged to be one signal in the imaging data. Also by this method, it is possible to obtain imaging data that is not missing as described above.

　実施例１では、使用者が、前後補正、周辺補正、あるいはその両方を用いた信号処理のいずれかを決定して正常な信号を推定する。しかし、未熟な使用者の場合、そうした判断を適切に下すことが難しい。実施例２では、未熟な使用者であっても正常な信号を推定することができる構成を説明する。 In the first embodiment, the user estimates a normal signal by determining one of signal processing using front and rear correction, peripheral correction, or both. However, it is difficult for an immature user to make such a decision appropriately. In the second embodiment, a configuration in which a normal signal can be estimated even by an unskilled user will be described.

　図９は、実施例２における固体撮像素子１と制御・信号処理部１５０の構成であり、図１０は実施例２における信号処理のフローチャートである。固体撮像素子１の構成及び動作は上述したとおりであるため、説明を省略する。また、制御・信号処理部１５０の構成要素のうち、記憶部１５１、撮像制御部１５２、不適合信号特定部１５３、信号推定部１５４、及び画像生成部１５５も実施例１と同じであるため、説明を省略する。実施例２では、制御・信号処理部１５０が、さらに相関度算出部１５６及び補正モード決定部１５７を機能ブロックとして備えている。 FIG. 9 shows a configuration of the solid-state imaging device 1 and the control / signal processing unit 150 in the second embodiment, and FIG. 10 is a flowchart of signal processing in the second embodiment. Since the configuration and operation of the solid-state imaging device 1 are as described above, description thereof is omitted. Among the components of the control / signal processing unit 150, the storage unit 151, the imaging control unit 152, the nonconforming signal specifying unit 153, the signal estimation unit 154, and the image generation unit 155 are also the same as those in the first embodiment. Is omitted. In the second embodiment, the control / signal processing unit 150 further includes a correlation degree calculation unit 156 and a correction mode determination unit 157 as functional blocks.

　以下、Ｘ番目の画素のＫフレーム目の信号が保持される記憶素子に不具合がある場合を例に、具体的な信号処理の方法を説明する。以下、Ｘ番目の画素（対象画素）をx-y座標の原点で表し、該対象画素に隣接する８つの画素（周辺画素）を座標位置で表す。即ち、８つの周辺画素の座標は(x, y)=(-1, -1), (-1, 0), (-1, 1), (0, -1), (0, 1), (1, -1), (1, 0), (1, 1)となる。 Hereinafter, a specific signal processing method will be described by taking as an example a case where a memory element that holds a signal of the Kth frame of the Xth pixel has a problem. Hereinafter, the Xth pixel (target pixel) is represented by the origin of the xy coordinates, and eight pixels (peripheral pixels) adjacent to the target pixel are represented by coordinate positions. That is, the coordinates of the eight neighboring pixels are (x, y) = (-1, -1), (-1, 0), (-1, 1), (0, -1), (0, 1), (1, -1), (1, 0), (1, 1).

　入力部１６０を通じて使用者から撮像が指示されると、撮像制御部１５２による制御の下で固体撮像素子１による撮像動作が実行される。そして、各記憶素子に保持された信号が読み出されると、不適合信号特定部１５３により不適合信号が特定される。 When imaging is instructed by the user through the input unit 160, the imaging operation by the solid-state imaging device 1 is executed under the control of the imaging control unit 152. When the signal held in each storage element is read, the nonconforming signal specifying unit 153 specifies the nonconforming signal.

　続いて、相関度算出部１５６が、Ｋ－１フレームにおける８つの周辺画素の信号値とＫフレームにおける８つの周辺画素の信号値を用いて、次式(1)から相関度Ｃ_－１（前フレームと当該フレームの相関度）を計算する（ステップＳ１）。ここで用いる式(1)及び後述の式(3)では、動きが少ない信号ほど相関度が高く計算される。

　上式(1)において、A_{f-1（y, x）}は、Ｋ－１フレームにおける座標(x, y)の画素の信号値、A_f（y, x）は、Ｋフレームにおける座標(x, y)の画素の信号値である。また、A _f（数式では上線）はＫフレームにおける周辺画素の信号値の平均値であり、次式(2)から計算される。

Subsequently, the correlation calculation unit 156 uses the signal values of the eight neighboring pixels in the K−1 frame and the signal values of the eight neighboring pixels in the K frame to calculate the correlation C ₋₁ (previous A correlation between the frame and the frame is calculated (step S1). In Equation (1) and Equation (3) described later, the correlation level is calculated higher for a signal with less motion.

In the above equation (1), A _{f-1 (y, x)} is the signal value of the pixel at the coordinate (x, y) in the K-1 frame, and A _{f (y, x)} is the coordinate (x in the K frame _). , y) is the pixel signal value. A _f (upper line in the equation) is an average value of signal values of peripheral pixels in the K frame, and is calculated from the following equation (2).

　相関度算出部１５６は、また、Ｋフレームにおける８つの周辺画素の信号値とＫ＋１フレームにおける８つの周辺画素の信号値を用いて、次式(3)から相関度Ｃ_＋１（後フレームと当該フレームの相関度）を計算する（ステップＳ２）。

　上式(3)において、A_{f+1（y, x）}は、Ｋ＋１フレームにおける座標(x, y)の画素の信号値である。 The correlation calculation unit 156 also uses the signal values of the eight neighboring pixels in the K frame and the signal values of the eight neighboring pixels in the K + 1 frame to calculate the correlation C ₊₁ (the subsequent frame and the corresponding frame from the following equation (3). Is calculated (step S2).

In the above equation (3), A _{f + 1 (y, x)} is a signal value of a pixel at coordinates (x, y) in the K + 1 frame.

　相関度算出部１５６により上式(1), (3)から相関度Ｃ_－１、Ｃ_＋１が計算されると、続いて、補正モード決定部１５７は、これらの値から補正モードを決定する（ステップＳ３）。具体的には、相関度Ｃ_－１、Ｃ_＋１が1である場合には、動きが少ない信号（あるいは静止信号）であると判断し、補正モードを前後補正に決定する。一方、相関度Ｃ_－１、Ｃ_＋１が0である場合には、動きの激しい信号であると判断し、補正モードを周辺補正に決定する。また、相関度Ｃ_－１、Ｃ_＋１が0と1の中間値である場合には、動画信号（例えば物体の移動を撮影した信号）であると判断する。そして、前後フレームの相関度Ｃ_－１、Ｃ_＋１の値をそのまま前後フレームの重み付け係数Ｗ_ｆ－１、Ｗ_ｆ＋１に設定するとともに、前後フレームの相関度Ｃ_－１、Ｃ_＋１の値を２から差し引いた値を当該フレームの重み付け係数Ｗ_ｆに設定する（ステップＳ４）。 When the correlation degrees C ₋₁ and C ₊₁ are calculated from the above equations (1) and (3) by the correlation degree calculation unit 156, the correction mode determination unit 157 subsequently determines the correction mode from these values ( Step S3). Specifically, when the correlation degrees C ₋₁ and C ₊₁ are 1, it is determined that the signal has little motion (or a static signal), and the correction mode is determined to be front-rear correction. On the other hand, when the correlation degrees C ₋₁ and C ₊₁ are 0, it is determined that the signal is intensely moving, and the correction mode is determined to be peripheral correction. If the correlation degrees C ₋₁ and C ₊₁ are intermediate values between 0 and 1, it is determined that the signal is a moving image signal (for example, a signal obtained by photographing the movement of an object). The correlation _C -1 of adjacent _frames, and sets the _C weighting factor directly before and after the frame the value of _{_{_{+1 W f-1, W f}}} + 1, from 2 values of correlation _C _{-1, C +1} before and after the frame a value obtained by subtracting set to the weighting factor W _f of the frame (step S4).

　補正モード決定部１５７が前後フレーム及び当該フレームの重み付け係数を決定すると、信号推定部１５４が、次式(4)から正常な信号の値を推定する（ステップＳ５）。そして、画像生成部１５５が、推定した信号値を用いて画像を生成し、表示部１７０の画面に表示する。

When the correction mode determination unit 157 determines the preceding and following frames and the weighting coefficient of the frame, the signal estimation unit 154 estimates a normal signal value from the following equation (4) (step S5). Then, the image generation unit 155 generates an image using the estimated signal value and displays it on the screen of the display unit 170.

　ここで、３種類の信号（静止体の撮像信号、移動体の撮像信号、及び発光体の撮像信号）について具体的な計算例を説明する。 Here, a specific calculation example will be described for three types of signals (an imaging signal of a stationary body, an imaging signal of a moving body, and an imaging signal of a light emitter).

　図１０に、静止信号（前後のフレームとの相関が大きい信号）の信号値の一例を示す。図１０(a)はＫ－１フレームの信号値（Ｘ番目の画素及び該画素に隣接する８つの画素（以下、「周辺画素」と呼ぶ。）における信号値のみを記載）、図１０(b)はＫフレームの信号値（網掛けの信号値“10”が本来得られるべき信号値）、図１０(c)はＫ＋１フレームの信号値である。 FIG. 10 shows an example of a signal value of a stationary signal (a signal having a large correlation with the preceding and following frames). FIG. 10A shows signal values of the K-1 frame (only signal values at the Xth pixel and eight pixels adjacent to the pixel (hereinafter referred to as “peripheral pixels”) are shown), FIG. ) Is the signal value of the K frame (the signal value from which the shaded signal value “10” should be originally obtained), and FIG. 10C is the signal value of the K + 1 frame.

　図１０に示す例では、前フレームの相関度Ｃ_－１（＝重み付け係数Ｗ_ｆ－１）＝1.00、後フレームの相関度Ｃ_＋１（＝重み付け係数Ｗｆ_＋１）＝1.00、となる。従って、補正モード決定部１５７により補正モードが前後補正に決定され、信号推定部１５４により前後フレームにおけるＸ番目の画素の信号値の平均から正常な信号の推定値10が求められる。この値は、対象画素において本来得られるべき値と一致する。仮に、この例で周辺平均により信号値を推定すると381となり、本来得られるべき信号値と乖離した値になってしまうが、実施例２の方法を用いることによって正しい値を推定することができる。 In the example shown in FIG. 10, the correlation degree C ₋₁ (= weighting coefficient W _f−1 ) = 1.00 for the previous frame and the correlation degree C _{+1 (} = weighting coefficient Wf ₊₁ ) = 1.00 for the subsequent frame. Therefore, the correction mode determination unit 157 determines the correction mode to be front / rear correction, and the signal estimation unit 154 obtains the estimated value 10 of the normal signal from the average of the signal values of the Xth pixel in the previous / next frame. This value matches the value that should be originally obtained in the target pixel. In this example, if the signal value is estimated by the peripheral average in this example, it becomes 381 and becomes a value that deviates from the signal value that should be originally obtained. However, the correct value can be estimated by using the method of the second embodiment.

　図１１に、移動体の撮像信号（右上から左下に向かって移動する物体を撮影した例であり、前後のフレームとの相関が中程度の信号）の信号値の一例を示す。図１１(a)はＫ－１フレームの信号値、図１１(b)はＫフレームの信号値（網掛けの信号値“1000”が本来得られるべき信号値）、図１１(c)はＫ＋１フレームの信号値である。この例では、前フレームの相関度Ｃ_－１（＝重み付け係数Ｗｆ_－１）＝0.94、後フレームの相関度Ｃ_＋１（＝重み付け係数Ｗ_ｆ＋１）＝0.76、となり、補正モード決定部１５７により前後補正と周辺補正の両方を用いる補正モードが決定され、当該フレームの重み付け係数Ｗ_ｆ＝0.30が計算される。そして、信号推定部１５４により正常な信号の推定値331が求められる。仮に、この例で周辺平均により信号値を推定すると243となる。従って、周辺平均を用いるよりも実施例２の方法を用いる方が本来得られるべき信号値に近くなることが分かる。 FIG. 11 shows an example of a signal value of an imaging signal of a moving body (an example in which an object moving from the upper right to the lower left is captured and a signal having a medium correlation with the preceding and following frames). FIG. 11A shows the signal value of the K−1 frame, FIG. 11B shows the signal value of the K frame (the signal value from which the shaded signal value “1000” should be originally obtained), and FIG. This is the signal value of the frame. In this example, the correlation degree C ₋₁ (= weighting coefficient Wf ₋₁ ) = 0.94 of the previous frame and the correlation degree C ₊₁ (= weighting coefficient W _{f + 1} ) = 0.76 of the previous frame, and the correction mode determination unit 157 corrects the front and back. And a correction mode using both the peripheral correction and the weighting coefficient W _f = 0.30 of the frame is calculated. Then, the signal estimation unit 154 obtains an estimated value 331 of a normal signal. If the signal value is estimated by the peripheral average in this example, it is 243. Therefore, it can be seen that the signal value to be originally obtained is closer to using the method of the second embodiment than using the peripheral average.

　図１２に、発光体の撮像信号（動きの激しい物体を撮影した例であり、前後のフレームとの相関がない例）を示す。図１２(a)はＫ－１フレームの信号値、図１２(b)はＫフレームの信号値（網掛けの信号値“1000”が本来得られるべき信号値）、図１２(c)はＫ＋１フレームの信号値である。この例では、前フレームの相関度Ｃ_－１（＝重み付け係数Ｗｆ_－１）＝0.00、後フレームの相関度Ｃ_＋１（＝重み付け係数Ｗ_ｆ＋１）＝0.00、となる。従って、補正モード決定部１５７により補正モードが周辺補正に決定され、信号推定部１５４により正常な信号の推定値875が求められる。 FIG. 12 shows an imaging signal of an illuminant (an example in which an object with rapid motion is captured and has no correlation with the preceding and following frames). 12A shows the signal value of the K-1 frame, FIG. 12B shows the signal value of the K frame (the signal value from which the shaded signal value “1000” should be originally obtained), and FIG. 12C shows the K + 1 frame value. This is the signal value of the frame. In this example, the correlation degree C ₋₁ (= weighting coefficient Wf ₋₁ ) = 0.00 of the previous frame and the correlation degree C ₊₁ (= weighting coefficient W _{f + 1} ) = 0.00 of the subsequent frame. Therefore, the correction mode determination unit 157 determines the correction mode to be peripheral correction, and the signal estimation unit 154 determines the normal signal estimated value 875.

　上述した３つの計算例から分かるように、実施例２の方法では、前後フレームと当該フレームの相関度に基づいて補正モードが決定され、正常な信号値が推定される。そのため、未熟な使用者であっても不適合信号を適切な値に補正処理することができる。 As can be seen from the three calculation examples described above, in the method of the second embodiment, the correction mode is determined based on the degree of correlation between the preceding and succeeding frames and the frame, and a normal signal value is estimated. Therefore, even an unskilled user can correct the nonconforming signal to an appropriate value.

　なお、上記例では、説明を容易にするため、相関度Ｃ_－１、Ｃ_＋１が1である場合に補正モードを前後補正に決定し、相関度Ｃ_－１、Ｃ_＋１が0である場合に動きの激しい信号であると判断し、補正モードを周辺補正に決定したが、補正モードを決定する基準とする相関度の値は適宜に設定すればよい。例えば、相関度が0.9以上の場合に前後補正を用い、0.1以上の場合に周辺補正を用いる等とすることができる。また、上述の例（補正モードを決定する基準値を1, 0とする場合）では、補正モード決定部１５７による補正モードの決定（ステップＳ３）をスキップし、重み付け係数を計算して正常な信号値を推定しても同じ結果が得られる。 In the above example, for ease of explanation, when the correlation degrees C ₋₁ and C ₊₁ are 1, the correction mode is determined to be front and rear correction, and when the correlation degrees C ₋₁ and C ₊₁ are 0. Although it is determined that the signal is intensely moving and the correction mode is determined to be peripheral correction, the correlation degree value used as a reference for determining the correction mode may be set as appropriate. For example, the front-rear correction can be used when the degree of correlation is 0.9 or higher, and the peripheral correction can be used when the correlation is 0.1 or higher. In the above example (when the reference value for determining the correction mode is set to 1 and 0), the correction mode determination unit 157 skips the determination of the correction mode (step S3), calculates the weighting coefficient, and calculates a normal signal. The same result can be obtained by estimating the value.

　また、上述した相関度の計算式も一例であり、撮影の対象物の特性（動きの特性や発色の程度等）や撮影条件（サンプリング間隔の長さ等）を考慮して、他の式から相関度を計算するようにしてもよい。以下に相関度の計算式の例に示す。 In addition, the above-described calculation formula for the degree of correlation is also an example, and other formulas are used in consideration of the characteristics of the object to be photographed (such as the characteristics of movement and the degree of color development) and the photographing conditions (such as the length of the sampling interval). The degree of correlation may be calculated. An example of the calculation formula for the correlation is shown below.

　式(5)は各画素の前後のフレームの信号値の差の二乗の値を用いるもの、式(6)は各画素の前後のフレームの信号値の差の絶対値を用いるもの、式(7)は正規化相互相関を用いるものである。上述した式(1), (3)では動きが少ないほど相関度の値が小さくなったが、式(5), (6)では動きが少ないほど相関度の値が小さくなる。なお、上式(5)～(7)を用いる場合には、それぞれ重み付け係数を正規化するための値（上記例における「２」に相当）を適宜に設定して正常な値を推定する。

Equation (5) uses the square value of the difference between the signal values of the frames before and after each pixel, Equation (6) uses the absolute value of the difference between the signal values of the frames before and after each pixel, Equation (7 ) Uses normalized cross-correlation. In equations (1) and (3) described above, the smaller the movement, the smaller the correlation value. In equations (5) and (6), the smaller the movement, the smaller the correlation value. When the above equations (5) to (7) are used, normal values are estimated by appropriately setting values for normalizing the weighting coefficients (corresponding to “2” in the above example).

　さらに、上述の例では、前後フレームの相関度Ｃ_－１、Ｃ_＋１をそのまま前後フレームの重み付け係数として用いたが、その他、前後フレームの相関度Ｃ_－１、Ｃ_＋１を二乗した値を重み付け係数とする等、種々の変更が可能である。 Furthermore, in the above-described example, the correlation degrees C ₋₁ and C ₊₁ of the preceding and following frames are used as they are as the weighting coefficients of the preceding and following frames, but other values obtained by squaring the correlation degrees C ₋₁ and C ₊₁ of the preceding and following frames Various modifications are possible.

　次に、本発明に係る固体撮像素子の駆動方法の一実施例について説明する。固体撮像素子１の構成は図１～３により説明したものと同じである。本実施例の駆動方法は駆動パルス信号の送信形態に特徴を有している。 Next, an embodiment of a solid-state image sensor driving method according to the present invention will be described. The configuration of the solid-state imaging device 1 is the same as that described with reference to FIGS. The driving method of this embodiment is characterized by the transmission form of the driving pulse signal.

　本実施例では、使用者により撮像開始が指示されると、撮像制御部５２は記憶部５１に記憶部５１に保存された記憶素子の不具合情報を読み出して不適合記憶素子を特定する。ここでは、ある画素１０に対応するＬ個の記憶素子のうちの３番目の記憶素子が不適合記憶素子である場合を例に説明する。記憶素子の不具合情報を読み出すと、撮像制御部５２は、図１４に示す駆動パルス信号の送信パターンを作成する。つまり、本実施例の駆動方法では、シフトレジスタＶＳＲ１へのクロック信号φＶＣＬＫ１にスキップ信号を追加することにより、予め不具合が発生していることが判明している記憶素子をスキップして画素１０からの出力信号を保持させる。また、撮像終了後にも同様に、撮像時にスキップした記憶素子をスキップしてそれ以外の記憶素子から順に信号を読み出す。 In this embodiment, when an instruction to start imaging is given by the user, the imaging control unit 52 reads out the defect information of the storage element stored in the storage unit 51 in the storage unit 51 and identifies the incompatible storage element. Here, a case where the third storage element among the L storage elements corresponding to a certain pixel 10 is an incompatible storage element will be described as an example. When the defect information of the storage element is read, the imaging control unit 52 creates a transmission pattern of the drive pulse signal shown in FIG. That is, in the driving method of this embodiment, by adding a skip signal to the clock signal φVCLK1 to the shift register VSR1, a memory element that has been found to have a problem in advance is skipped, and the pixel 10 Hold the output signal. Similarly, after the end of imaging, the memory elements skipped at the time of imaging are skipped, and signals are read in order from other memory elements.

　本実施例の駆動方法では、製造工程において不具合が発生していることが分かっている記憶素子や、前回の撮像時に正常な信号が読み出されなかった記憶素子を、撮像開始前に不適合素子として特定し、該記憶素子を除いた正常な記憶素子のみを用いて画素１０から出力される信号を保持する。そのため、記憶素子の不具合の影響のない撮像データを得ることができる。 In the driving method of the present embodiment, a storage element that is known to have a defect in the manufacturing process or a storage element from which a normal signal has not been read at the previous imaging is determined as an incompatible element before the start of imaging. The signal output from the pixel 10 is held using only the normal memory elements that are specified and excluding the memory element. Therefore, it is possible to obtain imaging data that is not affected by the malfunction of the storage element.

　上記実施例はいずれも一例であって本発明の趣旨に沿って適宜に変更することができる。画素の数や配置、記憶素子の数や配置はいずれも一例に過ぎず、他の構成の固体撮像素子についても上記同様の信号処理方法や駆動方法を用いることができる。例えば、上記実施例では各画素１０に独立に画素出力線４０を設けたが、複数の画素１０が１本の画素出力線を共有し、シフトレジスタ等によって順に接続する画素１０を切り替えるようにしても良い。 The above embodiments are merely examples, and can be modified as appropriate in accordance with the spirit of the present invention. The number and arrangement of pixels and the number and arrangement of storage elements are merely examples, and signal processing methods and driving methods similar to those described above can be used for solid-state imaging elements having other configurations. For example, in the above embodiment, the pixel output line 40 is provided independently for each pixel 10, but a plurality of pixels 10 share one pixel output line, and the pixels 10 to be sequentially connected are switched by a shift register or the like. Also good.

　上記実施例では格子状に画素が２次元配列された固体撮像素子を例に挙げたが、ハニカム状に画素が配列された固体撮像素子にも上記信号処理方法及び駆動方法を用いることができる。また、上記実施例の信号処理方法のうちの隣接フレームの信号を平均して正常な信号を推定するものや、上記実施例の駆動方法は、画素が１次元的に配列された固体撮像素子（曲線状やループ状に配列されたものを含む）についても用いることができる。また、上記実施例１～３を組み合わせて用いることも可能である。例えば、撮像開始前に不具合が確認されている記憶素子をスキップして撮像を行い（実施例３に相当）、さらに撮像終了後に読み出した信号の中に不適合信号（即ち、記憶素子からの読み出し過程で不具合が生じた信号）が含まれる場合に、該不適合信号に代わる正常な信号を推定する（実施例１及び２に相当）ことができる。 In the above embodiment, the solid-state imaging device in which the pixels are two-dimensionally arranged in a lattice shape is taken as an example, but the signal processing method and the driving method can also be used for the solid-state imaging device in which the pixels are arranged in a honeycomb shape. Further, of the signal processing methods of the above-described embodiment, the signals of the adjacent frames are averaged to estimate a normal signal, and the driving method of the above-described embodiment is a solid-state imaging device in which pixels are arranged one-dimensionally ( (Including those arranged in a curve or loop). It is also possible to use a combination of Examples 1 to 3 above. For example, imaging is performed by skipping a storage element that has been confirmed to be defective before the start of imaging (corresponding to the third embodiment), and a non-conforming signal (that is, a process of reading from the storage element) in the signal that is read after the end of imaging In this case, it is possible to estimate a normal signal instead of the nonconforming signal (corresponding to the first and second embodiments).

１…固体撮像素子
２…画素領域
３…記憶領域
４…垂直走査回路領域
５…水平走査回路領域
１０…画素
１１…フォトダイオード
１２…転送用トランジスタ
１３…リセット用トランジスタ
１４…フローティングディフュージョン
１５…バッファ用トランジスタ
１６…第１電流遮断用トランジスタ
１７…第１バイアス用トランジスタ
１８…第１コンデンサ
１９…第１サンプリング用トランジスタ
２０…第２サンプリング用トランジスタ
２１…第２コンデンサ
２２…ソースフォロア増幅用トランジスタ
２３…第２電流遮断用トランジスタ
２４…負荷電流源用トランジスタ
２５…出力制御用トランジスタ
３０…記憶ユニット
３１…書き込み用トランジスタ
３６…サンプリング用トランジスタ
３７…コンデンサ
３８…垂直読み出し用トランジスタ
３９…水平読み出し用トランジスタ
４０…画素出力線
５０、１５０…制御・信号処理部
５１、１５１…記憶部
５２、１５２…撮像制御部
５３、１５３…不適合信号特定部
５４、１５４…信号推定部
５５、１５５…画像生成部
１５６…相関度算出部
１５７…補正モード決定部
６０、１６０…入力部
７０、１７０…表示部 DESCRIPTION OF SYMBOLS 1 ... Solid-state image sensor 2 ... Pixel area 3 ... Memory area 4 ... Vertical scanning circuit area 5 ... Horizontal scanning circuit area 10 ... Pixel 11 ... Photodiode 12 ... Transfer transistor 13 ... Reset transistor 14 ... Floating diffusion 15 ... For buffers Transistor 16 ... first current cutoff transistor 17 ... first bias transistor 18 ... first capacitor 19 ... first sampling transistor 20 ... second sampling transistor 21 ... second capacitor 22 ... source follower amplification transistor 23 ... first 2 Current cut-off transistor 24 ... Load current source transistor 25 ... Output control transistor 30 ... Storage unit 31 ... Write transistor 36 ... Sampling transistor 37 ... Capacitor 38 ... Vertical read transistor 39 ... Water Read transistor 40 ...

pixel output lines

50 and 150 ... control /

signal processing parts

51 and 151 ...

storage parts

52 and 152 ... imaging

control parts

53 and 153 ... nonconforming

signal specifying parts

54 and 154 ... signal

estimation parts

55 and 155 ... images Generation unit 156 ... correlation degree calculation unit 157 ... correction

mode determination unit

60, 160 ...

input unit

70, 170 ... display unit

Claims

　互いに隣接して配置され、それぞれが受光した光の強度に応じた信号を出力する複数の画素と、
　前記複数の画素のそれぞれに対して所定の複数個設けられた記憶素子であって、前記複数の画素のそれぞれから出力される信号が順に保持される記憶素子と
　を有する固体撮像素子において、前記複数の画素にそれぞれ対応する前記複数個の記憶素子の一部又は全部から読み出された信号を処理する方法であって、
　前記記憶素子から読み出された信号の中から予め決められた条件に適合しない不適合信号を特定し、
　前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素において該不適合信号と対応する時間に取得された信号、及び／又は前記不適合信号が読み出された記憶素子に対応する画素において前記不適合信号と隣接する時間に取得された信号に基づいて正常な信号を推定する
　ことを特徴とする固体撮像素子の信号処理方法。 A plurality of pixels arranged adjacent to each other and each outputting a signal corresponding to the intensity of the received light;
A plurality of predetermined storage elements for each of the plurality of pixels, the storage elements sequentially holding signals output from the plurality of pixels; A method of processing signals read from a part or all of the plurality of storage elements respectively corresponding to the pixels;
A non-conforming signal that does not conform to a predetermined condition from among the signals read from the storage element;
A signal acquired at a time corresponding to the nonconforming signal in a pixel arranged adjacent to a pixel corresponding to the memory element from which the nonconforming signal is read, and / or a memory element from which the nonconforming signal is read A signal processing method for a solid-state imaging device, wherein a normal signal is estimated based on a signal acquired at a time adjacent to the nonconforming signal in a corresponding pixel.
　さらに、
　前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素について、該不適合信号と同じ時間に取得された信号と、該不適合信号と隣接する時間に取得された信号との間の相関度を求め、
　前記相関度に基づいて前記正常な信号を推定する方法を決定する
　ことを特徴とする請求項１に記載の固体撮像素子の信号処理方法。 further,
For a pixel arranged adjacent to a pixel corresponding to a storage element from which the nonconforming signal is read, a signal acquired at the same time as the nonconforming signal, and a signal acquired at a time adjacent to the nonconforming signal The degree of correlation between
The signal processing method for a solid-state imaging device according to claim 1, wherein a method for estimating the normal signal is determined based on the degree of correlation.
　前記相関度を用いて、前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素において該不適合信号と対応する時間に取得された信号を用いる処理と、前記不適合信号が読み出された記憶素子に対応する画素において前記不適合信号と隣接する時間に取得された信号を用いる処理に重み付けを加え、それら両方の処理を行って正常な信号を推定する
　ことを特徴とする請求項２に記載の固体撮像素子の信号処理方法。 Processing using a signal acquired at a time corresponding to the nonconforming signal in a pixel arranged adjacent to a pixel corresponding to the storage element from which the nonconforming signal is read using the correlation degree; and the nonconforming signal In the pixel corresponding to the storage element from which is read, weighting is applied to processing using the signal acquired at a time adjacent to the nonconforming signal, and both processing is performed to estimate a normal signal. The signal processing method of the solid-state image sensor of Claim 2.
　互いに隣接して配置され、それぞれが受光した光の強度に応じた信号を出力する複数の画素と、
　前記複数の画素のそれぞれに対して所定の複数個設けられた記憶素子であって、前記複数の画素のそれぞれから出力される信号が順に保持される記憶素子と
　を有する固体撮像素子において、前記複数の画素にそれぞれ対応する前記複数個の記憶素子の一部又は全部から読み出された信号を処理する装置であって、
　前記記憶素子から読み出された信号の中から予め決められた条件に適合しない不適合信号を特定する不適合信号特定部と、
　前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素において該不適合信号と対応する時間に取得された信号、及び／又は前記不適合信号が読み出された記憶素子に対応する画素において前記不適合信号と隣接する時間に取得された信号に基づいて正常な信号を推定する信号推定部と、
　を備えることを特徴とする信号処理装置。 A plurality of pixels arranged adjacent to each other and each outputting a signal corresponding to the intensity of the received light;
A plurality of predetermined storage elements for each of the plurality of pixels, the storage elements sequentially holding signals output from the plurality of pixels; A device for processing signals read from a part or all of the plurality of storage elements respectively corresponding to the pixels;
A nonconforming signal specifying unit that specifies a nonconforming signal that does not conform to a predetermined condition from among the signals read from the storage element;
A signal acquired at a time corresponding to the nonconforming signal in a pixel arranged adjacent to a pixel corresponding to the memory element from which the nonconforming signal is read, and / or a memory element from which the nonconforming signal is read A signal estimation unit that estimates a normal signal based on a signal acquired at a time adjacent to the nonconforming signal in a corresponding pixel;
A signal processing apparatus comprising:
　さらに、
　前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素について、該不適合信号と同じ時間に取得された信号と、該不適合信号と隣接する時間に取得された信号との間の相関度を求める相関度算出部
を備え、
　前記信号推定部が、前記相関度に基づいて前記正常な信号を推定する方法を決定する
　ことを特徴とする請求項４に記載の固体撮像素子の信号処理装置。 further,
For a pixel arranged adjacent to a pixel corresponding to a storage element from which the nonconforming signal is read, a signal acquired at the same time as the nonconforming signal, and a signal acquired at a time adjacent to the nonconforming signal A correlation degree calculation unit for obtaining a correlation degree between
The signal processing apparatus for a solid-state imaging device according to claim 4, wherein the signal estimation unit determines a method for estimating the normal signal based on the degree of correlation.
　前記相関度を用いて、前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素において該不適合信号と対応する時間に取得された信号を用いる処理と、前記不適合信号が読み出された記憶素子に対応する画素において前記不適合信号と隣接する時間に取得された信号を用いる処理に重み付けを加え、それら両方の処理を行って正常な信号を推定する
　ことを特徴とする請求項５に記載の信号処理装置。 Processing using a signal acquired at a time corresponding to the nonconforming signal in a pixel arranged adjacent to a pixel corresponding to the storage element from which the nonconforming signal is read using the correlation degree; and the nonconforming signal In the pixel corresponding to the storage element from which is read, weighting is applied to processing using the signal acquired at a time adjacent to the nonconforming signal, and both processing is performed to estimate a normal signal. The signal processing apparatus according to claim 5.
　それぞれが受光した光の強度に応じた信号を出力する１乃至複数の画素と、
　前記１乃至複数の画素のそれぞれに対して所定の複数個設けられた記憶素子と
　を有する固体撮像素子の駆動方法であって、
　前記１乃至複数の画素のそれぞれに対応する前記所定の複数個の記憶素子の中から予め決められた条件に適合しない不適合記憶素子を特定し、
　前記１乃至複数の画素のそれぞれについて、当該画素に対応付けられた所定の複数個の記憶素子の中から前記不適合記憶素子を除いた正常記憶素子を用いて当該画素から出力される信号を順に保持する
　ことを特徴とする固体撮像素子の駆動方法。 One or more pixels that each output a signal corresponding to the intensity of the received light;
A driving method of a solid-state imaging device having a predetermined plurality of storage elements for each of the one to a plurality of pixels,
Identifying a nonconforming memory element that does not conform to a predetermined condition from the predetermined plurality of memory elements corresponding to each of the one or more pixels;
For each of the one to a plurality of pixels, a signal output from the pixel is sequentially held using a normal storage element excluding the nonconforming storage element from a predetermined plurality of storage elements associated with the pixel. A method for driving a solid-state imaging device.