JP5094248B2

JP5094248B2 - Photoelectric conversion device driving method and imaging system

Info

Publication number: JP5094248B2
Application number: JP2007178393A
Authority: JP
Inventors: 高典渡邉
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-07-06
Filing date: 2007-07-06
Publication date: 2012-12-12
Anticipated expiration: 2027-07-06
Also published as: JP2009017363A

Description

本発明は、光電変換装置の駆動方法及び駆動システムに関するものである。 The present invention relates to a driving method and a driving system for a photoelectric conversion device.

近年、光電変換装置の進歩により、高画質で安価なデジタルカメラが普及している。特に画素内に能動素子（増幅素子）を持ち、周辺回路をオンチップ化できるＣＭＯＳセンサの性能向上はめざましく、一部ＣＣＤセンサを置き換えるに至っている。 In recent years, with the advancement of photoelectric conversion devices, high-quality and inexpensive digital cameras have become popular. In particular, the performance of a CMOS sensor having an active element (amplifying element) in a pixel and having a peripheral circuit on-chip is remarkably improved, and some CCD sensors have been replaced.

ＣＭＯＳセンサを用いて動画撮影を行なった場合、蛍光灯などの照明下で、蛍光灯の輝度変化の周波数とカメラの垂直同期周波数（撮像周波数）との違いによって、撮影出力の映像信号に時間的な明暗の変化、いわゆる蛍光灯フリッカが生じる。この問題に対して、特許文献１においては、このような固有の蛍光灯フリッカを抑制するために、フリッカ成分検出（または補正）のための画面上下の縞模様情報を、システムにて映像信号を時間積分することにより得ることとしている。
特開２００４‐２２２２２８号公報（図１６、図１７等） When taking a video using a CMOS sensor, the video signal of the photographic output is temporally affected by the difference between the luminance change frequency of the fluorescent lamp and the vertical synchronization frequency (imaging frequency) of the camera under illumination such as a fluorescent lamp. Changes in light and dark, so-called fluorescent flicker. With respect to this problem, in Patent Document 1, in order to suppress such inherent fluorescent lamp flicker, striped pattern information for flicker component detection (or correction) is displayed as a video signal in the system. It is supposed to be obtained by time integration.
Japanese Unexamined Patent Publication No. 2004-222228 (FIGS. 16, 17, etc.)

しかしながら特許文献１においては、積分値を算出するために処理時間が必要となり撮影画像をリアルタイムで補正できない、あるいは、ビューファインダ用モニタ表示のディレイが大きくなる。また、システム構成が複雑になりコストダウンや装置の小型化の弊害となるといった問題が考えられる。 However, in Patent Document 1, a processing time is required to calculate the integral value, and the captured image cannot be corrected in real time, or the delay in the viewfinder monitor display is increased. In addition, there is a problem that the system configuration becomes complicated, resulting in cost reduction and downsizing of the apparatus.

本発明はこのような課題に鑑み、システム構成を複雑化することなく、フリッカを抑制可能な駆動方法を提供することを目的とする。または、リアルタイムの画像信号処理に適したフリッカ情報を得ることを目的とする。本発明はこれらの少なくとも一方を達成することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a driving method that can suppress flicker without complicating the system configuration. Another object is to obtain flicker information suitable for real-time image signal processing. The present invention aims to achieve at least one of these.

本発明は、複数の画素を含む画素列を複数有し、
前記画素列ごともしくは複数の前記画素列ごとに設けられ、前記画素の信号が出力される第１の信号線と、
前記第１の信号線ごとに設けられ、対応する前記第１の信号線の信号を保持する信号保持部と、
複数の前記信号保持部で保持された信号が出力される第２の信号線と、
前記信号保持部ごとに設けられ、前記信号保持部と前記第２の信号線との導通を制御する第１のスイッチと、を有する光電変換装置の駆動方法であって、
複数の前記信号保持部に保持された信号を、前記第１のスイッチを順次導通させることにより読み出す第１のステップと、
前記第１のステップの後に、当該第１のステップにて信号が読み出された信号保持部に対応する複数の前記第１のスイッチを同時に導通させる第２のステップと、を有し、
前記第２のステップは、前記第１のステップの後に、前記第１のステップにおいて信号が読み出された信号保持部をリセットすることなく、前記第１のステップで読み出された後に前記複数の信号保持部に残存する信号を読み出すことを特徴とする。 The present invention has a plurality of pixel columns including a plurality of pixels,
A first signal line provided for each pixel column or each of the plurality of pixel columns and outputting a signal of the pixel;
A signal holding unit that is provided for each of the first signal lines and holds a signal of the corresponding first signal line;
A second signal line for outputting a signal held by the plurality of signal holding units;
A method for driving a photoelectric conversion device, comprising: a first switch that is provided for each signal holding unit and that controls conduction between the signal holding unit and the second signal line,
A first step of reading signals held in a plurality of the signal holding units by sequentially turning on the first switch;
After the first step, there is a second step of simultaneously turning on the plurality of first switches corresponding to the signal holding unit from which the signal is read out in the first step,
In the second step, after the first step, the signal holding unit from which the signal is read in the first step is not reset , and then the plurality of the plurality of the second steps are read after the first step is read. A signal remaining in the signal holding unit is read out.

本発明によれば、簡易な構成でフリッカを検出することが可能となる。 According to the present invention, flicker can be detected with a simple configuration.

（第１の実施形態）
図１は第１の実施形態による光電変換装置の概略図である。１０１はそれぞれが光電変換素子および光電変換素子で生成した電荷に基づく信号を読み出すための画素回路を持つ画素である。画素が行列状に配列され、複数の画素を含む画素列１００１を複数有する構成となっている。 (First embodiment)
FIG. 1 is a schematic diagram of a photoelectric conversion apparatus according to the first embodiment. Reference numeral 101 denotes a pixel having a pixel circuit for reading out a photoelectric conversion element and a signal based on a charge generated by the photoelectric conversion element. Pixels are arranged in a matrix and have a plurality of pixel columns 1001 including a plurality of pixels.

１０２は垂直信号線（第１の信号線）であり、上述した画素列ごともしくは複数の画素列ごとに設けられている。対応する画素列に含まれる画素の信号が出力される。また第１の信号線１０２と、定電流回路１０３および画素回路に含まれるトランジスタ（不図示）によりソースフォロワ回路を構成し、各光電変換素子に入射した光量に応じた信号を増幅（インピーダンス変換）する。その後、第１の信号線の信号は列アンプ１０４に入力される。 Reference numeral 102 denotes a vertical signal line (first signal line), which is provided for each pixel column or a plurality of pixel columns described above. A signal of a pixel included in the corresponding pixel column is output. A source follower circuit is configured by the first signal line 102, the constant current circuit 103, and a transistor (not shown) included in the pixel circuit, and a signal corresponding to the amount of light incident on each photoelectric conversion element is amplified (impedance conversion). To do. Thereafter, the signal of the first signal line is input to the column amplifier 104.

列アンプ１０４の出力はスイッチ１０５を介してラインメモリ（信号保持部）１０６に保持される。信号保持部１０６は、各第１の信号線に対応して設けられ、対応する第１の信号線の信号を保持する。信号保持部１０６のそれぞれに含まれる容量は、信号転送スイッチ（第１のスイッチ）１０７〜１１０を介して、出力チャネル線（第２の信号線）１１１に接続されている。つまり、第１のスイッチ１０７〜１１０により、信号保持部と第２の信号線との導通が制御され、第２の信号線に信号保持部で保持された信号が出力される。 The output of the column amplifier 104 is held in the line memory (signal holding unit) 106 via the switch 105. The signal holding unit 106 is provided corresponding to each first signal line, and holds the signal of the corresponding first signal line. Capacitors included in each of the signal holding units 106 are connected to an output channel line (second signal line) 111 via signal transfer switches (first switches) 107 to 110. That is, the first switches 107 to 110 control conduction between the signal holding unit and the second signal line, and the signal held by the signal holding unit is output to the second signal line.

第２の信号線１１１はリセットスイッチ（第２のスイッチ）１１４を介してリセット電源１１５に接続されている。リセットスイッチによりリセット電源からリセット電圧が供給される。第２の信号線１１１の信号は出力アンプ１１２に入力され、出力アンプ１１２の出力部１１３は、不図示の出力パッドに引き出され、次段の信号処理システムに出力される。あるいは、信号処理システムは光電変換装置中にオンチップ化されていても良い。 The second signal line 111 is connected to a reset power source 115 via a reset switch (second switch) 114. A reset voltage is supplied from the reset power supply by the reset switch. The signal of the second signal line 111 is input to the output amplifier 112, and the output unit 113 of the output amplifier 112 is extracted to an output pad (not shown) and output to the next-stage signal processing system. Alternatively, the signal processing system may be on-chip in the photoelectric conversion device.

図２は光電変換装置の駆動パルスの概略図である。Ｐ１０７〜Ｐ１１０はそれぞれ第１のスイッチ１０７〜１１０のゲートに入力するパルスを示している。Ｐ１１４は第２のスイッチ１１４に入力するパルスを示している。これらスイッチはＨｉｇｈで活性化され導通する。 FIG. 2 is a schematic diagram of driving pulses of the photoelectric conversion device. P107 to P110 indicate pulses input to the gates of the first switches 107 to 110, respectively. P114 indicates a pulse input to the second switch 114. These switches are activated and become conductive.

Ｖ１１３は出力部１１３の信号を示しており、Ｖ１１３の各時刻における信号Ｖ１０７〜Ｖ１１０はパルスＰ１０７〜Ｐ１１０にて選択され読み出された信号に対応する出力である。Ｖ１０７〜Ｖ１１０は画像を形成するための信号読み出しの水平走査を意味しており、第１のスイッチ１０７〜１１０を順次導通させることにより信号保持部１０６に保持された信号電荷を容量分割により第２の信号線１１１に時系列的に読み出している。つまり、複数の信号保持部に保持された信号を、第１のスイッチを順次導通させることにより読み出している（第１のステップ）ともいえる。容量分割後、信号保持部１０６および第２の信号線１１１の信号振幅レベルＶｃｈは、信号保持部１０６に最初に保持された信号振幅をＶｃｔ、信号保持部１０６に含まれる容量の容量値をＣｔ、第２の出力線の容量をＣｈとした場合、次式で表現できる。 V113 indicates a signal of the output unit 113, and signals V107 to V110 at each time of V113 are outputs corresponding to the signals selected and read by the pulses P107 to P110. V107 to V110 mean horizontal scanning of signal readout for forming an image, and the signal charges held in the signal holding unit 106 are sequentially divided by capacitively dividing the first switches 107 to 110 by second capacitance. Are read out in time series. That is, it can be said that the signals held in the plurality of signal holding units are read by sequentially turning on the first switch (first step). After the capacitance division, the signal amplitude level Vch of the signal holding unit 106 and the second signal line 111 is the signal amplitude first held in the signal holding unit 106 as Vct, and the capacitance value of the capacitance included in the signal holding unit 106 as Ct. When the capacitance of the second output line is Ch, it can be expressed by the following equation.

本実施形態においては第１のスイッチ１０７〜１１０を非導通とした後に第２の信号線１１１を第２のスイッチ１１４にてリセットしている。そのため、第２の出力線１１１の信号はリセットされるが、電荷保持部１０６には式１で記述される信号が残存する。Ｖｓｕｍの出力は、水平走査を行なった後に、第１のスイッチ１０７〜１１０を同時に導通させる（第２のステップ）ことで第２の出力線１１１にて水平方向の平均化信号を生成することにより実現することができる。ここで同時に導通させる第１のスイッチの数はいくつでもよく、全てを導通させてもよいし、複数の第１のスイッチの一部を導通させてもよい。 In the present embodiment, the second signal line 111 is reset by the second switch 114 after the first switches 107 to 110 are turned off. For this reason, the signal of the second output line 111 is reset, but the signal described in Expression 1 remains in the charge holding unit 106. The output of Vsum is generated by generating a horizontal average signal on the second output line 111 by conducting the first switches 107 to 110 simultaneously after performing horizontal scanning (second step). Can be realized. Here, the number of first switches to be conducted simultaneously may be any number, all may be conducted, or some of the plurality of first switches may be conducted.

Ｖｓｕｍは水平方向の平均化信号であり、画像の水平方向の解像度を持たない信号ともいえる。同一の第２の信号線に接続された第１のスイッチのうち同時に導通させるスイッチ数をＮとした場合、Ｖｓｕｍは次式で表現できる。 Vsum is an averaged signal in the horizontal direction, and can be said to be a signal having no horizontal resolution of the image. Vsum can be expressed by the following equation, where N is the number of first switches connected to the same second signal line that are simultaneously turned on.

Ｖｓｕｍ信号はフリッカ成分検出（または補正）のための画面上下の縞模様情報として利用することができる。なお、式２では説明の簡略化のため全てのＣｔに同じ信号振幅が保持されている仮定で式を立てたが、現実には１行ごとにＶｃｔの値が異なる。また、式２はＮ×Ｃｔ＞＞Ｃｈである場合にはＶｓｕｍ≒Ｖｃｈとなる。本実施形態においては、Ｖｓｕｍ信号を出力した後、第１のスイッチ１０７〜１１０を導通させた状態で第２の信号線１１１をリセットすることにより、信号保持部１０６についてもリセットすることが可能である。具体的には上述の第２のステップの後に、前記第１のスイッチ及び前記第２のスイッチを導通させることにより信号保持部をリセットしている。これにより次の水平期間の読み出しに向けた準備を速やかに行なうことができ、水平走査期間の短縮を図ることができる。 The Vsum signal can be used as stripe pattern information at the top and bottom of the screen for flicker component detection (or correction). In Equation 2, for the sake of simplification of description, the equation is set on the assumption that the same signal amplitude is held in all Ct, but in reality, the value of Vct differs for each row. Further, in the expression 2, when N × Ct >> Ch, Vsum≈Vch. In the present embodiment, after the Vsum signal is output, the signal holding unit 106 can also be reset by resetting the second signal line 111 while the first switches 107 to 110 are turned on. is there. Specifically, after the second step described above, the signal holding unit is reset by turning on the first switch and the second switch. As a result, preparations for reading in the next horizontal period can be made quickly, and the horizontal scanning period can be shortened.

通常であれば、水平走査期間とは、水平走査、信号保持部１０６と第２の信号線１１１のリセットを行なう期間を合わせた期間を意味する。しかし、本実施形態においては、一水平走査期間中に更に平均化信号の読み出し（第２のステップ）を行なっていることを特徴としている。 Normally, the horizontal scanning period means a period in which horizontal scanning and a period for resetting the signal holding unit 106 and the second signal line 111 are combined. However, this embodiment is characterized in that the averaged signal is further read (second step) during one horizontal scanning period.

本実施形態による光電変換装置の駆動方法によれば、撮像システムを複雑化させることなく水平走査後に簡単かつ速やかに水平方向の平均化信号を読みだすことが可能となる。上述したようにフリッカは蛍光灯の輝度変化の周波数とカメラの撮像周波数との違いによって発生するため、複数行の平均化信号を用いればフリッカを検出することが可能となる。本実施形態によればこのような平均化信号を次段の処理部へ容易に出力し提供することが可能となる。 According to the method for driving the photoelectric conversion apparatus according to the present embodiment, it is possible to read out the horizontal average signal easily and quickly after horizontal scanning without complicating the imaging system. As described above, flicker occurs due to the difference between the luminance change frequency of the fluorescent lamp and the imaging frequency of the camera. Therefore, flicker can be detected by using a plurality of rows of averaged signals. According to the present embodiment, it is possible to easily output and provide such an averaged signal to the processing unit at the next stage.

また、リアルタイムのフリッカ補正を短時間で行なうための信号を出力することができ、これにより、液晶モニタ表示のディレイを小さくすることも可能となる。 Further, it is possible to output a signal for performing real-time flicker correction in a short time, thereby reducing the delay of the liquid crystal monitor display.

また、本実施形態によれば、水平方向の平均化信号を生成するためのラインメモリ等を新たに設ける必要がなく、読み出し経路も通常の画像信号と同様の経路を流用することが可能である。これにより低コストにてフリッカ補正用の信号を出力することが可能である。また本実施形態の光電変換装置を用いた撮像システムとして考えた場合にも、光電変換装置の駆動のみによりフリッカ検出用の信号を出力することができ、追加の構成も必要としないためシステムの小型化を実現することが可能である。 Further, according to the present embodiment, there is no need to newly provide a line memory or the like for generating a horizontal averaged signal, and the reading path can be diverted to a path similar to a normal image signal. . As a result, it is possible to output a flicker correction signal at a low cost. Further, when considered as an imaging system using the photoelectric conversion device of the present embodiment, a flicker detection signal can be output only by driving the photoelectric conversion device, and an additional configuration is not required, so the system can be downsized. Can be realized.

また、本実施形態における光電変換装置の駆動方法によれば、読み出し経路を増やすことなく、画像水平方向の平均化信号を出力することが可能である。すなわち、専用の出力パッドや、検査、調整の対象となるアンプの増加を伴わない。それによりコストアップやチップサイズ増大というトレードオフなしに水平方向の平均化信号を得ることができる。 Further, according to the driving method of the photoelectric conversion device in the present embodiment, it is possible to output an average signal in the horizontal direction of the image without increasing the readout path. That is, there is no increase in the number of dedicated output pads or amplifiers to be inspected and adjusted. As a result, an averaged signal in the horizontal direction can be obtained without a trade-off of cost increase or chip size increase.

（第２の実施形態）
本実施形態において第１の実施形態と比較して特徴となるのは、平均化信号の読み出しを数行毎に間引いて行なっている点である。例えば図１中の画素１０１ａを含む画素行と画素１０１ｃを含む画素行とを読み出す水平走査後に平均化信号の読み出しを行なう。そして、画素１０１ｂ、１０１ｄを含む画素行を読み出す水平走査後には平均化信号の読み出しは行なわない。フリッカ検出信号は垂直方向において、高い解像度を持つことは必須では無いため、データを間引いて処理することにより読み出しや処理の高速化が行なえる。さらに、カラーフィルタがオンチップとなったセンサにおいて、ｍ（２の倍数）画素（行）周期で平均化信号を読み出すことで、平均化する色を限定することができる。例えばベイヤー配列のカラーフィルタの場合、Ｒ、Ｇ１、Ｇ２、Ｂの４種類の色プレーンを持つが、本実施例の駆動によればＲとＧ１の平均のみ、つまり同色の信号を平均化信号として出力することが可能である。これによりフリッカ検出信号を、より検出しやすい波長領域で行なうことが可能である。 (Second Embodiment)
The present embodiment is characterized in that the averaged signal is read out every several rows in comparison with the first embodiment. For example, the average signal is read after horizontal scanning for reading the pixel row including the pixel 101a and the pixel row including the pixel 101c in FIG. The average signal is not read after the horizontal scanning for reading the pixel rows including the pixels 101b and 101d. Since it is not essential that the flicker detection signal has a high resolution in the vertical direction, reading and processing can be speeded up by thinning out the data. Furthermore, in the sensor in which the color filter is on-chip, the averaged color can be limited by reading the averaged signal at m (a multiple of 2) pixel (row) period. For example, a Bayer color filter has four color planes R, G1, G2, and B. According to the driving of this embodiment, only the average of R and G1, that is, a signal of the same color is used as an average signal. It is possible to output. As a result, the flicker detection signal can be performed in a wavelength region that is easier to detect.

（第３の実施形態）
図３は第３の実施形態による光電変換装置の説明図である。図中の番号は図１と同様である。本実施形態では第２の出力線１１１が１１１と１１１‘の２本に分割されており、奇数画素列と偶数画素列で異なる出力経路になっている。それぞれの信号は出力部１１３、１１３’に出力される。 (Third embodiment)
FIG. 3 is an explanatory diagram of a photoelectric conversion apparatus according to the third embodiment. The numbers in the figure are the same as in FIG. In the present embodiment, the second output line 111 is divided into two lines 111 and 111 ′, and the output paths are different between the odd pixel column and the even pixel column. The respective signals are output to the output units 113 and 113 ′.

図４は本実施形態の駆動パルスの概略図である。本実施形態では第１のスイッチ１０７と１０８を同時に導通させることが可能である。このように第２の出力線を分割して実質的に出力線の数を増やしたことにより同時刻に読み出すことが可能な信号を増やすことができ、水平走査における信号読み出しを高速化できる。 FIG. 4 is a schematic diagram of drive pulses according to the present embodiment. In this embodiment, the first switches 107 and 108 can be turned on simultaneously. Thus, by dividing the second output line and substantially increasing the number of output lines, the number of signals that can be read out at the same time can be increased, and the signal readout in horizontal scanning can be speeded up.

本実施形態では水平方向の信号の平均化は分割された分割出力線毎に行なわれ、図４のＶｓｕｍ、Ｖｓｕｍ‘のように並行して出力することができる。第２の出力線の分割数ｎは任意である。特に分割数ｎが２の倍数である場合、カラーフィルタがオンチップとなったセンサにおいて、平均化する色を限定することができる。例えばベイヤー配列のカラーフィルタの場合、Ｒ、Ｇ１、Ｇ２、Ｂの４種類の色プレーンを持つが、本実施例によればＲとＧ２のみを平均化信号として出力することが可能である。さらには、第２の実施形態と合わせて、ｎ×ｍ画素毎の信号の平均化を行なうことができる。この場合には、特定の色プレーンの信号を出力することができる。また、分割された出力線毎に特定の色プレーンのみの信号が出力されるため、任意の色を選択してフリッカ検出信号を検出し、より検出精度の高い波長領域でフリッカ検出を行なうことも可能である。 In the present embodiment, horizontal signal averaging is performed for each divided output line, and the signals can be output in parallel as Vsum and Vsum ′ in FIG. The division number n of the second output line is arbitrary. In particular, when the division number n is a multiple of 2, the color to be averaged can be limited in the sensor in which the color filter is on-chip. For example, a Bayer color filter has four color planes R, G1, G2, and B. According to this embodiment, only R and G2 can be output as an average signal. Further, in combination with the second embodiment, it is possible to perform averaging of signals for every n × m pixels. In this case, a signal of a specific color plane can be output. In addition, since a signal of only a specific color plane is output for each divided output line, an arbitrary color can be selected to detect a flicker detection signal, and flicker detection can be performed in a wavelength region with higher detection accuracy. Is possible.

（第４の実施形態）
図５は第４の実施形態による撮像システムのブロック図である。５０１が光電変換装置であり、上述の実施形態で説明したものを用いることが可能である。５０２がフリッカ検出部である。光電変換装置５０１からの信号に基づいて、撮像した信号にフリッカが混入されているか否かを判断可能である。５０３は画像生成部であり、光電変換装置５０１からの信号を元に画像を生成する。また画像生成部５０３には、フリッカ検出部５０２からの信号が供給されており、この供給信号に基づいてフリッカが抑制された画像を生成することが可能となる。５０４は画像表示部であり、画像生成部５０３により生成された画像を表示する液晶モニタなどである。フリッカ検出部５０２及び画像生成部５０３は個別の回路部もしくは別のデバイスとしてもうけてもよいし、単一の信号処理部５０５の中に含まれていてもよい。 (Fourth embodiment)
FIG. 5 is a block diagram of an imaging system according to the fourth embodiment. Reference numeral 501 denotes a photoelectric conversion device, and the one described in the above embodiment can be used. Reference numeral 502 denotes a flicker detection unit. Based on the signal from the photoelectric conversion device 501, it can be determined whether or not flicker is mixed in the imaged signal. An image generation unit 503 generates an image based on a signal from the photoelectric conversion device 501. In addition, the image generation unit 503 is supplied with a signal from the flicker detection unit 502, and an image in which flicker is suppressed can be generated based on the supply signal. Reference numeral 504 denotes an image display unit such as a liquid crystal monitor that displays an image generated by the image generation unit 503. The flicker detection unit 502 and the image generation unit 503 may be provided as individual circuit units or separate devices, or may be included in a single signal processing unit 505.

次に本実施形態の撮像システムにおける信号の伝播を詳細に説明する。６０１が画素領域であり、複数の画素が配されている。これは光電変換装置に含まれている。６０２が第１の信号保持部であり、画素領域で生成した信号を保持する。この第１の信号保持部６０２には複数の画素に対応した容量が複数設けられている。例えば、上述した実施形態における信号保持部を用いることができる。複数の画素が配された画素領域６０１から出力された信号は第１の信号保持部６０２で一旦保持される。例えば、上述した第１〜第３の実施形態で述べた方法により画素からの信号が第１の信号保持部６０２に保持され、水平走査により画像信号として出力される。その後、第１の信号保持部６０２に含まれる複数の容量に保持された信号を平均化することにより複数の信号の平均化信号を取得する。この平均化信号を第２の信号保持部６０３に１フィールド期間にわたって保持する。次のフレーム（または、時刻の近い異なるフレーム）にて、同様に第１の信号保持部６０２から出力される水平方向の平均化信号と第２の信号保持部６０３に保持された信号を、垂直方向のアドレスが同じ信号どうしで、逐次差分する。これにより、フリッカ検出信号を得ることができる。つまり、第１の平均化信号を１フィールド期間保持し、この１フィールド期間経過後の第１の平均化信号を得た同一の画素からの信号により得られる第２の平均化信号とを差分処理することによりフリッカを検出している。ここでは第２の信号保持部６０３及び差分回路６０４が上述した図５のフリッカ検出部５０２に含まれることとなる。 Next, signal propagation in the imaging system of the present embodiment will be described in detail. Reference numeral 601 denotes a pixel region in which a plurality of pixels are arranged. This is included in the photoelectric conversion device. Reference numeral 602 denotes a first signal holding unit that holds a signal generated in the pixel region. The first signal holding unit 602 is provided with a plurality of capacitors corresponding to a plurality of pixels. For example, the signal holding unit in the above-described embodiment can be used. A signal output from the pixel region 601 in which a plurality of pixels are arranged is temporarily held by the first signal holding unit 602. For example, a signal from a pixel is held in the first signal holding unit 602 by the method described in the first to third embodiments, and is output as an image signal by horizontal scanning. Thereafter, an average signal of the plurality of signals is obtained by averaging the signals held in the plurality of capacitors included in the first signal holding unit 602. This averaged signal is held in the second signal holding unit 603 for one field period. Similarly, in the next frame (or a frame having a different time), the horizontal average signal output from the first signal holding unit 602 and the signal held in the second signal holding unit 603 are Differences are sequentially made between signals having the same direction address. Thereby, a flicker detection signal can be obtained. That is, the first averaged signal is held for one field period, and the second averaged signal obtained from the signal from the same pixel that has obtained the first averaged signal after the lapse of the one field period is subjected to differential processing. By doing so, flicker is detected. Here, the second signal holding unit 603 and the difference circuit 604 are included in the flicker detection unit 502 of FIG. 5 described above.

本実施形態では、時刻の異なる２つのフレーム間の信号を差分処理することによりフリッカ検出信号を得ることができる。この場合、被写体の垂直方向の模様の影響を相殺することができる。すなわち、被写体の模様によらず、時刻による光源の変化を検知することができる。具体的には、２つのフレーム間の水平方向画像の平均化信号の差分を時間周波数でフーリエ変換し、交流電源の周波数（５０Ｈｚまたは６０Ｈｚ）である成分に対して判定値を設けることによりフリッカの有無やフリッカの周波数を検出することが可能である。また、フリッカの周波数が判明することにより、フリッカの位相情報もフリッカ検出信号から検出することができる。 In the present embodiment, a flicker detection signal can be obtained by differentially processing a signal between two frames having different times. In this case, the influence of the vertical pattern of the subject can be offset. That is, it is possible to detect a change in the light source with time regardless of the pattern of the subject. Specifically, the difference between the averaged signals of the horizontal images between two frames is Fourier-transformed in terms of time frequency, and a determination value is provided for the component that is the frequency of the AC power supply (50 Hz or 60 Hz). Presence / absence and flicker frequency can be detected. In addition, by determining the flicker frequency, the flicker phase information can also be detected from the flicker detection signal.

（第５の実施形態）
図６は第５の実施形態による撮像システムのブロック図である。図５と同様の機能を有するものには同様の符号を付し詳細な説明は省略する。本実施形態の撮像システムの特徴を、第４の実施形態と比較して説明する。本実施形態では、更に第３の信号保持部７０１を有している。 (Fifth embodiment)
FIG. 6 is a block diagram of an imaging system according to the fifth embodiment. Components having functions similar to those in FIG. 5 are denoted by the same reference numerals, and detailed description thereof is omitted. The characteristics of the imaging system of the present embodiment will be described in comparison with the fourth embodiment. In the present embodiment, a third signal holding unit 701 is further provided.

このような構成により、水平走査ごとの平均化信号を異なる２つのフィールド期間にわたり、第２および第３の信号保持部に保持し、これらの信号を同じ垂直方向のアドレスどうしで差分することにより、フリッカ検出信号を得ている。本実施形態では、時刻の異なる２つのフレーム間の信号を差分処理することによりフリッカ検出信号を得るため、被写体の垂直方向の模様の影響を相殺することができる。さらに加えて、本実施形態では、画素領域の駆動のタイミングによらず、システムの要求に応じて任意の時刻にフリッカ検出信号を出力することが可能となる。 With such a configuration, the averaged signal for each horizontal scan is held in the second and third signal holding units over two different field periods, and these signals are differentiated between addresses in the same vertical direction. A flicker detection signal is obtained. In the present embodiment, since the flicker detection signal is obtained by differentially processing the signal between two frames having different times, the influence of the pattern in the vertical direction of the subject can be offset. In addition, in the present embodiment, it is possible to output a flicker detection signal at an arbitrary time according to a system requirement, regardless of the timing of driving the pixel region.

（第６の実施形態）
図８は第６の実施形態による光電変換装置の概略図である。図中の番号は図１と同様の機能を有するものには同様の番号を付し詳細な説明は省略する。本実施例にて特徴的なことは、第２の出力線１１１にスイッチ１１６を介して付加容量１１７が接続されている点である。 (Sixth embodiment)
FIG. 8 is a schematic diagram of a photoelectric conversion apparatus according to the sixth embodiment. Numbers in the figure have the same functions as those in FIG. 1, and detailed descriptions thereof are omitted. What is characteristic in this embodiment is that an additional capacitor 117 is connected to the second output line 111 via a switch 116.

本実施形態による光電変換装置の駆動パルスを図９にて説明する。図中の番号は図２と同様である。Ｐ１１６はスイッチ１１６のゲートのパルスを示している。Ｔ１は通常の画像信号を読み出す行の水平走査期間を示し、Ｔ２は通常の画像信号を読み出さず、平均化信号のみを読み出す水平走査期間を示している。平均化信号を得るための画素行においては画像信号を読み出すことなく複数の信号保持部の信号が読み出される。したがって、通常の画像信号の振幅に比べ、信号の振幅が大きくなりすぎることに対して対策を行なっている。信号の振幅が大きすぎる場合、読み出し回路や後段の処理回路のダイナミックレンジを越えてしまうと平均化信号を正しく読み出せなくなる。本実施形態による光電変換装置の駆動方法によれば、画像信号を読み出す際に平均化信号の読み出し時のゲインが可変であるため平均化信号の振幅をダイナミックレンジ内に圧縮することができる。具体的な一例として、図８、９に示したように第２の出力線１１１に付加容量１１７を接続することによりゲインを下げる構成である。平均化信号を読み出す際にスイッチ１１６を導通させることにより、第２の出力線の容量を増やすことにより上述した容量分割比をさげることによりゲインを下げている。 The drive pulses of the photoelectric conversion apparatus according to the present embodiment will be described with reference to FIG. The numbers in the figure are the same as in FIG. P116 indicates a pulse of the gate of the switch 116. T1 represents a horizontal scanning period of a row for reading a normal image signal, and T2 represents a horizontal scanning period for reading only an average signal without reading a normal image signal. In the pixel row for obtaining the averaged signal, the signals of the plurality of signal holding units are read without reading the image signal. Therefore, measures are taken against the signal amplitude becoming too large compared to the amplitude of a normal image signal. If the amplitude of the signal is too large, the averaged signal cannot be read correctly if it exceeds the dynamic range of the reading circuit or the processing circuit at the subsequent stage. According to the driving method of the photoelectric conversion apparatus according to the present embodiment, when the image signal is read, the gain at the time of reading the average signal is variable, so that the amplitude of the average signal can be compressed within the dynamic range. As a specific example, as shown in FIGS. 8 and 9, the gain is lowered by connecting the additional capacitor 117 to the second output line 111. When the average signal is read, the switch 116 is turned on to increase the capacitance of the second output line, thereby reducing the above-described capacitance division ratio, thereby reducing the gain.

本実施形態の思想はこの回路形式に限定されるものではなく、列アンプやメインアンプのゲインを可変にして行なうことも可能である。しかし信号の出力経路途中の各部での振幅を、画像信号の読み出し時と水平方向画像の平均化信号の間で揃えた場合が最も好ましいゲインのバランスであることを考えると、本実施による回路構成は好ましいものである。 The idea of the present embodiment is not limited to this circuit format, and can be performed with variable gains of column amplifiers and main amplifiers. However, considering that the best balance of gain is when the amplitude at each part of the output path of the signal is aligned between the readout of the image signal and the averaged signal of the horizontal image, the circuit configuration according to this embodiment Is preferred.

以上詳細に本発明に関して説明してきたが、本発明はこれら実施形態に限定されるものではなく、発明の要旨を超えない範囲で適宜変更、組み合わせが可能である。 Although the present invention has been described in detail above, the present invention is not limited to these embodiments, and can be appropriately changed and combined within a scope not exceeding the gist of the invention.

例えば、フリッカ検出信号の取得方法においては、特定の画素行において画像信号を取得するための水平走査を行なわない場合でも、平均化信号の生成が可能である。すなわち、信号保持部１０６に保持された信号電荷を容量分割により第２の出力線１１１に時系列的に読み出すこと無く、信号転送スイッチ１０７〜１１０を同時に導通させることにより第２の信号線１１１にて水平方向の平均化信号を生成することも可能である。この動作を行なう行においては水平走査による画像信号を取得することができなくなるが、間引き走査することによって読み出さない行において行なえばよい。間引き読み出しによる二次元画像の取得と、フリッカ検出信号の取得を両立することが可能である。 For example, in the flicker detection signal acquisition method, an average signal can be generated even when horizontal scanning for acquiring an image signal in a specific pixel row is not performed. In other words, the signal charges held in the signal holding unit 106 are not read out to the second output line 111 in time series by capacity division, and the signal transfer switches 107 to 110 are simultaneously turned on to cause the second signal line 111 to be turned on. It is also possible to generate an averaged signal in the horizontal direction. In a row where this operation is performed, it becomes impossible to acquire an image signal by horizontal scanning, but it may be performed in a row which is not read out by thinning scanning. It is possible to achieve both acquisition of a two-dimensional image by thinning readout and acquisition of a flicker detection signal.

またスイッチを同時に導通させる動作は、導通動作全てが同時（開始から終了まで全てが同一期間）でなくてもその一部が同時に行なわれていればよい。 In addition, the operation for simultaneously conducting the switches may be performed at the same time even if the conduction operations are not all simultaneous (all from the start to the end are the same period).

また平均化信号を、フリッカを検出するための信号として用いるためには、少なくとも同一時間露光された複数の画素信号の平均化信号を複数出力すればよい。つまり、第１の露光時間により生成された複数の画素の信号を平均化することにより得られる第１の平均化信号と第２の露光時間により生成された複数の画素の信号を平均化することにより得られる第２の平均化信号とを少なくとも出力することができればよい。その一具体例として、第１から第３の実施形態のような駆動方法により得られる平均化信号を用いることができる。このような平均化信号を用いて図５などで説明した撮像システムによりフリッカを検出することが可能である。この場合には異なるフレームにおける同一行の平均化信号を用いてもよいし、同一フレームにおいて異なる行の平均化信号を用いてもよい。 In order to use the average signal as a signal for detecting flicker, a plurality of average signals of a plurality of pixel signals exposed at least for the same time may be output. That is, averaging the first average signal obtained by averaging the signals of the plurality of pixels generated by the first exposure time and the signals of the plurality of pixels generated by the second exposure time. It is sufficient that at least the second averaged signal obtained by the above can be output. As one specific example, an averaged signal obtained by the driving method as in the first to third embodiments can be used. Flicker can be detected by the imaging system described with reference to FIG. 5 and the like using such an averaged signal. In this case, an average signal of the same row in different frames may be used, or an average signal of different rows in the same frame may be used.

また更に、水平方向の平均化信号のその他の応用としては、フリッカ補正以外の用途として用いることも可能である。例えば横スミア（例えば、特開平０４−０２１２８１号公報参照）と呼ばれる現象の抑制に用いることも可能である。 Furthermore, as another application of the horizontal averaged signal, it can be used for purposes other than flicker correction. For example, it can be used to suppress a phenomenon called lateral smear (for example, see Japanese Patent Application Laid-Open No. 04-021281).

横スミアは行毎に発生する問題であり、局所的に強い光があたった画素と同一画素行の周辺の画素信号が白く浮く、もしくは黒く沈む現象である。したがって水平方向に発生するスミア現象ともいえる。かつ、本発明者らの検討によれば、横スミアの発生量は各行の光信号出力の総和にほぼ比例する。すなわち、水平方向の平均化信号と横スミア発生量は相関をもつ。この相関関係を予め測定しておき、補正式を作成しておくことにより、画像水平方向の平均化信号を用いて横スミアを補正することが可能である。なお、横スミアの抑制に関しては、数々の提案がなされているが、必ずしも発生を完全に抑えるものでは無く、程度の軽減を図るものである。本発明による横スミアの補正は、従来の技術に加えて行なうことも可能であり、横スミア発生の程度の更なる軽減を図ることができる。 Lateral smear is a problem that occurs in each row, and is a phenomenon in which pixel signals around the same pixel row as a pixel that has been exposed to locally intense light float white or sink black. Therefore, it can be said that the smear phenomenon occurs in the horizontal direction. According to the study by the present inventors, the amount of lateral smear is almost proportional to the total optical signal output of each row. That is, the horizontal averaged signal and the amount of lateral smear are correlated. By measuring this correlation in advance and creating a correction equation, it is possible to correct lateral smear using an averaged signal in the horizontal direction of the image. Although various proposals have been made regarding the suppression of lateral smear, it does not necessarily completely suppress the occurrence but aims to reduce the degree. The correction of lateral smear according to the present invention can be performed in addition to the conventional technique, and the degree of occurrence of lateral smear can be further reduced.

また本発明における平均化信号は加算信号でも同じ効果を得ることができる。Ｃｔ＜＜Ｃｈならば、電荷が足しあわされるため、電圧振幅は”加算”される。一方、Ｃｔ＞＞Ｃｈならば、電圧振幅は”平均化”される。駆動において、選択されるＣｔの数が多い場合には、ｎ×Ｃｔ＞Ｃｈとなるため平均化信号と記載したが、加算信号であっても何等本発明の要旨からはずれるものではない。 Further, the same effect can be obtained even when the averaged signal in the present invention is an added signal. If Ct << Ch, the charges are added together, so the voltage amplitude is “added”. On the other hand, if Ct >> Ch, the voltage amplitude is “averaged”. In the drive, when the number of Ct selected is large, n × Ct> Ch, and thus an averaged signal is described. However, even an added signal does not depart from the gist of the present invention.

第１の実施形態による光電変換装置の概略図である。It is the schematic of the photoelectric conversion apparatus by 1st Embodiment. 第１の実施形態による光電変換装置の駆動パルスの概略図である。It is the schematic of the drive pulse of the photoelectric conversion apparatus by 1st Embodiment. 第３の実施形態による光電変換装置の概略図である。It is the schematic of the photoelectric conversion apparatus by 3rd Embodiment. 第３の実施形態による光電変換装置の駆動パルスの概略図である。It is the schematic of the drive pulse of the photoelectric conversion apparatus by 3rd Embodiment. 第４の実施形態による撮像システムの概略ブロック図である。It is a schematic block diagram of the imaging system by 4th Embodiment. 第４の実施形態による撮像システムの信号伝播を説明するための図である。It is a figure for demonstrating the signal propagation of the imaging system by 4th Embodiment. 第５の実施形態による撮像システムの信号伝播を説明するための図である。It is a figure for demonstrating the signal propagation of the imaging system by 5th Embodiment. 第６の実施形態による光電変換装置の概略図である。It is the schematic of the photoelectric conversion apparatus by 6th Embodiment. 第６の実施形態による光電変換装置の駆動パルスの概略図である。It is the schematic of the drive pulse of the photoelectric conversion apparatus by 6th Embodiment.

符号の説明Explanation of symbols

１０１、１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ画素セル
１０２垂直信号線（第１の信号線）
１０３定電流回路
１０４列アンプ
１０５スイッチ
１０６〜１１０信号転送スイッチ
１１１出力チャネル線（第２の信号線）
１１２、１１２´ 出力アンプ
１１３、１１３´ 出力部
１１４、１１４´ リセットスイッチ
１１５リセット電源
１１６スイッチ
１１７付加容量
５０１光電変換装置
５０２フリッカ検出部
５０３画像生成部
５０４画像表示部
５０５信号処理部
６０１画素領域
６０２第１の信号保持部
６０３第２の信号保持部
６０４差分処理回路部
７０１第３の信号保持部
Ｔ１通常の画像信号を読み出す行の水平走査期間
Ｔ２通常の画像信号を読み出さず、平均化信号のみを読み出す水平走査期間 101, 101a, 101b, 101c, 101d Pixel cell 102 Vertical signal line (first signal line)
103 constant current circuit 104 column amplifier 105 switch 106-110 signal transfer switch 111 output channel line (second signal line)
112, 112 ′ output amplifier 113, 113 ′ output unit 114, 114 ′ reset switch 115 reset power supply 116 switch 117 additional capacity 501 photoelectric conversion device 502 flicker detection unit 503 image generation unit 504 image display unit 505 signal processing unit 601 pixel area 602 First signal holding unit 603 Second signal holding unit 604 Difference processing circuit unit 701 Third signal holding unit T1 Horizontal scanning period of a row from which a normal image signal is read T2 Normal image signal is not read, only an average signal Horizontal scanning period for reading out

Claims

複数の画素を含む画素列を複数有し、
前記画素列ごともしくは複数の前記画素列ごとに設けられ、前記画素の信号が出力される第１の信号線と、
前記第１の信号線ごとに設けられ、対応する前記第１の信号線の信号を保持する信号保持部と、
複数の前記信号保持部で保持された信号が出力される第２の信号線と、
前記信号保持部ごとに設けられ、前記信号保持部と前記第２の信号線との導通を制御する第１のスイッチと、を有する光電変換装置の駆動方法であって、
複数の前記信号保持部に保持された信号を、前記第１のスイッチを順次導通させることにより読み出す第１のステップと、
前記第１のステップの後に、当該第１のステップにて信号が読み出された信号保持部に対応する複数の前記第１のスイッチを同時に導通させる第２のステップと、を有し、
前記第２のステップは、前記第１のステップの後に、前記第１のステップにおいて信号が読み出された信号保持部をリセットすることなく、前記第１のステップで読み出された後に前記複数の信号保持部に残存する信号を読み出すことを特徴とする光電変換装置の駆動方法。 Having a plurality of pixel columns including a plurality of pixels,
A first signal line provided for each pixel column or each of the plurality of pixel columns and outputting a signal of the pixel;
A signal holding unit that is provided for each of the first signal lines and holds a signal of the corresponding first signal line;
A second signal line for outputting a signal held by the plurality of signal holding units;
A method for driving a photoelectric conversion device, comprising: a first switch that is provided for each signal holding unit and that controls conduction between the signal holding unit and the second signal line,
A first step of reading signals held in a plurality of the signal holding units by sequentially turning on the first switch;
After the first step, there is a second step of simultaneously turning on the plurality of first switches corresponding to the signal holding unit from which the signal is read out in the first step,
In the second step, after the first step, the signal holding unit from which the signal is read in the first step is not reset , and then the plurality of the plurality of the second steps are read after the first step is read. A method for driving a photoelectric conversion device, comprising: reading a signal remaining in a signal holding unit .

前記第１のステップ及び第２のステップは同一の水平走査期間中に行なわれることを特徴とする請求項１に記載の光電変換装置の駆動方法。 The method for driving a photoelectric conversion device according to claim 1, wherein the first step and the second step are performed during the same horizontal scanning period.

更に、前記第２の信号線にリセット電圧を供給するための第２のスイッチを有し、前記第２のステップの後に、前記第１のスイッチ及び前記第２のスイッチを導通させることにより、前記信号保持部をリセットする第３のステップを有することを特徴とする請求項１または２のいずれかに記載の光電変換装置の駆動方法。 And a second switch for supplying a reset voltage to the second signal line, and after the second step, the first switch and the second switch are made conductive, The method for driving a photoelectric conversion device according to claim 1, further comprising a third step of resetting the signal holding unit.

前記第１のステップの後で且つ前記第２のステップの前に、前記第２のスイッチを導通させ且つ前記第１のスイッチを非導通とすることにより、前記第２の信号線をリセットする第４のステップを有することを特徴とする請求項３に記載の光電変換装置の駆動方法。 After the first step and before the second step, the second signal line is reset by turning on the second switch and turning off the first switch. The method for driving a photoelectric conversion device according to claim 3 , comprising four steps.

第１の画素行の水平走査期間中には、前記第１のステップ及び前記第２のステップを行ない、第２の画素行の水平走査期間中には、前記第１のステップのみを行なうことを特徴とする請求項１〜４のいずれか１項に記載の光電変換装置の駆動方法。 The first step and the second step are performed during the horizontal scanning period of the first pixel row, and only the first step is performed during the horizontal scanning period of the second pixel row. The method for driving a photoelectric conversion device according to claim 1, wherein the photoelectric conversion device is a driving method.

前記光電変換装置は更にカラーフィルタを有しており、
前記第２のステップは、同色の画素からの信号を保持する複数の信号保持部に対応する第１のスイッチを同時に導通させることを特徴とする請求項１〜５のいずれか１項に記載の光電変換装置の駆動方法。 The photoelectric conversion device further includes a color filter,
The said 2nd step makes the 1st switch corresponding to the several signal holding | maintenance part holding the signal from the pixel of the same color simultaneously conducting simultaneously, The any one of Claims 1-5 characterized by the above-mentioned. Driving method of photoelectric conversion device.

請求項１〜６のいずれか１項に記載の光電変換装置の駆動方法の前記第２のステップにより得られた信号を用いて、フリッカの有無を検出することを特徴とする撮像システム。 An imaging system, wherein the presence or absence of flicker is detected using the signal obtained by the second step of the method for driving a photoelectric conversion device according to any one of claims 1 to 6 .