JP7111007B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP7111007B2
JP7111007B2 JP2019013099A JP2019013099A JP7111007B2 JP 7111007 B2 JP7111007 B2 JP 7111007B2 JP 2019013099 A JP2019013099 A JP 2019013099A JP 2019013099 A JP2019013099 A JP 2019013099A JP 7111007 B2 JP7111007 B2 JP 7111007B2
Authority
JP
Japan
Prior art keywords
signal
pixel
frame
output
charge accumulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019013099A
Other languages
Japanese (ja)
Other versions
JP2020123771A (en
Inventor
浩 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019013099A priority Critical patent/JP7111007B2/en
Priority to CN202010064761.9A priority patent/CN111491120B/en
Priority to US16/773,731 priority patent/US11146748B2/en
Priority to EP20154171.1A priority patent/EP3709631B1/en
Publication of JP2020123771A publication Critical patent/JP2020123771A/en
Application granted granted Critical
Publication of JP7111007B2 publication Critical patent/JP7111007B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging device.

撮像センサから出力される画像信号は、暗電流等に起因するノイズ成分を含み、特に処理を施さなければ、画像中にむらとして現れる。このようなむらは、ダークシェーディングと呼ばれ、ダークシェーディングを軽減する様々な手法がこれまでにも開発されてきた
（例えば、特許文献１参照）。 An image signal output from an imaging sensor contains noise components caused by dark current or the like, and appears as unevenness in an image unless particular processing is performed. Such unevenness is called dark shading, and various techniques have been developed to reduce dark shading (see, for example, Patent Document 1).

特開２０１４－５７１９６号公報JP 2014-57196 A

電荷蓄積時間の長いフレーム画像と短いフレーム画像を合成して合成フレーム画像を形成する動画撮影の場合に、一部のフレーム画像の取得に代えてダークシェーディング補正のためのノイズ画像の取得を行うと、合成された合成フレーム画像間で輝度のばらつきが生じてしまう。 In the case of moving image shooting in which a frame image with a long charge accumulation time and a frame image with a short charge accumulation time are synthesized to form a composite frame image, instead of obtaining some frame images, a noise image for dark shading correction is obtained. , variations in luminance occur between synthesized frame images.

本発明は、このような問題を解決するためになされたものであり、一部のフレーム画像の取得に代えてノイズ画像の取得を行った場合でも、合成された合成フレーム画像間で輝度のばらつきが少ないダークシェーディング補正を実現することを目的とする。 The present invention has been made to solve such a problem. It is an object of the present invention to realize dark shading correction with less

本発明の具体的態様における撮像装置は、複数の画素部と、連続するフレーム期間のそれぞれにおいて、第１の電荷蓄積時間により複数の画素部のそれぞれに画素信号を出力させる第１フレーム制御と、第１の電荷蓄積時間よりも短い第２の電荷蓄積時間により複数の画素部のそれぞれに画素信号を出力させる第２フレーム制御を交互に行う制御部とを備え、制御部は、指示信号を受けた場合に、第２フレーム制御を行うフレーム期間に対し、第２フレーム制御に代えて、第２の電荷蓄積時間よりも長く第１の電荷蓄積時間よりも短い第３の電荷蓄積時間により複数の画素部のそれぞれに画素信号を出力させる第３フレーム制御と、複数の画素部のそれぞれにリセット直後のフローティングディフュージョンの電位を示すノイズ信号を出力させる第４フレーム制御のいずれかを行う。 An imaging device according to a specific aspect of the present invention includes: a plurality of pixel units; first frame control for causing each of the plurality of pixel units to output a pixel signal by a first charge accumulation time in each of consecutive frame periods; a control unit that alternately performs a second frame control for causing each of the plurality of pixel units to output a pixel signal with a second charge accumulation time that is shorter than the first charge accumulation time, the control unit receiving an instruction signal; In this case, in a frame period in which the second frame control is performed, a third charge accumulation time longer than the second charge accumulation time and shorter than the first charge accumulation time is applied instead of the second frame control to generate a plurality of charge accumulations. Either a third frame control for outputting a pixel signal to each of the pixel units or a fourth frame control for outputting a noise signal indicating the potential of the floating diffusion immediately after resetting to each of the plurality of pixel units is performed.

本発明によれば、一部のフレーム画像の取得に代えてノイズ画像の取得を行った場合でも、合成された合成フレーム画像間で輝度のばらつきが少ないダークシェーディング補正を実現することができる。 According to the present invention, it is possible to realize dark shading correction with little variation in luminance between synthesized frame images even when noise images are obtained instead of obtaining some frame images.

本実施形態に係る撮像装置の主な構成を示すブロック図である。1 is a block diagram showing the main configuration of an imaging device according to this embodiment; FIG. 撮像センサの主な構成を示す概略図である。1 is a schematic diagram showing the main configuration of an imaging sensor; FIG. 画素部の回路構成を示す図である。3 is a diagram showing a circuit configuration of a pixel portion; FIG. アナログゲインが小さい場合のシェーディングを示す図である。FIG. 10 is a diagram showing shading when analog gain is small; アナログゲインが大きい場合のシェーディングを示す図である。FIG. 10 is a diagram showing shading when analog gain is large; 受光領域をエリアに分割する場合の第１例を示す図である。FIG. 4 is a diagram showing a first example of dividing a light receiving region into areas; 受光領域をエリアに分割する場合の第２例を示す図である。FIG. 10 is a diagram showing a second example of dividing a light receiving region into areas; 受光領域をエリアに分割する場合の第３例を示す図である。FIG. 10 is a diagram showing a third example of dividing a light receiving region into areas; 動画撮影動作の第１例に係る動作概念図である。FIG. 4 is an operation conceptual diagram according to a first example of moving image shooting operation; 動画撮影動作の第２例に係る動作概念図である。FIG. 10 is an operation conceptual diagram according to a second example of moving image shooting operation; 動画撮影動作の第３例に係る動作概念図である。FIG. 11 is an operation conceptual diagram according to a third example of moving image shooting operation; １フレームのシェーディング補正処理を示すフロー図である。FIG. 5 is a flowchart showing shading correction processing for one frame; フレーム合成を行う場合の通常処理時の動作概念図である。FIG. 10 is a conceptual diagram of operations during normal processing when frame synthesis is performed; フレーム合成を行う場合のシェーディング読出し時の動作概念図である。FIG. 10 is a conceptual diagram of operations at the time of shading readout when frame synthesis is performed; フレーム合成を行う場合のフレーム合成処理を示すフロー図である。FIG. 10 is a flowchart showing frame synthesis processing when frame synthesis is performed; 受光領域に遮光画素を含む撮像センサの概略図である。1 is a schematic diagram of an imaging sensor including light-shielded pixels in a light-receiving area; FIG. 撮像センサの受光領域における受光面近傍の断面図である。3 is a cross-sectional view of the vicinity of the light receiving surface in the light receiving area of the imaging sensor; FIG. 遮光画素と受光領域のエリア分割の関係を示す図である。It is a figure which shows the relationship of area division of a light-shielding pixel and a light-receiving area. ローリングシャッタ方式による動画撮影動作の動作概念図である。FIG. 10 is an operation conceptual diagram of a moving image shooting operation using a rolling shutter method; １フレームのシェーディング補正処理を示すフロー図である。FIG. 5 is a flowchart showing shading correction processing for one frame; 教師データの採取状況を示す概念図である。FIG. 4 is a conceptual diagram showing how teacher data is collected; 教師データのデータ構造を示す概念図である。4 is a conceptual diagram showing the data structure of teacher data; FIG. 学習済みモデルを用いたシェーディング補正処理を示すフロー図である。FIG. 10 is a flowchart showing shading correction processing using a learned model;

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described through embodiments of the invention, but the invention according to the scope of claims is not limited to the following embodiments. Moreover, not all the configurations described in the embodiments are essential as means for solving the problems.

第１の実施形態について説明する。図１は、本実施形態に係る撮像装置１００の主な構成を示すブロック図である。撮像装置１００は、例えば、ハンディタイプのビデオカメラである。撮像機能を備えるスマートフォンなどの端末機器であっても良い。 A first embodiment will be described. FIG. 1 is a block diagram showing the main configuration of an imaging device 100 according to this embodiment. The imaging device 100 is, for example, a handy type video camera. A terminal device such as a smartphone having an imaging function may be used.

撮像装置１００は、撮影光学系としての撮影レンズ１１０を備え、撮影レンズ１１０は、光軸ＯＡに沿って入射する被写体光束を撮像センサ２００へ導く。撮影レンズ１１０は、撮像装置１００に対して着脱できる交換式レンズであっても構わない。撮像装置１００は、バッファメモリ１２０、画像処理部１３０、制御部１５０、記録部１６０、表示部１７０、フラッシュメモリ１８０、および撮像センサ２００を主に備える。 The image pickup apparatus 100 includes an image pickup lens 110 as an image pickup optical system, and the image pickup lens 110 guides subject light beams incident along the optical axis OA to the image sensor 200 . The imaging lens 110 may be an interchangeable lens that can be attached to and detached from the imaging device 100 . The imaging device 100 mainly includes a buffer memory 120 , an image processing section 130 , a control section 150 , a recording section 160 , a display section 170 , a flash memory 180 and an imaging sensor 200 .

撮像センサ２００は、ローリングシャッタ方式による電子シャッタに対応する撮像素子であり、例えばＣＭＯＳセンサである。具体的な画素構造および回路構成については後述する。撮像センサ２００は、各画素が出力する出力信号に後述する処理を含む諸々の信号処理を施してデジタル信号へ変換し、画素データとしてバッファメモリ１２０へ引き渡す。 The imaging sensor 200 is an imaging element compatible with an electronic shutter based on a rolling shutter system, such as a CMOS sensor. A specific pixel structure and circuit configuration will be described later. The image sensor 200 performs various signal processing including processing described later on the output signal output from each pixel, converts it into a digital signal, and delivers it to the buffer memory 120 as pixel data.

バッファメモリ１２０は、例えば揮発性の高速メモリによって構成される。バッファメモリ１２０は、撮像センサ２００から順次画素データを受け取り、これらを１フレームの画像データに纏めて記憶する。バッファメモリ１２０は、フレーム単位で画像処理部１３０へ画像データを引き渡す。また、バッファメモリ１２０は、画像処理部１３０が画像処理する中途段階においてワークメモリとしての機能も担う。 The buffer memory 120 is composed of, for example, a volatile high-speed memory. The buffer memory 120 sequentially receives pixel data from the imaging sensor 200 and collectively stores them as one frame of image data. The buffer memory 120 delivers the image data to the image processing section 130 on a frame-by-frame basis. The buffer memory 120 also functions as a work memory in the middle of image processing by the image processing unit 130 .

画像処理部１３０は、受け取った画像データに対して各種の画像処理を施し、予め定められたフォーマットに即した画像データを生成する。例えば、ＭＰＥＧファイル形式の動画像データを生成する場合は、各フレーム画像データに対するホワイトバランス処理、ガンマ処理等を施した後に、フレーム内およびフレーム間の圧縮処理を実行する。生成された画像データは、例えば着脱式のメモリカードである記録部１６０に記録される。また、生成された画像データは、画像処理部１３０により表示信号に変換され、例えば液晶パネルである表示部１７０に表示される。 The image processing unit 130 performs various types of image processing on the received image data to generate image data conforming to a predetermined format. For example, when generating moving image data in the MPEG file format, intra-frame and inter-frame compression processing is performed after performing white balance processing, gamma processing, etc. on each frame image data. The generated image data is recorded in the recording unit 160, which is a removable memory card, for example. Further, the generated image data is converted into a display signal by the image processing section 130 and displayed on the display section 170 which is, for example, a liquid crystal panel.

フラッシュメモリ１８０は、制御部１５０が実行する制御プログラム、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。制御部１５０は、例えばＣＰＵであり、撮像装置１００の全体を制御する。制御部１５０は、撮像センサ２００に対して撮像に関する制御信号を送信する。 The flash memory 180 stores control programs executed by the control unit 150, various parameter values, functions, lookup tables, etc. used for control and calculation. The control unit 150 is, for example, a CPU, and controls the imaging device 100 as a whole. The control unit 150 transmits a control signal regarding imaging to the imaging sensor 200 .

図２は、撮像センサ２００の主な構成を示す概略図である。撮像センサ２００は、複数の画素が行方向および列方向に配列された画素領域２１０を有する。画素領域２１０は、入射光が画素に到達しないように遮光されたオプティカルブラック領域２１１（以下では「ＯＢ領域２１１」と記す）と、入射光を光電変換する受光画素が配列された受光領域２１２とを有する。ＯＢ領域２１１は、受光領域２１２の周囲を縁取るように設けられている。ＯＢ領域２１１に属する画素から出力された画素信号は、受光領域２１２に属する画素から出力される画素信号から、フィックスパターンノイズを除去するために用いられる。なお、以下において特に言及しない限りは、フィックスパターンノイズが除去されたダークシェーディング（以下では単に「シェーディング」と記す）について説明する。 FIG. 2 is a schematic diagram showing the main configuration of the imaging sensor 200. As shown in FIG. The image sensor 200 has a pixel region 210 in which a plurality of pixels are arranged in row and column directions. The pixel region 210 includes an optical black region 211 (hereinafter referred to as an “OB region 211”) that shields incident light from reaching the pixels, and a light receiving region 212 in which light receiving pixels that photoelectrically convert incident light are arranged. have The OB region 211 is provided so as to border the periphery of the light receiving region 212 . Pixel signals output from pixels belonging to the OB region 211 are used to remove fixed pattern noise from pixel signals output from pixels belonging to the light receiving region 212 . Unless otherwise specified, dark shading from which fixed pattern noise is removed (hereinafter simply referred to as "shading") will be described.

第１読出し回路２２１および第２読出し回路２２２は、いわゆる２チャンネル読出しに対応する水平読出し回路であり、それぞれがカラム読出し回路、アナログゲイン回路（アナログアンプ）、ＡＤＣ回路等を含む。垂直走査回路２３０は、画素配列における信号を読み出すべき行を選択し、選択した行の信号が第１読出し回路２２１または第２読出し回路２２２へ読み出されるように、選択した行における各列の画素を駆動する。カラム読出し回路は、ＣＤＳ回路を含む。ＣＤＳ回路は、光電変換された出力信号の信号量からノイズ成分に相当する信号量を差し引くＣＤＳ処理を行う。なお、上述のＯＢ領域２１１の出力を用いたフィックスパターンノイズの除去も、ＣＤＳ処理の一部として行われる。温度センサ２４０は、画素領域２１０の近傍に配設され、温度を検出して制御回路２５０へ温度情報を出力する。 The first readout circuit 221 and the second readout circuit 222 are horizontal readout circuits corresponding to so-called two-channel readout, each including a column readout circuit, an analog gain circuit (analog amplifier), an ADC circuit, and the like. The vertical scanning circuit 230 selects a row from which signals are to be read out in the pixel array, and scans the pixels in each column of the selected row so that the signals in the selected row are read out to the first readout circuit 221 or the second readout circuit 222 . drive. A column readout circuit includes a CDS circuit. The CDS circuit performs CDS processing for subtracting the signal amount corresponding to the noise component from the signal amount of the photoelectrically converted output signal. Note that removal of fixed pattern noise using the output of the OB region 211 described above is also performed as part of the CDS processing. The temperature sensor 240 is arranged near the pixel region 210 to detect temperature and output temperature information to the control circuit 250 .

制御回路２５０は、撮像センサ２００の各画素が出力する信号を制御する。具体的には、第１読出し回路２２１および第２読出し回路２２２のカラム読出し回路や垂直走査回路２３０を介して後述する各画素における各種トランジスタのスイッチングを制御することにより、電荷蓄積や信号出力のタイミングを制御する。また、温度センサ２４０の温度情報を用いてＣＤＳ回路を制御したり、制御部１５０からの指令に応じてアナログゲインを調製したりする。また、調製した画素信号をＡＤＣ回路に変換させ、画素データとして順次バッファメモリ１２０へ出力させる。 The control circuit 250 controls signals output by each pixel of the imaging sensor 200 . Specifically, by controlling the switching of various transistors in each pixel, which will be described later, via the column readout circuits of the first readout circuit 221 and the second readout circuit 222 and the vertical scanning circuit 230, the timing of charge accumulation and signal output is adjusted. to control. Also, the temperature information from the temperature sensor 240 is used to control the CDS circuit, and the analog gain is adjusted according to the command from the control section 150 . Also, the adjusted pixel signals are converted by the ADC circuit and sequentially output to the buffer memory 120 as pixel data.

図３は、画素部３０１の回路構成を示す図である。画素部３０１は、いわゆる画素と呼ばれる光電変換を行う最小構成であり、主に、フォトダイオード３１１、転送トランジスタ３５１、リセットトランジスタ３５３、増幅トランジスタ３５４、選択トランジスタ３５５、フローティングディフュージョン３６０を含む。 FIG. 3 is a diagram showing the circuit configuration of the pixel portion 301. As shown in FIG. The pixel unit 301 is a minimum configuration for performing photoelectric conversion, which is called a pixel, and mainly includes a photodiode 311 , a transfer transistor 351 , a reset transistor 353 , an amplification transistor 354 , a selection transistor 355 and a floating diffusion 360 .

フォトダイオード３１１は、転送トランジスタ３５１に接続され、転送トランジスタ３５１のゲートは、転送トランジスタ３５１をオンにする転送パルスを供給するＴＸ配線に接続されている。転送トランジスタ３５１のドレインは、リセットトランジスタ３５３のソースに接続される。転送トランジスタ３５１のドレインとリセットトランジスタ３５３のソース間にはフローティングディフュージョン３６０が形成される。フローティングディフュージョン３６０は、増幅トランジスタ３５４のゲートに接続される。 The photodiode 311 is connected to a transfer transistor 351 , and the gate of the transfer transistor 351 is connected to a TX wiring that supplies a transfer pulse that turns on the transfer transistor 351 . A drain of the transfer transistor 351 is connected to a source of the reset transistor 353 . A floating diffusion 360 is formed between the drain of the transfer transistor 351 and the source of the reset transistor 353 . Floating diffusion 360 is connected to the gate of amplification transistor 354 .

リセットトランジスタ３５３のドレインは、電源電圧が供給されるＶＤＤ配線に接続され、そのゲートはリセットパルスが供給されるリセット配線に接続される。増幅トランジスタ３５４のドレインは電源電圧が供給されるＶＤＤ配線に接続される。また、増幅トランジスタ３５４のソースは、読出部としての選択トランジスタ３５５のドレインに接続される。選択トランジスタ３５５のゲートには、選択トランジスタ３５５をオンにする選択パルスを供給するデコーダ配線に接続されている。そして、選択トランジスタ３５５のソースは、出力配線３６１に接続される。 The drain of the reset transistor 353 is connected to the VDD wiring to which the power supply voltage is supplied, and its gate is connected to the reset wiring to which the reset pulse is supplied. A drain of the amplification transistor 354 is connected to a VDD wiring to which a power supply voltage is supplied. Also, the source of the amplification transistor 354 is connected to the drain of the selection transistor 355 as a readout section. A gate of the selection transistor 355 is connected to a decoder wiring that supplies a selection pulse for turning on the selection transistor 355 . A source of the selection transistor 355 is connected to the output wiring 361 .

負荷電流源３６２は、出力配線３６１に電流を供給する。すなわち、選択トランジスタ３５５がオンすると、増幅トランジスタ３５４のソースが負荷電流源３６２に接続されてソースフォロアとして動作する。なお、負荷電流源３６２は、出力配線３６１を共有する複数の画素に対して共通の要素として設けられる。上述のように、転送トランジスタ３５１、リセットトランジスタ３５３、選択トランジスタ３５５は、それぞれ転送パルス、リセットパルス、選択パルスの印加によって閉成し、印加の解除によって解放するスイッチとして機能する。すなわち、転送トランジスタ３５１は転送スイッチとして、リセットトランジスタ３５３はリセットスイッチとして、選択トランジスタ３５５は選択スイッチとして機能する。 The load current source 362 supplies current to the output wiring 361 . That is, when the selection transistor 355 is turned on, the source of the amplification transistor 354 is connected to the load current source 362 and operates as a source follower. Note that the load current source 362 is provided as a common element for a plurality of pixels sharing the output wiring 361 . As described above, the transfer transistor 351, reset transistor 353, and selection transistor 355 function as switches that are closed by application of a transfer pulse, reset pulse, and selection pulse, respectively, and released by release of application. That is, the transfer transistor 351 functions as a transfer switch, the reset transistor 353 functions as a reset switch, and the selection transistor 355 functions as a selection switch.

ここで、画素部３０１が出力する２つの出力信号について説明する。１つ目の出力信号は、入射光量に応じた信号量である第１信号である。第１信号は、シェーディングを含む。第１信号を出力させるまでの制御回路２５０の制御は、次の通りである。まず、リセット配線を通じてリセットパルスをリセットトランジスタ３５３に印加し、同時にＴＸ配線を通じて転送パルスを転送トランジスタ３５１に印加すると、フォトダイオード３１１およびフローティングディフュージョン３６０の電位はリセットされる。そして、転送トランジスタ３５１をオフにすると、フォトダイオード３１１は、光電変換部として機能し、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスをリセットトランジスタ３５３に印加し、フローティングディフュージョン３６０を再びリセットする。直後に、選択トランジスタ３５５に選択パルスを印加すると、リセット電位が増幅トランジスタ３５４、選択トランジスタ３５５を介して出力配線３６１に出力される。出力されたリセット電位は図示しないＣＤＳ回路に保存される。これが基準電位になる。 Here, two output signals output from the pixel portion 301 will be described. A first output signal is a first signal that is a signal amount corresponding to the amount of incident light. The first signal includes shading. The control of the control circuit 250 until the first signal is output is as follows. First, when a reset pulse is applied to the reset transistor 353 through the reset wiring and a transfer pulse is applied to the transfer transistor 351 through the TX wiring at the same time, the potentials of the photodiode 311 and the floating diffusion 360 are reset. Then, when the transfer transistor 351 is turned off, the photodiode 311 functions as a photoelectric conversion unit, converts the received incident light into charges, and accumulates the charges. A reset pulse is then applied to the reset transistor 353 to reset the floating diffusion 360 again. Immediately after that, when a selection pulse is applied to the selection transistor 355 , a reset potential is output to the output wiring 361 via the amplification transistor 354 and the selection transistor 355 . The output reset potential is stored in a CDS circuit (not shown). This becomes the reference potential.

次に、転送パルスを転送トランジスタ３５１に印加すると、蓄積された電荷はフローティングディフュージョン３６０へ転送され、フローティングディフュージョン３６０の電位は、リセット電位から電荷蓄積後の信号電位になる。選択トランジスタ３５５に選択パルスを印加すると、電荷蓄積後の信号電位が増幅トランジスタ３５４および選択トランジスタ３５５を介して出力配線３６１に伝送される。伝送された信号は保存しておいた基準電位を引くＣＤＳ処理をされ、アナログアンプ、ＡＤＣを通してバッファメモリ１２０へ出力される。このように出力された信号が第１信号である。 Next, when a transfer pulse is applied to the transfer transistor 351, the accumulated charges are transferred to the floating diffusion 360, and the potential of the floating diffusion 360 changes from the reset potential to the signal potential after charge accumulation. When a selection pulse is applied to the selection transistor 355 , the signal potential after charge accumulation is transmitted to the output wiring 361 via the amplification transistor 354 and the selection transistor 355 . The transmitted signal is CDS-processed to pull the stored reference potential, and is output to the buffer memory 120 through the analog amplifier and ADC. The signal output in this manner is the first signal.

２つ目の出力信号は、シェーディングの一部に相当する信号量である第２信号である。第２信号を出力させるまでの制御回路２５０の制御は、次の通りである。まず、転送トランジスタ３５１がオフの状態において、リセット配線を通じてリセットパルスをリセットトランジスタ３５３に印加し、フローティングディフュージョン３６０の電荷を排出してその電位をリセットする。直後に、選択トランジスタ３５５に選択パルスを印加して、フローティングディフュージョン３６０のリセット電位を増幅トランジスタ３５４および選択トランジスタ３５５を介して出力配線３６１へ伝送させる。リセット電位は図示しないＣＤＳ回路に保存される。これが基準電位になる。 The second output signal is the second signal, which is the amount of signal corresponding to part of the shading. The control of the control circuit 250 until the second signal is output is as follows. First, in the state where the transfer transistor 351 is off, a reset pulse is applied to the reset transistor 353 through the reset wiring to discharge the charge of the floating diffusion 360 and reset its potential. Immediately after that, a selection pulse is applied to the selection transistor 355 to transmit the reset potential of the floating diffusion 360 to the output wiring 361 via the amplification transistor 354 and the selection transistor 355 . The reset potential is stored in a CDS circuit (not shown). This becomes the reference potential.

その後、転送トランジスタ３５１をオフのまま、再度出力配線３６１に伝送させる。伝送された信号は保存しておいた基準電位を引くＣＤＳ処理をされ、アナログアンプ、ＡＤＣを通してバッファメモリ１２０へ出力される。このように出力された信号が第２信号である。第２信号は、フォトダイオード３１１による電荷蓄積とは無関係であるので、シェーディングノイズのうちフォトダイオード３１１に起因する暗電流成分は含まない。すなわち、第２信号は、フローティングディフュージョン３６０とこれに接続される読出し回路部分のばらつきによって生じる回路ノイズ成分である。第２信号は、転送トランジスタ３５１がオフの状態で短時間に出力させることができるので、フォトダイオード３１１が電荷を蓄積していない期間に限らず、第１信号を出力させるために電荷を蓄積している期間中であっても出力させることができる。詳しくは後述する。 After that, with the transfer transistor 351 turned off, the signal is transmitted to the output wiring 361 again. The transmitted signal is CDS-processed to pull the stored reference potential, and is output to the buffer memory 120 through the analog amplifier and ADC. The signal output in this way is the second signal. Since the second signal is unrelated to the charge accumulation by the photodiode 311, it does not include the dark current component caused by the photodiode 311 in the shading noise. That is, the second signal is a circuit noise component caused by variations in the floating diffusion 360 and the read circuit section connected thereto. The second signal can be output in a short time while the transfer transistor 351 is off. It can be output even during the period of Details will be described later.

例えば撮像センサ２００を遮光部材で覆って入射光が入射しない状態にして電荷蓄積を行った場合のシェーディングは、フィックスパターンノイズを除けば主に、フォトダイオード３１１に生じる暗電流成分と上述の回路ノイズ成分である。図４は、アナログゲインが小さい場合のシェーディングの例を示す図である。具体的には、受光領域２１２のある一行に着目し、その一行に属する各画素の水平方向における画素位置を横軸で表わし、縦軸を各画素が出力するシェーディング量で表わしている。 For example, shading when charge accumulation is performed in a state in which incident light is not incident by covering the image sensor 200 with a light shielding member is mainly due to dark current components generated in the photodiode 311 and the circuit noise described above, except for fixed pattern noise. is an ingredient. FIG. 4 is a diagram showing an example of shading when analog gain is small. Specifically, one row of the light receiving region 212 is focused on, the pixel position in the horizontal direction of each pixel belonging to that row is represented by the horizontal axis, and the shading amount output by each pixel is represented by the vertical axis.

実線で示すグラフは、各画素に入射光が入射しない状態にして電荷蓄積を行った場合（遮光時）のシェーディングであり、暗電流成分を含んでいる。一方、点線で示すグラフは、転送トランジスタ３５１をオフにして上述のように第２信号を出力させた場合（ＴＸオフ時）のシェーディングであり、暗電流成分を含んでいない。図示するように、アナログゲインが小さい場合は、回路ノイズ成分の比率が相対的に大きくなるので、実線のグラフと点線のグラフは、互いに似通った曲線となることがわかる。より具体的には、画素ごとに、補正係数αを用いて、（遮光時のシェーディング）≒α×（ＴＸオフ時のシェーディング）と表わされることがわかる。 A graph indicated by a solid line is shading when charge accumulation is performed in a state in which incident light is not incident on each pixel (during light shielding), and includes a dark current component. On the other hand, the graph indicated by the dotted line is shading when the transfer transistor 351 is turned off and the second signal is output as described above (when TX is turned off), and does not include a dark current component. As shown in the figure, when the analog gain is small, the ratio of the circuit noise component is relatively large, so it can be seen that the curves of the solid line graph and the dotted line graph are similar to each other. More specifically, it can be seen that (shading when light is blocked)≈α×(shading when TX is off) using a correction coefficient α for each pixel.

動画撮影時には、フレーム間で遮光状態をつくりだして実線に相当するシェーディングを取得することは困難である。しかし、同一製品の撮像センサ２００を用いて事前に実験を行うことにより、具体的には遮光状態において様々な条件でデータを収集することにより、図４に示すような点線のグラフと実線のグラフの関係を把握することができる。すなわち、事前の実験により補正係数αを予め決めておくことができる。補正係数αが予め決められていれば、点線のグラフで示す第２信号は撮像装置１００に組み込まれた状態でも得られるので、予測値として遮光時シェーディングを算出することができる。したがって、被写体光量に対応する第１信号の信号量から、第２信号の信号量に補正係数αを乗じて差し引けば、およそシェーディングが補正された画素信号を得ることができる。 When shooting moving images, it is difficult to obtain shading corresponding to a solid line by creating a light-shielding state between frames. However, by conducting experiments in advance using the imaging sensor 200 of the same product, specifically by collecting data under various conditions in a light-shielded state, the dotted line graph and solid line graph shown in FIG. relationship can be grasped. That is, the correction coefficient α can be determined in advance by prior experiments. If the correction coefficient α is determined in advance, the second signal indicated by the dotted line graph can be obtained even when the image pickup apparatus 100 is incorporated, so that the shading during light blocking can be calculated as a predicted value. Therefore, by subtracting the signal amount of the second signal multiplied by the correction coefficient α from the signal amount of the first signal corresponding to the subject light amount, it is possible to obtain a pixel signal in which the shading is corrected.

図５は、アナログゲインが大きい場合のシェーディングを示す図である。表記は図４と同様である。図示するように、アナログゲインが大きくなると、回路ノイズ成分の比率が相対的に小さくなるので、実線のグラフと点線のグラフは、画素の位置によって乖離の傾向が異なっていることがわかる。そこで、比較的傾向が似通う領域ごとに、エリアとして区分けする。図示するように、例えば水平方向を５分割して左から順にエリアＡ、エリアＢ、エリアＣ、エリアＤ、エリアＥとする。このように区分すると、エリアごとの補正係数αＡ、αＢ、αＣ、αＤ、αＥを定めることができる。例えばエリアＡにおいては、（遮光時のシェーディング）≒αＡ×（ＴＸオフ時のシェーディング）と表わされる。 FIG. 5 is a diagram showing shading when analog gain is large. Notation is the same as in FIG. As shown in the figure, when the analog gain increases, the ratio of the circuit noise component relatively decreases, so it can be seen that the tendency of deviation differs depending on the position of the pixel between the solid line graph and the dotted line graph. Therefore, regions with relatively similar trends are classified as areas. As shown in the figure, for example, the horizontal direction is divided into 5 areas, which are area A, area B, area C, area D, and area E in order from the left. By dividing in this way, correction coefficients α A , α B , α C , α D , and α E can be determined for each area. For example, in area A, (shading when light is blocked)≈α A ×(shading when TX is off).

事前に行う実験の実験結果に基づいて受光領域２１２にエリアを設定し、それぞれの補正係数を定めておけば、アナログゲインが大きい場合であっても、アナログゲインが小さい場合と同様に、予測値として遮光時シェーディングを算出することができる。したがって、被写体光量に対応する第１信号の信号量から、第２信号の信号量に補正係数αＸ（＝当該画素が位置するエリアＸにおける補正係数）を乗じて差し引けば、およそシェーディングが補正された画素信号を得ることができる。 If areas are set in the light-receiving region 212 based on the results of experiments conducted in advance and respective correction coefficients are determined, the predicted value The shading at the time of light blocking can be calculated as Therefore, if the signal amount of the second signal is multiplied by the correction coefficient α X (=the correction coefficient in the area X where the pixel is located) and subtracted from the signal amount of the first signal corresponding to the subject light amount, the shading is approximately corrected. can be obtained.

ここで受光領域２１２のエリア設定についていくつかの例を説明する。図６は、受光領域２１２をエリアに分割する場合の第１例を示す図である。図示するように第１例は、矩形である受光領域２１２を横ｍ（図の例ではｍ＝１６）、縦ｎ（図の例ではｎ＝８）のｍ×ｎ個のエリアに分割する例である。任意のエリアをＲｉ，ｊ（１≦ｉ≦ｍ，１≦ｊ≦ｎ）と表わすと、それぞれに対応する補正係数αｉ，ｊを、予め実験により収集しておけば良い。例えば、エリアＲ３，７に属する画素の画素信号は、（第１信号）－α３，７×（第２信号）として出力される。 Here, some examples of area setting of the light receiving area 212 will be described. FIG. 6 is a diagram showing a first example of dividing the light receiving region 212 into areas. As shown in the figure, the first example is an example in which a rectangular light-receiving region 212 is divided into m×n areas of m horizontal (m=16 in the example shown in the figure) and n vertical (n=8 in the example shown in the figure). is. If an arbitrary area is represented by R i,j (1≦i≦m, 1≦j≦n), the corresponding correction coefficients α i,j may be collected in advance through experiments. For example, a pixel signal of a pixel belonging to area R 3,7 is output as (first signal)−α 3,7 ×(second signal).

図７は、受光領域２１２をエリアに分割する場合の第２例を示す図である。図２に示したように、撮像センサ２００を構成する各回路は、受光領域２１２の周縁部に配置されたり、受光領域２１２の厚み方向に積層されたりする。回路によっては、その駆動により発熱するものもある。したがって、暗電流成分を含む場合と含まない場合のシェーディングの乖離が、受光領域２１２の中心部から放射方向へ沿って異なる傾向を示す場合がある。 FIG. 7 is a diagram showing a second example of dividing the light receiving region 212 into areas. As shown in FIG. 2 , each circuit that configures the image sensor 200 is arranged at the periphery of the light receiving area 212 or laminated in the thickness direction of the light receiving area 212 . Some circuits generate heat when driven. Therefore, the difference in shading between the case where the dark current component is included and the case where the dark current component is not included may show different tendencies along the radial direction from the center of the light receiving region 212 .

第２例は、受光領域２１２の中心部から放射方向へエリアを分割する例である。例えば、図示するように、左上のエリアから渦巻き状に中心部に向かってエリアＲ１～Ｒ９を設定することができる。任意のエリアをＲｉ（１≦ｉ≦ｍ、図の例ではｍ＝９）と表わすと、それぞれに対応する補正係数αｉを、予め実験により収集しておけば良い。例えば、エリアＲ３に属する画素の画素信号は、（第１信号）－α３×（第２信号）として出力される。 A second example is an example in which areas are divided in the radial direction from the center of the light receiving region 212 . For example, as shown in the figure, areas R 1 to R 9 can be set spirally from the upper left area toward the center. If an arbitrary area is represented by R i (1≦i≦m, m=9 in the example of the figure), the corresponding correction coefficients α i may be collected in advance through experiments. For example, pixel signals of pixels belonging to area R 3 are output as (first signal)−α 3 ×(second signal).

図８は、受光領域をエリアに分割する場合の第３例を示す図である。図２で説明した２チャンネル読出し対応の撮像センサ２００の場合は、例えば奇数列の画素の出力信号が第１読出し回路２２１に読み出され、偶数列の画素の出力信号が第２読出し回路２２２に読み出される。したがって、暗電流成分を含む場合と含まない場合のシェーディングの乖離が、第１読出し回路２２１と第２読出し回路２２２のいずれに読み出されるかによっても異なる傾向を示す場合がある。 FIG. 8 is a diagram showing a third example of dividing the light receiving region into areas. In the case of the image sensor 200 that supports two-channel readout described with reference to FIG. read out. Therefore, the difference in shading between the case where the dark current component is included and the case where the dark current component is not included may show different tendencies depending on which of the first readout circuit 221 and the second readout circuit 222 reads out.

第３例は、第１例のように受光領域２１２をｍ×ｎ個の矩形エリアに分割した後に、それぞれをさらに、第１読出し回路２２１によって読み出される画素で構成されるグループと、第２読出し回路２２２によって読み出される画素で構成されるグループとに分ける例である。すなわち、出力信号線である出力配線３６１を共有する画素群によってグループ化してエリアを設定する。図においては、前者をＵグループとして任意のエリアをＲｉ，ｊ，Ｕと表わし、後者をＤグループとして同様にＲｉ，ｊ，Ｄと表わしている。第１例、第２例と同様に、それぞれのエリアに対応する補正係数αｉ，ｊ，Ｕまたはαｉ，ｊ，Ｄを、予め実験により収集しておけば良い。例えば、エリアＲ２，１，Ｄに属する画素の画素信号は、（第１信号）－α２，１，Ｄ×（第２信号）として出力される。なお、更に多くの読出し回路を備える場合には、その数に応じて一つのエリアをグループ分割すれば良い。また、第２例のエリア分割に対して読出し回路ごとのグループを適用しても良い。また、第１例から第３例で示す例に限らず、撮像センサ２００の特性や事前の実験結果に応じてエリアを分割し、それぞれに対応する補正係数を決定すれば良い。 In the third example, after dividing the light receiving region 212 into m×n rectangular areas as in the first example, each of them is further divided into a group composed of pixels read out by the first readout circuit 221 and a second readout circuit 221 . This is an example of dividing into groups each composed of pixels read out by the circuit 222 . That is, an area is set by grouping pixels that share the output wiring 361, which is an output signal line. In the figure, the former is group U and an arbitrary area is represented by R i,j, U , and the latter is group D and is similarly represented by R i, j, D. FIG. As in the first and second examples, the correction coefficients α i,j,U or α i,j,D corresponding to the respective areas may be collected in advance by experiments. For example, a pixel signal of a pixel belonging to area R 2,1,D is output as (first signal)−α 2,1,D ×(second signal). If more readout circuits are provided, one area may be divided into groups according to the number. Also, a group for each readout circuit may be applied to the area division of the second example. In addition, the areas are divided according to the characteristics of the imaging sensor 200 and the results of previous experiments, and the corresponding correction coefficients are determined without being limited to the examples shown in the first to third examples.

事前の実験においては、設定され得るアナログゲインおよび電荷蓄積時間、想定される使用温度を様々に変更させながら暗電流成分を含む場合と含まない場合のシェーディングを調べて、上述のように分割された各エリアの補正係数αを決定する。すなわち、異なる電荷蓄積時間（例えば、１／６０秒、１／１２０秒…）、異なるゲイン（例えば、１６ｄＢ、１７ｄＢ…）、異なる温度（例えば、０℃、５℃、１０℃…）のそれぞれに対応して各エリアの補正係数を決定する。設定されるアナログゲインが小さい場合は、それぞれの補正係数αが似通った数値になる。したがって、アナログゲインに閾値を設け、その閾値よりも小さい場合は、全エリアに対して共通の補正係数αを決定しても良い。決定された補正係数αは、撮像センサ２００がメモリを備えるのであれば当該メモリに記憶されていても良いし、そうでない場合は、フラッシュメモリ１８０に記憶され、制御部１５０の制御により、必要に応じて撮像センサ２００へ送信されると良い。 In preliminary experiments, shading with and without a dark current component was examined while varying the settable analog gain and charge accumulation time, and the assumed use temperature, and divided as described above. Determine the correction coefficient α for each area. That is, for different charge storage times (e.g. 1/60 sec, 1/120 sec...), different gains (e.g. 16 dB, 17 dB...), and different temperatures (e.g. 0°C, 5°C, 10°C...). Correspondingly determine the correction factor for each area. When the set analog gain is small, each correction coefficient α becomes a similar numerical value. Therefore, a threshold may be set for the analog gain, and if the analog gain is smaller than the threshold, a common correction coefficient α may be determined for all areas. The determined correction coefficient α may be stored in the memory if the image sensor 200 has a memory. It may be transmitted to the imaging sensor 200 accordingly.

次に、ローリングシャッタ方式による動画撮影動作について、いくつかの例を説明する。図９は、動画撮影動作の第１例に係る動作概念図である。横軸は、時間の経過を表す。縦軸方向に行方向と記した範囲は、画素領域２１０に配列された画素部３０１について、上から順に１行目（先頭行）、２行目、３行目…ｎ行目（末尾行）のそれぞれの動作を横軸方向（時間軸方向）に表すことを意味する。同一行に配列された複数の画素部３０１は、同一のタイミング制御が実行される。一方、配列行が互いに異なる画素部３０１は、異なるタイミング制御が実行される。 Next, several examples of moving image shooting operations using the rolling shutter method will be described. FIG. 9 is an operation conceptual diagram according to the first example of the moving image shooting operation. The horizontal axis represents the passage of time. The range in which the vertical axis direction is the row direction is the first row (first row), second row, third row, . represents each operation in the direction of the horizontal axis (direction of the time axis). The same timing control is executed for the plurality of pixel units 301 arranged in the same row. On the other hand, the pixel units 301 arranged in different rows are subjected to different timing control.

本実施形態においては、制御回路２５０は、画素部３０１からローリングシャッタ方式によって出力信号を読み出し、バッファメモリ１２０は、これらを集めて１つのフレーム画像データを生成する。画像処理部１３０は、これらのフレーム画像データを繋ぎ合わせて動画像データを生成する。 In this embodiment, the control circuit 250 reads output signals from the pixel unit 301 by a rolling shutter method, and the buffer memory 120 collects them to generate one frame image data. The image processing unit 130 connects these frame image data to generate moving image data.

更に具体的に説明する。制御回路２５０は、一点鎖線で示すように、先頭行から末尾行へ向かって行ごとに順次リセットパルスをリセットトランジスタ３５３に印加する。すなわち、上述の第１信号出力のための処理を開始する。制御回路２５０の制御により各画素部３０１は、リセットパルスが印加され、転送トランジスタ３５１がオフにされると、フォトダイオード３１１が入射光量に応じた電荷蓄積を開始する。 A more specific description will be given. The control circuit 250 sequentially applies a reset pulse to the reset transistor 353 row by row from the first row to the last row, as indicated by the dashed line. That is, the processing for outputting the first signal described above is started. A reset pulse is applied to each pixel unit 301 under the control of the control circuit 250, and when the transfer transistor 351 is turned off, the photodiode 311 starts accumulating electric charges according to the amount of incident light.

制御回路２５０は、転送トランジスタ３５１がオフにされてフォトダイオード３１１が電荷を蓄積している間（網掛けで示す期間）に、点線で示すように、上述の第２信号出力のための処理を実行する。すなわち、制御回路２５０は、先頭行から末尾行へ向かって行ごとに順次リセットパルスをリセットトランジスタ３５３に印加し、フローティングディフュージョン３６０をリセットする。その後リセットトランジスタ３５３をオフにし、選択トランジスタ３５５に選択パルスを印加して、フローティングディフュージョン３６０の信号電位を出力配線３６１へ伝送させる。これが基準電位になる。その後、所定時間後にさらにフローティングディフュージョン３６０の電位を出力線３６１に伝送させる。これが信号電位になる。こうして得た２つの出力線の信号からＣＤＳ処理を行う。つまり、信号電位から基準電位を除く。その後、さらにアナログアンプ等の読み出し回路、ＡＤＣを経た信号がバッファメモリ１２０へ出力される（第２信号の出力）。 While the transfer transistor 351 is turned off and the photodiode 311 is accumulating charge (the shaded period), the control circuit 250 performs the process for outputting the second signal as indicated by the dotted line. Run. That is, the control circuit 250 sequentially applies a reset pulse to the reset transistor 353 row by row from the top row to the bottom row to reset the floating diffusion 360 . After that, the reset transistor 353 is turned off, a selection pulse is applied to the selection transistor 355 , and the signal potential of the floating diffusion 360 is transmitted to the output wiring 361 . This becomes the reference potential. After that, after a predetermined time, the potential of the floating diffusion 360 is further transmitted to the output line 361 . This becomes the signal potential. CDS processing is performed from the signals of the two output lines thus obtained. That is, the reference potential is removed from the signal potential. After that, a signal that has passed through a reading circuit such as an analog amplifier and an ADC is output to the buffer memory 120 (output of the second signal).

第２信号の出力は、転送トランジスタ３５１がオフのままの転送を行わない状態で通常の読み出し操作を行ったことを意味する。フローティングディフュージョン３６０をほぼ同じタイミングで２回読みだしてＣＤＳ処理をするから、全ての画素で０になるはずである。ところが実際には、画素ごとに０のレベルがそろっていない信号が得られる。これは、増幅トランジスタ３５４以降の回路の特性にばらつきがあり、信号が通った経路に応じて異なった値になるからである。 The output of the second signal means that a normal read operation has been performed while the transfer transistor 351 remains off and no transfer is performed. Since the floating diffusion 360 is read twice at approximately the same timing and CDS processing is performed, all pixels should be 0. In practice, however, signals with different 0 levels are obtained for each pixel. This is because the characteristics of the circuit after the amplifying transistor 354 vary, and the value varies depending on the route through which the signal passes.

予め定められた電荷蓄積時間（＝シャッタ時間）が経過したら、制御回路２５０は、実線で示すように、先頭行から末尾行へ向かって行ごとに、蓄積された電荷に応じた第１信号を出力配線３６１へ伝送させる。まず、リセットトランジスタ３５３を短時間オンにして、フローティングディフュージョン３６０をリセットする。リセットトランジスタ３５３をオフにし、選択トランジスタ３５５をオンにして、基準電位を出力配線３６１へ伝送させる。次に、制御回路２５０の制御により各画素部３０１は、転送トランジスタ３５１をオンにし、蓄積された電荷をフローティングディフュージョン３６０へ転送し、選択トランジスタ３５５に選択パルスが印加されたタイミングで、フローティングディフュージョン３６０の信号電位を出力配線３６１へ伝送させる。これが信号電位になる。電送させた２つの信号からＣＤＳ処理を行い、アナログアンプ等の読み出し回路、ＡＤＣを経た信号がバッファメモリ１２０へ出力される。（第１信号の出力）。 After a predetermined charge accumulation time (=shutter time) has elapsed, the control circuit 250 outputs a first signal corresponding to the accumulated charge for each row from the top row to the bottom row, as indicated by the solid line. It is transmitted to the output wiring 361 . First, the reset transistor 353 is turned on for a short time to reset the floating diffusion 360 . The reset transistor 353 is turned off, the select transistor 355 is turned on, and the reference potential is transmitted to the output wiring 361 . Next, under the control of the control circuit 250 , each pixel unit 301 turns on the transfer transistor 351 to transfer the accumulated charge to the floating diffusion 360 . signal potential is transmitted to the output wiring 361 . This becomes the signal potential. CDS processing is performed on the two signals that have been transmitted, and signals that have passed through a reading circuit such as an analog amplifier and an ADC are output to the buffer memory 120 . (Output of first signal).

補正部としての機能を担う画像処理部１３０は、出力配線３６１ごとに第１信号と第２信号を保持する電位保持部を有している。画像処理部１３０は、読み出した画素部３０１の位置に対応する補正係数αを制御部１５０から取得し、第１信号の信号量から、第２信号の信号量に補正係数αを乗じた補正量を差し引くことにより画素信号を生成する。生成された画素信号は、制御部１５０へ出力される。なお、制御部１５０は、画素部３０１の位置に加え、設定されているアナログゲイン、電荷蓄積時間、および温度センサ２４０で測定された温度に対応する補正係数αを、画像処理部１３０へ与える。 The image processing unit 130 functioning as a correction unit has a potential holding unit that holds the first signal and the second signal for each output wiring 361 . The image processing unit 130 acquires the correction coefficient α corresponding to the readout position of the pixel unit 301 from the control unit 150, and obtains the correction amount obtained by multiplying the signal amount of the second signal by the correction coefficient α from the signal amount of the first signal. A pixel signal is generated by subtracting . The generated pixel signal is output to the control section 150 . In addition to the position of the pixel unit 301 , the control unit 150 provides the image processing unit 130 with the set analog gain, the charge accumulation time, and the correction coefficient α corresponding to the temperature measured by the temperature sensor 240 .

図１０は、動画撮影動作の第２例に係る動作概念図である。第２例は、図９の第１例よりも電荷蓄積時間が短い場合である。例えば、第１例の電荷蓄積時間が１／６０秒である場合に、第２例の電荷蓄積時間は１／１２０秒である。第１例においては、第１信号の出力処理を実行している間に、第２信号の出力処理を完了させることにより、第１信号の読出しタイミングと第２信号の読出しタイミングが同一列上で重ならないようにした。しかし、電荷蓄積時間が短くなってくると、このような処理では第１信号の読出しタイミングと第２信号の読出しタイミングが同一列上で重なってしまう。そこで、制御回路２５０は、１フレーム期間において、まず先に第２信号の出力処理を実行し、第２信号の読出しタイミングと第１信号の読出しタイミングが同一列上で重ならないように、第１信号の出力処理を実行する。すなわち、第２信号の出力処理を、当該画素部３０１における非電荷蓄積時間に行う。 FIG. 10 is an operation conceptual diagram according to a second example of moving image shooting operation. A second example is a case in which the charge accumulation time is shorter than that of the first example shown in FIG. For example, if the charge accumulation time in the first example is 1/60 second, the charge accumulation time in the second example is 1/120 second. In the first example, by completing the output processing of the second signal while the output processing of the first signal is being executed, the read timing of the first signal and the read timing of the second signal are synchronized on the same column. I tried not to overlap. However, as the charge accumulation time becomes shorter, in such processing, the readout timing of the first signal and the readout timing of the second signal overlap on the same column. Therefore, in one frame period, the control circuit 250 executes output processing of the second signal first, and controls the readout timing of the second signal and the readout timing of the first signal so as not to overlap on the same column. Perform signal output processing. That is, output processing of the second signal is performed during the non-charge accumulation time of the pixel portion 301 .

例えば図中の時間軸に垂直な破線で示すように、先行するフレーム期間において末尾行の第１信号の読み出しが完了したら、次のフレーム期間において先頭行の第２信号の読出し処理を開始する。このように処理することによっても、１フレーム期間内において各画素部３０１に第１信号と第２信号を出力させることができる。すなわち、第１読出し回路２２１および第２読出し回路２２２は、第１例と同様に、各画素部３０１の画素信号を生成することができる。 For example, as indicated by the dashed line perpendicular to the time axis in the figure, when the readout of the first signal of the last row is completed in the preceding frame period, the readout process of the second signal of the first row is started in the next frame period. This processing also allows each pixel unit 301 to output the first signal and the second signal within one frame period. That is, the first readout circuit 221 and the second readout circuit 222 can generate the pixel signal of each pixel portion 301 as in the first example.

図１１は、動画撮影動作の第３例に係る動作概念図である。第３例は、図９の第１例のような長時間の電荷蓄積を実行するフレーム期間と、図１０の第２例のような短時間の電荷蓄積を実行するフレーム期間が交互に繰り返される場合である。電荷蓄積時間の長いフレーム期間をＬｏｎｇフレーム期間、電荷蓄積時間の短いフレーム期間をＳｈｏｒｔフレーム期間と称すると、Ｌｏｎｇフレーム期間で出力されたフレーム画像とＳｈｏｒｔフレーム期間で出力されたフレーム画像に、いわゆるＨＤＲ処理を施して合成することにより、ダイナミックレンジの広い画像を得ることができる。 FIG. 11 is an operation conceptual diagram according to a third example of moving image shooting operation. In the third example, a frame period for executing charge accumulation for a long time like the first example in FIG. 9 and a frame period for executing charge accumulation for a short time like the second example in FIG. 10 are alternately repeated. is the case. Assuming that a frame period with a long charge accumulation time is called a Long frame period and a frame period with a short charge accumulation time is called a Short frame period, a frame image output in the Long frame period and a frame image output in the Short frame period have a so-called HDR. An image with a wide dynamic range can be obtained by processing and synthesizing the images.

第３例において制御回路２５０は、上述の第１例の制御と第２例の制御を交互に繰り返す。ただし、図中の時間軸に垂直な破線で示すように、先行するＬｏｎｇフレーム期間において末尾行の第１信号の読み出しが完了したら、続くＳｈｏｒｔフレーム期間において先頭行の第２信号の読出し処理を開始する。このように処理することにより、Ｌｏｎｇフレーム期間に対応する画素信号と、Ｓｈｏｒｔフレーム期間に対応する画素信号とを出力させることができる。画像処理部１３０は、このように出力されたＬｏｎｇフレーム画像とＳｈｏｒｔフレーム画像を合成してＨＤＲフレーム画像を生成する。 In the third example, the control circuit 250 alternately repeats the control of the first example and the control of the second example. However, as indicated by the broken line perpendicular to the time axis in the figure, when the readout of the first signal of the last row is completed in the preceding Long frame period, the readout process of the second signal of the first row is started in the subsequent Short frame period. do. By performing such processing, it is possible to output pixel signals corresponding to the Long frame period and pixel signals corresponding to the Short frame period. The image processing unit 130 generates an HDR frame image by synthesizing the long frame image and the short frame image thus output.

次に、１フレーム期間のシェーディング補正処理の流れについて説明する。図１２は、１フレーム期間のシェーディング補正処理を示すフロー図である。制御部１５０は、ステップＳ１０１で、１フレーム期間の処理に先立ち、補正情報を取得する。具体的には、制御部１５０から設定されているアナログゲインおよび電荷蓄積時間を取得し、温度センサ２４０から現時点の温度を取得する。そして、ステップＳ１０２で、取得したアナログゲインが予め設定された閾値ゲイン以上であるか否かを判断する。 Next, the flow of shading correction processing for one frame period will be described. FIG. 12 is a flowchart showing shading correction processing for one frame period. In step S101, the control unit 150 acquires correction information prior to processing for one frame period. Specifically, the analog gain and charge accumulation time set by the control unit 150 are obtained, and the current temperature is obtained by the temperature sensor 240 . Then, in step S102, it is determined whether or not the acquired analog gain is equal to or greater than a preset threshold gain.

閾値以上でないと判断したらステップＳ１０３へ進み、制御部１５０は、全エリアに共通して適用する補正係数αを格納されたメモリから取得する。閾値以上であると判断したらステップＳ１０４へ進み、制御部１５０は、エリアごとに補正値を適用できるよう、それぞれの補正係数αを格納されたメモリから取得する。 If it is determined that it is not equal to or greater than the threshold value, the process proceeds to step S103, and the control unit 150 acquires the correction coefficient α commonly applied to all areas from the stored memory. If it is determined to be equal to or greater than the threshold, the process proceeds to step S104, and the control unit 150 acquires each correction coefficient α from the stored memory so that the correction value can be applied to each area.

ステップＳ１０５へ進むと、制御部１５０は、画像処理部１３０が実行する各画素のシェーディング補正処理に対し、ステップＳ１０３またはステップＳ１０４で取得した補正係数αを適宜供給する。１フレーム分のシェーディング補正処理が完了するとフローを終了する。 After proceeding to step S105, the control unit 150 appropriately supplies the correction coefficient α acquired in step S103 or step S104 to the shading correction processing of each pixel executed by the image processing unit . When the shading correction processing for one frame is completed, the flow ends.

第２の実施形態について説明する。第２の実施形態については、第１の実施形態の構成と異なる構成について説明する。特に言及しない構成は、第１の実施形態の構成と同様である。 A second embodiment will be described. Regarding the second embodiment, a configuration different from that of the first embodiment will be described. Configurations not specifically mentioned are the same as those of the first embodiment.

第２の実施形態における撮像装置１００の撮像センサ２００は、第１の実施形態の撮像センサ２００とは異なり、１フレーム期間に２回の読出しが可能な、いわゆる倍速駆動ができない。すなわち、１フレーム期間に１回のみの読出しが可能である。このような制限がある場合でも、電荷蓄積時間の長いＬｏｎｇフレーム期間で出力されたフレーム画像と電荷蓄積時間の短いＳｈｏｒｔフレーム期間で出力されたフレーム画像とを合成するフレーム合成を行うモードでは、上述のようなシェーディング補正処理が可能な場合がある。以下にその処理について説明する。 Unlike the imaging sensor 200 of the first embodiment, the imaging sensor 200 of the imaging apparatus 100 according to the second embodiment cannot perform so-called double-speed driving, which is capable of reading twice in one frame period. That is, it is possible to read only once in one frame period. Even if there is such a limitation, in the frame synthesis mode for synthesizing a frame image output in a long frame period with a long charge accumulation time and a frame image output in a short frame period with a short charge accumulation time, the above-described Shading correction processing such as is possible in some cases. The processing will be described below.

図１３は、フレーム合成を行う場合の通常処理時の動作概念図である。フレーム合成を行う場合は、通常処理時においては、電荷蓄積時間がＴＬ（例えば１／６０秒）のＬｏｎｇフレーム期間と、電荷蓄積時間がＴＳ（＜ＴＬ、例えば１／１２０秒）のＳｈｏｒｔフレーム期間とを交互に繰り返す。すなわち、制御回路２５０は、連続するフレーム期間のそれぞれにおいて、第１の電荷蓄積時間ＴＬにより画素部３０１のそれぞれに第１信号を出力させる第１フレーム制御と、第１の電荷蓄積時間ＴＬよりも短い第２の電荷蓄積時間ＴＳにより画素部３０１のそれぞれに第１信号を出力させる第２フレーム制御を交互に行う。 FIG. 13 is a conceptual diagram of operations during normal processing when performing frame synthesis. When frame synthesis is performed, during normal processing, a Long frame period with a charge accumulation time of T L (for example, 1/60 sec) and a Long frame period with a charge accumulation time of T S (<T L , for example, 1/120 sec) Short frame periods are alternately repeated. That is, the control circuit 250 performs the first frame control for outputting the first signal to each of the pixel portions 301 for the first charge accumulation time TL and the first charge accumulation time TL for each successive frame period. The second frame control is alternately performed to output the first signal to each of the pixel units 301 with the second charge accumulation time TS shorter than the second charge accumulation time Ts.

そして、本実施形態においては、画像処理部１３０は、バッファメモリ１２０でＬｏｎｇフレーム期間に対応する３フレームと、Ｓｈｏｒｔフレーム期間に対応する３フレームが蓄積されたら、これらを１フレームに合成する。このような合成処理により、フレームレートは低下するものの、低ノイズでダイナミックレンジの広い高品位の合成フレーム画像を生成することができる。 In this embodiment, when the buffer memory 120 accumulates three frames corresponding to the Long frame period and three frames corresponding to the Short frame period, the image processing unit 130 synthesizes them into one frame. Through such synthesis processing, a high-quality synthesized frame image with low noise and a wide dynamic range can be generated, although the frame rate is reduced.

図１３に示すように、通常処理時においては、第２信号を出力させるタイミングがない。そこで、制御回路２５０は、例えば制御部１５０から周期的に指示信号を受けた場合に、第２信号を読み出すシェーディング読出しを実行する。図１４は、フレーム合成を行う場合のシェーディング読出し時の動作概念図である。 As shown in FIG. 13, during normal processing, there is no timing to output the second signal. Therefore, the control circuit 250 performs shading reading for reading the second signal, for example, when receiving an instruction signal periodically from the control section 150 . FIG. 14 is a conceptual diagram of operations during shading readout when frame synthesis is performed.

図１４に示すように、制御回路２５０は、指示信号を受けた場合であっても、Ｌｏｎｇフレーム期間においては、電荷蓄積時間がＴＬである第１フレーム制御を実行する。一方で、３つあるＳｈｏｒｔフレーム期間の２つにおいては、第２の電荷蓄積時間ＴＳよりも長く第１の電荷蓄積時間ＴＬよりも短い第３の電荷蓄積時間ＴＭにより画素部３０１のそれぞれに第１信号を出力させる第３フレーム制御を実行する。そして、３つあるＳｈｏｒｔフレーム期間の残り１つは補正フレーム期間として、画素部３０１のそれぞれにリセット後のフローティングディフュージョンの電位を示す第２信号を出力させる第４フレーム制御を実行する。つまり、制御回路２５０は、制御部１５０の指示信号に従って、１つの合成フレーム画像を生成するために、第１フレーム制御（Ｌｏｎｇフレーム期間）→第３フレーム制御（Ｓｈｏｒｔフレーム期間）→第１フレーム制御（Ｌｏｎｇフレーム期間）→第３フレーム制御（Ｓｈｏｒｔフレーム期間）→第１フレーム制御（Ｌｏｎｇフレーム期間）→第４フレーム制御（補正フレーム期間）を順に実行する。 As shown in FIG. 14, the control circuit 250 executes the first frame control in which the charge accumulation time is TL during the Long frame period even when receiving the instruction signal. On the other hand, in two of the three short frame periods, the pixel unit 301 is charged by the third charge accumulation time TM that is longer than the second charge accumulation time TS and shorter than the first charge accumulation time TL . A third frame control is executed to output the first signal to each. Then, the remaining one of the three Short frame periods is set as a correction frame period, and the fourth frame control is executed to output the second signal indicating the potential of the floating diffusion after reset to each of the pixel units 301 . That is, the control circuit 250 performs the first frame control (Long frame period)→third frame control (Short frame period)→first frame control in order to generate one synthesized frame image according to the instruction signal from the control unit 150. (Long frame period)→3rd frame control (Short frame period)→1st frame control (Long frame period)→4th frame control (correction frame period) are executed in this order.

第１の実施形態においては、画像処理部１３０が、第１信号の信号量から、第２信号の信号量に補正係数αを乗じた補正量を差し引くことにより画素信号を生成した。第２の実施形態においても、画像処理部１３０が、バッファメモリ１２０に蓄えられたそれぞれのフレーム期間の出力信号に対してシェーディング補正処理を実行する。 In the first embodiment, the image processing unit 130 generates the pixel signal by subtracting the correction amount obtained by multiplying the signal amount of the second signal by the correction coefficient α from the signal amount of the first signal. Also in the second embodiment, the image processing unit 130 performs shading correction processing on the output signal of each frame period stored in the buffer memory 120 .

具体的には、画像処理部１３０は、対応する画素同士において、第１フレーム制御で出力された第１信号の信号量から、第４フレーム制御で出力された第２信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。同様に、対応する画素同士において、第３フレーム制御で出力された第１信号の信号量から、第４フレーム制御で出力された第２信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。このように補正された５つのフレーム画像を合成すると、シェーディング補正が施された合成フレーム画像を得ることができる。 Specifically, the image processing unit 130 shifts the pixel position from the signal amount of the first signal output under the first frame control to the signal amount of the second signal output under the fourth frame control between the corresponding pixels. The pixel value of the pixel is determined by subtracting the correction amount multiplied by the correction coefficient α corresponding to the charge accumulation time or the like. Similarly, between corresponding pixels, the signal amount of the first signal output in the third frame control corresponds to the signal amount of the second signal output in the fourth frame control, such as the pixel position and the charge accumulation time. The pixel value of the pixel is determined by subtracting the correction amount multiplied by the correction coefficient α. By synthesizing the five frame images corrected in this manner, a synthesized frame image to which shading correction has been applied can be obtained.

第４フレーム制御で得られた各画素の第２信号をバッファメモリ１２０で記憶しておけば、図１３を用いて説明した通常処理時のフレーム画像に対してもシェーディング補正処理を施すことができる。具体的には、画像処理部１３０は、対応する画素同士において、通常処理時の第１フレーム制御で出力された第１信号の信号量から、シェーディング読出し時の第４フレーム制御で出力された第２信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。同様に、対応する画素同士において、通常処理時の第２フレーム制御で出力された第１信号の信号量から、シェーディング読出し時の第４フレーム制御で出力された第２信号の信号量に画素位置や電荷蓄積時間などに対応する補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。このように補正された６つのフレーム画像を合成すると、通常処理時においても、シェーディング補正が施された合成フレーム画像を得ることができる。 By storing the second signal of each pixel obtained by the fourth frame control in the buffer memory 120, the shading correction process can be applied to the frame image during the normal processing described with reference to FIG. . Specifically, the image processing unit 130 converts the signal amount of the first signal output under the first frame control during normal processing between the corresponding pixels to the first signal output under the fourth frame control during shading readout. The pixel value of the pixel is determined by subtracting the correction amount obtained by multiplying the signal amount of the two signals by the correction coefficient α corresponding to the pixel position, the charge accumulation time, and the like. Similarly, between corresponding pixels, the signal amount of the first signal output by the second frame control during normal processing is changed to the signal amount of the second signal output by the fourth frame control during shading readout. The pixel value of the pixel is determined by subtracting the correction amount multiplied by the correction coefficient α corresponding to the charge accumulation time or the like. By synthesizing the six frame images corrected in this manner, it is possible to obtain a synthesized frame image subjected to shading correction even during normal processing.

通常処理時における１つの合成フレームは、第１フレーム制御による３つのＬｏｎｇフレーム画像と第２フレーム制御による３つのＳｈｏｒｔフレーム画像が合成されるので、その電荷蓄積時間の合計は、３×ＴＬ＋３×ＴＳとなる。一方、シェーディング読出し時における１つの合成フレームは、第１フレーム制御による３つのＬｏｎｇフレーム画像と第３フレーム制御による２つのＳｈｏｒｔフレーム画像が合成されるので、その電荷蓄積時間の合計は、３×ＴＬ＋２×ＴＭとなる。したがって、３×ＴＳ≠２×ＴＭである場合には、輝度調整を行わない限り、合成フレーム間で輝度のばらつきが生じる。 Since one composite frame during normal processing is composed of three long frame images under the first frame control and three short frame images under the second frame control, the total charge accumulation time is 3×T L +3. × TS . On the other hand, one composite frame during shading readout is composed of three long frame images under the first frame control and two short frame images under the third frame control. L +2× TM . Therefore, if 3×T S ≠2×T M , brightness variations will occur between synthesized frames unless brightness adjustment is performed.

そこで、通常処理時における３つのＳｈｏｒｔフレーム期間をシェーディング読出し時には２つのＳｈｏｒｔフレーム期間と１つの補正フレーム期間に変更する場合には、ＴＭ＝（３／２）×ＴＳとすると良い。このように電荷蓄積時間を調整すれば、３×ＴＳ＝２×ＴＭとすることができる。すなわち、合成フレーム間の輝度のばらつきをほぼなくすことができる。換言すれば、第３の電荷蓄積時間ＴＭは、第４フレーム制御を行うことによって不足する電荷蓄積時間に基づいて決定されれば、合成フレーム間の輝度のばらつきをほぼなくすことができる。 Therefore, when changing the three short frame periods during normal processing to two short frame periods and one correction frame period during shading readout, it is preferable to set T M =(3/2)×T S . By adjusting the charge accumulation time in this manner, 3×T S =2×T M can be obtained. That is, it is possible to substantially eliminate variations in luminance between synthesized frames. In other words, if the third charge accumulation time TM is determined based on the charge accumulation time that is insufficient due to the fourth frame control, it is possible to substantially eliminate variations in brightness between synthesized frames.

なお、上述の例では、６つのフレーム期間を合成１フレームの単位期間としたが、それ以上であっても良い。例えば８つのフレーム期間を合成１フレームの単位期間とする場合は、通常処理時においては、第１フレーム制御によって得られる４つのＬｏｎｇフレーム画像と第２フレーム制御によって得られる４つのＳｈｏｒｔフレーム画像が合成される。また、シェーディング読出し時には、第１フレーム制御によって得られる４つのＬｏｎｇフレーム画像と第３フレーム制御によって得られる３つのＳｈｏｒｔフレーム画像が合成される。補正フレーム期間においては、上述と同様に第４フレーム制御により各画素から第２信号が出力される。 In the above example, six frame periods are used as a unit period of one composite frame, but more than six frame periods may be used. For example, when eight frame periods are used as a unit period of one synthesized frame, four long frame images obtained by the first frame control and four short frame images obtained by the second frame control are synthesized during normal processing. be done. Further, during shading readout, four long frame images obtained by the first frame control and three short frame images obtained by the third frame control are synthesized. During the correction frame period, the second signal is output from each pixel by the fourth frame control in the same manner as described above.

制御部１５０は、指示信号を制御回路２５０へ、例えば合成１フレームの２単位期間ごとに送信する。この場合、制御回路２５０は、通常処理とシェーディング読出しを単位期間ごとに交互に実行する。あるいは、制御部１５０は、シェーディングが変化し得る要因の発生に基づいて制御回路２５０へ指示信号を送信するようにしても良い。例えば、温度センサ２４０が検出する温度の変化が閾値を超えるごとに指示信号を送信するようにしても良い。また、指示信号は、制御部１５０が生成させるのではなく、制御回路２５０が自身で生成するようにしても良い。また、以上の説明においては、シェーディング補正処理をバッファメモリ１２０で行ったが、撮像センサ２００が数フレーム分のフレームバッファメモリを備えるのであれば、シェーディング補正処理を撮像センサ２００内で行っても良い。 The control unit 150 transmits an instruction signal to the control circuit 250, for example, every two unit periods of one combined frame. In this case, the control circuit 250 alternately executes normal processing and shading read every unit period. Alternatively, the control section 150 may transmit an instruction signal to the control circuit 250 based on occurrence of a factor that may change shading. For example, an instruction signal may be transmitted each time a change in temperature detected by the temperature sensor 240 exceeds a threshold. Also, the instruction signal may be generated by the control circuit 250 itself instead of being generated by the control unit 150 . Also, in the above description, the shading correction process is performed in the buffer memory 120, but the shading correction process may be performed in the image sensor 200 if the image sensor 200 has a frame buffer memory for several frames. .

また、補正フレーム期間は、合成１フレームの単位期間の最後でなくても良く、いずれかのＳｈｏｒｔフレーム期間を置き換えれば良い。更には、補正フレーム期間で取得された第２信号は、上述のようにそれまでのフレーム期間で取得された第１信号のシェーディング補正処理に用いるのではなく、その後のフレーム期間で取得される第１信号のシェーディング補正処理に用いても良い。その場合、第１読出し回路２２１および第２読出し回路２２２が備える電位保持部で第２信号を一定期間保持すれば、その後のフレーム期間ごと更新される第１信号に対してシェーディング補正処理を第１読出し回路２２１および第２読出し回路２２２で実行することができる。第２信号は、第４フレーム制御が実行されるたびに更新される。 Also, the correction frame period does not have to be the last of the unit periods of one synthesized frame, and may replace any of the Short frame periods. Furthermore, the second signal acquired in the correction frame period is not used for the shading correction processing of the first signal acquired in the previous frame period as described above, but the second signal acquired in the subsequent frame period is used. It may be used for shading correction processing of one signal. In this case, if the potential holding units included in the first readout circuit 221 and the second readout circuit 222 hold the second signal for a certain period of time, the shading correction process is performed on the first signal updated every subsequent frame period. It can be implemented in the readout circuit 221 and the second readout circuit 222 . The second signal is updated each time the fourth frame control is executed.

次に、１つの合成フレーム画像を生成するまでの処理の流れについて説明する。図１５は、フレーム合成を行う場合のフレーム合成処理を示すフロー図である。制御回路２５０は、ステップＳ２０１で、指示信号を受け取ったか否かを確認する。指示信号を受け取っていない場合には、通常処理を行うべくステップＳ２０２へ進む。指示信号を受け取った場合には、シェーディング読出しの処理を行うべくステップＳ２０９へ進む。 Next, the flow of processing up to the generation of one combined frame image will be described. FIG. 15 is a flowchart showing frame synthesis processing when performing frame synthesis. The control circuit 250 confirms whether or not an instruction signal has been received in step S201. If no instruction signal has been received, the process proceeds to step S202 to perform normal processing. If the instruction signal has been received, the process proceeds to step S209 to perform shading readout processing.

ステップＳ２０２へ進むと、制御回路２５０は、Ｌｏｎｇフレーム期間において第１フレーム制御を実行し、Ｌｏｎｇフレーム画像を得る。続いてステップＳ２０３へ進み、Ｓｈｏｒｔフレーム期間において第２フレーム制御を実行し、Ｓｈｏｒｔフレーム画像を得る。制御回路２５０は、ステップＳ２０４でカウント変数ｎをインクリメントし、ステップＳ２０５で、カウント変数ｎが予め定められたｎ０に到達したか否かを判断する。到達していないと判断したら、ステップＳ２０２へ戻り、第１フレーム制御と第２フレーム制御を繰り返す。到達していると判断したら、ステップＳ２０６へ進む。なお、ｎ０は、３つのＬｏｎｇフレーム画像と３つのＳｈｏｒｔフレーム画像を合成する場合にはｎ０＝３であり、４つのＬｏｎｇフレーム画像と４つのＳｈｏｒｔフレーム画像を合成する場合にはｎ０＝４である。 Proceeding to step S202, the control circuit 250 executes the first frame control in the Long frame period to obtain a Long frame image. Subsequently, the process proceeds to step S203, the second frame control is executed in the short frame period, and a short frame image is obtained. The control circuit 250 increments the count variable n in step S204, and determines whether the count variable n has reached a predetermined n0 in step S205. If it is determined that it has not reached, the process returns to step S202 to repeat the first frame control and the second frame control. If it is determined that it has reached, the process proceeds to step S206. Note that n 0 is n 0 =3 when combining three long frame images and three short frame images, and n 0 = when combining four long frame images and four short frame images. 4.

ステップＳ２０６へ進むと、画像処理部１３０は、バッファメモリ１２０に蓄積されたＬｏｎｇフレーム画像とＳｈｏｒｔフレーム画像に対して、シェーディング補正処理を実行する。具体的には、それぞれのフレーム画像の各画素の第１信号量から、すでに実行された第４フレーム制御によって取得され記憶されている対応画素の第２信号の信号量に諸条件に合わせて選択された補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。画像処理部１３０は、続くステップＳ２０７で、シェーディング補正処理が施された各フレーム画像を合成して１つの合成フレーム画像を生成する。合成フレーム画像を生成したら、ステップＳ２０８へ進み、カウント変数ｎをリセットして終了する。 Proceeding to step S<b>206 , the image processing unit 130 executes shading correction processing on the long frame images and short frame images accumulated in the buffer memory 120 . Specifically, from the first signal amount of each pixel of each frame image, the signal amount of the second signal of the corresponding pixel acquired and stored by the already executed fourth frame control is selected according to various conditions. The pixel value of the pixel is determined by subtracting the correction amount multiplied by the correction coefficient α. In the subsequent step S207, the image processing unit 130 synthesizes the frame images subjected to the shading correction processing to generate one synthesized frame image. After generating the composite frame image, the process proceeds to step S208, resets the count variable n, and terminates.

一方、ステップＳ２０９へ進むと、制御回路２５０は、Ｌｏｎｇフレーム期間において第１フレーム制御を実行し、Ｌｏｎｇフレーム画像を得る。続いてステップＳ２１０へ進み、Ｓｈｏｒｔフレーム期間において第３フレーム制御を実行し、Ｓｈｏｒｔフレーム画像を得る。制御回路２５０は、ステップＳ２１１でカウント変数ｎをインクリメントし、ステップＳ２１２で、カウント変数ｎが予め定められたｎ０に対してｎ０－１に到達したか否かを判断する。到達していないと判断したら、ステップＳ２０９へ戻り、第１フレーム制御と第３フレーム制御を繰り返す。到達していると判断したら、ステップＳ２１３へ進む。制御回路２５０は、ステップＳ２１３へ進むと、更に第１フレーム制御を実行し、Ｌｏｎｇフレーム画像を得る。続いてステップＳ２１４へ進み、補正フレーム期間として第４フレーム制御を実行し、各画素から第２信号を得る。 On the other hand, when proceeding to step S209, the control circuit 250 executes the first frame control in the Long frame period to obtain a Long frame image. Subsequently, the process proceeds to step S210, the third frame control is executed in the short frame period, and a short frame image is obtained. The control circuit 250 increments the count variable n in step S211, and determines in step S212 whether the count variable n has reached n 0 −1 with respect to a predetermined n 0 . If it is determined that it has not reached, the process returns to step S209, and the first frame control and the third frame control are repeated. If it is determined that it has reached, the process proceeds to step S213. When proceeding to step S213, the control circuit 250 further executes the first frame control to obtain a long frame image. Subsequently, the process proceeds to step S214, the fourth frame control is executed as the correction frame period, and the second signal is obtained from each pixel.

ステップＳ２１５へ進むと、画像処理部１３０は、バッファメモリ１２０に蓄積されたＬｏｎｇフレーム画像とＳｈｏｒｔフレーム画像に対して、シェーディング補正処理を実行する。具体的には、それぞれのフレーム画像の各画素の第１信号量から、ステップＳ２１４の第４フレーム制御によって取得された対応画素の第２信号の信号量に諸条件に合わせて選択された補正係数αを乗じた補正量を差し引いて、当該画素の画素値を確定する。画像処理部１３０は、続くステップＳ２１５で、シェーディング補正処理が施された各フレーム画像を合成して１つの合成フレーム画像を生成する。合成フレーム画像を生成したら、ステップＳ２０８へ進み、カウント変数ｎをリセットして終了する。 Proceeding to step S<b>215 , the image processing unit 130 executes shading correction processing on the long frame images and short frame images accumulated in the buffer memory 120 . Specifically, from the first signal amount of each pixel of each frame image, the correction coefficient selected according to various conditions to the signal amount of the second signal of the corresponding pixel acquired by the fourth frame control in step S214. The pixel value of the pixel is determined by subtracting the correction amount multiplied by α. In the subsequent step S215, the image processing unit 130 synthesizes the frame images subjected to the shading correction process to generate one synthesized frame image. After generating the composite frame image, the process proceeds to step S208, resets the count variable n, and terminates.

第３の実施形態について説明する。第３の実施形態については、第１の実施形態の構成と異なる構成について説明する。特に言及しない構成は、第１の実施形態の構成と同様である。 A third embodiment will be described. A configuration of the third embodiment that is different from the configuration of the first embodiment will be described. Configurations not specifically mentioned are the same as those of the first embodiment.

第３の実施形態における撮像装置１００の撮像センサ２００は、第１の実施形態の撮像センサ２００とは異なり、受光領域２１２に点在する遮光画素を有する。図１６は、受光領域２１２に遮光画素４１０を含む撮像センサ２００の概略図である。遮光画素４１０は、入射光を遮断する遮断部を有しており、入射光は、遮光画素４１０のフォトダイオード３１１へは到達しない。それぞれの遮光画素４１０は、周囲を通常画素４００に囲まれている。通常画素４００は、フォトダイオード３１１へ到達する入射光を光電変換する画素である。遮光画素４１０は、図３を用いて説明したように、通常画素４００と同様の回路構成を有する。したがって、遮光画素４１０も、読出し回路２２１および第２読出し回路２２２を介して、通常画素４００と同様の読出し制御を受ける。 The imaging sensor 200 of the imaging device 100 according to the third embodiment has light-shielding pixels scattered in the light receiving region 212, unlike the imaging sensor 200 according to the first embodiment. FIG. 16 is a schematic diagram of an image sensor 200 that includes light-shielded pixels 410 in light-receiving areas 212 . The light-shielding pixel 410 has a blocking portion that blocks incident light, and the incident light does not reach the photodiode 311 of the light-shielding pixel 410 . Each light-shielding pixel 410 is surrounded by normal pixels 400 . The normal pixel 400 is a pixel that photoelectrically converts incident light reaching the photodiode 311 . The light-shielded pixel 410 has a circuit configuration similar to that of the normal pixel 400, as described with reference to FIG. Therefore, the light-shielded pixel 410 also receives readout control similar to that of the normal pixel 400 via the readout circuit 221 and the second readout circuit 222 .

図１７は、撮像センサ２００の受光領域２１２における受光面近傍の断面図である。本実施形態においては、撮像センサ２００を裏面照射型のＭＯＳイメージセンサとして説明する。入射光は主に白抜き矢印で示す方向へ向かって入射する。 FIG. 17 is a cross-sectional view of the vicinity of the light receiving surface in the light receiving area 212 of the imaging sensor 200. As shown in FIG. In this embodiment, the imaging sensor 200 will be described as a back-illuminated MOS image sensor. Incident light enters mainly in the direction indicated by the white arrow.

フォトダイオード層５０６は、配線層５０８より入射光側に配されている。フォトダイオード層５０６は、二次元的に配された複数のフォトダイオード５０４、および、フォトダイオード５０４に対応して設けられたトランジスタ５０５を有する。フォトダイオード５０４は、図３の回路構成図で示したフォトダイオード３１１に対応し、トランジスタ５０５は、転送トランジスタ３５１等に対応する。 The photodiode layer 506 is arranged on the incident light side with respect to the wiring layer 508 . The photodiode layer 506 has a plurality of photodiodes 504 arranged two-dimensionally and transistors 505 provided corresponding to the photodiodes 504 . The photodiode 504 corresponds to the photodiode 311 shown in the circuit diagram of FIG. 3, and the transistor 505 corresponds to the transfer transistor 351 and the like.

フォトダイオード層５０６の入射光側にはパッシベーション膜５０３を介してフィルタ層５０２が設けられている。それぞれのフォトダイオード５０４は、一つの画素を構成する。そのうち、図において、カラーフィルタ５０２ａが設けられた画素が通常画素４００であり、入射光を遮断する不透過の遮光フィルタ５０２ｂが設けられた画素が遮光画素４１０である。カラーフィルタ５０２ａは、互いに異なる波長領域を透過する複数の種類（例えば、赤、青、緑の３種類）を有しており、フォトダイオード５０４のそれぞれに対応して特定の配列を有している。 A filter layer 502 is provided on the incident light side of the photodiode layer 506 with a passivation film 503 interposed therebetween. Each photodiode 504 constitutes one pixel. In the figure, the pixels provided with the color filters 502a are the normal pixels 400, and the pixels provided with the opaque light-shielding filters 502b for blocking incident light are the light-shielding pixels 410. FIG. The color filters 502a have a plurality of types (for example, three types of red, blue, and green) that transmit wavelength regions different from each other, and have a specific arrangement corresponding to each of the photodiodes 504. .

フィルタ層５０２の入射光側には、それぞれの画素に対応して、マイクロレンズ５０１が設けられる。マイクロレンズ５０１は、対応するフォトダイオード５０４へ向けて入射光を集光する。遮光画素４１０は、入射光をフォトダイオード５０４へ到達させないので、マイクロレンズ５０１が設けられていなくても良い。配線層５０８は、フォトダイオード層５０６からの信号を読出し回路２２１または第２読出し回路２２２へ伝送する配線５０７を有する。配線５０７は多層であってもよい。 A microlens 501 is provided on the incident light side of the filter layer 502 so as to correspond to each pixel. Microlenses 501 focus incident light toward corresponding photodiodes 504 . Since the light-shielding pixel 410 does not allow incident light to reach the photodiode 504, the microlens 501 may not be provided. The wiring layer 508 has wiring 507 for transmitting signals from the photodiode layer 506 to the readout circuit 221 or the second readout circuit 222 . The wiring 507 may be multi-layered.

本実施形態における撮像センサ２００は、第１の実施形態および第２の実施形態における撮像センサ２００のように同一画素に第１信号と第２信号を出力させるのではなく、遮光画素４１０の出力信号を利用して、通常画素４００の出力信号を補正する。遮光画素４１０の出力は、図４および図５において実線で示した遮光時のシェーディングに相当する。そこで、通常画素４００の出力信号（＝第１信号）の信号量から、近傍の遮光画素４１０が出力する出力信号の信号量を差し引くことにより、シェーディング補正された当該通常画素４００の画素信号を得る。なお、フレーム画像としては、遮光画素４１０の位置に対応する画素値が欠落するが、周囲の通常画素の画素値を用いて補間処理により埋め合わせれば良い。 Unlike the image sensor 200 in the first and second embodiments, the image sensor 200 according to the present embodiment outputs the first signal and the second signal from the same pixel. is used to correct the output signal of the normal pixel 400 . The output of the light-shielded pixel 410 corresponds to shading when light is shielded indicated by solid lines in FIGS. Therefore, by subtracting the signal amount of the output signal output by the neighboring light-shielded pixel 410 from the signal amount of the output signal (=first signal) of the normal pixel 400, the pixel signal of the normal pixel 400 subjected to shading correction is obtained. . As for the frame image, the pixel value corresponding to the position of the light-shielded pixel 410 is missing, but the pixel value of the surrounding normal pixels may be used to compensate for the missing pixel value by interpolation processing.

図１８は、遮光画素４１０と受光領域２１２のエリア分割の関係を示す図である。図示するように、矩形である受光領域２１２を横ｍ（図の例ではｍ＝４）、縦ｎ（図の例ではｎ＝３）のｍ×ｎ個のエリアに分割する。任意のエリアをＲｉ，ｊ（１≦ｉ≦ｍ，１≦ｊ≦ｎ）と表わす。それぞれのエリアの中心付近には遮光画素４１０が配置されている。換言すると、遮光画素４１０の位置に応じて受光領域２１２のエリアが分割されている。 FIG. 18 is a diagram showing the relationship between the area division of the light-shielding pixels 410 and the light-receiving regions 212. As shown in FIG. As shown, a rectangular light receiving region 212 is divided into m×n areas of m horizontal (m=4 in the example shown in the figure) and n vertical (n=3 in the example shown in the figure). An arbitrary area is denoted by R i,j (1≤i≤m, 1≤j≤n). A light-shielding pixel 410 is arranged near the center of each area. In other words, the area of the light receiving region 212 is divided according to the positions of the light shielded pixels 410 .

各エリアに属するそれぞれの通常画素４００の出力信号は、同一エリアに属する遮光画素４１０の出力信号によってシェーディング補正処理が行われる。例えば、エリアＲ３，１に属する通常画素４００の出力信号は、同じくエリアＲ３，１に属する遮光画素４１０の出力信号によってシェーディング補正処理が行われる。なお、エリアの分割は、図７の例や、図８の例に倣っても良い。 The output signals of the normal pixels 400 belonging to each area are subjected to shading correction processing using the output signals of the light-shielded pixels 410 belonging to the same area. For example, the output signal of the normal pixel 400 belonging to the area R 3,1 is subjected to shading correction processing by the output signal of the light-shielded pixel 410 also belonging to the area R 3,1 . Note that the area division may follow the example in FIG. 7 or the example in FIG.

図１９は、本実施形態におけるローリングシャッタ方式による動画撮影動作の動作概念図である。ここでは、図１１の例と同様に、電荷蓄積時間の長いＬｏｎｇフレーム期間で出力されたフレーム画像と電荷蓄積時間の短いＳｈｏｒｔフレーム期間で出力されたフレーム画像とを合成するフレーム合成を行う場合について説明する。 FIG. 19 is an operation conceptual diagram of moving image shooting operation by the rolling shutter method in this embodiment. Here, as in the example of FIG. 11, frame synthesis is performed to synthesize a frame image output in a long frame period with a long charge accumulation time and a frame image output in a short frame period with a short charge accumulation time. explain.

フレーム合成を行う場合は、電荷蓄積時間がＴＬ（例えば１／６０秒）のＬｏｎｇフレーム期間と、電荷蓄積時間がＴＳ（＜ＴＬ、例えば１／１２０秒）のＳｈｏｒｔフレーム期間とを交互に繰り返す。すなわち、制御回路２５０は、連続するフレーム期間のそれぞれにおいて、第１の電荷蓄積時間ＴＬにより画素部３０１のそれぞれに出力信号を出力させるＬｏｎｇフレーム制御と、第１の電荷蓄積時間ＴＬよりも短い第２の電荷蓄積時間ＴＳにより画素部３０１のそれぞれに出力信号を出力させるＳｈｏｒｔフレーム制御を交互に行う。 When performing frame synthesis, a Long frame period with a charge accumulation time T L (for example, 1/60 second) and a Short frame period with a charge accumulation time T S (<T L , for example, 1/120 second) are alternated. repeat to That is, the control circuit 250 performs Long frame control for outputting an output signal to each of the pixel units 301 with the first charge accumulation time TL in each successive frame period , and Short frame control is alternately performed to output an output signal to each of the pixel units 301 with a short second charge accumulation time TS .

Ｌｏｎｇフレーム制御において、遮光画素４１０は、通常画素４００と同じ電荷蓄積時間ＴＬのシェーディング信号を出力する。したがって、同じＬｏｎｇフレーム期間で出力された通常画素４００の出力信号の信号量から、同一エリアの遮光画素４１０が出力するシェーディング信号を差し引けば、シェーディングがほぼ除去された画素信号になる。Ｓｈｏｒｔフレーム制御において、遮光画素４１０は、通常画素４００と同じ電荷蓄積時間ＴＳのシェーディング信号を出力する。したがって、同じＳｈｏｒｔフレーム期間で出力された通常画素４００の出力信号の信号量から、同一エリアの遮光画素４１０が出力するシェーディング信号を差し引けば、シェーディングがほぼ除去された画素信号になる。 In Long frame control, the light-shielded pixel 410 outputs a shading signal with the same charge accumulation time TL as that of the normal pixel 400 . Therefore, by subtracting the shading signals output from the light-shielded pixels 410 in the same area from the signal amount of the output signals of the normal pixels 400 output in the same Long frame period, the pixel signals from which the shading is almost removed are obtained. In short frame control, the light-shielded pixel 410 outputs a shading signal with the same charge accumulation time T S as that of the normal pixel 400 . Therefore, by subtracting the shading signals output from the light-shielded pixels 410 in the same area from the signal amount of the output signals of the normal pixels 400 output in the same Short frame period, the pixel signals from which the shading is substantially removed are obtained.

ところで、遮光画素４１０の信号レベルが同一エリア内の通常画素４００のシェーディング分布の平均と異なる場合、シェーディング補正後でエリアごとにばらつきが生じる可能性がある。この場合、遮光画素４１０をエリアごとに複数用意し、その平均の信号値を求めるようにするとよい。または、あらかじめ同一エリア内の通常画素４００のシェーディングを測定しておき、その平均値と遮光画素４１０の信号値と比較することでエリアごとに補正係数βを求め、遮光画素４１０の信号値にその補正係数βをかけた数値をシェーディング補正に使うようにしてもよい。補正係数βは温度、アナログゲインに応じて設定すると、さらに好ましい。 By the way, if the signal level of the light-shielded pixels 410 differs from the average of the shading distribution of the normal pixels 400 in the same area, there is a possibility that variations will occur for each area after shading correction. In this case, it is preferable to prepare a plurality of light-shielded pixels 410 for each area and obtain the average signal value. Alternatively, the shading of the normal pixels 400 in the same area is measured in advance, and the average value is compared with the signal value of the light-shielded pixel 410 to obtain the correction coefficient β for each area. A numerical value multiplied by the correction coefficient β may be used for shading correction. It is more preferable to set the correction coefficient β according to the temperature and the analog gain.

そして、画像処理部１３０は、バッファメモリ１２０で蓄積されたＬｏｎｇフレーム期間に対応するフレームとＳｈｏｒｔフレーム期間に対応するフレームとを１フレームに合成する。このような合成処理により、低ノイズでダイナミックレンジの広い高品位の合成フレーム画像を生成することができる。 Then, the image processing unit 130 combines the frames corresponding to the Long frame period and the frames corresponding to the Short frame period accumulated in the buffer memory 120 into one frame. Through such synthesis processing, a high-quality synthesized frame image with low noise and a wide dynamic range can be generated.

本実施例においては、１エリアに１つの遮光画素４１０が含まれる場合を説明した。この場合、制御回路２５０は、遮光画素４１０の出力信号の変化を監視して、異常値を出力していないかを検出すると良い。例えば、他の遮光画素４１０が出力する出力信号と比較して極端に変化量が少ない場合や、全く異なる傾向の変化を示す場合には、制御回路２５０は、当該遮光画素４１０の出力信号を異常と判断する。制御回路２５０がある遮光画素４１０の出力信号を異常と判断した場合には、当該遮光画素４１０と同じエリアに属する通常画素４００の出力信号は、周囲のエリアに属する遮光画素４１０の出力信号を用いてシェーディング補正処理を実行すれば良い。なお、シェーディング補正処理は、読出し回路２２１および第２読出し回路２２２の電位保持部がこのような処理を実行できるように構成されている場合には、読出し回路２２１および第２読出し回路２２２が実行すれば良い。そうでない場合には、バッファメモリ１２０に蓄積されたフレーム画像に対して、画像処理部１３０が実行すれば良い。 In this embodiment, the case where one light-shielding pixel 410 is included in one area has been described. In this case, the control circuit 250 preferably monitors changes in the output signal of the light-shielded pixel 410 to detect whether an abnormal value is being output. For example, when the amount of change is extremely small compared to the output signal output by another light-shielded pixel 410, or when the change shows a completely different tendency, the control circuit 250 changes the output signal of the light-shielded pixel 410 to an abnormal state. I judge. When the control circuit 250 determines that the output signal of the light-shielded pixel 410 is abnormal, the output signal of the light-shielded pixel 410 belonging to the surrounding area is used as the output signal of the normal pixel 400 belonging to the same area as the light-shielded pixel 410. shading correction processing should be executed. Note that the shading correction process can be performed by the readout circuit 221 and the second readout circuit 222 if the potential holding units of the readout circuit 221 and the second readout circuit 222 are configured to be able to perform such processing. Good luck. Otherwise, the image processing section 130 may perform the processing on the frame images accumulated in the buffer memory 120 .

なお、１エリアに複数の遮光画素４１０を配置すれば、一方の出力信号が異常と判断された場合でも、他方の出力信号を用いることができる。また、撮像装置１００が三板式カメラである場合、すなわち赤色成分を出力するための撮像センサ、緑色成分を出力するための撮像センサ、青色成分を出力するための撮像センサをそれぞれ有する場合には、対応する画素同士が遮光画素とならないように配置すると良い。 By arranging a plurality of light-shielded pixels 410 in one area, even if one output signal is determined to be abnormal, the other output signal can be used. Further, when the imaging device 100 is a three-chip camera, that is, when it has an imaging sensor for outputting a red component, an imaging sensor for outputting a green component, and an imaging sensor for outputting a blue component, It is preferable that corresponding pixels are arranged so as not to be light-shielded pixels.

図２０は、本実施形態における１フレームのシェーディング補正処理を示すフロー図である。制御回路２５０は、ステップＳ３０１で、１フレーム期間の処理に先立ち、補正情報を取得する。そして、ステップＳ３０２で、シェーディング補正処理を行おうとする通常画素４００と同じエリアに含まれる遮光画素４１０の出力信号が異常であるか否かの異常判定を行う。異常でないと判断した場合はステップＳ３０３へ進み、当該遮光画素４１０の出力値を採用し、ステップＳ３０５でシェーディング補正処理をおこなう。 FIG. 20 is a flowchart showing shading correction processing for one frame in this embodiment. In step S301, the control circuit 250 acquires correction information prior to processing for one frame period. Then, in step S302, it is determined whether or not the output signal of the light-shielded pixel 410 included in the same area as the normal pixel 400 to be subjected to the shading correction process is abnormal. If it is determined that there is no abnormality, the process proceeds to step S303, the output value of the light-shielded pixel 410 is adopted, and shading correction processing is performed in step S305.

制御回路２５０は、ステップＳ３０２で異常であると判断した場合は、ステップＳ３０４へ進み、周囲にエリアに属する遮光画素４１０の出力値を用いる。ここでは、周囲のエリアのそれぞれに含まれる遮光画素４１０の出力値から、距離等の条件によって重み付け平均を算出し、算出した値を異常と判断した遮光画素４１０の推定出力値とする。ステップＳ３０５へ進んだら、この推定出力値を採用してシェーディング補正処理をおこなう。１フレーム分のシェーディング補正処理が完了するとフローを終了する。 When the control circuit 250 determines that there is an abnormality in step S302, the process proceeds to step S304, and the output values of the light-shielded pixels 410 belonging to the surrounding area are used. Here, from the output values of the light-shielded pixels 410 included in each surrounding area, a weighted average is calculated according to conditions such as distance, and the calculated value is used as the estimated output value of the light-shielded pixel 410 determined to be abnormal. After proceeding to step S305, shading correction processing is performed using this estimated output value. When the shading correction processing for one frame is completed, the flow ends.

第４の実施形態について説明する。第４の実施形態については、第１の実施形態の構成と異なる構成について説明する。特に言及しない構成は、第１の実施形態の構成と同様である。本実施形態においては、それぞれの画素に第２信号を出力させることなく、また、受光領域に遮光画素を設けることなくシェーディング補正処理を行う。以下にその処理について説明する。 A fourth embodiment will be described. A configuration of the fourth embodiment that is different from the configuration of the first embodiment will be described. Configurations not specifically mentioned are the same as those of the first embodiment. In this embodiment, shading correction processing is performed without causing each pixel to output the second signal and without providing a light-shielding pixel in the light receiving region. The processing will be described below.

上述のように撮像センサ２００は画素領域２１０にＯＢ領域２１１を有し、ＯＢ領域２１１に属する画素（以下では「ＯＢ画素」と記す）も、フレーム期間ごとに信号を出力する。しかし、ＯＢ領域２１１は、受光領域２１２の周囲を縁取るように設けられているので、フレーム期間ごとにＯＢ画素から出力された出力信号をもって、受光領域２１２に属するそれぞれの画素のシェーディングを直接的に推定することは難しい。 As described above, the image sensor 200 has the OB area 211 in the pixel area 210, and the pixels belonging to the OB area 211 (hereinafter referred to as "OB pixels") also output signals in each frame period. However, since the OB region 211 is provided so as to border the periphery of the light receiving region 212, the shading of each pixel belonging to the light receiving region 212 is directly controlled by the output signal output from the OB pixels in each frame period. is difficult to estimate.

一方、撮像センサ２００を製品として撮像装置１００へ組み込む前の段階で、撮像センサ２００の受光面を遮光して様々に条件を変えつつ、ＯＢ画素の出力と、受光領域２１２に属する通常画素の出力のデータを採取することはできる。具体的には、検出された温度、設定された増幅ゲインおよび電荷蓄積時間、ＯＢ画素の出力信号値、通常画素の出力信号値のデータセットを採取することができる。 On the other hand, before the imaging sensor 200 is assembled into the imaging device 100 as a product, the light receiving surface of the imaging sensor 200 is light-shielded and various conditions are changed, and the output of the OB pixels and the output of the normal pixels belonging to the light receiving region 212 are obtained. data can be collected. Specifically, a data set of the detected temperature, the set amplification gain and charge accumulation time, the output signal value of the OB pixel, and the output signal value of the normal pixel can be collected.

そこで、撮像センサ２００を製品として撮像装置１００へ組み込む前の段階で、当該撮像センサ２００を実際に駆動して上記のデータセットの教師データを多数用意し、事前の教師あり学習により学習済みモデルを生成する。生成される学習済みモデルは、ＯＢ画素の出力信号情報、検出された温度、設定された増幅ゲインおよび電荷蓄積時間を入力すると通常画素の出力信号に対する補正情報を出力する学習済みモデルである。 Therefore, before the imaging sensor 200 is incorporated into the imaging apparatus 100 as a product, the imaging sensor 200 is actually driven to prepare a large number of training data for the above data set, and a trained model is generated by pre-supervised learning. Generate. The generated trained model is a trained model that outputs correction information for the normal pixel output signal when the OB pixel output signal information, the detected temperature, the set amplification gain, and the charge accumulation time are input.

図２１は、教師データの採取状況を示す概念図である。図示するように撮像センサ２００は、制御基板６１０に接続されている。制御基板６１０は、工具ＰＣ６１０に接続されている。撮像センサ２００は、制御基板６１０を介して、工具ＰＣ６１０によって制御され、出力信号等を工具ＰＣ６１０へ送信する。撮像センサ２００は、制御基板６１０と共に外光を遮断する暗箱６２０に収容されている。したがって、撮像センサ２００は、入射光を受けることなく駆動される。なお、暗箱６２０は、撮像装置１００の構造を模して、放熱特性等の条件を撮像装置１００に整合させても良い。 FIG. 21 is a conceptual diagram showing how teacher data is collected. The imaging sensor 200 is connected to the control board 610 as shown. The control board 610 is connected to the tool PC610. The imaging sensor 200 is controlled by the tool PC 610 via the control board 610 and transmits output signals and the like to the tool PC 610 . The imaging sensor 200 is housed in a dark box 620 that blocks external light together with the control board 610 . Therefore, the imaging sensor 200 is driven without receiving incident light. It should be noted that the dark box 620 may mimic the structure of the imaging device 100 and match the conditions such as heat radiation characteristics with the imaging device 100 .

具体的には、工具ＰＣ６１０は、増幅ゲインと電荷蓄積時間を様々に指定して、撮像センサ２００を駆動する。また、工具ＰＣ６１０は、それぞれのフレーム制御に対して撮像センサ２００からＯＢ画素の出力信号値、通常画素の出力信号値、および温度センサ２４０が検出した温度を取得する。これらを、駆動条件である増幅ゲインおよび電荷蓄積時間と関連付けて、一つのデータセットとして記憶する。なお、撮像センサ２００の温度は、駆動時間が長くなるほど上昇するので、駆動時間を調整して様々な温度に対するデータセットを取得すると良い。 Specifically, the tool PC 610 drives the imaging sensor 200 by specifying various amplification gains and charge accumulation times. In addition, the tool PC 610 acquires the output signal value of the OB pixel, the output signal value of the normal pixel, and the temperature detected by the temperature sensor 240 from the imaging sensor 200 for each frame control. These are stored as one data set in association with the amplification gain and the charge accumulation time, which are drive conditions. Since the temperature of the imaging sensor 200 increases as the driving time increases, it is preferable to adjust the driving time and acquire data sets for various temperatures.

図２２は、教師データのデータ構造を示す概念図である。上述のように、工具ＰＣ６１０は、撮像センサ２００を様々な条件で駆動して、多くのデータセットを取得する。工具ＰＣ６１０は、これらを教師データとしてデータ構造化する。具体的には、取得したデータセットごとに教師データ番号を付与し、検出された温度、設定した増幅ゲインおよび電荷蓄積時間、ＯＢ領域２１１に属するＯＢ画素のそれぞれの出力信号値、受光領域２１２に属する通常画素のそれぞれの出力信号値を一纏めにデータ構造化する。 FIG. 22 is a conceptual diagram showing the data structure of teacher data. As described above, the tool PC 610 drives the imaging sensor 200 under various conditions to acquire many data sets. The tool PC 610 data structures these as teacher data. Specifically, a teacher data number is assigned to each acquired data set, the detected temperature, the set amplification gain and charge accumulation time, the output signal value of each OB pixel belonging to the OB region 211, and the light receiving region 212 The respective output signal values of the belonging normal pixels are collectively data-structured.

受光領域２１２属する通常画素のそれぞれの出力信号値は、遮光された状態における出力信号をＡＤ変換してものであるので、図４および図５において実線で示す遮光時のシェーディングに相当する。撮像センサ２００が撮像装置１００に組み込まれた後に、実際の撮影動作中に得られないのは、この遮光時のシェーディングである。実際の撮影動作中にこのシェーディングが推定できれば、入射光量に応じた信号量である第１信号から推定したシェーディングを差し引くことにより、シェーディング補正処理を行うことができる。 The output signal values of the normal pixels belonging to the light-receiving region 212 are obtained by AD-converting the output signals in the light-shielded state, so they correspond to the shading in the light-shielded state indicated by solid lines in FIGS. 4 and 5 . After the imaging sensor 200 is incorporated into the imaging apparatus 100, it is this shading when the light is blocked that cannot be obtained during the actual imaging operation. If this shading can be estimated during an actual photographing operation, shading correction processing can be performed by subtracting the estimated shading from the first signal, which is the amount of signal corresponding to the amount of incident light.

そこで、本実施形態においては、検出された温度、設定された増幅ゲインおよび電荷蓄積時間、ＯＢ画素の出力信号値を入力するとシェーディングを出力するニューラルネットワークである学習済みモデルを形成する。 Therefore, in this embodiment, a trained model is formed which is a neural network that outputs shading when the detected temperature, the set amplification gain and charge accumulation time, and the output signal value of the OB pixel are input.

工具ＰＣ６１０は、各教師データに対し、検出された温度、設定された増幅ゲインおよび電荷蓄積時間、ＯＢ画素の出力信号値を入力情報、通常画素のシェーディング値を出力の正解として、ニューラルネットワークに教師あり学習の学習作業を行わせる。例えば、学習中モデルが予測値として出力する通常画素のシェーディング値と、教師データとしての実際のシェーディング値との差が予め設定された基準値以下となるまで、誤差逆伝播法を使って係数となる重みを更新していく。このようにして学習された学習済みモデルは、実際に情報取得に用いた撮像センサ２００と組で、撮像装置１００に実装される。学習済みモデルは、フラッシュメモリ１８０へ記憶され、シェーディング補正処理時に制御部１５０から読み出されて利用に供される。 The tool PC 610 uses the detected temperature, the set amplification gain and the charge accumulation time, the output signal value of the OB pixel as input information, and the shading value of the normal pixel as the correct answer for output to the neural network for each teacher data. Let the students do the learning task of the ant learning. For example, until the difference between the normal pixel shading value output by the learning model as a predicted value and the actual shading value as teacher data is equal to or less than a preset reference value, error backpropagation is used to We will update the weights. The learned model learned in this way is mounted in the imaging device 100 in combination with the imaging sensor 200 actually used for information acquisition. The learned model is stored in the flash memory 180 and read out from the control unit 150 during shading correction processing for use.

図２３は、撮像装置１００へ組み込まれた学習済みモデルを用いて行う、１フレームのシェーディング補正処理を示すフロー図である。制御回路２５０は、１フレーム期間のフレーム画像がバッファメモリ１２０へ引き渡されると、ステップＳ４０１で、当該フレーム画像に関する補正情報を取得する。具体的には、当該フレーム画像が生成された時の温度センサ２４０の検出温度、設定されていた増幅ゲインおよび電荷蓄積時間、当該フレーム画像の周辺部を形成するＯＢ画素のそれぞれの出力値を取得する。 FIG. 23 is a flow chart showing shading correction processing for one frame, which is performed using a trained model incorporated in the imaging apparatus 100. As shown in FIG. When a frame image for one frame period is delivered to the buffer memory 120, the control circuit 250 acquires correction information about the frame image in step S401. Specifically, the temperature detected by the temperature sensor 240 when the frame image was generated, the set amplification gain and charge accumulation time, and the output values of the OB pixels forming the peripheral portion of the frame image are obtained. do.

画像処理部１３０は、ステップＳ４０２で、フラッシュメモリ１８０から読み出してある学習済みモデルへステップＳ４０１で取得した入力情報を入力し、学習済みモデルに演算させて、通常画素のそれぞれの推定シェーディング値を出力させる。そして、ステップＳ４０３へ進み、フレーム画像からＯＢ領域２１１に相当する周辺部を切り捨て、受光領域２１２に属する各通常画素の画素値から、ステップＳ４０２で算出された各推定したシェーディング値を差し引く。１フレーム分のシェーディング補正処理が完了するとフローを終了する。 In step S402, the image processing unit 130 inputs the input information acquired in step S401 to the trained model read out from the flash memory 180, causes the trained model to perform calculations, and outputs estimated shading values for each normal pixel. Let Then, in step S403, the peripheral portion corresponding to the OB region 211 is discarded from the frame image, and each estimated shading value calculated in step S402 is subtracted from the pixel value of each normal pixel belonging to the light receiving region 212. When the shading correction processing for one frame is completed, the flow ends.

なお、以上説明した本実施形態においては、撮像装置１００へ組み込む撮像センサ２００を用いて教師データを採取した。しかし、例えば同じ製造ロットで製造された、同一種類の他の撮像センサを用いて採取した教師データを利用しても良い。この場合に形成される学習済みモデルは、実際に組み込まれる撮像センサ２００に比べると推定するシェーディング補正値の精度が低下すると予想されるが、撮像装置１００の製造効率の向上が期待できる。 Note that, in the present embodiment described above, the teacher data is collected using the imaging sensor 200 incorporated in the imaging apparatus 100 . However, for example, it is also possible to use teacher data collected using another imaging sensor of the same type manufactured in the same manufacturing lot. The trained model formed in this case is expected to have lower accuracy in estimating shading correction values than the image sensor 200 that is actually incorporated.

また、シェーディング値は、撮像センサ２００の利用履歴や経時によっても変化するので、そのような情報に基づいて、実装後の学習済みモデルを適宜修正するようにしても良い。この場合、様々な利用履歴や経時によってシェーディング値がどのように変化するかを、予め同一種類の他の撮像センサを用いて学習しておき、その結果を修正モジュールとしてフラッシュメモリ１８０に記憶しておく。制御部１５０は、自機の利用履歴や経時に対応する修正モジュールを適宜選択し、学習済みモデルを修正し更新する。なお、撮像装置１００は、ネットワークを介して修正モジュールを取得しても良い。また、各実施形態は、互いに組み合わせて実施できる要素については適宜組み合わせて実施してもよいことはもちろんのことである。 Also, since the shading value changes depending on the usage history of the imaging sensor 200 and the passage of time, the learned model after implementation may be appropriately corrected based on such information. In this case, how the shading value changes due to various usage histories and time is learned in advance using another imaging sensor of the same type, and the result is stored in the flash memory 180 as a correction module. back. The control unit 150 appropriately selects a correction module corresponding to the usage history of the device itself and the passage of time, and corrects and updates the learned model. Note that the imaging device 100 may acquire the correction module via a network. Moreover, it goes without saying that elements that can be implemented in combination with each other may be implemented in appropriate combination.

１００ 撮像装置、１１０ 撮影レンズ、１２０ バッファメモリ、１３０ 画像処理部、１５０ 制御部、１６０ 記録部、１７０ 表示部、１８０ フラッシュメモリ、２００ 撮像センサ、２１０ 画素領域、２１１ ＯＢ領域、２１２ 有効領域、２２１ 第１読出し回路、２２２ 第２読出し回路、２３０ 垂直走査回路、２４０ 温度センサ、２５０ 制御回路、３０１ 画素部、３１１ フォトダイオード、３５１ 転送トランジスタ、３５３ リセットトランジスタ、３５４ 増幅トランジスタ、３５５ 選択トランジスタ、３６０ フローティングディフュージョン、３６１ 出力配線、３６２ 負荷電流源、４００ 通常画素、４１０ 遮光画素、５０１ マイクロレンズ、５０２ フィルタ層、５０２ａ カラーフィルタ、５０２ｂ 遮光フィルタ、５０３ パッシベーション膜、５０４ フォトダイオード、５０５ トランジスタ、５０６ フォトダイオード層、５０７ 配線、５０８ 配線層、６００ 工具ＰＣ、６１０ 制御基板、６２０ 暗箱 REFERENCE SIGNS LIST 100 imaging device, 110 photographic lens, 120 buffer memory, 130 image processing unit, 150 control unit, 160 recording unit, 170 display unit, 180 flash memory, 200 imaging sensor, 210 pixel area, 211 OB area, 212 effective area, 221 First readout circuit 222 Second readout circuit 230 Vertical scanning circuit 240 Temperature sensor 250 Control circuit 301 Pixel unit 311 Photodiode 351 Transfer transistor 353 Reset transistor 354 Amplification transistor 355 Selection transistor 360 Floating Diffusion, 361 output wiring, 362 load current source, 400 normal pixel, 410 light-shielding pixel, 501 microlens, 502 filter layer, 502a color filter, 502b light-shielding filter, 503 passivation film, 504 photodiode, 505 transistor, 506 photodiode layer , 507 wiring, 508 wiring layer, 600 tool PC, 610 control board, 620 dark box

Claims (2)

複数の画素部と、
連続するフレーム期間のそれぞれにおいて、第１の電荷蓄積時間により前記複数の画素部のそれぞれに画素信号を出力させる第１フレーム制御と、前記第１の電荷蓄積時間よりも短い第２の電荷蓄積時間により前記複数の画素部のそれぞれに画素信号を出力させる第２フレーム制御を交互に行う制御部と
を備え、
前記制御部は、指示信号を受けた場合に、前記第２フレーム制御を行うフレーム期間に対し、前記第２フレーム制御に代えて、前記第２の電荷蓄積時間よりも長く前記第１の電荷蓄積時間よりも短い第３の電荷蓄積時間により前記複数の画素部のそれぞれに画素信号を出力させる第３フレーム制御と、前記複数の画素部のそれぞれにリセット直後のフローティングディフュージョンの電位を示すノイズ信号を出力させる第４フレーム制御を行う撮像装置であって、
前記第４フレーム制御によって得られたノイズ信号を用いて、前記第１フレーム制御、前記第２フレーム制御および前記第３フレーム制御によって得られる画素信号を補正する補正部を備える撮像装置。 a plurality of pixel units;
a first frame control for causing each of the plurality of pixel units to output a pixel signal for a first charge accumulation time in each successive frame period; and a second charge accumulation time shorter than the first charge accumulation time. a control unit that alternately performs a second frame control for causing each of the plurality of pixel units to output a pixel signal by
When receiving the instruction signal, the control unit performs the first charge accumulation time longer than the second charge accumulation time instead of the second frame control for the frame period during which the second frame control is performed. a third frame control for outputting a pixel signal to each of the plurality of pixel units by a third charge accumulation time shorter than the time; An imaging device that controls a fourth frame to output ,
An imaging apparatus comprising a correction unit that corrects pixel signals obtained by the first frame control, the second frame control, and the third frame control using the noise signal obtained by the fourth frame control . 前記第３の電荷蓄積時間は、前記第４フレーム制御を行うことによって不足する電荷蓄積時間に基づいて決定される請求項１に記載の撮像装置。 2. The imaging apparatus according to claim 1, wherein the third charge accumulation time is determined based on the charge accumulation time that is deficient due to the fourth frame control.
JP2019013099A 2019-01-29 2019-01-29 Imaging device Active JP7111007B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019013099A JP7111007B2 (en) 2019-01-29 2019-01-29 Imaging device
CN202010064761.9A CN111491120B (en) 2019-01-29 2020-01-20 Image capturing apparatus
US16/773,731 US11146748B2 (en) 2019-01-29 2020-01-27 Imaging device
EP20154171.1A EP3709631B1 (en) 2019-01-29 2020-01-28 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019013099A JP7111007B2 (en) 2019-01-29 2019-01-29 Imaging device

Publications (2)

Publication Number Publication Date
JP2020123771A JP2020123771A (en) 2020-08-13
JP7111007B2 true JP7111007B2 (en) 2022-08-02

Family

ID=71993022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019013099A Active JP7111007B2 (en) 2019-01-29 2019-01-29 Imaging device

Country Status (1)

Country Link
JP (1) JP7111007B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082698A (en) 2012-10-18 2014-05-08 Canon Inc Imaging apparatus, imaging system, and method for controlling imaging apparatus
JP2014155002A (en) 2013-02-07 2014-08-25 Canon Inc Imaging apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082698A (en) 2012-10-18 2014-05-08 Canon Inc Imaging apparatus, imaging system, and method for controlling imaging apparatus
JP2014155002A (en) 2013-02-07 2014-08-25 Canon Inc Imaging apparatus

Also Published As

Publication number Publication date
JP2020123771A (en) 2020-08-13

Similar Documents

Publication Publication Date Title
KR101473275B1 (en) Image sensor, electronic apparatus, and driving method of electronic apparatus
JP5614993B2 (en) Imaging apparatus and solid-state imaging device driving method
JP5959834B2 (en) Imaging device
CN111491120B (en) Image capturing apparatus
US11290648B2 (en) Image capture apparatus and control method thereof
JP4834345B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP5885431B2 (en) Imaging device and imaging apparatus
JP2006157882A (en) Solid state imaging device
KR20130129313A (en) Solid-state image pickup device and image pickup apparatus
JP2013183380A (en) Image sensor, driving method for image sensor, and imaging system
JP6024102B2 (en) Imaging device
JP6815777B2 (en) Imaging device and control method of imaging device
JP2014060697A (en) Imaging apparatus
JP6929106B2 (en) Imaging device and control method of imaging device
JP2009088706A (en) Imaging apparatus, and method for driving solid-state imaging element
JP7111007B2 (en) Imaging device
JP7208496B2 (en) Imaging device
JP2020123770A (en) Imaging apparatus
JP7271131B2 (en) IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE
JP2014217011A (en) Solid state image sensor and imaging apparatus
JP2020123769A (en) Imaging apparatus
JP2009260871A (en) Imaging apparatus
JP6393087B2 (en) Imaging device and imaging apparatus
JP2018019268A (en) Imaging apparatus, imaging system, and driving method of imaging apparatus
JP2024000839A (en) Imaging device and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220704

R150 Certificate of patent or registration of utility model

Ref document number: 7111007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150