JP2006033381A

JP2006033381A - Imaging device and control method

Info

Publication number: JP2006033381A
Application number: JP2004208878A
Authority: JP
Inventors: Hiroshi Miyanari; 洋宮成
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-07-15
Filing date: 2004-07-15
Publication date: 2006-02-02

Abstract

<P>PROBLEM TO BE SOLVED: To expand dynamic range, when photographing a moving image. <P>SOLUTION: The imaging device has a CMOS sensor (69) in which pixels are arranged two-dimensionally, control means (71, 74) which read out pixel signals for one screen from the CMOS sensor, by executing the scanning for reading out the pixel signals at least every other line a plurality of times to the CMOS sensor when photographing a moving image, scan different lines for each scanning, and drive and control the CMOS sensor so that an electric charge storage times become different; an image memory (72) for storing the pixel signals read out for each scanning; and dynamic range expanding means (73, 74) for expanding the dynamic range by using the pixel signals stored in the image memory. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明はデジタルカメラ等で固体撮像素子としてＣＭＯＳセンサの動画撮影時の信号読出しに関し、特に、動画撮影時のダイナミックレンジの拡大に関するものである。 The present invention relates to signal readout at the time of moving image shooting of a CMOS sensor as a solid-state imaging device in a digital camera or the like, and more particularly to expansion of a dynamic range at the time of moving image shooting.

従来、撮像装置において、ＣＭＯＳセンサを固体撮像素子として用いたものがある（例えば、特許文献１及び２参照）。撮像装置が機械的な遮光部材であるメカニカルシャッタを有する場合、静止画撮影時にはメカニカルシャッタによりＣＭＯＳセンサを遮光し、遮光した状態で全画素のリセットを行ってから適切な露光量となるようにシャッタを開いてＣＭＯＳセンサを露光し、所定時間後にシャッタを閉じてから信号読み出しを行うことにより、静止画を撮影することができる。しかしながら、メカニカルシャッタの駆動速度には限界があるため、より短秒時の露光を行う場合は、メカニカルシャッタを用いずに電子シャッタ機能を用いて実現する。なお、その際にはメカニカルシャッタを開き、ＣＭＯＳセンサが常に露光されている状態にしておく。 2. Description of the Related Art Conventionally, some imaging devices use a CMOS sensor as a solid-state imaging device (see, for example, Patent Documents 1 and 2). When the imaging device has a mechanical shutter that is a mechanical light shielding member, the CMOS sensor is shielded from light by the mechanical shutter during still image shooting, and the shutter is set so that an appropriate exposure amount is obtained after resetting all pixels in the shielded state. Is opened, the CMOS sensor is exposed, the signal is read after the shutter is closed after a predetermined time, and a still image can be taken. However, since the driving speed of the mechanical shutter is limited, when performing exposure at a shorter time, it is realized by using the electronic shutter function without using the mechanical shutter. At that time, the mechanical shutter is opened so that the CMOS sensor is always exposed.

まず、画素又はライン毎に、画素に蓄積された不要電荷を除去する走査すなわちリセット走査を実行し、その後、画素又はライン毎に、それぞれ所定の時間を経過してから信号電荷を読み出す走査を行うことで電子シャッタ動作を実現することができる。このような電子シャッタを、以下、「ローリング電子シャッタ」と呼ぶ。 First, a scan for removing unnecessary charges accumulated in the pixels, that is, a reset scan is executed for each pixel or line, and then a scan for reading out signal charges is performed for each pixel or line after a predetermined time elapses. Thus, an electronic shutter operation can be realized. Such an electronic shutter is hereinafter referred to as a “rolling electronic shutter”.

図７は従来のＸＹアドレス型の走査方法を採るＣＭＯＳセンサの概略構成例を示す回路図、図８は従来の電子シャッタを実現するためのＣＭＯＳセンサの駆動方法を示すタイミングチャートである。 FIG. 7 is a circuit diagram showing a schematic configuration example of a CMOS sensor employing a conventional XY address type scanning method, and FIG. 8 is a timing chart showing a CMOS sensor driving method for realizing a conventional electronic shutter.

図７はＸＹアドレス型の走査方法を採る撮像素子の構成を示したものである。図７において、１０１は単位画素である。なお、図７では図の簡略化のために、画素１０１を４行×４列のみ示しているが、実際には非常に多数（例えば、数百万）の画素１０１が２次元に配置されている。また、１０２は光を電荷に変換するフォトダイオード（ＰＤ）、１０３は転送パルスφＴＸによってＰＤ１０２で発生した電荷を後述する蓄積領域（フローティングデフュージョン：ＦＤ）に転送する転送スイッチ、１０４は電荷を一時的に蓄積しておく蓄積領域（ＦＤ）であり、１０５はソースフォロアとして機能する増幅ＭＯＳアンプである。１０６は選択パルスφＳＥＬによって画素を選択する選択スイッチであり、１０７はリセットパルスφＲＥＳによってＦＤ１０４に蓄積された電荷を除去するリセットスイッチである。ＦＤ１０４、増幅ＭＯＳアンプ１０５、及び後述する定電流源１０９でフローティングディフュージョンアンプが構成され、選択スイッチ１０６で選択された画素の信号電荷が電圧に変換され、信号出力線１０８を経て読み出し回路１１３に出力される。１０９は増幅ＭＯＳアンプ１０５の負荷となる定電流源である。１１０は読み出し回路１１３から出力信号を選択する選択スイッチであり、水平走査回路１１４によって駆動される。１１１は信号を撮像素子外部に出力するための出力アンプである。また、１１２はスイッチ１０３、１０６、１０７を選択するための垂直走査回路（シフトレジスタ）である。 FIG. 7 shows the configuration of an image sensor that employs an XY address type scanning method. In FIG. 7, reference numeral 101 denotes a unit pixel. In FIG. 7, for simplification of the drawing, only the pixels 101 are shown in 4 rows × 4 columns, but actually, a very large number (for example, several millions) of pixels 101 are two-dimensionally arranged. Yes. Reference numeral 102 denotes a photodiode (PD) that converts light into electric charges, reference numeral 103 denotes a transfer switch that transfers electric charges generated in the PD 102 to a storage area (floating diffusion: FD), which will be described later, by a transfer pulse φTX, and reference numeral 104 temporarily transfers the electric charges. An accumulation region (FD) for accumulating the signal and 105 is an amplification MOS amplifier functioning as a source follower. Reference numeral 106 denotes a selection switch that selects a pixel by a selection pulse φSEL, and reference numeral 107 denotes a reset switch that removes charges accumulated in the FD 104 by a reset pulse φRES. The FD 104, the amplification MOS amplifier 105, and a constant current source 109 described later constitute a floating diffusion amplifier, and the signal charge of the pixel selected by the selection switch 106 is converted into a voltage, which is output to the readout circuit 113 via the signal output line 108. Is done. Reference numeral 109 denotes a constant current source serving as a load for the amplification MOS amplifier 105. Reference numeral 110 denotes a selection switch that selects an output signal from the readout circuit 113 and is driven by the horizontal scanning circuit 114. Reference numeral 111 denotes an output amplifier for outputting a signal to the outside of the image sensor. Reference numeral 112 denotes a vertical scanning circuit (shift register) for selecting the switches 103, 106, and 107.

なお、パルス信号φＴＸ、φＲＥＳ、φＳＥＬそれぞれについて、垂直走査回路１１２によって走査選択された、例えばｎ番目の走査ラインに印加するパルス信号をφＴＸｎ、φＲＥＳｎ、φＳＥＬｎと記述する。 For each of the pulse signals φTX, φRES, and φSEL, pulse signals that are selected by the vertical scanning circuit 112 and applied to, for example, the nth scan line are described as φTXn, φRESn, and φSELn.

図８はローリング電子シャッタ動作における駆動パルスと動作シーケンスを示したものである。なお図８では説明を簡略にするために垂直走査回路１１２によって走査選択されたｎラインからｎ＋３ラインの４行分の駆動制御に関して記述する。 FIG. 8 shows a driving pulse and an operation sequence in the rolling electronic shutter operation. In FIG. 8, for the sake of simplicity, the drive control for four rows from the n line to the n + 3 line selected by the vertical scanning circuit 112 will be described.

ｎラインにおいて、まず時刻ｔ３１からｔ３２の期間、φＲＥＳｎとφＴＸｎを印加して、転送スイッチ１０３及びリセットスイッチ１０７をオンにし、ｎライン目のＰＤ１０２とＦＤ１０４に蓄積されている不用電荷を除去するリセット動作を行う。時刻ｔ３２で転送スイッチ１０３がオフになり、ＰＤ１０２で発生した光電荷が蓄積される蓄積動作が開始される。次に時刻ｔ３４においてφＴＸｎを印加して、転送スイッチ１０３をオンにし、ＰＤ１０２に蓄積された光電荷をＦＤ１０４に転送する転送動作を行う。なお、リセットスイッチ１０７は、この転送動作に先んじてオフする必要があり、図８に示す駆動制御では、時刻ｔ３２で転送スイッチ１０３と同時にオフにしている。上述したように、リセット動作終了の時刻ｔ３２から、転送終了の時刻ｔ３５までが蓄積時間となる。
ｎライン目の転送動作終了後、φＳＥＬｎを印加して選択スイッチ１０６をオンにすることにより、ＦＤ１０４に保持した電荷が電圧に変換され、読み出し回路１１３に出力される。読み出し回路１１３で一時的に保持された信号が水平走査回路１１２によって時刻ｔ３６より順次出力される。時刻ｔ３４の転送開始から時刻ｔ３７の読み出し終了までの時間をＴ３ｒｅａｄとし、時刻ｔ３１から時刻ｔ３３までの時間をＴ３ｗａｉｔとする。他のラインにおいても同様に、転送開始から読み出し終了までの時間がＴ３ｒｅａｄとなり、あるラインのリセット開始から次のラインのリセット開始までの間の時間がＴ３ｗａｉｔとなる。 In the n line, first, φRESn and φTXn are applied during a period from time t31 to t32, the transfer switch 103 and the reset switch 107 are turned on, and a reset operation for removing unnecessary charges accumulated in the PD 102 and the FD 104 on the n line. I do. At time t32, the transfer switch 103 is turned off, and an accumulation operation for accumulating the photocharge generated in the PD 102 is started. Next, at time t <b> 34, φTXn is applied to turn on the transfer switch 103, and a transfer operation for transferring the photocharge accumulated in the PD 102 to the FD 104 is performed. The reset switch 107 needs to be turned off prior to this transfer operation, and in the drive control shown in FIG. 8, it is turned off simultaneously with the transfer switch 103 at time t32. As described above, the accumulation time is from the time t32 when the reset operation ends to the time t35 when the transfer ends.
After the transfer operation for the nth line is completed, φSELn is applied to turn on the selection switch 106, whereby the charge held in the FD 104 is converted into a voltage and output to the reading circuit 113. The signals temporarily held by the readout circuit 113 are sequentially output from the time t36 by the horizontal scanning circuit 112. The time from the start of transfer at time t34 to the end of reading at time t37 is T3read, and the time from time t31 to time t33 is T3wait. Similarly, in other lines, the time from the start of transfer to the end of reading is T3read, and the time from the start of resetting of one line to the start of resetting of the next line is T3wait.

上記記載の駆動方法によるローリング電子シャッタでは静止画を撮影可能であるが、図９に示すように、リセットに続く２回目のφＴＸｎ＋３及びφＳＥＬｎ＋３印加後、リセットを行わずにφＴＸｎ〜φＴＸｎ＋３、φＳＥＬｎ〜φＳＥＬｎ＋３の信号を繰り返し印加することで、信号読み出しの間隔を蓄積時間Ｔｉｎｔとする動画像用の信号を得ることができる。 Although a still image can be taken with the rolling electronic shutter according to the driving method described above, as shown in FIG. 9, after the second application of φTXn + 3 and φSELn + 3 following reset, φTXn to φTXn + 3, φSELn to φSELn + 3 without resetting. By repeatedly applying the above signal, it is possible to obtain a moving image signal whose signal reading interval is the accumulation time Tint.

また、ＣＭＯＳセンサの構成／駆動方法の別の文献としては特許文献１、２等がある。 Other documents on the configuration / driving method of the CMOS sensor include Patent Documents 1 and 2.

一方、撮像装置が高解像モードと通常モードとを有し、高解像度モード時にはプログレッシブスキャンを行って全画素を読出し、通常モードではインターレーススキャンを行って画素加算または画素間引きによりリアルタイムなビデオ信号を出力することを可能にした撮像装置が提案されている（例えば、特許文献３参照）。 On the other hand, the imaging device has a high resolution mode and a normal mode. In the high resolution mode, a progressive scan is performed to read out all pixels, and in a normal mode, an interlaced scan is performed to obtain a real-time video signal by pixel addition or pixel decimation. There has been proposed an imaging apparatus that enables output (see, for example, Patent Document 3).

またこのような比較的高速なフレームレートで読み出しても偽信号が発生しないようにする提案も行われている（例えば、特許文献４参照）。 In addition, proposals have been made to prevent false signals from being generated even when reading is performed at such a relatively high frame rate (see, for example, Patent Document 4).

特開２０００−２０１３００号公報JP 2000-201300 A 特開２００２−２０９１４４号公報JP 2002-209144 A 特開平７−２９８１１１号公報JP 7-298111 A 特開２０００−１３４５５０号公報JP 2000-134550 A

しかし、ローリング電子シャッタでは動画像撮影時の１フレームの蓄積時間Ｔｉｎｔは上述したように信号読み出しの間隔となり、被写体の輝度に関わらず固定であるので、適正露出範囲が狭くなってしまう。そこで信号読出し前に一旦画素をリセットすることで蓄積時間を制御することのできるスリットローリングシャッターという信号読出し方法がある。このタイミングチャートを図１０に示す。図１０に示すように、蓄積した信号を読み出した後、所定時間後に一旦信号をリセットすることで、蓄積時間Ｔｉｎｔを読み出し間隔よりも短くすることができる。これは１フレームの蓄積時間を１水平ライン走査時間単位で制御できるので、被写体輝度が高い場合は有効な露出制御である。 However, in the rolling electronic shutter, the accumulation time Tint of one frame at the time of moving image shooting is the signal reading interval as described above, and is fixed regardless of the luminance of the subject, so that the appropriate exposure range is narrowed. Therefore, there is a signal reading method called a slit rolling shutter that can control the accumulation time by resetting the pixels once before the signal reading. This timing chart is shown in FIG. As shown in FIG. 10, after the accumulated signal is read out, the signal is once reset after a predetermined time, so that the accumulation time Tint can be made shorter than the readout interval. This is an effective exposure control when the subject brightness is high because the accumulation time of one frame can be controlled in units of one horizontal line scanning time.

しかしながら、スリットローリングシャッターでは全画面一様で且つ被写体輝度の明るい場合には露出の対応ができるが、１画面内に暗い部分と明るい部分が混在する場合には、例えば、主被写体を適正露出に制御できたとしても、その他は飽和したり、暗くなってしまうという問題がある。 However, the slit rolling shutter can handle exposure when the entire screen is uniform and the subject brightness is bright, but when a dark portion and a bright portion are mixed in one screen, for example, the main subject is properly exposed. Even if it can be controlled, there is a problem that others are saturated or darkened.

本発明は上記問題点を鑑みてなされたものであり、動画撮影時のダイナミックレンジを拡大することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to expand the dynamic range at the time of moving image shooting.

本発明の撮像装置は、画素が２次元に配置された撮像手段と、動画撮影時に、前記撮像手段を、少なくとも１行おきに画素信号を読み出す走査を複数回行うことにより、前記撮像手段から１画面分の画素信号を読み出すと共に、各走査毎に異なる行を走査し、且つ、電荷蓄積時間が異なるように前記撮像手段を駆動制御する制御手段と、前記各走査毎に読み出された画素信号を記憶する記憶手段と、前記記憶手段に記憶された画素信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大手段とを有する。 The imaging apparatus according to the present invention includes: an imaging unit in which pixels are arranged two-dimensionally; and at the time of moving image shooting, the imaging unit performs a scan for reading out a pixel signal at least every other row a plurality of times, so that 1 Reads out pixel signals for the screen, scans different rows for each scan, and controls the drive of the imaging means so that the charge accumulation time differs, and the pixel signals read for each scan And a dynamic range expansion unit that expands the dynamic range using the pixel signal stored in the storage unit.

また、画素が２次元に配置された撮像手段を有する撮像装置の本発明の制御方法は、動画撮影時に、前記撮像手段を、少なくとも１行おきに画素信号を読み出す走査を複数回行うことにより、前記撮像手段から１画面分の画素信号を読み出すと共に、各走査毎に異なる行を走査し、且つ、電荷蓄積時間が異なるように前記撮像手段を駆動制御する制御工程と、前記各走査毎に読み出された画素信号を記憶する記憶工程と、前記記憶手段に記憶された画素信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大工程とを有する。 Further, the control method of the present invention of the image pickup apparatus having the image pickup means in which the pixels are two-dimensionally arranged performs a plurality of scans for reading out the pixel signal at least every other row of the image pickup means at the time of moving image shooting. Reads out pixel signals for one screen from the image pickup means, scans different rows for each scan, and controls the drive of the image pickup means so that the charge accumulation time is different, and reads for each scan. A storage step of storing the output pixel signal, and a dynamic range expansion step of expanding the dynamic range using the pixel signal stored in the storage means.

本発明によれば、動画撮影時のダイナミックレンジを拡大することができる。 According to the present invention, the dynamic range during moving image shooting can be expanded.

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。 The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.

＜第１の実施形態＞
（撮像装置の構成）
本発明の第１の実施形態における撮像装置の概略構成を図１に示す。 <First Embodiment>
(Configuration of imaging device)
FIG. 1 shows a schematic configuration of the imaging apparatus according to the first embodiment of the present invention.

図１において、７３は主たる計算モジュールである信号処理回路、７２は複数フレームの撮像信号を格納可能な容量を有する画像メモリ、７４はＣＰＵで、信号処理回路７３の制御、タイミング生成回路７１の制御および撮像シーケンスの制御を行う。 In FIG. 1, 73 is a signal processing circuit which is a main calculation module, 72 is an image memory having a capacity capable of storing imaging signals of a plurality of frames, and 74 is a CPU, which controls the signal processing circuit 73 and controls the timing generation circuit 71. The imaging sequence is controlled.

６８は撮影光学系、６９はイメージセンサであるＣＭＯＳセンサである。本第１の実施形態では、図７に示すものと同様の構成のＣＭＯＳセンサをＣＭＯＳセンサ６９として用いるものとし、ここでは説明を省略する。但し、図７でも説明したように、説明を分かりやすくするために４行×４列のみ示しているが、実際には実際には非常に多数（例えば、数百万）の画素１０１が２次元に配置されている。７０は前処理回路でＣＭＯＳセンサ６９の出力をＡ／Ｄ変換し、ＣＭＯＳセンサ６９が有する固定パターンノイズ等の補正処理を行う。ＣＭＯＳセンサ６９の駆動タイミングはタイミング生成回路７１で生成される。 Reference numeral 68 denotes a photographing optical system, and 69 denotes a CMOS sensor which is an image sensor. In the first embodiment, a CMOS sensor having the same configuration as that shown in FIG. 7 is used as the CMOS sensor 69, and the description thereof is omitted here. However, as described with reference to FIG. 7, only 4 rows × 4 columns are shown for easy understanding, but actually, a very large number (for example, several millions) of pixels 101 are two-dimensional. Is arranged. Reference numeral 70 denotes a preprocessing circuit that performs A / D conversion on the output of the CMOS sensor 69 and performs correction processing such as fixed pattern noise of the CMOS sensor 69. The drive timing of the CMOS sensor 69 is generated by the timing generation circuit 71.

また、７５は動画撮影モードと静止画撮影モードとを切り換えるための動画／静止画切替スイッチ（ＳＷ）、７６は撮影開始を指示する撮影開始スイッチ（ＳＷ）で、動画撮影モード時には撮影終了を指示する機能も兼ねており、撮影開始後、再度撮影開始ＳＷ７６が操作されると、撮影を終了する。７７と７８はダイナミックレンジ切替選択ＳＷで、日中や夜景及び室内等の撮影に応じて選択するＳＷであり、例えば室内での撮影が選択された場合に、後述するように電荷蓄積時間の組み合わせを変更することによりダイナミックレンジが広がるように設定する。なお、このダイナミックレンジの切り換えは、ホワイトバランスの切替と連動させてもよい。 Reference numeral 75 denotes a moving image / still image switching switch (SW) for switching between the moving image shooting mode and the still image shooting mode, and 76 denotes a shooting start switch (SW) for instructing start of shooting. When the shooting start SW 76 is operated again after the start of shooting, the shooting is terminated. 77 and 78 are dynamic range switching selection SWs, which are selected according to shooting such as daytime, night view, and indoor. For example, when indoor shooting is selected, a combination of charge accumulation times is described as will be described later. Is set so that the dynamic range is expanded. Note that the switching of the dynamic range may be interlocked with the switching of the white balance.

（ＣＭＯＳセンサの読み出し制御）
次に、本第１の実施形態における上記構成を有する撮像装置による露光及び読み出し制御のための全体処理について、図２を参照して説明する。 (Reading control of CMOS sensor)
Next, overall processing for exposure and readout control by the imaging apparatus having the above-described configuration in the first embodiment will be described with reference to FIG.

まず、ステップＳ１１において、ＣＰＵ７４は動画／静止画切り換えスイッチＳＷ７５の状態を確認し、静止画の場合にはステップＳ１９に進む。 First, in step S11, the CPU 74 confirms the state of the moving image / still image switching switch SW75. If it is a still image, the process proceeds to step S19.

動画の場合にはステップＳ１２に進み、ＣＰＵ７４はダイナミックレンジ切り換えスイッチ７７及び／または７８の操作によりダイナミックレンジ拡大が選択されているかどうかを判断する。ダイナミックレンジ拡大が選択されていなければ、ステップＳ１６に進み、ダイナミックレンジ拡大が選択されている場合にはステップＳ１３に進む。 In the case of a moving image, the process proceeds to step S12, and the CPU 74 determines whether or not dynamic range expansion is selected by operating the dynamic range changeover switch 77 and / or 78. If the dynamic range expansion is not selected, the process proceeds to step S16. If the dynamic range expansion is selected, the process proceeds to step S13.

ステップＳ１３、Ｓ１６、Ｓ１９それぞれにおいて、撮影開始ＳＷ７６がＯＮされたかどうかを判断し、ＯＮされると、それぞれステップＳ１５、Ｓ１８、Ｓ２１に進む。ステップＳ１５では、本発明の第１の実施形態の特徴である、フレーム毎に蓄積時間を変更して撮影を行うことにより、ダイナミックレンジを拡大した動画を撮影する。また、ステップＳ１８では、通常のスロットローリングシャッター方式による動画の撮影を行い、ステップＳ２１では公知の露光・読み出し制御により静止画の撮影を行う。 In each of steps S13, S16, and S19, it is determined whether or not the shooting start SW 76 has been turned on. If turned on, the process proceeds to steps S15, S18, and S21, respectively. In step S15, a moving image with an expanded dynamic range is shot by changing the accumulation time for each frame, which is a feature of the first embodiment of the present invention. In step S18, a moving image is shot by a normal slot rolling shutter method. In step S21, a still image is shot by known exposure / readout control.

一方、Ｓ１３、Ｓ１６、Ｓ１９において撮影開始ＳＷ７６がＯＮされていない場合にはそれぞれステップＳ１４、Ｓ１７、Ｓ２０に進み、その他のスイッチ７５、７７、７８が操作されたかどうかを判断し、操作されていなければ、ステップＳ１３、Ｓ１６、Ｓ１９に戻る処理を繰り返し、撮影開始ＳＷ７６がＯＮされるのを待つ。また、スイッチ７５、７７、７８が操作されると処理を終了し、改めてステップＳ１１からの処理が開始される。 On the other hand, if the shooting start SW 76 is not turned on in S13, S16, and S19, the process proceeds to steps S14, S17, and S20, respectively, and it is determined whether or not the other switches 75, 77, and 78 are operated. For example, the process of returning to steps S13, S16, and S19 is repeated, and the process waits for the imaging start SW 76 to be turned on. Further, when the switches 75, 77, and 78 are operated, the process is terminated, and the process from step S11 is started again.

次に、ステップＳ１５で行われる、本発明の第１の実施形態におけるダイナミックレンジ拡大した動画を撮影するための露光及び読み出し制御について説明する。本第１の実施形態では、スロットローリングシャッター方式で読み出しを行い、フレーム毎に偶数行と奇数行とを交互に読み出し、かつ、偶数行と奇数行とで電荷を蓄積する時間を異ならせることにより、ダイナミックレンジの拡大を実現する。以下、そのためのＣＭＯＳセンサの駆動方法について、図３及び図７を参照して詳しく説明する。 Next, exposure and readout control for capturing a moving image with an expanded dynamic range in the first embodiment of the present invention performed in step S15 will be described. In the first embodiment, reading is performed by the slot rolling shutter method, even-numbered rows and odd-numbered rows are alternately read for each frame, and the charge accumulation time is different between even-numbered rows and odd-numbered rows. Realize the expansion of the dynamic range. Hereinafter, a driving method of the CMOS sensor for that purpose will be described in detail with reference to FIGS.

まず、ｎラインにおいて、時刻ｔ１１からｔ１２の期間、φＲＥＳｎとφＴＸｎを印加して、転送スイッチ１０３及びリセットスイッチ１０７をオンにし、ｎライン目のＰＤ１０２とＦＤ１０４に蓄積されている不用電荷を除去するリセット動作を行う。時刻ｔ１２で転送スイッチ１０３がオフになると、ＰＤ１０２で発生した光電荷が蓄積される蓄積動作が開始される。次に所定時間Ｔｉｎｔ１経過後の時刻ｔ１４においてφＴＸｎを印加して、転送スイッチ１０３をオンにし、ＰＤ１０２に蓄積された光電荷をＦＤ１０４に転送する転送動作を行う。なお、リセットスイッチ１０７は、この転送動作に先んじてオフする必要があり、図３に示す駆動制御では、時刻ｔ１２で転送スイッチ１０３と同時にオフにしている。上述したように、リセット動作終了の時刻ｔ１２から、転送終了の時刻ｔ１５までが蓄積時間となる。 First, on the n line, during the period from time t11 to t12, φRESn and φTXn are applied, the transfer switch 103 and the reset switch 107 are turned on, and reset for removing unnecessary charges accumulated in the PD102 and the FD104 on the nth line. Perform the action. When the transfer switch 103 is turned off at time t12, an accumulation operation for accumulating the photocharge generated in the PD 102 is started. Next, φTXn is applied at time t14 after the elapse of the predetermined time Tint1, the transfer switch 103 is turned on, and a transfer operation for transferring the photocharge accumulated in the PD 102 to the FD 104 is performed. The reset switch 107 needs to be turned off prior to this transfer operation, and in the drive control shown in FIG. 3, it is turned off simultaneously with the transfer switch 103 at time t12. As described above, the accumulation time is from the time t12 when the reset operation ends to the time t15 when the transfer ends.

ｎライン目の転送動作終了後、φＳＥＬｎを印加して選択スイッチ１０６をオンにすることにより、ＦＤ１０４に保持した電荷が電圧に変換され、読み出し回路１１３に出力される。読み出し回路１１３で一時的に保持された信号が水平走査回路１１２によって時刻ｔ１６より順次出力される。 After the transfer operation for the nth line is completed, φSELn is applied to turn on the selection switch 106, whereby the charge held in the FD 104 is converted into a voltage and output to the reading circuit 113. The signals temporarily held by the readout circuit 113 are sequentially output from the time t16 by the horizontal scanning circuit 112.

一方、φＴＸｎを印加後、所定時間後ｔ１３に次の行であるｎ＋１ライン目に対して、φＲＥＳｎ＋１とφＴＸｎ＋１を印加し、ｎ＋１ライン目のＰＤ１０２とＦＤ１０４に蓄積されている不用電荷を除去するリセット動作を行う。φＴＸｎ＋１がローになり、転送スイッチ１０３がオフになると、ｎ＋１ライン目のＰＤ１０２における蓄積動作が開始されることになる。 On the other hand, after applying φTXn, a reset operation is performed to remove unnecessary charges accumulated in PD102 and FD104 of the n + 1 line by applying φRESn + 1 and φTXn + 1 to the n + 1 line of the next row after a predetermined time t13. I do. When φTXn + 1 becomes low and the transfer switch 103 is turned off, the accumulation operation in the PD 102 of the (n + 1) th line is started.

ｎライン目では、所定時間Ｔｉｎｔ１経過後に転送スイッチ１０３をオンにして蓄積された光電荷をＦＤ１０４に転送したが、ｎ＋１ライン目の信号は１フレーム目では読み出さないため、φＴＸｎ＋１及びφＳＥＬｎ＋１はローに保ち、ＦＤ１０４への転送も、読み出し回路１１３への転送も行わない。 On the n-th line, after the predetermined time Tint1 has elapsed, the transfer switch 103 is turned on to transfer the accumulated photocharge to the FD 104. However, since the signal on the n + 1-th line is not read out in the first frame, φTXn + 1 and φSELn + 1 are kept low. , Neither transfer to the FD 104 nor transfer to the reading circuit 113 is performed.

同様に、φＴＸｎ＋２を印加後、所定時間後にφＴＸｎ＋２を、更に所定時間後にφＴＸｎ＋３を印可するが、ｎ＋２ライン目は読み出すので所定時間Ｔｉｎｔ１後に更にφＴＸｎ＋２及びφＳＥＬｎ＋２の印加して、水平転送を行うが、ｎ＋３ライン目は読み出さないので、φＴＸｎ＋３及びφＳＥＬｎ＋３の印加を行わない。 Similarly, after the application of φTXn + 2, φTXn + 2 is applied after a predetermined time, and φTXn + 3 is applied after a predetermined time. However, since the n + 2 line is read, φTXn + 2 and φSELn + 2 are further applied after the predetermined time Tint1, and horizontal transfer is performed. Since the line is not read, φTXn + 3 and φSELn + 3 are not applied.

上記制御により、奇数ラインの信号を所定の蓄積時間（正確にはφＳＥＬのパルス幅分の時間が異なるが、便宜上Ｔｉｎｔ１と記す。）で読み出すことができる。 By the above control, the signals of the odd lines can be read out with a predetermined accumulation time (accurately, the time corresponding to the pulse width of φSEL is different, but is described as Tint1 for convenience).

次に、偶数ラインの信号の読み出しを行う。先のフレームでφＲＥＳｎ＋３の印加後、所定時間毎に再びφＲＥＳｎ〜ｎ＋３とφＴＸｎ〜ｎ＋３を順次出力し、各行のリセット動作を行う。このフレームでは、ｎ行目の読み出しを行わないので、φＲＥＳｎ＋１及びφＴＸｎ＋１の印加後、Ｔｉｎｔ１よりも短い所定時間Ｔｉｎｔ２の経過後に再びφＴＸｎ＋１を印加して転送スイッチ１０３をオンにし、ＰＤ１０２に蓄積された光電荷をＦＤ１０４に転送する転送動作を行う。 Next, even line signals are read out. After the application of φRESn + 3 in the previous frame, φRESn to n + 3 and φTXn to n + 3 are sequentially output again every predetermined time, and the reset operation for each row is performed. In this frame, since reading of the n-th row is not performed, after application of φRESn + 1 and φTXn + 1, φTXn + 1 is applied again after a lapse of a predetermined time Tint2 shorter than Tint1 to turn on the transfer switch 103, and the light accumulated in the PD102 A transfer operation for transferring charges to the FD 104 is performed.

ｎ＋１ライン目の転送動作終了後、φＳＥＬｎ＋１を印加して選択スイッチ１０６をオンにすることにより、ＦＤ１０４に保持した電荷が電圧に変換され、読み出し回路１１３に出力される。読み出し回路１１３で一時的に保持された信号が水平走査回路１１２によって時刻ｔ１６より順次出力される。 After the transfer operation for the (n + 1) th line is completed, φSELn + 1 is applied to turn on the selection switch 106, whereby the charge held in the FD 104 is converted into a voltage and output to the reading circuit 113. The signals temporarily held by the readout circuit 113 are sequentially output from the time t16 by the horizontal scanning circuit 112.

以下、ｎ＋２ライン目の電荷は読み出さず、ｎ＋３ライン目の電荷を読み出すようにする。 Hereinafter, the charge on the n + 2 line is not read, but the charge on the n + 3 line is read.

上記制御により、偶数ラインの信号を、蓄積時間Ｔｉｎｔ１よりも短い蓄積時間（正確にはφＳＥＬのパルス幅分の時間が異なるが、便宜上Ｔｉｎｔ２と記す。）で読み出すことができる。 By the above control, the signals of the even lines can be read out with an accumulation time shorter than the accumulation time Tint1 (accurately, the time is equal to the pulse width of φSEL, but is denoted as Tint2 for convenience).

（ダイナミックレンジ拡大処理）
上記のようにして取得した奇数ラインの信号及び偶数ラインの信号は、前処理回路７０による処理を経て画像メモリ７２に一旦記憶され、信号処理回路７３はこれらの信号を用いてダイナミックレンジ拡大処理を行う。図４はダイナミックレンジ拡大処理の概念を示す図である。 (Dynamic range expansion processing)
The odd line signal and the even line signal acquired as described above are temporarily stored in the image memory 72 after being processed by the preprocessing circuit 70, and the signal processing circuit 73 performs dynamic range expansion processing using these signals. Do. FIG. 4 is a diagram showing the concept of the dynamic range expansion process.

まず、蓄積時間Ｔｉｎｔ１で露光した奇数ラインの信号の内、所定値Ｔｈｓを超える信号を検出する。所定値Ｔｈｓは、電荷蓄積時に飽和状態になった場合の電荷に対応する信号値であるが、若干低めに設定してもよい。所定値Ｔｈｓを超える信号が無い場合には、奇数ラインの信号を２回ずつ読み出す（つまり、奇数ラインの信号を２行分の信号として用いる）。所定値Ｔｈｓを超える信号があった場合には（図４（ａ）では、Ｓ₁₂とＳ₃₄）、偶数ラインの信号の内、その画素に対応する画素の信号値Ｓを読み出し（図４（ａ）では、Ｓ₂₂とＳ₄₄）、以下の式により信号値Ｓを増幅する。なお、Ｓampは、増幅後の信号値である。
Ｓamp＝Ｓ×（Ｔｉｎｔ１／Ｔｉｎｔ２） First, a signal exceeding a predetermined value Ths is detected from signals of odd lines exposed at the accumulation time Tint1. The predetermined value Ths is a signal value corresponding to the charge when the charge is saturated during charge accumulation, but may be set slightly lower. When there is no signal exceeding the predetermined value Ths, the odd line signal is read twice (that is, the odd line signal is used as a signal for two rows). When there is a signal exceeding the predetermined value Ths (S ₁₂ and S _{34 in} FIG. 4A), the signal value S of the pixel corresponding to that pixel is read out of the signals of the even lines (FIG. 4 ( In a), S ₂₂ and S ₄₄ ), the signal value S is amplified by the following equation. Samp is a signal value after amplification.
Samp = S × (Tint1 / Tint2)

例えば、Ｔｉｎｔ２がＴｉｎｔ１の半分の蓄積時間であった場合には、信号値Ｓが２倍にされることになる。 For example, when Tint2 has an accumulation time that is half that of Tint1, the signal value S is doubled.

このようにして増幅された信号値Ｓampを、所定値Ｔｈｓを超えた信号値Ｓと置き換え（図４（ｂ））、置き換えた後の奇数ラインの信号を２回ずつ読み出して、２行分の信号とする（図４（ｃ））。 The signal value Samp amplified in this way is replaced with a signal value S exceeding a predetermined value Ths (FIG. 4B), and the signals of the odd lines after the replacement are read out twice, and two rows worth are read out. A signal is assumed (FIG. 4C).

このようにすることにより、垂直方向の解像度は低下するが、スリットローリングシャッター方式で読み出しを行う場合であっても、ダイナミックレンジを拡大することが可能になる。近年ではセンサの画素数が大きく増加する傾向にあるので、垂直方向の解像度が半減したとしても、十分な解像度を得ることができる。 By doing so, the resolution in the vertical direction is lowered, but the dynamic range can be expanded even when reading is performed by the slit rolling shutter method. In recent years, the number of pixels of the sensor tends to increase greatly, so that even if the vertical resolution is halved, a sufficient resolution can be obtained.

なお、上記例では、同じ行の信号を２回ずつ読み出して２行分の信号とする場合について説明したが、出力先の解像度によっては、１回読み出すようにしても良い。 In the above example, a case has been described in which signals in the same row are read twice to obtain signals for two rows, but may be read once depending on the resolution of the output destination.

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。 <Second Embodiment>
Next, a second embodiment of the present invention will be described.

本第２の実施形態は、上記第１の実施形態とは、ダイナミックレンジ拡大処理時の動画撮影方法が異なる。以下、本第２の実施形態におけるダイナミックレンジ拡大処理時の動画撮影方法について、説明する。なお、本第２の実施形態における撮像装置は、図１に示す構成と同様であり、また、ＣＭＯＳセンサ６９も図７に示すものと同様であるため、ここでは説明を省略する。 The second embodiment is different from the first embodiment in the moving image shooting method at the time of dynamic range expansion processing. Hereinafter, a moving image shooting method at the time of dynamic range expansion processing according to the second embodiment will be described. The imaging apparatus in the second embodiment has the same configuration as that shown in FIG. 1, and the CMOS sensor 69 is also the same as that shown in FIG.

本第２の実施形態におけるＣＭＯＳのスリットローリングシャッター読出しの仕組みを図５を使って説明する。 The mechanism of CMOS slit rolling shutter readout in the second embodiment will be described with reference to FIG.

先ず読出し行の説明をする。上部の３本の波形はそれぞれ選択信号ＳＥＬとリセット信号ＲＳと転送信号ＴＸを表す。それぞれの信号は４，５，２の各ｎＭＯＳトランジスタのゲート信号と考えてもよい。 First, the read line will be described. The upper three waveforms represent a selection signal SEL, a reset signal RS, and a transfer signal TX, respectively. Each signal may be considered as a gate signal of each of the nMOS transistors 4, 5, and 2.

その下の図形は画素１０１の行ごとの動作を時間軸で表したものである。５９は画面上部の行を表し、６０は画面下部の行を表す。６１のタイミングでＴＸとＲＳをパルス状に同時にオンすることでＰＤとＦＤの一括リセットが行われ、撮影動作が開始される。６２の斜線は画面上部から下部までの読出し動作を表す。６５は１水平ラインの読出しにおいて、読出し前に予め先行して行われるＰＤとＦＤをリセットする画素リセット動作を表している。このタイミングは選択された行の読出し動作時に、第二の選択行に対して行われるものである。このリセット動作から読出し動作の横方向の長さが蓄積時間Ｔｉｎｔと言うことになる。 The figure below it shows the operation of the pixel 101 for each row on the time axis. 59 represents a line at the top of the screen, and 60 represents a line at the bottom of the screen. At the timing of 61, TX and RS are simultaneously turned on in pulses, whereby PD and FD are collectively reset, and the photographing operation is started. A hatched line 62 represents a reading operation from the upper part to the lower part of the screen. Reference numeral 65 denotes a pixel reset operation for resetting PD and FD performed in advance before reading in reading out one horizontal line. This timing is performed for the second selected row during the read operation of the selected row. The horizontal length from the reset operation to the read operation is called the accumulation time Tint.

次に間引き行の説明をする。間引き行は前述のようにＰＤとＦＤをリセットするだけなので、５５のようにＴＸとＲＳを同時にオンするだけである。同時に第二の選択行のＲＳとＴＸをオンすることでＰＤとＦＤの画素部をリセットする。その行の走査読み出しは行わない。 Next, thinning out will be described. Since thinning-out only resets PD and FD as described above, TX and RS are only turned on at the same time as 55. At the same time, the pixel portions of PD and FD are reset by turning on RS and TX in the second selected row. Scan reading of the row is not performed.

このようにして全行分繰り返し走査することで１フレームの読出しとなる。 By repeating scanning for all rows in this way, one frame is read out.

スリットローリングシャッターは上述のような読出しのため、ローリングシャッターのように蓄積期間を読出しの間に入れることはできない。フレーム毎にリセットタイミングを変更することで前述のローリングシャッターのように同じ間引き行のフレームを組にしてそれらを組合せて読み出すことと同じになる。 Since the slit rolling shutter reads out as described above, the accumulation period cannot be inserted between the readings as in the rolling shutter. Changing the reset timing for each frame is the same as reading out a combination of frames with the same thinning-out frame as in the above-described rolling shutter.

フレーム毎に間引き行を変更することで、図６のように第二のＰＤとＦＤリセットを読出しと同じフレームにせずに前の同じ間引き行のフレームの間に設定することも可能になり、フレームを超えた蓄積時間の設定も可能になる。 By changing the thinning-out for each frame, it becomes possible to set the second PD and FD reset between the frames of the same previous thinning-out as shown in FIG. It is also possible to set an accumulation time that exceeds.

本発明はスリットローリングシャッターにおいてフレーム毎に垂直シフトレジスタで選択する間引き行を変更する。 The present invention changes the thinning line selected by the vertical shift register for each frame in the slit rolling shutter.

これだけだと前述のように第二のＰＤとＦＤリセットと読出しによって蓄積時間は決まる。蓄積時間は最大でも読出し時間となるが、間引き行のＰＤとＦＤリセットは垂直シフトレジスタで順次選択した選択行で行わないようにすれば、前フレームの第二のＰＤとＦＤリセットから現フレームの読出しまでが蓄積時間になりフレームレートを超えた蓄積時間の設定が可能になる。この場合は前フレームの読出し前に次フレームの蓄積は始まっているのでフレーム間の画像のつながりがよくなるという効果もある。 With this alone, the storage time is determined by the second PD, FD reset and reading as described above. Although the accumulation time is the maximum reading time, if the PD and FD reset of the thinning row are not performed in the selected row sequentially selected by the vertical shift register, the current frame is changed from the second PD and FD reset of the previous frame. The accumulation time until reading is the accumulation time, and the accumulation time exceeding the frame rate can be set. In this case, since the accumulation of the next frame has started before the reading of the previous frame, there is also an effect that the image connection between frames is improved.

なお、上記第１及び第２の実施形態によれば、ＣＭＯＳセンサ６９として図７に示す構成を有する場合について説明したが、これに限るものではないことは言うまでもない。例えば、各垂直読み出しライン毎にリセットレベル（ノイズ成分）を保持する為のキャパシタＣＴＮと、各画素から読み出した信号を予示するためのキャパシタＣＴＳを設けてもよい。その場合、各画素の信号読み出しに先立ってリセットレベルをキャパシタＣＴＮに保持しておき、読み出された信号を一旦キャパシタＣＴＳに保持し、信号成分とリセットレベルとの差を取ることにより、ノイズ成分をキャンセルした、各画素毎の特性に基づくばらつきを軽減した各画素信号を得ることが可能となる。 In addition, according to the said 1st and 2nd embodiment, although the case where it has a structure shown in FIG. 7 as the CMOS sensor 69 was demonstrated, it cannot be overemphasized that it is not restricted to this. For example, a capacitor CTN for holding a reset level (noise component) for each vertical readout line and a capacitor CTS for predicting a signal read from each pixel may be provided. In this case, the reset level is held in the capacitor CTN prior to signal reading of each pixel, the read signal is once held in the capacitor CTS, and the noise component is obtained by taking the difference between the signal component and the reset level. It is possible to obtain each pixel signal in which variation based on the characteristics of each pixel is reduced and the variation is reduced.

また、上記第１及び第２の実施形態では、１フレーム毎に、信号を読み出す行を奇数行と偶数行というように交互に変更したが、これに限るものではなく、たとえば、１、４、７…行目を１フレーム目に、２、５、８…行目を２フレーム目に、３、６、９…行目を３フレーム目に読み出すといったように２行おきの行を１フレームで読み出すなど、複数行おきの行を１フレームで読み出すようにしても良いことは言うまでもない。その場合には、上記第１及び第２の実施形態で説明した制御と同様にして、それぞれのフレーム毎に３種類の異なる時間となるように制御することが可能である。ただし１フレームの読出しは読み出し行と間引き行が、少なくとも色再現のための情報を得られる画素セットを最小単位として行う必要がある。 In the first and second embodiments, the row from which a signal is read is alternately changed to an odd row and an even row for each frame. However, the present invention is not limited to this. For example, 1, 4, 7 ... rows are read in the first frame, 2, 5, 8 ... rows are read in the second frame, 3, 6, 9 ... rows are read in the third frame, etc. Needless to say, every other row may be read in one frame, such as reading. In that case, it is possible to perform control so as to have three different times for each frame, similarly to the control described in the first and second embodiments. However, readout of one frame requires that the readout row and the thinning-out row be performed with the pixel unit that can obtain at least information for color reproduction as a minimum unit.

上記の通り、本第１及び第２の実施形態によれば、動画撮影時のダイナミックレンジを拡大することができる。 As described above, according to the first and second embodiments, the dynamic range at the time of moving image shooting can be expanded.

また、複数の間引き行パターンで全画面を読み出すようにすれば画面内の情報の欠落を無くすことができる。 Further, if the entire screen is read out with a plurality of thinning patterns, it is possible to eliminate the lack of information in the screen.

更に、フレームレートを変更することなく、スリットローリングシャッター方式でダイナミックレンジを広げることができる。 Furthermore, the dynamic range can be expanded by the slit rolling shutter method without changing the frame rate.

本発明の実施の形態における撮像装置の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an imaging apparatus according to an embodiment of the present invention. 本発明の実施の形態における撮像装置の全体処理を示すフローチャートである。It is a flowchart which shows the whole process of the imaging device in embodiment of this invention. 本発明の第１の実施形態におけるダイナミックレンジ拡大を伴った動画撮影処理を説明するためのタイミングチャートである。It is a timing chart for demonstrating the video recording process accompanying the dynamic range expansion in the 1st Embodiment of this invention. 本発明の第１の実施形態におけるダイナミックレンジ拡大処理の概念を示す図である。It is a figure which shows the concept of the dynamic range expansion process in the 1st Embodiment of this invention. 本発明の第２の実施形態におけるダイナミックレンジ拡大を伴った動画撮影処理の概念を説明するためのタイミングチャートである。It is a timing chart for demonstrating the concept of the video recording process accompanied by the dynamic range expansion in the 2nd Embodiment of this invention. 本発明の第２の実施形態におけるダイナミックレンジ拡大を伴った動画撮影処理の概念を説明するためのタイミングチャートであるIt is a timing chart for demonstrating the concept of the video recording process accompanying the dynamic range expansion in the 2nd Embodiment of this invention. ＸＹアドレス型の走査方法を採るＣＭＯＳセンサの概略構成例を示す回路図である。It is a circuit diagram which shows the example of schematic structure of the CMOS sensor which takes the scanning method of XY address type. 従来のローリング電子シャッタ動作における静止画撮影時の駆動パルスと動作シーケンスを示すタイミングチャートである。It is a timing chart which shows the drive pulse and operation sequence at the time of still image photography in the conventional rolling electronic shutter operation. 従来のローリング電子シャッタ動作における動画撮影時の駆動パルスと動作シーケンスを示すタイミングチャートである。It is a timing chart which shows the drive pulse and operation | movement sequence at the time of the video recording in the conventional rolling electronic shutter operation | movement. 従来のスリットローリング電子シャッタ動作における動画撮影時の駆動パルスと動作シーケンスを示すタイミングチャートである。It is a timing chart which shows the drive pulse and operation | movement sequence at the time of the moving image photography in the conventional slit rolling electronic shutter operation | movement.

符号の説明Explanation of symbols

６８撮影光学系
６９ＣＭＯＳセンサ
７０前処理回路
７１タイミング生成回路
７２画像メモリ
７３信号処理回路
７４ＣＰＵ
７５動画／静止画切替スイッチ
７６撮影開始スイッチ
７７、７８ダイナミックレンジ切替選択ＳＷ 68 Imaging Optical System 69 CMOS Sensor 70 Preprocessing Circuit 71 Timing Generation Circuit 72 Image Memory 73 Signal Processing Circuit 74 CPU
75 Movie / still image switch 76 Shooting start switch 77, 78 Dynamic range switch SW

Claims

画素が２次元に配置された撮像手段と、
動画撮影時に、前記撮像手段を、少なくとも１行おきに画素信号を読み出す走査を複数回行うことにより、前記撮像手段から１画面分の画素信号を読み出すと共に、各走査毎に異なる行を走査し、且つ、電荷蓄積時間が異なるように前記撮像手段を駆動制御する制御手段と、
前記各走査毎に読み出された画素信号を記憶する記憶手段と、
前記記憶手段に記憶された画素信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大手段と
を有することを特徴とする撮像装置。 Imaging means in which pixels are arranged two-dimensionally;
At the time of moving image shooting, the image pickup means reads a pixel signal for one screen from the image pickup means by scanning a pixel signal at least every other row a plurality of times, and scans a different row for each scan, And control means for driving and controlling the imaging means so that the charge accumulation times are different;
Storage means for storing pixel signals read for each of the scans;
An image pickup apparatus comprising: a dynamic range expansion unit that expands a dynamic range using a pixel signal stored in the storage unit.

前記撮像手段はＣＭＯＳセンサであって、前記制御手段は、スリットローリングシャッター方式により前記ＣＭＯＳセンサを駆動制御することを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the imaging unit is a CMOS sensor, and the control unit drives and controls the CMOS sensor by a slit rolling shutter system.

前記ダイナミックレンジ拡大手段は、
前記記憶手段に記憶された１画面分の画素信号のうち、所定回目の走査により得られた画素信号と所定の閾値とを比較し、前記閾値を超える画素信号を有する画素を検出する検出手段と、
前記閾値を超える画素信号が検出された場合に、検出された画素に隣接し、且つ、異なる走査で得られた画素信号を用いて、前記閾値を超えた画像信号の代わりに用いる代替画素信号を演算する演算手段と、
前記閾値を超える画素信号を、前記演算手段により得られた代替画素信号に置き換える置き換え手段とを有し、
前記閾値は、画素が飽和した状態で得られる画素信号値より所定値分小さい値であることを特徴とする請求項１または２に記載の撮像装置。 The dynamic range expansion means is
Detecting means for comparing a pixel signal obtained by scanning a predetermined time with a predetermined threshold value among pixel signals for one screen stored in the storage means, and detecting a pixel having a pixel signal exceeding the threshold value; ,
When a pixel signal exceeding the threshold is detected, an alternative pixel signal used in place of the image signal that is adjacent to the detected pixel and obtained by a different scan is used instead of the image signal exceeding the threshold. Computing means for computing;
Replacement means for replacing a pixel signal exceeding the threshold with a substitute pixel signal obtained by the calculation means,
The imaging apparatus according to claim 1, wherein the threshold value is a value that is smaller by a predetermined value than a pixel signal value obtained in a state where the pixel is saturated.

前記置き換え手段による画素信号の置き換え後、前記所定回目の走査により得られた画素信号を前記複数回ずつ出力する出力手段を更に有することを特徴とする請求項３に記載の撮像装置。 The imaging apparatus according to claim 3, further comprising: an output unit that outputs the pixel signal obtained by the predetermined scanning after the pixel signal is replaced by the replacement unit a plurality of times.

前記制御手段は１行おきに２回走査を行い、前記所定回目の走査は電荷蓄積時間が長い方の走査であって、前記演算手段は、検出された画素に隣接し、且つ、異なる走査で得られた画素信号を電荷蓄積時間に応じて増幅することにより、画素信号値を算出することを特徴とする請求項３に記載の撮像装置。 The control unit scans twice every other row, and the predetermined scan is a scan with a longer charge accumulation time, and the calculation unit is adjacent to the detected pixel and is in a different scan. The imaging apparatus according to claim 3, wherein the pixel signal value is calculated by amplifying the obtained pixel signal according to the charge accumulation time.

前記制御手段は２行おきに３回走査を行い、前記所定回目の走査は電荷蓄積時間が中間の走査であって、前記検出手段は更に、所定の第２の閾値と前記所定回目の走査により得られた画素信号とを比較して、前記第２の閾値を下回る画素信号値を有する画素を検出し、
前記演算手段は、前記閾値を超える画素信号値が検出された場合に、検出された画素に隣接し、且つ、電荷蓄積時間が短い走査により得られた画素信号を電荷蓄積時間に応じて増幅することにより代替画素信号値を算出し、また、前記第２の閾値を下回る画素信号値が検出された場合に、検出された画素に隣接し、且つ、電荷蓄積時間が長い走査により得られた画素信号を電荷蓄積時間に応じて削減することにより代替画素信号値を算出することを特徴とする請求項３に記載の撮像装置。 The control means performs scanning three times every two rows, the predetermined scan is a scan with an intermediate charge accumulation time, and the detection means further includes a predetermined second threshold value and the predetermined scan. Comparing the obtained pixel signal to detect a pixel signal value lower than the second threshold,
When the pixel signal value exceeding the threshold is detected, the arithmetic means amplifies a pixel signal obtained by scanning adjacent to the detected pixel and having a short charge accumulation time according to the charge accumulation time. Thus, when the pixel signal value that is lower than the second threshold is detected, the pixel that is adjacent to the detected pixel and obtained by scanning with a long charge accumulation time is calculated. 4. The imaging apparatus according to claim 3, wherein the substitute pixel signal value is calculated by reducing the signal according to the charge accumulation time.

ダイナミックレンジの拡大を行って動画を撮影する第１のモードと、ダイナミックレンジの拡大を行わずに動画を撮影する第２のモードとを設定する設定手段を更に有し、
前記第１のモードが設定された場合に、前記制御手段、記憶手段、ダイナミックレンジ制御手段の動作を行うことを特徴とする請求項１乃至６のいずれかに記載の撮像装置。 A setting unit for setting a first mode for capturing a moving image by expanding the dynamic range and a second mode for capturing a moving image without expanding the dynamic range;
The imaging apparatus according to claim 1, wherein when the first mode is set, the control unit, the storage unit, and the dynamic range control unit are operated.

スリットローリングシャッター方式での画素リセットを全フレームで行うことを特徴とする請求項２に記載の撮像装置。 The imaging apparatus according to claim 2, wherein pixel reset by a slit rolling shutter method is performed in all frames.

画素が２次元に配置された撮像手段を有する撮像装置の制御方法であって、
動画撮影時に、前記撮像手段を、少なくとも１行おきに画素信号を読み出す走査を複数回行うことにより、前記撮像手段から１画面分の画素信号を読み出すと共に、各走査毎に異なる行を走査し、且つ、電荷蓄積時間が異なるように前記撮像手段を駆動制御する制御工程と、
前記各走査毎に読み出された画素信号を記憶する記憶工程と、
前記記憶手段に記憶された画素信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大工程と
を有することを特徴とする制御方法。 A method for controlling an imaging apparatus having imaging means in which pixels are arranged two-dimensionally,
At the time of moving image shooting, the image pickup means reads a pixel signal for one screen from the image pickup means by scanning a pixel signal at least every other row a plurality of times, and scans a different row for each scan, And a control step of driving and controlling the imaging means so that the charge accumulation times are different;
A storage step of storing the pixel signal read for each scan;
And a dynamic range expansion step of expanding a dynamic range using the pixel signal stored in the storage means.

請求項９に記載の制御方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。 A program executable by an information processing apparatus, comprising program code for realizing the control method according to claim 9.

請求項１０に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。 A storage medium readable by an information processing apparatus, wherein the program according to claim 10 is stored.