JP2010219998A - Imaging method, imaging apparatus and imaging system - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To solve the following problem: in an imaging apparatus for high-speed photographing, under a conventional high-speed photographing mode, a frame rate and an exposure time can be designated for a video image to be output, so that lightness becomes different in accordance with the designated frame rate or exposure time but under the high-speed photographing mode, since a video image cannot be viewed in real time, it can be confirmed whether or not a high-speed captured video image has suitable lightness only by viewing the video image after once photographed, so that each time the frame rate or exposure time is changed, it is necessary as a result to perform adjustment into suitable lightness by iteratively performing operation such as photographing, iris adjustment, illumination sensitivity adjustment or the like. <P>SOLUTION: An imaging apparatus includes a circuit for applying to an electrode a pulse for reading out and transferring signal charges of a plurality of photodiodes to a transfer electrode after the lapse of a time shorter than a 1/2 continuous readout term from a vertical synchronizing signal of an external synchronizing signal generated. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、被写体を高速に撮像するための撮像方法、撮像装置、及び撮像システムに関するものである。   The present invention relates to an imaging method, an imaging apparatus, and an imaging system for imaging a subject at high speed.

近年の撮像装置においては、複数のフォトダイオードのそれぞれの周辺にフォトダイオードの信号電荷を蓄積する転送電極を有する画素周辺記録型（ＩＳＩＳ：In-situ Storage Image Sensor ）ＣＣＤ（ Charge Coupled Device ）を撮像素子として用いることによって、高速度撮影が可能になった（特許文献１参考。）。さらに、画素周辺記録型ＣＣＤを斜行直線状にして並列読み出しとして、１００万枚／秒で連続撮影が可能になった（特許文献２参考。）。また、画素周辺記録型ＣＣＤによる高速撮影を計測に用いるために、高速撮影のフレーム間黒変動を補正することも可能となった（特許文献３参照。）。
またさらに、並列読み出し数を増加したり、複数の撮像素子を貼り合わせて、より高速の読み出しを試行している。 In recent imaging devices, a pixel peripheral recording type (ISIS: In-Situ Storage Image Sensor) CCD (Charge Coupled Device) having a transfer electrode for storing the signal charge of the photodiode around each of a plurality of photodiodes is imaged. By using it as an element, high-speed photography has become possible (see Patent Document 1). Furthermore, continuous imaging can be performed at 1 million images / second by using pixel peripheral recording type CCDs in a slanted straight line for parallel reading (see Patent Document 2). In addition, since high-speed shooting using a pixel peripheral recording type CCD is used for measurement, it has become possible to correct inter-frame black fluctuation in high-speed shooting (see Patent Document 3).
Furthermore, the number of parallel readouts is increased, or a plurality of image sensors are attached to try a faster readout.

上記画素周辺記録型ＣＣＤを使った撮像装置において、撮像素子部では、画素毎に、入射光量に応じた電荷が発生し、露光中に画素毎の画像情報として蓄積される。蓄積された電荷は、画素毎にそれぞれ、画素周辺記録型ＣＣＤに高速転送され、フォトダイオードの信号電荷として蓄積される。
画素周辺記録型ＣＣＤを使った撮像装置によって高速撮影する場合には、画像情報を蓄積しながら読み出すことは難しい。従って、読み出しを行う時には、高速転送を停止すると共に、露光終了してから、高速転送を停止する前に、画素周辺記録型ＣＣＤの撮像素子部に蓄積された電荷を、垂直読み出しＣＣＤ（図示しない）と水平読み出しＣＣＤ（図示しない）に転送し、ＦＤＡ（ Floating Diffusion Amplifier ）で信号電圧として撮像素子から読み出す。 In the image pickup apparatus using the pixel peripheral recording type CCD, in the image pickup device section, a charge corresponding to the amount of incident light is generated for each pixel and is stored as image information for each pixel during exposure. The accumulated charge is transferred to the pixel peripheral recording CCD for each pixel at a high speed and accumulated as a signal charge of the photodiode.
When shooting at high speed with an imaging device using a pixel peripheral recording type CCD, it is difficult to read out while accumulating image information. Therefore, when reading is performed, the high-speed transfer is stopped, and the charge accumulated in the image pickup device portion of the pixel peripheral recording type CCD is stopped after the exposure is completed and before the high-speed transfer is stopped. ) And a horizontal readout CCD (not shown) and read out from the image sensor as a signal voltage by an FDA (Floating Diffusion Amplifier).

読み出された信号電圧は、次に、ＣＤＳ（ Correlated Double Sampling ）と利得可変増幅回路（ Automatic Gain Control ：ＡＧＣ）とデジタル映像信号Ｖｉに変換するＡＤＣ（ Analog Digital Converter ）の順で処理され、デジタル信号に変換され、同一位相で高速転送された電気信号として、パソコン等の映像編集装置により１枚の画面に合成され、高速撮影映像が編集される。
なお、露光開始または露光終了の高速化手段としては、機械シャッタやマイクロミラーやキセノン放電管ストロボ照明やＬＥＤ（発光ダイオード）等がある。 The read signal voltage is then processed in the order of CDS (Correlated Double Sampling), variable gain amplifier (Automatic Gain Control: AGC), and ADC (Analog Digital Converter) that converts the digital video signal Vi. An electric signal converted into a signal and transferred at high speed in the same phase is synthesized on a single screen by a video editing apparatus such as a personal computer, and a high-speed shot video is edited.
As a means for speeding up the exposure start or the exposure end, there are a mechanical shutter, a micro mirror, a xenon discharge tube strobe illumination, an LED (light emitting diode), and the like.

ＣＣＤを駆動する駆動パルスのうち、フォトダイオードの露光と転送の制御を行うパルスをＰＧ（ Photodiode Gate ）パルスと呼ぶ。例えば、このＰＧパルスのレベルがＨｉｇｈの期間が露光中であり、Ｌｏｗの期間が転送中である。ＰＧパルスは、一般的に、２つのＰＧ１パルスとＰＧ２パルスの２つのパルスで構成する。
図７は、高速撮影可能な撮像装置における従来のモニタモードの駆動タイミングを説明するための図である。従来のモニタモードの動作では、露光時間が固定されている。このため、露光と転送のタイミングが、図７に示すようなタイミングとなる。横軸は経過時間、図７（ａ）は垂直同期信号（ＶＤ＿ＩＮ）の信号波形、図７（ｂ）はＰＧ１パルスの波形、図７（ｃ）はＰＧ２パルスの波形、図７（ｄ）は転送パルス波形、図７（ｅ）は撮像素子部と機械シャッタの動作状態（露光または遮光）を示す。図７（ｄ）の網掛け部分は転送パルス期間を示す。
即ち、ＰＧパルス（ＰＧ１、ＰＧ２）は、入力される垂直同期信号（ＶＤ＿ＩＮ）に同期して開始され、露光のために３３．３［ｍｓ］間、ＰＧパルスのレベルをＨｉｇｈに保持する。次に、３３．３［ｍｓ］間、ＰＧパルスのレベルをＬｏｗにして、各転送パルスの駆動を開始すると共に、撮像素子部に入射する光（被写体像）を遮光する。
そして、各転送パルスの駆動終了後に、入力された垂直同期信号に従って遮光を解除し、再度ＰＧパルスをＨｉｇｈにし、露光を開始する。 Of the drive pulses for driving the CCD, a pulse for controlling the exposure and transfer of the photodiode is called a PG (Photodiode Gate) pulse. For example, the period in which the level of the PG pulse is High is being exposed, and the period in which the PG pulse is Low is being transferred. The PG pulse is generally composed of two pulses, two PG1 pulses and a PG2 pulse.
FIG. 7 is a diagram for explaining the drive timing of the conventional monitor mode in the imaging apparatus capable of high-speed shooting. In the operation of the conventional monitor mode, the exposure time is fixed. For this reason, the exposure and transfer timings are as shown in FIG. The horizontal axis is the elapsed time, FIG. 7A is the signal waveform of the vertical synchronization signal (VD_IN), FIG. 7B is the waveform of the PG1 pulse, FIG. 7C is the waveform of the PG2 pulse, and FIG. The transfer pulse waveform, FIG. 7 (e) shows the operating state (exposure or light shielding) of the image sensor section and mechanical shutter. The shaded portion in FIG. 7D indicates the transfer pulse period.
That is, the PG pulses (PG1, PG2) are started in synchronization with the input vertical synchronization signal (VD_IN), and the level of the PG pulse is held High for 33.3 [ms] for exposure. Next, for 33.3 [ms], the level of the PG pulse is set to Low, and driving of each transfer pulse is started, and light (subject image) incident on the image sensor section is shielded.
Then, after the driving of each transfer pulse is completed, the light shielding is canceled according to the input vertical synchronization signal, the PG pulse is set to High again, and exposure is started.

上述のように、４つの垂直同期信号の区間（ＶＤ１、ＶＤ２、ＶＤ３、ＶＤ４）のうち、区間ＶＤ１と区間ＶＤ２の間に露光が実行され、区間ＶＤ３と区間ＶＤ４の間に遮光と転送が実行される。
高速撮影するための撮像装置において、従来のモニタモードは、リアルタイムに映像を出力する動作モードである。モニタモードの場合には、フレームレートが１５［ｆｐｓ］固定、露光時間が連続読み出し周期の１／２固定となっている。 As described above, among the four vertical synchronization signal sections (VD1, VD2, VD3, and VD4), exposure is performed between the sections VD1 and VD2, and light shielding and transfer are performed between the sections VD3 and VD4. Is done.
In an imaging apparatus for high-speed shooting, the conventional monitor mode is an operation mode for outputting video in real time. In the monitor mode, the frame rate is fixed at 15 [fps], and the exposure time is fixed at ½ of the continuous reading cycle.

特開平９−５５８８９号公報JP-A-9-55889 特開２０００−２８６４０４号公報JP 2000-286404 A 特開２００９−３３５１０号公報JP 2009-33510 A

一方、高速撮影するための撮像装置において、従来の高速撮影モードでは、出力される映像の、フレームレートと露光時間の指定が可能である。従って、指定されるフレームレートや露光時間によって、明るさが異なる。しかし、高速撮影モードでは、リアルタイムで映像を見ることができない。このため、一度撮影した後に見ることでしか、高速撮像された映像が適切な明るさであるか確認できない。
この結果、フレームレートや露光時間を変更するたびに、撮影、アイリス調整、照明感度調整、などの操作を繰り返し行って、適切な明るさに調整する必要があった。
本発明は、上記の問題に鑑み、高速撮影可能な撮像装置において、高速撮影モードの動作におけるフレームレートや露光時間の変更を、リアルタイムに明るさの調整ができるモニタモードを実現することを目的とする。 On the other hand, in an imaging apparatus for high-speed shooting, in the conventional high-speed shooting mode, it is possible to specify the frame rate and exposure time of the output video. Accordingly, the brightness varies depending on the designated frame rate and exposure time. However, in the high-speed shooting mode, the video cannot be viewed in real time. For this reason, it is possible to confirm whether or not an image captured at a high speed has an appropriate brightness only by viewing the image after shooting once.
As a result, every time the frame rate or the exposure time is changed, it is necessary to adjust the brightness appropriately by repeatedly performing operations such as photographing, iris adjustment, and illumination sensitivity adjustment.
In view of the above problems, an object of the present invention is to realize a monitor mode capable of adjusting the brightness in real time in a high-speed shooting mode operation in an imaging apparatus capable of high-speed shooting. To do.

上記の課題を解決するために、本発明は、複数のフォトダイオードを有し、前記複数のフォトダイオードのそれぞれの周辺にフォトダイオードの信号電荷を蓄積及び転送するための転送電極を有する撮像素子と、連続読み出しモード駆動パルスを発生するパルス発生部と、外部同期部を有する撮像装置と、外部同期信号を発生し、撮像装置出力を記録し処理する外部処理装置とを有する撮像システムにおいて、
前記発生された外部同期信号の垂直同期信号から、連続読み出し周期の１／２より短い時間後に前記複数のフォトダイオードの信号電荷を前記転送電極に読み出し転送するパルスを電極に印加する回路を撮像装置を有することを特徴とした撮像システムである。
好ましくは、前記外部処理装置はパソコン若しくは専用の操作装置である。 In order to solve the above-described problems, the present invention provides an imaging device having a plurality of photodiodes, and having transfer electrodes for storing and transferring the signal charges of the photodiodes around each of the plurality of photodiodes. In an imaging system having a pulse generator that generates a continuous read mode drive pulse, an imaging device having an external synchronization unit, and an external processing device that generates an external synchronization signal and records and processes the output of the imaging device.
An imaging device that applies a pulse for reading and transferring the signal charges of the plurality of photodiodes to the transfer electrode after a time shorter than a half of a continuous reading cycle from the generated vertical synchronizing signal of the external synchronizing signal It is an imaging system characterized by having.
Preferably, the external processing device is a personal computer or a dedicated operation device.

好ましくは、 複数のフォトダイオードを有し、前記複数のフォトダイオードのそれぞれの周辺にフォトダイオードの信号電荷を蓄積及び転送するための転送電極を有する撮像素子と、連続読み出しモード駆動パルス発生部と、外部同期部を有する撮像装置と、外部同期信号を発生し、撮像装置出力を記録し処理する装置とを有する撮像システムにおける前記撮像装置において、
前記発生された外部同期信号の垂直同期パルスから、連続読み出し周期の１／２より短い時間後に前記複数のフォトダイオードの信号電荷を前記転送電極に読み出し転送する回路有することを特徴とする撮像装置である。 Preferably, an image sensor having a plurality of photodiodes, a transfer electrode for storing and transferring a signal charge of the photodiode around each of the plurality of photodiodes, a continuous readout mode drive pulse generator, In the imaging apparatus in an imaging system having an imaging apparatus having an external synchronization unit and an apparatus that generates an external synchronization signal and records and processes the output of the imaging apparatus,
An image pickup apparatus comprising: a circuit for reading and transferring signal charges of the plurality of photodiodes to the transfer electrodes after a time shorter than a half of a continuous read cycle from a vertical synchronization pulse of the generated external synchronization signal. is there.

また、好ましくは、複数のフォトダイオードを有し、前記複数のフォトダイオードのそれぞれの周辺にフォトダイオードの信号電荷を蓄積及び転送するための転送電極を有する撮像素子と、連続読み出しモード駆動パルス発生部と、外部同期部を有する撮像装置と、外部同期信号を発生し、撮像装置出力を記録し処理する装置とを有する撮像システムにおける撮像方法において、
前記発生された外部同期信号の垂直同期パルスから、連続読み出し周期の１／２より短い時間後に前記複数のフォトダイオードの信号電荷を前記転送電極に読み出し転送することを特徴とする撮像方法である。 Preferably, the imaging device includes a plurality of photodiodes, a transfer electrode for storing and transferring the signal charges of the photodiodes around each of the plurality of photodiodes, and a continuous readout mode drive pulse generator. And an imaging apparatus having an external synchronization unit, and an imaging system having an external synchronization signal and an apparatus for recording and processing the output of the imaging apparatus.
In the imaging method, the signal charges of the plurality of photodiodes are read and transferred to the transfer electrodes after a time shorter than ½ of a continuous reading cycle from the generated vertical synchronizing pulse of the external synchronizing signal.

本発明によれば、モニタモードにおいて、高速撮影モードによって撮影された映像と同じ明るさで出力できる機能（ライトモード機能）を付加した。これによって、ライトモード機能のオフ時は従来通りのモニタモードとし、ライトモード機能のオン時は指定されたフレームレートと露光時間を考慮したモニタモードとする撮像方法及び撮像装置並びに撮像システムとするものである。その結果、高速撮影を繰り返すことなく、リアルタイムに明るさの調整ができる。
即ち、本発明によれば、高速撮影モードの指定フレームレート、指定露光時間を考慮し、リアルタイムに感度の調整ができ、モニタモードでも高速撮影モードによって撮影された映像と同じ感度で出力できる。その結果、高速撮影モードと同じ感度をモニタモードで確認し、撮影条件を整備してから、迅速に高速撮影が可能となる。 According to the present invention, in the monitor mode, a function (light mode function) that can output with the same brightness as the video shot in the high-speed shooting mode is added. As a result, when the light mode function is turned off, the conventional monitor mode is set, and when the light mode function is turned on, the monitor mode is set in consideration of the specified frame rate and exposure time. It is. As a result, brightness can be adjusted in real time without repeating high-speed shooting.
That is, according to the present invention, the sensitivity can be adjusted in real time in consideration of the designated frame rate and the designated exposure time in the high-speed shooting mode, and the monitor mode can be output with the same sensitivity as the video shot in the high-speed shooting mode. As a result, the same sensitivity as in the high-speed shooting mode is confirmed in the monitor mode, and after shooting conditions are prepared, high-speed shooting can be performed quickly.

本発明の撮像システムの一実施例の構成を示すブロック図である。It is a block diagram which shows the structure of one Example of the imaging system of this invention. 本発明の撮像システムの一実施例の構成を示すブロック図である。It is a block diagram which shows the structure of one Example of the imaging system of this invention. 本発明の一実施例の撮像素子の構造を説明する模式図である。It is a schematic diagram explaining the structure of the image pick-up element of one Example of this invention. 本発明の一実施例の駆動タイミングを説明するための模式図である。It is a schematic diagram for demonstrating the drive timing of one Example of this invention. 本発明の一実施例の駆動タイミングを説明するための模式図である。It is a schematic diagram for demonstrating the drive timing of one Example of this invention. 本発明の一実施例の駆動タイミングを説明するための模式図である。It is a schematic diagram for demonstrating the drive timing of one Example of this invention. 従来のモニタモードの駆動タイミングを説明するための図である。It is a figure for demonstrating the drive timing of the conventional monitor mode.

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。本書では、既に説明した図７を含め、以降の各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、説明を省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this document, components having common functions are denoted by the same reference numerals in the following description of each drawing including FIG.

図１によって、本発明の撮像システムの全体構成を説明する。図１は、本発明の撮像システムの一実施例の構成を示すブロック図である。１０１は入射光、１０２はレンズ部、１０３は撮像部、１０４はパソコン、１０５は映像モニタである。
図１において、被写体像からの入射光１０１は、レンズ部１０２を通って撮像部１０３に入力される。撮像部１０３は、入力された入射光を電気信号（映像信号）に変換し画像処理して、パソコン１０４と映像モニタ１０５に出力する。映像モニタ１０５は、入力された映像データを表示する。パソコン１０４は、入力された映像データを表示する他、撮像部１０３とレンズ部１０２を制御するための制御信号を撮像部１０３に出力する。 The overall configuration of the imaging system of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing a configuration of an embodiment of an imaging system of the present invention. Reference numeral 101 denotes incident light, 102 denotes a lens unit, 103 denotes an imaging unit, 104 denotes a personal computer, and 105 denotes a video monitor.
In FIG. 1, incident light 101 from a subject image is input to an imaging unit 103 through a lens unit 102. The imaging unit 103 converts the input incident light into an electrical signal (video signal), performs image processing, and outputs it to the personal computer 104 and the video monitor 105. The video monitor 105 displays the input video data. In addition to displaying the input video data, the personal computer 104 outputs a control signal for controlling the imaging unit 103 and the lens unit 102 to the imaging unit 103.

図２によって、本発明の撮像方法及び撮像装置並びに撮像システムの詳細をさらに説明する。図２は、本発明の撮像システムの一実施例の全体構成を示すブロック図である。２０１は撮像素子部、２０２はＣＤＳ（ Correlated Double Sampling ）部、２０３は利得可変増幅（ＡＧＣ：Automatic Gain Control ）部、２０４はＡＤＣ（ Analog Digital Converter ）部、２０６は多重（ＭＰＸ：Multiplexer ）部、２０８はタイミング発生（ＴＧ：Timing Generator ）部、２０９はＣＰＵ（ Central Processing Unit ）部、２２１はガンマ補正部、２２２はインターフェース（ＩＦ：Interface ）部、２２３は画像処理部である。ＩＦ部２２２は、例えば、ＬＡＮ（ Local Area Network ）のインターフェース、２２４と２２５は外部入力端子である。
また、２１１、２１２、・・・、２１６はフロントエンドプロセッサ（ＦＥＰ：Front End Processor ）部であり、１ｃｈ〜１６ｃｈ（計１６チャネル）備えられ、ＦＥＰ２１１、２１２、・・・、２１６それぞれのチャネルは、ＣＤＳ部２０２、ＡＧＣ部２０３及びＡＤＣ部２０４で構成で構成される。
なお、図２では、撮像部１０３の前段のレンズ部１０２（図１参照）を省略し、図示していない。 Details of the imaging method, imaging apparatus, and imaging system of the present invention will be further described with reference to FIG. FIG. 2 is a block diagram showing the overall configuration of an embodiment of the imaging system of the present invention. 201 is an image sensor unit, 202 is a CDS (Correlated Double Sampling) unit, 203 is a variable gain amplification (AGC) unit, 204 is an ADC (Analog Digital Converter) unit, 206 is a multiplexing (MPX: Multiplexer) unit, 208 is a timing generator (TG) unit, 209 is a CPU (Central Processing Unit) unit, 221 is a gamma correction unit, 222 is an interface (IF) unit, and 223 is an image processing unit. For example, the IF unit 222 is a LAN (Local Area Network) interface, and 224 and 225 are external input terminals.
In addition, 211, 212,..., 216 are front end processor (FEP: Front End Processor) units, which are provided with 1 channel to 16 channels (16 channels in total), and each channel of FEP 211, 212,. , The CDS unit 202, the AGC unit 203, and the ADC unit 204.
In FIG. 2, the lens unit 102 (see FIG. 1) at the front stage of the imaging unit 103 is omitted and not shown.

図２の撮像部１０３において、撮像素子２０１には、図示しないレンズ部１０２を通って被写体像からの光が入力される。撮像素子２０１は、ＣＰＵ部２０９から入力される駆動パルスに基づいて、入力された光を電気信号に変換し、１６ＣＨのＦＥＰ部２１１〜２１６に出力する。ＦＥＰ部２１１〜２１６それぞれは、入力された電気信号（映像信号）について、ＣＤＳ部２０２が雑音を除去し、ＡＧＣ部２０３でゲインを調整し、ＡＤＣ部２０４でアナログ信号からデジタル信号に変換して、ＭＰＸ部２０６に出力する。
ＭＰＸ部２０６は、１〜１６ＣＨのＦＥＰ部２１１〜２１６からそれぞれ入力された映像を多重（１枚のフレームに）した映像（補正前映像）を生成し、ガンマ補正部２２１、及び、ＩＦ部２２２に出力する。ＩＦ部２２２は、入力された映像（補正前映像）を伝送可能な形式（例えば、ＬＡＮに伝送可能な形式）に変換して、外部のパソコン１０４に出力する。
ＴＧ部２０８は、装置内部で発生するクロックパルス（ CLK ）、水平駆動パルス（ HD ）及び垂直駆動パルス（ VD ）並びにＣＰＵ部２０９を介して外部から入力されるパルスによってタイミングパルスを生成する。例えば、ＴＧ部２０８は、ガンマ補正部２２１とＭＰＸ部２０６にセレクタパルス（ SEL ）を出力し、それらの入出力のタイミングを合わせる。また、ＴＧ部２０８は、撮像素子部２０１に水平及び垂直駆動パルスを出力して、信号電荷の蓄積と転送を制御する。 In the imaging unit 103 in FIG. 2, light from a subject image is input to the imaging element 201 through a lens unit 102 (not shown). The image sensor 201 converts the input light into an electrical signal based on the drive pulse input from the CPU unit 209 and outputs the electrical signal to the 16CH FEP units 211 to 216. In each of the FEP units 211 to 216, the CDS unit 202 removes noise from the input electrical signal (video signal), the AGC unit 203 adjusts the gain, and the ADC unit 204 converts the analog signal into a digital signal. , Output to the MPX unit 206.
The MPX unit 206 generates a video (pre-correction video) obtained by multiplexing (in one frame) the video input from the FEP units 211 to 216 of 1 to 16 channels, and the gamma correction unit 221 and the IF unit 222. Output to. The IF unit 222 converts the input video (pre-correction video) into a format that can be transmitted (for example, a format that can be transmitted to a LAN), and outputs the converted video to the external personal computer 104.
The TG unit 208 generates a timing pulse by a clock pulse (CLK), a horizontal drive pulse (HD) and a vertical drive pulse (VD) generated inside the apparatus, and a pulse input from the outside via the CPU unit 209. For example, the TG unit 208 outputs a selector pulse (SEL) to the gamma correction unit 221 and the MPX unit 206, and matches their input / output timings. Further, the TG unit 208 outputs horizontal and vertical drive pulses to the image sensor unit 201 to control the accumulation and transfer of signal charges.

ガンマ補正部２２１は、入力された映像それぞれのチャネル毎にガンマ補正して、補正した映像を画像処理部２２３に出力する。
なお、ガンマ補正の方法及び構成は周知の技術、例えば、本願出願人が特許出願した、特開２００９−０５５５９６号公報、等記載の技術を用いる。 The gamma correction unit 221 performs gamma correction for each channel of the input video, and outputs the corrected video to the image processing unit 223.
Note that the gamma correction method and configuration use a known technique, for example, a technique described in Japanese Patent Application Laid-Open No. 2009-055596, which has been filed by the applicant of the present application.

画像処理部２２３は、ガンマ補正部２２１から入力された補正された映像信号について、出力信号を生成し、撮像部１０３から、映像モニタ１０５に出力する。
また、パソコン１０４は、ＩＦ部２２２を介して、撮像部１０３と通信し、制御信号をＣＰＵ部２０９に出力する。ＣＰＵ部２０９は、入力された制御信号に応じて、ガンマ補正部２２１を制御し、係数設定を行う。 The image processing unit 223 generates an output signal for the corrected video signal input from the gamma correction unit 221, and outputs the output signal from the imaging unit 103 to the video monitor 105.
The personal computer 104 communicates with the imaging unit 103 via the IF unit 222 and outputs a control signal to the CPU unit 209. The CPU unit 209 controls the gamma correction unit 221 according to the input control signal, and sets the coefficient.

外部端子２２５からはオペレータが、撮像装置のモードを設定するための信号が入力される。即ち、オペレータが撮像装置のモードを切替えると、その指定に応じて、モニタモードと高速撮影モードの切替え操作が可能であり、さらに、モニタモードにおいて、ライトモードのオン若しくはオフの切替え操作が可能となる。それらの操作信号を入力されたＣＰＵ部２０９は、予め定められた実行プログラムに従って、撮像装置を制御する。
また、外部端子２２４からは、外部垂直同期信号が、映像モニタ１０５と共にＣＰＵ部２０９に入力される。外部垂直同期信号を入力されたＣＰＵ部２０９は、その同期に合わせて、内部の垂直同期信号を同期させる。 From the external terminal 225, a signal for the operator to set the mode of the imaging apparatus is input. That is, when the operator switches the mode of the imaging device, the monitor mode and the high-speed shooting mode can be switched according to the designation, and the light mode can be switched on or off in the monitor mode. Become. The CPU unit 209 to which these operation signals are input controls the imaging device according to a predetermined execution program.
Further, an external vertical synchronization signal is input to the CPU unit 209 from the external terminal 224 together with the video monitor 105. The CPU unit 209 to which the external vertical synchronization signal is input synchronizes the internal vertical synchronization signal in accordance with the synchronization.

図３によって、本発明の撮像素子部の電荷転送の動作について説明する。図３は、本発明の一実施例の撮像素子（画素周辺記録型（ＩＳＩＳ）ＣＣＤ）で、画素周辺記録型ＣＣＤの構造を説明するための模式図である。図３（ａ）は、フォトダイオード周辺の構造について示す模式図である。図３（ｂ）は、並列出力部の構造を模式的に示す図である。
図３（ａ）において、入射光を受光するフォトダイオード３０１それぞれから、信号電荷を記録するためのＣＣＤメモリ３０２を直接結合した構造としている。例えば、ＣＣＤメモリ３０２は１４４段でフォトダイオード３０１から読み出し出力部３０３に結合している。
即ち、１枚の撮影毎に、ＣＣＤメモリ３０２内の電荷を１段ずつ転送し、読み出し出力部３０３から出力する構造としている。このため、フレーム毎の電荷転送段数を１段として、撮影の超高速度化を実現している。またさらに、撮像素子部３０１の電荷出力部は１６に分割されており、１６のチャネルＣＨ１〜ＣＨ１６それぞれから、並列で信号電荷が、撮像素子部３０１から、ＦＥＰ部２１１〜２１６にそれぞれ出力される。従って、さらに高速に高速撮影を可能としている。
図３（ｂ）においては、撮像素子部３０１の電荷出力部（３１１〜３１６）は１６に分割されており、１６のチャネルＣＨ１〜ＣＨ１６それぞれから、並列で信号電荷が、撮像素子部３０１から出力される（図２、撮像素子部２０１からＦＥＰ部２１１〜２１６参照）。 With reference to FIG. 3, the charge transfer operation of the image sensor section of the present invention will be described. FIG. 3 is a schematic diagram for explaining the structure of a pixel peripheral recording type CCD, which is an imaging device (pixel peripheral recording type (ISIS) CCD) according to an embodiment of the present invention. FIG. 3A is a schematic diagram showing the structure around the photodiode. FIG. 3B is a diagram schematically illustrating the structure of the parallel output unit.
In FIG. 3A, a CCD memory 302 for recording signal charges is directly coupled to each photodiode 301 that receives incident light. For example, the CCD memory 302 is coupled to the readout output unit 303 from the photodiode 301 in 144 stages.
In other words, every time one image is taken, the charge in the CCD memory 302 is transferred one by one and output from the readout output unit 303. For this reason, the number of charge transfer stages for each frame is set to one, and an ultra-high speed shooting is realized. Furthermore, the charge output unit of the image sensor unit 301 is divided into 16, and signal charges are output in parallel from the 16 channels CH1 to CH16, respectively, from the image sensor unit 301 to the FEP units 211 to 216, respectively. . Therefore, high-speed shooting is possible at a higher speed.
In FIG. 3B, the charge output units (311 to 316) of the image sensor unit 301 are divided into 16 and signal charges are output from the image sensor unit 301 in parallel from each of the 16 channels CH 1 to CH 16. (Refer to FIG. 2, from the image sensor unit 201 to the FEP units 211 to 216).

上記の動作において、モニタモードでの撮影では、映像モニタ１０５での再生速度と同じ速度で撮影されるので、リアルタイムで映像が確認できるため、露光時間等の調整もその場で可能である。しかし、高速撮影モードでは、撮影後に編集してからで無ければ、映像を表示できない。従って、フレームレートの変更や露光時間等の調整には、時間がかかる。
そこで、本発明では、モニタモードにおいて、高速撮影モードで撮影された映像と同じ明るさで出力できるようにした。本明細書では、そのモードをライトモードと称する。 In the above operation, when shooting in the monitor mode, the shooting is performed at the same speed as the playback speed on the video monitor 105, so that the video can be confirmed in real time, and the exposure time and the like can be adjusted on the spot. However, in the high-speed shooting mode, an image cannot be displayed unless it is edited after shooting. Therefore, it takes time to change the frame rate and adjust the exposure time.
Therefore, according to the present invention, in the monitor mode, it is possible to output with the same brightness as the video shot in the high-speed shooting mode. In this specification, this mode is referred to as a write mode.

以下、その動作を、図４〜図６によって説明する。図４〜図６は、本発明の撮像方法及び撮像装置並びに撮像システムにおける一実施例の駆動タイミングを説明するための模式図である。
図４〜図６において、入力される垂直同期信号の周期は同じであり、各転送パルスも従来と変わらない。変更点は、ＰＧパルスのみである。横軸は経過時間、図４（ａ）、図５（ａ）及び図６（ａ）は垂直同期信号（ＶＤ＿ＩＮ）の信号波形、図４（ｂ）、図５（ｂ）及び図６（ｂ）はＰＧ１パルスの波形、図４（ｃ）、図５（ｃ）及び図６（ｃ）はＰＧ２パルスの波形、図４（ｄ）、図５（ｄ）及び図６（ｄ）は転送パルス波形、図４（ｅ）、図５（ｅ）及び図６（ｅ）は撮像素子部と機械シャッタの動作状態（露光または遮光）を示す。ここで、図４（ｄ）、図５（ｄ）及び図６（ｄ）の網掛け部分は転送パルス期間を示す。 The operation will be described below with reference to FIGS. 4 to 6 are schematic diagrams for explaining the drive timing of one embodiment in the imaging method, imaging apparatus, and imaging system of the present invention.
4 to 6, the period of the input vertical synchronization signal is the same, and each transfer pulse is not different from the conventional one. Only the PG pulse is changed. The horizontal axis is the elapsed time, FIGS. 4 (a), 5 (a) and 6 (a) are the signal waveforms of the vertical synchronization signal (VD_IN), FIGS. 4 (b), 5 (b) and 6 (b). ) Is the waveform of the PG1 pulse, FIGS. 4 (c), 5 (c) and 6 (c) are the waveforms of the PG2 pulse, and FIGS. 4 (d), 5 (d) and 6 (d) are the transfer pulses. Waveforms, FIG. 4 (e), FIG. 5 (e) and FIG. 6 (e) show the operating state (exposure or light shielding) of the image sensor unit and the mechanical shutter. Here, the shaded portions in FIG. 4D, FIG. 5D, and FIG. 6D indicate the transfer pulse period.

図４によって、指定フレームレートが１［ｋｆｐｓ］、指定露光時間が連続読み出し周期の１／２という条件で露光時間が反映するように、ライトモードをオンにした場合の駆動タイミングを示す。
まず垂直同期信号期間ＶＤ１の開始と共に、露光を開始する。フレームレートが１［ｋｆｐｓ］であるので、１フレームの時間は１［ｍｓ］になる。また、露光時間が連続読み出し周期の１／２であるので、ＰＧパルス１及びＰＧパルス２がＨｉｇｈである期間は、５００［μｓ］（０．５［ｍｓ］）となる。
露光完了後、各転送パルスの駆動を開始すると共に、ＰＧパルス（ＰＧパルス１及びＰＧパルス２）をＬｏｗにし、次の垂直同期信号期間ＶＤ１が開始するまでを待つ。 FIG. 4 shows the drive timing when the light mode is turned on so that the exposure time is reflected under the condition that the specified frame rate is 1 [kfps] and the specified exposure time is ½ of the continuous readout cycle.
First, exposure is started together with the start of the vertical synchronization signal period VD1. Since the frame rate is 1 [kfps], the time for one frame is 1 [ms]. Further, since the exposure time is ½ of the continuous readout cycle, the period during which PG pulse 1 and PG pulse 2 are High is 500 [μs] (0.5 [ms]).
After the exposure is completed, driving of each transfer pulse is started, the PG pulse (PG pulse 1 and PG pulse 2) is set to Low, and the process waits until the next vertical synchronization signal period VD1 starts.

ところで、画素周辺記録型ＣＣＤは、フォトダイオードから斜め転送路に繋がる部分で不要な電荷を掃き捨てる構造になっていない。つまり、指定条件に従って、まず遮光し不要な電荷を掃き捨てた後、必要な時間だけ露光するという処理ができない。そこで、図４では、まず露光を開始し、また指定条件に従って露光を完了した後、すぐに各転送パルスを駆動し、電荷を斜め転送路に送り出す必要がある。
よって、決まった入力垂直同期信号（ＶＤ＿ＩＮ）のタイミングで各転送パルスが駆動せず、ＰＧパルスに同期して各転送パルスが駆動する。従って、映像信号の出力も、入力される垂直同期信号に同期しない。 By the way, the pixel peripheral recording type CCD does not have a structure for sweeping away unnecessary charges at a portion connecting the photodiode to the oblique transfer path. In other words, in accordance with the specified conditions, it is not possible to perform a process of first exposing light for a necessary time after shielding light and sweeping away unnecessary charges. Therefore, in FIG. 4, it is necessary to start exposure, and after completing the exposure in accordance with the designated conditions, immediately drive each transfer pulse to send out charges to the oblique transfer path.
Therefore, the transfer pulses are not driven at the timing of the determined input vertical synchronization signal (VD_IN), and the transfer pulses are driven in synchronization with the PG pulse. Therefore, the output of the video signal is not synchronized with the input vertical synchronization signal.

次に、図５によって、指定フレームレートが１００［ｆｐｓ］、指定露光時間が１／４という条件で露光時間が反映するように、ライトモードをオンにした場合の駆動タイミングを示す。
まず垂直同期信号期間ＶＤ１の開始と共に、露光を開始する。フレームレートが１００［ｆｐｓ］であるので、１フレームの時間は１０［ｍｓ］になる。また、露光時間が１／４であるので、ＰＧパルス１及びＰＧパルス２がＨｉｇｈである期間は、２．５［ｍｓ］となる。
露光完了後、各転送パルスの駆動を開始すると共に、ＰＧパルス（ＰＧパルス１及びＰＧパルス２）をＬｏｗにし、次の垂直同期信号期間ＶＤ１が開始するまでを待つ。 Next, FIG. 5 shows the drive timing when the light mode is turned on so that the exposure time is reflected under the condition that the specified frame rate is 100 [fps] and the specified exposure time is 1/4.
First, exposure is started together with the start of the vertical synchronization signal period VD1. Since the frame rate is 100 [fps], the time for one frame is 10 [ms]. Further, since the exposure time is ¼, the period during which the PG pulse 1 and the PG pulse 2 are High is 2.5 [ms].
After the exposure is completed, driving of each transfer pulse is started, the PG pulse (PG pulse 1 and PG pulse 2) is set to Low, and the process waits until the next vertical synchronization signal period VD1 starts.

露光時間は、連続読み出し周期の１／２、１／４、１／８というように、相対的な値で設定できる他、１０［ｍｓ］、１００［μｓ］、５００［ｎｓ］等、絶対的な値にも設定可能である。
例えば、指定フレームレートが１００［ｆｐｓ］の場合、１フレーム期間が１０［ｍｓ］であるうち、露光時間を９［ｍｓ］とする設定も可能である。図６にその場合の駆動パルスタイミングを示す。
このように詳細な露光時間を設定できることにより、撮影環境の調整に柔軟性を持たせることができる。
また、高速撮影モードに切り替えたときには、ライトモード時の露光時間で設定すれば良いため、迅速かつ的確に高速撮影が可能となった。 The exposure time can be set as a relative value such as 1/2, 1/4, or 1/8 of the continuous readout cycle, and is absolute such as 10 [ms], 100 [μs], 500 [ns], etc. It can be set to any value.
For example, when the designated frame rate is 100 [fps], it is possible to set the exposure time to 9 [ms] while one frame period is 10 [ms]. FIG. 6 shows the drive pulse timing in that case.
Since the detailed exposure time can be set in this manner, the shooting environment can be adjusted flexibly.
Further, when switching to the high-speed shooting mode, it is only necessary to set the exposure time in the light mode, so that high-speed shooting can be performed quickly and accurately.

本発明について、図２を用いて、別の実施例を説明する。
撮像装置のモードは、撮像装置若しくは撮像システムのオペレータが、外部入力端子２２５から設定することはすでに説明した。この設定時にオペレータがモニタモードに切替えかつライトモードをオンにした場合には、ＣＰＵ部２０９は、自動的に、直前にオペレータが高速撮影モード切替え時に設定したフレームレートについて、所定の複数の露光時間に、露光時間が所定の間隔で切り替わり、所定の露光時間に応じた映像が、映像モニタ１０５に表示される。オペレータは、その次々と切り替わる露光時間に応じて表示される映像をみて、最適の露光時間を選択することができる。オペレータはこの操作をパソコン１０４若しくは専用の操作装置に対して、図示しない入出力装置を操作して実行する。 Another embodiment of the present invention will be described with reference to FIG.
As described above, the mode of the imaging apparatus is set by the operator of the imaging apparatus or imaging system from the external input terminal 225. When the operator switches to the monitor mode and turns on the light mode at the time of this setting, the CPU unit 209 automatically performs a predetermined plurality of exposure times for the frame rate that was set immediately before the high-speed shooting mode was switched by the operator. In addition, the exposure time is switched at a predetermined interval, and an image corresponding to the predetermined exposure time is displayed on the video monitor 105. The operator can select an optimum exposure time by looking at the video displayed in accordance with the exposure time that is successively switched. The operator performs this operation by operating an input / output device (not shown) on the personal computer 104 or a dedicated operation device.

これによって、この選択後に高速撮影モードに切り替えたときには、選択された露光時間で撮影される。この結果、高速撮影モードでの明るさの調整が不要となり、迅速に撮影が開始できる。
なお、好ましくは、輝度信号のレベル幅が所定の大きさ以上若しくは最大であるときの露光時間を、最適の露光時間としてＣＰＵ部２０９が設定するようにしても良い。また好ましくは、ＣＰＵ部２０９は、設定された若しくは選択された露光時間とフレームレートを関連付けて記録しておき、次にライトモードに切り替わった場合には、切り替わったフレームレート若しくはそのフレームレートに最も近いフレームレートの、記録された露光時間から、先ず明るさの調整が開始されるようにしても良い。 Thus, when the high-speed shooting mode is switched after this selection, the image is shot with the selected exposure time. As a result, it is not necessary to adjust the brightness in the high-speed shooting mode, and shooting can be started quickly.
Preferably, the CPU unit 209 may set the exposure time when the level width of the luminance signal is greater than or equal to a predetermined value or the maximum as the optimum exposure time. Also preferably, the CPU unit 209 records the set or selected exposure time and the frame rate in association with each other, and when switching to the write mode next time, the CPU frame 209 is the most similar to the switched frame rate or the frame rate. The brightness adjustment may be started first from the recorded exposure time at a near frame rate.

１０１：入射光、 １０２：レンズ部、 １０３：撮像部、 １０４：パソコン、 １０５：映像モニタ、 ２０１：撮像素子部、 ２０２：ＣＤＳ部、 ２０３：ＡＧＣ部、 ２０４：ＡＤＣ部、 ２０６：ＭＰＸ部、 ２０８：ＴＧ部、 ２０９：ＣＰＵ部、 ２２１：ガンマ補正部、 ２２２：ＩＦ部、 ２２３：画像処理部、 ２１１、２１２、・・・、２１６：ＦＥＰ部、 ２２４、２２５：外部入力端子。   101: incident light, 102: lens unit, 103: imaging unit, 104: personal computer, 105: video monitor, 201: imaging device unit, 202: CDS unit, 203: AGC unit, 204: ADC unit, 206: MPX unit, 208: TG section, 209: CPU section, 221: gamma correction section, 222: IF section, 223: image processing section, 211, 212,... 216: FEP section, 224, 225: external input terminals.

Claims (3)

複数のフォトダイオードを有し、前記複数のフォトダイオードのそれぞれの周辺にフォトダイオードの信号電荷を蓄積及び転送するための転送電極を有する撮像素子と、連続読み出しモード駆動パルスを発生するパルス発生部と、外部同期部を有する撮像装置と、外部同期信号を発生し、撮像装置出力を記録し処理する装置とを有する撮像システムにおいて、
前記発生された外部同期信号の垂直同期信号から、連続読み出し周期の１／２より短い時間後に前記複数のフォトダイオードの信号電荷を前記転送電極に読み出し転送するパルスを電極に印加する回路を撮像装置を有することを特徴とした撮像システム。 An imaging device having a plurality of photodiodes, a transfer electrode for accumulating and transferring the signal charge of the photodiodes around each of the plurality of photodiodes, and a pulse generating unit for generating a continuous read mode drive pulse; In an imaging system having an imaging device having an external synchronization unit, and an apparatus for generating an external synchronization signal and recording and processing the imaging device output,
An imaging device that applies a pulse for reading and transferring the signal charges of the plurality of photodiodes to the transfer electrode after a time shorter than a half of a continuous reading cycle from the generated vertical synchronizing signal of the external synchronizing signal An imaging system characterized by comprising: 複数のフォトダイオードを有し、前記複数のフォトダイオードのそれぞれの周辺にフォトダイオードの信号電荷を蓄積及び転送するための転送電極を有する撮像素子と、連続読み出しモード駆動パルス発生部と、外部同期部を有する撮像装置と、外部同期信号を発生し、撮像装置出力を記録し処理する装置とを有する撮像システムにおける前記撮像装置において、
前記発生された外部同期信号の垂直同期パルスから、連続読み出し周期の１／２より短い時間後に前記複数のフォトダイオードの信号電荷を前記転送電極に読み出し転送する回路有することを特徴とする撮像装置。 An imaging device having a plurality of photodiodes, a transfer electrode for accumulating and transferring the signal charges of the photodiodes around each of the plurality of photodiodes, a continuous readout mode drive pulse generator, and an external synchronization unit In the imaging apparatus in an imaging system, comprising: an imaging apparatus having: and an apparatus that generates an external synchronization signal and records and processes the imaging apparatus output;
An image pickup apparatus comprising: a circuit for reading and transferring signal charges of the plurality of photodiodes to the transfer electrodes after a time shorter than a half of a continuous reading period from the generated vertical synchronizing pulse of the external synchronizing signal. 複数のフォトダイオードを有し、前記複数のフォトダイオードのそれぞれの周辺にフォトダイオードの信号電荷を蓄積及び転送するための転送電極を有する撮像素子と、連続読み出しモード駆動パルス発生部と、外部同期部を有する撮像装置と、外部同期信号を発生し、撮像装置出力を記録し処理する装置とを有する撮像システムにおける撮像方法において、
前記発生された外部同期信号の垂直同期パルスから、連続読み出し周期の１／２より短い時間後に前記複数のフォトダイオードの信号電荷を前記転送電極に読み出し転送することを特徴とする撮像方法。 An imaging device having a plurality of photodiodes, a transfer electrode for accumulating and transferring the signal charges of the photodiodes around each of the plurality of photodiodes, a continuous readout mode drive pulse generator, and an external synchronization unit In an imaging method in an imaging system comprising: an imaging device having an external synchronization signal; and an apparatus for recording and processing an imaging device output;
An image pickup method comprising: reading and transferring signal charges of the plurality of photodiodes to the transfer electrodes after a time shorter than a half of a continuous read cycle from the generated vertical synchronization pulse of the external synchronization signal.

Images