JP2004165686A - Solid-state imaging device and its control method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To enable a solid-state imaging device to output imaging signals at a high speed. <P>SOLUTION: A color filter is arranged with a cycle period N, and a series of vertical CCD is formed adjoining to a series of photosensor 2. Region A is composed of gates 21, 22 and 23, while region B is composed of gates 31, 32 and 33. The arrangement of m units in the region A and the arrangement of N×a units in the region B are arranged alternatively. The gates 21 and 31, and the gates 23 and 33 are connected with buses 41 and 43, to which ϕV 1 and ϕV3 are applied respectively, in the same relationship. The gate 22 is connected with a bus 42, to which readout pulse ϕV 2 is applied. All pixel readout mode where readout pulse is applied to both the gate 22 and the gate 32, and a line thinning mode where readout pulse is applied only to the gate 22 is realized. <P>COPYRIGHT: (C)2004,JPO

Description

この発明は、例えばディジタル記録の電子スチルカメラに使用して好適な固体撮像素子および固体撮像素子の制御方法に関する。   The present invention relates to a solid-state imaging device suitable for use in, for example, a digital recording electronic still camera and a method for controlling the solid-state imaging device.

最近、ディジタル電子スチルカメラが普及しつつある。電子スチルカメラに使用して好適な固体撮像素子例えばＣＣＤ撮像素子として、正方格子、全画素読出しのものが提案されている。正方格子は、隣接する画素の縦方向の間隔と横方向の間隔とを等しくするもので、撮像信号をパソコン用モニタに合わせるために採用される。従来のビデオカメラ等に使用されるＣＣＤ撮像素子は、インターレース方式の出力信号を発生するために、図２１に示すように、１／６０秒（１フィールド）蓄積して、２画素を読出し、垂直転送用のＣＣＤにおいて読出した２画素を混合し、また、混合する画素の上下方向の位置を奇数フィールドおよび偶数フィールドでずらすことによって、インターレース走査を実現していた。   Recently, digital electronic still cameras have become widespread. As a solid-state imaging device suitable for use in an electronic still camera, for example, a CCD imaging device, a device having a square lattice and all-pixel reading has been proposed. The square lattice makes the vertical interval and the horizontal interval of adjacent pixels equal to each other, and is adopted to match an image pickup signal to a personal computer monitor. In order to generate an interlaced output signal, a CCD image sensor used in a conventional video camera or the like accumulates 1/60 second (one field) as shown in FIG. Interlaced scanning has been realized by mixing two pixels read by a transfer CCD and shifting the vertical position of the mixed pixels in odd and even fields.

かかるＣＣＤ撮像素子は、１／６０秒の蓄積時間のために、１／３０秒の蓄積時間のフレーム蓄積方式と比較して、動画像の撮像を良好に行うことができるが、垂直解像度が低い不利がある。従って、電子スチルカメラの撮像素子として適していない。そこで、図２２に示すように、１／３０秒間蓄積し、全画素を読出す全画素読出し方式が提案されている。この方式によれば、垂直解像度の低下を防止することができるが、撮像素子から撮像信号を出力するためには、画素数が同じ場合に、上述したビデオカメラ用の撮像素子の２倍の時間を必要とする。より具体的には、１／３０秒周期の撮像信号が発生する。   Such a CCD image pickup device can capture moving images better because of the 1/60 second accumulation time than the frame accumulation method with the 1/30 second accumulation time, but has a lower vertical resolution. There is a disadvantage. Therefore, it is not suitable as an image sensor of an electronic still camera. Thus, as shown in FIG. 22, an all-pixel reading method has been proposed in which data is accumulated for 1/30 second and all pixels are read. According to this method, it is possible to prevent a decrease in the vertical resolution. However, in order to output an image signal from the image sensor, when the number of pixels is the same, it takes twice as long as the above-described image sensor for a video camera. Need. More specifically, an imaging signal having a period of 1/30 second is generated.

ディジタル電子スチルカメラの場合、撮影時にピントを合わせたり、撮影時のカメラアングルを調整するために、撮像画像を表示するモニタ例えば液晶モニタを設けることが多い。液晶モニタは、１／６０秒のノンインターレース走査で、テレビジョン画像を表示するのが普通である。従って、図２３に示すように、１／３０秒周期の撮像信号をそのまま液晶モニタに供給すると、表示画像の歪が発生する問題がある。これを避けるためには、図２４に示すように、液晶モニタ６２に対してＶＲＡＭ（ビデオＲＡＭ）６１（あるいはフレームメモリ）によりフレームレートを変換する必要がある。ＶＲＡＭ６１に対しては、１／３０秒周期の撮像信号が供給され、その出力に１／６０秒周期のノンインターレース信号が発生する。   In the case of a digital electronic still camera, a monitor for displaying a captured image, for example, a liquid crystal monitor, is often provided in order to adjust the focus at the time of shooting or to adjust the camera angle at the time of shooting. A liquid crystal monitor normally displays a television image by 1/60 second non-interlaced scanning. Therefore, as shown in FIG. 23, if an image pickup signal having a period of 1/30 seconds is supplied to the liquid crystal monitor as it is, there is a problem that a displayed image is distorted. In order to avoid this, as shown in FIG. 24, it is necessary to convert the frame rate of the liquid crystal monitor 62 by a VRAM (video RAM) 61 (or a frame memory). The VRAM 61 is supplied with an imaging signal having a period of 1/30 seconds, and outputs a non-interlace signal having a period of 1/60 seconds.

このように、全画素読出しの撮像素子は、垂直解像度が高いという点で、電子スチルカメラの撮像素子として好適な反面、通常のテレビジョンモニタに撮像画像を表示するのにＶＲＡＭあるいはフレームメモリが必要となり、コストが上昇する問題があった。さらに、電子スチルカメラが自動焦点制御装置、自動アイリス制御装置、自動ホワイトバランス制御装置等の自動制御装置を備えているので、撮像素子の出力信号の周期が長いことは、これらの自動制御の応答を遅くする問題が生じた。さらに、モニタに表示される画像の動きが滑らかでない問題もあった。   As described above, the image sensor for reading out all pixels is suitable as an image sensor of an electronic still camera because of its high vertical resolution, but requires a VRAM or a frame memory to display a captured image on a normal television monitor. And there is a problem that the cost rises. Furthermore, since the electronic still camera is provided with an automatic control device such as an automatic focus control device, an automatic iris control device, an automatic white balance control device, etc., a long period of the output signal of the image sensor may cause a response of these automatic controls. Has a problem slowing down. Further, there is another problem that the movement of the image displayed on the monitor is not smooth.

上述した問題の解決する一つの方法は、撮像素子の出力信号のデータレートを高くすることである。しかしながら、そのためのサンプリングレート変換器を設ける必要があり、また、クロック周波数が高くなるのに伴って、消費電力の増大、使用部品のコストの上昇、Ｓ／Ｎの劣化等の問題が生じる。従って、撮像信号のデータレートを上げる方法は、好ましくない。   One method for solving the above problem is to increase the data rate of the output signal of the image sensor. However, it is necessary to provide a sampling rate converter for that purpose, and as the clock frequency increases, there arise problems such as an increase in power consumption, an increase in the cost of parts used, and a deterioration in S / N. Therefore, a method of increasing the data rate of the imaging signal is not preferable.

従って、この発明の目的は、高速に撮像信号を出力することができる固体撮像素子および固体撮像素子の制御方法を提供することにある。   Accordingly, an object of the present invention is to provide a solid-state imaging device capable of outputting an imaging signal at high speed and a method for controlling the solid-state imaging device.

上述した課題を解決するために、請求項１の発明は、垂直方向にＮ（Ｎは自然数）画素周期で繰り返される複数の色フィルタを介した光が入射されるマトリクス状に配置された複数のフォトセンサと、複数のフォトセンサから読み出された電荷を垂直方向に連なるフォトセンサからの電荷を混合することなく転送する垂直転送部と、複数のフォトセンサに蓄積された電荷を垂直転送部に転送させるための信号供給部とからなり、複数のフォトセンサは、ｍ（ｍは自然数）個の垂直方向に連なる第１のフォトセンサ群と、画素周期Ｎのａ倍（ａは自然数）の数からなる垂直方向に連なる第２のフォトセンサ群とが垂直方向に交互に配置されることによって構成され、信号供給部は、第１のフォトセンサ群に蓄積された電荷を垂直転送部に転送させるための第１の信号供給部と、第２のフォトセンサ群に蓄積された電荷を垂直転送部に転送させるための第２の信号供給部とによって構成されることを特徴とする固体撮像素子である。   In order to solve the above-described problem, the invention according to claim 1 includes a plurality of pixels arranged in a matrix in which light passes through a plurality of color filters that are repeated in a vertical (N: natural number) pixel cycle. A photosensor, a vertical transfer unit that transfers the charges read from the plurality of photosensors without mixing the charges from the photosensors that are connected in a vertical direction, and a charge that is accumulated in the plurality of photosensors to the vertical transfer unit. A plurality of photosensors, each of which includes m (m is a natural number) vertically continuous first photosensor groups, and a number a times the pixel period N (a is a natural number) And a second photosensor group vertically arranged alternately in the vertical direction. The signal supply unit transfers the charges accumulated in the first photosensor group to the vertical transfer unit. Solid-state imaging device, comprising: a first signal supply unit for transferring a charge accumulated in a second photosensor group to a vertical transfer unit; It is.

また、請求項４の発明は、垂直方向にＮ（Ｎは自然数）画素周期で繰り返される複数の色フィルタを介した光が入射される、マトリクス状に配置され、ｍ（ｍは自然数）個の垂直方向に連なる第１のフォトセンサ群と、画素周期Ｎのａ倍（ａは自然数）の数からなる垂直方向に連なる第２のフォトセンサ群とが垂直方向に交互に配置されることによって構成された複数のフォトセンサの、第１のフォトセンサ群から読み出された電荷を第１の信号供給部から、垂直方向に連なるフォトセンサからの電荷を混合することなく転送する垂直転送部に転送し、第２のフォトセンサ群から読み出された電荷を第２の信号供給部から垂直転送部に転送するようにしたことを特徴とする固体撮像素子の制御方法である。   According to a fourth aspect of the present invention, m (m is a natural number) m (m is a natural number) pixels are arranged in a matrix in which light passing through a plurality of color filters repeated in a vertical direction at N (N is a natural number) pixel periods The first photo sensor group vertically connected and the second photo sensor group a vertically multiplied by a times the pixel period N (a is a natural number) are alternately arranged in the vertical direction. Of the plurality of photo sensors read from the first photo sensor group, from the first signal supply unit to a vertical transfer unit that transfers the charges from the photo sensors connected in the vertical direction without mixing. In addition, the present invention provides a method for controlling a solid-state imaging device, wherein charges read from a second photosensor group are transferred from a second signal supply unit to a vertical transfer unit.

上述したように、請求項１の発明は、垂直方向にＮ（Ｎは自然数）画素周期で繰り返される複数の色フィルタを介した光が入射されるマトリクス状に配置された複数のフォトセンサと、複数のフォトセンサから読み出された電荷を垂直方向に連なるフォトセンサからの電荷を混合することなく転送する垂直転送部と、複数のフォトセンサに蓄積された電荷を垂直転送部に転送させるための信号供給部とからなり、複数のフォトセンサは、ｍ（ｍは自然数）個の垂直方向に連なる第１のフォトセンサ群と、画素周期Ｎのａ倍（ａは自然数）の数からなる垂直方向に連なる第２のフォトセンサ群とが垂直方向に交互に配置されることによって構成され、信号供給部は、第１のフォトセンサ群に蓄積された電荷を垂直転送部に転送させるための第１の信号供給部と、第２のフォトセンサ群に蓄積された電荷を垂直転送部に転送させるための第２の信号供給部とによって構成されるため、フォトセンサに蓄積された電荷の垂直転送部への転送を、第１および第２の信号供給部を共に用いて行うことで全画素読み出しが行え、第１の信号供給部のみを用いて行うことで間引き読み出しが行えると共に、間引き読み出しの際には、色フィルタの垂直方向における画素周期Ｎのａ倍の画素数を垂直方向に間引くため、色順序が全画素読み出しの場合と同一に保たれる。   As described above, the invention according to claim 1 includes a plurality of photosensors arranged in a matrix in which light passing through a plurality of color filters repeated in a vertical direction at a cycle of N (N is a natural number) pixels; A vertical transfer unit that transfers the charges read from the plurality of photosensors without mixing the charges from the photosensors that are connected in a vertical direction, and a transfer unit that transfers the charges accumulated in the plurality of photosensors to the vertical transfer unit. A plurality of photosensors, wherein m (m is a natural number) first photosensor groups connected in the vertical direction, and a vertical direction consisting of a number a times the pixel period N (a is a natural number) And a second photosensor group connected to the first photosensor group is arranged alternately in the vertical direction. The signal supply unit is configured to transfer the charge accumulated in the first photosensor group to the vertical transfer unit. Since the signal supply unit and the second signal supply unit for transferring the charge accumulated in the second photosensor group to the vertical transfer unit are included, the charge accumulated in the photosensor is transferred to the vertical transfer unit. Is performed using both the first and second signal supply units to perform all-pixel readout, and by performing the transfer using only the first signal supply unit, the thinned-out readout can be performed. Since the number of pixels a times the pixel period N in the vertical direction of the color filter is thinned out in the vertical direction, the color order is kept the same as in the case of reading out all pixels.

また、請求項４の発明は、垂直方向にＮ（Ｎは自然数）画素周期で繰り返される複数の色フィルタを介した光が入射される、マトリクス状に配置され、ｍ（ｍは自然数）個の垂直方向に連なる第１のフォトセンサ群と、画素周期Ｎのａ倍（ａは自然数）の数からなる垂直方向に連なる第２のフォトセンサ群とが垂直方向に交互に配置されることによって構成された複数のフォトセンサの、第１のフォトセンサ群から読み出された電荷を第１の信号供給部から、垂直方向に連なるフォトセンサからの電荷を混合することなく転送する垂直転送部に転送し、第２のフォトセンサ群から読み出された電荷を第２の信号供給部から垂直転送部に転送するようにしているため、フォトセンサに蓄積された電荷の垂直転送部への転送を、第１および第２の信号供給部を共に用いて行うことで全画素読み出しが行え、第１の信号供給部のみを用いて行うことで間引き読み出しが行えると共に、間引き読み出しの際には、色フィルタの垂直方向における画素周期Ｎのａ倍の画素数を垂直方向に間引くため、色順序が全画素読み出しの場合と同一に保たれる。   According to a fourth aspect of the present invention, m (m is a natural number) m (m is a natural number) pixels are arranged in a matrix in which light passing through a plurality of color filters repeated in a vertical (N (N is a natural number)) pixel cycle is incident. The first photo sensor group vertically connected and the second photo sensor group a vertically multiplied by a times the pixel period N (a is a natural number) are alternately arranged in the vertical direction. Of the plurality of photo sensors read from the first photo sensor group, from the first signal supply unit to a vertical transfer unit that transfers the charges from the photo sensors connected in the vertical direction without mixing. Since the charge read from the second photosensor group is transferred from the second signal supply unit to the vertical transfer unit, the transfer of the charge accumulated in the photosensor to the vertical transfer unit is performed. First and second In this case, all the pixels can be read out by using the first signal supply unit, and thinning-out reading can be performed by using only the first signal supply unit. Since the number of pixels a times N is thinned out in the vertical direction, the color order is kept the same as in the case of reading out all pixels.

この発明によれば、垂直解像度の良好なスチル画像を全画素を読出すフルフレームの撮像モードによって得ることができ、また、液晶ディスプレイ等の表示に使用する場合では、ライン間引きの撮像モードによって、撮像信号を高速に出力することができる。従って、ＶＲＡＭを設けなくても撮像信号をモニタに表示することができる。また、高速で撮像信号を出力できることにより、オートフォーカス等の自動制御装置の応答を速くすることができる。さらに、コマ数が多くなるので、モニタ画像の動きが滑らかになる利点がある。   According to the present invention, a still image with good vertical resolution can be obtained by a full-frame imaging mode in which all pixels are read out, and when used for display on a liquid crystal display or the like, by a thinning-out line imaging mode, An imaging signal can be output at high speed. Therefore, the imaging signal can be displayed on the monitor without providing the VRAM. In addition, since the imaging signal can be output at a high speed, the response of an automatic control device such as an auto focus can be made faster. Further, since the number of frames increases, there is an advantage that the monitor image moves smoothly.

また、この発明では、記録時に、画像信号をメモリ（ＤＲＡＭ）に書込む期間以外では、撮像信号を表示するので、表示が消える期間を最小限とすることができる。さらに、再生時に、記録媒体からデータを読出している期間、撮像信号を表示装置に供給するので、表示が消える期間を記録時と同様に最小限とすることができる。   In addition, according to the present invention, the image pickup signal is displayed during a period other than a period during which the image signal is written into the memory (DRAM) at the time of recording, so that a period during which the display disappears can be minimized. Further, at the time of reproduction, an image pickup signal is supplied to the display device while data is being read from the recording medium, so that the period during which the display disappears can be minimized as in the case of recording.

以下、この発明の一実施例について図面を参照して説明する。図１は、この発明の一実施例の全体的構成を示す。１０１は、固体撮像素子例えばＣＣＤ撮像素子である。ＣＣＤ撮像素子１０１は、三原色フィルタ、補色フィルタ等を有する単板式のイメージャである。ＣＣＤ撮像素子１０１は、後で詳細に説明するように、全画素を読出すフルフレーム読出しの動作モード（第１の撮像モード）と、ライン数を減少させた信号を出力するライン間引きの動作モード（第２の撮像モード）とが切替え可能とされている。撮像素子１０１には、レンズ系１００を介して被写体光が入射される。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows an overall configuration of an embodiment of the present invention. 101 is a solid-state image sensor, for example, a CCD image sensor. The CCD image sensor 101 is a single-plate imager having three primary color filters, complementary color filters, and the like. As will be described in detail later, the CCD image sensor 101 has a full-frame read operation mode (first imaging mode) for reading all pixels and a line thinning operation mode for outputting a signal with a reduced number of lines. (Second imaging mode) can be switched. Subject light enters the image sensor 101 via the lens system 100.

撮像素子１０１の出力信号がサンプルホールド，ＡＧＣ回路１０２に供給される。フルフレーム読出しモードでは、１枚の画像読出しの時間が１／３０秒であり、ライン間引きモードでは、これが１／６０秒である。サンプルホールドは、相関二重サンプリング回路の構成とされ、ノイズの除去、波形整形、欠陥画素の補償がなされる。ＡＧＣは、被写体の明るさに応じてゲインを制御するもので、また、自動絞り調整のためにもゲインが制御される。サンプルホールド，ＡＧＣ回路１０２の出力信号がＡ／Ｄ変換器１０３に供給される。Ａ／Ｄ変換器１０３からは、１サンプルが１０ビットのディジタル撮像信号が発生する。   An output signal of the image sensor 101 is supplied to a sample hold and AGC circuit 102. In the full frame read mode, the time for reading one image is 1/30 second, and in the line thinning mode, it is 1/60 second. The sample and hold has a configuration of a correlated double sampling circuit, and performs noise removal, waveform shaping, and compensation for defective pixels. The AGC controls the gain according to the brightness of the subject, and also controls the gain for automatic aperture adjustment. The output signal of the sample hold AGC circuit 102 is supplied to the A / D converter 103. The A / D converter 103 generates a digital imaging signal in which one sample is 10 bits.

ディジタル化された撮像信号がＩＣ回路の構成のカメラ信号処理回路１０４に供給される。この信号処理回路１０４は、ディジタルクランプ回路、輝度信号処理回路、色信号処理回路、輪郭補正回路、欠陥補償回路、自動絞り制御回路、自動焦点制御回路、自動ホワイトバランス補正回路、コンポーネント信号（Ｙ：輝度信号、Ｃｒ、Ｃｂ：色差信号が４：１：１の比のサンプリング周波数でサンプリングされたディジタルビデオ信号）のマルチプレクサ、同期信号発生回路、タイミング生成器、マイクロコンピュータとのインターフェース等が含まれる。信号処理回路１０４のより具体的な構成については後述する。マルチプレクサによって、コンポーネント信号が多重化データへ変換される。   The digitized image signal is supplied to a camera signal processing circuit 104 having an IC circuit. The signal processing circuit 104 includes a digital clamp circuit, a luminance signal processing circuit, a color signal processing circuit, a contour correction circuit, a defect compensation circuit, an automatic aperture control circuit, an automatic focus control circuit, an automatic white balance correction circuit, and a component signal (Y: It includes a multiplexer for a luminance signal, a digital video signal obtained by sampling Cr, Cb: a color difference signal at a sampling frequency of 4: 1: 1), a synchronizing signal generating circuit, a timing generator, an interface with a microcomputer, and the like. A more specific configuration of the signal processing circuit 104 will be described later. The multiplexer converts the component signal into multiplexed data.

１０５は、信号処理を制御するマイクロコンピュータであって、マイクロコンピュータ１０５からのコントロール信号がレンズ系１００、電子ボリューム１０６、カメラ信号処理回路１０４、タイミングコントローラ１０７に供給される。タイミングコントローラ１０７は、タイミング生成器１０８およびＣＣＤ駆動回路１０９から構成される。電子ボリューム１０６は、サンプルホールド，ＡＧＣ回路１０２のゲインコントロール信号を発生する。   Reference numeral 105 denotes a microcomputer that controls signal processing. A control signal from the microcomputer 105 is supplied to the lens system 100, the electronic volume 106, the camera signal processing circuit 104, and the timing controller 107. The timing controller 107 includes a timing generator 108 and a CCD drive circuit 109. The electronic volume 106 generates a sample-hold and gain control signal for the AGC circuit 102.

タイミングコントローラ１０７に対しては、クロックＭＣＫの３倍の周波数のクロック３ＭＣＫが供給される。また、１０７からカメラ信号処理回路１０４に対してＭＣＫ、３／２ＭＣＫが送り出される。一例として、撮像素子１０１の水平画素数が７８０とされ、ＭＣＫ＝７８０ｆh （ｆh:撮像素子１０１の水平走査周波数）＝１２．３ＭHzとされている。また、カメラ信号処理回路１０４において発生した水平同期信号Ｈおよび垂直同期信号Ｖがタイミングコントローラ１０７に供給される。タイミングコントローラ１０７のＣＣＤ駆動回路１０９で発生した駆動パルスが撮像素子１０１に供給される。駆動パルスは、垂直駆動パルス、水平駆動パルス、読出しパルス等を含む。   The clock 3MCK having a frequency three times the frequency of the clock MCK is supplied to the timing controller 107. Further, MCK and 3/2 MCK are sent from the camera signal processing circuit 104 to 107. As an example, the number of horizontal pixels of the image sensor 101 is 780, and MCK = 780 fh (fh: horizontal scanning frequency of the image sensor 101) = 12.3 MHz. Further, the horizontal synchronization signal H and the vertical synchronization signal V generated in the camera signal processing circuit 104 are supplied to the timing controller 107. A drive pulse generated by the CCD drive circuit 109 of the timing controller 107 is supplied to the image sensor 101. The drive pulse includes a vertical drive pulse, a horizontal drive pulse, a read pulse, and the like.

図２は、カメラ信号処理回路１０４の一例を示す。ここでは、自動絞り制御回路を含む場合の構成を示す。簡単のため、欠陥補償回路、自動焦点制御回路、自動ホワイトバランス補正回路についての図示を省略する。Ａ／Ｄ変換器１０３からの１０ビット幅のディジタル撮像信号がディジタルクランプ回路１１１を介して演算回路１１２に供給される。撮像素子が三原色フィルタを有する場合、演算回路１１２によって、三原色信号の加算または減算がなされ、輝度信号成分および色差信号成分が生成される。   FIG. 2 shows an example of the camera signal processing circuit 104. Here, a configuration including an automatic aperture control circuit is shown. For simplicity, illustration of a defect compensation circuit, an automatic focus control circuit, and an automatic white balance correction circuit is omitted. A digital imaging signal having a 10-bit width from the A / D converter 103 is supplied to the arithmetic circuit 112 via the digital clamp circuit 111. When the image sensor has three primary color filters, the arithmetic circuit 112 adds or subtracts the three primary color signals to generate a luminance signal component and a color difference signal component.

輝度信号成分が輝度信号処理回路１１３および輪郭補正回路１１４に供給され、色差信号成分が色信号処理回路１１６に供給される。輝度信号処理回路１１３には、γ補正回路等が含まれる。輪郭補正回路１１４により生成された輪郭補正信号が輝度信号処理回路１１３の出力信号に対して加算回路１１５により加算される。加算回路１１５から輝度信号Ｙが得られる。色信号処理回路１１６には、γ補正回路、ＨＵＥ、ゲイン調整回路等が含まれる。色信号処理回路１１６から色差信号Ｃｒ、Ｃｂが発生する。Ｙ、Ｃｒ、Ｃｂからなるコンポーネント信号がマルチプレクサ１１７に供給される。マルチプレクサ１１７によって、後述のようにこれらの信号が合成され、その出力には、多重化コンポーネント信号が発生する。   The luminance signal component is supplied to the luminance signal processing circuit 113 and the contour correction circuit 114, and the color difference signal component is supplied to the color signal processing circuit 116. The luminance signal processing circuit 113 includes a γ correction circuit and the like. The contour correction signal generated by the contour correction circuit 114 is added to the output signal of the luminance signal processing circuit 113 by the addition circuit 115. The luminance signal Y is obtained from the adding circuit 115. The color signal processing circuit 116 includes a γ correction circuit, a HUE, a gain adjustment circuit, and the like. The color signal processing circuit 116 generates color difference signals Cr and Cb. A component signal composed of Y, Cr, and Cb is supplied to the multiplexer 117. The multiplexer 117 combines these signals as described later, and generates a multiplexed component signal at the output.

タイミング、同期信号発生回路１１８が設けられており、３ＭＣＫのクロックから水平同期信号Ｈ、垂直同期信号Ｖ、クロック、タイミング信号がこの回路１１８から発生する。１１９がマイクロコンピュータ１０５とカメラ信号処理回路１０４との間のインターフェースのためのシリアルＩ／Ｏであり、１２０が検出、累算回路である。演算回路１１２で形成された輝度信号成分が検出、累算回路１２０に供給される。絞り制御の場合、撮像画面が複数の領域に分割され、領域毎に撮像信号が累算される。そして、各領域の累算データが検出、累算回路１２０からシリアルＩ／Ｏ１１９に対して出力される。   A timing and synchronization signal generation circuit 118 is provided, and a horizontal synchronization signal H, a vertical synchronization signal V, a clock, and a timing signal are generated from the 3MCK clock. 119 is a serial I / O for an interface between the microcomputer 105 and the camera signal processing circuit 104, and 120 is a detection / accumulation circuit. The luminance signal component formed by the arithmetic circuit 112 is supplied to the detection and accumulation circuit 120. In the case of aperture control, the imaging screen is divided into a plurality of areas, and imaging signals are accumulated for each area. Then, the accumulated data of each area is detected and output from the accumulation circuit 120 to the serial I / O 119.

シリアルＩ／Ｏ１１９を通じて累算データをマイクロコンピュータ１０５が受け取り、累算データに対する重み付け演算、重み付けされた各領域のデータの総和を求める演算、絞り制御信号の生成等をマイクロコンピュータ１０５が行う。生成された絞り制御信号によって、レンズ系１００の絞り制御リングの駆動モータが駆動され、タイミングコントローラ１０７および電子ボリューム１０６が制御される。タイミングコントローラ１０７によって電子シャッタ（露光時間）が制御され、電子ボリューム１０６によってゲインが制御される。また、シリアルＩ／Ｏ１１９を通じてマイクロコンピュータ１０５から検出、累算回路１２０にコントロール信号が供給され、領域の分割のパターン等が制御される。   The microcomputer 105 receives the accumulated data through the serial I / O 119, and performs a weighting operation on the accumulated data, an operation for calculating the sum of the weighted data in each area, a generation of the aperture control signal, and the like. The drive motor of the aperture control ring of the lens system 100 is driven by the generated aperture control signal, and the timing controller 107 and the electronic volume 106 are controlled. An electronic shutter (exposure time) is controlled by the timing controller 107, and a gain is controlled by the electronic volume 106. In addition, a control signal is supplied from the microcomputer 105 to the accumulation circuit 120 through the serial I / O 119 to control a pattern of division of the area.

（４１１）方式のコンポーネント信号を多重化するためのマルチプレクサ１１７についてより詳細に説明する。図３に示すように、マルチプレクサ１１７は、クロックＭＣＫに同期した８ビット幅の輝度信号Ｙ、色差信号Ｃが入力され、３／２ＭＣＫ（クロックＭＣＫの３／２倍の周波数のクロック）に同期した８ビット幅の多重化コンポーネント信号を発生する。図４は、マルチプレクサ１１７の一例の構成を示す。マルチプレクサ１１７は、輝度信号Ｙおよび色信号Ｃの一方を選択する入力セレクタ１２１と、入力セレクタ１２１が直列入力として供給されるシフトレジスタ１２２と、シフトレジスタ１２２の並列出力がロードされるレジスタ１２３と、レジスタ１２３にロードされたデータを順次選択する出力セレクタ１２４と、出力セレクタ１２４に接続されたレジスタ１２５とからなる。各レジスタは、８ビット幅のものである。   The multiplexer 117 for multiplexing the component signals of the (411) system will be described in more detail. As shown in FIG. 3, the multiplexer 117 receives the 8-bit width luminance signal Y and color difference signal C synchronized with the clock MCK, and is synchronized with 3/2 MCK (clock having a frequency 3/2 times the frequency of the clock MCK). Generate an 8-bit wide multiplexed component signal. FIG. 4 shows an example of the configuration of the multiplexer 117. The multiplexer 117 includes an input selector 121 for selecting one of the luminance signal Y and the chrominance signal C, a shift register 122 to which the input selector 121 is supplied as a serial input, and a register 123 to which a parallel output of the shift register 122 is loaded. An output selector 124 sequentially selects data loaded in the register 123, and a register 125 connected to the output selector 124. Each register is 8 bits wide.

図５は、上述のマルチプレクサ１１７の動作を示すタイミングチャートである。３ＭＣＫは、クロックＭＣＫの周波数の３倍のクロックである。輝度データＹおよび色信号Ｃは、クロックＭＣＫと同期している。（４１１）方式のコンポーネント信号であるので、４サンプルの輝度データ（例えばＹ₀ 、Ｙ₁ 、Ｙ₂ 、Ｙ₃ ）に対して、１サンプルの赤の色差データ（例えばＣｒ₀ ）と１サンプルの青の色差データ（例えばＣｂ₀ ）とが対応している。 FIG. 5 is a timing chart showing the operation of the multiplexer 117 described above. 3MCK is a clock three times the frequency of the clock MCK. The luminance data Y and the color signal C are synchronized with the clock MCK. Since it is a component signal of the (411) system, four samples of luminance data (for example, Y ₀ , Y ₁ , Y ₂ , Y ₃ ) and one sample of red color difference data (for example, Cr ₀ ) and one sample of It corresponds to blue color difference data (for example, Cb ₀ ).

セレクトパルスのハイレベルで輝度データを選択し、そのローレベルで色データを選択するように、入力セレクタ１２１が制御される。シフトレジスタ１２２は、３／２ＭＣＫがクロックとして供給され、入力セレクタ１２１により選択されたデータを取り込むと共に、直列にシフトする。シフトレジスタ１２２の初段のレジスタの出力Ｑ₀ は、図に示すように、Ｙ_-1、Ｙ₀ 、Ｃｒ₀ 、Ｙ₁ 、Ｙ₂ 、Ｃｂ₀ 、Ｙ₃ 、・・・と変化する。 The input selector 121 is controlled so that the luminance data is selected at the high level of the select pulse and the color data is selected at the low level. The shift register 122 is supplied with 3 / 2MCK as a clock, takes in the data selected by the input selector 121, and shifts in series. As shown in the figure, the output Q ₀ of the first stage register of the shift register 122 changes to Y ₋₁ , Y ₀ , Cr ₀ , Y ₁ , Y ₂ , Cb ₀ , Y ₃ ,.

レジスタ１２３に対して、１／４ＭＣＫのクロックのタイミングでもって、シフトレジスタ１２２の出力が並列にロードされる。１／４ＭＣＫのクロックの周期は、３／２ＭＣＫの周期の６倍である。また、１／４ＭＣＫのクロックの位相は、互いに関連する輝度データおよび色差データの合計６サンプルがシフトレジスタ１２２からレジスタ１２３に転送されるように選定される。   The output of the shift register 122 is loaded in parallel to the register 123 at the timing of the clock of 1/4 MCK. The cycle of the 1/4 MCK clock is six times the cycle of the 3/2 MCK. The phase of the 1/4 MCK clock is selected so that a total of six samples of the luminance data and color difference data related to each other are transferred from the shift register 122 to the register 123.

出力セレクタ１２４は、クロック（３／２ＭＣＫ）と同期してレジスタ１２３からＹ₀、Ｙ₁、Ｙ₂、Ｙ₃、Ｃｒ、Ｃｂの順になるように順次選択し、選択されたサンプルをレジスタ１２５が取り込む。従って、レジスタ１２５からは、Ｙ₀、Ｙ₁、Ｙ₂、Ｙ₃、Ｃｒ、Ｃｂの順になるように、多重化されたコンポーネント信号が発生する。 The output selector 124 sequentially selects Y ₀ , Y ₁ , Y ₂ , Y ₃ , Cr, and Cb from the register 123 sequentially in synchronization with the clock (3/2 MCK), and the register 125 selects the selected sample. take in. Therefore, multiplexed component signals are generated from the register 125 in the order of Y ₀ , Y ₁ , Y ₂ , Y ₃ , Cr, and Cb.

上述したマルチプレクサ１１７は、データのサンプリングクロック周波数をＭＣＫから１．５倍の周波数の３／２ＭＣＫに変更することによって、８ビット幅の多重化コンポーネント信号へ変換する。マルチプレクサ１１７を設けない場合では、カメラ信号処理回路１０４から（８×２＝１６ビット）幅のデータ（輝度信号Ｙおよび色信号Ｃ）が出力される。その場合では、二つのデータバス間のクロストークが発生したり、基板配線面積が増加することによってクロストークが増加したり、メモリのデータの幅が増加することによってメモリのサイズが大きくなったり、メモリの消費電力が増大する等の種々の問題が生じる。上述したマルチプレクサ１１７を信号処理回路１０４の出力側に設けることによって、これらの問題の発生を防止することができる。   The above-described multiplexer 117 converts the data sampling clock frequency from MCK to 3/2 MCK, which is 1.5 times the frequency, to thereby convert the data into an 8-bit width multiplexed component signal. When the multiplexer 117 is not provided, the camera signal processing circuit 104 outputs (8 × 2 = 16 bits) wide data (luminance signal Y and color signal C). In that case, crosstalk between the two data buses occurs, crosstalk increases due to an increase in substrate wiring area, memory size increases due to an increase in memory data width, Various problems such as an increase in power consumption of the memory occur. Providing the multiplexer 117 on the output side of the signal processing circuit 104 can prevent these problems from occurring.

図１に戻って、この発明の一実施例についてさらに説明する。カメラ信号処理回路１０４からの上述したように多重化されたコンポーネント信号がデータスイッチャ１３０に供給される。データスイッチャ１３０は、カメラ信号処理回路１０４の出力と接続された出力点ａと、コンポーネント信号を三原色信号へ変換する変換回路１３４と接続された入力点ｂと、記録再生データバス１４０と接続された入出力点ｃとを有する。データスイッチャ１３０の状態は、ユーザのキー操作等に基づいて発生したモード切り換え信号１３１、１３２、１３３によって制御される。図１中のマイクロコンピュータ１０５は、主としてカメラ部の制御のために設けられており、図示しないが、記録／再生動作の制御、装置全体の制御のために、それぞれマイクロコンピュータが設けられ、これらのマイクロコンピュータ間での通信がなされる。   Returning to FIG. 1, one embodiment of the present invention will be further described. The component signals multiplexed as described above from the camera signal processing circuit 104 are supplied to the data switcher 130. The data switcher 130 is connected to an output point a connected to an output of the camera signal processing circuit 104, an input point b connected to a conversion circuit 134 for converting a component signal into a three primary color signal, and a recording / reproducing data bus 140. And an input / output point c. The state of the data switcher 130 is controlled by mode switching signals 131, 132, and 133 generated based on a key operation or the like by a user. The microcomputer 105 in FIG. 1 is provided mainly for controlling the camera unit. Although not shown, microcomputers are provided for controlling recording / reproducing operations and controlling the entire apparatus, respectively. Communication between the microcomputers is performed.

変換回路１３４により発生した三原色信号Ｒ、Ｇ、Ｂがテレビジョン表示装置例えば液晶ディスプレイ１３５に供給され、液晶ディスプレイ１３５により撮像画像が表示される。液晶ディスプレイ１３５は、１／６０秒周期のノンインターレース方式でもってカラー画像を表示する。記録再生データバス１４０に対して、ランダムアクセス可能なメモリ例えばＤＲＡＭ(dynamic random access memory)１４１およびデータ圧縮用のエンコーダ／デコーダ例えばＪＰＥＧ(Joint Photographic Experts Group)のエンコーダ／デコーダ１４２が接続される。ＪＰＥＧ以外の方式の高能率符号化を使用しても良い。エンコーダ／デコーダ１４２に対して記録媒体例えばフラシュメモリ１４３およびインターフェース１４４が接続される。ＤＲＡＭ１４１は、メモリコントローラ１４５から供給されるアドレス信号、制御信号によってその動作が制御される。   The three primary color signals R, G, and B generated by the conversion circuit 134 are supplied to a television display device, for example, a liquid crystal display 135, and a captured image is displayed on the liquid crystal display 135. The liquid crystal display 135 displays a color image by a non-interlace method having a period of 1/60 second. A memory that can be randomly accessed, for example, a DRAM (dynamic random access memory) 141 and an encoder / decoder for data compression, for example, an encoder / decoder 142 of JPEG (Joint Photographic Experts Group) are connected to the recording / reproducing data bus 140. High-efficiency coding other than JPEG may be used. A recording medium such as a flash memory 143 and an interface 144 are connected to the encoder / decoder 142. The operation of the DRAM 141 is controlled by an address signal and a control signal supplied from the memory controller 145.

エンコーダ／デコーダ１４２は、ＪＰＥＧ、すなわち、適応ＤＣＴ（Discrete Cosine Transform)の符号化によって約１／１０にデータ量を圧縮する。ＪＰＥＧにおけるブロック化等の処理のために、ＤＲＡＭ１４１が設けられている。フラシュメモリ１４３は、電源を切っても記憶内容が保持され、メモリ全体あるいは分割した領域毎に電気的に一括して消去、再書込みが可能な半導体メモリである。記録媒体としては、フラシュメモリ以外の半導体メモリ等の媒体を使用しても良い。さらに、圧縮されたスチル画像データを必要に応じてパ−ソナルコンピュータに供給するためにインターフェースを設けても良い。この発明の一実施例において、記録とは、撮像信号を符号化してフラシュメモリ１４３に書込むことであり、再生とは、フラシュメモリ１４３内のデータを読出し、読出しデータを復号することである。   The encoder / decoder 142 compresses the data amount to about 1/10 by JPEG, that is, adaptive DCT (Discrete Cosine Transform) coding. A DRAM 141 is provided for processing such as blocking in JPEG. The flash memory 143 is a semiconductor memory that retains its stored contents even when the power is turned off, and that can be erased and rewritten electrically collectively for the entire memory or for each divided area. As a recording medium, a medium such as a semiconductor memory other than the flash memory may be used. Further, an interface may be provided to supply the compressed still image data to a personal computer as needed. In one embodiment of the present invention, recording means coding an image signal and writing it to the flash memory 143, and reproducing means reading data from the flash memory 143 and decoding the read data.

上述したこの発明の一実施例について、より詳細に説明する。この一実施例では、データスイッチャ１３０の接続状態によって５種類の動作が可能とされている。これは、モニタリングモード、第１の記録モード、第２の記録モード、第１の再生モード、第２の再生モードとからなる。これらのモードは、モード切り換え信号１３１、１３２、１３３によって設定される。モード切り換え信号１３１、１３２、１３３は、図示しない記録再生系制御用のマイクロコンピュータから発生する。マイクロコンピュータ１０５によって、モード切り換え信号を発生しても良い。モニタリングモードでは、撮像画面を液晶ディスプレイ１３５に表示する。第１の記録モードでは、所望の撮像画像をＤＲＡＭ１４１に書込む。第２の記録モードでは、ＤＲＡＭ１４１に記憶された画像データを圧縮してフラッシュメモリ１４３に書込む。第１の再生モードでは、フラッシュメモリ１４３に記憶されたデータを読出し、読出しデータを復号してＤＲＡＭ１４１に書込む。第２の再生モードでは、ＤＲＡＭ１４１のデータを読出して液晶ディスプレイ１３５に表示する。   The above-described embodiment of the present invention will be described in more detail. In this embodiment, five types of operations are possible depending on the connection state of the data switcher 130. This consists of a monitoring mode, a first recording mode, a second recording mode, a first reproduction mode, and a second reproduction mode. These modes are set by mode switching signals 131, 132, and 133. The mode switching signals 131, 132, and 133 are generated from a recording / reproducing system control microcomputer (not shown). A mode switching signal may be generated by the microcomputer 105. In the monitoring mode, the imaging screen is displayed on the liquid crystal display 135. In the first recording mode, a desired captured image is written in the DRAM 141. In the second recording mode, image data stored in the DRAM 141 is compressed and written to the flash memory 143. In the first reproduction mode, data stored in the flash memory 143 is read, and the read data is decoded and written into the DRAM 141. In the second reproduction mode, data in the DRAM 141 is read and displayed on the liquid crystal display 135.

図６は、データスイッチャ１３０の出力点ａと入力点ｂとが接続されるモニタリングモードの接続を示す。モニタリングモードは、モード切り換え信号１３１がアクティブとなることによって設定される。モニタリングモードでは、マイクロコンピュータ１０５は、タイミングコントローラ１０７のＣＣＤ駆動回路１０９を制御し、撮像素子１０１をライン間引きモードで動作させる。撮像素子１０１からは、読出しがされないラインが生じ、１／６０秒周期で撮像信号が読出される。   FIG. 6 shows a connection in the monitoring mode in which the output point a and the input point b of the data switcher 130 are connected. The monitoring mode is set when the mode switching signal 131 becomes active. In the monitoring mode, the microcomputer 105 controls the CCD drive circuit 109 of the timing controller 107 to operate the image sensor 101 in the line thinning mode. A line from which no reading is performed occurs from the imaging element 101, and an imaging signal is read at a 1/60 second cycle.

モニタリングモードでは、信号処理回路１０４の出力信号がデータスイッチャ１３０を介して変換回路１３４に供給され、変換回路１３４から出力される三原色信号が液晶ディスプレイ１３５に供給され、表示される。撮像素子１０１がライン間引きモードで動作するので、液晶ディスプレイ１３５が１／６０秒周期のノンインターレスの表示を行うことができる。液晶ディスプレイ１３５の表示を見て、画角の調整等を行い、記録したいスチル画像を決定することができる。ライン間引きモードのために、垂直解像度が記録時と比べると劣化するが、撮影画像をモニタする目的にとっては問題とはならず、これはまたフィールド蓄積を行うＣＣＤ撮像カメラと同等である。ライン間引きモードでは、高速読出しのために動きに対する追従性が良くなる。従って、自動焦点調整、自動絞り調整等の自動制御の応答が良くなり、動画をモニタするのが容易となる。   In the monitoring mode, the output signal of the signal processing circuit 104 is supplied to the conversion circuit 134 via the data switcher 130, and the three primary color signals output from the conversion circuit 134 are supplied to the liquid crystal display 135 and displayed. Since the imaging element 101 operates in the line thinning mode, the liquid crystal display 135 can perform non-interlace display with a 1/60 second cycle. A still image to be recorded can be determined by adjusting the angle of view while viewing the display on the liquid crystal display 135. Due to the line thinning mode, the vertical resolution is deteriorated as compared with that at the time of recording. However, this is not a problem for the purpose of monitoring the photographed image, which is also equivalent to a CCD imaging camera which performs field accumulation. In the line thinning mode, the followability to the movement is improved due to the high-speed reading. Therefore, the response of automatic control such as automatic focus adjustment and automatic aperture adjustment is improved, and it becomes easy to monitor a moving image.

なお、モニタリングモードにおいて、破線で示すデータバスに接続されるＤＲＡＭ１４１、エンコーダ／デコーダ１４２、フラッシュメモリ１４３が不動作とされる。消費電力の節約のために、これらの動作しない回路に対する電源供給がオフとされるか、あるいは動作に必要なクロックの供給を停止することが好ましい。以下に説明する他のモードにおいても、動作しない回路に対するバスが破線で示され、また、動作しない回路に対する電源供給がオフされることは、同様である。   In the monitoring mode, the DRAM 141, the encoder / decoder 142, and the flash memory 143 connected to the data bus indicated by the broken line are disabled. In order to save power consumption, it is preferable that the power supply to these inactive circuits be turned off or the supply of clocks necessary for operation be stopped. In the other modes described below, the buses to the inactive circuits are indicated by broken lines, and the power supply to the inactive circuits is similarly turned off.

図７は、スチル画像を記録する場合のモード、すなわち、データスイッチャ１３０の出力点ａと入出力点ｃとが接続される第１の記録モードの接続を示す。第１の記録モードは、モード切り換え信号１３２がアクティブとなることによって設定される。第１の記録モードでは、マイクロコンピュータ１０５は、タイミングコントローラ１０７のＣＣＤ駆動回路１０９を制御し、撮像素子１０１をフルフレーム読出しモードで動作させる。撮像素子１０１からは、全画素例えば３２万画素が読出され、１／３０秒周期で撮像信号が読出される。   FIG. 7 shows a mode for recording a still image, that is, a connection in a first recording mode in which the output point a and the input / output point c of the data switcher 130 are connected. The first recording mode is set when the mode switching signal 132 becomes active. In the first recording mode, the microcomputer 105 controls the CCD driving circuit 109 of the timing controller 107 to operate the image sensor 101 in the full frame read mode. From the image sensor 101, all pixels, for example, 320,000 pixels are read, and an image signal is read in a 1/30 second cycle.

撮像信号がカメラ信号処理回路１０４において処理され、データスイッチャ１３０の出力点ａおよび入出力点ｃ、並びに記録再生データバス１４０を通じてＤＲＡＭ１４１に書込まれる。メモリコントローラ１４５は、ＤＲＡＭ１４１を書込み状態にし、書込みアドレスをＤＲＡＭ１４１に対して供給する。メモリコントローラ１４５は、図示しない記録／再生系制御用のマイクロコンピュータによって制御される。１枚分のスチル画像データがＤＲＡＭ１４１に書込まれる。１／３０秒の画像データの書込みがなされる、第１の記録モードでは、液晶ディスプレイ１３５に画像を表示することができない。画像が表示されない時間を最小限とするために、書込みが終了すると、次の第２の記録モードに移行する。   The imaging signal is processed in the camera signal processing circuit 104 and written to the DRAM 141 through the output point a and the input / output point c of the data switcher 130 and the recording / reproducing data bus 140. The memory controller 145 puts the DRAM 141 into a write state and supplies a write address to the DRAM 141. The memory controller 145 is controlled by a microcomputer (not shown) for controlling a recording / reproducing system. One still image data is written into the DRAM 141. In the first recording mode in which image data of 1/30 second is written, an image cannot be displayed on the liquid crystal display 135. In order to minimize the time during which an image is not displayed, when writing is completed, the processing shifts to the next second recording mode.

ＤＲＡＭ１４１に対する１枚分の画像データの書込みが終了すると、データスイッチャ１３０が図８に示すように、出力点ａおよび入力点ｂが接続される第２の記録モードとなる。第２の記録モードは、モード切り換え信号１３１がアクティブとなることによって設定される。このモードでは、ＤＲＡＭ１４１から画像データが読出される。読出されたデータがバス１４０を介してエンコーダ／デコーダ１４２に供給される。エンコーダ／デコーダ１４２は、ＤＲＡＭ１４１から読出したデータを例えばＪＰＥＧにより圧縮する。また、圧縮されたデータがフラッシュメモリ１４３に書込まれる。このようにして、撮像画像が圧縮されて記録される。   When the writing of one image data to the DRAM 141 is completed, the data switcher 130 enters the second recording mode in which the output point a and the input point b are connected as shown in FIG. The second recording mode is set when the mode switching signal 131 becomes active. In this mode, image data is read from DRAM 141. The read data is supplied to the encoder / decoder 142 via the bus 140. The encoder / decoder 142 compresses the data read from the DRAM 141 by, for example, JPEG. Further, the compressed data is written to the flash memory 143. In this way, the captured image is compressed and recorded.

また、第２の記録モードでは、撮像素子１０１がライン間引きモードで動作するようになされ、モニタリングモードと同様に、高速で撮像素子１０１から読出された信号がカメラ信号処理回路１０４で処理され、画像信号がデータスイッチャ１３０および変換回路１３４を介して液晶ディスプレイ１３５に供給され、画像が表示される。それによって、記録時に画像の表示が消える時間を最小限とすることができる。   Further, in the second recording mode, the image sensor 101 operates in the line thinning mode, and similarly to the monitoring mode, a signal read from the image sensor 101 at high speed is processed by the camera signal processing circuit 104, and The signal is supplied to the liquid crystal display 135 via the data switcher 130 and the conversion circuit 134, and an image is displayed. Thereby, the time during which the display of the image disappears during recording can be minimized.

フラッシュメモリ１４３に書込まれた画像データを再生して液晶ディスプレイ１３５により表示するのが再生モードである。図９は、データスイッチャ１３０の出力点ａおよび入力点ｂが接続され、撮像信号が液晶ディスプレイ１３５に表示される第１の再生モードの状態を示す。第１の再生モードは、モード切り換え信号１３１がアクティブとなることによって設定される。このモードでは、フラッシュメモリ１４３からデータが読出され、読出しデータがエンコーダ／デコーダ１４２に供給される。   The reproduction mode is to reproduce the image data written in the flash memory 143 and display it on the liquid crystal display 135. FIG. 9 shows a state of the first reproduction mode in which the output point a and the input point b of the data switcher 130 are connected and the image pickup signal is displayed on the liquid crystal display 135. The first reproduction mode is set when the mode switching signal 131 becomes active. In this mode, data is read from the flash memory 143, and the read data is supplied to the encoder / decoder 142.

エンコーダ／デコーダ１４２によりデータが復号され、画像データが発生する。この画像データを書込むように、ＤＲＡＭ１４１が制御される。この場合、第１の記録モードと同一のデータ配列でもって、復号データがＤＲＡＭ１４１に書込まれるように、メモリコントローラ１４５がＤＲＡＭ１４１の書込みアドレスを制御する。読出し時のアドレス制御によって、同様のデータ配列を実現しても良い。この関係は、ＤＲＡＭ１４１から読出されたデジタル画像信号を変換回路１３４を介して液晶ディスプレイ１３５に供給し、液晶ディスプレイ１３５により表示する場合に、モニタリングモードで使用されるものと同一の構成を使用するためために必要である。第１の再生モードは、ライン間引きモードで撮像素子１０１が駆動され、撮像素子１０１の撮像画像が液晶ディスプレイ１３５に表示されている。   The data is decoded by the encoder / decoder 142 to generate image data. The DRAM 141 is controlled to write the image data. In this case, the memory controller 145 controls the write address of the DRAM 141 so that the decoded data is written to the DRAM 141 in the same data arrangement as in the first recording mode. A similar data arrangement may be realized by address control at the time of reading. This relationship is because when the digital image signal read from the DRAM 141 is supplied to the liquid crystal display 135 via the conversion circuit 134 and displayed on the liquid crystal display 135, the same configuration as that used in the monitoring mode is used. It is necessary for In the first reproduction mode, the image sensor 101 is driven in the line thinning mode, and a captured image of the image sensor 101 is displayed on the liquid crystal display 135.

ＤＲＡＭ１４１に対して復号データが書込まれると、図１０に示す第２の再生モードとなる。第２の再生モードでは、データスイッチャ１３０の入出力点ｃと入力点ｂとが接続される。第２の再生モードは、モード切り換え信号１３３がアクティブとなることによって設定される。ＤＲＡＭ１４１が読出し状態とされる。そして、記録再生データバス１４０、データスイッチャ１３０、変換回路１３４を介してＤＲＡＭ１４１の読出しデータが液晶ディスプレイ１３５に供給される。従って、フラッシュメモリ１４３に記録されているデータと対応する画像を液晶ディスプレイ１３５により見ることが可能となる。この場合、フラッシュメモリ１４３に記録されているデータは、ライン間引きデータではなく、フルフレームのデータである。従って、メモリコントローラ１４５によるアドレス制御によって、撮像素子１０１がライン間引きモードで駆動される場合と同様のライン間引きを実現する。それによって、ＤＲＡＭ１４１の読出しデータを液晶ディスプレイ１３５により再生することができる。   When the decoded data is written to the DRAM 141, the second reproduction mode shown in FIG. 10 is set. In the second reproduction mode, the input / output point c and the input point b of the data switcher 130 are connected. The second reproduction mode is set when the mode switching signal 133 becomes active. DRAM 141 is set to the read state. Then, read data of the DRAM 141 is supplied to the liquid crystal display 135 via the recording / reproducing data bus 140, the data switcher 130, and the conversion circuit 134. Therefore, an image corresponding to the data recorded in the flash memory 143 can be viewed on the liquid crystal display 135. In this case, the data recorded in the flash memory 143 is not full-frame data but full-frame data. Therefore, by the address control by the memory controller 145, line thinning similar to the case where the image sensor 101 is driven in the line thinning mode is realized. Thus, the read data of the DRAM 141 can be reproduced by the liquid crystal display 135.

このようにしてフラッシュメモリ１４３に記憶されているスチル画像データを液晶ディスプレイ１３５により再生して見ることができる。フラッシュメモリ１４３の記憶容量、データ圧縮の方法等によって、記録できるスチル画像の枚数が決定される。フラッシュメモリ１４３は、ＩＣカードの構成とされるのが好ましい。勿論、フラッシュメモリ以外の記録媒体を使用しても良い。さらに、必要に応じて設けられたインターフェースを介して外部のパソコンに記録データを送信したり、外部記憶装置に記録データを記憶するようにしても良い。   In this way, the still image data stored in the flash memory 143 can be reproduced and viewed on the liquid crystal display 135. The number of still images that can be recorded is determined by the storage capacity of the flash memory 143, the data compression method, and the like. The flash memory 143 is preferably configured as an IC card. Of course, a recording medium other than the flash memory may be used. Further, the recording data may be transmitted to an external personal computer via an interface provided as necessary, or the recording data may be stored in an external storage device.

上述した固体撮像素子１０１の一例について以下に説明する。図１１は、固体撮像素子例えばＣＣＤ撮像素子１の一例の概略を示す。この例では、インターライン方式を採用し、イメージエリアに２次元配列されたフォトセンサ（例えばフォトダイオード）２と、フォトセンサ２の間に設けられ、フォトセンサ２からの信号電荷を水平ＣＣＤ（水平転送部）４へ転送するための垂直ＣＣＤ（垂直転送部）３と、水平ＣＣＤ４に接続されたバッファアンプ５とを有する。フォトセンサ２には、後述するような配列の色フィルタを通った撮像光が入射する。一つのフォトセンサ２と垂直ＣＣＤ３中の１ビットとが対応するように構成され、フォトセンサ２からの信号電荷を混合することなく垂直ＣＣＤ３に読出し、全画素の信号を順次、水平ＣＣＤ４に転送することが可能とされている。そして、水平ＣＣＤ４を駆動することによって、信号をフローティングディフュージョンエリアに転送し、順次電圧に変換してバッファアンプ５を通して出力する。   An example of the above-described solid-state imaging device 101 will be described below. FIG. 11 schematically shows an example of a solid-state imaging device, for example, the CCD imaging device 1. In this example, an interline system is adopted, and a photosensor (for example, a photodiode) 2 two-dimensionally arranged in an image area is provided between the photosensors 2 and a signal charge from the photosensor 2 is transferred to a horizontal CCD (horizontal CCD). It has a vertical CCD (vertical transfer unit) 3 for transferring data to a transfer unit 4 and a buffer amplifier 5 connected to the horizontal CCD 4. The imaging light that has passed through the color filters arranged as described below is incident on the photosensor 2. One photosensor 2 and one bit in the vertical CCD 3 are configured to correspond to each other. The signal charges from the photosensor 2 are read out to the vertical CCD 3 without mixing, and the signals of all pixels are sequentially transferred to the horizontal CCD 4. It is possible. Then, by driving the horizontal CCD 4, the signals are transferred to the floating diffusion area, sequentially converted into voltages, and output through the buffer amplifier 5.

撮像素子１の単位画素の平面図を図１２に示し、垂直ＣＣＤ３の構造を図１３に示す。垂直ＣＣＤ３は、例えば３層電極３相駆動の構成とされている。図１２において、６は、垂直ＣＣＤ３の転送チャンネル、７は、画素間、並びに画素および転送チャンネル間を分離するためのチャンネルストッパ、８、９および１０は、それぞれ垂直ＣＣＤ３の転送ゲートである。転送ゲート９は、読出しゲートを兼用している。なお、図１２では、遮光膜等についての図示が省略されている。転送ゲート８、９、１０は、図１３に示すように、第１、第２および第３の多結晶シリコン電極を加工して形成される。これらの転送ゲート８、９、１０に対して、垂直駆動パルスφＶ₁ 、φＶ₂ 、φＶ₃ がそれぞれ印加される。 FIG. 12 shows a plan view of a unit pixel of the image pickup device 1 and FIG. 13 shows a structure of the vertical CCD 3. The vertical CCD 3 has, for example, a three-layer electrode three-phase drive configuration. In FIG. 12, reference numeral 6 denotes a transfer channel of the vertical CCD 3, reference numeral 7 denotes a channel stopper for separating pixels, and between the pixel and the transfer channel, and reference numerals 8, 9 and 10 denote transfer gates of the vertical CCD 3, respectively. The transfer gate 9 also serves as a read gate. In FIG. 12, illustration of a light shielding film and the like is omitted. The transfer gates 8, 9, and 10, as shown in FIG. 13, are formed by processing first, second, and third polycrystalline silicon electrodes. Vertical drive pulses φV ₁ , φV ₂ , φV ₃ are applied to these transfer gates 8, 9, 10, respectively.

フォトセンサ２から垂直ＣＣＤ３へ信号を読出す場合、フォトセンサ２に隣接した転送ゲート、すなわち、読出しゲートを兼ねる転送ゲート９に対して、垂直転送クロックφＶ₂ のハイレベルより高いバイアス電圧（読出しパルスと称する）を印加する。ゲート９に読出しパルスを供給すると、１つの画素が垂直ＣＣＤ３の１ビットに対応しているので、全てのフォトセンサ２から信号電荷が垂直ＣＣＤ３に読出される。水平ＣＣＤ５は、転送クロックφＨ₁ 、φＨ₂ によって、１ライン分のデータを出力する。なお、水平ＣＣＤ５としては、例えば複合チャンネル水平ＣＣＤ構造を採用することができる。その場合、出力部が２チャンネルの構成とされる。 When a signal is read from the photosensor 2 to the vertical CCD 3, a bias voltage (read pulse) higher than the high level of the vertical transfer clock φV ₂ is applied to the transfer gate adjacent to the photosensor 2, that is, the transfer gate 9 also serving as a read gate. ) Is applied. When a read pulse is supplied to the gate 9, since one pixel corresponds to one bit of the vertical CCD 3, signal charges are read from all the photosensors 2 to the vertical CCD 3. The horizontal CCD 5 outputs one line of data according to the transfer clocks φH ₁ and φH ₂ . As the horizontal CCD 5, for example, a composite channel horizontal CCD structure can be adopted. In that case, the output unit has a two-channel configuration.

上述したＣＣＤ撮像素子は、全画素の信号を順次出力することができるので、電子スチルカメラ、画像取込みに適している。しかしながら、インターレース出力を行う同じ画素数のビデオカメラ用撮像素子と比較して、１画面（画面の上端から下端まで）の出力時間が倍となる。この例では、上述したように、モニタ用の信号、自動焦点制御等の自動制御のための撮像信号として、水平ライン数を減少させることによって、１画面の撮像信号を高速に出力するものであり、且つ、このライン間引きの場合に、カラーフィルタの配列で規定される垂直方向の色シーケンスが崩れることがないようにするものである。一方、撮影した画像をフラッシュメモリに取り込む場合では、フルフレームの撮像信号（ライン数の間引きがされてない撮像信号）を出力する。ライン間引きの場合でも、色シーケンスがフルフレームの場合と同一のため、信号処理回路が複雑となる問題を回避できる。   The above-described CCD imaging device is suitable for an electronic still camera and image capture because it can sequentially output signals of all pixels. However, the output time of one screen (from the upper end to the lower end of the screen) is twice as long as that of a video camera image sensor having the same number of pixels that performs interlaced output. In this example, as described above, an image signal for one screen is output at high speed by reducing the number of horizontal lines as a signal for monitoring and an image signal for automatic control such as automatic focus control. In addition, in the case of this line thinning, the vertical color sequence defined by the arrangement of the color filters is not broken. On the other hand, when the captured image is taken into the flash memory, a full frame imaging signal (an imaging signal in which the number of lines is not thinned out) is output. Even in the case of line thinning, since the color sequence is the same as in the case of full frame, it is possible to avoid the problem that the signal processing circuit becomes complicated.

上述した全画素読出し可能な撮像素子において、ライン数を間引くためには、フォトセンサ２からの信号電荷の読出しに寄与している転送ゲート（第２の多結晶シリコン）９に対する配線を二つに分けることによって可能である。色シーケンスの繰り返し周期をＮで表す。図１４は、（Ｎ＝２）の場合の一例である。   In the above-described image sensor capable of reading all pixels, in order to reduce the number of lines, the number of lines for the transfer gate (second polycrystalline silicon) 9 that contributes to reading of signal charges from the photosensor 2 is reduced to two. It is possible by dividing. The repetition period of the color sequence is represented by N. FIG. 14 is an example of the case of (N = 2).

単板式のＣＣＤ撮像素子の色フィルタの配列としては、Ｒ（赤色を通すフィルタ）、Ｇ（緑色を通すフィルタ）、Ｂ（青色を通すフィルタ）を図１５Ａに示すように配列したもの（ベイヤ方式）が知られている。全体の半分の画素に感度の高いＧのフィルタを配置する。また、図１５Ｂに示す補色市松配置の色フィルタも知られている。図１５Ｂにおいて、Ｙｅ、Ｃｙ、Ｍｇは、それぞれ黄色、シアン、マゼンタのフィルタである。図１５Ｂに示す補色フィルタは、原色フィルタに比して解像度を高めることができるので、ビデオカメラに採用されることが多い。一方、図１５Ａに示す原色フィルタは、色の再現性の点で優れ、電子スチルカメラに採用されることが多い。   As an arrangement of the color filters of the single-plate CCD image sensor, R (filter passing red), G (filter passing green), and B (filter passing blue) are arranged as shown in FIG. 15A (Bayer method). )It has been known. A high-sensitivity G filter is arranged in half of the pixels. Further, a color filter having a complementary checkerboard arrangement shown in FIG. 15B is also known. In FIG. 15B, Ye, Cy, and Mg are yellow, cyan, and magenta filters, respectively. Since the complementary color filter shown in FIG. 15B can increase the resolution as compared with the primary color filter, it is often used for a video camera. On the other hand, the primary color filter shown in FIG. 15A is excellent in color reproducibility, and is often used in an electronic still camera.

この発明における撮像素子として、原色フィルタを有する単板式撮像素子、および補色フィルタを有する単板式撮像素子の何れを使用しても良い。さらに、図示しないが、Ｇのフィルタを備えた撮像素子と、ＲおよびＢのフィルタの配列を備えた撮像素子とからなり、二つの撮像素子の位置関係が水平方向、または水平および垂直方向に画素ピッチの１／２だけずらされた方式の撮像素子（いわゆる空間絵素ずらし方式）を使用しても良い。   Either a single-chip image sensor having a primary color filter or a single-chip image sensor having a complementary color filter may be used as the image sensor in the present invention. Further, although not shown, the image sensor includes an image sensor having a G filter and an image sensor having an array of R and B filters, and the positional relationship between the two image sensors is horizontal or horizontal and vertical. An image sensor of a system shifted by １ ／ of the pitch (so-called space picture element shifting system) may be used.

図１５Ａの配列は、垂直方向の色シーケンスの繰り返し周期Ｎが（Ｎ＝２）であり、図１５Ｂの配列は、（Ｎ＝４）である。図１４は、（Ｎ＝２）であって、垂直方向の１列のフォトセンサ２、垂直ＣＣＤ３および垂直ＣＣＤ３のゲートのバス配線を１列の一部に関して示した模式図である。フォトセンサ２のうちで左上コーナーに斜線部を設けたものが一つの色フィルタ例えばＧのフィルタに対応し、斜線部を設けないものが他の色フィルタ、例えばＢのフィルタと対応している。垂直ＣＣＤ３は、上述したように３層電極３相駆動形式のもので、撮像素子の開口画素に隣接して３ビットのゲートを有する。また、垂直ＣＣＤ３は、繰り返し単位Ａと、繰り返し単位Ｂを含む。繰り返し単位Ａは、ゲート２１、２２、２３からなり、繰り返し単位Ｂは、ゲート３１、３２、３３からなる。ゲート２２および３２が転送兼読出しゲートである。４１、４２、４２´、４３は、垂直転送用の駆動パルスφＶ₁ 、φＶ₂ 、φＶ₂ ´、φＶ₃ がそれぞれ供給されるバス配線である。 In the arrangement of FIG. 15A, the repetition period N of the color sequence in the vertical direction is (N = 2), and in the arrangement of FIG. 15B, (N = 4). FIG. 14 is a schematic diagram in which (N = 2) and the bus lines of the photosensors 2, the vertical CCDs 3, and the gates of the vertical CCDs 3 in one column in the vertical direction are shown for a part of one column. Among the photosensors 2, the one provided with a diagonal line at the upper left corner corresponds to one color filter, for example, a G filter, and the one without the diagonal line corresponds to another color filter, for example, a B filter. The vertical CCD 3 is of a three-layer electrode three-phase drive type as described above, and has a 3-bit gate adjacent to an aperture pixel of the image sensor. The vertical CCD 3 includes a repeating unit A and a repeating unit B. The repeating unit A includes gates 21, 22, and 23, and the repeating unit B includes gates 31, 32, and 33. Gates 22 and 32 are transfer and readout gates. 41,42,42', 43, driving pulses .phi.V ₁ for vertical transfer, φV _2, φV ₂ ', a bus wiring .phi.V ₃ are supplied.

ゲート２１および３１がバス配線４１に接続され、ゲート２３および３３がバス配線４３に接続される。これらのバス配線４１、４３には、それぞれ駆動パルスφＶ₁ 、φＶ₃ が供給される。駆動パルスφＶ₂ に関して、２本のバス４２および４２´が設けられる。繰り返し単位Ａとは、転送兼読出しゲート２２がバス４２と接続されるものを指し、繰り返し単位Ｂは、転送兼読出しゲート３２がバス４２´と接続されるものを指す。なお、図１４では、簡略化のために、バスラインが片側しか描かれていないが、両側にバスラインを配して、両側駆動するのが普通である。 Gates 21 and 31 are connected to bus line 41, and gates 23 and 33 are connected to bus line 43. Drive pulses φV ₁ and φV ₃ are supplied to these bus lines 41 and 43, respectively. Regard the driving pulse .phi.V _2, 2 buses 42 and 42 'are provided. The repetition unit A refers to one in which the transfer / read gate 22 is connected to the bus 42, and the repetition unit B refers to one in which the transfer / read gate 32 is connected to the bus 42 '. In FIG. 14, for simplicity, only one side of the bus line is shown, but it is usual to arrange the bus line on both sides and drive both sides.

上述の撮像素子では、ライン間引きのために、繰り返し単位Ａがｍ（ｍ＝１，２，３，・・・）並んだＡ×ｍ（ビット）の範囲と、繰り返し単位ＢがＮ×ａ並んだＢ×Ｎ×ａ（ビット）の範囲とが垂直方向に交互に形成される。図１４に示す例は、（Ｎ＝２、ｍ＝３、ａ＝２）の場合である。なお、ｍおよびａの値を任意に選ぶことができるが、ｍおよびａを大きな値としても、（ｍ＋Ｎ×ａ）が有効画素数の垂直画素数より小さいことが必要である。   In the above-described image pickup device, the range of A × m (bits) in which the repeating units A are arranged in m (m = 1, 2, 3,...) And the repeating units B are arranged in N × a for line thinning. B × N × a (bits) are alternately formed in the vertical direction. The example shown in FIG. 14 is a case where (N = 2, m = 3, a = 2). Although the values of m and a can be arbitrarily selected, it is necessary that (m + N × a) is smaller than the number of vertical pixels of the number of effective pixels, even if m and a are large values.

上述した撮像素子において、第１の動作モード、すなわち、全画素の信号を読出すフルフレームの動作時では、垂直ＣＣＤ３の繰り返し単位ＡおよびＢの両者にフォトセンサ２から信号が読出される。そのためには、バス配線４２および４２´を通じてゲート２２および３２の両者に読出しパルスが印加される。この場合、色フィルタの配列の順序と対応する色シーケンス、例えばＧ、Ｂ、Ｇ、Ｂ、・・・のシーケンスでもって色信号が出力される。   In the above-described imaging device, in the first operation mode, that is, in the full frame operation of reading out the signals of all pixels, signals are read from the photosensor 2 to both the repeating units A and B of the vertical CCD 3. To this end, a read pulse is applied to both gates 22 and 32 via bus lines 42 and 42 '. In this case, color signals are output in a color sequence corresponding to the order of the color filter array, for example, a sequence of G, B, G, B,.

一方、第２の動作モード、すなわち、ライン間引き動作時では、繰り返し単位Ａのゲート２２にのみバス配線４２を介して読出しパルスが印加される。従って、Ａ×ｍ（ビット）の範囲から信号が読出され、Ｂ×Ｎ×ａ（ビット）の範囲からは、信号が読出されない。図１４の例では、（ｍ＝３）ラインから信号が発生し、（Ｎ×ａ＝４）ラインから信号が発生しない。間引かれるライン数がＮの整数倍であるので、ライン間引きの場合の撮像出力の色信号の順序と対応する色シーケンスは、フルフレーム読出しと同一の関係に保たれる。   On the other hand, in the second operation mode, that is, at the time of the line thinning operation, the read pulse is applied only to the gate 22 of the repeating unit A via the bus wiring 42. Therefore, a signal is read from the range of A × m (bit), and no signal is read from the range of B × N × a (bit). In the example of FIG. 14, a signal is generated from the (m = 3) line, and no signal is generated from the (N × a = 4) line. Since the number of lines to be thinned is an integral multiple of N, the color sequence corresponding to the color signal sequence of the imaging output in the case of line thinning is maintained in the same relationship as in full frame readout.

図１６は、撮像素子を駆動する場合のタイミングを示し、図１６Ａがフルフレームの読出しを行う場合のタイミングを示す。各水平ブランキング期間において、３相の駆動パルスφＶ₁ 、φＶ₂ 、φＶ₂ ´、φＶ₃ が垂直ＣＣＤ３の繰り返し単位Ａのゲート２１、２２および２３と、繰り返し単位Ｂのゲート３１、３２および３３にそれぞれ供給される。また、読出しパルスもゲート２２および３２との両者に対して印加される。それによって、全てのフォトセンサから信号電荷が垂直ＣＣＤ３に対して読出される。図１６Ｂの詳細なタイミングチャートに示すように、水平ブランキング期間内で発生する駆動パルスφＶ₁ 、φＶ₂ 、φＶ₂ ´、φＶ₃ が３相のものであり、ラインシフト期間によって１ラインシフトがなされる。フルフレームの読出し時には、各水平ブランキング期間内で、１ラインシフトがなされる。 FIG. 16 shows the timing when the image sensor is driven, and FIG. 16A shows the timing when the full frame is read. In each horizontal blanking period, the three-phase driving pulses φV ₁ , φV ₂ , φV ₂ ′, and φV ₃ are applied to the gates 21, 22, and 23 of the vertical CCD ₃ and the gates 31, 32, and 33 of the repeating unit B. Respectively. A read pulse is also applied to both gates 22 and 32. As a result, signal charges are read from all the photo sensors to the vertical CCD 3. As shown in the detailed timing chart of FIG. 16B, the drive pulses φV ₁ , φV ₂ , φV ₂ ′, and φV ₃ generated in the horizontal blanking period are of three phases, and one line shift is performed depending on the line shift period. Done. At the time of reading a full frame, one line shift is performed within each horizontal blanking period.

一方、ライン間引きの読出しの場合では、図１６Ｃに示すように、繰り返し単位Ａのゲート２２にのみ読出しパルスが印加される。それによって、繰り返し単位Ａに隣接したフォトセンサのみから信号電荷が読出される。ライン間引きの場合では、間引かれたラインでは、信号電荷が読出されず、無信号となる。この無信号期間は、後述するように、ラインシフト動作を複数回繰り返すことによって除去できる。   On the other hand, in the case of line thinning-out reading, as shown in FIG. 16C, a reading pulse is applied only to the gate 22 of the repeating unit A. Thereby, signal charges are read out only from the photosensors adjacent to the repeating unit A. In the case of line thinning, signal charges are not read from the thinned line, and no signal is output. This non-signal period can be removed by repeating the line shift operation a plurality of times, as described later.

図１７Ａは、（ｍ＝１，ａ＝１）の場合の垂直ＣＣＤ３のチャンネル６のポテンシャルの模式図である。図面に向かって右側から左側の水平ＣＣＤ４に向かう方向が垂直転送方向である。チャンネル６には、ライン間引き動作時に、信号電荷Ｑｓを含むパケット５１と空パケット５２とが存在する。各ラインから信号電荷Ｑｓを出力するためには、空パケット５２の分、ラインシフトの回数を増やし、それによって信号電荷と無信号とを水平ＣＣＤ４において混合し、無信号の期間を除去する。各水平ブランキング期間内でなされるラインシフトの回数は、下記の関係を満足するように選定すれば良い。   FIG. 17A is a schematic diagram of the potential of the channel 6 of the vertical CCD 3 when (m = 1, a = 1). The direction from the right to the left horizontal CCD 4 in the drawing is the vertical transfer direction. The channel 6 includes a packet 51 including the signal charge Qs and an empty packet 52 during the line thinning operation. In order to output the signal charge Qs from each line, the number of line shifts is increased by the amount of the empty packet 52, whereby the signal charge and no signal are mixed in the horizontal CCD 4, and the period of no signal is removed. The number of line shifts performed in each horizontal blanking period may be selected so as to satisfy the following relationship.

１（：出力する信号電荷Ｑｓを含むパケットの数）＋Ｘ（前にある信号電荷Ｑｓを含まないパケットの数）以上で、１＋Ｘ＋（Ｎ×ａ）（：後ろにある信号電荷Ｑｓを含まないパケットの数）以下
それによって、（Ｘ＝０）の場合では、信号電荷のみを水平ＣＣＤ４に対して転送し、（Ｘ≠０）の場合では、信号電荷を含むパケットと１以上の信号電荷を含まないパケットとを水平ＣＣＤ４に対して転送する。 1+: (the number of packets including the signal charge Qs to be output) + X (the number of packets not including the preceding signal charge Qs) and 1 + X + (N × a) (: the packet not including the subsequent signal charge Qs) Therefore, in the case of (X = 0), only the signal charge is transferred to the horizontal CCD 4, and in the case of (X ≠ 0), the packet including the signal charge and one or more signal charges are included. And transfer the missing packet to the horizontal CCD 4.

上述の条件によって、信号電荷を水平ＣＣＤ４に対して転送し、また、無信号のラインを圧縮することができる。実際には、空パケットの電荷が０ではなく、スミア信号や暗信号等の不要信号電荷Ｑｎが含まれている。各水平ブランキング期間でなされるラインシフトの数が異なると、不要信号電荷Ｑｎの加算される回数が異なるために、不要信号が含まれる量がラインによって異なる。それによって、ラインクロールや、色ずれなどの画質劣化が発生するおそれがある。   Under the above-described conditions, signal charges can be transferred to the horizontal CCD 4 and a non-signal line can be compressed. Actually, the charge of the empty packet is not 0, but includes an unnecessary signal charge Qn such as a smear signal and a dark signal. If the number of line shifts performed in each horizontal blanking period is different, the number of times the unnecessary signal charge Qn is added is different, so that the amount of the unnecessary signal included differs depending on the line. As a result, there is a possibility that image quality deterioration such as line crawl and color shift may occur.

この問題を解決するには、各水平ブランキング期間でなされるラインシフトの回数を一定とすれば良い。限定された条件、すなわち、（ｍ＝１、またはｍ＝２）の場合では、垂直ＣＣＤ３のラインシフトの数を（（Ｎ×ａ／ｍ）＋１）とすることによって、各ラインの信号電荷Ｑｓに対して加算される信号電荷Ｑｓを含まないパケットの数を一定とすることができる。これによって、上述した画質劣化の発生を防止することができる。   To solve this problem, the number of line shifts performed in each horizontal blanking period may be fixed. Under limited conditions, that is, (m = 1 or m = 2), by setting the number of line shifts of the vertical CCD 3 to ((N × a / m) +1), the signal charge Qs of each line , The number of packets that do not include the signal charge Qs can be kept constant. As a result, it is possible to prevent the above-described deterioration in image quality.

図１７Ｂは、（Ｎ＝２、ｍ＝１、ａ＝１）の場合の垂直ＣＣＤ３のチャンネル６のポテンシャルの模式図である。この例では、（Ｎ×ａ／ｍ＝２）となり、ラインシフトの回数を３回とすることによって、各ラインにおいて加算される信号電荷Ｑｓを含まないパケットの数を一定とすることができる。また、図１７Ｃは、（Ｎ＝２、ｍ＝２、ａ＝１）の場合を示す。この場合では、（Ｎ×ａ／ｍ＝１）となり、ラインシフトの回数を２回とすれば良い。さらに、ｍ＞２の場合でも、スミア信号や暗信号のレベルを充分に小さくすることができれば、問題は生じない。   FIG. 17B is a schematic diagram of the potential of the channel 6 of the vertical CCD 3 when (N = 2, m = 1, a = 1). In this example, (N × a / m = 2), and the number of line shifts is set to three, so that the number of packets that do not include the signal charge Qs added in each line can be kept constant. FIG. 17C shows the case of (N = 2, m = 2, a = 1). In this case, (N × a / m = 1), and the number of line shifts may be two. Further, even when m> 2, no problem occurs if the level of the smear signal or the dark signal can be sufficiently reduced.

上述したＣＣＤ撮像素子は、ライン数を減少することができるので、垂直ＣＣＤ３の繰り返し単位Ａの並ぶ数ｍ、繰り返し単位Ｂの並ぶ数Ｎ×ａの値を選ぶことによって、１フィールドのテレビジョンの水平走査線数以下に出力撮像信号のライン数を抑えることができる。ベイヤ方式の色フィルタ配列のような（Ｎ＝２）の場合を例に出力ライン数のいくつかの例を説明する。   The above-mentioned CCD image pickup device can reduce the number of lines. Therefore, by selecting the number m of the repeating units A arranged in the vertical CCD 3 and the number N × a of the repeating units B arranged in the vertical CCD 3, the number of lines in the television of one field can be reduced. The number of lines of the output image signal can be suppressed to the number of horizontal scanning lines or less. Some examples of the number of output lines will be described by taking as an example the case of (N = 2) like the Bayer type color filter array.

図１８に示すように、有効画素数（：垂直×水平）が（４８０×６４０）のＶＧＡ(Video Graphics Array)対応の撮像素子に対してこの発明を適用した場合では、（ａ＝１、ｍ＝２）とされる。従って、ライン間引きモードでは、出力ライン数を半分の２４０ラインとできる。図１９に示すように、有効画素数が（７６８×１０２４）の撮像素子では、（ｍ＝１、ａ＝１）とすることによって、出力ライン数を２５６ラインとできる。図２０に示すように、有効画素数が（１０２４×１２８０）の撮像素子では、（ｍ＝１、ａ₁ ＝１、ａ₂ ＝２）とすることによって、出力ライン数を２５６ラインとできる。ａ₁ およびａ₂ は、交互に使用される。 As shown in FIG. 18, when the present invention is applied to a VGA (Video Graphics Array) compatible image sensor having an effective pixel number (: vertical × horizontal) of (480 × 640), (a = 1, m = 2). Therefore, in the line thinning mode, the number of output lines can be halved to 240 lines. As shown in FIG. 19, in an image sensor having an effective pixel number of (768 × 1024), by setting (m = 1, a = 1), the number of output lines can be 256 lines. As shown in FIG. 20, in an image sensor having an effective pixel number of (1024 × 1280), the number of output lines can be 256 by setting (m = 1, a ₁ = 1, a ₂ = 2). a ₁ and a ₂ are used alternately.

図１８、図１９および図２０にそれぞれ示す何れの場合でも、出力ライン数を例えばＮＴＳＣ方式の１フィールドのライン数（２６２．５）より少なくすることができる。従って、色シーケンスおよび画角をフルフレーム読出しモードと同一の関係を保持して、ライン間引きモードの撮像信号をより高速に出力することができる。それによって、ＶＲＡＭ、あるいはフレームメモリを使用することなしに、液晶モニタに撮像画面を表示することができる。なお、画角とは、撮影した時に撮像素子に映る範囲がレンズの光軸を中心に張る角度のことである。   In each of the cases shown in FIGS. 18, 19 and 20, the number of output lines can be made smaller than, for example, the number of lines (262.5) in one field of the NTSC system. Accordingly, it is possible to output the imaging signal in the line thinning mode at a higher speed while maintaining the same relationship between the color sequence and the angle of view in the full frame read mode. As a result, an imaging screen can be displayed on the liquid crystal monitor without using a VRAM or a frame memory. Note that the angle of view is an angle at which a range reflected on the image sensor when photographing extends around the optical axis of the lens.

なお、上述した一実施例における撮像素子の具体的構成は、一例であって、この発明は、これ以外の固体撮像素子を使用することができる。例えば垂直ＣＣＤが２層電極４相駆動の構造でも良く、また、インターライン方式以外の方式の撮像素子、さらに、ＣＣＤ以外を使用した固体撮像素子であっても良い。さらに、固体撮像素子を駆動するモードとして、読出しパルスφＶ₂ ´を印加し、読出しパルスφＶ₂ を印加しない第３の動作モードを設定するようにしても良い。 Note that the specific configuration of the imaging device in the above-described embodiment is an example, and the present invention can use other solid-state imaging devices. For example, the vertical CCD may have a two-layer electrode, four-phase drive structure, or may be an imaging device other than the interline system, or a solid-state imaging device using a device other than the CCD. Further, as a mode for driving the solid-state imaging device, a third operation mode in which the read pulse φV ₂ ′ is applied and the read pulse φV ₂ is not applied may be set.

また、この発明は、上述した構造の撮像素子に限定されず、全画素読出しモードと読出し画素数を減少させたモードとを選択することが可能な撮像素子を使用することができる。   In addition, the present invention is not limited to the image sensor having the above-described structure, and can use an image sensor capable of selecting an all-pixel reading mode or a mode in which the number of read pixels is reduced.

この発明の一実施例の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of one embodiment of the present invention. この発明の一実施例中のカメラ信号処理回路の一例のブロック図である。FIG. 2 is a block diagram of an example of a camera signal processing circuit in one embodiment of the present invention. カメラ信号処理回路中のマルチプレクサの部分のブロック図である。FIG. 3 is a block diagram of a multiplexer part in the camera signal processing circuit. マルチプレクサの一例のブロック図である。It is a block diagram of an example of a multiplexer. マルチプレクサの動作を示すタイミングチャートである。6 is a timing chart illustrating an operation of the multiplexer. この発明の一実施例のモニタリングモードの接続関係を示すブロック図である。FIG. 3 is a block diagram illustrating a connection relationship in a monitoring mode according to an embodiment of the present invention. この発明の一実施例の第１の記録モードの接続関係を示すブロック図である。FIG. 2 is a block diagram showing a connection relationship in a first recording mode according to one embodiment of the present invention. この発明の一実施例の第２の記録モードの接続関係を示すブロック図である。FIG. 4 is a block diagram showing a connection relationship in a second recording mode according to the embodiment of the present invention. この発明の一実施例の第１の再生モードの接続関係を示すブロック図である。FIG. 3 is a block diagram showing a connection relationship in a first reproduction mode according to one embodiment of the present invention. この発明の一実施例の第２の再生モードの接続関係を示すブロック図である。FIG. 4 is a block diagram showing a connection relationship in a second reproduction mode according to one embodiment of the present invention. この発明に使用できる撮像素子の一例の概略的構成を示す略線図である。FIG. 2 is a schematic diagram illustrating a schematic configuration of an example of an imaging element that can be used in the present invention. 撮像素子の一例の１画素の部分の拡大平面図である。FIG. 3 is an enlarged plan view of a portion of one pixel of an example of an imaging element. 撮像素子の一例の垂直ＣＣＤの構造を示す略線図である。FIG. 3 is a schematic diagram illustrating a structure of a vertical CCD as an example of an imaging element. 撮像素子の一例の垂直１列のバス配線を示す略線図である。FIG. 4 is a schematic diagram illustrating one vertical bus line of an example of an imaging element. 撮像素子の一例に使用される色フィルタの配列の一例および他の例を示す略線図である。FIG. 9 is a schematic diagram illustrating an example of an arrangement of color filters used in an example of an imaging element and another example. 撮像素子の一例を駆動するための駆動パルスのタイミングチャートである。5 is a timing chart of a driving pulse for driving an example of an image sensor. 撮像素子の一例における垂直ＣＣＤのポテンシャルを模式的に示す略線図である。FIG. 3 is a schematic diagram schematically illustrating a potential of a vertical CCD in an example of an imaging element. 撮像素子の具体的な一例を示す略線図である。FIG. 3 is a schematic diagram illustrating a specific example of an imaging element. 撮像素子の具体的な他の例を示す略線図である。FIG. 14 is a schematic diagram illustrating another specific example of the imaging element. 撮像素子の具体的なさらに他の例を示す略線図である。FIG. 11 is a schematic diagram illustrating still another specific example of the imaging element. 従来の撮像素子の説明に用いる略線図である。It is a schematic diagram used for description of the conventional image sensor. 先に提案されている撮像素子の説明に用いる略線図である。FIG. 9 is a schematic diagram used for describing an imaging device proposed earlier. 撮像素子の出力と液晶モニタの表示との関係を示す略線図である。FIG. 4 is a schematic diagram illustrating a relationship between an output of an imaging element and a display on a liquid crystal monitor. 撮像素子から発生した撮像信号を液晶モニタに供給する場合の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration in a case where an imaging signal generated from an imaging element is supplied to a liquid crystal monitor.

符号の説明Explanation of reference numerals

２ フォトセンサ
３ 垂直ＣＣＤ
４ 水平ＣＣＤ
６ 垂直ＣＣＤのチャンネル
１０１ 撮像素子
１０４ カメラ信号処理回路
１０５ マイクロコンピュータ
１０７ タイミングコントローラ
１３０ データスイッチャ
１３５ 液晶ディスプレイ
１４１ ＤＲＡＭ
１４２ エンコーダ／デコーダ
１４３ フラッシュメモリ 2 Photo sensor 3 Vertical CCD
4 Horizontal CCD
6 Vertical CCD channel 101 Image sensor 104 Camera signal processing circuit 105 Microcomputer 107 Timing controller 130 Data switcher 135 Liquid crystal display 141 DRAM
142 Encoder / Decoder 143 Flash memory

Claims (4)

垂直方向にＮ（Ｎは自然数）画素周期で繰り返される複数の色フィルタを介した光が入射されるマトリクス状に配置された複数のフォトセンサと、
上記複数のフォトセンサから読み出された電荷を垂直方向に連なるフォトセンサからの電荷を混合することなく転送する垂直転送部と、
上記複数のフォトセンサに蓄積された電荷を上記垂直転送部に転送させるための信号供給部と
からなり、
上記複数のフォトセンサは、ｍ（ｍは自然数）個の垂直方向に連なる第１のフォトセンサ群と、上記画素周期Ｎのａ倍（ａは自然数）の数からなる垂直方向に連なる第２のフォトセンサ群とが垂直方向に交互に配置されることによって構成され、
上記信号供給部は、上記第１のフォトセンサ群に蓄積された電荷を上記垂直転送部に転送させるための第１の信号供給部と、上記第２のフォトセンサ群に蓄積された電荷を上記垂直転送部に転送させるための第２の信号供給部とによって構成されることを特徴とする固体撮像素子。 A plurality of photosensors arranged in a matrix in which light is incident through a plurality of color filters that are repeated in a vertical (N is a natural number) pixel cycle;
A vertical transfer unit that transfers the charges read from the plurality of photosensors without mixing the charges from the photosensors that are vertically connected,
A signal supply unit for transferring the charges accumulated in the plurality of photosensors to the vertical transfer unit,
The plurality of photosensors include m (m is a natural number) first photosensor groups that are vertically connected and a second photosensor group that is a number a times the pixel period N (a is a natural number). It is configured by alternately arranging photosensor groups in the vertical direction,
The signal supply unit includes a first signal supply unit configured to transfer the charge stored in the first photosensor group to the vertical transfer unit, and a charge unit configured to transfer the charge stored in the second photosensor group to the vertical transfer unit. A solid-state imaging device, comprising: a second signal supply unit for transferring a signal to a vertical transfer unit. 請求項１に記載の固体撮像素子において、
上記第１の信号供給部と上記第２の信号供給部とが互いに独立して設けられていることを特徴とする固体撮像素子。 The solid-state imaging device according to claim 1,
A solid-state imaging device, wherein the first signal supply unit and the second signal supply unit are provided independently of each other. 請求項１に記載の固体撮像素子において、
上記第１のフォトセンサ群の各フォトセンサに対応して配置された色フィルタの垂直方向の色順序は、上記第１および第２のフォトセンサによって構成される上記複数のフォトセンサの各フォトセンサに対応して配置された色フィルタの垂直方向の色順序と同一であることを特徴とする固体撮像素子。 The solid-state imaging device according to claim 1,
The color order of the color filters arranged corresponding to the respective photosensors of the first photosensor group in the vertical direction is determined by the respective photosensors of the plurality of photosensors constituted by the first and second photosensors. A solid-state imaging device, which has the same color order in the vertical direction of the color filters arranged corresponding to. 垂直方向にＮ（Ｎは自然数）画素周期で繰り返される複数の色フィルタを介した光が入射される、マトリクス状に配置され、ｍ（ｍは自然数）個の垂直方向に連なる第１のフォトセンサ群と、上記画素周期Ｎのａ倍（ａは自然数）の数からなる垂直方向に連なる第２のフォトセンサ群とが垂直方向に交互に配置されることによって構成された複数のフォトセンサの、上記第１のフォトセンサ群から読み出された電荷を第１の信号供給部から、垂直方向に連なるフォトセンサからの電荷を混合することなく転送する垂直転送部に転送し、上記第２のフォトセンサ群から読み出された電荷を第２の信号供給部から上記垂直転送部に転送するようにしたことを特徴とする固体撮像素子の制御方法。   First (first and second) m (m is a natural number) vertically arranged first photosensors are arranged in a matrix and receive light through a plurality of color filters that are repeated at N (N is a natural number) pixel periods in the vertical direction. A plurality of photosensors configured by alternately arranging in the vertical direction a group of second photosensor groups each having a number a times the pixel period N (a is a natural number), and The charge read from the first photosensor group is transferred from the first signal supply unit to a vertical transfer unit that transfers the charge from the photosensors connected in a vertical direction without mixing, and the second photosensor is used. A method for controlling a solid-state imaging device, wherein charges read from a sensor group are transferred from a second signal supply unit to the vertical transfer unit.

Images