JP2006050308A

JP2006050308A - Image pickup device

Info

Publication number: JP2006050308A
Application number: JP2004229254A
Authority: JP
Inventors: Shoji So; 昇司宋; Nobuyuki Yano; 修志矢野; Keisuke Okawa; 圭介大川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-08-05
Filing date: 2004-08-05
Publication date: 2006-02-16

Abstract

<P>PROBLEM TO BE SOLVED: To improve picture quality of a static image in simultaneous recording of a dynamic image and the static image and to record dynamic images simultaneously with little sense of inconsistency in front and back fields. <P>SOLUTION: The device is provided with: a solid-state imaging device with an electronic shutter function; an electronic shutter control means; an AGC means for adjusting gains of an output signal of the solid-state imaging device; an AGC gain control means for performing gain control of the AGC means; a noise reduction means; a means for controlling noise elimination level setting of the noise reduction means; and a first recording means for recording a dynamic image and a second recording means for recording a static image. When fetching an image whose dynamic image and static image are recorded simultaneously, an electronic shutter of the solid-state imaging device is set at higher speed than usual, and the AGC gain control and noise elimination level setting control of noise reduction are performed in accordance with setting of the electronic shutter. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、動画と静止画の同時記録機能を有する撮像装置に関するものである。 The present invention relates to an imaging apparatus having a function for simultaneously recording moving images and still images.

近年、ビデオカメラの機能の一つとして、動画と静止画の同時記録機能を有するものがでてきている。従来例として動画と静止画の同時記録時に所定の動作が為されると画質データの品質を上げて記録するもの（公開番号：特開平７−２８４０５８号）などが提案されている。
特開平７−２８４０５８号公報 In recent years, one of the functions of a video camera has a function of simultaneously recording a moving image and a still image. As a conventional example, there has been proposed a recording method in which the quality of image quality data is increased when a predetermined operation is performed during simultaneous recording of a moving image and a still image (publication number: JP-A-7-284058).
JP-A-7-284058

しかしながら、動画記録の場合、固体撮像素子の最適な露光時間が一定（ＮＴＳＣでは１フィールド期間が約１／６０であり、ＰＡＬでは１／５０秒）となっているため、動画と静止画記録の同時記録を実施すると被写体ブレや手ブレが発生しやすいという課題を有していた。特に、静止画においては露光時間の長さが原因で、ブレが目立ってしまうという問題があった。 However, in the case of moving image recording, the optimum exposure time of the solid-state image sensor is constant (one field period is about 1/60 in NTSC and 1/50 seconds in PAL). When simultaneous recording is performed, there is a problem that subject blur and camera shake are likely to occur. In particular, a still image has a problem that blurring is noticeable due to the length of exposure time.

電子シャッター機能を有する固体撮像素子と、電子シャッター制御手段と、前記固体撮像素子の出力信号のゲインを調整するＡＧＣ手段と、前記ＡＧＣ手段のゲイン制御をするＡＧＣゲイン制御手段と、ＮＲ（ノイズリダクション）手段と、前記ＮＲ（ノイズリダクション）手段のノイズ除去レベル設定を制御する手段と、動画を記録する第１の記録手段と静止画を記録する第２の記録手段を備え、
静止画と動画の同時記録する画像を取り込む時に前記固体撮像素子の電子シャッターを通常よりも高速に設定するとともに、前記電子シャッターの設定に応じて、前記ＡＧＣゲイン制御と前記ＮＲ（ノイズリダクション）のノイズ除去レベル設定制御を行うことを最も主要な特徴とする。 A solid-state imaging device having an electronic shutter function; an electronic shutter control unit; an AGC unit that adjusts a gain of an output signal of the solid-state imaging device; an AGC gain control unit that performs gain control of the AGC unit; and NR (noise reduction) ) Means, a means for controlling the noise removal level setting of the NR (noise reduction) means, a first recording means for recording a moving image, and a second recording means for recording a still image,
The electronic shutter of the solid-state imaging device is set at a higher speed than usual when capturing an image to be recorded simultaneously with a still image and a moving image, and the AGC gain control and the NR (noise reduction) are set according to the setting of the electronic shutter. The main feature is to perform noise removal level setting control.

本発明の撮像装置は、動画と静止画の同時記録する画像を取り込む時に固体撮像素子の電子シャッターを通常よりも高速に設定するとともに、前記電子シャッターの設定に応じて、ＡＧＣのゲイン制御を行い、かつＮＲ（ノイズリダクション）のノイズ除去設定を通常よりもノイズ除去レベルを強く制御するため、ブレとノイズの少ない静止画と前後の画像と輝度やノイズレベルで違和感のない動画を記録することができるという利点がある。 The imaging apparatus of the present invention sets the electronic shutter of the solid-state imaging device at a higher speed than usual when capturing an image to be recorded simultaneously with a moving image and a still image, and performs AGC gain control according to the setting of the electronic shutter. In addition, since the noise removal level of NR (Noise Reduction) is controlled more strongly than usual, it is possible to record still images with less blur and noise, and previous and subsequent images, and moving images that do not feel uncomfortable with brightness and noise levels. There is an advantage that you can.

本発明の請求項１に記載の発明は、動画を第１の記録媒体へ記録し、静止画を第２の記録媒体へ記録可能な撮像装置であって、電子シャッター機能を有する撮像手段と、前記撮像手段の出力信号のゲインを調整するゲイン調整手段と、前記ゲイン調整手段からの信号からノイズを除去するノイズ除去手段と、前記ノイズ除去手段からの信号を第１及び第２の記録手段へ記録する信号処理手段と、前記信号処理手段における映像信号に応じて前記撮像手段と前記ゲイン調整手段と前記ノイズ除去手段とを制御する制御手段とを備え、前記制御手段は、静止画と動画の同時記録する画像を取り込む際、前記撮像手段の電子シャッターを動画のみの撮影時よりも高速に設定するとともに、前記撮像手段における電子シャッターの設定に応じて、前記ゲイン制御と前記ノイズ除去手段のノイズ除去レベル設定制御を行うものである。 Invention of Claim 1 of this invention is an imaging device which can record a moving image on the 1st recording medium, and can record a still image on the 2nd recording medium, Comprising: The imaging means which has an electronic shutter function, Gain adjusting means for adjusting the gain of the output signal of the imaging means, noise removing means for removing noise from the signal from the gain adjusting means, and signals from the noise removing means to the first and second recording means Signal processing means for recording, and control means for controlling the imaging means, the gain adjusting means, and the noise removing means in accordance with a video signal in the signal processing means, wherein the control means When capturing an image to be recorded simultaneously, the electronic shutter of the imaging unit is set at a higher speed than when shooting only a moving image, and according to the setting of the electronic shutter in the imaging unit, And performs noise removal level setting control of the noise removal means and in control.

請求項２に記載の発明は、電子シャッター機能を有する固体撮像素子と、電子シャッター制御手段と、前記固体撮像素子の出力信号のゲインを調整するＡＧＣ手段と、前記ＡＧＣ手段のゲイン制御をするＡＧＣゲイン制御手段と、ＮＲ（ノイズリダクション）手段と、前記ＮＲ（ノイズリダクション）手段のノイズ除去レベル設定を制御する手段と、動画を記録する第１の記録手段と静止画を記録する第２の記録手段を備え、静止画と動画の同時記録する画像を取り込む時に前記固体撮像素子の電子シャッターを通常よりも高速に設定するとともに、前記電子シャッターの設定に応じて、前記ＡＧＣゲイン制御と前記ＮＲ（ノイズリダクション）のノイズ除去レベル設定制御を行うものである。 According to a second aspect of the present invention, there is provided a solid-state imaging device having an electronic shutter function, electronic shutter control means, AGC means for adjusting a gain of an output signal of the solid-state imaging element, and AGC for gain control of the AGC means. Gain control means, NR (noise reduction) means, means for controlling the noise removal level setting of the NR (noise reduction) means, first recording means for recording moving images, and second recording for recording still images Means for setting the electronic shutter of the solid-state imaging device at a higher speed than usual when capturing an image to be recorded simultaneously with a still image and a moving image, and according to the setting of the electronic shutter, the AGC gain control and the NR ( Noise reduction level setting control of (noise reduction) is performed.

請求項３に記載の発明は、静止画と動画の同時記録する時間のフィールドと１フィールド前との前記電子シャッター制御手段で設定した露光時間の比率だけ前記ＡＧＣ制御手段のゲイン設定値と前記ＮＲ（ノイズリダクション）のノイズ設定レベルの両方を大きくし、前記静止画と動画の同時記録する時間のフィールドに取り込んだ信号を制御するものである。 According to a third aspect of the present invention, the gain setting value of the AGC control means and the NR are equal to the ratio of the exposure time set by the electronic shutter control means between the field of time for simultaneous recording of still images and moving images and the previous field. Both the noise setting level of (Noise Reduction) is increased, and the signal captured in the time field for simultaneous recording of the still image and moving image is controlled.

請求項４に記載の発明は、静止画と動画の同時記録する１フィールド前の前記ＡＧＣゲイン制御手段のゲイン設定値が最大値の時、静止画と動画の同時記録する画像を取り込む場合の電子シャッターとＡＧＣゲイン制御とＮＲ（ノイズリダクション）のノイズ除去レベル設定制御を通常と同じとするものである。 According to a fourth aspect of the present invention, when a gain setting value of the AGC gain control means one field before the simultaneous recording of a still image and a moving image is a maximum value, an electronic image for capturing an image recorded simultaneously with the still image and the moving image is captured. The shutter, AGC gain control and NR (noise reduction) noise removal level setting control are the same as usual.

請求項５に記載の発明は、静止画と動画の同時記録するフィールドに設定する固体撮像素子の電子シャッターと通常動画記録時の電子シャッターの設定比が所定の値を超えた場合、静止画と動画の同時記録する画像を取り込む場合の電子シャッター制御とＡＧＣゲイン制御とＮＲ（ノイズリダクション）のノイズ除去レベル設定制御を通常と同じとするものである。 According to a fifth aspect of the present invention, when the setting ratio of the electronic shutter of the solid-state imaging device set in the field for recording a still image and a moving image simultaneously and the electronic shutter during normal moving image recording exceeds a predetermined value, The electronic shutter control, AGC gain control, and NR (noise reduction) noise removal level setting control when capturing an image to be recorded simultaneously with a moving image are made the same as usual.

請求項６に記載の発明は、静止画と動画の同時記録する画像を取り込む時に電子シャッターとＡＧＣゲイン制御を実施し、ＮＲ（ノイズリダクション）のノイズ除去レベル設定制御を通常と同じとするものである。 The invention described in claim 6 performs electronic shutter and AGC gain control when capturing an image to be recorded simultaneously with a still image and a moving image, and makes the noise removal level setting control of NR (noise reduction) the same as usual. is there.

これにより、動画と静止画の同時記録で高画質の静止画記録と通常記録と違和感のない動画記録の両立を実現した。 As a result, simultaneous recording of moving images and still images achieves both high-quality still image recording and normal recording as well as moving image recording without any discomfort.

（実施の形態１）
以下、この発明の一実施の形態について、図面を参照して説明する。 (Embodiment 1)
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図１は、本発明の一実施の形態である撮像装置を示すものである。図１において、０１はレンズなどを介して入射される光学信号を電気信号に変換する撮像手段である固体撮像素子で、露光時間を可変とする電子シャッター機能を有している。０２はＣＤＳ、０４はＣＤＳ０２からの映像信号の利得を制御する自動利得制御手段（以下、ＡＧＣと記す）、０５はＡＧＣ０４から出力されるアナログの映像信号をデジタル信号に変換するアナログデジタル変換手段であるＡＤコンバータ（以下、ＡＤＣと記す）、０６はＡＤＣ０５からのデジタル映像信号からノイズを除去するノイズ除去手段であるノイズリダクション手段（以下、ＮＲと記す）、０７はＮＲ０６からの入力信号（補色または原色データ）に対してホワイトバランス処理、γ補正、輝度信号および色差信号の作成、輪郭強調など一連のカメラ信号処理を施す映像信号処理手段、１０は映像信号処理手段０７の出力をＮＴＳＣやＰＡＬなどのテレビジョン方式で表示可能な画素数に変換して出力する画素数変換手段、１１は画素数変換手段１０の出力を第１の記録手段１２のフォーマットにあったＤＶ圧縮などに変換し第１の記録手段１２に記録するビデオ信号処理手段、１２はビデオ信号処理手段１１からの映像信号を記録媒体へ記録する第１の記録手段で、第１の記録手段で用いる記録媒体は、本実施の形態ではテープ状媒体としたが、記録媒体の種類としてはこれに限定されるものではない。１３は映像信号処理０７の出力を第２の記録手段のフォーマットにあった方式（例えばＪＰＥＧなど）に変換静止画信号処理手段、１４は静止画信号処理手段１３からの静止画信号を記録媒体へ記録する第２の記録手段で、第２の記録手段１４で用いる記録媒体は、本実施の形態ではメモリーカードなどの半導体メモリとしたが、記録媒体の種類はこれに限定されるものではない。本実施の形態では、映像信号処理手段０７と画素数変換手段１０とビデオ信号処理手段１１と第１の記録手段１２と静止画信号処理手段１３と第２の記録手段１４とで信号処理手段を構成している。 FIG. 1 shows an image pickup apparatus according to an embodiment of the present invention. In FIG. 1, reference numeral 01 denotes a solid-state image pickup device which is an image pickup means for converting an optical signal incident through a lens or the like into an electric signal, and has an electronic shutter function that makes the exposure time variable. 02 is CDS, 04 is automatic gain control means (hereinafter referred to as AGC) for controlling the gain of the video signal from CDS02, and 05 is analog-digital conversion means for converting the analog video signal output from AGC04 into a digital signal. A certain AD converter (hereinafter referred to as ADC), 06 is a noise reduction means (hereinafter referred to as NR) which is a noise removing means for removing noise from the digital video signal from the ADC 05, and 07 is an input signal (complementary color or NR06). Video signal processing means 10 for performing a series of camera signal processing such as white balance processing, γ correction, generation of luminance and color difference signals, contour enhancement, etc. on primary color data), 10 outputs the output of the video signal processing means 07 to NTSC, PAL, etc. A pixel number converting means for converting and outputting the number of pixels that can be displayed by the television system; The video signal processing means 12 converts the output of the pixel number conversion means 10 into DV compression or the like conforming to the format of the first recording means 12 and records it in the first recording means 12, and 12 denotes a video signal from the video signal processing means 11. The recording medium used in the first recording means is a tape-shaped medium in the present embodiment, but the type of the recording medium is not limited to this. . 13 converts the output of the video signal processing 07 into a method (for example, JPEG) suitable for the format of the second recording means, and 14 a still image signal processing means, and 14 a still image signal from the still image signal processing means 13 to the recording medium. The recording medium used by the second recording means 14 as the second recording means for recording is a semiconductor memory such as a memory card in this embodiment, but the type of the recording medium is not limited to this. In this embodiment, the video signal processing means 07, the pixel number conversion means 10, the video signal processing means 11, the first recording means 12, the still image signal processing means 13, and the second recording means 14 are used as signal processing means. It is composed.

０９はフィールド単位毎に映像信号処理手段０７の出力から所定の範囲の輝度信号の加算平均やピーク値を算出しシステムコンローラ０８に出力する検波手段、０８は検波手段０９の出力をもとにＡＧＣ０４の出力のレベルが目標値に合うようにＡＧＣ０４のゲインレベルを制御する制御手段であるシステムコントローラで、ＮＲ０６や同期信号発生手段０３の制御をも行っている。１５は静止画や動画の記録などの操作を行う操作手段で、ビデオカメラの場合、撮影ボタンなどに相当する。本実施の形態では、検波手段０９とシステムコントローラ０８と同期信号発生手段０３とで制御手段を構成してもよい。 09 is a detection means for calculating the addition average and peak value of luminance signals within a predetermined range from the output of the video signal processing means 07 for each field unit and outputting them to the system controller 08. 08 is based on the output of the detection means 09. The system controller, which is a control means for controlling the gain level of the AGC 04 so that the output level of the AGC 04 matches the target value, also controls the NR 06 and the synchronization signal generating means 03. Reference numeral 15 denotes operation means for performing operations such as recording of still images and moving images, and corresponds to a shooting button in the case of a video camera. In the present embodiment, the detection means 09, the system controller 08, and the synchronization signal generation means 03 may constitute a control means.

以上のように構成された本実施の形態の撮像装置について、以下その動作について説明する。 The operation of the imaging apparatus of the present embodiment configured as described above will be described below.

レンズ（図示せず）、絞り（図示せず）を通って入射した光は固体撮像素子０１で光電変換され、映像信号として出力される。固体撮像素子０１は、電子シャッター機能を有しており、同期信号発生手段０３によりシステムコントローラ０８の制御のもと固体撮像素子０１の露光時間を変えることができる。固体撮像素子０１の出力がＣＤＳ０２を経由してＡＧＣ０４に入力される。ＡＧＣ０４では、システムコントローラ０８の制御のもとゲイン調整された映像信号が出力され、ＡＤＣ０５でデジタル信号に変換される。ＡＤＣ０５の出力がＮＲ０６のノイズリダクション回路に入力される。ＮＲ０６は、システムコントローラ０８の制御のもとノイズ除去された映像信号を出力し、映像信号処理手段０７に入力される。映像信号処理手段０７は、入力信号（補色または原色データ）に対してホワイトバランス処理、γ補正、輝度信号および色差信号の作成、輪郭強調など一連のカメラ信号処理を施す。画素数変換手段１０は、映像信号処理手段０７の出力をＮＴＳＣやＰＡＬなどのテレビジョン方式で表示可能な画素数に変換して出力する。ビデオ信号処理手段１１は、画素数変換手段１０の出力を第１の記録手段１２のフォーマットにあったＤＶ圧縮などに変換し、第１の記録手段１２に記録する。静止画信号処理手段１３は、映像信号処理０７の出力を第２の記録手段のフォーマットにあったＪＰＥＧなどに変換し、第２の記録手段に記録する。検波手段０９は、フィールド単位毎に映像信号処理手段０７の出力から所定の範囲の輝度信号の加算平均やピーク値を算出しシステムコンローラ０７に出力する。システムコントローラ０８は検波手段０９の出力をもとにＡＧＣ０４の出力のレベルが目標値に合うようにＡＧＣ０４のゲインレベルを制御する。操作手段１５は、静止画や動画の記録などの操作を行うブロックである。 Light incident through a lens (not shown) and a diaphragm (not shown) is photoelectrically converted by the solid-state image sensor 01 and output as a video signal. The solid-state imaging device 01 has an electronic shutter function, and the exposure time of the solid-state imaging device 01 can be changed under the control of the system controller 08 by the synchronization signal generating unit 03. The output of the solid-state image sensor 01 is input to the AGC 04 via the CDS02. In the AGC 04, a video signal whose gain is adjusted under the control of the system controller 08 is output and converted into a digital signal by the ADC 05. The output of the ADC 05 is input to the noise reduction circuit of NR06. NR06 outputs a video signal from which noise has been removed under the control of the system controller 08, and is input to the video signal processing unit 07. The video signal processing means 07 performs a series of camera signal processing such as white balance processing, γ correction, generation of luminance and color difference signals, and edge enhancement on the input signal (complementary color or primary color data). The pixel number conversion means 10 converts the output of the video signal processing means 07 into the number of pixels that can be displayed by a television system such as NTSC or PAL, and outputs it. The video signal processing unit 11 converts the output of the pixel number conversion unit 10 into DV compression or the like conforming to the format of the first recording unit 12, and records it in the first recording unit 12. The still image signal processing means 13 converts the output of the video signal processing 07 into JPEG or the like conforming to the format of the second recording means, and records it in the second recording means. The detection unit 09 calculates the addition average and peak value of luminance signals within a predetermined range from the output of the video signal processing unit 07 for each field unit, and outputs them to the system controller 07. The system controller 08 controls the gain level of the AGC 04 based on the output of the detection means 09 so that the output level of the AGC 04 matches the target value. The operation means 15 is a block for performing operations such as recording of still images and moving images.

図２は、本発明の一実施の形態であるＮＴＳＣ方式の撮像装置において動画と静止画の同時記録する場合のタイミングチャートの一例を示したものである。図２の１０１は垂直同期信号ＶＤであり、１０２はＣＤＳ０２の出力であり、１０３は操作手段１５の静止画の同時記録指示を示す信号である。１０４は静止画同時記録フラグであり、１０５が固体撮像素子０１の電子シャッター設定であり、１０６が同時記録指示フラグであり、１０７がＡＧＣ０４とＮＲ０６の制御を切り替えるＡＧＣ補正フラグであり、１０８はＡＧＣ０４の出力信号である。 FIG. 2 shows an example of a timing chart in the case of simultaneously recording a moving image and a still image in the NTSC imaging device according to an embodiment of the present invention. In FIG. 2, 101 is a vertical synchronization signal VD, 102 is an output of CDS 02, and 103 is a signal indicating a simultaneous image recording instruction of the operation means 15. 104 is a still image simultaneous recording flag, 105 is an electronic shutter setting of the solid-state imaging device 01, 106 is a simultaneous recording instruction flag, 107 is an AGC correction flag for switching between control of AGC04 and NR06, and 108 is AGC04. Output signal.

図４は、本発明の一実施の形態である撮像装置において動画と静止画の同時記録する場合の固体撮像素子０１の電子シャッターとＡＧＣ０４に設定するゲインおよびＮＲ０６に設定するノイズレベル除去設定の制御に関するフローチャートである。 FIG. 4 shows the control of the electronic shutter of the solid-state imaging device 01, the gain set in the AGC 04, and the noise level removal setting set in the NR06 when the moving image and the still image are simultaneously recorded in the imaging apparatus according to the embodiment of the present invention. It is a flowchart regarding.

動画記録がスタートすると、初期設定処理として静止画同期記録指示フラグ１０４と同時記録指示フラグ１０６とＡＧＣ補正フラグ１０７がそれぞれ０に設定される（ステート２０２）。時刻Ｔ１で垂直同期信号ＶＤ１０１がＬからＨに変化するＶＤ割り込みが入ると検波器０９の出力からＡＧＣゲインＭを算出し（ステート２１０）、電子シャッターを通常動画の設定にするステート２１５に入り、ＮＴＳＣだと１／６０にＰＡＬだと１／５０に設定される。そして、ステート２１８、ステート２１９で時刻Ｔ１からＴ３の期間のＡＧＣゲインＭと電子シャッターが決定される。ＡＧＣ補正フラグ１０７がＬ（０）の場合、ＮＲのノイズ除去設定レベルも通常設定値を使用する。（図２では、ＮＴＳＣのタイミングチャートを記載しているため、固体撮像素子の電子シャッター設定１０５は１／６０と記載。）。 When the moving image recording is started, the still image synchronous recording instruction flag 104, the simultaneous recording instruction flag 106, and the AGC correction flag 107 are set to 0 as an initial setting process (state 202). When a VD interrupt occurs when the vertical synchronizing signal VD101 changes from L to H at time T1, the AGC gain M is calculated from the output of the detector 09 (state 210), and the state 215 for setting the electronic shutter to the normal moving image is entered. It is set to 1/60 for NTSC and 1/50 for PAL. Then, in the state 218 and the state 219, the AGC gain M and the electronic shutter during the period from the time T1 to the time T3 are determined. When the AGC correction flag 107 is L (0), the NR noise removal setting level also uses the normal setting value. (In FIG. 2, since the timing chart of NTSC is described, the electronic shutter setting 105 of the solid-state imaging device is described as 1/60.)

次に、時刻Ｔ２で静止画の同時記録指示１０３がＬからＨに変化するとステート２０４の条件が成立するため、静止画同時記録フラグ１０４がＨ（１）に設定される（ステート２０５）。 Next, when the still image simultaneous recording instruction 103 changes from L to H at time T2, the condition of the state 204 is satisfied, so the still image simultaneous recording flag 104 is set to H (1) (state 205).

そして時刻Ｔ３で垂直同期信号ＶＤ１０１がＬからＨに変化するＶＤ割り込みが入ると検波器０９の出力からＡＧＣゲインＭを算出し（ステート２１０）、ステート２１１の条件が満足するため、２１２で静止画同時記録フラグ１０４をＬ（０）に設定し、ステート２１３にてＡＧＣゲインが所定の値以上がどうか比較する。ステート２１３に記載されている所定の値とは通常ＡＧＣの補正係数ＫとＡＧＣゲインＭを乗算した値がＡＧＣ０４の制御範囲を超えないあらかじめ設定できる数値とする。図２では、ステート２１３の条件が成立しないの場合を記載しているため、ステート２１４で同時記録指示フラグ１０６をＨ（１）に設定し、電子シャッターの設定を１／Ｎ、ＡＧＣ補正係数Ｋを式１にて算出する。 At time T3, when a VD interrupt occurs when the vertical synchronization signal VD101 changes from L to H, the AGC gain M is calculated from the output of the detector 09 (state 210), and the condition of the state 211 is satisfied. The simultaneous recording flag 104 is set to L (0), and in state 213, it is compared whether the AGC gain is equal to or greater than a predetermined value. The predetermined value described in the state 213 is a numerical value that can be set in advance so that a value obtained by multiplying the normal AGC correction coefficient K and the AGC gain M does not exceed the control range of the AGC 04. FIG. 2 shows a case where the condition of the state 213 is not satisfied, so the simultaneous recording instruction flag 106 is set to H (1) in the state 214, the electronic shutter setting is 1 / N, and the AGC correction coefficient K. Is calculated by Equation 1.

Ｎ × Ｌ＝Ｋ・・・式１
（ＮＴＳＣの場合、Ｌ＝１／６０。ＰＡＬの場合、Ｌ＝１／５０）
ＡＧＣ補正フラグ１０７は０であるので、ステート２１８、ステート２１９で時刻Ｔ３からＴ４の期間のＡＧＣゲインＭと電子シャッター１／Ｎが決定される（図２では、Ｎ＝１００）。 N * L = K ... Formula 1
(In the case of NTSC, L = 1/60. In the case of PAL, L = 1/50)
Since the AGC correction flag 107 is 0, the AGC gain M and the electronic shutter 1 / N during the period from the time T3 to the time T4 are determined in the state 218 and the state 219 (N = 100 in FIG. 2).

時刻Ｔ４で垂直同期信号ＶＤ１０１がＬからＨに変化するＶＤ割り込みが入ると、ステート２０８の条件が成立するのでステート２０９でＡＧＣ補正フラグをＨ（１）に設定し、検波器０９の出力からＡＧＣゲインＭを算出する（ステート２１０）。そして、静止画同時記録フラグ１０４が０なので、ステート２１５で電子シャッターを通常動画の設定にするステート２１５に入り、ＮＴＳＣだと１／６０にＰＡＬだと１／５０に設定される。次にステート２１６の条件が成立するため、ステート２１７でＡＧＣゲインをステート２１０で算出したＭと時刻Ｔ３に算出したＡＧＣ補正係数Ｋの算出したＫの乗算した値を設定し、ＮＲ０６のノイズ除去レベル設定値も通常設定値にＡＧＣ補正係数Ｋをかけた値を設定する。また、ＡＧＣ補正フラグ１０７と同時記録指示フラグ１０６のそれぞれをＬ（０）とする。そしてステート２１９で時刻Ｔ４からＴ５の期間のＡＧＣゲインＭ×ＫとＮＲノイズ除去レベル、通常の動画時の電子シャッターが設定される。 When a VD interrupt occurs when the vertical synchronization signal VD101 changes from L to H at time T4, the condition of the state 208 is satisfied, so the AGC correction flag is set to H (1) in the state 209, and the AGC is detected from the output of the detector 09. The gain M is calculated (state 210). Since the still image simultaneous recording flag 104 is 0, the state enters the state 215 in which the electronic shutter is set to the normal moving image in the state 215. The NTSC is set to 1/60 and the PAL is set to 1/50. Next, since the condition of state 216 is satisfied, a value obtained by multiplying the AGC gain calculated in state 217 in state 217 by the calculated K of the AGC correction coefficient K calculated at time T3 is set, and the noise removal level of NR06 is set. As the set value, a value obtained by multiplying the normal set value by the AGC correction coefficient K is set. Further, each of the AGC correction flag 107 and the simultaneous recording instruction flag 106 is set to L (0). In the state 219, the AGC gain M × K and the NR noise removal level during the period from the time T4 to the time T5, and the electronic shutter during normal moving images are set.

時刻Ｔ５以降は、静止画同時期記録指示１０３がＬからＨに変化するまで、通常の動画と同じ制御を実施する。 After time T5, the same control as that of a normal moving image is performed until the still image simultaneous recording instruction 103 changes from L to H.

図３は、本発明の一実施の形態である撮像装置において動画と静止画の同時記録する場合のタイミングチャートの一例を示したものである。図３において、図２と同じ構成要素についは同じ符号を用い、説明を省略する。 FIG. 3 shows an example of a timing chart when a moving image and a still image are recorded simultaneously in the imaging apparatus according to the embodiment of the present invention. 3, the same components as those in FIG. 2 are denoted by the same reference numerals, and description thereof is omitted.

動画記録がスタートすると、初期設定処理として静止画同期記録指示フラグ１０４と同時記録指示フラグ１０６とＡＧＣ補正フラグ１０７がそれぞれ０に設定される（ステート２０２）。時刻Ｔ１で垂直同期信号ＶＤ１０１がＬからＨに変化するＶＤ割り込みが入ると検波器０９の出力からＡＧＣゲインＭを算出し（ステート２１０）、電子シャッターを通常動画の設定にするステート２１５に入り、ＮＴＳＣだと１／６０にＰＡＬだと１／５０に設定される。そして、ステート２１８、ステート２１９で時刻Ｔ１からＴ３の期間のＡＧＣゲインＭと電子シャッターが決定される。ＡＧＣ補正フラグ１０７がＬ（０）の場合、ＮＲのノイズ除去設定レベルも通常設定値を使用する（図２では、ＮＴＳＣのタイミングチャートを記載しているため、固体撮像素子の電子シャッター設定１０５は１／６０と記載）。 When the moving image recording is started, the still image synchronous recording instruction flag 104, the simultaneous recording instruction flag 106, and the AGC correction flag 107 are set to 0 as an initial setting process (state 202). When a VD interrupt occurs when the vertical synchronizing signal VD101 changes from L to H at time T1, the AGC gain M is calculated from the output of the detector 09 (state 210), and the state 215 for setting the electronic shutter to the normal moving image is entered. It is set to 1/60 for NTSC and 1/50 for PAL. Then, in the state 218 and the state 219, the AGC gain M and the electronic shutter during the period from the time T1 to the time T3 are determined. When the AGC correction flag 107 is L (0), the NR noise removal setting level also uses a normal setting value (in FIG. 2, since the NTSC timing chart is described, the electronic shutter setting 105 of the solid-state image sensor is 1/60).

そして時刻Ｔ３で垂直同期信号ＶＤ１０１がＬからＨに変化するＶＤ割り込みが入ると検波器０９の出力からＡＧＣゲインＭを算出し（ステート２１０）、ステート２１１、２１２で静止画同時記録フラグ１０４をＬ（０）に設定し、ステート２１３にてＡＧＣゲインが所定の値以上がどうか比較する。ステート２１３に記載されている所定の値とは通常ＡＧＣの補正係数ＫとＡＧＣゲインＭを乗算した値がＡＧＣ０４の制御範囲を超えないあらかじめ設定できる数値とする。図３では、ステート２１３の条件を満足する場合を記載しているため、通常のステート２１５で電子シャッターを通常動画の設定にするステート２１５に入り、ＡＧＣ補正フラグ１０７は０であるので、ステート２１８、ステート２１９で時刻Ｔ３からＴ４の期間のＡＧＣゲインＭと電子シャッターの設定はステート２１５でＮＴＳＣだと１／６０にＰＡＬだと１／５０に設定される。 At time T3, when a VD interrupt occurs in which the vertical synchronization signal VD101 changes from L to H, the AGC gain M is calculated from the output of the detector 09 (state 210), and the still image simultaneous recording flag 104 is set to L in states 211 and 212. Set to (0), and in state 213, the AGC gain is compared for a predetermined value or more. The predetermined value described in the state 213 is a numerical value that can be set in advance so that a value obtained by multiplying the normal AGC correction coefficient K and the AGC gain M does not exceed the control range of the AGC 04. In FIG. 3, since the case where the condition of the state 213 is satisfied is described, the state 215 is entered in which the electronic shutter is set to the normal moving image in the normal state 215, and the AGC correction flag 107 is 0. In the state 219, the AGC gain M and the electronic shutter setting during the period from the time T3 to the time T4 are set to 1/60 for NTSC and 1/50 for PAL in the state 215.

時刻Ｔ４で垂直同期信号ＶＤ１０１がＬからＨに変化するＶＤ割り込みが入ると、ステート２０８の条件が成立しないため静止画同時期記録指示１０３がＬからＨに変化するまで、通常の動画と同じ制御を実施する。 When a VD interrupt is entered that causes the vertical synchronization signal VD101 to change from L to H at time T4, the condition of the state 208 is not satisfied, and thus the same control as that of a normal moving image is performed until the still image simultaneous recording instruction 103 changes from L to H. To implement.

このように動画と静止画の同時記録時に固体撮像素子０１の電子シャッターとＡＧＣ０５およびＮＲ０６の制御を連動させることにより、ブレとノイズの少ない静止画と前後の画像と輝度やノイズレベルで違和感のない動画を記録することができるという利点がある。 As described above, when the moving image and the still image are simultaneously recorded, the electronic shutter of the solid-state imaging device 01 and the control of the AGC 05 and NR06 are interlocked so that there is no sense of incongruity between the still image with less blur and noise, the previous and subsequent images, the brightness and the noise level There is an advantage that a moving image can be recorded.

なお、同時記録時の電子シャッター設定を１／１００としたが、ＡＧＣのゲイン設定で出力の信号レベルが補正可能な範囲でより高速側に設定してよい。また、ＮＲ０６は、映像信号処理手段０７の後段に配置してもかまわない。 Although the electronic shutter setting at the time of simultaneous recording is set to 1/100, it may be set to a higher speed as long as the output signal level can be corrected by the AGC gain setting. Further, NR06 may be arranged at the subsequent stage of the video signal processing means 07.

本発明にかかる撮像装置は、動画と静止画の同時記録する画像を取り込む時に固体撮像素子の電子シャッターを通常よりも高速に設定するとともに、前記電子シャッターの設定に応じて、ＡＧＣのゲイン制御とＮＲ（ノイズリダクション）のノイズ除去レベル設定制御を行うため、ブレとノイズの少ない静止画と前後の画像と輝度やノイズレベルで違和感のない動画を記録することができる。 An image pickup apparatus according to the present invention sets an electronic shutter of a solid-state image pickup device at a higher speed than usual when capturing an image to be recorded simultaneously with a moving image and a still image, and performs AGC gain control according to the setting of the electronic shutter. Since the noise removal level setting control of NR (noise reduction) is performed, a still image with less blur and noise, a front and back image, and a moving image having no sense of incongruity in luminance and noise level can be recorded.

本発明の実施の形態１に於ける撮像装置の構成を示したブロック図1 is a block diagram showing a configuration of an imaging device according to Embodiment 1 of the present invention. 本発明の実施の形態１に於ける同時記録時した場合のタイミングチャートTiming chart for simultaneous recording in Embodiment 1 of the present invention 本発明の一実施の形態である撮像装置において動画と静止画の同時記録する場合のタイミングチャートTiming chart in the case of simultaneously recording a moving image and a still image in the imaging apparatus according to an embodiment of the present invention 本発明の一実施の形態である撮像装置において動画と静止画の同時記録する場合の固体撮像素子の電子シャッターとＡＧＣに設定するゲインおよびＮＲに設定するノイズレベル除去設定の制御に関するフローチャートFlowchart relating to control of noise level removal setting to be set to electronic shutter and AGC of solid-state image sensor and gain and NR when simultaneously recording moving image and still image in imaging apparatus according to one embodiment of the present invention

符号の説明Explanation of symbols

０１固体撮像素子
０２ＣＤＳ
０３同期信号発生手段
０４ＡＧＣ
０５ＡＤＣ
０６ＮＲ
０７映像信号処理手段
０８システムコントローラ
０９検波手段
１０画素数変換手段
１１ビデオ信号処理手段
１２第１の記録手段
１３静止画信号処理手段
１４第２の記録手段
１５操作手段 01 Solid-state image sensor 02 CDS
03 Synchronization signal generating means 04 AGC
05 ADC
06 NR
07 Video signal processing means 08 System controller 09 Detection means 10 Pixel number conversion means 11 Video signal processing means 12 First recording means 13 Still image signal processing means 14 Second recording means 15 Operating means

Claims

動画を第１の記録媒体へ記録し、静止画を第２の記録媒体へ記録可能な撮像装置であって、
電子シャッター機能を有する撮像手段と、前記撮像手段の出力信号のゲインを調整するゲイン調整手段と、前記ゲイン調整手段からの信号からノイズを除去するノイズ除去手段と、前記ノイズ除去手段からの信号を第１及び第２の記録手段へ記録する信号処理手段と、前記信号処理手段における映像信号に応じて前記撮像手段と前記ゲイン調整手段と前記ノイズ除去手段とを制御する制御手段とを備え、
前記制御手段は、静止画と動画の同時記録する画像を取り込む際、前記撮像手段の電子シャッターを動画のみの撮影時よりも高速に設定するとともに、前記撮像手段における電子シャッターの設定に応じて、前記ゲイン制御と前記ノイズ除去手段のノイズ除去レベル設定制御を行うことを特徴とする撮像装置。 An imaging device capable of recording a moving image on a first recording medium and recording a still image on a second recording medium,
An image pickup means having an electronic shutter function, a gain adjustment means for adjusting the gain of the output signal of the image pickup means, a noise removal means for removing noise from the signal from the gain adjustment means, and a signal from the noise removal means Signal processing means for recording on the first and second recording means, and control means for controlling the imaging means, the gain adjusting means, and the noise removing means according to the video signal in the signal processing means,
The control unit sets the electronic shutter of the imaging unit at a higher speed than the time of shooting only the moving image when capturing an image to be recorded simultaneously with a still image and a moving image, and according to the setting of the electronic shutter in the imaging unit, An image pickup apparatus that performs gain control and noise removal level setting control of the noise removal means.

電子シャッター機能を有する固体撮像素子と、電子シャッター制御手段と、前記固体撮像素子の出力信号のゲインを調整するＡＧＣ手段と、前記ＡＧＣ手段のゲイン制御をするＡＧＣゲイン制御手段と、ノイズ除去手段と、前記ノイズ除去手段のノイズ除去レベル設定を制御する手段と、動画を記録する第１の記録手段と静止画を記録する第２の記録手段を備え、
静止画と動画の同時記録する画像を取り込む時に前記固体撮像素子の電子シャッターを通常よりも高速に設定するとともに、前記電子シャッターの設定に応じて、前記ＡＧＣゲイン制御と前記ノイズ除去手段のノイズ除去レベル設定制御を行うことを特徴とする撮像装置。 A solid-state imaging device having an electronic shutter function; an electronic shutter control unit; an AGC unit that adjusts a gain of an output signal of the solid-state imaging device; an AGC gain control unit that performs gain control of the AGC unit; and a noise removal unit; A means for controlling a noise removal level setting of the noise removing means, a first recording means for recording a moving image, and a second recording means for recording a still image,
The electronic shutter of the solid-state image sensor is set at a higher speed than usual when capturing an image to be recorded simultaneously with a still image and a moving image, and the AGC gain control and noise removal of the noise removing means are performed according to the setting of the electronic shutter. An imaging apparatus characterized by performing level setting control.

静止画と動画の同時記録する時間のフィールドと１フィールド前との前記電子シャッター制御手段で設定した露光時間の比率だけ前記ＡＧＣ制御手段のゲイン設定値と前記ノイズ除去手段のノイズ設定レベルの両方を大きくし、前記静止画と動画の同時記録する時間のフィールドに取り込んだ信号を制御する請求項２に記載の撮像装置。 Both the gain setting value of the AGC control unit and the noise setting level of the noise removing unit are set by the ratio of the exposure time set by the electronic shutter control unit between the field of time for simultaneous recording of still images and moving images and the previous field. The image pickup apparatus according to claim 2, wherein the image capturing apparatus controls a signal captured in a field of time for simultaneously recording the still image and the moving image.

静止画と動画の同時記録する１フィールド前の前記ＡＧＣゲイン制御手段のゲイン設定値が最大値の時、静止画と動画の同時記録する画像を取り込む場合の電子シャッターとＡＧＣゲイン制御とノイズ除去手段のノイズ除去レベル設定制御を通常と同じとする請求項３に記載の撮像装置。 Electronic shutter, AGC gain control, and noise removal means for capturing an image to be recorded simultaneously with a still image and a moving image when the gain setting value of the AGC gain control means one field before the simultaneous recording of the still image and the moving image is the maximum value The image pickup apparatus according to claim 3, wherein the noise removal level setting control is the same as normal.

静止画と動画の同時記録するフィールドに設定する固体撮像素子の電子シャッターと通常動画記録時の電子シャッターの設定比が所定の値を超えた場合、静止画と動画の同時記録する画像を取り込む場合の電子シャッター制御とＡＧＣゲイン制御とノイズ除去手段のノイズ除去レベル設定制御を通常と同じとする請求項３に記載の撮像装置。 When the setting ratio of the electronic shutter of the solid-state image sensor set in the field for recording still images and moving images at the same time and the electronic shutter during normal moving image recording exceeds the specified value, when capturing images for recording still images and moving images simultaneously The image pickup apparatus according to claim 3, wherein the electronic shutter control, AGC gain control, and noise removal level setting control of the noise removal unit are the same as usual.

静止画と動画の同時記録する画像を取り込む時に電子シャッターとＡＧＣゲイン制御を実施し、ノイズ除去手段のノイズ除去レベル設定制御を通常と同じとする請求項３に記載の撮像装置。 The image pickup apparatus according to claim 3, wherein electronic shutter and AGC gain control is performed when capturing an image to be recorded simultaneously with a still image and a moving image, and the noise removal level setting control of the noise removal means is the same as normal.