JP2014236251A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2014236251A JP2014236251A JP2013114756A JP2013114756A JP2014236251A JP 2014236251 A JP2014236251 A JP 2014236251A JP 2013114756 A JP2013114756 A JP 2013114756A JP 2013114756 A JP2013114756 A JP 2013114756A JP 2014236251 A JP2014236251 A JP 2014236251A
- Authority
- JP
- Japan
- Prior art keywords
- image
- shooting
- exposure
- still image
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関し、動画撮影中に、動画の撮影と同時に静止画の撮影を行う事が可能な撮像装置に関するものである。 The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus capable of shooting a still image simultaneously with shooting of a moving image during shooting of the moving image.
デジタルカメラやデジタルビデオカメラなどの撮影システムには、静止画撮影を行う機能と、動画撮影を行う機能との両方を有している物が普及している。 2. Description of the Related Art An imaging system such as a digital camera or a digital video camera is widely used that has both a function for taking a still image and a function for taking a moving image.
動画撮影には、高フレームレートと近年の高解像度の映像システムにマッチする解像度(例えば、1920×1080サイズ、60フレーム毎秒)が求められる。静止画撮影には、動画撮影に比べてより高解像度の画像が求められる。 For moving image shooting, a high frame rate and a resolution (for example, 1920 × 1080 size, 60 frames per second) that matches a recent high-resolution video system are required. Still image shooting requires a higher resolution image than moving image shooting.
動画の撮影を行っている間に、任意の時点で静止画の撮影を行い、動画像と静止画像の両方の撮影を行いたいという要望がある。特許文献１によると、動画撮影中において、動画の撮影と同時に高解像度の静止画を撮影する事を可能とする撮影装置が提案されている。 There is a desire to shoot a still image at an arbitrary time point while shooting a moving image, and to shoot both a moving image and a still image. According to Japanese Patent Application Laid-Open No. 2004-133260, a photographing apparatus that can photograph a high-resolution still image simultaneously with photographing of a moving image is proposed.
しかしながら、上記特許文献１においては、動画の複数フレームから静止画を構成するように構成されているため、静止画を構成する最初のフレームと最後のフレーム間にフレーム数分の時間差があり、手ぶれや被写体ぶれの影響を受けやすくなる。動画記録中に静止画撮影を行う場合に、手ぶれ、被写体ぶれを低減するため、静止画に使用される複数の画像の取得に必要な時間差を短縮する必要がある。動画記録中に静止画撮影の場合のみ、露光時間を短くすると、1フレームにあたる画像を撮影に要する時間が短くなり、同じ時間の間に複数の画像を取得する事ができる。 However, in the above-mentioned Patent Document 1, since a still image is configured from a plurality of frames of a moving image, there is a time difference corresponding to the number of frames between the first frame and the last frame forming the still image, and camera shake is not possible. And subject blurring. When taking a still image while recording a moving image, it is necessary to reduce the time difference required to acquire a plurality of images used for the still image in order to reduce camera shake and subject shake. Only in the case of still image shooting during moving image recording, if the exposure time is shortened, the time required for shooting an image corresponding to one frame is shortened, and a plurality of images can be acquired during the same time.
しかし、それに伴って、露光時間が短くなるため、撮像素子の電荷の蓄積時間が短くなって画像全体が暗くなり、動画記録中に静止画を記録可能となるが、記録される動画の輝度が不連続となり、違和感を与えてしまう。 However, since the exposure time is shortened accordingly, the charge accumulation time of the image sensor is shortened and the entire image becomes dark, and still images can be recorded during moving image recording. It becomes discontinuous and gives a sense of incongruity.
そこで、本発明の目的は、動画撮影中に静止画撮影を行う場合に、記録される動画に違和感を与える事を低減し、動画の記録と静止画の記録を行う事が可能な撮像装置を提供することである。 Therefore, an object of the present invention is to provide an imaging device capable of reducing the feeling of strangeness in a recorded moving image when performing still image shooting during moving image shooting, and recording a moving image and recording a still image. Is to provide.
上記目的を達成するために、本発明は、受光面に結像した画素信号を読み出し可能な撮像素子と、前記撮像素子を複数の駆動方式で駆動して画素信号を読み出す事が可能な撮像駆動部と、前記撮像素子から読み出した画素信号を受けて、動画と静止画に利用可能な画像信号を生成する撮像処理部と、第一の露光時間で前記撮像素子 の複数の画素を複数のフィールドに分割して特定の１フィールドから画素信号を読み出す事が 可能な第一の駆動モードと、第二の露光時間で前記撮像素子 の複数の画素を複数のフィールドに分割して１フィールドずつ順次画素信号を読み出す事が 可能な第二の駆動モードを有していて、前記撮像駆動部を制御して、駆動モードと動画撮影中の露光時間を制御する制御部と、動画撮影中に静止画の撮影を指示する撮影指示部と、前記第一の駆動モードで動画撮影中の露出から、前記第二の駆動モードで動画中静止画撮影に切り替えた場合の露出を予測する露出予測部と、を備えた撮像装置において、前記第一の駆動モードに応じて前記撮像駆動部を制御し、前記撮像素子を前記第一の駆動モードにより駆動する動画撮影の際に、前記撮影指示部により静止画撮影の指示を受けた場合に、前記第二の駆動モードに前記撮像駆動部の駆動を切り替えて、前記撮像素子を前記第二の駆動モードに応じて前記撮像駆動部を制御して撮影を行い、前記撮像素子の複数の画素を複数のフィールドに分割して１フィールドずつ順次画素信号を読み出す事で取得した画像から動画と静止画に使用する画像を生成し、動画撮影から動画中静止画撮影への切り替えを行うフレームの撮影において、動画撮影中の露出から前記露出予測値に従って露出の切り替えを行う事を特徴とする。 In order to achieve the above object, the present invention provides an image pickup device that can read out a pixel signal imaged on a light receiving surface, and an image pickup drive that can read out the pixel signal by driving the image pickup device with a plurality of driving methods. An image processing unit that receives pixel signals read from the image sensor and generates image signals that can be used for moving images and still images; and a plurality of pixels of the image sensor in a first exposure time A first driving mode that can read out pixel signals from a specific field and a plurality of pixels of the image sensor in a second exposure time, and sequentially divides the pixels one by one A second drive mode capable of reading a signal, controlling the imaging drive unit to control the drive mode and the exposure time during moving image shooting, and a still image during moving image shooting. Direct shooting An imaging instruction unit, and an exposure prediction unit that predicts exposure when switching from exposure during moving image shooting in the first drive mode to still image shooting during moving image in the second drive mode. In the apparatus, the image capturing drive unit is controlled in accordance with the first drive mode, and a still image capturing instruction is issued by the image capturing instructing unit during moving image capturing in which the image sensor is driven in the first drive mode. When received, the drive of the imaging drive unit is switched to the second drive mode, the imaging device is controlled to control the imaging drive unit according to the second drive mode, and shooting is performed. By splitting multiple pixels into multiple fields and sequentially reading out the pixel signals one field at a time, the images used for moving images and still images are generated from the acquired images, and switching from moving image shooting to still image shooting during moving images is performed. To do In shooting a frame, the exposure is switched according to the predicted exposure value from the exposure during moving image shooting.
本発明によれば、動画記録中に動画より大きいサイズの静止画を記録するために、露光時間を動画記録中よりも短くして、撮像素子からの読み出し方の異なる複数の画像取得を行う場合に、違和感のある動画となる事を低減する撮像装置を提供することができる。 According to the present invention, in order to record a still image larger than a moving image during moving image recording, the exposure time is shorter than during moving image recording, and a plurality of images obtained by different ways of reading from the image sensor are acquired. In addition, it is possible to provide an imaging apparatus that reduces the occurrence of a strange moving image.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。 Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
［実施例１］
図１は、本発明の実施形態を説明するための撮像装置の概略図である。
[Example 1]
FIG. 1 is a schematic diagram of an imaging apparatus for explaining an embodiment of the present invention.
先ず、図１における電子カメラ１００の電気的構成について説明する。電子カメラ１００の内部では、システム制御部１１０、撮像処理部１０５、ＤＲＡＭ１１３、ＲＯＭ１１４、表示制御部１１５、デジタル信号処理部１１７、圧縮／伸張処理部１１８、外部メモリ制御部１１９、操作部１２１がいずれもバス１２２に接続されており、これらの間ではシステム制御部によるバス１２２の管理の下で相互にデータの授受を行うことができる。システム制御部１１０はこの電子カメラ１００全体の動作制御を行う処理装置である。撮影レンズ１０１は被写体像を絞り部１０２、シャッタ部１０３を通じて撮像素子１０４の受光面に結像させる。撮像素子１０４の受光面に結像されている被写体像は光電変換され、光電変換素子毎に電荷が蓄積される。撮像素子駆動部１０９は撮像素子１０４を制御する読み出しパルスを出力でき、各光電素子に蓄積された電荷をアナログ信号として出力する。 First, the electrical configuration of the electronic camera 100 in FIG. 1 will be described. Inside the electronic camera 100, the system control unit 110, the imaging processing unit 105, the DRAM 113, the ROM 114, the display control unit 115, the digital signal processing unit 117, the compression / decompression processing unit 118, the external memory control unit 119, and the operation unit 121 Are connected to the bus 122, and data can be exchanged between them under the management of the bus 122 by the system control unit. The system control unit 110 is a processing device that controls the operation of the entire electronic camera 100. The photographic lens 101 forms a subject image on the light receiving surface of the image sensor 104 through the diaphragm unit 102 and the shutter unit 103. The subject image formed on the light receiving surface of the image sensor 104 is photoelectrically converted, and electric charges are accumulated for each photoelectric converter. The image sensor driving unit 109 can output a readout pulse for controlling the image sensor 104, and outputs the electric charge accumulated in each photoelectric element as an analog signal.
撮像素子１０９は撮像素子１０４の全ての光電素子から電荷を読み出す事や、特定の行、列の光電素子からだけ電荷を読み出すように制御する事が可能である。撮像素子１０４から出力されたアナログ信号は、撮像処理部１０５に入力される。撮像処理部１０５は、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）、ＡＧＣ（Automatic Gain Control：自動利得制御回路）、及びアナログ／デジタル変換回路などを含んで構成され、システム制御部の制御の下に、撮像素子１０４から出力されたアナログ信号に含まれるリセット雑音の除去や信号レベルの調節等を行い、これらの処理が行なわれた後のアナログ信号をデジタルデータに変換する。 The image sensor 109 can read out charges from all the photoelectric elements of the image sensor 104 or can control to read out charges only from photoelectric elements in a specific row and column. An analog signal output from the image sensor 104 is input to the imaging processing unit 105. The imaging processing unit 105 includes a CDS (Correlated Double Sampling), an AGC (Automatic Gain Control), an analog / digital conversion circuit, and the like. Below, reset noise included in the analog signal output from the image sensor 104 is removed, the signal level is adjusted, and the like, and the analog signal after these processes are converted into digital data.
この撮像処理部１０５から出力される、被写体の画像を表現しているデジタルデータを、以降「撮影画像」と称することとする。ＤＲＡＭ（Dynamic Random Access Memory）１１３は、撮像処理部１０５から出力された撮影画像やデジタル信号処理部１１７や圧縮伸張処理部１１８による画像処理が施された撮影画像等を一時的に蓄えるバッファメモリとして使用される他、システム制御部による各種処理のための作業用の記憶領域としても使用されるメモリである。デジタル信号処理部１１７は、システム制御部１１０による指示に基づき、撮像処理部１０５から出力される撮影画像に施されるγ補正やホワイトバランス等の画像補正処理を施す。 The digital data representing the image of the subject output from the imaging processing unit 105 is hereinafter referred to as “captured image”. A DRAM (Dynamic Random Access Memory) 113 is a buffer memory that temporarily stores captured images output from the imaging processing unit 105, captured images subjected to image processing by the digital signal processing unit 117 and the compression / decompression processing unit 118, and the like. In addition to being used, the memory is also used as a working storage area for various processes by the system control unit. The digital signal processing unit 117 performs image correction processing such as γ correction and white balance applied to the captured image output from the imaging processing unit 105 based on an instruction from the system control unit 110.
圧縮／伸張処理部１１８はデジタル信号処理部１１７において画像補正処理を施された撮影画像に画像の記録・再生のための画像圧縮伸張処理などの各種処理を施す。尚、画像データの圧縮・伸張処理では、例えばＪＰＥＧ（Joint Photographic Experts Group）方式に沿った伸張処理及び圧縮処理等が行われる。ＲＯＭ１１４には、システム制御部１１０にこの電子カメラ１００全体の動作制御を行わせるための制御プログラムが予め格納されている。システム制御部１１０は、ＲＯＭ１１４に格納された制御プログラムを読み出して実行することによって、この電子カメラ全体の動作制御を行う。 The compression / decompression processing unit 118 performs various processes such as an image compression / decompression process for recording / reproducing an image on the photographed image subjected to the image correction process in the digital signal processing unit 117. In the compression / decompression processing of image data, for example, decompression processing and compression processing according to a JPEG (Joint Photographic Experts Group) system is performed. The ROM 114 stores in advance a control program for causing the system control unit 110 to control the operation of the entire electronic camera 100. The system control unit 110 reads out and executes the control program stored in the ROM 114, thereby controlling the operation of the entire electronic camera.
外部メモリ制御部１１９は画像データを格納する外部メモリ１２０を制御する制御部であり、外部メモリ１２０はこの電子カメラ１００から着脱可能である。デジタル信号処理部１１７と圧縮伸張処理部１１８を経て画像処理が施され、外部メモリ１２０に記録される状態となった撮影画像を、以降「記録画像」と称することとする。表示制御部１１５は表示部１１６を駆動してバス１２２を介して送られてきた画像データで表現されている画像を表示部１１６に表示させる。表示部１１６は、画像を表示する、例えば液晶モニタである。 The external memory control unit 119 is a control unit that controls the external memory 120 that stores image data, and the external memory 120 is detachable from the electronic camera 100. A captured image that has been subjected to image processing through the digital signal processing unit 117 and the compression / decompression processing unit 118 and recorded in the external memory 120 is hereinafter referred to as a “recorded image”. The display control unit 115 drives the display unit 116 to cause the display unit 116 to display an image expressed by image data sent via the bus 122. The display unit 116 is, for example, a liquid crystal monitor that displays an image.
操作部１２１はユーザによって操作される各種キー、スイッチ、ボタン等を備えて構成される。システム制御部１１０は操作部１２１に対してなされた操作の内容を取得し、その内容に対応するユーザからの指示を受け取る。例えば、操作部１２１の１つであるレリーズボタンをユーザが押下した場合に、システム制御部１１０はその操作を検出し、撮影動作の指示を各駆動部、処理部へ行う。電源部１２４は電源制御部１２３の制御に基づいて電子カメラ１００の各部に所定の電圧に安定化された電力を供給する。電池１２５はこの電子カメラ１００の電源となる電池であり、例えば、アルカリマンガン電池などといった一次電池や、ニッケル水素電池、リチウムイオン電池などといった充電可能な二次電池を用いる場合がある。 The operation unit 121 includes various keys, switches, buttons, and the like operated by the user. The system control unit 110 acquires the content of the operation performed on the operation unit 121 and receives an instruction from the user corresponding to the content. For example, when the user presses a release button that is one of the operation units 121, the system control unit 110 detects the operation, and gives an instruction for a shooting operation to each drive unit and processing unit. The power supply unit 124 supplies power stabilized to a predetermined voltage to each unit of the electronic camera 100 based on the control of the power supply control unit 123. The battery 125 is a battery serving as a power source for the electronic camera 100. For example, a primary battery such as an alkaline manganese battery or a rechargeable secondary battery such as a nickel metal hydride battery or a lithium ion battery may be used.
動画中静止画露出予測部１２６は、動画記録中の露光時間、ゲイン設定などを監視しており、動画記録中に静止画撮影を行う場合に、静止画、動画が共に適正な露出になる露光時間、ゲイン設定を予測するために用いられる。動画として記録中の現在の露光時間とゲイン設定から動画記録中に静止画を撮影する際に露光時間が短くなると判断された場合に、適性露出となるように、露光時間の切り替わり前後で撮影画像の露出の変化を低減できるゲイン設定を予測するのに用いる。 The moving image still image exposure prediction unit 126 monitors the exposure time, gain setting, and the like during moving image recording. When a still image is shot during moving image recording, both the still image and the moving image are exposed appropriately. Used to predict time and gain settings. If the exposure time is determined to be short when shooting a still image during video recording from the current exposure time and gain settings during video recording, the images taken before and after the exposure time switch so that the appropriate exposure is obtained. Used to predict a gain setting that can reduce changes in exposure.
ここで求める露出は、撮影画像全体の平均の輝度や合焦位置、主被写体の輝度など、撮影する被写体に応じて適切な物を選択しても良い。動画記録中の静止画撮影を行う場合に、複数枚の撮影画像から静止画を生成する場合に、手ぶれや被写体ぶれの影響を低減するため、複数枚の撮影画像を取得するのに掛かる時間を動画記録中よりも高速に取得する事が望ましい。例として、1フレーム1/60秒の周期で動画記録を行い、その1フレームの露光時間が1/60秒の時に、動画記録中に静止画を撮影する場合に、1フレーム時間での取得撮影画像の枚数を増やすために、露光時間を1/2の時間の1/120秒に短縮する場合について、説明する。 For the exposure to be obtained here, an appropriate object may be selected according to the subject to be photographed, such as the average brightness and focus position of the entire photographed image, and the brightness of the main subject. When taking a still image while recording a movie, in order to reduce the effects of camera shake and subject blur when generating a still image from multiple shot images, it takes time to acquire multiple shot images. It is desirable to acquire it faster than during video recording. As an example, if you record a movie with a period of 1/60 seconds per frame, and if you want to shoot a still image while recording a movie when the exposure time of that frame is 1/60 seconds, you can acquire and capture at 1 frame time. A case where the exposure time is shortened to 1/120 second of 1/2 time in order to increase the number of images will be described.
露光時間を1/120秒以下に抑えた場合に、動画記録中の1フレームの時間で、露光時間1/60秒に比べて2倍の2枚の撮影画像を取得できる。動画記録中の１フレームの露光時間は1/60秒のため、動画記録中に静止画撮影の露光時間が1/120秒となるような場合、露光時間の減少分のゲイン設定の上昇値を演算して予測する。このゲイン設定の予測値を露出予測値と以下で呼称する。また、例えば、動画記録中の露光時間が1/200秒であり、動画記録中の静止画撮影を行う場合の露光時間が確保できる最大値が1/120秒であれば、動画記録中の静止画撮影の露光時間は1/200で良く、ゲイン設定も変更の必要がない。そのため、ゲイン設定の上昇値を演算して予測する必要はない。 When the exposure time is suppressed to 1/120 seconds or less, it is possible to obtain two shot images in one frame time during moving image recording, which is twice as long as the exposure time 1/60 seconds. Since the exposure time for one frame during movie recording is 1/60 second, if the exposure time for still image shooting is 1/120 second during movie recording, increase the gain setting to reduce the exposure time. Calculate and predict. This gain setting prediction value will be referred to as an exposure prediction value hereinafter. Also, for example, if the exposure time during movie recording is 1/200 sec and the maximum value that can be secured when taking a still image during movie recording is 1/120 sec. The exposure time for image shooting is 1/200, and there is no need to change the gain setting. Therefore, it is not necessary to calculate and predict the gain setting increase value.
また、動画記録中に静止画を撮影する場合には、露光時間と動画1フレーム時間内に取得する撮影画像の取得枚数を変更した場合においても、同じフレームの周期（例えば、1フレーム1/60秒周期）で撮影した画像を動画として記録する必要がある。そのため、1フレーム1/60秒の周期で動画記録を行っている場合、動画記録2フレーム中の時間1/30の間に動画記録中の静止画を形成する画像を3枚取得する事を想定すると、2フレーム目の動画を成す撮影画像は、1/60秒の間隔に合う撮影画像がないため、動画のフレームから、不等間隔となってしまう。 In addition, when shooting a still image while recording a moving image, the same frame period (for example, 1 frame 1/60) can be used even when the exposure time and the number of captured images acquired within one frame time of the moving image are changed. It is necessary to record an image taken at a second cycle as a moving image. Therefore, when recording a movie with a period of 1/60 seconds per frame, it is assumed that three images that will form a still image during movie recording will be acquired during time 1/30 of 2 frames of movie recording. Then, the captured image forming the second frame of the moving image has unequal intervals from the moving image frame because there is no captured image that fits the 1/60 second interval.
このため、動画記録中に静止画を撮影する場合の露光時間の変更量は、1フレーム時間である1/60秒間に複数枚 であることが望ましい。 For this reason, it is desirable that the amount of change in the exposure time when shooting a still image during moving image recording be a plurality of images in 1/60 second, which is one frame time.
図２ （ａ）は、撮像素子の画素配列をあらわしており、この実施形態では４，８００（Ｈ）列×３，６００（Ｖ）行の画素数、全画素の読み出しと、３分割読み出しが可能と仮定している。また、色フィルタの配列はＲ及びＧ が水平方向に交互に並んでいるＲ Ｇ ラインとＧ 及びＢ が水平方向に交互に並んでいるＧ Ｂ ラインがある、いわゆるベイヤ配列として説明する。 FIG. 2A shows the pixel array of the image sensor. In this embodiment, the number of pixels of 4,800 (H) columns × 3,600 (V) rows, readout of all pixels, and three-division readout are performed. It is assumed that it is possible. The color filter array is described as a so-called Bayer array in which there are R G lines in which R and G 1 are alternately arranged in the horizontal direction and G B lines in which G 1 and B 2 are alternately arranged in the horizontal direction.
また、図２（ｂ）、（ｃ）、（ｄ）の斜線部の画素がそれぞれ３分割読み出しで読み出される画素配列（分割１つ辺りの画素数は４，８００（Ｈ）列×１，２００（Ｖ）行）、分割されているＡ，Ｂ，Ｃ は３分割の各分割読み出しを行う画素配列の名称とする。 2B, 2C, and 2D are read out by three-division readout (the number of pixels per division is 4,800 (H) columns × 1,200). (V) row), A, B, and C divided are the names of pixel arrays to be divided into three divided readouts.
図２（ｂ）の斜線部で示している、分割して読み出される画素配列をＡ分割の画素と称し、図２（ｃ）、図２（ｄ）をそれぞれ、Ｂ分割の画素、Ｃ分割の画素と称する。また、分割して読み出された画素の信号を撮像処理部１０５で処理して出力したデジタルデータを、図２（ｂ）は撮影画像Ａ、図２（ｃ）は撮影画像Ｂ、図２（ｄ）は撮影画像Ｃと称する。
図３は、本発明を適用した電子カメラ１００の動画記録中に静止画を撮影する際の動作を示すタイミングチャートである。
The pixel array that is divided and read out shown by the hatched portion in FIG. 2B is called an A-divided pixel, and FIGS. 2C and 2D are respectively a B-divided pixel and a C-divided pixel. This is called a pixel. Also, digital data obtained by processing the pixel signals read out in a divided manner by the imaging processing unit 105 and output are shown in FIG. 2B, the captured image A, FIG. 2C, the captured image B, and FIG. d) is referred to as a photographed image C.
FIG. 3 is a timing chart showing an operation when shooting a still image during moving image recording of the electronic camera 100 to which the present invention is applied.
Ｖ Ｄ は垂直同期信号、レリーズ信号はユーザが操作部１２１に配置されたレリーズボタンを押下することにより発生する信号である。また、読み出しパルスは 撮像駆動部１０９にて生成され、それぞれ対応する画素配列に蓄積された信号を読み出すために印加される信号である。表示フレームは、フレーム番号に対応する表示部への表示フレーム、及び記録される記録画像のフレームを示している。例えば、Ｎフレームを形成する記録画像は、露光期間のＮのタイミングで露光され、読み出しパルスＡでＮの画素信号として読み出され、撮像処理部１０５を経てＮフレームを成す撮影画像として出力され、デジタル信号処理部１１７などで加工され、表示部１１６や外部メモリ１２０へ出力される。 V D is a vertical synchronization signal, and a release signal is a signal generated when the user presses a release button arranged on the operation unit 121. The readout pulse is a signal generated by the imaging drive unit 109 and applied to read out signals accumulated in the corresponding pixel array. The display frame indicates a display frame on the display unit corresponding to the frame number and a recorded image frame to be recorded. For example, a recorded image forming an N frame is exposed at an N timing of an exposure period, read as an N pixel signal by a readout pulse A, and output as a captured image forming an N frame through the imaging processing unit 105. It is processed by the digital signal processing unit 117 or the like and output to the display unit 116 or the external memory 120.
図３の「動作」に示す、「動画記録」、「動画記録切り替え１」、「動画記録切り替え２」は動画記録の動作を行っており、「動画記録中静止画記録」は動画記録に加えて静止画の記録の動作も行うように本実施形態のデジタルカメラが動作している状態を表している。 “Movie recording”, “Movie recording switching 1”, and “Movie recording switching 2” shown in “Operation” in FIG. 3 perform a movie recording operation. “Still image recording during movie recording” is in addition to movie recording. In this state, the digital camera of this embodiment is operating so as to perform still image recording operation.
図３に示す露出は、「動画記録」、「動画記録切り替え１」、「動画記録切り替え２」、「動画記録中静止画記録」の各動作での適正露出となるような露出の推移を示した例である。 The exposure shown in FIG. 3 shows the transition of exposure so as to be an appropriate exposure in each operation of “moving image recording”, “moving image recording switching 1”, “moving image recording switching 2”, and “still image recording during moving image recording”. This is an example.
本実施形態のデジタルカメラにおける動画は、フレームレート、ファイルサイズ等を鑑みて画像サイズは静止画像の１／３ 程度の垂直本数でよいと考え、全画素のうちＡ分割の画素のみを読み出して、動画として記録することとしている。このとき、垂直と同様の間引き率で水平方向の画素も間引くので、最終的な動画像の画素数は、静止画４，８００×３，６００に対して、少ない画素数となる。本実施形態における動画像の撮影は、垂直同期信号Ｖ Ｄ の周期で読み出し信号印加とともに撮像素子からＡ分割の画素の画像が読み出される。読み出された画像は、撮像処理部１０５、ＤＲＡＭ１１２、デジタル信号処理部１１７、圧縮/伸張処理部１１８における画像処理を経て生成された記録画像が外部メモリ１２０に動画として記録、あるいは表示部１１６に表示される。 In consideration of the frame rate, file size, etc., the moving image in the digital camera of the present embodiment is considered to be a vertical number that is about 1/3 of the still image, and only the A-divided pixels are read out from all the pixels. It is supposed to be recorded as a movie. At this time, since the pixels in the horizontal direction are also thinned at the same thinning rate as the vertical, the final moving image has a smaller number of pixels than the still image 4,800 × 3,600. In moving image shooting in the present embodiment, an image of an A-divided pixel is read out from the image sensor together with the application of a read signal in the period of the vertical synchronization signal V D. The read image is recorded as a moving image in the external memory 120 as a recorded image generated through image processing in the imaging processing unit 105, DRAM 112, digital signal processing unit 117, and compression / decompression processing unit 118, or on the display unit 116. Is displayed.
続いて、本実施形態のデジタルカメラにおける動画中静止画撮影について説明する。 Next, still image shooting during moving images in the digital camera of this embodiment will be described.
動画中静止画撮影では、ユーザが操作部１２１に配置されたレリーズボタンを押下することによりレリーズ信号が発生され、その信号に伴って静止画撮影を開始するものとする。
レリーズ信号の発生までは動画の記録のみが行われている。
In still image shooting during moving images, a release signal is generated when the user presses a release button disposed on the operation unit 121, and still image shooting is started in response to the signal.
Until the release signal is generated, only moving images are recorded.
レリーズ信号発生後について説明する。レリーズ信号が発生されると、次の垂直同期信号ＶＤより、読み出しパルスＡ、Ｂ、Ｃを順次印加して、図２（ｂ）〜（ｄ）に示している撮影画像Ａ、Ｂ、Ｃを順次読み出す。この際、各分割された撮影画像の露光時間の調節は電子シャッタパルスの印加数の調節によって行われる。 A description will be given after the release signal is generated. When the release signal is generated, read pulses A, B, and C are sequentially applied from the next vertical synchronizing signal VD, and the captured images A, B, and C shown in FIGS. Read sequentially. At this time, the exposure time of each divided photographed image is adjusted by adjusting the number of applied electronic shutter pulses.
また、複数に分割された画像を合成して、動画とは別に静止画を生成する場合、１枚目の分割された撮影画像と、それ以外の分割された撮影画像には撮影画像の枚数分の時間差が生じるため、その間の手ぶれ、被写体ぶれの影響を受ける事がある。そのため、分割された撮影画像は、通常の動画より高速に撮影する必要がある。 In addition, when a still image is generated separately from a moving image by combining a plurality of divided images, the first divided captured image and the other divided captured images are as many as the number of captured images. Because of this time difference, camera shake and subject shake may occur. Therefore, it is necessary to shoot the divided captured images at a higher speed than a normal moving image.
例えば、動画記録時の1フレームの露光時間が1/60秒の場合、動画記録中の静止画記録のために、撮影画像Ａ、Ｂ、Ｃの３画像を取得する場合、３画像分の露光に必要な時間は、１画像の露光時間の3倍の1/20秒必要となる。このため、動画記録中に比べて手ぶれ、被写体ぶれの影響を受けやすくなるため、動画記録中の静止画記録を行う場合には、露光時間を短縮し、１画像の露光を動画記録中よりも短時間にし、動画記録中より高速に複数の画像を取得する必要がある。 For example, when the exposure time of one frame at the time of moving image recording is 1/60 second, when acquiring three images of captured images A, B, and C for recording a still image during moving image recording, exposure for three images The time required for this is 1/20 second, which is three times the exposure time of one image. For this reason, it is more susceptible to camera shake and subject shake than during moving image recording. Therefore, when performing still image recording during moving image recording, the exposure time is shortened and exposure of one image is performed compared to during moving image recording. It is necessary to acquire a plurality of images in a short time and at a higher speed than during moving image recording.
図３は、動画記録中に比べ、動画記録中の静止画撮影時には、露光時間を短縮し、かつ、画像の読み出しも動画記録に比べて間隔を短くし、単位時間に複数の画像を取得する事を示している。 In FIG. 3, the exposure time is shortened during still image shooting during moving image recording compared to during moving image recording, and the interval between image reading is also shortened compared to moving image recording, and a plurality of images are acquired per unit time. Shows things.
また、各垂直同期信号ＶＤ期間に読み出される分割画素信号は４，８００×１，２００のサイズであり、これらは読み出された後、撮像処理部１０５の処理を介してＤＲＡＭ１１３に一時的に格納される。 Further, the divided pixel signals read out during each vertical synchronization signal VD period have a size of 4,800 × 1,200, and after these are read out, they are temporarily stored in the DRAM 113 through the processing of the imaging processing unit 105. Is done.
各垂直同期信号ＶＤ期間では動画像の出力を継続する為、以下のような処理が行われる。
Ａ分割の画像（撮影画像Ａ）を読み出した場合、ＤＲＡＭ１１３上の４，８００×１，２００の画像信号に対して水平方向の垂直方向の画素を間引くなどの処理を加えて、記録する動画のサイズにサイズ変更を行う。図３に示すＮ＋５フレーム目は撮影画像Ａを処理した画像であり、各種処理を施したＮ＋５フレーム目の記録画像として外部メモリ１２０に記録、あるいは表示部１１６に表示される。
In order to continue outputting the moving image during each vertical synchronization signal VD period, the following processing is performed.
When an A-divided image (captured image A) is read, a process such as thinning out pixels in the vertical direction in the horizontal direction is added to the 4,800 × 1,200 image signal on the DRAM 113 to record the moving image to be recorded. Resize to size. The N + 5th frame shown in FIG. 3 is an image obtained by processing the photographed image A, and is recorded in the external memory 120 or displayed on the display unit 116 as a recorded image of the N + 5th frame subjected to various processes.
Ｂ分割の画像（撮影画像Ｂ）は、Ｎ＋５．５として図３に記載しているタイミングで、露光した後、Ｎ＋５．５のタイミングで撮像素子１０４から読み出され、撮像処理部１０５が出力する撮影画像である。動画記録は、例えば、60コマ毎秒などの等間隔で読み出された画像を等間隔に記録していく事で動画を形成する。 The B-divided image (captured image B) is exposed at the timing shown in FIG. 3 as N + 5.5, read out from the image sensor 104 at the timing of N + 5.5, and output by the imaging processing unit 105. It is a photographed image. In moving image recording, for example, moving images are formed by recording images read at equal intervals such as 60 frames per second at equal intervals.
Ｎ＋５の露光は、次の読み出しパルスＡで撮像素子出力Ｎ＋５で出力され、Ｎ＋５フレームに使用する撮影画像Ａとして記録されている。 The exposure of N + 5 is output at the image sensor output N + 5 at the next readout pulse A, and is recorded as a photographed image A used for the N + 5 frame.
次の動画フレームを成すＮ＋６フレームは、これまでのフレームと等間隔の、Ｎ＋６の露光をされた後、読み出しパルスＣで撮像素子出力Ｎ＋６で出力され、Ｎ＋６フレームに使用する撮影画像Ｃとして記録されている。 The N + 6 frame forming the next moving image frame is subjected to N + 6 exposure at the same interval as the previous frame, and then is output as the image sensor output N + 6 by the readout pulse C, and is recorded as a captured image C used for the N + 6 frame. ing.
対して、Ｎ＋５．５の露光は、動画撮影の間隔と異なるタイミングで記録された撮影画像のため、動画記録には使用せず、動画記録中の静止画のためにだけに、撮影画像Ｂとして使用される。 On the other hand, the exposure of N + 5.5 is not used for moving image recording because it is a captured image recorded at a timing different from the interval of moving image shooting, and is used as a captured image B only for a still image during moving image recording. used.
Ｃ分割の画像（撮影画像Ｃ）を読み出す場合、撮影画像Ａと同様に処理を施される。
しかしながら、撮影画像Ｃは、撮影画像Ａと異なる画素から読み出された撮影画像であるため、画素の配置に従って重心補正も行って動画に使用する。
When a C-divided image (captured image C) is read, processing is performed in the same manner as the captured image A.
However, since the photographed image C is a photographed image read from a pixel different from the photographed image A, the center of gravity is corrected according to the pixel arrangement and used for the moving image.
例えば、Ａ分割の画像の※印のラインをＡ分割画像の重心とし、Ｃ分割の画像の※印のラインをＣ分割画像の重心と考え、Ａ分割画像の重心と合わせるように、☆印の位置に補正する。 For example, the line marked with * in the A-divided image is defined as the center of gravity of the A-divided image, the line marked with * in the C-divided image is regarded as the center of gravity of the C-divided image, Correct to position.
そして、図3に示すようにＮ＋６フレーム目の記録画像として外部メモリ１２０に記録、あるいは表示部１１６に表示される。 Then, as shown in FIG. 3, the recorded image of the (N + 6) th frame is recorded in the external memory 120 or displayed on the display unit 116.
続いて、静止画像の生成について説明する。ＤＲＡＭ１１３上に一時記録された撮影画像Ａ，Ｂ，Ｃはデジタル信号処理部１１７と圧縮/伸張処理部による画像処理を経て静止画像（４，８００×３，６００サイズ）として生成される。これは動画として使用されている記録画像の外部メモリ１２０への記録と異なるタイミングで、外部メモリ１２０に記録される。 Subsequently, generation of a still image will be described. The captured images A, B, and C temporarily recorded on the DRAM 113 are generated as still images (4,800 × 3,600 size) through image processing by the digital signal processing unit 117 and the compression / decompression processing unit. This is recorded in the external memory 120 at a timing different from the recording of the recorded image used as a moving image in the external memory 120.
しかしながら、得られた分割撮影画像Ａ，Ｃによって構成される、Ｎ＋５フレームとＮ＋６フレームは、それ以外のフレームは動画記録中の撮影画像と露光時間が異なる撮影画像である。 However, the N + 5 frame and the N + 6 frame configured by the obtained divided photographed images A and C are photographed images whose exposure time is different from that of the photographed image during moving image recording.
そのため、Ｎ＋５フレームとＮ＋６フレームの前後で撮影画像に輝度変化が生じ、そのまま動画として記録した場合には、記録された動画の動画中静止画撮影のフレームのみに、輝度変化が生じて、動画の輝度が不連続となる。 Therefore, brightness changes occur in the captured image before and after the N + 5 frame and the N + 6 frame, and when recorded as a moving image as it is, the luminance change occurs only in the still image shooting frame in the recorded moving image. The brightness is discontinuous.
この動画の輝度の不連続を低減するため、レリーズボタンが押下されるまでに、動画中静止画露出予測部１２６は撮影した画像とその露光時間とゲイン設定から、動画中静止画撮影が行われる場合の、露光時間と適正な露出となる感度のゲイン設定を予測する。 In order to reduce the discontinuity in the luminance of the moving image, the moving image still image exposure prediction unit 126 performs still image shooting during moving image from the captured image, its exposure time, and gain setting until the release button is pressed. In this case, the gain setting of the sensitivity for the exposure time and appropriate exposure is predicted.
一般的に行われるＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）処理と同様の処理である。 This is the same processing as AE (Automatic Exposure) processing that is generally performed.
また、動画記録中静止画の撮影時に露出が適正となるように感度を切り替えるのに加えて、撮影後の撮影画像に対して、撮影画像の輝度信号値を揃えるように処理を加えても良い。 In addition to switching the sensitivity so that the exposure is appropriate when shooting a still image while recording a moving image, a process may be added so that the luminance signal value of the shot image is aligned with the shot image after shooting. .
輝度信号値Yは、ITU（国際電気通信連合）で定める規格ITU-R BT.601によると、画像のRGB各色のデジタル値から、以下の数式により求められる。 The luminance signal value Y is obtained from the digital value of each RGB color of the image according to the following formula according to the standard ITU-R BT.601 defined by the ITU (International Telecommunication Union).
例えば、動画記録中に取得した撮影画像の画像面内の輝度信号値の平均値が200であり、動画記録中静止画記録の際に取得した撮影画像の画像面内の輝度信号値の平均値が150である場合、輝度変化を低減するように、RGB各色のデジタル値をゲインアップする。 For example, the average value of the luminance signal value in the image plane of the captured image acquired during moving image recording is 200, and the average value of the luminance signal value in the image plane of the captured image acquired during still image recording during moving image recording Is 150, the digital value of each RGB color is increased so as to reduce the luminance change.
また、動画中静止画露出予測部１２６で予測する適正な露出となるゲイン設定は、以下の数式の関係を満たすように、露光時間とゲイン設定を変えることで予測する。 In addition, the gain setting that is an appropriate exposure predicted by the still image exposure predicting unit 126 in the moving image is predicted by changing the exposure time and the gain setting so as to satisfy the relationship of the following expression.
この数式は、ASA PH2.12-1961の中で、APEX （Additive system of Photographic EXposure）として提案されており、撮影の設定の関係を表す。 This mathematical formula is proposed as an APEX (Additive system of Photographic EXposure) in ASA PH2.12-1961, and represents the relationship between the shooting settings.
それぞれ、Tvはシャッタースピードに対応し、Avは絞りに対応し、Svはフィルム感度でありデジタルカメラではゲイン設定に対応し、Bvはシーンの輝度に対応する。 Tv corresponds to shutter speed, Av corresponds to aperture, Sv corresponds to film sensitivity, digital camera corresponds to gain setting, and Bv corresponds to scene brightness.
絞りに対応するAvとシャッタースピードに対応するTvは、それぞれ、以下の数式により求める。 Av corresponding to the aperture and Tv corresponding to the shutter speed are obtained by the following equations, respectively.
それぞれの数式のFは絞りのF値と、シャッタースピードの時間(秒)を代入することで、
数式※の右辺が求まる。
By substituting the aperture F value and the shutter speed time (seconds) for F in each formula,
The right side of the formula * is obtained.
また、シーンの輝度に対応するBvは、以下の数式で求まり、Bは輝度(cd/m2)であり、Kは補正係数であり、撮像素子の特性などに応じて、適切な値を使用する。
また、感度に対応するSvは、ゲイン設定は、Sは感度を表している。
Bv corresponding to the brightness of the scene is obtained by the following formula, B is the brightness (cd / m 2 ), K is a correction coefficient, and an appropriate value is used according to the characteristics of the image sensor, etc. To do.
Further, Sv corresponding to sensitivity represents gain setting, and S represents sensitivity.
例えば、ここでは同じ画角で同じ被写体の動画記録をする際には、撮影設定であるAvがF値5.6に対応する5、Bvは輝度が64cd/m2で補正係数は12.5の値とし、Tvはシャッタースピード1/60秒の6、SVがISO100の感度に相当する5となるゲイン設定である場合を仮定する。動画記録中の静止画撮影時に設定可能なシャッタースピードが1/120秒以下の値である場合、関係を満たす値の例として、シャッタースピードが1段に相当の1/125秒、感度も一段に相当の8のゲイン設定が露出予測値の一つとなる。 For example, here, when recording a moving image of the same subject at the same angle of view, the shooting setting Av corresponds to an F value of 5.6, Bv has a luminance of 64 cd / m 2 and a correction coefficient of 12.5, Tv is assumed to be a gain setting of 6 at a shutter speed of 1/60 seconds and SV of 5 corresponding to ISO 100 sensitivity. When the shutter speed that can be set during still image shooting during movie recording is a value of 1/120 seconds or less, as an example of a value that satisfies the relationship, the shutter speed is 1/125 seconds equivalent to 1 step, and the sensitivity is also 1 step A considerable gain setting of 8 is one of the predicted exposure values.
レリーズボタンが押下されてから、動画中静止画撮影が行われるまでの間に、動画記録中の画像の露出を、動画中静止画の撮影を行う場合に順次近づけていく。例えば、図３の例では、Ｎ＋４フレームの露光期間を動画記録中静止画の露光時間に予め近づくよう短くして適正な露出となるようにゲイン設定の値も変える。動画記録中静止画に用いるＮ＋５フレームからＮ＋６フレーム間の撮影後、Ｎ＋７フレームは、元の露光時間とゲイン設定に戻すように使用される。 From the time when the release button is pressed to the time when still image shooting during moving image is performed, the exposure of the image being recorded in the moving image is gradually approached when shooting still images during moving image. For example, in the example of FIG. 3, the N + 4 frame exposure period is shortened so as to approach the exposure time of a still image during moving image recording in advance, and the gain setting value is also changed so as to achieve an appropriate exposure. After shooting from N + 5 frames to N + 6 frames used for still images during moving image recording, N + 7 frames are used to return to the original exposure time and gain settings.
図３のＮ＋４フレームの撮影とＮ＋７フレームの撮影の設定は、上記数式を満足するように、Tvが6(1/60秒)から7(1/125秒)の間の値を取り、Svが7(ISO400相当)のゲイン設定から8(ISO800)相当のゲイン設定になるように、中間の値を設定する。 In the setting of N + 4 frame shooting and N + 7 frame shooting in FIG. 3, Tv takes a value between 6 (1/60 seconds) and 7 (1/125 seconds) so that the above equation is satisfied, and Sv is Set an intermediate value so that the gain setting is equivalent to 8 (ISO800) from the gain setting of 7 (equivalent to ISO400).
例えば、図３のＮ＋４フレームのＮ＋７フレームの撮影では、Tvが6.5となるシャッタースピード、Svが7.5となるゲイン設定を選択すると良い。 For example, in the shooting of N + 7 frames of N + 4 frames in FIG. 3, it is preferable to select a shutter speed at which Tv is 6.5 and a gain setting at which Sv is 7.5.
露光時間と、ゲイン設定が切り替わる事で、撮影画像に含まれるノイズが強調される事があるため、フレーム間でのゲイン設定と露光時間は、上記の数式を満足するように、段階を踏んで切り替える事が望ましい。 Switching between exposure time and gain setting may enhance noise included in the captured image, so the gain setting and exposure time between frames must be stepped to satisfy the above formula. It is desirable to switch.
また、図３に示す例では、Ｎ＋４フレームとＮ＋７フレームの１フレームずつのみ、動画記録から動画記録中の静止画撮影とその逆の露出を予め切り替える事に使用されているが、動画のフレーム間の急峻な変化が起こらないよう、複数フレームを介して行ってもよい。 In the example shown in FIG. 3, only one frame of N + 4 frame and N + 7 frame is used for switching in advance from still image shooting during moving image recording to vice versa. In order not to cause a steep change, it may be performed through a plurality of frames.
図４は動画中記録に静止画を撮影する場合の制御を示すフローチャートである。 FIG. 4 is a flowchart showing the control when a still image is taken for recording during moving images.
図4を用いて、動画記録時の動作と、動画記録中に静止画を撮影する制御に関して説明する。 With reference to FIG. 4, the operation during recording of a moving image and the control for capturing a still image during recording of the moving image will be described.
Ｓ１０１でユーザが操作部１２１を操作し、動画記録する操作を受けた場合、Ｓ１０２にて動画の記録を開始する。 When the user operates the operation unit 121 in S101 and receives an operation for recording a moving image, recording of the moving image is started in S102.
Ｓ１０３で撮影した動画の１フレームの画像を、その画像を撮像素子１０４から読み出しパルスＡで読み出し（Ｓ１０４）、撮像処理部１０５、ＤＲＡＭ１１３、デジタル信号処理部１１７で動画の１フレームをなす記録画像の生成を行う。生成された記録画像は、動画の１フレームとして記録メディア１２０へ保存される。 The image of one frame of the moving image taken in S103 is read out from the image sensor 104 with the readout pulse A (S104), and the recorded image forming one frame of the moving image is read out by the imaging processing unit 105, the DRAM 113, and the digital signal processing unit 117. Generate. The generated recorded image is stored in the recording medium 120 as one frame of a moving image.
このとき、動画の１フレームの画像から動画記録中の静止画を撮影した場合の露光時間、ゲイン設定が適正な値となるように予め、動画記録中の静止画の撮影時の露光時間、ゲイン設定を算出して適正な露出となるように予測する（Ｓ１０５）。なお、このとき、現在のフレームより過去に取得した複数のフレームの情報を保持しておき、露光時間、ゲイン設定の算出に使用しても良い。 At this time, the exposure time and gain when shooting a still image during moving image recording are set in advance so that the exposure time and gain setting when shooting a still image during moving image recording from a single frame image of the moving image become appropriate values. A setting is calculated to predict an appropriate exposure (S105). At this time, information of a plurality of frames acquired in the past from the current frame may be held and used for calculation of exposure time and gain setting.
ユーザが操作部１２１を操作し、動画記録を終了するように操作を行った場合に、動画記録を終了する（Ｓ１０６）。Ｓ１０６では、ユーザが操作部１２１を操作し、動画記録中に静止画撮影を行うために操作部１２１に含まれるレリーズボタンを押下して静止画を撮影する操作を受けた場合（Ｓ１０７）、Ｓ１０８へ進み、動画記録中静止画撮影を開始する。操作がなければ、動画記録を終了する操作が行われるまで、動画の記録を継続する。 When the user operates the operation unit 121 and performs an operation to end the moving image recording, the moving image recording ends (S106). In S106, when the user operates the operation unit 121 and receives an operation of shooting a still image by pressing the release button included in the operation unit 121 in order to take a still image during moving image recording (S107). Proceed to, and start still image shooting during movie recording. If there is no operation, recording of a moving image is continued until an operation for ending moving image recording is performed.
Ｓ１０５で算出しておいた予測に基づき、動画記録中に静止画撮影するときの露光時間、ゲイン設定を順次切り替えていく変化量と露出予測値を求める（Ｓ１０８）。 Based on the prediction calculated in S105, a change amount and an exposure prediction value for sequentially switching the exposure time and gain setting when shooting a still image during moving image recording are obtained (S108).
Ｓ１０９では、Ｓ１０８で算出した変化量に基づいて露光時間、ゲイン設定を変更し、Ｓ１１０で動画フレームの画像を撮影する。 In S109, the exposure time and gain setting are changed based on the amount of change calculated in S108, and a moving image frame image is captured in S110.
Ｓ１１０で変更した露光時間、ゲイン設定がＳ１０８で求めた露出予測値に到達するまでＳ１０９からＳ１１０を繰り返す（Ｓ１１１）。 S109 to S110 are repeated until the exposure time and gain setting changed in S110 reach the predicted exposure value obtained in S108 (S111).
Ｓ１１２では、動画の１フレームと静止画の作成に用いられるＡ分割画像を撮影する。Ｓ１１３では、動画に使用しない静止画の作成に用いられるＢ分割画像を撮影する。Ｓ１１４では、動画の１フレームと静止画の作成に用いられるＣ分割画像を撮影する。Ｃ分割画像については、図２（ｄ）に示すように、Ａ分割画像と異なる画素から読み出しを行った撮影画像のため、撮影画像の重心がＡ分割画像と異なる。 In S112, one frame of a moving image and an A-divided image used for creating a still image are taken. In S113, a B-divided image used for creating a still image that is not used for a moving image is shot. In S114, one frame of a moving image and a C-divided image used for creating a still image are taken. As for the C-divided image, as shown in FIG. 2D, since the captured image is read from a pixel different from that of the A-divided image, the center of the captured image is different from that of the A-divided image.
そのため、Ｃ分割画像は、図２（ｄ）を用いて前述した、重心の補正も動画用の記録画像を生成する際に行う。 Therefore, for the C-divided image, the correction of the center of gravity described above with reference to FIG. 2D is also performed when a moving image recording image is generated.
Ｓ１１５では、Ｓ１１２からＳ１１４で取得したＡ，Ｂ，Ｃ分割画像を撮像素子１０４の画素配列に基づいて合成し、静止画として記録を行う。 In S115, the A, B, and C divided images acquired in S112 to S114 are combined based on the pixel arrangement of the image sensor 104, and recorded as a still image.
Ｓ１１６からＳ１１８では、Ｓ１０９からＳ１１１で変更した露光時間、ゲイン設定を同様の手順で、動画記録時の適正な露出へ変更し、通常の動画記録へ戻る。 In steps S116 to S118, the exposure time and gain setting changed in steps S109 to S111 are changed to appropriate exposure during moving image recording in the same procedure, and the process returns to normal moving image recording.
以上に説明したように、本実施形態の電子カメラ１００は、動画記録中に静止画を撮影した場合にも、動画の画像より高解像度の静止画を作成でき、動画が不連続となる事を低減が可能となる。 As described above, the electronic camera 100 according to the present embodiment can create a still image with higher resolution than a moving image even when a still image is shot during moving image recording, and the moving image is discontinuous. Reduction is possible.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
本発明はＣＣＤ撮像素子やＣＭＯＳ撮像素子などの撮像素子の種類に限定されず、撮像素子の画素信号を分割して読み出す撮像素子駆動手段を備えた撮像装置に適用可能である。
また、本発明の目的は、前述した実施形態の処理方法を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給するよう構成することによっても達成されることはいうまでもない。
The present invention is not limited to the type of image pickup device such as a CCD image pickup device or a CMOS image pickup device, and can be applied to an image pickup apparatus provided with an image pickup device driving means for dividing and reading out pixel signals of the image pickup device.
Further, it is needless to say that the object of the present invention can also be achieved by supplying a storage medium storing software program codes for realizing the processing method of the above-described embodiment to a system or apparatus. .
この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することにより、上記機能が実現されることとなる。なお、この場合、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the above functions are realized by the computer (or CPU or MPU) of the system or apparatus reading and executing the program code stored in the storage medium. In this case, the storage medium storing the program code constitutes the present invention.
プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。 As a storage medium for supplying the program code, for example, a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM, or the like is used. be able to.
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, the present invention is not limited to the case where the functions of the above-described embodiments are realized by executing the program code read by the computer. For example, an OS (operating system) running on a computer performs part or all of actual processing based on an instruction of the program code, and the functions of the above-described embodiments may be realized by the processing. Needless to say, it is included.
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、前述した実施形態の機能が実現される場合も含まれる。つまり、プログラムコードがメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。 Furthermore, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the functions of the above-described embodiments are realized. Is also included. That is, after the program code is written in the memory, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing based on the instruction of the program code, and is realized by the processing. This is also included.
１００ 電子カメラ １１０ システム制御部 １０５ 撮像処理部
１１３ ＤＲＡＭ １１４ ＲＯＭ １１５ 表示制御部
１１７ デジタル信号処理部 １１８ 圧縮／伸張処理部
１１９ 外部メモリ制御部 １２１ 操作部 １２１ バス
DESCRIPTION OF SYMBOLS 100 Electronic camera 110 System control part 105 Imaging processing part 113 DRAM 114 ROM 115 Display control part 117 Digital signal processing part 118 Compression / decompression processing part 119 External memory control part 121 Operation part 121 Bus
Claims (6)
前記撮像素子を複数の駆動方式で駆動して画素信号を読み出す事が可能な撮像駆動部と、
前記撮像素子から読み出した画素信号を受けて、動画と静止画に利用可能な画像信号を生成する撮像処理部と、
第一の露光時間で前記撮像素子 の複数の画素を複数のフィールドに分割して特定の１フィールドから画素信号を読み出す事が 可能な第一の駆動モードと、
第二の露光時間で前記撮像素子 の複数の画素を複数のフィールドに分割して１フィールドずつ順次画素信号を読み出す事が 可能な第二の駆動モードを有していて、
前記撮像駆動部を制御して、駆動モードと動画撮影中の露光時間を制御する制御部と、
動画撮影中に静止画の撮影を指示する撮影指示部と、
前記第一の駆動モードで動画撮影中の露出から、前記第二の駆動モードで動画中静止画撮影に切り替えた場合の露出を予測する露出予測部と、を備えた撮像装置において、
前記第一の駆動モードに応じて前記撮像駆動部を制御し、前記撮像素子を前記第一の駆動モードにより駆動する動画撮影の際に、
前記撮影指示部により静止画撮影の指示を受けた場合に、
前記第二の駆動モードに前記撮像駆動部の駆動を切り替えて、前記撮像素子を前記第二の駆動モードに応じて前記撮像駆動部を制御して撮影を行い、
前記撮像素子の複数の画素を複数のフィールドに分割して１フィールドずつ順次画素信号を読み出す事で取得した画像から動画と静止画に使用する画像を生成し、
動画撮影から動画中静止画撮影への切り替えを行うフレームの撮影において、動画撮影中の露出から前記露出予測値に従って露出の切り替えを行う事を特徴とする撮像装置。 An image sensor capable of reading out a pixel signal formed on the light receiving surface;
An imaging drive unit capable of reading the pixel signal by driving the imaging element by a plurality of driving methods;
An imaging processing unit that receives a pixel signal read from the imaging element and generates an image signal usable for a moving image and a still image;
A first drive mode in which a plurality of pixels of the image sensor can be divided into a plurality of fields in a first exposure time and a pixel signal can be read from a specific one field;
Having a second drive mode in which a plurality of pixels of the image sensor can be divided into a plurality of fields in a second exposure time and the pixel signals can be sequentially read out one by one;
A control unit for controlling the imaging drive unit to control a drive mode and an exposure time during moving image shooting;
A shooting instruction section for instructing shooting of a still image during movie shooting;
In an imaging apparatus comprising: an exposure prediction unit that predicts exposure when switching from exposure during moving image shooting in the first drive mode to still image shooting during moving image in the second drive mode;
When the moving image shooting for controlling the imaging drive unit according to the first drive mode and driving the imaging element in the first drive mode,
When receiving a still image shooting instruction from the shooting instruction unit,
Switch the driving of the imaging drive unit to the second drive mode, and control the imaging drive unit according to the second drive mode to perform shooting.
Generating an image to be used for a moving image and a still image from an image obtained by dividing a plurality of pixels of the image sensor into a plurality of fields and sequentially reading out pixel signals one field at a time,
An image pickup apparatus characterized in that, in shooting a frame for switching from moving image shooting to still image shooting during moving image, the exposure is switched from the exposure during moving image shooting according to the predicted exposure value.
前記撮像駆動部は駆動モードに応じて前記撮像素子の特定の部分の画素信号だけ読み出す読み出しパルスを出力可能であり、
動画撮影中に前記撮影指示部から静止画撮影の指示を受けた場合に、
前記切り替えを行うフレームの動画の撮影を行い、
動画撮影中と同じ読み出しパルスと、動画撮影中と異なる読み出しパルスとで駆動して、異なる画素信号から生成された複数の静止画用画像信号を取得して、
前記複数の静止画用画像信号のうち、動画のフレームと同じ周期で撮影した静止画用画像信号は、動画と静止画の両方の画像生成に利用し、
前記複数の静止画用画像信号のうち、動画のフレームと異なる周期で撮影した静止画用画像信号は、静止画の画像生成のみに利用し、
動画撮影中の静止画は、前記複数枚の画像を、前記撮像素子の画素配列に従って合成する事によって生成して取得し、
前記第一の駆動モードで、所定のフレーム数の間、動画を撮影した後に、前記第一の駆動モードで動画の撮影を継続し、
動画から静止画への切り替えのフレームにおいて、
現在の動画撮影中の露出量と前記予測露出量の露出量の差を所定のステップ、所定のフレーム数を掛けて、前期予測露出量に到達するようにフレーム毎に露出を切り替えていき、
前記動画切り替えフレームにおいて、
静止画から動画への切り替えフレームの前の露出量に所定のステップをかけて戻していくように、フレーム毎に露出を切り替える事を特徴とする撮像装置。 The imaging device according to claim 1,
The imaging drive unit can output a readout pulse for reading out only a pixel signal of a specific part of the imaging device according to a drive mode,
When receiving a still image shooting instruction from the shooting instruction unit during movie shooting,
Take a video of the frame to switch,
Drive with the same readout pulse as during movie shooting and a different readout pulse as during movie shooting to obtain multiple still image signals generated from different pixel signals,
Among the plurality of still image signals, a still image signal captured at the same cycle as a moving image frame is used to generate both a moving image and a still image,
Among the plurality of still image signals, a still image signal captured at a different period from a moving image frame is used only for generating a still image,
Still images during movie shooting are generated and acquired by combining the plurality of images according to the pixel arrangement of the image sensor,
In the first driving mode, after shooting a moving image for a predetermined number of frames, continue shooting the moving image in the first driving mode,
In the frame for switching from video to still image,
Switch the exposure for each frame to reach the predicted exposure amount in the previous period by multiplying the difference between the exposure amount during the current video shooting and the exposure amount of the predicted exposure amount by a predetermined step, the predetermined number of frames,
In the video switching frame,
An imaging apparatus characterized by switching exposure for each frame so as to return the exposure amount before the switching frame from the still image to the moving image by taking a predetermined step.
現在の撮影の露出と、前記露出予測部の予測から
前記第一の露光時間と、
動画撮影中の静止画撮影における前記第二の露光時間が、
前記第一の露光時間が前記第二の露光時間より長い時間となる場合には、前記静止画切り替えフレームと前記動画切り替えフレームのフレーム数を所定数以上にし、
前記第一の露光時間が前記第二の露光時間以下の時間となる場合には、所定フレーム数未満にする事を特徴とする撮像装置。 The imaging device according to claim 2,
The first exposure time from the current shooting exposure and the prediction of the exposure prediction unit;
The second exposure time in still image shooting during movie shooting is
When the first exposure time is longer than the second exposure time, the number of frames of the still image switching frame and the moving image switching frame is a predetermined number or more,
An imaging apparatus, wherein when the first exposure time is equal to or shorter than the second exposure time, the number of frames is less than a predetermined number.
動画に使用する画像を読み出す際には、前記撮像素子の第一の領域から画素信号を読み出し、
静止画に使用する画像を読み出す際には、前記撮像素子の撮像素子の第一、第二および第三の領域から画素信号を読み出しする事を特徴とする撮像装置。 The imaging device according to claim 2,
When reading an image to be used for a moving image, a pixel signal is read from the first area of the image sensor,
An image pickup apparatus, wherein when reading an image used for a still image, pixel signals are read from the first, second and third regions of the image pickup device of the image pickup device.
動画記録中静止画撮影を行う際に、
前記露光時間ｔ２が求める露出が得られていないと判断した場合、
前記撮像素子から読み出した画素信号に与えるゲインを増加するか、
動画記録中静止画撮影時に前記画素信号から生成した画像データの輝度が、動画撮影時に取得した画像データと比較して、輝度変化を低減するように動画記録中静止画撮影時に取得した前記画像データを補正するように処理する事を特徴とする撮像装置。 The imaging device according to claim 2,
When taking a still image while recording a movie,
When it is determined that the exposure required by the exposure time t2 is not obtained,
Increase the gain given to the pixel signal read from the image sensor,
The image data acquired during still image recording during moving image recording so that the luminance of the image data generated from the pixel signal during still image recording during moving image recording is reduced compared to the image data acquired during moving image recording. An imaging apparatus characterized by processing so as to correct.
前記複数の静止画用画像信号のうち、動画のフレームと同じ周期で撮影した静止画用画像信号は、動画と静止画の両方の画像生成に利用するため、
動画に使用する静止画用画像信号の中で、前期動画撮影中と異なる読み出しパルスで読み出された静止画用画像信号は、
前期動画撮影中の前記撮像素子の画素配列とのラインのズレの分だけ、
重心補正を行って動画の画像として使用し、
前記複数の静止画用画像信号のうち、静止画に使用する画像信号に対しては重心補正を行わずに使用する事を特徴とする。
The imaging device according to claim 2,
Among the plurality of still image signals, the still image signal captured at the same cycle as the moving image frame is used to generate both moving images and still images.
Among the still image signals used for moving images, the still image signal read with a different readout pulse from the previous movie shooting is
As much as the line deviation from the pixel array of the image sensor during the previous movie shooting,
Use the center of gravity correction as a video image,
Among the plurality of still image signals, an image signal used for a still image is used without performing gravity center correction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013114756A JP2014236251A (en) | 2013-05-31 | 2013-05-31 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013114756A JP2014236251A (en) | 2013-05-31 | 2013-05-31 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014236251A true JP2014236251A (en) | 2014-12-15 |
Family
ID=52138688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013114756A Pending JP2014236251A (en) | 2013-05-31 | 2013-05-31 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014236251A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024067428A1 (en) * | 2022-09-26 | 2024-04-04 | 华为技术有限公司 | High-resolution high-frame-rate photographing method, and image processing apparatus |
-
2013
- 2013-05-31 JP JP2013114756A patent/JP2014236251A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024067428A1 (en) * | 2022-09-26 | 2024-04-04 | 华为技术有限公司 | High-resolution high-frame-rate photographing method, and image processing apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7852401B2 (en) | Photographing apparatus and photographing method for exposure control during continuous photographing mode | |
| US7023479B2 (en) | Image input apparatus having addition and subtraction processing | |
| US8638374B2 (en) | Image pickup apparatus, image pickup system, and image pickup method | |
| JP6159105B2 (en) | Imaging apparatus and control method thereof | |
| WO2009098877A1 (en) | Image processing device and image processing method | |
| US20160227092A1 (en) | Image capturing apparatus and method of controlling the same | |
| US9398230B2 (en) | Imaging device and imaging method | |
| JP2013046259A (en) | Video apparatus, control method, and program | |
| KR101329942B1 (en) | Image capturing apparatus and method for controlling the same | |
| US11290648B2 (en) | Image capture apparatus and control method thereof | |
| JP5909997B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP5338373B2 (en) | Imaging device | |
| JP6118118B2 (en) | Imaging apparatus and control method thereof | |
| JP2018006828A (en) | Imaging apparatus, control method therefor and program | |
| JP2013118463A (en) | Imaging apparatus and imaging method | |
| JP7319873B2 (en) | Imaging device and its control method | |
| JP2019041170A (en) | Imaging apparatus and control method of the same | |
| JP2014236251A (en) | Imaging apparatus | |
| JP5991495B2 (en) | Image generating apparatus, imaging apparatus, and program | |
| JP2019161438A (en) | Image processing apparatus, image processing method and image processing system | |
| JP6288990B2 (en) | Imaging apparatus, control method and program thereof | |
| JP2010239267A (en) | Imaging apparatus, method for controlling peripheral darkening correction, and program | |
| JP2005117276A (en) | Imaging device | |
| JP5184325B2 (en) | Image capturing apparatus, image capturing apparatus control method, and program | |
| JP2010081345A (en) | Imaging apparatus |