JP2013179713A

JP2013179713A - Imaging apparatus, imaging method, and program

Info

Publication number: JP2013179713A
Application number: JP2013130545A
Authority: JP
Inventors: Yoshiki Ishige; 善樹石毛
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2013-06-21
Filing date: 2013-06-21
Publication date: 2013-09-09
Anticipated expiration: 2029-03-05
Also published as: JP5522299B2

Abstract

PROBLEM TO BE SOLVED: To reduce noise caused by an imaging sensitivity during high-speed capturing of a moving image.SOLUTION: In an imaging apparatus 1 with a function of high-speed capturing of a moving image, an imaging sensitivity control unit 213 sets an imaging sensitivity on the basis of a frame rate for the high-speed capturing of the moving image. An imaging control unit 212 controls an imaging unit 100 to perform the high-speed capturing of the moving image with the set imaging sensitivity and obtain digital moving image data. A frame image generation unit 215, when images taken at the high sensitivity continue, reduces the high sensitivity-caused noise by performing multiplane processing for averaging brightness values. The imaging sensitivity control unit 213, when it is possible to perform the multiplane processing, reduces the high sensitivity-caused noise by changing the imaging sensitivity to be lower than that for obtaining an appropriate exposure based on the frame rate.

Description

本発明は、撮像装置、撮像方法、および、プログラムに関し、特に、高フレームレートの動画撮像に好適な撮像装置、撮像方法、および、プログラムに関する。 The present invention relates to an imaging apparatus, an imaging method, and a program, and more particularly to an imaging apparatus, an imaging method, and a program suitable for high-frame-rate moving image imaging.

デジタルカメラに用いられる撮像素子として、ＣＣＤ（Charge Coupled Device：電荷結合素子）などよりも高速な信号読み出しをおこなえるＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などが広く普及しつつある。このような高速読み出しをおこなえる撮像素子を用いることにより、動画撮像機能を備えるデジタルスチルカメラにおいても、秒間１００コマ以上で動画像を撮像することのできる高速動画撮像機能が実現されている（いわゆる、ハイスピードカメラ）。 As an imaging device used in a digital camera, a CMOS (Complementary Metal Oxide Semiconductor) capable of reading a signal at a higher speed than a CCD (Charge Coupled Device) is becoming widespread. By using such an image sensor capable of performing high-speed reading, a high-speed moving image capturing function capable of capturing a moving image at 100 frames or more per second is realized even in a digital still camera having a moving image capturing function (so-called High speed camera).

高速動画撮像においては、フレーム単位での露光時間が短くなるため、全体として露出不足となってしまう場合が多い。露光時間が短いことによる露出不足に対しては、撮像感度を高めることが対応策となる。このため、撮像素子の開口率を高めることで撮像感度を上げる技術などが提案されている（例えば、特許文献１）。 In high-speed moving image capturing, since the exposure time in units of frames is shortened, there are many cases where the exposure is insufficient as a whole. Increasing imaging sensitivity is a countermeasure against insufficient exposure due to a short exposure time. For this reason, the technique etc. which raise imaging sensitivity by raising the aperture ratio of an image sensor are proposed (for example, patent document 1).

特開２００８−２８８４４９号公報JP 2008-288449 A

特許文献１の場合、撮像素子の各受光素子にマイクロレンズを形成することで、受光素子の開口率を高めて感度の向上を図っているが、このような効果を得るためには、各受光素子が比較的大きい面積である必要がある。 In the case of Patent Document 1, a microlens is formed on each light receiving element of the image pickup device to increase the aperture ratio of the light receiving element, thereby improving the sensitivity. The element needs to have a relatively large area.

すなわち、サイズが比較的大きい撮像素子（例えば、３５ミリフィルムの画面サイズに相当する３５ミリ判フルサイズ撮像素子など）の場合には有効であるが、コンパクトデジタルカメラなどに用いられるような、比較的サイズの小さい撮像素子（例えば、１／１．８インチや１／２．５インチなど）の場合、受光素子の面積が微小となるためマイクロレンズの形成が困難となる。また、マイクロレンズを形成できた場合でも、開口率の変化が大きくないため、高速動画撮像における露出不足を十分に解消できるほどの感度向上を実現することは困難である。 That is, it is effective in the case of an image sensor having a relatively large size (for example, a 35 mm full-size image sensor corresponding to a screen size of 35 mm film), but a comparison as used in a compact digital camera or the like. In the case of an image sensor with a small target size (for example, 1 / 1.8 inch or 1 / 2.5 inch), it is difficult to form a microlens because the area of the light receiving element is small. Even when a microlens can be formed, since the aperture ratio does not change greatly, it is difficult to realize sensitivity improvement that can sufficiently eliminate insufficient exposure in high-speed moving image capturing.

このように、撮像素子における光学的な感度向上が効果的とならない場合、撮像素子が出力する電気信号を増幅させることで撮像感度を上げることになる。よって、高速動画撮像機能を有するデジタルカメラの多くが、適正露出とするために高感度撮像をおこなっている。このような信号増幅による高感度撮像の場合、ノイズ成分も増幅させてしまうため、ノイズが多くなってしまうという問題がある。 As described above, when the improvement in the optical sensitivity of the imaging device is not effective, the imaging sensitivity is increased by amplifying the electric signal output from the imaging device. Therefore, many digital cameras having a high-speed moving image imaging function perform high-sensitivity imaging in order to achieve proper exposure. In the case of such high-sensitivity imaging by signal amplification, there is a problem that noise components increase because noise components are also amplified.

本発明は、上記実状に鑑みてなされたものであり、高速動画撮像におけるノイズを低減することのできる撮像装置、撮像方法、および、プログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus, an imaging method, and a program that can reduce noise in high-speed moving image imaging.

上記目的を達成するため、本発明の第１の観点にかかる撮像装置は、
動画撮像にかかるフレームレートに基づいて撮像感度を設定する感度設定手段と、
前記感度設定手段が設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する撮像手段と、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうマルチプレーン処理手段と、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記感度設定手段が設定した感度を変更する感度制御手段と、
連続する前記撮像画像間における被写体の変化量が所定の許容範囲内であるか否かに基づいて、前記マルチプレーン処理をおこなえるか否かを判別する判別手段と、を備えていることが望ましく、この場合、
前記感度設定手段は、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
前記感度制御手段は、前記マルチプレーン処理をおこなえる場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更することが望ましい。 In order to achieve the above object, an imaging apparatus according to the first aspect of the present invention provides:
Sensitivity setting means for setting imaging sensitivity based on a frame rate for moving image capturing;
Imaging means for executing the moving image imaging with the imaging sensitivity set by the sensitivity setting means to obtain a plurality of captured images;
Multi-plane processing means for performing multi-plane processing using the plurality of captured images;
Sensitivity control means for changing the sensitivity set by the sensitivity setting means for a plurality of captured images to be subjected to the multiplane processing;
It is desirable to include a determination unit that determines whether or not the multiplane processing can be performed based on whether or not the amount of change in the subject between successive captured images is within a predetermined allowable range. in this case,
The sensitivity setting means sets an imaging sensitivity for obtaining an appropriate exposure based on the frame rate,
When the sensitivity control means can perform the multi-plane processing, it is desirable to change the imaging sensitivity to an imaging sensitivity lower than an imaging sensitivity for obtaining an appropriate exposure based on the frame rate.

上記撮像装置において、
前記マルチプレーン処理手段は、対象となる前記複数の撮像画像のすべてが、前記感度設定手段が設定した撮像感度で撮像された場合、当該複数の撮像画像を加算平均するマルチプレーン処理をおこなうことが望ましい。 In the imaging apparatus,
The multi-plane processing unit may perform multi-plane processing of adding and averaging the plurality of captured images when all of the target captured images are captured with the imaging sensitivity set by the sensitivity setting unit. desirable.

上記撮像装置において、
前記マルチプレーン処理手段は、対象となる前記複数の撮像画像についての撮像感度に、前記感度制御手段によって変更された撮像感度が含まれる場合、当該複数の撮像画像の枚数と撮像感度とに基づいて係数を算出し、当該複数の撮像画像の輝度についての加算値に前記係数を乗じるマルチプレーン処理をおこなうことが望ましい。 In the imaging apparatus,
When the imaging sensitivity of the plurality of captured images to be processed includes the imaging sensitivity changed by the sensitivity control unit, the multiplane processing unit is based on the number of the plurality of captured images and the imaging sensitivity. It is desirable to perform a multi-plane process that calculates a coefficient and multiplies the added value for the luminance of the plurality of captured images by the coefficient.

上記目的を達成するため、本発明の第２の観点にかかる撮像装置は、
動画撮像にかかるフレームレートに基づいて撮像感度を設定する感度設定手段と、
前記感度設定手段が設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する撮像手段と、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうマルチプレーン処理手段と、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記感度設定手段が設定した感度を変更する感度制御手段と、を備え、
前記感度制御手段は、前記マルチプレーン処理の対象となる前記複数の撮像画像の露出が一定である場合には、前記感度設定手段が設定した撮像感度の変更をおこなわないことが望ましい。 In order to achieve the above object, an imaging apparatus according to a second aspect of the present invention provides:
Sensitivity setting means for setting imaging sensitivity based on a frame rate for moving image capturing;
Imaging means for executing the moving image imaging with the imaging sensitivity set by the sensitivity setting means to obtain a plurality of captured images;
Multi-plane processing means for performing multi-plane processing using the plurality of captured images;
Sensitivity control means for changing the sensitivity set by the sensitivity setting means for a plurality of captured images to be subjected to the multi-plane processing,
It is desirable that the sensitivity control unit does not change the imaging sensitivity set by the sensitivity setting unit when the exposure of the plurality of captured images to be subjected to the multi-plane processing is constant.

上記撮像装置において、
前記感度設定手段は、前記動画撮像にかかるフレームレートに基づいた適正露出とするための撮像感度を設定することが望ましい。 In the imaging apparatus,
It is desirable that the sensitivity setting means sets an imaging sensitivity for obtaining an appropriate exposure based on a frame rate for moving image capturing.

あるいは、
前記撮像手段が、前記動画撮像にかかるフレームレートに基づく単位時間に複数の撮像画像を得られる場合、前記感度設定手段は、当該単位時間に得られる撮像画像の枚数と、当該単位時間を露光時間とした場合に適正露出となる撮像感度とに基づいて撮像感度を設定してもよく、この場合、
前記マルチプレーン処理手段は、前記単位時間毎に得られる前記複数の撮像画像を加算するマルチプレーン処理をおこなうことが望ましい。 Or
When the imaging unit can obtain a plurality of captured images in a unit time based on the frame rate for moving image capturing, the sensitivity setting unit determines the number of captured images obtained in the unit time and the unit time as the exposure time. In this case, the imaging sensitivity may be set based on the imaging sensitivity that provides the appropriate exposure.
It is desirable that the multi-plane processing means performs multi-plane processing for adding the plurality of captured images obtained every unit time.

上記目的を達成するため、本発明の第３の観点にかかる撮像方法は、
動画撮像にかかるフレームレートに基づいて撮像感度を設定するステップと、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得するステップと、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうステップと、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更するステップと、
連続する前記撮像画像間における被写体の変化量が所定の許容範囲内であるか否かに基づいて、前記マルチプレーン処理をおこなえるか否かを判別するステップと、を含み、
前記設定するステップでは、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
前記変更するステップでは、前記マルチプレーン処理をおこなえる場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更する、
ことを特徴とする。
上記目的を達成するため、本発明の第４の観点にかかる撮像方法は、
動画撮像にかかるフレームレートに基づいて撮像感度を設定するステップと、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得するステップと、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうステップと、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更するステップと、を含み、
前記変更するステップでは、前記マルチプレーン処理の対象となる前記複数の撮像画像の露出が一定である場合には、前記設定した撮像感度の変更をおこなわない、
ことを特徴とする。 In order to achieve the above object, an imaging method according to a third aspect of the present invention includes:
Setting imaging sensitivity based on a frame rate for moving image capturing;
Executing the moving image imaging with the set imaging sensitivity to obtain a plurality of captured images;
Performing multi-plane processing using the plurality of captured images;
Changing the set sensitivity for a plurality of captured images to be subjected to the multi-plane processing;
Determining whether or not the multiplane processing can be performed based on whether or not the amount of change in the subject between successive captured images is within a predetermined allowable range,
In the setting step, an imaging sensitivity for setting an appropriate exposure based on the frame rate is set,
In the changing step, when the multiplane processing can be performed, the imaging sensitivity is changed to an imaging sensitivity lower than the imaging sensitivity for obtaining an appropriate exposure based on the frame rate.
It is characterized by that.
In order to achieve the above object, an imaging method according to a fourth aspect of the present invention includes:
Setting imaging sensitivity based on a frame rate for moving image capturing;
Executing the moving image imaging with the set imaging sensitivity to obtain a plurality of captured images;
Performing multi-plane processing using the plurality of captured images;
Changing the set sensitivity for a plurality of captured images to be subjected to the multi-plane processing,
In the changing step, when the exposure of the plurality of captured images to be subjected to the multi-plane processing is constant, the set imaging sensitivity is not changed.
It is characterized by that.

上記目的を達成するため、本発明の第５の観点にかかるプログラムは、
コンピュータに、
動画撮像にかかるフレームレートに基づいて撮像感度を設定する機能、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する機能、
前記複数の撮像画像を用いたマルチプレーン処理をおこなう機能、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更する機能、
連続する前記撮像画像間における被写体の変化量が所定の許容範囲内であるか否かに基づいて、前記マルチプレーン処理をおこなえるか否かを判別する機能、
を実現させるためのプログラムであって、
前記設定する機能は、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
前記変更する機能は、前記マルチプレーン処理をおこなえる場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更する、
ことを特徴とする。
上記目的を達成するため、本発明の第６の観点にかかるプログラムは、
コンピュータに、
動画撮像にかかるフレームレートに基づいて撮像感度を設定する機能、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する機能、
前記複数の撮像画像を用いたマルチプレーン処理をおこなう機能、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更する機能、
を実現させるためのプログラムであって、
前記変更する機能は、前記マルチプレーン処理の対象となる前記複数の撮像画像の露出が一定である場合には、前記設定した撮像感度の変更をおこなわない、
ことを特徴とする。 In order to achieve the above object, a program according to the fifth aspect of the present invention is:
On the computer,
A function to set the imaging sensitivity based on the frame rate for moving image capture,
A function of acquiring a plurality of captured images by executing the moving image capturing with the set imaging sensitivity;
A function of performing multi-plane processing using the plurality of captured images;
A function of changing the set sensitivity for a plurality of captured images to be subjected to the multi-plane processing;
A function of determining whether or not the multiplane processing can be performed based on whether or not the amount of change in the subject between successive captured images is within a predetermined allowable range;
Is a program for realizing
The function to be set is to set an imaging sensitivity for proper exposure based on the frame rate,
When the multi-plane processing can be performed, the function to be changed is changed to an imaging sensitivity lower than an imaging sensitivity for obtaining an appropriate exposure based on the frame rate.
It is characterized by that.
In order to achieve the above object, a program according to the sixth aspect of the present invention is:
On the computer,
A function to set the imaging sensitivity based on the frame rate for moving image capture,
A function of acquiring a plurality of captured images by executing the moving image capturing with the set imaging sensitivity;
A function of performing multi-plane processing using the plurality of captured images;
A function of changing the set sensitivity for a plurality of captured images to be subjected to the multi-plane processing;
Is a program for realizing
The function to change does not change the set imaging sensitivity when exposure of the plurality of captured images to be subjected to the multi-plane processing is constant.
It is characterized by that.

本発明によれば、高速動画撮像における撮像感度によるノイズを低減させることができる。 According to the present invention, noise due to imaging sensitivity in high-speed moving image imaging can be reduced.

本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera concerning embodiment of this invention. 図１に示す制御部によって実現される機能を示す機能ブロック図である。It is a functional block diagram which shows the function implement | achieved by the control part shown in FIG. 本発明の実施形態１にかかる「高速動画撮像処理（１）」を説明するためのフローチャートである。It is a flowchart for demonstrating "high-speed moving image imaging processing (1)" concerning Embodiment 1 of this invention. 図３に示した「高速動画撮像処理（１）」で実行される「輝度補正処理」を説明するためのフローチャートである。4 is a flowchart for explaining a “brightness correction process” executed in the “high-speed moving image capturing process (1)” shown in FIG. 3. 図３に示した「高速動画撮像処理（１）」で実行される「感度制御処理」を説明するためのフローチャートである。4 is a flowchart for explaining a “sensitivity control process” executed in the “high-speed moving image capturing process (1)” shown in FIG. 3. 図３に示す「高速動画撮像処理（１）」にかかる被写体変化量に基づく判別を説明するための図であり、（ａ）は、ある撮像画像の例を示し、（ｂ）〜（ｉ）は、（ａ）に示した撮像画像と比較される撮像画像における被写体変化と判別結果の例を示す。It is a figure for demonstrating the discrimination | determination based on the to-be-photographed object change amount concerning "high-speed moving image imaging processing (1)" shown in FIG. 3, (a) shows the example of a certain captured image, (b)-(i) These show the example of the subject change and discrimination | determination result in the captured image compared with the captured image shown to (a). 図３に示す「高速動画撮像処理（１）」にかかる動作例を説明するための模式図である。FIG. 4 is a schematic diagram for explaining an operation example according to “high-speed moving image capturing processing (1)” illustrated in FIG. 3. 図３に示す「高速動画撮像処理（１）」にかかる他の動作例を説明するための模式図である。FIG. 10 is a schematic diagram for explaining another example of the operation relating to “high-speed moving image capturing processing (1)” illustrated in FIG. 3. 本発明の実施形態２にかかる「高速動画撮像処理（２）」を説明するためのフローチャートである。It is a flowchart for demonstrating "high-speed moving image imaging processing (2)" concerning Embodiment 2 of this invention. 図９に示す「高速動画撮像処理（２）」にかかる動作を説明するための模式図である。FIG. 10 is a schematic diagram for explaining an operation related to “high-speed moving image capturing processing (2)” illustrated in FIG. 9. 本発明の実施形態３にかかる「高速動画撮像処理（３）」を説明するためのフローチャートである。It is a flowchart for demonstrating "high-speed moving image imaging processing (3)" concerning Embodiment 3 of this invention. 図１１に示す「高速動画撮像処理（３）」にかかる動作を説明するための模式図である。FIG. 12 is a schematic diagram for explaining an operation related to “high-speed moving image capturing processing (3)” illustrated in FIG. 11.

（実施形態１）
本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、動画撮像機能を有するデジタルスチルカメラ（以下、「デジタルカメラ」とする）によって本発明を実現した場合を例示する。すなわち、本実施形態にかかるデジタルカメラ１は、基本機能であるスチル撮像機能に加え、動画像を撮像することのできる動画撮像機能を有しているものである。そして、この動画撮像機能には、高速動画撮像機能が含まれているものとする。 (Embodiment 1)
Embodiments according to the present invention will be described below with reference to the drawings. In the present embodiment, a case where the present invention is realized by a digital still camera (hereinafter referred to as “digital camera”) having a moving image capturing function is illustrated. That is, the digital camera 1 according to the present embodiment has a moving image capturing function capable of capturing a moving image in addition to a still image capturing function that is a basic function. This moving image capturing function includes a high speed moving image capturing function.

図１は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。 FIG. 1 is a block diagram showing a configuration of a digital camera 1 according to an embodiment of the present invention. The schematic configuration of the digital camera 1 according to the present embodiment includes an imaging unit 100, a data processing unit 200, an interface (I / F) unit 300, and the like as illustrated.

撮像部１００は、デジタルカメラ１の撮像動作をおこなう部分であり、図１に示すように、光学装置１１０やイメージセンサ部１２０などから構成されている。 The imaging unit 100 is a part that performs an imaging operation of the digital camera 1, and includes an optical device 110, an image sensor unit 120, and the like as shown in FIG.

光学装置１１０は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置１１０の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピードなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。なお、光学装置１１０に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置１１０にシャッタ機構が含まれていなくてもよい。また、光学装置１１０は、後述する制御部２１０による制御によって動作する。 The optical device 110 includes, for example, a lens, a diaphragm mechanism, a shutter mechanism, and the like, and performs an optical operation related to imaging. In other words, the operation of the optical device 110 collects incident light and adjusts optical elements related to the angle of view, focus, exposure, and the like, such as focal length, aperture, and shutter speed. Note that the shutter mechanism included in the optical device 110 is a so-called mechanical shutter, and when the shutter operation is performed only by the operation of the image sensor, the optical device 110 may not include the shutter mechanism. The optical device 110 operates under the control of the control unit 210 described later.

イメージセンサ部１２０は、光学装置１１０によって集光された入射光に応じた電気信号を生成するイメージセンサから構成される。本実施形態では、イメージセンサとして、ＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）が用いられるものとし、特に、高速読み出し（例えば、全画素で６０ｆｐｓ（frames per second）以上）をおこなうことのできる、いわゆる高速ＣＭＯＳであるものとする。本実施形態では、このような高速読み出しのイメージセンサを用いることで、デジタルカメラ１で高速動画撮像が実現されているものとする。 The image sensor unit 120 includes an image sensor that generates an electric signal corresponding to incident light collected by the optical device 110. In this embodiment, a CMOS (Complementary Metal Oxide Semiconductor) is used as the image sensor, and in particular, high-speed reading (for example, 60 fps (frames per second) or more for all pixels) is performed. It is assumed that this is a so-called high speed CMOS. In the present embodiment, it is assumed that high-speed moving image capturing is realized by the digital camera 1 by using such an image sensor for high-speed reading.

本実施形態における「高速動画撮像」とは、ハイスピードカメラの一般的な定義である秒間１００コマ以上の動画撮像を指すものとし、本実施形態にかかるデジタルカメラ１では、３００ｆｐｓのフレームレートで高速動画撮像をおこなえるものとする。この高速動画撮像は、時間伸張再生（すなわち、スロー再生）をおこなうためのものであり、３００ｆｐｓで撮像された動画像を、通常のフレームレート（例えば、３０ｆｐｓ）で再生することで、時間伸張再生が実現されるものである。 “High-speed moving image capturing” in the present embodiment refers to moving image capturing of 100 frames or more per second, which is a general definition of a high-speed camera. In the digital camera 1 according to the present embodiment, high-speed moving image capturing is performed at a frame rate of 300 fps. It shall be able to capture moving images. This high-speed moving image capturing is for performing time-extended reproduction (that is, slow reproduction), and by reproducing a moving image captured at 300 fps at a normal frame rate (for example, 30 fps), time-extended reproduction is performed. Is realized.

このような高速動画撮像を実現するイメージセンサは、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部２００に出力する。また、イメージセンサ部１２０は、イメージセンサが出力したアナログ電気信号を処理するアナログ信号処理回路（いわゆる、ＡＦＥ（Analog Front End：アナログ前処理回路）を備える。ＡＦＥは、少なくとも信号増幅回路を備えており、イメージセンサの出力信号を増幅して、撮像感度（ゲイン）の調整をおこなう。ＡＦＥは、制御部２１０が指定する増幅率で増幅をおこなうことで、露出に応じた撮像感度の調整をおこなう。 The image sensor that realizes such high-speed moving image imaging generates an electrical signal corresponding to the received light by performing photoelectric conversion, and outputs the electrical signal to the data processing unit 200. In addition, the image sensor unit 120 includes an analog signal processing circuit (so-called AFE (Analog Front End)) that processes an analog electrical signal output from the image sensor, and the AFE includes at least a signal amplification circuit. The image sensor amplifies the output signal of the image sensor and adjusts the imaging sensitivity (gain), and the AFE adjusts the imaging sensitivity according to the exposure by performing amplification at the amplification factor specified by the control unit 210. .

データ処理部２００は、撮像部１００による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図１に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、などから構成される。 The data processing unit 200 processes the electrical signal generated by the imaging operation by the imaging unit 100 to generate digital data indicating the captured image, and performs image processing on the captured image. As shown in FIG. 1, the data processing unit 200 includes a control unit 210, an image processing unit 220, an image memory 230, an image output unit 240, a storage unit 250, an external storage unit 260, and the like.

制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。 The control unit 210 includes, for example, a processor such as a CPU (Central Processing Unit), a main storage device (memory) such as a RAM (Random Access Memory), and the like. Each part of the digital camera 1 is controlled by executing the stored program. Further, in the present embodiment, by executing a predetermined program, a function related to each process described later is realized by the control unit 210.

画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、イメージセンサ部１２０によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。 The image processing unit 220 includes, for example, an ADC (Analog-Digital Converter), a buffer memory, an image processing processor (so-called image processing engine), and the like, and is generated by the image sensor unit 120. Based on the electrical signal, digital data indicating the captured image is generated.

すなわち、イメージセンサ部１２０から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンがいわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。なお、動画撮像（高速動画撮像）時においては、所定の動画像フォーマット（例えば、H.264/AVCなど）に基づいた符号化処理などが画像処理部２２０によっておこなわれる。 That is, when the analog electric signal output from the image sensor unit 120 is converted into a digital signal by the ADC and sequentially stored in the buffer memory, the image processing engine performs so-called development processing on the buffered digital data. Adjust image quality and compress data. It should be noted that at the time of moving image capturing (high-speed moving image capturing), the image processing unit 220 performs encoding processing based on a predetermined moving image format (for example, H.264 / AVC).

画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。 For example, the image memory 230 includes a storage device such as a RAM or a flash memory, and temporarily stores captured image data generated by the image processing unit 220, image data processed by the control unit 210, and the like.

画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。 The image output unit 240 includes, for example, an RGB signal generation circuit and the like, converts the image data expanded in the image memory 230 into an RGB signal and the like, and outputs the RGB signal to a display screen (a display unit 310 to be described later).

記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２５０に格納されているものとする。 The storage unit 250 includes a storage device such as a ROM (Read Only Memory) or a flash memory, and stores programs and data necessary for the operation of the digital camera 1. In the present embodiment, it is assumed that the operation program executed by the control unit 210 and the like, parameters and arithmetic expressions necessary for the processing are stored in the storage unit 250.

外部記憶部２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データなどを格納する。 The external storage unit 260 includes a storage device that can be attached to and detached from the digital camera 1 such as a memory card, and stores image data captured by the digital camera 1.

インタフェース部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図１に示すように、表示部３１０、外部インタフェース（Ｉ／Ｆ）部３２０、操作部３３０、などから構成される。 The interface unit 300 has a configuration related to an interface between the digital camera 1 and its user or an external device. As shown in FIG. 1, the display unit 310, an external interface (I / F) unit 320, an operation unit 330, etc. Consists of

表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像（ファインダ画像）、再生画像、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。 The display unit 310 includes, for example, a liquid crystal display device, and displays and outputs various screens necessary for operating the digital camera 1, live view images (finder images) at the time of shooting, reproduced images, and the like. In the present embodiment, display output of a captured image or the like is performed based on an image signal (RGB signal) from the image output unit 240.

外部インタフェース部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子などから構成され、外部のコンピュータ装置への画像データの出力や、外部のモニタ装置への撮像画像の表示出力などをおこなう。 The external interface unit 320 includes, for example, a USB (Universal Serial Bus) connector, a video output terminal, and the like, and performs output of image data to an external computer device, display output of a captured image to an external monitor device, and the like. .

操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、撮像動作を指示するためのボタンや、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。 The operation unit 330 includes various buttons configured on the outer surface of the digital camera 1, generates an input signal corresponding to an operation by the user of the digital camera 1, and inputs the input signal to the control unit 210. As buttons constituting the operation unit 330, for example, a button for instructing an imaging operation, a mode button for designating an operation mode of the digital camera 1, a cross key or a function button for performing various settings, and the like. It shall be included.

このような構成のデジタルカメラ１においては、記憶部２５０に格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図２を参照して説明する。 In the digital camera 1 having such a configuration, the control unit 210 executes the operation program stored in the storage unit 250 to realize each process described later. In this case, the control unit 210 implements each process. The function will be described with reference to FIG.

図２は、制御部２１０によって実現される機能を示した機能ブロック図である。ここでは、デジタルカメラ１の高速動画撮像機能によって高速動画撮像にかかる動作を実現するために必要な機能構成を示す。この場合、図示するように、制御部２１０は、動作モード処理部２１１、撮像制御部２１２、撮像感度制御部２１３、画像判別部２１４、フレーム画像生成部２１５、などとして機能する。 FIG. 2 is a functional block diagram illustrating functions realized by the control unit 210. Here, a functional configuration necessary for realizing an operation related to high-speed moving image capturing by the high-speed moving image capturing function of the digital camera 1 is shown. In this case, as illustrated, the control unit 210 functions as an operation mode processing unit 211, an imaging control unit 212, an imaging sensitivity control unit 213, an image determination unit 214, a frame image generation unit 215, and the like.

動作モード処理部２１１は、表示部３１０との協働により、デジタルカメラ１が有する各種動作モードをデジタルカメラ１のユーザに指定させるために必要な画面表示や指定された動作モード毎の設定画面表示などをおこなう他、操作部３３０との協働により、ユーザが指定した動作モードを認識し、当該動作モードの実行に必要なプログラムや演算式などを記憶部２５０から読み出して制御部２１０の主記憶装置（メモリ）にロードする。本実施形態では、高フレームレート（例えば、３００ｆｐｓ）での動画像撮像をおこなう「高速動画撮像モード」が用意されているものとし、この高速動画撮像モードが選択されたことを動作モード処理部２１１が認識した場合に、以下の各機能が制御部２１０によって実現される。 The operation mode processing unit 211 cooperates with the display unit 310 to display screens necessary for the user of the digital camera 1 to specify various operation modes of the digital camera 1 and setting screen displays for each specified operation mode. In addition, the operation mode designated by the user is recognized in cooperation with the operation unit 330, and a program or an arithmetic expression necessary for executing the operation mode is read from the storage unit 250 to store the main memory of the control unit 210. Load to device (memory). In this embodiment, it is assumed that a “high-speed moving image capturing mode” that performs moving image capturing at a high frame rate (for example, 300 fps) is prepared, and that the high-speed moving image capturing mode is selected. Are recognized, the following functions are realized by the control unit 210.

撮像制御部２１２は、デジタルカメラ１のユーザによる操作部３３０の操作に応じて制御部２１０に入力した入力信号などに基づいて撮像部１００を制御することで、デジタルカメラ１での撮像動作を実行する。高速動画撮像モードにおいては、操作部３３０を構成しているスタート／ストップボタンが操作されたことで生成された入力信号に基づいて、撮像部１００による高速動画撮像動作の開始／終了を制御する。 The imaging control unit 212 executes the imaging operation in the digital camera 1 by controlling the imaging unit 100 based on an input signal or the like input to the control unit 210 according to the operation of the operation unit 330 by the user of the digital camera 1. To do. In the high-speed moving image capturing mode, the start / end of the high-speed moving image capturing operation by the image capturing unit 100 is controlled based on the input signal generated by operating the start / stop button constituting the operation unit 330.

撮像感度制御部２１３は、高速動画撮像モードで動画撮像をおこなう際の撮像感度を設定するとともに、撮像された動画像を用いた判別動作に基づいて、設定された撮像感度の変更をおこなう。この場合、撮像感度制御部２１３は、設定すべき撮像感度の数値を決定し、設定すべき撮像感度で高速動画撮像動作がおこなわれるようＡＦＥの信号増幅回路を制御する。 The imaging sensitivity control unit 213 sets the imaging sensitivity when performing moving image capturing in the high-speed moving image capturing mode, and changes the set imaging sensitivity based on the determination operation using the captured moving image. In this case, the imaging sensitivity control unit 213 determines the numerical value of the imaging sensitivity to be set, and controls the signal amplification circuit of the AFE so that the high-speed moving image imaging operation is performed with the imaging sensitivity to be set.

画像判別部２１４は、撮像部１００の高速動画撮像によって得られた撮像画像から被写体を検出し、連続する撮像画像間での被写体の変化に基づいて、撮像画像を用いたマルチプレーン処理（詳細後述）が可能であるか否かを判別する。 The image discriminating unit 214 detects a subject from a captured image obtained by high-speed moving image capturing of the imaging unit 100, and performs multi-plane processing using the captured image (described later in detail) based on a change in the subject between consecutive captured images. ) Is possible.

フレーム画像生成部２１５は、撮像画像から、再生対象となる動画像データを構成するフレーム画像を生成する。本実施形態では、便宜上、撮像部１００の高速動画撮像動作によって得られたフレーム画像を「撮像画像」とし、撮像画像を用いて生成された、再生対象となる動画像データを構成しているフレーム画像を「フレーム画像」とする。 The frame image generation unit 215 generates a frame image constituting moving image data to be reproduced from the captured image. In the present embodiment, for convenience, a frame image obtained by the high-speed moving image capturing operation of the image capturing unit 100 is referred to as a “captured image”, and frames that constitute moving image data to be reproduced, generated using the captured image. Let the image be a “frame image”.

フレーム画像生成部２１５は、画像判別部２１４の判別結果に応じた処理をおこなうことで、フレーム画像を生成する。この場合において、画像判別部２１４によってマルチプレーン処理が可能であると判別された撮像画像については、フレーム画像を生成する際に、フレーム画像生成部２１５がマルチプレーン処理をおこなう。 The frame image generation unit 215 generates a frame image by performing processing according to the determination result of the image determination unit 214. In this case, the frame image generation unit 215 performs multiplane processing on the captured image that is determined by the image determination unit 214 to be capable of multiplane processing when generating a frame image.

ここで、本実施形態における「マルチプレーン処理」とは、複数の撮像画像の輝度成分を加算する合成により、一定の輝度となるフレーム画像を生成するものである。つまり、フレーム毎の露光時間が短い高速動画撮像において、露出不足となった複数の撮像画像の輝度成分を加算した合成画像によって再生対象となるフレーム画像を生成することで、適正露出となる輝度に補正する。 Here, “multi-plane processing” in the present embodiment is to generate a frame image having a constant luminance by combining the luminance components of a plurality of captured images. In other words, in high-speed moving image capturing with a short exposure time for each frame, a frame image to be reproduced is generated by a composite image obtained by adding the luminance components of a plurality of captured images that are underexposed, thereby achieving appropriate exposure brightness. to correct.

また、撮像感度の調整により、撮像画像が適正露出となっている場合もある。マルチプレーン処理の対象となる撮像画像が適正露出である場合、加算平均によって輝度成分を加算する。加算平均は、例えば、適正露出となっている撮像画像の輝度成分を加算してから枚数で除する。高速動画撮像において、撮像画像が適正露出となっている場合は、輝度は十分であるが、高感度で撮像されているためノイズが多くなっている。このような撮像画像については、加算平均をおこなうことで、輝度を維持しつつノイズを低減させることができる。 Moreover, the captured image may be appropriately exposed by adjusting the imaging sensitivity. When the captured image to be subjected to the multi-plane processing has proper exposure, the luminance component is added by averaging. In addition averaging, for example, the luminance component of a captured image that is properly exposed is added and then divided by the number of images. In high-speed moving image capturing, when the captured image has an appropriate exposure, the luminance is sufficient, but noise is increased because the image is captured with high sensitivity. With respect to such a captured image, noise can be reduced while maintaining luminance by performing addition averaging.

また、マルチプレーン処理対象とされた撮像画像が露出不足である場合、もしくは、適正露出の画像と露出不足の画像が混在している場合、マルチプレーン処理の際に輝度成分を加算するが、加算する枚数に応じた係数を乗じることにより、一定の輝度となるようにする。この場合、撮像画像全体の輝度と、撮像感度との間に相関関係があるため、対象となっている撮像画像に適用された撮像感度に基づいて係数を設定することができる。 Also, if the captured image targeted for multiplane processing is underexposed, or if there is a mixture of properly exposed images and underexposed images, the luminance component is added during multiplane processing. By multiplying by a coefficient corresponding to the number of images to be performed, a constant luminance is obtained. In this case, since there is a correlation between the brightness of the entire captured image and the imaging sensitivity, the coefficient can be set based on the imaging sensitivity applied to the target captured image.

例えば、適正露出となる撮像感度がＩＳＯ８００（高感度）で、露出不足となった撮像画像の撮像感度がＩＳＯ４００（低感度）であった場合に、低感度で撮像された画像の輝度は、高感度で撮像された画像の輝度の１／２とみなすことができる。この場合、低感度で撮像された画像を２枚加算すれば、高感度で撮像された画像の輝度と同じになる。 For example, when the imaging sensitivity for proper exposure is ISO 800 (high sensitivity) and the imaging sensitivity of a captured image with insufficient exposure is ISO 400 (low sensitivity), the brightness of the image captured with low sensitivity is high. It can be regarded as 1/2 the luminance of the image captured with sensitivity. In this case, if two images captured with low sensitivity are added, the luminance of the image captured with high sensitivity is the same.

しかしながら、このような画像を３枚加算する場合には、高感度で撮像された画像（適正露出）の輝度よりも高くなる。この場合、撮像感度の数値に基づいて係数を設定する。ＩＳＯ感度４００（低感度）で撮像した画像を３枚加算した場合、撮像感度を枚数分加算した数値は「１２００」となるので、適正露出となる撮像感度を示す数値である「８００」にするための係数として「２／３」が設定される。 However, when three such images are added, the luminance is higher than the brightness of the image (proper exposure) captured with high sensitivity. In this case, the coefficient is set based on the numerical value of the imaging sensitivity. When three images picked up with ISO sensitivity 400 (low sensitivity) are added, the value obtained by adding the number of image pickup sensitivities is “1200”, so the value is “800”, which is a value indicating the image pickup sensitivity for proper exposure. “2/3” is set as a coefficient for this purpose.

このような係数を用いたマルチプレーン処理は、撮像感度が混在する場合にもおこなわれる。例えば、高感度（ＩＳＯ８００）で撮像された画像と、低感度（ＩＳＯ４００）で撮像された画像とがマルチプレーン処理の対象となっている場合、感度の数値を加算すると「１２００」になる。この場合も、適正露出となる撮像感度を示す数値である「８００」にするための係数として「２／３」が設定されることになる。 Multi-plane processing using such coefficients is also performed when imaging sensitivity is mixed. For example, when an image picked up with high sensitivity (ISO 800) and an image picked up with low sensitivity (ISO 400) are targets of multi-plane processing, the numerical value of sensitivity is “1200”. Also in this case, “2/3” is set as a coefficient for setting “800”, which is a numerical value indicating the imaging sensitivity at which proper exposure is achieved.

以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。この場合、図２に示した機能のうち、画像処理にかかる機能については、画像処理部２２０によって実現されてもよい。 The above is the function realized by the control unit 210. In the present embodiment, each function described above is realized by a logical process performed by the control unit 210 executing a program. These functions are, for example, ASIC (Application Specific Integrated Circuit). Or an integrated circuit). In this case, among the functions shown in FIG. 2, the functions related to image processing may be realized by the image processing unit 220.

以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。 The configuration of the digital camera 1 described above is a configuration necessary for realizing the present invention, and a configuration used for a basic function and various additional functions as a digital camera is provided as necessary. .

このような構成のデジタルカメラ１による動作を以下に説明する。ここでは、高速動画撮像モードが選択されている場合に実行される「高速動画撮像処理（１）」を、図３に示すフローチャートを参照して説明する。この「高速動画撮像処理（１）」は、デジタルカメラ１のユーザが操作部３３０を操作することで、デジタルカメラ１の動作モードを高速動画撮像モードに設定したことを契機に開始される。 The operation of the digital camera 1 having such a configuration will be described below. Here, the “high-speed moving image capturing process (1)” executed when the high-speed moving image capturing mode is selected will be described with reference to the flowchart shown in FIG. The “high-speed moving image capturing process (1)” is started when the user of the digital camera 1 operates the operation unit 330 to set the operation mode of the digital camera 1 to the high-speed moving image capturing mode.

処理が開始されると、動作モード処理部２１１は、高速動画撮像モードが設定された旨を撮像制御部２１２および撮像感度制御部２１３に通知するとともに、高速動画撮像にかかるフレームレート（ハイスピード）を設定する（ステップＳ１０１）。ここで、高速動画撮像モードとして用意されるフレームレートが１種類であれば、そのフレームレートを設定し、複数種類ある場合は、フレームレートの設定画面を表示部３１０に表示することで、ユーザが所望するフレームレートを設定する。 When the processing is started, the operation mode processing unit 211 notifies the imaging control unit 212 and the imaging sensitivity control unit 213 that the high-speed moving image capturing mode has been set, and the frame rate (high speed) for high-speed moving image capturing. Is set (step S101). Here, if the frame rate prepared as the high-speed moving image capturing mode is one type, the frame rate is set, and if there are a plurality of types, the frame rate setting screen is displayed on the display unit 310 so that the user can Set the desired frame rate.

このとき、撮像制御部２１２は、撮像部１００を制御し、高速動画撮像の動作準備をおこなう。ここでは、ファインダ表示用の動画像を取得するために撮像部１００を動作させる。この場合、通常のフレームレート（例えば、３０ｆｐｓ）、もしくは、ファインダ表示用に通常のフレームレートよりも落としたフレームレートで動画撮像がおこなわれるよう撮像部１００を制御する。この撮像動作の際に測光動作がおこなわれ、撮影環境における光量などが計測される。ここでは、イメージセンサ部１２０のイメージセンサでの受光量に基づいた測光動作がおこなわれるものとする。 At this time, the imaging control unit 212 controls the imaging unit 100 to prepare for operation for high-speed moving image imaging. Here, the imaging unit 100 is operated in order to acquire a moving image for finder display. In this case, the imaging unit 100 is controlled so that moving image imaging is performed at a normal frame rate (for example, 30 fps) or a frame rate lower than the normal frame rate for finder display. A photometric operation is performed during the imaging operation, and the amount of light in the shooting environment is measured. Here, it is assumed that a photometric operation based on the amount of light received by the image sensor of the image sensor unit 120 is performed.

フレームレートを設定すると、動作モード処理部２１１は、設定したフレームレート（ここでは、３００ｆｐｓであるものとする）を撮像感度制御部２１３に通知する。また、撮像制御部２１２からは、ファインダ表示用の撮像動作による測光値が撮像感度制御部２１３に通知される。 When the frame rate is set, the operation mode processing unit 211 notifies the imaging sensitivity control unit 213 of the set frame rate (in this case, 300 fps). Further, the imaging control unit 212 notifies the imaging sensitivity control unit 213 of a photometric value obtained by an imaging operation for finder display.

撮像感度制御部２１３は、動作モード処理部２１１から通知されたフレームレートと、撮像制御部２１２から通知された測光値から、現在の撮影環境で高速動画撮像をおこなう場合に適正露出となる撮像感度を算出して設定する（ステップＳ１０２）。 The imaging sensitivity control unit 213 uses the frame rate notified from the operation mode processing unit 211 and the photometric value notified from the imaging control unit 212 to obtain an imaging sensitivity that provides proper exposure when performing high-speed moving image imaging in the current imaging environment. Is calculated and set (step S102).

この場合、フレームレートから１フレーム分の時間（３００ｆｐｓの場合、３．３ミリ秒。以下、「単位時間」）が求められるので、その単位時間内となる露光時間で適正露出のＥｖ値（Ｅｖ：Exposure Value）とするために必要な撮影感度を算出する。この演算には、既知の露出制御アルゴリズムが用いられるものとし、撮像部１００を構成しているレンズのＦナンバーなどをパラメータとした演算により、必要な撮像感度が設定される。 In this case, since the time for one frame is obtained from the frame rate (3.3 milliseconds in the case of 300 fps, hereinafter referred to as “unit time”), the Ev value (Ev) of the appropriate exposure with the exposure time within the unit time. : Exposure value) is calculated. In this calculation, a known exposure control algorithm is used, and a necessary imaging sensitivity is set by a calculation using the F number of the lens constituting the imaging unit 100 as a parameter.

ここで、高速動画撮像の場合は、１フレーム分の露光時間が通常の動画撮像よりも格段に短くなるため、設定される撮像感度は比較的高感度（例えば、ＩＳＯ感度８００以上など）となる。すなわち、高速動画撮像においては、高感度域の撮像感度がデフォルトで設定される。 Here, in the case of high-speed moving image capturing, the exposure time for one frame is remarkably shorter than that of normal moving image capturing. Therefore, the set image capturing sensitivity is relatively high (for example, ISO sensitivity of 800 or more). . That is, in high-speed moving image imaging, the imaging sensitivity in the high sensitivity region is set by default.

このようにして、設定されたフレームレートと測光値から撮像感度が設定されると、撮像感度制御部２１３はその旨を動作モード処理部２１１に通知する。動作モード処理部２１１は、撮像感度制御部２１３からの通知に基づいて、所定の表示を表示部３１０に表示させることで、高速動画撮像が開始できることをユーザに通知する。 Thus, when the imaging sensitivity is set from the set frame rate and photometric value, the imaging sensitivity control unit 213 notifies the operation mode processing unit 211 to that effect. The operation mode processing unit 211 notifies the user that high-speed moving image capturing can be started by displaying a predetermined display on the display unit 310 based on the notification from the imaging sensitivity control unit 213.

この通知を認識したユーザは、高速動画撮像を開始したいタイミングで操作部３３０を操作する。この操作によって生成された入力信号が操作部３３０から制御部２１０に入力されると、撮像制御部２１２は、撮像開始指示がなされたと判別し（ステップＳ１０３：Ｙｅｓ）、撮像部１００を制御して高速動画撮像を開始する（ステップＳ１０４）。この場合、撮像制御部２１２は、ステップＳ１０１で設定されたフレームレートで高速動画撮像がおこなわれるよう撮像部１００を制御する。 The user who recognizes this notification operates the operation unit 330 at a timing at which high-speed moving image capturing is to be started. When the input signal generated by this operation is input from the operation unit 330 to the control unit 210, the imaging control unit 212 determines that an imaging start instruction has been given (step S103: Yes), and controls the imaging unit 100 to control the imaging unit 100. High-speed moving image capturing is started (step S104). In this case, the imaging control unit 212 controls the imaging unit 100 so that high-speed moving image imaging is performed at the frame rate set in step S101.

また、撮像制御部２１２は、高速動画撮像を開始した際に、その旨を撮像感度制御部２１３に通知する。撮像感度制御部２１３は、撮像制御部２１２からの通知に応じて、ステップＳ１０２で設定した撮像感度となるよう、撮像部１００のＡＦＥを制御するとともに、高速動画撮像動作が開始されたことを画像判別部２１４に通知する。 In addition, the imaging control unit 212 notifies the imaging sensitivity control unit 213 when high-speed moving image imaging is started. In response to the notification from the imaging control unit 212, the imaging sensitivity control unit 213 controls the AFE of the imaging unit 100 so that the imaging sensitivity set in step S102 is obtained, and displays that the high-speed moving image imaging operation has started. The determination unit 214 is notified.

このようにして高速動画撮像が開始されると、設定されたフレームレートに基づく単位時間毎に撮像画像が生成され、画像メモリ２３０に順次展開される。このとき、各撮像画像には、例えば、Exif（Exchangeable Image File Format）データが付加されるものとし、撮像時のパラメータ（撮像感度や露光時間、絞り値、など）が記録される。 When high-speed moving image capturing is started in this manner, captured images are generated every unit time based on the set frame rate and sequentially developed in the image memory 230. At this time, for example, Exif (Exchangeable Image File Format) data is added to each captured image, and parameters at the time of imaging (imaging sensitivity, exposure time, aperture value, etc.) are recorded.

ここで、１枚目の撮像画像（ステップＳ１０５：Ｎｏ）については、フレーム画像生成部２１５の処理により、当該撮像画像がそのまま１枚目のフレーム画像となる（ステップＳ１０８）。 Here, with respect to the first captured image (step S105: No), the captured image is directly used as the first frame image by the processing of the frame image generation unit 215 (step S108).

１枚目のフレーム画像が生成されると、所定の終了イベントが発生するまで、ステップＳ１０５以降の処理が繰り返し実行される（ステップＳ１０９：Ｎｏ）。そして、撮像画像が２枚以上得られると（ステップＳ１０５：Ｙｅｓ）、画像判別部２１４は、画像メモリ２３０に展開された撮像画像から被写体検出をおこなう（ステップＳ１０６）。この場合の被写体検出は、既知の方法が用いられるものとし、例えば、画像中の輝度分布に基づいたセグメンテーションなどによって被写体部分を検出する。あるいは、デジタルカメラ１が顔認識機能を備えている場合には、顔認識によって認識された顔部分を被写体として検出してもよい。 When the first frame image is generated, the processes after step S105 are repeatedly executed until a predetermined end event occurs (step S109: No). When two or more captured images are obtained (step S105: Yes), the image determination unit 214 performs subject detection from the captured images developed in the image memory 230 (step S106). In this case, a known method is used for subject detection. For example, the subject portion is detected by segmentation based on the luminance distribution in the image. Alternatively, when the digital camera 1 has a face recognition function, a face portion recognized by face recognition may be detected as a subject.

画像メモリ２３０に展開されている複数の撮像画像で被写体を検出すると、画像判別部２１４は、連続する撮像画像間で検出された被写体の変化量を検出する（ステップＳ１０７）。 When a subject is detected from a plurality of captured images developed in the image memory 230, the image determination unit 214 detects the amount of change in the subject detected between successive captured images (step S107).

本実施形態では、高速動画撮像時における高感度撮像に起因するノイズを低減するため、被写体の変化量に基づいて、撮像感度を制御するとともに、撮像感度の違いによる輝度のバラツキを補正することで、ノイズの低減を図る。このため、画像判別部２１４によって被写体の変化量が検出されると、撮像画像の輝度を補正するための「輝度補正処理」（ステップＳ１２０）と、撮像感度を制御するための「感度制御処理」（ステップＳ１４０）と、が並行して実行される。これらの処理を、図４および図５に示すフローチャートを参照して説明する。 In the present embodiment, in order to reduce noise caused by high-sensitivity imaging during high-speed video imaging, the imaging sensitivity is controlled based on the amount of change in the subject, and brightness variations due to differences in imaging sensitivity are corrected. To reduce noise. Therefore, when the change amount of the subject is detected by the image determination unit 214, “luminance correction processing” (step S120) for correcting the luminance of the captured image and “sensitivity control processing” for controlling the imaging sensitivity. (Step S140) are executed in parallel. These processes will be described with reference to the flowcharts shown in FIGS.

まず、「輝度補正処理」を、図４に示すフローチャートを参照して説明する。処理が開始されると、画像判別部２１４により、検出された被写体部分の撮像画像間での変化量が、所定の許容範囲内にあるか否かを判別される（ステップＳ１２１）。 First, the “brightness correction process” will be described with reference to the flowchart shown in FIG. When the process is started, the image determination unit 214 determines whether or not the amount of change between the captured images of the detected subject portion is within a predetermined allowable range (step S121).

ここでは、被写体の変化量が許容範囲内にあるか否かにより、マルチプレーン処理が可能であるか否かの判別がなされる。すなわち、本実施形態にかかるマルチプレーン処理は、上述したように、撮像画像の輝度成分を加算する画像合成をおこなうものであるため、画像合成により不自然な動画とならないようにする必要がある。よって、連続する撮像画像間で検出された被写体に変化がない場合や、変化があっても位置合わせをおこなうことのできる変化のしかたや変化量である場合にマルチプレーン処理がおこなえることになる。 Here, it is determined whether or not multi-plane processing is possible depending on whether or not the amount of change in the subject is within the allowable range. In other words, as described above, the multi-plane processing according to the present embodiment performs image composition in which the luminance components of the captured image are added, and therefore it is necessary to prevent an unnatural moving image from being generated by image composition. Therefore, multi-plane processing can be performed when there is no change in the detected subject between consecutive captured images, or when the change and amount of change can be performed even if there is a change.

ここで、被写体変化と許容範囲の例を、図６を参照して説明する。ここでは、本実施形態にかかるデジタルカメラ１が顔認識機能を備えているものとし、顔認識機能によって人間の顔が被写体として検出された場合を例に以下説明する。 Here, examples of subject changes and allowable ranges will be described with reference to FIG. Here, it is assumed that the digital camera 1 according to the present embodiment has a face recognition function, and a case where a human face is detected as a subject by the face recognition function will be described as an example.

図６において、図６（ａ）は、ある撮像画像の例を示し、図６（ｂ）〜図６（ｉ）は、図６（ａ）に示した撮像画像に連続する撮像画像の例を示している。つまり、図６（ｂ）〜図６（ｉ）に示す撮像画像で検出された被写体と、図６（ａ）に示す撮像画像で検出された被写体とを比較することで、被写体の変化のしかたや変化量が検出される。 6A illustrates an example of a certain captured image, and FIGS. 6B to 6I illustrate examples of captured images that are continuous with the captured image illustrated in FIG. 6A. Show. That is, by comparing the subject detected in the captured image shown in FIGS. 6B to 6I with the subject detected in the captured image shown in FIG. 6A, how the subject is changed. And the amount of change is detected.

図６（ｂ）は、検出された被写体の位置が、図６（ａ）に示す被写体の位置からズレており、そのズレ量が微小である場合を示している。このような微小な位置ズレの場合は、両画像の位置合わせをおこなっても画像全体の変化が微小であるので、マルチプレーン処理によって合成しても問題がない。よって、位置ズレのズレ量が微小である場合には、許容範囲内である（ＯＫ）と判別される。 FIG. 6B shows a case where the position of the detected subject is deviated from the position of the subject shown in FIG. 6A and the amount of deviation is small. In the case of such a slight positional deviation, there is no problem even if they are combined by multi-plane processing because the change in the entire image is minute even if both images are aligned. Therefore, when the amount of positional deviation is very small, it is determined that it is within the allowable range (OK).

一方、図６（ｃ）は、検出された被写体の位置が、図６（ａ）に示す被写体の位置からズレており、そのズレ量が大きい場合を示している。このような大きな位置ズレの場合は、両画像の位置合わせをおこなうと画像全体も大きく変化してしまうので、マルチプレーン処理の合成には適さない。よって、位置ズレのズレ量が大きい場合には、許容範囲外である（ＮＧ）と判別される。 On the other hand, FIG. 6C shows a case where the detected position of the subject is deviated from the position of the subject shown in FIG. 6A and the amount of deviation is large. In the case of such a large misalignment, if the images are aligned, the entire image changes greatly, so that it is not suitable for multi-plane processing synthesis. Therefore, when the amount of positional deviation is large, it is determined that it is outside the allowable range (NG).

すなわち、検出された被写体に位置ズレがある場合は、位置合わせによる影響に基づいてズレ量についての許容範囲が規定されることになる。この場合、ズレ量と画像変化の影響は、画像全体のサイズ（画素数）などによって相対的に異なるため、撮像画像の画像サイズに応じて予め規定されるものとする。例えば、「被写体の位置ズレにおける横方向および縦方向それぞれのズレ量が、その画像の横方向および縦方向画素数の１％未満であれば許容範囲内である」、などと規定する。 In other words, when the detected subject has a positional deviation, an allowable range for the deviation amount is defined based on the influence of the alignment. In this case, since the influence of the shift amount and the image change is relatively different depending on the size (number of pixels) of the entire image, it is defined in advance according to the image size of the captured image. For example, it is defined that “the amount of deviation in the horizontal direction and the vertical direction in the positional deviation of the subject is within an allowable range if they are less than 1% of the number of horizontal and vertical pixels of the image”.

図６（ｄ）および図６（ｅ）は、撮像画像間で被写体の角度ズレがある場合の例を示している。この場合も、ズレ量分の角度で画像全体を回転させることで位置合わせをおこなうことができるが、回転角度が大きいと、画像全体の形状が規定のフォーマットと異なってしまう。よって、角度ズレについても、そのズレ量（角度）が微小である場合（図６（ｄ））は、許容範囲内（ＯＫ）とすることができ、大きい場合（図６（ｅ））は、許容範囲外（ＮＧ）となる。 FIG. 6D and FIG. 6E show an example in the case where there is an angle shift of the subject between the captured images. In this case as well, alignment can be performed by rotating the entire image by an angle corresponding to the shift amount. However, if the rotation angle is large, the shape of the entire image is different from the prescribed format. Therefore, the angle deviation can be within the allowable range (OK) when the deviation amount (angle) is very small (FIG. 6D), and when it is large (FIG. 6E), Out of tolerance (NG).

角度については、画像サイズなどにかかわらず、角度の大きさと位置合わせによる影響とが絶対的な関係となるので、例えば、「角度ズレのズレ量（角度）が１度未満であれば許容範囲内である」、などと規定することができる。 As for the angle, regardless of the image size or the like, since the magnitude of the angle and the influence of the alignment have an absolute relationship, for example, “If the angle deviation (angle) is less than 1 degree, it is within the allowable range. It can be defined as “

図６（ｆ）〜図６（ｉ）は、いずれも、許容範囲外（ＮＧ）となる被写体変化の例を示している。図６（ｆ）は、連続する撮像画像間で、検出された被写体の大きさが変化した例を示している。例えば、高速動画撮像中にズーム操作がなされた場合や、被写体とデジタルカメラ１との距離が変化した場合などが相当する。このように被写体の大きさが変化してしまうと、画像上での位置に大きな変化がない場合であっても、被写体を示している領域の範囲が異なっているため、輝度成分の加算による合成をおこなうと、被写体部分がブレたようになってしまうので、マルチプレーン処理には適さない。よって、被写体の変化量に基づいて、被写体の大きさが変化したことが検出された場合は、許容範囲外（ＮＧ）と判別される。 FIGS. 6F to 6I show examples of subject changes that are outside the allowable range (NG). FIG. 6F shows an example in which the size of the detected subject changes between consecutive captured images. For example, it corresponds to a case where a zoom operation is performed during high-speed moving image capturing or a case where the distance between the subject and the digital camera 1 changes. If the size of the subject changes in this way, even if there is no significant change in the position on the image, the range of the region showing the subject is different, so the composition by adding luminance components If this is done, the subject portion will appear blurred, which is not suitable for multiplane processing. Therefore, when it is detected that the size of the subject has changed based on the amount of change in the subject, it is determined that the subject is out of the allowable range (NG).

図６（ｇ）は、被写体の向きが変化した例を示している。輝度成分の加算による画像合成は、ほぼ同じ被写体画像である必要があるが、向きが変化してしまった場合は、同じ被写体であっても被写体画像間では類似していないので、マルチプレーン処理には適さない。よって、被写体の変化量に基づいて、被写体の向きが変化したことが検出された場合は、許容範囲外（ＮＧ）と判別される。 FIG. 6G shows an example in which the orientation of the subject has changed. Image composition by adding luminance components needs to be almost the same subject image, but if the orientation has changed, even if the subject is the same, it is not similar between subject images, so it can be used for multiplane processing. Is not suitable. Therefore, if it is detected that the orientation of the subject has changed based on the amount of change in the subject, it is determined that the subject is out of the allowable range (NG).

図６（ｈ）は、検出された被写体の形状が部分的に変化した例を示しており、例えば、被写体となっている人物の表情が変化した場合などが相当する。この場合、被写体画像を構成している要素（例えば、目、鼻、口、など）の位置が変わってしまうので、同じ被写体であっても被写体画像間では類似せず、マルチプレーン処理には適さない。よって、被写体の変化量に基づいて、被写体の形状が部分的に変化したことが検出された場合は、許容範囲外（ＮＧ）と判別される。 FIG. 6H illustrates an example in which the shape of the detected subject is partially changed, and corresponds to, for example, a case where the facial expression of the person who is the subject has changed. In this case, since the positions of elements (for example, eyes, nose, mouth, etc.) constituting the subject image are changed, the same subject is not similar between the subject images and is suitable for multi-plane processing. Absent. Therefore, when it is detected that the shape of the subject has partially changed based on the amount of change of the subject, it is determined that the subject is out of the allowable range (NG).

図６（ｉ）は、検出された被写体の形状が全体的に変化した例を示しており、例えば、シーンチェンジなどにより、別の被写体に変わった場合などが相当する。この場合は、被写体自体が異なるため、被写体画像間で類似せず、マルチプレーン処理には適さない。よって、被写体の変化量に基づいて、被写体全体の形状が変化したことが検出された場合は、許容範囲外（ＮＧ）と判別される。 FIG. 6I shows an example in which the shape of the detected subject has changed as a whole. For example, this corresponds to a case where the subject is changed to another subject due to a scene change or the like. In this case, since the subject itself is different, the subject images are not similar and are not suitable for multiplane processing. Therefore, when it is detected that the shape of the entire subject has changed based on the amount of change in the subject, it is determined that the subject is out of the allowable range (NG).

このようにして、連続する撮像画像間で検出された被写体の変化と、その変化量に基づいて、比較された撮像画像を用いたマルチプレーン処理をおこなえるか否かが判別される。なお、図６に示した例などに基づく判別基準を示す情報が、記憶部２５０に予め格納されているものとし、画像判別部２１４は、記憶部２５０に格納されている判別基準を参照して判別をおこなう。 In this way, it is determined whether or not multiplane processing using the compared captured images can be performed based on the change in the subject detected between consecutive captured images and the amount of the change. It should be noted that information indicating a discrimination criterion based on the example illustrated in FIG. 6 is stored in the storage unit 250 in advance, and the image determination unit 214 refers to the determination criterion stored in the storage unit 250. Make a decision.

ここで、被写体の変化量が許容範囲内であると判別した場合（ステップＳ１２１：Ｙｅｓ）、画像判別部２１４は、少なくとも、被写体の変化量が検出された連続する２枚の撮像画像を用いたマルチプレーン処理が可能である（「ＯＫ」）と判別し、その旨をフレーム画像生成部２１５に通知する。 Here, when it is determined that the change amount of the subject is within the allowable range (step S121: Yes), the image determination unit 214 uses at least two consecutive captured images in which the change amount of the subject is detected. It is determined that multiplane processing is possible (“OK”), and the fact is notified to the frame image generation unit 215.

フレーム画像生成部２１５は、画像判別部２１４からの通知を受けると、判別結果が連続して「ＯＫ」となっている撮像画像（以下、「連続ＯＫ画像」とする）の枚数（以下、「連続枚数」とする）を計数し（ステップＳ１２２）、連続ＯＫ画像の輝度値を加算する（ステップＳ１２３）。 When the frame image generation unit 215 receives the notification from the image determination unit 214, the number of captured images (hereinafter referred to as “continuous OK images”) whose determination result is “OK” continuously (hereinafter “continuous OK images”). The number of continuous images ”is counted (step S122), and the luminance value of the continuous OK image is added (step S123).

フレーム画像生成部２１５は、輝度値を加算した連続ＯＫ画像のそれぞれについて、例えば、各撮像画像に付加されているExifデータを参照することなどにより、当該画像の撮像時に設定されていた撮像感度を認識する。そして、連続ＯＫ画像のすべてが「高感度」である場合（ステップＳ１２４：Ｙｅｓ）、ステップＳ１２３で算出した加算値を、ステップＳ１２２で計数した連続ＯＫ画像の枚数で除することで（ステップＳ１２５）、連続ＯＫ画像を用いたマルチプレーン処理による輝度補正がなされ、「高速動画撮像処理（１）」（図３）のフローに戻る。 The frame image generation unit 215 refers to the Exif data added to each captured image, for example, for each continuous OK image to which the luminance value has been added, to thereby determine the imaging sensitivity set at the time of capturing the image. recognize. If all the continuous OK images are “high sensitivity” (step S124: Yes), the added value calculated in step S123 is divided by the number of continuous OK images counted in step S122 (step S125). Then, luminance correction is performed by multi-plane processing using continuous OK images, and the flow returns to the flow of “high-speed moving image capturing processing (1)” (FIG. 3).

つまり、高感度撮像では、撮像画像の輝度が十分であるため、輝度値を加算すると露出オーバーとなる。よって、輝度の加算値を平均する加算平均をおこなうことで適正露出とする。また、高感度撮像ではノイズが多くなるが、ノイズ成分は撮像画像毎にランダムに発生しているので、加算平均をおこなうことでノイズは低減する。 That is, in high-sensitivity imaging, the brightness of the captured image is sufficient, so adding the brightness value results in overexposure. Therefore, an appropriate exposure is obtained by performing an average of averaging the luminance addition values. In addition, noise is increased in high-sensitivity imaging, but noise components are randomly generated for each captured image. Therefore, noise is reduced by performing addition averaging.

一方、連続ＯＫ画像のすべてが高感度撮像によって得られたものではない場合（ステップＳ１２４：Ｎｏ）、すなわち、連続ＯＫ画像のすべてが低感度撮像で得られているか、高感度撮像で得られた画像と低感度撮像で得られた画像が混在している場合、フレーム画像生成部２１５は、ステップＳ１２２で計数した連続ＯＫ画像の枚数と、各画像の撮像感度から係数αを算出する（ステップＳ１２６）。 On the other hand, when all of the continuous OK images are not obtained by high sensitivity imaging (step S124: No), that is, all of the continuous OK images are obtained by low sensitivity imaging or obtained by high sensitivity imaging. When the image and the image obtained by the low-sensitivity imaging are mixed, the frame image generation unit 215 calculates the coefficient α from the number of continuous OK images counted in step S122 and the imaging sensitivity of each image (step S126). ).

ここで、「高速動画撮像処理（１）」（図３）のステップＳ１０２で設定された撮像感度（高感度）が、設定されたフレームレートを基に適正露出とする感度であるため、フレーム画像生成部２１５は、連続ＯＫ画像のそれぞれの撮像感度に基づいて、ステップＳ１２３で算出した輝度の加算値が、適正露出時の輝度となるような係数αを算出する。 Here, since the imaging sensitivity (high sensitivity) set in step S102 of the “high-speed moving image imaging process (1)” (FIG. 3) is a sensitivity for appropriate exposure based on the set frame rate, the frame image The generation unit 215 calculates a coefficient α such that the luminance addition value calculated in step S123 becomes the luminance at the proper exposure based on the imaging sensitivity of each continuous OK image.

よって、ステップＳ１２３で算出した輝度の加算値に、ステップＳ１２６で算出した係数αを乗じることで（ステップＳ１２７）、連続ＯＫ画像を用いたマルチプレーン処理による輝度補正がなされ、「高速動画撮像処理（１）」（図３）のフローに戻る。 Therefore, by multiplying the luminance addition value calculated in step S123 by the coefficient α calculated in step S126 (step S127), luminance correction is performed by multiplane processing using continuous OK images, and “high-speed moving image imaging processing ( 1) ”(FIG. 3).

このような「輝度補正処理」と並行して実行される「感度制御処理」を、図５に示すフローチャートを参照して説明する。 The “sensitivity control process” executed in parallel with the “brightness correction process” will be described with reference to the flowchart shown in FIG.

処理が開始されると、画像判別部２１４により、検出された被写体変化量が許容範囲内（「ＯＫ」）であるか否（「ＮＧ」）かの判別がおこなわれ（ステップＳ１４１）、判別結果を撮像感度制御部２１３に通知する。 When the process is started, the image determination unit 214 determines whether or not the detected subject change amount is within the allowable range (“OK”) (“NG”) (step S141), and the determination result. Is notified to the imaging sensitivity control unit 213.

撮像感度制御部２１３は、画像判別部２１４から通知された判別結果が「ＯＫ」である場合（ステップＳ１４１：Ｙｅｓ）、現在設定している撮像感度が、「高速動画撮像処理（１）」（図３）のステップＳ１０２で設定した撮像感度（すなわち、高感度）であるか否かを判別する（ステップＳ１４２）。 When the determination result notified from the image determination unit 214 is “OK” (step S141: Yes), the imaging sensitivity control unit 213 sets the currently set imaging sensitivity to “high-speed moving image imaging processing (1)” ( It is determined whether or not the imaging sensitivity (that is, high sensitivity) set in step S102 of FIG. 3) (step S142).

現在設定されている撮像感度が高感度である場合（ステップＳ１４２：Ｙｅｓ）、撮像感度制御部２１３は、撮像感度を低感度に変更し（ステップＳ１４３）、現在設定されている撮像感度が低感度である場合（ステップＳ１４２：Ｎｏ）は、撮像感度の変更をおこなわずに、「高速動画撮像処理（１）」（図３）のフローに戻る。 When the currently set imaging sensitivity is high (step S142: Yes), the imaging sensitivity control unit 213 changes the imaging sensitivity to low sensitivity (step S143), and the currently set imaging sensitivity is low. If this is the case (step S142: No), the flow returns to the flow of “high-speed moving image imaging processing (1)” (FIG. 3) without changing the imaging sensitivity.

つまり、高速動画撮像の場合、フレームレートが高いため、通常、撮像画像間での変化は小さい。よって、変化量が許容範囲内であると判別された場合は、その後に続く撮像画像においても同様の傾向となる可能性が高い。この場合、マルチプレーン処理によって輝度を向上させることができるので、撮像感度を下げても適正露出とすることができる。このため、被写体の変化量が許容範囲内であると判別された場合には、高速動画撮像においてデフォルトとなっている高めの撮像感度を下げることで、高感度撮像時に発生するノイズの低減を図る。 That is, in the case of high-speed moving image capturing, since the frame rate is high, the change between captured images is usually small. Therefore, when it is determined that the amount of change is within the allowable range, the same tendency is likely to occur in subsequent captured images. In this case, since the luminance can be improved by multi-plane processing, it is possible to achieve proper exposure even if the imaging sensitivity is lowered. For this reason, when it is determined that the amount of change in the subject is within the allowable range, the high imaging sensitivity that is the default in high-speed moving image imaging is reduced to reduce noise generated during high-sensitivity imaging. .

一方、判別結果が「ＮＧ」である場合（ステップＳ１４１：Ｎｏ）、撮像感度制御部２１３は、現在設定されている撮像感度が低感度であるか否かを判別する（ステップＳ１４４）。判別された撮像感度が低感度である場合（ステップＳ１４４：Ｙｅｓ）は、撮像感度を高感度に変更し（ステップＳ１４５）、高感度である場合（ステップＳ１４４：Ｎｏ）は、撮像感度の変更をおこなわずに、「高速動画撮像処理（１）」（図３）のフローに戻る。 On the other hand, when the determination result is “NG” (step S141: No), the imaging sensitivity control unit 213 determines whether or not the currently set imaging sensitivity is low (step S144). When the determined imaging sensitivity is low sensitivity (step S144: Yes), the imaging sensitivity is changed to high sensitivity (step S145), and when it is high sensitivity (step S144: No), the imaging sensitivity is changed. Without performing this, the flow returns to the flow of “high-speed moving image capturing processing (1)” (FIG. 3).

つまり、被写体の変化量が許容範囲外となった場合、当該撮像画像を用いたマルチプレーン処理による輝度補正がおこなえないので露出不足となるが、このような状態が連続する場合に備え、撮像感度を高感度に再度変更することで、適正露出の撮像画像が得られるようにする。 In other words, if the amount of change in the subject falls outside the allowable range, the brightness cannot be corrected by multi-plane processing using the captured image, and thus underexposure will occur. Is changed to high sensitivity again so that a captured image with proper exposure can be obtained.

「高速動画撮像処理（１）」（図３）のフローでは、上述した「輝度補正処理」での処理結果を用いて、フレーム画像生成部２１５がフレーム画像の生成をおこなう（ステップＳ１０８）。 In the flow of “high-speed moving image capturing process (1)” (FIG. 3), the frame image generation unit 215 generates a frame image using the processing result in the “brightness correction process” described above (step S108).

すなわち、被写体の変化量が許容範囲内となる撮像画像が連続している間は、マルチプレーン処理によって輝度補正された画像データによってフレーム画像が生成される。また、例えば、シーンチェンジなどにより、被写体の変化量が許容範囲外となった場合には、マルチプレーン処理による輝度補正をおこなわず、そのときの撮像画像でフレーム画像を生成する。 That is, while the captured images in which the change amount of the subject is within the allowable range are continuous, the frame image is generated by the image data whose luminance is corrected by the multiplane processing. Further, for example, when the change amount of the subject is out of the allowable range due to a scene change or the like, the luminance correction by multiplane processing is not performed, and a frame image is generated with the captured image at that time.

フレーム画像生成部２１５により１つのフレーム画像が生成されると、所定の終了イベントが発生するまで、ステップＳ１０５以降の処理が繰り返し実行される（ステップＳ１０９：Ｎｏ）。 When one frame image is generated by the frame image generation unit 215, the processes after step S105 are repeatedly executed until a predetermined end event occurs (step S109: No).

そして、ユーザが操作部３３０を操作することで撮像終了指示が入力されたり、画像メモリ２３０の記憶容量などに基づいて規定される撮像可能時間や撮像可能データ量の上限に達したりするなどの終了イベントが発生すると（ステップＳ１０９：Ｙｅｓ）、高速動画撮像動作を停止するよう撮像制御部２１２が撮像部１００を制御することで本処理を終了する。 Then, when the user operates the operation unit 330, an imaging end instruction is input, or an imaging possible time or an upper limit of the imagingable data amount specified based on the storage capacity of the image memory 230 is reached. When an event occurs (step S109: Yes), the imaging control unit 212 controls the imaging unit 100 so as to stop the high-speed moving image imaging operation, and this process ends.

なお、フレーム画像生成部２１５によって生成されたフレーム画像は、時系列順に編成され、再生対象となる動画像データとして外部記憶部２６０などに保存される。 Note that the frame images generated by the frame image generation unit 215 are organized in chronological order and stored in the external storage unit 260 or the like as moving image data to be reproduced.

以上説明した「高速動画撮像処理（１）」による動作例を、図７を参照して説明する。図７は、撮像部１００の高速撮像動作によって得られた撮像画像（Ｃ１〜Ｃ８）と、撮像画像間での被写体変化量に基づく判別結果（「ＯＫ」か「ＮＧ」か）、撮像感度の切替タイミング、および、生成されたフレーム画像（Ｆ１〜Ｆ８）を時系列に沿って模式的に示したものである。 An example of the operation by the “high-speed moving image capturing process (1)” described above will be described with reference to FIG. FIG. 7 shows the captured image (C1 to C8) obtained by the high-speed imaging operation of the imaging unit 100, the determination result (“OK” or “NG”) based on the subject change amount between the captured images, and the imaging sensitivity. The switching timing and the generated frame images (F1 to F8) are schematically shown in time series.

この例では、単位時間あたりの露光時間および絞りが一定であるものとする。すなわち、撮像状況に応じた露出制御をおこなわない撮像動作とする。 In this example, it is assumed that the exposure time per unit time and the aperture are constant. That is, it is set as the imaging operation which does not perform exposure control according to the imaging situation.

「高速動画撮像処理（１）」では、撮像開始時の撮像感度がデフォルトの「高感度」であるため、最初の撮像画像Ｃ１は、高感度で撮像されている。よって、撮像画像Ｃ１については、適正露出となっているので、最初のフレーム画像Ｆ１は、撮像画像Ｃ１をそのまま用いたものになる。 In the “high-speed moving image capturing process (1)”, since the imaging sensitivity at the start of imaging is the default “high sensitivity”, the first captured image C1 is captured with high sensitivity. Therefore, since the captured image C1 has an appropriate exposure, the first frame image F1 uses the captured image C1 as it is.

２枚目の撮像画像Ｃ２が得られると、連続する撮像画像Ｃ１とＣ２の間で被写体変化量を検出することができる。ここで、撮像画像Ｃ１とＣ２との間で検出した被写体変化量に基づく判別結果が「ＯＫ」である場合、２枚目のフレーム画像であるＦ２は、撮像画像Ｃ１とＣ２を用いたマルチプレーン処理によって生成される。この場合、Ｃ１およびＣ２は、いずれも高感度撮像によって得られているので、マルチプレーン処理では加算平均がなされる。 When the second captured image C2 is obtained, the subject change amount can be detected between the consecutive captured images C1 and C2. Here, when the determination result based on the subject change amount detected between the captured images C1 and C2 is “OK”, the second frame image F2 is a multiplane using the captured images C1 and C2. Generated by processing. In this case, since both C1 and C2 are obtained by high-sensitivity imaging, addition averaging is performed in the multiplane processing.

また、判別結果が「ＯＫ」であるため、撮像感度がデフォルトの「高感度」から「低感度」に変更される。すなわち、３枚目の撮像画像Ｃ３は、低感度撮像によって得られたものになる。 Also, since the determination result is “OK”, the imaging sensitivity is changed from the default “high sensitivity” to “low sensitivity”. That is, the third captured image C3 is obtained by low sensitivity imaging.

連続する撮像画像Ｃ２とＣ３の判別結果も「ＯＫ」であると、撮像画像Ｃ１〜Ｃ３が「連続ＯＫ画像」となる。よって、撮像画像Ｃ３に対応するフレーム画像Ｆ３は、撮像画像Ｃ１〜Ｃ３を用いたマルチプレーン処理によって輝度補正がなされる。 If the determination results of the continuous captured images C2 and C3 are also “OK”, the captured images C1 to C3 are “continuous OK images”. Accordingly, the frame image F3 corresponding to the captured image C3 is subjected to luminance correction by multiplane processing using the captured images C1 to C3.

この場合、Ｃ１およびＣ２は高感度撮像により得られ、Ｃ３は低感度撮像によって得られているため、Ｃ１〜Ｃ３の輝度値を加算した後、撮像感度と枚数に基づいて算出された係数αを乗じることで、輝度補正がなされる。 In this case, C1 and C2 are obtained by high-sensitivity imaging, and C3 is obtained by low-sensitivity imaging. Therefore, after adding the luminance values of C1 to C3, the coefficient α calculated based on the imaging sensitivity and the number is used. By multiplying, luminance correction is performed.

ここで、撮像画像Ｃ４とＣ５の間で、例えば、シーンチェンジなどが発生した場合、撮像画像Ｃ４とＣ５の被写体変化量は許容範囲外（ＮＧ）となる（ここでは撮像対象が別の被写体になったものとする）。この場合、マルチプレーン処理はおこなわないので、撮像画像Ｃ５がフレーム画像Ｆ５となる。 Here, for example, when a scene change or the like occurs between the captured images C4 and C5, the subject change amount of the captured images C4 and C5 is outside the allowable range (NG) (here, the imaging target is a different subject). ). In this case, since the multiplane processing is not performed, the captured image C5 becomes the frame image F5.

撮像画像Ｃ２とＣ３の間で撮像感度が「低感度」に変更されているので、撮像画像Ｃ５は低感度撮像によって得られている。この場合、マルチプレーン処理による輝度補正がなされていないので、フレーム画像Ｆ５は露出不足となってしまう。 Since the imaging sensitivity is changed to “low sensitivity” between the captured images C2 and C3, the captured image C5 is obtained by low sensitivity imaging. In this case, since the luminance correction by the multiplane processing is not performed, the frame image F5 is underexposed.

また、判別結果が「ＮＧ」であったことで、判別結果が「ＯＫ」である撮像画像の連続ではなくなる。つまり、撮像画像Ｃ５以降については、それ以前の連続ＯＫ画像とは関連せず、連続ＯＫ画像となるか不明であるため、撮像感度をデフォルトの「高感度」に戻す。 Further, since the determination result is “NG”, the captured images whose determination result is “OK” are not continuous. In other words, the captured image C5 and subsequent images are not related to the previous continuous OK image, and it is unclear whether the captured image is a continuous OK image, so the imaging sensitivity is returned to the default “high sensitivity”.

この場合、次の撮像画像Ｃ６については高感度撮像となるので適正露出となる。このとき、Ｃ５とＣ６の間での判別結果が「ＯＫ」であれば、撮像画像Ｃ６に対応するフレーム画像Ｆ６は、Ｃ５とＣ６を用いたマルチプレーン処理で輝度補正されたものになる。この場合、Ｃ５は低感度撮像であり、Ｃ６は高感度撮像であるため、係数αを用いたマルチプレーン処理となる。 In this case, since the next captured image C6 is a high-sensitivity image, proper exposure is obtained. At this time, if the determination result between C5 and C6 is “OK”, the frame image F6 corresponding to the captured image C6 has been subjected to luminance correction by multiplane processing using C5 and C6. In this case, since C5 is low-sensitivity imaging and C6 is high-sensitivity imaging, multiplane processing using the coefficient α is performed.

このように、撮像画像間の被写体変化量に基づいて、マルチプレーン処理をおこなえると判別された場合には撮像感度を下げるので、高感度撮像によって発生するノイズを低減することができる。そして、低感度撮像で得られた撮像画像が含まれる場合には、マルチプレーン処理によって輝度補正されるので、撮像画像のそれぞれが露出不足となっていても、適正露出のフレーム画像が生成されるので、全体として適正露出を維持しつつ、ノイズの低減を図ることができる。また、マルチプレーン処理の対象となる画像がすべて高感度撮像で得られている場合は、加算平均によりノイズの低減が図られる。 As described above, when it is determined that the multiplane processing can be performed based on the amount of change in the subject between the captured images, the imaging sensitivity is lowered, so that noise generated by high-sensitivity imaging can be reduced. When a captured image obtained by low-sensitivity imaging is included, luminance correction is performed by multi-plane processing, so that a properly exposed frame image is generated even if each captured image is underexposed. Therefore, it is possible to reduce noise while maintaining proper exposure as a whole. In addition, when all images to be subjected to multiplane processing are obtained by high-sensitivity imaging, noise can be reduced by addition averaging.

「高速動画撮像処理（１）」による他の動作例を、図８を参照して説明する。この例では、単位時間毎の露光時間や絞りを制御することで、露出（Ｅｖ値）が一定となるよう露出制御されているものとする。 Another operation example by the “high-speed moving image capturing process (1)” will be described with reference to FIG. In this example, it is assumed that the exposure is controlled so that the exposure (Ev value) is constant by controlling the exposure time and aperture of each unit time.

このような露出制御により、各撮像画像は適正露出となっているので、１枚目のフレーム画像（Ｆ１）や、判別結果が「ＮＧ」となった時のフレーム画像（Ｆ５）以外のフレーム画像は、すべて加算平均によるマルチプレーン処理を適用することができる。この場合、１枚目のフレーム画像（Ｆ１）や、判別結果が「ＮＧ」となった時のフレーム画像（Ｆ５）についてはノイズ低減効果が得られないが、それ以外の多くのフレーム画像においては、加算平均によるノイズ低減効果が得られるとともに、係数αを用いたマルチプレーン処理をおこなわないので、処理負荷が軽減される。 Since each captured image is properly exposed by such exposure control, the frame image other than the first frame image (F1) and the frame image (F5) when the determination result is “NG”. All can apply multi-plane processing by averaging. In this case, the noise reduction effect cannot be obtained for the first frame image (F1) or the frame image (F5) when the determination result is “NG”, but in many other frame images, In addition, the noise reduction effect by the averaging is obtained, and the multi-plane processing using the coefficient α is not performed, so that the processing load is reduced.

このように、適正露出となる撮像画像が連続して得られるのであれば、加算平均によるマルチプレーン処理でノイズ低減を図ることができる。したがって、撮像感度を高感度とすることによってすべての撮像画像を適正露出とすれば、加算平均によるマルチプレーン処理でノイズ低減を図ることができる。この場合の動作例を、実施形態２として以下に説明する。 In this way, if captured images with appropriate exposure can be obtained continuously, noise reduction can be achieved by multiplane processing using addition averaging. Therefore, noise reduction can be achieved by multi-plane processing based on addition averaging if all captured images are appropriately exposed by increasing the imaging sensitivity. An operation example in this case will be described below as a second embodiment.

（実施形態２）
本実施形態にかかる「高速動画撮像処理（２）」を、図９に示すフローチャートを参照して説明する。この「高速動画撮像処理（２）」も、実施形態１における「高速動画撮像処理（１）」と同様、高速動画撮像モードが設定されたことを契機に開始される。 (Embodiment 2)
The “high-speed moving image capturing process (2)” according to the present embodiment will be described with reference to the flowchart shown in FIG. This “high-speed moving image capturing process (2)” is also started when the high-speed moving image capturing mode is set, similarly to the “high-speed moving image capturing process (1)” in the first embodiment.

処理が開始されると、実施形態１の「高速動画撮像処理（１）」におけるステップＳ１０１と同様の動作により、動作モード処理部２１１が、高速動画撮像にかかるフレームレート（ハイスピード）を設定する（ステップＳ２０１）。 When the processing is started, the operation mode processing unit 211 sets a frame rate (high speed) for high-speed moving image capturing by the same operation as step S101 in the “high-speed moving image capturing processing (1)” of the first embodiment. (Step S201).

次に、撮像感度制御部２１３により撮像感度が設定されるが、実施形態１と同様に、高速動画撮像のデフォルトである「高感度」を設定する（ステップＳ２０２）。 Next, although the imaging sensitivity is set by the imaging sensitivity control unit 213, “high sensitivity” which is the default for high-speed moving image imaging is set as in the first embodiment (step S202).

そして、デジタルカメラ１のユーザが操作部３３０を操作することで、撮像開始指示が入力されると（ステップＳ２０３：Ｙｅｓ）、撮像制御部２１２が撮像部１００を制御することで高速動画撮像が開始され（ステップＳ２０４）、フレーム画像生成部２１５が、１枚目の撮像画像を用いて１枚目のフレーム画像を生成する（ステップＳ２０５：Ｎｏ、ステップＳ２０８）。撮像画像が２枚目以降になると、画像判別部２１４により、各撮像画像での被写体検出（ステップＳ２０６）、撮像画像間での被写体変化量の検出（ステップＳ２０７）がおこなわれ、検出結果に基づいて「輝度補正処理」（図４）が実行される（ステップＳ１４０）。 When the user of the digital camera 1 operates the operation unit 330 to input an imaging start instruction (Step S203: Yes), the imaging control unit 212 controls the imaging unit 100 to start high-speed moving image imaging. Then, the frame image generation unit 215 generates the first frame image using the first captured image (step S205: No, step S208). When the number of captured images becomes the second and subsequent images, the image discrimination unit 214 detects the subject in each captured image (step S206) and detects the amount of change in the subject between the captured images (step S207), and based on the detection result. Then, the “luminance correction process” (FIG. 4) is executed (step S140).

本実施形態では、実施形態１と異なり、「感度制御処理」（図５）はおこなわない。よって、ステップＳ２０２で設定した撮像感度（高感度）のまま撮像動作がおこなわれる。よって、すべての撮像画像が高感度撮像で得られることになるため、２枚目以降のフレーム画像については、すべて加算平均によるマルチプレーン処理がおこなわれる（ステップＳ１４０、ステップＳ２０８）。 In the present embodiment, unlike the first embodiment, the “sensitivity control process” (FIG. 5) is not performed. Therefore, the imaging operation is performed with the imaging sensitivity (high sensitivity) set in step S202. Therefore, since all the captured images can be obtained by high-sensitivity imaging, multi-plane processing based on addition averaging is performed on all the second and subsequent frame images (steps S140 and S208).

このような動作を所定の終了イベントが発生するまで繰り返しおこない（ステップＳ２０９：Ｎｏ）、終了イベントの発生とともに（ステップＳ２０９：Ｙｅｓ）、高速動画撮像動作を終了する（ステップＳ２１０）。 Such an operation is repeated until a predetermined end event occurs (step S209: No), and with the occurrence of the end event (step S209: Yes), the high-speed moving image capturing operation is ended (step S210).

このような「高速動画撮像処理（２）」による動作を、図１０を参照して説明する。図１０は、実施形態１で示した図７または図８と同様の模式図である。 The operation by the “high-speed moving image capturing process (2)” will be described with reference to FIG. FIG. 10 is a schematic view similar to FIG. 7 or FIG. 8 shown in the first embodiment.

本実施形態の場合、高速動画撮像をおこなっている間、撮像感度が「高感度」に設定されているため、撮像画像Ｃ１〜Ｃ８のすべてが高感度撮像による適正露出の画像となっている。 In the case of the present embodiment, the imaging sensitivity is set to “high sensitivity” while high-speed moving image imaging is performed, so that all of the captured images C1 to C8 are images with appropriate exposure by high-sensitivity imaging.

よって、１枚目のフレーム画像（Ｆ１）と、判別結果がＮＧとなったときのフレーム画像（Ｆ５）以外のフレーム画像については、加算平均によるマルチプレーン処理がなされているので、適正露出が維持されるとともに、ノイズの低減が図られている。 Therefore, since the first frame image (F1) and the frame image other than the frame image (F5) when the determination result is NG are subjected to multi-plane processing by averaging, the appropriate exposure is maintained. In addition, noise is reduced.

このような動作であれば、感度制御をおこなう必要がないため、処理負荷が軽減する。また、フレーム画像の大部分において、加算平均によるマルチプレーン処理がなされるので、高感度で撮像していてもノイズを低減することができる。 Such an operation reduces the processing load because it is not necessary to perform sensitivity control. In addition, since multi-plane processing by addition averaging is performed on most of the frame images, noise can be reduced even when imaged with high sensitivity.

（実施形態３）
上記各実施形態では、フレームレートに基づく単位時間毎に１枚の撮像画像を取得していたが、例えば、比較的低いフレームレート（例えば、１５０ｆｐｓなど）が設定された場合、高フレームレート時よりも単位時間が長くなるため、同じ撮像能力である場合、単位時間毎に複数回の撮像動作をおこなうことができる。あるいは、より高速なイメージセンサを使用した場合には、高フレームレート（例えば、３００ｆｐｓ）であっても、単位時間毎に複数回の撮像動作をおこなうことができる。 (Embodiment 3)
In each of the above embodiments, one captured image is acquired per unit time based on the frame rate. However, for example, when a relatively low frame rate (for example, 150 fps) is set, the captured image is higher than at the high frame rate. Since the unit time is long, the imaging operation can be performed a plurality of times per unit time when the imaging capability is the same. Alternatively, when a higher-speed image sensor is used, the imaging operation can be performed a plurality of times per unit time even at a high frame rate (for example, 300 fps).

このように、フレームレートに基づく単位時間毎に複数の撮像画像が得られる場合に好適な処理を、図１１および図１２を参照して説明する。この場合に実行される「高速動画撮像処理（３）」を、図１１に示すフローチャートを参照して説明する。本処理の開始条件などは、上記各実施形態の場合と同様である。 In this manner, processing suitable for a case where a plurality of captured images are obtained for each unit time based on the frame rate will be described with reference to FIGS. 11 and 12. The “high-speed moving image capturing process (3)” executed in this case will be described with reference to the flowchart shown in FIG. The starting conditions of this processing are the same as those in the above embodiments.

処理が開始されると、動作モード処理部２１１が高速動画撮像にかかるフレームレート（ハイスピード）を設定する（ステップＳ３０１）。動作モード処理部２１１は、撮像部１００の動作能力などに基づき、設定されたフレームレートによる単位時間内に複数枚の撮像が可能であるか否かを判別する（ステップＳ３０２）。 When the process is started, the operation mode processing unit 211 sets a frame rate (high speed) for high-speed moving image capturing (step S301). The operation mode processing unit 211 determines whether or not a plurality of images can be captured within a unit time based on the set frame rate based on the operation capability of the imaging unit 100 (step S302).

ここで、単位時間内に複数枚の撮像ができない場合（ステップＳ３０２：Ｎｏ）は、本処理を終了する。この場合、上記実施形態１または実施形態２で例示した処理がおこなわれる。 Here, when a plurality of images cannot be captured within the unit time (step S302: No), this process ends. In this case, the processing exemplified in the first embodiment or the second embodiment is performed.

一方、単位時間に複数枚の撮像が可能である場合（ステップＳ３０２：Ｙｅｓ）、動作モード処理部２１１は、その旨を撮像感度制御部２１３に通知する。この場合、撮像感度制御部２１３は、ステップＳ３０１で設定したフレームレートに基づく単位時間を露光時間とした場合に適正露出となる撮像感度（高感度）を算出し（ステップＳ３０３）、算出した撮像感度（高感度）の値を、単位時間に撮像可能な枚数で除算した値の撮像感度（低感度）を設定する（ステップＳ３０４）。 On the other hand, when a plurality of images can be captured per unit time (step S302: Yes), the operation mode processing unit 211 notifies the imaging sensitivity control unit 213 to that effect. In this case, the imaging sensitivity control unit 213 calculates imaging sensitivity (high sensitivity) that achieves proper exposure when the unit time based on the frame rate set in step S301 is the exposure time (step S303), and the calculated imaging sensitivity. The imaging sensitivity (low sensitivity) is set by dividing the (high sensitivity) value by the number of images that can be imaged per unit time (step S304).

そして、デジタルカメラ１のユーザが操作部３３０を操作することで、撮像開始指示が入力されると（ステップＳ３０５：Ｙｅｓ）、撮像制御部２１２が撮像部１００を制御することで高速動画撮像が開始される（ステップＳ３０６）。 When the user of the digital camera 1 operates the operation unit 330 to input an imaging start instruction (step S305: Yes), the imaging control unit 212 controls the imaging unit 100 to start high-speed moving image imaging. (Step S306).

この場合、撮像制御部２１２は、ステップＳ３０１で設定されたフレームレートに基づく単位時間毎に複数枚の撮像画像を得る撮像動作をおこなうよう撮像部１００を制御する（ステップＳ３０７）。 In this case, the imaging control unit 212 controls the imaging unit 100 to perform an imaging operation for obtaining a plurality of captured images per unit time based on the frame rate set in step S301 (step S307).

すなわち、図１２に示すように、各単位時間に複数の撮像画像が得られることになる（図１２では、各単位時間に３枚の撮像画像が得られる例を示している）。 That is, as shown in FIG. 12, a plurality of captured images are obtained in each unit time (FIG. 12 shows an example in which three captured images are obtained in each unit time).

このような撮像動作によって撮像画像が画像メモリ２３０に展開されると、フレーム画像生成部２１５は、各単位時間で得られた複数の撮像画像でマルチプレーン処理をおこなうことで（ステップＳ３０８）、当該単位時間に対応するフレーム画像を生成する（ステップＳ３０９）。 When the captured image is developed in the image memory 230 by such an imaging operation, the frame image generation unit 215 performs multiplane processing on the plurality of captured images obtained in each unit time (step S308), thereby A frame image corresponding to the unit time is generated (step S309).

図１２の例の場合、最初の単位時間で得られた撮像画像Ｃ１１〜Ｃ１３の輝度成分を加算平均することで、当該単位時間に対応するフレーム画像Ｆ１が生成され、以降の各単位時間においても同様の動作でフレーム画像が生成される。 In the case of the example in FIG. 12, the luminance components of the captured images C11 to C13 obtained in the first unit time are added and averaged to generate a frame image F1 corresponding to the unit time, and also in each subsequent unit time. A frame image is generated by the same operation.

１つの単位時間についてのフレーム画像を生成すると、所定の終了イベントが発生するまでステップＳ３０７以降の処理をおこなうことで（ステップＳ３１０：Ｎｏ）、フレーム画像が生成される。 When a frame image for one unit time is generated, a frame image is generated by performing the processing from step S307 onward until a predetermined end event occurs (step S310: No).

そして、終了イベントの発生とともに（ステップＳ３１０：Ｙｅｓ）、高速動画撮像動作を終了して（ステップＳ３１１）、本処理は終了する。 Then, with the occurrence of the end event (step S310: Yes), the high-speed moving image capturing operation is ended (step S311), and this process ends.

このような動作によれば、撮像画像を用いたマルチプレーン処理によってすべてのフレーム画像を生成するので、撮像感度を終始「低感度」とすることができる。このため、高感度撮像によるノイズが発生しない。また、撮像感度を切り替えないため、処理負荷が低減する。 According to such an operation, since all the frame images are generated by multi-plane processing using the captured image, the imaging sensitivity can be set to “low sensitivity” throughout. For this reason, noise due to high sensitivity imaging does not occur. In addition, since the imaging sensitivity is not switched, the processing load is reduced.

さらに、マルチプレーン処理をおこなえるか否かの判別をおこなわないので、この判別動作だけでなく、判別に必要となる被写体検出動作も不要となり、処理負荷が大幅に軽減される。 Further, since it is not determined whether or not multiplane processing can be performed, not only the determination operation but also the subject detection operation necessary for the determination becomes unnecessary, and the processing load is greatly reduced.

以上説明したように、本発明を上記実施形態の如く適用することにより、高速動画撮像時のノイズを低減することができる。 As described above, by applying the present invention as in the above embodiment, noise during high-speed moving image capturing can be reduced.

この場合において、撮像画像の輝度値を加算平均するマルチプレーン処理をおこなったり、マルチプレーン処理によって適正露出にできる場合には撮像感度を低感度に変更したりするので、高感度撮像により発生するノイズを低減させることができる。 In this case, noise is generated by high-sensitivity imaging because multi-plane processing that adds and averages the luminance values of captured images is performed, or when the appropriate exposure can be achieved by multi-plane processing, the imaging sensitivity is changed to low sensitivity. Can be reduced.

ここで、各撮像画像で被写体検出をおこない、連続する撮像画像間での被写体変化量に基づいて、マルチプレーン処理をおこなえるか否かの判別をおこなうので、撮影内容に応じた効果的なノイズ低減を図ることができる。 Here, subject detection is performed on each captured image, and it is determined whether multiplane processing can be performed based on the amount of subject change between consecutive captured images, so effective noise reduction according to the content of the shooting Can be achieved.

また、マルチプレーン処理の際には、対象となる撮像画像についての撮像感度（適正露出か露出不足か）に応じてマルチプレーン処理の方法を変えるので、適正露出としつつ、ノイズ低減を図ることができる。 In addition, in multiplane processing, the multiplane processing method is changed according to the imaging sensitivity (appropriate exposure or underexposure) of the target captured image, so noise reduction can be achieved while setting the appropriate exposure. it can.

また、撮像感度を一定とした場合は、マルチプレーン処理の方法を変えることなくノイズ低減を図ることができるので、処理負荷を軽減することができる。 In addition, when the imaging sensitivity is constant, noise can be reduced without changing the method of multiplane processing, so that the processing load can be reduced.

上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。 The said embodiment is an example and the application range of this invention is not restricted to this. That is, various applications are possible, and all embodiments are included in the scope of the present invention.

例えば、図６に示した被写体変化と判別結果は一例であり、マルチプレーン処理の適否を判別できるものであれば、判別条件は任意である。 For example, the subject change and the determination result shown in FIG. 6 are examples, and the determination condition is arbitrary as long as the suitability of multiplane processing can be determined.

また、本発明を上記実施形態で例示したデジタルカメラ１のような撮像装置で実現する場合においては、本発明にかかる構成や機能を予め備えた撮像装置として提供できる他、制御部２１０の各機能と同様の機能を実現するプログラムを適用することにより、既存の撮像装置を本発明にかかる撮像装置として機能させることもできる。この場合、高速動画撮像機能を有する撮像装置であれば、本発明の適用により、高速動画撮像時の高感度撮像に起因するノイズの発生を低減させることができる。 In the case where the present invention is realized by an imaging apparatus such as the digital camera 1 illustrated in the above embodiment, the functions and functions of the control unit 210 can be provided in addition to the provision of the configuration and functions according to the present invention in advance. By applying a program that realizes the same function as the above, it is possible to cause an existing imaging device to function as the imaging device according to the present invention. In this case, if the imaging apparatus has a high-speed moving image capturing function, the application of the present invention can reduce the occurrence of noise due to high-sensitivity imaging during high-speed moving image capturing.

このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。 The application method of such a program is arbitrary. For example, the program can be applied by being stored in a storage medium such as a CD-ROM or a memory card, or can be applied via a communication medium such as the Internet.

１…デジタルカメラ、１００…撮像部、１１０…光学装置、１２０…イメージセンサ部、２００…データ処理部、２１０…制御部、２１１…動作モード処理部、２１２…撮像制御部、２１３…撮像感度制御部、２１４…画像判別部、２１５…フレーム画像生成部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…記憶部、２６０…外部記憶部、３００…インタフェース部、３１０…表示部、３２０…外部インタフェース部、３３０…操作部 DESCRIPTION OF SYMBOLS 1 ... Digital camera, 100 ... Imaging part, 110 ... Optical apparatus, 120 ... Image sensor part, 200 ... Data processing part, 210 ... Control part, 211 ... Operation mode processing part, 212 ... Imaging control part, 213 ... Imaging sensitivity control , 214 ... Image discriminating unit, 215 ... Frame image generating unit, 220 ... Image processing unit, 230 ... Image memory, 240 ... Image output unit, 250 ... Storage unit, 260 ... External storage unit, 300 ... Interface unit, 310 ... Display unit, 320 ... external interface unit, 330 ... operation unit

上記目的を達成するため、本発明の第１の観点にかかる撮像装置は、
動画撮像にかかるフレームレートに基づいて撮像感度を設定する感度設定手段と、
前記感度設定手段が設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する撮像手段と、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうマルチプレーン処理手段と、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記感度設定手段が設定した感度を変更する感度制御手段と、を備えていることが望ましく、この場合、
前記感度設定手段は、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
前記感度制御手段は、前記マルチプレーン処理をおこなう場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更することが望ましい。 In order to achieve the above object, an imaging apparatus according to the first aspect of the present invention provides:
Sensitivity setting means for setting imaging sensitivity based on a frame rate for moving image capturing;
Imaging means for executing the moving image imaging with the imaging sensitivity set by the sensitivity setting means to obtain a plurality of captured images;
Multi-plane processing means for performing multi-plane processing using the plurality of captured images;
Wherein the plurality of captured images to be multi-plane processing, it is desirable to have and a sensitivity control means for changing the sensitivity the sensitivity setting means is set, in this case,
The sensitivity setting means sets an imaging sensitivity for obtaining an appropriate exposure based on the frame rate,
In the case of performing the multi-plane processing, it is preferable that the sensitivity control unit is changed to an imaging sensitivity lower than an imaging sensitivity for obtaining an appropriate exposure based on the frame rate.

上記目的を達成するため、本発明の第２の観点にかかる撮像方法は、
動画撮像にかかるフレームレートに基づいて撮像感度を設定するステップと、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得するステップと、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうステップと、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更するステップと、を含み、
前記設定するステップでは、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
前記変更するステップでは、前記マルチプレーン処理をおこなう場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更する、
ことを特徴とする。 In order to achieve the above object, an imaging method according to a second aspect of the present invention includes:
Setting imaging sensitivity based on a frame rate for moving image capturing;
Executing the moving image imaging with the set imaging sensitivity to obtain a plurality of captured images;
Performing multi-plane processing using the plurality of captured images;
The plurality of captured images to be of the multi-plane processing comprises a step of changing the sensitivity to the setting,
In the setting step, an imaging sensitivity for setting an appropriate exposure based on the frame rate is set,
In the changing step, when performing the multi-plane processing, the imaging sensitivity is changed to an imaging sensitivity lower than the imaging sensitivity for obtaining an appropriate exposure based on the frame rate.
It shall be the features a.

上記目的を達成するため、本発明の第３の観点にかかるプログラムは、
コンピュータに、
動画撮像にかかるフレームレートに基づいて撮像感度を設定する機能、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する機能、
前記複数の撮像画像を用いたマルチプレーン処理をおこなう機能、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更する機能、
を実現させるためのプログラムであって、
前記設定する機能は、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
前記変更する機能は、前記マルチプレーン処理をおこなう場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更する、
ことを特徴とする。 In order to achieve the above object, a program according to the third aspect of the present invention is:
On the computer,
A function to set the imaging sensitivity based on the frame rate for moving image capture,
A function of acquiring a plurality of captured images by executing the moving image capturing with the set imaging sensitivity;
A function of performing multi-plane processing using the plurality of captured images;
Wherein the plurality of captured images to be multi-plane processing, Function to change the sensitivity and the setting,
A program for realizing a
The function to be set is to set an imaging sensitivity for proper exposure based on the frame rate,
In the case of performing the multiplane processing, the function to be changed is changed to an imaging sensitivity lower than an imaging sensitivity for obtaining an appropriate exposure based on the frame rate.
It shall be the features a.

Claims

動画撮像にかかるフレームレートに基づいて撮像感度を設定する感度設定手段と、
前記感度設定手段が設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する撮像手段と、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうマルチプレーン処理手段と、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記感度設定手段が設定した感度を変更する感度制御手段と、
連続する前記撮像画像間における被写体の変化量が所定の許容範囲内であるか否かに基づいて、前記マルチプレーン処理をおこなえるか否かを判別する判別手段と、を備え、
前記感度設定手段は、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
前記感度制御手段は、前記マルチプレーン処理をおこなえる場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更する、
ことを特徴とする撮像装置。 Sensitivity setting means for setting imaging sensitivity based on a frame rate for moving image capturing;
Imaging means for executing the moving image imaging with the imaging sensitivity set by the sensitivity setting means to obtain a plurality of captured images;
Multi-plane processing means for performing multi-plane processing using the plurality of captured images;
Sensitivity control means for changing the sensitivity set by the sensitivity setting means for a plurality of captured images to be subjected to the multiplane processing;
Determining means for determining whether or not the multiplane processing can be performed based on whether or not the amount of change in the subject between successive captured images is within a predetermined allowable range;
The sensitivity setting means sets an imaging sensitivity for obtaining an appropriate exposure based on the frame rate,
When the sensitivity control means can perform the multi-plane processing, the sensitivity control means changes the imaging sensitivity to an imaging sensitivity lower than the imaging sensitivity for obtaining an appropriate exposure based on the frame rate.
An imaging apparatus characterized by that.

前記マルチプレーン処理手段は、対象となる前記複数の撮像画像のすべてが、前記感度設定手段が設定した撮像感度で撮像された場合、当該複数の撮像画像を加算平均するマルチプレーン処理をおこなう、
ことを特徴とする請求項１に記載の撮像装置。 The multi-plane processing unit performs multi-plane processing of adding and averaging the plurality of captured images when all of the target captured images are captured with the imaging sensitivity set by the sensitivity setting unit.
The imaging apparatus according to claim 1.

前記マルチプレーン処理手段は、対象となる前記複数の撮像画像についての撮像感度に、前記感度制御手段によって変更された撮像感度が含まれる場合、当該複数の撮像画像の枚数と撮像感度とに基づいて係数を算出し、当該複数の撮像画像の輝度についての加算値に前記係数を乗じるマルチプレーン処理をおこなう、
ことを特徴とする請求項１または２に記載の撮像装置。 When the imaging sensitivity of the plurality of captured images to be processed includes the imaging sensitivity changed by the sensitivity control unit, the multiplane processing unit is based on the number of the plurality of captured images and the imaging sensitivity. A coefficient is calculated, and multi-plane processing is performed by multiplying the added value for the brightness of the plurality of captured images by the coefficient.
The imaging apparatus according to claim 1 or 2, wherein

動画撮像にかかるフレームレートに基づいて撮像感度を設定する感度設定手段と、
前記感度設定手段が設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する撮像手段と、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうマルチプレーン処理手段と、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記感度設定手段が設定した感度を変更する感度制御手段と、を備え、
前記感度制御手段は、前記マルチプレーン処理の対象となる前記複数の撮像画像の露出が一定である場合には、前記感度設定手段が設定した撮像感度の変更をおこなわない、
ことを特徴とする撮像装置。 Sensitivity setting means for setting imaging sensitivity based on a frame rate for moving image capturing;
Imaging means for executing the moving image imaging with the imaging sensitivity set by the sensitivity setting means to obtain a plurality of captured images;
Multi-plane processing means for performing multi-plane processing using the plurality of captured images;
Sensitivity control means for changing the sensitivity set by the sensitivity setting means for a plurality of captured images to be subjected to the multi-plane processing,
The sensitivity control unit does not change the imaging sensitivity set by the sensitivity setting unit when exposure of the plurality of captured images to be subjected to the multiplane processing is constant.
An imaging apparatus characterized by that.

前記感度設定手段は、前記動画撮像にかかるフレームレートに基づいた適正露出とするための撮像感度を設定する、
ことを特徴とする請求項４に記載の撮像装置。 The sensitivity setting means sets an imaging sensitivity for an appropriate exposure based on a frame rate for the moving image imaging;
The imaging apparatus according to claim 4.

前記撮像手段が、前記動画撮像にかかるフレームレートに基づく単位時間に複数の撮像画像を得られる場合、前記感度設定手段は、当該単位時間に得られる撮像画像の枚数と、当該単位時間を露光時間とした場合に適正露出となる撮像感度とに基づいて撮像感度を設定し、
前記マルチプレーン処理手段は、前記単位時間毎に得られる前記複数の撮像画像を加算するマルチプレーン処理をおこなう、
ことを特徴とする請求項４に記載の撮像装置。 When the imaging unit can obtain a plurality of captured images in a unit time based on the frame rate for moving image capturing, the sensitivity setting unit determines the number of captured images obtained in the unit time and the unit time as the exposure time. If you set the imaging sensitivity based on the imaging sensitivity that is appropriate exposure,
The multiplane processing means performs multiplane processing for adding the plurality of captured images obtained for each unit time.
The imaging apparatus according to claim 4.

動画撮像にかかるフレームレートに基づいて撮像感度を設定するステップと、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得するステップと、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうステップと、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更するステップと、
連続する前記撮像画像間における被写体の変化量が所定の許容範囲内であるか否かに基づいて、前記マルチプレーン処理をおこなえるか否かを判別するステップと、を含み、
前記設定するステップでは、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
前記変更するステップでは、前記マルチプレーン処理をおこなえる場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更する、
ことを特徴とする撮像方法。 Setting imaging sensitivity based on a frame rate for moving image capturing;
Executing the moving image imaging with the set imaging sensitivity to obtain a plurality of captured images;
Performing multi-plane processing using the plurality of captured images;
Changing the set sensitivity for a plurality of captured images to be subjected to the multi-plane processing;
Determining whether or not the multiplane processing can be performed based on whether or not the amount of change in the subject between successive captured images is within a predetermined allowable range,
In the setting step, an imaging sensitivity for setting an appropriate exposure based on the frame rate is set,
In the changing step, when the multiplane processing can be performed, the imaging sensitivity is changed to an imaging sensitivity lower than the imaging sensitivity for obtaining an appropriate exposure based on the frame rate.
An imaging method characterized by the above.

動画撮像にかかるフレームレートに基づいて撮像感度を設定するステップと、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得するステップと、
前記複数の撮像画像を用いたマルチプレーン処理をおこなうステップと、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更するステップと、を含み、
前記変更するステップでは、前記マルチプレーン処理の対象となる前記複数の撮像画像の露出が一定である場合には、前記設定した撮像感度の変更をおこなわない、
ことを特徴とする撮像方法。 Setting imaging sensitivity based on a frame rate for moving image capturing;
Executing the moving image imaging with the set imaging sensitivity to obtain a plurality of captured images;
Performing multi-plane processing using the plurality of captured images;
Changing the set sensitivity for a plurality of captured images to be subjected to the multi-plane processing,
In the changing step, when the exposure of the plurality of captured images to be subjected to the multi-plane processing is constant, the set imaging sensitivity is not changed.
An imaging method characterized by the above.

コンピュータに、
動画撮像にかかるフレームレートに基づいて撮像感度を設定する機能、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する機能、
前記複数の撮像画像を用いたマルチプレーン処理をおこなう機能、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更する機能、
連続する前記撮像画像間における被写体の変化量が所定の許容範囲内であるか否かに基づいて、前記マルチプレーン処理をおこなえるか否かを判別する機能、
を実現させるためのプログラムであって、
前記設定する機能は、前記フレームレートに基づいた適正露出とするための撮像感度を設定し、
前記変更する機能は、前記マルチプレーン処理をおこなえる場合には、前記フレームレートに基づいた適正露出とするための撮像感度よりも低い撮像感度に変更する、
ことを特徴とするプログラム。 On the computer,
A function to set the imaging sensitivity based on the frame rate for moving image capture,
A function of acquiring a plurality of captured images by executing the moving image capturing with the set imaging sensitivity;
A function of performing multi-plane processing using the plurality of captured images;
A function of changing the set sensitivity for a plurality of captured images to be subjected to the multi-plane processing;
A function of determining whether or not the multiplane processing can be performed based on whether or not the amount of change in the subject between successive captured images is within a predetermined allowable range;
Is a program for realizing
The function to be set is to set an imaging sensitivity for proper exposure based on the frame rate,
When the multi-plane processing can be performed, the function to be changed is changed to an imaging sensitivity lower than an imaging sensitivity for obtaining an appropriate exposure based on the frame rate.
A program characterized by that.

コンピュータに、
動画撮像にかかるフレームレートに基づいて撮像感度を設定する機能、
前記設定した撮像感度で前記動画撮像を実行して複数の撮像画像を取得する機能、
前記複数の撮像画像を用いたマルチプレーン処理をおこなう機能、
前記マルチプレーン処理の対象となる複数の撮像画像について、前記設定した感度を変更する機能、
を実現させるためのプログラムであって、
前記変更する機能は、前記マルチプレーン処理の対象となる前記複数の撮像画像の露出が一定である場合には、前記設定した撮像感度の変更をおこなわない、
ことを特徴とするプログラム。 On the computer,
A function to set the imaging sensitivity based on the frame rate for moving image capture,
A function of acquiring a plurality of captured images by executing the moving image capturing with the set imaging sensitivity;
A function of performing multi-plane processing using the plurality of captured images;
A function of changing the set sensitivity for a plurality of captured images to be subjected to the multi-plane processing;
Is a program for realizing
The function to change does not change the set imaging sensitivity when exposure of the plurality of captured images to be subjected to the multi-plane processing is constant.
A program characterized by that.