JP2006295708A - Imaging apparatus and control method therefor - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To obtain an optimal white balance control value, regardless of the individual images that have been photographed underexposure. <P>SOLUTION: In case that a first exposure time producing an appropriate exposure for the luminance of an object is an exposure time causing expected camera shakes, an imaging apparatus includes a compositing photography mode for photographing a plurality of images with a second exposure time shorter than the first exposure time, through which no camera shake is expected, so as to obtain one image of appropriate exposure by means of image compositing. The imaging apparatus includes an imaging means for fetching an optical object image as electrical signals, a display means for generating and successively displaying images for display using the electrical signals fetched by the imaging means, and a calculation means for calculating the white balance control value to be applied to either the plurality of images photographed in the composite photographic mode or a composited image obtained by compositing the above plurality of images, using the images successively displayed on the display means, before photographing in the composite photographic mode. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、露出アンダーで撮影した複数枚の画像を合成することにより１枚の適正露出の画像を得る手ブレ補正技術に関するものである。   The present invention relates to a camera shake correction technique for obtaining a single image with proper exposure by combining a plurality of images shot underexposed.

現在のカメラでは、露出の決定や焦点合わせ等の重要な撮影条件を設定する作業は全て自動化され、カメラ操作が未熟な撮影者でも失敗撮影を起こす可能性は非常に少なくなっている。   With current cameras, all tasks for setting important shooting conditions, such as determining exposure and focusing, are automated, and the possibility of unsuccessful shooting even for photographers who are unskilled in camera operation is extremely low.

また、最近では、カメラに加わる手ブレを防ぐシステムも研究されており、撮影者の撮影ミスを誘発する要因も減少している。   Recently, a system to prevent camera shake applied to the camera has been studied, and the factors that cause the photographer to make a shooting mistake have decreased.

ここで、手ブレを防ぐ光学防振システムについて簡単に説明する。   Here, an optical image stabilization system for preventing camera shake will be briefly described.

撮影時のカメラの手ブレは、周波数として通常１Ｈｚないし１０Ｈｚの振動であるが、露光時点においてこのような手ブレを起こしていても画像ブレの無い写真を撮影可能とするための基本的な考えとして、手ブレによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させなければならない（光学防振システム）。   Camera shake at the time of shooting is normally 1 Hz to 10 Hz as a frequency, but the basic idea for making it possible to take a picture without image blur even if such camera shake occurs at the time of exposure. As described above, camera vibration due to camera shake must be detected, and the correction lens must be displaced in the plane orthogonal to the optical axis in accordance with the detection result (optical image stabilization system).

すなわち、カメラブレが生じても画像ブレが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に手ブレによる光軸変化を補正することが必要となる。   That is, in order to take a picture that does not cause image blur even when camera shake occurs, it is necessary to first detect the vibration of the camera accurately and secondly correct the optical axis change due to camera shake.

画像ブレの補正は、原理的には、加速度計、振動ジャイロ、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出手段をカメラに搭載することによって行うことができる。そして、振動検出手段からのカメラのブレ検出情報に基づき、撮影光軸を偏心させる補正レンズを駆動する手段（補正光学手段）により画像ブレ補正が行われる。   In principle, image blur is corrected by detecting vibration, acceleration, angular velocity, angular displacement, etc. using an accelerometer, vibration gyroscope, laser gyroscope, etc. It can be done by mounting on. Then, based on camera shake detection information from the vibration detection means, image blur correction is performed by means (correction optical means) for driving a correction lens that decenters the photographing optical axis.

一方、手ブレが生じない程度の短い露光時間で複数回撮影を繰り返し、これらの撮影により得られた複数の露出アンダーの画像を、画像のズレを修正しながら合成することにより１枚の適正露出の画像（合成画像）を得る技術が提案されている（例えば、特許文献１参照）。以下、このような防振技術を電子防振システムという。   On the other hand, a plurality of underexposure images are repeatedly taken with a short exposure time so as not to cause camera shake, and a plurality of underexposed images obtained by these photographings are combined while correcting image misalignment, thereby obtaining a single proper exposure. Has been proposed (see, for example, Patent Document 1). Hereinafter, such a vibration isolation technique is referred to as an electronic vibration isolation system.

また、撮像手段と被写体像との相対的位置をずらして、各相対的位置で順次撮像を行うことにより得られた複数枚の画像を合成するにあたって、１枚目の撮影時点で条件を固定して、その条件を保持して２枚目以降の撮影を行う技術が、例えば、特許文献２に開示されている。
特開平９−２６１５２６号公報 特開平９−１９１４３９号公報 In addition, the condition is fixed at the time of shooting the first image when a plurality of images obtained by sequentially capturing images at each relative position by shifting the relative positions of the imaging means and the subject image. For example, Patent Document 2 discloses a technique for capturing the second and subsequent images while maintaining the conditions.
JP-A-9-261526 JP-A-9-191439

最近のデジタルカメラは、小型化が進み、１００万画素以上の撮像素子を持つデジタルカメラが携帯型電子機器（例えば、携帯電話機）に内蔵されている。   Recent digital cameras have been miniaturized, and digital cameras having an image sensor with 1 million pixels or more are built in portable electronic devices (for example, mobile phones).

上述した光学防振システムをこのような小型デジタルカメラに搭載しようとすると、補正レンズやその駆動のための機構をさらに小型化する必要がある。   If the above-described optical image stabilization system is to be mounted on such a small digital camera, it is necessary to further reduce the size of the correction lens and the mechanism for driving the correction lens.

しかし、補正レンズを支持し、これを手ブレに合わせて高精度且つ大きなストロークで駆動していく必要がある光学防振システムの小型化には限度がある。   However, there is a limit to the miniaturization of the optical image stabilization system that needs to support the correction lens and drive it with high accuracy and a large stroke in accordance with camera shake.

一方、特許文献１に示すような電子防振システムは、光学防振システムでは必要な補正レンズやその駆動機構が不要であるため、小型化に適している。   On the other hand, an electronic image stabilization system as shown in Patent Document 1 is suitable for downsizing because an optical image stabilization system does not require a correction lens and its driving mechanism.

しかしながら、適正露出の合成画像を得るのに必要な複数枚の画像を撮影する際、各々の画像は露出アンダーの状態で撮影されるため、このような画像から合成画像に用いるホワイトバランス値を決定すると、適正露出の合成画像に対する適切なホワイトバランス値が得られないという問題がある。   However, when shooting multiple images necessary to obtain a composite image with proper exposure, each image is shot underexposed, so the white balance value used for the composite image is determined from these images. Then, there is a problem that an appropriate white balance value cannot be obtained for a composite image with proper exposure.

本発明は、上記課題に鑑みてなされ、被写体の輝度に対して適正露出が得られる第１の露出時間が手ブレを起こすと予想される露出時間である場合に、画像合成により１枚の適正露出の画像を得るための複数の画像を、第１の露出時間よりも短く、手ブレを起こさないと予想される第２の露出時間で撮影する合成撮影モードを有する撮像装置において、合成撮影モードにより撮影された画像から合成された画像に対して適切なホワイトバランス値を決定することができる技術の提供を目的としている。   The present invention has been made in view of the above problems, and in the case where the first exposure time at which an appropriate exposure is obtained with respect to the luminance of the subject is an exposure time that is expected to cause camera shake, one appropriate image is obtained by image synthesis. In an imaging apparatus having a composite shooting mode that captures a plurality of images for obtaining an exposure image at a second exposure time that is shorter than the first exposure time and is expected not to cause camera shake, An object of the present invention is to provide a technique capable of determining an appropriate white balance value for an image synthesized from an image photographed by the above method.

上記課題を解決し、目的を達成するために、本発明の撮像装置は、被写体の輝度に対して適正露出が得られる第１の露出時間が手ブレを起こすと予想される露出時間である場合に、画像合成により１枚の適正露出の画像を得るための複数の画像を、第１の露出時間よりも短く、手ブレを起こさないと予想される第２の露出時間で撮影する合成撮影モードを有する撮像装置であって、被写体の光学像を電気信号として取り込む撮像手段と、前記撮影手段により取り込んだ電気信号から表示用画像を生成し、逐次表示する表示手段と、前記合成撮影モードで撮影される前記複数枚の画像又はそれらを合成して得られる合成画像に適用するためのホワイトバランス制御値を、前記合成撮影モードによる撮影前に前記表示手段に逐次表示された画像を用いて算出する算出手段とを有する。   In order to solve the above-described problems and achieve the object, the imaging apparatus of the present invention has a case where the first exposure time at which a proper exposure is obtained with respect to the luminance of the subject is an exposure time that is expected to cause camera shake. In addition, a composite shooting mode in which a plurality of images for obtaining one image with appropriate exposure by image composition are photographed at a second exposure time that is shorter than the first exposure time and is expected not to cause camera shake. An imaging device that captures an optical image of a subject as an electrical signal, a display device that generates and sequentially displays a display image from the electrical signal captured by the imaging device, and is captured in the composite shooting mode. White balance control values to be applied to the plurality of images or a synthesized image obtained by synthesizing the images, and images sequentially displayed on the display means before photographing in the composite photographing mode. And a calculating means for calculating and are.

本発明の撮像装置の制御方法は、被写体の輝度に対して適正露出が得られる第１の露出時間が手ブレを起こすと予想される露出時間である場合に、画像合成により１枚の適正露出の画像を得るための複数の画像を、第１の露出時間よりも短く、手ブレを起こさないと予想される第２の露出時間で撮影する合成撮影モードを有する撮像装置の制御方法であって、被写体の光学像を電気信号として取り込む撮像工程と、前記撮影工程により取り込んだ電気信号から表示用画像を生成し、逐次表示する表示工程と、前記合成撮影モードで撮影される前記複数枚の画像又はそれらを合成して得られる合成画像に適用するためのホワイトバランス制御値を、前記合成撮影モードによる撮影前に前記表示工程で逐次表示された画像を用いて算出する算出工程とを有する。   According to the control method of the image pickup apparatus of the present invention, when the first exposure time at which a proper exposure is obtained with respect to the luminance of the subject is an exposure time that is expected to cause camera shake, one appropriate exposure by image synthesis is performed. A method for controlling an image pickup apparatus having a composite shooting mode for shooting a plurality of images for obtaining an image at a second exposure time that is shorter than a first exposure time and is expected not to cause camera shake. An imaging process for capturing an optical image of a subject as an electrical signal, a display process for generating and sequentially displaying a display image from the electrical signal captured by the imaging process, and the plurality of images captured in the composite imaging mode. Alternatively, a calculation process for calculating a white balance control value to be applied to a composite image obtained by combining them using the images sequentially displayed in the display step before shooting in the composite shooting mode. With the door.

本発明によれば、合成撮影モードにより撮影された画像から合成された画像に対して適切なホワイトバランス値を決定することができる。   According to the present invention, it is possible to determine an appropriate white balance value for an image synthesized from an image shot in the composite shooting mode.

以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。   The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。   The embodiment described below is an example as means for realizing the present invention, and should be appropriately modified or changed according to the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment.

［第１の実施形態］
図１は、本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラの構成例を示すブロック図である。 [First Embodiment]
FIG. 1 is a block diagram illustrating a configuration example of a digital still camera as an example of an imaging apparatus according to an embodiment of the present invention.

撮影レンズ１１ａからの入射光束（撮影光）は、絞り１３ａで光量制限されたのちに、シャッタ１２ａを通り撮像部１９に結像する。   The incident light beam (photographing light) from the photographing lens 11a is imaged on the imaging unit 19 through the shutter 12a after the light amount is limited by the diaphragm 13a.

撮像部１９は、被写体の光学像を光電変換して電荷を蓄積するＣＣＤやＣＭＯＳ等の半導体素子からなる。撮像素子の受光面に配列される各画素には例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかのカラーフィルターが付されており、各画素が受光する光の波長帯域を制限している。撮像部１９は撮像素子駆動部１９ｂからの駆動信号を受けることで電荷の蓄積及びリセットを行なう。   The imaging unit 19 includes a semiconductor element such as a CCD or a CMOS that photoelectrically converts an optical image of a subject and accumulates charges. Each pixel arranged on the light receiving surface of the image sensor is provided with a color filter of, for example, red (R), green (G), or blue (B), and the wavelength band of light received by each pixel is determined. Restricted. The imaging unit 19 accumulates and resets charges by receiving a driving signal from the imaging element driving unit 19b.

撮影レンズ１１ａは複数の光学レンズ群により構成され、これらのレンズ群のうち一部又は全部がＡＦ駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。   The taking lens 11a is composed of a plurality of optical lens groups, and some or all of these lens groups move on the optical axis 10 upon receiving a driving force from the AF drive motor 14a and stop at a predetermined focus position. To adjust the focus.

ＡＦ駆動モータ１４ａは焦点駆動部１４ｂからの駆動信号を受けることで所定のレンズを駆動する。   The AF drive motor 14a drives a predetermined lens by receiving a drive signal from the focus drive unit 14b.

また、本実施形態において撮影レンズ１１ａはズームレンズであり、一部の光学レンズ群は、ズーム駆動モータ１５ａからの駆動力を受けて光軸１０上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ１５ａは、ズーム駆動部１５ｂからの駆動信号を受けることでレンズを駆動する。   In the present embodiment, the photographing lens 11a is a zoom lens, and a part of the optical lens group moves on the optical axis 10 in response to the driving force from the zoom driving motor 15a and stops at a predetermined zoom position. Change the shooting angle with. The zoom drive motor 15a drives the lens by receiving a drive signal from the zoom drive unit 15b.

絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けて光通過口となる開口面積（絞り口径）を変化させる。   The diaphragm 13a has a plurality of diaphragm blades, and these diaphragm blades change the opening area (diaphragm aperture) serving as a light passage port by receiving a driving force from the diaphragm driving unit 13b.

シャッタ１２ａは、複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１２ｂからの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１９に入射する光束（露光量）を制御する。   The shutter 12a has a plurality of shutter blades, and these shutter blades open and close an opening serving as a light passage by receiving a driving force from the shutter driving unit 12b. Thereby, the light beam (exposure amount) incident on the imaging unit 19 is controlled.

また、撮影時の条件（被写体輝度等）や撮影モードなどに応じてストロボ１６ａは閃光駆動部１６ｂからの駆動信号を受けて駆動（発光）する。   Further, the strobe 16a is driven (emitted) in response to a drive signal from the flash drive unit 16b in accordance with shooting conditions (subject brightness, etc.) and a shooting mode.

さらに、撮影動作を撮影者に知らせるためにスピーカー１７ａが発音駆動部１７ｂからの駆動信号を受けて駆動（発音）する。   Further, in order to notify the photographer of the photographing operation, the speaker 17a is driven (sounded) in response to a driving signal from the sounding driving unit 17b.

焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂ、発音駆動部１７ｂ、撮像駆動部１９ｂの各駆動は、撮影制御部１８により制御されている。   The drive of the focus drive unit 14b, zoom drive unit 15b, aperture drive unit 13b, shutter drive unit 12b, flash drive unit 16b, sound generation drive unit 17b, and image capture drive unit 19b is controlled by the imaging control unit 18.

撮影制御部１８には、レリーズ操作部１２ｃ、絞り操作部１３ｃ、ズーム操作部１５ｃ、閃光操作部１６ｃ及び後述する防振操作部１２０からの操作信号が入力されるようになっており、カメラの撮影状態に合わせて上記操作信号を各々焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂに与えて撮影条件を設定し、撮影を行うようにしている。   The photographing control unit 18 receives operation signals from a release operation unit 12c, an aperture operation unit 13c, a zoom operation unit 15c, a flash operation unit 16c, and an image stabilization operation unit 120 described later. The operation signals are given to the focus driving unit 14b, the zoom driving unit 15b, the aperture driving unit 13b, the shutter driving unit 12b, and the flash driving unit 16b according to the shooting state to set shooting conditions and perform shooting. .

なお、絞り１３ａの開口径やストロボ１６ａの発光要否は、オート撮影モード時にはカメラ側で自動的に設定するために、絞り操作部１３ｃおよび閃光駆動部１６ｂは不要であるが、撮影者が任意に撮影条件を設定するマニュアル撮影モード時のために設けられる。   The aperture diameter of the aperture 13a and the necessity of light emission of the flash 16a are automatically set on the camera side in the auto shooting mode. Therefore, the aperture operation unit 13c and the flash drive unit 16b are unnecessary, but the photographer can arbitrarily set the aperture. It is provided for manual shooting mode in which shooting conditions are set.

撮影制御部１８は、信号処理部１１１に入力された画像信号に基づいて被写体の明るさ（測光値）を測定し、この測光値に基づいて絞り１３ａの絞り口径とシャッタ１２ａの閉じタイミング（露光時間）を定めている。また、この測光値は、後述するように、電子防振システム使用モード（画像合成モード）時かつ、後述する電子ビューファインダ（ＥＶＦ）のオフ時においてホワイトバランス制御値を求める際に用いられる。   The imaging control unit 18 measures the brightness (photometric value) of the subject based on the image signal input to the signal processing unit 111, and based on this photometric value, the aperture diameter of the aperture 13a and the closing timing (exposure) of the shutter 12a. Time). Further, as will be described later, this photometric value is used when obtaining the white balance control value in the electronic image stabilization system use mode (image synthesis mode) and when the electronic viewfinder (EVF) described later is turned off.

また、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら信号処理部１１１からの出力に基づいて撮影レンズ１１の合焦位置を求めている。   Further, the photographing control unit 18 obtains the in-focus position of the photographing lens 11 based on the output from the signal processing unit 111 while driving the focus driving unit 14b.

撮像部１９から出力される電気信号は、アナログ処理部９０において、ゲイン補正やクランプ処理等のノイズの低減や信号レベルの調整が行われた後、Ａ／Ｄ変換部１１０によりデジタル信号に変換されて信号処理部１１１に出力される。   The electrical signal output from the imaging unit 19 is converted into a digital signal by the A / D conversion unit 110 after noise reduction and signal level adjustment such as gain correction and clamp processing are performed in the analog processing unit 90. To the signal processing unit 111.

信号処理部１１１は、通常撮影モードの場合やＥＶＦモードの場合には、Ａ／Ｄ変換部１１０から入力されたデジタル信号に対して適正な輝度信号や色信号を形成する信号処理（ホワイトバランス処理等）を行ってカラー画像信号を形成する。   In the normal shooting mode or EVF mode, the signal processing unit 111 performs signal processing (white balance processing) that forms an appropriate luminance signal or color signal with respect to the digital signal input from the A / D conversion unit 110. Etc.) to form a color image signal.

また、信号処理部１１１は、画像合成モードの場合には、画像合成モードでの撮影直前（合焦時）にＥＶＦに表示されていた画像からホワイトバランス制御値を求めて記憶する。また、画像合成を撮像装置において行う場合には、画像合成部１１６から供給される合成後の画像に対して、記憶されているホワイトバランス制御値を用いてホワイトバランス処理を行う。さらに、画像合成モードで撮影された個々の画像を合成前にＪＰＥＧ圧縮する場合にも、現像処理におけるホワイトバランス処理にこの記憶されているホワイトバランス制御値を用いる。   In the case of the image composition mode, the signal processing unit 111 obtains and stores a white balance control value from an image displayed on the EVF immediately before shooting in the image composition mode (at the time of focusing). Further, when image synthesis is performed in the imaging apparatus, white balance processing is performed on the synthesized image supplied from the image synthesis unit 116 using the stored white balance control value. Furthermore, even when individual images shot in the image composition mode are JPEG-compressed before composition, the stored white balance control value is used for white balance processing in development processing.

なお、信号処理部１１１は、Ａ／Ｄ変換部１１０でデジタル信号に変換された画像データに対し、色補間などの信号処理を施さないＲＡＷ画像データとして、メモリ制御部１２１に出力することも可能である。特に画像合成モードの場合には、個々のＲＡＷ画像データを予めＥＶＦ画像から求めたホワイトバランス制御値と関連付けて記録部１１９へ書き込みできるよう、ＲＡＷ画像データとともにホワイトバランス制御値をメモリ制御部１２１へ出力する。記録部１１９に書き込んだＲＡＷ画像データ及び対応するホワイトバランス制御値は、例えば再生モードにおいて読み出し、撮像装置での画像合成及びホワイトバランス処理に用いることが可能である。また、画像合成やホワイトバランス処理機能を有するアプリケーションが稼働する外部装置、たとえばＰＣを用いて処理することも可能である。   The signal processing unit 111 can also output the image data converted into a digital signal by the A / D conversion unit 110 to the memory control unit 121 as RAW image data that is not subjected to signal processing such as color interpolation. It is. Particularly in the case of the image composition mode, the white balance control value together with the RAW image data is written to the memory control unit 121 so that the individual RAW image data can be written to the recording unit 119 in association with the white balance control value obtained in advance from the EVF image. Output. The RAW image data and the corresponding white balance control value written in the recording unit 119 can be read out in, for example, the reproduction mode and used for image synthesis and white balance processing in the imaging apparatus. It is also possible to perform processing using an external device, such as a PC, on which an application having an image composition or white balance processing function operates.

信号処理部１１１から出力される画像データは、信号切替部１１２を介して画像補正部１１７に入力される。信号切替部１１２では、画像データがそのまま表示に供することのできるもの、すなわち通常撮影モードで撮影された画像データ（ＥＶＦモードで撮影される個々の画像データを含む）や、画像合成モードで撮影された画像から生成された合成画像データは画像補正部１１７に出力する。一方、画像合成モードで撮影された個々の画像は画像記憶部１１３に出力するように切り替える。これらの切り替えは、メモリ制御部１２１により記録部１１９から読み出された画像データに対しても同様に行われる。   Image data output from the signal processing unit 111 is input to the image correction unit 117 via the signal switching unit 112. In the signal switching unit 112, the image data can be used for display as it is, that is, image data shot in the normal shooting mode (including individual image data shot in the EVF mode) or shot in the image composition mode. The composite image data generated from the obtained image is output to the image correction unit 117. On the other hand, each image shot in the image composition mode is switched to be output to the image storage unit 113. These switching operations are similarly performed on the image data read from the recording unit 119 by the memory control unit 121.

画像補正部１１７は、通常撮影モードにて撮影された画像或いは画像合成モードによる合成画像に対して、最適なガンマ特性によって最適なコントラスト特性を与え、色調整やシャープネス処理等を行うことで、表示部１１８で表示するのに最適な特性の画像データに変換する。   The image correction unit 117 gives an optimum contrast characteristic by an optimum gamma characteristic to an image photographed in the normal photographing mode or a composite image in the image composition mode, and performs color adjustment, sharpness processing, etc. The image data is converted into image data having characteristics optimal for display by the unit 118.

メモリ制御部１２１は、上記画像補正部１１７でガンマ補正処理等が施された画像データに対してＪＰＥＧファイルへの圧縮変換処理を行って記録部１１９に格納する。また、信号処理部１１１からのＲＡＷ画像データとホワイトバランス制御値を関連付けて記録部１１９に格納する。さらに、記録部１１９に格納された画像ファイルを読み出して信号切り替え部１１２、表示制御部１２２や外部Ｉ／Ｆ部１２３に出力したりする。   The memory control unit 121 performs compression conversion processing into a JPEG file on the image data that has been subjected to gamma correction processing or the like by the image correction unit 117 and stores it in the recording unit 119. Further, the RAW image data from the signal processing unit 111 and the white balance control value are associated with each other and stored in the recording unit 119. Further, the image file stored in the recording unit 119 is read and output to the signal switching unit 112, the display control unit 122, and the external I / F unit 123.

表示制御部１２２は、後述する切替スイッチ１１８ａにおいてＥＶＦモードが設定されている場合には、メモリ制御部１２１を介して受け取った表示用画像を液晶パネル等の表示部１１８に逐次表示することにより、表示部１１８をＥＶＦ（Electric View Finder）として機能させる。また、再生モードにおいて、記録部１１９から読み出された画像を表示する。   When the EVF mode is set in the later-described change-over switch 118a, the display control unit 122 sequentially displays the display image received via the memory control unit 121 on the display unit 118 such as a liquid crystal panel. The display unit 118 is caused to function as an EVF (Electric View Finder). In the playback mode, the image read from the recording unit 119 is displayed.

切替スイッチ１１８ａは、表示部１１８を動作させることに伴う電力消費を抑えるため、表示部１１８を電子ビューファインダとして用いるＥＶＦモードと、ＥＶＦ表示を行わない非表示モードの切り替えをユーザに可能にするために設けられている。   The change-over switch 118a enables the user to switch between the EVF mode in which the display unit 118 is used as an electronic viewfinder and the non-display mode in which EVF display is not performed in order to suppress power consumption associated with operating the display unit 118. Is provided.

外部Ｉ／Ｆ（インターフェース）部１２３は、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４（Institute of Electrical and Electronics Engineers 1394）等の規格に準拠した通信を行うためのインタフェースである。コネクタ１２４を介してＰＣやプリンタ等の外部機器が接続される。外部Ｉ／Ｆ部１２３を通じ、記録部１１９に記録された画像データやホワイトバランス制御値を外部機器に出力したり、反対に外部機器が保有する画像データ等を入力したりすることができる。   The external I / F (interface) unit 123 is an interface for performing communication conforming to standards such as USB (Universal Serial Bus) and IEEE 1394 (Institute of Electrical and Electronics Engineers 1394). An external device such as a PC or a printer is connected via the connector 124. Through the external I / F unit 123, the image data and white balance control values recorded in the recording unit 119 can be output to an external device, or the image data held by the external device can be input.

記録部１１９はコンパクトフラッシュ（登録商標）等に代表される、着脱可能なメモリーカードとそのリーダライタである。   The recording unit 119 is a removable memory card represented by a compact flash (registered trademark) or the like and a reader / writer thereof.

＜ホワイトバランス処理＞
ここで、信号処理部１１１によるホワイトバランス（以下、ＷＢと略称する。）処理（オートホワイトバランス処理）について説明する。 <White balance processing>
Here, white balance (hereinafter abbreviated as WB) processing (auto white balance processing) by the signal processing unit 111 will be described.

図２は図１の信号処理部１１１におけるＷＢ処理に係る構成例を示すブロック図である。   FIG. 2 is a block diagram showing a configuration example relating to WB processing in the signal processing unit 111 of FIG.

ＷＢ処理は、被写体中の白い部分を白くする処理、すなわち画像信号中の光の３原色赤（Ｒ）、緑（Ｇ）、青（Ｂ）のレベルを白の被写体について同一にする処理である。   The WB processing is processing for whitening a white portion in a subject, that is, processing for making the levels of the three primary colors red (R), green (G), and blue (B) in the image signal the same for a white subject. .

具体的には、図２において、Ａ／Ｄ変換部１１０でデジタル信号に変換された画像データは、色度座標変換部２１０に送られる。色度座標変換部２１０は、画像データのうち、図３に示されるように、隣接したＲ、Ｇ１、Ｇ２、Ｂの組み合わせで、Ｒ：Ｂ及び（Ｒ＋Ｂ）：（Ｇ１＋Ｇ２）を求めて、図４に示すような二次元座標上にプロットし、無彩色部分検出部２１１は、黒体輻射軌跡３０２の近傍の座標範囲３０１の枠内に位置したＲ、Ｇ１、Ｇ２、Ｂの組み合わせを無彩色の領域として判定する。   Specifically, in FIG. 2, the image data converted into a digital signal by the A / D conversion unit 110 is sent to the chromaticity coordinate conversion unit 210. As shown in FIG. 3, the chromaticity coordinate conversion unit 210 obtains R: B and (R + B) :( G1 + G2) by a combination of adjacent R, G1, G2, and B as shown in FIG. 4 is plotted on the two-dimensional coordinates as shown in FIG. 4, and the achromatic color portion detection unit 211 achromatically combines the combination of R, G1, G2, and B located within the frame of the coordinate range 301 near the blackbody radiation locus 302. It is determined as an area.

そして、ＷＢゲイン算出部２１２は、判定された組み合わせの信号を各色成分毎に順次積分して各色成分の積分値SumR、SumG1、SumG2、SumBを求め、SumR：SumG1：SumG2：SumBの比がＧ成分を基準として、１：１：１：１になるようなホワイトバランス制御値（以下、ＷＢ値と略称する。）WbR、WbG1、WbG2、WbBを次式から求める。
WbR =（SumG1＋SumG2）／（2×SumR ）
WbG1=（SumG1＋SumG2）／（2×SumG1）
WbG2=（SumG1＋SumG2）／（2×SumG2）
WbB =（SumG1＋SumG2）／（2×SumB ）
ＷＢ処理部２１３では、ＷＢゲイン算出部２１２において求められたＷＢ値をこの画像での最適な光源の色温度に対する制御値であると決定して、全画像データのうち、Ｒフィルタの画素信号に対してWbRを、Ｇ１フィルタの画素信号に対してWbG1を、Ｇ２フィルタの画素信号に対してWbG2を、Ｂフィルタの画素信号に対してWbBをそれぞれ乗算することでＷＢ処理を行う。 Then, the WB gain calculation unit 212 sequentially integrates the determined combination signal for each color component to obtain the integration values SumR, SumG1, SumG2, and SumB of each color component, and the ratio of SumR: SumG1: SumG2: SumB is G. White balance control values (hereinafter abbreviated as WB values) WbR, WbG1, WbG2, and WbB, which are 1: 1: 1: 1, are determined from the following equations using the components as references.
WbR = (SumG1 + SumG2) / (2 x SumR)
WbG1 = (SumG1 + SumG2) / (2 × SumG1)
WbG2 = (SumG1 + SumG2) / (2 × SumG2)
WbB = (SumG1 + SumG2) / (2 x SumB)
The WB processing unit 213 determines that the WB value obtained by the WB gain calculation unit 212 is a control value for the optimum color temperature of the light source in this image, and converts it to the R filter pixel signal out of all the image data. On the other hand, WbR is multiplied by WbG1 for the pixel signal of the G1 filter, WbG2 is multiplied for the pixel signal of the G2 filter, and WbB is multiplied by the pixel signal of the B filter.

切替器２１４はＲＡＷ画像データとともにＷＢ値を記録する場合にＷＢ値をメモリ制御部１２１へ出力し、それ以外の場合にはＷＢ値をＷＢ処理部２１３へ供給するために設けられる。   The switch 214 is provided to output the WB value to the memory control unit 121 when the WB value is recorded together with the RAW image data, and to supply the WB value to the WB processing unit 213 in other cases.

信号処理部１１１は、合成撮影モードにおいては、本撮影直前に撮影した、ＥＶＦを実現するための表示用画像又は、合焦制御及び測光処理用に取り込んだ画像に対して求めたＷＢ値WbR、WbG1、WbG2、WbBを、例えばＷＢ処理部２１３に記憶する。   In the composite imaging mode, the signal processing unit 111 obtains a WB value WbR obtained for a display image for realizing EVF or an image captured for focusing control and photometry processing, which is captured immediately before the main imaging. WbG1, WbG2, and WbB are stored in the WB processing unit 213, for example.

このＷＢ値の記憶は、例えば撮影制御部１８からの記憶指示によって行っても良いし、シャッターが半押しされ、合焦した時点での画像に対するＷＢ値を自動的に記憶するようにしても良い。本実施形態ではＥＶＦモードがオンの場合は前者、ＥＶＦモードがオフの場合は後者であるものとする。   The storage of the WB value may be performed by, for example, a storage instruction from the imaging control unit 18, or the WB value for the image at the time when the shutter is half-pressed and in focus may be automatically stored. . In the present embodiment, the former is assumed when the EVF mode is on, and the latter is assumed when the EVF mode is off.

そして、複数の露出アンダーの撮影画像（ＪＰＥＧ圧縮する場合）又は合成画像（デジタルカメラで合成を行う場合）に対しては、撮影画像からＷＢ値を求めずに、記憶されているＷＢ値を用いて上記ＷＢ処理を実行する。   For a plurality of underexposed captured images (when JPEG compression is performed) or composite images (when combined with a digital camera), the stored WB values are used without obtaining the WB values from the captured images. The WB process is executed.

＜ＥＶＦモード＞
次に、表示部１１８を電子ビューファインダ（ＥＶＦ）として用いる場合（ＥＶＦモード）の動作について、図５に示すフローチャートを用いて説明する。 <EVF mode>
Next, the operation when the display unit 118 is used as an electronic viewfinder (EVF) (EVF mode) will be described with reference to the flowchart shown in FIG.

図５において、ステップＳ１０１では、表示制御部１２２は、切替スイッチ１１８ａがオンされているか、すなわちＥＶＦモードに設定されているか判断し、ＥＶＦモード設定時にはＳ１０２に進む。また、ＥＶＦモードに設定されていないならば本処理は行わない。   In FIG. 5, in step S101, the display control unit 122 determines whether the changeover switch 118a is turned on, that is, whether the EVF mode is set, and proceeds to S102 when the EVF mode is set. If the EVF mode is not set, this process is not performed.

ステップＳ１０２で、撮影制御部１８は、メカニカルシャッタ１２ａを開放すると共に、例えば固定速度（例えば１／３０秒）で電子シャッタを作動させる。   In step S102, the imaging control unit 18 opens the mechanical shutter 12a and operates the electronic shutter at a fixed speed (for example, 1/30 seconds), for example.

ステップＳ１０３で、撮影制御部１８は、撮像部１９から画像信号を取り込む。   In step S <b> 103, the imaging control unit 18 captures an image signal from the imaging unit 19.

ステップＳ１０４で、撮影制御部１８は、撮像部１９から取り込んだアナログ信号に対して、アナログ処理部９０において色ごとのゲイン補正及びクランプ処理等を施す。   In step S <b> 104, the imaging control unit 18 performs gain correction and clamping processing for each color on the analog signal captured from the imaging unit 19 in the analog processing unit 90.

ステップＳ１０５では、アナログ処理が施された画像信号をＡ／Ｄ変換部１１０によりデジタル信号に変換して画像データを生成し、信号処理部１１１に出力する。   In step S <b> 105, the image signal that has been subjected to the analog processing is converted into a digital signal by the A / D converter 110 to generate image data, which is output to the signal processor 111.

ステップＳ１０６では、デジタル信号に変換された画像データに対して、信号処理部１１１にて上述したＷＢ処理を含む信号処理を施す。   In step S106, the signal processing unit 111 performs signal processing including the above-described WB processing on the image data converted into the digital signal.

ステップＳ１０７，Ｓ１０８では、ＷＢ処理等が施された画像に対して、画像補正部１１７においてガンマ補正処理等がなされた後、表示制御部１２２により表示部１１８に画像を表示させる。   In steps S <b> 107 and S <b> 108, the image correction unit 117 performs gamma correction processing on the image subjected to WB processing or the like, and then the display control unit 122 displays the image on the display unit 118.

なお、ＥＶＦモードでは以上の処理を繰り返し行うが、処理中に撮影制御部１８からＷＢ値の記憶指示があった場合、信号処理部１１１はその時点での最新のＷＢ値を記憶する。   In the EVF mode, the above processing is repeated. However, if there is an instruction to store the WB value from the imaging control unit 18 during the processing, the signal processing unit 111 stores the latest WB value at that time.

＜撮影時処理＞
次に、本実施形態におけるデジタルカメラの撮影時処理について説明する。 <Processing during shooting>
Next, the processing at the time of shooting of the digital camera in the present embodiment will be described.

本実施形態では、画像合成モードで撮影される露出アンダーの複数の画像をＪＰＥＧ画像として保存する。この場合、ＪＰＥＧ圧縮符号化前にカラー画像を生成する必要があるため、信号処理部１１１で個々の画像に対するＷＢ処理を行う際に、撮影前に算出して記憶したＷＢ値を用いる。   In the present embodiment, a plurality of underexposed images shot in the image composition mode are stored as JPEG images. In this case, since it is necessary to generate a color image before JPEG compression encoding, the WB value calculated and stored before shooting is used when the signal processing unit 111 performs WB processing on each image.

図６は本実施形態のデジタルカメラの撮影時処理を説明するフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。   FIG. 6 is a flowchart for explaining the photographing process of the digital camera of this embodiment, and this flow starts when the camera is turned on.

ステップＳ２０１では、撮影者がレリーズボタンを半押ししたことを示すｓｗ１がオンとなるまで待機し、ｓｗ１がオンされると撮影準備動作を行うためにステップＳ２０２に進む。   In step S201, the process waits until sw1 indicating that the photographer has pressed the release button halfway is turned on. When sw1 is turned on, the process proceeds to step S202 to perform a shooting preparation operation.

ステップＳ２０２では、撮影準備動作として、撮像部１９が被写体を撮像し、信号処理部１１１でその画像のコントラストを検出しながら撮影制御部１８によりＡＦモータ１４ａを駆動してレンズ１１を繰り出し、最もコントラストが高かった位置でレンズ１１の繰り出しを停止することで焦点合わせを行うと同時に、撮像部１９で取り込まれた画像信号から被写体の明るさ（測光値）を検出する。また、ＥＶＦモードがオフの場合には、この処理を行う過程で取り込んだ画像を用い、上述した方法でＷＢ値を算出して記憶しておく。   In step S202, as the shooting preparation operation, the imaging unit 19 captures an image of the subject, the signal processing unit 111 detects the contrast of the image, the shooting control unit 18 drives the AF motor 14a, and the lens 11 is extended. At the same time, focusing is performed by stopping the extension of the lens 11 at a high position, and at the same time, the brightness (photometric value) of the subject is detected from the image signal captured by the imaging unit 19. When the EVF mode is off, the WB value is calculated and stored by the above-described method using the image captured in the process of performing this process.

ステップＳ２０３では、撮影制御部１８は、防振操作部１２０がオンされた状態か、すなわち防振システムがオンされた画像合成モードか、それ以外の通常撮影モードかを判断し、画像合成モードならばステップＳ２０４に進み、通常撮影モードならばステップＳ２２０に進む。   In step S203, the imaging control unit 18 determines whether the image stabilization operation unit 120 is turned on, that is, the image synthesis mode in which the image stabilization system is on, or the other normal imaging mode. If YES in step S204, the flow advances to step S220.

＜画像合成モードでの撮影処理＞
まず、ここでは画像合成モードでの撮影処理について説明する。 <Shooting process in image composition mode>
First, the photographing process in the image composition mode will be described here.

ステップＳ２０４で、撮影制御部１８は、画像合成モードで撮影される複数の露出アンダー画像の各々又は合成後の画像に用いるホワイトバランス制御値（ＷＢ値）を、以下に説明する処理に従って決定する。   In step S204, the shooting control unit 18 determines a white balance control value (WB value) to be used for each of the plurality of underexposed images shot in the image synthesis mode or the synthesized image according to the process described below.

すなわち、ＥＶＦモードがオンの場合には、信号処理部１１１に対し、ＥＶＦ画像生成時に算出した最新のＷＢ値を記憶するように指示し、ここで記憶されたＷＢ値を後の処理で用いる。一方、ＥＶＦモードがオフの場合には、既にステップＳ２０２において記憶されているＷＢ値を用いる。   That is, when the EVF mode is on, the signal processing unit 111 is instructed to store the latest WB value calculated at the time of EVF image generation, and the stored WB value is used in subsequent processing. On the other hand, when the EVF mode is off, the WB value already stored in step S202 is used.

ステップＳ２０５ではステップＳ２０２で求めた被写体の明るさ等の撮影条件から撮影する枚数と各々の露光時間を求める。   In step S205, the number of images to be photographed and the respective exposure times are obtained from the photographing conditions such as the brightness of the subject obtained in step S202.

ここでの撮影条件とは、
・被写体の明るさ（測光値）
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞りの値）
・撮像素子の感度
の４点である。 The shooting conditions here are:
・ Brightness of subject (photometric value)
・ Focal distance of taking optical system ・ Brightness of taking optical system (aperture value)
-It is 4 points of sensitivity of an image sensor.

例えば、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍ（ｆ＝３０ｍｍ）、撮像素子の感度がＩＳＯ２００、測光値から得られる適正露出の絞りとシャッタースピードとがそれぞれ開放（例えばＦ２．８）、１／１５秒であったとする。   For example, the focal length of the photographic optical system is 30 mm (f = 30 mm) in terms of 35 mm film, the sensitivity of the image sensor is ISO 200, the aperture of the proper exposure obtained from the photometric value and the shutter speed are each open (for example, F2.8), Suppose that it was 1/15 second.

一般に、手ぶれを防ぐには撮像光学系の焦点距離分の１より早いシャッタースピードで撮影するのがよいとされている。従って、手ぶれを防止しながらこの被写体を撮影するには１／３０より早いシャッタースピードで撮影することが望まれる。   Generally, in order to prevent camera shake, it is recommended to shoot at a shutter speed faster than one-tenth of the focal length of the imaging optical system. Therefore, in order to photograph this subject while preventing camera shake, it is desirable to photograph at a shutter speed faster than 1/30.

このような場合、４枚の画像から１枚の合成画像を得るようにすることで、１／６０秒のシャッタースピードで撮影することが可能になる。   In such a case, it is possible to shoot at a shutter speed of 1/60 seconds by obtaining one composite image from four images.

ただし、合成に不適な画像が撮影される可能性があるので、ここでは２枚多く計６枚を撮影するようにしている。   However, there is a possibility that an image unsuitable for composition may be shot, so here, a total of six shots are taken.

同条件でｆ＝１０５ｍｍとなった場合には、１／１５０秒のシャッタースピードで１０枚の画像を撮影することで、適正露出の合成画像１枚を得ることができる。なお、撮影枚数が多くなるほど合成に不適な画像も多くなることが予想されるため、５枚余計に撮影するなど、撮影枚数をより多く設定する。   When f = 105 mm under the same conditions, one composite image with proper exposure can be obtained by shooting 10 images with a shutter speed of 1/150 seconds. Since the number of images that are inappropriate for composition is expected to increase as the number of shots increases, the number of shots is set to a larger value such as shooting more than five.

以上のように、複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、更に何枚撮影するかも撮影条件に合わせて設定する。   As described above, the exposure time when shooting a plurality of images is determined according to the shooting conditions, and how many more images are shot is set according to the shooting conditions.

以上の演算が終了した後に、カメラのファインダ等に画像合成モード（防振システムオン）が設定されたことを表示すると同時に求めた撮影枚数を表示し撮影者に知らせる。   After the above calculation is completed, it is displayed on the camera finder or the like that the image composition mode (anti-vibration system is on) is set, and at the same time, the number of images obtained is displayed to notify the photographer.

ステップＳ２０６ではレリーズボタンが全押しされたことを示すｓｗ２がオンとなるまで、ステップＳ２０１からステップＳ２０６を循環して待機する。   In step S206, the process waits from step S201 to step S206 until sw2 indicating that the release button has been fully pressed is turned on.

ステップＳ２０７では１枚目の撮影を開始する。先ず、撮像部１９において電荷のリセットを行い、再蓄積を開始させる。   In step S207, the first image is taken. First, charge is reset in the imaging unit 19 and re-accumulation is started.

次に、ステップＳ２０５で求めた露光時間シャッター１２ａを開放し、その後シャッタを閉じて電荷の転送を行う。また、同時に撮影開始の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。この音は例えばピッ！と云う電子音でも良いし、フィルムカメラ等におけるシャッタの開き音、ミラーアップの音でも良い。   Next, the exposure time shutter 12a obtained in step S205 is opened, and then the shutter is closed to transfer charges. At the same time, the pronunciation at the start of shooting is pronounced by the speaker 17a via the tone generator 17b. This sound is for example! An electronic sound such as a shutter opening sound or a mirror-up sound in a film camera or the like may be used.

ステップＳ２２３で、各撮影画像に対し、信号処理部１１１でカラー画像生成のための各種信号処理（所謂現像処理）を適用する。この処理にはホワイトバランス処理も組まれており、ここでのホワイトバランス処理にはステップＳ２０４で設定されたＷＢ値を用いる。   In step S223, various signal processing (so-called development processing) for color image generation is applied to each captured image by the signal processing unit 111. This process includes a white balance process, and the WB value set in step S204 is used for the white balance process.

カラー画像化された撮影画像は、ステップＳ２０８で一旦画像記憶部１１３に記憶される。なお、この際、本実施形態では、合成に不適な撮影画像を検出して削除する。具体的には、撮影者が構図や焦点を良く観察して撮影した画像であると考えられる１枚目の撮影画像を基準画像とし、基準画像と大きく異なる画像、例えばコントラストが著しく低い画像については画像記憶部１１３から削除する。   The captured image that has been converted into a color image is temporarily stored in the image storage unit 113 in step S208. At this time, in this embodiment, a photographed image unsuitable for composition is detected and deleted. Specifically, the first photographed image considered to be an image photographed by the photographer while observing the composition and focus well is used as a reference image, and for an image that is significantly different from the reference image, for example, an image with extremely low contrast. Delete from the image storage unit 113.

ステップＳ２０９ではステップＳ２０５で決定した撮影枚数全ての撮影が完了したかどうか判定し、撮影が残っていればステップＳ２０７、Ｓ２０８を繰り返し実行する。   In step S209, it is determined whether or not shooting for all the shots determined in step S205 has been completed. If shooting has been completed, steps S207 and S208 are repeatedly executed.

そして撮影が完了するとステップＳ２１０に進む。   When shooting is completed, the process proceeds to step S210.

ステップ２１０では撮影完了の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。   In step 210, the completion of shooting is pronounced by the speaker 17a via the tone generation drive unit 17b.

この音は例えばピッピッ！と云う電子音でも良いし、フィルムカメラ等におけるシャッタの閉じ音、ミラーダウン音やフィルム巻き上げ音でも良い。   This sound is for example! An electronic sound such as a shutter closing sound, a mirror down sound or a film winding sound in a film camera or the like may be used.

このように複数枚撮影する場合においてもその動作を表す発音は１セット（最初の撮影の露光開始から最後の撮影の露光完了までに１回）なので、撮影者に複数枚撮影の違和感を与えることはない。   In this way, even when shooting multiple images, there is one set of pronunciations representing the operation (once from the start of exposure of the first shooting to the completion of exposure of the last shooting), thus giving the photographer a sense of incongruity of shooting multiple photos. There is no.

ステップＳ２２６では、直ちに合成処理を行うか、どうかを例えば設定値を判別することによって判定する。   In step S226, whether or not to immediately perform the synthesis process is determined, for example, by determining a set value.

直ちに合成を行わない場合、画像記憶部１１３に記憶した画像はメモリ制御部１２１へ出力され、ＪＰＥＧ符号化を代表とする圧縮符号化が施される。そして、これら複数の画像が合成用の元画像であることが判別できるように記録部１９で記録を行う。例えば、画像ファイルのヘッダ情報の拡張エリアなどに、合成のための画像であることを示す情報及び他の合成元画像を特定可能な情報（例えばファイル名）を含めて記録する。   When the image is not immediately combined, the image stored in the image storage unit 113 is output to the memory control unit 121 and subjected to compression encoding represented by JPEG encoding. Then, the recording unit 19 performs recording so that it can be determined that the plurality of images are original images for synthesis. For example, information indicating that the image is an image to be combined and information (for example, a file name) that can specify another combining source image are recorded in an extension area of the header information of the image file.

なお、本実施形態では合成元画像に対して既にホワイトバランス処理が行われているため、記録部１１９には画像データのみを書き込み、ホワイトバランス制御値は記録しない。   In this embodiment, since the white balance processing has already been performed on the composition source image, only the image data is written in the recording unit 119 and the white balance control value is not recorded.

記録が終わったらスタートへ戻る（ステップＳ２２９）。   When the recording is finished, the process returns to the start (step S229).

一方、撮影終了後直ちに合成処理を行う設定となっている場合には、ステップＳ２１１〜Ｓ２１６の画像合成処理を行う。   On the other hand, if it is set to perform the composition process immediately after the photographing is completed, the image composition process in steps S211 to S216 is performed.

ステップＳ２１１ではズレ検出部１１４が、画像記憶部１１３に記憶された画像内における特徴点を抽出し、参照画像（１枚目）における特徴点の位置座標と、他の画像における特徴点の座標のずれを割り出す。このずれは１枚目の画像に対する２枚目以降の画像の相対的なズレを意味する。   In step S211, the deviation detection unit 114 extracts feature points in the image stored in the image storage unit 113, and calculates the position coordinates of the feature points in the reference image (first image) and the coordinates of the feature points in other images. Determine the gap. This deviation means a relative shift between the second and subsequent images with respect to the first image.

ステップＳ２１２では座標変換部１１５が各画像の座標変換を行うが、それに先立って合成の基準になる画像の選択と、それに対して合成に適した画像を選ぶ。   In step S212, the coordinate conversion unit 115 performs coordinate conversion of each image. Prior to that, selection of an image serving as a reference for synthesis and selection of an image suitable for synthesis are performed.

ここでは、画像記憶部１１３に記憶された各画像を順次仮の基準画像と決めて、その場合における残りの画像の移動量総和が最も小さくなる組み合わせの時の基準画像を真の基準画像とすると共に、真の基準画像に対して大きくずれている（例えば画面の辺の２０％以上ずれている）画像は合成に用いず、残りの画像を合成に用いる画像とする。   Here, each image stored in the image storage unit 113 is sequentially determined as a temporary reference image, and the reference image in the combination in which the total amount of movement of the remaining images is the smallest is set as the true reference image. At the same time, an image greatly deviated from the true reference image (for example, deviated by 20% or more of the side of the screen) is not used for composition, and the remaining image is used as an image for composition.

ステップＳ２１３では全画像の座標変換が終了し、基準画像が求まるまでステップＳ２１１、Ｓ２１２を循環して待機し、全ての画像の座標変換が完了するとステップＳ２１４に進む。   In step S213, coordinate conversion of all images is completed, and steps S211 and S212 are circulated and waited until a reference image is obtained. When coordinate conversion of all images is completed, the process proceeds to step S214.

ステップＳ２１４では画像合成部１１６により画像の合成及びゲインアップを行う。   In step S214, the image composition unit 116 performs image composition and gain increase.

ここで画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。すなわち、画像合成モードでは、露出アンダーの画像を意図的に撮影するため、ノイズの影響を受け易くなるが、加算平均することによりランダムノイズを削減することが可能である。   Here, image synthesis is performed by averaging the signals of the coordinates corresponding to each image, and random noise in the image is reduced by averaging. That is, in the image composition mode, an underexposed image is intentionally captured, and thus is easily affected by noise. However, random noise can be reduced by averaging.

すなわち、デジタル画像の場合には、１枚の露出不足の画像でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズが多くなって見苦しい画像になってしまう。しかしながら、本実施形態のように複数枚の画像を合成して画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。   That is, in the case of a digital image, it is possible to correct the exposure by increasing the gain even for a single underexposed image. However, if the gain is increased, the image becomes unsightly due to increased noise. However, when a plurality of images are combined to increase the gain of the entire image as in this embodiment, the noise of each image is averaged, so that an image with a large S / N ratio can be obtained. As a result, noise can be suppressed and exposure can be optimized.

換言すると、画像合成モードは、ノイズを許容して撮像部を高感度にして複数枚撮影し、これらを加算平均することで画像に含まれるランダムノイズを減少させるモードとも考えられる。   In other words, the image composition mode can be considered as a mode in which noise is allowed and a plurality of images are captured with a high sensitivity of the imaging unit, and the random noise included in the image is reduced by averaging these.

そして、合成後の、ランダムノイズが低減された画像に対して、ゲインアップを行う。このゲインアップを行うに際して、例えば４枚合成予定であったのに、合成に適した画像が３枚しかない場合にはその分の露出不足もゲインアップして補うようにしている。   Then, the gain is increased with respect to the combined image with reduced random noise. When performing this gain increase, for example, when four images are scheduled to be combined, but there are only three images suitable for combining, the corresponding insufficient exposure is also increased to compensate.

ステップＳ２１５では、合成された画像の端部の様に各画像が構図ブレにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補間する。   In step S215, an area where the images do not overlap due to composition blur, such as the edge of the synthesized image, is cut, and the image is diffusion-interpolated so as to have the original frame size.

ステップＳ２１６では画像補正部１１７により合成画像に対してガンマ補正、色調整、シャープネス処理等の画像補正処理を行う。   In step S216, the image correction unit 117 performs image correction processing such as gamma correction, color adjustment, and sharpness processing on the composite image.

そして、ステップＳ２１７でこの画像を表示制御部１２２を通じて表示部１１８に表示する。   In step S217, the image is displayed on the display unit 118 through the display control unit 122.

また、表示と並行してステップＳ２２７以降の処理を行い、上述したＪＰＥＧ形式での記録処理を行う。   In parallel with the display, the processing from step S227 is performed, and the above-described recording processing in the JPEG format is performed.

なお、通常のデジタルカメラでは撮影後に画像を表示部１１８に表示するクイックレビュー機能を有するが、本実施形態のように複数枚の画像を合成して適正露出の画像を得る場合には、合成画像を作成してから表示するまでに時間を要する場合がある。   Note that an ordinary digital camera has a quick review function for displaying an image on the display unit 118 after shooting. However, when a plurality of images are combined to obtain an image with appropriate exposure as in the present embodiment, a combined image is obtained. It may take some time to create and display.

そこで、本実施形態の表示制御部１２２は、画像合成モードで、かつ合成を直ちに行う場合には、合成画像が出来上がるまで合成元画像、例えば１枚目の画像をゲインアップして表示する。なお、露出アンダーの画像をゲインアップして表示するとノイズが目立つようになるが、表示部１１８の画素数は撮影画素数よりも少ないため、実際にはノイズが気になることはない。そして、合成画像が出来上がったら、合成画像を表示する。   In view of this, the display control unit 122 of the present embodiment, when performing the composition immediately in the image composition mode, increases the gain of the composition original image, for example, the first image, and displays it until the composition image is completed. Note that noise becomes conspicuous when an underexposed image is gained up and displayed. However, since the number of pixels of the display unit 118 is smaller than the number of photographed pixels, the noise is not annoying in practice. When the composite image is completed, the composite image is displayed.

＜通常撮影モード時の動作＞
次に、ステップＳ２０３で防振システムがオフされている場合（通常撮影モード）の撮影時動作について説明する。 <Operation in normal shooting mode>
Next, the shooting operation when the image stabilization system is turned off in step S203 (normal shooting mode) will be described.

この通常撮影モードでは、ステップＳ２０３からステップＳ２２０に処理が進む。   In the normal shooting mode, the process proceeds from step S203 to step S220.

ステップＳ２２０では、撮影制御部１８は、ステップＳ２０５で説明した露光時間の算出を行い、手ブレによる画像劣化が発生する可能性が高い撮影条件であるか否かを判断する。   In step S220, the imaging control unit 18 calculates the exposure time described in step S205, and determines whether or not the imaging condition is highly likely to cause image degradation due to camera shake.

撮影条件は前述したように被写体の明るさ、レンズの明るさ、撮像感度、撮影焦点距離であり、被写体の明るさ、レンズの明るさ、撮像感度に基づいて露光時間を求め、その露光時間が現状の撮影焦点距離においては手ブレによる画像劣化の可能性があるか否かを判断する。   As described above, the shooting conditions are the brightness of the subject, the brightness of the lens, the imaging sensitivity, and the shooting focal length. The exposure time is obtained based on the brightness of the subject, the brightness of the lens, and the imaging sensitivity. It is determined whether there is a possibility of image degradation due to camera shake at the current shooting focal length.

そして手ぶれが発生する可能性が高いと破断される場合には、ステップＳ２２１でカメラのファインダや表示部１１８に防振システムをオンすることを推奨する表示を行う。   If the camera shake is likely to occur, it is recommended that the image stabilization system be turned on in the camera finder or the display unit 118 in step S221.

ステップＳ２２２ではレリーズボタンの全押しがなされたかどうかを判定し、ｓｗ２がオンとなるまでステップＳ２０１からステップＳ２２２を循環して待機する。   In step S222, it is determined whether or not the release button has been fully pressed, and the process waits while circulating from step S201 to step S222 until sw2 is turned on.

ｓｗ２がオンとなり撮影の指示がなされると、ステップＳ２２４では通常の撮影処理を行う。この過程で行われるホワイトバランス処理は、撮影画像に基づいて上述した方法により求めたＷＢ値を用いて行う。信号処理部１１１でカラー画像が生成されると、ステップＳ２１６に進み、画像補正部１１７での補正処理を行う。以後、ステップＳ２１７以降の処理を上述の通り行う。   When sw2 is turned on and a shooting instruction is given, a normal shooting process is performed in step S224. The white balance process performed in this process is performed using the WB value obtained by the above-described method based on the captured image. When the color image is generated by the signal processing unit 111, the process proceeds to step S <b> 216, and the correction process is performed by the image correction unit 117. Thereafter, the processing after step S217 is performed as described above.

なお、図６には記載していないが、通常撮影モードにおいても撮影開始から完了の動作に合わせて撮影動作音をスピーカー１７ａより発音している。   Although not shown in FIG. 6, in the normal shooting mode, the shooting operation sound is generated from the speaker 17a in accordance with the operation from the start to the end of shooting.

即ち、画像合成モードにおいても通常撮影モードにおいても同じ様式の撮影動作音を発音しており、その動作音の長さ（撮影開始音から撮影完了音迄の長さ）の違いにより長秒時露光か否かを撮影者が認識できる程度であり、複数枚の撮影を行っているか否かは撮影者には分からないようになっている。   That is, in the image composition mode and the normal shooting mode, the same type of shooting operation sound is generated, and the exposure time is longer due to the difference in the length of the operation sound (the length from the shooting start sound to the shooting completion sound). Whether or not the photographer can recognize whether or not a plurality of images are being taken is unknown to the photographer.

そのために画像合成モードにおいても特別な撮影を行っているという認識を撮影者に与えることがなく、使い勝手がよい。   Therefore, it is easy to use without giving the photographer the recognition that special shooting is performed even in the image composition mode.

このフローで分かるように防振システムをオフしている場合においても手ブレによる画像劣化が生ずる撮影条件の時には撮影者に防振システムの活用（画像合成モード）を促す表示を行って画像劣化を未然に防いでおり、更に画像合成モードにおいても各々の露光時間は焦点距離により変更するのでいかなる焦点距離においても望ましい撮影ができるようにしている。   As can be seen from this flow, even when the image stabilization system is turned off, when the shooting conditions cause image degradation due to camera shake, a display that prompts the photographer to use the image stabilization system (image composition mode) In addition, in the image composition mode, each exposure time is changed depending on the focal length, so that desirable photographing can be performed at any focal length.

以上のように、本実施形態においては、露出アンダーで撮影した複数枚の画像を合成するにあたって、露出アンダーの撮影画像でＷＢ値を決定しないで、より適正な露出条件に近い画像、例えば撮影直前にＥＶＦに表示していた画像や、測光、合焦処理時に取り込んだ画像に基づいてＷＢ値を決定するようにした。   As described above, in the present embodiment, when combining a plurality of images shot with underexposure, the WB value is not determined with the underexposed shot image, but an image close to a more appropriate exposure condition, for example, immediately before shooting. The WB value is determined based on the image displayed on the EVF and the image captured during the photometry and focusing process.

これにより、露出アンダーで撮影した画像から求めたＷＢ値よりも良好なＷＢ値を用いて合成画像を生成することが可能となる。また、露出アンダーで撮影した個々の合成元画像からＷＢ値を求める場合には、ノイズの影響により画像毎に求まるＷＢ値にばらつきが生じ、結果として合成画像のホワイトバランスが崩れる原因となるが、本実施形態では共通したＷＢ値を用いるため、合成元画像間でのＷＢ値ばらつきがなく、ホワイトバランスの崩れを抑制することができる。   As a result, it is possible to generate a composite image using a WB value that is better than the WB value obtained from an image captured underexposed. In addition, when obtaining the WB value from each composite original image shot underexposed, the WB value obtained for each image varies due to the influence of noise, resulting in the white balance of the composite image being lost. In the present embodiment, since a common WB value is used, there is no WB value variation among the synthesis source images, and the white balance can be prevented from being lost.

また、合成元画像であることを示す情報及び他の合成元画像を特定可能な情報を含めて画像データを記録するため、例えばＰＣなど外部装置において画像合成アプリケーションを稼働させて上述の画像合成処理を行う場合であっても、正しく画像合成を行うことが可能になる。   In addition, in order to record image data including information indicating that it is a composition source image and information that can identify another composition source image, the above-described image composition processing is performed by running an image composition application in an external device such as a PC. Even when performing the above, it is possible to correctly perform image composition.

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。 [Second Embodiment]
Next, a second embodiment of the present invention will be described.

第１の実施形態では合成元画像をＪＰＥＧ形式で記録したが、第２の実施形態は、個々の合成元画像をＲＡＷ画像として記録することを特徴とする。ＲＡＷ画像生成時にはＷＢ処理を行わず、輝度リニア画像に変換し、合成画像を生成した後にＷＢ処理を行う。そのため、ＷＢ値は、合成時までＲＡＷ画像とは独立したデータとして保存される。   In the first embodiment, the composition source image is recorded in the JPEG format, but the second embodiment is characterized in that each composition source image is recorded as a RAW image. When a RAW image is generated, the WB process is not performed, but the WB process is performed after converting to a luminance linear image and generating a composite image. For this reason, the WB value is stored as data independent of the RAW image until synthesis.

図７は第２の実施形態に係るデジタルカメラの撮影動作をまとめたフローチャートであり、図６と同じ処理ステップには同一のステップ番号を付して説明を省略し、異なる部分のみを説明する。   FIG. 7 is a flowchart summarizing the photographing operation of the digital camera according to the second embodiment. The same processing steps as those in FIG. 6 are denoted by the same step numbers and description thereof is omitted, and only different portions are described.

まず、ステップＳ２０６でｓｗ２がオンし、ステップＳ２０７から始まる画像合成モードでの撮影処理において、カラー画像生成処理が行われず、従ってＷＢ処理も行われない。そして、合成元画像として画像記憶部１１３に格納されるのはＲＡＷ画像データである。   First, sw2 is turned on in step S206, and color image generation processing is not performed in the imaging processing in the image composition mode starting from step S207, and therefore WB processing is not performed. RAW image data is stored in the image storage unit 113 as a composition source image.

そして、直ちに合成処理を行う場合、ステップＳ２１４における画像合成処理が終了した後、第１の実施形態においてステップＳ２２３で実施したのと同様のカラー画像生成処理を合成後の画像に対して適用する（ステップＳ２４０）。この処理の過程で、Ｓ２０４で決定され、記憶されたＷＢ値を用いたＷＢ処理が行われる。   Then, when the synthesis process is performed immediately, after the image synthesis process in step S214 is completed, a color image generation process similar to that performed in step S223 in the first embodiment is applied to the synthesized image ( Step S240). In the course of this process, the WB process using the stored WB value determined in S204 is performed.

また、本実施形態においても通常撮影モードではＪＰＥＧ形式での記録を行うため、ステップＳ２２７’では、通常撮影モードで撮影された画像に対してのみＪＰＥＧ圧縮処理を行う。また、ステップＳ２４１において画像記録を行う際には、画像合成モードで撮影されたＲＡＷデータのヘッダに、合成元画像であることを示す情報及び他の合成元画像を特定可能な情報に加え、画像データＳ２０４で決定され、記憶されたＷＢ値を格納して記録する。通常撮影モードで撮影された画像はＪＰＥＧ形式での記録を行う。   Also in the present embodiment, since recording in the JPEG format is performed in the normal shooting mode, JPEG compression processing is performed only on an image shot in the normal shooting mode in step S227 '. In addition, when performing image recording in step S241, in addition to information indicating that it is a composition source image and information that can identify another composition source image, in the header of RAW data captured in the image composition mode, The WB value determined and stored in the data S204 is stored and recorded. An image shot in the normal shooting mode is recorded in the JPEG format.

本実施形態においても、第１の実施形態と同様の効果が達成される。特にＲＡＷ画像データにＷＢ値を含めて記録するため、外部装置で合成処理を行う際に適切なホワイトバランス処理を行うことができる。   Also in this embodiment, the same effect as that of the first embodiment is achieved. In particular, since RAW image data is recorded including the WB value, an appropriate white balance process can be performed when the composition process is performed by an external device.

［他の実施形態］
なお、上述の実施形態において、記録部１１９へ画像データを記録する代わりに、あるいは記録部１１９への記録に加えて、画像データを外部装置、例えばＰＣに転送する処理を実行することが可能である。 [Other Embodiments]
In the above-described embodiment, instead of recording the image data in the recording unit 119 or in addition to recording in the recording unit 119, it is possible to execute a process of transferring the image data to an external device such as a PC. is there.

この場合、メモリ制御部１２１が、記録部１１９へ出力するデータを外部Ｉ／Ｆ部１２３を通じ、通信可能に接続されている外部装置へ出力するようにすればよい。   In this case, the memory control unit 121 may output data to be output to the recording unit 119 via the external I / F unit 123 to an external device that is connected to be communicable.

外部装置では、図６のステップＳ２１１〜Ｓ２１６で説明した合成、補正処理を実行可能なアプリケーションを用いて合成画像を生成することができる。なお、この場合、画像ファイルに含まれる、合成元画像であることを示す情報及び他の合成元画像を特定可能な情報を用いて他の合成元画像を特定し、ＲＡＷ画像データの場合はさらにＷＢ値を画像ファイルから取り出して処理を行う。   The external device can generate a composite image using an application capable of executing the composition and correction processes described in steps S211 to S216 in FIG. In this case, another composite source image is specified using information indicating that it is a composite source image and information that can specify another composite source image included in the image file. The WB value is extracted from the image file and processed.

また、上述の実施形態では、本発明に係る撮像装置としてデジタルスチルカメラを例に説明したが、本発明は小型にまとめることができるのでデジタルスチルカメラに限られずデジタルビデオカメラによる静止画撮影や、監視カメラ、Ｗｅｂカメラ、携帯電話等にも展開できる。   In the above-described embodiment, the digital still camera has been described as an example of the imaging apparatus according to the present invention.However, since the present invention can be reduced in size, still image shooting with a digital video camera is not limited to a digital still camera, It can also be applied to surveillance cameras, web cameras, mobile phones, and the like.

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク（登録商標）、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭ等を用いることが出来る。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(オペレーティングシステム)等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Another object of the present invention is to supply a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the storage medium. Needless to say, this can also be achieved by reading and executing the program code stored in.
In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
As a storage medium for supplying the program code, for example, a floppy disk (registered trademark), a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like is used. I can do it.
Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) or the like running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion board or function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラの構成例を示すブロック図である。1 is a block diagram illustrating a configuration example of a digital still camera as an example of an imaging apparatus according to an embodiment of the present invention. 本発明に係る実施形態のＷＢ処理を行うブロック図である。It is a block diagram which performs WB processing of the embodiment concerning the present invention. 撮像素子上のカラーフィルターの位置と、色度座標を算出するときの画素の組み合わせの一例を示す図である。It is a figure which shows an example of the combination of the pixel when calculating the position of the color filter on an image sensor, and chromaticity coordinates. 色度座標上の黒体輻射軌跡と無彩色判定領域を示す図である。It is a figure which shows the black body radiation locus | trajectory on a chromaticity coordinate, and an achromatic color determination area | region. 本発明に係る実施形態のＥＶＦモード時の動作を示すフローチャートである。It is a flowchart which shows the operation | movement at the time of EVF mode of embodiment which concerns on this invention. 本発明に係る第１の実施形態の通常撮影モード及び画像合成モードでの各動作を示すフローチャートである。It is a flowchart which shows each operation | movement by the normal imaging | photography mode and image composition mode of 1st Embodiment which concerns on this invention. 本発明に係る第２の実施形態の通常撮影モード及び画像合成モードでの各動作を示すフローチャートである。It is a flowchart which shows each operation | movement by the normal imaging | photography mode and image composition mode of 2nd Embodiment which concerns on this invention.

符号の説明Explanation of symbols

１０ 光軸
１１ａ 撮影レンズ
１２ａ シャッタ
１２ｂ シャッタ駆動部
１２ｃ レリーズ操作部
１３ａ 絞り
１３ｂ 絞り駆動部
１３ｃ 絞り操作部
１４ａ ＡＦ駆動モータ
１４ｂ 焦点駆動部
１５ａ ズーム駆動モータ
１５ｂ ズーム駆動部
１５ｃ ズーム操作部
１６ａ ストロボ
１６ｂ 閃光駆動部
１６ｃ 閃光操作部
１７ａ スピーカー
１７ｂ 発音駆動部
１８ 撮影制御部
１９ 撮像部
１９ｂ 撮像素子駆動部
９０ アナログ処理部
１１０ Ａ／Ｄ変換部
１１１ 信号処理部
１１２ 信号切替部
１１３ 画像記憶部
１１４ ズレ検出部
１１５ 座標変換部
１１６ 画像合成部
１１７ 画像補正部
１１８ 表示部（ＥＶＦ）
１１８ａ 切替スイッチ
１１９ 記録部
１２０ 防振操作部
１２１ メモリ制御部
１２２ 表示制御部
１２３ 外部Ｉ／Ｆ部
１２４ コネクタ DESCRIPTION OF SYMBOLS 10 Optical axis 11a Shooting lens 12a Shutter 12b Shutter drive part 12c Release operation part 13a Aperture 13b Aperture drive part 13c Aperture operation part 14a AF drive motor 14b Focus drive part 15a Zoom drive motor 15b Zoom drive part 15c Zoom operation part 16a Strobe 16b Flash Drive unit 16c Flash operation unit 17a Speaker 17b Sound generation drive unit 18 Shooting control unit 19 Imaging unit 19b Image sensor drive unit 90 Analog processing unit 110 A / D conversion unit 111 Signal processing unit 112 Signal switching unit 113 Image storage unit 114 Deviation detection unit 115 Coordinate transformation unit 116 Image composition unit 117 Image correction unit 118 Display unit (EVF)
118a changeover switch 119 recording unit 120 anti-vibration operation unit 121 memory control unit 122 display control unit 123 external I / F unit 124 connector

Claims (9)

被写体の輝度に対して適正露出が得られる第１の露出時間が手ブレを起こすと予想される露出時間である場合に、画像合成により１枚の適正露出の画像を得るための複数の画像を、第１の露出時間よりも短く、手ブレを起こさないと予想される第２の露出時間で撮影する合成撮影モードを有する撮像装置であって、
被写体の光学像を電気信号として取り込む撮像手段と、
前記撮影手段により取り込んだ電気信号から表示用画像を生成し、逐次表示する表示手段と、
前記合成撮影モードで撮影される前記複数枚の画像又はそれらを合成して得られる合成画像に適用するためのホワイトバランス制御値を、前記合成撮影モードによる撮影前に前記表示手段に逐次表示された画像を用いて算出する算出手段とを有することを特徴とする撮像装置。 When the first exposure time at which a proper exposure is obtained with respect to the brightness of the subject is an exposure time that is expected to cause camera shake, a plurality of images for obtaining one image with proper exposure by image composition are obtained. An imaging device having a composite shooting mode for shooting at a second exposure time that is shorter than the first exposure time and is expected not to cause camera shake,
Imaging means for capturing an optical image of a subject as an electrical signal;
Display means for generating a display image from the electrical signal captured by the photographing means and sequentially displaying;
White balance control values to be applied to the plurality of images shot in the composite shooting mode or a composite image obtained by combining them are sequentially displayed on the display means before shooting in the composite shooting mode. An imaging apparatus comprising: a calculation unit that calculates using an image. 前記合成撮影モードで撮影された複数の画像を合成して適正露出の合成画像を得る合成手段と、
前記合成画像に対し、前記算出手段が算出したホワイトバランス制御値を用いてホワイトバランス調整処理を行うホワイトバランス処理手段とを更に有することを特徴とする請求項１記載の撮像装置。 A combining unit that combines a plurality of images shot in the combined shooting mode to obtain a composite image with appropriate exposure;
The imaging apparatus according to claim 1, further comprising a white balance processing unit that performs a white balance adjustment process on the composite image using a white balance control value calculated by the calculation unit. 前記合成撮影モードで撮影された複数の画像の各々に対し、前記算出手段が算出したホワイトバランス制御値を用いてホワイトバランス調整処理を行うホワイトバランス処理手段と、
前記ホワイトバランス処理後の画像を合成して適正露出の合成画像を得る合成手段を更に有することを特徴とする請求項１記載の撮像装置。 White balance processing means for performing white balance adjustment processing using a white balance control value calculated by the calculation means for each of a plurality of images shot in the composite shooting mode;
The imaging apparatus according to claim 1, further comprising a combining unit that combines the images after the white balance processing to obtain a composite image with appropriate exposure. 前記合成撮影モードで撮影された複数の画像のデータと、前記算出手段が算出した前記ホワイトバランス制御値とを対応付けて記録する記録手段とを更に有することを特徴とする請求項１記載の撮像装置。   2. The imaging according to claim 1, further comprising recording means for recording data of a plurality of images photographed in the composite photographing mode and the white balance control value calculated by the calculating means in association with each other. apparatus. 被写体の輝度に対して適正露出が得られる第１の露出時間が手ブレを起こすと予想される露出時間である場合に、画像合成により１枚の適正露出の画像を得るための複数の画像を、第１の露出時間よりも短く、手ブレを起こさないと予想される第２の露出時間で撮影する合成撮影モードを有する撮像装置の制御方法であって、
被写体の光学像を電気信号として取り込む撮像工程と、
前記撮影工程により取り込んだ電気信号から表示用画像を生成し、逐次表示する表示工程と、
前記合成撮影モードで撮影される前記複数枚の画像又はそれらを合成して得られる合成画像に適用するためのホワイトバランス制御値を、前記合成撮影モードによる撮影前に前記表示工程で逐次表示された画像を用いて算出する算出工程とを有することを特徴とする方法。 When the first exposure time at which a proper exposure is obtained with respect to the brightness of the subject is an exposure time that is expected to cause camera shake, a plurality of images for obtaining one image with proper exposure by image composition are obtained. A control method for an imaging apparatus having a composite shooting mode for shooting at a second exposure time that is shorter than the first exposure time and is expected not to cause camera shake,
An imaging process for capturing an optical image of a subject as an electrical signal;
A display step of generating a display image from the electrical signal captured by the photographing step and sequentially displaying it,
White balance control values to be applied to the plurality of images shot in the composite shooting mode or a composite image obtained by combining them are sequentially displayed in the display step before shooting in the composite shooting mode. A calculation step of calculating using an image. 前記合成撮影モードで撮影された複数の画像を合成して適正露出の合成画像を得る合成工程と、
前記合成画像に対し、前記算出工程で算出したホワイトバランス制御値を用いてホワイトバランス調整処理を行うホワイトバランス処理工程とを更に有することを特徴とする請求項５記載の方法。 A combining step of combining a plurality of images shot in the combined shooting mode to obtain a composite image with proper exposure;
The method according to claim 5, further comprising a white balance processing step of performing a white balance adjustment process on the composite image using the white balance control value calculated in the calculation step. 前記合成撮影モードで撮影された複数の画像の各々に対し、前記算出工程で算出したホワイトバランス制御値を用いてホワイトバランス調整処理を行うホワイトバランス処理工程と、
前記ホワイトバランス処理後の画像を合成して適正露出の合成画像を得る合成工程とを更に有することを特徴とする請求項５記載の方法。 A white balance processing step of performing white balance adjustment processing using the white balance control value calculated in the calculation step for each of a plurality of images shot in the composite shooting mode;
6. The method according to claim 5, further comprising a synthesis step of synthesizing the image after the white balance processing to obtain a composite image with proper exposure. 前記合成撮影モードで撮影された複数の画像のデータと、前記算出工程で算出した前記ホワイトバランス制御値とを対応付けて記録する記録工程とを更に有することを特徴とする請求項５記載の方法。   6. The method according to claim 5, further comprising a recording step of associating and recording data of a plurality of images shot in the composite shooting mode and the white balance control value calculated in the calculation step. . 請求項５乃至８のいずれか１項記載の制御方法を撮像装置のコンピュータに実行させるためのプログラム。   The program for making the computer of an imaging device perform the control method of any one of Claims 5 thru | or 8.

Images