JP2007124292A - Imaging apparatus, imaging method, and imaging program - Google Patents

Imaging apparatus, imaging method, and imaging program Download PDF

Info

Publication number
JP2007124292A
JP2007124292A JP2005314032A JP2005314032A JP2007124292A JP 2007124292 A JP2007124292 A JP 2007124292A JP 2005314032 A JP2005314032 A JP 2005314032A JP 2005314032 A JP2005314032 A JP 2005314032A JP 2007124292 A JP2007124292 A JP 2007124292A
Authority
JP
Japan
Prior art keywords
image data
image
imaging
shooting
flash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005314032A
Other languages
Japanese (ja)
Other versions
JP5156991B2 (en
Inventor
Makoto Takeuchi
誠 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2005314032A priority Critical patent/JP5156991B2/en
Publication of JP2007124292A publication Critical patent/JP2007124292A/en
Application granted granted Critical
Publication of JP5156991B2 publication Critical patent/JP5156991B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To ensure sufficient brightness to the captured image especially when an image is taken at night and to obtain a picture image that balances well with a blur caused by a shutter speed change or noises caused by a sensitivity change through an easy calculation processing. <P>SOLUTION: When a picture is taken at night, a control unit 20, first of all, opens a stop wide, sets sensitivity at its maximum, and sets a shutter speed at its maximum time that a blur hardly occurs, and a photography sensor 16 takes a picture of a night view performing a first exposure, and in succession, the sensitivity is set at its minimum, a flash is set at its maximum emission, and the photography sensor 16 takes a picture of a front object lighting a flash through a second exposure. A digital signal processing unit 28 compounds the first picture image taken by by high-sensitivity photographing and the second picture image taken by photographing using a flash into a recording picture image on the basis of the luminance value of each pixel in accordance with a prescribed threshold and a prescribed compound ratio (weight). <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、デジタルカメラなどに係り、夜景撮影を行う撮像装置、撮像方法および撮像プログラムに関する。   The present invention relates to a digital camera and the like, and relates to an imaging apparatus, an imaging method, and an imaging program that perform night scene photography.

従来より、デジタルカメラでは、フラッシュを発光させて適切な露出で手前の人物を撮影するとともに、背景の夜景を例えばシャッタスピードをかなり遅くして撮影するという、いわゆる「夜景撮影」という撮影方法があった。   Conventionally, a digital camera has a so-called “night scene shooting” method in which a flash is emitted to shoot a person in front with an appropriate exposure, and a night scene in the background is shot at a considerably slow shutter speed, for example. It was.

図１３は、従来技術によるデジタルカメラの夜景撮影時の動作例を示すタイミングチャートである。夜景撮影時には、一度の撮影で、まず、メカニカルシャッタを開放し、シャッタボタンが押下されると、フラッシュを所定の時間だけ発光させ、その後、所定時間経過後、メカニカルシャッタを閉じる。この結果、フラッシュ発光期間に主に手前の人物の画像が撮影され、このシャッタボタンが押下されてからメカニカルシャッタを閉じるまでの期間に背景（夜景）の画像が撮影される。   FIG. 13 is a timing chart showing an example of operation of a digital camera according to the prior art during night scene shooting. When shooting night scenes, the mechanical shutter is first opened, and when the shutter button is pressed, the flash is emitted for a predetermined time, and then the mechanical shutter is closed after the predetermined time has elapsed. As a result, an image of the person in the foreground is mainly captured during the flash emission period, and an image of the background (night view) is captured during the period from when the shutter button is pressed until the mechanical shutter is closed.

この場合、フラッシュ光が届きにくい背景で適正露出を得るためには、シャッタスピードを遅くする必要である。このように一度の撮影で手前の人物と背景とを撮影する場合、全体としてどうしてもシャッタスピードを遅くしなければならないため、手ぶれを防止するために、三脚等、デジタルカメラ本体を固定する必要があった。また、夜景の中に動くものがあると、薄く流れて撮影されてしまうという問題があった。   In this case, it is necessary to slow down the shutter speed in order to obtain appropriate exposure in a background where the flash light is difficult to reach. When shooting the person and background in the foreground in this way, the shutter speed must be slowed down as a whole, so it is necessary to fix the digital camera body, such as a tripod, to prevent camera shake. It was. Also, there was a problem that if there were moving objects in the night view, the film flowed thinly.

そこで、一度の撮影指示に対して、フラッシュを発光させる撮影とフラッシュを発光させない撮影とをそれぞれ行い、双方の画像の相関を検出し、該相関に基づいて撮影画像を補正する技術がが提案されている（例えば特許文献１参照）。
特開２０００−１０２０２２号公報 In view of this, there has been proposed a technique for performing shooting with a flash and shooting without a flash in response to a single shooting instruction, detecting the correlation between both images, and correcting the shot image based on the correlation. (For example, refer to Patent Document 1).
JP 2000-102022 A

しかしながら、上述した従来技術では、フラッシュを発光させて撮影した画像と、フラッシュを発光させないで撮影した画像とを用いて撮影画像を補正しても、明るさとノイズとのバランスの良い画像を得ることができないという問題がある。また、フラッシュ光による影響を受けた画像部分とフラッシュ光による影響を受けなかった画像部分とを識別するための相関検出処理と、この識別された画像部分に対する画像補正処理の２つの複雑な演算を別々に行う必要があるため、回路構成あるいはソフトウェアが複雑になるという問題がある。   However, with the above-described conventional technology, an image with a good balance between brightness and noise can be obtained even if the captured image is corrected using an image shot with the flash and an image shot without the flash. There is a problem that can not be. In addition, two complex operations, correlation detection processing for identifying an image portion affected by flash light and an image portion not affected by flash light, and image correction processing for the identified image portion are performed. Since it needs to be performed separately, there is a problem that the circuit configuration or software becomes complicated.

そこで本発明は、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることのできる撮像装置、撮像方法および撮像プログラムを提供することを目的とする。   Therefore, the present invention secures sufficient brightness for a photographed image, particularly in night photography, and obtains an image having a good balance with noise due to sensitivity change and camera shake due to shutter speed change by simple arithmetic processing. An object is to provide an imaging device, an imaging method, and an imaging program.

上記目的達成のため、請求項１記載の発明による撮像装置は、被写体像を撮像する撮像手段と、発光手段と、前記発光手段を発光させずに前記撮像手段により撮影する際には撮像感度を高くし、前記発光手段を発光させて前記撮像手段により撮影する際には撮像感度を低く設定する撮影感度設定手段と、前記発光手段を発光させずに前記撮像手段により撮影した第１の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定手段と、前記合成比率決定手段により決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成する合成手段とを具備することを特徴とする。   In order to achieve the above object, an image pickup apparatus according to a first aspect of the present invention has an image pickup means for picking up a subject image, a light emitting means, and an image pickup sensitivity when shooting with the image pickup means without causing the light emitting means to emit light. The image pickup sensitivity setting means for setting the image pickup sensitivity to be low when shooting with the image pickup means with the light emitting means emitting light, and the first image data taken by the image pickup means without causing the light emission means to emit light And a composition ratio determining means for determining for each pixel a composition ratio between the light emitting means and the second image data photographed by the imaging means, and for each pixel determined by the composition ratio determining means And combining means for combining the first image data and the second image data at different combining ratios to generate image data for recording.

また、好ましい態様として、例えば請求項２記載のように、請求項１記載の撮像装置において、一度の撮影指示に応じて、前記発光手段を発光させない前記撮像手段による撮影と、前記発光手段を発光させる前記撮像手段による撮影とを続けて行うように、前記撮像手段、前記発光手段および前記感度制御手段を制御する撮影制御手段を具備するようにしてもよい。   Further, as a preferred aspect, for example, as in claim 2, in the imaging apparatus according to claim 1, in accordance with one photographing instruction, photographing by the imaging means that does not cause the light emitting means to emit light, and the light emitting means emits light. An imaging control unit that controls the imaging unit, the light emitting unit, and the sensitivity control unit may be provided so that the imaging by the imaging unit is performed continuously.

また、好ましい態様として、例えば請求項３記載のように、請求項１または２記載の撮像装置において、前記合成比率決定手段は、前記第１の画像データの画素値と前記第２の画像データの画素値との組み合わせにより分類される複数の領域毎に、前記第１の画像データと前記第２の画像データとの合成比率を決定するようにしてもよい。   Further, as a preferred aspect, for example, as in claim 3, in the imaging apparatus according to claim 1 or 2, the synthesis ratio determination unit is configured to calculate the pixel value of the first image data and the second image data. You may make it determine the synthetic | combination ratio of said 1st image data and said 2nd image data for every several area | region classified according to the combination with a pixel value.

また、好ましい態様として、例えば請求項４記載のように、請求項３記載の撮像装置において、前記合成比率決定手段は、前記第２の画像データの画素値が所定の閾値より大きい場合には、前記第２の画像データの画素値を用い、前記第２の画像データの画素値が所定の閾値以下である場合には、前記第１の画像データの画素値を用いるように前記合成比率を決定するようにしてもよい。   As a preferred aspect, for example, as in claim 4, in the imaging apparatus according to claim 3, when the pixel value of the second image data is greater than a predetermined threshold, The pixel value of the second image data is used, and when the pixel value of the second image data is equal to or less than a predetermined threshold, the composition ratio is determined to use the pixel value of the first image data. You may make it do.

また、好ましい態様として、例えば請求項５記載のように、請求項３記載の撮像装置において、前記合成比率決定手段は、前記第１の画像データの画素値と前記第２の画像データの画素値とを大小比較して、大きい方の画像データの画素値を用いるように前記合成比率を決定するようにしてもよい。   Further, as a preferred aspect, for example, as in claim 5, in the imaging apparatus according to claim 3, the composition ratio determining unit is configured to obtain a pixel value of the first image data and a pixel value of the second image data. May be compared, and the composition ratio may be determined so as to use the pixel value of the larger image data.

また、好ましい態様として、例えば請求項６記載のように、請求項３記載の撮像装置において、前記合成比率決定手段は、前記第１の画像データの画素値と前記第２の画像データの画素値との差分に基づいて、前記複数の領域のうち、どの領域に属するかを判別し、属する領域に基づいて前記合成比率を決定するようにしてもよい。   Further, as a preferred aspect, for example, as in claim 6, in the imaging apparatus according to claim 3, the synthesis ratio determining unit is configured to obtain a pixel value of the first image data and a pixel value of the second image data. It is also possible to determine which region of the plurality of regions belongs based on the difference between the two and determine the combination ratio based on the region to which the region belongs.

また、上記目的達成のため、請求項７記載の発明による撮像方法は、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行うステップと、フラッシュを発光させずに撮影した第１の画像データと、フラッシュを発光させて撮影した第２の画像データとの合成比率を、各画素毎に決定するステップと、前記決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成するステップとを含むことを特徴とする。   In order to achieve the above object, the image pickup method according to the seventh aspect of the present invention continues shooting with no flash emission with high imaging sensitivity and shooting with flash emission with low imaging sensitivity in response to a single shooting instruction. Determining the composition ratio of the first image data photographed without the flash and the second image data photographed with the flash for each pixel. And the step of synthesizing the first image data and the second image data at a different composition ratio for each pixel to generate image data for recording.

また、上記目的達成のため、請求項８記載の発明による撮像プログラムは、コンピュータに、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行う撮影機能と、フラッシュを発光させずに撮影した第１の画像データと、フラッシュを発光させて撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定機能と、前記決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成する合成機能とを実現させることを特徴とする。   In order to achieve the above object, an imaging program according to the invention described in claim 8 shoots a computer that does not emit a flash with high imaging sensitivity and a camera that emits a flash with low imaging sensitivity in response to a single shooting instruction. A combination ratio for determining for each pixel a combination ratio of a shooting function that continuously performs the above, first image data shot without flash firing, and second image data shot with flash firing Realizing a determination function and a combination function for generating the recording image data by combining the first image data and the second image data at a different combination ratio for each of the determined pixels. Features.

請求項１記載の発明によれば、撮影感度設定手段により、発光手段を発光させずに撮像手段により撮影する際には撮像感度を高くし、発光手段を発光させて撮像手段により撮影する際には撮像感度を低くし、合成比率決定手段により、前記発光手段を発光させずに前記撮像手段により撮影した第１の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第２の画像データとの合成比率を、各画素毎に決定し、合成手段により、決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成するようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。   According to the first aspect of the present invention, when photographing is performed by the imaging means without causing the light emitting means to emit light by the photographing sensitivity setting means, the imaging sensitivity is increased, and when photographing is performed by the imaging means by causing the light emitting means to emit light. The imaging sensitivity is lowered, and the first image data photographed by the imaging means without causing the light emitting means to emit light by the combination ratio determining means, and the second image photographed by the imaging means by causing the light emitting means to emit light. A synthesis ratio with the image data is determined for each pixel, and the first image data and the second image data are synthesized by the synthesis means at a different synthesis ratio for each determined pixel, and for recording Image data is generated, so that sufficient brightness is ensured for captured images, especially during nighttime shooting, and noise caused by sensitivity changes and baluns caused by camera shake due to shutter speed changes. Good images, advantage can be obtained by simple arithmetic processing can be obtained.

また、請求項２記載の発明によれば、撮影制御手段により、一度の撮影指示に応じて、発光手段を発光させない撮影と、発光手段を発光させる撮影とを続けて行うように、撮像手段、発光手段および感度制御手段を制御するようにしたので、特に夜間撮影などにおいて、各被写体までの距離やフラッシュ光の照射量を特定するための特別な処理を行うことなく、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。   According to the second aspect of the present invention, the image pickup means, the image pickup means, so that the shooting control means continuously performs the shooting without causing the light emitting means to emit light and the shooting with which the light emitting means emits light in response to a single shooting instruction. Since the light emission means and the sensitivity control means are controlled, the shooting sensitivity can be lowered without performing special processing for specifying the distance to each subject and the amount of flash light irradiation, especially during night photography. Noise that ensures the brightness of the front subject portion that was shot with flash firing and the back subject portion that was shot with higher shooting sensitivity secured by flash firing. Select an image with a small amount of noise, and select an image that has noise in the back subject area but ensures brightness with high sensitivity. Advantage can be obtained by can be obtained.

また、請求項３記載の発明によれば、合成比率決定手段により、第１の画像データの画素値と第２の画像データの画素値との組み合わせにより分類される複数の領域毎に、第１の画像データと前記第２の画像データとの合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。   According to a third aspect of the present invention, the first ratio is determined for each of the plurality of areas classified by the combination of the pixel value of the first image data and the pixel value of the second image data by the synthesis ratio determining means. Since the composition ratio of the image data and the second image data is determined, the subject portion in the foreground that has been shot with the flash emission reduced and the shooting sensitivity, particularly in night shooting, etc. It is possible to roughly identify the deeper subject part that was shot at a higher level, select a low-noise image that is brightened by flash emission for the nearer subject part, and reduce the noise for the deeper subject part. However, there is an advantage that an image equivalent to selecting and synthesizing an image that secures brightness by high sensitivity can be obtained by simpler arithmetic processing.

また、請求項４記載の発明によれば、合成比率決定手段により、第２の画像データの画素値が所定の閾値より大きい場合には、第２の画像データの画素値を用い、第２の画像データの画素値が所定の閾値以下である場合には、第１の画像データの画素値を用いるように前記合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。   According to the fourth aspect of the present invention, when the pixel value of the second image data is larger than the predetermined threshold value by the synthesis ratio determining means, the pixel value of the second image data is used to When the pixel value of the image data is equal to or less than a predetermined threshold, the composition ratio is determined so that the pixel value of the first image data is used. The subject part in the foreground that was shot with the flash fired was roughly distinguished from the subject part in the back that was shot with high shooting sensitivity, and the front subject part was brightened by flash firing. Select an image with less noise and select an image that has noise for the back subject area but secures brightness with high sensitivity. Obtainable Advantage that can be obtained.

また、請求項５記載によれば、合成比率決定手段により、第１の画像データの画素値と第２の画像データの画素値とを大小比較し、大きい方の画像データの画素値を用いるように前記合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。   According to the fifth aspect, the pixel value of the first image data is compared with the pixel value of the second image data by the composition ratio determining means, and the pixel value of the larger image data is used. Since the composition ratio is determined, the subject part in the foreground shot with low shooting sensitivity and flash firing, and the back subject part shot with high shooting sensitivity, especially at night shooting, etc. And select a low-noise image that has been brightened by flash emission for the near subject, and ensure high-sensitivity brightness with noise for the far subject. An advantage is obtained in that an image equivalent to selecting and combining the selected images can be obtained by simpler arithmetic processing.

また、請求項６記載の発明によれば、合成比率決定手段により、第１の画像データの画素値と第２の画像データの画素値との差分に基づいて、複数の領域のうち、どの領域に属するかを判別し、属する領域に基づいて前記合成比率を決定するようにしたので、特に夜間撮影などにおいて、撮影感度を低くしてフラッシュ発光させて撮影された手前の被写体部分と、撮影感度を高くして撮影された奥の被写体部分とを略識別して、手前の被写体部分に対してはフラッシュ発光により明るさを確保したノイズの少ない画像を選択し、奥の被写体部分に対してはノイズはあるが高感度による明るさを確保した画像を選択して合成を行ったのと同等の画像を、より簡単な演算処理で得ることができるという利点が得られる。   According to the invention of claim 6, which region of the plurality of regions is determined based on the difference between the pixel value of the first image data and the pixel value of the second image data by the composition ratio determining means. Since the composition ratio is determined based on the area to which the image belongs, the subject portion in the foreground that was shot with the flash emitted at low shooting sensitivity, especially during night shooting, and the shooting sensitivity The subject part in the back that was shot with a high height, and select a low-noise image that was brightened by flash emission for the subject part in the foreground, and for the subject part in the back There is an advantage that an image equivalent to that obtained by selecting and synthesizing an image having noise but having high sensitivity can be obtained by simpler arithmetic processing.

また、請求項７記載の発明によれば、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行うステップと、フラッシュを発光させずに撮影した第１の画像データと、フラッシュを発光させて撮影した第２の画像データとの合成比率を、各画素毎に決定するステップと、前記決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成するステップとを含むようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。   According to the seventh aspect of the present invention, in accordance with one shooting instruction, a step of continuously performing shooting without flash emission with high imaging sensitivity and shooting with flash emission with low imaging sensitivity, A step of determining for each pixel a composition ratio between the first image data photographed without emitting light and the second image data photographed with the flash emitted, and different composition for each of the determined pixels Since the first image data and the second image data are combined at a ratio and a step of generating image data for recording is included, the brightness sufficient for the photographed image, particularly in night photography As well as the advantage of being able to obtain images with a good balance between noise due to sensitivity changes and camera shake due to shutter speed changes. .

また、請求項８記載の発明によれば、コンピュータに、一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行う撮影機能と、フラッシュを発光させずに撮影した第１の画像データと、フラッシュを発光させて撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定機能と、前記決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成する合成機能とを実現させるようにしたので、特に夜間撮影などにおいて、撮影画像に十分な明るさを確保するとともに、感度変更によるノイズや、シャッタスピード変更による手ぶれとのバランスの良い画像を、簡単な演算処理で得ることができるという利点が得られる。   According to the invention described in claim 8, in accordance with one shooting instruction, the shooting function for continuously performing shooting without flash emission with high imaging sensitivity and shooting with flash emission with low imaging sensitivity is performed. And a composite ratio determining function for determining a composite ratio between the first image data captured without the flash and the second image data captured with the flash for each pixel. In addition, since the first image data and the second image data are synthesized at a different synthesis ratio for each pixel, and a synthesis function for generating image data for recording is realized, particularly night photography or the like , Ensure sufficient brightness for captured images and obtain images with a good balance between noise due to sensitivity changes and camera shake due to shutter speed changes by simple arithmetic processing Door is the advantage that it is obtained.

以下、本発明の実施の形態を、図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。図において、画像取得部１０は、レンズ１１、シャッタ１２、ＬＰＦ１３からなる。レンズ１１は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッタ１２は、シャッタボタンが操作されると、制御部２０によって駆動されるドライバ１４により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ１４で行う。ＬＰＦ１３は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。 A. First embodiment A-1. Configuration of First Embodiment FIG. 1 is a block diagram showing a configuration of a digital camera according to a first embodiment of the present invention. In the figure, the image acquisition unit 10 includes a lens 11, a shutter 12, and an LPF 13. The lens 11 is a normal optical lens and includes a lens group in which aspherical lenses are stacked. The shutter 12 is a so-called mechanical shutter that is operated by a driver 14 driven by the control unit 20 when a shutter button is operated. Depending on the digital camera, a mechanical shutter may not be provided. In the case of a model equipped with a retractable lens structure and a mechanical zoom, these drivers are also controlled by the driver 14. The LPF 13 is a crystal low-pass filter and is mounted to prevent the occurrence of moire.

次に、アナログ信号処理部１５は、撮像センサ（ＣＣＤ，ＣＭＯＳ）１６、サンプリング／信号増幅処理部１７、Ａ／Ｄコンバータ１８からなる。撮像センサ１６は、被写体画像（イメージ）を結像し、ＲＧＢの各色の光の強さを、電流値に変換する。サンプリング／信号増幅処理部１７は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行う。Ａ／Ｄコンバータ１８は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する（ＲＧＢ，ＣＭＹＧ各色について１２ｂｉｔデータに変換してバスラインに出力する）。   Next, the analog signal processing unit 15 includes an image sensor (CCD, CMOS) 16, a sampling / signal amplification processing unit 17, and an A / D converter 18. The imaging sensor 16 forms a subject image (image), and converts the intensity of light of each color of RGB into a current value. The sampling / signal amplification processing unit 17 performs correlated double sampling processing and signal amplification processing for suppressing noise and color unevenness. The A / D converter 18 is also called an analog front end, and converts the sampled / amplified analog signal into a digital signal (converts each color of RGB and CMYG into 12-bit data and outputs it to the bus line).

次に、制御部（ＣＰＵ）２０は、後述するプログラムメモリ格納されるプログラムに従ってデジタルカメラ１（撮像装置）の全体を制御する。特に、本第１実施形態では、夜景撮影において、２回の露光により背景の夜景と手前の被写体（人物など）とを撮影するようになっている。詳細は後述するが、１回目の撮影（高感度撮影）では、ＩＳＯ感度を上げて露光し、２回目の撮影（フラッシュ発光撮影）では、ＩＳＯ感度を下げ、フラッシュを発光させて露光する。そして、１回目の画像と２回目の画像とを、後述する所定の閾値、所定の合成比率（重み）に従って合成するようになっている。制御部２０は、これら夜景撮影時の動作、画像取り込み、画像合成等を制御する。   Next, the control unit (CPU) 20 controls the entire digital camera 1 (imaging device) according to a program stored in a program memory described later. In particular, in the first embodiment, in night scene shooting, a background night scene and a subject (such as a person) in the foreground are shot by two exposures. Although details will be described later, in the first shooting (high-sensitivity shooting), the ISO sensitivity is increased and exposed, and in the second shooting (flash flash shooting), the ISO sensitivity is decreased and the flash is emitted for exposure. Then, the first image and the second image are combined according to a predetermined threshold and a predetermined combining ratio (weight) described later. The control unit 20 controls the operation at the time of night scene shooting, image capture, image composition, and the like.

プレビューエンジン２２は、録画モード（記録モード、撮影モードともいう）において、画像取得部１０、アナログ信号処理部１５を介して入力されたデジタルデータ、もしくはシャッタ操作検出直後、イメージバッファ２６に格納されたデジタルデータ、および、画像メモリ３１に格納されたデジタルデータを表示部２５に表示させるために間引き処理を行う。Ｄ／Ａコンバータ２３は、プレビューエンジン２２により間引き処理されたデジタルデータを変換し、後段のドライバ２４に出力する。   The preview engine 22 is stored in the image buffer 26 immediately after detection of digital data input via the image acquisition unit 10 and the analog signal processing unit 15 in the recording mode (also referred to as recording mode or photographing mode) or shutter operation detection. Thinning processing is performed in order to display the digital data and the digital data stored in the image memory 31 on the display unit 25. The D / A converter 23 converts the digital data thinned out by the preview engine 22 and outputs it to the driver 24 at the subsequent stage.

ドライバ２４は、後段の表示部２５に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部２７、制御部２０を介して入力された制御信号に基づいて表示部２５を駆動させる。表示部２５は、カラーＴＦＴ液晶や、ＳＴＮ液晶などからなり、プレビュー画像や、撮影後の画像データ、設定メニューなどを表示する。   The driver 24 includes a buffer area for temporarily storing digital data displayed on the display unit 25 at the subsequent stage, and drives the display unit 25 based on a control signal input via the key operation unit 27 and the control unit 20. The display unit 25 includes a color TFT liquid crystal, an STN liquid crystal, or the like, and displays a preview image, image data after shooting, a setting menu, and the like.

イメージバッファ２６は、アナログ信号処理部１５、もしくはデジタル信号処理部２８を介して入力され、デジタル信号処理部２８に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部２７は、シャッタボタンや、記録／再生モード選択スライドスイッチ、メニューボタン、十字キー（中央押しで決定）などからなる。   The image buffer 26 temporarily stores digital data immediately after photographing until it is input via the analog signal processing unit 15 or the digital signal processing unit 28 and passed to the digital signal processing unit 28. The key operation unit 27 includes a shutter button, a recording / playback mode selection slide switch, a menu button, a cross key (determined by pressing the center), and the like.

デジタル信号処理部２８は、アナログ信号処理部１５を介して入力されたデジタルデータに対して、ホワイトバランス処理、色処理、階調処理、輸郭強調、ＲＧＢ形式からＹＵＶ形式への変換、ＹＵＶ形式からＪＰＥＧ形式への変換を行う。特に、本第１実施形態では、デジタル信号処理部２８は、夜景撮影時において、ＩＳＯ感度を上げて露光した、１回目の撮影（高感度撮影）による画像と、ＩＳＯ感度を下げ、フラッシュを発光させて露光した、２回目の撮影（フラッシュ発光撮影）による画像とを、後述する所定の閾値、所定の合成比率（重み）に従って合成する。   The digital signal processing unit 28 performs white balance processing, color processing, gradation processing, contour emphasis, conversion from RGB format to YUV format, YUV format for digital data input via the analog signal processing unit 15. To JPEG format. In particular, in the first embodiment, the digital signal processing unit 28 emits a flash by lowering the ISO sensitivity and the image of the first shooting (high-sensitivity shooting), which is exposed with increased ISO sensitivity during night scene shooting. The image obtained by the second shooting (flash flash shooting) is then combined in accordance with a predetermined threshold value and a predetermined combining ratio (weight) described later.

画像圧縮／伸張処理部２９は、デジタル信号処理部２８を介して入力されたデジタルデータをＪＰＥＧ方式に圧縮符号化したり、モーションＪＰＥＧ形式の動画ファイルを生成したり、モーションＪＰＥＧ形式の動画ファイルをＭＰＥＧ形式の動画ファイルに変換したり、再生モードにおいては、ＪＰＥＧ形式、モーションＪＰＥＧ形式、あるいはＭＰＥＧ形式の動画ファイルを伸張したりする。   The image compression / decompression processing unit 29 compresses and encodes the digital data input via the digital signal processing unit 28 into the JPEG format, generates a motion JPEG format movie file, or converts the motion JPEG format movie file to MPEG. It is converted into a moving image file of a format, or in a reproduction mode, a moving image file in JPEG format, motion JPEG format, or MPEG format is expanded.

プログラムメモリ３０は、制御部２０にロードされる各種プログラムや、ベストショット機能におけるＥＶ値、色補正情報などを格納する。画像メモリ３１は、イメージバッファ２６に一時的に保持された画像データや、各種ファイル形式に変換されたデジタルデータ、動画データなどを格納する。カードＩ／Ｆ３２は、外部記録媒体３３と撮像装置本体との間のデータ交換を制御する。   The program memory 30 stores various programs loaded on the control unit 20, EV values in the best shot function, color correction information, and the like. The image memory 31 stores image data temporarily stored in the image buffer 26, digital data converted into various file formats, moving image data, and the like. The card I / F 32 controls data exchange between the external recording medium 33 and the imaging apparatus main body.

外部記録媒体３３は、コンパクトフラッシュ（登録商標）、メモリースティック、ＳＤカード等からなる着脱可能な記録媒体である。外部接続用Ｉ／Ｆ３４は、ＵＳＢコネクター用スロットなどからなり、パーソナルコンピュータなどと接続され、撮影した画像データの転送などに用いられる。ＲＡＭ３５は、制御部（ＣＰＵ）２０の制御に必要な各種パラメータや、夜景撮影時の各種パラメータ（ゲイン（ＩＳＯ感度）、絞り、シャッタスピード、画像合成のための閾値、重みなど）などを記憶する。   The external recording medium 33 is a detachable recording medium composed of a compact flash (registered trademark), a memory stick, an SD card, or the like. The external connection I / F 34 includes a USB connector slot and the like, is connected to a personal computer or the like, and is used for transferring photographed image data. The RAM 35 stores various parameters necessary for control of the control unit (CPU) 20, various parameters at the time of night scene shooting (gain (ISO sensitivity), aperture, shutter speed, threshold for image composition, weight, etc.), and the like. .

次に、図２は、本第１実施形態によるデジタルカメラの夜景撮影時の動作を示すタイミングチャートである。夜景撮影時には、まず、メカニカルシャッタを開放し、シャッタボタンが押下されると、まず、露光期間ＥＴ１で、ＩＳＯ感度を上げて画像を露光させ、メカニカルシャッタを閉じた後、そのデータを転送期間ＴＴ１で読み出す。該画像が背景（遠景）の夜景の画像に相当する。その後、すぐにメカニカルシャッタを開放するとともにＩＳＯ感度を下げ、フラッシュを発光させて、露光時間ＥＴ２で露光させ、メカニカルシャッタを閉じた後、そのデータを転送期間ＴＴ２で読み出す。該画像が手前の人物などの被写体の画像に相当する。   Next, FIG. 2 is a timing chart showing the operation of the digital camera according to the first embodiment during night scene shooting. When shooting a night scene, first, when the mechanical shutter is opened and the shutter button is pressed, first, in the exposure period ET1, the ISO sensitivity is increased to expose the image, the mechanical shutter is closed, and the data is transferred in the transfer period TT1. Read with. This image corresponds to an image of a night view of the background (far view). Thereafter, the mechanical shutter is immediately opened, the ISO sensitivity is lowered, the flash is emitted, the exposure is performed with the exposure time ET2, the data is read out in the transfer period TT2 after the mechanical shutter is closed. The image corresponds to an image of a subject such as a person in front.

次に、図３は、本第１実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。本第１実施形態では、２回目のフラッシュ発光撮影時に取り込んだ画像データＤ２について、画素毎に、その画素の輝度値が閾値ＴＨＡより大きいか判定し、その画素の輝度値が閾値ＴＨＡより大きく領域Ａにあれば、２回目のフラッシュ発光撮影時に取り込んだ画像データＤ２（Ｄ１×０％＋Ｄ２×１００％）の画素を用い、その画素の輝度値が閾値ＴＨＡ以下で領域Ｂにあれば、１回目の高感度撮影時の画像データＤ１（Ｄ１×１００％＋Ｄ２×０％）の画素を用いて画像を合成して記録用の画像を得るようになっている。これら閾値ＴＨＡや画像データＤ１，Ｄ２との合成比率は、上述したＲＡＭ３５にデータテーブルまたは計算式の形で記憶されている。   Next, FIG. 3 is a conceptual diagram showing a threshold when combining an image at the time of high-sensitivity shooting with the digital camera of the first embodiment and an image at the time of flash emission shooting. In the first embodiment, for the image data D2 captured at the time of the second flash photography, it is determined for each pixel whether the luminance value of the pixel is larger than the threshold value THA, and the luminance value of the pixel is larger than the threshold value THA. If it is in A, the pixel of the image data D2 (D1 × 0% + D2 × 100%) captured at the time of the second flash photography is used, and if the luminance value of the pixel is equal to or lower than the threshold THA and in the region B, the first time. An image for recording is obtained by synthesizing images using pixels of image data D1 (D1 × 100% + D2 × 0%) during high-sensitivity shooting. The synthesis ratio of the threshold THA and the image data D1 and D2 is stored in the above-described RAM 35 in the form of a data table or a calculation formula.

Ａ−Ｂ．第１実施形態の動作
次に、本第１実施形態の動作について説明する。ここで、図４は、本第１実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。また、図５は、夜景撮影時の画像、および画像合成例を示す模式図である。 AB. Operation of the First Embodiment Next, the operation of the first embodiment will be described. Here, FIG. 4 is a flowchart for explaining the operation of the digital camera according to the first embodiment during night scene shooting. FIG. 5 is a schematic diagram showing an image at the time of night scene shooting and an example of image synthesis.

夜景撮影が選択されると、まず、高感度設定として、絞りを開放、ゲイン（ＩＳＯ感度）を最大、シャッタスピードを手ぶれしない最大時間に設定する（ステップＳ１０）。次に、シャッタボタンが押下されると、高感度露光（図２に示す露光期間ＥＴ１）し、主に遠景の夜景を撮影し（ステップＳ１２）、画像データＤ１としてイメージバッファ２６に転送して一時保存する（ステップＳ１４）。該夜景の画像は、図５（ａ）に示すように、手ぶれせずに、背景である夜景がより良い状態で撮られている。但し、近景の被写体については露出不足となる。   When night scene shooting is selected, first, as a high sensitivity setting, the aperture is opened, the gain (ISO sensitivity) is set to the maximum, and the shutter speed is set to the maximum time without camera shake (step S10). Next, when the shutter button is pressed, high-sensitivity exposure (exposure period ET1 shown in FIG. 2) is performed, and a night view of a distant view is mainly photographed (step S12), which is transferred to the image buffer 26 as image data D1 and temporarily stored. Save (step S14). As shown in FIG. 5A, the night scene image is taken in a better state of the night scene as a background without camera shake. However, the foreground subject is underexposed.

次に、フラッシュ露光設定として、ゲイン（ＩＳＯ感度）を最小、フラッシュを最大発光、その他として上記二条件下で最も高画質な撮影ができるように設定する（ステップＳ１６）。次に、フラッシュを発光して露光（図２に示す露光期間ＥＴ２）し、近景の被写体（人物など）を撮影し（ステップＳ１８）、画像データＤ２としてイメージバッファ２６に転送して一時保存する（ステップＳ２０）。該近景の画像は、図５（ｂ）に示すように、被写体である人物がより良い状態で撮られている。但し、遠景の夜景については、フラッシュ光が届かず、露出時間ＥＴ２も短いので露出不足となる。   Next, as the flash exposure setting, the gain (ISO sensitivity) is set to the minimum, the flash is set to the maximum light emission, and others are set so that the highest quality image can be taken under the above two conditions (step S16). Next, a flash is emitted for exposure (exposure period ET2 shown in FIG. 2), a subject (such as a person) in the foreground is photographed (step S18), transferred to the image buffer 26 as image data D2, and temporarily stored (step S18). Step S20). As shown in FIG. 5B, the close-up image is taken in a better state of the person who is the subject. However, the night view of the distant view is underexposed because the flash light does not reach and the exposure time ET2 is short.

次に、ステップＳ２２〜Ｓ３２で各画素のデータ作成のループ処理を実行する。まず、所定の座標の、フラッシュ発光撮影時の画像データＤ２を読み込み（ステップＳ２４）、画像データＤ２の輝度値が閾値ＴＨＡを超えているか否かを判断する（ステップＳ２６）。そして、フラッシュ発光撮影時の輝度値が閾値ＴＨＡを超えている場合、すなわち、図２の領域Ａである場合には、該フラッシュ発光撮影時の画像データＤ２（Ｄ１×０％＋Ｄ２×１００％）を合成データとして画像メモリ３１に保存する（ステップＳ２８）。   Next, a loop process for creating data for each pixel is executed in steps S22 to S32. First, the image data D2 at the time of flash photography is read at a predetermined coordinate (step S24), and it is determined whether or not the luminance value of the image data D2 exceeds the threshold value THA (step S26). When the luminance value at the time of flash photography is greater than the threshold value THA, that is, when it is the area A in FIG. 2, the image data D2 at the time of flash photography (D1 × 0% + D2 × 100%). Is stored in the image memory 31 as composite data (step S28).

一方、フラッシュ発光撮影時の輝度値が閾値ＴＨＡを超えていない場合、すなわち、図２の領域Ｂである場合には、１回目の高感度撮影時の画像データＤ１（Ｄ１×１００％＋Ｄ２×０％）を合成データとして画像メモリ３１に保存する（ステップＳ３０）。以上の処理を全画素について行って記録用の画像データを得る。   On the other hand, when the luminance value at the time of flash photography does not exceed the threshold value THA, that is, in the region B in FIG. 2, the image data D1 (D1 × 100% + D2 × 0) at the time of the first high-sensitivity photography. %) Is stored in the image memory 31 as composite data (step S30). The above processing is performed for all pixels to obtain recording image data.

この結果、合成された画像は、図５（ｃ）に示すように、より良い状態で撮影された夜景とより良い状態で撮影された近景の被写体とが合成され、手ぶれのない、露出、Ｓ／Ｎ比のバランスが良好な撮影画像となる。   As a result, as shown in FIG. 5C, the synthesized image is composed of a night view taken in a better state and a subject in the foreground taken in a better state. The captured image has a good balance of the / N ratio.

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。なお、デジタルカメラの構成は、図１と同様であるので説明を省略する。また、デジタルカメラの夜景撮影時の動作についても、図２に示すタイミングチャートと同様である。本第２実施形態では、１回目の画像と２回目の画像とを合成する際の閾値の設定方法を変えており、図６に示すように、閾値ＴＨＢを１：１のところに設けており、画素毎に、１回目の高感度撮影時に取り込んだ画像の輝度値と２回目のフラッシュ発光撮影時に取り込んだ画像の輝度値とを比較し、輝度値が大きい方の画素を用いて画像を合成して記録用の画像を得るようになっている。 B. Second Embodiment Next, a second embodiment of the present invention will be described. The configuration of the digital camera is the same as that in FIG. Also, the operation of the digital camera at the time of night view shooting is the same as the timing chart shown in FIG. In the second embodiment, the method of setting the threshold value when the first image and the second image are combined is changed, and the threshold value THB is set at 1: 1 as shown in FIG. For each pixel, compare the brightness value of the image captured during the first high-sensitivity shooting with the brightness value of the image captured during the second flash shooting, and synthesize the image using the pixel with the higher luminance value. Thus, an image for recording is obtained.

すなわち、２回目のフラッシュ発光撮影時に取り込んだ画像の画素の輝度値の方が大きい場合、言い換えると、領域Ａにあれば、２回目のフラッシュ発光撮影時に取り込んだ画像の画素値である画像データＤ２（Ｄ１×０％＋Ｄ２×１００％）を用い、１回目の高感度撮影時に取り込んだ画像の画素の輝度値の方が大きい場合、言い換えると、領域Ｂにあれば、１回目の高感度撮影時に取り込んだ画像の画素値である画像データＤ１（Ｄ１×１００％＋Ｄ２×０％）を用いて画像を合成して記録用の画像を得るようになっている。これら閾値ＴＨＢや画像データＤ１，Ｄ２との合成比率は、上述したＲＡＭ３５にデータテーブルまたは計算式の形で記憶されている。   That is, if the luminance value of the pixel of the image captured at the second flash photography is larger, in other words, if it is in the area A, the image data D2 is the pixel value of the image captured at the second flash photography. (D1 × 0% + D2 × 100%) is used, and if the luminance value of the pixel of the image captured at the time of the first high-sensitivity shooting is larger, in other words, if it is in the region B, at the time of the first high-sensitivity shooting An image for recording is obtained by combining images using image data D1 (D1 × 100% + D2 × 0%) which is a pixel value of the captured image. The synthesis ratio of the threshold THB and the image data D1 and D2 is stored in the RAM 35 in the form of a data table or a calculation formula.

Ｂ−２．第２実施形態の動作
次に、上述した第２実施形態の動作について説明する。ここで、図７は、本第２実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。夜景撮影が選択されると、まず、高感度設定として、絞りを開放、ゲイン（ＩＳＯ感度）を最大、シャッタスピードを手ぶれしない最大時間に設定する（ステップＳ４０）。次に、シャッタボタンが押下されると、高感度露光（図２に示す露光期間ＥＴ１）し、主に遠景の夜景を撮影し（ステップＳ４２）、画像データＤ１としてイメージバッファ２６に転送して一時保存する（ステップＳ４４）。該夜景の画像は、図５（ａ）に示すように、手ぶれせずに、背景である夜景がより良い状態で撮られている。但し、近景の被写体については露出不足となる。 B-2. Operation of the Second Embodiment Next, the operation of the second embodiment described above will be described. Here, FIG. 7 is a flowchart for explaining the operation of the digital camera according to the second embodiment during night scene shooting. When night scene shooting is selected, first, as a high sensitivity setting, the aperture is opened, the gain (ISO sensitivity) is set to the maximum, and the shutter speed is set to the maximum time without camera shake (step S40). Next, when the shutter button is pressed, high-sensitivity exposure (exposure period ET1 shown in FIG. 2) is performed, and a night view of a distant view is mainly photographed (step S42), which is transferred to the image buffer 26 as image data D1 and temporarily stored. Save (step S44). As shown in FIG. 5A, the night scene image is taken in a better state of the night scene as a background without camera shake. However, the foreground subject is underexposed.

次に、フラッシュ露光設定として、ゲイン（ＩＳＯ感度）を最小、フラッシュを最大発光、その他として上記二条件下で最も高画質な撮影ができるように設定する（ステップＳ４６）。次に、フラッシュを発光して露光（図２に示す露光期間ＥＴ２）し、近景の被写体（人物など）を撮影し（ステップＳ４８）、画像データＤ２としてイメージバッファ２６に転送して一時保存する（ステップＳ５０）。該近景の画像は、図５（ｂ）に示すように、被写体である人物がより良い状態で撮られている。但し、遠景の夜景については、フラッシュ光が届かず、露出時間ＥＴ２も短いので露出不足となる。   Next, as the flash exposure setting, the gain (ISO sensitivity) is set to the minimum, the flash is set to the maximum light emission, and others are set so that the highest quality image can be taken under the above two conditions (step S46). Next, the flash is fired for exposure (exposure period ET2 shown in FIG. 2), a subject (such as a person) in the foreground is photographed (step S48), transferred to the image buffer 26 as image data D2, and temporarily stored (step S48). Step S50). As shown in FIG. 5B, the close-up image is taken in a better state of the person who is the subject. However, the night view of the distant view is underexposed because the flash light does not reach and the exposure time ET2 is short.

次に、ステップＳ５２〜Ｓ６２で各画素のデータ作成のループ処理を実行する。まず、所定の座標の、高感度撮影時の画像データＤ１とフラッシュ発光撮影時の画像データＤ２とを読み込み（ステップＳ５４）、画像データＤ１の輝度値が画像データＤ２の輝度値より大きいかか否かを判断する（ステップＳ５６）。そして、高感度撮影時の輝度値の方が大きい場合、すなわち、図６の領域Ｂである場合には、１回目の高感度撮影時の画像データＤ１（Ｄ１×１００％＋Ｄ２×０％）を合成データとして画像メモリ３１に保存する（ステップＳ５８）。   Next, a loop process for creating data for each pixel is executed in steps S52 to S62. First, the image data D1 at the time of high-sensitivity shooting and the image data D2 at the time of flash shooting are read at predetermined coordinates (step S54), and whether or not the luminance value of the image data D1 is greater than the luminance value of the image data D2. Is determined (step S56). If the luminance value at the time of high-sensitivity shooting is larger, that is, in the region B of FIG. 6, the image data D1 (D1 × 100% + D2 × 0%) at the time of the first high-sensitivity shooting is obtained. The synthesized data is stored in the image memory 31 (step S58).

一方、フラッシュ発光撮影時の輝度値の方が大きい場合、すなわち、図６の領域Ａである場合には、２回目のフラッシュ発光撮影時の画像データＤ２（Ｄ１×０％＋Ｄ２×１００％）を合成データとして画像メモリ３１に保存する（ステップＳ６０）。以上の処理を全画素について行って記録用の画像データを得る。   On the other hand, when the luminance value at the time of flash photography is larger, that is, in the area A of FIG. 6, the image data D2 (D1 × 0% + D2 × 100%) at the time of the second flash photography is obtained. The synthesized data is stored in the image memory 31 (step S60). The above processing is performed for all pixels to obtain recording image data.

この結果、合成された画像は、より良い状態で撮影された夜景とより良い状態で撮影された近景の被写体とが合成され、手ぶれのない、露出、Ｓ／Ｎ比のバランスが良好な撮影画像となる。   As a result, the synthesized image is composed of a night view taken in a better state and a subject in the foreground taken in a better state, and has a good balance between exposure and S / N ratio without camera shake. It becomes.

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。なお、デジタルカメラの構成は、図１と同様であるので説明を省略する。本第３実施形態では、１回目の画像と２回目の画像とを合成する際の閾値、および合成比率を変えており、図８に示すように、閾値ＴＨＣ１、ＴＨＣ２を設け、フラッシュ発光撮影時の輝度値と高感度撮影時の輝度値との関係で得られる領域を、４つの領域Ａ〜Ｄに細分化している。なお、領域Ｂと領域Ｃとの境界は、大小比較で判定する。そして、画素毎に、１回目の高感度撮影時に取り込んだ画像の輝度値と２回目のフラッシュ発光撮影時に取り込んだ画像の輝度値とを比較し、輝度値がどの領域にあるかで、記録用の画像（の画素）として用いる画素合成比率を決めるようになっている。 C. Third Embodiment Next, a third embodiment of the present invention will be described. The configuration of the digital camera is the same as that in FIG. In the third embodiment, the threshold value and the composition ratio for combining the first image and the second image are changed, and threshold values THC1 and THC2 are provided as shown in FIG. The area obtained by the relationship between the brightness value of the image and the brightness value at the time of high-sensitivity shooting is subdivided into four areas A to D. Note that the boundary between the region B and the region C is determined by size comparison. Then, for each pixel, the luminance value of the image captured at the first high-sensitivity shooting is compared with the luminance value of the image captured at the second flash shooting, and it is determined whether the luminance value is in which area. The pixel composition ratio to be used as the (image) is determined.

例えば、領域Ａでは、合成画像の画素値を、高感度撮影時の画像データＤ１×０％＋フラッシュ発光撮影時の画像データＤ２×１００％とし、領域Ｂでは、高感度撮影時の画像データＤ１×２５％＋フラッシュ発光撮影時の画像データＤ２×７５％とし、領域Ｃでは、高感度撮影時の画像データＤ１×７５％＋フラッシュ発光撮影時の画像データＤ２×２５％とし、領域Ｄでは、Ｄ１×１００％＋Ｄ２×０％とする。これら閾値ＴＨＣ１、ＴＨＣ２や画像データＤ１，Ｄ２との合成比率は、上述したＲＡＭ３５にデータテーブルまたは計算式の形で記憶されている。   For example, in the area A, the pixel value of the composite image is set to the image data D1 × 0% at the time of high sensitivity shooting + the image data D2 × 100% at the time of flash shooting, and in the area B, the image data D1 at the time of high sensitivity shooting. X25% + image data D2 × 75% during flash photography, and in area C, image data D1 × 75% during high sensitivity photography + image data D2 × 25% during flash photography, and in area D, D1 × 100% + D2 × 0%. The synthesis ratios of the threshold values THC1 and THC2 and the image data D1 and D2 are stored in the above-described RAM 35 in the form of a data table or a calculation formula.

次に、本第３実施形態の動作について説明する。ここで、図９および図１０は、本第３実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。夜景撮影が選択されると、まず、高感度設定として、絞りを開放、ゲイン（ＩＳＯ感度）を最大、シャッタスピードを手ぶれしない最大時間に設定する（ステップＳ７０）。次に、シャッタボタンが押下されると、高感度露光（図２に示す露光期間ＥＴ１）し、主に遠景の夜景を撮影し（ステップＳ７２）、画像データＤ１としてイメージバッファ２６に転送して一時保存する（ステップＳ７４）。該夜景の画像は、図５（ａ）に示すように、手ぶれせずに、背景である夜景がより良い状態で撮られている。但し、近景の被写体については露出不足となる。   Next, the operation of the third embodiment will be described. Here, FIGS. 9 and 10 are flowcharts for explaining the operation of the digital camera according to the third embodiment at the time of night scene shooting. When night scene shooting is selected, first, as a high sensitivity setting, the aperture is opened, the gain (ISO sensitivity) is set to the maximum, and the shutter speed is set to the maximum time without camera shake (step S70). Next, when the shutter button is pressed, high-sensitivity exposure (exposure period ET1 shown in FIG. 2) is performed, and a night view of a distant view is mainly photographed (step S72), which is transferred to the image buffer 26 as image data D1 and temporarily stored. Save (step S74). As shown in FIG. 5A, the night scene image is taken in a better state of the night scene as a background without camera shake. However, the foreground subject is underexposed.

次に、フラッシュ露光設定として、ゲイン（ＩＳＯ感度）を最小、フラッシュを最大発光、その他として上記二条件下で最も高画質な撮影ができるように設定する（ステップＳ７６）。次に、フラッシュを発光して露光（図２に示す露光期間ＥＴ２）し、近景の被写体（人物など）を撮影し（ステップＳ７８）、画像データＤ２としてイメージバッファ２６に転送して一時保存する（ステップＳ８０）。該近景の画像は、図５（ｂ）に示すように、被写体である人物がより良い状態で撮られている。但し、遠景の夜景については、フラッシュ光が届かず、露出時間ＥＴ２も短いので露出不足となる。   Next, as the flash exposure setting, the gain (ISO sensitivity) is set to the minimum, the flash is set to the maximum light emission, and others are set so that the highest quality image can be taken under the above two conditions (step S76). Next, a flash is emitted for exposure (exposure period ET2 shown in FIG. 2), a subject (such as a person) in the foreground is photographed (step S78), transferred to the image buffer 26 as image data D2, and temporarily stored (step S78). Step S80). As shown in FIG. 5B, the close-up image is taken in a better state of the person who is the subject. However, the night view of the distant view is underexposed because the flash light does not reach and the exposure time ET2 is short.

次に、ステップＳ８２〜Ｓ１０４で各画素のデータ作成のループ処理を実行する。まず、所定の座標の、高感度撮影時の画像データＤ１とフラッシュ発光撮影時の画像データＤ２とを読み込み（ステップＳ８４）、画像データＤ１の輝度値が画像データＤ２の輝度値より大きいかか否かを判断する（ステップＳ８６）。そして、高感度撮影時の画像データＤ１の輝度値の方が大きい場合、すなわち、図８の領域Ｃまたは領域Ｄである場合には、画像データＤ１の輝度値と画像データＤ２の輝度値との差が、図８に示す閾値ＴＨＣ２より大きいか否かを判断する（ステップＳ８８）。そして、画像データＤ１の輝度値と画像データＤ２の輝度値との差が閾値ＴＨＣ２より大きい場合には、領域Ｄにあると判断し、１回目の高感度撮影時の画像データＤ１（Ｄ１×１００％＋Ｄ２×０％）を合成データとして画像メモリ３１に保存する（ステップＳ９０）。   Next, a loop process for creating data for each pixel is executed in steps S82 to S104. First, the image data D1 at the time of high-sensitivity shooting and the image data D2 at the time of flash shooting are read at predetermined coordinates (step S84), and whether or not the luminance value of the image data D1 is larger than the luminance value of the image data D2. Is determined (step S86). When the brightness value of the image data D1 at the time of high-sensitivity shooting is larger, that is, in the region C or the region D in FIG. 8, the brightness value of the image data D1 and the brightness value of the image data D2 are It is determined whether or not the difference is larger than a threshold value THC2 shown in FIG. 8 (step S88). If the difference between the luminance value of the image data D1 and the luminance value of the image data D2 is larger than the threshold value THC2, it is determined that the region is in the region D, and the image data D1 (D1 × 100) at the time of the first high-sensitivity shooting. % + D2 × 0%) is stored in the image memory 31 as composite data (step S90).

一方、画像データＤ１の輝度値と画像データＤ２の輝度値との差が閾値ＴＨＣ２以下の場合には、領域Ｃにあると判断し、合成画像データＤｂとして、画像データＤ１×３／４＋画像データＤ２×１／４を算出し（ステップＳ９２）、該合成画像データＤｂを画像メモリ３１に保存する（ステップＳ９４）。   On the other hand, when the difference between the luminance value of the image data D1 and the luminance value of the image data D2 is equal to or less than the threshold value THC2, it is determined that the region is in the region C, and the combined image data Db is image data D1 × 3/4 + image data. D2 × 1/4 is calculated (step S92), and the composite image data Db is stored in the image memory 31 (step S94).

一方、ステップＳ８６において、フラッシュ発光撮影時の画像データＤ２の輝度値の方が大きい場合には、すなわち、図８の領域Ａまたは領域Ｂである場合には、画像データＤ１の輝度値と画像データＤ２の輝度値との差が、図８に示す閾値ＴＨＣ１より大きいか否かを判断する（ステップＳ９６）。そして、画像データＤ１の輝度値と画像データＤ２の輝度値との差が閾値ＴＨＣ１より小さい場合には、領域Ｂにあると判断し、合成画像データＤｃとして、画像データＤ１×１／４＋画像データＤ２×３／４を算出し（ステップＳ９８）、該合成画像データＤｃを画像メモリ３１に保存する（ステップＳ１００）。   On the other hand, if the brightness value of the image data D2 at the time of flash photography is larger in step S86, that is, if it is the area A or the area B in FIG. 8, the brightness value of the image data D1 and the image data It is determined whether or not the difference between the luminance value of D2 is larger than the threshold value THC1 shown in FIG. 8 (step S96). If the difference between the luminance value of the image data D1 and the luminance value of the image data D2 is smaller than the threshold value THC1, it is determined that the region is in the region B, and the combined image data Dc is image data D1 × 1/4 + image data. D2 × 3/4 is calculated (step S98), and the composite image data Dc is stored in the image memory 31 (step S100).

一方、画像データＤ１の輝度値と画像データＤ２の輝度値との差が閾値ＴＨＣ１以上の場合には、領域Ａにあると判断し、２回目のフラッシュ発光撮影時の画像データＤ２（Ｄ１×０％＋Ｄ２×１００％）を合成データとして画像メモリ３１に保存する（ステップＳ１０２）。   On the other hand, when the difference between the luminance value of the image data D1 and the luminance value of the image data D2 is equal to or greater than the threshold value THC1, it is determined that the area is A, and the image data D2 (D1 × 0) at the time of the second flash photography. % + D2 × 100%) is stored in the image memory 31 as composite data (step S102).

この結果、合成された画像は、より良い状態で撮影された夜景とより良い状態で撮影された近景の被写体とが合成され、手ぶれのない、露出、Ｓ／Ｎ比のバランスが良好な撮影画像となる。   As a result, the synthesized image is composed of a night view taken in a better state and a subject in the foreground taken in a better state, and has a good balance between exposure and S / N ratio without camera shake. It becomes.

Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。なお、デジタルカメラの構成は、図１と同様であるので説明を省略する。本第４実施形態では、１回目の画像と２回目の画像とを合成する際の閾値、および合成比率を変えており、図１１に示すように、閾値ＴＨＤ１〜ＴＨＤ４を設け、フラッシュ発光撮影時の輝度値と高感度撮影時の輝度値との関係で得られる領域を、９つの領域Ａ〜Ｉに細分化している。そして、画素毎に、１回目の高感度撮影時に取り込んだ画像の輝度値と２回目のフラッシュ発光撮影時に取り込んだ画像の輝度値とを比較し、輝度値がどの領域にあるかで、記録用の画像（の画素）として用いる画素合成比率を決めるようになっている。 D. Fourth Embodiment Next, a fourth embodiment of the present invention will be described. The configuration of the digital camera is the same as that in FIG. In the fourth embodiment, the threshold value and the composition ratio for combining the first image and the second image are changed, and threshold values THD1 to THD4 are provided as shown in FIG. The area obtained by the relationship between the brightness value of the image and the brightness value at the time of high-sensitivity shooting is subdivided into nine areas A to I. Then, for each pixel, the luminance value of the image captured at the first high-sensitivity shooting is compared with the luminance value of the image captured at the second flash shooting, and it is determined whether the luminance value is in which area. The pixel composition ratio to be used as the (image) is determined.

例えば、領域Ａ、Ｉでは、合成画像の画素値を、高感度撮影時の画像データＤ１×５０％＋フラッシュ発光撮影時の画像データＤ２×５０％とし、領域Ｂ、Ｃ、Ｅ、Ｇ、Ｈでは、高感度撮影時の画像データＤ１×０％＋フラッシュ発光撮影時の画像データＤ２×１００％とし、領域Ｄ、Ｆでは、高感度撮影時の画像データＤ１×１００％＋フラッシュ発光撮影時の画像データＤ２×０％とする。これら閾値ＴＨＤ１〜ＴＨＤ４や画像データＤ１，Ｄ２との合成比率は、上述したＲＡＭ３５にデータテーブルまたは計算式の形で記憶されている。なお、領域の判別、画像の合成については基本的に上述した第３実施形態などと同じであるので説明を省略する。   For example, in regions A and I, the pixel values of the composite image are set to image data D1 × 50% at the time of high-sensitivity shooting + image data D2 × 50% at the time of flash shooting, and regions B, C, E, G, H The image data D1 × 0% at the time of high-sensitivity shooting and the image data D2 × 100% at the time of flash shooting are set. In the regions D and F, the image data D1 × 100% at the time of high-sensitivity shooting + The image data D2 × 0%. The synthesis ratios of the threshold values THD1 to THD4 and the image data D1 and D2 are stored in the above-described RAM 35 in the form of a data table or a calculation formula. Note that the region determination and the image composition are basically the same as those in the third embodiment described above, and thus the description thereof is omitted.

Ｅ．変形例
次に、本発明の変形例について説明する。上述した第１ないし第４実施形態では、画素合成比率を決定するための領域毎に明らかに異なる合成比率を設定していた。すなわち、隣り合う領域においては、境界近傍に存在する場合であっても、合成比率が異なっていた。これに対して、本変形例では、図１２に示すように、例えば、領域Ａと領域Ｂとの境界部分をより細かい領域Ｃ１〜Ｃ６に分割し、段階的に合成比率を変化させるようにする。これにより、より精細な合成画像を得ることが可能となる。 E. Modified Example Next, a modified example of the present invention will be described. In the first to fourth embodiments described above, different composition ratios are clearly set for each region for determining the pixel composition ratio. That is, in the adjacent regions, the composition ratios are different even when they exist in the vicinity of the boundary. On the other hand, in this modification, as shown in FIG. 12, for example, the boundary portion between the region A and the region B is divided into finer regions C1 to C6, and the composition ratio is changed stepwise. . This makes it possible to obtain a finer composite image.

また、他の変形例としては、上述したように、領域Ａと領域Ｂとの境界部分をより細かく分割するのではなく、実際にアナログ回路により合成比率を徐々に変化させるようにしてもよい。また、各位置の画素値を同じ位置の画素同士の合成により決定したが、周辺領域の画素を用いるようにしてもよい。また、３つ以上の撮影画像を用いてもよい。   As another modification, as described above, the boundary portion between the region A and the region B may not be divided more finely, but the synthesis ratio may actually be gradually changed by an analog circuit. Further, although the pixel value at each position is determined by combining the pixels at the same position, pixels in the peripheral area may be used. Three or more captured images may be used.

また、上述した実施形態では、手前の被写体部分と背景の被写体部分との識別と画素合成とを同時に行うことで、手前の被写体部分と背景の被写体部分とを正確に識別するための識別処理を不要としているが、被写体までの距離を示す測距情報などが利用できるのであれば、該測距情報を用いて識別するようにしてもよい。   In the above-described embodiment, identification processing for accurately identifying the front subject portion and the background subject portion is performed by simultaneously performing identification and pixel synthesis of the front subject portion and the background subject portion. Although not required, if distance measurement information indicating the distance to the subject can be used, the distance information may be used for identification.

また、上述した実施形態では、異なる画素合成方法を異なる実施形態として説明したが、複数の画素合成方法の中からモード選択により１つの画素合成方法を予め設定しておき、撮影指示が行われた際に設定モードを判別し、選択された画素合成方法に従って画素合成を実行するようにしてもよい。この場合、画素合成モードの設定は、ユーザが任意に指定してもよいし、外部の明るさをセンサで感知して自動設定するようにしてもよいし、撮像センサにより得られる画像情報に基づいて自動設定するようにしてもよい。   In the above-described embodiments, different pixel composition methods have been described as different embodiments. However, one pixel composition method is set in advance by mode selection from a plurality of pixel composition methods, and a shooting instruction is issued. At this time, the setting mode may be determined, and pixel synthesis may be executed according to the selected pixel synthesis method. In this case, the setting of the pixel synthesis mode may be arbitrarily specified by the user, may be set automatically by sensing external brightness with a sensor, or based on image information obtained by the image sensor. May be set automatically.

なお、上述した実施形態においては、デジタルカメラについてのみ説明したが、これ限らず、携帯電話などの撮像装置を備える電子機器に適用するようにしてもよい。また、上述した実施形態による画像合成処理等については、制御部２０によるソフトウェア制御で実現されるものであるが、処理速度、汎用性、装置サイズ、コストなどを考慮して、その全てまたは一部を回路により実現するようにしてもよい。   In the above-described embodiment, only the digital camera has been described. However, the present invention is not limited to this, and the present invention may be applied to an electronic apparatus including an imaging device such as a mobile phone. In addition, the image composition processing and the like according to the above-described embodiment are realized by software control by the control unit 20, and all or part of them is considered in consideration of processing speed, versatility, device size, cost, and the like. May be realized by a circuit.

本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera by 1st Embodiment of this invention. 本第１実施形態によるデジタルカメラの夜景撮影時の動作を示すタイミングチャートである。It is a timing chart which shows the operation | movement at the time of night view imaging | photography of the digital camera by this 1st Embodiment. 本第１実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。It is a conceptual diagram which shows the threshold value at the time of synthesize | combining the image at the time of high sensitivity imaging | photography with the digital camera of this 1st Embodiment, and the image at the time of flash light emission imaging | photography. 本第１実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。4 is a flowchart for explaining the operation of the digital camera according to the first embodiment during night scene shooting. 本第１実施形態によるデジタルカメラの夜景撮影時の画像、および画像合成例を示す模式図である。It is a schematic diagram which shows the image at the time of night view photography of the digital camera by this 1st Embodiment, and an example of an image synthesis. 本発明の第２実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。It is a conceptual diagram which shows the threshold value at the time of synthesize | combining the image at the time of high sensitivity imaging | photography with the digital camera of 2nd Embodiment of this invention, and the image at the time of flash light emission imaging | photography. 本第２実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement at the time of night view imaging | photography of the digital camera by this 2nd Embodiment. 本発明の第３実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。It is a conceptual diagram which shows the threshold value at the time of synthesize | combining the image at the time of high sensitive imaging | photography with the digital camera of 3rd Embodiment of this invention, and the image at the time of flash light emission imaging | photography. 本第３実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement at the time of night view imaging | photography of the digital camera by this 3rd Embodiment. 本第３実施形態によるデジタルカメラの夜景撮影時の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement at the time of night view imaging | photography of the digital camera by this 3rd Embodiment. 本発明の第４実施形態のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。It is a conceptual diagram which shows the threshold value at the time of synthesize | combining the image at the time of high sensitivity imaging | photography with the digital camera of 4th Embodiment of this invention, and the image at the time of flash light emission imaging | photography. 本発明の変形例のデジタルカメラによる高感度撮影時の画像とフラッシュ発光撮影時の画像とを合成する際の閾値を示す概念図である。It is a conceptual diagram which shows the threshold value at the time of synthesize | combining the image at the time of high sensitivity imaging | photography with the digital camera of the modification of this invention, and the image at the time of flash light emission imaging | photography. 従来技術による夜景撮影時のデジタルカメラの動作を示すタイミングチャートである。It is a timing chart which shows operation | movement of the digital camera at the time of night view photography by a prior art.

符号の説明Explanation of symbols

１ デジタルカメラ
１０ 画像取得部
１１ レンズ
１２ シャッタ
１３ ＬＰＦ
１４ ドライバ
１５ アナログ信号処理部
１６ 撮像センサ（撮像手段）
１７ サンプリング／信号増幅処理部
１８ Ａ／Ｄコンバータ
１９ フラッシュ（発光手段）
２０ 制御部（撮影感度設定手段、撮影制御手段）
２２ プレビューエンジン
２３ Ｄ／Ａコンバータ
２４ ドライバ
２５ 表示部
２６ イメージバッファ
２７ キー操作部
２８ デジタル信号処理部（合成手段）
２９ 画像圧縮／伸張処理部
３０ プログラムメモリ
３１ 画像メモリ
３２ カードＩ／Ｆ
３３ 外部記録媒体
３４ 外部接続用Ｉ／Ｆ
３５ ＲＡＭ

1 Digital Camera 10 Image Acquisition Unit 11 Lens 12 Shutter 13 LPF
14 Driver 15 Analog Signal Processing Unit 16 Imaging Sensor (Imaging Means)
17 Sampling / Signal Amplification Processing Unit 18 A / D Converter 19 Flash (Light Emitting Unit)
20 control unit (photographing sensitivity setting means, photographing control means)
22 Preview Engine 23 D / A Converter 24 Driver 25 Display Unit 26 Image Buffer 27 Key Operation Unit 28 Digital Signal Processing Unit (Composition Unit)
29 Image compression / decompression processing unit 30 Program memory 31 Image memory 32 Card I / F
33 External recording medium 34 I / F for external connection
35 RAM

Claims (8)

被写体像を撮像する撮像手段と、
発光手段と、
前記発光手段を発光させずに前記撮像手段により撮影する際には撮像感度を高くし、前記発光手段を発光させて前記撮像手段により撮影する際には撮像感度を低くする撮影感度設定手段と、
前記発光手段を発光させずに前記撮像手段により撮影した第１の画像データと、前記発光手段を発光させて前記撮像手段により撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定手段と、
前記合成比率決定手段により決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成する合成手段と
を具備することを特徴とする撮像装置。 Imaging means for capturing a subject image;
Light emitting means;
An imaging sensitivity setting unit that increases imaging sensitivity when shooting with the imaging unit without causing the light emitting unit to emit light, and lowers imaging sensitivity when shooting with the imaging unit with the light emitting unit emitting light;
A combination ratio of first image data captured by the imaging unit without causing the light emitting unit to emit light and second image data captured by the imaging unit while causing the light emitting unit to emit light is determined for each pixel. A synthesis ratio determining means to
Synthesizing means for synthesizing the first image data and the second image data at different synthesis ratios for each pixel determined by the synthesis ratio determination means, and generating image data for recording. An imaging apparatus characterized by the above. 一度の撮影指示に応じて、前記発光手段を発光させない前記撮像手段による撮影と、前記発光手段を発光させる前記撮像手段による撮影とを続けて行うように、前記撮像手段、前記発光手段および前記感度制御手段を制御する撮影制御手段を具備することを特徴とする請求項１記載の撮像装置。   In response to a single shooting instruction, the imaging unit, the light emitting unit, and the sensitivity are configured to continuously perform shooting by the imaging unit that does not cause the light emitting unit to emit light and imaging by the imaging unit that causes the light emitting unit to emit light. The imaging apparatus according to claim 1, further comprising photographing control means for controlling the control means. 前記合成比率決定手段は、前記第１の画像データの画素値と前記第２の画像データの画素値との組み合わせにより分類される複数の領域毎に、前記第１の画像データと前記第２の画像データとの合成比率を決定することを特徴とする請求項１または２記載の撮像装置。   The combination ratio determining unit is configured to determine the first image data and the second image for each of a plurality of areas classified by a combination of a pixel value of the first image data and a pixel value of the second image data. The imaging apparatus according to claim 1 or 2, wherein a composition ratio with image data is determined. 前記合成比率決定手段は、前記第２の画像データの画素値が所定の閾値より大きい場合には、前記第２の画像データの画素値を用い、前記第２の画像データの画素値が所定の閾値以下である場合には、前記第１の画像データの画素値を用いるように前記合成比率を決定することを特徴とする請求項３記載の撮像装置。   When the pixel value of the second image data is larger than a predetermined threshold, the composition ratio determining unit uses the pixel value of the second image data, and the pixel value of the second image data is a predetermined value. The imaging apparatus according to claim 3, wherein the synthesis ratio is determined so as to use a pixel value of the first image data when the threshold value is equal to or less than a threshold value. 前記合成比率決定手段は、前記第１の画像データの画素値と前記第２の画像データの画素値とを大小比較して、大きい方の画像データの画素値を用いるように前記合成比率を決定することを特徴とする請求項３記載の撮像装置。   The composition ratio determining means compares the pixel value of the first image data with the pixel value of the second image data, and determines the composition ratio so as to use the pixel value of the larger image data. The imaging apparatus according to claim 3. 前記合成比率決定手段は、前記第１の画像データの画素値と前記第２の画像データの画素値との差分に基づいて、前記複数の領域のうち、どの領域に属するかを判別し、属する領域に基づいて前記合成比率を決定することを特徴とする請求項３記載の撮像装置。   The composition ratio determining unit determines and belongs to which of the plurality of regions based on a difference between a pixel value of the first image data and a pixel value of the second image data. The imaging apparatus according to claim 3, wherein the composition ratio is determined based on a region. 一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行うステップと、
フラッシュを発光させずに撮影した第１の画像データと、フラッシュを発光させて撮影した第２の画像データとの合成比率を、各画素毎に決定するステップと、
前記決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成するステップと
を含むことを特徴とする撮像方法。 In response to a single shooting instruction, a step of continuously performing shooting without flash emission with high imaging sensitivity and shooting with flash emission with low imaging sensitivity;
Determining, for each pixel, a composite ratio of first image data captured without flashing and second image data captured with flash firing;
An image capturing method comprising: combining the first image data and the second image data at a composition ratio different for each of the determined pixels to generate image data for recording. コンピュータに、
一度の撮影指示に応じて、高い撮像感度でフラッシュを発光させない撮影と低い撮像感度でフラッシュを発光させた撮影とを続けて行う撮影機能と、
フラッシュを発光させずに撮影した第１の画像データと、フラッシュを発光させて撮影した第２の画像データとの合成比率を、各画素毎に決定する合成比率決定機能と、
前記決定された各画素毎に異なる合成比率で前記第１の画像データと前記第２の画像データとを合成し、記録用の画像データを生成する合成機能と
を実現させることを特徴とする撮像プログラム。

On the computer,
In response to a single shooting instruction, a shooting function that continuously performs shooting without flash with high imaging sensitivity and shooting with flash with low imaging sensitivity;
A composition ratio determining function for determining, for each pixel, a composition ratio between the first image data captured without the flash being emitted and the second image data captured with the flash emitted;
An image-capturing function that combines the first image data and the second image data at a different composition ratio for each of the determined pixels and generates image data for recording is realized. program.

JP2005314032A 2005-10-28 2005-10-28 Imaging apparatus, imaging method, and imaging program Expired - Fee Related JP5156991B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005314032A JP5156991B2 (en) 2005-10-28 2005-10-28 Imaging apparatus, imaging method, and imaging program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005314032A JP5156991B2 (en) 2005-10-28 2005-10-28 Imaging apparatus, imaging method, and imaging program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011225416A Division JP5392336B2 (en) 2011-10-13 2011-10-13 Imaging apparatus, imaging method, and imaging program

Publications (2)

Publication Number Publication Date
JP2007124292A true JP2007124292A (en) 2007-05-17
JP5156991B2 JP5156991B2 (en) 2013-03-06

Family

ID=38147646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005314032A Expired - Fee Related JP5156991B2 (en) 2005-10-28 2005-10-28 Imaging apparatus, imaging method, and imaging program

Country Status (1)

Country Link
JP (1) JP5156991B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245092A (en) * 2007-03-28 2008-10-09 Fujifilm Corp Image synthesizing device, method, and program, and photographing device
CN101588446A (en) * 2008-05-19 2009-11-25 索尼株式会社 Image synthesis apparatus, image pickup apparatus, image synthesis method, and program
JP2012191567A (en) * 2011-03-14 2012-10-04 Nikon Corp Imaging apparatus
CN103379281A (en) * 2012-04-20 2013-10-30 佳能株式会社 Image processing apparatus and image processing method for performing image synthesis
EP2709355A1 (en) 2012-09-13 2014-03-19 Canon Kabushiki Kaisha Imaging apparatus and control method
JP2015041852A (en) * 2013-08-21 2015-03-02 キヤノン株式会社 Imaging apparatus, imaging system, control method of imaging apparatus, program, and storage medium
US9025047B2 (en) 2012-12-13 2015-05-05 Samsung Electronics Co., Ltd. Photographing apparatus and method
JP2015142370A (en) * 2014-01-30 2015-08-03 キヤノン株式会社 Image processing apparatus, imaging device, control method for those, program, and recording medium
JP2015142369A (en) * 2014-01-30 2015-08-03 キヤノン株式会社 Imaging device, control method of the same, program, and recording medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000066087A (en) * 1998-08-24 2000-03-03 Ricoh Co Ltd Digital camera
JP2000308068A (en) * 1999-04-16 2000-11-02 Olympus Optical Co Ltd Image pickup device
JP2000307941A (en) * 1999-04-26 2000-11-02 Minolta Co Ltd Digital camera
JP2003087645A (en) * 2001-09-07 2003-03-20 Olympus Optical Co Ltd Digital camera
JP2004214836A (en) * 2002-12-27 2004-07-29 Minolta Co Ltd Imaging apparatus
JP2004357071A (en) * 2003-05-29 2004-12-16 Canon Inc Illumination image forming apparatus
JP2005229198A (en) * 2004-02-10 2005-08-25 Sony Corp Image processing apparatus and method, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000066087A (en) * 1998-08-24 2000-03-03 Ricoh Co Ltd Digital camera
JP2000308068A (en) * 1999-04-16 2000-11-02 Olympus Optical Co Ltd Image pickup device
JP2000307941A (en) * 1999-04-26 2000-11-02 Minolta Co Ltd Digital camera
JP2003087645A (en) * 2001-09-07 2003-03-20 Olympus Optical Co Ltd Digital camera
JP2004214836A (en) * 2002-12-27 2004-07-29 Minolta Co Ltd Imaging apparatus
JP2004357071A (en) * 2003-05-29 2004-12-16 Canon Inc Illumination image forming apparatus
JP2005229198A (en) * 2004-02-10 2005-08-25 Sony Corp Image processing apparatus and method, and program

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245092A (en) * 2007-03-28 2008-10-09 Fujifilm Corp Image synthesizing device, method, and program, and photographing device
CN101588446A (en) * 2008-05-19 2009-11-25 索尼株式会社 Image synthesis apparatus, image pickup apparatus, image synthesis method, and program
JP2012191567A (en) * 2011-03-14 2012-10-04 Nikon Corp Imaging apparatus
CN103379281B (en) * 2012-04-20 2016-08-03 佳能株式会社 For carrying out image processing equipment and the image processing method of image synthesis
CN103379281A (en) * 2012-04-20 2013-10-30 佳能株式会社 Image processing apparatus and image processing method for performing image synthesis
JP2013225746A (en) * 2012-04-20 2013-10-31 Canon Inc Image processing device and image processing method
US8976268B2 (en) 2012-04-20 2015-03-10 Canon Kabushiki Kaisha Image processing apparatus and image processing method for performing image synthesis
EP2709355A1 (en) 2012-09-13 2014-03-19 Canon Kabushiki Kaisha Imaging apparatus and control method
CN107888841A (en) * 2012-09-13 2018-04-06 佳能株式会社 Picture pick-up device and its control method
US9456144B2 (en) 2012-09-13 2016-09-27 Canon Kabushiki Kaisha Imaging apparatus and control method
US9025047B2 (en) 2012-12-13 2015-05-05 Samsung Electronics Co., Ltd. Photographing apparatus and method
JP2015041852A (en) * 2013-08-21 2015-03-02 キヤノン株式会社 Imaging apparatus, imaging system, control method of imaging apparatus, program, and storage medium
JP2015142369A (en) * 2014-01-30 2015-08-03 キヤノン株式会社 Imaging device, control method of the same, program, and recording medium
JP2015142370A (en) * 2014-01-30 2015-08-03 キヤノン株式会社 Image processing apparatus, imaging device, control method for those, program, and recording medium

Also Published As

Publication number Publication date
JP5156991B2 (en) 2013-03-06

Similar Documents

Publication Publication Date Title
US8947557B2 (en) Photographing apparatus and method for dynamic range adjustment and stereography
JP5156991B2 (en) Imaging apparatus, imaging method, and imaging program
JP5141733B2 (en) Imaging apparatus, imaging method, and program
JP6521776B2 (en) Image processing apparatus, image processing method
US20110298964A1 (en) Imaging apparatus, reproduction display apparatus, image recording method, and reproduction displaying method
JP2007264196A (en) Strobe control unit and method
JP2008170932A (en) Imaging device, method for controlling exposure of imaging device
JP4509081B2 (en) Digital camera and digital camera program
WO2012093519A1 (en) Imaging device and light emission amount control method
JP4679399B2 (en) camera
JP2010087599A (en) Imaging apparatus and method, and program
US20080100724A1 (en) Image processing device and imaging device
JPWO2019111659A1 (en) Image processing equipment, imaging equipment, image processing methods, and programs
JP5246590B2 (en) Imaging apparatus, image generation method, and program
JP2014179920A (en) Imaging apparatus, control method thereof, program, and storage medium
JP5392336B2 (en) Imaging apparatus, imaging method, and imaging program
JP2002040321A (en) Electronic camera
JP6410416B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2007281532A (en) Apparatus and method for generating image data
JP2010124258A (en) Imaging apparatus and control method of the same
JP2002044510A (en) Electronic camera
JP2007114411A (en) Imaging apparatus
JP2006186796A (en) Photographic apparatus, photographing method, and photographing program
JP5239687B2 (en) Imaging device
JP4964830B2 (en) Omnidirectional imaging apparatus and omnidirectional image imaging control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101102

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111013

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111021

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20111111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121121

R150 Certificate of patent or registration of utility model

Ref document number: 5156991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees