JP2014239396A

JP2014239396A - Imaging apparatus and control method for imaging apparatus

Info

Publication number: JP2014239396A
Application number: JP2013122101A
Authority: JP
Inventors: 近藤　浩; Hiroshi Kondo; 浩近藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-06-10
Filing date: 2013-06-10
Publication date: 2014-12-18
Anticipated expiration: 2033-06-10
Also published as: JP6214229B2

Abstract

PROBLEM TO BE SOLVED: To achieve image quality of both person and a night view by avoiding the influences of image quality degradation resulting from high sensitivity setting and subject blur and hand shake resulting from slow synchronization setting, in night portrait photographing.SOLUTION: An imaging apparatus comprises: imaging means; imaging control means configured such that a first image signal is output by causing the imaging means to image while light emitting means emits light, and a plurality of image signals are output by causing the imaging means to successively image while the light emitting means emits no light; first combining means configured to add and combine the image signals, thereby generating a first composite signal; correcting means configured to correct the brightness of the first composite image signal; and second combining means configured to generate second composite image signal by selecting one with a larger value from the first image signal and the composite image signal output by the correcting means. The correcting means corrects the first composite image signal so that the brightness of the first composite image signal does not exceed the brightness of the first image signal.

Description

本発明は撮影対象を照明するストロボを有し、連続的に撮影した画像を合成して１枚の画像を生成する撮像装置に関する。 The present invention relates to an imaging apparatus that has a strobe for illuminating a subject to be photographed and generates a single image by combining continuously photographed images.

従来、デジタルカメラで夜間人物撮影を行う際には、ストロボを発光させることで被写体輝度を適正にすることが可能であるが、フルオートモードでは、自動的に手ブレを防ぐシャッター速度に設定されるため、背景は暗くなってしまうケースが多い。 Conventionally, when taking a portrait with a digital camera at night, it is possible to make the subject brightness appropriate by emitting a flash. However, in full auto mode, the shutter speed is automatically set to prevent camera shake. For this reason, the background often becomes dark.

このような問題を解決するために、ストロボ発光と時分割露光・画像合成を組み合わせた撮像装置が提案されている。 In order to solve such problems, there has been proposed an imaging apparatus that combines strobe light emission and time-division exposure / image synthesis.

特許文献１の撮像装置では、時分割露光して撮影された複数の画像を位置合わせしながら加算合成することで、電子手ブレ補正を行うことが可能である。 In the imaging apparatus of Patent Document 1, it is possible to perform electronic camera shake correction by adding and synthesizing a plurality of images photographed by time-division exposure.

特開２００７−２８１５４７号公報JP 2007-281547 A

しかしながら、時分割露光された画像もトータルの露光時間としては長秒になるため、露光中に被写体が動いた場合には、得られる画像にも影響が出てくる。例えば先幕シンクロでストロボ発光した分割画像はほぼ被写体ブレのない画像であるが、その後の分割露光中に人物が動いた場合には、人物の後ろに隠れていた背景が露光されることになる。その結果最終的な合成画像の人物部分に背景の一部が混ざりこんだ画像になってしまうケースがあった。 However, since the time-exposure-exposed image also has a long total exposure time, if the subject moves during the exposure, the obtained image is affected. For example, a split image that was flashed with front curtain sync is an image with almost no subject blur, but if a person moves during the subsequent split exposure, the background hidden behind the person will be exposed. . As a result, there is a case in which a part of the background is mixed with the person portion of the final composite image.

本発明は上記問題に鑑みてなされたものであり、露光時間によるブレの影響を抑えつつ、主被写体と背景を適切な輝度バランスで撮影することのできる撮像装置及び撮像装置の制御方法を提供することを目的とする。 The present invention has been made in view of the above problems, and provides an imaging apparatus and an imaging apparatus control method capable of imaging a main subject and a background with an appropriate luminance balance while suppressing the influence of blur due to exposure time. For the purpose.

上記課題を解決するために、本発明の撮像装置は、撮像手段と、発光手段が発光している状態で撮像手段に撮像させ第１の画像信号を出力させ、前記発光手段が非発光の状態で前記撮像手段に連続的に撮像させ複数の画像信号を出力させる撮像制御手段と、前記複数の画像信号を加算して合成し、第１の合成画像信号を生成する第１の合成手段と、前記第１の合成画像信号の明るさを補正する補正手段と、前記第１の画像信号と前記補正手段より出力される合成画像信号とから、値の小さくない方を選択して第２の合成画像信号を生成する第２の合成手段と、を有し、前記補正手段は、前記第１の合成画像信号の明るさが、前記第１の画像信号の明るさを超えないように前記第１の合成画像信号を補正することを特徴とする。 In order to solve the above-described problem, an imaging apparatus according to the present invention causes an imaging unit to capture an image with the light emitting unit emitting light and output a first image signal, and the light emitting unit is in a non-light emitting state. Imaging control means for causing the imaging means to continuously capture images and outputting a plurality of image signals; a first combining means for adding and combining the plurality of image signals to generate a first combined image signal; The second synthesis is performed by selecting the correction unit that corrects the brightness of the first composite image signal, the first image signal, and the composite image signal output from the correction unit, and selecting the one that is not smaller in value. Second correction means for generating an image signal, and the correction means includes the first synthesis image signal so that the brightness of the first composite image signal does not exceed the brightness of the first image signal. The composite image signal is corrected.

また、本発明の撮像装置の制御方法は、撮像手段と、発光手段が発光している状態で撮像手段に撮像させ第１の画像信号を出力させ、前記発光手段が非発光の状態で前記撮像手段に連続的に撮像させ複数の画像信号を出力させる撮像制御手段と、を有する撮像装置の制御方法であって、前記複数の画像信号を加算して合成し、第１の合成画像信号を生成する第１の合成ステップと、前記第１の合成画像信号の明るさを補正する補正ステップと、前記第１の画像信号と前記補正手段より出力される合成画像信号とから、値の小さくない方を選択して第２の合成画像信号を生成する第２の合成ステップと、を有し、前記補正ステップでは、前記第１の合成画像信号の明るさが、前記第１の画像信号の明るさを超えないように前記第１の合成画像信号を補正することを特徴とする。 The image pickup apparatus control method according to the present invention includes: an image pickup unit; the image pickup unit picks up an image when the light emission unit emits light; and outputs the first image signal. An image pickup control means for continuously picking up images and outputting a plurality of image signals, wherein the plurality of image signals are added and combined to generate a first composite image signal A value that is not smaller from the first combining step, the correcting step for correcting the brightness of the first combined image signal, and the first image signal and the combined image signal output from the correcting means. And generating a second composite image signal by selecting a second composite image signal, wherein in the correction step, the brightness of the first composite image signal is the brightness of the first image signal. The first composite image signal so as not to exceed And correcting the.

本発明によれば、光時間によるブレの影響を抑えつつ、主被写体と背景を適切な輝度バランスで撮影することができる。 According to the present invention, it is possible to photograph the main subject and the background with an appropriate luminance balance while suppressing the influence of blur due to light time.

本発明の実施形態に係るデジタルカメラのシステム全体の構成を示すブロック図1 is a block diagram showing the overall configuration of a digital camera system according to an embodiment of the present invention. 第１の実施形態におけるモード別撮影処理フローチャートMode-specific shooting process flowchart in the first embodiment 第１の実施形態における画像レベル補正処理フローチャートImage Level Correction Processing Flowchart in the First Embodiment 第１の実施形態における分割露光合成タイミングを示す図The figure which shows the division | segmentation exposure synthetic | combination timing in 1st Embodiment. 本発明の実施形態における撮影例Photographing example in the embodiment of the present invention 第２の実施形態におけるモード別撮影処理フローチャートMode-specific shooting process flowchart in the second embodiment 第２の実施形態における画像レベル補正処理フローチャートImage level correction processing flowchart in the second embodiment

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

（第１の実施形態）
図１は、第１の実施形態における撮像装置の一例であるデジタルカメラ１００の構成を示すブロック図である。 (First embodiment)
FIG. 1 is a block diagram illustrating a configuration of a digital camera 100 that is an example of an imaging apparatus according to the first embodiment.

レンズ１０１は被写体像を結像させるためのレンズであり、ここでは光量を調整するための絞りも含むものとする。 The lens 101 is a lens for forming a subject image, and here also includes a diaphragm for adjusting the amount of light.

メカニカルシャッタ１０２はレンズの光路上に配置されているメカニカルシャッタである。 The mechanical shutter 102 is a mechanical shutter disposed on the optical path of the lens.

撮像部１０３はレンズ１０１で結像した映像を電気的な情報に変換して画像信号として出力するためのセンサである。本発明では、撮像部に含まれる撮像素子としてＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサが使用される。また、撮像部１０３には撮像素子のほかにＣＤＳ回路（相関二重サンプリング回路）やＡＧＣ回路（オートゲインコントロール回路）を含むものとして扱う。 The imaging unit 103 is a sensor for converting an image formed by the lens 101 into electrical information and outputting it as an image signal. In the present invention, a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor is used as an imaging device included in the imaging unit. The imaging unit 103 is treated as including a CDS circuit (correlated double sampling circuit) and an AGC circuit (auto gain control circuit) in addition to the imaging element.

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０４はカメラ全体を制御するための演算回路であり、デジタルカメラ１００内の各部に指示信号を送信し、各部を制御する。ＣＰＵ１０４は、レンズ１０１、メカニカルシャッタ１０２、撮像部１０３、ストロボ制御回路１１０等を制御して露出制御を含めた撮像制御を行う。 A CPU (Central Processing Unit) 104 is an arithmetic circuit for controlling the entire camera, and transmits an instruction signal to each unit in the digital camera 100 to control each unit. The CPU 104 controls the lens 101, the mechanical shutter 102, the imaging unit 103, the strobe control circuit 110, and the like to perform imaging control including exposure control.

画像処理回路１０５は撮像部１０３から出力される画像信号と、バッファメモリ１０６に記録されている画像信号を基に様々な画像処理を行う。本実施形態では、特に撮像部１０３から出力される画像信号とバッファメモリ１０６に記録されている画像信号とを加算して、あるいは小さくない値を選択して合成して合成画像信号を生成する処理も行う（第１の合成手段、第２の合成手段）。 The image processing circuit 105 performs various image processing based on the image signal output from the imaging unit 103 and the image signal recorded in the buffer memory 106. In the present embodiment, in particular, a process of adding the image signal output from the image capturing unit 103 and the image signal recorded in the buffer memory 106, or selecting and combining values that are not small to generate a combined image signal (First synthesizing means, second synthesizing means).

バッファメモリ１０６は撮像部１０３からの画像データ、あるいは画像処理回路１０５により処理が施された画像データを一時的に格納するメモリである。 The buffer memory 106 is a memory that temporarily stores image data from the imaging unit 103 or image data processed by the image processing circuit 105.

外部メモリ１０７はバッファメモリ１０６に蓄えられた画像を保存するためのＳＤカード等のメモリである。 The external memory 107 is a memory such as an SD card for storing images stored in the buffer memory 106.

表示部１０８は撮影条件や、スルー画など、カメラの各種情報を表示するための表示部である。 A display unit 108 is a display unit for displaying various types of camera information such as shooting conditions and through images.

操作部１０９は電源オン・オフの切替えを行う電源ボタン、撮影のトリガとなるレリーズスイッチや、撮影の中断を行う撮影中断ボタン、撮影モードを決定するモードダイヤルなどを含む。操作部１０９からのユーザ入力を検出し、ＣＰＵ１０４の判定、指示で各種動作を行う。 The operation unit 109 includes a power button for switching power on / off, a release switch serving as a shooting trigger, a shooting interruption button for interrupting shooting, a mode dial for determining a shooting mode, and the like. A user input from the operation unit 109 is detected, and various operations are performed according to the determination and instruction of the CPU 104.

また、操作部１０９は、使用者の意図する操作が可能であれば、その形状はボタンに限定されず、リング、面圧力センサなどでもよい。 Further, the shape of the operation unit 109 is not limited to a button as long as an operation intended by the user is possible, and may be a ring, a surface pressure sensor, or the like.

その他カメラに備えられる一般的な部材については、本件とは直接関係しないため省略する。 Other general members provided in the camera are not directly related to the present case, and are therefore omitted.

ストロボ制御回路１１０はＣＰＵ１０４により制御され、ストロボ発光部１１１（発光手段）に対して、ストロボ発光の有無、発光タイミング、発光用コンデンサへの充電などを制御する。 The strobe control circuit 110 is controlled by the CPU 104 to control the presence or absence of strobe light emission, the light emission timing, the charging of the light emitting capacitor, and the like for the strobe light emitting unit 111 (light emitting means).

図２は本デジタルカメラの第１の実施形態における撮影時のモード別撮影処理を示すフローチャートである。本デジタルカメラにおける撮影モード別の動作について、実施例として最も特徴的な夜景ポートレートモードを挙げて説明する。それ以外のモードについての詳細な説明は省略する。なお、図２のフローチャートにおいては、ストロボ発光タイミングを露光開始タイミングに合わせた、先幕シンクロのような画像を取得することを想定している。 FIG. 2 is a flowchart showing the mode-specific shooting process at the time of shooting in the first embodiment of the digital camera. The operation according to the shooting mode in this digital camera will be described by taking the most characteristic night view portrait mode as an embodiment. Detailed description of other modes is omitted. In the flowchart of FIG. 2, it is assumed that an image like a first-curtain sync, in which the flash emission timing is matched with the exposure start timing, is acquired.

まず操作部１０９内のモードダイヤルで設定されている撮影モードが夜景ポートレートモードであるか否かを判定し（Ｓ２０１）、夜景ポートレート以外のモードであれば、各撮影モードに応じた処理を施し（Ｓ２１７）、処理を終了する。 First, it is determined whether or not the shooting mode set with the mode dial in the operation unit 109 is the night view portrait mode (S201). If the shooting mode is a mode other than the night view portrait, processing corresponding to each shooting mode is performed. (S217), and the process ends.

Ｓ２０１において、モードダイヤルが夜景ポートレートモードに設定されていた場合には、Ｓ２０２に進む。Ｓ２０２では、撮像素子を通して得られる画像信号に対して適切な輝度レベルになるように、電子シャッター速度やゲインなどの露光条件を調節することで、測光・露出制御を行う。 If the mode dial is set to the night view portrait mode in S201, the process proceeds to S202. In step S202, photometry / exposure control is performed by adjusting exposure conditions such as electronic shutter speed and gain so that an image signal obtained through the image sensor has an appropriate luminance level.

もちろん、この場合夜景ポートレートモードに設定されているため、モード特有の露出制御を行う。このようなシーンでは通常の被写体を撮影する（汎用的な）通常撮影モードにおける露出よりもアンダー露出となるように露出制御されるのが一般的である。またＳ２０２では、レンズ１０１を動かしながら、画像のコントラスト情報をもとにＡＦ（ＡｕｔｏＦｏｃｕｓ）制御も並行して行っている。 Of course, since the night view portrait mode is set in this case, exposure control specific to the mode is performed. In such a scene, the exposure is generally controlled so that it is underexposed rather than the exposure in the (general-purpose) normal shooting mode for shooting a normal subject. In S202, AF (Auto Focus) control is also performed in parallel while moving the lens 101 based on the contrast information of the image.

次に操作部１０９内のレリーズスイッチの状態を調べ（Ｓ２０３）、レリーズスイッチが押下されていなければＳ２０２へ戻る。押下されていた場合は、Ｓ２０４に進む。ここで、レリーズスイッチはＳ２０２のような測光、露出、ＡＦなどの撮影条件を決定するための撮影準備指示、実際に撮影を行うタイミングを制御するための撮影実行指示の２段階に分かれていてもよい。 Next, the state of the release switch in the operation unit 109 is checked (S203). If the release switch is not pressed, the process returns to S202. If it has been pressed, the process proceeds to S204. Here, the release switch may be divided into two stages: a shooting preparation instruction for determining shooting conditions such as photometry, exposure, and AF as in S202, and a shooting execution instruction for controlling the timing of actual shooting. Good.

Ｓ２０４では、調光制御を行う。調光制御方法については種々の方式が提案されている。例えばプリ発光方式であれば、撮影用の本発光の前に、ストロボ制御回路１１０に対して所定の光量に設定した上で、ストロボをプリ発光させ、得られた画像情報をもとに本発光時の発光レベル（発光量）を演算する。このとき、ストロボを発光している状態で撮影して取得する撮影画像の露光時間ｔ_０も演算する。すなわち、ストロボの発光状態で撮像したときに被写体が適切な明るさとなるようにストロボ発光画像（第１の画像信号）の露光条件を設定する。 In S204, dimming control is performed. Various methods have been proposed for the dimming control method. For example, in the case of the pre-flash method, the flash control circuit 110 is set to a predetermined light amount before the main flash for shooting, and the flash is pre-flashed, and the main flash is generated based on the obtained image information. The light emission level (light emission amount) at the time is calculated. At this time, the exposure time t ₀ of the photographed image obtained by photographing with the flash being emitted is also calculated. That is, the exposure condition of the strobe light emission image (first image signal) is set so that the subject has an appropriate brightness when imaged in the strobe light emission state.

次に、最新の測光結果に応じて、ストロボを発光していない非発光の状態で、時系列で連続的に撮影して取得する撮影画像のトータル露光時間Ｔを決定する（Ｓ２０５）。すなわちストロボを発光していない非発光の状態で撮影する複数の画像信号を合成したときに被写体が適切な明るさとなるように複数の画像信号の露光条件を設定する。次にトータル露光時間Ｔと、他の撮影条件から、分割露光時間ｔ及び分割露光回数Ｎを算出する（Ｓ２０６）。次に現在の分割露光回数をカウントする変数ｉをゼロに初期化するとともにバッファメモリ１０６内の領域Ｂｕｆｆｅｒ１もゼロに初期化しておく（Ｓ２０７）。そして現在の分割露光回数ｉがＮ回であるか判定し（Ｓ２０８）、Ｎ回未満であった場合には、最初の露光、すなわち分割露光回数ｉ＝０であるかを判定する（Ｓ２０９）。ｉ＝０であったなら、Ｓ２０４で演算した発光レベルとなるようにストロボ発光させながら露光時間ｔにて露光、画像の撮像読出し制御を行い、画像データをバッファメモリ１０６内の領域Ｂｕｆｆｅｒ０に格納する（Ｓ２１０）。 Next, in accordance with the latest photometric result, the total exposure time T of the photographed image acquired by continuously photographing in time series in the non-light emitting state where the flash is not emitted is determined (S205). That is, the exposure conditions of the plurality of image signals are set so that the subject has an appropriate brightness when a plurality of image signals to be photographed in a non-light emitting state where the strobe is not emitted. Next, the divided exposure time t and the number of divided exposures N are calculated from the total exposure time T and other shooting conditions (S206). Next, a variable i for counting the current number of divided exposures is initialized to zero, and an area Buffer1 in the buffer memory 106 is also initialized to zero (S207). Then, it is determined whether the current number of divided exposures i is N (S208). If it is less than N times, it is determined whether the first exposure, that is, the number of divided exposures i = 0 (S209). If i = 0, exposure and image capturing / reading control are performed at the exposure time t while the flash is emitted so that the light emission level calculated in S204 is obtained, and the image data is stored in the area Buffer0 in the buffer memory 106. (S210).

そして、分割露光回数ｉを１増加させ（Ｓ２１２）、Ｓ２０８へ処理を移す。Ｓ２０９において、現在の分割露光回数ｉがゼロでなかった場合は、ｉ回目の分割露光・撮像読出し制御を行う。そして読み出した画像データをＢｕｆｆｅｒ１の画像データに加算しながら格納し（Ｓ２１１）、Ｓ２１２へ処理を移す。 Then, the number of divided exposures i is increased by 1 (S212), and the process proceeds to S208. In step S209, if the current number of divided exposures i is not zero, i-th divided exposure / imaging readout control is performed. Then, the read image data is stored while being added to the Buffer 1 image data (S211), and the process proceeds to S212.

Ｓ２０８において、現在の分割露光回数がＮ回に達した場合は、Ｂｕｆｆｅｒ０内のストロボの発光状態で撮影された画像を解析し、その結果からＢｕｆｆｅｒ１のストロボの非発光状態で撮影された画像の画像レベルを補正する（Ｓ２１３）。この処理の詳細については後述する。次に、Ｂｕｆｆｅｒ０及びＢｕｆｆｅｒ１に格納された画像データを合成する（Ｓ２１４）。この時点で、Ｂｕｆｆｅｒ０内にはストロボ発光時の分割露光画像（第１の画像信号）、Ｂｕｆｆｅｒ１内にはストロボ非発光状態での（Ｎ−１）枚分の分割露光画像が加算された合成画像信号（第１の合成画像信号）が格納されている。Ｂｕｆｆｅｒ０とＢｕｆｆｅｒ１の画像合成の際、双方の画像の同一画素アドレスの最大値を選択する、所謂ピークホールド加算を行う。具体的には以下のようになる。
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ））（１） In S208, when the current number of divided exposures reaches N, an image photographed in the flashing state of the strobe in Buffer 0 is analyzed, and an image of the image photographed in the non-lighting state of Buffer 1 strobe from the result. The level is corrected (S213). Details of this processing will be described later. Next, the image data stored in Buffer 0 and Buffer 1 are combined (S214). At this time, a divided exposure image (first image signal) at the time of flash emission is added in Buffer 0, and a composite image obtained by adding (N-1) divided exposure images in a non-flash state in Buffer 1 is added to Buffer 1. A signal (first synthesized image signal) is stored. When the images of Buffer 0 and Buffer 1 are combined, so-called peak hold addition is performed to select the maximum value of the same pixel address of both images. Specifically:
I (x, y) = max (I_1 (x, y), I_2 (x, y),..., I_N (x, y)) (1)

ここで、合成前の画像のそれぞれの画素値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１〜Ｎ，ｘ，ｙは画面内の座標を表す）、それらのＮ枚の画像の合成後の画像の画素値をＩ（ｘ，ｙ）とする。本実施形態では、撮影される画像を順次ピークホールド加算により合成していくので、
Ｉ２（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ）），
Ｉ３（ｘ，ｙ）＝ｍａｘ（Ｉ２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ）），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍａｘ（ＩＮ−１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ）），
（２）
となる。合成処理の手法としてはこれに限らず、前述した式（１）のように、Ｎ枚をメモリに記憶しておき、一度に合成するなどしてもよい。 Here, I_i (x, y) (i = 1 to N, x, y represents coordinates in the screen), and the pixel values of the N images before the composition are combined. Let the pixel value be I (x, y). In this embodiment, since the images to be shot are sequentially combined by peak hold addition,
I2 (x, y) = max (I_1 (x, y), I_2 (x, y)),
I3 (x, y) = max (I2 (x, y), I_3 (x, y)),
...
I (x, y) = IN (x, y) = max (IN−1 (x, y), I_N (x, y)),
(2)
It becomes. The synthesis processing method is not limited to this, and N sheets may be stored in the memory and combined at once, as in the above-described equation (1).

その後、画像処理回路１０５にて、上記合成の行われた合成画像について記録用の現像処理、ＪＰＥＧ等の所定の形式への符号化・圧縮処理を経て（Ｓ２１５）、外部メモリ１０７に記録して（Ｓ２１６）処理を終了する。 After that, the image processing circuit 105 performs recording development processing, encoding / compression processing into a predetermined format such as JPEG, etc., on the synthesized image that has been synthesized (S215), and records it in the external memory 107. (S216) The process ends.

図３は図２のＳ２１３で行われる画像解析処理および画像レベル補正処理の詳細を表したフローチャートである。 FIG. 3 is a flowchart showing details of the image analysis process and the image level correction process performed in S213 of FIG.

ここでは、主として人物にストロボ発光させた画像Ｐ０と、背景を露光し合成した画像Ｐ１〜Ｐ３の合成画像の輝度バランスをとることを目的としている。 Here, the purpose is mainly to balance the luminance of the composite image of the image P0 that is flashed on a person and the images P1 to P3 that are synthesized by exposing the background.

まず、画像Ｐ０のストロボによる光が届いているとみなされる領域、ストロボ照明領域の抽出を行う（Ｓ３０１）。抽出の方法としては、画像から輝度ヒストグラム分布を求めて所定の範囲の輝度値に収まる画素からなる領域を対象とすることでもよいし、他の方法でもよい。他にも、ストロボが非発光の状態で撮影された画像との輝度差に基づいて、輝度差の大きいところをストロボ照明領域と対応づけるなどしてストロボ照明領域を抽出しても良い。次に抽出されたストロボ照明領域にあたる画素に対して、最小輝度値Ｙｌｏｗを検出する（Ｓ３０２）。最後に、画像Ｐ４のストロボ照明領域に対応する領域の画素に対して領域内の最大輝度値がＹｌｏｗを超えないようにレベル補正を行う。 First, an area where the light from the strobe of the image P0 is considered to have reached and a strobe illumination area are extracted (S301). As an extraction method, a luminance histogram distribution is obtained from an image and a region composed of pixels that fall within a predetermined range of luminance values may be targeted, or another method may be used. In addition, the strobe illumination area may be extracted by, for example, associating a portion having a large brightness difference with the strobe illumination area based on a brightness difference with an image captured with the strobe not emitting light. Next, the minimum luminance value Ylow is detected for the pixel corresponding to the extracted strobe illumination area (S302). Finally, level correction is performed on the pixels in the region corresponding to the strobe illumination region of the image P4 so that the maximum luminance value in the region does not exceed Ylow.

分割露光・合成の様子を時系列的に表した例が図４である。 FIG. 4 shows an example in which the state of divided exposure / combination is expressed in time series.

図４では、撮像素子としてトータル露光時間Ｔ＝３７．５（ｍｓ）、ｔ０＝１２．５（ｍｓ）、ｔ＝１２．５（ｍｓ）、Ｎ＝４（回）の場合を想定している。 In FIG. 4, it is assumed that the total exposure time T = 37.5 (ms), t0 = 12.5 (ms), t = 12.5 (ms), and N = 4 (times) as the image sensor. .

レリーズＳＷ押下後、４枚の分割露光画像のうち、先頭の画像Ｐ０の露光中にストロボ発光するように、ＣＰＵ１０４がストロボ制御回路１１０を制御する。そして残り３枚（画像Ｐ１、Ｐ２、Ｐ３）の分割露光画像については、手ブレ軽減のため、画像の特徴点をもとに公知の位置合わせ処理を行った上で加算合成を行うことで、長秒露光相当の画像を作成する。加算合成後の画像をＰ４とする。最後に、この画像Ｐ４と画像Ｐ０とを位置合わせ処理を行った上で、ピークホールド加算で合成することで最終画像Ｐ５を作成する。 After pressing the release SW, the CPU 104 controls the strobe control circuit 110 so that the strobe light is emitted during the exposure of the first image P0 among the four divided exposure images. The remaining three (images P1, P2, and P3) divided exposure images are subjected to a known alignment process based on the feature points of the image to reduce camera shake, and are then added and combined. Create an image equivalent to long-second exposure. Let P4 be the image after addition synthesis. Finally, the image P4 and the image P0 are subjected to alignment processing and then combined by peak hold addition to create a final image P5.

画像Ｐ０と画像Ｐ４の合成時にピークホールド合成を行うのは、主被写体となる人物が撮影中に動いた場合でも、人物の後ろに隠れていた背景が人物に写り込むことを防止するためである。図３で述べた処理も、この目的のために行っている。 The reason why the peak hold composition is performed when the image P0 and the image P4 are combined is to prevent the background hidden behind the person from appearing in the person even when the person who is the main subject moves during shooting. . The processing described in FIG. 3 is also performed for this purpose.

図５（ａ）は、夜景ポートレートモードでの撮影例を示したもので、手前に人物、背景としてライトが点灯したクリスマスツリーが写っている。人物にのみストロボ光が届いているものとする。この画像を分割露光画像Ｐ０と仮定する。実際には背景となるクリスマスツリーはもっと暗くなるが、見やすくするために便宜上明るく表示している。連続して露光されるＰ１〜Ｐ３の間で、図５（ｂ）のように、人物が少し左に動いたとすると、図５（ａ）では人物に隠れて見えなかったクリスマスツリーのライトの一部が見えていることがわかる。このため、画像Ｐ０と画像Ｐ４を単純に加算合成すると、図５（ｃ）のように人物の体のなかにクリスマスツリーのライトが写り込んでしまうことになる。 FIG. 5A shows an example of shooting in the night view portrait mode, in which a person is in front and a Christmas tree with lights on as a background. Assume that only a person has a strobe light. This image is assumed to be a divided exposure image P0. Actually, the background Christmas tree is darker, but for the sake of clarity, it is displayed brighter for convenience. If the person moves slightly to the left between P1 to P3 that are continuously exposed as shown in FIG. 5B, one of the lights of the Christmas tree that was hidden behind the person in FIG. You can see that the part is visible. For this reason, when the images P0 and P4 are simply added and synthesized, the lights of the Christmas tree are reflected in the human body as shown in FIG. 5C.

図３で述べたレベル補正を施した後、画像Ｐ０と画像Ｐ４をピークホールド合成することにより、図５（ａ）のように背景の写り込みがなく、人物と背景の輝度バランスのとれた画像を作成することができる。 After performing the level correction described with reference to FIG. 3, the image P0 and the image P4 are subjected to peak hold synthesis so that there is no background reflection as shown in FIG. Can be created.

上述した実施形態では、非発光画像のトータル露光時間Ｔや分割露光回数Ｎは最新の測光結果から演算して求めた。しかし、Ｓ３０２で求めた最小輝度値ＹｌｏｗをＳ２１０のタイミングで求めておき、このＹｌｏｗを元に分割露光回数を可変させるような仕組みにしてもよい。このようにすれば、背景が人物の輝度レベルに近づいたところで露光を完了させることが可能であり、時間的に無駄がなくなる。 In the above-described embodiment, the total exposure time T and the number of divided exposures N of the non-light-emitting image are calculated from the latest photometric results. However, the minimum luminance value Ylow obtained in S302 may be obtained at the timing of S210, and the number of division exposures may be varied based on this Ylow. In this way, it is possible to complete the exposure when the background approaches the luminance level of the person, and no time is wasted.

以上のように、本実施形態では、ストロボ撮影画像と明るさ補正がなされた分割露光画像をピークホールド加算することで、露光時間によるブレの影響を抑えつつ、主被写体と背景を適切な輝度バランスで写した撮影画像を得ることが出来る。 As described above, in the present embodiment, the main subject and the background are appropriately balanced while suppressing the influence of the blur due to the exposure time by performing peak hold addition on the strobe image and the divided exposure image that has been corrected for brightness. You can get a photo taken with.

（第２の実施形態）
本実施形態においては、露光完了直前にストロボの発光を行う、後幕シンクロ撮影時の処理手順を示す。 (Second Embodiment)
In the present embodiment, a processing procedure at the time of trailing curtain sync shooting in which strobe light is emitted immediately before completion of exposure will be described.

図６は本デジタルカメラの第２の実施形態における撮影時のモード別撮影処理を示すフローチャートである。図２と同様の部分については同一のステップ番号を付し説明は省略する。 FIG. 6 is a flowchart showing a mode-specific shooting process at the time of shooting in the second embodiment of the present digital camera. The same parts as those in FIG. 2 are denoted by the same step numbers and the description thereof is omitted.

まず現在の分割露光回数をカウントする変数ｉを１に初期化する（Ｓ６０１）。そして現在の分割露光回数ｉと分割露光回数Ｎの大小を判定をおこなう（Ｓ２０８）。現在の分割露光回数ｉがＮ回未満であった場合には、ストロボ非発光として露光時間ｔにて露光、画像の撮像読出し制御を行い、画像データをバッファメモリ１０６内の領域Ｂｕｆｆｅｒ（ｉ）に格納する（Ｓ２１１）。 First, a variable i for counting the current number of divided exposures is initialized to 1 (S601). Then, it is determined whether the current number of division exposures i and the number of division exposures N are large or small (S208). When the current number of divided exposures i is less than N, exposure is performed at an exposure time t as strobe non-emission, and image reading and reading control is performed, and image data is stored in an area Buffer (i) in the buffer memory 106. Store (S211).

そして、分割露光回数ｉを１増加させ（Ｓ２１２）、Ｓ２０８へ処理を移す。Ｓ２０８において、現在の分割露光回数ｉが分割露光回数Ｎと等しい場合は、最後の分割露光となるため、Ｓ２０４で演算した発光レベルとなるようにストロボ発光させながら分割露光・撮像読出し制御を行い、Ｂｕｆｆｅｒ０に格納する（Ｓ６０２）。次にＢｕｆｆｅｒ０に保存したストロボ発光画像Ｐ０のストロボ照明領域の抽出、ストロボ発光なしの分割露光画像の補正を行う（Ｓ２１３）。ここでストロボ発光画像Ｐ０から抽出されたストロボ照明領域にあたる画素に対して、第１の実施形態と同様に最小輝度値Ｙｌｏｗを検出する。そしてＰ４のストロボ照明領域に対応する領域の最大輝度値と比較、ストロボ非発光で撮影された画像の合成画像Ｐ４のストロボ照明領域の画素を最小輝度値Ｙｌｏｗの値を超えないように輝度レベルを下げる補正をする。 Then, the number of divided exposures i is increased by 1 (S212), and the process proceeds to S208. In S208, when the current number of division exposures i is equal to the number of division exposures N, it is the last division exposure, and therefore, the division exposure / imaging readout control is performed while the strobe is emitted so that the light emission level calculated in S204 is obtained. Store in Buffer 0 (S602). Next, extraction of the strobe illumination area of the strobe light emission image P0 stored in Buffer 0 and correction of the divided exposure image without strobe light emission are performed (S213). Here, the minimum luminance value Ylow is detected for the pixels corresponding to the strobe illumination area extracted from the strobe emission image P0, as in the first embodiment. Then, the brightness level is compared with the maximum brightness value of the area corresponding to the P4 strobe illumination area, and the brightness level of the pixels in the strobe illumination area of the composite image P4 of the image photographed without the strobe light does not exceed the minimum brightness value Ylow. Adjust to lower.

次に、Ｂｕｆｆｅｒ０及びＢｕｆｆｅｒ１に格納された画像データを合成する（Ｓ２１４）。以降の処理は図２と同様である。 Next, the image data stored in Buffer 0 and Buffer 1 are combined (S214). The subsequent processing is the same as in FIG.

図７は図６のＳ６０３における処理の詳細を示したフローチャートである。 FIG. 7 is a flowchart showing details of the process in S603 of FIG.

まず、ストロボ非発光画像の加算数をカウントする変数ｊをＮ−２に初期化する（Ｓ７０１）。次にＢｕｆｆｅｒ１内の画像の最大輝度値を調べ、ストロボ発光状態の最小輝度値Ｙｌｏｗと比較する（Ｓ７０２）。Ｙｌｏｗが大きければ、変数ｊと１を比較する（Ｓ７０３）。変数ｊが１より大きい場合は、Ｂｕｆｆｅｒ１内の画像とＢｕｆｆｅｒ（ｊ）内の画像を加算合成しながらＢｕｆｆｅｒ１に格納する（Ｓ７０４）。次に変数ｊを１減少させ（Ｓ７０５）、Ｓ７０２へ戻る。Ｓ７０２においてＢｕｆｆｅｒ１内の画像の最大輝度値がＹｌｏｗ以上の値になった場合には、Ｂｕｆｆｅｒ１内の画像からＢｕｆｆｅｒ（ｊ＋１）内の画像を減算しＢｕｆｆｅｒ１に格納し（Ｓ７０６）、終了する。また、Ｓ７０３において、変数ｊが１以下であれば、処理を終了する。 First, a variable j for counting the number of additions of non-flash images is initialized to N-2 (S701). Next, the maximum luminance value of the image in Buffer 1 is checked and compared with the minimum luminance value Ylow in the strobe emission state (S702). If Ylow is large, the variable j is compared with 1 (S703). If the variable j is larger than 1, the image in Buffer1 and the image in Buffer (j) are stored in Buffer1 while being added and synthesized (S704). Next, the variable j is decreased by 1 (S705), and the process returns to S702. If the maximum luminance value of the image in Buffer 1 is equal to or higher than Ylow in S702, the image in Buffer (j + 1) is subtracted from the image in Buffer 1, and stored in Buffer 1 (S706). If the variable j is 1 or less in S703, the process is terminated.

この結果、Ｂｕｆｆｅｒ１には、ストロボ照明部の最小輝度値Ｙｌｏｗを上回らない範囲で、ストロボ非発光画像を加算合成したものが格納される。このときの加算順序としては、最後にストロボ発光される画像に近い順に加算されるため、時間的に連続した自然な画像が保存される。 As a result, Buffer 1 stores a result of adding and synthesizing the strobe non-emission images within a range that does not exceed the minimum luminance value Ylow of the strobe illumination unit. As the addition order at this time, since the addition is performed in the order from the last image that is flashed, natural images that are temporally continuous are stored.

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined.

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。 (Other embodiments)
The object of the present invention can also be achieved as follows. That is, a storage medium in which a program code of software in which a procedure for realizing the functions of the above-described embodiments is described is recorded is supplied to the system or apparatus. The computer (or CPU, MPU, etc.) of the system or apparatus reads out and executes the program code stored in the storage medium.

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the novel function of the present invention, and the storage medium and program storing the program code constitute the present invention.

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。 Examples of the storage medium for supplying the program code include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. Further, a CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD-R, magnetic tape, nonvolatile memory card, ROM, or the like can also be used.

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。 Further, by making the program code read by the computer executable, the functions of the above-described embodiments are realized. Furthermore, when the OS (operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code, the functions of the above-described embodiments are realized by the processing. Is also included.

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。 Furthermore, the following cases are also included. First, the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。 In addition, the present invention is not limited to devices such as digital cameras, but includes built-in or external connection of imaging devices such as mobile phones, personal computers (laptop type, desktop type, tablet type, etc.), game machines, etc. It can be applied to any device. Therefore, the “imaging device” in this specification is intended to include any electronic device having an imaging function.

１０１レンズ
１０２メカニカルシャッタ
１０３撮像部
１０４ＣＰＵ
１０５画像処理回路
１０６バッファメモリ
１０７外部メモリ
１０８表示部
１０９操作部
１１０ストロボ制御回路
１１１ストロボ発光部 101 Lens 102 Mechanical shutter 103 Imaging unit 104 CPU
105 Image Processing Circuit 106 Buffer Memory 107 External Memory 108 Display Unit 109 Operation Unit 110 Strobe Control Circuit 111 Strobe Light Emitting Unit

Claims

撮像手段と、
発光手段が発光している状態で撮像手段に撮像させ第１の画像信号を出力させ、前記発光手段が非発光の状態で前記撮像手段に連続的に撮像させ複数の画像信号を出力させる撮像制御手段と、
前記複数の画像信号を加算して合成し、第１の合成画像信号を生成する第１の合成手段と、
前記第１の合成画像信号の明るさを補正する補正手段と、
前記第１の画像信号と前記補正手段より出力される合成画像信号とから、値の小さくない方を選択して第２の合成画像信号を生成する第２の合成手段と、を有し、
前記補正手段は、前記第１の合成画像信号の明るさが、前記第１の画像信号の明るさを超えないように前記第１の合成画像信号を補正することを特徴とする撮像装置。 Imaging means;
Imaging control for causing the imaging unit to capture an image while the light emitting unit emits light and outputting the first image signal, and causing the imaging unit to continuously capture an image while the light emitting unit is not emitting light and outputting a plurality of image signals. Means,
First combining means for adding and combining the plurality of image signals to generate a first combined image signal;
Correction means for correcting the brightness of the first composite image signal;
Second combining means for generating a second combined image signal by selecting the one having a smaller value from the first image signal and the combined image signal output from the correcting means;
The imaging apparatus corrects the first composite image signal so that the brightness of the first composite image signal does not exceed the brightness of the first image signal.

前記第１の画像信号から、前記発光手段による発光が届いている照明領域の抽出を行う抽出手段を有し、
前記補正手段は、前記第１の合成画像信号において前記照明領域に対応する領域の最大輝度値が、前記第１の画像信号における前記照明領域の最小輝度値を超えないように前記第１の合成画像信号を補正することを特徴とする請求項１に記載の撮像装置。 Extraction means for extracting an illumination area from which light emission by the light emission means has arrived, from the first image signal;
The correction unit is configured so that the maximum brightness value of the area corresponding to the illumination area in the first composite image signal does not exceed the minimum brightness value of the illumination area in the first image signal. The imaging apparatus according to claim 1, wherein the image signal is corrected.

前記撮像手段による撮像の露出を制御する露出制御手段を有し、
前記露出制御手段は、
前記発光手段による発光状態で撮像したときに被写体が適切な明るさとなるように前記第１の画像信号を出力するための露光条件を設定し、前記複数の画像信号を合成したときに被写体が適切な明るさとなるように前記複数の画像信号を出力するための露光条件を設定することを特徴とする請求項１または２に記載の撮像装置。 Exposure control means for controlling exposure of imaging by the imaging means;
The exposure control means includes
An exposure condition for outputting the first image signal is set so that the subject has an appropriate brightness when imaged in a light emitting state by the light emitting means, and the subject is appropriate when the plurality of image signals are combined. The imaging apparatus according to claim 1, wherein an exposure condition for outputting the plurality of image signals is set so that the brightness is high.

前記補正手段は、前記第１の合成手段により合成される前記第１の合成画像信号に用いる画像信号の数を制御することで、前記第１の合成画像信号の明るさを補正することを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。 The correction means corrects the brightness of the first composite image signal by controlling the number of image signals used for the first composite image signal synthesized by the first synthesis means. The imaging apparatus according to any one of claims 1 to 3.

前記複数の画像信号を加算合成する際、時系列で後から撮像された画像信号から順に加算合成を行うことを特徴とする請求項４に記載の撮像装置。 The imaging apparatus according to claim 4, wherein when the plurality of image signals are added and synthesized, the addition and synthesis are sequentially performed from an image signal captured later in time series.

撮像手段と、発光手段が発光している状態で撮像手段に撮像させ第１の画像信号を出力させ、前記発光手段が非発光の状態で前記撮像手段に連続的に撮像させ複数の画像信号を出力させる撮像制御手段と、を有する撮像装置の制御方法であって、
前記複数の画像信号を加算して合成し、第１の合成画像信号を生成する第１の合成ステップと、
前記第１の合成画像信号の明るさを補正する補正ステップと、
前記第１の画像信号と前記補正手段より出力される合成画像信号とから、値の小さくない方を選択して第２の合成画像信号を生成する第２の合成ステップと、を有し、
前記補正ステップでは、前記第１の合成画像信号の明るさが、前記第１の画像信号の明るさを超えないように前記第１の合成画像信号を補正することを特徴とする撮像装置の制御方法。 The imaging means and the imaging means output the first image signal while the light emitting means emits light, and the imaging means continuously captures a plurality of image signals while the light emitting means is not emitting light. An imaging control means for outputting, and a control method of an imaging device comprising:
A first combining step of adding and combining the plurality of image signals to generate a first combined image signal;
A correction step of correcting the brightness of the first composite image signal;
A second combining step of generating a second combined image signal by selecting the one having a smaller value from the first image signal and the combined image signal output from the correcting unit;
In the correction step, the first composite image signal is corrected so that the brightness of the first composite image signal does not exceed the brightness of the first image signal. Method.

請求項６に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。 A computer-executable program in which a procedure of a control method for an imaging apparatus according to claim 6 is described.

コンピュータに、請求項６に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium storing a program for causing a computer to execute each step of the control method of the imaging apparatus according to claim 6.