JP2010135921A - Imaging apparatus and imaging method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To prevent deterioration of image quality due to stroboscope-light emitted from a camera possessed by another person when photographing a through image or a moving video image using a rolling shutter method. <P>SOLUTION: When there is a flash of light emitting by another person during reading out of a frame B, high luminance regions are detected over two frames of the frames B, C. Therefore, data of the frames B, C are not used, and image data of a frame A which are acquired before the frames B, C, and does not detect the high luminance region, are alternatively displayed on an LCD 40. By the method, it is prevented that a part of a screen becomes an unnatural through image or video image caused by over-exposure phenomenon. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は撮像装置及び撮像方法にかかり、スルー画や動画撮影時に発生する画面の輝度ムラをなくす撮影装置及び撮像方法に関する。   The present invention relates to an imaging apparatus and an imaging method, and relates to an imaging apparatus and an imaging method that eliminate uneven brightness of a screen that occurs when shooting a through image or a moving image.

ＣＭＯＳセンサを用いた撮像装置においては、２次元状に電荷蓄積素子が配列された撮像素子に各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すローリングシャッタ方式が用いられる。   In an image pickup apparatus using a CMOS sensor, an image pickup device in which charge storage elements are arranged in a two-dimensional manner starts charge storage at different timing for each line, and for each line after a predetermined charge storage time elapses. A rolling shutter system that reads an image signal is used.

このローリングシャッタ方式は、各ライン毎に画像信号を読み出す時間が異なるという特徴があるため、ストロボ撮影を行う場合には、発光タイミングによっては撮影画面内の列方向（ライン読み出し方向）に輝度ムラが生じるといった問題がある。   Since this rolling shutter system has a feature that the time for reading out an image signal is different for each line, when performing strobe shooting, there is uneven brightness in the column direction (line reading direction) in the shooting screen depending on the light emission timing. There is a problem that occurs.

このローリングシャッタによる輝度ムラを軽減するために、特許文献１には、最初のラインの電荷蓄積開始時から最後のラインの電荷蓄積終了時まで常にストロボを発光し続ける撮像装置が開示されている。
特開２００７−３２４６４９号公報 In order to reduce the luminance unevenness due to the rolling shutter, Japanese Patent Application Laid-Open No. 2004-228561 discloses an imaging apparatus that continuously emits strobe light from the start of charge accumulation on the first line to the end of charge accumulation on the last line.
JP 2007-324649 A

しかしながら、特許文献１に記載の発明は、撮像装置自体に設けられたストロボを発光する場合における輝度ムラを軽減するための技術である。撮像装置自体に設けられたストロボであれば、発光タイミングを制御することも可能であるが、他人が所有するカメラのフラッシュ光の発光タイミングを制御することはできない。   However, the invention described in Patent Document 1 is a technique for reducing luminance unevenness when a strobe provided in the imaging apparatus itself emits light. If it is a strobe provided in the imaging apparatus itself, it is possible to control the light emission timing, but it is not possible to control the flash light emission timing of the camera owned by another person.

そのため、例えば結婚式や記者会見などの多くのカメラが同時にストロボを発光させるシーンにおいて、各ライン毎に画像信号を読み出す時間が異なるローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラが発光したフラッシュ光によって画面の一部のみが白トビする（輝度ムラが発生する）こと等により画質が劣化することを防止することはできないという問題がある。   Therefore, when shooting through images and moving images using a rolling shutter method in which the time to read out the image signal for each line is different in a scene where many cameras, such as weddings and press conferences, emit flash at the same time, There is a problem that it is impossible to prevent image quality from being deteriorated due to, for example, only a part of the screen being overexposed (brightness unevenness occurs) by flash light emitted by a camera owned by another person.

本発明はこのような事情に鑑みてなされたもので、ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラが発光したフラッシュ光による画質の劣化を防止することができる撮像装置及び撮像方法を提供することを目的とする。   The present invention has been made in view of such circumstances, and prevents deterioration in image quality due to flash light emitted from a camera owned by another person when a through image or a moving image is shot using a rolling shutter system. An object of the present invention is to provide an imaging apparatus and an imaging method capable of performing the above.

前記目的を達成するために、請求項１に記載の撮像装置は、被写体を撮像するための複数の電荷蓄積素子が２次元に配列された撮像素子と、前記撮像素子の各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すローリングシャッタ手段と、前記ローリングシャッタ手段により読み出された画像信号に基づいて前記撮像素子で撮像された複数フレームの画像を順次表示手段又は記録媒体に出力する出力手段と、を有する撮像装置において、撮影画面のライン方向の輝度を算出する輝度算出手段と、前記輝度算出手段により算出されたライン方向の輝度に基づいて、輝度が所定の閾値以上高い領域（以下、高輝度領域という）が帯状に存在するか否かを判定する判定手段と、前記判定手段により高輝度領域が帯状に存在すると判定された場合に、前記高輝度領域が帯状に存在するフレームの画像の前記高輝度領域を除去する輝度ムラ除去手段と、を備え、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、前記出力手段から前記輝度ムラ除去手段により高輝度領域が除去された画像が出力されることを特徴とする。   In order to achieve the above object, an imaging apparatus according to claim 1, wherein an imaging element in which a plurality of charge storage elements for imaging a subject are two-dimensionally arranged and a timing that is different for each line of the imaging element. Charge accumulation is started, and a rolling shutter means for reading out an image signal for each line after a predetermined charge accumulation time has elapsed, and an image is picked up by the imaging device based on the image signal read by the rolling shutter means In an imaging apparatus having a plurality of frames of images sequentially output to a display unit or a recording medium, a luminance calculation unit that calculates the luminance in the line direction of the shooting screen, and the line direction calculated by the luminance calculation unit A determination unit that determines whether or not an area having a luminance higher than a predetermined threshold (hereinafter referred to as a high luminance area) is present in a band shape based on the luminance. And a luminance unevenness removing unit that removes the high luminance region of the image of the frame in which the high luminance region exists in a band shape when the determination unit determines that the high luminance region exists in a band shape, and When the determination unit determines that the high luminance region exists in a band shape, an image from which the high luminance region has been removed by the luminance unevenness removal unit is output from the output unit.

請求項１に記載の撮像装置によれば、撮影画面のライン方向の輝度を算出し、輝度が所定の閾値以上高い領域（高輝度領域）が帯状に存在するか否かを判定する。そして、高輝度領域が帯状に存在すると判定された場合には、高輝度領域が除去された画像を出力する。これにより、ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラがフラッシュを発光したか否かを検出し、他人が所有するカメラのフラッシュ光により画面の一部が明るくなることによるスルー画や動画の画質の劣化を防止することができる。なお、高輝度領域が帯状に存在するフレームの画像の高輝度領域を除去する輝度ムラ除去手段としては、高輝度領域の画像を高輝度領域で無い画像と置き換える手段を用いてもよい。   According to the imaging apparatus of the first aspect, the luminance in the line direction of the photographing screen is calculated, and it is determined whether or not a region (high luminance region) whose luminance is higher than a predetermined threshold exists in a band shape. When it is determined that the high luminance area exists in a band shape, an image from which the high luminance area is removed is output. As a result, when shooting a through image or video using the rolling shutter method, it is detected whether or not the camera owned by another person emits a flash, and a part of the screen is detected by the flash light of the camera owned by the other person. It is possible to prevent deterioration of the image quality of the through image and the moving image due to the brightness of the image. Note that, as the luminance unevenness removing unit that removes the high luminance region of the image of the frame in which the high luminance region exists in a band shape, a unit that replaces the image in the high luminance region with an image that is not the high luminance region may be used.

請求項２に記載の撮像装置は、請求項１に記載の撮像装置において、前記輝度算出手段は、撮影画面を複数の領域に分割し、各分割領域毎の輝度に基づいて前記ライン方向の輝度を算出することを特徴とする。   The imaging device according to claim 2 is the imaging device according to claim 1, wherein the luminance calculation unit divides the photographing screen into a plurality of regions, and the luminance in the line direction based on the luminance of each divided region. Is calculated.

請求項３に記載の撮像装置は、請求項２に記載の撮像装置において、前記輝度算出手段は、前記各分割領域毎の輝度に基づいてライン方向の分割領域の輝度の平均値を算出し、
前記判定手段は、ライン方向の分割領域の輝度の平均値が所定の閾値以上高い領域を高輝度領域と判定することを特徴とする。 The imaging apparatus according to claim 3 is the imaging apparatus according to claim 2, wherein the luminance calculation unit calculates an average value of the luminances of the divided regions in the line direction based on the luminance for each of the divided regions.
The determination means determines an area where the average luminance value of the divided areas in the line direction is higher than a predetermined threshold value as a high luminance area.

請求項３に記載の撮像装置によれば、各分割領域毎の輝度に基づいてライン方向の分割領域の輝度の平均値を算出し、その平均値が所定の閾値以上高い領域を高輝度領域と判定する。これにより、高輝度領域の判定を容易に行うことができる。   According to the imaging device according to claim 3, the average value of the brightness of the divided areas in the line direction is calculated based on the brightness of each divided area, and the area whose average value is higher than a predetermined threshold is determined as the high brightness area. judge. Thereby, it is possible to easily determine the high luminance region.

請求項４に記載の撮像装置は請求項２又は３のいずれかに記載の撮像装置において、前記輝度算出手段は、前記各分割領域毎の輝度に基づいてライン方向の分割領域の輝度のバラツキを算出し、前記判定手段は、前記輝度算出手段により算出された輝度のバラツキが所定の閾値以内であるか否かを判定し、前記出力手段は、前記判定手段により高輝度領域が帯状に存在すると判定され、かつライン方向の分割領域の輝度のバラツキが所定の閾値以内であると判定された場合にのみ前記輝度ムラ除去手段により高輝度領域が除去された画像を出力することを特徴とする。   An imaging apparatus according to a fourth aspect is the imaging apparatus according to the second or third aspect, wherein the luminance calculation unit calculates a variation in luminance of the divided regions in the line direction based on the luminance of each divided region. And the determination means determines whether or not the variation in luminance calculated by the luminance calculation means is within a predetermined threshold, and the output means determines that the high-luminance region exists in a band shape by the determination means. Only when it is determined and it is determined that the variation in luminance of the divided regions in the line direction is within a predetermined threshold, the image from which the high luminance region is removed by the luminance unevenness removing means is output.

請求項４に記載の撮像装置によれば、各分割領域毎の輝度に基づいてライン方向の分割領域の輝度のバラツキを算出し、その輝度のバラツキが所定の閾値以内であるか否かを判定し、高輝度領域が帯状に存在すると判定され、かつ輝度のバラツキが所定の閾値以内であると判定された場合には、高輝度領域が除去された画像を出力する。これにより、他者のフラッシュ発光を確実に検出することができる。   According to the imaging device of claim 4, the luminance variation of the divided regions in the line direction is calculated based on the luminance for each divided region, and it is determined whether or not the luminance variation is within a predetermined threshold. However, when it is determined that the high luminance region exists in a band shape and the luminance variation is determined to be within a predetermined threshold, an image from which the high luminance region is removed is output. This makes it possible to reliably detect the flash emission of the other person.

請求項５に記載の撮像装置は、請求項１から４のいずれかに記載の撮像装置において、前記輝度算出手段により算出されたライン方向の輝度の差分であって、現フレームの輝度と、現フレームの１つ前のフレームの輝度との差分を算出する差分算出手段を備え、前記判定手段は、前記差分算出手段により算出された輝度の差分が所定の閾値以上高い領域を高輝度領域と判定することを特徴とする。   An imaging apparatus according to a fifth aspect is the imaging apparatus according to any one of the first to fourth aspects, wherein the luminance difference in the line direction calculated by the luminance calculating means is a difference between the luminance of the current frame and the current luminance. Difference calculating means for calculating a difference with the luminance of the frame immediately before the frame is provided, and the determining means determines that an area in which the luminance difference calculated by the difference calculating means is higher than a predetermined threshold is a high luminance area It is characterized by doing.

請求項５に記載の撮像装置によれば、現フレームの輝度と、現フレームの１つ前のフレームの輝度との差分を算出し、その差分が所定の閾値以上高い領域を高輝度領域と判定する。これにより、より確実に高輝度領域を判定することができる。   According to the imaging apparatus of claim 5, the difference between the luminance of the current frame and the luminance of the frame immediately before the current frame is calculated, and an area where the difference is higher than a predetermined threshold is determined as a high luminance area. To do. Thereby, a high-intensity area | region can be determined more reliably.

請求項６に記載の撮像装置は、請求項１から５のいずれかに記載の撮像装置において、前記輝度ムラ除去手段は、現フレームの画像を、前記判定手段により高輝度領域が帯状に存在すると判定されていないフレーム（以下、低輝度フレームという）の画像をに置き換えることにより前記高輝度領域を除去することを特徴とする。これにより、容易に高輝度領域を除去することができる。   The imaging device according to claim 6 is the imaging device according to any one of claims 1 to 5, wherein the luminance unevenness removing unit is configured to display an image of a current frame and a high luminance region in a band shape by the determining unit. The high luminance region is removed by replacing an image of a frame that has not been determined (hereinafter referred to as a low luminance frame) with an image. Thereby, a high-intensity area | region can be removed easily.

請求項７に記載の撮像装置は、請求項１から６のいずれかに記載の撮像装置において、前記画像信号に基づいて適正な露出値になるように露出を制御する露出制御手段であって、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、該判定後に撮影するフレームの露出を前記適正な露出値より所定の値だけ高い露出値となるように制御する露出制御手段を備えたことを特徴とする。   An imaging apparatus according to claim 7 is an exposure control means for controlling exposure so that an appropriate exposure value is obtained based on the image signal in the imaging apparatus according to any one of claims 1 to 6, When it is determined by the determination means that the high brightness area exists in a band shape, an exposure control means for controlling the exposure of the frame to be photographed after the determination so that the exposure value is higher by a predetermined value than the appropriate exposure value. It is provided with.

請求項７に記載の撮像装置によれば、高輝度領域が帯状に存在すると判定された場合には、判定後に撮影するフレームの露出を前記適正な露出値より所定の値だけ高い露出値で撮影する。これにより、他人のフラッシュ発光があったかのような画像を残すことができる。なお、露出を高くして撮影するのは、判定直後のフレームが望ましいが、判定直後のフレームである必要は無い。   According to the imaging device of claim 7, when it is determined that the high brightness area exists in a band shape, the exposure of the frame to be captured after the determination is captured with an exposure value higher than the appropriate exposure value by a predetermined value. To do. As a result, it is possible to leave an image as if there was a flash emission from another person. Note that the frame immediately after the determination is desirable for shooting with high exposure, but it is not necessary to be the frame immediately after the determination.

請求項８に記載の撮像装置は、請求項１から６のいずれかに記載の撮像装置において、閃光を発して前記被写体を照明する閃光手段と、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、該判定後に撮影するフレームの最初に電荷蓄積を開始するラインの電荷蓄積開始後に発光を開始して最後に電荷蓄積を終了するラインの電荷蓄積終了前に発光を停止するように前記閃光手段を制御する閃光制御手段と、を備えたこをと特徴とする。   An imaging apparatus according to an eighth aspect of the present invention is the imaging apparatus according to any one of the first to sixth aspects, wherein a high-luminance region is present in a band shape by a flash unit that emits a flash to illuminate the subject. If determined, light emission is started after the start of charge accumulation on the line where charge accumulation starts at the beginning of the frame to be photographed after the determination, and light emission is stopped before the end of charge accumulation on the line where charge accumulation ends. And a flash control means for controlling the flash means.

請求項８に記載の撮像装置によれば、高輝度領域が帯状に存在すると判定された場合には、判定後のフレームをフラッシュ撮影する。これにより、他人のフラッシュ発光があったかのような画像を残すことができる。なお、フラッシュ撮影を行うのは、判定直後のフレームが望ましいが、判定直後のフレームである必要は無い。   According to the imaging apparatus of the eighth aspect, when it is determined that the high-luminance region exists in a band shape, the determined frame is flash-photographed. As a result, it is possible to leave an image as if there was a flash emission from another person. Note that the flash shooting is preferably performed immediately after the determination, but it is not necessary to use the frame immediately after the determination.

請求項９に記載の撮像装置は、請求項１から６のいずれかに記載の撮像装置において、前記判定手段により高輝度領域が帯状に存在すると判定されたフレームが連続する２フレームにまたがって存在し、かつ前記高輝度領域の合計が略１画面分であることを検出する検出手段と、前記検出手段により略１画面分であることが検出された高輝度領域を合成して１フレーム分の高輝度の画像を生成する合成手段と、を備え、前記出力手段は、前記検出手段により前記高輝度領域が帯状に存在すると判定されたフレームが連続する２フレームにまたがって存在し、かつ前記高輝度領域の合計が略１画面分であることが検出された場合には、前記連続する２フレームの後のフレームの画像に変えて、前記合成手段により合成された画像を出力することを特徴とする。   The imaging apparatus according to claim 9 is the imaging apparatus according to any one of claims 1 to 6, wherein the frame determined by the determination unit that the high-intensity region is present in a strip shape extends over two consecutive frames. And the detection means for detecting that the total of the high-luminance area is about one screen and the high-luminance area detected by the detection means to be about one screen are combined to form one frame. Synthesizing means for generating a high-luminance image, wherein the output means exists across two consecutive frames in which the high-luminance region is determined to be present in a strip shape by the detection means, and When it is detected that the total of the luminance areas is about one screen, the image synthesized by the synthesizing means is output instead of the image of the frame after the two consecutive frames. And features.

請求項９に記載の撮像装置によれば、高輝度領域が帯状に存在すると判定されたフレームが連続する２フレームにまたがって存在し、かつ前記高輝度領域の合計が略１画面分であることが検出された場合には、連続する２フレームの後のフレームの画像に変えて、連続する２フレームの高輝度領域を合成した画像を出力する。これにより、他人のフラッシュ発光があったかのような画像を残すことができる。なお、合成画像を出力するのは、高輝度領域が帯状に存在すると判定された連続する２フレーム直後のフレームが望ましいが、直後のフレームである必要は無い。   According to the image pickup apparatus of claim 9, the frame determined to have the high luminance area present in a strip shape extends over two consecutive frames, and the total of the high luminance area is approximately one screen. Is detected, an image obtained by synthesizing the high-intensity areas of two consecutive frames is output instead of the image of the frame after the two consecutive frames. As a result, it is possible to leave an image as if there was a flash emission from another person. The output of the composite image is preferably a frame immediately after two consecutive frames determined to have a high luminance area in a band shape, but need not be a frame immediately after.

請求項１０に記載の撮像装置は、請求項２に記載の撮像装置によれば、前記輝度算出手段は、前記分割領域の読み出し方向の幅より読み出し方向の幅が狭い分割領域を設定し、当該読み出し方向の幅が狭い分割領域の輝度に基づいて読み出し方向の幅が狭いラインのライン方向の輝度を算出し、前記判定手段は、前記読み出し方向の幅が狭いラインのライン方向の輝度に基づいて前記高輝度領域が帯状に存在するか否かを判定することを特徴とする。これにより、検出の精度を高くすることができる。   According to the imaging device according to claim 10, according to the imaging device according to claim 2, the luminance calculation unit sets a divided region whose width in the reading direction is narrower than the width in the reading direction of the divided region, and The luminance in the line direction of the line having a narrow width in the reading direction is calculated based on the luminance of the divided area having a narrow width in the reading direction, and the determining means is based on the luminance in the line direction of the line having a narrow width in the reading direction. It is determined whether or not the high luminance region exists in a band shape. Thereby, the detection accuracy can be increased.

請求項１１に記載の撮像装置は、請求項１から１０のいずれかに記載の撮像装置において、前記ローリングシャッタ手段は、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、前記撮像素子の画像信号の読み出しのタイミングを順次走査から飛び越し走査へ切り替えることを特徴とする。これにより、他者のフラッシュ発光による画面の一部の露出オーバー画面の確率を減らすことができる。   An imaging device according to an eleventh aspect is the imaging device according to any one of the first to tenth aspects, wherein the rolling shutter means determines that the high-intensity region exists in a band shape by the determination means. The image signal readout timing of the image sensor is switched from sequential scanning to interlaced scanning. Accordingly, it is possible to reduce the probability of a part of the screen that is overexposed due to flash emission by another person.

請求項１２に記載の撮像装置は、請求項１から１１のいずれかに記載の撮像装置において、所望の撮影シーンに応じた撮影モードを設定する撮影モード設定手段と、前記撮影モード設定手段により設定された撮影モードが所定の撮影モードの場合にのみ前記差分算出手段及び前記判定手段を動作させる制御手段とを備えたことを特徴とする。   An imaging apparatus according to a twelfth aspect is the imaging apparatus according to any one of the first to eleventh aspects, wherein the photographing mode setting means for setting a photographing mode according to a desired photographing scene and the photographing mode setting means are used. And a control means for operating the difference calculation means and the determination means only when the obtained photographing mode is a predetermined photographing mode.

請求項１２に記載の撮像装置によれば、所定の撮影モード、すなわち他者のフラッシュ発光が発生しやすい撮影モードの場合にのみ現フレームの変わりに低輝度フレームの画像を出力する制御を行うことができる。   According to the imaging device of the twelfth aspect, control is performed to output an image of a low-luminance frame instead of the current frame only in a predetermined shooting mode, that is, a shooting mode in which flash emission of others is likely to occur. Can do.

請求項１３に記載の撮像装置は、請求項１から１２のいずれかに記載の撮像装置において、前記複数フレームの画像は動画であることを特徴とする。   An imaging device according to a thirteenth aspect is the imaging device according to any one of the first to twelfth aspects, wherein the images of the plurality of frames are moving images.

請求項１３に記載の撮像方法は、被写体を撮像するための複数の電荷蓄積素子が２次元に配列された撮像素子の各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すステップと、前記読み出された画像信号に基づいて撮影画面のライン方向の輝度を算出するステップと、前記算出されたライン方向の輝度に基づいて、輝度が所定の閾値以上高い領域（以下、高輝度領域という）が帯状に存在するか否かを判定するステップと、前記高輝度領域が帯状に存在すると判定された場合に、前記高輝度領域が帯状に存在するフレームの画像の前記高輝度領域を除去するステップと、前記読み出された画像信号に基づいて前記撮像素子で撮像された複数フレームの画像を順次表示手段又は記録媒体に出力するステップと、前記判定するステップにより前記高輝度領域が帯状に存在しないと判定された場合には現フレームの画像を出力し、前記判定するステップにより前記高輝度領域が帯状に存在すると判定された場合には前記高輝度領域が除去された画像を出力するステップと、を含むことを特徴とする。   The imaging method according to claim 13 starts charge accumulation at a different timing for each line of an image sensor in which a plurality of charge accumulation elements for imaging a subject are two-dimensionally arranged, and has a predetermined charge accumulation time. Reading out the image signal for each line after elapse of time, calculating the luminance in the line direction of the shooting screen based on the read-out image signal, and determining the luminance based on the calculated luminance in the line direction Determining whether or not a region having a value higher than a predetermined threshold (hereinafter referred to as a high luminance region) exists in a band shape, and if it is determined that the high luminance region exists in a band shape, the high luminance region is a band shape Removing the high-intensity region of the image of the frame existing in the image, and sequentially imaging the images of the plurality of frames captured by the imaging device based on the read image signal When the determination means determines that the high-luminance area does not exist in a strip shape, the current frame image is output, and the determination step determines that the high-luminance area is And a step of outputting an image from which the high brightness area is removed when it is determined that the image exists in a band shape.

本発明によれば、ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラが発光したフラッシュ光による画質の劣化を防止することができる。   According to the present invention, when a through image or a moving image is shot using a rolling shutter system, it is possible to prevent image quality deterioration due to flash light emitted by a camera owned by another person.

以下、添付図面に従って本発明が適用された撮像装置及び撮像方法を実施するための最良の形態について詳細に説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, a best mode for carrying out an imaging apparatus and an imaging method to which the invention is applied will be described in detail with reference to the accompanying drawings.

図１は第１の実施の形態のデジタルカメラ１内部の概略構成を示すブロック図である。同図に示すように、デジタルカメラ１は、主として、ＣＰＵ１０、操作部１２、フラッシュ発光部２０、レンズユニット２２、メカシャッタ２４、ＣＭＯＳセンサ２６、タイミングジェネレータ（ＴＧ）２８、ＡＧＣ回路３０、Ａ／Ｄ変換器３２、画像信号処理回路３４、圧縮伸張処理回路３６、ＬＣＤドライバ３８、液晶ディスプレイ（ＬＣＤ）４０、ＡＥ／ＷＢ検出回路４２、メモリカード４４、メディアコントローラ４６で構成される。   FIG. 1 is a block diagram showing a schematic configuration inside the digital camera 1 according to the first embodiment. As shown in the figure, the digital camera 1 mainly includes a CPU 10, an operation unit 12, a flash light emitting unit 20, a lens unit 22, a mechanical shutter 24, a CMOS sensor 26, a timing generator (TG) 28, an AGC circuit 30, and an A / D. It comprises a converter 32, an image signal processing circuit 34, a compression / decompression processing circuit 36, an LCD driver 38, a liquid crystal display (LCD) 40, an AE / WB detection circuit 42, a memory card 44, and a media controller 46.

ＣＰＵ１０は、操作部１２から入力される操作信号に基づき所定の制御プログラムに従ってデジタルカメラ１の全体を統括制御する。ＣＰＵ１０に接続されたＲＯＭ１６には、デジタルカメラ１を動作させるための制御プログラムや各種設定情報が書き込まれており、ＣＰＵ１０はこのプログラムに従って各部を制御する。   The CPU 10 performs overall control of the entire digital camera 1 according to a predetermined control program based on an operation signal input from the operation unit 12. In the ROM 16 connected to the CPU 10, a control program for operating the digital camera 1 and various setting information are written, and the CPU 10 controls each unit according to this program.

また、ＣＰＵ１０は、ＡＦエリア（たとえば、画面中央部）内の信号を切り出し、ＡＦエリア内の絶対値データを積算する。   In addition, the CPU 10 cuts out signals in the AF area (for example, the center of the screen) and integrates absolute value data in the AF area.

操作部１２は、レリーズボタン、電源／モードスイッチ、モードダイヤル、ズームボタン、十字ボタン、ＭＥＮＵ／ＯＫボタン、ＢＡＣＫボタン等で構成される。   The operation unit 12 includes a release button, a power / mode switch, a mode dial, a zoom button, a cross button, a MENU / OK button, a BACK button, and the like.

レリーズボタンは、半押し操作されたときに各種撮影準備処理が実行され、この状態でレリーズボタンが更に押し込まれる全押し操作によって撮影処理が実行される。   When the release button is half-pressed, various shooting preparation processes are executed, and in this state, the shooting process is executed by a full-press operation in which the release button is further pressed.

電源／モードスイッチは、デジタルカメラ１の電源のオン／オフを切り替える際に操作される。   The power / mode switch is operated when the power of the digital camera 1 is switched on / off.

モードダイヤルは、デジタルカメラ１の動作モードを切り替える際に操作される。動作モードとしては、撮影を１回だけ行う静止画（単写）撮影モード、複数回の撮影を連続して行う連写撮影モード、撮影により得られた画像をＬＣＤ４０に再生表示する再生モードなどがある。   The mode dial is operated when the operation mode of the digital camera 1 is switched. The operation mode includes a still image (single shooting) shooting mode in which shooting is performed only once, a continuous shooting mode in which a plurality of shootings are continuously performed, and a playback mode in which an image obtained by shooting is played back and displayed on the LCD 40. is there.

ズームボタンは、ズームレンズを変倍する際に操作される。   The zoom button is operated when zooming the zoom lens.

十字ボタンは、ＬＣＤ４０に表示されたメニュー画面内のカーソルが移動させる。   The cross button moves the cursor in the menu screen displayed on the LCD 40.

ＭＥＮＵ／ＯＫボタンは、ＬＣＤ４０にメニュー画面を表示する際や選択内容を決定する際などに操作される。ＭＥＮＵ／ＯＫボタン、十字ボタン等の操作により、種々の撮影シーン（屋内、人物、夜景など）から所望とする撮影シーンが設定可能となっている。撮影シーン機能は、設定された撮影シーンに応じて、種々の撮影条件を自動的に設定する機能である。ＣＰＵ１０は、設定された撮影シーンに応じて、露出値、撮影感度、ホワイトバランスの制御パラメータ、フラッシュ発光の有無などの撮影条件を、当該撮影シーンに好適な値に自動的に設定する。なお、撮影シーンの設定は、ＣＰＵ１０が自動的に撮影シーンを判断し、最適な撮影シーンに設定する（自動シーン認識）機能により行なわれてもよい。   The MENU / OK button is operated when a menu screen is displayed on the LCD 40 or when a selection content is determined. Desired shooting scenes can be set from various shooting scenes (indoors, people, night views, etc.) by operating the MENU / OK button, the cross button, and the like. The shooting scene function is a function for automatically setting various shooting conditions according to the set shooting scene. The CPU 10 automatically sets shooting conditions such as an exposure value, shooting sensitivity, white balance control parameters, flash emission, and the like to values suitable for the shooting scene in accordance with the set shooting scene. The setting of the shooting scene may be performed by a function in which the CPU 10 automatically determines the shooting scene and sets the optimum shooting scene (automatic scene recognition).

ＢＡＣＫボタンは、ＬＣＤ４０に表示されたメニュー画面を戻す際に操作される。   The BACK button is operated when returning the menu screen displayed on the LCD 40.

ＲＡＭ１４は、ＣＰＵ１０による演算作業領域として利用される。   The RAM 14 is used as a calculation work area by the CPU 10.

ＲＯＭ１６は、ＣＰＵ１０が実行する制御プログラム及び制御に必要な各種データやデジタルカメラ１の動作に関する各種設定情報などが格納されている。   The ROM 16 stores a control program executed by the CPU 10, various data necessary for control, various setting information related to the operation of the digital camera 1, and the like.

ＶＲＡＭ１８は、スルー画像の表示用の画像データ等を順次に一時的に記憶する。   The VRAM 18 temporarily and temporarily stores image data for displaying a through image.

フラッシュ発光部２０は、撮影を実行する際に被写体輝度に応じてフラッシュを照射する。   The flash light emitting unit 20 irradiates a flash according to the subject brightness when performing shooting.

レンズユニット２２は、主として、ズーム機構及びフォーカス機構と、絞りとで構成される。ズーム機構は、ズーム操作ボタンの操作に応答して、撮影レンズ２２ａを移動させてズーミングを行う。フォーカス機構は、撮影レンズ２２ａに組み込まれたフォーカスレンズを移動させてピント合せを行う。絞り装置２２ｂは、絞り開度を調節することで、ＣＭＯＳ型イメージセンサ２６（以下、ＣＭＯＳセンサ２６という）に入射する被写体光の光量を調節する。絞り装置２２ｂは、モータ２３を介してＣＰＵ１０により動作制御される。   The lens unit 22 mainly includes a zoom mechanism and a focus mechanism, and a diaphragm. In response to the operation of the zoom operation button, the zoom mechanism moves the photographing lens 22a to perform zooming. The focus mechanism performs focusing by moving a focus lens incorporated in the photographic lens 22a. The aperture device 22b adjusts the amount of subject light incident on the CMOS image sensor 26 (hereinafter referred to as the CMOS sensor 26) by adjusting the aperture opening. The diaphragm device 22 b is controlled in operation by the CPU 10 via the motor 23.

メカシャッタ２４は、絞り装置２２ｂとＣＭＯＳセンサ２６との間に設けられ、ＣＭＯＳセンサ２６に入射する被写体光を物理的に遮る。メカシャッタ２４は、モータ２５を介してＣＰＵ１０により動作制御される。   The mechanical shutter 24 is provided between the aperture device 22b and the CMOS sensor 26, and physically blocks subject light incident on the CMOS sensor 26. The operation of the mechanical shutter 24 is controlled by the CPU 10 via the motor 25.

ＣＭＯＳセンサ２６は、多数のフォトセンサ（電荷蓄積素子）が２次元配列された受光面を有しており、受光面に結像された被写体像は、各フォトセンサによって、その入射光量に応じた量の信号電荷に変換され、蓄積される。各フォトセンサに蓄積された電荷は、タイミングジェネレータ（ＴＧ）２８から入力されるタイミング信号によってアナログの画像信号として出力される。具体的には、ＣＭＯＳセンサ２６の各ライン（走査ライン）毎に時間軸方向に異なるタイミングで電荷蓄積を開始するとともに、それぞれ所定の電荷蓄積時間（露光時間）の経過後に電荷蓄積を終了して、各ライン毎に時間軸方向に異なるタイミングで蓄積電荷が画像信号として読み出される。読み出しが終了したら、電荷蓄積素子をリセットし、再度電荷蓄積を開始する。   The CMOS sensor 26 has a light receiving surface on which a large number of photosensors (charge storage elements) are two-dimensionally arranged, and a subject image formed on the light receiving surface corresponds to the amount of incident light by each photosensor. Is converted into a quantity of signal charge and stored. The electric charge accumulated in each photosensor is output as an analog image signal by a timing signal input from a timing generator (TG) 28. Specifically, charge accumulation is started at different timings in the time axis direction for each line (scanning line) of the CMOS sensor 26, and charge accumulation is terminated after a predetermined charge accumulation time (exposure time) has elapsed. The accumulated charges are read out as image signals at different timings in the time axis direction for each line. When the reading is completed, the charge storage element is reset and charge storage is started again.

ＡＧＣ（Automatic Gain Control）回路３０は、ＣＭＯＳセンサ２６から出力された画像信号に対して、ＣＰＵ１０によって設定される撮影感度に応じたゲインで撮像信号を増幅してＡ／Ｄ変換器３２に出力する。   An AGC (Automatic Gain Control) circuit 30 amplifies the imaging signal with a gain corresponding to the imaging sensitivity set by the CPU 10 with respect to the image signal output from the CMOS sensor 26 and outputs it to the A / D converter 32. .

Ａ／Ｄ変換器３２は、ＡＧＣ回路３０から出力されたアナログ信号を、例えば１２ビットのデジタル信号に変換して出力する。Ａ／Ｄ変換器３２から出力されたデジタル信号は画像信号処理回路３４に送られる。   The A / D converter 32 converts the analog signal output from the AGC circuit 30 into, for example, a 12-bit digital signal and outputs it. The digital signal output from the A / D converter 32 is sent to the image signal processing circuit 34.

画像信号処理回路３４は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。   The image signal processing circuit 34 includes a synchronization circuit (a processing circuit that converts a color signal into a simultaneous expression by interpolating a spatial shift of the color signal associated with the color filter array of the single CCD), a white balance correction circuit, and a gamma correction. Circuit, contour correction circuit, luminance / color difference signal generation circuit, etc., and according to a command from the CPU 10, the input image signal is subjected to necessary signal processing to obtain luminance data (Y data) and color difference data (Cr, Cb data). ) Is generated.

圧縮伸張処理回路３６は、ＣＰＵ１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。   The compression / decompression processing circuit 36 performs compression processing in a predetermined format on the input image data in accordance with a command from the CPU 10 to generate compressed image data. Further, in accordance with a command from the CPU 10, the input compressed image data is subjected to a decompression process in a predetermined format to generate uncompressed image data.

ＬＣＤドライバ３８は、画像信号処理回路３４で生成された画像信号をＬＣＤ４０に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してＬＣＤ４０に出力する。   The LCD driver 38 converts the image signal generated by the image signal processing circuit 34 into a video signal (for example, an NTSC signal, a PAL signal, or a SCAM signal) to be displayed on the LCD 40 and outputs the video signal to the LCD 40.

ＬＣＤ４０は、カラー表示が可能な液晶ディスプレイで構成されており、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用される。また、撮影モード時には、電子ビューファインダとして機能し、必要に応じてスルー画像が表示されて、画角確認用の電子ファインダとして利用される。また、再生モード時にはメモリカード４４に記録されている画像データに基づき、ＬＣＤ４０に画像が再生表示される。   The LCD 40 is composed of a liquid crystal display capable of color display, and is used as an image display panel for displaying a photographed image in the playback mode and as a user interface display panel for performing various setting operations. The Further, in the shooting mode, it functions as an electronic view finder, displays a through image as necessary, and is used as an electronic finder for viewing angle confirmation. In the reproduction mode, the image is reproduced and displayed on the LCD 40 based on the image data recorded on the memory card 44.

ＡＥ／ＷＢ検出回路４２は、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリア（以下、測光分割エリアという）ごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。算出された値は画像信号処理回路３４に出力され、画像信号処理回路３４内のホワイトバランス補正回路で用いられる。   The AE / WB detection circuit 42 divides one screen into a plurality of areas (for example, 16 × 16) as physical quantities necessary for AE control, and R, G, B for each divided area (hereinafter referred to as a photometric division area). The integrated value of the image signal is calculated. The calculated value is output to the image signal processing circuit 34 and used in the white balance correction circuit in the image signal processing circuit 34.

メディアコントローラ４６は、メディアスロットに装填されたメモリカード４４に対してデータの読み／書きを制御する。   The media controller 46 controls reading / writing of data with respect to the memory card 44 loaded in the media slot.

以上のように構成された本実施の形態のデジタルカメラ１の作用について説明する。まずは、通常動作（撮影処理、記録処理）について説明する。   The operation of the digital camera 1 of the present embodiment configured as described above will be described. First, normal operations (imaging processing and recording processing) will be described.

電源／モードスイッチを撮影位置に合わせることで、デジタルカメラ１は撮影モードに設定され、撮影が可能になる。そして、撮影モードに設定されることにより、レンズユニット２２が繰り出され、撮影スタンバイ状態になる。   By setting the power / mode switch to the shooting position, the digital camera 1 is set to the shooting mode and shooting is possible. Then, when the shooting mode is set, the lens unit 22 is extended to enter a shooting standby state.

この撮影モードの下、レンズユニット２２を通過した被写体光は、ＣＭＯＳセンサ２６の受光面に結像され、各ライン毎に順次順次電荷蓄積を開始し、所定の電荷蓄積時間の経過後に、ＴＧ２８から与えられる駆動パルスに基づいて各ライン毎に順次画像信号が読み出される。   Under this shooting mode, the subject light that has passed through the lens unit 22 is imaged on the light receiving surface of the CMOS sensor 26, starts to sequentially accumulate charges for each line, and after a predetermined charge accumulation time has elapsed, from the TG 28. The image signal is read out sequentially for each line based on the applied drive pulse.

読み出された画像信号は、ＡＧＣ回路３０に加えられ、ＡＧＣ回路３０から出力されたアナログ信号はＡ／Ｄ変換器３２でデジタル信号に変換され、画像信号処理回路３４に加えられる。   The read image signal is applied to the AGC circuit 30, and the analog signal output from the AGC circuit 30 is converted into a digital signal by the A / D converter 32 and applied to the image signal processing circuit 34.

画像信号処理回路３４で輝度／色差信号が生成され、ＬＣＤドライバ３８で表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換され、ＬＣＤ４０に出力される。これにより、ＣＭＯＳセンサ２６で撮像された画像がリアルタイムにＬＣＤ４０に表示される（スルー画像）。   A luminance / color difference signal is generated by the image signal processing circuit 34, converted into a display signal format (for example, an NTSC color composite video signal) by the LCD driver 38, and output to the LCD 40. Thereby, the image captured by the CMOS sensor 26 is displayed on the LCD 40 in real time (through image).

撮影はレリーズボタンの押下によって行なわれる。レリーズボタンが押下されることによりＣＰＵ１０に対して画像の記録が指示されると、画像信号処理回路３４からの画像データは圧縮伸張処理回路３６に供給され、所定の圧縮符号化処理が施されて、メディアコントローラ４６を介してメモリカード４４に記録される。静止画の記録の際には、画像信号処理回路３４からは１フレーム分の画像データが圧縮伸張処理回路３６に供給され、動画の記録の際には、処理された画像データが圧縮伸張処理回路３６に連続的に供給される。   Shooting is performed by pressing the release button. When the CPU 10 is instructed to record an image by pressing the release button, the image data from the image signal processing circuit 34 is supplied to the compression / decompression processing circuit 36 and subjected to a predetermined compression encoding process. And recorded on the memory card 44 via the media controller 46. When recording a still image, image data for one frame is supplied from the image signal processing circuit 34 to the compression / decompression processing circuit 36. When recording a moving image, the processed image data is compressed / decompressed by the compression / decompression processing circuit 36. 36 is continuously supplied.

＜露出オーバーとなっている領域の検出について＞
本実施の形態では、スルー画像や動画の撮影時に、通常のＡＥ処理で用いる測光値（輝度に相当）に基づいて、他者のフラッシュ撮影などにより画面内に帯状に露出オーバーとなっている領域（以下、高輝度領域という）があるか否かの検出を行う。以下、高輝度領域があるか否かを検出する方法について説明する。 <Detection of overexposed areas>
In the present embodiment, an area that is overexposed in a strip shape on the screen by another person's flash photography or the like based on a photometric value (corresponding to luminance) used in normal AE processing when shooting a through image or video Whether there is (hereinafter referred to as a high luminance region) is detected. Hereinafter, a method for detecting whether or not there is a high luminance area will be described.

（１）露光時間が長い場合について
図２は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものであり、図２（ａ）は、露光時間及び読み出しタイミングと、他者のフラッシュが発光されたタイミングとの関係を示す図であり、図２（ｂ）は図２（ａ）に示すタイミングで読み出しが行われたときに取得される画像を示す図であり、図２（ｃ）は図２（ｂ）に示すフレームの露出値を示す図である。 (1) When the exposure time is long FIG. 2 shows an example in which the other person's flash is emitted during shooting a through image or a moving image when the exposure time is long. FIG. FIG. 2B is a diagram showing the relationship between the exposure time and readout timing and the timing at which another person's flash is emitted. FIG. 2B is obtained when readout is performed at the timing shown in FIG. FIG. 2C shows the exposure value of the frame shown in FIG. 2B.

他者のフラッシュ光は全てのフォトセンサに同様に蓄積されるが、図２（ａ）に示すように、フレーム２の画像信号読み出し中に他者のフラッシュが発光された場合には、フレーム２としてまだ読み出していないラインについては、他者のフラッシュ光はフレーム２で蓄積及び読み出しが行われ、フレーム２として既に読み出したラインについては、他者のフラッシュ光はフレーム３で蓄積及び読み出しが行われる。その結果、図２（ｂ）に示すように、ライン読み出し方向が上から下に向かう場合には、フラッシュが発光されたときに読み出されたラインよりも下側のラインについてはフレーム２が露出オーバーとなり、フラッシュが発光されたときに読み出されたラインよりも上側のラインについてはフレーム３が露出オーバーとなる。このように、露出時間が長い場合には、高輝度領域が連続する２フレームにわたって現れる。   The other person's flash light is accumulated in all the photosensors in the same manner. However, as shown in FIG. 2A, when the other person's flash is emitted during reading of the image signal of frame 2, frame 2 As for the line that has not yet been read out, the other party's flash light is stored and read out in frame 2, and for the line that has already been read out as frame 2, the other person's flash light is stored and read out in frame 3. . As a result, as shown in FIG. 2B, when the line reading direction is from the top to the bottom, the frame 2 is exposed for the line below the line read when the flash is emitted. The frame 3 is overexposed for the line above the line read when the flash is emitted. Thus, when the exposure time is long, the high luminance region appears over two consecutive frames.

次に、露光時間が長い場合に、高輝度領域を検出する処理について説明する。図３は、高輝度領域を検出する処理の全体の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ１０によって行われる。   Next, processing for detecting a high luminance area when the exposure time is long will be described. FIG. 3 is a flowchart showing the overall flow of processing for detecting a high luminance region. The following processing is mainly performed by the CPU 10.

ＣＰＵ１０は、ＡＥ／ＷＢ検出回路４２に指示を出し、ＡＥ／ＷＢ検出回路４２は、１画面を複数の領域に分割して得られた各測光分割エリア毎の測光値（ＥＶ値）を１フレーム分取得する（ステップＳ１０）。以下、図２（ｂ）におけるフレーム２の画像信号を取得したとして説明する。   The CPU 10 issues an instruction to the AE / WB detection circuit 42, and the AE / WB detection circuit 42 outputs a photometric value (EV value) for each photometric division area obtained by dividing one screen into a plurality of areas. Minutes are acquired (step S10). In the following description, it is assumed that the image signal of frame 2 in FIG.

ＣＰＵ１０は、各測光分割エリア毎に、現フレームの測光値と１フレーム前の測光値との差分を算出する。そして、ＣＰＵ１０は、ライン方向の測光分割エリアの差分の最大値と最小値との差が増加しており、かつその増加分が閾値以内であるかどうかを判断する（ステップＳ１１）。   The CPU 10 calculates the difference between the photometric value of the current frame and the photometric value of the previous frame for each photometric division area. Then, the CPU 10 determines whether or not the difference between the maximum value and the minimum value of the difference between the photometric division areas in the line direction is increased, and whether the increase is within a threshold value (step S11).

ステップＳ１１について図４を用いて説明する。図４は、図２（ｃ）におけるフレーム２の詳細を示すものである。撮影画面は、ライン方向に６つ、ライン読み出し方向に５つ、合計３０個の測光分割エリアに分割されている。図４の測光分割エリア内に記載された数字は、その測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分を示す。１番上のラインにおいて、６個の測光分割エリアの測光値の差分はそれぞれ０．２、０．４、−０．２、−０．３、０．１、０．３であるため、その最大値と最小値との差は０．７と算出される。同様の方法により、２番目〜５番目のラインについて、差がそれぞれ０．７、０．５、０．４、０．４と算出される。そして、その差０．７、０．７、０．５、０．４、０．４は正の値であり、閾値（例えば１．０）以内であるため、このフレームの全てのラインについては、ステップＳ１１の結果はＹＥＳとなる。   Step S11 will be described with reference to FIG. FIG. 4 shows details of the frame 2 in FIG. The photographing screen is divided into 30 photometric division areas, 6 in the line direction and 5 in the line readout direction. The numbers described in the photometric division area in FIG. 4 indicate the difference between the photometric value of the current frame and the photometric value of the previous frame in the photometric division area. In the top line, the difference between the photometric values of the six photometric division areas is 0.2, 0.4, -0.2, -0.3, 0.1, and 0.3 respectively. The difference between the maximum value and the minimum value is calculated as 0.7. By the same method, the differences are calculated as 0.7, 0.5, 0.4, and 0.4 for the second to fifth lines, respectively. And the difference 0.7, 0.7, 0.5, 0.4, 0.4 is a positive value and is within a threshold value (for example, 1.0), so for all the lines of this frame, The result of step S11 is YES.

ステップＳ１１でＮＯの場合には、ＣＰＵ１０は、他者によるフラッシュ発光が行われていないと判定し（ステップＳ１７）、再度ステップＳ１０を行う。   In the case of NO in step S11, the CPU 10 determines that flash emission by another person is not performed (step S17), and performs step S10 again.

ステップＳ１１でＹＥＳの場合は、ＣＰＵ１０は、各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側又は下側に連続して存在するかどうかを判断する（ステップＳ１２）。図４に示す１番上のラインにおいて、６個の測光分割エリアの測光値の差分はそれぞれ０．２、０．４、−０．２、−０．３、０．１、０．３であるため、その平均値は０．０８と算出される。同様の方法により、２番目〜５番目のラインについて、平均値がそれぞれ０．０８、２．０、２．３、２．３と算出される。そして、３番目〜５番目のラインの平均値２．０、２．３、２．３は、閾値（例えば２．０ＥＶ）以上であり、かつ３番目〜５番目のラインは画面の下側であり、かつ連続しているため、３番目〜５番目のラインについては、ステップＳ１２の結果はＹＥＳと判断される。   In the case of YES in step S11, the CPU 10 indicates that the average value of the difference between the photometric value of the current frame in each photometric division area and the photometric value of the previous frame has increased by a predetermined threshold or more, and the line is on the upper side of the screen. Or it is judged whether it exists continuously below (step S12). In the uppermost line shown in FIG. 4, the difference between the photometric values of the six photometric division areas is 0.2, 0.4, −0.2, −0.3, 0.1, and 0.3, respectively. Therefore, the average value is calculated as 0.08. By the same method, the average values are calculated as 0.08, 2.0, 2.3, and 2.3 for the second to fifth lines, respectively. The average values 2.0, 2.3, and 2.3 of the third to fifth lines are equal to or greater than a threshold (for example, 2.0 EV), and the third to fifth lines are on the lower side of the screen. Since it exists and is continuous, the result of step S12 is determined as YES for the third to fifth lines.

ステップＳ１２でＮＯの場合は、ＣＰＵ１０は、他者によるフラッシュ発光が行われていないと判定し（ステップＳ１７）、再度ステップＳ１０を行う。   In the case of NO in step S12, the CPU 10 determines that flash emission by another person is not performed (step S17), and performs step S10 again.

ステップＳ１２でＹＥＳの場合は、ＣＰＵ１０は、ＡＥ／ＷＢ検出回路４２に指示を出し、ＡＥ／ＷＢ検出回路４２は、各測光分割エリア毎の測光値であって、ステップＳ１０で取得したフレームの次のフレームの測光値を１フレーム分取得する（ステップＳ１３）。以下、図２（ｂ）におけるフレーム３の画像信号を取得したとして説明する。   If YES in step S12, the CPU 10 issues an instruction to the AE / WB detection circuit 42. The AE / WB detection circuit 42 is a photometric value for each photometric division area, and is the next of the frame acquired in step S10. The photometric values of one frame are acquired for one frame (step S13). In the following description, it is assumed that the image signal of frame 3 in FIG.

ＣＰＵ１０は、ステップＳ１３で取得したフレームに対し、ＡＥ／ＷＢ検出回路４２が算出した各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分を算出し、ライン方向の測光分割エリアの差分の最大値と最小値との差が増加しており、かつその増加分が閾値以内であるかどうかを判断する（ステップＳ１４）。ステップＳ１５について図５を用いて説明する。図５は、図２（ｃ）におけるフレーム３の詳細を示すものである。１番上のラインにおいて、６個の測光分割エリアの測光値の差分はそれぞれ１．７、１．８、２．０、２．１、２．２、２．１であるため、その最大値と最小値との差は０．５と算出される。同様の方法により、２番目〜５番目のラインについて、差がそれぞれ０．４、０．７、０．７、０．７と算出される。そして、その差０．５、０．４、０．７、０．７、０．７は正の値であり、閾値（例えば１．０）以内であるため、このフレームの全てのラインについては、ステップＳ１４の結果はＹＥＳと判断される。   The CPU 10 calculates the difference between the photometric value of the current frame in each photometric division area calculated by the AE / WB detection circuit 42 and the photometric value of the previous frame for the frame acquired in step S13, and the photometric division in the line direction. It is determined whether or not the difference between the maximum value and the minimum value of the area difference is increased and the increase is within a threshold (step S14). Step S15 will be described with reference to FIG. FIG. 5 shows details of the frame 3 in FIG. In the top line, the difference between the photometric values of the six photometric division areas is 1.7, 1.8, 2.0, 2.1, 2.2, and 2.1, respectively. And the minimum value is calculated as 0.5. By the same method, the differences are calculated as 0.4, 0.7, 0.7, and 0.7 for the second to fifth lines, respectively. And the differences 0.5, 0.4, 0.7, 0.7, 0.7 are positive values and are within a threshold value (for example, 1.0), so all the lines in this frame are The result of step S14 is determined as YES.

ステップＳ１４でＮＯの場合は、ＣＰＵ１０は他者によるフラッシュ発光が行われていないと判定し（ステップＳ１７）、再度ステップＳ１０を行う。   In the case of NO in step S14, the CPU 10 determines that flash emission by another person is not performed (step S17), and performs step S10 again.

ステップＳ１４でＹＥＳの場合は、ＣＰＵ１０は、ステップＳ１２においてＹＥＳと判断されたラインについてＡＥ／ＷＢ検出回路４２が算出した各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が、その他のラインの平均値と比較して所定の閾値以上減少しているかどうかを判断する（ステップＳ１５）。図５において、１番上のラインにおいて、６個の測光分割エリアの測光値の差分はそれぞれ１．７、１．８、２．０、２．１、２．２、２．１であるため、その平均値は２．０と算出される。同様の方法により、２番目〜５番目のラインについて、平均値がそれぞれ２．３、０．１、０．２、０．１と算出される。ステップＳ１２でＹＥＳと判断された３番目〜５番目のラインの平均値０．１、０．２、０．１の平均値０．１３は、ステップＳ１２でＹＥＳと判断されていない１番目、２番目のラインの平均値２．０、２．３の平均値１．１５より所定の閾値（例えば２．０ＥＶ）以上減少している。したがって、ステップＳ１５の結果はＹＥＳとなる。   In the case of YES in step S14, the CPU 10 calculates the difference between the photometric value of the current frame and the photometric value of the previous frame calculated by the AE / WB detection circuit 42 for the line determined as YES in step S12. It is determined whether or not the average value of is reduced by a predetermined threshold or more compared with the average value of the other lines (step S15). In FIG. 5, in the top line, the photometric value differences of the six photometric division areas are 1.7, 1.8, 2.0, 2.1, 2.2, and 2.1, respectively. The average value is calculated as 2.0. By the same method, the average values are calculated as 2.3, 0.1, 0.2, and 0.1 for the second to fifth lines, respectively. The average value 0.13 of the third to fifth lines determined as YES in step S12 is the first and second average values 0.13 of 0.1, 0.2, 0.1 not determined as YES in step S12. The average value of the second line is 2.0 or less, which is smaller than the average value 1.15 of 2.3 by a predetermined threshold (for example, 2.0 EV). Therefore, the result of step S15 is YES.

ステップＳ１５でＹＥＳの場合は、ＣＰＵ１０は他者によるフラッシュ発光が行われていると判定し（ステップＳ１６）、処理を終了する。ステップＳ１５でＮＯの場合は、ＣＰＵ１０は他者によるフラッシュ発光が行われていないと判定し（ステップＳ１７）、再度ステップＳ１０を行う。   In the case of YES in step S15, the CPU 10 determines that flash light emission by another person is being performed (step S16) and ends the process. In the case of NO at step S15, the CPU 10 determines that flash emission by another person is not performed (step S17), and performs step S10 again.

これにより、特別な装置を設けることなく、既存のハードウエアにソフト演算を追加する事で、他者のカメラによってフラッシュ発光が行われたか否かを検出する事が可能となる。   Thus, it is possible to detect whether or not flash emission is performed by another person's camera by adding a software operation to the existing hardware without providing a special device.

（２）露光時間が短い場合について
図６は、露光時間が短い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものであり、図６（ａ）は、露光時間及び読み出しタイミングと、他者のフラッシュが発光されたタイミングとの関係を示す図であり、図６（ｂ）は図６（ａ）に示すタイミングで読み出しが行われたときに取得される画像を示す図であり、図６（ｃ）は図６（ｂ）に示すフレームの露出値を示す図である。 (2) Case where the exposure time is short FIG. 6 shows an example in which the other person's flash is emitted during shooting a through image or a moving image when the exposure time is short. FIG. 6 is a diagram showing the relationship between the exposure time and readout timing and the timing at which the other person's flash is emitted. FIG. 6B is obtained when readout is performed at the timing shown in FIG. FIG. 6C shows the exposure value of the frame shown in FIG. 6B.

他者のフラッシュ光は全てのフォトセンサに同様に蓄積されるが、図６（ａ）に示すように、フレーム２の画像信号読み出し中に他者のフラッシュが発光された場合には、フレーム２としてまだ読み出していないラインについてはフレーム２として読み出される。その結果、図６（ｂ）に示すように、フレーム２のフラッシュが発光されたときに読み出されたラインよりも下側のライン２が露出オーバーとなる。しかしながら、フレーム２として既に読み出したラインについては、フレーム３の読み出し前にラインがリセットされるため、蓄積された光はフレーム３に反映されず、フレーム３については露出オーバーとならない。このように、露出時間が短い場合には、高輝度領域が１フレームにのみに現れる。   The other person's flash light is similarly accumulated in all the photosensors. However, as shown in FIG. 6A, when the other person's flash is emitted during reading of the image signal of frame 2, frame 2 As for a line that has not yet been read, it is read as frame 2. As a result, as shown in FIG. 6B, the line 2 below the line read when the flash of the frame 2 is emitted is overexposed. However, for the line that has already been read as frame 2, the line is reset before reading frame 3, so the accumulated light is not reflected in frame 3, and frame 3 is not overexposed. As described above, when the exposure time is short, the high luminance region appears only in one frame.

次に、露光時間が短い場合に、高輝度領域を検出する処理について説明する。図７は、高輝度領域を検出する処理の全体の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ１０によって行われる。   Next, processing for detecting a high luminance area when the exposure time is short will be described. FIG. 7 is a flowchart showing the overall flow of processing for detecting a high luminance region. The following processing is mainly performed by the CPU 10.

ＣＰＵ１０は、ＡＥ／ＷＢ検出回路４２に指示を出し、ＡＥ／ＷＢ検出回路４２は、１画面を複数の領域に分割して得られた各測光分割エリア毎の測光値を１フレーム分取得する（ステップＳ１０）。以下、図６（ｂ）におけるフレーム２の画像信号を取得したとして説明する。   The CPU 10 issues an instruction to the AE / WB detection circuit 42, and the AE / WB detection circuit 42 acquires a photometric value for each photometric division area obtained by dividing one screen into a plurality of areas for one frame ( Step S10). In the following description, it is assumed that the image signal of frame 2 in FIG.

ＣＰＵ１０は、各測光分割エリア毎に、現フレームの測光値と１フレーム前の測光値との差分を算出する。そして、ＣＰＵ１０は、ライン方向の測光分割エリアの差分の最大値と最小値との差が増加しており、かつその増加分が閾値以内であるかどうかを判断する（ステップＳ１１）。   The CPU 10 calculates the difference between the photometric value of the current frame and the photometric value of the previous frame for each photometric division area. Then, the CPU 10 determines whether or not the difference between the maximum value and the minimum value of the difference between the photometric division areas in the line direction is increased, and whether the increase is within a threshold value (step S11).

ステップＳ１１でＮＯの場合には、ＣＰＵ１０は他者によるフラッシュ発光が行われていないと判定し（ステップＳ１７）、再度ステップＳ１０を行う。   In the case of NO in step S11, the CPU 10 determines that flash emission by another person is not performed (step S17), and performs step S10 again.

ステップＳ１１でＹＥＳの場合は、ＣＰＵ１０は、各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつ差分の平均値が所定の閾値以上増加しているラインがライン読み出し方向に沿って連続して存在するか否か、すなわち高輝度領域が画面の上部、中央部又は下部に帯状に存在するか否かを判断する（ステップＳ１８）。図６（ｂ）のフレーム２においては、図６（ｃ）に示すように画面の下部に高輝度領域が存在する。   In the case of YES in step S11, the CPU 10 indicates that the average value of the difference between the photometric value of the current frame in each photometric division area and the photometric value of the previous frame has increased by a predetermined threshold or more, and the average value of the difference is It is determined whether or not lines increasing by a predetermined threshold or more are continuously present along the line reading direction, that is, whether or not the high luminance area is present in a strip shape in the upper, middle or lower part of the screen ( Step S18). In the frame 2 in FIG. 6B, a high brightness area exists at the bottom of the screen as shown in FIG. 6C.

なお、ステップＳ１８では、高輝度領域が画面の上部、中央部又は下部に帯状に存在するか否かを判断するが、これは図８に示すように、他者によるフラッシュ発光が行われたタイミングによって画面内のどこに帯状の高輝度領域が現れるかが異なるためである。   In step S18, it is determined whether or not the high brightness area exists in a strip shape at the top, center, or bottom of the screen. This is the timing at which flash emission by another person is performed as shown in FIG. This is because where the band-like high-intensity region appears in the screen varies depending on the type of screen.

ステップＳ１８でＹＥＳの場合は、ＣＰＵ１０は他者によるフラッシュ発光が行われていると判定し（ステップＳ１６）、処理を終了する。ステップＳ１８でＮＯの場合は、ＣＰＵ１０は他者によるフラッシュ発光が行われていないと判定し（ステップＳ１７）、再度ステップＳ１０を行う。   In the case of YES at step S18, the CPU 10 determines that flash emission by another person is being performed (step S16) and ends the process. In the case of NO in step S18, the CPU 10 determines that flash emission by another person is not performed (step S17), and performs step S10 again.

これにより、特別な装置を設けることなく、既存のハードウエアにソフト演算を追加する事で、他者のカメラによってフラッシュ発光が行われたか否かを検出する事が可能となる。   Thus, it is possible to detect whether or not flash emission is performed by another person's camera by adding a software operation to the existing hardware without providing a special device.

なお、図３、図７に示すフローにおいて、ライン方向の測光分割エリアの差分の最大値と最小値との差が増加しており、かつその増加分が閾値以内であるかどうかを判断するステップ（ステップＳ１１）は、他者のフラッシュ発光による光がＣＭＯＳセンサ２６全体に入射することにより、ライン方向の測光分割エリアの差分のばらつきが小さいと考えられるために補助的に行うステップであり、必須ではない。   In the flow shown in FIGS. 3 and 7, the step of determining whether or not the difference between the maximum value and the minimum value of the difference in the photometric division area in the line direction is increased and whether the increase is within the threshold value. (Step S11) is an auxiliary step because it is considered that the variation in the difference between the photometric division areas in the line direction is small when the light emitted by the other person's flash light is incident on the entire CMOS sensor 26, and is essential. is not.

すなわち、図３に示すフローにおいては、ステップＳ１０で取得した測光値に対して、測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側又は下側に連続して存在するかどうかを判断するステップ（ステップＳ１２）でＹＥＳと判断されたら、次のフレームの測光値を取得するステップ（ステップＳ１３）に進むようにしてもよい。また、図７に示すフローについては、ステップＳ１０で取得した測光値に対して、測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側又は下側に連続して存在するかどうかを判断するステップ（ステップＳ１２）でＹＥＳと判断されたら、高輝度領域が画面の上部、中央部又は下部に帯状に存在するか否かを判断するステップ（ステップＳ１８）に進むようにしてもよい。   That is, in the flow shown in FIG. 3, the average value of the difference between the photometric value of the current frame and the photometric value of the previous frame in the photometric division area is increased by a predetermined threshold or more with respect to the photometric value acquired in step S10. If it is determined YES in the step (step S12) for determining whether the line is continuously present on the upper side or the lower side of the screen (step S12), the photometric value for the next frame is acquired (step S13). You may make it go. For the flow shown in FIG. 7, the average value of the difference between the photometric value of the current frame in the photometric division area and the photometric value of the previous frame is increased by a predetermined threshold or more with respect to the photometric value acquired in step S10. And when it is determined YES in the step of determining whether the line is continuously present on the upper side or the lower side of the screen (step S12), the high luminance area is strip-shaped at the upper part, the central part, or the lower part of the screen. You may make it progress to the step (step S18) which judges whether it exists.

また、露出時間が長い場合に高輝度領域を検出する方法は、（１）に記載した方法に限定されず、例えば、入力された水平ラインごとの輝度成分の積算値（垂直走査方向に関する輝度変化情報）に基づき、他者のカメラ等からのフラッシュ発光を検出する方法も考えられる。   In addition, the method for detecting the high luminance region when the exposure time is long is not limited to the method described in (1). For example, the integrated value of luminance components for each input horizontal line (the luminance change in the vertical scanning direction) Based on (information), a method of detecting flash emission from another camera or the like is also conceivable.

ＣＰＵ１０は、まず、所定のフレームの画像信号において、各ライン毎に輝度成分の積算値を算出し、ライン読み出し方向に関して、積算値が所定の値Ｉ１より低い状態（低輝度状態）から所定の値Ｉ２（ただし、Ｉ２＞Ｉ１）より高い状態（高輝度状態）へ遷移したか否かを判定し、低輝度状態から高輝度状態への遷移を検出した場合には、遷移を検出したラインの位置Ｐ１を記憶する。次いで、次のフレームについて、各ライン毎に輝度成分の積算値を取得し、ライン読み出し方向に関して、積算値が高輝度状態から低輝度状態へ遷移したか否かを判定し、高輝度状態から低輝度状態への遷移を検出した場合には、遷移を検出した水平ラインの位置Ｐ２を記憶する。そして、検出された遷移位置Ｐ１，Ｐ２がほぼ等しい場合（例えば、前後１水平ライン以内の場合）には、上記の高輝度状態は他者のフラッシュ発光によるものであると判定する。この方法を用いても、ＣＰＵ１０は、連続する２つのフレームにまたがってほぼ１フレーム分の高輝度期間が存在するか否かを判定し、この高輝度期間を他者のフラッシュ発光として検出することができる。   First, the CPU 10 calculates the integrated value of the luminance component for each line in the image signal of the predetermined frame, and in the line reading direction, the integrated value is lower than the predetermined value I1 (low luminance state) to the predetermined value. When it is determined whether or not a transition is made to a state higher than I2 (where I2> I1) (high luminance state) and a transition from the low luminance state to the high luminance state is detected, the position of the line where the transition is detected P1 is stored. Next, for the next frame, an integrated value of the luminance component is acquired for each line, and it is determined whether the integrated value has transitioned from the high luminance state to the low luminance state with respect to the line readout direction. When the transition to the luminance state is detected, the position P2 of the horizontal line where the transition is detected is stored. If the detected transition positions P1 and P2 are substantially equal (for example, within one horizontal line before and after), it is determined that the high luminance state is due to the flash emission of the other person. Even if this method is used, the CPU 10 determines whether or not there is a high-luminance period of approximately one frame across two consecutive frames, and detects this high-luminance period as the flash emission of the other person. Can do.

また、図３、図７に示すフローにおいて、現フレームの測光値と１フレーム前の測光値との差分を算出し、差分を用いてステップＳ１１、Ｓ１２、Ｓ１４、Ｓ１５、Ｓ１８等の処理を行ったが、差分を算出することは必須ではなく、各フレームの測光値をそのまま用いて上記各処理を行うことも可能である。ただし、差分を用いることでより正確な処理を行うことができるという効果がある。   Also, in the flow shown in FIGS. 3 and 7, the difference between the photometric value of the current frame and the photometric value of the previous frame is calculated, and the processes such as steps S11, S12, S14, S15, and S18 are performed using the difference. However, it is not essential to calculate the difference, and it is possible to perform each of the above processes using the photometric value of each frame as it is. However, there is an effect that more accurate processing can be performed by using the difference.

また、図３、図７に示すフローにおいて、ステップＳ１１、Ｓ１４の処理は必須ではなく、ステップＳ１０の次にステップＳ１２を行うようにしたり、ステップＳ１３の次にステップＳ１５の処理を行うようにしたり、ステップＳ１０の次にステップＳ１７の処理を行うようにしてもよい。ただし、ステップＳ１１、Ｓ１４の処理を行うことにより、他者フラッシュ発光によらずに測光値が高くなる場合、例えば、高輝度の点があることによりライン方向の測光分割エリア全体の測光値が高くなる場合、を確実に除外することができるという効果がある。   Also, in the flows shown in FIGS. 3 and 7, the processing of steps S11 and S14 is not essential, and step S12 is performed after step S10, or the processing of step S15 is performed after step S13. Step S10 may be followed by step S17. However, when the photometric value becomes high by performing the processing of steps S11 and S14 regardless of the flash emission of the other person, for example, the photometric value of the entire photometric division area in the line direction is high due to the presence of a high luminance point. In this case, there is an effect that can be surely excluded.

また、図３、図７に示すフローにおいて、分割測光エリアの測光値のライン方向の平均値に基づいて他者によるフラッシュ発光の有無を検出したが、分割測光エリアの測光値の平均値に限らず、分割測光エリアの測光値の中心値などの各種代表値を用いてもよいし、分割測光エリアの測光値の総和や積算値等を用いてもよい。   Further, in the flow shown in FIGS. 3 and 7, the presence or absence of flash emission by another person is detected based on the average value in the line direction of the photometric value in the divided photometric area, but is limited to the average value of the photometric value in the divided photometric area. Instead, various representative values such as the center value of the photometric values in the divided photometric area may be used, or the total sum or the integrated value of the photometric values in the divided photometric area may be used.

また、図３、図７に示すフローにおいて、分割測光エリアの測光値に基づいて他者によるフラッシュ発光の有無を検出したが、分割測光エリアの測光値に限らず、ライン方向の輝度、すなわち１又は複数のラインの輝度の平均値、中心値などの各種代表値や、１又は複数のラインの輝度の総和、積算値等を用いてもよい。   Further, in the flow shown in FIG. 3 and FIG. 7, the presence or absence of flash emission by another person is detected based on the photometric value of the divided photometric area. Alternatively, various representative values such as an average value and a center value of the luminance of a plurality of lines, a sum of luminances of one or a plurality of lines, an integrated value, and the like may be used.

＜他者のフラッシュ発光による露出オーバーをなくす処理について＞
図９は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものである。 <Processing to eliminate overexposure caused by flash emission by others>
FIG. 9 shows an example of a case where the flash of another person is emitted during shooting a through image or a moving image when the exposure time is long.

図９に示す例においては、フレームＢの読み出しの最中に他者によるフラッシュ発光があった場合であり、フレームＢ、Ｃにわたって高輝度領域が検出される。しかしながら、フレームＢ、Ｃは画面の一部のみが高輝度領域であるため、画面の一部が白とびするなどの不自然なスルー画や動画となってしまう。   In the example shown in FIG. 9, there is a case where flash emission by another person occurs during the reading of the frame B, and a high luminance region is detected over the frames B and C. However, since only a part of the screen of the frames B and C is a high-luminance region, an unnatural through image or moving image in which a part of the screen is overexposed is generated.

そのため、本実施の形態では、高輝度領域が検出されたフレームを使用せず高輝度領域が検出されたフレームの前のフレーム（この場合には、フレームＡ）の画像を表示や記録に用いる。   For this reason, in this embodiment, an image of a frame (in this case, frame A) before the frame in which the high luminance area is detected is used for display and recording without using the frame in which the high luminance area is detected.

図１０は、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームをその前のフレームの画像に置き換えて表示／記録を行う処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ１０によって行われる。   FIG. 10 shows a flow of processing for displaying / recording by replacing a frame in which a high brightness area is detected with an image of the previous frame when another person's flash is emitted during shooting a through image or a moving image. It is a flowchart. This process is mainly performed by the CPU 10.

ＣＰＵ１０は、ＡＥ／ＷＢ検出回路４２から１画面を複数の領域に分割して得られた各測光分割エリア毎の測光値を１フレーム分取得する。それと共に、ＣＰＵ１０は、画像信号処理回路３４の指示を出し、画像信号処理回路３４は、ステップＳ２０で取得したフレームの画像信号の演算処理を行って画像データを生成（演算処理）し、ＶＲＡＭ１８に保存する（ステップＳ２０）。   The CPU 10 obtains one frame of photometric values for each photometric division area obtained by dividing one screen into a plurality of areas from the AE / WB detection circuit 42. At the same time, the CPU 10 issues an instruction to the image signal processing circuit 34, and the image signal processing circuit 34 performs calculation processing on the image signal of the frame acquired in step S <b> 20 to generate image data (calculation processing), and stores it in the VRAM 18. Save (step S20).

図３又は図７に示すフローに基づいて、ステップＳ２０で取得したフレームに高輝度領域が含まれると判定されたか否かを判断する（ステップＳ２１）。   Based on the flow shown in FIG. 3 or FIG. 7, it is determined whether or not it is determined that the frame acquired in step S20 includes a high-luminance region (step S21).

高輝度領域が含まれると判定された場合（ステップＳ２１でＹＥＳ）には、ステップＳ２０で取得したフレームの画像データの変わりに、ステップＳ２０で取得したフレームの前に取得され、ＶＲＡＭ１８に保存されている画像データであって、高輝度領域が含まれないフレームの画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換し、画像データをＬＣＤ４０に出力する（ステップＳ２２）。   If it is determined that a high-luminance area is included (YES in step S21), instead of the image data of the frame acquired in step S20, it is acquired before the frame acquired in step S20 and stored in the VRAM 18. Output to the LCD driver 38, and the LCD driver 38 converts the image data into a display signal format (for example, NTSC color composite video signal). Then, the image data is output to the LCD 40 (step S22).

高輝度領域が含まれないと判断された場合（ステップＳ２１でＮＯ）には、ステップＳ２０で生成された画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換し、ＬＣＤ４０に出力する（ステップＳ２３）。   If it is determined that the high brightness area is not included (NO in step S21), the image data generated in step S20 is output to the LCD driver 38, and the LCD driver 38 displays the image data in a signal format for display ( For example, it is converted into an NTSC color composite video signal) and output to the LCD 40 (step S23).

ステップＳ２１〜Ｓ２３について図９を用いて具体的に説明する。図９は横軸に時間を示し、縦方向の位置が同じ場合は同じ時間を示す。図９は露光時間が長い場合であるため、ステップＳ２１においては、図３のフローに基づいて高輝度領域が含まれると判定されたか否かを判断する。   Steps S21 to S23 will be specifically described with reference to FIG. FIG. 9 shows time on the horizontal axis, and shows the same time when the vertical position is the same. Since FIG. 9 shows a case where the exposure time is long, in step S21, it is determined whether or not it is determined that the high luminance area is included based on the flow of FIG.

フレームＡについてステップＳ２１の判断が行われている時に、ステップＳ２０におけるフレームＢの測光値の取得及び演算処理が行われる。   When the determination in step S21 is made for frame A, the photometric value acquisition and calculation processing for frame B in step S20 is performed.

次に、フレームＢについてステップＳ２１の判断が行われる。この段階では、高輝度領域があるフレームが２フレーム連続していないため、フレームＢについての判断は保留される。この時、フレームＡの表示画像データの生成処理が同時に行われている。   Next, the determination in step S21 is performed for frame B. At this stage, since there are not two consecutive frames with a high luminance area, the determination for frame B is suspended. At this time, display image data generation processing for frame A is performed simultaneously.

それと同時に、フレームＣの測光値の取得及び演算処理（ステップＳ２０）が行われ、次の段階で、フレームＤの測光値の取得及び演算処理（ステップＳ２０）と同時に、フレームＣについてステップＳ２１の判断が行われる。この段階では、フレームＢ、Ｃの２フレームの測光値に基づき、フレームＢ、Ｃには他者によるフラッシュ発光による高輝度領域が含まれていると判断される。この時、フレームＢの表示画像データの生成処理と、フレームＡについてのステップＳ２３のスルー画像表示が行われる。   At the same time, the photometric value acquisition and calculation process (step S20) for frame C is performed. At the next stage, the photometry value acquisition and calculation process for frame D (step S20) is performed, and the determination of step S21 is performed for frame C. Is done. At this stage, based on the photometric values of the two frames B and C, it is determined that the frames B and C include a high luminance area due to flash emission by another person. At this time, display image data generation processing for frame B and through image display in step S23 for frame A are performed.

次に、フレームＥの測光値の取得及び演算処理、フレームＤについてのステップＳ２１の判断、フレームＣの表示画像データの生成処理、及びフレームＢについてのステップＳ２２のスルー画像表示が行われる。１つ前の段階でフレームＢ、Ｃには他者によるフラッシュ発光による高輝度領域が含まれていると判断されたため、フレームＢの画像データは用いず、フレームＢの代わりにフレームＡの画像データをＬＣＤ４０に表示する。   Next, the photometric value acquisition and calculation process for frame E, the determination in step S21 for frame D, the display image data generation process for frame C, and the through image display in step S22 for frame B are performed. In the previous stage, it was determined that frames B and C contain a high-luminance area by flash emission by another person, so the image data of frame A is used instead of frame B without using the image data of frame B. Is displayed on the LCD 40.

その次に、フレームＦの測光値の取得及び演算処理、フレームＥについてのステップＳ２１の判断、フレームＤの表示画像データの生成処理、及びフレームＣについてのステップＳ２２のスルー画像表示が行われる。２つ前の段階でフレームＢ、Ｃには他者によるフラッシュ発光による高輝度領域が含まれていると判断されたため、フレームＣの画像データは用いず、フレームＣの代わりにフレームＡの画像データをＬＣＤ４０に表示する。   Next, photometric value acquisition and calculation processing for frame F, determination in step S21 for frame E, display image data generation processing for frame D, and through image display in step S22 for frame C are performed. Since it is determined that frames B and C contain a high-luminance area by flash emission by others in the previous two stages, the image data of frame A is used instead of frame C without using the image data of frame C. Is displayed on the LCD 40.

ＣＰＵ１０は、スルー画像の撮影終了の指示が操作部１２から入力されたどうかを判断する（ステップＳ２４）。スルー画像の撮影が終了した場合（ステップＳ２４でＹＥＳ）には処理を終了し、スルー画像の撮影が終了していない場合（ステップＳ２４でＮＯ）にはステップＳ２０へ戻り、次のフレームの取得を行う。   The CPU 10 determines whether or not an instruction to end photographing of a through image is input from the operation unit 12 (step S24). If shooting of the through image has been completed (YES in step S24), the process is terminated. If shooting of the through image has not been completed (NO in step S24), the process returns to step S20 to acquire the next frame. Do.

なお、図１０はスルー画像の撮影を例に説明したが、表示画像データの生成を記録用の画像データに、スルー画像の表示を記録に変更することで、動画記録についても同様に処理することができる。また、露出時間が長い場合に限らず、露出時間が短い場合についてもステップＳ２１の処理として図７に示すフローを用いることにより、同様に処理することができる。   Note that FIG. 10 illustrates an example of shooting a through image, but the same processing is performed for moving image recording by changing display image data generation to recording image data and through image display to recording. Can do. Further, not only when the exposure time is long, but also when the exposure time is short, the same processing can be performed by using the flow shown in FIG. 7 as the processing of step S21.

このように、他者がフラッシュを発光したことが検出された場合には、検出があったフレームはＬＣＤ４０への表示、動画記録に用いないようにし、その代わりにその前に取得され、高輝度領域を含まない画像を表示、記録する、すなわち高輝度領域の検出があったフレームの画像を高輝度領域を含まない画像に置き換えることで、画面の一部白とびなどの不自然なスルー画像の表示、動画記録をなくすことができる。したがって、スルー画や動画の画質を向上させ、トータル的に見栄を改善することができる。   In this way, when it is detected that the other person has emitted the flash, the detected frame is not used for display on the LCD 40 or recording of a moving image, but instead is acquired before that and the high luminance is obtained. Display and record an image that does not include an area, that is, replace an image of a frame in which a high-luminance area has been detected with an image that does not include a high-luminance area. Display and video recording can be eliminated. Therefore, it is possible to improve the image quality of the through image and the moving image and improve the appearance in total.

なお、図９、１０において、高輝度領域の検出があったフレームの画像を、高輝度領域が含まれるフレーム（現フレーム）の前に取得され、高輝度領域を含まないフレームの画像に置き換えたが、動画記録の場合であって、撮影と記録との間に時間差がある場合には、現フレームの前に取得されたフレームの画像に限らず、現フレームの後に取得されたフレームの画像を置き換えに用いるようにしてもよい。   In FIGS. 9 and 10, the image of the frame in which the high luminance area is detected is replaced with the image of the frame that is acquired before the frame including the high luminance area (current frame) and does not include the high luminance area. However, in the case of moving image recording, if there is a time difference between shooting and recording, the image of the frame acquired after the current frame is not limited to the image of the frame acquired before the current frame. It may be used for replacement.

＜他者のフラッシュ発光があったかのようなフレームを残す処理について＞
図１０に示す処理により、フレームＢ、Ｃの画像をフレームＡに置き換えることにより、画面の一部白とびなどの不自然なスルー画像表示、動画記録をなくす。しかしながら、他者によりフラッシュが発光されたことが分からなくなってしまう。すなわち、撮影時の状況を反映しないスルー画像、動画となってしまう。 <About the process of leaving a frame as if there was a flash emission from another person>
By replacing the images of the frames B and C with the frame A by the processing shown in FIG. 10, unnatural through image display and moving image recording such as part of the screen are skipped. However, it is impossible to know that the flash has been emitted by another person. That is, a through image and a moving image that do not reflect the situation at the time of shooting are obtained.

そのため、他者によるフラッシュの発光があったかのようなフレームを擬似的に残すことにより、撮影時の雰囲気を反映する。以下、他者によるフラッシュの発光があったかのようなフレームを擬似的に残す方法について説明する。   Therefore, the atmosphere at the time of photographing is reflected by leaving a frame as if the flash was emitted by another person. Hereinafter, a method of leaving a frame in a pseudo manner as if there was flash emission by another person will be described.

（１）ＡＥの目標値を一定量上げて撮影する形態について
図１１は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、次のフレームのＡＥの目標値を一定量上げて撮影することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。フレームＢ、Ｃの画像に高輝度領域が含まれると判断されると、フレームＣの判定後に露光が行われるフレーム、すなわちフレームＦのＡＥの目標値を一定量上げて撮影することで、フレームＦの画面全体を高輝度とする。 (1) Mode for Shooting by Raising Target Value of AE by Fixed Amount FIG. 11 shows the AE of the next frame when another person's flash is emitted during through image or movie shooting when the exposure time is long. This is an example of a case in which a frame as if there was flash emission by another person is left in a pseudo manner by shooting with a certain amount of target value increased. When it is determined that the high-luminance area is included in the images of the frames B and C, the frame F is shot by increasing the AE target value of the frame to be exposed after the determination of the frame C, that is, the frame F, by a certain amount. The entire screen is made bright.

図１２は、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示／記録し、かつＡＥの目標値を一定量上げることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示／記録を行う処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ１０によって行われる。図１２において、図１０と同様の部分については、同一の符号を付し、説明を省略する。   FIG. 12 shows the display / recording of the image data of the previous frame instead of the image data of the frame in which the high brightness area is detected when the flash of another person is emitted during the shooting of the through image or the moving image, and It is a flowchart which shows the flow of a process which performs display / recording, leaving a frame like a flash emission by others by raising the AE target value by a certain amount. This process is mainly performed by the CPU 10. 12, parts similar to those in FIG. 10 are denoted by the same reference numerals and description thereof is omitted.

ＣＰＵ１０は、１フレーム分の画像信号を読み出し、各測光分割エリア毎の測光値を取得すると共に、画像データを生成し、ＶＲＡＭ１８に保存する（ステップＳ２０）。図３又は図７に示すフローに基づいて、ステップＳ２０で取得したフレームに高輝度領域が含まれると判定されたか否かを判断する（ステップＳ２１）。   The CPU 10 reads an image signal for one frame, acquires a photometric value for each photometric division area, generates image data, and stores it in the VRAM 18 (step S20). Based on the flow shown in FIG. 3 or FIG. 7, it is determined whether or not it is determined that the frame acquired in step S20 includes a high-luminance region (step S21).

高輝度領域が含まれないと判断された場合（ステップＳ２１でＮＯ）には、ステップＳ２０で取得された画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式に変換し、ＬＣＤ４０に出力する（ステップＳ２３）。   If it is determined that the high brightness area is not included (NO in step S21), the image data acquired in step S20 is output to the LCD driver 38, and the LCD driver 38 converts the image data into a signal format for display. The data is converted and output to the LCD 40 (step S23).

高輝度領域が含まれると判定された場合（ステップＳ２１でＹＥＳ）には、ステップＳ２０で取得したフレームの前に取得され、ＶＲＡＭ１８に保存されている画像データであって、高輝度領域が含まれないフレームの画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式に変換し、ＬＣＤ４０に出力する（ステップＳ２２）。   If it is determined that the high luminance area is included (YES in step S21), the image data is acquired before the frame acquired in step S20 and stored in the VRAM 18, and the high luminance area is included. The image data of the non-frame is output to the LCD driver 38, and the LCD driver 38 converts the image data into a display signal format and outputs it to the LCD 40 (step S22).

そして、次に撮影するフレームのＡＥ目標値を、ステップＳ２１で他者によるフラッシュ発光の有無を判断するのみ用いた閾値（例えば、２ＥＶ）分高く設定して、次のフレームの撮影を行う（ステップＳ２５）。   Then, the AE target value of the next frame to be photographed is set higher by a threshold (for example, 2 EV) used only to determine the presence or absence of flash emission by another in step S21, and the next frame is photographed (step S21). S25).

ステップＳ２５について図１１を用いて具体的に説明する。図１１は横軸に時間を示し、横方向の位置が同じ場合は同じ時間を示す。   Step S25 will be specifically described with reference to FIG. FIG. 11 shows time on the horizontal axis, and shows the same time when the horizontal position is the same.

フレームＥの露光、フレームＤの測光値の取得及び演算処理（ステップＳ２０）と同時に、フレームＣについてステップＳ２１の判断が行われる。この段階では、フレームＢ、Ｃの２フレームの測光値に基づき、フレームＢ、Ｃには他者によるフラッシュ発光による高輝度領域が含まれていると判断される。   Simultaneously with the exposure of frame E, the photometric value acquisition and calculation processing of frame D (step S20), the determination of step S21 is performed for frame C. At this stage, based on the photometric values of the two frames B and C, it is determined that the frames B and C include a high luminance area due to flash emission by another person.

そのため、次に露光を行うフレーム、すなわちフレームＦについては、ＡＥ目標値をその他のフレーム（フレームＡ〜Ｅ）の値から所定の閾値（例えば、２ＥＶ）高い値の画像信号を取得する。これにより、フレームＦは画面全体が露出オーバーとなる。   Therefore, for the frame to be exposed next, that is, the frame F, an image signal having a value higher than the values of the other frames (frames A to E) by a predetermined threshold (for example, 2 EV) is acquired. As a result, the entire screen of the frame F is overexposed.

ＣＰＵ１０は、スルー画像の撮影終了の指示が操作部１２から入力されたどうかを判断する（ステップＳ２４）。スルー画像の撮影が終了した場合（ステップＳ２４でＹＥＳ）には処理を終了し、スルー画像の撮影が終了していない場合（ステップＳ２４でＮＯ）にはステップＳ２０へ戻り、次のフレームの取得を行う。   The CPU 10 determines whether or not an instruction to end photographing of a through image is input from the operation unit 12 (step S24). If shooting of the through image has been completed (YES in step S24), the process is terminated. If shooting of the through image has not been completed (NO in step S24), the process returns to step S20 to acquire the next frame. Do.

なお、図１２はスルー画像の撮影を例に説明したが、スルー画像の表示を記録に変更することで、動画記録についても同様に処理することができる。また、露出時間が長い場合に限らず、露出時間が短い場合についてもステップＳ２１の処理として図７に示すフローを用いることにより、同様に処理することができる。   Note that FIG. 12 has been described by taking the through image as an example, but moving image recording can be similarly processed by changing the display of the through image to recording. Further, not only when the exposure time is long, but also when the exposure time is short, the same processing can be performed by using the flow shown in FIG. 7 as the processing of step S21.

このように、他者がフラッシュを発光したことが検出された場合には、検出があったフレームはＬＣＤ４０への表示、動画記録に用いないようにし、かつその代わりにその前に取得され、高輝度領域を含まない画像を表示、記録する事で、画面の一部白とびなどの不自然なスルー画像の表示、動画記録がなくなる上、他者によるフラッシュの発光があったかのようなフレームを擬似的に残すことにより、撮影時の雰囲気を反映することができる。   As described above, when it is detected that the other person has emitted the flash, the detected frame is not used for display on the LCD 40 or recording the moving image, and is instead acquired before that. Displaying and recording an image that does not include a luminance area displays an unnatural through image such as a part of the screen that is overexposed, eliminates moving image recording, and simulates a frame that appears to have been flashed by another person. By leaving it in the same way, the atmosphere at the time of shooting can be reflected.

なお、ＡＥ目標値を所定の閾値だけ高い値の画像信号を取得する方法としては、露光後の画像信号に掛けるゲインを調整する、絞り等を調整して光量を増やすなどの様々な方法を用いることができる。   As a method for acquiring an image signal having a value higher than the AE target value by a predetermined threshold, various methods such as adjusting a gain to be applied to the image signal after exposure, adjusting a diaphragm or the like, and increasing a light amount are used. be able to.

（２）自己のフラッシュを用いてフラッシュ撮影した画像を用いる形態について
図１３は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、自己のフラッシュを用いてフラッシュ撮影した画像を用いることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。フレームＢ、Ｃの画像に高輝度領域が含まれると判断されると、フレームＣの判定後に露光が行われるフレーム、すなわちフレームＧで自己のフラッシュを発光させることで、フレームＧの画面全体を高輝度とする。 (2) Form using image captured by flash using own flash FIG. 13 shows a case in which the self-flash is emitted when the other person's flash is emitted during shooting a through image or moving image when the exposure time is long. An example of a case in which a frame as if flash emission by another person has been left in a pseudo manner by using an image taken using flash photography is shown. When it is determined that the high-luminance area is included in the images of the frames B and C, the entire screen of the frame G is increased by causing the flash to be emitted in the frame that is exposed after the determination of the frame C, that is, the frame G. Let it be luminance.

図１４は、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示／記録し、かつ自己のフラッシュを用いてフラッシュ撮影することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示／記録を行う処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ１０によって行われる。図１４において、図１０と同様の部分については、同一の符号を付し、説明を省略する。   FIG. 14 shows the display / recording of the image data of the previous frame instead of the image data of the frame in which the high brightness area is detected when the flash of another person is emitted during the shooting of the through image or the moving image. It is a flowchart which shows the flow of the process which performs display / recording, leaving a frame as if the flash emission by the other person was caused by flash photography using its own flash. This process is mainly performed by the CPU 10. 14, parts similar to those in FIG. 10 are denoted by the same reference numerals and description thereof is omitted.

ＣＰＵ１０は、１フレーム分の画像信号を読み出し、各測光分割エリア毎の測光値を取得する。また、ＣＰＵ１０は、画像信号処理回路３４の指示を出し、画像信号処理回路３４は、ステップＳ２０で取得したフレームの画像信号の演算処理を行って画像データを生成し、ＶＲＡＭ１８に保存する（ステップＳ２０）。図３又は図７に示すフローに基づいて、ステップＳ２０で取得したフレームに高輝度領域が含まれると判定されたか否かを判断する（ステップＳ２１）。   The CPU 10 reads an image signal for one frame and acquires a photometric value for each photometric division area. Further, the CPU 10 issues an instruction from the image signal processing circuit 34, and the image signal processing circuit 34 performs calculation processing of the image signal of the frame acquired in step S20 to generate image data, and stores it in the VRAM 18 (step S20). ). Based on the flow shown in FIG. 3 or FIG. 7, it is determined whether or not it is determined that the frame acquired in step S20 includes a high-luminance region (step S21).

高輝度領域が含まれないと判断された場合（ステップＳ２１でＮＯ）には、ステップＳ２０で生成された画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換し、ＬＣＤ４０に出力する（ステップＳ２３）。   If it is determined that the high brightness area is not included (NO in step S21), the image data generated in step S20 is output to the LCD driver 38, and the LCD driver 38 displays the image data in a signal format for display ( For example, it is converted into an NTSC color composite video signal) and output to the LCD 40 (step S23).

高輝度領域が含まれると判定された場合（ステップＳ２１でＹＥＳ）には、ステップＳ２０で取得したフレームの画像データを、その前に取得したフレームの画像データであって、高輝度領域が含まれないフレームの画像データに置き換え、置き換えられた画像データをＬＣＤドライバ３８で表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換し、ＬＣＤ４０に出力する（ステップＳ２２）。   If it is determined that the high-luminance area is included (YES in step S21), the image data of the frame acquired in step S20 is the image data of the frame acquired before that, and the high-luminance area is included. The image data is replaced with image data of a non-frame, and the replaced image data is converted into a display signal format (for example, an NTSC color composite video signal) by the LCD driver 38 and output to the LCD 40 (step S22).

そして、ＣＰＵ１０は、フラッシュ撮影の準備を行い、次のフレームのライン読み出し方向のリセットタイミングより後からフラッシュ発光を開始し、２つ後のライン読み出し方向の１ライン目の読み出しが終わるまでにフラッシュ発光を止めるように、フラッシュ発光部２０を制御して被写体にフラッシュを発光させる（ステップＳ２６）。   Then, the CPU 10 prepares for flash photography, starts flash emission after the reset timing in the line readout direction of the next frame, and flash emission until the readout of the first line in the second line readout direction is completed. The flash light emitting unit 20 is controlled so as to stop flashing, and the flash is emitted to the subject (step S26).

ステップＳ２６について図１３を用いて具体的に説明する。図１３は横軸に時間を示し、縦方向の位置が同じ場合は同じ時間を示す。   Step S26 will be specifically described with reference to FIG. In FIG. 13, time is shown on the horizontal axis, and the same time is shown when the positions in the vertical direction are the same.

フレームＥの露光、フレームＤの測光値の取得及び演算処理（ステップＳ２０）と同時に、フレームＣについてステップＳ２１の判断が行われる。この段階では、フレームＢ、Ｃの２フレームの測光値に基づき、フレームＢ、Ｃには他者によるフラッシュ発光による高輝度領域が含まれていると判断される。   Simultaneously with the exposure of frame E, the photometric value acquisition and calculation processing of frame D (step S20), the determination of step S21 is performed for frame C. At this stage, based on the photometric values of the two frames B and C, it is determined that the frames B and C include a high luminance area due to flash emission by another person.

そのため、次に露光を行うフレーム、すなわちフレームＦの最後に読み出しが行われるラインのリセットタイミングより後にフラッシュ発光部２０の発光を開始し、かつフレームＧの最初に読み出しが行われるラインの読み出しタイミングより前にフラッシュ発光部２０の発光を止めて、フレームＧの画像信号の読み出しを行う。   For this reason, the flash emission unit 20 starts to emit light after the reset timing of the next frame to be exposed, that is, the line to be read at the end of the frame F, and the read timing of the line to be read at the beginning of the frame G. Before the flash emission unit 20 is turned off, the frame G image signal is read out.

これにより、前後のフレーム（この場合には、フレームＦ、フレームＨ）に影響を与えることなく、フレームＧは画面全体が露出オーバーとなる。   As a result, the entire screen of frame G is overexposed without affecting the previous and subsequent frames (in this case, frame F and frame H).

ＣＰＵ１０は、スルー画像の撮影終了の指示が操作部１２から入力されたどうかを判断する（ステップＳ２４）。スルー画像の撮影が終了した場合（ステップＳ２４でＹＥＳ）には処理を終了し、スルー画像の撮影が終了していない場合（ステップＳ２４でＮＯ）にはステップＳ２０へ戻り、次のフレームの取得を行う。   The CPU 10 determines whether or not an instruction to end photographing of a through image is input from the operation unit 12 (step S24). If shooting of the through image has been completed (YES in step S24), the process is terminated. If shooting of the through image has not been completed (NO in step S24), the process returns to step S20 to acquire the next frame. Do.

なお、図１４はスルー画像の撮影を例に説明したが、スルー画像の表示を記録に変更することで、動画記録についても同様に処理することができる。また、露出時間が長い場合に限らず、露出時間が短い場合についてもステップＳ２１の処理として図７に示すフローを用いることにより、同様に処理することができる。   Note that FIG. 14 has been described by taking the through image as an example, but moving image recording can be similarly processed by changing the display of the through image to recording. Further, not only when the exposure time is long, but also when the exposure time is short, the same processing can be performed by using the flow shown in FIG. 7 as the processing of step S21.

このように、他者がフラッシュを発光したことが検出された場合には、検出があったフレームはＬＣＤ４０への表示、動画記録に用いないようにし、かつその代わりにその前に取得され、高輝度領域を含まない画像を表示、記録する事で、画面の一部白とびなどの不自然なスルー画像の表示、動画記録がなくなる上、他者によるフラッシュの発光があったかのようなフレームを擬似的に残すことにより、スルー画や動画に撮影時の雰囲気を反映することができる。   As described above, when it is detected that the other person has emitted the flash, the detected frame is not used for display on the LCD 40 or recording the moving image, and is instead acquired before that. Displaying and recording an image that does not include a luminance area displays an unnatural through image such as a part of the screen that is overexposed, eliminates moving image recording, and simulates a frame that appears to have been flashed by another person. By leaving it in the same way, the atmosphere at the time of shooting can be reflected in the through image and the moving image.

また、備え付けのフラッシュを用いることで、より他者からの飛び込みフラッシュに近い効果をもったフレームを擬似的に残すことができる。   In addition, by using a built-in flash, it is possible to leave a frame with an effect that is more similar to a jump-in flash from another person.

（３）２フレームにまたがって取得された高輝度領域を合成する形態について
図１５は、露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、他者のフラッシュが発光による高輝度領域を合成した生成した画像を使用することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。フレームＢ、Ｃの画像に高輝度領域が含まれると判断されると、フレームＣの次フレーム、すなわちフレームＤの画像の変わりにフレームＢ、Ｃの高輝度領域を合成した画像を使用する。 (3) Form for Combining High Brightness Areas Acquired Over Two Frames FIG. 15 shows a case in which the other person's flash is emitted during shooting a through image or moving image when the exposure time is long. An example of a case where a frame as if a flash emission from another person is left in a pseudo manner by using an image generated by synthesizing a high-intensity region due to the emission of a flash is shown. If it is determined that the high-brightness area is included in the images of frames B and C, an image obtained by combining the high-brightness areas of frames B and C is used instead of the next frame of frame C, that is, the image of frame D.

図１６は、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示／記録し、かつその後のフレームの画像データを２フレームにまたがって取得された高輝度領域を合成した画像に置き換えることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示／記録を行う処理の流れを示すフローチャートである。この処理は、主としてＣＰＵ１０によって行われる。図１６において、図１０と同様の部分については、同一の符号を付し、説明を省略する。   FIG. 16 shows the display / recording of the image data of the previous frame instead of the image data of the frame in which the high brightness area is detected when the other person's flash is emitted during the shooting of the through image or the moving image, and Processing for displaying / recording a frame as if there was a flash emission by another person by replacing the image data of the subsequent frame with an image obtained by synthesizing a high-luminance area acquired over two frames It is a flowchart which shows the flow. This process is mainly performed by the CPU 10. In FIG. 16, the same parts as those in FIG. 10 are denoted by the same reference numerals, and the description thereof is omitted.

ＣＰＵ１０は、１フレーム分の画像信号を読み出し、各測光分割エリア毎の測光値を取得し、画像信号処理回路３４の指示を出し、画像信号処理回路３４は画像信号の演算処理を行って画像データを生成し、ＶＲＡＭ１８に保存する（ステップＳ２０）、ステップＳ２０で取得したフレームのライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の下側に連続して存在するかどうかを判断する（ステップＳ２７）。   The CPU 10 reads an image signal for one frame, acquires a photometric value for each photometric division area, issues an instruction to the image signal processing circuit 34, and the image signal processing circuit 34 performs an image signal calculation process to obtain image data. Is stored in the VRAM 18 (step S20). The average value of the difference between the photometric value of the current frame and the photometric value of the previous frame in each photometric division area in the line direction of the frame acquired in step S20 is a predetermined threshold value. It is determined whether or not the number has increased and the line is continuously present on the lower side of the screen (step S27).

ライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の下側に連続して存在していないと判断された場合（ステップＳ２７でＮＯ）には、ステップＳ２０で取得された画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式に変換し、ＬＣＤ４０に出力し（ステップＳ２３）、スルー画像の撮影終了の指示が操作部１２から入力されたどうかを判断する（ステップＳ２４）。スルー画像の撮影が終了した場合（ステップＳ２４でＹＥＳ）には処理を終了し、スルー画像の撮影が終了していない場合（ステップＳ２４でＮＯ）にはステップＳ２０へ戻り、次のフレームの取得を行う。   The average value of the difference between the photometric value of the current frame and the photometric value of the previous frame in each photometric division area in the line direction has increased by a predetermined threshold or more, and the line is continuously present on the lower side of the screen. If it is determined that there is not (NO in step S27), the image data acquired in step S20 is output to the LCD driver 38, and the LCD driver 38 converts the image data into a display signal format and outputs it to the LCD 40. In step S23, it is determined whether or not an instruction to end photographing of the through image is input from the operation unit 12 (step S24). If shooting of the through image has been completed (YES in step S24), the process is terminated. If shooting of the through image has not been completed (NO in step S24), the process returns to step S20 to acquire the next frame. Do.

ライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の下側に連続して存在していると判断された場合（ステップＳ２７でＹＥＳ）には、ステップＳ２０で取得したフレームの前に取得され、ＶＲＡＭ１８に保存されている画像データであって、高輝度領域が含まれないフレームの画像データをＬＣＤドライバ３８に出力し、ＬＣＤドライバ３８は画像データを表示用の信号形式に変換してＬＣＤ４０に出力する（ステップＳ２８）。   The average value of the difference between the photometric value of the current frame and the photometric value of the previous frame in each photometric division area in the line direction has increased by a predetermined threshold or more, and the line is continuously present on the lower side of the screen. If it is determined (YES in step S27), the image data is acquired before the frame acquired in step S20 and stored in the VRAM 18, and does not include the high luminance area. Is output to the LCD driver 38, which converts the image data into a signal format for display and outputs it to the LCD 40 (step S28).

そして、ＣＰＵ１０は、その次のフレームの画像信号を１フレーム分読み出し、各測光分割エリア毎の測光値を取得し（ステップＳ２９）、ステップＳ２９で取得したフレームのライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側に連続して存在するかどうかを判別する。それと共に、この画面の上側に連続して存在すると判断された高輝度領域と、ステップＳ２７で画面の下側に連続して存在すると判断された高輝度領域の合計が約１フレーム分あるかどうかを判断する（ステップＳ３０）。それと同時に、ＣＰＵ１０は、画像信号処理回路３４の指示を出し、画像信号処理回路３４は、ステップＳ２０で取得したフレームの画像信号の演算処理を行って画像データを生成し、ＶＲＡＭ１８に保存する。   Then, the CPU 10 reads out the image signal of the next frame for one frame, acquires the photometric value for each photometric division area (step S29), and displays the current photometric division area in the line direction of the frame acquired in step S29. It is determined whether or not the average value of the difference between the photometric value of the frame and the photometric value of the previous frame has increased by a predetermined threshold value or more and the line is continuously present on the upper side of the screen. At the same time, whether or not the sum of the high-intensity area determined to be continuously present on the upper side of the screen and the high-intensity area determined to be continuously present on the lower side of the screen in step S27 is about one frame. Is determined (step S30). At the same time, the CPU 10 issues an instruction to the image signal processing circuit 34, and the image signal processing circuit 34 performs calculation processing of the image signal of the frame acquired in step S <b> 20 to generate image data, and stores it in the VRAM 18.

ライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の上側に連続して存在するかどうかを判別され、かつ、この画面の上側に連続して存在すると判断された高輝度領域と、ステップＳ２７で画面の下側に連続して存在すると判断された高輝度領域の合計が約１フレーム分あると判断された場合（ステップＳ３０でＹＥＳ）には、ステップＳ２７で画面の下側に連続して存在すると判断された高輝度領域と、ステップＳ３０で画面の上側に連続して存在すると判断された高輝度領域とを合成して、画面全体が高輝度の画像データを生成する。そして、ステップＳ２９で取得されたフレームの次のフレームの画像データを、合成により生成された画面全体が高輝度の画像データに置き換え、置き換えられた画像データをＬＣＤドライバ３８で表示用の信号形式に変換してＬＣＤ４０に出力する（ステップＳ３１）。   Whether the average value of the difference between the photometric value of the current frame and the photometric value of the previous frame in each photometric division area in the line direction has increased by a predetermined threshold or more, and the line is continuously present on the upper side of the screen And the total of the high-intensity region determined to be continuously present on the upper side of the screen and the high-intensity region determined to be continuously present on the lower side of the screen in step S27 is about one frame. If it is determined (YES in step S30), it is determined in step S27 that the high-intensity area determined to be continuously present on the lower side of the screen and the upper side of the screen are continuously present in step S30. The high-brightness area is combined to generate image data with high brightness on the entire screen. Then, the image data of the next frame after the frame acquired in step S29 is replaced with high luminance image data generated on the entire screen, and the replaced image data is converted into a signal format for display by the LCD driver 38. It converts and outputs to LCD40 (step S31).

ステップＳ２７〜Ｓ３１について、図１５を用いて具体的に説明する。ステップＳ２０でフレームＢの測光値を取得した場合には、フレームＢのライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しており、かつラインが画面の下側に連続して存在するかどうかを判断する（ステップＳ２７）。   Steps S27 to S31 will be specifically described with reference to FIG. When the photometric value of frame B is acquired in step S20, the average value of the difference between the photometric value of the current frame and the photometric value of the previous frame in each photometric division area in the line direction of frame B increases by a predetermined threshold or more. It is determined whether the line is continuously present on the lower side of the screen (step S27).

これと同時に、フレームＣの測光値を取得し（ステップＳ２９）、次の段階でフレームＣのライン方向の各測光分割エリアの現フレームの測光値と１フレーム前の測光値との差分の平均値が所定の閾値以上増加しているかどうか、所定の閾値以上増加しているラインが画面の上側に連続して存在するかどうか、及びこの画面の上側に連続して存在すると判断された高輝度領域と、フレームＢにおいて画面の下側に連続して存在すると判断された高輝度領域の合計が約１フレーム分あるかどうかを判断する（ステップＳ３０）。   At the same time, the photometric value of frame C is acquired (step S29), and in the next stage, the average value of the difference between the photometric value of the current frame and the photometric value of the previous frame in each photometric division area in the line direction of frame C Is increased over a predetermined threshold, whether a line increasing over the predetermined threshold is continuously present on the upper side of the screen, and a high-intensity region determined to be continuously present on the upper side of the screen Then, it is determined whether or not there is a total of about one frame of the high-intensity regions determined to be continuously present on the lower side of the screen in frame B (step S30).

フレームＢはステップＳ２７でＹＥＳとなり、フレームＣはステップＳ３０でＹＥＳとなるため、フレームＢ、フレームＣの代わりにフレームＡの画像信号をＬＣＤ４０に出力する。これにより、高輝度領域の無い画像がＬＣＤ４０に表示される（ステップＳ２８）。   Since frame B is YES in step S27 and frame C is YES in step S30, the image signal of frame A is output to LCD 40 instead of frame B and frame C. Thereby, an image without a high brightness area is displayed on the LCD 40 (step S28).

フレームＣについてステップＳ３０を行うのと同時に、フレームＤの測光値の読み出しなどが行われているが、ステップＳ３０でＹＥＳであったため、次の段階では、フレームＤの画像データを生成する代わりに、フレームＢの高輝度領域と、フレームＣの高輝度領域とを合成した画像を生成し（ステップＳ３１）、ＬＣＥ４０に出力する。これにより、画面全体が露出オーバーの画像がスルー画像として表示される。   At the same time as performing step S30 for frame C, the photometric value of frame D is read, etc., but because it was YES in step S30, in the next stage, instead of generating image data of frame D, An image obtained by synthesizing the high luminance area of frame B and the high luminance area of frame C is generated (step S31), and is output to the LCE 40. Thereby, an image in which the entire screen is overexposed is displayed as a through image.

ＣＰＵ１０は、スルー画像の撮影終了の指示が操作部１２から入力されたどうかを判断する（ステップＳ２４）。スルー画像の撮影が終了した場合（ステップＳ２４でＹＥＳ）には処理を終了し、スルー画像の撮影が終了していない場合（ステップＳ２４でＮＯ）にはステップＳ２０へ戻り、次のフレームの取得を行う。   The CPU 10 determines whether or not an instruction to end photographing of a through image is input from the operation unit 12 (step S24). If shooting of the through image has been completed (YES in step S24), the process is terminated. If shooting of the through image has not been completed (NO in step S24), the process returns to step S20 to acquire the next frame. Do.

なお、図１２はスルー画像の撮影を例に説明したが、スルー画像の表示を記録に変更することで、動画記録についても同様に処理することができる。   Note that FIG. 12 has been described by taking the through image as an example, but moving image recording can be similarly processed by changing the display of the through image to recording.

このように、他者がフラッシュを発光したことが検出された場合には、検出があったフレームはＬＣＤ４０への表示、動画記録に用いないようにし、かつその代わりにその前に取得され、高輝度領域を含まない画像を表示、記録する事で、画面の一部白とびなどの不自然なスルー画像の表示、動画記録がなくなる上、他者によるフラッシュの発光があったかのようなフレームを擬似的に残すことにより、撮影時の雰囲気を反映することができる。   As described above, when it is detected that the other person has emitted the flash, the detected frame is not used for display on the LCD 40 or recording the moving image, and is instead acquired before that. Displaying and recording an image that does not include a luminance area displays an unnatural through image such as a part of the screen that is overexposed, eliminates moving image recording, and simulates a frame that appears to have been flashed by another person. By leaving it in the same way, the atmosphere at the time of shooting can be reflected.

また、この形態では、他者がフラッシュ発光することにより撮影された画像データを実際に用いて他者によるフラッシュの発光があったことを擬似的に示すフレームを生成するため、撮影時の実際の雰囲気により近いスルー画像表示、動画記録をすることができる。   Further, in this embodiment, since the image data photographed by the other person's flash emission is actually used to generate a frame indicating that the other person has emitted the flash light, an actual frame at the time of photographing is generated. Through image display and moving image recording closer to the atmosphere can be performed.

本実施の形態によれば、ローリングシャッタ方式を用いてスルー画像や動画の撮影を行う場合に、他人が所有するカメラがフラッシュを発光したか否かを検出することができる。   According to the present embodiment, it is possible to detect whether or not a camera owned by another person has emitted a flash when shooting a through image or a moving image using the rolling shutter method.

また、本実施の形態によれば、他人が所有するカメラのフラッシュ光により画面の一部が明るくなることによるスルー画や動画の画質の劣化を防止することができる
また、本実施の形態によれば、他人のフラッシュ発光があったかのような画像を残すことができ、撮影時の雰囲気を残したスルー画や動画を撮影することができる。 In addition, according to the present embodiment, it is possible to prevent deterioration of the image quality of a through image and a moving image due to a part of the screen being brightened by the flash light of the camera owned by another person. For example, it is possible to leave an image as if there was a flash emission from another person, and it is possible to shoot a through image or a movie that leaves the atmosphere at the time of shooting.

なお、本実施の形態では、他者のフラッシュ発光による高輝度領域を検出し、他者のフラッシュ発光による露出オーバーをなくす処理と、他者のフラッシュ発光があったかのようなフレームを残す処理とを行ったが、他者のフラッシュ発光による露出オーバーをなくす処理と、他者のフラッシュ発光があったかのようなフレームを残す処理の両方を必ず行なう必要は無く、他者のフラッシュ発光による露出オーバーをなくす処理のみを行なうようにしてもよい。他者のフラッシュ発光による露出オーバーをなくす処理のみで、スルー画や動画の画質の劣化を防止するという目的は果たすことができるからである。   In the present embodiment, a process of detecting a high brightness area due to the flash emission of the other person, a process of eliminating overexposure due to the flash emission of the other party, and a process of leaving a frame as if the flash emission of the other party has occurred. Although it was done, there is no need to perform both the process of eliminating the overexposure due to the flash emission of the other party and the process of leaving the frame as if the flash emission of the other party had occurred. The overexposure due to the flash emission of the other party is eliminated. Only processing may be performed. This is because the purpose of preventing the deterioration of the image quality of the through image and the moving image can be achieved only by the process of eliminating the overexposure due to the flash emission of others.

また、本実施の形態では、撮影シーンに関わらず、撮影モード時に常に他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行うようにしたが、他者のフラッシュ発光がおきやすい撮影シーン、例えば、結婚式や記者会見などにおける人物撮影モードや、露出が低く設定される夜景モードなどに設定された場合にのみ他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行うようにしてもよい。   Further, in the present embodiment, regardless of the shooting scene, the process of always detecting a high-intensity area by the flash emission of the other person in the shooting mode, the process of eliminating the overexposure by the flash emission of the other person, and the flash emission of the other person The process of leaving the frame as if there was an image was performed, but shooting scenes that are likely to cause flash emission by others, such as a person shooting mode at a wedding or a press conference, or a night view mode with a low exposure setting, etc. Only when it is set to, a process of detecting a high brightness area due to the flash emission of the other person, a process of eliminating overexposure due to the flash emission of the other party, and a process of leaving a frame as if the flash emission of the other party has occurred You may do it.

すなわち、図１７に示すように、他者のフラッシュ発光の影響がある撮影モード（例えば、人物撮影モード及び夜景モード）か否かを判断し（ステップＳ４０）、他者のフラッシュ発光の影響がある撮影モードである場合（ステップＳ４０でＹＥＳ）には、他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行い（ステップＳ４１）、スルー画像の撮影が終了したか否かを判断する（ステップＳ４２）。他者のフラッシュ発光の影響がある撮影モードでない場合（ステップＳ４０でＮＯ）には、スルー画像の撮影が終了したか否かを判断する（ステップＳ４２）。   That is, as shown in FIG. 17, it is determined whether or not a shooting mode (for example, a person shooting mode and a night scene mode) is affected by the flash emission of the other person (step S40), and there is an influence of the flash emission of the other person. If it is in the shooting mode (YES in step S40), it is as if there was a process of detecting a high brightness area by the flash emission of the other person, a process of eliminating overexposure by the flash emission of the other person, and a flash emission of the other person. A process for leaving a frame is performed (step S41), and it is determined whether or not the through image has been shot (step S42). If the shooting mode is not affected by another person's flash emission (NO in step S40), it is determined whether or not shooting of the through image has ended (step S42).

スルー画像の撮影が終了していない場合（ステップＳ４２でＮＯ）には、再度他者のフラッシュ発光の影響がある撮影モードか否かを判断する処理（ステップＳ４０）を行い、スルー画像の撮影が終了した場合（ステップＳ４２でＹＥＳ）には、処理を終了する。   If the shooting of the through image has not been completed (NO in step S42), the process of determining again whether or not the shooting mode is affected by the flash emission of the other person (step S40) is performed, and the shooting of the through image is performed. If completed (YES in step S42), the process ends.

これにより、他者のフラッシュ発光による画質低下が発生する可能性が高い場合にのみ、他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行うようにすることができる。したがって、他者のフラッシュ発光による画質低下が発生する可能性が低い場合には、実際の撮影からスルー画像の表示や動画記録までに要する時間を短縮することができる。   As a result, only when there is a high possibility that image quality degradation due to the flash emission of the other party will occur, a process of detecting a high-intensity area due to the flash emission of the other party, a process of eliminating overexposure due to the flash emission of the other party, It is possible to perform a process of leaving a frame as if the person had flash emission. Therefore, when it is unlikely that image quality degradation due to flash emission by another person will occur, the time required from actual shooting to displaying a through image or recording a moving image can be shortened.

また、図３、図７に示す露出オーバーとなっている領域を検出する処理により、他者のフラッシュ発光による高輝度領域が検出された場合には、再度他者のフラッシュ発光による高輝度領域が検出される可能性が高いため、図１８に示すように、測光分割エリアのライン読み出し方向の幅を狭くするようにしてもよい。これにより、測光値をライン読み出し方向に細かく取得できるため、他者によるフラッシュ発光があったか否かの検出精度を高くすることができる。そして、測光分割エリアのライン読み出し方向の幅に応じて、他者のフラッシュ発光があったかのようなフレームを残す処理（１）〜（３）を選択するようにしてもよい。   In addition, when a high-luminance area due to flash emission of another person is detected by the process of detecting the overexposed area shown in FIGS. 3 and 7, the high-luminance area due to flash emission of the other person is again detected. Since the possibility of detection is high, as shown in FIG. 18, the width in the line readout direction of the photometric division area may be narrowed. As a result, the photometric value can be finely acquired in the line reading direction, so that it is possible to increase the detection accuracy of whether or not there has been flash emission by another person. Then, processing (1) to (3) for leaving a frame as if there was flash emission of another person may be selected according to the width of the photometric division area in the line reading direction.

また、図３、図７に示す露出オーバーとなっている領域を検出する処理により、他者のフラッシュ発光による高輝度領域が検出された場合には、図１９（ａ）に示すような順次読み出し（順次走査）から、図１９（ｂ）に示すようなフィールド読み出し（例えば、フィールドＡで偶数行を読み出し、フィールドＢで奇数行を読み出す、飛び越し走査）に読み出し方法を変更するようにしてもよい。   In addition, when a high brightness area due to flash emission of another person is detected by the process of detecting the overexposed area shown in FIGS. 3 and 7, sequential reading as shown in FIG. 19A is performed. The reading method may be changed from (sequential scanning) to field reading as shown in FIG. 19B (for example, even-numbered rows are read in field A and odd-numbered rows are read in field B, interlaced scanning). .

すなわち、図２０に示すように、ＣＰＵ１０は、１フレーム分の画像信号を読み出し、各測光分割エリア毎の測光値を取得し（ステップＳ４３）、図３又は図７に示すフローに基づいて、ステップＳ２０で取得したフレームに高輝度領域が含まれると判定されたか否かを判断する（ステップＳ４４）。   That is, as shown in FIG. 20, the CPU 10 reads an image signal for one frame, acquires a photometric value for each photometric division area (step S43), and performs steps based on the flow shown in FIG. 3 or FIG. It is determined whether or not it is determined that the frame acquired in S20 includes a high luminance area (step S44).

高輝度領域が含まれると判断された場合（ステップＳ４４でＹＥＳ）には、順次読み出しからフィールド読み出しに変更し、所定の期間はフィールド読み出しでスルー画像又は動画の読み出しを行う（ステップＳ４５）。高輝度領域が含まれないと判断された場合（ステップＳ４４でＮＯ）には、順次読み出しを所定の期間継続する（ステップＳ４６）。   If it is determined that a high luminance area is included (YES in step S44), the reading is changed from sequential reading to field reading, and a through image or a moving image is read by field reading for a predetermined period (step S45). If it is determined that the high brightness area is not included (NO in step S44), sequential reading is continued for a predetermined period (step S46).

そして、ＣＰＵ１０は、スルー画像の撮影終了の指示が操作部１２から入力されたどうかを判断する（ステップＳ４７）。スルー画像の撮影が終了した場合（ステップＳ４７でＹＥＳ）には処理を終了し、スルー画像の撮影が終了していない場合（ステップＳ４７でＮＯ）にはステップＳ４３へ戻り、次のフレームの取得を行う。   Then, the CPU 10 determines whether an instruction to end photographing of the through image is input from the operation unit 12 (step S47). If shooting of the through image has been completed (YES in step S47), the process ends. If shooting of the through image has not been completed (NO in step S47), the process returns to step S43 to acquire the next frame. Do.

これにより、他者のフラッシュ発光が検出された場合には、読み出し及びリセットに要する時間を短くすることができる。そのため、図１９における読み出し及びリセットの時間方向の傾きが小さくなり、一度他者のフラッシュ発光が検出された場合、すなわち他者のフラッシュ発光が起こりやすい場合において、他者のフラッシュ発光により画面の一部が露出オーバーとなる確率を減らすことができる。   Thereby, when the flash emission of the other person is detected, the time required for reading and resetting can be shortened. For this reason, the inclination in the time direction of reading and reset in FIG. 19 becomes small, and once the flash emission of the other person is detected, that is, when the flash emission of the other person is likely to occur, The probability that the part is overexposed can be reduced.

本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置にも適用することができる。また、本発明の適用は、デジタルカメラなどの装置に限らず、装置に適用するプログラムとして提供することもできる。   The application of the present invention is not limited to a digital camera, but can also be applied to an imaging apparatus such as a mobile phone with a camera or a video camera. The application of the present invention is not limited to a device such as a digital camera, and can also be provided as a program applied to the device.

デジタルカメラ１の電気的構成を示すブロック図である。2 is a block diagram showing an electrical configuration of the digital camera 1. FIG. 露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものであり、図２（ａ）は、露光時間及び読み出しタイミングと、他者のフラッシュが発光されたタイミングとの関係を示す図であり、図２（ｂ）は図２（ａ）に示すタイミングで読み出しが行われたときに取得される画像を示す図であり、図２（ｃ）は図２（ｂ）に示すフレームの露出値を示す図である。FIG. 2 (a) shows an example of when the other person's flash is emitted during through image or video shooting when the exposure time is long. FIG. 2 (a) shows the exposure time and readout timing, and the other person's flash. FIG. 2B is a diagram illustrating a relationship with the timing of light emission, and FIG. 2B is a diagram illustrating an image acquired when reading is performed at the timing illustrated in FIG. These are figures which show the exposure value of the flame | frame shown in FIG.2 (b). 露出時間が長い場合に高輝度領域を検出する処理の全体の流れを示すフローチャートである。It is a flowchart which shows the whole flow of the process which detects a high-intensity area | region when exposure time is long. 図３のステップＳ１１、Ｓ１２の内容を説明するための図である。It is a figure for demonstrating the content of step S11 of FIG. 3, and S12. 図３のステップＳ１４、Ｓ１５の内容を説明するための図である。It is a figure for demonstrating the content of step S14 of FIG. 3, and S15. 露光時間が短い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものであり、図６（ａ）は、露光時間及び読み出しタイミングと、他者のフラッシュが発光されたタイミングとの関係を示す図であり、図６（ｂ）は図６（ａ）に示すタイミングで読み出しが行われたときに取得される画像を示す図であり、図６（ｃ）は図６（ｂ）に示すフレームの露出値を示す図である。FIG. 6A shows an example of when the other person's flash is emitted during the shooting of a through image or a moving image when the exposure time is short. FIG. 6A shows the exposure time and readout timing, and the other person's flash. FIG. 6B is a diagram illustrating a relationship with the timing of light emission, and FIG. 6B is a diagram illustrating an image acquired when reading is performed at the timing illustrated in FIG. These are figures which show the exposure value of the flame | frame shown in FIG.6 (b). 露出時間が短い場合に高輝度領域を検出する処理の全体の流れを示すフローチャートである。It is a flowchart which shows the whole flow of the process which detects a high-intensity area | region when exposure time is short. 露出時間が短い場合に高輝度領域が検出される態様を示す図であり、（ａ）は露光時間と他者のフラッシュ発光とのタイミングを示す図であり、（ｂ）は（ａ）に示す場合に取得されるフレームの高輝度領域の位置を示す図である。It is a figure which shows the aspect in which a high-intensity area | region is detected when exposure time is short, (a) is a figure which shows the timing of exposure time and flash emission of others, (b) is shown to (a). It is a figure which shows the position of the high-intensity area | region of the flame | frame acquired in the case. 露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合の一例を示すものである。An example in which the flash of another person is emitted during shooting of a through image or a moving image when the exposure time is long is shown. スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームをその前のフレームの画像に置き換えて表示や記録を行う処理の流れを示すフローチャートである。7 is a flowchart showing a flow of processing for displaying and recording by replacing a frame in which a high brightness area is detected with an image of the previous frame when another person's flash is emitted during shooting a through image or a moving image. 露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、次のフレームのＡＥの目標値を一定量上げて撮影することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。When the exposure time is long and the other person's flash is fired while shooting a through image or video, was the flash emitted by the other person by shooting with the AE target value of the next frame raised by a certain amount? An example of a case where a frame like the above is left in a pseudo manner is shown. スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示／記録し、かつＡＥの目標値を一定量上げることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示／記録を行う処理の流れを示すフローチャートである。When another person's flash is emitted during shooting a through image or a moving image, the image data of the previous frame is displayed / recorded instead of the image data of the frame in which the high brightness area is detected, and the target value of AE 3 is a flowchart showing a flow of processing for displaying / recording while leaving a frame as if there was a flash emission by another person by raising a certain amount. 露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、自己のフラッシュを用いてフラッシュ撮影した画像を用いることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。When the exposure time is long, and the other person's flash is emitted during the shooting of a through image or video, it seems as if the other person has emitted the flash by using the image taken with the flash. An example in the case of leaving a frame in a pseudo manner is shown. スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示／記録し、かつ自己のフラッシュを用いてフラッシュ撮影することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示／記録を行う処理の流れを示すフローチャートである。When another person's flash is emitted during the shooting of a through image or video, the image data of the previous frame is displayed / recorded in place of the image data of the frame in which the high brightness area is detected, and the self flash is used. It is a flowchart which shows the flow of a process which performs display / recording, leaving a frame like a flash emission by others by using flash photography. 露出時間が長い場合に、スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、他者のフラッシュが発光による高輝度領域を合成した生成した画像を使用することにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残す場合の一例を示すものである。When the exposure time is long, and the other person's flash is emitted during through image or movie shooting, the other person's flash uses the generated image that is a combination of the high-intensity areas of the light emission. This shows an example of a case in which a frame is left in a pseudo manner as if there was light emission. スルー画像又は動画撮影中に他者のフラッシュが発光された場合に、高輝度領域が検出されたフレームの画像データの変わりにその前のフレームの画像データを表示／記録し、かつその後のフレームの画像データを２フレームにまたがって取得された高輝度領域を合成した画像に置き換えることにより他者によるフラッシュの発光があったかのようなフレームを擬似的に残して表示／記録を行う処理の流れを示すフローチャートである。When the other person's flash is emitted during through image or video shooting, the image data of the previous frame is displayed / recorded instead of the image data of the frame in which the high brightness area is detected, and the subsequent frame The flow of processing for performing display / recording by replacing the image data with an image obtained by synthesizing a high-luminance area acquired over two frames, leaving a frame as if there was flash emission by another person, is shown. It is a flowchart. 他者のフラッシュ発光がおきやすい撮影シーンに設定された場合にのみ他者のフラッシュ発光による高輝度領域を検出する処理、他者のフラッシュ発光による露出オーバーをなくす処理、及び他者のフラッシュ発光があったかのようなフレームを残す処理を行う場合の処理の流れを示すフローチャートである。Only when it is set to a shooting scene where the other person's flash emission is likely to occur, the process of detecting a high-intensity area due to the other party's flash emission, the process of eliminating overexposure due to the other party's flash emission, and the other party's flash emission It is a flowchart which shows the flow of a process in the case of performing the process which leaves the frame as if there existed. （ａ）は高輝度領域検出前の測光領域分割エリアを示す図であり、（ｂ）は高輝度領域検出後の測光分割エリアを示す図である。(A) is a figure which shows the photometry division | segmentation area before a high-intensity area | region detection, (b) is a figure which shows the photometry division | segmentation area after a high-intensity area detection. （ａ）は高輝度領域検出前の読み出し方法（順次読み出し）を示す図であり、（ｂ）は高輝度領域検出後の読み出し方法（フィールド読み出し）を示す図である。(A) is a figure which shows the read-out method (sequential read-out) before a high-intensity area | region detection, (b) is a figure which shows the read-out method (field reading) after a high-intensity area | region detection. 高輝度領域が検出された場合に読み出し方法を変える処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process which changes a reading method, when a high-intensity area | region is detected.

符号の説明Explanation of symbols

１：デジタルカメラ、１０：ＣＰＵ、１２：操作部、２０：フラッシュ発光部、２２：レンズユニット、２４：メカシャッタ、２６：ＣＭＯＳセンサ、２８：タイミングジェネレータ（ＴＧ）、３０：ＡＧＣ回路、３２：Ａ／Ｄ変換器、３４：画像信号処理回路、３６：圧縮伸張処理回路、３８：ＬＣＤドライバ、４０：液晶ディスプレイ（ＬＣＤ）、４２：ＡＥ／ＷＢ検出回路、４４：メモリカード、４６：メディアコントローラ 1: digital camera, 10: CPU, 12: operation unit, 20: flash light emitting unit, 22: lens unit, 24: mechanical shutter, 26: CMOS sensor, 28: timing generator (TG), 30: AGC circuit, 32: A / D converter, 34: Image signal processing circuit, 36: Compression / decompression processing circuit, 38: LCD driver, 40: Liquid crystal display (LCD), 42: AE / WB detection circuit, 44: Memory card, 46: Media controller

Claims (14)

被写体を撮像するための複数の電荷蓄積素子が２次元に配列された撮像素子と、
前記撮像素子の各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すローリングシャッタ手段と、
前記ローリングシャッタ手段により読み出された画像信号に基づいて前記撮像素子で撮像された複数フレームの画像を順次表示手段又は記録媒体に出力する出力手段と、
を有する撮像装置において、
撮影画面のライン方向の輝度を算出する輝度算出手段と、
前記輝度算出手段により算出されたライン方向の輝度に基づいて、輝度が所定の閾値以上高い領域（以下、高輝度領域という）が帯状に存在するか否かを判定する判定手段と、
前記判定手段により高輝度領域が帯状に存在すると判定された場合に、前記高輝度領域が帯状に存在するフレームの画像の前記高輝度領域を除去する輝度ムラ除去手段と、
を備え、
前記判定手段により高輝度領域が帯状に存在すると判定された場合には、前記出力手段から前記輝度ムラ除去手段により高輝度領域が除去された画像が出力されることを特徴とする撮像装置。 An image sensor in which a plurality of charge storage elements for imaging a subject are two-dimensionally arranged;
Rolling shutter means for starting charge accumulation at different timing for each line of the image sensor and reading out an image signal for each line after a predetermined charge accumulation time has elapsed;
Output means for sequentially outputting a plurality of frames of images picked up by the image pickup device to a display means or a recording medium based on an image signal read by the rolling shutter means;
In an imaging apparatus having
Luminance calculation means for calculating the luminance in the line direction of the shooting screen;
A determination unit that determines whether or not a region where the luminance is higher than a predetermined threshold value (hereinafter referred to as a high luminance region) exists in a band shape based on the luminance in the line direction calculated by the luminance calculation unit;
A luminance unevenness removing unit that removes the high luminance region of the image of the frame in which the high luminance region exists in a band shape when the determination unit determines that the high luminance region exists in a band shape;
With
When the determination unit determines that the high luminance region exists in a band shape, an image from which the high luminance region is removed by the luminance unevenness removal unit is output from the output unit. 前記輝度算出手段は、撮影画面を複数の領域に分割し、各分割領域毎の輝度に基づいて前記ライン方向の輝度を算出することを特徴とする請求項１に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the luminance calculating unit divides the photographing screen into a plurality of areas and calculates the luminance in the line direction based on the luminance for each divided area. 前記輝度算出手段は、前記各分割領域毎の輝度に基づいてライン方向の分割領域の輝度の平均値を算出し、
前記判定手段は、ライン方向の分割領域の輝度の平均値が所定の閾値以上高い領域を高輝度領域と判定することを特徴とする請求項２に記載の撮像装置。 The luminance calculation means calculates an average value of the luminance of the divided regions in the line direction based on the luminance for each of the divided regions,
The imaging apparatus according to claim 2, wherein the determination unit determines a region where the average luminance value of the divided regions in the line direction is higher than a predetermined threshold value as a high luminance region. 前記輝度算出手段は、前記各分割領域毎の輝度に基づいてライン方向の分割領域の輝度のバラツキを算出し、
前記判定手段は、前記輝度算出手段により算出された輝度のバラツキが所定の閾値以内であるか否かを判定し、
前記判定手段により高輝度領域が帯状に存在すると判定され、かつライン方向の分割領域の輝度のバラツキが所定の閾値以内であると判定された場合にのみ前記出力手段から前記輝度ムラ除去手段により高輝度領域が除去された画像が出力されることを特徴とする請求項２又は３のいずれかに記載の撮像装置。 The luminance calculation means calculates a variation in luminance of the divided regions in the line direction based on the luminance of each divided region,
The determination unit determines whether or not the variation in luminance calculated by the luminance calculation unit is within a predetermined threshold;
Only when it is determined by the determining means that the high luminance area exists in a strip shape and the luminance variation of the divided areas in the line direction is within a predetermined threshold, the output unevenness removing means increases the luminance unevenness from the output means. The imaging apparatus according to claim 2, wherein an image from which the luminance area is removed is output. 前記輝度算出手段により算出されたライン方向の輝度の差分であって、現フレームの輝度と、現フレームの１つ前のフレームの輝度との差分を算出する差分算出手段を備え、
前記判定手段は、前記差分算出手段により算出された輝度の差分が所定の閾値以上高い領域を高輝度領域と判定することを特徴とする請求項１から４のいずれかに記載の撮像装置。 A difference calculation unit that calculates the difference between the luminance of the current frame and the luminance of the previous frame of the current frame, which is a difference in luminance in the line direction calculated by the luminance calculation unit;
5. The imaging apparatus according to claim 1, wherein the determination unit determines that a region where the difference in luminance calculated by the difference calculation unit is higher than a predetermined threshold is a high luminance region. 前記輝度ムラ除去手段は、現フレームの画像を、前記判定手段により高輝度領域が帯状に存在すると判定されていないフレーム（以下、低輝度フレームという）の画像に置き換えることにより前記高輝度領域を除去することを特徴とする請求項１から５のいずれかに記載の撮像装置。   The uneven brightness removal means removes the high brightness area by replacing the image of the current frame with an image of a frame (hereinafter referred to as a low brightness frame) in which the determination means does not determine that the high brightness area exists in a band shape. The imaging apparatus according to claim 1, wherein: 前記画像信号に基づいて適正な露出値になるように露出を制御する露出制御手段であって、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、該判定後に撮影するフレームの露出を前記適正な露出値より所定の値だけ高い露出値となるように制御する露出制御手段を備えたことを特徴とする請求項１から６のいずれか記載の撮像装置。   Exposure control means for controlling exposure so that an appropriate exposure value is obtained based on the image signal, and when the determination means determines that the high brightness area exists in a strip shape, a frame to be photographed after the determination The image pickup apparatus according to claim 1, further comprising an exposure control unit configured to control the exposure to an exposure value higher than the appropriate exposure value by a predetermined value. 閃光を発して前記被写体を照明する閃光手段と、
前記判定手段により高輝度領域が帯状に存在すると判定された場合には、該判定後に撮影するフレームの最初に電荷蓄積を開始するラインの電荷蓄積開始後に発光を開始して最後に電荷蓄積を終了するラインの電荷蓄積終了前に発光を停止するように前記閃光手段を制御する閃光制御手段と、
を備えたことを特徴とする請求項１から６のいずれかに記載の撮像装置。 A flash means for emitting a flash to illuminate the subject;
If it is determined by the determination means that the high-luminance region exists in a band shape, light emission starts after the charge accumulation starts on the line where charge accumulation starts at the beginning of the frame to be photographed after the determination, and the charge accumulation ends at the end. Flash control means for controlling the flash means to stop light emission before the end of charge accumulation of the line to be performed,
The imaging apparatus according to claim 1, further comprising: 前記判定手段により高輝度領域が帯状に存在すると判定されたフレームが連続する２フレームにまたがって存在し、かつ前記高輝度領域の合計が略１画面分であることを検出する検出手段と、
前記検出手段により略１画面分であることが検出された高輝度領域を合成して１フレーム分の高輝度の画像を生成する合成手段と、を備え、
前記出力手段は、前記検出手段により前記高輝度領域が帯状に存在すると判定されたフレームが連続する２フレームにまたがって存在し、かつ前記高輝度領域の合計が略１画面分であることが検出された場合には、前記連続する２フレームの後のフレームの画像に変えて前記合成手段により合成された画像を出力することを特徴とする請求項１から６のいずれかに記載の撮像装置。 Detection means for detecting that the frame determined by the determination means to exist in a strip shape exists over two consecutive frames and that the total of the high luminance areas is approximately one screen;
Synthesizing high luminance areas detected to be approximately one screen by the detection means to generate a high luminance image for one frame, and
The output means detects that the frame determined by the detecting means that the high luminance area exists in a strip shape extends over two consecutive frames, and the total of the high luminance areas is about one screen. The imaging apparatus according to any one of claims 1 to 6, wherein in the case of being performed, the image synthesized by the synthesis unit is output instead of the image of the frame after the two consecutive frames. 前記輝度算出手段は、前記分割領域の読み出し方向の幅より読み出し方向の幅が狭い分割領域を設定し、当該読み出し方向の幅が狭い分割領域の輝度に基づいて読み出し方向の幅が狭いラインのライン方向の輝度を算出し、
前記判定手段は、前記読み出し方向の幅が狭いラインのライン方向の輝度に基づいて前記高輝度領域が帯状に存在するか否かを判定することを特徴とする請求項２に記載の撮像装置。 The luminance calculation means sets a divided region whose width in the reading direction is narrower than the width in the reading direction of the divided region, and a line of a line having a narrow width in the reading direction based on the luminance of the divided region whose width in the reading direction is narrow Calculate the luminance of the direction,
The imaging apparatus according to claim 2, wherein the determination unit determines whether or not the high luminance region exists in a band shape based on luminance in a line direction of a line having a narrow width in the reading direction. 前記ローリングシャッタ手段は、前記判定手段により高輝度領域が帯状に存在すると判定された場合には、前記撮像素子の画像信号の読み出しのタイミングを順次走査から飛び越し走査へ切り替えることを特徴とする請求項１から１０のいずれかに記載の撮像装置。   The rolling shutter unit is configured to switch the readout timing of the image signal of the image sensor from sequential scanning to interlaced scanning when the determination unit determines that a high luminance region exists in a band shape. The imaging device according to any one of 1 to 10. 所望の撮影シーンに応じた撮影モードを設定する撮影モード設定手段と、
前記撮影モード設定手段により設定された撮影モードが所定の撮影モードの場合にのみ前記差分算出手段及び前記判定手段を動作させる制御手段と、
を備えたことを特徴とする請求項１から１１のいずれかに記載の撮像装置。 Shooting mode setting means for setting a shooting mode according to a desired shooting scene;
Control means for operating the difference calculation means and the determination means only when the shooting mode set by the shooting mode setting means is a predetermined shooting mode;
The imaging apparatus according to claim 1, further comprising: 前記複数フレームの画像は動画であることを特徴とする請求項１から１２のいずれかに記載の撮像装置。   The imaging apparatus according to claim 1, wherein the images of the plurality of frames are moving images. 被写体を撮像するための複数の電荷蓄積素子が２次元に配列された撮像素子の各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すステップと、
前記読み出された画像信号に基づいて撮影画面のライン方向の輝度を算出するステップと、
前記算出されたライン方向の輝度に基づいて、輝度が所定の閾値以上高い領域（以下、高輝度領域という）が帯状に存在するか否かを判定するステップと、
前記高輝度領域が帯状に存在すると判定された場合に、前記高輝度領域が帯状に存在するフレームの画像の前記高輝度領域を除去するステップと、
前記読み出された画像信号に基づいて前記撮像素子で撮像された複数フレームの画像を順次表示手段又は記録媒体に出力するステップと、
前記判定するステップにより前記高輝度領域が帯状に存在しないと判定された場合には現フレームの画像を出力し、前記判定するステップにより前記高輝度領域が帯状に存在すると判定された場合には前記高輝度領域が除去された画像を出力するステップと、
を含むことを特徴とする撮像方法。 Charge accumulation is started at different timing for each line of the image sensor in which a plurality of charge accumulation elements for imaging a subject are two-dimensionally arranged, and an image signal is output for each line after a predetermined charge accumulation time has elapsed. A reading step;
Calculating the luminance in the line direction of the shooting screen based on the read image signal;
Determining whether or not a region where the luminance is higher than a predetermined threshold value (hereinafter referred to as a high luminance region) exists in a band shape based on the calculated luminance in the line direction;
Removing the high-brightness region from an image of a frame in which the high-brightness region exists in a band when it is determined that the high-brightness region exists in a band;
Sequentially outputting a plurality of frames of images picked up by the image pickup device based on the read image signal to a display means or a recording medium;
If it is determined in the determining step that the high-intensity region does not exist in a band shape, an image of the current frame is output, and if it is determined in the determining step that the high-intensity region exists in a band shape, Outputting an image from which the high brightness area has been removed;
An imaging method comprising: