JP2012231273A

JP2012231273A - Imaging apparatus

Info

Publication number: JP2012231273A
Application number: JP2011097827A
Authority: JP
Inventors: Soichi Ueda; 壮一上田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-04-26
Filing date: 2011-04-26
Publication date: 2012-11-22
Anticipated expiration: 2031-04-26
Also published as: JP5682434B2

Abstract

PROBLEM TO BE SOLVED: To properly perform dynamic range enlargement processing for a dynamic image.SOLUTION: An imaging apparatus includes imaging means 11, 12, and 16 each obtaining a plurality of images different in exposure time in each frame of continuous frames, image composition means 19 producing a composite image based on the plurality of images different in exposure time, luminance difference detection means 18 detecting a luminance difference between an n-th frame and an (n-1)th frame for each of the plurality of images different in exposure time, and control means 16 allowing the image composition means 19 to perform different composition processing, when the image composition means 19 produces the composite image for the n-th frame, on the basis of luminance difference for each of the plurality of images detected by the luminance difference detection means 18.

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.

露光量が異なる複数の画像を取得して暗い部分の再現に適した画像と明るい部分の再現に適した画像とを組み合わせて見かけのダイナミックレンジを拡大する処理を、時系列に連続的に取得した画像（いわゆる動画像）に対して適用する技術が知られている（特許文献１参照）。被写体が変化する場合にダイナミックレンジ拡大処理を行うことによって生じるぶれなどの不具合を避けるために、被写体の動きを検知するとダイナミックレンジ拡大処理を行わないように制御される。 The process of expanding the apparent dynamic range by acquiring multiple images with different exposure amounts and combining images suitable for reproducing dark areas and images suitable for reproducing bright areas was continuously acquired in time series. A technique applied to an image (so-called moving image) is known (see Patent Document 1). In order to avoid problems such as blurring caused by performing dynamic range expansion processing when the subject changes, control is performed so that dynamic range expansion processing is not performed when motion of the subject is detected.

特開２００７−３６７４２号公報JP 2007-36742 A

従来技術では、被写体の動きの有無によってダイナミックレンジ拡大処理をしたりしなかったりするので、得られる画像に違和感が生じるという問題があった。 In the prior art, the dynamic range expansion process is not performed depending on the presence or absence of the movement of the subject, and thus there is a problem that a sense of incongruity occurs in the obtained image.

本発明による撮像装置は、連続するフレームの各フレームにおいて露光時間が異なる複数の画像をそれぞれ取得する撮像手段と、露光時間が異なる複数の画像に基づいて合成画像を生成する画像合成手段と、露光時間が異なる複数の画像ごとに、ｎフレーム目と(ｎ−１)フレーム目との間の輝度差をそれぞれ検出する輝度差検出手段と、輝度差検出手段によって検出された複数の画像ごとの輝度差に基づいて、画像合成手段がｎフレーム目に対する合成画像を生成する際に異なる合成処理をさせる制御手段と、を備えることを特徴とする。 An imaging apparatus according to the present invention includes an imaging unit that acquires a plurality of images with different exposure times in each of consecutive frames, an image synthesis unit that generates a composite image based on a plurality of images with different exposure times, and exposure. Luminance difference detection means for detecting the luminance difference between the nth frame and the (n-1) th frame for each of a plurality of images having different times, and the luminance for each of the plurality of images detected by the luminance difference detection means Control means for performing different composition processing when the image composition means generates a composite image for the n-th frame based on the difference.

本発明によれば、動画像に対して適切にダイナミックレンジ拡大処理を行うことができる。 According to the present invention, it is possible to appropriately perform dynamic range expansion processing on a moving image.

本発明の一実施の形態による電子カメラの構成を例示するブロック図である。It is a block diagram which illustrates the composition of the electronic camera by one embodiment of the invention. ＤＳＰが実行する処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the process which DSP performs. 録画シーケンスを説明する図である。It is a figure explaining a video recording sequence. 輝度差を算出する注目エリアを説明する図である。It is a figure explaining the attention area which calculates a luminance difference. 画像合成処理を説明する図である。It is a figure explaining an image composition process. 画像合成処理を説明する図である。It is a figure explaining an image composition process.

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による電子カメラの構成を例示するブロック図である。図１において、電子カメラ１は、撮像センサー１１と、フロントエンド部(AFE)１２と、鏡筒１３と、モータードライブ部１４と、フラッシュメモリ１５と、ＤＳＰ１６と、ＲＡＭ１７と、輝度差検出部１８と、画像合成部１９と、動画処理部(H.264)２０と、ノイズ除去部(3D-NR)２１と、カードインターフェース２２と、操作部材２３とを含む。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating the configuration of an electronic camera according to an embodiment of the invention. In FIG. 1, an electronic camera 1 includes an imaging sensor 11, a front end unit (AFE) 12, a lens barrel 13, a motor drive unit 14, a flash memory 15, a DSP 16, a RAM 17, and a luminance difference detection unit 18. An image composition unit 19, a moving image processing unit (H.264) 20, a noise removal unit (3D-NR) 21, a card interface 22, and an operation member 23.

撮像センサー１１の受光面には、鏡筒１３内に構成されている撮影レンズによって被写体像が結像される。撮像センサー１１は、受光素子が受光面に二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像センサー１１は、結像された被写体像を光電変換する。光電変換信号は、フロントエンド部(AFE)１２によってゲインコントロールやＡ／Ｄ変換などの処理が施され、ＤＳＰ１６へ入力される。 A subject image is formed on the light receiving surface of the imaging sensor 11 by a photographic lens configured in the lens barrel 13. The image sensor 11 includes a CMOS image sensor or the like in which light receiving elements are two-dimensionally arranged on the light receiving surface. The image sensor 11 photoelectrically converts the formed subject image. The photoelectric conversion signal is subjected to processing such as gain control and A / D conversion by the front end unit (AFE) 12 and is input to the DSP 16.

ＤＳＰ１６は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理の他、後述するダイナミックレンジの拡張処理、ノイズ低減処理など）を施す。フラッシュメモリ１５は、電源オフ時にも記憶内容を保持するメモリである。フラッシュメモリ１５は、ＤＳＰ１６が実行するプログラムなどを記憶する。 The DSP 16 performs various types of image processing (color interpolation processing, gradation conversion processing, dynamic range expansion processing, noise reduction processing, etc. described later) on the digital image data. The flash memory 15 is a memory that retains stored contents even when the power is turned off. The flash memory 15 stores a program executed by the DSP 16 and the like.

カードインターフェース２２は不図示のコネクタを有し、該コネクタに、たとえばＳＤメモリカードなどの記憶媒体が接続される。カードインターフェース１８は、接続された記憶媒体に対するデータの書き込みや、記憶媒体からのデータの読み込みを行う。 The card interface 22 has a connector (not shown), and a storage medium such as an SD memory card is connected to the connector. The card interface 18 writes data to the connected storage medium and reads data from the storage medium.

ＲＡＭ１７は、電源オフ時に記憶内容を消失するメモリである。ＲＡＭ１７は、画像バッファとしてＤＳＰ１６による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する他、ＤＳＰ１６によるプログラム実行時のワークメモリとして用いられる。 The RAM 17 is a memory that loses stored contents when the power is turned off. The RAM 17 temporarily stores digital image data in the pre-process and post-process of image processing by the DSP 16 as an image buffer, and is used as a work memory when a program is executed by the DSP 16.

ＤＳＰ１６は、フラッシュメモリ１５が記憶するプログラムを実行することにより、電子カメラが行う動作を制御する。ＤＳＰ１６は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、ライブビュー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求める。ライブビュー画像は、撮影指示前に撮像センサー１１によって所定の時間間隔（たとえば６０フレーム／毎秒）で繰り返し取得されるモニタ用画像のことをいう。 The DSP 16 controls an operation performed by the electronic camera by executing a program stored in the flash memory 15. The DSP 16 also performs AF (autofocus) operation control and automatic exposure (AE) calculation. In the AF operation, for example, an in-focus position of a focusing lens (not shown) is obtained based on the contrast information of the live view image. The live view image refers to a monitor image that is repeatedly acquired by the imaging sensor 11 at a predetermined time interval (for example, 60 frames / second) before a shooting instruction.

輝度差検出部１８は、所定のフレーム画像間で対応するエリアにおける輝度差を検出する。画像合成部１９は、所定のフレーム画像に対してダイナミックレンジの拡張処理を施す。ダイナミックレンジの拡張処理は、たとえば、露光時間を変えて露光量が異なる複数のフレーム画像を取得し、暗い部分の再現には露光時間が長い方のフレーム画像のデータを用いて再現し、明るい部分の再現には露光時間が短い方のフレーム画像のデータを用いて再現し、暗い部分と明るい部分の中間は双方のフレーム画像を用いて再現する。この拡張処理により、見かけのダイナミックレンジを拡げる。 The luminance difference detection unit 18 detects a luminance difference in a corresponding area between predetermined frame images. The image composition unit 19 performs dynamic range expansion processing on a predetermined frame image. The dynamic range expansion process, for example, obtains multiple frame images with different exposure amounts by changing the exposure time, and reproduces the dark part using the data of the frame image with the longer exposure time. Is reproduced using data of a frame image having a shorter exposure time, and an intermediate portion between a dark portion and a bright portion is reproduced using both frame images. This expansion process expands the apparent dynamic range.

動画処理部２０は、たとえば、公知のH.264手法を用いて動画圧縮処理を行う。ノイズ除去部２１は、たとえば、公知の3D-NR手法を用いてフレーム画像に重畳したノイズを低減する。操作部材２３は、不図示のシャッターボタンや録画ボタン、ズームスイッチやメニュースイッチなどを含み、各ボタンやスイッチの操作に応じた操作信号をＤＳＰ１６へ送出する。 The moving image processing unit 20 performs moving image compression processing using, for example, a known H.264 method. The noise removing unit 21 reduces noise superimposed on the frame image using, for example, a known 3D-NR method. The operation member 23 includes a shutter button (not shown), a recording button, a zoom switch, a menu switch, and the like, and sends an operation signal corresponding to the operation of each button or switch to the DSP 16.

本実施形態は、上述した電子カメラが備える録画時（動画撮影時）に行うダイナミックレンジの拡張処理に特徴を有するので、以降の説明は録画時に行うダイナミックレンジの拡張処理を中心に説明する。 Since the present embodiment is characterized by the dynamic range expansion processing performed during recording (moving image shooting) included in the electronic camera described above, the following description will focus on the dynamic range expansion processing performed during recording.

図２は、ＤＳＰ１６が実行する処理の流れを説明するフローチャートである。ＤＳＰ１６は、操作部材２３を構成する録画ボタンから操作信号が入力されると、図２による処理を起動する。図２のステップＳ１１において、ＤＳＰ１６は、被写体輝度に応じて撮影条件を設定する。たとえば、録画時のフレームレートに応じた露光時間Ｔで適正露出が得られるように、撮像センサー１１の感度を設定してステップＳ１２へ進む。なお、感度設定に加えて、あるいは感度設定の代わりに不図示の絞りを変更してもよい。 FIG. 2 is a flowchart for explaining the flow of processing executed by the DSP 16. When an operation signal is input from the recording button constituting the operation member 23, the DSP 16 activates the processing shown in FIG. In step S11 of FIG. 2, the DSP 16 sets shooting conditions according to the subject brightness. For example, the sensitivity of the image sensor 11 is set so that proper exposure can be obtained with an exposure time T corresponding to the frame rate at the time of recording, and the process proceeds to step S12. Note that an aperture (not shown) may be changed in addition to the sensitivity setting or instead of the sensitivity setting.

図３は、本実施形態による録画シーケンスを説明する図である。ＤＳＰ１６は、たとえば３０フレーム／毎秒のフレームレートで動画像を取得するように制御する。ＤＳＰ１６はさらに、ダイナミックレンジ拡張処理に用いるために、１フレームにつき長露光画像Ｌと短露光画像Ｓとをそれぞれ取得させる。本実施形態では、１フレームを構成する１／３０秒のうち半分の１／６０秒を長露光画像用の露光時間Ｔとする。上記設定した撮像センサー１１の感度（または絞り値）は、長露光画像Ｌを適正露出に近づけるように決定された値である。ＤＳＰ１６はさらに、長露光画像用の露光時間Ｔの半分であるＴ／２（本例では１／１２０秒）を短露光画像用の露光時間とする。これら複数の露光時間Ｔ、およびＴ／２により、１フレーム内で異なる露光時間による複数の露光画像を得る。図３において、注目フレームをｎフレームとし、前フレームを(ｎ−１)フレーム、次フレームを(ｎ＋１)フレームと表す。 FIG. 3 is a diagram for explaining a recording sequence according to the present embodiment. The DSP 16 performs control so as to acquire a moving image at a frame rate of 30 frames / second, for example. Further, the DSP 16 acquires the long exposure image L and the short exposure image S for each frame for use in the dynamic range expansion process. In this embodiment, 1/60 second, which is half of 1/30 seconds constituting one frame, is set as the exposure time T for the long exposure image. The sensitivity (or aperture value) of the imaging sensor 11 set as described above is a value determined so that the long exposure image L is brought close to proper exposure. Further, the DSP 16 sets T / 2 (1/120 seconds in this example), which is half of the exposure time T for the long exposure image, as the exposure time for the short exposure image. With these multiple exposure times T and T / 2, multiple exposure images with different exposure times within one frame are obtained. In FIG. 3, the target frame is represented by n frames, the previous frame is represented by (n−1) frames, and the next frame is represented by (n + 1) frames.

図２のステップＳ１２において、ＤＳＰ１６は撮像センサー１１を制御し、露光時間Ｔおよび露光時間Ｔ／２でそれぞれ画像を取得させてステップＳ１３へ進む。取得した長露光画像Ｌおよび短露光画像Ｓは、それぞれＲＡＭ１７に格納される。ステップＳ１３において、ＤＳＰ１６は輝度差検出部１８へ指示を送り、長露光画像Ｌｎと、前フレームの長露光画像Ｌ(n-1)との間で注目エリアごとの輝度差を算出させる。 In step S12 of FIG. 2, the DSP 16 controls the image sensor 11, acquires images at the exposure time T and the exposure time T / 2, and proceeds to step S13. The acquired long exposure image L and short exposure image S are respectively stored in the RAM 17. In step S13, the DSP 16 sends an instruction to the luminance difference detection unit 18 to calculate a luminance difference for each area of interest between the long exposure image Ln and the long exposure image L (n-1) of the previous frame.

図４は、画像において輝度差を算出する注目エリアを説明する図である。注目エリアは、たとえば注目画素を中心とする横３画素×縦３画素の計９画素で構成する。輝度差検出部１８は、長露光画像Ｌｎおよび長露光画像Ｌ(n-1)の同じ画素位置についてそれぞれ注目エリアを設定し、これら注目エリア間において輝度値の差を算出する。たとえば、注目エリア内の画素データの最大値および最小値を除き、該注目エリア内の残りの７画素データについて、注目画素からの距離に応じた重みを加味した輝度値を算出する。そして、長露光画像Ｌｎおよび長露光画像Ｌ(n-1)のそれぞれで算出した注目エリアの輝度値の差を算出する。なお、輝度変換式は、たとえば、Ｙ＝0.29891×Ｒ＋0.58661×Ｇ＋0.11448×Ｂを用いる。ただし、ＲはＲ色のカラーフィルタが設けられている画素のデータ、ＧはＧ色のカラーフィルタが設けられている画素のデータ、およびＢはＢ色のカラーフィルタが設けられている画素のデータである。 FIG. 4 is a diagram for explaining an attention area for calculating a luminance difference in an image. The attention area is composed of, for example, a total of 9 pixels of 3 horizontal pixels × 3 vertical pixels centering on the attention pixel. The luminance difference detection unit 18 sets attention areas for the same pixel positions in the long exposure image Ln and the long exposure image L (n−1), and calculates a difference in luminance value between these attention areas. For example, except for the maximum value and the minimum value of the pixel data in the attention area, a luminance value is calculated for the remaining seven pixel data in the attention area, taking into account the weight according to the distance from the attention pixel. Then, the difference in luminance value of the attention area calculated for each of the long exposure image Ln and the long exposure image L (n−1) is calculated. For example, Y = 0.29891 × R + 0.58661 × G + 0.11448 × B is used as the luminance conversion formula. However, R is pixel data provided with an R color filter, G is data of a pixel provided with a G color filter, and B is data of a pixel provided with a B color filter. It is.

図２のステップＳ１４において、ＤＳＰ１６は輝度差検出部１８へ指示を送り、短露光画像Ｓｎと、前フレームの短露光画像Ｓ(n-1)との間で上記注目エリアごとの輝度差を算出させる。輝度差検出部１８は、長露光画像Ｌの場合と同様に、短露光画像Ｓｎおよび短露光画像Ｓ(n-1)の同じ画素位置についてそれぞれ注目エリアを設定し、これら注目エリア間において輝度値の差を算出する。 In step S14 of FIG. 2, the DSP 16 sends an instruction to the luminance difference detector 18, and calculates the luminance difference for each area of interest between the short exposure image Sn and the short exposure image S (n-1) of the previous frame. Let As in the case of the long exposure image L, the luminance difference detection unit 18 sets attention areas for the same pixel positions in the short exposure image Sn and the short exposure image S (n−1), and the luminance value between these attention areas. Calculate the difference.

ステップＳ１５において、ＤＳＰ１６は、輝度差検出部１８で算出された輝度差が判定閾値以内か否かを判定する。ＤＳＰ１６は、長露光画像についての隣接フレーム間の輝度差、および短露光画像についての隣接フレーム間の輝度差の双方があらかじめ定めた判定閾値以内である場合に、ステップＳ１５を肯定判定してステップＳ１６へ進む。ＤＳＰ１６は、長露光画像についての隣接フレーム間の輝度差、および短露光画像についての隣接フレーム間の輝度差の少なくとも一方があらかじめ定めた判定閾値を超える場合には、ステップＳ１５を否定判定してステップＳ２２へ進む。 In step S15, the DSP 16 determines whether or not the luminance difference calculated by the luminance difference detection unit 18 is within a determination threshold value. The DSP 16 makes an affirmative decision in step S15 when both the luminance difference between adjacent frames for the long exposure image and the luminance difference between adjacent frames for the short exposure image are within a predetermined determination threshold, and step S16 Proceed to If at least one of the luminance difference between adjacent frames for the long exposure image and the luminance difference between adjacent frames for the short exposure image exceeds a predetermined determination threshold, the DSP 16 makes a negative determination in step S15 and performs step Proceed to S22.

ステップＳ１５を肯定判定したＤＳＰ１６は、(ｎ−１)フレームとｎフレームとの間において主要被写体の動きがないとみなす。この場合のＤＳＰ１６は、上記注目エリアにおいて、ステップＳ１６〜ステップＳ１８の処理からなる画像合成処理を行う。図５は、ステップＳ１６〜ステップＳ１８による画像合成処理を説明する図である。図５において、短露光画像の帯は、上記注目エリアにおける短露光画像がとり得る輝度値の範囲を示す。また、長露光画像の帯は、上記注目エリアにおける長露光画像が取り得る輝度値の範囲を示す。それぞれの帯において、帯の左に近いほど輝度が低く、帯の右に近いほど輝度が高い。通常、長露光画像が短露光画像の２倍の露光時間である場合は、長露光画像の帯の長さは短露光画像の帯の長さの２倍である。 The DSP 16 having affirmed the determination in step S15 considers that there is no movement of the main subject between the (n−1) frame and the n frame. In this case, the DSP 16 performs an image composition process including the processes in steps S16 to S18 in the area of interest. FIG. 5 is a diagram for explaining the image composition processing in steps S16 to S18. In FIG. 5, a short-exposure image band indicates a range of luminance values that can be taken by the short-exposure image in the area of interest. The band of the long exposure image indicates a range of luminance values that can be taken by the long exposure image in the area of interest. In each band, the closer to the left of the band, the lower the luminance, and the closer to the right of the band, the higher the luminance. Normally, when the long exposure image has twice the exposure time of the short exposure image, the length of the band of the long exposure image is twice the length of the band of the short exposure image.

ＤＳＰ１６は、ｎフレームの短露光画像において、たとえば、輝度値がフルスケール（８ビットで例示する場合に２５５）の１５％の値ｊ１以下に相当する画素データについては、ｎフレームの長露光画像において対応する輝度値の画素データＬdnに基づいて合成後の画像を求める。具体的には、ＤＳＰ１６がステップＳ１６において画像合成部１９へ指示を送り、長露光画像において輝度値０〜ｊ１に対応する画素データＬdnに基づいて、次式（１）によって合成後の画像を構成するデータを算出させてステップＳ１７へ進む。画素データＬdnは、図５において長露光画像の帯内の領域５２に対応する。
出力値＝Ｌdn×ａ１＋ｃ１（１）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲は０〜ｋ１である。また、ａ１は所定の係数、ｃ１は所定のオフセット係数である。 The DSP 16 uses the n-frame long exposure image for pixel data corresponding to a value j1 of 15% or less of the full-scale (255 in the case of 8 bits) in the n-frame short-exposure image. A combined image is obtained based on the pixel data Ldn of the corresponding luminance value. Specifically, the DSP 16 sends an instruction to the image composition unit 19 in step S16, and composes an image after composition by the following equation (1) based on the pixel data Ldn corresponding to the luminance values 0 to j1 in the long exposure image. The data to be calculated is calculated, and the process proceeds to step S17. The pixel data Ldn corresponds to the region 52 in the band of the long exposure image in FIG.
Output value = Ldn × a1 + c1 (1)
However, the output value is pixel data of the combined image, and the range of the output value is 0 to k1. Further, a1 is a predetermined coefficient, and c1 is a predetermined offset coefficient.

ＤＳＰ１６は、ｎフレームの長露光画像において、たとえば、輝度値がフルスケール（８ビットで例示する場合に２５５）の９０％以上の値に相当する画素データ（長露光画像の帯内の領域５３に対応）については、ｎフレームの短露光画像において対応する輝度値ｊ２以上の画素データに基づいて合成後の画像を求める。具体的には、ＤＳＰ１６がステップＳ１７において画像合成部１９へ指示を送り、輝度値が２３０(=255×0.9)〜２５５に相当する範囲については、短露光画像において輝度値ｊ２以上の画素データＳenに基づいて、次式（２）によって合成後の画像を構成するデータを算出させてステップＳ１８へ進む。画素データＳenは、図５において短露光画像の帯内の領域５１に対応する。
出力値＝Ｓen×ａ４＋ｃ４（２）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲はｋ２〜２５５である。また、ａ４は所定の係数、ｃ４は所定のオフセット係数である。出力値の最大は２５５で制限する。 In the long exposure image of n frames, the DSP 16 has, for example, pixel data corresponding to a value of 90% or more of full scale (255 in the case of 8 bits) (in the region 53 in the band of the long exposure image). For correspondence), an image after synthesis is obtained based on pixel data having a luminance value j2 or more corresponding to a short-exposure image of n frames. Specifically, the DSP 16 sends an instruction to the image composition unit 19 in step S17, and for a range corresponding to a luminance value of 230 (= 255 × 0.9) to 255, pixel data Sen of the luminance value j2 or more in the short exposure image. Based on the above, the data constituting the combined image is calculated by the following equation (2), and the process proceeds to step S18. The pixel data Sen corresponds to the region 51 in the band of the short exposure image in FIG.
Output value = Sen × a4 + c4 (2)
However, the output value is pixel data of the combined image, and the range of the output value is k2 to 255. Further, a4 is a predetermined coefficient, and c4 is a predetermined offset coefficient. The maximum output value is limited to 255.

ＤＳＰ１６は、上述した輝度値ｊ１〜ｊ２に相当する画素データについては、ｎフレームの短露光画像において対応する輝度値の画素データＳjn、ｎフレームの長露光画像において対応する輝度値の画素データＬjnの双方に基づいて合成後の画像を求める。具体的には、ＤＳＰ１６がステップＳ１８において画像合成部１９へ指示を送り、次式（３）によって合成後の画像を構成するデータを算出させる。
出力値＝Ｌjn×ａ２＋ｃ２＋Ｓjn×ａ３＋ｃ３（３）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲はｋ１〜ｋ２である。また、ａ２、ａ３はそれぞれ所定の係数、ｃ２、ｃ３はそれぞれ所定のオフセット係数である。ＤＳＰ１６は、画像合成部１９により以上の合成処理が行われると、ステップＳ１９へ進む。なお、上述した係数ａ１〜ａ４およびオフセット係数ｃ１〜ｃ４は、合成後の出力値ｋ１およびｋ２における階調の継ぎ目を滑らかにするようにあらかじめ定められている。 For the pixel data corresponding to the above-described luminance values j1 to j2, the DSP 16 applies the pixel data Sjn of the luminance value corresponding to the short exposure image of n frames and the pixel data Ljn of the luminance value corresponding to the long exposure image of n frames. An image after synthesis is obtained based on both. Specifically, the DSP 16 sends an instruction to the image composition unit 19 in step S18, and calculates data constituting the image after composition by the following equation (3).
Output value = Ljn * a2 + c2 + Sjn * a3 + c3 (3)
However, the output value is pixel data of the combined image, and the range of the output value is k1 to k2. Further, a2 and a3 are predetermined coefficients, and c2 and c3 are predetermined offset coefficients, respectively. When the above composition processing is performed by the image composition unit 19, the DSP 16 proceeds to step S19. Note that the above-described coefficients a1 to a4 and offset coefficients c1 to c4 are determined in advance so as to smooth the gradation seams in the combined output values k1 and k2.

ステップＳ１５を否定判定したＤＳＰ１６は、(ｎ−１)フレームとｎフレームとの間において主要被写体の動きがあるとみなす。この場合のＤＳＰ１６は、上記注目エリアにおいて、ステップＳ２２の処理からなる画像合成処理を行う。図６は、ステップＳ２２による画像合成処理を説明する図である。図６において、短露光画像の帯は、上記注目エリアにおける短露光画像が取り得る輝度値の範囲を示す。階調合わせ画像の帯は、上記注目エリアにおける短露光画像が取り得る輝度値の範囲を階調合わせのために所定倍したものである。 The DSP 16 that has made a negative determination in step S15 considers that there is a movement of the main subject between the (n−1) frame and the n frame. In this case, the DSP 16 performs an image composition process including the process of step S22 in the attention area. FIG. 6 is a diagram for explaining the image composition processing in step S22. In FIG. 6, a short-exposure image band indicates a range of luminance values that can be taken by the short-exposure image in the area of interest. The band of the gradation matching image is obtained by multiplying the range of luminance values that can be taken by the short exposure image in the area of interest by a predetermined value for gradation matching.

ステップＳ２２において、ＤＳＰ１６は画像合成部１９へ指示を送り、ｎフレームの短露光画像の画素データに基づいて合成後の画像を求めさせる。画像合成部１９は、ｎフレームの短露光画像において、たとえば、輝度値がフルスケール（８ビットで例示する場合に２５５）の１５％の値ｊ１以下に相当する画素データについては、階調合わせ画像において輝度値０〜ｊ１に対応する画素データＬdnに基づいて、上式（１）によって合成後の画像を構成するデータを算出する。画素データＬdnは、図６において階調合わせ画像の帯内の領域６１'に対応する。 In step S <b> 22, the DSP 16 sends an instruction to the image composition unit 19 to obtain a composite image based on the pixel data of the n-frame short-exposure image. In the short exposure image of n frames, the image composition unit 19 performs, for example, a gradation matching image for pixel data corresponding to a value j1 of 15% or less of full scale (255 in the case of 8 bits). Based on the pixel data Ldn corresponding to the luminance values 0 to j1, the data constituting the combined image is calculated by the above equation (1). The pixel data Ldn corresponds to a region 61 ′ in the band of the gradation matching image in FIG.

画像合成部１９はさらに、ｎフレームの階調合わせ画像において、たとえば、輝度値がフルスケール（８ビットで例示する場合に２５５）の９０％以上の値に相当する画素データ（階調合わせ画像の帯内の領域６２'に対応）については、ｎフレームの短露光画像において対応する輝度値ｊ２以上の画素データＳenに基づいて、上式（２）によって合成後の画像を構成するデータを算出する。画素データＳenは、図６において短露光画像の帯内の領域６２に対応する。 The image composition unit 19 further includes, for example, pixel data corresponding to a value of 90% or more of the full scale (255 in the case of 8 bits) in the n-frame gradation-adjusted image. For the region 62 'in the band), the data constituting the combined image is calculated by the above equation (2) based on the pixel data Sen of the luminance value j2 or more corresponding to the short exposure image of n frames. . The pixel data Sen corresponds to the region 62 in the band of the short exposure image in FIG.

また、画像合成部１９は、上述した輝度値ｊ１〜ｊ２に相当する画素データについては、ｎフレームの短露光画像において対応する輝度値の画素データＳjn、ｎフレームの階調合わせ画像において対応する輝度値の画素データＬjnの双方に基づいて上式（３）によって合成後の画像を構成するデータを算出する。ＤＳＰ１６は、画像合成部１９により以上の合成処理が行われると、ステップＳ１９へ進む。 In addition, the pixel image data corresponding to the above-described luminance values j1 to j2 is output from the image composition unit 19 in the n-frame short-exposure image, the corresponding luminance value pixel data Sjn, and the n-frame gradation matching image. Based on both of the value pixel data Ljn, the data constituting the composite image is calculated by the above equation (3). When the above composition processing is performed by the image composition unit 19, the DSP 16 proceeds to step S19.

ステップＳ１９において、ＤＳＰ１６は、画像内の全ての注目エリアについて上記ステップＳ１３〜ステップＳ１８、またはステップＳ１３〜ステップＳ１５およびステップＳ２２の処理を終了したか否かを判定する。ＤＳＰ１６は、注目画素の位置をずらしながら、長露光画像および短露光画像の全域にわたって上述した処理を終了した場合には、ステップＳ１９を肯定判定してステップＳ２０へ進む。ＤＳＰ１６は、全ての注目エリアを対象に上述した処理を終了していない場合にはステップＳ１９を否定判定し、注目画素を１つずらした上でステップＳ１３へ戻り、上述した処理を繰り返す。 In step S19, the DSP 16 determines whether or not the processes in steps S13 to S18 or steps S13 to S15 and step S22 have been completed for all areas of interest in the image. If the DSP 16 ends the above-described processing over the entire area of the long exposure image and the short exposure image while shifting the position of the target pixel, the DSP 16 makes an affirmative determination in step S19 and proceeds to step S20. If the DSP 16 has not finished the above-described processing for all the attention areas, the DSP 16 makes a negative determination in step S19, shifts the attention pixel by one, returns to step S13, and repeats the above-described processing.

ステップＳ２０において、ＤＳＰ１６は、終了指示が行われたか否かを判定する。ＤＳＰ１６は、操作部材２３を構成する録画ボタンから再度操作信号が入力されると、ステップＳ２０を肯定判定して図２による処理を終了する。ＤＳＰ１６は、操作部材２３を構成する録画ボタンから再度操作信号が入力されない場合は、ステップＳ２０を否定判定してステップＳ２１へ進む。 In step S20, the DSP 16 determines whether or not an end instruction has been issued. When the operation signal is input again from the recording button constituting the operation member 23, the DSP 16 makes an affirmative decision in step S20 and ends the processing in FIG. If the operation signal is not input again from the recording button constituting the operation member 23, the DSP 16 makes a negative determination in step S20 and proceeds to step S21.

ステップＳ２１において、ＤＳＰ１６は、対象とするフレーム番号ｎを１つ進めてステップＳ１１へ戻り、上述した処理を繰り返す。なお、録画中（動画取得中）のＤＳＰ１６が２フレーム目以降の撮影条件を設定する際、撮像センサー１１の感度および不図示の絞り値を固定したままとし、露光時間ＴおよびＴ／２を変化させることによって撮影条件を変更する。たとえば、短露光画像Ｓにおける最高輝度値をフルスケール（８ビットで例示する場合に２５５）の５０％以下に抑えるように短露光画像用の露光時間Ｔ'／２を決定し、さらに短露光用の露光時間Ｔ'／２の２倍の露光時間Ｔ'を長露光画像用の露光時間Ｔ'とする。なお、本例の場合はＴ'の値の上限は１／６０秒であるので、高輝度の被写体が現れた場合は必要に応じて露光時間を短く変更し、被写体の輝度が低下した場合は露光時間を長くする上限を１／６０秒とする。 In step S21, the DSP 16 advances the target frame number n by one, returns to step S11, and repeats the above-described processing. When the DSP 16 during recording (during moving image acquisition) sets the shooting conditions for the second and subsequent frames, the sensitivity of the image sensor 11 and the aperture value (not shown) remain fixed, and the exposure times T and T / 2 are changed. To change the shooting conditions. For example, the exposure time T ′ / 2 for the short exposure image is determined so that the maximum luminance value in the short exposure image S is suppressed to 50% or less of the full scale (255 in the case of 8 bits), and further for short exposure. The exposure time T ′ that is twice the exposure time T ′ / 2 is defined as the exposure time T ′ for the long exposure image. In the case of this example, the upper limit of the value of T ′ is 1/60 second. Therefore, when a high-luminance subject appears, the exposure time is changed as necessary to reduce the luminance of the subject. The upper limit for increasing the exposure time is 1/60 seconds.

図３において、ｎフレームの長露光画像Ｌｎの取得が終われば、長露光画像についての隣接フレーム間の輝度差を算出（ステップＳ１３）でき、ｎフレームの短露光画像Ｓｎの取得が終われば、短露光画像についての隣接フレーム間の輝度差を算出（ステップＳ１３）できる。ステップＳ１６〜Ｓ１８による合成処理、またはステップＳ２２による合成処理後の高ダイナミックレンジ画像（HDR画像）は、両輝度差についてそれぞれ判定閾値との比較が終われば算出できる。なお、図３ではｎフレームの短露光画像Ｓｎおよびｎフレームの長露光画像Ｌｎに基づく合成処理後のｎフレームのHDR画像を画像Ｒｎと表す。同様に、(ｎ＋１)フレームの短露光画像Ｓ(n+1)および(ｎ＋１)フレームの長露光画像Ｌ(n+1)に基づく合成処理後の(ｎ＋１)フレームのHDR画像を画像Ｒ(n+1)と表す。 In FIG. 3, when the acquisition of the n-frame long exposure image Ln is completed, the luminance difference between the adjacent frames for the long exposure image can be calculated (step S13), and the acquisition of the n-frame short exposure image Sn is completed. The luminance difference between adjacent frames for the exposure image can be calculated (step S13). The high dynamic range image (HDR image) after the synthesizing process in steps S16 to S18 or the synthesizing process in step S22 can be calculated when the comparison between the two luminance differences and the determination threshold is completed. In FIG. 3, the n-frame HDR image after the synthesis process based on the n-frame short-exposure image Sn and the n-frame long-exposure image Ln is represented as an image Rn. Similarly, the HDR image of (n + 1) frames after the synthesis processing based on the short exposure image S (n + 1) of (n + 1) frames and the long exposure image L (n + 1) of (n + 1) frames is represented as an image R (n +1).

以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラは、連続するフレームの各フレームにおいて露光時間が異なる複数の画像Ｓ、Ｌをそれぞれ取得する撮像センサー１１、フロントエンド部１２、ＤＳＰ１６と、露光時間が異なる複数の画像Ｓ、Ｌに基づいて合成画像Ｒを生成する画像合成部１９と、露光時間が異なる複数の画像Ｓ、Ｌごとに、ｎフレーム目と(ｎ−１)フレーム目との間の輝度差をそれぞれ検出する輝度差検出部１８と、輝度差検出部１８によって検出された複数の画像Ｓ、Ｌごとの輝度差に基づいて、画像合成部１９がｎフレーム目に対する合成画像Ｒｎを生成する際に異なる合成処理をさせるＤＳＰ１６と、を備えるようにしたので、動画像に対して適切にダイナミックレンジ拡大処理を行うことができる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The electronic camera includes an imaging sensor 11, a front end unit 12, and a DSP 16 that respectively acquire a plurality of images S and L having different exposure times in each of consecutive frames, and a plurality of images S and L having different exposure times. And a luminance for detecting a luminance difference between the nth frame and the (n−1) th frame for each of a plurality of images S and L having different exposure times. Based on the luminance difference for each of the images S and L detected by the difference detection unit 18 and the luminance difference detection unit 18, different composition processing is performed when the image composition unit 19 generates a composite image Rn for the nth frame. Therefore, the dynamic range expansion process can be appropriately performed on the moving image.

（２）上記（１）の電子カメラにおいて、ＤＳＰ１６は、輝度差検出部１８によって検出された複数の画像Ｓ、Ｌごとの輝度差の全てが所定値以下の場合に画像合成部１９にＳ１６〜Ｓ１８による合成処理を行わせ、複数の画像Ｓ、Ｌごとの輝度差のうち少なくとも１つが所定値を超える場合に画像合成部１９にＳ２２による合成処理を行わせるようにした。これにより、輝度差の検出結果に基づいて適切に主要被写体の動きの有無を判断できる。そして、主要被写体の動きの有無を適切に判断したことで、動きのない場合にのみ選択的にダイナミックレンジ拡大処理を行える。動きがある場合は異なる処理を施し、動きがある被写体にダイナミックレンジ拡大処理を行うことによって生じるぶれなどの発生を防止できる。 (2) In the electronic camera of the above (1), the DSP 16 causes the image composition unit 19 to perform S16 to S16 when all of the luminance differences for the plurality of images S and L detected by the luminance difference detection unit 18 are equal to or less than a predetermined value. The composition processing by S18 is performed, and when at least one of the luminance differences for each of the plurality of images S and L exceeds a predetermined value, the image composition unit 19 performs the composition processing by S22. Accordingly, it is possible to appropriately determine whether or not the main subject moves based on the detection result of the luminance difference. Then, by appropriately determining the presence or absence of the movement of the main subject, the dynamic range expansion process can be selectively performed only when there is no movement. When there is motion, different processing is performed, and the occurrence of blurring or the like caused by performing dynamic range expansion processing on a subject with motion can be prevented.

（３）上記（２）の電子カメラにおいて、Ｓ１６〜Ｓ１８による合成処理は、露光時間が最短の短露光画像における第１輝度値ｊ１以下に対応する合成データを露光時間が最長の長露光画像における第１輝度値ｊ１以下に対応する画像データＬdnを用いて生成し、長露光画像における第２輝度値ｊ２以上に対応する合成データを短露光画像における第２輝度値ｊ２以上に対応する画像データＳenを用いて生成し、短露光画像における第１輝度値ｊ１から第２輝度値ｊ２に対応する合成データを、露光時間が異なる複数の画像Ｓ、Ｌの第１輝度値ｊ１から第２輝度値ｊ２に対応する画像データＳjn、Ｌjnを用いて生成する。たとえば、短露光画像において黒つぶれのおそれがある第１輝度値ｊ１以下については、長露光画像において対応する画像データＬdnを用いたので、黒つぶれの影響を抑えることができる。また、長露光画像において白飛びのおそれがある第２輝度値ｊ２以上については、短露光画像において対応する画像データＳenを用いたので、白飛びの影響を抑えることができる。上記第１輝度値ｊ１から第２輝度値ｊ２の範囲は、複数の画像Ｓ、Ｌにおいて対応する画像データＳjn、Ｌjnを用いて生成するので、滑らかな階調でダイナミックレンジを拡大できる。 (3) In the electronic camera of (2) above, the composition processing in S16 to S18 is performed by combining the composition data corresponding to the first luminance value j1 or less in the short exposure image with the shortest exposure time in the long exposure image with the longest exposure time. Image data Sen generated using the image data Ldn corresponding to the first luminance value j1 or less, and the combined data corresponding to the second luminance value j2 or more in the long exposure image is the image data Sen corresponding to the second luminance value j2 or more in the short exposure image. And the combined data corresponding to the first luminance value j1 to the second luminance value j2 in the short-exposure image are converted into the first luminance value j1 to the second luminance value j2 of the images S and L having different exposure times. Is generated using image data Sjn and Ljn corresponding to. For example, for the first luminance value j1 or less that may cause blackout in a short-exposure image, the corresponding image data Ldn is used in the long-exposure image, so that the influence of blackout can be suppressed. In addition, for the second luminance value j2 or more that may cause whiteout in the long exposure image, the corresponding image data Sen is used in the short exposure image, so that the influence of whiteout can be suppressed. Since the range from the first luminance value j1 to the second luminance value j2 is generated using the corresponding image data Sjn and Ljn in the plurality of images S and L, the dynamic range can be expanded with smooth gradation.

（４）上記（２）の電子カメラにおいて、Ｓ２２による合成処理は、露光時間が最短の短露光画像における画像データを用いて合成データを生成するので、何もせずに短露光画像を出力する場合と異なり、ダイナミックレンジを拡大したフレーム画像とダイナミックレンジを拡大しないフレーム画像との間の違和感を軽減することができる。 (4) In the electronic camera of (2) above, the composition processing in S22 generates composite data using the image data of the short exposure image with the shortest exposure time, so that the short exposure image is output without doing anything. Unlike the above, it is possible to reduce a sense of incongruity between a frame image with an expanded dynamic range and a frame image without an expanded dynamic range.

（５）上記（４）の電子カメラにおいて、Ｓ２２による合成処理は、短露光画像における画像データに対する階調合わせ処理を含むので、ダイナミックレンジを拡大したフレーム画像とダイナミックレンジを拡大しない場合のフレーム画像との間で、階調に起因する違和感をさらに軽減することができる。 (5) In the electronic camera of the above (4), since the composition processing in S22 includes gradation matching processing for image data in a short exposure image, a frame image in which the dynamic range is expanded and a frame image in the case where the dynamic range is not expanded The uncomfortable feeling caused by the gradation can be further reduced.

（６）上記（１）〜（５）の電子カメラにおいて、輝度差検出部１８は所定の注目エリアごとに輝度差を検出し、画像合成部１９は注目エリアごとに合成画像を生成するので、高精細の合成処理を行うことができる。 (6) In the electronic cameras of the above (1) to (5), the luminance difference detection unit 18 detects a luminance difference for each predetermined attention area, and the image composition unit 19 generates a composite image for each attention area. High-definition synthesis processing can be performed.

（変形例１）
上記実施形態では、長露光画像についての隣接フレーム間の輝度差、および短露光画像についての隣接フレーム間の輝度差の双方が判定閾値以内である場合に当該隣接フレーム画像間で主要被写体の動きがないとみなす例を説明した。この代わりに、少なくとも最も短い露光画像について隣接フレーム間の輝度差が判定閾値以内であれば、当該隣接フレーム画像間で主要被写体の動きがないとみなすようにしてもよい。この場合、最も短い露光画像について隣接フレーム間の輝度差が判定閾値を超えれば、当該隣接フレーム画像間で主要被写体の動きがあるとみなす。 (Modification 1)
In the above embodiment, when both the luminance difference between adjacent frames for the long exposure image and the luminance difference between adjacent frames for the short exposure image are within the determination threshold, the movement of the main subject between the adjacent frame images is He explained an example that he considered not. Instead, if at least the shortest exposure image has a luminance difference between adjacent frames within the determination threshold, it may be considered that there is no movement of the main subject between the adjacent frame images. In this case, if the luminance difference between adjacent frames for the shortest exposure image exceeds the determination threshold, it is considered that there is a movement of the main subject between the adjacent frame images.

（変形例２）
上述した説明では、１フレームの１／２の時間Ｔを長露光画像用の露光時間とし、Ｔ／２を短露光画像用の露光時間とする例を説明した。この代わりに、１フレームの２／３の時間Ｔｘを長露光画像用の露光時間とし、Ｔｘ／２(＝１／３フレーム)を短露光画像用の露光時間としてもよい。この場合は、１フレームの中で非露光の時間をなくすことができる。 (Modification 2)
In the above description, an example has been described in which a time T that is ½ of one frame is an exposure time for a long exposure image and T / 2 is an exposure time for a short exposure image. Alternatively, 2/3 time Tx of one frame may be set as the exposure time for the long exposure image, and Tx / 2 (= 1/3 frame) may be set as the exposure time for the short exposure image. In this case, the non-exposure time can be eliminated in one frame.

（変形例３）
１フレームにおいて、先に長露光画像を取得してから短露光画像を取得する例を説明したが、先に短露光画像を取得してから長露光画像を取得する構成にしても構わない。 (Modification 3)
Although an example of acquiring a short exposure image after acquiring a long exposure image first in one frame has been described, a configuration may be adopted in which a long exposure image is acquired after acquiring a short exposure image first.

（変形例４）
上述した説明では、１フレーム内で異なる露光時間による２つの露光画像を得る例を説明したが、異なる露光時間による複数の露光画像は、２つに限ることなく、３つでも４つでもよい。３つの露光画像を得る場合には、たとえば、１フレームの１／２の時間Ｔを１番長い露光時間とし、Ｔ／２を２番目の露光時間とし、Ｔ／４を３番目の露光時間とすることにより、１フレーム内で異なる露光時間による３つの露光画像が得られる。この場合は、上記ステップＳ１８に相当する処理において、３つの露光画像に基づいて合成後の画像を求めることから、合成画像出力の中間階層域（ｋ１〜ｋ２の範囲）を滑らかに表現でき、高品位の画像が得られる。 (Modification 4)
In the above description, an example in which two exposure images with different exposure times are obtained within one frame has been described. However, the number of exposure images with different exposure times is not limited to two, and may be three or four. In the case of obtaining three exposure images, for example, a time T that is 1/2 of one frame is set as the longest exposure time, T / 2 is set as the second exposure time, and T / 4 is set as the third exposure time. By doing so, three exposure images with different exposure times within one frame are obtained. In this case, in the process corresponding to step S18, an image after synthesis is obtained based on the three exposure images, so that the intermediate layer area (range k1 to k2) of the synthesized image output can be expressed smoothly. A quality image is obtained.

（変形例５）
また、１フレーム内で異なる露光時間による３つの露光画像を得る場合に、１フレームの４／７の時間Ｔｙを１番長い露光時間とし、Ｔｙ／２(＝２／７フレーム)を２番目の露光時間とし、Ｔｙ／４(＝１／７フレーム)を３番目の露光時間とする。変形例５の場合も、１フレームの中で非露光の時間をなくすことができる。 (Modification 5)
Also, when obtaining three exposure images with different exposure times within one frame, the 4/7 time Ty of one frame is the longest exposure time, and Ty / 2 (= 2/7 frames) is the second. Let exposure time be Ty / 4 (= 1/7 frame) as the third exposure time. In the case of the modified example 5, the non-exposure time can be eliminated in one frame.

（変形例６）
上述したダイナミックレンジの拡大処理において、隣接フレームを加算することによってノイズ低減をはかってもよい。この場合、上式（１）〜（３）に代えて、それぞれ次式（４）〜（６）を用いる。
出力値＝(Ｌd(n-1)+Ｌdn)×ｂ１＋ｄ１（４）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲は０〜ｋ１である。Ｌd(n-1)は(ｎ−１)フレームの長露光画像において対応する輝度値の画素データ、Ｌdnはｎフレームの長露光画像において対応する輝度値の画素データである。また、ｂ１は所定の係数、ｄ１は所定のオフセット係数である。 (Modification 6)
In the dynamic range expansion process described above, noise may be reduced by adding adjacent frames. In this case, it replaces with said Formula (1)-(3), and uses following Formula (4)-(6), respectively.
Output value = (Ld (n-1) + Ldn) * b1 + d1 (4)
However, the output value is pixel data of the combined image, and the range of the output value is 0 to k1. Ld (n-1) is the pixel data of the corresponding luminance value in the (n-1) frame long exposure image, and Ldn is the pixel data of the corresponding luminance value in the n frame long exposure image. Further, b1 is a predetermined coefficient, and d1 is a predetermined offset coefficient.

出力値＝(Ｓe(n-1)+Ｓen)×ｂ４＋ｄ４（５）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲はｋ２〜２５５である。Ｓe(n-1)は(ｎ−１)フレームの短露光画像において対応する輝度値の画素データ、Ｓenはｎフレームの短露光画像において対応する輝度値の画素データである。また、ｂ４は所定の係数、ｄ４は所定のオフセット係数である。 Output value = (Se (n−1) + Sen) × b4 + d4 (5)
However, the output value is pixel data of the combined image, and the range of the output value is k2 to 255. Se (n-1) is the pixel data of the corresponding luminance value in the (n-1) frame short exposure image, and Sen is the pixel data of the corresponding luminance value in the n frame short exposure image. Further, b4 is a predetermined coefficient, and d4 is a predetermined offset coefficient.

出力値＝(Ｌj(n-1)+Ｌjn)×ｂ２＋ｄ２＋(Ｓj(n-1)+Ｓjn)×ｂ３＋ｄ３（６）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲はｋ１〜ｋ２である。Ｌj(n-1)は(ｎ−１)フレームの長露光画像において対応する輝度値の画素データ、Ｌjnはｎフレームの長露光画像において対応する輝度値の画素データである。Ｓj(n-1)は(ｎ−１)フレームの短露光画像において対応する輝度値の画素データ、Ｓjnはｎフレームの短露光画像において対応する輝度値の画素データである。また、ｂ２、ｂ３はそれぞれ所定の係数、ｄ２、ｄ３はそれぞれ所定のオフセット係数である。 Output value = (Lj (n-1) + Ljn) * b2 + d2 + (Sj (n-1) + Sjn) * b3 + d3 (6)
However, the output value is pixel data of the combined image, and the range of the output value is k1 to k2. Lj (n-1) is pixel data of the corresponding luminance value in the long exposure image of (n-1) frames, and Ljn is pixel data of the corresponding luminance value in the long exposure image of n frames. Sj (n-1) is the pixel data of the corresponding luminance value in the (n-1) frame short exposure image, and Sjn is the pixel data of the corresponding luminance value in the n frame short exposure image. Further, b2 and b3 are predetermined coefficients, respectively, and d2 and d3 are predetermined offset coefficients, respectively.

変形例６によれば、画像の取得時刻が異なる隣接フレームの画像を加算するようにしたので、フレーム間で平滑化されるため、ランダムノイズの低減に有効である。なお、連続するフレーム画像を平滑化する変形例６以外の手法として、たとえば、上式（１）〜（３）を用いて合成処理した後の画像に対し、後から公知の3D-NR手法を採用してもよい。 According to the modified example 6, since the images of adjacent frames having different image acquisition times are added, smoothing is performed between frames, which is effective in reducing random noise. As a method other than the modified example 6 for smoothing continuous frame images, for example, a known 3D-NR method is used later on an image after the synthesis processing using the above equations (1) to (3). It may be adopted.

（変形例７）
１フレーム内において短い露光時間のみで複数の画像を取得してもよい。たとえば、１フレームの１／４の露光時間Ｔzで４つの画像を取得する。取得時刻が隣接する画像間で主要被写体の動きがないとみなす場合（すなわち、対応する注目エリアの輝度差が判定閾値以内の場合）は、４つの画像を加算して合成することにより、ランダムノイズの低減が図れる。動きがあるとみなす場合（すなわち、対応する注目エリアの輝度差が判定閾値を超える場合）は、合成後の階調を維持できるように合成する画像の数に応じたゲイン処理を行う。低輝度域から高輝度域までを細分化して合成する画像の数を設定することにより、ハイコントラストの被写体を再現できる。露光時間や合成する画像の数は、被写体条件やＲＡＭ１７にバッファできる画像数によって適宜設定してよい。なお、上述した説明において、ゲイン処理（階調合わせ）はゲインコントロールによって行う他に、ルックアップテーブル(LUT)を用いた輝度階調変換処理として行う構成にしてもよい。 (Modification 7)
A plurality of images may be acquired with only a short exposure time within one frame. For example, four images are acquired with an exposure time Tz that is 1/4 of one frame. When it is considered that there is no movement of the main subject between images whose acquisition times are adjacent (that is, when the luminance difference of the corresponding attention area is within the determination threshold), the four images are added and combined to generate random noise. Can be reduced. When it is considered that there is movement (that is, when the luminance difference of the corresponding attention area exceeds the determination threshold), gain processing is performed according to the number of images to be combined so that the combined gradation can be maintained. A high-contrast subject can be reproduced by setting the number of images to be synthesized by subdividing the low-brightness range to the high-brightness range. The exposure time and the number of images to be combined may be appropriately set according to the subject conditions and the number of images that can be buffered in the RAM 17. In the above description, gain processing (gradation adjustment) may be performed as luminance gradation conversion processing using a look-up table (LUT) in addition to gain control.

（変形例８）
以上の説明では、画像の注目エリアについて輝度差を検出し、該注目エリアごとに画像合成処理を施す例を説明した。この代わりに、画像の注目エリアについて輝度差を検出し、画像合成処理は画像全体で行うようにしてもよい。この場合は、少なくとも１つの注目エリアで動きがあるとみなす場合（すなわち、少なくとも１つの注目エリアで輝度差が判定閾値を超える場合）は、画像の全域についてステップＳ２２に相当する合成処理を行う。一方、全ての注目エリアで動きがないとみなす場合（すなわち、全ての注目エリアの輝度差が判定閾値以下の場合）は、画像の全域についてステップＳ１６〜Ｓ１８に相当する合成処理を行う。 (Modification 8)
In the above description, the example in which the luminance difference is detected for the attention area of the image and the image composition process is performed for each attention area has been described. Instead, a luminance difference may be detected for the attention area of the image, and the image composition process may be performed on the entire image. In this case, when it is considered that there is movement in at least one attention area (that is, when the luminance difference exceeds the determination threshold in at least one attention area), the synthesis process corresponding to step S22 is performed on the entire area of the image. On the other hand, when it is considered that there is no movement in all the attention areas (that is, when the luminance difference of all the attention areas is equal to or smaller than the determination threshold), the synthesis process corresponding to steps S16 to S18 is performed on the entire area of the image.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。 The above description is merely an example, and is not limited to the configuration of the above embodiment.

１１…撮像センサー
１２…フロントエンド部
１６…ＤＳＰ
１７…ＲＡＭ
１８…輝度差検出部
１９…画像合成部
２３…操作部材
Ｌn-1、Ｌn、Ｌn+1…長露光画像
Ｒn、Ｒn+1…合成画像
Ｓn-1、Ｓn、Ｓn+1…短露光画像 11 ... Imaging sensor 12 ... Front end 16 ... DSP
17 ... RAM
18 ... Luminance difference detection unit 19 ... Image composition unit 23 ... Operation members Ln-1, Ln, Ln + 1 ... Long exposure image Rn, Rn + 1 ... Composite image Sn-1, Sn, Sn + 1 ... Short exposure image

Claims

連続するフレームの各フレームにおいて露光時間が異なる複数の画像をそれぞれ取得する撮像手段と、
前記露光時間が異なる複数の画像に基づいて合成画像を生成する画像合成手段と、
前記露光時間が異なる複数の画像ごとに、ｎフレーム目と(ｎ−１)フレーム目との間の輝度差をそれぞれ検出する輝度差検出手段と、
前記輝度差検出手段によって検出された前記複数の画像ごとの輝度差に基づいて、前記画像合成手段が前記ｎフレーム目に対する合成画像を生成する際に異なる合成処理をさせる制御手段と、
を備えることを特徴とする撮像装置。 Imaging means for acquiring a plurality of images with different exposure times in each of successive frames;
Image synthesis means for generating a synthesized image based on a plurality of images having different exposure times;
A luminance difference detecting means for detecting a luminance difference between the nth frame and the (n−1) th frame for each of the plurality of images having different exposure times;
Control means for performing different composition processing when the image composition means generates a composite image for the n-th frame based on the brightness difference for each of the plurality of images detected by the brightness difference detection means;
An imaging apparatus comprising:

請求項１に記載の撮像装置において、
前記制御手段は、前記輝度差検出手段によって検出された前記複数の画像ごとの輝度差のうち、少なくとも前記露光時間が最短の画像における輝度差が所定値以下の場合に前記画像合成手段に第１の合成処理を行わせ、前記露光時間が最短の画像における輝度差が前記所定値を超える場合に前記画像合成手段に第２の合成処理を行わせることを特徴とする撮像装置。 The imaging device according to claim 1,
The control means first sets the image synthesizing means when the brightness difference in the image with the shortest exposure time is equal to or less than a predetermined value among the brightness differences of the plurality of images detected by the brightness difference detecting means. And an image synthesizing unit that causes the image synthesizing unit to perform the second synthesizing process when the luminance difference in the image with the shortest exposure time exceeds the predetermined value.

請求項１に記載の撮像装置において、
前記制御手段は、前記輝度差検出手段によって検出された前記複数の画像ごとの輝度差の全てが所定値以下の場合に前記画像合成手段に第１の合成処理を行わせ、前記複数の画像ごとの輝度差のうち少なくとも１つが前記所定値を超える場合に前記画像合成手段に第２の合成処理を行わせることを特徴とする撮像装置。 The imaging device according to claim 1,
The control means causes the image composition means to perform a first composition process when all of the brightness differences for the plurality of images detected by the brightness difference detection means are equal to or less than a predetermined value, and for each of the plurality of images. An image pickup apparatus that causes the image composition unit to perform a second composition process when at least one of the luminance differences exceeds the predetermined value.

請求項２または３に記載の撮像装置において、
前記第１の合成処理は、前記露光時間が最短のＳ画像における第１輝度値以下に対応する合成データを前記露光時間が最長のＬ画像における前記第１輝度値以下に対応する画像データを用いて生成し、
前記Ｌ画像における第２輝度値以上に対応する合成データを前記Ｓ画像における前記第２輝度値以上に対応する画像データを用いて生成し、
前記Ｓ画像における前記第１輝度値から前記第２輝度値に対応する合成データを、前記露光時間が異なる複数の画像の全てにおいて前記第１輝度値から前記第２輝度値に対応する画像データを用いて生成することを特徴とする撮像装置。 In the imaging device according to claim 2 or 3,
In the first combining process, combined data corresponding to the first luminance value or less in the S image having the shortest exposure time is used as image data corresponding to the first luminance value or less in the L image having the longest exposure time. Generated,
Generating composite data corresponding to the second luminance value or more in the L image using image data corresponding to the second luminance value or more in the S image;
The combined data corresponding to the second luminance value from the first luminance value in the S image, and the image data corresponding to the second luminance value from the first luminance value in all of the plurality of images having different exposure times. An imaging device characterized by being generated by using.

請求項２または３に記載の撮像装置において、
前記第２の合成処理は、前記露光時間が最短のＳ画像における画像データを用いて合成データを生成することを特徴とする撮像装置。 In the imaging device according to claim 2 or 3,
The imaging apparatus according to claim 2, wherein the second combining process generates combined data using image data of the S image with the shortest exposure time.

請求項５に記載の撮像装置において、
前記第２の合成処理は、前記Ｓ画像における画像データに対する階調合わせ処理を含むことを特徴とする撮像装置。 The imaging apparatus according to claim 5,
The image pickup apparatus, wherein the second combining process includes a gradation matching process for image data in the S image.

請求項１〜６のいずれか一項に記載の撮像装置において、
前記輝度差検出手段は、所定の画像領域ごとに前記輝度差を検出し、
前記画像合成手段は、前記画像領域ごとに合成画像を生成することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 6,
The brightness difference detecting means detects the brightness difference for each predetermined image area,
The imaging apparatus, wherein the image synthesis means generates a synthesized image for each image area.