JP4622809B2

JP4622809B2 - Imaging device

Info

Publication number: JP4622809B2
Application number: JP2005315392A
Authority: JP
Inventors: 透落合; 啓一新田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2005-10-28
Filing date: 2005-10-28
Publication date: 2011-02-02
Anticipated expiration: 2025-10-28
Also published as: JP2007124396A

Description

本発明は、被写体像を連続的に撮像して動画像を生成する撮像装置に関する。 The present invention relates to an imaging apparatus that continuously captures a subject image and generates a moving image.

従来より、動画像の生成において、合焦位置が徐々に変化する映像効果を有する動画像を生成する技術が考えられている（例えば、特許文献１参照）。特許文献１の発明では、合焦状態を変化させて２枚の静止画像を撮影し、これらを合成して、画像における合焦位置が徐々に変化する映像効果を有する動画像を生成している。
特開２００２−２９０８３１号公報 Conventionally, in the generation of moving images, a technique for generating a moving image having a video effect in which the in-focus position gradually changes has been considered (for example, see Patent Document 1). In the invention of Patent Document 1, two still images are captured while changing the in-focus state, and these are combined to generate a moving image having a video effect in which the in-focus position in the image gradually changes. .
JP 2002-290831 A

しかし、上述した特許文献１の発明では、合成の際に画像における被写体の位置に基づいて位置合わせを行う。そのため、２枚の静止画像を撮影している間に被写体が移動した場合、被写体が実際には移動しているにもかかわらず、被写体の位置が変化しない動画像が生成される。
本発明の撮像装置は、被写体の位置の時間的変化に応じたボケ効果を付加した動画像を迅速、容易に生成可能とすることを目的とする。 However, in the invention of Patent Document 1 described above, alignment is performed based on the position of the subject in the image at the time of synthesis. Therefore, when the subject moves while two still images are being captured, a moving image is generated in which the subject position does not change even though the subject is actually moving.
An object of the present invention is to make it possible to quickly and easily generate a moving image to which a blur effect corresponding to a temporal change in the position of a subject is added.

本発明の撮像装置は、移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する撮像部と、前記動画像の生成に並行して、前記複数フレームの第１画像それぞれの画面内全領域について、高域空間周波数成分を抑制して、前記第１画像の各フレームに対応づけられた前記複数フレームの第２画像を生成する画像生成部と、前記複数フレームの第１画像のそれぞれを、その画像に含まれる前記移動する被写体像の画面内位置に応じて、複数の領域に分割する分割部と、前記複数フレームの第１画像とその画像に対応する前記第２画像とを合成する際の混合比を、前記複数の領域ごとに決定する決定部と、前記複数フレームの第１画像とその画像に対応する前記第２画像とを、前記混合比に基づいて、前記複数の領域ごとに合成して前記複数フレームの第３画像を生成する合成部とを備える。 An imaging apparatus according to the present invention continuously captures a moving subject image and generates a moving image composed of first images of a plurality of frames, and in parallel with the generation of the moving image, the plurality of images An image generating unit that suppresses a high-frequency spatial frequency component and generates the second image of the plurality of frames associated with each frame of the first image for the entire area in the screen of each first image of the frame; A dividing unit that divides each of the first images of the plurality of frames into a plurality of regions according to a position in the screen of the moving subject image included in the images, a first image of the plurality of frames, and the image The determination unit that determines a mixing ratio for combining the corresponding second image for each of the plurality of regions, the first image of the plurality of frames, and the second image corresponding to the image, Based on the ratio before Synthesized and for each of a plurality of regions and a synthesizing unit which generates a third image of said plurality of frames.

なお、好ましくは、前記決定部は、前記複数の領域のうち前記被写体像を含む領域については、前記第１画像と前記第２画像との何れか一方の画像の混合比を他方の画像の混合比よりも大きく決定し、前記複数の領域のうち前記被写体像を含む領域を除く領域については、前記第１画像と前記第２画像とのうち前記他方の画像の混合比を前記一方の画像の混合比よりも大きく決定しても良い。 Preferably, for the region including the subject image among the plurality of regions, the determination unit sets a mixing ratio of one of the first image and the second image to a mixture of the other image. The region of the plurality of regions excluding the region including the subject image is set to a mixture ratio of the other image of the first image and the second image. It may be determined larger than the mixing ratio.

また、好ましくは、前記移動する被写体像の動き量を算出する動き検出部をさらに備え、前記決定部は、前記被写体像の動き量に応じて、前記被写体像を含む領域、または前記被写体像を含む領域を除く領域における前記混合比を決定しても良い。
また、好ましくは、前記動画像の生成に並行して、前記撮像装置から前記被写体までの距離に関する情報を随時取得する取得部をさらに備え、前記決定部は、前記距離に関する情報に基づいて、前記混合比を決定しても良い。 Preferably, the apparatus further includes a motion detection unit that calculates a motion amount of the moving subject image, and the determination unit determines a region including the subject image or the subject image according to the motion amount of the subject image. You may determine the said mixture ratio in the area | region except the area | region to include.
Preferably, in parallel with the generation of the moving image, the information processing apparatus further includes an acquisition unit that acquires information about the distance from the imaging device to the subject as needed, and the determination unit is based on the information about the distance, The mixing ratio may be determined.

また、好ましくは、前記動画像を表示する表示部をさらに備え、前記撮像部は、予備的な撮像により構図確認用の動画像であるスルー画像を生成し、前記表示部は、前記スルー画像の生成動作と並行して、前記合成部により生成した前記複数フレームの第３画像によ
り構成される動画像の表示を行っても良い。
本発明の別の撮像装置は、移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する第１撮像部と、前記第１撮像部と同期して前記移動する被写体像を連続的に撮像して、前記第１画像よりも画素数が少なく、かつ、焦点調節または露光量決定用の複数フレームの第２画像を生成する第２撮像部と、前記複数フレームの第１画像のそれぞれを、その画像に含まれる前記移動する被写体像の画面内位置に応じて、複数の領域に分割する分割部と、前記複数フレームの第１画像とその画像に対応する前記第２画像とを合成する際の混合比を、前記複数の領域ごとに決定する決定部と、前記複数フレームの第１画像とその画像に対応する前記第２画像とを、前記混合比に基づいて、前記複数の領域ごとに合成して前記複数フレームの第３画像を生成する合成部とを備える。 Preferably, the display device further includes a display unit that displays the moving image, the imaging unit generates a through image that is a moving image for composition confirmation by preliminary imaging, and the display unit In parallel with the generation operation, a moving image composed of the third images of the plurality of frames generated by the combining unit may be displayed.
Another imaging apparatus according to the present invention continuously captures a moving subject image and generates a moving image composed of a plurality of frames of first images, and synchronizes with the first imaging unit. A second imaging unit that continuously captures the moving subject image and generates a second image having a smaller number of pixels than the first image and a plurality of frames for focus adjustment or exposure amount determination; A dividing unit that divides each of the first images of the plurality of frames into a plurality of regions according to a position in the screen of the moving subject image included in the images, a first image of the plurality of frames, and the image The determination unit that determines a mixing ratio for combining the corresponding second image for each of the plurality of regions, the first image of the plurality of frames, and the second image corresponding to the image, Based on the ratio, for each of the plurality of regions To and a synthesis unit that generates a third image of said plurality of frames.

本発明の撮像装置によれば、被写体の位置の時間的変化に応じたボケ効果を付加した動画像を迅速、容易に生成することができる。 According to the imaging apparatus of the present invention, it is possible to quickly and easily generate a moving image to which a blur effect corresponding to a temporal change in the position of a subject is added.

以下、図面を用いて本発明の実施形態について説明する。なお、以下の実施形態では、本発明の撮像装置の一例として、電子カメラを用いて説明を行う。
≪第１実施形態≫
図１は、第１実施形態の電子カメラの構成を示すブロック図である。
電子カメラ１は、撮影レンズ１１と、レンズ駆動部（回路）１２と、撮像素子１３と、信号処理部（回路）１４と、画像処理部（回路）１５と、圧縮伸長処理部（回路）１６と、カードＩ／Ｆ１７と、操作部材１８と、表示制御部（回路）１９と、モニタ２０と、測光部（回路）２１と、ＣＰＵ２２と、データバス２３とを有する。なお、信号処理部１４、画像処理部１５、圧縮伸長処理部１６、カードＩ／Ｆ１７、表示制御部１９およびＣＰＵ２２は、データバス２３を介して接続される。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following embodiments, an electronic camera is used as an example of the imaging apparatus of the present invention.
<< First Embodiment >>
FIG. 1 is a block diagram showing the configuration of the electronic camera of the first embodiment.
The electronic camera 1 includes a photographing lens 11, a lens driving unit (circuit) 12, an image sensor 13, a signal processing unit (circuit) 14, an image processing unit (circuit) 15, and a compression / decompression processing unit (circuit) 16. A card I / F 17, an operation member 18, a display control unit (circuit) 19, a monitor 20, a photometry unit (circuit) 21, a CPU 22, and a data bus 23. The signal processing unit 14, the image processing unit 15, the compression / decompression processing unit 16, the card I / F 17, the display control unit 19, and the CPU 22 are connected via a data bus 23.

撮影レンズ１１は、不図示のズームレンズを含む複数のレンズにより構成され、ズーム時および焦点調節時にはレンズ駆動部１２より光軸方向に駆動調整される。
撮像素子１３は、撮影レンズ１１を通過した光速を光電変換して被写体像のアナログ画像信号を生成する。撮像素子１３は、静止画像の撮像、静止画像の連続撮像、および動画像の撮像が可能な撮像素子であり、例えば、ＣＣＤ撮像素子、ＣＭＯＳ型撮像素子などで構成される。なお、撮像素子１３は、非レリーズ時にも所定間隔ごとに被写体を露光してアナログ画像信号（スルー画像信号）を出力することができる。このスルー画像信号は、それぞれ後述のＡＦ演算およびＡＥ演算やファインダ用画像の生成などに使用される。 The photographing lens 11 includes a plurality of lenses including a zoom lens (not shown), and is driven and adjusted by the lens driving unit 12 in the optical axis direction during zooming and focus adjustment.
The image sensor 13 photoelectrically converts the speed of light that has passed through the photographing lens 11 to generate an analog image signal of the subject image. The image sensor 13 is an image sensor that can capture a still image, continuously capture a still image, and capture a moving image. For example, the image sensor 13 includes a CCD image sensor, a CMOS image sensor, or the like. Note that the image pickup device 13 can output an analog image signal (through image signal) by exposing the subject at predetermined intervals even when the release is not performed. This through image signal is used for AF calculation, AE calculation, and finder image generation, which will be described later.

信号処理部１４は、撮像素子１３のアナログ画像信号をデジタルデータに変換する。また、信号処理部１４は、画像処理部１５での画像処理の前工程および後工程でデジタルデータまたは後述する画像データを一時的に保存する不図示のバッファメモリを備える。
画像処理部１５は、デジタルデータに画像処理を施して撮影画像データを生成する。また、画像処理部１５は、スルー画像信号に基づいてファインダ用画像データを順次生成する。また、後述する「ボケ強調モード」では、画像処理部１５は、ボケ効果を付加するための画像処理を行う。 The signal processing unit 14 converts the analog image signal of the image sensor 13 into digital data. Further, the signal processing unit 14 includes a buffer memory (not shown) that temporarily stores digital data or image data described later in the pre-process and post-process of the image processing in the image processing unit 15.
The image processing unit 15 performs image processing on the digital data to generate captured image data. Further, the image processing unit 15 sequentially generates finder image data based on the through image signal. In a “blur enhancement mode” described later, the image processing unit 15 performs image processing for adding a blur effect.

圧縮伸長処理部１６は、撮影画像データに対して、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式による圧縮伸長処理を実行する。
カードＩ／Ｆ１７には、記録媒体２４を接続するためのコネクタが形成されている。記録媒体２４は、公知の半導体メモリや小型ハードディスク、ＤＶＤなどの光ディスクなどで構成される。そして、カードＩ／Ｆ１７は、記録媒体２４に対する撮影画像データの書
き込みおよび読み込みを制御する。 The compression / decompression processing unit 16 performs compression / decompression processing on the photographed image data, for example, in JPEG (Joint Photographic Experts Group) format.
A connector for connecting the recording medium 24 is formed on the card I / F 17. The recording medium 24 includes a known semiconductor memory, a small hard disk, an optical disk such as a DVD, and the like. The card I / F 17 controls writing and reading of photographed image data with respect to the recording medium 24.

操作部材１８は、入力釦やレリーズ釦などを備えている。操作部材１８の入力釦は、例えば、電子カメラ１の撮影モード（通常撮影モード、動画像撮影モード、ボケ強調モード等）の切り換え入力などにかかわるユーザ操作を受け付ける。
表示制御部１９は、モニタ２０に画像を表示するための各種制御を行う。モニタ２０は、例えば、液晶表示素子により構成され、主として電子カメラ１の背面部分に配置される。モニタ２０には、撮影画像データの再生画面や電子カメラ１の各種設定を変更するための設定画面などを表示できる。 The operation member 18 includes an input button, a release button, and the like. The input button of the operation member 18 accepts a user operation related to, for example, a switching input of a shooting mode (normal shooting mode, moving image shooting mode, blur enhancement mode, etc.) of the electronic camera 1.
The display control unit 19 performs various controls for displaying an image on the monitor 20. The monitor 20 is composed of, for example, a liquid crystal display element, and is mainly disposed on the back surface portion of the electronic camera 1. The monitor 20 can display a captured image data reproduction screen, a setting screen for changing various settings of the electronic camera 1, and the like.

測光部２１は、被写体を測光して結果をＣＰＵ２２に出力する。また、撮像素子１３より出力されるアナログ画像信号をもとに、測光動作を行うものであっても良い。この場合には、撮像素子１３が測光部２１としても機能する。なお、測光結果は、ＡＦ演算やＡＥ演算などに利用される。
ＣＰＵ２２は、不図示のＲＯＭに格納されたシーケンスプログラムにしたがって、電子カメラ１の各部の動作を制御する。また、ＣＰＵ２２は、スルー画像信号に基づいて公知のコントラスト方式のＡＦ演算や公知のＡＥ演算などを実行する。なお、ＡＦ演算の方法はコントラスト方式に限定されず、例えば、公知の位相差方式などであっても良い。 The photometry unit 21 measures the subject and outputs the result to the CPU 22. Further, a photometric operation may be performed based on an analog image signal output from the image sensor 13. In this case, the image sensor 13 also functions as the photometry unit 21. The photometric result is used for AF calculation, AE calculation, and the like.
CPU22 controls operation | movement of each part of the electronic camera 1 according to the sequence program stored in ROM not shown. Further, the CPU 22 performs a known contrast AF calculation, a known AE calculation, and the like based on the through image signal. The AF calculation method is not limited to the contrast method, and may be a known phase difference method, for example.

以上説明した構成の電子カメラ１において、本発明の特徴である「ボケ強調モード」について説明する。
「ボケ強調モード」は、画像処理によって前景または背景をぼかして、主要被写体を浮かび上がらせたポートレート撮影調の動画像を生成するモードである。
はじめに、画像処理部１５の詳細な構成について、図２を用いて説明する。 In the electronic camera 1 having the above-described configuration, the “blur enhancement mode” that is a feature of the present invention will be described.
“Bokeh enhancement mode” is a mode for generating a portrait-like moving image in which the main subject is highlighted by blurring the foreground or background through image processing.
First, a detailed configuration of the image processing unit 15 will be described with reference to FIG.

画像処理部１５は、図２に示すように、スイッチ３１、ＬＰＦ（Low Pass Filter）３２、ＤＬＹ（Delay）回路３３、動き検出回路３４、混合回路３５の各部を備える。なお、これらの各部は本発明の特徴部分に関する構成であり、画像処理部１５は、公知の各画像処理を行うための各部をさらに備える。
スイッチ３１は、２つの入力端子ＡおよびＢと、出力端子Ｃとを備える。入力端子Ａには、信号処理部１４からの出力がデータバス２３を介して接続される。また、入力端子Ｂには、圧縮伸長処理部１６からの出力がデータバス２３を介して接続される。スイッチ３１は、撮影モードが設定されているときには入力端子Ａと出力端子Ｃとを接続し、再生モードが設定されているときには入力端子Ｂと出力端子Ｃとを接続する。 As shown in FIG. 2, the image processing unit 15 includes a switch 31, an LPF (Low Pass Filter) 32, a DLY (Delay) circuit 33, a motion detection circuit 34, and a mixing circuit 35. Each of these units is a configuration related to a characteristic part of the present invention, and the image processing unit 15 further includes each unit for performing each known image processing.
The switch 31 includes two input terminals A and B and an output terminal C. An output from the signal processing unit 14 is connected to the input terminal A via the data bus 23. An output from the compression / decompression processing unit 16 is connected to the input terminal B via the data bus 23. The switch 31 connects the input terminal A and the output terminal C when the shooting mode is set, and connects the input terminal B and the output terminal C when the playback mode is set.

なお、図２では、信号処理部１４、圧縮伸長処置部１６からの出力を選択的に入力する動作をスイッチ３１を用いて行う構成について説明したが、ラッチ回路等の素子を用いて同等の機能を実現する構成としても良い。
スイッチ３１により接続された入力端子からの出力は、出力端子Ｃから、ＬＰＦ３２、ＤＬＹ回路３３、動き検出回路３４にそれぞれ接続される。 In FIG. 2, the configuration in which the operation of selectively inputting the output from the signal processing unit 14 and the compression / decompression processing unit 16 is performed using the switch 31 is described. However, an equivalent function using an element such as a latch circuit is described. It is good also as a structure which implement | achieves.
The output from the input terminal connected by the switch 31 is connected from the output terminal C to the LPF 32, the DLY circuit 33, and the motion detection circuit 34, respectively.

ＬＰＦ３２は、出力端子Ｃから入力されたデジタルデータ（画像データ）に対して、例えばデジタルフィルタによって、画面内の全領域について、高域空間周波数成分を抑制する画面内低域通過フィルタ処理を施して、混合回路３５に出力する。低域通過フィルタの処理特性は、ＣＰＵ２２の制御によって変更可能な構成とする。
ＤＬＹ回路３３は、ＬＰＦ３２におけるデータ処理時間に相当する時間だけ、出力端子Ｃから入力されたデジタルデータ（画像データ）を遅延させて、遅延画像データを、ＬＰＦ３２からの出力画像データと同じタイミングで、混合回路３５に出力する。 The LPF 32 subjects the digital data (image data) input from the output terminal C to an in-screen low-pass filter process that suppresses high-frequency spatial frequency components for all areas in the screen, for example, by a digital filter. To the mixing circuit 35. The processing characteristics of the low-pass filter can be changed by the control of the CPU 22.
The DLY circuit 33 delays the digital data (image data) input from the output terminal C by a time corresponding to the data processing time in the LPF 32, and delays the delayed image data at the same timing as the output image data from the LPF 32. Output to the mixing circuit 35.

動き検出回路３４は、前フレーム画像のデジタルデータ（画像データ）、および出力端
子Ｃから入力されたデジタルデータ（画像データ）をもとに、前フレーム画像中の移動する主要被写体領域の分割された各ブロックの、両フレーム間の動きベクトルを算出し、前フレーム画像中の当該被写体領域を、算出された動きベクトル分だけシフトさせて、入力された現フレーム画像における主要被写体領域の位置を算出する。この位置情報は、混合回路３５に出力される。 Based on the digital data (image data) of the previous frame image and the digital data (image data) input from the output terminal C, the motion detection circuit 34 divides the moving main subject area in the previous frame image. The motion vector between both frames of each block is calculated, the subject area in the previous frame image is shifted by the calculated motion vector, and the position of the main subject area in the input current frame image is calculated. . This position information is output to the mixing circuit 35.

混合回路３５は、動き検出回路３４から出力された主要被写体領域の位置情報に基づいて、ＬＰＦ３２およびＤＬＹ回路３３から出力された画像データを、所定の混合比で混合(加算)し、データバス２３を介して各部に出力する。
なお、混合回路３５は、動き検出回路３４で抽出した主要被写体領域については、ＬＰＦ３２およびＤＬＹ回路３３から出力される画像データの混合比を、例えば０（ＬＰＦ３２）：１（ＤＬＹ回路３３）とし、その他の領域については、例えば０．７５（ＬＰＦ３２）：０．２５（ＤＬＹ回路３３）とする。すなわち、ＬＰＦ３２から出力される画像データをＸ、ＤＬＹ回路３３から出力される画像データをＹ、ＬＰＦ３２から出力される画像データの混合比をＫとすると、混合回路３５は、以下の式にしたがって、画像データの混合を行う。 The mixing circuit 35 mixes (adds) the image data output from the LPF 32 and the DLY circuit 33 at a predetermined mixing ratio based on the position information of the main subject region output from the motion detection circuit 34, and the data bus 23. Output to each part.
The mixing circuit 35 sets the mixing ratio of the image data output from the LPF 32 and the DLY circuit 33 to, for example, 0 (LPF 32): 1 (DLY circuit 33) for the main subject region extracted by the motion detection circuit 34. For other regions, for example, 0.75 (LPF 32): 0.25 (DLY circuit 33) is used. That is, assuming that the image data output from the LPF 32 is X, the image data output from the DLY circuit 33 is Y, and the mixing ratio of the image data output from the LPF 32 is K, the mixing circuit 35 follows the following equation: Mix image data.

Ｋ×Ｘ＋（１−Ｋ）×Ｙ・・・（式１）
ただし、式１において、Ｋは、０≦Ｋ≦１である。
ここで、動き検出回路３４において、さらに、移動する主要被写体の動き量を算出し、この動き量が大きいほど上述のその他の領域における混合比Ｋの値を大きくするように制御すると、動きの大きさによって付加されるボケ効果の大きさが変化する動画像を生成することができる。 K × X + (1−K) × Y (Formula 1)
However, in Formula 1, K is 0 <= K <= 1.
Here, if the motion detection circuit 34 further calculates the amount of movement of the moving main subject, and controls to increase the value of the mixing ratio K in the other regions described above as the amount of movement increases, the magnitude of the motion is increased. It is possible to generate a moving image in which the magnitude of the blur effect added depending on the depth is changed.

上記の例では、例えば、主要被写体の動き量が大きいほど、主要被写体領域を除いた領域に付加されるボケ効果が大きくなるように、Ｋの値が制御される。このような制御に代えて、主要被写体の動き量が大きいほど、主要被写体領域に付加されるボケ効果が大きくなるようにＫの値を制御する構成としても良い。
なお、上記の方法に代えて、面積変調（ｄｉｔｈｅｒ）による混合を行う構成としても良い。面積変調とは、一般的なインクジェットプリンタの階調表現に利用される方法であり、１つの画素を、それより小さいドットの集合体として表現する際に、異なる色のインクドットの面積比で混合比を表現するものである。マクロ的にこの画素を見ると、あたかもその混合比でインクが混合されたように見える。例えば、Ｃ、Ｍ、Ｙの３色素でフルカラーを表現する場合、１画素をＮドット、そのうちのＣ、Ｍ、Ｙのドット数をそれぞれＮＣ、ＮＭ、ＮＹとすると、ＮＣ＝０．５Ｎ、ＮＭ＝０．５Ｎ、ＮＹ＝０では、この画素は、マクロ的には青色に見える。また、ＮＣ＝０．５Ｎ、ＮＭ＝０、ＮＹ＝０．５Ｎでは、この画素は、マクロ的には緑色に見える。何れの場合も、実際には色素の加算が行われているわけではない。これと同様に、１画素のドット数がＮ、ボケ効果の大きい画像のドット数をＮＯＦ、ボケ効果の小さい画像のドット数をＮＩＦとして混合を行うことにより、実際の加算を行わなくても、混合比をコントロールできる。 In the above example, for example, the value of K is controlled such that the greater the amount of movement of the main subject, the greater the blur effect added to the region excluding the main subject region. Instead of such control, the value of K may be controlled so that the blur effect added to the main subject region increases as the amount of movement of the main subject increases.
Instead of the above method, mixing by area modulation (dither) may be performed. Area modulation is a method used for gradation expression of general inkjet printers. When a pixel is expressed as a collection of smaller dots, it is mixed with the area ratio of ink dots of different colors. It expresses the ratio. Looking at this pixel macroscopically, it appears as if ink was mixed at that mixing ratio. For example, when expressing a full color with three dyes of C, M, and Y, assuming that one pixel is N dots and the number of dots of C, M, and Y is NC, NM, and NY, respectively, NC = 0.5N, NM = 0.5N, NY = 0, this pixel looks blue in macro. In addition, when NC = 0.5N, NM = 0, and NY = 0.5N, this pixel looks green in macro. In either case, the dye is not actually added. In the same manner, by performing mixing by setting the number of dots of one pixel as N, the number of dots of the image with a large blur effect as NOF, and the number of dots of the image with a small blur effect as NIF, the actual addition is not performed. The mixing ratio can be controlled.

次に、「ボケ強調モード」実行時におけるＣＰＵ２２の動作について、図３のフローチャートを用いて説明する。
ステップＳ１において、ＣＰＵ２２は、操作部材１８を介したユーザ操作により、撮像開始が指示されたか否かを判定する。ＣＰＵ２２は、撮像開始が指示されるまで待機し、撮像開始が指示されると、ステップＳ２に進む。 Next, the operation of the CPU 22 when the “blur emphasis mode” is executed will be described with reference to the flowchart of FIG.
In step S 1, the CPU 22 determines whether imaging start is instructed by a user operation via the operation member 18. The CPU 22 waits until the start of imaging is instructed, and when the start of imaging is instructed, the process proceeds to step S2.

ステップＳ２において、ＣＰＵ２２は、各部を制御して、動画像の撮像を開始する。なお、ＣＰＵ２２は、信号処理部１４によるデジタル信号変換を行うたびに、デジタルデータを、信号処理部１４内の不図示のバッファメモリに一時保存する。また、ＣＰＵ２２は
、スイッチ３１の入力端子Ａと出力端子Ｃとが接続されるように、スイッチ３１に対して制御信号を出力する。 In step S2, the CPU 22 controls each unit and starts capturing a moving image. The CPU 22 temporarily stores digital data in a buffer memory (not shown) in the signal processing unit 14 every time digital signal conversion is performed by the signal processing unit 14. Further, the CPU 22 outputs a control signal to the switch 31 so that the input terminal A and the output terminal C of the switch 31 are connected.

ステップＳ３において、ＣＰＵ２２は、信号処理部１４内の不図示のバッファメモリから、１フレーム目のデジタルデータ（画像データ）を取得し、画像処理部１５のスイッチ３１の入力端子Ａに入力する。
ステップＳ４において、ＣＰＵ２２は、画像処理部１５の動き検出回路３４を介して、出力端子Ｃから入力されたデジタルデータ（画像データ）をもとに、主要被写体抽出を行う。なお、１フレーム目の画像データに関しては、焦点検出領域に基づいて主要被写体抽出を行うようにしても良い。また、モニタ２０上にカーソル等を表示して、操作部材１８を介したユーザ操作により指定させるようにしても良い。さらに、撮像画像の輪郭画像と予め登録されている輪郭パターンとのマッチングなどの手法を用いるようにしても良い。 In step S 3, the CPU 22 acquires digital data (image data) for the first frame from a buffer memory (not shown) in the signal processing unit 14 and inputs the digital data to the input terminal A of the switch 31 of the image processing unit 15.
In step S 4, the CPU 22 performs main subject extraction based on digital data (image data) input from the output terminal C via the motion detection circuit 34 of the image processing unit 15. For the first frame of image data, the main subject may be extracted based on the focus detection area. Alternatively, a cursor or the like may be displayed on the monitor 20 and designated by a user operation via the operation member 18. Furthermore, a technique such as matching between a contour image of a captured image and a contour pattern registered in advance may be used.

ステップＳ５において、ＣＰＵ２２は、ステップＳ４の主要被写体抽出結果に基づいて、画像処理部１５の混合回路１５を介して混合比を決定する。なお、混合回路３５は、ステップＳ４の被写体抽出結果に基づいて、主要被写体を含む領域と、それ以外の領域とのそれぞれについて混合比を決定する。なお、主要被写体を含まない領域を、例えば、撮影距離情報をもとに適宜分割し、分割した領域ごとに混合比を決定しても良い。この場合、分割した領域のうち、主要被写体を含む領域との撮影距離の差が大きい領域ほど、前述の混合比Ｋの値を大きくし、付加されるボケ効果が大きくなるように制御する。 In step S 5, the CPU 22 determines a mixing ratio via the mixing circuit 15 of the image processing unit 15 based on the main subject extraction result in step S 4. The mixing circuit 35 determines the mixing ratio for each of the region including the main subject and the other regions based on the subject extraction result in step S4. Note that an area that does not include the main subject may be appropriately divided based on, for example, shooting distance information, and the mixture ratio may be determined for each divided area. In this case, among the divided regions, the region having a larger difference in shooting distance from the region including the main subject is controlled so that the value of the mixing ratio K is increased and the added blur effect is increased.

ステップＳ６において、ＣＰＵ２２は、混合回路３５を介して、ステップＳ５で決定した混合比に基づいて、ＬＰＦ３２およびＤＬＹ回路３３から出力された画像データを、混合する。そして、ＣＰＵ２２は、混合により生成した画像データを信号処理部１４内の不図示のバッファメモリに一時保存するとともに、表示制御部１９を介してモニタ２０に順次出力し、電気的なボケ効果の付加された画像を表示する。 In step S6, the CPU 22 mixes the image data output from the LPF 32 and the DLY circuit 33 via the mixing circuit 35 based on the mixing ratio determined in step S5. The CPU 22 temporarily stores the image data generated by the mixing in a buffer memory (not shown) in the signal processing unit 14 and sequentially outputs the image data to the monitor 20 via the display control unit 19 to add an electrical blur effect. Displayed images.

ステップＳ７において、ＣＰＵ２２は、信号処理部１４内の不図示のバッファメモリから、次のフレームのデジタルデータ（画像データ）を取得し、画像処理部１５のスイッチ３１の入力端子Ａに入力する。
ステップＳ８において、ＣＰＵ２２は、画像処理部１５の動き検出回路３４を介して、前フレームのデジタルデータ（画像データ）、および出力端子Ｃから入力されたデジタルデータ（画像データ）をもとに、前フレームの主要被写体領域を分割した各ブロックについて、現フレームとの間の動きベクトルを算出し、前フレームの主要被写体領域を、算出された動きベクトルの分だけ移動させて、現フレームにおける主要被写体領域の位置情報を得て、主要被写体領域を特定する。 In step S 7, the CPU 22 acquires digital data (image data) of the next frame from a buffer memory (not shown) in the signal processing unit 14 and inputs it to the input terminal A of the switch 31 of the image processing unit 15.
In step S 8, the CPU 22 uses the motion detection circuit 34 of the image processing unit 15 to transmit the previous frame digital data (image data) and the digital data (image data) input from the output terminal C to the previous data. For each block obtained by dividing the main subject area of the frame, the motion vector between the current frame is calculated, the main subject area of the previous frame is moved by the calculated motion vector, and the main subject area in the current frame is calculated. To obtain the position information of the main subject area.

このように動き検出の結果を利用して、現フレームの主要被写体領域の位置情報を得る構成としたので、従来の静止画撮影時のようにフレームごとに被写体抽出を行う場合に比較して、処理時間を大幅に短縮することができる。
ステップＳ９において、ＣＰＵ２２は、ステップＳ８の主要被写体抽出および動き検出の結果に基づいて、画像処理部１５の混合回路１５を介して、混合比を決定する。移動する主要被写体領域に適用される前述の混合比を、前フレームと現フレームとで変化させないものとすれば、同じ混合比が適用される領域（主要被写体領域）が動きベクトルの分だけ移動したことになる。 In this way, the result of motion detection is used to obtain the position information of the main subject area of the current frame, so compared to the case of subject extraction for each frame as in conventional still image shooting, Processing time can be greatly reduced.
In step S9, the CPU 22 determines the mixing ratio via the mixing circuit 15 of the image processing unit 15 based on the result of the main subject extraction and motion detection in step S8. If the above-mentioned mixing ratio applied to the moving main subject area is not changed between the previous frame and the current frame, the area to which the same mixing ratio is applied (main subject area) has moved by the motion vector. It will be.

ステップＳ１０において、ＣＰＵ２２は、混合回路３５を介して、ステップＳ９で決定した混合比に基づいて、ステップＳ６と同様に、ＬＰＦ３２およびＤＬＹ回路３３から出力された画像データを混合する。そして、ＣＰＵ２２は、混合により生成した画像データを、信号処理部１４内の不図示のバッファメモリに一時保存するとともに、表示制御部１
９を介して、モニタ２０に順次出力し、電気的なボケ効果の付加された画像を表示する。 In step S10, the CPU 22 mixes the image data output from the LPF 32 and the DLY circuit 33 through the mixing circuit 35 based on the mixing ratio determined in step S9, as in step S6. The CPU 22 temporarily stores the image data generated by the mixing in a buffer memory (not shown) in the signal processing unit 14 and also displays the display control unit 1.
9 are sequentially output to the monitor 20 to display an image with an electrical blur effect added thereto.

ステップＳ１１において、ＣＰＵ２２は、操作部材１８を介したユーザ操作により、撮像終了が指示されたか否かを判定する。ＣＰＵ２２は、撮像終了が指示されると、ステップＳ１２に進む。一方、撮像終了が指示されない場合、ステップＳ７に戻り、ステップＳ７以降の処理を繰り返す。
ステップＳ１２において、ＣＰＵ２２は、信号処理部１４内の不図示のバッファメモリに一時保存した全てのデジタルデータ（画像データ）の処理が終了したか否かを判定する。ＣＰＵ２２は、全てのデジタルデータ（画像データ）の処理が終了すると、信号処理部１４内の不図示のバッファメモリに一時保存した全ての画像データ（混合後の画像データ）を、カードＩ／Ｆ１７を介して記録媒体２４に記録して、一連の処理を終了する。一方、全ての画像データの処理が終了していない場合、ステップＳ７に戻り、ステップＳ７以降の処理を繰り返す。 In step S 11, the CPU 22 determines whether an end of imaging has been instructed by a user operation via the operation member 18. When the end of imaging is instructed, the CPU 22 proceeds to step S12. On the other hand, when the end of imaging is not instructed, the process returns to step S7, and the processes after step S7 are repeated.
In step S12, the CPU 22 determines whether or not the processing of all digital data (image data) temporarily stored in a buffer memory (not shown) in the signal processing unit 14 has been completed. When the processing of all digital data (image data) is completed, the CPU 22 stores all the image data (mixed image data) temporarily stored in a buffer memory (not shown) in the signal processing unit 14 in the card I / F 17. To the recording medium 24, and a series of processing ends. On the other hand, if the processing of all the image data has not been completed, the process returns to step S7, and the processes after step S7 are repeated.

なお、記録媒体２４への記録動作は、ステップＳ１０において、１フレームごとに順次行われる構成としても良い。また、ステップＳ５およびステップＳ９で説明した混合比の決定において、電子カメラ１から主要被写体までの距離に関する情報を加味しても良い。すなわち、動画像の生成に並行して、電子カメラ１から主要被写体までの情報を随時取得し、取得した情報に基づいて混合比を決定する。例えば、ある時点と比較して、電子カメラ１から主要被写体までの距離が短くなった場合、主要被写体と背景との間の距離は広がったと考えられる。電子カメラ１においては、主要被写体に対して連続的または間欠的に随時ＡＦ動作が行われているので、主要被写体の焦点状態は変化しない。そのため、この場合には、ある時点に比較して、背景のボケ効果を大きくするように混合比を決定する。また、ある時点と比較して、電子カメラ１から主要被写体までの距離が長くなった場合、主要被写体と背景との間の距離は縮まったと考えられる。そのため、この場合には、ある時点に比較して、背景のボケ効果を小さくするように混合比を決定する。このような構成とすることにより、移動する被写体の状況に応じて混合比を自動的に変更し、撮影光学系の光軸方向における被写体の位置の変化に即したボケ効果を付加することができる。 Note that the recording operation on the recording medium 24 may be sequentially performed for each frame in step S10. Further, in the determination of the mixture ratio described in step S5 and step S9, information regarding the distance from the electronic camera 1 to the main subject may be taken into account. That is, in parallel with the generation of the moving image, information from the electronic camera 1 to the main subject is acquired as needed, and the mixture ratio is determined based on the acquired information. For example, when the distance from the electronic camera 1 to the main subject is shorter than a certain point in time, it is considered that the distance between the main subject and the background has increased. In the electronic camera 1, since the AF operation is continuously or intermittently performed on the main subject as needed, the focus state of the main subject does not change. Therefore, in this case, the mixing ratio is determined so as to increase the background blur effect compared to a certain point in time. In addition, when the distance from the electronic camera 1 to the main subject is longer than that at a certain point in time, it is considered that the distance between the main subject and the background is reduced. Therefore, in this case, the mixing ratio is determined so as to reduce the background blur effect compared to a certain point in time. By adopting such a configuration, it is possible to automatically change the mixing ratio according to the situation of the moving subject, and to add a blur effect in accordance with the change in the position of the subject in the optical axis direction of the photographing optical system. .

また、複数の被写体が存在する場合には、複数の被写体のうち、例えば、操作部材１８を介したユーザ操作により選択された特定の被写体（２以上であっても良い）については、ＤＬＹ回路３３による遅延処理を施し、複数の被写体のうち、特定の被写体を除いた被写体を含む他の領域については、ＬＰＦ３２を介した高域空間周波数成分の抑制処理を施すようにしても良い。さらに、特定の被写体の数を時間の経過とともに変化させるようにしても良い。すなわち、はじめは１つの特定の被写体を浮かび上がらせるような処理（１つの特定被写体領域について、例えば、ＬＰＦ３２による処理を行わずに、ＤＬＹ回路３３による遅延処理のみを施し、他の領域については、ＬＰＦ３２の出力データの混合比を、ＤＬＹ回路３３の出力データの混合比よりも大きくする処理）を行い、徐々に、２以上の特定の被写体を浮かび上がらせるような処理（例えば、他の特定被写体領域について、時間の経過とともにＤＬＹ回路３３の出力データの混合比がＬＰＦ３２の出力データの混合比よりも大きくなるように、混合比を制御する処理）を行っても良い。また、複数の被写体が存在する場合には、上述した距離に関する情報を用いて混合比を決定するようにしても良い。例えば、複数の被写体のうち、浮かび上がらせる処理（周辺の領域と比較して、ＤＬＹ回路３３の出力データの混合比を大きくする処理）を行う対象を、電子カメラ１とのとの間の距離が長い順（または短い順）に、時間の経過とともに変化させるようにしても良い。このような処理は、前述の混合比Ｋの値を時間の経過とともに変化させることによってなされる。 In addition, when there are a plurality of subjects, for example, a specific subject (which may be two or more) selected by a user operation via the operation member 18 among the plurality of subjects is the DLY circuit 33. In other areas including a subject excluding a specific subject among a plurality of subjects, a high-frequency spatial frequency component suppression process via the LPF 32 may be performed. Furthermore, the number of specific subjects may be changed over time. That is, at first, a process for raising one specific subject (for example, one specific subject region is not subjected to processing by the LPF 32, but only the delay processing by the DLY circuit 33 is performed, and the other region is subjected to the LPF 32. Process for making the output data mixture ratio larger than the output data mixture ratio of the DLY circuit 33), and a process for gradually raising two or more specific subjects (for example, for other specific subject areas) The process of controlling the mixing ratio so that the mixing ratio of the output data of the DLY circuit 33 becomes larger than the mixing ratio of the output data of the LPF 32 as time elapses) may be performed. Further, when there are a plurality of subjects, the mixture ratio may be determined using the information on the distance described above. For example, among a plurality of subjects, the distance between the subject and the electronic camera 1 that is to be subjected to the process of raising the surface (the process of increasing the mixing ratio of the output data of the DLY circuit 33 compared to the surrounding area) is set. You may make it change with progress of time in the long order (or short order). Such processing is performed by changing the value of the mixing ratio K with the passage of time.

また、図２を用いて説明した画像処理部１５を、図４に示すように構成しても良い。すなわち、図２に示した構成の混合回路３５に代えて合成回路を備え、ＬＰＦ３２、ＤＬＹ
回路３３、動き検出回路３４、合成回路３６を１つの処理ブロックとして、この処理ブロックを複数備える。そして、各々の処理ブロックの合成回路３６の出力を、図２と同様の構成の混合回路３５に入力する。 Further, the image processing unit 15 described with reference to FIG. 2 may be configured as shown in FIG. That is, instead of the mixing circuit 35 having the configuration shown in FIG.
The circuit 33, the motion detection circuit 34, and the synthesis circuit 36 are used as one processing block, and a plurality of processing blocks are provided. Then, the output of the synthesis circuit 36 of each processing block is input to the mixing circuit 35 having the same configuration as in FIG.

そして、各処理ブロックは、異なる被写体を処理対象とし、動き検出回路３４による検出結果に基づいて、移動する被写体を含む領域については、ＤＬＹ回路３３から出力される画像データを使用し、移動する被写体を含まない領域については、ＬＰＦ３２から出力される画像データを使用して、合成回路３６において、前述の加算処理や面積変調処理を伴わない合成処理（いわゆるはめ込み合成処理）を行う。 Each processing block uses a different subject as a processing target, and based on the detection result of the motion detection circuit 34, for an area including the moving subject, the image data output from the DLY circuit 33 is used to move the subject. For a region that does not include the image data, the image data output from the LPF 32 is used, and the combining circuit 36 performs combining processing (so-called inset combining processing) that does not involve the above-described addition processing and area modulation processing.

この結果各処理ブロックの出力は、移動する１つの被写体を含む領域については、ＬＰＦ処理が施されていないボケ効果の小さい画像データとなり、その他の領域については、ＬＰＦ処理が施されたボケ効果の大きい画像データとなる。そして、各処理ブロックの合成回路３６から出力された画像データを、各処理ブロックにおいて動き検出回路３４より出力される動き情報を用いて、上述したように混合回路３５において混合する。したがって、図４のように画像処理部１５を構成すれば、デジタルデータ（画像データ）に複数の被写体が含まれる場合でも、各被写体の位置の時間的変化に応じたボケ効果を付加することができる。 As a result, the output of each processing block is image data with a small blur effect that has not been subjected to the LPF processing for the region including one moving subject, and the blur effect that has been subjected to the LPF processing for the other regions. Large image data. Then, the image data output from the synthesis circuit 36 of each processing block is mixed in the mixing circuit 35 as described above using the motion information output from the motion detection circuit 34 in each processing block. Therefore, if the image processing unit 15 is configured as shown in FIG. 4, even when a plurality of subjects are included in the digital data (image data), it is possible to add a blur effect corresponding to the temporal change in the position of each subject. it can.

以上説明したように、第１実施形態によれば、移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する際に、動画像の生成に並行して、複数フレームの第１画像それぞれの画面内全領域について、高域空間周波数成分を抑制して、第１画像の各フレームに対応づけられた複数フレームの第２画像を生成し、複数フレームの第１画像のそれぞれを、その画像に含まれる移動する被写体像の画面内位置に応じて、複数の領域に分割する。そして、複数フレームの第１画像とその画像に対応する第２画像とを合成する際の混合比を、複数の領域ごとに決定し、複数フレームの第１画像とその画像に対応する第２画像とを、決定した混合比に基づいて、複数の領域ごとに合成して複数フレームの第３画像を生成する。このような構成とすれば、動画像の生成に並行して第２画像が生成される。そして、第１画像および第２画像の混合比を制御するだけで、電気的なボケの付加処理を行うことができる。そのため、例えば、ＬＰＦのタップ数、係数、あるいは畳み込み演算処理を行う点拡がり関数のタップ数、係数を、移動する被写体像の画面内位置に応じてその都度変更して、入力される全画素データに対して演算処理を行い高域空間周波数成分を抑制する場合に比較して、演算処理時間が短縮される。したがって、電気的なボケの付加処理を迅速、かつ容易に行うことができる。したがって、被写体の位置の時間的変化に応じたボケ効果を付加した動画像を迅速、容易に生成することができる。 As described above, according to the first embodiment, when a moving subject image is continuously captured and a moving image composed of a plurality of frames of first images is generated, the generation of a moving image is performed in parallel. Then, for all the areas in the screen of each of the first images of the plurality of frames, the high-frequency spatial frequency component is suppressed, and a second image of the plurality of frames associated with each frame of the first image is generated. Each of the first images is divided into a plurality of regions according to the position in the screen of the moving subject image included in the image. Then, a mixing ratio for combining the first image of the plurality of frames and the second image corresponding to the image is determined for each of the plurality of regions, and the first image of the plurality of frames and the second image corresponding to the image are determined. Are combined for each of a plurality of regions based on the determined mixture ratio to generate a third image of a plurality of frames. With such a configuration, the second image is generated in parallel with the generation of the moving image. Then, it is possible to perform electrical blur addition processing only by controlling the mixing ratio of the first image and the second image. Therefore, for example, the number of taps and coefficients of the LPF, or the number of taps and coefficients of the point spread function for performing the convolution calculation process are changed according to the position in the screen of the moving subject image, and all pixel data that is input As compared with the case where high frequency spatial frequency components are suppressed by performing arithmetic processing on the arithmetic processing time, the arithmetic processing time is shortened. Therefore, the electrical blur addition process can be performed quickly and easily. Therefore, it is possible to quickly and easily generate a moving image to which a blur effect corresponding to a temporal change in the position of the subject is added.

また、撮像装置においては、今現に撮像している画像をユーザが確認するための表示装置を備えていることが多い。このような表示装置の表示画像中の被写体像の動きと、実際の被写体の動きとの間の時間的なずれが大きくなるほど、例えばシャッタチャンスを逃してしまうなど、ユーザによる撮影動作に影響を及ぼす可能性が高くなる。本発明は、このような場合に対しても、有効に適用することができる。 In many cases, an imaging apparatus includes a display device for a user to check an image currently being captured. The greater the time lag between the movement of the subject image in the display image of the display device and the actual movement of the subject, the greater the influence on the shooting operation by the user, such as missing a photo opportunity. The possibility increases. The present invention can be effectively applied to such a case.

また、第１実施形態によれば、混合比を決定する際に、複数の領域のうち被写体像を含む領域については、第１画像と第２画像との何れか一方の画像の混合比を他方の画像の混合比よりも大きく決定し、複数の領域のうち被写体像を含む領域を除く領域については、第１画像と第２画像とのうち、前述した他方の画像の混合比を前述した一方の画像の混合比よりも大きく決定する。したがって、被写体の部分はボケ効果を小さくし、かつ、背景部分はボケ効果を大きくすることにより、主要被写体を浮かび上がらせた表現を可能とすることができる。 Further, according to the first embodiment, when determining the mixture ratio, for the area including the subject image among the plurality of areas, the mixture ratio of one of the first image and the second image is set to the other. For the region excluding the region including the subject image among the plurality of regions, the mixture ratio of the other image of the first image and the second image is set to the one described above. It is determined to be larger than the image mixing ratio. Therefore, by reducing the blur effect of the subject portion and increasing the blur effect of the background portion, it is possible to express the main subject in a floating manner.

また、第１実施形態によれば、移動する被写体像の動き量を算出し、被写体像の動き量に応じて、被写体像を含む領域、または被写体像を含む領域を除く領域における混合比を決定する。したがって、動き量の大きさによって付加されるボケ効果の大きさが変化する動画像を生成することができる。
なお、第１実施形態では、ＬＰＦ３２において、デジタルフィルタ処理によって、画面全領域に画面内低域通過フィルタ処理を施す例を示したが、点拡がり関数による畳み込み演算処理など他の方法を用いて高域空間周波成分を抑制する構成としても良い。 Further, according to the first embodiment, the amount of movement of the moving subject image is calculated, and the mixing ratio in the region including the subject image or the region excluding the region including the subject image is determined according to the amount of movement of the subject image. To do. Therefore, it is possible to generate a moving image in which the magnitude of the blur effect added according to the magnitude of the motion amount changes.
In the first embodiment, an example in which the low pass filter processing within the screen is applied to the entire screen area by the digital filter processing in the LPF 32 has been described. However, it is possible to perform high processing using other methods such as convolution calculation processing using a point spread function. It is good also as a structure which suppresses a regional spatial frequency component.

≪第２実施形態≫
図５は、第２実施形態の電子カメラの構成を示すブロック図である。
電子カメラ５１は、第１実施形態の電子カメラ１の測光部２１に代えて、撮像素子５２および光路分岐部材５３を備える。その他の構成については、第１実施形態の電子カメラ１と同様の符号を用いて説明する。撮像素子５２は、撮像素子１３よりも画素数が少なく、焦点調節または露光量決定用の情報を取得する際に用いられる撮像素子である。したがって、撮像素子５２は、第１実施形態の電子カメラ１の測光部２１と同様の機能を有するように構成することができる。 << Second Embodiment >>
FIG. 5 is a block diagram illustrating a configuration of the electronic camera according to the second embodiment.
The electronic camera 51 includes an image sensor 52 and an optical path branching member 53 instead of the photometry unit 21 of the electronic camera 1 of the first embodiment. Other configurations will be described using the same reference numerals as those of the electronic camera 1 of the first embodiment. The image sensor 52 is an image sensor that has fewer pixels than the image sensor 13 and is used when acquiring information for focus adjustment or exposure amount determination. Therefore, the image sensor 52 can be configured to have the same function as the photometry unit 21 of the electronic camera 1 of the first embodiment.

撮像レンズ１１を介して入射された光束は、光路分岐部材５３で、２つの光束に分岐され、撮像素子１３および撮像素子５２の撮像面上にそれぞれ結像される。撮像素子１３および撮像素子５２は、各々の素子の画素が対応づけられるように、配置および設計がなされている。
撮像素子５２は、撮像素子１３と同期して(同じフレーム周波数で)駆動され、同時に映像信号が出力される。撮像素子５２の画素数は、撮像素子１３の画素数より少ないため、撮像素子５２により生成される画像データは、撮像素子１３により生成される画像データよりも解像度が低く、高域空間周波数成分が抑制されている。 The light beam incident through the imaging lens 11 is branched into two light beams by the optical path branching member 53 and formed on the imaging surfaces of the image sensor 13 and the image sensor 52, respectively. The image sensor 13 and the image sensor 52 are arranged and designed so that the pixels of each element are associated with each other.
The image sensor 52 is driven in synchronism with the image sensor 13 (at the same frame frequency) and simultaneously outputs a video signal. Since the number of pixels of the image sensor 52 is smaller than the number of pixels of the image sensor 13, the image data generated by the image sensor 52 has a lower resolution than the image data generated by the image sensor 13, and the high frequency spatial frequency component is lower. It is suppressed.

撮像素子１３の出力は、信号処理部１４およびデータバス２３を介して、図２で説明した混合回路３５の一方の画像データ入力端子に入力される。また、撮像素子５２の出力は、信号処理部１４およびデータバス２３を介して、図２で説明した混合回路３５の他方の画像データ入力端子に入力され、前述と同様のボケ効果を付加する画像処理が迅速、容易に行われる。 The output of the image sensor 13 is input to one image data input terminal of the mixing circuit 35 described with reference to FIG. 2 via the signal processing unit 14 and the data bus 23. The output of the image sensor 52 is input to the other image data input terminal of the mixing circuit 35 described with reference to FIG. 2 via the signal processing unit 14 and the data bus 23, and an image to which the same blur effect as described above is added. Processing is quick and easy.

なお、撮像素子５２により出力される画像データの高域空間周波数成分の抑制が、不足する場合は、図２で説明したＬＰＦ３２を介して、撮像素子５２による画像データを混合回路３５に供給する構成とすれば良い。また、撮像素子５２により生成される画像データは、撮像素子１３により生成された画像データより画素数が少ないので、両者の画素数を揃えるために、混合回路３５に入力される前の段階で、撮像素子５２により生成された画像データの画素数を撮像素子１３により生成された画像データの画素数に揃える画素数変換処理を施す構成とすれば良い。このような画素数変換処理を施したとしても、同処理後の画像は、撮像素子１３により生成された画像と比較して、高域空間周波数成分が抑制されていることは言うまでもない。また、図２で説明したＤＬＹ回路３３は、上記の処理の遅延時間に応じて、適宜、撮像素子１３により生成された画像データを遅延させる。 When the suppression of the high frequency spatial frequency component of the image data output from the image sensor 52 is insufficient, the image data from the image sensor 52 is supplied to the mixing circuit 35 via the LPF 32 described in FIG. What should I do? In addition, since the image data generated by the image sensor 52 has a smaller number of pixels than the image data generated by the image sensor 13, in order to make the number of both pixels uniform, at the stage before being input to the mixing circuit 35, What is necessary is just to set it as the structure which performs the pixel number conversion process which aligns the pixel number of the image data produced | generated by the image pick-up element 52 with the pixel number of the image data produced | generated by the image pick-up element 13. FIG. Even if such pixel number conversion processing is performed, it goes without saying that the high-frequency spatial frequency component of the image after the processing is suppressed as compared with the image generated by the image sensor 13. Further, the DLY circuit 33 described with reference to FIG. 2 appropriately delays the image data generated by the image sensor 13 according to the delay time of the above processing.

なお、撮像素子５２の画素数は、撮像素子１３よりも少ない例を示したが、撮像素子５２の画素数は、撮像素子１３よりも多くても良いし、同じでも良い。また、撮像素子５２は、焦点調節または露光量決定用の撮像素子である例を示したが、撮像素子１３と同様に被写体像の撮像専用の撮像素子でも良い。
以上説明したように、第２実施形態によれば、移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する第１撮像部と、第１撮像部と
同期して移動する被写体像を連続的に撮像して、第１画像よりも画素数が少なく、かつ、焦点調節または露光量決定用の複数フレームの第２画像を生成する第２撮像部とを備える。そして、複数フレームの第１画像のそれぞれを、その画像に含まれる移動する被写体像の画面内位置に応じて、複数の領域に分割する。さらに、複数フレームの第１画像とその画像に対応する第２画像とを合成する際の混合比を、複数の領域ごとに決定し、複数フレームの第１画像とその画像に対応する第２画像とを、決定した混合比に基づいて、複数の領域ごとに合成して複数フレームの第３画像を生成する。したがって、第１実施形態と同様に、被写体の位置の時間的変化に応じたボケ効果を付加した動画像を迅速、容易に生成することができる。 Although the example in which the number of pixels of the image sensor 52 is smaller than that of the image sensor 13 has been shown, the number of pixels of the image sensor 52 may be larger than that of the image sensor 13 or may be the same. In addition, although the example in which the image sensor 52 is an image sensor for focus adjustment or exposure amount determination has been shown, an image sensor dedicated to capturing a subject image may be used as with the image sensor 13.
As described above, according to the second embodiment, the first imaging unit that continuously captures moving subject images and generates a moving image composed of the first images of a plurality of frames, and the first imaging A second imaging unit that continuously captures a subject image that moves in synchronization with the unit and generates a second image having a smaller number of pixels than the first image and a plurality of frames for focus adjustment or exposure amount determination With. Then, each of the first images of the plurality of frames is divided into a plurality of regions according to the position in the screen of the moving subject image included in the images. Furthermore, a mixing ratio for combining the first image of the plurality of frames and the second image corresponding to the image is determined for each of the plurality of regions, and the first image of the plurality of frames and the second image corresponding to the image are determined. Are combined for each of a plurality of regions based on the determined mixture ratio to generate a third image of a plurality of frames. Therefore, similarly to the first embodiment, it is possible to quickly and easily generate a moving image to which a blur effect corresponding to a temporal change in the position of the subject is added.

なお、第１実施形態および第２実施形態では、撮像開始指示によって、動画像の撮像を開始し、撮像動作と並行してボケ効果の付加を行う例を示したが、本発明はこの例に限定されない。例えば、予備撮像（スルー画像撮像時）にも本発明を同様に適用することができる。すなわち、予備的な撮像により構図確認用の動画像であるスルー画像を生成し、スルー画像の生成動作およびモニタ２０へのスルー画像の表示と並行して、画像処理部１５により生成したボケ効果を付加した動画像を表示するようにしても良い。また、連続撮像時（連写モード実行時）にも本発明を同様に適用することができる。 In the first embodiment and the second embodiment, an example in which moving image capturing is started in response to an imaging start instruction and a blur effect is added in parallel with the imaging operation has been described. It is not limited. For example, the present invention can be similarly applied to preliminary imaging (when capturing a through image). That is, a through image, which is a moving image for composition confirmation, is generated by preliminary imaging, and the blur effect generated by the image processing unit 15 is performed in parallel with the generation operation of the through image and the display of the through image on the monitor 20. The added moving image may be displayed. In addition, the present invention can be similarly applied to continuous imaging (when the continuous shooting mode is executed).

また、第１実施形態および第２実施形態では、動画像の撮像と並行して、ボケ効果を付加する処理を行う例を示したが、記録媒体２４に記録された画像データの画像処理部１５への入力動作と並行して、同様の処理を行うことができる。また、電子カメラの外部から入力される画像データに対しても同様の処理を行うことができる。
また、第１実施形態および第２実施形態において、混合比を時間経過とともに徐々に変化させるようにしても良い。例えば、被写体領域と背景領域とにおける混合比を連動して変化させれば、画像全体のボケ効果を徐々に変化させることができる。また、被写体領域と背景領域との一方の混合比を固定し、他方の混合比を変化させれば、画像における被写体領域また背景領域のボケ効果のみを徐々に変化させることができる。また、被写体領域と背景領域とのうち、一方のボケ効果を大きくし他方のボケ効果を小さくするように混合比を変化させれば、例えば、被写体領域にピントが合っていて、かつ、背景領域がボケている画像から、被写体領域がボケていて、かつ、背景領域にピントが合った画像へと徐々に変化する動画像を生成することができる。このように、混合比を時間経過とともに徐々に変化させることにより、動画像において様々な表現を実現することができる。 In the first embodiment and the second embodiment, the example of performing the process of adding the blur effect in parallel with the imaging of the moving image has been described. However, the image processing unit 15 of the image data recorded on the recording medium 24 is described. Similar processing can be performed in parallel with the input operation. Similar processing can be performed on image data input from the outside of the electronic camera.
In the first embodiment and the second embodiment, the mixture ratio may be gradually changed over time. For example, if the mixing ratio between the subject area and the background area is changed in conjunction, the blur effect of the entire image can be gradually changed. Further, if one of the subject region and the background region is fixed and the other mixture ratio is changed, only the blur effect of the subject region or the background region in the image can be gradually changed. Also, if the mixing ratio is changed so that one of the subject area and the background area is increased and the other is reduced, for example, the subject area is in focus and the background area It is possible to generate a moving image that gradually changes from a blurred image to an image in which the subject region is blurred and the background region is in focus. In this way, various expressions can be realized in a moving image by gradually changing the mixture ratio with the passage of time.

また、第１実施形態および第２実施形態では、移動する被写体を含む領域については、第１画像の混合比を第２画像の混合比よりも大きく決定し、移動する被写体を含む領域を除く領域（背景領域）については、第２画像の混合比を第１画像の混合比よりも大きく決定することにより、被写体の部分はボケ効果を小さくし、かつ、背景部分はボケ効果を大きくする例を示したが、被写体の状況やユーザの希望に応じて混合比の大小関係を逆にして、移動する被写体の部分はボケ効果を大きくし、かつ、背景部分はボケ効果を小さくする構成としても良い。 In the first and second embodiments, for a region including a moving subject, a region excluding a region including a moving subject is determined by determining the mixing ratio of the first image to be larger than the mixing ratio of the second image. As for (background region), an example in which the blurring effect is reduced in the subject portion and the blurring effect is increased in the background portion by determining the mixing ratio of the second image to be larger than the mixing ratio of the first image. Although shown, the magnitude relationship of the mixing ratio may be reversed according to the subject situation and the user's desire, and the moving subject portion may increase the blur effect and the background portion may decrease the blur effect. .

また、第１実施形態および第２実施形態では、電子カメラを例に挙げて説明を行ったが、他の撮像装置あるいはデータ処理装置に本発明を適用しても良い。すなわち、原画像と、原画像に対して高域空間周波数成分の抑制された画像との混合比を変更できる装置であれば、本発明を同様に適用できる。また、ボケ効果を付加する処理をコンピュータなどの外部装置で行う構成としても良い。この場合、撮像装置から、画像データとともに各種付帯データをコンピュータなどの外部装置に転送する。外部装置には、図３で示したフローチャートと同様の処理を実現可能なプログラムを予めインストールしておけば良い。なお、上記の撮影距離情報などを、付帯データに入力すれば良い。 In the first embodiment and the second embodiment, the electronic camera has been described as an example. However, the present invention may be applied to other imaging devices or data processing devices. That is, the present invention can be similarly applied to any device that can change the mixing ratio between the original image and the image in which the high-frequency spatial frequency component is suppressed with respect to the original image. In addition, a configuration for adding the blur effect to an external device such as a computer may be employed. In this case, various incidental data are transferred from the imaging device together with the image data to an external device such as a computer. A program capable of realizing the same processing as the flowchart shown in FIG. 3 may be installed in the external device in advance. In addition, what is necessary is just to input said imaging | photography distance information etc. into incidental data.

第１実施形態の電子カメラ１の構成を示すブロック図である。It is a block diagram which shows the structure of the electronic camera 1 of 1st Embodiment. 画像処理部１５について説明する図である。It is a figure explaining the image process part. 第１実施形態の電子カメラ１の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the electronic camera 1 of 1st Embodiment. 画像処理部１５の変形例について説明する図である。It is a figure explaining the modification of the image process part. 第２実施形態の電子カメラ５１の構成を示すブロック図である。It is a block diagram which shows the structure of the electronic camera 51 of 2nd Embodiment.

符号の説明Explanation of symbols

１・５１，電子カメラ１３・５２，撮像素子１５，画像処理部２２，ＣＰＵ３２，ＬＰＦ３３，ＤＬＹ回路３４，動き検出回路３５，混合回路
1, 51, electronic camera 13, 52, image sensor 15, image processing unit 22, CPU 32, LPF 33, DLY circuit 34, motion detection circuit 35, mixing circuit

Claims

移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する撮像部と、
前記動画像の生成に並行して、前記複数フレームの第１画像それぞれの画面内全領域について、高域空間周波数成分を抑制して、前記第１画像の各フレームに対応づけられた前記複数フレームの第２画像を生成する画像生成部と、
前記複数フレームの第１画像のそれぞれを、その画像に含まれる前記移動する被写体像の画面内位置に応じて、複数の領域に分割する分割部と、
前記複数フレームの第１画像とその画像に対応する前記第２画像とを合成する際の混合比を、前記複数の領域ごとに決定する決定部と、
前記複数フレームの第１画像とその画像に対応する前記第２画像とを、前記混合比に基づいて、前記複数の領域ごとに合成して前記複数フレームの第３画像を生成する合成部と
を備えたことを特徴とする撮像装置。 An imaging unit that continuously captures a moving subject image and generates a moving image composed of first images of a plurality of frames;
In parallel with the generation of the moving image, the plurality of frames associated with each frame of the first image by suppressing high-frequency spatial frequency components for the entire area in the screen of each of the first images of the plurality of frames. An image generation unit for generating the second image of
A dividing unit that divides each of the first images of the plurality of frames into a plurality of regions according to a position in a screen of the moving subject image included in the images;
A determining unit that determines, for each of the plurality of regions, a mixing ratio when combining the first image of the plurality of frames and the second image corresponding to the image;
A combining unit that combines the first image of the plurality of frames and the second image corresponding to the image for each of the plurality of regions based on the mixing ratio, and generates a third image of the plurality of frames. An image pickup apparatus comprising:

請求項１に記載の撮像装置において、
前記決定部は、前記複数の領域のうち前記被写体像を含む領域については、前記第１画像と前記第２画像との何れか一方の画像の混合比を他方の画像の混合比よりも大きく決定し、前記複数の領域のうち前記被写体像を含む領域を除く領域については、前記第１画像と前記第２画像とのうち前記他方の画像の混合比を前記一方の画像の混合比よりも大きく決定する
ことを特徴とする撮像装置。 The imaging device according to claim 1,
The determination unit determines a mixing ratio of one of the first image and the second image to be larger than a mixing ratio of the other image for a region including the subject image among the plurality of regions. And about the area | region except the area | region containing the said subject image among these several area | regions, the mixing ratio of said other image is larger than the mixing ratio of said one image among said 1st image and said 2nd image. An imaging apparatus characterized by determining.

請求項１に記載の撮像装置において、
前記移動する被写体像の動き量を算出する動き検出部をさらに備え、
前記決定部は、前記被写体像の動き量に応じて、前記被写体像を含む領域、または前記被写体像を含む領域を除く領域における前記混合比を決定する
ことを特徴とする撮像装置。 The imaging device according to claim 1,
A motion detector for calculating a motion amount of the moving subject image;
The determination unit determines the mixing ratio in a region including the subject image or a region excluding the region including the subject image according to a motion amount of the subject image.

請求項１に記載の撮像装置において、
前記動画像の生成に並行して、前記撮像装置から前記被写体までの距離に関する情報を随時取得する取得部をさらに備え、
前記決定部は、前記距離に関する情報に基づいて、前記混合比を決定する
ことを特徴とする撮像装置。 The imaging device according to claim 1,
In parallel with the generation of the moving image, further comprising an acquisition unit that acquires information on the distance from the imaging device to the subject as needed,
The said determination part determines the said mixture ratio based on the information regarding the said distance. The imaging device characterized by the above-mentioned.

請求項１に記載の撮像装置において、
前記動画像を表示する表示部をさらに備え、
前記撮像部は、予備的な撮像により構図確認用の動画像であるスルー画像を生成し、
前記表示部は、前記スルー画像の生成動作と並行して、前記合成部により生成した前記複数フレームの第３画像により構成される動画像の表示を行う
ことを特徴とする撮像装置。 The imaging device according to claim 1,
A display unit for displaying the moving image;
The imaging unit generates a through image that is a moving image for composition confirmation by preliminary imaging,
The image display apparatus, wherein the display unit displays a moving image including the third images of the plurality of frames generated by the combining unit in parallel with the generation operation of the through image.

移動する被写体像を連続的に撮像して、複数フレームの第１画像により構成される動画像を生成する第１撮像部と、
前記第１撮像部と同期して前記移動する被写体像を連続的に撮像して、前記第１画像よりも画素数が少なく、かつ、焦点調節または露光量決定用の複数フレームの第２画像を生成する第２撮像部と、
前記複数フレームの第１画像のそれぞれを、その画像に含まれる前記移動する被写体像の画面内位置に応じて、複数の領域に分割する分割部と、
前記複数フレームの第１画像とその画像に対応する前記第２画像とを合成する際の混合
比を、前記複数の領域ごとに決定する決定部と、
前記複数フレームの第１画像とその画像に対応する前記第２画像とを、前記混合比に基づいて、前記複数の領域ごとに合成して前記複数フレームの第３画像を生成する合成部と
を備えたことを特徴とする撮像装置。
A first imaging unit that continuously captures a moving subject image and generates a moving image composed of a plurality of frames of first images;
The moving subject image is continuously captured in synchronization with the first imaging unit, and the second image having a smaller number of pixels than the first image and a plurality of frames for focus adjustment or exposure amount determination is obtained. A second imaging unit to be generated;
A dividing unit that divides each of the first images of the plurality of frames into a plurality of regions according to a position in a screen of the moving subject image included in the images;
A determining unit that determines, for each of the plurality of regions, a mixing ratio when combining the first image of the plurality of frames and the second image corresponding to the image;
A combining unit that combines the first image of the plurality of frames and the second image corresponding to the image for each of the plurality of regions based on the mixing ratio, and generates a third image of the plurality of frames. An image pickup apparatus comprising: