JP2017009943A - Imaging device and control method of the same - Google Patents
Imaging device and control method of the same Download PDFInfo
- Publication number
- JP2017009943A JP2017009943A JP2015128186A JP2015128186A JP2017009943A JP 2017009943 A JP2017009943 A JP 2017009943A JP 2015128186 A JP2015128186 A JP 2015128186A JP 2015128186 A JP2015128186 A JP 2015128186A JP 2017009943 A JP2017009943 A JP 2017009943A
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus
- unit
- imaging
- imaging mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、いわゆるブラケット撮影により得られた複数の動画から合成動画を生成する撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus that generates a composite moving image from a plurality of moving images obtained by so-called bracket photography, and a control method thereof.
近年、デジタルカメラを用いた動画撮影が一般的に行われるようになってきている。これらの撮影装置において主被写体を強調する手法として、背景をぼかして動画撮影を行うことがある。 In recent years, moving image shooting using a digital camera has been generally performed. As a technique for emphasizing a main subject in these photographing apparatuses, there is a case where a moving image is photographed with a blurred background.
背景をぼかした動画の取得手法としては、大きなイメージセンサを利用して被写界深度を浅く撮影する手法や、主被写体に対しては被写界深度が異なる画像をブラケット撮影して複数のフレームを合成する手法がある。 As a method of obtaining a moving image with a blurred background, a method that uses a large image sensor to shoot a shallow depth of field, or a main subject that has a different depth of field by bracketing and shooting multiple frames There is a method to synthesize.
特許文献1では、複数の動画からフレーム同士を合成して合成動画を生成する画像処理装置であり、空間周波数特性と動き量に応じて合成率を算出する。 Patent Document 1 is an image processing apparatus that generates a combined moving image by combining frames from a plurality of moving images, and calculates a combining rate according to the spatial frequency characteristics and the amount of motion.
しかしながら、上述の特許文献1に開示された従来技術では、背景ぼかしを取得している画像では空間周波数が低いためフォーカス情報を得にくくピントずれが発生しやすい。またフレーム間で被写体が移動したときなどのフォーカス追従性に課題があった。 However, in the conventional technique disclosed in Patent Document 1 described above, the spatial frequency is low in an image obtained by background blurring, and thus it is difficult to obtain focus information and a focus shift is likely to occur. In addition, there is a problem in focus followability when the subject moves between frames.
そこで、本発明の目的は、複数枚合成における背景ぼかし撮像装置において、フォーカス対象もしくは撮像装置が動いた場合は背景ぼかし画像取得を止めてオートフォーカス(AF)に適した撮像動作をすることを可能とした撮像装置を提供することにある。 Therefore, an object of the present invention is to enable an imaging operation suitable for autofocus (AF) by stopping background-blurred image acquisition when the focus target or the imaging device moves in a background blur imaging device in the case of combining multiple images. It is to provide an imaging apparatus.
上記の目的を達成するために、本発明に係る撮像装置は、
複数の光電変換素子からなる撮像素子と、焦点調整を行うフォーカス部と光量を制御する光学絞り部を有する光学ユニットと、前記撮像素子及び前記光学ユニットを駆動する駆動部と、主被写体となる合焦した画像を得る第1の撮像モードと、背景をぼかした画像を得る第2の撮像モードと、フォーカス情報を得るのに適した画像を得る第3の撮像モードと、第1の撮像モードから得られる画像と第2の撮像モードから得られる画像を合成する合成手段と、画像データからフォーカス情報を検出するフォーカスデータ検出手段と、得られるフォーカス情報に基づいて撮像条件を決定する制御手段とを備え、得られるフォーカス情報が期待値から外れた場合、第2の撮像モードを前記第3の撮像モードに変更して得られるフォーカス情報から前記フォーカス部を制御することを特徴とする。
In order to achieve the above object, an imaging apparatus according to the present invention includes:
An image sensor comprising a plurality of photoelectric conversion elements, an optical unit having a focus section for adjusting the focus and an optical aperture section for controlling the amount of light, a drive section for driving the image sensor and the optical unit, and a main subject From the first imaging mode for obtaining a focused image, the second imaging mode for obtaining an image with a blurred background, the third imaging mode for obtaining an image suitable for obtaining focus information, and the first imaging mode. Combining means for combining the obtained image and the image obtained from the second imaging mode, focus data detecting means for detecting focus information from the image data, and control means for determining an imaging condition based on the obtained focus information And when the obtained focus information deviates from the expected value, the focus information obtained by changing the second imaging mode to the third imaging mode Characterized by controlling the focus unit.
本発明によれば、複数枚合成での背景ぼかし画像を取得する撮像動作において、フォーカス情報を取得する回数を増やすことにより、被写体が移動するなどフォーカスポイントがフレーム間で変化する際にも合焦点に素早く追従することができる撮像装置を提供することができる。 According to the present invention, in an imaging operation for acquiring a background-blurred image by combining a plurality of images, by increasing the number of times focus information is acquired, even when the focus point changes between frames, such as when the subject moves, the in-focus point is obtained. It is possible to provide an imaging apparatus that can quickly follow the above.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
[実施例1]
図1は本発明の実施形態にかかわるCMOSセンサを用いた撮像装置のブロック図である。本実施形態の撮像装置は、動画機能付き電子スチルカメラやビデオカメラなどに応用可能である。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[Example 1]
FIG. 1 is a block diagram of an imaging apparatus using a CMOS sensor according to an embodiment of the present invention. The imaging apparatus of this embodiment can be applied to an electronic still camera with a moving image function, a video camera, or the like.
図1に示す撮像装置は、光学鏡筒101、光学鏡筒101内に構成される光学機構部1011、撮像素子102、駆動回路103、AF評価値検出部104、画像合成部105、信号処理部106、圧縮伸張部107、制御部108、操作部109、画像表示部110、画像記録部111、及び移動検出部112を備える。 An imaging apparatus shown in FIG. 1 includes an optical barrel 101, an optical mechanism unit 1011 configured in the optical barrel 101, an imaging element 102, a drive circuit 103, an AF evaluation value detection unit 104, an image synthesis unit 105, and a signal processing unit. 106, a compression / decompression unit 107, a control unit 108, an operation unit 109, an image display unit 110, an image recording unit 111, and a movement detection unit 112.
光学鏡筒101は、被写体からの光を撮像素子102に集光するためのレンズと、光学機構部1011を構成するAF機構やズーム駆動機構、メカニカルシャッタ機構、絞り機構などから構成されている。これらのうち、光学機構部1011は制御部108からの制御信号に基づいて駆動回路103により駆動される。 The optical barrel 101 includes a lens for condensing light from a subject on the image sensor 102, an AF mechanism, a zoom drive mechanism, a mechanical shutter mechanism, an aperture mechanism, and the like that constitute the optical mechanism unit 1011. Among these, the optical mechanism unit 1011 is driven by the drive circuit 103 based on a control signal from the control unit 108.
XY読み出し方式のCMOS型イメージセンサなどからなる撮像素子102は、制御部108からの制御信号に応じて動作する駆動回路103により、露光や信号読み出しやリセットなどのタイミングを制御され、対応する撮像信号を出力する。 The image sensor 102 composed of an XY readout type CMOS image sensor or the like is controlled by a drive circuit 103 that operates in response to a control signal from the control unit 108, and the timing of exposure, signal readout, reset, and the like is controlled. Is output.
撮像素子102は、ここでは図示しない画素部、CDS部、AGC処理部、及びADコンバータにより構成されるXY読み出し方式のCMOS型イメージセンサなどが用いられる。そして、制御部108からの制御信号に応じて動作する駆動回路103により、露光や信号読み出しやリセットなどの撮像動作が実施され、対応する撮像信号を出力する。 As the image sensor 102, an XY readout type CMOS image sensor including a pixel unit, a CDS unit, an AGC processing unit, and an AD converter (not shown) is used. The drive circuit 103 that operates in response to a control signal from the control unit 108 performs an imaging operation such as exposure, signal readout, and reset, and outputs a corresponding imaging signal.
AF評価検出部104は撮像素子から得られた画像データからコントラスト情報や位相差情報を元に、制御部108で制御されるタイミングでAF評価値の検出を行う。画像合成部105は、撮像素子102から得られる複数枚の撮像信号を合成処理し、1フレームの画像として出力する。 The AF evaluation detection unit 104 detects an AF evaluation value at a timing controlled by the control unit 108 based on contrast information and phase difference information from image data obtained from the image sensor. The image composition unit 105 performs composition processing on a plurality of image signals obtained from the image sensor 102 and outputs them as an image of one frame.
信号処理部106は、制御部108の制御の下で、撮像素子102からの画像信号に対して、ホワイトバランス調整処理や色補正処理、AE(Auto Exposure)処理などの信号処理を施す。圧縮伸張部107は、制御部108の制御の下で動作し、信号処理部106からの画像信号に対して、JPEG(Joint Photographic Coding Experts Group)方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。また、制御部108から供給された静止画像の符号化データを伸張復号化処理する。さらに、MPEG(Moving Picture Experts Group)方式などにより動画像の圧縮符号化/伸張復号化処理を実行可能なようにしてもよい。 The signal processing unit 106 performs signal processing such as white balance adjustment processing, color correction processing, and AE (Auto Exposure) processing on the image signal from the image sensor 102 under the control of the control unit 108. The compression / decompression unit 107 operates under the control of the control unit 108, and compresses and encodes the image signal from the signal processing unit 106 in a predetermined still image data format such as a JPEG (Joint Photographic Coding Experts Group) method. Process. Further, the encoded data of the still image supplied from the control unit 108 is subjected to decompression decoding processing. Furthermore, the moving picture compression coding / decompression decoding process may be executed by a moving picture experts group (MPEG) method or the like.
制御部108は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成されるマイクロコントローラであり、ROMなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。操作部109は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を制御部108に出力する。 The control unit 108 is a microcontroller composed of, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and by executing a program stored in the ROM or the like, Each part of this imaging apparatus is controlled in an integrated manner. The operation unit 109 includes various operation keys such as a shutter release button, a lever, a dial, and the like, and outputs a control signal according to an input operation by the user to the control unit 108.
画像表示部110は、LCD(Liquid Crystal Display)などの表示デバイスや、これに対するインタフェース回路などからなり、制御部108から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。 The image display unit 110 includes a display device such as an LCD (Liquid Crystal Display) and an interface circuit for the display device. The image display unit 110 generates an image signal to be displayed on the display device from the image signal supplied from the control unit 108. A signal is supplied to a display device to display an image.
画像記録部111は、例えば、可搬型の半導体メモリや、光ディスク、HDD(Hard Disk Drive)、磁気テープなどとして実現され、圧縮伸張部107により符号化された画像データファイルを制御部108から受け取って記憶する。また、制御部108からの制御信号を基に指定されたデータを読み出し、制御部108に出力する。 The image recording unit 111 is realized as, for example, a portable semiconductor memory, an optical disk, an HDD (Hard Disk Drive), a magnetic tape, or the like. The image recording unit 111 receives an image data file encoded by the compression / decompression unit 107 from the control unit 108. Remember. Further, the designated data is read based on the control signal from the control unit 108 and output to the control unit 108.
移動検出部112は、例えば加速度センサやジャイロセンサ、もしくは画像認識回路などから構成され、制御部108からの制御に従って撮像装置の速度情報や位置変化、対象となる被写体の画面内での移動を検出し、検出結果を制御部108にフィードバックすることにより撮像制御情報に用いる。 The movement detection unit 112 includes, for example, an acceleration sensor, a gyro sensor, or an image recognition circuit. The movement detection unit 112 detects speed information and position change of the imaging apparatus and movement of the target subject in the screen according to control from the control unit 108. The detection result is fed back to the control unit 108 and used as imaging control information.
ここで、上記の撮像装置における基本的な動作について説明する。本実施例においては、背景をぼかした動画像を得るために、同じ対象を異なる空間周波数画像による撮影にて得られた複数の画像から、対応するフレーム同士を合成することによって1つの合成動画を生成する撮像装置およびその制御方法について説明する。 Here, a basic operation in the above-described imaging apparatus will be described. In this embodiment, in order to obtain a moving image with a blurred background, a single synthesized moving image is obtained by synthesizing corresponding frames from a plurality of images obtained by photographing the same object with different spatial frequency images. An imaging device to be generated and a control method thereof will be described.
撮像動作前において、ここでは図示しない撮像素子102内に構成される画素部、CDS部、AGC処理部、及びADコンバータにより、光入力からデジタル電気信号へと変換される。撮像動作においては、撮像素子102内の画素部により光入力から電気信号へと変換された画像信号が順次、CDS処理、AGC処理、アナログ−デジタル変換処理を経て、デジタル画像信号に変換される。 Before the image pickup operation, the pixel portion, the CDS portion, the AGC processing portion, and the AD converter that are configured in the image pickup element 102 (not shown here) convert the light input into a digital electric signal. In the imaging operation, an image signal converted from an optical input to an electrical signal by the pixel unit in the image sensor 102 is sequentially converted into a digital image signal through a CDS process, an AGC process, and an analog-digital conversion process.
このデジタル画像信号は、AF評価値検出部104と画像合成部105へと入力される。AF評価値検出部104ではAF評価値に基づいて光学機構部1011の制御量を決定し、この制御量を駆動回路103に出力して光学機構部1011を駆動回路103によって動作させる。 This digital image signal is input to the AF evaluation value detection unit 104 and the image composition unit 105. The AF evaluation value detection unit 104 determines the control amount of the optical mechanism unit 1011 based on the AF evaluation value, outputs this control amount to the drive circuit 103, and operates the optical mechanism unit 1011 by the drive circuit 103.
一方、画像合成部105へと入力された画像信号は空間周波数の異なる複数の動画像から1フレーム分の動画像を作成する。ここで図2を用いて画像合成部105について説明する。 On the other hand, the image signal input to the image composition unit 105 creates a moving image for one frame from a plurality of moving images having different spatial frequencies. Here, the image composition unit 105 will be described with reference to FIG.
画像合成回路1051は撮像素子102で変換された電気信号を、所定の撮像データ読み出し回数に応じて、逐次累算処理を行う画像合成回路であり、合成された電気信号をスイッチS1053を経由して記録手段であるフレームメモリ1052に記録する。スイッチS1053は制御部108の制御に従って、画像合成回路1051の出力先を、信号処理部106へ切り換える。 The image composition circuit 1051 is an image composition circuit that sequentially accumulates the electrical signal converted by the image sensor 102 in accordance with a predetermined number of times of readout of image data, and the synthesized electrical signal is transmitted via the switch S1053. It records in the frame memory 1052 which is a recording means. The switch S1053 switches the output destination of the image composition circuit 1051 to the signal processing unit 106 under the control of the control unit 108.
画像合成部105から出力された合成画像は信号処理部106により、画質補正処理を施し、カメラスルー画像の信号として、制御部108を通じて画像表示部110に供給する。これにより、カメラスルー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。 The composite image output from the image composition unit 105 is subjected to image quality correction processing by the signal processing unit 106 and is supplied to the image display unit 110 through the control unit 108 as a camera-through image signal. As a result, the camera-through image is displayed, and the user can adjust the angle of view while viewing the display image.
この状態で、ユーザーによる操作によって操作部109の撮影ボタンが押下されると、制御部108の制御により、撮像素子102、画像合成部105と経た撮像信号が、信号処理部106に取り込まれる。信号処理部106は、取り込んだ1フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部107に供給する。圧縮伸張部107は、入力された画像信号を圧縮符号化し、生成した符号化データを制御部108を通じて画像記録部111に供給する。これにより、撮像されたデータファイルが画像記録部111に記録される。 In this state, when the photographing button of the operation unit 109 is pressed by a user operation, the image processing signal through the image sensor 102 and the image composition unit 105 is taken into the signal processing unit 106 under the control of the control unit 108. The signal processing unit 106 performs image quality correction processing on the captured image signal for one frame, and supplies the processed image signal to the compression / decompression unit 107. The compression / decompression unit 107 compresses and encodes the input image signal, and supplies the generated encoded data to the image recording unit 111 through the control unit 108. As a result, the imaged data file is recorded in the image recording unit 111.
次に図3を用いて本実施例の特徴的な動作であるAF動作の切り替えタイミングについて説明する。背景ぼかし動画モードに入ると、AFデータ取得用に画像を取得し、主被写体のAF評価値を取得する(期間Ta0〜Ta1)。 Next, the AF operation switching timing, which is a characteristic operation of this embodiment, will be described with reference to FIG. When the background blurred moving image mode is entered, an image is acquired for acquiring AF data, and an AF evaluation value of the main subject is acquired (period Ta0 to Ta1).
次に撮影同期信号に同期して駆動回路103からのタイミング制御に従い撮像素子102から画像の取得を行い、主被写体となる画像の取得を行う(期間T1)。このとき主被写体としてはフォーカスのあった、つまり空間周波数が高い画像を得やすくしたいため、光学機構部1011内の絞り機構部にて絞り制御することで被写界深度を深くしたり、フォーカスを合わすなど空間周波数が高い画像を得るようにする。 Next, in synchronization with the shooting synchronization signal, an image is acquired from the image sensor 102 according to timing control from the drive circuit 103, and an image to be the main subject is acquired (period T1). At this time, in order to make it easy to obtain an image having a focus as the main subject, that is, a high spatial frequency, the aperture mechanism is controlled by the aperture mechanism in the optical mechanism 1011 to increase the depth of field or focus. An image with a high spatial frequency is obtained by combining them.
ここでAF評価検出部104は、制御回路108から出力されるAF評価値検出タイミングに従い、期間T1で取得した画像を用いて、期間T1内にてAF評価値検出を行う。
期間T1で取得された主被写体画像データは期間T1時にフレームメモリ1052に入力される。図3における期間T1から得られる画像では、AF評価値がAF期待値を得られているため、期間T2においてはこのまま背景ぼかし画像の取得へと移行する。
なお、AF期待値に関する説明は後の図4の説明内で述べる。
Here, according to the AF evaluation value detection timing output from the control circuit 108, the AF evaluation detection unit 104 performs AF evaluation value detection within the period T1 using the image acquired during the period T1.
The main subject image data acquired in the period T1 is input to the frame memory 1052 in the period T1. In the image obtained from the period T1 in FIG. 3, since the AF evaluation value is the expected AF value, the process shifts to the acquisition of the background blurred image as it is in the period T2.
The description regarding the AF expected value will be described later in the description of FIG.
一方で、背景となるぼかし画像は空間周波数が低い画像を得るようにする(期間T2)。本実施例においては、ぼかし画像を得る手段として、光学機構部1011内の絞り機構部により被写界深度を変更して得るものとするが、フォーカスポイントをずらしたり、撮像駆動において加算読み出しや間引き読み出しにより得られる画像の空間周波数を下げる手法を取ってもよい。 On the other hand, the blurred image as the background is obtained as an image with a low spatial frequency (period T2). In this embodiment, as a means for obtaining a blurred image, it is obtained by changing the depth of field by the diaphragm mechanism in the optical mechanism 1011. However, the focus point is shifted, or addition reading or thinning is performed in imaging driving. A technique for lowering the spatial frequency of an image obtained by reading may be used.
期間T2で得る画像データは空間周波数が低い画像となるためAF評価値の検出、及びAF駆動動作を行わない。このようにして期間T1、T2で得られた画像は画像合成部105にて合成され、動画画像の1フレーム分のデータとして出力される(合成出力期間C1)。 Since the image data obtained in the period T2 is an image having a low spatial frequency, the AF evaluation value detection and the AF driving operation are not performed. The images obtained in the periods T1 and T2 in this way are combined by the image combining unit 105 and output as data for one frame of the moving image (composite output period C1).
次に被写体が移動するなど、フォーカスポイントが随時変化していく場合について説明する。期間T3で得られる画像のAF評価にて、主被写体のAF評価値が期待値を得られないと、得られたAF評価値を元に期待値を得られるであろう予測フォーカスポイントまでフォーカスレンズ制御をおこなう。AF評価値NGになった合成出力期間C2ではぼかし画像の取得は行わず、AFに適した動作をおこなう(期間T4)。 Next, a case where the focus point changes as needed, such as when the subject moves, will be described. If the AF evaluation value of the main subject cannot obtain the expected value in the AF evaluation of the image obtained in the period T3, the focus lens reaches the predicted focus point where the expected value will be obtained based on the obtained AF evaluation value. Take control. In the combined output period C2 when the AF evaluation value is NG, the blurred image is not acquired and an operation suitable for AF is performed (period T4).
具体的にはAF評価値を得られやすいように光学機構部1011内の絞り機構部にて絞り制御を行うことにより、フォーカスの得られやすい被写界深度の深い画像を得るように変更し、期間T4で得られた画像データからAF評価値検出を得られるようにする。このとき、期間T4において、画素信号読み出し駆動において水平方向は間引かずに垂直方向は間引くなど一定方向の空間周波数情報を高く得られるようにして、フレームレートの向上やデータ量圧縮を行うことも可能である。 Specifically, by performing aperture control in the aperture mechanism unit in the optical mechanism unit 1011 so that an AF evaluation value can be easily obtained, a change is made to obtain an image with a deep depth of field that is easy to obtain a focus, The AF evaluation value detection can be obtained from the image data obtained in the period T4. At this time, in the period T4, it is possible to improve the frame rate and compress the data amount so that high spatial frequency information in a certain direction can be obtained such as thinning in the vertical direction without thinning out in the horizontal direction in pixel signal readout driving. Is possible.
また、空間周波数情報が低下しない範囲で、画素信号読み出し駆動を間引き動作や加算動作に変更してもよい。そして、期間T4で得られる画像データは、AFに適した撮像素子駆動とすることにより期間T3で得られる主被写体画像とは画角が変化するため、期間T3で得られる主被写体画像との合成処理は行わず、主被写体のみを画像出力することとする。 Further, the pixel signal readout drive may be changed to a thinning-out operation or an addition operation within a range where the spatial frequency information does not decrease. The image data obtained in the period T4 is combined with the main subject image obtained in the period T3 because the angle of view changes from that of the main subject image obtained in the period T3 by driving the imaging device suitable for AF. No processing is performed, and only the main subject is output as an image.
次に被写体のフォーカスポイントが、変化していく状況から定常状態となる際のタイミングについて説明する。期間T(n−1)から期間T(n)に掛けて被写体が静止すると、期間T(n−1)で得られる画像データでのAF評価値からAF期待値を得られるであろう予測フォーカスポイントまでフォーカスレンズ制御を期間T(n−1)にて行う。期間T(n)で得られる画像データのAF評価値がAF評価検出され期待値が得られたら、期間T(n+1)では光学機構部1011内の絞り機構部にて開放側にし、被写界深度が浅い画像を得るようにしてぼかし画像を得る動作に切り替える。 Next, the timing when the focus point of the subject changes from the changing state to the steady state will be described. When the subject is stationary from the period T (n−1) to the period T (n), the predicted focus from which the AF expected value can be obtained from the AF evaluation value in the image data obtained in the period T (n−1). Focus lens control is performed in a period T (n-1) to the point. When the AF evaluation value of the image data obtained in the period T (n) is detected by AF evaluation and the expected value is obtained, in the period T (n + 1), the aperture mechanism unit in the optical mechanism unit 1011 opens to the open side. The operation is switched to an operation for obtaining a blurred image so as to obtain an image having a shallow depth.
次に図4を用いてAF動作の切り替えについて、フローチャートにて説明する。まず、図3での期間Ta0、Ta1におけるフローについて図4でのステップS401〜S406を用いて説明する。動画ぼかしモードに入ると(S401)、まず主被写体のAF評価用画像取得を行う(S402)。 Next, switching of the AF operation will be described with reference to FIG. First, the flow in the periods Ta0 and Ta1 in FIG. 3 will be described using steps S401 to S406 in FIG. When the moving image blur mode is entered (S401), first, an image for AF evaluation of the main subject is acquired (S402).
ステップS402で取得された画像からAF評価値検出部104にてAF評価値AF_Kを取得する(S403)。ステップS404では、ステップS403で取得したAF評価値AF_KがAF期待値であるK_min及びK_maxに対して、下記式を満たすかを判定する。 The AF evaluation value detection unit 104 acquires the AF evaluation value AF_K from the image acquired in step S402 (S403). In step S404, it is determined whether the AF evaluation value AF_K acquired in step S403 satisfies the following expression with respect to K_min and K_max, which are AF expected values.
K_min<AF_K<K_max ・・・・式1
ここでK_min、K_maxは期待されるAF評価値の最小値と最大値を指しており、あらかじめ設計時もしくは調整時の結果から制御部108内に格納している。
K_min <AF_K <K_max... Equation 1
Here, K_min and K_max indicate the minimum value and the maximum value of the expected AF evaluation value, and are stored in advance in the control unit 108 from the result of design or adjustment.
ステップS404でのAF評価値AF_Kが式1を満たさない場合、ステップS405へと移行し、ステップS404で得られたAF評価値AF_Kから制御部108にてフィードバック制御量を決め、制御部108からの制御信号に基づいて駆動回路103を駆動することにより光学機構部内のフォーカスレンズを駆動する。続いて、ステップS406にてAF評価用の画像取得を行い、ステップS403へと戻る。 If the AF evaluation value AF_K in step S404 does not satisfy Equation 1, the process proceeds to step S405, where the feedback control amount is determined by the control unit 108 from the AF evaluation value AF_K obtained in step S404. The focus lens in the optical mechanism unit is driven by driving the drive circuit 103 based on the control signal. Subsequently, an image for AF evaluation is acquired in step S406, and the process returns to step S403.
次に図3での期間T1におけるフローについて図4でのステップS407〜S411を用いて説明する。 Next, the flow in the period T1 in FIG. 3 will be described with reference to steps S407 to S411 in FIG.
ステップS404でのAF評価値AF_Kの比較にて式1を満たす場合は、ステップS407へと進み、空間周波数が高い撮影条件に撮像装置を制御する。 When Expression 1 is satisfied in the comparison of the AF evaluation value AF_K in step S404, the process proceeds to step S407, and the imaging apparatus is controlled to an imaging condition with a high spatial frequency.
ここでいう空間周波数が高い撮影条件を得るためには、光学機構部1011内の絞り機構部にて小絞り側に制御し被写界深度を深くしたり、撮像素子駆動により全画素読み出しなどの解像感を得られやすい駆動に変更するなど少なくとも一つ以上の手段を用いる。 In order to obtain imaging conditions with a high spatial frequency, the aperture mechanism unit in the optical mechanism unit 1011 is controlled to the small aperture side to increase the depth of field, or all pixel readout is performed by driving the image sensor. At least one or more means such as changing to a drive that can easily obtain a resolution is used.
ステップS407にて空間周波数が高い状態にした後に、ステップS408にて主被写体となる画像データ(Image_S)を取得する。ステップS408で得られた画像データImage_Sは、フローとしてはステップS409、ステップS410にそれぞれ分かれる。ステップS409では画像データImage_Sからの出力を元に、AF評価値検出部104によって、AF評価値AF_Kを得る。ステップS410では、画像データImage_Sを画像合成部105内に構成されるフレームメモリ1052に記録する。ステップS411ではステップS409で取得した画像データImage_SのAF評価値AF_Kが式1を満たすか判定する。 After setting the spatial frequency to a high state in step S407, image data (Image_S) that becomes the main subject is acquired in step S408. The image data Image_S obtained in step S408 is divided into steps S409 and S410, respectively. In step S409, the AF evaluation value detection unit 104 obtains an AF evaluation value AF_K based on the output from the image data Image_S. In step S410, the image data Image_S is recorded in the frame memory 1052 configured in the image composition unit 105. In step S411, it is determined whether the AF evaluation value AF_K of the image data Image_S acquired in step S409 satisfies Expression 1.
次に図3での期間T2におけるフローについて、図4でのステップS412〜S416を用いて説明する。 Next, the flow in the period T2 in FIG. 3 will be described using steps S412 to S416 in FIG.
期間T2ではぼかし画像取得をする動作となるため、ステップS411においてはAF評価値AF_Kが式1を満たす状態となる。 Since the blurred image is acquired in the period T2, the AF evaluation value AF_K satisfies the expression 1 in step S411.
ステップS411で式1を満たすとき、ステップS412では空間周波数が低い撮影条件を得るために、光学機構部1011内の絞り機構部にて開放側にして被写界深度を浅くしたり、フォーカス制御によりフォーカスポイントをずらしたり、撮像素子駆動により間引き読み出しや画素加算読み出しをするなど、いずれかの手段を用いて得られる画像に対して空間周波数が低い画像を得るようにする。 When Expression 1 is satisfied in step S411, in step S412, in order to obtain an imaging condition with a low spatial frequency, the aperture mechanism in the optical mechanism unit 1011 is opened to reduce the depth of field, or by focus control. An image having a lower spatial frequency than an image obtained by using any means such as shifting the focus point or performing thinning readout or pixel addition readout by driving the image sensor is obtained.
ステップS413では、ステップS412での空間周波数が低い状態で背景ぼかし画像となる画像データImage_Bを取得する。 In step S413, image data Image_B that becomes a background blurred image in a state where the spatial frequency in step S412 is low is acquired.
ステップS414では、ステップS410でフレームメモリ1052に記録した主被写体画像データImage_Sと、ステップS413で得られた背景ぼかし画像データImage_Bとを画像合成部105内の画像合成回路1051にて画像合成し、ステップS415にて合成画像として出力する。 In step S414, the main subject image data Image_S recorded in the frame memory 1052 in step S410 and the background-blurred image data Image_B obtained in step S413 are combined by the image combining circuit 1051 in the image combining unit 105. In S415, the image is output as a composite image.
ステップS415にて合成画像出力した後にステップS416に進み、操作部109でのユーザー操作などにより記録終了した場合はステップS425に進み待機状態となり、記録を続ける場合はステップS407へとフローを戻す。 After the composite image is output in step S415, the process proceeds to step S416. If the recording is terminated by a user operation or the like on the operation unit 109, the process proceeds to step S425 to enter a standby state, and if the recording is continued, the flow returns to step S407.
次に図3での期間T4におけるフローについて、図4でのステップS417〜S424を用いて説明する。ステップS411にてAF評価値AF_Kが式1を満たさない時は、ステップS417に進み、ステップS411で得られたAF評価値AF_Kから制御部108にてフィードバック制御量を決め、制御部108からの制御信号に基づいて駆動回路103を駆動することにより光学機構部内のフォーカスレンズを駆動する。 Next, the flow in the period T4 in FIG. 3 will be described using steps S417 to S424 in FIG. When the AF evaluation value AF_K does not satisfy Expression 1 in step S411, the process proceeds to step S417, where the control unit 108 determines the feedback control amount from the AF evaluation value AF_K obtained in step S411, and the control from the control unit 108 is performed. The focus lens in the optical mechanism unit is driven by driving the drive circuit 103 based on the signal.
続いてステップS418では、ステップS407同様に空間周波数が高い撮影条件とし、ステップS419にてその状態でのAF評価値検出用画像を取得する。ステップS420では、ステップS419にて取得したAF評価用画像から、AF評価値検出部104にてAF評価値AF_Kを取得する。 Subsequently, in step S418, an imaging condition having a high spatial frequency is set as in step S407, and an AF evaluation value detection image in that state is acquired in step S419. In step S420, the AF evaluation value detection unit 104 acquires the AF evaluation value AF_K from the AF evaluation image acquired in step S419.
ステップS421では画像合成を行わずステップS410にて記録した主被写体画像データImage_Sを画像合成せずに出力する。続いてステップS422では、ステップS420にて取得したAF評価値AF_Kが式1を満たすか判定する。ステップS422で式1を満たす場合は、後に述べるS424へと遷移する。 In step S421, image synthesis is not performed, and the main subject image data Image_S recorded in step S410 is output without image synthesis. Subsequently, in step S422, it is determined whether the AF evaluation value AF_K acquired in step S420 satisfies Expression 1. When Expression 1 is satisfied in step S422, the process proceeds to S424 described later.
一方、式1を満たさない場合は、ステップS423へと遷移し、ステップS420にて取得したAF評価値AF_Kを元に制御部108にてフィードバック制御量を決め、制御部108からの制御信号に基づいて駆動回路103を駆動することにより光学機構部内のフォーカスレンズを駆動する。ステップS424では、ステップS422で式1を満たすかステップS423の処理後、操作部109でのユーザー操作などにより記録終了した場合はステップS425に進み待機状態となり、記録を続ける場合はステップS407へとフローを戻す。 On the other hand, when Expression 1 is not satisfied, the process proceeds to step S423, where the control unit 108 determines a feedback control amount based on the AF evaluation value AF_K acquired in step S420, and based on the control signal from the control unit 108. By driving the drive circuit 103, the focus lens in the optical mechanism unit is driven. In step S424, if the expression 1 is satisfied in step S422 or if the recording is ended by a user operation or the like on the operation unit 109 after the process of step S423, the process proceeds to step S425 to enter a standby state, and if the recording is continued, the process proceeds to step S407. To return.
以上のように、動作させることにより背景ぼかし動画として動作している際においてもフォーカス追従性を上げることができる。 As described above, it is possible to improve the focus followability even when operating as a background blurred moving image by operating.
[実施例2]
以下、図5、図6を参照して、本発明の第2の実施例による移動検出部112を用いたAF追従性能向上について説明する。
[Example 2]
Hereinafter, with reference to FIGS. 5 and 6, the AF tracking performance improvement using the movement detection unit 112 according to the second embodiment of the present invention will be described.
本発明の第2の実施形態に係る撮像装置は、その構成(図1及び図2)が上記第1の実施の形態に係る撮像装置と同じであり、第1の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第1の実施の形態と異なる点のみを説明する。 The imaging apparatus according to the second embodiment of the present invention has the same configuration (FIGS. 1 and 2) as that of the imaging apparatus according to the first embodiment, and is similar to the first embodiment. The description is omitted using the same reference numerals. Only differences from the first embodiment will be described below.
図5は図3での説明と同じく、AF動作の切り替えタイミングについて説明する図である。背景ぼかし動画モードに入ると、実施例1同様にAFデータ取得用に画像を取得し、主被写体のAF評価値を取得する(期間Ta0〜Ta1)。 FIG. 5 is a diagram for explaining the switching timing of the AF operation, similar to the explanation in FIG. When the background blurred moving image mode is entered, an image is acquired for AF data acquisition in the same manner as in the first embodiment, and the AF evaluation value of the main subject is acquired (periods Ta0 to Ta1).
次に撮影同期信号に同期して駆動回路103からのタイミング制御に従い撮像素子102から画像の取得を行い、主被写体となる画像の取得を行う(期間T61)。このとき主被写体としてはフォーカスのあった、つまり空間周波数が高い画像を得やすくしたいため、光学機構部1011内の絞り機構部にて絞り制御することで被写界深度を深くしたり、フォーカスを合わすなど空間周波数が高い画像を得るようにする。 Next, an image is acquired from the image sensor 102 in accordance with timing control from the drive circuit 103 in synchronization with the shooting synchronization signal, and an image to be the main subject is acquired (period T61). At this time, in order to make it easy to obtain an image having a focus as the main subject, that is, a high spatial frequency, the aperture mechanism is controlled by the aperture mechanism in the optical mechanism 1011 to increase the depth of field or focus. An image with a high spatial frequency is obtained by combining them.
ここでAF評価検出部104は、制御回路108から出力されるAF評価値検出タイミングに従い、期間T61で取得した画像を用いて、期間T61内にてAF評価値検出を行う。期間T61で取得された主被写体画像データは期間T61内にてフレームメモリ1052に入力される。 Here, according to the AF evaluation value detection timing output from the control circuit 108, the AF evaluation detection unit 104 performs AF evaluation value detection within the period T61 using the image acquired during the period T61. The main subject image data acquired in the period T61 is input to the frame memory 1052 within the period T61.
また、図5における期間T62までは撮像装置や被写体の移動を移動検出部112はある閾値以上の移動量を検知していないため、移動検出信号をLレベルとして出力している。なお、移動量に関する説明は後の図6の説明内で述べる。 Further, until the period T62 in FIG. 5, since the movement detection unit 112 has not detected a movement amount equal to or greater than a certain threshold value, the movement detection signal is output as the L level. Note that the movement amount will be described later in the description of FIG.
図5における期間T61から得られる画像ではAF評価値がAF期待値を得られており、かつ移動検出信号がLレベルのため、期間T62においてはこのまま背景ぼかし画像の取得へと移行する。期間T62では背景となるぼかし画像は空間周波数が低い画像を得るようにする。 In the image obtained from the period T61 in FIG. 5, since the AF evaluation value is obtained as the expected AF value, and the movement detection signal is at the L level, the process proceeds to the acquisition of the background blurred image as it is in the period T62. In the period T62, an image having a low spatial frequency is obtained as a blurred image as a background.
本実施例においては、ぼかし画像を得る手段として、光学機構部1011内の絞り機構部により被写界深度を変更して得るものとするが、フォーカスポイントをずらしたり、撮像駆動において加算読み出しや間引き読み出しにより得られる画像の空間周波数を下げる手法を取ってもよい。期間T62で得る画像データは空間周波数が低い画像となるためAF評価値の検出、及びAF駆動動作を行わない。このようにして期間T61、T62で得られた画像は画像合成部105にて合成され、動画画像の1フレーム分のデータとして出力される(合成出力期間C61)。 In this embodiment, as a means for obtaining a blurred image, it is obtained by changing the depth of field by the diaphragm mechanism in the optical mechanism 1011. However, the focus point is shifted, or addition reading or thinning is performed in imaging driving. A technique for lowering the spatial frequency of an image obtained by reading may be used. Since the image data obtained in the period T62 is an image having a low spatial frequency, the AF evaluation value detection and the AF driving operation are not performed. Thus, the images obtained in the periods T61 and T62 are synthesized by the image synthesis unit 105 and output as data for one frame of the moving image (synthesis output period C61).
次に被写体が移動、もしくはユーザーが撮像装置を移動(フレーミング動作など)させるなど、移動検出部112が移動検出した場合について説明する。期間T63で被写体、または撮像装置が移動し始めると、閾値以上の移動量を検知した移動検出部112は制御部108に移動検出信号をHレベルとして出力する。移動検出信号がHレベルとして出力されている間、制御部108はAF優先として動作を開始する。 Next, a case will be described in which the movement detection unit 112 detects movement, for example, when the subject moves or when the user moves the imaging apparatus (such as a framing operation). When the subject or the imaging apparatus starts to move during the period T63, the movement detection unit 112 that has detected a movement amount equal to or greater than the threshold value outputs a movement detection signal to the control unit 108 as an H level. While the movement detection signal is output as the H level, the control unit 108 starts operation with AF priority.
具体的には、移動検出信号がHレベルとなっている合成出力期間C62での、ぼかし画像の取得は行わず、AFに適した動作をおこなう(期間T64)。具体的にはAF評価値を得られやすいように光学機構部1011内の絞り機構部にて絞り側にすることによりフォーカスの得られやすい被写界深度の深い画像を得るように変更し、期間T64で得られた画像データから期間T64内にてAF評価検出部104を用いAF評価値を得られるようにする。 Specifically, in the combined output period C62 in which the movement detection signal is at the H level, an operation suitable for AF is performed without acquiring a blurred image (period T64). Specifically, in order to easily obtain the AF evaluation value, the aperture mechanism unit in the optical mechanism unit 1011 is changed to obtain an image with a deep depth of field that is easy to obtain a focus by setting the aperture side. An AF evaluation value can be obtained from the image data obtained at T64 by using the AF evaluation detection unit 104 within the period T64.
このとき、期間T64において、画素信号読み出し駆動において水平方向は間引かずに垂直方向は間引くなど一定方向の空間周波数情報を高く得られるようにして、フレームレートの向上やデータ量圧縮を行うことも可能である。また、空間周波数情報が低下しない範囲で、画素信号読み出し駆動を間引き動作や加算動作に変更してもよい。 At this time, in the period T64, the frame rate may be improved or the data amount may be compressed so that high spatial frequency information in a certain direction can be obtained, such as thinning in the vertical direction without thinning out in the horizontal direction in pixel signal readout driving. Is possible. Further, the pixel signal readout drive may be changed to a thinning-out operation or an addition operation within a range where the spatial frequency information does not decrease.
そして、期間T64で得られる画像データは、AFに適した撮像素子駆動とすることにより期間T63で得られる主被写体画像とは画角が変化するため、期間T63で得られる主被写体画像との合成処理は行わず、主被写体のみを画像出力することとする。 The image data obtained in the period T64 is combined with the main subject image obtained in the period T63 because the angle of view changes from that of the main subject image obtained in the period T63 by performing image pickup element driving suitable for AF. No processing is performed, and only the main subject is output as an image.
次に被写体、もしくは撮像装置が移動から静止に移行する際のタイミングについて説明する。期間T(m)中に被写体が静止すると、移動検出部112は移動検出信号をHレベルからLレベルへと変化させる。そのLレベルとなった移動検出信号を受けた制御部108は、期間T(m+1)では光学機構部1011内の絞り機構部にて開放側にし、被写界深度が浅い画像を得るようにしてぼかし画像を得る動作に切り替える。 Next, the timing when the subject or the imaging apparatus shifts from moving to stationary will be described. When the subject is stationary during the period T (m), the movement detection unit 112 changes the movement detection signal from the H level to the L level. The control unit 108 that has received the movement detection signal that has become the L level is opened at the aperture mechanism unit in the optical mechanism unit 1011 during the period T (m + 1) so as to obtain an image with a shallow depth of field. Switch to the operation to obtain a blurred image.
次に図6を用いてAF動作の切り替えについて、フローチャートにて説明する。まず、図5での期間Ta0、Ta1におけるフローについて、図6でのステップS601〜S606を用いて説明する。動画ぼかしモードに入ると(S601)、まず主被写体のAF評価用画像取得を行う(S602)。 Next, switching of the AF operation will be described with reference to a flowchart with reference to FIG. First, the flow in the periods Ta0 and Ta1 in FIG. 5 will be described using steps S601 to S606 in FIG. When the moving image blur mode is entered (S601), an AF evaluation image of the main subject is first acquired (S602).
ステップS602で取得された画像からAF評価値検出部104にてAF評価値AF_Kを取得する(S603)。ステップS604では、ステップS603で取得したAF評価値AF_Kが実施例1同様に式1を満たすかどうか判定する。ステップS604でのAF評価値AF_Kが式1を満たさない場合、ステップS605へと移行し、ステップS604で得られたAF評価値AF_Kから制御部108にてフィードバック制御量を決め、制御部108からの制御信号に基づいて駆動回路103を駆動することにより光学機構部内のフォーカスレンズを駆動する。続いて、ステップS606にてAF評価用の画像取得を行い、ステップS603へと戻す。 The AF evaluation value detection unit 104 acquires the AF evaluation value AF_K from the image acquired in step S602 (S603). In step S604, it is determined whether the AF evaluation value AF_K acquired in step S603 satisfies the expression 1 as in the first embodiment. If the AF evaluation value AF_K in step S604 does not satisfy Equation 1, the process proceeds to step S605, and the feedback control amount is determined by the control unit 108 from the AF evaluation value AF_K obtained in step S604. The focus lens in the optical mechanism unit is driven by driving the drive circuit 103 based on the control signal. In step S606, an image for AF evaluation is acquired, and the process returns to step S603.
次に図5での期間T61におけるフローについて、図6でのステップS607〜S613を用いて説明する。ステップS604でのAF評価値AF_Kの比較にて式1を満たす場合は、ステップS607へと進み、空間周波数が高い撮影条件に撮像装置を制御する。 Next, the flow in the period T61 in FIG. 5 will be described with reference to steps S607 to S613 in FIG. When Expression 1 is satisfied in the comparison of the AF evaluation value AF_K in step S604, the process proceeds to step S607, and the imaging apparatus is controlled to an imaging condition with a high spatial frequency.
ここでいう空間周波数が高い撮影条件を得るためには、光学機構部1011内の絞り機構部にて小絞り側にして被写界深度を深くしたり、撮像素子駆動により全画素読み出しなどの解像感を得られやすい駆動に変更するなど少なくとも一つ以上の手段を用いる。ステップS607にて空間周波数が高い状態にした後に、ステップS608にて主被写体となる画像データ(Image_S)を取得する。ステップS609では、画像データImage_Sを画像合成部105内に構成されるフレームメモリ1052に記録する。 In order to obtain imaging conditions with a high spatial frequency here, the aperture mechanism in the optical mechanism 1011 can be used to increase the depth of field on the small aperture side, or to read out all pixels by driving the image sensor. At least one or more means is used such as changing to a drive that makes it easy to obtain an image. After setting the spatial frequency to a high state in step S607, image data (Image_S) serving as the main subject is acquired in step S608. In step S <b> 609, the image data Image_S is recorded in the frame memory 1052 configured in the image composition unit 105.
ステップS610ではステップS608で取得した画像データImage_SからAF評価値検出部104にてAF評価値AF_Kを取得する。ステップS611ではステップS610から得られたAF評価値AF_Kから制御部108にてフィードバック制御量を決め、制御部108からの制御信号に基づいて駆動回路103を駆動することにより光学機構部内のフォーカスレンズを駆動する。ステップS612では移動検出部112において移動量Pos_Kを取得する。 In step S610, the AF evaluation value detection unit 104 acquires the AF evaluation value AF_K from the image data Image_S acquired in step S608. In step S611, the feedback control amount is determined by the control unit 108 from the AF evaluation value AF_K obtained from step S610, and the drive circuit 103 is driven based on the control signal from the control unit 108 to thereby adjust the focus lens in the optical mechanism unit. To drive. In step S612, the movement detection unit 112 acquires the movement amount Pos_K.
移動量Pos_Kは、移動検出部112内に構成されている加速度センサやジャイロセンサ、により撮像装置の加速度/角速度情報から計出したり、もしくは画像認識回路により主被写体を画像認識し、主被写体が画角内において変化している画角比を検出することにより移動量をPos_Kを割り出すことにより情報を取り出す。ステップS613ではステップS612で取得した移動量Pos_Kが移動したとみなす閾値Pos_maxを超えているかどうかを判定する。 The movement amount Pos_K is calculated from the acceleration / angular velocity information of the imaging apparatus by an acceleration sensor or a gyro sensor configured in the movement detection unit 112, or the main object is recognized by the image recognition circuit. Information is extracted by determining the amount of movement Pos_K by detecting the angle-of-view ratio changing within the corner. In step S613, it is determined whether or not the movement amount Pos_K acquired in step S612 exceeds a threshold Pos_max that is considered to have moved.
すなわち、ステップS613は次式にてこのように表わされる。
Pos_K > Pos_max・・・・式2
ここで閾値Pos_maxは事前に設計値もしくは調整値情報として割り出しており、制御部108内にその値を格納している。
That is, step S613 is expressed in this way by the following equation.
Pos_K> Pos_max .. Formula 2
Here, the threshold value Pos_max is determined in advance as design value or adjustment value information, and the value is stored in the control unit 108.
次に図5での期間T62におけるフローについて、図6でのステップS614〜S618を用いて説明する。
期間T62ではぼかし画像取得をする動作となるため、ステップS613においては式2を満たさない状態となる。
ステップS613で式2を満たさない時、ステップS614では空間周波数が低い撮影条件を得るために、光学機構部1011内の絞り機構部にて開放側にして被写界深度を浅くしたり、フォーカス制御によりフォーカスポイントをずらしたり、撮像素子駆動により間引き読み出しや画素加算読み出しをするなど、いずれかの手段を用いて得られる画像に対して空間周波数が低い画像を得るようにする。
Next, the flow in the period T62 in FIG. 5 will be described using steps S614 to S618 in FIG.
In the period T62, since the operation for acquiring a blurred image is performed, in Step S613, the state of Expression 2 is not satisfied.
When Expression 2 is not satisfied in step S613, in step S614, in order to obtain a photographing condition with a low spatial frequency, the aperture mechanism in the optical mechanism unit 1011 is opened to reduce the depth of field or focus control. Thus, an image having a lower spatial frequency than an image obtained by using any means, such as shifting the focus point or performing thinning readout or pixel addition readout by driving the image sensor, is obtained.
ステップS615では、ステップS412での空間周波数が低い状態で背景ぼかし画像となる画像データImage_Bを取得する。ステップS616では、ステップS609でフレームメモリ1052に記録した主被写体画像データImage_Sと、ステップS615で得られた背景ぼかし画像データImage_Bとを画像合成部105内の画像合成回路1051にて画像合成し、ステップS617にて合成画像として出力する。 In step S615, image data Image_B that is a background blurred image in a state where the spatial frequency in step S412 is low is acquired. In step S616, the main subject image data Image_S recorded in the frame memory 1052 in step S609 and the background-blurred image data Image_B obtained in step S615 are combined in the image combining circuit 1051 in the image combining unit 105. In step S617, the image is output as a composite image.
ステップS617にて合成画像出力した後にステップS618に進み、記録終了した場合はステップS626に進み待機状態となり、記録を続ける場合はステップS607へとフローを戻す。 After the composite image is output in step S617, the process proceeds to step S618. If the recording is completed, the process proceeds to step S626 to enter a standby state. If the recording is continued, the process returns to step S607.
次に図5での期間T4におけるフローについて、図6でのステップS619〜S626を用いて説明する。ステップS613にて移動量Pos_Kが式2を満たす時は、ステップS619に進む。 Next, the flow in the period T4 in FIG. 5 will be described using steps S619 to S626 in FIG. When the movement amount Pos_K satisfies Expression 2 in step S613, the process proceeds to step S619.
ステップS619では、ステップS607同様に空間周波数が高い撮影条件とし、ステップS620にてその状態でのAF評価用画像を取得する。ステップS621では画像合成を行わずステップS609にてフレームメモリに記録した主被写体画像データImage_Sを画像合成せずに出力する。ステップS622では、ステップS612同様に移動検出部112において移動量Pos_Kを取得する。 In step S619, an imaging condition with a high spatial frequency is set as in step S607, and an image for AF evaluation in that state is acquired in step S620. In step S621, image synthesis is not performed, and the main subject image data Image_S recorded in the frame memory in step S609 is output without image synthesis. In step S622, the movement amount Pos_K is acquired in the movement detection unit 112 as in step S612.
ステップS623では、ステップS622で得られた移動量Pos_Kが式2を満たすか判定し、満たす場合はステップS624へと遷移し、満たさない場合はステップS626へと遷移する。ステップS624ではステップS620で得られたAF検出用画像からAF評価値検出部104にてAF評価値AF_Kを取得する。 In step S623, it is determined whether or not the movement amount Pos_K obtained in step S622 satisfies Expression 2. If satisfied, the process proceeds to step S624, and if not, the process proceeds to step S626. In step S624, the AF evaluation value detection unit 104 acquires the AF evaluation value AF_K from the AF detection image obtained in step S620.
ステップS625ではステップS624で得られたAF評価値AF_Kから制御部108にてフィードバック制御量を決め、制御部108からの制御信号に基づいて駆動回路103を駆動することにより光学機構部内のフォーカスレンズを駆動し、ステップS626へと遷移する。 In step S625, the feedback control amount is determined by the control unit 108 from the AF evaluation value AF_K obtained in step S624, and the drive circuit 103 is driven based on the control signal from the control unit 108, thereby moving the focus lens in the optical mechanism unit. Drive, and the process proceeds to step S626.
ステップS626では、記録終了した場合はステップS627に進み待機状態となり、記録を続ける場合はステップS607へと戻す。 In step S626, when the recording is completed, the process proceeds to step S627 to enter a standby state, and when the recording is continued, the process returns to step S607.
以上のように、動作させることにより背景ぼかし動画として動作している際においても被写体、及び撮像装置の移動を検知することによりフォーカス追従性を上げることができる。 As described above, the focus followability can be improved by detecting the movement of the subject and the imaging device even when operating as a background blurred moving image by operating.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
101 光学鏡筒、1011 光学機構部、102 撮像素子、103 駆動回路、
104 AF評価値検出部、105 画像合成部、106 信号処理部、
107 圧縮伸張部、108 制御部、109 操作部、110 画像表示部、
111 画像記録部、112 移動検出部、1051 画像合成回路、
1052 フレームメモリ
101 optical barrel, 1011 optical mechanism, 102 image sensor, 103 drive circuit,
104 AF evaluation value detection unit, 105 image composition unit, 106 signal processing unit,
107 compression / decompression unit, 108 control unit, 109 operation unit, 110 image display unit,
111 Image recording unit, 112 Movement detection unit, 1051 Image composition circuit,
1052 Frame memory
Claims (10)
焦点調整を行うフォーカス部と光量を制御する光学絞り部を有する光学ユニットと、
前記撮像素子及び前記光学ユニットを駆動する駆動部と、
主被写体となる合焦した画像を得る第1の撮像モードと、
背景をぼかした画像を得る第2の撮像モードと、
フォーカス情報を得るのに適した画像を得る第3の撮像モードと、
第1の撮像モードから得られる画像と第2の撮像モードから得られる画像を合成する合成手段と、
画像データからフォーカス情報を検出するフォーカスデータ検出手段と、
得られるフォーカス情報に基づいて撮像条件を決定する制御手段とを備え、
得られるフォーカス情報が期待値から外れた場合、第2の撮像モードを前記第3の撮像モードに変更して得られるフォーカス情報から前記フォーカス部を制御することを特徴とする撮像装置。 An image sensor comprising a plurality of photoelectric conversion elements;
An optical unit having a focus unit for adjusting the focus and an optical diaphragm unit for controlling the amount of light;
A drive unit for driving the image sensor and the optical unit;
A first imaging mode for obtaining a focused image as a main subject;
A second imaging mode for obtaining an image with a blurred background;
A third imaging mode for obtaining an image suitable for obtaining focus information;
Combining means for combining the image obtained from the first imaging mode and the image obtained from the second imaging mode;
Focus data detection means for detecting focus information from image data;
Control means for determining imaging conditions based on the obtained focus information,
An imaging apparatus, wherein when the obtained focus information deviates from an expected value, the focus unit is controlled from focus information obtained by changing a second imaging mode to the third imaging mode.
焦点調整を行うフォーカス部と光量を制御する光学絞り部を有する光学ユニットと、
前記撮像素子及び前記光学ユニットを駆動する駆動部と、
主被写体となる合焦した画像を得る第1の撮像モードと、
背景をぼかした画像を得る第2の撮像モードと、
フォーカス情報を得るのに適した画像を得る第3の撮像モードと、
第1の撮像モードから得られる画像と第2の撮像モードから得られる画像を合成する合成手段と、
被写体もしくは撮像装置の移動状態を検知する移動検出部と、
前記移動検出部から得られる移動情報に基づいて撮像条件を決定する制御手段とを備え、
得られる移動情報が期待値から外れた場合、第2の撮像モードを前記第3の撮像モードに変更して得られるフォーカス情報から前記フォーカス部を制御することを特徴とする撮像装置。 An image sensor comprising a plurality of photoelectric conversion elements;
An optical unit having a focus unit for adjusting the focus and an optical diaphragm unit for controlling the amount of light;
A drive unit for driving the image sensor and the optical unit;
A first imaging mode for obtaining a focused image as a main subject;
A second imaging mode for obtaining an image with a blurred background;
A third imaging mode for obtaining an image suitable for obtaining focus information;
Combining means for combining the image obtained from the first imaging mode and the image obtained from the second imaging mode;
A movement detection unit for detecting a movement state of the subject or the imaging device;
Control means for determining imaging conditions based on movement information obtained from the movement detection unit,
An imaging apparatus, wherein when the obtained movement information deviates from an expected value, the focus unit is controlled from focus information obtained by changing a second imaging mode to the third imaging mode.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015128186A JP2017009943A (en) | 2015-06-26 | 2015-06-26 | Imaging device and control method of the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015128186A JP2017009943A (en) | 2015-06-26 | 2015-06-26 | Imaging device and control method of the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017009943A true JP2017009943A (en) | 2017-01-12 |
Family
ID=57762500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015128186A Pending JP2017009943A (en) | 2015-06-26 | 2015-06-26 | Imaging device and control method of the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017009943A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108093181A (en) * | 2018-01-16 | 2018-05-29 | 奇酷互联网络科技(深圳)有限公司 | Picture shooting method, device, readable storage medium storing program for executing and mobile terminal |
-
2015
- 2015-06-26 JP JP2015128186A patent/JP2017009943A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108093181A (en) * | 2018-01-16 | 2018-05-29 | 奇酷互联网络科技(深圳)有限公司 | Picture shooting method, device, readable storage medium storing program for executing and mobile terminal |
CN108093181B (en) * | 2018-01-16 | 2021-03-30 | 奇酷互联网络科技(深圳)有限公司 | Picture shooting method and device, readable storage medium and mobile terminal |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230353869A1 (en) | Imaging apparatus and setting screen thereof | |
JP5054583B2 (en) | Imaging device | |
CN101076997B (en) | Image processing and image processing method used therein | |
JP2019054461A (en) | Imaging apparatus and imaging method | |
JP4985251B2 (en) | Imaging apparatus, focus control method, and focus control program | |
US8497932B2 (en) | Photographing apparatus and method having at least two photographing devices and exposure synchronization | |
WO2016072103A1 (en) | Imaging device, imaging method and processing program | |
JP2008311938A (en) | Imaging apparatus, lens unit, imaging method and control program | |
JP2009273023A (en) | Imaging device, imaging method, focusing control method, and program | |
JP2006201282A (en) | Digital camera | |
JP2007215091A (en) | Imaging apparatus and program therefor | |
JP2007264049A (en) | Imaging method and apparatus | |
WO2017090233A1 (en) | Imaging device | |
JP2009010616A (en) | Imaging device and image output control method | |
JP2010178164A (en) | Imaging apparatus | |
JP7142507B2 (en) | Image processing device, image processing method, and imaging device | |
JP2011217311A (en) | Imaging apparatus and method of controlling the same | |
JP2007225897A (en) | Focusing position determination device and method | |
JP6706167B2 (en) | Imaging device, image synthesizing method, and program | |
JP2011217334A (en) | Imaging apparatus and method of controlling the same | |
JP2010193324A (en) | Camera apparatus, photographing method thereof and program | |
JP2017009943A (en) | Imaging device and control method of the same | |
JP2014007622A (en) | Image pick-up device and program | |
US20150085172A1 (en) | Image capturing apparatus and control method thereof | |
JP5123010B2 (en) | Imaging apparatus, imaging method, and program for causing computer included in imaging apparatus to execute imaging method |