JP2017009943A - Imaging device and control method of the same - Google Patents
Imaging device and control method of the same Download PDFInfo
- Publication number
- JP2017009943A JP2017009943A JP2015128186A JP2015128186A JP2017009943A JP 2017009943 A JP2017009943 A JP 2017009943A JP 2015128186 A JP2015128186 A JP 2015128186A JP 2015128186 A JP2015128186 A JP 2015128186A JP 2017009943 A JP2017009943 A JP 2017009943A
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus
- unit
- imaging
- imaging mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、いわゆるブラケット撮影により得られた複数の動画から合成動画を生成する撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus that generates a composite moving image from a plurality of moving images obtained by so-called bracket photography, and a control method thereof.
近年、デジタルカメラを用いた動画撮影が一般的に行われるようになってきている。これらの撮影装置において主被写体を強調する手法として、背景をぼかして動画撮影を行うことがある。 In recent years, moving image shooting using a digital camera has been generally performed. As a technique for emphasizing a main subject in these photographing apparatuses, there is a case where a moving image is photographed with a blurred background.
背景をぼかした動画の取得手法としては、大きなイメージセンサを利用して被写界深度を浅く撮影する手法や、主被写体に対しては被写界深度が異なる画像をブラケット撮影して複数のフレームを合成する手法がある。 As a method of obtaining a moving image with a blurred background, a method that uses a large image sensor to shoot a shallow depth of field, or a main subject that has a different depth of field by bracketing and shooting multiple frames There is a method to synthesize.
特許文献１では、複数の動画からフレーム同士を合成して合成動画を生成する画像処理装置であり、空間周波数特性と動き量に応じて合成率を算出する。 Patent Document 1 is an image processing apparatus that generates a combined moving image by combining frames from a plurality of moving images, and calculates a combining rate according to the spatial frequency characteristics and the amount of motion.
しかしながら、上述の特許文献１に開示された従来技術では、背景ぼかしを取得している画像では空間周波数が低いためフォーカス情報を得にくくピントずれが発生しやすい。またフレーム間で被写体が移動したときなどのフォーカス追従性に課題があった。 However, in the conventional technique disclosed in Patent Document 1 described above, the spatial frequency is low in an image obtained by background blurring, and thus it is difficult to obtain focus information and a focus shift is likely to occur. In addition, there is a problem in focus followability when the subject moves between frames.
そこで、本発明の目的は、複数枚合成における背景ぼかし撮像装置において、フォーカス対象もしくは撮像装置が動いた場合は背景ぼかし画像取得を止めてオートフォーカス（ＡＦ）に適した撮像動作をすることを可能とした撮像装置を提供することにある。 Therefore, an object of the present invention is to enable an imaging operation suitable for autofocus (AF) by stopping background-blurred image acquisition when the focus target or the imaging device moves in a background blur imaging device in the case of combining multiple images. It is to provide an imaging apparatus.
上記の目的を達成するために、本発明に係る撮像装置は、
複数の光電変換素子からなる撮像素子と、焦点調整を行うフォーカス部と光量を制御する光学絞り部を有する光学ユニットと、前記撮像素子及び前記光学ユニットを駆動する駆動部と、主被写体となる合焦した画像を得る第１の撮像モードと、背景をぼかした画像を得る第２の撮像モードと、フォーカス情報を得るのに適した画像を得る第３の撮像モードと、第１の撮像モードから得られる画像と第２の撮像モードから得られる画像を合成する合成手段と、画像データからフォーカス情報を検出するフォーカスデータ検出手段と、得られるフォーカス情報に基づいて撮像条件を決定する制御手段とを備え、得られるフォーカス情報が期待値から外れた場合、第２の撮像モードを前記第３の撮像モードに変更して得られるフォーカス情報から前記フォーカス部を制御することを特徴とする。
In order to achieve the above object, an imaging apparatus according to the present invention includes:
An image sensor comprising a plurality of photoelectric conversion elements, an optical unit having a focus section for adjusting the focus and an optical aperture section for controlling the amount of light, a drive section for driving the image sensor and the optical unit, and a main subject From the first imaging mode for obtaining a focused image, the second imaging mode for obtaining an image with a blurred background, the third imaging mode for obtaining an image suitable for obtaining focus information, and the first imaging mode. Combining means for combining the obtained image and the image obtained from the second imaging mode, focus data detecting means for detecting focus information from the image data, and control means for determining an imaging condition based on the obtained focus information And when the obtained focus information deviates from the expected value, the focus information obtained by changing the second imaging mode to the third imaging mode Characterized by controlling the focus unit.
本発明によれば、複数枚合成での背景ぼかし画像を取得する撮像動作において、フォーカス情報を取得する回数を増やすことにより、被写体が移動するなどフォーカスポイントがフレーム間で変化する際にも合焦点に素早く追従することができる撮像装置を提供することができる。 According to the present invention, in an imaging operation for acquiring a background-blurred image by combining a plurality of images, by increasing the number of times focus information is acquired, even when the focus point changes between frames, such as when the subject moves, the in-focus point is obtained. It is possible to provide an imaging apparatus that can quickly follow the above.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
［実施例１］
図１は本発明の実施形態にかかわるＣＭＯＳセンサを用いた撮像装置のブロック図である。本実施形態の撮像装置は、動画機能付き電子スチルカメラやビデオカメラなどに応用可能である。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[Example 1]
FIG. 1 is a block diagram of an imaging apparatus using a CMOS sensor according to an embodiment of the present invention. The imaging apparatus of this embodiment can be applied to an electronic still camera with a moving image function, a video camera, or the like.
図１に示す撮像装置は、光学鏡筒１０１、光学鏡筒１０１内に構成される光学機構部１０１１、撮像素子１０２、駆動回路１０３、ＡＦ評価値検出部１０４、画像合成部１０５、信号処理部１０６、圧縮伸張部１０７、制御部１０８、操作部１０９、画像表示部１１０、画像記録部１１１、及び移動検出部１１２を備える。 An imaging apparatus shown in FIG. 1 includes an optical barrel 101, an optical mechanism unit 1011 configured in the optical barrel 101, an imaging element 102, a drive circuit 103, an AF evaluation value detection unit 104, an image synthesis unit 105, and a signal processing unit. 106, a compression / decompression unit 107, a control unit 108, an operation unit 109, an image display unit 110, an image recording unit 111, and a movement detection unit 112.
光学鏡筒１０１は、被写体からの光を撮像素子１０２に集光するためのレンズと、光学機構部１０１１を構成するＡＦ機構やズーム駆動機構、メカニカルシャッタ機構、絞り機構などから構成されている。これらのうち、光学機構部１０１１は制御部１０８からの制御信号に基づいて駆動回路１０３により駆動される。 The optical barrel 101 includes a lens for condensing light from a subject on the image sensor 102, an AF mechanism, a zoom drive mechanism, a mechanical shutter mechanism, an aperture mechanism, and the like that constitute the optical mechanism unit 1011. Among these, the optical mechanism unit 1011 is driven by the drive circuit 103 based on a control signal from the control unit 108.
ＸＹ読み出し方式のＣＭＯＳ型イメージセンサなどからなる撮像素子１０２は、制御部１０８からの制御信号に応じて動作する駆動回路１０３により、露光や信号読み出しやリセットなどのタイミングを制御され、対応する撮像信号を出力する。 The image sensor 102 composed of an XY readout type CMOS image sensor or the like is controlled by a drive circuit 103 that operates in response to a control signal from the control unit 108, and the timing of exposure, signal readout, reset, and the like is controlled. Is output.
撮像素子１０２は、ここでは図示しない画素部、ＣＤＳ部、ＡＧＣ処理部、及びＡＤコンバータにより構成されるＸＹ読み出し方式のＣＭＯＳ型イメージセンサなどが用いられる。そして、制御部１０８からの制御信号に応じて動作する駆動回路１０３により、露光や信号読み出しやリセットなどの撮像動作が実施され、対応する撮像信号を出力する。 As the image sensor 102, an XY readout type CMOS image sensor including a pixel unit, a CDS unit, an AGC processing unit, and an AD converter (not shown) is used. The drive circuit 103 that operates in response to a control signal from the control unit 108 performs an imaging operation such as exposure, signal readout, and reset, and outputs a corresponding imaging signal.
ＡＦ評価検出部１０４は撮像素子から得られた画像データからコントラスト情報や位相差情報を元に、制御部１０８で制御されるタイミングでＡＦ評価値の検出を行う。画像合成部１０５は、撮像素子１０２から得られる複数枚の撮像信号を合成処理し、１フレームの画像として出力する。 The AF evaluation detection unit 104 detects an AF evaluation value at a timing controlled by the control unit 108 based on contrast information and phase difference information from image data obtained from the image sensor. The image composition unit 105 performs composition processing on a plurality of image signals obtained from the image sensor 102 and outputs them as an image of one frame.
信号処理部１０６は、制御部１０８の制御の下で、撮像素子１０２からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。圧縮伸張部１０７は、制御部１０８の制御の下で動作し、信号処理部１０６からの画像信号に対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。また、制御部１０８から供給された静止画像の符号化データを伸張復号化処理する。さらに、ＭＰＥＧ（Moving Picture Experts Group）方式などにより動画像の圧縮符号化／伸張復号化処理を実行可能なようにしてもよい。 The signal processing unit 106 performs signal processing such as white balance adjustment processing, color correction processing, and AE (Auto Exposure) processing on the image signal from the image sensor 102 under the control of the control unit 108. The compression / decompression unit 107 operates under the control of the control unit 108, and compresses and encodes the image signal from the signal processing unit 106 in a predetermined still image data format such as a JPEG (Joint Photographic Coding Experts Group) method. Process. Further, the encoded data of the still image supplied from the control unit 108 is subjected to decompression decoding processing. Furthermore, the moving picture compression coding / decompression decoding process may be executed by a moving picture experts group (MPEG) method or the like.
制御部１０８は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。操作部１０９は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を制御部１０８に出力する。 The control unit 108 is a microcontroller composed of, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and by executing a program stored in the ROM or the like, Each part of this imaging apparatus is controlled in an integrated manner. The operation unit 109 includes various operation keys such as a shutter release button, a lever, a dial, and the like, and outputs a control signal according to an input operation by the user to the control unit 108.
画像表示部１１０は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスや、これに対するインタフェース回路などからなり、制御部１０８から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。 The image display unit 110 includes a display device such as an LCD (Liquid Crystal Display) and an interface circuit for the display device. The image display unit 110 generates an image signal to be displayed on the display device from the image signal supplied from the control unit 108. A signal is supplied to a display device to display an image.
画像記録部１１１は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープなどとして実現され、圧縮伸張部１０７により符号化された画像データファイルを制御部１０８から受け取って記憶する。また、制御部１０８からの制御信号を基に指定されたデータを読み出し、制御部１０８に出力する。 The image recording unit 111 is realized as, for example, a portable semiconductor memory, an optical disk, an HDD (Hard Disk Drive), a magnetic tape, or the like. The image recording unit 111 receives an image data file encoded by the compression / decompression unit 107 from the control unit 108. Remember. Further, the designated data is read based on the control signal from the control unit 108 and output to the control unit 108.
移動検出部１１２は、例えば加速度センサやジャイロセンサ、もしくは画像認識回路などから構成され、制御部１０８からの制御に従って撮像装置の速度情報や位置変化、対象となる被写体の画面内での移動を検出し、検出結果を制御部１０８にフィードバックすることにより撮像制御情報に用いる。 The movement detection unit 112 includes, for example, an acceleration sensor, a gyro sensor, or an image recognition circuit. The movement detection unit 112 detects speed information and position change of the imaging apparatus and movement of the target subject in the screen according to control from the control unit 108. The detection result is fed back to the control unit 108 and used as imaging control information.
ここで、上記の撮像装置における基本的な動作について説明する。本実施例においては、背景をぼかした動画像を得るために、同じ対象を異なる空間周波数画像による撮影にて得られた複数の画像から、対応するフレーム同士を合成することによって１つの合成動画を生成する撮像装置およびその制御方法について説明する。 Here, a basic operation in the above-described imaging apparatus will be described. In this embodiment, in order to obtain a moving image with a blurred background, a single synthesized moving image is obtained by synthesizing corresponding frames from a plurality of images obtained by photographing the same object with different spatial frequency images. An imaging device to be generated and a control method thereof will be described.
撮像動作前において、ここでは図示しない撮像素子１０２内に構成される画素部、ＣＤＳ部、ＡＧＣ処理部、及びＡＤコンバータにより、光入力からデジタル電気信号へと変換される。撮像動作においては、撮像素子１０２内の画素部により光入力から電気信号へと変換された画像信号が順次、ＣＤＳ処理、ＡＧＣ処理、アナログ−デジタル変換処理を経て、デジタル画像信号に変換される。 Before the image pickup operation, the pixel portion, the CDS portion, the AGC processing portion, and the AD converter that are configured in the image pickup element 102 (not shown here) convert the light input into a digital electric signal. In the imaging operation, an image signal converted from an optical input to an electrical signal by the pixel unit in the image sensor 102 is sequentially converted into a digital image signal through a CDS process, an AGC process, and an analog-digital conversion process.
このデジタル画像信号は、ＡＦ評価値検出部１０４と画像合成部１０５へと入力される。ＡＦ評価値検出部１０４ではＡＦ評価値に基づいて光学機構部１０１１の制御量を決定し、この制御量を駆動回路１０３に出力して光学機構部１０１１を駆動回路１０３によって動作させる。 This digital image signal is input to the AF evaluation value detection unit 104 and the image composition unit 105. The AF evaluation value detection unit 104 determines the control amount of the optical mechanism unit 1011 based on the AF evaluation value, outputs this control amount to the drive circuit 103, and operates the optical mechanism unit 1011 by the drive circuit 103.
一方、画像合成部１０５へと入力された画像信号は空間周波数の異なる複数の動画像から１フレーム分の動画像を作成する。ここで図２を用いて画像合成部１０５について説明する。 On the other hand, the image signal input to the image composition unit 105 creates a moving image for one frame from a plurality of moving images having different spatial frequencies. Here, the image composition unit 105 will be described with reference to FIG.
画像合成回路１０５１は撮像素子１０２で変換された電気信号を、所定の撮像データ読み出し回数に応じて、逐次累算処理を行う画像合成回路であり、合成された電気信号をスイッチＳ１０５３を経由して記録手段であるフレームメモリ１０５２に記録する。スイッチＳ１０５３は制御部１０８の制御に従って、画像合成回路１０５１の出力先を、信号処理部１０６へ切り換える。 The image composition circuit 1051 is an image composition circuit that sequentially accumulates the electrical signal converted by the image sensor 102 in accordance with a predetermined number of times of readout of image data, and the synthesized electrical signal is transmitted via the switch S1053. It records in the frame memory 1052 which is a recording means. The switch S1053 switches the output destination of the image composition circuit 1051 to the signal processing unit 106 under the control of the control unit 108.
画像合成部１０５から出力された合成画像は信号処理部１０６により、画質補正処理を施し、カメラスルー画像の信号として、制御部１０８を通じて画像表示部１１０に供給する。これにより、カメラスルー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。 The composite image output from the image composition unit 105 is subjected to image quality correction processing by the signal processing unit 106 and is supplied to the image display unit 110 through the control unit 108 as a camera-through image signal. As a result, the camera-through image is displayed, and the user can adjust the angle of view while viewing the display image.
この状態で、ユーザーによる操作によって操作部１０９の撮影ボタンが押下されると、制御部１０８の制御により、撮像素子１０２、画像合成部１０５と経た撮像信号が、信号処理部１０６に取り込まれる。信号処理部１０６は、取り込んだ１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部１０７に供給する。圧縮伸張部１０７は、入力された画像信号を圧縮符号化し、生成した符号化データを制御部１０８を通じて画像記録部１１１に供給する。これにより、撮像されたデータファイルが画像記録部１１１に記録される。 In this state, when the photographing button of the operation unit 109 is pressed by a user operation, the image processing signal through the image sensor 102 and the image composition unit 105 is taken into the signal processing unit 106 under the control of the control unit 108. The signal processing unit 106 performs image quality correction processing on the captured image signal for one frame, and supplies the processed image signal to the compression / decompression unit 107. The compression / decompression unit 107 compresses and encodes the input image signal, and supplies the generated encoded data to the image recording unit 111 through the control unit 108. As a result, the imaged data file is recorded in the image recording unit 111.
次に図３を用いて本実施例の特徴的な動作であるＡＦ動作の切り替えタイミングについて説明する。背景ぼかし動画モードに入ると、ＡＦデータ取得用に画像を取得し、主被写体のＡＦ評価値を取得する（期間Ｔａ０〜Ｔａ１）。 Next, the AF operation switching timing, which is a characteristic operation of this embodiment, will be described with reference to FIG. When the background blurred moving image mode is entered, an image is acquired for acquiring AF data, and an AF evaluation value of the main subject is acquired (period Ta0 to Ta1).
次に撮影同期信号に同期して駆動回路１０３からのタイミング制御に従い撮像素子１０２から画像の取得を行い、主被写体となる画像の取得を行う（期間Ｔ１）。このとき主被写体としてはフォーカスのあった、つまり空間周波数が高い画像を得やすくしたいため、光学機構部１０１１内の絞り機構部にて絞り制御することで被写界深度を深くしたり、フォーカスを合わすなど空間周波数が高い画像を得るようにする。 Next, in synchronization with the shooting synchronization signal, an image is acquired from the image sensor 102 according to timing control from the drive circuit 103, and an image to be the main subject is acquired (period T1). At this time, in order to make it easy to obtain an image having a focus as the main subject, that is, a high spatial frequency, the aperture mechanism is controlled by the aperture mechanism in the optical mechanism 1011 to increase the depth of field or focus. An image with a high spatial frequency is obtained by combining them.
ここでＡＦ評価検出部１０４は、制御回路１０８から出力されるＡＦ評価値検出タイミングに従い、期間Ｔ１で取得した画像を用いて、期間Ｔ１内にてＡＦ評価値検出を行う。
期間Ｔ１で取得された主被写体画像データは期間Ｔ１時にフレームメモリ１０５２に入力される。図３における期間Ｔ１から得られる画像では、ＡＦ評価値がＡＦ期待値を得られているため、期間Ｔ２においてはこのまま背景ぼかし画像の取得へと移行する。
なお、ＡＦ期待値に関する説明は後の図４の説明内で述べる。
Here, according to the AF evaluation value detection timing output from the control circuit 108, the AF evaluation detection unit 104 performs AF evaluation value detection within the period T1 using the image acquired during the period T1.
The main subject image data acquired in the period T1 is input to the frame memory 1052 in the period T1. In the image obtained from the period T1 in FIG. 3, since the AF evaluation value is the expected AF value, the process shifts to the acquisition of the background blurred image as it is in the period T2.
The description regarding the AF expected value will be described later in the description of FIG.
一方で、背景となるぼかし画像は空間周波数が低い画像を得るようにする（期間Ｔ２）。本実施例においては、ぼかし画像を得る手段として、光学機構部１０１１内の絞り機構部により被写界深度を変更して得るものとするが、フォーカスポイントをずらしたり、撮像駆動において加算読み出しや間引き読み出しにより得られる画像の空間周波数を下げる手法を取ってもよい。 On the other hand, the blurred image as the background is obtained as an image with a low spatial frequency (period T2). In this embodiment, as a means for obtaining a blurred image, it is obtained by changing the depth of field by the diaphragm mechanism in the optical mechanism 1011. However, the focus point is shifted, or addition reading or thinning is performed in imaging driving. A technique for lowering the spatial frequency of an image obtained by reading may be used.
期間Ｔ２で得る画像データは空間周波数が低い画像となるためＡＦ評価値の検出、及びＡＦ駆動動作を行わない。このようにして期間Ｔ１、Ｔ２で得られた画像は画像合成部１０５にて合成され、動画画像の１フレーム分のデータとして出力される（合成出力期間Ｃ１）。 Since the image data obtained in the period T2 is an image having a low spatial frequency, the AF evaluation value detection and the AF driving operation are not performed. The images obtained in the periods T1 and T2 in this way are combined by the image combining unit 105 and output as data for one frame of the moving image (composite output period C1).
次に被写体が移動するなど、フォーカスポイントが随時変化していく場合について説明する。期間Ｔ３で得られる画像のＡＦ評価にて、主被写体のＡＦ評価値が期待値を得られないと、得られたＡＦ評価値を元に期待値を得られるであろう予測フォーカスポイントまでフォーカスレンズ制御をおこなう。ＡＦ評価値ＮＧになった合成出力期間Ｃ２ではぼかし画像の取得は行わず、ＡＦに適した動作をおこなう（期間Ｔ４）。 Next, a case where the focus point changes as needed, such as when the subject moves, will be described. If the AF evaluation value of the main subject cannot obtain the expected value in the AF evaluation of the image obtained in the period T3, the focus lens reaches the predicted focus point where the expected value will be obtained based on the obtained AF evaluation value. Take control. In the combined output period C2 when the AF evaluation value is NG, the blurred image is not acquired and an operation suitable for AF is performed (period T4).
具体的にはＡＦ評価値を得られやすいように光学機構部１０１１内の絞り機構部にて絞り制御を行うことにより、フォーカスの得られやすい被写界深度の深い画像を得るように変更し、期間Ｔ４で得られた画像データからＡＦ評価値検出を得られるようにする。このとき、期間Ｔ４において、画素信号読み出し駆動において水平方向は間引かずに垂直方向は間引くなど一定方向の空間周波数情報を高く得られるようにして、フレームレートの向上やデータ量圧縮を行うことも可能である。 Specifically, by performing aperture control in the aperture mechanism unit in the optical mechanism unit 1011 so that an AF evaluation value can be easily obtained, a change is made to obtain an image with a deep depth of field that is easy to obtain a focus, The AF evaluation value detection can be obtained from the image data obtained in the period T4. At this time, in the period T4, it is possible to improve the frame rate and compress the data amount so that high spatial frequency information in a certain direction can be obtained such as thinning in the vertical direction without thinning out in the horizontal direction in pixel signal readout driving. Is possible.
また、空間周波数情報が低下しない範囲で、画素信号読み出し駆動を間引き動作や加算動作に変更してもよい。そして、期間Ｔ４で得られる画像データは、ＡＦに適した撮像素子駆動とすることにより期間Ｔ３で得られる主被写体画像とは画角が変化するため、期間Ｔ３で得られる主被写体画像との合成処理は行わず、主被写体のみを画像出力することとする。 Further, the pixel signal readout drive may be changed to a thinning-out operation or an addition operation within a range where the spatial frequency information does not decrease. The image data obtained in the period T4 is combined with the main subject image obtained in the period T3 because the angle of view changes from that of the main subject image obtained in the period T3 by driving the imaging device suitable for AF. No processing is performed, and only the main subject is output as an image.
次に被写体のフォーカスポイントが、変化していく状況から定常状態となる際のタイミングについて説明する。期間Ｔ（ｎ−１）から期間Ｔ（ｎ）に掛けて被写体が静止すると、期間Ｔ（ｎ−１）で得られる画像データでのＡＦ評価値からＡＦ期待値を得られるであろう予測フォーカスポイントまでフォーカスレンズ制御を期間Ｔ（ｎ−１）にて行う。期間Ｔ（ｎ）で得られる画像データのＡＦ評価値がＡＦ評価検出され期待値が得られたら、期間Ｔ（ｎ＋１）では光学機構部１０１１内の絞り機構部にて開放側にし、被写界深度が浅い画像を得るようにしてぼかし画像を得る動作に切り替える。 Next, the timing when the focus point of the subject changes from the changing state to the steady state will be described. When the subject is stationary from the period T (n−1) to the period T (n), the predicted focus from which the AF expected value can be obtained from the AF evaluation value in the image data obtained in the period T (n−1). Focus lens control is performed in a period T (n-1) to the point. When the AF evaluation value of the image data obtained in the period T (n) is detected by AF evaluation and the expected value is obtained, in the period T (n + 1), the aperture mechanism unit in the optical mechanism unit 1011 opens to the open side. The operation is switched to an operation for obtaining a blurred image so as to obtain an image having a shallow depth.
次に図４を用いてＡＦ動作の切り替えについて、フローチャートにて説明する。まず、図３での期間Ｔａ０、Ｔａ１におけるフローについて図４でのステップＳ４０１〜Ｓ４０６を用いて説明する。動画ぼかしモードに入ると（Ｓ４０１）、まず主被写体のＡＦ評価用画像取得を行う（Ｓ４０２）。 Next, switching of the AF operation will be described with reference to FIG. First, the flow in the periods Ta0 and Ta1 in FIG. 3 will be described using steps S401 to S406 in FIG. When the moving image blur mode is entered (S401), first, an image for AF evaluation of the main subject is acquired (S402).
ステップＳ４０２で取得された画像からＡＦ評価値検出部１０４にてＡＦ評価値ＡＦ_Ｋを取得する（Ｓ４０３）。ステップＳ４０４では、ステップＳ４０３で取得したＡＦ評価値ＡＦ_ＫがＡＦ期待値であるＫ_min及びＫ_ｍａｘに対して、下記式を満たすかを判定する。 The AF evaluation value detection unit 104 acquires the AF evaluation value AF_K from the image acquired in step S402 (S403). In step S404, it is determined whether the AF evaluation value AF_K acquired in step S403 satisfies the following expression with respect to K_min and K_max, which are AF expected values.
Ｋ_min＜ＡＦ_Ｋ＜Ｋ_ｍａｘ ・・・・式１
ここでＫ_ｍｉｎ、Ｋ_ｍａｘは期待されるＡＦ評価値の最小値と最大値を指しており、あらかじめ設計時もしくは調整時の結果から制御部１０８内に格納している。
K_min <AF_K <K_max... Equation 1
Here, K_min and K_max indicate the minimum value and the maximum value of the expected AF evaluation value, and are stored in advance in the control unit 108 from the result of design or adjustment.
ステップＳ４０４でのＡＦ評価値ＡＦ_Ｋが式１を満たさない場合、ステップＳ４０５へと移行し、ステップＳ４０４で得られたＡＦ評価値ＡＦ_Ｋから制御部１０８にてフィードバック制御量を決め、制御部１０８からの制御信号に基づいて駆動回路１０３を駆動することにより光学機構部内のフォーカスレンズを駆動する。続いて、ステップＳ４０６にてＡＦ評価用の画像取得を行い、ステップＳ４０３へと戻る。 If the AF evaluation value AF_K in step S404 does not satisfy Equation 1, the process proceeds to step S405, where the feedback control amount is determined by the control unit 108 from the AF evaluation value AF_K obtained in step S404. The focus lens in the optical mechanism unit is driven by driving the drive circuit 103 based on the control signal. Subsequently, an image for AF evaluation is acquired in step S406, and the process returns to step S403.
次に図３での期間Ｔ１におけるフローについて図４でのステップＳ４０７〜Ｓ４１１を用いて説明する。 Next, the flow in the period T1 in FIG. 3 will be described with reference to steps S407 to S411 in FIG.
ステップＳ４０４でのＡＦ評価値ＡＦ_Ｋの比較にて式１を満たす場合は、ステップＳ４０７へと進み、空間周波数が高い撮影条件に撮像装置を制御する。 When Expression 1 is satisfied in the comparison of the AF evaluation value AF_K in step S404, the process proceeds to step S407, and the imaging apparatus is controlled to an imaging condition with a high spatial frequency.
ここでいう空間周波数が高い撮影条件を得るためには、光学機構部１０１１内の絞り機構部にて小絞り側に制御し被写界深度を深くしたり、撮像素子駆動により全画素読み出しなどの解像感を得られやすい駆動に変更するなど少なくとも一つ以上の手段を用いる。 In order to obtain imaging conditions with a high spatial frequency, the aperture mechanism unit in the optical mechanism unit 1011 is controlled to the small aperture side to increase the depth of field, or all pixel readout is performed by driving the image sensor. At least one or more means such as changing to a drive that can easily obtain a resolution is used.
ステップＳ４０７にて空間周波数が高い状態にした後に、ステップＳ４０８にて主被写体となる画像データ（Ｉｍａｇｅ_Ｓ）を取得する。ステップＳ４０８で得られた画像データＩｍａｇｅ_Ｓは、フローとしてはステップＳ４０９、ステップＳ４１０にそれぞれ分かれる。ステップＳ４０９では画像データＩｍａｇｅ_Ｓからの出力を元に、ＡＦ評価値検出部１０４によって、ＡＦ評価値ＡＦ_Ｋを得る。ステップＳ４１０では、画像データＩｍａｇｅ_Ｓを画像合成部１０５内に構成されるフレームメモリ１０５２に記録する。ステップＳ４１１ではステップＳ４０９で取得した画像データＩｍａｇｅ_ＳのＡＦ評価値ＡＦ_Ｋが式１を満たすか判定する。 After setting the spatial frequency to a high state in step S407, image data (Image_S) that becomes the main subject is acquired in step S408. The image data Image_S obtained in step S408 is divided into steps S409 and S410, respectively. In step S409, the AF evaluation value detection unit 104 obtains an AF evaluation value AF_K based on the output from the image data Image_S. In step S410, the image data Image_S is recorded in the frame memory 1052 configured in the image composition unit 105. In step S411, it is determined whether the AF evaluation value AF_K of the image data Image_S acquired in step S409 satisfies Expression 1.
次に図３での期間Ｔ２におけるフローについて、図４でのステップＳ４１２〜Ｓ４１６を用いて説明する。 Next, the flow in the period T2 in FIG. 3 will be described using steps S412 to S416 in FIG.
期間Ｔ２ではぼかし画像取得をする動作となるため、ステップＳ４１１においてはＡＦ評価値ＡＦ_Ｋが式１を満たす状態となる。 Since the blurred image is acquired in the period T2, the AF evaluation value AF_K satisfies the expression 1 in step S411.
ステップＳ４１１で式１を満たすとき、ステップＳ４１２では空間周波数が低い撮影条件を得るために、光学機構部１０１１内の絞り機構部にて開放側にして被写界深度を浅くしたり、フォーカス制御によりフォーカスポイントをずらしたり、撮像素子駆動により間引き読み出しや画素加算読み出しをするなど、いずれかの手段を用いて得られる画像に対して空間周波数が低い画像を得るようにする。 When Expression 1 is satisfied in step S411, in step S412, in order to obtain an imaging condition with a low spatial frequency, the aperture mechanism in the optical mechanism unit 1011 is opened to reduce the depth of field, or by focus control. An image having a lower spatial frequency than an image obtained by using any means such as shifting the focus point or performing thinning readout or pixel addition readout by driving the image sensor is obtained.
ステップＳ４１３では、ステップＳ４１２での空間周波数が低い状態で背景ぼかし画像となる画像データＩｍａｇｅ_Ｂを取得する。 In step S413, image data Image_B that becomes a background blurred image in a state where the spatial frequency in step S412 is low is acquired.
ステップＳ４１４では、ステップＳ４１０でフレームメモリ１０５２に記録した主被写体画像データＩｍａｇｅ_Ｓと、ステップＳ４１３で得られた背景ぼかし画像データＩｍａｇｅ_Ｂとを画像合成部１０５内の画像合成回路１０５１にて画像合成し、ステップＳ４１５にて合成画像として出力する。 In step S414, the main subject image data Image_S recorded in the frame memory 1052 in step S410 and the background-blurred image data Image_B obtained in step S413 are combined by the image combining circuit 1051 in the image combining unit 105. In S415, the image is output as a composite image.
ステップＳ４１５にて合成画像出力した後にステップＳ４１６に進み、操作部１０９でのユーザー操作などにより記録終了した場合はステップＳ４２５に進み待機状態となり、記録を続ける場合はステップＳ４０７へとフローを戻す。 After the composite image is output in step S415, the process proceeds to step S416. If the recording is terminated by a user operation or the like on the operation unit 109, the process proceeds to step S425 to enter a standby state, and if the recording is continued, the flow returns to step S407.
次に図３での期間Ｔ４におけるフローについて、図４でのステップＳ４１７〜Ｓ４２４を用いて説明する。ステップＳ４１１にてＡＦ評価値ＡＦ_Ｋが式１を満たさない時は、ステップＳ４１７に進み、ステップＳ４１１で得られたＡＦ評価値ＡＦ_Ｋから制御部１０８にてフィードバック制御量を決め、制御部１０８からの制御信号に基づいて駆動回路１０３を駆動することにより光学機構部内のフォーカスレンズを駆動する。 Next, the flow in the period T4 in FIG. 3 will be described using steps S417 to S424 in FIG. When the AF evaluation value AF_K does not satisfy Expression 1 in step S411, the process proceeds to step S417, where the control unit 108 determines the feedback control amount from the AF evaluation value AF_K obtained in step S411, and the control from the control unit 108 is performed. The focus lens in the optical mechanism unit is driven by driving the drive circuit 103 based on the signal.
続いてステップＳ４１８では、ステップＳ４０７同様に空間周波数が高い撮影条件とし、ステップＳ４１９にてその状態でのＡＦ評価値検出用画像を取得する。ステップＳ４２０では、ステップＳ４１９にて取得したＡＦ評価用画像から、ＡＦ評価値検出部１０４にてＡＦ評価値ＡＦ_Ｋを取得する。 Subsequently, in step S418, an imaging condition having a high spatial frequency is set as in step S407, and an AF evaluation value detection image in that state is acquired in step S419. In step S420, the AF evaluation value detection unit 104 acquires the AF evaluation value AF_K from the AF evaluation image acquired in step S419.
ステップＳ４２１では画像合成を行わずステップＳ４１０にて記録した主被写体画像データＩｍａｇｅ_Ｓを画像合成せずに出力する。続いてステップＳ４２２では、ステップＳ４２０にて取得したＡＦ評価値ＡＦ_Ｋが式１を満たすか判定する。ステップＳ４２２で式１を満たす場合は、後に述べるＳ４２４へと遷移する。 In step S421, image synthesis is not performed, and the main subject image data Image_S recorded in step S410 is output without image synthesis. Subsequently, in step S422, it is determined whether the AF evaluation value AF_K acquired in step S420 satisfies Expression 1. When Expression 1 is satisfied in step S422, the process proceeds to S424 described later.
一方、式１を満たさない場合は、ステップＳ４２３へと遷移し、ステップＳ４２０にて取得したＡＦ評価値ＡＦ_Ｋを元に制御部１０８にてフィードバック制御量を決め、制御部１０８からの制御信号に基づいて駆動回路１０３を駆動することにより光学機構部内のフォーカスレンズを駆動する。ステップＳ４２４では、ステップＳ４２２で式１を満たすかステップＳ４２３の処理後、操作部１０９でのユーザー操作などにより記録終了した場合はステップＳ４２５に進み待機状態となり、記録を続ける場合はステップＳ４０７へとフローを戻す。 On the other hand, when Expression 1 is not satisfied, the process proceeds to step S423, where the control unit 108 determines a feedback control amount based on the AF evaluation value AF_K acquired in step S420, and based on the control signal from the control unit 108. By driving the drive circuit 103, the focus lens in the optical mechanism unit is driven. In step S424, if the expression 1 is satisfied in step S422 or if the recording is ended by a user operation or the like on the operation unit 109 after the process of step S423, the process proceeds to step S425 to enter a standby state, and if the recording is continued, the process proceeds to step S407. To return.
以上のように、動作させることにより背景ぼかし動画として動作している際においてもフォーカス追従性を上げることができる。 As described above, it is possible to improve the focus followability even when operating as a background blurred moving image by operating.
［実施例２］
以下、図５、図６を参照して、本発明の第２の実施例による移動検出部１１２を用いたＡＦ追従性能向上について説明する。
[Example 2]
Hereinafter, with reference to FIGS. 5 and 6, the AF tracking performance improvement using the movement detection unit 112 according to the second embodiment of the present invention will be described.
本発明の第２の実施形態に係る撮像装置は、その構成（図１及び図２）が上記第１の実施の形態に係る撮像装置と同じであり、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。 The imaging apparatus according to the second embodiment of the present invention has the same configuration (FIGS. 1 and 2) as that of the imaging apparatus according to the first embodiment, and is similar to the first embodiment. The description is omitted using the same reference numerals. Only differences from the first embodiment will be described below.
図５は図３での説明と同じく、ＡＦ動作の切り替えタイミングについて説明する図である。背景ぼかし動画モードに入ると、実施例１同様にＡＦデータ取得用に画像を取得し、主被写体のＡＦ評価値を取得する（期間Ｔａ０〜Ｔａ１）。 FIG. 5 is a diagram for explaining the switching timing of the AF operation, similar to the explanation in FIG. When the background blurred moving image mode is entered, an image is acquired for AF data acquisition in the same manner as in the first embodiment, and the AF evaluation value of the main subject is acquired (periods Ta0 to Ta1).
次に撮影同期信号に同期して駆動回路１０３からのタイミング制御に従い撮像素子１０２から画像の取得を行い、主被写体となる画像の取得を行う（期間Ｔ６１）。このとき主被写体としてはフォーカスのあった、つまり空間周波数が高い画像を得やすくしたいため、光学機構部１０１１内の絞り機構部にて絞り制御することで被写界深度を深くしたり、フォーカスを合わすなど空間周波数が高い画像を得るようにする。 Next, an image is acquired from the image sensor 102 in accordance with timing control from the drive circuit 103 in synchronization with the shooting synchronization signal, and an image to be the main subject is acquired (period T61). At this time, in order to make it easy to obtain an image having a focus as the main subject, that is, a high spatial frequency, the aperture mechanism is controlled by the aperture mechanism in the optical mechanism 1011 to increase the depth of field or focus. An image with a high spatial frequency is obtained by combining them.
ここでＡＦ評価検出部１０４は、制御回路１０８から出力されるＡＦ評価値検出タイミングに従い、期間Ｔ６１で取得した画像を用いて、期間Ｔ６１内にてＡＦ評価値検出を行う。期間Ｔ６１で取得された主被写体画像データは期間Ｔ６１内にてフレームメモリ１０５２に入力される。 Here, according to the AF evaluation value detection timing output from the control circuit 108, the AF evaluation detection unit 104 performs AF evaluation value detection within the period T61 using the image acquired during the period T61. The main subject image data acquired in the period T61 is input to the frame memory 1052 within the period T61.
また、図５における期間Ｔ６２までは撮像装置や被写体の移動を移動検出部１１２はある閾値以上の移動量を検知していないため、移動検出信号をＬレベルとして出力している。なお、移動量に関する説明は後の図６の説明内で述べる。 Further, until the period T62 in FIG. 5, since the movement detection unit 112 has not detected a movement amount equal to or greater than a certain threshold value, the movement detection signal is output as the L level. Note that the movement amount will be described later in the description of FIG.
図５における期間Ｔ６１から得られる画像ではＡＦ評価値がＡＦ期待値を得られており、かつ移動検出信号がＬレベルのため、期間Ｔ６２においてはこのまま背景ぼかし画像の取得へと移行する。期間Ｔ６２では背景となるぼかし画像は空間周波数が低い画像を得るようにする。 In the image obtained from the period T61 in FIG. 5, since the AF evaluation value is obtained as the expected AF value, and the movement detection signal is at the L level, the process proceeds to the acquisition of the background blurred image as it is in the period T62. In the period T62, an image having a low spatial frequency is obtained as a blurred image as a background.
本実施例においては、ぼかし画像を得る手段として、光学機構部１０１１内の絞り機構部により被写界深度を変更して得るものとするが、フォーカスポイントをずらしたり、撮像駆動において加算読み出しや間引き読み出しにより得られる画像の空間周波数を下げる手法を取ってもよい。期間Ｔ６２で得る画像データは空間周波数が低い画像となるためＡＦ評価値の検出、及びＡＦ駆動動作を行わない。このようにして期間Ｔ６１、Ｔ６２で得られた画像は画像合成部１０５にて合成され、動画画像の１フレーム分のデータとして出力される（合成出力期間Ｃ６１）。 In this embodiment, as a means for obtaining a blurred image, it is obtained by changing the depth of field by the diaphragm mechanism in the optical mechanism 1011. However, the focus point is shifted, or addition reading or thinning is performed in imaging driving. A technique for lowering the spatial frequency of an image obtained by reading may be used. Since the image data obtained in the period T62 is an image having a low spatial frequency, the AF evaluation value detection and the AF driving operation are not performed. Thus, the images obtained in the periods T61 and T62 are synthesized by the image synthesis unit 105 and output as data for one frame of the moving image (synthesis output period C61).
次に被写体が移動、もしくはユーザーが撮像装置を移動（フレーミング動作など）させるなど、移動検出部１１２が移動検出した場合について説明する。期間Ｔ６３で被写体、または撮像装置が移動し始めると、閾値以上の移動量を検知した移動検出部１１２は制御部１０８に移動検出信号をＨレベルとして出力する。移動検出信号がＨレベルとして出力されている間、制御部１０８はＡＦ優先として動作を開始する。 Next, a case will be described in which the movement detection unit 112 detects movement, for example, when the subject moves or when the user moves the imaging apparatus (such as a framing operation). When the subject or the imaging apparatus starts to move during the period T63, the movement detection unit 112 that has detected a movement amount equal to or greater than the threshold value outputs a movement detection signal to the control unit 108 as an H level. While the movement detection signal is output as the H level, the control unit 108 starts operation with AF priority.
具体的には、移動検出信号がＨレベルとなっている合成出力期間Ｃ６２での、ぼかし画像の取得は行わず、ＡＦに適した動作をおこなう（期間Ｔ６４）。具体的にはＡＦ評価値を得られやすいように光学機構部１０１１内の絞り機構部にて絞り側にすることによりフォーカスの得られやすい被写界深度の深い画像を得るように変更し、期間Ｔ６４で得られた画像データから期間Ｔ６４内にてＡＦ評価検出部１０４を用いＡＦ評価値を得られるようにする。 Specifically, in the combined output period C62 in which the movement detection signal is at the H level, an operation suitable for AF is performed without acquiring a blurred image (period T64). Specifically, in order to easily obtain the AF evaluation value, the aperture mechanism unit in the optical mechanism unit 1011 is changed to obtain an image with a deep depth of field that is easy to obtain a focus by setting the aperture side. An AF evaluation value can be obtained from the image data obtained at T64 by using the AF evaluation detection unit 104 within the period T64.
このとき、期間Ｔ６４において、画素信号読み出し駆動において水平方向は間引かずに垂直方向は間引くなど一定方向の空間周波数情報を高く得られるようにして、フレームレートの向上やデータ量圧縮を行うことも可能である。また、空間周波数情報が低下しない範囲で、画素信号読み出し駆動を間引き動作や加算動作に変更してもよい。 At this time, in the period T64, the frame rate may be improved or the data amount may be compressed so that high spatial frequency information in a certain direction can be obtained, such as thinning in the vertical direction without thinning out in the horizontal direction in pixel signal readout driving. Is possible. Further, the pixel signal readout drive may be changed to a thinning-out operation or an addition operation within a range where the spatial frequency information does not decrease.
そして、期間Ｔ６４で得られる画像データは、ＡＦに適した撮像素子駆動とすることにより期間Ｔ６３で得られる主被写体画像とは画角が変化するため、期間Ｔ６３で得られる主被写体画像との合成処理は行わず、主被写体のみを画像出力することとする。 The image data obtained in the period T64 is combined with the main subject image obtained in the period T63 because the angle of view changes from that of the main subject image obtained in the period T63 by performing image pickup element driving suitable for AF. No processing is performed, and only the main subject is output as an image.
次に被写体、もしくは撮像装置が移動から静止に移行する際のタイミングについて説明する。期間Ｔ（ｍ）中に被写体が静止すると、移動検出部１１２は移動検出信号をＨレベルからＬレベルへと変化させる。そのＬレベルとなった移動検出信号を受けた制御部１０８は、期間Ｔ（ｍ＋１）では光学機構部１０１１内の絞り機構部にて開放側にし、被写界深度が浅い画像を得るようにしてぼかし画像を得る動作に切り替える。 Next, the timing when the subject or the imaging apparatus shifts from moving to stationary will be described. When the subject is stationary during the period T (m), the movement detection unit 112 changes the movement detection signal from the H level to the L level. The control unit 108 that has received the movement detection signal that has become the L level is opened at the aperture mechanism unit in the optical mechanism unit 1011 during the period T (m + 1) so as to obtain an image with a shallow depth of field. Switch to the operation to obtain a blurred image.
次に図６を用いてＡＦ動作の切り替えについて、フローチャートにて説明する。まず、図５での期間Ｔａ０、Ｔａ１におけるフローについて、図６でのステップＳ６０１〜Ｓ６０６を用いて説明する。動画ぼかしモードに入ると（Ｓ６０１）、まず主被写体のＡＦ評価用画像取得を行う（Ｓ６０２）。 Next, switching of the AF operation will be described with reference to a flowchart with reference to FIG. First, the flow in the periods Ta0 and Ta1 in FIG. 5 will be described using steps S601 to S606 in FIG. When the moving image blur mode is entered (S601), an AF evaluation image of the main subject is first acquired (S602).
ステップＳ６０２で取得された画像からＡＦ評価値検出部１０４にてＡＦ評価値ＡＦ_Ｋを取得する（Ｓ６０３）。ステップＳ６０４では、ステップＳ６０３で取得したＡＦ評価値ＡＦ_Ｋが実施例１同様に式１を満たすかどうか判定する。ステップＳ６０４でのＡＦ評価値ＡＦ_Ｋが式１を満たさない場合、ステップＳ６０５へと移行し、ステップＳ６０４で得られたＡＦ評価値ＡＦ_Ｋから制御部１０８にてフィードバック制御量を決め、制御部１０８からの制御信号に基づいて駆動回路１０３を駆動することにより光学機構部内のフォーカスレンズを駆動する。続いて、ステップＳ６０６にてＡＦ評価用の画像取得を行い、ステップＳ６０３へと戻す。 The AF evaluation value detection unit 104 acquires the AF evaluation value AF_K from the image acquired in step S602 (S603). In step S604, it is determined whether the AF evaluation value AF_K acquired in step S603 satisfies the expression 1 as in the first embodiment. If the AF evaluation value AF_K in step S604 does not satisfy Equation 1, the process proceeds to step S605, and the feedback control amount is determined by the control unit 108 from the AF evaluation value AF_K obtained in step S604. The focus lens in the optical mechanism unit is driven by driving the drive circuit 103 based on the control signal. In step S606, an image for AF evaluation is acquired, and the process returns to step S603.
次に図５での期間Ｔ６１におけるフローについて、図６でのステップＳ６０７〜Ｓ６１３を用いて説明する。ステップＳ６０４でのＡＦ評価値ＡＦ_Ｋの比較にて式１を満たす場合は、ステップＳ６０７へと進み、空間周波数が高い撮影条件に撮像装置を制御する。 Next, the flow in the period T61 in FIG. 5 will be described with reference to steps S607 to S613 in FIG. When Expression 1 is satisfied in the comparison of the AF evaluation value AF_K in step S604, the process proceeds to step S607, and the imaging apparatus is controlled to an imaging condition with a high spatial frequency.
ここでいう空間周波数が高い撮影条件を得るためには、光学機構部１０１１内の絞り機構部にて小絞り側にして被写界深度を深くしたり、撮像素子駆動により全画素読み出しなどの解像感を得られやすい駆動に変更するなど少なくとも一つ以上の手段を用いる。ステップＳ６０７にて空間周波数が高い状態にした後に、ステップＳ６０８にて主被写体となる画像データ（Ｉｍａｇｅ_Ｓ）を取得する。ステップＳ６０９では、画像データＩｍａｇｅ_Ｓを画像合成部１０５内に構成されるフレームメモリ１０５２に記録する。 In order to obtain imaging conditions with a high spatial frequency here, the aperture mechanism in the optical mechanism 1011 can be used to increase the depth of field on the small aperture side, or to read out all pixels by driving the image sensor. At least one or more means is used such as changing to a drive that makes it easy to obtain an image. After setting the spatial frequency to a high state in step S607, image data (Image_S) serving as the main subject is acquired in step S608. In step S <b> 609, the image data Image_S is recorded in the frame memory 1052 configured in the image composition unit 105.
ステップＳ６１０ではステップＳ６０８で取得した画像データＩｍａｇｅ_ＳからＡＦ評価値検出部１０４にてＡＦ評価値ＡＦ_Ｋを取得する。ステップＳ６１１ではステップＳ６１０から得られたＡＦ評価値ＡＦ_Ｋから制御部１０８にてフィードバック制御量を決め、制御部１０８からの制御信号に基づいて駆動回路１０３を駆動することにより光学機構部内のフォーカスレンズを駆動する。ステップＳ６１２では移動検出部１１２において移動量Ｐｏｓ_Ｋを取得する。 In step S610, the AF evaluation value detection unit 104 acquires the AF evaluation value AF_K from the image data Image_S acquired in step S608. In step S611, the feedback control amount is determined by the control unit 108 from the AF evaluation value AF_K obtained from step S610, and the drive circuit 103 is driven based on the control signal from the control unit 108 to thereby adjust the focus lens in the optical mechanism unit. To drive. In step S612, the movement detection unit 112 acquires the movement amount Pos_K.
移動量Ｐｏｓ_Ｋは、移動検出部１１２内に構成されている加速度センサやジャイロセンサ、により撮像装置の加速度／角速度情報から計出したり、もしくは画像認識回路により主被写体を画像認識し、主被写体が画角内において変化している画角比を検出することにより移動量をＰｏｓ_Ｋを割り出すことにより情報を取り出す。ステップＳ６１３ではステップＳ６１２で取得した移動量Ｐｏｓ_Ｋが移動したとみなす閾値Ｐｏｓ_ｍａｘを超えているかどうかを判定する。 The movement amount Pos_K is calculated from the acceleration / angular velocity information of the imaging apparatus by an acceleration sensor or a gyro sensor configured in the movement detection unit 112, or the main object is recognized by the image recognition circuit. Information is extracted by determining the amount of movement Pos_K by detecting the angle-of-view ratio changing within the corner. In step S613, it is determined whether or not the movement amount Pos_K acquired in step S612 exceeds a threshold Pos_max that is considered to have moved.
すなわち、ステップＳ６１３は次式にてこのように表わされる。
Ｐｏｓ_Ｋ ＞ Ｐｏｓ_ｍａｘ・・・・式２
ここで閾値Ｐｏｓ_ｍａｘは事前に設計値もしくは調整値情報として割り出しており、制御部１０８内にその値を格納している。
That is, step S613 is expressed in this way by the following equation.
Pos_K> Pos_max .. Formula 2
Here, the threshold value Pos_max is determined in advance as design value or adjustment value information, and the value is stored in the control unit 108.
次に図５での期間Ｔ６２におけるフローについて、図６でのステップＳ６１４〜Ｓ６１８を用いて説明する。
期間Ｔ６２ではぼかし画像取得をする動作となるため、ステップＳ６１３においては式２を満たさない状態となる。
ステップＳ６１３で式２を満たさない時、ステップＳ６１４では空間周波数が低い撮影条件を得るために、光学機構部１０１１内の絞り機構部にて開放側にして被写界深度を浅くしたり、フォーカス制御によりフォーカスポイントをずらしたり、撮像素子駆動により間引き読み出しや画素加算読み出しをするなど、いずれかの手段を用いて得られる画像に対して空間周波数が低い画像を得るようにする。
Next, the flow in the period T62 in FIG. 5 will be described using steps S614 to S618 in FIG.
In the period T62, since the operation for acquiring a blurred image is performed, in Step S613, the state of Expression 2 is not satisfied.
When Expression 2 is not satisfied in step S613, in step S614, in order to obtain a photographing condition with a low spatial frequency, the aperture mechanism in the optical mechanism unit 1011 is opened to reduce the depth of field or focus control. Thus, an image having a lower spatial frequency than an image obtained by using any means, such as shifting the focus point or performing thinning readout or pixel addition readout by driving the image sensor, is obtained.
ステップＳ６１５では、ステップＳ４１２での空間周波数が低い状態で背景ぼかし画像となる画像データＩｍａｇｅ_Ｂを取得する。ステップＳ６１６では、ステップＳ６０９でフレームメモリ１０５２に記録した主被写体画像データＩｍａｇｅ_Ｓと、ステップＳ６１５で得られた背景ぼかし画像データＩｍａｇｅ_Ｂとを画像合成部１０５内の画像合成回路１０５１にて画像合成し、ステップＳ６１７にて合成画像として出力する。 In step S615, image data Image_B that is a background blurred image in a state where the spatial frequency in step S412 is low is acquired. In step S616, the main subject image data Image_S recorded in the frame memory 1052 in step S609 and the background-blurred image data Image_B obtained in step S615 are combined in the image combining circuit 1051 in the image combining unit 105. In step S617, the image is output as a composite image.
ステップＳ６１７にて合成画像出力した後にステップＳ６１８に進み、記録終了した場合はステップＳ６２６に進み待機状態となり、記録を続ける場合はステップＳ６０７へとフローを戻す。 After the composite image is output in step S617, the process proceeds to step S618. If the recording is completed, the process proceeds to step S626 to enter a standby state. If the recording is continued, the process returns to step S607.
次に図５での期間Ｔ４におけるフローについて、図６でのステップＳ６１９〜Ｓ６２６を用いて説明する。ステップＳ６１３にて移動量Ｐｏｓ_Ｋが式２を満たす時は、ステップＳ６１９に進む。 Next, the flow in the period T4 in FIG. 5 will be described using steps S619 to S626 in FIG. When the movement amount Pos_K satisfies Expression 2 in step S613, the process proceeds to step S619.
ステップＳ６１９では、ステップＳ６０７同様に空間周波数が高い撮影条件とし、ステップＳ６２０にてその状態でのＡＦ評価用画像を取得する。ステップＳ６２１では画像合成を行わずステップＳ６０９にてフレームメモリに記録した主被写体画像データＩｍａｇｅ_Ｓを画像合成せずに出力する。ステップＳ６２２では、ステップＳ６１２同様に移動検出部１１２において移動量Ｐｏｓ_Ｋを取得する。 In step S619, an imaging condition with a high spatial frequency is set as in step S607, and an image for AF evaluation in that state is acquired in step S620. In step S621, image synthesis is not performed, and the main subject image data Image_S recorded in the frame memory in step S609 is output without image synthesis. In step S622, the movement amount Pos_K is acquired in the movement detection unit 112 as in step S612.
ステップＳ６２３では、ステップＳ６２２で得られた移動量Ｐｏｓ_Ｋが式２を満たすか判定し、満たす場合はステップＳ６２４へと遷移し、満たさない場合はステップＳ６２６へと遷移する。ステップＳ６２４ではステップＳ６２０で得られたＡＦ検出用画像からＡＦ評価値検出部１０４にてＡＦ評価値ＡＦ_Ｋを取得する。 In step S623, it is determined whether or not the movement amount Pos_K obtained in step S622 satisfies Expression 2. If satisfied, the process proceeds to step S624, and if not, the process proceeds to step S626. In step S624, the AF evaluation value detection unit 104 acquires the AF evaluation value AF_K from the AF detection image obtained in step S620.
ステップＳ６２５ではステップＳ６２４で得られたＡＦ評価値ＡＦ_Ｋから制御部１０８にてフィードバック制御量を決め、制御部１０８からの制御信号に基づいて駆動回路１０３を駆動することにより光学機構部内のフォーカスレンズを駆動し、ステップＳ６２６へと遷移する。 In step S625, the feedback control amount is determined by the control unit 108 from the AF evaluation value AF_K obtained in step S624, and the drive circuit 103 is driven based on the control signal from the control unit 108, thereby moving the focus lens in the optical mechanism unit. Drive, and the process proceeds to step S626.
ステップＳ６２６では、記録終了した場合はステップＳ６２７に進み待機状態となり、記録を続ける場合はステップＳ６０７へと戻す。 In step S626, when the recording is completed, the process proceeds to step S627 to enter a standby state, and when the recording is continued, the process returns to step S607.
以上のように、動作させることにより背景ぼかし動画として動作している際においても被写体、及び撮像装置の移動を検知することによりフォーカス追従性を上げることができる。 As described above, the focus followability can be improved by detecting the movement of the subject and the imaging device even when operating as a background blurred moving image by operating.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
１０１ 光学鏡筒、１０１１ 光学機構部、１０２ 撮像素子、１０３ 駆動回路、
１０４ ＡＦ評価値検出部、１０５ 画像合成部、１０６ 信号処理部、
１０７ 圧縮伸張部、１０８ 制御部、１０９ 操作部、１１０ 画像表示部、
１１１ 画像記録部、１１２ 移動検出部、１０５１ 画像合成回路、
１０５２ フレームメモリ
101 optical barrel, 1011 optical mechanism, 102 image sensor, 103 drive circuit,
104 AF evaluation value detection unit, 105 image composition unit, 106 signal processing unit,
107 compression / decompression unit, 108 control unit, 109 operation unit, 110 image display unit,
111 Image recording unit, 112 Movement detection unit, 1051 Image composition circuit,
1052 Frame memory
Claims (10)
焦点調整を行うフォーカス部と光量を制御する光学絞り部を有する光学ユニットと、
前記撮像素子及び前記光学ユニットを駆動する駆動部と、
主被写体となる合焦した画像を得る第１の撮像モードと、
背景をぼかした画像を得る第２の撮像モードと、
フォーカス情報を得るのに適した画像を得る第３の撮像モードと、
第１の撮像モードから得られる画像と第２の撮像モードから得られる画像を合成する合成手段と、
画像データからフォーカス情報を検出するフォーカスデータ検出手段と、
得られるフォーカス情報に基づいて撮像条件を決定する制御手段とを備え、
得られるフォーカス情報が期待値から外れた場合、第２の撮像モードを前記第３の撮像モードに変更して得られるフォーカス情報から前記フォーカス部を制御することを特徴とする撮像装置。 An image sensor comprising a plurality of photoelectric conversion elements;
An optical unit having a focus unit for adjusting the focus and an optical diaphragm unit for controlling the amount of light;
A drive unit for driving the image sensor and the optical unit;
A first imaging mode for obtaining a focused image as a main subject;
A second imaging mode for obtaining an image with a blurred background;
A third imaging mode for obtaining an image suitable for obtaining focus information;
Combining means for combining the image obtained from the first imaging mode and the image obtained from the second imaging mode;
Focus data detection means for detecting focus information from image data;
Control means for determining imaging conditions based on the obtained focus information,
An imaging apparatus, wherein when the obtained focus information deviates from an expected value, the focus unit is controlled from focus information obtained by changing a second imaging mode to the third imaging mode.
焦点調整を行うフォーカス部と光量を制御する光学絞り部を有する光学ユニットと、
前記撮像素子及び前記光学ユニットを駆動する駆動部と、
主被写体となる合焦した画像を得る第１の撮像モードと、
背景をぼかした画像を得る第２の撮像モードと、
フォーカス情報を得るのに適した画像を得る第３の撮像モードと、
第１の撮像モードから得られる画像と第２の撮像モードから得られる画像を合成する合成手段と、
被写体もしくは撮像装置の移動状態を検知する移動検出部と、
前記移動検出部から得られる移動情報に基づいて撮像条件を決定する制御手段とを備え、
得られる移動情報が期待値から外れた場合、第２の撮像モードを前記第３の撮像モードに変更して得られるフォーカス情報から前記フォーカス部を制御することを特徴とする撮像装置。 An image sensor comprising a plurality of photoelectric conversion elements;
An optical unit having a focus unit for adjusting the focus and an optical diaphragm unit for controlling the amount of light;
A drive unit for driving the image sensor and the optical unit;
A first imaging mode for obtaining a focused image as a main subject;
A second imaging mode for obtaining an image with a blurred background;
A third imaging mode for obtaining an image suitable for obtaining focus information;
Combining means for combining the image obtained from the first imaging mode and the image obtained from the second imaging mode;
A movement detection unit for detecting a movement state of the subject or the imaging device;
Control means for determining imaging conditions based on movement information obtained from the movement detection unit,
An imaging apparatus, wherein when the obtained movement information deviates from an expected value, the focus unit is controlled from focus information obtained by changing a second imaging mode to the third imaging mode.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015128186A JP2017009943A (en) | 2015-06-26 | 2015-06-26 | Imaging device and control method of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015128186A JP2017009943A (en) | 2015-06-26 | 2015-06-26 | Imaging device and control method of the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017009943A true JP2017009943A (en) | 2017-01-12 |
Family
ID=57762500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015128186A Pending JP2017009943A (en) | 2015-06-26 | 2015-06-26 | Imaging device and control method of the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017009943A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108093181A (en) * | 2018-01-16 | 2018-05-29 | 奇酷互联网络科技（深圳）有限公司 | Picture shooting method, device, readable storage medium storing program for executing and mobile terminal |
-
2015
- 2015-06-26 JP JP2015128186A patent/JP2017009943A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108093181A (en) * | 2018-01-16 | 2018-05-29 | 奇酷互联网络科技（深圳）有限公司 | Picture shooting method, device, readable storage medium storing program for executing and mobile terminal |
| CN108093181B (en) * | 2018-01-16 | 2021-03-30 | 奇酷互联网络科技（深圳）有限公司 | Picture shooting method and device, readable storage medium and mobile terminal |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230353869A1 (en) | Imaging apparatus and setting screen thereof | |
| JP5054583B2 (en) | Imaging device | |
| CN101076997B (en) | Image processing and image processing method used therein | |
| JP2019054461A (en) | Imaging apparatus and imaging method | |
| JP4985251B2 (en) | Imaging apparatus, focus control method, and focus control program | |
| US8497932B2 (en) | Photographing apparatus and method having at least two photographing devices and exposure synchronization | |
| WO2016072103A1 (en) | Imaging device, imaging method and processing program | |
| JP2008311938A (en) | Imaging apparatus, lens unit, imaging method and control program | |
| JP2009273023A (en) | Imaging device, imaging method, focusing control method, and program | |
| JP2006201282A (en) | Digital camera | |
| JP2007215091A (en) | Imaging apparatus and program therefor | |
| JP2007264049A (en) | Imaging method and apparatus | |
| WO2017090233A1 (en) | Imaging device | |
| JP2009010616A (en) | Imaging device and image output control method | |
| JP2010178164A (en) | Imaging apparatus | |
| JP7142507B2 (en) | Image processing device, image processing method, and imaging device | |
| JP2011217311A (en) | Imaging apparatus and method of controlling the same | |
| JP2007225897A (en) | Focusing position determination device and method | |
| JP6706167B2 (en) | Imaging device, image synthesizing method, and program | |
| JP2011217334A (en) | Imaging apparatus and method of controlling the same | |
| JP2010193324A (en) | Camera apparatus, photographing method thereof and program | |
| JP2017009943A (en) | Imaging device and control method of the same | |
| JP2014007622A (en) | Image pick-up device and program | |
| US20150085172A1 (en) | Image capturing apparatus and control method thereof | |
| JP5123010B2 (en) | Imaging apparatus, imaging method, and program for causing computer included in imaging apparatus to execute imaging method |