JP6420532B2 - Imaging apparatus and control method thereof - Google Patents

Imaging apparatus and control method thereof Download PDF

Info

Publication number
JP6420532B2
JP6420532B2 JP2013216752A JP2013216752A JP6420532B2 JP 6420532 B2 JP6420532 B2 JP 6420532B2 JP 2013216752 A JP2013216752 A JP 2013216752A JP 2013216752 A JP2013216752 A JP 2013216752A JP 6420532 B2 JP6420532 B2 JP 6420532B2
Authority
JP
Japan
Prior art keywords
focus
image data
image signal
degree
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013216752A
Other languages
Japanese (ja)
Other versions
JP2015079157A (en
JP2015079157A5 (en
Inventor
賢志 木本
賢志 木本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013216752A priority Critical patent/JP6420532B2/en
Priority to US14/516,265 priority patent/US9654680B2/en
Publication of JP2015079157A publication Critical patent/JP2015079157A/en
Publication of JP2015079157A5 publication Critical patent/JP2015079157A5/ja
Application granted granted Critical
Publication of JP6420532B2 publication Critical patent/JP6420532B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置及びその制御方法に関し、更に詳しくは、撮像素子から得られる画像信号に基づいて焦点調整を行う撮像装置及びその制御方法に関する。   The present invention relates to an imaging apparatus and a control method thereof, and more particularly to an imaging apparatus that performs focus adjustment based on an image signal obtained from an imaging element and a control method thereof.

従来、多くのデジタルカメラはLCDなどの表示部を備え、表示部に表示された被写体を視認しながら撮影することが一般的であり、静止画撮影の撮影準備、及び動画の撮影において利用されている。さらに、表示中にも継続的に合焦動作を実施するデジタルカメラが開発されており、合焦動作中であっても表示部に被写体の画像を違和感なく表示させる必要がある。特にコンパクトデジタルカメラではコントラスト検出方式の焦点調整方式が用いられる場合が多いが、次のような課題がある。   Conventionally, many digital cameras have been provided with a display unit such as an LCD, and it has been common to shoot while visually observing the subject displayed on the display unit, which is used in shooting preparation for still image shooting and movie shooting. Yes. Furthermore, a digital camera that continuously performs a focusing operation during display has been developed, and it is necessary to display an image of a subject without any sense of incongruity even during the focusing operation. In particular, a compact digital camera often uses a contrast detection focus adjustment method, but has the following problems.

すなわち、コントラスト検出方式では、光学系内のフォーカスレンズを光軸方向に移動させながら、撮像素子より得られた画像のコントラストが極大となるフォーカスレンズの位置を合焦位置とする。合焦位置は、撮像素子より得られた画像の高周波成分をフレームごとに抽出して算出されたAF評価値が作り出す形状から評価するのが一般的であるが、同じ画像は、液晶表示部に表示される画像データや動画を記録する際の画像データとしても利用される。そのため、上記のような液晶表示部による被写体表示や動画の記録動作を実施しながら合焦動作を行う場合は、表示・動画記録と合焦動作の両方を考慮した画像データを生成しなければならなかった。そのため、表示・動画記録の要件により解像度が高い画像データを生成しようとした場合、フレームレートが遅くなり、ピントが外れている期間を極力短くなるように制御する合焦動作においては不利な場合があった。   That is, in the contrast detection method, the focus lens position where the contrast of the image obtained from the image sensor is maximized is set as the in-focus position while moving the focus lens in the optical system in the optical axis direction. The in-focus position is generally evaluated from the shape created by the AF evaluation value calculated by extracting the high-frequency component of the image obtained from the image sensor for each frame, but the same image is displayed on the liquid crystal display unit. It is also used as image data for recording displayed image data and moving images. Therefore, when performing the focusing operation while performing the subject display and the moving image recording operation by the liquid crystal display unit as described above, it is necessary to generate image data considering both the display / moving image recording and the focusing operation. There wasn't. Therefore, when trying to generate high-resolution image data due to display / video recording requirements, the frame rate is slow, and it may be disadvantageous for focusing operations that control the period of out-of-focus as much as possible. there were.

上記課題を解決するために、特許文献1に次のようなデジタルカメラが開示されている。すなわち、被写体の画像信号を間引き処理可能な撮像素子と読み出しフレームと間引き率を制御する間引き制御部を備え、合焦動作期間では通常動作期間よりも高い読み出しフレームレートで画像データを読み出すように制御する。更に、合焦動作期間と合焦動作期間の直前のフレームにおいては、通常動作期間よりも大きい間引き率で撮像素子より画像データを読み出すように制御する。これにより通常動作期間の表示画質を維持しながらも合焦動作期間では合焦動作に適したフレームレートで動作させ、両者の切り替わりが滑らかになるような工夫がなされている。   In order to solve the above problems, Patent Document 1 discloses the following digital camera. In other words, it has an imaging device that can process the image signal of a subject, a readout frame, and a thinning control unit that controls the thinning rate, and controls to read image data at a higher readout frame rate than the normal operation period during the focusing operation period. To do. Further, in the focusing operation period and the frame immediately before the focusing operation period, control is performed so that image data is read from the image sensor at a thinning rate larger than that in the normal operation period. Thus, while maintaining the display image quality during the normal operation period, the device is operated at a frame rate suitable for the focusing operation during the focusing operation period so that the switching between the two is smooth.

また、特許文献2には、次のようなデジタルカメラが開示されている。すなわち、被写体からの光の光路を2つに分離させる光路分離手段と、分離されたそれぞれの被写体からの光を画像データに変換する2つの撮像素子を備え、一方を表示画像の生成、他方を合焦動作に役割を分けて用いる。これにより通常動作期間と合焦動作期間の表示画質を維持したまま、合焦動作を実施することを可能にする工夫がなされている。   Patent Document 2 discloses the following digital camera. In other words, the optical path separation means for separating the light path of the light from the subject into two, and two imaging elements for converting the light from each separated subject into image data, one of which generates a display image and the other Separate roles for focusing operation. Thus, a device has been devised that enables the focusing operation to be performed while maintaining the display image quality during the normal operation period and the focusing operation period.

特許第4558830号明細書Japanese Patent No. 4558830 特許第4797522号明細書Japanese Patent No. 4797522

しかしながら、特許文献1に記載された技術によれば、通常動作期間の間引き率と合焦動作期間の間引き率が異なるため、液晶表示部に表示する画像の画質が合焦動作期間において低下することは避けられない。同様にこの技術を動画の記録に用いた場合も、記録される画像に対して通常動作期間と合焦動作期間による画質の差が残るという課題がある。   However, according to the technique described in Patent Document 1, since the thinning rate of the normal operation period and the thinning rate of the focusing operation period are different, the image quality of the image displayed on the liquid crystal display unit is reduced in the focusing operation period. Is inevitable. Similarly, when this technique is used for recording a moving image, there is a problem in that a difference in image quality between a normal operation period and a focusing operation period remains for a recorded image.

一方、特許文献2に記載された技術によれば、通常動作期間における被写体の表示と合焦動作期間における合焦動作がそれぞれ最適な形で実現される。しかしながら、光路分岐のための光学要素や2つの撮像素子、及びそれぞれの撮像素子を稼働させるための駆動部などを備える必要があり、低コスト、小型化が求められるコンパクトデジタルカメラにおいては搭載が困難であるという課題がある。   On the other hand, according to the technique described in Patent Document 2, the display of the subject in the normal operation period and the focusing operation in the focusing operation period are each realized in an optimal form. However, it is necessary to provide an optical element for branching the optical path, two image sensors, and a drive unit for operating each image sensor, and it is difficult to mount in a compact digital camera that requires low cost and downsizing. There is a problem of being.

本発明は上記問題点を鑑みてなされたものであり、表示及び記録用の画像の画質の維持と、合焦動作の性能の向上との両立をはかることを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to achieve both the maintenance of the image quality of images for display and recording and the improvement of the performance of the focusing operation.

上記目的を達成するために、本発明の撮像装置は、複数の異なる領域ごとに、互いに異なる周期で、前記複数の異なる領域からの読み出しを並行に制御することが可能な撮像素子と、測光手段と、前記複数の異なる領域のうち、第1の領域から第1の周期で読み出された第1の画像信号と、前記第1の周期よりも短い第2の周期で第2の領域から読み出された第2の画像信号のうち、いずれかを選択する選択手段と、前記選択手段により選択された画像信号に基づいて、合焦度を検出する検出手段と、前記検出手段により検出された合焦度に基づいて、前記撮像素子に被写体からの光を結像するための撮像光学系に含まれるフォーカスレンズを制御する焦点調節手段とを有し、前記第1の画像信号を、表示手段への表示及び記憶媒体への記憶の少なくともいずれかに用い、前記測光手段による測光の結果、被写体が予め決められた第1の閾値よりも暗い場合、前記選択手段は前記第1の画像信号を選択し、前記検出手段は当該選択された前記第1の画像信号の合焦度を検出し、前記測光の結果、前記被写体が前記第1の閾値よりも暗くない場合、前記検出手段は前記選択手段により前回選択された前記第1の画像信号または前記第2の画像信号の合焦度を検出し、前記選択手段は当該合焦度が予め決められた第2の閾値より高ければ前記第1の画像信号を選択し、前記第2の閾値以下であれば前記第2の画像信号を選択し、前記検出手段は当該選択された前記第1の画像信号または前記第2の画像信号の合焦度を再度検出する。 In order to achieve the above object, an imaging device of the present invention includes an imaging device capable of controlling readout from a plurality of different regions in parallel with each other at a different period for each of a plurality of different regions, and a photometric means Of the plurality of different areas, the first image signal read from the first area in the first period and the second area read from the second area in a second period shorter than the first period. of the issued second image signals, selection means for selecting have Zureka, based on the image signal selected by the selecting means, a detecting means for detecting the focus level, detected by said detecting means A focus adjustment unit that controls a focus lens included in an imaging optical system for forming an image of light from a subject on the imaging element based on the degree of focus, and displays the first image signal. Display on means and storage on storage medium Used in at least one said metering means by the photometry result, when darker than the first threshold value the subject is predetermined, said selection means selects said first image signal, said detecting means is the selected Further, when the degree of focus of the first image signal is detected and the subject is not darker than the first threshold as a result of the photometry, the detection means is the first selected by the selection means last time. An in-focus level of the image signal or the second image signal is detected, and the selection means selects the first image signal if the in-focus level is higher than a predetermined second threshold, and the second image signal is selected. if the following threshold selects said second image signal, said detecting means that detect the degree of focus of the selected first image signal or the second image signal again.

本発明によれば、表示及び記録用の画像の画質の維持と、合焦動作の性能の向上の両立をはかることができる。   According to the present invention, it is possible to achieve both maintenance of the image quality of an image for display and recording and improvement of the performance of the focusing operation.

本発明の実施形態にかかる撮像装置の構成を示すブロック図。1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention. 実施形態に係る撮像装置に含まれる画素の構成を示す図。FIG. 3 is a diagram illustrating a configuration of a pixel included in the imaging apparatus according to the embodiment. 画像を取得する際に垂直走査回路から出力される信号を示したタイミングチャート。6 is a timing chart showing signals output from a vertical scanning circuit when an image is acquired. 電荷蓄積時間と画像の読み出しタイミングを示す図。The figure which shows charge accumulation time and the read-out timing of an image. 実施形態におけるAF動作の全体の流れを示すフローチャート。The flowchart which shows the flow of the whole AF operation | movement in embodiment. 実施形態における微小駆動動作の流れを示すフローチャート。The flowchart which shows the flow of the micro drive operation | movement in embodiment. 実施形態における山登り駆動動作の流れを示すフローチャート。The flowchart which shows the flow of the mountain climbing drive operation | movement in embodiment. 実施形態におけるAF評価値監視処理の流れを示すフローチャート。The flowchart which shows the flow of AF evaluation value monitoring process in embodiment. 実施形態におけるAF評価値と合焦度との関係を示した説明図。Explanatory drawing which showed the relationship between AF evaluation value and focus degree in embodiment. 実施形態における表示・記録用画像とAF動作用の画像を取得する際に垂直走査回路から出力される信号を示したタイミングチャート。6 is a timing chart showing signals output from a vertical scanning circuit when acquiring a display / recording image and an AF operation image in the embodiment. 実施形態における山登り駆動用の入力選択処理の流れを示すフローチャート。The flowchart which shows the flow of the input selection process for the hill-climbing drive in embodiment. 第1及び第2の実施形態における微小駆動用入力選択処理の流れを示すフローチャート。6 is a flowchart showing a flow of micro-drive input selection processing in the first and second embodiments. 第1の実施形態におけるAF評価値の変化と、表示・記録向け画像データ及びAF処理回路への入力画像データの関係を示した図。The figure which showed the relationship of the change of AF evaluation value in 1st Embodiment, the image data for a display and recording, and the input image data to AF process circuit. 第2の実施形態における測距範囲および合焦度と、AF処理回路への入力画像データとの関係を説明する図。The figure explaining the relationship between the ranging area and the degree of focus in 2nd Embodiment, and the input image data to AF process circuit. 第2の実施形態における焦点距離および合焦度と、AF処理回路への入力画像データとの関係を説明する図。The figure explaining the relationship between the focal distance and the focus degree in 2nd Embodiment, and the input image data to AF process circuit. 第2の実施形態における被写体および合焦度と、AF処理回路への入力画像データとの関係を説明する図。FIG. 9 is a diagram for explaining a relationship between a subject and a degree of focus and image data input to an AF processing circuit in the second embodiment. 第3の実施形態におけるGyro出力と、表示・記録向け画像データとAF処理回路への入力画像データとの関係を説明する図。The figure explaining the relationship between the Gyro output in 3rd Embodiment, the image data for a display and recording, and the input image data to AF process circuit. 第3の実施形態における検出された顔情報の変化量と、表示・記録向け画像データとAF処理回路への入力画像データとの関係を説明する図。FIG. 10 is a diagram for explaining a relationship between a detected amount of change in face information, display / recording image data, and input image data to an AF processing circuit in a third embodiment. 第3の実施形態における微小駆動用入力選択処理の流れを示すフローチャート。10 is a flowchart showing a flow of micro-drive input selection processing according to the third embodiment. 第3の実施形態の変形例における検出された顔情報の変化量に応じた表示・記録向け画像データとAF処理回路への入力画像データとの関係を説明する図。The figure explaining the relationship between the image data for a display and recording according to the variation | change_quantity of the detected face information in the modification of 3rd Embodiment, and the input image data to AF process circuit.

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。   The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.

<第1の実施形態>
●装置構成及び基本動作
図1は、本発明の第1の実施形態における、例えばデジタルスチルカメラやデジタルビデオカメラ等の撮像装置1の構成を示すブロック図である。図1において、撮影レンズ鏡筒31は、ズームレンズ群2、フォーカスレンズ群3、更に、ズームレンズ群2及びフォーカスレンズ群3等の撮像光学系を透過した光束の量を制御するである絞り4等からなる。撮像光学系を透過し、絞り4によって光量調節された被写体像光は、撮像素子5の受光面に結像され、撮像素子5はこの結像した被写体像光を光電変換して電気的な画像信号を出力する。
<First Embodiment>
Device Configuration and Basic Operation FIG. 1 is a block diagram showing a configuration of an imaging device 1 such as a digital still camera or a digital video camera in the first embodiment of the present invention. In FIG. 1, a photographic lens barrel 31 controls the amount of luminous flux that has passed through the zoom lens group 2, the focus lens group 3, and the imaging optical system such as the zoom lens group 2 and the focus lens group 3. Etc. The subject image light that has passed through the imaging optical system and whose light amount has been adjusted by the diaphragm 4 is imaged on the light receiving surface of the imaging element 5, and the imaging element 5 photoelectrically converts the imaged subject image light to produce an electrical image. Output a signal.

撮像回路6は撮像素子5から出力された画像信号を受けて各種の画像処理を施すことにより所定のフォーマットの画像信号を生成し、A/D変換回路7は撮像回路6により生成されたアナログ画像信号をデジタル画像信号(画像データ)に変換する。A/D変換回路7から出力された画像データは、バッファメモリ等のメモリ(VRAM)8に一時的に記憶される。D/A変換回路9はVRAM8に記憶された画像データを読み出してアナログ画像信号に変換すると共に、表示に適する形態の画像信号に変換し、液晶表示装置(LCD)等の画像表示装置(以下、「LCD」と呼ぶ。)10はこのアナログ画像信号を表示する。なお、撮像素子5により周期的に得られた画像を上記手順を経て順次表示することにより、電子ビューファインダ(EVF)として用いることができる。   The imaging circuit 6 receives the image signal output from the imaging element 5 and performs various image processing to generate an image signal of a predetermined format, and the A / D conversion circuit 7 generates an analog image generated by the imaging circuit 6. The signal is converted into a digital image signal (image data). The image data output from the A / D conversion circuit 7 is temporarily stored in a memory (VRAM) 8 such as a buffer memory. The D / A conversion circuit 9 reads out the image data stored in the VRAM 8 and converts it into an analog image signal, converts it into an image signal in a form suitable for display, and an image display device (hereinafter referred to as a liquid crystal display device (LCD)). (Referred to as “LCD”) 10 displays this analog image signal. In addition, it can use as an electronic view finder (EVF) by displaying the image periodically obtained with the image pick-up element 5 sequentially through the said procedure.

圧縮伸長回路11は圧縮回路と伸長回路とからなり、圧縮回路は、VRAM8に一時記憶された画像データを読み出し、記憶用メモリ12への記憶に適した形態に変換するために圧縮処理や符号化処理等を施す。また、伸長回路は、記憶用メモリ12に記憶された画像データを、再生表示等をする為に適した形態に変換するための復号化処理や伸長処理等を施す。記憶用メモリ12は半導体メモリ等からなり、画像データを記憶する。記憶用メモリ12としては、フラッシュメモリ等の半導体メモリや、カード形状やスティック形状をし、撮像装置1に対して着脱自在に形成されるカード型フラッシュメモリ等の半導体メモリが用いられる。他にも、ハードディスクやフロッピー(登録商標)ディスク等の磁気記憶媒体等、様々な形態のものが適用される。   The compression / decompression circuit 11 includes a compression circuit and an expansion circuit. The compression circuit reads image data temporarily stored in the VRAM 8 and converts the image data into a format suitable for storage in the storage memory 12. Apply processing. The decompression circuit performs a decoding process, a decompression process, and the like for converting the image data stored in the storage memory 12 into a form suitable for reproduction display and the like. The storage memory 12 is composed of a semiconductor memory or the like and stores image data. As the storage memory 12, a semiconductor memory such as a flash memory, or a semiconductor memory such as a card type flash memory that has a card shape or a stick shape and is detachably attached to the imaging device 1 is used. In addition, various forms such as a magnetic storage medium such as a hard disk or a floppy (registered trademark) disk are applied.

例えば、後述する操作スイッチ24のうち、不図示のモード切替スイッチが操作されて撮影モードになり、更にレリーズスイッチが操作されて露光記録動作が指示されると、以下の処理が行われる。まず、上述したようにしてVRAM8に一時記憶された画像データは圧縮伸長回路11の圧縮回路により圧縮及び符号化された後、記憶用メモリ12に記憶される。また、再生モードになると再生動作が開始され、以下の処理が行われる。まず、記憶用メモリ12に圧縮された形で記憶された画像データは圧縮伸長回路11の伸長回路において復号化処理や伸長処理等が施された後、VRAM8に一時的に記憶される。VRAM8に一時的に記憶された画像データはD/A変換回路9を介して上述した処理により表示に適したフォーマットのアナログ信号に変換され、LCD10に画像として再生表示される。   For example, among the operation switches 24 to be described later, a mode change switch (not shown) is operated to enter the photographing mode, and when the release switch is operated to instruct an exposure recording operation, the following processing is performed. First, the image data temporarily stored in the VRAM 8 as described above is compressed and encoded by the compression circuit of the compression / decompression circuit 11 and then stored in the storage memory 12. When the playback mode is entered, the playback operation is started and the following processing is performed. First, image data stored in a compressed form in the storage memory 12 is subjected to decoding processing, expansion processing, and the like in the expansion circuit of the compression / expansion circuit 11 and then temporarily stored in the VRAM 8. The image data temporarily stored in the VRAM 8 is converted into an analog signal in a format suitable for display through the D / A conversion circuit 9 and is reproduced and displayed as an image on the LCD 10.

CPU15は演算用のメモリを内蔵し、撮像装置1全体の制御を行う。AE処理回路13は、A/D変換回路7から出力される画像データに基づいて自動露出(AE)処理を行う。より具体的には、AE処理回路13(測光手段)は、A/D変換回路7によってデジタル化された一画面分の画像データの輝度値に対して累積加算等の演算処理を行って、被写体の明るさに応じたAE評価値を算出する。このAE評価値はCPU15に出力される。   The CPU 15 incorporates a calculation memory and controls the entire image pickup apparatus 1. The AE processing circuit 13 performs automatic exposure (AE) processing based on the image data output from the A / D conversion circuit 7. More specifically, the AE processing circuit 13 (photometry means) performs arithmetic processing such as cumulative addition on the luminance value of the image data for one screen digitized by the A / D conversion circuit 7 to obtain the subject. The AE evaluation value corresponding to the brightness of is calculated. This AE evaluation value is output to the CPU 15.

AF処理回路14は、A/D変換回路7から出力される画像データに基づいて自動焦点調節(AF)処理を行う。より具体的には、まず、A/D変換回路7によってデジタル化された一画面分の画像データの内、AF領域として指定された画面の一部分の領域に相当する画像データの高周波成分をバンドパスフィルタ(BPF)等を介して抽出する。更に、抽出した高周波成分に対して累積加算等の演算処理を行い、高域側の輪郭成分量等に対応するAF評価値信号を算出する。   The AF processing circuit 14 performs automatic focus adjustment (AF) processing based on the image data output from the A / D conversion circuit 7. More specifically, first, among the image data for one screen digitized by the A / D conversion circuit 7, the high-frequency component of the image data corresponding to a partial area of the screen designated as the AF area is bandpassed. Extraction is performed through a filter (BPF) or the like. Further, arithmetic processing such as cumulative addition is performed on the extracted high-frequency component, and an AF evaluation value signal corresponding to the contour component amount on the high frequency side is calculated.

本実施形態ではバンドパスフィルタ(BPF)等を介して画像信号の特定の周波数成分を抽出する際、異なる複数の周波数成分を抽出可能となるようにバンドパスフィルタを構成し、抽出できるものとする。その際、画像信号から抽出する周波数成分は、周波数の高い信号成分と、低い信号成分とし、合焦点の特定など精度を要する場合は周波数の高い信号成分より算出したAF評価値信号を用いるものとする。また、本実施形態では特定の位置における合焦度合いを判断すべく、先に述べたバンドパスフィルタの出力より合焦度を算出する。本実施形態における合焦度とは、周波数の高い信号成分を低い信号成分で除算し正規化した信号とし、図9(b)に示すようにその値は合焦近傍では1(図9(b)ではMax)に近づき、外れるほど値が低下する傾向を持った信号となる。本実施形態ではAF評価値に対応する位置での簡易的な合焦度合いを示す指標として利用する。また、AF領域は中央部分あるいは画面上の任意の部分の一箇所である場合や、中央部分あるいは画面上の任意の部分とそれに隣接する複数箇所である場合、離散的に分布する複数箇所である場合などがある。   In this embodiment, when a specific frequency component of an image signal is extracted via a bandpass filter (BPF) or the like, the bandpass filter is configured so that a plurality of different frequency components can be extracted and extracted. . At that time, the frequency component extracted from the image signal is a signal component having a high frequency and a signal component having a low frequency. When accuracy such as in-focus detection is required, an AF evaluation value signal calculated from the signal component having a high frequency is used. To do. In this embodiment, in order to determine the degree of focus at a specific position, the degree of focus is calculated from the output of the bandpass filter described above. The focus degree in this embodiment is a signal obtained by dividing a signal component having a high frequency by a signal component having a low frequency and normalized, and its value is 1 in the vicinity of the focus as shown in FIG. 9B (FIG. 9B ) Approaches Max) and becomes a signal having a tendency to decrease in value as it deviates. In this embodiment, it is used as an index indicating a simple degree of focus at a position corresponding to the AF evaluation value. In addition, the AF area is a single portion of a central portion or an arbitrary portion on the screen, or a central portion or an arbitrary portion on the screen and a plurality of adjacent points, and is a plurality of locations distributed discretely. There are cases.

また、顔検出回路36においては、A/D変換回路7から出力される画像データを受けて、目、眉などの顔を特徴付ける部分を画像上で探索し、人物の顔の画像上での位置を求める。更に顔の大きさや傾きなどを、顔を特徴付ける部分の間隔などの位置関係から求める。 In the face detecting circuit 36 receives the images data that is output from the A / D conversion circuit 7, the eye, the part characterizing the face such as eyebrows searched on the image, in the image of the face of the person Find the position. Further, the size and inclination of the face are obtained from the positional relationship such as the interval between the parts characterizing the face.

タイミングジェネレータ(TG)16は所定のタイミング信号を発生する。センサードライバー17はTG16からのタイミング信号に基づいて、撮像素子5を駆動する。TG16は、所定のタイミング信号をCPU15、撮像回路6、センサードライバー17へ出力し、CPU15はこのタイミング信号に同期させて各種の制御を行う。また撮像回路6は、TG16からのタイミング信号を受け、これに同期させて色信号の分離等の各種画像処理を行う。さらにセンサードライバー17は、TG16のタイミング信号を受け、これに同期して撮像素子5を駆動する。 A timing generator (TG) 16 generates a predetermined timing signal. Sensor drivers 1 7 based on the timing signal from the TG 16, drives the imaging device 5. The TG 16 outputs a predetermined timing signal to the CPU 15, the imaging circuit 6, and the sensor driver 17, and the CPU 15 performs various controls in synchronization with this timing signal. The imaging circuit 6 receives the timing signal from the TG 16 and performs various image processing such as separation of color signals in synchronization with the timing signal. Further, the sensor driver 17 receives the timing signal of the TG 16 and drives the image sensor 5 in synchronization therewith.

第1モータ駆動回路18は、CPU15の制御に基づいて絞り駆動モータ21を駆動することで絞り4を駆動する。第2モータ駆動回路19は、CPU15の制御に基づいてフォーカス駆動モータ22を駆動することでフォーカスレンズ群3を駆動する。また、第3モータ駆動回路20は、CPU15の制御に基づいてズーム駆動モータ23を駆動することでズームレンズ群2を駆動する。   The first motor drive circuit 18 drives the diaphragm 4 by driving the diaphragm drive motor 21 based on the control of the CPU 15. The second motor drive circuit 19 drives the focus lens group 3 by driving the focus drive motor 22 based on the control of the CPU 15. The third motor drive circuit 20 drives the zoom lens group 2 by driving the zoom drive motor 23 based on the control of the CPU 15.

CPU15は、第1モータ駆動回路18、第2モータ駆動回路19、第3モータ駆動回路20をそれぞれ制御する。これにより、絞り駆動モータ21、フォーカス駆動モータ22、ズーム駆動モータ23を介して、絞り4、フォーカスレンズ群3、ズームレンズ群2をそれぞれ駆動制御する。CPU15はAE処理回路13において算出されたAE評価値等に基づき適正な露光量になる電荷蓄積時間及び絞り値を求め、第1モータ駆動回路18を制御して絞り駆動モータ21を駆動し、絞り4の絞り量が適正になるように調整するAE制御を行う。   The CPU 15 controls the first motor drive circuit 18, the second motor drive circuit 19, and the third motor drive circuit 20, respectively. As a result, the diaphragm 4, the focus lens group 3, and the zoom lens group 2 are driven and controlled via the diaphragm drive motor 21, the focus drive motor 22, and the zoom drive motor 23, respectively. The CPU 15 obtains a charge accumulation time and an aperture value at which an appropriate exposure amount is obtained based on the AE evaluation value calculated by the AE processing circuit 13, etc., controls the first motor drive circuit 18 to drive the aperture drive motor 21, and the aperture AE control for adjusting the aperture amount of 4 to be appropriate is performed.

またCPU15はAF処理回路14において算出されるAF評価値に基づき第2モータ駆動回路19を制御してフォーカス駆動モータ22を駆動する。これにより、フォーカスレンズ群3を合焦位置に移動させるAF制御を行う。また操作スイッチ24のうち不図示のズームスイッチが操作された場合、CPU15は、第3モータ駆動回路20を制御してズーム駆動モータ23を駆動制御することによりズームレンズ群2を移動させ、撮像光学系の変倍動作(ズーム動作)を行う。   The CPU 15 controls the second motor drive circuit 19 based on the AF evaluation value calculated by the AF processing circuit 14 to drive the focus drive motor 22. Thereby, AF control for moving the focus lens group 3 to the in-focus position is performed. When a zoom switch (not shown) among the operation switches 24 is operated, the CPU 15 moves the zoom lens group 2 by controlling the third motor drive circuit 20 to drive the zoom drive motor 23, thereby taking imaging optics. Performs zooming of the system.

操作スイッチ24は各種のスイッチ群からなり、例えば、以下のものがある。まず、撮像装置1を起動させて電源供給を行うための主電源スイッチや撮影動作(記憶動作)等を開始させるレリーズスイッチ、再生動作を開始させる再生スイッチ、ズーム倍率の変更、すなわち、ズームレンズ群2の移動を指示するズームスイッチ等である。他に、光学式ファインダー(OVF)電子ビューファインダー(EVF)切り替えスイッチ等がある。本実施の形態では、レリーズスイッチは、第1ストローク(以下、「SW1」と呼ぶ。)と、第2ストローク(以下、「SW2」と呼ぶ。)との二段スイッチにより構成される。SW1がオンになると撮像動作に先立ってAE処理及びAF処理を開始させる指示信号を発生する。また、SW2がオンになると画像を撮影して記録する露光記録動作を開始させる指示信号を発生する。   The operation switch 24 includes various switch groups, and includes the following, for example. First, a main power switch for activating the imaging apparatus 1 to supply power, a release switch for starting a photographing operation (storage operation), a reproduction switch for starting a reproduction operation, a change in zoom magnification, that is, a zoom lens group 2 is a zoom switch for instructing the movement of 2. In addition, there are an optical viewfinder (OVF) electronic viewfinder (EVF) changeover switch and the like. In the present embodiment, the release switch is configured by a two-stage switch of a first stroke (hereinafter referred to as “SW1”) and a second stroke (hereinafter referred to as “SW2”). When SW1 is turned on, an instruction signal for starting AE processing and AF processing is generated prior to the imaging operation. When SW2 is turned on, an instruction signal for starting an exposure recording operation for capturing and recording an image is generated.

EEPROM25は各種制御等を行うプログラムや各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリである。26は電池、28はフラッシュ発光部、27はフラッシュ発光部28の閃光発光を制御するスイッチング回路、29は警告表示などを行うLEDなどの表示素子、30は音声によるガイダンスや警告などを行うためのスピーカーである。   The EEPROM 25 is an electrically rewritable read-only memory in which programs for performing various controls and the like and data used for performing various operations are stored in advance. 26 is a battery, 28 is a flash light emitting unit, 27 is a switching circuit that controls the flash light emission of the flash light emitting unit 28, 29 is a display element such as an LED that displays a warning, etc. 30 is a voice guidance or warning It is a speaker.

AF補助光発光部33はAF評価値を取得する際に被写体の全部または一部を照明するLEDなどの光源で構成され、AF補助光駆動回路32はAF補助光発光部33を駆動する。   The AF auxiliary light emitting unit 33 includes a light source such as an LED that illuminates all or a part of the subject when acquiring the AF evaluation value, and the AF auxiliary light driving circuit 32 drives the AF auxiliary light emitting unit 33.

振れ検出センサー35は手振れなどを検出し、振れ検出回路34は振れ検出センサー35の信号を処理する。顔検出回路36(被写体検出手段)はA/D変換回路7からの出力を受けて画面上での顔位置や顔の大きさなどを検出する。顔検出回路36においては、A/D変換回路7から出力される画像データから、目、眉などの顔を特徴付ける部分を画像上で探索し、人物の顔の画像上での位置を求める。更に顔の大きさや傾きなどを、顔を特徴付ける部分の間隔などの位置関係から求める。   The shake detection sensor 35 detects camera shake and the like, and the shake detection circuit 34 processes the signal of the shake detection sensor 35. The face detection circuit 36 (subject detection means) receives the output from the A / D conversion circuit 7 and detects the face position on the screen and the size of the face. In the face detection circuit 36, a part characterizing the face such as eyes and eyebrows is searched from the image data output from the A / D conversion circuit 7, and the position of the person's face on the image is obtained. Further, the size and inclination of the face are obtained from the positional relationship such as the interval between the parts characterizing the face.

入力選択回路37はAF処理回路14に対してA/D変換回路7を通してデジタル化された画像データが複数存在する場合に、どちらの画像データをAF処理回路に入力するかを選択する。   The input selection circuit 37 selects which image data is input to the AF processing circuit when there are a plurality of image data digitized through the A / D conversion circuit 7 with respect to the AF processing circuit 14.

次に図1の撮像素子5に含まれる画素の構成について、図2を参照して説明する。なお、図2では垂直方向に並べられた4画素を表しているが、実際には、撮像素子5は2次元に配列された非常に多数の画素を含む。   Next, the configuration of the pixels included in the image sensor 5 of FIG. 1 will be described with reference to FIG. Although FIG. 2 shows four pixels arranged in the vertical direction, in reality, the imaging element 5 includes a very large number of pixels arranged two-dimensionally.

201はレンズ鏡筒31からの光を受光する画素であり、表面に入射した光を光電変換して電気信号として出力する。画素201は、フォトダイオード202、転送トランジスタ203、増幅アンプ204、リセット用トランジスタ205を含む。転送トランジスタ203及びリセット用トランジスタ205は、垂直走査回路206からの信号によって動作する。垂直走査回路206にはシフトレジスタや、転送トランジスタ203等の各画素を駆動させるための駆動信号を生成する信号生成回路等が含まれる。そして、生成した駆動信号(TX1〜4、RS1〜4等)により、転送トランジスタ203及びリセット用トランジスタ205を制御することによって、フォトダイオード202の電荷をリセットしたり、読み出したりして電荷蓄積時間を制御することができる。   Reference numeral 201 denotes a pixel that receives light from the lens barrel 31, and photoelectrically converts light incident on the surface to output it as an electrical signal. The pixel 201 includes a photodiode 202, a transfer transistor 203, an amplification amplifier 204, and a reset transistor 205. The transfer transistor 203 and the reset transistor 205 are operated by a signal from the vertical scanning circuit 206. The vertical scanning circuit 206 includes a shift register, a signal generation circuit that generates a drive signal for driving each pixel such as the transfer transistor 203, and the like. Then, by controlling the transfer transistor 203 and the reset transistor 205 according to the generated drive signals (TX1 to 4, RS1 to 4 and the like), the charge of the photodiode 202 is reset or read to reduce the charge accumulation time. Can be controlled.

また、209は水平走査回路であり、シフトレジスタ、列アンプ回路210、信号出力選択スイッチ211及び外部への出力回路(不図示)等が含まれる。列アンプ回路210の設定を、センサードライバー17からの信号によって変化させることによって、画素から読み出された信号を増幅することができる。   Reference numeral 209 denotes a horizontal scanning circuit, which includes a shift register, a column amplifier circuit 210, a signal output selection switch 211, an external output circuit (not shown), and the like. The signal read from the pixel can be amplified by changing the setting of the column amplifier circuit 210 according to the signal from the sensor driver 17.

次に、表示及び記録用の画像データを取得する際に、図2に示す構成の画素を有する撮像素子5の一般的な制御について、図3及び図4を参照して説明する。図3は画像を取得する際の垂直走査回路206から生成される信号を示したタイミングチャートである。TG16及びセンサードライバー17が生成する垂直同期信号によって、露光及び信号読み出しが行われる。   Next, when acquiring image data for display and recording, general control of the image sensor 5 having pixels having the configuration shown in FIG. 2 will be described with reference to FIGS. FIG. 3 is a timing chart showing signals generated from the vertical scanning circuit 206 when acquiring an image. Exposure and signal readout are performed by a vertical synchronization signal generated by the TG 16 and the sensor driver 17.

各行のTX信号(TX1〜4)及びRS信号(RS1〜4)が共に立ち上がることによって、各画素のフォトダイオード202の電荷がリセットされ、TX信号及びRS信号が共に立ち下がった時から電荷蓄積が開始される。この動作は、TG16によって設定された条件で、所定の順番で順次行われる。その後、所定の電荷蓄積時間の経過後に、TX信号が再度立ち上がり、フォトダイオード202の電荷を増幅アンプ204のゲートに読み出す。そして、増幅アンプ204からの信号から画像信号を生成し、水平走査回路209を通して出力される。この動作も、TG16によって設定された条件で行われる。   When both the TX signal (TX1 to 4) and the RS signal (RS1 to 4) of each row rise, the charge of the photodiode 202 of each pixel is reset, and charge accumulation starts when both the TX signal and the RS signal fall. Be started. This operation is sequentially performed in a predetermined order under the conditions set by the TG 16. Thereafter, after the elapse of a predetermined charge accumulation time, the TX signal rises again, and the charge of the photodiode 202 is read out to the gate of the amplification amplifier 204. Then, an image signal is generated from the signal from the amplification amplifier 204 and output through the horizontal scanning circuit 209. This operation is also performed under the conditions set by the TG 16.

本実施形態において、撮像装置1に搭載されている撮像素子5はCMOS型の撮像素子である。そのため、垂直走査回路206のシフトレジスタの設定によって、どの行の転送トランジスタ203をどのような順序で駆動させるかを選択することができ、更に、同一行を繰り返し選択して信号を読み出すこともできる。また、水平走査回路209のシフトレジスタの設定によって、どの列の選択スイッチ211を動作させるかによって、同一行の信号において、どの列の信号から出力するかを選択することができる。これによって、画面内のどの画素からどのような順番で読みだすかを指定することができる。   In the present embodiment, the image sensor 5 mounted on the image pickup apparatus 1 is a CMOS image sensor. Therefore, by setting the shift register of the vertical scanning circuit 206, it is possible to select in which order the transfer transistors 203 in which row are driven, and it is also possible to repeatedly select the same row and read the signal. . Further, by setting the shift register of the horizontal scanning circuit 209, it is possible to select which column signal is output from the same row signal depending on which column selection switch 211 is operated. Thus, it is possible to specify in what order from which pixel in the screen the reading is to be performed.

図4は、電荷蓄積時間と、蓄積された電荷が画像として読み出されるタイミングを示す。TG16及びセンサードライバー17が生成する垂直同期信号によって、露光及び信号読み出しが行われる。   FIG. 4 shows the charge accumulation time and the timing at which the accumulated charge is read out as an image. Exposure and signal readout are performed by a vertical synchronization signal generated by the TG 16 and the sensor driver 17.

●撮影動作全体
次に、本第1の実施形態におけるAF動作の全体の流れについて、図5のフローチャートを用いて説明する。第1の実施形態中でのAF動作は動画記録中および待機中や静止画撮影待機中に継続して実施されるものとする。また、撮像装置1の主電源スイッチがオン状態であり、かつ撮像装置の動作モードが撮影(録画)モードにあるときは、撮影処理が実行され、撮像素子5等に電源を供給し撮像を可能にする。その際、CPU15は、レンズ鏡筒31を通過し、撮像素子5上に結像した像をLCD10に画像として表示する。すなわち撮像素子5上に結像した被写体像は、撮像素子5により光電変換処理され電気的な信号に変換された後、撮像回路6に出力される。そこで入力した信号に対して各種の信号処理が施され、所定の画像信号が生成された後、A/D変換回路7に出力されデジタル信号(画像データ)に変換されVRAM8に一時的に格納される。VRAM8に格納された画像データはD/A変換回路9へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、LCD10に画像として表示される。
Overall Shooting Operation Next, the overall flow of the AF operation in the first embodiment will be described with reference to the flowchart of FIG. The AF operation in the first embodiment is continuously performed during moving image recording, standby, and still image shooting standby. In addition, when the main power switch of the image pickup apparatus 1 is in the on state and the operation mode of the image pickup apparatus is in the shooting (recording) mode, shooting processing is executed, and power is supplied to the image pickup device 5 and the like to enable imaging. To. At that time, the CPU 15 displays an image that has passed through the lens barrel 31 and formed on the image sensor 5 as an image on the LCD 10. That is, the subject image formed on the image pickup device 5 is photoelectrically converted by the image pickup device 5 and converted into an electrical signal, and then output to the image pickup circuit 6. Therefore, various signal processing is performed on the input signal to generate a predetermined image signal, which is then output to the A / D conversion circuit 7 to be converted into a digital signal (image data) and temporarily stored in the VRAM 8. The The image data stored in the VRAM 8 is output to the D / A conversion circuit 9, converted into an analog signal, converted into an image signal in a form suitable for display, and then displayed on the LCD 10 as an image.

なお、本第1の実施形態におけるフローチャートに示される処理はコンピュータプログラム(ソフトウェア)としてEEPROM25に保持される。そして、操作SW24の電源スイッチが操作されることで電源が投入され撮像装置1が起動した後に、主にCPU15により実行されるものとする。   Note that the processing shown in the flowchart in the first embodiment is held in the EEPROM 25 as a computer program (software). Then, the power is turned on by operating the power switch of the operation SW 24 and the image pickup apparatus 1 is started.

また、以降の説明においては、フォーカスレンズ群3を駆動しながらAF評価値を取得する動作をスキャン、AF評価値を取得するフォーカスレンズ群3の位置をスキャン位置、スキャン位置の間隔をスキャン間隔と呼ぶ。また、AF評価値を取得する範囲(すなわち、フォーカスレンズ群3を駆動する範囲)をスキャン範囲と呼ぶものとする。   In the following description, the operation of acquiring the AF evaluation value while driving the focus lens group 3 is scanned, the position of the focus lens group 3 for acquiring the AF evaluation value is the scan position, and the interval between the scan positions is the scan interval. Call. In addition, a range in which the AF evaluation value is acquired (that is, a range in which the focus lens group 3 is driven) is referred to as a scan range.

まず、S500において微小駆動動作に先立ち、内部で使用するパラメータを初期化する。具体的には直近のAF評価値を比較するための領域や方向を特定するためのカウンタ等である。   First, in S500, parameters used internally are initialized prior to the minute driving operation. Specifically, a counter or the like for specifying an area or direction for comparing the latest AF evaluation values.

次にS501にて微小駆動用の入力選択処理を実施する。ここでは、主にAF処理回路14に対して入力する画像データを入力選択回路37を用いて設定し、本実施形態ではLCD10への表示もしくは動画記録用の画像データと、AF用に特化した画像データの2つの入力のいずれかが選択される。なお、S501における処理の詳細は後述する。   In step S501, input selection processing for minute driving is performed. Here, image data mainly inputted to the AF processing circuit 14 is set by using the input selection circuit 37, and in this embodiment, image data for display on the LCD 10 or moving image recording, and specialization for AF are used. One of two inputs of image data is selected. Details of the processing in S501 will be described later.

S502ではS501にて入力の切り替えが発生したか否かを判断し、切り替えが発生した場合にはS503にてS500と同様に微小駆動用パラメータの初期化を行い、S504に進む。一方でS502にて入力切り替えが発生していない場合にはS504に進む。   In S502, it is determined whether or not an input switching has occurred in S501. If a switching has occurred, the minute driving parameters are initialized in S503 as in S500, and the process proceeds to S504. On the other hand, if no input switching has occurred in S502, the process proceeds to S504.

S504では、微小駆動動作を行い合焦・非合焦もしくはどちらの方向に合焦点があるかを判別する。微小駆動ではフォーカスレンズ群3を至近方向もしくは無限遠方向に微小量(LCD10や記録された動画像上でピントの変化が確認できない程度の量)駆動する。そして、その結果として得られるAF評価値から合焦・非合焦及び合焦させるためにフォーカスレンズ群3の駆動すべき方向などを検出する動作である。なお、動作の詳細は後述する。   In step S504, a minute driving operation is performed to determine whether the in-focus state is in focus or in-focus. In the micro drive, the focus lens group 3 is driven in a close amount or an infinite direction in a very small amount (an amount in which a change in focus cannot be confirmed on the LCD 10 or a recorded moving image). Then, from the AF evaluation value obtained as a result, it is an operation of detecting the direction in which the focus lens group 3 should be driven in order to focus, defocus, and focus. Details of the operation will be described later.

S504における微小駆動動作の結果、合焦と判別された場合は、S505からS512へ進んで合焦時の処理を行い、S504で合焦と判別されなかった場合はS505からS506へ進む。S506においては、山登り駆動動作へ遷移させるか否かを判断する。具体的にはS504で合焦方向の判別ができているか、もしくは非合焦で合焦点の存在する方向も特定できていない場合が該当し、その場合には、S507へ進んで山登り駆動の処理に移っていく。一方でS504で上記いずれにも該当しない場合はS501へ戻り微小駆動動作を継続する。   If the focus is determined to be in focus as a result of the minute driving operation in S504, the process proceeds from S505 to S512 to perform processing at the time of focus. If the focus is not determined in S504, the process proceeds from S505 to S506. In S506, it is determined whether or not to shift to the hill-climbing driving operation. Specifically, this corresponds to the case where the in-focus direction can be determined in S504, or the in-focus state where the in-focus point is not specified, and in this case, the process proceeds to S507 and the hill-climbing driving process is performed. Move on. On the other hand, if none of the above applies in S504, the process returns to S501 to continue the minute driving operation.

S507では山登り駆動に先立ち、内部で使用するパラメータを初期化する。具体的には直近のAF評価値を比較するための領域やフォーカスレンズ群3の可動範囲端への到達回数を数えるためのカウンタなどである。その後、S508では山登り駆動用の入力選択処理を実施する。詳細は後述するが、S501と同じようにAF処理回路14に対して入力する画像データを入力選択回路37を用いて設定する。   In S507, parameters used internally are initialized prior to hill-climbing driving. Specifically, an area for comparing the latest AF evaluation values, a counter for counting the number of times the focus lens group 3 reaches the end of the movable range, and the like. Thereafter, in S508, input selection processing for hill-climbing driving is performed. Although details will be described later, image data to be input to the AF processing circuit 14 is set by using the input selection circuit 37 as in S501.

S509では、AF評価値が大きくなる方向へ高速でレンズを山登り駆動する。本実施形態における山登り駆動では、山登り駆動中の合焦度合いに応じて、スキャン間隔を変えながら合焦位置を探す。合焦度合いが低い場合は、例えば5深度の比較的粗いスキャン間隔でスキャンを行い、合焦度合いが高くなるに従いスキャン間隔を細かくし、合焦位置近傍では例えば2〜4深度の比較的細かいスキャン間隔でスキャンを行う。なお、S509における処理については、詳細に後述する。   In step S509, the lens is hill-climbed and driven at a high speed in the direction in which the AF evaluation value increases. In hill-climbing driving in the present embodiment, the in-focus position is searched for while changing the scan interval according to the degree of focusing during hill-climbing driving. When the in-focus level is low, the scan is performed at a relatively coarse scan interval of, for example, 5 depths, and the scan interval is made finer as the in-focus level is increased. Scan at intervals. Note that the processing in S509 will be described later in detail.

S510ではS509の結果として非合焦となり、AF評価値監視処理への遷移が条件が成立した場合にはS512に進み、そうでない場合にはS511に進む。S511では、S509にて微小駆動動作への遷移条件が成立した場合にはS50に進み、そうでない場合にはS509に戻り、山登り駆動を継続する。 In S510, the result of S509 is out-of-focus, and if the condition for transition to the AF evaluation value monitoring process is satisfied, the process proceeds to S512, and if not, the process proceeds to S511. In S511, the process proceeds to S50 0 if a transition condition to the minute drive operation is satisfied in S509, returns to S509 otherwise, to continue the hill-climbing drive.

一方、S512ではAF評価値の変化を監視する際の基準となるAF評価値を保持する。S513では、最新の各種AF評価値とS512で記憶したAF評価値とを比較するAF評価値監視処理を実施する。その結果としてS514にてS513の結果が微小駆動動作への遷移、すなわち何らかのAF評価値の変化を検出し、ピント合わせを再開させると判断された場合にはS500へ進む。一方で、所定量のAF評価値の変化がない場合にはS514からS513に戻り、AF評価値監視処理にてAF評価値の変化を周期的に監視する。以上が、図5に示すAF動作の全体の流れとなる。   On the other hand, in S512, an AF evaluation value serving as a reference for monitoring a change in the AF evaluation value is held. In S513, an AF evaluation value monitoring process for comparing the latest various AF evaluation values with the AF evaluation values stored in S512 is performed. As a result, in S514, if the result of S513 detects a transition to a minute driving operation, that is, some AF evaluation value change and it is determined to resume focusing, the process proceeds to S500. On the other hand, if there is no change in the AF evaluation value of a predetermined amount, the process returns from S514 to S513, and the AF evaluation value change is periodically monitored in the AF evaluation value monitoring process. The above is the overall flow of the AF operation shown in FIG.

●微小駆動動作
次に図5のS504で行われる微小駆動動作について、図6のフローチャートを用いて説明する。微小駆動動作とは、断続的に細かくフォーカスレンズ群3を移動させ、得られたAF評価値の変化より、合焦位置の方向および合焦位置を特定する焦点調整方法である。
Micro Drive Operation Next, the micro drive operation performed in S504 of FIG. 5 will be described using the flowchart of FIG. The minute driving operation is a focus adjustment method in which the focus lens group 3 is intermittently moved finely, and the direction of the focus position and the focus position are specified based on the obtained change in the AF evaluation value.

まずS600において、CPU15は、AF処理回路14からAF評価値を取得する。同様にS601では合焦度を取得する。次にS602では微小駆動の移動量(スキャン間隔)を決定する。本実施形態では合焦位置に近づくほど小さく、外れるほど大きくフォーカスレンズ群3を移動させることで微小駆動動作において安定したピント追従を実現する。そのため、S601にて取得した合焦度に応じてフォーカスレンズ群3の移動量を決定するものとする。例えば、図9(b)のように合焦度の閾値をα>β>γの関係で設定した場合に対応する移動量は次のような関係となる。
現在の合焦度がαより大きい : 移動量=Step1
現在の合焦度がβより大きくα以下 : 移動量=Step2
現在の合焦度がγより大きくβ以下 : 移動量=Step3
現在の合焦度がγ以下 : 移動量=Step4
(Step1 < Step2 < Step3 < Step4)
First, in S600, the CPU 15 acquires an AF evaluation value from the AF processing circuit 14. Similarly, in S601, the degree of focus is acquired. In step S602, the amount of movement (scan interval) for minute driving is determined. In this embodiment, the focus lens group 3 is moved to be smaller as it approaches the in-focus position and larger as it moves away, thereby realizing stable focus tracking in a minute driving operation. Therefore, the movement amount of the focus lens group 3 is determined according to the degree of focus acquired in S601. For example, as shown in FIG. 9B, the movement amount corresponding to the case where the threshold value of focus degree is set in a relationship of α>β> γ has the following relationship.
Current focus degree is larger than α: Movement amount = Step1
Current focus degree is greater than β and less than or equal to α: Movement amount = Step 2
Current focus degree is greater than γ and less than or equal to β: Movement amount = Step3
Current focus degree is γ or less: Movement amount = Step4
(Step1 <Step2 <Step3 <Step4)

また、フォーカスレンズ群3を移動させる際のフォーカス駆動モータ22の速度に関しては、動画記録時は記録される動画の音声に影響を与えない速度とする。また、静止画のライブ表示時であればフォーカス駆動モータ22が許容する最高速度以下で、駆動音、振動等を考慮した速度を設定するものとする。   The speed of the focus drive motor 22 when moving the focus lens group 3 is set to a speed that does not affect the sound of the recorded moving image during moving image recording. In addition, when a still image is being displayed live, a speed that is less than the maximum speed allowed by the focus drive motor 22 and that considers drive sound, vibration, and the like is set.

次にS603にて現在のAF評価値が直前のAF評価値+変化閾値Aよりも大きいか否かを判断する。ここで変化閾値AとはAF評価値が明確に上昇したと判断するための閾値であり、実際のAF評価値の増加量に加えノイズ成分によるばらつきを考慮して設定する。S603にて条件が成立し、AF評価値の上昇傾向を検出した場合には、S604に進み方向特定カウンタを増加する。この方向特定カウンタとは合焦位置の方向を特定する際に使用し、その値が大きくなるほど合焦位置に向け安定してAF評価値が上昇していることを示している。次にS605にてS602で決定した移動量分だけ現在の位置からフォーカスレンズ群3を移動させる。その際、移動方向は直前の方向と同一である。   Next, in S603, it is determined whether or not the current AF evaluation value is larger than the immediately previous AF evaluation value + change threshold A. Here, the change threshold A is a threshold for determining that the AF evaluation value has clearly increased, and is set in consideration of variation due to noise components in addition to the actual increase amount of the AF evaluation value. If the condition is satisfied in S603 and the upward trend of the AF evaluation value is detected, the process proceeds to S604 and the direction specifying counter is increased. The direction specifying counter is used when specifying the direction of the in-focus position, and indicates that the AF evaluation value increases stably toward the in-focus position as the value increases. Next, in step S605, the focus lens group 3 is moved from the current position by the amount of movement determined in step S602. At that time, the moving direction is the same as the previous direction.

一方で、S603にてAF評価値が条件を満たさない場合は、S606に進む。S606では現在のAF評価値が直前のAF評価値−変化閾値Aよりも小さいか否かを判断する。これはS603とは反対にAF評価値の減少傾向を検出する。条件を満たす場合にはS608に進み、方向特定カウンタをクリアする。そしてS609にて直前の方向とは逆方向に向かってS602で決定した移動量分だけ現在のスキャン位置からフォーカスレンズ群3を移動させる。 On the other hand, if the AF evaluation value does not satisfy the condition in S603, the process proceeds to S606. In S606, it is determined whether or not the current AF evaluation value is smaller than the previous AF evaluation value minus the change threshold A. In contrast to S603, a decreasing tendency of the AF evaluation value is detected. If the condition is satisfied, the process proceeds to S608, and the direction specifying counter is cleared. In step S609, the focus lens group 3 is moved from the current scan position by the amount of movement determined in step S602 in the direction opposite to the previous direction.

S606にて条件を満たさない場合はS607に進み、直前の方向と同一方向に向かってS602で決定した移動量分だけ現在のスキャン位置からフォーカスレンズを移動させる。この場合、明示的なAF評価値の増減が検出できないため、方向特定カウンタの操作は行わない。   If the condition is not satisfied in S606, the process proceeds to S607, and the focus lens is moved from the current scan position by the amount of movement determined in S602 in the same direction as the previous direction. In this case, since the increase / decrease of the explicit AF evaluation value cannot be detected, the direction specifying counter is not operated.

次に、S610にて所定回数同一エリア内で往復したかを判断する。例えば図9(a)の領域Aのように合焦位置の近傍まで収束してきた場合、微小駆動動作で合焦位置を通り過ぎるとAF評価値が減少し、次の制御タイミングで反転することになる。このような動作を継続することで最終的に合焦位置をまたいで往復動作することになる。そして所定回数同一エリア内で往復していればS616に進み「合焦」と判断する。この判断がなされた場合、次の状態をAF評価値監視処理に設定する。   Next, in S610, it is determined whether a round trip has been made within the same area a predetermined number of times. For example, in the case of convergence to the vicinity of the in-focus position as in the area A of FIG. 9A, the AF evaluation value decreases when the in-focus position is passed by the minute driving operation, and is inverted at the next control timing. . By continuing such an operation, a reciprocating operation is finally performed across the in-focus positions. If the user has made a round trip within the same area a predetermined number of times, the process proceeds to S616 to determine “focus”. When this determination is made, the next state is set to the AF evaluation value monitoring process.

一方で、条件を満たさないと判断された場合はS611に進み、方向特定カウンタが所定値以上かを判断する。所定値以上の場合はS615に進み「方向特定」と判断する。この判断がなされた場合、次の状態を山登り駆動に設定する。   On the other hand, if it is determined that the condition is not satisfied, the process proceeds to S611, and it is determined whether the direction specifying counter is greater than or equal to a predetermined value. If it is equal to or greater than the predetermined value, the process proceeds to S615 and it is determined that “direction is specified”. If this determination is made, the next state is set to hill-climbing driving.

一方で、条件を満たさないと判断された場合はS612に進み、一連の微小駆動動作の処理が所定回数実施されたか、またS601で取得した合焦度が所定の閾値に対して低いか否かを判断する。例えば図9(a)の領域CのようにAF評価値の変化が乏しい状況で、所定回数以内に合焦位置やその方向が特定できない場合が考えられる。これはスキャン範囲が広く合焦位置に対して現在位置が離れすぎているために探しきれないか、スキャン範囲外に実際の合焦位置が存在する場合が考えられる。これは微小駆動動作を継続しても合焦位置とその方向を探し出すことが困難であるため、その場合はS614に進み「非合焦」と判断する。この判断がなされた場合、次の状態を山登り駆動に設定する。   On the other hand, if it is determined that the condition is not satisfied, the process proceeds to S612, whether a series of micro-driving operation processes have been performed a predetermined number of times, and whether the degree of focus acquired in S601 is lower than a predetermined threshold value. Judging. For example, there may be a case where the focus position and its direction cannot be specified within a predetermined number of times in a situation where the change of the AF evaluation value is scarce as in the region C of FIG. 9A. This may be because the scan range is wide and the current position is too far from the in-focus position so that it cannot be searched for or the actual in-focus position exists outside the scan range. In this case, it is difficult to find the in-focus position and its direction even if the minute driving operation is continued. In this case, the process proceeds to S614 and is determined to be “out-of-focus”. If this determination is made, the next state is set to hill-climbing driving.

一方で、条件を満たさないと判断された場合はS613に進み、微小駆動動作の継続を判断する。この判断がなされた場合、次の状態は変更せず微小駆動動作を継続して実施する。S610からS616までの処理では、周期的に得られるAF評価値の変化を検出し、それに基づいて微小駆動動作における判定結果を出力する。以上の処理を終えると、図5の処理に戻る。   On the other hand, if it is determined that the condition is not satisfied, the process proceeds to S613, and it is determined whether or not the minute driving operation is continued. If this determination is made, the next state is not changed and the minute driving operation is continued. In the processing from S610 to S616, a change in the AF evaluation value obtained periodically is detected, and a determination result in the minute driving operation is output based on the detected change. When the above process is completed, the process returns to the process of FIG.

●山登り駆動
次に図5のS509で行われる山登り駆動処理について、図7のフローチャートを用いて説明する。山登り駆動動作とは、連続的にフォーカスレンズ群3を移動させ、得られた複数のAF評価値の変化より、合焦位置を特定する焦点調整方法である。
● Climbing Drive Next, the hill climbing drive process performed in S509 of FIG. 5 will be described with reference to the flowchart of FIG. The hill-climbing driving operation is a focus adjustment method in which the focus lens group 3 is continuously moved and the in-focus position is specified based on a plurality of obtained AF evaluation value changes.

まずS700において、AF評価値と対応したフォーカスレンズ位置を取得する。次にS701にて合焦度を取得する。S702では山登り駆動におけるフォーカスレンズ群3の移動速度を決定する。本実施形態では合焦位置に近づくほど遅く、外れるほど速くフォーカスレンズ群3を移動させることで、山登り駆動において安定したピント追従を実現する。そのため、S701にて取得した合焦度に応じてフォーカスレンズ群3の移動速度を決定するものとする。例えば、図9(b)のように合焦度の閾値をα>β>γの関係で設定した場合に、AF処理回路14よりAF評価値が生成される周期に応じたフォーカスレンズ群3の移動量は次のような関係となる。
現在の合焦度がαより大きい : 移動量=Step5
現在の合焦度がβより大きくα以下 : 移動量=Step6
現在の合焦度がγより大きくβ以下 : 移動量=Step7
現在の合焦度がγ以下 : 移動量=Step8
(Step5 < Step6 < Step7 < Step8)
First, in S700, a focus lens position corresponding to the AF evaluation value is acquired. In step S701, the degree of focus is acquired. In S702, the moving speed of the focus lens group 3 in hill-climbing driving is determined. In the present embodiment, the focus lens group 3 is moved more slowly as it gets closer to the in-focus position and faster as it goes away, thereby realizing stable focus tracking in hill-climbing driving. Therefore, the moving speed of the focus lens group 3 is determined according to the degree of focus acquired in S701. For example, as shown in FIG. 9B, when the focus degree threshold is set in a relationship of α>β> γ, the focus lens group 3 corresponding to the cycle in which the AF evaluation value is generated by the AF processing circuit 14 is set. The amount of movement has the following relationship.
Current focus degree is larger than α: Movement amount = Step5
Current focus degree is larger than β and smaller than α: Movement amount = Step6
Current focus degree is greater than γ and less than or equal to β: Movement amount = Step7
Current focus level is γ or less: Movement amount = Step8
(Step5 <Step6 <Step7 <Step8)

なおAF処理回路14よりAF評価値が生成される周期は、AF処理回路14へ入力される画像データの入力周期(=画像データの生成周期)によって変化する。これは図5のS508の入力選択処理によって決定されるため、上記の移動量と画像データの入力周期より1周期あたりの移動速度を算出し設定する。   Note that the period at which the AF evaluation value is generated by the AF processing circuit 14 varies depending on the input period of the image data input to the AF processing circuit 14 (= the generation period of the image data). Since this is determined by the input selection process in S508 of FIG. 5, the moving speed per cycle is calculated and set from the above moving amount and the input cycle of the image data.

次にS703にてフォーカスレンズ群3が停止中であるか否かを判断する。フォーカスレンズ群3が停止中であるのは、微小駆動動作から山登り駆動動作に遷移した直後もしくは山登り駆動中にフォーカスレンズ群3がスキャン範囲の端に到達した場合のいずれかである。そこでS705では現在のレンズ位置が端であるか否かを判断する。S705で端と判断された場合にはS707に進み、進行方向を端とは反対方向に設定してフォーカスレンズ群3の移動を開始する。   In step S703, it is determined whether the focus lens group 3 is stopped. The focus lens group 3 is stopped either immediately after the transition from the minute driving operation to the hill-climbing driving operation or when the focus lens group 3 reaches the end of the scan range during the hill-climbing driving. In step S705, it is determined whether the current lens position is at the end. If it is determined in S705 that the edge is the end, the process proceeds to S707, and the movement direction of the focus lens group 3 is started by setting the traveling direction to a direction opposite to the end.

一方で、S705にて条件を満たさない場合にはS706に進む。S706の条件に該当するのは微小駆動動作から山登り駆動動作に遷移した直後の場合であり、微小駆動動作における進行方向を引き継いでフォーカスレンズ群3の移動を開始する。   On the other hand, if the condition is not satisfied in S705, the process proceeds to S706. The condition of S706 corresponds to the case immediately after the transition from the minute driving operation to the hill-climbing driving operation, and the movement of the focus lens group 3 is started taking over the traveling direction in the minute driving operation.

次にS708にて所定回数だけ端に到達したかを判断する。少なくともスキャン範囲の両方の端に到達し合焦位置が特定できない場合、スキャン範囲全域が図9(a)の領域CのようにAF評価値の変化が乏しい状況が考えられ、合焦位置はフォーカスレンズ群3のスキャン範囲外に存在することが考えられる。そのような条件で山登り駆動を継続した場合、大きなピント変動が繰り返されるため、この状態を回避すべくS708の条件を満たす場合はS709に進みフォーカスレンズ群3を停止させる。そしてS710にて山登り駆動における判定結果を「非合焦」とし、次に遷移する状態をAF評価値監視処理に設定する。 In step S708, it is determined whether the end has been reached a predetermined number of times. If at least both ends of the scan range are reached and the in-focus position cannot be specified, there may be a situation in which the entire scan range has little change in the AF evaluation value as in the region C of FIG. 9A. It may be present outside the scanning range of the lens group 3. When hill-climbing driving is continued under such conditions, large focus fluctuations are repeated. Therefore, when the condition of S708 is satisfied to avoid this state, the process proceeds to S709 and the focus lens group 3 is stopped. In S710, the determination result in the hill-climbing drive is set to “out-of-focus”, and the next transition state is set to the AF evaluation value monitoring process.

S708の条件を満たさない場合にはS711に進む。S711では現在のAF評価値と直前のAF評価値を比較し、現在の値が直前の値よりも大きいか否かを判断する。現在の値が直前の値よりも大きい場合はS712に進み、山登り駆動として判定結果を「継続」とし、山登り駆動の処理を引き続き実行する。つまり、図9(a)の領域Bにて実際の合焦位置の方向に正しく山登り駆動を実施している場合など、AF評価値の増加傾向が検出できる場合にはその方向に向けて山登り駆動が実施されることになる。   If the condition of S708 is not satisfied, the process proceeds to S711. In S711, the current AF evaluation value is compared with the previous AF evaluation value, and it is determined whether or not the current value is larger than the previous value. If the current value is greater than the previous value, the process proceeds to S712, where the determination result is “continue” as hill-climbing driving, and the hill-climbing driving process is continued. In other words, when the hill-climbing drive is correctly performed in the direction of the actual in-focus position in the region B of FIG. 9A, when the AF evaluation value increasing tendency can be detected, the hill-climbing drive is performed in that direction. Will be implemented.

S711にて条件が成立しない場合には、S713に進む。S713ではAF評価値がピークを越えて減少したか否かを判断する。具体的には図9(a)の領域Bから領域Aに向けて山登り駆動を実施する場合などが該当し、この場合はS714に進み、フォーカスレンズ群3を停止させる。その後、S715にて山登り駆動の判定結果を「合焦」とし、次に遷移する状態を微小駆動動作に設定する。そしてS716にてフォーカスレンズ群3をAF評価値のピークの位置に移動させる。   If the condition is not satisfied in S711, the process proceeds to S713. In S713, it is determined whether or not the AF evaluation value has decreased beyond the peak. Specifically, this corresponds to a case where hill-climbing driving is performed from region B to region A in FIG. 9A. In this case, the process proceeds to S714, and the focus lens group 3 is stopped. Thereafter, in S715, the hill-climbing drive determination result is set to “focus”, and the next transition state is set to the minute drive operation. In step S716, the focus lens group 3 is moved to the peak position of the AF evaluation value.

S713にて条件が成立しない場合にはS717に進む。具体的には図9(a)の領域Bにて合焦位置とは反対方向に山登り駆動が実施された場合が該当し、S717ではフォーカスレンズ群3の移動方向を反転し移動させる。そしてS718にて山登り駆動の判定結果を「継続」とし、山登り駆動の処理を引き続き実行する。S708からS718までの処理は、周期的に得られるAF評価値の変化を検出し、それに基づいて山登り駆動における判定結果を出力する。以上の処理を終えると、図5の処理に戻る。   If the condition is not satisfied in S713, the process proceeds to S717. Specifically, this corresponds to the case where hill-climbing driving is performed in the direction opposite to the in-focus position in the region B of FIG. 9A, and in S717, the moving direction of the focus lens group 3 is reversed and moved. In S718, the hill-climbing drive determination result is set to “continue”, and the hill-climbing drive process is continued. In the processing from S708 to S718, a change in the AF evaluation value obtained periodically is detected, and a determination result in hill-climbing driving is output based on the detected change. When the above process is completed, the process returns to the process of FIG.

●AF評価値監視処理
次に図5のS513で行われるAF評価値監視処理について、図8のフローチャートを用いて説明する。AF評価値監視処理とは、予め記憶されたAF評価値に対して現在のAF評価値が変動したか否かを検出するための処理である。
AF Evaluation Value Monitoring Process Next, the AF evaluation value monitoring process performed in S513 of FIG. 5 will be described using the flowchart of FIG. The AF evaluation value monitoring process is a process for detecting whether or not the current AF evaluation value has changed with respect to a previously stored AF evaluation value.

まずS800において、AF評価値を取得する。次にS801では図5のS512で記憶したAF評価値と最新のAF評価値とを比較し、AF評価値の変動が予め決められた閾値Thdiffより大きいかを判定する。AF評価値が閾値Thdiffより大きく変動していればS802へ進み、次に遷移すべき状態を微小駆動動作に設定する。一方、S801にてAF評価値の変動が閾値Thdiff以下であればS803に進み、AF評価値監視処理を継続するため次に遷移すべき状態をAF評価値監視処理に設定する。このように図5のS508からS510における一連の処理の流れが示す通り、AF評価値の変動が小さく安定している場合にはAF評価値監視処理が周期的に継続して実施されることになる。以上の処理を終えると、図5の処理に戻る。   First, in S800, an AF evaluation value is acquired. Next, in S801, the AF evaluation value stored in S512 of FIG. 5 is compared with the latest AF evaluation value, and it is determined whether the variation of the AF evaluation value is larger than a predetermined threshold value Thdiff. If the AF evaluation value fluctuates more than the threshold value Thdiff, the process advances to step S802, and the state to be transitioned next is set to the minute driving operation. On the other hand, if the fluctuation of the AF evaluation value is equal to or smaller than the threshold value Thdiff in S801, the process proceeds to S803, and the state to be transitioned next is set in the AF evaluation value monitoring process in order to continue the AF evaluation value monitoring process. As described above, as shown in the flow of a series of processes from S508 to S510 in FIG. 5, when the fluctuation of the AF evaluation value is small and stable, the AF evaluation value monitoring process is periodically performed continuously. Become. When the above process is completed, the process returns to the process of FIG.

●入力選択処理
次に図5のS501、S508で行われる入力選択処理について説明する。本実施形態においては、LCD10に表示する場合や、動画像として記録媒体に記録する場合に使用する画像データと、応答性を重視したAF動作時に適した画像データを、撮像素子5より異なる露光条件で露光し、異なる読み出しレート(読み出し間隔)で得られるようにする。以下、前者を画像データA、後者を画像データBと呼ぶ。本実施形態では表示・記録のための画像データAとAF動作に適した画像データBでは垂直方向のライン数を異なるように設定し、その大小関係を「画像データA>画像データB」となるように設定する。この理由として、AF評価値がAF処理回路14によりAF領域として指定された画面の一部分の領域に相当する画像データの高周波成分をバンドパスフィルタで抽出し累積加算したものであるからである。また、画像データA、Bでライン数の差が生じる垂直方向にバンドパスフィルタによるフィルタ処理が可能で、その出力をAF評価値信号に反映することが可能な構成であれば、ライン数の多い画像データAの方が画像データBよりも合焦精度の面で有利になる。すなわち、以下に示すような特徴の差を生み出すためである。
垂直ライン数の大小 : 画像データA > 画像データB
S/N面の優位性 : 画像データA > 画像データB
精度面の優位性 : 画像データA > 画像データB
読み出しレートの速さ : 画像データA < 画像データB
最長露光期間 : 画像データA > 画像データB
Input Selection Process Next, the input selection process performed in S501 and S508 in FIG. 5 will be described. In the present embodiment, image data used for displaying on the LCD 10 or recording on a recording medium as a moving image, and image data suitable for an AF operation emphasizing responsiveness are different from the image sensor 5 in exposure conditions. The exposure is performed at a different reading rate (reading interval). Hereinafter, the former is called image data A and the latter is called image data B. In this embodiment, the image data A for display / recording and the image data B suitable for the AF operation are set so that the number of lines in the vertical direction is different, and the size relationship is “image data A> image data B”. Set as follows. This is because the high-frequency component of the image data corresponding to the partial area of the screen whose AF evaluation value is designated as the AF area by the AF processing circuit 14 is extracted by a band pass filter and cumulatively added. Also, if the image data A and B can be filtered by a band pass filter in the vertical direction in which a difference in the number of lines occurs, and the output can be reflected in the AF evaluation value signal, the number of lines is large. Image data A is more advantageous than image data B in terms of focusing accuracy. That is, to produce the difference in characteristics as shown below.
Number of vertical lines: Image data A> Image data B
Superiority of S / N surface: Image data A> Image data B
Precision advantage: Image data A> Image data B
Read rate: image data A <image data B
Longest exposure period: Image data A> Image data B

本実施形態では表示・記録のための画像データAとAF動作に適した画像データBを生成すべく、それぞれの露出条件を撮像素子5の各行に対して2:1行周期で設定し、リセット・出力転送のタイミングを異ならせる。本実施形態では、表示・記録のための画像データAの露光時間は、30分の1秒を長秒時側、撮像素子5の性能等で決まる最小露光時間を短秒時側の限度とする。そして、絞り、列アンプ回路210の値を調整して、AF動作と並行して実施されるAE処理の結果を参照し、露光量が適正となるようにして決める。一方でAF動作に適した画像データBの露光時間は、60分の1秒を長秒時側、撮像素子5の性能等で決まる最小露光時間を短秒時側の限度とする。そして、絞り、列アンプ回路210の値を調整して、AF動作と並行して実施されるAE処理の結果を参照し、露光量が適正となるようにして決める。そのため、AF動作用の画像データBの露光時間が表示・記録のための画像データAの露光時間より短くなり、それに伴い画像データBの読み出しレートが画像データAの読み出しレートの2倍速くなる。   In this embodiment, in order to generate image data A for display / recording and image data B suitable for AF operation, the respective exposure conditions are set for each row of the image sensor 5 at a 2: 1 row period, and reset.・ Change the timing of output transfer. In the present embodiment, the exposure time of the image data A for display / recording is limited to 1/30 second on the long time side, and the minimum exposure time determined by the performance of the image sensor 5 is on the short time side. . Then, the values of the aperture and column amplifier circuit 210 are adjusted, and the result of AE processing performed in parallel with the AF operation is referred to determine the exposure amount to be appropriate. On the other hand, the exposure time of the image data B suitable for the AF operation is set such that 1 / 60th of a second is the long time side, and the minimum exposure time determined by the performance of the image sensor 5 is the short time side. Then, the values of the aperture and column amplifier circuit 210 are adjusted, and the result of AE processing performed in parallel with the AF operation is referred to determine the exposure amount to be appropriate. Therefore, the exposure time of the image data B for AF operation is shorter than the exposure time of the image data A for display / recording, and accordingly, the reading rate of the image data B is twice as fast as the reading rate of the image data A.

露光条件(露光時間)が決まったならば、TX信号(TX1〜4)及びRS信号(RS1〜4)を図10のように制御する。図10は表示・記録のための画像データA、AF動作に適した画像データBを得るために垂直走査回路206から生成される信号を示したタイミングチャートである。まず、TX信号及びRS信号が共に立ち上がることによって、各画素のフォトダイオード202の電荷がリセットされ、TX信号及びRS信号が共に立ち下がった時から電荷蓄積が開始される。この動作はTG16によって設定された条件で、所定の順番で順次行われる。その後、表示・記録用の行において、所定の露光時間の経過後に、TX1信号、TX2信号、TX4信号が順次立ち上がり、フォトダイオード202の電荷を増幅アンプ204に読み出し、水平走査回路209を通して出力し、画像データAを取得する。一方でAF動作用の行において、所定の露光時間の経過後に、TX3信号が立ち上がり、フォトダイオード202の電荷を増幅アンプ204に読み出し、水平走査回路209を通して出力し、AF動作用の画像データBを取得する。その後、再度RS3信号が立ち上がり、AF動作信号用の行をリセットする。AF動作用信号を取得するため、この動作を繰り返す。   When the exposure conditions (exposure time) are determined, the TX signals (TX1 to 4) and the RS signals (RS1 to 4) are controlled as shown in FIG. FIG. 10 is a timing chart showing signals generated from the vertical scanning circuit 206 in order to obtain image data A for display / recording and image data B suitable for AF operation. First, when both the TX signal and the RS signal rise, the charge of the photodiode 202 of each pixel is reset, and charge accumulation is started when both the TX signal and the RS signal fall. This operation is sequentially performed in a predetermined order under the conditions set by the TG 16. Thereafter, in the display / recording row, after a predetermined exposure time elapses, the TX1 signal, the TX2 signal, and the TX4 signal sequentially rise, read the charge of the photodiode 202 to the amplification amplifier 204, and output it through the horizontal scanning circuit 209. Image data A is acquired. On the other hand, in the row for AF operation, after a predetermined exposure time elapses, the TX3 signal rises, reads the charge of the photodiode 202 to the amplification amplifier 204, outputs it through the horizontal scanning circuit 209, and outputs image data B for AF operation. get. Thereafter, the RS3 signal rises again to reset the row for the AF operation signal. This operation is repeated to acquire the AF operation signal.

このように表示・記録用の行とAF動作用の行が制御されることで、表示・記録のための画像データAとAF動作に適した画像データBがそれぞれ生成される。   By controlling the display / recording line and the AF operation line in this manner, image data A for display / recording and image data B suitable for the AF operation are generated.

本発明においては、画像データAと画像データBはそれぞれの処理で利用される。例えば、画像データAはVRAM8に一時的に格納される。VRAM8に格納された画像データAはD/A変換回路9へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、LCD10に画像として表示される。一方VRAM8に格納された画像データAは圧縮伸長回路11にも出力される。この圧縮伸長回路11における圧縮回路によって圧縮処理が行われた後、記憶に適した形態の画像データに変換され、記憶用メモリ12に記憶される。一方で、AF動作においては先に示した各画像データの特徴の違いを考慮し、表示・記録のための画像データAとAF動作に適した画像データBの2つの画像データをAF処理回路14への入力として、入力選択回路37を制御することで切り換えて使用する。   In the present invention, image data A and image data B are used in each processing. For example, the image data A is temporarily stored in the VRAM 8. The image data A stored in the VRAM 8 is output to the D / A conversion circuit 9, converted into an analog signal, converted into an image signal in a form suitable for display, and then displayed on the LCD 10 as an image. On the other hand, the image data A stored in the VRAM 8 is also output to the compression / decompression circuit 11. After compression processing is performed by the compression circuit in the compression / decompression circuit 11, it is converted into image data in a form suitable for storage and stored in the storage memory 12. On the other hand, in the AF operation, the difference between the characteristics of the respective image data described above is taken into consideration, and two image data of image data A for display / recording and image data B suitable for the AF operation are converted into an AF processing circuit 14. As an input to, the input selection circuit 37 is controlled to be switched.

したがって、一定の解像度が要求される表示・記録用の画像データについてはAFの動作によらず使用される画像データは画像データAで変化しないが、AF動作で使用される画像データについてはAF動作に適したものが適時選択され使用されることになる。以降では具体的にAF動作におけるAF処理回路14への入力選択の詳細について説明する。   Accordingly, for display / recording image data that requires a certain resolution, the image data to be used does not change with the image data A regardless of the AF operation, but for image data used in the AF operation, the AF operation The one suitable for is selected and used in a timely manner. Hereinafter, the details of the input selection to the AF processing circuit 14 in the AF operation will be specifically described.

1.山登り駆動用入力選択処理
まず、図5のS508で行われる山登り駆動用入力選択処理の詳細について、図11のフローチャートを用いて説明する。最初にS1100において、入力選択回路37によりAF処理回路14に設定されている現在の入力画像データ(画像データAもしくは画像データB)の設定を記憶する。次にS1101にて現在の露出条件を取得する。
1. First, the details of the hill-climbing drive input selection process performed in S508 of FIG. 5 will be described with reference to the flowchart of FIG. First, in S1100, the setting of the current input image data (image data A or image data B) set in the AF processing circuit 14 by the input selection circuit 37 is stored. In step S1101, the current exposure condition is acquired.

S1102ではS1101で取得した露出条件よりAF処理回路14への入力画像データの切り替え条件が成立したか否かを判断する。ここでは、AE処理回路13により得られたAE評価値に基づいて、被写体の明るさが一定の明るさ(第1の閾値)より明るい場合はS1103にてAF処理回路14への入力を画像データBに設定する。なお、設定の反映は後述するS1108で行う。先に示したように画像データBは画像データAに比べて読み出しレートが速く、より短い期間に多くのAF評価値を取得する場合には有利である。本実施形態では画像データBで適正露出が維持できている場合にはこの条件が成立するものとし、このような場合、合焦点方向へ高速に移動することを目的とした山登り駆動ではAF動作に応答性を優先した入力を選択するように制御される。   In step S1102, it is determined whether a condition for switching input image data to the AF processing circuit 14 is satisfied based on the exposure condition acquired in step S1101. Here, based on the AE evaluation value obtained by the AE processing circuit 13, if the brightness of the subject is higher than a certain brightness (first threshold value), the input to the AF processing circuit 14 is input to the image data in S1103. Set to B. The setting is reflected in S1108 described later. As described above, the image data B has a higher reading rate than the image data A, and is advantageous when many AF evaluation values are acquired in a shorter period. In the present embodiment, this condition is satisfied when the proper exposure can be maintained with the image data B. In such a case, the hill-climbing drive aiming at high-speed movement in the in-focus direction performs the AF operation. It is controlled to select an input giving priority to responsiveness.

一方で、被写体の明るさが一定の明るさ(第1の閾値)よりも暗い場合にはS1104にてAF処理回路14への入力を画像データAに設定する。なお、設定の反映は後述するS1108で行う。これは先に示したように画像データAは画像データBに比べて垂直方向のライン数が多く、高周波成分をバンドパスフィルタで抽出し累積加算することでAF評価値を算出することからS/N面では有利である。さらに最長露光時間も画像データBと比較して長いため露出制御の面からも有利である。画像データBで適正露出が維持できないシーンでは、画像データBをAF処理回路14の入力とした場合は合焦点近傍であってもコントラスト差が生じにくく、合焦点を特定できない可能性がある。このような状況を回避すべく、AF処理回路14への入力として画像データAを選択することで応答性よりも合焦点方向への安定した移動を重視した入力が選択されるように制御される。   On the other hand, when the brightness of the subject is darker than the constant brightness (first threshold), the input to the AF processing circuit 14 is set to the image data A in S1104. The setting is reflected in S1108 described later. As described above, the image data A has a larger number of lines in the vertical direction than the image data B, and the AF evaluation value is calculated by extracting and accumulating high-frequency components with a band-pass filter. The N plane is advantageous. Further, since the longest exposure time is longer than that of the image data B, it is advantageous in terms of exposure control. In a scene in which proper exposure cannot be maintained with the image data B, when the image data B is input to the AF processing circuit 14, a contrast difference hardly occurs even in the vicinity of the focal point, and the focal point may not be specified. In order to avoid such a situation, the image data A is selected as an input to the AF processing circuit 14 so that an input that emphasizes stable movement in the in-focus direction rather than responsiveness is selected. .

次にS1105では、先のS1102からS1104までの処理にて設定されたAF処理回路14への入力画像データと、S1100で記憶した直前の入力画像データとを比較し、変更があったか否かを判断する。ここで、変更がない場合はそのまま処理を終了する。一方で、変更があった場合にはS1106にてAF処理回路14を停止させる。S1107では変更後の入力画像データに合わせてAF評価値を生成するためのAF領域を再設定する。次にS1108にてS1103およびS1104で設定された画像データがAF処理回路14へ供給されるように入力選択回路37を制御する。   Next, in step S1105, the input image data to the AF processing circuit 14 set in the processing from the previous steps S1102 to S1104 is compared with the previous input image data stored in step S1100 to determine whether there has been a change. To do. Here, if there is no change, the processing is terminated as it is. On the other hand, if there is a change, the AF processing circuit 14 is stopped in S1106. In step S1107, an AF area for generating an AF evaluation value is reset according to the changed input image data. In step S1108, the input selection circuit 37 is controlled so that the image data set in steps S1103 and S1104 is supplied to the AF processing circuit 14.

S1109では垂直同期信号が立下るのを待ち、垂直同期信号が立下るとS1110にてAF処理回路14の処理を開始する。これは画像データAと画像データBではデータの生成周期が異なるためである。画像データAからB、もしくは画像データBからAのように異なる画像データに入力を切り替える場合には、必ず垂直同期信号を基準として画像データA及び画像データBに共通した一貫性の保てるタイミングでAF処理回路14の動作を開始させる。このようにすることで、切り替わり時の整合性を保つようにする。以上の処理を終えると、図5の処理に戻る。   In step S1109, the process waits for the vertical synchronization signal to fall. When the vertical synchronization signal falls, the processing of the AF processing circuit 14 is started in step S1110. This is because image data A and image data B have different data generation cycles. When the input is switched to different image data such as image data A to B or image data B to A, AF is always performed at a timing that can maintain consistency common to image data A and image data B with reference to the vertical synchronization signal. The operation of the processing circuit 14 is started. In this way, consistency at the time of switching is maintained. When the above process is completed, the process returns to the process of FIG.

2.微小駆動用入力選択処理
次に、図5のS501で行われる微小駆動用入力選択処理の詳細について、図12のフローチャートを用いて説明する。最初にS1200において、入力選択回路37によりAF処理回路14に設定されている現在の入力画像データ(画像データAもしくは画像データB)の設定を記憶する。次にS1201にて現在の露出条件を取得する。
2. Next, details of the micro-drive input selection process performed in S501 of FIG. 5 will be described with reference to the flowchart of FIG. First, in S1200, the setting of the current input image data (image data A or image data B) set in the AF processing circuit 14 by the input selection circuit 37 is stored. In step S1201, the current exposure condition is acquired.

S1202では第1の入力切り替え条件として、S1201で取得した露出条件よりAF処理回路14への入力画像データの切り替え条件が成立したか否かを判断する。S1202の入力切り替え条件は、図11のS1102の条件と同じであるため説明は省略する。S1202において条件が成立する場合には図11のS1104と同様に入力を画像データAに設定する。一方で、S1202において条件が成立しない場合にはS1203に進み、AF処理回路14よりその時点での合焦度を取得する。   In S1202, it is determined whether the switching condition of the input image data to the AF processing circuit 14 is satisfied from the exposure condition acquired in S1201 as the first input switching condition. The input switching conditions in S1202 are the same as the conditions in S1102 in FIG. If the condition is satisfied in S1202, the input is set to the image data A as in S1104 of FIG. On the other hand, if the condition is not satisfied in S1202, the process proceeds to S1203, and the focus level at that time is acquired from the AF processing circuit 14.

次にS1205にて第2の入力切り替え条件が成立したかを判断する。ここで第2の入力切り替え条件とはS1203で取得した合焦度に応じた切り替えである。まず、合焦度が図9(b)の合焦度α以下(第2の閾値以下)の場合、すなわち現在のフォーカスレンズ位置が図9(a)の領域B、Cの場合にはS1206にて入力を画像データBに設定する。これは合焦点から外れている可能性が高く、速やかに合焦点近傍に追従させる必要があるため、より応答性を重視した画像データBを選択する。   In step S1205, it is determined whether the second input switching condition is satisfied. Here, the second input switching condition is switching according to the degree of focus acquired in S1203. First, when the in-focus degree is equal to or less than the in-focus degree α (second threshold or less) in FIG. 9B, that is, when the current focus lens position is in the regions B and C in FIG. To set the input to the image data B. This is likely to be out of focus, and it is necessary to promptly follow the vicinity of the focus, so image data B that emphasizes responsiveness is selected.

一方でS1205にて合焦度が図9(b)の合焦度α(第2の閾値)より大きい場合、すなわち現在のフォーカスレンズ位置が図9(a)の領域Aにある場合にはS1207にて入力を画像データAに設定する。これはすでに合焦点近傍にフォーカスレンズの位置が収束しているため、図9(a)の領域Aではより正確な合焦点に収束させるべく、応答性よりもS/N、精度面から有利な画像データAを選択する。   On the other hand, if the in-focus degree is larger than the in-focus degree α (second threshold value) in FIG. 9B in S1205, that is, if the current focus lens position is in the area A in FIG. The input is set to the image data A. This is because the position of the focus lens has already converged in the vicinity of the in-focus point. Therefore, in the area A in FIG. 9A, in order to converge to a more accurate in-focus point, it is advantageous from the viewpoint of S / N and accuracy rather than responsiveness. Image data A is selected.

次にS1208では、先のS1202からS1207までの処理にて選択されたAF処理回路14への入力画像データと、S1200で記憶した直前の入力画像データとを比較し、変更があったか否かを判断する。ここで、変更がない場合はそのまま処理を終了する。一方で、変更があった場合にはS1209にてAF処理回路14を停止させる。S1210では変更後の入力画像データに合わせてAF評価値を生成するためのAF領域を再設定する。次にS1211にてS1204、S1206、S1207で設定された画像データがAF処理回路14へ供給されるように入力選択回路37を制御する。   Next, in S1208, the input image data to the AF processing circuit 14 selected in the processing from S1202 to S1207 is compared with the previous input image data stored in S1200, and it is determined whether or not there has been a change. To do. Here, if there is no change, the processing is terminated as it is. On the other hand, if there is a change, the AF processing circuit 14 is stopped in S1209. In S1210, an AF area for generating an AF evaluation value is reset according to the changed input image data. In step S1211, the input selection circuit 37 is controlled so that the image data set in steps S1204, S1206, and S1207 is supplied to the AF processing circuit 14.

S1212では垂直同期信号が立下るのを待ち、垂直同期信号が立下るとS1213にてAF処理回路14の処理を開始する。このように制御する理由は、S1109、S1110で説明したものと同じである。以上の処理を終えると、図5の処理に戻る。   In S1212, the process waits for the vertical synchronizing signal to fall, and when the vertical synchronizing signal falls, the processing of the AF processing circuit 14 is started in S1213. The reason for controlling in this way is the same as that described in S1109 and S1110. When the above process is completed, the process returns to the process of FIG.

以上説明したように、本第1の実施形態におけるAF動作では合焦度や露出条件によりAF動作で使用される画像データ、すなわち、AF処理回路14への入力画像データを切り替える。これにより、合焦点への応答性と精度の両立を図るとともに、LCD10に表示する画像や動画として記録するための画像データに関しては影響を与えることがない。そのため、本第1の実施形態を適用することにより、図13(a)に示すように、通常照度シーンにおいては、大ボケから小ボケの領域においては合焦点へ素早く追従すべく、応答性を優先した画像データBがAF処理回路14の入力として使用される。一方で合焦近傍においては合焦精度を優先してS/N、精度面から有利な画像データAがAF処理回路14の入力として使用される。さらに、表示・記録向けには一貫して画像データAが用いることが可能となる。 As described above, in the AF operation in the first embodiment, the image data used in the AF operation, that is, the input image data to the AF processing circuit 14 is switched depending on the degree of focus and the exposure conditions. As a result, both the responsiveness to the in-focus point and the accuracy are achieved, and the image data to be recorded as an image or a moving image displayed on the LCD 10 is not affected. Therefore, by applying the first embodiment, as shown in FIG. 13A, in a normal illuminance scene, in a region from a large blur to a small blur, a response is obtained so as to quickly follow the focal point. The prioritized image data B is used as an input to the AF processing circuit 14. While in the vicinity of the focus with priority focusing accuracy S / N, the precision surface or RaYu Convenient image data A is used as the input of the AF processing circuit 14. Furthermore, the image data A can be used consistently for display and recording.

また、図13(b)に示すように低照度シーンにおいては、応答性を優先したAF動作に適した画像データBでは露光時間が十分に確保できず被写体のコントラスト差がとりづらい状況となることがある。そのような状況を想定し、低照度シーンでは合焦度によらずAF動作、および表示・記録向けにS/Nの面から有利な画像データAが優先的に使用される。   Also, as shown in FIG. 13B, in a low-light scene, the image data B suitable for the AF operation giving priority to responsiveness cannot ensure a sufficient exposure time, and the contrast difference of the subject is difficult to take. There is. Assuming such a situation, image data A that is advantageous from the viewpoint of S / N is preferentially used for AF operation and display / recording regardless of the degree of focus in a low-light scene.

上記の通り、一定の視認性確保のため所定の解像度が要求される表示用の画像データや動画像の記録フォーマットによって規定された記録解像度が要求される記録用の画像データと、AF動作において使用される画像データを独立して生成することができる。更に、AF動作においては合焦点への応答性や合焦精度の確保などを実現するべく、ピントの状態やAF動作を実施するシーンに応じて先に述べた複数の画像データを使い分けることが可能になる。また、表示・記録用の画像に対してはAF動作で使用される画像データの切り換え等の影響が及ばないため、表示・記録画像の品質を維持することが可能となる。   As described above, display image data that requires a predetermined resolution to ensure a certain level of visibility, recording image data that requires a recording resolution defined by a moving image recording format, and AF operation Image data to be generated can be generated independently. Furthermore, in the AF operation, the above-mentioned multiple image data can be used properly according to the focus state and the scene where the AF operation is performed, in order to ensure responsiveness to the in-focus point and ensuring the focusing accuracy. become. In addition, since the display / recording image is not affected by the switching of the image data used in the AF operation, the quality of the display / recorded image can be maintained.

<第2の実施形態>
次に、本発明の第2の実施形態について説明する。入力選択処理に関して、上述した第1の実施形態では露出条件と合焦度からAF動作で使用する画像データを決定する例を示したが、入力画像データの選択条件はこれらに限ったものではない。第2の実施形態では、入力選択処理における他の選択条件の例を示す。なお、撮像装置1の構成、及び、微小駆動動作用入力選択処理を除く処理は第1の実施形態と同様であるため説明は省略する。第2の実施形態では微小駆動用入力選択処理に他の選択条件を組み込んだ例を示す。
<Second Embodiment>
Next, a second embodiment of the present invention will be described. Regarding the input selection process, in the first embodiment described above, the example in which the image data used in the AF operation is determined from the exposure condition and the degree of focus has been described. However, the selection condition of the input image data is not limited to these. . In the second embodiment, an example of another selection condition in the input selection process is shown. Note that the configuration of the imaging device 1 and the processing other than the micro-driving operation input selection processing are the same as those in the first embodiment, and a description thereof will be omitted. The second embodiment shows an example in which other selection conditions are incorporated in the micro-drive input selection process.

1.被写体距離を考慮した入力選択処理
図12のS1203からS1207にて実施している合焦度による入力選択の条件に関して被写体距離を考慮して拡張する例について説明する。具体的には図14に示すようにAF動作の測距対象の距離の範囲(以下、「測距範囲」と呼ぶ。)を切り替えることが可能な構成において、その測距範囲の設定を加味した形でAF処理回路14への入力画像データの選択条件を切り替える。
1. Input Selection Processing Considering Subject Distance An example of expanding the input selection conditions based on the degree of focus performed in S1203 to S1207 in FIG. 12 in consideration of the subject distance will be described. Specifically, as shown in FIG. 14, in the configuration capable of switching the distance range (hereinafter referred to as “distance range”) of the distance object for AF operation, the setting of the distance range is taken into account. The selection condition of the input image data to the AF processing circuit 14 is switched in the form.

第2の実施形態では、以下の3つの設定が可能な場合を想定している。より遠い被写体に対して効率良くAF動作させるための遠景設定、より近い被写体に対して効率良くAF動作させるためのマクロ設定、多くのシーンで常用するであろう被写体に対して効率良くAF動作させるための通常設定の3つの設定である。図14(b)は3つの測距範囲と、フォーカスレンズ群3のスキャン範囲との関係を示している。スキャン範囲の広さは、
マクロ > 通常 > 遠景
となるように設定されるものとし、この関係を前提としてAF処理回路14への入力画像の選択条件がどのように変化するかを示したのが図14(a)である。
In the second embodiment, it is assumed that the following three settings are possible. Distant view setting for efficient AF operation for farther subjects, macro setting for efficient AF operation for closer subjects, and efficient AF operation for subjects that will normally be used in many scenes There are three normal settings for this. FIG. 14B shows the relationship between the three distance measuring ranges and the scan range of the focus lens group 3. The width of the scan range is
FIG. 14 (a) shows how the selection condition of the input image to the AF processing circuit 14 changes on the assumption that the macro>normal> distant view is set. .

図14(a)は、合焦度と測距範囲との組み合わせに基づいて選択される入力画像データを示す表であり、合焦度と測距範囲の2つの要素から入力画像データを決定する。スキャン範囲が広いマクロ設定ほど応答性を重視した画像データBの使用頻度が高まるように合焦度の閾値を設定する。一方で、スキャン範囲が狭い遠景設定では応答性よりも合焦精度を重視し、画像データAの使用頻度が高まるように合焦度の閾値を設定する。またマクロ、遠景設定の中間に位置する通常設定では、両者の中間的な合焦度の閾値を設定する。このように、スキャン範囲が広い程、画像データBが選択される合焦度の閾値を大きくする。   FIG. 14A is a table showing the input image data selected based on the combination of the focus degree and the distance measurement range, and the input image data is determined from the two elements of the focus degree and the distance measurement range. . The focus level threshold is set so that the macro setting with a wider scan range increases the frequency of use of the image data B that emphasizes responsiveness. On the other hand, in a distant view setting with a narrow scan range, focus accuracy is more important than responsiveness, and a focus degree threshold value is set so that the use frequency of the image data A is increased. Further, in the normal setting located between the macro and the distant view setting, a threshold value of the intermediate focus degree between the two is set. Thus, the greater the scan range, the larger the focus degree threshold at which the image data B is selected.

そして、図12のS1205の第2の切り替え条件として、以下の3つのいずれかに該当するかどうかを判断する。S1203で取得した合焦度がαより大きく且つ測距範囲がマクロであること、または、合焦度がβより大きく且つ測距範囲が通常であること、または、合焦度がγより大きく且つ測距範囲が遠景であることである。第2の切り替え条件を満たす場合には画像データAを設定し、満たさない場合には画像データBを設定する。   And it is judged whether it corresponds to either of the following three as 2nd switching conditions of S1205 of FIG. The degree of focus acquired in S1203 is greater than α and the distance measurement range is macro, or the focus degree is greater than β and the distance measurement range is normal, or the focus degree is greater than γ and The distance measurement range is a distant view. If the second switching condition is satisfied, the image data A is set, and if not, the image data B is set.

このように測距範囲と合焦度の組み合わせでAF処理回路14への入力画像データの選択を行うことにより、表示・記録画像の品位を維持し、合焦点への応答性や合焦精度を確保することに加えて、より効率良くAF動作を実施することができる。これにより、合焦近傍に収束している頻度を向上させることが可能となる。   Thus, by selecting the input image data to the AF processing circuit 14 based on the combination of the distance measurement range and the focus level, the quality of the displayed / recorded image is maintained, and the responsiveness to the focus and the focus accuracy are improved. In addition to ensuring, the AF operation can be performed more efficiently. Thereby, it is possible to improve the frequency of convergence in the vicinity of the in-focus state.

また、第2の実施形態では測距範囲の設定の切り替わりに着目したが、予めスキャン範囲そのものが特定可能な構成であれば、測距範囲設定ではなくスキャン範囲の広さを入力する画像データの切り替え条件として利用することも考えられる。   In the second embodiment, attention is paid to switching of the setting of the distance measurement range. However, if the scan range itself can be specified in advance, the image data to be input is not the distance measurement range setting but the width of the scan range. It can also be used as a switching condition.

2.焦点距離を考慮した入力選択処理
次に、図12のS1203からS1207にて実施している合焦度による入力選択の条件に関して焦点距離を考慮して拡張する例を示す。具体的には図15に示すようにAF動作の焦点距離が変更可能な構成において、その焦点距離の違いに起因して生じるフォーカスレンズ群3のスキャン範囲を加味した形でAF処理回路14への入力画像データの選択条件を切り替える。
2. Input Selection Processing Considering Focal Length Next, an example in which the input selection condition based on the degree of focus performed in S1203 to S1207 in FIG. Specifically, as shown in FIG. 15, in the configuration in which the focal length of the AF operation can be changed, the AF processing circuit 14 is supplied to the AF processing circuit 14 in a form that takes into account the scanning range of the focus lens group 3 caused by the difference in focal length. Switches the selection conditions for input image data.

第2の実施形態では、ズームレンズ群2を望遠側のTele、中間のMidle、広角側のWideの3つの焦点距離で停止可能な場合の例を示す。それぞれのズームレンズ群2の停止位置とフォーカスレンズ群3のスキャン範囲の関係を示したものが図15(b)である。ズームレンズ群2が望遠側、中間、広角側にある場合のフォーカスレンズ群3のスキャン範囲をそれぞれ可動域、可動域、可動域とすると、
可動域 > 可動域 > 可動域
となるように設定されるものとし、この関係を前提としてAF処理回路14への入力画像の選択条件がどのように変化するかを示したのが図15(a)である。
In the second embodiment, an example is shown in which the zoom lens group 2 can be stopped at three focal lengths: telephoto side tele, intermediate midle, and wide angle side wide. FIG. 15B shows the relationship between the stop position of each zoom lens group 2 and the scan range of the focus lens group 3. When the scanning range of the focus lens group 3 when the zoom lens group 2 is on the telephoto side, the intermediate side, and the wide-angle side is a movable range T 1 , a movable range M 1 , and a movable range W , respectively,
Range of motion T > Range of motion M > Range of motion W
FIG. 15A shows how the selection condition of the input image to the AF processing circuit 14 changes on the assumption of this relationship.

図15(a)は、合焦度と焦点距離との組み合わせに基づいて選択される入力画像データを示す表であり、合焦度と焦点距離の2つの要素から入力画像データを決定する。スキャン範囲が広い望遠側のTeleほど応答性を重視した画像データBの使用頻度が高まるように合焦度の閾値を設定する。一方で、フォーカスレンズ群3のスキャン範囲が狭い広角側のWideでは応答性よりも合焦精度を重視し、画像データAの使用頻度が高まるように合焦度の閾値を設定する。またTele、Wideの中間に位置するMidleでは、両者の中間的な合焦度の閾値を設定する。このように、スキャン範囲が広い程、画像データBが選択される合焦度の閾値を大きくする。 FIG. 15A is a table showing the input image data selected based on the combination of the degree of focus and the focal length, and the input image data is determined from the two elements of the degree of focus and the focal length. The focus level threshold is set so that the telephoto side Tele with a wider scan range increases the frequency of use of the image data B that emphasizes responsiveness. On the other hand, in the wide-angle side Wide where the scan range of the focus lens group 3 is narrow, focus accuracy is more important than responsiveness, and a focus degree threshold is set so that the frequency of use of the image data A is increased. In the middle position between Tele and Wide, an intermediate focus degree threshold value is set. Thus, the greater the scan range, the larger the focus degree threshold at which the image data B is selected.

そして、図12のS1205の第2の切り替え条件として、以下の3つのいずれかに該当するかどうかを判断する。S1203で取得した合焦度がαより大きく且つ焦点距離がTeleであること、または、合焦度がβより大きく且つ焦点距離がMidleであること、または、合焦度がγより大きく且つ焦点距離がWideであることである。第2の切り替え条件を満たす場合には画像データAを設定し、満たさない場合には画像データBを設定する。   And it is judged whether it corresponds to either of the following three as 2nd switching conditions of S1205 of FIG. The in-focus degree acquired in S1203 is greater than α and the focal length is Tele, or the in-focus degree is greater than β and the focal length is Middle, or the in-focus degree is greater than γ and the focal length. Is Wide. If the second switching condition is satisfied, the image data A is set, and if not, the image data B is set.

このように焦点距離と合焦度の組み合わせでAF処理回路14への入力画像データの選択を行うことにより、表示・記録画像の品位を維持し、合焦点への応答性や合焦精度の確保することに加えて、より効率良くAF動作を実施することができる。これにより、合焦近傍に収束している頻度を向上させることが可能となる。   Thus, by selecting the input image data to the AF processing circuit 14 based on the combination of the focal length and the degree of focus, the quality of the displayed / recorded image is maintained, and the responsiveness to the focus and the focus accuracy are ensured. In addition, the AF operation can be performed more efficiently. Thereby, it is possible to improve the frequency of convergence in the vicinity of the in-focus state.

3.被写体を考慮した入力選択処理
次に、図12のS1203からS1207にて実施している合焦度による入力選択の条件に関して被写体を考慮して拡張する例を示す。具体的には図16に示すように被写体の違いをAF動作に反映すべく、AF領域の設定に応じてAF処理回路14への入力画像データの選択条件を切り替える。
3. Input Selection Processing Considering Subject Next, an example in which the subject is considered and expanded with respect to the input selection condition based on the degree of focus performed in S1203 to S1207 in FIG. Specifically, as shown in FIG. 16, in order to reflect the difference in the subject in the AF operation, the selection condition of the input image data to the AF processing circuit 14 is switched according to the setting of the AF area.

第2の実施形態では、画面中央に既定サイズのデフォルトのAF領域を設定する場合、顔検出回路36により検出された顔の領域にAF領域を設定する場合、タッチパネルや操作部材に対する操作により画面内の任意の位置にAF領域を設定する場合の例を示す。図16(b)は、デフォルトのAF領域、顔のAF領域、ユーザー選択によるAF領域の設定例をそれぞれ示している。   In the second embodiment, when a default AF area of a default size is set in the center of the screen, when an AF area is set in the face area detected by the face detection circuit 36, the operation is performed on the touch panel or the operation member. An example in which the AF area is set at an arbitrary position is shown. FIG. 16B shows a setting example of a default AF area, a face AF area, and an AF area set by user selection.

図16(a)は、合焦度と設定されたAF領域との組み合わせに基づいて選択される入力画像データを示す表であり、合焦度とAF領域の2つの要素から入力画像データを決定する。まず、画面中央のデフォルトのAF領域が設定され、且つ、合焦度がβ以下の場合にはAF処理回路14への入力画像データとして画像データBを選択し、βより大きい場合には画像データAを選択する。一方で、検出された顔にAF領域を設定する場合には合焦度がα以下の場合にはAF処理回路14への入力画像データとして画像データBを選択し、αより大きい場合には画像データAを選択する。なお、ユーザー選択によるAF領域を設定する場合も、本実施形態においては顔にAF領域を設定する場合と同様の基準とする。   FIG. 16A is a table showing the input image data selected based on the combination of the focus level and the set AF area, and the input image data is determined from the two elements of the focus level and the AF area. To do. First, when the default AF area at the center of the screen is set and the degree of focus is β or less, the image data B is selected as input image data to the AF processing circuit 14, and when it is larger than β, the image data Select A. On the other hand, when the AF area is set for the detected face, the image data B is selected as input image data to the AF processing circuit 14 when the degree of focus is α or less, and when it is larger than α, the image is selected. Select data A. Note that when the AF area is set by user selection, the same reference is used in this embodiment as when the AF area is set for the face.

即ち、図12のS1205の第2の切り替え条件として、以下の2つのいずれかに該当するかどうかを判断する。S1203で取得した合焦度がαより大きく且つ設定されたAF領域がデフォルトのAF領域であること、または、合焦度がβより大きく且つ設定されたAF領域が顔のAF領域またはユーザー選択によるAF領域であることである。第2の切り替え条件を満たす場合には画像データAを設定し、満たさない場合には画像データBを設定する。   That is, it is determined whether or not any of the following two conditions is satisfied as the second switching condition in S1205 of FIG. The focus area acquired in S1203 is greater than α and the set AF area is the default AF area, or the AF area set with the focus degree greater than β is determined by the face AF area or user selection This is an AF area. If the second switching condition is satisfied, the image data A is set, and if not, the image data B is set.

このように、何らかの検出手段により優先順位の高い被写体に対してAF領域が設定される場合や、ユーザー選択など撮影者の明確な意思表示がなされた場合などはフォルトの選択条件に対してより応答性を重視した設定となるように閾値を設定する。 Thus, and if the AF area is set for high priority subject by any detection means, than the selected conditions of default such as when a clear intention of the user selection, such as the photographer has been made The threshold value is set so that the response is set to be important.

このようにAF領域と合焦度の組み合わせでAF処理回路14への入力画像データの選択を行うことにより、表示・記録画像の品位を維持し、合焦点への応答性や合焦精度の確保することに加えて、より効率良くAF動作を実施することができる。これにより、合焦近傍に収束している頻度を向上させることが可能となる。   Thus, by selecting the input image data to the AF processing circuit 14 based on the combination of the AF area and the focusing degree, the quality of the display / recorded image is maintained, and the responsiveness to the focusing point and the focusing accuracy are ensured. In addition, the AF operation can be performed more efficiently. Thereby, it is possible to improve the frequency of convergence in the vicinity of the in-focus state.

上記の通り第2の実施形態によれば、第1の実施形態と同様の効果に加え、画像データを選択する際の条件を、カメラの状態や設定に応じて細分化することで、より効率的にAF動作を実施することが可能となる。   As described above, according to the second embodiment, in addition to the same effects as those of the first embodiment, the conditions for selecting image data are subdivided according to the state and settings of the camera, thereby further improving the efficiency. Thus, the AF operation can be performed.

<第3の実施形態>
上記第1及び第2の実施形態では、主に撮像装置1もしくは被写体の動きが安定したシーンにおいて表示・記録を両立させる例を示してきた。しかしながら、静止画や動画を撮影する場合は必ずしも安定したシーンばかりではない。たとえば、動く被写体を適切な画角となるように撮影者が被写体を追いかけて撮影する場合や、撮像装置1は安定した状態であって被写体が動いている場合などがあり得る。そのような場合、変化し続ける被写体に応じて、応答性良くAF動作が実施されることが望ましい。
<Third Embodiment>
In the first and second embodiments, an example has been shown in which both display and recording are performed mainly in the imaging apparatus 1 or a scene where the movement of the subject is stable. However, when shooting still images and moving images, the scene is not always stable. For example, there may be a case where the photographer follows the subject so that the moving subject has an appropriate angle of view and the imaging apparatus 1 is in a stable state and the subject is moving. In such a case, it is desirable that the AF operation be performed with good responsiveness according to the subject that continues to change.

そこで、上記のような撮像装置1もしくは被写体の状態が安定しない場合に本発明を適用することで、表示・記録の品位を維持しながらAF動作をそのシーンに合わせてより効率的に動作させることが可能である。以降では本発明を適用した場合の例を示す。なお、第3の実施形態は、撮像装置1の構成、及び、入力選択処理を除く処理は第1の実施形態と同様であるため説明は省略する。   Therefore, by applying the present invention when the state of the imaging apparatus 1 or the subject as described above is not stable, the AF operation can be operated more efficiently according to the scene while maintaining the display / recording quality. Is possible. Hereinafter, an example in which the present invention is applied will be described. Note that in the third embodiment, the configuration of the imaging apparatus 1 and the processes other than the input selection process are the same as those in the first embodiment, and a description thereof will be omitted.

1.撮像装置の安定状態に応じた入力選択処理
撮像装置1の安定状態を判断する手段として、図1の振れ検出センサー35及び振れ検出回路34を利用することができる。振れ検出回路34からはPitch方向、Yaw方向の角速度情報(以下、「ジャイロ情報」と呼ぶ。)が取得可能で、これらの情報をもとに撮像装置1がおかれている状況を判断することが可能である。
1. Input Selection Processing According to the Stable State of the Imaging Device As a means for determining the stable state of the imaging device 1, the shake detection sensor 35 and the shake detection circuit 34 of FIG. 1 can be used. Angular velocity information in the pitch direction and yaw direction (hereinafter referred to as “gyro information”) can be acquired from the shake detection circuit 34, and the situation in which the imaging apparatus 1 is placed is determined based on these information. Is possible.

図17は、表示・記録用の画像データ、及び、AF処理回路への入力画像データとジャイロ情報の関係を示している。例えばジャイロ情報のうち、Yaw方向の速度情報の絶対値を算出すると、安定時とYaw方向へのパンニング時では図17の上図に示すような変化が生じる。図中の閾値Gのように変化を検出するための閾値を設定し、ジャイロ情報が閾値より大きければ不安定と判断し、閾値以下であれば安定と判断する。Pitch方向も同様である。また、Pitch、Yawなどの方向によらず全ての速度情報を加算し、絶対値を算出することで安定/不安定の2つの状態を判別する方法も考えられる。このようにジャイロ情報を利用し、カメラが安定した時には第1及び第2の実施形態で示した入力選択処理を実施する一方で、カメラが不安定な時には応答性を重視し、AF動作に適した画像データBを用いることが可能となる。 FIG. 17 shows the relationship between the image data for display / recording, the input image data to the AF processing circuit, and the gyro information. For example of the gyro information, calculating the absolute value of the Yaw direction angular velocity information, change as shown in the upper diagram of FIG. 17 is a panning to stable state and Yaw direction is generated. A threshold for detecting a change is set like a threshold G in the figure, and if the gyro information is larger than the threshold, it is determined to be unstable, and if it is equal to or less than the threshold, it is determined to be stable. The same applies to the Pitch direction. Further, Pitch, adds all corners velocity information regardless of the direction of such Yaw, a method for discriminating two states of stable / unstable by calculating the absolute value is also conceivable. In this way, the gyro information is used, and when the camera is stable, the input selection process shown in the first and second embodiments is performed. On the other hand, when the camera is unstable, the responsiveness is emphasized and suitable for the AF operation. The image data B can be used.

図19は、第3の実施形態における微小駆動用入力選択処理を示すフローチャートである。なお、図12における処理と同様の処理には同じ参照番号を付し、適宜説明を省略する。   FIG. 19 is a flowchart showing the micro-drive input selection process in the third embodiment. In addition, the same reference number is attached | subjected to the process similar to the process in FIG. 12, and description is abbreviate | omitted suitably.

S1202において、S1201で取得した露出条件よりAF処理回路14への入力画像データの第1の入力切り替え条件が成立したか否かを判断する。ここでは、AE処理回路13により得られたAE評価値に基づいて、被写体の明るさが一定の明るさより暗いかどうかを判断する。第1の入力切り替え条件が成立しない場合にはS1901に進む。   In step S1202, it is determined whether the first input switching condition for the input image data to the AF processing circuit 14 is satisfied based on the exposure condition acquired in step S1201. Here, based on the AE evaluation value obtained by the AE processing circuit 13, it is determined whether or not the brightness of the subject is darker than a certain brightness. If the first input switching condition is not satisfied, the process proceeds to S1901.

S1901ではシーン判定情報の算出を行う。ここでは先に述べたジャイロ情報による安定/不安定の判定が該当する。S1902ではS1901の結果をもとに、第3の入力切り替え条件が成立したか否かを判断する。S1902にて不安定な状態であると判断された場合にはS1903に進み、入力選択回路37を制御し、AF処理回路14への入力をAF動作の応答性を重視した画像データBに設定する。一方で、S1902でシーンが安定していると判断される場合にはS1203に進む。このように、シーンが安定していると判定された場合には、第1または第2の実施形態で説明した処理を行う。   In S1901, scene determination information is calculated. Here, the determination of stability / instability based on the gyro information described above is applicable. In S1902, it is determined based on the result of S1901 whether or not the third input switching condition is satisfied. If it is determined in S1902 that the state is unstable, the process proceeds to S1903, the input selection circuit 37 is controlled, and the input to the AF processing circuit 14 is set to the image data B that emphasizes the responsiveness of the AF operation. . On the other hand, if it is determined in S1902 that the scene is stable, the process proceeds to S1203. As described above, when it is determined that the scene is stable, the processing described in the first or second embodiment is performed.

このように、露出条件、合焦度、そしてカメラの安定状態判定の結果に応じてAF動作に適した画像データを適時選択することが可能となる。一方で、表示・記録の画像データに関してはAF動作で用いる画像データとは独立して設定可能であるため、表示・記録のための画像の品位を低下させることがない。   As described above, it is possible to select image data suitable for the AF operation in a timely manner according to the exposure condition, the degree of focus, and the result of the camera stable state determination. On the other hand, the display / recording image data can be set independently of the image data used in the AF operation, so that the quality of the image for display / recording is not deteriorated.

2.被写体の安定状態に応じた入力選択処理
被写体の安定状態を判断する手段として、図1の顔検出回路36を利用することができる。顔検出回路36からは画面上の顔の位置や大きさなどの顔検出情報が取得可能であり、これらの情報をもとに被写体、特に顔の変化状況を判断することが可能である。
2. Input Selection Processing According to Subject Stability State The face detection circuit 36 of FIG. 1 can be used as means for determining the subject stability state. Face detection information such as the position and size of the face on the screen can be acquired from the face detection circuit 36, and it is possible to determine the state of change of the subject, particularly the face, based on such information.

図18は表示・記録用の画像データ、及び、AF処理回路への入力画像データと検出された顔の変化状況の関係を示している。図18(a)は(1)から(3)の順で被写体である顔の変化を示している。具体的には、(1)では顔の検出されている位置、サイズともに変化していない場合を示している。(2)では顔がカメラに近づくことにより位置、サイズともに変化している場合を示している。(3)では画面上から顔がいなくなった場合を示している。   FIG. 18 shows the relationship between the image data for display / recording, the input image data to the AF processing circuit, and the detected face change state. FIG. 18A shows the change of the face as the subject in the order of (1) to (3). Specifically, (1) shows a case where neither the detected position nor the size of the face has changed. (2) shows a case where both the position and the size are changed as the face approaches the camera. (3) shows a case where the face disappears from the screen.

図18(b)では検出した顔の変化量と表示・記録用の画像データ、AF処理回路への入力画像データの関係を示している。顔の変化量の算出は、たとえば、所定フレーム間で検出された顔の位置とサイズの差分を算出し、それをもとに算出する方法が考えられる。図中の閾値Fのように変化を検出するための閾値を設定することで、被写体が安定している状況と変化している状況を判断することが可能である。なお、変化量の算出は検出された顔のサイズ、位置のみでも良いし、両方を加味したものでもよい。また、顔検出の結果は被写体がカメラの方向を常に向いている場合は安定して検出されが、横を向いたりや後ろを振り返ったりした場合は検出されなくなる可能性がある。従って、検出、非検出の頻度をもとに被写体の安定状態、変化状態を判別する構成としてもよい。   FIG. 18B shows the relationship between the detected face change amount, display / recording image data, and input image data to the AF processing circuit. For example, the face change amount may be calculated by calculating a difference between the position and size of a face detected between predetermined frames, and calculating the difference. By setting a threshold for detecting a change like the threshold F in the figure, it is possible to determine a situation where the subject is stable and a situation where the subject is changing. Note that the amount of change may be calculated using only the size and position of the detected face, or a combination of both. The face detection result may be stably detected when the subject is always facing the camera, but may not be detected when the subject is looking sideways or looking back. Therefore, a configuration may be adopted in which the stable state and the change state of the subject are discriminated based on the detection and non-detection frequencies.

このように顔検出情報を利用し、被写体が安定している場合には上述した第1及び第2の実施形態で示した入力選択処理を実施する一方で、被写体が変化している場合には応答性を重視し、AF動作に適した画像データBを用いることが可能となる。   In this way, when face detection information is used and the subject is stable, the input selection process shown in the first and second embodiments described above is performed, while when the subject changes. It is possible to use image data B suitable for AF operation with emphasis on responsiveness.

被写体の安定状態に応じた入力選択処理においても、上述した図19で示したフローチャートの処理手順が適用可能で、S1901における第3の入力切り替え条件として、上記に示した顔検出結果を用いることで実現可能である。このように、露出条件、合焦度、そして被写体の安定状態判定の結果に応じてAF動作に適した画像データを適時選択することが可能となる。   In the input selection process according to the stable state of the subject, the processing procedure of the flowchart shown in FIG. 19 can be applied, and the face detection result shown above is used as the third input switching condition in S1901. It is feasible. As described above, it is possible to select image data suitable for the AF operation in a timely manner according to the exposure condition, the degree of focus, and the result of the stable state determination of the subject.

一方で、表示・記録の画像データに関してはAF動作で用いる画像データとは独立して設定可能であるため、表示・記録のための画像の品位を低下させることがない。   On the other hand, the display / recording image data can be set independently of the image data used in the AF operation, so that the quality of the image for display / recording is not deteriorated.

<変形例>
本変形例では、変化に応じた画像データBのフレームレートを変更する例について説明する。
<Modification>
In this modification, an example in which the frame rate of the image data B is changed according to the change will be described.

第3の実施形態では、ジャイロ情報及び顔検出情報を用いて変化量を算出し、カメラ、及び被写体の安定、不安定を判断する例を説明した。安定/不安定の判断は閾値G、Fのように所定の閾値を設定して2つの状態を判別したが、本発明はこの方法に限定されるものではない。図20(a)(b)(c)に示すように変化量のレベルに応じてAF処理回路14への入力画像データをさらに切り替える方法も考えられる。具体的には、応答性を重視した画像データBに関して、第1の実施形態では60分の1秒を長秒時側の限度としたが、これをさらに短くした画像データC、画像データDを用意し、AF処理回路14への入力として設定するような構成とすることが可能である。この場合、画像データB、画像データC、画像データDの順でフレームレートが速くなり、AF動作時の応答性が向上する。   In the third embodiment, the example in which the change amount is calculated using the gyro information and the face detection information to determine whether the camera and the subject are stable or unstable has been described. In the determination of stability / unstableness, a predetermined threshold value is set as the threshold values G and F and the two states are discriminated. However, the present invention is not limited to this method. As shown in FIGS. 20A, 20B, and 20C, a method of further switching the input image data to the AF processing circuit 14 in accordance with the level of change is also conceivable. Specifically, with respect to the image data B that emphasizes responsiveness, in the first embodiment, 1/60 second is set as the limit on the long time side, but the image data C and the image data D are further shortened. It is possible to prepare and set as an input to the AF processing circuit 14. In this case, the frame rate increases in the order of image data B, image data C, and image data D, and the responsiveness during AF operation is improved.

たとえば、図20(a)に示すように変化量が閾値F1からF2までの間で推移する場合は、画像データBがAF処理回路14の入力画像データとして選択される。図20(b)は、図20(a)よりも変化が大きい場合の例を示している。この場合、変化量は閾値F1からF2の間及びF2からF3の間で推移する場合がある。この場合、閾値F1からF2の間で推移する場合は画像データB、閾値F2からF3の間で推移する場合は画像データCがAF処理回路14の入力画像データとして選択される。図20(c)は、図20(b)よりもさらに変化が大きい場合の例を示している。図20(b)の場合に加え、さらに閾値F3以上の場合は画像データがAF処理回路14の入力画像データとして選択される。 For example, as shown in FIG. 20A, when the change amount changes between the threshold values F1 and F2, the image data B is selected as the input image data of the AF processing circuit 14. FIG. 20B shows an example in which the change is larger than that in FIG. In this case, the change amount may change between the threshold values F1 and F2 and between F2 and F3. In this case, image data B is selected as input image data of the AF processing circuit 14 when transitioning between the threshold values F1 and F2, and image data C is selected when transitioning between the threshold values F2 and F3. FIG.20 (c) has shown the example in case a change is further larger than FIG.20 (b). In addition to the case of FIG. 20B, the image data D is selected as the input image data of the AF processing circuit 14 when the threshold value is F3 or more.

つまり、変化量に対して状態を特定するための閾値を細分化し、その変化量に応じてAF動作で使用する画像データを適時選択することにより、効率よくAF動作を実行することが可能となる。すなわち、変化の大きい状態ほどフレームレートの速い画像データを選択することで応答性を向上させることが可能となる。   That is, it is possible to efficiently execute the AF operation by subdividing the threshold value for specifying the state with respect to the change amount, and selecting the image data to be used in the AF operation according to the change amount in a timely manner. . That is, it is possible to improve responsiveness by selecting image data having a higher frame rate in a state where the change is larger.

このように、露出条件、合焦度、そして被写体の安定状態判定の結果および安定状態の度合いに応じたフレームレートの制御を行うことでAF動作に適した画像データを適時選択することが可能となる。一方で、表示・記録の画像データに関してはAF動作で用いる画像データとは独立して設定可能であるため、表示・記録のための画像の品位を低下させることがない。   As described above, by controlling the frame rate according to the exposure condition, the degree of focus, the result of determination of the stable state of the subject, and the degree of the stable state, it is possible to select image data suitable for the AF operation in a timely manner. Become. On the other hand, the display / recording image data can be set independently of the image data used in the AF operation, so that the quality of the image for display / recording is not deteriorated.

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。   Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included.

例えば、上述した各実施形態では単一のAF処理回路14に対して入力選択回路37を制御し、画像データA、Bを排他的に使用する例を示してきたが、本発明はこれに限定されるものではない。別の実現形態として、例えばAF処理回路14を画像データA、Bそれぞれに対して用意し、入力選択回路37で入力を切り替える代わりに、両方の画像データに対するAF評価値を生成し、CPU15にて合焦点特定の演算時に両者を使い分ける構成でもよい。その場合、例えば、第1の実施形態で示した低照度時のように明示的に片側の出力のみしか使用しないことが分かっている場合は、使用しない方のAF処理回路に対する電源供給を停止することも可能で、電力消費の低減を図ることが可能である。また、同時に複数の出力が得られることから、例えば合焦近傍にて両方の出力が使用可能な条件である場合は画像データA、B両方の出力の変化を合焦点の検出に用いる等の方法も考えられる。このように上述の実施形態の一部を適宜組み合わせてもよい。   For example, in each of the above-described embodiments, an example in which the input selection circuit 37 is controlled with respect to a single AF processing circuit 14 and the image data A and B are used exclusively has been shown, but the present invention is not limited to this. Is not to be done. As another implementation, for example, the AF processing circuit 14 is prepared for each of the image data A and B, and instead of switching the input by the input selection circuit 37, AF evaluation values for both image data are generated, and the CPU 15 A configuration may be used in which both are used in the calculation of the in-focus point. In that case, for example, when it is known that only the output on one side is explicitly used as in the low illuminance shown in the first embodiment, the power supply to the unused AF processing circuit is stopped. It is also possible to reduce power consumption. Further, since a plurality of outputs can be obtained at the same time, for example, in a condition where both outputs can be used in the vicinity of the in-focus state, a method of using a change in the output of both the image data A and B for detecting the in-focus point, Is also possible. As described above, a part of the above-described embodiments may be appropriately combined.

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (13)

複数の異なる領域ごとに、互いに異なる周期で、前記複数の異なる領域からの読み出しを並行に制御することが可能な撮像素子と、
測光手段と、
前記複数の異なる領域のうち、第1の領域から第1の周期で読み出された第1の画像信号と、前記第1の周期よりも短い第2の周期で第2の領域から読み出された第2の画像信号のうち、いずれかを選択する選択手段と、
前記選択手段により選択された画像信号に基づいて、合焦度を検出する検出手段と、
前記検出手段により検出された合焦度に基づいて、前記撮像素子に被写体からの光を結像するための撮像光学系に含まれるフォーカスレンズを制御する焦点調節手段とを有し、
前記第1の画像信号を、表示手段への表示及び記憶媒体への記憶の少なくともいずれかに用い
前記測光手段による測光の結果、被写体が予め決められた第1の閾値よりも暗い場合、前記選択手段は前記第1の画像信号を選択し、前記検出手段は当該選択された前記第1の画像信号の合焦度を検出し、
前記測光の結果、前記被写体が前記第1の閾値よりも暗くない場合、前記検出手段は前記選択手段により前回選択された前記第1の画像信号または前記第2の画像信号の合焦度を検出し、前記選択手段は当該合焦度が予め決められた第2の閾値より高ければ前記第1の画像信号を選択し、前記第2の閾値以下であれば前記第2の画像信号を選択し、前記検出手段は当該選択された前記第1の画像信号または前記第2の画像信号の合焦度を再度検出することを特徴とする撮像装置。
An imaging element capable of controlling readout from the plurality of different regions in parallel with each other at a different period for each of a plurality of different regions;
Photometric means;
Of the plurality of different areas, the first image signal read from the first area in the first period and the second image area read out from the second area in a second period shorter than the first period. among the second image signals, selection means for selecting have Zureka,
Detection means for detecting the degree of focus based on the image signal selected by the selection means;
A focus adjusting unit that controls a focus lens included in an imaging optical system for imaging light from a subject on the imaging element based on the degree of focus detected by the detection unit;
The first image signal is used for at least one of display on a display means and storage on a storage medium ,
As a result of photometry by the photometry means, if the subject is darker than a predetermined first threshold value, the selection means selects the first image signal, and the detection means selects the selected first image. Detect the degree of focus of the signal,
If the subject is not darker than the first threshold as a result of the photometry, the detection means detects the degree of focus of the first image signal or the second image signal previously selected by the selection means. The selection means selects the first image signal if the degree of focus is higher than a predetermined second threshold value, and selects the second image signal if the degree of focus is less than the second threshold value. , the detecting device imaging apparatus characterized that you detect the degree of focus of the selected first image signal or the second image signal again.
前記第1の領域は、前記測光手段による測光の結果に基づく電荷蓄積時間で制御されることを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the first region is controlled by a charge accumulation time based on a result of photometry by the photometry unit. 前記第2の領域は、前記第1の領域よりも短い電荷蓄積時間で制御されることを特徴とする請求項1または2に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the second area is controlled with a shorter charge accumulation time than the first area. 前記合焦度は、前記選択手段により選択された画像信号のコントラストに基づいて検出されることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the degree of focus is detected based on a contrast of an image signal selected by the selection unit. 前記検出手段により検出を行う際に、前記フォーカスレンズの駆動範囲を取得する手段を更に有し、
前記駆動範囲が広い程、前記第2の閾値をより大きくすることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
A means for obtaining a drive range of the focus lens when performing detection by the detection means;
Wherein as the driving range is wide, an imaging apparatus according to any one of claims 1 to 4, characterized in that a larger second threshold value.
フォーカスレンズの駆動範囲を切り替える手段を更に有することを特徴とする請求項に記載の撮像装置。 The imaging apparatus according to claim 5 , further comprising means for switching a driving range of the focus lens. 前記撮像素子に被写体からの光を結像するための撮像光学系の焦点距離を変更する手段を更に有し、
前記焦点距離が長い程、前記第2の閾値をより大きくすることを特徴とする請求項乃至のいずれか1項に記載の撮像装置。
Means for changing a focal length of an imaging optical system for imaging light from a subject on the imaging element;
The focal distance is longer, the imaging apparatus according to any one of claims 1 to 6, characterized in that a larger second threshold value.
被写体を検出する被写体検出手段を更に有し、
合焦させる領域として、前記被写体検出手段により検出された被写体の領域が設定された場合に、予め決められた領域が設定された場合よりも、前記第2の閾値を大きくすることを特徴とする請求項乃至のいずれか1項に記載の撮像装置。
It further has subject detection means for detecting a subject,
When the area of the subject detected by the subject detection unit is set as the area to be focused, the second threshold value is made larger than when a predetermined area is set. the imaging apparatus according to any one of claims 1 to 7.
合焦させる領域を指定する指定手段を更に有し、
前記指定手段により前記合焦させる領域が指定された場合に、予め決められた領域が設定された場合よりも、前記第2の閾値を大きくすることを特徴とする請求項乃至のいずれか1項に記載の撮像装置。
A designating unit for designating a region to be focused;
If the area causing the focus is designated by the designation unit, than if the predetermined area is set, any one of claims 1 to 8, characterized in that to increase the second threshold The imaging apparatus according to item 1.
前記第1の領域は、前記第2の領域よりも大きいことを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。 It said first region, the imaging apparatus according to any one of claims 1 to 9, greater than said second region. 複数の異なる領域ごとに、互いに異なる周期で、前記複数の異なる領域からの読み出しを並行に制御することが可能な撮像素子を有する撮像装置の制御方法であって、
測光工程と、
読み出し手段が、前記複数の異なる領域のうち、第1の領域を制御して第1の周期で第1の画像信号を読み出し、前記第1の周期よりも短い第2の周期で第2の領域を制御して第2の画像信号を読み出す読み出し工程と、
選択手段が、前記第1の画像信号と前記第2の画像信号のいずれかを選択する選択工程と、
検出手段が、前記選択工程で選択された画像信号に基づいて、合焦度を検出する検出工程と、
焦点調節手段が、前記検出工程で検出した合焦度に基づいて、前記撮像素子に被写体からの光を結像するための撮像光学系に含まれるフォーカスレンズを制御する焦点調節工程とを有し、
前記第1の画像信号を、表示手段への表示及び記憶媒体への記憶の少なくともいずれかに用いるように制御し、
前記測光工程における測光の結果、被写体が予め決められた第1の閾値よりも暗い場合、前記選択工程において前記第1の画像信号を選択し、前記検出工程において当該選択された前記第1の画像信号の合焦度を検出し、
前記測光工程における測光の結果、前記被写体が前記第1の閾値よりも暗くない場合、前記検出工程において前回選択された前記第1の画像信号または前記第2の画像信号の合焦度を検出し、前記選択工程において当該合焦度が予め決められた第2の閾値より高ければ前記第1の画像信号を選択し、前記第2の閾値以下であれば前記第2の画像信号を選択し、再度前記検出工程において、当該選択された前記第1の画像信号または前記第2の画像信号の合焦度を検出することを特徴とする撮像装置の制御方法。
A method for controlling an imaging apparatus having an imaging element capable of controlling readout from the plurality of different regions in parallel with each other in a plurality of different regions.
Photometric process,
A reading unit controls a first area among the plurality of different areas to read out the first image signal in a first period, and the second area in a second period shorter than the first period. A reading process of controlling the image data and reading the second image signal;
Selection means, a selection step of selecting either before Symbol first image signal and the second image signal,
A detecting step for detecting a degree of focus based on the image signal selected in the selection step;
A focus adjusting step for controlling a focus lens included in an imaging optical system for forming an image of light from a subject on the imaging element based on the degree of focus detected in the detecting step; ,
Controlling the first image signal to be used for at least one of display on a display means and storage on a storage medium ;
If the subject is darker than a predetermined first threshold as a result of photometry in the photometry step, the first image signal is selected in the selection step, and the selected first image is selected in the detection step. Detect the degree of focus of the signal,
If the subject is not darker than the first threshold as a result of the photometry in the photometry step, the degree of focus of the first image signal or the second image signal previously selected in the detection step is detected. In the selection step, the first image signal is selected if the degree of focus is higher than a predetermined second threshold, and the second image signal is selected if the degree of focus is less than or equal to the second threshold, The method for controlling the imaging apparatus, wherein in the detection step again, the degree of focus of the selected first image signal or the second image signal is detected .
コンピュータに、請求項11に記載の制御方法の各工程を実行させるためのプログラム。 The program for making a computer perform each process of the control method of Claim 11 . 請求項12に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium storing the program according to claim 12 .
JP2013216752A 2013-10-17 2013-10-17 Imaging apparatus and control method thereof Expired - Fee Related JP6420532B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013216752A JP6420532B2 (en) 2013-10-17 2013-10-17 Imaging apparatus and control method thereof
US14/516,265 US9654680B2 (en) 2013-10-17 2014-10-16 Image capturing apparatus and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013216752A JP6420532B2 (en) 2013-10-17 2013-10-17 Imaging apparatus and control method thereof

Publications (3)

Publication Number Publication Date
JP2015079157A JP2015079157A (en) 2015-04-23
JP2015079157A5 JP2015079157A5 (en) 2016-12-01
JP6420532B2 true JP6420532B2 (en) 2018-11-07

Family

ID=53010611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013216752A Expired - Fee Related JP6420532B2 (en) 2013-10-17 2013-10-17 Imaging apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP6420532B2 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289469A (en) * 2002-03-28 2003-10-10 Minolta Co Ltd Imaging apparatus
JP4928104B2 (en) * 2005-09-05 2012-05-09 キヤノン株式会社 Imaging apparatus and control method thereof
JP2007150643A (en) * 2005-11-28 2007-06-14 Sony Corp Solid state imaging element, driving method therefor, and imaging apparatus
JP2008016961A (en) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd Imaging apparatus and read control method
US7623178B2 (en) * 2006-07-28 2009-11-24 Hewlett- Packard Development Company, L.P. Focus verification in a digital imaging device
JP2008199477A (en) * 2007-02-15 2008-08-28 Matsushita Electric Ind Co Ltd Imaging apparatus
JP5762156B2 (en) * 2011-06-08 2015-08-12 キヤノン株式会社 IMAGING DEVICE, FOCUS ADJUSTMENT METHOD, AND PROGRAM
JP5460909B2 (en) * 2013-04-12 2014-04-02 キヤノン株式会社 Imaging apparatus and image processing method

Also Published As

Publication number Publication date
JP2015079157A (en) 2015-04-23

Similar Documents

Publication Publication Date Title
JP7086571B2 (en) Image pickup device, lens device and control method thereof
US9654680B2 (en) Image capturing apparatus and control method therefor
JP5543180B2 (en) Imaging apparatus, control method thereof, and program
JP2014038196A (en) Imaging device and control method therefor
JP2009198574A (en) Focusing apparatus and method for controlling the same
JP7210185B2 (en) Imaging device and its control method
JP5020643B2 (en) Imaging apparatus and control method thereof
JP5762156B2 (en) IMAGING DEVICE, FOCUS ADJUSTMENT METHOD, AND PROGRAM
JP5335408B2 (en) Focus adjustment apparatus and method
JP6139960B2 (en) Imaging apparatus and control method thereof
JP2015031726A (en) Imaging device, control method of imaging device, control program of imaging device, and recording medium
JP2015079158A (en) Image capturing device and control method therefor
JP5075110B2 (en) Focus adjustment apparatus and method
JP6851726B2 (en) Control device, image pickup device, control method, program, and storage medium
JP2013121173A (en) Imaging device
JP2014215476A (en) Imaging apparatus and method for controlling the same
JP5926757B2 (en) Automatic focusing device, automatic focusing method, and imaging device
JP6018466B2 (en) Imaging apparatus and control method thereof
JP6420532B2 (en) Imaging apparatus and control method thereof
JP6164978B2 (en) FOCUS ADJUSTMENT DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND IMAGING DEVICE
JP5017195B2 (en) Focus adjustment apparatus and method
JP5063546B2 (en) Focus adjustment device, focus adjustment control method, and program
JP6234103B2 (en) Zoom control device, control method for zoom control device, control program for zoom control device, and storage medium
JP5202292B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP5451869B2 (en) Focus adjustment apparatus and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161014

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181012

R151 Written notification of patent or utility model registration

Ref document number: 6420532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees