JP2015152742A - Imaging device and control method thereof - Google Patents

Imaging device and control method thereof Download PDF

Info

Publication number
JP2015152742A
JP2015152742A JP2014025925A JP2014025925A JP2015152742A JP 2015152742 A JP2015152742 A JP 2015152742A JP 2014025925 A JP2014025925 A JP 2014025925A JP 2014025925 A JP2014025925 A JP 2014025925A JP 2015152742 A JP2015152742 A JP 2015152742A
Authority
JP
Japan
Prior art keywords
focus
focus detection
detection area
movement amount
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014025925A
Other languages
Japanese (ja)
Inventor
英之 浜野
Hideyuki Hamano
英之 浜野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014025925A priority Critical patent/JP2015152742A/en
Priority to US14/619,765 priority patent/US20150227023A1/en
Publication of JP2015152742A publication Critical patent/JP2015152742A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To perform highly accurate focus adjustment without being affected by the movement of a subject during focus adjustment without requiring any large arithmetic load.SOLUTION: An imaging device includes: an imaging element (5); setting means (413) for setting a focus detection area (303) on the basis of an image signal output from the imaging element; calculation means (15) for calculating the moving amount of the focus detection area on the basis of two image signals output in different timings from the imaging element; control means (15) for switching a time interval to be set in the imaging element from a first time interval to a second time interval shorter than the first time interval in response to the instruction of the execution of focus adjustment processing, and for controlling the setting means not to set the focus detection area; update means for updating the position of the focus detection area on the basis of the moving amount calculated by the calculation means in response to the instruction of the execution of the focus adjustment processing; and focus adjustment means (3, 14, 15, 19) for performing focus adjustment on the basis of the image signal of the focus detection area.

Description

本発明は、撮影光学系により結像される被写体像を光電変換する撮像素子により取得される画像信号を使用して、焦点検出を行う撮像装置及びその制御方法に関するものである。   The present invention relates to an imaging apparatus that performs focus detection using an image signal acquired by an imaging element that photoelectrically converts a subject image formed by a photographing optical system, and a control method thereof.

デジタルカメラやビデオカメラにおいては、ＣＣＤやＣＭＯＳ等の撮像素子からの出力信号を利用し、被写体のコントラスト評価値に応じた信号を検出して合焦させるコントラスト検出式のオートフォーカス（以下、ＡＦ）方法が広く用いられている。この方法では、フォーカスレンズを所定の移動範囲にわたって光軸方向に移動させながら被写体のコントラスト評価値を順次検出（ＡＦスキャン動作）し、コントラスト評価値が最大となるフォーカスレンズ位置を合焦位置として検出する。   In digital cameras and video cameras, a contrast detection type autofocus (hereinafter referred to as AF) that uses an output signal from an image sensor such as a CCD or CMOS to detect and focus a signal according to a contrast evaluation value of a subject. The method is widely used. In this method, the contrast evaluation value of the subject is sequentially detected (AF scan operation) while moving the focus lens in the optical axis direction over a predetermined movement range, and the focus lens position where the contrast evaluation value is maximized is detected as the in-focus position. To do.

また、撮像素子からの出力信号を利用し、撮影範囲内に含まれる特徴量を用いて被写体の移動量を算出し、得られた移動量により焦点検出領域を設定し、ピントが合うように合焦制御を行う撮像装置が知られている。このような撮像装置によれば、撮影時の被写体の移動や撮影者の手振れなどの影響を低減しながら、合焦制御を行うことができる。   Also, using the output signal from the image sensor, the amount of movement of the subject is calculated using the feature amount included in the shooting range, the focus detection area is set based on the obtained amount of movement, and the focus is adjusted. An imaging device that performs focus control is known. According to such an imaging apparatus, it is possible to perform focusing control while reducing the influence of movement of the subject at the time of shooting and camera shake of the photographer.

特許文献１には、焦点検出領域内において水平方向と垂直方向に輝度信号の積算値を算出し、これらを特徴量として用いて焦点検出領域を設定し、焦点検出領域を被写体の移動に追尾させる方法が開示されている。これにより、より精度よく焦点検出領域の設定を行うことができる。   In Patent Document 1, the integrated value of the luminance signal is calculated in the horizontal direction and the vertical direction in the focus detection area, the focus detection area is set using these as feature amounts, and the focus detection area is tracked by the movement of the subject. A method is disclosed. Thereby, the focus detection area can be set with higher accuracy.

特開平４−３４０８７４号公報JP-A-4-340874

しかしながら、上述の特許文献１に開示されている被写***置の検出方法は、以下のような課題があった。特許文献１に開示されている行毎や列毎の輝度信号の積分値を特徴量として、被写体の移動量を検出する方法は、積分値であるがゆえに、被写体情報にローパスフィルタがかかったようになり、精度の良い検出を行えない場合があった。   However, the subject position detection method disclosed in Patent Document 1 described above has the following problems. The method of detecting the amount of movement of the subject using the integral value of the luminance signal for each row or column as disclosed in Patent Document 1 as the feature amount is an integral value, and thus it seems that a low-pass filter is applied to the subject information. Therefore, there are cases where accurate detection cannot be performed.

一方、各行や各列の輝度信号のピーク信号を特徴量として、被写体移動量を検出することも考えられる。しかしながら、輝度のピーク信号を用いた場合、飽和した際や領域内の輝度のピーク値の変化が乏しい場合には、被写体の移動量の検出精度が悪化してしまう。   On the other hand, it is also conceivable to detect the subject movement amount using the peak signal of the luminance signal in each row or column as a feature amount. However, when the luminance peak signal is used, the detection accuracy of the amount of movement of the subject deteriorates when saturation occurs or when the change in the luminance peak value in the region is scarce.

本発明は上記問題点を鑑みてなされたものであり、大きな演算負荷を必要とせずに、焦点調節中に被写体の移動に影響されない高精度な焦点調節を行うことを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to perform high-precision focus adjustment that is not affected by movement of a subject during focus adjustment without requiring a large calculation load.

上記目的を達成するために、本発明の撮像装置は、撮影光学系を介して入射した光を光電変換して、設定された時間間隔で画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号に基づいて、焦点状態を検出するために用いる領域を示す焦点検出領域を設定する設定手段と、前記撮像手段から異なるタイミングで出力された２つの画像信号に基づいて、前記焦点検出領域の移動量を算出する算出手段と、焦点調節処理の実行の指示に応じて、前記撮像手段に設定する時間間隔を、第１の時間間隔から、該第１の時間間隔よりも短い第２の時間間隔に切り替えるとともに、前記設定手段による前記焦点検出領域の設定を行わないように制御する制御手段と、前記焦点調節処理の実行の指示に応じて、前記算出手段により算出された移動量に基づいて、前記焦点検出領域の位置を更新する更新手段と、前記焦点検出領域の画像信号に基づいて、焦点調節を行う焦点調節手段とを有する。   In order to achieve the above object, an imaging apparatus of the present invention photoelectrically converts light incident through a photographing optical system and outputs an image signal at a set time interval, and outputs from the imaging means A focus detection region indicating a region to be used for detecting a focus state based on the captured image signal, and the focus detection based on two image signals output from the imaging unit at different timings. In accordance with an instruction to execute the focus adjustment process and a calculation unit that calculates the amount of movement of the region, a second time interval that is shorter than the first time interval is set from the first time interval. And is calculated by the calculation unit in response to an instruction to execute the focus adjustment process, and a control unit that controls the setting unit to not set the focus detection area. Based on the amount of movement, it has a updating means for updating the position of the focus detection area based on the image signal of the focus detection area, and a focus adjustment unit that performs focus adjustment.

本発明によれば、大きな演算負荷を必要とせずに、焦点調節中に被写体の移動に影響されない高精度な焦点調節を行うことができる。   According to the present invention, it is possible to perform high-precision focus adjustment that is not affected by movement of a subject during focus adjustment without requiring a large calculation load.

本発明の実施形態における焦点調節装置を有する撮像装置の概略構成を示すブロック図。1 is a block diagram showing a schematic configuration of an imaging apparatus having a focus adjustment apparatus in an embodiment of the present invention. 第１及び第２の実施形態におけるスキャンＡＦ処理回路の構成と、ＣＰＵとの処理関係を示すブロック図。The block diagram which shows the structure of the scan AF process circuit in 1st and 2nd embodiment, and the processing relationship with CPU. 第１の実施形態におけるＡＦ動作手順を示すフローチャート。5 is a flowchart showing an AF operation procedure in the first embodiment. 第１及び第２の実施形態における焦点検出エリア（ＡＦ評価範囲）の設定について示した図。The figure shown about the setting of the focus detection area (AF evaluation range) in 1st and 2nd embodiment. 第１及び第２の実施形態における焦点検出領域設定処理を示すフローチャート。6 is a flowchart showing focus detection area setting processing in the first and second embodiments. 第１及び第２の実施形態における相対移動量の取得と焦点検出領域の設定処理を示すフローチャート。6 is a flowchart illustrating processing for acquiring a relative movement amount and setting a focus detection region in the first and second embodiments. 第１及び第２の実施形態におけるラインピーク評価値の例を示す図。The figure which shows the example of the line peak evaluation value in 1st and 2nd embodiment. 第１及び第２の実施形態における被写体の位置情報の取得と相対移動量の取得のタイミングの一例を示す図。The figure which shows an example of the timing of acquisition of the positional infomation on a to-be-photographed object and acquisition of relative movement amount in 1st and 2nd embodiment. 変形例における被写体の位置情報の取得と相対移動量の取得のタイミングの一例を示す図。The figure which shows an example of the timing of acquisition of the positional infomation on the to-be-photographed object in a modification, and acquisition of relative movement amount. 第２の実施形態におけるＡＦ動作手順を示すフローチャート。9 is a flowchart showing an AF operation procedure in the second embodiment.

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。   The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.

＜第１の実施形態＞
図１は、本発明の第１の実施形態における焦点調節装置を有する撮像装置の概略構成を示すブロック図である。撮像装置は、例えば、デジタルスチルカメラやデジタルビデオカメラを含む。しかしながら、本発明の撮像装置はこれらに限るものではなく、入射する光学像をエリアセンサなどの２次元配列された撮像素子を用いて光電変換により電気的な画像として取得するものであれば、本発明を適用することが可能である。 <First Embodiment>
FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus having a focus adjustment apparatus according to the first embodiment of the present invention. The imaging device includes, for example, a digital still camera and a digital video camera. However, the imaging apparatus of the present invention is not limited to these, and any optical image can be used as long as an incident optical image is acquired as an electrical image by photoelectric conversion using a two-dimensionally arranged imaging element such as an area sensor. The invention can be applied.

図１において、１は、例えばデジタルスチルカメラやデジタルビデオカメラ等の撮像装置である。ズームレンズ群２及び被写体像の焦点状態を調節するフォーカスレンズ群３は、撮影光学系を構成している。絞り４は撮影光学系を透過する光束の量を制御する。ズームレンズ群２、フォーカスレンズ群３、絞り４は、レンズ鏡筒３１内に構成される。   In FIG. 1, reference numeral 1 denotes an imaging apparatus such as a digital still camera or a digital video camera. The zoom lens group 2 and the focus lens group 3 for adjusting the focus state of the subject image constitute a photographing optical system. The diaphragm 4 controls the amount of light beam that passes through the photographing optical system. The zoom lens group 2, the focus lens group 3, and the diaphragm 4 are configured in the lens barrel 31.

撮像素子５は、例えばＣＣＤやＣＭＯＳセンサ等に代表されるセンサで、複数の画素が２次元に配置され、撮影光学系を透過して結像された被写体像を光電変換する。撮像回路６は撮像素子５により光電変換された電気信号を受けて各種の画像処理を施すことにより所定の画像信号を生成する。Ａ／Ｄ変換回路７は撮像回路６により生成されたアナログ画像信号をデジタル画像信号に変換する。   The image sensor 5 is a sensor typified by, for example, a CCD or CMOS sensor, and a plurality of pixels are two-dimensionally arranged and photoelectrically convert a subject image formed through a photographing optical system. The imaging circuit 6 receives the electrical signal photoelectrically converted by the imaging element 5 and performs various image processing to generate a predetermined image signal. The A / D conversion circuit 7 converts the analog image signal generated by the imaging circuit 6 into a digital image signal.

メモリ８はＡ／Ｄ変換回路７から出力されるデジタル画像信号を一時的に記憶するバッファメモリ等であり、例えばＶＲＡＭにより構成される。メモリ８に記憶されたデジタル画像信号のうち、撮像素子５の撮像領域の予め決められた一部領域から出力された画像信号をメモリ８から読み出して、ＣＰＵ１５を介して後述するスキャンＡＦ処理回路１４に入力することで、焦点検出を行うことができる。   The memory 8 is a buffer memory or the like that temporarily stores the digital image signal output from the A / D conversion circuit 7, and is configured by, for example, a VRAM. Among the digital image signals stored in the memory 8, an image signal output from a predetermined partial area of the imaging area of the imaging element 5 is read from the memory 8, and a scan AF processing circuit 14 described later via the CPU 15. By inputting into, focus detection can be performed.

Ｄ／Ａ変換回路９はメモリ８に記憶された画像信号を読み出してアナログ信号に変換するとともに、再生出力に適する形態の画像信号に変換する。画像表示装置１０は、Ｄ／Ａ変換回路９により変換された画像信号を表示する液晶表示装置（ＬＣＤ）等である。圧縮伸長回路１１は、メモリ８に一時記憶された画像信号を読み出して圧縮処理や符号化処理を施し、記憶用メモリ１２での記憶に適した形態の画像データにする。記憶用メモリ１２は、圧縮伸長回路１１により処理された画像データを記憶する。また、圧縮伸長回路１１は、記憶用メモリ１２に記憶された画像データを読み出して伸長処理や復号化処理を施し、再生表示等をするのに最適な形態の画像データにする。   The D / A conversion circuit 9 reads out the image signal stored in the memory 8 and converts it into an analog signal, and also converts it into an image signal in a form suitable for reproduction output. The image display device 10 is a liquid crystal display device (LCD) or the like that displays the image signal converted by the D / A conversion circuit 9. The compression / decompression circuit 11 reads the image signal temporarily stored in the memory 8 and applies compression processing or encoding processing to form image data in a form suitable for storage in the storage memory 12. The storage memory 12 stores the image data processed by the compression / decompression circuit 11. Further, the compression / decompression circuit 11 reads out the image data stored in the storage memory 12 and performs decompression processing and decoding processing to obtain image data in an optimum form for reproduction display and the like.

記憶用メモリ１２としては様々な形態のものを適用することができる。例えば、装置に対して着脱可能なカード形状やスティック形状を有するフラッシュメモリ等の半導体メモリの他、ハードディスクやフレキシブルディスク等の磁気記憶媒体であってもよい。   Various types of storage memory 12 can be applied. For example, in addition to a semiconductor memory such as a flash memory having a card shape or a stick shape that can be attached to and detached from the apparatus, a magnetic storage medium such as a hard disk or a flexible disk may be used.

ＡＥ処理回路１３はＡ／Ｄ変換回路７から出力される画像信号を用いて自動露出（ＡＥ）処理を行う。また、スキャンＡＦ処理回路１４はＡ／Ｄ変換回路７から出力される画像信号を用いて受けてオートフォーカス（ＡＦ）処理を行う。スキャンＡＦ処理回路１４は、撮像素子５の撮像領域の予め決められた一部領域（焦点検出領域）から出力された画像信号から特定周波数成分を抽出して、焦点状態を示す焦点評価値を算出する。また、スキャンＡＦ処理回路１４は、合焦位置の計算に用いる各種評価値を算出するが、これらの評価値については、図２を参照して詳細に後述する。   The AE processing circuit 13 performs automatic exposure (AE) processing using the image signal output from the A / D conversion circuit 7. The scan AF processing circuit 14 receives the image signal output from the A / D conversion circuit 7 and performs autofocus (AF) processing. The scan AF processing circuit 14 extracts a specific frequency component from an image signal output from a predetermined partial area (focus detection area) of the imaging area of the image sensor 5 and calculates a focus evaluation value indicating a focus state. To do. The scan AF processing circuit 14 calculates various evaluation values used for calculating the in-focus position, and these evaluation values will be described later in detail with reference to FIG.

ＣＰＵ１５は撮像装置１の各構成の制御を行うものであり、演算用のメモリを内蔵している。ＣＰＵ１５は、スキャンＡＦ処理回路１４で算出される各種評価値を用いて、合焦位置の計算を行う。タイミングジェネレータ（ＴＧ）１６は所定のタイミング信号を発生する。１７はＣＣＤドライバであり、ＴＧ１６からのタイミング信号に基づいて、撮像素子５を駆動する。   The CPU 15 controls each component of the imaging apparatus 1 and incorporates a calculation memory. The CPU 15 calculates the in-focus position using various evaluation values calculated by the scan AF processing circuit 14. A timing generator (TG) 16 generates a predetermined timing signal. Reference numeral 17 denotes a CCD driver, which drives the image sensor 5 based on a timing signal from the TG 16.

第１モータ駆動回路１８は、ＣＰＵ１５の制御に基づいて絞り駆動モータ２１を駆動することで絞り４を駆動する。ＣＰＵ１５は、スキャンＡＦ処理回路１４で算出される焦点評価値を用いて、第２モータ駆動回路１９を通じてフォーカス駆動モータ２２を駆動することでフォーカスレンズ群３を駆動する。また、第３モータ駆動回路２０は、ＣＰＵ１５の制御に基づいてズーム駆動モータ２３を駆動することでズームレンズ群２を駆動する。   The first motor drive circuit 18 drives the diaphragm 4 by driving the diaphragm drive motor 21 based on the control of the CPU 15. The CPU 15 drives the focus lens group 3 by driving the focus drive motor 22 through the second motor drive circuit 19 using the focus evaluation value calculated by the scan AF processing circuit 14. The third motor drive circuit 20 drives the zoom lens group 2 by driving the zoom drive motor 23 based on the control of the CPU 15.

操作スイッチ２４は各種のスイッチ群からなり、例えば、主電源スイッチ、撮影動作（記憶動作）等を開始させるレリーズスイッチ、再生スイッチ、ズームスイッチ、ＡＦ評価値信号のモニターへの表示をＯＮ／ＯＦＦするためのスイッチ等を含む。主電源スイッチは、撮像装置１を起動させ、電源供給を行うためのものである。また、レリーズスイッチは、撮影動作に先立って行われるＡＥ、ＡＦ処理などの撮影準備を開始させる指示信号を発生する第１ストローク（ＳＷ１）と実際の露光動作を開始させる指示信号を発生する第２ストローク（ＳＷ２）との二段スイッチにより構成される。再生スイッチは再生動作を開始させ、ズームスイッチは撮影光学系のズームレンズ群２を移動させズームを行わせる。   The operation switch 24 includes various switch groups. For example, a main power switch, a release switch for starting a photographing operation (storage operation), a reproduction switch, a zoom switch, and an ON / OFF display of an AF evaluation value signal on a monitor. For example. The main power switch is for starting up the imaging apparatus 1 and supplying power. The release switch also generates a first stroke (SW1) for generating an instruction signal for starting preparation for shooting such as AE and AF processing performed prior to the shooting operation and a second signal for generating an instruction signal for starting an actual exposure operation. It consists of a two-stage switch with a stroke (SW2). The reproduction switch starts a reproduction operation, and the zoom switch moves the zoom lens group 2 of the photographing optical system to perform zooming.

ＥＥＰＲＯＭ２５は電気的に書き換え可能な読み出し専用メモリで、各種制御等を行うプログラムや各種動作を行わせるために使用するデータ等が予め記憶されている。２６は電池、２８はフラッシュ発光部、２７はフラッシュ発光部２８の閃光発光を制御するスイッチング回路、２９はＡＦ動作のＯＫ／ＮＧを表示するためのＬＥＤなどの表示素子である。   The EEPROM 25 is an electrically rewritable read-only memory in which programs for performing various controls and data used for performing various operations are stored in advance. Reference numeral 26 denotes a battery, 28 denotes a flash light emitting unit, 27 denotes a switching circuit for controlling flash light emission of the flash light emitting unit 28, and 29 denotes a display element such as an LED for displaying OK / NG of AF operation.

被写体検出回路３０は、Ａ／Ｄ変換回路７から出力された画像信号を用いて被写界中から顔検出を行い、検出した一つまたは複数の顔情報（位置・大きさ・信頼度・顔の向き・顔の検出数）をＣＰＵ１５に送る。なお、顔の検出方法は、本発明の主眼点ではないため詳細な説明は省略する。   The subject detection circuit 30 performs face detection from the object scene using the image signal output from the A / D conversion circuit 7 and detects one or more pieces of detected face information (position, size, reliability, face). And the number of detected faces) are sent to the CPU 15. Since the face detection method is not the main point of the present invention, detailed description thereof is omitted.

次に、図２を参照して、ＣＰＵ１５及びスキャンＡＦ処理回路１４を用いて算出される各種ＡＦ用評価値について説明する。図２は、スキャンＡＦ処理回路１４の構成と、ＣＰＵ１５との処理関係を示すブロック図である。   Next, various AF evaluation values calculated using the CPU 15 and the scan AF processing circuit 14 will be described with reference to FIG. FIG. 2 is a block diagram showing the configuration of the scan AF processing circuit 14 and the processing relationship with the CPU 15.

Ａ／Ｄ変換回路７で変換されたデジタル信号が、スキャンＡＦ処理回路１４に入力されると、ＡＦ評価用信号処理回路４０１で、輝度信号Ｙへの変換と、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理が施される。そして、処理された信号に基づいて、Ｙピーク評価値、Ｙ積分評価値、Ｍａｘ−Ｍｉｎ評価値、全ライン積分評価値、領域ピーク評価値、ラインピーク評価値を算出する。以下、各評価値の算出方法について説明する。   When the digital signal converted by the A / D conversion circuit 7 is input to the scan AF processing circuit 14, the AF evaluation signal processing circuit 401 converts the signal into the luminance signal Y and emphasizes the low luminance component to increase the signal. A gamma correction process for suppressing the luminance component is performed. Based on the processed signal, a Y peak evaluation value, a Y integral evaluation value, a Max-Min evaluation value, an all line integral evaluation value, a region peak evaluation value, and a line peak evaluation value are calculated. Hereinafter, a method for calculating each evaluation value will be described.

まず、Ｙピーク評価値の算出方法について説明する。ＡＦ評価用信号処理回路４０１によりガンマ補正された輝度信号Ｙは、ラインピーク検出回路４０２へ入力され、領域設定回路４１３によって設定されたＡＦ評価範囲内で水平ライン毎のラインピーク値（Ｙラインピーク値）が求められる。ラインピーク検出回路４０２の出力は垂直ピーク検出回路４０５に入力されて、ＡＦ評価範囲内で垂直方向にピークホールドが行われ、Ｙピーク評価値が生成される。Ｙピーク評価値は、高輝度被写体や低照度被写体の判定に有効である。   First, a method for calculating the Y peak evaluation value will be described. The luminance signal Y subjected to gamma correction by the AF evaluation signal processing circuit 401 is input to the line peak detection circuit 402, and the line peak value (Y line peak) for each horizontal line within the AF evaluation range set by the area setting circuit 413. Value). The output of the line peak detection circuit 402 is input to the vertical peak detection circuit 405, where peak hold is performed in the vertical direction within the AF evaluation range, and a Y peak evaluation value is generated. The Y peak evaluation value is effective for determining a high-luminance subject or a low-illuminance subject.

なお、領域設定回路４１３が設定することのできるＡＦ評価範囲は複数種類があり、ＡＦ評価範囲の詳細、及び、どの種類のＡＦ評価範囲が設定されるかについては後述する。   Note that there are a plurality of types of AF evaluation ranges that can be set by the area setting circuit 413. Details of the AF evaluation range and which type of AF evaluation range is set will be described later.

次に、Ｙ積分評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは水平積分回路４０３へ入力され、ＡＦ評価範囲内で水平ライン毎の輝度信号Ｙの積分値が求められる。水平積分回路４０３の出力は垂直積分回路４０６に入力されて、ＡＦ評価範囲内で垂直方向に積分が行われ、Ｙ積分評価値が生成される。Ｙ積分評価値からは、ＡＦ評価範囲内全体の明るさを判断することができる。   Next, a method for calculating the Y integral evaluation value will be described. The gamma-corrected luminance signal Y is input to the horizontal integration circuit 403, and an integrated value of the luminance signal Y for each horizontal line is obtained within the AF evaluation range. The output of the horizontal integration circuit 403 is input to the vertical integration circuit 406, and integration is performed in the vertical direction within the AF evaluation range to generate a Y integration evaluation value. From the Y integral evaluation value, the brightness of the entire AF evaluation range can be determined.

次に、Ｍａｘ−Ｍｉｎ評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、ラインピーク検出回路４０２に入力され、ＡＦ評価範囲内で水平ライン毎のＹラインピーク値が求められると共に、ライン最小値検出回路４０４にも入力され、ＡＦ評価範囲内で水平ライン毎の輝度信号Ｙの最小値が検出される。検出された水平ライン毎の輝度信号ＹのＹラインピーク値及び最小値は減算器に入力され、（ラインピーク値−最小値）を計算した上で、差が垂直ピーク検出回路４０７に入力される。垂直ピーク検出回路４０７は、ＡＦ評価範囲内で垂直方向にピークホールドを行い、Ｍａｘ−Ｍｉｎ評価値が生成される。Ｍａｘ−Ｍｉｎ評価値は、低コントラスト・高コントラストの判定に有効である。   Next, a method for calculating the Max-Min evaluation value will be described. The gamma-corrected luminance signal Y is input to the line peak detection circuit 402, the Y line peak value for each horizontal line is obtained within the AF evaluation range, and is also input to the line minimum value detection circuit 404, and the AF evaluation range. The minimum value of the luminance signal Y for each horizontal line is detected. The Y line peak value and the minimum value of the detected luminance signal Y for each horizontal line are input to the subtractor, and (line peak value−minimum value) is calculated, and then the difference is input to the vertical peak detection circuit 407. . The vertical peak detection circuit 407 performs peak hold in the vertical direction within the AF evaluation range, and generates a Max-Min evaluation value. The Max-Min evaluation value is effective for determination of low contrast and high contrast.

次に、領域ピーク評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、ＢＰＦ４０８に通すことによって特定の周波数成分が抽出され焦点信号が生成される。この焦点信号はラインピーク検出回路４０９へ入力され、ＡＦ評価範囲内で水平ライン毎のラインピーク値を求める。求めたラインピーク値は、垂直ピーク検出回路４１１によってＡＦ評価範囲内でピークホールドされ、領域ピーク評価値が生成される。領域ピーク評価値は、ＡＦ評価範囲内で被写体が移動しても変化が少ないので、合焦状態から再度合焦点を探す処理に移行するための再起動判定に有効である。   Next, a method for calculating the region peak evaluation value will be described. A specific frequency component is extracted from the gamma-corrected luminance signal Y through the BPF 408 to generate a focus signal. This focus signal is input to the line peak detection circuit 409, and the line peak value for each horizontal line is obtained within the AF evaluation range. The obtained line peak value is peak-held within the AF evaluation range by the vertical peak detection circuit 411, and an area peak evaluation value is generated. Since the area peak evaluation value changes little even when the subject moves within the AF evaluation range, it is effective for restart determination for shifting from the focused state to the process of searching for the focused point again.

次に、全ライン積分評価値の算出方法について説明する。領域ピーク評価値と同様に、ラインピーク検出回路４０９は、ＡＦ評価範囲内で水平ライン毎のラインピーク値を求める。次に、ラインピーク値を垂直積分回路４１０に入力し、ＡＦ評価範囲内で垂直方向に全水平走査ライン数について積分して全ライン積分評価値を生成する。高周波全ライン積分評価値は、積分の効果でダイナミックレンジが広く、感度が高いので、合焦位置の検出を行うためのＡＦのメインの評価値として有効である。なお、本実施形態では、デフォーカス状態に応じて評価値が変化し、焦点調節に用いる全ライン積分評価値を焦点評価値と称する。   Next, a method for calculating the total line integral evaluation value will be described. Similar to the area peak evaluation value, the line peak detection circuit 409 obtains a line peak value for each horizontal line within the AF evaluation range. Next, the line peak value is input to the vertical integration circuit 410 and integrated with respect to the number of all horizontal scanning lines in the vertical direction within the AF evaluation range to generate an all-line integration evaluation value. The high-frequency all-line integration evaluation value is effective as the main evaluation value of AF for detecting the in-focus position because the integration effect has a wide dynamic range and high sensitivity. In this embodiment, the evaluation value changes according to the defocus state, and the total line integral evaluation value used for focus adjustment is referred to as a focus evaluation value.

次に、ラインピーク評価値の算出方法について説明する。領域ピーク評価値と同様に、ラインピーク検出回路４０９は、ＡＦ評価範囲内で水平ライン毎（第１の方向）のラインピーク値（単位評価値）を求める。次に、ラインピーク値をラインピーク保持回路４１２に入力して、ＡＦ評価範囲内で垂直方向（第１の方向に直交する第２の方向）に全水平走査ライン数についてラインピーク値を記憶し、ラインピーク評価値（単位評価値群）を生成する。ラインピーク評価値は、ＡＦ評価範囲内の行毎の特定の周波数成分の情報のピーク値の分布状態を示しており、本実施形態では、被写***置の垂直方向の変化を検出するために用いる。   Next, a method for calculating the line peak evaluation value will be described. Similar to the area peak evaluation value, the line peak detection circuit 409 obtains a line peak value (unit evaluation value) for each horizontal line (first direction) within the AF evaluation range. Next, the line peak value is input to the line peak holding circuit 412, and the line peak value is stored for the total number of horizontal scanning lines in the vertical direction (second direction orthogonal to the first direction) within the AF evaluation range. A line peak evaluation value (unit evaluation value group) is generated. The line peak evaluation value indicates the distribution state of the peak value of the information of the specific frequency component for each row within the AF evaluation range, and is used for detecting the vertical change in the subject position in this embodiment.

なお、被写体の位置情報の変化を検出するために、Ｙ積分評価値の算出過程で計算される行毎の輝度信号Ｙの積分値を用いて、被写***置の垂直方向の変化を検出することも考えられる。しかしながら、行毎の輝度信号Ｙの積分値は、積分値であるがゆえに、被写体情報にローパスフィルタがかかったようになり、精度の良い検出を行えない場合がある。また、各行の輝度信号Ｙのピーク信号を用いて被写***置情報を検出することも考えられる。しかしながら、輝度信号Ｙのピーク信号は、飽和した際や垂直方向の輝度のピークの変化が乏しい場合には、被写***置情報の検出精度が悪化してしまう。   In order to detect a change in the position information of the subject, a change in the vertical direction of the subject position may also be detected using the integral value of the luminance signal Y for each row calculated in the process of calculating the Y integral evaluation value. Conceivable. However, since the integral value of the luminance signal Y for each row is an integral value, it may appear that a low-pass filter is applied to the subject information, and accurate detection may not be performed. It is also conceivable to detect subject position information using the peak signal of the luminance signal Y of each row. However, when the peak signal of the luminance signal Y is saturated or the change of the luminance peak in the vertical direction is poor, the detection accuracy of the subject position information is deteriorated.

これに対し、本実施形態では、ラインピーク評価値として各行の特定の周波数成分の情報のピーク値を用いるため、各行の被写体の特徴量を精度よく検出することができる。また、輝度信号Ｙが飽和した際でも、輝度変化のある輪郭から情報を取得するため、被写体情報を得ることができる。また、垂直方向の輝度のピークの変化が乏しい場合にも、輝度変化のある輪郭形状が変化していれば、被写体情報を得ることができる。   On the other hand, in the present embodiment, since the peak value of the information of the specific frequency component in each row is used as the line peak evaluation value, the feature amount of the subject in each row can be detected with high accuracy. In addition, even when the luminance signal Y is saturated, the subject information can be obtained because the information is acquired from the contour with the luminance change. Even when the change in the luminance peak in the vertical direction is poor, subject information can be obtained if the contour shape with a change in luminance changes.

本実施形態では、ラインピーク評価値として各行の特定の周波数成分の情報のピーク値を用いたが、各行の特定の周波数成分の情報の積算値を用いてもよい。被写体の水平方向の移動に対して変動する懸念があるが、よりＳ／Ｎ比の大きい情報を取得することができる。   In this embodiment, the peak value of the information on the specific frequency component in each row is used as the line peak evaluation value, but the integrated value of the information on the specific frequency component in each row may be used. Although there is a concern that the subject moves in the horizontal direction, information with a larger S / N ratio can be acquired.

本実施形態では、水平方向にＡＦ評価を行う際に、ラインピーク評価値に基づき、被写体の垂直方向の位置の変化を検出し、焦点検出領域の更新を行う。焦点検出領域の更新は、言い換えると、上述の全ライン積分評価値の算出の際にラインピーク値を積分する範囲の更新に等しい。   In the present embodiment, when performing AF evaluation in the horizontal direction, a change in the position of the subject in the vertical direction is detected based on the line peak evaluation value, and the focus detection area is updated. In other words, the update of the focus detection area is equivalent to the update of the range in which the line peak value is integrated when the above-described total line integration evaluation value is calculated.

一方で、ラインピーク評価値の所定の領域を積分したものが、全ライン積分評価値となり、その焦点評価値は、合焦位置の検出に用いられる。そのため、ラインピーク評価値により被写体の移動量を検出することは、焦点評価値という情報を構成する特徴量を直接的に使用していることになり、被写体移動量検出や合焦位置検出の精度向上につながる。また、焦点評価値を算出する過程で得られるラインピーク値を用いてラインピーク評価値を構成しているため、演算量を大きく増やすことなく、被写体の移動量の検出を行うことができる。   On the other hand, the integration of a predetermined region of the line peak evaluation value becomes the total line integration evaluation value, and the focus evaluation value is used for detection of the in-focus position. Therefore, detecting the amount of movement of the subject based on the line peak evaluation value directly uses the feature amount constituting the information called the focus evaluation value, and the accuracy of detecting the amount of movement of the subject and the detection of the focus position It leads to improvement. In addition, since the line peak evaluation value is configured using the line peak value obtained in the process of calculating the focus evaluation value, it is possible to detect the amount of movement of the subject without greatly increasing the calculation amount.

領域設定回路４１３は、ＣＰＵ１５により設定された画面内の所定の位置にある信号を選択するためのＡＦ評価範囲用のゲート信号を生成する。ゲート信号は、ラインピーク検出回路４０２、水平積分回路４０３、ライン最小値検出回路４０４、ラインピーク検出回路４０９、垂直積分回路４０６、４１０、垂直ピーク検出回路４０５、４０７、４１１の各回路に入力される。そして、各焦点評価値がＡＦ評価範囲内の輝度信号Ｙで生成されるように、輝度信号Ｙが各回路に入力するタイミングが制御される。また、詳細は後述するが、領域設定回路４１３はＡＦ評価範囲として複数の領域のゲート信号を生成可能であり、上述したそれぞれの回路に、複数の領域のゲート信号のいずれかを設定することが可能である。   The area setting circuit 413 generates an AF evaluation range gate signal for selecting a signal at a predetermined position in the screen set by the CPU 15. The gate signal is input to each circuit of the line peak detection circuit 402, the horizontal integration circuit 403, the line minimum value detection circuit 404, the line peak detection circuit 409, the vertical integration circuits 406 and 410, and the vertical peak detection circuits 405, 407, and 411. The Then, the timing at which the luminance signal Y is input to each circuit is controlled so that each focus evaluation value is generated by the luminance signal Y within the AF evaluation range. Although details will be described later, the area setting circuit 413 can generate gate signals for a plurality of areas as an AF evaluation range, and can set one of the gate signals for a plurality of areas in each of the above-described circuits. Is possible.

ＣＰＵ１５内のＡＦ制御部１５１は、Ｙピーク評価値、Ｙ積分評価値、Ｍａｘ−Ｍｉｎ評価値、領域ピーク評価値を取り込む。そして第２モータ駆動回路１９を通じてフォーカス駆動モータ２２を制御し、フォーカスレンズ群３を光軸方向に移動させてＡＦ制御を行う。   The AF control unit 151 in the CPU 15 takes in the Y peak evaluation value, the Y integral evaluation value, the Max-Min evaluation value, and the region peak evaluation value. Then, the focus drive motor 22 is controlled through the second motor drive circuit 19, and the focus lens group 3 is moved in the optical axis direction to perform AF control.

第１の実施形態では、各種のＡＦ用評価値を水平ライン方向に算出する構成としたが、水平方向、垂直方向のいずれか、もしくは両方の方向で算出すればよい。   In the first embodiment, various AF evaluation values are calculated in the horizontal line direction, but may be calculated in either the horizontal direction, the vertical direction, or both directions.

次に、図３のＡＦ動作のフローチャート及び図４を参照しながら、第１の実施形態の電子カメラにおける被写体検出を用いた焦点調節処理（ＡＦ動作）について説明する。   Next, a focus adjustment process (AF operation) using subject detection in the electronic camera of the first embodiment will be described with reference to the flowchart of the AF operation in FIG. 3 and FIG.

Ｓ１では、被写体検出回路３０から得られる人物の顔などの被写体情報（位置、大きさ、被写体の検出数）に基づき主被写体判定を行い、焦点検出領域を設定する。焦点検出領域の設定は、スキャンＡＦ処理回路１４内の領域設定回路４１３が行う。   In S1, main subject determination is performed based on subject information (position, size, number of detected subjects) such as a human face obtained from the subject detection circuit 30, and a focus detection area is set. The focus detection area is set by an area setting circuit 413 in the scan AF processing circuit 14.

ここで、図４を参照しながら本第１の実施形態における焦点検出領域の設定方法の特徴について説明する。図４（ａ）に示すように、被写体検出回路３０により検出した画面内における被写体の検出領域の内部に焦点検出領域を設定する。図４（ａ）の撮影画面５００は撮像素子５の画素領域と対応し、スキャンＡＦ処理回路１４は、図中Ｘ方向をＡＦ評価方向として、コントラスト情報を焦点評価値として算出する。   Here, the features of the focus detection region setting method in the first embodiment will be described with reference to FIG. As shown in FIG. 4A, the focus detection area is set inside the detection area of the subject in the screen detected by the subject detection circuit 30. 4A corresponds to the pixel region of the image sensor 5, and the scan AF processing circuit 14 calculates contrast information as a focus evaluation value with the X direction in the figure as the AF evaluation direction.

撮影画面５００内の人物３００に対して、被写体の位置情報を取得する領域である位置情報取得領域３０１（第１の領域）として設定する。図４では、位置情報取得領域３０１は、撮影画面５００よりも小さい場合を示しているが、撮影画面５００と等しくてもよい。図４では、事前に被写体の存在する位置について情報を有する場合に、その情報を参照して設定した領域の例を示している。   For the person 300 in the shooting screen 500, a position information acquisition area 301 (first area) that is an area for acquiring the position information of the subject is set. In FIG. 4, the position information acquisition area 301 is smaller than the shooting screen 500, but may be equal to the shooting screen 500. FIG. 4 shows an example of an area set by referring to information on the position where the subject exists in advance.

また、同様に、被写体の所定時間内の相対移動量情報を取得する領域である移動量情報取得領域３０２（第２の領域）を設定する。位置情報取得領域３０１が移動量情報取得領域３０２を含むように設定する。このようにして設定された移動量情報取得領域３０２は、ラインピーク検出回路４０９及びラインピーク保持回路４１２に設定される。   Similarly, a movement amount information acquisition region 302 (second region), which is a region for acquiring relative movement amount information of a subject within a predetermined time, is set. The position information acquisition area 301 is set to include the movement amount information acquisition area 302. The movement amount information acquisition region 302 set in this way is set in the line peak detection circuit 409 and the line peak holding circuit 412.

被写体検出領域３０４は、被写体検出回路３０により位置情報取得領域３０１内で検出された被写体の位置、大きさ、傾きなどを表す領域である。そして、被写体検出領域３０４の内側に焦点検出領域３０３を設定する。これは、被写体の輪郭部が焦点検出領域３０３の内部に存在すると、背景の絵柄の影響を受けるためである。ただし、被写体の大きさが小さい場合などは、被写体検出領域３０４と焦点検出領域３０３を同じ大きさにしたり、より大きくしたりしてもよい。各々の領域で得られる情報の使用方法の詳細については、後述する。このようにして設定された焦点検出領域３０３は、垂直積分回路４１０をはじめとする、ラインピーク検出回路４０９とラインピーク保持回路４１２以外の回路に設定される。   The subject detection area 304 is an area representing the position, size, inclination, etc. of the subject detected in the position information acquisition area 301 by the subject detection circuit 30. Then, the focus detection area 303 is set inside the subject detection area 304. This is because if the contour portion of the subject exists inside the focus detection area 303, it is influenced by the background pattern. However, when the size of the subject is small, the subject detection area 304 and the focus detection area 303 may be the same size or larger. Details of how to use information obtained in each area will be described later. The focus detection area 303 set in this way is set in a circuit other than the line peak detection circuit 409 and the line peak holding circuit 412 including the vertical integration circuit 410.

第１の実施形態では、後述するが、移動量情報取得領域３０２で得られたラインピーク評価値を用いて、被写体の移動量の検出を行う。この際に検出される移動量の移動方向は垂直方向である。この移動量を用いて焦点検出領域３０３の設定を行うため、焦点検出領域３０３が水平方向に余計な情報を得ることが無いように、移動量情報取得領域３０２を設定する必要がある。第１の実施形態では、図４（ａ）に示すように、移動量情報取得領域３０２は、焦点検出領域３０３とＸ方向の大きさが概ね等しい領域となるように設定している。ただし、被写体が水平方向に移動することも考えられるため、焦点検出領域３０３に対する移動量情報取得領域３０２のＸ方向の大きさは、適宜変更してもよい。被写体の移動が大きいことが検出されている場合などには、Ｘ方向により大きめに移動量情報取得領域３０２を設定すればよい。   In the first embodiment, as will be described later, the movement amount of the subject is detected using the line peak evaluation value obtained in the movement amount information acquisition region 302. The movement direction of the movement amount detected at this time is the vertical direction. Since the focus detection area 303 is set using this movement amount, it is necessary to set the movement amount information acquisition area 302 so that the focus detection area 303 does not obtain extra information in the horizontal direction. In the first embodiment, as shown in FIG. 4A, the movement amount information acquisition area 302 is set to be an area that is substantially equal in size to the focus detection area 303 in the X direction. However, since the subject may move in the horizontal direction, the size in the X direction of the movement amount information acquisition region 302 relative to the focus detection region 303 may be changed as appropriate. When it is detected that the movement of the subject is large, the movement amount information acquisition area 302 may be set larger in the X direction.

図４（ｂ）は、図中Ｙ方向をＡＦ評価方向とした場合の移動量情報取得領域３０２を示している。上述した理由から、移動量情報取得領域３０２は、焦点検出領域３０３とＹ方向の大きさが概ね等しい領域となるように設定している。このように、ＡＦ評価方向に合わせて、移動量情報取得領域３０２を変更して設定してもよい。なお、被写体移動量の検出方法の詳細は後述する。   FIG. 4B shows the movement amount information acquisition area 302 when the Y direction in the figure is the AF evaluation direction. For the reason described above, the movement amount information acquisition area 302 is set to be an area having substantially the same size in the Y direction as the focus detection area 303. As described above, the movement amount information acquisition area 302 may be changed and set in accordance with the AF evaluation direction. The details of the subject movement amount detection method will be described later.

また、Ｓ１における処理の詳細については、図５を用いて後述する。Ｓ２では、Ｓ１で設定した被写体検出領域３０４を、撮影者に報知するためＬＣＤ１０に表示する。表示する領域の大きさは、撮影者の視認しやすさなどを考慮して、適宜、適切な大きさ、形状、配色にして表示を行う。   Details of the processing in S1 will be described later with reference to FIG. In S2, the subject detection area 304 set in S1 is displayed on the LCD 10 to notify the photographer. The size of the area to be displayed is appropriately set to an appropriate size, shape, and color scheme in consideration of ease of visual recognition by the photographer.

Ｓ３で、焦点調節処理を含む撮影準備開始の実行を指示するすレリーズスイッチのＳＷ１のオン／オフを検出する。Ｓ３でＳＷ１のオンが検出されない場合は、Ｓ１に戻り、焦点検出領域の設定を随時行う。一方、Ｓ３でＳＷ１のオンが検出されるとＳ４に進み、フレームレート切替処理を行う。焦点調節の制御を高速に行うため、Ｓ３以前に行っていた時間間隔（第１の時間間隔）よりも短い時間間隔（第２の時間間隔）で焦点検出データを取得できるように撮像素子５の駆動を切り替える。これに応じてＬＣＤ１０に表示しているライブビュー表示も第２の時間間隔で得た画像データを用いて行う。なお、ライブビュー表示の時間間隔は、第２の時間間隔で行ってもよいし、画像データを間引いたり加算したりして第１の時間間隔のまま行ってもよい。   In S3, the on / off state of SW1 of the release switch for instructing execution of shooting preparation start including focus adjustment processing is detected. If the switch SW1 is not turned on in S3, the process returns to S1 to set the focus detection area as needed. On the other hand, if it is detected in step S3 that SW1 is turned on, the process proceeds to step S4 to perform a frame rate switching process. In order to control the focus adjustment at high speed, the image sensor 5 can acquire the focus detection data at a time interval (second time interval) shorter than the time interval (first time interval) performed before S3. Switch drive. In response to this, live view display displayed on the LCD 10 is also performed using the image data obtained at the second time interval. Note that the live view display time interval may be performed at the second time interval, or may be performed at the first time interval by thinning out or adding image data.

次に、Ｓ５で、所定の方向に所定の速度で、フォーカスレンズ群３の駆動を開始し、ＡＦスキャン（焦点検出動作）を行う。ＡＦスキャンでは、フォーカスレンズ群３をスキャン開始位置からスキャン終了位置まで所定量ずつ移動させながら、各フォーカスレンズ位置において、スキャンＡＦ処理回路１４から得られる各種評価値をＣＰＵ１５へ記憶していく。スキャン終了位置は、例えば、フォーカスレンズ群３の駆動可能範囲の端に設定すればよい。また、以前の焦点調節結果から現在のフォーカスレンズ群３の位置近傍で合焦可能と判断される場合には、現在の位置から所定量駆動した位置に設定すればよい。また、フォーカスレンズ群３の駆動は、各種評価値を取得中、駆動を継続してもよいし、停止させてもよい。   Next, in S5, driving of the focus lens group 3 is started at a predetermined speed in a predetermined direction, and an AF scan (focus detection operation) is performed. In the AF scan, various evaluation values obtained from the scan AF processing circuit 14 are stored in the CPU 15 at each focus lens position while moving the focus lens group 3 by a predetermined amount from the scan start position to the scan end position. The scan end position may be set at the end of the driveable range of the focus lens group 3, for example. If it is determined from the previous focus adjustment result that focusing is possible in the vicinity of the current position of the focus lens group 3, the position may be set to a position driven by a predetermined amount from the current position. Further, the driving of the focus lens group 3 may be continued or stopped while acquiring various evaluation values.

次に、Ｓ６で撮像素子５から出力された信号に基づいて得られるラインピーク保持回路４１２から出力されるラインピーク評価値を用いて、被写体の相対移動量の取得と焦点検出領域３０３の設定を行う。本第１の実施形態では、ＳＷ１オン以前に被写体の位置情報を用いて焦点検出領域３０３を設定した後、取得時刻の異なる撮像素子５からの信号を用いて被写体の相対移動量を検出し、焦点検出領域３０３の更新を行う。   Next, using the line peak evaluation value output from the line peak holding circuit 412 obtained based on the signal output from the image sensor 5 in S6, the acquisition of the relative movement amount of the subject and the setting of the focus detection area 303 are performed. Do. In the first embodiment, after the focus detection area 303 is set using the position information of the subject before the SW1 is turned on, the relative movement amount of the subject is detected using the signals from the image sensor 5 having different acquisition times, The focus detection area 303 is updated.

顔検出や２次元のパターンマッチングなどの被写体の位置情報の取得は、演算量が大きく、演算に時間がかかる。一方で、焦点調節の高速化のため、フレームレートを高速に切り替えると、短い時間間隔（第２の時間間隔）で各種ＡＦ用評価値の演算は行われる。その際、各種ＡＦ用評価値の演算対象となる焦点検出領域３０３の更新がされず、過去の被写***置情報による焦点検出領域３０３で焦点検出を行うと、被写***置の変化や撮影者の手振れなどの影響により、焦点検出精度が悪化する。本第１の実施形態では、フレームレートを高速に切り替えた後も、焦点検出領域３０３を適切に設定するために、被写体の相対移動量の算出を行い、その情報を用いて、焦点検出領域３０３の更新を行う。これにより、ＡＦスキャン動作中の被写体の動きや撮影者の手振れなどの影響を低減し、高精度な焦点検出を行うことができる。なお、Ｓ６で行う処理の詳細は、図６を参照して後述する。   Acquisition of subject position information, such as face detection and two-dimensional pattern matching, requires a large amount of computation and takes time. On the other hand, when the frame rate is switched at a high speed for speeding up the focus adjustment, various AF evaluation values are calculated at a short time interval (second time interval). At this time, if the focus detection area 303 that is the target of calculation of various AF evaluation values is not updated and focus detection is performed in the focus detection area 303 based on past subject position information, changes in the subject position, camera shake of the photographer, etc. As a result, the focus detection accuracy deteriorates. In the first embodiment, even after the frame rate is switched at a high speed, the relative movement amount of the subject is calculated in order to appropriately set the focus detection area 303, and the focus detection area 303 is used by using the information. Update. As a result, it is possible to reduce the influence of the movement of the subject during the AF scan operation, the camera shake of the photographer, and the like, and perform high-precision focus detection. Details of the process performed in S6 will be described later with reference to FIG.

次に、Ｓ７で、スキャンＡＦ処理回路１４により上述した各種ＡＦ用評価値を算出し、Ｓ８に進む。Ｓ８では、焦点評価値が以前取得した値に対して、所定量以上減少したか否かを判定する。所定量以上減少していない場合は、焦点評価値のピーク（極大値）を検出できていないとして、Ｓ１４に進む。Ｓ１４では、事前に設定されたスキャン終了位置であるか否かを判定し、スキャン終了位置に到達していない場合は、ＡＦスキャンを継続するため、Ｓ５に戻る。一方で、スキャン終了位置に到達した場合には、Ｓ１５に進み、焦点検出不可能と判断し、予め定められた位置へフォーカスレンズ群３を移動する。予め定められた位置は、被写体の存在確率が高い位置や人物の顔の大きさから想定される被写体距離を用いて設定されればよい。次に、Ｓ１６では、ＬＣＤ１０の画像表示部に、非合焦枠を表示してＳ１３に進む。ここで、非合焦枠とは非合焦時に画像領域内で被写体の存在する領域または所定の領域に表示する枠であり、非合焦であるという状態が判別しやすいように合焦枠とは異なる色の枠（例えば黄色など）を設定する。   Next, in S7, the above-described various AF evaluation values are calculated by the scan AF processing circuit 14, and the process proceeds to S8. In S8, it is determined whether or not the focus evaluation value has decreased by a predetermined amount or more with respect to the previously acquired value. If not decreased by a predetermined amount or more, it is determined that the peak (maximum value) of the focus evaluation value has not been detected and the process proceeds to S14. In S14, it is determined whether or not the scan end position is set in advance. If the scan end position is not reached, the process returns to S5 in order to continue the AF scan. On the other hand, if the scan end position has been reached, the process proceeds to S15, where it is determined that focus detection is impossible, and the focus lens group 3 is moved to a predetermined position. The predetermined position may be set using a subject distance that is assumed from a position where the existence probability of the subject is high or the size of the face of a person. Next, in S16, an in-focus frame is displayed on the image display unit of the LCD 10, and the process proceeds to S13. Here, the out-of-focus frame is a frame that is displayed in a region where a subject is present or a predetermined region in the image area when the image is out of focus. Sets a frame of a different color (for example, yellow).

Ｓ８で、焦点評価値が以前取得した値に対して所定量以上減少している場合には、焦点評価値のピークを検出したとして、Ｓ９に進む。Ｓ９では、フォーカスレンズ群３の位置と焦点評価値の関係から補間計算などを行い、焦点評価値が極大値をとるフォーカスレンズ群３の位置を算出する。更に、極大値近傍の焦点評価値の変化曲線の信頼性を評価する。この信頼性評価では、求められた焦点評価値が、被写体の光学像が撮像素子上に結像したために極大値をとったのか、その他の外乱により極大値をとったのかを判定する。   In S8, when the focus evaluation value has decreased by a predetermined amount or more with respect to the previously acquired value, it is determined that the peak of the focus evaluation value has been detected, and the process proceeds to S9. In S9, interpolation calculation is performed from the relationship between the position of the focus lens group 3 and the focus evaluation value, and the position of the focus lens group 3 at which the focus evaluation value takes a maximum value is calculated. Furthermore, the reliability of the change curve of the focus evaluation value near the maximum value is evaluated. In this reliability evaluation, it is determined whether the obtained focus evaluation value takes a maximum value because an optical image of the subject is formed on the image sensor, or takes a maximum value due to other disturbances.

合焦判定の詳細な方法としては、例えば、特開２０１０−０７８８１０号公報の図１０から図１３で説明されているような方法を用いることができる。つまり、合焦状態を示す焦点評価値が山状になっているか否かを、焦点評価値の最大値と最小値の差、一定値（ＳｌｏｐｅＴｈｒ）以上の傾きで傾斜している部分の長さ、及び傾斜している部分の勾配から判断することで、合焦判定を行うことができる。   As a detailed method for determining the in-focus state, for example, a method described in FIGS. 10 to 13 of JP 2010-078810 A can be used. That is, whether or not the focus evaluation value indicating the in-focus state has a mountain shape is determined by the difference between the maximum value and the minimum value of the focus evaluation value, and the length of the portion inclined with a slope equal to or greater than a certain value (SlopeThr) By determining from the slope of the inclined portion, the focus determination can be performed.

次に、Ｓ１０で、検出した焦点評価値の極大値が信頼性の高い合焦位置であるか否かを判定する。焦点評価値の信頼性が低い場合には、Ｓ１４に戻り焦点調節を継続する。一方で、焦点評価値の信頼性が高く、合焦位置として適切であると判定された場合には、Ｓ１１に進み、算出された合焦位置にフォーカスレンズ群３を駆動する。次に、Ｓ１２に進み、ＬＣＤ１０の画像表示部に、合焦枠を表示する。ここで、合焦枠とは画像領域内でどこの領域が合焦しているかを示すための枠である。例えば、顔が合焦している場合は顔の領域に枠を表示する。また、合焦しているという状態が判別しやすいように枠に合焦を示す色（例えば緑色など）をつけて表示する。   Next, in S10, it is determined whether or not the detected maximum value of the focus evaluation value is a highly reliable focus position. When the reliability of the focus evaluation value is low, the process returns to S14 and the focus adjustment is continued. On the other hand, if it is determined that the focus evaluation value has high reliability and is suitable as a focus position, the process proceeds to S11, and the focus lens group 3 is driven to the calculated focus position. Next, proceeding to S12, a focusing frame is displayed on the image display unit of the LCD 10. Here, the in-focus frame is a frame for indicating which region in the image region is in focus. For example, when the face is in focus, a frame is displayed in the face area. In addition, the frame is displayed with an in-focus color (for example, green) so that the state of being in focus can be easily identified.

合焦表示を終えるとＳ１３に進み、フレームレートを第２の時間間隔から第１の時間間隔に変更する。この処理の目的は、合焦後まで、時間間隔の短い第２の時間間隔で撮像素子５の駆動を行うと電力消費が大きいためである。フレームレートの切替を終えるとＡＦ動作を終了する。   When the focus display is finished, the process proceeds to S13, and the frame rate is changed from the second time interval to the first time interval. The purpose of this process is that if the image sensor 5 is driven at a second time interval with a short time interval until after focusing, power consumption is large. When the frame rate switching is finished, the AF operation is finished.

図３のＳ２で行う焦点検出領域の表示は、事前に取得された被写体の位置情報に基づき表示し、ＡＦスキャン中には更新しない例を上述した。これは、焦点調節時間が十分に短い場合には、焦点検出領域の表示位置の更新を行わなくても、撮影者に対して違和感がないためである。ただし、被写体の移動速度が大きい場合には、上述の通り、ＡＦスキャン中に被写体の相対移動量情報に基づき焦点検出領域も移動する。その際、焦点検出領域の表示を更新してもよい。このように構成することにより、処理内容は増えるが、常に被写体の移動に追従した焦点検出領域の表示を行うことができる。   As described above, the focus detection area displayed in S2 of FIG. 3 is displayed based on the position information of the subject acquired in advance and is not updated during the AF scan. This is because when the focus adjustment time is sufficiently short, the photographer does not feel uncomfortable without updating the display position of the focus detection area. However, when the moving speed of the subject is high, the focus detection area also moves based on the relative movement amount information of the subject during the AF scan as described above. At that time, the display of the focus detection area may be updated. With this configuration, although the processing content increases, it is possible to always display the focus detection area that follows the movement of the subject.

次に、図５を参照しながら図３のＳ１における焦点検出領域設定処理について説明する。ここでは、図４で示した状況に対して、各種の検出領域を設定する。   Next, the focus detection area setting process in S1 of FIG. 3 will be described with reference to FIG. Here, various detection areas are set for the situation shown in FIG.

まず、Ｓ１０１で、被写体検出回路３０を用いて被写体の位置などの情報を取得するための領域である位置情報取得領域３０１の設定を行う。ここでは、事前の被写***置情報が無い場合には、撮影画面５００全体を位置情報取得領域として設定する。事前に被写***置情報を有しており、被写体の変化が少ないと判断される状況では、事前の被写***置情報を鑑みて、位置情報取得領域３０１を設定する。なお、事前の被写***置情報として、後述する相対移動量の情報を累積した情報を用いてもよい。また、本実施形態では、ＡＦ中は相対移動量に基づいて焦点検出領域３０３を更新するが、相対移動量を検出する度に累積した累積相対移動量を算出し、累積相対移動量を用いて次回の位置情報取得領域３０１を設定してもよい。被写***置情報と累積相対移動量の両方を用いる場合には、被写***置情報を取得する度に、累積相対移動量をリセットする。   First, in step S <b> 101, a position information acquisition area 301 that is an area for acquiring information such as the position of a subject is set using the subject detection circuit 30. Here, when there is no prior subject position information, the entire photographing screen 500 is set as a position information acquisition region. In a situation where the subject position information is included in advance and it is determined that there is little change in the subject, the position information acquisition region 301 is set in consideration of the subject position information in advance. Note that information obtained by accumulating information on the relative movement amount described later may be used as the prior subject position information. In this embodiment, the focus detection area 303 is updated based on the relative movement amount during AF. However, the accumulated relative movement amount is calculated every time the relative movement amount is detected, and the accumulated relative movement amount is used. The next position information acquisition area 301 may be set. When both the subject position information and the cumulative relative movement amount are used, the cumulative relative movement amount is reset every time the subject position information is acquired.

次に、Ｓ１０２では被写体検出回路３０から、検出した被写体情報（検出数、位置、大きさ、傾き）を取得し、Ｓ１０３へ進む。Ｓ１０３では、顔の数をカウントする変数ｉを０に初期化し、Ｓ１０４へ進む。Ｓ１０４では、検出された被写体検出領域３０４に対する焦点検出領域３０３の大きさを算出する。   Next, in S102, the detected subject information (detection number, position, size, inclination) is acquired from the subject detection circuit 30, and the process proceeds to S103. In S103, a variable i for counting the number of faces is initialized to 0, and the process proceeds to S104. In S104, the size of the focus detection area 303 with respect to the detected subject detection area 304 is calculated.

一般に、人の顔においては、毛髪、眉毛、目など黒色部や、鼻や口などの開口による印影部のコントラストが高く、焦点評価値は大きくなる。そのため、焦点検出領域３０３に、こういった高コントラスト部を含むように設定することが望ましい。   In general, in human faces, the contrast of black portions such as hair, eyebrows, and eyes, and imprinted portions due to openings such as nose and mouth is high, and the focus evaluation value is large. Therefore, it is desirable to set the focus detection area 303 so as to include such a high contrast portion.

また、顔部と背景のコントラストが高い場合にも、顔輪郭部の焦点評価値は大きくなる。しかしながら、顔の輪郭を焦点検出領域３０３が含む場合には、背景の影響による遠近競合が発生する場合がある。このような顔とその周囲の背景を含む焦点検出領域３０３における遠近競合としては、遠方の背景の絵柄にピントが合ってしまう場合や、顔の輪郭部である耳付近にピントが合い撮影者が意図する人物の目周辺にピントが合わない場合などが考えられる。   Also, when the contrast between the face portion and the background is high, the focus evaluation value of the face contour portion increases. However, when the focus detection area 303 includes the outline of the face, there may be a perspective conflict due to the influence of the background. Such perspective conflicts in the focus detection area 303 including the face and the surrounding background include a case where the background pattern is in focus or a case where the photographer is in focus near the ear that is the outline of the face. There may be cases where the focus is not around the intended person's eyes.

そのため、焦点検出領域３０３として顔の輪郭を含まないような領域を設定することで、ＡＦスキャン中に顔が動いた場合にも顔の輪郭が焦点評価値に与える影響を低減することができる。但し、顔の大きさが所定の大きさより小さい場合には、その限りではない。顔が小さい場合には、撮影距離が比較的遠いことが想定され、被写界深度が深くなることが考えられる。また、焦点検出領域内の情報量のＳ／Ｎ比の悪化も懸念される。これらの状況を鑑みて、適宜、顔の輪郭も含むように焦点検出領域３０３を設定すればよい。   Therefore, by setting an area that does not include the face outline as the focus detection area 303, the influence of the face outline on the focus evaluation value can be reduced even when the face moves during AF scanning. However, this is not the case when the face size is smaller than the predetermined size. When the face is small, it is assumed that the shooting distance is relatively long, and the depth of field may be deep. There is also a concern that the S / N ratio of the information amount in the focus detection area is deteriorated. In view of these situations, the focus detection area 303 may be set as appropriate so as to include the outline of the face.

上述したようにして顔の位置、大きさ、傾きの情報に基づいて、ｉ番目の顔の内部に焦点検出領域３０３を設定するとＳ１０５へ進み、ｉを１インクリメントしてＳ１０６へ進む。Ｓ１０６では、ｉが顔の検出数に等しいかどうかを調べ、等しくない場合はＳ１０４へ戻り、等しい場合はＳ１０７に進む。   As described above, when the focus detection area 303 is set inside the i-th face based on the face position, size, and tilt information, the process proceeds to S105, i is incremented by 1, and the process proceeds to S106. In S106, it is checked whether i is equal to the detected number of faces. If i is not equal, the process returns to S104, and if it is equal, the process proceeds to S107.

Ｓ１０７では、顔検出領域の位置および大きさから、撮影者が主被写体として意図している顔を推定し、検出された顔の優先度の設定を行う。ここで、画像領域内でもっとも中央付近にありかつ顔サイズが所定以上の顔を主顔とし、それ以外の検出した顔を副顔とする。つまり、検出した複数の顔の中から主被写体として選んだ顔が主顔である。主顔の焦点検出領域３０３は合焦位置決定のために使用する。一方、副顔の焦点検出領域３０３は合焦位置決定のためには使用しないが、合焦表示時に副顔の主領域のピーク位置と合焦位置が所定範囲内であるかを調べ、副顔のピーク位置と合焦位置が所定範囲内である場合は画像領域内の副顔の領域にも合焦枠を表示する。また、副顔は、主顔がＡＦスキャン後の合焦判定で、合焦不能と判定された場合に、合焦位置決定のために用いる。そのため、副顔についても、画像領域内の中央からの距離と顔サイズから、優先度を決定しておく。   In S107, the face intended by the photographer as the main subject is estimated from the position and size of the face detection area, and the priority of the detected face is set. Here, a face closest to the center in the image area and having a face size of a predetermined size or more is set as a main face, and other detected faces are set as sub-faces. That is, the face selected as the main subject from the plurality of detected faces is the main face. The main face focus detection area 303 is used for determining a focus position. On the other hand, the sub-face focus detection area 303 is not used for determining the in-focus position, but at the time of in-focus display, it is checked whether the peak position and the in-focus position of the main area of the sub-face are within a predetermined range. When the peak position and the in-focus position are within the predetermined range, the in-focus frame is also displayed in the sub-face area in the image area. The sub-face is used for determining the in-focus position when the main face is determined to be in-focus in the in-focus determination after AF scanning. For this reason, the priority of the sub-face is also determined based on the distance from the center in the image area and the face size.

Ｓ１０８では、移動量情報取得領域３０２の設定を行う。移動量情報取得領域３０２は、主顔の焦点検出領域３０３を包含するように設定される。上述したように、移動量情報取得領域３０２は、ＡＦスキャン中に被写体の移動量を検出する範囲である。そのため、被写体光学像の撮像素子５上での移動状況（速度、加速度）やＡＦスキャン中のフレームレートに応じて、ＡＦスキャン中に被写体（主顔）が領域外に出ることのないように設定するのが好ましい。被写体光学像の撮像素子５上での移動状況は、被写体移動や撮影者の手振れによる情報を用いて推定してもよい。Ｓ１０８を終えると、焦点検出領域設定処理を終了する。   In S108, the movement amount information acquisition area 302 is set. The movement amount information acquisition area 302 is set so as to include the focus detection area 303 of the main face. As described above, the movement amount information acquisition area 302 is a range in which the movement amount of the subject is detected during the AF scan. Therefore, according to the movement state (speed, acceleration) of the subject optical image on the image sensor 5 and the frame rate during the AF scan, the subject (main face) is set not to go out of the area during the AF scan. It is preferable to do this. The movement state of the subject optical image on the image sensor 5 may be estimated using information about the subject movement or the camera shake of the photographer. When S108 ends, the focus detection area setting process ends.

次に、図６のフローチャートを参照しながら、図３のＳ６における相対移動量の取得と焦点検出領域の設定処理について説明する。ここでは、Ｓ１で設定された移動量情報取得領域３０２を用いて、ＡＦスキャン中の被写体の相対移動量を検出し、検出された移動量に基づいて焦点検出領域３０３の更新を行う。   Next, the relative movement amount acquisition and focus detection region setting processing in S6 of FIG. 3 will be described with reference to the flowchart of FIG. Here, the movement amount information acquisition area 302 set in S1 is used to detect the relative movement amount of the subject during the AF scan, and the focus detection area 303 is updated based on the detected movement amount.

Ｓ６０１では、撮像素子５から出力された信号を用いて、移動量情報取得領域３０２におけるラインピーク評価値を算出し記憶する。次に、Ｓ６０２で、以前のフレームにおけるラインピーク評価値を含む複数のラインピーク評価値を記憶しているかどうかを判定する。記憶していない場合には、本サブルーチンを終了する。   In S <b> 601, the line peak evaluation value in the movement amount information acquisition region 302 is calculated and stored using the signal output from the image sensor 5. Next, in S602, it is determined whether or not a plurality of line peak evaluation values including the line peak evaluation values in the previous frame are stored. If it is not stored, this subroutine is terminated.

Ｓ６０２で以前のフレームにおける撮像素子５からの出力信号を含む複数フレームのラインピーク評価値を記憶している場合には、Ｓ６０３で相対移動量の取得を行う。相対移動量は、ＣＰＵ１５により、２つのラインピーク評価値の像ずれ量を算出することにより求める。図７に、ラインピーク評価値の例を示す。図７において、ｎ枚目のフレームの信号から得られたラインピーク評価値をＡ（ｋ）（第１の単位評価値群）、ｎ＋１枚目のフレームの信号から得られたラインピーク評価値をＢ（ｋ）（第２の単位評価値群）と表している。ｋは、移動量情報取得領域３０２内における垂直方向の行番号を示しており、ｋ行目のラインピーク値をＡ（ｋ）、Ｂ（ｋ）と表している。   When the line peak evaluation values of a plurality of frames including the output signal from the image sensor 5 in the previous frame are stored in S602, the relative movement amount is acquired in S603. The relative movement amount is obtained by the CPU 15 calculating the image shift amount between the two line peak evaluation values. FIG. 7 shows an example of the line peak evaluation value. In FIG. 7, the line peak evaluation value obtained from the signal of the nth frame is A (k) (first unit evaluation value group), and the line peak evaluation value obtained from the signal of the (n + 1) th frame is B (k) (second unit evaluation value group). k indicates the row number in the vertical direction in the movement amount information acquisition region 302, and the line peak values in the k-th row are represented as A (k) and B (k).

像ずれ量を算出するに当たり２つの信号（Ａ（ｋ）、Ｂ（ｋ））をシフトさせながら、相関演算を行って、相関量ＣＯＲを下記の式により算出する。   In calculating the image shift amount, the correlation calculation is performed while shifting the two signals (A (k) and B (k)), and the correlation amount COR is calculated by the following equation.

Figure 2015152742
式（１）において、ｓ1はシフト量、Γ１はシフト量ｓ1のシフト範囲である。シフト量ｓ1のシフト処理により、ｋ番目の第１信号Ａ（ｋ）と（ｋ−ｓ1）番目の第２信号Ｂ（ｋ−ｓ1）を対応させて減算し、シフト減算信号を生成する。そして生成されたシフト減算信号の絶対値を計算し、移動量情報取得領域３０２に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（ｓ1）を算出する。
Figure 2015152742
In Expression (1), s 1 is a shift amount, and Γ 1 is a shift range of the shift amount s 1 . By shifting the shift amount s 1 , the k-th first signal A (k) and the (k−s 1 ) th second signal B (k−s 1 ) are correspondingly subtracted to generate a shift subtraction signal. To do. Then, the absolute value of the generated shift subtraction signal is calculated, the number k is summed within the range W corresponding to the movement amount information acquisition area 302, and the correlation amount COR (s 1 ) is calculated.

更に、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して、図７に示すような像ずれ量ｍ１を得る。ここで算出された像ずれ量ｍ１は、垂直方向の被写体の相対移動量と対応する。なお、垂直方向にもＡＦ用評価値を算出できる構成の場合には、同様にして水平方向の相対移動量ｍ２を算出する。   Further, a real-valued shift amount at which the correlation amount becomes the minimum value is calculated from the correlation amount by sub-pixel calculation to obtain an image shift amount m1 as shown in FIG. The image shift amount m1 calculated here corresponds to the amount of relative movement of the subject in the vertical direction. If the AF evaluation value can be calculated also in the vertical direction, the horizontal relative movement amount m2 is calculated in the same manner.

上述の例では、輝度信号Ｙから計算されたラインピーク評価値を用いていたが、ベイヤー配列の撮像素子からの信号であるＲＧＢ（赤、緑、青）を用いてラインピーク評価値を算出してもよい。この場合、ＲＧの行とＧＢの行が存在するため、ラインピーク評価値は、偶数行と奇数行で区別して算出する。これにより、上述の処理と同様にして像ずれ量の取得を行うことができる。   In the above example, the line peak evaluation value calculated from the luminance signal Y is used. However, the line peak evaluation value is calculated using RGB (red, green, blue) which is a signal from the image sensor with the Bayer array. May be. In this case, since there are RG rows and GB rows, the line peak evaluation values are calculated separately for even rows and odd rows. As a result, the amount of image shift can be acquired in the same manner as the above-described processing.

次に、Ｓ６０４にて、信頼性判定手段としてのＣＰＵ１５は、像ずれ量の算出に用いた１対のラインピーク評価値Ａ（ｋ）、Ｂ（ｋ）の信頼性を算出する。信頼性の算出方法としては、位相差方式の焦点検出で用いられている方法を用いればよい。例えば、特開２００７−５２０７２号公報に開示されているＳレベルを用い、Ｓレベルの値の大きさによって、算出された像ずれ量の信頼性を測ることができる。本実施形態では、フォーカスレンズ群３を移動しながら得られた撮像素子５の出力信号を用いて像ずれ量を算出する。そのため、デフォーカス状態の異なる１対のラインピーク評価値を用いて相対移動量を算出する。大きくデフォーカスした状態で得られた１対のラインピーク評価値から信頼性の高い像ずれ量を算出することは困難であるため、Ｓレベルなどを用いて信頼性判定を行う。   Next, in S604, the CPU 15 as the reliability determination unit calculates the reliability of the pair of line peak evaluation values A (k) and B (k) used for calculating the image shift amount. As a reliability calculation method, a method used in phase difference type focus detection may be used. For example, using the S level disclosed in Japanese Patent Application Laid-Open No. 2007-52072, the reliability of the calculated image shift amount can be measured by the magnitude of the value of the S level. In the present embodiment, the image shift amount is calculated using the output signal of the image sensor 5 obtained while moving the focus lens group 3. Therefore, the relative movement amount is calculated using a pair of line peak evaluation values with different defocus states. Since it is difficult to calculate a highly reliable image shift amount from a pair of line peak evaluation values obtained in a largely defocused state, reliability determination is performed using the S level or the like.

次に、Ｓ６０５で、得られた相対移動量（像ずれ量）の信頼性が有るか否かを判定する。信頼性が無い場合には、本サブルーチンを終了する。信頼性が有る場合には、Ｓ６０６に進み、求めた相対移動量に応じて焦点検出領域３０３の位置をシフトすることで、焦点検出領域３０３の更新を行う。ここで行う焦点検出領域３０３の更新は、焦点検出領域３０３内の水平方向の焦点評価値（全ライン積分評価値）を算出する際に行う垂直方向のラインピーク値の積分範囲とラインピーク値を算出する水平方向の範囲を決めるものである。   Next, in S605, it is determined whether or not the obtained relative movement amount (image shift amount) is reliable. If there is no reliability, this subroutine is terminated. If there is reliability, the process proceeds to S606, and the focus detection area 303 is updated by shifting the position of the focus detection area 303 according to the obtained relative movement amount. The update of the focus detection area 303 is performed by changing the integration range and the line peak value of the vertical line peak value when calculating the horizontal focus evaluation value (total line integration evaluation value) in the focus detection area 303. The horizontal range to be calculated is determined.

図７は、ラインピーク評価値Ａ（ｋ）、Ｂ（ｋ）が取得される移動量情報取得領域３０２、更新前の焦点検出領域３０３、更新後の焦点検出領域３０３を合わせて示している。移動量情報取得領域３０２内において、更新前の焦点検出領域３０３で算出される焦点評価値がａ行目からｂ行目の積分値であった場合に、更新後の焦点検出領域３０３が（ａ＋ｍ１）行目から（ｂ＋ｍ１）行目とする。すなわち、更新後には、（ａ＋ｍ１）行目から（ｂ＋ｍ１）行目の範囲でラインピーク値の積分を行うことにより焦点評価値を算出する。   FIG. 7 also shows a movement amount information acquisition region 302 from which line peak evaluation values A (k) and B (k) are acquired, a focus detection region 303 before update, and a focus detection region 303 after update. In the movement amount information acquisition area 302, when the focus evaluation value calculated in the focus detection area 303 before update is an integral value from the a-th line to the b-th line, the updated focus detection area 303 is (a + m1). ) From line (b + m1). That is, after the update, the focus evaluation value is calculated by integrating the line peak value in the range from the (a + m1) th line to the (b + m1) th line.

また、水平方向の相対移動量ｍ２が算出されている場合には、焦点検出領域３０３の水平方向の範囲を更新する。更新前の焦点検出領域３０３がｃ列目からｄ列目であった場合、更新後の焦点検出領域３０３は（ｃ＋ｍ２）列目から（ｄ＋ｍ２）列目の範囲でラインピーク値を積分し焦点評価値を算出する。   When the horizontal relative movement amount m2 is calculated, the horizontal range of the focus detection area 303 is updated. When the focus detection area 303 before the update is from the c-th column to the d-th column, the focus detection area 303 after the update integrates the line peak value in the range of the (c + m2) -th column to the (d + m2) -th column and evaluates the focus. Calculate the value.

次に、Ｓ６０７に進むと、垂直、水平方向の相対移動量ｍ１、ｍ２を用いて、次に撮像素子５から得られる信号から各種ＡＦ用評価値を算出する際に用いるように、移動量情報取得領域３０２の更新を行う。これは、移動量情報取得領域３０２内の特徴的な情報が領域外に移動することを防ぐために行う。   Next, when the process proceeds to S607, the movement amount information is used to calculate various AF evaluation values from the signals obtained from the image sensor 5 using the relative movement amounts m1 and m2 in the vertical and horizontal directions. The acquisition area 302 is updated. This is performed to prevent characteristic information in the movement amount information acquisition area 302 from moving outside the area.

なお、Ｓ６０７で行う移動量情報取得領域３０２の更新は、検出された移動量の大小により省略してもよい。すなわち、所定値より小さい値が移動量として検出された場合には、移動量情報取得領域３０２の更新は行わなくてもよい。また、移動量情報取得領域３０２の更新は、垂直、水平方向の相対移動量ｍ１、ｍ２の累積値を用いて行ってもよい。累積相対移動量を用いる場合には、上述の焦点検出領域３０３を設定する際に用いる相対移動量ｍ１、ｍ２に対して、より分解能の高い情報を有していることが望ましい。例えば、像ずれ量ｍ１が、３．２画素であると得られた場合、焦点検出領域３０３は像ずれ量m１を四捨五入し、ｍ１＝３でよい。一方、累積相対移動量を算出する際には、四捨五入により発生する誤差も累積してしまうため、像ずれ量ｍ１＝３．２画素を用いて累積相対移動量を算出する方が、より精度良い値を得ることができる。   Note that the update of the movement amount information acquisition area 302 performed in S607 may be omitted depending on the detected movement amount. That is, when a value smaller than the predetermined value is detected as the movement amount, the movement amount information acquisition area 302 need not be updated. Further, the movement amount information acquisition area 302 may be updated using the cumulative value of the relative movement amounts m1 and m2 in the vertical and horizontal directions. When the cumulative relative movement amount is used, it is desirable to have information with higher resolution with respect to the relative movement amounts m1 and m2 used when setting the focus detection region 303 described above. For example, when the image shift amount m1 is obtained as 3.2 pixels, the focus detection area 303 rounds off the image shift amount m1, and m1 = 3. On the other hand, when calculating the cumulative relative movement amount, errors generated due to rounding are also accumulated. Therefore, it is more accurate to calculate the cumulative relative movement amount using the image shift amount m1 = 3.2 pixels. A value can be obtained.

Ｓ６０７を終えると、相対移動量の取得と焦点検出領域の設定処理を終了し、Ｓ７に進む。   When S607 ends, the relative movement amount acquisition and focus detection area setting processing ends, and the process proceeds to S7.

なお、本実施形態では、焦点検出方法として、コントラスト検出式の焦点検出方法を用いたが、焦点検出方法はこれに限られるものではない。例えば、撮像素子上に焦点検出用画素を配した位相差方式の焦点検出方法を用いてもよく、例えば、特開２０１２−６３３９６号公報に開示されているような技術を用いることができる。その場合には、図３のＳ７で、位相差検出によりデフォーカス量に対応する像ずれ量を取得し、Ｓ１０に進めばよい。   In this embodiment, a contrast detection type focus detection method is used as the focus detection method, but the focus detection method is not limited to this. For example, a phase difference type focus detection method in which focus detection pixels are arranged on the image sensor may be used. For example, a technique disclosed in Japanese Patent Application Laid-Open No. 2012-63396 may be used. In that case, an image shift amount corresponding to the defocus amount is acquired by phase difference detection in S7 of FIG. 3, and the process proceeds to S10.

次に、図８を用いて、図３で説明したＡＦ動作を行う場合の被写体の位置情報の取得と相対移動量の取得のタイミングの一例について説明する。図８において、横軸は時間を示しており、Ｆ１からＦ１６は撮像素子５の出力信号の取得時刻を示している。Ｆ１からＦ４までは、第１の時間間隔で撮像素子５の出力信号を取得している。Ｆ４でＡＦ動作が開始されると、より間隔の短い第２の時間間隔に変更され、撮像素子５の出力信号を取得する。また、Ｆ１４でＡＦ動作を終えると再び、第１の時間間隔に変更している。   Next, with reference to FIG. 8, an example of acquisition timing of the subject position information and acquisition of the relative movement amount when the AF operation described in FIG. 3 is performed will be described. In FIG. 8, the horizontal axis indicates time, and F1 to F16 indicate acquisition times of output signals of the image sensor 5. From F1 to F4, the output signal of the image sensor 5 is acquired at the first time interval. When the AF operation is started in F4, the second time interval is changed to a shorter interval, and the output signal of the image sensor 5 is acquired. When the AF operation is finished in F14, the time interval is changed again to the first time interval.

本実施形態では、第１の時間間隔の間は、事前に設定された位置情報取得領域３０１の情報を用いて被写***置情報の取得を行う。被写***置情報の取得方法としては、公知の顔検出や色情報などを用いた動きベクトルの算出、パターンマッチングなどが用いられる。すなわち、被写***置情報の取得では、検出される情報量が、位置、大きさ、傾き、個人認証などと多く、検出に必要な演算が多く、時間が必要となる。そのため、図８では、第１の時間間隔の２回に１回、被写***置情報の更新が行われている場合を示している。   In the present embodiment, the subject position information is acquired using the information in the position information acquisition area 301 set in advance during the first time interval. As a method for acquiring the subject position information, known face detection, calculation of a motion vector using color information, pattern matching, or the like is used. That is, in the acquisition of subject position information, the amount of information to be detected is large, such as position, size, inclination, personal authentication, etc., and many calculations are necessary for detection, and time is required. Therefore, FIG. 8 shows a case where the subject position information is updated once every two times of the first time interval.

一方、第２の時間間隔で撮像素子５の出力信号を取得する場合には、相対移動量の取得を毎フレーム行う。相対移動量の取得の特徴は、位置情報取得領域３０１に対して狭い領域を移動量情報取得領域３０２とし、演算内容を簡略化することにより、より高速な情報算出を行うことができる点である。   On the other hand, when the output signal of the image sensor 5 is acquired at the second time interval, the relative movement amount is acquired every frame. The feature of acquiring the relative movement amount is that a region narrower than the position information acquisition region 301 is used as the movement amount information acquisition region 302, and the calculation content is simplified, so that information can be calculated at higher speed. .

本実施形態では、ＡＦ動作開始後、複数フレームの画像信号が取得されると、相対移動量が算出される（Ｆ５以降）。これにより、Ｆ３とＦ４の間で得られた被写***置情報を初期値とした相対移動量による焦点検出領域３０３の更新を行う。時系列に複数のデータを取得して焦点検出を行う場合には、得られた時系列のデータが被写体の同一領域から得られた信号であることが望ましい。これは、コントラスト検出式の焦点検出の場合には、ピーク位置の検出の精度に係わり、位相差方式の焦点検出の場合には、被写体移動の予測処理の精度に係わる。これにより、本実施形態では、焦点検出中に、フレームレートを高速に切り替えることにより焦点調節を高速に行うと共に、焦点検出領域３０３を高速に被写体の移動に追従させることができ、高精度な焦点検出を行うことができる。   In the present embodiment, when an image signal of a plurality of frames is acquired after the AF operation is started, the relative movement amount is calculated (after F5). Thereby, the focus detection area 303 is updated by the relative movement amount using the subject position information obtained between F3 and F4 as an initial value. When focus detection is performed by acquiring a plurality of data in time series, it is desirable that the obtained time series data is a signal obtained from the same region of the subject. This is related to the accuracy of peak position detection in the case of contrast detection type focus detection, and to the accuracy of subject movement prediction processing in the case of phase difference type focus detection. Thus, in the present embodiment, during focus detection, the focus rate can be adjusted at high speed by switching the frame rate at high speed, and the focus detection area 303 can be made to follow the movement of the subject at high speed. Detection can be performed.

ＡＦ動作を終えると、Ｆ１４以降は、出力信号の取得間隔が、第１の時間間隔に変更され、再び、被写***置情報の取得を行う。   When the AF operation is finished, after F14, the output signal acquisition interval is changed to the first time interval, and the subject position information is acquired again.

以上説明した実施形態では、被写体の相対移動量の検出を、ラインピーク評価値の経時変化（像ずれ量）を用いて行ったが、検出方法はこれに限らない。例えば、輝度信号Ｙのラインピーク値を用いてもよい。また、代表的な行や列として、例えば、焦点検出領域内の中心の行や列を選択し、その行や列の輝度信号を用いて像ずれ量を算出してもよい。ただし、ラインピーク評価値を用いて相対移動量の検出を行う利点については上述した通りである。   In the embodiment described above, the detection of the relative movement amount of the subject is performed using the temporal change (image shift amount) of the line peak evaluation value, but the detection method is not limited to this. For example, the line peak value of the luminance signal Y may be used. Further, as a representative row or column, for example, a central row or column in the focus detection region may be selected, and the image shift amount may be calculated using the luminance signal of that row or column. However, the advantage of detecting the relative movement amount using the line peak evaluation value is as described above.

また、被写体の相対移動量の検出は、検出の方向によって使い分けてもよい。例えば、水平方向にのみＡＦ評価を行う際は、水平方向の焦点評価値の算出過程で算出されるラインピーク評価値を用いて、被写体の垂直方向の相対移動量を算出し、被写体の水平方向の相対移動量は、輝度信号を用いて行ってもよい。これにより、演算負荷を低減したまま、水平、垂直方向の被写体の相対移動量を検出することができる。   Further, the detection of the relative movement amount of the subject may be used depending on the detection direction. For example, when performing AF evaluation only in the horizontal direction, the relative movement amount in the vertical direction of the subject is calculated using the line peak evaluation value calculated in the process of calculating the focus evaluation value in the horizontal direction, and the horizontal direction of the subject is calculated. The relative movement amount may be performed using a luminance signal. Thereby, it is possible to detect the relative movement amount of the subject in the horizontal and vertical directions while reducing the calculation load.

また、撮像素子５に焦点検出用画素を配し、位相差方式の焦点検出を行うことが可能な場合には、本発明の相対移動量は、焦点検出用画素の出力信号を用いて行ってもよい。その場合、撮影光学系の射出瞳上の異なる領域を通過した光束を受光する焦点検出用画素対の内、一方の焦点検出用画素を用いて、ラインピーク評価値や輝度信号を算出し相対移動量の算出を行えばよい。   In addition, when a focus detection pixel is arranged on the image sensor 5 and phase difference type focus detection is possible, the relative movement amount of the present invention is performed using the output signal of the focus detection pixel. Also good. In this case, the line peak evaluation value and the luminance signal are calculated using one of the focus detection pixel pairs that receive light beams that have passed through different areas on the exit pupil of the photographing optical system, and the relative movement is calculated. The amount may be calculated.

更に、本実施形態では、図３のＳ６で相対移動量の取得を、撮像素子５で信号を取得する度に行うように構成したが、相対移動量の取得を省いてもよい。例えば、事前に得られた焦点評価値が小さい等、デフォーカス量が大きいことが想定される場合には、ラインピーク評価値の算出や相対移動量の算出を省略しても、焦点検出精度に影響を与えない。これにより、焦点調節中の演算負荷を低減することができる。   Furthermore, in this embodiment, the acquisition of the relative movement amount is performed every time a signal is acquired by the image sensor 5 in S6 of FIG. 3, but the acquisition of the relative movement amount may be omitted. For example, if the amount of defocus is assumed to be large, such as when the focus evaluation value obtained in advance is small, the calculation of the line peak evaluation value and the calculation of the relative movement amount can be omitted, and the focus detection accuracy can be improved. Does not affect. Thereby, the calculation load during focus adjustment can be reduced.

以上説明したように、本実施形態によれば、焦点検出前後の被写体情報の取得方法を変更することにより、フレームレートによらず、画面内の被写体の位置検出を高精度に行うことを可能にする。これにより、焦点検出方法によらず、焦点検出精度を高めることができる。   As described above, according to the present embodiment, it is possible to detect the position of the subject in the screen with high accuracy regardless of the frame rate by changing the acquisition method of the subject information before and after the focus detection. To do. Thereby, the focus detection accuracy can be increased regardless of the focus detection method.

なお、上述した第１の実施形態の撮像装置では、フォーカスレンズ群３を駆動することにより焦点調節を行う場合について説明したが、撮像素子５を光軸方向に駆動することにより焦点調節を行う構成であっても構わない。   In the imaging apparatus according to the first embodiment described above, the focus adjustment is performed by driving the focus lens group 3. However, the focus adjustment is performed by driving the imaging element 5 in the optical axis direction. It does not matter.

＜変形例＞
図８では、図３のＡＦ動作を実現するためのタイミングの一例を示したが、変形例として図９を説明する。図９は図８と同様に、図３で説明したＡＦ動作を行う場合の被写体の位置情報の取得と相対移動量の取得のタイミングの一例である。図８で横軸は時間を示しており、Ｆ１からＦ１６は撮像素子５の出力信号の取得時刻を示している。Ｆ１からＦ４までは、第１の時間間隔で焦点検出データを取得している。Ｆ４でＡＦ動作が開始されると、より間隔の短い第２の時間間隔に変更され焦点検出データを取得する。また、Ｆ１４でＡＦ動作を終えると再び、第１の時間間隔に変更している様子を示している。 <Modification>
FIG. 8 shows an example of the timing for realizing the AF operation of FIG. 3, but FIG. 9 will be described as a modified example. FIG. 9 is an example of the timing of acquisition of the position information of the subject and the acquisition of the relative movement amount when the AF operation described in FIG. 3 is performed, as in FIG. In FIG. 8, the horizontal axis indicates time, and F1 to F16 indicate acquisition times of output signals of the image sensor 5. From F1 to F4, focus detection data is acquired at a first time interval. When the AF operation is started at F4, the focus detection data is acquired by changing to the second time interval having a shorter interval. In addition, when the AF operation is finished in F14, the state is changed again to the first time interval.

図８との違いは、第１の時間間隔で焦点検出データを取得している間にも相対移動量を取得している点である。被写***置情報の取得は上述の通り時間がかかるため、第１の時間間隔の２回に１回、位置情報の更新が行われている。一方、相対移動量は、より高速に情報を取得することができるため、図９の例では、位置情報の取得中も相対移動量を取得し、被写体の位置情報を補間して、より高精度な検出を可能にする。これにより、第１の時間間隔の間も相対移動量を取得するため、演算量は増えるが、ＡＦ開始のタイミングが、例えばＦ２とＦ３の間のように、位置情報取得のタイミングと離れている場合でも、相対移動量により高精度な被写***置情報を得ることができる。   The difference from FIG. 8 is that the relative movement amount is acquired even while the focus detection data is acquired at the first time interval. Since the acquisition of the subject position information takes time as described above, the position information is updated once every two times of the first time interval. On the other hand, since the relative movement amount can acquire information at a higher speed, in the example of FIG. 9, the relative movement amount is acquired even during the acquisition of the position information, and the position information of the subject is interpolated to obtain higher accuracy. Enable accurate detection. Thereby, since the relative movement amount is acquired even during the first time interval, the amount of calculation increases, but the AF start timing is separated from the position information acquisition timing, for example, between F2 and F3. Even in this case, it is possible to obtain highly accurate subject position information based on the relative movement amount.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

＜第２の実施形態＞
次に、図１０を参照して本発明の第２の実施形態について説明する。第２の実施形態は、ＡＦ動作における処理が、図３を参照して第１の実施形態で説明した処理と異なる。第１の実施形態との主な違いは、相対移動量を算出する度に、累積相対移動量も算出し、累積相対移動量の大小を判定する点である。累積相対移動量が大きい場合には、被写体の位置情報を誤検出している場合や、相対移動量の算出精度が悪い場合が考えられるため、再度焦点調節を行う。これにより、相対移動量により焦点検出領域を更新する際に、焦点検出精度の悪化が懸念される場合の焦点検出を回避することができ、最終的に得られる焦点検出精度を向上することができる。 <Second Embodiment>
Next, a second embodiment of the present invention will be described with reference to FIG. In the second embodiment, the processing in the AF operation is different from the processing described in the first embodiment with reference to FIG. The main difference from the first embodiment is that every time the relative movement amount is calculated, the cumulative relative movement amount is also calculated and the magnitude of the cumulative relative movement amount is determined. If the cumulative relative movement amount is large, it may be possible that the position information of the subject is erroneously detected or the relative movement amount calculation accuracy is poor. Therefore, focus adjustment is performed again. Thereby, when updating the focus detection area with the relative movement amount, it is possible to avoid focus detection when there is a concern about deterioration of focus detection accuracy, and it is possible to improve the focus detection accuracy finally obtained. .

なお、撮像装置の構成及び上記を除く処理は、第１の実施形態で説明したものと同様であるので、説明を省略する。以下、図１０を参照して第２の実施形態におけるＡＦ動作について説明するが、図３と同様の処理を行う箇所については、同じステップ番号を付し、説明を省略する。   Note that the configuration of the imaging apparatus and the processes other than those described above are the same as those described in the first embodiment, and thus description thereof is omitted. Hereinafter, the AF operation in the second embodiment will be described with reference to FIG. 10, but the same step numbers are assigned to the portions where the same processing as in FIG. 3 is performed, and the description is omitted.

図１０のＳ２１では、Ｓ６で算出された相対移動量を累積し、Ｓ２２で、累積相対移動量が所定値より大きいか否かを判定する。所定値より小さい場合には、Ｓ７に進む。   In S21 of FIG. 10, the relative movement amount calculated in S6 is accumulated, and in S22, it is determined whether or not the accumulated relative movement amount is larger than a predetermined value. If smaller than the predetermined value, the process proceeds to S7.

累積相対移動量が所定値より大きい場合には、Ｓ２３に進み、再度焦点調節をやり直すため、ＡＦ開始位置へフォーカスレンズ群３を駆動する。例えば、ＡＦ開始位置として、無限距離の被写体に焦点が合う状態となるようフォーカスレンズ群３を移動する。   If the accumulated relative movement amount is larger than the predetermined value, the process proceeds to S23, and the focus lens group 3 is driven to the AF start position in order to perform focus adjustment again. For example, the focus lens group 3 is moved so that the subject at an infinite distance is in focus as the AF start position.

次に、Ｓ２４では、焦点検出領域３０３の設定を再度行う。ここで行う処理は、Ｓ１で行う処理と同様である。その後、Ｓ２５で累積相対移動量のリセットを行い、Ｓ５に進む。これにより、累積相対移動量が大きい場合には、焦点検出領域３０３の設定を再度、被写***置情報の取得からやり直した上で行うことができる。これは、相対移動量の算出は、算出の度に検出誤差を含んでいるため、その誤差の積み重ねにより、撮影者が焦点調節を行いたい被写体とは異なる領域の焦点検出を行ってしまう可能性が有るために行う処理である。また、別の目的として、被写体の移動量が大きく、焦点評価値を算出するために主要な特徴量を含む領域が、移動量情報取得領域３０２や焦点検出領域３０３から外れてしまうことを防ぐために行う。   Next, in S24, the focus detection area 303 is set again. The process performed here is the same as the process performed in S1. Thereafter, the accumulated relative movement amount is reset in S25, and the process proceeds to S5. As a result, when the accumulated relative movement amount is large, the focus detection area 303 can be set again after the acquisition of the subject position information. This is because the calculation of the relative movement amount includes a detection error every time it is calculated, and the accumulation of the error may cause the photographer to perform focus detection in a region different from the subject to be focused. This process is performed because of As another object, in order to prevent the movement amount of the subject from being large and the region including the main feature amount for calculating the focus evaluation value from deviating from the movement amount information acquisition region 302 and the focus detection region 303. Do.

以上の理由から、再度焦点調節を行うため、累積相対移動量の大きさだけではなく、相対移動量の計算回数の大小や相対移動量算出時の信頼性判定により、再度焦点調節を行うか否かを判定してもよい。   For the above reasons, in order to perform focus adjustment again, whether or not to perform focus adjustment again based not only on the amount of accumulated relative movement amount but also on the basis of the number of times of calculation of relative movement amount and the reliability determination at the time of relative movement calculation. It may be determined.

なお、累積相対移動量は、第１の実施形態に記載した通り、上述の焦点検出領域３０３を設定する際に用いる相対移動量ｍ１、ｍ２に対して、より分解能の高い情報を有していることが望ましい。   As described in the first embodiment, the cumulative relative movement amount has information with higher resolution than the relative movement amounts m1 and m2 used when setting the focus detection region 303 described above. It is desirable.

上記の通り第２の実施形態によれば、相対移動量の算出時の誤差や被写体の移動に影響されず、高精度な焦点調節を行うことができる。   As described above, according to the second embodiment, high-precision focus adjustment can be performed without being affected by an error in calculating the relative movement amount and the movement of the subject.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

Claims (12)

撮影光学系を介して入射した光を光電変換して、設定された時間間隔で画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号に基づいて、焦点状態を検出するために用いる領域を示す焦点検出領域を設定する設定手段と、
前記撮像手段から異なるタイミングで出力された２つの画像信号に基づいて、前記焦点検出領域の移動量を算出する算出手段と、
焦点調節処理の実行の指示に応じて、前記撮像手段に設定する時間間隔を、第１の時間間隔から、該第１の時間間隔よりも短い第２の時間間隔に切り替えるとともに、前記設定手段による前記焦点検出領域の設定を行わないように制御する制御手段と、
前記焦点調節処理の実行の指示に応じて、前記算出手段により算出された移動量に基づいて、前記焦点検出領域の位置を更新する更新手段と、
前記焦点検出領域の画像信号に基づいて、焦点調節を行う焦点調節手段と
を有することを特徴とする撮像装置。 Imaging means for photoelectrically converting light incident through the imaging optical system and outputting image signals at set time intervals;
Setting means for setting a focus detection area indicating an area used for detecting a focus state based on an image signal output from the imaging means;
Calculation means for calculating a movement amount of the focus detection region based on two image signals output at different timings from the imaging means;
In response to an instruction to execute the focus adjustment process, the time interval set in the imaging unit is switched from the first time interval to a second time interval shorter than the first time interval, and the setting unit Control means for controlling not to set the focus detection area;
Updating means for updating the position of the focus detection area based on the movement amount calculated by the calculation means in response to an instruction to execute the focus adjustment processing;
An imaging apparatus comprising: a focus adjustment unit that performs focus adjustment based on an image signal of the focus detection region. 前記制御手段は、前記焦点調節処理の実行の指示に応じて、前記設定手段による前記焦点検出領域の設定から前記更新手段による前記焦点検出領域の位置の更新に切り替え、前記焦点調節処理の終了に応じて、前記更新手段による前記焦点検出領域の位置の更新から、前記設定手段による前記焦点検出領域の設定に戻すことを特徴とする請求項１に記載の撮像装置。   The control means switches from the setting of the focus detection area by the setting means to the update of the position of the focus detection area by the update means in response to an instruction to execute the focus adjustment process, and ends the focus adjustment process. The imaging apparatus according to claim 1, wherein the setting unit returns the setting of the focus detection area to the setting of the focus detection area by updating the position of the focus detection area by the updating unit. 前記焦点調節処理の終了に応じて、前記撮像手段に設定する時間間隔を、前記第２の時間間隔から、前記第１の時間間隔に戻すことを特徴とする請求項１または２に記載の撮像装置。   3. The imaging according to claim 1, wherein a time interval set in the imaging unit is returned from the second time interval to the first time interval in accordance with the end of the focus adjustment process. apparatus. 前記設定手段は、前記撮像手段から出力された画像信号のうち、予め決められた第１の領域に含まれる前記画像信号に基づいて被写体の領域を検出し、該検出された被写体の領域内に、前記焦点検出領域を設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。   The setting unit detects a region of a subject based on the image signal included in a predetermined first region among the image signals output from the imaging unit, and within the detected region of the subject The imaging apparatus according to any one of claims 1 to 3, wherein the focus detection area is set. 前記算出手段は、前記撮像手段から出力された画像信号のうち、前記焦点検出領域を含む予め決められた第２の領域の画像信号を用いて、前記焦点検出領域の移動量を取得することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。   The calculation means obtains a movement amount of the focus detection area using an image signal of a predetermined second area including the focus detection area among the image signals output from the imaging means. The imaging apparatus according to claim 1, wherein the imaging apparatus is characterized. 前記算出手段は、
前記異なるタイミングで出力された前記第２の領域の画像信号それぞれについて、予め決められた第１の方向の前記画像信号の特徴量を表す値を単位評価値として、前記第１の方向に直交する第２の方向に複数の前記単位評価値を取得して単位評価値群を得る取得手段と、
前記異なるタイミングで前記取得手段により得られた複数の単位評価値群の間で相関演算を行う相関演算手段と、
前記相関演算手段による前記相関演算の結果を用いて、前記移動量を算出する移動量算出手段と
を有することを特徴とする請求項５に記載の撮像装置。 The calculating means includes
For each image signal of the second region output at the different timing, a value representing the feature amount of the image signal in a predetermined first direction is used as a unit evaluation value and is orthogonal to the first direction. Obtaining means for obtaining a plurality of unit evaluation values in a second direction to obtain a unit evaluation value group;
Correlation calculation means for performing correlation calculation among a plurality of unit evaluation value groups obtained by the acquisition means at the different timings;
The imaging apparatus according to claim 5, further comprising: a movement amount calculation unit that calculates the movement amount using a result of the correlation calculation performed by the correlation calculation unit. 前記単位評価値は、前記画像信号の前記第１の方向の輝度のピーク値または積算値であることを特徴とする請求項６に記載の撮像装置。   The image pickup apparatus according to claim 6, wherein the unit evaluation value is a peak value or an integrated value of luminance in the first direction of the image signal. 前記相関演算の結果の信頼性を判定する信頼性判定手段を更に有し、
前記信頼性が予め決められた信頼性よりも低い場合に、前記更新手段は、前記焦点検出領域の更新を行わないことを特徴とする請求項６または７に記載の撮像装置。 A reliability determination means for determining the reliability of the result of the correlation calculation;
The imaging apparatus according to claim 6 or 7, wherein when the reliability is lower than a predetermined reliability, the update unit does not update the focus detection area. 前記撮像手段から出力された画像信号から、予め決められた周波数の画像信号を抽出する抽出手段を更に有し、
前記焦点調節手段は、前記抽出手段により抽出された画像信号を用いて、焦点調節を行うことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。 An extraction means for extracting an image signal having a predetermined frequency from the image signal output from the imaging means;
The imaging apparatus according to claim 1, wherein the focus adjustment unit performs focus adjustment using the image signal extracted by the extraction unit. 前記算出手段により算出された移動量を累積する累積手段を更に有し、
前記累積された移動量が予め決められた移動量よりも大きい場合に、前記更新手段は、前記焦点検出領域の更新を行わないことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。 And further comprising an accumulating unit for accumulating the movement amount calculated by the calculating unit,
The update means does not update the focus detection area when the accumulated movement amount is larger than a predetermined movement amount. 10. Imaging device. 前記累積された移動量が予め決められた移動量よりも大きい場合に、前記制御手段は、前記設定手段に前記焦点検出領域の設定を行うように制御することを特徴とする請求項１０に記載の撮像装置。   11. The control unit according to claim 10, wherein the control unit controls the setting unit to set the focus detection area when the accumulated movement amount is larger than a predetermined movement amount. Imaging device. 撮像手段が、撮影光学系を介して入射した光を光電変換して、設定された時間間隔で画像信号を出力する撮像工程と、
設定手段が、前記撮像工程で出力された画像信号に基づいて、焦点状態を検出するために用いる領域を示す焦点検出領域を設定する設定工程と、
算出手段が、前記撮像工程で異なるタイミングで出力された２つの画像信号に基づいて、前記焦点検出領域の移動量を算出する算出工程と、
制御手段が、焦点調節処理の実行の指示に応じて、前記撮像手段に設定する時間間隔を、第１の時間間隔から、該第１の時間間隔よりも短い第２の時間間隔に切り替えるとともに、前記設定手段による前記焦点検出領域の設定を行わないように制御する制御工程と、
更新手段が、前記焦点調節処理の実行の指示に応じて、前記算出工程で算出された移動量に基づいて、前記焦点検出領域の位置を更新する更新工程と、
焦点調節手段が、前記焦点検出領域の画像信号に基づいて、焦点調節を行う焦点調節工程と
を有することを特徴とする撮像装置の制御方法。 An imaging step in which an imaging unit photoelectrically converts light incident through the imaging optical system and outputs an image signal at a set time interval;
A setting step for setting a focus detection region indicating a region used for detecting a focus state based on the image signal output in the imaging step;
A calculating step for calculating a movement amount of the focus detection region based on two image signals output at different timings in the imaging step;
The control means switches the time interval set in the imaging means from the first time interval to a second time interval shorter than the first time interval in response to an instruction to execute the focus adjustment process, A control step of controlling not to set the focus detection area by the setting means;
An update step of updating the position of the focus detection region based on the movement amount calculated in the calculation step in response to an instruction to execute the focus adjustment process;
A focus adjustment unit comprising: a focus adjustment step of performing focus adjustment based on an image signal of the focus detection region.
JP2014025925A 2014-02-13 2014-02-13 Imaging device and control method thereof Pending JP2015152742A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014025925A JP2015152742A (en) 2014-02-13 2014-02-13 Imaging device and control method thereof
US14/619,765 US20150227023A1 (en) 2014-02-13 2015-02-11 Focus control apparatus and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014025925A JP2015152742A (en) 2014-02-13 2014-02-13 Imaging device and control method thereof

Publications (1)

Publication Number Publication Date
JP2015152742A true JP2015152742A (en) 2015-08-24

Family

ID=53895062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014025925A Pending JP2015152742A (en) 2014-02-13 2014-02-13 Imaging device and control method thereof

Country Status (1)

Country Link
JP (1) JP2015152742A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016213744A (en) * 2015-05-12 2016-12-15 キヤノン株式会社 Subject tracking device, optical device, imaging device, control method of object tracking device, and program
JP2019203959A (en) * 2018-05-22 2019-11-28 キヤノン株式会社 Imaging device and control method therefor
JP2020046637A (en) * 2018-09-21 2020-03-26 キヤノン株式会社 Control device, image capturing device, control method, and program
JP2021043914A (en) * 2019-09-13 2021-03-18 富士通株式会社 Image processor, image processing method, and image processing program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016213744A (en) * 2015-05-12 2016-12-15 キヤノン株式会社 Subject tracking device, optical device, imaging device, control method of object tracking device, and program
JP2019203959A (en) * 2018-05-22 2019-11-28 キヤノン株式会社 Imaging device and control method therefor
JP7118737B2 (en) 2018-05-22 2022-08-16 キヤノン株式会社 Imaging device and its control method
JP2020046637A (en) * 2018-09-21 2020-03-26 キヤノン株式会社 Control device, image capturing device, control method, and program
JP7289621B2 (en) 2018-09-21 2023-06-12 キヤノン株式会社 Control device, imaging device, control method, and program
JP2021043914A (en) * 2019-09-13 2021-03-18 富士通株式会社 Image processor, image processing method, and image processing program

Similar Documents

Publication Publication Date Title
US9426350B2 (en) Image capturing apparatus and control method thereof
US8175447B2 (en) Image pickup apparatus and control method therefor
JP5589527B2 (en) Imaging apparatus and tracking subject detection method
US9843735B2 (en) Image processing apparatus, imaging apparatus comprising the same, and image processing method
JP6116277B2 (en) Imaging apparatus and control method thereof
US11258948B2 (en) Image pickup apparatus, control method of image pickup apparatus, and storage medium
US20160088215A1 (en) Focus adjustment apparatus and control method therefor
US10313577B2 (en) Focus detection apparatus, focus detection method, and image capturing apparatus
JP2012049773A (en) Imaging apparatus and method, and program
US9706131B2 (en) Image combining apparatus for generating a combined image from a plurality of images, image combining system, and image combining method
JP6338347B2 (en) Imaging apparatus and control method thereof
JP6381274B2 (en) Imaging device, control method thereof, and control program
US11310410B2 (en) Image capturing apparatus, method of controlling same, and storage medium
JP2015152742A (en) Imaging device and control method thereof
US9325897B2 (en) Image capture apparatus with automatic focus detection and method for controlling the same
US20150227023A1 (en) Focus control apparatus and control method therefor
JP6595797B2 (en) Imaging apparatus and control method thereof
JP2018056703A (en) Imaging device and imaging apparatus
CN107529019B (en) Image pickup apparatus, control method thereof, and computer readable medium
JP2013160991A (en) Imaging apparatus
JP2018010023A (en) Focusing control device, focusing control method, focusing control program, lens device, and imaging apparatus
JP2014077976A (en) Focusing device and imaging apparatus using the same
JP2015152830A (en) Imaging device and control method thereof, program, and storage medium
JP4871664B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
US10447937B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area