JP2008089811A

JP2008089811A - Imaging apparatus and control method therefor

Info

Publication number: JP2008089811A
Application number: JP2006268841A
Authority: JP
Inventors: Meiji Ito; 明治伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-09-29
Filing date: 2006-09-29
Publication date: 2008-04-17
Anticipated expiration: 2026-09-29
Also published as: JP4871691B2

Abstract

<P>PROBLEM TO BE SOLVED: To shorten a period of time required to detect a focus, when a plurality of objects are detected. <P>SOLUTION: When the plurality of objects are detected, a focus detection area is moved corresponding to an estimated subject distance, when an imaging optical system moves in the infinite direction from a close range, or in a close-range direction from infinity, and focusing states in the focus detection areas, corresponding to the respective objects, are respectively detected in the imaging apparatus. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、焦点調節機能を備えた撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus having a focus adjustment function and a control method thereof.

焦点調節機能を備えた撮像装置は、撮像素子に結像した被写体画像のコントラストを電気信号に変換した後、ＨＰＦ（ハイパスフイルタ）によって増幅する。そして、この増幅された電気信号の波形の解析結果に基づいて撮像装置の焦点を被写体に合わせる（合焦する）ことにより焦点調節を実行する。 An imaging apparatus having a focus adjustment function converts the contrast of a subject image formed on an imaging element into an electric signal, and then amplifies it by an HPF (High Pass Filter). Then, based on the analysis result of the waveform of the amplified electrical signal, focus adjustment is performed by focusing (focusing) the imaging apparatus on the subject.

上記撮像装置は、増幅された電気信号の波形が、撮像装置の焦点が被写体に合っていないときはなだらかになり、撮像装置の焦点が被写体に合っているときは急峻になるということを利用する。そして、レンズ駆動に合わせて撮像された複数の被写体画像のうち波形が最も急峻になる位置（合焦位置）にレンズを移動させる。 The imaging apparatus utilizes the fact that the waveform of the amplified electrical signal becomes gentle when the imaging apparatus is not focused on the subject and becomes sharp when the imaging apparatus is focused on the subject. . Then, the lens is moved to a position (focus position) where the waveform is steepest among a plurality of subject images picked up in accordance with lens driving.

上記焦点調節は、一般的に、撮像素子面の中央部又は複数の領域を焦点検出領域として行われる。 In general, the focus adjustment is performed using a central portion or a plurality of regions on the image sensor surface as a focus detection region.

例えば、従来の焦点調節機能を備えた撮像装置の１つは、人物である被写体の顔全体を焦点検出領域として焦点検出領域までの距離を検出する。そして、この検出された距離に基づき、被写体までの距離が被写界深度内となるように、焦点位置、レンズ焦点距離、及び絞り値を調節する（特許文献１参照）。 For example, one imaging device having a conventional focus adjustment function detects the distance to the focus detection region using the entire face of the subject, which is a person, as the focus detection region. Then, based on the detected distance, the focal position, the lens focal length, and the aperture value are adjusted so that the distance to the subject is within the depth of field (see Patent Document 1).

ここで、被写界深度とは、被写体が鮮明に写る深度方向の範囲（合焦範囲）のことであり、撮像装置から被写体までの距離、レンズ焦点距離、及び絞り値によって変化する。撮像装置から被写体までの距離が長く、レンズ焦点距離が短く、絞り値が大きい場合においては、撮像装置から被写体までの距離が被写界深度内となり、撮像装置は焦点調節を行わなくても被写体を鮮明に写すことができる。 Here, the depth of field is a range in the depth direction (focusing range) where the subject is clearly captured, and changes depending on the distance from the imaging device to the subject, the lens focal length, and the aperture value. If the distance from the imaging device to the subject is long, the lens focal length is short, and the aperture value is large, the distance from the imaging device to the subject is within the depth of field, and the imaging device does not adjust the focus. Can be copied clearly.

また、従来のデジタルカメラには、次のようなものがあった。まず、顔の大きさが所定値以上か否か判別し、判別結果に応じて焦点検出領域を設定し、顔の大きさ又は目の幅から被写体までの距離を演算し、フォーカスレンズの移動範囲を制限する。そして、複数の顔を検出した場合は、所定の顔に合焦する（例えば、特許文献２参照）。
特許第３１６４６９２号特開平２００４−３１７６９９号公報 The conventional digital cameras include the following. First, determine whether the face size is greater than or equal to a predetermined value, set the focus detection area according to the determination result, calculate the distance from the face size or eye width to the subject, and move the focus lens Limit. When a plurality of faces are detected, the predetermined face is focused (for example, see Patent Document 2).
Japanese Patent No. 3164692 Japanese Patent Laid-Open No. 2004-317699

しかしながら、上述した従来の撮像装置は、複数の顔検出時に精度の良い焦点調節を行うことができなかった。また、焦点調節を実行する際に費やされる焦点調節に要する焦点検出時間を短縮することができなかった。このため、複数の顔の中から１つの顔を選択する必要があり、検出された複数の顔に対し合焦することができないという課題があった。 However, the above-described conventional imaging apparatus cannot perform focus adjustment with high accuracy when detecting a plurality of faces. In addition, it is not possible to shorten the focus detection time required for focus adjustment that is consumed when focus adjustment is performed. For this reason, it is necessary to select one face from a plurality of faces, and there is a problem in that it is impossible to focus on a plurality of detected faces.

本発明の目的は、複数の顔検出が検出された場合に焦点調節に要する時間を短縮することにある。 An object of the present invention is to reduce the time required for focus adjustment when a plurality of face detections are detected.

上記目的を達成するために、本発明の技術的特徴としては、フォーカスレンズを含む撮像光学系により結像された対象物像を撮像して得られた画像信号から対象物を検出する対象物検出工程と、前記検出された対象物の情報から被写体距離を推定する被写体距離推定工程と、前記画像信号中の前記対象物のある領域に焦点検出領域を設定する設定工程と前記焦点検出領域における画像信号に基づいて、前記撮像光学系の合焦状態を検出する焦点検出工程とを有し、前記焦点検出工程では、前記対象物が複数検出された場合に、至近から無限方向、又は無限から至近方向に前記撮像光学系が移動している際に、前記推定された被写体距離に対応させて前記焦点検出領域を移動させて、それぞれの対象物に対応する焦点検出領域における合焦状態をそれぞれ検出するよう制御することを特徴とする。 In order to achieve the above object, the technical feature of the present invention is to detect an object from an image signal obtained by imaging an object image formed by an imaging optical system including a focus lens. A subject distance estimating step for estimating a subject distance from information on the detected object, a setting step for setting a focus detection region in a region where the object is present in the image signal, and an image in the focus detection region A focus detection step of detecting a focusing state of the imaging optical system based on a signal, and in the focus detection step, when a plurality of the objects are detected, the closest to infinite direction or the infinite to the closest When the imaging optical system is moving in the direction, the focus detection area is moved in correspondence with the estimated subject distance, and the in-focus state in the focus detection area corresponding to each object And controlling so as to detect, respectively.

複数の顔検出が検出された場合であっても焦点調節に要する時間を短縮することができる。 Even when a plurality of face detections are detected, the time required for focus adjustment can be shortened.

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本発明の実施の形態に係る撮像装置のブロック構成を概略的に示す図である。 FIG. 1 is a diagram schematically showing a block configuration of an imaging apparatus according to an embodiment of the present invention.

図１において、撮像装置は、本体１００と、レンズユニット３００（撮像光学系）を備える。本体１００は、人物である被写体（対象物像）を撮像して画像信号を出力する撮像素子１０１、撮像素子１０１から出力されるアナログ信号をディジタル信号（画像データ）に変換するＡ／Ｄ変換器１０２を備える。 In FIG. 1, the imaging apparatus includes a main body 100 and a lens unit 300 (imaging optical system). The main body 100 includes an image sensor 101 that captures a subject (object image) that is a person and outputs an image signal, and an A / D converter that converts an analog signal output from the image sensor 101 into a digital signal (image data). 102.

また、本体１００は、Ａ／Ｄ変換された画像データを蓄積する画像蓄積バッファ１０３、画像蓄積バッファ１０３から取得した画像データから被写体の顔（対象物）の情報（目の位置情報、顔座標等を含む）を検出する顔情報検出回路１０４を備える。 The main body 100 also stores an image storage buffer 103 for storing A / D-converted image data, information on the face of the subject (object) from the image data acquired from the image storage buffer 103 (eye position information, face coordinates, etc. Including a face information detection circuit 104.

また、本体１００は、検出された被写体の顔の情報に基づいて顔のサイズを判別する顔サイズ判別部１０５、撮像素子１０１の焦点検出を実行すると共に、レンズ焦点距離及び絞り値を出力するカメラ制御部（制御手段）１０６を備える。 In addition, the main body 100 performs a focus detection of the face size determination unit 105 that determines the face size based on the detected face information of the subject and the image sensor 101, and outputs a lens focal length and an aperture value. A control unit (control means) 106 is provided.

また、本体１００は、顔サイズ判別部１０５により判別された顔のサイズ（顔サイズ情報）、及びカメラ制御部１０６により出力されたレンズ焦点距離に基づいて撮像素子１０１から被写体までの被写体距離を推定する被写体距離推定部１０７を備える。 Further, the main body 100 estimates the subject distance from the image sensor 101 to the subject based on the face size (face size information) determined by the face size determining unit 105 and the lens focal length output by the camera control unit 106. A subject distance estimation unit 107 that performs the processing.

また、カメラ制御部１０６は、被写体距離推定部１０７により推定された被写体距離、及び自身により出力されたレンズ焦点距離、絞り値に基づいて、被写界深度を算出する。 Further, the camera control unit 106 calculates the depth of field based on the subject distance estimated by the subject distance estimation unit 107 and the lens focal length and aperture value output by itself.

また、カメラ制御部１０６は、撮像素子１０１の焦点検出を制御する焦点検出（ＡＦ）制御部１０８を内蔵する。カメラ制御部１０６は、さらに、露出（ＡＥ）制御部（不図示）等も備え、上記焦点検出制御に加えて露出制御をも実行し、本体１００全体の撮像制御を行う。 In addition, the camera control unit 106 includes a focus detection (AF) control unit 108 that controls focus detection of the image sensor 101. The camera control unit 106 further includes an exposure (AE) control unit (not shown) and the like, and executes exposure control in addition to the focus detection control to perform imaging control of the entire main body 100.

また、レンズユニット３００内のズームレンズ及びフォーカスレンズを含む撮像レンズ３０１に入射した光線は、絞り３０２、レンズマウント３０３、１０９、ミラー１１０及びシャッタ１１１を通じて導かれた撮像素子１０１上に光学像として結像する。絞り３０２、レンズマウント３０３はレンズユニット３００内に設けられ、レンズマウント１０９、ミラー１１０及びシャッタ１１１は本体１００内に設けられる。 In addition, light rays incident on the imaging lens 301 including the zoom lens and the focus lens in the lens unit 300 are coupled as an optical image on the imaging element 101 guided through the diaphragm 302, the lens mounts 303 and 109, the mirror 110, and the shutter 111. Image. The diaphragm 302 and the lens mount 303 are provided in the lens unit 300, and the lens mount 109, the mirror 110, and the shutter 111 are provided in the main body 100.

本体１００内のシャッタ制御部１１２は、測光情報に基づいて絞り３０２を制御する絞り制御部３０４と連携しながらシャッタ１１１を制御する。 A shutter control unit 112 in the main body 100 controls the shutter 111 in cooperation with an aperture control unit 304 that controls the aperture 302 based on photometric information.

レンズユニット３００内の焦点検出制御部３０５は、カメラ制御部１１０６からの制御信号を基に、撮像レンズ３０１のフォーカシングを制御する。レンズユニット３００内のズーム制御部３０６は、撮像レンズ３０１のズーミングを制御する。レンズユニット３００内のレンズシステム制御回路３０７はレンズユニット３００全体を制御する。 A focus detection control unit 305 in the lens unit 300 controls focusing of the imaging lens 301 based on a control signal from the camera control unit 1106. A zoom control unit 306 in the lens unit 300 controls zooming of the imaging lens 301. A lens system control circuit 307 in the lens unit 300 controls the entire lens unit 300.

レンズシステム制御回路３０７は、不揮発メモリの機能も備えている。そして、動作用の定数、変数、プログラムなどを記憶するメモリやレンズユニット３００固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する。 The lens system control circuit 307 also has a nonvolatile memory function. Then, identification information such as a memory and a number unique to the lens unit 300 for storing operation constants, variables, programs, etc., management information, function information such as an open aperture value, minimum aperture value, focal length, current and past Holds the setting value.

レンズユニット３００内のインターフェース３０８は、レンズマウント３０３内でレンズユニット３００を本体１００と接続するためのインターフェースである。コネクタ３０９、１１３はレンズユニット３００と本体１００とを電気的に接続する。コネクタ３０９はレンズユニット３００内に設けられ、コネクタ１１３は本体１００内に設けられる。本体１００内のインターフェース１１４は、レンズマウント１０６内で本体１００をレンズユニット３００と接続する。 An interface 308 in the lens unit 300 is an interface for connecting the lens unit 300 to the main body 100 in the lens mount 303. The connectors 309 and 113 electrically connect the lens unit 300 and the main body 100. The connector 309 is provided in the lens unit 300, and the connector 113 is provided in the main body 100. An interface 114 in the main body 100 connects the main body 100 to the lens unit 300 in the lens mount 106.

また、本体１００は、撮像した画像データに必要な信号処理を行うカメラ信号処理回路１１５、本体１００から取り外し可能な画像記録媒体１１６、信号処理された画像データを画像記録媒体１１６に記録する記録回路１１７を備える。また、本体１００は、信号処理された画像データを表示する表示装置１１８、表示装置１１８に画像を表示する表示回路１１９を備える。 In addition, the main body 100 includes a camera signal processing circuit 115 that performs signal processing necessary for captured image data, an image recording medium 116 that is removable from the main body 100, and a recording circuit that records the signal processed image data on the image recording medium 116. 117. The main body 100 also includes a display device 118 that displays signal-processed image data, and a display circuit 119 that displays an image on the display device 118.

本撮像装置の特徴は、焦点調節機能を有する点であるので、カメラ制御部１０６の露出（ＡＥ）制御部等の説明は省略する。 Since this imaging apparatus has a focus adjustment function, description of the exposure (AE) control unit and the like of the camera control unit 106 is omitted.

顔情報検出回路１０４は、後述する図５のパターン認識処理を実行して画像データから顔の情報を検出する。この顔の画像データの検出方法は多数ある。 The face information detection circuit 104 detects the face information from the image data by executing a pattern recognition process shown in FIG. There are many methods for detecting the face image data.

例えば、パターン認識を用いる方法以外に、ニューラルネットワーク等による学習を用いる方法、物理的な形状における特徴のある部位を画像領域から抽出する方法、検出した顔の肌の色や目の形等の画像特徴量を統計的に解析する方法等がある。さらに、実用化が検討されている方法としては、ウェーブレット変換と画像特徴量を利用する方法等がある。 For example, in addition to the method using pattern recognition, a method using learning by a neural network or the like, a method of extracting a characteristic part of a physical shape from an image region, an image such as a detected skin color or eye shape There is a method for statistically analyzing feature quantities. Furthermore, methods that have been studied for practical use include a method that uses wavelet transform and image feature amounts.

ここで、パターン認識とは、抽出されたパターンを予め定められた概念（クラス）の１つに対応（マッチング）させる処理であり、テンプレートマッチングとは、型紙を意味するテンプレートを画像上で移動させながら、画像とテンプレートとを比較する方法である。 Here, pattern recognition is a process of matching (matching) an extracted pattern with one of predetermined concepts (classes), and template matching is a process of moving a template that means a pattern on the image. However, this is a method of comparing an image with a template.

例えば、「対象物体の位置検出」、「運動物体の追跡」、及び「撮像時期の異なる画像の位置合わせ」等に利用することができ、特に、目と鼻といった物理的形状を画像領域から抽出するといった顔の情報の検出に有用な方法である。 For example, it can be used for “position detection of target objects”, “tracking moving objects”, and “position alignment of images with different imaging timings”, and in particular, physical shapes such as eyes and nose are extracted from image areas This is a useful method for detecting facial information such as.

顔サイズ判別部１０３は、顔情報検出回路１０２によって検出された顔の情報から顔領域（顔座標）におけるピクセル数をカウントし、このピクセル数により顔のサイズを判別する。 The face size determination unit 103 counts the number of pixels in the face area (face coordinates) from the face information detected by the face information detection circuit 102, and determines the size of the face based on the number of pixels.

顔サイズ判別部１０５は、顔情報検出回路１０４によって検出された顔の情報（目の位置情報）に基づいて目の間隔を算出し、予め求めておいた目の間隔と顔のサイズ（ピクセル数）との統計的関係（図２）を用いてテーブル化し、顔のサイズを判別してもよい。また、顔の四隅（所定位置）の座標値から顔領域におけるピクセル数をカウントすることにより、顔のサイズを判別してもよい。 The face size determination unit 105 calculates the eye interval based on the face information (eye position information) detected by the face information detection circuit 104, and obtains the eye interval and face size (number of pixels) obtained in advance. ) And a statistical relationship (FIG. 2) and a face size may be determined. Further, the face size may be determined by counting the number of pixels in the face area from the coordinate values of the four corners (predetermined positions) of the face.

被写体距離推定部１０７は、顔のサイズに基づいて撮像装置から被写体までの被写体距離を推定する。具体的には、被写体距離推定部１０７は、以下のように被写体距離を推定する。 The subject distance estimation unit 107 estimates the subject distance from the imaging device to the subject based on the face size. Specifically, the subject distance estimation unit 107 estimates the subject distance as follows.

即ち、顔サイズ判別部１０５により判別された顔のサイズ（ピクセル数）と、顔のサイズ（ピクセル数）及び被写体距離の関係を示したグラフ（図３（ａ））を基に作成されたレンズ焦点距離３８ｍｍ（広角）時の変換テーブルとを参照して被写体距離を推定する。 That is, a lens created based on a graph (FIG. 3A) showing the relationship between the face size (number of pixels) determined by the face size determination unit 105, the face size (number of pixels), and the subject distance. The subject distance is estimated with reference to the conversion table when the focal length is 38 mm (wide angle).

ズーム時におけるレンズ焦点距離が３８ｍｍでないときは、（３８／ズーム時におけるレンズ焦点距離（ｍｍ））及び（判別した顔のサイズ）の積算値を用いて、上記変換テーブルを参照する。 When the lens focal length during zooming is not 38 mm, the conversion table is referred to using the integrated value of (38 / lens focal length during zooming (mm)) and (determined face size).

図４は、図１における顔情報検出回路によって実行されるパターン認識処理の手順を示すフローチャートである。 FIG. 4 is a flowchart showing a procedure of pattern recognition processing executed by the face information detection circuit in FIG.

本説明では、並行して図５を参照する。 In this description, FIG. 5 is referred to in parallel.

図４において、まず、画像蓄積バッファ１０３から取得した画像データ５０３（図５）を前処理し（ステップＳ４０１）、前処理された顔の画像データから特徴的部分のパターンを抽出する（ステップＳ４０２）する。 4, first, the image data 503 (FIG. 5) acquired from the image accumulation buffer 103 is preprocessed (step S401), and the pattern of the characteristic part is extracted from the preprocessed face image data (step S402). To do.

抽出されたパターンをテンプレート（標準パターン）５０１（図５）に対応させる（テンプレートマッチング）ことにより、認識パターンを取得する（ステップＳ４０３）。そして、取得された認識パターンを顔サイズ判別部１０５に出力して（ステップＳ４０４）、パターン認識処理を終了する。 A recognition pattern is acquired by associating the extracted pattern with a template (standard pattern) 501 (FIG. 5) (template matching) (step S403). Then, the acquired recognition pattern is output to the face size determination unit 105 (step S404), and the pattern recognition process is terminated.

上記テンプレートマッチングは、以下のように行われる。 The template matching is performed as follows.

図５において、まず、テンプレート５０１の中心点５０２を、取得した画像データ５０３のある座標点（ｉ，ｊ）に置く。そして、この中心点５０２を走査しながら、テンプレート５０１と画像データ５０３との重なり部分の類似度を計算して、類似度が最大になる位置を決定する。 In FIG. 5, first, the center point 502 of the template 501 is placed at a certain coordinate point (i, j) of the acquired image data 503. Then, while scanning the center point 502, the similarity of the overlapping portion between the template 501 and the image data 503 is calculated, and the position where the similarity is maximized is determined.

顔の画像データ５０３から抽出されたパターンを、例えば目や耳等の形状を含むテンプレート５０１にマッチングさせることにより、目の位置情報や顔領域（顔座標）を取得することができる。 By matching the pattern extracted from the face image data 503 with, for example, a template 501 including shapes such as eyes and ears, it is possible to acquire eye position information and face regions (face coordinates).

図６は、図１の撮像装置によって実行される撮像処理の手順を示すフローチャートである。 FIG. 6 is a flowchart illustrating a procedure of imaging processing executed by the imaging apparatus of FIG.

図６において、まず、撮像素子１０１において被写体を撮像して被写体の画像データを取得し（ステップＳ６０１）、取得された画像データから顔情報検出回路１０４において顔の情報を検出したか否かを判定する（ステップＳ６０２）。顔の情報が検出されたときは、検出された顔の数をカウントする（ステップＳ６０３）。 In FIG. 6, first, a subject is imaged by the image sensor 101 to acquire image data of the subject (step S601), and it is determined whether or not face information is detected by the face information detection circuit 104 from the acquired image data. (Step S602). When face information is detected, the number of detected faces is counted (step S603).

焦点検出制御部１０８は、顔の情報を検出したときは、顔サイズ判別部１０５において判別された顔の情報に基づいて顔のサイズを算出する（ステップＳ６０４）。この算出された顔のサイズに基づいて被写体距離推定部１０７で被写体距離を推定し（ステップＳ６０５）、検出された顔に対して最適な焦点検出領域と焦点検出範囲を記憶する（ステップＳ６０６）。 When the focus detection control unit 108 detects the face information, the focus detection control unit 108 calculates the face size based on the face information determined by the face size determination unit 105 (step S604). Based on the calculated face size, the subject distance estimation unit 107 estimates the subject distance (step S605), and stores the optimum focus detection area and focus detection range for the detected face (step S606).

全画面の画像データについて顔検出が終了したならば（ステップＳ６０７でＹＥＳ）、検出された顔の推定距離から、近側又は遠側から焦点検出領域のソートと焦点検出範囲のソートを行う（ステップＳ６０８）。 If face detection is completed for the image data of the entire screen (YES in step S607), the focus detection area and focus detection range are sorted from the near side or the far side from the estimated distance of the detected face (step S607). S608).

焦点検出制御部１０８は、図７、図８に示すように、検出された顔に応じて焦点検出領域（７０１、７０２）と焦点検出範囲（８０１、８０２）を設定した後、推定された被写体距離周辺で焦点検出を行う。そして、合焦位置検出が終了し、撮像（ステップＳ６０９）を行い、本処理を終了する。 The focus detection control unit 108 sets the focus detection area (701, 702) and the focus detection range (801, 802) according to the detected face as shown in FIGS. Focus detection is performed around the distance. Then, the in-focus position detection ends, imaging (step S609) is performed, and this process ends.

ここでいう焦点検出とは、焦点検出領域における画像信号に基づいてフォーカスレンズの合焦状態を示すＡＦ評価値を取得し、合焦状態が最大となるフォーカスレンズの合焦位置を検出する動作のことである。焦点検出範囲は、検出されたそれぞれの顔に対応するそれぞれの焦点検出領域の画像信号を取得する際に、それぞれの顔に対応したフォーカスレンズの移動範囲のことである。そして、推定された被写体距離及びその周辺部の焦点検出範囲において、ＡＦ評価値を取得し合焦状態を検出できるように、どのフォーカスレンズ位置でどの顔に対応する焦点検出領域のＡＦ評価値を得るのかをＳ６０６で設定しておく。このとき、至近から無限方向、又は無限から至近方向に一方向にフォーカスレンズが移動している間に、順に、焦点検出ができるよう焦点検出領域や焦点検出範囲を設定する。 Focus detection here refers to an operation of acquiring an AF evaluation value indicating the focus state of the focus lens based on the image signal in the focus detection region, and detecting the focus position of the focus lens that maximizes the focus state. That is. The focus detection range is a movement range of the focus lens corresponding to each face when acquiring the image signal of each focus detection area corresponding to each detected face. Then, the AF evaluation value of the focus detection area corresponding to which face at which focus lens position is obtained so that an AF evaluation value can be acquired and the in-focus state can be detected in the estimated subject distance and the focus detection range in the periphery thereof. Whether to obtain is set in S606. At this time, a focus detection area and a focus detection range are set in order so that focus detection can be performed while the focus lens is moving in one direction from close to infinity or from infinity to close.

図示していないが、検出された全ての顔について焦点検出動作を行い、その後に全ての合焦した顔についてフォーカスレンズを合焦位置に移動し撮像してもよい。このとき顔が複数検出されればその顔の数だけ撮像される。 Although not shown, the focus detection operation may be performed for all detected faces, and then the focus lens may be moved to the in-focus position and imaged for all in-focus faces. At this time, if a plurality of faces are detected, as many images as the number of faces are detected.

また上述したように、フォーカスレンズの至近から無限方向、又は無限から至近方向の移動範囲の中に、焦点検出範囲（推定された被写体距離とその周辺範囲）がある構成となっている。このため、焦点検出範囲以外のフォーカスレンズの移動範囲においては、フォーカスレンズの移動速度を焦点検出範囲よりも速く動かすようにすることによって、焦点検出の高速化を図ることもできる。 Further, as described above, the focus detection range (the estimated subject distance and its peripheral range) is included in the movement range from the closest to the infinite direction or the infinite to the closest direction of the focus lens. For this reason, in the movement range of the focus lens other than the focus detection range, the focus detection speed can be increased by moving the movement speed of the focus lens faster than the focus detection range.

本実施の形態の撮像装置は、フォーカスレンズをそれぞれの顔に対して最適な位置で撮像可能となる。そのため、顔以外の被写体が被写界深度外になるようなポートレート撮像に適した絞り値や、検出された顔と植物や建物などの被写体が被写界深度内となるスナップ撮像に適した絞り値など、絞り値を変えて複数枚撮像してもよい。合焦した顔に合焦マークを付加し表示装置１１８に画像を表示する（合焦表示）。 The imaging apparatus according to the present embodiment can image the focus lens at an optimal position with respect to each face. Therefore, it is suitable for aperture imaging suitable for portrait imaging where subjects other than the face are outside the depth of field, and for snap imaging where the detected face and subjects such as plants and buildings are within the depth of field. A plurality of images may be taken with different aperture values such as an aperture value. A focus mark is added to the focused face and an image is displayed on the display device 118 (focus display).

本発明の実施の形態に係る撮像装置のブロック構成を概略的に示す図である。It is a figure showing roughly the block composition of the imaging device concerning an embodiment of the invention. 図１における顔情報検出回路によって検出された顔の情報としての目の間隔と顔のサイズとの関係を示すグラフである。2 is a graph showing the relationship between eye spacing and face size as face information detected by the face information detection circuit in FIG. 1. 図１の撮像装置が被写体距離を推定する際に用いる変換テーブルグラフであり、（ａ）は被写体距離と顔のサイズとの関係の変換テーブルを示し、（ｂ）は被写体距離と顔のサイズ（画像中に占める割合）との関係の変換テーブルを示す。2 is a conversion table graph used when the imaging apparatus of FIG. 1 estimates a subject distance, (a) shows a conversion table of the relationship between subject distance and face size, and (b) shows subject distance and face size ( A conversion table of the relationship with the ratio in the image). 図１における顔情報検出回路によって実行されるパターン認識処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the pattern recognition process performed by the face information detection circuit in FIG. 図４のパターン認識処理におけるマッチングの一例であるテンプレートマッチングを説明する図である。It is a figure explaining the template matching which is an example of the matching in the pattern recognition process of FIG. 図１の撮像装置によって実行される撮像処理の手順を示すフローチャートである。3 is a flowchart illustrating a procedure of imaging processing executed by the imaging device of FIG. 1. 焦点検出領域を説明する図である。It is a figure explaining a focus detection area. 焦点検出範囲を説明する図である。It is a figure explaining a focus detection range.

符号の説明Explanation of symbols

１００撮像装置
１０１撮像素子
１０４顔情報検出回路
１０５顔サイズ判別部
１０６カメラ制御部
１０７被写体距離推定部
１０８焦点検出制御部 DESCRIPTION OF SYMBOLS 100 Imaging device 101 Image pick-up element 104 Face information detection circuit 105 Face size discrimination | determination part 106 Camera control part 107 Subject distance estimation part 108 Focus detection control part

Claims

フォーカスレンズを含む撮像光学系により結像された対象物像を撮像して得られた画像信号から対象物を検出する対象物検出手段と、
前記検出された対象物の情報から被写体距離を推定する被写体距離推定手段と、
前記画像信号の前記対象物のある領域に焦点検出領域を設定する設定手段と、
前記焦点検出領域における画像信号に基づいて、前記撮像光学系の合焦状態を検出する焦点検出手段とを有し、
前記焦点検出手段は、前記対象物が複数検出された場合に、至近から無限方向、又は無限から至近方向に前記撮像光学系が移動している際に、前記推定された被写体距離に対応させて前記焦点検出領域を移動させて、それぞれの対象物に対応する焦点検出領域における合焦状態をそれぞれ検出することを特徴とする撮像装置。 An object detection means for detecting an object from an image signal obtained by imaging an object image formed by an imaging optical system including a focus lens;
Subject distance estimation means for estimating a subject distance from information on the detected object;
Setting means for setting a focus detection region in a region of the object of the image signal;
Focus detection means for detecting the in-focus state of the imaging optical system based on an image signal in the focus detection region;
The focus detection unit is configured to correspond to the estimated subject distance when the imaging optical system is moving from near to infinity or from infinity to the closest direction when a plurality of objects are detected. An imaging apparatus, wherein the focus detection area is moved to detect an in-focus state in a focus detection area corresponding to each object.

前記撮像光学系の移動の制御の際に、前記撮像光学系の移動速度を可変することを特徴とする請求項１記載の撮像装置。 The imaging apparatus according to claim 1, wherein the movement speed of the imaging optical system is varied when the movement of the imaging optical system is controlled.

前記対象物検出手段により検出された対象物の情報に応じて、撮像枚数を変更することを特徴とする請求項１又は請求項２に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the number of captured images is changed according to information on the object detected by the object detection unit.

前記撮像光学系により結像された対象物像を撮像して画像信号を出力する撮像手段と、
前記対象物検出手段により検出された第１の対象物以外の第2の対象物が被写界深度外となる絞り値で撮像するよう制御する制御手段とを備えたことを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。 Imaging means for capturing an object image formed by the imaging optical system and outputting an image signal;
And a control unit configured to control the second object other than the first object detected by the object detection unit to take an image with an aperture value outside the depth of field. The imaging device according to any one of claims 1 to 3.

前記撮像光学系により結像された対象物像を撮像して画像信号を出力する撮像手段と、
前記対象物検出手段により検出された対象物が被写界深度内となる複数の絞り値で撮像するよう制御する制御手段を備えたことを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。 Imaging means for capturing an object image formed by the imaging optical system and outputting an image signal;
4. The apparatus according to claim 1, further comprising a control unit configured to perform control so that the object detected by the object detection unit is imaged at a plurality of aperture values within a depth of field. The imaging device according to item.

前記焦点検出手段の検出結果に応じて複数のフォーカスレンズ位置でそれぞれ撮像することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。 6. The imaging apparatus according to claim 1, wherein imaging is performed at each of a plurality of focus lens positions in accordance with a detection result of the focus detection unit.

前記対象物検出手段と前記焦点検出手段の少なくともいずれかの検出結果に基づいて合焦表示を行うことを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。 The imaging apparatus according to claim 1, wherein a focus display is performed based on a detection result of at least one of the object detection unit and the focus detection unit.

フォーカスレンズを含む撮像光学系により結像された対象物像を撮像して得られた画像信号から対象物を検出する対象物検出工程と、
前記検出された対象物の情報から被写体距離を推定する被写体距離推定工程と、
前記画像信号の前記対象物のある領域に焦点検出領域を設定する設定工程と、
前記焦点検出領域における画像信号に基づいて、前記撮像光学系の合焦状態を検出する焦点検出工程とを有し、
前記焦点検出工程では、前記対象物が複数検出された場合に、至近から無限方向、又は無限から至近方向に前記撮像光学系が移動している際に、前記推定された被写体距離に対応させて前記焦点検出領域を移動させて、それぞれの対象物に対応する焦点検出領域における合焦状態をそれぞれ検出するよう制御することを特徴とする撮像装置の制御方法。 An object detection step of detecting an object from an image signal obtained by imaging an object image formed by an imaging optical system including a focus lens;
A subject distance estimating step of estimating a subject distance from information of the detected object;
A setting step of setting a focus detection region in a region where the object of the image signal exists;
A focus detection step of detecting an in-focus state of the imaging optical system based on an image signal in the focus detection region;
In the focus detection step, when a plurality of the objects are detected, when the imaging optical system is moving from the nearest to the infinite direction or from the infinite to the nearest direction, the focus detection process is made to correspond to the estimated subject distance. A control method for an imaging apparatus, wherein the focus detection area is moved to perform control so as to detect an in-focus state in a focus detection area corresponding to each object.