JP5377092B2 - Imaging apparatus and distance measuring method - Google Patents

Description

本発明は、ビデオカメラ等の撮像装置及び測距方法に関し、特に顔検出機能および距離検出機能を有する撮像装置及び測距方法に関する。   The present invention relates to an imaging apparatus such as a video camera and a distance measuring method, and more particularly to an imaging apparatus and a distance measuring method having a face detection function and a distance detection function.

従来、ビデオカメラ等の撮像装置におけるオートフォーカス（ＡＦ）方式として、コントラストＡＦ方式が一般的に採用されている。コントラストＡＦ方式は、撮像素子を用いて得られた映像信号から高周波成分を抽出して、合焦状態を示す信号としてのいわゆるＡＦ評価値信号を生成し、該ＡＦ評価値信号が最大になるようにフォーカスレンズの位置を制御する方式である。   Conventionally, a contrast AF method is generally employed as an autofocus (AF) method in an imaging apparatus such as a video camera. In the contrast AF method, a high-frequency component is extracted from a video signal obtained by using an image sensor, and a so-called AF evaluation value signal is generated as a signal indicating an in-focus state so that the AF evaluation value signal is maximized. In this method, the position of the focus lens is controlled.

また、このようなコントラストＡＦ方式と、いわゆる外測位相差検出（外測ＡＦ）方式とを組み合わせた、いわゆるハイブリッドＡＦ方式を採用した撮像装置も提案されている（特許文献１参照）。外測ＡＦ方式は、撮像光学系を通らない光を利用して被写体までの距離を測距センサにより検出し、その検出距離に基づいてフォーカスレンズの位置を制御する方式である。このようなハイブリッドＡＦ方式により、コントラストＡＦ方式による高精度の合焦性能と、外測ＡＦ方式による高速な合焦性能とを併せ持つことができる。ただし、外測ＡＦ方式により遠方の被写体に対して測距精度を高めることは、安価なシステムでは原理上難しい。   There has also been proposed an imaging apparatus that employs a so-called hybrid AF method in which such a contrast AF method and a so-called external measurement phase difference detection (external measurement AF) method are combined (see Patent Document 1). The external measurement AF method is a method of detecting the distance to the subject using a light that does not pass through the imaging optical system, and controlling the position of the focus lens based on the detection distance. By such a hybrid AF method, it is possible to have both high-precision focusing performance by the contrast AF method and high-speed focusing performance by the external measurement AF method. However, it is difficult in principle to increase the distance measurement accuracy for a distant subject by the external measurement AF method with an inexpensive system.

一方で、カメラ等では人は主たる被写体とされるため、顔検出機能を搭載したカメラの開発も活発に行われており、検出された顔に高速且つ高精度にフォーカスを合わせるような提案も順次なされている。たとえば特許文献２にあるように、検出された顔の大きさから距離を推定しておき、その距離の前後をサーチするようにフォーカスサーチ範囲を限定することで、高速にフォーカスを行えるような工夫が提案されている。   On the other hand, since people are the main subjects in cameras, etc., cameras with a face detection function are being actively developed, and proposals to focus on detected faces at high speed and with high accuracy are also made sequentially. Has been made. For example, as disclosed in Patent Literature 2, a distance is estimated from the size of the detected face, and the focus search range is limited so that the search is performed before and after the distance, thereby enabling high-speed focusing. Has been proposed.

特開２００２−２５８１４７号公報JP 2002-258147 A 特開２００６−０１８２４６号公報JP 2006-018246 A

しかしながら、検出された顔（顔枠）の大きさから距離を推定する場合に、いかに精度良くその顔までの距離を求めるかが大きな課題となっている。特許文献２では、顔の大きさから距離を推定するにあたって、顔の大きさが人により異なることを考慮していないが、実際には大人と子供、個体差によっても異なるからである。また、顔検出時の誤差によって、同じ距離に同じ大きさくらいの顔があっても、各個人の顔の特徴によって、検出される顔枠の大きさには少なからず差異が生じる。これらの差異によって、顔枠の大きさのみの単純な距離推定では誤差が大きくなるため、より精度が必要なアプリケーション（例えばフォーカス駆動）などには不向きであった。   However, when the distance is estimated from the size of the detected face (face frame), how to obtain the distance to the face with high accuracy is a major issue. Patent Document 2 does not consider that the size of the face varies from person to person in estimating the distance from the size of the face, but is actually different depending on the adult, child, and individual differences. Also, even if there are faces of the same size at the same distance due to errors in the face detection, there is a considerable difference in the size of the detected face frame depending on the characteristics of each individual's face. Due to these differences, a simple distance estimation based only on the size of the face frame increases the error, and is not suitable for applications that require higher accuracy (for example, focus drive).

本発明は上記問題点を鑑みてなされたものであり、顔検出結果を利用して、より迅速且つ正確に焦点調節制御を行えるようにすることを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to make it possible to perform focus adjustment control more quickly and accurately by using a face detection result.

上記目的を達成するために、本発明の撮像装置は、入射光を電気信号に変換して出力する撮像素子と、前記撮像素子から出力される電気信号に基づいて被写体を検出し、該検出した被写体の画面における大きさを検出する検出手段と、前記検出手段により過去に検出された被写体の大きさ及び該被写体までの距離を関連付けて記憶する記憶手段と、前記検出手段により検出された被写体の大きさと、該被写体と一致する、前記記憶手段に記憶された被写体の大きさ及び該被写体までの距離とに基づいて、前記検出手段により検出された被写体までの距離を算出する算出手段と、一対の光電変換素子アレイから得られる信号に基づいて位相差方式により前記被写体までの距離を求める測距手段と、前記一対の光電変換素子アレイに対応する前記画面における領域の大きさ及び位置と、前記被写体の前記画面における大きさ及び位置との関係が予め設定された条件を満たしているかどうかを判定する判定手段とを有し、前記判定手段により前記予め設定された条件を満たしていると判断されたことに応じて、前記測距手段により求めた被写体までの距離と前記検出手段により検出された被写体の大きさとを関連付けて前記記憶手段に記憶し、前記予め設定された条件は、前記記憶手段に、前記検出手段により検出された被写体と一致する被写体の大きさ及び該被写体までの距離が記憶されていない場合においては、前記検出手段により検出された被写体の画面における位置及び大きさが、前記測距手段による測距が可能な位置及び大きさであることであり、前記記憶手段に、前記検出手段により検出された被写体と一致する被写体の大きさ及び該被写体までの距離が記憶されている場合においては、前記記憶手段への記憶時の前記被写体の画面における位置及び大きさよりも、前記検出手段による検出時の前記被写体の画面における位置及び大きさが、前記測距手段による、より精度の高い測距が可能な位置及び大きさである。 In order to achieve the above object, an image pickup apparatus according to the present invention detects an object based on an image pickup element that converts incident light into an electric signal and outputs the electric signal, and an electric signal output from the image pickup element. Detection means for detecting the size of the subject on the screen, storage means for storing the size of the subject detected in the past by the detection means and the distance to the subject in association with each other, and detection of the subject detected by the detection means A pair of calculating means for calculating the distance to the subject detected by the detecting means based on the size and the size of the subject stored in the storage means and the distance to the subject that matches the subject; a distance measuring means for obtaining a distance to the object by the phase difference method based on a signal obtained from the photoelectric conversion element array, the corresponding to the pair of photoelectric conversion element array The size and position of the area in the plane, and a determination means for determining whether the relationship between the size and position in the screen of the subject is less than the preset condition by the determination unit When it is determined that the preset condition is satisfied, the distance to the subject obtained by the distance measuring unit and the size of the subject detected by the detecting unit are associated with each other and stored in the storage unit. The preset condition is detected by the detection means when the storage means does not store the size of the subject coincident with the subject detected by the detection means and the distance to the subject. The position and size of the subject on the screen are positions and sizes that can be measured by the distance measuring means, and the detection means is stored in the storage means. In the case where the size of the subject that coincides with the subject detected by the above and the distance to the subject are stored, the position of the subject on the screen at the time of storage in the storage means and the size by the detection means The position and size of the subject on the screen at the time of detection are the position and size at which more accurate distance measurement can be performed by the distance measuring means .

本発明によれば、顔検出結果を利用して、より迅速且つ正確に焦点調節制御を行うことができる。   According to the present invention, it is possible to perform focus adjustment control more quickly and accurately using the face detection result.

本発明の第１の実施形態におけるビデオカメラの構成を示すブロック図。1 is a block diagram showing a configuration of a video camera according to a first embodiment of the present invention. 本発明の第１の実施形態におけるビデオカメラの撮像画角（テレ端およびワイド端）とラインセンサとの関係を示す模式図。The schematic diagram which shows the relationship between the imaging field angle (tele end and wide end) of a video camera and a line sensor in the 1st Embodiment of this invention. 本発明の第１の実施形態における顔検出結果の一例を示す図。The figure which shows an example of the face detection result in the 1st Embodiment of this invention. 本発明の第１の実施形態における顔距離データベースの一例を示す図。The figure which shows an example of the face distance database in the 1st Embodiment of this invention. 本発明の第１の実施形態における顔検出結果を用いた焦点調節制御を説明するための図。The figure for demonstrating the focus adjustment control using the face detection result in the 1st Embodiment of this invention. 本発明の第１の実施形態における顔距離データベースへのデータの登録手順を示すフローチャート。The flowchart which shows the registration procedure of the data to the face distance database in the 1st Embodiment of this invention. 本発明の第１の実施形態における顔距離データベースを用いて距離を計算する手順を示すフローチャート。The flowchart which shows the procedure which calculates distance using the face distance database in the 1st Embodiment of this invention. 本発明の第１の実施形態における画角、外測ＡＦ用のラインセンサの測距枠、及び、顔検出枠の関係を示す図。The figure which shows the relationship between the angle of view in the 1st Embodiment of this invention, the ranging frame of the line sensor for external measurement AF, and a face detection frame. 本発明の第２の実施形態における顔距離データベースへのデータの登録手順を示すフローチャート。The flowchart which shows the registration procedure of the data to the face distance database in the 2nd Embodiment of this invention. 本発明の第２の実施形態における顔距離データベースの一例を示す図。The figure which shows an example of the face distance database in the 2nd Embodiment of this invention.

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。   The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置としてのビデオカメラの構成を示す。同図において、点線内で示される１００はレンズユニットであり、物体側（被写体側）から順に配置された、固定レンズ１０１、変倍レンズ１０２、絞り１０３、固定レンズ１０４及びフォーカスレンズ１０５により構成される撮像光学系を収容している。 <First Embodiment>
FIG. 1 shows a configuration of a video camera as an imaging apparatus according to the first embodiment of the present invention. In the figure, reference numeral 100 shown within a dotted line is a lens unit, which is composed of a fixed lens 101, a variable power lens 102, an aperture 103, a fixed lens 104, and a focus lens 105 arranged in order from the object side (subject side). The imaging optical system is accommodated.

１０８は、変倍レンズ１０２、絞り１０３（絞り羽根）及びフォーカスレンズ１０５の位置を検出する位置エンコーダである。変倍レンズ１０２はズームモータ１０６により光軸方向に駆動され、フォーカスレンズ１０５はフォーカスモータ１０７により光軸方向に駆動される。これらズームモータ１０６及びフォーカスモータ１０７はそれぞれ、ズーム駆動回路１２０及びフォーカス駆動回路１２１からの駆動信号を受けて動作する。   Reference numeral 108 denotes a position encoder that detects the positions of the zoom lens 102, the diaphragm 103 (diaphragm blade), and the focus lens 105. The zoom lens 102 is driven in the optical axis direction by the zoom motor 106, and the focus lens 105 is driven in the optical axis direction by the focus motor 107. The zoom motor 106 and the focus motor 107 operate by receiving drive signals from the zoom drive circuit 120 and the focus drive circuit 121, respectively.

１０９はＣＭＯＳセンサ等により構成された撮像素子である。撮像素子１０９は、撮像光学系に入射した光（入射光）によって形成された、撮像範囲内の物体の像を光電変換する。撮像信号処理回路１１９は、撮像素子１０９から出力された電気信号に対して、増幅処理、ガンマ補正処理、ホワイトバランス処理等の各種信号処理を施し、所定の映像フォーマットの映像信号に変換する。映像信号は、モニタディスプレイ１１４に出力されたり、半導体メモリ、光ディスク、ハードディスク等の画像記録用メディア１１６に記録されるなどする。   Reference numeral 109 denotes an image sensor formed of a CMOS sensor or the like. The image sensor 109 photoelectrically converts an image of an object in the imaging range formed by light (incident light) incident on the imaging optical system. The imaging signal processing circuit 119 performs various signal processing such as amplification processing, gamma correction processing, and white balance processing on the electrical signal output from the imaging device 109, and converts the electrical signal into a video signal of a predetermined video format. The video signal is output to the monitor display 114 or recorded on an image recording medium 116 such as a semiconductor memory, an optical disk, or a hard disk.

１１０はＣＰＵであり、ビデオカメラの各種動作や機能を制御する。操作スイッチ群１１５には、電源スイッチや、録画動作や再生動作を開始及び停止させるスイッチ、該ビデオカメラの動作モードを選択するためのスイッチ、撮像光学系のズーム状態を変化させるズームスイッチ等が設けられている。これらのスイッチのうち、電源スイッチが操作されると、フラッシュメモリ１１３に格納されていたコンピュータプログラムの一部がＲＡＭ１１２にロードされ、ＣＰＵ１１０はＲＡＭ１１２にロードされたプログラムに従って各部の動作を制御する。   A CPU 110 controls various operations and functions of the video camera. The operation switch group 115 includes a power switch, a switch for starting and stopping a recording operation and a reproduction operation, a switch for selecting an operation mode of the video camera, a zoom switch for changing a zoom state of the imaging optical system, and the like. It has been. Among these switches, when the power switch is operated, a part of the computer program stored in the flash memory 113 is loaded into the RAM 112, and the CPU 110 controls the operation of each unit according to the program loaded into the RAM 112.

１１１は顔検出処理回路であり、撮像信号処理回路１１９から出力される映像信号に対して各種の画像処理を行い、その画像内において顔がどの位置にあるか、その大きさはどれほどかというような、顔の有無判定および大きさ（輪郭）算出を行う。この顔検出処理回路１１１が行う顔検出処理は、もとの映像信号からサイズを小さくして演算するためのリサイズ処理や、顔の輪郭検出処理、顔であることの確からしさを示す信頼度判定処理等を含む。   Reference numeral 111 denotes a face detection processing circuit that performs various types of image processing on the video signal output from the imaging signal processing circuit 119 and indicates where the face is in the image and how large it is. Then, the presence / absence determination of the face and the size (contour) calculation are performed. The face detection processing performed by the face detection processing circuit 111 includes resizing processing for calculating by reducing the size from the original video signal, face contour detection processing, and reliability determination indicating the likelihood of being a face. Including processing.

１３１は、複数の光電変換素子が一列に並べられて構成された、外測ＡＦ用のラインセンサあり、被写体からの光が、撮像光学系とは別に設けられた外測用結像レンズ１３０を通って、すなわち撮像光学系を通らずに到達する。ラインセンサ１３１は、一対のラインセンサ（光電変換素子アレイ）から構成され、各ラインセンサは図２（ａ）に示すように、結像レンズ１３０の光軸上を中心として左右に２００個の光電変換素子が並べられて構成されている。なお、図２（ａ）では、以下の説明の便宜上、中心の受光エリアＣと、その左右に配置された受光エリアＬ１、Ｌ２、Ｒ１、Ｒ２とに分けて示している。各受光エリアは４０個ずつの光電変換素子で構成されている。   131 is a line sensor for external measurement AF configured by arranging a plurality of photoelectric conversion elements in a line, and light from a subject is provided by an external measurement imaging lens 130 provided separately from the imaging optical system. It passes through, that is, without passing through the imaging optical system. The line sensor 131 includes a pair of line sensors (photoelectric conversion element array). As shown in FIG. 2A, each line sensor has 200 photoelectric sensors on the left and right with the optical axis of the imaging lens 130 as the center. The conversion elements are arranged side by side. In FIG. 2A, for the convenience of the following description, the light receiving area C is divided into a central light receiving area C and light receiving areas L1, L2, R1, and R2 arranged on the left and right sides thereof. Each light receiving area is composed of 40 photoelectric conversion elements.

さらに、ラインセンサ１３１を構成する、それぞれ２００個の光電変換素子により構成された一対のラインセンサは左右に設けられ、対応する受光エリアに形成された２つの被写体像のずれ量（位相差）を検出することで、被写体までの距離を測定できる。つまり、ラインセンサ１３１から出力される信号は、被写体（又は物体）までの距離に応じた信号である。なお、ラインセンサ１３１から出力される信号に基づいて被写体までの距離（以下、「被写体距離」と呼ぶ。）を求める位相差方式の原理は公知であるため、ここでは説明を省略する。   Furthermore, a pair of line sensors each including 200 photoelectric conversion elements constituting the line sensor 131 are provided on the left and right sides, and the shift amount (phase difference) between two subject images formed in the corresponding light receiving areas is calculated. By detecting, the distance to the subject can be measured. That is, the signal output from the line sensor 131 is a signal corresponding to the distance to the subject (or object). Since the principle of the phase difference method for obtaining the distance to the subject (hereinafter referred to as “subject distance”) based on the signal output from the line sensor 131 is known, the description thereof is omitted here.

そして、測定された被写体距離に基づいて、ＣＰＵ１１０は合焦状態とするためのフォーカスレンズ位置（位置エンコーダ１０８により検出された現在のフォーカスレンズ位置からの駆動量）を算出する。ここで「算出」には、計算式を用いた演算だけでなく、予め不図示のメモリに記憶された、被写体距離に対するフォーカスレンズ１０５の合焦位置のデータを読み出すことも含む。そして、フォーカス駆動回路１２１を通じてフォーカスレンズ１０５をその合焦位置（外測合焦位置）に駆動する。以上が一対のラインセンサを含むラインセンサ１３１を用いたフォーカス制御であり、以後「外測ＡＦ」と呼ぶ。   Then, based on the measured subject distance, the CPU 110 calculates a focus lens position (a driving amount from the current focus lens position detected by the position encoder 108) for achieving a focused state. Here, “calculation” includes not only calculation using a calculation formula but also reading out data on the in-focus position of the focus lens 105 with respect to the subject distance, which is stored in advance in a memory (not shown). Then, the focus lens 105 is driven to the focus position (external measurement focus position) through the focus drive circuit 121. The focus control using the line sensor 131 including a pair of line sensors has been described above, and is hereinafter referred to as “external measurement AF”.

また、本第１の実施形態のビデオカメラはコントラスト方式のコントラストＡＦ機能を有し、撮像信号処理回路１１９は、撮像素子１０９から得られた画像信号からバンドパスフィルタを用いて高周波成分を抽出し、ＡＦ評価値信号を生成する。生成されたＡＦ評価値信号はＣＰＵ１１０に出力され、ＣＰＵ１１０はＡＦ評価値信号に基づいて、合焦状態となるようにフォーカスレンズ１０５を駆動する。なお、コントラストＡＦの原理は公知であるため、ここでは説明を省略する。   In addition, the video camera of the first embodiment has a contrast type contrast AF function, and the imaging signal processing circuit 119 extracts a high-frequency component from an image signal obtained from the imaging element 109 using a bandpass filter. , An AF evaluation value signal is generated. The generated AF evaluation value signal is output to the CPU 110, and the CPU 110 drives the focus lens 105 so as to be in focus based on the AF evaluation value signal. Since the principle of contrast AF is known, the description thereof is omitted here.

本第１の実施形態のビデオカメラは、さらに、撮像素子１０９から取り込んだ画像から人物の顔を検出する顔検出処理回路１１１を備えており、撮像素子１０９から得られた画像に対して、大まかには以下のような処理をして、顔検出結果を導く。まず、撮像素子１０９からの画像読み出し後、顔検出処理の前段階の処理として、画像を記録画像よりも小さい画像にリサイズして、パターンマッチングによる顔検出にかかる負荷を減らす。次に、顔の輪郭や目の間隔などをもとにパターンマッチングを行い、画像中の顔検出結果として、画面における顔の位置、顔の大きさ、目の間隔、顔である可能性の高さを示す評価値を算出する。また、先に得られた画像において顔が検出されている場合には、今回得られた画像から相関性が高い顔が時間的に連続して検出されたかどうかを評価する。すなわち先に得られた画像で検出された顔の位置から近いところに同じ程度の大きさの顔があるかどうかということであり、これらの評価の結果として、顔検出結果を得る。   The video camera according to the first embodiment further includes a face detection processing circuit 111 that detects a human face from an image captured from the image sensor 109, and the image obtained from the image sensor 109 is roughly processed. The following processing is performed to derive the face detection result. First, after the image is read out from the image sensor 109, as a pre-stage process of the face detection process, the image is resized to an image smaller than the recorded image to reduce the load on face detection by pattern matching. Next, pattern matching is performed based on the face contour and eye spacing, and the face detection result in the image is likely to be the face position, face size, eye spacing, and face on the screen. An evaluation value indicating the height is calculated. Further, when a face is detected in the previously obtained image, it is evaluated whether or not a face having a high correlation has been detected continuously in time from the image obtained this time. That is, whether there is a face of the same size near the position of the face detected in the previously obtained image. As a result of these evaluations, a face detection result is obtained.

上述したようにして得た検出結果をモニタディスプレイ１１４に表示している例を図３に示す。撮像素子１０９で撮影されたシーンの一例として、点線６０１で示されるモニタディスプレイ１１４の画角内に、人物の顔１が映し出されている。この顔に対する検出結果を、顔の中心位置Ｏ及び顔枠６０２で示す。ここで、顔枠６０２の幅をＷ、高さをＨ、検出された顔枠の中心座標Ｏ（Ｘ，Ｙ）、この撮影を行っている時の変倍レンズ１０２の焦点距離（ズーム倍率）をｆ、外測ＡＦによる測定距離をＬとする。本第１の実施形態のビデオカメラでは、これらの情報を人物の顔１と関連付けて、図４に示す表のような「顔距離データベース」に登録する。図４の表には、この時の顔１の特徴から仮にＡ氏として、中心座標、幅Ｗ、高さＨ、焦点距離情報、外測ＡＦの測距結果をそれぞれを顔１と関連付けて記憶しておくことが示されている。なお、ほぼ同時刻に複数の顔が検出された場合には、図４の表の空欄に順次登録していく。   An example in which the detection result obtained as described above is displayed on the monitor display 114 is shown in FIG. As an example of a scene photographed by the image sensor 109, a person's face 1 is projected within the angle of view of the monitor display 114 indicated by a dotted line 601. The detection result for this face is indicated by a face center position O and a face frame 602. Here, the width of the face frame 602 is W, the height is H, the center coordinates O (X, Y) of the detected face frame, and the focal length (zoom magnification) of the variable magnification lens 102 during this photographing. Is f, and the distance measured by external AF is L. In the video camera of the first embodiment, these pieces of information are associated with the person's face 1 and registered in the “face distance database” as shown in the table of FIG. In the table of FIG. 4, the center coordinates, the width W, the height H, the focal length information, and the distance measurement result of the external measurement AF are stored in association with the face 1 as Mr. A from the characteristics of the face 1 at this time. It has been shown to keep. If a plurality of faces are detected at approximately the same time, they are sequentially registered in the blanks in the table of FIG.

次に、この表のような情報を保持している時に、例えば図３のように顔検出されたｔ秒後に、同様に顔を検出された時の結果を図５に示し、この顔の大きさから距離を算出する方法について説明する。図５は図３における顔検出のｔ秒後の検出結果を示している。図５では、説明のために図３に示す時点での顔枠６０２及び、顔枠が大きくなったことを矢印により明示的に記しているが、実際のモニタディスプレイ１１４には表示されないものである。図５は、人がｔ秒間の間にビデオカメラに近づいている場合を示す検出結果である。この時の検出結果から、図３に示した時よりも検出された顔枠８０３は大きくなっていることがわかる。この時の幅をＷｔ＝２００、高さをＨｔ＝２００、中心座標（Ｘt，Ｙt）を（１１５、３０５）、ズームは変更していないものとして、ft＝f＝60ｍｍとする。この時、この顔枠の大きさＷｔ，Ｈｔと、前述した図３の時点（過去の時点）で登録された各種情報を用いて、以下の計算式（１）または（２）により、顔までの距離を求めることができる。   Next, FIG. 5 shows the result when the face is detected in the same manner after holding the information shown in this table, for example, t seconds after the face is detected as shown in FIG. A method for calculating the distance from the above will be described. FIG. 5 shows a detection result t seconds after the face detection in FIG. In FIG. 5, the face frame 602 at the time shown in FIG. 3 and the fact that the face frame has become larger are clearly indicated by arrows for the sake of explanation, but are not displayed on the actual monitor display 114. . FIG. 5 is a detection result showing a case where a person approaches the video camera for t seconds. From the detection result at this time, it can be seen that the detected face frame 803 is larger than that shown in FIG. At this time, the width is Wt = 200, the height is Ht = 200, the center coordinates (Xt, Yt) are (115, 305), and the zoom is not changed, and ft = f = 60 mm. At this time, using the face frame sizes Wt and Ht and various information registered at the time point (past time point) of FIG. 3 described above, the following calculation formula (1) or (2) Can be obtained.

または

Or

ここでは説明を分かり易くするため、焦点距離ｆに変更がないものとしているため、前回測定された距離Ｌ（＝３ｍ）に対して、ＷとＷｔ（またはＨとＨｔ）の比率に応じて顔までの距離が計算できることになる。ここではＷｔ＝２００であるため、顔までの距離は、２．２５ｍ（＝３×１５０／２００）と計算されることになる。そして、得られた被写体までの距離（２．２５ｍ）に基づいて、フォーカスレンズ１０５を駆動することにより、焦点調節制御を行う。   Here, in order to make the explanation easy to understand, it is assumed that the focal length f is not changed, so that the face according to the ratio of W and Wt (or H and Ht) with respect to the previously measured distance L (= 3 m). The distance to can be calculated. Here, since Wt = 200, the distance to the face is calculated as 2.25 m (= 3 × 150/200). Then, the focus adjustment control is performed by driving the focus lens 105 based on the obtained distance to the subject (2.25 m).

上述した式や処理を前提にして、本第１の実施形態における動作について、図６および図７のフローチャートを参照しながら以下に説明する。   Based on the above formulas and processing, the operation in the first embodiment will be described below with reference to the flowcharts of FIGS.

図６は、本第１の実施形態における顔距離データベースへのデータの登録手順を示すフローチャートであり、図７は顔距離データベースを用いて距離を計算する手順を示すフローチャートである。図示しないが、本ビデオカメラの設定項目において、顔検出機能が有効に設定されると、ビデオカメラは常時顔検出を行うようになる。   FIG. 6 is a flowchart showing a procedure for registering data in the face distance database in the first embodiment, and FIG. 7 is a flowchart showing a procedure for calculating a distance using the face distance database. Although not shown, when the face detection function is enabled in the setting items of the video camera, the video camera always performs face detection.

Ｓ１１において顔検出処理が開始されると、Ｓ１２において顔が検出されたかどうかを調べる。顔が検出されなければ、ステップＳ１１に戻って次の顔検出処理の結果を待ち、顔が検出されるとＳ１３に移行する。Ｓ１３では、検出された顔位置および撮影中の焦点距離情報（ズーム情報）から、検出された顔の領域がラインセンサ１３１を用いた外測ＡＦにより測距可能な位置にあるかどうかを判断する。この判断を行う理由は、以下の２つの理由による。先ず、ラインセンサ１３１が、図２に示すように、受光エリアＣ、Ｒ１、Ｒ２、Ｌ１、Ｌ２と、撮像領域（カメラの画角）との関係が焦点距離に応じて変化するためである。更に、顔が撮像領域のどの位置で検出されたかによって、ラインセンサ１３１の受光エリアの内のどのエリアと対応づけできるかわからないためである。従って、顔位置と受光エリアとの対応関係を決定するための計算を行う。   When the face detection process is started in S11, it is checked whether or not a face is detected in S12. If no face is detected, the process returns to step S11 to wait for the result of the next face detection process, and if a face is detected, the process proceeds to S13. In S <b> 13, it is determined from the detected face position and focal length information (zoom information) during shooting whether the detected face area is in a position that can be measured by external AF using the line sensor 131. . The reason for making this determination is due to the following two reasons. First, as shown in FIG. 2, the line sensor 131 changes the relationship between the light receiving areas C, R1, R2, L1, and L2 and the imaging region (viewing angle of the camera) according to the focal length. Furthermore, it is because it is not known which area of the light receiving area of the line sensor 131 can be associated with depending on where the face is detected in the imaging area. Therefore, a calculation for determining the correspondence between the face position and the light receiving area is performed.

一例として、図８に顔位置とラインセンサ１３１の受光エリアとの関係を示す。図８（ａ）に示す点線枠１１０１をカメラの画角、１１０２は顔を検出した時の顔枠であり、被写体の位置やカメラの向きなどによりさまざまな位置および大きさで検出されるものである。また、１１０３は受光エリアＣ、R１、Ｒ２、Ｌ１、Ｌ２から成るラインセンサ１３１の測距枠にあたり、この範囲の被写体光を用いて外測ＡＦによる測距が行われる。この測距枠は図２でも示したとおり、焦点距離（ズーム位置）に応じてカメラの画角に対する大きさが変化するが、ズーム位置に応じた測距枠における有効な受光エリアの変化量は簡単な比例計算で求めることができる。   As an example, FIG. 8 shows the relationship between the face position and the light receiving area of the line sensor 131. A dotted line frame 1101 shown in FIG. 8A is an angle of view of the camera, 1102 is a face frame when a face is detected, and is detected at various positions and sizes depending on the position of the subject, the orientation of the camera, and the like. is there. Reference numeral 1103 denotes a distance measuring frame of the line sensor 131 including the light receiving areas C, R1, R2, L1, and L2, and distance measurement by external measurement AF is performed using subject light in this range. As shown in FIG. 2, the distance measurement frame changes in size with respect to the angle of view of the camera according to the focal length (zoom position). However, the effective amount of change in the light receiving area in the distance measurement frame according to the zoom position is It can be obtained by simple proportional calculation.

図８（ｂ）〜（ｅ）は図８（ａ）と同様な表示で、顔の検出位置が各種例のときの様子を示したものである。図８（ａ）は、顔検出位置がラインセンサ１３１の測距枠内、特に受光エリアＣにある場合を表しており、このような状態の時には、顔にＡＦするにあたり、ラインセンサ１３１の受光エリアＣから得られる信号を用いて測距することが可能である。また、図８（ｂ）は、顔の検出位置がラインセンサ１３１の測距枠の上側にあり、顔ではなく、不図示の（顔の下方にあるはずの）胴体への距離が分かると思われる状態である。このような位置関係にある場合も、ラインセンサ１３１により測距することが可能な状態であると言える。   FIGS. 8B to 8E show the same display as in FIG. 8A and show the situation when the face detection positions are various examples. FIG. 8A shows a case where the face detection position is within the distance measurement frame of the line sensor 131, particularly in the light receiving area C. In such a state, the light received by the line sensor 131 is used for AF on the face. Ranging can be performed using a signal obtained from area C. FIG. 8B shows that the detection position of the face is above the distance measurement frame of the line sensor 131, and the distance to the body (not shown) (which should be below the face) is known instead of the face. It is in a state to be. Even in such a positional relationship, it can be said that the distance can be measured by the line sensor 131.

しかしながら、図８（ｃ）のように、ラインセンサ１３１の測距枠の上側にある場合であっても顔の大きさが小さい場合、胴体が測距枠にある可能性が著しく減ることになり、このときの測距結果は信頼できない。よって本第１の実施形態では、人の顔の大きさは五頭身程度が一般的ということを踏まえて、顔枠の一辺の長さをＬとしたときに、顔枠の下端から測距枠の下端までの長さＫが４Ｌ以上の時には、この時の測距結果は使用せず、測距枠外として判定する。また、図８（ｄ）の状態では、検出された顔の位置は、ラインセンサ１３１の測距枠よりも下側にあり、測距結果を用いて顔へのＡＦを行うのは難しい状態であると判定する。また、図８（ｅ）では、検出された顔はラインセンサ１３１の測距枠内にあるが、顔までの距離が数ｍ以上の比較的遠い距離にあるため、外測ＡＦセンサによる測距精度は見込めないと判定する。   However, as shown in FIG. 8C, even when the line sensor 131 is on the upper side of the distance measurement frame, if the face size is small, the possibility that the body is in the distance measurement frame is significantly reduced. The distance measurement result at this time is not reliable. Therefore, in the first embodiment, taking into account that the size of a person's face is generally about five heads and bodies, when the length of one side of the face frame is L, distance measurement is performed from the lower end of the face frame. When the length K to the lower end of the frame is 4L or more, the distance measurement result at this time is not used and it is determined that the frame is outside the distance measurement frame. Further, in the state of FIG. 8D, the detected face position is below the distance measurement frame of the line sensor 131, and it is difficult to perform AF on the face using the distance measurement result. Judge that there is. Further, in FIG. 8E, the detected face is within the distance measurement frame of the line sensor 131, but the distance to the face is a relatively far distance of several meters or more, so the distance measurement by the external AF sensor is performed. It is determined that accuracy cannot be expected.

このＳ１３では、以上のような判定を行い、顔枠の中心位置および顔枠の大きさが、現在の焦点距離の設定時に、ラインセンサ１３１のどの受光エリアと対応付けられているかを判定する。次のＳ１４では、今回検出された顔情報から、顔距離データベース（図４）にすでに登録されている顔であるかどうか（過去に登録された顔と一致するかどうか）を判断する。すでに顔距離データベースに登録されていれば、Ｓ１５へ進んで今回の顔枠の情報を利用して顔までの距離を計算するステップに移行する。なお、Ｓ１５における処理は、図７を参照して詳細に後述する。   In S13, the determination as described above is performed to determine which light receiving area of the line sensor 131 is associated with the center position of the face frame and the size of the face frame when the current focal length is set. In next step S14, it is determined from the face information detected this time whether the face has already been registered in the face distance database (FIG. 4) (whether it matches the face registered in the past). If it has already been registered in the face distance database, the process proceeds to S15 and proceeds to the step of calculating the distance to the face using the information of the current face frame. The process in S15 will be described later in detail with reference to FIG.

Ｓ１５の処理結果として距離が計算不可能な場合もあるが、距離が算出されると、次のＳ１６へ移行する。ここでは顔距離データベースに登録された情報の再登録を行うかどうかを判断し、焦点距離情報や測距精度によって登録情報の見直しを行う。ここでは、Ｓ１３の判断の結果、顔枠がラインセンサ１３１の測距枠に入っている場合には、測距結果の精度情報が前回登録された時よりもよい結果である場合や、顔枠中心の値が大きく変化した場合など、予め設定された条件を満たすかどうかを判断する。そして、条件を満たす場合には、Ｓ１７へ移行して登録内容の更新を行う。登録内容が更新されると、Ｓ１１へ戻って顔検出を続ける。一方、Ｓ１６の判断の結果、登録しない場合にはそのままＳ１１へ戻る。   Although the distance may not be calculated as a result of the processing in S15, when the distance is calculated, the process proceeds to the next S16. Here, it is determined whether or not to re-register the information registered in the face distance database, and the registered information is reviewed based on the focal length information and the distance measurement accuracy. Here, if the result of determination in S13 is that the face frame is within the distance measurement frame of the line sensor 131, the accuracy information of the distance measurement result is a better result than when it was previously registered, or the face frame It is determined whether or not a preset condition is satisfied, for example, when the center value changes greatly. If the condition is satisfied, the process proceeds to S17 to update the registered contents. When the registered contents are updated, the process returns to S11 to continue face detection. On the other hand, if the result of determination in S16 is that there is no registration, processing returns directly to S11.

一方、Ｓ１４で顔距離データベースに登録されていない顔が検出された場合には、Ｓ１８へ移行してこの時の外測ＡＦの測距結果を見る。このとき、Ｓ１３において選定されたエリアの測距結果の精度が高ければ、Ｓ１９へ移行する。Ｓ１９で顔距離データベースへの登録数の上限にかからなければＳ２０へ移行して、新規の顔情報として顔距離データベースに登録される。一方、Ｓ１８で測距結果の精度が低い場合や、Ｓ１９で顔距離データベースの登録数が上限に達していれば、Ｓ２１で登録不可として、Ｓ１１へ戻る。例えば、Ｓ１８において測距結果の精度を判断する場合に、すでにＳ１３において顔枠がラインセンサ１３１の測距枠外にあると判断されていれば、測距結果の精度が低い（ＮＧ）と判断される。これら一通りの処理が行われると、それぞれＳ１１へ戻り顔検出機能が続けられる。   On the other hand, when a face that is not registered in the face distance database is detected in S14, the process proceeds to S18, and the distance measurement result of external AF at this time is viewed. At this time, if the accuracy of the distance measurement result of the area selected in S13 is high, the process proceeds to S19. If the upper limit of the number registered in the face distance database is not reached in S19, the process proceeds to S20 and is registered in the face distance database as new face information. On the other hand, if the accuracy of the distance measurement result is low in S18, or if the number of registrations in the face distance database has reached the upper limit in S19, registration is disabled in S21 and the process returns to S11. For example, when determining the accuracy of the distance measurement result in S18, if it is already determined in S13 that the face frame is outside the distance measurement frame of the line sensor 131, it is determined that the accuracy of the distance measurement result is low (NG). The When these one process is performed, the process returns to S11 to continue the face detection function.

次に、Ｓ１５で行われる顔枠の情報を元にした距離計算について、図７を参照して詳しく説明する。図７において、距離計算が開始されると、Ｓ３１において、顔距離データベースを参照して、登録された顔（図４の例ではＡ氏）の顔枠の幅（Ｗ）及び高さ（Ｈ）、及び焦点距離（ｆ）を取得する。次のＳ３２では、現在検出されている顔枠の幅（Ｗｔ）及び高さ（Ｈｔ）に、現在の焦点距離（ｆｔ）と登録された焦点距離（ｆ）との比率（＝ｆｔ／ｆ）を乗算することによって、焦点距離によらない数値に変換する。   Next, distance calculation based on face frame information performed in S15 will be described in detail with reference to FIG. In FIG. 7, when the distance calculation is started, the width (W) and the height (H) of the face frame of the registered face (Mr. A in the example of FIG. 4) are referred to the face distance database in S31. , And the focal length (f). In next S32, the ratio (= ft / f) of the current focal length (ft) and the registered focal length (f) to the width (Wt) and height (Ht) of the currently detected face frame. Is converted to a numerical value independent of the focal length.

次のＳ３３においては、顔距離データベースから取得したＷ／Ｈと今回取得した顔枠のＷｔ／Ｈｔとを比較して、所定範囲内であれば、Ｓ３４へ進んで上述した計算式（１）または（２）を用いて算出する。このＳ３３では、顔の向きが上下左右などを向けば検出される枠の縦横比が変わってくることから、顔の縦横比率が異なるかどうかを判定することで、誤った計算値を返してしまうことを防ぐようにしている。このＳ３３において比率が変わった場合にはＳ３５へ移行して、焦点距離情報が以前の検出時と変化がないか判定する。変化がある場合にはＳ４１へ移行して、今回の顔枠の情報を利用した距離計算は不能であるとして測距エラーを返す。   In the next S33, the W / H acquired from the face distance database is compared with the Wt / Ht of the face frame acquired this time, and if within the predetermined range, the process proceeds to S34 and the above-described calculation formula (1) or Calculate using (2). In S33, the aspect ratio of the frame to be detected changes when the face is directed up, down, left, right, etc., so that an erroneous calculation value is returned by determining whether the aspect ratio of the face is different. I try to prevent that. If the ratio changes in S33, the process proceeds to S35, and it is determined whether the focal length information has changed from the previous detection. If there is a change, the process proceeds to S41, and a distance measurement error is returned because it is impossible to calculate the distance using the information of the current face frame.

逆に、Ｓ３５において焦点距離に変化がない場合にはＳ３６へ移行し、さらに幅Ｗに変化がないかどうかを判断する。幅Ｗに変化が無ければ上下いずれかを向いていると判定され（Ｓ３７）、Ｓ３８で今回の顔が顔距離データベースに登録された距離と等距離にあるものと判断される。また、Ｓ３６において横幅が顔距離データベースの登録内容と比較して変化している場合にはＳ３９へ進み、今度は高さＨに変化がないかどうかを判断する。高さも異なる場合にはＳ４１へ進み、今回の顔情報による距離計算は不能であるとして測距エラーを返す。また高さＨが同等と判断されると、横を向いたものと判断され（Ｓ４０）、この場合にもＳ３８へ移行して今回の顔が顔距離データベースに登録された距離と等距離にあるものと判断される。   Conversely, if there is no change in the focal length in S35, the process proceeds to S36, and it is further determined whether or not there is no change in the width W. If there is no change in the width W, it is determined that it is facing either up or down (S37), and it is determined in S38 that the current face is equidistant from the distance registered in the face distance database. If the horizontal width has changed compared to the registered contents of the face distance database in S36, the process proceeds to S39, and it is determined whether there is no change in the height H. If the heights are different, the process proceeds to S41, and a distance measurement error is returned because it is impossible to calculate the distance based on the current face information. If it is determined that the heights H are equal, it is determined that they are facing sideways (S40). In this case as well, the process moves to S38 and the current face is equidistant from the distance registered in the face distance database. Judged to be.

以上説明したように本第１の実施形態によれば、顔枠の情報に基づいて顔までの距離を計算することにより、従来よりも多くの場面においてすばやく顔に合焦することが可能となる。   As described above, according to the first embodiment, by calculating the distance to the face based on the face frame information, it is possible to focus on the face quickly in more scenes than in the past. .

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、本第２の実施形態におけるビデオカメラの構成は、第１の実施形態で上述した構成と同様であるので、ここでは説明を省略する。 <Second Embodiment>
Next, a second embodiment of the present invention will be described. Note that the configuration of the video camera in the second embodiment is the same as the configuration described in the first embodiment, and a description thereof will be omitted here.

本第２の実施形態では、顔距離データベースの更新の有無をコントラストＡＦの結果に基づいて決定する場合について、図９を参照して説明する。なお、図６と同様の構成には同じ参照番号を付し、適宜説明を省略する。また、図１０は、本第２の実施形態における顔距離データベースである。図４に示すものとは、ＡＦ評価値を更に保持しているところが異なるが、それ以外は図４と同様である。   In the second embodiment, a case where the presence / absence of update of the face distance database is determined based on the result of contrast AF will be described with reference to FIG. In addition, the same reference number is attached | subjected to the structure similar to FIG. 6, and description is abbreviate | omitted suitably. FIG. 10 is a face distance database in the second embodiment. 4 is different from that shown in FIG. 4 in that the AF evaluation value is further held, but other than that is the same as FIG.

Ｓ１１〜Ｓ１５までの処理は、図６のＳ１３の処理が本第２の実施形態では不要なために省略されているところが異なるが、それ以外は、上述した処理と同じである。   The processing from S11 to S15 is the same as the processing described above, except that the processing of S13 in FIG. 6 is omitted because it is not necessary in the second embodiment.

ステップＳ１５において、図７を参照して上述したように、今回の顔枠の情報を利用して顔までの距離が算出されると、Ｓ５５に進んで、顔距離データベースに登録された内容を、今回取得した顔枠の情報により更新するかどうかを判断する。本第２の実施形態では、先ず、コントラストＡＦにより、顔枠内の合焦度を示すＡＦ評価値を求める。そして、求められたＡＦ評価値が顔距離データベースに登録されている顔枠のＡＦ評価値以下であれば、更新を行わずにＳ１１へ戻る。   In step S15, as described above with reference to FIG. 7, when the distance to the face is calculated using the current face frame information, the process proceeds to S55, and the contents registered in the face distance database are It is determined whether or not to update based on the face frame information acquired this time. In the second embodiment, first, an AF evaluation value indicating the degree of focus within the face frame is obtained by contrast AF. If the obtained AF evaluation value is equal to or less than the AF evaluation value of the face frame registered in the face distance database, the process returns to S11 without updating.

一方、算出したＡＦ評価値が、顔距離データベースに登録されている顔枠のＡＦ評価値よりも高い場合、Ｓ５６において、より精度の高い顔距離データベース構築のため、今回得られた顔枠情報による登録内容の更新を行う。登録内容が更新されると、Ｓ１１へ戻って顔検出を続ける。   On the other hand, when the calculated AF evaluation value is higher than the AF evaluation value of the face frame registered in the face distance database, the face frame information obtained this time is used to construct a more accurate face distance database in S56. Update registered information. When the registered contents are updated, the process returns to S11 to continue face detection.

また、S１４で顔距離データベースに登録されていない顔が検出された場合には、Ｓ５７へ移行して、コントラストＡＦによりＡＦ評価値を求める。求められたＡＦ評価値が予め設定された閾値よりも高ければ、Ｓ５８へ移行して今回の撮像を行った時のフォーカスレンズ位置及び焦点距離情報から合焦距離を求め、さらに幅Ｗｔ、高さＨｔを用いて顔までの距離に変換する。これも光学的に単純な計算式によって成り立つものである。   If a face not registered in the face distance database is detected in S14, the process proceeds to S57, and an AF evaluation value is obtained by contrast AF. If the obtained AF evaluation value is higher than a preset threshold value, the process proceeds to S58 to obtain the in-focus distance from the focus lens position and focal length information when the current imaging is performed, and further, the width Wt, the height The distance to the face is converted using Ht. This is also achieved by an optically simple calculation formula.

そして、Ｓ１９において顔距離データベースの登録数の上限でなければ、Ｓ２０において新規の顔情報として顔距離データベースに登録される。一方、Ｓ５７において合焦状態でない場合や、Ｓ１９で顔距離データベースの登録数が上限に達していれば、Ｓ２１で登録不可として、Ｓ１１へ戻る。   If it is not the upper limit of the number of registrations in the face distance database in S19, it is registered in the face distance database as new face information in S20. On the other hand, if the in-focus state is not reached in S57, or if the number of registrations in the face distance database has reached the upper limit in S19, registration is impossible in S21 and the process returns to S11.

上記の様に本第２の実施形態によれば、顔枠の情報に基づいて顔までの距離を計算することにより、従来よりも多くの場面においてすばやく顔に合焦することが可能となる。   As described above, according to the second embodiment, by calculating the distance to the face based on the face frame information, it is possible to focus on the face quickly in more scenes than in the past.

なお、上記第１及び第２の実施形態では、人物の顔を検出した場合の顔枠の大きさから測距する方法について説明した。しかしながら、本発明は人物の顔に限るものではなく、大きさを検出可能なさまざまな被写体（例えば、犬・猫などの動物、特定の文字など）を顔検出と置き換えても本発明を実施することが可能であることはいうまでもない。さらに外測ＡＦ用のラインセンサを用いて説明したが、２像を比較して焦点を検出する他の方法においても応用可能である。   In the first and second embodiments, the method of measuring the distance from the size of the face frame when a human face is detected has been described. However, the present invention is not limited to a person's face, and the present invention can be implemented even when various subjects whose size can be detected (for example, animals such as dogs and cats, specific characters, etc.) are replaced with face detection. It goes without saying that it is possible. Further, the external measurement AF line sensor has been described, but the present invention can also be applied to other methods for detecting a focus by comparing two images.

Claims (4)

入射光を電気信号に変換して出力する撮像素子と、
前記撮像素子から出力される電気信号に基づいて被写体を検出し、該検出した被写体の画面における大きさを検出する検出手段と、
前記検出手段により過去に検出された被写体の大きさ及び該被写体までの距離を関連付けて記憶する記憶手段と、
前記検出手段により検出された被写体の大きさと、該被写体と一致する、前記記憶手段に記憶された被写体の大きさ及び該被写体までの距離とに基づいて、前記検出手段により検出された被写体までの距離を算出する算出手段と、
一対の光電変換素子アレイから得られる信号に基づいて位相差方式により前記被写体までの距離を求める測距手段と、
前記一対の光電変換素子アレイに対応する前記画面における領域の大きさ及び位置と、前記被写体の前記画面における大きさ及び位置との関係が予め設定された条件を満たしているかどうかを判定する判定手段とを有し、
前記判定手段により前記予め設定された条件を満たしていると判断されたことに応じて、前記測距手段により求めた被写体までの距離と前記検出手段により検出された被写体の大きさとを関連付けて前記記憶手段に記憶し、
前記予め設定された条件は、前記記憶手段に、前記検出手段により検出された被写体と一致する被写体の大きさ及び該被写体までの距離が記憶されていない場合においては、前記検出手段により検出された被写体の画面における位置及び大きさが、前記測距手段による測距が可能な位置及び大きさであることであり、前記記憶手段に、前記検出手段により検出された被写体と一致する被写体の大きさ及び該被写体までの距離が記憶されている場合においては、前記記憶手段への記憶時の前記被写体の画面における位置及び大きさよりも、前記検出手段による検出時の前記被写体の画面における位置及び大きさが、前記測距手段による、より精度の高い測距が可能な位置及び大きさであることを特徴とする撮像装置。 An image sensor that converts incident light into an electrical signal and outputs the electrical signal;
Detecting means for detecting a subject based on an electrical signal output from the image sensor and detecting the size of the detected subject on the screen;
Storage means for storing the size of the subject detected in the past by the detection means and the distance to the subject in association with each other;
Based on the size of the subject detected by the detection means and the size of the subject stored in the storage means and the distance to the subject that matches the subject, the distance to the subject detected by the detection means A calculating means for calculating the distance;
Ranging means for obtaining a distance to the subject by a phase difference method based on signals obtained from a pair of photoelectric conversion element arrays ;
Determining whether the size and position of the area in the screen corresponding to the pair of photoelectric conversion element array, the relationship between the size and position in the screen of the object are meet the preset condition Determination means,
Wherein Depending particular is determined to satisfy the predetermined condition by the determination means, wherein in association with the size of the detected object by the distance between said detecting means to an object obtained by the distance measuring means Memorize it in the memory means ,
The preset condition is detected by the detection means when the size of the subject that matches the subject detected by the detection means and the distance to the subject are not stored in the storage means. The position and size of the subject on the screen are positions and sizes that can be measured by the ranging unit, and the size of the subject that matches the subject detected by the detecting unit is stored in the storage unit. And when the distance to the subject is stored, the position and size of the subject on the screen at the time of detection by the detecting means is greater than the position and size of the subject on the screen at the time of storage in the storage means. An image pickup apparatus characterized in that the position and the size of the distance can be measured with higher accuracy by the distance measuring means . 前記算出手段により求められた前記被写体までの距離に基づいて、焦点調節制御を行う焦点調節手段を更に有することを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1, further comprising a focus adjustment unit that performs focus adjustment control based on a distance to the subject obtained by the calculation unit. 前記記憶手段は、更に、各被写体を撮影したときの焦点距離情報を記憶することを特徴とする請求項１または２に記載の撮像装置。 It said storage means further imaging apparatus according to claim 1 or 2, characterized in that storing the focal length information upon shooting each object. 撮像手段が、入射光を電気信号に変換して出力する撮像工程と、
検出手段が、前記撮像工程で出力される電気信号に基づいて被写体を検出し、該検出した被写体の画面における大きさを検出する検出工程と、
読み出し手段が、前記検出工程で過去に検出された被写体の大きさ及び該被写体までの距離を関連付けて記憶する記憶手段から、前記検出工程で検出された被写体と一致する被写体の大きさ及び該被写体までの距離を読み出す読み出し工程と、
算出手段が、前記検出工程で検出された被写体の大きさと、前記読み出し工程で読み出された前記被写体の大きさ及び該被写体までの距離とに基づいて、前記検出工程で検出された被写体までの距離を算出する算出工程と、
測距手段が、一対の光電変換素子アレイから得られる信号に基づいて位相差方式により前記被写体までの距離を求める測距工程と、
判定手段が、前記一対の光電変換素子アレイに対応する前記画面における領域の大きさ及び位置と、前記被写体の前記画面における大きさ及び位置との関係が予め設定された条件を満たしているかどうかを判定する判定手段とを有し、
前記判定工程で前記予め設定された条件を満たしていると判断されたことに応じて、前記測距工程で求めた被写体までの距離と前記検出工程で検出された被写体の大きさとを関連付けて前記記憶手段に記憶し、
前記予め設定された条件は、前記記憶手段に、前記検出工程で検出された被写体と一致する被写体の大きさ及び該被写体までの距離が記憶されていない場合においては、前記検出工程で検出された被写体の画面における位置及び大きさが、前記測距手段による測距が可能な位置及び大きさであることであり、前記記憶手段に、前記検出工程で検出された被写体と一致する被写体の大きさ及び該被写体までの距離が記憶されている場合においては、前記記憶手段への記憶時の前記被写体の画面における位置及び大きさよりも、前記検出工程における検出時の前記被写体の画面における位置及び大きさが、前記測距手段による、より精度の高い測距が可能な位置及び大きさであることを特徴とする測距方法。 An imaging step in which the imaging means converts incident light into an electrical signal and outputs the electrical signal;
A detecting step of detecting a subject based on the electrical signal output in the imaging step, and detecting a size of the detected subject on the screen;
The reading means stores the size of the subject detected in the detection step in the past and the distance to the subject in association with each other, and stores the size of the subject that matches the subject detected in the detection step and the subject. A reading process of reading the distance to
Based on the size of the subject detected in the detection step, the size of the subject read out in the readout step, and the distance to the subject, the calculation means calculates the subject to the subject detected in the detection step. A calculation step for calculating the distance;
A distance measuring step for obtaining a distance to the subject by a phase difference method based on signals obtained from a pair of photoelectric conversion element arrays ;
Or determining means, the size and position of the area in the screen corresponding to the pair of photoelectric conversion element array, the relationship between the size and position in the screen of the subject is less than a preset condition Determining means for determining whether or not
It said determining step said depending especially is determined to satisfy the predetermined condition, the associates the size of the detected object in the distance between the detection step to an object which has been determined by the distance measuring step Memorize it in the memory means ,
The preset condition is detected in the detection step when the storage means does not store the size of the subject that matches the subject detected in the detection step and the distance to the subject. The position and size of the subject on the screen are positions and sizes that can be measured by the distance measuring unit, and the size of the subject that matches the subject detected in the detection step is stored in the storage unit. In the case where the distance to the subject is stored, the position and size of the subject on the screen at the time of detection in the detection step is larger than the position and size of the subject on the screen at the time of storage in the storage means. The distance measuring method is characterized in that the distance measuring means is a position and a size capable of more accurate distance measurement.

Images