JP2008282031A - Imaging apparatus and imaging apparatus control method, and computer program - Google Patents
Imaging apparatus and imaging apparatus control method, and computer program Download PDFInfo
- Publication number
- JP2008282031A JP2008282031A JP2008163410A JP2008163410A JP2008282031A JP 2008282031 A JP2008282031 A JP 2008282031A JP 2008163410 A JP2008163410 A JP 2008163410A JP 2008163410 A JP2008163410 A JP 2008163410A JP 2008282031 A JP2008282031 A JP 2008282031A
- Authority
- JP
- Japan
- Prior art keywords
- face
- focus
- subject
- subject distance
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、目的とする被写体に対する迅速で正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。 The present invention relates to an imaging apparatus, an imaging apparatus control method, and a computer program. More specifically, the present invention relates to an imaging apparatus, an imaging apparatus control method, and a computer program that can perform a quick and accurate autofocus process on a target subject.
昨今の多くのスチルカメラやビデオカメラなどの撮像装置には、被写体に対するフォーカスを自動的に合わせるオートフォーカス（ＡＦ）機構が搭載されている。さらに、近年、オートフォーカス（ＡＦ）機能を備えたカメラにおいて、画面内の複数のエリアを測距し、その中から最も撮影者に近いもの、画面の中央に近いものといった様々な優先順付けの結果として最適なエリア選び出し、そのエリアに対してピントが合うようにレンズを駆動する機能、いわゆる「マルチＡＦ」、「多点測距ＡＦ」が広く採用されている。この機能を適用することで主要被写体が必ずしも画面の中央に存在しない場合においても、撮影者が特別な操作をすることなしに主要被写体に対する適切なピント合わせが可能となる。なお、オートフォーカス制御構成については、例えば特許文献１に記載がある。
Many recent imaging apparatuses such as a still camera and a video camera are equipped with an autofocus (AF) mechanism that automatically adjusts a focus on a subject. Furthermore, in recent years, in a camera equipped with an autofocus (AF) function, a plurality of areas in the screen are measured, and various priorities such as the one closest to the photographer and the one closest to the center of the screen are selected. As a result, an optimum area is selected and a function of driving the lens so that the area is in focus, so-called “multi AF” and “multi-point AF” are widely used. By applying this function, even when the main subject does not necessarily exist at the center of the screen, it is possible to properly focus on the main subject without the photographer performing a special operation. The autofocus control configuration is described in, for example,
しかし、このようなマルチＡＦや多点測距ＡＦも万能ではなく、特定の構図に対してのみ有効な構成である。一般的なカメラの撮影においては人間が主要被写体になるケースが非常に多いが、撮影画像における人物の位置は多様であり様々な構図がある。そもそも撮像装置における測距エリアが設定されていない位置に目的被写体がいるケースもある。このような場合、マルチＡＦや多点測距ＡＦを適用しても人物に対するフォーカスは適切に行われない。 However, such multi-AF and multi-point ranging AF are not universal and are effective only for a specific composition. In general camera shooting, a human being is a main subject in many cases, but the position of a person in a shot image is various and has various compositions. In the first place, there is a case where the target subject is located at a position where no distance measuring area is set in the imaging apparatus. In such a case, even if multi-AF or multi-point ranging AF is applied, the person is not properly focused.
このような問題を解決するため、撮像装置において画像から顔を認識し、測距エリアを認識された顔の位置に設定することで、どのような構図でも顔にピントを合わせることを可能とした構成が提案されている。例えば、特許文献２にこのような顔認識に基づくフォーカス制御構成が開示されている。この顔認識に基づくフォーカス制御によって様々な構図の撮影において適切なフォーカス制御（ピント合わせ）が可能になる。
In order to solve such problems, it is possible to focus on the face in any composition by recognizing the face from the image in the imaging device and setting the distance measurement area to the recognized face position. A configuration is proposed. For example,
しかし、シャッターチャンスを逃さないためには、時間のかかる処理は不適当である。すなわち、単に顔に測距エリアを合わせるだけのＡＦでは不十分であり、ＡＦ高速化に向けた工夫が必要となる。素早くフォーカス制御を行い、シャッターチャンスを逃さないという観点からフォーカス制御処理を提案した構成としては、例えば特許文献３がある。特許文献３では、特定の被写体を認識し追尾しながら測距を実行してフォーカス制御を迅速に実行してシャッターチャンスを逃さない撮影を可能とする装置を提案している。
However, in order not to miss a photo opportunity, time-consuming processing is inappropriate. That is, AF that simply adjusts the distance measurement area to the face is insufficient, and a device for increasing the AF speed is required. As a configuration that proposes focus control processing from the viewpoint of performing quick focus control and not missing a photo opportunity, there is, for example,
しかしながら、このような主要被写体を追尾するＡＦにおいては、撮影者にとっての主要被写体は何か？ということが課題になる。この課題の１つの解決手法として、画像から顔を認識して、顔を主要被写体と判定する方法があると考えられる。しかしながら、この方法においては、複数の人物が存在するシーンでは、どの人物を主要被写体に設定するかということが問題となる。 However, in AF that tracks such a main subject, what is the main subject for the photographer? That is a challenge. One solution to this problem is a method of recognizing a face from an image and determining the face as a main subject. However, in this method, in a scene where a plurality of persons exist, it becomes a problem which person is set as a main subject.
このように、オートフォーカス（ＡＦ）には様々な解決すべき問題があるが、理想的なオートフォーカス（ＡＦ）を実現するために要求される基本的な機能としては、次の３点が最重要項目であると考えられる。
１．主要被写体に確実にピントを合わせる
２．短時間でピントを合わせる
３．複数の主要被写体候補からピントを合わせるべき被写体を確実にかつ迅速に選択する。
また、もう１つの基本的な要求としてコストダウンがある。上記の機能を実現するために価格が高くなることは好ましくない。例えば、高価な測距センサーなどの外部測距装置などを用いないで確実に素早くフォーカス制御を実現させる構成が望まれる。
1. Make sure to focus on the main subject. 2. Focus in a short time. A subject to be focused is selected reliably and quickly from a plurality of main subject candidates.
Another basic requirement is cost reduction. It is not preferable that the price increases in order to realize the above function. For example, there is a demand for a configuration that reliably and quickly realizes focus control without using an external distance measuring device such as an expensive distance measuring sensor.
本発明は、このような状況に鑑みてなされたものであり、目的とする被写体に対する迅速で正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。 The present invention has been made in view of such a situation, and provides an imaging apparatus, an imaging apparatus control method, and a computer program capable of performing quick and accurate autofocus processing on a target subject. The purpose is to provide.
本発明の第１の側面は、
撮像装置において入力する入力画像から、テンプレートマッチング処理によって顔領域を検出する顔検出部と、
顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出部と、
前記被写体距離算出部の算出した被写体距離に基づいてフォーカス位置を推定し、該推定したフォーカス位置を中心として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出部と、
前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定するフォーカス制御部とを有し、
前記被写体距離算出部は、
前記被写体距離として、前記テンプレートマッチング処理において発生する誤差を考慮して、被写体距離の範囲を算出する撮像装置にある。
The first aspect of the present invention is:
A face detection unit that detects a face area by template matching processing from an input image input in the imaging apparatus;
A subject distance calculation unit that calculates a subject distance based on the size of the face detected by the face detection unit;
A lens operating range calculating unit that estimates a focus position based on the subject distance calculated by the subject distance calculating unit, and sets a focus lens operating range shorter than the entire operating range of the focus lens around the estimated focus position;
A focus control unit that determines a focus lens setting position by moving a focus lens within a lens operation range set by the lens operation range calculation unit and determining a contrast level;
The subject distance calculation unit
In the imaging apparatus, the range of the subject distance is calculated as the subject distance in consideration of an error generated in the template matching process.
さらに、本発明の撮像装置の一実施態様において、前記レンズ動作範囲算出部は、前記撮像装置のデバイスに起因する誤差を考慮して前記フォーカスレンズ動作範囲を設定する構成であるものとする。 Further, in the imaging apparatus according to an embodiment of the present invention, the lens operating range calculation unit is intended in consideration of an error caused by the device of the imaging device is configured to set the focus lens operation range.
さらに、本発明の撮像装置の一実施態様において、前記被写体距離算出部は、顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であるものとする。 Furthermore, in one embodiment of the imaging apparatus of the present invention, the subject distance calculation unit is configured to perform at least one of race, sex, age, and physique in the subject distance calculation process based on the face size detected by the face detection unit. It is assumed that the subject distance calculation process is executed by applying the reference value of the face size corresponding to the subject based on the entered subject information.
さらに、本発明の撮像装置の一実施態様において、前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置において入力する入力画像の画像解析部における解析結果として前記被写体距離算出部に入力される情報であるものとする。 Furthermore, in one embodiment of the imaging device of the present invention, the subject information of at least one of race, sex, age, and physique is calculated as the subject distance as an analysis result in an image analysis unit of an input image input in the imaging device. It is assumed that the information is input to the section.
さらに、本発明の撮像装置の一実施態様において、前記人種、性別、年齢、体格の少なくともいずれかの被写体情報は、撮像装置におけるユーザ入力部を介して前記被写体距離算出部に入力される情報であるものとする。 Furthermore, in one embodiment of the imaging device of the present invention, the subject information of at least one of race, sex, age, and physique is information input to the subject distance calculation unit via a user input unit in the imaging device. Suppose that
さらに、本発明の撮像装置の一実施態様において、前記被写体距離算出部は、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、顔の大きさの基準値を、一つの値ではなく、ある値の範囲を持つ基準値として算出し、範囲を持つ基準値を適用して、範囲を持つ被写体距離を算出する処理を実行する構成であるものとする。 Furthermore, in an embodiment of the imaging apparatus of the present invention, the subject distance calculation unit is configured to execute a subject distance calculation process to which a reference value of the face size according to the subject is applied. The reference value is calculated not as a single value but as a reference value having a range of a certain value, and a process for calculating a subject distance having the range by applying the reference value having a range is executed. .
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、前記顔検出部の検出した複数の顔の優先順位を設定する優先順位解析部を有し、前記優先順位解析部は、顔の大きさ、または、顔の中央への近さ、または人種、性別、年齢、体格の少なくともいずれかの被写体情報を指標として顔の優先順位決定処理を実行する構成であり、前記レンズ動作範囲算出部は、前記優先順位解析部の決定した顔の優先順位情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成であるものとする。 Furthermore, in an embodiment of the imaging apparatus of the present invention, the imaging apparatus further includes a priority analysis unit that sets priority orders of a plurality of faces detected by the face detection unit, and the priority analysis unit includes: , The size of the face, the proximity to the center of the face, or subject information of at least one of race, gender, age, and physique is used as an index to execute face priority determination processing, and the lens The operation range calculation unit is configured to execute processing for setting a focus lens operation range based on the face priority information determined by the priority analysis unit.
さらに、本発明の撮像装置の一実施態様において、前記レンズ動作範囲算出部は、前記優先順位解析部の決定した最も優先度の高い顔に対応する被写体距離情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成であるものとする。 Furthermore, in an embodiment of the imaging apparatus of the present invention, the lens movement range calculation unit sets a focus lens movement range based on subject distance information corresponding to the face with the highest priority determined by the priority order analysis unit. It is assumed that the processing is executed.
さらに、本発明の撮像装置の一実施態様において、前記レンズ動作範囲算出部は、前記優先順位解析部の決定した優先度順の複数の顔に対応する被写体距離情報に基づいて算出される複数のフォーカスレンズ動作範囲を含む範囲を最終的なフォーカスレンズ動作範囲として設定する処理を実行する構成であるものとする。 Furthermore, in an embodiment of the imaging apparatus according to the present invention, the lens movement range calculation unit is calculated based on subject distance information corresponding to a plurality of faces in order of priority determined by the priority analysis unit. It is assumed that the processing for setting the range including the focus lens operation range as the final focus lens operation range is executed.
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、前記フォーカス制御部におけるフォーカスレンズ設定位置の決定に基づいて合焦成功と判断されたモニタ出力画像中の顔領域に合焦成功を示す合焦表示を行なう表示制御部を有するものとする。 Furthermore, in an embodiment of the imaging apparatus of the present invention, the imaging apparatus further matches the face area in the monitor output image determined to be in focus successfully based on the determination of the focus lens setting position in the focus control unit. It is assumed that a display control unit that performs focus display indicating successful focus is provided.
さらに、本発明の第２の側面は、
撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
顔検出部において、撮像装置において入力する入力画像から、テンプレートマッチング処理によって顔領域を検出する顔検出ステップと、
被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出ステップと、
レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出ステップと、
フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定するフォーカス制御ステップとを有し、
前記被写体距離算出ステップは、
前記被写体距離として、前記テンプレートマッチング処理において発生する誤差を考慮して、被写体距離の範囲を算出する撮像装置制御方法にある。
Furthermore, the second aspect of the present invention provides
An imaging apparatus control method for executing autofocus control in an imaging apparatus,
In the face detection unit, a face detection step of detecting a face region by template matching processing from an input image input in the imaging device;
A subject distance calculation step of calculating a subject distance based on the size of the face detected by the face detection unit in the subject distance calculation unit;
A lens operating range calculating step for estimating a focus position based on the subject distance information calculated by the subject distance calculating unit and setting a focus lens operating range shorter than the entire operating range of the focus lens in the lens operating range calculating unit;
A focus control step in which the focus control unit moves the focus lens within the lens operation range set by the lens operation range calculation unit and determines the focus lens setting position by determining the level of contrast;
The subject distance calculating step includes:
In the imaging apparatus control method, a range of the subject distance is calculated as the subject distance in consideration of an error generated in the template matching process.
さらに、本発明の第３の側面は、撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
顔検出部において、撮像装置において入力する入力画像から、テンプレートマッチング処理によって顔領域を検出させる顔検出ステップと、
被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出させる被写体距離算出ステップと、
レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定させるレンズ動作範囲算出ステップと、
フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定させるフォーカス制御ステップとを有し、
前記被写体距離算出ステップは、
前記被写体距離として、前記テンプレートマッチング処理において発生する誤差を考慮して、被写体距離の範囲を算出させるコンピュータ・プログラムにある。
Furthermore, a third aspect of the present invention is a computer program that executes autofocus control in an imaging apparatus,
In the face detection unit, a face detection step of detecting a face region by template matching processing from an input image input in the imaging device;
A subject distance calculation step in which the subject distance calculation unit calculates the subject distance based on the size of the face detected by the face detection unit;
A lens operating range calculating step for estimating a focus position based on the subject distance information calculated by the subject distance calculating unit and setting a focus lens operating range shorter than the entire operating range of the focus lens in the lens operating range calculating unit;
A focus control step in which the focus control unit moves the focus lens within the lens operation range set by the lens operation range calculation unit, determines the contrast level and determines the focus lens setting position;
The subject distance calculating step includes:
A computer program for calculating a range of a subject distance in consideration of an error generated in the template matching process as the subject distance.
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。 The computer program of the present invention is, for example, a storage medium or communication medium provided in a computer-readable format to a general-purpose computer system capable of executing various program codes, such as a CD, FD, MO, etc. Or a computer program that can be provided by a communication medium such as a network. By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer system.
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 Other objects, features, and advantages of the present invention will become apparent from a more detailed description based on embodiments of the present invention described later and the accompanying drawings. In this specification, the system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
本発明の一実施例の構成では、撮像装置におけるオートフォーカス処理において、入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出して、算出した被写体距離情報に基づいてフォーカス位置を推定する。さらに、この推定したフォーカス位置を基準として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定し、設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定する。また、被写体距離として、顔のテンプレートマッチング処理において発生する誤差を考慮して、被写体距離の範囲を算出を算出する。このため、フォーカス制御において移動させるレンズの距離を短く設定することが可能となり、高速なフォーカス制御が実現される。 In the configuration of an embodiment of the present invention, a face area is detected from an input image in an autofocus process in the imaging apparatus, a subject distance is calculated based on the detected face size, and the calculated subject distance information is used. To estimate the focus position. Further, a focus lens operating range shorter than the entire operating range of the focus lens is set on the basis of the estimated focus position, and the focus lens is moved within the set lens operating range to determine the focus lens setting position. The subject distance range is calculated by taking into account errors that occur in the face template matching process as the subject distance. For this reason, the distance of the lens to be moved in the focus control can be set short, and high-speed focus control is realized.
以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。 The details of the imaging apparatus, imaging apparatus control method, and computer program of the present invention will be described below with reference to the drawings.
本発明は、目的とする被写体に対する迅速で正確なオートフォーカスを可能とした構成を開示するものである。本発明の撮像装置では、フォーカス制御の手法として、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いる。撮像画像の特定領域をフォーカス制御用の信号取得領域（空間周波数抽出エリア）として設定し、この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動して調整する方式である。 The present invention discloses a configuration that enables quick and accurate autofocus on a target subject. In the image pickup apparatus of the present invention, as a focus control method, a method for determining the level of contrast of image data acquired through a lens is basically used. A specific area of the captured image is set as a signal acquisition area (spatial frequency extraction area) for focus control, and the higher the contrast of this specific area, the more focused, and if the contrast is low, it is determined that the focus is shifted, In this method, the lens is driven and adjusted to a position where the contrast is higher.
具体的には、特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。オートフォーカスを行なうためには、上述の評価値を指針としてレンズを駆動させることが必要となる。レンズ駆動機構としては例えばボイスコイルモータなどが利用される。 Specifically, a method of extracting high-frequency components in a specific region, generating integrated data of the extracted high-frequency components, and determining the level of contrast based on the generated high-frequency component integrated data is applied. That is, a high-frequency component integral value in a specific region is calculated for contrast level determination and used as an evaluation value (AF evaluation value). Autofocus is realized by driving the focus lens so that the evaluation value is maximized. In order to perform autofocus, it is necessary to drive the lens using the above-described evaluation value as a guide. For example, a voice coil motor is used as the lens driving mechanism.
本発明は、このようなコントラスト識別処理を用いたフォーカス制御において、さらに、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を可能とする。さらに、本発明は、顔の大きさの個人差、人種差、年齢差、性別差などを考慮して、顔の大きさに基づく被写体の距離推定をより正確に実行することを可能とするものである。 In the focus control using such contrast identification processing, the present invention further determines the size of a person's face as a target subject, estimates the distance of the subject based on the size, and calculates the estimated information as Apply to narrow the focus control range and enable quick focus control. Furthermore, the present invention makes it possible to more accurately execute subject distance estimation based on face size in consideration of individual differences, race differences, age differences, gender differences, and the like of face sizes. It is.
まず、図を参照して、本発明の撮像装置の構成について説明する。図１は、本発明の撮像装置１０の外観を示す図である。図１（ａ）は、撮像装置１０の上面図、（ｂ）は正面図、（ｃ）は背面図である。（ａ）上面図のレンズ部分は断面図として示してある。撮像装置１０は、電源スイッチ１１、画像取り込みタイミングを設定するトリガ手段、すなわちシャッターとして機能するレリーズスイッチ１２、撮像装置によって撮影される画像（スルー画像）や操作情報などを表示するモニタ１３、撮像素子（ＣＣＤ）としてのイメージャ１４、ズーム制御を行うためのズームボタン１５、各種の操作情報を入力する操作ボタン１６、撮像装置によって撮影される画像（スルー画像）を確認するためのビューファインダ１７、フォーカス調整において駆動されるフォーカスレンズ１８、ズーム調整に際して駆動されるズームレンズ１９、撮影モードを設定するためのモードダイアル２０、フォーカスレンズ１８を駆動するためのフォーカスレンズモータ（Ｍ１）２１、ズームレンズ１９を駆動するためのズームレンズモータ（Ｍ２）２２を有する。
First, the configuration of the imaging apparatus of the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating an appearance of an
被写体画像は、ビューファインダ１７およびモニタ１３に表示される。ビューファインダ１７およびモニタ１３は例えばＬＣＤによって構成され、レンズを介する被写体画像が動画像として映し出される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ１７またはモニタ１３を確認して、撮影する目標被写体を確認して、シャッターとしてのレリーズスイッチ１２を押すことで画像の記録処理が実行されることになる。
The subject image is displayed on the
図２を参照して本発明の撮像装置１００の内部構成について説明する。本発明の撮像装置は、オートフォーカス機能を持つ撮像装置である。フォーカスレンズ１０１、ズームレンズ１０２を介する入射光は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子１０３に入力し、撮像素子１０３において光電変換される。光電変換データは、アナログ信号処理部１０４に入力され、アナログ信号処理部１０４においてノイズ除去等の処理がなされ、Ａ／Ｄ変換部１０５においてデジタル信号に変換される。Ａ／Ｄ変換部１０５においてデジタル変換されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス１１５に記録される。さらに、モニタ１１７、ビューファインダ（ＥＶＦ）１１６に表示される。モニタ１１７、ビューファインダ（ＥＶＦ）１１６には撮影の有無に関わらず、レンズを介する画像がスルー画として表示される。
With reference to FIG. 2, an internal configuration of the
操作部１１８は、図１を参照して説明したカメラ本体にあるレリーズスイッチ１２、ズームボタン１５、各種の操作情報を入力する操作ボタン１６、撮影モードを設定するためのモードダイアル２０等を含む操作部である。制御部１１０は、ＣＰＵを有し、撮像装置の実行する各種の処理の制御を予めメモリ（ＲＯＭ）１２０などに格納されたプログラムに従って実行する。メモリ（ＥＥＰＲＯＭ）１１９は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ（ＲＯＭ）１２０は、制御部（ＣＰＵ）１１０が使用するプログラムや演算パラメータ等を格納する。メモリ（ＲＡＭ）１２１は、制御部（ＣＰＵ）１１０において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。ジャイロ１１１は、撮像装置の傾き、揺れなどを検出する。検出情報は、制御部（ＣＰＵ）１１０に入力され手ぶれ防止などの処理が実行される。
The
モータドライバ１１２は、フォーカスレンズ１０１に対応して設定されたフォーカスレンズ駆動モータ１１３、ズームレンズ１０２に対応して設定されたズームレンズ駆動モータ１１４を駆動する。垂直ドラバ１０７は、撮像素子（ＣＣＤ）１０３を駆動する。タイミングジェネレータ１０６は、撮像素子１０３およびアナログ信号処理部１０４の処理タイミングの制御信号を生成して、これらの各処理部の処理タイミングを制御する。
The
顔検出部１３０は、レンズを介して入力される画像データの解析を行い、画像データ中の人物の顔を検出する。顔検出情報は、制御部１１０に送られ、制御部１１０では、検出された顔情報に基づいて、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定する。さらに、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を行なう。さらに、顔の大きさに基づく被写体距離の推定処理に際して、顔の大きさの個人差、人種差、年齢差、性別差などを考慮した処理を行うことで正確な距離推定を実現する。
The
本発明の撮像装置では、前述したように、フォーカス制御において、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いるが、このコントラスト識別処理を用いたフォーカス制御において、さらに、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を可能とする。 In the imaging apparatus of the present invention, as described above, in the focus control, a technique for determining the level of contrast of imaging data acquired via the lens is basically used. In the focus control using the contrast identification process, Further, the size of the face of the person as the target subject is determined, the distance of the subject is estimated based on the size, and this estimation information is applied to narrow the focus control range and enable quick focus control. .
コントラストに基づくフォーカス位置の判定処理においては、特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。具体的なオートフォーカス制御処理には、ＡＦ評価値が頂点をキープするようにフォーカスレンズにサーボをかける方法（山登り法）や、特定の領域を特定の間隔の評価値データを取ってそれらの評価値の最大値をとったフォーカス位置にフォーカスレンズを移動させる方法（候補範囲サーチ法）などがある。 In the focus position determination process based on contrast, a high-frequency component integral value of a specific area is calculated and used as an evaluation value (AF evaluation value). Autofocus is realized by driving the focus lens so that the evaluation value is maximized. Specific autofocus control processing includes a method of applying servo to the focus lens so that the AF evaluation value keeps the vertex (mountain climbing method), and taking evaluation value data of specific areas at specific intervals and evaluating them. There is a method of moving the focus lens to the focus position where the maximum value is taken (candidate range search method).
ＡＦ評価値が頂点をキープするようにフォーカスレンズにサーボをかける山登り法は、常に最適なピントを提供するが場合によってはピントが合うまでの時間がかかる、また、特定の領域を特定の間隔の評価値データを取ってそれらの評価値の最大値をとったフォーカス位置にフォーカスレンズを移動させる候補範囲サーチ法はおよそどのようなシーンでも短時間でピントが合うが、ピントが合うのはある特定の瞬間に限られ被写体が動けばピントがずれてしまうという問題がある。 The hill-climbing method that servos the focus lens so that the AF evaluation value keeps the apex always provides the best focus, but sometimes it takes time to focus, and a specific area at a specific interval The candidate range search method that takes evaluation value data and moves the focus lens to the focus position that takes the maximum value of those evaluation values can be focused in a short time in almost any scene, but it is possible to focus There is a problem that the subject is out of focus if the subject moves only in the moment.
本発明の撮像装置では、顔検出部１３０において、画像データ中の人物の顔を検出し、制御部１１０において検出された顔情報に基づいて、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、上述の山登りＡＦ法、端点間サーチＡＦ法に基づくフォーカス位置探索処理の動作範囲を狭めて設定して、その設定領域内で山登りＡＦ法、端点間サーチＡＦ法のいずれかの手法に基づくフォーカス位置探索処理を実行して迅速なフォーカス制御を行なうものである。さらに、顔の大きさに基づく被写体の距離の推定に際して、顔の大きさの個人差、人種差、年齢差、性別差などを考慮した被写体の距離推定を行い、正確な距離推定を実現する。
In the imaging apparatus of the present invention, the
図３に、（ａ）従来のフォーカス制御におけるフォーカスレンズ動作範囲と、（ｂ）本発明に従った顔検出に基づく推定距離情報を適用したフォーカス制御におけるフォーカスレンズ動作範囲を示す。一般的なオートフォーカス制御を行う場合、図３（ａ）に示すように、フォーカスレンズ２０１の動作範囲を至近側リミットから無限側リミットの全範囲に設定し、この範囲でフォーカスレンズ２０１を移動させて、レンズを介して取得された撮像データの特定領域のコントラストの高低を判定する。すなわち、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値（ＡＦ評価値）とし、ＡＦ評価値が最大となる位置をフォーカス位置とする。このような処理を行なうと、フォーカスレンズ２０１の動作範囲が大きく、フォーカス制御の実行時間が長くなるという問題がある。
FIG. 3 shows (a) a focus lens operating range in conventional focus control, and (b) a focus lens operating range in focus control to which estimated distance information based on face detection according to the present invention is applied. When performing general autofocus control, as shown in FIG. 3A, the operating range of the
一方、図３（ｂ）本発明に従った顔検出に基づく推定距離情報を適用したフォーカス制御においては、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定し、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を実行する。すなわち、図３（ｂ）に示すように、目的被写体としての人物の顔の大きさに基づいて被写体の距離を推定し、この距離（ＤＦ）を中心として、予め設定された誤差範囲を含む領域をフォーカスレンズ２０１の動作範囲（Ｒｆ）として設定し、この動作範囲（Ｒｆ）のみにおいて、フォーカスレンズ２０１を移動させて、コントラストの高低を判定してフォーカス位置を決定する。この処理においては、フォーカスレンズ２０１の動作範囲が狭められ、フォーカス位置の特定に要する時間を短縮することが可能となる。
On the other hand, in the focus control using the estimated distance information based on face detection according to the present invention in FIG. 3B, the size of the face of the person as the target subject is determined, and the subject distance is determined based on the size. , And applying this estimation information narrows the focus control range and executes quick focus control. That is, as shown in FIG. 3B, the distance of the subject is estimated based on the size of the face of the person as the target subject, and an area including a preset error range around this distance (DF). Is set as the operating range (Rf) of the
具体的な処理シーケンスは、以下の通りである。なお、撮像素子のコントラスト信号差を求める領域、すなわちコントラストの高低判定のために設定する特定領域は、スルー画から検出される顔領域を含む領域とする。この領域から得られるコントラスト信号に基づいて、次のような動作を実施することでＡＦの高速化を実現する。
１．シャッターを押される前においては、コントラスト信号が最大となる位置にサーボをかける。この時のフォーカス制御におけるレンズ動作範囲は、Ｒｆと限定する。
２．シャッターを押された時、コントラスト信号が最大値近傍を保っていたら、すなわちコントラストが、予め設定した閾値以上であり、かつ、コントラストの変動がフォーカスポジション変化によってほとんど変化しない領域にいる時は、そのままキャプチャーする。半押しならば、ロックする。
３．シャッターを押された時に、コントラスト信号が最大値付近にない場合、レンズ動作範囲Ｒｆを「候補範囲サーチ法」によって、コントラストが最大になる位置を検出し、その位置にフォーカスポジションを移動させた後、キャプチャーする。半押しならば、ロックする。
４．顔の検出結果が変更するたびにレンズの動作範囲Ｒｆを更新する。
A specific processing sequence is as follows. Note that the region for obtaining the contrast signal difference of the image sensor, that is, the specific region set for determining the contrast level is a region including the face region detected from the through image. Based on the contrast signal obtained from this region, the following operation is performed to achieve high speed AF.
1. Before pressing the shutter, the servo is applied to the position where the contrast signal becomes maximum. The lens operating range in focus control at this time is limited to Rf.
2. If the contrast signal is kept close to the maximum value when the shutter is pressed, that is, if the contrast is equal to or greater than a preset threshold value and the contrast fluctuation is in an area where it hardly changes due to a change in the focus position, it remains as it is. Capture. If half pressed, lock.
3. If the contrast signal is not near the maximum value when the shutter button is pressed, the lens operating range Rf is detected by the “candidate range search method” after the position where the contrast is maximized is detected and the focus position is moved to that position. , Capture. If half pressed, lock.
4). Each time the face detection result changes, the lens operating range Rf is updated.
以上の説明に対応する具体的なフォーカス制御処理シーケンスについて、図４に示すフローチャートを参照して説明する。まず、ステップＳ１０１において、撮像装置によって取得される被写体画像（スルー画）から目的被写体の顔領域を検出し、検出した目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定する。 A specific focus control processing sequence corresponding to the above description will be described with reference to the flowchart shown in FIG. First, in step S101, the face area of the target subject is detected from the subject image (through image) acquired by the imaging device, the size of the face of the person as the detected target subject is determined, and based on the size. Estimate the distance of the subject.
ステップＳ１０２において、図３（ｂ）に示すように、目的被写体としての人物の顔の大きさに基づいて推定した距離（ＤＦ）を中心として、予め設定された誤差範囲を含む領域をフォーカスレンズの動作範囲、すなわちＡＦ動作範囲として設定する。ステップＳ１０３では、動画用のオートフォーカス処理、すなわち、モニタに表示される画像を目的被写体としての人物の顔にピント合わせした画像として表示するためのオートフォーカス制御を実行する。ステップＳ１０４においてシャッター押下が検出されない限り、ステップＳ１０１〜Ｓ１０３の処理は継続して実行される。 In step S102, as shown in FIG. 3B, an area including a preset error range is centered on the distance (DF) estimated based on the size of the face of the person as the target subject. The operating range, that is, the AF operating range is set. In step S103, autofocus processing for moving images, that is, autofocus control for displaying an image displayed on the monitor as an image focused on the face of a person as a target subject is executed. Unless the shutter press is detected in step S104, the processing in steps S101 to S103 is continued.
ステップＳ１０４において、シャッター押下が検出されると、ステップＳ１０５に進み、コントラスト信号が最大値近傍を保っているか否か、すなわちコントラストが、予め設定した閾値以上であるかを判定する。 If it is detected in step S104 that the shutter has been pressed, the process proceeds to step S105, in which it is determined whether or not the contrast signal is in the vicinity of the maximum value, that is, whether the contrast is equal to or greater than a preset threshold value.
ステップＳ１０５において、コントラストが予め設定した閾値以上であると判定された場合は、正しいフォーカス制御がなされているものと判断して、ステップＳ１０７に進み、フォーカス制御を完了し、ステップＳ１０８において画像の撮影（キャプチャ）処理を行なう。一方、ステップＳ１０５において、コントラストが予め設定した閾値以上であると判定されなかった場合は、正しいフォーカス制御がなされていないと判断して、ステップＳ１０６に進み、静止画撮影のためのオートフォーカス制御を実行する。この場合のフォーカスレンズの移動範囲は、先に図３（ｂ）を参照して説明した目的被写体としての人物の顔の大きさに基づく推定距離（Ｄｆ）を中心として、予め設定された誤差範囲を含む動作範囲（Ｒｆ）である。この処理において、顔領域を含む特定領域のコントラストの高低に基づいてフォーカス位置を特定し、ステップＳ１０８に進み、フォーカス制御を完了し、ステップＳ１０８において画像の撮影（キャプチャ）処理を行なう。 If it is determined in step S105 that the contrast is equal to or greater than a preset threshold value, it is determined that correct focus control is being performed, the process proceeds to step S107, focus control is completed, and an image is captured in step S108. Perform (capture) processing. On the other hand, if it is not determined in step S105 that the contrast is equal to or greater than a preset threshold value, it is determined that correct focus control is not performed, and the process proceeds to step S106, where autofocus control for still image shooting is performed. Execute. The moving range of the focus lens in this case is a preset error range centered on the estimated distance (Df) based on the size of the face of the person as the target subject described above with reference to FIG. Is an operating range (Rf). In this process, the focus position is specified based on the contrast level of the specific area including the face area, the process proceeds to step S108, the focus control is completed, and an image capturing (capture) process is performed in step S108.
本発明の最大のポイントは、顔の大きさによって顔までの距離を求める場合において、距離の誤差情報を用いて、極力狭いＡＦ範囲を決定する方法にある。これにより短時間でのＡＦが実現できる。 The greatest point of the present invention lies in a method of determining an AF range that is as narrow as possible using distance error information when the distance to the face is determined by the size of the face. Thereby, AF in a short time can be realized.
本発明の撮像装置によって撮影される画像データから目的被写体の人物の顔を特定し、その顔による距離推定を実行する。以下、この処理の具体的な処理構成について説明する。説明は、以下の項目順に行なう。
（１）顔の認識処理
（２）顔までの距離算出およびフォーカスレンズの動作範囲（Ｒｆ）設定手法
（３）複数の顔が存在する場合のオートフォーカス処理
A face of a person as a target subject is specified from image data photographed by the imaging apparatus of the present invention, and distance estimation using the face is executed. Hereinafter, a specific processing configuration of this processing will be described. The description will be made in the order of the following items.
(1) Face recognition processing (2) Distance to face calculation and focus lens operating range (Rf) setting method (3) Autofocus processing when there are multiple faces
（１）顔の認識処理
まず、撮像装置によって取得される画像データから人物の顔を特定する手法について説明する。顔の認識、追尾技術としては、既に様々な技術が開示されており、この既存技術を適用することが可能である。例えば特開２００４−１３３６３７に示されるような、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現できる。まず実画像に縮小処理をかけた画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔３次元直交座標系のＸＹＺ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きを判定するものである。
(1) Face Recognition Processing First, a method for identifying a person's face from image data acquired by the imaging apparatus will be described. Various techniques have already been disclosed as face recognition and tracking techniques, and these existing techniques can be applied. For example, as shown in Japanese Patent Application Laid-Open No. 2004-133637, it can be realized by matching a template that records facial luminance distribution information with an actual image. First, a plurality of types of images obtained by reducing the actual image are prepared. A face luminance distribution information template group obtained when the face is tilted is prepared, and these are sequentially matched. This template is inclined with respect to each of the XYZ axes of the face three-dimensional orthogonal coordinate system, and the actual inclination of the face is determined by matching with this template.
縮小された画像に対して２次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。またそのときに用いたテンプレートから直交３軸周りの回転角、ヨー、ピッチ、ロール角を求めることができる。このようにして得られた、顔の大きさ、位置、回転角度を用いて、顔の距離の推定を実行してオートフォーカス制御を行うことで、先に図３（ｂ）を参照して説明したフォーカスレンズの動作範囲（Ｒｆ）を小さく設定することが可能となる。 When the reduced image is sequentially matched while shifting on the two-dimensional plane, if a certain area matches the template, that area is the position where the face exists, and the size is reduced to the actual image. It can be calculated from the rate. Further, the rotation angle, yaw, pitch, and roll angle around three orthogonal axes can be obtained from the template used at that time. By using the face size, position, and rotation angle obtained in this way to estimate the face distance and perform autofocus control, the explanation will be given with reference to FIG. The operating range (Rf) of the focus lens can be set small.
（２）顔までの距離算出およびフォーカスレンズの動作範囲（Ｒｆ）設定手法
以下、具体的な顔までの距離の算出手法と、フォーカスレンズの動作範囲（Ｒｆ）の設定手法について説明する。本発明が提案する顔の大きさに基づく距離算出方法においては、求めた距離（図３（ｂ）に示す（Ｄｆ））に距離誤差情報を含ませてフォーカスレンズの動作範囲（Ｒｆ）を設定する構成としている。
(2) Method for calculating distance to face and setting method for focus lens operating range (Rf) Hereinafter, a specific method for calculating the distance to the face and a method for setting the focus lens operating range (Rf) will be described. In the distance calculation method based on the face size proposed by the present invention, the focus lens operating range (Rf) is set by including distance error information in the obtained distance ((Df) shown in FIG. 3B). It is configured to do.
本発明の撮像装置では、撮像装置によって撮影される画像に含まれる顔の大きさによって顔までの距離を求める。この処理について、図５を参照して説明する。図５には、被写***置３０１、フォーカスレンズ３０２、撮像素子３０３を示している。被写***置３０１には人物の顔が存在する。顔の大きさ（顔の幅）はＷｆである。
In the imaging apparatus according to the present invention, the distance to the face is obtained based on the size of the face included in the image photographed by the imaging apparatus. This process will be described with reference to FIG. FIG. 5 shows a
顔の実際の大きさ（Ｗｆ）が分ればレンズの基本的な物理法則から、顔までの距離、すなわち被写体距離（Ｄｆ）、すなわち、フォーカスレンズ３０２から被写***置３０１までの被写体距離（Ｄｆ）は以下の式で求めることができる。 Ｄｆ＝Ｗｒｅｆ
×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
上記式における各記号の説明を以下に示す。
If the actual size (Wf) of the face is known, the distance to the face, that is, the subject distance (Df), that is, the subject distance (Df) from the
X (f / Wi) x (Ww / Wf) (Formula 1.1)
The explanation of each symbol in the above formula is shown below.
人間の顔の大きさ基準値：Ｗｒｅｆ
撮像素子の幅：Ｗｉ
焦点距離：ｆ
撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）：Ｗｆ
人の顔検出に使用した画像の大きさのピクセル数（撮像素子検出値）：Ｗｗ
人間の顔の大きさ基準値（Ｗｒｅｆ）は、予め定めた固定値を利用することができる。なお、この顔大きさ基準値（Ｗｒｅｆ）を、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離推定を実現することが可能となる。この処理構成については、後段で説明する。
Human face size reference value: Wref
Image sensor width: Wi
Focal length: f
Number of pixels of human face size in the captured image (imaging element detection value): Wf
Number of pixels of image size used for human face detection (imaging element detection value): Ww
A predetermined fixed value can be used as the human face size reference value (Wref). It is possible to perform processing in which this face size reference value (Wref) is set to a value that takes into account individual differences, race differences, age differences, gender differences, and the like, and this process enables more accurate distance estimation. Can be realized. This processing configuration will be described later.
撮像装置は、撮影される画像（スルー画）に基づいて、上述の式（式１．１）を適用して被写体距離（Ｄｆ）を算出し、算出した被写体距離（Ｄｆ）を中心として、あらかじめ設定した誤差範囲を含めてフォーカスレンズの動作範囲（Ｒｆ）を設定する。 The imaging apparatus calculates the subject distance (Df) based on the photographed image (through image) by applying the above-described formula (formula 1.1), and uses the calculated subject distance (Df) as a center in advance. The operating range (Rf) of the focus lens is set including the set error range.
仮に顔の大きさから求めた誤差がゼロというモデルを想定すると、この位置にフォーカスレンズを移動させた時にピントが外れる要因は、各種デバイスの個体差、製造における誤差に限定される。すなわちこれらの誤差を調整によって除去することができれば、原理的には、山登りＡＦや特定範囲サーチＡＦを用いずとも、顔の大きさだけで良好なピントの写真が得られることになる。 Assuming a model in which the error obtained from the size of the face is zero, the factors that cause the focus to be lost when the focus lens is moved to this position are limited to individual differences of various devices and manufacturing errors. That is, if these errors can be removed by adjustment, in principle, a good focus photograph can be obtained only by the size of the face without using the hill-climbing AF or the specific range search AF.
しかしながら、実際はそれらの誤差を完全に除去することはできない。具体的には、焦点距離方向に非線系なピント移動、デバイスの温度特性によるピント位置の移動、各種のデバイス間に存在するヒステリシスによるものである。それらの大きさを、ズームの位置、フォーカスの位置ごとにデータテーブルとして持ち、テーブル間のデータを線形補完する形で、誤差範囲を至近側にσｎ，無限側にσｆとして設定すると、フォーカスレンズの動作範囲（Ｒｆ）は、顔までの距離を：Ｄｆとしたときに、
Ｒｆ＝Ｄｆ−σｎ〜Ｄｆ＋σｆ・・・（式１．２）
として設定される。すなわち、図６に示すようにフォーカスレンズ３０２の動作範囲（Ｒｆ）が設定される。
However, in practice, these errors cannot be completely removed. Specifically, this is due to non-linear focus movement in the focal length direction, movement of the focus position due to the temperature characteristics of the device, and hysteresis existing between various devices. When the error range is set as σn on the near side and σf on the infinite side in the form of having a data table for each zoom position and focus position and linearly complementing the data between the tables, the size of the focus lens The operating range (Rf) is the distance to the face: Df
Rf = Df−σn to Df + σf (Formula 1.2)
Set as That is, the operating range (Rf) of the
したがって、例えばコントラスト判定に基づくフォーカス制御の１つの手法である山登り方でコントラスト信号の最大値を探すべき範囲は動作範囲（Ｒｆ）として設定することができ、シャッターを押された時にサーチすべき範囲の最大値も上記範囲として設定可能となり、従来と比較して短い距離のレンズ移動範囲が設定されて短時間でのフォーカス制御が可能となる。 Accordingly, for example, the range in which the maximum value of the contrast signal should be searched for in the hill climbing method, which is one method of focus control based on contrast determination, can be set as the operation range (Rf), and the range to be searched when the shutter is pressed. The maximum value of can be set as the above range, and a lens movement range with a shorter distance than that in the prior art is set, and focus control can be performed in a short time.
しかし、このような顔の大きさに基づく距離推定処理には、以下のような問題がある。
問題点１．人種差、性別差、年齢差、体格差による顔の大きさばらつきがある。
問題点２．テンプレートマッチングの能力限界（実画像縮小率の分解能など）。
However, such a distance estimation process based on the face size has the following problems.
［問題点１の解決方法］
１つ目の問題の解決策は、顔大きさ基準値：Ｗｒｅｆを、被写体に対応する人種、性別、年齢、体格に応じた適切な値に設定することであり、このために、様々な人種、性別、年齢、体格に対応する基準値Ｗｒｅｆを算出して利用する構成である。例えば、様々な人種、性別、年齢、体格に対応する基準値Ｗｒｅｆを算出するためのテーブルデータを保持し、画像解析結果またはユーザ入力情報に基づいて被写体に対応する人種、性別、年齢、体格情報を取得して、これらの取得情報に基づいてテーブルから、被写体に応じた顔大きさ基準値：Ｗｒｅｆを求める構成である。
[Solution for Problem 1]
The solution to the first problem is to set the face size reference value: Wref to an appropriate value according to the race, gender, age, and physique corresponding to the subject. The reference value Wref corresponding to the race, sex, age, and physique is calculated and used. For example, it holds table data for calculating reference values Wref corresponding to various races, genders, ages, and physiques, and the races, genders, ages, In this configuration, physique information is acquired, and a face size reference value: Wref corresponding to the subject is obtained from a table based on the acquired information.
撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定することが可能である。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定する。あるいは、撮影者などのユーザが、被写体情報として人種、性別、年齢、体格に関する被写体情報を入力し、この入力情報を適用する構成としてもよい。 It is possible to estimate the race, gender, age, and physique of a person having the face by analyzing the face image included in the image photographed by the imaging device. That is, the face parts are identified, and matching with parts information corresponding to the race, sex, age, and physique registered in advance is performed to estimate the race, gender, age, and physique of the subject. Alternatively, a user such as a photographer may input subject information related to race, sex, age, and physique as subject information and apply the input information.
このように画像解析またはユーザ入力情報として被写体の人種、性別、年齢、体格情報を取得して、被写体に応じた適正な顔大きさ基準値：Ｗｒｅｆを求める。図７を参照して、この処理例について説明する。 In this way, the race, sex, age, and physique information of the subject are acquired as image analysis or user input information, and an appropriate face size reference value: Wref corresponding to the subject is obtained. This processing example will be described with reference to FIG.
図７に示すように、撮像装置は、顔の大きさ基準値（Ｗｒｅｆ）算出部３１０を有し、顔の大きさ基準値（Ｗｒｅｆ）算出部３１０は、人種別基準値算出テーブル３１１、性別基準値算出テーブル３１２、年齢別基準値算出テーブル３１３、体格別基準値算出テーブル３１４と、データ処理部３２０を有する。
As illustrated in FIG. 7, the imaging apparatus includes a face size reference value (Wref)
画像解析部３３１は、撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定する。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定し、その推定情報を顔の大きさ基準値（Ｗｒｅｆ）算出部３１０に入力する。あるいは、ユーザ入力部３３２を介して撮影者などのユーザが、被写体情報としての人種、性別、年齢、体格に関する被写体情報を入力し、この入力情報を顔の大きさ基準値（Ｗｒｅｆ）算出部３１０に入力する。
The
顔の大きさ基準値（Ｗｒｅｆ）算出部３１０は、画像解析部３３１または、ユーザ入力部３３２を介して入力した被写体情報に基づいて、被写体に応じた最適な基準値（Ｗｒｅｆ）を、各テーブルを適用して算出する。実際の出力は、ある程度のばらつきを考慮した基準値範囲Ｗｒｅｆ＝（Ｗｒｅｆ＋ΔＷｒｅｆｂ）〜（Ｗｒｅｆ−ΔＷｒｅｒｆｓ）を算出する。想定される大きい方へのずれをΔＷｒｅｆｂ、想定される小さい方へのずれをΔＷｒｅｆｓとして考慮した結果を出力する。
The face size reference value (Wref)
テーブルのデータ構成例を図８〜図１０を参照して説明する。図８（ａ）は、人種別基準値算出テーブル、図８（ｂ）は、人種、性別基準値算出テーブル、図９（ｃ）は、人種、性別、年齢別基準値算出テーブル、図１０（ｄ）は人種、性別、年齢、体格別基準値算出テーブルである。図７に示す構成例においては、人種、性別、年齢、体格の個別のテーブルを設定した例を説明したが、テーブル構成は、個別のテーブルとするばかりでなく、図８〜図１０に示す態様のような各種の設定が可能である。 An example of the data structure of the table will be described with reference to FIGS. 8A is a race type reference value calculation table, FIG. 8B is a race and gender reference value calculation table, FIG. 9C is a race, gender and age reference value calculation table, and FIG. Reference numeral 10 (d) is a reference value calculation table by race, gender, age, and physique. In the configuration example shown in FIG. 7, an example in which individual tables of race, sex, age, and physique are set has been described. However, the table configuration is not only an individual table, but also shown in FIGS. 8 to 10. Various settings as in the embodiment are possible.
例えば、画像解析部３３１または、ユーザ入力部３３２を介して入力した被写体情報に基づいて、人種のみが推定／断定できる時には、図８（ａ）に示す人種別基準値算出テーブルを用いる。仮に人種の判断ができない場合。「共通」のデータが用いられることとなる。
For example, when only the race can be estimated / determined based on the subject information input via the
画像解析部３３１または、ユーザ入力部３３２を介して入力した被写体情報に基づいて、人種と性別が推定／判断できる場合には、図８（ｂ）に示す人種、性別基準値算出テーブルが用いられる。仮にアジア系人種であり、男性ということになれば、図８（ｂ）に示すＡ列のデータが用いられることになる。一方で、例えば人種は判別できないが性別は女性と推定／断定できる場合、人種は共通、性別は女性という図８（ｂ）に示すＢ列のデータを用いることとなる。
If the race and gender can be estimated / determined based on the subject information input via the
同様にして、年代まで推定／断定できるならば、図９（ｃ）に示す人種、性別、年齢別基準値算出テーブルが用いられることになり、仮にアジア系人種の男性であり、１２歳以上ということが分れば、図９（ｃ）に示すＣ列のデータを用いればよいし、何らかの理由で年代が推定できなかった場合は、図９（ｃ）に示すＤ列のデータを用いればよい。同様にして、体格まで推定／断定できるならば、図１０（ｄ）に示す人種、性別、年齢、体格別基準値算出テーブルを用いて最適な基準値Ｗｒｅｆ＝（Ｗｒｅｆ＋ΔＷｒｅｆｂ）〜（Ｗｒｅｆ−ΔＷｒｅｒｆｓ）を算出する。 Similarly, if it is possible to estimate / determine until the age, the reference value calculation table by race, gender, and age shown in FIG. 9C will be used. If the above is understood, the data in column C shown in FIG. 9 (c) may be used. If the age cannot be estimated for some reason, the data in column D shown in FIG. 9 (c) is used. That's fine. Similarly, if the physique can be estimated / determined, the optimum reference values Wref = (Wref + ΔWrefb) to (Wref−ΔWreffs) using the race, sex, age, and physique reference value calculation table shown in FIG. ) Is calculated.
このように、画像解析またはユーザ入力情報として被写体の人種、性別、年齢、体格情報を取得して、被写体に応じた適正な顔大きさ基準値：Ｗｒｅｆを求めることが可能であり、算出した基準値：Ｗｒｅｆを適用することで、より正確な被写体までの距離（Ｄｆ）を算出することが可能となる。なお、基準値：Ｗｒｅｆの適用処理および被写体までの距離（Ｄｆ）の算出処理に際しては、顔の横幅、顔の縦の長さのいずれかを適用する構成、さらに、両者を併用する処理構成が可能である。さらに、傾きを考慮した処理構成としてもよい。 In this way, it is possible to obtain and calculate the appropriate face size reference value: Wref according to the subject by acquiring the race, sex, age, and physique information of the subject as image analysis or user input information. By applying the reference value: Wref, it is possible to calculate a more accurate distance (Df) to the subject. In addition, in the process of applying the reference value: Wref and the process of calculating the distance to the subject (Df), there is a configuration in which either the width of the face or the length of the face is applied, and a processing configuration in which both are used together. Is possible. Furthermore, it is good also as a processing structure which considered inclination.
［問題点２の解決方法］
次に、前述の問題点２、すなわち、テンプレートマッチングの能力限界（実画像縮小率の分解能など）についての解決方法について説明する。前述したように、撮影画像から顔料粋を特定するためにテンプレートマッチングが実行される。すなわち、顔の様々な傾きに対応する顔の輝度分布情報テンプレート群を用意しておき、撮影画像に縮小処理をかけた縮小画像とのマッチングを行なう処理である。縮小された画像に対して２次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。
[Solution for Problem 2]
Next, a solution for the above-described
しかし、テンプレートマッチングの能力限界（実画像縮小率の分解能など）という問題が存在する。この問題に対する対策としては、これらの誤差を予め考慮した処理を行なうことが有効な対策である。検出誤差は、人種差や性別差、年齢差といったものとは独立に発生しうる問題である。顔のテンプレートに様々な顔のデータを記録させること、およびマッチングを確認する位置の数を増すことで精度を上げることが期待できるものの、どうしても限界がある。例えば、撮影された画像中の顔が暗い場合には誤差が大きくなり、また顔が傾くと誤差が大きくなる。検出誤差は、そもそもの性能の限界、検出に不利な明るさ、顔の傾き、これらの状況によって発生するものであり、このような状況に応じた誤差を考慮した処理を行なう。 However, there is a problem of the capability limit of template matching (resolution of actual image reduction rate, etc.). As a countermeasure against this problem, it is an effective countermeasure to perform processing in consideration of these errors in advance. The detection error is a problem that may occur independently of race differences, gender differences, age differences, and the like. Although it can be expected to increase the accuracy by recording various face data in the face template and increasing the number of positions where matching is confirmed, there is a limit. For example, the error increases when the face in the captured image is dark, and the error increases when the face is tilted. The detection error is caused by the limit of performance, brightness unfavorable for detection, face inclination, and these situations, and processing is performed in consideration of such an error.
具体的な処理例について説明する。撮影画像から検出された顔の大きさＷｆに対して、明るさ検出装置による明るさ情報などを用いて、テンプレートマッチングにおいて、最も小さく判定してしまう時の顔の大きさ：Ｗｓ、最も大きく判定してしまう時の顔の大きさ：Ｗｂを求める。これらは、検出誤差の発生要因、すなわち、検出処理性能の限界、検出に不利な明るさ、顔の傾き、これらの状況によって発生する誤差要因を考慮して決定する。 A specific processing example will be described. The size of the face when it is determined to be the smallest in template matching using the brightness information by the brightness detection device, etc. with respect to the face size Wf detected from the captured image: Ws, the largest The size of the face at the time of the end: Wb is obtained. These are determined in consideration of factors that generate detection errors, that is, the limit of detection processing performance, brightness unfavorable for detection, face tilt, and error factors that occur due to these situations.
次に、先に、図７〜図１０を参照して説明した人種、性別、年齢、体格の基準値算出テーブルを適用した処理によって、顔の大きさ基準値Ｗｒｅｆ＝（Ｗｒｅｆ＋ΔＷｒｅｆｂ）〜（Ｗｒｅｆ−ΔＷｒｅｒｆｓ）を算出する。これは、想定される大きい方向へのずれをΔＷｒｅｆｂ、小さい方向へのずれをΔＷｒｅｆｓとして被写体までの距離を一定の範囲に設定した例である。 Next, the face size reference values Wref = (Wref + ΔWrefb) to (Wrefb) are obtained by processing using the race, sex, age, and physique reference value calculation tables described above with reference to FIGS. -ΔWerrfs) is calculated. This is an example in which the distance to the subject is set within a certain range, where ΔWrefb is the deviation in the large direction and ΔWrefs is the deviation in the small direction.
このとき、顔の大きさ基準値（Ｗｒｅｆ）、撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）（Ｗｆ）について、
Ｗｒｅｆ＝Ｗｒｅｆ＋ΔＷｒｅｆｂ、
Ｗｒ＝Ｗｓ
として設定して、先に説明した被写体距離（Ｄｆ）算出式、すなわち、 Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
上記式に上記、Ｗｒｅｆ＝Ｗｒｅｆ＋ΔＷｒｅｆｂ、Ｗｒ＝Ｗｓを代入して得られる結果（Ｄｆｆ）が、最も遠方に誤差が広がるケースである。
At this time, for the face size reference value (Wref) and the number of pixels of the human face size (imaging element detection value) (Wf) in the captured image,
Wref = Wref + ΔWrefb,
Wr = Ws
The subject distance (Df) calculation formula described above, that is, Df = Wref × (f / Wi) × (Ww / Wf) (Formula 1.1)
The result (Dff) obtained by substituting Wref = Wref + ΔWrefb and Wr = Ws into the above equation is the case where the error spreads farthest away.
一方、Ｗｒｅｆ、Ｗｆについて、
Ｗｒｅｆ＝Ｗｒｅｆ−ΔＷｒｅｆｓ、
Ｗｒ＝Ｗｂ
として設定して、被写体距離（Ｄｆ）算出式、すなわち、 Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
上記式に、Ｗｒｅｆ＝Ｗｒｅｆ−ΔＷｒｅｆｓ、Ｗｒ＝Ｗｂを代入して得られる結果（Ｄｆｎ）が、最も至近方向に誤差が広がるケースである。
On the other hand, about Wref and Wf,
Wref = Wref−ΔWrefs,
Wr = Wb
And the subject distance (Df) calculation formula, that is, Df = Wref × (f / Wi) × (Ww / Wf) (Formula 1.1)
The result (Dfn) obtained by substituting Wref = Wref−ΔWrefs and Wr = Wb into the above equation is the case where the error spreads in the closest direction.
すなわち、図１１に示すように、被写体画像の顔の大きさから算出する被写体距離（Ｄｆ）を一点とするのではなく、テンプレートマッチング等の画像解析における誤差と、人による誤差とを考慮した範囲として設定する。すなわち、図１１に示すように、
Ｄｆｎ〜Ｄｆｆとして設定する。
That is, as shown in FIG. 11, the subject distance (Df) calculated from the size of the face of the subject image is not a single point, but a range that takes into account errors in image analysis such as template matching and human errors. Set as. That is, as shown in FIG.
Set as Dfn to Dff.
この被写体距離（Ｄｆｎ〜Ｄｆｆ）に対して、さらに、あらかじめ算出される誤差範囲を含めてフォーカスレンズの動作範囲（Ｒｆ）を設定する。先に説明したように、焦点距離方向に非線系なピント移動、デバイスの温度特性によるピント位置の移動、各種のデバイス間に存在するヒステリシスなどを考慮した誤差範囲を至近側にσｎ，無限側にσｆとして設定すると、フォーカスレンズの動作範囲（Ｒｆ）は、
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）・・・（式１．３）
上記式（式１．３）によって算出される。
For this subject distance (Dfn to Dff), an operating range (Rf) of the focus lens is set including an error range calculated in advance. As explained earlier, the error range considering the nonlinear focus movement in the focal length direction, the movement of the focus position due to the temperature characteristics of the device, and the hysteresis existing between various devices is σn on the near side, infinity side Is set as σf, the operating range (Rf) of the focus lens is
Rf = (Dfn−σn) to (Dff + σf) (formula 1.3)
It is calculated by the above formula (Formula 1.3).
本発明の構成では、このように、被写体画像の顔の大きさから算出する被写体距離（Ｄｆ）を一点とするのではなく、テンプレートマッチング等の画像解析における誤差と、人による誤差とを考慮した特定の「範囲：Ｄｆｎ〜Ｄｆｆ」で捉え、誤差を考慮した設定となっている。これが、本発明の重要な特徴の一つである。 In the configuration of the present invention, the subject distance (Df) calculated from the face size of the subject image is not set as one point in this way, but an error in image analysis such as template matching and a human error are considered. It is set in consideration of a specific “range: Dfn to Dff” and taking into account errors. This is one of the important features of the present invention.
（３）複数の顔が存在する場合のオートフォーカス処理
次に、画像中に複数の顔が存在する場合のオートフォーカス処理の詳細について説明する。画像中に顔が複数存在する時は，全ての顔について以上と同様の処理を実行して、それらの各顔に対応するフォーカスレンズの動作範囲（Ｒｆ）を求める。
(3) Autofocus processing when there are a plurality of faces Next, details of the autofocus processing when there are a plurality of faces in the image will be described. When there are a plurality of faces in the image, the same processing as described above is executed for all the faces, and the operating range (Rf) of the focus lens corresponding to each face is obtained.
ここで重要になるのが顔の選択方法であるが、１つの指標は顔の大きさ、すなわちカメラに対する近さである。もう１つの指標は、中央への近さである。これらを適応的に変化させる必要がある。 What is important here is the face selection method, but one index is the size of the face, that is, the proximity to the camera. Another indicator is the proximity to the center. These need to be changed adaptively.
そこで、顔の大きさが、予め定めた閾値（Ｆｌｉｍ）よりも大きい場合、それを最優先し、かつ閾値（Ｆｌｉｍ）を超えた顔が複数存在する場合には大きい順に優先順位をつける。同じ大きさの顔が存在する場合には、中央に近い順に優先度を高くする。すべての顔の大きさが閾値（Ｆｌｉｍ）以下のときは、中央に近いほど優先順位を上げることとし、中心から同じ距離にあるときは顔の大きさが大きい順にする。これにより、最も優先順位の高い１つの顔を選択する。この処理について、図１２、図１３に示すフローチャートを参照して説明する。 Therefore, when the face size is larger than a predetermined threshold value (Flim), the highest priority is given, and when there are a plurality of faces exceeding the threshold value (Flim), priorities are given in descending order. If faces of the same size exist, the priority is increased in the order from the closest to the center. When the size of all the faces is equal to or smaller than the threshold (Flim), the priority is increased as it is closer to the center, and when the distance is the same distance from the center, the order of the size of the face is increased. Thereby, one face with the highest priority is selected. This process will be described with reference to the flowcharts shown in FIGS.
図１２、図１３に示す処理は、図２に示す撮像装置の制御部１１０の制御の下に実行される。まず、ステップＳ２０１において、被写体指定情報（人種，年齢，性別，体格情報）が存在するか否かを判定する。被写体指定情報は、ユーザ入力部としての操作部から入力される。
The processing illustrated in FIGS. 12 and 13 is executed under the control of the
被写体指定情報（人種，年齢，性別，体格情報）が存在しない場合は、ステップＳ２０４に進む。被写体指定情報（人種，年齢，性別，体格情報）が存在する場合、ステップＳ２０２に進み、被写体指定情報に合致する顔のみを選択し、ステップＳ２０３に進み、選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理の詳細については、図１３のフローを参照して後段で説明する。 If there is no subject designation information (race, age, sex, physique information), the process proceeds to step S204. If the subject designation information (race, age, gender, physique information) exists, the process proceeds to step S202, and only the face that matches the subject designation information is selected, and the process proceeds to step S203, where the subject priority is set for the selected face. Execute the process. Details of the subject priority setting process will be described later with reference to the flowchart of FIG.
ステップＳ２０３において、被写体指定情報に合致する顔の優先順位設定処理が完了すると、ステップＳ２０４に進み、優先順位の設定されていない顔のみを選択し、ステップＳ２０５に進み、選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理の詳細については、図１３のフローを参照して後段で説明する。 In step S203, when the priority order setting process for the face that matches the subject designation information is completed, the process proceeds to step S204, where only the face for which priority order is not set is selected, and the process proceeds to step S205, where subject priority is selected for the selected face. Execute the rank setting process. Details of the subject priority setting process will be described later with reference to the flowchart of FIG.
最後に、ステップＳ２０６に進み、ステップＳ２０３において決定された被写体指定情報に対応する顔の優先順位と、ステップＳ２０５において決定された優先順位とを統合して総合的な優先順位の設定処理を実行する。被写体指定情報に対応する顔の優先順位を被写体指定情報に対応しない顔の優先順位より高くする優先順位設定処理が実行される。 Finally, the process proceeds to step S206, where the priority order of the face corresponding to the subject designation information determined in step S203 and the priority order determined in step S205 are integrated to execute a comprehensive priority setting process. . A priority setting process is performed for setting the priority of the face corresponding to the subject designation information higher than the priority of the face not corresponding to the subject designation information.
次に、ステップＳ２０３、およびＳ２０５において実行される優先順位設定処理の詳細処理について、図１３に示すフローチャートを参照して説明する。まず、ステップＳ３０１において、処理対象とする撮影画像（スルー画）中に顔が複数あるか否かを判定する。複数無い場合は、優先順位の設定は不要であるので、処理を終了する。 Next, detailed processing of the priority order setting processing executed in steps S203 and S205 will be described with reference to the flowchart shown in FIG. First, in step S301, it is determined whether there are a plurality of faces in the captured image (through image) to be processed. If there are no more than one, the priority setting is unnecessary and the process is terminated.
処理対象とする撮影画像（スルー画）中に顔が複数ある場合は、ステップｓｘ３０２に進み、複数ある顔から１つの処理対象としての顔を選択する。次に、ステップＳ３０３において、選択した顔の大きさが予め設定された閾値（Ｆｌｉｍ）より大きいか否かを判定する。大きい場合、ステップＳ３０４に進み、その顔を優先順位の高いグループ（Ａ）に分類する。小さい場合、ステップＳ３０５に進み、その顔を優先順位の低いグループ（Ｂ）に分類する。 If there are a plurality of faces in the captured image (through image) to be processed, the process proceeds to step sx302, and a face as one processing target is selected from the plurality of faces. Next, in step S303, it is determined whether or not the size of the selected face is larger than a preset threshold value (Flim). If larger, the process proceeds to step S304, and the face is classified into a group (A) having a higher priority. If it is smaller, the process proceeds to step S305, and the face is classified into a group (B) having a low priority.
次に、ステップＳ３０６において、すべての顔のグルーピングが終了したか否かを判定し、未処理の顔がある場合は、ステップＳ３０２に戻り、同様の処理を繰り返す。ステップＳ３０６において、すべての顔のグルーピングが終了したと判定すると、ステップＳ３０７に進み、優先順位の高いグループ（Ａ）の顔を大きい順に優先順位設定する。同じ大きさなら中央に近い順に優先順位を設定する。次に、ステップＳ３０８に進み、優先順位の低いグループ（Ｂ）の顔を中央に近い順に優先順位設定する。等距離にある場合は、大きい順に優先順位を設定する。このような処理によって、画像に含まれる顔の優先順位を設定する。 Next, in step S306, it is determined whether or not all face groups have been grouped. If there is an unprocessed face, the process returns to step S302, and the same process is repeated. If it is determined in step S306 that all face groups have been grouped, the process advances to step S307 to set the priority order of the faces of the group (A) having a higher priority in descending order. If they are the same size, priorities are set in the order from the center. Next, proceeding to step S308, the priority order of the faces of the group (B) having a low priority order is set in the order from the center. If they are equidistant, priorities are set in descending order. By such processing, the priority order of the faces included in the image is set.
なお、優先順位の設定手法は、この手法に限らず、様々な手法が適用可能である。例えば、図１４に示すフローに従った処理として実行してもよい。図１４に示すフローは、人種、年齢、性別の各々について、指定情報に合致する顔のみを選択して、選択された顔に対して個別に優先順位を設定して、これらの個別の優先順位情報に基づいて最後に総合的な優先順位を設定する方法である。 Note that the priority setting method is not limited to this method, and various methods can be applied. For example, you may perform as a process according to the flow shown in FIG. The flow shown in FIG. 14 selects only faces that match the specified information for each race, age, and gender, and sets priorities for the selected faces individually, and sets these individual priorities. This is a method of finally setting a comprehensive priority based on the rank information.
図１４に示すフローについて説明する。まず、ステップＳ４０１において、被写体指定情報としての人種指定情報が存在するか否かを判定する。人種指定情報が存在しない場合は、ステップＳ４０４に進む。人種指定情報が存在する場合、ステップＳ４０２に進み、指定情報に合致する顔のみを選択し、ステップＳ４０３において選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理は、先に図１３のフローを参照して説明した処理となる。 The flow shown in FIG. 14 will be described. First, in step S401, it is determined whether or not race designation information as subject designation information exists. If no race designation information exists, the process proceeds to step S404. If race designation information exists, the process proceeds to step S402, where only faces that match the designation information are selected, and subject priority setting processing is executed for the face selected in step S403. The subject priority order setting process is the process described above with reference to the flow of FIG.
さらに、ステップＳ４０４において、被写体指定情報としての年齢指定情報が存在するか否かを判定する。年齢指定情報が存在しない場合は、ステップＳ４０７に進む。年齢指定情報が存在する場合、ステップＳ４０５に進み、指定情報に合致する顔のみを選択し、ステップＳ４０６において選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理は、先に図１３のフローを参照して説明した処理となる。 In step S404, it is determined whether or not age designation information as subject designation information exists. If there is no age designation information, the process proceeds to step S407. If age designation information exists, the process proceeds to step S405, where only faces that match the designation information are selected, and subject priority setting processing is executed for the face selected in step S406. The subject priority order setting process is the process described above with reference to the flow of FIG.
さらに、ステップＳ４０７において、被写体指定情報としての性別指定情報が存在するか否かを判定する。性別指定情報が存在しない場合は、ステップＳ４１０に進む。性別指定情報が存在する場合、ステップＳ４０８に進み、指定情報に合致する顔のみを選択し、ステップＳ４０９において選択された顔について被写体優先順位設定処理を実行する。被写体優先順位設定処理は、先に図１３のフローを参照して説明した処理となる。次に、ステップＳ４１０において、優先順位の設定されていない顔のみを選択し、ステップＳ４１１に進み、選択された顔について被写体優先順位設定処理を実行する。この処理も図１３に示すフローに従った処理となる。 Furthermore, in step S407, it is determined whether or not there is gender designation information as subject designation information. If no gender designation information exists, the process proceeds to step S410. If gender designation information exists, the process proceeds to step S408, where only faces that match the designation information are selected, and subject priority setting processing is executed for the face selected in step S409. The subject priority order setting process is the process described above with reference to the flow of FIG. Next, in step S410, only faces for which priority order is not set are selected, and the process proceeds to step S411, where subject priority order setting processing is executed for the selected face. This processing is also processing according to the flow shown in FIG.
最後に、ステップＳ４１２に進み、ステップＳ４０３，Ｓ４０６，Ｓ４０９，Ｓ４１１において決定された優先順位を統合して総合的な優先順位の設定処理を実行する。この統合的な優先順位設定ルールは、ユーザ設定によって様々なルールが適用可能である。 Finally, the process proceeds to step S412, and the priority order determined in steps S403, S406, S409, and S411 is integrated to execute a comprehensive priority setting process. As this integrated priority setting rule, various rules can be applied depending on user settings.
このような優先順位設定処理によって、優先順位が最も高くなった顔を顔１とし、異化、顔２，３，４，として優先順位が設定された場合のオートフォーカス処理について、図１５、図１６を参照して説明する。このように複数の顔を含む画像を撮影する場合のオートフォーカス制御においては、何を重要とするかによって制御手法が異なってくる。すなわち、
（ａ）高速化を重視する場合、
（ｂ）多くの顔に対する合焦判定を行なうことを重視する場合、
（ｃ）高速かつ、できるだけ多くの顔に合焦させることを重視する場合、
これらのどの方向とするかは、ユーザが選択できると合理的であり、具体的な実現方法は以下のとおりである。
15A, 15B, 16A, and 16B, the autofocus process when the priority is set as the
(A) When high speed is important,
(B) When it is important to perform in-focus determination for many faces,
(C) When it is important to focus on as many faces as possible at high speed,
It is reasonable that the user can select any of these directions, and a specific implementation method is as follows.
（ａ）高速化を重視する場合
高速化を重視する場合、最も優先度の高い［顔１］に対応してオートフォーカスにおけるレンズ動作範囲（Ｒｆ）を設定する。すなわち、最も優先度の高い［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）を算出し、フォーカスレンズの動作範囲（Ｒｆ）を設定する。すなわち、先に説明したように、フォーカスレンズの動作範囲（Ｒｆ）は、最も優先度の高い［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）を適用して、
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）
として設定し、この範囲のみをＡＦし、結果的に他の顔２，３・・・が、予め設定された許容焦点深度内にあると判定されれば、その顔に合焦表示を行なう。合焦表示とは、モニタやビューファインダに表示される画像中に提示する合焦が完了したことを示す識別情報であり、例えば、顔１を囲む枠を合焦枠として表示する。ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。
(A) When high speed is important When high speed is important, the lens operating range (Rf) in autofocus is set corresponding to [Face 1] having the highest priority. That is, the subject distance (Dfn to Dff) of [Face 1] having the highest priority is calculated, and the operating range (Rf) of the focus lens is set. That is, as described above, the operating range (Rf) of the focus lens is obtained by applying the subject distance (Dfn to Dff) of [Face 1] having the highest priority,
Rf = (Dfn−σn) to (Dff + σf)
As a result, only this range is AFed. As a result, when it is determined that the other faces 2, 3... Are within the preset allowable depth of focus, the face is displayed in focus. The in-focus display is identification information indicating that the in-focus presented in the image displayed on the monitor or the viewfinder is completed. For example, a frame surrounding the
合焦表示の例を図１５に示す。図１５に示す例は、撮像装置のカメラのモニタに表示される画像に合焦表示を行なった例である。上記のオートフォーカス処理によって、最も優先度の高い［顔１］に対応してレンズ動作範囲（Ｒｆ）を設定してフォーカスレンズを駆動してフォーカスポイントを決定する。この場合、当然、顔１，４２１には、合焦枠４３１が設定されて表示される。さらに、このフォーカスポイントにおいて、顔２，４２２、顔３，４２３についても、予め設定された許容焦点深度内にあると判定されれば、その顔に合焦枠４３２，４３３の表示を行なう。ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。
An example of in-focus display is shown in FIG. The example shown in FIG. 15 is an example in which focused display is performed on an image displayed on the monitor of the camera of the imaging apparatus. With the above autofocus process, the lens operating range (Rf) is set corresponding to [Face 1] having the highest priority, and the focus lens is driven to determine the focus point. In this case, of course, the focusing
（ｂ）多くの顔に対する合焦判定を行なうことを重視する場合、
多くの顔に対する合焦判定を行なうことを重視する場合には、合焦させるべき被写体を逃さないために、各顔のＡＦ範囲の和集合をＡＦの範囲としてのレンズ動作範囲（Ｒｆ）として設定し、このレンズ動作範囲（Ｒｆ）において、コントラスト判定に基づく合焦位置のサーチを実行して、主要被写体の深度内にある顔に合焦表示を行なう。
(B) When it is important to perform in-focus determination for many faces,
When it is important to perform in-focus determination for many faces, the union of the AF ranges of each face is set as the lens operation range (Rf) as the AF range so as not to miss the subject to be focused. Then, in this lens operating range (Rf), the focus position search based on the contrast determination is executed, and the face within the depth of the main subject is displayed in focus.
図１６を参照してこのオートフォーカス制御処理について説明する。図１６には、顔１，２，３のそれぞれについての被写体距離（Ｄｆｎ〜Ｄｆｆ）を適用して算出されるフォーカスレンズ４５０の動作範囲（Ｒｆ）を示している。すなわち、
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）
について、顔１，２，３のそれぞれについて個別に動作範囲（Ｒｆ）が設定される。
The autofocus control process will be described with reference to FIG. FIG. 16 shows the operating range (Rf) of the
Rf = (Dfn−σn) to (Dff + σf)
For each of the
これらの多くの顔１，２，３に対する合焦判定を行なうことを重視する場合には、合焦させるべき被写体を逃さないために、顔１，２，３のそれぞれにおいて求められた動作範囲（Ｒｆ）をすべて含む範囲（和集合）、すなわち図に示すＰ１〜Ｑ１間をＡＦの範囲としてのレンズ動作範囲（Ｒｆ）として設定し、このＰ１Ｑ１間のレンズ動作範囲（Ｒｆ）において、コントラスト判定に基づく合焦位置のサーチを実行して、主要被写体の深度内にある顔に合焦表示を行なう。
When it is important to perform the focus determination on these
（ｃ）高速かつ、できるだけ多くの顔に合焦させることを重視する場合、
高速かつ、できるだけ多くの顔に合焦させることを重視する場合、各優先順位の設定された被写体顔１，２，３，・・・について、それぞれ、被写体距離（Ｄｆｎ〜Ｄｆｆ）を適用して、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ））
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）
を算出する。
(C) When it is important to focus on as many faces as possible at high speed,
When it is important to focus on as many faces as possible at high speed, subject distances (Dfn to Dff) are applied to the subject faces 1, 2, 3,. AF operating range (Lens operating range (Rf))
Rf = (Dfn−σn) to (Dff + σf)
Is calculated.
次に、被写体顔２，３，・・・について設定されたＡＦ動作範囲（レンズ動作範囲（Ｒｆ））が、最も重要な被写体である［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）に重複する領域を持つか否かを判定する。［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）に重複するＡＦ動作範囲（レンズ動作範囲（Ｒｆ））を持つ顔２，３・・については、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ））の拡張領域として、その和となる範囲をＡＦ動作範囲（レンズ動作範囲（Ｒｆ））とする。一方、［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）に重複するＡＦ動作範囲（レンズ動作範囲（Ｒｆ））を持たない顔４，５・・があった時は、それらに対してＡＦ範囲は拡大しない。さらに、各顔が顔１の被写界深度内にあるか否かを判定し、被写界深度内にあることが確認された場合は、これらの顔についても合焦枠を表示する。これにより（ａ）の方法では取り逃してしまう可能性がある顔に対しても合焦確認がなされるフォーカス制御処理が可能となる。
Next, the AF operation range (lens operation range (Rf)) set for the subject faces 2, 3,... Overlaps with the subject distance (Dfn to Dff) of [face 1], which is the most important subject. It is determined whether or not it has an area. For
図１７を参照してこのオートフォーカス制御処理について説明する。図１７には、顔１，２，３のそれぞれについての被写体距離（Ｄｆｎ〜Ｄｆｆ）を適用して算出されるフォーカスレンズ４５０の動作範囲（Ｒｆ）を示している。すなわち、
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）
について、顔１，２，３のそれぞれについて個別に動作範囲（Ｒｆ）が設定される。
The autofocus control process will be described with reference to FIG. FIG. 17 shows an operating range (Rf) of the
Rf = (Dfn−σn) to (Dff + σf)
For each of the
高速かつ、できるだけ多くの顔に合焦させることを重視する場合、各優先順位の設定された被写体顔１，２，３について、それぞれ、被写体距離（Ｄｆｎ〜Ｄｆｆ）を適用して、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ））
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）
を算出する。
When it is important to focus on as many faces as possible at high speed, subject distances (Dfn to Dff) are applied to subject faces 1, 2, and 3 for which priority levels are set, respectively, and an AF operation range is applied. (Lens operating range (Rf))
Rf = (Dfn−σn) to (Dff + σf)
Is calculated.
次に、被写体顔２，３について設定されたＡＦ動作範囲（レンズ動作範囲（Ｒｆ））が、最も重要な被写体である［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）に重複する領域を持つか否かを判定する。［顔２］に対応するＡＦ動作範囲（レンズ動作範囲（Ｒｆ））は、［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）に重複するＡＦ動作範囲（レンズ動作範囲（Ｒｆ））を持つ。従って、［顔２］については、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ））の拡張領域として、その和となる範囲をＡＦ動作範囲（レンズ動作範囲（Ｒｆ））とする。 Next, whether the AF operation range (lens operation range (Rf)) set for the subject faces 2 and 3 has a region that overlaps the subject distance (Dfn to Dff) of [face 1], which is the most important subject. Determine whether or not. The AF operation range (lens operation range (Rf)) corresponding to [Face 2] has an AF operation range (lens operation range (Rf)) overlapping the subject distance (Dfn to Dff) of [Face 1]. Therefore, for [Face 2], the sum of the AF operation range (lens operation range (Rf)) is set as the AF operation range (lens operation range (Rf)).
一方、［顔３］に対応するＡＦ動作範囲（レンズ動作範囲（Ｒｆ））は、［顔１］の被写体距離（Ｄｆｎ〜Ｄｆｆ）に重複するＡＦ動作範囲（レンズ動作範囲（Ｒｆ））を持たない。従って、［顔３］については、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ））の拡張領域としない。図１７の構成の場合、［顔１］と［顔２］のＡＦ動作範囲（レンズ動作範囲（Ｒｆ））の和集合として設定される図に示すＰ２〜Ｑ２間をＡＦの範囲としてのレンズ動作範囲（Ｒｆ）として設定し、このＰ２Ｑ２間のレンズ動作範囲（Ｒｆ）において、コントラスト判定に基づく合焦位置のサーチを実行して、主要被写体の深度内にある顔に合焦表示を行なう。すなわち各顔が顔１の被写界深度内にあるか否かを判定し、被写界深度内にあることが確認された場合は、これらの顔についても合焦枠を表示する。
On the other hand, the AF operation range (lens operation range (Rf)) corresponding to [Face 3] has an AF operation range (lens operation range (Rf)) overlapping the subject distance (Dfn to Dff) of [Face 1]. Absent. Therefore, [Face 3] is not set as an extension region of the AF operation range (lens operation range (Rf)). In the case of the configuration of FIG. 17, the lens operation with AF between P2 and Q2 shown in the figure set as the union of the AF operation range (lens operation range (Rf)) of [Face 1] and [Face 2]. A range (Rf) is set, and in this lens operating range (Rf) between P2Q2, a focus position search based on contrast determination is executed, and a face within the depth of the main subject is displayed in focus. That is, it is determined whether or not each face is within the depth of field of the
上述したようなオートフォーカス制御処理を実行することで、最も重要な顔に対して被写界深度内にいる顔には合焦マークを出せることになり、よりユーザにとって使い勝手のよい写真が得られることになる。これは、例えば仲間同士の集合写真や、母親と赤ん坊の写真など、ピントを合わせたい被写体が複数あるシーンで特に有効である。なお、ＡＦの速度よりも、より多くの顔に合焦させようとする場合、焦点深度換算で１深度分をＡＦ動作範囲に上乗せし、その範囲内にある顔については全て合焦枠を出すという方法を実行してもよい。 By executing the autofocus control process as described above, a focus mark can be put on the face within the depth of field with respect to the most important face, and a user-friendly photograph can be obtained. It will be. This is particularly effective in a scene where there are a plurality of subjects to be focused, such as group photos of friends or a photograph of a mother and a baby. When focusing on more faces than the AF speed, one depth is added to the AF operation range in terms of the focal depth, and the focus frame is displayed for all faces within the range. The method may be executed.
最後に、図１８を参照して本発明の撮像装置において実行される処理を行なうための機能構成について説明する。上述した処理は、先に図２を参照して説明したハードウェア構成を適用して、主に制御部１１０の制御の下に実行されるプログラムに従って実行される。図１８は、この処理を実行する際に適用する機能を中心として説明するためのブロック図である。
Finally, a functional configuration for performing processing executed in the imaging apparatus of the present invention will be described with reference to FIG. The above-described processing is executed according to a program executed mainly under the control of the
撮像装置において取得された画像情報５００は、図２を参照して説明した撮像素子、デジタル信号処理部等を介して顔検出部５０２に入力される。顔検出部５０２では、前述したように、例えば顔の輝度分布情報を記録したテンプレートの実画像へのマッチング処理によって、画像情報５００から顔領域を特定して検出する。
顔検出部５０２の検出した顔検出情報を含む画像情報は、画像解析部５０３、被写体距離算出部５２０の顔の大きさ基準値［Ｗｒｅｆ］算出部５０４、顔の推定距離［Ｄｆ］算出部５０５、さらに、優先順位解析部５０８に出力される。画像解析部５０３は、先に、図７を参照して説明した画像解析処理を実行する。すなわち、画像解析部５０３は、撮像装置によって撮影される画像に含まれる顔画像の解析によって、その顔を持つ人物の人種、性別、年齢、体格を推定する。すなわち、顔のパーツを識別して、予め登録された人種、性別、年齢、体格に対応するパーツ情報とのマッチングを実行して、被写体の人種、性別、年齢、体格を推定し、その推定情報を顔の大きさ基準値［Ｗｒｅｆ］算出部５０４に入力する。なお、これらの被写体情報は、ユーザ入力部５０１を介してユーザが入力する構成としてもよい。
The image information including the face detection information detected by the
被写体距離算出部５２０の顔の大きさ基準値［Ｗｒｅｆ］算出部５０４は、画像解析部５０３または、ユーザ入力部５０１を介して入力された被写体情報に基づいて、被写体に応じた最適な基準値（Ｗｒｅｆ）を、各テーブルを適用して算出する。算出処理は、先に、図７〜図１０を参照して説明したように、テーブルを参照してある程度のばらつきを考慮した基準値範囲Ｗｒｅｆ＝（Ｗｒｅｆ＋ΔＷｒｅｆｂ）〜（Ｗｒｅｆ−ΔＷｒｅｒｆｓ）を算出する。すなわち、想定される大きい方へのずれをΔＷｒｅｆｂ、想定される小さい方へのずれをΔＷｒｅｆｓとして考慮した結果を出力する。
The face size reference value [Wref]
被写体距離算出部５２０の顔の推定距離［Ｄｆ］算出部５０５では、顔のテンプレートマッチング処理において発生する誤差、すなわち、検出性能、明るさ、顔の傾きなどに基づく誤差を考慮して、被写体距離の範囲Ｄｆｎ〜Ｄｆｆを算出する。この被写体距離の算出の基本式は、先に説明した式、すなわち、
Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
である。上記式における各記号の説明を以下に示す。
The estimated face distance [Df]
Df = Wref × (f / Wi) × (Ww / Wf) (Formula 1.1)
It is. The explanation of each symbol in the above formula is shown below.
人間の顔の大きさ基準値：Ｗｒｅｆ
撮像素子の幅：Ｗｉ
焦点距離：ｆ
撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）：Ｗｆ
人の顔検出に使用した画像の大きさのピクセル数（撮像素子検出値）：Ｗｗ
上記式において、テンプレートマッチングにおいて、最も小さく判定してしまう時の顔の大きさ：Ｗｓ、最も大きく判定してしまう時の顔の大きさ：Ｗｂを算出し、顔の大きさ基準値Ｗｒｅｆ＝（Ｗｒｅｆ＋ΔＷｒｅｆｂ）〜（Ｗｒｅｆ−ΔＷｒｅｒｆｓ）を考慮して、上記式（式１．１）を適用して、被写体距離の範囲Ｄｆｎ〜Ｄｆｆを算出する。
Human face size reference value: Wref
Image sensor width: Wi
Focal length: f
Number of pixels of human face size in the captured image (imaging element detection value): Wf
Number of pixels of image size used for human face detection (imaging element detection value): Ww
In the above formula, in the template matching, the face size when the smallest judgment is made: Ws, the face size when the largest judgment is made: Wb is calculated, and the face size reference value Wref = ( The range (Dfn to Dff) of the subject distance is calculated by applying the above formula (formula 1.1) in consideration of Wref + ΔWrefb) to (Wref−ΔWreffs).
すなわち、
Ｗｒｅｆ＝Ｗｒｅｆ＋ΔＷｒｅｆｂ、
Ｗｒ＝Ｗｓ
として設定して、式：Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）を計算して、最も遠方に誤差が広がる場合の結果（Ｄｆｆ）を算出し、
さらに、
Ｗｒｅｆ＝Ｗｒｅｆ−ΔＷｒｅｆｓ、
Ｗｒ＝Ｗｂ
を設定して、式：Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）を計算して、最も至近方向に誤差が広がる場合の結果（Ｄｆｎ）を算出して、
被写体距離の範囲Ｄｆｎ〜Ｄｆｆを算出する。
That is,
Wref = Wref + ΔWrefb,
Wr = Ws
And calculate the formula: Df = Wref × (f / Wi) × (Ww / Wf), and calculate the result (Dff) when the error spreads farthest away,
further,
Wref = Wref−ΔWrefs,
Wr = Wb
And calculate the formula: Df = Wref × (f / Wi) × (Ww / Wf), and calculate the result (Dfn) when the error spreads in the closest direction,
A subject distance range Dfn to Dff is calculated.
この被写体距離情報：Ｄｆｎ〜Ｄｆｆは、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）算出部）５０７に入力される。ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）算出部）５０７は、さらに、被写体距離（Ｄｆｎ〜Ｄｆｆ）に対して、デバイス起因誤差算出部５０６の算出する誤差範囲を含めてフォーカスレンズの動作範囲（Ｒｆ）を設定する。デバイス起因誤差算出部５０６は、焦点距離方向に非線系なピント移動、デバイスの温度特性によるピント位置の移動、各種のデバイス間に存在するヒステリシスなどを考慮した誤差範囲を算出する。この誤差を至近側にσｎ，無限側にσｆとする。
The subject distance information: Dfn to Dff is input to the AF operation range (lens operation range (Rf) calculation unit) 507. The AF operation range (lens operation range (Rf) calculation unit) 507 further includes the error range calculated by the device-derived
ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）算出部）５０７は、至近側にσｎ，無限側にσｆの誤差を加算し、フォーカスレンズの動作範囲（Ｒｆ）を、
Ｒｆ＝（Ｄｆｎ−σｎ）〜（Ｄｆｆ＋σｆ）
として設定する。このフォーカスレンズの動作範囲（Ｒｆ）情報が、フォーカス制御部５０９に入力されて、フォーカスレンズ駆動部５１０に対する駆動コマンドを出力して、フォーカスレンズの動作範囲（Ｒｆ）においてフォーカスレンズが移動され、各移動ポイントにおいて、コントラスト信号制生成部５１１の生成するコントラスト情報からＡＦ評価値を算出し、ＡＦ評価値の高い位置にフォーカス位置を決定する処理が実行される。このフォーカス制御によって合焦がなされた被写体には、図１５を参照して説明した合焦枠を表示するように表示制御部５１１が処理を行なう。
An AF operating range (lens operating range (Rf) calculation unit) 507 adds an error of σn on the close side and σf on the infinite side, and calculates the operating range (Rf) of the focus lens.
Rf = (Dfn−σn) to (Dff + σf)
Set as. The focus lens operating range (Rf) information is input to the
さらに、画像情報５００に複数の顔が含まれる場合には、優先順位解析部５０８において各顔の優先順位の判定が実行される。優先順位の設定処理は、先に説明したように、顔の大きさや中央への近さなどを指標とした処理が実行される。また、ユーザ入力部５０１を介して入力された指定情報、例えば、人種、年齢、性別、体格などの指定情報に基づいて優先順位の設定が実行される。この処理は、先に、図１２〜図１４を参照して説明した処理である。
Further, when the
優先順位解析部５０８において決定された優先順位情報は、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）算出部）５０７に入力され、この場合、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）算出部）５０７は優先順位情報に基づいて、ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）を算出する。具体的には、先に説明したように、
（ａ）高速化を重視する場合、
（ｂ）多くの顔に対する合焦判定を行なうことを重視する場合（図１６）、
（ｃ）高速かつ、できるだけ多くの顔に合焦させることを重視する場合（図１７）、
これらのケースによって異なる処理が実行される。
The priority order information determined by the priority
(A) When high speed is important,
(B) When importance is attached to performing in-focus determination on many faces (FIG. 16),
(C) When it is important to focus on as many faces as possible at high speed (FIG. 17),
Different processes are executed depending on these cases.
この処理によってフォーカスレンズの動作範囲（Ｒｆ）を決定し、決定情報をフォーカス制御部５０９に入力して、フォーカスレンズ駆動部５１０に対する駆動コマンドを出力して、フォーカスレンズの動作範囲（Ｒｆ）においてコントラストに基づくフォーカス位置設定が実行される。フォーカス制御によって合焦がなされた被写体には、図１５を参照して説明した合焦枠を表示するように表示制御部５１１が処理を行なう。
By this processing, the operating range (Rf) of the focus lens is determined, the determination information is input to the
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。 The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present invention. In other words, the present invention has been disclosed in the form of exemplification, and should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims should be taken into consideration.
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 The series of processing described in the specification can be executed by hardware, software, or a combined configuration of both. When executing processing by software, the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。 For example, the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium. Alternatively, the program is temporarily or permanently stored on a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory. It can be stored (recorded). Such a removable recording medium can be provided as so-called package software.
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。 The program is installed on the computer from the removable recording medium as described above, or is wirelessly transferred from the download site to the computer, or is wired to the computer via a network such as a LAN (Local Area Network) or the Internet. The computer can receive the program transferred in this manner and install it on a recording medium such as a built-in hard disk.
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 Note that the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary. Further, in this specification, the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
以上、説明したように、本発明の一実施例の構成では、撮像装置におけるオートフォーカス処理において、入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出して、算出した被写体距離情報に基づいてフォーカス位置を推定する。さらに、この推定したフォーカス位置に基づいて、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定し、設定したレンズ動作範囲内において、フォーカスレンズを移動させてフォーカスレンズ設定位置を決定する。本構成によれば、フォーカス制御において移動させるレンズの距離を短く設定することが可能となり、高速なフォーカス制御が実現される。 As described above, in the configuration of an embodiment of the present invention, in the autofocus process in the imaging device, the face area is detected from the input image, the subject distance is calculated based on the detected face size, A focus position is estimated based on the calculated subject distance information. Further, based on the estimated focus position, a focus lens operating range shorter than the entire operating range of the focus lens is set, and the focus lens is moved within the set lens operating range to determine the focus lens setting position. According to this configuration, the distance of the lens to be moved in the focus control can be set short, and high-speed focus control is realized.
さらに、本発明の一実施例の構成によれば、被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成としたので、被写体に適応したより正確な被写体距離を算出可能となり、正確なフォーカス制御が実現される。 Furthermore, according to the configuration of one embodiment of the present invention, in the subject distance calculation process, subject information of at least one of race, gender, age, and physique is input, and the subject distance is determined based on the input subject information. Since the subject distance calculation process is executed by applying the reference value of the face size, a more accurate subject distance adapted to the subject can be calculated, and accurate focus control is realized.
さらに、本発明の一実施例の構成によれば、優先順位解析部において、顔検出部の検出した複数の顔の優先順位を、例えば、顔の大きさ、または、顔の中央への近さ、または人種、性別、年齢、体格などの被写体情報などを指標として決定し、決定した顔の優先順位情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成としたので、複数の顔が検出された場合であっても、より優先度の高い顔に対するフォーカス制御を効率的に行うことができる。 Furthermore, according to the configuration of the embodiment of the present invention, the priority analysis unit determines the priority order of the plurality of faces detected by the face detection unit, for example, the size of the face or the proximity to the center of the face. Or subject information such as race, gender, age, physique, etc. is determined as an index, and the processing for setting the focus lens operating range is executed based on the determined face priority information. Even when detected, it is possible to efficiently perform focus control on a face with higher priority.
１０ 撮像装置
１１ 電源スイッチ
１２ レリーズスイッチ
１３ モニタ
１４ イメージャ
１５ ズームボタン
１６ 操作ボタン
１７ ビューファインダ
１８ フォーカスレンズ
１９ ズームレンズ
２０ モードダイアル
２１ フォーカスレンズモータ（Ｍ１）
２２ ズームレンズモータ（Ｍ２）
１００ 撮像装置
１０１ フォーカスレンズ
１０２ ズームレンズ
１０３ 撮像素子
１０４ アナログ信号処理部
１０５ Ａ／Ｄ変換部
１０６ タイミングジェネレータ（ＴＡ）
１０７ 垂直ドライバ
１０８ デジタル信号処理部
１１０ 制御部
１１１ ジャイロ
１１２ モータドライバ
１１３，１１４ モータ
１１５記録デバイス１１５
１１６ ビューファインダ（ＥＶＦ）
１１７ モニタ
１１８ 操作部
１１９ メモリ（ＥＥＰＲＯＭ）
１２０ メモリ（ＲＯＭ）
１２１ メモリ（ＲＡＭ）
２０１ フォーカスレンズ
３０１ 被写***置
３０２ フォーカスレンズ
３０３ 撮像素子
３１０ 顔の大きさ基準値（Ｗｒｅｆ）算出部
３１１ 人種別基準値算出テーブル
３１２ 性別基準値算出テーブル
３１３ 年齢別基準値算出テーブル
３１４ 体格別基準値算出テーブル
３２０ データ処理部
３３１ 画像解析部
３３２ ユーザ入力部
４０１ フォーカスレンズ
４２１，４２２，４２３ 顔（画像）
４３１，４３２，４３３ 合焦枠
４５０ フォーカスレンズ
５００ 画像情報
５０１ ユーザ入力部
５０２ 顔検出部
５０３ 画像解析部
５０４ 顔の大きさ基準値［Ｗｒｅｆ］算出部
５０５ 顔の推定距離［Ｄｆ］算出部
５０６ デバイス起因誤差算出部
５０７ ＡＦ動作範囲（レンズ動作範囲（Ｒｆ）算出部）
５０８ 優先順位解析部
５０９ フォーカス制御部
５１０ コントラスト信号生成部
５１１ フォーカスレンズ駆動部
５１２ 表示制御部
５２０ 被写体距離算出部
DESCRIPTION OF
22 Zoom lens motor (M2)
DESCRIPTION OF
116 Viewfinder (EVF)
120 memory (ROM)
121 Memory (RAM)
DESCRIPTION OF
431, 432, 433 In-
508 Priority
Claims (12)
顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出部と、
前記被写体距離算出部の算出した被写体距離に基づいてフォーカス位置を推定し、該推定したフォーカス位置を基準として、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出部と、
前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定するフォーカス制御部とを有し、
前記被写体距離算出部は、
前記被写体距離として、前記テンプレートマッチング処理において発生する誤差を考慮して、被写体距離の範囲を算出する撮像装置。 A face detection unit that detects a face area by template matching processing from an input image input in the imaging apparatus;
A subject distance calculation unit that calculates a subject distance based on the size of the face detected by the face detection unit;
A lens operating range calculating unit that estimates a focus position based on the subject distance calculated by the subject distance calculating unit, and sets a focus lens operating range shorter than the entire operating range of the focus lens based on the estimated focus position;
A focus control unit that determines a focus lens setting position by moving a focus lens within a lens operation range set by the lens operation range calculation unit and determining a contrast level;
The subject distance calculation unit
An imaging apparatus that calculates a range of a subject distance in consideration of an error that occurs in the template matching process as the subject distance.
前記撮像装置のデバイスに起因する誤差を考慮して前記フォーカスレンズ動作範囲を設定する構成である請求項１に記載の撮像装置。 The lens operating range calculation unit further includes:
The imaging apparatus according to claim 1, wherein the focus lens operating range is set in consideration of an error caused by a device of the imaging apparatus.
顔検出部の検出した顔の大きさに基づく被写体距離算出処理において、人種、性別、年齢、体格の少なくともいずれかの被写体情報を入力し、入力した被写体情報に基づいて、被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成である請求項２に記載の撮像装置。 The subject distance calculation unit
In subject distance calculation processing based on the face size detected by the face detection unit, subject information of at least one of race, gender, age, and physique is input, and the face corresponding to the subject is input based on the input subject information. The imaging apparatus according to claim 2, wherein the imaging apparatus is configured to execute subject distance calculation processing to which a reference value of the size of the subject is applied.
被写体に応じた顔の大きさの基準値を適用した被写体距離算出処理を実行する構成であり、顔の大きさの基準値を、一つの値ではなく、ある値の範囲を持つ基準値として算出し、範囲を持つ基準値を適用して、範囲を持つ被写体距離を算出する処理を実行する構成である請求項２に記載の撮像装置。 The subject distance calculation unit
It is a configuration that executes subject distance calculation processing that applies a reference value of the face size according to the subject, and calculates the reference value of the face size as a reference value having a certain value range instead of a single value The imaging apparatus according to claim 2, wherein a process for calculating a subject distance having a range is executed by applying a reference value having a range.
前記顔検出部の検出した複数の顔の優先順位を設定する優先順位解析部を有し、
前記優先順位解析部は、
顔の大きさ、または、顔の中央への近さ、または人種、性別、年齢、体格の少なくともいずれかの被写体情報を指標として顔の優先順位決定処理を実行する構成であり、
前記レンズ動作範囲算出部は、
前記優先順位解析部の決定した顔の優先順位情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成である請求項３に記載の撮像装置。 The imaging device further includes:
A priority analysis unit that sets priority of a plurality of faces detected by the face detection unit;
The priority analysis unit
It is a configuration that executes face priority determination processing using as an index subject information of at least one of face size, proximity to the center of the face, race, gender, age, and physique,
The lens operating range calculation unit
The imaging apparatus according to claim 3, wherein the imaging apparatus is configured to execute a process of setting a focus lens operating range based on face priority information determined by the priority analysis unit.
前記優先順位解析部の決定した最も優先度の高い顔に対応する被写体距離情報に基づいてフォーカスレンズ動作範囲を設定する処理を実行する構成である請求項７に記載の撮像装置。 The lens operating range calculation unit
The imaging apparatus according to claim 7, wherein the imaging apparatus is configured to execute a process of setting a focus lens operation range based on subject distance information corresponding to a face with the highest priority determined by the priority analysis unit.
前記優先順位解析部の決定した優先度順の複数の顔に対応する被写体距離情報に基づいて算出される複数のフォーカスレンズ動作範囲を含む範囲を最終的なフォーカスレンズ動作範囲として設定する処理を実行する構成である請求項７に記載の撮像装置。 The lens operating range calculation unit
A process of setting a range including a plurality of focus lens operation ranges calculated based on subject distance information corresponding to a plurality of faces in priority order determined by the priority analysis unit as a final focus lens operation range is executed. The imaging device according to claim 7, wherein the imaging device is configured to perform.
さらに、前記フォーカス制御部におけるフォーカスレンズ設定位置の決定に基づいて合焦成功と判断されたモニタ出力画像中の顔領域に合焦成功を示す合焦表示を行なう表示制御部を有する請求項２に記載の撮像装置。 The imaging device
3. The display control unit according to claim 2, further comprising: a display control unit configured to perform a focus display indicating a successful focus on a face area in a monitor output image determined to be a successful focus based on the determination of a focus lens setting position in the focus control unit. The imaging device described.
顔検出部において、撮像装置において入力する入力画像から、テンプレートマッチング処理によって顔領域を検出する顔検出ステップと、
被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出する被写体距離算出ステップと、
レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定するレンズ動作範囲算出ステップと、
フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定するフォーカス制御ステップとを有し、
前記被写体距離算出ステップは、
前記被写体距離として、前記テンプレートマッチング処理において発生する誤差を考慮して、被写体距離の範囲を算出する撮像装置制御方法。 An imaging apparatus control method for executing autofocus control in an imaging apparatus,
In the face detection unit, a face detection step of detecting a face region by template matching processing from an input image input in the imaging device;
A subject distance calculation step of calculating a subject distance based on the size of the face detected by the face detection unit in the subject distance calculation unit;
A lens operating range calculating step for estimating a focus position based on the subject distance information calculated by the subject distance calculating unit and setting a focus lens operating range shorter than the entire operating range of the focus lens in the lens operating range calculating unit;
A focus control step in which the focus control unit moves the focus lens within the lens operation range set by the lens operation range calculation unit and determines the focus lens setting position by determining the level of contrast;
The subject distance calculating step includes:
An imaging apparatus control method for calculating a range of a subject distance in consideration of an error generated in the template matching process as the subject distance.
顔検出部において、撮像装置において入力する入力画像から、テンプレートマッチング処理によって顔領域を検出させる顔検出ステップと、
被写体距離算出部において、顔検出部の検出した顔の大きさに基づいて被写体距離を算出させる被写体距離算出ステップと、
レンズ動作範囲算出部において、前記被写体距離算出部の算出した被写体距離情報に基づいてフォーカス位置を推定し、フォーカスレンズの全稼動範囲より短いフォーカスレンズ動作範囲を設定させるレンズ動作範囲算出ステップと、
フォーカス制御部において、前記レンズ動作範囲算出部の設定したレンズ動作範囲内において、フォーカスレンズを移動させて、コントラストの高低を判定してフォーカスレンズ設定位置を決定させるフォーカス制御ステップとを有し、
前記被写体距離算出ステップは、
前記被写体距離として、前記テンプレートマッチング処理において発生する誤差を考慮して、被写体距離の範囲を算出させるコンピュータ・プログラム。 A computer program for executing autofocus control in an imaging apparatus,
In the face detection unit, a face detection step of detecting a face region by template matching processing from an input image input in the imaging device;
A subject distance calculation step in which the subject distance calculation unit calculates the subject distance based on the size of the face detected by the face detection unit;
A lens operating range calculating step for estimating a focus position based on the subject distance information calculated by the subject distance calculating unit and setting a focus lens operating range shorter than the entire operating range of the focus lens in the lens operating range calculating unit;
A focus control step in which the focus control unit moves the focus lens within the lens operation range set by the lens operation range calculation unit, determines the contrast level and determines the focus lens setting position;
The subject distance calculating step includes:
A computer program for calculating a range of a subject distance in consideration of an error occurring in the template matching process as the subject distance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008163410A JP2008282031A (en) | 2008-06-23 | 2008-06-23 | Imaging apparatus and imaging apparatus control method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008163410A JP2008282031A (en) | 2008-06-23 | 2008-06-23 | Imaging apparatus and imaging apparatus control method, and computer program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006160451A Division JP4207980B2 (en) | 2006-06-09 | 2006-06-09 | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008282031A true JP2008282031A (en) | 2008-11-20 |
Family
ID=40142830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008163410A Pending JP2008282031A (en) | 2008-06-23 | 2008-06-23 | Imaging apparatus and imaging apparatus control method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008282031A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010266699A (en) * | 2009-05-15 | 2010-11-25 | Hoya Corp | Image capturing apparatus |
| JP2011027846A (en) * | 2009-07-22 | 2011-02-10 | Fujifilm Corp | Automatic af frame tracking system |
| JP2011027847A (en) * | 2009-07-22 | 2011-02-10 | Fujifilm Corp | Af frame automatic tracking system |
| WO2011086636A1 (en) * | 2010-01-13 | 2011-07-21 | パナソニック株式会社 | Stereo image capturing device, stereo image capturing method, stereo image display device, and program |
| JP2013201764A (en) * | 2013-05-14 | 2013-10-03 | Olympus Imaging Corp | Camera and camera system |
| JP2015529856A (en) * | 2012-09-06 | 2015-10-08 | エシロール エンテルナショナル （コンパニ ジェネラル ドプチック） | Method for adapting the optical function of an adaptive ophthalmic lens system |
| CN112788231A (en) * | 2019-11-08 | 2021-05-11 | 佳能株式会社 | Image processing apparatus, image processing method, and storage medium |
| CN114339021A (en) * | 2020-09-30 | 2022-04-12 | 北京小米移动软件有限公司 | Focusing method and device based on face recognition, terminal equipment and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004222118A (en) * | 2003-01-17 | 2004-08-05 | Omron Corp | Photographing equipment |
| JP2004317699A (en) * | 2003-04-15 | 2004-11-11 | Nikon Gijutsu Kobo:Kk | Digital camera |
| JP2006018246A (en) * | 2004-06-03 | 2006-01-19 | Canon Inc | Imaging apparatus and imaging method |
| JP2006201282A (en) * | 2005-01-18 | 2006-08-03 | Nikon Corp | Digital camera |
| JP2007178543A (en) * | 2005-12-27 | 2007-07-12 | Samsung Techwin Co Ltd | Imaging apparatus |
-
2008
- 2008-06-23 JP JP2008163410A patent/JP2008282031A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004222118A (en) * | 2003-01-17 | 2004-08-05 | Omron Corp | Photographing equipment |
| JP2004317699A (en) * | 2003-04-15 | 2004-11-11 | Nikon Gijutsu Kobo:Kk | Digital camera |
| JP2006018246A (en) * | 2004-06-03 | 2006-01-19 | Canon Inc | Imaging apparatus and imaging method |
| JP2006201282A (en) * | 2005-01-18 | 2006-08-03 | Nikon Corp | Digital camera |
| JP2007178543A (en) * | 2005-12-27 | 2007-07-12 | Samsung Techwin Co Ltd | Imaging apparatus |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010266699A (en) * | 2009-05-15 | 2010-11-25 | Hoya Corp | Image capturing apparatus |
| JP2011027846A (en) * | 2009-07-22 | 2011-02-10 | Fujifilm Corp | Automatic af frame tracking system |
| JP2011027847A (en) * | 2009-07-22 | 2011-02-10 | Fujifilm Corp | Af frame automatic tracking system |
| WO2011086636A1 (en) * | 2010-01-13 | 2011-07-21 | パナソニック株式会社 | Stereo image capturing device, stereo image capturing method, stereo image display device, and program |
| JPWO2011086636A1 (en) * | 2010-01-13 | 2013-05-16 | パナソニック株式会社 | Stereo image pickup device, stereo image pickup method, stereo image display device, and program |
| JP2015529856A (en) * | 2012-09-06 | 2015-10-08 | エシロール エンテルナショナル （コンパニ ジェネラル ドプチック） | Method for adapting the optical function of an adaptive ophthalmic lens system |
| US10788684B2 (en) | 2012-09-06 | 2020-09-29 | Essilor International | Method for adapting the optical function of an adaptive ophthalmic lenses system |
| JP2013201764A (en) * | 2013-05-14 | 2013-10-03 | Olympus Imaging Corp | Camera and camera system |
| CN112788231A (en) * | 2019-11-08 | 2021-05-11 | 佳能株式会社 | Image processing apparatus, image processing method, and storage medium |
| US11557050B2 (en) | 2019-11-08 | 2023-01-17 | Canon Kabushiki Kaisha | Image processing apparatus, image capturing apparatus, image processing method and storage medium |
| CN112788231B (en) * | 2019-11-08 | 2023-08-15 | 佳能株式会社 | Image processing apparatus, image processing method, and storage medium |
| CN114339021A (en) * | 2020-09-30 | 2022-04-12 | 北京小米移动软件有限公司 | Focusing method and device based on face recognition, terminal equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4207980B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM | |
| JP4127296B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM | |
| JP4127297B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM | |
| JP4172507B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM | |
| JP4218720B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM | |
| JP4264660B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM | |
| JP6271990B2 (en) | Image processing apparatus and image processing method | |
| US8831282B2 (en) | Imaging device including a face detector | |
| US9489747B2 (en) | Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor | |
| JP2008282031A (en) | Imaging apparatus and imaging apparatus control method, and computer program | |
| JP5713055B2 (en) | Imaging apparatus, imaging method, and program | |
| JP5453573B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2009199049A (en) | Imaging apparatus and imaging apparatus control method, and computer program | |
| JP2009141475A (en) | Camera | |
| JP2015012482A (en) | Image processing apparatus and image processing method | |
| JP2010091669A (en) | Imaging device | |
| JP2007133301A (en) | Autofocus camera | |
| JP2009105851A (en) | Imaging apparatus, control method and program thereof | |
| JP4996568B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP6486453B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2007328213A (en) | Imaging apparatus, imaging apparatus control method, and computer program | |
| JP2009092747A (en) | Imaging device and method | |
| JP2014116789A (en) | Photographing device, control method therefor, and program | |
| JP2018042092A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP2010072537A (en) | Imaging device and control method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110517 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110809 |