JP2010122358A - Autofocus device, autofocus method, and imaging apparatus - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To shorten processing time, since a user need not perform operation for designating an area where autofocus is preferentially performed for himself (herself). <P>SOLUTION: The autofocus device includes: a face detection part 130 detecting a face area in a photographic image plane on the basis of image data generated by photographing a subject imaged by an imaging optical system; and an AF target area decision part 131 deciding whether or not the face area is within a preferential focusing area set in the photographic image plane, and deciding the face area as an AF target area in order to carry out focusing operation of the imaging optical system 10 when the face area is included in the preferential focusing area. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、撮像装置における被写体の合焦状態を自動で調整するオートフォーカス技術に関する。   The present invention relates to an autofocus technique for automatically adjusting a focus state of a subject in an imaging apparatus.

ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を有するデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置が実用化されている。これらの撮像装置に適用されるオートフォーカス（ＡＦ）方式として、撮像素子によって取得される撮影画像を使用したコントラスト検出方式が知られている。   Imaging devices such as digital still cameras and digital video cameras having imaging elements such as CCD (Charge Coupled Device) sensors and CMOS (Complementary Metal Oxide Semiconductor) sensors have been put into practical use. As an autofocus (AF) method applied to these image pickup apparatuses, a contrast detection method using a captured image acquired by an image sensor is known.

コントラスト検出方式は、撮像光学系によって撮像素子の撮像面上に結像される被写体像が合焦状態にあるときは、撮像素子によって取得される撮影画像のコントラストが高くなることを利用する。具体的には、撮像光学系に含まれる合焦用レンズの位置又は撮像素子の位置を移動させることで被写体像の結像位置を順次変化させながら、撮影画像を順次取得する。   The contrast detection method uses the fact that the contrast of the captured image acquired by the imaging device is high when the subject image formed on the imaging surface of the imaging device by the imaging optical system is in focus. Specifically, captured images are sequentially acquired while sequentially changing the imaging position of the subject image by moving the position of the focusing lens included in the imaging optical system or the position of the imaging element.

撮像素子により順次取得される複数の撮影画像に関して、これらのコントラストを示すコントラスト評価値を計算し、コントラスト評価値が極大となる被写体像の結像位置を合焦位置に決定する。コントラスト評価値には、例えば、空間周波数の高周波成分の積算値が使用される。このように、コントラスト評価値の極大値を探索することで合焦位置の決定を行なう制御アルゴリズムは、「山登り制御」と呼ばれる。   Contrast evaluation values indicating these contrasts are calculated for a plurality of captured images sequentially acquired by the image sensor, and the imaging position of the subject image that maximizes the contrast evaluation value is determined as the in-focus position. For the contrast evaluation value, for example, an integrated value of the high frequency component of the spatial frequency is used. In this way, the control algorithm for determining the in-focus position by searching for the maximum value of the contrast evaluation value is called “mountain climbing control”.

また、撮像素子により取得された撮影画面に含まれている人物の顔の像を検出する顔検出処理を実行し、検出された顔の像にピントが合うように合焦制御を行う撮像装置が知られている（特許文献１）。特許文献１には、動きの激しい被写体にも追従できるように、撮像画面内での顔領域の位置に基づいて合焦制御を行う指定エリアを決定し、当該指定エリア内の顔領域から顔の特徴点を示す顔認識データを作成し、顔認識データに基づいて顔位置の変化を検出するとともに、指定エリアを変更する技術が記載されている。しかしながら、顔領域が検出されなかった場合には、オートフォーカスが実行されないという問題がある。   In addition, an imaging apparatus that performs a face detection process for detecting a human face image included in a shooting screen acquired by the imaging device and performs focusing control so that the detected face image is in focus. Known (Patent Document 1). In Patent Document 1, a designated area for performing focus control is determined based on the position of the face area in the imaging screen so that a subject moving rapidly can be followed, and the face area is determined from the face area in the designated area. A technique is described in which face recognition data indicating feature points is created, a change in face position is detected based on the face recognition data, and a designated area is changed. However, when the face area is not detected, there is a problem that autofocus is not executed.

また、特許文献１には、指定エリアとなった顔以外の領域にピントを合わせるため、顔領域の位置に基づいて決定された合焦制御を行う指定エリアを、ユーザからの指定エリアの変更を指示する入力に従って、他の焦点検出エリアに変更する技術が記載されている。
特開２００７−２７９６０１号公報 Further, in Patent Document 1, in order to focus on an area other than the face that has become the designated area, the designated area for performing focus control determined based on the position of the face area is changed from the user to the designated area. A technique for changing to another focus detection area in accordance with an input to be instructed is described.
JP 2007-279601 A

上記の技術では、例えば、撮像画面内の複数の顔領域が検出された場合に、ユーザ自身が優先的にオートフォーカスを行う領域を指定する操作を行う必要があった。このように、ユーザ自身がオートフォーカスを行う領域を指定する操作を行うため、処理時間が増大するという問題があった。   In the above technique, for example, when a plurality of face areas in the imaging screen are detected, it is necessary for the user himself to perform an operation for preferentially specifying an area to be autofocused. Thus, there is a problem that the processing time increases because the user himself performs an operation of designating an area to be autofocused.

本発明の第１の態様に係るオートフォーカス装置は、撮像光学系によって結像される被写体を撮影することにより生成される画像データに基づいて、撮影画面内の特定領域を検出する領域検出部と、前記特定領域が前記撮影画面内に設定された優先合焦エリア内であるか否かを判定する判定部と、前記特定領域が前記優先合焦エリア内に含まれる場合には、前記撮像光学系の合焦動作を実行するため、前記特定領域での結像状態を評価する合焦状態評価部とを備えるものである。   An autofocus device according to a first aspect of the present invention includes an area detection unit that detects a specific area in a shooting screen based on image data generated by shooting a subject imaged by an imaging optical system. A determination unit that determines whether or not the specific area is within a priority focus area set in the shooting screen; and when the specific area is included in the priority focus area, the imaging optical In order to execute the focusing operation of the system, a focusing state evaluation unit that evaluates the imaging state in the specific region is provided.

本発明の第２の態様に係るオートフォーカス方法は、撮像光学系によって結像される被写体を撮影して画像データを生成する撮像部を有する撮像装置におけるオートフォーカス制御方法であって、前記画像データに基づいて、撮影画面内の特定領域を検出し、前記特定領域が前記撮影画面内に設定された優先合焦エリア内であるか否かを判定し、前記特定領域が前記優先合焦エリア内に含まれる場合には、前記特定領域での結像状態に基づいて、前記撮像光学系の合焦動作を実行する。   An autofocus method according to a second aspect of the present invention is an autofocus control method in an imaging apparatus having an imaging unit that shoots a subject imaged by an imaging optical system and generates image data. Based on the above, a specific area in the shooting screen is detected, it is determined whether or not the specific area is in the priority focusing area set in the shooting screen, and the specific area is in the priority focusing area. Is included, the focusing operation of the imaging optical system is executed based on the imaging state in the specific area.

本発明の第３の態様に係る撮像装置は、撮像光学系によって結像される被写体を撮影して画像データを生成する撮像部と、前記画像データに基づいて、撮影画面内の特定領域を検出する領域検出部と、前記特定領域が前記撮影画面内に設定された優先合焦エリア内であるか否かを判定する判定部と、前記特定領域が前記優先合焦エリア内に含まれる場合には、前記特定領域での結像状態に基づいて、前記撮像光学系の合焦動作を実行する制御部と、を備えるものである。   An imaging apparatus according to a third aspect of the present invention includes an imaging unit that shoots a subject imaged by an imaging optical system to generate image data, and detects a specific area in the shooting screen based on the image data. A region detection unit that performs determination, a determination unit that determines whether or not the specific region is within a priority focus area set in the shooting screen, and a case where the specific region is included in the priority focus area Includes a control unit that executes a focusing operation of the imaging optical system based on an imaging state in the specific region.

本発明によれば、ユーザ自身が優先的にオートフォーカスを行う領域を指定する操作を行う必要がなく、処理時間を短縮することができる。   According to the present invention, it is not necessary for the user himself to perform an operation for preferentially specifying an area to be autofocused, and the processing time can be reduced.

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。   Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted as necessary for the sake of clarity.

実施の形態１．
本発明の実施の形態１に係る撮像装置１の構成について、図１を参照して説明する。図１は、本実施の形態に係る撮像装置１の主要構成を示すブロック図である。図１に示すように、撮像装置１は、撮像光学系１０、撮像部１１、画像処理部１２、合焦処理部１３を備える。以下では、図１に含まれる各構成要素について順に説明する。 Embodiment 1 FIG.
The configuration of the imaging apparatus 1 according to Embodiment 1 of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing a main configuration of an imaging apparatus 1 according to the present embodiment. As illustrated in FIG. 1, the imaging device 1 includes an imaging optical system 10, an imaging unit 11, an image processing unit 12, and a focusing processing unit 13. Below, each component contained in FIG. 1 is demonstrated in order.

図１において、撮像光学系１０は、後述する撮像素子１１０の撮像面に被写体像を結像させるため光学レンズ群である。撮像光学系１０は、合焦用レンズ１０１を含む。合焦用レンズ１０１は、後述するレンズ駆動部１３４の駆動によって、撮像光学系１０と撮像素子１１０を結ぶ光軸方向に移動可能である。   In FIG. 1, an image pickup optical system 10 is an optical lens group for forming a subject image on an image pickup surface of an image pickup element 110 described later. The imaging optical system 10 includes a focusing lens 101. The focusing lens 101 is movable in the direction of the optical axis connecting the imaging optical system 10 and the imaging element 110 by driving a lens driving unit 134 described later.

撮像部１１は、撮像素子１１０、アナログ信号処理部１１１及びＡ／Ｄ変換部１１２を含む。撮像素子１１０は、撮像光学系１０を介して入射する光信号を光電変換し、アナログ画像信号を出力するセンサである。撮像素子１１０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary MOS）イメージセンサ等である。   The imaging unit 11 includes an imaging element 110, an analog signal processing unit 111, and an A / D conversion unit 112. The image sensor 110 is a sensor that photoelectrically converts an optical signal incident via the imaging optical system 10 and outputs an analog image signal. The image sensor 110 is, for example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary MOS) image sensor, or the like.

アナログ信号処理部１１１は、撮像素子１１０から出力されるアナログ画像信号の増幅処理、ノイズ除去等の処理を行う。Ａ／Ｄ変換部１１２は、アナログ信号処理部１１１から出力されるアナログ画像信号をサンプリングすることで、デジタル画像信号としての画像データを生成する。   The analog signal processing unit 111 performs processing such as amplification processing and noise removal of the analog image signal output from the image sensor 110. The A / D conversion unit 112 generates image data as a digital image signal by sampling the analog image signal output from the analog signal processing unit 111.

画像処理部１２は、Ａ／Ｄ変換部１１２から供給される画像データに対するカラー補正、ホワイトバランス調整、ガンマ補正等の画像処理を行う。   The image processing unit 12 performs image processing such as color correction, white balance adjustment, and gamma correction on the image data supplied from the A / D conversion unit 112.

合焦処理部１３は、撮像部１１から供給される画像データを用いてコントラスト検出方式によるオートフォーカスを実行する。より具体的に述べると、合焦処理部１３は、撮像部１１により生成された撮影画面内に含まれている人物の顔領域を特定領域として検出するための顔検出処理を実行する。そして、顔領域が検出された場合、合焦処理部１３は当該顔領域が撮影画面内に設定された優先合焦エリア内であるか否かを判定する。   The focusing processing unit 13 performs autofocus by a contrast detection method using the image data supplied from the imaging unit 11. More specifically, the focusing processing unit 13 performs a face detection process for detecting a person's face area included in the shooting screen generated by the imaging unit 11 as a specific area. When the face area is detected, the focusing processing unit 13 determines whether or not the face area is within the priority focusing area set in the shooting screen.

顔領域が優先合焦エリア内に含まれる場合には、合焦処理部１３は、顔領域をオートフォーカス対象領域（以下、ＡＦ対象領域）に決定し、画像データ中のＡＦ対象領域に対応する領域のコントラストが極大となるように、合焦用レンズ１０１を光軸方向に移動させる。   When the face area is included in the priority focus area, the focus processing unit 13 determines the face area as an autofocus target area (hereinafter referred to as AF target area) and corresponds to the AF target area in the image data. The focusing lens 101 is moved in the optical axis direction so that the contrast of the region is maximized.

なお、本実施の形態においては、撮像画面内に含まれる顔領域を特定領域として検出する例について説明するが、これに限定されるものではない。ユーザが決定した他の被写体を特定領域として検出する処理を行うことも可能である。   In the present embodiment, an example in which a face area included in an imaging screen is detected as a specific area will be described, but the present invention is not limited to this. It is also possible to perform processing for detecting another subject determined by the user as a specific region.

図１の構成例では、合焦処理部１３は、顔検出部１３０、オートフォーカス対象領域決定部（以下、ＡＦ対象領域決定部）１３１、オートフォーカス評価値算出部（以下、ＡＦ評価値算出部）１３２、制御部１３３、及びレンズ駆動部１３４を有する。領域検出部としての顔検出部１３０は、背景技術として上述した公知の顔検出アルゴリズムを使用して、撮像部１１により生成された画像データに基づいて、撮影画面内の顔領域を検出する。   In the configuration example of FIG. 1, the focusing processing unit 13 includes a face detection unit 130, an autofocus target area determination unit (hereinafter referred to as AF target area determination unit) 131, an autofocus evaluation value calculation unit (hereinafter referred to as AF evaluation value calculation unit). ) 132, a control unit 133, and a lens driving unit 134. The face detection unit 130 as the region detection unit detects a face region in the shooting screen based on the image data generated by the imaging unit 11 using the known face detection algorithm described above as the background technology.

ＡＦ対象領域決定部１３１は、顔領域が検出された場合、合焦処理部１３は当該顔領域が撮影画面内に設定された優先合焦エリア内であるか否かを判定し、顔領域が優先合焦エリア内に含まれる場合には、合焦処理部１３は、顔領域をオートフォーカス対象領域（以下、ＡＦ対象領域）に決定する。   When the face area is detected, the AF target area determination unit 131 determines whether the face area is within the priority focusing area set in the shooting screen, and the face area is determined. When included in the priority focus area, the focus processing unit 13 determines the face area as an autofocus target area (hereinafter referred to as AF target area).

また、ＡＦ対象領域決定部１３１は、顔領域が優先合焦エリア内に含まれない場合には、顔領域以外の領域をＡＦ対象領域に決定する。この場合には、例えば、従来のように、撮像画面の中央をオートフォーカス対象領域とすることができる。なお、ＡＦ対象領域決定部１３１がＡＦ対象領域を決定する際の手順については後述する。 In addition, when the face area is not included in the priority focus area, the AF target area determination unit 131 determines an area other than the face area as the AF target area. In this case, for example, as in the prior art, the center of the imaging screen can be set as the autofocus target area. The procedure when the AF target area determination unit 131 determines the AF target area will be described later.

ＡＦ評価値算出部１３２は、画像データの中で少なくともＡＦ対象領域に対応する領域に関するコントラスト評価値を計算する。コントラスト評価値としては、撮影画像のコントラストの大きさを反映した様々なパラメータが使用可能である。例えば、ＡＦ対象領域の空間周波数スペクトルを離散コサイン変換（DCT：Discrete Cosine Transform）によって得るとともに、空間周波数の高周波成分の大きさをコントラスト評価値としてもよい。また、例えば、ＡＦ対象領域の各々の画素について、水平方向又は垂直方向に隣接する画素との画素値の差分（絶対値）を計算し、得られた画素値の差分をＡＦ対象領域内において積算した積算値をコントラスト評価値としてもよい。   The AF evaluation value calculation unit 132 calculates a contrast evaluation value for at least an area corresponding to the AF target area in the image data. As the contrast evaluation value, various parameters reflecting the magnitude of contrast of the captured image can be used. For example, the spatial frequency spectrum of the AF target area may be obtained by discrete cosine transform (DCT) and the magnitude of the high frequency component of the spatial frequency may be used as the contrast evaluation value. Also, for example, for each pixel in the AF target area, the difference (absolute value) of the pixel value from the adjacent pixel in the horizontal direction or the vertical direction is calculated, and the obtained pixel value difference is integrated in the AF target area. The integrated value may be used as the contrast evaluation value.

制御部１３３は、ＡＦ評価値算出部１３２によって計算されたＡＦ評価値を使用して、撮像素子１１０の撮像面における合焦状態の判定を行い、合焦状態が得られる合焦用レンズ１０１の位置を決定する。より具体的に述べると、制御部１３３は、合焦用レンズ１０１の位置を移動させながら撮像部１１に撮影画像を順次取得させ、ＡＦ評価値が極大となる合焦用レンズ１０１の位置を求め、その位置を合焦位置と決定する。   The control unit 133 uses the AF evaluation value calculated by the AF evaluation value calculation unit 132 to determine the in-focus state on the image pickup surface of the image sensor 110 and to determine the in-focus state of the focusing lens 101 from which the in-focus state is obtained. Determine the position. More specifically, the control unit 133 causes the imaging unit 11 to sequentially acquire captured images while moving the position of the focusing lens 101, and obtains the position of the focusing lens 101 at which the AF evaluation value is maximized. The position is determined as the in-focus position.

なお、ガウス曲線及び二次曲線等の近似曲線又は実験により得られた特性曲線によって合焦用レンズ１０１の位置からＡＦ評価値を推定し、コントラストが極大となる合焦位置を予測する技術を、制御部１３３による合焦位置の探索アルゴリズムに適用してもよい。これらの具体例に限らず、制御部１３３におけるコントラスト評価値を使用した合焦状態の判定には、公知の様々なアルゴリズムを適用可能である。   A technique for estimating an AF evaluation value from the position of the focusing lens 101 by using an approximate curve such as a Gaussian curve and a quadratic curve or a characteristic curve obtained by an experiment, and predicting a focus position where the contrast is maximized, You may apply to the search algorithm of the focus position by the control part 133. FIG. Not limited to these specific examples, various known algorithms can be applied to the determination of the in-focus state using the contrast evaluation value in the control unit 133.

レンズ駆動部１３４は、制御部１３３による制御の下で、合焦用レンズ１０１を光軸方向に沿って移動させる。   The lens driving unit 134 moves the focusing lens 101 along the optical axis direction under the control of the control unit 133.

ここで、合焦処理部１３により実行されるオートフォーカスの処理手順について、図２、３を参照して説明する。図２は、合焦処理部１３により実行されるオートフォーカスの処理手順を示すフローチャートである。図３は、ＡＦ対象領域決定部１３１で決定されるＡＦ対象領域の例について説明する図である。なお、図３は撮影画面を示しており、網掛けされた領域が撮影画面内に設定された優先合焦エリアＡを示している。   Here, an autofocus processing procedure executed by the focusing processing unit 13 will be described with reference to FIGS. FIG. 2 is a flowchart showing an autofocus processing procedure executed by the focusing processing unit 13. FIG. 3 is a diagram for explaining an example of the AF target area determined by the AF target area determination unit 131. FIG. 3 shows the shooting screen, and the shaded area indicates the priority focusing area A set in the shooting screen.

図２に示すように、まず、合焦処理部１３に撮像部１１により生成された画像データが入力される（ステップＳ１０１）。そして、顔検出部１３０は、顔検出アルゴリズムを実行し、入力された画像データに含まれる顔領域を検出する（ステップＳ１０２）。   As shown in FIG. 2, first, the image data generated by the imaging unit 11 is input to the focusing processing unit 13 (step S101). Then, the face detection unit 130 executes a face detection algorithm and detects a face region included in the input image data (step S102).

その後、ＡＦ対象領域決定部１３１により、顔領域が検出されたか否かが判定される（ステップＳ１０３）。ステップＳ１０２において顔領域が検出されなかった場合（ステップＳ１０３ＮＯ）、ＡＦ対象領域決定部１３１は、顔領域に着目しない通常の処理手順に従って、ＡＦ対象領域を決定する（ステップＳ１０４）。   Thereafter, the AF target area determination unit 131 determines whether a face area is detected (step S103). If no face area is detected in step S102 (NO in step S103), the AF target area determination unit 131 determines an AF target area according to a normal processing procedure that does not focus on the face area (step S104).

ここで、通常の処理手順の一例は、ＡＦ対象領域決定部１３１は、撮影画像内の予め定められた領域をＡＦ対象領域とする処理手順である。例えば、撮影画面内の中央部をＡＦ対象領域とすることができる。また、撮影画像内からコントラストの高い特徴領域を抽出し、この特徴領域をＡＦ対象領域とすることも可能である。   Here, an example of a normal processing procedure is a processing procedure in which the AF target area determination unit 131 sets a predetermined area in the captured image as an AF target area. For example, the center portion in the shooting screen can be set as the AF target area. It is also possible to extract a feature region with high contrast from the photographed image and set this feature region as an AF target region.

一方、ステップＳ１０２において顔領域が検出された場合（ステップＳ１０３ＹＥＳ）、ＡＦ対象領域決定部１３１により顔領域の位置が特定される（ステップＳ１０５）。本実施の形態では、検出された顔領域は矩形であるものとし、ステップＳ１０５では検出された顔領域の中心点の座標が特定される。   On the other hand, when a face area is detected in step S102 (step S103 YES), the position of the face area is specified by the AF target area determination unit 131 (step S105). In the present embodiment, the detected face area is assumed to be a rectangle, and the coordinates of the center point of the detected face area are specified in step S105.

その後、ＡＦ対象領域決定部１３１により、位置が特定された顔領域があらかじめ設定された優先合焦エリア内に含まれているか否かが判定される（ステップＳ１０６）。図３に示すように、本実施の形態では、優先合焦エリアＡは、撮影画面の上辺、下辺及び上辺から下辺に向かって延びる円弧により仕切られた領域である。なお、優先合焦エリアの形状はこれに限定されるものではなく、ユーザの指定により変更することが可能である。また、優先合焦エリアの大きさ及び撮影画面内の位置についても変更することができる。   Thereafter, the AF target area determination unit 131 determines whether or not the face area whose position has been specified is included in a preset priority focusing area (step S106). As shown in FIG. 3, in the present embodiment, the priority focusing area A is an area partitioned by an upper side, a lower side, and an arc extending from the upper side to the lower side of the shooting screen. Note that the shape of the priority focus area is not limited to this, and can be changed according to the user's designation. Also, the size of the priority focusing area and the position in the shooting screen can be changed.

顔領域が優先合焦エリアＡに含まれているか否かの判定は、優先合焦エリアの中心点から周縁部までの距離と、優先合焦エリアの中心点から顔領域の中心点までの距離を比較することにより行われる。ここで、図３を参照して、ＡＦ対象領域の例について説明する。図３において、Ｒ１、Ｒ２は検出された顔領域を示している。   Whether or not the face area is included in the priority focus area A is determined by determining the distance from the center point of the priority focus area to the peripheral edge and the distance from the center point of the priority focus area to the center point of the face area. This is done by comparing Here, an example of the AF target area will be described with reference to FIG. In FIG. 3, R1 and R2 indicate detected face areas.

図３に示す顔領域Ｒ１の場合、優先合焦エリアＡの中心点から周縁部までの距離は、優先合焦エリアＡの中心点から顔領域Ｒ１の中心点までの距離よりも短い。従って、顔領域Ｒ１は、優先合焦エリアＡに含まれないと判定される（ステップＳ１０６ＮＯ）。この場合は、ステップＳ１０４のように、ＡＦ対象領域決定部１３１が、顔領域に着目しない通常の処理手順に従ってＡＦ対象領域を決定する。   In the case of the face area R1 shown in FIG. 3, the distance from the center point of the priority focusing area A to the peripheral edge is shorter than the distance from the center point of the priority focusing area A to the center point of the face area R1. Therefore, it is determined that the face area R1 is not included in the priority focus area A (NO in step S106). In this case, as in step S104, the AF target area determination unit 131 determines the AF target area according to a normal processing procedure that does not focus on the face area.

一方、図３に示す顔領域Ｒ２の場合、優先合焦エリアＡの中心点から周縁部までの距離は、優先合焦エリアＡの中心点から顔領域Ｒ１の中心点までの距離よりも長い。従って、顔領域Ｒ１は、優先合焦エリアＡに含まれると判定される（ステップＳ１０６ＹＥＳ）。この場合には、ＡＦ対象領域決定部１３１が、当該顔領域Ｒ２をＡＦ対象領域として決定する（ステップＳ１０７）。なお、顔領域Ｒ１とＲ２とが同時に検出された場合には、優先合焦エリアＡに含まれる顔領域Ｒ２をＡＦ対象領域として決定する。   On the other hand, in the case of the face region R2 shown in FIG. 3, the distance from the center point of the priority focus area A to the peripheral portion is longer than the distance from the center point of the priority focus area A to the center point of the face region R1. Therefore, it is determined that the face area R1 is included in the priority focusing area A (YES in step S106). In this case, the AF target area determination unit 131 determines the face area R2 as an AF target area (step S107). When the face areas R1 and R2 are detected at the same time, the face area R2 included in the priority focusing area A is determined as the AF target area.

そして、ステップＳ１０７又はステップＳ１０４により決定されたＡＦ対象領域を用いて、オートフォーカス処理が実行される（ステップＳ１０８）。具体的には、ステップＳ１０８では、制御部１３３による制御下で、ＡＦ対象領域決定部１３１により決定されたＡＦ対象領域のコントラストが極大となるように、オートフォーカス処理が実行される。すなわち、制御部１３３は、合焦状態を評価して、ＡＦ対象領域内の被写体にピントが合うように、合焦用レンズ１０１の位置を決定する。   Then, autofocus processing is executed using the AF target area determined in step S107 or step S104 (step S108). Specifically, in step S108, under the control of the control unit 133, the autofocus process is executed so that the contrast of the AF target region determined by the AF target region determination unit 131 is maximized. That is, the control unit 133 evaluates the in-focus state and determines the position of the focusing lens 101 so that the subject in the AF target area is in focus.

最後に、オートフォーカス処理が完了した状態で、新たな撮影処理が実行される（ステップＳ１０９）。ステップＳ１０９で得られた画像データは、画像処理部１２による画像処理が行われた後にメモリ（不図示）に格納される。なお、図２に示したＡＦ対象領域の決定、オートフォーカスの実行、撮影の実行を含む一連の処理は、例えば、撮像装置１に設けられたシャッターボタン（不図示）をユーザが押下する動作に応答して実行すればよい。なお、撮影処理を行う前に、オートフォーカス処理に引き続いて、撮影画像が適正な明るさとなるように自動露光（AE：Auto Exposure）処理を実行してもよい。   Finally, a new shooting process is executed with the autofocus process completed (step S109). The image data obtained in step S109 is stored in a memory (not shown) after image processing by the image processing unit 12 is performed. Note that a series of processing including determination of an AF target area, execution of autofocus, and execution of shooting illustrated in FIG. 2 is an operation in which a user presses a shutter button (not illustrated) provided in the imaging apparatus 1, for example. Just execute in response. In addition, before performing an imaging process, you may perform an auto exposure (AE: Auto Exposure) process so that a picked-up image may become appropriate brightness following an autofocus process.

このように、本発明によれば、撮像画面内に優先合焦エリアが設定されているため、当該優先合焦エリア内に特定領域である顔領域が含まれている場合には、当該顔領域をＡＦ対象領域として設定する。このため、撮像画面内の複数の顔領域が検出された場合であっても、ユーザ自身がオートフォーカスを行う領域を指定する操作を行う必要がない。従って、オートフォーカス処理に係る時間を短縮することができる。   Thus, according to the present invention, since the priority focus area is set in the imaging screen, when the face area that is the specific area is included in the priority focus area, the face area Are set as AF target areas. For this reason, even when a plurality of face regions in the imaging screen are detected, it is not necessary for the user himself to perform an operation for designating a region for performing autofocus. Therefore, it is possible to reduce the time related to the autofocus process.

また、当該優先合焦エリア内に特定領域である顔領域が含まれていない場合には、顔領域に着目しない通常の処理手順に従ってＡＦ対象領域を決定する。このように、ユーザ側からのＡＦ対象領域の指定・変更を必要とせず、検出した特定領域をＡＦ対象領域とする場合と、通常のＡＦ対象領域の決定処理に従い決定する場合とを切替えることができる。従来は、ユーザ自身が優先的にオートフォーカスを行う領域を指定する操作を行うため、撮像装置に、オートフォーカスを行う領域を指定・変更する機構を設ける必要があった。しかし、本発明によれば、撮像装置に、オートフォーカスを行う領域を指定・変更する機構を設ける必要がなくなり、回路規模の増大、装置の大型化を抑制することが可能となる。   If the face area that is the specific area is not included in the priority focus area, the AF target area is determined according to a normal processing procedure that does not focus on the face area. As described above, it is possible to switch between the case where the detected specific area is set as the AF target area and the case where the AF target area is determined according to the normal AF target area determination process without requiring designation / change of the AF target area from the user side. it can. Conventionally, since the user himself / herself performs an operation for preferentially designating an area for autofocusing, it is necessary to provide a mechanism for designating / changing the area for autofocusing in the imaging apparatus. However, according to the present invention, it is not necessary to provide the imaging apparatus with a mechanism for designating / changing the area for autofocusing, and it is possible to suppress an increase in circuit scale and an increase in the size of the apparatus.

実施の形態２．
本発明の実施の形態２に係るオートフォーカス方法について、図４を参照して説明する。図４は、ＡＦ対象領域決定部１３１で決定されるＡＦ対象領域の例について説明する図である。なお、図４は撮影画面を示しており、網掛けされた領域が撮影画面内に設定された優先合焦エリアＡを示している。また、本実施の形態に係るオートフォーカス方法を実行する撮像装置としては、図１に示すものを用いることができるため、説明を省略する。 Embodiment 2. FIG.
An autofocus method according to Embodiment 2 of the present invention will be described with reference to FIG. FIG. 4 is a diagram for explaining an example of the AF target area determined by the AF target area determination unit 131. FIG. 4 shows a shooting screen, and a shaded area indicates a priority focusing area A set in the shooting screen. In addition, as the image pickup apparatus that executes the autofocus method according to the present embodiment, the image pickup apparatus shown in FIG.

図４に示すように、本実施の形態においては、優先合焦エリアＡは第１優先合焦エリアＡ１と、第２優先合焦エリアＡ２を含む。第１優先合焦エリアＡ１は、第２優先合焦エリアＡ２よりも優先度が高い。すなわち、第１優先合焦エリアＡ１内と第２優先合焦エリアＡ２内のいずれにも顔領域が含まれると判定された場合には、第１優先合焦エリアＡ１内に含まれる顔領域がＡＦ対象領域として決定される。   As shown in FIG. 4, in the present embodiment, the priority focusing area A includes a first priority focusing area A1 and a second priority focusing area A2. The first priority focusing area A1 has a higher priority than the second priority focusing area A2. That is, when it is determined that the face area is included in both the first priority focus area A1 and the second priority focus area A2, the face area included in the first priority focus area A1 is It is determined as an AF target area.

一方、顔領域が第１優先合焦エリアＡ１内には含まれない場合において、第２優先合焦エリアＡ２内に含まれる場合には、第２優先合焦エリアＡ２内に含まれる顔領域がＡＦ対象領域として決定される。また、第１優先合焦エリアＡ１と第２優先合焦エリアＡ２のいずれにも顔領域が含まれていない場合には、顔領域に着目しない通常の処理手順に従ってＡＦ対象領域が決定される。   On the other hand, when the face area is not included in the first priority focusing area A1, and the face area is included in the second priority focusing area A2, the face area included in the second priority focusing area A2 is not included. It is determined as an AF target area. When neither the first priority focus area A1 nor the second priority focus area A2 includes a face area, the AF target area is determined according to a normal processing procedure that does not focus on the face area.

ここで、本実施の形態に係る合焦処理部１３により実行されるオートフォーカスの処理手順について説明する。本実施の形態では、図２に示すステップＳ１０１〜Ｓ１０５までは上述した処理と同様の処理が行われる。図２に示すステップＳ１０６において、まず、ＡＦ対象領域決定部１３１により、顔領域があらかじめ設定された第１優先合焦エリア内に含まれているか否かが判定される。第１優先合焦エリアＡ１内に顔領域が含まれると判定された場合には、第１優先合焦エリアＡ１内に含まれる顔領域がＡＦ対象領域として決定される。   Here, an autofocus processing procedure executed by the focus processing unit 13 according to the present embodiment will be described. In the present embodiment, processes similar to those described above are performed from step S101 to step S105 shown in FIG. In step S106 shown in FIG. 2, first, the AF target area determination unit 131 determines whether or not the face area is included in a preset first priority focusing area. When it is determined that the face area is included in the first priority focus area A1, the face area included in the first priority focus area A1 is determined as the AF target area.

一方、顔領域が第１優先合焦エリアＡ１内には含まれない場合には、ＡＦ対象領域決定部１３１により、顔領域があらかじめ設定された第２優先合焦エリア内に含まれているか否かが判断される。第２優先合焦エリアＡ２内に含まれる場合には、第２優先合焦エリアＡ２内に含まれる顔領域がＡＦ対象領域として決定される。図４に示す顔領域Ｒ１は第２優先合焦エリアＡ２内に含まれるため、この場合当該顔領域Ｒ１がＡＦ対象領域として決定される。   On the other hand, if the face area is not included in the first priority focus area A1, whether or not the face area is included in the preset second priority focus area by the AF target area determination unit 131. Is judged. When included in the second priority focusing area A2, the face area included in the second priority focusing area A2 is determined as the AF target area. Since the face area R1 shown in FIG. 4 is included in the second priority focusing area A2, in this case, the face area R1 is determined as the AF target area.

また、第１優先合焦エリアＡ１と第２優先合焦エリアＡ２のいずれにも顔領域が含まれていない場合には、顔領域に着目しない通常の処理手順に従ってＡＦ対象領域が決定される。図４に示す顔領域Ｒ１は第１優先合焦エリアＡ１、第２優先合焦エリアＡのいずれにも含まれないため、この場合通常の処理手順に従ってＡＦ対象領域が決定される。以降の処理としては、図２のステップＳ１０７と同様の処理を行うことができる。   When neither the first priority focus area A1 nor the second priority focus area A2 includes a face area, the AF target area is determined according to a normal processing procedure that does not focus on the face area. The face area R1 shown in FIG. 4 is not included in either the first priority focus area A1 or the second priority focus area A. In this case, the AF target area is determined according to a normal processing procedure. As the subsequent processing, the same processing as step S107 in FIG. 2 can be performed.

なお、顔領域Ｒ１とＲ２とが同時に検出された場合には、優先合焦エリアＡ２に含まれる顔領域Ｒ２をＡＦ対象領域として決定する。このように、撮影画面内に、複数の優先順位の異なる優先合焦エリアを設けることにより、ユーザの撮影したい画像に近い撮影画像を得ることが容易になる。   When the face areas R1 and R2 are detected at the same time, the face area R2 included in the priority focusing area A2 is determined as the AF target area. Thus, by providing a plurality of priority focusing areas having different priorities in the shooting screen, it becomes easy to obtain a shot image close to the image that the user wants to shoot.

ところで、図１に示した顔検出部１３０、ＡＦ対象領域決定部１３１及び制御部１３３が実行する処理は、画像データを格納するためのメモリ及びＣＰＵ（Central Processing Unit）を有するコンピュータに、図２のステップＳ１０１〜Ｓ１０７までの処理手順が記述されたプログラムを実行させることによって実現可能である。   By the way, the processing executed by the face detection unit 130, the AF target area determination unit 131, and the control unit 133 shown in FIG. 1 is performed in a computer having a memory for storing image data and a CPU (Central Processing Unit). This can be realized by executing a program in which the processing procedure from steps S101 to S107 is described.

ＣＰＵを内蔵する撮像装置１の具体的な構成例を図５に示す。図５の構成図は、撮像装置１をデジタルカメラ製品に適用する際に有益なディスプレイ・デバイス等の構成要素を、図１に示した撮像装置１の主要構成に加えて図示したものである。図５において、ＣＰＵ２３０は、メモリ２３１に格納されたプログラムを読み出して実行することにより、顔検出部１３０、ＡＦ対象領域決定部１３１及び制御部１３３に関する処理を実行する。   A specific configuration example of the imaging device 1 incorporating the CPU is shown in FIG. The configuration diagram of FIG. 5 illustrates components such as a display device useful when the imaging device 1 is applied to a digital camera product, in addition to the main components of the imaging device 1 shown in FIG. In FIG. 5, the CPU 230 reads out and executes a program stored in the memory 231, thereby executing processing related to the face detection unit 130, the AF target area determination unit 131, and the control unit 133.

メモリ２３１は、ＲＯＭ（Read Only Memory）及びフラッシュメモリ等の不揮発性メモリ並びにＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリの集合である。メモリ２３１は、ＣＰＵ２３０において実行されるプログラム、画像データ等を格納する。ディスプレイ・デバイス２３３は、ディスプレイ・インタフェース２３２を介して供給される画像を表示する。   The memory 231 is a set of non-volatile memories such as ROM (Read Only Memory) and flash memory, and volatile memories such as DRAM (Dynamic Random Access Memory). The memory 231 stores programs executed by the CPU 230, image data, and the like. The display device 233 displays an image supplied via the display interface 232.

ディスプレイ・デバイス２３３は、撮像部１１が順次出力する撮影画像（スルー画像）の表示、顔検出アルゴリズムの実行によって検出された顔領域の表示、オートフォーカス完了後のスルー画像の表示、ユーザがシャッターボタン（不図示）を操作することによって得られた撮影画像の表示等を行なう。なお、ＡＦ評価値算出部１３２が行なうＡＦ評価値の計算をＣＰＵ２３０に実行させてもよいことは勿論である。   The display device 233 displays captured images (through images) sequentially output by the imaging unit 11, displays a face area detected by executing the face detection algorithm, displays a through image after completion of autofocus, and allows the user to press a shutter button. A photographed image obtained by operating (not shown) is displayed. Of course, the CPU 230 may cause the AF evaluation value calculation unit 132 to calculate the AF evaluation value.

上述した発明の実施の形態では、撮像光学系１０に含まれる合焦用レンズ１０１を移動させることによって、被写体像の結像位置を調節する例を示した。しかしながら、被写体像の結像位置の調節は、撮像素子１１０を移動させることにより行ってもよい。   In the embodiment of the invention described above, an example in which the imaging position of the subject image is adjusted by moving the focusing lens 101 included in the imaging optical system 10 has been described. However, the imaging position of the subject image may be adjusted by moving the image sensor 110.

なお、ＡＦ対象領域の決定手順は、上記の具体例に限定されるものではない。例えば、ステップＳ１０５において、矩形の顔領域の中心点の座標ではなく、顔領域の角部の座標を特定してもよい。また、優先合焦エリアに顔領域が含まれているか否かの判定は、顔領域の一部が優先合焦エリアに含まれる場合に優先合焦エリアに顔領域が含まれると判定してもよいし、顔領域の全部が優先合焦エリアに含まれる場合にのみ優先合焦エリアに顔領域が含まれると判定してもよい。   Note that the procedure for determining the AF target area is not limited to the above specific example. For example, in step S105, the coordinates of the corners of the face area may be specified instead of the coordinates of the center point of the rectangular face area. Further, whether or not a face area is included in the priority focus area can be determined by determining that a face area is included in the priority focus area when a part of the face area is included in the priority focus area. Alternatively, it may be determined that the face area is included in the priority focus area only when the entire face area is included in the priority focus area.

さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。   Furthermore, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present invention described above.

実施の形態１に係る撮像装置を示すブロック図である。1 is a block diagram illustrating an imaging apparatus according to Embodiment 1. FIG. 実施の形態１に係る撮像装置によるオートフォーカス処理手順を示すフローチャートである。3 is a flowchart illustrating an autofocus processing procedure by the imaging apparatus according to the first embodiment. 実施の形態１に係る撮像装置で決定されるＡＦ対象領域の例について説明する図である。6 is a diagram illustrating an example of an AF target area determined by the imaging apparatus according to Embodiment 1. FIG. 実施の形態２に係る撮像装置で決定されるＡＦ対象領域の例について説明する図である。10 is a diagram illustrating an example of an AF target area determined by the imaging apparatus according to Embodiment 2. FIG. 本発明の実施の形態１にかかる撮像装置の構成例を示す図である。It is a figure which shows the structural example of the imaging device concerning Embodiment 1 of this invention.

符号の説明Explanation of symbols

１ 撮像装置
１０ 撮像光学系
１１ 撮像部
１２ 画像処理部
１３ 合焦処理部
１０１ 合焦用レンズ
１１０ 撮像素子
１１１ アナログ信号処理部
１１２ Ａ／Ｄ変換部
１３０ 顔検出部
１３１ オートフォーカス対象領域決定部
１３２ オートフォーカス評価値算出部
１３３ 制御部
１３４ レンズ駆動部
２３０ ＣＰＵ（Central Processing Unit）
２３１ メモリ
２３２ ディスプレイ・インタフェース
２３３ ディスプレイ・デバイス DESCRIPTION OF SYMBOLS 1 Imaging device 10 Imaging optical system 11 Imaging part 12 Image processing part 13 Focus processing part 101 Focusing lens 110 Imaging element 111 Analog signal processing part 112 A / D conversion part 130 Face detection part 131 Auto-focus target area | region determination part 132 Autofocus evaluation value calculation unit 133 Control unit 134 Lens drive unit 230 CPU (Central Processing Unit)
231 Memory 232 Display Interface 233 Display Device

Claims (12)

撮像光学系によって結像される被写体を撮影することにより生成される画像データに基づいて、撮影画面内の特定領域を検出する領域検出部と、
前記特定領域が前記撮影画面内に設定された優先合焦エリア内であるか否かを判定する判定部と、
前記特定領域が前記優先合焦エリア内に含まれる場合には、前記撮像光学系の合焦動作を実行するため、前記特定領域での結像状態を評価する合焦状態評価部と、
を備えるオートフォーカス装置。 An area detection unit for detecting a specific area in the shooting screen based on image data generated by shooting the subject imaged by the imaging optical system;
A determination unit that determines whether or not the specific area is within a priority focusing area set in the shooting screen;
When the specific area is included in the priority focusing area, a focusing state evaluation unit that evaluates an imaging state in the specific area in order to perform a focusing operation of the imaging optical system;
Autofocus device with 前記特定領域が前記優先合焦エリア内に含まれない場合には、前記合焦状態評価部は、前記特定領域以外の領域での結像状態を判定する請求項１に記載のオートフォーカス装置。   The autofocus device according to claim 1, wherein when the specific area is not included in the priority focus area, the focus state evaluation unit determines an imaging state in an area other than the specific area. 前記優先合焦エリアのサイズ又は前記撮像画面内の位置の少なくともいずれか一方を変更するエリア変更部をさらに備える請求項１又は２に記載のオートフォーカス装置。   The autofocus device according to claim 1, further comprising an area changing unit that changes at least one of a size of the priority focusing area and a position in the imaging screen. 前記優先合焦エリアは、第１優先合焦エリアと第２優先合焦エリアとを含み、
前記判定部は、前記特定領域が前記第１優先合焦エリア内に含まれない場合には、前記特定領域が前記第２優先合焦エリアに含まれているか否かを判定する請求項１、２又は３に記載のオートフォーカス装置。 The priority focusing area includes a first priority focusing area and a second priority focusing area,
The said determination part determines whether the said specific area | region is contained in the said 2nd priority focus area, when the said specific area | region is not contained in the said 1st priority focus area. The autofocus device according to 2 or 3. 撮像光学系によって結像される被写体を撮影して画像データを生成する撮像部を有する撮像装置におけるオートフォーカス制御方法であって、
前記画像データに基づいて、撮影画面内の特定領域を検出し、
前記特定領域が前記撮影画面内に設定された優先合焦エリア内であるか否かを判定し、
前記特定領域が前記優先合焦エリア内に含まれる場合には、前記特定領域での結像状態に基づいて、前記撮像光学系の合焦動作を実行する、
オートフォーカス方法。 An autofocus control method in an imaging apparatus having an imaging unit that shoots a subject imaged by an imaging optical system and generates image data,
Based on the image data, a specific area in the shooting screen is detected,
Determining whether or not the specific area is within a priority focusing area set in the shooting screen;
When the specific area is included in the priority focusing area, the focusing operation of the imaging optical system is executed based on the imaging state in the specific area.
Autofocus method. 前記特定領域が前記優先合焦エリア内に含まれない場合には、前記特定領域以外の領域での結像状態に基づいて前記撮像光学系の合焦動作を実行する請求項５に記載のオートフォーカス方法。   6. The auto according to claim 5, wherein when the specific area is not included in the priority focusing area, the focusing operation of the imaging optical system is executed based on an imaging state in an area other than the specific area. Focus method. 前記優先合焦エリアのサイズ又は前記撮像画面内の位置の少なくともいずれか一方を変更する請求項５又は６に記載のオートフォーカス方法。   The autofocus method according to claim 5 or 6, wherein at least one of a size of the priority focusing area and a position in the imaging screen is changed. 前記優先合焦エリアは、第１優先合焦エリアと第２優先合焦エリアとを含み、
前記特定領域が前記第１優先合焦エリア内に含まれない場合には、前記特定領域が前記第２優先合焦エリアに含まれているか否かを判定する請求項５、６又は７に記載のオートフォーカス方法。 The priority focusing area includes a first priority focusing area and a second priority focusing area,
8. The device according to claim 5, wherein when the specific area is not included in the first priority focus area, it is determined whether or not the specific area is included in the second priority focus area. Autofocus method. 撮像光学系によって結像される被写体を撮影して画像データを生成する撮像部と、
前記画像データに基づいて、撮影画面内の特定領域を検出する領域検出部と、
前記特定領域が前記撮影画面内に設定された優先合焦エリア内であるか否かを判定する判定部と、
前記特定領域が前記優先合焦エリア内に含まれる場合には、前記特定領域での結像状態に基づいて、前記撮像光学系の合焦動作を実行する制御部と、
を備える撮像装置。 An imaging unit that shoots a subject imaged by the imaging optical system and generates image data;
An area detection unit for detecting a specific area in the shooting screen based on the image data;
A determination unit that determines whether or not the specific area is within a priority focusing area set in the shooting screen;
When the specific area is included in the priority focusing area, a control unit that performs a focusing operation of the imaging optical system based on an imaging state in the specific area;
An imaging apparatus comprising: 前記特定領域が前記優先合焦エリア内に含まれない場合には、前記制御部は、前記特定領域以外の領域での結像状態に基づいて前記撮像光学系の合焦動作を実行する請求項９に記載の撮像装置。   The control unit executes a focusing operation of the imaging optical system based on an imaging state in an area other than the specific area when the specific area is not included in the priority focusing area. 9. The imaging device according to 9. 前記優先合焦エリアのサイズ又は前記撮像画面内の位置の少なくともいずれか一方を変更するエリア変更部をさらに備える請求項９又は１０に記載の撮像装置。   The imaging apparatus according to claim 9, further comprising an area changing unit that changes at least one of a size of the priority focusing area and a position in the imaging screen. 前記優先合焦エリアは、第１優先合焦エリアと第２優先合焦エリアとを含み、
前記判定部は、前記特定領域が前記第１優先合焦エリア内に含まれない場合には、前記特定領域が前記第２優先合焦エリアに含まれているか否かを判定する請求項９、１０又は１１に記載の撮像装置。 The priority focusing area includes a first priority focusing area and a second priority focusing area,
The said determination part determines whether the said specific area is contained in the said 2nd priority focus area, when the said specific area is not contained in the said 1st priority focus area. The imaging device according to 10 or 11.

Images