JP2010060657A

JP2010060657A - Focus adjustment device and focus adjustment method

Info

Publication number: JP2010060657A
Application number: JP2008223917A
Authority: JP
Inventors: Yoshikazu Ishikawa; 義和石川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-09-01
Filing date: 2008-09-01
Publication date: 2010-03-18

Abstract

PROBLEM TO BE SOLVED: To perform stable focus adjustment of an object such as a face with accuracy by using a detection result of the object. SOLUTION: A focus adjustment device includes: a face detection part (116) which detects an area showing a predetermined object from an image shown by an image signal obtained by imaging by an imaging device; a setting means (114) which sets, when the area including the object is detected, an area including the object as a focus detection area; an AF signal processing circuit (113) which generates an AF evaluation value from the image signal of the focus detection area; an automatic focus adjustment means (114) which performs focus adjustment using the AF evaluation value; and a determination means (114) which determines whether the tilt of the imaging device is changed. When the area including the object is not detected, and a change in tilt is determined, the setting means does not set the focus detection area, and if the focus detection area is set already when the area including the object is not detected, and no change in tilt is determined, the setting means maintains the setting. COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、撮像装置で用いられる焦点調節装置及び焦点調節方法に関し、更に詳しくは、動画撮影時に得られる画像に基づいて自動焦点調節を行う焦点調節装置及び焦点調節方法に関する。 The present invention relates to a focus adjustment device and a focus adjustment method used in an imaging apparatus, and more particularly to a focus adjustment device and a focus adjustment method for performing automatic focus adjustment based on an image obtained at the time of moving image shooting.

ビデオカメラ等のオートフォーカス（ＡＦ）制御では、撮像素子を用いて生成された映像信号の鮮鋭度（コントラスト状態）を示すＡＦ評価値信号を生成し、該ＡＦ評価値信号が最大となるフォーカスレンズの位置を探索するＴＶ−ＡＦ方式が主流である。 In autofocus (AF) control of a video camera or the like, an AF evaluation value signal indicating the sharpness (contrast state) of a video signal generated using an image sensor is generated, and a focus lens that maximizes the AF evaluation value signal The TV-AF method for searching for the position of the TV is the mainstream.

しかしながら、人物を撮影する場合において、主被写体である人物とその背景のコントラストの関係から、人物にピントが合わず、背景に合ってしまうという問題があった。 However, when a person is photographed, there is a problem that the person is not in focus and is in the background because of the contrast between the person who is the main subject and the background.

このような問題を解決するために、顔検出機能を有する撮像装置が知られている。例えば、認識された顔領域を含む焦点検出エリアを設定し、焦点検出を行う撮像装置や（例えば、特許文献１参照）、人物の目を検出し、その目に基づいて焦点検出を行う撮像装置（例えば、特許文献２参照）が提案されている。 In order to solve such a problem, an imaging apparatus having a face detection function is known. For example, an imaging device that sets a focus detection area including a recognized face area and performs focus detection (see, for example, Patent Document 1), an imaging device that detects a human eye and performs focus detection based on the eye (See, for example, Patent Document 2).

さらに、撮影時の被写体の動きやパンニング及びチルティング等のカメラワークによるカメラの動きがあるときは焦点検出のエリアを拡大して焦点検出を行う撮像装置（例えば、特許文献３参照）が提案されている。 Furthermore, an imaging apparatus (see, for example, Patent Document 3) that performs focus detection by enlarging a focus detection area when there is camera movement due to camera work such as panning and tilting of a subject during shooting is proposed. ing.

特開２００６−２２７０８０号公報JP 2006-227080 A 特開２００１−２１５４０３号公報JP 2001-215403 A 特開２００４−２１２５５６号公報JP 2004-212556 A

しかしながら、動画を撮影するビデオカメラにおいては、静止画を撮影する場合と異なり、常に人物が動いている可能性が高いため、人物の顔の認識が安定せずにＡＦが不安定となることがある。つまり、人物の顔が常に認識されるのであれば、人物の顔領域を焦点を検出する領域に指定して焦点調節を行えば、人物への合焦状態は安定する。しかし、例えば、人物が横を向いたり目を閉じてしまった場合など、被写体の絵柄が変化した場合や、撮影者が手ブレした場合などには顔を認識するのが難しい。このような、顔が認識されたりされなかったりする撮影条件の下では、焦点を検出する領域を顔の認識／非認識で変更すると、ＡＦ評価値信号も変動してしまい、安定した焦点調節を行うことができない。 However, in a video camera that shoots a moving image, unlike in the case of shooting a still image, there is a high possibility that a person is always moving, so that recognition of a person's face is not stable and AF may become unstable. is there. In other words, if the face of a person is always recognized, if the focus adjustment is performed by designating the face area of the person as a focus detection area, the focused state of the person becomes stable. However, it is difficult to recognize a face when, for example, a person's pattern changes, such as when a person turns sideways or when his eyes are closed, or when a photographer shakes his hand. Under such shooting conditions in which the face is not recognized or not, if the focus detection area is changed by face recognition / non-recognition, the AF evaluation value signal also fluctuates, and stable focus adjustment is performed. I can't do it.

また、動画撮影の場合、様々な被写体が画面内に出入りする。通常、撮影者は画面の中央に被写体を配置させるように撮影する場合が多いが、例えば、画面の端に別の顔が認識された場合にその顔に合焦してしまうと、撮影者が意図した被写体に合焦しなくなってしまうことがある。 In the case of moving image shooting, various subjects enter and exit the screen. Usually, the photographer often shoots with the subject placed in the center of the screen.For example, if another face is recognized at the edge of the screen, the photographer will focus on that face. The intended subject may no longer be in focus.

さらに、被写体の移動や、パンニング等のカメラワークにより顔が検出されにくい場合もあり、顔検出の領域を拡大しても主被写体の動きには追従しないため、その領域から得られる動画撮影のＡＦ評価値信号は安定性を損なうことにもなる。 Furthermore, there are cases where the face is difficult to detect due to camera movement such as subject movement or panning, and even if the face detection area is enlarged, it does not follow the movement of the main subject. The evaluation value signal also impairs stability.

本発明は上記問題点を鑑みてなされたものであり、顔などの対象物の検出結果を用いて、精度良く、安定して対象物に焦点調節を行えるようにすることを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to enable accurate and stable focus adjustment on an object using a detection result of an object such as a face.

上記目的を達成するために、本発明の焦点調節装置は、撮像装置で撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出手段と、前記検出手段により前記対象物を表す領域が検出された場合に、当該対象物を含む領域を焦点検出領域として設定する設定手段と、前記焦点検出領域の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成手段と、前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節手段と、前記撮像装置の傾きが変化しているかどうかを判定する判定手段とを有し、前記設定手段は、前記検出手段により対象物を表す領域が検出されず、且つ、前記判定手段により傾きが変化していると判定された場合に、焦点検出領域を設定せず、前記対象物を表す領域が検出されず、且つ、前記傾きが変化していると判定されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持する。 In order to achieve the above object, the focus adjustment apparatus of the present invention includes a detecting unit that detects a region representing a predetermined object from an image represented by an image signal obtained by photographing with an imaging device; When an area representing the object is detected by the detection means, a setting means for setting the area including the object as a focus detection area, and an AF evaluation by extracting a high frequency component from the image signal of the focus detection area AF evaluation value generation means for generating a value, automatic focus adjustment means for performing focus adjustment using the AF evaluation value, and determination means for determining whether or not the inclination of the imaging device has changed, The setting means represents the object without setting the focus detection area when the detection means does not detect the area representing the object and the determination means determines that the inclination is changed. Territory There is not detected, and, if the slope is not determined to be changed, if set focus detection area based on an image previously obtained, to hold the set.

また、本発明の焦点調節方法は、撮像装置で撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出工程と、前記検出工程で前記対象物を表す領域が検出された場合に、当該対象物を含む領域を焦点検出領域として設定する設定工程と、前記焦点検出領域の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成工程と、前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節工程と、前記撮像装置の傾きが変化しているかどうかを判定する判定工程とを有し、前記設定工程では、前記検出工程で対象物を表す領域が検出されず、且つ、前記判定工程で傾きが変化していると判定された場合に、焦点検出領域を設定せず、前記対象物を表す領域が検出されず、且つ、前記傾きが変化していると判定されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持する。 The focus adjustment method of the present invention includes a detection step of detecting a region representing a predetermined object from an image represented by an image signal obtained by photographing with an imaging device, and the target in the detection step. When a region representing an object is detected, a setting step of setting the region including the target object as a focus detection region, and AF evaluation that extracts an RF component from an image signal of the focus detection region and generates an AF evaluation value A value generation step, an automatic focus adjustment step of performing focus adjustment using the AF evaluation value, and a determination step of determining whether or not the tilt of the imaging device has changed, and in the setting step, the detection When the area representing the object is not detected in the process and the inclination is determined to have changed in the determination process, the focus detection area is not set, and the area representing the object is not detected, And the inclination If it is not determined to be changed, if set focus detection area based on an image previously obtained, to hold the set.

本発明によれば、顔などの対象物の検出結果を用いて、精度良く、安定して対象物に焦点調節を行うことができる。 According to the present invention, it is possible to perform focus adjustment on an object accurately and stably using a detection result of an object such as a face.

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。 The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings. However, the dimensions, shapes, relative arrangements, and the like of the components exemplified in the present embodiment should be changed as appropriate according to the configuration of the apparatus to which the present invention is applied and various conditions. It is not limited to.

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、本実施の形態では、ビデオカメラについて説明するが、本発明はデジタルスチルカメラ等の画像を取得することのできる他の撮像装置にも適用することができる。 <First Embodiment>
FIG. 1 is a block diagram showing a configuration of a video camera as an example of an imaging apparatus according to the first embodiment of the present invention. Note that although a video camera is described in this embodiment mode, the present invention can also be applied to other imaging apparatuses that can acquire images, such as a digital still camera.

図１において、１００はビデオカメラ本体（以下、「ビデオカメラ」と呼ぶ。）、１０１は第１固定レンズ、１０２は光軸方向に移動して変倍を行う変倍レンズ、１０３は絞りである。また、１０４は第２固定レンズ、１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、「フォーカスレンズ」という。）である。第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５により撮像光学系が構成される（撮影レンズ）。 In FIG. 1, reference numeral 100 denotes a video camera body (hereinafter referred to as “video camera”), 101 denotes a first fixed lens, 102 denotes a variable magnification lens that moves in the optical axis direction and performs magnification, and 103 denotes a diaphragm. . Reference numeral 104 denotes a second fixed lens, and reference numeral 105 denotes a focus compensator lens (hereinafter referred to as “focus lens”) having both a function of correcting the movement of the focal plane due to zooming and a focusing function. The first fixed lens 101, the variable power lens 102, the diaphragm 103, the second fixed lens 104, and the focus lens 105 constitute an imaging optical system (photographing lens).

１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子としての撮像素子である。１０７は撮像素子１０６の出力をサンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路である。１０８はカメラ信号処理回路であり、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施し、映像信号を生成する。 Reference numeral 106 denotes an image sensor as a photoelectric conversion element constituted by a CCD sensor or a CMOS sensor. Reference numeral 107 denotes a CDS / AGC circuit that samples the output of the image sensor 106 and adjusts the gain. A camera signal processing circuit 108 performs various image processing on the output signal from the CDS / AGC circuit 107 to generate a video signal.

１０９はＬＣＤ等により構成されるモニタであり、カメラ信号処理回路１０８からの映像信号を表示する。１１５は記録部であり、カメラ信号処理回路１０８からの映像信号を磁気テープ、光ディスク、ハードディスク、半導体メモリ等の記録媒体に記録する。 Reference numeral 109 denotes a monitor constituted by an LCD or the like, which displays a video signal from the camera signal processing circuit 108. A recording unit 115 records the video signal from the camera signal processing circuit 108 on a recording medium such as a magnetic tape, an optical disk, a hard disk, or a semiconductor memory.

１１０は変倍レンズ１０２を移動させるためのズーム駆動源、１１１はフォーカスレンズ１０５を移動させるためのフォーカシング駆動源である。ズーム駆動源１１０及びフォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。 Reference numeral 110 denotes a zoom drive source for moving the variable magnification lens 102, and reference numeral 111 denotes a focusing drive source for moving the focus lens 105. The zoom drive source 110 and the focusing drive source 111 are configured by actuators such as a stepping motor, a DC motor, a vibration motor, and a voice coil motor.

１１２はＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、焦点検出に用いられる領域（焦点検出領域）の信号のみを通すＡＦゲートである。ＡＦ信号処理回路１１３（ＡＦ評価値生成手段）は、ＡＦゲート１１２を通過した信号から高周波成分や輝度差成分（ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出して、ＡＦ評価値信号を生成する。生成されたＡＦ評価値信号は、カメラ／ＡＦマイコン１１４に出力される。ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。 Reference numeral 112 denotes an AF gate that passes only signals in an area (focus detection area) used for focus detection among output signals of all pixels from the CDS / AGC circuit 107. The AF signal processing circuit 113 (AF evaluation value generation means) generates a high frequency component, a luminance difference component (difference between the maximum value and the minimum value of the luminance level of the signal that has passed through the AF gate 112), and the like from the signal that has passed through the AF gate 112. Extraction is performed to generate an AF evaluation value signal. The generated AF evaluation value signal is output to the camera / AF microcomputer 114. The AF evaluation value signal represents the sharpness (contrast state) of the image generated based on the output signal from the image sensor 106, but the sharpness changes depending on the focus state of the image pickup optical system. The signal represents the focus state of the imaging optical system.

カメラ／ＡＦマイコン１１４（制御手段）は、ビデオカメラ１００全体の動作の制御を司るとともに、ＡＦ評価値信号に基づいて、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させるフォーカス制御を行う。カメラ／ＡＦマイコン１１４は、フォーカス制御として、ＴＶ−ＡＦ方式でのフォーカス制御（以下、単にＴＶ−ＡＦという。）を行う。 The camera / AF microcomputer 114 (control means) controls the entire operation of the video camera 100 and performs focus control for controlling the focusing drive source 111 and moving the focus lens 105 based on the AF evaluation value signal. The camera / AF microcomputer 114 performs focus control in the TV-AF method (hereinafter simply referred to as TV-AF) as focus control.

顔検出部１１６は、画像信号に対して公知の顔認識処理を施し、撮影画面内の人物の顔領域を検出し、検出結果をカメラ／ＡＦマイコン１１４に送信する。カメラ／ＡＦマイコン１１４は、後述するようにして、送信された顔領域の検出結果に基づいて撮影画面内の顔領域を含む位置に焦点検出領域（顔枠）を設定し、ＡＦゲート１１２へ情報を送信する。なお、顔認識処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔を検出する方法等があるが、本願発明は顔認識処理により限定されるものではなく、どのような方法を用いても構わない。 The face detection unit 116 performs a known face recognition process on the image signal, detects a human face area in the shooting screen, and transmits the detection result to the camera / AF microcomputer 114. As will be described later, the camera / AF microcomputer 114 sets a focus detection area (face frame) at a position including the face area in the shooting screen based on the transmitted face area detection result, and sends information to the AF gate 112. Send. As a face recognition process, for example, a method is known in which a skin color region is extracted from the gradation color of each pixel represented by image data, and the face is detected with a matching degree with a face contour plate prepared in advance. ing. In addition, there is a method of detecting a face by extracting feature points of a face such as eyes, nose and mouth using a known pattern recognition technique, but the present invention is not limited to face recognition processing. Any method may be used.

傾きセンサ１１８は、ビデオカメラ１００による撮影時のカメラワークによって起こる装置の傾きを検出するものであり、一般的には加速度センサが用いられるが、傾きの検出が可能であれば、これに限るものではない。傾きセンサ１１８の出力である傾き信号は、増幅回路１１９にて所定量増幅された後、カメラ／ＡＦマイコン１１４へ入力され、ビデオカメラ１００の傾き状態判定に用いられる。 The tilt sensor 118 detects the tilt of the device caused by camera work at the time of shooting by the video camera 100, and is generally an acceleration sensor. However, the tilt sensor 118 is not limited to this if the tilt can be detected. is not. A tilt signal, which is an output of the tilt sensor 118, is amplified by a predetermined amount by the amplifier circuit 119, and then input to the camera / AF microcomputer 114 to be used for determining the tilt state of the video camera 100.

次に、カメラ／ＡＦマイコン１１４で行われる焦点調節制御（ＡＦ制御）について、図２〜図６を用いて説明する。なお、このＡＦ制御は、カメラ／ＡＦマイコン１１４内に格納されたコンピュータプログラムに従って実行される。 Next, focus adjustment control (AF control) performed by the camera / AF microcomputer 114 will be described with reference to FIGS. The AF control is executed according to a computer program stored in the camera / AF microcomputer 114.

先ず、カメラ／ＡＦマイコン１１４内で実行されるＡＦ制御を、図２のフローチャートに従って説明する。 First, the AF control executed in the camera / AF microcomputer 114 will be described with reference to the flowchart of FIG.

まず、ステップＳ２０１で処理が開始されると、ステップＳ２０２において顔検出部１１６により、得られた被写体画像に対して顔検出処理を行って、ステップＳ２０３に進む。なお、ステップＳ２０２の顔検出処理は、公知の方法を用いて行われる。そして、ステップＳ２０３では顔検出が成功したか否かを判断し、成功していればステップＳ２０４へ、失敗していればステップＳ３０１へ進む。 First, when the process is started in step S201, the face detection unit 116 performs face detection processing on the obtained subject image in step S202, and the process proceeds to step S203. Note that the face detection processing in step S202 is performed using a known method. In step S203, it is determined whether face detection is successful. If successful, the process proceeds to step S204, and if unsuccessful, the process proceeds to step S301.

顔検出が成功した場合、ステップＳ２０４では焦点検出領域を特定するＡＦ枠として、顔を含む領域を特定する顔枠と、通常の焦点検出領域を特定する通常枠とを設定し、ステップＳ２０５へ進む。ステップＳ２０４で設定されたＡＦ枠の一例を図３に示す。ステップＳ２０５では、ステップＳ２０４で設定された顔枠及び通常枠内の画素から得られる画像信号から各々ＡＦ評価値を取得し、ステップＳ２０６へと進む。 When the face detection is successful, in step S204, a face frame for specifying the area including the face and a normal frame for specifying the normal focus detection area are set as AF frames for specifying the focus detection area, and the process proceeds to step S205. . An example of the AF frame set in step S204 is shown in FIG. In step S205, AF evaluation values are acquired from the image signals obtained from the pixels in the face frame and the normal frame set in step S204, and the process proceeds to step S206.

次に、ステップＳ２０６では、画面内の所定座標からの距離に基づき顔検出領域の画面上の位置情報を取得し、ステップＳ２０７へ進む。なお、画面内の所定座標は、画面の中心座標でも構わないが、人物撮影をする場合を考えると、画角にもよるが人の顔は画面の中心より上側に来ることが多いため、画面の上部寄りの設定にするのが好ましい。 Next, in step S206, the position information on the screen of the face detection area is acquired based on the distance from the predetermined coordinates in the screen, and the process proceeds to step S207. Note that the specified coordinates in the screen may be the center coordinates of the screen, but when taking a picture of a person, the face of the person is often located above the center of the screen, depending on the angle of view. It is preferable to set the position closer to the top.

次に、ステップＳ２０７では、ステップＳ２０６で求められた顔枠の位置情報に基づき、画面上の位置に応じた所定比率をかけて、加重加算により顔枠のＡＦ評価値を再演算する。例えば、撮影中に画面の外側から人物が撮影画角内に入ってきたときなど、顔枠の位置が画面上の隅にある場合と、中心近傍にある場合とで、ＡＦ制御に用いる重みを変える。図４に位置が異なる複数の顔枠が設定されている場合の一例を示す。顔枠のＡＦ評価値の再演算が完了すると、ステップＳ２０８へ進む。 Next, in step S207, based on the position information of the face frame obtained in step S206, a predetermined ratio corresponding to the position on the screen is applied, and the AF evaluation value of the face frame is recalculated by weighted addition. For example, the weight used for AF control when the face frame is at the corner of the screen or near the center, such as when a person enters the shooting angle of view from the outside of the screen during shooting. Change. FIG. 4 shows an example when a plurality of face frames having different positions are set. When the recalculation of the AF evaluation value of the face frame is completed, the process proceeds to step S208.

ステップＳ２０８では、ステップＳ２０７で再演算（加重加算）された顔枠のＡＦ評価値と、通常枠のＡＦ評価値を加算し、最終的なＡＦ評価値を算出し、ステップＳ２０９へと進む。 In step S208, the AF evaluation value of the face frame recalculated (weighted addition) in step S207 and the AF evaluation value of the normal frame are added to calculate a final AF evaluation value, and the process proceeds to step S209.

次に、ステップＳ２０９では、従来からあるＴＶ−ＡＦ方式の焦点調節処理を行ってから、ステップＳ２０２へ戻り、上述したＡＦ制御の処理を繰り返す。ＴＶ−ＡＦ制御処理については、図５を参照して後述する。 Next, in step S209, a conventional TV-AF focus adjustment process is performed, and then the process returns to step S202 to repeat the above-described AF control process. The TV-AF control process will be described later with reference to FIG.

次に、ステップＳ２０３で顔検出が失敗し、ステップＳ３０１に進んだ場合について説明する。 Next, a case where face detection fails in step S203 and the process proceeds to step S301 will be described.

ステップＳ３０１は、傾きセンサ１１８によって検出されたビデオカメラ１００の傾き信号に基づく傾きの変化を検出する処理であり、撮影者のカメラワークによるビデオカメラ１００の傾きの変化を検出する処理である。なお、傾き変化検出処理の詳細については後述する。 Step S301 is a process of detecting a change in tilt based on the tilt signal of the video camera 100 detected by the tilt sensor 118, and is a process of detecting a change in tilt of the video camera 100 due to the camera work of the photographer. The details of the inclination change detection process will be described later.

次に、ステップＳ３０２では、ステップＳ３０１の傾き変化検出処理でビデオカメラ１００の傾きの変化が検出されたか否かを判定する。傾きの変化が検出されていないと判定されている場合はステップＳ２０４へ進み、ステップＳ２０３で顔検出が成功した場合と同じ処理を行うこととなる。ステップＳ３０１に進んだ時点で顔検出は失敗しているが、顔検出が成功した場合に設定されるＡＦ枠である顔枠はビデオカメラ１００の傾きの変化が検出されたと判定されるまでは保持する。このようにしてＡＦ評価値の変動を低減させることで、安定した合焦状態を維持する。 Next, in step S302, it is determined whether or not a change in tilt of the video camera 100 is detected in the tilt change detection process in step S301. If it is determined that a change in inclination has not been detected, the process proceeds to step S204, and the same processing as in the case where face detection has been successful in step S203 is performed. Face detection has failed at the time of proceeding to step S301, but the face frame, which is an AF frame set when face detection is successful, is held until it is determined that a change in the tilt of the video camera 100 has been detected. To do. In this way, a stable in-focus state is maintained by reducing the fluctuation of the AF evaluation value.

一方、ステップ３０２で傾きの変化が検出されていると判定された場合はステップ２１０に進み、ＡＦ枠として通常枠のみを設定する。このとき設定される通常枠には、通常枠内の中央位置に小枠を同時に設定する。 On the other hand, if it is determined in step 302 that a change in tilt has been detected, the process proceeds to step 210 where only the normal frame is set as the AF frame. For the normal frame set at this time, a small frame is simultaneously set at the center position in the normal frame.

ステップＳ２１０で通常枠が設定されたので、ステップＳ２１１では通常枠のＡＦ評価値を取得し、ステップＳ２０８、ステップＳ２０９へと進み、ＴＶ−ＡＦ制御によって焦点調節処理が行われる。 Since the normal frame is set in step S210, the AF evaluation value of the normal frame is acquired in step S211, and the process proceeds to step S208 and step S209, and focus adjustment processing is performed by TV-AF control.

次に、カメラ／ＡＦマイコン１１４によりステップＳ２０９で行われるＴＶ−ＡＦ方式のＡＦ制御について、図５を用いて説明する。 Next, the TV-AF AF control performed by the camera / AF microcomputer 114 in step S209 will be described with reference to FIG.

図５において、ステップＳ５０１でＴＶ−ＡＦ制御処理を開始すると、まず、フォーカスレンズ１０５を微小駆動し（ステップＳ５０２）、その微小駆動により合焦したか否かを判別する（ステップＳ５０３）。合焦していなければ、上記の微小駆動により合焦方向を判別できたか否かを判別する（ステップＳ５０４）。合焦方向を判別できなかった場合はステップＳ５０２に戻り、合焦方向を判別できた場合は、ステップＳ５０５に進んで、山登り駆動により、ＡＦ評価値が大きくなる方向へ高速でフォーカスレンズ１０５を移動させる。 In FIG. 5, when the TV-AF control process is started in step S501, first, the focus lens 105 is finely driven (step S502), and it is determined whether or not the focus is achieved by the fine drive (step S503). If it is not in focus, it is determined whether or not the in-focus direction has been determined by the minute driving (step S504). If the in-focus direction cannot be determined, the process returns to step S502. If the in-focus direction can be determined, the process proceeds to step S505, and the focus lens 105 is moved at a high speed in the direction in which the AF evaluation value increases by hill-climbing driving. Let

次に、山登り駆動を行った結果、ＡＦ評価値がピークを越えたか否かを判別する（ステップＳ５０６）。ピークを越えていなければ、ステップＳ５０５に戻って山登り駆動を継続し、ピークを越えた場合は、山登り駆動中のＡＦ評価値のピークに戻すために、フォーカスレンズ１０５を逆方向に駆動する（ステップＳ５０７）。 Next, it is determined whether or not the AF evaluation value has exceeded the peak as a result of the hill-climbing drive (step S506). If the peak is not exceeded, the process returns to step S505 to continue the hill-climbing drive. If the peak is exceeded, the focus lens 105 is driven in the reverse direction to return to the peak of the AF evaluation value during the hill-climbing drive (step S507).

そして、ＡＦ評価値がピークに戻ったか否かを判別する（ステップＳ５０８）。その結果、ピークに戻っていない場合は、ステップＳ５０７に戻り、ＡＦ評価値のピークに戻す動作を継続する。一方、ピークに戻った場合は、ステップＳ５０２に戻り、フォーカスレンズ１０５を微小駆動することにより、次の動画の合焦位置をサーチする。 And it is discriminate | determined whether AF evaluation value returned to the peak (step S508). As a result, if it has not returned to the peak, the process returns to step S507, and the operation of returning to the peak of the AF evaluation value is continued. On the other hand, when it returns to the peak, the process returns to step S502, and the focus lens 105 is finely driven to search the focus position of the next moving image.

一方、ステップＳ５０３にて、合焦したと判別された場合は、フォーカスレンズ１０５を停止し（ステップＳ５０９）、合焦した際のＡＦ評価値を記憶しておき（ステップＳ５１０）、再起動判定の処理部分に入る。ステップＳ５１０で格納した前回のＡＦ評価値とステップＳ５１１で取得した今回のＡＦ評価値とを比較し、所定レベル以上の差があれば、ＴＶ−ＡＦ制御を再起動する必要があると判定する（ステップＳ５１２）。 On the other hand, if it is determined in step S503 that the subject is in focus, the focus lens 105 is stopped (step S509), the AF evaluation value at the time of focusing is stored (step S510), and restart determination is performed. Enter the processing part. The previous AF evaluation value stored in step S510 is compared with the current AF evaluation value acquired in step S511, and if there is a difference of a predetermined level or more, it is determined that it is necessary to restart the TV-AF control ( Step S512).

再起動する必要があると判定された場合は、ステップＳ５０２に戻り、微小駆動動作を再開する。一方、再起動する必要がないと判定された場合は、フォーカスレンズ１０５をそのまま停止した状態で維持し（ステップＳ５１３）、以後の処理に対応するため、ステップＳ５１１へ戻り、再起動判定処理を継続する。 If it is determined that it is necessary to restart, the process returns to step S502 to restart the minute driving operation. On the other hand, if it is determined that there is no need to restart, the focus lens 105 is maintained in a stopped state (step S513), and the process returns to step S511 to continue the restart determination process in order to deal with the subsequent processing. To do.

このように、ＴＶ−ＡＦ方式は、再起動判定→微小駆動→山登り駆動→…→微小駆動→再起動判定を繰り返しながら、フォーカスレンズ１０５を駆動制御することにより、ＡＦ評価値を常に最大にするように制御する。図６は、ＡＦ評価値が最大となる点が合焦位置であることを示す図である。 As described above, in the TV-AF method, the AF evaluation value is always maximized by controlling the focus lens 105 while repeating the restart determination → micro drive → mountain climbing drive →... → micro drive → restart determination. To control. FIG. 6 is a diagram showing that the point where the AF evaluation value is maximum is the in-focus position.

次に、傾きセンサ１１８によって検出される傾き信号に基づくビデオカメラ１００の傾きの変化の検出について、図７から図９を用いて説明する。 Next, detection of a change in the tilt of the video camera 100 based on the tilt signal detected by the tilt sensor 118 will be described with reference to FIGS.

図７はビデオカメラ１００の傾き検出を行う傾きセンサ１１８と、その増幅出力信号に基づいてカメラの傾きの変化状態を判断するための機能構成を説明するブロック図である。図７において、傾きセンサ１１８は、本第１の実施形態においては加速度センサで構成している。そして上述したように、増幅回路１１９は傾きセンサ１１８から出力された傾き信号を所定量増幅する。 FIG. 7 is a block diagram illustrating a tilt sensor 118 that detects the tilt of the video camera 100 and a functional configuration for determining a change state of the tilt of the camera based on the amplified output signal. In FIG. 7, the tilt sensor 118 is configured by an acceleration sensor in the first embodiment. As described above, the amplifier circuit 119 amplifies the tilt signal output from the tilt sensor 118 by a predetermined amount.

次に、増幅回路１１９によって増幅された傾き信号はカメラ／ＡＦマイコン１１４に入力される。カメラ／ＡＦマイコン１１４では、アナログ出力をデジタル信号に変換するＡ／Ｄ変換器１２０ａを介し、デジタル信号に変換された傾き信号をメモリ１２０ｂに格納すると共に、変化量算出部１２０ｃに供給する。 Next, the tilt signal amplified by the amplifier circuit 119 is input to the camera / AF microcomputer 114. The camera / AF microcomputer 114 stores the tilt signal converted into the digital signal in the memory 120b via the A / D converter 120a that converts the analog output into a digital signal, and supplies the tilt signal to the change amount calculation unit 120c.

変化量算出部１２０ｃでは、現在の傾き信号のデジタル値と、メモリに格納された前回の傾き信号のデジタル値との差分から、傾きセンサ１１８の出力電圧の変化量を算出する。傾きセンサ１１８の出力電圧は撮影者のカメラワークにより変化するため、傾きセンサ１１８の出力変化量から、どの程度ビデオカメラ１００の傾きが変化したかを判別することができる。 The change amount calculation unit 120c calculates the change amount of the output voltage of the inclination sensor 118 from the difference between the digital value of the current inclination signal and the digital value of the previous inclination signal stored in the memory. Since the output voltage of the tilt sensor 118 changes depending on the camera work of the photographer, it is possible to determine how much the tilt of the video camera 100 has changed from the output change amount of the tilt sensor 118.

傾き角度算出部１２０ｄでは、変化量算出部１２０ｃで算出された傾きセンサ１１８の出力電圧の変化量を角度に換算する。この角度は、つまり、撮影者のカメラワークによるビデオカメラ１００の傾き角度の変化量である。 The inclination angle calculation unit 120d converts the change amount of the output voltage of the inclination sensor 118 calculated by the change amount calculation unit 120c into an angle. In other words, this angle is the amount of change in the tilt angle of the video camera 100 due to the camera work of the photographer.

次に、傾き状態判定部１２０ｅにて、傾き角度算出部１２０ｄにより算出された傾き角度の変化量から、ビデオカメラ１００の角度の変化量が閾値を超過しているか否かを判定する。この判定の結果が、図２のステップＳ３０２で説明した顔検出の判断処理が一時的に不可能となった場合に採用されることになる。 Next, the tilt state determination unit 120e determines whether or not the change amount of the angle of the video camera 100 exceeds the threshold value from the change amount of the tilt angle calculated by the tilt angle calculation unit 120d. The result of this determination is employed when the face detection determination process described in step S302 of FIG. 2 is temporarily impossible.

なお、上記説明した構成の傾きセンサ１１８、増幅回路１１９、Ａ／Ｄ変換器１２０ａ、メモリ１２０ｂ、変化量算出部１２０ｃ、傾き角度算出部１２０ｂ、傾き状態判定部１２０ｅは、それぞれ、傾きを検出する検出軸分必要である。しかしながら、ここでは説明の簡略化のために、１系統分のみを図示し、その説明を代表しているものとする。また、傾きセンサ１１８は１軸の検出軸のセンサを複数個用いなくても、３軸検出可能なセンサを用いることで同様の構成を為すことが可能である。更に、本第１の実施形態では、ビデオカメラ１００の上下方向の傾きについて説明しているが、光軸を中心とする回転方向の傾きも同様に検出可能である。 Note that the tilt sensor 118, the amplifier circuit 119, the A / D converter 120a, the memory 120b, the change amount calculation unit 120c, the tilt angle calculation unit 120b, and the tilt state determination unit 120e configured as described above each detect a tilt. It is necessary for the detection axis. However, here, for simplification of description, only one system is illustrated and the description is representative. In addition, the tilt sensor 118 can have the same configuration by using a sensor capable of detecting three axes without using a plurality of sensors having one detection axis. Furthermore, in the first embodiment, the vertical tilt of the video camera 100 has been described. However, the tilt in the rotational direction around the optical axis can be detected in the same manner.

次に、ビデオカメラ１００の傾きと、傾きセンサ１１８によって検出される傾き信号との関係を図８に示す。図８（ａ）において、中央に示すビデオカメラ１００の状態を通常撮影時の正位置とし、左に示すビデオカメラ１００は上に９０度、右に示すビデオカメラ１００は下に９０度傾いた状態を示している。 Next, the relationship between the tilt of the video camera 100 and the tilt signal detected by the tilt sensor 118 is shown in FIG. In FIG. 8A, the state of the video camera 100 shown in the center is the normal position during normal shooting, the video camera 100 shown on the left is tilted 90 degrees upward, and the video camera 100 shown on the right is tilted 90 degrees downward Is shown.

ビデオカメラ１００が、上述した図８（ａ）のような傾きとなっている場合の傾きセンサ１１８の出力特性の一例を表したものが図８（ｂ）である。図８（ｂ）において、縦軸は傾きセンサ１１８の出力電圧、横軸は傾きセンサ１１８の傾き、８０１はビデオカメラ１００の傾きに基づいた傾きセンサ１１８の出力を示している。ここで、傾きセンサ１１８の出力を増幅する増幅回路１１９のゲインを図示したセンサ出力の範囲内になるように設定している。 FIG. 8B shows an example of output characteristics of the tilt sensor 118 when the video camera 100 has the tilt as shown in FIG. In FIG. 8B, the vertical axis indicates the output voltage of the tilt sensor 118, the horizontal axis indicates the tilt of the tilt sensor 118, and 801 indicates the output of the tilt sensor 118 based on the tilt of the video camera 100. Here, the gain of the amplification circuit 119 that amplifies the output of the tilt sensor 118 is set to be within the range of the sensor output shown in the figure.

図８（ｂ）は、ビデオカメラ１００が正位置にある場合（図８（ａ）の中央、傾き０°）の傾きセンサ１１８の増幅出力であり、傾きセンサ１１８に供給する電源電圧Ｖｃｃの１／２のとなる。これに対し、図８（ａ）の左側に示すようにビデオカメラ１００を９０°（−９０°）回転して上に傾けると、傾きセンサ１１８の増幅出力は電源電圧Ｖｃｃと同じとなる。逆に図８（ａ）の右側に示すように９０°（＋９０°）回転して下に傾けると、傾きセンサ１１８の増幅出力は接地レベルＧｎｄとなる。−９０°から０°の間、また０°〜９０°の間の傾きにおいては、８０１が表すように、傾きセンサ１１８の出力は傾きに対して直線的に変化する。なお、この傾きセンサ１１８の出力特性は、傾きセンサ１１８の実装方向を逆にすると図８（ｂ）で示したものとは逆の出力特性となる。このような特性に基づいて、ビデオカメラ１００の傾きを検出し、傾き角度の算出および傾き状態の判定を行うことになる。また、本第１の実施形態ではビデオカメラ１００の上下方向の傾きについて説明しているが、光軸を中心とする回転方向の傾きも、傾きセンサ１１８の検出軸を合わせることで同様に検出可能である。 FIG. 8B is an amplified output of the tilt sensor 118 when the video camera 100 is in the normal position (center of FIG. 8A, tilt 0 °), and is 1 of the power supply voltage Vcc supplied to the tilt sensor 118. / 2. On the other hand, when the video camera 100 is rotated 90 ° (−90 °) and tilted upward as shown on the left side of FIG. 8A, the amplified output of the tilt sensor 118 becomes the same as the power supply voltage Vcc. On the other hand, as shown on the right side of FIG. 8A, when rotated 90 ° (+ 90 °) and tilted downward, the amplified output of the tilt sensor 118 becomes the ground level Gnd. In the inclination between −90 ° and 0 ° and between 0 ° and 90 °, as represented by 801, the output of the inclination sensor 118 changes linearly with respect to the inclination. Note that the output characteristics of the tilt sensor 118 are reversed from those shown in FIG. 8B when the mounting direction of the tilt sensor 118 is reversed. Based on such characteristics, the tilt of the video camera 100 is detected, the tilt angle is calculated, and the tilt state is determined. In the first embodiment, the vertical tilt of the video camera 100 has been described. However, the tilt in the rotational direction around the optical axis can be similarly detected by matching the detection axis of the tilt sensor 118. It is.

次に、カメラ／ＡＦマイコン１１４内で処理される傾き角度の算出および傾き状態の判定について図９のフローチャートを用いて説明する。 Next, calculation of the tilt angle and determination of the tilt state processed in the camera / AF microcomputer 114 will be described with reference to the flowchart of FIG.

まずステップＳ９０１では、増幅回路１１９を経て増幅された傾きセンサ１１８の傾き信号をＡ／Ｄ変換処理をして取り込み、次のステップＳ９０２へ進む。 First, in step S901, the inclination signal of the inclination sensor 118 amplified through the amplifier circuit 119 is captured by A / D conversion, and the process proceeds to the next step S902.

次に、ステップＳ９０２では、ステップＳ９０１で取り込んだ傾き信号のデジタル値を記憶し、ステップＳ９０３へ進む。ステップＳ９０３では、現在の傾き信号のデジタル値と、ステップＳ９０２で記憶した前回の傾き信号のデジタル値との変化量を算出して、ステップＳ９０４へ進む。これは、撮影者によるカメラワークによって傾きが変化するため、どの程度傾きが変化したかを算出するための処理である。 Next, in step S902, the digital value of the tilt signal acquired in step S901 is stored, and the process proceeds to step S903. In step S903, the amount of change between the digital value of the current tilt signal and the digital value of the previous tilt signal stored in step S902 is calculated, and the process proceeds to step S904. This is a process for calculating how much the tilt changes because the tilt changes due to camera work by the photographer.

次に、ステップＳ９０４では、ステップＳ９０３で算出された傾き信号の変化量から、ビデオカメラ１００の傾きが何度変化したかを算出し、ステップＳ９０５へ進む。ここで行われる変化量から角度への換算は、図８（ｂ）で示したように、傾きセンサ１１８の出力電圧８０１を、例えば１０ｂｉｔの分解能分でＡ／Ｄ変換を行った場合の１ＬＳＢあたりの出力電圧が何度に相当するかを、テーブルデータ化しておくことで行う。 Next, in step S904, the number of changes in the tilt of the video camera 100 is calculated from the amount of change in the tilt signal calculated in step S903, and the process proceeds to step S905. The conversion from the change amount to the angle performed here is, as shown in FIG. 8B, per 1 LSB when the output voltage 801 of the inclination sensor 118 is A / D converted with a resolution of 10 bits, for example. The number of times the output voltage is equivalent to is output as table data.

次のステップＳ９０５では、ステップＳ９０４で算出された傾き角度の変化が、予め設定しておいた閾値以上であるか否かを判断し、閾値以上であればステップＳ９０６へ進み、閾値未満であればステップＳ９０７へ進む。ここで用いる閾値としては、任意の角度（例えば５°以上等）を設定すればよく、更に、検討によって得られた値であれば、精度の向上が期待できる。 In the next step S905, it is determined whether or not the change in the tilt angle calculated in step S904 is greater than or equal to a preset threshold value. If it is greater than or equal to the threshold value, the process proceeds to step S906. The process proceeds to step S907. As the threshold used here, an arbitrary angle (for example, 5 ° or more) may be set. Further, if the value is obtained by examination, an improvement in accuracy can be expected.

次に、ステップＳ９０６では、傾き状態判定部１２０ｅの判定結果が閾値以上のため、ビデオカメラ１００の傾きの変化が検出されている「傾き変化検出状態」と判定する。この場合、顔検出部１１６で顔を検出できなかった場合（図２のステップＳ２０３でＮＯ）に、ビデオカメラ１００が撮影者のカメラワークにより所定の角度以上、傾きが変化していると判定される（ステップＳ３０２でＹＥＳ）。そして、顔枠をすぐに解除するように情報を出力する。 Next, in step S 906, since the determination result of the inclination state determination unit 120 e is equal to or greater than the threshold value, it is determined as the “inclination change detection state” in which a change in inclination of the video camera 100 is detected. In this case, when the face cannot be detected by the face detection unit 116 (NO in step S203 in FIG. 2), it is determined that the inclination of the video camera 100 has changed by a predetermined angle or more due to the camera work of the photographer. (YES in step S302). Then, information is output so that the face frame is immediately released.

一方、ステップＳ９０７では、傾き状態判定部１２０ｅの判定結果が閾値未満のため、ビデオカメラ１００の傾きの変化が検出されていない「傾き変化非検出状態」と判定する。この場合、顔検出部１１６で顔を検出できなかった場合（図２のステップＳ２０３でＮＯ）に、ビデオカメラ１００が撮影者のカメラワークにより所定の角度以上、傾きが変化していないと判定する（ステップＳ３０２でＮＯ）。そして、顔枠をそのまま保持するように情報を出力する。 On the other hand, in step S907, since the determination result of the inclination state determination unit 120e is less than the threshold value, it is determined that the inclination change of the video camera 100 is not detected as “an inclination change non-detection state”. In this case, when the face cannot be detected by the face detection unit 116 (NO in step S203 in FIG. 2), the video camera 100 determines that the inclination has not changed by a predetermined angle or more due to the camera work of the photographer. (NO in step S302). Then, information is output so as to hold the face frame as it is.

次に前述した処理によって顔枠と通常枠の切り替えについて、図１０を用いて説明する。 Next, switching between the face frame and the normal frame by the above-described processing will be described with reference to FIG.

図１０（ａ）、（ｂ）、（ｃ）は本第１の実施形態におけるビデオカメラ１００で撮影する時の、ＡＦ制御に用いる顔枠と通常枠の切り替え状態の遷移を表している。 FIGS. 10A, 10B, and 10C show transitions between the switching states of the face frame used for AF control and the normal frame when the video camera 100 in the first embodiment is used.

まず、図１０（ａ）では、顔枠と通常枠をＡＦ制御に用いている撮影画面である。撮影中に、主被写体である人物が横を向いたりして、一時的に顔の検出が失敗した場合にすぐに顔枠のＡＦ評価値を不採用とするとＡＦの安定性が損なわれてしまう。そこで、ビデオカメラ１００が撮影者のカメラワークによって閾値を超過するような傾きのの変化を検出していなければ、図１０（ｂ）に示すように顔枠を保持してＡＦ制御を行う。 First, FIG. 10A shows a shooting screen in which a face frame and a normal frame are used for AF control. If a person who is the main subject turns sideways during shooting and the face detection temporarily fails, if the AF evaluation value of the face frame is not adopted immediately, the stability of the AF is impaired. . Therefore, if the video camera 100 has not detected a change in tilt that exceeds the threshold due to the camera work of the photographer, AF control is performed while holding the face frame as shown in FIG.

しかし、顔の検出が失敗し、更に撮影者のカメラワークによって閾値を超過する傾きの変化が検出されていれば、撮影画面が変わることになるので、図１０（ｃ）に示すように顔枠を解除して画面上から消し、通常枠でのＡＦ制御を行う。 However, if the face detection fails and a change in inclination exceeding the threshold is detected by the photographer's camera work, the shooting screen will change. Therefore, as shown in FIG. Is canceled and disappears from the screen, and AF control is performed with the normal frame.

以上説明したように本発明の第１の実施形態によれば、顔検出機能を用いた焦点調節制御において、特に動画撮影を行っている場合に、顔が一時的に検出されなくても、ビデオカメラの傾きが変化していないと判断されると、次のように制御される。即ち、それまでに検出されている顔領域の設定を継続保持して、顔領域のＡＦ評価値を焦点調節制御に用いる。これにより、撮影者が意図する主被写体に対して精度良く、安定した焦点調節を行うことが可能となった。 As described above, according to the first embodiment of the present invention, in the focus adjustment control using the face detection function, even when a moving image is taken, even if a face is not detected temporarily, the video When it is determined that the camera tilt has not changed, the following control is performed. That is, the setting of the face area detected so far is continuously held, and the AF evaluation value of the face area is used for focus adjustment control. As a result, it is possible to perform accurate and stable focus adjustment on the main subject intended by the photographer.

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。 <Second Embodiment>
Next, a second embodiment of the present invention will be described.

上述した第１の実施形態においては、顔検出部１１６が顔検出に失敗した場合に、傾きセンサ１１８からの傾き信号に基づき、傾き状態判定部１２０ｅがビデオカメラ１００の傾きの変化が所定の閾値以上であるかどうかを判断していた。そして、閾値未満の場合は、顔枠を保持してＡＦ制御を行うというものであったが、本発明の第２の実施形態においては、ビデオカメラ１００の焦点距離に応じて傾き角度の変化量の閾値を変更するようにしたものである。 In the first embodiment described above, when the face detection unit 116 fails in face detection, the tilt state determination unit 120e determines that the change in the tilt of the video camera 100 is a predetermined threshold based on the tilt signal from the tilt sensor 118. It was judged whether it was above. If it is less than the threshold value, AF control is performed while holding the face frame, but in the second embodiment of the present invention, the amount of change in the tilt angle according to the focal length of the video camera 100 This threshold value is changed.

本第２の実施形態に係るビデオカメラの構成は、第１の実施形態で図１を参照して説明したものと同様であるので、ここでは説明を省略する。また、本第２の実施形態におけるＡＦ制御処理も第１の実施形態で図２を参照して説明したものと同様であるが、ステップＳ３０１における傾き検出処理が、図９を参照して説明した第１の実施形態における処理とは異なる。従って、以下に、本第２の実施形態における傾き検出処理について、図１１を参照して説明する。なお、図１１において、図９と同様の処理については同じステップ番号を用いている。 Since the configuration of the video camera according to the second embodiment is the same as that described with reference to FIG. 1 in the first embodiment, the description thereof is omitted here. The AF control process in the second embodiment is the same as that described with reference to FIG. 2 in the first embodiment, but the tilt detection process in step S301 has been described with reference to FIG. This is different from the processing in the first embodiment. Therefore, hereinafter, the inclination detection processing in the second embodiment will be described with reference to FIG. In FIG. 11, the same step numbers are used for the same processes as in FIG.

次に、ステップＳ９０４では、ステップＳ９０３で算出された傾き信号の変化量から、ビデオカメラ１００の傾きが何度変化したかを算出し、ステップＳ１１０１へ進む。ここで行われる変化量から角度への換算は、図８（ｂ）で示したように、傾きセンサ１１８の出力電圧８０１を、例えば１０ｂｉｔの分解能分でＡ／Ｄ変換を行った場合の１ＬＳＢあたりの出力電圧が何度に相当するかを、テーブルデータ化しておくことで行う。 Next, in step S904, the number of changes in the tilt of the video camera 100 is calculated from the amount of change in the tilt signal calculated in step S903, and the process proceeds to step S1101. The conversion from the change amount to the angle performed here is, as shown in FIG. 8B, per 1 LSB when the output voltage 801 of the inclination sensor 118 is A / D converted with a resolution of 10 bits, for example. The number of times the output voltage is equivalent to is output as table data.

次に、ステップＳ１１０１では焦点距離を取得し（焦点距離取得）、焦点距離に応じて、傾き角度の変化量と比較するための閾値の設定を行う（閾値設定）。具体的には、テレ端での閾値が１°と設定されていた場合、焦点距離がワイド側になるにつれ、閾値が大きくなるように設定変更を行う。これは、傾きに対する撮像面上での被写***置の移動量が焦点距離によって異なるためである。焦点距離に基づく閾値を設定した後、ステップＳ９０５へ進む。 Next, in step S1101, the focal length is acquired (focal length acquisition), and a threshold value is set for comparison with the change amount of the tilt angle in accordance with the focal length (threshold setting). Specifically, when the threshold value at the tele end is set to 1 °, the setting is changed so that the threshold value increases as the focal length becomes wider. This is because the amount of movement of the subject position on the imaging surface with respect to the tilt differs depending on the focal length. After setting a threshold based on the focal length, the process proceeds to step S905.

次のステップＳ９０５では、ステップＳ９０４で算出された傾き角度の変化が、ステップＳ１１０１で設定された閾値以上であるか否かを判断し、閾値以上であればステップＳ９０６へ進み、閾値未満であればステップＳ９０７へ進む。 In the next step S905, it is determined whether or not the change in the tilt angle calculated in step S904 is equal to or larger than the threshold set in step S1101, and if it is equal to or larger than the threshold, the process proceeds to step S906. The process proceeds to step S907.

次に、ステップＳ９０６では、傾き状態判定部１２０ｅの判定結果が閾値以上のため、ビデオカメラ１００の傾きの変化が検出されている「傾き変化検出状態」と判定する。この場合、顔検出部１１６で顔を検出できなかった場合（図２のステップＳ２０３でＮＯ）に、ビデオカメラ１００が撮影者のカメラワークにより所定の角度以上、傾きが変化していると判定われる（ステップＳ３０２でＹＥＳ）。そして、顔枠をすぐに解除するように情報を出力する。 Next, in step S 906, since the determination result of the inclination state determination unit 120 e is equal to or greater than the threshold value, it is determined as the “inclination change detection state” in which a change in inclination of the video camera 100 is detected. In this case, when the face cannot be detected by the face detection unit 116 (NO in step S203 in FIG. 2), it is determined that the inclination of the video camera 100 has changed by a predetermined angle or more due to the camera work of the photographer. (YES in step S302). Then, information is output so that the face frame is immediately released.

以上説明したように、本第２の実施形態によれば、焦点距離に応じて傾き角度の変化を比較する閾値を変えるため、第１の実施形態の効果に加えて、より精度良く安定した焦点調節を行うことができる。 As described above, according to the second embodiment, since the threshold value for comparing the change in the tilt angle is changed according to the focal length, in addition to the effect of the first embodiment, the focus can be stabilized more accurately. Adjustments can be made.

なお、上述した実施の形態では、顔検出部１１６により人の顔を検出の対象物としているが、例えば、動物、車など、人の顔以外の特定の対象物を検出するようにしても構わない。更に、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定して、対象物を検出するようにしてもよい。 In the embodiment described above, the human face is detected by the face detection unit 116, but a specific target other than the human face, such as an animal or a car, may be detected. Absent. Furthermore, the position in the imaging screen may be input from an external input means, or the position of the imaging screen may be determined by detecting the line of sight of the photographer who is looking at the viewfinder, thereby detecting the object.

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルビデオカメラ、デジタルスチルカメラなど）に適用してもよい。 <Other embodiments>
Note that the present invention can be applied to a system including a plurality of devices (for example, a host computer, an interface device, a camera head, etc.), or a device (for example, a digital video camera, a digital still camera, etc.) including a single device. You may apply to.

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 The object of the present invention can also be achieved as follows. First, a storage medium (or recording medium) that records a program code of software that implements the functions of the above-described embodiments is supplied to a system or apparatus. Then, the computer (or CPU or MPU) of the system or apparatus reads and executes the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also the following can be achieved. That is, when the operating system (OS) running on the computer performs part or all of the actual processing based on the instruction of the read program code, the functions of the above-described embodiments are realized by the processing. It is. Examples of the storage medium for storing the program code include a flexible disk, hard disk, ROM, RAM, magnetic tape, nonvolatile memory card, CD-ROM, CD-R, DVD, optical disk, magneto-optical disk, MO, and the like. Can be considered. Also, a computer network such as a LAN (Local Area Network) or a WAN (Wide Area Network) can be used to supply the program code.

本発明の第１の実施形態におけるビデオカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the video camera in the 1st Embodiment of this invention. 本発明の第１の実施形態におけるＡＦ制御を説明するフローチャートである。It is a flowchart explaining AF control in the 1st Embodiment of this invention. 本発明の第１の実施形態におけるＡＦ枠として設定される顔枠と通常枠の設定例を示す図である。It is a figure which shows the example of a setting of the face frame and normal frame which are set as AF frame in the 1st Embodiment of this invention. 本発明の第１の実施形態におけるＡＦ枠として設定される顔枠と通常枠の別の設定例を示す図である。It is a figure which shows another example of a setting of the face frame set as AF frame in the 1st Embodiment of this invention, and a normal frame. 本発明の第１の実施形態におけるＴＶ−ＡＦ制御処理を示すフローチャートである。It is a flowchart which shows the TV-AF control process in the 1st Embodiment of this invention. ＴＶ−ＡＦ方式におけるオートフォーカスの原理を示す図である。It is a figure which shows the principle of the autofocus in TV-AF system. 本発明の第１の実施形態における傾きセンサと、その増幅出力信号に基づきカメラの傾き状態を判断するための機能構成を説明するブロック図である。It is a block diagram explaining the functional structure for judging the inclination state of a camera based on the inclination sensor in the 1st Embodiment of this invention, and its amplified output signal. 本発明の第１の実施形態におけるビデオカメラの傾きと、傾きセンサによって検出される傾き信号との関係を示す図である。It is a figure which shows the relationship between the inclination of the video camera in the 1st Embodiment of this invention, and the inclination signal detected by an inclination sensor. 本発明の第１の実施形態における傾き角度の算出および傾き状態の判定処理を説明するフローチャートである。It is a flowchart explaining the calculation of the inclination angle in the 1st Embodiment of this invention, and the determination process of an inclination state. 本発明の第１の実施形態におけるフレーミングによる傾き変化の検出結果に基づく、ＡＦ枠として設定される顔枠と通常枠の設定状態の遷移を示す図である。It is a figure which shows the transition of the setting state of the face frame set as AF frame based on the detection result of the inclination change by framing in the 1st Embodiment of this invention, and a normal frame. 本発明の第２の実施形態における傾き角度の算出および傾き状態の判定処理を説明するフローチャートである。It is a flowchart explaining the calculation of the inclination angle in the 2nd Embodiment of this invention, and the determination process of an inclination state.

符号の説明Explanation of symbols

１００ビデオカメラ
１０１第１固定レンズ
１０２変倍レンズ
１０３絞り
１０４第２固定レンズ
１０５フォーカスレンズ
１０６撮像素子
１０７ＣＤＳ／ＡＧＣ回路
１０８カメラ信号処理回路
１０９モニタ
１１０ズーム駆動源
１１１フォーカシング駆動源
１１２ＡＦゲート
１１３ＡＦ信号処理回路
１１４カメラ／ＡＦマイコン
１１５記録部
１１６顔検出部
１１８傾きセンサ
１１９増幅回路 DESCRIPTION OF SYMBOLS 100 Video camera 101 1st fixed lens 102 Variable magnification lens 103 Aperture 104 2nd fixed lens 105 Focus lens 106 Image pick-up element 107 CDS / AGC circuit 108 Camera signal processing circuit 109 Monitor 110 Zoom drive source 111 Focusing drive source 112 AF gate 113 AF Signal processing circuit 114 Camera / AF microcomputer 115 Recording unit 116 Face detection unit 118 Tilt sensor 119 Amplification circuit

Claims

撮像装置で撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出手段と、
前記検出手段により前記対象物を表す領域が検出された場合に、当該対象物を含む領域を焦点検出領域として設定する設定手段と、
前記焦点検出領域の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成手段と、
前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節手段と、
前記撮像装置の傾きが変化しているかどうかを判定する判定手段とを有し、
前記設定手段は、前記検出手段により対象物を表す領域が検出されず、且つ、前記判定手段により傾きが変化していると判定された場合に、焦点検出領域を設定せず、前記対象物を表す領域が検出されず、且つ、前記傾きが変化していると判定されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持することを特徴とする焦点調節装置。 Detecting means for detecting a region representing a predetermined object from an image represented by an image signal obtained by photographing with an imaging device;
A setting unit that sets a region including the target object as a focus detection region when a region representing the target object is detected by the detection unit;
AF evaluation value generating means for extracting a high frequency component from the image signal of the focus detection area and generating an AF evaluation value;
Automatic focus adjustment means for performing focus adjustment using the AF evaluation value;
Determining means for determining whether or not the tilt of the imaging device has changed,
The setting means does not set the focus detection area when the area representing the object is not detected by the detection means and the inclination is determined to be changed by the determination means. If the focus detection area is set based on the previously obtained image when the area to be expressed is not detected and it is not determined that the inclination has changed, the setting is retained. Focus adjustment device characterized.

前記ＡＦ評価値生成手段は、更に、前記画像の予め設定された領域の画像信号から高周波成分を取り出してＡＦ評価値を生成し、
前記設定手段により焦点検出領域が設定されている場合に、該設定された焦点検出領域の画像信号に基づいて生成されたＡＦ評価値と、前記画像の予め設定された領域の画像信号に基づいて生成されたＡＦ評価値とを加重加算して、前記焦点調節に用いるＡＦ評価値を生成し、
前記設定手段により焦点検出領域が設定されていない場合に、前記画像の予め設定された領域の画像信号に基づいて前記焦点調節に用いるＡＦ評価値を生成する
ことを特徴とする請求項１に記載の焦点調節装置。 The AF evaluation value generating unit further extracts an RF evaluation value by extracting a high frequency component from an image signal of a preset region of the image,
When a focus detection area is set by the setting means, based on an AF evaluation value generated based on the image signal of the set focus detection area and an image signal of a preset area of the image A weighted addition of the generated AF evaluation value to generate an AF evaluation value used for the focus adjustment,
The AF evaluation value used for the focus adjustment is generated based on an image signal of a preset area of the image when a focus detection area is not set by the setting unit. Focusing device.

前記判定手段は、
前記撮像装置の傾きを検出する傾きセンサと、
前記傾きセンサによる検出結果に応じて、前記撮像装置の傾きの変化量を算出する算出手段と、
前記算出された傾きの変化量を予め設定された閾値と比較することで、傾きが変化しているかどうかを判断する判断手段と
を含むことを特徴とする請求項１または２に記載の焦点調節装置。 The determination means includes
An inclination sensor for detecting the inclination of the imaging device;
Calculating means for calculating a change amount of the inclination of the imaging device in accordance with a detection result by the inclination sensor;
3. The focus adjustment according to claim 1, further comprising: a determination unit configured to determine whether the inclination is changed by comparing the calculated change amount of the inclination with a preset threshold value. apparatus.

前記撮像装置の撮影レンズの焦点距離を取得する焦点距離取得手段と、
前記焦点距離取得手段により取得した前記焦点距離に応じて、前記判断手段で用いられる閾値を設定する閾値設定手段と
を更に有することを特徴とする請求項３に記載の焦点調節装置。 A focal length acquisition means for acquiring a focal length of a photographic lens of the imaging device;
The focus adjustment apparatus according to claim 3, further comprising: a threshold setting unit configured to set a threshold used by the determination unit according to the focal length acquired by the focal length acquisition unit.

前記閾値設定手段は、前記焦点距離が長い場合に、短い場合よりも小さい値を閾値として設定することを特徴とする請求項４に記載の焦点調節装置。 The focus adjustment apparatus according to claim 4, wherein the threshold value setting unit sets a smaller value as a threshold value when the focal distance is long than when the focal distance is short.

前記予め決められた対象物は、人の顔であることを特徴とする請求項１乃至５のいずれか１項に記載の焦点調節装置。 The focus adjustment apparatus according to claim 1, wherein the predetermined object is a human face.

撮像装置で撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出工程と、
前記検出工程で前記対象物を表す領域が検出された場合に、当該対象物を含む領域を焦点検出領域として設定する設定工程と、
前記焦点検出領域の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成工程と、
前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節工程と、
前記撮像装置の傾きが変化しているかどうかを判定する判定工程とを有し、
前記設定工程では、前記検出工程で対象物を表す領域が検出されず、且つ、前記判定工程で傾きが変化していると判定された場合に、焦点検出領域を設定せず、前記対象物を表す領域が検出されず、且つ、前記傾きが変化していると判定されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持することを特徴とする焦点調節方法。 A detection step of detecting a region representing a predetermined object from an image represented by an image signal obtained by photographing with an imaging device;
A setting step of setting a region including the target object as a focus detection region when a region representing the target object is detected in the detection step;
An AF evaluation value generating step of generating an AF evaluation value by extracting a high frequency component from the image signal of the focus detection region;
An automatic focus adjustment step of performing focus adjustment using the AF evaluation value;
A determination step of determining whether or not the tilt of the imaging device has changed,
In the setting step, when it is determined that the region representing the object is not detected in the detection step and the inclination is changed in the determination step, the focus detection region is not set, and the object is If the focus detection area is set based on the previously obtained image when the area to be expressed is not detected and it is not determined that the inclination has changed, the setting is retained. A focusing method characterized.

コンピュータに、請求項７に記載の焦点調節方法の各工程を実行させるためのプログラム。 The program for making a computer perform each process of the focus adjustment method of Claim 7.

請求項８に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium storing the program according to claim 8.