JP2019168723A - Focus detection device and control method thereof - Google Patents

Focus detection device and control method thereof Download PDF

Info

Publication number
JP2019168723A
JP2019168723A JP2019118806A JP2019118806A JP2019168723A JP 2019168723 A JP2019168723 A JP 2019168723A JP 2019118806 A JP2019118806 A JP 2019118806A JP 2019118806 A JP2019118806 A JP 2019118806A JP 2019168723 A JP2019168723 A JP 2019168723A
Authority
JP
Japan
Prior art keywords
focus
area
focus detection
region
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019118806A
Other languages
Japanese (ja)
Other versions
JP6818814B2 (en
Inventor
誠 横関
Makoto Yokozeki
誠 横関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019118806A priority Critical patent/JP6818814B2/en
Publication of JP2019168723A publication Critical patent/JP2019168723A/en
Application granted granted Critical
Publication of JP6818814B2 publication Critical patent/JP6818814B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

To enable display of a focus state with respect to an appropriate image area according to the situation of a subject in a function displaying a focus state.SOLUTION: Second display indicating an index based on a focus state detected in a focus detection area is controlled so as to be superimposed on an image and displayed together with first display indicating an area corresponding to the focus detection area. If information on a predetermined subject has not been acquired, an area corresponding to the focus detection area is set in a predetermined area. If the information on the predetermined subject has been acquired, an area corresponding to the focus detection area is set based on the information on the predetermined subject. When operation is performed by a user, a position of an area corresponding to the focus detection area is changed according to the user's operation. The second display includes a first index and a second index, positions of which are changed according to a defocus amount, and a third index indicating a focused position.SELECTED DRAWING: Figure 5

Description

本発明は、焦点状態を検出する構成と焦点状態の表示を制御する構成を備えた焦点検出装置に関する。   The present invention relates to a focus detection apparatus having a configuration for detecting a focus state and a configuration for controlling display of the focus state.

フルハイビジョンや4Kなどに対応した高精細ビデオカメラ等において、撮影者がマニュアルによるフォーカス操作(以下、MF操作)で被写体にピントを合わせる場合、厳密なピント合わせを行うことは容易ではない。特にビューファインダーやパネル等で確認しながらピント合わせを行う場合は、ビューファインダーやパネル等では確認できない程度のピントのずれが生じる場合がある。   In a high-definition video camera or the like compatible with full high-definition or 4K, when a photographer focuses on a subject by manual focus operation (hereinafter referred to as MF operation), it is not easy to perform precise focus. In particular, when focusing is performed while checking with a viewfinder, a panel, or the like, a focus shift that cannot be confirmed with a viewfinder, a panel, or the like may occur.

このような課題を解決するものとして、撮影視野の一部を拡大して液晶モニタに表示する機能を有する装置が知られている。特許文献1では、液晶モニタへの拡大表示において、拡大表示する条件が登録されていない場合に、被写体画像に含まれる特徴部分の位置を画像解析処理によって特定して拡大表示する方法が提案されている。具体的には、一人の人物が大きく写っている画像では、人物の両目部分を同時に拡大表示し、複数の人物が写っている画像では、全ての人物の顔部分を同時に拡大表示する。   In order to solve such a problem, an apparatus having a function of enlarging a part of the photographing field of view and displaying it on a liquid crystal monitor is known. Patent Document 1 proposes a method of enlarging and displaying the position of a characteristic part included in a subject image by image analysis processing when enlargement display conditions are not registered in enlargement display on a liquid crystal monitor. Yes. Specifically, in an image in which a single person is enlarged, both eyes of the person are displayed in an enlarged manner at the same time, and in an image in which a plurality of persons are shown, the face portions of all the persons are displayed in an enlarged manner at the same time.

しかしながら、特許文献1では、拡大表示された画像から合焦方向がどちらにあるのか判断できず、拡大表示された画像を見ながらMF操作を行うため、合焦位置を過ぎてフォーカスレンズを動かしてしまうおそれがある。   However, in Patent Document 1, since it is impossible to determine the in-focus direction from the enlarged image, and the MF operation is performed while viewing the enlarged image, the focus lens is moved past the in-focus position. There is a risk that.

特許文献2では、主撮像部の他に、前ピン評価用と後ピン評価用の副撮像部をそれぞれ備え、前ピン状態と後ピン状態の合焦レベルをそれぞれ算出して、合焦方向を示す合焦状態マーカーを表示する構成が開示されている。   In Patent Document 2, in addition to the main imaging unit, a sub-imaging unit for front pin evaluation and a rear pin evaluation is provided, respectively, and the in-focus direction is calculated by calculating the focus levels of the front pin state and the rear pin state, respectively. The structure which displays the focus state marker to show is disclosed.

特開2012−186670号公報JP 2012-186670 A 特開2007−279334号公報JP 2007-279334 A

特許文献2で開示されている合焦状態マーカーを、特許文献1のように全ての特徴部分に対して表示すると、演算負荷が大きくなる上に、表示が煩雑となる。そこで、合焦状態マーカーを表示する画像領域を選択することが想定されるが、特許文献1では、合焦状態マーカーを表示する画像領域を被写体に応じてどのように設定するのかが開示されていない。また、合焦状態マーカーを表示する画像領域をユーザー操作によって変更する方法についても開示されていない。   When the in-focus state marker disclosed in Patent Document 2 is displayed for all the feature portions as in Patent Document 1, the calculation load increases and the display becomes complicated. Thus, it is assumed that an image area for displaying the focus state marker is selected. However, Patent Document 1 discloses how to set the image area for displaying the focus state marker according to the subject. Absent. Further, there is no disclosure of a method for changing an image region for displaying a focus state marker by a user operation.

本発明の目的は、焦点状態を表示する機能において、被写体の状況に応じた適切な画像領域に対して焦点状態の表示を可能にすることである。   An object of the present invention is to enable display of a focus state with respect to an appropriate image region in accordance with a subject state in a function of displaying a focus state.

上記目的を達成するために、本発明の焦点検出装置は、一対の像信号に基づいて焦点状態を検出する焦点検出手段と、前記焦点検出手段が焦点状態を検出するための第1の領域を設定する領域設定手段と、前記第1の領域に対応する領域を示す第1の表示とともに、当該第1の領域において前記焦点検出手段により検出された焦点状態に基づく指標を示す第2の表示を、画像に重畳して表示するよう制御する表示制御手段と、所定の被写体の情報を取得する取得手段と、を有し、前記領域設定手段は、前記取得手段によって前記所定の被写体の情報が取得されていない場合、予め定められた領域に前記第1の領域を設定し、ユーザの操作があった場合には、前記ユーザの操作に応じて前記第1の領域の位置を変更し、前記取得手段によって前記所定の被写体の情報が取得されている場合、当該所定の被写体の情報に基づいて前記第1の領域を設定し、ユーザの操作があった場合には、前記ユーザの操作に応じて前記第1の領域の位置を変更し、前記焦点検出手段が検出する焦点状態は、デフォーカス量、および合焦位置までの方向を含み、前記第2の表示は、デフォーカス量に応じて互いの位置が変化する第1の指標および第2の指標と、合焦位置を示す第3の指標を含むことを特徴とする。   To achieve the above object, a focus detection apparatus according to the present invention includes a focus detection unit that detects a focus state based on a pair of image signals, and a first region for the focus detection unit to detect the focus state. An area setting means for setting and a first display indicating an area corresponding to the first area, and a second display indicating an index based on the focus state detected by the focus detection means in the first area A display control unit that controls to display the image superimposed on the image; and an acquisition unit that acquires information on the predetermined subject. The region setting unit acquires the information on the predetermined subject by the acquisition unit. If not, the first area is set to a predetermined area, and when there is a user operation, the position of the first area is changed according to the user operation, and the acquisition is performed. Previous by means When the information on the predetermined subject is acquired, the first area is set based on the information on the predetermined subject, and when there is a user operation, the first region is set according to the user operation. The focus state detected by the focus detection means includes a defocus amount and a direction to the in-focus position, and the second display shows the mutual position according to the defocus amount. It is characterized by including the 1st parameter | index and 2nd parameter | index which change, and the 3rd parameter | index which shows a focus position.

本発明によれば、焦点状態を表示する機能において、被写体の状況に応じた適切な画像領域に対して焦点状態の表示を行うことが可能になる。   According to the present invention, in the function of displaying the focus state, it is possible to display the focus state for an appropriate image area corresponding to the state of the subject.

本実施形態におけるカメラ及びレンズユニットの構成を示すブロック図The block diagram which shows the structure of the camera and lens unit in this embodiment. 本実施形態における撮像面位相差検出方式の画素構成を示す図The figure which shows the pixel structure of the imaging surface phase difference detection system in this embodiment. 本実施形態におけるフォーカスアシスト枠表示制御処理を示すフローチャートThe flowchart which shows the focus assist frame display control processing in this embodiment 本実施形態における焦点検出領域を示す図The figure which shows the focus detection area | region in this embodiment. 本実施形態におけるフォーカスアシスト表示の形態を示す図The figure which shows the form of the focus assist display in this embodiment 本実施形態における焦点検出処理を示すフローチャートFlowchart showing focus detection processing in this embodiment 本実施形態における焦点検出領域から得られる像信号を示す図The figure which shows the image signal obtained from the focus detection area | region in this embodiment. 本実施形態における相関演算方法を説明する図The figure explaining the correlation calculation method in this embodiment 第一の実施形態におけるフォーカスアシスト表示領域設定処理を示すフローチャートFlowchart showing focus assist display area setting processing in the first embodiment 第一の実施形態におけるフォーカスアシスト枠表示の例を示す図The figure which shows the example of the focus assist frame display in 1st embodiment 第二の実施形態におけるフォーカスアシスト表示領域設定処理を示すフローチャートFlowchart showing focus assist display area setting processing in the second embodiment 第二の実施形態におけるフォーカスアシスト枠表示の例を示す図The figure which shows the example of the focus assist frame display in 2nd embodiment 本実施形態におけるフォーカスアシスト表示領域変更処理を示すフローチャートThe flowchart which shows the focus assist display area change process in this embodiment

以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明は以下の実施の形態に限定されるものではない。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The embodiment described below is an example as means for realizing the present invention, and the present invention is not limited to the following embodiment.

<第一の実施形態>
図1は、本実施形態におけるレンズユニット及びカメラ本体からなるレンズ交換式カメラの構成を示すブロック図である。図1に示すように、本実施形態におけるカメラシステムは、レンズユニット10及びカメラ本体20から構成されている。レンズユニット10全体の動作を統括制御するレンズ制御部106と、カメラ全体の動作を統括するカメラ制御部207がデータを通信している。なお、本実施形態ではレンズ交換式カメラを例に説明するが、レンズと一体型のカメラにおいても本発明を適用可能である。
<First embodiment>
FIG. 1 is a block diagram showing a configuration of a lens interchangeable camera including a lens unit and a camera body in the present embodiment. As shown in FIG. 1, the camera system according to this embodiment includes a lens unit 10 and a camera body 20. The lens control unit 106 that controls the overall operation of the lens unit 10 and the camera control unit 207 that controls the overall operation of the camera communicate data. In the present embodiment, an interchangeable lens camera will be described as an example, but the present invention can also be applied to a camera integrated with a lens.

まず、レンズユニット10の構成について説明する。レンズユニット10は、固定レンズ101、絞り102、フォーカスレンズ103、ズームレンズ(不図示)を備えて構成される撮影光学系を有する。絞り102は、絞り駆動部104によって駆動され、後述する撮像素子201への入射光量を制御する。フォーカスレンズ103は、フォーカスレンズ駆動部105によって駆動され、焦点調節を行う。不図示のズームレンズは、ズームレンズ駆動部によって駆動されることにより、ズームの調節を行う。なお、本実施形態においては、ズームレンズおよびズームレンズ駆動部は必須の構成ではない。   First, the configuration of the lens unit 10 will be described. The lens unit 10 includes a photographing optical system that includes a fixed lens 101, a diaphragm 102, a focus lens 103, and a zoom lens (not shown). The diaphragm 102 is driven by the diaphragm driving unit 104 and controls the amount of light incident on the image sensor 201 described later. The focus lens 103 is driven by the focus lens driving unit 105 and performs focus adjustment. A zoom lens (not shown) is adjusted by the zoom by being driven by a zoom lens driving unit. In the present embodiment, the zoom lens and the zoom lens driving unit are not essential components.

絞り駆動部104、フォーカスレンズ駆動部105、ズームレンズ駆動部は、レンズ制御部106によって制御され、絞り102の開口量や、フォーカスレンズ103およびズームレンズの位置が決定される。ユーザーによりレンズ操作部107を介してフォーカスやズームなどの操作が行われた場合には、レンズ制御部106がユーザー操作に応じた制御を行う。本実施形態では、ユーザーがレンズ操作部107を介してフォーカスレンズ103を移動することで、手動による焦点調節操作(以下、MF操作)を行うことが可能である。   The aperture driving unit 104, the focus lens driving unit 105, and the zoom lens driving unit are controlled by the lens control unit 106, and the aperture amount of the aperture 102 and the positions of the focus lens 103 and the zoom lens are determined. When the user performs operations such as focusing and zooming via the lens operation unit 107, the lens control unit 106 performs control according to the user operation. In the present embodiment, the user can perform a manual focus adjustment operation (hereinafter referred to as MF operation) by moving the focus lens 103 via the lens operation unit 107.

レンズ制御部106は、後述するカメラ制御部207から受信した制御命令・制御情報に応じて絞り駆動部104やフォーカスレンズ駆動部105、ズームレンズ駆動部の制御を行い、また、レンズ情報をカメラ制御部207に送信する。   The lens control unit 106 controls the aperture driving unit 104, the focus lens driving unit 105, and the zoom lens driving unit according to a control command / control information received from a camera control unit 207, which will be described later, and controls the lens information by camera control. To the unit 207.

次に、本実施形態に係る焦点検出装置を備えるカメラ本体20の構成について説明する。カメラ本体20は、レンズユニット10の撮影光学系を通過した光束から撮像信号を生成可能に構成されている。撮像素子201は、CCDやCMOSセンサーを用いて構成される。撮影光学系を通過した光束が撮像素子201の受光面上に結像し、形成された被写体像がフォトダイオードによって入射光量に応じた電荷に変換(光電変換)される。各フォトダイオードに蓄積された電荷は、カメラ制御部207の指令に従ってタイミングジェネレータ209から与えられる駆動パルスに基づいて、電荷に応じた電圧信号として撮像素子201から順次読み出される。   Next, the configuration of the camera body 20 including the focus detection apparatus according to the present embodiment will be described. The camera body 20 is configured to be able to generate an imaging signal from a light beam that has passed through the imaging optical system of the lens unit 10. The image sensor 201 is configured using a CCD or a CMOS sensor. The light beam that has passed through the photographing optical system forms an image on the light receiving surface of the image sensor 201, and the formed subject image is converted (photoelectric conversion) into charges corresponding to the amount of incident light by the photodiode. The electric charge accumulated in each photodiode is sequentially read out from the image sensor 201 as a voltage signal corresponding to the electric charge based on a driving pulse given from the timing generator 209 in accordance with an instruction from the camera control unit 207.

撮像面位相差検出方式の焦点検出に対応しない撮像素子の場合、例えば図2(A)に示すようなベイヤー配列の画素構成となる。一方、本実施形態の撮像素子201は、撮像面位相差検出方式の焦点検出を行うために、図2(B)に示すように1つの画素に複数(本実施形態では2つ)のフォトダイオードを保持している。光束をマイクロレンズで分離し、この2つのフォトダイオードで結像することで、撮像用と焦点検出用の2つの信号が取得可能になっている。2つのフォトダイオードの信号を加算した信号(A+B)が撮像信号であり、個々のフォトダイオードの信号(A、B)が焦点検出用の2つの像信号になっている。本実施形態では、2つの像信号の取得方法は、2つの像信号のそれぞれを読み出す構成に限られない。例えば処理負荷を考慮して、加算した信号(A+B)と一方の像信号(例えばA)を読み出し、加算した信号(A+B)と一方の像信号(例えばA)の差分からもう一方の像信号(例えばB)を取得する構成でもよい。後述する焦点検出信号処理部204で焦点検出用の2つの像信号に対して相関演算を行い、像ずれ量や各種信頼性情報を算出する。   In the case of an image sensor that does not support focus detection by the imaging surface phase difference detection method, for example, the pixel configuration has a Bayer array as shown in FIG. On the other hand, the image sensor 201 of the present embodiment has a plurality of (two in the present embodiment) photodiodes in one pixel as shown in FIG. Holding. By separating the light beam with a microlens and forming an image with these two photodiodes, two signals for imaging and focus detection can be acquired. A signal (A + B) obtained by adding the signals of two photodiodes is an image pickup signal, and signals (A, B) of individual photodiodes are two image signals for focus detection. In the present embodiment, the method for acquiring the two image signals is not limited to the configuration for reading each of the two image signals. For example, considering the processing load, the added signal (A + B) and one image signal (for example, A) are read, and the other image signal (for example, A) is calculated from the difference between the added signal (A + B) and one image signal (for example, A). For example, it may be configured to acquire B). A focus detection signal processing unit 204 (to be described later) performs a correlation operation on two image signals for focus detection, and calculates an image shift amount and various reliability information.

なお、本実施形態では1つの画素に2つのフォトダイオードを有する構成としているが、フォトダイオードの数は2つに限定されず、それ以上であってもよい。また、撮像面位相差検出方式による焦点検出対応の撮像素子の構成として、本実施形態のように1つの画素に複数のフォトダイオードを設ける構成に限らず、撮像素子中に焦点検出用の画素を設ける構成であってもよい。   In the present embodiment, one pixel has two photodiodes, but the number of photodiodes is not limited to two and may be more. In addition, the configuration of the imaging element that supports focus detection using the imaging surface phase difference detection method is not limited to the configuration in which a plurality of photodiodes are provided in one pixel as in the present embodiment, and a pixel for focus detection is included in the imaging element. The structure to provide may be sufficient.

撮像素子201から読み出された撮像信号及び焦点検出用信号(以下、焦点検出信号とも言う)は、CDS/AGCコンバータ202に入力され、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。CDS/AGCコンバータ202は、撮像信号をカメラ信号処理部203および被写体検出部210に、撮像面位相差検出方式による焦点検出用の信号を焦点検出信号処理部204に出力する。   An imaging signal and a focus detection signal (hereinafter also referred to as a focus detection signal) read out from the image sensor 201 are input to the CDS / AGC converter 202, and correlated double sampling and gain adjustment for removing reset noise. , Digitize the signal. The CDS / AGC converter 202 outputs the imaging signal to the camera signal processing unit 203 and the subject detection unit 210 and the focus detection signal by the imaging surface phase difference detection method to the focus detection signal processing unit 204.

カメラ信号処理部203は、CDS/AGCコンバータ202から出力された撮像信号を表示部205に送信する。表示部205は、LCDや有機EL等を用いて構成される表示デバイスであり、撮像信号に基づく画像を表示する。また、撮像信号の記録を行うモードのときには、撮像信号は記録部206に記録される。   The camera signal processing unit 203 transmits the imaging signal output from the CDS / AGC converter 202 to the display unit 205. The display unit 205 is a display device configured using an LCD, an organic EL, or the like, and displays an image based on an imaging signal. Further, in the mode for recording the imaging signal, the imaging signal is recorded in the recording unit 206.

焦点検出信号処理部204は、CDS/AGCコンバータ202から出力された焦点検出用の2つの像信号を基に相関演算を行い、像ずれ量と信頼性情報(二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等)を算出する。そして、算出した像ずれ量と信頼性情報をカメラ制御部207へ出力する。相関演算の詳細については、図7及び図8を用いて後述する。   The focus detection signal processing unit 204 performs a correlation operation based on the two image signals for focus detection output from the CDS / AGC converter 202, and performs image shift amount and reliability information (two image coincidence degree, two image steepness degree). , Contrast information, saturation information, scratch information, etc.). Then, the calculated image shift amount and reliability information are output to the camera control unit 207. Details of the correlation calculation will be described later with reference to FIGS.

本実施形態においては、MF操作により焦点調節を行うMFモードにおいて、表示部205にフォーカスアシスト表示を行うことが可能に構成されている。フォーカスアシスト表示は、画像に重畳して表示されるフォーカスアシスト枠における焦点状態を示す表示である。フォーカスアシスト枠における焦点状態は、焦点検出信号処理部204による相関演算結果に基づいて検出される。ユーザーはフォーカスアシスト表示によりデフォーカス量やデフォーカス方向の情報を視認することで、意図に沿ったMF操作を行うことができる。フォーカスアシスト表示の詳細については後述する。これに対して、自動で焦点調節を行うAFモードにおいては、焦点検出信号処理部204による相関演算結果を用いて焦点調節が行われる。なお、AFモードにおいては、焦点調節を行うための信号を取得する領域を示すAF枠を画像に重畳して表示することが可能に構成されているが、フォーカスアシスト表示は行われないものとする。   In the present embodiment, the focus assist display can be performed on the display unit 205 in the MF mode in which focus adjustment is performed by MF operation. The focus assist display is a display that indicates a focus state in a focus assist frame that is displayed superimposed on an image. The focus state in the focus assist frame is detected based on the correlation calculation result by the focus detection signal processing unit 204. The user can perform the MF operation according to the intention by visually recognizing the information on the defocus amount and the defocus direction by the focus assist display. Details of the focus assist display will be described later. On the other hand, in the AF mode in which the focus adjustment is automatically performed, the focus adjustment is performed using the correlation calculation result by the focus detection signal processing unit 204. In the AF mode, an AF frame indicating an area for acquiring a signal for performing focus adjustment can be displayed superimposed on the image, but focus assist display is not performed. .

カメラ制御部207は、カメラ本体20内の各構成と情報をやり取りして制御を行う。カメラ制御部207は、カメラ本体20内の処理だけでなく、カメラ操作部208からの入力に応じて、電源のON/OFF、設定の変更、記録の開始、焦点検出制御の開始、記録画像の確認、焦点検出枠の選択等、ユーザーが操作したカメラ機能を実行する。また、先述したように、カメラ制御部207は、レンズユニット10内のレンズ制御部106と情報をやり取りし、撮影光学系の制御命令・制御情報の送信及び、レンズユニット内の情報を取得する。   The camera control unit 207 performs control by exchanging information with each configuration in the camera body 20. The camera control unit 207 turns on / off the power, changes the setting, starts recording, starts the focus detection control, starts the detection of the recorded image in accordance with not only the processing in the camera body 20 but also the input from the camera operation unit 208. Execute camera functions operated by the user, such as confirmation and selection of focus detection frames. In addition, as described above, the camera control unit 207 exchanges information with the lens control unit 106 in the lens unit 10 to transmit a control command / control information for the photographing optical system and acquire information in the lens unit.

被写体検出部210は、顔検出や人体検出などの検出系のブロックであり、CDS/AGCコンバータ202から出力された撮像信号に対して公知の検出処理を施し、撮影画面内の特定の被写体領域を検出する。すなわち、被写体検出部210は、撮像信号から予め定められた被写体を検出する被写体検出手段を構成する。なお、顔検出は公知の方法を用いて行うこととし、詳細な説明を省略する。   The subject detection unit 210 is a detection system block such as face detection or human body detection. The subject detection unit 210 performs a known detection process on the imaging signal output from the CDS / AGC converter 202 to detect a specific subject region in the shooting screen. To detect. That is, the subject detection unit 210 constitutes a subject detection unit that detects a predetermined subject from the imaging signal. Note that face detection is performed using a known method, and detailed description thereof is omitted.

(フォーカスアシスト枠表示制御全体について)
次に、カメラ制御部207が実行するフォーカスアシスト表示制御全体のシーケンスについて、図3を用いて説明する。図3の処理は、カメラの動作周期に基づいて周期的に実行される。
(Overall focus assist frame display control)
Next, the entire sequence of focus assist display control executed by the camera control unit 207 will be described with reference to FIG. The processing in FIG. 3 is periodically executed based on the operation cycle of the camera.

まず、ステップS301において、カメラ制御部207は、被写体検出部210に対して撮影画面内の特定の被写体領域を検出する旨の命令を行う。本実施形態においては特定の被写体領域として人物の顔の領域を例に説明する。   First, in step S301, the camera control unit 207 instructs the subject detection unit 210 to detect a specific subject region in the shooting screen. In the present embodiment, a human face area will be described as an example of a specific subject area.

次に、ステップS302において、カメラ制御部207は、フォーカスアシスト表示を行う領域(以下、フォーカスアシスト表示領域、またはフォーカスアシスト枠)を設定する処理を行う。フォーカスアシスト表示領域は、後述する焦点検出処理において焦点検出信号処理部204により相関演算を行う範囲(焦点検出範囲)に対応する。すなわち、フォーカスアシスト表示領域を設定する処理は、焦点検出範囲を設定する処理と換言することができる。フォーカスアシスト表示領域設定処理の詳細については、図9を用いて後述する。   Next, in step S302, the camera control unit 207 performs a process of setting a region for focus assist display (hereinafter referred to as a focus assist display region or a focus assist frame). The focus assist display area corresponds to a range (focus detection range) in which correlation calculation is performed by the focus detection signal processing unit 204 in a focus detection process described later. That is, the process of setting the focus assist display area can be restated as the process of setting the focus detection range. Details of the focus assist display area setting process will be described later with reference to FIG.

次に、ステップS303では、カメラ制御部207は、ユーザーの操作に応じてフォーカスアシスト枠の位置を変更する処理を行う。フォーカスアシスト表示領域変更処理の詳細については、図13を用いて後述する。   Next, in step S303, the camera control unit 207 performs a process of changing the position of the focus assist frame in accordance with a user operation. Details of the focus assist display area changing process will be described later with reference to FIG.

次に、ステップS304では、焦点検出信号処理部204は、ステップS302にて設定されたフォーカスアシスト枠に対応する焦点検出範囲において、焦点検出処理を行う。焦点検出処理の詳細については、図6を用いて後述する。   Next, in step S304, the focus detection signal processing unit 204 performs focus detection processing in the focus detection range corresponding to the focus assist frame set in step S302. Details of the focus detection process will be described later with reference to FIG.

次に、ステップS305において、カメラ制御部207は、表示部205に対してフォーカスアシスト枠を表示する処理を行い、フォーカスアシスト表示制御を終了する。   Next, in step S305, the camera control unit 207 performs processing for displaying the focus assist frame on the display unit 205, and ends the focus assist display control.

なお、本実施形態において、上述したフォーカスアシスト表示制御は、MFモードのときのみ実行可能な制御であり、AFモードのときは実行されないこととする。   In the present embodiment, the above-described focus assist display control is control that can be executed only in the MF mode, and is not executed in the AF mode.

(焦点検出領域設定処理)
次に、ステップS304の焦点検出処理を行う領域を設定する処理について図4を用いて説明する。図4は、焦点検出処理で用いる像信号を取得する領域の一例を表した図である。
(Focus detection area setting process)
Next, processing for setting an area for performing focus detection processing in step S304 will be described with reference to FIG. FIG. 4 is a diagram illustrating an example of a region in which an image signal used for focus detection processing is acquired.

図4(a)は、画素アレイ401上の焦点検出範囲402を示す図である。相関演算を行う為に必要な領域404は、焦点検出範囲402および相関演算に必要なシフト領域403を合わせた領域である。図4(a)中のp、q、s、tは、それぞれx軸方向の座標を表す。pからqは領域404を表し、sからtは焦点検出範囲402を表す。   FIG. 4A is a diagram illustrating a focus detection range 402 on the pixel array 401. A region 404 necessary for performing the correlation calculation is a region obtained by combining the focus detection range 402 and the shift region 403 necessary for the correlation calculation. In FIG. 4A, p, q, s, and t represent coordinates in the x-axis direction, respectively. p to q represent the region 404, and s to t represent the focus detection range 402.

図4(b)は、焦点検出範囲402を5つに分割した焦点検出領域405〜409を示す図である。一例として、本実施形態では、焦点検出領域単位でピントずれ量を算出し、焦点検出を行う。本実施形態では、分割した複数の焦点検出領域の中から最も信頼できる領域の焦点検出結果を選び、その領域で算出したピントずれ量をフォーカスアシスト表示に用いる。なお、焦点検出範囲の分割数や分割方向は上記に限定されない。   FIG. 4B is a diagram showing focus detection areas 405 to 409 in which the focus detection range 402 is divided into five. As an example, in this embodiment, a focus shift amount is calculated for each focus detection area, and focus detection is performed. In the present embodiment, the focus detection result of the most reliable area is selected from the plurality of divided focus detection areas, and the focus shift amount calculated in that area is used for focus assist display. The number of divisions and the division direction of the focus detection range are not limited to the above.

図4(c)は、図4(b)の焦点検出領域405〜409を連結した仮の焦点検出領域410を示す図である。実施形態の一例として、このように焦点検出領域を連結した領域から算出したピントずれ量をフォーカスアシスト表示に用いても良い。   FIG. 4C is a diagram showing a temporary focus detection area 410 obtained by connecting the focus detection areas 405 to 409 in FIG. As an example of the embodiment, the focus shift amount calculated from the region where the focus detection regions are connected in this way may be used for the focus assist display.

なお、焦点検出領域の配置の仕方、領域の広さ等は、本実施形態に挙げた内容に限られるものではなく、発明の要旨を逸脱しない範囲の形式であれば良い。   In addition, the arrangement method of the focus detection area, the area width, and the like are not limited to those described in the present embodiment, and may be in a form that does not depart from the gist of the invention.

(フォーカスアシスト枠表示の形式について)
次に、本実施形態におけるフォーカスアシスト枠表示の形式について、図5を用いて説明する。図5(a)〜(c)では、フォーカスアシスト表示の一例を示している。
(Focus assist frame display format)
Next, the format of the focus assist frame display in the present embodiment will be described with reference to FIG. FIGS. 5A to 5C show an example of focus assist display.

フォーカスアシスト枠500は、前述した図4における焦点検出範囲402と対応する領域に表示される。ここで、フォーカスアシスト枠と焦点検出範囲は同一である必要はなく、略同じ領域であればよい。図形502〜507は、デフォーカス量とデフォーカス方向を視覚的に表現する図形であり、破線501に沿って移動する。破線501は、表示部205に表示されない。   The focus assist frame 500 is displayed in an area corresponding to the focus detection range 402 in FIG. 4 described above. Here, the focus assist frame and the focus detection range do not need to be the same, and may be substantially the same region. The figures 502 to 507 are figures that visually express the defocus amount and the defocus direction, and move along the broken line 501. The broken line 501 is not displayed on the display unit 205.

焦点状態に応じたフォーカスアシスト表示形態の変化について、図5(a)〜(c)を用いて詳しく説明する。まず、図5(a)は、フォーカスアシスト枠500内の被写体に対してフォーカスレンズが至近側にあるときの焦点状態を表した図である。フォーカスレンズが至近側にある場合は、破線501の外側に配置された図形502と、破線501の内側に配置された2つの図形503と504が表示される。そして、図形502が上部で停止した状態で、図形503と504がデフォーカス量に応じて中心線に対して左右対称に破線501に沿って動く。図形503と504は、デフォーカス量(焦点ずれ量)が大きいほど図形502から遠ざかる動きをする。   The change of the focus assist display form according to the focus state will be described in detail with reference to FIGS. First, FIG. 5A is a diagram showing a focus state when the focus lens is on the near side with respect to the subject in the focus assist frame 500. When the focus lens is on the close side, a figure 502 arranged outside the broken line 501 and two figures 503 and 504 arranged inside the broken line 501 are displayed. Then, with the figure 502 stopped at the top, the figures 503 and 504 move along the broken line 501 symmetrically with respect to the center line according to the defocus amount. The figures 503 and 504 move away from the figure 502 as the defocus amount (defocus amount) increases.

図5(b)は、フォーカスアシスト枠500内の被写体に対してフォーカスレンズが無限遠側にあるときの焦点状態を表した図である。フォーカスレンズが無限遠側にある場合は、破線501の内側に配置された図形507と、破線501の外側に配置された2つの図形505と506が表示される。そして、図形507が上部で停止した状態で、図形505と506がデフォーカス量に応じて中心線に対して左右対称に破線501に沿って動く。図形505と506は、デフォーカス量(焦点ずれ量)が大きいほど図形507から遠ざかる動きをする。   FIG. 5B shows a focus state when the focus lens is on the infinity side with respect to the subject in the focus assist frame 500. When the focus lens is on the infinity side, a figure 507 arranged inside the broken line 501 and two figures 505 and 506 arranged outside the broken line 501 are displayed. Then, with the figure 507 stopped at the top, the figures 505 and 506 move along the broken line 501 symmetrically with respect to the center line according to the defocus amount. The figures 505 and 506 move away from the figure 507 as the defocus amount (defocus amount) increases.

図5(c)は、フォーカスアシスト枠500内の被写体に対してフォーカスレンズが合焦位置にあるときの焦点状態を表した図である。図形502は図形505と506が重なった状態、図形507は図形503と504が重なった状態と表現することができる。フォーカスレンズが合焦位置にあるときに、図形502と図形507が最も接近する。   FIG. 5C is a diagram illustrating a focus state when the focus lens is in the in-focus position with respect to the subject in the focus assist frame 500. The figure 502 can be expressed as a state where the figures 505 and 506 overlap, and the figure 507 can be expressed as a state where the figures 503 and 504 overlap. When the focus lens is at the in-focus position, the figure 502 and the figure 507 are closest to each other.

なお、フォーカスアシスト表示形式については、デフォーカス量とデフォーカス方向が視覚的に分かる方法であれば上述の形式に限られない。また、フォーカスアシスト領域を拡大して表示するようにしてもよい。   The focus assist display format is not limited to the above format as long as the defocus amount and the defocus direction can be visually understood. Further, the focus assist area may be enlarged and displayed.

(焦点検出処理)
次に、図3のステップS304におけるデフォーカス量を算出するための位相差検出方式による焦点検出処理について、図6を用いて説明する。図6は、位相差検出方式の焦点検出処理の流れを示すフローチャートである。
(Focus detection processing)
Next, focus detection processing by the phase difference detection method for calculating the defocus amount in step S304 in FIG. 3 will be described with reference to FIG. FIG. 6 is a flowchart showing a flow of focus detection processing of the phase difference detection method.

まず、ステップS601では、焦点検出信号処理部204は、ステップS302で設定された焦点検出範囲内の焦点検出領域から一対の像信号を取得する。ステップS602では、焦点検出信号処理部204は、ステップS601で取得した一対の像信号から相関量を算出する。ステップS603では、焦点検出信号処理部204は、ステップS602で算出した相関量から相関変化量を算出する。   First, in step S601, the focus detection signal processing unit 204 acquires a pair of image signals from the focus detection area within the focus detection range set in step S302. In step S602, the focus detection signal processing unit 204 calculates a correlation amount from the pair of image signals acquired in step S601. In step S603, the focus detection signal processing unit 204 calculates a correlation change amount from the correlation amount calculated in step S602.

ステップS604では、焦点検出信号処理部204は、ステップS603で算出した相関変化量からピントずれ量を算出する。ステップS605では、焦点検出信号処理部204は、ステップS604で算出したピントずれ量がどれだけ信頼できるのかを表す信頼性を算出する。信頼性は、前述したように、像信号の二像一致度や二像急峻度等をもとに算出される値である。ステップS601〜ステップS605の処理は、図4で説明した焦点検出範囲内に存在する焦点検出領域の数だけ行う。   In step S604, the focus detection signal processing unit 204 calculates a focus deviation amount from the correlation change amount calculated in step S603. In step S605, the focus detection signal processing unit 204 calculates reliability indicating how reliable the amount of focus deviation calculated in step S604 is. As described above, the reliability is a value calculated based on the degree of coincidence of two images and the degree of steepness of two images. The processes in steps S601 to S605 are performed by the number of focus detection areas existing in the focus detection range described with reference to FIG.

次に、ステップS606では、カメラ制御部207は、焦点検出領域毎にピントずれ量をデフォーカス量に変換する。ステップS607では、カメラ制御部207は、フォーカスアシスト表示に使用する焦点検出領域を決定し、焦点検出処理を終了する。   Next, in step S606, the camera control unit 207 converts the focus shift amount into the defocus amount for each focus detection region. In step S607, the camera control unit 207 determines a focus detection area to be used for focus assist display, and ends the focus detection process.

(相関演算の詳細説明)
次に、図7及び図8を用いて、図6で説明した位相差検出方式による焦点検出処理について詳細に説明する。
(Detailed explanation of correlation calculation)
Next, focus detection processing by the phase difference detection method described in FIG. 6 will be described in detail with reference to FIGS.

図7は、図4で設定した焦点検出領域から取得した像信号を示す図である。sからtが焦点検出範囲を表し、pからqがシフト量を踏まえた焦点検出演算に必要な範囲である。またxからyは、分割した1つ分の焦点検出領域を表す。   FIG. 7 is a diagram showing an image signal acquired from the focus detection area set in FIG. From s to t represents the focus detection range, and from p to q is a range necessary for the focus detection calculation based on the shift amount. X to y represent one divided focus detection area.

図7(a)は、シフト前の像信号を波形で表した図である。実線701が像信号A(A像)、破線702が像信号B(B像)を示している。領域705から709は、図4の分割した各焦点検出領域を表す。   FIG. 7A is a diagram showing a waveform of the image signal before the shift. A solid line 701 indicates the image signal A (A image), and a broken line 702 indicates the image signal B (B image). Regions 705 to 709 represent the divided focus detection regions shown in FIG.

図7(b)は、図7(a)のシフト前の像波形に対しプラス方向にシフトした図であり、図7(c)は、図7(a)のシフト前の像波形に対しマイナス方向にシフトした図である。相関量を算出する際には、それぞれ矢印の方向に像信号A701、像信号B702を1ビットずつシフトする。   FIG. 7B is a diagram in which the image waveform before the shift in FIG. 7A is shifted in the plus direction, and FIG. 7C is a minus with respect to the image waveform before the shift in FIG. It is the figure shifted to the direction. When calculating the correlation amount, the image signal A 701 and the image signal B 702 are shifted bit by bit in the directions of the arrows, respectively.

続いて、相関量CORの算出法について説明する。まず、図7(b)と(c)で説明した通り、像信号Aと像信号Bを1ビットずつシフトしていき、そのときの像信号Aと像信号Bの差の絶対値の和を算出する。なお、シフト量をiで表し、最小シフト数は図7中のp−s、最大シフト数は図7中のq−tである。また、xは焦点検出領域の開始座標、yは焦点検出領域の終了座標である。これらを用いて、以下の式(1)によって相関量CORを算出することができる。   Next, a method for calculating the correlation amount COR will be described. First, as described in FIGS. 7B and 7C, the image signal A and the image signal B are shifted bit by bit, and the sum of the absolute values of the differences between the image signal A and the image signal B at that time is calculated. calculate. The shift amount is represented by i, the minimum shift number is ps in FIG. 7, and the maximum shift number is qt in FIG. Further, x is the start coordinate of the focus detection area, and y is the end coordinate of the focus detection area. Using these, the correlation amount COR can be calculated by the following equation (1).

Figure 2019168723
Figure 2019168723

図8(a)は、相関量を波形で示した図である。グラフの横軸はシフト量を示し、縦軸は相関量を示す。相関量波形801において、極値周辺の領域802、803が示されている。この中でも相関量が小さい方ほど、A像とB像の一致度が高いといえる。   FIG. 8A is a diagram showing the correlation amount as a waveform. The horizontal axis of the graph indicates the shift amount, and the vertical axis indicates the correlation amount. In the correlation amount waveform 801, regions 802 and 803 around extreme values are shown. Among these, the smaller the correlation amount, the higher the coincidence between the A image and the B image.

続いて、相関変化量ΔCORの算出法について説明する。まず、図8(a)の相関量波形より、1シフト飛ばしの相関量の差から相関変化量を算出する。この時、シフト量をiで表し、最小シフト数は図7中のp−s、最大シフト数は図7中のq−tである。これらを用いて、以下の式(2)によって相関変化量ΔCORを算出することができる。   Next, a method for calculating the correlation change amount ΔCOR will be described. First, the correlation change amount is calculated from the correlation amount difference of 1-shift skipping from the correlation amount waveform of FIG. At this time, the shift amount is represented by i, the minimum shift number is ps in FIG. 7, and the maximum shift number is qt in FIG. Using these, the correlation change amount ΔCOR can be calculated by the following equation (2).

Figure 2019168723
Figure 2019168723

図8(b)は、相関変化量ΔCORを波形で示した図である。グラフの横軸はシフト量を示し、縦軸は相関変化量を示す。相関変化量波形804において、領域805や806で相関変化量がプラスからマイナスになる。このように相関変化量が0となるところをゼロクロスと呼ぶ。ゼロクロスにおいて最もA像とB像の一致度が高く、そのときのシフト量がピントずれ量となる。   FIG. 8B is a diagram showing the correlation change amount ΔCOR as a waveform. The horizontal axis of the graph indicates the shift amount, and the vertical axis indicates the correlation change amount. In the correlation change amount waveform 804, the correlation change amount changes from positive to negative in the regions 805 and 806. The place where the correlation change amount is 0 is called zero cross. At zero cross, the A and B images have the highest degree of coincidence, and the shift amount at that time is the amount of focus shift.

図8(c)は、図8(b)の領域805の部分を拡大したもので、相関変化量波形804の一部分807が示されている。図8(c)を用いて、ピントずれ量PRDの算出法について説明する。まず、ピントずれ量は整数部分βと小数部分αに分けられる。小数部分αは、図8(c)中の三角形ABCと三角形ADEの相似の関係から、以下の式(3)によって算出することができる。   FIG. 8C is an enlarged view of the area 805 in FIG. 8B, and shows a portion 807 of the correlation change amount waveform 804. A method of calculating the focus shift amount PRD will be described with reference to FIG. First, the focus shift amount is divided into an integer part β and a decimal part α. The decimal part α can be calculated by the following equation (3) from the similar relationship between the triangle ABC and the triangle ADE in FIG.

Figure 2019168723
Figure 2019168723

続いて小数部分βは、図8(c)中より以下の式(4)によって算出することができる。
β=k−1 (4)
Subsequently, the decimal part β can be calculated by the following equation (4) from FIG.
β = k−1 (4)

以上のように、αとβの和からピントずれ量PRDを算出することができる。   As described above, the focus shift amount PRD can be calculated from the sum of α and β.

また、図8(b)のように複数のゼロクロスが存在する場合は、ゼロクロスでの相関量変化の急峻性maxder(以下、急峻性と呼ぶ)が大きいところを第1のゼロクロスとする。この急峻性は焦点検出のし易さを示す指標で、値が大きいほど焦点検出し易い点であることを示す。急峻性は以下の式(5)によって算出することができる。
maxder=│ΔCOR[k−1]│+│ΔCOR[k]│ (5)
In addition, when there are a plurality of zero crosses as shown in FIG. 8B, a point where the steepness maxder (hereinafter referred to as steepness) of the correlation amount change at the zero cross is large is defined as the first zero cross. This steepness is an index indicating the ease of focus detection, and the larger the value, the easier the focus detection. The steepness can be calculated by the following equation (5).
maxder = | ΔCOR [k−1] | + | ΔCOR [k] | (5)

以上のように、ゼロクロスが複数存在する場合は、急峻性によって第1のゼロクロスを決定する。   As described above, when there are a plurality of zero crosses, the first zero cross is determined based on steepness.

続いて、ピントずれ量の信頼性の算出法について説明する。信頼性は、前記急峻性や、像信号A、Bの2像の一致度fnclvl(以下、2像一致度と呼ぶ)によって定義することができる。2像一致度はピントずれ量の精度を表す指標で、値が小さいほど精度が良い。   Next, a method for calculating the reliability of the focus deviation amount will be described. Reliability can be defined by the steepness and the degree of coincidence fnclvl (hereinafter referred to as the degree of coincidence of two images) of the two images of the image signals A and B. The degree of coincidence between the two images is an index representing the accuracy of the amount of focus deviation.

図8(d)は、図8(a)の領域802の部分を拡大したもので、808が相関量波形801の一部分が示されている。2像一致度は以下の式(6)によって算出できる。   FIG. 8D is an enlarged view of the area 802 in FIG. 8A, and 808 shows a part of the correlation amount waveform 801. The degree of coincidence between two images can be calculated by the following equation (6).

Figure 2019168723
Figure 2019168723

(フォーカスアシスト表示領域設定処理)
次に、図3のステップS302におけるフォーカスアシスト表示領域設定処理について、図9のフローチャートと図10を用いて説明する。図9は、本実施形態におけるフォーカスアシスト表示領域設定処理の流れを示すフローチャートである。本実施形態では、フォーカスアシスト表示領域のサイズは、検出可能な最小の顔サイズより小さい所定のサイズに固定するものとして説明するが、フォーカスアシスト表示領域のサイズを変更可能にしてもよい。また、この所定のサイズを焦点検出可能な最小サイズとしてもよい。
(Focus assist display area setting process)
Next, the focus assist display area setting process in step S302 of FIG. 3 will be described using the flowchart of FIG. 9 and FIG. FIG. 9 is a flowchart showing the flow of the focus assist display area setting process in the present embodiment. In the present embodiment, the size of the focus assist display area is described as being fixed to a predetermined size smaller than the minimum detectable face size, but the size of the focus assist display area may be changeable. Further, this predetermined size may be the minimum size that can be detected by the focus.

まず、ステップS901では、カメラ制御部207は、前述したステップS301の処理において被写体検出部210が人物の顔を検出したか否かを判断する。人物の顔を検出した場合はステップS902へ移行し、検出していない場合はステップS903へ移行する。   First, in step S901, the camera control unit 207 determines whether or not the subject detection unit 210 has detected a person's face in the process of step S301 described above. If a human face has been detected, the process proceeds to step S902. If not detected, the process proceeds to step S903.

ステップS902では、カメラ制御部207は、検出された顔のサイズが所定の閾値TH1より大きいか否かを判断する。検出された顔のサイズが閾値TH1よりも大きいと判断した場合はステップS904へ移行し、閾値TH1以下であると判断した場合はステップS911に移行する。   In step S902, the camera control unit 207 determines whether the detected face size is larger than a predetermined threshold value TH1. If it is determined that the size of the detected face is larger than the threshold value TH1, the process proceeds to step S904. If it is determined that the detected face size is equal to or less than the threshold value TH1, the process proceeds to step S911.

ここで、所定の閾値TH1は、顔のサイズが閾値TH1以下の場合に左右いずれかの目(特徴領域)の位置に合わせて設定されたフォーカスアシスト枠が顔枠内に収まらなくなるような値に設定される。閾値TH1の決定方法としては、例えば、フォーカスアシスト枠の水平方向のサイズの2倍程度の値が想定されるが、これに限定されるものではない。一般的に、人物を撮影する場合は人物の目(左右の目でピント位置が異なる場合が多いため、左右いずれかの目)にピントを合わせることが多い。そのため、MFモードで人物を撮影する場合は、左右いずれかの目の領域にフォーカスアシスト表示を行うことが好ましい。これにより、ユーザーがフォーカスアシスト枠を目の領域に移動するための操作を行う手間を省くことができる。   Here, the predetermined threshold value TH1 is set to a value such that the focus assist frame set in accordance with the position of either the left or right eye (feature region) does not fit within the face frame when the face size is equal to or smaller than the threshold value TH1. Is set. As a method for determining the threshold value TH1, for example, a value of about twice the horizontal size of the focus assist frame is assumed, but is not limited thereto. In general, when shooting a person, the eyes of the person (the right and left eyes often have different focus positions, so the left or right eye) is often focused. For this reason, when photographing a person in the MF mode, it is preferable to perform focus assist display in either the left or right eye area. This saves the user from having to perform an operation for moving the focus assist frame to the eye area.

しかしながら、カメラに対して顔が遠くにあったり、焦点距離が広角側であることによって画像内の人物の顔が小さくなる場合、目とその他の部分のピントの差が分かりにくくなる。図10(a)では、検出された顔(顔枠1001に対応)のサイズが小さい場面の例を示している。図10(a)のように制御上設定できるサイズのフォーカスアシスト枠1002を片目(ここでは右目)の位置に合わせて設定してしまうと、枠に占める背景の割合が大きくなる。これが誤検出の原因となり、フォーカスアシスト表示が時間によってばらついたり、ユーザーが誤った焦点状態でピントが合ったと判断してしまう可能性が高くなる。   However, when the face is far away from the camera or the face of the person in the image becomes smaller due to the focal length being on the wide angle side, the difference in focus between the eyes and other parts becomes difficult to understand. FIG. 10A shows an example of a scene where the size of the detected face (corresponding to the face frame 1001) is small. If the focus assist frame 1002 having a size that can be set for control as shown in FIG. 10A is set in accordance with the position of one eye (here, the right eye), the ratio of the background to the frame increases. This becomes a cause of erroneous detection, and there is a high possibility that the focus assist display varies depending on the time, or the user determines that the focus is in the wrong focus state.

仮に、制御上設定できるフォーカスアシスト枠のサイズがさらに小さくなって目の領域に合わせて設定できたとしても、焦点検出範囲が非常に小さくなるため、デフォーカス量の検出が困難になる。そのため、大きくボケた状態からアシスト表示の経過を見ながらMF操作でピント合わせを行いたい場合には適していない。   Even if the size of the focus assist frame that can be set for control is further reduced and can be set in accordance with the eye area, the focus detection range becomes very small, making it difficult to detect the defocus amount. For this reason, it is not suitable when it is desired to focus by MF operation while watching the progress of the assist display from a largely blurred state.

そこで、検出された顔のサイズが所定の閾値以下の場合には、ステップS911において、図10(b)に示すように、顔枠1001内に収まるようにフォーカスアシスト枠1003を設定する。この場合、像信号のコントラストを高めるために、目の領域を含むようにフォーカスアシスト枠1003を設定することが好ましい。図10(b)のフォーカスアシスト枠1003を顔枠1001内に設定することで、背景の影響を受けなくなるため、誤検出が発生する可能性が低減し、ユーザーがより正確にピントの状態を把握することができる。なお、フォーカスアシスト枠のサイズを変更可能な場合には、顔枠と略同じ領域や、顔枠内において所定比率以上のサイズの領域にフォーカスアシスト枠を設定してもよい。   Therefore, when the detected face size is equal to or smaller than the predetermined threshold value, the focus assist frame 1003 is set to fit within the face frame 1001 as shown in FIG. 10B in step S911. In this case, it is preferable to set the focus assist frame 1003 so as to include the eye region in order to increase the contrast of the image signal. Setting the focus assist frame 1003 in FIG. 10B within the face frame 1001 eliminates the influence of the background, thereby reducing the possibility of erroneous detection and allowing the user to grasp the focus state more accurately. can do. When the size of the focus assist frame can be changed, the focus assist frame may be set in a region that is substantially the same as the face frame or a region that has a size equal to or larger than a predetermined ratio in the face frame.

ここで、人物の顔の中から目の位置を検出する方法としては、例えば、検出した顔のサイズと位置から一般的な割合の(相対的な)位置(例えば、顔の中の上から1/3の位置など)を目の位置とする方法がある。また、被写体検出部210がCDS/AGCコンバータ202から出力された撮像信号に対して公知の検出処理を施し、検出した顔の画像領域内の特定の部位(目や耳、鼻、口など)を検出する方法を用いてもよい。   Here, as a method of detecting the position of the eye from the face of the person, for example, a (relative) position having a general ratio from the detected face size and position (for example, 1 from the top of the face). There is a method of setting the eye position to a position of / 3). In addition, the subject detection unit 210 performs a known detection process on the imaging signal output from the CDS / AGC converter 202, and a specific part (eye, ear, nose, mouth, etc.) in the detected face image region is detected. A detection method may be used.

一方、検出された顔のサイズが所定の閾値TH1より大きい場合には、ステップS904において、カメラ制御部207は、検出した顔の向き情報を被写体検出部210から受信し、顔の向きを判断する。正面向きであると判断した場合はステップS905に移行し、横向きであると判断した場合はステップS906に移行する。ここでは、カメラ(撮影光学系)に対して顔が向いている角度が所定の角度以内であれば正面向きと判定するようにしてもよい。   On the other hand, if the detected face size is larger than the predetermined threshold value TH1, in step S904, the camera control unit 207 receives the detected face orientation information from the subject detection unit 210, and determines the face orientation. . If it is determined that the head is facing forward, the process proceeds to step S905. If it is determined that the head is facing sideways, the process proceeds to step S906. Here, if the angle at which the face is facing the camera (shooting optical system) is within a predetermined angle, it may be determined to be front-facing.

ステップS905に進んだ場合、カメラ制御部207は、検出した顔の位置情報を被写体検出部210から受信し、顔の位置が撮影画面の水平方向における中心に対して、左右どちらの位置に存在しているかを判断する。顔の位置が画面に向かって左側である場合はステップS907に移行し、顔の位置が画面に向かって右側にある場合はステップS908に移行する。   When the processing proceeds to step S905, the camera control unit 207 receives the detected face position information from the subject detection unit 210, and the face position exists at either the left or right position with respect to the center in the horizontal direction of the shooting screen. Judgment is made. If the face position is on the left side when facing the screen, the process proceeds to step S907. If the face position is on the right side when facing the screen, the process proceeds to step S908.

ステップS907において、カメラ制御部207は、人物の右目の位置にフォーカスアシスト枠を設定する。具体的な設定方法の一例として、フォーカスアシスト枠の重心位置を右目領域の重心位置に合わせるように設定する方法があるが、他の基準に合わせて設定してもよい。人物の右目の位置にフォーカスアシスト枠を設定すると、ステップS914に移行する。   In step S907, the camera control unit 207 sets a focus assist frame at the position of the right eye of the person. As an example of a specific setting method, there is a method of setting the center of gravity position of the focus assist frame so as to match the center of gravity position of the right eye region, but it may be set according to another reference. When the focus assist frame is set at the position of the right eye of the person, the process proceeds to step S914.

一方、ステップS908においては、カメラ制御部207は、人物の左目の位置にフォーカスアシスト枠を設定し、ステップS914に移行する。この場合も、フォーカスアシスト枠の重心位置を左目領域の重心位置に合わせるように設定してもよいし、他の基準に合わせて設定してもよい。   On the other hand, in step S908, the camera control unit 207 sets a focus assist frame at the position of the left eye of the person, and proceeds to step S914. In this case as well, the position of the center of gravity of the focus assist frame may be set to match the position of the center of gravity of the left eye region, or may be set according to another reference.

ここで、ステップS907およびステップS908において、人物の顔が正面向きの場合に、画面内の顔の位置に応じて人物の右目または左目にフォーカスアシスト枠を設定する理由について説明する。   Here, the reason why the focus assist frame is set in the right eye or the left eye of the person according to the position of the face in the screen when the person's face is facing the front in steps S907 and S908 will be described.

図10(c)では、人物が正面を向いている場面の一例を示している。人物が正面向きであるということは、カメラのほうを向いているということになる。したがって、ピント面は画面の中心から遠い距離に位置する目のほうが至近側に存在する可能性が高い。一般的に、人物の目にピントを合わせる場合は至近側にある目にピントを合わせることが多いため、本実施形態では、画面の中心からより遠い距離に位置する目にフォーカスアシスト枠を設定する。これにより、ユーザーがフォーカスアシスト枠を至近側の目の位置に移動するための操作を行う手間を省くことができる。   FIG. 10C shows an example of a scene where a person is facing the front. If the person is facing the front, it means that the person is facing the camera. Therefore, it is highly likely that the eye located at a distance farther from the center of the screen is closer to the focus surface. In general, when focusing on the eyes of a person, the eyes on the closest side are often focused. Therefore, in this embodiment, a focus assist frame is set for an eye located at a farther distance from the center of the screen. . As a result, it is possible to save the user from performing an operation for moving the focus assist frame to the position of the closest eye.

上記の理由により、カメラから見て人物が右側(位置1004)にいる場合は人物の左目にフォーカスアシスト枠1006を設定し、カメラから見て人物が左側(位置1005)にいる場合は人物の右目にフォーカスアシスト枠1007を設定する。   For the above reasons, when the person is on the right side (position 1004) when viewed from the camera, the focus assist frame 1006 is set on the left side of the person, and when the person is on the left side (position 1005) when viewed from the camera, the right eye of the person is set. The focus assist frame 1007 is set to.

一方、ステップS906に進んだ場合、カメラ制御部207は、検出した顔の向きの情報を被写体検出部210から受信し、顔の向いている方向を判断する。ここでは、顔の右側を画面に向けている場合を右向き、顔の左側を画面に向けている場合を左向きとする。顔の向きが右向きの場合はステップS909に移行し、左向きの場合はステップS910に移行する。   On the other hand, when the process proceeds to step S906, the camera control unit 207 receives information on the detected face orientation from the subject detection unit 210, and determines the direction in which the face is facing. Here, the case where the right side of the face is directed to the screen is directed to the right, and the case where the left side of the face is directed to the screen is directed to the left. If the face is facing right, the process proceeds to step S909. If the face is facing left, the process proceeds to step S910.

ステップS909に進んだ場合、カメラ制御部207は、ステップS907と同様に、人物の右目の位置にフォーカスアシスト枠を設定し、ステップS914に移行する。また、ステップS910に進んだ場合、カメラ制御部207は、ステップS908と同様に、人物の左目の位置にフォーカスアシスト枠を設定し、ステップS914に移行する。   When the process proceeds to step S909, the camera control unit 207 sets a focus assist frame at the position of the right eye of the person, as in step S907, and proceeds to step S914. When the process proceeds to step S910, the camera control unit 207 sets a focus assist frame at the position of the left eye of the person, and proceeds to step S914, similarly to step S908.

ここで、ステップS909およびステップS910において、人物の顔が向いている方向に応じて人物の右目または左目にフォーカスアシスト枠を設定する理由について説明する。   Here, the reason why the focus assist frame is set in the right eye or the left eye of the person according to the direction in which the person's face is facing in steps S909 and S910 will be described.

図10(d)および(e)は、人物が左向きの状態を表している。まず、図10(d)に示すように、人物が左向きの場合に右目の位置にフォーカスアシスト枠1008を設定すると、前述の顔のサイズが小さい場合と同様に、領域に占める背景の割合が大きくなる。そのため、誤検出が起こりやすくなって、フォーカスアシスト表示が時間によってばらつく可能性が高くなる。これにより、ユーザーがMF操作によってフォーカスレンズを合焦位置に合わせにくくなったり、誤ったフォーカスレンズ位置でピントが合ったと判断してしまう可能性が高くなる。   FIGS. 10D and 10E show a state where the person is facing left. First, as shown in FIG. 10D, when the focus assist frame 1008 is set at the position of the right eye when the person is facing left, as in the case where the face size is small, the ratio of the background to the region is large. Become. Therefore, erroneous detection is likely to occur, and the possibility that the focus assist display varies with time increases. This increases the possibility that the user will not easily adjust the focus lens to the in-focus position by MF operation, or that the user will determine that the focus is in the wrong focus lens position.

また、人物が左向きであるということは、左目のほうが至近側に存在する。そこで、図10(e)に示すように、至近側にある左目の位置にフォーカスアシスト枠1009を設定することで、ユーザーがフォーカスアシスト枠を至近側の目の位置に移動するための操作を行う手間を省くことができる。   In addition, the fact that the person is facing left means that the left eye is on the near side. Therefore, as shown in FIG. 10E, by setting the focus assist frame 1009 at the position of the left eye on the close side, the user performs an operation for moving the focus assist frame to the position of the close eye. Save time and effort.

ステップS914において、カメラ制御部207は、ステップS907〜S911にて設定したフォーカスアシスト枠の顔の領域(顔枠)に対する位置についての情報を記憶する。なお、ここでフォーカスアシスト枠の顔の領域(顔枠)に対するサイズの割合についての情報をさらに記憶してもよい。   In step S914, the camera control unit 207 stores information about the position of the focus assist frame set in steps S907 to S911 relative to the face area (face frame). Here, information on the size ratio of the focus assist frame to the face area (face frame) may be further stored.

一方、ステップS901において顔が検出されなかった場合、ステップS903に進み、カメラ制御部207は、顔追尾状態になっているか否かを判断する。顔追尾状態とは、顔を検出している状態から顔を検出していない状態に移行した場合に、顔が検出できなくなる直前の情報と一般的な顔の特徴量から、顔の可能性が高い領域を推定している状態のことを言う。カメラ制御部207が顔追尾状態であると判断した場合はステップS912へ遷移し、顔追尾状態ではないと判断した場合にはステップS913に遷移する。   On the other hand, if no face is detected in step S901, the process proceeds to step S903, and the camera control unit 207 determines whether or not the face tracking state is set. The face tracking state is the possibility of a face from the information just before the face can no longer be detected and the general face feature amount when the face is detected and the face is not detected. A state where a high region is estimated. When the camera control unit 207 determines that it is in the face tracking state, the process proceeds to step S912. When it is determined that the camera is not in the face tracking state, the process proceeds to step S913.

ステップS912において、カメラ制御部207は、ステップS914にて記憶したフォーカスアシスト枠の顔の領域に対する位置についての情報を読み出す。そして、記憶されていた位置を追尾状態となっている顔の領域(追尾領域)に対する位置に変換してフォーカスアシスト枠を設定する。なお、フォーカスアシスト枠のサイズを変更可能な場合は、ステップS914にてフォーカスアシスト枠の顔の領域に対するサイズの割合についての情報を記憶し、これを読み出してフォーカスアシスト枠のサイズを設定してもよい。この場合、記憶されていたサイズ(顔枠に対するサイズの割合)を追尾領域に対するサイズに変換してフォーカスアシスト枠を設定する。   In step S912, the camera control unit 207 reads information about the position of the focus assist frame stored in step S914 with respect to the face area. Then, the focus assist frame is set by converting the stored position into a position relative to the face area (tracking area) in the tracking state. If the size of the focus assist frame can be changed, information on the ratio of the size of the focus assist frame to the face area is stored in step S914, and this information can be read to set the size of the focus assist frame. Good. In this case, the focus assist frame is set by converting the stored size (the ratio of the size to the face frame) into the size for the tracking area.

ステップS912の処理を行う理由について、図10(f)および(g)を用いて説明する。図10(f)および(g)は、顔が検出されていた人物が横を向き、顔が検出できなくなり顔追尾状態になった場面を示している。図10(f)に示すように、追尾領域1010の中心にフォーカスアシスト枠1011を設定した場合、フォーカスアシスト枠1011が人物の目の位置から外れてしまう可能性が高い。そこで、図10(g)のように、顔追尾状態に入る直前のフォーカスアシスト枠の位置に基づいてフォーカスアシスト枠1012を設定することで、フォーカスアシスト枠1012が人物の目を含む可能性が高くなる。さらに、図10(g)の状態から人物が再びカメラのほうを向いて顔が再度検出できるようになると、フォーカスアシスト枠をスムーズに目の位置に設定し続けることができる。   The reason for performing the process of step S912 is demonstrated using FIG.10 (f) and (g). FIGS. 10F and 10G show a scene in which a person whose face has been detected faces sideways and the face cannot be detected and is in a face tracking state. As shown in FIG. 10F, when the focus assist frame 1011 is set at the center of the tracking area 1010, the focus assist frame 1011 is likely to be out of the position of the person's eyes. Therefore, as shown in FIG. 10G, by setting the focus assist frame 1012 based on the position of the focus assist frame immediately before entering the face tracking state, the focus assist frame 1012 is highly likely to include human eyes. Become. Further, when the person turns to the camera again and the face can be detected again from the state of FIG. 10G, the focus assist frame can be set to the eye position smoothly.

一方、ステップS913において、カメラ制御部207は、予め記憶されている位置にフォーカスアシスト枠を設定して処理を終了する。本実施形態において、予め記憶されている位置は画面の中央とするが、これに限定されるものではない。なお、顔追尾状態において、追尾している位置の近傍に所定期間顔検出がされなかったり、顔の特徴量が低くなって顔である可能性が低いことを検知すると、顔追尾状態を終了する。顔追尾状態を終了した場合、顔追尾を行っていた位置と異なる位置に顔検出されていれば、検出されている顔に基づいてフォーカスアシスト枠を設定してもよい。また、顔追尾状態を終了した時点で他に検出されている顔がない場合は、フォーカスアシスト枠は予めカメラ制御部207に記録されている所定の位置および大きさに設定しても良いし、顔追尾状態を終了した時点の位置とサイズを保持して設定してもよい。   On the other hand, in step S913, the camera control unit 207 sets a focus assist frame at a position stored in advance, and ends the process. In the present embodiment, the position stored in advance is the center of the screen, but is not limited to this. In the face tracking state, when the face detection is not performed in the vicinity of the tracked position for a predetermined period or when it is detected that the face feature amount is low and the possibility of being a face is low, the face tracking state is terminated. . When the face tracking state is terminated, the focus assist frame may be set based on the detected face if the face is detected at a position different from the position where the face tracking is performed. If no other face is detected when the face tracking state ends, the focus assist frame may be set to a predetermined position and size recorded in advance in the camera control unit 207. You may hold | maintain and set the position and size at the time of complete | finishing a face tracking state.

本実施形態において、ステップS901にて顔検出している場合やステップS903にて顔の追尾状態になっている場合、すなわち顔情報が取得されている場合は、顔枠内にフォーカスアシスト枠を設定する(例えば「顔MFモード」とする)。一方、顔検出状態でも顔追尾状態でもない場合、すなわち顔情報が取得されていない場合は、予め記憶されている位置に基づいてフォーカスアシスト枠を設定する(例えば「通常MFモード」とする)。   In this embodiment, when a face is detected in step S901 or when a face tracking state is obtained in step S903, that is, when face information is acquired, a focus assist frame is set in the face frame. (For example, “face MF mode”). On the other hand, when neither the face detection state nor the face tracking state is obtained, that is, when face information is not acquired, a focus assist frame is set based on a previously stored position (for example, “normal MF mode”).

(フォーカスアシスト表示領域変更処理)
次に、図3のステップS303におけるフォーカスアシスト表示領域変更処理について、図13を用いて説明する。図13は、フォーカスアシスト表示領域変更処理の流れを示すフローチャートである。
(Focus assist display area change processing)
Next, the focus assist display area changing process in step S303 in FIG. 3 will be described with reference to FIG. FIG. 13 is a flowchart showing the flow of the focus assist display area changing process.

まず、ステップS1301において、カメラ制御部207は、カメラ操作部208を介した変更操作を受け付け、変更操作が行われたかどうかを判定する。ここでの変更操作とは、例えば十字キーによる入力操作や、表示部205へのタッチ操作などが想定されるが、操作部材および操作の形態はこれらに限定されない。変更操作が行われた場合はステップS1302へ移行し、変更操作が行われていない場合は本フローを終了する。   First, in step S1301, the camera control unit 207 receives a change operation via the camera operation unit 208, and determines whether the change operation has been performed. The change operation here may be, for example, an input operation using a cross key or a touch operation on the display unit 205, but the operation member and the form of operation are not limited thereto. When the change operation has been performed, the process proceeds to step S1302, and when the change operation has not been performed, this flow ends.

ステップS1302では、カメラ制御部207は、上述した顔MFモードか否かを判断する。顔MFモードの場合はステップS1303へ移行し、顔MFモードでない場合はステップS1305へ移行する。   In step S1302, the camera control unit 207 determines whether or not the face MF mode is described above. If the face MF mode is selected, the process proceeds to step S1303. If the face MF mode is not selected, the process proceeds to step S1305.

ステップS1303では、カメラ制御部207は、前述したステップS301の処理において被写体検出部210が複数の顔を検出したか否かを判断する。複数の顔を検出した場合はステップS1304へ移行し、検出していない場合は本フローを終了する。   In step S1303, the camera control unit 207 determines whether or not the subject detection unit 210 has detected a plurality of faces in the processing of step S301 described above. If a plurality of faces are detected, the process proceeds to step S1304, and if not detected, this flow ends.

ステップS1304では、カメラ制御部207は、ステップS1301で検出された操作に応じて、フォーカスアシスト枠を設定する対象となる主顔を切り替える処理を行う。すなわち、現在フォーカスアシスト枠を表示している顔以外の顔にフォーカスアシスト枠を移動する。主顔を切り替える処理を行うと、本フローを終了する。   In step S1304, the camera control unit 207 performs a process of switching the main face that is a target for setting the focus assist frame in accordance with the operation detected in step S1301. That is, the focus assist frame is moved to a face other than the face currently displaying the focus assist frame. When the process of switching the main face is performed, this flow ends.

一方、ステップS1305に進んだ場合、カメラ制御部207は、ステップS1301で検出された操作に応じて、フォーカスアシスト枠の位置を移動する処理を行う。例えば、十字キーで操作された方向に所定量ずつフォーカスアシスト枠を移動したり、表示部205へのタッチ操作により指定された位置にフォーカスアシスト枠を移動する。フォーカスアシスト枠の位置を移動する処理を行うと、本フローを終了する。   On the other hand, when the process proceeds to step S1305, the camera control unit 207 performs a process of moving the position of the focus assist frame in accordance with the operation detected in step S1301. For example, the focus assist frame is moved by a predetermined amount in the direction operated by the cross key, or the focus assist frame is moved to a position designated by a touch operation on the display unit 205. When the process of moving the position of the focus assist frame is performed, this flow ends.

このように、本実施形態では、フォーカスアシスト表示中にカメラ操作部208を介して変更操作が行われた場合、顔情報の取得状態に応じて処理を変更する。具体的には、複数の顔情報が取得されている場合はフォーカスアシスト枠の設定対象となる顔を切り替える処理を行い、顔情報が取得されていない場合は変更操作に応じてフォーカスアシスト枠の位置を移動する処理を行う。これは、ユーザーがフォーカスアシスト枠位置の変更を意図してカメラ操作部208の操作を行う場合も、上述したように、顔情報が取得されている場合は片目の焦点状態を表示することが好ましいためである。   As described above, in the present embodiment, when a change operation is performed via the camera operation unit 208 during the focus assist display, the process is changed according to the acquisition state of the face information. Specifically, when a plurality of pieces of face information are acquired, a process for switching the face to which the focus assist frame is set is performed. When face information is not acquired, the position of the focus assist frame is changed according to the change operation. Process to move. Even when the user operates the camera operation unit 208 to change the focus assist frame position, it is preferable to display the focus state of one eye when face information is acquired as described above. Because.

以上、MFモード中のフォーカスアシスト枠の設定について説明したが、AFモードにおいては、フォーカスアシスト枠は設定せずに、焦点調節を行うための信号を取得するAF枠を設定する。ここで、AFモード中に顔が検出されている場合に片目の領域にAF枠を設定すると、AF枠の大きさが小さくなる。そのため、被写体が動いたときなどにAF枠に対する被写体のかかり方が変わりやすくなり、AFが不安定になってしまう恐れがある。そこで、AFモードにおいては、AF枠を顔領域に対して設定(例えば、顔枠と略同じサイズに設定)することで、安定したAFを実現することができる。また、上記の理由により、カメラ操作部208を介してAF枠のサイズを変更する操作が行われた場合でも、AF枠の最小のサイズはフォーカスアシスト枠よりも大きいサイズに設定される。   The setting of the focus assist frame in the MF mode has been described above. In the AF mode, an AF frame for acquiring a signal for performing focus adjustment is set without setting the focus assist frame. Here, when an AF frame is set in one eye area when a face is detected during the AF mode, the size of the AF frame is reduced. For this reason, when the subject moves, the manner in which the subject is applied to the AF frame is likely to change, and the AF may become unstable. Therefore, in the AF mode, stable AF can be realized by setting the AF frame for the face area (for example, by setting the AF frame to approximately the same size as the face frame). For the above reason, even when an operation for changing the size of the AF frame is performed via the camera operation unit 208, the minimum size of the AF frame is set to be larger than the focus assist frame.

なお、フォーカスアシスト枠のサイズを固定した場合でも、AFモードにおいては、AF枠のサイズを変更可能とする。これは、フォーカスアシスト表示においては手動操作による厳密なピント調整を行うために小さい焦点検出範囲を設定することが好ましいのに対して、AF時には被写体のサイズに応じてAF枠を設定することが好ましいためである。   Even when the size of the focus assist frame is fixed, the AF frame size can be changed in the AF mode. In focus assist display, it is preferable to set a small focus detection range in order to perform strict focus adjustment by manual operation, whereas in AF, it is preferable to set an AF frame according to the size of the subject. Because.

以上説明したように、本実施形態では、被写体情報の取得状態に応じてフォーカスアシスト枠の設定を変更する。例えば、所定の被写体(例えば顔)の情報が取得されている場合には、当該所定の被写体へのMF操作によるピント合わせを行うことを考慮して、所定の被写体の領域内にフォーカスアシスト枠を設定する。特に、複数の特徴部分(例えば目)が存在する被写体(例えば顔)の情報が取得されている場合には、被写体の状況に応じて至近側の特徴部分を判定し、フォーカスアシスト表示を行う。これにより、被写体に対して適切な位置に焦点状態を示す表示(フォーカスアシスト表示)を行うことができるので、ユーザーの利便性を向上させることができる。   As described above, in the present embodiment, the setting of the focus assist frame is changed according to the acquisition state of the subject information. For example, when information on a predetermined subject (for example, a face) has been acquired, a focus assist frame is placed in the region of the predetermined subject in consideration of focusing on the predetermined subject by MF operation. Set. In particular, when information of a subject (for example, a face) in which a plurality of characteristic portions (for example, eyes) exist is acquired, the closest characteristic portion is determined according to the state of the subject, and focus assist display is performed. Thereby, since the display (focus assist display) which shows a focus state in the suitable position with respect to a to-be-photographed object can be performed, a user's convenience can be improved.

また、本実施形態では、ユーザーによりフォーカスアシスト枠を変更する操作が行われた場合に、被写体情報の取得状態に応じた処理を行う。例えば、所定の被写体の情報が複数検出されている場合には、ユーザーの操作に応じて、フォーカスアシスト枠を設定する被写体を切り替える処理を行う。これにより、ユーザーの変更意図を被写体に適した方法で反映させてフォーカスアシスト枠を設定することができる。   In the present embodiment, when the user performs an operation to change the focus assist frame, processing according to the acquisition state of the subject information is performed. For example, when a plurality of pieces of information on a predetermined subject are detected, processing for switching a subject for which a focus assist frame is set is performed according to a user operation. Accordingly, the focus assist frame can be set by reflecting the user's intention to change by a method suitable for the subject.

<第二の実施形態>
次に、第二の実施形態について図11および図12を用いて説明する。本実施形態では、被写界深度に基づいてフォーカスアシスト表示の設定を変更する点が第一の実施形態と異なる。なお、第一の実施形態と同じ項目については同じ番号を付して説明を省略する。
<Second Embodiment>
Next, a second embodiment will be described with reference to FIGS. 11 and 12. This embodiment is different from the first embodiment in that the setting of the focus assist display is changed based on the depth of field. In addition, the same number is attached | subjected about the same item as 1st embodiment, and description is abbreviate | omitted.

図11は、本実施形態におけるフォーカスアシスト表示領域設定処理の流れを示すフローチャートである。本実施形態では、フォーカスアシスト表示領域のサイズを変更可能であるものとする。   FIG. 11 is a flowchart showing the flow of the focus assist display area setting process in the present embodiment. In the present embodiment, it is assumed that the size of the focus assist display area can be changed.

まず、ステップ902において、検出した顔のサイズが閾値TH1より大きい場合に、ステップS1101へ進む。ステップS1101において、カメラ制御部207は、被写界深度が閾値TH2より小さいか否かを判断する。被写界深度が閾値TH2より小さい場合はステップS904に遷移し、以降でステップS901と同様の処理を行う。   First, in step 902, when the detected face size is larger than the threshold value TH1, the process proceeds to step S1101. In step S1101, the camera control unit 207 determines whether or not the depth of field is smaller than the threshold value TH2. When the depth of field is smaller than the threshold value TH2, the process proceeds to step S904, and the same process as step S901 is performed thereafter.

一方、被写界深度が閾値TH2以上である場合はステップS1102に遷移し、顔枠全体に基づいてフォーカスアシスト枠を設定する。例えば、顔枠と略同じ領域や、顔枠内において所定比率以上のサイズの領域にフォーカスアシスト枠を設定する。ステップS1102でフォーカスアシスト枠を設定すると、ステップS914に進み、図9と同様の処理を行う。なお、ステップS902において検出した顔のサイズが閾値TH1以下であると判定された場合に、ステップS1102の処理を行ってもよい。   On the other hand, if the depth of field is greater than or equal to the threshold value TH2, the process proceeds to step S1102, and a focus assist frame is set based on the entire face frame. For example, the focus assist frame is set in a region that is substantially the same as the face frame, or a region that has a size equal to or larger than a predetermined ratio in the face frame. When the focus assist frame is set in step S1102, the process proceeds to step S914, and the same processing as in FIG. 9 is performed. If it is determined in step S902 that the detected face size is equal to or smaller than the threshold value TH1, the process in step S1102 may be performed.

このように、本実施形態では、検出した顔のサイズが閾値TH1より大きい場合でも、被写界深度が閾値以上の場合は、顔枠全体に基づいてフォーカスアシスト表示を行う。ここで、被写界深度に応じてフォーカスアシスト枠の設定を変更する理由について説明する。   As described above, in this embodiment, even when the detected face size is larger than the threshold value TH1, if the depth of field is equal to or larger than the threshold value, focus assist display is performed based on the entire face frame. Here, the reason why the setting of the focus assist frame is changed according to the depth of field will be described.

被写界深度が顔の奥行き(例えば鼻先から後頭部まで)の長さよりも浅い場合は、顔の各パーツの中でのピントの差が判別できる可能性が高くなる。例えば、顔が右向きになっている場合は、カメラに対して左目と右目の距離差が顔の奥行きとなるため、被写界深度が顔の奥行きの長さよりも浅くなると左目と右目のピントの差が視認できるようになるため、右目にフォーカスアシスト枠を設定する。図12(a)では、顔枠1201の中で右目の領域にフォーカスアシスト枠1202を設定した状態を示している。   When the depth of field is shallower than the length of the face (for example, from the tip of the nose to the back of the head), there is a high possibility that the difference in focus among the parts of the face can be determined. For example, if the face is facing right, the distance between the left eye and the right eye with respect to the camera is the depth of the face, so if the depth of field is shallower than the length of the face, the left and right eyes are in focus. Since the difference becomes visible, a focus assist frame is set for the right eye. FIG. 12A shows a state where the focus assist frame 1202 is set in the right eye region in the face frame 1201.

一方、被写界深度が顔の奥行きの長さよりも深い場合は、顔の各パーツの中でのピントの差が判別できなくなる可能性が高くなる。例えば、顔が右を向いて横顔になっている場合は、被写界深度が顔の奥行きの長さよりも深くなると左目と右目のピントの差が視認できなくなる。そこで、より高い精度でデフォーカス量を検出することを優先して、図12(b)に示すように、顔枠1201全体に基づいてフォーカスアシスト枠1203を設定する。   On the other hand, when the depth of field is deeper than the depth of the face, there is a high possibility that the difference in focus among the parts of the face cannot be determined. For example, when the face is turned to the right and is a side profile, the difference in focus between the left eye and the right eye cannot be visually recognized if the depth of field becomes deeper than the depth of the face. Therefore, priority is given to detecting the defocus amount with higher accuracy, and the focus assist frame 1203 is set based on the entire face frame 1201 as shown in FIG.

このように、本実施形態では被写界深度に応じてフォーカスアシスト枠の設定を変更する。具体的には、被写界深度が浅い場合は、厳密なピント調整を可能にするために、より小さい領域で焦点状態を検出して表示する一方で、被写界深度が深い場合は、焦点検出精度を優先して、より大きい領域で焦点状態を検出して表示する。このような処理を行うことによって、より利便性の高いフォーカスアシスト表示を実現することができる。   Thus, in the present embodiment, the setting of the focus assist frame is changed according to the depth of field. Specifically, when the depth of field is shallow, the focus state is detected and displayed in a smaller area to enable precise focus adjustment, while when the depth of field is deep, the focus is Focusing on detection accuracy, the focus state is detected and displayed in a larger area. By performing such processing, more convenient focus assist display can be realized.

(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記憶した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体および制御プログラムは本発明を構成することになる。
(Other embodiments)
The object of the present invention can also be achieved as follows. That is, a storage medium storing a program code of software in which a procedure for realizing the functions of the above-described embodiments is stored is supplied to the system or apparatus. A computer (or CPU, MPU, etc.) of the system or apparatus reads out and executes the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the novel function of the present invention, and the storage medium storing the program code and the control program constitute the present invention.

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。   Examples of the storage medium for supplying the program code include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. Further, a CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD-R, magnetic tape, nonvolatile memory card, ROM, or the like can also be used.

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。   Further, by making the program code read by the computer executable, the functions of the above-described embodiments are realized. Furthermore, when the OS (operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code, the functions of the above-described embodiments are realized by the processing. Is also included.

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。   Furthermore, the following cases are also included. First, the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.

以上、本発明をその好適な実施形態に基づいて詳述したが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。   Although the present invention has been described in detail based on the preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. It is.

20 カメラ本体
103 フォーカスレンズ
105 フォーカスレンズ駆動部
106 レンズ制御部
201 撮像素子
204 焦点検出信号処理部
207 カメラ制御部
208 カメラ操作部
210 被写体検出部
DESCRIPTION OF SYMBOLS 20 Camera main body 103 Focus lens 105 Focus lens drive part 106 Lens control part 201 Image pick-up element 204 Focus detection signal process part 207 Camera control part 208 Camera operation part 210 Subject detection part

Claims (14)

一対の像信号に基づいて焦点状態を検出する焦点検出手段と、
前記焦点検出手段が焦点状態を検出するための第1の領域を設定する領域設定手段と、
前記第1の領域に対応する領域を示す第1の表示とともに、当該第1の領域において前記焦点検出手段により検出された焦点状態に基づく指標を示す第2の表示を、画像に重畳して表示するよう制御する表示制御手段と、
所定の被写体の情報を取得する取得手段と、を有し、
前記領域設定手段は、前記取得手段によって前記所定の被写体の情報が取得されていない場合、予め定められた領域に前記第1の領域を設定し、ユーザの操作があった場合には、前記ユーザの操作に応じて前記第1の領域の位置を変更し、前記取得手段によって前記所定の被写体の情報が取得されている場合、当該所定の被写体の情報に基づいて前記第1の領域を設定し、ユーザの操作があった場合には、前記ユーザの操作に応じて前記第1の領域の位置を変更し、
前記焦点検出手段が検出する焦点状態は、デフォーカス量、および合焦位置までの方向を含み、
前記第2の表示は、デフォーカス量に応じて互いの位置が変化する第1の指標および第2の指標と、合焦位置を示す第3の指標を含むことを特徴とする焦点検出装置。
Focus detection means for detecting a focus state based on a pair of image signals;
An area setting means for setting a first area for the focus detection means to detect a focus state;
A first display showing a region corresponding to the first region and a second display showing an index based on the focus state detected by the focus detection means in the first region are superimposed on the image. Display control means for controlling
Obtaining means for obtaining information on a predetermined subject,
The area setting means sets the first area as a predetermined area when the information on the predetermined subject is not acquired by the acquisition means, and when the user performs an operation, the user sets the first area. The position of the first area is changed according to the operation of the first area, and when the information on the predetermined subject is acquired by the acquisition means, the first area is set based on the information on the predetermined subject. When there is a user operation, the position of the first area is changed according to the user operation,
The focus state detected by the focus detection means includes a defocus amount and a direction to the in-focus position,
The focus detection apparatus, wherein the second display includes a first index and a second index whose positions change according to a defocus amount, and a third index indicating a focus position.
前記所定の被写体は複数の特徴領域を有する被写体であることを特徴とする請求項1に記載の焦点検出装置。   The focus detection apparatus according to claim 1, wherein the predetermined subject is a subject having a plurality of characteristic regions. 前記領域設定手段は、前記所定の被写体のサイズが第1の閾値より大きい場合、いずれか1つの前記特徴領域の位置に基づいて前記第1の領域の位置を設定することを特徴とする請求項2に記載の焦点検出装置。   The region setting means sets the position of the first region based on the position of any one of the feature regions when the size of the predetermined subject is larger than a first threshold. The focus detection apparatus according to 2. 前記領域設定手段は、前記複数の特徴領域のうち、前記画像の中心から遠い位置にある特徴領域の位置に基づいて前記第1の領域の位置を設定することを特徴とする請求項2に記載の焦点検出装置。   3. The position setting unit sets the position of the first area based on the position of a feature area far from the center of the image among the plurality of feature areas. Focus detection device. 前記領域設定手段は、前記複数の特徴領域のうち最も至近側にある前記特徴領域の位置に基づいて前記第1の領域の位置を設定することを特徴とする請求項2に記載の焦点検出装置。   The focus detection apparatus according to claim 2, wherein the region setting unit sets the position of the first region based on the position of the feature region that is closest to the plurality of feature regions. . 前記領域設定手段は、前記所定の被写体の向きに基づいて、前記複数の特徴領域のうち最も至近側にある前記特徴領域を判定することを特徴とする請求項5に記載の焦点検出装置。   The focus detection apparatus according to claim 5, wherein the area setting unit determines the feature area closest to the plurality of feature areas based on an orientation of the predetermined subject. 前記領域設定手段は、前記取得手段によって複数の前記所定の被写体の情報が取得された場合、いずれか1つの前記所定の被写体の情報に基づいて前記第1の領域を設定し、ユーザの操作があった場合には、前記複数の所定の被写体の情報と前記ユーザの操作とに応じて前記第1の領域を設定する前記所定の被写体を変更することを特徴とする請求項1に記載の焦点検出装置。   The area setting means sets the first area based on the information on any one of the predetermined subjects when the acquisition means acquires information on a plurality of the predetermined subjects, and the user's operation 2. The focus according to claim 1, wherein if there is, the predetermined subject that sets the first area is changed according to information on the plurality of predetermined subjects and an operation of the user. Detection device. 前記ユーザの操作は方向を指定する操作であり、
前記領域設定手段は、前記取得手段によって前記所定の被写体の情報が取得されていない状態でユーザの操作があった場合には、前記ユーザの操作方向へ前記第1の領域の位置を所定量ずつ移動することを特徴とする請求項1に記載の焦点検出装置。
The user operation is an operation for specifying a direction,
The area setting means sets the position of the first area by a predetermined amount in the operation direction of the user when a user operation is performed in a state where the information on the predetermined subject is not acquired by the acquisition means. The focus detection apparatus according to claim 1, wherein the focus detection apparatus moves.
前記ユーザの操作は位置を指定する操作であり、
前記領域設定手段は、前記取得手段によって前記所定の被写体の情報が取得されていない状態でユーザの操作があった場合には、前記ユーザの操作位置へ前記第1の領域の位置を変更することを特徴とする請求項1に記載の焦点検出装置。
The user operation is an operation for specifying a position,
The area setting means changes the position of the first area to the operation position of the user when a user operation is performed in a state where the information of the predetermined subject is not acquired by the acquisition means. The focus detection apparatus according to claim 1.
ユーザによる操作に応じて焦点状態を変更する第1のモードにおいて、前記表示制御手段は前記第1の表示および第2の表示を行うように制御することを特徴とする請求項1乃至9のいずれか1項に記載の焦点検出装置。   10. The first mode in which the focus control is changed in response to an operation by a user, the display control unit controls to perform the first display and the second display. The focus detection apparatus according to claim 1. 前記焦点検出手段により検出される焦点状態に基づいて焦点状態を自動で調節する第2のモードにおいて、前記表示制御手段は前記第2の表示を行わないように制御することを特徴とする請求項10に記載の焦点検出装置。   The display control means controls so as not to perform the second display in a second mode in which the focus state is automatically adjusted based on the focus state detected by the focus detection means. The focus detection apparatus according to 10. 前記所定の被写体は顔であって、前記特徴領域は目の領域であることを特徴とする請求項2に記載の焦点検出装置。   The focus detection apparatus according to claim 2, wherein the predetermined subject is a face, and the feature region is an eye region. 前記所定の被写体についての情報に基づいて前記特徴領域の位置を推定する推定手段、または前記所定の被写体の画像領域から前記特徴領域を検出する特徴領域検出手段の少なくともいずれかを更に有することを特徴とする請求項2に記載の焦点検出装置。   It further comprises at least one of an estimation unit that estimates the position of the feature region based on information about the predetermined subject, and a feature region detection unit that detects the feature region from the image region of the predetermined subject. The focus detection apparatus according to claim 2. 一対の像信号に基づいて焦点状態を検出する焦点検出工程と、
前記焦点検出工程において焦点状態を検出するための第1の領域を設定する領域設定工程と、
前記第1の領域に対応する領域を示す第1の表示とともに、当該第1の表示において前記焦点検出工程により検出された焦点状態に基づく指標を示す第2の表示を、画像に重畳して表示するよう制御する表示制御工程と、
所定の被写体の情報を取得する取得工程と、を有し、
前記領域設定工程では、前記取得工程によって前記所定の被写体の情報が取得されていない場合、予め定められた領域に前記第1の領域を設定し、ユーザの操作があった場合には、前記ユーザの操作に応じて前記第1の領域の位置を変更し、
前記取得工程によって前記所定の被写体の情報が取得されている場合、当該所定の被写体の情報に基づいて前記第1の領域を設定し、ユーザの操作があった場合には、前記ユーザの操作に応じて前記第1の領域の位置を変更し、
前記焦点検出工程にて検出される焦点状態は、デフォーカス量、および合焦位置までの方向を含み、
前記第2の表示は、デフォーカス量に応じて互いの位置が変化する第1の指標および第2の指標と、合焦位置を示す第3の指標を含むことを特徴とする焦点検出装置の制御方法。
A focus detection step of detecting a focus state based on a pair of image signals;
A region setting step of setting a first region for detecting a focus state in the focus detection step;
A first display indicating a region corresponding to the first region and a second display indicating an index based on the focus state detected by the focus detection step in the first display are superimposed on the image. A display control process for controlling
An acquisition step of acquiring information on a predetermined subject,
In the region setting step, when the information of the predetermined subject is not acquired by the acquisition step, the first region is set to a predetermined region, and when there is a user operation, the user The position of the first area is changed according to the operation of
When the information on the predetermined subject has been acquired by the acquisition step, the first area is set based on the information on the predetermined subject. In response, the position of the first region is changed,
The focus state detected in the focus detection step includes a defocus amount and a direction to the in-focus position,
The second display includes a first index and a second index whose positions change according to a defocus amount, and a third index indicating a focus position. Control method.
JP2019118806A 2019-06-26 2019-06-26 Focus detector and its control method Active JP6818814B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019118806A JP6818814B2 (en) 2019-06-26 2019-06-26 Focus detector and its control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019118806A JP6818814B2 (en) 2019-06-26 2019-06-26 Focus detector and its control method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015077205A Division JP6548436B2 (en) 2015-04-03 2015-04-03 Focus detection apparatus and control method thereof

Publications (2)

Publication Number Publication Date
JP2019168723A true JP2019168723A (en) 2019-10-03
JP6818814B2 JP6818814B2 (en) 2021-01-20

Family

ID=68107451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019118806A Active JP6818814B2 (en) 2019-06-26 2019-06-26 Focus detector and its control method

Country Status (1)

Country Link
JP (1) JP6818814B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009118083A (en) * 2007-11-05 2009-05-28 Olympus Imaging Corp Digital camera
JP2010054587A (en) * 2008-08-26 2010-03-11 Nikon Corp Focal point detector and camera
JP2012123301A (en) * 2010-12-10 2012-06-28 Olympus Imaging Corp Imaging apparatus
WO2014106916A1 (en) * 2013-01-04 2014-07-10 富士フイルム株式会社 Image processing device, imaging device, program, and image processing method
JP2014178643A (en) * 2013-03-15 2014-09-25 Olympus Imaging Corp Display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009118083A (en) * 2007-11-05 2009-05-28 Olympus Imaging Corp Digital camera
JP2010054587A (en) * 2008-08-26 2010-03-11 Nikon Corp Focal point detector and camera
JP2012123301A (en) * 2010-12-10 2012-06-28 Olympus Imaging Corp Imaging apparatus
WO2014106916A1 (en) * 2013-01-04 2014-07-10 富士フイルム株式会社 Image processing device, imaging device, program, and image processing method
JP2014178643A (en) * 2013-03-15 2014-09-25 Olympus Imaging Corp Display device

Also Published As

Publication number Publication date
JP6818814B2 (en) 2021-01-20

Similar Documents

Publication Publication Date Title
US10516821B2 (en) Focus detection apparatus and control method therefor
JP6512810B2 (en) Image pickup apparatus, control method and program
JP6548436B2 (en) Focus detection apparatus and control method thereof
JP6548435B2 (en) Display control apparatus, control method therefor, and imaging apparatus
JP6366395B2 (en) Zoom control device, imaging device, control method for zoom control device, control program for subject detection device, and storage medium
JP6370140B2 (en) Zoom control device, imaging device, control method for zoom control device, control program for zoom control device, and storage medium
CN104052925A (en) Display Apparatus And Control Method Thereof
JP2010015024A (en) Image pickup apparatus, control method thereof, program and storage medium
JP2009147572A (en) Imaging apparatus
CN102262334A (en) Imaging apparatus, imaging system, and imaging apparatus control method and program
JP6808333B2 (en) Display control device and method, and imaging device
JP5709816B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND RECORDING MEDIUM
US20110228100A1 (en) Object tracking device and method of controlling operation of the same
JP2017191996A (en) Imaging apparatus, imaging method and program
JP6525809B2 (en) Focus detection apparatus and control method thereof
JP6139960B2 (en) Imaging apparatus and control method thereof
JP5409483B2 (en) Imaging device
JP6220144B2 (en) Focus adjustment apparatus and control method thereof
JP2020181147A (en) Focusing apparatus, image pickup apparatus, focusing method, and program
JP6818814B2 (en) Focus detector and its control method
JP2012083584A (en) Imaging device
JPWO2019181024A1 (en) Imaging device, imaging method, and program
JP2016156950A (en) Automatic focus adjustment device and control method of the same
JP2013242408A (en) Imaging device and control method of the same
JP5420034B2 (en) Imaging apparatus, control method therefor, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201228

R151 Written notification of patent or utility model registration

Ref document number: 6818814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151