JP2015064520A - Focus detection device and imaging apparatus - Google Patents
Focus detection device and imaging apparatus Download PDFInfo
- Publication number
- JP2015064520A JP2015064520A JP2013199249A JP2013199249A JP2015064520A JP 2015064520 A JP2015064520 A JP 2015064520A JP 2013199249 A JP2013199249 A JP 2013199249A JP 2013199249 A JP2013199249 A JP 2013199249A JP 2015064520 A JP2015064520 A JP 2015064520A
- Authority
- JP
- Japan
- Prior art keywords
- focus
- image
- detection
- maximum value
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 182
- 238000003384 imaging method Methods 0.000 title claims description 61
- 230000003287 optical effect Effects 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000005286 illumination Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 description 83
- 229920006395 saturated elastomer Polymers 0.000 description 47
- 230000010354 integration Effects 0.000 description 23
- 238000000034 method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 239000011521 glass Substances 0.000 description 9
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 206010047513 Vision blurred Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、焦点検出装置および撮像装置に関する。 The present invention relates to a focus detection apparatus and an imaging apparatus.
従来より、夜間に、外灯などの点光源を含む被写体を撮影する際に、点光源に対応する画素の画像信号が飽和してしまい、画像信号に基づいて、光学系の焦点状態を検出できない場合があった。一方、点光源が存在する場合には、点光源にピントが合うほど、点光源の像は小さくなり、その分、点光源に対応する画素の数も少なくなるため、点光源を含む所定の画像領域内における画像信号の積算値は小さくなる。そのため、点光源により画像信号が飽和している場合に、点光源を含む所定の画像領域内の画像信号を積算し、画像信号の積算値が最小となるレンズ位置を合焦位置として検出する技術が知られている（たとえば、特許文献１参照）。 Conventionally, when photographing a subject including a point light source such as an outdoor light at night, the image signal of the pixel corresponding to the point light source is saturated, and the focus state of the optical system cannot be detected based on the image signal. was there. On the other hand, when a point light source is present, the more focused the point light source is, the smaller the image of the point light source, and the corresponding number of pixels corresponding to the point light source is reduced. The integrated value of the image signal in the area becomes small. Therefore, when the image signal is saturated by the point light source, the image signal within the predetermined image area including the point light source is integrated, and the lens position where the integrated value of the image signal is minimum is detected as the in-focus position. Is known (see, for example, Patent Document 1).
しかしながら、従来技術は、点光源にピントが合う焦点調節レンズのレンズ位置を合焦位置として検出するものであり、たとえば、夜間に、眼鏡をかけた人の顔を撮影する場合において、外灯の光や照明光が眼鏡で反射している場合には、外灯や照明などの点光源にピントが合ってしまい、人の顔にピントの合った画像を撮影することができない場合があった。 However, the conventional technique detects a lens position of a focusing lens that is focused on a point light source as a focus position. For example, when photographing a face of a person wearing glasses at night, When the illumination light is reflected by the spectacles, the point light source such as an external light or illumination is in focus, and it may not be possible to take an image in focus on the human face.
本発明は、以下の解決手段によって上記課題を解決する。 The present invention solves the above problems by the following means.
[１]本発明の第１の観点に係る焦点検出装置は、焦点調節レンズを含む光学系による像に対応する画像信号を取得する取得部と、前記画像信号に基づいて、対象とする像に相当する画像を、特定被写体として特定する特定部と、前記光学系による像面に設定された複数の焦点検出領域のうち前記特定被写体に対応する前記焦点検出領域を検出対象領域として設定する設定部と、所定値以上の輝度の被写体を高輝度被写体として検出する検出部と、前記画像信号から特定の周波数成分に対応する周波数信号を抽出する抽出部と、前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号を積算することで、前記検出対象領域における前記周波数信号の積算値を算出する積算値算出部と、前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号のうち最大の値を、前記検出対象領域における前記周波数信号の最大値として算出する最大値算出部と、前記検出対象領域における前記高輝度被写体の検出結果に基づいて、前記周波数信号の最大値および前記周波数信号の積算値を用いて、前記光学系の焦点状態を検出する焦点検出部と、を備えることを特徴とする。 [1] A focus detection apparatus according to a first aspect of the present invention includes an acquisition unit that acquires an image signal corresponding to an image by an optical system including a focus adjustment lens, and a target image based on the image signal. A specifying unit that specifies a corresponding image as a specific subject, and a setting unit that sets, as a detection target region, the focus detection region corresponding to the specific subject among a plurality of focus detection regions set on the image plane by the optical system. A detection unit that detects a subject having a luminance of a predetermined value or higher as a high-brightness subject, an extraction unit that extracts a frequency signal corresponding to a specific frequency component from the image signal, and a plurality of image regions in the detection target region An integrated value calculation unit for calculating an integrated value of the frequency signal in the detection target region by integrating the plurality of frequency signals extracted in step; and a plurality of image regions in the detection target region. A maximum value calculation unit that calculates a maximum value among the plurality of frequency signals extracted in step S3 as a maximum value of the frequency signal in the detection target region, and a detection result of the high-luminance subject in the detection target region. And a focus detection unit that detects a focus state of the optical system using a maximum value of the frequency signal and an integrated value of the frequency signal.
[２]上記焦点検出装置に係る発明において、前記積算値算出部は、前記焦点調節レンズの所定のレンズ位置ごとに、前記周波数信号の積算値を算出し、前記最大値算出部は、前記焦点調節レンズの所定のレンズ位置ごとに、前記周波数信号の最大値を算出し、前記焦点検出部は、前記検出対象領域において前記高輝度被写体が検出されている場合には、前記周波数信号の最大値が最も大きいレンズ位置を合焦位置として検出し、前記検出対象領域において前記高輝度被写体が検出されていない場合には、前記周波数信号の積算値が最も大きいレンズ位置を合焦位置として検出するように構成することができる。 [2] In the invention relating to the focus detection device, the integrated value calculation unit calculates an integrated value of the frequency signal for each predetermined lens position of the focus adjustment lens, and the maximum value calculation unit calculates the focus value. The maximum value of the frequency signal is calculated for each predetermined lens position of the adjusting lens, and the focus detection unit detects the maximum value of the frequency signal when the high-luminance subject is detected in the detection target region. Is detected as the in-focus position, and when the high-luminance subject is not detected in the detection target area, the lens position with the largest integrated value of the frequency signal is detected as the in-focus position. Can be configured.
[３]上記焦点検出装置に係る発明において、前記焦点検出部は、前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号のうち、値が大きい方から所定の数の周波数信号の平均値を算出し、前記検出対象領域において前記高輝度被写体が検出されている場合には、前記周波数信号の最大値に代えて、前記周波数信号の平均値に基づいて、前記光学系の焦点状態を検出するように構成することができる。 [3] In the invention according to the focus detection device, the focus detection unit may select a predetermined number of frequencies from a larger value among the plurality of frequency signals extracted in the plurality of image regions in the detection target region. An average value of the signal is calculated, and when the high-luminance subject is detected in the detection target region, instead of the maximum value of the frequency signal, based on the average value of the frequency signal, It can be configured to detect a focus state.
[４] 本発明の第２の観点に係る焦点検出装置は、焦点調節レンズを含む光学系による像に対応する画像信号を取得する取得部と、前記画像信号に基づいて、対象とする像に相当する画像を、特定被写体として特定する特定部と、前記光学系による像面に設定された複数の焦点検出領域のうち前記特定被写体に対応する前記焦点検出領域を検出対象領域として設定する設定部と、所定値以上の輝度の被写体を高輝度被写体として検出する検出部と、被写体を照明するための照明光を発光しているか否かを判断する判断部と、前記画像信号から特定の周波数成分に対応する周波数信号を抽出する抽出部と、前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号を積算することで、前記検出対象領域における前記周波数信号の積算値を算出する積算値算出部と、前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号のうち最大の値を、前記検出対象領域における前記周波数信号の最大値として算出する最大値算出部と、前記照明光が発光している場合には、前記検出対象領域における前記高輝度被写体の検出結果に基づいて、前記周波数信号の最大値および前記周波数信号の積算値を用いて、前記光学系の焦点状態を検出する焦点検出部と、を備えることを特徴とする。 [4] A focus detection apparatus according to a second aspect of the present invention includes an acquisition unit that acquires an image signal corresponding to an image by an optical system including a focus adjustment lens, and a target image based on the image signal. A specifying unit that specifies a corresponding image as a specific subject, and a setting unit that sets, as a detection target region, the focus detection region corresponding to the specific subject among a plurality of focus detection regions set on the image plane by the optical system. A detection unit that detects a subject having a luminance of a predetermined value or higher as a high-brightness subject, a determination unit that determines whether or not illumination light for illuminating the subject is emitted, and a specific frequency component from the image signal The frequency signal in the detection target region is integrated by an extraction unit that extracts a frequency signal corresponding to each of the plurality of frequency signals extracted in a plurality of image regions in the detection target region. An integrated value calculation unit for calculating the integrated value of the frequency, and a maximum value among the plurality of frequency signals extracted in the plurality of image regions in the detection target region as the maximum value of the frequency signal in the detection target region When the illumination light is emitted, and a maximum value calculation unit to be calculated, the maximum value of the frequency signal and the integrated value of the frequency signal are calculated based on the detection result of the high-luminance subject in the detection target region. And a focus detection unit that detects a focus state of the optical system.
[５]本発明の第３の観点に係る焦点検出装置は、焦点調節レンズを含む光学系による像に対応する画像信号を取得する取得部と、前記光学系による像面に設定された複数の焦点検出領域のうちいずれかの焦点検出領域を検出対象領域としてユーザが選択可能な選択部と、所定値以上の輝度の被写体を高輝度被写体として検出する検出部と、前記画像信号から特定の周波数成分に対応する周波数信号を抽出する抽出部と、前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号を積算することで、前記検出対象領域における前記周波数信号の積算値を算出する積算値算出部と、前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号のうち最大の値を、前記検出対象領域における前記周波数信号の最大値として算出する最大値算出部と、前記検出対象領域が選択されている場合には、前記検出対象領域における前記高輝度被写体の検出結果に基づいて、前記周波数信号の最大値および前記周波数信号の積算値を用いて、前記光学系の焦点状態を検出する焦点検出部と、を備えることを特徴とする。 [5] A focus detection apparatus according to a third aspect of the present invention includes an acquisition unit that acquires an image signal corresponding to an image by an optical system including a focus adjustment lens, and a plurality of images set on an image plane by the optical system. A selection unit that can be selected by the user using any one of the focus detection regions as a detection target region, a detection unit that detects a subject having a luminance of a predetermined value or higher as a high-luminance subject, and a specific frequency from the image signal An integration unit that extracts a frequency signal corresponding to a component, and a plurality of the frequency signals extracted in a plurality of image regions in the detection target region are integrated to obtain an integrated value of the frequency signal in the detection target region. An integrated value calculation unit for calculating, and a maximum value among a plurality of the frequency signals extracted in a plurality of image regions in the detection target region, and the frequency signal in the detection target region When the detection target area is selected as a maximum value calculation unit that calculates the maximum value, the maximum value of the frequency signal and the frequency signal based on the detection result of the high-luminance subject in the detection target area And a focus detection unit that detects a focus state of the optical system using the integrated value.
[６]本発明に係る撮像装置は、上記焦点検出装置を備えることを特徴とする。 [6] An imaging apparatus according to the present invention includes the focus detection apparatus.
本発明によれば、光学系の焦点状態を適切に検出することができる。 According to the present invention, it is possible to appropriately detect the focus state of the optical system.
以下、本発明の実施形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
《第１実施形態》
図１は、本発明の第１実施形態に係るデジタルカメラ１を示す構成図である。第１実施形態のデジタルカメラ１（以下、単にカメラ１という。）は、カメラ本体２とレンズ鏡筒３から構成され、これらカメラ本体２とレンズ鏡筒３はマウント部４により着脱可能に結合されている。
<< First Embodiment >>
FIG. 1 is a block diagram showing a
レンズ鏡筒３は、カメラ本体２に着脱可能な交換レンズである。図１に示すように、レンズ鏡筒３には、レンズ３１，３２，３３、および絞り３４を含む光学系が内蔵されている。
The lens barrel 3 is an interchangeable lens that can be attached to and detached from the camera body 2. As shown in FIG. 1, the lens barrel 3 contains an optical
レンズ３２は、フォーカスレンズであり、光軸Ｌ１方向に移動することで、光学系の焦点距離を調節可能となっている。フォーカスレンズ３２は、レンズ鏡筒３の光軸Ｌ１に沿って移動可能に設けられ、エンコーダ３５によってその位置が検出されつつフォーカスレンズ駆動モータ３６によってその位置が調節される。
The
エンコーダ３５で検出されたフォーカスレンズ３２の現在位置情報は、レンズ制御部３７を介して後述するカメラ制御部２１へ送出され、フォーカスレンズ駆動モータ３６は、この情報に基づいて演算されたフォーカスレンズ３２の駆動目標位置が、カメラ制御部２１からレンズ制御部３７を介して送出されることにより駆動する。
Information on the current position of the
絞り３４は、光学系を通過して撮像素子２２に至る光束の光量を制限するとともにボケ量を調整するために、光軸Ｌ１を中心にした開口径が調節可能に構成されている。絞り３４による開口径の調節は、たとえば自動露出モードにおいて演算された適切な開口径が、カメラ制御部２１からレンズ制御部３７を介して送出されることにより行われる。また、カメラ本体２に設けられた操作部２８によるマニュアル操作により、設定された開口径がカメラ制御部２１からレンズ制御部３７に入力される。絞り３４の開口径は図示しない絞り開口センサにより検出され、レンズ制御部３７で現在の開口径が認識される。
The
一方、カメラ本体２には、光学系からの光束Ｌ１を受光する撮像素子２２が、光学系の予定焦点面に設けられ、その前面にシャッター２３が設けられている。撮像素子２２はＣＣＤやＣＭＯＳなどのデバイスから構成され、受光した光信号を電気信号に変換してカメラ制御部２１に送出する。カメラ制御部２１に送出された画像情報は、逐次、液晶駆動回路２５に送出されて観察光学系の電子ビューファインダ（ＥＶＦ）２６に表示されるとともに、操作部２８に備えられたレリーズボタン（不図示）が全押しされた場合には、その画像情報が、記録媒体であるカメラメモリ２４に記録される。なお、カメラメモリ２４は着脱可能なカード型メモリや内蔵型メモリの何れをも用いることができる。
On the other hand, the camera body 2 is provided with an
カメラ本体２には、撮像素子２２で撮像される像を観察するための観察光学系が設けられている。本実施形態の観察光学系は、液晶表示素子からなる電子ビューファインダ（ＥＶＦ）２６と、これを駆動する液晶駆動回路２５と、接眼レンズ２７とを備えている。液晶駆動回路２５は、撮像素子２２で撮像され、カメラ制御部２１へ送出された撮影画像情報を読み込み、これに基づいて電子ビューファインダ２６を駆動する。これにより、ユーザは、接眼レンズ２７を通して現在の撮影画像を観察することができる。なお、光軸Ｌ２による上記観察光学系に代えて、または、これに加えて、液晶ディスプレイをカメラ本体２の背面等に設け、この液晶ディスプレイに撮影画像を表示させることもできる。
The camera body 2 is provided with an observation optical system for observing an image picked up by the
カメラ本体２にはカメラ制御部２１が設けられている。カメラ制御部２１は、マウント部４に設けられた電気信号接点部４１によりレンズ制御部３７と電気的に接続され、このレンズ制御部３７からレンズ情報を受信するとともに、レンズ制御部３７へデフォーカス量や絞り開口径などの情報を送信する。また、カメラ制御部２１は、上述したように撮像素子２２から画素出力を読み出すとともに、読み出した画素出力について、必要に応じて所定の情報処理を施すことにより画像情報を生成し、生成した画像情報を、電子ビューファインダ２６の液晶駆動回路２５やメモリ２４に出力する。また、カメラ制御部２１は、撮像素子２２からの画像情報の補正やレンズ鏡筒３の絞り調節状態などを検出するなど、カメラ１全体の制御を司る。
A
さらに、カメラ制御部２１は、上記に加えて、光学系の焦点状態の検出も行う。ここで、図２は、カメラ制御部２１の構成を示すブロック図であり、カメラ制御部２１の構成のうち、特に、光学系の焦点状態の検出に関する構成を例示している。光学系の焦点状態を検出するために、カメラ制御部２１は、図２に示すように、ハイパスフィルター（ＨＰＦ）２１１と、第１積算回路２１２と、第１最大値回路２１３と、第２積算回路２１４と、第２最大値回路２１５と、焦点検出部２１６と、を備えている。
Furthermore, in addition to the above, the
本実施形態において、撮像素子２２は、図２に示すように、光束Ｌ１を受光する受光面に、二次元状に配列された複数の撮像画素２２１を有しており、フォーカスレンズ３２を含む撮影光学系を通過した光束Ｌ１を撮像画素２２１で受光する。そして、各撮像画素２２１は、受光した光の強さに応じた画像信号をカメラ制御部２１にそれぞれ出力する。複数の撮像画素２２１から出力された複数の画像信号は、図２に示すように、ハイパスフィルター２１１、第２積算回路２１４、および第２最大値回路２１５に入力される。
In the present embodiment, as shown in FIG. 2, the
ハイパスフィルター２１１は、ＦＩＲデジタルフィルターなどの検波フィルターである。ハイパスフィルター２１１は、各撮像画素２２１から出力された画像信号から高周波成分に対応する高周波信号を抽出することで、複数の撮像画素２２１から複数の高周波信号を取得する。
The
たとえば、ハイパスフィルター２１１は、撮像素子２２上に撮像画素２２１Ａ〜２２１Ｅが連続して配置されている場合において、これら連続する５つの撮像画素２２１Ａ〜２２１Ｅのうち中央の撮像画素２２１Ｃの画像信号の高周波成分を高周波信号として抽出する場合には、連続する５つの撮像画素２２１Ａ〜２２１Ｅの画像信号のそれぞれに対して所定のフィルター処理を施すことで、撮像画素２２１Ｃの画像信号の高周波成分を高周波信号として抽出することができる。そして、ハイパスフィルター２１１により抽出された複数の高周波信号は、第１積算回路２１２および第１最大値回路２１３に送出される。
For example, when the imaging pixels 221A to 221E are continuously arranged on the
第１積算回路２１２は、ハイパスフィルター２１１により抽出された複数の高周波信号を取得し、取得した複数の高周波信号の積算値を、焦点評価値として算出する。また、本実施形態では、撮影光学系の撮影画面内に複数の焦点検出エリアＡＦＰが設定されており、第１積算回路２１２は、撮影画面内に設定された焦点検出エリアＡＦＰごとに、焦点評価値を算出する。すなわち、第１積算回路２１２は、複数の撮像画素２２１の高周波信号を焦点検出エリアＡＦＰごとに積算することで、焦点検出エリアＡＦＰごとの高周波信号の積算値を焦点評価値として算出する。そして、第１積算回路２１２により算出された焦点評価値は、焦点検出部２１６に送出される。
The
なお、焦点検出エリアＡＦＰに対応する撮像画素２２１の数は、特に限定されず、たとえば、焦点検出エリアＡＦＰを、１００×１００の１万画素分の撮像画素２２１に対応する領域として設定することができる。この場合、焦点評価値は、１万画素分の撮像画素２２１の高周波信号の積算値として算出されることとなる。
Note that the number of the
第１最大値回路２１３は、ハイパスフィルター２１１により抽出された複数の高周波信号を取得し、取得した複数の高周波信号のうち最大の値を、高周波最大値として算出する。また、本実施形態において、第１最大値回路２１３は、高周波最大値を、焦点検出エリアＡＦＰごとに算出する。すなわち、第１最大値回路２１３は、焦点検出エリアＡＦＰに対応する複数の撮像画素２２１の高周波信号のうち最大の値を、高周波最大値として算出することで、焦点検出エリアＡＦＰごとの高周波信号の最大値を、高周波最大値として算出する。たとえば、焦点検出エリアＡＦＰに対応する撮像画素２２１の数が１万画素である場合、第１最大値回路２１３は、１万個の撮像画素２２１から出力された高周波信号の中から、値が最も大きい１つの撮像画素２２１の高周波信号の値を、高周波最大値として算出することとなる。そして、第１最大値回路２１３により算出された高周波最大値は、焦点検出部２１６に送出される。
The first
第２積算回路２１４は、複数の撮像画素２２１から出力された複数の画像信号を取得し、取得した複数の画像信号の積算値を、点光源を評価するための点光源評価値として算出する。このように、第２積算回路２１４では、撮像画素２２１により出力された画像信号を、ハイパスフィルター２１１を介さずにそのまま積算することで、点光源評価値を算出する。また、本実施形態において、第２積算回路２１４は、点光源評価値を、焦点検出エリアＡＦＰごとに算出する。すなわち、第２積算回路２１４は、複数の撮像画素２２１の画像信号を焦点検出エリアＡＦＰごとに積算することで、焦点検出エリアＡＦＰごとの画像信号の積算値を点光源評価値として算出する。そして、第２積算回路２１４により算出された点光源評価値は、焦点検出部２１６に送出される。
The
第２最大値回路２１５は、複数の撮像画素２２１から出力された複数の画像信号を取得し、取得した複数の画像信号のうち最大の値を、画像信号最大値として算出する。また、第２最大値回路２１５では、第２積算回路２１４と同様に、撮像画素２２１により出力された画像信号を、ハイパスフィルター２１１を介さずにそのまま用いることで、画像信号最大値を算出する。さらに、本実施形態において、第２最大値回路２１５は、画像信号最大値を、焦点検出エリアＡＦＰごとに算出する。すなわち、第２最大値回路２１５は、焦点検出エリアＡＦＰに対応する複数の撮像画素２２１の画像信号のうち最大の値を、画像信号最大値として算出することで、焦点検出エリアＡＦＰごとの画像信号の最大値を、画像信号最大値として算出する。そして、第２最大値回路２１５により算出された画像信号最大値は、焦点検出部２１６に送出される。
The second
焦点検出部２１６は、第１積算回路２１２から送信された焦点評価値と、第１最大値回路２１３から送信された高周波最大値と、第２積算回路２１４から送信された点光源評価値と、第２最大値回路２１５から送信された画像信号最大値とに基づいて、光学系の焦点状態を検出する。なお、焦点検出部２１６による焦点検出方法については、後述する。
The
図１に戻り、操作部２８は、シャッターレリーズボタンなどの撮影者がカメラ１の各種動作モードを設定するための入力スイッチであり、オートフォーカスモード／マニュアルフォーカスモードの切換が行えるようになっている。この操作部２８により設定された各種モードはカメラ制御部２１へ送出され、当該カメラ制御部２１によりカメラ１全体の動作が制御される。また、シャッターレリーズボタンは、ボタンの半押しでＯＮとなる第１スイッチＳＷ１と、ボタンの全押しでＯＮとなる第２スイッチＳＷ２とを含む。
Returning to FIG. 1, the
次いで、第１実施形態に係るカメラ１の動作例を説明する。図３は、第１実施形態に係るカメラ１の動作を示すフローチャートである。
Next, an operation example of the
まず、ステップＳ１０１では、カメラ制御部２１により、焦点評価値、高周波最大値、点光源評価値、および画像信号最大値の算出が開始される。具体的には、カメラ制御部２１は、まず、レンズ制御部３７にフォーカスレンズ３２の駆動開始指令を送出し、レンズ制御部３７を介して、フォーカスレンズ駆動モータ３６に、フォーカスレンズ３２を光軸Ｌ１に沿って駆動させる。なお、フォーカスレンズ３２の駆動は、無限遠端から至近端に向かって行なってもよいし、あるいは、至近端から無限遠端に向かって行なってもよい。
First, in step S101, the
そして、カメラ制御部２１は、フォーカスレンズ３２を駆動させながら、所定間隔で、複数の撮像画素２２１から複数の画像信号を読み出し、読み出した複数の画像信号を、図２に示すように、ハイパスフィルター２１１、第２積算回路２１４、および第２最大値回路２１５に送出する。
Then, the
ハイパスフィルター２１１は、複数の撮像画素２２１の画像信号から複数の高周波信号を抽出し、抽出した複数の高周波信号を、第１積算回路２１２および第１最大値回路２１３に送出する。これにより、第１積算回路２１２では、複数の高周波信号の積算値が、焦点評価値として、フォーカスレンズ位置ごとに算出され、第１最大値回路２１３では、複数の高周波信号のうち最大の値が、高周波最大値として、フォーカスレンズ位置ごとに算出される。
The
また、第２積算回路２１４では、ハイパスフィルター２１１を介さずに、複数の撮像画素２２１から複数の画像信号が取得され、取得された複数の画像信号の積算値が、点光源評価値として、フォーカスレンズ位置ごとに算出される。さらに、第２最大値回路２１５では、ハイパスフィルター２１１を介さずに、複数の撮像画素２２１から複数の画像信号が取得され、取得された複数の画像信号のうち最大の値が、画像信号最大値として、フォーカスレンズ位置ごとに算出される。
The
さらに、本実施形態においては、撮影画面内に複数の焦点検出エリアＡＦＰが設定されており、カメラ制御部２１は、焦点検出エリアＡＦＰごとに、焦点評価値、高周波最大値、点光源評価値、および画像信号最大値を算出する。すなわち、本実施形態において、第１積算回路２１２は、複数の撮像画素２２１の高周波信号を焦点検出エリアＡＦＰごとに積算することで、焦点評価値を焦点検出エリアＡＦＰごとに算出し、また、第１最大値回路２１３は、焦点検出エリアＡＦＰに対応する複数の撮像画素２２１の高周波信号のうち最大の値を焦点検出エリアＡＦＰごとに算出することで、高周波最大値を焦点検出エリアＡＦＰごとに算出する。同様に、第２積算回路２１４は、複数の撮像画素２２１の画像信号を焦点検出エリアＡＦＰごとに積算することで、点光源評価値を焦点検出エリアＡＦＰごとに算出し、第２最大値回路２１５は、焦点検出エリアＡＦＰに対応する複数の撮像画素２２１の画像信号のうち最大の値を焦点検出エリアＡＦＰごとに算出することで、画像信号最大値を、焦点検出エリアＡＦＰごとに算出する。
Further, in the present embodiment, a plurality of focus detection areas AFP are set in the shooting screen, and the
このように、カメラ制御部２１は、焦点評価値、高周波最大値、点光源評価値、および画像信号最大値を、焦点検出エリアＡＦＰごと、フォーカスレンズ位置ごとに算出する。なお、カメラ制御部２１は、ステップＳ１０１以降においても、フォーカスレンズ３２を駆動させながら、焦点評価値、高周波最大値、点光源評価値、および、画像信号最大値を繰り返し算出する。
As described above, the
ステップＳ１０２では、カメラ制御部２１により、撮像素子２２により撮像された撮像画像の中から人物の顔領域の検出が行われる。たとえば、カメラ制御部２１は、予め記憶している人物の顔のテンプレート画像データ（基準画像データ）と、撮像された撮像画像とを比較することにより、撮像画像の中から人物の顔領域を検出することができる。そして、ステップＳ１０３では、カメラ制御部２１により、ステップＳ１０２において、人物の顔領域を検出できたか否かの判断が行われる。人物の顔領域を検出できた場合には、ステップＳ１０８に進み、一方、人物の顔領域を検出できなかった場合には、ステップＳ１０４に進む。
In step S <b> 102, the
ステップＳ１０４では、カメラ制御部２１により、点光源により画像信号が飽和しているか否かの判断が行われる。ここで、夜景撮影時など撮影画面が全体的に暗い場合には、露光を調整するために画像信号の増幅が行われる。この場合に、点光源などの高輝度被写体が存在する場合には、高輝度被写体に対応する画像信号も増幅されてしまうため、高輝度被写体に対応する画像信号が飽和してしまう場合がある。そこで、ステップＳ１０４において、カメラ制御部２１は、たとえば、画像全体の輝度の平均値が所定値以下であり、かつ、ステップＳ１０１において、フォーカスレンズ３２を駆動させながら画像信号最大値を算出した結果、画像信号最大値が、撮像画素２２１が出力可能な画像信号の上限値（出力上限値）となったレンズ位置を検出できた場合に、点光源により画像信号が飽和していると判断することができる。そして、点光源により画像信号が飽和していると判断された場合には、ステップＳ１０７に進み、一方、点光源により画像信号が飽和していないと判断された場合には、ステップＳ１０５に進む。
In step S104, the
なお、ステップＳ１０４においては、焦点検出を行うための焦点検出エリアＡＦＰが設定されている場合には、焦点検出を行うために設定された焦点検出エリアＡＦＰ内において、点光源により画像信号が飽和しているか否かを判断する。一方、焦点検出を行うための焦点検出エリアＡＦＰが設定されていない場合には、撮影画面内に設定されている全ての焦点検出エリアＡＦＰにおいて、点光源により画像信号が飽和しているか否かを判断することができる。 In step S104, when the focus detection area AFP for performing focus detection is set, the image signal is saturated by the point light source in the focus detection area AFP set for performing focus detection. Judge whether or not. On the other hand, if the focus detection area AFP for performing focus detection is not set, whether or not the image signal is saturated by the point light source in all the focus detection areas AFP set in the shooting screen. Judgment can be made.
そして、ステップＳ１０４において、点光源により画像信号が飽和していないと判断された場合には、ステップＳ１０５において、カメラ制御部２１により、焦点評価値が最大となるレンズ位置が合焦位置として検出される。
If it is determined in step S104 that the image signal is not saturated by the point light source, in step S105, the
ここで、図４は、点光源により画像信号が飽和している場合の焦点評価値と、画像信号が飽和していない場合の焦点評価値の一例を示す図である。たとえば、点光源により連続する複数の撮像画素２２１の画像信号が飽和している場合には、連続する複数の撮像画素２２１の画像信号は飽和により一定の値（出力上限値）となる。そのため、このような撮像画素２２１の画像信号に基づいて被写体の高周波成分（コントラスト）を検出することができず、図４に示すように、被写体にピントの合うレンズ位置（被写***置）において、高周波信号の積算値である焦点評価値が低下してしまう場合がある。一方で、点光源のフレアの影響により、被写***置よりも無限遠側および被写***置よりも至近側において焦点評価値が大きい値で算出され、その結果、図４に示すように、被写***置よりも無限遠側および被写***置よりも至近側のレンズ位置において、焦点評価値のピークがそれぞれ検出される場合がある。このような場合に、焦点評価値のピーク位置を合焦位置として検出してしまうと、被写体にピントを合わせることができなくなってしまう。
Here, FIG. 4 is a diagram illustrating an example of the focus evaluation value when the image signal is saturated by the point light source and the focus evaluation value when the image signal is not saturated. For example, when image signals of a plurality of
これに対して、画像信号が飽和していない場合には、隣接する複数の撮像画素２２１の画像信号が飽和により一定の値（出力上限値）となることはなく、被写***置において被写体の輪郭に応じた高周波成分（コントラスト）を適切に検出することができる。そのため、図４に示すように、画像信号が飽和していない場合には、被写***置において焦点評価値のピークを１つだけ適切に検出することができる。そこで、本実施形態では、画像信号が飽和していない場合には、焦点評価値のピーク位置を、合焦位置として検出する。なお、カメラ制御部２１は、焦点評価値が、２回上昇した後、さらに、２回下降して推移した場合に、これらの焦点評価値を用いて、３点内挿法などの演算を行うことで、焦点評価値のピーク位置を検出することができる。
On the other hand, when the image signal is not saturated, the image signals of the plurality of
そして、ステップＳ１０６では、カメラ制御部２１により、ステップＳ１０５で検出された合焦位置（焦点評価値のピーク位置）までフォーカスレンズ３２を駆動させる合焦駆動が行われる。具体的には、カメラ制御部２１は、フォーカスレンズ３２を合焦位置まで駆動するために必要なレンズ駆動量を算出し、算出したレンズ駆動量を、レンズ制御部３７を介してレンズ駆動モータ３６に送出する。そして、レンズ駆動モータ３６は、受信したレンズ駆動量に基づいて、フォーカスレンズ３２を合焦位置まで駆動させる。
In step S106, the
一方、ステップＳ１０４において、点光源により画像信号が飽和していると判断された場合には、ステップＳ１０７に進み、ステップＳ１０７において、カメラ制御部２１により、点光源評価値が最小となるレンズ位置が合焦位置として検出される。ここで、夜景撮影時にイルミネーションを撮影する場面など、点光源が検出される場面では、点光源にピントを合わせることが好ましい場面が多いため、カメラ制御部２１は、点光源である高輝度被写体にピントの合うレンズ位置を合焦位置として検出する。
On the other hand, if it is determined in step S104 that the image signal is saturated by the point light source, the process proceeds to step S107. In step S107, the lens position where the point light source evaluation value is minimized is determined by the
ここで、点光源である高輝度被写体にピントが合うほど、点光源の像は小さくなり、その分、点光源により飽和する撮像画素２２１の画素数が少なくなる。そのため、焦点検出エリアＡＦＰ内に点光源が存在する場合には、点光源にピントが合うほど、焦点検出エリアＡＦＰ内の画像信号を積算した点光源評価値は小さくなる傾向にある。そこで、カメラ制御部２１は、点光源評価値が最小となるレンズ位置を、点光源である高輝度被写体にピントが合うレンズ位置、すなわち、点光源位置として検出する。
Here, the more focused a high-luminance subject that is a point light source, the smaller the image of the point light source, and the corresponding number of
図５は、点光源により画像信号が飽和している場合の焦点評価値と点光源評価値の一例を示す図である。たとえば、夜間にイルミネーションを撮影する場合など、被写体が点光源であり、撮像画素２２１の画像信号が点光源により飽和している場合には、図５に示すように、被写体（点光源）にピントが合うレンズ位置（被写***置）において、焦点評価値が低下し、被写***置において、焦点評価値のピークを検出できない場合がある。これに対して、点光源評価値は、点光源である高輝度被写体にピントが合うレンズ位置（被写***置）において最小の値が得られるため、点光源評価値が最小となるレンズ位置を合焦位置として検出することで、被写体（点光源）にピントを合わせることができる。そして、ステップＳ１０６に進み、ステップＳ１０７で検出された合焦位置（点光源評価値が最小となるレンズ位置）にフォーカスレンズ３２を駆動させる合焦駆動が行われる。
FIG. 5 is a diagram illustrating an example of the focus evaluation value and the point light source evaluation value when the image signal is saturated by the point light source. For example, if the subject is a point light source and the image signal of the
また、ステップＳ１０３において、人物の顔領域が検出できたと判断された場合には、ステップＳ１０８に進む。ステップＳ１０８では、カメラ制御部２１により、人物の顔領域を含む焦点検出エリアＡＦＰが、焦点検出を行うための検出対象エリアＡＦＰとして特定される。そして、ステップＳ１０９では、ステップＳ１０４と同様に、点光源により画像信号が飽和しているか否かの判断が行われる。
If it is determined in step S103 that the face area of the person has been detected, the process proceeds to step S108. In step S108, the
ステップＳ１０９において、点光源により画像信号が飽和していないと判断された場合には、ステップＳ１１０に進み、ステップＳ１１０において、ステップＳ１０５と同様に、焦点評価値が最大となるフォーカスレンズ位置が合焦位置として検出される。一方、ステップＳ１０９において、点光源により画像信号が飽和していると判断された場合には、ステップＳ１１１に進む。 If it is determined in step S109 that the image signal is not saturated by the point light source, the process proceeds to step S110. In step S110, as in step S105, the focus lens position where the focus evaluation value is maximum is in focus. It is detected as a position. On the other hand, if it is determined in step S109 that the image signal is saturated by the point light source, the process proceeds to step S111.
ステップＳ１１１では、カメラ制御部２１により、検出対象エリアＡＦＰにおいて高周波最大値が最大となるレンズ位置が合焦位置として検出される。ここで、夜間撮影時に、眼鏡をかけた特定被写体（人の顔）を撮影する場合において、たとえば、カメラ１と、特定被写体（人の顔）と、点光源とが、図６に示す位置関係である場合には、点光源が眼鏡に反射してしまう場合があり、このような場合に、点光源評価値が最小となるレンズ位置を合焦位置として検出してしまうと、点光源にピントが合ってしまい、人物の顔にピントを合わせることができない場合がある。すなわち、図６に示すように、特定被写体（人の顔）〜撮像素子２２までの光軸方向の距離Ｄ２と、点光源〜特定被写体（人の顔）〜撮像素子２２までの光軸方向の距離Ｄ１＋Ｄ２とが異なるため、点光源にピントを合わせてしまうと、人物の顔にピントを合わせることができない場合がある。なお、図６は、カメラ１と特定被写体（人の顔）と点光源との位置関係の一例を示す図である。
In step S111, the
また、図７は、点光源が眼鏡で反射している場面における、焦点評価値、点光源評価値、および高周波最大値の一例を示す図である。点光源が眼鏡に反射している場面においては、図６に示すように、撮像素子２２から被写体までの距離Ｄ２と、撮像素子２２から点光源までの距離Ｄ１＋Ｄ２が異なる。そのため、点光源評価値は、図７に示すように、点光源にピントが合う点光源位置において最小となり、点光源評価値が最小となるレンズ位置にフォーカスレンズ３２を駆動させた場合には、点光源にピントが合ってしまい、特定被写体（人の顔）にピントが合った画像を撮影することはできない。
FIG. 7 is a diagram illustrating an example of a focus evaluation value, a point light source evaluation value, and a high frequency maximum value in a scene where the point light source is reflected by glasses. In a scene where the point light source is reflected on the glasses, as shown in FIG. 6, the distance D2 from the
これに対して、高周波最大値は、被写体の高周波成分（コントラスト）に応じた値であり、高周波最大値が最大となるレンズ位置は、被写体の高周波成分（コントラスト）が最も大きくなるレンズ位置といえる。そのため、高周波最大値が最大となるレンズ位置を合焦位置として検出することで、特定被写体（人の顔）にピントが合った画像を適切に撮影することができる。 On the other hand, the high frequency maximum value is a value corresponding to the high frequency component (contrast) of the subject, and the lens position where the maximum high frequency value is maximum can be said to be the lens position where the high frequency component (contrast) of the subject is the largest. . Therefore, by detecting the lens position where the maximum high-frequency value is maximum as the in-focus position, it is possible to appropriately capture an image focused on a specific subject (human face).
また、点光源により画像信号が飽和している場合には、複数の撮像画素２２１の高周波信号を積分した焦点評価値は、点光源による飽和の影響が大きくなるが、高周波最大値は、複数の撮像画素２２１のうち値が最も大きい１つの撮像画素２２１の高周波信号の値であるため、点光源による飽和の影響を小さくすることができる。そのため、高周波成分が最大となるレンズ位置を合焦位置として検出することで、点光源により画像信号が飽和している場合でも、特定被写体（人の顔）に対応する合焦位置を検出することが可能となる。そして、ステップＳ１０６では、フォーカスレンズ３２を合焦位置（高周波最大値が最大となるレンズ位置）に駆動させる合焦駆動が行われる。
In addition, when the image signal is saturated by the point light source, the focus evaluation value obtained by integrating the high frequency signals of the plurality of
以上のように、本実施形態では、点光源により画像信号が飽和している場合において、焦点検出エリアＡＦＰで人物の顔領域が特定された場合には、高周波最大値が最大となるレンズ位置を合焦位置として検出する。これにより、図６に示すように、撮像素子２２〜特定被写体（人の顔）までの距離Ｄ１と、撮像素子２２〜特定被写体（人の顔）〜点光源までの距離Ｄ１＋Ｄ２とが異なるために、点光源である高輝度被写体にピントを合わせてしまうと、点光源にピントが合ってしまい、人の顔にピントが合わせることができない場合でも、図７に示すように、高周波最大値が最大となるレンズ位置を合焦位置として検出することで、特定被写体（人の顔）にピントが合った画像を適切に撮像することが可能となる。
As described above, in the present embodiment, when a human face region is specified in the focus detection area AFP when the image signal is saturated by the point light source, the lens position where the maximum high-frequency value is maximized is determined. It is detected as the in-focus position. Accordingly, as shown in FIG. 6, the distance D1 from the
特に、本実施形態では、点光源により画像信号が飽和しているために、複数の撮像画素２２１の高周波信号を積算した焦点評価値では、点光源により画像信号の飽和の影響により、被写体にピントが合うレンズ位置（合焦位置）を適切に検出することができない場合でも、複数の撮像画素２２１のうち値が最も大きい１つの撮像画素２２１の高周波信号の値である高周波最大値を用いることで、点光源による飽和の影響を小さくすることができため、点光源により画像信号が飽和している場合でも、対象被写体（人の顔）にピントの合うレンズ位置を合焦位置として適切に検出することができる。
In particular, in this embodiment, since the image signal is saturated by the point light source, the focus evaluation value obtained by integrating the high-frequency signals of the plurality of
さらに、本実施形態では、点光源により画像信号が飽和していない場合には、焦点評価値が最大となるレンズ位置を合焦位置として検出する。これにより、本実施形態では、複数の撮像画素２２１の高周波信号に基づいて合焦位置を検出することができるため、合焦位置を適切に検出することができる。また、本実施形態では、点光源により画像信号が飽和している場合であり、かつ、人物の顔領域が検出されていない場合には、点光源評価値が最小となるレンズ位置を合焦位置として検出する。この場合も、複数の撮像画素２２１の画像信号に基づいて合焦位置を適切に検出することができるため、合焦位置を適切に検出することができる。このように、本実施形態では、撮影環境に応じて、光学系の焦点状態を検出するためのデータを選択的に用いることで、より精度の高い焦点検出が可能となる。
Furthermore, in this embodiment, when the image signal is not saturated by the point light source, the lens position where the focus evaluation value is maximized is detected as the in-focus position. Thereby, in this embodiment, since a focus position can be detected based on the high frequency signal of the some
《第２実施形態》
次に、第２実施形態に係るカメラ１ａについて説明する。第２実施形態に係るカメラ１ａは、図８に示すように、第１実施形態に係るカメラ１の構成に加えて、ＡＦ補助光発光部２９を備える。なお、図８は、第２実施形態に係るカメラ１ａを示す構成図である。
<< Second Embodiment >>
Next, the
ＡＦ補助光発光部２９は、カメラ制御部２１の制御により、ＡＦ補助光を発光する。具体的には、カメラ制御部２１は、被写体が低輝度であると判断された場合や、被写体のコントラストが低いと判断された場合に、ＡＦ補助光を発光するための制御信号を、ＡＦ補助光発光部２９に送出する。そして、ＡＦ補助光発光部２９は、この制御信号に基づいて、ＡＦ補助光の発光駆動を行う。
The AF auxiliary
続いて、第２実施形態に係るカメラ１ａの動作について説明する。図９は、第２実施形態に係るカメラ１ａの動作を示すフローチャートである。
Next, the operation of the
ステップＳ２０１では、第１実施形態のステップＳ１０１と同様に、フォーカスレンズ３２を駆動させながら、焦点評価値、高周波最大値、点光源評価値、および、画像信号最大値の算出が開始される。そして、ステップＳ２０２では、カメラ制御部２１により、ＡＦ補助光発光部２９によりＡＦ補助光の発光が行われているか否かの判断が行われる。たとえば、カメラ制御部２１は、被写体が低輝度であると判断された場合や、被写体のコントラストが低いと判断された場合に、ＡＦ補助光を発光するための制御信号をＡＦ補助光発光部２９に送出しており、この制御信号をＡＦ補助光発光部２９に送出している場合に、ＡＦ補助光発光部２９によりＡＦ補助光の発光が行われていると判断することができる。そして、ＡＦ補助光発光部２９によりＡＦ補助光の発光が行われていると判断された場合には、ステップＳ２０５に進み、一方、ＡＦ補助光発光部２９によりＡＦ補助光の発光が行われていないと判断された場合には、ステップＳ２０３に進む。
In step S201, as in step S101 of the first embodiment, calculation of the focus evaluation value, the high frequency maximum value, the point light source evaluation value, and the image signal maximum value is started while driving the
ステップＳ２０３では、第１実施形態のステップＳ１０５と同様に、焦点評価値が最大となるレンズ位置が合焦位置として検出され、その後、ステップＳ２０４において、フォーカスレンズ３２を合焦位置（焦点評価値が最大となるレンズ位置）まで駆動させる合焦駆動が行われる。
In step S203, as in step S105 of the first embodiment, the lens position at which the focus evaluation value is maximized is detected as the focus position. Then, in step S204, the
また、ステップＳ２０２において、ＡＦ補助光発光部２９によりＡＦ補助光の発光が行われていると判断された場合には、ステップＳ２０５に進む。そして、ステップＳ２０５〜Ｓ２１２では、第１実施形態のステップＳ１０２〜Ｓ１０４，Ｓ１０７〜Ｓ１１１と同様の処理が行われる。
If it is determined in step S202 that the AF auxiliary
すなわち、人物の顔領域の検出が行われ（ステップＳ２０５）、人物の顔領域が検出できない場合において（ステップＳ２０６＝Ｎｏ）、点光源（ＡＦ補助光）により画像信号が飽和していないと判断された場合には（ステップＳ２０７＝Ｎｏ）、焦点評価値が最大となるレンズ位置が合焦位置として検出され（ステップＳ２０３）、点光源（ＡＦ補助光）により画像信号が飽和していると判断された場合には（ステップＳ２０７＝Ｙｅｓ）、点光源評価値が最小となるレンズ位置が合焦位置として検出される（ステップＳ２０８）。 That is, when the human face area is detected (step S205) and the human face area cannot be detected (step S206 = No), it is determined that the image signal is not saturated by the point light source (AF auxiliary light). If this is the case (step S207 = No), the lens position with the maximum focus evaluation value is detected as the in-focus position (step S203), and it is determined that the image signal is saturated by the point light source (AF auxiliary light). If it is detected (step S207 = Yes), the lens position with the smallest point light source evaluation value is detected as the in-focus position (step S208).
また、人物の顔領域が検出できた場合においては（ステップＳ２０６＝Ｙｅｓ）、人物の顔領域を含む焦点検出エリアＡＦＰが検出対象エリアＡＦＰとして特定された後に（ステップＳ２０９）、検出対象エリアＡＦＰにおいて、点光源（ＡＦ補助光）により画像信号が飽和しているか否かの判断が行われる（ステップＳ２１０）。そして、点光源（ＡＦ補助光）により画像信号が飽和していないと判断された場合には（ステップＳ２１０＝Ｎｏ）、焦点評価値が最大となるレンズ位置が合焦位置として検出され（ステップＳ２１１）、点光源（ＡＦ補助光）により画像信号が飽和していると判断された場合には（ステップＳ２１０＝Ｙｅｓ）、高周波最大値が最大となるレンズ位置が合焦位置として検出される（ステップＳ２１２）。 When the face area of the person can be detected (step S206 = Yes), after the focus detection area AFP including the face area of the person is specified as the detection target area AFP (step S209), the detection target area AFP Then, it is determined whether or not the image signal is saturated by the point light source (AF auxiliary light) (step S210). If it is determined that the image signal is not saturated by the point light source (AF auxiliary light) (step S210 = No), the lens position where the focus evaluation value is maximum is detected as the focus position (step S211). ) When it is determined that the image signal is saturated by the point light source (AF auxiliary light) (step S210 = Yes), the lens position at which the maximum high-frequency value is maximum is detected as the in-focus position (step S210). S212).
以上のように、第２実施形態では、ＡＦ補助光が発光されているか否かを判断し、ＡＦ補助光が発光されている場合において、点光源（ＡＦ補助光）により画像信号が飽和しており、人物の顔領域を検出できた場合に、高周波最大値が最大となるレンズ位置を合焦位置として検出する。これにより、本実施形態では、ＡＦ補助光を照射した場合において、ＡＦ補助光が対象被写体である人の眼鏡に反射した場合でも、人の顔にピントが合った画像を適切に撮像することができる。 As described above, in the second embodiment, it is determined whether or not AF auxiliary light is emitted. When the AF auxiliary light is emitted, the image signal is saturated by the point light source (AF auxiliary light). When the face area of the person can be detected, the lens position where the maximum high frequency value is maximized is detected as the in-focus position. Thus, in the present embodiment, when AF auxiliary light is irradiated, even when the AF auxiliary light is reflected on the glasses of the person who is the target subject, it is possible to appropriately capture an image focused on the person's face. it can.
《第３実施形態》
次に、第３実施形態に係るカメラ１ａについて説明する。第３実施形態に係るカメラ１ａは、図８に示すように、第２実施形態に係るカメラ１ａと同様の構成を備え、以下に説明するように動作すること以外は、第２実施形態に係るカメラ１ａと同様に動作する。
<< Third Embodiment >>
Next, the
第３実施形態においては、カメラ１ａの操作部２８を介して、撮影者が、焦点検出を行うための焦点検出エリアＡＦＰを選択することができる。操作部２８を介して、撮影者により焦点検出エリアＡＦＰが選択された場合、カメラ制御部２１は、選択された焦点検出エリアＡＦＰを検出対象エリアＡＦＰとして設定する。
In the third embodiment, the photographer can select a focus detection area AFP for performing focus detection via the
続いて、第３実施形態に係るカメラ１ａの動作について説明する。図１０は、第３実施形態に係るカメラ１ａの動作を示すフローチャートである。
Next, the operation of the
ステップＳ３０１では、第１実施形態のステップＳ１０１と同様に、フォーカスレンズ３２を駆動させながら、焦点評価値、高周波最大値、点光源評価値、および、画像信号最大値の算出が開始される。そして、ステップＳ３０２では、第２実施形態のステップＳ２０２と同様に、ＡＦ補助光発光部２９によるＡＦ補助光の発光が行われているか否かの判断が行われる。ＡＦ補助光の発光が行われていない場合には、ステップＳ３０３に進み、ステップＳ３０３において、焦点評価値が最大となるレンズ位置が合焦位置として検出され、その後、ステップＳ３０４において、合焦位置にフォーカスレンズ３２を駆動させる合焦駆動が行われる。一方、ＡＦ補助光の発光が行われていると判断された場合には、ステップＳ３０５に進む。
In step S301, as in step S101 of the first embodiment, calculation of the focus evaluation value, the high frequency maximum value, the point light source evaluation value, and the image signal maximum value is started while driving the
ステップＳ３０５では、カメラ制御部２１により、操作部２８を介して撮影者が検出対象エリアＡＦＰを選択しているか否かの判断が行われる。操作部２８を介して撮影者が検出対象エリアＡＦＰを選択している場合には、ステップＳ３０６に進み、ステップＳ３０７において、カメラ制御部２１により、検出対象エリアＡＦＰ内において、人物の顔領域の検出が行われる。一方、操作部２８を介して撮影者が検出対象エリアを選択していない場合には、ステップＳ３０７に進み、カメラ制御部２１により、全ての焦点検出エリアＡＦＰにおいて人物の顔領域の検出が行われる。
In step S <b> 305, the
ステップＳ３０８では、カメラ制御部２１により、ステップＳ３０６またはステップＳ３０７における顔領域の検出により、人物の顔領域が検出されたか否かの判断が行われる。人物の顔領域が検出されない場合には、ステップＳ３０９に進む。ステップＳ３０９では、点光源（ＡＦ補助光）により画像信号が飽和しているか否かの判断が行われ、点光源（ＡＦ補助光）により画像信号が飽和していない場合には、焦点評価値が最大となるレンズ位置が合焦位置として検出され（ステップＳ３０３）、点光源（ＡＦ補助光）により画像信号が飽和している場合には、点光源評価値が最小となるレンズ位置が合焦位置として検出される（ステップＳ３１０）。
In step S308, the
一方、ステップＳ３０８において、人物の顔領域が検出された場合には、ステップＳ３１１に進む。ステップＳ３１１では、点光源（ＡＦ補助光）により画像信号が飽和しているか否かの判断が行われ、点光源（ＡＦ補助光）により画像信号が飽和していない場合には、焦点評価値が最大となるレンズ位置が合焦位置として検出され（ステップＳ３１２）、点光源（ＡＦ補助光）により画像信号が飽和している場合には、高周波最大値が最大となるレンズ位置が合焦位置として検出される（ステップＳ３１３）。 On the other hand, if a human face area is detected in step S308, the process proceeds to step S311. In step S311, it is determined whether the image signal is saturated by the point light source (AF auxiliary light). If the image signal is not saturated by the point light source (AF auxiliary light), the focus evaluation value is determined. When the maximum lens position is detected as the in-focus position (step S312) and the image signal is saturated by the point light source (AF auxiliary light), the lens position with the maximum high-frequency value is set as the in-focus position. It is detected (step S313).
以上のように、第３実施形態では、操作部２８を介して撮影者により選択された対象検出エリアＡＦＰが選択された場合には、選択された対象検出エリアＡＦＰ内において、人物の顔領域の検出が行われる。そして、対象検出エリアＡＦＰにおいて、人物の顔が検出され、さらに、画像信号が飽和していると判断された場合に、高周波最大値が最大となるレンズ位置を合焦位置として検出する。これにより、本実施形態では、操作部２８を介して撮影者により、対象検出エリアＡＦＰとして特定被写体（人の顔）を含む焦点検出エリアＡＦＰが選択された場面において、点光源が対象被写体の眼鏡に反射している場合でも、人物の顔にピントが合った画像を適切に撮像することができる。
As described above, in the third embodiment, when the target detection area AFP selected by the photographer is selected via the
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
たとえば、上述した実施形態では、画像信号の積算値を、点光源評価値として算出する構成を例示したが、この構成に限定されず、たとえば、画像信号の積算値と焦点評価値との差分値を点光源評価値として算出する構成としてもよい。また、画像信号の積算値に所定の係数を乗じた値と焦点評価値との差分値を点光源評価値として算出する構成としてもよい。これらの場合も、点光源に対応するレンズ位置において点光源評価値が最も小さくなるため、点光源評価値が最小となるレンズ位置を、点光源位置として検出することができる。 For example, in the above-described embodiment, the configuration in which the integrated value of the image signal is calculated as the point light source evaluation value is exemplified. However, the present invention is not limited to this configuration. May be calculated as a point light source evaluation value. Further, a difference value between a value obtained by multiplying the integrated value of the image signal by a predetermined coefficient and the focus evaluation value may be calculated as the point light source evaluation value. Also in these cases, since the point light source evaluation value is the smallest at the lens position corresponding to the point light source, the lens position where the point light source evaluation value is minimum can be detected as the point light source position.
また、上述した実施形態では、検出対象エリアＡＦＰ内における高周波最大値を算出する場合に、検出対象エリアＡＦＰに対応する全ての撮像画素２２１の画像信号から高周波信号を抽出し、検出対象エリアＡＦＰに対応する全ての撮像画素２２１の高周波信号のうち最大の値を、高周波最大値として算出する構成を例示したが、この構成に限定されず、たとえば、検出対象エリアＡＦＰに対応する所定数の撮像画素２２１のみから高周波信号を抽出し、これら所定数の高周波信号のうち最大の値を、高周波最大値として算出する構成としてもよい。また、検出対象エリアＡＦＰ内の撮像画素２２１の高周波信号を所定数の撮像画素２２１ごとに積算し、複数の高周波信号の積算値のうち最大の値を、高周波最大値として算出する構成としてもよい。また、画像信号最大値を算出する場合においても同様に行うことができる。
Further, in the above-described embodiment, when the maximum high frequency value in the detection target area AFP is calculated, high frequency signals are extracted from the image signals of all the
さらに、上述した実施形態では、点光源により画像信号が飽和しており、かつ、人物の顔領域が特定された場合に、高周波最大値が最大となるレンズ位置を合焦位置として検出する構成を例示したが、この構成に限定されず、たとえば、撮像画像に基づいて、人が眼鏡を掛けているか否かを判断し、人が眼鏡を掛けていると判断できた場合に、高周波最大値が最大となるレンズ位置を合焦位置として検出する構成としてもよい。 Furthermore, in the above-described embodiment, when the image signal is saturated by the point light source and the face area of the person is specified, a configuration in which the lens position where the maximum high-frequency value is maximum is detected as the in-focus position. Although illustrated, it is not limited to this configuration. For example, when it is determined whether a person is wearing glasses based on a captured image and it can be determined that the person is wearing glasses, the maximum value of the high frequency is The maximum lens position may be detected as the in-focus position.
さらに、上述した実施形態では、ハイパスフィルター２１１を備え、ハイパスフィルター２１１により撮像画素２２１の画像信号から高周波信号を抽出する構成を例示したが、この構成に限定されず、たとえば、バンドパスフィルターを備え、バンドパスフィルターを用いて、撮像画素２２１の画像信号から特定の周波数成分に対応する周波数信号を抽出する構成としてもよい。
Further, in the above-described embodiment, the configuration in which the high-
なお、上述した実施形態のカメラ１は特に限定されず、例えば、デジタルビデオカメラ、レンズ一体型のデジタルカメラ、携帯電話用のカメラなどのその他の光学機器に本発明を適用してもよい。
The
１…デジタルカメラ
２…カメラ本体
２１…カメラ制御部
２１１…ハイパスフィルター
２１２…第１積算回路
２１３…第１最大値回路
２１４…第２積算回路
２１５…第２最大値回路
２２…撮像素子
２２１…撮像画素
２９…ＡＦ補助光発光部
３…レンズ鏡筒
３２…フォーカスレンズ
３６…フォーカスレンズ駆動モータ
３７…レンズ制御部
DESCRIPTION OF
Claims (6)
前記画像信号に基づいて、対象とする像に相当する画像を、特定被写体として特定する特定部と、
前記光学系による像面に設定された複数の焦点検出領域のうち前記特定被写体に対応する前記焦点検出領域を検出対象領域として設定する設定部と、
所定値以上の輝度の被写体を高輝度被写体として検出する検出部と、
前記画像信号から特定の周波数成分に対応する周波数信号を抽出する抽出部と、
前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号を積算することで、前記検出対象領域における前記周波数信号の積算値を算出する積算値算出部と、
前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号のうち最大の値を、前記検出対象領域における前記周波数信号の最大値として算出する最大値算出部と、
前記検出対象領域における前記高輝度被写体の検出結果に基づいて、前記周波数信号の最大値および前記周波数信号の積算値を用いて、前記光学系の焦点状態を検出する焦点検出部と、を備えることを特徴とする焦点検出装置。 An acquisition unit for acquiring an image signal corresponding to an image by an optical system including a focusing lens;
A specifying unit for specifying an image corresponding to the target image as a specific subject based on the image signal;
A setting unit that sets, as a detection target region, the focus detection region corresponding to the specific subject among a plurality of focus detection regions set on an image plane by the optical system;
A detection unit for detecting a subject having a luminance of a predetermined value or higher as a high-luminance subject;
An extraction unit for extracting a frequency signal corresponding to a specific frequency component from the image signal;
An integrated value calculation unit for calculating an integrated value of the frequency signals in the detection target region by integrating a plurality of the frequency signals extracted in a plurality of image regions in the detection target region;
A maximum value calculating unit that calculates the maximum value among the plurality of frequency signals extracted in the plurality of image regions in the detection target region as the maximum value of the frequency signal in the detection target region;
A focus detection unit that detects a focus state of the optical system using a maximum value of the frequency signal and an integrated value of the frequency signal based on a detection result of the high-luminance object in the detection target region. A focus detection device.
前記積算値算出部は、前記焦点調節レンズの所定のレンズ位置ごとに、前記周波数信号の積算値を算出し、
前記最大値算出部は、前記焦点調節レンズの所定のレンズ位置ごとに、前記周波数信号の最大値を算出し、
前記焦点検出部は、前記検出対象領域において前記高輝度被写体が検出されている場合には、前記周波数信号の最大値が最も大きいレンズ位置を合焦位置として検出し、前記検出対象領域において前記高輝度被写体が検出されていない場合には、前記周波数信号の積算値が最も大きいレンズ位置を合焦位置として検出することを特徴とする焦点検出装置。 The focus detection apparatus according to claim 1,
The integrated value calculation unit calculates an integrated value of the frequency signal for each predetermined lens position of the focus adjustment lens,
The maximum value calculation unit calculates the maximum value of the frequency signal for each predetermined lens position of the focus adjustment lens,
When the high-intensity subject is detected in the detection target area, the focus detection unit detects a lens position having the largest maximum value of the frequency signal as an in-focus position, and the high-frequency subject is detected in the detection target area. A focus detection apparatus, wherein when a luminance object is not detected, a lens position having the largest integrated value of the frequency signals is detected as an in-focus position.
前記焦点検出部は、前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号のうち、値が大きい方から所定の数の周波数信号の平均値を算出し、前記検出対象領域において前記高輝度被写体が検出されている場合には、前記周波数信号の最大値に代えて、前記周波数信号の平均値に基づいて、前記光学系の焦点状態を検出することを特徴とする焦点検出装置。 The focus detection apparatus according to claim 1 or 2,
The focus detection unit calculates an average value of a predetermined number of frequency signals from a larger value among the plurality of frequency signals extracted in a plurality of image regions in the detection target region, and the detection target region When the high-brightness object is detected, the focus state of the optical system is detected based on the average value of the frequency signals instead of the maximum value of the frequency signals. apparatus.
前記画像信号に基づいて、対象とする像に相当する画像を、特定被写体として特定する特定部と、
前記光学系による像面に設定された複数の焦点検出領域のうち前記特定被写体に対応する前記焦点検出領域を検出対象領域として設定する設定部と、
所定値以上の輝度の被写体を高輝度被写体として検出する検出部と、
被写体を照明するための照明光を発光しているか否かを判断する判断部と、
前記画像信号から特定の周波数成分に対応する周波数信号を抽出する抽出部と、
前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号を積算することで、前記検出対象領域における前記周波数信号の積算値を算出する積算値算出部と、
前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号のうち最大の値を、前記検出対象領域における前記周波数信号の最大値として算出する最大値算出部と、
前記照明光が発光している場合には、前記検出対象領域における前記高輝度被写体の検出結果に基づいて、前記周波数信号の最大値および前記周波数信号の積算値を用いて、前記光学系の焦点状態を検出する焦点検出部と、を備えることを特徴とする焦点検出装置。 An acquisition unit for acquiring an image signal corresponding to an image by an optical system including a focusing lens;
A specifying unit for specifying an image corresponding to the target image as a specific subject based on the image signal;
A setting unit that sets, as a detection target region, the focus detection region corresponding to the specific subject among a plurality of focus detection regions set on an image plane by the optical system;
A detection unit for detecting a subject having a luminance of a predetermined value or higher as a high-luminance subject;
A determination unit for determining whether or not the illumination light for illuminating the subject is emitted;
An extraction unit for extracting a frequency signal corresponding to a specific frequency component from the image signal;
An integrated value calculation unit for calculating an integrated value of the frequency signals in the detection target region by integrating a plurality of the frequency signals extracted in a plurality of image regions in the detection target region;
A maximum value calculating unit that calculates the maximum value among the plurality of frequency signals extracted in the plurality of image regions in the detection target region as the maximum value of the frequency signal in the detection target region;
When the illumination light is emitted, the focus of the optical system is determined using the maximum value of the frequency signal and the integrated value of the frequency signal based on the detection result of the high-luminance subject in the detection target region. A focus detection device comprising: a focus detection unit that detects a state.
前記光学系による像面に設定された複数の焦点検出領域のうちいずれかの焦点検出領域を検出対象領域としてユーザが選択可能な選択部と、
所定値以上の輝度の被写体を高輝度被写体として検出する検出部と、
前記画像信号から特定の周波数成分に対応する周波数信号を抽出する抽出部と、
前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号を積算することで、前記検出対象領域における前記周波数信号の積算値を算出する積算値算出部と、
前記検出対象領域内の複数の画像領域において抽出された複数の前記周波数信号のうち最大の値を、前記検出対象領域における前記周波数信号の最大値として算出する最大値算出部と、
前記検出対象領域が選択されている場合には、前記検出対象領域における前記高輝度被写体の検出結果に基づいて、前記周波数信号の最大値および前記周波数信号の積算値を用いて、前記光学系の焦点状態を検出する焦点検出部と、を備えることを特徴とする焦点検出装置。 An acquisition unit for acquiring an image signal corresponding to an image by an optical system including a focusing lens;
A selection unit that allows the user to select any one of the focus detection areas as a detection target area among a plurality of focus detection areas set on the image plane by the optical system;
A detection unit for detecting a subject having a luminance of a predetermined value or higher as a high-luminance subject;
An extraction unit for extracting a frequency signal corresponding to a specific frequency component from the image signal;
An integrated value calculation unit for calculating an integrated value of the frequency signals in the detection target region by integrating a plurality of the frequency signals extracted in a plurality of image regions in the detection target region;
A maximum value calculating unit that calculates the maximum value among the plurality of frequency signals extracted in the plurality of image regions in the detection target region as the maximum value of the frequency signal in the detection target region;
When the detection target area is selected, based on the detection result of the high-luminance subject in the detection target area, the maximum value of the frequency signal and the integrated value of the frequency signal are used. And a focus detection unit that detects a focus state.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013199249A JP6476539B2 (en) | 2013-09-26 | 2013-09-26 | Focus detection apparatus and imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013199249A JP6476539B2 (en) | 2013-09-26 | 2013-09-26 | Focus detection apparatus and imaging apparatus |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019020774A Division JP2019095807A (en) | 2019-02-07 | 2019-02-07 | Focus detection device and imaging apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015064520A true JP2015064520A (en) | 2015-04-09 |
| JP6476539B2 JP6476539B2 (en) | 2019-03-06 |
Family
ID=52832432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013199249A Active JP6476539B2 (en) | 2013-09-26 | 2013-09-26 | Focus detection apparatus and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6476539B2 (en) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001141989A (en) * | 1999-08-31 | 2001-05-25 | Canon Inc | Camera, focusing device, focusing method, and medium for supplying focusing program |
| JP2004246013A (en) * | 2003-02-13 | 2004-09-02 | Nikon Corp | Camera |
| JP2007279694A (en) * | 2006-03-13 | 2007-10-25 | Fujifilm Corp | Automatic focusing device and photographing device |
| JP2010097167A (en) * | 2008-09-22 | 2010-04-30 | Fujinon Corp | Auto focus device |
| JP2010160297A (en) * | 2009-01-08 | 2010-07-22 | Sony Corp | Imaging apparatus, automatic focusing method, and computer program |
| JP2010180297A (en) * | 2009-02-04 | 2010-08-19 | Kuraray Co Ltd | Zinc sulfide phosphor and process of producing the same |
| JP2011015222A (en) * | 2009-07-02 | 2011-01-20 | Fujifilm Corp | Imaging apparatus, and imaging control method |
| US20110068250A1 (en) * | 2009-09-22 | 2011-03-24 | Samsung Electronics Co., Ltd. | Auto-focusing method, recording medium recording the method, and auto-focusing apparatus performing the method |
| JP2012137530A (en) * | 2010-12-24 | 2012-07-19 | Canon Inc | Focus adjusting device and method |
| JP2012215700A (en) * | 2011-03-31 | 2012-11-08 | Fujifilm Corp | Imaging device and imaging program |
-
2013
- 2013-09-26 JP JP2013199249A patent/JP6476539B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001141989A (en) * | 1999-08-31 | 2001-05-25 | Canon Inc | Camera, focusing device, focusing method, and medium for supplying focusing program |
| JP2004246013A (en) * | 2003-02-13 | 2004-09-02 | Nikon Corp | Camera |
| JP2007279694A (en) * | 2006-03-13 | 2007-10-25 | Fujifilm Corp | Automatic focusing device and photographing device |
| JP2010097167A (en) * | 2008-09-22 | 2010-04-30 | Fujinon Corp | Auto focus device |
| JP2010160297A (en) * | 2009-01-08 | 2010-07-22 | Sony Corp | Imaging apparatus, automatic focusing method, and computer program |
| JP2010180297A (en) * | 2009-02-04 | 2010-08-19 | Kuraray Co Ltd | Zinc sulfide phosphor and process of producing the same |
| JP2011015222A (en) * | 2009-07-02 | 2011-01-20 | Fujifilm Corp | Imaging apparatus, and imaging control method |
| US20110068250A1 (en) * | 2009-09-22 | 2011-03-24 | Samsung Electronics Co., Ltd. | Auto-focusing method, recording medium recording the method, and auto-focusing apparatus performing the method |
| JP2012137530A (en) * | 2010-12-24 | 2012-07-19 | Canon Inc | Focus adjusting device and method |
| JP2012215700A (en) * | 2011-03-31 | 2012-11-08 | Fujifilm Corp | Imaging device and imaging program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6476539B2 (en) | 2019-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5954336B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP6151867B2 (en) | Imaging device, imaging device body, and lens barrel | |
| JP2018072554A (en) | Imaging device and focus adjustment method | |
| JP6300670B2 (en) | Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus | |
| JP2013142725A (en) | Image display device, imaging apparatus including the same, image display method, program, storage medium storing the same | |
| JP6154080B2 (en) | Imaging device, imaging device body, and lens barrel | |
| JP5849474B2 (en) | Imaging device | |
| JP2006208443A (en) | Automatic focusing apparatus | |
| JP4170194B2 (en) | Imaging device | |
| US20130242159A1 (en) | Imaging device and display process method | |
| JP5978620B2 (en) | Imaging device | |
| JP2019095807A (en) | Focus detection device and imaging apparatus | |
| JP2016142924A (en) | Imaging apparatus, method of controlling the same, program, and storage medium | |
| JP2015064521A (en) | Focus detection device, focus adjustment device, and imaging apparatus | |
| JP6476539B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP6511716B2 (en) | Focus detection device and imaging device | |
| JP2010118962A (en) | Imaging apparatus, control method thereof and program | |
| JP2009186894A (en) | Electronic camera and stroboscope device for electronic camera | |
| JP6223502B2 (en) | Image processing apparatus, image processing method, program, and storage medium storing the same | |
| JP7051613B2 (en) | Image pickup device and its control method | |
| JP6593496B2 (en) | Interchangeable lens and camera body | |
| JP2008052022A (en) | Imaging apparatus and imaging method | |
| JP6293334B2 (en) | Imaging apparatus, imaging method, and program | |
| JP6361100B2 (en) | Focus detection device, lens barrel, and camera body | |
| JP2015045764A (en) | Imaging device, imaging method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160921 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170502 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180313 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6476539 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |