JP6851755B2 - 焦点調節装置、焦点調節方法、プログラム - Google Patents

焦点調節装置、焦点調節方法、プログラム Download PDF

Info

Publication number
JP6851755B2
JP6851755B2 JP2016179909A JP2016179909A JP6851755B2 JP 6851755 B2 JP6851755 B2 JP 6851755B2 JP 2016179909 A JP2016179909 A JP 2016179909A JP 2016179909 A JP2016179909 A JP 2016179909A JP 6851755 B2 JP6851755 B2 JP 6851755B2
Authority
JP
Japan
Prior art keywords
amount
images
defocus amount
standard deviation
steepness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016179909A
Other languages
English (en)
Other versions
JP2018045101A (ja
Inventor
広明 栗栖
広明 栗栖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016179909A priority Critical patent/JP6851755B2/ja
Priority to US15/698,416 priority patent/US10250796B2/en
Publication of JP2018045101A publication Critical patent/JP2018045101A/ja
Application granted granted Critical
Publication of JP6851755B2 publication Critical patent/JP6851755B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、焦点調節装置、焦点調節方法、プログラムに関する。特に、位相差検出方式の焦点調節装置および焦点調節方法と、この焦点調節方法を実行するためのプログラムに関する。
位相差検出方式の焦点調節装置は、撮像光学系における互いに異なる射出瞳領域を通過した被写体からの光束をセンサ上に結像させ、得られた一対の視差画像信号の位相差から撮像光学系のデフォーカス量を計算する(相関演算)。そして、フォーカスレンズを、このデフォーカス量に相当する移動量だけ移動させることで、撮像光学系の合焦状態を得る(特許文献1参照)。この際、算出したデフォーカス量の信頼性を評価することで、高品質なフォーカスレンズ駆動を行う。特許文献2には、相関変化量の傾き及び被写体像の一致度を用いてデフォーカス量の信頼性を評価している。
特開平09−054242号公報 特開2007−52206号公報
しかしながら、相関変化量の傾き及び被写体像の一致度を用いてデフォーカス量の信頼性を評価すると、信頼性が、撮像装置の設定(絞り値等)や被写体(輝度やコントラスト)によって評価値が変化し、正しく評価できないことがあるという課題が、本発明の発明者によって見出された。この課題のため、信頼性の評価の精度を高くして安定したAF制御を行うことが難しい場合がある。
本発明は、このような課題に鑑みなされたものであり、信頼性の評価の精度を高くして安定したAF制御を行うことを目的とする。
上記目的を達成するために、本発明は、フォーカスレンズの互いに異なる瞳領域を通過した一対の光束のそれぞれに対応する二像の信号を生成する信号生成手段と、前記二像の信号の位相差から前記二像のずれ量を計算する二像ずれ量計算手段と、前記二像の相関変化量の変化の急峻度を計算する急峻度計算手段と、前記二像のずれ量に基づいてデフォーカス量を計算するデフォーカス量計算手段と、前記急峻度を正規化する急峻度正規化手段と、正規化された前記急峻度を前記デフォーカス量の標準偏差に変換する変換手段と、正規化された前記急峻度に基づいて前記二像のずれ量の信頼性を評価する評価手段と、を有し、前記評価手段は、前記デフォーカス量の標準偏差に基づいて前記デフォーカス量計算手段により計算された前記デフォーカス量の信頼性を評価することで、前記二像のずれ量の信頼性を評価することを特徴とする。
本発明によれば、信頼性の評価の精度を高くして安定したAF制御を行うことができる。
本発明におけるカメラ及びレンズの構成を示すブロック図である。 撮像光学系の瞳と撮像素子が受光する光の関係を示す模式図である。 撮像処理の例を示すフローチャートである。 静止画撮影処理の例を示すフローチャートである。 焦点検出処理の例を示すフローチャートである。 測距領域の例を模式的に示す図である。 測距領域から得られる像信号の例を模式的に示す図である。 相関量波形の例を示す図である。 相関変化量波形の例を示す図である。 信頼性評価の例を示すフローチャートである。 デフォーカス量とフォーカスレンズの駆動方向を示す図である。 フィルタと信頼性の対応を示す表である。 maxderと二像ずれ量の標準偏差の関係の例を示すグラフである。 maxderの正規化の例を示すフローチャートである。 maxderと二像ずれ量の標準偏差の近似線の関係の例を示すグラフである。
以下、本発明の実施形態について、添付の図面を参照して詳細に説明する。以下の実施形態では、焦点調節装置の例として、撮像面位相差方式の撮像装置を例に示す。撮像装置は、被写体を撮影して、動画や静止画のデータをテープや固体メモリや光ディスクや磁気ディスクなどの各種メディアに記録可能である。撮像装置は、例えば、デジタルスチルカメラやビデオカメラなどである。ただし、焦点調節装置の種類はこれらの撮像装置に限定されるものではない。また、以下に説明する実施形態は単なる例示であり、本発明は以下に示す実施形態に限定されない。
<撮像装置の構成例>
まず、撮像装置101(焦点調節装置)の構成例について、図1を参照して説明する。図1は、撮像装置101の構成例を示すブロック図である。レンズユニット111(撮像レンズ)は、光学部材として、固定レンズ112と、絞り113と、フォーカスレンズ114とを備えている。そして、これらの光学部材が撮影光学系を形成する。フォーカスレンズ114は、焦点調節用レンズである。図1にはおいては、フォーカスレンズ114を単レンズで簡略的に示されているが、通常は複数のレンズで構成される。絞り制御部115は、絞り113を駆動することにより、絞り113の開口径を調整して撮影時の光量調節を行う。フォーカス制御部116は、レンズユニット111のピント方向(光軸方向)のずれ量に基づいて、フォーカスレンズ114を駆動する駆動量を決定する。そして、フォーカス制御部116は、フォーカスレンズ114を駆動することにより、焦点調節を行う。フォーカス制御部116によるフォーカスレンズ114の制御により、自動焦点調節制御が実現される。レンズ制御部117は、絞り制御部115やフォーカス制御部116を制御する。
レンズユニット111に入射した光束は、レンズユニット111に含まれる光学部材を介して信号生成手段の例である撮像素子121の受光面上に結像する。撮像素子121は、受光面上に結像した光束(すなわち、被写体像(光学像))を信号電荷に変換する素子(デバイス)である。撮像素子121は、例えば、CCDやCMOSセンサなどにより構成される。撮像素子121の各画素の各光電変換素子に蓄積された信号電荷は、タイミングジェネレータ122が出力する駆動パルスにより、信号電荷に応じた電圧信号として撮像素子121から順次読みだされる。
CDS/AGC/ADコンバータ123は、撮像素子121から読み出された撮像信号および撮像面位相差方式(後述)の焦点検出用信号に対し、リセットノイズを除去する為の相関二重サンプリング、センサゲインの調節、信号のデジタル化を行う。CDS/AGC/ADコンバータ123は、撮像信号を撮像信号処理部124に出力し、撮像面位相差方式の焦点検出用の信号を焦点検出用信号処理部125に出力する。焦点検出用信号処理部125は、CDS/AGC/ADコンバータ123から出力された焦点検出用の一対(2つ)の像信号に対して相関演算を行い、二像ずれ量、信頼性情報(一致度、急峻度)を計算する。なお、信頼性情報については後述する。また、焦点検出用信号処理部125は、撮像画面内に、焦点検出を行う焦点検出領域602の設定や配置を行う。
ここで、図2を参照して撮像素子121について説明する。撮像素子121は、光軸209の方向視において、2次元的に配列されたm×n個の画素を有しており、これらの画素が画素アレイ601を形成している。なお、図2は、撮像素子121を光軸209に平行な断面201を示しているため、各画素202が一次元的に配列されるように見えるが、実際には画素アレイ601は、2次元的にされた所定の数の画素からなる。各画素202は、マイクロレンズ203と二つの光電変換素子204,205を有している。撮像光学系の瞳206の異なる2つの瞳領域207と瞳領域208を通過した光束は、光軸209を中心に各画素202に配置されたマイクロレンズ203を介して、画素に設けられた2つの光電変換素子204,205のそれぞれに入射する。そして、各画素の2つの光電変換素子204,205は、入射した光束に応じた電荷信号を生成する。
このような構成であると、1つの画素において、撮像信号と、撮像面位相差検出方式による自動焦点調節に用いる焦点検出用信号との2つの信号を生成可能である。すなわち、2つの光電変換素子204,205の信号電荷を加算することで、撮像信号を生成することができる。撮像信号処理部124は、撮像素子121から読み出された撮像信号から、画像信号(画像データ)を生成する。また、焦点検出用信号処理部125は、2つの光電変換素子204,205の出力を各々扱うことにより、視差の異なる一対(2つ)の画像(視差画像)を取得し、焦点検出の演算を行う。なお、焦点検出方法の詳細は後述する。本発明の実施形態では、2つの光電変換素子204,205の出力を加算して得られる画像(画像信号)をA+B像、二つの光電変換素子204,205のそれぞれの出力から得られる画像(画像信号)をA像、B像と呼称する。なお、位相差信号の生成方法については上述の方法に限定されるものではなく、公知の各種方法を用いても良い。
また、撮像信号処理部124は、CDS/AGC/ADコンバータ123が出力した撮像信号から画像信号を生成し、バス131を介してSDRAM136に格納する。表示制御部132は、SDRAM136に格納された画像信号を、バス131を介して読み出し、表示部133に表示させることができる。また、画像信号の記録を行う動作モードでは、記録媒体制御部134は、SDRAM136に格納された画像信号を、記録媒体135に記録する。
ROM137には、カメラ制御部140が撮像装置101の制御のために実行するコンピュータプログラムである制御プログラムおよび撮像装置101の制御に必要な各種データ等が格納されている。フラッシュROM138には、ユーザ設定情報等の撮像装置101の動作に関する各種設定情報等が格納されている。
カメラ制御部140は、焦点検出用信号処理部125が計算して出力するデフォーカス量とデフォーカス量の信頼性に基づいて、フォーカスレンズ114の駆動量(以下、「レンズ駆動量」と称する)を決定する。信頼性は、計算したデフォーカス量がどの程度安定しているかを示す。例えば、信頼性は、同じ環境、同じ被写体に対して同じ設定で複数回にわたってデフォーカス量を計算した場合に、どの程度計算結果がばらつくか、を示すものとし、本発明の実施形態では、相関変化量の急峻度(以下、maxderと記す)を用いて信頼性を評価する。本発明の実施形態では、カメラ制御部140は、デフォーカス量の信頼性が低い場合には、焦点検出用信号処理部125が計算して出力するデフォーカス量とは関係の無い固定値をレンズ駆動量に決定する。一方、デフォーカス量の信頼性が高い場合には、デフォーカス量をそのままレンズ駆動量に変換する。そして、レンズ駆動量はレンズ制御部117に送信され、さらにフォーカス制御部116に送信される。そして、フォーカス制御部116は、送信されたレンズ駆動量だけ、フォーカスレンズ114を駆動する。これにより、自動焦点調節制御(AF制御)が実現される。
この他、カメラ制御部140は、使用者(操作者)による操作、あるいは、一時的にSDRAM136に蓄積された画像データの画素信号の大きさに基づき、撮像素子121の蓄積時間、CDS/AGC/ADコンバータ123のゲインの設定値、タイミングジェネレータ122の設定値を決定する。
AF指示スイッチ150は、使用者(操作者)がAF動作の実行を指示するためのスイッチである。撮影指示スイッチ151は、使用者が撮影の実行を指示するためのスイッチである。例えば、撮像装置101は、シャッターボタンを有しており、シャッターボタンの操作に連動するようにAF指示スイッチ150と撮影指示スイッチ151が設けられる。シャッターボタンが押されていない状態では、AF指示スイッチ150と撮影指示スイッチ151はいずれもオフである。そして、シャッターボタンが半押し状態となるとAF指示スイッチ150がオンになり、全押し状態となると撮影指示スイッチ151がオンになる。
カメラ制御部140は、コンピュータプログラムを実行するCPUを有している。そして、カメラ制御部140のCPUは、ROM137に格納されているコンピュータプログラムである制御プログラムを読み出し、SDRAM136に展開して実行する。これにより、後述する撮影処理を含む各種の処理が実行され、本発明の実施形態に係る自動焦点調節制御(AF制御)が実現される。
<撮影処理の例>
次に、撮像装置101の動作について、図3を参照して説明する。図3は、撮像装置101の撮影処理の例を示すフローチャートである。
ステップS301の「初期化処理」では、カメラ制御部140は、撮像装置101の初期化処理を行う。そして、ステップS302に進む。
ステップS302の「動画撮影モード?」では、カメラ制御部140は、撮像装置101の撮影設定が、動画撮影モードであるか静止画撮影モードであるかを判断する。動画撮影モードであると判断した場合(「Y」の場合)はステップS303へ進み、静止画撮影モードであると判断した場合(「N」の場合)はステップS304へ進む。
ステップS303の「動画撮影処理」では、カメラ制御部140は、動画撮影処理を実行する。その後、ステップS305へ進む。なお、ステップS303の動画撮影処理の詳細は省略する。
ステップS304の「静止画撮影処理」では、カメラ制御部140は、静止画撮影処理を実行する。静止画撮影処理については後述する。そしてステップS305へ進む。
ステップS305の「撮影処理が停止されていない?」では、カメラ制御部140は、撮影処理が停止されていないかどうかを判断する。停止されていないと判断した場合(「Y」の場合)にはS306へ進み、停止されたと判断した場合(「N」の場合)には撮影処理を終了する。撮影処理が停止された場合とは、例えば、撮像装置101の電源をオフにする操作がされた場合や、撮像装置101のユーザ設定処理や、撮影画像・動画の確認のための再生処理などといった、撮影以外の操作が行われたときである。
ステップS306の「撮影モードが変更された?」では、カメラ制御部140は、撮影モードが変更されたかどうかを判断する。そして、変更されたと判断した場合(「Y」の場合)にはS301へ戻る。撮影モードが変更された場合は、カメラ制御部140は、ステップS301で初期化処理を行った上で、変更された撮影モードの処理を行う。変更されていないと判断した場合(「N」の場合)にはS302へ戻る。撮影モードが変更されていなければ、カメラ制御部140は、現在の撮影モードの処理を継続して行う。
<静止画像撮影処理の例>
次にステップS304の静止画撮影処理の内容について、図4を参照して説明する。図4は、図3のステップS304の静止画撮像処理の例を示すフローチャートである。
ステップS401の「AF指示スイッチオン?」では、カメラ制御部140は、AF指示スイッチ150がオンであるかオフであるかの判断を行う。AF指示スイッチ150がオフであると判断した場合(「N」の場合)には、ステップS404に進む。オンであると判断した場合(「Y」の場合)には、ステップS402に進む。
ステップS404の「撮影指示スイッチオン?」では、カメラ制御部140は、撮影指示スイッチ151がオンであるかオフであるかを判断する。撮影指示スイッチ151がオンであると判断した場合(「Y」である場合)にはステップS405に進む。オフであると判断した場合(「N」である場合)には、ステップS407に進む。
ステップS405の「合焦停止状態ではない?」では、カメラ制御部140は、撮像装置101が合焦停止状態にあるかどうかを判断する。合焦停止状態とは、被写体に対するデフォーカス量が所定値以内にあり、被写体に焦点を合わせて撮影処理をする準備ができている状態をいうものとする。合焦停止状態でない場合(「Y」である場合)には、ステップS402に進む。合焦停止状態である場合(「N」である場合)にはステップS406に進む。
ステップS402の「焦点検出処理」では、カメラ制御部140は、焦点検出用信号処理部125から出力されるデフォーカス量とデフォーカス量の信頼性に基づいて、レンズ駆動量を決定する。焦点検出処理の内容については後述する。決定したレンズ駆動量は、レンズ制御部117に送信される。そしてステップS403に進む。
ステップS403の「フォーカスレンズ駆動」では、レンズ制御部117はフォーカス制御部116を制御し、カメラ制御部140から送信されたレンズ駆動量(ステップS402で決定されたレンズ駆動量)となるように、フォーカスレンズ114を駆動する。そして、静止画撮影処理を終了する。
ステップS406の「撮影処理」では、カメラ制御部140は、撮影処理を行う。すなわち、ステップS406に進んだ場合とは、ステップS404で撮影指示スイッチ151がオンであると判断され、ステップS405で合焦停止状態であると判断された場合であり、被写体に焦点が合っている場合である。したがって、この場合には、撮像装置101は、撮影処理を実行する。例えば、CDS/AGC/ADコンバータ123は、撮像素子121から読み出された撮像信号に対して前述の処理を実行して撮像信号処理部124に出力する。撮像信号処理部124は、CDS/AGC/ADコンバータ123が出力した撮像信号から画像信号を生成し、バス131を介してSDRAM136に格納する。記録媒体制御部134は、SDRAM136に格納された画像信号を、記録媒体135に記録する。そして、ステップS407に進む。
ステップS407の「合焦停止状態を解除」では、カメラ制御部140は、合焦停止状態を解除する。そして、静止画撮影処理を終了する。
<焦点検出処理の例>
次に、ステップS402の焦点検出処理について、図5のフローチャートを参照して説明する。図5は、焦点検出処理の例を示すフローチャートである。
S501の「焦点検出領域設定」では、焦点検出用信号処理部125は、撮像画面内に2次元的に配置した焦点検出領域602から、任意の範囲の焦点検出領域602を設定する(図6参照)。そして、ステップS502に進む。
ステップS502の「像データ取得」では、焦点検出用信号処理部125は、設定した焦点検出領域602について、撮像素子121から焦点検出用の一対(2つ)の像信号(A像、B像)を取得する。
ステップS503の「垂直方向の行加算平均」では、焦点検出用信号処理部125は、取得した一対の像信号について、ノイズの影響を軽減するために垂直方向に行加算平均する。ここで、垂直方向とは、撮像素子121の垂直信号線(垂直伝送経路)の延伸方向をいうものとする。本発明の実施形態では、連写モードなど高速で演算処理を行いたい場合には垂直方向の行加算数を減らし、暗い場所など信号ノイズが目立つシーンでは垂直方向の行加算数を増やす。そしてステップS504に進む。
ステップS504の「被写体コントラスト値演算」では、焦点検出用信号処理部125は、以下の式(1)で定義される被写体コントラスト値CNTを計算する。
Figure 0006851755
ここで、Peakは垂直方向に加算平均した波形の最大値(最大出力値)を示す変数であり、Bottomは垂直方向に加算平均した波形の最小値(最少出力値)を示す変数である。焦点検出用信号処理部125は、式(1)で示すように、垂直方向に加算平均した波形の最大値と最小値の差を、最大値で除算することに被写体コントラスト値CNTを計算する。被写体コントラスト値CNTは、デフォーカス量の信頼性を評価する際に使用される。
ステップS505の「フィルタ処理」では、焦点検出用信号処理部125は、ステップS503で垂直方向に行加算平均した信号から所定の周波数帯域の信号成分を抽出するフィルタ処理を行う。本発明の実施形態では、抽出する周波数帯域が互いに異なる3種類のフィルタ(低周波数帯域フィルタ、中周波数帯域フィルタ、高周波数帯域フィルタ)を予め準備してある。そして、それぞれのフィルタを使って算出したデフォーカス量のうち、いずれのデフォーカス量を使用するかは、被写体のボケ具合等に応じて切り替える。低周波数帯域フィルタを使用すると、被写体のエッジが崩れている大ボケ被写体に対して測距性能(デフォーカス量の計算性能)が高くなる。高周波数帯域フィルタを使用すると、被写体のエッジが立っている合焦点近傍にて精度高く測距できる(デフォーカス量の計算の精度を高くできる)。なお、3種類をフィルタを使用する構成に限定されるものではなく、少なくとも1種類以上のフィルタを使用する構成であればよい。
S506の「像信号間の層間量CORを算出」では、焦点検出用信号処理部125は、取得した一対(2つ)の像信号(すなわち、フィルタ処理により抽出された所定の周波数帯域の信号成分)間の相関量CORを計算する。本発明の実施形態では、この計算を「相関演算」と称する。なお、焦点検出用信号処理部125は、相関演算を、焦点検出領域内における垂直方向の加算平均後の各走査ラインのそれぞれについて行う。
ステップS507の「相関量COR加算」では、焦点検出用信号処理部125は、焦点検出領域内の相関量CORの波形を加算する(相関変化量加算手段)。
ステップS508の「相関変化量算出」では、焦点検出用信号処理部125は、相関量CORから相関変化量を計算する。
ステップS509の「maxder、像ずれ量算出」では、焦点検出用信号処理部125は、算出した相関変化量に基づいて2像(A像とB像)のずれ量を計算する(二像ずれ量計算手段)。さらに、焦点検出用信号処理部125は、相関変化量の変化の急峻度(以下、maxderと記す)とを算出する(急峻度計算手段)。
ステップS510の「デフォーカス量算出変換」では、焦点検出用信号処理部125は、ステップS509で算出した2像のずれ量に所定の換算係数を乗算することで、デフォーカス量を算出する(デフォーカス量計算手段)。この際に使用する換算係数は、絞り113の絞り値、レンズの射出瞳距離、撮像素子121の個体情報、焦点検出領域602を設定する座標によって決定される係数であり、あらかじめROM137に格納されている。そして、焦点検出用信号処理部125は、算出したデフォーカス量を絞り113の絞り値Fと許容錯乱円δで除算して正規化することで、絞り値Fの依存性をなくす。
ステップS511の「信頼性評価」では、焦点検出用信号処理部125は、ステップS509で算出したmaxder(急峻度)に基づいて、ステップS510で算出したデフォーカス量の信頼性を評価する。なお、このステップS511の信頼性評価の処理の内容については後述する。
ステップS512の「フィルタの種類分演算したか?」では、焦点検出用信号処理部125は、テップS505〜S511の処理を、予め準備してある3種類のフィルタ(低周波数帯域フィルタ、中周波数帯域フィルタ、高周波数帯域フィルタ)のすべてについて実行したかどうかを判断する。まだ実行していないフィルタが残っている場合(「N」の場合)には、ステップS505に戻り、まだ実行していないフィルタについてステップS505〜S511の処理を実行する。全ての種類のフィルタについて実行した場合(「Y」の場合)には、この焦点検出処理を終了する。
ここで、焦点検出処理の詳細について、図6〜図9を参照して説明する。
図6は、焦点検出領域602の例を模式的に示す図である。図6では、撮像素子121の画素アレイ601上での焦点検出領域602の例を示している。なお、画素アレイ601条には複数の焦点検出領域602が二次元的に配列されており、焦点検出用信号処理部125は、使用者の操作等に応じて選択して用いる。焦点検出領域602の両側のシフト領域603は、相関演算に必要な領域である。このため、焦点検出領域602とシフト領域603とを合わせた画素領域604が、相関演算に必要な画素領域となる。図6中のp,q,s,tは、それぞれ、水平方向(x軸方向)での座標を表し、pとqはそれぞれ画素領域604の始点と終点のx座標を、sとtはそれぞれ焦点検出領域602の始点と終点のx座標を示している。
図7は、焦点検出領域602から得られる一対の像信号の例を模式的に示す図である。なお、図7は、フィルタ処理を行った焦点検出用の一対の像信号の例を示す。一方の像信号A701を実線で示し、他方の像信号B702を破線で示す。そして、図7(a)はシフト前の像信号A701,B702を示し、図7(b),(c)はそれぞれ、像信号A701,B702を図7(a)の状態からプラス方向およびマイナス方向にシフトした状態を示している。一対の像信号A701,B702の相関量を計算する際には、像信号A701と像信号B702の両方を矢印の方向に1ビットずつシフトする。
相関量の算出方法は、次のとおりである。まず、図7(b),(c)に示すように像信号A701,B702をそれぞれ任意の定数ビットずつシフトして、像信号A701,B702の差の絶対値の和を算出する。本発明の実施形態では、シフトするビット幅と総シフト量を使用するフィルタに応じて切り替える。低周波数帯域フィルタの使用時は、大ボケ被写体の測距を目的としているため、高周波数帯域フィルタ使用時に比較して総シフト量を大きくし、演算時間を減らすためにシフトするビット幅を大きくする。一方、高周波数帯域フィルタ使用時は、精度高く測距を行うため、低周波数帯域フィルタ使用時にに比較してシフトするビット幅を小さくし、演算時間を減らすために総シフト量を小さくする。
相関量CORは以下の式(2)によって算出できる。ここで、総シフト量をiとし、最小シフト量をp−sとし、最大シフト量をq−tとし、xを焦点検出領域602の開始座標とし、yを焦点検出領域602の終了座標とする。なお、(p−s)<i<(q−t)である。
Figure 0006851755
図8(a)は、シフト量と相関量CORとの関係(相関量波形)の例を示している。図8(b)は、図8(a)の極値付近803の拡大図であり、符号804で示す曲線は、相関量波形801のうちの極値付近803の部分である。横軸はシフト量を示し、縦軸は相関量CORを示す。図8(a)に示すように、相関量波形801はシフト量に応じて変化する。相関量波形801に含まれる複数の極値付近802,803のうち、もっとも値が小さい極値付近803に対応するシフト量において、一対の像信号A,Bの一致度である二像一致度が最も高くなる。
相関変化量の算出方法は、次のとおりである。焦点検出用信号処理部125は、図8(a)に示した相関量波形801における1シフトおきの相関量の差を、相関変化量として算出する。シフト量をiとし、最小シフト量をp−sとし、最大シフト量をq−tとすると、相関変化量ΔCORは以下の式(3)によって算出することができる。なお、{(p−s+1)<i<(q−t−1)}である。
Figure 0006851755
図9(a)は、シフト量と相関変化量ΔCORとの関係(相関変化量波形)の例を示す図である。横軸はシフト量を示し、縦軸は相関変化量ΔCORを示す。相関変化量901は、シフト量とともに変化する。図9(a)では、相関変化量901が、符号902,903で示す部分でプラスからマイナスになる。相関変化量が0となる状態をゼロクロスと称し、一対の像信号A,Bの二像一致度が最も高くなる。したがって、ゼロクロスを与えるシフト量が二像ずれ量となる。
図9(b)は、図9(a)中の符号902で示す部分の拡大図である。符号904で示す線は、相関変化量901の一部分である。ここで、この図9(b)を用いて二像ずれ量PRDの算出方法について説明する。
ゼロクロスを与えるシフト量(k−1+α)は、整数部分β(=k−1)と小数部分αとに分けられる。小数部分αは、図中の三角形ABCと三角形ADEとの相似の関係から、以下の式(4)によって算出することができる。
Figure 0006851755
整数部分βは、図9(b)から以下の式(5)によって算出することができる。
Figure 0006851755
そして、αとβの和から、二像ずれ量PRDを算出することができる。
図9(a)に示すように、相関変化量ΔCORに複数のゼロクロスが存在する場合は、その付近でのmaxderが最も大きいゼロクロスを、第1のゼロクロスとする。maxderは焦点検出の行い易さを示す指標であり、値が大きいほど精度良い焦点検出を行い易い点であることを示す。maxderは、以下の式(6)によって算出することができる。なお、ΔCOR[k−1]は、シフト量k−2〜kの間の相関変化量であり、ΔCOR[k]は、シフト量k−1〜k+1の間の相関変化量である。
Figure 0006851755
このように、本発明の実施形態では、相関変化量に複数のゼロクロスが存在する場合には、そのmaxderに基づいて第1のゼロクロスを決定する。そして、この第1のゼロクロスを与えるシフト量を、二像ずれ量PRDとする。
<信頼性評価>
次に、ステップS511の信頼性評価(図5参照)について、図10〜図15を参照して説明する。前述のとおり、信頼性は、例えば、同じ環境、同じ被写体に対して同じ設定で複数回にわたってデフォーカス量を計算した場合に、どの程度計算結果がばらつくか、を示す。このため、計算したデフォーカス量の信頼性が高い場合には、計算したデフォーカス量をレンズ駆動量に設定してフォーカスレンズ114を駆動した場合に、精度よく合焦させることができる。これに対して、信頼性が低い場合には、合焦の精度が低下する。
本発明の実施形態では、信頼性を低い順から順に、信頼性0(第0の段階)、信頼性1(第1の段階)、信頼性2(第2の段階)、信頼性3(第3の段階)の4段階で評価する例を示す。それぞれの信頼性の定義は以下の通りである。信頼性0は、検出したデフォーカス量のばらつきが大きく、デフォーカス量の信頼性が低く(信頼できず)、デフォーカスの方向の信頼性も低い(信頼できない)ことを意味する。信頼性1は、大ボケ被写体などに対してデフォーカス量の信頼性は低い(信頼できない)が、検出したデフォーカスの方向のみは使用可能であることを意味する。信頼性2は、計算したデフォーカス量の信頼性は高い(信頼できる)が、精度は低いことを意味する。信頼性3は、検出したデフォーカス量の信頼性が高く(信頼でき)、精度も高いため合焦させることができることを意味する。なお、信頼性の評価の段数は4段階に限定されるものではなく、任意の値に設定しても良い。
まず、図10を参照して、信頼性評価の処理のフローについて説明する。図10は、信頼性評価の処理を示すフローチャートである。
ステップS1001の「maxder正規化」では、焦点検出用信号処理部125は、maxderを撮影条件や被写体条件で正規化する(急峻度正規化手段)。maxderを正規化する理由は信頼性の精度を高めるためであり、その詳細は後述する。そして、ステップS1002に進む。
ステップS1002の「デフォーカス量>デフォーカス量閾値?」では、焦点検出用信号処理部125は、ステップS510で計算したデフォーカス量が、設定されているデフォーカス量閾値よりも大きいか否かを判断する。デフォーカス量閾値は、フィルタごとに、各フィルタのデフォーカス量の検出能力(総シフト量的に測距可能な限界距離)に応じて設定される。なお、デフォーカス量閾値は、あらかじめ設定されてROM137に格納されている。計算されたデフォーカス量が設定したデフォーカス量閾値よりも大きい場合(「Y」の場合)には、S1003に進む。デフォーカス量がデフォーカス量閾値以下の時はS1004に進む。
ステップS1003の「信頼性0」では、焦点検出用信号処理部125は、デフォーカス量の信頼性は低いと評価し、信頼性の評価段階を「信頼性0」とする。そして、信頼性評価の処理を終了する。
ステップS1004の「正規化maxder≦正規化maxder閾値?」では、焦点検出用信号処理部125は、S1001で正規化したmaxderが正規化maxder閾値以下(急峻度閾値以下)か否かを判断する。正規化maxderが正規化maxder閾値以下であると判断した場合には、ステップS1003に進む。正規化maxderが正規化maxder閾値より大きいと判定された場合にはS1005に進む。低輝度時の測距やコントラストが低い被写体に対する測距など、出力する信頼性を誤りやすい場面では、正規化maxderが小さくなる。このため、正規化maxder閾値を設定することで、誤った信頼性を出力することを防止している。maxderは使用するフィルタによって特性が異なるため、フィルタごとに(抽出する信号成分の波長帯域ごとに)正規化maxder閾値を設定している。なお、正規化maxder閾値は、あらかじめ設定されてROM137に格納されている。
ステップS1005の「二像ずれ量の標準偏差推定」では、焦点検出用信号処理部125は、正規化maxderに基づいて、二像ずれ量PRDの標準偏差(3σ)を推定する。正規化maxderと二像ずれ量PRDの標準偏差との間には負の相関があるため、正規化maxderから二像ずれ量PRDの標準偏差を推定することが可能である。なお、二像ずれ量PRDの標準偏差推定の原理については後述する。そして、ステップS1006に進む。
ステップS1006の「デフォーカス量の標準偏差算出」では、焦点検出用信号処理部125は、二像ずれ量PRDの標準偏差(3σ)に所定の換算係数を乗算することで、デフォーカス量の標準偏差(3σ)を算出する。このように、ステップS1005とS1006において、焦点検出用信号処理部125は、正規化maxder(正規化された急峻度)をデフォーカス量の標準偏差(3σ)に変換する(変換手段)。ここで使用する換算係数は、焦点検出用画素列の長さおよび二像ずれ量をデフォーカス量に変換する係数である。この換算係数は、A像とB像のズレ量である二像ずれ量PRDからデフォーカス量を算出する際に使用した換算係数と同様に、絞り113の絞り値、レンズの射出瞳距離、撮像素子121の個体情報、焦点検出領域602を設定する座標によって決定される。この換算係数は、あらかじめ設定されてROM137に格納されている。
そして、このステップS1006では、焦点検出用信号処理部125は、デフォーカス量の標準偏差(3σ)を絞り値Fと許容錯乱円δで除算して正規化する(標準偏差正規化手段)。例えば、正規化されたデフォーカス量の標準偏差(3σ)は、(二像ずれ量PRDの標準偏差(3σ))×(換算係数(mm/bit)))/(((絞り値(F値))×(許容錯乱円δ))で計算される。このように、デフォーカス量の標準偏差に所定の換算係数を乗じ、絞り値と許容錯乱円で除することにより、デフォーカス量の標準偏差(3σ)を正規化できる。なお、Fδ(絞り値×許容錯乱円)により正規化する代わりに、Fδ毎に閾値を設定して信頼性を評価してもよい。
本発明の実施形態では、正規化したデフォーカス量の標準偏差に基づいてデフォーカス量の信頼性を評価するが、正規化maxderに基づいて二像のずれ量の信頼性を評価してもよい。その場合、二像ずれ量PRDからデフォーカス量へ変換するための換算係数毎に、各信頼性を与える閾値を設定する。さらに、ステップS1006でFδ(絞り値×許容錯乱円)により、正規化maxderから取得されるデフォーカス量をさらに正規化したことを考慮して、換算係数とFδの組み合わせ毎に閾値を設定することが好ましい。閾値は、正規化maxderに対して設定してもよいし、正規化した二像のずれ量の標準偏差(正規化maxderと比例するPRDPRD3σ_st)に対して設定してもよい。なお、これらの場合の換算係数毎の閾値は、あらかじめROM137に格納されていればよい。
正規化maxderに基づいて二像のずれ量の信頼性(デフォーカス量の標準偏差(3σ))を評価する構成であると、換算係数の個数分又は換算係数とFδの組み合わせの数分の閾値を設定する必要がある。これに対して、本発明の実施形態のように、正規化したデフォーカス量の標準偏差に基づいてデフォーカス量の信頼性を評価すると、大量の閾値データをROM137にあらかじめ格納しておかなくても、所望の閾値を設定することができるため好ましい。また絞り値Fによって正規化しているため、絞り113の状態に関係なく閾値を設定することが可能である。なお、デフォーカス量は二像ずれ量PRDに換算係数を乗じることで計算される。このため、本発明の実施形態おいて、二像のずれ量PRDの信頼性とは、二像のずれ量PRDの信頼性そのものだけでなく、デフォーカス量の信頼性を含むものとする。
以上のように、焦点検出用信号処理部125は、算出したデフォーカス量の標準偏差(3σ)に応じてデフォーカス量の信頼性を評価する。そのため、本発明の実施形態では、デフォーカス量の標準偏差(3σ)について、互いに異なる3つの閾値を設定しておく。本発明の実施形態では、値が大きい順に、第1の標準偏差閾値と、第2の標準偏差閾値と、第3の標準偏差閾値を設定する。以下、第1の標準偏差閾値をTHRESHOLD1と記し、第2の標準偏差閾値をTHRESHOLD2と記し、第3の標準偏差閾値をTHRESHOLD3と記す。
S1007の「デフォーカス量の標準偏差>THRESHOLD1?」では、焦点検出用信号処理部125は、デフォーカス量の標準偏差がTHRESHOLD1より大きいか否かを判断する。大きい場合(「Y」の場合)にはS1003に進む。この場合には、前述のとおり、デフォーカス量の信頼性の評価段階は、「信頼性0」と判定される。デフォーカス量の標準偏差(3σ)がTHRESHOLD1以下(第1の標準偏差閾値以下)である場合(「N」の場合)には、ステップS1008に進む。
ステップS1008の「デフォーカス量の標準偏差>THRESHOLD2?」では、焦点検出用信号処理部125は、デフォーカス量の標準偏差がTHRESHOLD2より大きいか否かを判断する。大きいと判断した場合(「Y」の場合)には、ステップS1009に進む。ステップS1009に進んだ場合とは、デフォーカス量の標準偏差(3σ)がTHRESHOLD1以下(第1の標準偏差閾値以下)でTHRESHOLD2より大きい場合である。この場合には、焦点検出用信号処理部125は、信頼性の評価段階を「信頼性1」とする。デフォーカス量の標準偏差(3σ)がTHRESHOLD2以下(第2の標準偏差閾値以下)であると判断した場合には、ステップS1010に進む。
ステップS1010の「デフォーカス量の標準偏差>THRESHOLD3?」では、焦点検出用信号処理部125は、デフォーカス量の標準偏差がTHRESHOLD3より大きいか否かを判断する。大きいと判定した場合(「Y」の場合)には、ステップS1011に進む。ステップS1011に進んだ場合とは、デフォーカス量の標準偏差(3σ)がTHRESHOLD2以下(第2の標準偏差閾値以下)でTHRESHOLD3より大きい場合である。この場合には、焦点検出用信号処理部125は、信頼性評価の段階を「信頼性2」と評価する。そして、ステップS1013に進む。デフォーカス量の標準偏差がTHRESHOLD3以下(第3の標準偏差閾値以下)であると判断した場合には、ステップS1012に進む。この場合には、ステップS1012において、焦点検出用信号処理部125は、信頼性評価の段階を「信頼性3」と評価する。そして、ステップS1013に進む。
ステップS1013とS1014は、方向反転防止対策の処理である。方向反転とは、フォーカスレンズ114を正しい合焦位置とは反対の方向に駆動することを示している。方向反転が起きると、被写体像がボケてしまい、動画撮影時などに使用者(操作者)が違和感をおぼえる。そこで、信頼性評価の後に、方向反転を防止するための方向反転防止対策を実行する。
具体的には、ステップS1013では、焦点検出用信号処理部125は、デフォーカス量の標準偏差(3σ)とデフォーカス量を比較し、デフォーカス量の標準偏差(3σ)がデフォーカス量よりも大きいか否かを判断する。そして、デフォーカス量の標準偏差(3σ)がデフォーカス量よりも大きい場合(「Y」の場合)には、ステップS1014に進む。そうでない場合には、信頼性評価の処理を終了する。
ステップS1014では、焦点検出用信号処理部125は、ステップS1012,S1011,S1009のいずれかで評価した信頼性の段階を、1段階低くする。そして、信頼性評価の処理を終了する。
ここで、ステップS1013とS1014の方向反転防止対策の原理について、図11を参照して説明する。図11(a)はデフォーカス量の標準偏差=0の場合を示す。この場合には、デフォーカス量が正確であるため、フォーカスレンズ114は正しい合焦位置に向かって駆動され、正しい合焦位置で停止される。図11(b)は、デフォーカス量の標準偏差(3σ)がデフォーカス量以下の場合を示す。この場合には、デフォーカス量に検出誤差があるため、最終的にフォーカスレンズ114が止まる可能性がある場所にばらつきがあるが、フォーカスレンズ114は正しい合焦位置に向かって駆動される。図11(c)は、デフォーカス量の標準偏差(3σ)がデフォーカス量より大きい場合を示す図である。図11(b)と同様に、最終フォーカスレンズ位置にばらつきがあり、かつ、ばらつきの幅が広い。このため、フォーカスレンズ114が正しい合焦位置に対して反対方向に駆動する可能性がある。そこで、本発明の実施形態では、デフォーカス量の標準偏差(3σ)がデフォーカス量よりも大きい場合には、信頼性を1段階低くすることにより、方向反転する可能性を低くする。
以上が、信頼性評価の方法の基本的な処理フローである。ただし、信頼性評価の方法は、前述の処理に限定されるものではない。例えば、信頼性評価の方法は、3種類のフィルタの役割ごとに変えても良い。図12は、各フィルタから出力できる評価値の例を示す表である。表中の「○」は、出力できる信頼性を意味する。「×」は、出力しない信頼性を意味する。低周波数帯域フィルタは精度が低いため、合焦可能であることを意味する信頼性3は出力しない。また、高周波数帯域フィルタは総シフト量が小さく大ボケ時の被写体に対して測距できないため、信頼性1は出力しない。このように処理することで誤った信頼性を出力する可能性を軽減させている。
次に、正規化maxderから二像ずれ量PRDの標準偏差(3σ)を推定する原理について説明する。図13(a)は、maxderと二像ずれ量PRDの標準偏差(3σ)の相関を示すグラフである。縦軸は、以下の式(7)のように、N回測距した時の二像ずれ量PRDの標準偏差(PRD3σ_sta)を統計学的に算出した結果である。図13(a)では対数目盛で表記されている。
Figure 0006851755
横軸はN回測距した時のmaxderの平均値を示しており、縦軸と同様に対数目盛で表記されている。なお、図13(a)のそれぞれのプロット点は、環境・被写体・測距設定(センサゲインや、絞り値や、フォーカスレンズ114の位置など)を同一条件に揃えてN回測距した時の結果を使用している。図13(a)においてPRD3σ_staが境界αよりも小さい領域では負の相関があることが分かる。PRD3σ_staが境界αより大きい領域の詳細は後述する。境界αより小さい領域の相関関係を利用することでmaxderからPRD3σ_staを推定することができる。ただし、測距設定や被写体によってmaxderとPRD3σ_staの関係が少し異なるため、maxderとPRD3σ_staの間に強い負の相関関係は得られておらず、PRD3σ_staの推定精度が低くなる。そこでステップS1001の処理のように、被写体や測距設定に応じてmaxderを正規化することでmaxderとPRD3σ_staの相関係数を−1に近づける。
ここで、具体的なmaxder正規化方法について、図14のフローチャートを用いて説明する。本発明の実施形態では、maxderの正規化に用いる被写体や測距設定の条件として、以下の4条件を用いる。ただし、maxderの正規化に用いる被写体や測距設定の条件は、以下の4条件に限定されるものではない。他の条件に応じてmaxderを正規化しても良い。また、図14のフローチャートでは、以下の4条件のすべてを用いて正規化する処理を例に示すが、一部のみを用いて正規化しても良い。

(i) センサゲイン(S1401)
(ii) 垂直方向の行加算平均のライン数(S1402)
(iii)相関量CORの加算のライン数(S1403)
(iv) 被写体コントラスト値(S1404)
ステップS1401では、焦点検出用信号処理部125は、(i)センサゲイン(ISO感度)による正規化を行う。すなわち、焦点検出用信号処理部125は、CDS/AGC/ADコンバータ123が設定したセンサゲイン(ISO感度)や、使用者により設定されたセンサゲインに応じてmaxderを正規化する。センサゲインを高くすると、信号値と共に信号ノイズも増幅されるため、相関演算における二像ずれ量PRDの検出バラつきが大きくなる。図15は、図13と同様の軸を用いたグラフであり、2つの条件のデータをプロットした時の近似線を示している。図15において、センサゲインが小さい場合には実線1501、センサゲインが大きい場合には破線1502という関係になる。この差を埋めるためにセンサゲインに応じて決まる係数againを用いた以下の式(8)によってmaxderを正規化する。なお、この係数againは、あらかじめ設定されてROM137に格納されている。
Figure 0006851755
ステップS1402では、焦点検出用信号処理部125は、(ii)垂直方向の行加算平均のライン数に応じて正規化を行う。ここでは、焦点検出用信号処理部125は、ステップS503の垂直方向の行加算平均で設定した値に応じてmaxderを正規化する。前述のように垂直方向の行加算平均のライン数を多くすると信号ノイズの影響を軽減できるため、相関演算における二像ずれ量PRDの検出バラつきが小さくなる。したがって図15において垂直行加算平均のライン数が多い場合には実線1501、ライン数が少ない場合には破線1502という関係になる。このため、垂直方向の行加算平均のライン数nLineと係数aline、blineを用いた以下の式(9)でmaxderを正規化することができる。なお、これらの係数aline、blineは、あらかじめ設定されてROM137に格納されている。
Figure 0006851755
ステップS1403では、焦点検出用信号処理部125は、(iii)相関量CORの加算のライン数に応じて正規化を行う。ここでは、ステップS507の相関量COR加算の設定値に応じてmaxderを正規化する。相関量CORの加算のライン数が多いと相関変化量ΔCORも大きくなるためmaxderの値も大きくなる。そのため、図15において相関量CORの加算のライン数が少ない場合には実線1501、加算のライン数が多い場合には破線1502という関係になる。そして、相関量CORの加算のライン数nCORと係数acor、bcorを用いた以下の式(10)でmaxderを正規化することができる。なお、これらの係数acor、bcorは、あらかじめ設定されてROM137に格納されている。
Figure 0006851755
ステップS1404では、焦点検出用信号処理部125は、(iv)被写体コントラスト値CNTに応じて正規化を行う。具体的には、焦点検出用信号処理部125は、ステップS504で算出した被写体コントラスト値CNTに応じてmaxderを正規化する。被写体のコントラストが低いと相関演算における二像ずれ量PRDの検出のばらつきが小さくなることが分かっている。このため、図15においては、被写体コントラスト値CNTが高い場合には実線1501、被写体コントラスト値CNTが低い場合には破線1502という関係となる。そこで、被写体コントラスト値CNTと係数acnt、bcntを用いた以下の式(11)により、maxderを正規化することができる。なお、これらの係数acnt、bcntは、あらかじめ設定されてROM137に格納されている。
Figure 0006851755
なお、上述のとおり、4条件に応じたmaxderの正規化演算に使用する係数は、3種類のフィルタに応じて予め準備しておく。以上のmaxder正規化をした後の正規化maxderとPRD3σ_staの関係が図13の(b)である。図13(a)のグラフに対して図13(b)のグラフは強い負の相関があることがわかる。そのため、上述した4条件で正規化したmaxderであるnorm_maxderと予め測定したデータから算出した係数a、bを使用して以下の式(12)を準備しておくことで、二像ずれ量PRDの標準偏差PRD3σ_estを算出(推定)することができる。
Figure 0006851755
次に、二像ずれ量PRDの標準偏差PRD3σ_staが境界αより大きい領域について説明する。この領域は、二像ずれ量PRDの標準偏差PRD3σ_staが大きく、デフォーカス量としても信頼性が低い領域である。このため、この領域にプロットされている環境・被写体・測距設定の信頼性はNGにすることが望ましい。そこで、本実施例ではS1004で設定されている正規化maxder閾値を、図13(b)のように設定することで、境界αよりも大きい領域の信頼性をNGにしている。ただし、この領域内の信頼性の下げ方は、maxder閾値を図13(b)のように設定する方法に限定されるものではない。例えば、相関演算における他の評価値に応じて信頼性を低く評価する方法を用いても良い。
以上説明したように、本発明の実施形態に係る撮像装置101の焦点検出用信号処理部125は、一度の測距で出力されるmaxderに基づいてデフォーカス量の標準偏差を算出(推定)し、デフォーカス量の信頼性を評価している。実際に複数回測距を行うことでデフォーカス量の検出ばらつきを算出すると、被写体が動いている場合は測距結果が変わりデフォーカス量のばらつきを算出することが困難である。しかしながら、本発明の実施形態のように、maxderに基づいてデフォーカス量の標準偏差を算出することで、被写体が動いていてもデフォーカス量の標準偏差を算出することができる。更にこの際、測距設定や被写体に応じてmaxderを正規化することで、デフォーカス量の信頼性の精度を向上させることができるため、より細かく信頼性評価の閾値を設定することが可能となる。そして、このようにデフォーカス量の信頼性を評価することで、より安定したAF制御を行うことができる。
また、本発明の実施形態では、センサゲイン(ISO感度)、垂直ライン行加算数、COR行加算数、被写体コントラストのそれぞれで急峻度を正規化する例を示す。ただし、上述のように、maxderの正規化に用いる被写体や測距設定の条件は、この4条件に限定されるものではない。また、4条件の一部のみを用いて正規化しても良い。例えば、センサゲインが選択できない装置構成であれば、センサゲインに応じた正規化は必要がない。同様に、垂直ライン行加算数、COR行加算数についても、加算数を変更しない形態であれば、これらに応じた正規化は必要がない。また、加算数を変更する形態においては、取得した信号の輝度によって、垂直ライン行加算数、COR行加算数に応じた正規化を行うか否かを決定しても良い。例えば、いわゆる低照度下での撮影か否かを判定することができる値に閾値を設定し、輝度が閾値以下のときにのみ正規化を行うような形態でもよく、反対に、輝度が閾値以上のときにのみ正規化を行うような形態でもよい。
以上、本発明の実施形態例を図面を参照して詳細に説明したが、前記実施形態は、本発明の実施にあたっての具体例を示したに過ぎない。本発明の技術的範囲は、前述した実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において、種々の変更が可能であり、それらも本発明の技術的範囲に含まれる。
<その他の実施例>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、焦点調節装置に有効な技術である。本発明によれば、信頼性も評価の精度を高め、安定したAF制御を行うことができる。
101:撮像装置、111:レンズユニット、112:固定レンズ、113:絞り、114:フォーカスレンズ、115:絞り制御部、116:フォーカス制御部、117:レンズ制御部、121:撮像素子、122:タイミングジェネレータ、123:CDS/AGC/AD、124:撮像信号処理部、125:焦点検出用信号処理部、131:バス、132:表示制御部、133:表示部、134:記録媒体制御部、135:記録媒体、136:SDRAM、137:ROM、138:フラッシュROM、140:カメラ制御部

Claims (17)

  1. フォーカスレンズの互いに異なる瞳領域を通過した一対の光束のそれぞれに対応する二像の信号を生成する信号生成手段と、
    前記二像の信号の位相差から前記二像のずれ量を計算する二像ずれ量計算手段と、
    前記二像の相関変化量の変化の急峻度を計算する急峻度計算手段と、
    前記二像のずれ量に基づいてデフォーカス量を計算するデフォーカス量計算手段と、
    前記急峻度を正規化する急峻度正規化手段と、
    正規化された前記急峻度を前記デフォーカス量の標準偏差に変換する変換手段と、
    正規化された前記急峻度に基づいて前記二像のずれ量の信頼性を評価する評価手段と、
    を有し、
    前記評価手段は、前記デフォーカス量の標準偏差に基づいて前記デフォーカス量計算手段により計算された前記デフォーカス量の信頼性を評価することで、前記二像のずれ量の信頼性を評価することを特徴とする焦点調節装置。
  2. 前記デフォーカス量計算手段は、前記二像の信号のそれぞれについて所定の周波数帯域の信号成分を抽出する1つ以上のフィルタを有し、
    抽出した前記二像の信号の所定の周波数帯域の信号成分から前記デフォーカス量を計算することを特徴とする請求項に記載の焦点調節装置。
  3. 前記急峻度正規化手段が前記急峻度の正規化の演算に用いる係数は、前記フィルタにより抽出される信号成分の周波数帯域に応じて設定されていることを特徴とする請求項に記載の焦点調節装置。
  4. 前記信号生成手段は撮像素子をさらに有し、
    前記急峻度正規化手段は、前記撮像素子のセンサゲインに応じて前記急峻度を正規化することを特徴とする請求項1又は2に記載の焦点調節装置。
  5. 前記二像の信号のそれぞれを加算平均する加算平均手段をさらに有し、
    前記急峻度正規化手段は、前記加算平均手段が前記二像の信号のそれぞれを加算平均する際のライン数に応じて、前記急峻度を正規化することを特徴とする請求項1からのいずれか1項に記載の焦点調節装置。
  6. 前記二像の信号の相関量の波形を加算する相関変化量加算手段をさらに有し、
    前記急峻度正規化手段は、前記相関変化量加算手段が前記二像の信号の相関量の波形を加算する際の加算数に応じて前記急峻度を正規化することを特徴とする請求項1からのいずれか1項に記載の焦点調節装置。
  7. 前記正規化手段は、被写体のコントラストを示すコントラスト値に応じて前記急峻度を正規化することを特徴とする請求項1からのいずれか1項に記載の焦点調節装置。
  8. 前記コントラスト値は、前記二像の信号を加算平均した出力の最大値と最小値の差を前記最大値で除算して算出した値であることを特徴とする請求項に記載の焦点調節装置。
  9. 前記デフォーカス量の標準偏差について、値が大きい順に第1の標準偏差閾値と第2の標準偏差閾値と第3の標準偏差閾値とを有しており、
    前記評価手段は、
    前記デフォーカス量の標準偏差が前記第1の標準偏差閾値より大きい場合には、前記信頼性の段階が、前記デフォーカス量計算手段が計算した前記デフォーカス量は信頼できない第0の段階であると評価し、
    前記デフォーカス量の標準偏差が前記第1の標準偏差閾値以下で前記第2の標準偏差閾値より大きい場合には、前記信頼性の段階が、前記デフォーカス量計算手段が計算した前記デフォーカス量は信頼できないが、検出したデフォーカスの方向は信頼できる第1の段階であると評価し、
    前記デフォーカス量の標準偏差が前記第2の標準偏差閾値以下で前記第3の標準偏差閾値より大きい場合には、前記信頼性の段階が、前記デフォーカス量計算手段が計算した前記デフォーカス量は信頼できる第2の段階であると評価し、
    前記デフォーカス量の標準偏差が前記第3の標準偏差閾値以下である場合には、前記信頼性の段階が、前記デフォーカス量計算手段が計算した前記デフォーカス量は信頼でき、かつ、前記フォーカスレンズを合焦させることができる第3の段階であると評価することを特徴とする請求項からのいずれか1項に記載の焦点調節装置。
  10. 前記評価手段は、前記デフォーカス量計算手段が計算した前記デフォーカス量が所定のデフォーカス量閾値より大きい場合には、前記デフォーカス量計算手段が計算した前記デフォーカス量は信頼できないと評価することを特徴とする請求項からのいずれか1項に記載の焦点調節装置。
  11. 前記評価手段は、正規化した前記急峻度が所定の急峻度閾値以下である場合には、前記二像のずれ量計算手段が計算した前記二像のずれ量は信頼できないと評価することを特徴とする請求項1から10のいずれか1項に記載の焦点調節装置。
  12. 前記評価手段は、前記二像のずれ量の標準偏差が前記二像のずれ量よりも大きい場合には、前記二像のずれ量計算手段が計算した前記二像のずれ量は信頼できないと評価することを特徴とする請求項1から11のいずれか1項に記載の焦点調節装置。
  13. 前記評価手段は、前記二像のずれ量の標準偏差が前記二像のずれ量よりも大きい場合には、前記二像のずれ量の前記信頼性の段階を、前記標準偏差に応じて評価した前記二像のずれ量の段階よりも低くすることを特徴とする請求項から12のいずれか1項に記載の焦点調節装置。
  14. 前記フォーカスレンズを駆動するフォーカスレンズ駆動手段をさらに有し、
    前記フォーカスレンズ駆動手段は、前記評価手段により計算された前記二像のずれ量は信頼できないと評価された場合にはフォーカスレンズの駆動量を固定し、前記二像のずれ量は信頼できると評価された場合には前記二像のずれ量に応じて前記フォーカスレンズを駆動することを特徴とする請求項1から13のいずれか1項に記載の焦点調節装置。
  15. 前記デフォーカス量と前記デフォーカス量の標準偏差を正規化する標準偏差正規化手段をさらに有し、
    前記評価手段は、前記デフォーカス量の信頼性を、前記標準偏差正規化手段により正規化された前記標準偏差に応じて評価することを特徴とする請求項から10のいずれか1項に記載の焦点調節装置。
  16. フォーカスレンズの互いに異なる瞳領域を通過した一対の光束のそれぞれに対応する二像の信号を生成する信号生成ステップと、
    前記二像の信号の位相差から前記二像のずれ量を計算する二像ずれ量計算ステップと、
    前記二像の相関変化量の変化の急峻度を計算する急峻度計算ステップと、
    前記二像のずれ量に基づいてデフォーカス量を計算するデフォーカス量計算ステップと、
    前記急峻度を正規化する急峻度正規化ステップと、
    正規化された前記急峻度を前記デフォーカス量の標準偏差に変換する変換ステップと、
    正規化された前記急峻度に基づいて前記二像のずれ量の信頼性を評価する評価ステップと、
    を有し、
    前記評価ステップでは、前記デフォーカス量の標準偏差に基づいて前記デフォーカス量計算ステップにより計算された前記デフォーカス量の信頼性を評価することで、前記二像のずれ量の信頼性を評価することを特徴とする焦点調節方法。
  17. 焦点調節装置のコンピュータを、請求項1から15のいずれか1項に記載の各手段として機能させることを特徴とするコンピュータプログラム。
JP2016179909A 2016-09-14 2016-09-14 焦点調節装置、焦点調節方法、プログラム Active JP6851755B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016179909A JP6851755B2 (ja) 2016-09-14 2016-09-14 焦点調節装置、焦点調節方法、プログラム
US15/698,416 US10250796B2 (en) 2016-09-14 2017-09-07 Focus adjustment apparatus and focus adjustment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016179909A JP6851755B2 (ja) 2016-09-14 2016-09-14 焦点調節装置、焦点調節方法、プログラム

Publications (2)

Publication Number Publication Date
JP2018045101A JP2018045101A (ja) 2018-03-22
JP6851755B2 true JP6851755B2 (ja) 2021-03-31

Family

ID=61561167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016179909A Active JP6851755B2 (ja) 2016-09-14 2016-09-14 焦点調節装置、焦点調節方法、プログラム

Country Status (2)

Country Link
US (1) US10250796B2 (ja)
JP (1) JP6851755B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017640A1 (ja) * 2018-07-20 2020-01-23 株式会社ニコン 焦点検出装置、撮像装置、及び、交換レンズ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3197979B2 (ja) * 1993-04-19 2001-08-13 富士フイルムマイクロデバイス株式会社 位相差距離検出装置および方法
JP3478644B2 (ja) 1995-08-18 2003-12-15 キヤノン株式会社 光学装置
JP3675039B2 (ja) * 1996-06-26 2005-07-27 株式会社ニコン 焦点調節装置
JP4109066B2 (ja) * 2002-09-27 2008-06-25 フジノン株式会社 測距装置及びこれを備えたカメラ
JP4810160B2 (ja) 2005-08-17 2011-11-09 キヤノン株式会社 焦点検出装置及びその制御方法
JP5776210B2 (ja) * 2011-02-17 2015-09-09 株式会社ニコン 焦点調節装置および撮像装置
JP2013008018A (ja) * 2011-05-25 2013-01-10 Canon Inc 撮像装置およびその制御方法
JP6144878B2 (ja) * 2012-04-27 2017-06-07 キヤノン株式会社 画像処理装置およびそれを備える撮像装置、ならびに画像処理方法およびそのプログラム
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法
JP6079511B2 (ja) * 2013-09-02 2017-02-15 株式会社島津製作所 ピーク抽出方法及びプログラム
JP6234144B2 (ja) * 2013-10-02 2017-11-22 オリンパス株式会社 焦点検出装置および焦点検出方法
US9742980B2 (en) * 2013-11-01 2017-08-22 Canon Kabushiki Kaisha Focus control apparatus and control method therefor
JP2016051016A (ja) * 2014-08-29 2016-04-11 キヤノン株式会社 撮像装置
JP2016142999A (ja) * 2015-02-04 2016-08-08 キヤノン株式会社 撮像装置及びその制御方法
JP6608148B2 (ja) * 2015-02-24 2019-11-20 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム

Also Published As

Publication number Publication date
US10250796B2 (en) 2019-04-02
JP2018045101A (ja) 2018-03-22
US20180077341A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6900161B2 (ja) 焦点調節装置及び撮像装置
US10326927B2 (en) Distance information producing apparatus, image capturing apparatus, distance information producing method and storage medium storing distance information producing program
US9432575B2 (en) Image processing apparatus
JP6101074B2 (ja) 光学機器、像ブレ補正装置、撮像装置、およびその制御方法、プログラム、記憶媒体
JP6415179B2 (ja) 画像処理装置、画像処理方法、および撮像装置並びにその制御方法
JP6351234B2 (ja) 自動焦点調節装置、自動焦点調節装置の制御方法、自動焦点調節装置の制御プログラムおよび記憶媒体
EP3054336B1 (en) Camera system and focal point detection pixel correction method
EP2166408B1 (en) Imaging device and imaging method using the same
US10630882B2 (en) Image pickup apparatus having function of correcting defocusing and method for controlling the same
US10200594B2 (en) Focus detection apparatus, focus adjustment apparatus, imaging apparatus, and focus detection method setting focus detection area using reliability
JP6881909B2 (ja) 撮像装置及びその制御方法、及び画像処理装置及び方法
JP6851755B2 (ja) 焦点調節装置、焦点調節方法、プログラム
US10747089B2 (en) Imaging apparatus and control method of the same
US10477098B2 (en) Control apparatus which sets defocus amount used for focusing, image capturing apparatus, control method, and storage medium
US11425297B2 (en) Image capturing apparatus and control method thereof
JP2016156950A (ja) 自動焦点調節装置およびその制御方法
JP2018010245A (ja) 信号処理装置、その制御方法
JP7023673B2 (ja) 焦点調節装置、焦点調節方法、及び撮像装置
JP7282227B2 (ja) 撮像装置及びその制御方法
JP7237473B2 (ja) 焦点調節装置、その制御方法
US20210314481A1 (en) Focus detecting apparatus, image pickup apparatus, and focus detecting method
JP6884582B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP6929145B2 (ja) 撮像装置、撮像方法およびプログラム
JP2016194665A (ja) 焦点検出装置、光学機器、焦点検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210310

R151 Written notification of patent or utility model registration

Ref document number: 6851755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151