JP2013130761A - 撮像装置、その制御方法およびプログラム - Google Patents

撮像装置、その制御方法およびプログラム Download PDF

Info

Publication number
JP2013130761A
JP2013130761A JP2011280956A JP2011280956A JP2013130761A JP 2013130761 A JP2013130761 A JP 2013130761A JP 2011280956 A JP2011280956 A JP 2011280956A JP 2011280956 A JP2011280956 A JP 2011280956A JP 2013130761 A JP2013130761 A JP 2013130761A
Authority
JP
Japan
Prior art keywords
image
mode
focus lens
control unit
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011280956A
Other languages
English (en)
Inventor
Tomonori Shuda
大仁 首田
Takashi Kawai
崇史 川井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011280956A priority Critical patent/JP2013130761A/ja
Priority to US14/357,080 priority patent/US20140320704A1/en
Priority to CN201280061533.XA priority patent/CN103988107A/zh
Priority to PCT/JP2012/082626 priority patent/WO2013094551A1/ja
Publication of JP2013130761A publication Critical patent/JP2013130761A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】適切にフォーカス制御を行う。
【解決手段】撮像装置は、制御部を具備する。制御部は、第1モードと第2モードとの何れかを所定条件に基づいて設定する制御を行う。ここで、第1モードは、撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行うモードである。また、第2モードは、フォーカスレンズが異なる位置となった状態で撮像部により生成された第1画像および第2画像に関するマッチング処理結果に基づいてフォーカスレンズを移動させてオートフォーカス処理を行うモードである。
【選択図】図2

Description

本技術は、撮像装置に関する。詳しくは、フォーカス制御を行う撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、風景や人物等の被写体を撮像して画像(画像データ)を生成し、生成された画像を画像コンテンツとして記録するデジタルビデオカメラ(例えば、カメラ一体型レコーダ)等の撮像装置が広く普及している。また、ユーザ操作による撮像動作の失敗を防止するため、フォーカス制御を自動で行う撮像装置が多数提案されている。
例えば、画像データのコントラストの高低を利用してフォーカス制御を行う撮像装置が提案されている。また、例えば、異なる焦点距離で撮像された2つの画像を用いて、フォーカスレンズを移動させる位置を推定する撮像装置が提案されている(例えば、特許文献1参照。)。
特開2011−128623号公報
上述の従来技術では、画像データを用いてフォーカス制御を行うことができるため、フォーカス制御を行うための追加デバイスを撮像装置に設ける必要がない。
しかしながら、被写体や撮影状況によっては、合焦位置とは異なる位置にフォーカスレンズを移動させたり、合焦位置にフォーカスレンズを移動させる時間が長くなったりすることがある。そこで、被写体や撮影状況に応じて、適切にフォーカス制御を行うことが重要である。
本技術はこのような状況に鑑みて生み出されたものであり、適切にフォーカス制御を行うことを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第1モードと、上記フォーカスレンズが異なる位置となった状態で上記撮像部により生成された第1画像および第2画像に関するマッチング処理結果に基づいて上記フォーカスレンズを移動させてオートフォーカス処理を行う第2モードとの何れかを、所定条件に基づいて設定する制御を行う制御部を具備する撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第1モードと第2モードとの何れかを所定条件に基づいて設定するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記フォーカスレンズの位置と上記マッチング処理結果の履歴とに基づいて、上記第1モードおよび上記第2モード間の切替の要否を判断するようにしてもよい。これにより、フォーカスレンズの位置とマッチング処理結果の履歴とに基づいて、第1モードおよび第2モード間の切替の要否を判断するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記第1モードが設定されている場合において、上記フォーカスレンズの位置が収束し、かつ、上記フォーカスレンズの位置と上記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きいことを上記所定条件とし、上記所定条件を満たす場合には、上記第2モードを設定する制御を行うようにしてもよい。これにより、第1モードの設定時において、フォーカスレンズの位置が収束し、かつ、フォーカスレンズの位置とマッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きい場合には、第2モードを設定するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記第2モードが設定されている場合において、上記フォーカスレンズの位置と上記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さいことを上記所定条件とし、上記所定条件を満たす場合には、上記第1モードを設定する制御を行うようにしてもよい。これにより、第2モードの設定時において、フォーカスレンズの位置とマッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さい場合には、第1モードを設定するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記第2モードが設定されている場合において、上記フォーカスレンズの位置と上記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さく、かつ、上記推定された合焦位置の履歴の重み分散が閾値を基準として小さいことを上記所定条件とし、上記所定条件を満たす場合には、上記第1モードを設定する制御を行うようにしてもよい。これにより、第2モードの設定時において、フォーカスレンズの位置とマッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さく、かつ、その推定された合焦位置の履歴の重み分散が閾値を基準として小さい場合には、第1モードを設定するという作用をもたらす。
また、この第1の側面において、上記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、上記制御部は、上記検出された姿勢の変化が閾値を基準として大きい場合における上記マッチング処理結果を上記履歴として用いずに上記切替の要否を判断するようにしてもよい。これにより、検出された姿勢の変化が閾値を基準として大きい場合におけるマッチング処理結果を、履歴として用いずに、切替の要否を判断するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記第1画像における輝度検波値と、上記第2画像における輝度検波値との差分値が閾値を基準として大きい場合における上記マッチング処理結果を上記履歴として用いずに上記切替の要否を判断するようにしてもよい。これにより、第1画像における輝度検波値と、第2画像における輝度検波値との差分値が閾値を基準として大きい場合におけるマッチング処理結果を、履歴として用いずに、切替の要否を判断するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記第1画像の生成時における絞り値と、上記第2画像の生成時における絞り値との差分値が閾値を基準として大きい場合における上記マッチング処理結果を上記履歴として用いずに上記切替の要否を判断するようにしてもよい。これにより、第1画像の生成時における絞り値と、第2画像の生成時における絞り値との差分値が閾値を基準として大きい場合におけるマッチング処理結果を、履歴として用いずに、切替の要否を判断するという作用をもたらす。
また、この第1の側面において、上記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、上記制御部は、上記検出された姿勢の変化が閾値を基準として大きい場合には、上記第1モードを設定する制御を行うようにしてもよい。これにより、検出された姿勢の変化が閾値を基準として大きい場合には、第1モードを設定するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記第1画像における輝度検波値と、上記第2画像における輝度検波値との差分値が閾値を基準として大きい場合には、上記第1モードを設定する制御を行うようにしてもよい。これにより、第1画像における輝度検波値と、第2画像における輝度検波値との差分値が閾値を基準として大きい場合には、第1モードを設定するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記第1画像の生成時における絞り値と、上記第2画像の生成時における絞り値との差分値が閾値を基準として大きい場合には、上記第1モードを設定する制御を行うようにしてもよい。これにより、第1画像の生成時における絞り値と、第2画像の生成時における絞り値との差分値が閾値を基準として大きい場合には、第1モードを設定するという作用をもたらす。
本技術によれば、適切にフォーカス制御を行うことができるという優れた効果を奏し得る。
本技術の第1の実施の形態における撮像装置100の内部構成例を示すブロック図である。 本技術の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。 本技術の第1の実施の形態におけるコントラストAF処理部270がコントラストAF処理を行う際におけるコントラストの評価値と撮像された画像との関係例を示す図である。 本技術の第1の実施の形態における2画像マッチングAF処理部280による2画像マッチング処理の一例を模式的に示す図である。 本技術の第1の実施の形態におけるフォーカスレンズの合焦位置からの距離と、2画像マッチング処理の演算結果との相関を示す適合曲線を示す図である。 本技術の第1の実施の形態における制御部260によるAFモード切替処理の流れの一例を模式的に示す図である。 本技術の第1の実施の形態における制御部260による2画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。 本技術の第1の実施の形態における制御部260による2画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。 本技術の第1の実施の形態における制御部260による2画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。 本技術の第1の実施の形態における撮像装置100によるAF処理の処理手順の一例を示すフローチャートである。 本技術の第1の実施の形態における撮像装置100による2画像マッチング処理の処理手順のうちの判定処理手順を示すフローチャートである。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(フォーカス制御:コントラストAFモードおよび2画像マッチングAFモードを所定条件に基づいて切り替える例)
<1.第1の実施の形態>
[撮像装置の内部構成例]
図1は、本技術の第1の実施の形態における撮像装置100の内部構成例を示すブロック図である。
撮像装置100は、撮像レンズ101と、撮像素子102と、アナログ信号処理部103と、A/D(Analog/Digital)変換部104と、デジタル信号処理部105とを備える。また、撮像装置100は、液晶パネル106と、ビューファインダ107と、記録デバイス108と、被写体検出部109と、ジャイロセンサ110と、制御部120とを備える。また、撮像装置100は、EEPROM(Electrically Erasable and Programmable Read Only Memory)131を備える。また、撮像装置100は、ROM(Read Only Memory)132と、RAM(Random Access Memory)133とを備える。また、撮像装置100は、操作部140と、TG(Timing Generator)151と、モータドライバ152と、フォーカスレンズ駆動モータ153と、ズームレンズ駆動モータ154とを備える。また、撮像装置100は、例えば、AF(Auto Focus)処理を行うことが可能なデジタルスチルカメラやデジタルビデオカメラ(例えば、カメラ一体型レコーダ)により実現される。
撮像レンズ101は、被写体からの光を集光してその集光された光を撮像素子102に供給するレンズであり、ズームレンズ、フォーカスレンズ、アイリス、ND(Neutral Density)機構、シフト防振式手ブレ補正レンズ等から構成されている。ズームレンズは、焦点距離を連続的に変更するためのレンズである。また、フォーカスレンズは、被写体にフォーカス(焦点)を合わせるためのレンズである。また、アイリスは、絞りの径を変化させるためのものである。また、ND機構は、NDフィルタを挿入するための機構である。また、シフト防振式手ブレ補正レンズは、撮像動作時におけるユーザの手の振動を補正するためのレンズである。また、フォーカスレンズは、フォーカスレンズ駆動モータ153により駆動され、被写体に対して前後に移動する。これにより、フォーカス機能が実現される。また、ズームレンズは、ズームレンズ駆動モータ154により駆動され、被写体に対して前後に移動する。これにより、ズーム機能が実現される。
撮像素子102は、撮像レンズ101を介して入射される被写体からの光を受光して電気的信号(画像信号)に変換させる光電変換素子であり、この変換により生成された画像信号(アナログ信号)をアナログ信号処理部103に供給する。すなわち、撮像レンズ101を介して入射された被写体の光学像が撮像素子102の撮像面に結像され、この状態で撮像素子102が撮像動作を行うことにより、画像信号(アナログ信号)が生成される。また、撮像素子102は、TG151により駆動される。なお、撮像素子102として、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を用いることができる。
アナログ信号処理部103は、制御部120の制御に基づいて、撮像素子102から供給された画像信号(アナログ信号)についてノイズ除去等のアナログ処理を施すものである。そして、アナログ信号処理部103は、そのアナログ処理が施された画像信号(アナログ信号)をA/D変換部104に供給する。
A/D変換部104は、制御部120の制御に基づいて、アナログ信号処理部103から供給された画像信号(アナログ信号)をデジタル信号に変換するものであり、このA/D変換された画像信号(デジタル信号)をデジタル信号処理部105に供給する。
デジタル信号処理部105は、制御部120の制御に基づいて、A/D変換部104から供給された画像信号(デジタル信号)についてガンマ補正等のデジタル処理を行うものであり、デジタル処理が施された画像信号(デジタル信号)を各部に供給する。例えば、デジタル信号処理部105は、デジタル処理が施された画像信号(デジタル信号)を液晶パネル106およびビューファインダ107に供給して表示させる。また、デジタル信号処理部105は、デジタル処理が施された画像信号(デジタル信号)について圧縮処理を施し、この圧縮処理が施された画像データ(圧縮画像データ)を記録デバイス108に供給して記録させる。
液晶パネル106は、デジタル信号処理部105から供給された画像信号(画像データ)に基づいて各画像を表示する表示パネルである。液晶パネル106は、例えば、デジタル信号処理部105から供給された画像信号(画像データ)をスルー画像として表示する。また、例えば、液晶パネル106は、記録デバイス108に記録されている画像データを一覧画像として表示する。液晶パネル106として、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)パネル等の表示パネルを用いることができる。
ビューファインダ107は、デジタル信号処理部105から供給された画像信号(画像データ)に基づいて各画像を表示する電子ビューファインダ(EVF(Electronic View Finder)である。
記録デバイス108は、デジタル信号処理部105から供給された画像信号(画像データ)を記録する記録デバイスである。また、記録デバイス108は、記録されている画像データをデジタル信号処理部105に供給する。なお、記録デバイス108は、撮像装置100に内蔵するようにしてもよく、撮像装置100から着脱可能とするようにしてもよい。また、記録デバイス108として、フラッシュメモリやDVテープを用いることができる。
被写体検出部109は、制御部120の制御に基づいて、デジタル信号処理部105から供給された画像信号(画像データ)の解析を行い、その画像に含まれる被写体を検出するものであり、この検出結果(検出情報)を制御部120に出力する。例えば、被写体検出部109は、デジタル信号処理部105から供給された画像信号(画像データ)に対応する画像に含まれる人物の顔を検出し、この検出された顔に関する顔情報を制御部120に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法(例えば、特開2004−133637参照。)、画像データに含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔の画像上における位置およびサイズが含まれる。また、被写体検出部109は、デジタル信号処理部105から供給された画像信号(画像データ)についてAFを追従する被写体を認識する機能を備える。
ジャイロセンサ110は、撮像装置100の角速度を検出するものであり、検出された角速度を制御部120に出力する。ジャイロセンサ110による撮像装置100の角速度の検出により、撮像装置100の姿勢の変化が検出される。なお、ジャイロセンサ以外の他のセンサ(例えば、加速度センサ)を用いて、撮像装置100の加速度、動き、傾き等を検出し、この検出結果に基づいて、撮像装置100の姿勢およびその変化を検出するようにしてもよい
制御部120は、CPU(Central Processing Unit)を備え、ROM132に格納されているプログラムに基づいて、撮像装置100が実行する各種処理の制御を実行する。例えば、制御部120は、被写体にフォーカスを合わせるAF機能、明るさの調節を行うAE(Auto Exposure)機能、ホワイトバランスを行うWB(White Balance)機能等の各機能を実現するための各処理を行う。また、制御部120は、AF、マニュアル操作、ズーム操作に応じたフォーカスの追従等によるフォーカスレンズに関する制御情報や、ズーム操作によるズームレンズに関する制御情報等をモータドライバ152に出力する。
EEPROM131は、撮像装置100が電源オフの間もデータを保持することが可能な不揮発性メモリであり、画像データ、各種補助情報、各種設定情報が格納される。
ROM132は、制御部120が使用するプログラムや演算パラメータ等を格納するメモリである。
RAM133は、制御部120が使用するプログラムやその実行時において適宜変化するパラメータ等を格納する作業用のメモリである。
操作部140は、RECボタン(録画ボタン)、ズーム操作、タッチパネル操作等のユーザからの操作入力を受け付けるものであり、受け付けられた操作入力の内容を制御部120に供給する。
TG151は、制御部120の制御に基づいて、撮像素子102を駆動させるための駆動制御信号を生成し、撮像素子102を駆動させるものである。
モータドライバ152は、制御部120の制御に基づいて、フォーカスレンズ駆動モータ153およびズームレンズ駆動モータ154を駆動させて各レンズ(フォーカスレンズ、ズームレンズ等)を駆動させるものである。すなわち、モータドライバ152は、制御部120から出力された制御信号(各モータを動かすための制御情報)を電圧に変換し、この変換された各電圧をフォーカスレンズ駆動モータ153、ズームレンズ駆動モータ154に出力する。そして、モータドライバ152は、各モータを駆動させて各レンズを駆動させる。
フォーカスレンズ駆動モータ153は、モータドライバ152から出力された電圧に基づいて、フォーカスレンズを移動させるモータである。また、ズームレンズ駆動モータ154は、モータドライバ152から出力された電圧に基づいて、ズームレンズを移動させるモータである。
[撮像装置の機能構成例]
図2は、本技術の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。
撮像装置100は、姿勢検出部210と、撮像部220と、画像処理部230と、記録制御部240と、コンテンツ記憶部241と、表示制御部250と、表示部251とを備える。また、撮像装置100は、制御部260と、履歴情報保持部261と、コントラストAF処理部270と、2画像マッチングAF処理部280と、操作受付部290とを備える。
姿勢検出部210は、撮像装置100の姿勢の変化(角速度)を検出するものであり、検出された姿勢の変化(角速度)に関する情報(姿勢情報)を制御部260に出力する。なお、姿勢検出部210は、図1に示すジャイロセンサ110に対応する。
撮像部220は、画像データ(画像信号)を生成するものであり、生成された画像データを画像処理部230、コントラストAF処理部270および2画像マッチングAF処理部280に出力する。また、撮像部220は、コントラストAF処理部270または2画像マッチングAF処理部280の制御に基づいて、フォーカスレンズを移動させてAF機能を実現する。なお、撮像部220は、例えば、図1に示す撮像レンズ101、撮像素子102、フォーカスレンズ駆動モータ153およびズームレンズ駆動モータ154に対応する。
画像処理部230は、制御部260の指示に基づいて、撮像部220から出力された画像データについて各種画像処理を施すものであり、各種画像処理が施された画像データを記録制御部240、表示制御部250および制御部260に出力する。なお、画像処理部230は、例えば、図1に示すアナログ信号処理部103、A/D変換部104およびデジタル信号処理部105に対応する。
記録制御部240は、制御部260の指示に基づいて、コンテンツ記憶部241に対する記録制御を行うものである。例えば、記録制御部240は、画像処理部230から出力された画像データを画像コンテンツ(静止画ファイルまたは動画ファイル)としてコンテンツ記憶部241に記録させる。なお、記録制御部240は、例えば、図1に示すデジタル信号処理部105および制御部260に対応する。
コンテンツ記憶部241は、記録制御部240の制御に基づいて、各種情報(画像コンテンツ等)を記憶する記録媒体である。なお、コンテンツ記憶部241は、例えば、図1に示す記録デバイス108に対応する。
表示制御部250は、制御部260の指示に基づいて、画像処理部230から出力された画像を表示部251に表示させるものである。なお、表示制御部250は、例えば、図1に示すデジタル信号処理部105および制御部120に対応する。
表示部251は、表示制御部250の制御に基づいて各画像を表示する表示パネルである。なお、表示部251は、例えば、図1に示す液晶パネル106、ビューファインダ107に対応する。
制御部260は、メモリ(図示せず)に格納されている制御プログラムに基づいて撮像装置100における各部を制御するものである。例えば、制御部260は、コントラストAFモード(第1モード)および2画像マッチングAFモード(第2モード)の何れかを、所定条件に基づいて設定する制御を行う。ここで、コントラストAFモードは、コントラストAF処理部270が、撮像部220により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行うモードである。また、2画像マッチングAFモードは、2画像マッチングAF処理部280が、第1画像および第2画像に関するマッチング処理結果に基づいて、フォーカスレンズを移動させてオートフォーカス処理を行うモードである。この第1画像および第2画像は、フォーカスレンズが異なる位置となった状態で撮像部220により生成された2つの画像である。なお、これらのモードの設定制御については、図6乃至図9等を参照して詳細に説明する。なお、制御部260は、例えば、図1に示す制御部120に対応する。
履歴情報保持部261は、2画像マッチングAF処理部280によるマッチング処理結果の履歴を順次保持する保持部である。なお、履歴情報保持部261は、例えば、図1に示すRAM133に対応する。
コントラストAF処理部270は、コントラストAFモードが設定されている場合において、撮像部220により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行うものである。なお、コントラストAF処理については、図3を参照して詳細に説明する。また、コントラストAF処理部270は、例えば、図1に示す制御部120、モータドライバ152に対応する。
2画像マッチングAF処理部280は、フォーカスレンズが異なる位置となった状態で撮像部220により生成された第1画像および第2画像に関するマッチング処理結果に基づいて、フォーカスレンズを移動させてオートフォーカス処理を行うものである。なお、2画像マッチングAF処理については、図4、図5を参照して詳細に説明する。また、2画像マッチングAF処理部280は、例えば、図1に示す制御部120、モータドライバ152に対応する。
操作受付部290は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号(操作信号)を制御部260に出力する。なお、操作受付部290は、例えば、図1に示す操作部140に対応する。
[コントラストAFと被写体との関係例]
図3は、本技術の第1の実施の形態におけるコントラストAF処理部270がコントラストAF処理を行う際におけるコントラストの評価値と撮像された画像との関係例を示す図である。図3では、高輝度の点光源が被写体に含まれる場合における関係例を示す。高輝度の点光源が含まれる被写体は、例えば、暗い空間上に強い1点の光が存在するようなシーンに対応する被写体である。
図3(a)には、フォーカスレンズの位置と、コントラストの評価値(AF評価値)との関係を示す。また、図3(b)には、フォーカスレンズの位置と、撮像された画像(高輝度の点光源を含む画像)との関係を示す。
ここで、コントラストAF処理について説明する。現在、動画の撮像動作中において、自動的に主要被写体にフォーカスを合わせ続ける機能(AF機能)を備える撮像装置(例えば、デジタルビデオカメラ(例えば、カメラ一体型レコーダ))が広く普及している。このAF機能として、例えば、コントラスト測定に基づくフォーカス制御を行うコントラストAF機能が存在する。このコントラストAF機能では、レンズを介して取得された撮像データのコントラストの高低を判断してフォーカスレンズの位置を決定する。
すなわち、コントラストAF機能では、撮像装置100において取得される画像のコントラストの大小情報を用いてフォーカス制御を行う。例えば、撮像画像の特定領域をフォーカス制御用の信号取得領域(空間周波数抽出エリア)として設定する。この特定領域は、測距枠(検波枠)とも称される。この特定領域のコントラストが高くなるに応じてフォーカスが合っていると判定され、コントラストが低くなるに応じてフォーカスがずれていると判定される。そこで、コントラストAF機能では、コントラストを最も高くする位置にフォーカスレンズを駆動させて調整する。
具体的には、特定領域の高周波成分を抽出し、この抽出された高周波成分の積分データを生成し、この生成された高周波成分積分データに基づいてコントラストの高低を判定する。
すなわち、フォーカスレンズを複数の位置に移動させながら複数の画像を取得し、各画像の輝度信号についてフィルタ処理(例えば、ハイパスフィルタ)を施すことにより、各画像のコントラスト強度を示すAF評価値を得る。
ここで、フォーカスレンズが存在する位置においてフォーカスが合った被写体が存在する場合には、フォーカスレンズの位置に対するAF評価値は曲線を描く。この曲線のピーク位置(すなわち、画像のコントラスト値が最大となる位置)が合焦位置となる。
このように、コントラストAFでは、撮像素子(イメージャ)に結像された画像の情報のみに基づいて合焦動作を行うことができるため、撮像光学系の他に測距光学系を撮像装置に備える必要がない。このため、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に広く普及している。
しかしながら、コントラストAFは、被写体がある一定条件を満たす場合には、正しく合焦することができないことがある。被写体がある一定条件を満たす場合は、例えば、図3(a)に示すように、高輝度の点光源が被写体に含まれる場合等である。
上述したように、コントラストAFでは、フォーカスレンズが合焦位置に近づくのに応じてコントラストの評価値が高くなり、フォーカスレンズが合焦位置から離れるのに応じて低くなる。しかしながら、図3(a)に示すように、高輝度の点光源が被写体に含まれる場合には、そのような関係が成立しないことがある。例えば、図3(b)に示すように、高輝度の点光源311乃至314は、フォーカスレンズが合焦位置(矢印301、321)から離れるのに応じてエッジを保った状態で面積が大きくなることがある。このため、例えば、図3(b)に示すように、フォーカスレンズの合焦位置(矢印321)とは全く異なる位置(矢印322)が、曲線300のピーク位置となり、合焦位置であると判定されることがある。
また、コントラストAF以外のAF機能として、2画像マッチング処理によるAF機能が存在する(例えば、特開2011−128623号参照。)。この2画像マッチング処理によるAF機能については、図4、図5を参照して詳細に説明する。
[2画像マッチング処理例]
図4は、本技術の第1の実施の形態における2画像マッチングAF処理部280による2画像マッチング処理の一例を模式的に示す図である。なお、図4に示す横軸は、フォーカスレンズの位置を示す軸とする。
2画像マッチング処理は、フォーカスレンズの位置をずらして生成された2つの画像を適合させることにより合焦位置を推定する処理である(例えば、特開2011−128623号参照。)。また、2画像マッチングAF処理は、2画像マッチング処理により推定された合焦位置に基づいてフォーカスレンズを移動させるAF処理である(例えば、特開2011−128623号参照。)。
図4では、撮像部220により生成された画像331、332を、その生成時におけるフォーカスレンズの位置に配置して示す。また、画像331は、フォーカスレンズの位置Aで生成され、画像332は、フォーカスレンズの位置Bで生成されているものとする。なお、画像331は、画像332よりも鮮明であるものとする。
2画像マッチング処理では、異なる2つのフォーカスレンズの位置において生成された2つの画像331、332を用いて合焦位置(矢印335)までの距離(矢印336)を推定する。また、この演算を複数回数行うことにより精度を向上させることができる。
ここで、画像331および332に関するボケの変化は、次の式1で与えられる画像変換関数Pによってモデル化することができる。なお、式1では、画像331をfで示し、画像332をfで示す。
*P=f … 式1
ここで、*は、2次元畳み込みを表す。また、画像変換関数Pは、次の式2に示すように、ボケカーネルKによる一連の畳み込みを用いることによって近似することができる。
P=K*K*K*…*K … 式2
なお、ボケカーネルKとしては、例えば、次の行列を用いることができる。
ここで、画像331および332のボケの差の量は、式2における畳み込み数によって測定することができる。すなわち、画像331および332が一致するまでの畳み込み数によって測定することができる。なお、この測定の演算結果例については、図5に示す。なお、実際に測定する場合には、2つの画像のボケの差は、反復処理を利用して得ることが好ましい。
[適合曲線例]
図5は、本技術の第1の実施の形態におけるフォーカスレンズの合焦位置からの距離と、2画像マッチング処理の演算結果との相関を示す適合曲線を示す図である。図5に示す横軸は、フォーカスレンズの位置を示し、縦軸は、反復数(式2における畳み込み数)を示す。
ここで、図5に示す縦軸の反復数(式2における畳み込み数)は、フォーカスレンズの合焦位置までの距離に対応する値となる。具体的には、図5に示す縦軸の反復数が「0」の場合には、フォーカスレンズの位置が合焦位置となっていることを意味する。例えば、図5において、横軸「4」付近が縦軸の反復数が「0」となる位置である。また、反復数が「0」から離れるのに応じて、フォーカスレンズの位置が合焦位置から離れることを意味する。この場合に、反復数の正負の値は、フォーカスレンズの移動方向を意味する。
ここで、2画像マッチング処理に用いる画像について説明する。2画像マッチング処理を行う場合には、例えば、動画のAF中に撮像画像における中央領域(一定の割合)を切り出して演算に用いることができる。ただし、撮像画像における中央領域ではなく、撮像装置100の利用者により指定された指定領域(撮像画像における領域(例えば、矩形領域))を切り出して演算に用いるようにしてもよい。この場合には、利用者が特にフォーカスを合わせたい被写体にフォーカスを合わせることができる。しかしながら、撮像画像における外周部では、レンズの収差と呼ばれる現象により合焦位置推定精度が悪化するおそれがある。このため、コントラストAFモードおよび2画像マッチングAFモードの切換え判定精度が悪化したり、2画像マッチングAFモードでのAF所要時間が延びたりするおそれがある。このため、撮像画像における中央寄りの領域を指定領域として指定することが好ましい。
また、2画像マッチングAF処理では、フォーカスレンズの位置が異なる2つの画像が演算に必要となるため、出力の得られる時間間隔がコントラストAF処理よりも広くなる。このため、合焦位置の近傍での位置推定の精度が、コントラストAF処理よりも低下するおそれがある。
また、2画像マッチングAF処理では、2つの画像を取得するために一定の時間差が必要となる。このため、ユーザが撮像装置100を動かしている状況(例えば、パンニングやチルティングをしている状況)や、被写体が移動や変形している状況等では、合焦位置の推定精度が低下するおそれがある。
また、2画像マッチングAF処理では、2つの画像のフォーカスレンズの位置の差を利用するため、撮像部220(撮像レンズ101)の絞り開口部の大きさが自動露出調整機能等により変化している状況においても、合焦位置の推定精度が低下するおそれがある。
このため、これらのような状況で2画像マッチング処理の推定合焦位置に基づくAF処理(2画像マッチングAF処理)を行うと、誤った位置にフォーカスレンズを動かしてしまうおそれもある。
そこで、本技術の第1の実施の形態では、それらの状況であっても、適切にフォーカス制御を行う例を示す。
[AFモードの切替例]
図6は、本技術の第1の実施の形態における制御部260によるAFモード切替処理の流れの一例を模式的に示す図である。
図6(a)には、コントラストAFモードの設定時におけるAFモード切替処理の流れの一例を示す。
図6(a)に示すように、コントラストAFモードが設定されている場合には、制御部260は、フォーカスレンズが何れかの位置に収束しているか否かを判断する(351)。ここで、フォーカスレンズが何れかの位置に収束している場合は、例えば、合焦位置の付近をフォーカスレンズが往復しているような場合である。例えば、フォーカスレンズの位置に対するAF評価値が描く曲線が山型となっている場合を想定する。この場合において、フォーカスレンズが何れかの位置に収束している場合は、その山の頂上の付近をフォーカスレンズが往復しているような場合である。
このように、フォーカスレンズが何れかの位置に収束した場合にのみ、それ以降の処理(第1条件を満たすか否かの判断)を行う。例えば、コントラストAF処理は、2画像マッチングAF処理と比較して、一定時間内に得られる出力の頻度が多く、被写体の動きに強いという長所がある。これらの長所を活かして、コントラストAF処理で合焦位置を誤った場合にのみ、2画像マッチングAFモードに切換えることができる。ただし、撮像対象となっている被写体が、コントラストAF処理の苦手な被写体である場合には、フォーカスレンズが何れかの位置に収束するまでの間、フォーカスレンズが誤った方向に進み続けてしまうおそれがある。
そこで、コントラストAFモードが設定されている場合には、無条件に一定時間毎に(または、不定期に)それ以降の処理(第1条件を満たすか否かの判断)を行うようにしてもよい。すなわち、コントラストAFモードが設定されている場合には、定期的または不定期に、2画像マッチング処理による処理結果(指標値)を参照するようにしてもよい。この場合には、コントラストAF処理の苦手な被写体の場合でも、フォーカスレンズが誤った方向に進み続けることを防止することができる。また、フォーカスレンズが合焦位置から比較的離れているような場合でも、2画像マッチングAFモードに即座に切換えられる。
また、フォーカスレンズが何れかの位置に収束している場合には(351)、制御部260は、履歴情報保持部261に保持されている履歴情報(2画像マッチング処理による合焦位置推定指標値のうちの1つ以上の履歴)を参照する。そして、制御部260は、第1条件を満たすか否かを判断する(352)。この第1条件は、2画像マッチング処理の処理結果の履歴に基づいて求められた推定合焦位置と、現在のフォーカスレンズの位置との差分が閾値以上であるという条件である。この履歴に基づいて求められた推定合焦位置は、例えば、履歴情報保持部261に保持されている推定合焦位置の加算平均である。
第1条件を満たしている場合には(352)、制御部260は、コントラストAFの合焦位置が誤っていると判断し、2画像マッチングAFモードに切換える(353)。例えば、図3(a)に示すように、フォーカスレンズの位置が合焦位置から離れていくような場合が想定される。
また、第1条件を満たしていない場合には(352)、制御部260は、コントラストAFの合焦位置が誤っていると判断することができないため、AFモードを変更しない(354)。
また、フォーカスレンズが何れの位置にも収束していない場合にも(351)、制御部260は、設定されているAFモードを変更しない(354)。
なお、第1条件として、他の条件を用いるようにしてもよい。例えば、重み付け平均手法により算出される推定合焦位置と、現在のフォーカスレンズの位置との差が閾値以上であるという条件を用いることができる。そして、この条件を満たしていない場合には、AFモードを変更せず、この条件を満たしている場合には、2画像マッチングAFモードに切換える。なお、重み付け平均手法により算出される推定合焦位置については、以下の式4に示す。
また、履歴に含まれる各推定合焦位置と、現在のフォーカスレンズの位置とをそれぞれ比較し、閾値を上回っている個数が一定以上であるという条件を用いることができる。そして、この条件を満たしていない場合には、AFモードを変更せず、この条件を満たしている場合には、2画像マッチングAFモードに切換える。
図6(b)には、2画像マッチングAFモードの設定時におけるAFモード切替処理の流れを示す。
図6(b)に示すように、2画像マッチングAFモードが設定されている場合には、制御部260は、第2条件を満たすか否かを判断する(361)。ここで、第2条件は、1つ以上の履歴を統合して算出された推定合焦位置と、現在のフォーカスレンズの位置との差分が閾値以下、かつ、推定合焦位置の履歴の重み付き分散が閾値以下になるという条件である。
ここで、1つ以上の履歴を統合して算出される推定合焦位置(重み付け平均手法により算出される推定合焦位置)は、次の式3により算出される。また、推定合焦位置の履歴の重み付き分散(重み付き平均の分散)は、次の式4により算出される。
ここで、N個のバイアスなしの2画像マッチング処理の処理結果d、…、dは、d〜N(μ,σ )で取得したものである。なお、Nは、2画像マッチング処理に用いられる一対の画像(2つの画像)の数を表す。また、μは、実際の合焦位置までの距離である。また、μの「最尤推定量(MLE)」は、重み付き平均により与えられる。また、σ は、分散である。
そして、第2条件を満たしている場合には(361)、制御部260は、コントラストAFモードに切換える(362)。すなわち、フォーカスレンズを合焦位置に合わせる細かい精度は、コントラストAFモードの方が優れているため、フォーカスレンズが合焦位置の近傍まで近づいた後には、コントラストAFモードを設定する。これにより、フォーカス制御を精度よく行うことができる。
ここで、第2条件のうち、推定合焦位置の履歴の重み付き分散が閾値以下になるという条件を付加することにより、現在のフォーカスレンズが合焦位置の近傍に存在することを、さらに精度よく判断することができる。ただし、第2条件のうち、推定合焦位置の履歴の重み付き分散が閾値以下になるという条件を省略するようにしてもよい。
このように、制御部260は、フォーカスレンズの位置と、マッチング処理結果の履歴とに基づいて、コントラストAFモード(第1モード)および2画像マッチングAFモード(第2モード)間の切替の要否を判断する。
具体的には、制御部260は、コントラストAFモードの設定時において、フォーカスレンズの位置が収束し、かつ、第1条件を満たす場合には、2画像マッチングAFモードを設定する制御を行う。なお、上述したように、フォーカスレンズの位置と、マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きいことを第1条件とすることができる。
また、制御部260は、2画像マッチングAFモードの設定時において、第2条件を満たす場合には、コントラストAFモードを設定する制御を行う。なお、上述したように、フォーカスレンズの位置と、マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さく、かつ、その推定された合焦位置の履歴の重み分散が閾値を基準として小さいことを第2条件とすることができる。
また、制御部260は、2画像マッチングAFモードの設定時において、フォーカスレンズの位置と、マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さい場合に、コントラストAFモードを設定するようにしてもよい。
[角速度を用いた2画像マッチング処理の要否判定例]
図7は、本技術の第1の実施の形態における制御部260による2画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。
図7には、撮像部220により生成される画像1乃至12を時系列で示す。なお、図7に示す横軸は、時間軸を示す。また、図7には、画像1乃至12と、各処理(401乃至406、411乃至413等)との関係を矢印で結んで示す。
ここで、動画の撮像動作時においては、ユーザによりパンニング操作やチルティング操作が行われることがある。しかしながら、2画像マッチング処理では、パンニング操作やチルティング操作等により撮像装置100が動いているような場合(すなわち、2つの画像で光軸方向が異なる場合)には、誤った合焦位置推定結果を出力することが多い。
そこで、2画像マッチング処理に用いる2つの画像の取得時に、姿勢検出部210(ジャイロセンサ110)は、姿勢の変化(角速度)を検出する(401乃至406)。続いて、制御部260は、姿勢検出部210(ジャイロセンサ110)により検出された姿勢の変化(角速度)が閾値以上であるか否かを判定(2画像マッチング処理の判定処理)する(411、421、431)。
そして、2画像マッチングAF処理部280は、姿勢の変化(角速度)が閾値未満である場合には、比較対象となった角速度の取得時に対応する2つの画像を用いて2画像マッチング処理を行う(412、422、432)。そして、制御部260は、2画像マッチングAF処理部280による2画像マッチング処理の処理結果を履歴情報として履歴情報保持部261に保持させる(413、423、433)。
一方、2画像マッチングAF処理部280は、姿勢の変化(角速度)が閾値以上である場合には、比較対象となった角速度の取得時に対応する2つの画像を2画像マッチング処理に用いない(412、422、432)。すなわち、制御部260は、姿勢の変化(角速度)が閾値(例えば、0)を基準として大きい場合におけるマッチング処理結果を履歴として用いずに、AFモードの切替の要否を判断する。
ここで、姿勢の変化(角速度)に関する閾値は、画角が広くなるのに応じて高くなるように設定することが望ましい。ただし、閾値を設定する場合には、他の状況(例えば、手振れ補正の状況)等も考慮することが望ましい。
また、制御部260は、姿勢の変化(角速度)が閾値を基準として大きいことを条件に、コントラストAFモード(第1モード)を設定するようにしてもよい。
[輝度検波値を用いた2画像マッチング処理の要否判定例]
図8は、本技術の第1の実施の形態における制御部260による2画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。
図8には、撮像部220により生成される画像1乃至12を時系列で示す。なお、図8に示す横軸は、時間軸を示す。また、図8には、画像1乃至12と、各処理(451乃至456、415、425、435等)との関係を矢印で結んで示す。なお、図8に示す各処理(412、413、422、423、432、433)については、図7に示す各処理(412、413、422、423、432、433)に対応するものであるため、同一の符号を付してここでの説明の一部を省略する。
ここで、動画の撮像動作時においては、被写体の移動や変形が発生し得る。しかしながら、2画像マッチング処理では、2つの画像で被写体の位置や形が異なるような場合には、誤った合焦位置推定結果を出力することが多い。
そこで、2画像マッチング処理に用いる2つの画像の取得時に、制御部260は、撮像部220により生成された画像における輝度検波値を算出する(451乃至456)。続いて、制御部260は、その算出された2つの輝度検波値の差分値が閾値以上であるか否かを判定(2画像マッチング処理の判定処理)する(415、425、435)。なお、輝度検波値は、例えば、画像における検波枠内の輝度値の合計値または平均値である。
そして、2つの輝度検波値の差分値が閾値未満である場合には、被写体が移動や変形をしていないと判断することができる。このため、2画像マッチングAF処理部280は、その2つの輝度検波値の算出時に対応する2つの画像を用いて2画像マッチング処理を行う(412、422、432)。そして、制御部260は、2画像マッチングAF処理部280による2画像マッチング処理の処理結果を履歴情報として履歴情報保持部261に保持させる(413、423、433)。
一方、2つの輝度検波値の差分値が閾値以上である場合には、被写体が移動や変形をしていると判断することができる。このため、2画像マッチングAF処理部280は、その2つの輝度検波値の算出時に対応する2つの画像を2画像マッチング処理に用いない(412、422、432)。すなわち、制御部260は、2つの輝度検波値の差分値が閾値を基準として大きい場合におけるマッチング処理結果を履歴として用いずに、AFモードの切替の要否を判断する。
また、制御部260は、2つの輝度検波値の差分値が閾値を基準として大きいことを条件に、コントラストAFモード(第1モード)を設定するようにしてもよい。
[絞り値を用いた2画像マッチング処理の要否判定例]
図9は、本技術の第1の実施の形態における制御部260による2画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。
図9には、撮像部220により生成される画像1乃至12を時系列で示す。なお、図9に示す横軸は、時間軸を示す。また、図9には、画像1乃至12と、各処理(461乃至466、416、426、436等)との関係を矢印で結んで示す。なお、図9に示す各処理(412、413、422、423、432、433)については、図7に示す各処理(412、413、422、423、432、433)に対応するものであるため、同一の符号を付してここでの説明の一部を省略する。
ここで、動画の撮像動作時においては、自動露出制御機能等により、絞りの開口部の大きさが変化することがある。ここで、2画像マッチング処理は、画像のボケ具合を用いて合焦位置を推定するものである。このため、絞りの開口部の大きさが変化する場合等のように、2つの画像で点拡がり関数の形や焦点深度の深さが異なる状況となった場合には、誤った合焦位置推定結果を出力することが多い。
そこで、2画像マッチング処理に用いる2つの画像の取得時に、制御部260は、撮像部220における絞り値(F値)を取得する(461乃至466)。続いて、制御部260は、その取得された2つの絞り値の差分値が閾値以上であるか否かを判定(2画像マッチング処理の判定処理)する(416、426、436)。
そして、2画像マッチングAF処理部280は、2つの絞り値の差分値が閾値未満である場合には、その2つの絞り値の取得時に対応する2つの画像を用いて2画像マッチング処理を行う(412、422、432)。そして、制御部260は、2画像マッチングAF処理部280による2画像マッチング処理の処理結果を履歴情報として履歴情報保持部261に保持させる(413、423、433)。
一方、2画像マッチングAF処理部280は、2つの絞り値の差分値が閾値以上である場合には、その2つの絞り値の算出時に対応する2つの画像を2画像マッチング処理に用いない(412、422、432)。すなわち、制御部260は、2つの絞り値の差分値が閾値(例えば、0)を基準として大きい場合におけるマッチング処理結果を履歴として用いずに、AFモードの切替の要否を判断する。
また、制御部260は、2つの絞り値の差分値が閾値を基準として大きいことを条件に、コントラストAFモード(第1モード)を設定するようにしてもよい。
なお、図7乃至図9では、2フレーム間隔で各情報(角速度、輝度検波値、絞り値)を得る例を示したが、フレーム毎に各情報を得るようにしてもよく、3以上のフレーム間隔で各情報を得るようにしてもよい。
また、図7乃至図9では、2フレーム毎の各情報(角速度、輝度検波値、絞り値)のそれぞれを用いて2画像マッチング処理の要否判定を行う例を示した。ただし、これらの全ての情報(角速度、輝度検波値、絞り値)を用いて2画像マッチング処理の要否判定を行うようにしてもよい。なお、この例については、図10および図11に示す。
[撮像装置の動作例]
図10は、本技術の第1の実施の形態における撮像装置100によるAF処理の処理手順の一例を示すフローチャートである。この処理手順では、動画撮像モードの設定時において、撮像部220により画像が生成される毎に行う例を示す。また、この処理手順では、2フレーム間隔で2画像マッチング処理に用いる2つの画像を取得する場合における例を示す。
最初に、制御部260は、2画像マッチング処理に用いられる2つの画像(第1画像および第2画像)を取得済であるか否かを判断する(ステップS901)。そして、2つの画像が取得されていない場合(1つの画像のみが取得されている場合を含む)には(ステップS901)、ステップS905に進む。
2つの画像が取得されている場合には(ステップS901)、制御部260は、2画像マッチング処理の判定処理を行う(ステップS920)。この判定処理については、図11を参照して詳細に説明する。
続いて、制御部260は、2画像マッチング処理の判定処理により、2画像マッチング処理が可能であると判定されたか否かを判断し(ステップS902)、2画像マッチング処理が不可能であると判定された場合には、ステップS905に進む。一方、2画像マッチング処理が可能であると判定された場合には(ステップS902)、制御部260は、取得された2つの画像を用いて2画像マッチング処理を行う(ステップS903)。続いて、制御部260は、その2画像マッチング処理の処理結果を履歴情報として履歴情報保持部261に保持させる(ステップS904)。
続いて、制御部260は、現在設定されているAFモードが、コントラストAFモードであるか、2画像マッチングAFモードであるかを判断する(ステップS905)。そして、現在設定されているAFモードが、コントラストAFモードである場合には(ステップS905)、制御部260は、フォーカスレンズが何れかの位置に収束しているか否かを判断する(ステップS906)。そして、フォーカスレンズが何れかの位置に収束している場合には(ステップS906)、制御部260は、第1条件(図6に示す)を満たすか否かを判断する(ステップS907)。
第1条件を満たす場合には(ステップS907)、制御部260は、2画像マッチングAFモードを設定する(ステップS908)。すなわち、AFモードが、コントラストAFモードから2画像マッチングAFモードに切り替えられる。
また、フォーカスレンズが何れの位置にも収束していない場合(ステップS906)、または、第1条件を満たさない場合には(ステップS907)、制御部260は、AFモードを変更しない(ステップS909)。すなわち、AFモードとして、コントラストAFモードが設定されているため、コントラストAF処理部270によりコントラストAF処理が行われる(ステップS909)。
また、現在設定されているAFモードが、2画像マッチングAFモードである場合には(ステップS905)、制御部260は、第2条件(図6に示す)を満たすか否かを判断する(ステップS910)。そして、第2条件を満たす場合には(ステップS910)、制御部260は、コントラストAFモードを設定する(ステップS911)。すなわち、AFモードが、2画像マッチングAFモードからコントラストAFモードに切り替えられる。
また、第2条件を満たさない場合には(ステップS910)、制御部260は、AFモードを変更しない(ステップS912)。すなわち、AFモードとして、2画像マッチングAFモードが設定されているため、2画像マッチングAF処理部280により2画像マッチング処理が行われる(ステップS912)。なお、ステップS909は、特許請求の範囲に記載の第1処理手順の一例である。また、ステップS912は、特許請求の範囲に記載の第2処理手順の一例である。また、ステップS905乃至S908、S910、S911は、特許請求の範囲に記載の制御手順の一例である。
図11は、本技術の第1の実施の形態における撮像装置100による2画像マッチング処理の処理手順のうちの判定処理手順(図10に示すステップS920の処理手順)を示すフローチャートである。
最初に、姿勢検出部210が、撮像装置100の姿勢を検出する(ステップS921)。続いて、制御部260が、今回検出された撮像装置100の姿勢と、その直前に検出された撮像装置100の姿勢とに基づいてその姿勢の変化(角速度)を算出し、この角速度が閾値未満であるか否かを判断する(ステップS922)。
角速度が閾値未満である場合には(ステップS922)、制御部260が、撮像部220により生成された画像における輝度検波値を算出する(ステップS923)。続いて、制御部260が、今回算出された輝度検波値と、その直前に算出された輝度検波値との差分値が閾値未満であるか否かを判断する(ステップS924)。
その差分値が閾値未満である場合には(ステップS924)、制御部260は、撮像部220における絞り値を取得する(ステップS925)。続いて、制御部260が、今回取得された絞り値と、その直前に取得された絞り値との差分値が閾値未満であるか否かを判断する(ステップS926)。
その差分値が閾値未満である場合には(ステップS926)、制御部260は、2画像マッチング処理が可能であると判定する(ステップS927)。
また、角速度が閾値以上である場合には(ステップS922)、制御部260は、2画像マッチング処理が不可能であると判定する(ステップS928)。同様に、輝度検波値の差分値が閾値以上である場合(ステップS924)、または、絞り値の差分値が閾値以上である場合には(ステップS926)、制御部260は、2画像マッチング処理が不可能であると判定する(ステップS928)。
このように、本技術の第1の実施の形態によれば、コントラストAFが苦手とする高輝度点光源のような被写体については、2画像マッチングAFを行うことにより、正しい合焦位置の付近にフォーカスレンズを移動することができる。また、合焦位置の付近では、コントラストAFモードを設定するため、合焦位置の近傍での精度を維持することができる。
また、推定合焦位置を誤るような2画像マッチング処理の実行を防止することができる。これにより、フォーカスレンズの移動方向や距離の精度を改善することができる。また、AFの誤り率や速度を向上させることができる。また、不要な演算を予め回避することができる。すなわち、適切にフォーカス制御を行うことができる。
このように、本技術の第1の実施の形態によれば、2画像マッチング処理のハイブリッド動画AFを実現することができる。
なお、本技術の第1の実施の形態では、撮像部220を備える撮像装置100を例にして説明したが、撮像部を着脱可能な撮像装置(電子機器)に本技術の実施の形態を適用することができる。また、撮像機能付き携帯電話機や撮像機能付き携帯端末装置(例えば、スマートフォン)等の電子機器に本技術の実施の形態を適用することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
なお、本技術は以下のような構成もとることができる。
(1) 撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第1モードと、前記フォーカスレンズが異なる位置となった状態で前記撮像部により生成された第1画像および第2画像に関するマッチング処理結果に基づいて前記フォーカスレンズを移動させてオートフォーカス処理を行う第2モードとの何れかを、所定条件に基づいて設定する制御を行う制御部を具備する撮像装置。
(2) 前記制御部は、前記フォーカスレンズの位置と前記マッチング処理結果の履歴とに基づいて、前記第1モードおよび前記第2モード間の切替の要否を判断する前記(1)に記載の撮像装置。
(3) 前記制御部は、前記第1モードが設定されている場合において、前記フォーカスレンズの位置が収束し、かつ、前記フォーカスレンズの位置と前記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きいことを前記所定条件とし、前記所定条件を満たす場合には、前記第2モードを設定する制御を行う前記(1)または(2)に記載の撮像装置。
(4) 前記制御部は、前記第2モードが設定されている場合において、前記フォーカスレンズの位置と前記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さいことを前記所定条件とし、前記所定条件を満たす場合には、前記第1モードを設定する制御を行う前記(1)から(3)のいずれかに記載の撮像装置。
(5) 前記制御部は、前記第2モードが設定されている場合において、前記フォーカスレンズの位置と前記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さく、かつ、前記推定された合焦位置の履歴の重み分散が閾値を基準として小さいことを前記所定条件とし、前記所定条件を満たす場合には、前記第1モードを設定する制御を行う前記(1)から(4)のいずれかに記載の撮像装置。
(6) 前記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
前記制御部は、前記検出された姿勢の変化が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記切替の要否を判断する前記(2)に記載の撮像装置。
(7) 前記制御部は、前記第1画像における輝度検波値と、前記第2画像における輝度検波値との差分値が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記切替の要否を判断する前記(2)に記載の撮像装置。
(8) 前記制御部は、前記第1画像の生成時における絞り値と、前記第2画像の生成時における絞り値との差分値が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記切替の要否を判断する前記(2)に記載の撮像装置。
(9) 前記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
前記制御部は、前記検出された姿勢の変化が閾値を基準として大きい場合には、前記第1モードを設定する制御を行う
前記(1)から(8)のいずれかに記載の撮像装置。
(10) 前記制御部は、前記第1画像における輝度検波値と、前記第2画像における輝度検波値との差分値が閾値を基準として大きい場合には、前記第1モードを設定する制御を行う前記(1)から(9)のいずれかに記載の撮像装置。
(11) 前記制御部は、前記第1画像の生成時における絞り値と、前記第2画像の生成時における絞り値との差分値が閾値を基準として大きい場合には、前記第1モードを設定する制御を行う前記(1)から(10)のいずれかに記載の撮像装置。
(12) 第1モードの設定時に、撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第1処理手順と、
第2モードの設定時に、前記フォーカスレンズが異なる位置となった状態で前記撮像部により生成された第1画像および第2画像に関するマッチング処理結果に基づいて前記フォーカスレンズを移動させてオートフォーカス処理を行う第2処理手順と、
所定条件に基づいて、前記第1モードと前記第2モードとの何れかを設定する制御を行う制御手順と
を具備する撮像装置の制御方法。
(13) 第1モードの設定時に、撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第1処理手順と、
第2モードの設定時に、前記フォーカスレンズが異なる位置となった状態で前記撮像部により生成された第1画像および第2画像に関するマッチング処理結果に基づいて前記フォーカスレンズを移動させてオートフォーカス処理を行う第2処理手順と、
所定条件に基づいて、前記第1モードと前記第2モードとの何れかを設定する制御を行う制御手順と
をコンピュータに実行させるプログラム。
100 撮像装置
101 撮像レンズ
102 撮像素子
103 アナログ信号処理部
104 A/D変換部
105 デジタル信号処理部
106 液晶パネル
107 ビューファインダ
108 記録デバイス
109 被写体検出部
110 ジャイロセンサ
120 制御部
131 EEPROM
132 ROM
133 RAM
140 操作部
151 TG
152 モータドライバ
153 フォーカスレンズ駆動モータ
154 ズームレンズ駆動モータ
210 姿勢検出部
220 撮像部
230 画像処理部
240 記録制御部
241 コンテンツ記憶部
250 表示制御部
251 表示部
260 制御部
261 履歴情報保持部
270 コントラストAF処理部
280 2画像マッチングAF処理部
290 操作受付部

Claims (13)

  1. 撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第1モードと、前記フォーカスレンズが異なる位置となった状態で前記撮像部により生成された第1画像および第2画像に関するマッチング処理結果に基づいて前記フォーカスレンズを移動させてオートフォーカス処理を行う第2モードとの何れかを、所定条件に基づいて設定する制御を行う制御部を具備する撮像装置。
  2. 前記制御部は、前記フォーカスレンズの位置と前記マッチング処理結果の履歴とに基づいて、前記第1モードおよび前記第2モード間の切替の要否を判断する請求項1記載の撮像装置。
  3. 前記制御部は、前記第1モードが設定されている場合において、前記フォーカスレンズの位置が収束し、かつ、前記フォーカスレンズの位置と前記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きいことを前記所定条件とし、前記所定条件を満たす場合には、前記第2モードを設定する制御を行う請求項1記載の撮像装置。
  4. 前記制御部は、前記第2モードが設定されている場合において、前記フォーカスレンズの位置と前記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さいことを前記所定条件とし、前記所定条件を満たす場合には、前記第1モードを設定する制御を行う請求項1記載の撮像装置。
  5. 前記制御部は、前記第2モードが設定されている場合において、前記フォーカスレンズの位置と前記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さく、かつ、前記推定された合焦位置の履歴の重み分散が閾値を基準として小さいことを前記所定条件とし、前記所定条件を満たす場合には、前記第1モードを設定する制御を行う請求項1記載の撮像装置。
  6. 前記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
    前記制御部は、前記検出された姿勢の変化が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記切替の要否を判断する
    請求項2記載の撮像装置。
  7. 前記制御部は、前記第1画像における輝度検波値と、前記第2画像における輝度検波値との差分値が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記切替の要否を判断する請求項2記載の撮像装置。
  8. 前記制御部は、前記第1画像の生成時における絞り値と、前記第2画像の生成時における絞り値との差分値が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記切替の要否を判断する請求項2記載の撮像装置。
  9. 前記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
    前記制御部は、前記検出された姿勢の変化が閾値を基準として大きい場合には、前記第1モードを設定する制御を行う
    請求項1記載の撮像装置。
  10. 前記制御部は、前記第1画像における輝度検波値と、前記第2画像における輝度検波値との差分値が閾値を基準として大きい場合には、前記第1モードを設定する制御を行う請求項1記載の撮像装置。
  11. 前記制御部は、前記第1画像の生成時における絞り値と、前記第2画像の生成時における絞り値との差分値が閾値を基準として大きい場合には、前記第1モードを設定する制御を行う請求項1記載の撮像装置。
  12. 第1モードの設定時に、撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第1処理手順と、
    第2モードの設定時に、前記フォーカスレンズが異なる位置となった状態で前記撮像部により生成された第1画像および第2画像に関するマッチング処理結果に基づいて前記フォーカスレンズを移動させてオートフォーカス処理を行う第2処理手順と、
    所定条件に基づいて、前記第1モードと前記第2モードとの何れかを設定する制御を行う制御手順と
    を具備する撮像装置の制御方法。
  13. 第1モードの設定時に、撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第1処理手順と、
    第2モードの設定時に、前記フォーカスレンズが異なる位置となった状態で前記撮像部により生成された第1画像および第2画像に関するマッチング処理結果に基づいて前記フォーカスレンズを移動させてオートフォーカス処理を行う第2処理手順と、
    所定条件に基づいて、前記第1モードと前記第2モードとの何れかを設定する制御を行う制御手順と
    をコンピュータに実行させるプログラム。
JP2011280956A 2011-12-22 2011-12-22 撮像装置、その制御方法およびプログラム Pending JP2013130761A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011280956A JP2013130761A (ja) 2011-12-22 2011-12-22 撮像装置、その制御方法およびプログラム
US14/357,080 US20140320704A1 (en) 2011-12-22 2012-12-17 Imaging apparatus, method of controlling the same, and program
CN201280061533.XA CN103988107A (zh) 2011-12-22 2012-12-17 成像设备、控制成像设备的方法和程序
PCT/JP2012/082626 WO2013094551A1 (ja) 2011-12-22 2012-12-17 撮像装置、その制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011280956A JP2013130761A (ja) 2011-12-22 2011-12-22 撮像装置、その制御方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2013130761A true JP2013130761A (ja) 2013-07-04

Family

ID=48668441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011280956A Pending JP2013130761A (ja) 2011-12-22 2011-12-22 撮像装置、その制御方法およびプログラム

Country Status (4)

Country Link
US (1) US20140320704A1 (ja)
JP (1) JP2013130761A (ja)
CN (1) CN103988107A (ja)
WO (1) WO2013094551A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552630B2 (en) * 2013-04-09 2017-01-24 Honeywell International Inc. Motion deblurring
JP6438276B2 (ja) * 2014-11-04 2018-12-12 オリンパス株式会社 顕微鏡システム
CN105635555B (zh) * 2014-11-07 2020-12-29 青岛海尔智能技术研发有限公司 摄像头聚焦控制方法、摄像设备和可穿戴式智能终端
JP6525809B2 (ja) * 2015-08-18 2019-06-05 キヤノン株式会社 焦点検出装置及びその制御方法
JP6896543B2 (ja) * 2017-07-19 2021-06-30 オリンパス株式会社 計測装置および計測装置の作動方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433824B1 (en) * 1906-12-09 2002-08-13 Canon Kabushiki Kaisha Apparatus for picking up images of photographed and unphotographed subjects
JP3823921B2 (ja) * 2002-12-27 2006-09-20 コニカミノルタフォトイメージング株式会社 撮像装置
JP2007139893A (ja) * 2005-11-15 2007-06-07 Olympus Corp 合焦検出装置
KR100806690B1 (ko) * 2006-03-07 2008-02-27 삼성전기주식회사 자동초점 수행 방법 및 이를 이용한 자동초점 조정장치
JP2007248782A (ja) * 2006-03-15 2007-09-27 Olympus Imaging Corp 焦点調節装置およびカメラ
US8121470B2 (en) * 2006-07-25 2012-02-21 Canon Kabushiki Kaisha Focusing device, image pick-up apparatus, and control method
JP2009152725A (ja) * 2007-12-19 2009-07-09 Fujifilm Corp 自動追跡装置及び方法
JP2009294416A (ja) * 2008-06-05 2009-12-17 Sony Corp 撮像装置およびその制御方法
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5113669B2 (ja) * 2008-08-19 2013-01-09 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP2010139666A (ja) * 2008-12-10 2010-06-24 Canon Inc 撮像装置
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
JP5609270B2 (ja) * 2010-05-28 2014-10-22 ソニー株式会社 撮像装置、撮像システム、撮像装置の制御方法およびプログラム
JP5948856B2 (ja) * 2011-12-21 2016-07-06 ソニー株式会社 撮像装置とオートフォーカス方法並びにプログラム

Also Published As

Publication number Publication date
CN103988107A (zh) 2014-08-13
WO2013094551A1 (ja) 2013-06-27
US20140320704A1 (en) 2014-10-30

Similar Documents

Publication Publication Date Title
JP4483930B2 (ja) 撮像装置、その制御方法およびプログラム
JP5484631B2 (ja) 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体
JP5380784B2 (ja) オートフォーカス装置、撮像装置及びオートフォーカス方法
JP4979507B2 (ja) 撮像装置及び撮像方法
US11223774B2 (en) Imaging apparatus, lens apparatus, and method for controlling the same
US8462215B2 (en) Photographing control method and apparatus according to motion of digital photographing apparatus
US9906708B2 (en) Imaging apparatus, imaging method, and non-transitory storage medium storing imaging program for controlling an auto-focus scan drive
JP4907740B2 (ja) 撮像装置
JP2009175478A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
KR101728042B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
US10477101B2 (en) Focus detection apparatus, control method and storage medium
WO2013094551A1 (ja) 撮像装置、その制御方法およびプログラム
WO2013094552A1 (ja) 撮像装置、その制御方法およびプログラム
JP2017129828A (ja) 撮像装置および撮像方法
US10412321B2 (en) Imaging apparatus and image synthesis method
JP2015106116A (ja) 撮像装置
JP5257969B2 (ja) 合焦位置制御装置、及び合焦位置制御方法、合焦位置制御プログラム
JP2019083580A (ja) 画像処理装置、画像処理方法、プログラム
JP5832618B2 (ja) 撮像装置、その制御方法及びプログラム
JP6257186B2 (ja) 撮像装置、撮像方法およびプログラム
JP2013210572A (ja) 撮像装置および撮像装置の制御プログラム
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP6568448B2 (ja) 自動焦点調節装置およびその制御方法、撮像装置
JP2018098764A (ja) 撮像装置および画像合成方法
JP2017058563A (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法