JP2013130762A - 撮像装置、その制御方法およびプログラム - Google Patents

撮像装置、その制御方法およびプログラム Download PDF

Info

Publication number
JP2013130762A
JP2013130762A JP2011280957A JP2011280957A JP2013130762A JP 2013130762 A JP2013130762 A JP 2013130762A JP 2011280957 A JP2011280957 A JP 2011280957A JP 2011280957 A JP2011280957 A JP 2011280957A JP 2013130762 A JP2013130762 A JP 2013130762A
Authority
JP
Japan
Prior art keywords
image
focus
control unit
focus control
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011280957A
Other languages
English (en)
Inventor
Tomonori Shuda
大仁 首田
Takashi Kawai
崇史 川井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011280957A priority Critical patent/JP2013130762A/ja
Priority to US14/357,967 priority patent/US9407811B2/en
Priority to PCT/JP2012/082627 priority patent/WO2013094552A1/ja
Publication of JP2013130762A publication Critical patent/JP2013130762A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】フォーカス制御を迅速に行う。
【解決手段】撮像装置は、フォーカス制御部を具備する撮像装置である。このフォーカス制御部は、画像におけるコントラストと、２画像マッチング処理の処理結果とに基づいてフォーカス制御を行うものである。その画像は、撮像部により生成された画像である。また、２画像マッチング処理は、フォーカスレンズが異なる位置となった状態で、その撮像部により生成された２つの画像を用いて行われる処理である。
【選択図】図２

Description

本技術は、撮像装置に関する。詳しくは、フォーカス制御を行う撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、風景や人物等の被写体を撮像して画像（画像データ）を生成し、生成された画像を画像コンテンツとして記録するデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が広く普及している。また、ユーザ操作による撮像動作の失敗を防止するため、フォーカス制御を自動で行う撮像装置が多数提案されている。
例えば、画像データのコントラストの高低を利用してフォーカス制御を行う撮像装置が提案されている。また、例えば、異なる焦点距離で撮像された２つの画像を用いて、フォーカスレンズを移動させる位置を推定する撮像装置が提案されている（例えば、特許文献１参照。）。
特開２０１１−１２８６２３号公報
上述の従来技術では、画像データを用いてフォーカス制御を行うことができるため、フォーカス制御を行うための追加デバイスを撮像装置に設ける必要がない。
しかしながら、被写体や撮影状況によっては、合焦位置とは異なる位置にフォーカスレンズを移動させたり、合焦位置にフォーカスレンズを移動させる時間が長くなったりすることがある。そこで、被写体や撮影状況にかかわらず、フォーカス制御を迅速に行うことが重要である。
本技術はこのような状況に鑑みて生み出されたものであり、フォーカス制御を迅速に行うことを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、撮像部により生成された画像におけるコントラストと、フォーカスレンズが異なる位置となった状態で上記撮像部により生成された２つの画像を用いた２画像マッチング処理の処理結果とに基づいてフォーカス制御を行うフォーカス制御部を具備する撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、画像におけるコントラストと、２画像マッチング処理の処理結果とに基づいてフォーカス制御を行うという作用をもたらす。
また、この第１の側面において、上記フォーカス制御部は、上記コントラストに基づいてフォーカスレンズを移動させる際に、上記２画像マッチング処理の処理結果に基づいて上記フォーカスレンズの追加移動量を決定するようにしてもよい。これにより、コントラストに基づいてフォーカスレンズを移動させる際に、２画像マッチング処理の処理結果に基づいてフォーカスレンズの追加移動量を決定するという作用をもたらす。
また、この第１の側面において、上記フォーカス制御部は、上記フォーカスレンズの位置と上記２画像マッチング処理の処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きい場合にのみ、上記追加移動量を決定するようにしてもよい。これにより、フォーカスレンズの位置と２画像マッチング処理の処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きい場合にのみ、追加移動量を決定するという作用をもたらす。
また、この第１の側面において、上記フォーカス制御部は、上記コントラストに基づくフォーカスレンズの移動方向と、上記推定された合焦位置に基づくフォーカスレンズの移動方向とが一致した場合にのみ、上記追加移動量を決定するようにしてもよい。これにより、コントラストに基づくフォーカスレンズの移動方向と、推定された合焦位置に基づくフォーカスレンズの移動方向とが一致した場合にのみ、追加移動量を決定するという作用をもたらす。
また、この第１の側面において、上記フォーカス制御部は、上記一致した移動方向への上記追加移動量を決定するようにしてもよい。これにより、一致した移動方向への追加移動量を決定するという作用をもたらす。
また、この第１の側面において、上記フォーカス制御部は、上記差分に基づいて上記追加移動量を算出するようにしてもよい。これにより、その差分に基づいて追加移動量を算出するという作用をもたらす。
また、この第１の側面において、上記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、上記フォーカス制御部は、上記検出された姿勢の変化が閾値を基準として大きい場合における上記マッチング処理結果を上記履歴として用いずに上記追加移動量を決定するようにしてもよい。これにより、検出された姿勢の変化が閾値を基準として大きい場合におけるマッチング処理結果を、履歴として用いずに追加移動量を決定するという作用をもたらす。
また、この第１の側面において、上記フォーカス制御部は、上記第１画像における輝度検波値と、上記第２画像における輝度検波値との差分値が閾値を基準として大きい場合における上記マッチング処理結果を上記履歴として用いずに上記追加移動量を決定するようにしてもよい。これにより、第１画像における輝度検波値と、第２画像における輝度検波値との差分値が閾値を基準として大きい場合におけるマッチング処理結果を、履歴として用いずに追加移動量を決定するという作用をもたらす。
また、この第１の側面において、上記フォーカス制御部は、上記第１画像の生成時における絞り値と、上記第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合における上記マッチング処理結果を上記履歴として用いずに上記追加移動量を決定するようにしてもよい。これにより、第１画像の生成時における絞り値と、第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合におけるマッチング処理結果を、履歴として用いずに追加移動量を決定するという作用をもたらす。
また、この第１の側面において、上記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、上記フォーカス制御部は、上記検出された姿勢の変化が閾値を基準として大きい場合には、上記２画像マッチング処理の処理結果を用いずに上記フォーカス制御を行うようにしてもよい。これにより、検出された姿勢の変化が閾値を基準として大きい場合には、２画像マッチング処理の処理結果を用いずにフォーカス制御を行うという作用をもたらす。
また、この第１の側面において、上記フォーカス制御部は、上記第１画像における輝度検波値と、上記第２画像における輝度検波値との差分値が閾値を基準として大きい場合には、上記２画像マッチング処理の処理結果を用いずに上記フォーカス制御を行うようにしてもよい。これにより、第１画像における輝度検波値と、第２画像における輝度検波値との差分値が閾値を基準として大きい場合には、２画像マッチング処理の処理結果を用いずにフォーカス制御を行うという作用をもたらす。
また、この第１の側面において、上記フォーカス制御部は、上記第１画像の生成時における絞り値と、上記第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合には、上記２画像マッチング処理の処理結果を用いずに上記フォーカス制御を行うようにしてもよい。これにより、第１画像の生成時における絞り値と、第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合には、２画像マッチング処理の処理結果を用いずにフォーカス制御を行うという作用をもたらす。
本技術によれば、フォーカス制御を迅速に行うことができるという優れた効果を奏し得る。
本技術の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。 本技術の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 本技術の第１の実施の形態におけるフォーカス制御部２７０がコントラストＡＦ処理を行う際におけるコントラストの評価値と撮像された画像との関係例を示す図である。 本技術の第１の実施の形態におけるフォーカス制御部２７０による２画像マッチング処理の一例を模式的に示す図である。 本技術の第１の実施の形態におけるフォーカスレンズの合焦位置からの距離と、２画像マッチング処理の演算結果との相関を示す適合曲線を示す図である。 本技術の第１の実施の形態におけるフォーカス制御部２７０によるＡＦ処理の流れの一例を模式的に示す図である。 本技術の第１の実施の形態におけるフォーカス制御部２７０による２画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。 本技術の第１の実施の形態におけるフォーカス制御部２７０による２画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。 本技術の第１の実施の形態におけるフォーカス制御部２７０による２画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。 本技術の第１の実施の形態における撮像装置１００によるＡＦ処理の処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態における撮像装置１００による２画像マッチング処理の処理手順のうちの判定処理手順を示すフローチャートである。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（フォーカス制御：コントラストＡＦ処理を行う際に２画像マッチング処理の処理結果を用いてフォーカスレンズの追加移動量を決定する例）
＜１．第１の実施の形態＞
［撮像装置の内部構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
撮像装置１００は、撮像レンズ１０１と、撮像素子１０２と、アナログ信号処理部１０３と、Ａ／Ｄ（Analog/Digital）変換部１０４と、デジタル信号処理部１０５とを備える。また、撮像装置１００は、液晶パネル１０６と、ビューファインダ１０７と、記録デバイス１０８と、被写体検出部１０９と、ジャイロセンサ１１０と、制御部１２０とを備える。また、撮像装置１００は、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）１３１を備える。また、撮像装置１００は、ＲＯＭ（Read Only Memory）１３２と、ＲＡＭ（Random Access Memory）１３３とを備える。また、撮像装置１００は、操作部１４０と、ＴＧ（Timing Generator）１５１と、モータドライバ１５２と、フォーカスレンズ駆動モータ１５３と、ズームレンズ駆動モータ１５４とを備える。また、撮像装置１００は、例えば、ＡＦ（Auto Focus）処理を行うことが可能なデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）により実現される。
撮像レンズ１０１は、被写体からの光を集光してその集光された光を撮像素子１０２に供給するレンズであり、ズームレンズ、フォーカスレンズ、アイリス、ＮＤ（Neutral Density）機構、シフト防振式手ブレ補正レンズ等から構成されている。ズームレンズは、焦点距離を連続的に変更するためのレンズである。また、フォーカスレンズは、被写体にフォーカス（焦点）を合わせるためのレンズである。また、アイリスは、絞りの径を変化させるためのものである。また、ＮＤ機構は、ＮＤフィルタを挿入するための機構である。また、シフト防振式手ブレ補正レンズは、撮像動作時におけるユーザの手の振動を補正するためのレンズである。また、フォーカスレンズは、フォーカスレンズ駆動モータ１５３により駆動され、被写体に対して前後に移動する。これにより、フォーカス機能が実現される。また、ズームレンズは、ズームレンズ駆動モータ１５４により駆動され、被写体に対して前後に移動する。これにより、ズーム機能が実現される。
撮像素子１０２は、撮像レンズ１０１を介して入射される被写体からの光を受光して電気的信号（画像信号）に変換させる光電変換素子であり、この変換により生成された画像信号（アナログ信号）をアナログ信号処理部１０３に供給する。すなわち、撮像レンズ１０１を介して入射された被写体の光学像が撮像素子１０２の撮像面に結像され、この状態で撮像素子１０２が撮像動作を行うことにより、画像信号（アナログ信号）が生成される。また、撮像素子１０２は、ＴＧ１５１により駆動される。なお、撮像素子１０２として、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いることができる。
アナログ信号処理部１０３は、制御部１２０の制御に基づいて、撮像素子１０２から供給された画像信号（アナログ信号）についてノイズ除去等のアナログ処理を施すものである。そして、アナログ信号処理部１０３は、そのアナログ処理が施された画像信号（アナログ信号）をＡ／Ｄ変換部１０４に供給する。
Ａ／Ｄ変換部１０４は、制御部１２０の制御に基づいて、アナログ信号処理部１０３から供給された画像信号（アナログ信号）をデジタル信号に変換するものであり、このＡ／Ｄ変換された画像信号（デジタル信号）をデジタル信号処理部１０５に供給する。
デジタル信号処理部１０５は、制御部１２０の制御に基づいて、Ａ／Ｄ変換部１０４から供給された画像信号（デジタル信号）についてガンマ補正等のデジタル処理を行うものであり、デジタル処理が施された画像信号（デジタル信号）を各部に供給する。例えば、デジタル信号処理部１０５は、デジタル処理が施された画像信号（デジタル信号）を液晶パネル１０６およびビューファインダ１０７に供給して表示させる。また、デジタル信号処理部１０５は、デジタル処理が施された画像信号（デジタル信号）について圧縮処理を施し、この圧縮処理が施された画像データ（圧縮画像データ）を記録デバイス１０８に供給して記録させる。
液晶パネル１０６は、デジタル信号処理部１０５から供給された画像信号（画像データ）に基づいて各画像を表示する表示パネルである。液晶パネル１０６は、例えば、デジタル信号処理部１０５から供給された画像信号（画像データ）をスルー画像として表示する。また、例えば、液晶パネル１０６は、記録デバイス１０８に記録されている画像データを一覧画像として表示する。液晶パネル１０６として、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）パネル等の表示パネルを用いることができる。
ビューファインダ１０７は、デジタル信号処理部１０５から供給された画像信号（画像データ）に基づいて各画像を表示する電子ビューファインダ（ＥＶＦ（Electronic View Finder）である。
記録デバイス１０８は、デジタル信号処理部１０５から供給された画像信号（画像データ）を記録する記録デバイスである。また、記録デバイス１０８は、記録されている画像データをデジタル信号処理部１０５に供給する。なお、記録デバイス１０８は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。また、記録デバイス１０８として、フラッシュメモリやＤＶテープを用いることができる。
被写体検出部１０９は、制御部１２０の制御に基づいて、デジタル信号処理部１０５から供給された画像信号（画像データ）の解析を行い、その画像に含まれる被写体を検出するものであり、この検出結果（検出情報）を制御部１２０に出力する。例えば、被写体検出部１０９は、デジタル信号処理部１０５から供給された画像信号（画像データ）に対応する画像に含まれる人物の顔を検出し、この検出された顔に関する顔情報を制御部１２０に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、画像データに含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔の画像上における位置およびサイズが含まれる。また、被写体検出部１０９は、デジタル信号処理部１０５から供給された画像信号（画像データ）についてＡＦを追従する被写体を認識する機能を備える。
ジャイロセンサ１１０は、撮像装置１００の角速度を検出するものであり、検出された角速度を制御部１２０に出力する。ジャイロセンサ１１０による撮像装置１００の角速度の検出により、撮像装置１００の姿勢の変化が検出される。なお、ジャイロセンサ以外の他のセンサ（例えば、加速度センサ）を用いて、撮像装置１００の加速度、動き、傾き等を検出し、この検出結果に基づいて、撮像装置１００の姿勢およびその変化を検出するようにしてもよい
制御部１２０は、ＣＰＵ（Central Processing Unit）を備え、ＲＯＭ１３２に格納されているプログラムに基づいて、撮像装置１００が実行する各種処理の制御を実行する。例えば、制御部１２０は、被写体にフォーカスを合わせるＡＦ機能、明るさの調節を行うＡＥ（Auto Exposure）機能、ホワイトバランスを行うＷＢ（White Balance）機能等の各機能を実現するための各処理を行う。また、制御部１２０は、ＡＦ、マニュアル操作、ズーム操作に応じたフォーカスの追従等によるフォーカスレンズに関する制御情報や、ズーム操作によるズームレンズに関する制御情報等をモータドライバ１５２に出力する。
ＥＥＰＲＯＭ１３１は、撮像装置１００が電源オフの間もデータを保持することが可能な不揮発性メモリであり、画像データ、各種補助情報、各種設定情報が格納される。
ＲＯＭ１３２は、制御部１２０が使用するプログラムや演算パラメータ等を格納するメモリである。
ＲＡＭ１３３は、制御部１２０が使用するプログラムやその実行時において適宜変化するパラメータ等を格納する作業用のメモリである。
操作部１４０は、ＲＥＣボタン（録画ボタン）、ズーム操作、タッチパネル操作等のユーザからの操作入力を受け付けるものであり、受け付けられた操作入力の内容を制御部１２０に供給する。
ＴＧ１５１は、制御部１２０の制御に基づいて、撮像素子１０２を駆動させるための駆動制御信号を生成し、撮像素子１０２を駆動させるものである。
モータドライバ１５２は、制御部１２０の制御に基づいて、フォーカスレンズ駆動モータ１５３およびズームレンズ駆動モータ１５４を駆動させて各レンズ（フォーカスレンズ、ズームレンズ等）を駆動させるものである。すなわち、モータドライバ１５２は、制御部１２０から出力された制御信号（各モータを動かすための制御情報）を電圧に変換し、この変換された各電圧をフォーカスレンズ駆動モータ１５３、ズームレンズ駆動モータ１５４に出力する。そして、モータドライバ１５２は、各モータを駆動させて各レンズを駆動させる。
フォーカスレンズ駆動モータ１５３は、モータドライバ１５２から出力された電圧に基づいて、フォーカスレンズを移動させるモータである。また、ズームレンズ駆動モータ１５４は、モータドライバ１５２から出力された電圧に基づいて、ズームレンズを移動させるモータである。
［撮像装置の機能構成例］
図２は、本技術の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
撮像装置１００は、姿勢検出部２１０と、撮像部２２０と、画像処理部２３０と、記録制御部２４０と、コンテンツ記憶部２４１と、表示制御部２５０と、表示部２５１とを備える。また、撮像装置１００は、制御部２６０と、フォーカス制御部２７０と、履歴情報保持部２７１と、操作受付部２９０とを備える。
姿勢検出部２１０は、撮像装置１００の姿勢の変化（角速度）を検出するものであり、検出された姿勢の変化（角速度）に関する情報（姿勢情報）を制御部２６０に出力する。この姿勢情報は、制御部２６０を介してフォーカス制御部２７０に供給される。なお、姿勢検出部２１０は、図１に示すジャイロセンサ１１０に対応する。
撮像部２２０は、画像データ（画像信号）を生成するものであり、生成された画像データを画像処理部２３０、フォーカス制御部２７０に出力する。また、撮像部２２０は、フォーカス制御部２７０の制御に基づいて、フォーカスレンズを移動させてＡＦ機能を実現する。なお、撮像部２２０は、例えば、図１に示す撮像レンズ１０１、撮像素子１０２、フォーカスレンズ駆動モータ１５３およびズームレンズ駆動モータ１５４に対応する。
画像処理部２３０は、制御部２６０の指示に基づいて、撮像部２２０から出力された画像データについて各種画像処理を施すものであり、各種画像処理が施された画像データを記録制御部２４０、表示制御部２５０および制御部２６０に出力する。なお、画像処理部２３０は、例えば、図１に示すアナログ信号処理部１０３、Ａ／Ｄ変換部１０４およびデジタル信号処理部１０５に対応する。
記録制御部２４０は、制御部２６０の指示に基づいて、コンテンツ記憶部２４１に対する記録制御を行うものである。例えば、記録制御部２４０は、画像処理部２３０から出力された画像データを画像コンテンツ（静止画ファイルまたは動画ファイル）としてコンテンツ記憶部２４１に記録させる。なお、記録制御部２４０は、例えば、図１に示すデジタル信号処理部１０５および制御部２６０に対応する。
コンテンツ記憶部２４１は、記録制御部２４０の制御に基づいて、各種情報（画像コンテンツ等）を記憶する記録媒体である。なお、コンテンツ記憶部２４１は、例えば、図１に示す記録デバイス１０８に対応する。
表示制御部２５０は、制御部２６０の指示に基づいて、画像処理部２３０から出力された画像を表示部２５１に表示させるものである。なお、表示制御部２５０は、例えば、図１に示すデジタル信号処理部１０５および制御部１２０に対応する。
表示部２５１は、表示制御部２５０の制御に基づいて各画像を表示する表示パネルである。なお、表示部２５１は、例えば、図１に示す液晶パネル１０６、ビューファインダ１０７に対応する。
制御部２６０は、メモリ（図示せず）に格納されている制御プログラムに基づいて撮像装置１００における各部を制御するものである。なお、制御部２６０は、例えば、図１に示す制御部１２０に対応する。
フォーカス制御部２７０は、撮像モードが設定されている場合において、フォーカスレンズを移動させてオートフォーカス処理を行うものである。例えば、フォーカス制御部２７０は、撮像部２２０により生成された画像におけるコントラストと、２画像マッチング処理の処理結果とに基づいてフォーカス制御を行う。具体的には、フォーカス制御部２７０は、コントラストＡＦ処理によりフォーカスレンズを移動させる際に、２画像マッチング処理の処理結果に基づいてフォーカスレンズの追加移動量を決定する。ここで、２画像マッチング処理は、フォーカスレンズが異なる位置となった状態で撮像部２２０により生成された２つの画像を用いて行われる処理である。なお、２画像マッチング処理については、図４、図５を参照して詳細に説明する。また、追加移動量の決定については、図６乃至図９等を参照して詳細に説明する。なお、フォーカス制御部２７０は、例えば、図１に示す制御部１２０、モータドライバ１５２に対応する。
履歴情報保持部２７１は、フォーカス制御部２７０によるマッチング処理結果の履歴を順次保持する保持部である。なお、履歴情報保持部２７１は、例えば、図１に示すＲＡＭ１３３に対応する。
操作受付部２９０は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号（操作信号）を制御部２６０に出力する。なお、操作受付部２９０は、例えば、図１に示す操作部１４０に対応する。
［コントラストＡＦと被写体との関係例］
図３は、本技術の第１の実施の形態におけるフォーカス制御部２７０がコントラストＡＦ処理を行う際におけるコントラストの評価値と撮像された画像との関係例を示す図である。図３では、高輝度の点光源が被写体に含まれる場合における関係例を示す。高輝度の点光源が含まれる被写体は、例えば、暗い空間上に強い１点の光が存在するようなシーンに対応する被写体である。
図３（ａ）には、フォーカスレンズの位置と、コントラストの評価値（ＡＦ評価値）との関係を示す。また、図３（ｂ）には、フォーカスレンズの位置と、撮像された画像（高輝度の点光源を含む画像）との関係を示す。
ここで、コントラストＡＦ処理について説明する。現在、動画の撮像動作中において、自動的に主要被写体にフォーカスを合わせ続ける機能（ＡＦ機能）を備える撮像装置（例えば、デジタルビデオカメラ（例えば、カメラ一体型レコーダ））が広く普及している。このＡＦ機能として、例えば、コントラスト測定に基づくフォーカス制御を行うコントラストＡＦ機能が存在する。このコントラストＡＦ機能では、レンズを介して取得された撮像データのコントラストの高低を判断してフォーカスレンズの位置を決定する。
すなわち、コントラストＡＦ機能では、撮像装置１００において取得される画像のコントラストの大小情報を用いてフォーカス制御を行う。例えば、撮像画像の特定領域をフォーカス制御用の信号取得領域（空間周波数抽出エリア）として設定する。この特定領域は、測距枠（検波枠）とも称される。この特定領域のコントラストが高くなるに応じてフォーカスが合っていると判定され、コントラストが低くなるに応じてフォーカスがずれていると判定される。そこで、コントラストＡＦ機能では、コントラストを最も高くする位置にフォーカスレンズを駆動させて調整する。
具体的には、特定領域の高周波成分を抽出し、この抽出された高周波成分の積分データを生成し、この生成された高周波成分積分データに基づいてコントラストの高低を判定する。
すなわち、フォーカスレンズを複数の位置に移動させながら複数の画像を取得し、各画像の輝度信号についてフィルタ処理（例えば、ハイパスフィルタ）を施すことにより、各画像のコントラスト強度を示すＡＦ評価値を得る。
ここで、フォーカスレンズが存在する位置においてフォーカスが合った被写体が存在する場合には、フォーカスレンズの位置に対するＡＦ評価値は曲線を描く。この曲線のピーク位置（すなわち、画像のコントラスト値が最大となる位置）が合焦位置となる。
このように、コントラストＡＦでは、撮像素子（イメージャ）に結像された画像の情報のみに基づいて合焦動作を行うことができるため、撮像光学系の他に測距光学系を撮像装置に備える必要がない。このため、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に広く普及している。
しかしながら、コントラストＡＦは、被写体がある一定条件を満たす場合には、正しく合焦することができずに、合焦までに長時間を要することがある。被写体がある一定条件を満たす場合は、例えば、図３（ａ）に示すように、高輝度の点光源が被写体に含まれる場合等である。
上述したように、コントラストＡＦでは、フォーカスレンズが合焦位置に近づくのに応じてコントラストの評価値が高くなり、フォーカスレンズが合焦位置から離れるのに応じて低くなる。しかしながら、図３（ａ）に示すように、高輝度の点光源が被写体に含まれる場合には、そのような関係が成立しないことがある。例えば、図３（ｂ）に示すように、高輝度の点光源３１１乃至３１４は、フォーカスレンズが合焦位置（矢印３０１、３２１）から離れるのに応じてエッジを保った状態で面積が大きくなることがある。このため、例えば、図３（ｂ）に示すように、フォーカスレンズの合焦位置（矢印３２１）とは全く異なる位置（矢印３２２）が、曲線３００のピーク位置となり、合焦位置であると判定されることがある。このため、合焦までに長時間を要し、フォーカス制御を高速化することができないおそれがある。
また、合焦位置を推定する方法として、２画像マッチング処理による合焦位置の推定方法が存在する（例えば、特開２０１１−１２８６２３号参照。）。この２画像マッチング処理による合焦位置の推定方法については、図４、図５を参照して詳細に説明する。
［２画像マッチング処理例］
図４は、本技術の第１の実施の形態におけるフォーカス制御部２７０による２画像マッチング処理の一例を模式的に示す図である。なお、図４に示す横軸は、フォーカスレンズの位置を示す軸とする。
２画像マッチング処理は、フォーカスレンズの位置をずらして生成された２つの画像を適合させることにより合焦位置を推定する処理である（例えば、特開２０１１−１２８６２３号参照。）。また、２画像マッチングＡＦ処理は、２画像マッチング処理により推定された合焦位置に基づいてフォーカスレンズを移動させるＡＦ処理である（例えば、特開２０１１−１２８６２３号参照。）。
図４では、撮像部２２０により生成された画像３３１、３３２を、その生成時におけるフォーカスレンズの位置に配置して示す。また、画像３３１は、フォーカスレンズの位置Ａで生成され、画像３３２は、フォーカスレンズの位置Ｂで生成されているものとする。なお、画像３３１は、画像３３２よりも鮮明であるものとする。
２画像マッチング処理では、異なる２つのフォーカスレンズの位置において生成された２つの画像３３１、３３２を用いて合焦位置（矢印３３５）までの距離（矢印３３６）を推定する。また、この演算を複数回数行うことにより精度を向上させることができる。
ここで、画像３３１および３３２に関するボケの変化は、次の式１で与えられる画像変換関数Ｐによってモデル化することができる。なお、式１では、画像３３１をｆＡで示し、画像３３２をｆＢで示す。
ｆＡ＊Ｐ＝ｆＢ … 式１
ここで、＊は、２次元畳み込みを表す。また、画像変換関数Ｐは、次の式２に示すように、ボケカーネルＫによる一連の畳み込みを用いることによって近似することができる。
Ｐ＝Ｋ＊Ｋ＊Ｋ＊…＊Ｋ … 式２
なお、ボケカーネルＫとしては、例えば、次の行列を用いることができる。
ここで、画像３３１および３３２のボケの差の量は、式２における畳み込み数によって測定することができる。すなわち、画像３３１および３３２が一致するまでの畳み込み数によって測定することができる。なお、この測定の演算結果例については、図５に示す。なお、実際に測定する場合には、２つの画像のボケの差は、反復処理を利用して得ることが好ましい。
［適合曲線例］
図５は、本技術の第１の実施の形態におけるフォーカスレンズの合焦位置からの距離と、２画像マッチング処理の演算結果との相関を示す適合曲線を示す図である。図５に示す横軸は、フォーカスレンズの位置を示し、縦軸は、反復数（式２における畳み込み数）を示す。
ここで、図５に示す縦軸の反復数（式２における畳み込み数）は、フォーカスレンズの合焦位置までの距離に対応する値となる。具体的には、図５に示す縦軸の反復数が「０」の場合には、フォーカスレンズの位置が合焦位置となっていることを意味する。例えば、図５において、横軸「４」付近が縦軸の反復数が「０」となる位置である。また、反復数が「０」から離れるのに応じて、フォーカスレンズの位置が合焦位置から離れることを意味する。この場合に、反復数の正負の値は、フォーカスレンズの移動方向を意味する。
ここで、２画像マッチング処理に用いる画像について説明する。２画像マッチング処理を行う場合には、例えば、動画のＡＦ中に撮像画像における中央領域（一定の割合）を切り出して演算に用いることができる。ただし、撮像画像における中央領域ではなく、撮像装置１００の利用者により指定された指定領域（撮像画像における領域（例えば、矩形領域））を切り出して演算に用いるようにしてもよい。この場合には、利用者が特にフォーカスを合わせたい被写体にフォーカスを合わせることができる。しかしながら、撮像画像における外周部では、レンズの収差と呼ばれる現象により合焦位置推定精度が悪化するおそれがある。このため、コントラストＡＦモードおよび２画像マッチングＡＦモードの切換え判定精度が悪化したり、２画像マッチングＡＦモードでのＡＦ所要時間が延びたりするおそれがある。このため、撮像画像における中央寄りの領域を指定領域として指定することが好ましい。
また、２画像マッチング処理では、２つの画像を取得するために一定の時間差が必要となる。このため、ユーザが撮像装置１００を動かしている状況（例えば、パンニングやチルティングをしている状況）や、被写体が移動や変形している状況等では、合焦位置の推定精度が低下するおそれがある。
また、２画像マッチング処理では、２つの画像のフォーカスレンズの位置の差を利用するため、撮像部２２０（撮像レンズ１０１）の絞り開口部の大きさが自動露出調整機能等により変化している状況においても、合焦位置の推定精度が低下するおそれがある。
このため、これらのような状況で２画像マッチング処理により合焦位置を推定すると、誤った位置が合焦位置であると推定されるおそれもある。
そこで、本技術の第１の実施の形態では、それらの状況であっても、適切にフォーカス制御を行う例を示す。
［ＡＦ処理例］
図６は、本技術の第１の実施の形態におけるフォーカス制御部２７０によるＡＦ処理の流れの一例を模式的に示す図である。図６では、動画撮像モードが設定されている場合におけるＡＦ処理の流れの一例を示す。
動画撮像モードが設定されている場合には、フォーカス制御部２７０は、コントラストＡＦ処理（３５１）を行うとともに、２画像マッチング処理（３５２）を行う。すなわち、コントラストＡＦ処理（３５１）中に、２画像マッチング処理による合焦位置の推定が行われる（３５２）。そして、２画像マッチング処理によるマッチング処理結果（推定合焦位置）の履歴が履歴情報保持部２７１に順次保持される。
続いて、フォーカス制御部２７０は、第１条件を満たすか否かを判断する（３５３）。ここで、第１条件は、１つ以上の履歴を統合して算出された推定合焦位置と、現在のフォーカスレンズの位置との差分が閾値以上となるという条件である。
ここで、１つ以上の履歴を統合して算出される推定合焦位置（重み付け平均手法により算出される推定合焦位置）は、次の式３により算出される。
ここで、Ｎ個のバイアスなしの２画像マッチング処理の処理結果ｄ１、…、ｄＮは、ｄｉ〜Ｎ（μ，σｉ ２）で取得したものである。なお、Ｎは、２画像マッチング処理に用いられる一対の画像（２つの画像）の数を表す。また、μは、実際の合焦位置までの距離である。また、μの「最尤推定量（ＭＬＥ）」は、重み付き平均により与えられる。また、σｉ ２は、分散である。
そして、第１条件を満たしている場合には（３５３）、フォーカス制御部２７０は、第２条件を満たすか否かを判断する（３５４）。ここで、第２条件は、コントラストＡＦ処理によるフォーカスレンズの移動方向と、２画像マッチング処理によるフォーカスレンズの移動方向とが一致するという条件である。また、２画像マッチング処理によるフォーカスレンズの移動方向は、上述した、１つ以上の履歴を統合して算出された推定合焦位置に基づいて求めることができる。
そして、第２条件を満たしている場合には（３５４）、フォーカス制御部２７０は、コントラストＡＦ処理によるフォーカスレンズの移動について、追加移動量（所定値）を加算してフォーカス制御を行う（３５５）。例えば、１つ以上の履歴を統合して算出された推定合焦位置と、現在のフォーカスレンズの位置との差分に応じて、追加移動量の絶対値を算出することができる。また、その加算方向については、一致した移動方向とすることができる。例えば、その差分が大きくなるのに応じて追加移動値を大きくするように算出することができる。また、例えば、追加移動量Ｍ１として、次の式４により算出される値を用いることができる。
Ｍ１＝Ａ×ＳＢ … 式４
ここで、Ｓは、１つ以上の履歴を統合して算出された推定合焦位置と、現在のフォーカスレンズの位置との差分を表す。また、Ａ、Ｂは、正の実数（すなわち、０＜Ａ、０＜Ｂ）を表す。例えば、０＜Ａ＜１、Ｂ＝１とすることができる。さらに、詳しくは、例えば、Ａ＝０．１〜０．２程度とすることができる。
なお、第２条件を満たしている場合には（３５４）、フォーカス制御部２７０は、コントラストＡＦ処理によるフォーカスレンズの指示速度に、２画像マッチング処理による処理結果に応じた値を加算してフォーカス制御を行うようにしてもよい。
また、第２条件を満たしていない場合には（３５４）、フォーカス制御部２７０は、２画像マッチング処理の処理結果を用いずに、コントラストＡＦ処理によりフォーカス制御を行う（３５６）。すなわち、通常のコントラストＡＦ処理が行われる。
このように、フォーカス制御を行うことにより、フォーカスレンズが合焦位置から遠い場合には、さらに高速にフォーカスレンズを移動させることができる。また、フォーカスレンズが合焦位置の付近に存在する場合には、コントラストＡＦ処理のみを行うため、さらに精度よく合焦させることができる。
なお、この例では、推定合焦位置とフォーカスレンズの位置との差分に応じて追加移動量を決定する例を示したが、追加移動量を固定値とするようにしてもよい。
このように、フォーカス制御部２７０は、フォーカスレンズの位置と、２画像マッチング処理の処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きい場合にのみ、追加移動量を決定する。この場合に、フォーカス制御部２７０は、コントラストに基づくフォーカスレンズの移動方向と、その推定された合焦位置に基づくフォーカスレンズの移動方向とが一致した場合にのみ、追加移動量を決定する。例えば、フォーカス制御部２７０は、その一致した移動方向への追加移動量を決定する。また、フォーカス制御部２７０は、その差分に基づいて追加移動量を算出する。
［角速度を用いた２画像マッチング処理の要否判定例］
図７は、本技術の第１の実施の形態におけるフォーカス制御部２７０による２画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。
図７には、撮像部２２０により生成される画像１乃至１２を時系列で示す。なお、図７に示す横軸は、時間軸を示す。また、図７には、画像１乃至１２と、各処理（４０１乃至４０６、４１１乃至４１３等）との関係を矢印で結んで示す。
ここで、動画の撮像動作時においては、ユーザによりパンニング操作やチルティング操作が行われることがある。しかしながら、２画像マッチング処理では、パンニング操作やチルティング操作等により撮像装置１００が動いているような場合（すなわち、２つの画像で光軸方向が異なる場合）には、誤った合焦位置推定結果を出力することが多い。
そこで、２画像マッチング処理に用いる２つの画像の取得時に、姿勢検出部２１０（ジャイロセンサ１１０）は、姿勢の変化（角速度）を検出する（４０１乃至４０６）。続いて、フォーカス制御部２７０は、姿勢検出部２１０（ジャイロセンサ１１０）により検出された姿勢の変化（角速度）が閾値以上であるか否かを判定（２画像マッチング処理の判定処理）する（４１１、４２１、４３１）。
そして、フォーカス制御部２７０は、姿勢の変化（角速度）が閾値未満である場合には、比較対象となった角速度の取得時に対応する２つの画像を用いて２画像マッチング処理を行う（４１２、４２２、４３２）。そして、フォーカス制御部２７０は、その２画像マッチング処理の処理結果を履歴情報として履歴情報保持部２７１に保持させる（４１３、４２３、４３３）。
一方、フォーカス制御部２７０は、姿勢の変化（角速度）が閾値以上である場合には、比較対象となった角速度の取得時に対応する２つの画像を２画像マッチング処理に用いない（４１２、４２２、４３２）。すなわち、フォーカス制御部２７０は、姿勢の変化（角速度）が閾値（例えば、０）を基準として大きい場合におけるマッチング処理結果を履歴として用いずに、追加移動量を決定する。
ここで、姿勢の変化（角速度）に関する閾値は、画角が広くなるのに応じて高くなるように設定することが望ましい。ただし、閾値を設定する場合には、他の状況（例えば、手振れ補正の状況）等も考慮することが望ましい。
また、フォーカス制御部２７０は、姿勢の変化（角速度）が閾値を基準として大きい場合には、２画像マッチング処理の処理結果を用いずにフォーカス制御を行うようにしてもよい。
［輝度検波値を用いた２画像マッチング処理の要否判定例］
図８は、本技術の第１の実施の形態におけるフォーカス制御部２７０による２画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。
図８には、撮像部２２０により生成される画像１乃至１２を時系列で示す。なお、図８に示す横軸は、時間軸を示す。また、図８には、画像１乃至１２と、各処理（４５１乃至４５６、４１５、４２５、４３５等）との関係を矢印で結んで示す。なお、図８に示す各処理（４１２、４１３、４２２、４２３、４３２、４３３）については、図７に示す各処理（４１２、４１３、４２２、４２３、４３２、４３３）に対応するものであるため、同一の符号を付してここでの説明の一部を省略する。
ここで、動画の撮像動作時においては、被写体の移動や変形が発生し得る。しかしながら、２画像マッチング処理では、２つの画像で被写体の位置や形が異なるような場合には、誤った合焦位置推定結果を出力することが多い。
そこで、２画像マッチング処理に用いる２つの画像の取得時に、フォーカス制御部２７０は、撮像部２２０により生成された画像における輝度検波値を算出する（４５１乃至４５６）。続いて、フォーカス制御部２７０は、その算出された２つの輝度検波値の差分値が閾値以上であるか否かを判定（２画像マッチング処理の判定処理）する（４１５、４２５、４３５）。なお、輝度検波値は、例えば、画像における検波枠内の輝度値の合計値または平均値である。
そして、２つの輝度検波値の差分値が閾値未満である場合には、被写体が移動や変形をしていないと判断することができる。このため、フォーカス制御部２７０は、その２つの輝度検波値の算出時に対応する２つの画像を用いて２画像マッチング処理を行う（４１２、４２２、４３２）。そして、フォーカス制御部２７０は、その２画像マッチング処理の処理結果を履歴情報として履歴情報保持部２７１に保持させる（４１３、４２３、４３３）。
一方、２つの輝度検波値の差分値が閾値以上である場合には、被写体が移動や変形をしていると判断することができる。このため、フォーカス制御部２７０は、その２つの輝度検波値の算出時に対応する２つの画像を２画像マッチング処理に用いない（４１２、４２２、４３２）。すなわち、フォーカス制御部２７０は、２つの輝度検波値の差分値が閾値を基準として大きい場合におけるマッチング処理結果を履歴として用いずに、追加移動量を決定する。
また、フォーカス制御部２７０は、２つの輝度検波値の差分値が閾値を基準として大きい場合には、２画像マッチング処理の処理結果を用いずにフォーカス制御を行うようにしてもよい。
［絞り値を用いた２画像マッチング処理の要否判定例］
図９は、本技術の第１の実施の形態におけるフォーカス制御部２７０による２画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。
図９には、撮像部２２０により生成される画像１乃至１２を時系列で示す。なお、図９に示す横軸は、時間軸を示す。また、図９には、画像１乃至１２と、各処理（４６１乃至４６６、４１６、４２６、４３６等）との関係を矢印で結んで示す。なお、図９に示す各処理（４１２、４１３、４２２、４２３、４３２、４３３）については、図７に示す各処理（４１２、４１３、４２２、４２３、４３２、４３３）に対応するものであるため、同一の符号を付してここでの説明の一部を省略する。
ここで、動画の撮像動作時においては、自動露出制御機能等により、絞りの開口部の大きさが変化することがある。ここで、２画像マッチング処理は、画像のボケ具合を用いて合焦位置を推定するものである。このため、絞りの開口部の大きさが変化する場合等のように、２つの画像で点拡がり関数の形や焦点深度の深さが異なる状況となった場合には、誤った合焦位置推定結果を出力することが多い。
そこで、２画像マッチング処理に用いる２つの画像の取得時に、フォーカス制御部２７０は、撮像部２２０における絞り値（Ｆ値）を取得する（４６１乃至４６６）。続いて、フォーカス制御部２７０は、その取得された２つの絞り値の差分値が閾値以上であるか否かを判定（２画像マッチング処理の判定処理）する（４１６、４２６、４３６）。
そして、フォーカス制御部２７０は、２つの絞り値の差分値が閾値未満である場合には、その２つの絞り値の取得時に対応する２つの画像を用いて２画像マッチング処理を行う（４１２、４２２、４３２）。そして、フォーカス制御部２７０は、その２画像マッチング処理の処理結果を履歴情報として履歴情報保持部２７１に保持させる（４１３、４２３、４３３）。
一方、フォーカス制御部２７０は、２つの絞り値の差分値が閾値以上である場合には、その２つの絞り値の算出時に対応する２つの画像を２画像マッチング処理に用いない（４１２、４２２、４３２）。すなわち、フォーカス制御部２７０は、２つの絞り値の差分値が閾値（例えば、０）を基準として大きい場合におけるマッチング処理結果を履歴として用いずに、追加移動量を決定する。
また、フォーカス制御部２７０は、２つの絞り値の差分値が閾値を基準として大きい場合には、２画像マッチング処理の処理結果を用いずにフォーカス制御を行うようにしてもよい。
なお、図７乃至図９では、２フレーム間隔で各情報（角速度、輝度検波値、絞り値）を得る例を示したが、フレーム毎に各情報を得るようにしてもよく、３以上のフレーム間隔で各情報を得るようにしてもよい。
また、図７乃至図９では、２フレーム毎の各情報（角速度、輝度検波値、絞り値）のそれぞれを用いて２画像マッチング処理の要否判定を行う例を示した。ただし、これらの全ての情報（角速度、輝度検波値、絞り値）を用いて２画像マッチング処理の要否判定を行うようにしてもよい。なお、この例については、図１０および図１１に示す。
［撮像装置の動作例］
図１０は、本技術の第１の実施の形態における撮像装置１００によるＡＦ処理の処理手順の一例を示すフローチャートである。この処理手順では、動画撮像モードの設定時において、撮像部２２０により画像が生成される毎に行う例を示す。また、この処理手順では、２フレーム間隔で２画像マッチング処理に用いる２つの画像を取得する場合における例を示す。
最初に、フォーカス制御部２７０は、２画像マッチング処理に用いられる２つの画像（第１画像および第２画像）を取得済であるか否かを判断する（ステップＳ９０１）。そして、２つの画像が取得されていない場合（１つの画像のみが取得されている場合を含む）には（ステップＳ９０１）、ステップＳ９０５に進む。
２つの画像が取得されている場合には（ステップＳ９０１）、フォーカス制御部２７０は、２画像マッチング処理の判定処理を行う（ステップＳ９２０）。この判定処理については、図１１を参照して詳細に説明する。
続いて、フォーカス制御部２７０は、２画像マッチング処理の判定処理により、２画像マッチング処理が可能であると判定されたか否かを判断し（ステップＳ９０２）、２画像マッチング処理が不可能であると判定された場合には、ステップＳ９０５に進む。一方、２画像マッチング処理が可能であると判定された場合には（ステップＳ９０２）、フォーカス制御部２７０は、取得された２つの画像を用いて２画像マッチング処理を行う（ステップＳ９０３）。続いて、フォーカス制御部２７０は、その２画像マッチング処理の処理結果を履歴情報として履歴情報保持部２７１に保持させる（ステップＳ９０４）。
続いて、フォーカス制御部２７０は、第１条件（図６に示す）を満たすか否かを判断する（ステップＳ９０５）。第１条件を満たす場合には（ステップＳ９０５）、フォーカス制御部２７０は、第２条件（図６に示す）を満たすか否かを判断する（ステップＳ９０６）。そして、第２条件を満たす場合には（ステップＳ９０５）、フォーカス制御部２７０は、コントラストＡＦ処理によるフォーカスレンズの移動について、追加移動量（所定値）を加算してフォーカス制御を行う（ステップＳ９０７）。
また、第１条件を満たさない場合（ステップＳ９０５）、または、第２条件を満たさない場合には（ステップＳ９０６）、フォーカス制御部２７０は、通常のコントラストＡＦ処理によりフォーカス制御を行う（ステップＳ９０８）。すなわち、２画像マッチング処理の処理結果を用いずにコントラストＡＦ処理によりフォーカス制御が行われる。なお、ステップＳ９０５、Ｓ９０６は、特許請求の範囲に記載の判断手順の一例である。また、ステップＳ９０７は、特許請求の範囲に記載のフォーカス制御手順の一例である。
図１１は、本技術の第１の実施の形態における撮像装置１００による２画像マッチング処理の処理手順のうちの判定処理手順（図１０に示すステップＳ９２０の処理手順）を示すフローチャートである。
最初に、姿勢検出部２１０が、撮像装置１００の姿勢を検出する（ステップＳ９２１）。続いて、フォーカス制御部２７０が、今回検出された撮像装置１００の姿勢と、その直前に検出された撮像装置１００の姿勢とに基づいてその姿勢の変化（角速度）を算出し、この角速度が閾値未満であるか否かを判断する（ステップＳ９２２）。
角速度が閾値未満である場合には（ステップＳ９２２）、フォーカス制御部２７０が、撮像部２２０により生成された画像における輝度検波値を算出する（ステップＳ９２３）。続いて、フォーカス制御部２７０が、今回算出された輝度検波値と、その直前に算出された輝度検波値との差分値が閾値未満であるか否かを判断する（ステップＳ９２４）。
その差分値が閾値未満である場合には（ステップＳ９２４）、フォーカス制御部２７０は、撮像部２２０における絞り値を取得する（ステップＳ９２５）。続いて、フォーカス制御部２７０が、今回取得された絞り値と、その直前に取得された絞り値との差分値が閾値未満であるか否かを判断する（ステップＳ９２６）。
その差分値が閾値未満である場合には（ステップＳ９２６）、フォーカス制御部２７０は、２画像マッチング処理が可能であると判定する（ステップＳ９２７）。
また、角速度が閾値以上である場合には（ステップＳ９２２）、フォーカス制御部２７０は、２画像マッチング処理が不可能であると判定する（ステップＳ９２８）。同様に、輝度検波値の差分値が閾値以上である場合（ステップＳ９２４）、または、絞り値の差分値が閾値以上である場合には（ステップＳ９２６）、フォーカス制御部２７０は、２画像マッチング処理が不可能であると判定する（ステップＳ９２８）。
このように、本技術の第１の実施の形態では、コントラストＡＦ処理が苦手とする高輝度点光源のような被写体についても高速にフォーカス制御を行うことができる。また、推定合焦位置を誤るような２画像マッチング処理の実行を防止することができる。これにより、フォーカスレンズの移動方向や距離の精度が改善することができる。また、ＡＦの誤り率や速度を向上させることができる。また、不要な演算を予め回避することができる。
このように、本技術の第１の実施の形態によれば、２画像マッチング処理を用いて動画撮像動作中におけるＡＦ処理を速度化することができる。
なお、本技術の第１の実施の形態では、撮像部２２０を備える撮像装置１００を例にして説明したが、撮像部を着脱可能な撮像装置（電子機器）に本技術の実施の形態を適用することができる。また、撮像機能付き携帯電話機や撮像機能付き携帯端末装置（例えば、スマートフォン）等の電子機器に本技術の実施の形態を適用することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
なお、本技術は以下のような構成もとることができる。
（１） 撮像部により生成された画像におけるコントラストと、フォーカスレンズが異なる位置となった状態で前記撮像部により生成された２つの画像を用いた２画像マッチング処理の処理結果とに基づいてフォーカス制御を行うフォーカス制御部を具備する撮像装置。
（２） 前記フォーカス制御部は、前記コントラストに基づいてフォーカスレンズを移動させる際に、前記２画像マッチング処理の処理結果に基づいて前記フォーカスレンズの追加移動量を決定する前記（１）に記載の撮像装置。
（３） 前記フォーカス制御部は、前記フォーカスレンズの位置と前記２画像マッチング処理の処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きい場合にのみ、前記追加移動量を決定する前記（２）に記載の撮像装置。
（４） 前記フォーカス制御部は、前記コントラストに基づくフォーカスレンズの移動方向と、前記推定された合焦位置に基づくフォーカスレンズの移動方向とが一致した場合にのみ、前記追加移動量を決定する前記（３）に記載の撮像装置。
（５） 前記フォーカス制御部は、前記一致した移動方向への前記追加移動量を決定する前記（４）に記載の撮像装置。
（６） 前記フォーカス制御部は、前記差分に基づいて前記追加移動量を算出する前記（３）から（５）のいずれかに記載の撮像装置。
（７） 前記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
前記フォーカス制御部は、前記検出された姿勢の変化が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記追加移動量を決定する
前記（３）から（６）のいずれかに記載の撮像装置。
（８） 前記フォーカス制御部は、前記第１画像における輝度検波値と、前記第２画像における輝度検波値との差分値が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記追加移動量を決定する前記（３）から（７）のいずれかに記載の撮像装置。
（９） 前記フォーカス制御部は、前記第１画像の生成時における絞り値と、前記第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記追加移動量を決定する前記（３）から（８）のいずれかに記載の撮像装置。
（１０） 前記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
前記フォーカス制御部は、前記検出された姿勢の変化が閾値を基準として大きい場合には、前記２画像マッチング処理の処理結果を用いずに前記フォーカス制御を行う
前記（１）から（９）のいずれかに記載の撮像装置。
（１１） 前記フォーカス制御部は、前記第１画像における輝度検波値と、前記第２画像における輝度検波値との差分値が閾値を基準として大きい場合には、前記２画像マッチング処理の処理結果を用いずに前記フォーカス制御を行う前記（１）から（１０）のいずれかに記載の撮像装置。
（１２） 前記フォーカス制御部は、前記第１画像の生成時における絞り値と、前記第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合には、前記２画像マッチング処理の処理結果を用いずに前記フォーカス制御を行う前記（１）から（１１）のいずれかに記載の撮像装置。
（１３） 所定条件を満たすか否かを判断する判断手順と、
前記所定条件を満たす場合には、撮像部により生成された画像におけるコントラストと、フォーカスレンズが異なる位置となった状態で前記撮像部により生成された２つの画像を用いた２画像マッチング処理の処理結果とに基づいてフォーカス制御を行うフォーカス制御手順と
を具備する撮像装置の制御方法。
（１４） 所定条件を満たすか否かを判断する判断手順と、
前記所定条件を満たす場合には、撮像部により生成された画像におけるコントラストと、フォーカスレンズが異なる位置となった状態で前記撮像部により生成された２つの画像を用いた２画像マッチング処理の処理結果とに基づいてフォーカス制御を行うフォーカス制御手順と
をコンピュータに実行させるプログラム。
１００ 撮像装置
１０１ 撮像レンズ
１０２ 撮像素子
１０３ アナログ信号処理部
１０４ Ａ／Ｄ変換部
１０５ デジタル信号処理部
１０６ 液晶パネル
１０７ ビューファインダ
１０８ 記録デバイス
１０９ 被写体検出部
１１０ ジャイロセンサ
１２０ 制御部
１３１ ＥＥＰＲＯＭ
１３２ ＲＯＭ
１３３ ＲＡＭ
１４０ 操作部
１５１ ＴＧ
１５２ モータドライバ
１５３ フォーカスレンズ駆動モータ
１５４ ズームレンズ駆動モータ
２１０ 姿勢検出部
２２０ 撮像部
２３０ 画像処理部
２４０ 記録制御部
２４１ コンテンツ記憶部
２５０ 表示制御部
２５１ 表示部
２６０ 制御部
２７０ フォーカス制御部
２７１ 履歴情報保持部
２９０ 操作受付部

Claims (14)

  1. 撮像部により生成された画像におけるコントラストと、フォーカスレンズが異なる位置となった状態で前記撮像部により生成された２つの画像を用いた２画像マッチング処理の処理結果とに基づいてフォーカス制御を行うフォーカス制御部を具備する撮像装置。
  2. 前記フォーカス制御部は、前記コントラストに基づいてフォーカスレンズを移動させる際に、前記２画像マッチング処理の処理結果に基づいて前記フォーカスレンズの追加移動量を決定する請求項１記載の撮像装置。
  3. 前記フォーカス制御部は、前記フォーカスレンズの位置と前記２画像マッチング処理の処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きい場合にのみ、前記追加移動量を決定する請求項２記載の撮像装置。
  4. 前記フォーカス制御部は、前記コントラストに基づくフォーカスレンズの移動方向と、前記推定された合焦位置に基づくフォーカスレンズの移動方向とが一致した場合にのみ、前記追加移動量を決定する請求項３記載の撮像装置。
  5. 前記フォーカス制御部は、前記一致した移動方向への前記追加移動量を決定する請求項４記載の撮像装置。
  6. 前記フォーカス制御部は、前記差分に基づいて前記追加移動量を算出する請求項３記載の撮像装置。
  7. 前記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
    前記フォーカス制御部は、前記検出された姿勢の変化が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記追加移動量を決定する
    請求項３記載の撮像装置。
  8. 前記フォーカス制御部は、前記第１画像における輝度検波値と、前記第２画像における輝度検波値との差分値が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記追加移動量を決定する請求項３記載の撮像装置。
  9. 前記フォーカス制御部は、前記第１画像の生成時における絞り値と、前記第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記追加移動量を決定する請求項３記載の撮像装置。
  10. 前記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
    前記フォーカス制御部は、前記検出された姿勢の変化が閾値を基準として大きい場合には、前記２画像マッチング処理の処理結果を用いずに前記フォーカス制御を行う
    請求項１記載の撮像装置。
  11. 前記フォーカス制御部は、前記第１画像における輝度検波値と、前記第２画像における輝度検波値との差分値が閾値を基準として大きい場合には、前記２画像マッチング処理の処理結果を用いずに前記フォーカス制御を行う請求項１記載の撮像装置。
  12. 前記フォーカス制御部は、前記第１画像の生成時における絞り値と、前記第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合には、前記２画像マッチング処理の処理結果を用いずに前記フォーカス制御を行う請求項１記載の撮像装置。
  13. 所定条件を満たすか否かを判断する判断手順と、
    前記所定条件を満たす場合には、撮像部により生成された画像におけるコントラストと、フォーカスレンズが異なる位置となった状態で前記撮像部により生成された２つの画像を用いた２画像マッチング処理の処理結果とに基づいてフォーカス制御を行うフォーカス制御手順と
    を具備する撮像装置の制御方法。
  14. 所定条件を満たすか否かを判断する判断手順と、
    前記所定条件を満たす場合には、撮像部により生成された画像におけるコントラストと、フォーカスレンズが異なる位置となった状態で前記撮像部により生成された２つの画像を用いた２画像マッチング処理の処理結果とに基づいてフォーカス制御を行うフォーカス制御手順と
    をコンピュータに実行させるプログラム。
JP2011280957A 2011-12-22 2011-12-22 撮像装置、その制御方法およびプログラム Pending JP2013130762A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011280957A JP2013130762A (ja) 2011-12-22 2011-12-22 撮像装置、その制御方法およびプログラム
US14/357,967 US9407811B2 (en) 2011-12-22 2012-12-17 Focus control unit in imaging apparatus, method of controlling the focus control unit and medium for controlling the focus control unit
PCT/JP2012/082627 WO2013094552A1 (ja) 2011-12-22 2012-12-17 撮像装置、その制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011280957A JP2013130762A (ja) 2011-12-22 2011-12-22 撮像装置、その制御方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2013130762A true JP2013130762A (ja) 2013-07-04

Family

ID=48668442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011280957A Pending JP2013130762A (ja) 2011-12-22 2011-12-22 撮像装置、その制御方法およびプログラム

Country Status (3)

Country Link
US (1) US9407811B2 (ja)
JP (1) JP2013130762A (ja)
WO (1) WO2013094552A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5866537B2 (ja) * 2013-11-19 2016-02-17 パナソニックＩｐマネジメント株式会社 撮像装置
JP5866493B2 (ja) 2013-11-19 2016-02-17 パナソニックＩｐマネジメント株式会社 撮像装置
EP3076656B1 (en) * 2015-04-02 2017-03-08 Axis AB Method and system for image stabilization
CN110225235B (zh) * 2018-03-01 2021-03-09 浙江宇视科技有限公司 变倍跟随方法及电动镜头
JP7271188B2 (ja) * 2019-01-10 2023-05-11 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433824B1 (en) * 1906-12-09 2002-08-13 Canon Kabushiki Kaisha Apparatus for picking up images of photographed and unphotographed subjects
JP3823921B2 (ja) * 2002-12-27 2006-09-20 コニカミノルタフォトイメージング株式会社 撮像装置
JP2007139893A (ja) 2005-11-15 2007-06-07 Olympus Corp 合焦検出装置
KR100806690B1 (ko) * 2006-03-07 2008-02-27 삼성전기주식회사 자동초점 수행 방법 및 이를 이용한 자동초점 조정장치
JP2009152725A (ja) 2007-12-19 2009-07-09 Fujifilm Corp 自動追跡装置及び方法
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5113669B2 (ja) 2008-08-19 2013-01-09 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP2010139666A (ja) 2008-12-10 2010-06-24 Canon Inc 撮像装置
US8199248B2 (en) 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
US8027582B2 (en) 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
JP5775679B2 (ja) * 2010-09-08 2015-09-09 オリンパス株式会社 デジタルカメラ

Also Published As

Publication number Publication date
US20140327812A1 (en) 2014-11-06
WO2013094552A1 (ja) 2013-06-27
US9407811B2 (en) 2016-08-02

Similar Documents

Publication Publication Date Title
JP5484631B2 (ja) 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体
US9489747B2 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
JP4872797B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP5380784B2 (ja) オートフォーカス装置、撮像装置及びオートフォーカス方法
JP4979507B2 (ja) 撮像装置及び撮像方法
US8988535B2 (en) Photographing control method and apparatus according to motion of digital photographing apparatus
US9906708B2 (en) Imaging apparatus, imaging method, and non-transitory storage medium storing imaging program for controlling an auto-focus scan drive
JP4907740B2 (ja) 撮像装置
JP2009175478A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2016012811A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JPWO2012132129A1 (ja) 撮像装置、撮像方法およびプログラム
WO2013094552A1 (ja) 撮像装置、その制御方法およびプログラム
WO2013094551A1 (ja) 撮像装置、その制御方法およびプログラム
JP2017129828A (ja) 撮像装置および撮像方法
US10412321B2 (en) Imaging apparatus and image synthesis method
JP2015106116A (ja) 撮像装置
JP2019083580A (ja) 画像処理装置、画像処理方法、プログラム
JP2009092961A (ja) 合焦位置制御装置、及び合焦位置制御方法、合焦位置制御プログラム
JP6257186B2 (ja) 撮像装置、撮像方法およびプログラム
JP2013210572A (ja) 撮像装置および撮像装置の制御プログラム
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP6568448B2 (ja) 自動焦点調節装置およびその制御方法、撮像装置
JP2018098764A (ja) 撮像装置および画像合成方法
JP2013130763A (ja) 撮像装置、その制御方法およびプログラム
WO2020044844A1 (ja) 信号処理装置、信号処理方法、信号処理プログラムおよび撮像装置