JP5932340B2 - 焦点調節装置 - Google Patents

焦点調節装置 Download PDF

Info

Publication number
JP5932340B2
JP5932340B2 JP2012000550A JP2012000550A JP5932340B2 JP 5932340 B2 JP5932340 B2 JP 5932340B2 JP 2012000550 A JP2012000550 A JP 2012000550A JP 2012000550 A JP2012000550 A JP 2012000550A JP 5932340 B2 JP5932340 B2 JP 5932340B2
Authority
JP
Japan
Prior art keywords
focus
subject
main
signal
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012000550A
Other languages
English (en)
Other versions
JP2013140270A (ja
Inventor
森本 庸介
庸介 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012000550A priority Critical patent/JP5932340B2/ja
Publication of JP2013140270A publication Critical patent/JP2013140270A/ja
Application granted granted Critical
Publication of JP5932340B2 publication Critical patent/JP5932340B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像対象に人物などの予め定められた被写体を含む場合に、人物などの特徴部(顔部など)を抽出し、その結果を考慮して焦点調節を行う撮像装置における自動焦点調節装置及び方法に関する。
近年のデジタルビデオカメラ等の撮像装置では、撮像素子から出力された撮影信号に含まれる画像から、人物の顔など特定の被写体を検出し、検出した被写体に対してオートフォーカス(AF)制御を行う機能が搭載されたものがある。AF制御では、撮像素子を用いて生成された映像信号の鮮鋭度(コントラスト)に基づいて合焦位置を検出するTV−AF方式が広く用いられている。具体的には、フォーカスレンズを移動させながら順次撮影して得られた映像信号について、コントラストの程度を示すAF評価値を生成し、AF評価値に基づいて、コントラストが最大となるフォーカスレンズの位置を合焦位置として探索する。ここで、被写体である人物が近づいてくる場合など、被写体距離が変化した場合には合焦位置を再度探索する必要がある。しかしながら、被写体が近付いているか遠ざかっているかが不明であると合焦位置の方向検出に時間がかかってしまい、ピントがボケてしまう。
このような問題を解決するため、人物の顔の大きさの変化を検出することで被写体距離の増減の方向を推測し、合焦位置の方向検出に用いる手法が提案されている(例えば、特許文献1、2参照)。すなわち、顔の大きさが増大していれば被写体距離が近づいていると判定し、至近方向にフォーカスレンズを移動して合焦位置を探索する。これにより、合焦までの時間を短縮し、ピントがボケることを防止することができる。
特開2009−31760号公報 特開2009−251464号公報
顔などの被写体を検出してAF制御を行うカメラでは、例えば、撮影画面内に複数の顔がある場合、カメラが自動的に主被写体となる顔(主顔)を選択したり、主顔を選択する設定手段により撮影者が主顔を選択できたりする等の機能が備えられている。そして、これらの機能により、撮影中に主顔が変更される場合が発生する。しかし、主顔が変更される際に前記した顔の大きさ変化によるAF制御を行っていると、以下のような事態が発生してしまうことがあり得る。
図2(a)は、画面内に被写体AとBの2つの顔が存在し、主顔として被写体Aが選択されている状態である。点線で示した枠内の顔が主顔を表している。AF制御により、主顔である被写体Aは合焦しているが、被写体Bは被写体Aより遠方にいる(被写体距離が大きい)ためピントはボケている。ここで図2(b)のように、被写体Aが画面外に移動したり、撮影者が被写体Bを主顔に選択したりすることで、主顔が被写体Aから被写体Bに変更されたとする。被写体Bは被写体Aより被写体距離が大きいため、合焦させるためにはフォーカスレンズを無限方向に移動する必要がある。しかし、被写体Bがカメラに近づく方向に移動していると、顔の大きさは増大するので、顔の大きさ変化によるAF制御によりフォーカスレンズが至近方向に移動してしまい、図2(c)のように被写体Bがさらにボケてしまう。以上に述べたような事態を回避する手段として、主顔が変更された場合には、まず変更後の主顔(被写体B)に合焦させ、その後に顔の大きさ変化によるAF制御を実行することが考えられるが、この場合でも以下のような事態が発生することがある。
TV−AFのAF評価値は映像信号から生成しているために、被写体Bが移動中であるとAF評価値は映像信号変化によって変動する。被写体Bに合焦させるためにAF評価値が最大となるフォーカスレンズ位置を探索している際に、AF評価値が変動して増減が生じると、その位置が最大であると誤検出して合焦と判定してしまう可能性がある。その結果、被写体Bに合焦していない状態で、顔の大きさ変化によるAF制御を実行し、ピントがボケてしまうことがある。本発明の目的は、顔などの大きさ変化によるAF制御において、前記したように主被写体(主顔など)が変更された場合であっても、主被写体に的確に合焦できる焦点調節装置及び方法を提供することである。
本発明の焦点調節装置は、撮像手段と、被写体検出手段と、主被写体選択手段と、焦点信号生成手段と、合焦判別手段と、制御手段と、を有する。撮像手段は、撮像光学系を構成する焦点調節部材を通して被写体を撮影して映像信号を出力する。被写体検出手段は、前記撮像手段から得られる映像信号に基づいて撮影画面内の1つ以上の所定の被写体を検出する。主被写体選択手段は、前記被写体検出手段により検出された1つ以上の被写体のうち主被写体を選択する。焦点信号生成手段は、前記主被写体選択手段により選択された主被写体の位置を含む撮影画面内の領域から焦点信号を生成する。合焦判別手段は、主被写体が略合焦であるかどうかを判別する。そして、前記制御手段は、前記主被写体選択手段により主被写体が変更された場合、前記焦点調節部材を制御する際に、前記合焦判別手段の判別結果に応じて前記主被写体の大きさの変化に基づいて前記焦点調節部材の移動方向を決定する焦点調節動作を制限する。
また、本発明の自動焦点調節方法は、出力ステップと、被写体検出ステップと、主被写体選択ステップと、焦点信号生成ステップと、合焦判別ステップと、制御ステップと、を有する。出力ステップでは、撮像光学系を構成する焦点調節部材を通して被写体を撮影して映像信号を出力する。被写体検出ステップでは、前記出力ステップで得られる映像信号に基づいて撮影画面内の1つ以上の所定の被写体を検出する。主被写体選択ステップでは、前記被写体検出ステップで検出された1つ以上の被写体のうち主被写体を選択する。焦点信号生成ステップでは、前記主被写体選択ステップで選択された主被写体の位置を含む撮影画面内の領域から焦点信号を生成する。合焦判別ステップでは、主被写体が略合焦であるかどうかを判別する。そして、前記制御ステップでは、前記主被写体選択ステップにおいて主被写体が変更された場合、前記焦点調節部材を制御する際に、前記合焦判別ステップでの判別結果に応じて前記主被写体の大きさの変化に基づいて前記焦点調節部材の移動方向を決定する焦点調節動作を制限する。
以上説明したように、本発明によれば、被写体の移動によりAF評価値が変動している場合においても、主被写体(主顔など)に略合焦しているかを簡易的に判別し、簡易合焦の判別結果に基づいて、主被写体の大きさ変化による追従駆動動作のAF制御を制限する。これにより、主被写体が変更された場合であっても、主被写体の大きさ変化によるAF制御が誤動作してピントがボケてしまうことを抑制し、主被写体に的確に合焦させることができる。一方で、AF評価値が変動して厳密に合焦であるかを判別できない場合にも、略合焦であるかどうかを判別することで、主被写体の大きさ変化によるAF制御を過度に制限することなく、被写体移動中における合焦までの時間を短縮することができる。
本発明の一実施例であるビデオカメラの構成を示すブロック図。 従来技術における、主顔が変更された場合のAF制御の誤動作を示す図。 TV−AF制御の全体的な動作を示すフローチャート図。 TV−AF制御における微小駆動モードの動作を示すフローチャート図。 TV−AF制御における山登りモードの動作を示すフローチャート図。 微小駆動モードのフォーカスレンズ動作を示した図。 山登り駆動モードのフォーカスレンズ動作を示した図。。 本発明の一実施例における簡易合焦判別によるAF制御動作を示すフローチャート図。 本発明の一実施例における簡易合焦判定処理動作を示すフローチャート図。 本発明の一実施例における、顔の大きさ変化によるAF制御動作を示すフローチャート図。
本発明の特徴は、主被写体の大きさ変化を用いたAF制御において、主被写体の切り替わり時に簡易合焦判定を行い、簡易合焦の判別結果に基づいて、主被写体の大きさ変化を用いたAF制御を制限することにある。この考え方に基づき、本発明の焦点調節装置及び方法は、課題を解決するための手段のところで述べた様な基本的な構成を有する。
以下、本発明の実施例を説明する。図1は、本発明の実施例である自動焦点調節装置を含むビデオカメラ(撮像装置)の構成を示す。以下の実施例では、ビデオカメラについて説明するが、本発明はデジタルスチルカメラ等の他の撮像装置にも適用できる。
図1において、101は第1固定レンズ、102は光軸方向に移動して変倍を行う変倍レンズ、103は絞りである。104は第2固定レンズである。105は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えた、撮像用の光学系の焦点調節のためのフォーカスコンペンセータレンズ(以下、フォーカスレンズまたは焦点調節部材ともいう)である。第1固定レンズ101、変倍レンズ102、絞り103、第2固定レンズ104及びフォーカスレンズ105により撮像光学系が構成される。106は、CCDセンサやCMOSセンサにより構成される光電変換素子としての撮像素子である。107は、撮像素子106の出力をサンプリング、ゲイン調整、デジタル化するCDS/AGC/ADコンバータである。108は、CDS/AGC/ADコンバータ107からの出力信号に対して各種の画像処理を施し、映像信号を生成するカメラ信号処理回路(撮像手段を構成する)である。109は、カメラ信号処理回路108からの映像信号を表示する表示装置、110は、カメラ信号処理回路108からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する記録装置である。111は、CDS/AGC/ADコンバータ107からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通すAFゲートであり、後述のカメラ/AFマイコン114で設定された領域(AF枠)について焦点信号を生成できるように構成されている。
112は、焦点信号生成手段を構成する焦点信号処理回路であり、AFゲート111を通過した信号から高周波成分を抽出して焦点信号を生成する。この焦点信号は、撮像素子106からの出力信号に基づいて生成される映像の鮮鋭度(コントラスト状態)を表す値であるが、合焦状態の映像の鮮鋭度は高く、ボケた映像の鮮鋭度は低いので、撮像光学系の焦点状態を表す値として利用できる。焦点信号処理回路112は、前記焦点信号のほか、輝度差信号(AFゲート111を通過した信号の輝度レベルの最大値と最小値の差分)等の信号も生成する。113は、画像信号に対して公知の顔認識処理を施し、撮影画面内の人物の顔領域の位置及び大きさを検出する顔検出処理回路(被写体検出手段を構成する)である。公知の顔認識処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法や、抽出された目、鼻、口等の顔の特徴点からパターン認識を行う方法等が開示されている。顔検出処理回路113は、その検出結果を後述のカメラ/AFマイコン114に送信する。
カメラ/AFマイコン114は、上記検出結果に基づき、撮影画面内の顔領域を含む位置にAF枠を設定するようにAFゲート111へ情報を送信する。ここで、顔検出処理回路113にて複数の顔領域が検出された場合は、その中から焦点調節の対象となる主顔をカメラ/AFマイコン114にて自動で選択する。主顔を選択する処理方法としては、顔の大きさや位置に基づいて、大きさが大きく、位置が画面中央に近い顔を自動的に主顔とする等の公知の手法がある。また、後述する主顔選択操作部117により撮影者が主顔を指定した場合は、その情報に基づいてカメラ/AFマイコン114は撮影者が指定した顔を主顔として選択する。なお、主顔として選択されている被写体が撮影画面外となった場合は、撮影画面内にある他の顔領域の中から再度主顔が選択される。
114は、焦点信号処理回路112の出力信号に基づいて、後述のフォーカスレンズ駆動源116を制御しフォーカスレンズ105を駆動するとともに、記録装置110へ画像記録命令を出力するカメラ/AFマイコンである。前記したAF枠の設定や主顔の選択処理、及び後述する本実施例の各種AF制御処理もカメラ/AFマイコン114で実行される。なお、これらの処理はカメラ/AFマイコン114にて、所定の周期(例えば映像信号の垂直同期信号の発生周期)毎に繰り返し実行される。
115は、変倍レンズ102を移動させるためのアクチュエータ及びその駆動回路を含む変倍レンズ駆動源、116は、フォーカスレンズ105を移動させるためのアクチュエータ及びその駆動回路を含むフォーカスレンズ駆動源である。変倍レンズ駆動源115及びフォーカスレンズ駆動源116は、ステッピングモータ、DCモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。
117は、撮影者が主顔を指定したい場合に手動で操作する主被写体選択手段である主顔選択操作部であり、タッチパネルやスイッチ、操作レバーなどの操作部材が用いられる。撮影者は例えば、表示装置109上に配置されたタッチパネルにて、撮影画面上の顔領域のうち主顔としたい領域をタッチすることで主顔を指定することができる。また、操作部材としてスイッチや操作レバーなどを備えている場合は、これらを操作して撮影画面上の顔領域の中から主顔を順番に切り替えていくことで主顔を指定することができる。
次に、TV−AF制御について説明する。図3は、TV−AF制御の全体的な動作を示すフローチャートである。以下の処理もカメラ/AFマイコン114にて、所定の周期(例えば映像信号の垂直同期信号の発生周期)毎に繰り返し実行される。図3において、Step301では、後述の微小駆動モードであるかを判別し、そうである場合はStep302へ、そうでない場合はStep308へ進む。Step302では、微小駆動動作を行い、フォーカスレンズを所定の振幅で駆動し、合焦しているか、あるいはどちらの方向に合焦点が存在するかを判別する。この詳細な動作は図4で説明する。Step303では、Step302の微小駆動動作によって合焦判別が行われたかどうかを判別し、そうである場合はStep306、そうでない場合はStep304へ進む。Step304では、Step302の微小駆動動作によって方向判別ができたかどうかを判別し、そうである場合はStep305へ遷移して山登り動作へ移行し、そうでない場合はStep301へ戻り微小駆動モードを継続する。Step306では、合焦時の焦点信号レベルをメモリに格納した後、Step307へ進んで再起動判定モードへ移行する。
Step308では、後述する山登り駆動モードであるかを判別し、そうである場合はStep309へ、そうでない場合はStep313へ進む。Step309では、山登り駆動動作を行い、焦点信号が大きくなる方向へ所定の速度でフォーカスレンズを山登り駆動する。この詳細な動作は図5で説明する。Step310では、Step309の山登り駆動動作によって焦点信号のピーク位置が発見されたかどうかを判別し、そうである場合はStep311へ進み、そうでない場合はStep301へ戻り山登り駆動モードを継続する。Step311では、焦点信号がピークとなったフォーカスレンズ位置を目標位置に設定した後、Step312へ進んで停止モードへ移行する。
Step313では、停止モードであるかを判別し、そうである場合はStep314へ、そうでない場合はStep316へ進む。Step314では、フォーカスレンズが焦点信号のピークとなる位置に戻ったかどうかを判別し、そうである場合はStep315へ進んで微小駆動(合焦判別)モードへ移行し、そうでない場合はStep301へ戻り停止モードを継続する。Step316では、現在の焦点信号レベルとStep306で保持した焦点信号レベルを比較し、その変動量が所定値より大きいかどうかを判別する。ここで、変動量が大きいと判断された場合はStep317へ進んで微小駆動(方向判別)モードへの移行を行い、そうでない場合はStep301へ戻り再起動判定モードを継続する。
次に、TV−AF制御における微小駆動モードの動作について説明する。図4は微小駆動モードの動作を示すフローチャートである。図4において、Step401では、微小駆動の動作状態を示すカウンタが現在0であるかを判別し、そうである場合はStep402へ、そうでない場合はStep403へ進む。Step402では、フォーカスレンズ105が至近側にある場合の処理として、現在の焦点信号レベルを保持する。ここでの焦点信号は、後述のStep410でフォーカスレンズ105が無限側にあるときに撮像素子106に蓄積された電荷から生成された映像信号によるものである。Step403では、現在のカウンタが1であるかを判別し、そうである場合はStep404へ、そうでない場合はStep409へ進む。
Step404では、後述のStep408でフォーカスレンズ105を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。Step405では、Step402で保持した無限側の焦点信号レベルと後述のStep410で保持した至近側の焦点信号レベルを比較し、前者が大きい場合はStep406へ、後者が大きい場合はStep407へ進む。Step406では、振動振幅と中心移動振幅を加算し、駆動振幅とする。Step407では、振動振幅を駆動振幅とする。Step408では、Step406またはStep407で求めた駆動振幅に基づき、無限方向へ駆動する。
Step409では、現在のカウンタが2であるかを判別し、そうである場合はStep410へ、そうでない場合はStep411へ進む。Step410では、フォーカスレンズ105が無限側にある場合の処理として、現在の焦点信号レベルを保持する。ここでの焦点信号は、Step402でフォーカスレンズ105が至近側にあるときに撮像素子106に蓄積された電荷から生成された映像信号によるものである。Step411では、後述のStep415でフォーカスレンズ105を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。Step412では、Step410で保持した至近側の焦点信号レベルとStep402で保持した無限側の焦点信号レベルを比較し、前者が大きい場合はStep413へ、後者が大きい場合はStep414へ進む。Step413では、振動振幅と中心移動振幅を加算し、駆動振幅とする。Step414では、振動振幅を駆動振幅とする。Step415では、Step413またはStep414で求めた駆動振幅に基づき、至近方向へ駆動する。
Step416では、現在、方向判別モードであるかを判別し、そうである場合はStep417へ、そうでない場合はStep419へ進む。Step417では、所定回数連続して同一方向に合焦点が存在しているかを判別し、そうである場合はStep418へ、そうでない場合はStep421へ進む。Step418では、方向判別ができたものと判断する。Step419では、フォーカスレンズの移動状態が所定の同一エリア内(所定の幅の範囲内)で往復した回数がしきい値TH1以上であるかを判別する。フォーカスレンズが合焦位置すなわち焦点信号が最大となる位置付近にあれば、焦点信号レベルはフォーカスレンズが無限方向・至近方向のどちらに駆動されても減少するので、微小駆動においてフォーカスレンズは合焦位置付近で往復を繰り返す。したがって前記のように、所定の同一エリア内で往復した回数によってフォーカスレンズが合焦位置付近にあるかどうかを判別できる。所定回数以上反転を繰り返して往復回数がしきい値TH1以上である場合はStep420へ、そうでない場合はStep421へ進む。Step420では合焦判別できたものと判断する。Step421では、微小駆動の動作状態を示すカウンタが3であれば0に戻し、その他の値であればカウンタを加算する。
この微小駆動におけるフォーカスレンズ動作の時間経過を図6に示す。同図上部は映像信号の垂直同期信号であり、下部では、横軸は時間、縦軸はフォーカスレンズ105の位置を表している。ラベルAの時刻に撮像素子106に蓄積された電荷に対する焦点信号EVAは、時刻TAでカメラ/AFマイコン114に取り込まれ、ラベルBの時刻に撮像素子106に蓄積された電荷に対する焦点信号EVBは、時刻TBでカメラ/AFマイコン114に取り込まれる。時刻TCでは焦点信号EVAとEVBを比較し、EVBが大きい場合のみ振動中心を移動する。なお、ここでのフォーカスレンズ105の移動は焦点深度を基準とし、画面で認識できない移動量に設定する。
次に、TV−AF制御における山登りモードの動作について説明する。図5は山登りモードの動作を示すフローチャートである。図5において、Step501では、フォーカスレンズ105の駆動速度を設定する。Step502では、現在の焦点信号レベルが前回より増加しているかを判別し、そうである場合はStep503へ、そうでない場合はStep504へ進む。Step503では、Step501で設定した速度に基づき、フォーカスレンズ105を前回と同じ方向に山登り駆動する。
Step504では、焦点信号レベルがピークを越えて減少しているかどうかを判別し、そうである場合はStep505へ、そうでない場合はStep506へ進む。Step505では、ピーク位置を発見したものと判断する。Step506では、Step501で設定した速度に基づき、フォーカスレンズ105を前回と逆の方向に山登り駆動する。なお、山登り駆動モードでこのStep506を繰り返している場合、被写体の焦点信号の変化量が十分に得られないためにフォーカスレンズ105がハンチング状態にあることを意味する。
この山登り駆動におけるフォーカスレンズ動作を図7に示す。同図において、フォーカスレンズ105がAのように駆動している場合は焦点信号が増加しているため、同じ方向への山登り駆動を継続する。ここで、フォーカスレンズ105をBの範囲で駆動すると焦点信号はピーク位置を越えて減少する。このとき、合焦点が存在するとして山登り駆動動作を終了し、フォーカスレンズ105をピーク位置まで戻した後、微小駆動動作に移行する。一方、Cのようにピーク位置を越えずに焦点信号が減少した場合は、駆動すべき方向を間違えたものとして反転し、山登り駆動動作を継続する。このように、TV−AF方式による焦点調節制御では、再起動判定→微小駆動→山登り駆動→停止→微小駆動→再起動判定を繰り返しながらフォーカスレンズ105を移動させることで、焦点信号が常に最大となるようにして合焦状態を維持する。
次に、本発明の特徴であるところの、主被写体(ここでは主顔)に略合焦しているかを簡易合焦判別手段により簡易的に判別し、略合焦と判別されていない場合は顔の大きさ変化によるAF制御を制限する処理について説明する。図8は処理の全体的な動作を示すフローチャートである。まずStep801にて、顔検出処理回路113から出力される顔検出処理結果(顔の数、大きさ及び位置)を取得する。次にStep802で、顔検出処理結果から撮影画面内に顔領域が存在するかを判別する。顔領域が存在していない場合はStep812に進み、AF枠をデフォルト領域(画面中央)に設定し、Step813で主顔の合焦状態を表す主顔合焦フラグをクリアする。そしてStep814に進んで、図3〜図7で説明したTV−AF制御を実行して処理を終了する。こうした処理は、焦点信号に応じて焦点調節部材を駆動制御して焦点調節を行う第1の焦点調節手段と、主被写体の大きさの変化に基づき焦点調節部材の移動方向を決定し焦点調節を行う第2の焦点調節手段を備える制御手段を含むカメラ/AFマイコン114で行われる。制御手段は、第1及び第2の焦点調節手段を組み合わせて主被写体に合焦させる焦点調節制御手段を備えることもできる。
一方、Step802で顔領域が存在すると判定された場合はStep803に進み、前記した主顔選択処理を実行し主顔を選択する。そしてStep804に進み、AF枠を主顔を含む領域に設定する。次にStep805では、今回の処理で選択された主顔が前回処理時の主顔と異なっているか、すなわち主顔が変更されたかどうかを判別する。なお前回処理で顔領域が存在していなかった場合(今回の処理で初めて顔領域が検出された場合)についても、主顔が前回の処理と異なっていると判別するものとする。主顔が前回と同じである場合はStep807に進む。一方、主顔が前回と異なっていると判別された場合は、主顔が変更され非合焦となっていると考えられるので、Step806で、主顔の合焦状態を表す主顔合焦フラグをクリアし、Step807に進む。
Step807では、後述する顔の大きさ変化によるAF制御を実行する。続いてStep808では、図3〜図7で説明したTV−AF制御を実行し、Step809に進む。Step809では、本発明の特徴である簡易合焦判定処理を行う。ここでの処理の詳細については後述する。Step809にて簡易合焦判定処理を行った後、Step810に進み、簡易合焦判定にて略合焦と判定されたかどうかを判別する。略合焦と判定された場合はStep811に進み、主顔の合焦状態を表す主顔合焦フラグをセットして処理を終了する。略合焦でないと判定された場合はそのまま処理を終了する。以上の処理により、主顔が変更(または初めて顔領域が検出)された場合に、簡易合焦判定処理において略合焦と判定されるまでは、主顔合焦フラグはクリアされた状態となっている。そして主顔変更後、TV−AF制御により主顔に略合焦して以降は、主顔合焦フラグはセットされた状態となる。ここでの主顔合焦フラグの状態は、後述するように、顔の大きさ変化によるAF制御を制限するかどうかの判定に用いられる。
次に、本発明の特徴である簡易合焦判定処理について、図9のフローチャートを用いて説明する。Step901ではまず、前記したTV−AF制御において、図4のStep420で微小駆動での合焦判別ができたかどうかを判別する。合焦と判別されている場合は主顔に合焦しているのでStep905に進み、略合焦であると判定して処理を終了する。そうでない場合はStep902に進む。Step902では、TV−AF制御にて微小駆動モードになっているかを判別する。微小駆動モードでない場合は山登りモード等、合焦位置を探索中であるのでStep906に進み、略合焦していないと判定して処理を終了する。一方、微小駆動モードであると判別された場合はStep903に進む。
Step903では、焦点信号処理回路112の出力から簡易合焦度を算出し、簡易合焦度がしきい値Th2より大きいかどうかを判別する。簡易合焦度としては、映像の鮮鋭度を表す焦点信号(映像信号の高周波成分に基づく第1の焦点信号)のレベルが大きい場合に略合焦と判別することも考えられるが、焦点信号のレベルは撮影された画像のコントラストの大小によっても変わることに注意する必要がある。合焦度をより適切に判別するには、例えば前記焦点信号と前記焦点信号処理回路112で抽出された輝度差信号(映像信号の輝度レベルの最大値と最小値の差に基づく第2の焦点信号)との比を用いるなどの手段を用いることがより望ましい。この輝度差信号は、撮影された画像のコントラストの最大値に相当することから、焦点信号を輝度差信号で割ることで、焦点信号を、撮影された画像のコントラストの大小に対して正規化することができ、簡易的な合焦度の指標として用いることができる。そして、この簡易合焦度が高いほど合焦に近いことから、その大小で合焦度を判別することができる。Step903で簡易合焦度がTH2以下と判別された場合は、合焦度が低いためStep906に進み、略合焦していないと判定して処理を終了する。
一方、簡易合焦度がTH2より大きいと判別された場合はStep904に進む。Step904では、フォーカスレンズが、所定の同一エリア内で往復した回数がしきい値TH3以上であるかを判別する。ここでの判別内容は前記した図4のStep419と同じであるが、閾値が異なっている。TV−AF制御では厳密に合焦判定を行うために、往復回数の閾値TH1を大きく設定しているが、被写体が移動中であるとAF評価値が映像信号変化によって変動するため、略合焦であっても厳密に合焦であると判定されない場合がある。そこでStep904では、閾値TH3を前記TH1より小さい値に設定し、厳密に合焦していなくても略合焦であると判別されるようにする。往復回数がTH3以下と判別された場合はStep906に進み、略合焦していないと判定して処理を終了する。一方、往復回数がTH3より大きいと判別された場合は、フォーカスレンズが合焦位置付近にあると考えられるので、Step905に進んで略合焦であると判定し処理を終了する。
以上の簡易合焦判定処理により、被写体移動中などAF評価値が変動している場合に、AF評価値の最大位置を誤検出して合焦と判定してしまい、非合焦状態で顔の大きさ変化によるAF制御を実行してピントがボケてしまう問題を防止することができる。なおかつ、AF評価値が変動して厳密に合焦であるかどうかを判別できない場合にも、略合焦であるかどうかを判別できるので、顔の大きさ変化によるAF制御を過度に制限することなく、被写体移動中における合焦までの時間を短縮することができる。
なお、以上の説明では、簡易合焦度と、フォーカスレンズの往復回数の両方から略合焦であるかを判別しているが、どちらか一方のみを用いて判別することもできる。また、例えば特開2003−75717号公報に開示されているフォーカスレンズの制御手法を略合焦判定に応用して判定条件に加えてもよい。すなわち、レンズの焦点距離と画像上の顔の大きさから被写体距離を演算し、演算した被写体距離をフォーカスレンズの位置に換算する。ここで得られたフォーカスレンズ位置と、現在のフォーカスレンズ位置との差が所定値以下であれば、略合焦と判定するようにしてもよい。
以下に、顔の大きさ変化によるAF制御、及び、本発明の特徴である顔の大きさ変化によるAF制御を制限する処理について、図10のフローチャートを用いて説明する。Step1001では、前記したTV−AF制御にて微小駆動モードになっているかを判別する。微小駆動モードでない場合は、山登りモード等、既に合焦位置を探索中であるか、または合焦して停止している状態である。よって、Step1010に進み、図8のStep801で取得された現在の主顔の大きさの情報を内部メモリなど(不図示)に記憶して処理を終了する。一方、微小駆動モードであると判定された場合はStep1002に進む。Step1002、Step1003では順次、TV−AF制御にて合焦判別できたか、方向判別できたかを判別する。合焦判別または方向判別ができている場合はStep1010に進み、現在の主顔の大きさの情報を前記内部メモリに記憶して処理を終了する。一方、合焦判別も方向判別もできていない場合はStep1004に進む。
Step1004では、主顔の顔領域が連続して検出されているかを判別する。連続して顔検出されていない(主顔が変更されたか、前回の処理で顔が検出されなかった)場合は、主顔の大きさ変化が判別できないため、Step1010に進んで現在の主顔の大きさの情報を前記内部メモリに記憶し、処理を終了する。一方、連続して顔検出が行われている場合はStep1005に進む。
Step1005では、前記内部メモリに記憶されている直近の顔検出結果と、今回の処理で取得された顔検出結果とを比較し、顔領域の大きさが有意に変化しているかを判定する。ここでの判定は、顔領域の大きさの差(画素数)、または大きさの比率(%)の絶対値が、所定の閾値THf(画素数または%)より大きいかどうかにより行うことができる。顔領域の大きさ変化がしきい値THf未満の場合は、被写体距離の増減の方向が判別できないため、Step1010に進んで現在の主顔の大きさの情報を前記内部メモリに記憶し、処理を終了する。一方、顔領域の大きさ変化がしきい値THf以上の場合はStep1006に進む。
Step1006では、前記した主顔合焦フラグがセットされているかを判別する。主顔合焦フラグがセットされていない場合は、主顔が変更(または初めて顔領域が検出)され、主顔がまだ非合焦状態である。そのため、Step1007以降の、顔の大きさ変化によるAF制御を行わず、Step1010に進み、現在の主顔の大きさの情報を前記内部メモリに記憶して処理を終了する。一方、主顔合焦フラグがセットされている場合は、既に変更後の主顔が略合焦となった後であるので、Step1007に進む。
Step1007では、顔領域の大きさが大きくなったかを判定する。大きくなっていると判定された場合は被写体である人物が近付いているので、Step1008に進み、図3〜図7で説明したTV−AF制御処理を山登り駆動に設定し、駆動方向を至近方向に設定する。一方、顔領域の大きさが大きくなっていない(小さくなっている)と判定された場合は、Step1009に進み、TV−AF制御処理を山登り駆動に設定し、駆動方向を無限方向に設定する。Step1008及びStep1009の処理後はStep1010に進んで現在の主顔の大きさの情報を前記内部メモリに記憶し、処理を終了する。
このように顔領域の大きさが有意に変化している際に、大きくなっている場合には至近方向に山登り駆動、小さくなっている場合には無限方向に山登り駆動を行うように、TV−AF制御の動作を設定する。このことで、TV−AF制御における微小駆動による方向判別動作を短縮し、合焦までの時間を短くすることができる。なお、以上の説明では、顔の大きさが変化した場合にTV−AF制御を山登り駆動に設定しているが、例えば顔の大きさが大きくなっている場合には微小駆動の中心を至近方向に移動する等、フォーカスレンズが全体として合焦方向に移動するようにTV−AF制御を行ってもよい。
以上に説明したように、本発明によれば、主被写体(主顔など)に略合焦しているかを簡易的に判別し、略合焦と判別されていない場合は主被写体の大きさ変化によるAF制御(追従駆動動作)を制限する。これにより、主被写体の大きさ変化によるAF制御が誤動作してピントがボケてしまうことを防止することができる。一方で、被写体移動中等にAF評価値が変動して厳密に合焦であるかを判別できない場合にも、略合焦であるかどうかを判別することで、主被写体の大きさ変化によるAF制御を過度に制限することなく、合焦までの時間を短縮することができる。以上の説明では、被写体の検出手段として人物の顔を検出するものとしている。しかし、映像に含まれる被写体領域の位置と大きさが検出できるものであれば、例えば、人体など顔以外の部位を検出したり、特定の色やパターンの領域を検出したりすることで人物以外の被写体を検出する手段などを用いても構わない。
上述した実施例における処理のために、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施例の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、CD−ROM、CD−R、磁気テープ、不揮発性のメモリーカード、ROMなどを用いることもできる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれている。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含むものである。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
105‥‥フォーカスコンペンセータレンズ(フォーカスレンズ、焦点調節部材)、106‥‥撮像素子(撮像手段)、108‥‥カメラ信号処理回路(撮像手段)、112‥‥焦点信号処理回路(焦点信号生成手段)、113‥‥顔検出処理回路(被写体検出手段)、114‥‥カメラ/AFマイコン(主被写体選択手段、簡易合焦判別手段、制御手段)、117‥‥主顔選択操作部(主被写体選択手段)

Claims (7)

  1. 撮像光学系を構成する焦点調節部材を通して被写体を撮影して映像信号を出力する撮像手段と、
    前記撮像手段から得られる映像信号に基づいて撮影画面内の1つ以上の所定の被写体を検出する被写体検出手段と、
    前記被写体検出手段により検出された1つ以上の被写体のうち主被写体を選択するための主被写体選択手段と、
    前記主被写体選択手段により選択された主被写体の位置を含む撮影画面内の領域から焦点信号を生成する焦点信号生成手段と、
    前記主被写体が略合焦であるかどうかを判別する合焦判別手段と
    記主被写体選択手段により主被写体が変更された場合、前記焦点調節部材を制御する際に、前記合焦判別手段の判別結果に応じて前記主被写体の大きさの変化に基づいて前記焦点調節部材の移動方向を決定する焦点調節動作を制限する制御手段と、
    を有することを特徴とする自動焦点調節装置。
  2. 前記被写体検出手段は、前記撮像手段から得られる映像信号に基づいて撮影画面内の1つ以上の所定の被写体の位置及び大きさを検出し、
    前記制御手段は、前記焦点信号に基づいて前記焦点調節部材を制御する第1の焦点調節手段と、前記主被写体の大きさの変化に基づいて前記焦点調節部材の移動方向を決定する第2の焦点調節手段と、を備え、前記第1及び第2の焦点調節手段を組み合わせて前記主被写体に合焦させることを特徴とする請求項1に記載の自動焦点調節装置。
  3. 前記制御手段は、前記合焦判別手段により主被写体が略合焦ではないと判別された場合に、前記第2の焦点調節手段による焦点調節を制限することを特徴とする請求項2に記載の自動焦点調節装置。
  4. 記合焦判別手段は、前記焦点信号生成手段により生成された焦点信号に基づいて、主被写体が略合焦かどうかを判別することを特徴とする請求項1から3の何れか1項に記載の自動焦点調節装置。
  5. 記合焦判別手段は、前記焦点信号生成手段により生成された、映像信号の高周波成分に基づく第1の焦点信号と、映像信号の輝度レベルの最大値と最小値の差に基づく第2の焦点信号との比に基づいて、主被写体が略合焦かどうかを判別することを特徴とする請求項4に記載の自動焦点調節装置。
  6. 記合焦判別手段は、前記第1の焦点調節手段による焦点調節部材の移動状態が、所定の幅の範囲内で所定回数以上反転を繰り返している場合に主被写体が略合焦であると判別することを特徴とする請求項2または3に記載の自動焦点調節装置。
  7. 撮像光学系を構成する焦点調節部材を通して被写体を撮影して映像信号を出力する出力ステップと、
    前記出力ステップで得られる映像信号に基づいて撮影画面内の1つ以上の所定の被写体を検出する被写体検出ステップと、
    前記被写体検出ステップで検出された1つ以上の被写体のうち主被写体を選択する主被写体選択ステップと、
    前記主被写体選択ステップで選択された主被写体の位置を含む撮影画面内の領域から焦点信号を生成する焦点信号生成ステップと、
    主被写体が略合焦であるかどうかを判別する合焦判別ステップと
    記主被写体選択ステップにおいて主被写体が変更された場合、前記焦点調節部材を制御する際に、前記合焦判別ステップでの判別結果に応じて前記主被写体の大きさの変化に基づいて前記焦点調節部材の移動方向を決定する焦点調節動作を制限する制御ステップと、
    を有することを特徴とする自動焦点調節方法。
JP2012000550A 2012-01-05 2012-01-05 焦点調節装置 Expired - Fee Related JP5932340B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012000550A JP5932340B2 (ja) 2012-01-05 2012-01-05 焦点調節装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012000550A JP5932340B2 (ja) 2012-01-05 2012-01-05 焦点調節装置

Publications (2)

Publication Number Publication Date
JP2013140270A JP2013140270A (ja) 2013-07-18
JP5932340B2 true JP5932340B2 (ja) 2016-06-08

Family

ID=49037749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012000550A Expired - Fee Related JP5932340B2 (ja) 2012-01-05 2012-01-05 焦点調節装置

Country Status (1)

Country Link
JP (1) JP5932340B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015137210A1 (ja) * 2014-03-10 2015-09-17 コニカミノルタ株式会社 レンズユニットおよび撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065290A (ja) * 2005-08-31 2007-03-15 Nikon Corp オートフォーカス装置
JP2008176152A (ja) * 2007-01-19 2008-07-31 Canon Inc 撮像装置
JP2008309940A (ja) * 2007-06-13 2008-12-25 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2009031760A (ja) * 2007-07-04 2009-02-12 Sanyo Electric Co Ltd 撮像装置及びオートフォーカス制御方法
JP4544282B2 (ja) * 2007-09-14 2010-09-15 ソニー株式会社 データ処理装置、およびデータ処理方法、並びにプログラム
JP4902577B2 (ja) * 2008-03-19 2012-03-21 富士フイルム株式会社 オートフォーカスシステム
JP5368723B2 (ja) * 2008-04-09 2013-12-18 キヤノン株式会社 撮像装置及びその制御方法
JP2010015024A (ja) * 2008-07-04 2010-01-21 Canon Inc 撮像装置、その制御方法、プログラム及び記憶媒体
JP2010049148A (ja) * 2008-08-25 2010-03-04 Nikon Corp 画像認識装置及び撮像装置
JP5144487B2 (ja) * 2008-12-15 2013-02-13 キヤノン株式会社 主顔選択装置、その制御方法、撮像装置及びプログラム
JP5335408B2 (ja) * 2008-12-26 2013-11-06 キヤノン株式会社 焦点調節装置及び方法
JP5054209B2 (ja) * 2011-01-20 2012-10-24 富士フイルム株式会社 撮影装置及び合焦制御方法

Also Published As

Publication number Publication date
JP2013140270A (ja) 2013-07-18

Similar Documents

Publication Publication Date Title
JP5368723B2 (ja) 撮像装置及びその制御方法
JP6184189B2 (ja) 被写体検出装置およびその制御方法、撮像装置、被写体検出装置の制御プログラムおよび記憶媒体
US9253395B2 (en) Automatic focus detection apparatus, control method for the same, and image pickup apparatus
US8502912B2 (en) Focusing apparatus and method for controlling the same
JP2010008936A (ja) 撮像装置及びその制御方法
JP2010139666A (ja) 撮像装置
JP5335408B2 (ja) 焦点調節装置及び方法
US9357124B2 (en) Focusing control device and controlling method of the same
JP5075110B2 (ja) 焦点調節装置及び方法
US10165174B2 (en) Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
JP5873336B2 (ja) 焦点調節装置
JP5322629B2 (ja) 自動焦点検出装置及びその制御方法、撮像装置
JP2014106411A (ja) 自動焦点調節装置及び自動焦点調節方法
JP6053287B2 (ja) 自動焦点調節装置および自動焦点調節方法
JP5932340B2 (ja) 焦点調節装置
JP5882745B2 (ja) 焦点調節装置
JP6039184B2 (ja) 自動焦点調節装置、撮像装置及び自動焦点調節方法
JP5017195B2 (ja) 焦点調節装置及び方法
JP6159055B2 (ja) 自動焦点調節装置、撮像装置及び自動焦点調節方法
JP5913902B2 (ja) 自動焦点調節装置及び自動焦点調節方法
JP5621027B2 (ja) 撮像装置及びその制御方法
JP5894440B2 (ja) 焦点調節装置
JP6120478B2 (ja) 自動焦点調節装置及び自動焦点調節方法
JP5451869B2 (ja) 焦点調節装置及び方法
JP5898455B2 (ja) 自動焦点調節装置及び自動焦点調節方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160428

R151 Written notification of patent or utility model registration

Ref document number: 5932340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

LAPS Cancellation because of no payment of annual fees