JP2012237935A - 画像処理装置、フォーカス制御方法、及び撮像装置 - Google Patents
画像処理装置、フォーカス制御方法、及び撮像装置 Download PDFInfo
- Publication number
- JP2012237935A JP2012237935A JP2011108375A JP2011108375A JP2012237935A JP 2012237935 A JP2012237935 A JP 2012237935A JP 2011108375 A JP2011108375 A JP 2011108375A JP 2011108375 A JP2011108375 A JP 2011108375A JP 2012237935 A JP2012237935 A JP 2012237935A
- Authority
- JP
- Japan
- Prior art keywords
- lens
- focus
- movement
- evaluation value
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
【課題】被写体の動きに対してフォーカスを追従させること。
【解決手段】フォーカス制御部33は、イメージセンサ24の受光面に被写体像を結像する第2のレンズ22を、光軸方向に沿って微少範囲の往復動させるゆらぎを持たせる。フォーカス制御部33は、イメージセンサ24から出力される画像データに基づいて算出されたAF評価値に基づいて、AF評価値のピークに対応するレンズ位置(ピーク位置)の移動量を検出する。そして、フォーカス制御部33は、レンズ22をゆらぎの振幅(制御範囲)におけるピーク値の検出の有無に基づいて、ゆらぎの振幅及び周波数を変更する。
【選択図】図1
【解決手段】フォーカス制御部33は、イメージセンサ24の受光面に被写体像を結像する第2のレンズ22を、光軸方向に沿って微少範囲の往復動させるゆらぎを持たせる。フォーカス制御部33は、イメージセンサ24から出力される画像データに基づいて算出されたAF評価値に基づいて、AF評価値のピークに対応するレンズ位置(ピーク位置)の移動量を検出する。そして、フォーカス制御部33は、レンズ22をゆらぎの振幅(制御範囲)におけるピーク値の検出の有無に基づいて、ゆらぎの振幅及び周波数を変更する。
【選択図】図1
Description
画像処理装置、フォーカス制御方法、及び撮像装置に関する。
近年、デジタルカメラなどの撮像装置は、撮像する画像のピント調節を自動で行うオートフォーカス機能(自動焦点制御機能)を備えている(例えば、特許文献1〜3参照)。例えば、イメージセンサを用いたオートフォーカス(AF)制御方式では、フォーカスレンズを至近側から無限側に向かって所定ピッチで移動させ、各点の撮像データからAF評価値を算出する。そして、そのAF評価値がピーク値になるピーク位置を合焦位置として、フォーカスレンズをこのピーク位置に移動する。
具体的には、フォーカスレンズを至近側から無限側に向かって移動させ、AF評価値がピーク値を過ぎて減少を始めるのを検出し、フォーカスレンズを合焦位置に移動する。なお、この方法は山登り方式と呼ばれる。このようなオートフォーカス機能によって、ピント調節に要するユーザの操作負担を軽減することができ、ユーザの技量に左右されることなく被写体を撮像することができる。
ところが、上記オートフォーカス機能を備える撮像装置では、撮像対象の動き等によって、レンズを合焦位置に移動させるのに時間を要する場合がある。例えば、図7(a)に示すように、撮影対象が撮影者から離れた場合、撮像装置におけるAF評価値は、図7(b)に示すように変化する。撮像装置は、AF評価値の低下を検知し、レンズを光軸に沿って大きく移動させ、AF評価値のピーク値を検出する。そのため、再度ピントが合うまでに時間を要してしまう場合がある。また、撮像対象の動きに対してピント位置を追従させるのが難しい場合がある。
本発明の一観点によれば、撮像素子から出力される画像データに基づいて、前記撮像素子におけるフォーカス状態を示す評価値を算出する評価値算出部と、複数の前記評価値に基づいて、前記撮像素子に結像するレンズを光軸方向に沿って往復移動させる駆動部を前記往復移動の基準点を前記評価値が最大となる合焦位置とするように制御し、前記レンズを往復移動させる移動範囲と前記往復移動の周波数を制御するフォーカス制御部と、を有する。
本発明の一観点によれば、被写体の動きに対してフォーカスを追従させることが可能となる。
以下、一実施形態を図1〜図6に従って説明する。
図1に示す撮像装置10は、例えば、動画撮影機能を有するデジタルスチルカメラである。以下、動画撮影機能に対応する構成を説明する。
図1に示す撮像装置10は、例えば、動画撮影機能を有するデジタルスチルカメラである。以下、動画撮影機能に対応する構成を説明する。
撮像装置10のレンズ部11は、第1のレンズ21、第2のレンズ22、絞り23、イメージセンサ24を備えている。第1のレンズ21は、例えば固定レンズである。第2のレンズ22はフォーカスレンズである。各レンズ21,22は、それぞれの光軸が一致するように設けられている。各レンズ21,22の光軸は、イメージセンサ24の受光面と、受光面の略中心において直交する。第1のレンズ21及び第2のレンズ22は、被写体を撮影するための被写体像をイメージセンサ24の受光面に結像する。
第2のレンズ22は光軸方向に沿って移動可能に支持されている。第2のレンズ22は、撮影画像のフォーカスを調整するためのレンズ(フォーカスレンズ)であり、モータドライバ12により光軸方向に沿って移動される。モータドライバ12(駆動部)は、第2レンズを移動させるためのモータと、モータを駆動する駆動回路を含む。モータは例えばステッピングモータであり、駆動回路から供給される駆動パルスに応じて正逆回転する。このモータの正逆回転により、第2のレンズ22は、光軸方向に往復移動する。第2のレンズ22のレンズ位置を光軸方向に移動させることにより、イメージセンサ24の受光面における被写体像のフォーカスが調整される。
絞り23は、レンズ21,22を透過した光の量を、被写体照度に応じて調整する。イメージセンサ24は、例えばベイヤ配列されたカラーフィルタと、光電変換部を含む複数の画素を備えた撮像素子を備える。撮像素子としては、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどが用いられる。イメージセンサ24は、被写体像を光電変換して撮像信号を生成する。
イメージセンサ24は、同期信号(例えば垂直同期信号)に同期して、撮像信号を出力する。そして、イメージセンサ24は、単位時間(例えば、1秒間)に複数画面(フレーム)の撮像信号を出力する。単位時間に出力する画面数をフレームレートと呼ぶ。フレームレートは、例えば60fps(frame per second)である。
アナログフロントエンド(AFE:Analog Front End)13は、例えば、プリアンプ、アナログ−デジタル変換回路(ADC)、等を含む。AFE13は、イメージセンサ24から出力される映像信号をデジタル信号に変換し、そのデジタル信号を画像データとして画像処理部14に出力する。
画像処理部14の信号処理部31は、AFE13から入力される画像データ(入力画像データ)に対して各種画像処理を施し、その処理後の画像データをメモリ15に格納する。各種の画像処理は、例えば、ホワイトバランス調整やゲイン調整や欠陥信号の補正などの前処理、RGB形式の画像データをYCbCr形式の画像データに変換する色空間変換処理、エッジ強調処理、所定の符号方式(例えばMPEG方式)の画像データに変換する画像圧縮処理、などである。
また、信号処理部31は、AFE13から入力される画像データに基づいて、画像のフォーカスを制御するためのデータを抽出し、オートフォーカス(AF)評価値算出部32に出力する。フォーカスを制御するためのデータは、例えば、画像データに含まれる輝度成分(輝度信号)である。信号処理部31は、1つのフレームに対応する画像データのうち、所定領域(例えば、イメージセンサ24の受光面の中心を含む所定サイズの領域)の輝度信号をAF評価値算出部32に出力する。
AF評価値算出部32は、信号処理部31の出力信号に基づいて、焦点とイメージセンサ24の撮像面との関係に応じたAF評価値を算出する。例えば、AF評価値算出部32は、信号処理部31から出力される輝度信号の高周波成分を積算して、画像データのコントラスト強度を示すAF評価値を算出する。AF評価値は、第2のレンズ22が合焦位置にあるときに最大値となり、その合焦位置から前方(イメージセンサ24から離れる方向)及び後方(イメージセンサ24に近づく方向)に離れるほど小さくなる。従って、第2のレンズ22の位置に対するAF評価値は、所謂山型波形となる。AF評価値算出部32は、算出したAF評価値をフォーカス制御部33に出力する。
フォーカス制御部33は、人の目には判らない程度の振幅(移動量)で第2のレンズ22を周期的に移動させるように、モータドライバ12に制御信号を出力する。このように、制御対象物における微少範囲の往復移動を[ゆらぎ]と言い、制御対象物が微少範囲内で往復移動するように制御することを、「ゆらぎを持たせる」という。フォーカス制御部33は、AF評価値算出部32から出力されるAF評価値に基づいて、合焦位置を中心としたゆらぎとなるように制御する。また、フォーカス制御部33は、AF評価値に基づいて、被写体の動きを検出し、その検出した被写体の動きに応じてゆらぎの周期及び振幅を調整する。
フォーカス制御部33の検出回路41は、AF評価値算出部32から出力されるAF評価値を順次記憶する。そして、検出回路41は、記憶した複数のAF評価値に基づいて、ピーク値等を検出する。
上記したように、フォーカス制御部33は、第2のレンズ22(フォーカスレンズ)を光軸方向に沿って周期的に往復移動させる。第2のレンズ22が移動する範囲はゆらぎの範囲であり、第2のレンズ22が移動する速度や周期は、ゆらぎの周期、つまりゆらぎの周波数に対応する。
上記AF評価値算出部32は、イメージセンサ24から同期信号に同期して出力される各フレームの画像データに基づいて、各フレーム毎にAF評価値を算出する。従って、AF評価値は、第2のレンズ22の移動に応じて変化するフォーカスの状態を、フレームの周期にてサンプリングした値となる。
検出回路41は、第2のレンズ22におけるゆらぎに応じて、例えば第2のレンズ22の往復移動における1周期分のAF評価値を記憶する容量の記憶部(メモリ)を備えている。例えば、上記のイメージセンサ24は、60fpsにて撮像信号を出力する。ゆらぎの周波数の初期値を例えば1.5Hzとする。この場合、検出回路41は、40個のAF評価値を記憶する。そして、検出回路41は、記憶したAF評価値に基づいて、ピーク値等を検出する。なお、ゆらぎの周波数は、被写体の動きに応じて変更される。従って、検出回路41に含まれる記憶部の容量は、ゆらぎの周波数の設定範囲と、単位時間においてイメージセンサ24が出力するフレーム数に応じて設定される。
第2のレンズ22(フォーカスレンズ)の移動範囲について説明する。
ゆらぎの振幅に対応する第2のレンズ22の移動範囲を制御範囲とする。この制御範囲は、レンズ部11における焦点深度に応じて設定されている。焦点深度は、焦点の前後で、画像として鮮明に撮影できる範囲である。この焦点深度は、焦点を合わせた被写体の前後で、画像として鮮明に撮影できる範囲である被写界深度(被写体深度とも言われる)に対応する。従って、被写体が移動しない場合、第2のレンズ22(フォーカスレンズ)が常に移動(往復移動)していても、撮影者や撮影後の動画像を見る人には、その往復移動を感じさせない。この焦点深度に対応する範囲を、レンズ22の移動を許容する許容範囲とする。制御範囲は、許容範囲より狭く設定され、その設定値(ゆらぎの振幅の設定値)は、制御範囲を「1」とする制御範囲と許容範囲の比率として設定される。例えば、許容範囲の1/2の範囲を制御範囲とする場合、制御範囲と許容範囲の比率は「1:2」となる。従って、制御範囲の設定値は「2」として設定される。なお、この「2」の設定値は、制御開始の初期値として設定される。
ゆらぎの振幅に対応する第2のレンズ22の移動範囲を制御範囲とする。この制御範囲は、レンズ部11における焦点深度に応じて設定されている。焦点深度は、焦点の前後で、画像として鮮明に撮影できる範囲である。この焦点深度は、焦点を合わせた被写体の前後で、画像として鮮明に撮影できる範囲である被写界深度(被写体深度とも言われる)に対応する。従って、被写体が移動しない場合、第2のレンズ22(フォーカスレンズ)が常に移動(往復移動)していても、撮影者や撮影後の動画像を見る人には、その往復移動を感じさせない。この焦点深度に対応する範囲を、レンズ22の移動を許容する許容範囲とする。制御範囲は、許容範囲より狭く設定され、その設定値(ゆらぎの振幅の設定値)は、制御範囲を「1」とする制御範囲と許容範囲の比率として設定される。例えば、許容範囲の1/2の範囲を制御範囲とする場合、制御範囲と許容範囲の比率は「1:2」となる。従って、制御範囲の設定値は「2」として設定される。なお、この「2」の設定値は、制御開始の初期値として設定される。
上記したように、フォーカス制御部33は、合焦位置にゆらぎの制御中心を一致させるように制御する。フォーカス制御部33は、制御中心に対して、所定の範囲を目標範囲として設定し、この目標範囲から合焦位置が外れた場合、制御中心やゆらぎの範囲,周波数を変更する。目標範囲は、上記の制御範囲より狭く、目標範囲を「1」とする目標範囲と制御範囲の比率として設定される。例えば、制御範囲の1/4の範囲を目標範囲とする場合、目標範囲と制御範囲の比率は「1:4」となる。従って、目標範囲の設定値(しきい値)は「4」として設定される。
[ピーク値]は、記憶した複数のAF評価値のうちの最大値であり、且つそのAF評価値が最大のレンズ位置の前後のレンズ位置におけるAF評価値が最大値よりも小さい値である。言い換えると、[ピーク値]は、制御範囲内であって最小位置と最大位置を除くレンズ位置のAF評価値の最大値である。
検出回路41は、例えば、連続して記憶される3つのAF評価値のうち、中心のAF評価値が前後のAF評価値よりも大きい場合、中心のAF評価値をピーク値として検出する。また、検出回路41は、そのピーク値に対応するレンズ位置をピーク位置として検出する。
上記したように、フォーカス制御部33は、第2のレンズ22(フォーカスレンズ)にゆらぎを持たせる。ゆらぎにおける振幅の中心位置を、制御中心という。フォーカス制御部33は、検出回路41において検出したピーク位置にゆらぎの制御中心を一致させるように制御する。
ピーク位置は、被写体の動き(被写体と撮像装置との相対的な距離)によって変化する。制御中心に対してピーク位置が異なる場合、「ピーク値が移動した」と表現する場合がある。検出回路41は、制御中心とピーク位置とが互いに異なる場合、制御中心とピーク位置の差(2つのレンズ位置の差)を、[ピーク値の移動量]とする。移動量は正又は負の符号を持つ。例えば、正の移動量は、ピーク位置が制御中心より遠い側にあることを示し、負の移動量は、ピーク位置が制御中心より近い側にあることを示す。
[位置差分値]は、現在の制御中心と、ピーク位置との差の値である。
[傾き]は、山型波形の傾きである。所定の2つのレンズ位置におけるAF評価値の差分に基づいて、波形の傾きを算出する。波形の傾きは、正又は負の符号を持つ。検出回路41は、例えば、2つのレンズ位置のうち、遠い側のレンズ位置のAF評価値から近い側のレンズ位置のAF評価値を減算して差分値を算出し、差分値を傾きとする。従って、差分値は、遠い側のレンズ位置のAF評価値が近い側のレンズ位置のAF評価値よりも大きい場合に正の符号を持ち、逆の場合に負の符号を持つ。検出回路41は、例えば、制御範囲の最大又は最小のレンズ位置におけるAF評価値と、そのレンズ位置から所定距離(例えば、制御範囲の1/2)前方又は後方にあるレンズ位置におけるAF評価値とに基づいて、傾きを算出する。
[傾き]は、山型波形の傾きである。所定の2つのレンズ位置におけるAF評価値の差分に基づいて、波形の傾きを算出する。波形の傾きは、正又は負の符号を持つ。検出回路41は、例えば、2つのレンズ位置のうち、遠い側のレンズ位置のAF評価値から近い側のレンズ位置のAF評価値を減算して差分値を算出し、差分値を傾きとする。従って、差分値は、遠い側のレンズ位置のAF評価値が近い側のレンズ位置のAF評価値よりも大きい場合に正の符号を持ち、逆の場合に負の符号を持つ。検出回路41は、例えば、制御範囲の最大又は最小のレンズ位置におけるAF評価値と、そのレンズ位置から所定距離(例えば、制御範囲の1/2)前方又は後方にあるレンズ位置におけるAF評価値とに基づいて、傾きを算出する。
ゆらぎ制御回路42は、検出回路41の検出結果に基づいて、後述するように、第2のレンズ22(フォーカスレンズ)のゆらぎの振幅,周波数を制御する。
移動量算出回路43は、検出回路41においてピーク位置が検出された場合、検出回路41から出力される位置差分値に応じた制御信号をモータ制御回路44に出力する。モータ制御回路44は、制御信号に応じて、第2のレンズ22(フォーカスレンズ)の制御中心を、ピーク位置へ移動させる。
移動量算出回路43は、検出回路41においてピーク位置が検出された場合、検出回路41から出力される位置差分値に応じた制御信号をモータ制御回路44に出力する。モータ制御回路44は、制御信号に応じて、第2のレンズ22(フォーカスレンズ)の制御中心を、ピーク位置へ移動させる。
また、移動量算出回路43は、検出回路41の検出結果に基づいて、ピーク位置が検出されなかった場合、ピーク値の移動量を予測し、その予測値に応じた制御信号を出力する。フォーカス制御部33は、AF評価値に基づいて、ゆらぎの制御中心を、被写体の移動に応じて変更する。例えば、被写体の移動速度がフォーカス制御部33がゆらぎの制御中心を変更するタイミング、つまり制御中心の追従性(応答速度)よりも速い場合、AF評価値のピーク位置が、制御範囲を超えてしまい、制御範囲内にピーク位置を検出することができなくなる。この場合、制御範囲には、複数のAF評価値による山型波形の一部のAF評価値が含まれる。ゆらぎの振幅、周波数を変更しない場合、被写体の位置が変化しても、AF評価値による山型波形の形状の変化は少ない。従って、山型波形の斜面の傾きを検出することにより、山型波形の頂点、つまりピーク位置のおおまかな位置を算出する、つまりピーク位置を予測することができる。従って、予測したピーク位置は、現在の制御中心からレンズ22を移動させる移動量となる。従って、移動量算出回路43は、検出回路41により検出した傾きに基づいて、現在の制御位置に対するピーク値の移動量を予測し、予測結果に応じた移動量を出力する。
モータ制御回路44は、ゆらぎ制御回路42の出力と、移動量算出回路43の出力とに基づいて、モータドライバ12を制御制御する。詳しくは、モータ制御回路44は、第2のレンズ22におけるゆらぎの制御中心を、現在の制御中心から、移動量算出回路43の出力(移動量)に基づいて移動させる。を移動させる範囲の中心を、予測値とするように、第2のレンズ22を移動させる。更に、モータ制御回路44は、ゆらぎ制御回路42から出力される振幅値、周波数に応じて、第2のレンズ22(フォーカスレンズ)に対するゆらぎを制御するように制御信号を出力する。
次に、フォーカス制御部33におけるゆらぎ制御処理を、図2に従って説明する。
先ず、ステップ51において、ゆらぎの振幅の範囲(制御範囲)内でピーク値を検出したか否かを判定する。ピーク値が検出された場合(YES)、ステップ52へ移行し、ピーク値が検出されなかった場合(NO)、ステップ56へ移行する。
先ず、ステップ51において、ゆらぎの振幅の範囲(制御範囲)内でピーク値を検出したか否かを判定する。ピーク値が検出された場合(YES)、ステップ52へ移行し、ピーク値が検出されなかった場合(NO)、ステップ56へ移行する。
次いで、ステップ52において、ピーク値の移動量は振幅の1/X(Xは目標範囲の設定値)以内か否かを判定する。ピーク値の移動量が振幅の1/X以内の場合(YES)、ステップ53へ移行し、ピーク値の移動量が振幅の1/Xより大きい場合(NO)、ステップ55へ移行する。
次いで、ステップ53において、継続してピーク値の移動量が少ないか否かを判定する。ピーク値の移動量が少ない、つまり被写体の移動量が所定時間以上継続して少ないか否かを判定する。所定時間以上継続している場合(YES)、ステップ54へ移行し、継続時間が所定時間未満の場合(NO)、ステップ51へ移行する。
ステップ53において、例えば、フォーカス制御部33は、ピーク値の移動量が1/X以内とした判定が連続する場合、その判定回数をカウントする。そして、カウント値が所定位置以上になると、被写体の移動量が所定時間以上継続して少ないと判定する。尚、この判定には、タイマを用いてもよい。例えば、ピーク値の移動量が1/X以上と判定した場合にタイマをリセットすることで、タイマは、連続してピーク値の移動量が1/X以内である期間を計時する。タイマの計時値が所定時間以上になると、被写体の移動量が所定時間以上継続して少ないと判定する。
ステップ54において、フォーカス制御部33(ゆらぎ制御回路43)は、現在の周波数より低い値をゆらぎの周波数に設定する。また、フォーカス制御部33は、現在の振幅より小さな値をゆらぎの振幅に設定する。継続してピーク値の移動量が少ない場合、被写体の移動が遅いため、レンズ22の移動速度を遅くしても、被写体の移動を検出してフォーカスを制御することが可能である。また、被写体の移動が遅いと、ピーク値の移動量も少ないため、レンズ22のゆらぎにおける振幅を小さくしても、移動する被写体にフォーカスを合わせる、つまり被写体に対してフォーカスを追従させることができる。このため、ステップ54において、ゆらぎの周波数を低くする。また、ゆらぎの振幅(制御範囲)を小さく(例えば1/4から1/6,1/8へ変更)する。
そして、ゆらぎの周波数と振幅の設定を終了すると、ステップ51へ移行する。なお、上記のステップ53において、継続時間が設定時間未満の場合(ステップ53,NO)と、後述するステップ55及びステップ56の処理終了後も同様にステップ51へ移行する。つまり、AF評価値に基づくピーク値等の検出と、検出結果に基づくゆらぎの制御を繰り返し実行する。これにより、被写体の動きに対して連続的にフォーカスを制御する。
ステップ55において、ゆらぎの振幅、周波数を変更(Up)する。詳しくは、ゆらぎの制御範囲に対して、制御範囲(振幅の1/Xの範囲)内でピーク値が検出されるように、ゆらぎの振幅を大きくし、ゆらぎの周波数を高くする。例えば、現在の制御範囲が焦点深度に対応する許容範囲の1/4に設定されている場合、制御範囲を許容範囲の1/2に変更することで、ピーク値を検出する範囲が広くなる。更に、変更した制御範囲に応じて、ゆらぎの周波数f1を、以下の式(1)に従って算出する。
f1=f0×α/(1/X) ・・・(1)
なお、f0は設定前のゆらぎの周波数、αはピーク値の移動量であり制御範囲を「1」としたときの比率、Xは制御範囲の設定値である。
なお、f0は設定前のゆらぎの周波数、αはピーク値の移動量であり制御範囲を「1」としたときの比率、Xは制御範囲の設定値である。
例えば、ピーク値の移動量が制御範囲の1/2、制御範囲を許容範囲の1/4とした場合、設定値α(=1/2)と設定値X(=4)に基づいて、上記の式に従って、設定後の周波数f1は、
f1=2×f0
となる。つまり、設定前の周波数の2倍の周波数のゆらぎとする。
f1=2×f0
となる。つまり、設定前の周波数の2倍の周波数のゆらぎとする。
ステップ56において、ゆらぎの周波数を変更(Up)する。詳しくは、ゆらぎの制御範囲に対して、目標範囲(振幅の1/Xの範囲)内でピーク値が検出されるように、ゆらぎの周波数を高くする。ゆらぎの周波数を、上記の式(1)によって算出する。
次に、フォーカス制御部33の動作を説明する。
図3(a)は被写体の動きを示し、図3(b)は被写体の動きに対するAF評価値の変化を示す。なお、図3(b)において、黒丸は、横軸に示すレンズ位置においてイメージセンサ24(図1参照)から出力される1つのフレームに含まれる画像データに応じて得られたAF評価値を示す。そして、以後において示すAF評価値の波形及びAF評価値を示す黒丸の数は、説明を判りやすくするために、実際の波形及びAF評価値の数と異なる。
図3(a)は被写体の動きを示し、図3(b)は被写体の動きに対するAF評価値の変化を示す。なお、図3(b)において、黒丸は、横軸に示すレンズ位置においてイメージセンサ24(図1参照)から出力される1つのフレームに含まれる画像データに応じて得られたAF評価値を示す。そして、以後において示すAF評価値の波形及びAF評価値を示す黒丸の数は、説明を判りやすくするために、実際の波形及びAF評価値の数と異なる。
例えば、図3(a)の上段に示すように、被写体を撮影している。このとき、図1に示すAF評価値算出部32によって算出されるAF評価値は、図3(b)の上段に示すように、山型波形となる。なお、図3(b)において、矢印で示す範囲は、制御範囲である。制御範囲の中央に示した破線は、現在のゆらぎの中心(制御中心)を示し、その破線の右側に示した破線は、目標範囲の1つの端を示す。
ついで、図3(a)の中段に示すように、被写体が移動する(図3(a)の上段に対して被写体が小さく示されており、被写体と撮像装置10との距離が大きくなったことを示す)。このとき、AF評価値のピーク値は、図3(b)の中段に示すように、ゆらぎの制御中心から図面右方向(遠い側)にずれている。また、このときのピーク値の移動量は、目標範囲を超えている。
従って、フォーカス制御部33は、図2に示すフローチャートに従ってステップ56の処理を実行する。つまり、フォーカス制御部33は、図3に示すように、ゆらぎの周波数を高くする。ゆらぎの周波数を高くすることで、速く移動する被写体に対して、ピーク値の検出が速くなり、追従性が向上する。また、フォーカス制御部33は、ゆらぎの中心(制御中心)を、ピーク位置に合わせるように制御する。
[被写体の動きが遅い場合]
図4(a)の上段に示すように、被写体を撮影している。このとき、図1に示すAF評価値算出部32によって算出されるAF評価値は、図4(b)の上段に示すように、山型波形となる。
図4(a)の上段に示すように、被写体を撮影している。このとき、図1に示すAF評価値算出部32によって算出されるAF評価値は、図4(b)の上段に示すように、山型波形となる。
ついで、図4(a)の中段に示すように、被写体が少し移動する(図4(a)の上段に対して被写体がやや小さく示されており、被写体と撮像装置10との距離が大きくなったことを示す)。このとき、AF評価値のピーク値は、図4(b)の中段に示すように、ゆらぎの制御中心から図面右方向(遠い側)にずれている。
また、このときのピーク値の移動量は、目標範囲を超えていない。また、移動量が少ない期間は、所定時間、連続していない。従って、フォーカス制御部33は、ゆらぎの中心(制御中心)を、ピーク位置に合わせるように制御する。
[被写体の動きが早く、移動量が小さい場合]
図5(a)の上段に示すように、被写体を撮影している。このとき、図1に示すAF評価値算出部32によって算出されるAF評価値は、図5(b)の上段に示すように、山型波形となる。
図5(a)の上段に示すように、被写体を撮影している。このとき、図1に示すAF評価値算出部32によって算出されるAF評価値は、図5(b)の上段に示すように、山型波形となる。
ついで、図5(a)の中段に示すように、被写体が移動する(図5(a)の上段に対して被写体が小さく示されており、被写体と撮像装置10との距離が大きくなったことを示す)。このとき、AF評価値のピーク値は、図5(b)の中段に示すように、ゆらぎの制御中心から図面右方向(遠い側)にずれている。また、このときのピーク値の移動量は、目標範囲を超えている。
従って、フォーカス制御部33は、図2に示すフローチャートに従ってステップ56の処理を実行する。つまり、フォーカス制御部33は、図5に示すように、ゆらぎの周波数を高くする。また、フォーカス制御部33は、ゆらぎの中心(制御中心)を、ピーク位置に合わせるように制御する。これにより、速く移動する被写体に対して、ピーク値の検出が速くなり、追従性が向上する。
[被写体の動きが早く、移動量が大きい場合]
図6(a)の上段に示すように、被写体を撮影している。このとき、図1に示すAF評価値算出部32によって算出されるAF評価値は、図6(b)の上段に示すように、山型波形となる。
図6(a)の上段に示すように、被写体を撮影している。このとき、図1に示すAF評価値算出部32によって算出されるAF評価値は、図6(b)の上段に示すように、山型波形となる。
ついで、図6(a)の中段に示すように、被写体が大きく移動する(図6(a)の上段に対して被写体が、図5(a)よりも小さく示されており、被写体と撮像装置10との距離が更に大きくなったことを示す)。このとき、AF評価値のピーク値は、図6(b)の中段に示すように、ゆらぎの制御中心から図面右方向(遠い側)におおきくずれている。また、このときのピーク値の移動量は、制御範囲を超えている。
従って、フォーカス制御部33は、図2に示すフローチャートに従ってステップ55の処理を実行する。つまり、フォーカス制御部33は、図6に示すように、ゆらぎの周波数を高くし、ゆらぎの振幅(制御範囲)を大きくする。また、フォーカス制御部33は、傾きに基づいてピーク位置を予測し、予測した位置にゆらぎの中心(制御中心)を移動させる。このように、速く大きく移動する被写体に対して、ピーク位置を検出することができるようになる。また、ピーク値の検出が速くなる。その結果、追従性が向上する。
以上記述したように、本実施形態によれば、以下の効果を奏する。
(1)フォーカス制御部33は、イメージセンサ24の受光面に被写体像を結像する第2のレンズ22を、光軸方向に沿って微少範囲の往復動させるゆらぎを持たせる。フォーカス制御部33は、イメージセンサ24から出力される画像データに基づいて算出されたAF評価値に基づいて、AF評価値のピークに対応するレンズ位置(ピーク位置)の移動量を検出する。そして、フォーカス制御部33は、レンズ22をゆらぎの振幅(制御範囲)におけるピーク値の検出の有無に基づいて、ゆらぎの振幅及び周波数を変更するようにした。ピーク値の移動量は、被写体の動きに対応する。従って、被写体の動きに応じてイメージセンサ24に結像するレンズ22のゆらぎを制御することで、被写体の動きに対応するフォーカス制御の追従性を向上することができる。
(1)フォーカス制御部33は、イメージセンサ24の受光面に被写体像を結像する第2のレンズ22を、光軸方向に沿って微少範囲の往復動させるゆらぎを持たせる。フォーカス制御部33は、イメージセンサ24から出力される画像データに基づいて算出されたAF評価値に基づいて、AF評価値のピークに対応するレンズ位置(ピーク位置)の移動量を検出する。そして、フォーカス制御部33は、レンズ22をゆらぎの振幅(制御範囲)におけるピーク値の検出の有無に基づいて、ゆらぎの振幅及び周波数を変更するようにした。ピーク値の移動量は、被写体の動きに対応する。従って、被写体の動きに応じてイメージセンサ24に結像するレンズ22のゆらぎを制御することで、被写体の動きに対応するフォーカス制御の追従性を向上することができる。
(2)フォーカス制御部33は、制御範囲内にピーク値が検出されない場合、レンズ22のゆらぎの振幅を大きくし、ゆらぎの周波数を高くするようにした。その結果、動きが大きく速い被写体に対応してレンズ22の位置を制御することができ、フォーカスの追従性を向上することができる。
(3)フォーカス制御部33は、制御範囲内にピーク値が検出され、ピーク値の移動量が目標範囲を超えるとき、ゆらぎの周波数を高くするようにした。その結果、動きが小さく速い被写体に対応してレンズ22の位置を制御することができ、フォーカスの追従性を向上することができる。
(4)フォーカス制御部33は、所定時間継続してピーク値の移動量が目標範囲内であるときに、ゆらぎの周波数を低くし、ゆらぎの振幅を小さくするようにした。その結果、レンズ22を移動させるモータドライバ12における消費電力が少なくなり、低消費電力化を図ることができる。
尚、上記実施形態は、以下の態様で実施してもよい。
・上記の撮像装置10は、静止画撮影機能を有するデジタルビデオカメラ等に具体化してもよい。
・上記の撮像装置10は、静止画撮影機能を有するデジタルビデオカメラ等に具体化してもよい。
・図1に示すレンズ部11は、オートフォーカス制御に必要なレンズを概略的に示すものであり、上記の構成に限定されない。例えば、ズーム機能を有するレンズ部、等の複数のレンズ群を備えるレンズ部に具体化してもよい。
・第2のレンズ22(フォーカスレンズ)を移動させるモータはステッピングモータに限定されず、例えば超音波モータを用いても良い。
22 レンズ(フォーカスレンズ)
24 イメージセンサ(撮像素子)
32 AF評価値算出部(評価値算出部)
33 フォーカス制御部
41 検出回路
42 ゆらぎ制御回路
43 移動量算出回路
24 イメージセンサ(撮像素子)
32 AF評価値算出部(評価値算出部)
33 フォーカス制御部
41 検出回路
42 ゆらぎ制御回路
43 移動量算出回路
Claims (7)
- 撮像素子から出力される画像データに基づいて、前記撮像素子におけるフォーカス状態を示す評価値を算出する評価値算出部と、
複数の前記評価値に基づいて、前記撮像素子に結像するレンズを光軸方向に沿って往復移動させる駆動部を前記往復移動の基準点を前記評価値が最大となる合焦位置とするように制御し、前記レンズを往復移動させる移動範囲と前記往復移動の周波数を制御するフォーカス制御部と、
を有することを特徴とする画像処理装置。 - 前記フォーカス制御部は、
複数の前記評価値のピーク値と、前記ピーク値に対応するレンズ位置の移動量を検出する検出回路と、
前記ピーク値の移動量に基づいて、前記レンズの移動範囲と前記往復移動の周波数を制御する制御部と、
を有することを特徴とする請求項1に記載の画像処理装置。 - 前記検出回路は、複数のレンズ位置に対応する前記評価値に基づいて傾きを検出し、
前記フォーカス制御部は、
前記傾きに基づいて前記レンズの移動範囲内に前記評価値のピーク値が検出されない場合に、前記ピーク位置に対応するレンズ位置の移動量を予測し、予測した移動量に応じたレンズ位置に前記基準点を設定する、
ことを特徴とする請求項2に記載の画像処理装置。 - 前記フォーカス制御部は、前記レンズの移動範囲内に前記評価値のピーク値を検出し、前記移動量が前記移動範囲に対応して設定された目標範囲を超えた場合に、前記往復移動の周波数を変更する、ことを特徴とする請求項2又は3に記載の画像処理装置。
- 前記フォーカス制御部は、前記ピーク値に対応するレンズ位置の移動量が所定時間継続して前記目標範囲以内であるときに、前記レンズの移動範囲を小さく変更し、前記レンズにおける前記往復移動の周波数を低く変更する、ことを特徴とする請求項2〜4のうちの何れか一項に記載の画像処理装置。
- 撮像素子から出力される画像データに基づいて、前記撮像素子におけるフォーカス状態を示す評価値を算出し、
複数の前記評価値に基づいて、前記撮像素子に結像するレンズを光軸方向に沿って往復移動させる駆動部を、前記往復移動の基準点を前記評価値が最大となる合焦位置とするように制御し、
前記レンズを往復移動させる移動範囲と前記往復移動の周波数を制御する、
ことを特徴とするフォーカス制御方法。 - 光電変換して生成した画像データをフレーム毎に出力する撮像素子と、
被写体を前記撮像素子に結像するレンズと、
前記レンズを光軸方向に移動させる駆動部と、
前記撮像素子から出力される各フレームの画像データに基づいて、前記被写体のフォーカス状態に応じた評価値を算出する評価値算出部と、
複数の前記評価値に基づいて、前記レンズにおける往復移動の基準点を前記評価値が最大となる合焦位置とするように前記駆動部を制御し、前記レンズを往復移動させる移動範囲と前記往復移動の周波数を制御するフォーカス制御部と、
を有することを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011108375A JP2012237935A (ja) | 2011-05-13 | 2011-05-13 | 画像処理装置、フォーカス制御方法、及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011108375A JP2012237935A (ja) | 2011-05-13 | 2011-05-13 | 画像処理装置、フォーカス制御方法、及び撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012237935A true JP2012237935A (ja) | 2012-12-06 |
Family
ID=47460864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011108375A Pending JP2012237935A (ja) | 2011-05-13 | 2011-05-13 | 画像処理装置、フォーカス制御方法、及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012237935A (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10164417A (ja) * | 1996-12-03 | 1998-06-19 | Canon Inc | 撮像装置、その制御方法、記憶媒体、及びレンズ制御装置 |
JPH1152226A (ja) * | 1998-05-22 | 1999-02-26 | Hitachi Ltd | オートフォーカス装置 |
JP2006301031A (ja) * | 2005-04-15 | 2006-11-02 | Sony Corp | オートフォーカス装置とオートフォーカス方法およびプログラム |
JP2008017286A (ja) * | 2006-07-07 | 2008-01-24 | Canon Inc | 撮像装置及び撮像方法 |
JP2008301004A (ja) * | 2007-05-30 | 2008-12-11 | Hitachi Ltd | Rfidタグとrfidタグ通信装置における通信制御方式 |
JP2010107866A (ja) * | 2008-10-31 | 2010-05-13 | Olympus Imaging Corp | デジタルカメラ及び光学機器 |
-
2011
- 2011-05-13 JP JP2011108375A patent/JP2012237935A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10164417A (ja) * | 1996-12-03 | 1998-06-19 | Canon Inc | 撮像装置、その制御方法、記憶媒体、及びレンズ制御装置 |
JPH1152226A (ja) * | 1998-05-22 | 1999-02-26 | Hitachi Ltd | オートフォーカス装置 |
JP2006301031A (ja) * | 2005-04-15 | 2006-11-02 | Sony Corp | オートフォーカス装置とオートフォーカス方法およびプログラム |
JP2008017286A (ja) * | 2006-07-07 | 2008-01-24 | Canon Inc | 撮像装置及び撮像方法 |
JP2008301004A (ja) * | 2007-05-30 | 2008-12-11 | Hitachi Ltd | Rfidタグとrfidタグ通信装置における通信制御方式 |
JP2010107866A (ja) * | 2008-10-31 | 2010-05-13 | Olympus Imaging Corp | デジタルカメラ及び光学機器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8830338B2 (en) | Imaging device | |
US10244159B2 (en) | Image capturing apparatus and control method thereof | |
JP5322783B2 (ja) | 撮像装置及び該撮像装置の制御方法 | |
US9602714B2 (en) | Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium | |
US8643763B2 (en) | Image pickup apparatus arranged to detachably mount a lens unit and lens unit | |
US9762806B2 (en) | Imaging apparatus having variable diaphragm | |
US10757338B2 (en) | Imaging apparatus capable of determining whether an apodization filter is present or not and selecting first and second program diagrams | |
US8195042B2 (en) | Imaging apparatus and control method | |
US9244335B2 (en) | Imaging device and imaging method | |
US10542202B2 (en) | Control apparatus that performs focusing by imaging-plane phase difference AF, image capturing apparatus, control method, and non-transitory computer-readable storage medium | |
CN1598681A (zh) | 具有像抖动补偿功能的光学仪器 | |
US9160916B2 (en) | Focus adjustment apparatus with a size detector | |
JP2016197202A (ja) | 焦点調節装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2007052061A (ja) | 撮像装置、合焦動作制御方法および電子情報機器 | |
JP2013031010A (ja) | 撮像装置、撮像方法およびプログラム | |
KR100855370B1 (ko) | 자동 초점 조절장치 및 그 방법 | |
US20140078326A1 (en) | Focus control device, method for controlling focus and image pickup apparatus | |
JP2014215476A (ja) | 撮像装置およびその制御方法 | |
KR101539247B1 (ko) | 촬상장치, 렌즈 유닛 및 그 제어 방법 | |
US20210092276A1 (en) | Acquisition method, computer readable recording medium and image apparatus | |
JP2012237935A (ja) | 画像処理装置、フォーカス制御方法、及び撮像装置 | |
JP2015019416A (ja) | 撮像装置、その制御方法及びプログラム | |
JP2015040940A (ja) | 焦点調整装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP4326997B2 (ja) | 撮像装置および合焦方法、制御プログラム、記録媒体 | |
CN115250333A (zh) | 电子设备及其控制方法和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141125 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150324 |