以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。
図1に示すデジタルカメラは、撮像レンズ1と、絞り2と、レンズ制御部4と、レンズ駆動部8と、絞り駆動部9と、を有するレンズ装置40を備える。本実施形態において、レンズ装置40はデジタルカメラ本体に着脱可能なものとして説明するが、デジタルカメラ本体に固定されるものであってもよい。
撮像レンズ1と絞り2は撮像光学系を構成し、撮像光学系はフォーカスレンズを少なくとも含む。このフォーカスレンズは、撮像光学系の焦点を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが撮像光学系の光軸方向に移動することで焦点調節が行われる。
レンズ装置40のレンズ制御部4は、デジタルカメラ本体のシステム制御部11と有線又は無線によって通信可能に構成される。レンズ制御部4は、システム制御部11からの指令にしたがい、レンズ駆動部8を介して撮像レンズ1に含まれるフォーカスレンズを駆動したり、絞り駆動部9を介して絞り2を駆動したりする。
デジタルカメラ本体は、撮像光学系を通して被写体を撮像するCCD型やCMOS型等の撮像素子5と、撮像素子5の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部6と、アナログ信号処理部6から出力されるアナログ信号をデジタル信号に変換するアナログデジタル変換回路7とを備える。アナログ信号処理部6及びアナログデジタル変換回路7は、システム制御部11によって制御される。
デジタルカメラの電気制御系全体を統括制御するシステム制御部11は、撮像素子駆動部10を介して撮像素子5を駆動し、レンズ装置40を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部11には、操作部14を通してユーザからの指示信号が入力される。
システム制御部11は、プロセッサとRAM(Ramdom Access Memory)及びROM(Read Only Memory)等のメモリにより構成される。システム制御部11は、メインメモリ16又は内蔵ROMに格納された合焦制御プログラムを実行することで、後述する各機能を実現する。メインメモリ16又は内蔵ROMはコンピュータ読み取り可能な非一時的な記録媒体を構成する。
更に、このデジタルカメラの電気制御系は、メインメモリ16と、メインメモリ16に接続されたメモリ制御部15と、アナログデジタル変換回路7から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びRGB/YC変換処理等を行って撮像画像データを生成するデジタル信号処理部17と、着脱自在の記録媒体21が接続される外部メモリ制御部20と、カメラ背面等に搭載された表示部23が接続される表示制御部22と、を備える。
メモリ制御部15、デジタル信号処理部17、外部メモリ制御部20、及び表示制御部22は、制御バス24及びデータバス25によって相互に接続され、システム制御部11からの指令によって制御される。
図2は、図1に示すデジタルカメラに搭載される撮像素子5の全体構成を示す平面模式図である。
撮像素子5は、一方向である行方向Xと行方向Xに直交する列方向Yに二次元状に配列された多数の画素が配置される受光面50を有する。この受光面50には、焦点を合わせる対象となるエリアである焦点検出エリア(以下、AFエリアという)53が図2の例では9つ設けられている。
AFエリア53は、画素として撮像用画素と位相差検出用画素とを含むエリアである。
受光面50のうちAFエリア53を除く部分には、撮像用画素だけが配置される。なお、AFエリア53は、受光面50に隙間無く設けてあってもよい。
図3は、図2に示す1つのAFエリア53の部分拡大図である。
AFエリア53には、画素51が二次元状に配列されている。各画素51は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタとを含む。
図3では、赤色光を透過するカラーフィルタ(Rフィルタ)を含む画素51(R画素51ともいう)には“R”の文字を付し、緑色光を透過するカラーフィルタ(Gフィルタ)を含む画素51(G画素51ともいう)には“G”の文字を付し、青色光を透過するカラーフィルタ(Bフィルタ)を含む画素51(B画素51ともいう)には“B”の文字を付している。カラーフィルタの配列は受光面50全体でベイヤ配列となっている。
AFエリア53では、G画素51の一部(図3中の網掛けを付した画素51)が位相差検出用画素52となっている。図3の例では、R画素51とG画素51を含む画素行のうちの任意の画素行における各G画素51と、この各G画素51に対して列方向Yに最も近い同色のG画素51とが、位相差検出用画素52となっている。
図4は、図3に示す位相差検出用画素52のみを示した図である。
図4に示すように、位相差検出用画素52は、位相差検出用画素52Aと位相差検出用画素52Bの2種類の画素を含む。
位相差検出用画素52Aは、撮像光学系の瞳領域の行方向Xに並ぶ異なる2つの部分を通過した一対の光束の一方を受光し受光量に応じた信号を検出する第一の信号検出部である。
位相差検出用画素52Bは、上記一対の光束の他方を受光し受光量に応じた信号を検出する第二の信号検出部である。
なお、AFエリア53において、位相差検出用画素52A,52B以外の複数の画素51は撮像用画素であり、撮像用画素は、撮像レンズ1を通過した上記一対の光束を受光し受光量に応じた信号を検出する。
各画素51の光電変換部上方には遮光膜が設けられ、この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。
撮像用画素51の開口の中心は、撮像用画素51の光電変換部の中心と一致している。これに対し、位相差検出用画素52Aの開口(図4の白抜き部分)の中心は、位相差検出用画素52Aの光電変換部の中心に対し右側に偏心している。
また、位相差検出用画素52Bの開口(図4の白抜き部分)の中心は、位相差検出用画素52Bの光電変換部の中心に対して左側に偏心している。ここでいう右方向は、図3で示す行方向Xの一方の方向であり、左方向は行方向Xのもう一方の方向である。
図5は、位相差検出用画素52Aの断面構成を示す図である。図5に示すように、位相差検出用画素52Aは、開口cが光電変換部(PD)に対して右に偏心している。図5に示すように、光電変換部の片側を遮光膜によって覆うことにより、遮光膜で覆った方向と逆の方向から入射した光を選択的に遮光することができる。
この構成により、任意の行にある位相差検出用画素52Aからなる画素群と、この画素群の各位相差検出用画素52Aに対して一方向に同一距離で配置された位相差検出用画素52Bからなる画素群とによって、これら2つの画素群の各々によって撮像される像における行方向Xの位相差量を検出することができる。
なお、撮像素子5は、撮像光学系の瞳領域の行方向Xに並ぶ異なる部分を通過した一対の光束の一方を受光し受光量に応じた信号を検出する第一の信号検出部と、上記一対の光束の他方を受光し受光量に応じた信号を検出する第二の信号検出部とのペアを複数有する構成であればよく、図2〜図5に示した構成に限らない。
例えば、撮像素子5に含まれる全ての画素を撮像用画素51とし、各撮像用画素51を2つに分割して、一方の分割部分を位相差検出用画素52Aとし、他方の分割部分を位相差検出用画素52Bとした構成であってもよい。
図6は、撮像素子5に含まれる全ての画素を撮像用画素51とし、各撮像用画素51を2つに分割した構成を示す図である。
図6の構成では、撮像素子5においてRを付した撮像用画素51を2つに分割し、分割した2つをそれぞれ位相差検出用画素R1と位相差検出用画素R2としている。
また、撮像素子5においてGを付した撮像用画素51を2つに分割し、分割した2つをそれぞれ位相差検出用画素G1と位相差検出用画素G2としている。
更に、撮像素子5においてBを付した撮像用画素51を2つに分割し、分割した2つをそれぞれ位相差検出用画素B1と位相差検出用画素B2としている。
この構成では、位相差検出用画素R1,G1,B1がそれぞれ第一の信号検出部となり、位相差検出用画素R2,G2,B2がそれぞれ第二の信号検出部となる。第一の信号検出部と第二の信号検出部からは独立に信号を読み出すことができる。
そして、第一の信号検出部と第二の信号検出部の信号を加算すると、位相差のない通常の撮像用信号を得られる。つまり、図6の構成では、全ての画素を、位相差検出用画素と撮像用画素との両方として用いることができる。
このように、撮像素子5は、複数の第一の信号検出部と、複数の第二の信号検出部とが形成されたAFエリアを有するセンサを構成する。
図7は、図2に示す1つのAFエリア53の拡大図である。図7に示すように、AFエリア53は、位相差の検出方向である行方向Xに分割された5つの分割エリア53sから構成されている。分割エリア53sの数は5つに限らず、複数であればよい。各分割エリア53sには、位相差検出用画素52Aと位相差検出用画素52Bのペアが複数含まれる。
図8は、図1に示すシステム制御部11の機能ブロック図である。システム制御部11は、内蔵ROM又はメインメモリ16に格納された合焦制御プログラムを実行することにより、第一の相関値生成部11Aと、第二の相関値生成部11Bと、第一の位相差量検出部11Cと、第二の位相差量検出部11Dと、目標位置決定部11Eと、レンズ駆動制御部11Fと、して機能する。
第一の相関値生成部11Aは、同一のAFエリア53にある複数の第一の信号検出部(位相差検出用画素52A)から出力された第一の信号群と複数の第二の信号検出部(位相差検出用画素52B)から出力された第二の信号群との相関値を求める。
第一の相関値生成部11Aは、第一の信号群をデータA[k]とし、第二の信号群をデータB[k]として、式(1)の演算を行うことで、第一の信号群と第二の信号群の相関値を求める。
第二の相関値生成部11Bは、AFエリア53を構成する5つの分割エリア53sの各々にある、複数の第一の信号検出部(位相差検出用画素52A)から出力された第三の信号群と複数の第二の信号検出部(位相差検出用画素52B)から出力された第四の信号群との相関値を求める。
第二の相関値生成部11Bは、第三の信号群をデータA[k]とし、第四の信号群をデータB[k]として、式(1)の演算を行うことで、第三の信号群と第四の信号群の相関値を求める。
例えば、AFエリア53に、位相差検出用画素52Aと位相差検出用画素52Bのペアが行方向Xに50組並んでいる場合を考える。この場合、各分割エリア53sには、10組のペアが行方向Xに並ぶ構成となる。
この例では、第一の相関値生成部11Aは、AFエリア53に含まれる50個のペアから出力される第一の信号群と第二の信号群の相関値を求める。また、第二の相関値生成部11Bは、各分割エリア53sに含まれる10個のペアから出力される第三の信号群と第四の信号群の相関値を求める。
第一の位相差量検出部11Cは、第一の相関値生成部11Aにより求められた相関値から、第一の信号群と第二の信号群との第一の位相差量を検出する。
具体的には、第一の位相差量検出部11Cは、第一の相関値生成部11Aにより求められた相関値が最小となったときの第一の信号群と第二の信号群のずらし量を第一の位相差量として検出する。
第二の位相差量検出部11Dは、第二の相関値生成部11Bにより求められた分割エリア53s毎の相関値から、分割エリア53s毎に、第三の信号群と第四の信号群との第二の位相差量を検出する。
具体的には、第二の位相差量検出部11Dは、任意の分割エリア53sについて第二の相関値生成部11Bにより求められた相関値が最小となったときの第三の信号群と第四の信号群のずらし量を、この任意の分割エリア53sにおける第二の位相差量として検出する。
目標位置決定部11Eは、第一の位相差量に基づいてフォーカスレンズの目標位置を決定する第一の処理と、第二の位相差量に基づいてフォーカスレンズの目標位置を決定する第二の処理とを選択的に行う。
目標位置決定部11Eは、具体的には、第一の相関値生成部11Aにより求められた相関値と、第二の相関値生成部11Bにより求められた相関値と、に基づいて、上記の第二の処理によって決定される目標位置の信頼度を判定し、この信頼度が閾値以下の場合には第一の処理を行い、この信頼度が閾値を超える場合には第二の処理を行う。
レンズ駆動制御部11Fは、レンズ制御部4を制御して、第一の処理又は第二の処理により決定された目標位置にフォーカスレンズを駆動させる。
図9は、図8に示すシステム制御部11による合焦制御動作を説明するためのフローチャートである。デジタルカメラの利用者により、9つのAFエリア53から任意のものが選択された状態で操作部14が操作されて、AFを行う指示がシステム制御部11に入力されることで、図9に示すフローが開始される。
AFを行う指示がなされると、撮像素子5によりAFのための撮像が行われ、この撮像により得られる撮像画像信号がシステム制御部11に入力される。
そして、第一の相関値生成部11Aは、この撮像画像信号のうち、選択されたAFエリア53に含まれる位相差検出用画素52Aから出力された第一の信号群と位相差検出用画素52Bから出力された第二の信号群との相関演算を行って、両者の相関値を求める第一の相関値生成ステップを行う(ステップS1)。
また、第二の相関値生成部11Bは、この撮像画像信号のうち、選択されたAFエリア53を構成する各分割エリア53sに含まれる位相差検出用画素52Aから出力された第三の信号群と位相差検出用画素52Bから出力された第四の信号群との相関演算を行って、分割エリア53s毎に第三の信号群と第四の信号群の相関値を求める第二の相関値生成ステップを行う(ステップS2)。
図10は、規則的なパターンを持つ被写体H1がAFエリア53によって撮像されている例を示す図である。図11は、図10に示すAFエリア53とこれを構成する1つの分割エリア53sについて求められた相関値の結果を示す図である。
図12は、主要被写体(人物)とその背景物体(木)とを含む被写体H2がAFエリア53により撮像されている例を示す図である。図13は、図12に示すAFエリア53とこれを構成する1つの分割エリア53sについて求められた相関値の結果を示す図である。
図11及び図13は、相関演算の結果を、横軸を2つの信号群のずれ量とし、縦軸を2つの信号群の相関値としたグラフで示している。
図11及び図13には、ステップS1において求められた相関値の曲線(相関カーブCm)と、ステップS2において任意の分割エリア53sについて求められた相関値の曲線(相関カーブCs)とが図示されている。なお、以下では、5つの分割エリア53sの各々について求められた相関値の曲線を相関カーブCsという。
ステップS2の後、第一の位相差量検出部11Cは、ステップS1により求められた相関カーブCmにおいて相関値が最小となるずれ量d1(図11及び図13参照)を第一の位相差量として検出する(ステップS3)。
次に、第二の位相差量検出部11Dは、ステップS2により求められた各相関カーブCsにおいて相関値が最小となるずれ量d2(図11及び図13参照)を第二の位相差量として検出する(ステップS4)。図11及び図13に示すように、各相関カーブCsにおいてずれ量d2に対応する相関値を第一の相関値s1とする。
次に、目標位置決定部11Eは、ずれ量d1とずれ量d2の差(符号を無視した絶対値)がずれ量閾値th1以下となる分割エリア53sがあるか否かを判定する(ステップS5)。なお、図示はしないが、ステップS4の処理で各分割エリア53sにおいてずれ量d2を検出できなかった場合には、ステップS8の処理が行われる。
ステップS5の判定がYESの場合、目標位置決定部11Eは、ずれ量d2に基づいてフォーカスレンズの目標位置を決定する第二の処理の信頼度が閾値を超えると判定する(ステップS9)。
ステップS5の判定がYESの場合は、AFエリア53と、5つの分割エリア53sのいずれかとで、ほぼ同じ被写体を撮像していると判断できる。このため、目標位置決定部11Eは、分割エリア53sでの相関演算結果を用いて目標位置を決定する場合のこの目標位置の決定精度は高いと判断することができる。
ステップS5の判定がNOの場合、目標位置決定部11Eは、ステップS2により求められた各相関カーブCsにおいてずれ量d1に対応する相関値である第二の相関値s2(図11及び図13参照)を検出する(ステップS6)。
ステップS6の後、目標位置決定部11Eは、第一の相関値s1と第二の相関値s2との差が相関閾値th2以上となる分割エリア53sがあるか否かを判定する(ステップS7)。
目標位置決定部11Eは、第一の相関値s1と第二の相関値s2との差が相関閾値th2以上となる分割エリア53sがあると判定した場合はステップS9の処理を行う。
一方、目標位置決定部11Eは、第一の相関値s1と第二の相関値s2との差が相関閾値th2以上となる分割エリア53sがないと判定した場合は、ずれ量d2に基づいてフォーカスレンズの目標位置を決定する第二の処理の信頼度が閾値以下であると判定する(ステップS8)。
ずれ量d1とずれ量d2の差が大きく、かつ、第二の相関値s2と第一の相関値s1との差が小さい状態は、図11のような状態である。このような状態は、相関カーブCsが増減を繰り返していると判断できる。このため、図10に示すような繰り返しパターンが撮像されていると判断することができる。
一方、ずれ量d1とずれ量d2との差が大きく、かつ、第二の相関値s2と第一の相関値s1との差が大きい状態は図13のような状態である。このような状態は、相関カーブCsが増減を繰り返していないと判断できる。このため、図10に示すような繰り返しパターンが撮像されていないと判断することができる。
したがって、ステップS7の判定がYESの場合は、第二の処理の信頼度が高いと判定することができ、ステップS7の判定がNOの場合は、第二の処理の信頼度が低いと判定することができる。
ステップS8及びステップS9の後は、目標位置決定部11Eにより、フォーカスレンズの目標位置を決定する処理が行われる(ステップS10)。
ステップS10において、目標位置決定部11Eは、ステップS8の処理が行われていれば、ステップS3で検出されたずれ量d1をデフォーカス量に変換し、このデフォーカス量に基づいてフォーカスレンズの目標位置を決定する。
また、ステップS10において、目標位置決定部11Eは、ステップS9の処理が行われていれば、ステップS4で検出された各分割エリア53sにおけるずれ量d2のうちの最小値、又は、各分割エリア53sにおけるずれ量d2の平均値をデフォーカス量に変換し、このデフォーカス量に基づいてフォーカスレンズの目標位置を決定する。
なお、ステップS9の処理が行われた場合、目標位置決定部11Eは、各分割エリア53sの中から、ずれ量d1とずれ量d2の差がずれ量閾値th1以下となる分割エリア53sと、ずれ量d1とずれ量d2の差がずれ量閾値th1を超えかつ第二の相関値s2と第一の相関値s1との差が相関閾値th2以上となる分割エリア53sとを選択し、選択した分割エリア53sにおいて求められたずれ量d2を抽出する。
そして、目標位置決定部11Eは、抽出したずれ量d2のうちの最小値、又は、抽出したずれ量d2の平均値をデフォーカス量に変換し、このデフォーカス量に基づいてフォーカスレンズの目標位置を決定してもよい。
ステップS10の後、レンズ駆動制御部11Fは、ステップS10で決定された目標位置にフォーカスレンズを移動させるレンズ駆動制御ステップを行って(ステップS11)、AF動作が終了する。
以上のように、図1のデジタルカメラによれば、図11に示すように、相関カーブCsの最小値が決定しにくい被写体を撮像している場合には、相関カーブCmの最小値に対応するずれ量である第一の位相差量に基づいて合焦制御が行われる。このため、図10に示す規則的なパターンを持つ被写体を撮像する場合でも高精度に合焦させることができる。
また、図1のデジタルカメラによれば、図13に示すように、相関カーブCsの最小値を決定しやすい被写体を撮像している場合には、相関カーブCsの最小値に対応するずれ量である第二の位相差量に基づいて合焦制御が行われる。このため、主要被写体以外の被写体に合焦する可能性を減らすことができ、主要被写体に対して高精度に合焦させることができる。
また、図1のデジタルカメラによれば、図9のステップS4の処理で各分割エリア53sにおいてずれ量d2を検出できなかった場合には、ステップS8の処理が行われる。
分割エリア53sはAFエリア53よりも小さいエリアであるため、AFエリア53によって撮像されている像が大きくぼけているような場合には、各分割エリア53sにおける相関カーブCsはなだらかな曲線となり、ずれ量d2が検出できなくなる。
このような場合でも、AFエリア53では、相関カーブCmの最小値を算出できる可能性が高いため、相関カーブCmの最小値に対応するずれ量に基づいてフォーカスレンズを駆動することで、大ボケの被写体に対しても合焦させることが可能となる。
なお、図9のステップS4では、相関カーブCsの全体(第三の信号群と第四の信号群のずれ量の取りえる範囲)を対象として、相関値が最小となるずれ量d2を検出するものとした。
しかし、ここでは、相関カーブCsにおいて、ずれ量=ゼロを含む予め決められた範囲を対象として、相関値が最小となるずれ量d2を検出してもよい。
例えば、図9のステップS4では、図11に示した範囲A1内において相関値が最小となるずれ量d2を探索するようにしてもよい。図11に示すように相関カーブCsが大きく増減を繰り返す形になるのは、図10に示すような被写体H1に、ある程度ピントが合っている場合である。
つまり、フォーカスレンズが合焦位置付近にある場合に、図11に示すような相関カーブCsが得られることになる。したがって、ずれ量d2を探索する範囲をフォーカスレンズの現在の位置を含む前後の範囲に対応するずれ量の範囲A1に限定しても、相関カーブCsの形状が図11のようになっているか否かを判定することは可能である。
このように、図9のステップS4において、ずれ量d2の探索範囲を相関カーブCsのずれ量の端から端までの範囲の一部に限定することで、システム制御部11の演算量を減らすことができ、消費電力の低減、AFの高速化が可能となる。
以上の説明では、ステップS10において、ずれ量d2に基づく目標位置の信頼度が閾値を超えている場合には、ずれ量d2に基づいて目標位置の決定がなされるものとした。しかし、この場合には、撮像している被写体の状況等に応じて、ずれ量d1に基づいて目標位置の決定を行えるようにしてもよい。以下、ステップS10の変形例について説明する。
(第一の変形例)
図14は、図1のデジタルカメラのシステム制御部11による合焦制御動作の第一の変形例を説明するためのフローチャートである。図14に示すフローチャートは、図9のステップS10の詳細を示すフローチャートである。
目標位置決定部11Eは、ずれ量d2に基づく目標位置の信頼度が閾値以下であると判定した場合(ステップS20:NO)は、図9のステップS3で検出されたずれ量d1に基づいて目標位置を決定する(ステップS21)。
具体的には、目標位置決定部11Eは、ずれ量d1をデフォーカス量に変換し、このデフォーカス量と現在のフォーレンズの位置とから、フォーカスレンズの目標位置を決定する。
目標位置決定部11Eは、ずれ量d2に基づく目標位置の信頼度が閾値を超えると判定した場合(ステップS20:YES)は、ずれ量d1と各分割エリア53sについて検出されたずれ量d2とのうちの最小値を抽出し、抽出した最小値に基づいてフォーカスレンズの仮目標位置を算出する(ステップS22)。
具体的には、目標位置決定部11Eは、抽出した最小値をデフォーカス量に変換し、このデフォーカス量と現在のフォーレンズの位置とから、フォーカスレンズの仮目標位置を決定する。この仮目標位置は、ずれ量d1と各分割エリア53sについて検出されたずれ量d2とのそれぞれに基づく目標位置のうち、現在のフォーカスレンズの位置に最も近い位置となる。
次に、目標位置決定部11Eは、ステップS3で検出されたずれ量d1に基づいてフォーカスレンズの目標位置を決定し、この目標位置が、フォーカスレンズの移動方向におけるステップS22で算出した仮目標位置を基準とした予め決められた深度範囲に入るか否かを判定する(ステップS23)。
この深度範囲は、仮目標位置にフォーカスレンズがあると仮定した場合の被写界深度の1倍〜2倍等のごく狭い範囲に設定される。なお、深度範囲は、仮目標位置を起点としてフォーカスレンズの移動方向の一方向側に設定される。
ステップS23の判定がYESの場合、目標位置決定部11EはステップS21の処理を行う。
ステップS23の判定がNOの場合、目標位置決定部11Eは、各分割エリア53sについて検出されたずれ量d2に基づいて分割エリア53s毎にフォーカスレンズの目標位置を決定し、この目標位置が上記の深度範囲に入る分割エリア53sを特定する(ステップS24)。
次に、目標位置決定部11Eは、ステップS24で特定した分割エリア53sについて検出されたずれ量d2の平均値を算出し(ステップS25)、算出した平均値に基づいて最終的な目標位置を決定する(ステップS26)。
具体的には、目標位置決定部11Eは、平均値をデフォーカス量に変換し、このデフォーカス量と現在のフォーレンズの位置とから、フォーカスレンズの最終的な目標位置を決定する。
なお、ステップS26において、目標位置決定部11Eは、ステップS24で特定した分割エリア53sについて検出されたずれ量d2のうちの中心値を選択し、この中心値に基づいて最終的な目標位置を決定してもよい。
又は、ステップS26において、目標位置決定部11Eは、ステップS24で特定した分割エリア53sについて検出されたずれ量d2のうちの最大値と最小値を除く値を選択し、選択した値の平均値に基づいて最終的な目標位置を決定してもよい。
又は、ステップS26において、目標位置決定部11Eは、ステップS24で特定した分割エリア53sについて検出されたずれ量d2の標準偏差を算出し、検出されたずれ量d2の平均値を中心とした標準偏差の範囲にあるずれ量dを選択し、選択した値の平均値に基づいて最終的な目標位置を決定してもよい。
又は、ステップS26において、目標位置決定部11Eは、ステップS24で特定した分割エリア53sについて検出されたずれ量d2のうち、中心値に近い値(例えば中心値とその両隣の値)の重みを相対的に大きくした加重平均を行って得た平均値に基づいて最終的な目標位置を決定してもよい。
ステップS26とステップS21の処理の後は、図9のステップS11において、決定された目標位置にフォーカスレンズが駆動される。
以上のように、第一の変形例によれば、ずれ量d2に基づく目標位置の信頼度が閾値を超える場合には、仮目標位置にフォーカスレンズが駆動されるのではなく、仮目標位置を基準とする深度範囲にずれ量d2に基づく目標位置が入る分割エリア53sが特定され、この特定された分割エリア53sについて検出されたずれ量d2に基づいて目標位置が決定される。
図15は、深度範囲を説明するための模式図である。図15では、2つの位相差量が検出されている例を示している。2つの位相差量のうちの最小値に基づく目標位置が図15の仮目標位置である。他の位相差量に基づく目標位置をM1としている。各目標位置にフォーカスレンズがあると仮定した場合にピントが合っていると判断される範囲が被写界深度である。
図15(a)に示す状態では、仮目標位置と目標位置M1の各々に対応するずれ量d2の平均値に基づく目標位置にフォーカスレンズを移動させた場合に、目標位置M1に対応する被写体と、仮目標位置に対応する被写体との両方にピントがあった状態は実現できない。
ここで、仮目標位置を中心とする被写界深度の2倍の範囲を深度範囲に設定すると、図15(b)に示すように、この深度範囲に目標位置M1が重なっていれば、仮目標位置と目標位置M1の各々に対応するずれ量の平均値に基づく目標位置にフォーカスレンズを移動させた場合に、目標位置M1に対応する被写体と、仮目標位置に対応する被写体との両方にピントがあった状態を実現できる。このため、深度範囲は、被写界深度の2倍以内に設定されている。
第一の変形例によれば、図16に示すように、撮像光学系の光軸方向に対して非垂直及び非水平の方向に伸びる被写体H3を撮像しているケースにおいて、被写体H3に対して全体的に合焦させることができる。図16は、AFエリア53を含む撮像面を撮像面に平行な方向から見た状態を示している。
図16の例では、5つの分割エリア53sのうち左端の分割エリア53sについて検出されたずれ量d2に基づく目標位置が仮目標位置であり、5つの分割エリア53sのうち左から2番目と3番目の分割エリア53sについて検出されたずれ量d2に基づく目標位置が、仮目標位置を基準とした深度範囲に入っているものとする。
この場合は、この3つの分割エリア53sについて検出されたずれ量d2の平均値に基づいて、被写体H3のデジタルカメラ側の端部ではなく、この端部よりもデジタルカメラから遠ざかる方向に少し離れた位置にフォーカスレンズの目標位置が決定される。
このように第一の変形例では、図16の例において、仮目標位置にフォーカスレンズを駆動する場合と比較すると、デジタルカメラに対して斜めになっている被写体に対して全体的にピントを合わせることができ、例えば人物が斜めに写っているような場合でも、人物全体にピントを合わせた画像を得ることができる。
また、図16に示す被写体H3が撮像光学系の光軸方向に移動しているような場合で、かつ、図16の仮目標位置に別の被写体が存在する場合でも、この別の被写体にひきずられることなく、被写体H3に合焦させることが可能となり、意図した被写体に合焦させ続けることが可能となる。
また、第一の変形例では、仮目標位置を基準とする深度範囲に、ずれ量d1に基づく目標位置が入っている場合には、このずれ量d1に基づいて最終的な目標位置が決定される。この場合には、大きいAFエリア53によって合焦制御が行われることで、被写体H3全体に合焦させた状態を得ることができる。
このように、第一の変形例によれば、ずれ量d2に基づく目標位置の信頼度が閾値を超える場合に、AFエリア53を用いた合焦制御と、分割エリア53sを用いた合焦制御とを選択的に行うことができる。このため、撮像シーンに合わせて最適な合焦制御を行うことができ、様々なシーンにて高い合焦精度を実現することが可能となる。
第一の変形例では、図9のステップS5〜ステップS9を削除してステップS4の後にステップS10を行うようにし、ステップS10の詳細フローを、図14においてステップS20を削除したものとしてもよい。
(第二の変形例)
図17は、図1のデジタルカメラのシステム制御部11による合焦制御動作の第二の変形例を説明するためのフローチャートである。図17に示すフローチャートは、図9のステップS10の詳細を示すフローチャートである。
図17に示すフローチャートは、図14のステップS23を削除し、ステップS22をステップS22aに変更したものである。図17において、図14と同じ処理には同一符号を付して説明を省略し、図14からの変更点についてのみ説明する。
ステップS20の判定がYESの場合、目標位置決定部11Eは、各分割エリア53sについて検出されたずれ量d2のうちの最小値を抽出し、抽出した最小値に基づいてフォーカスレンズの仮目標位置を算出する(ステップS22a)。
ステップS22aの後はステップS24〜ステップS26の処理が行われる。
第二の変形例によれば、第一の変形例と同様に、撮像光学系の光軸方向に対して非垂直及び非水平の方向に伸びる被写体H3を撮像しているケースにおいて、被写体H3に対して全体的に合焦させることができる。
(第三の変形例)
この変形例では、図1に示すデジタルカメラのシステム制御部11をシステム制御部11aに変更している。図18は、システム制御部11aの機能ブロック図である。
システム制御部11aは、目標位置予測部11Gと位相差量予測部11Hが追加された点を除いては、システム制御部11と同じ構成である。図18において図8と同じ構成には同一符号を付してある。
目標位置予測部11Gと位相差量予測部11Hは、システム制御部11aのプロセッサが合焦制御プログラムを実行することで構成される機能ブロックである。
目標位置予測部11Gは、目標位置決定部11Eにより決定されたフォーカスレンズの目標位置の履歴に基づいて、次のAF時におけるフォーカスレンズの目標位置を予測する。
位相差量予測部11Hは、目標位置予測部11Gにより予測された目標位置と現在のフォーカスレンズの位置との差を位相差量に変換して、次のAF時における位相差量を予測する。
図18に示すシステム制御部11aの合焦制御動作は、図9に示したものと同じである。この合焦制御動作のうちの目標位置決定処理(図9のステップS10)について図19を参照して説明する。図19は、システム制御部11aによる目標位置決定処理を説明するためのフローチャートである。
図19に示すフローチャートは、図14のフローチャートにおいて、ステップS22〜ステップS26を削除し、代わりに、ステップS30、ステップS31、ステップS22b、ステップS23a、及びステップS26aを追加したものである。図19において図14と同じ処理には同一符号を付して説明を省略する。
ステップS20の判定がYESの場合、目標位置予測部11Gは、目標位置決定部11Eにより決定された過去のフォーカスレンズの目標位置に基づいて、次のAF時におけるフォーカスレンズの目標位置を予測する(ステップS30)。
図20は、図19のステップS30の詳細を示すフローチャートである。なお、フォーカスレンズの移動方向は、フォーカスレンズの移動可能範囲のうちの被写体側端部に向かう方向をプラスとし、この移動可能範囲のうちのデジタルカメラ側端部に向かう方向をマイナスとして説明する。
目標位置予測部11Gは、目標位置決定部11Eにより決定された最新のフォーカスレンズの目標位置から、この目標位置の直前の時刻で決定された目標位置を減算して、目標位置の変化量を算出する(ステップS40)。
この変化量は、符号がプラスであれば、目標位置が前々回のAF時の位置から前回のAF時の位置までプラス方向に移動したことを意味し、符号がマイナスであれば、目標位置が前々回のAF時の位置から前回のAF時の位置までマイナス方向に移動したことを意味する。
目標位置予測部11Gは、ステップS40で算出した変化量をプラス方向閾値(正の値)と比較し、ステップS40で算出した変化量がプラス方向閾値を超えている場合(ステップS41:YES)には、目標位置がプラス方向に移動していると判断してプラス方向変化を示すカウント値を1つ増やす(ステップS46)。
目標位置予測部11Gは、ステップS46で増やしたカウント値が閾値th3(1以上の自然数)を超えている場合(ステップS47:YES)には、現在のフォーカスレンズ位置に対し、ステップS40で算出した変化量の絶対値分、プラス方向に移動した位置を、次のAF時におけるフォーカスレンズの予測目標位置とする(ステップS48)。
目標位置予測部11Gは、ステップS46で増やしたカウント値が閾値th3以下の場合(ステップS47:NO)には、次のAF時における予測目標位置を、現在のフォーカスレンズの位置とした予測結果を出力する(ステップS49)。
目標位置予測部11Gは、ステップS40で算出した変化量がプラス方向閾値以下である場合(ステップS41:NO)には、ステップS40で算出した変化量をマイナス方向閾値(負の値)と比較する。
目標位置予測部11Gは、ステップS40で算出した変化量がマイナス方向閾値以上である場合(ステップS42:NO)にはステップS49の処理を行う。
目標位置予測部11Gは、ステップS40で算出した変化量がマイナス方向閾値を下回っている場合(ステップS42:YES)には、被写体がマイナス方向に移動していると判断してマイナス方向変化を示すカウント値を1つ増やす(ステップS43)。
目標位置予測部11Gは、ステップS43で増やしたカウント値が閾値th3を超えている場合(ステップS44:YES)には、現在のフォーカスレンズ位置に対し、ステップS40で算出した変化量の絶対値分、マイナス方向に移動した位置を、次のAF時におけるフォーカスレンズの予測目標位置とする(ステップS45)。
目標位置予測部11Gは、ステップS44で増やしたカウント値が閾値th3以下の場合(ステップS44:NO)には、ステップS49の処理を行う。
図19に戻り、ステップS30において予測目標位置が求められると、位相差量予測部11Hは、予測目標位置と現在のフォーカスレンズの位置との差を位相差量に変換して、予測位相差量を算出する(ステップS31)。
ステップS31の後、目標位置決定部11Eは、ずれ量d1と各分割エリア53sについて検出されたずれ量d2との中から、ステップS31により算出された予測位相差量に最も近いずれ量を抽出する(ステップS22b)。
次に、目標位置決定部11Eは、ステップS22bで抽出したずれ量がずれ量d1か否かを判定する(ステップS23a)。
目標位置決定部11Eは、ステップS22bで抽出したずれ量がずれ量d1であれば(ステップS23a:YES)、ステップS21の処理を行う。
目標位置決定部11Eは、ステップS22bで抽出したずれ量がずれ量d1ではなく、ずれ量d2であれば(ステップS23a:NO)、ステップS22bで抽出したずれ量d2に基づいて目標位置を決定する(ステップS26a)。
具体的に、目標位置決定部11Eは、ステップS22bで抽出したずれ量d2をデフォーカス量に変換し、このデフォーカス量と現在のフォーレンズの位置とから、フォーカスレンズの目標位置を決定する。
以上のように、第三の変形例によれば、動いている被写体を撮像している場合には、フォーカスレンズの目標位置が予測され、予測目標位置と現在のフォーカスレンズの位置との差に応じた位相差量に最も近い位相差量に基づいて目標位置が決定される。このため、動く被写体に追従させた合焦制御が可能となる。
例えば図21に示すように、デジタルカメラに近づいてくる被写体H4を合焦対象として撮像している場合を考える。図21の例では、被写体H4が移動した後では、デジタルカメラに対し被写体H4とほぼ同じ距離に被写体H5が存在している場合を示している。
図21のケースでは、時刻t1において検出されたずれ量d1とずれ量d2の中から、被写体H4の予測移動位置に基づいて予測された位相差量に近いもの(図21の例では、真ん中の分割エリア53sにおいて検出されたずれ量d2)がステップS22bにおいて抽出される。
したがって、このずれ量d2に基づいて時刻t1での合焦位置が決定されることで、被写体H5に合焦されるのを防いで、被写体H4に合焦させ続けることが可能となる。
また、第三の変形例によれば、予測位相差量に基づいて、AFエリア53を用いた合焦制御と、分割エリア53sを用いた合焦制御とを選択的に行うことができる。このため、撮像シーンに合わせて最適な合焦制御を行うことができ、様々なシーンにて高い合焦精度を実現することが可能となる。
第三の変形例では、図9のステップS5〜ステップS9を削除してステップS4の後にステップS10を行うようにし、ステップS10の詳細フローを、図19においてステップS20を削除したものとしてもよい。
(第四の変形例)
図22は、図18に示すシステム制御部11aの合焦制御動作における目標位置決定処理の変形例を示すフローチャートである。
図22に示すフローチャートは、図19に示すフローチャートにおいて、ステップS22bとステップS23aを削除し、ステップS26aをステップS26bに変更したものである。図22において図19と同じ処理には同一符号を付して説明を省略する。
ステップS31において予測位相差量が算出されると、目標位置決定部11Eは、各分割エリア53sについて検出されたずれ量d2の中から、予測位相差量に最も近いものを選択し、選択したずれ量d2に基づいて目標位置を決定する(ステップS26b)。
第四の変形例によれば、第三の変形例と同様に、動く被写体に追従させた高精度の合焦制御が可能となる。
(第五の変形例)
第五の変形例は、第三の変形例(図19)と第一の変形例(図14)とを組み合わせたものである。
図23は、図18に示すシステム制御部11aの合焦制御動作における目標位置決定処理の変形例を示すフローチャートである。
図23に示すフローチャートは、図14に示すフローチャートにおいて、ステップS22をステップS22dに変更し、ステップS22dとステップS20の間に、図19で説明したステップS30及びステップS31を追加したものである。図23において図14及び図19と同じ処理には同一符号を付して説明を省略する。
ステップS31の後、目標位置決定部11Eは、ずれ量d1と各分割エリア53sについて検出されたずれ量d2との中から、ステップS31により算出された予測位相差量に最も近いずれ量を抽出し、抽出したずれ量に基づいてフォーカスレンズの仮目標位置を算出する(ステップS22d)。
ステップS22dの後は、ステップS23以降の処理が行われる。
以上のように、第五の変形例によれば、動いている被写体に高い精度で合焦させ続けられるという第三の変形例の効果と、斜めに伸びる被写体の全体に合焦させることができるという第一の変形例の効果とを得ることができる。
第五の変形例では、図9のステップS5〜ステップS9を削除してステップS4の後にステップS10を行うようにし、ステップS10の詳細フローを、図23においてステップS20を削除したものとしてもよい。
(第六の変形例)
第六の変形例は、第二の変形例(図17)と第四の変形例(図22)とを組み合わせたものである。
図24は、図18に示すシステム制御部11aの合焦制御動作における目標位置決定処理の変形例を示すフローチャートである。
図24に示すフローチャートは、図17に示すフローチャートにおいて、ステップS22aをステップS22eに変更し、ステップS22eとステップS20の間に、図19で説明したステップS30及びステップS31を追加したものである。図24において図17及び図19と同じ処理には同一符号を付して説明を省略する。
ステップS31の後、目標位置決定部11Eは、各分割エリア53sについて検出されたずれ量d2の中から、ステップS31により算出された予測位相差量に最も近いずれ量を抽出し、抽出したずれ量に基づいてフォーカスレンズの仮目標位置を算出する(ステップS22e)。
ステップS22eの後は、ステップS24以降の処理が行われる。
以上のように、第六の変形例によれば、動いている被写体に高い精度で合焦させ続けられるという第四の変形例の効果と、斜めに伸びる被写体の全体に合焦させることができるという第二の変形例の効果とを得ることができる。
(第七の変形例)
第七の変形例では、図1に示すデジタルカメラのシステム制御部11をシステム制御部11bに変更している。図25は、システム制御部11bの機能ブロック図である。システム制御部11bは、第二の相関値生成部11Bによる相関値の生成方法が異なる点を除いては、システム制御部11と同じ構成である。
システム制御部11bの第二の相関値生成部11Bは、第一の相関値生成部11Aによる相関値の演算結果を利用することで、相関演算を行うことなく、分割エリア53s毎の相関値を生成する。
具体的には、システム制御部11bの第二の相関値生成部11Bは、第一の相関値生成部11Aにより生成された第一の信号群と第二の信号群の任意のずれ量に対する相関値を分割エリア53s毎の成分に分解し、任意の分割エリア53sにおける分解成分の積算値を、この任意の分割エリア53sの任意のずれ量での相関値として記憶することで、この任意の分割エリア53sについて第三の信号群と第四の信号群の相関値を求める。
以下、図26及び図27を用いてシステム制御部11bの第二の相関値生成部11Bによる相関値の生成方法について説明する。
図26は、2つのデータ列の相関演算の結果を模式的に示す図である。
図26には、位相差検出用画素52Aから出力されたデータA〜Fからなるデータ列と、位相差検出用画素52Bから出力されたデータa〜bからなるデータ列とが図示されている。
図26では、データM(M=A,B,C,D,E,F)とデータN(N=a,b,c,d,e,f)の差を二乗した値を、相関値を構成する成分“MN”として図示している。例えば、データAとデータfの差の二乗値は、“Af”で示される。
相関演算は、データA〜Fからなるデータ列に対し、データa〜bからなるデータ列を−5〜+5の範囲で1つずつずらしていき、各ずれ量において、データ列のずらし方向における位置が同じデータ同士の差の二乗値を算出し、算出した二乗値の和を、各ずれ量に対応する相関値として求める処理である。
例えば、図26の例では、ずれ量=−5のときの相関値は“Af”であり、ずれ量=−4のときの相関値は“Ae”+“Bf”であり、ずれ量=−3のときの相関値は“Ad”+“Be” +“Cf”である。
図27は、図26に示すa〜fからなるデータ列を3つに分割したときの各分割データ列とデータA〜Fからなるデータ列との相関演算の結果を模式的に示す図である。図27では、図26と同様に、データM(M=A,B,C,D,E,F)とデータN(N=a,b,c,d,e,f)の差を二乗した値を、相関値を構成する成分“MN”として図示している。
図26と図27を見て分かるように、図26の相関演算の結果得られる二乗値“MN”は、各分割データ列とデータA〜Fからなるデータ列との相関演算により得られる二乗値によって構成されている。
図26では、データa,bからなる分割データ列とデータA〜Fからなるデータ列との相関演算により得られる二乗値MNを破線ブロックで示している。
図26では、データc,dからなる分割データ列とデータA〜Fからなるデータ列との相関演算により得られる二乗値MNを実線ブロックで示している。
図26では、データe,fからなる分割データ列とデータA〜Fからなるデータ列との相関演算により得られる二乗値MNを一点鎖線ブロックで示している。
システム制御部11bの第二の相関値生成部11Bは、第一の相関値生成部11Aが相関演算を行った結果得られるずれ量毎の相関値を、データa,bからなる分割データ列の成分(図26における破線ブロック)と、データc,dからなる分割データ列の成分(図26における実線ブロック)と、データe,fからなる分割データ列の成分(図26における一点鎖線ブロック)とに分解する。
そして、システム制御部11bの第二の相関値生成部11Bは、任意の分割データ列の分解成分において、同一のずれ量に対する二乗値を積算してこのずれ量に対する相関値として記憶することで、この任意の分割エリアから出力された第三の信号群と第四の信号群との相関値を生成する。
この変形例によれば、第二の相関値生成部11Bは相関演算を行わずにすむため、AFに要するシステム制御部11bの処理量を低減して、消費電力低減やAF速度の高速化が可能となる。
なお、第七の変形例は、第一の変形例〜第六の変形例と組み合わせることも可能である。
以上説明したデジタルカメラにおいて、システム制御部11とシステム制御部11aとシステム制御部11bがそれぞれ合焦制御装置を構成する。図1のデジタルカメラでは、被写体を撮像するための撮像素子5をAF用のセンサとして兼用しているが、撮像素子5とは別に専用のセンサをデジタルカメラが備える構成であってもよい。
ここまでは合焦制御装置を備えるデジタルカメラを例にしたが、例えば放送用のカメラシステムにおいても本発明を適用可能である。
図28は、本発明の一実施形態を説明するためのカメラシステムの概略構成を示す図である。このカメラシステムは、放送用や映画用等の業務用のカメラシステムに好適である。
図28に示すカメラシステムは、レンズ装置100と、レンズ装置100が装着される撮像装置としてのカメラ装置300とを備える。
レンズ装置100は、フォーカスレンズ111と、ズームレンズ112,113と、絞り114と、マスターレンズ群115と、を備え、これらが被写体側から順に並べて配置されている。
フォーカスレンズ111、ズームレンズ112,113、絞り114、及びマスターレンズ群115は、撮像光学系を構成する。撮像光学系は、少なくともフォーカスレンズ111を含む。
レンズ装置100は、更に、反射面116aを含むビームスプリッタ116と、ミラー117と、集光レンズ118、セパレータレンズ119、及び撮像素子120を含むAFユニット121と、を備える。撮像素子120は、二次元状に配置された複数の画素を有するCCD型イメージセンサやCMOS型イメージセンサ等のイメージセンサである。
ビームスプリッタ116は、光軸K上で絞り114とマスターレンズ群115との間に配置されている。ビームスプリッタ116は、撮像光学系に入射し絞り114を通過した被写体光の一部(例えば被写体光の80%)をそのまま透過させ、この被写体光の一部を除いた残り(例えば被写体光の20%)を光軸Kに対して直交する方向に反射面116aにて反射させる。
ビームスプリッタ116の位置は図28に示したものに限らず、光軸K上で撮像光学系の最も被写体側にあるレンズよりも後ろに配置されていればよい。
ミラー117は、ビームスプリッタ116の反射面116aで反射された光の光路上に配置されており、この光を反射させてAFユニット121の集光レンズ118に入射させる。
集光レンズ118は、ミラー117で反射した光を集光する。
セパレータレンズ119は、図28中の破線内に拡大正面図を示すように、撮像光学系の光軸を挟んで一方向(図28の例では水平方向)に並べた配置された2つのレンズ19R及びレンズ19Lから構成される。
集光レンズ118によって集光された被写体光は、これら2つのレンズ19R,19Lの各々を通過して、撮像素子120の受光面(複数の画素が配置された面)の異なる位置に結像する。つまり、撮像素子120の受光面には、一方向にずれた一対の被写体光像と、一方向に直交する方向にずれた一対の被写体光像とが結像する。
ビームスプリッタ116、ミラー117、集光レンズ118、及びセパレータレンズ119は、撮像光学系を通して被写体光像を撮像するカメラ装置300の撮像素子310に、撮像光学系に入射する被写体光の一部を入射させ、この被写体光の一部を除いた残りを撮像素子120に入射させる光学素子として機能する。
なお、ミラー117を削除し、ビームスプリッタ116で反射された光を集光レンズ118に直接入射させる構成であってもよい。
撮像素子120は、受光面に複数の画素が二次元状に配置されたエリアセンサであり、受光面に結像した2つの被写体光像の各々に応じた画像信号を出力する。つまり、撮像素子120は、撮像光学系によって結像される1つの被写体光像に対し、水平方向にずれた一対の画像信号を出力する。
撮像素子120としてエリアセンサを使うことで、ラインセンサを用いる構成と比較して、ラインセンサ同士の位置を精密に合わせる難しさを回避することができる。
撮像素子120に含まれる画素のうち、水平方向にずれた一対の画像信号の一方を出力する各画素は、撮像光学系の瞳領域の水平方向に並ぶ異なる2つの部分を通過した一対の光束のうち一方の光束を受光し受光量に応じた信号を検出する第一の信号検出部を構成している。
撮像素子120に含まれる画素のうち、水平方向にずれた一対の画像信号の他方を出力する各画素は、撮像光学系の瞳領域の水平方向に並ぶ異なる2つの部分を通過した一対の光束のうち他方の光束を受光し受光量に応じた信号を検出する第二の信号検出部を構成している。
ここでは撮像素子120をエリアセンサとしているが、撮像素子120の代わりに、第一の信号検出部を構成する画素が水平方向に複数配列されたラインセンサをレンズ19Rと対向する位置に配置し、第二の信号検出部を構成する画素が水平方向に複数配列されたラインセンサをレンズ19Rと対向する位置に配置した構成であってもよい。
カメラ装置300は、レンズ装置100の光軸K上に配置されたCCD型イメージセンサやCMOS型イメージセンサ等の撮像素子310と、撮像素子310により被写体光像を撮像して得られる画像信号を処理して撮像画像データを生成する画像処理部320と、を備える。
レンズ装置100のブロック構成は、図1のレンズ装置と同様であり、フォーカスレンズを駆動する駆動部と、この駆動部を制御するシステム制御部と、を備える。そして、このシステム制御部が、合焦制御プログラムを実行して上述した各機能ブロックとして機能する。
ただし、システム制御部に入力される第一の信号群と第二の信号群は、撮像素子120の第一の信号検出部及び第二の信号検出部から出力される信号である。このカメラシステムでは、レンズ装置100のシステム制御部が合焦制御装置として機能する。
ここまでは撮像装置としてデジタルカメラを例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。
図29は、本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。図29に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図30は、図29に示すスマートフォン200の構成を示すブロック図である。図30に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。また、スマートフォン200の主たる機能として、図示省略の基地局装置BSと図示省略の移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部220の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部204は、主制御部220の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro−Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
図29に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体201の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部211は、スピーカ205やマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。また、図28に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
操作部207は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図29に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部212は、主制御部220の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン200に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達することや、スマートフォン200の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン200の緯度、経度、高度からなる位置を検出する。GPS受信部214は、無線通信部210や外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部215は、例えば、3軸の加速度センサなどを備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向や加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。また、主制御部220は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部220は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
更に、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部208は、図1に示したデジタルカメラにおける外部メモリ制御部20、記録媒体21、表示制御部22、表示部23、及び操作部14以外の構成を含む。
カメラ部208によって生成された撮像画像データは、記憶部212に記録したり、外部入出力部213や無線通信部210を通じて出力したりすることができる。
図29に示すスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示することや、操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用することができる。
また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。更には、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等などを付加して記憶部212に記録したり、外部入出力部213や無線通信部210を通じて出力したりすることもできる。
以上のように、本明細書には以下の事項が開示されている。
開示された合焦制御装置は、フォーカスレンズを含む撮像光学系の瞳領域の一方向に並ぶ異なる部分を通過した一対の光束の一方を受光し受光量に応じた信号を検出する複数の第一の信号検出部と、上記一対の光束の他方を受光し受光量に応じた信号を検出する複数の第二の信号検出部とが形成された焦点検出エリアを有するセンサと、上記焦点検出エリアの上記複数の第一の信号検出部から出力された第一の信号群と、上記焦点検出エリアの上記複数の第二の信号検出部から出力された第二の信号群との相関値を求める第一の相関値生成部と、上記焦点検出エリアを上記一方向に分割した状態での分割エリアに含まれる複数の上記第一の信号検出部から出力された第三の信号群と、上記分割エリアに含まれる複数の上記第二の信号検出部から出力された第四の信号群との相関値を求める処理を分割エリア毎に行う第二の相関値生成部と、上記第一の相関値生成部により求められた相関値から、上記第一の信号群と上記第二の信号群との第一の位相差量を検出する第一の位相差量検出部と、上記第二の相関値生成部により求められた相関値から、分割エリア毎に、上記第三の信号群と上記第四の信号群との第二の位相差量を検出する第二の位相差量検出部と、上記第一の位相差量に基づいて上記フォーカスレンズの目標位置を決定する第一の処理と、上記第二の位相差量に基づいて上記フォーカスレンズの目標位置を決定する第二の処理と選択的に行う目標位置決定部と、上記第一の処理又は上記第二の処理により決定された目標位置に上記フォーカスレンズを駆動させるレンズ駆動制御部と、を備え、上記目標位置決定部は、上記第一の位相差量と複数の上記第二の位相差量のうちのいずれか1つの位相差量に基づいて上記フォーカスレンズの仮目標位置を算出し、上記フォーカスレンズの移動方向における上記仮目標位置を基準とする予め決められた深度範囲に上記第一の位相差量に基づくフォーカスレンズの目標位置が入っているか否かを判定し、上記第一の位相差量に基づくフォーカスレンズの目標位置が上記深度範囲に入っている場合には上記第一の処理を行い、上記第一の位相差量に基づくフォーカスレンズの目標位置が上記深度範囲外である場合には上記第二の処理を行い、上記第二の処理では、上記第二の位相差量に基づくフォーカスレンズの目標位置が上記深度範囲に入る分割エリアについて検出された第二の位相差量に基づいてフォーカスレンズの目標位置を決定する合焦制御装置。
開示された合焦制御装置は、上記目標位置決定部が、上記第二の処理では、上記第二の位相差量に基づくフォーカスレンズの目標位置が上記深度範囲に入る分割エリアについて検出された第二の位相差量の平均値に基づいてフォーカスレンズの目標位置を決定する合焦制御装置。
開示された合焦制御装置は、上記目標位置決定部は、上記第一の位相差量と複数の上記第二の位相差量のうちの最小の位相差量に基づいて上記仮目標位置を算出する合焦制御装置。
開示された合焦制御装置は、上記目標位置決定部により決定された上記フォーカスレンズの目標位置の履歴に基づいて上記フォーカスレンズの目標位置を予測する目標位置予測部と、上記目標位置予測部により予測された目標位置と上記フォーカスレンズの位置との差を位相差量に変換して位相差量を予測する位相差量予測部と、を更に備え、上記目標位置決定部は、上記第一の位相差量と複数の上記第二の位相差量のうち、上記位相差量予測部により予測された位相差量に最も近い位相差量を抽出し、上記抽出した位相差量に基づいて上記仮目標位置を算出する合焦制御装置。
開示された合焦制御装置は、上記第二の相関値生成部は、上記第一の相関値生成部により生成された上記第一の信号群と上記第二の信号群との相関値を、分割エリア毎の相関値の成分に分解し、任意の分割エリアにおける上記第一の信号群と上記第二の信号群の任意のずれ量に対応する分解成分の積算値を、上記任意の分割エリアにおける上記任意のずれ量での相関値として記憶することで、上記任意の分割エリアについて上記第三の信号群と上記第四の信号群の相関値を求める合焦制御装置。
開示されたレンズ装置は、上記合焦制御装置と、上記センサに光を入射するためのフォーカスレンズを含む撮像光学系と、を備えるレンズ装置。
開示された撮像装置は、上記合焦制御装置を備える撮像装置。
開示された合焦制御方法は、フォーカスレンズを含む撮像光学系の瞳領域の一方向に並ぶ異なる部分を通過した一対の光束の一方を受光し受光量に応じた信号を検出する複数の第一の信号検出部と、上記一対の光束の他方を受光し受光量に応じた信号を検出する複数の第二の信号検出部とが形成された焦点検出エリアを有するセンサの上記焦点検出エリアの上記複数の第一の信号検出部から出力された第一の信号群と、上記焦点検出エリアの上記複数の第二の信号検出部から出力された第二の信号群との相関値を求める第一の相関値生成ステップと、上記焦点検出エリアを上記一方向に分割した状態での分割エリアに含まれる複数の上記第一の信号検出部から出力された第三の信号群と、上記分割エリアに含まれる複数の上記第二の信号検出部から出力された第四の信号群との相関値を求める処理を分割エリア毎に行う第二の相関値生成ステップと、上記第一の相関値生成ステップにより求められた相関値から、上記第一の信号群と上記第二の信号群との第一の位相差量を検出する第一の位相差量検出ステップと、上記第二の相関値生成ステップにより求められた相関値から、分割エリア毎に、上記第三の信号群と上記第四の信号群との第二の位相差量を検出する第二の位相差量検出ステップと、上記第一の位相差量に基づいて上記フォーカスレンズの目標位置を決定する第一の処理と、上記第二の位相差量に基づいて上記フォーカスレンズの目標位置を決定する第二の処理と選択的に行う目標位置決定ステップと、上記第一の処理又は上記第二の処理により決定された目標位置に上記フォーカスレンズを駆動させるレンズ駆動制御ステップと、を備え、上記目標位置決定ステップは、上記第一の位相差量と複数の上記第二の位相差量のうちのいずれか1つの位相差量に基づいて上記フォーカスレンズの仮目標位置を算出し、上記フォーカスレンズの移動方向における上記仮目標位置を基準とする予め決められた深度範囲に上記第一の位相差量に基づくフォーカスレンズの目標位置が入っているか否かを判定し、上記第一の位相差量に基づくフォーカスレンズの目標位置が上記深度範囲に入っている場合には上記第一の処理を行い、上記第一の位相差量に基づくフォーカスレンズの目標位置が上記深度範囲外である場合には上記第二の処理を行い、上記第二の処理では、上記第二の位相差量に基づくフォーカスレンズの目標位置が上記深度範囲に入る分割エリアについて検出された第二の位相差量に基づいてフォーカスレンズの目標位置を決定する合焦制御方法。
開示された合焦制御方法は、上記目標位置決定ステップは、上記第二の処理では、上記第二の位相差量に基づくフォーカスレンズの目標位置が上記深度範囲に入る分割エリアについて検出された第二の位相差量の平均値に基づいてフォーカスレンズの目標位置を決定する合焦制御方法。
開示された合焦制御方法は、上記目標位置決定ステップは、上記第一の位相差量と複数の上記第二の位相差量のうちの最小の位相差量に基づいて上記仮目標位置を算出する合焦制御方法。
開示された合焦制御方法は、上記目標位置決定ステップにより決定された上記フォーカスレンズの目標位置の履歴に基づいて上記フォーカスレンズの目標位置を予測する目標位置予測ステップと、上記目標位置予測ステップにより予測された目標位置と上記フォーカスレンズの位置との差を位相差量に変換して位相差量を予測する位相差量予測ステップと、を更に備え、上記目標位置決定ステップは、上記第一の位相差量と複数の上記第二の位相差量のうち、上記位相差量予測ステップにより予測された位相差量に最も近い位相差量を抽出し、上記抽出した位相差量に基づいて上記仮目標位置を算出する合焦制御方法。
開示された合焦制御方法は、上記第二の相関値生成ステップは、上記第一の相関値生成ステップにより生成された上記第一の信号群と上記第二の信号群との相関値を、分割エリア毎の相関値の成分に分解し、任意の分割エリアにおける上記第一の信号群と上記第二の信号群の任意のずれ量に対応する分解成分の積算値を、上記任意の分割エリアにおける上記任意のずれ量での相関値として記憶することで、上記任意の分割エリアについて上記第三の信号群と上記第四の信号群の相関値を求める合焦制御方法。
開示された合焦制御プログラムは、フォーカスレンズを含む撮像光学系の瞳領域の一方向に並ぶ異なる部分を通過した一対の光束の一方を受光し受光量に応じた信号を検出する複数の第一の信号検出部と、上記一対の光束の他方を受光し受光量に応じた信号を検出する複数の第二の信号検出部とが形成された焦点検出エリアを有するセンサの上記焦点検出エリアの上記複数の第一の信号検出部から出力された第一の信号群と、上記焦点検出エリアの上記複数の第二の信号検出部から出力された第二の信号群との相関値を求める第一の相関値生成ステップと、上記焦点検出エリアを上記一方向に分割した状態での分割エリアに含まれる複数の上記第一の信号検出部から出力された第三の信号群と、上記分割エリアに含まれる複数の上記第二の信号検出部から出力された第四の信号群との相関値を求める処理を分割エリア毎に行う第二の相関値生成ステップと、上記第一の相関値生成ステップにより求められた相関値から、上記第一の信号群と上記第二の信号群との第一の位相差量を検出する第一の位相差量検出ステップと、上記第二の相関値生成ステップにより求められた相関値から、分割エリア毎に、上記第三の信号群と上記第四の信号群との第二の位相差量を検出する第二の位相差量検出ステップと、上記第一の位相差量に基づいて上記フォーカスレンズの目標位置を決定する第一の処理と、上記第二の位相差量に基づいて上記フォーカスレンズの目標位置を決定する第二の処理と選択的に行う目標位置決定ステップと、上記第一の処理又は上記第二の処理により決定された目標位置に上記フォーカスレンズを駆動させるレンズ駆動制御ステップと、をコンピュータに実行させるための合焦制御プログラムであって、上記目標位置決定ステップは、上記第一の位相差量と複数の上記第二の位相差量のうちのいずれか1つの位相差量に基づいて上記フォーカスレンズの仮目標位置を算出し、上記フォーカスレンズの移動方向における上記仮目標位置を基準とする予め決められた深度範囲に上記第一の位相差量に基づくフォーカスレンズの目標位置が入っているか否かを判定し、上記第一の位相差量に基づくフォーカスレンズの目標位置が上記深度範囲に入っている場合には上記第一の処理を行い、上記第一の位相差量に基づくフォーカスレンズの目標位置が上記深度範囲外である場合には上記第二の処理を行い、上記第二の処理では、上記第二の位相差量に基づくフォーカスレンズの目標位置が上記深度範囲に入る分割エリアについて検出された第二の位相差量に基づいてフォーカスレンズの目標位置を決定する合焦制御プログラム。