[本技術を適用したディジタルカメラの一実施の形態]
図1は、本技術の処理装置を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
図1において、ディジタルカメラは、撮影部11、信号処理部12、記録部13、入出力パネル14、操作部17、並びに、制御部18を有し、画像(静止画や、音声を含む動画)を撮影する。
撮影部11は、制御部18からの制御に従って、そこに入射する光に対応する画像を撮影し、その結果得られる画像(信号)を、信号処理部12に供給する。
信号処理部12は、制御部18からの制御に従って、撮影部11からの画像に信号処理を施し、必要に応じて、記録部13や入出力パネル14に供給する。
記録部13は、例えば、メモリカードや光ディスク、磁気ディスク等のリムーバブルな記録媒体(図示せず)の着脱が可能になっており、信号処理部12から供給される画像を、記録媒体に記録する。
また、記録部13は、記録媒体に記録された画像を再生し、信号処理部12を介して、入出力パネル14に供給して表示させる。
入出力パネル14は、検出部15と表示部16とを有する。
検出部15は、外部からの入力を検知(検出)する機能を有するデバイス、すなわち、例えば、静電式等のタッチパネルや、光を照射する光源と、その光の、物体からの反射光を受光するセンサとのセット等で構成される。
検出部15は、外部からの物体、すなわち、例えば、ユーザの指や、ユーザが扱うタッチペン等が近接し、又は、タッチされると、その近接、又は、タッチの位置を検出し、その位置を表す検出信号を、制御部18に供給する。
表示部16は、画像を表示するデバイス、すなわち、例えば、液晶パネル等で構成され、信号処理部12から供給される画像を表示する。
入出力パネル14は、以上のような検出部15と表示部16とが一体的になっており、表示部16において画像を表示し、検出部15において、表示部16に表示された画像に対する外部からの操作入力(タッチや近接)を検出することができる。
操作部17は、ユーザによって操作される、例えば、レリーズボタン(シャッタボタン)等の物理的なボタン等であり、ユーザの操作に対応する操作信号を、制御部18に供給する。
制御部18は、CPU(Central Processing Unit)19、不揮発性メモリ20、及び、RAM(Random Access Memory)21を有し、入出力パネル14(の検出部15)からの検出信号や、操作部17からの操作信号等に応じて、撮影部11、及び、信号処理部12を制御する。
CPU19は、不揮発性メモリ20に記憶されたプログラムを実行することにより、ディジタルカメラを構成する各ブロックを制御する。
不揮発性メモリ20は、CPU19が実行するプログラムや、CPU19の動作上記憶しておくことが必要なデータ、ユーザが操作部17等を操作することにより設定した撮影パラメータ等の、ディジタルカメラの電源がオフされたときにも保持する必要があるデータ(プログラムを含む)を記憶する。
RAM21は、CPU19の動作上必要なデータ等を一時記憶する。
以上のように構成されるディジタルカメラでは、制御部18において、CPU19が、不揮発性メモリ20等に記録されているプログラムを実行することにより、ディジタルカメラの各部を制御する。
撮影部11は、制御部18からの制御に従って、そこに入射する光に対応する画像を撮影し、その結果得られる画像信号を、信号処理部12、及び、制御部18に供給する。
信号処理部12では、撮影部11からの画像信号に、(ディジタル)信号処理が施され、入出力パネル14(の表示部16)に供給される。入出力パネル14では、信号処理部12からの画像信号に対応する画像、すなわち、いわゆるスルー画が表示される。
また、制御部18は、入出力パネル14(の検出部15)や操作部17からの信号に従い、所定の処理を実行する。
すなわち、入出力パネル14や操作部17が、例えば、撮影を行うように操作されると、制御部18は、信号処理部12を制御することにより、撮影部11からの画像信号を圧縮符号化させ、記録部13に装着された記録媒体に記録させる。
その他、制御部18は、信号処理部12を制御することにより、入出力パネル14(の表示部16)に、UI(User Interface)としてのアイコン等を表示させる。
また、制御部18は、信号処理部12を制御することにより、記録部13に、記録媒体から画像を再生させ、入出力パネル14に表示させる。
なお、ディジタルカメラは、例えば、AF(Auto focus)機能、AE(Auto Exposure)機能、AWB(Auto White Balance)機能、手ぶれ補正機能等を有しており、これらの機能は、例えば、制御部18において、CPU19がプログラムを実行することにより実現される。
CPU19に実行させるプログラムは、あらかじめ、ディジタルカメラにインストールしておく他、例えば、リムーバブルな記録媒体からディジタルカメラにインストールすることや、ネットワークを介してダウンロードし、ディジタルカメラにインストールすることができる。
[撮影部11の構成例]
図2は、図1の撮影部11の構成例を示すブロック図である。
撮影部11は、撮像系41、画像処理部42、及び、駆動部43を有し、画像を撮影して出力する。
撮像系41は、光学系51、及び、撮像素子としてのイメージセンサ54を有する。
光学系51は、レンズ群52、及び、絞り53を有し、そこに入射する光を調整して、イメージセンサ54に入射させる。
すなわち、レンズ群52は、光軸方向に移動してフォーカスを調整するフォーカスレンズや、ズームを調整するズームレンズ等からなり、被写体光を、絞り53を介して、イメージセンサ54上に結像させる。
なお、レンズ群52には、その他、例えば、光学系51の光軸と垂直方向(垂直な方向)に移動して、手ぶれを補正する防振レンズを含めることができる。この場合、ディジタルカメラでは、防振レンズが、光軸と垂直方向に移動することにより、手ぶれ補正が行われる。
絞り53は、開口のサイズを調整することにより、レンズ群52からイメージセンサ54に入射する光の光量を調整する。
イメージセンサ54は、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサ等から構成され、被写体を撮影し、その結果得られる画像信号を出力する。
すなわち、イメージセンサ54は、光学系51から入射する光を受光し、その光を、受光量に応じた電気信号としての画像信号に光電変換して出力する。イメージセンサ54が出力する画像信号は、画像処理部42に供給される。
また、イメージセンサ54は、位相差方式によるフォーカス制御に用いられる位相差情報を得るための位相差画素を一部の画素として有する。したがって、ディジタルカメラでは、位相差方式によるフォーカス制御を行うことができる。
画像処理部42は、イメージセンサ54からの画像信号のゲイン調整やホワイトバランス調整等を行う画像処理を、必要に応じて施し、信号処理部12(図1)に供給する。
なお、画像処理部42には、制御部18から制御信号が供給される。画像処理部42は、制御部18からの制御信号に従い、画像処理を行う。
駆動部43には、制御部18から制御信号が供給される。
駆動部43は、制御部18からの制御信号に従い、撮像系41を駆動する。
すなわち、駆動部43は、制御部18からの制御信号に従い、撮像系41が有する光学系51を駆動する。
具体的には、駆動部43は、例えば、光学系51が有するレンズ群52のフォーカスレンズやズームレンズを駆動することにより、フォーカスやズーム倍率を調整する。
また、駆動部43は、例えば、光学系51が有する絞り53を駆動し、絞り(絞り53の開口)を調整する。
さらに、駆動部43は、例えば、光学系51が有するレンズ群52の防振レンズを駆動することにより、手ぶれ補正を行う。
また、駆動部43は、イメージセンサ54のシャッタスピードを調整する。
[制御部18の機能的な構成例]
図3は、図1のディジタルカメラのAF機能、及び、手ぶれ補正機能を実現するための制御部18の機能的な構成例を示すブロック図である。
図3の機能的な構成は、CPU19がプログラムを実行することにより実現される。
図3において、制御部18は、フォーカス制御部61、及び、手ぶれ補正部62を有する。
フォーカス制御部61には、撮影部11が出力する画像が供給される。
フォーカス制御部61は、撮影部11が出力する画像のうちの、位相差画素の画素値から求められる位相差情報の信頼性を判定する信頼性判定(以下、AF信頼性判定ともいう)を行い、そのAF信頼性判定の判定結果に基づき、撮影部11からの画像から得られる位相差情報を用いて、位相差方式によるAFのフォーカス制御を行う。
フォーカス制御部61において、フォーカス制御は、駆動部43(図2)に制御信号を供給することにより行われる。
手ぶれ補正制御部62は、光学系51とイメージセンサ54との、光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を制御する。
すなわち、手ぶれ補正制御部62は、例えば、図示せぬジャイロスコープで検出される、ディジタルカメラの移動量である手ぶれ量に基づいて、光学系51の防振レンズを、光軸に垂直な方向に移動させ、光学系51とイメージセンサ54との(光軸と垂直方向の)相対的な位置関係を変化させることにより、手ぶれ補正を制御する。
ここで、手ぶれ補正制御部62により制御される手ぶれ補正では、手ぶれ等によって、ディジタルカメラが移動することにより生じる、イメージセンサ54に形成される被写体光の像の位置のずれ(手ぶれ量)をキャンセルするように、光学系51とイメージセンサ54との相対的な位置関係が変化される。
ここでは、光学系51(の防振レンズ)を、光軸に垂直な方向に移動させることにより、光学系51とイメージセンサ54との相対的な位置関係を変化させることとするが、手ぶれ補正では、その他、例えば、イメージセンサ54を、光軸に垂直な方向に移動させることにより、光学系51とイメージセンサ54との相対的な位置関係を変化させることができる。
また、手ぶれ補正制御部62において、手ぶれ補正の制御は、駆動部43(図2)に制御信号を供給することにより行われる。
[イメージセンサ54の構成例]
図4は、図2のイメージセンサ54の構成例の概要を示す平面図である。
イメージセンサ54は、水平方向(x方向)と垂直方向(y方向)との2次元の方向に配置された画素を有し、その画素のうちの一部の画素が、位相差画素になっている。位相差画素は、数ラインごとに配置されている。
なお、図4では(後述する図6でも同様)、位相差画素(としての黒丸)を、強調して図示してある。
[位相差情報の誤差と、手ぶれ補正量との関係]
図5は、イメージセンサ54の位相差画素の画素値から得られる位相差情報(デフォーカス量)の誤差と、手ぶれ補正による手ぶれ補正量との関係を示す図である。
手ぶれ補正がオンしている(機能している)場合、光学系51とイメージセンサ54との相対的な位置関係が変化することにより、位相差画素で受光される被写体光の光量の分布が変動し、位相差画素の画素値から検出される位相差情報、すなわち、合焦状態でない程度を表すデフォーカス量に、誤差が生じる。
手ぶれ補正量が大であるほど、位相差情報の誤差は大になり、位相差情報の信頼性は、低くなる。そして、その結果、位相差方式によるAFの精度は低下する。
そこで、フォーカス制御部61(図3)は、手ぶれ補正量に応じて、撮影部11からの画像から得られる位相差情報の信頼性を判定するAF信頼性判定を行い、そのAF信頼性判定の判定結果に基づき、位相差情報を用いて、位相差方式によるAFのフォーカス制御を行う。
[位相差情報の信頼性を判定するAF信頼性判定]
図6は、位相差情報の信頼性を判定するAF信頼性判定を説明する図である。
撮影部11からの画像から得られる位相差情報、すなわち、イメージセンサ54の位相差画素の画素値から求められる位相差情報は、図5で説明したように、手ぶれ補正量が大であるほど、誤差が大になり、信頼性が低下する。
また、光軸から遠い位相差画素ほど、手ぶれ補正によって生じる、位相差画素で受光される被写体光の光量の変動は大になる。
したがって、0でない手ぶれ補正量の手ぶれ補正が行われている場合には、例えば、(手ぶれ補正量が0のときの)光軸に近い位相差画素のみから得られる位相差情報と、イメージセンサ54に配置された位相差画素すべてから得られる位相差情報、すなわち、光軸から遠い位相差画素を含む位相差画素から得られる位相差情報とでは、光軸に近い位相差画素のみから得られる位相差情報の方が、光軸から遠い位相差画素を含む位相差画素から得られる位相差情報よりも、信頼性が高い(光軸から遠い位相差画素を含む位相差画素から得られる位相差情報の方が、光軸に近い位相差画素のみから得られる位相差情報よりも、信頼性が低い)。
ここで、イメージセンサ54が出力する画像のエリアのうちの、位相差画素の画素値がフォーカス制御に用いられる、その位相差画素のエリア、すなわち、フォーカス制御に用いられる位相差情報を求めるのに画素値が用いられる位相差画素のエリアを、フォーカスエリアということとする。
いま、説明を簡単にするため、光軸を中心(重心)とする矩形のエリアを、フォーカスエリアとして採用することとする。
図6では、光軸を原点とし、水平方向のx軸と、垂直方向のy軸とで規定される(イメージセンサ54の受光面と平行の)2次元座標系において、右上の点の座標が(x0,y0)のエリアFA#0、(x1,y1)のエリアFA#1、(x2,y2)のエリアFA#2、及び、(x3,y3)のエリアFA#3の4つのサイズのエリアが、フォーカスエリアとなるエリア(フォーカスエリアになり得るエリア)として図示されている。
かかる2次元座標系において、x座標は、イメージセンサ54上の水平(H(Horizontal))方向の像高(H像高)に対応し、y座標は、イメージセンサ54上の垂直(V(Vertical))方向の像高(V像高)に対応する。
なお、図6において、0<x0<x1<x2<x3、及び、0<y0<y1<y2<y3であり、したがって、エリアFA#0,FA#1,FA#2、及び、FA#3は、その順で、サイズが大きくなっている。そして、最もサイズの大きいエリアFA#3は、イメージセンサ54が出力する画像とサイズが等しい。
フォーカス制御部61は、イメージセンサ54に配置された位相差画素のうちの、フォーカスエリア内の位相差画素のみの画素値を用いて、位相差情報を求め、その位相差情報に基づいて、フォーカス制御としての防振レンズの移動(駆動)の制御を行う。
例えば、光軸に近い位相差画素のみを含む、サイズが最も小さいエリアFA#0が、フォーカスエリアである場合、(手ぶれ補正が行われているときに)最も信頼性が高い位相差情報が得られる。そして、その位相差情報に基づいて行われるフォーカス制御では、サイズが最も小さいエリアFA#0に映る被写体に、いわばピンポイントで、ピントが合うように、防振レンズが移動される。
この場合、イメージセンサ54で撮影される画像は、エリアFA#0以外に映る被写体には、多少ピントが合っていないような画像になることがある。
一方、例えば、光軸から最も遠い位相差画素をも含む、サイズが最も大きいエリアFA#3が、フォーカスエリアである場合、(手ぶれ補正が行われているときに)最も信頼性が低い位相差情報が得られる。そして、その位相差情報に基づいて行われるフォーカス制御では、サイズが最も大きいエリアFA#3に映る被写体に、いわば平均的に、ピントが合うように、防振レンズが移動される。
この場合、イメージセンサ54で撮影される画像は、その画像の各部に映る被写体に、ピントが合っているような画像になる。
以上のように、位相差情報の信頼性は、手ぶれ補正量の他、位相差情報が得られるフォーカスエリアによっても異なる。AF信頼性判定では、位相差情報の信頼性の判定として、信頼性がある位相差情報、つまり、あらかじめ決められた許容誤差以内の位相差情報、ひいては、そのような信頼性がある位相差情報が得られるフォーカスエリアの判定が行われる。
すなわち、AF信頼性判定では、手ぶれ補正量に基づき、その手ぶれ補正量の手ぶれ補正が行われているときに、あらかじめ決められた許容誤差以内の位相差情報が得られる最大のエリアが、信頼性があるフォーカスエリアとして判定される。
上述したように、手ぶれ補正量が大であるほど、位相差情報の信頼性は低下し、また、光軸から遠い位相差画素を含む位相差画素から得られる位相差情報の方が、光軸に近い位相差画素のみから得られる位相差情報よりも、信頼性が低い。
したがって、手ぶれ補正量が小である場合には、光軸から比較的遠い位相差画素を含むエリアFA#2やFA#3が、信頼性があるフォーカスエリアとして判定される。
一方、手ぶれ補正量が大である場合には、光軸から比較的近い位相差画素のみのエリアFA#0やFA#1が、信頼性があるフォーカスエリアとして判定される。
そして、フォーカス制御部61では、AF信頼性判定の判定結果に基づき、位相差方式によるAFのフォーカス制御が行われる。
すなわち、フォーカス制御部61において、AF信頼性判定の結果得られる、信頼性があるフォーカスエリアの位相差画素の画素値から求められる位相差情報に基づいて、フォーカスの状態を合焦状態にするように、防振レンズが移動される。
ここで、図1のディジタルカメラの動作モードの中には、手ぶれ補正と、位相差方式によるAFとのうちの、手ぶれ補正を優先させる手ぶれ補正優先モードと、位相差方式によるAFを優先させるAF優先モードとがある。手ぶれ補正優先モードとAF優先モードとは、例えば、ユーザの操作に応じて切り替えることができる。
上述のように、フォーカス制御部61において、手ぶれ補正量に基づき、信頼性があるフォーカスエリアを判定し、その信頼性があるフォーカスエリアから得られる位相差情報に基づいて、位相差方式によるAFのフォーカス制御を行うことは、動作モードが、手ぶれ補正を優先させる手ぶれ補正優先モードの場合に行われる。
[AF信頼性判定に用いられる手ぶれ補正量]
図7は、AF信頼性判定に用いられる手ぶれ補正量を説明する図である。
手ぶれ補正制御部62(図3)は、手ぶれ量をキャンセルする手ぶれ補正量だけ、光学系51の防振レンズを、光軸に垂直な方向に移動させるように、駆動部43(図2)を制御する。
図7は、光軸を原点とし、水平方向のx軸と、垂直方向のy軸とで規定される2次元座標系のx軸又はy軸の1軸方向の手ぶれ補正量の時間変化を示している。
手ぶれ補正制御部62は、例えば、直前に行われたイメージセンサ54での画像の撮影の露光時間内での手ぶれ補正量の平均値を、現在の手ぶれ補正量sとみなして、フォーカス制御部61に供給する。
したがって、ディジタルカメラにおいて、例えば、写真としての静止画が1枚だけ撮影(記録)される場合には、その直前のスルー画の撮影のための露光時間中の手ぶれ補正量の平均値が、静止画の撮影時(現在)の手ぶれ補正量sとなる。
また、ディジタルカメラにおいて、例えば、写真としての静止画が連写によって複数枚撮影される場合には、各静止画の直前に撮影された静止画の撮影のための露光時間中の手ぶれ補正量の平均値が、各静止画の撮影時(現在)の手ぶれ補正量sとなる。
さらに、ディジタルカメラにおいて、例えば、動画が撮影される場合には、各フレームの直前のフレームの撮影のための露光時間中の手ぶれ補正量の平均値が、各フレームの撮影時(現在)の手ぶれ補正量sとなる。
フォーカス制御部61は、手ぶれ補正制御部62からの現在の手ぶれ補正量sを取得し、その手ぶれ補正量sに基づき、AF信頼性判定を行う。
なお、手ぶれ補正量は、手ぶれ量をキャンセルする量であり、理想的には、手ぶれ補正量を表すベクトルは、手ぶれ量を表すベクトルとは、大きさが同一で、方向が反対のベクトルになる。したがって、AF信頼度判定は、手ぶれ補正量の他、手ぶれ量に基づいて行うことができ、手ぶれ量に基づいてAF信頼度判定を行うことは、手ぶれ補正量に基づいてAF信頼度判定を行うことと等価(均等)である。
[手ぶれ補正優先モード]
図8は、手ぶれ補正優先モードにおいて、手ぶれ補正量に基づき、信頼性があるフォーカスエリアを判定するAF信頼性判定を説明する図である。
図8Aは、例えば、図6に示したように、4つのエリアFA#0,FA#1,FA#2、及び、FA#3が、フォーカスエリアとなり得る場合の、手ぶれ補正量(の大きさ)sと、信頼性があるフォーカスエリア(となるエリアFA)のサイズrとの関係を示す図である。
ここで、図8では、説明を簡単にするため、光軸を原点とし、水平方向のx軸と、垂直方向のy軸とで規定される2次元座標系のx軸又はy軸の1軸方向にだけ注目している。
また、手ぶれ補正量sは、s3,s2,s1,s0の順に大になっており(0<s3<s2<s1<s0)、フォーカスエリアのサイズrは、r0,r1,r2,r3の順に大になっていることとする(0<r0<r1<r2<r3)。
図8Aでは、手ぶれ補正量sが、0ないしs3の最小の範囲である場合、AF信頼性判定において、サイズrが最大のサイズr3のエリアFA#3が、信頼性があるフォーカスエリアに判定される。
また、手ぶれ補正量sが、s3ないしs2の2番目に小さい範囲である場合、AF信頼性判定において、サイズrが2番目に大きいサイズr2のエリアFA#2が、信頼性があるフォーカスエリアに判定される。
さらに、手ぶれ補正量sが、s2ないしs1の3番目に小さい範囲である場合、AF信頼性判定において、サイズrが3番目に大きいサイズr1のエリアFA#1が、信頼性があるフォーカスエリアに判定される。
また、手ぶれ補正量sが、s1ないしs0の4番目に小さい範囲である場合、AF信頼性判定において、サイズrが最小の(4番目に大きい)サイズr0のエリアFA#0が、信頼性があるフォーカスエリアに判定される。
そして、手ぶれ補正量sが、s0以上である(を超える)場合、AF信頼性判定では、サイズrが0のエリアが信頼性があるフォーカスエリアであると判定される。すなわち、手ぶれ補正量sが、s0以上である場合、信頼性があるフォーカスエリアがないと判定される。
エリアFA#0,FA#1,FA#2、又は、FA#3が、信頼性があるフォーカスエリアに判定された場合、そのフォーカスエリア内の位相差画素から得られる位相差情報は、許容誤差以内の位相差情報であり、フォーカス制御部61では、その位相差情報に基づいて、AFのフォーカス制御としての防振レンズの移動の制御が行われる。
また、信頼性があるフォーカスエリアがないと判定された場合、許容誤差以内の位相差情報が得られないので、フォーカス制御部61では、位相差方式以外の方式、すなわち、例えば、コントラスト方式等によるAFのフォーカス制御が行われる。
図8Bは、例えば、図6に示した4つのエリアFA#0,FA#1,FA#2、及び、FA#3のうちの、エリアFA#3だけが、フォーカスエリアとなり得る場合の、手ぶれ補正量sと、信頼性があるフォーカスエリアのサイズrとの関係を示す図である。
図8Bでは、手ぶれ補正量sが、0ないしs3の範囲である場合、AF信頼性判定において、サイズrがサイズr3のエリアFA#3、すなわち、イメージセンサ54で撮影される画像のエリア全体が、信頼性があるフォーカスエリアに判定される。
また、手ぶれ補正量sが、s3以上である(を超える)場合、AF信頼性判定では、信頼性があるフォーカスエリアがないと判定される。
そして、フォーカス制御部61では、AF信頼性判定の判定結果に基づき、図8Aの場合と同様のフォーカス制御が行われる。
すなわち、エリアFA#3が、信頼性があるフォーカスエリアに判定された場合、フォーカス制御部61では、その信頼性があるフォーカスエリア内の位相差画素から得られる位相差情報に基づいて、AFのフォーカス制御としての防振レンズの移動の制御が行われる。
また、信頼性があるフォーカスエリアがないと判定された場合、フォーカス制御部61では、位相差方式以外のコントラスト方式によるAFのフォーカス制御が行われる。
したがって、図8Bでは、位相差方式によるAFのフォーカス制御が行われる場合には、そのフォーカス制御は、必ず、イメージセンサ54に含まれるすべての位相差画素から得られる位相差情報に基づいて行われる。
図8A及び図8Bでは、信頼性があるフォーカスエリア(となるエリア)のサイズとして、離散的なサイズを採用したが、信頼性があるフォーカスエリアのサイズとしては、連続的なサイズを採用することができる。
図8Cは、信頼性があるフォーカスエリアのサイズとして、連続的なサイズを採用した場合の、手ぶれ補正量sと、信頼性があるフォーカスエリアのサイズrとの関係を示す図である。
図5及び図6で説明したように、手ぶれ補正量が大であるほど、位相差情報の信頼性は低下する(誤差が大になる)。また、位相差情報を得るフォーカスエリアに、光軸から遠い位相差画素が含まれるほど、すなわち、本実施の形態では、光軸を中心とする矩形のエリアを、フォーカスエリアとして採用するので、サイズが大きいフォーカスエリアほど、位相差情報の信頼性は低下する。
このため、図8Cでは、手ぶれ補正量が大であるほど、サイズの小さなエリア(本実施の形態では、光軸に近い位相差画素のみを含むエリア)が、信頼性があるフォーカスエリアとして判定される。
図8では、光軸を原点とし、水平方向のx軸と、垂直方向のy軸とで規定される2次元座標系のx軸又はy軸の1軸方向にだけ注目して、AF信頼性判定を説明したが、AF信頼性判定では、信頼性があるフォーカスエリアは、x方向及びy方向のそれぞれごとに判定することができる。
図9は、x方向及びy方向のそれぞれごとに、信頼性があるフォーカスエリアを判定するAF信頼性判定を説明する図である。
すなわち、図9は、手ぶれ補正量s=(sy,sp)(=(x成分,y成分))と、信頼性があるフォーカスエリアのサイズr=(rx,ry)との関係を、x方向及びy方向のそれぞれごとに示している。
なお、図9では、例えば、図8Aの場合と同様に、信頼性があるフォーカスエリア(となるエリア)のサイズとして、離散的なサイズを採用している。
また、図9において、sy=sy3,sy2,sy1,sy0は、手ぶれ補正量sのx方向の成分(x方向の手ぶれ量)(の大きさ)を表し、sy3,sy2,sy1,sy0の順に大になっていることとする(0<sy3<sy2<sy1<sy0)。
さらに、図9において、sp=sp3,sp2,sp1,sp0は、手ぶれ補正量sのy方向の成分(y方向の手ぶれ量)(の大きさ)を表し、sp3,sp2,sp1,sp0の順に大になっていることとする(0<sp3<sp2<sp1<sp0)。
また、図9において、rx=x0,x1,x2,x3は、フォーカスエリア(となるエリア)のx方向のサイズとしての、そのフォーカスエリアの右上の点のx座標を表し、x0,x1,x2,x3の順に大になっていることとする(0<x0<x1<x2<x3)。
さらに、図9において、ry=y0,y1,y2,y3は、フォーカスエリア(となるエリア)のy方向のサイズとしての、そのフォーカスエリアの右上の点のy座標を表し、y0,y1,y2,y3の順に大になっていることとする(0<y0<y1<y2<y3)。
サイズr=(xi,yi)のフォーカスエリアは、図6のエリアFA#iに一致する(i=0,1,2,3)。
ここで、図示せぬジャイロスコープで検出される手ぶれ量が、ヨー(Yaw)方向の手ぶれ量と、ピッチ(Pitch)方向の手ぶれ量とで表される場合、ヨー方向の手ぶれ量は、x方向の手ぶれ補正量syに対応し、ピッチ方向の手ぶれ量は、y方向の手ぶれ補正量spに対応する。
図9では、x方向の手ぶれ補正量syが、0ないしsy3の最小の範囲である場合、AF信頼性判定において、x方向のサイズrxが最大のサイズx3のエリアが、信頼性があるフォーカスエリアに判定される。
また、x方向の手ぶれ補正量syが、sy3ないしsy2の2番目に小さい範囲である場合、AF信頼性判定において、x方向のサイズrxが2番目に大きいサイズx2のエリアが、信頼性があるフォーカスエリアに判定される。
さらに、x方向の手ぶれ補正量syが、sy2ないしsy1の3番目に小さい範囲である場合、AF信頼性判定において、x方向のサイズrxが3番目に大きいサイズx1のエリアが、信頼性があるフォーカスエリアに判定される。
また、x方向の手ぶれ補正量syが、sy1ないしsy0の4番目に小さい範囲である場合、AF信頼性判定において、x方向のサイズrxが最小の(4番目に大きい)サイズx0のエリアが、信頼性があるフォーカスエリアに判定される。
そして、x方向の手ぶれ補正量syが、sy0以上である(を超える)場合、AF信頼性判定では、x方向のサイズrxが0のエリアが信頼性があるフォーカスエリアであると判定される。すなわち、x方向の手ぶれ補正量syが、sy0以上である場合、信頼性があるフォーカスエリアがないと判定される。
また、図9では、y方向の手ぶれ補正量spが、0ないしsp3の最小の範囲である場合、AF信頼性判定において、y方向のサイズryが最大のサイズy3のエリアが、信頼性があるフォーカスエリアに判定される。
また、y方向の手ぶれ補正量spが、sp3ないしsp2の2番目に小さい範囲である場合、AF信頼性判定において、y方向のサイズryが2番目に大きいサイズy2のエリアが、信頼性があるフォーカスエリアに判定される。
さらに、y方向の手ぶれ補正量spが、sp2ないしsp1の3番目に小さい範囲である場合、AF信頼性判定において、y方向のサイズryが3番目に大きいサイズy1のエリアが、信頼性があるフォーカスエリアに判定される。
また、y方向の手ぶれ補正量spが、sp1ないしsp0の4番目に小さい範囲である場合、AF信頼性判定において、y方向のサイズryが最小の(4番目に大きい)サイズy0のエリアが、信頼性があるフォーカスエリアに判定される。
そして、y方向の手ぶれ補正量spが、sp0以上である(を超える)場合、AF信頼性判定では、y方向のサイズryが0のエリアが信頼性があるフォーカスエリアであると判定される。すなわち、y方向の手ぶれ補正量spが、sp0以上である場合、信頼性があるフォーカスエリアがないと判定される。
したがって、例えば、x方向の手ぶれ補正量syが、0ないしsy3の範囲であり、かつ、y方向の手ぶれ補正量spが、sp1ないしsp0の範囲である場合、AF信頼性判定では、x方向のサイズrxがサイズx3であり、かつ、y方向のサイズryがサイズy0のエリアが、信頼性があるフォーカスエリアに判定される。
また、例えば、x方向の手ぶれ補正量syが、sy0以上であるか、又は、y方向の手ぶれ補正量spが、sp0以上である場合、AF信頼性判定では、信頼性があるフォーカスエリアがないと判定される。
図10は、手ぶれ補正優先モードのAFの処理を説明するフローチャートである。
ステップS11において、フォーカス制御部61は、手ぶれ補正がオンになっているかどうか(手ぶれ補正が機能しているかどうか)を判定する。
ステップS11において、手ぶれ補正がオンになっていないと判定された場合、すなわち、手ぶれ補正に起因する位相差情報の誤差が生じない場合、処理は、ステップS12に進み、フォーカス制御部61は、任意のフォーカスエリア(の位相差画素)から、位相差情報を取得して、処理は、ステップS20に進む。
すなわち、手ぶれ補正に起因する位相差情報の誤差が生じない場合、フォーカス制御部61は、例えば、イメージセンサ54が出力する画像のエリアの全体や、画像上の、ユーザが指定する位置を含む所定のサイズのエリア、画像上の人の顔を囲むエリア等を、フォーカスエリアに設定し、そのフォーカスエリアから、位相差情報を取得する。
イメージセンサ54が出力する画像のエリアの全体が、フォーカスエリアに設定された場合には、その位相差情報に基づいて行われるフォーカス制御では、イメージセンサ54が出力する画像全体に、平均的に、ピントが合うように、フォーカス制御が行われる。
イメージセンサ54が出力する画像上の、ユーザが指定する位置を含む所定のサイズのエリアが、フォーカスエリアに設定された場合には、その位相差情報に基づいて行われるフォーカス制御では、イメージセンサ54が出力する画像上の、ユーザが指定する位置に映る被写体に、ピントが合うように、フォーカス制御が行われる。
イメージセンサ54が出力する画像上の、人の顔を囲むエリアが、フォーカスエリアに設定された場合には、その位相差情報に基づいて行われるフォーカス制御では、イメージセンサ54が出力する画像に映る人の顔に、ピントが合うように、フォーカス制御が行われる。
一方、ステップS11において、手ぶれ補正がオンになっていると判定された場合、すなわち、手ぶれ補正に起因して、位相差情報に誤差が生じ得る場合、処理は、ステップS13に進み、フォーカス制御部61は、直前に行われたイメージセンサ54での画像の撮影の露光時間内での手ぶれ補正量の平均値を、現在の手ぶれ補正量sとして取得し、処理は、ステップS14に進む。
ステップS14では、フォーカス制御部61は、手ぶれ補正量sに基づき、AF信頼性判定を行い、すなわち、例えば、図8や図9で説明したようにして、信頼性があるフォーカスエリアを判定し、処理は、ステップS15に進む。
ステップS15では、フォーカス制御部61は、ステップS14のAF信頼性判定の結果、信頼性があるフォーカスエリアがあるかどうかを判定する。
ステップS15において、信頼性があるフォーカスエリアがないと判定された場合、すなわち、手ぶれ補正量sが大きく、イメージセンサ54に含まれる位相差画素から、許容誤差以内の位相差情報を得ることができないために、位相差方式によるフォーカス制御を行ったのでは、精度の高いAFを実現することができない可能性が高い場合、処理は、ステップS16に進み、以下、位相差方式以外の、例えば、コントラスト方式によるAFのフォーカス制御が行われる。
すなわち、ステップS16では、フォーカス制御部61は、イメージセンサ54(撮影部11)が出力する画像から、その画像のコントラストを表すコントラスト情報を取得し(求め)、処理は、ステップS17に進む。
ここで、コントラスト情報としては、イメージセンサ54が出力する画像の全体、又は、一部のコントラストを表す情報を求めることができる。イメージセンサ54が出力する画像の一部のコントラストを表すコントラスト情報としては、例えば、イメージセンサ54が出力する画像上の、ユーザが指定する位置を含む所定のサイズのエリアのコントラストや、その画像上の人の顔を囲むエリアのコントラスト、その他、あらかじめ決められたエリアのコントラストを表す情報を採用することができる。
ステップS17では、フォーカス制御部61は、コントラスト情報に基づく合焦判定を行う。
すなわち、ステップS17では、フォーカス制御部61は、コントラスト情報に基づき、フォーカスの状態が合焦状態であるかどうかを判定する。
ステップS17において、フォーカスの状態が合焦状態でないと判定された場合、すなわち、コントラスト情報が表すコントラストが最大ではない場合、処理は、ステップS18に進み、フォーカス制御部61は、コントラスト情報に基づくフォーカス制御、すなわち、コントラスト情報に基づいて、光学系51の防振レンズを移動させ、処理は、ステップS11に戻る。
また、ステップS18において、フォーカスの状態が合焦状態であると判定された場合、AFの処理は終了する。
以上のように、手ぶれ補正量sが大きく、イメージセンサ54に含まれる位相差画素から、許容誤差以内の位相差情報を得ることができないため、位相差方式によるフォーカス制御を行ったのでは、精度の高いAFを実現することができない可能性が高い場合、手ぶれ補正優先モードでは、手ぶれ補正を優先させるために、特に、手ぶれ補正は制限されない。
そして、精度の高いAFを実現することができない可能性が高い位相差方式に代えて、コントラスト方式によって、AFのフォーカス制御が行われる。
したがって、この場合、位相差方式によるAFのフォーカス制御を行う場合よりも、フォーカスの状態が合焦状態になるのに、時間を要することとなるが、手ぶれ補正は制限されないので、いわゆる失敗写真となる、ぶれた画像が撮影されることを防止することができる。
一方、ステップS15において、信頼性があるフォーカスエリアがあると判定された場合、すなわち、手ぶれ補正により生じる誤差が許容誤差以内の位相差情報を得ることができる場合、処理は、ステップS19に進み、以下、信頼性があるフォーカスエリアから得られる位相差情報を用いて、位相差方式によるAFのフォーカス制御が行われる。
すなわち、ステップS19では、フォーカス制御部61は、イメージセンサ54が出力する画像の、信頼性があるフォーカスエリア内の位相差画素の画素値から、位相差情報を取得し(求め)、処理は、ステップS20に進む。
ステップS20では、フォーカス制御部61は、位相差情報に基づく合焦判定を行う。
すなわち、ステップS20では、フォーカス制御部61は、フォーカスエリアから得られた位相差情報に基づき、フォーカスの状態が合焦状態であるかどうかを判定する。
ステップS20において、フォーカスの状態が合焦状態でないと判定された場合、処理は、ステップS21に進み、フォーカス制御部61は、位相差情報に基づくフォーカス制御、すなわち、位相差情報に基づいて、光学系51の防振レンズを移動させ、処理は、ステップS11に戻る。
また、ステップS21において、フォーカスの状態が合焦状態であると判定された場合、AFの処理は終了する。
以上のように、手ぶれ補正が行われていても、許容誤差以内の位相差情報を得ることができるフォーカスエリア(信頼性があるフォーカスエリア)が存在する場合には、手ぶれ補正優先モードでは、特に、手ぶれ補正を制限せずに、信頼性があるフォーカスエリアから得られる位相差情報に基づき、位相差方式によるAFのフォーカス制御が行われる。
したがって、この場合、手ぶれ補正を機能させつつ、位相差方式によるAFのフォーカス制御により、高速かつ高精度のAFを実現することができる。その結果、失敗写真となる、ぶれた画像が撮影されることを防止することができる。
また、一般に、撮影は、光軸付近に、撮影しようとする被写体(主要な被写体)が位置するように行われ、本実施の形態では、信頼性があるフォーカスエリアは、光軸付近を含むので、主要な被写体に、ピントがあった写真を撮影することができる。
さらに、AF信頼性判定、すなわち、位相差情報の信頼性、ひいては、許容誤差以内の位相差情報が得られるフォーカスエリア(信頼性があるフォーカスエリア)の判定は、手ぶれ補正量を用いて行われ、光学系51の防振レンズの移動による手ぶれ補正の性能等の、光学系51の仕様に依存しない。
したがって、図1のディジタルカメラが、各種の交換レンズへのレンズ交換が可能なレンズ交換式のディジタルカメラであっても、ディジタルカメラの本体において、その本体に装着された交換レンズの仕様等の、交換レンズに固有の情報が必要になることはない。
[AF優先モード]
図11は、AF優先モードにおいて、フォーカスエリアに基づいて制限される手ぶれ補正量を説明する図である。
ここで、上述したように、手ぶれ補正優先モードでは、手ぶれ補正を優先するために、手ぶれ補正は制限されず、その代わり、位相差方式によるAFのフォーカス制御に用いられるフォーカスエリアが、信頼性があるフォーカスエリア、すなわち、手ぶれ補正に起因する誤差が許容誤差以内の位相差情報が得られるフォーカスエリアに制限される。
これに対して、AF優先モードでは、位相差方式によるAFのフォーカス制御が優先され、そのために、手ぶれ補正が制限されることがある。
すなわち、AF優先モードでは、位相差方式によるAFのフォーカス制御によってピントを合わせる位置を含むエリアが、フォーカスエリアに設定される。そして、そのフォーカスエリアが信頼性があるフォーカスエリアになるように、つまり、フォーカスエリアから得られる位相差情報の誤差が許容誤差以内になるように、手ぶれ補正量を制限する制御が行われる。
図11Aは、例えば、図6に示したように、4つのエリアFA#0,FA#1,FA#2、及び、FA#3が、フォーカスエリアに設定され得る場合の、フォーカスエリア(となるエリアFA)のサイズrと、そのフォーカスエリアが信頼性があるフォーカスエリアになる手ぶれ補正量の(大きさの)最大値sとの関係を示す図である。
ここで、フォーカスエリアが信頼性があるフォーカスエリアになる手ぶれ補正量の最大値sを、以下、許容補正量sともいう。
図11では、説明を簡単にするため、図8の場合と同様に、光軸を原点とし、水平方向のx軸と、垂直方向のy軸とで規定される2次元座標系のx軸又はy軸の1軸方向にだけ注目している。
また、許容補正量sは、s3,s2,s1,s0の順に大になっており(0<s3<s2<s1<s0)、フォーカスエリアのサイズrは、r0,r1,r2,r3の順に大になっていることとする(0<r0<r1<r2<r3)。
図11Aでは、サイズrが最大のサイズr3のエリアFA#3が、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、s0ないしs3のうちの最小の値s3が、許容補正量として求められ、手ぶれ補正量は、その許容補正量s3に制限される。
また、サイズrが2番目に大きいサイズr2のエリアFA#2が、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、s0ないしs3のうちの2番目に小さい値s2が、許容補正量として求められ、手ぶれ補正量は、その許容補正量s2に制限される。
さらに、サイズrが3番目に大きいサイズr1のエリアFA#1が、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、s0ないしs3のうちの3番目に小さい値s1が、許容補正量として求められ、手ぶれ補正量は、その許容補正量s1に制限される。
また、サイズrが4番目に大きい(最も小さい)サイズr0のエリアFA#0が、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、s0ないしs3のうちの4番目に小さい(最も大きい)値s0が、許容補正量として求められ、手ぶれ補正量は、その許容補正量s0に制限される。
図11Bは、例えば、図6に示した4つのエリアFA#0,FA#1,FA#2、及び、FA#3のうちの、エリアFA#3だけが、フォーカスエリアとなり得る場合の、フォーカスエリアのサイズrと、許容補正量sとの関係を示す図である。
図11Bでは、常時、サイズrがサイズr3のエリアFA#3、すなわち、イメージセンサ54で撮影される画像のエリア全体が、フォーカスエリアに設定される。そして、そのフォーカスエリアに応じて、値s3が、許容補正量として求められ、手ぶれ補正量は、その許容補正量s3に制限される。
図11A及び図11Bでは、フォーカスエリア(となるエリア)のサイズとして、離散的なサイズを採用したが、フォーカスエリアのサイズとしては、連続的なサイズを採用することができる。
図11Cは、フォーカスエリアのサイズとして、連続的なサイズを採用した場合の、フォーカスエリアのサイズrと、許容補正量sとの関係を示す図である。
図5及び図6で説明したことから、フォーカスエリアに、光軸から遠い位相差画素が含まれるほど、すなわち、本実施の形態では、光軸を中心とする矩形のエリアを、フォーカスエリアとして採用するので、サイズが大きいフォーカスエリアほど、そのフォーカスエリアから許容誤差以内の位相差情報が得られるようにするには、手ぶれ補正量を、より小さい値に制限する必要がある。
このため、図11Cでは、フォーカスエリアのサイズrが大であるほど、小さい値の許容補正量sが求められ、手ぶれ補正量は、その許容補正量sに制限される。
図12は、x方向及びy方向のそれぞれごとに、フォーカスエリアに基づいて制限される手ぶれ補正量を説明する図である。
すなわち、図12は、フォーカスエリアのサイズr=(rx,ry)と、許容補正量s=(sy,sp)との関係を、x方向及びy方向のそれぞれごとに示している。
なお、図12では、例えば、図11Aの場合と同様に、信頼性があるフォーカスエリア(となるエリア)のサイズとして、離散的なサイズを採用している。
また、図12において、sy=sy3,sy2,sy1,sy0は、許容補正量sのx方向の成分(の大きさ)を表し、sy3,sy2,sy1,sy0の順に大になっていることとする(0<sy3<sy2<sy1<sy0)。
さらに、図12において、sp=sp3,sp2,sp1,sp0は、許容補正量sのy方向の成分(の大きさ)を表し、sp3,sp2,sp1,sp0の順に大になっていることとする(0<sp3<sp2<sp1<sp0)。
また、図12において、rx=x0,x1,x2,x3は、フォーカスエリアのx方向のサイズとしての、そのフォーカスエリアの右上の点のx座標を表し、x0,x1,x2,x3の順に大になっていることとする(0<x0<x1<x2<x3)。
さらに、図12において、ry=y0,y1,y2,y3は、フォーカスエリアのy方向のサイズとしての、そのフォーカスエリアの右上の点のy座標を表し、y0,y1,y2,y3の順に大であることとする(0<y0<y1<y2<y3)。
サイズr=(xi,yi)のフォーカスエリアは、図6のエリアFA#iに一致する(i=0,1,2,3)。
図12では、x方向のサイズ(H像高)rxが最大のサイズx3のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、x方向の許容補正量syとして、sy0ないしsy3のうちの最小の値sy3が求められ、x方向(ヨー方向)の手ぶれ補正量は、そのx方向の許容補正量sy3に制限される。
また、x方向のサイズrxが2番目に大きいサイズx2のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、x方向の許容補正量syとして、sy0ないしsy3のうちの2番目に小さい値sy2が求められ、x方向の手ぶれ補正量は、そのx方向の許容補正量sy2に制限される。
さらに、x方向のサイズrxが3番目に大きいサイズx1のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、x方向の許容補正量syとして、sy0ないしsy3のうちの3番目に小さい値sy1が求められ、x方向の手ぶれ補正量は、そのx方向の許容補正量sy1に制限される。
また、x方向のサイズrxが4番目に大きい(最小の)サイズx0のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、x方向の許容補正量syとして、sy0ないしsy3のうちの4番目に小さい(最大の)値sy0が求められ、x方向の手ぶれ補正量は、そのx方向の許容補正量sy0に制限される。
y方向についても、手ぶれ補正量は、x方向の場合と同様に制限される。
すなわち、y方向のサイズ(V像高)ryが最大のサイズy3のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、y方向の許容補正量spとして、sp0ないしsp3のうちの最小の値sp3が求められ、y方向(ヨー方向)の手ぶれ補正量は、そのy方向の許容補正量sp3に制限される。
また、y方向のサイズryが2番目に大きいサイズy2のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、y方向の許容補正量spとして、sp0ないしsp3のうちの2番目に小さい値sp2が求められ、y方向の手ぶれ補正量は、そのy方向の許容補正量sp2に制限される。
さらに、y方向のサイズryが3番目に大きいサイズy1のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、y方向の許容補正量spとして、sp0ないしsp3のうちの2番目に小さい値sp1が求められ、y方向の手ぶれ補正量は、そのy方向の許容補正量sp1に制限される。
また、y方向のサイズryが4番目に大きい(最小の)サイズy0のエリアが、フォーカスエリアに設定された場合、そのフォーカスエリアに応じて、y方向の許容補正量spとして、sp0ないしsp3のうちの4番目に小さい(最大の)値sp0が求められ、y方向の手ぶれ補正量は、そのy方向の許容補正量sp0に制限される。
したがって、フォーカスエリアが、例えば、図6に示した右上の点の座標が(x0,y0)のエリアFA#0である場合には、手ぶれ補正量は、x方向については、許容補正量sy0に制限され、y方向については、許容補正量sp0に制限される。
図13は、AF優先モードのAFの処理を説明するフローチャートである。
ステップS31において、フォーカス制御部61は、フォーカスエリアを設定し、処理は、ステップS32に進む。
ここで、フォーカスエリアの設定では、例えば、図6に示したエリアFA#0ないしFA#3のうちのいずれかのエリアを、デフォルトのエリアに設定しておき、そのデフォルトのエリアを、フォーカスエリアに設定することができる。
また、例えば、ユーザが、イメージセンサ54から出力され、入出力パネル14上に表示された画像上の所定の位置をタッチ等することにより指定したときには、その、ユーザが指定する位置を含む所定のサイズのエリアを、フォーカスエリアに設定することができる。
さらに、例えば、ディジタルカメラが、人の顔等の所定の被写体を認識する機能を有する場合には、イメージセンサ54が出力する画像から、所定の被写体を認識し、その所定の被写体を囲むエリアを、フォーカスエリアに設定することができる。
イメージセンサ54が出力する画像上の、ユーザが指定する位置を含む所定のサイズのエリアが、フォーカスエリアに設定された場合には、イメージセンサ54が出力する画像上の、ユーザが指定する位置に映る被写体に、ピントが合うように、AFのフォーカス制御が行われる。
また、イメージセンサ54が出力する画像上の、所定の被写体としての、例えば、人の顔を囲むエリアが、フォーカスエリアに設定された場合には、イメージセンサ54が出力する画像に映る人の顔に、ピントが合うように、AFのフォーカス制御が行われる。
ステップS32では、フォーカス制御部61は、フォーカスエリアを特定するためのフォーカスエリア情報を取得し、処理は、ステップS33に進む。
ここで、フォーカスエリア情報としては、例えば、フォーカスエリアとしての矩形の4つの頂点を特定する情報(フォーカスエリアの左上の頂点と、横及び縦の長さや、重心を挟んで向かい合う2つの頂点の座標等)を採用することができる。
ステップS33では、フォーカス制御部61は、手ぶれ補正がオンになっているかどうか(手ぶれ補正が機能しているかどうか)を判定する。
ステップS33において、手ぶれ補正がオンになっていると判定された場合、すなわち、手ぶれ補正に起因して、位相差情報に誤差が生じ得る場合、処理は、ステップS34に進み、フォーカス制御部61は、フォーカスエリア情報に基づく手ぶれ補正の制御を行い、処理は、ステップS35に進む。
すなわち、ステップS34では、フォーカス制御部61は、フォーカスエリア情報から特定されるフォーカスエリアが、信頼性があるフォーカスエリアとなる許容補正量s、つまり、フォーカスエリアから得られる位相差情報の誤差が、許容誤差以内になる許容補正量sを、例えば、図11や図12で説明したようにして求める。
そして、フォーカス制御部61は、手ぶれ補正の手ぶれ補正量を、許容補正量sに制限するように、手ぶれ補正制御部62を制御する。これにより、手ぶれ補正制御部62は、手ぶれ補正量が許容補正量sに制限されるように、手ぶれ補正の制御を行う。その結果、手ぶれ補正は、例えば、許容補正量sを、最大の手ぶれ補正量として行われる。
一方、ステップS33において、手ぶれ補正がオンになっていないと判定された場合、手ぶれ補正を制限する必要はないので、処理は、ステップS34をスキップして、ステップS35に進み、フォーカス制御部61は、フォーカスエリア(の位相差画素)から、位相差情報を取得して(求めて)、処理は、ステップS36に進む。
ステップS36では、フォーカス制御部61は、図10のステップS20の場合と同様に、位相差情報に基づく合焦判定を行う。
すなわち、ステップS36では、フォーカス制御部61は、フォーカスエリアから得られた位相差情報に基づき、フォーカスの状態が合焦状態であるかどうかを判定する。
ステップS36において、フォーカスの状態が合焦状態でないと判定された場合、処理は、ステップS37に進み、フォーカス制御部61は、位相差情報に基づくフォーカス制御、すなわち、位相差情報に基づいて、光学系51の防振レンズを移動させ、処理は、ステップS31に戻る。
また、ステップS37において、フォーカスの状態が合焦状態であると判定された場合、AFの処理は終了する。
以上のように、AF優先モードでは、フォーカスエリアから得られる位相差情報の誤差が許容誤差以内になるように、手ぶれ補正が制限されるので、手ぶれ補正を、できるだけ機能させつつ、位相差方式によるAFのフォーカス制御により、高速かつ高精度のAFを実現することができる。その結果、失敗写真となる、ぶれた画像が撮影されることを防止することができる。
また、フォーカスエリアは、ユーザの指定に従って設定することができるので、ユーザは、例えば、入出力パネル14(図1)に表示された画像上の、撮影しようとする被写体(主要な被写体)を指定することにより、主要な被写体に、ピントがあった写真を、容易に撮影することができる。
ここで、本明細書において、コンピュータ(CPU等のプロセッサ)がプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、AF優先モードとAF優先モードとは、両方実装することもできるし、一方だけ実装することもできる。
また、フォーカスエリアの形状は、矩形に限定されるものではなく、例えば、円形や、十字の形状等であってもよい。
さらに、フォーカスエリアとしては、1つの連続的なエリアの他、複数の離散的なエリア(例えば、光軸を中心とする小さな矩形のエリア、及び、光軸から離れた四隅付近の所定の位置を中心とする小さな矩形のエリア等)を採用することができる。
なお、本技術は、以下のような構成をとることができる。
[1]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正の手ぶれ補正量に応じて、前記位相差情報の信頼性を判定する信頼性判定を行うフォーカス制御部を備える
処理装置。
[2]
前記フォーカス制御部は、前記信頼性判定の判定結果に基づいて、位相差方式によるフォーカス制御を行う
[1]に記載の処理装置。
[3]
前記フォーカス制御部は、
前記信頼性判定において、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアの中で、許容誤差以内の前記位相差情報が得られる、信頼性があるフォーカスエリアを判定し、
前記信頼性があるフォーカスエリアから得られる前記位相差情報に基づいて、位相差方式によるフォーカス制御を行う
[1]又は[2]に記載の処理装置。
[4]
前記フォーカス制御部は、前記信頼性があるフォーカスエリアがない場合、位相差方式以外の方式によるフォーカス制御を行う
[3]に記載の処理装置。
[5]
前記イメージセンサ、又は、前記光学系を、前記光軸と垂直方向に移動することにより行われる手ぶれ補正を制御する手ぶれ補正制御部をさらに備える
[1]ないし[4]のいずれかに記載の処理装置。
[6]
前記イメージセンサをさらに備えるディジタルカメラである
[1]ないし[5]のいずれかに記載の処理装置。
[7]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正の手ぶれ補正量に応じて、前記位相差情報の信頼性を判定する信頼性判定を行うステップを含む
処理方法。
[8]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正の手ぶれ補正量に応じて、前記位相差情報の信頼性を判定する信頼性判定を行うフォーカス制御部
として、コンピュータを機能させるためのプログラム。
[1]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御する手ぶれ補正制御部を備える
処理装置。
[2]
前記手ぶれ補正制御部は、前記手ぶれ補正の手ぶれ補正量を制限する
[1]に記載の処理装置。
[3]
前記フォーカスエリアを設定し、前記フォーカスエリアから得られる前記位相差情報に基づいて、位相差方式によるフォーカス制御を行うフォーカス制御部をさらに備える
[1]又は[2]に記載の処理装置。
[4]
前記フォーカス制御部は、ユーザの操作に従って、前記フォーカスエリアを設定する
[3]に記載の処理装置。
[5]
前記手ぶれ補正制御部は、前記イメージセンサ、又は、前記光学系を、前記光軸と垂直方向に移動させる手ぶれ補正の制御を行う
[1]ないし[4]のいずれかに記載の処理装置。
[6]
前記イメージセンサをさらに備えるディジタルカメラである
[1]ないし[5]のいずれかに記載の処理装置。
[7]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御するステップを含む
処理方法。
[8]
位相差方式によるフォーカス制御に用いられる位相差情報を得るための画素である位相差画素を一部の画素として有するイメージセンサと、
前記イメージセンサ上に、被写体からの光を結像させるための光学系と
の、前記光学系の光軸と垂直方向の相対的な位置関係を変化させることにより行われる手ぶれ補正を、前記イメージセンサが出力する画像のエリアのうちの、前記位相差画素の画素値がフォーカス制御に用いられるフォーカスエリアに基づいて制御する手ぶれ補正制御部
として、コンピュータを機能させるためのプログラム。