JP5948492B2 - 撮像装置及び合焦制御方法 - Google Patents

Description

本発明は、撮像装置及び合焦制御方法に関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン等の携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

これら撮像装置では、主要な被写体に焦点を合わせる合焦制御方法として、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）方式や位相差ＡＦ方式が採用されている。位相差ＡＦ方式は、コントラストＡＦ方式に比べて合焦位置の検出を高速，高精度に行うことができるため、様々な撮像装置で多く採用されている（例えば特許文献１〜３参照）。

位相差ＡＦ方式では、位相差検出用の一対のセンサ行の出力をデータとして取り込み、その一対のセンサ出力の相関を取る。具体的には、一方のセンサ行のデータをＡ［１］…Ａ［ｋ］とし、他方のセンサ行のデータをＢ［１］…Ｂ［ｋ］とし、これら２つのデータを“ｄ”ずらしたときの以下の式によって求まる２つのデータ波形によって囲まれる面積Ｓ［ｄ］が最小となるときの“ｄ”の値を位相差量として算出し、この位相差量に基づいてフォーカスレンズを駆動している。

特許文献１には、カメラ本体の感光部材（フィルム、撮像素子）に関する情報（許容錯乱円径の情報）に応じて、位相差検出用のセンサ対に形成される２つの像の相関を演算するときの２つの像のシフトピッチ（上記ｄの増減量に相当）を変更することにより、感光部材に最適なフォーカス動作を行う撮像装置を開示している。

特許文献２には、式（１）におけるＬを第一の値として位相差量を算出し、この位相差量に基づいてフォーカスレンズを移動させた後、Ｌを第一の値よりも小さくして位相差量を再度算出し、この位相差量に基づいてフォーカスレンズを移動させる撮像装置が記載されている。

特許文献３には、位相差量の算出に用いる位相差検出用のセンサ行の幅をズーム倍率に応じて可変とする撮像装置が記載されている。

日本国特開２００７−２１９５３９号公報 日本国特開平７−１４３３９１号公報 日本国特開２００９−９２８２４号公報

特許文献１〜３の撮像装置によれば、位相差ＡＦの精度を向上させることができる。しかし、位相差ＡＦの際に無駄な演算が行われる可能性があり、位相差ＡＦのための演算が効率よく行えているとは言えない。

例えば、ぼけの小さい被写体とぼけの大きい被写体とでは、上記Ｌの値は、ぼけの小さい被写体の方が小さくてすむ。しかし、特許文献１，３では、被写体の状態によらずに、上記Ｌを一定としているため、相関演算を無駄に行う場合がある。

また、特許文献２は、１回目の相関演算時と２回目の相関演算時とでＬの値を変えているものの、各相関演算時におけるＬの値は被写体の状態によらずに固定であるため、相関演算を無駄に行う場合がある。

本発明は、上記事情に鑑みてなされたものであり、位相差量の演算を効率的に行って位相差ＡＦの速度を高速化することのできる撮像装置及び合焦制御方法を提供することを目的とする。

本発明の撮像装置は、撮像光学系を通して被写体を撮像する撮像装置であって、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する行方向に配列された複数の第一の位相差検出用の画素、及び、上記一対の光束の他方を受光する上記行方向に配列された複数の第二の位相差検出用の画素を含むセンサと、上記複数の第一の位相差検出用の画素の各々の出力信号からなる第一の出力信号群と、上記複数の第二の位相差検出用の画素の各々の出力信号からなる第二の出力信号群とを上記行方向に任意の量ずつずらしながら上記第一の出力信号群と上記第二の出力信号群との相関量を演算し、上記相関量が最大となるときの上記第一の出力信号群と上記第二の出力信号群の位相差量からデフォーカス量を算出するデフォーカス量算出部と、上記デフォーカス量算出部により算出された上記デフォーカス量に基づいて上記撮像光学系の合焦状態を制御する合焦制御部と、を備え、上記デフォーカス量算出部は、動画撮像モードにおいて、上記第一の出力信号群と上記第二の出力信号群のずらし量の上限値を、動画像を構成する任意の画像の撮像時における上記撮像光学系のＦ値、上記撮像光学系の焦点距離、又は上記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じた第一の値に設定し、上記第一の値を設定した後は、上記撮像装置の撮像している方向の変化量が閾値を超えていると検出した場合に、上記ずらし量の上限値を、上記撮像している方向が変化した状態で行われる画像の撮像時における上記撮像光学系のＦ値、上記撮像光学系の焦点距離、又は上記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて決めた値に再設定するものである。

本発明の合焦制御方法は、撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する行方向に配列された複数の第一の位相差検出用の画素、及び、上記一対の光束の他方を受光する上記行方向に配列された複数の第二の位相差検出用の画素を含むセンサを有し、上記撮像光学系を通して被写体を撮像する撮像装置における合焦制御方法であって、上記複数の第一の位相差検出用の画素の各々の出力信号からなる第一の出力信号群と、上記複数の第二の位相差検出用の画素の各々の出力信号からなる第二の出力信号群とを上記行方向に任意の量ずつずらしながら上記第一の出力信号群と上記第二の出力信号群との相関量を演算し、上記相関量が最大となるときの上記第一の出力信号群と上記第二の出力信号群の位相差量からデフォーカス量を算出するデフォーカス量算出ステップと、上記デフォーカス量算出ステップにおいて算出した上記デフォーカス量に基づいて上記撮像光学系の合焦状態を制御する合焦制御ステップと、を備え、上記デフォーカス量算出ステップでは、静止画撮像を連続して行う動画撮像モード時に、上記第一の出力信号群と上記第二の出力信号群のずらし量の上限値を、動画像を構成する任意の画像の撮像時における上記撮像光学系のＦ値、上記撮像光学系の焦点距離、又は上記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて決めた第一の値に設定し、上記第一の値を設定した後は、上記撮像装置の撮像している方向の変化量が閾値を超えていると検出した場合に、上記ずらし量の上限値を、上記撮像している方向が変化した状態で行われる画像の撮像時における上記撮像光学系のＦ値、上記撮像光学系の焦点距離、又は上記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて決めた値に再設定するものである。

本発明によれば、位相差量の演算を効率的に行って位相差ＡＦの速度を高速化することのできる撮像装置及び合焦制御方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図 図１に示すデジタルカメラに搭載される固体撮像素子５の構成を示す平面模式図 図２に示す固体撮像素子５において、相関演算に用いる２つの画素行の一例を示す図 図１に示すデジタルカメラのメインメモリに記憶されるテーブルの一例を示す図 図１に示すデジタルカメラの動作を説明するためのフローチャート 図５に示すステップＳ１１，Ｓ１２の詳細を説明するためのフローチャート 図２に示す固体撮像素子５の変形例である固体撮像素子５ａを示す図 撮像装置としてスマートフォンを説明する図 図８のスマートフォンの内部ブロック図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラの撮像系は、撮像光学系としてのレンズ装置（撮影レンズ１と絞り２とを含む）と、ＣＭＯＳ型の固体撮像素子５とを備えている。

撮影レンズ１及び絞り２を含むレンズ装置は、カメラ本体に着脱可能なものであってもよいし、カメラ本体に固定なものであってもよい。撮影レンズ１は、フォーカスレンズとズームレンズを含む。フォーカスレンズとは、光軸方向に移動することで焦点位置の調節をするレンズをいう。ズームレンズとは、光軸方向に移動することで焦点距離を変化させて、撮像画角を変えるレンズをいう。撮像画角とは、撮像素子に写る範囲を角度で表したものである。また、焦点距離とは、ピントを合わせたときの、レンズから撮像素子までの距離のことを意味する。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１に含まれるフォーカスレンズ又はズームレンズの位置を調整する。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。アナログ信号処理部６及びＡ／Ｄ変換回路７は固体撮像素子５に内蔵されることもある。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力される撮像画像信号に対し、デモザイク処理、ガンマ補正処理、及びＲＧＢ／ＹＣ変換処理等を行って撮像画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮像画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、デフォーカス量を算出するデフォーカス量算出部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２とを備えている。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、デフォーカス量算出部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される固体撮像素子５の構成を示す平面模式図である。

固体撮像素子５は、行方向Ｘ及びこれに直交する列方向Ｙに二次元状に配列された多数の画素５１（図中の各正方形のブロック）を備えている。図２では全ての画素５１は図示していないが、実際には、数百万〜１千数百万個程度の画素５１が二次元状に配列される。固体撮像素子５により撮像を行うと、この多数の画素５１の各々から出力信号が得られる。この多数の出力信号の集合を本明細書では撮像画像信号という。

各画素５１は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタと、光電変換部に蓄積された信号電荷に応じた信号を出力する信号出力回路とを含む。

信号出力回路は、良く知られているＭＯＳ回路であり、例えば、光電変換部に蓄積された電荷が転送される電荷蓄積部と、光電変換部の電荷を電荷蓄積部に転送するための転送トランジスタと、電荷蓄積部の電位をリセットするリセットトランジスタと、電荷蓄積部の電位に応じた信号を出力する出力トランジスタと、出力トランジスタから出力信号線に信号を選択的に出力させるための行選択トランジスタとを含んで構成される。

図２では、赤色光を透過するカラーフィルタを含む画素５１には“Ｒ”の文字を付し、緑色光を透過するカラーフィルタを含む画素５１には“Ｇ”の文字を付し、青色光を透過するカラーフィルタを含む画素５１には“Ｂ”の文字を付している。

多数の画素５１は、行方向Ｘに並ぶ複数の画素５１からなる画素行を、列方向Ｙに複数個並べた配列となっている。そして、奇数行の画素行と偶数行の画素行は、各画素行の画素５１の配列ピッチの略１／２、行方向Ｘにずれている。

奇数行の画素行の各画素５１に含まれるカラーフィルタの配列は全体としてベイヤ配列となっている。また、偶数行の画素行の各画素５１に含まれるカラーフィルタの配列も全体としてベイヤ配列となっている。奇数行にある画素５１と、この画素５１に対して右下に隣接する、この画素５１と同色光を検出する画素５１とがペア画素を構成する。

このような画素配列の固体撮像素子５によれば、ペア画素を構成する２つの画素５１の出力信号を加算することでカメラの高感度化を図ったり、ペア画素を構成する２つの画素５１の露光時間を変え、かつ、この２つの画素５１の出力信号を加算することでカメラの広ダイナミックレンジ化を図ったりすることができる。

固体撮像素子５では、多数の画素５１のうちの一部が位相差検出用の画素となっている。

位相差検出用の画素は、複数の位相差検出用画素５１Ｒと複数の位相差検出用画素５１Ｌとを含む。

複数の位相差検出用画素５１Ｒは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の一方（例えば瞳領域の右半分を通過した光束）を受光し受光量に応じた信号を出力する。つまり、固体撮像素子５に設けられた複数の位相差検出用画素５１Ｒは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の一方によって形成される像を撮像するものとなる。

複数の位相差検出用画素５１Ｌは、上記一対の光束の他方（例えば瞳領域の左半分を通過した光束）を受光し受光量に応じた信号を出力する。つまり、固体撮像素子５に設けられた複数の位相差検出用画素５１Ｌは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の他方によって形成される像を撮像するものとなる。

なお、位相差検出用画素５１Ｒ，５１Ｌ以外の複数の画素５１（以下、撮像用画素という）は、撮影レンズ１の瞳領域のほぼ全ての部分を通過した光束によって形成される像を撮像するものとなる。

各画素５１の光電変換部上方には、遮光膜が設けられ、この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。

撮像用画素５１の開口（図２において符号ａで示す）の中心は、撮像用画素５１の光電変換部の中心（正方形のブロックの中心）と一致している。なお、図２では、図を簡略化するために、撮像用画素５１については一部のみに開口ａを図示している。

これに対し、位相差検出用画素５１Ｒの開口（図２において符号ｃで示す）の中心は、位相差検出用画素５１Ｒの光電変換部の中心に対し右側に偏心している。

位相差検出用画素５１Ｌの開口（図２において符号ｂで示す）の中心は、位相差検出用画素５１Ｌの光電変換部の中心に対して左側に偏心している。

固体撮像素子５では、緑色のカラーフィルタが搭載される画素５１の一部が位相差検出用画素５１Ｒ又は位相差検出用画素５１Ｌとなっている。勿論、他の色のカラーフィルタが搭載される画素を位相差検出用画素としてもよい。

位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、それぞれ、画素５１が配置される領域において離散的及び周期的に配置されている。

位相差検出用画素５１Ｒは、図２の例では、偶数行の画素行の一部（図２の例では、３画素行おきに並ぶ４つの画素行）において、行方向Ｘに３つの画素５１おきに配置されている。

位相差検出用画素５１Ｌは、図２の例では、奇数行の画素行の一部（位相差検出用画素５１Ｒを含む画素行の隣にある画素行）において、行方向Ｘに、位相差検出用画素５１Ｒと同じ周期で配置されている。

このような構成により、遮光膜の開口ｂを通って位相差検出用画素５１Ｌに受光される光は、図２の紙面上方に設けられる撮影レンズ１の被写体から見て左側からの光、すなわち被写体を右眼で見た方向から来た光が主となる。また、遮光膜の開口ｃを通って位相差検出用画素５１Ｒに受光される光は、撮影レンズ１の被写体から見て右側からの光、すなわち被写体を左眼で見た方向から来た光が主となる。

即ち、全ての位相差検出用画素５１Ｒによって、被写体を左眼で見た撮像画像信号を得ることができ、全ての位相差検出用画素５１Ｌによって、被写体を右眼で見た撮像画像信号を得ることができる。このため、両者を組み合わせることで、被写体の立体画像データを生成したり、両者を相関演算することで位相差量を算出したりすることが可能になる。

なお、位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、遮光膜の開口を逆方向に偏心させることで、撮影レンズ１の瞳領域の異なる部分を通過した光束をそれぞれ受光できるようにして、位相差量を得られるようにしている。しかし、位相差量を得るための構造はこれに限らず、他のよく知られているものを採用することができる。

固体撮像素子５は、更に、垂直走査回路５２と水平走査回路５３を備える。

垂直走査回路５２は、各画素５１に含まれる信号出力回路の転送トランジスタ、リセットトランジスタ、及び行選択トランジスタのオンオフ制御を行う。

水平走査回路５３は、列方向Ｙに並ぶ画素５１からなる画素列毎に設けられる出力信号線に接続され、任意の画素行にある各画素５１から出力信号線に出力された出力信号を順次、固体撮像素子５外部に出力する。

垂直走査回路５２及び水平走査回路５３は、図１に示した撮像素子駆動部１０の指示にしたがって動作する。撮像素子駆動部１０は、画素行毎に露光期間を一定時間ずらす、所謂ローリングシャッタ方式で固体撮像素子５を駆動する。

画素行の各画素５１の露光期間は、当該各画素５１のリセットトランジスタをオンにして、当該各画素５１に含まれる電荷蓄積部の電位をリセットした時点で開始され、当該各画素５１に含まれる転送トランジスタをオンにして、当該各画素５１の光電変換部に蓄積された電荷を電荷蓄積部に転送完了した時点で終了される。撮像素子駆動部１０は、この露光期間の開始タイミングを画素行毎にずらすように垂直走査回路５２を制御する。

図１に示すデフォーカス量算出部１９は、位相差検出用画素５１Ｌ及び位相差検出用画素５１Ｒから読み出される出力信号群を用いて、上記一対の光束によって形成される２つの像の相対的なずれ量である位相差量を算出する。デフォーカス量算出部１９は、この位相差量に基づいて、撮影レンズ１の焦点調節状態、ここでは合焦状態から離れている量とその方向、すなわちデフォーカス量を算出する。

図１に示すシステム制御部１１は、デフォーカス量算出部１９によって算出されたデフォーカス量に基づいて、撮影レンズ１に含まれるフォーカスレンズを合焦位置に移動させて、撮影レンズ１の合焦状態を制御する合焦制御部として機能する。

次に、デフォーカス量算出部１９による位相差量の算出方法を詳細に説明する。

デフォーカス量算出部１９は、位相差検出用画素５１Ｒを含む画素行と、この位相差検出用画素５１Ｒに近接する位相差検出用画素５１Ｌを含む画素行の２つの画素行から読み出される出力信号を用いて位相差量を算出する。

なお、本明細書において、近接する２つの画素（又は画素行）とは、実質的に同じ被写体部分からの光を受光していると見なすことのできる程度に近接している２つの画素（又は画素行）のことを言う。

デフォーカス量算出部１９は、図３において太枠で囲った近接する２つの画素行（画素行Ｌ１と画素行Ｌ２）から出力された信号群のうち、画素行Ｌ１に含まれる位相差検出用画素５１Ｒの出力信号を、位相差検出用画素５１Ｒの行方向Ｘの位置が左にあるものから順にＡ［１］…Ａ［ｋ］とする。

また、デフォーカス量算出部１９は、画素行Ｌ２に含まれる位相差検出用画素５１Ｌの出力信号を、位相差検出用画素５１Ｌの行方向Ｘの位置が左にあるものから順にＢ［１］…Ｂ［ｋ］とする。

信号Ａ［ｎ］と信号Ｂ［ｎ］（ｎ＝１，２，３，・・・，ｋ）は、近接する位相差検出用画素５１Ｒと位相差検出用画素５１Ｌ（ペア画素となる位相差検出用画素５１Ｒと位相差検出用画素５１Ｌ）の出力信号である。

そして、デフォーカス量算出部１９は、画素行Ｌ１の位相差検出用画素５１Ｌによって撮像された像（画素行Ｌ１に含まれる複数の位相差検出用画素５１Ｌの出力信号群に相当）と、画素行Ｌ２の位相差検出用画素５１Ｒによって撮像された像（画素行Ｌ２に含まれる複数の位相差検出用画素５１Ｒの出力信号群に相当）との相関量に対応する面積Ｓ［ｄ］を、上記式（１）の演算により算出する。面積Ｓ［ｄ］は、その値が小さいほど２つの像の相関量が大きいことを意味する。

デフォーカス量算出部１９は、式（１）における“ｄ”の値を、Ｌから−Ｌの範囲で単位量（例えば“１”。この数値は任意）ずつ増減させて得た全てのＳ［ｄ］のうち、Ｓ［ｄ］が最小値となったとき（言い換えると、２つの像の相関量が最大になったとき）の“ｄ”の値を、位相差量として算出する。

本実施形態では、式（１）による相関演算の演算量を最適化すべく、デフォーカス量算出部１９が、絞り２のＦ値、撮影レンズ１の焦点距離（ズームレンズの位置）、及び撮影レンズ１に含まれるフォーカスレンズの位置（フォーカス位置）に応じて、上記Ｌの値（相関演算の際に２つの像をシフトさせる量の上限値、以下シフト量という）を設定する。Ｆ値とは、絞りの開口量で決まる値（絞り開放側で小さくなるもの）である。

Ｆ値、焦点距離、及びフォーカス位置の組み合わせによって、被写体のボケが大きい状況なのか、ボケが小さい状況なのかが決まる。被写体のボケが小さい状況では、被写体のボケが大きい状況と比べて、位相差量ｄが小さくなる。

そこで、デフォーカス量算出部１９は、被写体のボケが小さい状況では、被写体のボケが大きい状況よりもシフト量Ｌの値を小さくする。このようにすることで、式（１）のＳ［ｄ］を求める数を減らし、無駄な演算を省くことができる。

Ｆ値及び焦点距離の組み合わせとシフト量Ｌとの関係は、予め実験的に求めておき、図４に例示するテーブルをメインメモリ１６に記憶しておく。なお、図４に示すテーブルは、フォーカス位置がＭＯＤ又はＩＮＦ（フォーカスレンズの移動可能範囲における両端部）にあるときのものとしている。

シフト量Ｌとして設定可能な最大値は、フォーカスレンズの端から端までの移動量をＭとし、フォーカスレンズを移動量Ｍだけ移動させたときのデフォーカス量の変化量をＭｄとすると、この変化量Ｍｄから位相差量を逆算することで求まる。図４に示すテーブルは、フォーカス位置がＭＯＤ又はＩＮＦにあるときのものとしているため、Ｌ＝９６が、デフォーカス量算出部１９によって設定することのできるシフト量Ｌの最大値となる。

Ｆ値が大きくなるほど、被写体のボケは減少していく（像の分離が減少する）ため、合焦のために必要なフォーカスレンズの移動量が同等でも、位相差量は減少する。また、焦点距離が短くなるほど、被写体のボケは減少していく（像の分離が減少する）ため、合焦のために必要なフォーカスレンズの移動量が同等でも、位相差量は減少する。

このように、Ｆ値と焦点距離の組み合わせによって位相差量の取り得る最大値は変わる。

したがって、図４に示したように、Ｆ値と焦点距離の組み合わせによって、位相差量の最大値に相当するシフト量Ｌの値が異なるテーブルが作成されることになる。

なお、フォーカスレンズの移動量に最低限必要とされる値（以下、必要フォーカス移動量ともいう）は、フォーカス位置がＭＯＤとＩＮＦにあれば、その上限値はＭとなる。しかし、フォーカス位置がＭＯＤとＩＮＦの間にある場合は、必要フォーカス移動量の上限値はＭより小さくなる。

例えば、フォーカス位置がＭＯＤとＩＮＦの中間にある場合は、必要フォーカス移動量は最大でＭ／２となる。したがって、この場合は、図４に示したテーブルにおけるＬの各数値を１／２にしても、問題なく合焦制御を行うことができる。

デフォーカス量算出部１９は、位相差ＡＦを行う時点でのフォーカス位置の情報から、必要フォーカス移動量の最大値を判定し、判定した最大値にしたがって図４に示すテーブルを加工して、シフト量Ｌを決定する。

具体的には、デフォーカス量算出部１９は、現在のフォーカスレンズの位置とＭＯＤとの距離、現在のフォーカスレンズの位置とＩＮＦとの距離を算出し、これら２つの距離の大きい方を、あらゆるＦ値と焦点距離の組み合わせに対応する必要フォーカス移動量の最大値Ｍａとする。そして、デフォーカス量算出部１９は、図４のテーブルにおいて、システム制御部１１から取得したＦ値と焦点距離の組み合わせに対応する数値を選択し、この数値にＭａ／Ｍを乗じた値（小数点以下は切り上げ）を、シフト量Ｌとして決定する。

例えば、フォーカス位置が、ＩＮＦとＭＯＤの中間と、ＩＮＦとの中間にあり、Ｆ値がＦ２．０、焦点距離が５６以上１００未満である場合、デフォーカス量算出部１９は、３２×（３／４）＝２４をシフト量Ｌとする。

なお、図４に示すテーブルをフォーカス位置毎に生成してメインメモリ１６に記憶しておき、デフォーカス量算出部１９が、フォーカス位置に対応するテーブルとＦ値及び焦点距離とから、シフト量Ｌを決定してもよい。

以上のように構成されたデジタルカメラは、静止画撮像を連続して行う動画撮像モードを設定可能である。以下では、この動画撮像モード時のデジタルカメラの動作を説明する。

図５は、図１に示すデジタルカメラの動画撮像モード時の動作を説明するためのフローチャートである。

動画撮像モードに設定された状態で、操作部１４に含まれるシャッタボタンが押されて、動画撮像開始の指示があると、システム制御部１１は、この指示の直前に得ていたライブビュー画像用の撮像画像信号に基づいて露出を制御し、フォーカスレンズ位置を予め決められた位置に制御する（ステップＳ１）。

この状態で、システム制御部１１は、固体撮像素子５によって、動画像を構成するｎフレーム目（ここではｎ＝１）の静止画像の撮像（各画素の露光及び各画素からの信号読み出し）を開始させる。そして、この撮像によって固体撮像素子５から出力された撮像画像信号がメインメモリ１６に記憶される（ステップＳ２）。

次に、デフォーカス量算出部１９が、ｎフレーム目の静止画像の撮像時におけるＦ値、焦点距離、及びフォーカスレンズ位置の情報をシステム制御部１１から取得する（ステップＳ３）。

次に、デフォーカス量算出部１９は、ステップＳ３において取得した情報と、メインメモリ１６に記憶されているテーブルとを用いて、シフト量Ｌを設定する（ステップＳ４）。

次に、デフォーカス量算出部１９は、メインメモリ１６に記憶されたｎフレーム目の撮像画像信号のうち、画素行Ｌ１から得られた位相差検出用画素５１Ｌの出力信号群と、画素行Ｌ２から得られた位相差検出用画素５１Ｒの出力信号群を取得する（ステップＳ５）。

次に、デフォーカス量算出部１９は、ステップＳ５で取得した出力信号を用いて、上記式（１）に示す相関演算を行う（ステップＳ６）。

相関演算の結果、デフォーカス量算出部１９は、Ｓ［ｄ］が最小となる“ｄ”の値を位相差量とする。デフォーカス量算出部１９は、ステップＳ５，Ｓ６の処理を、位相差検出用画素５１Ｒとこの位相差検出用画素５１Ｒとペア画素を構成する位相差検出用画素５１Ｌを含む２つの画素行毎に行って、複数の位相差量を算出する。

そして、デフォーカス量算出部１９は、この複数の位相差量を用いてデフォーカス量を算出する（ステップＳ７）。例えば、デフォーカス量算出部１９は、複数の位相差量を平均し、平均して得た位相差量に基づいてデフォーカス量を算出する。

次に、システム制御部１１が、ステップＳ７で算出したデフォーカス量に基づいてフォーカスレンズの位置を駆動して、合焦制御を行う（ステップＳ８）。ステップＳ８の処理と並行して、システム制御部１１は、ｎフレーム目の撮像画像信号に基づいて露出制御を行う（ステップＳ９）。

ステップＳ８及びステップＳ９の処理が終わると、システム制御部１１は、（ｎ＋１）フレーム目の静止画像の撮像を開始させる。そして、この撮像によって得られる撮像画像信号がメインメモリ１６に記憶される（ステップＳ１０）。

次に、デフォーカス量算出部１９は、画素行Ｌ１の位相差検出用画素５１Ｌによって撮像された像と、画素行Ｌ２の位相差検出用画素５１Ｒによって撮像された像との位相差量が、ｎフレーム目の静止画像の撮像時と（ｎ＋１）フレーム目の静止画像の撮像時とで実質的に変化する（予め決めた閾値以上変化する）条件を満たすか否かを判定する（ステップＳ１１）。

位相差量が変化する条件には、例えば次の（Ａ）〜（Ｃ）に示す条件がある。被写体距離は、被写体に依存するため、被写体条件の１つである。撮像方向、Ｆ値、及び焦点距離は、それぞれ撮像している側に依存するため、撮像条件の１つである。

（Ａ）合焦している主要被写体とデジタルカメラ（例えば固体撮像素子５の撮像面）との距離である被写体距離が変化すること
（Ｂ）デジタルカメラの撮像している方向（撮影レンズ１の光軸の伸びる方向）である撮像方向が変化すること
（Ｃ）絞り２のＦ値と撮像レンズ１の焦点距離の少なくとも一方が変化すること

ここで、任意のパラメータ（被写体距離、撮像方向、焦点距離、Ｆ値）が変化するとは、このパラメータに上記位相差量が変化する程度の変化があることを言う。以下、上記の各条件を満たすか否かの判定方法について説明する。

＜条件（Ａ）を満たすか否かの判定方法＞
デフォーカス量算出部１９は、（ｎ＋１）フレーム目の撮像で得られる撮像画像信号を用いて、式（１）の相関演算により位相差量を算出し、算出した位相差量が、ステップＳ６で算出したｎフレーム目における位相差量に対して、閾値以上増加、又は、閾値以上減少している場合に、条件（Ａ）を満たしていると判定する。

また、ステップＳ８で合焦される主要被写体は、人物や動物の顔等であることが多い。そこで、デフォーカス量算出部１９は、ｎフレーム目の撮像で得られる撮像画像信号に顔検出処理を施して、合焦されている主要被写体を検出し、検出した主要被写体の大きさと、（ｎ＋１）フレーム目の撮像画像信号から検出した当該主要被写体の大きさとを比較する。そして、（ｎ＋１）フレーム目において撮像された主要被写体の面積が、ｎフレーム目において撮像された主要被写体の面積よりも閾値以上大きく又は小さくなっている場合に、条件（Ａ）を満たしていると判定してもよい。

＜条件（Ｂ）を満たすか否かの判定方法＞
ｎフレーム目の静止画像の撮像時における露出値と、（ｎ＋１）フレーム目の静止画像の撮像時における露出値とに大きな変化がある場合は、撮像方向が変わっていると推定できる。このため、デフォーカス量算出部１９は、ステップＳ１で決められたｎフレーム目の静止画像の撮像時における露出値と、ステップＳ９で決められた（ｎ＋１）フレーム目の静止画像の撮像時における露出値とを比較し、双方に閾値以上の差がある場合に、条件（Ｂ）を満たしていると判定する。

また、デジタルカメラがパンされる等して大きく動いた場合も、撮像方向が変わっていると判断できる。そこで、デジタルカメラに、ジャイロセンサ等の動き検出手段を設けておく。そして、デフォーカス量算出部１９は、この動き検出手段の検出信号から、ｎフレーム目の静止画像の撮像と（ｎ＋１）フレーム目の静止画像の撮像との間で、デジタルカメラが閾値以上動いたか否かを判定し、デジタルカメラが閾値以上動いたと判定したときに、条件（Ｂ）を満たすと判定してもよい。

＜条件（Ｃ）を満たすか否かの判定方法＞
デフォーカス量算出部１９は、ｎフレーム目の静止画像の撮像時におけるＦ値と、（ｎ＋１）フレーム目の静止画像の撮像時におけるＦ値とを比較し、双方に差があった場合に、条件（Ｃ）を満たすと判定する。また、デフォーカス量算出部１９は、ｎフレーム目の静止画像の撮像時における焦点距離と、（ｎ＋１）フレーム目の静止画像の撮像時における焦点距離とを比較し、双方に閾値以上の差があった場合に、条件（Ｃ）を満たすと判定する。

ステップＳ１１の判定がＹＥＳのとき、デフォーカス量算出部１９は、シフト量Ｌを再度設定しなおす（ステップＳ１２）。ステップＳ１２の後、デフォーカス量算出部１９は、ステップＳ１３において“ｎ”の値を“ｎ＋１”に変更して、ステップＳ５以降の処理を行う。

ステップＳ１１の判定がＮＯのとき、デフォーカス量算出部１９は、シフト量Ｌを変更することなく、ステップＳ１３において“ｎ”の値を“ｎ＋１”に変更して、ステップＳ５以降の処理を実行する。

図６は、図５に示したステップＳ１１，Ｓ１２の詳細を示すフローチャートである。

ステップＳ１０の後、デフォーカス量算出部１９は、（ｎ＋１）フレーム目の静止画像の撮像時におけるＦ値が、ｎフレーム目の静止画像の撮像時におけるＦ値に対して変化しているかを判定し、更に、（ｎ＋１）フレーム目の静止画像の撮像時における焦点距離が、ｎフレーム目の静止画像の撮像時における焦点距離に対して変化しているかを判定する（ステップＳ２１）。

ステップＳ２１の判定がＹＥＳの場合、デフォーカス量算出部１９は、（ｎ＋１）フレーム目の静止画像の撮像時におけるＦ値、焦点距離、及びフォーカスレンズ位置の情報をシステム制御部１１から取得する（ステップＳ２５）。

次に、デフォーカス量算出部１９は、ステップＳ２５において取得した情報と、メインメモリ１６に記憶されているテーブルとを用いて、シフト量Ｌを設定する（ステップＳ２６）。デフォーカス量算出部１９は、ステップＳ２６の後は、図５のステップＳ１３の処理を行う。

ステップＳ２１の判定がＮＯの場合、デフォーカス量算出部１９は、ｎフレーム目の静止画像の撮像時におけるデジタルカメラの撮像方向と、（ｎ＋１）フレーム目の静止画像の撮像時におけるデジタルカメラの撮像方向とに大きな変化があるか否かを判定する（ステップＳ２２）。

ステップＳ２２の判定がＹＥＳの場合、この場合は、既に設定されているシフト量では、大きすぎたり、小さすぎたりする場合がある。そこで、デフォーカス量算出部１９は、ステップＳ２５以降の処理を行って、シフト量を最も演算量が少なくなる値に再設定する。

ステップＳ２２の判定がＮＯの場合、デフォーカス量算出部１９は、ｎフレーム目の静止画像の撮像時における被写体距離と、（ｎ＋１）フレーム目の静止画像の撮像時における被写体距離とに大きな変化があるか否かを判定する（ステップＳ２３）。

ステップＳ２３の判定がＹＥＳの場合、デフォーカス量算出部１９は、ステップＳ３で設定したシフト量Ｌを、シフト量Ｌよりも大きい値に設定する（ステップＳ２４）。デフォーカス量算出部１９は、ステップＳ２４の後は、図５のステップＳ１３の処理を行う。

ステップＳ２３の判定がＮＯの場合、デフォーカス量算出部１９は、図５のステップＳ１３の処理を行う。

以上のように、図１に示すデジタルカメラによれば、Ｆ値、焦点距離、及びフォーカス位置に応じてシフト量Ｌを決めるため、シフト量Ｌを常に固定にする場合と比較して、無駄な相関演算が行われるのを防ぐことができ、位相差ＡＦの高速化が可能となる。

また、図１に示すデジタルカメラは、動画像のｎフレーム目を構成する静止画像の撮像時におけるＦ値、焦点距離、及びフォーカス位置に応じてシフト量Ｌを設定した後は、位相差量が変化する条件を満たす場合に、このシフト量Ｌを別の値に設定する。動画撮像中は、主要被写体とデジタルカメラの相対位置が変化したり、絞り２の開口量やズーム倍率が変わったり等、撮像条件又は被写体条件等の撮影環境が刻々と変化する。このため、このような撮影環境の変化があった場合に、そのときの状況にあった最適なシフト量Ｌを再度設定することで、位相差量の演算精度を落とすことなく、全体としての相関演算量を減らすことができる。

なお、図１に示すデジタルカメラを、位相差ＡＦとコントラストＡＦを併用するデジタルカメラとすることもできる。例えば、被写体が暗い場合や被写体に顔が含まれる場合にはコントラストＡＦを優先的に行い、被写体が明るい場合や被写体に顔が含まれていない場合には位相差ＡＦを優先的に行うものとする。そして、コントラストＡＦから位相差ＡＦに変更された場合には、既に設定しているシフト量を大きい値に変更する。又は、コントラストＡＦから位相差ＡＦに変更された場合に、既に主要被写体にピントが合っている場合には、既に設定しているシフト量を小さい値に変更する。このようにすることでも、位相差量の演算精度を落とすことなく、全体としての相関演算量を減らすことができる。

ここまでは、固体撮像素子５をＣＭＯＳ型として説明したが、ＣＣＤ型のものを用いても、同様の効果を得ることができる。

次に、図１に示すデジタルカメラの変形例について説明する。

図１に示すデジタルカメラは、撮像素子駆動部１０が固体撮像素子５をローリングシャッタ方式で駆動する。ローリングシャッタ方式では、画素行毎に露光タイミングが僅かにずれる。このため、被写体が動いている場合には、近接する２つの画素行であっても、これら２つの画素行から得られる出力信号群同士の間には、ローリングシャッタ駆動に起因する像の歪みが位相差として生じる場合がある。

ローリングシャッタ駆動に起因する位相差Ｄが発生していると、ｄ＝Ｌ、又は、ｄ＝−ＬのときにＳ［ｄ］が最小となった場合でも、実際には、この最小のＳ［ｄ］よりも、Ｓ［Ｌ＋Ｄ］又はＳ［−（Ｌ＋Ｄ）］の方が小さくなる可能性がある。

そこで、この変形例では、デフォーカス量算出部１９が、図５のステップＳ４及び図６のステップＳ２６において、Ｆ値、焦点距離、及びフォーカス位置に応じて決定したシフト量Ｌの値に、ローリングシャッタ駆動に起因する位相差Ｄを加算したシフト量Ｌ’を算出する。そして、図５のステップＳ６では、下記式（２）によってＳ［ｄ］が最小となるｄを位相差量として算出する。式（２）は、式（１）において、２つの像のずらし量の上限値をＬ’としたものである。

位相差Ｄは、近接する２つの画素行の各々に含まれる撮像用画素５１の出力信号同士の相関演算により求めることができる。

例えば、デフォーカス量算出部１９は、図３に示した画素行Ｌ１に含まれる撮像用画素５１の出力信号を、Ｅ［１］…Ｅ［ｋ］とし、画素行Ｌ２に含まれる撮像用画素５１の出力信号を、Ｆ［１］…Ｆ［ｋ］とし、下記式（３）で求まるＳ［ｄ］が最小となるｄの値を位相差Ｄとして算出する。

なお、式（３）における２つの像のずらし量の上限値Ｌａは、Ｅ［１］…Ｅ［ｋ］の出力元の画素行と、Ｆ［１］…Ｆ［ｋ］の出力元の画素行との間にある画素行の数と撮像素子の読み出し速度によって決めておく。この数が少なく、読み出しが速いほど、位相差Ｄは小さくなるため、この数が少なく、読み出しが速いほどＬａは小さくすればよい。

以上のように、この変形例によれば、相関演算を行う対象となる２つの像の間に、ローリングシャッタ駆動による歪みが発生していた場合でも、デフォーカス量の算出を精度良く行うことができる。

なお、図５のステップＳ５では、画素行Ｌ１，Ｌ２から得られた出力信号を取得している。このようにすることで、位相差ＡＦ時に、位相差検出用画素５１Ｒ，５１Ｌを含む画素行以外の画素行、つまり撮像用画素５１だけを含む画素行からの信号読出しが不要となる。したがって、位相差ＡＦに使用する信号の読み出しを高速化することができ、位相差ＡＦの高速化が可能となる。

なお、ローリングシャッタ駆動に起因する位相差Ｄを算出するために用いる２つの出力信号群は、撮像用画素５１だけを含む画素行から得られたものを用いてもよい。

例えば、図５のステップＳ６では、図３に示した画素行Ｌ３と画素行Ｌ４の各々から得られた出力信号群を用いて相関演算を行い、位相差Ｄを算出してもよい。

また、位相差Ｄを算出するために用いる２つの出力信号群は、近接する２つの画素行から得られたものであればよく、例えば、図３に示した画素行Ｌ３と画素行Ｌ５の各々から得られた出力信号群を用いて、位相差Ｄを算出してもよい。

この場合、デフォーカス量算出部１９は、式（３）の左辺が最小となるようなｄの値を位相差Ｄとして求めるが、ここで求まるＤの値は、画素行Ｌ３と画素行Ｌ４の各々から得られた出力信号群を用いて算出した位相差Ｄの４倍の値となる。そのため、式（３）の左辺が最小となるようなｄの値を４で割って得られる値を最終的な位相差Ｄとすればよい。

なお、以上の説明では、固体撮像素子５に含まれる全ての画素行について、露光期間をずらすローリングシャッタ駆動を行うものとした。しかし、全ての画素行のうちの一部、つまり、位相差検出用画素５１Ｒ，５１Ｌを含む行についてだけ、ローリングシャッタ駆動し、それ以外の画素行についてはグローバルシャッタ駆動を行うといった形態も可能である。

ここまでは、画素５１がいわゆるハニカム配列されたものを例にしたが、画素５１が正方格子状に配列された固体撮像素子にも本発明は適用可能である。

図７は、図２に示す固体撮像素子５の変形例である固体撮像素子５ａを示す図である。

固体撮像素子５ａは、行方向Ｘと列方向Ｙに正方格子状に配列された多数の画素５１ａと、垂直走査回路５２と、水平走査回路５３とを備える。画素５１ａの構成は画素５１と同じであり、カラーフィルタの配列はベイヤ配列となっている。

多数の画素５１ａは、遮光膜の開口ａが偏心していない通常の画素５１ａと、偏心した開口ｄ，ｅを有する位相差検出用画素とを含む。開口ｄを有する画素５１ａが位相差検出用画素５１Ｌに対応し、開口ｅを有する画素５１ａが位相差検出用画素５１Ｒに対応している。

このような構成の固体撮像素子５ａでも、上述してきた方法でシフト量Ｌを決定することで、位相差ＡＦを高速に行うことができる。

図２及び図７では、近接する位相差検出用画素５１Ｒと位相差検出用画素５１Ｌとで行方向Ｘの位置が１画素分ずれているが、近接する位相差検出用画素５１Ｒと位相差検出用画素５１Ｌの行方向Ｘの位置を同じにした構成としてもよい。

ここまでは、固体撮像素子５，５ａが複数色のカラーフィルタを搭載してカラー撮像を行うものとしたが、固体撮像素子５，５ａは、カラーフィルタを緑色の単色にする、カラーフィルタを省略する等して、モノクロ撮像用の撮像素子としてもよい。また、カラーフィルタの色は原色に限らず、補色フィルタ等を用いてもよい。

また、以上の説明では、固体撮像素子５を、撮像用画素５１と位相差検出用画素５１Ｒ，５１Ｌが混在する撮像兼位相差検出用の撮像素子とした。しかし、撮像用画素５１を持たない位相差ＡＦ専用の素子を固体撮像素子５とは別にカメラ内に設け、この素子からの出力信号を用いることでも、図５に示した位相差ＡＦの処理を実施することができる。

また、以上の説明では、デフォーカス量算出部１９が、ステップＳ４及びステップＳ２６において、Ｆ値、焦点距離、及びフォーカス位置に応じてシフト量Ｌを設定するものとした。しかし、これらのうちの１つに応じてシフト量Ｌを設定する構成としても、位相差ＡＦのための演算を効率的に行うことができる。

本明細書では撮像装置としてデジタルカメラを例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。

図８は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図８に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図９は、図８に示すスマートフォン２００の構成を示すブロック図である。図８に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図８に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図８に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図８に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図８に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、カメラ部２０８の撮像素子として固体撮像素子５，５ａを用い、主制御部２２０において図５に例示した処理を行うことで、動画撮像中も高速高精度の位相差ＡＦが可能になる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、撮像光学系を通して被写体を撮像する撮像装置であって、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する行方向に配列された複数の第一の位相差検出用の画素、及び、上記一対の光束の他方を受光する上記行方向に配列された複数の第二の位相差検出用の画素を含むセンサと、上記複数の第一の位相差検出用の画素の各々の出力信号からなる第一の出力信号群と、上記複数の第二の位相差検出用の画素の各々の出力信号からなる第二の出力信号群とを上記行方向に任意の量ずつずらしながら上記第一の出力信号群と上記第二の出力信号群との相関量を演算し、上記相関量が最大となるときの上記第一の出力信号群と上記第二の出力信号群の位相差量からデフォーカス量を算出するデフォーカス量算出部と、上記デフォーカス量算出部により算出された上記デフォーカス量に基づいて上記撮像光学系の合焦状態を制御する合焦制御部と、を備え、上記デフォーカス量算出部は、動画撮像モードにおいて、上記第一の出力信号群と上記第二の出力信号群のずらし量の上限値を、動画像を構成する任意の画像の撮像時における上記撮像光学系のＦ値、上記撮像光学系の焦点距離、又は上記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じた第一の値に設定し、上記第一の値を設定した後は、撮像条件又は被写体条件の変化に応じて、上記ずらし量の上限値を変更するものである。

開示された撮像装置は、上記デフォーカス量算出部が、撮像している主要被写体と上記撮像装置との距離である被写体距離が変化すること、上記撮像装置の撮像している方向が変化すること、上記撮像光学系のＦ値と上記撮像光学系の焦点距離の少なくとも一方が変化すること、のいずれかを満たす場合に上記ずらし量の上限値を変更するものである。

開示された撮像装置は、上記デフォーカス量算出部が、上記第一の値を設定した後、上記被写体距離が変化した場合に、上記ずらし量の上限値を、既に設定されている値よりも大きい値に設定するものである。

この構成によれば、相関量の演算を効率に行うことができ、被写体に対する焦点の追従性を向上させることができる。

開示された撮像装置は、上記デフォーカス量算出部が、上記第一の値を設定した後、上記撮像装置の撮像している方向が変化した場合に、上記ずらし量の上限値を、上記撮像している方向が変化した状態で行われる静止画像の撮像時における上記撮像光学系のＦ値、上記撮像光学系の焦点距離、又は上記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて決めた値に設定するものである。

この構成によれば、撮像している方向が変化したときに、第一の値ではなく、その時点での撮像条件に応じて相関量の演算を効率に行うことができ、位相差ＡＦの速度を高速化することができる。

開示された撮像装置は、上記デフォーカス量算出部が、上記第一の値を設定した後、上記撮像光学系のＦ値と焦点距離の少なくとも一方が変化した場合に、上記ずらし量の上限値を、上記Ｆ値と上記焦点距離の少なくとも一方が変化した状態で行われる画像の撮像時における上記撮像光学系のＦ値、上記撮像光学系の焦点距離、又は上記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて決めた値に設定するものである。

この構成によれば、撮像条件が変化した場合に、その時点での撮像条件に応じて相関量の演算を効率に行うことができ、位相差ＡＦの精度向上、位相差ＡＦの速度を高速化が可能となる。

開示された合焦制御方法は、撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する行方向に配列された複数の第一の位相差検出用の画素、及び、上記一対の光束の他方を受光する上記行方向に配列された複数の第二の位相差検出用の画素を含むセンサを有し、上記撮像光学系を通して被写体を撮像する撮像装置における合焦制御方法であって、上記複数の第一の位相差検出用の画素の各々の出力信号からなる第一の出力信号群と、上記複数の第二の位相差検出用の画素の各々の出力信号からなる第二の出力信号群とを上記行方向に任意の量ずつずらしながら上記第一の出力信号群と上記第二の出力信号群との相関量を演算し、上記相関量が最大となるときの上記第一の出力信号群と上記第二の出力信号群の位相差量からデフォーカス量を算出するデフォーカス量算出ステップと、上記デフォーカス量算出ステップにおいて算出した上記デフォーカス量に基づいて上記撮像光学系の合焦状態を制御する合焦制御ステップと、を備え、上記デフォーカス量算出ステップでは、動画撮像モード時に、上記第一の出力信号群と上記第二の出力信号群のずらし量の上限値を、動画像を構成する任意の画像の撮像時における上記撮像光学系のＦ値、上記撮像光学系の焦点距離、又は上記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて決めた第一の値に設定し、上記第一の値を設定した後は、撮像条件又は被写体条件の変化に応じて、上記ずらし量の上限値を変更するものである。

本発明は、デジタルカメラに適用して有用である。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１３年３月２９日出願の日本特許出願（特願２０１３−７３１２７）に基づくものであり、その内容はここに取り込まれる。

５ 固体撮像素子
１１ システム制御部
１９ デフォーカス量算出部
５１ 画素
５１Ｒ，５１Ｌ 位相差検出用画素

Claims (2)

1. 撮像光学系を通して被写体を撮像する撮像装置であって、
   前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する行方向に配列された複数の第一の位相差検出用の画素、及び、前記一対の光束の他方を受光する前記行方向に配列された複数の第二の位相差検出用の画素を含むセンサと、
   前記複数の第一の位相差検出用の画素の各々の出力信号からなる第一の出力信号群と、前記複数の第二の位相差検出用の画素の各々の出力信号からなる第二の出力信号群とを前記行方向に任意の量ずつずらしながら前記第一の出力信号群と前記第二の出力信号群との相関量を演算し、前記相関量が最大となるときの前記第一の出力信号群と前記第二の出力信号群の位相差量からデフォーカス量を算出するデフォーカス量算出部と、
   前記デフォーカス量算出部により算出された前記デフォーカス量に基づいて前記撮像光学系の合焦状態を制御する合焦制御部と、を備え、
   前記デフォーカス量算出部は、動画撮像モードにおいて、前記第一の出力信号群と前記第二の出力信号群のずらし量の上限値を、動画像を構成する任意の画像の撮像時における前記撮像光学系のＦ値、前記撮像光学系の焦点距離、又は前記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じた第一の値に設定し、前記第一の値を設定した後は、前記撮像装置の撮像している方向の変化量が閾値を超えていると検出した場合に、前記ずらし量の上限値を、前記撮像している方向が変化した状態で行われる画像の撮像時における前記撮像光学系のＦ値、前記撮像光学系の焦点距離、又は前記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて決めた値に再設定する撮像装置。
2. 撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する行方向に配列された複数の第一の位相差検出用の画素、及び、前記一対の光束の他方を受光する前記行方向に配列された複数の第二の位相差検出用の画素を含むセンサを有し、前記撮像光学系を通して被写体を撮像する撮像装置における合焦制御方法であって、
   前記複数の第一の位相差検出用の画素の各々の出力信号からなる第一の出力信号群と、前記複数の第二の位相差検出用の画素の各々の出力信号からなる第二の出力信号群とを前記行方向に任意の量ずつずらしながら前記第一の出力信号群と前記第二の出力信号群との相関量を演算し、前記相関量が最大となるときの前記第一の出力信号群と前記第二の出力信号群の位相差量からデフォーカス量を算出するデフォーカス量算出ステップと、
   前記デフォーカス量算出ステップにおいて算出した前記デフォーカス量に基づいて前記撮像光学系の合焦状態を制御する合焦制御ステップと、を備え、
   前記デフォーカス量算出ステップでは、静止画撮像を連続して行う動画撮像モード時に、前記第一の出力信号群と前記第二の出力信号群のずらし量の上限値を、動画像を構成する任意の画像の撮像時における前記撮像光学系のＦ値、前記撮像光学系の焦点距離、又は前記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて決めた第一の値に設定し、前記第一の値を設定した後は、前記撮像装置の撮像している方向の変化量が閾値を超えていると検出した場合に、前記ずらし量の上限値を、前記撮像している方向が変化した状態で行われる画像の撮像時における前記撮像光学系のＦ値、前記撮像光学系の焦点距離、又は前記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて決めた値に再設定する合焦制御方法。

Images