JPWO2014038258A1 - 撮像装置及び合焦制御方法 - Google Patents

Abstract

撮像素子５は、撮像用画素５１と位相差検出用画素５１Ｒ，５１Ｌとを備える。デフォーカス量算出部１９は、ＡＦ指示があるとＦ値、焦点距離、フォーカス位置の情報を取得し、この情報に応じて、相関演算時の２つの出力信号群のシフト量を決定する。デフォーカス量算出部１９は、決定したシフト量の範囲で２つの出力信号群を単位量ずつずらして相関演算を行い、その結果からデフォーカス量を算出する。

Description

本発明は、撮像装置及び合焦制御方法に関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン等の携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

これら撮像装置では、主要な被写体に焦点を合わせる合焦制御方法として、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）方式や位相差ＡＦ方式が採用されている。位相差ＡＦ方式は、コントラストＡＦ方式に比べて合焦位置の検出を高速，高精度に行うことができるため、様々な撮像装置で多く採用されている（例えば特許文献１〜３参照）。

位相差ＡＦ方式では、位相差検出用の一対のセンサ行の出力をデータとして取り込み、その一対のセンサ出力の相関を取る。具体的には、一方のセンサ行のデータをＡ［１］…Ａ［ｋ］とし、他方のセンサ行のデータをＢ［１］…Ｂ［ｋ］とし、これら２つのデータを“ｄ”ずらしたときの以下の式によって求まる２つのデータ波形によって囲まれる面積Ｓ［ｄ］が最小となるときの“ｄ”の値を位相差量として算出し、この位相差量に基づいてフォーカスレンズを駆動している。

特許文献１には、カメラ本体の感光部材（フィルム、撮像素子）に関する情報（許容錯乱円径の情報）に応じて、位相差検出用のセンサ対に形成される２つの像の相関を演算するときの２つの像のシフトピッチ（上記ｄの増減量に相当）を変更することにより、感光部材に最適なフォーカス動作を行う撮像装置を開示している。

特許文献２には、式（１）におけるＬを第一の値として位相差量を算出し、この位相差量に基づいてフォーカスレンズを移動させた後、Ｌを第一の値よりも小さくして位相差量を再度算出し、この位相差量に基づいてフォーカスレンズを移動させる撮像装置が記載されている。

特許文献３には、位相差量の算出に用いる位相差検出用のセンサ行の幅をズーム倍率に応じて可変とする撮像装置が記載されている。

日本国特開２００７−２１９５３９号公報 日本国特開平７−１４３３９１号公報 日本国特開２００９−９２８２４号公報

特許文献１〜３の撮像装置によれば、位相差ＡＦの精度を向上させることができる。しかし、位相差ＡＦの際に無駄な演算が行われる可能性があり、位相差ＡＦのための演算が効率よく行えているとは言えない。

例えば、ぼけの小さい被写体とぼけの大きい被写体とでは、上記Ｌの値は、ぼけの小さい被写体の方が小さくてすむ。しかし、特許文献１，３では、被写体の状態によらずに、上記Ｌを一定としているため、相関演算を無駄に行う場合がある。

また、特許文献２は、１回目の相関演算時と２回目の相関演算時とでＬの値を変えているものの、各相関演算時におけるＬの値は被写体の状態によらずに固定であるため、相関演算を無駄に行う場合がある。

本発明は、上記事情に鑑みてなされたものであり、位相差量の演算を効率的に行って位相差ＡＦの速度を高速化することのできる撮像装置及び合焦制御方法を提供することを目的とする。

本発明の撮像装置は、撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する行方向に配列された複数の第一の位相差検出用の画素、及び、上記一対の光束の他方を受光する上記行方向に配列された複数の第二の位相差検出用の画素を含むセンサと、上記複数の第一の位相差検出用の画素の第一の出力信号群と、上記複数の第二の位相差検出用の画素の第二の出力信号群とを上記行方向に任意の量ずつずらしながら上記第一の出力信号群と上記第二の出力信号群との相関量を演算し、上記相関量が最大となるときの上記第一の出力信号群と上記第二の出力信号群の第一のずれ量からデフォーカス量を算出するデフォーカス量算出部と、上記デフォーカス量に基づいて上記撮像光学系の合焦状態を制御する合焦制御部と、を備え、上記デフォーカス量算出部は、上記第一の出力信号群と上記第二の出力信号群のずらし量の上限値を、上記撮像光学系のＦ値、上記撮像光学系の焦点距離、又は上記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて変更するものである。

本発明の合焦制御方法は、撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する行方向に配列された複数の第一の位相差検出用の画素、及び、上記一対の光束の他方を受光する上記行方向に配列された複数の第二の位相差検出用の画素を含むセンサを有する撮像装置における合焦制御方法であって、上記複数の第一の位相差検出用の画素の第一の出力信号群と、上記複数の第二の位相差検出用の画素の第二の出力信号群とを上記行方向に任意の量ずつずらしながら上記第一の出力信号群と上記第二の出力信号群との相関量を演算し、上記相関量が最大となるときの上記第一の出力信号群と上記第二の出力信号群のずれ量からデフォーカス量を算出するデフォーカス量算出ステップと、上記デフォーカス量に基づいて上記撮像光学系の合焦状態を制御する合焦制御ステップと、を備え、上記デフォーカス量算出ステップでは、上記第一の出力信号群と上記第二の出力信号群のずらし量の上限値を、上記撮像光学系のＦ値、上記撮像光学系の焦点距離、又は上記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて変更するものである。

本発明の撮像装置は、行方向とこれに直交する列方向に二次元状に配置された複数の画素を有し、上記複数の画素が、撮像光学系の瞳領域を通過した光束を受光する複数の撮像用画素、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する複数の第一の位相差検出用の画素、及び上記一対の光束の他方を受光する複数の第二の位相差検出用の画素を含む撮像素子と、上記画素の行毎に露光期間をずらし、各行に含まれる画素から、上記露光期間中の受光量に応じた信号を読み出すローリングシャッタ駆動を行う駆動部と、上記画素の行のうちの近接する２つの行の一方に含まれる複数の上記第一の位相差検出用の画素の第一の出力信号群と、上記２つの行の他方に含まれる複数の上記第二の位相差検出用の画素の第二の出力信号群とを上記行方向に任意の量ずつずらしながら上記第一の出力信号群と上記第二の出力信号群との相関量を演算し、上記相関量が最大となるときの上記第一の出力信号群と上記第二の出力信号群の第一のずれ量からデフォーカス量を算出するデフォーカス量算出部と、上記デフォーカス量に基づいて上記撮像光学系の合焦状態を制御する合焦制御部と、上記画素の行のうちの近接する２つの行の各々に含まれる複数の上記撮像用画素の出力信号群同士の相関量が最大となるときのその出力信号群同士の上記行方向におけるずれ量から、上記ローリングシャッタ駆動に起因する上記第一の出力信号群と上記第二の出力信号群との上記行方向における第二のずれ量を算出するずれ量算出部と、を備え、上記デフォーカス量算出部は、上記第一の出力信号群と上記第二の出力信号群のずらし量の上限値を、上記第二のずれ量に応じて変更するものである。

本発明の合焦制御方法は、行方向とこれに直交する列方向に二次元状に配置された複数の画素を有し、上記複数の画素が、撮像光学系の瞳領域を通過した光束を受光する複数の撮像用画素、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する複数の第一の位相差検出用の画素、及び上記一対の光束の他方を受光する複数の第二の位相差検出用の画素を含む撮像素子を有する撮像装置による合焦制御方法であって、上記画素の行毎に露光期間をずらし、各行に含まれる画素から、上記露光期間中の受光量に応じた信号を読み出すローリングシャッタ駆動を行う駆動ステップと、上記画素の行のうちの近接する２つの行の一方に含まれる複数の上記第一の位相差検出用の画素の第一の出力信号群と、上記２つの行の他方に含まれる複数の上記第二の位相差検出用の画素の第二の出力信号群とを上記行方向に任意の量ずつずらしながら上記第一の出力信号群と上記第二の出力信号群との相関量を演算し、上記相関量が最大となるときの上記第一の出力信号群と上記第二の出力信号群の第一のずれ量からデフォーカス量を算出するデフォーカス量算出ステップと、上記デフォーカス量に基づいて上記撮像光学系の合焦状態を制御する合焦制御ステップと、上記画素の行のうちの近接する２つの行の各々に含まれる複数の上記撮像用画素の出力信号群同士の相関量が最大となるときのその出力信号群同士の上記行方向におけるずれ量から、上記ローリングシャッタ駆動に起因する上記第一の出力信号群と上記第二の出力信号群との上記行方向における第二のずれ量を算出するずれ量算出ステップと、を備え、上記デフォーカス量算出ステップでは、上記第一の出力信号群と上記第二の出力信号群のずらし量の上限値を、上記第二のずれ量に応じて変更するものである。

本発明によれば、位相差量の演算を効率的に行って位相差ＡＦの速度を高速化することのできる撮像装置及び合焦制御方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図 図１に示すデジタルカメラに搭載される固体撮像素子５の構成を示す平面模式図 図２に示す固体撮像素子５において、相関演算に用いる２つの画素行の一例を示す図 図１に示すデジタルカメラのメインメモリに記憶されるテーブルの一例を示す図 図１に示すデジタルカメラの動作を説明するためのフローチャート 図１に示すデジタルカメラの位相差ＡＦ動作の変形例を説明するためのフローチャート 図２に示す固体撮像素子５の変形例である固体撮像素子５ａを示す図 撮像装置としてスマートフォンを説明する図 図８のスマートフォンの内部ブロック図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラの撮像系は、撮像光学系としてのレンズ装置（撮影レンズ１と絞り２とを含む）と、ＣＭＯＳ型の固体撮像素子５とを備えている。

撮影レンズ１及び絞り２を含むレンズ装置は、カメラ本体に着脱可能なものであってもよいし、カメラ本体に固定なものであってもよい。撮影レンズ１は、フォーカスレンズとズームレンズを含む。フォーカスレンズとは、光軸方向に移動することで焦点位置の調節をするレンズをいう。ズームレンズとは、光軸方向に移動することで焦点距離を変化させて、撮像画角を変えるレンズをいう。撮像画角とは、撮像素子に写る範囲を角度で表したものである。また、焦点距離とは、ピントを合わせたときの、レンズから撮像素子までの距離のことを意味する。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１に含まれるフォーカスレンズの位置を調整したり、撮影レンズ１に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。アナログ信号処理部６及びＡ／Ｄ変換回路７は固体撮像素子５に内蔵されることもある。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮影画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、デフォーカス量を算出するデフォーカス量算出部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２とを備えている。メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、デフォーカス量算出部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される固体撮像素子５の構成を示す平面模式図である。

固体撮像素子５は、行方向Ｘ及びこれに直交する列方向Ｙに二次元状に配列された多数の画素５１（図中の各正方形のブロック）を備えている。図２では全ての画素５１は図示していないが、実際には、数百万〜１千数万個程度の画素５１が二次元状に配列される。固体撮像素子５により撮像を行うと、この多数の画素５１の各々から出力信号が得られる。この多数の出力信号の集合を本明細書では撮像画像信号という。

各画素５１は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタと、光電変換部に蓄積された信号電荷に応じた信号を出力する信号出力回路とを含む。

信号出力回路は、良く知られているＭＯＳ回路であり、例えば、光電変換部に蓄積された電荷が転送される電荷蓄積部と、光電変換部の電荷を電荷蓄積部に転送するための転送トランジスタと、電荷蓄積部の電位をリセットするリセットトランジスタと、電荷蓄積部の電位に応じた信号を出力する出力トランジスタと、出力トランジスタから出力信号線に信号を選択的に出力させるための行選択トランジスタとを含んで構成される。

図２では、赤色光を透過するカラーフィルタを含む画素５１には“Ｒ”の文字を付し、緑色光を透過するカラーフィルタを含む画素５１には“Ｇ”の文字を付し、青色光を透過するカラーフィルタを含む画素５１には“Ｂ”の文字を付している。

多数の画素５１は、行方向Ｘに並ぶ複数の画素５１からなる画素行を、列方向Ｙに複数個並べた配列となっている。そして、奇数行の画素行と偶数行の画素行は、各画素行の画素５１の配列ピッチの略１／２、行方向Ｘにずれている。

奇数行の画素行の各画素５１に含まれるカラーフィルタの配列は全体としてベイヤ配列となっている。また、偶数行の画素行の各画素５１に含まれるカラーフィルタの配列も全体としてベイヤ配列となっている。奇数行にある画素５１と、この画素５１に対して右下に隣接する、この画素５１と同色光を検出する画素５１とがペア画素を構成する。

このような画素配列の固体撮像素子５によれば、ペア画素を構成する２つの画素５１の出力信号を加算することでカメラの高感度化を図ったり、ペア画素を構成する２つの画素５１の露光時間を変え、かつ、この２つの画素５１の出力信号を加算することでカメラの広ダイナミックレンジ化を図ったりすることができる。

固体撮像素子５では、多数の画素５１のうちの一部が位相差検出用の画素となっている。

位相差検出用の画素は、複数の位相差検出用画素５１Ｒと複数の位相差検出用画素５１Ｌとを含む。

複数の位相差検出用画素５１Ｒは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の一方（例えば瞳領域の右半分を通過した光束）を受光し受光量に応じた信号を出力する。つまり、固体撮像素子５に設けられた複数の位相差検出用画素５１Ｒは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の一方によって形成される像を撮像するものとなる。

複数の位相差検出用画素５１Ｌは、上記一対の光束の他方（例えば瞳領域の左半分を通過した光束）を受光し受光量に応じた信号を出力する。つまり、固体撮像素子５に設けられた複数の位相差検出用画素５１Ｌは、撮影レンズ１の瞳領域の異なる部分を通過した一対の光束の他方によって形成される像を撮像するものとなる。

なお、位相差検出用画素５１Ｒ，５１Ｌ以外の複数の画素５１（以下、撮像用画素という）は、撮影レンズ１の瞳領域のほぼ全ての部分を通過した光束によって形成される像を撮像するものとなる。

各画素５１の光電変換部上方には、遮光膜が設けられ、この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。

撮像用画素５１の開口（図２において符号ａで示す）の中心は、撮像用画素５１の光電変換部の中心（正方形のブロックの中心）と一致している。なお、図２では、図を簡略化するために、撮像用画素５１については一部のみに開口ａを図示している。

これに対し、位相差検出用画素５１Ｒの開口（図２において符号ｃで示す）の中心は、位相差検出用画素５１Ｒの光電変換部の中心に対し右側に偏心している。

位相差検出用画素５１Ｌの開口（図２において符号ｂで示す）の中心は、位相差検出用画素５１Ｌの光電変換部の中心に対して左側に偏心している。

固体撮像素子５では、緑色のカラーフィルタが搭載される画素５１の一部が位相差検出用画素５１Ｒ又は位相差検出用画素５１Ｌとなっている。勿論、他の色のカラーフィルタが搭載される画素を位相差検出用画素としてもよい。

位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、それぞれ、画素５１が配置される領域において離散的及び周期的に配置されている。

位相差検出用画素５１Ｒは、図２の例では、偶数行の画素行の一部（図２の例では、３画素行おきに並ぶ４つの画素行）において、行方向Ｘに３つの画素５１おきに配置されている。

位相差検出用画素５１Ｌは、図２の例では、奇数行の画素行の一部（位相差検出用画素５１Ｒを含む画素行の隣にある画素行）において、行方向Ｘに、位相差検出用画素５１Ｒと同じ周期で配置されている。

このような構成により、遮光膜の開口ｂを通って画素５１Ｌに受光される光は、図２の紙面上方に設けられる撮影レンズ１の被写体から見て左側からの光、すなわち被写体を右眼で見た方向から来た光が主となる。また、遮光膜の開口ｃを通って画素５１Ｒに受光される光は、撮影レンズ１の被写体から見て右側からの光、すなわち被写体を左眼で見た方向から来た光が主となる。

即ち、全ての位相差検出用画素５１Ｒによって、被写体を左眼で見た撮像画像信号を得ることができ、全ての位相差検出用画素５１Ｌによって、被写体を右眼で見た撮像画像信号を得ることができる。このため、両者を組み合わせることで、被写体の立体画像データを生成したり、両者を相関演算することで位相差量を算出したりすることが可能になる。

なお、位相差検出用画素５１Ｒと位相差検出用画素５１Ｌは、遮光膜の開口を逆方向に偏心させることで、撮影レンズ１の瞳領域の異なる部分を通過した光束をそれぞれ受光できるようにして、位相差量を得られるようにしている。しかし、位相差量を得るための構造はこれに限らず、他のよく知られているものを採用することができる。

固体撮像素子５は、更に、垂直走査回路５２と水平走査回路５３を備える。

垂直走査回路５２は、各画素５１に含まれる信号出力回路の転送トランジスタ、リセットトランジスタ、及び行選択トランジスタのオンオフ制御を行う。

水平走査回路５３は、列方向Ｙに並ぶ画素５１からなる画素列毎に設けられる出力信号線に接続され、画素行にある各画素５１から出力信号線に出力された出力信号を順次、固体撮像素子５外部に出力する。

垂直走査回路５２及び水平走査回路５３は、図１に示した撮像素子駆動部１０の指示にしたがって動作する。撮像素子駆動部１０は、画素行毎に露光期間を一定時間ずらす、所謂ローリングシャッタ方式で固体撮像素子５を駆動する。

画素行の各画素５１の露光期間は、当該各画素５１のリセットトランジスタをオンにして、当該各画素５１に含まれる電荷蓄積部の電位をリセットした時点で開始され、当該各画素５１に含まれる転送トランジスタをオンにして、当該各画素５１の光電変換部に蓄積された電荷を電荷蓄積部に転送完了した時点で終了される。撮像素子駆動部１０は、この露光期間の開始タイミングを画素行毎にずらすように垂直走査回路５２を制御する。

図１に示すデフォーカス量算出部１９は、位相差検出用画素５１Ｌ及び位相差検出用画素５１Ｒから読み出される出力信号群を用いて、上記一対の光束によって形成される２つの像の相対的なずれ量である位相差量を算出する。デフォーカス量算出部１９は、この位相差量に基づいて、撮影レンズ１の焦点調節状態、ここでは合焦状態から離れている量とその方向、すなわちデフォーカス量を算出する。

図１に示すシステム制御部１１は、デフォーカス量算出部１９によって算出されたデフォーカス量に基づいて、撮影レンズ１に含まれるフォーカスレンズを合焦位置に移動させて、撮影レンズ１の合焦状態を制御する。

次に、デフォーカス量算出部１９による位相差量の算出方法を詳細に説明する。

デフォーカス量算出部１９は、位相差検出用画素５１Ｒを含む画素行と、この位相差検出用画素５１Ｒに近接する位相差検出用画素５１Ｌを含む画素行の２つの画素行から読み出される出力信号を用いて位相差量を算出する。

なお、本明細書において、近接する２つの画素（又は画素行）とは、実質的に同じ被写体部分からの光を受光していると見なすことのできる程度に近接している２つの画素（又は画素行）のことを言う。

デフォーカス量算出部１９は、図３において太枠で囲った近接する２つの画素行（画素行Ｌ１と画素行Ｌ２）から出力された信号群のうち、画素行Ｌ１に含まれる位相差検出用画素５１Ｒの出力信号を、位相差検出用画素５１Ｒの行方向Ｘの位置が左にあるものから順にＡ［１］…Ａ［ｋ］とする。

また、デフォーカス量算出部１９は、画素行Ｌ２に含まれる位相差検出用画素５１Ｌの出力信号を、位相差検出用画素５１Ｌの行方向Ｘの位置が左にあるものから順にＢ［１］…Ｂ［ｋ］とする。

信号Ａ［ｎ］と信号Ｂ［ｎ］（ｎ＝１，２，３，・・・，ｋ）は、近接する位相差検出用画素５１Ｒと位相差検出用画素５１Ｌ（ペア画素となる位相差検出用画素５１Ｒと位相差検出用画素５１Ｌ）の出力信号である。

そして、デフォーカス量算出部１９は、画素行Ｌ１の位相差検出用画素５１Ｌによって撮像された像（画素行Ｌ１に含まれる複数の位相差検出用画素５１Ｌの出力信号群に相当）と、画素行Ｌ２の位相差検出用画素５１Ｒによって撮像された像（画素行Ｌ２に含まれる複数の位相差検出用画素５１Ｒの出力信号群に相当）との相関量に対応する面積Ｓ［ｄ］を、上記式（１）の演算により算出する。面積Ｓ［ｄ］は、その値が小さいほど２つの像の相関量が大きいことを意味する。

デフォーカス量算出部１９は、式（１）における“ｄ”の値を、Ｌから−Ｌの範囲で単位量（例えば“１”。この数値は任意）ずつ増減させて得た全てのＳ［ｄ］のうち、Ｓ［ｄ］が最小値となったとき（言い換えると、２つの像の相関量が最大になったとき）の“ｄ”の値を、位相差量として算出する。

本実施形態では、式（１）による相関演算の演算量を最適化すべく、デフォーカス量算出部１９が、絞り２のＦ値、撮影レンズ１の焦点距離（ズームレンズの位置）、及び撮影レンズ１に含まれるフォーカスレンズの位置（フォーカス位置）に応じて、上記Ｌの値（相関演算の際に２つの像をシフトさせる量の上限値、以下シフト量という）を変更する。Ｆ値とは、絞りの開口量で決まる値（絞り開放側で小さくなるもの）である。

Ｆ値、焦点距離、及びフォーカス位置の組み合わせによって、被写体のボケが大きい状況なのか、ボケが小さい状況なのかが決まる。被写体のボケが小さい状況では、被写体のボケが大きい状況と比べて、位相差量ｄが小さくなる。

そこで、デフォーカス量算出部１９は、被写体のボケが小さい状況では、被写体のボケが大きい状況よりもシフト量Ｌの値を小さくする。このようにすることで、式（１）のＳ［ｄ］を求める数を減らし、無駄な演算を省くことができる。

Ｆ値及び焦点距離の組み合わせとシフト量Ｌとの関係は、予め実験的に求めておき、図４に例示するテーブルをメインメモリ１６に記憶しておく。なお、図４に示すテーブルは、フォーカス位置がＭＯＤ又はＩＮＦ（フォーカスレンズの移動可能範囲における両端部）にあるときのものとしている。

シフト量Ｌとして設定可能な最大値は、フォーカスレンズの端から端までの移動量をＭとし、フォーカスレンズを移動量Ｍだけ移動させたときのデフォーカス量の変化量をＭｄとすると、この変化量Ｍｄから位相差量を逆算することで求まる。図４に示すテーブルは、フォーカス位置がＭＯＤ又はＩＮＦにあるときのものとしているため、Ｌ＝９６が、デフォーカス量算出部１９によって設定することのできるシフト量Ｌの最大値となる。

Ｆ値が大きくなるほど、被写体のボケは減少していく（像の分離が減少する）ため、合焦のために必要なフォーカスレンズの移動量が同等でも、位相差量は減少する。また、焦点距離が短くなるほど、被写体のボケは減少していく（像の分離が減少する）ため、合焦のために必要なフォーカスレンズの移動量が同等でも、位相差量は減少する。

このように、Ｆ値と焦点距離の組み合わせによって位相差量の取り得る最大値は変わる。

したがって、図４に示したように、Ｆ値と焦点距離の組み合わせによって、位相差量の最大値に相当するシフト量Ｌの値が異なるテーブルが作成されることになる。

なお、フォーカスレンズの移動量に最低限必要とされる値（以下、必要フォーカス移動量ともいう）は、フォーカス位置がＭＯＤとＩＮＦにあれば、その上限値はＭとなる。しかし、フォーカス位置がＭＯＤとＩＮＦの間にある場合は、必要フォーカス移動量の上限値はＭより小さくなる。

例えば、フォーカス位置がＭＯＤとＩＮＦの中間にある場合は、必要フォーカス移動量は最大でＭ／２となる。したがって、この場合は、図４に示したテーブルにおけるＬの各数値を１／２にしても、問題なく合焦制御を行うことができる。

デフォーカス量算出部１９は、位相差ＡＦを行う時点でのフォーカス位置の情報から、必要フォーカス移動量の最大値を判定し、判定した最大値にしたがって図４に示すテーブルを加工して、シフト量Ｌを決定する。

具体的には、デフォーカス量算出部１９は、現在のフォーカスレンズの位置とＭＯＤとの距離、現在のフォーカスレンズの位置とＩＮＦとの距離を算出し、これら２つの距離の大きい方を、あらゆるＦ値と焦点距離の組み合わせに対応する必要フォーカス移動量の最大値Ｍａとする。そして、デフォーカス量算出部１９は、図４のテーブルにおいて、システム制御部１１から取得したＦ値と焦点距離の組み合わせに対応する数値を選択し、この数値にＭａ／Ｍを乗じた値（小数点以下は切り上げ）を、シフト量Ｌとして決定する。

例えば、フォーカス位置が、ＩＮＦとＭＯＤの中間と、ＩＮＦとの中間にあり、Ｆ値がＦ２．０、焦点距離が５６以上１００未満である場合、デフォーカス量算出部１９は、３２×（３／４）＝２４をシフト量Ｌとする。

なお、図４に示すテーブルをフォーカス位置毎に生成してメインメモリ１６に記憶しておき、デフォーカス量算出部１９が、フォーカス位置に対応するテーブルとＦ値及び焦点距離とから、シフト量Ｌを決定してもよい。

以上のように構成されたデジタルカメラの動作について説明する。

図５は、図１に示すデジタルカメラの位相差ＡＦ動作を説明するためのフローチャートである。

位相差ＡＦの指示があると、システム制御部１１の制御により固体撮像素子５によって位相差ＡＦのための撮像が行われ、この撮像によって固体撮像素子５から出力された撮像画像信号がメインメモリ１６に記憶される。

デフォーカス量算出部１９は、位相差ＡＦ指示があった時点での絞り２のＦ値、ズームレンズの位置で決まる焦点距離、及びフォーカスレンズ位置の情報をシステム制御部１１から取得する（ステップＳ１）。

次に、デフォーカス量算出部１９は、ステップＳ１において取得した情報と、メインメモリ１６に記憶されているテーブルとを用いて、シフト量Ｌを決定する（ステップＳ２）。

次に、デフォーカス量算出部１９は、メインメモリ１６に記憶された撮像画像信号に含まれる画素行Ｌ１から得られた位相差検出用画素５１Ｌの出力信号群と、画素行Ｌ２から得られた位相差検出用画素５１Ｒの出力信号群を取得する（ステップＳ３）。

次に、デフォーカス量算出部１９は、ステップＳ３で取得した出力信号を用いて、上記式（１）に示す相関演算を行う（ステップＳ４）。ここで、シフト量Ｌは、ステップＳ２において決定したものを用いる。

相関演算の結果、デフォーカス量算出部１９は、Ｓ［ｄ］が最小となる“ｄ”の値を位相差量とする。デフォーカス量算出部１９は、ステップＳ３，Ｓ４の処理を、位相差検出用画素５１Ｒとこれとペア画素を構成する位相差検出用画素５１Ｌを含む２つの画素行毎に行って、複数の位相差量を算出する。

そして、デフォーカス量算出部１９は、この複数の位相差量を用いてデフォーカス量を算出する（ステップＳ５）。例えば、デフォーカス量算出部１９は、複数の位相差量を平均し、平均して得た位相差量に基づいてデフォーカス量を算出する。

デフォーカス量が算出されると、システム制御部１１が、このデフォーカス量に基づいてフォーカスレンズの位置を駆動して、合焦制御を行う（ステップＳ６）。

以上のように、図１に示すデジタルカメラによれば、Ｆ値、焦点距離、及びフォーカス位置に応じてシフト量Ｌを決めるため、シフト量Ｌを常に固定にする場合と比較して、無駄な相関演算が行われるのを防ぐことができ、位相差ＡＦの高速化が可能となる。

次に、図１に示すデジタルカメラの変形例について説明する。

（第一の変形例）
図１に示すデジタルカメラは、撮像素子駆動部１０が固体撮像素子５をローリングシャッタ方式で駆動する。ローリングシャッタ方式では、画素行毎に露光タイミングが僅かにずれる。このため、被写体が動いている場合には、近接する２つの画素行であっても、これら２つの画素行から得られる出力信号群同士の間には、ローリングシャッタ駆動に起因する像の歪みが位相差として生じる場合がある。

ローリングシャッタ駆動に起因する位相差Ｄが発生していると、ｄ＝Ｌ、又は、ｄ＝−ＬのときにＳ［ｄ］が最小となった場合でも、実際には、この最小のＳ［ｄ］よりも、Ｓ［Ｌ＋Ｄ］又はＳ［−（Ｌ＋Ｄ）］の方が小さくなる可能性がある。

そこで、第一の変形例では、デフォーカス量算出部１９が、Ｆ値、焦点距離、及びフォーカス位置に応じて決定したシフト量Ｌの値に、ローリングシャッタ駆動に起因する位相差Ｄを加算したシフト量Ｌ’を算出し、下記式（２）によってＳ［ｄ］が最小となるｄを位相差量として算出する。式（２）は、式（１）において、２つの像のずらし量の上限値をＬ’としたものである。

位相差Ｄは、近接する２つの画素行の各々に含まれる撮像用画素５１の出力信号同士の相関演算により求めることができる。

例えば、デフォーカス量算出部１９は、図３に示した画素行Ｌ１に含まれる撮像用画素５１の出力信号を、Ｅ［１］…Ｅ［ｋ］とし、画素行Ｌ２に含まれる撮像用画素５１の出力信号を、Ｆ［１］…Ｆ［ｋ］とし、下記式（３）で求まるＳ［ｄ］が最小となるｄの値を位相差Ｄとして算出する。

なお、式（３）における２つの像のずらし量の上限値Ｌａは、Ｅ［１］…Ｅ［ｋ］の出力元の画素行と、Ｆ［１］…Ｆ［ｋ］の出力元の画素行との間にある画素行の数と撮像素子の読み出し速度によって決めておく。この数が少なく、読み出しが速いほど、位相差Ｄは小さくなるため、この数が少なく、読み出しが速いほどＬａは小さくすればよい。

図６は、図１に示すデジタルカメラの位相差ＡＦ動作の変形例を説明するためのフローチャートである。図６において図５と同じ処理には同一符号を付して説明を省略する。

ステップＳ１の後、デフォーカス量算出部１９は、ステップＳ１において取得した情報と、メインメモリ１６に記憶されているテーブルとを用いてシフト量Ｌを仮決定する（ステップＳ１０）。

続いて、デフォーカス量算出部１９は、メインメモリ１６に記憶された撮像画像信号のうち、画素行Ｌ１から得られた撮像用画素５１の出力信号群と、画素行Ｌ２から得られた撮像用画素５１の出力信号群を取得する（ステップＳ１１）。

次に、デフォーカス量算出部１９は、ステップＳ１１で取得した２つの出力信号群と式（３）を用いて、ローリングシャッタによる位相差Ｄを算出する（ステップＳ１２）。

次に、デフォーカス量算出部１９は、ステップＳ１０で仮決定したシフト量Ｌに、ステップＳ１２で算出した位相差Ｄを加算した値をシフト量Ｌ’とする（ステップＳ１３）。

次に、デフォーカス量算出部１９は、ステップＳ３の処理を行い、ステップＳ３で取得した出力信号を用いて式（２）の演算を行い、Ｓ［ｄ］が最小となったときのｄを位相差量として算出する（ステップＳ１４）。

デフォーカス量算出部１９は、ステップＳ３，Ｓ１４の処理を、位相差検出用画素５１Ｒとこれとペア画素を構成する位相差検出用画素５１Ｌを含む２つの画素行毎に行って、複数の位相差量を算出する。

デフォーカス量算出部１９は、この複数の位相差量を用いてデフォーカス量を算出する（ステップＳ５）。その後、このデフォーカス量に基づいて合焦制御が行われる（ステップＳ６）。

以上のように、第一の変形例によれば、相関演算を行う対象となる２つの像の間に、ローリングシャッタ駆動による歪みが発生していた場合でも、デフォーカス量の算出を精度良く行うことができる。

なお、図６では、ステップＳ１１とステップＳ３において、いずれも画素行Ｌ１，Ｌ２から得られた出力信号を取得している。このようにすることで、位相差ＡＦ時に、位相差検出用画素５１Ｒ，５１Ｌを含む画素行以外の画素行、つまり撮像用画素５１だけを含む画素行からの信号読出しが不要となる。したがって、位相差ＡＦに使用する信号の読み出しを高速化することができ、位相差ＡＦの高速化が可能となる。

なお、ローリングシャッタ駆動に起因する位相差Ｄを算出するために用いる２つの出力信号群は、撮像用画素５１だけを含む画素行から得られたものを用いてもよい。

例えば、図６のステップＳ１１では、図３に示した画素行Ｌ３と画素行Ｌ４の各々から得られた出力信号群を用いて相関演算を行い、位相差Ｄを算出してもよい。

また、位相差Ｄを算出するために用いる２つの出力信号群は、近接する２つの画素行から得られたものであればよく、例えば、図３に示した画素行Ｌ３と画素行Ｌ５の各々から得られた出力信号群を用いて、位相差Ｄを算出してもよい。

この場合、デフォーカス量算出部１９は、式（３）の左辺が最小となるようなｄの値を位相差Ｄとして求めるが、ここで求まるＤの値は、画素行Ｌ３と画素行Ｌ４の各々から得られた出力信号群を用いて算出した位相差Ｄの４倍の値となる。そのため、式（３）の左辺が最小となるようなｄの値を４で割って得られる値を最終的な位相差Ｄとすればよい。

なお、この第一の変形例では、Ｆ値、焦点距離、及びフォーカス位置に応じてシフト量Ｌを仮決定し、その後、このシフト量Ｌに位相差Ｄを加算することで最終的なシフト量Ｌ’を求めた。

しかし、仮決定するシフト量Ｌは、Ｆ値、焦点距離、及びフォーカス位置によらずに固定の値としてもよい。このようにした場合、被写体のボケ状態に応じて相関演算を最適化できるという効果は得られないものの、ローリングシャッタ駆動に起因する画像の歪みを考慮して相関演算を行うことができる。このため、位相差ＡＦの精度を向上させることが可能である。

なお、以上の説明では、固体撮像素子５に含まれる全ての画素行について、露光期間をずらすローリングシャッタ駆動を行うものとした。しかし、全ての画素行のうちの一部、つまり、位相差検出用画素５１Ｒ，５１Ｌを含む行についてだけ、ローリングシャッタ駆動し、それ以外の画素行についてはグローバルシャッタ駆動を行うといった形態も可能である。

ここまでは、画素５１がいわゆるハニカム配列されたものを例にしたが、画素５１が正方格子状に配列された固体撮像素子にも本発明は適用可能である。

図７は、図２に示す固体撮像素子５の変形例である固体撮像素子５ａを示す図である。

固体撮像素子５ａは、行方向Ｘと列方向Ｙに正方格子状に配列された多数の画素５１’と、垂直走査回路５２と、水平走査回路５３とを備える。画素５１’の構成は画素５１と同じであり、カラーフィルタの配列はベイヤ配列となっている。

多数の画素５１’は、遮光膜の開口ａが偏心していない通常の画素５１’と、偏心した開口ｄ，ｅを有する位相差検出用画素とを含む。開口ｄを有する画素５１’が位相差検出用画素５１Ｌに対応し、開口ｅを有する画素５１’が位相差検出用画素５１Ｒに対応している。

このような構成の固体撮像素子５ａでも、上述してきた方法でシフト量Ｌを決定することで、位相差ＡＦを高速に行うことができる。

図２及び図７では、近接する位相差検出用画素５１Ｒと位相差検出用画素５１Ｌとで行方向Ｘの位置が１画素分ずれているが、近接する位相差検出用画素５１Ｒと位相差検出用画素５１Ｌの行方向Ｘの位置を同じにした構成としてもよい。

ここまでは、固体撮像素子５，５ａが複数色のカラーフィルタを搭載してカラー撮像を行うものとしたが、固体撮像素子５，５ａは、カラーフィルタを緑色の単色にする、カラーフィルタを省略する等して、モノクロ撮像用の撮像素子としてもよい。

また、第一の変形例以外の形態は、固体撮像素子５としてＣＣＤ型のものを用いることも可能である。

また、以上の説明では、固体撮像素子５を、撮像用画素５１と位相差検出用画素５１Ｒ，５１Ｌが混在する撮像兼位相差検出用の撮像素子とした。しかし、撮像用画素５１を持たない位相差ＡＦ専用の素子を固体撮像素子５とは別にカメラ内に設け、この素子からの出力信号を用いることでも、図５に示した位相差ＡＦの処理を実施することができる。

また、以上の説明では、デフォーカス量算出部１９が、Ｆ値、焦点距離、及びフォーカス位置に応じてシフト量Ｌを決めるものとした。しかし、これらのうちの１つに応じてシフト量Ｌを決める構成としても、位相差ＡＦのための演算を効率的に行うことができる。

本明細書では撮像装置としてデジタルカメラを例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。

図８は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図８に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図９は、図８に示すスマートフォン２００の構成を示すブロック図である。図８に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図８に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図８に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図８に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図８に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、カメラ部２０８の撮像素子として固体撮像素子５，５ａを用い、主制御部２２０において図５，６に例示した処理を行うことで、高速高精度の位相差ＡＦが可能になる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する行方向に配列された複数の第一の位相差検出用の画素、及び、上記一対の光束の他方を受光する上記行方向に配列された複数の第二の位相差検出用の画素を含むセンサと、上記複数の第一の位相差検出用の画素の第一の出力信号群と、上記複数の第二の位相差検出用の画素の第二の出力信号群とを上記行方向に任意の量ずつずらしながら上記第一の出力信号群と上記第二の出力信号群との相関量を演算し、上記相関量が最大となるときの上記第一の出力信号群と上記第二の出力信号群の第一のずれ量からデフォーカス量を算出するデフォーカス量算出部と、上記デフォーカス量に基づいて上記撮像光学系の合焦状態を制御する合焦制御部と、を備え、上記デフォーカス量算出部は、上記第一の出力信号群と上記第二の出力信号群のずらし量の上限値を、上記撮像光学系のＦ値、上記撮像光学系の焦点距離、又は上記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて変更するものである。

開示された撮像装置は、上記センサが、上記撮像光学系の瞳領域を通過した光束を受光する上記行方向とこれに直交する列方向に二次元状に配列された複数の撮像用の画素を含む撮像兼位相差検出用の撮像素子であり、上記第一の位相差検出用の画素と上記第二の位相差検出用の画素とは異なる行に配置されており、上記画素の行毎に露光期間をずらし、各行に含まれる画素から、上記露光期間中の受光量に応じた信号を読み出すローリングシャッタ駆動を行う駆動部と、近接する２つの上記行の各々に含まれる複数の上記撮像用画素の出力信号群同士の相関量が最大となるときのその出力信号群同士の上記行方向におけるずれ量から、上記ローリングシャッタ駆動に起因する上記第一の出力信号群と上記第二の出力信号群との上記行方向における第二のずれ量を算出するずれ量算出部と、を備え、上記デフォーカス量算出部は、上記Ｆ値、上記焦点距離、又は上記フォーカスレンズの位置の少なくとも１つと上記第二のずれ量とに応じて上記ずらし量の上限値を変更するものである。

開示された撮像装置は、上記デフォーカス量算出部が、上記Ｆ値、上記焦点距離、又は上記フォーカスレンズの位置の少なくとも１つに応じて決めた上記上限値に上記第二のずれ量を加算した値を、最終的な上記ずらし量の上限値として決定するものである。

開示された撮像装置は、上記ずれ量算出部が、上記近接する２つの行として、上記第一の出力信号群の出力元である位相差検出用の画素と上記撮像用画素を含む行と、上記第二の出力信号群の出力元である位相差検出用の画素と上記撮像用画素を含む行を選択するものである。

開示された合焦制御方法は、撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する行方向に配列された複数の第一の位相差検出用の画素、及び、上記一対の光束の他方を受光する上記行方向に配列された複数の第二の位相差検出用の画素を含むセンサを有する撮像装置における合焦制御方法であって、上記複数の第一の位相差検出用の画素の第一の出力信号群と、上記複数の第二の位相差検出用の画素の第二の出力信号群とを上記行方向に任意のずらし量ずつずらしながら上記第一の出力信号群と上記第二の出力信号群との相関量を演算し、上記相関量が最大となるときの上記第一の出力信号群と上記第二の出力信号群のずれ量からデフォーカス量を算出するデフォーカス量算出ステップと、上記デフォーカス量に基づいて上記撮像光学系の合焦状態を制御する合焦制御ステップと、を備え、上記デフォーカス量算出ステップでは、上記第一の出力信号群と上記第二の出力信号群のずらし量の上限値を、上記撮像光学系のＦ値、上記撮像光学系の焦点距離、又は上記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて変更するものである。

開示された撮像装置は、行方向とこれに直交する列方向に二次元状に配置された複数の画素を有し、上記複数の画素が、撮像光学系の瞳領域を通過した光束を受光する複数の撮像用画素、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する複数の第一の位相差検出用の画素、及び上記一対の光束の他方を受光する複数の第二の位相差検出用の画素を含む撮像素子と、上記画素の行毎に露光期間をずらし、各行に含まれる画素から、上記露光期間中の受光量に応じた信号を読み出すローリングシャッタ駆動を行う駆動部と、上記画素の行のうちの近接する２つの行の一方に含まれる複数の上記第一の位相差検出用の画素の第一の出力信号群と、上記２つの行の他方に含まれる複数の上記第二の位相差検出用の画素の第二の出力信号群とを上記行方向に任意の量ずつずらしながら上記第一の出力信号群と上記第二の出力信号群との相関量を演算し、上記相関量が最大となるときの上記第一の出力信号群と上記第二の出力信号群の第一のずれ量からデフォーカス量を算出するデフォーカス量算出部と、上記デフォーカス量に基づいて上記撮像光学系の合焦状態を制御する合焦制御部と、上記画素の行のうちの近接する２つの行の各々に含まれる複数の上記撮像用画素の出力信号群同士の相関量が最大となるときのその出力信号群同士の上記行方向におけるずれ量から、上記ローリングシャッタ駆動に起因する上記第一の出力信号群と上記第二の出力信号群との上記行方向における第二のずれ量を算出するずれ量算出部と、を備え、上記デフォーカス量算出部は、上記第一の出力信号群と上記第二の出力信号群のずらし量の上限値を、上記第二のずれ量に応じて変更するものである。

開示された撮像装置は、上記デフォーカス量算出部が、予め決められた値に上記第二のずれ量を加算した値を、上記ずらし量の上限値として決定するものである。

開示された撮像装置は、上記ずれ量算出部が、上記相関量を求める２つの行として、上記第一の出力信号群の出力元である位相差検出用の画素と上記撮像用画素を含む行と、上記第二の出力信号群の出力元である位相差検出用の画素と上記撮像用画素を含む行を選択するものである。

開示された合焦制御方法は、行方向とこれに直交する列方向に二次元状に配置された複数の画素を有し、上記複数の画素が、撮像光学系の瞳領域を通過した光束を受光する複数の撮像用画素、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する複数の第一の位相差検出用の画素、及び上記一対の光束の他方を受光する複数の第二の位相差検出用の画素を含む撮像素子を有する撮像装置による合焦制御方法であって、上記画素の行毎に露光期間をずらし、各行に含まれる画素から、上記露光期間中の受光量に応じた信号を読み出すローリングシャッタ駆動を行う駆動ステップと、上記画素の行のうちの近接する２つの行の一方に含まれる複数の上記第一の位相差検出用の画素の第一の出力信号群と、上記２つの行の他方に含まれる複数の上記第二の位相差検出用の画素の第二の出力信号群とを上記行方向に任意の量ずつずらしながら上記第一の出力信号群と上記第二の出力信号群との相関量を演算し、上記相関量が最大となるときの上記第一の出力信号群と上記第二の出力信号群の第一のずれ量からデフォーカス量を算出するデフォーカス量算出ステップと、上記デフォーカス量に基づいて上記撮像光学系の合焦状態を制御する合焦制御ステップと、上記画素の行のうちの近接する２つの行の各々に含まれる複数の上記撮像用画素の出力信号群同士の相関量が最大となるときのその出力信号群同士の上記行方向におけるずれ量から、上記ローリングシャッタ駆動に起因する上記第一の出力信号群と上記第二の出力信号群との上記行方向における第二のずれ量を算出するずれ量算出ステップと、を備え、上記デフォーカス量算出ステップでは、上記第一の出力信号群と上記第二の出力信号群のずらし量の上限値を、上記第二のずれ量に応じて変更するものである。

本発明によれば、位相差量の演算を効率的に行って位相差ＡＦの速度を高速化することのできる撮像装置及び合焦制御方法を提供することができる。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１２年９月６日出願の日本特許出願（特願２０１２−１９６０９４）に基づくものであり、その内容はここに取り込まれる。

５ 固体撮像素子
１９ デフォーカス量算出部
５１ 画素
５１Ｒ，５１Ｌ 位相差検出用画素

Claims (9)

1. 撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する行方向に配列された複数の第一の位相差検出用の画素、及び、前記一対の光束の他方を受光する前記行方向に配列された複数の第二の位相差検出用の画素を含むセンサと、
   前記複数の第一の位相差検出用の画素の第一の出力信号群と、前記複数の第二の位相差検出用の画素の第二の出力信号群とを前記行方向に任意の量ずつずらしながら前記第一の出力信号群と前記第二の出力信号群との相関量を演算し、前記相関量が最大となるときの前記第一の出力信号群と前記第二の出力信号群の第一のずれ量からデフォーカス量を算出するデフォーカス量算出部と、
   前記デフォーカス量に基づいて前記撮像光学系の合焦状態を制御する合焦制御部と、を備え、
   前記デフォーカス量算出部は、前記第一の出力信号群と前記第二の出力信号群のずらし量の上限値を、前記撮像光学系のＦ値、前記撮像光学系の焦点距離、又は前記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて変更する撮像装置。
2. 請求項１記載の撮像装置であって、
   前記センサは、前記撮像光学系の瞳領域を通過した光束を受光する前記行方向とこれに直交する列方向に二次元状に配列された複数の撮像用の画素を含む撮像兼位相差検出用の撮像素子であり、
   前記第一の位相差検出用の画素と前記第二の位相差検出用の画素とは異なる行に配置されており、
   前記画素の行毎に露光期間をずらし、各行に含まれる画素から、前記露光期間中の受光量に応じた信号を読み出すローリングシャッタ駆動を行う駆動部と、
   近接する２つの前記行の各々に含まれる複数の前記撮像用画素の出力信号群同士の相関量が最大となるときの当該出力信号群同士のずれ量から、前記ローリングシャッタ駆動に起因する前記第一の出力信号群と前記第二の出力信号群との前記行方向における第二のずれ量を算出するずれ量算出部と、を備え、
   前記デフォーカス量算出部は、前記Ｆ値、前記焦点距離、又は前記フォーカスレンズの位置の少なくとも１つと前記第二のずれ量とに応じて前記ずらし量の上限値を変更する撮像装置。
3. 請求項２記載の撮像装置であって、
   前記デフォーカス量算出部は、前記Ｆ値、前記焦点距離、又は前記フォーカスレンズの位置の少なくとも１つに応じて決めた前記上限値に前記第二のずれ量を加算した値を、最終的な前記ずらし量の上限値として決定する撮像装置。
4. 請求項２又は３記載の撮像装置であって、
   前記ずれ量算出部は、前記近接する２つの行として、前記第一の出力信号群の出力元である位相差検出用の画素と前記撮像用画素を含む行と、前記第二の出力信号群の出力元である位相差検出用の画素と前記撮像用画素を含む行を選択する撮像装置。
5. 撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する行方向に配列された複数の第一の位相差検出用の画素、及び、前記一対の光束の他方を受光する前記行方向に配列された複数の第二の位相差検出用の画素を含むセンサを有する撮像装置における合焦制御方法であって、
   前記複数の第一の位相差検出用の画素の第一の出力信号群と、前記複数の第二の位相差検出用の画素の第二の出力信号群とを前記行方向に任意のずらし量ずつずらしながら前記第一の出力信号群と前記第二の出力信号群との相関量を演算し、前記相関量が最大となるときの前記第一の出力信号群と前記第二の出力信号群のずれ量からデフォーカス量を算出するデフォーカス量算出ステップと、
   前記デフォーカス量に基づいて前記撮像光学系の合焦状態を制御する合焦制御ステップと、を備え、
   前記デフォーカス量算出ステップでは、前記第一の出力信号群と前記第二の出力信号群のずらし量の上限値を、前記撮像光学系のＦ値、前記撮像光学系の焦点距離、又は前記撮像光学系に含まれるフォーカスレンズの位置の少なくとも１つに応じて変更する合焦制御方法。
6. 行方向とこれに直交する列方向に二次元状に配置された複数の画素を有し、前記複数の画素が、撮像光学系の瞳領域を通過した光束を受光する複数の撮像用画素、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する複数の第一の位相差検出用の画素、及び前記一対の光束の他方を受光する複数の第二の位相差検出用の画素を含む撮像素子と、
   前記画素の行毎に露光期間をずらし、各行に含まれる画素から、前記露光期間中の受光量に応じた信号を読み出すローリングシャッタ駆動を行う駆動部と、
   前記画素の行のうちの近接する２つの行の一方に含まれる複数の前記第一の位相差検出用の画素の第一の出力信号群と、前記２つの行の他方に含まれる複数の前記第二の位相差検出用の画素の第二の出力信号群とを前記行方向に任意の量ずつずらしながら前記第一の出力信号群と前記第二の出力信号群との相関量を演算し、前記相関量が最大となるときの前記第一の出力信号群と前記第二の出力信号群の第一のずれ量からデフォーカス量を算出するデフォーカス量算出部と、
   前記デフォーカス量に基づいて前記撮像光学系の合焦状態を制御する合焦制御部と、
   前記画素の行のうちの近接する２つの行の各々に含まれる複数の前記撮像用画素の出力信号群同士の相関量が最大となるときの当該出力信号群同士の前記行方向におけるずれ量から、前記ローリングシャッタ駆動に起因する前記第一の出力信号群と前記第二の出力信号群との前記行方向における第二のずれ量を算出するずれ量算出部と、を備え、
   前記デフォーカス量算出部は、前記第一の出力信号群と前記第二の出力信号群のずらし量の上限値を、前記第二のずれ量に応じて変更する撮像装置。
7. 請求項６記載の撮像装置であって、
   前記デフォーカス量算出部は、予め決められた値に前記第二のずれ量を加算した値を、前記ずらし量の上限値として決定する撮像装置。
8. 請求項６又は７記載の撮像装置であって、
   前記ずれ量算出部は、前記相関量を求める２つの行として、前記第一の出力信号群の出力元である位相差検出用の画素と前記撮像用画素を含む行と、前記第二の出力信号群の出力元である位相差検出用の画素と前記撮像用画素を含む行を選択する撮像装置。
9. 行方向とこれに直交する列方向に二次元状に配置された複数の画素を有し、前記複数の画素が、撮像光学系の瞳領域を通過した光束を受光する複数の撮像用画素、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方を受光する複数の第一の位相差検出用の画素、及び前記一対の光束の他方を受光する複数の第二の位相差検出用の画素を含む撮像素子を有する撮像装置による合焦制御方法であって、
   前記画素の行毎に露光期間をずらし、各行に含まれる画素から、前記露光期間中の受光量に応じた信号を読み出すローリングシャッタ駆動を行う駆動ステップと、
   前記画素の行のうちの近接する２つの行の一方に含まれる複数の前記第一の位相差検出用の画素の第一の出力信号群と、前記２つの行の他方に含まれる複数の前記第二の位相差検出用の画素の第二の出力信号群とを前記行方向に任意の量ずつずらしながら前記第一の出力信号群と前記第二の出力信号群との相関量を演算し、前記相関量が最大となるときの前記第一の出力信号群と前記第二の出力信号群の第一のずれ量からデフォーカス量を算出するデフォーカス量算出ステップと、
   前記デフォーカス量に基づいて前記撮像光学系の合焦状態を制御する合焦制御ステップと、
   前記画素の行のうちの近接する２つの行の各々に含まれる複数の前記撮像用画素の出力信号群同士の相関量が最大となるときの当該出力信号群同士の前記行方向におけるずれ量から、前記ローリングシャッタ駆動に起因する前記第一の出力信号群と前記第二の出力信号群との前記行方向における第二のずれ量を算出するずれ量算出ステップと、を備え、
   前記デフォーカス量算出ステップでは、前記第一の出力信号群と前記第二の出力信号群のずらし量の上限値を、前記第二のずれ量に応じて変更する合焦制御方法。

Images