JP6186498B2 - 撮像装置及び合焦制御方法 - Google Patents

Description

本発明は、撮像装置及び合焦制御方法に関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン等の携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

これら撮像装置では、主要な被写体に焦点を合わせる合焦制御方法として、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）方式や位相差ＡＦ方式（例えば特許文献１，２参照）が採用されている。コントラストＡＦ方式と位相差ＡＦ方式にはそれぞれに利点があるため、これらを併用する撮像装置も提案されている。

特開２０１３−１９０７３４号公報 特開２００９−１４１３９０号公報

位相差ＡＦ方式は、高速に合焦させることができるという利点がある一方、低輝度被写体や高周波被写体に対しては合焦精度が低下することが知られている。コントラストＡＦ方式は、低輝度被写体や高周波被写体に対して高精度で合焦させることが可能である。しかし、フォーカスレンズを動かしながら複数回の撮像を行ってコントラスト評価値のピークを求める必要があるため、フォーカスレンズを広い範囲で前後に動かす必要があり、合焦完了までに時間がかかる。

コントラストＡＦ方式と位相差ＡＦ方式を併用する撮像装置であれば、被写体に応じて最適な方式を採用して合焦させることができる。しかし、位相差ＡＦ方式を採用するには、撮像素子に位相差検出用画素を設けたり、測距専用のセンサを装置に設けたりする必要があり、撮像装置のコストが増大する。また、撮像素子に位相差検出用画素を設ける場合には、撮像画像データを生成する際に、この位相差検出用画素の検出信号を補間生成する必要があり、位相差検出用画素の数が増えると補正痕が増えてしまい、画質劣化が懸念される。

特許文献１、２に記載の撮像装置は、位相差検出用画素のペアの一方の検出信号と、撮像用画素の検出信号との相関演算結果に基づいて合焦制御を行うものである。この撮像装置によれば位相差検出用画素の数を減らせるものの、依然として位相差検出用画素が存在するため、上述した課題が生じる。

本発明は、上記事情に鑑みてなされたものであり、位相差検出用画素を用いずに、しかもコントラスト方式を採用することなく合焦制御を行うことが可能な撮像装置及び合焦制御方法を提供することを目的とする。

本発明の撮像装置は、フォーカスレンズを含む撮像光学系と、前記撮像光学系の瞳領域を通過した光束を実質的に全て受光する単一の撮像用の画素が行方向及び前記行方向に直交する列方向に二次元状に複数配置された撮像面を有する撮像素子と、を備え、１つの被写体像を構成する光束に応じて前記画素が検出した検出信号に基づいて前記被写体像の合焦を制御する撮像装置であって、前記フォーカスレンズが任意の位置にある状態で、前記行方向に配列された複数の前記画素からなる第１の信号検出部群が前記光束に応じて検出した検出信号群と、前記第１の信号検出部群を構成する複数の画素の各々に対し前記行方向と交差する一方向に同一距離隔てて配置された複数の前記画素からなる第２の信号検出部群が前記光束に応じて検出した検出信号群とを求め、前記第１の信号検出部群の検出信号群と前記第２の信号検出部群の検出信号群との間の相関演算、又は、前記第１の信号検出部群に含まれる信号検出部と前記第２の信号検出部群に含まれる信号検出部とのペアを構成する複数の信号検出部の検出信号同士の相関演算を行い、得られた相関値と予め決めた閾値とに基づいて、合焦状態か否かを判定する合焦判定部と、前記合焦判定部により合焦状態と判定されるまで前記フォーカスレンズを移動させる合焦制御部と、を備えるものである。

本発明の合焦制御方法は、フォーカスレンズを含む撮像光学系と、前記撮像光学系の瞳領域を通過した光束を実質的に全て受光する単一の撮像用の画素が行方向及び前記行方向に直交する列方向に二次元状に複数配置された撮像面を有する撮像素子と、を備え、１つの被写体像を構成する光束に応じて前記画素が検出した検出信号に基づいて前記被写体像の合焦を制御する撮像装置による合焦制御方法であって、前記フォーカスレンズが任意の位置にある状態で、前記行方向に配列された複数の前記画素からなる第１の信号検出部群が前記光束に応じて検出した検出信号群と、前記第１の信号検出部群を構成する複数の画素の各々に対し前記行方向と交差する一方向に同一距離隔てて配置された複数の前記画素からなる第２の信号検出部群が前記光束に応じて検出した検出信号群とを求め、前記第１の信号検出部群の検出信号群と前記第２の信号検出部群の検出信号群との間の相関演算、又は、前記第１の信号検出部群に含まれる信号検出部と前記第２の信号検出部群に含まれる信号検出部とのペアを構成する複数の信号検出部の検出信号同士の相関演算を行い、得られた相関値と予め決めた閾値とに基づいて、合焦状態か否かを判定する合焦判定ステップと、前記合焦判定ステップにより合焦状態と判定されるまで前記フォーカスレンズを移動させる合焦制御ステップと、を備えるものである。

本発明によれば、位相差検出用画素を用いずに、しかもコントラスト方式を採用することなく合焦制御を行うことが可能な撮像装置及び合焦制御方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。 図１に示すデジタルカメラに搭載される撮像素子５の全体構成を示す平面模式図である。 図２に示す１つのＡＦエリア５３を構成する１つのブロックの構成を示す図である。 フォーカスレンズが合焦位置にある状態での相関演算結果を示す図である。 フォーカスレンズが合焦位置にない状態での相関演算結果を示す図である。 図１のデジタルカメラの動作を説明するためのフローチャートである。 フォーカスレンズが合焦位置にない状態での相関演算結果の別例を示す図である。 図６のステップＳ４の変形例を説明するためのフローチャートである。 ＡＦエリア５３に設定する第１のペアＰ１と第２のペアＰ２を説明するための図である。 図６のステップＳ４の変形例を説明するためのフローチャートである。 主要被写体像に高周波成分を含むときの第１のペアＰ１，第２のペアＰ２それぞれの検出信号波形を示す図である。 図１３に示す波形において相関値が最小となるときの波形の位置関係を示した図である。 主要被写体像に高周波成分を含むときの第１のペアＰ１，第２のペアＰ２それぞれの相関演算結果を示す図である。 図６のステップＳ４の変形例を説明するためのフローチャートである。 第１の信号検出部群と第２の信号検出部群の設定の変形例を説明するための図である。 第１のペアＰ１と第２のペアＰ２の設定の変形例を説明するための図である。 撮像装置としてスマートフォンを説明する図である。 図１７のスマートフォンの内部ブロック図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラは、焦点調節のためのフォーカスレンズ、及び、ズームレンズ等を含む撮像レンズ１と、絞り２とを有するレンズ装置を備える。レンズ装置は撮像光学系を構成する。

レンズ装置はカメラ本体に固定であってもよく、あるいは、交換可能なレンズ装置を用いてもよい。撮像レンズ１は少なくともフォーカスレンズを含んでいればよい。フォーカスレンズは、レンズ系全体を移動させることで焦点調節を行うものであってもよい。

デジタルカメラは、レンズ装置を通して被写体を撮像するＣＣＤ型やＣＭＯＳ型等の撮像素子５と、撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、アナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。

アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。アナログ信号処理部６及びＡ／Ｄ変換回路７は撮像素子５に内蔵されることもある。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、レンズ駆動部８を制御し撮像レンズ１に含まれるフォーカスレンズを駆動して主要被写体に合焦させる合焦制御を行ったり、撮像レンズ１に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、撮像レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。この指示信号には、撮像光学系の合焦制御の実行を指示する指示信号が含まれる。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成するデジタル信号処理部１７と、ＡＦ処理部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２と、を備える。

メモリ制御部１５、デジタル信号処理部１７、ＡＦ処理部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラに搭載される撮像素子５の全体構成を示す平面模式図である。

撮像素子５は、多数の画素５１が行方向Ｘ及びこれに直交する列方向Ｙに二次元状に配置された撮像面５０を有する。画素５１は、撮像レンズ１の瞳領域を通過した光束を受光し受光量に応じた信号を検出する信号検出部である。この撮像面５０には、フォーカスを合わせる対象となる領域であるＡＦエリア５３が図２の例では９つ設定されている。

図３は、図２に示す１つのＡＦエリア５３の１つのブロックを示す図である。ＡＦエリア５３は、図３に示すブロックを列方向Ｙに複数並べた構成である。ＡＦエリア５３にはブロックが少なくとも１つあればよい。

ＡＦエリア５３のブロックには、画素５１（図中Ｒ，Ｇ，Ｂを記した正方形）が二次元状に配列されている。各画素５１は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタとを含む。

図３では、赤色光を透過するカラーフィルタ（Ｒフィルタ）を含む画素５１（Ｒ画素５１）には“Ｒ”の文字を付し、緑色光を透過するカラーフィルタ（Ｇフィルタ）を含む画素５１（Ｇ画素５１）には“Ｇ”の文字を付し、青色光を透過するカラーフィルタ（Ｂフィルタ）を含む画素５１（Ｂ画素５１）には“Ｂ”の文字を付している。カラーフィルタの配列は撮像面５０全体でベイヤ配列となっている。

ＡＦエリア５３のブロックでは、行方向Ｘに一定ピッチで配列された複数のＧ画素５１（図３の太実線で囲んだ画素５１）からなる第１の信号検出部群、及び、この複数のＧ画素５１の各々に対し行方向Ｘと交差する一方向（図３の例では列方向Ｙ）に同一距離で配置されたＧ画素５１（図３の太破線で囲んだ画素５１）からなる第２の信号検出部群の各画素の検出信号が、合焦状態か否かを判定するために用いられる。

図１に示すＡＦ処理部１９は、フォーカスレンズが任意の位置にある状態で第１の信号検出部群及び第２の信号検出部群の各Ｇ画素５１から得られた検出信号を用いて、合焦状態か否か（現在のフォーカスレンズの位置が合焦位置か否か）を判定する。ＡＦ処理部１９は合焦判定部として機能する。

図１に示すシステム制御部１１は、オートフォーカスの実行指示がなされると、フォーカスレンズの位置を制御する。システム制御部１１は、フォーカスレンズを移動可能な最小距離ずつ光軸方向に沿って一方向に移動させる。そして、ＡＦ処理部１９が合焦状態と判定すると、フォーカスレンズの位置制御を停止し、現在のフォーカスレンズの位置を合焦位置としてオートフォーカスを完了する。システム制御部１１は合焦制御部として機能する。

以下、合焦状態か否かの判定方法について詳細に説明する。

ＡＦ処理部１９は、第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群とで相関演算を行う。すなわち、第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群とを行方向Ｘに任意の量ずつずらしながら第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群との相関値を演算する。そして、この演算した相関値を用いて合焦状態か否かを判定するための判定値Ｊを算出する。

具体的には、第１の信号検出部群の検出信号群のデータをＡ［１］…Ａ［ｋ］とし、第２の信号検出部群の検出信号群のデータをＢ［１］…Ｂ［ｋ］とし、これら２つのデータをずらし量“ｄ”ずらしたときの以下の式（１）によって求まる２つのデータ波形によって囲まれる面積Ｃ［ｄ］を相関値として求める。

図４は、フォーカスレンズが合焦位置にある状態（合焦状態）での第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群との相関演算結果を示す図である。

図４の横軸は、第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群の行方向Ｘへのずらし量を示している。図４の縦軸は、第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群の相関値を示している。

第１の信号検出部群と第２の信号検出部群は、列方向Ｙに２画素分ずれているため、完全に同一の被写体像を結像することはない。したがって、第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群のずらし量が０であっても、第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群の相関値は０とはならないが、最小値にはなるはずである。

しかし、フォーカスレンズが合焦位置にある状態では、第１の信号検出部群に結像する像と第２の信号検出部群に結像する像とがシャープになる。このため、第１の信号検出部群に結像する像と第２の信号検出部群に結像する像の細かな違いが相関値として現れることになる。したがって、図４に示したように、ずらし量＝０を含む範囲Ｈにおける各ずらし量に対応する相関値のばらつきが大きくなる。

図５は、フォーカスレンズが合焦位置にない状態（非合焦状態）での第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群との相関演算結果を示す図である。

フォーカスレンズが合焦位置にない状態では、第１の信号検出部群に結像する像と第２の信号検出部群に結像する像がぼやける。このため、第１の信号検出部群に結像する像と第２の信号検出部群に結像する像の違いが現れにくくなり、相関値は０に近い値になる。したがって、図５に示したように、範囲Ｈにおける各ずらし量に対応する相関値のばらつきは小さくなる。

このようなことから、ＡＦ処理部１９は、範囲Ｈにおける各ずらし量に対応する相関値のばらつきの大きさに基づいて、合焦状態か否かを判定することができる。

範囲Ｈにおける各ずらし量に対応する相関値のばらつきは、例えば、範囲Ｈにおける各ずらし量に対応する相関値の分散又は標準偏差によって求めることができる。

図６は、図１のデジタルカメラのオートフォーカス動作を説明するためのフローチャートである。

デジタルカメラが撮像モードに設定されると、システム制御部１１は、ライブビュー画像の表示を開始させる（ステップＳ１）。

具体的には、システム制御部１１は、撮像素子５により被写体を撮像し、撮像して得られる撮像画像データに基づく画像を表示部２３に表示させる制御を繰り返し行う。

ライブビュー画像の表示が開始された後、操作部１４に含まれるシャッタボタンの半押し操作等によって撮像光学系の合焦制御の実行指示（以下、オートフォーカスの実行指示。図ではＡＦ指示）がなされると（ステップＳ２：ＹＥＳ）、ＡＦ処理部１９は、このオートフォーカスの実行指示がなされた時点で得られている撮像画像信号のうち最新のものを取得する（ステップＳ３）。

合焦制御部１９は、取得した撮像画像信号のうち、選択されているＡＦエリア５３の各ブロックに設定した第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群との相関演算を行う。そして、ＡＦ処理部１９は、各ブロックについて、相関演算の結果得られたずらし量＝０を含む範囲Ｈにおける相関値のばらつきを算出し、算出したばらつきの大きさに基づいて合焦状態か否かを判定する（ステップＳ４）。

具体的には、ＡＦ処理部１９は、ばらつきが第１の閾値である閾値ＴＨ１以上となるブロックが１つでもあれば合焦状態と判定し、ばらつきが閾値ＴＨ１以上となるブロックがない場合は非合焦状態と判定する。

この方法以外に、ばらつきが閾値ＴＨ１以上となるブロックの数に閾値を設けておき、ばらつきが閾値ＴＨ１以上となるブロックの数が閾値以上であれば合焦状態であると判定し、ばらつきが閾値ＴＨ１以上となるブロックの数が閾値未満であれば非合焦状態と判定してもよい。

ステップＳ４の判定においてＡＦ処理部１９が非合焦状態と判定すると（ステップＳ５：ＮＯ）、システム制御部１１がフォーカスレンズを一方向に所定量だけ移動させる（ステップＳ７）。そして、ステップＳ３において、フォーカスレンズの移動後に撮像素子５によって撮像された撮像画像信号がＡＦ処理部１９により取得され、ステップＳ４にて再び合焦状態か否かの判定が行われる。

ステップＳ４の判定においてＡＦ処理部１９が合焦状態と判定すると（ステップＳ５：ＹＥＳ）、システム制御部１１はフォーカスレンズの移動を停止し、現時点でのフォーカスレンズの位置を合焦位置としてオートフォーカスを完了する（ステップＳ６）。

以上のように、図１のデジタルカメラによれば、位相差検出用画素を用いることなくオートフォーカスを行うことができる。このため、位相差検出用画素の検出信号を補間生成する処理は不要となり、撮像画質の向上、撮像画像データ生成までの時間短縮、補間演算量削減による省エネルギーが可能となる。また、撮像素子５として安価なものを用いることができ、デジタルカメラの製造コストを下げることができる。

また、図１のデジタルカメラによれば、ＡＦエリア５３にある全ての画素５１の検出信号を用いずに合焦状態か否かを判定することができる。このため、例えば、ＡＦエリア５３にある第１の信号検出部群及び第２の信号検出部群だけから検出信号を間引いて読み出す駆動を行うことで、オートフォーカスを完了させるまでの時間を短くすることができ、高速オートフォーカスが可能となる。

また、図１のデジタルカメラでは、システム制御部１１が、ＡＦ処理部１９によって合焦状態と判定されるまでフォーカスレンズを移動させ、合焦状態と判定された時点でオートフォーカスを完了する。このため、コントラスト評価値のピークが見つかるまでフォーカスレンズを動かしてからこのピークとなった位置までフォーカスレンズを戻すことでオートフォーカスを完了するコントラストＡＦ方式と比較して、フォーカスレンズの無駄な移動を減らすことができ、高速かつ低消費電力のオートフォーカスが可能となる。

コントラストＡＦ方式では、隣接する画素の検出信号の差分の和が最大になる点を探して合焦状態とするため、フォーカスレンズを合焦位置を通り越すまで移動させてから合焦位置まで戻して、コントラスト値が最大の位置を探すという動作をする。

一方、図１のデジタルカメラでは、フォーカスレンズを合焦位置を通り越してから合焦位置に戻す動作が不要になり、高速な合焦が可能となる。これは、上記の相関値のばらつきが発生するフォーカスレンズの位置は合焦位置近傍の狭い範囲であり、相関値のばらつきが閾値を超えたところを合焦位置としても実用上支障がないためである。

本実施形態では、フォーカスレンズを移動させながら相関演算を繰り返す必要はあるが、相関値にばらつきが生じるずらし量は比較的狭い範囲であり、演算量は少なくてすむ。これは、ずらし量を大きくして相関値を求めても、まったく違う被写体の検出信号同士で相関値を求めることになり、合焦しているかどうかの判断がつかなくなるためである。

例えば、第１信号検出部群と第２の信号検出部群の距離が２画素とすると、ずらし量の範囲Ｈはその５倍程度とすればよい。ずらし量の範囲Ｈは、レンズの性能、撮影条件により予め決めておくことができる。このため、ずらし量の範囲Ｈ及び上記の閾値ＴＨ１，Ｔ２は、少なくともレンズの機種名及び撮影条件のいずれか１つと関連付けて、カメラ内のメモリまたは、交換式レンズの場合はレンズ内のメモリに記録しておき、撮影時にメモリから読み出せばよい。

ここまでは、ＡＦ処理部１９が、相関値のばらつきが大きい場合に合焦状態と判定する構成及び方法についてとした。しかし、第１の信号検出部群の検出信号群及び第２の信号検出部群の検出信号群に含まれるノイズ等によって、非合焦状態であっても相関値のばらつきが大きくなることが考えられる。

図７は、フォーカスレンズが合焦位置にない状態（非合焦状態）での第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群との相関演算結果の別の例を示す図である。

図７に示す例では、範囲Ｈにおける相関値のばらつきが閾値ＴＨ１以上になっている。このため、上述した判定方法では図７のケースは合焦状態と誤判定されてしまう。

このような誤判定を避ける方法を説明する。

図５，７に示すように、非合焦状態では、相関演算の結果得られる相関値がずらし量によらず低い値で推移する。一方、合焦状態では、図４に示すように、ずらし量の絶対値が小さい範囲では、ずらし量の変化に対して相関値が大きく変化する。

そこで、ＡＦ処理部１９は、相関演算の結果得られた相関値のうちの最小値に対応するずらし量に上記任意の量を加算又は減算したずらし量における第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群の相関値と、この最小値との差Δ１を算出する。非合焦状態であれば、差Δ１は小さな値になるが、合焦状態であれば、差Δ１は大きな値になる。したがって、ＡＦ処理部１９は、相関値のばらつきが大きくても、差Δ１が小さければ非合焦状態と判定することができる。

図８は、図６のフローチャートにおけるステップＳ４の変形例を説明するためのフローチャートである。

ＡＦ処理部１９は、第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群の相関演算の結果得られた相関値の範囲Ｈにおけるばらつきが閾値ＴＨ１以上か否かを判定する（ステップＳ１０）。

ステップＳ１０の判定がＮＯであれば、ＡＦ処理部１９は非合焦状態であると判定する（ステップＳ１４）。

ステップＳ１０の判定がＹＥＳであれば、ＡＦ処理部１９は、相関演算の結果得られた相関値のうちの最小値Ｍ１に対応するずらし量ｄに上記任意の量として１を加算又は減算したずらし量における第１の信号検出部群の検出信号群と第２の信号検出部群の検出信号群の相関値Ｍ２と上記最小値Ｍ１との差Δ１を算出する（ステップＳ１１）。

ＡＦ処理部１９は、差Δ１が第２の閾値である閾値ＴＨ２以上であれば（ステップＳ１２：ＹＥＳ）、ステップＳ１３にて合焦状態であると判定し、差Δ１が閾値ＴＨ未満であれば（ステップＳ１２：ＮＯ）、ステップＳ１４にて非合焦状態であると判定する。

以上のように、図８の変形例によれば、ＡＦ処理部１９は、相関値のばらつきと差Δ１に基づいて合焦状態か否かを判定するため、合焦状態か否かの判定精度を向上させることができ、オートフォーカスの精度を向上させることができる。

ここまでの説明では、第１の信号検出部群の検出信号群及び第２の信号検出部群の検出信号群を用いて合焦状態か否かを判定する構成及び方法について述べた。以下では、第１の信号検出部群の検出信号群及び第２の信号検出部群の検出信号群を用いる点では共通するが、その利用方法が異なる例について説明する。

図９は、撮像素子５のＡＦエリア５３の１つのブロックを示す図である。ここでは、図３で説明した第１の信号検出部群及び第２の信号検出部群を第１のペアＰ１と第２のペアＰ２とに分けて考える。

第１のペアＰ１は、第１の信号検出部群のうちの行方向Ｘに一定ピッチで並ぶ複数の画素５１（図９中の太枠で囲った画素５１のうち、左端から数えて奇数番目にある画素５１）からなる第３の信号検出部群と、第２の信号検出部群のうちの第３の信号検出部群の各画素５１に対して一方向に同一距離で配置された画素５１（図９中の太破線枠で囲った画素５１のうち、左端から数えて奇数番目にある画素５１）からなる第４の信号検出部群とのペアである。

第２のペアＰ２は、第１の信号検出部群のうちの第３の信号検出部群の各画素５１に対して一方向に同一距離で配置された画素５１（図９中の太破線枠で囲った画素５１のうち、左端から数えて偶数番目にある画素５１）からなる第５の信号検出部群と、第２の信号検出部群のうちの第５の信号検出部群の各画素５１に対して一方向に同一距離で配置された画素５１（図９中の太破線枠で囲った画素５１のうち、左端から数えて偶数番目にある画素５１）からなる第６の信号検出部群とのペアである。

ＡＦ処理部１９は、第１のペアＰ１によって撮像される２つの像の一致度である第１の一致度を第１のペアＰ１の各画素５１の検出信号を利用して生成し、第２のペアＰ２によって撮像される２つの像の一致度である第２の一致度を第２のペアＰ２の各画素５１の検出信号を利用して生成する。そして、ＡＦ処理部１９は、生成した第１の一致度と第２の一致度の比較結果に基づいて、合焦状態か否かを判定する。

図１０は、図６のフローチャートにおけるステップＳ４の変形例を説明するためのフローチャートである。

ＡＦ処理部１９は、選択されたＡＦエリア５３にあるブロック毎に、第１のペアＰ１から得られた、第３の信号検出部群の検出信号群と第４の信号検出部群の検出信号群との相関演算を行う（ステップＳ３１）。

具体的には、一方の検出信号群のデータをＡ［１］…Ａ［ｋ］とし、他方の検出信号群のデータをＢ［１］…Ｂ［ｋ］とし、これら２つのデータをずらし量“ｄ”ずらしたときの上記の式（１）によって求まる２つのデータ波形によって囲まれる面積Ｃ［ｄ］を求める。

以下では、ステップＳ３１の相関演算の結果をＣ１［ｄ］とする。相関演算結果Ｃ１［ｄ］は、第１のペアＰ１の第３の信号検出部群と第４の信号検出部群のそれぞれによって撮像される像の一致度である第１の一致度を示す値となる。

続いて、ＡＦ処理部１９は、ブロック毎に、第２のペアＰ２から得られた、第５の信号検出部群の検出信号群と第６の信号検出部群の検出信号群との相関演算を行う（ステップＳ３２）。

この相関演算結果をＣ２［ｄ］とする。相関演算結果Ｃ２［ｄ］は、第２のペアＰ２の第５の信号検出部群と第６の信号検出部群のそれぞれによって撮像される像の一致度である第２の一致度を示す値となる。

任意のブロックに結像する被写体像の周波数が低い場合、横軸にずらし量ｄをとり、縦軸にＣ［ｄ］をとったときのグラフの形状は、Ｃ１［ｄ］とＣ２［ｄ］でほぼ同じになる。しかし、任意のブロックに結像する被写体像の周波数が高い場合、Ｃ１［ｄ］とＣ２［ｄ］とで、上記グラフの形状は大きく異なる。

そこで、ＡＦ処理部１９は、Ｃ１［ｄ］に基づくグラフの形状とＣ２［ｄ］に基づくグラフの形状とを比較することで、第１のペアＰ１と第２のペアＰ２によって撮像される被写体像の周波数の大きさを判定するための周波数判定値Ｊ１を生成する。

具体的には、ＡＦ処理部１９は、相関演算結果Ｃ１［ｄ］と相関演算結果Ｃ２［ｄ］との比較結果を示す数値として、次の式（２）の演算を行って周波数判定値Ｊ１を生成する（ステップＳ３３）。

式（２）の分子は、Ｃ１［ｄ］に基づくグラフの形状とＣ２［ｄ］に基づくグラフの形状とが近い場合は小さな値となり、この２つの形状が異なる場合は大きな値になる。

ＡＦ処理部１９は、ステップＳ３３でブロック毎に周波数判定値Ｊ１を生成した後、ブロック毎の周波数判定値Ｊ１と予め設定された閾値ＴＨ３とを比較し、周波数判定値Ｊ１が閾値ＴＨ３以上となるブロックが存在する場合（ステップＳ３４：ＹＥＳ）には、選択されたＡＦエリア５３に結像する被写体像は高周波成分を含んだシャープな像となっていると判断できるため、合焦状態であると判定する（ステップＳ３５）。

また、ＡＦ処理部１９は、周波数判定値Ｊ１が閾値ＴＨ１以上となるブロックが存在しない場合（ステップＳ３４：ＮＯ）には、選択されたＡＦエリア５３に結像する被写体像はぼやけた像となっていると判断できるため、非合焦状態であると判定する（ステップＳ３６）。

このように、ＡＦ処理部１９は、第１の一致度と第２の一致度の比較結果（上記周波数判定値Ｊ１）に基づいて、ＡＦエリア５３に結像する被写体像に高周波成分が含まれるか否かを判定し、高周波成分が含まれる場合に合焦状態である判定し、高周波成分が含まれない場合に非合焦状態である判定する。

以上のように、図１０の変形例によれば、第１のペアＰ１及び第２のペアＰ２の各々についての相関演算の演算量は図６の例と比較して少なくなる。このため、第１のペアＰ１についての相関演算と第２のペアＰ２についての相関演算とを並行して行うことで、図６の例と比べて、合焦状態か否かの判定を高速に行うことができる。

図１０で説明した変形例は、被写体像が高周波成分を含むか否かによって合焦状態か否かを判定した。以下では、被写体像が高周波成分を含むものか否かを判定する更に別の方法について説明する。

図１１（ａ）は、図９の第１のペアＰ１の第３の信号検出部群の検出信号の一例を示した図である。図１１（ｂ）は、図９の第１のペアＰ１の第４の信号検出部群の検出信号の一例を示した図である。

第１のペアＰ１の第３の信号検出部群と、第１のペアＰ１の第４の信号検出部群は、列方向Ｙに２画素分だけ離れて配置されているため、それぞれはほぼ同じ被写体像を撮像することになる。

しかし、第１のペアＰ１に結像される被写体像に局所的に高周波部分が存在していると、図１１に示したように、第１のペアＰ１の第３の信号検出部群の検出信号波形と、第１のペアＰ１の第４の信号検出部群の検出信号波形とは、低周波部分ではほぼ一致するが、高周波部分では異なる形状となる。

ＡＦ処理部１９は、図１１（ａ）に示す波形と図１１（ｂ）に示す波形とを行方向Ｘに互いにずらしていき、各ずらし位置において、この２つの波形で囲まれる面積である相関値を上記のＣ１［ｄ］として求める。

図１２は、Ｃ１［ｄ］の値が最小になるときの図１１（ａ）に示す波形と図１１（ｂ）に示す波形の位置関係を示している。図１２に示すように、Ｃ１［ｄ］の値が最小になっていても、高周波部分（図中の信号レベルが細かく変動している部分）では、２つのデータ波形の一致度は低い。

第２のペアＰ２についても同様に、第２のペアＰ２に結像される被写体像に局所的に高周波部分が存在していると、第２のペアＰ２の第５の信号検出部群の検出信号波形と、第２のペアＰ２の第６の信号検出部群の検出信号波形とは、低周波部分ではほぼ一致するが、高周波部分では異なる形状となる。したがって、ＡＦ処理部１９によって算出されるＣ２［ｄ］の値が最小になっていても、高周波部分では、２つのデータ波形の一致度は低くなる。

図１３は、第１のペアＰ１及び第２のペアＰ２によって撮像される被写体像に局所的な高周波部分が含まれているときの、第１のペアＰ１及び第２のペアＰ２それぞれの相関演算結果を示す図である。図１３において実線で示したグラフが第１のペアＰ１の相関演算結果Ｃ１［ｄ］を示し、図１３において破線で示したグラフが第２のペアＰ２の相関演算結果Ｃ２［ｄ］を示している。

第１のペアＰ１の各画素５１と第２のペアＰ２の各画素５１は近接して配置されているので、第１のペアＰ１と第２のペアＰ２はほぼ同じ被写体像を撮像する。このため、図１３に示すように、第１のペアＰ１及び第２のペアＰ２によって撮像される被写体像に局所的な高周波部分が含まれている場合でも、Ｃ１［ｄ］とＣ２［ｄ］の形状は全体としては概ね一致する。しかし、上述したように、相関値が最小となる部分では、高周波部分による像の違いの影響で、Ｃ１［ｄ］とＣ２［ｄ］に大きな差が生じる。

なお、第１のペアＰ１と第２のペアＰ２の一方にのみ高周波部分が結像することも考えられるが、この場合も、Ｃ１［ｄ］の最小値とＣ２［ｄ］の最小値の一方が小さくなり、他方が大きくなるため、両者には大きな差が生じる。

このような考察から、本発明者は、Ｃ１［ｄ］の最小値と、Ｃ２［ｄ］の最小値とに大きな違いがある場合には、第１のペアＰ１及び第２のペアＰ２によって撮像される被写体像に高周波成分が含まれていると判定できることを見出した。

つまり、ＡＦ処理部１９は、図６のステップＳ４において、Ｃ１［ｄ］の最小値とＣ２［ｄ］の最小値との比較結果に基づいて、合焦状態か否かを判定することができる。

図１４は、図６のステップＳ４の処理の変形例を説明するためのフローチャートである。

ＡＦ処理部１９は、任意のブロックを構成する第１のペアＰ１の第３の信号検出部群と第４の信号検出部群の検出信号群同士の相関演算を行う（ステップＳ５１）。ステップＳ５１の相関演算の結果がＣ１［ｄ］である。

続いて、ＡＦ処理部１９は、上記任意のブロックを構成する第２のペアＰ２の第５の信号検出部群と第６の信号検出部群の検出信号群同士の相関演算を行う（ステップＳ５２）。ステップＳ５２の相関演算の結果がＣ２［ｄ］である。

次に、ＡＦ処理部１９は、ステップＳ５１で求めたＣ１［ｄ］の最小値Ｍ１と、ステップＳ５２で求めたＣ２［ｄ］の最小値Ｍ２との差分（符号を無視した絶対値）を求める。ＡＦ処理部１９は、ブロック毎に求めた差分と閾値ＴＨ５とを比較し、差分が閾値ＴＨ５以上となるブロックがあるか否かを判定する（ステップＳ５３）。

ＡＦ処理部１９は、｜Ｍ１−Ｍ２｜≧ＴＨ５となるブロックがあった場合（ステップＳ５３：ＹＥＳ）に、選択されたＡＦエリア５３に結像する被写体像は高周波成分を含む、すなわち合焦状態であると判定する（ステップＳ５４）。

ＡＦ処理部１９は、｜Ｍ１−Ｍ２｜≧ＴＨ５となるブロックがなかった場合（ステップＳ５３：ＮＯ）に、選択されたＡＦエリア５３に結像する被写体像は高周波成分を含まない、すなわち非合焦状態であると判定する（ステップＳ５５）。

ここでは、Ｍ１とＭ２をそれぞれ相関値Ｃ１［ｄ］とＣ２［ｄ］の最小値としたが、相関値Ｃ１［ｄ］をずらし量ｄの関数として、周知の二次関数などによる近似関数をもとめ、近似関数の最小値をＭ１、Ｍ２としても良い。この場合、相関値が最小となるシフト量ｄは小数になっても良い。また、Ｃ１［ｄ］とＣ２［ｄ］が最小になるシフト量は異なる値になってもかまわない。

以上のように、図１４の変形例によれば、各ペアＰ１，Ｐ２についての相関演算の演算量は図６の例と比較して少なくなるため、図９の変形例と同じ効果を得ることができる

以上の説明では、ＡＦ処理部１９が、｜Ｍ１−Ｍ２｜と閾値ＴＨ５との大小関係によって被写体像に高周波成分を含むか否かを判定する構成及び方法について述べた。この変形例として、Ｃ１［ｄ］とＣ２［ｄ］の比較結果としてＭ１とＭ２の比を求め、この比と閾値ＴＨ５との大小関係によってこの判定を行うこともできる。

例えば、Ｍ１とＭ２のうちの値の大きい方をＭ１としたとき、図１６のステップＳ５３において、（Ｍ１／Ｍ２）が閾値ＴＨ５以上であればステップＳ５４の処理を行い、（Ｍ１／Ｍ２）が閾値ＴＨ５未満であればステップＳ５５の処理を行えばよい。

図１５は、撮像素子５のＡＦエリア５３に含まれるブロックにおいて設定する第１の信号検出部群と第２の信号検出部群の変形例を示す図である。

図１５に示すように、第１の信号検出部群の各画素５１に対して斜め左下に最近接するＧ画素５１を第２の信号検出部群としてもよい。図１５のような設定をした場合は、図１６に示すように第１のペアＰ１と第２のペアＰ２を設定すればよい。

図１のデジタルカメラによれば、位相差検出用画素を用いることなく合焦状態か否かを判定することができるため、第１の信号検出部群及び第２の信号検出部群の設定、第１のペアＰ１と第２のペアＰ２の設定を自由に行うことができる。したがって、撮像する被写体に応じて柔軟な合焦制御が可能となる。また、ＡＦエリアについても、その大きさや位置を自由に設定することができ、使い勝手のよいカメラを実現することができる。

ここまでは撮像装置としてデジタルカメラを例にしたが、以下では、撮像装置としてカメラ付のスマートフォンの実施形態について説明する。

図１７は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。図１７に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図１８は、図１７に示すスマートフォン２００の構成を示すブロック図である。図２０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１７に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図１７に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１７に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図１７に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、カメラ部２０８の撮像素子として撮像素子５を用い、主制御部２２０において図６、図８、図１０、及び図１４で説明した処理を行うことで、位相差検出用画素を用いずに、また、コントラストＡＦ方式を採用することなくオートフォーカスを行うことができる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、フォーカスレンズを含む撮像光学系の瞳領域を通過した光束に応じた信号を検出する信号検出部が行方向と上記行方向に直交する列方向に二次元状に配置された撮像面を有する撮像素子と、上記フォーカスレンズが任意の位置にある状態で、上記行方向に配列された複数の上記信号検出部からなる第１の信号検出部群、及び、上記複数の信号検出部の各々に対し上記行方向と交差する一方向に同一距離で配置された上記信号検出部からなる第２の信号検出部群それぞれの検出信号群の相関値と予め決めた閾値とに基づいて、合焦状態か否かを判定する合焦判定部と、上記合焦判定部により合焦状態と判定されるまで上記フォーカスレンズを移動させる合焦制御部と、を備えるものである。

開示された撮像装置において、上記合焦判定部は、上記第１の信号検出部群の検出信号群と上記第２の信号検出部群の検出信号群とを上記行方向に任意の量ずつずらしながら上記第１の信号検出部群の検出信号群と上記第２の信号検出部群の検出信号群との上記相関値を演算し、演算した上記相関値のうち、上記第１の信号検出部群の検出信号群と上記第２の信号検出部群の検出信号群のずらし量が０を含む範囲に対応する複数の相関値のばらつきと上記閾値との比較により合焦状態か否かを判定してもよい。

開示された撮像装置において、上記閾値は第１の閾値と第２の閾値を含み、上記合焦判定部は、上記演算した相関値のうちの最小値に対応する上記ずらし量に上記任意の量を加算又は減算したずらし量における上記第１の信号検出部群の検出信号群と上記第２の信号検出部群の検出信号群の相関値と上記最小値との差を算出し、上記ばらつきと上記第１の閾値との比較結果と、上記差と上記第２の閾値との比較結果によりに基づいて合焦状態か否かを判定してもよい。

開示された撮像装置において、上記合焦判定部は、上記第１の信号検出部群のうちの上記行方向に並ぶ複数の上記信号検出部からなる第３の信号検出部群、及び、上記第２の信号検出部群のうちの上記第３の信号検出部群の各信号検出部に対して一方向に同一距離で配置された上記信号検出部からなる第４の信号検出部群の第１のペアによって撮像される２つの像の一致度である第１の一致度を上記第１のペアを構成する２つの信号検出部群の各々から出力される検出信号群同士の相関演算によって算出し、上記第１の信号検出部群のうちの上記第３の信号検出部群の各信号検出部に対して一方向に同一距離で配置された上記信号検出部からなる第５の信号検出部群、及び、上記第２の信号検出部群のうちの上記第５の信号検出部群の各信号検出部に対して一方向に同一距離で配置された上記信号検出部からなる第６の信号検出部群の第２のペアによって撮像される２つの像の一致度である第２の一致度を上記第２のペアを構成する２つの信号検出部群の各々から出力される検出信号群同士の相関演算によって算出し、上記第１の一致度と上記第２の一致度から、上記第１のペア及び上記第２のペアによって撮像される被写体像の周波数の大きさを判定するための周波数判定値を生成し、上記周波数判定値と上記閾値との比較によって合焦状態か否かを判定してもよい。

開示された撮像装置において、上記合焦判定部は、上記第１の信号検出部群のうちの上記行方向に並ぶ複数の上記信号検出部からなる第３の信号検出部群、及び、上記第２の信号検出部群のうちの上記第３の信号検出部群の各信号検出部に対して一方向に同一距離で配置された上記信号検出部からなる第４の信号検出部群の第１のペアで検出信号群同士の相関演算を行い、上記第１の信号検出部群のうちの上記第３の信号検出部群の各信号検出部に対して一方向に同一距離で配置された上記信号検出部からなる第５の信号検出部群、及び、上記第２の信号検出部群のうちの上記第５の信号検出部群の各信号検出部に対して一方向に同一距離で配置された上記信号検出部からなる第６の信号検出部群の第２のペアで検出信号群同士の相関演算を行い、上記第１のペアの相関演算の結果得られる上記第１のペアの検出信号群同士の相関値が最小となるときのその相関値である第１の相関値と、上記第２のペアの相関演算の結果得られる上記第２のペアの検出信号群同士の相関値が最小となるときのその相関値である第２の相関値との差又は比の大きさと上記閾値との比較によって、合焦状態か否かを判定してもよい。

開示された合焦制御方法は、フォーカスレンズを含む撮像光学系の瞳領域を通過した光束に応じた信号を検出する信号検出部が行方向と上記行方向に直交する列方向に二次元状に配置された撮像面を有する撮像素子を備える撮像装置による合焦制御方法であって、上記フォーカスレンズが任意の位置にある状態で、上記行方向に配列された複数の上記信号検出部からなる第１の信号検出部群、及び、上記複数の信号検出部の各々に対し上記行方向と交差する一方向に同一距離で配置された上記信号検出部からなる第２の信号検出部群それぞれの検出信号群の相関値と予め決めた閾値とに基づいて、合焦状態か否かを判定する合焦判定ステップと、上記合焦判定ステップにより合焦状態と判定されるまで上記フォーカスレンズを移動させる合焦制御ステップと、を備えるものである。

本発明は、デジタルカメラ等に適用して利便性が高く、有効である。

１ 撮像レンズ
２ 絞り
５ 撮像素子
１１ システム制御部（合焦制御部）
１８ ＡＦ処理部（合焦判定部）
５０ 撮像面
５１ 画素
５３ ＡＦエリア

Claims (6)

1. フォーカスレンズを含む撮像光学系と、前記撮像光学系の瞳領域を通過した光束を実質的に全て受光する単一の撮像用の画素が行方向及び前記行方向に直交する列方向に二次元状に複数配置された撮像面を有する撮像素子と、を備え、１つの被写体像を構成する光束に応じて前記画素が検出した検出信号に基づいて前記被写体像の合焦を制御する撮像装置であって、
   前記フォーカスレンズが任意の位置にある状態で、前記行方向に配列された複数の前記画素からなる第１の信号検出部群が前記光束に応じて検出した検出信号群と、前記第１の信号検出部群を構成する複数の画素の各々に対し前記行方向と交差する一方向に同一距離隔てて配置された複数の前記画素からなる第２の信号検出部群が前記光束に応じて検出した検出信号群とを求め、前記第１の信号検出部群の検出信号群と前記第２の信号検出部群の検出信号群との間の相関演算、又は、前記第１の信号検出部群に含まれる信号検出部と前記第２の信号検出部群に含まれる信号検出部とのペアを構成する複数の信号検出部の検出信号同士の相関演算を行い、得られた相関値と予め決めた閾値とに基づいて、合焦状態か否かを判定する合焦判定部と、
   前記合焦判定部により合焦状態と判定されるまで前記フォーカスレンズを移動させる合焦制御部と、を備える撮像装置。
2. 請求項１記載の撮像装置であって、
   前記合焦判定部は、前記第１の信号検出部群の検出信号群と前記第２の信号検出部群の検出信号群とを前記行方向に任意の量ずつずらしながら前記第１の信号検出部群の検出信号群と前記第２の信号検出部群の検出信号群との前記相関値を演算し、演算した前記相関値のうち、前記第１の信号検出部群の検出信号群と前記第２の信号検出部群の検出信号群のずらし量が０を含む範囲に対応する複数の相関値のばらつきと前記閾値との比較により合焦状態か否かを判定する撮像装置。
3. 請求項２記載の撮像装置であって、
   前記閾値は第１の閾値と第２の閾値を含み、前記合焦判定部は、前記演算した相関値のうちの最小値に対応する前記ずらし量に前記任意の量を加算又は減算したずらし量における前記第１の信号検出部群の検出信号群と前記第２の信号検出部群の検出信号群の相関値と前記最小値との差を算出し、前記ばらつきと前記第１の閾値との比較結果と、前記差と前記第２の閾値との比較結果により合焦状態か否かを判定する撮像装置。
4. 請求項１記載の撮像装置であって、
   前記合焦判定部は、前記第１の信号検出部群のうちの前記行方向に並ぶ複数の前記信号検出部からなる第３の信号検出部群、及び、前記第２の信号検出部群のうちの前記第３の信号検出部群の各信号検出部に対して一方向に同一距離で配置された前記信号検出部からなる第４の信号検出部群の第１のペアによって撮像される２つの像の一致度である第１の一致度を前記第１のペアを構成する２つの信号検出部群の各々から出力される検出信号群同士の相関演算によって算出し、前記第１の信号検出部群のうちの前記第３の信号検出部群の各信号検出部に対して一方向に同一距離で配置された前記信号検出部からなる第５の信号検出部群、及び、前記第２の信号検出部群のうちの前記第５の信号検出部群の各信号検出部に対して一方向に同一距離で配置された前記信号検出部からなる第６の信号検出部群の第２のペアによって撮像される２つの像の一致度である第２の一致度を前記第２のペアを構成する２つの信号検出部群の各々から出力される検出信号群同士の相関演算によって算出し、前記第１の一致度と前記第２の一致度から、前記第１のペア及び前記第２のペアによって撮像される被写体像の周波数の高さを判定するための周波数判定値を生成し、前記周波数判定値と前記閾値との比較によって、合焦状態か否かを判定する撮像装置。
5. 請求項１記載の撮像装置であって、
   前記合焦判定部は、前記第１の信号検出部群のうちの前記行方向に並ぶ複数の前記信号検出部からなる第３の信号検出部群、及び、前記第２の信号検出部群のうちの前記第３の信号検出部群の各信号検出部に対して一方向に同一距離で配置された前記信号検出部からなる第４の信号検出部群の第１のペアで検出信号群同士の相関演算を行い、前記第１の信号検出部群のうちの前記第３の信号検出部群の各信号検出部に対して一方向に同一距離で配置された前記信号検出部からなる第５の信号検出部群、及び、前記第２の信号検出部群のうちの前記第５の信号検出部群の各信号検出部に対して一方向に同一距離で配置された前記信号検出部からなる第６の信号検出部群の第２のペアで検出信号群同士の相関演算を行い、前記第１のペアの相関演算の結果得られる前記第１のペアの検出信号群同士の相関値が最小となるときの当該相関値である第１の相関値と、前記第２のペアの相関演算の結果得られる前記第２のペアの検出信号群同士の相関値が最小となるときの当該相関値である第２の相関値との差又は比の大きさと前記閾値との比較によって、合焦状態か否かを判定する撮像装置。
6. フォーカスレンズを含む撮像光学系と、前記撮像光学系の瞳領域を通過した光束を実質的に全て受光する単一の撮像用の画素が行方向及び前記行方向に直交する列方向に二次元状に複数配置された撮像面を有する撮像素子と、を備え、１つの被写体像を構成する光束に応じて前記画素が検出した検出信号に基づいて前記被写体像の合焦を制御する撮像装置による合焦制御方法であって、
   前記フォーカスレンズが任意の位置にある状態で、前記行方向に配列された複数の前記画素からなる第１の信号検出部群が前記光束に応じて検出した検出信号群と、前記第１の信号検出部群を構成する複数の画素の各々に対し前記行方向と交差する一方向に同一距離隔てて配置された複数の前記画素からなる第２の信号検出部群が前記光束に応じて検出した検出信号群とを求め、前記第１の信号検出部群の検出信号群と前記第２の信号検出部群の検出信号群との間の相関演算、又は、前記第１の信号検出部群に含まれる信号検出部と前記第２の信号検出部群に含まれる信号検出部とのペアを構成する複数の信号検出部の検出信号同士の相関演算を行い、得られた相関値と予め決めた閾値とに基づいて、合焦状態か否かを判定する合焦判定ステップと、
   前記合焦判定ステップにより合焦状態と判定されるまで前記フォーカスレンズを移動させる合焦制御ステップと、を備える合焦制御方法。

Images