JP7022534B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は画像処理装置および画像処理方法に関し、特には画像の選択技術に関する。

デジタルカメラはフィルムカメラに比べて手軽に撮影でき、低価格なカメラでも高速連写が可能である。そのため、予想以上に撮影枚数が多くなったり、類似画像が多く撮影されたりしやすい。このような背景から、複数の撮影画像からユーザの意図した画像を容易に選択するための技術が提案されている。

特許文献１には、ブラケット撮影で得られた複数の画像から、撮像装置が代表画像をユーザに提示し、ユーザが指定した位置を中心とした所定の大きさの領域のＡＦ評価値やＡＥ評価値に基づいて１つの画像を選択する撮像装置が開示されている。特許文献１に開示された技術により、ブラケット撮影で得られた複数の画像から、所望の領域に合焦した画像や、所望の領域が適正露出である画像を容易に選択することができる。

特開２００９－１１１６３５号公報

特許文献１は、同一シーンについて合焦距離や露出状態を変更しながら撮影した複数の画像を対象としている。そのため、被写***置の変化等によりシーンが変化する場合に、撮影した複数の画像の中からユーザが選択したシーンに対応する画像を選択することができない。

本発明は、被写***置の変化等によりシーンが変化する場合であっても、ユーザがより意図した画像を選択することを可能にする画像処理装置および画像処理方法を提供することを目的とする。

上述の目的は、所定の時間間隔で取得された複数のフレームを含む動画を表示する表示手段と、表示手段が表示した動画の第１のフレームに対する所定の操作が検出されたことに応じて、動画と並行して記録された複数の静止画から候補画像を抽出する抽出手段と、候補画像のそれぞれについて、所定の操作に応じて指定された被写体の検出処理を行う検出手段と、被写体が検出された候補画像について、被写体が検出された位置に対応する焦点検出領域を設定する設定手段と、設定手段が設定した焦点検出領域の合焦度合いを算出する算出手段と、合焦度合いに基づいて、被写体が検出された候補画像のうち少なくとも１つを選定する選定手段と、を有することを特徴とする画像処理装置によって達成される。

本発明によれば、被写***置の変化等によりシーンが変化する場合であっても、ユーザがより意図した画像を選択することを可能にする画像処理装置および画像処理方法を提供できる。

実施形態に係るデジタルカメラの機能構成例を示す図 実施形態に係る撮像素子に関する図 実施形態におけるセンサ瞳距離を説明する図 実施形態における射出瞳と焦点検出瞳の相対位置を説明する図 実施形態における撮像素子のシェーディング特性に関する図 実施形態における焦点検出に関する図 実施形態におけるシェーディング補正情報およびデフォーカス量変換情報に関する図 実施形態に係るデジタルカメラの撮影動作に関するフローチャート 実施形態に係るデジタルカメラの撮影動作に関するフローチャート 実施形態に係るデジタルカメラの撮影動作に関するフローチャート 実施形態における静止画選定処理に関するフローチャート 実施形態における静止画選定処理に関するフローチャート 実施形態における静止画選定処理での表示例に関する図 実施形態における静止画選定処理に関するフローチャート

以下、図面を参照しながら本発明の例示的な実施形態を説明する。以下では本発明を画像処理装置の一例としての撮像装置（デジタルカメラ）に適用した実施形態について説明する。しかしながら、本発明において撮像機能は必須ではない。本発明は、並行して記録された動画と静止画とを取り扱い可能な任意の電子機器で実施可能である。このような電子機器には、撮像装置のみならず、スマートフォン、パーソナルコンピュータ、タブレット端末、ゲーム機などが含まれるが、これらに限定されない。

●（第１実施形態）
＜撮像装置の全体概略構成＞
図１は、本実施形態に係るデジタルカメラの模式図である。ここではデジタルカメラが本体１００と、本体１００に着脱可能な撮像レンズ５００とから構成されるものとするが、撮像レンズと本体が一体であってもよい。

撮像レンズ５００から本体１００に入射した光束は、ビームスプリッタ１０３に入射する。ビームスプリッタ１０３は例えば本体１００に固定されたハーフミラーであってよいが、それに限定されない。ビームスプリッタ１０３は、入射光束の一部を反射し、一部を透過させることにより、入射光束を２つの光束に分割する。

本実施形態のデジタルカメラは、２つの撮像素子１０１、１０２を有する。撮像素子１０１はビームスプリッタ１０３を透過した光束を、撮像素子１０２はビームスプリッタ１０３を反射した光束を、それぞれ受光する。撮像素子１０１、１０２の撮像面は撮像レンズ５００から見て光学的に等価な位置にある。言い換えると、撮像素子１０１、１０２は、撮像レンズ５００を介して、被写体に対して光学的に共役な結像面に位置する。

撮像素子１０１、１０２の撮像面に形成される被写体像の明るさは、ビームスプリッタ１０３の透過率および反射率に依存する。ビームスプリッタ１０３を構成するハーフミラーの平面性や屈折率は均一ではないため、反射像や透過像には画質低下が生じうる。そして、ハーフミラーが薄板ガラスで構成される場合、ハーフミラーの物理特性による画質低下は透過像よりも反射像により大きく現れる。

そのため、本実施形態では、高解像度の静止画のように画質が重要な画像の撮影には透過像を受光する撮像素子１０１を用い、反射像を受光する撮像素子１０２は動画や低解像度の静止画の撮影に用いる。ただし、ビームスプリッタ１０３の物理特性などに応じて撮像素子１０１、１０２で撮影する画像の種類を逆にしてもよい。

例えばＣＭＯＳエリアセンサである撮像素子１０１、１０２は、光電変換素子がマトリクス状に配置された画素によって、被写体像を電気信号（画像信号）に変換する。

カメラＣＰＵ１０４は、ＲＯＭ１１４に記憶されたプログラムをＲＡＭ１１５に読み込んで実行し、本体１００および撮像レンズ５００の動作を制御することにより、デジタルカメラの機能を実現する。例えばカメラＣＰＵ１０４は、撮像素子１０１、１０２の動作を制御して画像信号を生成させる。また、カメラＣＰＵ１０４は、撮像素子１０１、１０２から画像信号を読み出し、Ａ／Ｄ変換、ホワイトバランス調整、色補間などの画像処理を実行して記録用画像データや表示用画像データを生成する。カメラＣＰＵ１０４はさらに、画像データに基づいて自動露出制御（ＡＥ）や自動焦点検出（ＡＦ）を実行する。カメラＣＰＵ１０４は顔検出などの被写体検出処理を行い、検出された被写体領域に基づいてＡＥやＡＦを実行してもよい。なお、ここに例示した動作の少なくとも一部は、ＡＳＩＣやＡＳＳＰなどの専用ハードウェア回路を用いて実行してもよい。

操作部１０５はボタン、スイッチ、タッチパネルなど、ユーザが本体１００に指示を与えるための入力デバイスの総称である。操作部１０５には電源スイッチ、シャッタースイッチ、メニューボタン、方向キー、決定ボタンなどが含まれる。カメラＣＰＵ１０４は操作部１０５の操作を検知すると、検知した操作に応じた動作を実行する。

カメラＣＰＵ１０４は、生成した静止画データや動画データを、予め定められた型式のデータファイルに格納して記録媒体１０６に記録する。記録媒体１０６は例えば半導体メモリカードである。なお、記録先は外部装置であってもよい。

表示部１１０は、例えば有機ＥＬディスプレイや液晶ディスプレイである。表示部１１０がタッチディスプレイの場合、表示部１１０へのタッチ操作によってユーザは本体１００に指示を与えることができる。

表示部１１０は、本体１００の設定、ライブビュー画像、撮影画像、メニュー画面などの表示に用いられる。本体１００の設定値および、メニュー画面などのＧＵＩデータはＲＯＭ１１４に記憶されている。

ファインダ内表示部１０７は、表示部よりも小型の表示装置である。カメラＣＰＵ１０４は、ファインダ内表示部１０７を電子ビューファインダーとして機能させることができる。
接眼レンズ１０９はファインダ内表示部１０７の表示を外部から観察するために設けられている。

シャッタ１１１は撮像素子１０１の前面に配置されたメカニカルシャッタであり、シャッタ駆動部１１２（例えばモータ）によって駆動される。
通信端子１１３、５０８はそれぞれ本体１００、撮像レンズ５００のマウント部に設けられ、撮像レンズ５００が本体１００に装着されている状態で電気的に接続される。カメラＣＰＵ１０４と、撮像レンズ５００内のレンズＣＰＵ５０７とは、通信端子１１３、５０８を通じて相互に通信可能である。

ＲＯＭ１１４は書き換え可能な不揮発性メモリである。ＲＯＭ１１４は、カメラＣＰＵ１０４が実行するためのプログラム、本体１００の設定値、メニュー画面などのＧＵＩデータなどを記憶する。

ＲＡＭ１１５はカメラＣＰＵ１０４がプログラムを読み込んだり、画像データを一時的に格納したりするために用いるシステムメモリである。

＜撮像素子の構成＞
図２は撮像素子１０１の構成例を模式的に示した図である。本実施形態では、撮像素子１０１、１０２は、後述するマイクロレンズの偏心量を除き、同一構造および同一画素数である。そのため、ここでは代表的に撮像素子１０１の構造について説明する。

図２（ａ）は撮像素子１０１の画素のうち、撮像面の中央近傍（像高０付近）における一部を撮像レンズ５００側から見た平面図である。画素を構成する複数の画素のそれぞれは、撮像面上で水平方向（ｘ）、垂直方向（ｙ）共に４μｍの大きさを有する正方画素であり、実質的に同じ構成を有する。撮像素子１０１は水平方向に６０００画素、垂直方向に４０００画素が行列状に配置された有効画素数２４００万画素の画素を有するものとする。画素、すなわち撮像領域の大きさは、画素の大きさ（画素ピッチ）＝４μｍに画素数を乗じて求めることができ、本例では水平方向に２４ｍｍ、垂直方向に１６ｍｍとなる。各画素には赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタが１つに設けられ、色の配置は予め定められている。代表的な色の配置はベイヤー配列と呼ばれている。

図２（ｂ）は一つの画素の垂直断面図である。ＣＭＯＳイメージセンサの基体を成すシリコン基板１０１ｄ内には第１の光電変換部１０１ａおよび第２の光電変換部１０１ｂが形成されている。シリコン基板１０１ｄ内には光電変換部１０１ａ，１０１ｂで発生した光電子は、スイッチングトランジスタ等を通じて電圧に変換され、配線層１０１ｅのそれぞれから読み出される。配線層１０１ｅは透明な層間膜１０１ｆによって絶縁されている。

画素には、オンチップマイクロレンズ１０１ｃが１つと、色分離用のカラーフィルタ１０１ｇが１つ設けられる。オンチップマイクロレンズ１０１ｃの焦点位置は、光電変換部１０１ａ、１０１ｂの上面に略一致する。そのため、光電変換部１０１ａ、１０１ｂはオンチップマイクロレンズ１０１ｃを介して、撮像レンズ５００の射出瞳のうち、異なる部分領域の出射光を受光する。従って、撮像素子１０１において、光電変換部１０１ａで得られる画素信号に基づく画像と、光電変換部１０１ｂで得られる画像信号に基づく画像とは視差画像を構成する。

ある画素領域に含まれる複数の画素について、光電変換部１０１ａから得られる画像信号に基づく像信号（Ａ像）と、光電変換部１０１ｂから得られる画像信号に基づく像信号（Ｂ像）との位相差は、その画素領域の合焦度合いを表す。従って、カメラＣＰＵ１０４は、Ａ像とＢ像との相関演算によって像信号間の位相差を算出し、位相差をデフォーカス量に変換することにより、位相差検出方式の焦点検出を行うことができる。

後述するようにカメラＣＰＵ１０４は、各画素について、光電変換部１０１ａ、１０１ｂから画像信号を選択的に読み出すことと、光電変換部１０１ａ、１０１ｂの画像信号の加算信号を読み出すことができる。カメラＣＰＵ１０４は、光電変換部１０１ａ、１０１ｂから別個に読み出した画像信号から焦点検出用信号（Ａ像およびＢ像）を生成することができる。また、カメラＣＰＵ１０４は、加算信号を読み出す（あるいは別個に読み出した信号を加算する）ことにより、記録または表示に用いる画像信号を得ることができる。

＜撮像素子の読み出し回路の構成＞
図２（ｃ）は、撮像素子１０１の回路構成を模式的に示した図であり、図２と同じ構成については同じ参照数字を付してある。撮像素子１０１は、水平走査回路１２１および垂直走査回路１２３を有する。また、画素の境界部には、水平走査ライン１２２ａ、１２２ｂと、垂直走査ライン１２４ａ、１２４ｂが配線される。光電変換部１０１ａ、１０１ｂに蓄積された電荷量に応じた電圧を有する画像信号が、これらの走査ラインを介して外部に読み出される。撮像素子１０２も撮像素子１０１と同様の回路構成を有している。

撮像素子１０１、１０２は第１および第２の読み出しモードを有する。
第１の読み出しモードは、全ての画素から画像信号を読み出す、全画素読み出しモードである。記録用の静止画や動画を生成する際に用いられる。
第２の読み出しモードは、第１の読み出しモードよりも少ない画素から画像信号を読み出す、間引き読み出しモードである。ライブビュー画像のように、撮像素子の解像度よりも低い解像度の画像を生成する際に用いられる。ライブビュー画像とは、表示部１１０をビューファインダーとして機能させるための画像である。表示部１１０の解像度は撮像素子１０１、１０２の解像度よりも低いため、一部の画素を間引いて読み出すことにより、撮像から表示までの時間短縮、処理負荷および消費電力を低減することができる。第１および第２の読み出しモードにおいて、画像信号は光電変換部ごとに読み出す。そのため、読み出しモードにかかわらず、カメラＣＰＵ１０４は、焦点検出用信号を生成できる。

なお、本実施形態において撮像素子１０１は静止画撮影用としているが、動画撮影に用いてもよい。たとえば、撮像素子１０２が第１の読み出しモードで動画撮影している際、撮像素子１０１が第２の読み出しモードで動画撮影を行ってもよい。同様に、撮像素子１０２は動画撮影用としているが、静止画撮影に用いてもよい。例えば、動画撮影中に静止画撮影を実行したり、撮影した動画のフレームを静止画として記録したりすることも可能である。動画は、所定の時間間隔で取得された複数のフレームを含む。

＜撮像レンズの射出瞳と、２つの撮像素子における焦点検出瞳の関係＞
図３は、撮像レンズの射出瞳と、２つの撮像素子における焦点検出瞳の関係を説明する図である。図３（ａ）は第１の撮像素子１０１、図３（ｂ）は第２の撮像素子１０２に関する図である。

高精度な位相差ＡＦの実現には、位相差検出用の焦点検出瞳の基線長が長いこと、撮像レンズの絞り値（Ｆナンバ）や射出瞳距離の変化に対して射出瞳と焦点検出瞳の位置ずれが少ないことが好ましい。これらの性能を満足するための画素構造に関し、図３（ａ）を用いて説明する。

図３（ａ）には撮像レンズ５００の光学要素と、撮像素子１０１が有する２個の画素１０１１、１０１２が示されている。画素１０１１は撮像面中央、すなわち像高ｘ＝０に配置された画素、画素１０１２は撮像面の端に近い場所、例えば像高ｘ＝１０ｍｍに配置された画素である。まず、撮像レンズの射出瞳について説明する。

撮像レンズ５００は焦点距離が可変のズームレンズであり、ズーム操作に応じて焦点距離、開放Ｆナンバ、および射出瞳距離が変化する。図３においては、撮像レンズ５００の焦点距離は広角端であるとする。撮像レンズ５００を構成する第１レンズ群５０１は、その最前面が前枠５０１ｒでレンズ鏡筒に保持され、第３レンズ群５０３の最後面は後枠５０３ｒでレンズ鏡筒に保持される。第１レンズ群５０１と第３レンズ群５０３との間には絞り５０５が配置される。図３では絞り５０５が開放Ｆ値の状態を示しており、このとき、画素１０１１に到達する光束のうち、最も外側の光線Ｌ１１ａとＬ１１ｂは絞り５０５の開口部で規制された光線となる。光線Ｌ１１ａ、Ｌ１１ｂがなす角度θ１１は広角端における開放Ｆナンバに対応する光束の角度である。

一方、画素１０１２には、光線Ｌ１２ａとＬ１２ｂに挟まれた領域内の光束が到達する。光線Ｌ１２ａ（下線）は前枠５０１ｒで規制された光線である。また、光線Ｌ１２ｂ（上線）は後枠５０３ｒで規制された光線である。上線Ｌ１２ａと下線Ｌ１２ｂとがなす角度θ１２は、口径食のためにθ１１よりも小さくなる。

上線Ｌ１２ｂと下線Ｌ１２ａの中間の光線Ｌ１２ｃが主光線であり、光軸Ｌ１１ｃと主光線Ｌ１２ｃとは角度β１をなしている。そして、光軸Ｌ１１ｃと主光線Ｌ１２ｃが交差する点ＣＬ１を通り、光軸Ｌ１１ｃに垂直な面が射出瞳面ＥＰＬ１である。射出瞳面ＥＰＬ１において、画素１０１２へ到達する光束が通る領域が画素１０１２からみた射出瞳であり、撮像面と射出瞳の間隔ＰＬ１が射出瞳距離である。ここでは撮像レンズ５００の射出瞳距離ＰＬ１をレンズ瞳距離と呼ぶ。

なお、絞りの開口の大きさ（Ｆナンバ）に応じて口径食が変化するため、撮像レンズ５００の射出瞳距離も厳密にはＦナンバに応じて変化する。ただし、Ｆナンバに依存した射出瞳距離変動が無視できる程度に小さいことが多い。そこで、本実施形態においても、射出瞳距離はズーム状態やフォーカス状態に応じて変化するが、Ｆナンバに対しては不変であるものとする。

次に、画素の構造と焦点検出瞳について説明する。画素１０１１の光電変換部１０１１ａおよび１０１１ｂは隣接配置され、その境界部には極小幅の不感帯が存在する。境界部の中心が画素中心と一致しており、一対の光電変換部１０１１ａ，１０１１ｂは画素中心に対してｘ方向に対称な形状を有する。よって、光電変換部１０１１ａ，１０１１ｂの重心位置と画素中心とのｘ方向における距離は等しい。

画素が備えるマイクロレンズ１０１１ｃの主点１０１１ｐを通り、光軸に直交する面が撮像素子１０１の予定結像面（撮像面ＩＰ１）である。すなわち、撮像レンズ５００によって形成される被写体像のピント位置が、各画素のマイクロレンズ１０１１ｃの主点１０１１ｐ群を含んだ予定結像面ＩＰ１に一致する状態で得られる画像が、被写体に合焦した画像である。なお、マイクロレンズ１０１１ｃの厚さは１μｍ程度であり、マイクロレンズ１０１１ｃの頂点と主点１０１１ｐとの距離は更に小さな値であるため、主点１０１１ｐをマイクロレンズの頂点とみなしても差し支えない。

画素１０１１はマイクロレンズ１０１１ｃの光軸と画素の中心（一対の光電変換部の境界中心）が一致している。一方、撮像面ＩＰ１の端部に位置する画素１０１２ではマイクロレンズ１０１２ｃの光軸と画素の中心が一致しておらず、撮像レンズ５００の光軸寄りに所定量ｄｘ１だけ偏心している。

ここで、画素の中心とマイクロレンズの主点とを結ぶ線を画素の主光線と定義すると、画素の主光線は光軸に対して所定の角度ω１傾斜し、撮像面ＩＰ１から所定距離を有する点ＣＳ１で光軸と交差する。この交点ＣＳ１を通り、光軸と直交する仮想面をセンサ瞳面ＳＰＬ１と呼ぶ。また、センサ瞳面ＳＰＬ１と撮像面ＩＰ１との距離ＰＳ１をセンサ瞳距離と呼ぶ。センサ瞳面ＳＰＬ１上ではすべての画素の焦点検出瞳が実質的に一致するが、その理由は後述する。

画素１０１１において、マイクロレンズ１０１１ｃの主点１０１１ｐと一対の光電変換部上面間の高さｈ１が画素の光学的な高さである。厳密な光学的高さは、機械的寸法である高さｈ１に画素内の光路部分の屈折率を乗じた値であるが、ここでは説明を平易にするため、図示した高さｈ１を画素の高さとする。そして、マイクロレンズ１０１１ｃの焦点が光電変換部１０１１ａおよび光電変換部１０１１ｂの上面と略一致するように、マイクロレンズ１０１１ｃの形状（光学パワー）が設定されている。

図３においては、便宜上、レンズ瞳距離ＰＬ１およびセンサ瞳距離ＰＳ１が画素高さｈ１の数倍程度に図示している。しかし、現実には画素高さｈ１がマイクロメートルオーダーであるのに対して、レンズ瞳距離ＰＬ１およびセンサ瞳距離ＰＳ１は数１０ｍｍオーダーであり、両者の大きさには４桁程度の開きがある。すなわち、マイクロレンズ１０１１ｃの集光作用を考える場合、画素１０１１から見た撮像レンズ５００の射出瞳やセンサ瞳面ＳＰＬ１は非常に遠方にあると見なせる。マイクロレンズ１０１１ｃの焦点位置が光電変換部１０１１ａ、１０１１ｂの上面に略一致していると、光電変換部１０１１ａ、１０１１ｂの上面は遠方にある平面上に投影されるが、その投影像の大きさは投影面までの距離に比例する。ここで、投影面をセンサ瞳面ＳＰＬ１とすると、センサ瞳面ＳＰＬ１上には一対の光電変換部１０１１ａおよび１０１１ｂに対応する一対の逆投影像ＡＰ１ａおよびＡＰ１ｂが形成され、これが焦点検出時の光束を規定する焦点検出瞳となる。

次に、画素１０１２の構造とセンサ瞳距離について説明する。図３（ａ）において、画素１０１２のｘ座標をＸ１とすると、マイクロレンズ１０１２ｃの主点およびセンサ瞳面上の点ＣＳ１を頂点とする２つの三角形の相似関係より、
Ｘ１／（ＰＳ１+ｈ１）＝ｄｘ１／ｈ１ （式１）
となる。ここで、ＰＳ１≫ｈ１なので、左項の分母ＰＳ１+ｈ１はＰＳ１と近似でき、式４を変形すると、
ＰＳ１＝Ｘ１×（ｈ１／ｄｘ１） （式２）
ｄｘ１＝ｈ１×（Ｘ１／ＰＳ１） （式３）
が得られる。

また、画素１０１２の画素構造や各部の寸法は、マイクロレンズ１０１２ｃの偏心量を除いて画素１０１１と同一である。よって、センサ瞳面ＳＰＬ１上には、一対の光電変換部１０１２ａおよび１０１２ｂに対応する一対の逆投影像が形成され、この逆投影像は画素１０１１の光電変換部１０１１ａおよび１０１１ｂの逆投影像ＡＰ１ａおよびＡＰ１ｂと実質的に同一である。すなわち、撮像素子１０１が有する全ての画素で式３が成り立つようにマイクロレンズの偏心量を設定すれば、全ての画素についてセンサ瞳距離がＰＳ１となり、センサ瞳面上では全ての画素の焦点検出瞳がＡＰ１ａおよびＡＰ１ｂに共通化される。すなわち、マイクロレンズアレイを介して各画素が備える光電変換部とセンサ瞳面とが共役な関係になり、すべての画素の焦点検出瞳がセンサ瞳面上で実質的に一致することになる。

次に焦点検出瞳の基線長について説明する。画素１０１１における一対の光電変換部１０１１ａおよび１０１１ｂは、画素中心に対してｘ方向に対称形状を有し、光電変換部１０１１ａ、１０１１ｂの感度重心位置間のｘ方向の距離をＧＳ１とする。そして、光電変換部の感度重心位置とマイクロレンズ１０１１ｃの主点１０１１ｐを結び、撮像レンズの射出瞳方向に延長した線を光電変換部の主光線と定義する。

この場合、マイクロレンズ１０１１ｃの主点１０１１ｐを頂点とし、一対の主光線Ｓ１１ａとＳ１１ｂとが形成する２つの三角形の相似関係より、
ＧＰ１／ＰＳ１＝ＧＳ１／ｈ１ （式４）
が導かれ、これを変形すると、焦点検出瞳の基線長ＧＰ１は、
ＧＰ１＝ＧＳ１×（ＰＳ１／ｈ１） （式５）
となる。また、一対の焦点検出光束における一対の主光線Ｓ１１ａとＳ１１ｂのなす角度が基線角度α１１で、ｓｉｎα≒ｔａｎα≒αの近似が成り立つ領域では、
α１１＝ＧＳ１／ｈ１＝ＧＰ１／ＰＳ１ （式６）
となる。

撮像面の端部に位置する画素１０１２においても、光電変換部１０１２ａ、１０１２ｂの感度重心位置間のｘ方向の距離はＧＳ１である。そして、一対の光電変換部の主光線Ｓ１２ａとＳ１２ｂが定義でき、前述の式１および式２が成り立つ。すなわち、画素１０１１と画素１０１２において、焦点検出瞳の基線長は互いに等しい値ＧＰ１となる。一方で、両者の基線角度は厳密には異なり、画素１０１１の基線角度はα１１、画素１０１２の基線角度はα１２となり、α１１＞α１２の関係となる。

基線長という用語は、２眼式ステレオカメラや、外測式位相差検出モジュールにおける一対の光学系の入射瞳間の距離を指すが、本実施形態における撮像面位相差検出方式ではセンサ瞳面ＳＰＬ１上の一対の光束の間の距離ＧＰ１を基線長と称している。この場合、センサ瞳面ＳＰＬ１と撮像面ＩＰ１の間隔であるセンサ瞳距離ＰＳ１が変わると基線長ＧＰ１も変化してしまうので、基線長の大小は、同じセンサ瞳距離ＰＳ１における値で比較する必要がある。また、図３に示した基線長ＧＰ１およびＧＰ２は画素単体の基線長だが、焦点検出時には焦点検出瞳が撮像レンズの射出瞳でけられるため、けられ状況に応じて基線長も短くなる。なお、基線角度α１１はレンズ瞳距離やセンサ瞳距離には依存せず、画素の構造と寸法のみで決まるため、撮像素子単体の焦点検出能力を比較する場合は基線角度αで比較するのが妥当である。位相差検出時の一対２像の相対的な横ずれ量は基線長ＧＰ１もしくは基線角度α１１に比例するので、これらの値が大きいほど、焦点検出分解能が高い。

第１の撮像素子１０１における焦点検出原理を説明すると、以下のようになる。撮像素子に配置された任意像高の画素内の一方の光電変換部（１０１１ａないし１０１２ａ）は、マイクロレンズアレイを介して焦点検出瞳ＡＰ１ａを通過した光束を受光し、光電変換信号Ｓａを出力する。同様に画素内の他方の光電変換部（１０１１ｂないし１０１２ｂ）は、マイクロレンズアレイを介して焦点検出瞳ＡＰ１ｂを通過した光束を受光し、光電変換信号Ｓｂを出力する。そこで、ｘ方向に連続して配置された複数の画素が出力する信号Ｓａ同士と、信号Ｓｂ同士を連ねた信号を、Ａ像信号およびＢ像信号と定義する。すると、Ａ像信号とＢ像信号は、被写体像のピントズレ状態に応じてｘ方向に横ずれしている。この横ずれ量は、被写体像のピントズレ量すなわちデフォーカス量に比例するとともに、焦点検出瞳の基線長ＧＰ１あるいは基線角度α１１にも比例する。

次に、図３（ｂ）に示した第２の撮像素子１０２の画素構造と焦点検出瞳について説明する。本実施形態においては、２つの撮像素子１０１、１０２は１つの撮像レンズ５００を共用しているが、撮像レンズ５００から撮像素子１０２に向かう光束はビームスプリッタ１０３を介して９０度屈曲する。そのため、撮像素子１０２上に形成される被写体像は鏡像であるが、ここでは光束を直線状に展開し、鏡像も元の正像に戻した状態で説明する。

図３（ｂ）には図３（ａ）と同様に２個の画素１０２１および１０２２が図示され、画素１０２１は撮像面中央、すなわち像高ｘ＝０ｍｍに配置され、画素１０２２は像高ｘ＝１０ｍｍに配置されている。
画素１０２１は図３（ａ）の画素１０１１と同一構成を有する。すなわち、画素１０２１の画素高さｈ２は画素１０１１の画素高さｈ１と同一であり、マイクロレンズ１０２１ｃの主点１０２ｐをとおり光軸Ｓ２１ｃに直交する面が撮像面ＩＰ２である。また、マイクロレンズ１０２１ｃの光軸は一対の光電変換部の境界部の中心と一致し、かつマイクロレンズ１０２１ｃの焦点位置は一対の光電変換部の上面と略一致している。

一方で、撮像面ＩＰ２の端部近傍に位置する画素１０２２においては、撮像素子１０１の画素１０１２と同様に、マイクロレンズ１０２２ｃの光軸が画素の中心に対して偏心しているが、その偏心量は所定量ｄｘ１とは異なる所定量ｄｘ２に設定されている。そのため、画素１０２２の主光線Ｓ２２ｃ（一対の光電変換部境界とマイクロレンズの主点を結ぶ線）は光軸に対して所定の角度ω２だけ傾斜し、撮像面ＩＰ１から所定距離を有する点ＣＳ２で光軸と交差する。この交差点ＣＳ２を通り、光軸と直交する仮想面をセンサ瞳面ＳＰＬ２とし、センサ瞳面ＳＰＬ２と撮像面ＩＰ２の間の距離ＰＳ２をセンサ瞳距離と呼ぶ。

よって、撮像素子１０１で説明したセンサ瞳距離に関する式１ないしおよび式３は、撮像素子１０２においては、
Ｘ１／（ＰＳ２+ｈ２）＝ｄｘ２／ｈ２ （式７）
ＰＳ２＝Ｘ１×（ｈ２／ｄｘ２） （式８）
ｄｘ２＝ｈ２×（Ｘ１／ＰＳ２） （式９）
となる。そして、画素１０２２の画素構造や各部の寸法は、マイクロレンズの偏心量を除いて画素１０２１と同一である。よって、センサ瞳面ＳＰＬ２上には、一対の光電変換部１０２２ａおよび１０２２ｂに対応する一対の逆投影像が形成され、この逆投影像は画素１０２１の光電変換部の逆投影像ＡＰ２ａおよびＡＰ２ｂと実質的に同一となる。

すなわち、撮像素子１０２の全ての画素で式９が成り立つようにマイクロレンズの偏心量を設定すれば、全ての画素のセンサ瞳距離がＰＳ２となり、センサ瞳面上で全ての画素の焦点検出瞳がＡＰ２ａおよびＡＰ２ｂに共通化される。

ここで、画素１０１２のマイクロレンズ１０２２ｃの偏心量ｄｘ２は、図３（ａ）に示した第１の撮像素子１０１のが画素１０１１のマイクロレンズ１０１２ｃの偏心量ｄｘ１より小さい。そのため、撮像面端部における主光線角度ωとセンサ瞳距離ＰＳの大小関係は、
ω１＞ω２ （式１０）
ＰＳ１＜ＰＳ２ （式１１）
となる。なお、撮像素子はその製造工程において、画素高さには所定の製造ばらつきを生ずるため、主光線角度ωとセンサ瞳距離ＰＳもばらつきを生ずる。そこで、画素高さの製造ばらつきが生じても式１０および式１１の大小関係が逆転しないように、マイクロレンズの偏心量ｄｘ１およびｄｘ２を設定するのが好ましい。

次に、撮像素子１０２における焦点検出瞳の基線長について説明する。画素１０２１における一対の光電変換部１０２１ａおよび１０１２ｂは、撮像素子１０１の画素１０１１と同様に画素中心に対してｘ方向に対称形状を有し、各々の光電変換部１０１２ａ、１０１２ｂの感度重心位置のｘ方向間隔をＧＳ２とする。また、画素高さはｈ２である。すると、撮像素子１０１における前述の式４ないし式６は、撮像素子１０２においては、
ＧＰ２／ＰＳ２＝ＧＳ２／ｈ２ （式１２）
ＧＰ２＝ＧＳ２×（ＰＳ２／ｈ２） （式１３）
α２１＝ＧＳ２／ｈ２＝ＧＰ２／ＰＳ２ （式１４）
となる。そしてｈ１＝ｈ２、ＧＳ１＝ＧＳ２であるため、基線角度は等しく、α１１＝α２１となる。一方で、焦点検出瞳の基線長はＧＰ２＞ＧＰ１となり、両者は異なる値となっているが、これは焦点検出瞳を投影する面と撮像面の間隔が異なることに起因する。そして、焦点検出精度は基線角度αに依存するため、撮像素子１０１と撮像素子１０２において、撮像面中央にある画素単体の焦点検出性能は同一となる。撮像面の端部における画素１０２２についても式１２および式１３が成り立つため、撮像素子単体では撮像素子１０１と撮像素子１０２の焦点検出性能は等しい。

以上のごとく、第１の撮像素子１０１と第２の撮像素子１０２は、各画素の基本的な特性は同一だが、センサ瞳距離が異なっている。よって、撮像面中央において両者は同等の焦点検出特性となるが、撮像面端部においては撮像レンズの射出瞳と撮像素子の焦点検出瞳の位置関係が異なり、焦点検出特性も異なる。その様子を図４で説明する。

＜各画素の焦点検出瞳と撮像レンズの射出瞳の相対的な位置関係＞
図４は、図３に示したセンサ瞳面ＳＰＬ１およびＳＰＬ２における、各画素の焦点検出瞳と撮像レンズの射出瞳の相対的な位置関係を示した図である。図４（ａ）は撮像素子１０１の画素１０１１に関する図、図４（ｂ）は撮像素子１０１の画素１０１２に関する図である。また、図４（ｃ）は撮像素子１０２の画素１０２１に関する図、図４（ｄ）は撮像素子１０２の画素１０２２に関する図である。

先に、焦点検出瞳の大きさは、焦点検出瞳の投影面距離に比例すると説明した。そして、図４（ａ）（ｂ）と、図４（ｃ）（ｄ）は投影面であるセンサ瞳距離が異なるため、投影距離が揃うように図面の縮尺を調整している。また、いずれの図においても、センサ瞳面における光軸位置を原点としている。まず図４（ａ）について説明する。

図４（ａ）は、第１の撮像素子１０１の撮像面中央に位置する画素１０１１からセンサ瞳面ＳＰＬ１を見た時の焦点検出瞳と撮像レンズの射出瞳を示す。原点はセンサ瞳面ＳＰＬ１と光軸の交点であり、図３（ａ）における点ＣＳ１である。一対の焦点検出瞳ＡＰ１ａおよびＡＰ１ｂは、マイクロレンズ１０１１ｃを介して画素１０１１が有する一対の光電変換部１０１１ａおよび１０１１ｂと光学的に共役関係にある。ただし、マイクロレンズ１０１１ｃの光学収差、および画素の大きさが微小であることによる光波の回折により、一対の焦点検出瞳ＡＰ１ａおよびＡＰ１ｂは輪郭がぼけている。そして各焦点検出瞳はクロスハッチングで示した中心部に行くほど効率が高い、換言すれば中心部に近づくほど受光強度が高い。また、網点で示した領域は周辺部に行くほど効率が低い、換言すれば受光強度は低くなる。そして周辺部は互いの領域の一部が重なっている。

ＥＰ１１は撮像レンズ５００の絞り５０３が開放（Ｆ２）の際の射出瞳を、円５０５は例えば絞り５０３がＦ５．６の際の射出瞳をそれぞれ示している。撮像面中央においては焦点検出瞳と射出瞳は原点である光軸に対して瞳分割方向（横軸ｕ方向）に対称である。。よって、焦点検出時のＦナンバに関わりなく、一対の焦点検出瞳のけられは瞳分割方向に対称となり、画素１０１１が有する一対の光電変換部１０１１ａと１０１１ｂの受光信号強度は等しくなる。

図４（ｂ）は、第１の撮像素子１０１の撮像面端部に位置する画素１０１２からセンサ瞳面ＳＰＬ１を見た時の焦点検出瞳と撮像レンズの射出瞳を示す。原点は図４（ａ）と同様に、図３（ａ）における点ＣＳ１である。一対の焦点検出瞳ＡＰ１ａおよびＡＰ１ｂの形状と位置は図３（ａ）に示した画素１０１１のものと同様であり、原点ＣＳ１に対して瞳分割方向に対称となっている。

画素１０１２から見た、絞り５０３の開放時の射出瞳ＥＰ１２は、口径食により２つの円弧で囲まれた形状となり、ｕ軸方向の幅は狭くなっている。図３（ａ）で説明したように、レンズ瞳距離ＰＬ１と第１の撮像素子１０１のセンサ瞳距離ＰＳ１は若干異なっている。そのため、絞り５０３が開放およびＦ５．６の際の射出瞳ＥＰ１２および５０５の中心ＣＤ１は、焦点検出瞳の境界中心ＣＳ１に対して左方向に若干偏心している。しかしその偏心量は僅かであるため、一対の焦点検出瞳のけられは瞳分割方向に略対称となり、画素１０１２が有する一対の光電変換部１０１２ａと１０１２ｂの受光信号強度はほぼ等しい。

図４（ｃ）は、第２の撮像素子１０２の撮像面中央に位置する画素１０２１からセンサ瞳面ＳＰＬ２を見た時の焦点検出瞳と撮像レンズの射出瞳を示す。原点はセンサ瞳面ＳＰＬ２と光軸の交点であり、図３（ｂ）における点ＣＳ２である。一対の焦点検出瞳ＡＰ２ａおよびＡＰ２ｂは、実質的に図４（ａ）の画素１０１１のものと同一である。

また、絞り５０３の開放時およびＦ５．６における射出瞳ＥＰ２１および５０５も、図４（ａ）に示した射出瞳ＥＰ１１および５０５と同一である。よって、画素１０２１においても焦点検出時のＦナンバに関わりなく、一対の焦点検出瞳のけられは瞳分割方向に対称となり、一対の光電変換部１０２１ａと１０２１ｂの受光信号強度は等しくなる。

図４（ｄ）は、第２の撮像素子１０２の撮像面端部に位置する画素１０２２からセンサ瞳面ＳＰＬ２を見た時の焦点検出瞳と撮像レンズの射出瞳を示す。図４（ｄ）の原点ＣＳ２は図４（ｃ）と同様に、図３（ｂ）における点ＣＳ２である。一対の焦点検出瞳ＡＰ２ａおよびＡＰ２ｂは、図４（ｃ）と同様に原点ＣＳ２に対して瞳分割方向に対称である。

絞り５０３の開放時の射出瞳ＥＰ２２は、図４（ｂ）と同様、口径食により２つの円弧で囲まれた形状を有する。図３（ｂ）で説明したように、レンズ瞳距離ＰＬ１と第２の撮像素子１０２のセンサ瞳距離ＰＳ２はかなり異なっている。そのため、絞り５０３が開放およびＦ５．６の際の射出瞳ＥＰ２２および５０５の中心ＣＤ２は、焦点検出瞳の境界中心ＣＳ２に対して左方向に大きく偏倚する。その結果、一対の焦点検出瞳のけられは瞳分割方向に非対称となり、画素１０２２が有する一対の光電変換部１０２２ａと１０２２ｂの受光信号強度は大きく異なる。この光量差（厳密には光量比）は、像高が大きく、また小絞りになる（Ｆナンバが大きくなる）ほど大きくなる。

＜シェーディング特性＞
図５（ａ），（ｂ）は撮像レンズ５００の絞り５０３が開放（Ｆ２）およびＦ５．６の際に、一様な輝度分布を有する被写体を撮像した際の撮像素子の像高と受光光量との関係、すなわちシェーディング特性を説明する図である。図５（ａ）は第１の撮像素子１０１の特性図、図５（ｂ）は第２の撮像素子１０２の特性図である。まず図５（ａ）について説明する。

図５（ａ）の横軸は第１の撮像素子１０１の撮像面ＩＰ１におけるｘ方向の像高、縦軸は一対の焦点検出瞳に対応する光束を受光する光電変換部の出力信号で、各画素が備える光電変換部の受光光量に比例した値である。Ｓ１ａ（Ｆ２）は、絞り開放（Ｆ２）時における、一方の焦点検出瞳ＡＰ１ａに対応する複数の光電変換部の出力信号であり、これをＡ像信号と呼ぶ。Ｓ１ｂ（Ｆ２）は対となる他方の焦点検出瞳ＡＰ１ｂに対応する複数の光電変換部の出力信号で、これをＢ像信号と呼ぶ。

焦点検出の際は、輝度が一定でない被写体を撮影して得られるＡ像信号とＢ像信号の相関演算を行なってデフォーカス量を検出するが、図５（ａ）は無地の均一輝度面に対する信号、すなわち焦点検出系のシェーディング特性を表わしている。両信号の値は像高ｘの絶対値の増加とともに低下するが、これは撮像レンズの口径食に起因する。また、第１の撮像素子１０１はレンズ瞳距ＰＬ１とセンサ瞳距離ＰＳ１が略一致しているが、図３（ａ）で説明したように、厳密にはレンズ瞳距離ＰＬ１の方が若干小さい。そのため、図４（ａ）および（ｂ）で説明したように、像高の増加と共に撮像レンズの射出瞳中心と焦点検出瞳の中立点が僅かにずれ、図５（ａ）のＡ像信号Ｓ１ａ（Ｆ２）とＢ像信号Ｓ１ｂ（Ｆ２）は像高に応じてその値が若干異なっている。また、像高ｘが正の領域ではＡ像＞Ｂ像、像高ｘが負の領域ではＡ像＜Ｂ像となり、像高の正負に応じて両信号の大小関係は逆転する。

図５（ａ）のＳ１ａ（Ｆ５．６）およびＳ１ｂ（Ｆ５．６）は、絞り５０３がＦ５．６の際のＡ像およびＢ像信号である。両信号の値は像高の絶対値が大きいほど小さくなるが低下の割合は絞りが開放の場合より低い。値の低下はコサイン４乗則によるものである。また、同じ像高における信号値の差も像高の増加とともに大きくなるが、その理由は絞り開放の場合と同様である。

図５（ｂ）は第２の撮像素子１０２の特性図であり、図の意味は図５（ａ）と同じである。Ｓ２ａ（Ｆ２）とＳ２ｂ（Ｆ２）は、絞り５０３の開放時（Ｆ２）におけるＡ像信号とＢ像信号、Ｓ２ａ（Ｆ５．６）とＳ２ｂ（Ｆ５．６）は、絞り５０３がＦ５．６のときのＡ像信号とＢ像信号である。

図３（ｂ）で説明したように、第２の撮像素子１０２はレンズ瞳距ＰＬ１とセンサ瞳距離ＰＳ２の乖離が大きい。そのため、図４（ｄ）で示すように、像高の大きな領域では撮像レンズの射出瞳中心と焦点検出瞳の中立点のずれも大きく、一対の焦点検出瞳の光量比もアンバランスになる。よって、第２の撮像素子１０２のシェーディング特性も、口径食やコサイン４乗則を起因とする光量低下に加え、射出瞳と焦点検出瞳の位置ずれに起因するＡ像信号とＢ像信号の乖離が顕著になっている。

焦点検出時には本体１００が記憶している情報を用いてＡ像信号とＢ像信号にシェーディング補正を行ってから相間演算を行なうのが一般的である。しかしながら、元の像信号のレベル差が大きいとシェーディング補正誤差も大きくなりがちである。また、元の信号レベルが本来想定したレベルより低いと、シェーディング補正による信号増幅比も大きくなり、その結果ノイズ等を増幅して焦点検出誤差が増加してしまう。

すなわち、図５（ａ）と（ｂ）のシェーディング特性を比較すると、同図（ａ）の方がＡ像信号とＢ像信号のレベル差が少なく、焦点検出精度が良いと判断できる。よって、２つの撮像素子１０１、１０２のいずれからも位相差方式の焦点検出用信号を生成可能な場合、レンズ瞳距離とセンサ瞳距離の乖離が少なく、Ａ像信号とＢ像信号のシェーディング特性が一致している方の撮像素子の焦点検出結果を優先的に使用する。

シェーディング特性の一致度は、以下のように定義して判断する。撮像面の端部に近い所定像高において、Ａ像信号とＢ像信号のうちの大きな方をＭａｘ（Ａ，Ｂ）、小さな方をＭｉｎ（Ａ，Ｂ）、両者の比をシェーディング比ＳＨとし、次式
ＳＨ＝Ｍａｘ（Ａ，Ｂ）／Ｍｉｎ（Ａ，Ｂ） （式１４）
で定義する。シェーディング比ＳＨが１に近いほどシェーディング特性が一致している。

図５（ｃ）は２つの撮像素子１０１、１０２におけるシェーディング比ＳＨがレンズ瞳距離に対してどのように変化するのかを示した図である。横軸は撮像レンズのレンズ瞳距離ＰＬ、縦軸はシェーディング比ＳＨである。本実施形態の撮像レンズ５００はズームやフォーカスの状態変化により、レンズ瞳距離がＰＬｍｉｎからＰＬｍａｘまで変化する。ＳＨ１（Ｆ２）およびＳＨ１（Ｆ５．６）は、絞り５０３が開放（Ｆ２）およびＦ５．６である場合の第１の撮像素子１０１のシェーディング比である。レンズ瞳距離ＰＬが撮像素子１０１のセンサ瞳距離ＰＳ１に一致すると、Ａ像信号とＢ像信号のシェーディング波形は等しく、シェーディング比ＳＨ１は極小値の１となる。そして、レンズ瞳距離ＰＬがセンサ瞳距離ＰＳ１からずれるに従って、シェーディング比ＳＨ１は増加し、小絞りに（Ｆナンバが大きく）なるほどシェーディング比の増加が著しい。

ＳＨ２（Ｆ２）およびＳＨ２（Ｆ５．６）は、撮像レンズ５００の絞り５０３が開放およびＦ５．６の際の第２の撮像素子１０２のシェーディング比である。レンズ瞳距離ＰＬが撮像素子１０２のセンサ瞳距離ＰＳ２に一致すると、Ａ像信号とＢ像信号のシェーディング波形は等しく、シェーディング比ＳＨ１は極小値の１となる。そして、レンズ瞳距離ＰＬがセンサ瞳距離ＰＳ２からずれるに従って、シェーディング比ＳＨ２は増加し、小絞りに（Ｆナンバが大きく）なるほどシェーディング比の増加が著しい。

ＰＳｍｉｄはシェーディング比ＳＨ１とＳＨ２の大小関係が反転するレンズ瞳距離であり、これを境界瞳距離と呼ぶ。シェーディング比ＳＨが小さいほど、Ａ像信号とＢ像信号のレベル差が少ないため、焦点検出の際にはシェーディング比ＳＨが小さい方の撮像素子を用いるのが好ましい。よって、焦点検出時のレンズ瞳距離ＰＬが境界瞳距離ＰＳｍｉｄより小さい時は、第１の撮像素子１０１の焦点検出結果を優先し、レンズ瞳距離ＰＬが境界瞳距離ＰＳｍｉｄより大きい時は、第２の撮像素子１０２の焦点検出結果を優先するのが好ましい。

＜焦点検出用信号の波形例＞
図６（ａ），（ｂ）は、焦点検出領域内の被写体に合焦するフォーカスレンズ位置を検出する場合の焦点検出用信号（Ａ像およびＢ像信号）の波形例で、図６（ａ）はシェーディング補正前、図６（ｂ）はシェーディング補正後の波形である。両図共に、横軸は撮像面のｘ座標、縦軸は焦点検出用信号の出力強度で、Ｓａ、Ｓｂは第１の撮像素子１０１もしくは第２の撮像素子１０２から得られるＡ像信号およびＢ像信号である。

シェーディング補正前（図６（ａ））は、Ａ像信号とＢ像信号とにはレベル差が存在する。すなわちＢ像信号Ｓｂに対してＡ像信号Ｓａは平均値が高く、かつ、像高ｘの増加に応じてレベル差が拡大している。一方、シェーディング補正後（図６（ｂ））は、Ａ像信号ＳａとＢ像信号Ｓｂのレベルが揃っている。Ａ像およびＢ像信号の位相差φを得るための相関演算は、シェーディング補正後のＡ像およびＢ像信号を対象として実行する。

相間演算式には種々のものが提案されているが、例えば以下の式１５が用いられる。
Ｃ（φ）＝Σ｜Ａ（ｉ）－Ｂ（ｉ）｜ （式１５）
Ａ（ｉ）およびＢ（ｉ）は所定の焦点検出領域から出力されたＡ像信号とＢ像信号で、ｉはｘ軸方向の画素番号を表わす。例えば焦点検出領域のｘ軸方向に存在する焦点検出用画素の数が１００画素であれば、ｉは１から１００の値を取る。従って、式１５の右辺は、焦点検出領域内のＡ像信号とＢ像信号の差の絶対値を積算したものになる。Ｃ（φ）は相関値で、φは上記積算演算を行なう際のＡ像信号とＢ像信号の相対的なずらし量である。すなわち、相間演算はＡ像信号とＢ像信号を相対的にずらしながら式１５を計算し、相関値Ｃ（φ）が極小値を取る時のφをＡ像信号とＢ像信号の位相差とみなす。

＜一対２像の位相差と相関値の関係＞
図６（ｃ）は一対２像の位相差と相関値の関係を説明する図である。横軸はＡ像信号とＢ像信号の相対的なずらし量、縦軸は式１５の相関値Ｃ（φ）である。Ｃ１は第１の撮像素子１０１の焦点検出用信号の相関値で、ずらし量φ１において、相関値は極小値Ｃ１ｍｉｎを示す。Ｃ２は第２の撮像素子１０２の焦点検出用信号の相関値で、ずらし量φ２において、相関値は極小値Ｃ２ｍｉｎを示す。本実施形態においては、レンズ瞳距離とセンサ瞳距離の一致度は第１の撮像素子１０１の方がよいため、第１の撮像素子１０１から得られる焦点検出用信号の方が、信頼性が高い場合が多い。よって、相関値Ｃ（φ）の極小値も第１の撮像素子１０１による値の方が小さく、得られた位相差も、φ２よりもφ１の方が、信頼性が高いと推定される。

次いで、式１５で得られた位相差φをデフォーカス量ＤＥＦに変換する。ここで、位相差φとデフォーカス量ＤＥＦは次式の関係にある。
φ＝ＤＥＦ×α （式１６）
ＤＥＦ＝φ／α＝φ×Ｋ （式１７）
αは一対の焦点検出光束の基線角度で、図３（ａ）のα１１やα１２、あるいは同図（ｂ）のα２１やα２２である。ただし、図３に示した基線角度は撮像素子単体における値であるが、焦点検出光束は撮像レンズの射出瞳によってけられが生ずるため、式１６や式１７の基線角度αは撮像レンズの光学状態、すなわち撮像レンズのＦナンバやレンズ瞳距離によっても変化する。従って、デフォーカス量ＤＥＦを算出するためには基線角度αに関する情報が必要となるが、この情報については後述する。

カメラＣＰＵ１０４は式１７を用いて位相差φをデフォーカス量ＤＥＦに変換し、さらにデフォーカス量ＤＥＦをフォーカスレンズ５０３の駆動量および駆動方向に変換して撮像レンズのレンズＣＰＵ５０７に送信する。レンズＣＰＵ５０７は受信したレンズ駆動量および駆動方向に基づいてフォーカス駆動部５０４を駆動する。このようにして、撮像レンズ５００を焦点検出領域内の被写体に合焦させることができる。

＜シェーディング補正情報＞
図７（ａ），（ｂ）は本体１００がＲＯＭ１１５に予め記憶しているシェーディング補正情報の例を示す。シェーディング補正情報は例えばルックアップテーブルの型式で、撮像素子ごとに記憶されている。図７（ａ）は第１の撮像素子１０１用の情報、図７（ｂ）は第２の撮像素子１０２用の情報である。

図７（ａ）において、ルックアップテーブルの列方向（横方向）には、撮像レンズ５００のＦナンバが、Ｆ１．４からＦ１６まで１段絞りごとに８種の値として割り当てられる。行方向（縦方向）には撮像レンズ５００のレンズ瞳距離が、離散的な複数の焦点距離について、最小値のレンズ瞳距離１（例えば５０ｍｍ）から最大値のレンズ瞳距離８（例えば２００ｍｍ）まで、等差数列もしくは等比数列として割り当てられる。そして各Ｆナンバとレンズ瞳距離に対応する箇所には、撮像素子１０１に対応するシェーディング補正情報Ｆｓ１１１からＦｓ１８８が格納されている。ここで、Ｆｓ１１１ないしＦｓ１８８は単一の定数ではなく、所定の関数を定義するための複数の係数で構成される。

焦点検出用信号に生ずるシェーディングは、図５（ａ），（ｂ）で説明したように、撮像面上の像高に応じて連続的に変化する。そこで、シェーディング補正関数を、像高ｘおよび像高ｙを変数とする多項式関数で定義し、図５（ａ），（ｂ）のシェーディング波形をシェーディング補正関数で近似した時の各次数における係数をシェーディング補正情報として記憶すればよい。図７（ｂ）は第２の撮像素子１０２用のシェーディング補正情報であり、その構成と補正情報が示す内容は第１の撮像素子１０１用のシェーディング補正情報と同様であるため、説明は省略する。

＜位相差φをデフォーカス量に変換するための変換情報＞
図７（ｃ）、（ｄ）は、図６（ｂ）に示した２像の位相差φをデフォーカス量ＤＥＦに変換するための変換情報で、式１７のＫに相当し、シェーディング補正情報と同様のルックアップテーブルとしてＲＯＭ１１５に予め記憶されている。図７（ｃ）は第１の撮像素子１０１用の変換情報、図７（ｄ）は第２の撮像素子１０２用の変換情報である。

図７（ｃ）において、ルックアップテーブルのＦナンバとレンズ瞳距離に対応する箇所には、撮像素子１０１に対応する変換情報Ｆｋ１１１からＦｋ１８８が格納されている。ここで、Ｆｋ１１１ないしＦｋ１８８も単一の定数ではなく、所定の関数を定義するための複数の係数で構成される。位相差検出時に撮像面上の各画素が受光する焦点検出光束は、撮像面上のｘおよびｙ座標に応じてけられ状態が変化するため、焦点検出瞳の基線長も像高に応じて連続的に変化する。そこで、光学計算もしくは実測で求めた変換係数分布を像高ｘおよび像高ｙを変数とする多項式関数で近似し、近似した関数の各次数における係数を、位相差φをデフォーカス量ＤＥＦに変換する係数として記憶すればよい。図７（ｄ）は第２の撮像素子１０２用の変換情報であり、その構成と補正情報が示す内容は第１の撮像素子１０１用の変換情報と同様であるため、説明は省略する。

＜撮影処理＞
図８は本実施形態のデジタルカメラにおける撮影処理の手順を示すフローチャートである。このフローチャートに示す処理は、例えば、ユーザが操作部１０５に含まれる電源スイッチをオン操作されたことをカメラＣＰＵ１０４が検出すると開始される。電源スイッチのオン操作を検出するとカメラＣＰＵ１０４は、起動処理として、本体１００の各構成要素の動作確認や、ＲＡＭ１１４やプログラムの初期化処理などを実行する。

起動処理が完了すると、Ｓ１０２でカメラＣＰＵ１０４は、レンズＣＰＵ５０７と通信を行ない、撮像レンズ５００の情報を取得する。取得する情報には、開放Ｆナンバ、焦点距離、射出瞳距離ＰＬ、フォーカスレンズ繰り出し量とピント変化量の比例定数であるフォーカス敏感度、などが含まれてよいが、これらに限定されない。

Ｓ１０３でカメラＣＰＵ１０４は、静止画モードと動画モードのいずれが設定されているかを判別し、静止画モードと判別されればＳ１１１へ、動画モードと判定されればＳ１３１へ、処理を進める。

Ｓ１１１でカメラＣＰＵ１０４は、表示部１１０を電子ビューファインダーとして機能させるためにリアルタイム表示するライブビュー画像を生成するため、撮像素子１０１で動画撮影を開始する。また、カメラＣＰＵ１０４は、第２の読み出しモードで撮像素子１０１から画像信号を読み出す。なお、焦点検出用信号を生成する場合には、焦点検出領域内の画素は間引きせずに読み出してもよい。

Ｓ１１２でカメラＣＰＵ１０４は、Ｓ１１１で読み出した画像信号（動画像の１フレーム）の明るさに応じて、ライブビュー表示用の動作撮影時の絞り制御を行う。カメラＣＰＵ１０４は、画像信号の明るさを例えばフレーム全体もしくは焦点検出領域の平均輝度値に基づいて判定することができる。

Ｓ１１１～Ｓ１１５は、静止画モードにおけるライブビュー表示用の動画撮影および焦点検出に関する動作を行うステップである。静止画撮影において、ライブビュー表示用の動画撮影時の絞り値と、記録用の静止画撮影時の絞り値とが異なっても大きな支障は無い。一方、記録用に撮影される静止画は一般に解像度が高いため、合焦誤差の許容値は小さい。そのため、Ｓ１１２でカメラＣＰＵ１０４は、撮像レンズ５００の絞り５０３のＦナンバを小さく（開口径が大きく）することを優先して絞り制御を行なう。

絞り５０３のＦナンバを小さくすると露出オーバーとなる場合、カメラＣＰＵ１０４は、撮像素子１０１の信号を増幅するアンプのゲインを低くしたり、動作撮影時の露光時間（電子シャッタスピード）を短くしたりして、撮像画像が適正露出となるようにする。

Ｓ１１３でカメラＣＰＵ１０４は、撮像素子１０１から読み出した画像信号から表示用画像を生成する。そして、カメラＣＰＵ１０４は、表示用画像を表示用信号に変換し、ファインダ内表示部１０７もしくは表示部１１０に表示させる。これにより、ファインダ内表示部１０７または表示部１１０へのライブビュー表示が開始する。

Ｓ１１４でカメラＣＰＵ１０４は、静止画撮影に適した焦点検出１のサブルーチンを実行する。サブルーチンの詳細は図９（ａ）で説明する。
Ｓ１１５でカメラＣＰＵ１０４は、Ｓ１１４の焦点検出処理で得られたフォーカスレンズ駆動量および駆動方向を、通信端子１１３、５０８を介してレンズＣＰＵ５０７に送信する。レンズＣＰＵ５０７は受信した駆動量および駆動方向に従ってフォーカス駆動部５０４を駆動する。

Ｓ１１６でカメラＣＰＵ１０４は、操作部１０５のシャッタースイッチの操作など、静止画撮影の開始指示が入力されたか否か判定し、入力されたと判定されればＳ１２１へ処理を進める。一方、静止画撮影の開始指示が入力されたと判定されなければ、カメラＣＰＵ１０４は、処理をＳ１１１に戻して、次フレームについての処理を実行する。

Ｓ１２１でカメラＣＰＵ１０４は、静止画撮影１のサブルーチンを実行する。サブルーチンの詳細は図９（ｂ）で説明する。
Ｓ１２２でカメラＣＰＵ１０４は、Ｓ１２１で取得した画像信号から記録用の静止画像データを生成する。そして、カメラＣＰＵ１０４は、記録用の静止画像データを予め定められた型式のデータファイルに格納して、記録媒体１０６に記録する。

なお、上述したように、本実施形態では撮像素子１０１の各画素から光電変換部ごとには画像信号を読み出す。そのため、表示用画像や記録用画像を生成するには、まず、画素ごとに、２つの光電変換部から読み出した画像信号を加算する必要がある。加算はカメラＣＰＵ１０４が実行しても、他の回路が実行してもよい。

カメラＣＰＵ１０４は、加算処理によって画素ごとに１つの信号となった画像信号に対してＡ／Ｄ変換、ホワイトバランス調整、色補間、ガンマ補正、収差補正、信号型式の変換、符号化などの処理を適用して、表示用または記録用の画像信号データを生成する。

本実施形態においてカメラＣＰＵ１０４は、光電変換部１０１ａ、１０１ｂごとに読み出した画像信号についても、記録媒体１０６に記録する。
なお、画像信号から表示用または記録用の画像データを生成する処理は、専用の回路を設けて行っても良い。
そしてカメラＣＰＵ１０４は、静止画撮影処理を終了する。

次いで、動画撮影時の動作について説明する。
Ｓ１３１でカメラＣＰＵ１０４は、表示部１１０（またはファインダ内表示部１０７）を電子ビューファインダーとして機能させるためにリアルタイム表示するライブビュー画像を生成するため、撮像素子１０２で動画撮影を開始する。また、カメラＣＰＵ１０４は、第２の読み出しモードで撮像素子１０２から画像信号を読み出す。なお、焦点検出用信号を生成する場合には、焦点検出領域内の画素は間引きせずに読み出してもよい。

Ｓ１３２でカメラＣＰＵ１０４は、Ｓ１３１で読み出した画像信号（動画像の１フレーム）の明るさに応じて、ライブビュー表示用の動作撮影時の絞り制御を行う。カメラＣＰＵ１０４は、画像信号の明るさを例えばフレーム全体もしくは焦点検出領域の平均輝度値に基づいて判定することができる。

動画モードにおいては、ライブビュー表示用の動画撮影と、記録用の動画撮影とで同じ絞り値を用いるため、Ｓ１３２でカメラＣＰＵ１０４は動画撮影に適した絞り値を選択する。動画撮影時に電子シャッタースピード（露光時間）を短くし過ぎると、ストップモーションの静止画が高速でコマ送りされるような不自然な動画となる。よって、カメラＣＰＵ１０４は、このような現象を回避するように予め定められた電子シャッタースピードをまず選択する。その上でカメラＣＰＵ１０４は、適正露出の動画フレームが撮影できるように、絞り値（Ｆナンバ）や撮像信号の増幅ゲインを制御する。カメラＣＰＵ１０４は、決定したＦナンバを通信端子１１３および５０８を介してレンズＣＰＵ５０７に送信する。レンズＣＰＵ５０７は絞り駆動部５０６を制御し、絞り５０３の開口径を指定されたＦナンバに対応した大きさにする。

Ｓ１３３でカメラＣＰＵ１０４は、撮像素子１０２から読み出した画像信号表示用画像を生成する。そして、カメラＣＰＵ１０４は、表示用画像を表示用信号に変換し、ファインダ内表示部１０７もしくは表示部１１０に表示させる。これにより、ファインダ内表示部１０７または表示部１１０へのライブビュー表示が開始する。

Ｓ１３４でカメラＣＰＵ１０４は、動画撮影に適した焦点検出２のサブルーチンを実行する。サブルーチンの詳細は図１０（ａ）で説明する。
Ｓ１３５でカメラＣＰＵ１０４は、Ｓ１３４の焦点検出処理で得られたフォーカスレンズ駆動量および駆動方向を、通信端子１１３、５０８を介してレンズＣＰＵ５０７に送信する。レンズＣＰＵ５０７は受信した駆動量および駆動方向に従ってフォーカス駆動部５０４を駆動する。

Ｓ１４１でカメラＣＰＵ１０４は、操作部１０５の動作撮影ボタンの操作など、記録用の動画撮影の開始指示が入力されたか否か判定し、入力されたと判定されればＳ１４２へ処理を進める。一方、記録用の動画撮影の開始指示が入力されたと判定されなければ、カメラＣＰＵ１０４は、処理をＳ１４３に進める。

Ｓ１４２ではカメラＣＰＵ１０４は、記録用の動画データ（１フレーム分）を生成し、記録媒体１０６に記録する。なお、Ｓ１３１で読み出した動画フレームの解像度が記録用動画像の解像度未満の場合、カメラＣＰＵ１０４はＳ１４２で記録用の動画撮影を改めて実行してもよい。Ｓ１３１で読み出した動画フレームの解像度が記録用動画像の解像度以上であれば、カメラＣＰＵ１０４は、Ｓ１３１で読み出され、ＲＡＭ１１５に一時的に記憶されている画像信号から記録用の動画データを生成することができる。記録用の動画データは、記録時の符号化処理が異なる他は静止画に対する処理と同様であってよい。

Ｓ１４３でカメラＣＰＵ１０４は、操作部１０５のシャッタースイッチの操作など、静止画撮影の開始指示が入力されたか否か判定し、入力されたと判定されればＳ１４４へ処理を進める。一方、静止画撮影の開始指示が入力されたと判定されなければ、カメラＣＰＵ１０４は、処理をＳ１４６に進める。本実施形態では、動画モードでライブビュー表示中もしくは動画記録中に静止画撮影が指示されると、撮像素子１０１による静止画の記録を可能としている。

Ｓ１４４でカメラＣＰＵ１０４は、静止画撮影２のサブルーチンを実行する。サブルーチンは、Ｓ１２１の静止画撮影１のサブルーチンとは異なり、動画モードが選択された状態で、動画撮影と並行した静止画撮影用のサブルーチンである。詳細は図１０（ｂ）で説明する。

Ｓ１４５でカメラＣＰＵ１０４は、Ｓ１４４で取得した画像信号から記録用の静止画像データを生成する。そして、カメラＣＰＵ１０４は、記録用の静止画像データを予め定められた型式のデータファイルに格納して、記録媒体１０６に記録する。ここでもカメラＣＰＵ１０４は、光電変換部１０１ａ、１０１ｂごとに読み出した画像信号を記録媒体１０６に記録する。Ｓ１４５における具体的な処理内容は先に説明したＳ１２２と同様である。

Ｓ１４６でカメラＣＰＵ１０４は、操作部１０５の動作撮影ボタンの操作など、記録用動画撮影の終了指示が入力されたか否かを判断する。終了指示が入力されたと判定されなければカメラＣＰＵ１０４はＳ１３１からＳ１４５のステップを繰り返し実行する。一方、終了指示が入力されたと判定されればカメラＣＰＵ１０４は動画撮影を終了する。

なお、ここでは便宜上、静止画および動画とも記録が終了すると撮影処理を終了するものとして説明したが、Ｓ１２２およびＳ１４６（ＹＥＳ）からＳ１０３に戻って次の撮影開始指示を待機してもよい。

＜焦点検出１＞
図９（ａ）は図８のＳ１１４で実行する「焦点検出１」の詳細を示すフローチャートである。
Ｓ１５１でカメラＣＰＵ１０４は、レンズＣＰＵ５０７から取得した撮像レンズ５００のレンズ瞳距離ＰＬが、図５（ｃ）で説明した境界瞳距離ＰＳｍｉｄより小さいか否かを判定する。そして、カメラＣＰＵ１０４は、レンズ瞳距離ＰＬが境界瞳距離ＰＳｍｉｄよりも小さいと判定されればＳ１５２へ、判定されなければＳ１５３へ、処理を進める。

Ｓ１５２でカメラＣＰＵ１０４は、静止画撮影用の撮像素子１０１を用いた焦点検出を実行する。具体的には、カメラＣＰＵ１０４は、撮像素子１０１の焦点検出領域内の画素から読み出した画像信号から一対の焦点検出用信号（Ａ像信号とＢ像信号）を生成する。そして、カメラＣＰＵ１０４は、ＲＯＭ１１５内のルックアップデーブル（図７（ａ））から、現在の絞り５０３のＦナンバとレンズ瞳距離ＰＬの組み合わせに対応するシェーディング補正情報を読み出し、Ａ像信号とＢ像信号にシェーディング補正を適用する。

次にカメラＣＰＵ１０４は、式１５に示した相間演算により、シェーディング補正後のＡ像信号とＢ像信号の位相差φ１を計算する。そして、カメラＣＰＵ１０４は、Ｆナンバとレンズ瞳距離ＰＬの組み合わせに対応する変換情報を図７（ｃ）に示したルックアップテーブルから取得し、式１７を用いてデフォーカス量ＤＥＦ１を算出する。

Ｓ１５５でカメラＣＰＵ１０４は、デフォーカス量ＤＥＦ１をフォーカスレンズ駆動量および駆動方向に変換して焦点検出１を終了する。

一方、Ｓ１５１において現在のレンズ瞳距離ＰＬが境界瞳距離ＰＳｍｉｄより小さくない（ＰＬ≧ＰＳｍｉｄ）と判定された場合、カメラＣＰＵ１０４は、Ｓ１５３に処理を進める。
Ｓ１５３でカメラＣＰＵ１０４は、撮像素子１０２の駆動を開始し、処理をＳ１５４に進める。
Ｓ１５４でカメラＣＰＵ１０４は、Ｓ１５２と同様にして、撮像素子１０２で取得した画像信号からデフォーカス量ＤＥＦ２を算出する。すなわち、カメラＣＰＵ１０４は、撮像素子１０２で得られた画像信号から一対の焦点検出用信号（Ａ像信号とＢ像信号）を生成する。そして、カメラＣＰＵ１０４は、現在のＦナンバとレンズ瞳距離ＰＬとの組み合わせに対応する、撮像素子１０２用のシェーディング補正情報（図７（ｂ））を取得し、Ａ像信号とＢ像信号にシェーディング補正を適用する。

次にカメラＣＰＵ１０４は、式１５に示した相間演算により、シェーディング補正後のＡ像信号とＢ像信号の位相差φ２を計算する。そして、カメラＣＰＵ１０４は、Ｆナンバとレンズ瞳距離ＰＬの組み合わせに対応する変換情報を図７（ｄ）に示したルックアップテーブルから取得し、式１７を用いてデフォーカス量ＤＥＦ２を算出する。
そして、カメラＣＰＵ１０４は、処理をＳ１５５に進める。

＜静止画撮影１＞
図９（ｂ）は、図８のＳ１２１で実行する「静止画撮影１」サブルーチンのフローチャートである。
Ｓ１６１でカメラＣＰＵ１０４は、例えば直前に撮影した画像の明るさと予めＲＯＭ１１５に記憶されているプログラム線図とに従って決定した静止画撮影用のＦナンバを通信端子１１３、５０８を介してレンズＣＰＵ５０７に送信する。レンズＣＰＵ５０７は、絞り５０３の開口が受信したＦナンバに対応する大きさになるよう、絞り駆動部５０６を駆動する。

Ｓ１６２でカメラＣＰＵ１０４は、ライブビュー撮影のために開放していたシャッタ１１１を閉鎖させ、撮像素子１０１を遮光する。
Ｓ１６３でカメラＣＰＵ１０４は、撮像素子１０１で静止画撮影を行なうための電荷蓄積動作を開始する。
Ｓ１６４でカメラＣＰＵ１０４は、例えばＦナンバと一緒に決定した静止画撮影用のシャッタースピードに基づき、シャッタ１１１の先幕および後幕を駆動し、撮像素子１０１を露光する。

シャッタ１１１の動作が完了すると、Ｓ１６５でカメラＣＰＵ１０４は撮像素子１０１の蓄積動作を終了し、各画素の光電変換部に蓄積された電荷を、画素内の電荷蓄積部（フローディングディフュージョン）に転送する。以上が、静止画撮影１の処理である。

このように、静止画モードで静止画撮影を行なう場合には、（メカニカル）シャッタ１１１で撮像素子１０１の露光量を制御し、蓄積電荷の転送時には撮像素子１０１を遮光する。これによりスミアやブルーミングの発生が回避でき、高画質の静止画を得ることができる。

＜焦点検出２＞
図１０（ａ）は図８のＳ１３４で実行する「焦点検出２」の詳細を示すフローチャートである。
Ｓ１７１でカメラＣＰＵ１０４は、レンズＣＰＵ５０７から取得した撮像レンズ５００のレンズ瞳距離ＰＬが、図５（ｃ）で説明した境界瞳距離ＰＳｍｉｄより大きいか否かを判定する。そして、カメラＣＰＵ１０４は、レンズ瞳距離ＰＬが境界瞳距離ＰＳｍｉｄよりも大きいと判定されればＳ１７２へ、判定されなければＳ１７３へ、処理を進める。

Ｓ１７２でカメラＣＰＵ１０４は、動画撮影を行っている撮像素子１０２を用いた焦点検出を実行し、デフォーカス量ＤＥＦ２を算出する。焦点検出時の動作は図９（ａ）のＳ１５４と実質的に同一であるため、説明は省略する。

Ｓ１７２でデフォーカス量ＤＥＦ２を算出すると、Ｓ１７５でカメラＣＰＵ１０４はＳ１５５と同様にしてデフォーカス量ＤＥＦ２をフォーカスレンズ駆動量および駆動方向に変換し、焦点検出２を終了する。

一方、Ｓ１７１において現在のレンズ瞳距離ＰＬが境界瞳距離ＰＳｍｉｄより大きくない（ＰＬ≦ＰＳｍｉｄ）と判定された場合、カメラＣＰＵ１０４は、Ｓ１７３に処理を進める。
Ｓ１７３でカメラＣＰＵ１０４は、撮像素子１０１の駆動を開始し、処理をＳ１７４に進める。
Ｓ１７４でカメラＣＰＵ１０４は、図９（ａ）のＳ１５２と同様にして、デフォーカス量ＤＥＦ１を算出する。
そしてＳ１７５でカメラＣＰＵ１０４は、Ｓ１５５と同様にしてデフォーカス量ＤＥＦ１をフォーカスレンズ駆動量および駆動方向に変換し、焦点検出２を終了する。

＜静止画撮影２＞
図１０（ｂ）は図８のＳ１４４で実行する「静止画撮影２」の詳細を示すフローチャートである。動画撮影中、シャッタ１１１は開放状態であり、かつ撮像レンズ５００の絞り５０３の開口は動画撮影用のＦナンバに対応する大きさに制御されている。
したがって、Ｓ１８１でカメラＣＰＵ１０４は、現在のＦナンバ、撮像素子１０１の設定感度、およびプログラム線図に基づいて、撮像素子１０１で静止画撮影する際の露光時間を決定する。

Ｓ１８２でカメラＣＰＵ１０４は、シャッタ１１１は開放状態のまま、撮像素子１０１における電荷蓄積を開始する（電子シャッタによる露光開始）。
Ｓ１８３でカメラＣＰＵ１０４は、決定した露光時間が経過すると、電荷蓄積動作を終了させる（電子シャッタによる露光終了）。
Ｓ１８４でカメラＣＰＵ１０４は、蓄積した電荷を電荷蓄積部に転送し、静止画撮影２を終了する。

このように、動画モードにおいて、動画撮影と並行して静止画撮影を行なう場合、動画撮影用に制御されているＦナンバを維持したまま静止画撮影を行なう。また、シャッタ１１１は開放状態のまま、電子シャッタによって露光時間を制御する。したがって、動画記録中の静止画撮影によって絞り５０３の開口径が変化することなく、かつシャッタ１１１の動作音が録音されることもない。そのため、記録中の動画に影響を与えることなく静止画を撮影することができる。

なお、上述の説明では、動画記録中、静止画撮影の開始指示が入力されていることを条件に静止画撮影を行うものとして説明した。しかし、動画記録中は無条件に静止画撮影を実行するように構成してもよい。この場合、Ｓ１４３の判定処理は不要となる。あるいは、Ｓ１４３を動画記録中に静止画撮影を常に実行する撮影モードが設定されているかどうかの判定処理としてもよい。

＜静止画選定処理＞
次に、記録媒体１０６に記録された動画から、ユーザが選択したシーンに対応する静止画を、記録媒体１０６に記録された静止画から自動選択する動作について説明する。選定処理は、例えば操作部１０５から選定処理の実行指示が入力されたことに応じて開始されるものとするが、記録媒体１０６に記録されている動画の再生が一次停止された際など、他の条件に応じて開始されてもよい。

Ｓ２０２でカメラＣＰＵ１０４は、選定処理の実行可否を判定し、可能と判定されればＳ２０３へ、可能と判定されなければＳ２０７へ、処理を進める。具体的にはカメラＣＰＵ１０４は、記録媒体１０６に対して動画記録や静止画記録を実行中でなければ選定処理を実行可能と判定する。

Ｓ２０３でカメラＣＰＵ１０４は、静止画選定１のサブルーチンを実行する。静止画選定１では、ユーザが選択したシーンに対応すると推測される静止画から被写体検出を行い、当該被写体検出結果に基づいて記録媒体１０６に記録された静止画を自動選択する。詳細は図１２を用いて後述する。
Ｓ２０４でカメラＣＰＵ１０４は、選定不可フラグがＯＮか否かを判定する。選定不可フラグとは、静止画選定１（Ｓ２０３）または静止画選定２（Ｓ２０５）の処理で設定されるフラグである。選定不可フラグのＯＮは、静止画選定１または静止画選定２の処理において、静止画が選定できなかったことを表す。カメラＣＰＵ１０４は、選定不可フラグがＯＮと判定されればＳ２０５に、選定不可フラグがＯＮと判定されなければＳ２０８に処理を進める。

Ｓ２０５でカメラＣＰＵ１０４は、静止画選定２のサブルーチンを実行する。静止画選定２では、ユーザが選択したシーンに対応すると推測される動画から被写体検出を行い、当該被写体検出結果に基づいて記録媒体１０６に記録された静止画を自動選択する。詳細は図１４を用いて後述する。
Ｓ２０６でカメラＣＰＵ１０４は、Ｓ２０４と同様に、選定不可フラグがＯＮか否かを判定し、ＯＮと判定されればＳ２０７に、判定されなければＳ２０８に処理を進める。

Ｓ２０７でカメラＣＰＵ１０４は、表示部１１０にエラー表示を行う。エラー表示は、静止画の自動選定ができなかった旨をユーザに伝えるための表示であり、例えばメッセージ表示であってよい。操作部１０５を通じてエラー表示の確認操作が検出されると、カメラＣＰＵ１０４は選定処理を終了する。

Ｓ２０８でカメラＣＰＵ１０４は、表示部１１０に、自動選定した静止画を表示する。図１３（ｂ）に、自動選定した静止画の表示例を示す。選定した静止画が複数ある場合、カメラＣＰＵ１０４は、所定の複数枚を一度に表示する。また、選定した静止画が複数ある場合、カメラＣＰＵ１０４は、選定した複数の静止画の中から１枚と、選定した画像が他にも存在する表示とを行ってもよい。また、表示部１１０に表示する代わりに、あるいはさらに、カメラＣＰＵ１０４は、記録媒体１０６にフォルダを作成し、選定した静止画のデータファイルをそのフォルダに保存してもよい。

また、カメラＣＰＵ１０４は、Ｓ２０８において、操作部１０５を通じたユーザ指示により、選定した静止画を記録媒体１０６に別ファイルとして保存したり、表示する画像を切り替えたりすることができる。また、選定した静止画が複数ある場合、カメラＣＰＵ１０４は、ユーザが１枚の静止画を選択してチェックマークを付けたり、外部装置に転送したり、別名で保存したり、印刷したりできるようにしてもよい。例えば動画の再生を再開する指示が検出されたり、選定処理の終了指示が検出された場合、カメラＣＰＵ１０４は、選定処理の実行を終了する。

＜静止画選定１＞
図１２は図１１のＳ２０３で実行する「静止画選定１」の詳細を示すフローチャートである。
Ｓ２１５でカメラＣＰＵ１０４は、表示部１１０に、記録媒体１０６に記録されている動画を再生可能に表示する。具体的には、カメラＣＰＵ１０４は、動画を所定のフレーム（例えば先頭フレーム）で再生が一時停止された状態で、再生制御用のユーザインタフェース（ＵＩ）とともに表示する。記録媒体１０６に複数の動画が記録されている場合、カメラＣＰＵ１０４は、表示対象とする動画をユーザに選択させてもよいし、最新の動画を選択してもよい。なお、並行して静止画が記録されていない動画は再生対象から除外する。

再生制御用のユーザインタフェースは、動画再生の開始や一次停止を指示したり、再生位置を変更するためのＧＵＩである。このようなユーザインタフェースは例えばウェブブラウザで動画を表示する際に一般的に用いられている。表示部１１０はタッチディスプレイであるため、ユーザは表示部１１０に表示されているＧＵＩをタッチ操作することにより、動画を再生したり、再生を一時停止させたり、動画の再生位置を移動させたりすることができる。

静止画選定１の処理では、最終的に静止画を選定することが目的であるが、まずは動画を表示する。この理由は２つある。１つ目の理由は、静止画より動画の１フレームの方が、記録画素数が少ないことから、動画１フレームの表示の方が、静止画１枚の表示よりも所要時間が短いためである。２つ目の理由は、動画であれば、再生、一時停止機能を用いることが可能であり、ユーザが静止画を１枚１枚見るよりも所望のシーンを容易に検索可能であるためである。

Ｓ２１６でカメラＣＰＵ１０４は、表示部１１０に対して動画再生を指示するタッチ操作が行われたか否かを判定し、行われたと判定されればＳ２１９へ、判定されなければＳ２１７へ処理を進める。

Ｓ２１７でカメラＣＰＵ１０４は、表示部１１０に対して再生開始位置を移動するタッチ操作が行われたか否かを判定し、行われたと判定されればＳ２１８へ処理を進め、判定されなければＳ２１６に処理を戻す。

Ｓ２１８でカメラＣＰＵ１０４は、操作に応じた位置に再生開始位置を移動させるとともに、再生開始位置に対応するフレームを表示部１１０に表示し、処理をＳ２１６に戻す。

Ｓ２１９でカメラＣＰＵ１０４は、表示開始位置から動画の再生を開始し、処理をＳ２２０に進める。カメラＣＰＵ１０４は、記録媒体１０６から動画データを所定量ＲＡＭ１１５に読み込み、動画データを復号して表示部１１０に表示する。

Ｓ２２０でカメラＣＰＵ１０４は、表示部１１０に対して再生一時停止を指示するタッチ操作が行われたか否かを判定し、行われたと判定されればＳ２２２へ処理を進め、判定されなければＳ２１９に処理を戻して動画再生を継続する。

Ｓ２２１でカメラＣＰＵ１０４は、動画の再生を一時停止し、停止位置のフレームを表示して、処理をＳ２２２に進める。

Ｓ２２２でカメラＣＰＵ１０４は、表示部１１０に対して被写体を指示するタッチ操作が行われたか否かを判定する。被写体を指示するタッチ操作は、現在表示中の動画フレームに対する所定のタッチ操作であってよい。

図１３（ａ）は、動画の表示および選択される被写体の例を示す図である。
表示部１１０の略中央には、一時停止した状態で、動画の１フレームＤ１が表示されている。表示部１１０の上部には、フレームＤ１を含めた前後数フレームが縮小表示されている。フレームＤ１ｍは、フレームＤ１の縮小表示である。再生ボタン２５５、一時停止ボタン２５６、表示位置変更スライダ２５７はタッチ操作可能なＧＵＩである。

フレームＤ１には被写体Ｈ１が含まれている。被写体Ｈ１が、時間が経つにつれカメラに向かって近づいてきていることが、上部に縮小表示されているフレームの表示によって分かる。

ユーザは、例えば、表示部１１０に表示されているフレームＤ１内の被写体Ｈ１の顔部分をタッチすることで、被写体Ｈ１を指定することができる。あるいは、顔部分の左上から右下に向かうドラッグ操作によって対角頂点を指定する操作であってもよい。カメラＣＰＵ１０４は、これらの操作によって指定された位置または領域を検出する。そして、カメラＣＰＵ１０４は、表示中のフレームＤ１において指定された位置や領域に基づいて、被写体領域ＨＳを決定する。例えば表示中のフレームＤ１で顔領域が検出されており、指定された位置や領域が顔領域内の座標を含んでいる場合、カメラＣＰＵ１０４は、顔領域を被写体領域ＨＳとして決定することができる。

なお、必ずしも顔領域のような特徴領域を被写体領域ＨＳとして決定する必要は無い。フレームＤ１内の一点が指定された場合には指定された点を含み、指定された点と類似した色を有する画素からなる領域や、指定された点を中心とした所定の矩形範囲を被写体領域ＨＳとして決定してもよい。また、範囲が指定された場合には指定された範囲をそのまま被写体領域ＨＳとして決定してもよい。

なお、図１３（ａ）の表示例は単なる一例であり、例えば縮小表示するフレームの表示位置をフレームＤ１の左右や上下としてもよい。また、フレームＤ１と時間的に隣接する前後のフレームを、フレームＤ１の上下または左右にフレームＤ１より小さく、フレームＤ１ｍより大きく表示してもよい。

図１２に戻って、Ｓ２２３でカメラＣＰＵ１０４は、表示中の動画と並行して撮影され、記録媒体１０６に記録されている静止画の中から、候補画像を複数抽出する。候補画像とは、Ｓ２２４で被写体検出を実行する静止画である。並行記録されている動画と静止画とは、例えば同じフォルダや、関連するフォルダ名を有する別フォルダに記録されているなど、予め定められた方法で関連づけられているものとする。あるいは、動画の記録開始および終了時刻の間に生成された静止画のデータファイルを記録媒体１０６から探索してもよい。

上述したように、本実施形態のカメラは、動画記録時に連続かつ並行して静止画を記録する撮影モードを有する。この撮影モードにおいては、動画記録中に静止画撮影の開始指示が継続して入力され続けることで、静止画が連続的に撮影され、記録され得る。そのため、動画と並行して記録媒体１０６に記録されている静止画の数は非常に多くなることが考えられる。そのため、被写体検出を実行する画像をある程度の数に限定するために候補画像を抽出する。

本実施形態においてカメラＣＰＵ１０４は、現在表示中のフレームと撮影時刻が最も近い１つの静止画（静止画Ａとする）と、静止画Ａの撮影時刻の前後所定時間以内に撮影された静止画とを、候補画像として抽出する。なお、静止画Ａと、静止画Ａの直近に撮影されたｎ枚および静止画Ａの直後に撮影されたｎ枚の静止画を抽出するなど、他の条件を用いて抽出してもよい。

Ｓ２２４でカメラＣＰＵ１０４は、Ｓ２２３で抽出した候補画像のそれぞれで被写体領域ＨＳを探索する被写体検出処理を実行する。被写体検出の手法は問わないが、例えば、被写体領域ＨＳをテンプレート画像としたパターンマッチングによって、候補画像内で被写体領域ＨＳと思われる領域を検出することができる。他にも、色情報やエッジの情報といった、被写体領域ＨＳの情報の１つ以上を用いて被写体検出処理を行ってもよい。また、撮影時刻が近い複数の候補画像において、被写体検出に成功したものと失敗したものが混在する場合、被写体検出に成功した画像における被写体領域の位置情報に基づいて、被写体検出に失敗した画像中の被写体領域の位置を予測してもよい。なお、被写体検出に成功したか否かは、被写体検出方法に応じて予め定められた基準に従って判定することができる。例えば、パターンマッチングを用いる場合、最も類似度が高い領域と被写体領域ＨＳとの相関度が閾値以上であれば被写体検出に成功したと判定することができる。

Ｓ２２５でカメラＣＰＵ１０４は、被写体検出に成功した候補画像に対して焦点検出領域を設定する。カメラＣＰＵ１０４は例えば、検出された被写体領域の少なくとも一部を含む、予め定められた大きさの矩形領域を焦点検出領域として設定することができる。

Ｓ２２６でカメラＣＰＵ１０４は、少なくとも１枚の候補画像に対して焦点検出領域を設定できたか否かを判定し、設定できたと判定されればＳ２２７へ、判定されなければＳ２３０へ処理を進める。なお、候補画像のうち、焦点検出領域を設定できなかったものの割合が予め定められた値（例えば８０％）を超える場合、カメラＣＰＵ１０４は、全ての候補画像に焦点検出領域を設定できなかったと判定してもよい。

Ｓ２２７でカメラＣＰＵ１０４は、焦点検出３を実行する。詳細は図１０（ｃ）を用いて説明する。焦点検出３は、Ｓ２２５において焦点検出領域を設定した候補画像それぞれに対して行う。

Ｓ２２８でカメラＣＰＵ１０４は、焦点検出領域を設定した候補画像の全てに対して焦点検出３の処理を完了したか否かを判定し、完了したと判定されればＳ２２９へ処理を進め、判定されなければＳ２２７の焦点検出３の実行を継続する。焦点検出３の処理は、焦点検出領域を設定した候補画像のそれぞれに対して行うため、時間を要する場合がある。そのため、Ｓ２２８で、焦点検出３の処理を終えたか否かの判定を行っている。

Ｓ２２９でカメラＣＰＵ１０４は、焦点検出３の結果、すなわちユーザが指定した被写体に対する合焦度合いに基づいて、候補画像の中から１枚以上の静止画を選定して、焦点検出１の処理を終了する。

例えば、カメラＣＰＵ１０４は、焦点検出３において算出されたデフォーカス量の絶対値が最も小さい（焦点検出領域に最もピントが合っている）画像を含む１枚以上の静止画を選定する。複数の静止画を選定する場合、例えばデフォーカス量の絶対値が閾値以下（合焦度合いが閾値以上）である全ての候補画像を選定したり、デフォーカス量の絶対値が小さい（合焦度合いが高い）順に所定枚数の候補画像を選定したりすることができる。デフォーカス量以外の条件を併用して選定を行ってもよい。カメラＣＰＵ１０４は、例えば選定した静止画の識別情報（例えばファイル名）をＲＡＭ１１５に記憶する。

なお、焦点検出３によって算出されたデフォーカス量がいずれも予め定められた閾値を超える場合、カメラＣＰＵ１０４は、静止画を選定せず、処理をＳ２３０に進めてもよい。

Ｓ２３０でカメラＣＰＵ１０４は、例えばＲＡＭ１１５に記憶した変数である選定不可フラグをＯＮ（例えば値１）にして、焦点検出１の処理を終了する。

＜静止画選定２＞
図１４は、図１１のＳ２０５で実行する「静止画選定２」の詳細を示すフローチャートである。静止画選定２は、静止画選定１で静止画が選定できなかった場合に実行される。

Ｓ２４４でカメラＣＰＵ１０４は、現在表示中の動画から、候補フレームを複数抽出する。候補フレームとは、Ｓ２４５で被写体検出を実行するフレームである。具体的には、カメラＣＰＵ１０４は、静止画選定１で抽出した候補画像に対応してユーザの指示したタイミングに基づいて候補フレームを抽出する。タイミングが撮影時刻である場合、静止画選定１で抽出した候補画像の撮影時刻範囲を包含する時刻範囲に撮影された動画フレームを候補フレームとして抽出する。例えば、候補画像の最も早い撮影時刻に対応する動画フレームから、候補画像の最も遅い撮影時刻に対応する動画フレームまでを候補フレームとして抽出することができる。なお、前後数フレームずつ追加してもよい。あるいは、個々の候補画像の撮影時刻に対応するフレームと、前後の所定数フレームとを候補フレームとして抽出してもよい。

Ｓ２４５でカメラＣＰＵ１０４は、Ｓ２４４で抽出した候補フレームのそれぞれで、静止画選定１のＳ２２２で指定された被写体領域ＨＳを探索する被写体検出処理を実行する。被写体検出処理の詳細はＳ２２４と同様であってよいため、説明を省略する。

Ｓ２４６でカメラＣＰＵ１０４は、Ｓ２４５における候補フレーム（動画フレーム）での被写体検出結果を用い、静止画選定１のＳ２２３で抽出した候補画像（静止画）に対して焦点検出領域を設定する。静止画選定２は、静止画選定１において候補画像に対して焦点検出領域が設定できなかった場合に実行される。静止画選定１で焦点検出領域が設定できない原因の１つとして、静止画の単位時間あたりの撮影枚数が少ないことが挙げられる。これに対して動画は静止画よりも記録画素数が少ないため、動画の単位時間あたり撮影枚数は、静止画の単位時間あたりの撮影枚数よりも多い。そのため、Ｓ２４５で被写体検出を動画フレームに対して行うことで、被写体検出可能である確率を上げることができる。

Ｓ２４６でカメラＣＰＵ１０４は、例えば候補画像と撮影時刻が同じ、もしくは近い候補フレームの被写体検出位置に基づいて、候補画像に焦点検出領域を設定する。カメラＣＰＵ１０４は、撮影時刻が同じ候補フレームで被写体検出が成功していれば、検出された被写体領域の位置をそのまま用いて候補画像に焦点検出領域を設定する。また、カメラＣＰＵ１０４は、撮影時刻が同じ候補フレームで被写体検出が失敗していれば、撮影時刻が最も近く、かつ撮影時刻の差が閾値未満の候補フレームで検出された被写体領域の位置を用いて候補画像に焦点検出領域を設定する。この際、候補フレームで検出された被写体領域の位置をそのまま用いて焦点検出領域を設定してもよいし、被写体領域の検出位置の経時変化に基づいて予測した位置を用いて焦点検出領域を設定してもよい。撮影時刻の差が所定時間未満の候補フレームのいずれも被写体検出に失敗している候補画像には焦点検出領域を設定しない。

以後のＳ２４７～Ｓ２５２は、図１２のＳ２２６～Ｓ２３１と同一の処理であるため、説明は省略する。

＜焦点検出３＞
図１４は図１１のＳ２２７および図１２のＳ２４８で実行する「焦点検出３」の詳細を示すフローチャートである。
Ｓ３０１でカメラＣＰＵ１０４は、焦点検出領域が設定された候補画像に対して焦点検出を実行する。
まず、カメラＣＰＵ１０４は、記録媒体１０６に記録されている、候補画像に対応する、光電変換部１０１ａ、１０１ｂごとの画像信号を特定する。そして、カメラＣＰＵ１０４は、光電変換部１０１ａ、１０１ｂごとの画像信号のうち、候補画像に設定された焦点検出領域内の画像信号から、一対の焦点検出用信号（Ａ像信号とＢ像信号）を生成する。

そして、カメラＣＰＵ１０４は、ＲＯＭ１１５内のルックアップデーブル（図７（ａ））から、現在の絞り５０３のＦナンバとレンズ瞳距離ＰＬの組み合わせに対応するシェーディング補正情報を読み出し、Ａ像信号とＢ像信号にシェーディング補正を適用する。

次にカメラＣＰＵ１０４は、式１５に示した相間演算により、シェーディング補正後のＡ像信号とＢ像信号の位相差φ３を計算する。そして、カメラＣＰＵ１０４は、Ｆナンバとレンズ瞳距離ＰＬの組み合わせに対応する変換情報を図７（ｃ）に示したルックアップテーブルから取得し、式１７を用いてデフォーカス量ＤＥＦ３を算出する。

Ｓ３０２でカメラＣＰＵ１０４は、デフォーカス量ＤＥＦ３を、候補画像の識別情報と対応付けて例えばＲＡＭ１１５に保存し、焦点検出３を終了する。なお、上述したように、焦点検出３は候補画像ごとに実行される。

以上説明したように、本実施形態では、動画と静止画を並行して記録した場合に、記録された動画を用いて対応する静止画が自動的に選択される。より具体的には、動画中で指定されたフレームに対応してユーザの指示したタイミング（例えば撮影時刻）に基づいて抽出した静止画のうち、フレーム内で指定された領域における合焦度合いが予め定め得られた閾値以上である静止画を自動的に選択するようにした。そのため、動画と並行して記録されている静止画が膨大な数であっても、任意のシーンにおける任意の被写体に十分合焦した静止画を容易に見つけることができる。また、動画に基づいて所望のシーンを大まかに指定することで、当該シーンの主要な被写体の合焦状態がより良い静止画を容易に見つけることができる。

（その他の実施形態）
上述の実施形態では焦点検出に用いる撮像素子を選択するための判断基準として、センサ瞳距離を用いていたが、これに限定されるものではない。例えば、図７（ａ），（ｂ）に示したシェーディング補正情報を判断基準に用いることも可能である。
図７（ａ），（ｂ）において、焦点検出時のＦナンバがＦ２、レンズ瞳距離がレンズ瞳距離２の場合、撮像素子１０１のシェーディング補正情報は図７（ａ）よりＦｓ１２２、撮像素子１０２のシェーディング補正情報は図７（ｂ）よりＦｓ２２２である。そして、Ｆｓ１２２とＦｓ２２２の値を比較することにより、Ａ像信号とＢ像信号のレベル差を推定することが可能である。すなわち焦点検出用信号の補正のために記憶された情報を比較し、その結果に基づいて焦点検出に用いる撮像素子を選択するという実施形態も可能である。

また、上述した選定処理を実施可能な任意の電子機器において本発明を実施することができる。この場合、上述の実施形態で説明した撮影や記録に係る構成は必須でない。また、動画や静止画の記録先も特に制限はなく、選定処理を実施する機器からアクセス可能な任意の場所にある任意の種類の記録媒体であってよい。また、候補画像に対する焦点検出処理（焦点検出３）を位相差検出方式で行う場合について説明したが、コントラスト方式を用いてもよい。この場合、焦点検出領域内の画素について、高周波成分の大きさなど、公知のコントラスト評価値を求め、デフォーカス量の代わりにコントラスト評価値に基づいて焦点検出領域の合焦度合いを判定すればよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１、１０２…撮像素子、１０３…ビームスプリッタ、１０４…カメラＣＰＵ、１０６…記録媒体、１１０…表示部

Claims (9)

1. 所定の時間間隔で取得された複数のフレームを含む動画を表示する表示手段と、
   前記表示手段が表示した動画の第１のフレームに対する所定の操作が検出されたことに応じて、前記動画と並行して記録された複数の静止画から候補画像を抽出する抽出手段と、
   前記候補画像のそれぞれについて、前記所定の操作に応じて指定された被写体の検出処理を行う検出手段と、
   前記被写体が検出された前記候補画像について、前記被写体が検出された位置に対応する焦点検出領域を設定する設定手段と、
   前記設定手段が設定した焦点検出領域の合焦度合いを算出する算出手段と、
   前記合焦度合いに基づいて、前記被写体が検出された前記候補画像のうち少なくとも１つを選定する選定手段と、
   を有することを特徴とする画像処理装置。
2. 前記検出手段は、前記候補画像から被写体が検出されなかった場合には、前記候補画像の撮影時刻を基準とした前記動画の複数のフレームについて前記被写体の検出処理を行い、
   前記設定手段は、前記動画の複数のフレームにおいて被写体が検出された位置に基づいて、前記候補画像に前記焦点検出領域を設定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記選定手段は、前記被写体が検出された前記候補画像のうち、前記合焦度合いが閾値以上の候補画像を選定することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記抽出手段は、前記複数の静止画のうち、前記第１のフレームの撮影時刻と撮影時刻が最も近い静止画を含む、予め定められた数の静止画を前記候補画像として抽出することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記所定の操作がなされた位置に応じて前記第１のフレームから被写体領域を決定する決定手段をさらに有し、
   前記検出手段は、前記被写体領域と類似した領域を前記候補画像のそれぞれについて探索することにより前記被写体の検出処理を行う、
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記選定手段は、前記選定した候補画像を、前記動画とともに前記表示手段に表示することを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記動画が前記複数の静止画と同じ記録媒体に記録されていることを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 装置が実行する画像処理方法であって、
   所定の時間間隔で取得された複数のフレームを含む動画を表示する表示工程と、
   前記表示工程で表示された動画の第１のフレームに対する所定の操作が検出されたことに応じて、前記動画と並行して記録された複数の静止画から候補画像を抽出する抽出工程と、
   前記候補画像のそれぞれについて、前記所定の操作に応じて指定された被写体の検出処理を行う検出工程と、
   前記被写体が検出された前記候補画像について、前記被写体が検出された位置に対応する焦点検出領域を設定する設定工程と、
   前記設定工程で設定された焦点検出領域の合焦度合いを算出する算出工程と、
   前記合焦度合いに基づいて、前記被写体が検出された前記候補画像のうち少なくとも１つを選定する選定工程と、
   を有することを特徴とする画像処理方法。
9. コンピュータを、請求項１から請求項７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images