JP5753321B2 - 撮像装置及び合焦確認表示方法 - Google Patents

Description

本発明は、マニュアルフォーカスで合焦確認に使用する画像（以下「スプリットイメージ」ともいう）を表示する撮像装置及び合焦確認表示方法に関する。

デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものがよく知られている。

マニュアルフォーカスモードを有するデジタルカメラとしては、撮影した被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法や、目視によるコントラストの確認を行う方法を採用しているものが良く知られている。

ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、ＬＣＤ等の表示装置の解像度以上のコントラスト表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。

そこで、近年では、マニュアルフォーカスモード時に操作者が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージ（合焦確認画像）をライブビュー画像内に表示している。ここで、スプリットイメージは、瞳分割方式の撮像で得られた二つの被写体像（二つの位相差画像）を合成したものであり、被写体像の位相差を表す。つまり、一方の被写体像の上半分と他方の被写体像の下半分とを上下に隣接させたスプリットイメージを表示する。ピントがずれた状態では上下に隣接した二つの被写体像が左右にずれて表示され、ピントが合った状態では上下に隣接した二つの被写体像の左右のずれがなくなる。操作者は、スプリットイメージ内の二つの被写体像の左右のずれがなくなるようにフォーカスリングを操作することによりピントを合わせる。

特許文献１に記載のデジタルカメラでは、絞りを光軸と垂直方向に移動させることで二つの測距位置でそれぞれ被写体画像の撮影を行い、これら２つの被写体画像を用いてスプリットイメージをライブビュー画像内に表示している。

特許文献２に記載のデジタルカメラでは、被写体像の像面と撮像素子の受光面との間の距離に相当する値をずれ量として求め、このずれ量に応じて左右相反する方向にずらしたスプリットイメージをライブビュー画像内に表示している。

特許文献３、４及び５に記載のデジタルカメラは、撮影用の通常画素と、瞳分割された被写体光を受光する焦点検出用の２種類の位相差画素とが撮像面上に複数配列されてなる撮像素子を備えている。このデジタルカメラでは、通常画素からの出力信号に基づき撮像画像を生成してライブビュー画像表示を行うとともに、２種類の位相差画素のそれぞれからの出力に基づきスプリットイメージを生成してライブビュー画像内に表示している。

また、特許文献５は、スプリットイメージの位置の変更、スプリットラインの方向の変更、又はスプリットイメージの拡大を行うことを開示している。

特開２００４−４０７４０号公報 特開２００１−３０９２１０号公報 特開２００９−１４７６６５号公報 特開２００９−１６３２２０号公報 特開２００９−２７６４２６号公報

しかしながら、特許文献１記載のデジタルカメラでは、絞りを移動させる機械的な構成が必要になるので、この構成を収納するスペースの確保、及び部品点数の増加などの問題が生じる。また、特許文献２記載のデジタルカメラでは、被写体光を瞳分割して撮像する構成を有さないので、正確で破綻のない合焦確認画像（スプリットイメージ）の実現が困難である。

特許文献３及び４記載のデジタルカメラでは、２種類の位相差画素を用いてスプリットイメージを生成しているが、瞳分割方式の撮像で得られた二つの被写体像（位相差画像）のそれぞれ上半分及び下半分を表示するだけであり、二つの被写体像間の境界線であるスプリットラインの位置が固定になる。また、ピントが合っているか否かは、非合焦状態でずれが生じる二つの被写体像の境界線（スプリットライン）の近傍を注視することにより認識することになるが、ピントを合わせたい位置とは異なる位置にスプリットラインが存在していると、ユーザはマニュアルフォーカスで十分にピントを合わせられなかった。

また、特許文献５のデジタルカメラでは、スプリットイメージの位置を変更するが、撮影者がマニュアルフォーカスでピント合わせを行いたい被写体の像がスプリットイメージの表示領域内に入るように画角を設定した後、スプリットイメージの位置が変わってしまうと、撮影者が困惑するという課題がある。また、特許文献５のデジタルカメラによれば、スプリットラインの方向（分割方向の横／縦）を変更するが、撮影者がマニュアルフォーカスでピント合わせるときに例えば横方向のズレを無くすようにマニュアル操作しようとしているのに、スプリットラインの方向が急に縦方向に変わってしまうと、撮影者が困惑するという課題がある。また、特許文献５のデジタルカメラによれば、スプリットイメージを拡大するが、スプリットイメージを拡大するのではなく、スプリットラインの位置を変更させたい場合がある。

例えば、人の顔が主被写体であって、表示画面内の一定の位置に一定のサイズで表示されたスプリットイメージにおいて一定方向に表示されたスプリットラインを基準に、顔画像でピント合わせを行いとき、撮影シーンによっては顔画像の位置にスプリットラインが存在しない場合がある。また、顔画像のうちの特定の位置（例えば目の位置）でピント合わせを行いたい場合があるが、スプリットイメージ内の中央でしかピント合わせすることができない。また、スプリットイメージ内の複数の箇所でピント合わせを行いたい場合があるが、スプリットイメージ内の中央の一箇所でしかピント合わせすることができない。

本発明の目的は、合焦確認用の画像の位置又はサイズの変更あるいは合焦確認用の画像の分割領域間の境界線の方向を変更しなくても、ユーザの手動によるフォーカス操作を安易にすることが可能になる撮像装置及び合焦確認表示方法を提供することにある。

上記の目的を達成するために、本発明は、撮影レンズにおける第１及び第２の領域を通過した被写体光が瞳分割されてそれぞれ入射される第１及び第２の画素群を有する撮像素子から出力された画像に基づいて第１の表示用画像を生成し、かつ第１及び第２の画素群からそれぞれ出力された第１の画像及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する画像生成手段と、第２の表示用画像における第１の画像と第２の画像との境界の位置を境界と直交する方向において変更する境界変更手段と、境界変更手段により変更された境界で分割される第２の表示用画像内の複数の分割領域のそれぞれにおいて、第１の画像及び第２の画像のいずれかを選択する選択手段と、表示手段と、第１の表示用画像を表示手段に表示させ、第１の表示用画像の表示領域内に、境界変更手段によって境界の位置が変更された第２の表示用画像を表示させる表示制御手段と、を備えた撮像装置を提供する。

これによれば、合焦確認に使用する第２の表示用画像（スプリットイメージ）内の境界（スプリットライン）の位置が境界と直交する方向において変更されるので、第２の表示用画像（スプリットイメージ）の位置又はサイズの変更あるいは境界の方向を変更しなくても、ユーザの手動によるフォーカス操作を安易にすることが可能になる。

一実施形態では、第２の表示用画像内の境界の位置の変更指示を入力する位置入力手段を備え、境界変更手段は、表示手段に表示させる第２の表示用画像内の境界の位置を、位置入力手段によって入力された位置の変更指示に応じて変更する。これによれば、境界（スプリットライン）の位置の変更指示を入力することにより、ピント合わせをどこで行うかを変更できるようになる。

一実施形態では、表示手段は、タッチパネル式の表示手段であり、位置入力手段は、タッチパネル式の表示手段によって構成され、境界変更手段は、表示手段に第２の表示用画像が表示された状態で第２の表示用画像の境界をドラッグするドラッグ操作がタッチパネル式の表示手段で行われたとき、ドラッグ操作に合わせて第２の表示用画像内の境界の位置を変更する。

一実施形態では、第２の表示用画像内の境界の数を入力する数入力手段を備え、境界変更手段は、表示手段に表示される第２の表示用画像内の境界の数を、数入力手段によって入力された数の変更指示に応じて変更する。これによれば、境界（スプリットライン）の数を入力することにより、第２の表示用画像（スプリットイメージ）のどこでピントが合っているのか分かり易くすることが可能になる。

一実施形態にて、境界変更手段は、入力された境界の数Ｌが奇数であった場合、Ｌ本の境界のうち第（Ｌ＋１）／２本目の境界を、第２の表示用画像の中央または第２の表示用画像の中央の近傍に位置させる。これによれば、境界の数がユーザの指定通りに変更になると同時に、境界の数が奇数である場合に中央の境界の位置が第２の表示用画像（スプリットイメージ）の中央または中央近傍に設定されるので、ピント合わせ操作をし易くなる。

一実施形態では、境界変更手段は、時間の経過に応じて第２の表示用画像内の境界の位置を移動させる。これによれば、時間の経過に応じて境界（スプリットライン）が合焦確認に使用する第２の表示用画像（スプリットイメージ）内をスキャンするように移動するため、第２の表示用画像（スプリットイメージ）のどこでピントが合っているのか分かり易くなる。

一実施形態では、撮影レンズのフォーカス位置の変更操作を行うフォーカス操作手段を備え、境界変更手段は、フォーカス操作手段によってフォーカス位置の変更操作が開始されたとき、第２の表示用画像内の境界の移動を停止させる。これによれば、ピント合わせ操作中はピント合わせ位置を固定させることができ、ユーザはピント合わせ操作をし易くなる。

一実施形態では、撮像素子は、被写体光が瞳分割されずに入射される第３の画素群をさらに有し、第１の表示用画像は第３の画素群から出力された第３の画像に基づいて生成される。

一実施形態では、画像生成手段は、第２の表示用画像内に第１の画像と第２の画像とを隣接して配置する。

また、一実施形態では、画像生成手段は、第２の表示用画像内に、第３の画像を第１の画像及び第２の画像に隣接させて配置する。これにより、位相差画像（第１の画像及び第２の画像）と通常画像（第３の画像）との境界でも位相差が生じるため、ピント合わせが容易になる場合がある。

また、一実施形態では、画像生成手段は、第２の表示用画像内の第１の方向に第１の画像及び第２の画像を交互に配置し、かつ、第２の表示用画像内の第１の方向と直交する第２の方向に第１の画像及び第２の画像を交互に配置することにより、第２の表示用画像内に第１の画像及び第２の画像を格子状に配置した第２の表示用画像を生成する。これによれば、位相差画像（第１の画像及び第２の画像）が格子状に配置されることによって、ピントが合っているときとピントが外れているときとの画像の差が鮮明になり、ピント合わせが容易になる。

一実施形態では、撮像素子から出力された画像の解析を行う画像解析手段を備え、境界変更手段は、画像解析手段の解析結果に基づいて、第２の表示用画像内の境界の位置を変更する。これによれば、撮像素子から得られた画像の解析結果に基づいて境界の位置が変更されるため、ユーザは境界の位置を指定しなくても、好ましい位置に境界が変更された第２の表示用画像（スプリットイメージ）を見て、ピント合わせ操作を行うことが可能になる。

一実施形態では、画像解析手段は、第１の画像の画素と第１の画像の画素に対応する第２の画像の画素との位相差を検出し、境界変更手段は、検出された位相差に基づいて、第２の表示用画像内の境界の位置を変更する。これによれば、ペア画素の位相差に基づいて、ピントがずれているところに境界の位置が変更されるので、ユーザのピント合わせ操作が容易になる。

一実施形態では、画像解析手段は、画像内のコントラストを検出し、境界変更手段は、検出されたコントラストの検出量に基づいて、第２の表示用画像内の境界の位置を変更する。これによれば、コントラストに基づいて、コントラストが大きくピント合わせをし易いとことに境界の位置が変更さるので、ユーザのピント合わせ操作が容易になる。

一実施形態では、画像解析手段は、画像の境界の方向におけるエッジを検出し、境界変更手段は、検出されたエッジの検出量に基づいて、第２の表示用画像内の境界の位置を変更する。これによれば、境界の方向におけるエッジの検出量に基づいて、ピント合わせをし易いところに境界の位置が変更されるので、ユーザのピント合わせ操作が容易になる。

一実施形態では、画像解析手段は、画像内の特定対象を検出し、境界変更手段は、第２の表示用画像内の境界を、検出された特定対象の位置に設定する。これによれば、主要被写体と思われる特定対象の部分に境界の位置が設定されるので、ピント合わせ操作を容易に行えるようにすることが可能になる。

一実施形態では、表示制御手段は、境界の近傍に、境界の位置を示す指標を表示させる。これによれば、境界の位置または数が変更になっても、境界の位置を示す指標を見ながら、ピント合わせを容易に行うことができる。

尚、撮像素子の画素のフィルタ配列は特に限定されない。例えば、撮像素子は、ベイヤ配列からなる画素配列の一部に、複数の第１画素と複数の第２画素が配置されている。また、例えば、撮像素子は、非ベイヤ配列の基本配列パターンを第１の方向及び第２の方向に繰り返し配列した画素配列の一部に、複数の第１画素及び複数の第２画素が配置されている。また、例えば、撮像素子は、同色画素をずらして配置した２面の配列からなる画素配列の一部に、複数の第１画素及び複数の第２画素が配置され、かつ、ペア画素の第１画素と第２画素とが隣接して配置されている。

また、本発明は、撮影レンズにおける第１及び第２の領域を通過した被写体光が瞳分割されてそれぞれ入射される第１及び第２の画素群を有する撮像素子と、表示手段とを用い、撮像素子から出力された画像に基づいて生成した第１の表示用画像を表示手段に表示させ、第１の表示用画像の表示領域内に、第１及び第２の画素群からそれぞれ出力された第１の画像及び第２の画像に基づいて生成した合焦確認に使用する第２の表示用画像を表示させる合焦確認表示方法であって、第２の表示用画像における第１の画像と第２の画像との境界の位置を境界と直交する方向において変更し、変更された境界で分割される第２の表示用画像内の複数の分割領域のそれぞれにおいて、第１の画像及び第２の画像のいずれかを選択し、第１の表示用画像の表示領域内に、境界の位置が変更された第２の表示用画像を表示させる合焦確認表示方法を提供する。

本発明によれば、合焦確認用の画像の位置又はサイズの変更あるいは合焦確認用の画像の分割領域間の境界線の方向を変更しなくても、ユーザの手動によるフォーカス操作を安易にすることが可能になる。

図１はデジタルカメラの正面斜視図である。 図２はデジタルカメラの背面斜視図である。 図３はデジタルカメラの電気的構成図である。 図４は撮像素子の撮像面の正面図である。 図５は撮像素子の断面図である。 図６は第１〜第５実施形態のデジタルカメラの画像処理に関するブロック図である。 図７は選択部の画素の選択の説明に用いる説明図である。 図８はフォーカスレンズが合焦位置にセットされているときの合焦確認画像の概略図である。 図９はフォーカスレンズが合焦位置にセットされていないときの合焦確認画像の概略図である。 図１０はデジタルカメラの撮影処理の流れを示すフローチャートである。 図１１は第１実施形態における合焦確認画像表示処理例の流れを示すフローチャートである。 図１２は第１実施形態における合焦確認画像例の境界線の位置の変更の説明に用いる説明図である。 図１３は第１実施形態における画素の選択の説明に用いる第１の説明図である。 図１４は第１実施形態における画素の選択の説明に用いる第２の説明図である。 図１５は第１実施形態における画素の選択の説明に用いる第３の説明図である。 図１６は第２実施形態における合焦確認画像表示処理例の流れを示すフローチャートである。 図１７は第２実施形態における合焦確認画像例の境界線の数の変更の説明に用いる説明図である。 図１８は第３実施形態における合焦確認画像表示処理例の流れを示すフローチャートである。 図１９は第４実施形態における合焦確認画像表示処理例の流れを示すフローチャートである。 図２０は第４実施形態における合焦確認画像例の境界線の位置の変更の説明に用いる説明図である。 図２１は第５実施形態における合焦確認画像表示処理例の流れを示すフローチャートである。 図２２は第６実施形態のデジタルカメラの画像処理に関するブロック図である。 図２３は第６実施形態における合焦確認画像表示処理例の流れを示すフローチャートである。 図２４は第６実施形態における非合焦状態の合焦確認画像を示す図である。 図２５は第６実施形態における合焦状態の合焦確認画像を示す図である。 図２６は第７実施形態における合焦状態の合焦確認画像を示す図である。 図２７は第７実施形態における合焦確認画像生成の説明に用いる説明図である。 図２８は第８実施形態における合焦状態の合焦確認画像を示す図である。 図２９は第８実施形態における合焦確認画像生成の説明に用いる説明図である。 図３０はベイヤ配列の撮像素子の撮像面の正面図である。 図３１は同色画素をずらした２面配列の撮像素子の撮像面の正面図である。 図３２はスマートフォンの斜視図である。 図３３はスマートフォンの構成図である。

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

［デジタルカメラの構成例］
図１に示すように、本発明の撮像装置の一例であるデジタルカメラ２のカメラ本体２ａの前面には、撮像光学系などを含んで構成されるレンズ鏡筒３、ストロボ発光部５などが設けられている。カメラ本体２ａの上面には、シャッタボタン６、電源スイッチ７などが設けられている。レンズ鏡筒３の外周面には、マニュアルフォーカス（以下、単に「ＭＦ」という）操作に用いられるフォーカスリング（レンズ移動機構）３ａが回転自在に取り付けられている。

図２に示すように、カメラ本体２ａの背面には表示部８、操作部９が設けられている。表示部８は、撮影待機状態時には電子ビューファインダとして機能し、ライブビュー画像（スルー画ともいう）を表示する。また、画像再生時にはメモリカード１０に記録されている画像データに基づき、表示部８に画像が再生表示される。

操作部９は、各種のスイッチから構成されている。本例の操作部９は、モード切替スイッチ、十字キー、実行キーなどから構成されている。モード切替スイッチは、デジタルカメラ２の動作モードを切り替える際に操作される。デジタルカメラ２は、被写体を撮像して撮像画像を得る撮影モード、撮像画像を再生表示する再生モードなどを有する。また、撮影モードには、オートフォーカス（以下、単に「ＡＦ」という）を行うＡＦモード、及びＭＦ操作を行うＭＦモードがある。

十字キー及び実行キーは、各種の操作に用いられる。本例の十字キー及び実行キーは、ＭＦモードにおいて、後述の合焦確認画像の表示時に、スプリットライン（以下、「境界線」又は単に「境界」ということもある）の位置、数、形状などの変更指示の入力を受け付けるデバイス（位置入力部手段、数入力手段）として用いられる。また、十字キー及び実行キーは、表示部８にメニュー画面や設定画面を表示したり、これらメニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする際などに操作される。

カメラ本体２ａの底面には、図示は省略するが、メモリカード１０が装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。

図３に示すように、デジタルカメラ２のＣＰＵ１１は、操作部９からの制御信号に基づき、メモリ１３から読み出した各種プログラムやデータを逐次実行して、デジタルカメラ２の各部を統括的に制御する。尚、メモリ１３のＲＡＭ領域は、ＣＰＵ１１が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。 レンズ鏡筒３には、ズームレンズ１５及びフォーカスレンズ１６を含む撮影レンズ１７、メカシャッタ１８などが組み込まれている。ズームレンズ１５及びフォーカスレンズ１６は、それぞれズーム機構１９、フォーカス機構２０により駆動され、撮影レンズ１７の光軸Ｏ１に沿って前後移動される。ズーム機構１９及びフォーカス機構２０は、ギアやモータなどで構成されている。また、フォーカス機構２０は、図示しないギアを介してフォーカスリング３ａ（フォーカス操作部）と接続している。このため、フォーカス機構２０は、ＭＦモード時にフォーカスリング３ａが回転操作されることに伴い、フォーカスレンズ１６を光軸Ｏ１の方向（以下、「光軸方向」という）に沿って移動させる。つまり、フォーカスリング３ａにより、撮影レンズ１７のフォーカスレンズの位置（フォーカス位置）を変更するフォーカス操作を行う。

メカシャッタ１８は、撮像素子２３への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部（図示は省略）を有する。メカシャッタ１８は、可動部を各位置に移動させることによって、撮影レンズ１７から撮像素子２３へと至る光路を開放／遮断する。また、メカシャッタ１８には、撮像素子２３に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ１８、ズーム機構１９、及びフォーカス機構２０は、レンズドライバ２５を介してＣＰＵ１１によって動作制御される。

メカシャッタ１８の背後には、撮像素子２３（以下単に「撮像素子」という）が配置されている。撮像素子２３は、撮影レンズ１７等を通過した被写体光を電気的な出力信号に変換して出力する。尚、撮像素子２３は、ＣＣＤ（Charge Coupled Device）型撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型撮像素子などの各種類の撮像素子であってもよい。撮像素子ドライバ２７は、ＣＰＵ１１の制御の下で撮像素子２３の駆動を制御する。

画像処理回路２９は、撮像素子２３からの出力信号（出力）に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施して撮像画像データを生成する。また、画像処理回路２９は、ＭＦモード時には、撮像画像データの他にＭＦ操作用のスプリットイメージデータ（以下「合焦確認画像」ともいう）を生成する。撮像画像データやスプリットイメージデータは、メモリ１３のＶＲＡＭ領域（ＶＲＡＭを別途設けても可）に一時的に格納される。ＶＲＡＭ領域は、連続した２フィールド画分を記憶するライブビュー画像用のメモリエリアを有しており、撮像画像データやスプリットイメージデータを逐次上書き格納する。

圧縮伸長処理回路３１は、シャッタボタン６が押下操作されたときに、ＶＲＡＭ領域に格納された撮像画像データに対して圧縮処理を施す。また、圧縮伸長処理回路３１は、メディアＩ／Ｆ３２を介してメモリカード１０から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３２は、メモリカード１０に対する撮像画像データの記録及び読み出しなどを行う。

表示制御部３３は、撮影モード時にはＶＲＡＭ領域に格納された撮像画像データやスプリットイメージデータを読み出して表示部８へ逐次出力する。また、表示制御部３３は、再生モード時には圧縮伸長処理回路３１で伸長された撮像画像データを表示部８へ出力する。

表示部８は、本発明における「表示手段」を構成する。また、操作部９は、本発明における「位置入力手段」及び「数入力手段」を構成する。また、画像処理回路２９及びＣＰＵ１１は、本発明における「画像生成手段」、「境界変更手段」、「選択手段」、「画像解析手段」を構成する。また、ＣＰＵ１１は、「位置入力手段」及び「数入力手段」を構成する場合がある。また、表示制御部３３は、本発明における「表示制御手段」を構成する。

＜カラー撮像素子の構成＞
図４に示すように、撮像素子２３の撮像面２３ａ（図３参照）上には、赤（Ｒ）色のＲ画素３５と、緑（Ｇ）色のＧ画素３６と、青（Ｂ）色のＢ画素３７とがマトリックス状に配列されている。各色画素３５、３６、３７は、被写体光が瞳分割されずに結像される通常画素であり、光電変換素子３９（図５参照）と、光電変換素子３９の上方に配置された３原色のいずれかのカラーフィルタ４０（図５参照）とを含んで構成されている。つまり、各色画素３５〜３７は、カラーフィルタ４０付きの非瞳分割の光電変換素子ともいえる。尚、「〜上」、「上方」とは、図５中の半導体基板４５からマイクロレンズ４９に向かう方向（図中上方向）を指す。

Ｒ画素３５、Ｇ画素３６、Ｂ画素３７の各光電変換素子３９上には、それぞれＲ色，Ｇ色，Ｂ色のカラーフィルタ４０が設けられる。

撮像素子２３のカラーフィルタ配列（画素配列）は、下記の特徴（１）、（２）、（３）、（４）、（５）、及び（６）を有している。

〔特徴（１）〕
カラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる非ベイヤ配列の基本配列パターンＰを含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。

このようにＲＧＢのカラーフィルタ４０が所定の周期性をもって配列されているため、従来知られているランダム配列と比較して、撮像素子２３から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理（デモザイク処理）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理後のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

〔特徴（２）〕
カラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧ色のカラーフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向（斜め右上及び斜め左下方向、斜め右下及び斜め左上方向）方向の各ライン内に１つ以上配置されている。

このようにＧ色のカラーフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での画素補間処理（同時化処理等）の再現精度を向上させることができる。

〔特徴（３）〕
基本配列パターンＰは、Ｒ画素３５、Ｇ画素３６、Ｂ画素３７の画素数が、それぞれ８画素、２０画素、８画素となる。すなわち、ＲＧＢ画素３５〜３７の各画素数の比率は２：１１２であり、Ｇ画素３６の画素数の比率は他の色のＲ画素３５、Ｂ画素３７の各々の画素数の比率よりも大きくなる。

このようにＧ画素３６の画素数とＲ，Ｂ画素３５、３７の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素３６の画素数の比率を、Ｒ，Ｂ画素３５、３７の画素数の比率よりも大きくするようにしたため、画素補間処理（同時化処理等）時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

〔特徴（４）〕
カラーフィルタ配列は、Ｇ色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲ色及びＢ色のカラーフィルタ４０が、基本配列パターンＰ内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置されている。

Ｒ色及びＢ色のカラーフィルタ４０がそれぞれカラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、または光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

〔特徴（５）〕
カラーフィルタ配列は、Ｇ色のカラーフィルタ４０が設けられた２×２のＧ画素３６に対応する正方配列を含んでいる。このような２×２のＧ画素３６を取り出し、水平方向のＧ画素３６の画素値の差分絶対値、垂直方向のＧ画素３６の画素値の差分絶対値、斜め方向のＧ画素３６の画素値の差分絶対値を求めることで、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。

すなわち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素３６の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周辺の画素から補間する補間処理（同時化処理等）に使用することができる。

〔特徴（６）〕
基本配列パターンＰは、その中心（４つのＧ色のカラーフィルタ４０の中心）に対して点対称になっている。また、基本配列パターンＰ内の４つの３×３のサブ配列も、それぞれ中心のＧ色のカラーフィルタ４０に対して点対称になっている。このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

〔位相差画素〕
撮像面２３ａの一部の領域（例えば中央領域）上には、一部のＧ画素３６の代わりに、第１位相差画素３６ａ（図中「丸印中のＧ１」で表示）、第２位相差画素３６ｂ（図中「丸印中のＧ２」で表示）が設けられている。第１位相差画素３６ａ及び第２位相差画素３６ｂは、撮像素子２３の画素配列における複数の垂直列（第２画素列）４２と複数の水平行（第１画素列）４３とにそれぞれ間隔をあけて交互に設けられている（図中では１つの垂直列４２、水平行４３に代表して符号を付している）。尚、本明細書では、撮像素子２３の各垂直列及び各水平行のうち、位相差画素が設けられる垂直列、水平行にそれぞれ符号「４２」、「４３」を付している。

「複数の垂直列４２」は、水平方向（第１の方向）に沿って３画素ピッチ間隔で設けられている。また「複数の水平行４３」は、垂直方向（第２の方向）に沿って４画素ピッチ間隔、８画素ピッチ間隔、４画素ピッチ間隔、８画素ピッチ間隔、・・・で設けられている。

本実施形態では、第１位相差画素３６ａ及び第２位相差画素３６ｂが、各垂直列４２と各水平行４３とが交差する位置上において、それぞれ水平方向及び垂直方向に沿って交互に配置される。尚、同じ種類の位相差画素同士（第１位相差画素−第１位相差画素、第２位相差画素−第２位相差画素）の間隔は、垂直方向が１２画素ピッチとなり、水平方向が６画素ピッチとなる。

水平行４３の断面を示す図５において、半導体基板（ｓｕｂ）４５の表層には光電変換素子３９がマトリックス状に形成されている。尚、半導体基板４５には、図示は省略するが、各画素の駆動や信号出力に用いられる各種回路が設けられている。

半導体基板４５上には光透過性の絶縁膜４６が設けられている。絶縁膜４６上には遮光膜４７が設けられている。遮光膜４７は、通常開口４７ａと第１偏心開口４７ｂと第２偏心開口４７ｃとを有している。第１〜第２偏心開口４７ｂ，４７ｃは、通常開口４７ａよりも開口径が小さく形成されている。

通常開口４７ａは、ＲＧＢ画素３５〜３７の光電変換素子３９上に形成されている。また、通常開口４７ａの中心は光電変換素子３９の中心上に位置している。

第１偏心開口４７ｂは、第１位相差画素３６ａの光電変換素子３９ａ上に形成されている。第１偏心開口４７ｂの中心は、その下方の光電変換素子３９ａの中心に対して図中右方向にずれている。これにより、第１位相差画素３６ａの光電変換素子３９ａの略左半分の領域（以下、単に左領域という）は遮光膜４７で覆われ、逆に略右半分の領域（以下、単に右領域という）の中央部分は露呈する。

第２偏心開口４７ｃは、第２位相差画素３６ｂの光電変換素子３９ｂ上に形成されている。第２偏心開口４７ｃの中心は、その下方の光電変換素子３９ｂの中心に対して図中右方向にずれた位置に形成されている。これにより、第２位相差画素３６ｂの光電変換素子３９ｂの右領域は遮光膜４７で覆われ、逆に左領域の中央部分は露呈する。

遮光膜４７上には、表面が平坦な光透過性の平坦化層４８が設けられている。平坦化層４８上には、Ｒ、Ｇ、Ｂの各色の画素３５〜３７にそれぞれ対応する位置にＲ、Ｇ、Ｂの各色のカラーフィルタ４０が設けられている。また、第１及び第２位相差画素３６ａ，３６ｂに対応する位置にはＧ色のカラーフィルタ４０が設けられている。

各色のカラーフィルタ４０上で、かつ光電変換素子３９，３９ａ，３９ｂの上方位置には、それぞれマイクロレンズ４９が設けられている。尚、カラーフィルタ４０とマイクロレンズ４９との間にも透光性の平坦層などの各種層が設けられていてもよい。

ＲＧＢ画素３５〜３７上のマイクロレンズ４９に図中左斜め方向から入射した被写体光５０Ｌは、マイクロレンズ４９により光電変換素子３９の右領域に集光される。逆に、マイクロレンズ４９に図中右斜め方向から入射した被写体光５０Ｒは、マイクロレンズ４９により光電変換素子３９の左領域に集光される。このため、ＲＧＢ画素３５〜３７は、被写体光５０Ｌ及び被写体光５０Ｒの両方に対して感度が高くなる。

第１位相差画素３６ａ上のマイクロレンズ４９に入射した被写体光５０Ｌは、マイクロレンズ４９により第１偏心開口４７ｂを通して光電変換素子３９ａの右領域に集光される。逆にマイクロレンズ４９に入射した被写体光５０Ｒは、遮光膜４７により遮光されるので光電変換素子３９の左領域には集光されない。

第２位相差画素３６ｂ上のマイクロレンズ４９に入射した被写体光５０Ｒは、マイクロレンズ４９により第２偏心開口４７ｃを通して光電変換素子３９ｂの左領域に集光される。逆にマイクロレンズ４９に入射した被写体光５０Ｒは、遮光膜４７により遮光されるので光電変換素子３９の左領域には集光されない。従って、遮光膜４７が瞳分割を行う瞳分割部として機能する。尚、遮光膜４７（各偏心開口４７ｂ、４７ｃ）を瞳分割部として機能させる代わりに、マイクロレンズ４９を偏心させてもよい。

被写体光５０Ｌ，５０Ｒは、撮影レンズ１７（ズームレンズ１５及びフォーカスレンズ１６）の左領域１７Ｌ、右領域１７Ｒをそれぞれ通過した被写体光である。尚、図面の煩雑化を防止するため両レンズ１５，１６は一体化して図示しており、撮影レンズ１７と撮像素子２３との大きさも実際とは異ならせている。

撮像素子２３に入射した被写体光が遮光膜４７により瞳分割されることで、第１位相差画素３６ａは被写体光５０Ｌに対して感度が高くなり、逆に第２位相差画素３６ｂは被写体光５０Ｒに対して感度が高くなる。

［撮像素子の画素（カラーフィルタ付きの光電変換素子）の種別］
本例の撮像素子２３は、撮影レンズ１７の異なる領域（左領域１７Ｌ、右領域１７Ｒ）を通過した被写体光（被写体光５０Ｌ、被写体光５０Ｒ）が瞳分割されてそれぞれ入射される複数の第１位相差画素３６ａ（以下「第１画素」という）及び複数の第２位相差画素３６ｂ（以下「第２画素」という）と、被写体像が瞳分割されずに結像される複数の通常画素（Ｒ画素３５、Ｇ画素３６、Ｂ画素３７）（以下「第３画素」という）を有する。

以下では、説明の便宜上、上記の「第１画素」、「第２画素」及び「第３画素」という用語を用いて、画像処理回路２９における画像処理を説明する。

＜画像処理回路の構成＞
図６に示すように、画像処理回路２９は、通常処理部５２、及びスプリットイメージ処理部５４を含んで構成される。スプリットイメージ処理部５４は、選択部１０２、合焦確認画像生成部１０４、及び選択制御部１０６を含んで構成される。

通常処理部５２は、複数の第３画素（Ｒ画素３５、Ｇ画素３６、Ｂ画素３７）によって構成される第３画素群５７ｃの出力信号（出力）である通常画像５８ｃ（第３の画像）に対して画像処理を行い、その画像処理が施された通常画像５８ｃをカラーの撮像画像５５として出力する。尚、通常画像５８ｃは、本明細書において「第１の表示用画像」ということもある。

スプリットイメージ処理部５４は、複数の第１画素（第１位相差画素３６ａ）によって構成される第１画素群５７ａの出力信号（出力）である第１の画像５８ａ（「第１位相差画像」ともいう）、及び複数の第２画素（第２位相差画素３６ｂ）によって構成される第２画素群５７ｂの出力信号（出力）である第２の画像５８ｂ（「第２位相差画像」ともいう）に基づいて、白黒のスプリットイメージ６１を生成する。尚、スプリットイメージ６１は、本明細書において「合焦確認画像」又は「第２の表示用画像」ということもある。

選択部１０２は、図８及び図９に示すように、スプリットライン６３（本明細書では「境界線」又は単に「境界」ということもある）で分割されるスプリットイメージ６１（合焦確認画像）内の複数の分割領域（第１の分割画像６１Ｌの領域、第２の分割画像６１Ｒの領域）のそれぞれにおいて、第１の画像５８ａ及び第２の画像５８ｂのいずれかを選択する。つまり、本例の選択部１０２は、複数の第１画素３６ａからなる第１画素群５７ａの出力信号である第１の画像５８ａと、複数の第２画素３６ｂからなる第２画素群５７ｂの出力信号である第２の画像５８ｂとから、それぞれスプリットイメージ６１を構成する表示部分（第１の分割画像６１Ｌ，第２の分割画像６１Ｒ）を抽出する。

尚、本明細書中の「スプリットライン」は、スプリットイメージ６１内の第１の画像５８ａの表示部分（第１分割が像６１Ｌ）と第２の画像５８ｂの表示部分（第２分割画像６１Ｒ）との単なる「境界」であり、その境界を表す線をスプリットイメージ６１内に表示させるわけではない。

選択部１０２は、具体的には、図７に示すように、撮像素子２３の第１画素群５７ａ及び第２画素群５７ｂからそれぞれ出力された第１の画像５８ａ及び第２の画像５８ｂの各ペア画素ＰＲ１について、各ペア画素ＰＲ１を構成している第１の画像５８ａの画素５９ａ（撮像素子２３の第１画素３６ａの画素値を有する）及び第２の画像５８ｂの画素５９ｂ（撮像素子２３の第２画素３６ｂの画素値を有する）のうち、いずれの画素の画素値をスプリットイメージ６１の生成に用いるかの選択を行う。これは、選択部１０２が、撮像素子２３の撮像面２３ａの各ペア画素ＰＲ０から第１画素３６ａ及び第２画素３６ｂのうちいずれかを選択し、選択した画素の画素値をスプリットイメージ６１の生成に用いることと、等価である。ここで、第１の画像５８ａ及び第２の画像５８ｂ間の各ペア画素ＰＲ１は、撮像素子２３の撮像面２３ａにおける各ペア画素ＰＲ０に対応している。

合焦確認画像生成部１０４は、図８及び図９に示すように、選択部１０２によって第１の画像５８ａから抽出された表示部分（第１の分割画像６１Ｌ）、及び選択部１０２によって第２の画像５８ｂから抽出された表示部分（第２の分割画像６１Ｒ）を用いて、スプリットイメージ６１を生成する。

選択制御部１０６は、スプリットイメージ６１（合焦確認画像）における第１の画像５８ａと第２の画像５８ｂとの境界線であるスプリットライン６３の位置を、スプリットライン６３と直交する方向において変更する。また、本例の選択制御部１０６は、スプリットライン６３の数及び形状を変更させる機能を有する。

尚、選択部１０２は、本発明における「選択手段」を構成する。また、選択制御部１０６は、本発明における「境界変更手段」を構成する。また、合焦確認画像生成部１０４は、本発明における「画像生成手段」を構成する。

＜スプリットイメージ＞
図８に示すように、スプリットイメージ処理部５４（具体的には合焦確認画像生成部１０４）は、第１画素群５７ａからの出力信号（出力）の輝度成分に基づき、被写体の中央領域の図中上半分の領域をＬ（左）視点側から見たときの白黒の第１の分割画像６１Ｌ（第１の画像５８ａの表示部分）を生成する。また、スプリットイメージ処理部５４は、第２画素群５７ｂからの出力信号（出力）の輝度成分に基づき、被写体の中央領域の図中下半分の領域をＲ（右）視点側から見たときの白黒の第２の分割画像６１Ｒ（第２の画像５８ｂの表示部分）を生成する。これにより、第１の分割画像６１Ｌと第２の分割画像６１Ｒとを含む白黒のスプリットイメージ６１が得られる。第１及び第２の分割画像６１Ｌ，６１Ｒは、スプリットイメージ６１内において水平方向に平行なスプリットライン６３（「境界線」ともいう）を境界に隣接して配置されている。尚、図中ではスプリットイメージ６１を容易に把握できるように、スプリットイメージ６１をカラーの撮像画像５５に合成しており、この合成は表示制御部３３にて行われる。

撮像画像５５及びスプリットイメージ６１は、メモリ１３のＶＲＡＭ領域に一時的に格納される。表示制御部３３は、メモリ１３から撮像画像５５及びスプリットイメージ６１を読み出して、撮像画像５５にスプリットイメージ６１を合成した後に表示部８へ出力する。これにより、ユーザは、フルカラーの撮像画像５５の表示領域内に、白黒のスプリットイメージ６１を表示したライブビュー画像を見ることができる。

第１の画像５８ａの表示部分である第１の分割画像６１Ｌと第２の画像５８ｂの表示部分である第２の分割画像６１Ｒとは、フォーカスレンズ１６の合焦状態に応じて図中左右方向［水平方向（第１の方向）］にシフトする。この際の第１及び第２の分割画像６１Ｌ，６１Ｒ間のずれ量は、フォーカスレンズ１６の焦点のずれ量に対応している。すなわち、図中左右方向が、撮影レンズ１７により撮像面２３ａ上にそれぞれ結像された各被写体光の像のずれ方向に対応する位相差方向となる。また、第１及び第２の分割画像６１Ｌ，６１Ｒは、フォーカスレンズ１６が合焦しているときにずれ量がゼロ（ほぼゼロを含む）となる。

図９に示すように、フォーカスレンズ１６の焦点がずれるほど、第１の分割画像６１Ｌと第２の分割画像６１Ｒとのずれ量も大きくなる。これにより、ユーザはライブビュー画像を確認しながらフォーカス調整を行うことができる。尚、図中では焦点が合っていいない被写体を２点鎖線表示している。

尚、図８及び図９では、第３画素群５７ｃから出力された通常画像５８ｃに基づいた撮像画像５５（第１の表示用画像）の表示領域内に、合焦確認画像であるスプリットイメージ６１（第２の表示用画像）を表示させた場合を例に示したが、スプリットイメージ６１のみを表示部８に表示させる構成としてもよい。つまり、撮像素子２３の全ての画素が位相差画素（第１位相差画素及び第２位相差画素）であるか、もしくは撮像素子２３の全領域に一定の割合で位相差画素（第１位相差画素及び第２位相差画素）が配置され、スプリットイメージ６１のみを表示部８に表示させる場合であってもよい。

＜その他の構成＞
尚、図示は省略するが、デジタルカメラ２にはオートフォーカス用のＡＦ検出回路などが設けられている。ＡＦ検出回路は、第１画素３６ａの出力信号により構成される画像と、第２画素３６ｂの出力信号により構成される画像とを解析して、両画像のずれ方向及び両画像間のずれ量を検知することで撮影レンズ１７のフォーカス調整量（デフォーカス量ともいう）を求める。このフォーカス調整量に基づき、ＣＰＵ１１はレンズドライバ２５を制御して、フォーカス機構２０によりフォーカスレンズ１６を駆動することで焦点調節を行う。尚、このような位相差方式のＡＦ処理については公知であるので、ここでは具体的な説明は省略する。

また、図示は省略するが、デジタルカメラ２にはＡＥ検出回路などが設けられている。ＣＰＵ１１は、ＡＥ検出回路の検出結果に基づき、レンズドライバ２５を介してメカシャッタ１８を駆動することでＡＥ処理を実行する。

＜撮影処理の全体の流れ＞
次に、図１０を用いて上記構成のデジタルカメラ２の作用について説明を行う。操作部９にてデジタルカメラ２が撮影モード（ステップＳ１）のＡＦモードまたはＭＦモード（ステップＳ２）に設定されると、ＣＰＵ１１はレンズドライバ２５を介してメカシャッタ１８の動作を制御するとともに、撮像素子ドライバ２７を介して撮像素子２３を駆動する（ステップＳ３）。尚、ＡＦモードが設定された場合のデジタルカメラ２の動作は公知であるのでここでは具体的な説明は省略する。

ＭＦモード（ステップＳ２）が設定されると、撮像素子２３の第３画素３５、３６、３７（通常画素）からの出力信号は、画像処理回路２９の通常処理部５２に入力される。通常処理部５２は、第３画素３５〜３７からの出力信号である通常画像５８ｃに対して画像処理を行いフルカラーの撮像画像５５として、メモリ１３のＶＲＡＭ領域に格納する（ステップＳ４）。

また、選択部１０２により、スプリットライン６３で分割されるスプリットイメージ６１（合焦確認画像）内の複数の分割領域（第１の分割画像６１Ｌの領域、第２の分割画像６１Ｒの領域）のそれぞれにおいて、第１の画像５８ａ及び第２の画像５８ｂのいずれかを選択する。つまり、選択部１０２により、第１の画像５８ａ及び第２の画像５８ｂから、それぞれ合焦確認画像に用いる第１の分割画像６１Ｌ、第２の分割画像６１Ｒを抽出する。また、合焦確認画像生成部１０４により、白黒の第１の分割画像６１Ｌと白黒の第２の分割画像６１Ｒとを含むスプリットイメージ６１が生成される（ステップＳ５）。生成されたスプリットイメージ６１は、メモリ１３のＶＲＡＭ領域に格納される。ここで、スプリットイメージ６１内の第１の分割画像６１Ｌと第２の分割画像６１Ｒとの境界線（スプリットライン６３）の位置または数の変更指示が操作部９より入力された場合、選択制御部１０６は、選択部１０２にスプリットイメージ６１内の分割領域の範囲を変更させ、スプリットイメージ６１の第１の分割画像６１Ｌと第２の分割画像６１Ｒとの境界線（スプリットライン）の位置または数を変更させる。

尚、境界線の位置または数の変更については、後に詳説する。

表示制御部３３は、メモリ１３から撮像画像５５及びスプリットイメージ６１を読み出して、撮像画像５５の表示領域内にスプリットイメージ６１を合成した後に、表示部８へ出力する。これにより、図９に示すように、カラーの撮像画像５５内に、白黒のスプリットイメージ６１を含むライブビュー画像が表示部８に表示される（ステップＳ６）。

スプリットイメージ６１の第１の分割画像６６Ｌと第２の分割画像６６Ｒとは、フォーカスレンズ１６の合焦状態に応じて図中左右方向にシフトするので、ユーザは、フォーカスリング３ａが回転操作してフォーカスレンズ１６を光軸方向に沿って移動させる。フォーカスレンズ１６が被写体に合焦する合焦位置に近づくのに伴って、第１の分割画像６６Ｌと第２の分割画像６６Ｒとのずれ量が次第に小さくなる。これにより、ユーザはライブビュー画像を確認しながらフォーカス調整を行うことができる。

フォーカスレンズ１６が合焦位置にセットされると、第１の分割画像６６Ｌと第２の分割画像６６Ｒとのずれ量がゼロとなる。これにより、フォーカスレンズ１６が被写体に合焦して、フォーカス調整が完了する。以下、シャッタボタン６が押下されるまで、上記処理が繰り返し実行される。

シャッタボタン６が押下されることにより撮影指示が入力されたか否かを判定し（ステップＳ７でＹｅｓ）、撮影指示が入力されると（ステップＳ７でＹｅｓ）、通常処理部５２にて１フレーム分の撮像画像５５が生成されてメモリ１３のＶＲＡＭ領域に一時的に格納される。この撮像画像５５は、圧縮伸長処理回路３１にて圧縮された後、メディアＩ／Ｆ３２を介してメモリカード１０に記録される（ステップＳ８）。以下、ＭＦモードの終了による撮影継続か否かを判定し（ステップＳ９）、ＭＦモードが終了するまで、上述の処理が繰り返し実行される。

以下、スプリットイメージ６１（合焦確認画像）内のスプリットライン６３（境界線）の変更の詳細について、各種の実施形態に分けて説明する。

＜第１実施形態のデジタルカメラ＞
第１実施形態のデジタルカメラ２において、選択制御部（図６の１０６）は、表示部８に表示させるスプリットイメージ６１（合焦確認画像）内のスプリットライン６３（境界線）の位置を、操作部９（位置入力部手段）に入力された位置の変更指示に応じて変更させる。

＜第１実施形態の合焦確認画像表示処理例＞
図１１は、第１実施形態における合焦確認画像表示処理例の流れを示すフローチャートである。本処理は、選択制御部１０６を構成するＣＰＵ１１の制御により、プログラムに従って実行される。

本例では、図３の操作部９に、スプリットライン位置変更ボタン、上ボタン及び下ボタンが設けられているものとする。尚、表示部８がタッチパネル式である場合、そのタッチパネル式の表示部を位置入力部手段として用いてよい。

まず、スプリットライン位置変更ボタンが押下されたか否かを判定する（ステップＳ１０２）。

スプリットライン位置変更ボタンが押下された場合（ステップＳ１０２でＹｅｓ）、さらに、上ボタンが押下されたか否かの判定（ステップＳ１０４）と、下ボタンが押下されたか否かの判定（ステップＳ１０８）を行う。

スプリットライン位置変更ボタンが押下され（ステップＳ１０２でＹｅｓ）、さらに上ボタンが押下された場合（ステップＳ１０４でｙｅｓ）、スプリットライン６３をスプリットイメージ６１内の上方へ移動させる（ステップＳ１０６）。

また、スプリットライン位置変更ボタンが押下され（ステップＳ１０２でＹｅｓ）、さらに下ボタンが押下された場合（ステップＳ１０８でｙｅｓ）、スプリットライン６３をスプリットイメージ６１内の下方へ移動させる（ステップＳ１１０）。

次に、スプリットライン位置変更ボタンが再押下されたか否かを判定し（ステップＳ１１２）、再押下されるまでステップＳ１０４〜Ｓ１１２を繰り返す。再押下された場合（ステップＳ１１２でｙｅｓ）、本処理を終了する。

図１２は、上ボタン及び下ボタンの押下によるスプリットライン６３の位置の変更の様子を示す。

図１２の（Ｂ）部分に示すようにスプリットライン６３の位置がスプリットイメージ６１の上下方向Ｖ（スプリットライン６３に直交する方向）における中央に設定されている状態で、上ボタンを押し続けると、図１２の（Ａ）部分に示すようにスプリットライン６３の位置は、スプリットイメージ６１の上下方向Ｖにおける中央から上方に移動する。また、図１２の（Ｂ）部分に示す状態で下ボタンを押し続けると、図１２の（Ｃ）部分に示すように、スプリットライン６３の位置はスプリットイメージ６１の上下方向における中央から下方に移動する。

また、表示制御部３３は、スプリットライン６３の近傍に、スプリットライン６３の位置を示す指標であるスプリットライン・マーク６４を表示させる。本例の表示制御部３３は、スプリットライン６３の延長線上に、スプリットライン・マーク６４を表示させている。表示制御部３３は、スプリットライン６３の位置の移動に合わせて、スプリットライン・マーク６４の表示位置を上下方向Ｖにおいて移動させる。尚、スプリットライン・マーク６４の形状は特に限定されない。また、スプリットライン・マーク６４の表示位置は、図示した例には限定されない。

＜第１実施形態のデジタルカメラの作用効果＞
図１３、図１４、図１５は、それぞれ図１２の（Ａ）、（Ｂ）、（Ｃ）部分に対応した選択制御の状態を模式的に示す説明図である。選択部１０２は、撮像素子２３の第１画素群５７ａ及び第２画素群５７ｂからそれぞれ出力された第１の画像５８ａ及び第２の画像５８ｂを取得し、第１の画像５８ａ及び第２の画像５８ｂからそれぞれスプリットイメージ６１に用いる表示部分（第１の分割画像６１Ｌ，第２の分割画像６１Ｒ）を抽出する。つまり、選択部１０２は、スプリットライン６３で分割されるスプリットイメージ６１内の複数の分割領域のそれぞれにおいて、第１の画像５８ａ及び第２の画像５８ｂのいずれかを選択する。合焦確認画像生成部１０４は、選択部１０２によって抽出された第１の分割画像６１Ｌ及び第２の分割画像６１Ｒを互いに隣接させて合成し、スプリットイメージ６１を生成する。選択制御部１０６は、操作部９（位置入力部手段）に入力された位置の変更指示に応じて、選択部１０２に、スプリットイメージ６１における第１の画像５８ａと第２の画像５８ｂとの境界線であるスプリットライン６３の位置をスプリットライン６３と直交する上下方向Ｖにおいて変更する。即ち、選択部１０２は選択制御部１０６の指示に従って、各ペア画素Ｐ０から第１位相差画素３６ａ及び第２位相差画素３６ｂのうちいずれかを選択し、選択した位相差画素の画素値を用いてスプリットイメージ６１を生成する。これにより、表示部８に表示させるスプリットイメージ６１内のスプリットライン６３の位置が、操作部９（位置入力部手段）に入力された位置の変更指示に応じて変更する。ユーザは、スプリットイメージ６１内でスプリットライン６３の位置を変更させて、ピント合わせ（合焦）を行いたい位置にスプリットライン６３を設定することで、ピンポイントでのピント合わせ（合焦）を行うことができるようになる。

＜第２実施形態のデジタルカメラ＞
第２実施形態のデジタルカメラ２において、選択制御部（図６の１０６）は、表示部８に表示させるスプリットイメージ６１（合焦確認画像）内のスプリットライン６３（境界線）の数を、操作部９（数入力手段）に入力された数の変更指示に応じて変更させる。

＜第２実施形態の合焦確認画像表示処理例＞
図１６は、第２実施形態における合焦確認画像表示処理例の流れを示すフローチャートである。本処理は、選択制御部１０６を構成するＣＰＵ１１の制御により、プログラムに従って実行される。

本例では、図３の操作部９に、スプリットライン数変更ボタン、上ボタン及び下ボタンが設けられているものとする。尚、表示部８がタッチパネル式の表示部である場合、そのタッチパネル式の表示部を数入力手段として用いてもよい。

まず、スプリットライン数変更ボタンが押下されたか否かを判定する（ステップＳ２０２）。

スプリットライン数変更ボタンが押下された場合（ステップＳ２０２でＹｅｓ）、さらに、上ボタンが押下されたか否かの判定（ステップＳ２０４）と、下ボタンが押下されたか否かの判定（ステップＳ２０８）を行う。

スプリットライン数変更ボタンが押下され、さらに上ボタンが押下された場合（ステップＳ２０４でｙｅｓ）、スプリットライン６３の数を１本増加させる（ステップＳ２０６）。

また、スプリットライン数変更ボタンが押下され（ステップＳ２０２でＹｅｓ）、さらに下ボタンが押下された場合（ステップＳ２０８でｙｅｓ）、スプリットライン６３の数を１本減少させる（ステップＳ２１０）。

次に、スプリットライン数変更ボタンが再押下されたか否かを判定し（ステップＳ２１２）、再押下されるまでステップＳ２０４〜Ｓ２１２を繰り返す。再押下された場合（ステップＳ２１２でｙｅｓ）、本処理を終了する。

図１７は、上ボタン及び下ボタンの押下によるスプリットライン６３の数の増減の様子を示す。

図１７の（Ｂ）部分に示すようにスプリットライン６３の数が２本に設定されている状態で上ボタンを１回押すと、図１７の（Ａ）部分に示すようにスプリットイメージ６１内のスプリットライン６３の数が１本増加して３本になる。また、図１７の（Ｂ）部分に示す状態で下ボタンを１回押すと、図１７の（Ｃ）部分に示すようにスプリットイメージ６１内のスプリットライン６３の数が１本減少して１本になる。

また、表示制御部３３は、スプリットライン６３（境界線）の近傍に、スプリットライン６３の位置を示す指標であるスプリットライン・マーク６４を表示させる。表示制御部３３は、スプリットライン６３の数の増減に合わせて、スプリットライン・マーク６４の数を増減させる。

＜第２実施形態のデジタルカメラの作用効果＞
本実施形態では、選択制御部１０６は、表示部８に表示させるスプリットイメージ６１内のスプリットライン６３の数を、操作部９（数入力手段）に入力された数の変更指示に応じて変更させる。これにより、ユーザは、スプリットイメージ６１内でスプリットライン６３の本数を変更させて、複数の位置にスプリットライン６３を設定することで、複数の位置でピント合わせ（合焦）を行うことができるようになる。

＜第３実施形態＞
第３実施形態のデジタルカメラ２において、選択制御部（図６の１０６）は、手動操作で入力されるスプリットライン６３（境界線）の数をＬ本としたとき、当該Ｌとして奇数のみ操作部９（数入力手段）に入力を受け付けさせ、Ｌ本のスプリットライン６３のうち第（Ｌ＋１）／２本目のスプリットライン６３を、スプリットイメージ６１（合焦確認画像）の中央または中央の近傍に位置させる。

ここで、「中央の近傍」は、例えば、スプリットイメージ６１の中央からスプリットイメージ６１の上下方向Ｖにおける全幅の±５％以内である。

＜第３実施形態の合焦確認画像表示処理例＞
図１８は、第３実施形態における合焦確認画像表示処理例の流れを示すフローチャートである。本処理は、選択制御部１０６を構成するＣＰＵ１１の制御により、プログラムに従って実行される。

本例では、図３の操作部９として、スプリットライン数変更ボタン、上ボタン及び下ボタンが設けられているものとする。尚、表示部８がタッチパネル式の表示部である場合、そのタッチパネル式の表示部８を数入力手段として用いてもよい。

スプリットライン数変更ボタンが押下された場合（ステップＳ３０２でＹｅｓ）、さらに、上ボタンが押下されたか否かの判定（ステップＳ３０４）と、下ボタンが押下されたか否かの判定（ステップＳ３０８）を行う。

スプリットライン数変更ボタンが押下され（ステップＳ３０２でＹｅｓ）、さらに上ボタンが押下された場合（ステップＳ３０４でｙｅｓ）、Ｎ＝ｎ＋１とする（ステップＳ３０６）。また、スプリットライン数変更ボタンが押下され（ステップＳ３０２でＹｅｓ）、さらに下ボタンが押下された場合（ステップＳ３０８でｙｅｓ）、Ｎ＝ｎ−１とする（ステップＳ３１０）。そして、Ｎ＜１の場合にはｎ＝１と設定し（ステップＳ３１２、Ｓ３１４）、Ｎ≧Ｍの場合にはｎ＝Ｍ（上限値）と設定し（ステップＳ３１６、Ｓ３１８）、Ｎ＜Ｍの場合にはｎ＝Ｎと設定する（ステップＳ３２０）。

ここで、ｎは「現在のスプリットライン数／２」を示す変数であり、Ｎはｎの暫定値を示す変数であり、Ｍはｎの上限値を示す。

つまり、スプリットライン数変更ボタンで入力されるスプリットラインの数をＫ本としたとき、Ｋ＝１，３，５，・・・２ｎ−１（ｎはｎ≦Ｍの整数）のみ入力を受け付ける。このように本例では、スプリットラインの数Ｋとして奇数のみ入力を受け付ける。

次に、スプリットライン数変更ボタンが再押下されたか否かを判定し（ステップＳ３２２）、再押下されるまでステップＳ３０４〜Ｓ３２２を繰り返す。再押下された場合（ステップＳ３２２でｙｅｓ）、本処理を終了する。

＜第３実施形態のデジタルカメラの作用効果＞
本実施形態の選択制御部１０６は、境界線の数Ｋとして奇数のみ入力を受け付け、Ｋ本の境界線のうち第（Ｋ＋１）／２本目のスプリットライン６３（境界線）を、スプリットイメージ６１（合焦確認画像）の中央または中央の近傍に位置させる。これにより、ユーザは、スプリットイメージ６１内の中央または中央の近傍にスプリットライン６３が設定されたスプリットイメージ６１を見ながら、容易にピント合わせを行うことができる。

＜第４実施形態＞
第４実施形態のデジタルカメラ２において、選択制御部（図６の１０６）は、時間の経過に応じてスプリットイメージ６１（合焦確認画像）内のスプリットライン６３（境界線）の位置を移動させる。

＜第４実施形態の合焦確認画像表示処理例＞
図１９は、第４実施形態における合焦確認画像表示処理例の流れを示すフローチャートである。本処理は、選択制御部１０６を構成するＣＰＵ１１の制御により、プログラムに従って実行される。

まず、第１の画像５８ａ及び第２の画像５８ｂのスプリットライン６３の数（ライン数）を「Ｎ」に設定する（ステップＳ４０２）。次に、スプリットライン６３の変更時間間隔Ｔを算出する（ステップＳ４０４）。本例では、ライン数Ｎに基づいて、Ｔ＝１／Ｎを計算している。

次に、時間の経過に応じてスプリットイメージ６１内のスプリットライン６３の位置を移動させる（ステップＳ４０６〜Ｓ４１６）。具体的には、まず、現在時間を取得して初期時間ｔ０とする（ステップＳ４０６）。また、現在時間を取得して（ステップＳ４０８）、現在時間ｔとｔ０＋Ｔとを比較し（ステップＳ４１０）、現在時間ｔ＜ｔ０＋Ｔである場合（ステップＳ４１０でＮｏの場合）、ウェイトして（ステップＳ４１２）、ステップＳ４０６に戻る。現在時間ｔ≧ｔ０＋Ｔである場合（ステップＳ４１０でＹｅｓの場合）、スプリットライン６３の位置をスプリットイメージ６１内で１ライン下方へ移動させる（ステップＳ４１４）。スプリットライン６３がスプリットイメージ６１の最下端に達していない場合（ステップＳ４１６でＮｏの場合）、ステップＳ４０６に戻り、スプリットライン６３の移動を継続する。スプリットライン６３がスプリットイメージ６１の最下端に達した場合（ステップＳ４１６でＹｅｓの場合）、本処理を終了する。

尚、本例では、発明の理解を容易にするため、「１秒」でスプリットライン６３がスプリットイメージ６１の最上端から最下端まで移動する場合を説明したが、移動時間または移動速度を異ならせてもよい。

また、第３実施形態または第４実施形態と組み合わせて、複数のスプリットライン６３がスプリットイメージ６１の最上端から最下端まで移動するようにしてもよい。この場合、複数のスプリットライン６３のうち特定のスプリットラインは停止し、他のスプリットラインが移動するようにしてもよい。

スプリットライン６３の時間の経過に応じた移動の様子を図１２を用いて説明すると、第１実施形態では外部からスプリットライン６３の位置の変更指示が入力されたときにスプリットライン６３を移動させていたが、本実施形態では、時間の経過に従って、スプリットイメージ６１の上部（図１２の（Ａ）部分）から、スプリットイメージ６１の上下方向の中央（図１２の（Ｂ）部分）を介して、スプリットイメージ６１の下部（図１２の（Ｃ）部分）へとスプリットライン６３が移動する。

図２０は、スプリットライン６３が２本である場合の表示例を示す。時間の経過とともに、図２０の（Ａ）部分に示す表示状態から、図２０の（Ｂ）部分に示す表示状態、図２０の（Ｃ）部分に示す表示状態を経て、図２０の（Ｄ）部分に示す表示状態となる。本例では、２本のスプリットライン６３ａ、６３ｂのうち１本のスプリットライン６３ａは、スプリットイメージ６１の上下方向における中央部（または中央部の近傍）に固定して位置しており、他方のスプリットライン６３ｂがスプリットイメージ６１の最上端から最下端まで時間の経過に応じて移動する。

＜第４実施形態のデジタルカメラの作用効果＞
本実施形態では、選択制御部１０６は、時間の経過に応じて合焦確認画像内のスプリットライン６３（境界線）の位置を移動させる。これにより、ユーザは、スプリットライン６３の位置の変更指示を手動操作で入力しなくても、スプリットライン６３が移動するスプリットイメージ６１を見ながら、合焦状態を的確に把握することができるようになる。

＜第５実施形態のデジタルカメラ＞
第５実施形態において、選択制御部１０６は、第４実施形態と同様に、時間の経過に応じてスプリットイメージ６１（合焦確認画像）内のスプリットライン６３の位置を移動させる。ただし、第５実施形態の選択制御部１０６は、スプリットライン６３の移動を開始した後、フォーカスリング３ａ（フォーカス操作手段）によってフォーカス位置（フォーカスレンズ１６の位置）の変更操作が開始されたとき、スプリットイメージ６１内のスプリットライン６３の移動を停止させる。

＜第５実施形態の合焦確認画像表示処理例＞
図２１は、第５実施形態における合焦確認画像表示処理例の流れを示すフローチャートである。本処理は、選択制御部１０６を構成するＣＰＵ１１の制御により、プログラムに従って実行される。

本例のステップＳ５０２〜Ｓ５１２は、第４実施形態の図１９に示したステップＳ４０２〜Ｓ４１２と同様であり、説明を省略する。

本例では、一定時間Ｔが経過した場合（ステップＳ５１０でＹｅｓの場合）、フォーカスリング３ａの操作の有無を判定する（ステップＳ５１４）。フォーカスリング３ａの操作（フォーカス操作）がないと判定された場合（ステップＳ５１４でＮｏの場合）、スプリットライン６３の位置をスプリットイメージ６１内で１ライン下方へ移動させ（ステップＳ５１６）。スプリットライン６３がスプリットイメージ６１の最下端に達したか否かを判定し（ステップＳ５１８）、最下端に達していない場合（ステップＳ５１８でＮｏの場合）、ステップＳ５０６〜Ｓ５１８をフォーカス操作がない限り繰り返し、スプリットライン６３の移動を継続する。スプリットライン６３がスプリットイメージ６１の最下端に達した場合（ステップＳ５１８でＹｅｓの場合）、スプリットライン６３の位置をスプリットイメージ６１の最上端に移動させて（ステップＳ５２０）、ステップＳ５０６〜Ｓ５１８をフォーカス操作がない限り繰り返し、ステップＳ５０６に戻り、スプリットライン６３の移動を継続する。

フォーカスリング３ａの操作有と判定された場合（ステップＳ５１４でＹｅｓの場合）、本処理を終了して、スプリットライン６３の移動を停止する。つまり、フォーカスリング３ａによってフォーカス位置の操作が開始されたとき、スプリットイメージ６１内のスプリットライン６３の移動を停止させる。

尚、フォーカスリング３ａの操作が一定時間行われなかったとき、再度、スプリットライン６３の移動を開始するようにしてもよい。

＜第５実施形態のデジタルカメラの作用効果＞
第５実施形態において、選択制御部１０６は、フォーカスリング３ａ（フォーカス操作手段）によってフォーカス位置の変更操作が開始されたとき、スプリットイメージ６１内のスプリットライン６３の移動を停止させる。つまり、ユーザがピント合わせ操作（フォーカス位置の変更操作）を開始したとき、そのユーザは現在のスプリットライン６３の位置でピント合わせ操作をしたいと考えられるので、本実施形態ではスプリットライン６３の移動を停止する構成とした。これにより、スプリットライン６３が時間の経過に応じて移動しているときに、ユーザは、フォーカスリング３ａを操作するだけで、スプリットライン６３の移動の停止を別途に指示しなくても、ピント合わせ操作を開始することができる。

＜第６実施形態のデジタルカメラ＞
図２２は、第６実施形態の画像処理回路２９を示すブロック図である。図２２において、図６（第１実施形態〜第５実施形態のブロック図）に記載した構成要素と同じものには同じ符号を付し、説明を省略する。

図２２に示すように、本実施形態の画像処理回路２９は、撮像素子２３から得られた画像５８ａ，５８ｂ，５８ｃの解析を行う画像解析部１０８を備える。

また、本実施形態の選択制御部１０６は、画像解析部１０８の解析結果に基づいて、スプリットイメージ６１（合焦確認画像）内のスプリットライン６３（境界線）の位置を設定する。

＜第６実施形態の合焦確認画像表示処理例＞
図２３は、第６実施形態における合焦確認画像表示処理例の流れを示すフローチャートである。本処理は、選択制御部１０６を構成するＣＰＵ１１の制御により、プログラムに従って実行される。

本例のステップＳ６０２〜Ｓ６１２は、第４実施形態の図１９に示したステップＳ４０２〜Ｓ４１２と同様であり、説明を省略する。

本例では、一定時間Ｔが経過した場合（ステップＳ６１０でＹｅｓの場合）、撮像素子２３から得られた画像５８ａ，５８ｂ，５８ｃの解析結果である特徴量Ｓ（画像の特徴量）を閾値Ｔｈと比較する（ステップＳ６１４）。特徴量Ｓ≦Ｔｈである場合（ステップＳ６１４でＮｏの場合）、スプリットライン６３の位置をスプリットイメージ６１内で１ライン下方へ移動させ（ステップＳ６１６）。スプリットライン６３がスプリットイメージ６１の最下端に達したか否かを判定し（ステップＳ６１８）、最下端に達していない場合（ステップＳ６１８でＮｏの場合）、ステップＳ６０６に戻り、スプリットライン６３の移動を継続する。スプリットライン６３がスプリットイメージ６１の最下端に達した場合（ステップＳ６１８でＹｅｓの場合）、スプリットライン６３の位置をスプリットイメージ６１の最上端に移動させて（ステップＳ６２０）、ステップＳ６０６に戻り、スプリットライン６３の移動を継続する。

その一方で、特徴量Ｓ＞Ｔｈである場合（ステップＳ６１４でＹｅｓの場合）、本処理を終了して、スプリットライン６３の移動を停止する。つまり、画像の特徴量Ｓが大きい場合に、スプリットイメージ６１内の特徴量が大きい位置で、スプリットライン６３の移動を停止させる。

画像の特徴量Ｓの具体例として、次の第１〜第４の特徴量が挙げられる。
・第１の特徴量：ペア画素の第１画素と第２画素との位相差
・第２の特徴量：コントラストの検出量
・第３の特徴量：水平エッジ（境界線の方向におけるエッジ）
・第４の特徴量：特定対象の検出結果（特定対象らしさを示す量、特定対象の位置など）
＜第１の特徴量を用いるスプリットライン位置設定例＞
第１の特徴量（第１画素と第２画素との位相差）を用いる場合、選択制御部１０６は、例えば、次のようにして、スプリットイメージ６１内のスプリットライン６３の位置を算出する。

まず、第１の画像５８ａ及び第２の画像５８ｂに基づいて、撮像素子２３のペア画素ＰＲ０を構成する第１画素３６ａの画素値と第２画素３６ｂの画素値との位相差を、ペア画素ＰＲ０ごとに算出する。つまり、ペア画素ＰＲ１を構成する第１の画像５８ａの画素５９ａと第２の画像５８ｂの画素５９ｂとの位相差を算出する。次に、スプリットイメージ６１内で、最も位相差が大きい位置を検出する。次に、スプリットライン６３の位置を、スプリットイメージ６１内で最も位相差が大きい位置に設定する。

即ち、本例の選択制御部１０６は、スプリットイメージ６１内で最もピントがずれているところにスプリットライン６３を設定する。

＜第２の特徴量を用いるスプリットライン位置設定例＞
第２の特徴量（コントラストの検出量）を用いる場合、選択制御部１０６は、例えば、次のようにして、スプリットイメージ６１内のスプリットライン６３の位置を算出する。

まず、画像解析部１０８は、第１の画像５８ａ、第２の画像５８ｂ及び通常画像５８ｃのうち少なくとも一つの画像に基づいて、スプリットイメージ６１内のコントラストの分布を算出する。次に、画像解析部１０８は、スプリットイメージ６１内で、最もコントラストが大きい位置を検出する。次に、合焦確認画像生成部１０４は、スプリットライン６３の位置を、スプリットイメージ６１内で最もコントラストが大きい位置に設定する。

即ち、本例の選択制御部１０６は、スプリットイメージ６１内で最もピント合わせがし易いところにスプリットライン６３を設定する。

＜第３の特徴量を用いるスプリットライン位置設定例＞
第３の特徴量（水平エッジ量）を用いる場合、合焦確認画像生成部１０４は、例えば、次のようにして、スプリットイメージ６１内のスプリットライン６３の位置を算出する。

まず、画像解析部１０８は、第１の画像５８ａ、第２の画像５８ｂ及び通常画像５８ｃのうち少なくとも一つの画像に基づいて、水平方向（スプリットライン６３に沿った方向）におけるエッジ（水平エッジ）の量の分布を算出する。もしも、スプリットイメージ６１内に上下方向（スプリットライン６３に直交する方向）に沿った明瞭な線が存在すれば、その明瞭な線の位置が水平エッジの位置である。次に、選択制御部１０６は、スプリットライン６３の位置を、スプリットイメージ６１内で最も水平エッジ量が大きい位置に設定する。

即ち、本例の選択制御部１０６は、スプリットイメージ６１内で最もピント合わせがし易いところにスプリットライン６３を設定する。

＜第４の特徴量を用いるスプリットライン位置設定例＞
第４の特徴量（特定対象の検出結果）として顔検出量を用いる場合、選択制御部１０６は、例えば、次のようにして、スプリットイメージ６１内のスプリットライン６３の位置を算出する。

まず、画像解析部１０８は、通常画像５８ｃ内で顔画像を検出することにより、スプリットイメージ６１内に顔画像が存在するか否かを検出する。つまり、通常画像５８ｃ内で、顔らしさを示す顔検出量が最も高くなる位置を検出する。本例では、顔画像の検出と同時に、顔部品（目、口など）の検出も行う。次に、選択制御部１０６は、図２４及び図２５に示すように、スプリットライン６３の位置を、顔画像６５の位置に設定する。尚、図２４のスプリットイメージ６１では、顔画像６５に対応する被写界の顔にピントが合っていないため、第１の分割画像６１Ｌと第２の分割画像６１Ｒとが左右にずれた状態で表示される。図２５のスプリットイメージ６１では、顔画像６５に対応する被写界の顔にピントが合っているため、第１の分割画像６１Ｌと第２の分割画像６１Ｒとが左右に一致した状態で表示される。

本例の選択制御部１０６は、顔画像６５のうちの目の位置にスプリットライン６３を設定している。また、本例の表示制御部３３は、スプリットライン６３の位置を示すスプリットライン・マーク６４を、スプリットライン６３の近傍に表示する。

＜第７実施形態のデジタルカメラ＞
第７実施形態において、合焦確認画像生成部１０４は、図２６に示すように、スプリットイメージ６１（合焦確認画像）内の左右方向Ｈ（第１の方向）に第１の画像７１ａ（第１の画像５８ａの分割画像）及び第２の画像７１ｂ（第２の画像５８ｂの分割画像）を交互に配置し、かつ、スプリットイメージ６１内の左右方向Ｈと直交する上下方向Ｖ（第２の方向）に第１の画像７１ａ及び第２の画像７１ｂを交互に配置することにより、スプリットイメージ６１内に第１の画像７１ａ及び第２の画像７１ｂを格子状に配置する。

＜第７実施形態の合焦確認画像表示処理例＞
以下では、図２６に示したように、第１の画像７１ａ及び第２の画像７１ｂを格子状に配置した（あるいはスプリットライン６３を格子状に配置した）スプリットイメージ６１を、「格子状合焦確認画像」という。

本例の合焦確認画像生成部１０４は、具体的には、図２７に示すようにして格子状合焦確認画像（スプリットイメージ６１）を生成する。

第１に、第１画素群５７ａに基づく第１の画像５８ａ及び第２画素群５７ｂに基づく第２の画像５８ｂを、それぞれ格子状に分割する。つまり、第１の画像５８ａ及び第２の画像５８ｂをそれぞれＳ×Ｔ個（Ｓ、Ｔは整数）の部分画像（第１の画像７１ａ、第２の画像７１ｂ）に分割する。尚、図２７では、第１の画像５８ａ及び第２の画像５８ｂをそれぞれ６×４に分割した場合を示している。

第２に、左右方向Ｈ（水平方向）において、左端（一端）から右端（他端）にかけて第１の画像７１ａと第２の画像７１ｂとを交互に選択し、かつ、上下方向Ｖ（垂直方向）において、上端（一端）から下端（他端）にかけて第１の画像７１ａと第２の画像７１ｂとを交互に選択することによって、スプリットライン６３が格子状に配置された格子状合焦確認画像（スプリットイメージ６１）を生成する。

つまり、第１の画像７１ａをＡ（ｉ，ｊ）、第２の画像７１ｂをＢ（ｉ，ｊ）、スプリットイメージ６１の部分画像をＦ（ｉ，ｊ）、ｉは１からＳの整数、ｊは１からＴの整数としたとき、ｉが奇数かつｊが奇数の領域ではＦ（ｉ，ｊ）＝Ａ（ｉ，ｊ）、ｉが奇数かつｊが偶数の領域ではＦ（ｉ，ｊ）＝Ｂ（ｉ，ｊ）、ｉが偶数かつｊが奇数の領域ではＦ（ｉ，ｊ）＝Ｂ（ｉ，ｊ）、ｉが偶数かつｊが偶数の領域ではＦ（ｉ，ｊ）＝Ａ（ｉ，ｊ）である。

＜第８実施形態のデジタルカメラ＞
第８施形態において、合焦確認画像生成部１０４は、図２８に示すように、スプリットイメージ６１内に第１画素群５７ａに基づく第１の画像７２ａと第２画素群５７ｂに基づく第２の画像７２ｂとを隣接して配置し、かつ、スプリットイメージ６１内に第３画素群５７ｃに基づく通常画像５８ｃの部分画像７３ｃを第１の画像７２ａ及び第２の画像７２ｂに隣接させて配置して、スプリットイメージ６１を形成する。

＜第８実施形態の合焦確認画像表示処理例＞
以下では、図２８に示したような、位相差画像（第１の画像５８ａ及び第２の画像５８ｂ）の部分画像（第１の画像７２ａ、第２の画像７２ｂ）に、位相差なしの通常画像（通常画像５８ｃ）の部分画像７２ｃを隣接させたスプリットイメージ６１を「通常画像混在の合焦確認画像」という。

本例の合焦確認画像生成部１０４は、具体的には、図２９に示すようにして通常画像混在の合焦確認画像（スプリットイメージ６１）を生成する。

第１に、第１画素群５７ａに基づく第１の画像５８ａ及び第２画素群５７ｂに基づく第２の画像５８ｂを、上下方向Ｖ（上下方向）において、それぞれ複数の帯状に分割する。つまり、第１の画像５８ａ及び第２の画像５８ｂをそれぞれＱ個（Ｑは整数）の帯状の部分画像７１ａ、７１ｂに分割する。図２９では、８つに分割した場合を示している。

第２に、第３画素群３７ｃに基づく通常画像５８ｃからスプリットイメージ６１に対応する部分を、スプリットイメージ６１のサイズとなるように抽出し、第１の画像５８ａ及び第２の画像５８ｂと同様に、上下方向Ｖ（上下方向）において、複数の帯状の部分画像７２ｃに分割する。図２９では、８つに分割した場合を示している。

第３に、上下方向Ｖ（水平方向）において、上端（一端）から下端（他端）にかけて、第１の画像７２ａ、第２の画像７２ｂ、通常画像５８ｃの部分画像７２ｃ、第１の画像７２ａ、第２の画像７２ｂ、通常画像５８ｃの部分画像７２ｃ・・・という順番で選択することによって、位相差画像間のスプリットライン６３ａ（第１の画像７２ａと第２の画像７２ｂとの境界線）、及び、位相差画像と通常画像間のスプリットライン６３ｂ，６３ｃ（第２の画像７２ｂと通常画像５８ｃの部分画像７２ｃとのスプリットライン６３ｂ、通常画像５８ｃの部分画像７２ｃと第１の画像７２ａとのスプリットライン６３ｃ）が配置された通常画像混在型の合焦確認画像（スプリットイメージ６１）を生成する。

つまり、第１の画像５８ａの部分画像（第１の画像７２ａ）をＡ（ｊ）、第２の画像５８ｂの部分画像（第２の画像７２ｂ）をＢ（ｊ）、通常画像５８ｃの部分画像７２ｃをＣ（ｊ）、スプリットイメージ６１の部分画像をＦ（ｊ）、ｊは１からＱの整数、Ｑは１以上の整数としたとき、Ｆ（ｊ）＝Ａ（ｊ）、Ｆ（ｊ＋２）＝Ｂ（ｊ＋２）、Ｆ（ｊ＋３）＝Ｃ（ｊ＋３）・・・という順番で配置して、通常画像混在の合焦確認画像（スプリットイメージ６１）を生成する。

＜第８実施形態のデジタルカメラの作用効果＞
本実施形態のデジタルカメラによれば、ユーザは、白黒の位相差画像とカラーの通常画像との境界線（スプリットライン）にも位相差が生じるため、白黒の位相差画像同士のずれだけでなく、白黒の位相差画像とカラーの通常画像とのずれによっても、ピント合わせが可能になる。

＜撮像素子の画素配列のバリエーション＞
［非ベイヤ配列の基本配列パターン］
上記各実施形態の撮像素子２３の画素配列（カラーフィルタ配列）は、水平及び垂直方向に繰り返し配置された６×６画素に対応する基本配列パターンＰにより構成されているが、Ｎ×Ｎ画素（Ｎは３以上）に対応する配列パターンの基本配列パターンにより構成されていてもよい。

また、フィルタの色は、ＲＧＢの３原色に限定されない。例えばＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタのカラーフィルタ配列であってもよい。原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）のカラーフィルタのカラーフィルタ配列でもよい。

［ベイヤ配列］
また、撮像素子２３の画素配列（カラーフィルタ配列）は、図３０に示すベイヤ配列の画素配列でもよい。図３０において、ベイヤ配列からなる画素配列の一部に、複数の第１位相差画素３６ａ（第１画素）と複数の第２位相差画素３６ｂ（第２画素）が配置されている。

［２面配列］
また、撮像素子２３の画素配列（カラーフィルタ配列）は、図３１に示す同色画素をずらして配置した２面の配列からなる画素配列でよい。図３１において、同色画素をずらして配置した２面の配列からなる画素配列の一部に、複数の第１位相差画素３６ａ（第１画素）と複数の第２位相差画素３６ｂ（第２画素）が配置され、かつ、ペア画素の第１位相差画素３６ａと第２位相差画素３６ｂとが隣接して配置されている。

＜他の機器＞
上記各実施形態では本発明の撮像装置としてデジタルカメラを例に挙げて説明を行ったが、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ(Personal Digital Assistants)、携帯型ゲーム機にも本発明を適用することができる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図３２は、スマートフォン５００の外観を示すものである。図３２に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示パネル５２１と、入力部としての操作パネル５２２（タッチパネル）とが一体となった表示入力部５２０（「タッチパネル式の表示部」ともいう）を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図３３は、図３２に示すスマートフォン５００の構成を示すブロック図である。図３３に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図３２に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図３２に示すように、例えば、スピーカ５３１およびマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載する。マイクロホン５３２を筐体５０２の側面に搭載することもできる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図３２に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、本発明に係る左目画像及び右目画像を生成するための画像処理プログラムを含むアプリケーションソフトウェア、立体視画像を生成するために使用する第１及び第２のデジタルフィルタ群、視差マップ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）またはネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥースBluetooth（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的または間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係る２Ｄ画像から３Ｄ画像を生成する機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

さらに、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部（撮像装置）５４１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラであり、上記各実施形態のデジタルカメラと基本的に同じ構成である。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることができる。図３２に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影したりすることもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力の一つとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。さらには、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずにあるいは３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画または動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。

図３２及び図３３に示したスマートフォン５００は、前述のデジタルカメラ２と同様の機能を有する。図３３の主制御部５０１は、図６または図２２に示した画像処理回路２９の機能を有する。つまり主制御部５０１は、本発明における「画像生成手段」、「境界変更手段」、「選択手段」、「表示制御手段」及び「画像解析手段」を構成する。また、表示入力部５２０（タッチパネル式の表示部）は、本発明における「表示手段」、「位置入力手段」及び「数入力手段」を構成する。

本例のスマートフォン５００は、表示入力部５２０によって、図１２に示したスプリットライン６３をドラッグするドラッグ操作を受け付ける。境界変更手段として機能する主制御部５０１は、表示入力部５２０にスプリットイメージ６１（合焦確認画像）が表示された状態で、スプリットライン６３（境界線）をドラッグするドラッグ操作が表示入力部５２０で行われたとき、ドラッグ操作に合わせてスプリットイメージ６１内のスプリットライン６３の位置をスプリットライン６３と直交する方向において変更する。このようなスプリットライン６３の位置の変更は、主として、境界変更手段として機能する主制御部５０１により行われる。

また、例えば、スプリットライン６３の中点を中心点として、表示入力部５２０のタッチパネルでスプリットライン６３の端部付近をドラッグすることで、スプリットライン６３（境界線）の角度を変更することも可能である。このようなスプリットライン６３の角度の変更は、主として、境界変更部として機能する主制御部５０１により行われる。つまり、本発明における境界変更手段は、スプリットライン６３の位置をスプリットライン６３と直交する方向において変更する機能だけでなく、スプリットライン６３の角度を変更する機能を併せて有していてもよい。

以上、本発明の理解を容易にするため、各種の実施形態に分けて説明してきたが、各種の実施形態を適宜組み合わせて実施しても良い。

尚、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

９：操作部、２９：画像処理回路、５２：通常処理部、５４スプリットイメージ処理部、１０２：選択部、１０４：合焦確認画像生成部、１０６：選択制御部

Claims (18)

1. 撮影レンズにおける第１及び第２の領域を通過した被写体光が瞳分割されてそれぞれ入射される第１及び第２の画素群を有する撮像素子から出力された画像に基づいて第１の表示用画像を生成し、かつ前記第１及び第２の画素群からそれぞれ出力された第１の画像及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する画像生成手段と、
   前記第２の表示用画像における前記第１の画像と前記第２の画像との境界の位置を前記境界と直交する方向において変更する境界変更手段と、
   前記境界変更手段により変更された前記境界で分割される前記第２の表示用画像内の複数の分割領域のそれぞれにおいて、前記第１の画像及び前記第２の画像のいずれかを選択する選択手段と、
   表示手段と、
   前記第１の表示用画像を前記表示手段に表示させ、前記第１の表示用画像の表示領域内に、前記境界変更手段によって前記境界の位置が変更された前記第２の表示用画像を表示させる表示制御手段と、
   を備えた撮像装置。
2. 前記第２の表示用画像内の前記境界の位置の変更指示を入力する位置入力手段を備え、
   前記境界変更手段は、前記表示手段に表示させる前記第２の表示用画像内の前記境界の位置を、前記位置入力手段によって入力された前記位置の変更指示に応じて変更する請求項１に記載の撮像装置。
3. 前記表示手段は、タッチパネル式の表示手段であり、
   前記位置入力手段は、前記タッチパネル式の表示手段によって構成され、
   前記境界変更手段は、前記表示手段に前記第２の表示用画像が表示された状態で当該第２の表示用画像の前記境界をドラッグするドラッグ操作が前記タッチパネル式の表示手段で行われたとき、前記ドラッグ操作に合わせて前記第２の表示用画像内の前記境界の位置を変更する請求項２に記載の撮像装置。
4. 前記第２の表示用画像内の前記境界の数を入力する数入力手段を備え、
   前記境界変更手段は、前記表示手段に表示される前記第２の表示用画像内の前記境界の数を、前記数入力手段によって入力された前記数の変更指示に応じて変更する請求項１ないし３のうちいずれか１項に記載の撮像装置。
5. 前記境界変更手段は、入力された前記境界の数Ｌが奇数であった場合、前記Ｌ本の境界のうち第（Ｌ＋１）／２本目の境界を、前記第２の表示用画像の中央または前記第２の表示用画像の中央の近傍に位置させる請求項４に記載の撮像装置。
6. 前記境界変更手段は、時間の経過に応じて前記第２の表示用画像内の前記境界の位置を移動させる請求項１から５のうちいずれか１項に記載の撮像装置。
7. 前記撮影レンズのフォーカス位置の変更操作を行うフォーカス操作手段を備え、
   前記境界変更手段は、前記フォーカス操作手段によって前記フォーカス位置の変更操作が開始されたとき、前記第２の表示用画像内の前記境界の移動を停止させる請求項６に記載の撮像装置。
8. 前記撮像素子は、前記被写体光が瞳分割されずに入射される第３の画素群をさらに有し、前記第１の表示用画像は前記第３の画素群から出力された第３の画像に基づいて生成される請求項１ないし７のうちいずれか１項に記載の撮像装置。
9. 前記画像生成手段は、前記第２の表示用画像内に前記第１の画像と前記第２の画像とを隣接して配置する請求項８に記載の撮像装置。
10. 前記画像生成手段は、前記第２の表示用画像内に、前記第３の画像を前記第１の画像及び前記第２の画像に隣接させて配置する請求項９に記載の撮像装置。
11. 前記画像生成手段は、前記第２の表示用画像内の第１の方向に前記第１の画像及び前記第２の画像を交互に配置し、かつ、前記第２の表示用画像内の前記第１の方向と直交する第２の方向に前記第１の画像及び前記第２の画像を交互に配置することにより、前記第２の表示用画像内に前記第１の画像及び前記第２の画像を格子状に配置した前記第２の表示用画像を生成する請求項１から８のうちいずれか１項に記載の撮像装置。
12. 前記撮像素子から出力された画像の解析を行う画像解析手段を備え、
    前記境界変更手段は、前記画像解析手段の解析結果に基づいて、前記第２の表示用画像内の前記境界の位置を変更する請求項１ないし１１のうちいずれか１項に記載の撮像装置。
13. 前記画像解析手段は、前記第１の画像の画素と当該第１の画像の画素に対応する前記第２の画像の画素との位相差を検出し、
    前記境界変更手段は、検出された前記位相差に基づいて、前記第２の表示用画像内の前記境界の位置を変更する請求項１２に記載の撮像装置。
14. 前記画像解析手段は、前記画像内のコントラストを検出し、
    前記境界変更手段は、検出された前記コントラストの検出量に基づいて、前記第２の表示用画像内の前記境界の位置を変更する請求項１２に記載の撮像装置。
15. 前記画像解析手段は、前記画像の前記境界の方向におけるエッジを検出し、
    前記境界変更手段は、検出された前記エッジの検出量に基づいて、前記第２の表示用画像内の前記境界の位置を変更する請求項１２に記載の撮像装置。
16. 前記画像解析手段は、前記画像内の特定対象を検出し、
    前記境界変更手段は、前記第２の表示用画像内の前記境界を、検出された前記特定対象の位置に設定する請求項１２に記載の撮像装置。
17. 前記表示制御手段は、前記境界の近傍に、前記境界の位置を示す指標を表示させる請求項１から１６のうちいずれか１項に記載の撮像装置。
18. 撮影レンズにおける第１及び第２の領域を通過した被写体光が瞳分割されてそれぞれ入射される第１及び第２の画素群を有する撮像素子と、表示手段とを用い、前記撮像素子から出力された画像に基づいて生成した第１の表示用画像を前記表示手段に表示させ、前記第１の表示用画像の表示領域内に、前記第１及び第２の画素群からそれぞれ出力された第１の画像及び第２の画像に基づいて生成した合焦確認に使用する第２の表示用画像を表示させる合焦確認表示方法であって、
    前記第２の表示用画像における前記第１の画像と前記第２の画像との境界の位置を前記境界と直交する方向において変更し、
    変更された前記境界で分割される前記第２の表示用画像内の複数の分割領域のそれぞれにおいて、前記第１の画像及び前記第２の画像のいずれかを選択し、
    前記第１の表示用画像の表示領域内に、前記境界の位置が変更された前記第２の表示用画像を表示させる合焦確認表示方法。

Images