JP5934844B2 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。

デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが広く知られている。

マニュアルフォーカスモードを有するデジタルカメラとしては、被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法を採用したものが知られている。また、目視によるコントラストの確認を行う方法を採用したデジタルカメラも知られている。

ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、ＬＣＤ（liquid crystal display：液晶ディスプレイ）等の表示装置の解像度以上のコントラストの表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。

そこで、近年では、マニュアルフォーカスモード時にユーザ（例えば撮影者）が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像（スルー画像ともいう）内に表示している。スプリットイメージとは、例えば表示領域が複数に分割された分割画像（例えば上下方向に分割された各画像）であって、ピントのずれに応じて視差発生方向（例えば左右方向）にずれ、ピントが合った状態だと視差発生方向のずれがなくなる分割画像を指す。ユーザは、スプリットイメージ（例えば上下方向に分割された各画像）のずれがなくなるように、マニュアルフォーカスリング（以下、「フォーカスリング」という）を操作してピントを合わせる。

ここで、特許文献１に記載の撮像装置を参照して、スプリットイメージの原理を説明する。特許文献１に記載の撮像装置は、撮像光学系からの光束のうち、瞳分割部によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換した第１の画像及び第２の画像を生成する。そして、これらの第１及び第２の画像を用いてスプリットイメージを生成し、かつ、瞳分割部によって分割されない光束により形成された第３の被写体像を光電変換して第３の画像を生成する。そして、第３の画像を表示部に表示し、かつ、第３の画像内に、生成したスプリットイメージを表示する。また、特許文献１に記載の撮像装置は、スプリットイメージのうちの指定された領域に含まれる画像を拡大表示する。

特許文献２には、タッチパネル・ディスプレイに表示されている複数の画像のうちの特定の画像がタッチパネルを介して指示体（例えば指）で指示されることで、指示された特定の画像が拡大表示される技術が開示されている。

特許文献３には、タッチパネル・ディスプレイに表示されている画像がタッチパネルを介して指示体で指示された場合に、タッチパネルに接触している指示体と重なっている画像が指示体の指示領域を回避した領域に拡大表示される技術が開示されている。

特開２００９−２３７２１４号公報 特開２０１０−１５２８２７号公報 特開２０１２−２０３６４４号公報

しかしながら、スプリットイメージに含まれる何れかの分割画像を、タッチパネルを介して指示体で指示し、指示した分割画像を拡大表示しても、ユーザが視差の程度を把握することは困難である。また、スプリットイメージのうちの指示体の指示領域と重なっている領域に含まれる画像を、指示体の指示領域を回避した領域に拡大表示しても、拡大表示された画像が視差発生領域の画像でなければ、ユーザが視差の程度を把握することは困難である。拡大表示された画像からユーザが視差を把握することが困難であるということは、合焦状態であるか否かを視覚的に認識し難いことを意味する。

本発明は、このような実情を鑑みて提案されたものであり、合焦状態にあるか否かを視覚的に認識し易くすることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の態様に係る画像処理装置は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された第１及び第２の画像信号に基づく第１及び第２の画像のうちの第１の画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第１の分割画像と、第２の画像を分割方向に分割することにより得た複数の分割画像から第１の分割画像に対応する分割領域と隣接する分割領域に対応する第２の分割画像とを分割方向に隣接させて配置した合焦確認に使用する表示用画像を生成する生成部と、表示領域を有し、かつ、表示領域の表面にタッチパネルが設けられた表示部と、タッチパネルに対する指示体の指示領域を検知することにより、表示領域に表示される表示用画像の第１又は第２の分割画像を指示する指示操作を検知する検知部と、生成部により生成された表示用画像を表示領域に表示させ、表示用画像が表示領域に表示された状態で検知部により指示操作が検知された場合、第１及び第２の分割画像のうちの指示操作により指示された指示分割画像の少なくとも一部並びに第１及び第２の分割画像のうちの指示分割画像と予め定められた方向に隣接する隣接分割画像の少なくとも一部を含む部分画像を表示用画像から抽出し、抽出した部分画像を、表示領域における検知部により検知された指示領域とは異なる領域に表示させる制御部と、を含む。これにより、画像処理装置は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

本発明の第２の態様に係る画像処理装置では、本発明の第１の態様において、制御部が、抽出した部分画像を、部分画像に含まれる指示分割画像と隣接分割画像との視差が拡張された状態で、表示領域における検知部により検知された指示領域とは異なる領域に表示させる。これにより、画像処理装置は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的により一層認識し易くすることができる。

本発明の第３の態様に係る画像処理装置では、本発明の第１の態様又は第２の態様において、制御部が、抽出した部分画像を、表示領域における検知部により検知された指示領域とは異なる領域に拡大して表示させる。これにより、画像処理装置は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的により一層認識し易くすることができる。

本発明の第４の態様に係る画像処理装置では、本発明の第１の態様から第３の態様の何れか１つにおいて、制御部が、抽出した部分画像を、表示領域における検知部により検知された指示領域とは異なる領域に表示させる制御を、表示用画像のうちの指示操作に伴って検知部により検知された指示領域に対応する位置の画像内の明暗差が予め定められた値未満の場合に行わない。これにより、画像処理装置は、抽出した部分画像を、指示領域を回避した領域に表示したとしても合焦状態にあるか否かを視覚的に認識し難い場合に、抽出した部分画像が指示領域を回避した領域に表示されることを抑制することができる。

本発明の第５の態様に係る画像処理装置では、本発明の第１の態様から第４の態様の何れか１つにおいて、指示領域とは異なる領域が、検知部により検知された指示領域が表示用画像における視差発生方向の中央部に含まれる場合、表示用画像における視差発生方向の中央部以外の領域である。これにより、画像処理装置は、タッチパネルにおける表示領域の中央部に対応する領域に接触している指示体が形成する死角によって、指示領域を回避した領域に表示された部分画像が視認し難くなることを抑制することができる。

本発明の第６の態様に係る画像処理装置では、本発明の第５の態様において、表示用画像における視差発生方向の中央部以外の領域が、表示領域における視差発生方向の中央部以外の領域である。これにより、画像処理装置は、指示領域を回避した領域に部分画像が表示されることによって表示用画像が視認し難くなることを抑制することができる。

本発明の第７の態様に係る画像処理装置では、本発明の第１の態様から第６の態様の何れか１つにおいて、指示領域とは異なる領域が、検知部により検知された指示領域が表示用画像における視差発生方向の両端部のうちの一方の端部に含まれる場合、表示領域における視差発生方向の両端部のうちの指示領域から遠い方の端部である。これにより、画像処理装置は、タッチパネルにおける表示領域の両端部のうちの一方の端部に対応する領域に接触している指示体が形成する死角によって、指示領域を回避した領域に表示された部分画像が視認し難くなることを抑制することができる。

本発明の第８の態様に係る画像処理装置では、本発明の第１の態様から第７の態様の何れか１つにおいて、制御部が、抽出した部分画像に含まれる画像を、部分画像に含まれる指示分割画像と隣接分割画像との視差に応じて定められた拡大率、彩度、及び輪郭強調度の少なくとも１つに従って調整する。これにより、画像処理装置は、指示領域を回避した領域に表示された部分画像の視認性を良好にすることができる。

本発明の第９の態様に係る画像処理装置では、本発明の第１の態様から第８の態様の何れか１つにおいて、撮像素子が、撮影レンズを透過した被写体像が瞳分割されずに結像されて第３の画像信号を出力する第３の画素群を更に有し、生成部が、第３の画像信号に基づく撮影画像を更に生成し、制御部が、生成部により表示用画像及び撮影画像が生成された場合、表示部に、撮影画像を表示させ、かつ、撮影画像内に表示用画像を表示させる。これにより、画像処理装置は、第３の画像信号に基づく撮影画像を生成しない場合と比べ、撮影画像の画質を向上させることができる。

本発明の第１０の態様に係る撮像装置は、本発明の第１の態様から第９の態様の何れか１つの画像処理装置と、第１及び第２の画素群を有する撮像素子と、撮像素子から出力された画像信号に基づいて生成された画像を記憶する記憶部と、を含む撮像装置。これにより、撮像装置は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

本発明の第１１の態様に係る撮像装置では、本発明の第１０の態様において、撮影レンズが、光軸方向に沿って移動可能なフォーカスレンズを有し、フォーカスレンズを光軸方向に移動させる移動部を更に含み、検知部が、指示操作を検知した場合、表示領域に表示用画像が表示された状態で指示領域を分割方向と交差する予め定められた交差方向に移動させる第１移動操作を検知し、制御部が、検知部により第１移動操作が検知された場合に、第１移動操作に応じてフォーカスレンズを光軸方向に移動させる制御を移動部に対して行う。これにより、撮像装置は、フォーカスレンズを合焦位置に容易に移動させることができる。

本発明の第１２の態様に係る撮像装置では、本発明の第１１の態様において、検知部が、指示操作を検知した場合、表示領域に表示用画像が表示された状態で指示領域を交差方向に直交する方向に対する所定の閾値以上の移動操作を第２移動操作として検知し、制御部が、検知部により第２移動操作が検知された場合、部分画像の抽出位置を維持する制御を行う。これにより、撮像装置は、ユーザが意図しない方向に指示領域がずれることに起因して合焦対象領域以外の領域の画像が部分画像として抽出されることを抑制することができる。

本発明の第１３の態様に係る撮像装置では、本発明の第１１の態様又は第１２の態様において、表示用画像のうちの検知部により検知された指示領域に対応する位置における第１の画像と第２の画像との視差に基づいて、第１移動操作による指示領域の移動方向を案内する案内情報を提示する提示部を更に含む。これにより、撮像装置は、案内情報を表示しない場合と比べ、フォーカスレンズを合焦位置に移動させるのに必要な操作をユーザに容易に認識させることができる。

本発明の第１４の態様に係る画像処理方法は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された第１及び第２の画像信号に基づく第１及び第２の画像のうちの第１の画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第１の分割画像と、第２の画像を分割方向に分割することにより得た複数の分割画像から第１の分割画像に対応する分割領域と隣接する分割領域に対応する第２の分割画像とを前記分割方向に隣接させて配置した合焦確認に使用する表示用画像を生成し、表示領域を有し、かつ、表示領域の表面にタッチパネルが設けられた表示部のタッチパネルに対する指示体の指示領域を検知することにより、表示領域に表示される表示用画像の第１又は第２の分割画像を指示する指示操作を検知し、指示操作を検知した場合、第１及び第２の分割画像のうちの指示操作により指示された指示分割画像の少なくとも一部並びに第１及び第２の分割画像のうちの指示分割画像と予め定められた方向に隣接する隣接分割画像の少なくとも一部を含む部分画像を表示用画像から抽出し、抽出した部分画像を、表示領域における検知した指示領域とは異なる領域に表示させることを含む。従って、画像処理方法によれば、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

本発明の第１５の態様に係る画像処理プログラムは、コンピュータを、本発明の第１の態様から第９の態様の何れか１つの画像処理装置における生成部、検知部及び制御部として機能させるためのものである。従って、画像処理プログラムによれば、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

本発明によれば、合焦状態にあるか否かを視覚的に認識し易くすることができる、という効果が得られる。

第１実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 第１実施形態に係る撮像装置の背面側を示す背面図である。 第１実施形態に係る撮像装置の本発明に係る要部機能の一例を示すブロック図である。 第１実施形態に係る撮像装置の電気系の構成の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子に設けられているカラーフィルタの配置及びカラーフィルタに対する位相差画素の配置の一例を示す概略配置図である。 第１実施形態に係る撮像素子に含まれる第１の画素、第２の画素及び通常画素の配置の一例を示す概略配置図である。 図６に示す撮像素子に含まれる第１の画素及び第２の画素の各々の構成の一例を示す模式図である。 第１実施形態に係る撮像装置の要部機能の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる画像処理部よって生成されるスプリットイメージの生成方法の説明に供する模式図である。 第１実施形態に係る撮像装置に含まれる第１ディスプレイに表示されたスプリットイメージ及び通常画像の一例を示す画面図である。 第１実施形態に係る画像生成処理の流れの一例を示すフローチャートである。 第１実施形態に係る表示制御処理の流れの一例を示すフローチャートである。 第１実施形態に係る撮像装置に含まれる第１ディスプレイにライブビュー画像が表示された状態でタッチパネルに対する指示体の指示領域が検知された場合の態様の一例を示す態様図である。 第１実施形態に係る撮像装置に含まれる第１ディスプレイにライブビュー画像が表示された状態でタッチパネルに接触している指示体の指示領域が移動した場合の態様の一例を示す態様図である。 第１実施形態に係る撮像装置に含まれる画像処理部よって生成された左眼画像から、タッチパネルに接触している指示体の指示領域に基づいて矩形左眼画像を特定する方法の説明に供する模式図である。 第１実施形態に係る撮像装置に含まれる画像処理部よって生成された右眼画像から、タッチパネルに接触している指示体の指示領域に基づいて矩形右眼画像を特定する方法の説明に供する模式図である。 第１実施形態に係る撮像装置の第１ディスプレイにライブビュー画像が表示された状態でタッチパネルにおける明暗差が閾値未満の画像の位置に対応する領域に対する指示体の指示領域が検知された場合の態様の一例を示す態様図である。 第１実施形態に係る撮像装置に含まれる第１ディスプレイにライブビュー画像が表示された状態で視差拡張画像が表示領域における指示領域を回避した領域に表示された場合の態様の一例を示す態様図である。 第１実施形態に係る撮像装置の第１ディスプレイにスプリットイメージが表示された状態でタッチパネルにおける最上段の表示用視差画像に対応する領域に対する指示体の指示領域が検知された場合の態様の一例を示す態様図である。 第１実施形態に係る撮像装置の第１ディスプレイに表示された非合焦状態のスプリットイメージ内に案内情報として矢印が表示された場合の態様の一例を示す態様図である。 第１実施形態に係る撮像装置の第１ディスプレイに表示された合焦状態のスプリットイメージの態様の一例を示す態様図である。 第１実施形態に係る合焦制御処理の流れの一例を示すフローチャートである。 第２実施形態に係るスマートフォンの外観の一例を示す斜視図である。 第２実施形態に係るスマートフォンの電気系の要部構成の一例を示すブロック図である。 第１及び第２実施形態に係るスプリットイメージの変形例であって、第１の画像及び第２の画像を奇数ラインと偶数ラインとに分けて交互に並べられて形成されたスプリットイメージの一例を示す模式図である。 第１及び第２実施形態に係るスプリットイメージの変形例であって、行方向に対して傾いた斜めの分割線により分割されているスプリットイメージの一例を示す模式図である 第１及び第２実施形態に係るスプリットイメージの変形例であって、格子状の分割線で分割されたスプリットイメージの一例を示す模式図である。 第１及び第２実施形態に係るスプリットイメージの変形例であって、チェッカーパターン状に形成されたスプリットイメージの一例を示す模式図である。 撮像素子に含まれる第１の画素及び第２の画素の配置の変形例を示す概略配置図である。

以下、添付図面に従って本発明に係る撮像装置の実施形態の一例について説明する。

［第１実施形態］
図１は、第１実施形態に係る撮像装置１００の外観の一例を示す斜視図であり、図２は、図１に示す撮像装置１００の背面図である。

撮像装置１００は、レンズ交換式カメラである。撮像装置１００は、撮像装置本体２００と、撮像装置本体２００に交換可能に装着される交換レンズ３００と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ３００は、手動操作により光軸方向に移動可能なフォーカスレンズ３０２を有する撮影レンズ１６（図４参照）を含む。また、撮像装置本体２００には、ハイブリッドファインダー（登録商標）２２０が設けられている。ここで言うハイブリッドファインダー２２０とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。

交換レンズ３００は、撮像装置本体２００に対して交換可能に装着される。また、交換レンズ３００の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング３０１が設けられている。フォーカスリング３０１の手動による回転操作に伴ってフォーカスレンズ３０２は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光が結像される。

撮像装置本体２００の前面には、ハイブリッドファインダー２２０に含まれるＯＶＦのファインダー窓２４１が設けられている。また、撮像装置本体２００の前面には、ファインダー切替えレバー（ファインダー切替え部）２１４が設けられている。ファインダー切替えレバー２１４を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている（後述）。なお、ＯＶＦの光軸Ｌ２は、交換レンズ３００の光軸Ｌ１とは異なる光軸である。また、撮像装置本体２００の上面には、主としてレリーズボタン２１１及び撮影モードや再生モード等の設定用のダイヤル２１２が設けられている。

撮影準備指示部及び撮影指示部としてのレリーズボタン２１１は、撮影準備指示状態と撮影指示状態との２段階の押圧操作が検出可能に構成されている。撮影準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮影指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

本第１実施形態に係る撮像装置１００では、動作モードとして撮影モードと再生モードとがユーザの指示に応じて選択的に設定される。撮影モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２１１を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると露光（撮影）が行われる。つまり、レリーズボタン２１１を半押し状態にすることによりＡＥ（Automatic Exposure）機能が働いて露出状態が設定された後、ＡＦ（Auto-Focus）機能が働いて合焦制御され、レリーズボタン２１１を全押し状態にすると撮影が行われる。

図２に示す撮像装置本体２００の背面には、タッチパネル・ディスプレイ２１３、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４、ＢＡＣＫ／ＤＩＳＰボタン２２５、及びＯＶＦのファインダー接眼部２４２が設けられている。

タッチパネル・ディスプレイ２１３は、液晶ディスプレイ（以下、「第１ディスプレイ」という）２１５及びタッチパネル２１６を備えている。

第１ディスプレイ２１５は、画像及び文字情報等を表示する。第１ディスプレイ２１５は、撮影モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、第１ディスプレイ２１５は、静止画撮影の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ２１５は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。

タッチパネル２１６は、透過型のタッチパネルであり、第１ディスプレイ２１５の表示領域の表面に重ねられている。タッチパネル２１６は、指示体（例えば、指又はスタイラスペン）による接触を検知する。タッチパネル２１６は、検知結果（タッチパネル２１６に対する指示体による接触の有無）を示す検知結果情報を所定周期（例えば１００ミリ秒）で所定の出力先（例えば、後述のＣＰＵ１２（図４参照））に出力する。検知結果情報は、タッチパネル２１６が指示体による接触を検知した場合、タッチパネル２１６上の指示体による接触位置を特定可能な二次元座標（以下、「座標」という）を含み、タッチパネル１２が指示体による接触を検知していない場合、座標を含まない。

十字キー２２２は、１つ又は複数のメニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー２２４は、第１ディスプレイ２１５の画面上に１つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン２２５は、選択項目など所望の対象の消去や指定内容の取消し、あるいは１つ前の操作状態に戻すときなどに使用される。

図３は、本第１実施形態に係る撮像装置１００の本発明に係る要部機能の一例を示す機能ブロック図である。

一例として図３に示すように、撮像装置１００は、生成部１００Ａ、表示部１００Ｂ、検知部１００Ｃ、制御部１００Ｄ、移動部１００Ｅ、及び提示部１００Ｆを含む。生成部１００Ａは、合焦確認に使用する表示用画像を生成する。ここで、表示用画像とは、第１の分割画像と第２の分割画像とを予め定められた分割方向（以下、「分割方向」という）に隣接させて配置した画像を指す。第１の分割画像とは、被写体像が瞳分割されて結像される第１及び第２の画素群（後述）を有する撮像素子２０（図４参照）から出力された第１及び第２の画像（後述）のうちの第１の画像を分割方向に分割して得た複数の分割画像の一部の分割画像を指す。また、第２の分割画像とは、第２の画像を分割方向に分割して得た複数の分割画像から第１の分割画像に対応する分割領域と隣接する分割領域について抽出した分割画像を指す。

表示部１００Ｂは、画像を表示する表示領域を有する。表示領域の表面にはタッチパネル２１６が設けられている。なお、本第１実施形態では、図２に示す表示部１００Ｂの一例として、第１ディスプレイ２１５（図１及び図４参照）及び第２ディスプレイ２４７（図４参照）を採用している。

検知部１００Ｃは、タッチパネル２１６に対する指示体の指示領域を検知する。また、検知部１００Ｃは、表示部１００Ｂの表示領域に表示用画像が表示された状態でタッチパネル２１６に対して行われた第１又は第２の分割画像を指示する指示操作を検知する。

制御部１００Ｄは、生成部１００Ａにより表示用画像が生成された場合、表示部１００Ｂに対して表示領域に表示用画像を表示させる。また、制御部１００Ｄは、表示領域に表示用画像が表示された状態で検知部１００Ｃにより指示操作が検知された場合、表示用画像から部分画像を抽出する。部分画像とは、指示分割画像の少なくとも一部及び隣接分割画像の少なくとも一部を含む画像を指す。指示分割画像とは、第１及び第２の分割画像のうちの指示操作により指示された分割画像を指す。隣接分割画像とは、第１及び第２の分割画像のうちの指示分割画像と予め定められた方向（例えば、視差発生方向と直交する方向のうちの特定の方向）で隣接する分割画像を指す。制御部１００Ｄは、表示用画像から抽出した部分画像を、部分画像に含まれる指示分割画像と隣接分割画像との視差が拡張された状態で、表示部１００Ｂの表示領域における検知部１００Ｃにより検知された指示領域を回避した領域、すなわち、検知部１００Ｃにより検知された指示領域とは異なる領域に表示させる。

検知部１００Ｃは、指示操作を検知した場合、表示部１００Ｂの表示領域に表示用画像が表示された状態で第１移動操作を検知する。第１移動操作とは、タッチパネル２１６に対する指示体の指示領域を分割方向と交差する予め定められた交差方向（以下、「交差方向」という）に移動させる操作を指す。ここで、交差方向とは、例えば、視差発生方向を指す。移動部１００Ｅは、フォーカスレンズ３０２を光軸方向に移動させる。制御部１００Ｄは、検知部１００Ｃにより第１移動操作が検知された場合に、第１移動操作に応じてフォーカスレンズ３０２を光軸方向に移動させる制御を移動部１００Ｅに対して行う。

検知部１００Ｃは、指示操作を検知した場合、表示部１００Ｂの表示領域に表示用画像が表示された状態で第２移動操作を検知する。第２移動操作とは、タッチパネル２１６に対する指示体の指示領域を交差方向以外の方向に移動させる操作を指す。制御部１００Ｄは、検知部１００Ｃにより第２移動操作が検知された場合に、部分画像の抽出位置を維持する制御を行う。

提示部１００Ｆは、表示用画像のうちの検知部１００Ｃにより検知された指示領域に対応する位置における第１の画像と第２の画像との視差に基づいて、第１移動操作による指示領域の移動方向を案内する案内情報を提示する。

図４は、第１実施形態に係る撮像装置１００のハードウェア構成の一例を示す電気系ブロック図である。

撮像装置１００は、撮像装置本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ３００側のマウント３４６と、を含む。交換レンズ３００は、マウント２５６にマウント３４６が結合されることにより撮像装置本体２００に交換可能に装着される。

交換レンズ３００は、図３に示す移動部１００Ｅの一例であるスライド機構３０３及びモータ３０４を含む。スライド機構３０３は、フォーカスリング３０１の操作が行われることでフォーカスレンズ３０２を光軸Ｌ１に沿って移動させる。スライド機構３０３には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ３０２が取り付けられている。また、スライド機構３０３にはモータ３０４が接続されており、スライド機構３０３は、モータ３０４の動力を受けてフォーカスレンズ３０２を光軸Ｌ１に沿ってスライドさせる。

モータ３０４は、マウント２５６，３４６を介して撮像装置本体２００に接続されており、撮像装置本体２００からの命令に従って駆動が制御される。なお、本第１実施形態では、モータ３０４の一例として、ステッピングモータを適用している。従って、モータ３０４は、撮像装置本体２００からの命令によりパルス電力に同期して動作する。

撮像装置１００は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、ＣＰＵ（central processing unit：中央処理装置）１２によって制御されている。撮像装置１００は、操作部１４、インタフェース部２４、一次記憶部２５、二次記憶部２６、画像処理部２８（図３に示す生成部１００Ａの一例）、スピーカ３５、表示制御部３６、接眼検出部３７、及び外部インタフェース（Ｉ／Ｆ）３９を含む。

ＣＰＵ１２、操作部１４、インタフェース部２４、一次記憶部２５、二次記憶部２６、画像処理部２８、スピーカ３５、表示制御部３６、接眼検出部３７、外部Ｉ／Ｆ３９、及びタッチパネル２１６は、バス４０を介して相互に接続されている。

一次記憶部２５とは、揮発性のメモリを意味し、例えばＲＡＭ（Random Access Memory）を指す。二次記憶部２６とは、不揮発性のメモリを意味し、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）を指す。

二次記憶部２６は、本発明に係る画像処理プログラムの一例である表示制御プログラム５０を記憶している。ＣＰＵ１２は、二次記憶部２６から表示制御プログラム５０を読み出して一次記憶部２５に展開し、表示制御プログラム５０が有する各プロセスを実行する。表示制御プログラム５０は、検知プロセス５０Ａ、表示制御プロセス５０Ｂ、及び提示プロセス５０Ｃを有する。ＣＰＵ１２は、検知プロセス５０Ａを実行することで、図３に示す検知部１００Ｃとして動作する。また、ＣＰＵ１２は、表示制御プロセス５０Ｂを実行することで、図３に示す制御部１００Ｄとして動作する。更に、ＣＰＵ１２は、提示プロセス５０Ｃを実行することで、図３に示す提示部１００Ｆとして動作する。

二次記憶部２６は、合焦制御プログラム５２を記憶している。ＣＰＵ１２は、二次記憶部２６から合焦制御プログラム５２を読み出して一次記憶部２５に展開し、合焦制御プログラム５２を実行することで、図３に示す制御部１００Ｄとして動作する。

なお、ここでは表示制御プログラム５０及び合焦制御プログラム５２（以下、これらを区別して説明する必要がない場合は「プログラム」という）を二次記憶部２６から読み出す場合を例示したが、必ずしも最初から二次記憶部２６に記憶させておく必要はない。例えば、撮像装置１００に接続されて使用されるＳＳＤ（Solid State Drive）、ＩＣカード、光磁気ディスク、ＣＤ−ＲＯＭなどの任意の可搬型の記憶媒体に先ずはプログラムを記憶させておいてもよい。そして、ＣＰＵ１２がこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、通信回線を介して撮像装置１００に接続されるコンピュータ又はサーバ装置等の外部電子計算機の記憶部にプログラムを記憶させておいてもよい。この場合、ＣＰＵ１２は外部電子計算機からプログラムを取得して実行する。

なお、本第１実施形態に係る撮像装置１００では、オートフォーカスモード時に、ＣＰＵ１２が、撮像によって得られた画像のコントラスト値が最大となるようにモータ３０４を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、ＣＰＵ１２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ１２は、レリーズボタン２１１が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタースピード及びＦ値を導出する。そして、導出したシャッタースピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。

操作部１４は、撮像装置１００に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部１４によって受け付けられた各種指示は操作信号としてＣＰＵ１２に出力され、ＣＰＵ１２は、操作部１４から入力された操作信号に応じた処理を実行する。

操作部１４は、レリーズボタン２１１、撮影モード等を選択するダイヤル２１２、ファインダー切替えレバー２１４、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４及びＢＡＣＫ／ＤＩＳＰボタン２２５を含む。

撮像装置本体２００は、位置検出部２３を含む。位置検出部２３は、ＣＰＵ１２に接続されている。位置検出部２３は、マウント２５６，３４６を介してフォーカスリング３０１に接続されており、フォーカスリング３０１の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ１２に出力する。ＣＰＵ１２は、位置検出部２３から入力された回転角度情報に応じた処理を実行する。

撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ３０２を含む撮影レンズ１６及びシャッタ１８を介してカラーの撮像素子（一例としてＣＭＯＳセンサ）２０の受光面に結像される。撮像素子２０に蓄積された信号電荷は、デバイス制御部２２から加えられる読出し信号によって信号電荷（電圧）に応じたデジタル信号として順次読み出される。撮像素子２０は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する。なお、本第１実施形態に係る撮像素子２０は、ＣＭＯＳ型のイメージセンサであるが、これに限らず、ＣＣＤイメージセンサでもよい。

撮像素子２０は、一例として図５に示すカラーフィルタ２１を備えている。カラーフィルタ２１は、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタＧ、Ｒ（赤）に対応するＲフィルタＲ及びＢ（青）に対応するＢフィルタを含む。図５に示す例では、撮像素子２０の画素数の一例として“４８９６×３２６５”画素を採用しており、これらの画素に対してＧフィルタ、Ｒフィルタ及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に所定の周期性で配置されている。そのため、撮像装置１００は、Ｒ，Ｇ，Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。

撮像素子２０は、第１の画素Ｌ、第２の画素Ｒ及び通常画素Ｎ（図６参照）を含む。撮像装置１００は、位相差ＡＦ機能を働かせることにより、第１の画素Ｌの画素からの信号出力値（以下、画素値）と第２の画素Ｒの画素値とに基づいて位相のずれ量を検出する。そして、検出した位相のずれ量に基づいて撮影レンズの焦点位置を調整する。

一例として図６に示すように、撮像素子２０は、第１の画素行１５０、第２の画素行１５２及び第３の画素行１５４を含む。第１の画素行１５０は、同一行内に第１の画素組を含み、第１の画素組は、行方向に複数の通常画素Ｎ（図６に示す例では、４つの通常画素Ｎ）を介在させて周期的に配置されている。第１の画素組とは、行方向に第１の並び方（図中正面視左側に第１の画素Ｌが位置し、図中正面視右側に第２の画素Ｒが位置する並び方）で隣接する一対の第１の画素Ｌ及び第２の画素Ｒを指す。

第２の画素行１５２は、同一行内に第２の画素組を含み、第２の画素組は、行方向に複数の通常画素Ｎ（図６に示す例では、４つの通常画素Ｎ）を介在させて周期的に配置されている。第２の画素組とは、行方向に第２の並び方（第１の並び方と逆の並び方）で隣接する一対の第１の画素Ｌ及び第２の画素Ｒを指す。第３の画素行１５４は、同一行内に複数の通常画素Ｎが隣接して配置されている。

第１の画素行１５０及び第２の画素行１５２は、列方向に複数行の第３の画素行１５４（本第１実施形態では、列方向に所定周期で行数が異なる第３の画素行１５４）を介在させて交互に配置されている。

第１の画素Ｌは、一例として図７に示すように、遮光部材２０Ａによって受光面における行方向の左半分（受光面から被写体を臨む場合の左側（換言すると、被写体から受光面を臨む場合の右側））が遮光された画素である。第２の画素Ｒは、一例として図７に示すように、遮光部材２０Ｂによって受光面における行方向の右半分（受光面から被写体を臨む場合の右側（換言すると、被写体から受光面を臨む場合の左側））が遮光された画素である。なお、以下では、第１の画素Ｌ及び第２の画素Ｒを区別して説明する必要がない場合は「位相差画素」と称する。

撮影レンズ１６の射出瞳を通過する光束は、左領域通過光及び右領域通過光に大別される。左領域通過光とは、撮影レンズ１６の射出瞳を通過する光束のうちの左半分の光束を指し、右領域通過光とは、撮影レンズ１６の射出瞳を通過する光束のうちの右半分の光束を指す。撮影レンズ１６の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ１９及び遮光部材２０Ａ，２０Ｂにより左右に分割され、第１の画素Ｌが左領域通過光を受光し、第２の画素Ｒが右領域通過光を受光する。この結果、左領域通過光に対応する被写体像及び右領域通過光に対応する被写体像は、視差が異なる視差画像（後述する左眼画像及び右眼画像）として取得される。なお、以下では、遮光部材２０Ａ，２０Ｂを区別して説明する必要がない場合は符号を付さずに「遮光部材」と称する。

撮像素子２０は、第１の画素群、第２の画素群及び第３の画素群に分類される。第１の画素群とは、一例として図６に示すように、行列状に配置された複数の第１の画素Ｌを指す。第２の画素群とは、一例として図６に示すように、行列状に配置された複数の第２の画素Ｒを指す。第３の画素群とは、一例として図６に示す複数の通常画素Ｎを指す。ここで、通常画素Ｎとは、位相差画素以外の画素（例えば遮光部材２０Ａ，２０Ｂが設けられていない画素）を指す。なお、以下では、第１の画素群から出力されるＲＡＷ画像を「第１の画像」と称し、第２の画素群から出力されるＲＡＷ画像を「第２の画像」と称し、第３の画素群から出力されるＲＡＷ画像を「第３の画像」と称する。また、以下では、第１〜第３の画像を区別して説明する必要がない場合、「ＲＡＷ画像」と称する。

図４に戻って、撮像素子２０は、第１の画素群から第１の画像（各第１の画素Ｌの画素値を示すデジタル信号）を出力し、第２の画素群から第２の画像（各第２の画素Ｒの画素値を示すデジタル信号）を出力する。また、撮像素子２０は、第３の画素群から第３の画像（各通常画素の画素値を示すデジタル信号）を出力する。なお、第３の画素群から出力される第３の画像は有彩色画像であり、例えば、通常画素Ｎの配列と同じカラー配列のカラー画像である。撮像素子２０から出力された第１の画像、第２の画像、及び第３の画像は、インタフェース部２４を介して一次記憶部２５のＲＡＷ画像記憶領域（図示省略）に一時記憶（上書き保存）される。

画像処理部２８は、一次記憶部２５に記憶されている第１〜第３の画像に対して各種の画像処理を施す。画像処理部２８は、画像処理に係る複数の機能の回路を１つにまとめた集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現される。但し、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスであってもよいし、ＣＰＵ、ＲＯＭ及びＲＡＭを含むコンピュータなどの他のハードウェア構成であってもよい。

ハイブリッドファインダー２２０は、電子像を表示する液晶ディスプレイ（以下、「第２ディスプレイ」という）２４７を有する。

表示制御部３６は、第１ディスプレイ２１５及び第２ディスプレイ２４７に接続されており、第１ディスプレイ２１５及び第２ディスプレイ２４７を選択的に制御することで第１ディスプレイ２１５及び第２ディスプレイ２４７に対して画像を選択的に表示させる。なお、以下では、第１ディスプレイ２１５及び第２ディスプレイ２４７を区別して説明する必要がない場合は「表示装置」と称する。

なお、本第１実施形態に係る撮像装置１００は、ダイヤル２１２（フォーカスモード切替え部）によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部３６は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル２１２によりオートフォーカスモードが選択されると、ＣＰＵ１２は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第１の画素群から出力された第１の画像と第２の画素群から出力された第２の画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいてフォーカスレンズ３０２のデフォーカス量をゼロにするように、デバイス制御部２２からマウント２５６，３４６を介してモータ３０４を制御し、フォーカスレンズ３０２を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第１の画像及び第２の画像の位相ずれ量を指す。

接眼検出部３７は、ユーザ（例えば撮影者）がファインダー接眼部２４２を覗き込んだことを検出し、検出結果をＣＰＵ１２に出力する。従って、ＣＰＵ１２は、接眼検出部３７での検出結果に基づいてファインダー接眼部２４２が使用されているか否かを把握することができる。

外部Ｉ／Ｆ３９は、ＬＡＮ（Local Area Network）やインターネットなどの通信網に接続され、通信網を介して、外部装置（例えばプリンタ）とＣＰＵ１２との間の各種情報の送受信を司る。従って、撮像装置１００は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置１００は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。

図８は、第１実施形態に係る撮像装置１００の要部機能の一例を示す機能ブロック図である。なお、図４に示すブロック図と共通する部分には同一の符号が付されている。

通常処理部３０及びスプリットイメージ処理部３２は、それぞれＷＢゲイン部、ガンマ補正部及び同時化処理部を有し（図示省略）、一次記憶部２５に一時記憶された元のデジタル信号（ＲＡＷ画像）に対して各処理部で順次信号処理を行う。すなわち、ＷＢゲイン部は、Ｒ，Ｇ，Ｂ信号のゲインを調整することによりホワイトバランス（ＷＢ）を実行する。ガンマ補正部は、ＷＢゲイン部でＷＢが実行された各Ｒ，Ｇ，Ｂ信号をガンマ補正する。同時化処理部は、撮像素子２０のカラーフィルタの配列に対応した色補間処理を行い、同時化したＲ，Ｇ，Ｂ信号を生成する。なお、通常処理部３０及びスプリットイメージ処理部３２は、撮像素子２０により１画面分のＲＡＷ画像が取得される毎に、そのＲＡＷ画像に対して並列に画像処理を行う。

通常処理部３０は、インタフェース部２４からＲ，Ｇ，ＢのＲＡＷ画像が入力され、第３の画素群のＲ，Ｇ，Ｂ画素を、第１の画素群及び第２の画素群のうちの同色の周辺画素（例えば隣接するＧ画素）により補間することで、有彩色の通常画像を生成する。

一方、スプリットイメージ処理部３２は、一次記憶部２５に一旦記憶されたＲＡＷ画像から第１の画素群及び第２の画素群のＧ信号（第１及び第２の画像）を抽出し、第１の画素群及び第２の画素群のＧ信号に基づいて無彩色のスプリットイメージを生成する。ＲＡＷ画像から抽出される第１の画素群及び第２の画素群の各々に相当する画素群は、上述したようにＧフィルタの画素による画素群である。従って、スプリットイメージ処理部３２は、第１の画素群及び第２の画素群の各々に相当する画素群のＧ信号に基づいて、無彩色の左の視差画像及び無彩色の右の視差画像を生成することができる。なお、以下では、説明の便宜上、上記の「無彩色の左の視差画像」を「左眼画像」と称し、上記の「無彩色の右の視差画像」を「右眼画像」と称する。

スプリットイメージは、一例として図９に示すように、表示用左眼画像と表示用右眼画像とを所定方向（ここでは一例として視差発生方向と直交する方向）に隣接させて配置した画像である。表示用左眼画像とは、左眼画像を所定方向に４分割して得た４つの分割画像のうちの一部の分割画像（図９に示す例では、正面視上から１番目及び３番目の分割画像）を指す。表示用右眼画像とは、右眼画像を所定方向に４分割して得た４つの分割画像から表示用左眼画像に対応する分割領域と隣接する分割領域について抽出した分割画像（図９に示す例では、正面視上から２番目及び４番目の分割画像）を指す。

一例として図１０に示すように、スプリットイメージは、表示装置の画面中央部の矩形枠内に表示され、スプリットイメージの外周領域に通常画像が表示される。図１０に示す例では、表示用右眼画像と表示用左眼画像とが所定方向に交互に２つずつ配置されたスプリットイメージが示されている。スプリットイメージに含まれる表示用左眼画像及び表示用右眼画像は、合焦状態に応じて視差発生方向にずれる。また、図１０に示す例では、人物の周辺領域（例えば、木）に対してピントが合っていて人物に対してピントがあっていない状態が示されている。なお、以下では、説明の便宜上、表示用左眼画像及び表示用右眼画像を区別して説明する必要がない場合、「表示用視差画像」と称する。

なお、本第１実施形態では、通常画像の一部の画像に代えて、スプリットイメージを嵌め込むことにより通常画像にスプリットイメージを合成するようにしているが、これに限らず、例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮影している被写体像を示すライブビュー画像が表示装置の画面上に表示されるが、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。

一例として図８に示すように、ハイブリッドファインダー２２０は、ＯＶＦ２４０及びＥＶＦ２４８を含む。ＯＶＦ２４０は、対物レンズ２４４と接眼レンズ２４６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ２４８は、第２ディスプレイ２４７、プリズム２４５及び接眼レンズ２４６を有する。

また、対物レンズ２４４の前方には、液晶シャッタ２４３が配設されており、液晶シャッタ２４３は、ＥＶＦ２４８を使用する際に、対物レンズ２４４に光学像が入射しないように遮光する。

プリズム２４５は、第２ディスプレイ２４７に表示される電子像又は各種の情報を反射させて接眼レンズ２４６に導き、かつ、光学像と第２ディスプレイ２４７に表示される情報（電子像、各種の情報）とを合成する。

ここで、ファインダー切替えレバー２１４を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ２４０により光学像を視認することができるＯＶＦモードと、ＥＶＦ２４８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。

表示制御部３６は、ＯＶＦモードの場合、液晶シャッタ２４３が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第２ディスプレイ２４７には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。

また、表示制御部３６は、ＥＶＦモードの場合、液晶シャッタ２４３が遮光状態になるように制御し、接眼部から第２ディスプレイ２４７に表示される電子像のみが視認できるようにする。なお、第２ディスプレイ２４７には、第１ディスプレイ２１５に出力されるスプリットイメージが合成された画像データと同等の画像データが入力される。これにより、第２ディスプレイ２４７は、第１ディスプレイ２１５と同様に通常画像の一部にスプリットイメージが合成された電子像を表示することができる。

次に、本第１実施形態に係る撮像装置１００の作用について説明する。先ず、マニュアルフォーカスモード時に画像処理部２８によって行われる画像生成処理について、図１１を参照して説明する。なお、以下では、画像処理部２８が画像生成処理を行う場合を例示するが、本発明はこれに限定されるものではなく、例えばＣＰＵ１２が画像生成処理プログラムを実行することにより撮像装置１００で画像生成処理が行われるようにしてもよい。

図１１に示す画像生成処理では、先ず、ステップ４００で、画像処理部２８は、一次記憶部２５のＲＡＷ画像記憶領域から第１〜第３の画像を取得し、その後、ステップ４０２へ移行する。

ステップ４０２で、画像処理部２８は、ステップ４００で取得した第１及び第２の画像に基づく左眼画像及び右眼画像を生成し、生成した左眼画像及び右眼画像を一次記憶部２５の視差画像記憶領域（図示省略）に記憶（上書き保存）する。なお、本第１実施形態では、左眼画像は、第１の画像における画素毎に対して所定処理が施された（例えば、ゲインが調整された）画像を指し、右眼画像は、第２の画像における画素毎に対して所定処理が施された第２の画像を指す。従って、左眼画像に含まれる全画素の位置（座標）は第１の画像に含まれる全画素の位置と同一であり、右眼画像に含まれる全画素の位置は第２の画像に含まれる全画素の位置と同一である。

次のステップ４０４で、画像処理部２８は、ステップ４００で取得した第３の画像に基づいて通常画像（本発明の撮影画像の一例）を生成し、ステップ４０２で生成した左眼画像及び右眼画像に基づいてスプリットイメージを生成する。そして、生成した通常画像及びスプリットイメージを表示制御部３６に出力し、その後、ステップ４０６に移行する。表示制御部３６は、通常画像及びスプリットイメージが入力されると、表示装置に対して通常画像を動画像として連続して表示させ、且つ、通常画像の表示領域内にスプリットイメージを動画像として連続して表示させる制御を行う。これに応じて、表示装置は、一例として図１０に示すように、ライブビュー画像を表示する。

ステップ４０６で、画像処理部２８は、ステップ４０４で生成したスプリットイメージを一次記憶部２５のスプリットイメージ記憶領域（図示省略）に記憶（上書き保存）し、その後、本画像生成処理を終了する。

次に、タッチパネル２１６から検知結果情報が入力された場合にＣＰＵ１２が表示制御プログラム５０を実行することで撮像装置１００によって行われる表示制御処理について、図１２を参照して説明する。なお、表示制御処理の説明に供する図１３〜図１８に示す例では、説明の便宜上、ライブビュー画像として柱画像８０及び背景画像８２が第１ディスプレイ２１５に表示された状態について説明する。柱画像８０とは、背景色とは異なる色（例えば、緑色）の主要被写体である縦長柱を撮像装置１００により正面から撮影して得た画像を指し、背景画像８２とは、縦長柱の背景（例えば、白色の背景）を示す画像を指す。

先ず、ステップ４１０で、検知部１００Ｃは、タッチパネル２１６から入力された検知結果情報に基づいて、タッチパネル２１６に指示体が接触しているか否かを判定する。ステップ４１０において、タッチパネル２１６に指示体が接触している場合は、判定が肯定されて、ステップ４１２へ移行する。ステップ４１０において、タッチパネル２１６に指示体が接触していない場合は、判定が否定されてステップ４３６へ移行する。

ステップ４１２で、検知部１００Ｃは、タッチパネル２１６に対して指示操作が行われたことを示す指示操作フラグがオフか否かを判定する。ステップ４１２において、指示操作フラグがオフの場合は、判定が肯定されて、ステップ４１４へ移行する。ステップ４１２において、指示操作フラグがオンの場合は、判定が否定されて、ステップ４２０へ移行する。

ここで、指示操作とは、一例として図１３に示すように、表示領域２１５Ａにスプリットイメージが表示された状態で指示対象領域２１６Ａに指示体が接触することで、表示用右眼画像又は表示用左眼画像を指示分割画像として指示する操作を指す。表示領域２１５Ａとは、第１ディスプレイ２１５の表示領域のうちのスプリットイメージが表示される領域を指す。指示対象領域２１６Ａとは、タッチパネル２１６の被接触対象領域（例えば、タッチパネル２１６における感度を有する面）のうちの表示領域２１５Ａに対応する領域を指す。図１３に示す例では、４つの表示用視差画像が視差発生方向と直交する方向に隣接して配置されたスプリットイメージに含まれる図中正面視上下の表示用左眼画像のうち、下の表示用左眼画像が指示操作によって指示分割画像として指示された状態が示されている。一例として図１３に示すように、指示体の指示領域６２が複数の表示用視差画像（図１３に示す例では、表示用左眼画像及び表示用右眼画像の双方）に跨っている場合、中心点６４が属する表示用視差画像が指示分割画像として指示される。また、中心点６４が表示用視差画像間の境界線上に存在する場合、境界線よりも図１３の正面視下側の表示用分割画像が指示分割画像として指示される。なお、中心点６４とは、指示領域６２に外接する矩形枠６８の中心点を指す。

なお、ステップ４１２において判定が否定される場合とは、例えば、指示操作に継続して（指示操作が行われてからタッチパネル２１６に対して指示体が接触していない期間を介さずに）タッチパネル２１６に対して何らかの操作が行われている場合を意味する。ここで言う「何らかの操作」の一例としては、第１移動操作又は第２移動操作が例示できる。第１移動操作とは、一例として図１４に示すように、指示領域６２を視差発生方向（図１４に示す例では、矢印Ａ方向又は矢印Ｂ方向）に移動させる操作を指す。第２移動操作とは、指示領域６２を視差発生方向以外の方向（図１４に示す例では、矢印Ｃ方向又は矢印Ｄ方向）に移動させる操作を指す。

ステップ４１４で、検知部１００Ｃは、タッチパネル２１６から入力された検知結果情報に基づいて、タッチパネル２１６に対して指示操作が行われたか否かを判定する。ステップ４１４において、タッチパネル２１６に対して指示操作が行われた場合は、判定が肯定されて、ステップ４１６へ移行する。ステップ４１４において、タッチパネル２１６に対して指示操作が行われていない場合は、判定が否定されて、表示制御処理を終了する。

なお、ステップ４１４において判定が否定される場合とは、例えば、タッチパネル２１６の被接触対象領域における図１４に示す指示対象領域２１６Ａ以外の領域（例えば、通常画像の表示領域に対応する領域）に指示体が接触した場合を指す。

ステップ４１６で、検知部１００Ｃは、指示操作フラグをオンにし、その後、ステップ４１８へ移行する。

ステップ４１８で、制御部１００Ｄは、指示座標を一次記憶部２５の指示座標記憶領域（図示省略）に記憶（上書き保存）し、その後、ステップ４２０へ移行する。ここで、指示座標とは、中心点６４（図１３参照）の座標を指す。

ステップ４２０で、制御部１００Ｄは、一次記憶部２５の視差画像記憶領域に記憶されている左眼画像及び右眼画像から、一対の視差算出用画像を取得し、その後、ステップ４２２へ移行する。ここで、一対の視差算出用画像とは、一例として図１５Ａに示す矩形左眼画像６６Ａ、及び一例として図１５Ｂに示す矩形右眼画像６６Ｂを指す。矩形左眼画像６６Ａ及び矩形右眼画像６６Ｂは何れも矩形枠６８（一例として図１５Ａ及び図１５Ｂに示す破線矩形枠）によって切り出された画像である。すなわち、矩形左眼画像６６Ａとは、一例として図１５Ａに示すように、左眼画像における矩形枠６８内の全領域の画像を指し、矩形右眼画像６６Ｂとは、一例として図１５Ｂに示すように、右眼画像における矩形枠６８内の全領域の画像を指す。

ステップ４２２で、制御部１００Ｄは、画像間視差Δｘを算出し、その後、ステップ４２４へ移行する。ここで、画像間視差Δｘとは、ステップ４２０で取得した一対の視差算出用画像の視差を指す。

ステップ４２４で、制御部１００Ｄは、一次記憶部２５のスプリットイメージ記憶領域に記憶されているスプリットイメージから、一例として図１３に示す矩形画像７０を取得し、その後、ステップ４２６へ移行する。ここで、矩形画像７０とは、一例として図１３に示すように、表示用視差画像から矩形枠６８によって切り出された画像を指す。

ステップ４２６で、制御部１００Ｄは、ステップ４２４で取得した矩形画像７０の明暗差（ここでは一例として矩形画像７０に含まれる全画素における画素値の標準偏差）を算出し、その後、ステップ４２８へ移行する。

ステップ４２８で、制御部１００Ｄは、ステップ４２６で算出した明暗差が閾値以上か否かを判定する。ステップ４２８において、ステップ４２６で算出した明暗差が閾値以上の場合は、判定が肯定されて、ステップ４３０へ移行する。ステップ４２８において、ステップ４２６で算出した明暗差が閾値未満の場合は、判定が否定されて、表示制御処理を終了する。明暗差が閾値未満の場合とは、例えば、図１６に示すように、柱画像８０及び背景画像８２が表示された状態で、指示対象領域２１６Ａにおける背景画像８２に対応する領域に指示領域６２が存在する場合を指す。

ステップ４３０で、制御部１００Ｄは、一次記憶部２５の指示座標記憶領域に記憶されている指示座標に基づいて、一次記憶部２５のスプリットイメージ記憶領域に記憶されているスプリットイメージから一例として図１７及び図１８に示す部分画像７２を特定する。そして、特定した部分画像をスプリットイメージから抽出し、その後、ステップ４３２へ移行する。

部分画像７２とは、一例として図１７及び図１８に示すように、矩形枠７４（図１７及び図１８に示す破線矩形枠）内の全領域の画像を指す。矩形枠７４は、点７６を中心とした矩形枠である。矩形枠７４の一辺の長さは、表示用視差画像の短辺の長さ（表示用視差画像における視差発生方向と直交する方向の一辺の長さ）の２倍である。点７６は、中心点６４から予め定められた方向に隣接する境界線に下ろした垂線の足である。ここで、境界線とは、表示用視差画像間の境界線を指す。予め定められた方向とは、一例として図１７に示すように、図中正面視上下方向に配置された４つの表示用視差画像のうち図中正面視最上段の表示用右眼画像以外の表示用視差画像が指示分割画像として指示された場合、図中正面視上方向（矢印Ｅ方向）を指す。また、予め定められた方向とは、一例として図１８に示すように、４つの表示用視差画像のうち図中正面視最上段の表示用視差画像が指示分割画像として指示された場合、図中正面視下方向（矢印Ｆ方向）を指す。従って、部分画像７２とは、矩形枠７４内の全領域に含まれる隣接した状態（境界線を介して接触した状態）の表示用右眼画像の一部及び表示用左眼画像の一部を意味する。なお、図１７及び図１８に示す例では、中心点６４が境界線上にない場合が例示されているが、中心点６４が境界線上に存在する場合、矩形枠７４に代えて、中心点６４を中心とした矩形枠（矩形枠７４と同じ大きさの矩形枠）により部分画像７２を特定すればよい。

ステップ４３２で、制御部１００Ｄは、一例として図１７に示すように、ステップ４３０で抽出した部分画像７２の視差が拡張された視差拡張画像７５を、指示領域６２を回避した特定領域７６に表示（例えば、重畳表示）させ、その後、ステップ４３４へ移行する。

一例として図１７に示すように、視差拡張画像７５は、矩形状のウィンドウ（矩形枠７４と同一の大きさのウィンドウ）内に表示され、視差拡張指示画像７５Ａ及び視差拡張隣接画像７５Ｂを有する。視差拡張指示画像７５Ａは、部分画像７２に含まれる指示分割画像を視差発生方向（部分画像７２に含まれる隣接分割画像との視差が拡張される方向）へ移動させた画像である。すなわち、視差拡張指示画像７５Ａは、部分画像７２に含まれる指示分割画像（図１７に示す例では、表示用左眼画像）を図中正面視左方向へｋΔｘ（ステップ４２２で算出した画像間視差Δｘをｋ倍した値）だけ移動させた画像である。視差拡張隣接画像７５Ｂは、部分画像７２に含まれる隣接分割画像を視差発生方向（部分画像７２に含まれる指示分割画像との視差が拡張される方向）へ移動させた画像である。すなわち、視差拡張隣接画像７５Ｂは、部分画像７２に含まれる隣接分割画像（指示分割画像である表示用左眼画像に隣接する表示用右眼画像）を図中正面視右方向へｋΔｘだけ移動させた画像である。

特定領域７６とは、表示領域２１５Ａにおける視差発生方向の中央部７８（図１７参照）に中心点６４が含まれる場合、ディスプレイ両端部７９のうちの一方の端部を指す。ディスプレイ両端部７９とは、第１ディスプレイ２１５の表示領域における視差発生方向の両端部（視差発生方向における表示領域２１５Ａの両側の領域）を指す。また、特定領域７６とは、スプリットイメージ両端部８１のうちの一方の端部に中心点６４が含まれる場合、ディスプレイ両端部７９のうちの中心点６４から遠い方の端部を指す。スプリットイメージ両端部８１とは、表示領域２１５Ａにおける視差発生方向の両端部（視差発生方向における中央部７８の両側の領域）を指す。なお、図１７に示す例では、表示領域２１５Ａにおける視差発生方向の中央部７８よりも図中正面視左側の領域に中心点６４が属しているので、表示領域２１５Ａよりも図中正面視右側の通常画像内に、視差拡張画像７５が表示されている。

また、図１７に示す例では、視差拡張画像７５に含まれる画像の輪郭（例えば、視差拡張指示画像７５Ａ及び視差拡張隣接画像７５Ｂにおける所定値以上の高周波成分の領域）が画像間視差Δｘに応じた強調度で強調表示されている。ここで、強調表示とは、例えば、輪郭線を所定値以上の濃度で表示することを指す。視差拡張画像７５に含まれる画像の輪郭とは、例えば、視差拡張指示画像７５Ａに含まれる柱画像８０の輪郭及び視差拡張隣接画像７５Ｂに含まれる柱画像８０の輪郭を指す。画像間視差Δｘに応じた強調度とは、例えば、画像間視差Δｘが小さいほど大きくなる強調度（例えば、輪郭線の濃度）を指す。なお、視差拡張画像７５に含まれる画像の調整は、輪郭の強調表示に限定されるものではなく、視差拡張画像７５を画像間視差Δｘに応じた拡大率（例えば、画像間視差Δｘが小さいほど大きくなる拡大率）で拡大させてもよい。また、視差拡張画像７５の彩度を画像間視差Δｘに応じた彩度（例えば、画像間視差Δｘが小さいほど高くなる彩度）に調整してもよい。また、視差拡張画像７５に含まれる画像の輪郭の強調表示、視差拡張画像７５の拡大表示、及び視差拡張画像７５の彩度の調整の少なくとも２つの画像調整を組み合わせてもよい。

ステップ４３４で、提示部１００Ｆは、ステップ４２２で算出した画像間視差に応じた案内情報を視差拡張画像７５に隣接させて表示領域２１５Ａに表示させ、その後、表示制御処理を終了する。

ここで、案内情報とは、非合焦状態から脱するために（合焦状態にするために）第１移動操作により指示領域６２を移動させる方向を案内する情報を意味し、例えば、図１９Ａに示す矢印８３を指す。矢印８３は、第１移動操作により指示領域６２を移動させる方向として推奨する方向を指し示している。矢印８３が指し示す方向に第１移動操作が行われると、後述の合焦制御処理により非合焦状態から合焦状態へ遷移し、これに伴って、スプリットイメージが一例として図１９Ａに示す表示態様から一例として図１９Ｂに示す表示態様へ変化する。図１９Ａに示す例では、指示対象領域２１６Ａのうちの表示用左眼画像に対応する領域に指示体８４が接触しているので（表示用左眼画像が指示分割画像として指示されているので）、矢印８３は視差発生方向とは逆方向である図中正面視右方向を指し示している。逆に、指示対象領域２１６Ａのうちの表示用右眼画像に対応する領域に指示体８４が接触している場合は、矢印８３が指し示す方向と逆方向を指し示す矢印（図示省略）が案内情報として表示される。

ステップ４３６で、検知部１００Ｃは、指示操作フラグがオンか否かを判定する。ステップ４３６において、指示操作フラグがオンの場合は、判定が肯定されて、ステップ４３８へ移行する。ステップ４３６において、指示操作フラグがオフの場合は、判定が否定されて、表示制御処理を終了する。

ステップ４３８で、検知部１００Ｃは、指示操作フラグをオフにし、その後、表示制御処理を終了する。

次に、タッチパネル２１６から検知結果情報が入力された場合にＣＰＵ１２が合焦制御プログラム５２を実行することで撮像装置１００によって行われる合焦制御処理について、図２０を参照して説明する。

先ず、ステップ４５０で、制御部１００Ｄは、指示操作フラグがオンか否かを判定する。ステップ４５０において、指示操作フラグがオンの場合は、判定が肯定されて、ステップ４５２へ移行する。ステップ４５０において、指示操作フラグがオフの場合は、判定が否定されて、合焦制御処理を終了する。

ステップ４５２で、制御部１００Ｄは、タッチパネル２１６から入力された検知結果情報に基づいて、タッチパネル２１６に対して第１移動操作が行われたか否かを判定する。ステップ４５２において、タッチパネル２１６に対して第１移動操作が行われた場合は、判定が肯定されて、ステップ４５４へ移行する。ステップ４５２において、タッチパネル２１６に対して第１移動操作が行われていない場合は、判定が否定されて、ステップ４５６へ移行する。

ステップ４５４で、制御部１００Ｄは、第１移動操作に応じて合焦制御を行い、その後、ステップ４５６へ移行する。ここで、合焦制御とは、中心点６４が一例として図１４に示す矢印Ａ又はＢ方向へ移動することで、フォーカスレンズ３０２を、光軸方向における中心点６４の移動方向に対応する方向へ、中心点６４の移動量に対応するレンズ移動量で移動させる制御を指す。

ステップ４５６で、制御部１００Ｄは、指示操作フラグがオフか否かを判定する。ステップ４５６において、指示操作フラグがオンの場合は、判定が否定されて、ステップ４５２へ移行する。ステップ４５６において、指示操作フラグがオフの場合は、判定が肯定されて、合焦制御処理を終了する。

以上説明したように、撮像装置１００では、スプリットイメージが表示領域２１５Ａに表示された状態で指示操作が検知された場合、指示分割画像及び隣接分割画像を含む部分画像７２（図１７参照）がスプリットイメージから抽出される。そして、抽出された部分画像７２の視差が拡張された画像である視差拡張画像７５（図１７参照）が特定領域７６に表示される。従って、撮像装置１００は、視差拡張画像７５が特定領域７６に表示されない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。

また、撮像装置１００では、スプリットイメージが表示された状態で指示操作が検知された場合に視差拡張画像７５を表示させる制御が、指示操作に伴って検知された指示領域６２に対応する位置の矩形画像７０内の明暗差が閾値未満の場合に行われない。従って、撮像装置１００は、視差拡張画像７５を特定領域７６に表示したとしても合焦状態にあるか否かを視覚的に認識し難い場合に、視差拡張画像７５が特定領域７６に表示されることを抑制することができる。

また、撮像装置１００では、中心点６４（図１７参照）が表示領域２１５Ａの中央部７８に含まれる場合、ディスプレイ両端部７９（図１７参照）のうちの一方の端部に視差拡張画像７５が表示される。従って、撮像装置１００は、タッチパネル２１６における表示領域２１５Ａの中央部７８に対応する領域に接触している指示体が形成する死角によって視差拡張画像７５が視認し難くなることを抑制することができる。

また、撮像装置１００では、中心点６４が表示領域２１５Ａにおける視差発生方向の両端部のうちの一端部に含まれる場合、ディスプレイ両端部７９のうちの中心点６４から遠い方の端部である特定領域７６に視差拡張画像７５が表示される。従って、撮像装置１００は、タッチパネル２１６における表示領域２１５Ａの両端部のうちの一方の端部に対応する領域に接触している指示体が形成する死角によって視差拡張画像７５が視認し難くなることを抑制することができる。しかも、ディスプレイ両端部７９は表示領域２１５Ａ以外の領域であるので、視差拡張画像７５が表示されることによってスプリットイメージが視認し難くなることを抑制することができる。

また、撮像装置１００では、視差拡張画像７５が、画像間視差Δｘに応じて定められた拡大率、彩度、及び輪郭強調度の少なくとも１つに従って調整される。従って、撮像装置１００は、視差拡張画像７５の視認性を良好にすることができる。

また、撮像装置１００では、第１移動操作が検知された場合に、第１移動操作に応じてフォーカスレンズ３０２を光軸方向に移動させる制御が行われる。従って、撮像装置１００は、本構成を有しない場合と比べ、フォーカスレンズ３０２を合焦位置に容易に移動させることができる。

また、撮像装置１００では、第２移動操作が検知された場合（図１２のステップ４１２で否定判定された場合）、部分画像７２の抽出位置が維持される。従って、撮像装置１００は、ユーザが意図しない方向に指示領域６２がずれることに起因して合焦対象領域以外の領域の画像が部分画像７２として抽出されることを抑制することができる。

また、撮像装置１００では、画像間視差Δｘに基づいて、第１移動操作による指示領域６２の移動方向を案内する案内情報として矢印８３（図１９Ａ参照）が表示される。従って、撮像装置１００は、案内情報を表示しない場合と比べ、フォーカスレンズ３０２を合焦位置に移動させるのに必要な操作をユーザに容易に認識させることができる。

なお、上記第１実施形態では、指示分割画像の一部と隣接分割画像の一部とを部分画像７２としたが、これに限らず、指示分割画像の全部と隣接分割画像の全部とを部分画像としてもよい。

また、上記第１実施形態では、矢印８３を第１ディスプレイ２１５に表示させる場合を例示したが、これに限らず、例えば、矢印８３が指し示す方向を示す音声をスピーカ３５に出力させてもよい。また、矢印８３を第１ディスプレイ２１５に表示させずにスピーカ３５から出力される音声のみで第１移動操作の操作方向を案内してもよい。

また、上記第１実施形態では、４つの表示用視差画像が隣接して配置されたスプリットイメージを例示したが、これに限らず、１つの表示用左眼画像と１つの表示用右眼画像とが隣接して配置されたスプリットイメージであってもよい。また、１つの表示用右眼画像と２つの表示用左眼画像とが互い違いに隣接して配置されたスプリットイメージであってもよい。このように、スプリットイメージは、表示用左眼画像と表示用右眼画像とが直線的に交互に隣接して配置された画像であればよい。

また、上記第１実施形態では、表示領域２１５Ａにおける視差発生方向の中央部７８に中心点６４が含まれる場合、ディスプレイ両端部７９のうちの一方の端部に視差拡張画像７５が表示される例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、表示領域２１５Ａのうちの中央部７８以外の領域に視差拡張画像７５が表示されてもよい。この場合も、タッチパネル２１６における表示領域２１５Ａの中央部７８に対応する領域に接触している指示体が形成する死角によって視差拡張画像７５が視認し難くなることを抑制することができる、という上記第１実施形態と同様の効果が期待できる。

また、上記第１実施形態では、表示領域２１５Ａにおける視差発生方向の両端部のうちの一端部に中心点６４が含まれる場合、特定領域７６に視差拡張画像７５が表示される例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、図１７に示すように中央部７８よりも図中正面視左側の領域に中心点６４が属する場合、表示領域２１５Ａのうちの中央部７８よりも図中正面視右側の領域に視差拡張画像７５が表示されてもよい。この場合も、タッチパネル２１６における表示領域２１５Ａの両端部のうちの一方の端部に対応する領域に接触している指示体が形成する死角によって視差拡張画像７５が視認し難くなることを抑制することができる、という効果が期待できる。

また、上記第１実施形態では、一例として図１８に示すように、スプリットイメージに含まれる正面視最上段の表示用視差画像（図１８に示す例では、表示用左眼画像）が指示分割画像として指示される場合を例示したが、本発明はこれに限定されるものではない。例えば、タッチパネル２１６におけるスプリットイメージに含まれる正面視最上段の表示用視差画像以外の表示用視差画像に対応する領域に指示体が接触した場合のみ、表示用視差画像が指示分割画像として指示されるようにしてもよい。このように、スプリットイメージに含まれる複数の表示用視差画像のうちの特定の表示用視差画像のみを指示分割画像として指示可能な表示用視差画像としてもよい。

また、上記第１実施形態では、スプリットイメージに含まれる複数の表示用視差画像のうちの１つが合焦制御対象の指示分割画像として指示される場合を例示したが、本発明はこれに限定されるものではない。例えば、スプリットイメージに含まれる複数の表示用視差画像のうちの１つが画質調整（例えば、明るさ調整やシャープネス調整）対象の指示分割画像として指示されてもよい。また、スプリットイメージに含まれる複数の表示用視差画像のうちの１つが拡大表示対象、縮小表示対象、切り取り対象、又はコピー対象の指示分割画像として指示されてもよい。

また、上記第１実施形態で説明した画像生成処理の流れ（図１１参照）、表示制御処理の流れ（図１２参照）、及び合焦制御処理（図２０参照）はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記第１実施形態で説明した画像生成処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。また、上記第１実施形態で説明した表示制御処理及び合焦制御処理に含まれる各処理は、ＡＳＩＣやプログラマブルロジックデバイス等のハードウェア構成で実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。

上記第１実施形態で説明した画像生成処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域（例えば二次記憶部２６）に予め記憶しておけばよい。なお、必ずしも最初から二次記憶部２６に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるＳＳＤ（Solid State Drive）、
ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの任意の可搬型の記憶媒体に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやＬＡＮ（Local Area Network）などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。

また、上記第１実施形態で説明した撮像装置１００は、被写界深度を確認する機能（被写界深度確認機能）を有していてもよい。この場合、例えば撮像装置１００は被写界深度確認キーを有する。被写界深度確認キーは、ハードキーであってもよいし、ソフトキーであってもよい。ハードキーによる指示の場合は、例えばモーメンタリ動作型のスイッチ（非保持型スイッチ）を適用することが好ましい。ここで言うモーメンタリ動作型のスイッチとは、例えば所定位置に押し込まれている間だけ撮像装置１００における特定の動作状態を維持するスイッチを指す。ここで、被写界深度確認キーは、押下されると絞り値が変更される。また、被写界深度確認キーに対する押下が継続して行われている間（所定位置に押し込まれている間）、絞り値は限界値に達するまで変化し続ける。このように、被写界深度確認キーの押下中は、絞り値が変化するため、スプリットイメージを得るために必要な位相差が得られない場合がある。そこで、スプリットイメージが表示されている状態で、被写界深度確認キーが押下された場合、押下中はスプリットイメージから通常のライブビュー表示に変更するようにしてもよい。また、押下状態が解除された際に再度スプリットイメージを表示させるように画面の切り替えをＣＰＵ１２が行うようにしてもよい。なお、ここでは、被写界深度確認キーの一例としてモーメンタリ動作型のスイッチを適用した場合を例示したが、これに限らず、オルタネイト動作型のスイッチ（保持型スイッチ）を適用してもよい。

［第２実施形態］
上記第１実施形態では、撮像装置１００を例示したが、撮像装置１００の変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォンなどが挙げられる。この他にも、ＰＤＡ（Personal Digital Assistants）や携帯型ゲーム機など
が挙げられる。本第２実施形態では、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図２１は、スマートフォン５００の外観の一例を示す斜視図である。図２１に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２と、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用したりすることもできる。

図２２は、図２１に示すスマートフォン５００の構成の一例を示すブロック図である。図２１に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通信部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、を備える。また、スマートフォン５００の主たる構成要素として、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１と、を備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。そのため、表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、かつ、表示した情報に対するユーザ操作を検出する。なお、生成された３Ｄを鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図２１に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通信部５３０は、スピーカ５３１やマイクロホン５３２を備える。通信部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力する。また、通信部５３０は、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力する。また、図２１に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の正面下部に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２１に示すように、操作部５４０は、スマートフォン５００の筐体５０２の正面下部に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部５５０は、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部５５０は、ストリーミングデータなどを一時的に記憶する。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２を有する。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が例示できる。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４などが挙げられる。ネットワークとしては、例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ（登録商標））が挙げられる。また、ネットワークの他の例としては、ＵＷＢ（Ultra Wideband（登録商標））、ジグビー（ZigBee（登録商標））などが挙げられる。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）が挙げられる。外部機器の他の例としては、ＳＩＭ(Subscriber
Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。

外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示省略）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部５０１は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定する。そして、この判定結果を受けて、操作パネル５２２の感応領域や、ソフトキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて撮像するデジタルカメラであり、図１等に示す撮像装置１００と同様の機能を備えている。

また、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズのピント合わせを行うことができる。また、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図８に示すハイブリッドファインダー２２０をスマートフォン５００に設けるようにしてもよい。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力することができる。図２１に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像したりすることもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データに各種情報を付加して記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）が挙げられる。この他にも、モーションセンサ部５８０により取得した姿勢情報等などであってもよい。

なお、上記各実施形態では、上下方向に２分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。

例えば、図２３に示すスプリットイメージ６６ａは、行方向に平行な複数の分割線６３ａにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ６６ａでは、第１の画素群から出力された出力信号に基づいて生成されたライン状（一例として短冊状）の位相差画像６６Ｌａが奇数ライン（偶数ラインでも可）に表示される。また、第２の画素群から出力された出力信号に基づき生成されたライン状（一例として短冊状）の位相差画像６６Ｒａが偶数ラインに表示される。

また、図２４に示すスプリットイメージ６６ｂは、行方向に傾き角を有する分割線６３ｂ（例えば、スプリットイメージ６６ｂの対角線）により２分割されている。このスプリットイメージ６６ｂでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｂが一方の領域に表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｂが他方の領域に表示される。

また、図２５Ａ及び図２５Ｂに示すスプリットイメージ６６ｃは、行方向及び列方向にそれぞれ平行な格子状の分割線６３ｃにより分割されている。スプリットイメージ６６ｃでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｃがチェッカーパターン状に並べられて表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｃがチェッカーパターン状に並べられて表示される。

また、スプリットイメージに限らず、２つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、２つの位相差画像を重畳して合成表示し、ピントがずれている場合は２重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。

また、上記各実施形態では、第１〜第３の画素群を有する撮像素子２０を例示したが、本発明はこれに限定されるものではなく、第１の画素群及び第２の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像に基づいて３次元画像（３Ｄ画像）を生成することができるし、２次元画像（２Ｄ画像）も生成することができる。この場合、２次元画像の生成は、例えば第１の画像及び第２の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第１の画像又は第２の画像を２次元画像として採用してもよい。

また、上記各実施形態では、第１〜第３の画像が画像処理部２８に入力された場合に通常画像とスプリットイメージとの双方を表示装置の同画面に同時に表示する態様を例示したが、本発明はこれに限定されるものではない。例えば、表示制御部３６が、表示装置に対する通常画像の動画像としての連続した表示を抑止し、かつ、表示装置に対してスプリットイメージを動画像として連続して表示させる制御を行うようにしてもよい。ここで言う「通常画像の表示を抑止する」とは、例えば表示装置に対して通常画像を表示させないことを指す。具体的には、通常画像を生成するものの表示装置に通常画像を出力しないことで表示装置に対して通常画像を表示させないことや通常画像を生成しないことで表示装置に対して通常画像を表示させないことを指す。表示装置の画面全体を利用してスプリットイメージを表示させてもよいし、一例として図１０に示すスプリットイメージの表示領域の全体を利用してスプリットイメージを表示させてもよい。なお、ここで言う「スプリットイメージ」としては、特定の撮像素子を使用する場合において、位相差画群から出力された画像（例えば第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像）に基づくスプリットイメージが例示できる。「特定の撮像素子を使用する場合」としては、例えば位相差画素群（例えば第１の画素群及び第２の画素群）のみからなる撮像素子を使用する場合が挙げられる。この他にも、通常画素に対して所定の割合で位相差画素（例えば第１の画素群及び第２の画素群）が配置された撮像素子を使用する場合が例示できる。

また、通常画像の表示を抑止してスプリットイメージを表示させるための条件としては、様々な条件が考えられる。例えば、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、撮影者がハイブリッドファインダーを覗きこんだ場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１が半押し状態にされた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１に対して押圧操作が行われていない場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、被写体の顔を検出する顔検出機能を働かせた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。なお、ここでは、表示制御部３６が通常画像の表示を抑止する変形例を挙げたが、これに限らず、例えば、表示制御部３６は、通常画像に全画面のスプリットイメージを上書き表示するように制御を行ってもよい。

また、上記各実施形態では、一例として図６に示すように第１の画素Ｌ及び第２の画素Ｒの各々が１画素単位で配置された撮像素子２０を例示したが、本発明はこれに限定されるものではなく、一例として図２６に示す撮像素子６００を用いてもよい。一例として図２６に示す撮像素子６００は、撮像素子２０と比べ、全画素の各々について、第１の画素Ｌ（例えば、左眼画像用の光が入射されるフォトダイオード）及び第２の画素Ｒ（例えば、右眼画像用の光が入射されるフォトダイオード）が一組ずつ配置されている点が異なる。図２６に示す例では、各画素がマイクロレンズ６０２を有しており、各画素における第１の画素Ｌ及び第２の画素Ｒはマイクロレンズ６０２を介して光が入射されるように配置されている。各画素における画素信号の読み出しパターンとしては、例えば、第１〜第４読み出しパターンが例示できる。第１読み出しパターンとは、第１の画素Ｌのみから画素信号を読み出すパターンを指す。第２読み出しパターンとは、第２の画素Ｒのみから画素信号を読み出すパターンを指す。第３読み出しパターンとは、第１の画素Ｌ及び第２の画素Ｒの各々から画素信号を別々のルートを介して（例えば、画素毎に設けられた個別の信号線を介して）同時に読み出すパターンを指す。第４読み出しパターンとは、第１の画素Ｌ及び第２の画素Ｒから画素信号を通常画素の画素信号として、画素毎に設けられた１つの信号線を介して読み出すパターンを指す。通常画素の画素信号とは、例えば、１つの画素につき、第１の画素Ｌの画素信号及び第２の画素Ｒの画素信号を加算して得た画素信号（例えば、第１の画素Ｌのフォトダイオードの電荷と第２の画素Ｒのフォトダイオードの電荷とを合わせた１つの電荷）を指す。

また、図２６に示す例では、１つの画素につき、１つの第１の画素Ｌ及び１つの第２の画素Ｒが配置されているが、これに限らず、少なくとも１つの第１の画素Ｌ及び少なくとも１つの第２の画素Ｒが１つの画素に配置されていればよい。また、図２６に示す例では、１つの画素内において、第１の画素Ｌと第２の画素Ｒとが水平方向に配置されているが、これに限らず、第２の画素Ｌと第２の画素Ｒとを垂直方向に配置してもよいし、第１の画素Ｌと第２の画素Ｒとを斜め方向に配置してもよい。

１６ 撮影レンズ
２０，６００ 撮像素子
１００ 撮像装置
１００Ａ 生成部
１００Ｂ 表示部
１００Ｃ 検出部
１００Ｄ 制御部
１００Ｅ 移動部
１００Ｆ 提示部
２１６ タッチパネル
３０２ フォーカスレンズ

Claims (15)

1. 撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像のうちの前記第１の画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第１の分割画像と、前記第２の画像を前記分割方向に分割することにより得た複数の分割画像から前記第１の分割画像に対応する分割領域と隣接する分割領域に対応する第２の分割画像とを前記分割方向に隣接させて配置した合焦確認に使用する表示用画像を生成する生成部と、
   表示領域を有し、かつ、前記表示領域の表面にタッチパネルが設けられた表示部と、
   前記タッチパネルに対する指示体の指示領域を検知することにより、前記表示領域に表示される表示用画像の前記第１又は第２の分割画像を指示する指示操作を検知する検知部と、
   前記指示操作が検知された場合、前記第１及び第２の分割画像のうちの前記指示操作により指示された指示分割画像の少なくとも一部並びに前記第１及び第２の分割画像のうちの前記指示分割画像と予め定められた方向に隣接する隣接分割画像の少なくとも一部を含む部分画像を前記表示用画像から抽出し、抽出した前記部分画像を、前記表示領域における前記検知部により検知された前記指示領域とは異なる領域に表示させる制御部と、
   を含む画像処理装置。
2. 前記制御部は、抽出した前記部分画像を、前記部分画像に含まれる前記指示分割画像と前記隣接分割画像との視差が拡張された状態で、前記表示領域における前記検知部により検知された前記指示領域とは異なる領域に表示させる請求項１に記載の画像処理装置。
3. 前記制御部は、抽出した前記部分画像を、前記表示領域における前記検知部により検知された前記指示領域とは異なる領域に、拡大して表示させる請求項１又は請求項２に記載の画像処理装置。
4. 前記制御部は、抽出した前記部分画像を、前記表示領域における前記検知部により検知された前記指示領域とは異なる領域に表示させる制御を、前記表示用画像のうちの前記指示操作に伴って前記検知部により検知された前記指示領域に対応する位置の画像内の明暗差が予め定められた値未満の場合に行わない請求項１から請求項３の何れか１項に記載の画像処理装置。
5. 前記指示領域とは異なる領域は、前記検知部により検知された前記指示領域が前記表示用画像における視差発生方向の中央部に含まれる場合、前記表示用画像における視差発生方向の中央部以外の領域である請求項１から請求項４の何れか１項に記載の画像処理装置。
6. 前記表示用画像における視差発生方向の中央部以外の領域は、前記表示領域における視差発生方向の中央部以外の領域である請求項５に記載の画像処理装置。
7. 前記指示領域とは異なる領域は、前記検知部により検知された前記指示領域が前記表示用画像における視差発生方向の両端部のうちの一方の端部に含まれる場合、前記表示領域における視差発生方向の両端部のうちの前記指示領域から遠い方の端部である請求項１から請求項６の何れか１項に記載の画像処理装置。
8. 前記制御部は、抽出した前記部分画像に含まれる画像を、前記部分画像に含まれる前記指示分割画像と前記隣接分割画像との視差に応じて定められた拡大率、彩度、及び輪郭強調度の少なくとも１つに従って調整する請求項１から請求項７の何れか１項に記載の画像処理装置。
9. 前記撮像素子は、前記撮影レンズを透過した被写体像が瞳分割されずに結像されて第３の画像信号を出力する第３の画素群を更に有し、
   前記生成部は、前記第３の画像信号に基づく撮影画像を更に生成し、
   前記制御部は、前記生成部により前記表示用画像及び前記撮影画像が生成された場合、前記表示部に、前記撮影画像を表示させ、かつ、前記撮影画像内に前記表示用画像を表示させる請求項１から請求項８の何れか１項に記載の画像処理装置。
10. 請求項１から請求項９の何れか１項に記載の画像処理装置と、
    前記第１及び第２の画素群を有する撮像素子と、
    前記撮像素子から出力された画像信号に基づいて生成された画像を記憶する記憶部と、
    を含む撮像装置。
11. 前記撮影レンズは、光軸方向に沿って移動可能なフォーカスレンズを有し、
    前記フォーカスレンズを光軸方向に移動させる移動部を更に含み、
    前記検知部は、前記指示操作を検知した場合、前記表示領域に前記表示用画像が表示された状態で前記指示領域を前記分割方向と交差する予め定められた交差方向に移動させる第１移動操作を検知し、
    前記制御部は、前記検知部により前記第１移動操作が検知された場合に、前記第１移動操作に応じて前記フォーカスレンズを光軸方向に移動させる制御を前記移動部に対して行う請求項１０に記載の撮像装置。
12. 前記検知部は、前記指示操作を検知した場合、前記表示領域に前記表示用画像が表示された状態で前記指示領域を前記交差方向に直交する方向に対する所定の閾値以上の移動操作を第２移動操作として検知し、
    前記制御部は、前記検知部により前記第２移動操作が検知された場合、前記部分画像の抽出位置を維持する制御を行う請求項１１に記載の撮像装置。
13. 前記表示用画像のうちの前記検知部により検知された前記指示領域に対応する位置における前記第１の画像と前記第２の画像との視差に基づいて、前記第１移動操作による前記指示領域の移動方向を案内する案内情報を提示する提示部を更に含む請求項１１又は請求項１２に記載の撮像装置。
14. 撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像のうちの前記第１の画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第１の分割画像と、前記第２の画像を前記分割方向に分割することより得た複数の分割画像から前記第１の分割画像に対応する分割領域と隣接する分割領域に対応する第２の分割画像とを前記分割方向に隣接させて配置した合焦確認に使用する表示用画像を生成し、
    表示領域を有し、かつ、前記表示領域の表面にタッチパネルが設けられた表示部の前記タッチパネルに対する指示体の指示領域を検知することにより、前記表示領域に表示される表示用画像の前記第１又は第２の分割画像を指示する指示操作を検知し、
    前記指示操作を検知した場合、前記第１及び第２の分割画像のうちの前記指示操作により指示された指示分割画像の少なくとも一部並びに前記第１及び第２の分割画像のうちの前記指示分割画像と予め定められた方向に隣接する隣接分割画像の少なくとも一部を含む部分画像を前記表示用画像から抽出し、抽出した前記部分画像を、前記表示領域における検知した前記指示領域とは異なる領域に表示させる
    ことを含む画像処理方法。
15. コンピュータを、
    請求項１から請求項９の何れか１項に記載の画像処理装置における前記生成部、前記検知部及び前記制御部として機能させるための画像処理プログラム。

Images