JP5926391B2 - 撮像装置及び合焦確認表示方法 - Google Patents

Description

本発明は、マニュアルフォーカス用の合焦確認画像を表示する撮像装置及び合焦確認表示方法に関する。

デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものがよく知られている。

マニュアルフォーカスモードを有するデジタルカメラとしては、撮影した被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法や、目視によるコントラストの確認を行う方法を採用しているものが良く知られている。

ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、ＬＣＤ等の表示装置の解像度以上のコントラスト表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。

そこで、近年では、マニュアルフォーカスモード時に操作者が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージ（本明細書では「合焦確認画像」ともいう）をライブビュー画像内に表示している。ここで、スプリットイメージは、瞳分割方式の撮像で得られた二つの被写体像（位相差画像）を合成したものであり、被写体像の位相差を表す。つまり、一方の被写体像の上半分と他方の被写体像の下半分とを上下に隣接して配置したスプリットイメージを表示する。ピントがずれた状態だと上下に隣接した二つの被写体像が左右にずれて表示され、ピントが合った状態だと上下に隣接した二つの被写体像の左右のずれがなくなる。操作者は、スプリットイメージ内の二つの被写体像の左右のずれがなくなるように、フォーカスリングを操作してピントを合わせる。

特許文献１に記載のデジタルカメラでは、絞りを光軸と垂直方向に移動させることで二つの測距位置でそれぞれ被写体画像の撮影を行い、これら２つの被写体画像を用いてスプリットイメージをライブビュー画像内に表示している。

特許文献２に記載のデジタルカメラでは、被写体像の像面と撮像素子の受光面との間の距離に相当する値をずれ量として求め、このずれ量に応じて左右相反する方向にずらしたスプリットイメージをライブビュー画像内に表示している。

特許文献３及び４に記載のデジタルカメラは、撮影用の通常画素と、瞳分割された被写体光を受光する焦点検出用の２種類の位相差画素とが撮像面上に複数配列されてなる撮像素子を備えている。このデジタルカメラでは、通常画素からの出力信号に基づき撮像画像を生成してライブビュー画像表示を行うとともに、２種類の位相差画素のそれぞれからの出力に基づきスプリットイメージを生成してライブビュー画像内に表示している。

特開２００４−４０７４０号公報 特開２００１−３０９２１０号公報 特開２００９−１４７６６５号公報 特開２００９−１６３２２０号公報

しかしながら、特許文献１記載のデジタルカメラでは、絞りを移動させる機械的な構成が必要になるので、この構成を収納するスペースの確保、及び部品点数の増加などの問題が生じる。また、特許文献２記載のデジタルカメラでは、被写体光を瞳分割して撮像する構成を有さないので、正確で破綻のないスプリットイメージ（合焦確認画像）の実現が困難である。

特許文献３及び４記載のデジタルカメラでは、２種類の位相差画素を用いてスプリットイメージを生成しているが、僅かにピントが合っていない状態では、スプリットイメージとして上下に表示される二つの被写体像間のずれ量が小さくなるため、スプリットイメージを視認することが容易でなくなり、ユーザがマニュアルのフォーカス操作で十分にピントを合わせることが難しいという課題があった。

二つの被写体像間の視差を強調する視差強調技術も考案されているが、このような視差強調技術では処理負荷が大きく、ライブビュー表示中に視差強調を行うことが困難であった。例えば二つの被写体像間でマッチングを取るマッチング処理の処理負荷が大きい。

本発明の目的は、僅かにピントが合っていない状態でも合焦確認用の画像を見易くすることができる撮像装置及び合焦確認表示方法を提供することにある。

上記の目的を達成するために、本発明は、撮影レンズにおける第１及び第２の領域を通過した被写体光が瞳分割されてそれぞれ入射される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ第１画素群及び第２の画素群からそれぞれ出力された第１画像及び第２画像に基づいて合焦確認に使用する第２の表示用画像を生成する画像生成部と、第１画像の第１画素と第１画素に対応する第２画像の第２画素との画素値の差分を大きくする差分強調処理を行う差分強調処理部と、表示部と、第１の表示用画像を表示部に表示させ、第１の表示用画像の表示領域内に、差分強調処理部によって差分強調処理が行われた第２の表示用画像を表示する表示制御部と、を備えた撮像装置を提供する。

これによれば、第２の表示用画像（合焦確認画像）を構成する第１画像と第２画像とで境界線を挟んで画素値の差分が強調されるので、視差が小さい場合でも第２の表示用画像（合焦確認画像）を見易くすることができ、かつ、視差強調を行う場合と比較して、ライブビュー表示中でも低負荷で強調された第２の表示用画像（合焦確認画像）を表示することができる。

一実施形態では、撮像素子は、被写体光が瞳分割されずに入射される第３の画素群をさらに有し、第１の表示用画像は第３の画素群から出力された第３画像（通常画像）に基づいて生成される。

一実施形態では、差分強調処理部は、第１画素の画素値と第１画素に対応する第２画素の画素値との平均値を算出し、平均値を基準に、第１画素の画素値と平均値との差分、及び第１画素に対応する第２画素の画素値と平均値との差分をそれぞれ大きくする。これによれば、第１画像と第２画像との位相差を視認し易くすることができるだけでなく、第１画像及び第２画像の像構造をほぼ変えないようにすることができる。

一実施形態では、第１画像の第１画素と第１画素に対応する第２画像の第２画素との視差を算出する算出部を備え、差分強調処理部は、算出部によって算出された視差に基づいて、第１画像と第２画像との視差の大小を判定し、視差の大小の判定結果に基づいて差分強調処理を行う。また、一実施形態では、差分強調処理部は、視差の大小を判定した結果、視差が大きいと判定した場合には、視差が小さいと判定した場合よりも、画素値の差分の増加量を小さくする。また、一実施形態では、差分強調処理部は、第１画素の画素値と第１画素に対応する第２画素の画素値との差分が閾値よりも大きい画素が何画素連続して存在するかを判定し、連続している画素の数が多いほど画素値の差分の増加量を小さくする。これによれば、十分に視差がついた箇所に対し過度な差分強調を行わないようになり、第２の表示用画像（合焦確認用画像）の本来の見え方を保つことが可能となる。

一実施形態では、差分強調処理部は、第１画素の画素値と第１画素に対応する第２画素の画素値との差分の大小を判定し、画素値の差分の大小の判定結果に基づいて差分強調処理を行う。また、一実施形態では、差分強調処理部は、画素値の差分の大小を判定した結果、画素値の差分が大きいと判定した場合には、画素値の差分が小さいと判定した場合よりも、画素値の差分の増加量を小さくする。これによれば、高コントラスト時に過度な差分強調を行わないようになり、第２の表示用画像（合焦確認画像）の本来の見え方を保つことが可能となる。

一実施形態では、差分強調処理部は、第１画素及び第１画素に対応する第２画素の画素値をそれぞれＬ、Ｒ、第１画素の画素値と第１画素に対応する第２画素の画素値との平均値をａｖｅ＝（Ｌ＋Ｒ）／２、差分強調係数をＫ（ただしＫ＞０）としたとき、差分強調処理の後の第１画素の画素値Ｌ´及び第２画素の画素値Ｒ´は、それぞれ、Ｌ´＝Ｌ＋（Ｌ−ａｖｅ）×Ｋ、Ｒ´＝Ｒ＋（Ｒ−ａｖｅ）×Ｋである。

一実施形態では、差分強調処理部は、第１画素の画素値Ｌと第１画素に対応する第２画素の画素値Ｒとの差分が大きいほど差分強調係数Ｋを小さくする。

一実施形態では、差分強調処理部は、第１画像及び第２画像の瞳分割に起因するシェーディングを補正するためのシェーディング補正係数を用いて差分強調処理を行う。これによれば、シェーディング成分を強調することなく、差分強調を行うことが可能になる。

一実施形態では、第１画素及び第１画素に対応する第２画素の画素値をそれぞれＬ、Ｒ、第１画像に対するシェーディング補正係数をα、第２画像に対するシェーディング補正係数をβ、シェーディング補正係数を演算した平均値をａｖｅ＝（α×Ｌ＋β×Ｒ）／２、差分強調係数をＫ（ただしＫ＞０）としたとき、差分強調処理の後の第１画素の画素値ａ´及び第２画素の画素値ｂ´は、それぞれ、Ｌ´＝Ｌ＋（α×Ｌ−ａｖｅ）×Ｋ、Ｒ´＝Ｒ＋（β×Ｒ−ａｖｅ）×Ｋである。

一実施形態では、差分強調処理部は、第１画素の画素値Ｌと第１画素に対応する第２画素の画素値Ｒとの差分が大きいほど差分強調係数Ｋを小さくする。

一実施形態では、差分強調処理部は、第２の表示用画像のうち第１画像と第２画像との境界線の近傍の領域のみに対して差分強調処理を行う。

また、本発明は、撮影レンズにおける第１及び第２の領域を通過した被写体光が瞳分割されてそれぞれ入射される第１及び第２の画素群を有する撮像素子と、撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ第１画素群及び第２の画素群からそれぞれ出力された第１画像及び第２画像に基づいて合焦確認に使用する第２の表示用画像を生成する画像生成部と、表示部とを用い、第１画像の第１画素と第１画素に対応する第２画像の第２画素との画素値の差分を大きくする差分強調処理を行う差分強調処理ステップと、画像生成部によって、差分強調処理がされた第１画像及び第２画像に基づいて第２の表示用画像を生成する表示用画像生成ステップと、第１の表示用画像を表示部に表示させ、第１の表示用画像の表示領域内に、差分強調処理ステップによって差分強調処理が行われた第２の表示用画像を表示させる表示ステップと、を備えた合焦確認画像表示方法を提供する。

本発明によれば、僅かにピントが合っていない状態でも合焦確認用の画像（第２の表示用画像）を見易くすることができる。

図１はデジタルカメラの正面斜視図である。 図２はデジタルカメラの背面斜視図である。 図３はデジタルカメラの電気的構成図である。 図４は撮像素子の撮像面の正面図である。 図５は撮像素子の断面図である。 図６はデジタルカメラの画像処理に関するブロック図である。 図７は合焦画像生成部の合焦画像生成の説明に用いる説明図である。 図８は選択部の画素の選択の説明に用いる説明図である。 図９はフォーカスレンズが合焦位置にセットされているときの合焦確認画像の概略図である。 図１０はフォーカスレンズが合焦位置にセットされていないときの合焦確認画像の概略図である。 図１１はデジタルカメラの撮影処理の流れを示すフローチャートである。 図１２は第１実施形態における差分強調処理例を示す説明図である。 図１３は第１実施形態における差分強調処理前後の合焦確認画像の例を示す説明図である。 図１４は視差が大きい場合の差分強調処理の課題の説明に用いる説明図である。 図１５は第２実施形態における視差が小さい場合の差分強調処理例を示す説明図である。 図１６は第２実施形態における視差が大きい場合の差分強調処理例を示す説明図である。 図１７は第２実施形態における差分強調処理例の要部の流れを示すフローチャートである。 図１８は第２実施形態における差分強調処理例の要部の説明に用いる説明図である。 図１９は第３実施形態における高コントラスト時の差分強調処理例を示す説明図である。 図２０は第３実施形態における低コントラスト時の差分強調処理例を示す説明図である。 図２１は瞳分割に起因するシェーディングの説明に用いる説明図である。 図２２は瞳分割に起因するシェーディングの補正情報の説明に用いる説明図である。 図２３は境界線（スプリットライン）の近傍のみ差分強調処理を行う場合の説明図である。 図２４はスマートフォンの斜視図である。 図２５はスマートフォンの構成図である。

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

［デジタルカメラの構成例］
図１に示すように、本発明の撮像装置の一例であるデジタルカメラ２のカメラ本体２ａの前面には、撮像光学系などを含んで構成されるレンズ鏡筒３、ストロボ発光部５などが設けられている。カメラ本体２ａの上面には、シャッタボタン６、電源スイッチ７などが設けられている。レンズ鏡筒３の外周面には、マニュアルフォーカス（以下、単に「ＭＦ」という）操作に用いられるフォーカスリング（レンズ移動機構）３ａが回転自在に取り付けられている。

図２に示すように、カメラ本体２ａの背面には表示部８、操作部９が設けられている。表示部８は、撮影待機状態時には電子ビューファインダとして機能し、ライブビュー画像（スルー画ともいう）を表示する。また、画像再生時にはメモリカード１０に記録されている画像データに基づき、表示部８に画像が再生表示される。

操作部９は、各種のスイッチから構成されている。本例の操作部９は、モード切替スイッチ、十字キー、実行キーなどから構成されている。モード切替スイッチは、デジタルカメラ２の動作モードを切り替える際に操作される。デジタルカメラ２は、被写体を撮像して撮像画像を得る撮影モード、撮像画像を再生表示する再生モードなどを有する。また、撮影モードには、オートフォーカス（以下、単に「ＡＦ」という）を行うＡＦモード、及びＭＦ操作を行うＭＦモードがある。

十字キー及び実行キーは、各種の操作に用いられる。本例の十字キー及び実行キーは、ＭＦモードにおいて、後述の合焦確認画像の表示時に、スプリットライン（以下、「境界線」ということもある）の位置、数などの変更指示の入力デバイス（位置入力部、数入力部）として用いられる。また、十字キー及び実行キーは、表示部８にメニュー画面や設定画面を表示したり、これらメニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする際などに操作される。

カメラ本体２ａの底面には、図示は省略するが、メモリカード１０が装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。

図３に示すように、デジタルカメラ２のＣＰＵ１１は、操作部９からの制御信号に基づき、メモリ１３から読み出した各種プログラムやデータを逐次実行して、デジタルカメラ２の各部を統括的に制御する。なお、メモリ１３のＲＡＭ領域は、ＣＰＵ１１が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。 レンズ鏡筒３には、ズームレンズ１５及びフォーカスレンズ１６を含む撮影レンズ１７、メカシャッタ１８などが組み込まれている。ズームレンズ１５及びフォーカスレンズ１６は、それぞれズーム機構１９、フォーカス機構２０により駆動され、撮影レンズ１７の光軸Ｏ１に沿って前後移動される。ズーム機構１９及びフォーカス機構２０は、ギアやモータなどで構成されている。また、フォーカス機構２０は、図示しないギアを介してフォーカスリング３ａ（フォーカス操作部）と接続している。このため、フォーカス機構２０は、ＭＦモード時にフォーカスリング３ａが回転操作されることに伴い、フォーカスレンズ１６を光軸Ｏ１の方向（以下、「光軸方向」という）に沿って移動させる。つまり、フォーカスリング３ａにより、撮影レンズ１７のフォーカスレンズの位置（フォーカス位置）を変更するフォーカス操作を行う。

メカシャッタ１８は、撮像素子２３への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部（図示は省略）を有する。メカシャッタ１８は、可動部を各位置に移動させることによって、撮影レンズ１７から撮像素子２３へと至る光路を開放／遮断する。また、メカシャッタ１８には、撮像素子２３に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ１８、ズーム機構１９、及びフォーカス機構２０は、レンズドライバ２５を介してＣＰＵ１１によって動作制御される。

メカシャッタ１８の背後には、カラー撮像素子２３（以下単に「撮像素子」という）が配置されている。撮像素子２３は、撮影レンズ１７等を通過した被写体光を電気的な出力信号に変換して出力する。なお、撮像素子２３は、ＣＣＤ（Charge Coupled Device）型撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型撮像素子などの各種類の撮像素子であってもよい。撮像素子ドライバ２７は、ＣＰＵ１１の制御の下で撮像素子２３の駆動を制御する。

画像処理回路２９は、撮像素子２３からの出力信号（出力）に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施して撮像画像データを生成する。また、画像処理回路２９は、ＭＦモード時には、撮像画像データの他にＭＦ操作用のスプリットイメージデータ（以下「合焦確認画像」ともいう）を生成する。撮像画像データやスプリットイメージデータは、メモリ１３のＶＲＡＭ領域（ＶＲＡＭを別途設けても可）に一時的に格納される。ＶＲＡＭ領域は、連続した２フィールド画分を記憶するライブビュー画像用のメモリエリアを有しており、撮像画像データやスプリットイメージデータを逐次上書き格納する。

圧縮伸長処理回路３１は、シャッタボタン６が押下操作されたときに、ＶＲＡＭ領域に格納された撮像画像データに対して圧縮処理を施す。また、圧縮伸長処理回路３１は、メディアＩ／Ｆ３２を介してメモリカード１０から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３２は、メモリカード１０に対する撮像画像データの記録及び読み出しなどを行う。

表示制御部３３は、撮影モード時にはＶＲＡＭ領域に格納された撮像画像データやスプリットイメージデータを読み出して表示部８へ逐次出力する。また、表示制御部３３は、再生モード時には圧縮伸長処理回路３１で伸長された撮像画像データを表示部８へ出力する。

＜カラー撮像素子の構成＞
図４に示すように、撮像素子２３の撮像面２３ａ（図３参照）上には、赤（Ｒ）色のＲ画素３５と、緑（Ｇ）色のＧ画素３６と、青（Ｂ）色のＢ画素３７とがマトリックス状に配列されている。各色画素３５、３６、３７は、被写体像が瞳分割されずに結像される通常画素であり、光電変換素子３９（図５参照）と、光電変換素子３９の上方に配置された３原色のいずれかのカラーフィルタ４０（図５参照）とを含んで構成されている。つまり、各色画素３５〜３７は、カラーフィルタ４０付きの非瞳分割の光電変換素子ともいえる。尚、「〜上」、「上方」とは、図５中の半導体基板４５からマイクロレンズ４９に向かう方向（図中上方向）を指す。

Ｒ画素３５、Ｇ画素３６、Ｂ画素３７の各光電変換素子３９上には、それぞれＲ色，Ｇ色，Ｂ色のカラーフィルタ４０が設けられる。

撮像素子２３のカラーフィルタ配列（画素配列）は、下記の特徴（１）、（２）、（３）、（４）、（５）、及び（６）を有している。

〔特徴（１）〕
カラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる非ベイヤ配列の基本配列パターンＰを含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。

このようにＲＧＢのカラーフィルタ４０が所定の周期性をもって配列されているため、従来知られているランダム配列と比較して、撮像素子２３から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理（デモザイク処理）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理後のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

〔特徴（２）〕
カラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧ色のカラーフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向（斜め右上及び斜め左下方向、斜め右下及び斜め左上方向）方向の各ライン内に１つ以上配置されている。

このようにＧ色のカラーフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での画素補間処理（同時化処理等）の再現精度を向上させることができる。

〔特徴（３）〕
基本配列パターンＰは、Ｒ画素３５、Ｇ画素３６、Ｂ画素３７の画素数が、それぞれ８画素、２０画素、８画素となる。すなわち、Ｒ、Ｇ、Ｂの各色の画素３５〜３７の各画素数の比率は２：５：２であり、Ｇ画素３６の画素数の比率は他の色のＲ画素３５、Ｂ画素３７の各々の画素数の比率よりも大きくなる。

このようにＧ画素３６の画素数とＲ，Ｂ画素３５、３７の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素３６の画素数の比率を、Ｒ，Ｂ画素３５、３７の画素数の比率よりも大きくするようにしたため、画素補間処理（同時化処理等）時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

〔特徴（４）〕
カラーフィルタ配列は、Ｇ色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲ色及びＢ色のカラーフィルタ４０が、基本配列パターンＰ内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置されている。

Ｒ色及びＢ色のカラーフィルタ４０がそれぞれカラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

〔特徴（５）〕
カラーフィルタ配列は、Ｇ色のカラーフィルタ４０が設けられた２×２のＧ画素３６に対応する正方配列を含んでいる。このような２×２のＧ画素３６を取り出し、水平方向のＧ画素３６の画素値の差分絶対値、垂直方向のＧ画素３６の画素値の差分絶対値、斜め方向のＧ画素３６の画素値の差分絶対値を求めることで、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。

すなわち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素３６の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周辺の画素から補間する補間処理（同時化処理等）に使用することができる。

〔特徴（６）〕
基本配列パターンＰは、その中心（４つのＧ色のカラーフィルタ４０の中心）に対して点対称になっている。また、基本配列パターンＰ内の４つの３×３のサブ配列も、それぞれ中心のＧ色のカラーフィルタ４０に対して点対称になっている。このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

〔位相差画素〕
撮像面２３ａの一部の領域（例えば中央領域）上には、一部のＧ画素３６の代わりに、第１位相差画素３６ａ（図中「丸印中のＧ１」で表示）、第２位相差画素３６ｂ（図中「丸印中のＧ２」で表示）が設けられている。第１位相差画素３６ａ及び第２位相差画素３６ｂは、撮像素子２３の画素配列における複数の垂直列（第２画素列）４２と複数の水平行（第１画素列）４３とにそれぞれ間隔をあけて交互に設けられている（図中では１つの垂直列４２、水平行４３に代表して符号を付している）。なお、本明細書では、撮像素子２３の各垂直列及び各水平行のうち、位相差画素が設けられる垂直列、水平行にそれぞれ符号「４２」、「４３」を付している。

「複数の垂直列４２」は、水平方向（第１の方向）に沿って３画素ピッチ間隔で設けられている。また「複数の水平行４３」は、垂直方向（第２の方向）に沿って４画素ピッチ間隔、８画素ピッチ間隔、４画素ピッチ間隔、８画素ピッチ間隔、・・・で設けられている。

本実施形態では、第１位相差画素３６ａ及び第２位相差画素３６ｂが、各垂直列４２と各水平行４３とが交差する位置上において、それぞれ水平方向及び垂直方向に沿って交互に配置される。尚、同じ種類の位相差画素同士（第１位相差画素−第１位相差画素、第２位相差画素−第２位相差画素）の間隔は、垂直方向が１２画素ピッチとなり、水平方向が６画素ピッチとなる。

水平行４３の断面を示す図５において、半導体基板（ｓｕｂ）４５の表層には光電変換素子３９がマトリックス状に形成されている。なお、半導体基板４５には、図示は省略するが、各画素の駆動や信号出力に用いられる各種回路が設けられている。

半導体基板４５上には光透過性の絶縁膜４６が設けられている。絶縁膜４６上には遮光膜４７が設けられている。遮光膜４７は、通常開口４７ａと第１偏心開口４７ｂと第２偏心開口４７ｃとを有している。第１〜第２偏心開口４７ｂ，４７ｃは、通常開口４７ａよりも開口径が小さく形成されている。

通常開口４７ａは、ＲＧＢ画素３５〜３７の光電変換素子３９上に形成されている。また、通常開口４７ａの中心は光電変換素子３９の中心上に位置している。

第１偏心開口４７ｂは、第１位相差画素３６ａの光電変換素子３９ａ上に形成されている。第１偏心開口４７ｂの中心は、その下方の光電変換素子３９ａの中心に対して図中右方向にずれている。これにより、第１位相差画素３６ａの光電変換素子３９ａの略左半分の領域（以下、単に左領域という）は遮光膜４７で覆われ、逆に略右半分の領域（以下、単に右領域という）の中央部分は露呈する。

第２偏心開口４７ｃは、第２位相差画素３６ｂの光電変換素子３９ｂ上に形成されている。第２偏心開口４７ｃの中心は、その下方の光電変換素子３９ｂの中心に対して図中左方向にずれた位置に形成されている。これにより、第２位相差画素３６ｂの光電変換素子３９ｂの右領域は遮光膜４７で覆われ、逆に左領域の中央部分は露呈する。

遮光膜４７上には、表面が平坦な光透過性の平坦化層４８が設けられている。平坦化層４８上には、Ｒ、Ｇ、Ｂの各色の画素３５〜３７にそれぞれ対応する位置にＲ、Ｇ、Ｂの各色のカラーフィルタ４０が設けられている。また、第１及び第２位相差画素３６ａ，３６ｂに対応する位置にはＧ色のカラーフィルタ４０が設けられている。

各色のカラーフィルタ４０上で、かつ光電変換素子３９，３９ａ，３９ｂの上方位置には、それぞれマイクロレンズ４９が設けられている。なお、カラーフィルタ４０とマイクロレンズ４９との間にも透光性の平坦層などの各種層が設けられていてもよい。

ＲＧＢ画素３５〜３７上のマイクロレンズ４９に図中左斜め方向から入射した被写体光５０Ｌは、マイクロレンズ４９により光電変換素子３９の右領域に集光される。逆に、マイクロレンズ４９に図中右斜め方向から入射した被写体光５０Ｒは、マイクロレンズ４９により光電変換素子３９の左領域に集光される。このため、ＲＧＢ画素３５〜３７は、被写体光５０Ｌ及び被写体光５０Ｒの両方に対して感度が高くなる。

第１位相差画素３６ａ上のマイクロレンズ４９に入射した被写体光５０Ｌは、マイクロレンズ４９により第１偏心開口４７ｂを通して光電変換素子３９ａの右領域に集光される。逆にマイクロレンズ４９に入射した被写体光５０Ｒは、遮光膜４７により遮光されるので光電変換素子３９の左領域には集光されない。

第２位相差画素３６ｂ上のマイクロレンズ４９に入射した被写体光５０Ｒは、マイクロレンズ４９により第２偏心開口４７ｃを通して光電変換素子３９ｂの左領域に集光される。逆にマイクロレンズ４９に入射した被写体光５０Ｒは、遮光膜４７により遮光されるので光電変換素子３９の左領域には集光されない。従って、遮光膜４７が瞳分割を行う瞳分割部として機能する。なお、遮光膜４７（各偏心開口４７ｂ、４７ｃ）を瞳分割部として機能させる代わりに、マイクロレンズ４９を偏心させてもよい。

被写体光５０Ｌ，５０Ｒは、撮影レンズ１７（ズームレンズ１５及びフォーカスレンズ１６）の左領域１７Ｌ、右領域１７Ｒをそれぞれ通過した被写体光である。なお、図面の煩雑化を防止するため両レンズ１５，１６は一体化して図示しており、撮影レンズ１７と撮像素子２３との大きさも実際とは異ならせている。

撮像素子２３に入射した被写体光が遮光膜４７により瞳分割されることで、第１位相差画素３６ａは被写体光５０Ｌに対して感度が高くなり、逆に第２位相差画素３６ｂは被写体光５０Ｒに対して感度が高くなる。

［撮像素子の画素（カラーフィルタ付きの光電変換素子）の種別］
本例の撮像素子２３は、撮影レンズ１７の異なる領域（左領域１７Ｌ、右領域１７Ｒ）を通過した被写体光（被写体光５０Ｌ、被写体光５０Ｒ）が瞳分割されてそれぞれ結像される複数の第１位相差画素３６ａ（以下「第１画素」という）及び複数の第２位相差画素３６ｂ（以下「第２画素」という）と、被写体像が瞳分割されずに結像される複数の通常画素３５、３６、３７（以下「第３画素」という）を有する。

以下、本明細書では、説明の便宜上、上記の「第１画素」、「第２画素」及び「第３画素」という用語を用いて、画像処理回路２９における画像処理を説明する。

＜画像処理回路の構成＞
図６に示すように、画像処理回路２９は、通常処理部５２、及びスプリットイメージ処理部５４を含んで構成される。スプリットイメージ処理部５４は、選択部１０２、画像生成部１０４、及び差分強調処理部１０６を含んで構成される。

通常処理部５２は、複数の第３画素（通常画素３５、３６、３７）によって構成される第３画素群５７ｃの出力信号（出力）である第３画像５８ｃに対して画像処理を行い、その画像処理が施された第３画像５８ｃ（第３画像）をカラーの撮像画像５５として出力する。

スプリットイメージ処理部５４は、複数の第１画素（第１位相差画素３６ａ）によって構成される第１画素群５７ａの出力信号（出力）である第１画像５８ａ、及び複数の第２画素（第２位相差画素３６ｂ）によって構成される第２画素群５７ｂの出力信号（出力）である第２画像５８ｂに基づいて、白黒のスプリットイメージ６１（合焦確認画像）を生成する。

選択部１０２は、第１画素群５７ａの出力信号（出力）である第１画像５８ａと、第２画素群５７ｂの出力信号（出力）である第２画像５８ｂとから、それぞれスプリットイメージ６１を構成する表示部分（第１分割画像６１Ｌ，第２分割画像６１Ｒ）を抽出する。

選択部１０２は、具体的には、図７及び図８に示すように、撮像素子２３の第１画素群５７ａ及び第２画素群５７ｂからそれぞれ出力された第１画像５８ａ及び第２画像５８ｂについて、互いに対応する第１画像５８ａの画素５９ａ及び第２画像５８ｂの画素５９ｂのうち、いずれの画素（画像画素）をスプリットイメージ６１の生成に用いるかの選択を行う。例えば、スプリットイメージ６１の一方の部分（例えば上半分）を、第１画像５８ａから抽出し、スプリットイメージ６１の他方の部分（例えば下半分）を、第２画像５８ｂから抽出する。

差分強調処理部１０６は、第１画素３６ａの画素値に基づく第１分割画像６１Ｌと第２画素３６ｂの画素値に基づく第２分割画像６１Ｒとで画素値の差分を強調する差分強調処理を行う。差分強調処理部１０６は、具体的には、スプリットイメージ６１（合焦確認画像）において、スプリットライン６３を基準とし、スプリットライン６３を挟んでスプリットライン６３と直交する方向で互いに対応する第１画素（図８の５９ａ）と第２画素（図８の５９ｂ）との画素値の差分を大きくする。

画像生成部１０４は、図９及び図１０に示すように、選択部１０２によって第１画像５８ａから抽出された第１画像５８ａの表示部分（第１分割画像６１Ｌ）、及び選択部１０２によって第２画像５８ｂから抽出された第２画像５８ｂの表示部分（第２分割画像６１Ｒ）を用いて、スプリットイメージ６１を生成する。

＜スプリットイメージ＞
図９に示すように、スプリットイメージ処理部５４は、第１画素群５７ａからの出力信号（出力）の輝度成分に基づき、被写体の中央領域の図中上半分の領域をＬ（左）視点側から見たときの白黒の第１分割画像６１Ｌ（第１画像５８ａの表示部分）を生成する。また、スプリットイメージ処理部５４は、第２画素群５７ｂからの出力信号（出力）の輝度成分に基づき、被写体の中央領域の図中下半分の領域をＲ（右）視点側から見たときの白黒の第２分割画像６１Ｒ（第２画像５８ｂの表示部分）を生成する。これにより、第１分割画像６１Ｌと第２分割画像６１Ｒとを含む白黒のスプリットイメージ６１が得られる。第１分割画像６１Ｌ及び第２分割画像６１Ｒは、スプリットイメージ６１内において水平方向に平行なスプリットライン６３（「境界線」ともいう）を境界に隣接して配置されている。なお、スプリットイメージ６１を容易に把握できるように、スプリットイメージ６１をカラー撮像画像５５に合成しており、この合成は表示制御部３３にて行われる。

撮像画像５５（画像処理された第３画像５８ｃ）及びスプリットイメージ６１は、メモリ１３のＶＲＡＭ領域に一時的に格納される。表示制御部３３は、メモリ１３から撮像画像５５及びスプリットイメージ６１を読み出して、撮像画像５５にスプリットイメージ６１を合成した後に表示部８へ出力する。これにより、ユーザは、フルカラーの撮像画像５５の表示領域内に、白黒のスプリットイメージ６１を表示したライブビュー画像を見ることができる。

第１画像５８ａの表示部分である第１分割画像６１Ｌと第２画像５８ｂの表示部分である第２分割画像６１Ｒとは、フォーカスレンズ１６の合焦状態に応じて図中左右方向［水平方向（第１の方向）］にシフトする。この際の第１分割画像６１Ｌ及び第２分割画像６１Ｒ間のずれ量は、フォーカスレンズ１６の焦点のずれ量に対応している。すなわち、図中左右方向が、撮影レンズ１７により撮像面２３ａ上にそれぞれ結像された各被写体光の像のずれ方向に対応する位相差方向となる。また、第１分割画像６１Ｌ及び第２分割画像６１Ｒは、フォーカスレンズ１６が合焦しているときにずれ量がゼロ（ほぼゼロを含む）となる。

図１０に示すように、フォーカスレンズ１６の焦点がずれるほど、第１分割画像６１Ｌと第２分割画像６１Ｒとのずれ量も大きくなる。これにより、ユーザはライブビュー画像を確認しながらフォーカス調整を行うことができる。なお、図中では焦点が合っていない被写体を２点鎖線で表示している。

尚、図９及び図１０では、第３画素群５７ｃから出力された第３画像５８ｃ（通常画像）の画像処理後の画像である撮像画像５５の表示領域内に、スプリットイメージ６１（合焦確認画像）を表示させた場合を例に示したが、スプリットイメージ６１のみを表示部８に表示させる構成としてもよい。つまり、撮像素子２３の全ての画素が位相差画素（第１位相差画素及び第２位相差画素）であるか、もしくは撮像素子２３の全領域に一定の割合で位相差画素（第１位相差画素及び第２位相差画素）が配置され、スプリットイメージ６１のみを表示部８に表示させる場合であってもよい。

＜その他の構成＞
なお、図示は省略するが、デジタルカメラ２にはオートフォーカス用のＡＦ検出回路などが設けられている。ＡＦ検出回路は、第１画素３６ａの出力信号により構成される画像と、第２画素３６ｂの出力信号により構成される画像とを解析して、両画像のずれ方向及び両画像間のずれ量を検知することで撮影レンズ１７のフォーカス調整量（デフォーカス量ともいう）を求める。このフォーカス調整量に基づき、ＣＰＵ１１はレンズドライバ２５を制御して、フォーカス機構２０によりフォーカスレンズ１６を駆動することで焦点調節を行う。なお、このような位相差方式のＡＦ処理については公知であるので、ここでは具体的な説明は省略する。

また、図示は省略するが、デジタルカメラ２にはＡＥ検出回路などが設けられている。ＣＰＵ１１は、ＡＥ検出回路の検出結果に基づき、レンズドライバ２５を介してメカシャッタ１８を駆動することでＡＥ処理を実行する。

＜撮影処理の全体の流れ＞
次に、図１０を用いて上記構成のデジタルカメラ２の作用について説明を行う。操作部９にてデジタルカメラ２が撮影モード（ステップＳ１）のＡＦモードまたはＭＦモード（ステップＳ２）に設定されると、ＣＰＵ１１はレンズドライバ２５を介してメカシャッタ１８の動作を制御するとともに、撮像素子ドライバ２７を介して撮像素子２３を駆動する（ステップＳ３）。なお、ＡＦモードが設定された場合のデジタルカメラ２の動作は公知であるのでここでは具体的な説明は省略する。

ＭＦモード（ステップＳ２）が設定されると、撮像素子２３の第３画素３５、３６、３７（通常画素）からの出力信号は、画像処理回路２９の通常処理部５２に入力される。通常処理部５２は、第３画素３５〜３７からの出力信号である第３画像５８ｃに対して画像処理を行いフルカラーの撮像画像５５として、メモリ１３のＶＲＡＭ領域に格納する（ステップＳ４）。

また、選択部１０２により、第１画像５８ａ及び第２画像５８ｂからそれぞれ合焦確認画像に用いる第１分割画像６１Ｌ、第２分割画像６１Ｒを抽出する。差分強調処理部１０６は、第１分割画像６１Ｌと第２分割画像６１Ｒとで画素値の差分を強調する差分強調処理を行う。差分強調処理部１０６は、具体的には、スプリットイメージ６１（合焦確認画像）のスプリットライン６３を基準にして、スプリットライン６３と直交する方向で対応する第１画素３６ａと第２画素３６ｂとで画素値の差分を大きくする。また、画像生成部１０４により、白黒の第１分割画像６１Ｌと白黒の第２分割画像６１Ｒとを含むスプリットイメージ６１が生成される（ステップＳ５）。なお、第１分割画像６１Ｌと第２分割画像６１Ｒとの差分強調処理はステップＳ５にて行われる。生成されたスプリットイメージ６１は、メモリ１３のＶＲＡＭ領域に格納される。

表示制御部３３は、メモリ１３から撮像画像５５及びスプリットイメージ６１を読み出して、撮像画像５５の表示領域内にスプリットイメージ６１を合成した後に、表示部８へ出力する。これにより、図１０に示すように、カラーの撮像画像５５内に、白黒のスプリットイメージ６１を含むライブビュー画像が表示部８に表示される（ステップＳ６）。

スプリットイメージ６１の第１画像６６Ｌと第２画像６６Ｒとは、フォーカスレンズ１６の合焦状態に応じて図中左右方向にシフトするので、ユーザは、フォーカスリング３ａが回転操作してフォーカスレンズ１６を光軸方向に沿って移動させる。フォーカスレンズ１６が被写体に合焦する合焦位置に近づくのに伴って、第１画像６６Ｌと第２画像６６Ｒとのずれ量が次第に小さくなる。これにより、ユーザはライブビュー画像を確認しながらフォーカス調整を行うことができる。

フォーカスレンズ１６が合焦位置にセットされると、図９に示すように、第１画像６６Ｌと第２画像６６Ｒとのずれ量がゼロとなる。これにより、フォーカスレンズ１６が被写体に合焦して、フォーカス調整が完了する。以下、シャッタボタン６が押下されるまで、上記処理が繰り返し実行される。

シャッタボタン６が押下されることにより撮影指示が入力されたか否かを判定し（ステップＳ７でＹｅｓ）、撮影指示が入力されると（ステップＳ７でＹｅｓ）、通常処理部５２にて１フレーム分の撮像画像５５が生成されてメモリ１３のＶＲＡＭ領域に一時的に格納される。この撮像画像５５は、圧縮伸長処理回路３１にて圧縮された後、メディアＩ／Ｆ３２を介してメモリカード１０に記録される（ステップＳ８）。以下、ＭＦモードの終了による撮影継続か否かを判定し（ステップＳ９）、ＭＦモードが終了するまで、上述の処理が繰り返し実行される。

以下、スプリットイメージ６１（合焦確認画像）内の第１分割画像６１Ｌと第２分割画像６１Ｒとの視覚的な差分強調の詳細について、各種の実施形態に分けて説明する。

＜第１実施形態のデジタルカメラ＞
第１実施形態のデジタルカメラ２において、差分強調処理部（図６の１０６）は、スプリットライン（図９、図１０の６３）を挟んで対向するペア画素（図８のＰＲ）ごとに、図１２に矢印で示すように、第１画素３６ａの画素値Ｌと第２画素３６ｂの画素値Ｒとの差分（｜Ｌ−Ｒ｜）を大きくする差分強調処理を行う。これにより、撮像素子２３の複数の第１画素３６ａの画素値Ｌに基づく第１分割画像６１Ｌと、撮像素子２３の複数の第２画素３６ｂの画素値Ｒに基づく第２分割画像６１Ｒとにおける、画素値の差分を強調する。

図１２において、Ｌは差分強調処理前の第１画素３６ａの画素値、Ｒは差分強調処理前の第２画素３６ｂの画素値、ａｖｅは差分強調処理前の第１画素３６ａの画素値Ｌと第２画素３６ｂの画素値Ｒとの平均値（（Ｌ＋Ｒ）／２）、Ｌ´は差分強調処理後の第１画素３６ａの画素値、Ｒ´は差分強調処理後の第２画素３６ｂの画素値である。

まず、本例の差分強調処理部１０６は、第１画素３６ａの画素値Ｌと第２画素３６ｂの画素値Ｒとの平均値ａｖｅ（＝（Ｌ＋Ｒ）／２）を算出する。次に、本例の差分強調処理部１０６は、平均値ａｖｅを基準に、第１画素３６ａの画素値Ｌと平均値ａｖｅとの差分（｜Ｌ−ａｖｅ｜）を大きくし、かつ、第２画素３６ｂの画素値Ｒと平均値ａｖｅとの差分（｜Ｒ−ａｖｅ｜）を大きくする。例えば、次式に示すように差分強調を行う。

［数１］
Ｌ´＝Ｌ＋（Ｌ−ａｖｅ）×Ｋ
Ｒ´＝Ｒ＋（Ｒ−ａｖｅ）×Ｋ
ここで、Ｋは差分強調係数である。尚、差分強調を行うペア画素ではＫ＞０であり、差分強調を行わないペア画素ではＫ＝０である。

また、本例の差分強調処理部１０６は、第１画素３６ａの画素値Ｌと第２画素３６ｂの画素値Ｒとの差分が大きいほど，差分強調係数Ｋを小さくする。

＜第１実施形態のデジタルカメラの作用効果＞
図１３の（Ａ）部分に示す非合焦時のスプリットイメージ６１に対して差分強調処理を行うと、図１３の（Ｂ）部分に示すスプリットイメージ６１´が得られる。

尚、本発明の理解を容易にするため、ｙ方向において色が均一である被写体を撮像した場合のスプリットイメージ６１ａ、６１ｂを図示した。よって、スプリットイメージ６１ａ、６１ｂを構成する第１分割画像６１Ｌ及び第２分割画像６１Ｒのそれぞれは、スプリットライン６３と直交する方向ｙ（上下方向）において画素値が一定である。

このような図１３の（Ａ）部分の差分強調処理前のスプリットイメージ６１と図１３の（Ｂ）部分の差分強調処理後のスプリットイメージ６１´とを比較すると、第１分割画像６１Ｌと第２分割画像６１Ｒとで画素値が異なる領域６６において、第１分割画像６１Ｌと第２分割画像６１Ｒとの画素値の差分を大きくして強調した結果、第１分割画像６１Ｌと第２分割画像６１Ｒとのｘ方向（左右方向）の視差ｄ（位相差）が視認し易くなったことが分かる。

また、スプリットライン６３を挟んで対向する第１分割画像６１Ｌの画素（第１画素）の画素値Ｌと第２分割画像６１Ｒの画素（第２画素）の画素値Ｒとの平均値ａｖｅを算出し、この平均値ａｖｅを基準に、第１分割画像６１Ｌの画素（第１画素）の画素値Ｌと平均値ａｖｅとの差分、及び第２分割画像６１Ｒの画素（第２画素）の画素値Ｒと平均値ａｖｅとの差分を、それぞれ大きくしたので、画素値の差分が強調されるにしても、第１分割画像６１Ｌ及び第２分割画像６１Ｒにおける像構造は、ほぼ変わらない。

よって、本実施形態のデジタルカメラによれば、合焦確認画像（スプリットイメージ）におけるズレ量が視認し易くなる。

＜第２実施形態のデジタルカメラ＞
第２実施形態のデジタルカメラ２について、以下説明する。

画像処理回路（図６の２９）は、既に説明した通りであり、その画像処理回路２９を構成する差分強調処理部（図６の１０６）は、差分強調処理として、上下方向ｙにおいてスプリットライン６３を挟んで対応する第１画素５９ａ及び第２画素５９ｂについて、第１画素５９ａの画素値Ｌと第２画素５９ｂの画素値Ｒとの差分｜Ｌ−Ｒ｜を大きくする点で、第１実施形態と共通する。以下では、本実施形態の差分強調処理部１０６について、第１実施形態とは異なる点を説明する。

本実施形態のＣＰＵ１１（算出部）は、第１画像５８ａの表示部分である第１分割画像６１Ｌの画素（第１画素５９ａ）と第２画像５８ｂの表示部分である第２分割画像６１Ｒの画素（第２画素５９ｂ）との視差を算出する。ここで、視差は、第３画像５８ｃ（通常画像）のぼけ量を示し、スプリットイメージ６１における第１分割画像６１Ｌと第２分割画像６１Ｒとの左右方向ｘ（スプリットライン６３に沿った水平方向）のズレ量に相当する。

本実施形態の画像処理回路２９の差分強調処理部１０６は、ＣＰＵ１１によって算出された視差に基づいて、スプリットイメージ６１における第１分割画像６１Ｌと第２分割画像６１Ｒとの視差（ぼけ量）の大小を判定し、視差が大きいと判定された場合の画素値の差分｜Ｌ−Ｒ｜の増加量を、視差が小さいと判定された場合の画素値の差分｜Ｌ−Ｒ｜の増加量よりも、小さくする。

図１４の（Ａ）部分は、差分強調処理前のスプリットイメージ６１であって、視差ｄ（第１分割画像６１Ｌと第２分割画像６１Ｒとのスプリットライン６３に沿った水平方向ｘのズレ量）が大きい場合を示している。このように視差ｄが大きい場合、視差ｄが小さい場合と同じ差分強調係数を用いて差分強調処理を行うと、図１４の（Ｂ）部分に示す差分強調処理後のスプリットイメージ６１´のように、視差ｄのある部分が濃淡の階調がない真白及び真黒の部分となってしまい、ユーザは視差の大きさを確認できるにしても、視差の有る部分がどのような被写体であるのかを視認し難くなる。視差が十分である部分は差分強調を行わなくても元々視差を視認し易い一方で、差分強調を行うと濃淡の階調がなくなって、どのような被写体であるかを視認し難くなってしまう。

そこで、本実施形態の差分強調処理部１０６は、スプリットイメージ６１（合焦確認画像）における第１分割画像６１Ｌと第２分割画像６１Ｒとの視差ｄの大小を判定し、視差ｄに応じて差分強調係数Ｋを切り替えることにより、視差ｄが大きいと判定された場合の画素値の差分｜Ｌ−Ｒ｜の増加量を、視差ｄが小さいと判定された場合の画素値の差分｜Ｌ−Ｒ｜の増加量よりも小さくする。

図１５は視差ｄが小さい場合の視差強調を示す特性図であり、図１６は視差ｄが大きい場合の視差強調を示す特性図である。これらの図において、横軸は、スプリットライン６３に沿った水平方向（左右方向ｘ）における画素の位置を示し、縦軸は画素値を示す。

視差の大小を簡易に判定し、かつ適切に差分強調を行う具体例として、次のような方法が挙げられる。

第１に、スプリットイメージ６１において上下方向ｙの画素値の差分｜Ｌ−Ｒ｜が閾値Ｔｐよりも大きい領域を検出し、その検出された領域の左右方向ｘ（スプリットラインに沿った方向）の幅を検出し、その検出結果に応じて差分強調係数Ｋを切り替える。例えば、検出された幅が大きいほど差分強調係数Ｋを小さくする。ここで、閾値Ｔｐ≧０であり、Ｔｐ＝０の場合には幅＝視差ｄとなる。ただし、Ｔｐ＞０として幅の判定対象を限定することで、誤判定を回避し、かつ処理負荷を低減してもよい。このように、Ｔｐ＞０として求めた幅（視差ｄと同じではないが視差ｄに対応する値）も、本明細書では「視差」という。

第２に、第１画素５９ａの画素値と第１画素５９ａに対応する第２画素５９ｂの画素値との差分｜Ｌ−Ｒ｜が閾値よりも大きい画素（第１画素５９ａ又は第２画素５９ｂ）が何画素連続して存在するかを判定し、その検出結果に応じて差分強調係数Ｋを切り替える。例えば、差分｜Ｌ−Ｒ｜が閾値を超える画素数が多いほど、差分強調係数Ｋを小さくする。画素数は、左右方向ｘで連続して閾値Ｔｐよりも大きい画素（第１画素５９ａ又は第２画素５９ｂ）の数のみを検出することで、誤判定を回避し、かつ処理負荷を低減する。

図１７は、本実施形態における差分強調処理例の要部の流れを示すフローチャートである。この処理は、差分強調処理部１０６によりプログラムに従って実行される。

本処理では、上記の第２の方法（単位長さ当たりの画素数を検出）で差分強調係数Ｋを切り替える。

まず、差分強調処理部１０６は、図１８に示すように、注目画素ＰＬ（ｘ）を含む左右方向ｘの近傍画素列（本例ではＰＬ（ｘ−３）、ＰＬ（ｘ−２）、ＰＬ（ｘ−１）、ＰＬ（ｘ）、ＰＬ（ｘ＋１）、ＰＬ（ｘ＋２）、ＰＬ（ｘ＋３）の合計７画素）の範囲内に、画素値の差分｜Ｌ−Ｒ｜＞４０なる画素（第１画素５９ａ又は第２画素５９ｂ）が、５画素以上連続して存在するか否かを判定し（ステップＳ２２）、５画素以上連続して存在する場合には差分強調係数Ｋに「０．５」を設定する（ステップＳ２４）。例えば、図１８において、左右方向ｘに連続したＰＬ（ｘ−２）〜ＰＬ（ｘ＋２）の５画素において画素値の差分｜Ｌ−Ｒ｜＞４０である場合、差分強調係数Ｋを本例にて最も小さい「０．５」に設定する。

また、差分強調処理部１０６は、注目画素ＰＬ（ｘ）を含む左右方向ｘの近傍画素列（ＰＬ（ｘ−３）〜ＰＬ（ｘ＋３）の合計７画素）の範囲内に、画素値の差分｜Ｌ−Ｒ｜＞２０なる画素が５画素以上連続して存在するか否かを判定し（ステップＳ２６）、５画素以上連続して存在する場合には差分強調係数Ｋに「１」を設定する（ステップＳ２８）。例えば、図１８において、左右方向ｘに連続するＰＬ（ｘ−２）〜ＰＬ（ｘ＋２）の５画素において画素値の差分｜Ｌ−Ｒ｜＞２０である場合、差分強調係数Ｋを「１」に設定する。

つまり、本例の差分強調処理部１０６は、スプリットライン６３に沿って、スプリットイメージ６１内の一定幅の領域（本例では注目画素を含む近傍±３画素）ごとに、画素値の差分｜Ｌ−Ｒ｜が第１の閾値よりも大きい画素が何画素連続して存在するかを判定し、その画素数と第２の閾値とを比較し、一定幅の領域内の画素数が大きいと判定した場合には、一定幅の領域内の画素数が小さいと判定した場合よりも、画素値の差分｜Ｌ−Ｒ｜の増加量を小さくする。本例では、画素値の差分｜Ｌ−Ｒ｜が第１の閾値よりも大きい画素が何画素連続して存在するかを判定し、連続している画素が多いほど、画素値の差分の増加量を小さくする。

また、差分強調処理部１０６は、近傍画素列内に｜Ｌ−Ｒ｜が閾値よりも大きい連続した５画素以上の存在を検出できない場合（ステップＳ２２でＮｏかつステップＳ２６でＮｏの場合）、差分強調係数Ｋを「５」に設定する（ステップＳ３０）。

尚、上記の｜Ｌ−Ｒ｜の閾値（「４０」、「２０」）及び画素数の閾値（５画素）は一例であって、これらの閾値に限定されない。

＜第２実施形態のデジタルカメラの作用効果＞
本実施形態の差分強調処理部１０６を備えたデジタルカメラ２によれば、スプリットイメージ６１（合焦確認画像）においてスプリットライン６３（境界線）を基準にして互いに対応する第１分割画像６１Ｌの画素と第２分割画像６１Ｒの画素との視差の大小を判定し、視差が大きいと判定された場合の画素値の差分｜Ｌ−Ｒ｜の増加量を、視差が小さいと判定された場合の画素値の差分｜Ｌ−Ｒ｜の増加量よりも小さくすることにより、微小な視差がついた箇所の差分のみ強調することが可能になり、スプリットイメージ６１の視差がついた箇所が見やすくなる。

＜第３実施形態のデジタルカメラ＞
第３実施形態のデジタルカメラ２について、以下説明する。

画像処理回路（図６の２９）及びその画像処理回路２９を構成する差分強調処理部１０６は既に説明した通りであり、差分強調処理として、上下方向ｙ（スプリットライン６３と直交する方向）においてスプリットライン６３を挟んで対応する第１画素５９ａ及び第２画素５９ｂについて、第１画素５９ａの画素値Ｌと第２画素５９ｂの画素値Ｒとの差分｜Ｌ−Ｒ｜を大きくする点で、第１実施形態と共通する。以下では、本実施形態の差分強調処理部１０６について、第１実施形態とは異なる点を説明する。

本実施形態の差分強調処理部１０６は、第１画素５９ａの画素値Ｌと第２画素５９ｂの画素値Ｒとの差分｜Ｌ−Ｒ｜の大小を判定し、差分｜Ｌ−Ｒ｜が大きいと判定された場合の画素値の差分｜Ｌ−Ｒ｜の増加量を、差分｜Ｌ−Ｒ｜が小さいと判定された場合の画素値の差分｜Ｌ−Ｒ｜の増加量よりも、小さくする。

図１９は差分｜Ｌ−Ｒ｜が大きいと判定された場合（高コントラスト時）の差分強調を示す特性図であり、図２０は差分｜Ｌ−Ｒ｜が小さいと判定された場合（低コントラスト時）の差分強調を示す特性図である。

本実施形態の差分強調処理部１０６は、図１９に示す高コントラスト時には、差分強調を弱くし、図２０に示す低コントラスト時には、差分強調を強くする。

差分強調処理部１０６は、第１画素３６ａの画素値Ｌと第２画素３６ｂの画素値Ｒとの差分｜Ｌ−Ｒ｜に基づいて、差分強調係数Ｋの大きさを切り替えることにより、画素値Ｌ，Ｒの差分｜Ｌ−Ｒ｜の増加量を変える。つまり、画素値の差分｜Ｌ−Ｒ｜が大きい高コントラスト時には、画素値の差分｜Ｌ−Ｒ｜が小さい低コントラスト時よりも、差分強調係数Ｋを小さくする。

差分強調係数Ｋの値を、画素値の差分｜Ｌ−Ｒ｜をパラメータとして、関数により求めてもよい。例えば、画素値の差分が大きくなるほど、Ｋの値が小さくなりかつＫの値の変化量が小さくなる関数が適しており、例えば、Ｋ＝５×ｅｘｐ(０．０１×（−｜Ｌ（ｘ）−Ｒ（ｘ）｜）)が挙げられる。ここで、ｘはスプリットイメージ６１における左右方向（即ちスプリットライン６３に沿った方向）の位置である。

＜第３実施形態のデジタルカメラの作用効果＞
本実施形態の差分強調処理部１０６を備えたデジタルカメラ２によれば、スプリットライン６３を挟んで対向する第１画素５９ａと第２画素５９ｂとの画素値の差分｜Ｌ−Ｒ｜が大きい高コントラスト時には、第１画素５９ａと第２画素５９ｂとの画素値の差分｜Ｌ−Ｒ｜が小さい低コントラスト時よりも、差分強調係数Ｋが小さく設定されることにより、高コントラスト時の過度な差分強調を避けつつ、低コントラスト時には十分な差分強調を行うことができる。

＜第４実施形態のデジタルカメラ＞
第４実施形態のデジタルカメラ２について、以下説明する。

画像処理回路（図６の２９）及びその画像処理回路２９を構成する差分強調処理部１０６は既に説明した通りであり、以下では、本実施形態の差分強調処理部１０６について、第１実施形態とは異なる点を説明する。

本実施形態の差分強調処理部１０６は、撮像素子２３の瞳分割に起因するシェーディングを補正するためのシェーディング補正係数を用いて、差分強調処理を行うことで、瞳分割に起因するシェーディング成分の強調を回避する。

図２１の（Ａ）部分は、撮像素子２３の瞳分割に起因して第１分割画像６１Ｌに生じるシェーディング特性Ｌ（ｘ）及び第２分割画像６１Ｒに生じるシェーディング特性Ｒ（ｘ）を示す。ここで、ｘは左右方向ｘにおける位置を示す。この特性Ｌ（ｘ）及びＲ（ｘ）は、均一な輝度で撮像して得られる。図２１の（Ａ）部分に示すように、第１分割画像６１Ｌと第２分割画像６１Ｒとで異なるシェーディングが発生し、このようなシェーディングの成分を含んだ画像の差分強調を行うと、図２１の（Ｂ）部分に示すようにシェーディング成分が強調されてしまう。

そこで、本実施形態の差分強調処理部１０６は、シェーディング補正係数と用いて、シェーディングの成分が差分強調成分（｜Ｌ−Ｒ｜の増加分）に含まれないようにする。

シェーディング補正係数は、図２１の（Ａ）部分に示したシェーディング特性Ｌ（ｘ）及びＲ（ｘ）に対して演算することで図２２に示すようにシェーディングが消去される係数α（ｘ）及びβ（ｘ）である。ここで、ｘは左右方向ｘにおける位置を示す。

差分強調処理部１０６は、具体的には、第１分割画像６１Ｌに対するシェーディング補正係数をα（ｘ）、第２分割画像６１Ｒに対するシェーディング補正係数をβ（ｘ）、シェーディング補正係数を演算した平均値をａｖｅ（ｘ）＝（α（ｘ）×Ｌ（ｘ）＋β（ｘ）×Ｒ（ｘ））／２、差分強調係数をＫ（ｘ）（ただしＫ（ｘ）＞０）としたとき、差分強調処理後の第１画素３６ａの画素値ａ´（ｘ）及び第２画素３６ｂの画素値ｂ´（ｘ）を、それぞれ、Ｌ´（ｘ）＝Ｌ（ｘ）＋（α（ｘ）×Ｌ（ｘ）−ａｖｅ）×Ｋ、及び、Ｒ´（ｘ）＝Ｒ（ｘ）＋（β（ｘ）×Ｒ（ｘ）−ａｖｅ（ｘ））×Ｋ（ｘ）とする。

＜第４実施形態のデジタルカメラの作用効果＞
シェーディング補正係数を用いた差分強調を行わない場合、即ち、Ｌ´（ｘ）＝Ｌ（ｘ）＋（Ｌ（ｘ）−ａｖｅ）×Ｋ、及び、Ｒ´（ｘ）＝Ｒ（ｘ）＋（Ｒ（ｘ）−ａｖｅ（ｘ））×Ｋ（ｘ）という演算により差分強調を行った場合には、図２１の（Ａ）部分に示したシェーディング成分が図２１の（Ｂ）部分に示したように強調されてしまう。

これに対して、本実施形態のようにシェーディング補正係数を用いた差分強調を行う場合、即ち、Ｌ´（ｘ）＝Ｌ（ｘ）＋（α（ｘ）×Ｌ（ｘ）−ａｖｅ）×Ｋ、及び、Ｒ´（ｘ）＝Ｒ（ｘ）＋（β（ｘ）×Ｒ（ｘ）−ａｖｅ（ｘ））×Ｋ（ｘ）という演算を行う場合には、図２１の（Ａ）部分に示したシェーディング成分をそのまま強調せずに残し、かつ差分強調を行うことができる。

＜差分強調の対象領域のバリエーション＞
上記の実施形態１〜実施形態４では、発明の理解を容易にするため、スプリットイメージ６１内の第１分割画像６１Ｌ及び第２分割画像６１Ｒの全体に対して差分強調処理を行う場合を例に説明したが、図２３に示すように、第１分割画像６１Ｌ及び第２分割画像６１Ｒのうちスプリットライン６３（境界線）の近傍の領域６７のみに対して、差分強調処理を行うようにしてもよい。

ここで、スプリットライン６３の「近傍の領域」は、例えば、スプリットイメージ６１（合焦確認画像）の分割方向（スプリットライン６３に直交するｙ方向）の全画素数に対して、分割の境界線（スプリットライン６３）から±１０％以内の画素数の領域である。

また、上記の実施形態１〜実施形態３では、スプリットライン６３が１本である場合を例に説明したが、スプリットイメージ６１内にスプリットライン６３を複数も設けてもよく、そのような複数のスプリットライン６３のそれぞれの近傍の領域のみに対して、差分強調処理を行うようにしてもよい。

また、スプリットイメージ６１内にスプリットライン６３を格子状に設けてもよく、そのような格子状のスプリットライン６３の近傍の領域のみに対して、差分強調処理を行うようにしてもよい。

＜撮像素子の画素配列のバリエーション＞
［非ベイヤ配列の基本配列パターン］
上記各実施形態の撮像素子２３の画素配列（カラーフィルタ配列）は、水平及び垂直方向に繰り返し配置された６×６画素に対応する基本配列パターンＰにより構成されているが、Ｎ×Ｎ画素（Ｎは３以上）に対応する配列パターンの基本配列パターンにより構成されていてもよい。

また、フィルタの色は、ＲＧＢの３原色に限定されない。例えばＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタのカラーフィルタ配列であってもよい。原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）のカラーフィルタのカラーフィルタ配列でもよい。

［ベイヤ配列］
また、撮像素子２３の画素配列（カラーフィルタ配列）は、ベイヤ配列の画素配列でもよい。本例の撮像素子２３は、ベイヤ配列からなる画素配列の一部に、複数の第１位相差画素（第１画素）と複数の第２位相差画素（第２画素）が配置されている。

［２面配列］
また、撮像素子２３の画素配列（カラーフィルタ配列）は、同色画素をずらして配置した２面の配列からなる画素配列でよい。本例の撮像素子２３は、同色画素をずらして配置した２面の配列からなる画素配列の一部に、複数の第１位相差画素（第１画素）と複数の第２位相差画素（第２画素）が配置され、かつ、ペア画素の第１位相差画素と第２位相差画素とが隣接して配置されている。

＜他の機器＞
上記各実施形態では本発明の撮像装置としてデジタルカメラを例に挙げて説明を行ったが、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ(Personal Digital Assistants)、携帯型ゲーム機にも本発明を適用することができる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図２４は、スマートフォン５００の外観を示すものである。図２４に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示パネル５２１と、入力部としての操作パネル５２２（タッチパネル）とが一体となった表示入力部５２０（「タッチパネル式の表示部」ともいう）を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図２５は、図２４に示すスマートフォン５００の構成を示すブロック図である。図２５に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図２４に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力したりするものである。また、図２４に示すように、例えば、スピーカ５３１およびマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載する。マイクロホン５３２を筐体５０２の側面に搭載することもできる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２４に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、本発明に係る左目画像及び右目画像を生成するための画像処理プログラムを含むアプリケーションソフトウェア、立体視画像を生成するために使用する第１及び第２のデジタルフィルタ群、視差マップ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥースBluetooth（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。 モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係る２Ｄ画像から３Ｄ画像を生成する機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示したりする。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部（撮像装置）５４１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラであり、上記各実施形態のデジタルカメラと基本的に同じ構成である。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることができる。図２４に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影したりすることもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力の一つとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに或いは３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。

図２４及び図２５に示したスマートフォン５００は、前述のデジタルカメラ２と同様の機能を有する。図２５の主制御部５０１は、図６または図２２に示した画像処理回路２９の機能を有する。表示入力部５２０（タッチパネル式の表示部）は、本発明における「表示部」、「位置入力部」及び「数入力部」を構成する。

本例のスマートフォン５００は、表示入力部５２０によって、図１０に示したスプリットライン６３をドラッグするドラッグ操作を受け付ける。主制御部５０１は、表示入力部５２０にスプリットイメージ６１（合焦確認画像）が表示された状態でスプリットライン６３（境界線）をドラッグするドラッグ操作が表示入力部５２０で行われたとき、ドラッグ操作に合わせてスプリットイメージ６１内のスプリットライン６３の位置を変更する。

以上、本発明の理解を容易にするため、各種の実施形態に分けて説明してきたが、各種の実施形態を適宜組み合わせて実施しても良い。

尚、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

２：デジタルカメラ、９：操作部、２９：画像処理回路、５２：通常処理部、５４：スプリットイメージ処理部、１０２：選択部、１０４：画像生成部、１０６：差分強調処理部、５００：スマートフォン

Claims (15)

1. 撮影レンズにおける第１及び第２の領域を通過した被写体光が瞳分割されてそれぞれ入射される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１の画素群及び前記第２の画素群からそれぞれ出力された第１画像及び第２画像に基づいて合焦確認に使用する第２の表示用画像を生成する画像生成部と、
   前記第１画像の第１画素と当該第１画素に対応する前記第２画像の第２画素との画素値の差分を大きくする差分強調処理を行う差分強調処理部と、
   表示部と、
   前記第１の表示用画像を前記表示部に表示させ、前記第１の表示用画像の表示領域内に、前記差分強調処理部によって前記差分強調処理が行われた前記第２の表示用画像を表示させる表示制御部と、
   前記第１画像の前記第１画素と当該第１画素に対応する前記第２画像の前記第２画素との視差を算出する算出部を備え、
   前記差分強調処理部は、前記算出部によって算出された前記視差に基づいて、前記第１画像と前記第２画像との視差の大小を判定し、前記視差の大小の判定結果に基づいて前記差分強調処理を行う撮像装置。
2. 前記差分強調処理部は、前記視差の大小を判定した結果、前記視差が大きいと判定した場合には、前記視差が小さいと判定した場合よりも、前記画素値の差分の増加量を小さくする請求項１に記載の撮像装置。
3. 撮影レンズにおける第１及び第２の領域を通過した被写体光が瞳分割されてそれぞれ入射される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１の画素群及び前記第２の画素群からそれぞれ出力された第１画像及び第２画像に基づいて合焦確認に使用する第２の表示用画像を生成する画像生成部と、
   前記第１画像の第１画素と当該第１画素に対応する前記第２画像の第２画素との画素値の差分を大きくする差分強調処理を行う差分強調処理部と、
   表示部と、
   前記第１の表示用画像を前記表示部に表示させ、前記第１の表示用画像の表示領域内に、前記差分強調処理部によって前記差分強調処理が行われた前記第２の表示用画像を表示させる表示制御部と、
   を備え、
   前記差分強調処理部は、前記第１画素の画素値と前記第１画素に対応する前記第２画素の画素値との差分が閾値よりも大きい画素が何画素連続して存在するかを判定し、連続している画素の数が多いほど前記画素値の差分の増加量を小さくする撮像装置。
4. 撮影レンズにおける第１及び第２の領域を通過した被写体光が瞳分割されてそれぞれ入射される第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１の画素群及び前記第２の画素群からそれぞれ出力された第１画像及び第２画像に基づいて合焦確認に使用する第２の表示用画像を生成する画像生成部と、
   前記第１画像の第１画素と当該第１画素に対応する前記第２画像の第２画素との画素値の差分を大きくする差分強調処理を行う差分強調処理部と、
   表示部と、
   前記第１の表示用画像を前記表示部に表示させ、前記第１の表示用画像の表示領域内に、前記差分強調処理部によって前記差分強調処理が行われた前記第２の表示用画像を表示させる表示制御部と、
   を備え、
   前記差分強調処理部は、前記第１画素の画素値と前記第１画素に対応する前記第２画素の画素値との差分の大小を判定し、前記画素値の差分の大小の判定結果に基づいて前記差分強調処理を行い、
   前記差分強調処理部は、前記画素値の差分の大小を判定した結果、前記画素値の差分が大きいと判定した場合には、前記画素値の差分が小さいと判定した場合よりも、前記画素値の差分の増加量を小さくする撮像装置。
5. 前記撮像素子は、前記被写体光が瞳分割されずに入射される第３の画素群をさらに有し、前記第１の表示用画像は前記第３の画素群から出力された第３画像に基づいて生成される請求項１から４のうちいずれか１項に記載の撮像装置。
6. 前記差分強調処理部は、前記第１画素の画素値と前記第１画素に対応する前記第２画素の画素値との平均値を算出し、当該平均値を基準に、前記第１画素の画素値と前記平均値との差分、及び前記第１画素に対応する前記第２画素の画素値と前記平均値との差分をそれぞれ大きくする請求項１から５のうちいずれか１項に記載の撮像装置。
7. 前記差分強調処理部は、前記第１画素及び前記第１画素に対応する前記第２画素の画素値をそれぞれＬ、Ｒ、前記第１画素の画素値と前記第１画素に対応する前記第２画素の画素値との平均値をａｖｅ＝（Ｌ＋Ｒ）／２、差分強調係数をＫ（ただしＫ＞０）としたとき、前記差分強調処理の後の前記第１画素の画素値Ｌ´及び前記第２画素の画素値Ｒ´は、それぞれ、Ｌ´＝Ｌ＋（Ｌ−ａｖｅ）×Ｋ、Ｒ´＝Ｒ＋（Ｒ−ａｖｅ）×Ｋである請求項１から６のうちいずれか１項に記載の撮像装置。
8. 前記差分強調処理部は、前記第１画素の画素値Ｌと前記第１画素に対応する前記第２画素の画素値Ｒとの差分が大きいほど前記差分強調係数Ｋを小さくする請求項７に記載の撮像装置。
9. 前記差分強調処理部は、前記第１画像及び前記第２画像の瞳分割に起因するシェーディングを補正するためのシェーディング補正係数を用いて前記差分強調処理を行う請求項１から６のうちいずれか１項に記載の撮像装置。
10. 前記第１画素及び前記第１画素に対応する前記第２画素の画素値をそれぞれＬ、Ｒ、前記第１画像に対する前記シェーディング補正係数をα、前記第２画像に対する前記シェーディング補正係数をβ、前記シェーディング補正係数を演算した平均値をａｖｅ＝（α×Ｌ＋β×Ｒ）／２、差分強調係数をＫ（ただしＫ＞０）としたとき、前記差分強調処理の後の前記第１画素の画素値ａ´及び前記第２画素の画素値ｂ´は、それぞれ、Ｌ´＝Ｌ＋（α×Ｌ−ａｖｅ）×Ｋ、Ｒ´＝Ｒ＋（β×Ｒ−ａｖｅ）×Ｋである請求項９に記載の撮像装置。
11. 前記差分強調処理部は、前記第１画素の画素値Ｌと前記第１画素に対応する前記第２画素の画素値Ｒとの差分が大きいほど前記差分強調係数Ｋを小さくする請求項１０に記載の撮像装置。
12. 前記差分強調処理部は、前記第２の表示用画像のうち前記第１画像と前記第２画像との境界線の近傍の領域のみに対して前記差分強調処理を行う請求項１から１１のうちいずれか１項に記載の撮像装置。
13. 撮影レンズにおける第１及び第２の領域を通過した被写体光が瞳分割されてそれぞれ入射される第１及び第２の画素群を有する撮像素子と、前記撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１の画素群及び前記第２の画素群からそれぞれ出力された第１画像及び第２画像に基づいて合焦確認に使用する第２の表示用画像を生成する画像生成部と、表示部とを用い、
    前記第１画像の第１画素と当該第１画素に対応する前記第２画像の第２画素との画素値の差分を大きくする差分強調処理を行う差分強調処理ステップと、
    前記画像生成部によって、前記差分強調処理がされた前記第１画像及び前記第２画像に基づいて前記第２の表示用画像を生成する表示用画像生成ステップと、
    前記第１の表示用画像を前記表示部に表示させ、前記第１の表示用画像の表示領域内に、前記差分強調処理ステップによって前記差分強調処理が行われた前記第２の表示用画像を表示させる表示ステップと、
    前記第１画像の前記第１画素と当該第１画素に対応する前記第２画像の前記第２画素との視差を算出する算出ステップと、を備え、
    前記差分強調処理ステップは、前記算出ステップによって算出された前記視差に基づいて、前記第１画像と前記第２画像との視差の大小を判定し、前記視差の大小の判定結果に基づいて前記差分強調処理を行う合焦確認表示方法。
14. 撮影レンズにおける第１及び第２の領域を通過した被写体光が瞳分割されてそれぞれ入射される第１及び第２の画素群を有する撮像素子と、前記撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１の画素群及び前記第２の画素群からそれぞれ出力された第１画像及び第２画像に基づいて合焦確認に使用する第２の表示用画像を生成する画像生成部と、表示部とを用い、
    前記第１画像の第１画素と当該第１画素に対応する前記第２画像の第２画素との画素値の差分を大きくする差分強調処理を行う差分強調処理ステップと、
    前記画像生成部によって、前記差分強調処理がされた前記第１画像及び前記第２画像に基づいて前記第２の表示用画像を生成する表示用画像生成ステップと、
    前記第１の表示用画像を前記表示部に表示させ、前記第１の表示用画像の表示領域内に、前記差分強調処理ステップによって前記差分強調処理が行われた前記第２の表示用画像を表示させる表示ステップと、を備え、
    前記差分強調処理ステップは、前記第１画素の画素値と前記第１画素に対応する前記第２画素の画素値との差分が閾値よりも大きい画素が何画素連続して存在するかを判定し、連続している画素の数が多いほど前記画素値の差分の増加量を小さくする合焦確認表示方法。
15. 撮影レンズにおける第１及び第２の領域を通過した被写体光が瞳分割されてそれぞれ入射される第１及び第２の画素群を有する撮像素子と、前記撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ前記第１の画素群及び前記第２の画素群からそれぞれ出力された第１画像及び第２画像に基づいて合焦確認に使用する第２の表示用画像を生成する画像生成部と、表示部とを用い、
    前記第１画像の第１画素と当該第１画素に対応する前記第２画像の第２画素との画素値の差分を大きくする差分強調処理を行う差分強調処理ステップと、
    前記画像生成部によって、前記差分強調処理がされた前記第１画像及び前記第２画像に基づいて前記第２の表示用画像を生成する表示用画像生成ステップと、
    前記第１の表示用画像を前記表示部に表示させ、前記第１の表示用画像の表示領域内に、前記差分強調処理ステップによって前記差分強調処理が行われた前記第２の表示用画像を表示させる表示ステップと、を備え、
    前記差分強調処理ステップは、前記第１画素の画素値と前記第１画素に対応する前記第２画素の画素値との差分の大小を判定し、前記画素値の差分の大小の判定結果に基づいて前記差分強調処理を行い、
    前記差分強調処理ステップは、前記画素値の差分の大小を判定した結果、前記画素値の差分が大きいと判定した場合には、前記画素値の差分が小さいと判定した場合よりも、前記画素値の差分の増加量を小さくする合焦確認表示方法。