JP2009276426A - 撮像装置 - Google Patents

Abstract

【課題】マニュアルフォーカスを容易にするスプリットイメージを表示する撮像装置を提供する。
【解決手段】位相差ＡＦ用の２つの画像を利用してスプリットイメージ表示する場合、焦点検出領域のコントラストが低い場合ユーザーがマニュアルフォーカスをしやすいようにスプリットイメージ（焦点検出領域）を広げる撮像装置を提供する。
【選択図】図３０

Description

本発明は、撮像装置に関する。

銀塩カメラのマニュアルフォーカス（ＭＳ）モードにおいて、操作者が被写体に対してピントを合わせる作業を容易にするためにスプリットイメージをファインダーの中央に表示することは知られている。上下に分割されたスプリットイメージはピントがずれているとスプリットイメージ内の一対の画像が左右にずれ、ピントが合った状態だと一対の画像の左右のずれがなくなる。操作者は被写体にスプリットイメージ内の画像のずれがなくなるようマニュアルフォーカスリングを操作してピントを合わせる。

特許文献１は、ＭＦモードにおいて被写体距離と焦点距離とのずれ量から電子ビュー画像の中央などのある特定領域を仮想的にスプリットイメージのように左右にずらして表示するデジタルカメラを提案している。特許文献２は、焦点検出用の撮像素子を撮影用撮像素子と別個に備えて瞳分割像を利用したスプリットイメージを撮影用画像に合成表示する方式を提案している。

その他の公報として特許文献３〜６がある。
特開２００１−３０９２１０号公報 特開昭５９−５０６７１号公報 特開平０９−４６７１５号公報 特開平０９−０４３５０７号公報 特開平０５−０９３８５１号公報 特開２０００−２９２６８６号公報

デジタルカメラやデジタルビデオカメラにおいてＭＦ時に電子ビュー画像上にスプリットイメージを表示する場合、銀塩カメラのスプリットイメージだとスプリットイメージの表示の有無、大きさ、位置又は分割方向の変更が機構的に困難である。

また、特許文献１の方式は、スプリットイメージ画像内の被写体距離の誤差が大きい、カメラの向きが変わる、という問題がある。また、被写体が移動するなど焦点検出対象となる被写体が変わったときにスプリットイメージの左右のずれ量が突然変わって操作者にとって見づらいという問題もある。更には、スプリットイメージの表示の有無、大きさの変更、位置の変更、分割方向の変更などを被写体画像に対し適切に行うことができない、という問題もある。特許文献２の方式は、スプリットイメージの大きさ、位置、分割方向の変更などを被写体画像に対し適応的に行うことができない、という問題がある。

そこで、本発明は、マニュアルフォーカスを容易にするスプリットイメージを表示する撮像装置を提供することを例示的な目的とする。

本発明の一側面としての撮像装置は、フォーカスレンズを含むと共に被写体の像を形成する撮影レンズの射出瞳の全域を通る光を各々が受光して前記被写体の像を生成する複数の撮影用画素と、各々が前記撮影レンズの前記射出瞳の一部の領域を通る光を受光して瞳分割画素信号を生成する複数の焦点検出用画素と、を有する撮像素子と、マニュアルフォーカスを可能にするマニュアルフォーカスモードと、前記複数の焦点検出用画素によって形成され、分割線により２つの画像に分割されたスプリットイメージを表示するスプリットイメージ表示モードと、を設定可能なモード設定部と、前記モード設定部が前記マニュアルフォーカスモードと前記スプリットイメージ表示モードの両方を設定すると、前記複数の焦点検出用画素が生成した瞳分割画素信号に基づいて前記スプリットイメージを生成するスプリットイメージ生成部と、を有し、前記スプリットイメージ生成部は、前記スプリットイメージの前記２つの画像のそれぞれの特徴を抽出する特徴抽出部と、前記スプリットイメージとして表示する領域を決定するスプリットイメージ領域決定部と、を有し、前記スプリットイメージ領域決定部は、前記特徴抽出部が抽出した前記２つの画像のそれぞれの特徴では前記マニュアルフォーカスができないと判断した場合に、前記スプリットイメージの位置の変更、前記分割線の方向の変更、前記スプリットイメージの拡大のいずれかを行うことによって前記領域を変更することを特徴とする。

本発明によれば、マニュアルフォーカスを容易にするスプリットイメージを表示する撮像装置を提供することができる。

以下、添付図面を参照して、本発明の実施例について説明する。図１は、本実施例のデジタルカメラ（撮像装置）１００のブロック図である。図２は、デジタルカメラ（撮像装置）１００を操作者が横向きに構えた状態の背面図である。図３は、デジタルカメラ（撮像装置）１００を操作者が縦向きに構えた状態の背面図である。

１は被写体から入射した光束により、被写体の光学像を形成する撮影レンズであり、フォーカスレンズ１ａを備えた１枚又は複数枚のレンズで構成される。フォーカスレンズ１ａは、レンズ制御部４によって光軸方向に駆動制御される。撮影レンズ１の鏡筒の外周には、マニュアルフォーカスリング（マニュアルフォーカス操作部材）１８が回転操作可能に設けられている。マニュアルフォーカスリング１８の回転は、不図示の伝達機構を介してフォーカスレンズ１ａを光軸方向に移動させる。

２は光学像を電気信号に変換するＣＣＤセンサやＣＭＯＳセンサなどの撮像素子である。撮像素子２は、全画素独立出力が可能なように構成されている。また一部の画素が焦点検出用画素（ＡＦ用画素）となっており、撮像面で位相差検出方式の焦点検出（位相差ＡＦ）が可能となっている。より具体的には、撮像素子２は、被写体の像を形成する撮影レンズ１の射出瞳の全域を通る光を各々が受光して被写体の像を生成する複数の撮影用画素を有する。また、撮像素子２は、各々が撮影レンズ１の射出瞳の一部の領域を通る光を受光する複数のＡＦ用画素を更に有する。複数のＡＦ用画素は全体として撮影レンズ１の射出瞳の全域を通る光を受光することができる。複数のＡＦ用画素は瞳分割画素信号を生成する瞳分割画素である。

３は撮像素子２のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換部である。４は合焦制御部７に従って撮影レンズ１のフォーカスレンズを制御するレンズ制御部である。５はＡ／Ｄ変換部３の出力から画像信号を受けＲＧＢ信号からＹＵＶ信号に変換する現像処理部である。

６は撮像素子２のＡＦ用画素が生成した瞳分割画素信号をＡ／Ｄ変換部３の出力から抽出する瞳分割画素抽出部であり、左右瞳分割Ａ画素抽出部６ａ、左右瞳分割Ｂ画素抽出部６ｂ、上下瞳分割Ａ画素抽出部６ｃ、上下瞳分割Ｂ画素抽出部６ｄを有する。抽出された瞳分割画素はそれぞれ左右瞳分割Ａ画像、左右瞳分割Ｂ画像、上下瞳分割Ａ画像、上下瞳分割Ｂ画像となる。本出願において、「Ａ画像」、「Ｂ画像」は単に「Ａ像」、「Ｂ像」と呼ばれる場合もある。

７は瞳分割画素抽出部６より得られた瞳分割画素信号を基にレンズ制御部４を制御する合焦制御部である。

８は瞳分割画素抽出部６によって抽出された瞳分割画素信号からスプリットイメージに使用する瞳分割画素信号を左右瞳分割Ａ画像、左右瞳分割Ｂ画像、上下瞳分割Ａ画像、上下瞳分割Ｂ画像から選択するスプリットイメージ使用画素選択部である。９はスプリットイメージとして表示する領域を抽出するスプリットイメージ使用領域抽出部である。１０はスプリットイメージ使用領域抽出部９によって抽出されたスプリットイメージを表示サイズに変倍する変倍処理部である。１１は表示画像サイズに合わせて変倍する変倍処理部である。

１２はスプリットイメージの２つの画像（後述するＡ像とＢ像）の評価値（特徴）を算出する評価値算出部（特徴抽出部）である。１３はカメラの姿勢（図２に示す姿勢と図３に示す姿勢）を検知できるセンサ（姿勢検知部）である。

１４は各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。操作部１４は、マニュアルフォーカス（ＭＦ）モードと、スプリットイメージ表示モードと、を設定可能なモード設定部として機能する。ＭＦモードはＭＦを可能にする。スプリットイメージ表示モードは、複数のＡＦ用画素によって形成され、分割線により２つの画像に分割されたスプリットイメージを表示する。

図２及び図３に示すように、操作部１４は、レリーズボタン１４ａ、モードダイヤル１４ｂ、操作ボタン１４ｃ〜１４ｆ、十字キー１４ｇを含む。

レリーズボタン１４ａは撮影動作を行う。モードダイヤル１４ｂはマニュアルフォーカスモード（ＭＦモード）又はオートフォーカスモード（ＡＦモード）を設定するモード設定部である。操作ボタン１４ｃ〜１４ｆは、ＭＦモード時にはスプリットイメージの表示モードのＯＮ／ＯＦＦ、上下分割、左右分割の切り替え、スプリットイメージの適応的自動変更のＯＮ／ＯＦＦ、十字キー１４ｇの操作内容切り替え、メニュー表示を行う。また、メニューによって、操作者は、初期設定されたスプリットイメージの大きさ、位置、分割方向を変更することができる。十字キー１４ｇは、スプリットイメージの位置や大きさを変更する。

１５は評価値算出部１２、姿勢検知部１３、操作部１４からの情報に基づいてスプリットイメージとして表示する領域を決定するスプリットイメージ領域決定部である。スプリットイメージ領域決定部１５は、図示しないメモリを有している。かかるメモリは、デジタルカメラ１００の姿勢毎に初期設定されたスプリットイメージの位置、大きさ及び分割線の方向（分割方向）を格納する。スプリットイメージ領域決定部１５には、タイマ１９が接続されており、スプリットイメージ領域決定部１５は、タイマ１９において設定時間が経過したことを知ることができる。また、スプリットイメージ領域決定部１５には、画像表示部１７が接続されており、スプリットイメージ領域決定部１５は、画像表示部１７においてスプリットイメージが表示されたことを知ることができる。

姿勢検知部１３の検知結果に基づいてスプリットイメージ領域決定部１５は、スプリットイメージを初期設定された分割方向で生成するようにスプリットイメージ使用画素選択部８、スプリットイメージ使用領域抽出部９及び画像合成部１６を制御する。例えば、姿勢検知部１３が図２に示すようにデジタルカメラ１００が横位置にあることを検知した場合には、画像表示部１７には上下に分割したスプリットイメージ２０ａが表示される。また、姿勢検知部１３が図３に示すようにデジタルカメラ１００が縦位置にあることを検知した場合には、画像表示部１７には左右に分割したスプリットイメージ２０ｂが表示される。スプリットイメージ２０ａはＡ像２２ａ、Ｂ像２４ａを有し、スプリットイメージ２０ｂはＡ像２２ｂ、Ｂ像２４ｂを有する。上下分割スプリットイメージ、左右分割スプリットイメージ、Ａ像、Ｂ像については後で詳細に説明する。

なお、瞳分割画素抽出部６、スプリットイメージ使用画素選択部８、スプリットイメージ使用領域抽出部９、評価値算出部１２、スプリットイメージ領域決定部１５はスプリットイメージを生成するスプリットイメージ生成部として機能する。

１６は被写体の像とスプリットイメージを合成する画像合成部である。スプリットイメージ領域決定部１５によって決定されたスプリットイメージ領域に従って、スプリットイメージ使用画素選択部８による選択、スプリットイメージ使用領域抽出部９による抽出、画像合成部１６による合成が行われる。

１７はＴＦＴ ＬＣＤ等からなる画像表示部である。画像表示部１７は、画像合成部１６に接続され、被写体の像及びスプリットイメージを合成された状態で表示する。画像表示部１７を用いて撮像した画像データを逐次表示し、電子ビュー機能、電子ファインダー機能を実現する。

次に、図４及び図５を参照して、位相差ＡＦについて説明する。

図４は撮像素子２の撮影用画素の平面図で、２画素×２画素を基本単位とするエリアセンサの基本単位部の色配列である。図４（ａ）は（純色）ベイヤ配列、図４（ｂ）はベイヤ配列を捕色フィルタに適用したもの（補色ベイヤ風配列）、図４（ｃ）は補色３色にＧを加えたもの（Ｇ込補色配列）である。通常知られる画素配列としては、この他に２画素×４画素単位の補色市松配列があり、これはビデオムービーカメラ用のセンサとして最もよく使われる。また、本出願人が特許文献３において提案している色配列（２画素×８画素）の補色市松も適用可能である。２画素×４画素、２画素×８画素の色配列は動画像（インターレース走査を行うビデオ）を扱うエリアセンサとしては優位であるが、スチル画像を扱うカメラとしては２画素×２画素の方が信号処理を簡易化でき、かつ、高画質の画像を得ることができる。以下では、２画素×２画素の画素ブロックで説明するが、２画素×４画素、２画素×８画素の色配列をもつエリアセンサにも適用可能である。

図５は、撮像素子２のＡＦ用画素を含む画素ブロックの平面図である。図５（ａ）は純色ベイヤ配列の場合、図５（ｂ）は補色ベイヤ風配列又はＧ込補色配列の場合である。図５において、「Ｓ」は、測光データを読み出す焦点検出用画素（ＡＦ用画素）である。本実施例は、撮像素子２の画素の中にＡＦ用画素を設けて撮像素子２の信号を読み出すことで高精度なＡＦを行うと共に、別にセンサを持つ場合に必要な機構部が無くなるのでカメラを小型で低価格としている。

次に、ＡＦ用画素と、その画素を配した画素ブロック（エリアセンサ）について説明する。高画素デジタルスチルカメラ用の撮像素子としては、主にインターライン型ＣＣＤかフルフレーム型ＣＣＤが使われる。インターライン型ＣＣＤは、撮像素子に光が入射していても撮像された信号電荷を読み出すことが可能であるが、フルフレームＣＣＤでは、撮像素子の前面に設けられるメカニカルシャッタを閉じないと信号電荷の読み出しができない。この解決方法として、フルフレームＣＣＤのイメージエリアと水平ＣＣＤの間にライン分の電荷を蓄積するためのストレージ部を設けた改良フルフレーム型ＣＣＤと、それによるメカニカルシャッタを開いた状態でのＡＦの部分読み出しが有効である。また、インターライン型ＣＣＤでのＡＦのためのイメージエリア内の部分的に必要な部分のみを高速に読み出す方法（即ち、必要な部分以外の信号電荷の高速クリアの方法）も有効である。これにより、インターライン型ＣＣＤでもフルフレーム型ＣＣＤ（但し、改良型）でも、イメージエリア内に配された焦点検出、測光画素を含む領域の信号電荷をメカニカルシャッタを何度も開閉することなく短時間に読み出すことができる。以下、改良型のフルフレーム型ＣＣＤを用いた実施例について説明するが、インターライン型にも適用可能である。

図６（ａ）は、イメージエリアの画素（ＣＣＤセル）の平面図、図６（ｂ）は図６（ａ）のＡＡ断面図とポテンシャルプロフィールである。２０１は光透過性のあるポリシリコンで形成されるクロックゲート電極であり、この電極下の半導体表面がクロックフェーズ領域である。クロックフェーズ領域はイオンの打ち込みにより２領域に分けられ、その一方が、クロックバリア領域２０２であり、もう一方がクロックバリアよりもポテンシャルが高くなるようにイオンを打ち込むことで形成されるクロックウエル領域２０３である。２０４は半導体表面にＰ＋層を形成することでチャネルポテンシャルを固定するためのバーチャルゲートであり、この領域がバーチャルフェーズ領域である。この領域もまた、Ｐ＋層より深い層にＮ型イオンを打ち込むことで２領域に分けられ、その一方がバーチャルバリア領域２０５、もう一方がバーチャルウエル領域２０６である。２０７は電極と半導体の間に設けられる酸化膜などによる絶縁層である。２０８は各ＶＣＣＤのチャネルを分離するためのチャネルストップである。

なお、図示はしていないが、強い光が入射した場合に電荷が隣接画素にあふれて擬似信号となるブルーミング現象の防御の機能が付加される。その代表的な方法は横形オーバーフロードレインを設ける方法である。

即ち、各ＶＣＣＤに接してＮ＋層よりなるドレインが設けられ、オーバーフロードレインと電荷転送チャネルとの間にはオーバーフロードレインバリアが設けられる。オーバーフロードレインバリアの高さを超える電荷はドレインに掃き捨てられることになるのである。ドレインバリアの高さはイオンのうちこみにより固定されるか、オーバーフロードレインバリア上に電極（オーバードレインバリア電極）を構成することで、ドレイン電極に加える電圧（ＶＯＤ）の値の制御によりドレインバリアの高さを変えるようにされる。

ＶＣＣＤの転送はクロック電極２０２に任意のパルスを加えることでクロックフェーズ相のポテンシャルをバーチャル層のポテンシャルに対して上下に動かすことで電荷を水平ＣＣＤの方向へ転送する。なお、図６（ｂ）において丸印と矢印は電荷の移動を概念的に示している。以上はイメージエリアの画素構造であるが、ストレージ部の画素構造もこれに準ずる。但し、この領域は、画素上部がアルミ遮光されているため、ブルーミングを防御する必要がないのでオーバーフロードレインは省かれる。Ｈ−ＣＣＤも、また、バーチャルフェーズ構造とされるがＶＣＣＤからの電荷を受け取り、かつそれを水平に転送することができるようにクロック相領域とバーチャルフェーズ相領域のレイアウトを構成する。

図７（ａ）は、図６に示すＣＣＤセル（２０１〜２０７）の上に純色のいずれかの色か補色のいずれかの色のカラーフィルタ層２１２を配置した構造の平面図、図７（ｂ）は図７（ａ）のＢＢ断面図である。カラーフィルタ層２１２とＣＣＤセルの間には、半導体表面の保護層２０９と各色の混色を防止するためのメタル遮光膜２１０が設けられる。但し、これはカラーフィルタと同様の材料で作られる黒の色素層で構成されることもある。２１１はカラーフィルタ層２１２をのせる表面を平らにするための平滑層、２１３はフィルタ層を保護する保護層である。

図８に、フルフレームＣＣＤにＡＦ用画素を構成した配列を示す。通常のベイヤ配列のセンサにＡＦ用画素Ｓ１を複数もつラインとＡＦ用画素Ｓ２をもつラインが並んでいる。図９（ａ）は、ＡＦ用画素Ｓ１の平面図であり、図９（ｂ）は図９（ａ）のＣＣ断面図である。２１０は光電変換素子、２１４Ａはメタル遮光膜であり、画素の光電変換エリアの中心部から一方に偏った（偏心した）開口部２１４ａを有する。２１５はマイクロレンズを形成するための平面を構成するための平滑層である。２１６はマイクロレンズである。ＡＦ用画素Ｓ１はフィルタ層を持たず、最上部にマイクロレンズ２１６を有する。図１０（ａ）は、ＡＦ用画素Ｓ２の平面図であり、図１０（ｂ）は図１０（ａ）のＤＤ断面図である。ＡＦ用画素Ｓ２は、ＡＦ用画素Ｓ１の画素中心とは反対方向に同距離で偏心した開口部２１４ｂを有するメタル遮光膜２１４Ｂを有する。ＡＦ用画素Ｓ１のメタル遮光膜２１４ＡとＡＦ用画素Ｓ２のメタル遮光膜２１４Ｂは、図９（ａ）及び図１０（ｂ）に示すように、左右（又は上下）対称となるように設けられる。これにより、光軸を中心として対称となる射出瞳の二つの位置からの光束によりＡＦ用画素に結像した像のうち、一方がＡＦ用画素Ｓ１の行によって光電変換され、もう一方がＡＦ用画素Ｓ２の行によって光電変換され、二つの像が得られる。

１００万画素を越えるエリアセンサにとっては、図８の配列で、ＡＦ用画素Ｓ１の行とＡＦ用画素Ｓ２の行は殆ど同一で近似の像がマイクロレンズ２１６上に結像される。いま撮像素子２に像を結ぶ撮影レンズ１が撮像素子２上でピントがあっていれば、ＡＦ用画素Ｓ１を含む行のＳ１群からの像信号と、ＡＦ用画素Ｓ２を含む行のＳ２群の信号群からの像信号は一致する。もし、ピントを結ぶ点が撮像素子２の撮像面よりも前方か後方にあれば、ＡＦ用画素Ｓ１を含む行のＳ１群からの像信号と、ＡＦ用画素Ｓ２を含む行のＳ２群の信号群からの像信号の位相差が生じる。そして、結像点が前の場合と後の場合では位相のずれ方向が逆になる。

これは、原理的には、特許文献４の瞳分割位相差ＡＦと同じである。ＡＦ用画素Ｓ１の光電変換部からカメラレンズを見た場合と、ＡＦ用画素Ｓ２の光電変換部からカメラレンズをみた場合とでは、あたかも光学中心に対して瞳が左右に分割したように見える。図１１及び図１２に、位相差とピント状態との関係を示す。図１１及び図１２は、互いに隣り合う２つのＡＦ用画素Ｓ１、Ｓ２を示し、撮像画素を省略して、複数のＡＦ用画素Ｓ１、Ｓ２を互いに近づけて同一断面上に示している。なお、これらの図では、ＡＦ用画素Ｓ１、Ｓ２のペアは同一のマイクロレンズ２１６で覆われているが、実際には、ＡＦ用画素Ｓ１、Ｓ２はそれぞれ別々のマイクロレンズ２１６で覆われている。

被写体の特定点からの光はＡＦ用画素Ｓ１にとっての瞳を通ってＡＦ用画素Ｓ１に入射する光束Ｌ１と、ＡＦ用画素Ｓ２にとっての瞳を通ってＡＦ用画素Ｓ２に入射する光束Ｌ２とに分割される。この２つの光束Ｌ１、Ｌ２は、撮影レンズ１のピントが特定点に合っている状態では、図１１に示すように、マイクロレンズ２１６の表面の一点に集光し、ＡＦ用画素Ｓ１、Ｓ２には同一の像が形成される。これにより、ＡＦ用画素Ｓ１から読み出したＡ像信号と、ＡＦ用画素Ｓ２から読み出したＢ像信号とは同一のものとなる。

一方、撮影レンズ１のピントが特定点に対して合っていない状態では、図１２に示すように、光束Ｌ１、Ｌ２はマイクロレンズ２１６の表面とは異なる位置で交差する。このときのマイクロレンズ２１６の表面と２つの光束Ｌ１、Ｌ２の交点との距離、即ち、デフォーカス量をｘとする。また、この状態で発生したＡＦ用画素Ｓ１、Ｓ２上での像のずれ量（位相差）がｎ画素分に相当するものとする。また、画素ピッチをｄ、２つの瞳の重心間の距離をＤａｆ、撮影レンズ１の主点から焦点までの距離をｕとするとき、デフォーカス量ｘは次式で与えられる。

ｕは撮影レンズ１の焦点距離ｆにほぼ等しく次式で与えられる。

図１３は、撮像素子２上のＡＦ用画素Ｓ１、Ｓ２のそれぞれから読み出したＡ像信号（ＡＦ用画素Ｓ１の像）及びＢ像信号（ＡＦ用画素Ｓ２の像）の信号レベルを示す。これらのＡ像及びＢ像信号にはずれ量（つまりは像ずれ量）ｎ×ｄが発生する。合焦制御部７は、相関演算手法を用いて一対の像信号のずれ量（位相差）ｎ×ｄを求め、この位相差から数式１又は２を用いてデフォーカス量ｘを求める。合焦制御部７は、算出したデフォーカス量に基づいて、デフォーカス量ｘを所定範囲内に収める（望ましくは零にする）ためのフォーカスレンズ１ａの目標駆動量を算出する。そして、レンズ制御部４を通じて、フォーカスレンズ１ａを、算出した目標駆動量だけ移動させる。これにより、位相差ＡＦによる合焦状態が得られる。

図１４〜図１６は、図８に示す画素配列の変形例であり、ＡＦ用画素Ｓ１及びＳ２の配列を図８に示す配列とは変えている。図８ではＡＦ用画素Ｓ１の行とＡＦ用画素Ｓ２の行が僅かにずれているが、１００万画素を越える撮像素子２では実用上問題はない。図１４〜図１６は、ＡＦ用画素Ｓ１の行とＡＦ用画素Ｓ２の行を同一箇所に近似させようとしている。図１４は同一行にＡＦ用画素Ｓ１とＳ２を交互に配置する。図１５はＡＦ用画素Ｓ１の行をＡＦ用画素Ｓ２の行の上下に設けてＡＦ用画素Ｓ１による第１の行と第２の行の補間によりＡＦ用画素Ｓ２の行に相当するＡＦ用画素Ｓ１の行データを作成する。図１６は図１４の変形例であり、ＡＦ用画素Ｓ１とＳ２を交互にもつ行を２行にしてそれぞれジグザグになるように配置している。以上のように、ＡＦ画素群とその部分のみを読み出す駆動方法により、高速かつ精度の高い位相差ＡＦが可能となる。

撮像素子２における被写体の像の画像処理においては、ＡＦ用画素Ｓ１、Ｓ２の部分は周辺の撮影用画素により補間される。これにより、画質の劣化は殆どなく、かつ、画像取り込み以外の焦点検出データをも読みこめる撮像素子が実現するのである。このような補間をする前提にたつと、図５に示すように、２×２画素で３色の撮影用画素と１つのＡＦ用画素だと補間が簡易でかつ画像劣化も問題にならない。もちろん、２×４配列も可能であるが、ＡＦ用画素Ｓ１行とＡＦ用画素Ｓ２行の距離が２×２画素よりも離れることとなる。また、上述の説明は、インターライン型ＣＣＤ撮像素子、フレームトランスファ型ＣＣＤ撮像素子、また、Ｘ−Ｙアドレス型撮像素子にも適用可能である。

ＡＦ時には、撮像素子２上からＡＦ用画素Ｓ１及びＳ２を含む行を読み出してＡ／Ｄ変換部３によりＡ／Ｄ変換し、瞳分割画素抽出部６により各画素値よりＡＦ用画素Ｓ１の像とＡＦ用画素Ｓ２の像をそれぞれ生成する。そして、合焦制御部７が、二つの像の相関を演算することによって像のずれ量を求め、求めたずれ量に従って撮影レンズ１の中のフォーカスレンズを移動するようにレンズ制御部４を制御する。

撮影時には、撮像素子２上に被写体像を露光し、これを全画素分読み出してＡ／Ｄ変換部３によりＡ／Ｄ変換し、不図示の信号処理回路に入力する。信号処理回路においては、まずＡＦ画素Ｓ１、Ｓ２から読み出した画素値を破棄し、代わりに周辺画素よりＡＦ画素Ｓ１及びＳ２に相当する画素値を生成して補間する。この後、輝度色差信号の生成及び圧縮を行い、記録メディアに画像ファイルとして保存する。

本実施例は、ＡＦ用画素Ｓ１、Ｓ２を撮影には使用せず、ＡＦ用画素Ｓ１、Ｓ２を周辺の撮影用画素で補間する。静止画撮影時には補間処理は、映像信号をメモリ上に取込んだ後に行えばよい。しかし、動画撮影時や電子ビューファインダーを動作させるときは、１秒間に３０枚ほどの画像を撮像素子から繰り返し読み出すため、処理が間に合わなくならないように撮像素子２上のラインを間引いて行う。このように、本実施例によれば、間引きモードの読み出しにおいて読み出される画素にはＡＦ用画素が含まれず、なおかつ動画の生成に必要十分な画素数を読み出すことができる。

また、特許文献５及び６に開示されているように、水平と垂直に直交して瞳分割することで、水平方向と垂直方向の両方の位相差を検出して合焦精度を向上させることができる。例えば、図１７（ａ）に撮像素子２の水平方向に瞳分割するＡＦ用画素を示し、図１７（ｂ）に撮像素子２の垂直方向に瞳分割したＡＦ用画素を示す。このようなＡＦ用画素を撮像素子２の中に満遍なく一定間隔で配置する。撮像素子２全体の画素の１％程度をこのＡＦ用画素に割り当てる。ここで、水平方向（左右方向又は横方向）とは、撮影レンズ１の光軸と撮像領域の長辺とが地面に平行となるようにデジタルカメラ１００を構えたとき、この光軸に直交し、かつ水平方向に伸びる直線に沿った方向をいう。また、垂直方向（上下方向又は縦方向）とは、撮影レンズ１の光軸と撮像領域の長辺とが地面に平行となるようにデジタルカメラ１００を構えたとき、この光軸に直交し、鉛直方向に伸びる直線に沿った方向をいう。

カメラを正位置で撮影したときの被写体の縦縞は、横方向に瞳分割したＡＦ用画素により位相差（デフォーカス量）を検出し、被写体の横縞は、縦方向に瞳分割したＡＦ用画素により位相差（デフォーカス量）を検出してＡＦを行うと合焦精度を高くできる。

本実施例では、図１７（ａ）で示される撮像素子２を水平方向に瞳分割したＡＦ用画素を左右瞳分割Ａ画素及びＢ画素、これを基に形成される画像データを左右瞳分割Ａ像及びＢ像と呼ぶ。また、本実施例は、図１７（ｂ）で示される撮像素子２を垂直方向に瞳分割した画素を上下分割Ａ画素及びＢ画素、これを基に形成される画像データを上下瞳分割Ａ像及びＢ像と呼ぶ。

図１８は、上下分割スプリットイメージ２０ｃを画像表示部１７の中央部に表示した図である。図１９は左右分割スプリットイメージ２０ｄを画像表示部１７の中央部に表示した図である。本実施例ではスプリットイメージを方形にしているがデザインに応じて円形、楕円形などでも構わない。

図２０〜図２２は、上下分割スプリットイメージ２０ｅを説明する図である。図２１（ａ）の斜線領域の画像は、上下分割スプリットイメージ２０ｅのＡ像２２ｅを示し、図２１（ｂ）の斜線領域の画像は、上下分割スプリットイメージ２０ｅのＢ像２４ｅを示している。図２２（ａ）は、上下分割スプリットイメージ２０ｅの分割線２１ｅに沿ったＡ像２２ｅの評価値算出対象領域２３ｅを示し、図２２（ｂ）は、上下分割スプリットイメージ２０ｅの分割線２１ｅに沿ったＢ像２４ｅの評価値算出対象領域２５ｅを示している。評価値算出対象領域２３ｅ及び２５ｅは２つの画像（Ａ像２２ｅ、Ｂ像２４ｅ）が互いに隣接する隣接部分であり、上下分割スプリットイメージ２０ｅの分割方向に沿って評価値を調べるための算出対象となる。以下、評価値を算出する例について説明する。

例えば、評価値算出対象領域２３ｅは左右瞳分割Ａ画素評価値ＨＡｉ（ｉ＝０〜ｍ）の垂直画素積分値列からなり、評価値算出対象領域２５ｅは左右瞳分割Ｂ画素評価値ＨＢｉ（ｉ＝０〜ｍ）の垂直画素積分値列からなる。この時の画素評価値は、例えば、それぞれ図２３（ａ）及び図２３（ｂ）のようになり、評価値ＨＡＣ、ＨＢＣは次式で与えられる。

ここで、ＭＡＸ［ＨＡｉ（ｉ＝０〜ｍ）］は左右瞳分割Ａ画素評価値ＨＡｉ（ｉ＝０〜ｍ）の最大値、ＭＩＮ［ＨＡｉ（ｉ＝０〜ｍ）］は左右瞳分割Ａ画素評価値ＨＡｉ（ｉ＝０〜ｍ）の最小値を示している。ＨＡＣ、ＨＢＣがある一定値以上である場合はコントラストが高いと判断し、ＨＡＣ、ＨＢＣがある一定値に満たない場合コントラストが低いと判断できる。更に、ＭＦにおける操作者によるフォーカシング補助において、ＨＡＣ及びＨＢＣが共にある一定値以上である場合はコントラストが十分であると判断し、ＨＡＣ及びＨＢＣの少なくとも一方がある一定値に満たない場合はコントラストが不十分であると判断できる。

図２４〜図２６は、左右分割スプリットイメージ２０ｆを説明する図である。図２５（ａ）の斜線領域の画像は、左右分割スプリットイメージ２０ｆのＡ像２２ｆを示し、図２５（ｂ）の斜線領域の画像は、左右分割スプリットイメージ２０ｆのＢ像２４ｆを示している。図２６（ａ）は、左右分割スプリットイメージ２０ｆの分割線２１ｆに沿ったＡ像２２ｆの評価値算出対象領域２３ｆを示し、図２６（ｂ）は、左右分割スプリットイメージ２０ｆの分割線２１ｆに沿ったＢ像２４ｆの評価値算出対象領域２５ｆを示している。評価値算出対象領域２３ｆ及び２５ｆは左右分割スプリットイメージ２０ｆの分割方向に沿って評価値を調べるための算出対象となる。以下、評価値算出例を説明する。

例えば、評価値算出対象領域２３ｆは上下瞳分割Ａ画素評価値ＶＡｉ（ｉ＝０〜ｎ）の水平画素積分値列からなり、評価値算出対象領域２５ｆは上下瞳分割Ｂ画素評価値ＶＢｉ（ｉ＝０〜ｎ）の水平画素積分値列からなる。この時の画素評価値は、例えば、それぞれ図２７（ａ）及び図２７（ｂ）のようになり、評価値ＶＡＣ、ＶＢＣは次式で与えられる。

ここで、ＭＡＸ［ＶＡｉ（ｉ＝０〜ｎ）］は上下瞳分割Ａ画素評価値ＶＡｉ（ｉ＝０〜ｎ）の中の最大値を示しており、ＭＩＮ［ＶＡｉ（ｉ＝０〜ｎ）］は上下瞳分割Ａ画素評価値ＶＡｉ（ｉ＝０〜ｎ）の中の最小値を示している。ＶＡＣ、ＶＢＣがある一定値以上である場合はコントラストが高いと判断し、ＶＡＣ、ＶＢＣがある一定値に満たない場合コントラストが低いと判断できる。更に、ＭＦにおける操作者によるフォーカシング補助において、ＶＡＣ及びＶＢＣが共にある一定値以上である場合はコントラストが十分であると判断し、ＶＡＣ及びＶＢＣの少なくとも一方がある一定値に満たない場合はコントラストが不十分であると判断できる。

なお、ここでは評価値算出結果を基に特徴抽出をしているが、周波数分布を調べて相関演算評価値を求めたり、周期的な特徴が見られるか否かを調べたりして特徴抽出をしてもよい。

図２８は、上下分割スプリットイメージ２０ｇ内のコントラストが不十分な例を示す図である。図２８では被写体である家の壁が上下分割スプリットイメージ２０ｇの領域となっている。上下分割スプリットイメージ２０ｇの左右瞳分割Ａ画像２２ｇ及び左右瞳分割Ｂ画像２４ｇは、図２９（ａ）及び図２９（ｂ）に示すように、コントラストが高くない。この場合、操作者はスプリットイメージを利用したＭＦが十分ではない。

以下、図３０を参照して、本実施例のスプリットイメージ表示モードにおける動作を説明するためのフローチャートである。図３０において、「Ｓ」はステップを表す。

スプリットイメージ領域決定部１５は、操作部１４のモードダイヤル１４ｂによってＭＦモードが設定されているかどうかを判断し（Ｓ１）、ＭＦモードが設定されていなければ処理を終了する。スプリットイメージ領域決定部１５は、ＭＦモードが設定されていると判断すると（Ｓ１）、スプリットイメージ表示モードが操作部１４の操作ボタン（１４ｃ−１４ｆ）によって設定されているかどうかを判断する（Ｓ２）。スプリットイメージ領域決定部１５は、スプリットイメージ表示モードが操作部１４によって設定されていないと判断すると（Ｓ２）、処理を終了する。

次に、スプリットイメージ領域決定部１５は、スプリットイメージ表示モードが設定されていると判断すると（Ｓ２）、スプリットイメージ使用画素選択部８が瞳分割画素信号からスプリットイメージに使用するものを選択する。そして、スプリットイメージ使用領域抽出部９が、スプリットイメージとして表示する領域を抽出し、変倍処理部１０が、スプリットイメージ使用領域抽出部９によって抽出されたスプリットイメージを表示サイズに変倍する。次いで、画像合成部１６が被写体像とスプリットイメージを合成し、画像表示部１７が合成画像を表示する（Ｓ３）。この場合は、初期値として与えられる上下か左右のスプリットイメージ分割方向、位置、大きさのスプリットイメージを生成し、電子ビューに被写体像と共に表示する。

次に、スプリットイメージ領域決定部１５は、操作部１４を参照して、操作者による何らかの操作があるかどうかを判断する（Ｓ４）。スプリットイメージ領域決定部１５は、操作があると判断すると（Ｓ４）、ＭＦモードが操作部１４によって設定されているかどうかを判断し（Ｓ１０）、設定されていなければ処理を終了する。次に、スプリットイメージ領域決定部１５は、ＭＦモードが設定されていると判断するとスプリットイメージ表示モードが操作部１４によって設定されているかどうかを判断し（Ｓ１１）、設定されていなければ処理を終了する。

次に、スプリットイメージ領域決定部１５は、スプリットイメージ表示モードが操作部１４によって設定されていると判断すると（Ｓ１１）、スプリットイメージ領域の変更が指示されているかどうかを判断する（Ｓ１２）。この場合の変更指示は、操作者の操作部１４の操作によるスプリットイメージの位置、広さ、分割方向などの領域変更の指示である。

一方、スプリットイメージ領域決定部１５は、操作がないと判断した場合（Ｓ４）又はスプリットイメージ領域の変更が指示されていないと判断した場合（Ｓ１２）、タイマ１９を参照して設定時間が経過したかどうかを判断する（Ｓ５）。スプリットイメージ領域決定部１５が設定時間が経過していないと判断すると（Ｓ５）、処理はＳ４に戻る。一方、スプリットイメージ領域決定部１５は、何等の操作なく一定時間が経過したと判断すると（Ｓ５）、評価値算出部１２が算出した評価値（コントラスト）を取り込む（Ｓ６）。

なお、本実施例では、図１に示すように、画像表示部１７とタイマ１９がスプリットイメージ領域決定部１５に接続されてスプリットイメージ領域決定部１５がＳ５の判断を行ってＳ６における評価値の取り込みタイミングを制御している。しかし、別の実施例では、画像表示部１７とタイマ１９がスプリットイメージ使用画素選択部８に接続されてスプリットイメージ使用画素選択部８がＳ５の判断を行ってＳ６の代わりに評価値の算出タイミングを制御してもよい。もちろん、評価値の取り込みタイミングや算出タイミングを不図示の別の制御部が行ってもよい。

次に、スプリットイメージ領域決定部１５は、スプリットイメージの２つの画像（Ａ像及びＢ像）の特徴の相関が十分であるかどうかを判断する（Ｓ７）。本実施例において、「特徴の相関が十分である」とは、各特徴のコントラストが十分であり、かつ、合焦ずれの特徴が十分に表れていることを意味する。逆に、「特徴の相関が十分である」とは、スプリットイメージの２つの画像（Ａ像及びＢ像）のそれぞれの特徴ではＭＦができない（困難である場合も含む）ことを意味する。

スプリットイメージ領域決定部１５は、特徴の相関が十分であると判断すると（Ｓ７）、Ｓ４に戻る。一方、スプリットイメージ領域決定部１５は、特徴の相関が十分ではないと判断した場合（Ｓ７）又はスプリットイメージ領域を変更指示したと判断した場合（Ｓ１２）、スプリットイメージ領域を変更する（Ｓ８）。Ｓ８における変更は、スプリットイメージの位置の変更、分割線の方向（分割方向）の変更、スプリットイメージの拡大のいずれかを含む。そして、スプリットイメージ使用画素選択部８、スプリットイメージ使用領域抽出部９、画像合成部１６を制御して画像表示部１７によるスプリットイメージの表示を更新する（Ｓ９）。その後、処理はＳ４に戻る。

以下、図３１及び図３２を参照して、図３０のＳ８の変更のうちスプリットイメージの表示上の拡大（即ち、Ａ像及びＢ像の拡大）について説明する。図３１は、コントラストが不十分な場合（即ち、図２８に示すように、スプリットイメージ２０ｇの左右瞳分割Ａ画像２２ｇ、Ｂ画像２４ｇのコントラストが十分とれない場合）に、横方向に広げた上下分割スプリットイメージ２０ｈを示す図である。図３２（ａ）は、上下分割スプリットイメージ２０ｈの左右瞳分割Ａ画像２２ｈの評価値を示すグラフである。図３２（ｂ）は、上下分割スプリットイメージ２０ｈの左右瞳分割Ｂ画像２４ｈの評価値を示すグラフである。スプリットイメージ領域決定部１５は、スプリットイメージ２０ｇのＡ像とＢ像のコントラストを調べ、図３２（ａ）及び図３２（ｂ）に示すように、コントラストが十分得られる領域までスプリットイメージを自動的に左右に広げる。なお、左右分割スプリットイメージの場合にも同様に、コントラストが十分とれる領域まで自動的に上下に広げる。なお、スプリットイメージを拡大する方向は分割線が延びる方向である。また、ここでいうところの拡大とは、表示上の拡大をいい、信号処理をするうえで当該拡大領域の信号量を増やす場合と増やさない場合を問わない。

次に、図３３及び図３４を参照して、図３０のＳ８の変更のうちスプリットイメージの位置の変更（即ち、Ａ像及びＢ像の位置の変更）について説明する。図３３は、図２８に示すように、コントラストが不十分な場合に、スプリットイメージ２０ｇの位置をスプリットイメージ２０ｉの位置に変更した図である。図３４（ａ）は、上下分割スプリットイメージ２０ｉの左右瞳分割Ａ画像２２ｉの評価値を示すグラフである。図３４（ｂ）は、上下分割スプリットイメージ２０ｉの左右瞳分割Ｂ画像２４ｉの評価値を示すグラフである。スプリットイメージ領域決定部１５は、スプリットイメージ２０ｇのＡ像とＢ像のコントラストを調べ、図３４（ａ）及び図３４（ｂ）に示すように、コントラストが十分得られる位置にスプリットイメージ２０ｇの位置を自動的に変更する。なお、左右分割スプリットイメージの場合にも同様に、コントラストが十分とれる領域に自動的に位置を変更する。

次に、図３５〜図４２を参照して、図３０のＳ８の変更のうちスプリットイメージの分割方向（分割線の方向）の変更について説明する。図３５は、上下分割スプリットイメージ２０ｊにおいて合焦ずれの特徴が十分ではない場合を示す図である。図３６（ａ）は上下分割スプリットイメージ２０ｊの左右瞳分割Ａ画像２２ｊの評価値を示すグラフである。図３６（ｂ）は上下分割スプリットイメージ２０ｊの左右瞳分割Ｂ画像２４ｊの評価値を示すグラフである。図３６（ａ）に示すＡ画像２２ｊと図３６（ｂ）に示すＢ画像２４ｊの評価値が殆ど同じであることが理解される。図３５に示す上下分割スプリットイメージ２０ｊは、図２８に示すようなＡ像２２ｇ、Ｂ像２４ｇのコントラストの低い場合ではない。しかし、操作者から見ると上下分割スプリットイメージ２０ｊのＡ像２２ｊ、Ｂ像２４ｊのずれが殆どなく合焦作業がしづらい。

そこで、図３７に示すように、分割方向を変更する。図３７は、図３５と全く同じ画像部分での左右分割スプリットイメージ２０ｋを示す図である。図３８（ａ）は左右分割スプリットイメージ２０ｋのＡ像２２ｋの評価値を示すグラフである。図３８（ｂ）は左右分割スプリットイメージ２０ｋのＢ像２４ｋの評価値を示すグラフである。図３８（ａ）及び図３８（ｂ）に示すように、Ａ画像２２ｋとＢ画像２４ｋの評価値は明らかに異なり、図３７に示す左右分割スプリットイメージ２０ｋの場合、合焦ずれの特徴が見て取りやすく操作者にとっても合焦作業がしやすくなる。この場合、スプリットイメージ領域決定部１５は、異なるスプリットイメージの分割方向（上下分割、左右分割）のそれぞれの評価値を算出し、特徴が十分な分割方向を選択して表示する。図３５に示す上下分割スプリットイメージ２０ｊにおいて特徴抽出が十分でない場合、図３７に示すように、スプリットイメージ領域決定部１５は、左右分割スプリットイメージ２０ｋに自動的に切り替える。これにより操作者の十分合焦作業が行いやすいスプリットイメージを自動的に選択して表示することができる。

以上、説明したように、図３０に示すＳ８は、特徴抽出部であるスプリットイメージ使用画素選択部８が抽出した２つの画像（Ａ像及びＢ像）のそれぞれの特徴ではＭＦができないと判断した場合に行われる。そして、スプリットイメージ領域決定部１５は、Ｓ８において、スプリットイメージの位置の変更、分割線の方向（分割方向）の変更、スプリットイメージの拡大のいずれかを行う。この結果、ＭＦに適したスプリットイメージ画像を被写体像と共に操作者に提供することができる。

なお、本実施例は、上下瞳分割画像、左右瞳分割画像によるスプリットイメージについて説明したが、本発明は、斜め方向に分割された瞳分割画像を利用した斜め分割のスプリットイメージに関しても同様に適用可能である。

本実施例のデジタルカメラ（撮像装置）のブロック図である。 図１に示すデジタルカメラが横向きに構えられた状態の背面図である。 図１に示すデジタルカメラが縦向きに構えられた状態の背面図である。 図１に示す撮像素子の撮影用画素の画素ブロックの平面図である。 図１に示す撮像素子のＡＦ用画素を含む画素ブロックの平面図である。 図１に示す撮像素子の撮影用画素の構造を示す図である。 図１に示す撮像素子の撮影用画素の構造を示す図である。 図１に示す撮像素子の画素配列を示す図である。 図１に示す撮像素子のＡＦ用画素の構造を示す断面図である。 図１に示す撮像素子のＡＦ用画素の構造を示す断面図である。 図９又は図１０に示すＡＦ用画素の動作を説明するための光路図である。 図９又は図１０に示すＡＦ用画素の動作を説明するための光路図である。 図１に示す撮像素子２の２つのＡＦ用画素から読み出した信号を示すグラフである。 図８に示す撮像素子の画素配列の変形例を示す図である。 図８に示す撮像素子の画素配列の別の変形例を示す図である。 図８に示す撮像素子の画素配列の更に別の変形例を示す図である。 図１に示す撮像素子を水平及び垂直方向に分割するＡＦ用画素を示す図である。 上下分割スプリットイメージを図１に示す表示部の中央部に表示した図である。 左右分割スプリットイメージを図１に示す表示部の中央部に表示した図である。 上下分割スプリットイメージを示す図である。 図２０に示す上下分割スプリットイメージのＡ像及びＢ像を示す図である。 図２１に示すＡ像及びＢ像の評価値算出対象領域を示す図である。 図２２に示すＡ像の評価値算出対象領域とＢ像の評価値算出対象領域の評価値のグラフである。 左右分割スプリットイメージを示す図である。 図２４に示す左右分割スプリットイメージのＡ像及びＢ像を示す図である。 図２５に示すＡ像及びＢ像の評価値算出対象領域を示す図である。 図２６に示すＡ像の評価値算出対象領域とＢ像の評価値算出対象領域の評価値のグラフである。 Ａ像とＢ像のコントラストが不十分な場合の上下分割スプリットイメージを示す図である。 図２８に示す上下分割スプリットイメージのＡ像とＢ像の評価値のグラフである。 本実施例のスプリットイメージ表示モードにおける動作を説明するためのフローチャートである。 図３０のＳ８の一例を説明する図である。 図３０のＳ８の一例を説明するためのグラフである。 図３０のＳ８の別の例を説明する図である。 図３０のＳ８の別の例を説明するためのグラフである。 図３０のＳ８の更に別の例を説明する図である。 図３０のＳ８の更に別の例を説明するためのグラフである。 図３５の問題を解決する図である。 図３７に示すスプリットイメージのＡ像とＢ像の評価値のグラフである。

符号の説明

１ 撮影レンズ
１ａ フォーカスレンズ
６ 瞳分割画素抽出部
８ スプリットイメージ使用画素選択部
９ スプリットイメージ使用領域抽出部
１２ 評価値算出部
１３ 姿勢検知部
１４ 操作部
１５ スプリットイメージ領域決定部
１７ 表示部
１９ タイマ
２０ａ〜２０ｋ スプリットイメージ
２２ａ〜２２ｋ Ａ像
２３ｅ Ａ像のＢ像との隣接部分（評価値算出対象領域）
２４ａ〜２４ｋ Ｂ像
２５ｅ Ｂ像のＡ像との隣接部分（評価値算出対象領域）
１００ デジタルカメラ（撮像装置）

Claims (7)

1. フォーカスレンズを含むと共に被写体の像を形成する撮影レンズの射出瞳の全域を通る光を各々が受光して前記被写体の像を生成する複数の撮影用画素と、各々が前記撮影レンズの前記射出瞳の一部の領域を通る光を受光して瞳分割画素信号を生成する複数の焦点検出用画素と、を有する撮像素子と、
   マニュアルフォーカスを可能にするマニュアルフォーカスモードと、前記複数の焦点検出用画素によって形成され、分割線により２つの画像に分割されたスプリットイメージを表示するスプリットイメージ表示モードと、を設定可能なモード設定部と、
   前記モード設定部が前記マニュアルフォーカスモードと前記スプリットイメージ表示モードの両方を設定すると、前記複数の焦点検出用画素が生成した瞳分割画素信号に基づいて前記スプリットイメージを生成するスプリットイメージ生成部と、
   を有し、
   前記スプリットイメージ生成部は、
   前記スプリットイメージの前記２つの画像のそれぞれの特徴を抽出する特徴抽出部と、
   前記スプリットイメージとして表示する領域を決定するスプリットイメージ領域決定部と、
   を有し、
   前記スプリットイメージ領域決定部は、前記特徴抽出部が抽出した前記２つの画像のそれぞれの特徴では前記マニュアルフォーカスができないと判断した場合に、前記スプリットイメージの位置の変更、前記分割線の方向の変更、前記スプリットイメージの拡大のいずれかを行うことによって前記領域を変更することを特徴とする撮像装置。
2. 前記特徴抽出部は、前記２つの画像が互いに隣接する隣接部分において前記分割線に沿って前記分割線と垂直な方向に各画像のコントラストを積分することによって前記特徴を抽出することを特徴とする請求項１に記載の撮像装置。
3. 前記特徴抽出部は、前記分割線に沿って各画像の相関演算評価値を求めることを前記特徴とする請求項１に記載の撮像装置。
4. 前記スプリットイメージ領域決定部は、前記スプリットイメージを拡大する場合に前記分割線が延びる方向に各画像を拡大することを特徴とする請求項１〜３のうちいずれか一項に記載の撮像装置。
5. 前記撮像装置は、
   前記被写体の像と前記スプリットイメージを合成した状態で表示する表示部と、
   タイマと、
   を有し、
   前記スプリットイメージ領域決定部は、前記表示部が前記スプリットイメージ生成部が生成した前記スプリットイメージを表示してから前記タイマにおいて設定時間が経過したと判断すると、前記特徴抽出部が抽出した前記２つ画像のそれぞれの特徴を取り込むことを特徴とする請求項１〜４のうちいずれか一項に記載の撮像装置。
6. 前記撮像装置は、前記撮像装置の姿勢を検知する姿勢検知部を更に有し、
   前記スプリットイメージ領域決定部は、前記撮像装置の姿勢毎に設定されたスプリットイメージの位置、大きさ及び分割線の方向を格納し、
   前記スプリットイメージ領域決定部は、前記姿勢検知部の検知結果と格納された情報に基づいて前記領域を決定することを特徴とする請求項１〜５のうちいずれか一項に記載の撮像装置。
7. 前記撮像装置は、前記スプリットイメージの位置、大きさ及び前記分割線の方向の少なくとも一つを変更するために操作される操作部を更に有し、
   前記スプリットイメージ領域決定部は、前記操作部が操作されると前記操作部によって変更された情報に基づいて前記スプリットイメージの領域を変更することを特徴とする請求項１〜６のうちいずれか一項に記載の撮像装置。