JP2013255188A - 撮像素子、撮像装置、撮像方法およびプログラム - Google Patents

Abstract

【課題】高画質なライブビュー画像と高精度な位相差検出とを両立させる。
【解決手段】画素アレイ部は、位相差検出または記録画像の生成のための第１同期信号に基づいて駆動される画像生成画素である第１画像生成画素と、第１同期信号に基づいて駆動される位相差検出画素と、ライブビュー画像を生成するための同期信号であって第１同期信号とは異なる第２同期信号に基づいて駆動されて第１画像生成画素よりも数が少ない画像生成画素である第２画像生成画素とにより構成される。第１出力部は、第１画像生成画素および位相差検出画素の画素データを外部へ出力する。第２出力部は、第２画像生成画素の画素データを外部へ出力する。
【選択図】図１

Description

本技術は、撮像素子に関し、特に、位相差検出を行う撮像素子、撮像装置、および、撮像方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、人物等の被写体を撮像して撮像画像を生成し、この生成された撮像画像を記録するデジタルスチルカメラ等の撮像装置が普及している。また、この撮像装置として、ユーザーの撮影操作を簡便にするため、撮像時のフォーカス（ピント、焦点）調整を自動的に行うオートフォーカス（ＡＦ：Auto Focus）機能を備える撮像装置が広く普及している。

このような撮像装置として、例えば、フォーカス位置をずらしながら複数の画像を撮像し、最もコントラストが高いフォーカス位置を合焦位置とするコントラスト検出方式によりオートフォーカスを行う撮像装置が提案されている。また、撮像レンズを通過した光を瞳分割して１対の像を形成し、その形成された像の間隔を計測（位相差を検出）することによって撮像レンズの位置を決定する位相差検出方式によりオートフォーカスを行う撮像装置も提案されている。

さらに、コントラスト検出方式と位相差検出方式との両方の機能を備える撮像装置も提案されている。このような撮像装置として、例えば、撮像レンズを通過した光を瞳分割する画素（位相差検出画素）と、撮像画像の生成用の画素（画像生成画素）との両方の画素を１つの撮像素子に設ける撮像装置が提案されている（例えば、特許文献１参照。）。

特開２００８−１３４３８９号公報

上述の従来技術では、位相差検出画素と画像生成画素の両方の画素を１つの撮像素子に設けるため、１つの撮像素子だけで、位相差検出と画像生成とを両方とも行うことができる。

なお、位相差検出と画像生成とを両方とも行うことができるものの、位相差検出画素に適切な露光時間と、画像生成画素に適切な露光時間とは異なることが多い。そこで、高画質なライブビュー画像と高精度な位相差検出とを両立させることが重要になる。

本技術はこのような状況に鑑みて生み出されたものであり、高画質なライブビュー画像と高精度な位相差検出とを両立させることを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、位相差検出または記録画像の生成のための第１同期信号に基づいて駆動される画像生成画素である第１画像生成画素と、上記第１同期信号に基づいて駆動される位相差検出画素と、ライブビュー画像を生成するための同期信号であって上記第１同期信号とは異なる第２同期信号に基づいて駆動されて上記第１画像生成画素よりも数が少ない画像生成画素である第２画像生成画素とにより構成される画素アレイ部と、上記第１画像生成画素および上記位相差検出画素の画素データを外部へ出力する第１出力部と、上記第２画像生成画素の画素データを外部へ出力する第２出力部とを具備する撮像素子である。これにより、第１同期信号に基づいて駆動される画像生成画素および位相差検出画素の画素データが第１出力部から出力され、第２同期信号に基づいて駆動される画像生成画素の画素データが第２出力部から出力されるという作用をもたらす。

また、この第１の側面において、上記画素アレイ部は、上記第２画像生成画素のみにより構成される第１ラインと、上記第１画像生成画素および上記位相差検出画素により構成される第２ラインと、上記第１画像生成画素のみにより構成される第３ラインとが配置され、上記第２ラインと第３ラインとの合計数は上記第１ラインの数より多いようにしてもよい。これにより、第２画像生成画素のみにより構成される第１ラインと、第１画像生成画素および位相差検出画素により構成される第２ラインと、第１画像生成画素のみにより構成される第３ラインとが画素アレイ部に配置されるという作用をもたらす。

また、この第１の側面において、上記画素アレイ部は、上記第１ラインが奇数ラインおきに配置され、他のラインに上記第２ラインおよび上記第３ラインのいずれかが配置されるようにしてもよい。これにより、第１ラインが奇数ラインおきに配置され、他のラインに第２ラインおよび第３ラインのいずれかが配置されるという作用をもたらす。

また、この第１の側面において、上記第２ラインは、上記第１ラインに隣接して配置されるようにしてもよい。これにより、第２ラインが第１ラインに隣接して配置されるという作用をもたらす。

また、本技術の第２の側面は、位相差検出または記録画像の生成のための第１同期信号に基づいて駆動される画像生成画素である第１画像生成画素と、上記第１同期信号に基づいて駆動される位相差検出画素と、ライブビュー画像を生成するための同期信号であって上記第１同期信号とは異なる第２同期信号に基づいて駆動されて上記第１画像生成画素よりも数が少ない画像生成画素である第２画像生成画素とにより構成される画素アレイ部と、上記第１画像生成画素および上記位相差検出画素の画素データを外部へ出力する第１出力部と、上記第２画像生成画素の画素データを外部へ出力する第２出力部とを備える撮像素子と、上記第２画像生成画素が配置されているラインを駆動させて上記第２出力部が出力する上記画素データを生成させるとともに、上記位相差検出を行う場合には、上記位相差検出画素が配置されているラインを駆動させて上記第１出力部が出力する上記画素データを生成させ、上記記録画像の生成を行う場合には、上記第１画像生成画素が配置されているラインを駆動させて上記第１出力部が出力する上記画素データを生成させる制御を行う制御部とを具備する撮像装置である。これにより、第１同期信号に基づいて駆動される画像生成画素および位相差検出画素の画素データが第１出力部から出力され、第２同期信号に基づいて駆動される画像生成画素の画素データが第２出力部から出力される撮像素子を用いて、ライブビュー画像の生成とともに、位相差検出のための画素データまたは記録画像の生成のための画素データが出力されるという作用をもたらす。

また、この第２の側面において、上記位相差検出を行う場合には、上記位相差検出に応じた露光時間に基づいて上記第１同期信号を生成し、上記記録画像の生成を行う場合には、上記記録画像の生成に応じた露光時間に基づいて上記第１同期信号を生成する第１同期信号生成部と、上記ライブビュー画像の生成に応じた露光時間に基づいて上記第２同期信号を生成する第２同期信号生成部とをさらに具備するようにしてもよい。これにより、ライブビュー画像の生成に応じた露光時間に基づいて第２同期信号が生成されるとともに、位相差検出を行う場合には、位相差検出に応じた露光時間に基づいて第１同期信号が生成され、記録画像の生成を行う場合には、記録画像の生成に応じた露光時間に基づいて第１同期信号が生成されるという作用をもたらす。

また、この第２の側面において、上記制御部は、連写の際に上記ライブビュー画像を表示部に表示させる場合には、上記連写の際に生成された上記記録画像の縮小画像を上記ライブビュー画像とともに表示するようにしてもよい。これにより、連写の際にライブビュー画像が表示部に表示される場合には、連写の際に生成された記録画像の縮小画像が上記ライブビュー画像とともに表示されるという作用をもたらす。

また、本技術の第３の側面は、位相差検出または記録画像の生成のための第１同期信号に基づいて駆動される画像生成画素である第１画像生成画素と、上記第１同期信号に基づいて駆動される位相差検出画素と、ライブビュー画像を生成するための同期信号であって上記第１同期信号とは異なる第２同期信号に基づいて駆動されて上記第１画像生成画素よりも数が少ない画像生成画素である第２画像生成画素とにより構成される画素アレイ部と、上記第１画像生成画素および上記位相差検出画素の画素データを外部へ出力する第１出力部と、上記第２画像生成画素の画素データを外部へ出力する第２出力部とを備える撮像素子における上記第２画像生成画素が配置されているラインを駆動させた上記ライブビュー画像の生成とともに、上記位相差検出を行う場合には、上記位相差検出画素が配置されているラインを駆動させて上記位相差検出に用いる上記画素データを生成させる制御を行う第１制御手順と、上記撮像素子における上記第２画像生成画素が配置されているラインを駆動させた上記ライブビュー画像の生成とともに、上記記録画像の生成を行う場合には、上記第１画像生成画素が配置されているラインを駆動させて上記記録画像の生成に用いる上記画素データを生成させる制御を行う第２制御手順とを具備する撮像方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第２同期信号に基づく駆動によりライブビュー画像が生成されるとともに、位相差検出に用いる画素データまたは記録画像の生成に用いる画素データが第１同期信号に基づく駆動により生成されるという作用をもたらす。

本技術によれば、高画質なライブビュー画像と高精度な位相差検出とを両立させることができるという優れた効果を奏し得る。

本発明の実施の形態における撮像装置１００の機能構成の一例を示すブロック図である。 本発明の実施の形態の撮像装置１００における撮像装置の断面構成例を模式的に示す断面図である。 本発明の実施の形態におけるイメージセンサ２００の基本構成例を示すブロック図である。 本発明の実施の形態におけるイメージセンサ２００に備えられる画素の配置の一例を示す模式図である。 本発明の実施の形態におけるイメージセンサ２００に備えられる画素と、各画素に接続される信号線との関係を模式的に示す図である。 本発明の実施の形態の撮像装置１００を用いて静止画像を撮像する際におけるライブビュー表示動作と静止画像撮像動作との関係の一例を模式的に示すタイミングチャートである。 本発明の実施の形態の撮像装置１００においてフォーカス調整を行う際におけるライブビュー表示動作と位相差検出動作との関係の一例を模式的に示すタイミングチャートである。 本技術の実施の形態における撮像装置１００によるＬＶラインの画素の駆動によるライブビュー画像の表示処理が行われる際の処理手順例を示すフローチャートである。 本技術の実施の形態における撮像装置１００によるＳＴＬラインの画素の駆動による位相差検出または静止画像撮像が行われる際の処理手順例を示すフローチャートである。 本技術の実施の形態の変形例として、ライブビュー画像と撮像画像との両方を連写中に容易に確認できる表示の一例を模式的に示す図である。 本技術の実施の形態の変形例におけるライブビュー画像中の記録画像の表示において複数の記録画像を重ねて表示する場合の一例を模式的に示す図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．実施の形態（撮像制御：ライブビュー画像の露光時間と位相差検出用の露光時間とを別々に設定できるとともに、同時に露光可能な撮像素子の例）
２．変形例

＜１．本技術の実施の形態＞
［撮像装置の機能構成例］
図１は、本発明の実施の形態における撮像装置１００の機能構成の一例を示すブロック図である。

撮像装置１００は、被写体を撮像して画像データ（撮像画像）を生成し、生成された画像データを画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録する撮像装置である。なお、以下では、画像コンテンツ（画像ファイル）として静止画コンテンツ（静止画ファイル）を記録する例を主に示す。

撮像装置１００は、レンズ部１１０と、操作受付部１２５と、イメージセンサ２００と、制御部１２０と、第１同期信号生成部１３０と、第１信号処理部１４０と、第２同期信号生成部１５０と、第２信号処理部１６０と、合焦判定部１７０と、レンズ駆動部１７５と、記録部１８１と、表示部１８２とを備える。

レンズ部１１０は、被写体からの光（被写体光）を集光するためのものである。このレンズ部１１０は、ズームレンズ１１１と、絞り１１２と、フォーカスレンズ１１３とを備える。

ズームレンズ１１１は、光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。

絞り１１２は、開口の度合いを変化させてイメージセンサ２００に入射する被写体光の光量を調整するための遮蔽物である。

フォーカスレンズ１１３は、レンズ駆動部１７５の駆動により光軸方向に移動することによりフォーカスを調整するものである。

操作受付部１２５は、ユーザーからの操作を受け付けるものである。この操作受付部１２５は、例えば、シャッターボタン１２６（図２に示す）が押下された場合には、その押下に関する信号を、操作信号として制御部１２０に供給する。

イメージセンサ２００は、受光した被写体光を電気信号に光電変換する撮像素子である。このイメージセンサ２００は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサなどにより実現される。イメージセンサ２００には、受光した被写体光に基づいて撮像画像を生成するための信号を生成する画素（画像生成画素）と、位相差検出を行うための信号を生成する画素（位相差検出画素）とが配置される。イメージセンサ２００には、ライブビュー画像（撮像素子が受光している被写体の像のリアルタイム画像）を撮像するために駆動される画素の行（以降では、ＬＶ（Live View）ラインと称する）と、静止画像（記録画像）の撮像または位相差の検出のために駆動される画素の行(以降では、ＳＴＬ（STiLl）ラインと称する)とが配置される。ＬＶラインには画像生成画素のみが配置される。ＳＴＬラインの画素配置は２パターンあり、画像生成画素のみが配置されるラインと、画像生成画素と位相差検出画素とが両方配置されるラインとにより構成される。なお、ＬＶラインの数は、ＳＴＬラインの数よりも少ないため、ライブビュー画像の画素数は、静止画像の画素数より小さくなる。

イメージセンサ２００は、ＬＶラインの画素を駆動するための駆動回路と、ＳＴＬラインの画素を駆動するための駆動回路とをそれぞれ別々に備え、ＬＶラインの画素とＳＴＬラインの画素とをそれぞれ独立のタイミングで駆動する。すなわち、ＬＶラインとＳＴＬラインとを異なる露光時間で同時に露光させることができる。なお、イメージセンサ２００については、図３および図４を参照して説明する。イメージセンサ２００は、ＬＶラインの画素の光電変換により発生した電気信号を、信号線１６９を介して第２信号処理部１６０に供給する。また、イメージセンサ２００は、ＳＴＬラインの画素の光電変換により発生した電気信号を、信号線１４９を介して第１信号処理部１４０に供給する。なお、イメージセンサ２００は、特許請求の範囲に記載の撮像素子の一例である。

制御部１２０は、撮像装置１００における各部動作を制御するものである。図１では、撮像装置１００の撮像動作にかかわる制御の信号線の一例として、イメージセンサ２００と、第１同期信号生成部１３０と、第１信号処理部１４０と、第２同期信号生成部１５０と、第２信号処理部１６０とに制御部１２０から供給される制御信号の信号線が示されている。例えば、制御部１２０は、イメージセンサ２００の動作（例えば、読み出し対象の画素の行の設定）を制御するための信号を、信号線１２１を介してイメージセンサ２００に供給する。

また、制御部１２０は、シャッターボタンが押下されて、静止画像（記録画像）の撮像を開始するための操作信号を受け付けた場合には、静止画像の撮像を実行させるための各種の制御信号を、第１同期信号生成部１３０と、第１信号処理部１４０と、イメージセンサ２００とに供給する。なお、制御部１２０は、静止画像撮像の際に、静止画像撮像に適切な露光時間を算出し、この算出した露光時間を、第１同期信号生成部１３０に供給する。なお、この算出は、シャッターボタンが押下される直前のＬＶラインの画像生成画素の画素データまたはＳＴＬラインの画像生成画素の画素データを用いて行われる。

また、制御部１２０は、位相差検出によりフォーカスを調整する場合には、位相差検出によるフォーカス調整を実行させるための各種の制御信号を、第１同期信号生成部１３０と、第１信号処理部１４０と、イメージセンサ２００と、合焦判定部１７０と、レンズ駆動部１７５とに供給する。また、制御部１２０は、位相差検出を行う際に、第１信号処理部１４０から供給された位相差検出画素の画素データから位相差検出画素の露光に適切な露光時間を算出し、この算出した露光時間を、第１同期信号生成部１３０に供給する。

なお、制御部１２０は、ライブビュー画像を表示させる場合には、ライブビュー表示を実行させるための各種の制御信号を、第２同期信号生成部１５０と、第２信号処理部１６０と、イメージセンサ２００とに供給する。また、制御部１２０は、ライブビュー表示の際には、第２信号処理部１６０から供給されたＬＶラインの画像生成画素の画素データに基づいて、ライブビュー画像の生成に適切な露光時間を算出し、この算出した露光時間を、第２同期信号生成部１５０に供給する。

第１同期信号生成部１３０は、イメージセンサ２００におけるＳＴＬラインの画素を駆動するための同期信号（ＳＴＬ同期信号）を生成するものである。この第１同期信号生成部１３０は、静止画像撮像を実行させるための制御信号が制御部１２０から供給された場合には、制御部１２０が算出した静止画像撮像のための露光時間に応じてイメージセンサ２００が駆動されるようにＳＴＬ同期信号を生成する。また、第１同期信号生成部１３０は、位相差検出を行うための制御信号が制御部１２０から供給された場合には、制御部１２０が算出した位相差検出のための露光時間に応じてイメージセンサ２００が駆動されるようにＳＴＬ同期信号を生成する。第１同期信号生成部１３０は、生成したＳＴＬ同期信号を、信号線１３１を介してイメージセンサ２００に供給する。

第１信号処理部１４０は、イメージセンサ２００におけるＳＴＬラインの画素が生成した電気信号に対して各種の信号処理を施すものである。第１信号処理部１４０は、静止画像撮像の動作の場合には、ＳＴＬラインの画像生成画素からの出力信号（画素値）に基づいて、静止画像のデータ（静止画像データ）を生成する。第１信号処理部１４０は、この生成した静止画像データを記録部１８１に供給し、記録部１８１に記憶させる。また、第１信号処理部１４０は、位相差検出によりフォーカスを調整する動作の場合には、ＳＴＬラインの位相差検出画素の画素データ（画素値）を、合焦判定部１７０に供給する。また、第１信号処理部１４０は、制御部１２０が位相差検出のための露光時間を算出する場合には、位相差検出画素の画素データを制御部１２０に供給する。なお、第１信号処理部１４０は、制御部１２０が静止画像の撮像のための露光時間を算出する際に、撮像の直前に取得したＳＴＬラインの画像生成画素の画素データがある場合には、この画素データを制御部１２０に供給する。

第２同期信号生成部１５０は、イメージセンサ２００におけるＬＶラインの画素を駆動するための同期信号（ＬＶ同期信号）を生成するものである。この第２同期信号生成部１５０は、ライブビュー画像を表示させるための制御信号が制御部１２０から供給された場合には、制御部１２０が算出したライブビュー画像の取得のための露光時間に応じてイメージセンサ２００が駆動されるようにＬＶ同期信号を生成する。また、第２同期信号生成部１５０は、生成したＬＶ同期信号を、信号線１５１を介してイメージセンサ２００に供給する。

第２信号処理部１６０は、イメージセンサ２００におけるＬＶラインの画素が生成した電気信号に対して各種の信号処理を施すものである。第２信号処理部１６０は、ライブビュー画像を表示させる場合には、イメージセンサ２００におけるＬＶラインの画像生成画素からの出力信号（画素データ）に基づいて、ライブビュー画像のデータ（ライブビュー画像データ）を生成する。第２信号処理部１６０は、この生成したライブビュー画像データを表示部１８２に供給し、表示部１８２における表示画面にライブビューを表示させる。また、第２信号処理部１６０は、制御部１２０がライブビュー画像のための露光時間を算出する場合には、ＬＶラインの画像生成画素の画素データを制御部１２０に供給する。また、第２信号処理部１６０は、制御部１２０が静止画像の撮像のための露光時間を算出する際に、撮像の直前に取得したＬＶラインの画像生成画素の画素データがある場合には、この画素データを制御部１２０に供給する。

記録部１８１は、第１信号処理部１４０から供給された画像データを画像コンテンツ（画像ファイル）として記録するものである。例えば、この記録部１８１として、ＤＶＤ（Digital Versatile Disk）等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体（１または複数の記録媒体）を用いることができる。また、これらの記録媒体は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。

表示部１８２は、第２信号処理部１６０から供給された画像データに基づいて、画像を表示するものである。この表示部１８２は、例えば、カラー液晶パネルにより実現される。この表示部１８２は、例えば、第２信号処理部１６０からライブビュー画像データが供給された場合には、表示画面にライブビュー画像を表示する。

合焦判定部１７０は、第１信号処理部１４０から供給された位相差検出画素の画素データに基づいて、フォーカスを合わせる対象の物体（合焦対象物）に対してフォーカスが合っているか否かを位相差検出により判定するものである。この合焦判定部１７０は、フォーカシングを行う領域（フォーカスエリア）における物体（合焦対象物）に対してフォーカスのズレ量（デフォーカス量）を算出し、その算出したデフォーカス量に基づいて、合焦するのに必要なフォーカスレンズ１１３の駆動量を算出する。そして、合焦判定部１７０は、フォーカスレンズ１１３の駆動量を示す情報を、レンズ駆動部１７５に供給する。

レンズ駆動部１７５は、フォーカスレンズ１１３を駆動させるものである。レンズ駆動部１７５は、合焦判定部１７０から供給されたフォーカスレンズの駆動量に基づいてフォーカスレンズ１１３を移動させ、フォーカスを合焦させる。なお、このレンズ駆動部１７５は、フォーカスが合っている場合（フォーカスレンズ１１３の駆動量が「０」）には、フォーカスレンズ１１３の現在の位置を維持させる。

［撮像装置の断面構成例］
図２は、本発明の実施の形態の撮像装置１００における撮像装置の断面構成例を模式的に示す断面図である。なお、同図では、撮像装置１００は、一眼カメラであることを想定して説明する。

同図には、撮像装置１００の断面図として、ボディ１０１と、交換レンズ１０５とが示されている。交換レンズ１０５は、撮像装置１００における着脱可能なレンズユニットであり、図１において示したレンズ部１１０に対応する。ボディ１０１は、撮像装置１００における撮像処理を行う本体であり、図１において示したレンズ部１１０以外の構成に対応する。ボディ１０１には、シャッターボタン１２６と、表示部１８２と、イメージセンサ２００とが示されている。

また、同図には、レンズ部１１０に備えられているレンズにおける光軸（光軸Ｌ１２）と、被写体光が通過する範囲を示す２つの線（線Ｌ１１およびＬ１３）とが示されている。なお、線Ｌ１１およびＬ１３に挟まれた範囲は、イメージセンサ２００に入射する光が通過する範囲を示している。

同図に示すように、撮像装置１００において、入射する被写体光は全てイメージセンサ２００に入射される。すなわち、撮像装置１００において位相差検出を行う場合には、イメージセンサ２００が生成した信号を用いて行われる。また、ライブビュー画像の生成および静止画像の生成も、イメージセンサ２００が生成した信号を用いて行われる。

［イメージセンサの基本構成例］
図３は、本発明の実施の形態におけるイメージセンサ２００の基本構成例を示すブロック図である。

イメージセンサ２００は、画素アレイ部４００と、第１制御部２１０と、第１垂直駆動回路２２０と、第１水平駆動回路２３０と、第１カラム信号処理部２４０と、第１出力バッファ２６０とを備える。さらに、イメージセンサ２００は、第２制御部３１０と、第２垂直駆動回路３２０と、第２水平駆動回路３３０と、第２カラム信号処理部３４０と、第２出力バッファ３６０とを備える。

画素アレイ部４００は、位相差検出画素および画像生成画素がアレイ状に配置されているものである。画素アレイ部４００の画素は、画素位置により、ＳＴＬラインに属する画素と、ＬＶラインに属する画素とに分類され、ＳＴＬラインに属する画素には、第１垂直選択線２７０および第１垂直信号線２８０が接続される。一方、ＬＶラインに属する画素には、第２垂直選択線３７０および第２垂直信号線３８０が接続される。なお、画素アレイ部４００における画素配置については、図４を参照して説明するため、ここでの説明を省略する。

第１制御部２１０は、第１同期信号生成部１３０から信号線１３１を介して供給されるＳＴＬ同期信号と、制御部１２０から供給されるイメージセンサ２００の制御信号とに基づいて、ＳＴＬラインに属する画素の信号の生成にかかわる各部の動作を制御するものである。すなわち、この第１制御部２１０は、第１垂直駆動回路２２０と、第１水平駆動回路２３０と、第１カラム信号処理部２４０とが動作するための各種のタイミング信号を生成するタイミングジェネレータとして機能する。

第１垂直駆動回路２２０は、ＳＴＬラインを、第１垂直選択線２７０を介して、順次垂直方向（列方向）に行単位で選択走査するものである。この第１垂直駆動回路２２０は、例えば、シフトレジスタにより構成される。

第１水平駆動回路２３０は、第１カラム信号処理部２４０における画素列ごとの回路部分を順番に選択走査するものである。この第１水平駆動回路２３０は、例えば、シフトレジスタやアドレスデコーダなどによって構成される。第１水平駆動回路２３０は、第１カラム信号処理部２４０の回路部分を順番に選択走査することにより、第１カラム信号処理部２４０において画素列ごとに信号処理された画素ごとの電気信号（以降は、ＳＴＬ画素データと称する）を、順番に第１出力バッファ２６０へ出力させる。

第１カラム信号処理部２４０は、画素アレイ部４００におけるＳＴＬラインの画素から出力されるアナログ信号に対して各種の信号処理を画素列ごとに行うものである。すなわち、第１カラム信号処理部２４０は、第１垂直駆動回路２２０により選択された行における各画素から第１垂直信号線２８０を介して出力されるアナログ信号に対して各種の信号処理を行う。例えば、第１カラム信号処理部２４０は、信号処理として、ノイズを除去するためのＣＤＳ（Correlated Double Sampling;相関二重サンプリング）処理、アナログの信号をデジタル化するためのＡＤ（Analog Digital）変換処理などを行う。第１カラム信号処理部２４０は、信号処理後の電気信号（ＳＴＬ画素データ）を、第１出力バッファ２６０に画素ごとに順次供給する。

第１出力バッファ２６０は、第１カラム信号処理部２４０から供給されるＳＴＬ画素データを増幅し、信号線１４９を介してイメージセンサ２００の外部に出力するものである。なお、第１カラム信号処理部２４０および第１出力バッファ２６０は、特許請求の範囲に記載の第１出力部の一例である。

第２制御部３１０は、第２同期信号生成部１５０から信号線１５１を介して供給されるＬＶ同期信号と、制御部１２０から供給されるイメージセンサ２００の制御信号とに基づいて、ＬＶラインに属する画素の信号の生成にかかわる各部の動作を制御するものである。すなわち、この第２制御部３１０は、第２垂直駆動回路３２０と、第２水平駆動回路３３０と、第２カラム信号処理部３４０とが動作するための各種のタイミング信号を生成するタイミングジェネレータとして機能する。

このように、第２制御部３１０は、ＬＶラインに属する画素の信号の生成にかかわる機能構成が制御対象である以外は、第１制御部２１０と同様のものである。また、第２垂直駆動回路３２０についても、ＬＶラインが選択走査対象である以外は、第１垂直駆動回路２２０と同様のものである。第２水平駆動回路３３０、第２カラム信号処理部３４０、および、第２出力バッファ３６０についても、処理対象が異なる以外は、第１水平駆動回路２３０、第１カラム信号処理部２４０、および、第１出力バッファ２６０と同様である。このため、これらの機能構成については、ここでの説明を省略する。なお、第２カラム信号処理部３４０および第２出力バッファ３６０は、特許請求の範囲に記載の第２出力部の一例である。

このように、イメージセンサ２００には、ＳＴＬラインの駆動回路と、ＬＶラインの駆動回路とが、別々に設けられている。そして、ＳＴＬラインの駆動を制御する第１制御部２１０と、ＬＶラインの駆動を制御する第２制御部３１０とは、別々の同期信号（ＳＴＬ同期信号かＬＶ同期信号）に基づいて制御を行う。すなわち、ＬＶラインの画素とＳＴＬラインの画素とは、それぞれ異なるタイミングで露光を開始し、それぞれ異なるタイミングで露光を終了することができる。

次に、画素アレイ部４００における画素配置について、図４を参照して説明する。

［イメージセンサにおける画素の配置例］
図４は、本発明の実施の形態におけるイメージセンサ２００に備えられる画素の配置の一例を示す模式図である。

図４では、左右方向をＹ軸とし、上下方向をＸ軸とするＸＹ軸を想定して説明する。また、このイメージセンサ２００における信号の読み出し方向は、Ｘ軸方向（行単位で読み出される）であるものとする。

図４では、説明の便宜上、イメージセンサ２００の画素アレイ部４００に配置される各画素のうちの一部の画素の領域（領域４１０）を用いて画素の配置を説明する。なお、画素アレイ部４００における画素の配置は、領域４１０において示すような画素配置がＸ軸方向およびＹ軸方向に繰り返されるような配置である。

この領域４１０には、第２制御部３１０により制御される行（ＬＶライン）として、５行間隔の画像生成画素のみの行（ＬＶラインＬ２１乃至Ｌ２５）が示されている。また、この領域４１０には、第１制御部２１０により制御される複数の行（ＳＴＬライン）として、列方向に連続している複数のＳＴＬラインを示すライン群（ＳＴＬライン群Ｌ１１乃至Ｌ１６）が示されている。なお、このＳＴＬライン群Ｌ１１乃至Ｌ１６には、画像生成画素のみが配置されるＳＴＬラインと、位相差検出画素および画像生成画素が配置されるＳＴＬラインとが示されている。

図４では、１つの画素を１つの正方形で示す。なお、図４において、画像生成画素については、備えられるカラーフィルタを表す符号（Ｒ、Ｇ、Ｂ）を内に示した正方形により示す。すなわち、Ｒ画素４２１は、赤色（Ｒ）の光を透過するカラーフィルタにより赤色の光を受光する画素（Ｒ画素）を示し、Ｂ画素４２３は、青色（Ｂ）の光を透過するカラーフィルタにより青色の光を受光する画素（Ｂ画素）を示す。また、Ｇ画素４２２は、緑色（Ｇ）の光を透過するカラーフィルタにより緑色の光を受光する画素（Ｇ画素）を示す。

また、位相差検出画素については、白色の矩形が付加された灰色の正方形により示す。なお、位相差検出画素における白色の矩形については、入射光が受光素子により受光される側（瞳分割を行うための遮光層に覆われていない側）を示す。

ここで、図４において示されている位相差検出画素（右開口位相差検出画素４３１、左開口位相差検出画素４３２）について説明する。

右開口位相差検出画素４３１は、右開口位相差検出画素４３１のマイクロレンズに入射する被写体光のうち射出瞳の右側を通過した被写体光を遮光するように遮光層が形成される位相差検出画素である。すなわち、この右開口位相差検出画素４３１は、射出瞳の左右（Ｘ軸方向の＋−側）に瞳分割された光のうちの右側（Ｘ軸方向の＋側）の光を遮光し、左側（Ｘ軸方向の−側）の瞳分割された光を受光する。

左開口位相差検出画素４３２は、左開口位相差検出画素４３２のマイクロレンズに入射する被写体光のうち射出瞳の左側を通過した被写体光を遮光するように遮光層が形成される位相差検出画素である。すなわち、この左開口位相差検出画素４３２は、射出瞳の左右（Ｘ軸方向の＋−側）に瞳分割された光のうちの左側（Ｘ軸方向の−側）の光を遮光し、右側（Ｘ軸方向の＋側）の瞳分割された光を受光する。また、左開口位相差検出画素４３２は、右開口位相差検出画素４３１と対に用いられることで、一対の像を形成する。

ここで、イメージセンサ２００における画素の配置について説明する。

領域４１０に示すように、イメージセンサ２００の画素配置は、画像生成画素のみが配置される行（ライン）と、画像生成画素および位相差検出画素が配置される行（ライン）とから構成される。画像生成画素および位相差検出画素の行は、読み出し方向（行方向）に対して直行する方向（列方向）において所定間隔ごとに配置され（図４では１０行ごと）、その他の行には画像生成画素のみの行が配置される。また、カラーフィルタの配置がベイヤー配列となるように画像生成画素が配置される。

なお、画像生成画素および位相差検出画素が配置される行では、Ｇ画素４２２とＢ画素４２３とが列方向に交互に配置されている中で、一部のＢ画素４２３の代わりに、右開口位相差検出画素４３１および左開口位相差検出画素４３２のいずれかが配置される。そして、右開口位相差検出画素４３１および左開口位相差検出画素４３２は、瞳分割を精度良く行うために、この２つの画素の間隔（この２つの画素に挟まれて配置される画像生成画素の数）が小さくなるように配置される（図４では、１つのＧ画素４２２を挟んで配置）。

このような画素の配置のイメージセンサ２００において、画像生成画素のみが配置される行のうちの所定間隔置きの行が、第２制御部３１０により制御される行（ＬＶライン）とされる。すなわち、この第２制御部３１０により制御されるＬＶラインの画素には、第２垂直選択線３７０および第２垂直信号線３８０が接続される。なお、ＬＶラインのみでベイヤー配置とするため、ＬＶラインの間隔には奇数が設定される。

ＬＶライン以外の行は、第１制御部２１０により制御される行（ＳＴＬライン）とされ、第１垂直選択線２７０および第１垂直信号線２８０が接続される。なお、画像生成画素および位相差検出画素が両方ともに配置される行は、図４では、ライブビューの表示に近い合焦判定結果を取得するために、ＬＶラインに近接した位置に配置される。図４では、２行ごとのＬＶラインの下側（Ｙ軸方向の−側）に隣接する行が、画像生成画素および位相差検出画素が配置される行として配置されている。

次に、画素配置と各信号線との間の関係に着目してイメージセンサ２００の画素配置を説明する。

図５は、本発明の実施の形態におけるイメージセンサ２００に備えられる画素と、各画素に接続される信号線との関係を模式的に示す図である。

なお、図５では、図４において示した画素のさらに一部の領域（１０行×６列）を用いて説明する。

この図５では、画素が点線の枠の正方形で示され、図４と同様に、画像生成画素にはカラーフィルタを表す符号が付加されており、位相差検出画素には灰色の下地に開口側を示す白色の矩形が付加されている。なお、ＬＶラインの画素は、枠内に細かい点を付して示している。

また、図５では、第１垂直選択線２７０と、第１垂直信号線２８０と、第２垂直選択線３７０と、第２垂直信号線３８０とが示されている。そして、各信号線と各画素との接続が、各信号線上に付した黒点により模式的に示されている。

図５に示すように、ＬＶラインの画素には第２垂直選択線３７０および第２垂直信号線３８０が接続され、ＳＴＬラインの画素には第１垂直選択線２７０および第１垂直信号線２８０が接続される。このため、ＬＶラインの画素とＳＴＬラインの画素とを独立して駆動することができる。

［ライブビュー表示動作と静止画像撮像動作との関係例］
図６は、本発明の実施の形態の撮像装置１００を用いて静止画像を撮像する際におけるライブビュー表示動作と静止画像撮像動作との関係の一例を模式的に示すタイミングチャートである。

このタイミングチャートには、横軸を共通の時間軸として、ＬＶラインの画素の出力を用いて行われるライブビュー表示動作と、ＳＴＬラインの画素の出力を用いて行われる静止画撮像動作とが示されている。

ライブビュー表示動作としては、信号線１５１の電位の遷移（パルスがＬＶ同期信号）と、ＬＶラインにおける画素の露光タイミング（露光期間）と、信号線１６９を介して出力されるＬＶ画素データの転送タイミング（転送期間）とが示されている。また、ライブビュー表示動作として、表示部１８２に表示されるライブビュー画像の表示タイミング（表示期間）が示されている。

静止画撮像動作としては、信号線１３１の電位の遷移（パルスがＳＴＬ同期信号）と、ＳＴＬラインにおける画素の露光タイミング（露光期間）と、信号線１４９を介して出力されるＳＴＬ画素データの転送タイミング（転送期間）とが示されている。また、静止画撮像動作として、記録部１８１に記録される静止画像の記録タイミング（記録期間）が示されている。

また、図６には、表示されたライブビュー画像に基づいて撮像画像の構図をユーザーが決定している期間（ライブビュー期間）を示す両矢印（期間５３１および５３３）と、撮像装置が静止画像を生成している期間（画像生成期間）を示す両矢印（期間５３２）とが示されている。なお、図６では、ライブビュー期間におけるフォーカス調整は考慮せずに、静止画像の撮像に着目して説明する。なお、位相差検出画素を用いたフォーカス調整については、図７を参照して説明する。

ここで、ライブビュー表示動作について説明する。例えば、ライブビュー画像の表示速度が６０ｆｐｓと設定されている場合において、被写体光の光量が十分である場合には、１／６０秒おきにＬＶ同期信号が第２制御部３１０に供給される。そしてこの同期信号に基づいてＬＶラインの画素が駆動される。

露光によりＬＶラインの画素において生じた画素データ（ＬＶ画素データ）は、信号線１６９を介して第２信号処理部１６０へ読み出され、表示期間５１３において表示部１８２に表示される。なお、図６の露光期間５１１はこの露光の期間に対応し、転送期間５１２はこの読み出しの期間に対応する。このような動作が、ＳＴＬラインの画素を用いて行われる静止画撮像動作と無関係に繰り返される。

すなわち、ライブビュー画像の表示速度が６０ｆｐｓの場合には、静止画撮像動作が行われている最中でも６０ｆｐｓを維持してライブビュー画像が表示される。また、ＬＶラインには位相差検出画素が配置されていないため、ライブビュー画像の生成の際には、位相差検出画素の位置の画素値の補間処理は不要である。このため、綺麗なライブビュー画像を迅速に生成することができる。

次に、静止画撮像動作について説明する。シャッターボタンが押下されると、制御部１２０からのイメージセンサ２００の制御信号により、第１制御部２１０は、ＳＴＬラインの読み出し対象の行の設定を静止画撮像用に設定する。例えば、ＳＴＬラインの全画素を読み出して静止画像を撮像する場合には、ＳＴＬラインの全画素の読み出しを行うように、第１垂直駆動回路２２０と、第１水平駆動回路２３０と、第１カラム信号処理部２４０との動作が設定される。すなわち、全てのＳＴＬラインが、読み出対象の行に設定される。そして、第１同期信号生成部１３０からＳＴＬ同期信号が第１制御部２１０に供給され、ＳＴＬラインの画素の露光が開始される。そして、制御部１２０が算出した静止画像撮像用の露光時間の後に、再びＳＴＬ同期信号が供給され、露光が終了する。

その後、露光によりイメージセンサ２００において生じた画素データ（ＳＴＬ画素データ）は、信号線１４９を介して第１信号処理部１４０へ読み出され、記録部１８１に記録される。図６の露光期間５２１はこの露光の期間に対応し、転送期間５２２はこの読み出しの期間に対応する。また、記録期間５２３は記録部１８１への記録の期間に対応する。なお、第１信号処理部１４０における画像処理では、ＬＶラインの画素値と位相差検出画素の画素値とが、一般的な欠陥画素補正により補間されて、画像が生成される。なお、ＬＶラインの位置の画素データは、第１カラム信号処理部２４０がダミーデータを出力するようにすると、第１信号処理部１４０において行われる補間処理が容易になる。

図６に示すように、イメージセンサ２００では、ＬＶラインとＳＴＬラインとを別々に駆動できる。このため、互いの動作タイミングへの干渉がなく、静止画像の撮像中（図６の期間５３２）も途切れることなくライブビューを表示し続けることができる。

次に、位相差検出によりフォーカス調整を行う場合について、図７を参照して説明する。

［ライブビュー表示動作と位相差検出動作との関係例］
図７は、本発明の実施の形態の撮像装置１００においてフォーカス調整を行う際におけるライブビュー表示動作と位相差検出動作との関係の一例を模式的に示すタイミングチャートである。

このタイミングチャートには、横軸を共通の時間軸として、ＬＶラインの画素の出力を用いて行われるライブビュー表示動作と、ＳＴＬラインの画素の出力を用いて行われる位相差検出動作とが示されている。

なお、ライブビュー表示動作については、図６において示したものと同様のものであるため、ここでの説明を省略する。

位相差検出動作としては、信号線１３１の電位の遷移（パルスがＳＴＬ同期信号）と、ＳＴＬラインにおける画素の露光タイミング（露光期間）と、信号線１４９を介して出力されるＳＴＬ画素データの転送タイミング（転送期間）とが示されている。また、位相差検出動作として、位相差検出処理によりデフォーカス量が算出されるタイミング（検出期間）と、この算出されたデフォーカス量から求められるレンズ駆動量ほどフォーカスレンズが駆動されるタイミング（駆動期間）とが示されている。なお、フォーカスレンズの駆動タイミングは、説明の便宜上、図７では一定の期間として示すが、実際の駆動量のサイズにより時間長が個々に異なる。

ここで、位相差検出動作について説明する。位相差検出によるフォーカス調整を行う場合には、制御部１２０は、ＳＴＬラインの読み出し対象行の設定を位相差検出用に設定させる。例えば、フォーカスを合わせる対象物（合焦対象物）が撮像されるＳＴＬラインのうちの位相差検出画素が配置されているラインが読み出し対象のラインとなるように、第１垂直駆動回路２２０と、第１水平駆動回路２３０と、第１カラム信号処理部２４０との動作が設定される。このように、位相差検出を行う場合には、ＳＴＬラインのうちの位相差検出画素が含まれるラインのみが駆動されるように設定される。

そして、第１同期信号生成部１３０は、制御部１２０が算出した位相差検出に適切な露光時間に基づいてＳＴＬ同期信号の供給間隔を設定し、位相差検出を行うタイミングでＳＴＬ同期信号を第１制御部２１０に供給する。これにより、ＳＴＬラインの画素の露光が、位相差検出用の露光時間で繰り返される。なお、図７では、被写体の光量が多いため短い時間の露光時間が設定され、この露光時間の撮像で繰り返し位相差検出が行われている区間（区間５６１）が示されている。また、図７では、被写体の光量が少ないため長い露光時間が設定され、この露光時間の撮像で繰り返し位相差検出が行われている区間（区間５６２）が示されている。

露光で読み出し対象のＳＴＬラインの画素において生じた画素データ（ＳＴＬ画素データ）は、信号線１４９を介して第１信号処理部１４０へ読み出される。図７の露光期間５５１はこの露光の期間に対応し、転送期間５５２はこの読み出しの期間に対応する。なお、読み出し対象のＳＴＬラインのライン数が少ないため、転送期間５５２は、図６の転送期間５２２より時間長が短くなる。

そして、位相差検出画素の出力（画素値）のみが合焦判定部１７０に供給され、位相差検出画素の画素値から算出されたデフォーカス量に基づいて、合焦に必要なフォーカスレンズの駆動量が合焦判定部１７０により算出される。そして、この駆動量に基づいてフォーカスレンズ１１３が駆動されてフォーカスが合焦する。図７の検出期間５５３は、位相差検出画素の出力に基づいてフォーカスレンズの駆動量が算出される期間に対応し、駆動期間５５４は、フォーカスレンズ１１３の駆動期間に対応する。

このように、ＬＶラインとＳＴＬラインとを別々に駆動できるため、ライブビュー画像の露光の時間長と、位相差検出画素の露光の時間長とを別々に設定しながら、ライブビュー画像用の画素値と、位相差検出用の画素値とを同時に取得することができる。

［撮像装置の動作例］
次に、本技術の実施の形態における撮像装置１００の動作について図面を参照して説明する。なお、図８では、ＬＶラインの画素の駆動によるライブビュー画像の表示の動作例について説明し、図９では、ＳＴＬラインの画素の駆動による位相差検出および静止画像撮像の動作例について説明する。

図８は、本技術の実施の形態における撮像装置１００によるＬＶラインの画素の駆動によるライブビュー画像の表示処理が行われる際の処理手順例を示すフローチャートである。

まず、ライブビュー画像の表示を開始するか否かが、制御部１２０により判断される（ステップＳ９０１）。そして、ライブビュー画像の表示を開始しないと判断された場合には、ライブビュー画像の表示を開始するまで待機する。例えば、撮像装置１００の電源をＯＮにしたものの、撮像を行わずに、既に撮像した画像の再生動作を行う場合には、ライブビュー画像の表示を開始しないと判断される。

一方、ライブビュー画像の表示を開始すると判断された場合には（ステップＳ９０１）、ＬＶラインの画素の露光時間が、制御部１２０により設定される（ステップＳ９０２）。続いて、その設定されたＬＶラインの画素の露光時間に基づいてＬＶ同期信号が第２同期信号生成部１５０により生成され、イメージセンサ２００におけるＬＶラインの画素の露光がＬＶ同期信号に基づいて露光処理される（ステップＳ９０３）。

その後、ＬＶラインの画素が生成した画素データ（ＬＶ画素データ）に基づいて、ライブビュー画像が第２信号処理部１６０により生成され（ステップＳ９０４）、その生成されたライブビュー画像が表示部１８２に表示される（ステップＳ９０５）。続いて、ライブビュー表示を継続するか否かが、制御部１２０により判断される（ステップＳ９０６）。そして、ライブビュー表示を継続しないと判断された場合には（ステップＳ９０６）、ＬＶラインの画素の駆動によるライブビュー画像表示処理手順は終了する。例えば、撮像動作を終了する場合には、ライブビュー表示を継続しないと判断される。

一方、ライブビュー画像の表示を継続すると判断された場合には（ステップＳ９０６）、ＬＶラインの露光時間の変更の必要があるか否かが、制御部１２０により判断される（ステップＳ９０７）。そして、ＬＶラインの露光時間の変更の必要があると判断された場合には（ステップＳ９０７）、ステップＳ９０２に戻り、露光時間が再設定された後に、ライブビュー表示が継続される。

なお、ＬＶラインの露光時間の変更の必要がないと判断された場合には（ステップＳ９０７）、ステップＳ９０３に戻り、ライブビュー表示が継続される。

図９は、本技術の実施の形態における撮像装置１００によるＳＴＬラインの画素の駆動による位相差検出または静止画像撮像が行われる際の処理手順例を示すフローチャートである。

まず、位相差検出用の撮像を開始するか否かが、制御部１２０により判断される（ステップＳ９１１）。そして、位相差検出用の撮像を開始しないと判断された場合には（ステップＳ９１１）、ステップＳ９１８に進む。

一方、ステップＳ９１１において、位相差検出用の撮像を開始すると判断された場合には（ステップＳ９１１）、ＳＴＬラインの画素の露光時間が、制御部１２０により設定される（ステップＳ９１２）。その後、ＳＴＬラインのうちの位相差検出画素が配置されているラインが、位相差検出用の撮像の読み出し対象ラインとして設定される（ステップＳ９１３）。なお、このステップＳ９１３において、合焦対象物が撮像されているＳＴＬラインのうちの位相差検出画素が配置されているラインを読み出しラインとして設定することにより、読み出しライン数を少なくすることができる。

続いて、設定されたＳＴＬラインの画素の露光時間に基づいてＳＴＬ同期信号が第１同期信号生成部１３０により生成され、イメージセンサ２００におけるＳＴＬラインの画素がＳＴＬ同期信号に基づいて露光処理される（ステップＳ９１４）。次に、この露光により位相差検出画素が生成した画素データが合焦判定部１７０に供給されて、デフォーカス量を算出する合焦判定処理が合焦判定部１７０により行われる（ステップＳ９１５）。そして、算出されたデフォーカス量に基づいてフォーカスレンズ１１３が駆動されるフォーカスレンズ駆動処理が行われ（ステップＳ９１６）、ステップＳ９２４に進む。なお、ステップＳ９１２乃至ステップＳ９１６が行われる際には、図８に示した動作例のようにＬＶラインの画素が駆動されているため、ライブビュー画像の生成および表示が同時に行われている。なお、ステップＳ９１４は、特許請求の範囲に記載の第１制御手順の一例である。

また、ステップＳ９１１において位相差検出用の撮像を開始しないと判断された場合には、静止画像撮用の撮像を開始するか否かが、制御部１２０により判断される（ステップＳ９１８）。ここで、静止画像撮像用の撮像を開始しないと判断された場合には（ステップＳ９１８）、ステップＳ９１１に戻り、位相差検出用の撮像または静止画像撮像用の撮像のいずれかを開始するまで待機する。

一方、静止画像撮像用の撮像を開始すると判断された場合には（ステップＳ９１８）、ＳＴＬラインの画素の露光時間が、制御部１２０により設定される（ステップＳ９１９）。その後、全てのＳＴＬラインが、静止画像撮像用の撮像における読み出し対象ラインとして設定される（ステップＳ９２０）。続いて、設定されたＳＴＬラインの画素の露光時間に基づいてＳＴＬ同期信号が第１同期信号生成部１３０により生成され、イメージセンサ２００におけるＳＴＬラインの画素がＳＴＬ同期信号に基づいて露光処理される（ステップＳ９２１）。なお、ステップＳ９２１は、特許請求の範囲に記載の第２制御手順の一例である。

その後、ＳＴＬラインの画素が生成した画素データ（ＳＴＬ画素データ）に基づいて、記録用の静止画像が第１信号処理部１４０により生成される（ステップＳ９２２）。そして、その生成された静止画像が記録部１８１に記録される（ステップＳ９２３）。なお、ステップＳ９１９乃至ステップＳ９２３が行われる際には、図８に示した動作例のようにＬＶラインの画素が駆動されているため、ライブビュー画像の生成および表示が同時に行われている。

続いて、ＳＴＬラインの画素の撮像動作を終了するか否かが、制御部１２０により判断される（ステップＳ９２４）。そして、ＳＴＬラインの画素の撮像動作を終了すると判断された場合には（ステップＳ９２４）、ＳＴＬラインの画素の撮像処理手順は終了する。例えば、撮像装置１００の動作モードが、撮像用のモードから画像の再生用のモードに切り替わった場合には、撮像動作を終了すると判断される。

一方、ＳＴＬラインの画素の撮像動作を終了しないと判断された場合には（ステップＳ９２４）、ステップＳ９１１に戻り、位相差検出用の撮像または静止画像撮像用の撮像のいずれかが行われる。

＜２．変形例＞
本技術の実施の形態では、ライブビュー用の露光と静止画像用の露光とを１枚のイメージセンサにおいて独立して設定することができる例について説明した。また、このイメージセンサでは、ライブビュー用の露光を行う画素のライン（ＬＶライン）には位相差検出画素が配置されておらず、静止画像用の露光を行う画素のライン（ＳＴＬライン）に位相差検出画素が配置されている。このため、ライブビューに適切な露光時間でライブビュー画像を生成しながら、位相差検出画素に適切な露光時間で位相差検出用の画素値を生成させることができる。

なお、静止画像を撮像している最中にもライブビュー用の画像を撮像できるため、連写を行ったとしても、連写中にライブビュー表示が固まらない（ブラックアウトしない）。これにより、連写中にライブビュー表示を確認したいユーザーに対してはライブビュー表示が固まらない恩恵がある。しかしながら、ライブビュー表示が固まらずに撮像した画像を確認できないことは、連写中に撮像画像を確認したいユーザーに対しては不便となる可能性がある。

そこで、連写中に、ライブビュー画像とともに連写で撮像した画像を時系列順に表示し、ライブビュー画像と撮像画像との両方をユーザーが容易に確認できる表示の一例について、本技術の実施の形態の変形例として、図１０を参照して説明する。

［連写中の表示例］
図１０は、本技術の実施の形態の変形例として、ライブビュー画像と撮像画像との両方を連写中に容易に確認できる表示の一例を模式的に示す図である。

図１０には、時間軸を示す軸とともに、連写により撮像された撮像画像（記録画像）を示す４枚の画像（画像６１１乃至６１４）と、連写中に表示された３つの表示画面（画面６２０、画面６３０、画面６４０）とが示されている。

なお、画面６２０は、画像６１１の撮像から画像６１２の撮像までに表示された表示画面であり、画面６３０は、画像６１２の撮像から画像６１３の撮像までに表示された表示画面である。そして、画面６４０は、画像６１３の撮像から画像６１４の撮像までに表示された表示画面である。

この変形例では、連写中にライブビュー表示とともに、それまでに撮像した画像が時系列順に表示される。なお、それまでに撮像した画像は、ライブビュー画像を邪魔しないように、小さく表示されている。また、それまでに撮像した画像は、撮像関係（撮像順序）がユーザーに分かりやすいように、時間軸を示すマークとともに表示される。なお、図１０では、時間軸を示すマークの一例として、現時刻を矢印の先端部分とし、連写開始時を矢印の後端部分とする矢印が示されている。

画面６２０には、画面６２０が示すライブビュー表示より前に連写で撮像された記録画像（画像６１１）が表示されている表示領域（記録画像表示領域６２１）と、現時刻を先端部分とする矢印（矢印表示領域６２５）とが示されている。なお、画像６１１は連写の１枚目であるため、記録画像表示領域６２１は、矢印表示領域６２５における矢印の後端部分の位置と対応付けられて示されている。

画面６３０には、画面６３０が示すライブビュー表示より前に連写で撮像された２枚の記録画像（画像６１１および６１２）が表示されている表示領域（記録画像表示領域６３１および６３２）と、現時刻を先端部分とする矢印（矢印表示領域６３５）とが、ライブビュー表示とともに示されている。１枚目の画像（画像６１１）を表示している記録画像表示領域６３１は、矢印表示領域６２５における矢印の後端部分の位置と対応付けられて示されている。また、２枚目の画像（画像６１２）を表示している記録画像表示領域６３２は、矢印表示領域６２５の矢印の後端部分と先端部分との間の位置に対応付けられて示されている。

画面６４０には、画面６２０および画面６３０と同様に、連写によりそれまでに撮像された記録画像を示す表示領域（記録画像表示領域６４１乃至６４２）と、現時刻を先端部分とする矢印（矢印表示領域６４５）とが、ライブビュー表示とともに示されている。

このように、ライブビュー画像が表示されながら、連写により撮像された記録画像が時系列順に表示される。なお、連写により撮像される記録画像の枚数が多い場合には、古い記録画像から順に表示させなくしたり、１枚当たりの表示サイズを小さくして多く記録画像を表示したりすることが考えられる。また、連写により撮像される記録画像の枚数が多い場合には、記録画像を重ねて表示して表示スペースを稼ぐことも考えられる。そこで、図１１では、記録画像を重ねて表示する場合の一例について説明する。

図１１は、本技術の実施の形態の変形例におけるライブビュー画像中の記録画像の表示において複数の記録画像を重ねて表示する場合の一例を模式的に示す図である。

図１１ａでは、ライブビュー画像において、連写により撮像した記録画像を全て表示できない時に重ねて表示する例が示されている。ここでは、図１０の画面６４０に示すように３枚の記録画像しか全体を表示できないことを想定して説明する。表示６６１に示すように、ライブビュー画像における記録画像の表示が枚数の上限である時に、さらに撮像された場合には、表示６６２に示すように記録画像が重ねて表示される。これにより、多くの記録画像を表示することができる。なお、図１１ａでは、枚数の上限を超えてから重ねて表示する例について説明したが、最初から画像を重ねて表示する場合も考えられる。

図１１ｂでは、撮像タイミングに応じて画像サイズを縮小して表示する例が示されている。表示６７１乃至表示６７３に示すように、撮像タイミングの最も古い記録画像が最も小さく表示され、撮像タイミングが最も新しい記録画像の表示が最も大きくなるように表示される。なお、この図１１ｂの場合についても、図１１ａと同様に、記録画像の表示が枚数の上限に達してから画像を重ねて示すようにすることも、また、サイズの異なる記録画像の表示を重ねないように表示することも考えられる。

なお、図１１ｂの場合には、撮像タイミングの最も古い記録画像を最も小さく表示するため、１番最初（１枚目）の記録画像が確認しにくくなる。このため、１枚目の記録画像についてはサイズの縮小や表示の重ね合わせをしないようにすることで、サイズの縮小や表示の重ね合わせをする場合においても、１枚目の記録画像と最新の記録画像とが比較できるように表示することも考えられる。

なお、本技術の実施の形態では、ライブビュー画像が静止しないため、連写における露光タイミングがユーザーにわかりにくい。そこで、露光期間中であることを示すマーク（例えば、枠）をライブビュー表示において表示することも考えられる。

このように、本技術の実施の形態によれば、静止画像用の撮像とライブビュー画像用の撮像とをそれぞれに適切な露光時間で同時に行うことができるとともに、ライブビュー画像用の撮像と位相差検出用の撮像とをそれぞれに適切な露光時間で同時に行うことができる。これにより、静止画撮影中に途切れずにライブビュー表示が可能になり、被写体の補足を容易にすることができる。特に、連写中においてもライブビューが可能となり、１枚のイメージセンサしか備えていない撮像装置においても、連写中の被写体補足を可能にすることができる。また、本技術の実施の形態によれば、位相差検出に適した露光時間およびタイミング（ユーザーがフォーカス調整を行いたいタイミングや、フォーカスレンズの駆動終了時）で位相差検出画素データを得ることができる。このため、検波精度や検波速度が向上し、合焦精度や合焦速度を向上させることができる。

また、本技術の実施の形態では、ＬＶラインに位相差検出画素を配置しないため、ライブビュー画像を生成する際には位相差検出画素の位置のデータの補間が不要となる。このため、画像生成画素と位相差検出画素とを同時に読み出して位相差検出画素の位置の画素データを補完する場合と比較すると、高画質なライブビュー画像を生成することができる。すなわち、高画質なライブビュー画像の生成と、位相差検出に適した露光時間で露光させた位相差検出画素の画素値による高精度な位相差検出とを両立させることが可能となる。

すなわち、本技術の実施の形態によれば、高画質なライブビュー画像と高精度な位相差検出とを両立させることができる。

なお、本技術の実施の形態では、説明の便宜上、右開口位相差検出画素と左開口位相差検出画素との対（ペア）のみが位相差検出画素として配置される例を示したが、これに限定されるものではない。射出瞳の上下（Ｙ軸方向の＋−側）に瞳分割する位相差検出画素（上開口位相差検出画素、下開口位相差検出画素）の対を配置することも考えられる。この上下に瞳分割する位相差検出画素を配置する場合には、画像の列方向のズレを検出できるように、列方向において１列に並ぶように配置される。なお、右開口位相差検出画素と左開口位相差検出画素との対と、上開口位相差検出画素と下開口位相差検出画素との対との両方を配置することにより、一方で位相差が検出しにくい場合に他方で補えるため、位相差による検出の精度を向上させることができる。このような場合においても、２つの駆動回路を設け、ライブビュー側のライン（ＬＶライン）には位相差検出画素を設けないことにより、本技術の実施の形態と同様に実施することができる。

なお、本技術の実施の形態では、画像生成画素に備えられるカラーフィルタが３原色（ＲＧＢ）のカラーフィルタであることを想定して説明したが、これに限定されるものではない。例えば、画像生成画素に補色のカラーフィルタが備えられる場合においても、同様に適用できる。また、１つの画素の領域で可視光領域の波長の光を全て検出する画素（例えば、青色用の画素、緑色用の画素、赤色用の画素が光軸方向に重ねて配置されている撮像素子）が画像生成画素である場合においても、本技術の実施の形態は同様に適用できる。

また、本技術の実施の形態では、位相差検出画素は、２つに瞳分割された光の一方を受光することを想定して説明したが、これに限定されるものではない。例えば、瞳分割用遮光層を備えずに２つの受光素子を備え、瞳分割された光をそれぞれの受光素子で受光することができる位相差検出画素の場合においても、本技術の実施の形態を適用することができる。また、瞳分割用遮光層を備えずに半分の大きさの受光素子を備え、瞳分割された光の一方をその半分の大きさの受光素子で受光することができる位相差検出画素の場合においても、同様に実施することができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ハードディスク、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

なお、本技術は以下のような構成もとることができる。
（１） 位相差検出または記録画像の生成のための第１同期信号に基づいて駆動される画像生成画素である第１画像生成画素と、前記第１同期信号に基づいて駆動される位相差検出画素と、ライブビュー画像を生成するための同期信号であって前記第１同期信号とは異なる第２同期信号に基づいて駆動されて前記第１画像生成画素よりも数が少ない画像生成画素である第２画像生成画素とにより構成される画素アレイ部と、
前記第１画像生成画素および前記位相差検出画素の画素データを外部へ出力する第１出力部と、
前記第２画像生成画素の画素データを外部へ出力する第２出力部と
を具備する撮像素子。
（２） 前記画素アレイ部は、前記第２画像生成画素のみにより構成される第１ラインと、前記第１画像生成画素および前記位相差検出画素により構成される第２ラインと、前記第１画像生成画素のみにより構成される第３ラインとが配置され、前記第２ラインと第３ラインとの合計数は前記第１ラインの数より多い前記（１）に記載の撮像素子。
（３） 前記画素アレイ部は、前記第１ラインが奇数ラインおきに配置され、他のラインに前記第２ラインおよび前記第３ラインのいずれかが配置される前記（２）に記載の撮像素子。
（４） 前記第２ラインは、前記第１ラインに隣接して配置される前記（２）または（３）に記載の撮像素子。
（５） 位相差検出または記録画像の生成のための第１同期信号に基づいて駆動される画像生成画素である第１画像生成画素と、前記第１同期信号に基づいて駆動される位相差検出画素と、ライブビュー画像を生成するための同期信号であって前記第１同期信号とは異なる第２同期信号に基づいて駆動されて前記第１画像生成画素よりも数が少ない画像生成画素である第２画像生成画素とにより構成される画素アレイ部と、前記第１画像生成画素および前記位相差検出画素の画素データを外部へ出力する第１出力部と、前記第２画像生成画素の画素データを外部へ出力する第２出力部とを備える撮像素子と、
前記第２画像生成画素が配置されているラインを駆動させて前記第２出力部が出力する前記画素データを生成させるとともに、前記位相差検出を行う場合には、前記位相差検出画素が配置されているラインを駆動させて前記第１出力部が出力する前記画素データを生成させ、前記記録画像の生成を行う場合には、前記第１画像生成画素が配置されているラインを駆動させて前記第１出力部が出力する前記画素データを生成させる制御を行う制御部と
を具備する撮像装置。
（６） 前記位相差検出を行う場合には、前記位相差検出に応じた露光時間に基づいて前記第１同期信号を生成し、前記記録画像の生成を行う場合には、前記記録画像の生成に応じた露光時間に基づいて前記第１同期信号を生成する第１同期信号生成部と、
前記ライブビュー画像の生成に応じた露光時間に基づいて前記第２同期信号を生成する第２同期信号生成部と
をさらに具備する前記（５）に記載の撮像装置。
（７） 前記制御部は、連写の際に前記ライブビュー画像を表示部に表示させる場合には、前記連写の際に生成された前記記録画像の縮小画像を前記ライブビュー画像とともに表示する前記（５）または（６）に記載の撮像装置。
（８） 位相差検出または記録画像の生成のための第１同期信号に基づいて駆動される画像生成画素である第１画像生成画素と、前記第１同期信号に基づいて駆動される位相差検出画素と、ライブビュー画像を生成するための同期信号であって前記第１同期信号とは異なる第２同期信号に基づいて駆動されて前記第１画像生成画素よりも数が少ない画像生成画素である第２画像生成画素とにより構成される画素アレイ部と、前記第１画像生成画素および前記位相差検出画素の画素データを外部へ出力する第１出力部と、前記第２画像生成画素の画素データを外部へ出力する第２出力部とを備える撮像素子における前記第２画像生成画素が配置されているラインを駆動させた前記ライブビュー画像の生成とともに、前記位相差検出を行う場合には、前記位相差検出画素が配置されているラインを駆動させて前記位相差検出に用いる前記画素データを生成させる制御を行う第１制御手順と、
前記撮像素子における前記第２画像生成画素が配置されているラインを駆動させた前記ライブビュー画像の生成とともに、前記記録画像の生成を行う場合には、前記第１画像生成画素が配置されているラインを駆動させて前記記録画像の生成に用いる前記画素データを生成させる制御を行う第２制御手順と
を具備する撮像方法。
（９） 位相差検出または記録画像の生成のための第１同期信号に基づいて駆動される画像生成画素である第１画像生成画素と、前記第１同期信号に基づいて駆動される位相差検出画素と、ライブビュー画像を生成するための同期信号であって前記第１同期信号とは異なる第２同期信号に基づいて駆動されて前記第１画像生成画素よりも数が少ない画像生成画素である第２画像生成画素とにより構成される画素アレイ部と、前記第１画像生成画素および前記位相差検出画素の画素データを外部へ出力する第１出力部と、前記第２画像生成画素の画素データを外部へ出力する第２出力部とを備える撮像素子における前記第２画像生成画素が配置されているラインを駆動させた前記ライブビュー画像の生成とともに、前記位相差検出を行う場合には、前記位相差検出画素が配置されているラインを駆動させて前記位相差検出に用いる前記画素データを生成させる制御を行う第１制御手順と、
前記撮像素子における前記第２画像生成画素が配置されているラインを駆動させた前記ライブビュー画像の生成とともに、前記記録画像の生成を行う場合には、前記第１画像生成画素が配置されているラインを駆動させて前記記録画像の生成に用いる前記画素データを生成させる制御を行う第２制御手順と
をコンピュータに実行させるプログラム。

１００ 撮像装置
１１０ レンズ部
１１１ ズームレンズ
１１２ 絞り
１１３ フォーカスレンズ
１２０ 制御部
１２５ 操作受付部
１３０ 第１同期信号生成部
１４０ 第１信号処理部
１５０ 第２同期信号生成部
１６０ 第２信号処理部
１７０ 合焦判定部
１７５ レンズ駆動部
１８１ 記録部
１８２ 表示部
２００ イメージセンサ
２１０ 第１制御部
２２０ 第１垂直駆動回路
２３０ 第１水平駆動回路
２４０ 第１カラム信号処理部
２６０ 第１出力バッファ
３１０ 第２制御部
３２０ 第２垂直駆動回路
３３０ 第２水平駆動回路
３４０ 第２カラム信号処理部
３６０ 第２出力バッファ

Claims (9)

1. 位相差検出または記録画像の生成のための第１同期信号に基づいて駆動される画像生成画素である第１画像生成画素と、前記第１同期信号に基づいて駆動される位相差検出画素と、ライブビュー画像を生成するための同期信号であって前記第１同期信号とは異なる第２同期信号に基づいて駆動されて前記第１画像生成画素よりも数が少ない画像生成画素である第２画像生成画素とにより構成される画素アレイ部と、
   前記第１画像生成画素および前記位相差検出画素の画素データを外部へ出力する第１出力部と、
   前記第２画像生成画素の画素データを外部へ出力する第２出力部と
   を具備する撮像素子。
2. 前記画素アレイ部は、前記第２画像生成画素のみにより構成される第１ラインと、前記第１画像生成画素および前記位相差検出画素により構成される第２ラインと、前記第１画像生成画素のみにより構成される第３ラインとが配置され、前記第２ラインと第３ラインとの合計数は前記第１ラインの数より多い請求項１記載の撮像素子。
3. 前記画素アレイ部は、前記第１ラインが奇数ラインおきに配置され、他のラインに前記第２ラインおよび前記第３ラインのいずれかが配置される請求項２記載の撮像素子。
4. 前記第２ラインは、前記第１ラインに隣接して配置される請求項２記載の撮像素子。
5. 位相差検出または記録画像の生成のための第１同期信号に基づいて駆動される画像生成画素である第１画像生成画素と、前記第１同期信号に基づいて駆動される位相差検出画素と、ライブビュー画像を生成するための同期信号であって前記第１同期信号とは異なる第２同期信号に基づいて駆動されて前記第１画像生成画素よりも数が少ない画像生成画素である第２画像生成画素とにより構成される画素アレイ部と、前記第１画像生成画素および前記位相差検出画素の画素データを外部へ出力する第１出力部と、前記第２画像生成画素の画素データを外部へ出力する第２出力部とを備える撮像素子と、
   前記第２画像生成画素が配置されているラインを駆動させて前記第２出力部が出力する前記画素データを生成させるとともに、前記位相差検出を行う場合には、前記位相差検出画素が配置されているラインを駆動させて前記第１出力部が出力する前記画素データを生成させ、前記記録画像の生成を行う場合には、前記第１画像生成画素が配置されているラインを駆動させて前記第１出力部が出力する前記画素データを生成させる制御を行う制御部と
   を具備する撮像装置。
6. 前記位相差検出を行う場合には、前記位相差検出に応じた露光時間に基づいて前記第１同期信号を生成し、前記記録画像の生成を行う場合には、前記記録画像の生成に応じた露光時間に基づいて前記第１同期信号を生成する第１同期信号生成部と、
   前記ライブビュー画像の生成に応じた露光時間に基づいて前記第２同期信号を生成する第２同期信号生成部と
   をさらに具備する請求項５記載の撮像装置。
7. 前記制御部は、連写の際に前記ライブビュー画像を表示部に表示させる場合には、前記連写の際に生成された前記記録画像の縮小画像を前記ライブビュー画像とともに表示する請求項５記載の撮像装置。
8. 位相差検出または記録画像の生成のための第１同期信号に基づいて駆動される画像生成画素である第１画像生成画素と、前記第１同期信号に基づいて駆動される位相差検出画素と、ライブビュー画像を生成するための同期信号であって前記第１同期信号とは異なる第２同期信号に基づいて駆動されて前記第１画像生成画素よりも数が少ない画像生成画素である第２画像生成画素とにより構成される画素アレイ部と、前記第１画像生成画素および前記位相差検出画素の画素データを外部へ出力する第１出力部と、前記第２画像生成画素の画素データを外部へ出力する第２出力部とを備える撮像素子における前記第２画像生成画素が配置されているラインを駆動させた前記ライブビュー画像の生成とともに、前記位相差検出を行う場合には、前記位相差検出画素が配置されているラインを駆動させて前記位相差検出に用いる前記画素データを生成させる制御を行う第１制御手順と、
   前記撮像素子における前記第２画像生成画素が配置されているラインを駆動させた前記ライブビュー画像の生成とともに、前記記録画像の生成を行う場合には、前記第１画像生成画素が配置されているラインを駆動させて前記記録画像の生成に用いる前記画素データを生成させる制御を行う第２制御手順と
   を具備する撮像方法。
9. 位相差検出または記録画像の生成のための第１同期信号に基づいて駆動される画像生成画素である第１画像生成画素と、前記第１同期信号に基づいて駆動される位相差検出画素と、ライブビュー画像を生成するための同期信号であって前記第１同期信号とは異なる第２同期信号に基づいて駆動されて前記第１画像生成画素よりも数が少ない画像生成画素である第２画像生成画素とにより構成される画素アレイ部と、前記第１画像生成画素および前記位相差検出画素の画素データを外部へ出力する第１出力部と、前記第２画像生成画素の画素データを外部へ出力する第２出力部とを備える撮像素子における前記第２画像生成画素が配置されているラインを駆動させた前記ライブビュー画像の生成とともに、前記位相差検出を行う場合には、前記位相差検出画素が配置されているラインを駆動させて前記位相差検出に用いる前記画素データを生成させる制御を行う第１制御手順と、
   前記撮像素子における前記第２画像生成画素が配置されているラインを駆動させた前記ライブビュー画像の生成とともに、前記記録画像の生成を行う場合には、前記第１画像生成画素が配置されているラインを駆動させて前記記録画像の生成に用いる前記画素データを生成させる制御を行う第２制御手順と
   をコンピュータに実行させるプログラム。

Images