JP2017212723A - 撮像装置および制御方法 - Google Patents

Abstract

【課題】視差画像信号と撮影画像信号とを出力する撮像素子を有する撮像装置であって、撮像素子からの信号の読み出し帯域の超過による読み出し誤動作を防止することが可能な撮像装置を提供する。
【解決手段】撮影画像信号と視差画像信号とを出力する撮像素子２を備える撮像装置を設ける。撮像装置が、撮影画像信号に基づいて、被写体領域を選択し、選択した被写体領域に対応する、撮像素子の読み出し領域から視差画像信号を読み出す制御を行う。この制御において、撮像装置は、被写体領域に対応する垂直ライン数と閾値との比較結果に基づいて、被写体領域を選択する。
【選択図】図１

Description

本発明は、撮像装置および制御方法に関する。

近年のテレビ放送の高画素化に伴い、４Ｋ、８Ｋといった高画素化が進んだ撮像装置が提案されている。また、被写体を滑らかに表示するための高フレームレート化が進んだ撮像装置も提案されている。

撮像装置の高解像度化に伴い、レンズが有する合焦精度や、フォーカス動作の高速化が課題となっている。したがって、撮像装置のフォーカス動作の高速化および合焦精度向上を実現するために、視差画像信号つまり位相差情報取得用の画像信号を、撮影画像信号と同時に取得可能な撮像素子を備える撮像装置が提案されている。特許文献１は、デフォーカス量の演算に用いる信号を出力する焦点検出用画素と、撮像用画素とを有する撮像素子を備える撮像装置を開示している。

特開２０１４−１３７５６７号公報

特許文献１が開示する撮像装置は、焦点検出用画素と撮像用画素から信号を同時に読み出すので、撮像素子からの信号の読み出し帯域が増加してしまう。撮像素子からの信号の読み出し帯域（垂直ライン数）が基準ライン数を超過すると、読み出し誤動作が発生する。また、読み出し帯域が増加に応じて信号出力用の端子を増加させると、撮像素子のパッケージが大型化したり、消費電力が増加したりする。

本発明は、視差画像信号と撮影画像信号とを出力する撮像素子を有する撮像装置であって、撮像素子からの信号の読み出し帯域の超過による読み出し誤動作を防止することが可能な撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、撮影画像信号と視差画像信号とを出力する撮像素子と、前記撮影画像信号に基づいて、被写体領域を選択し、選択した被写体領域に対応する前記撮像素子の読み出し領域から前記視差画像信号を読み出す制御を行う制御手段とを備える。前記制御手段は、被写体領域に対応する垂直ライン数と閾値との比較結果に基づいて、前記被写体領域を選択する。

本発明の撮像装置によれば、視差画像信号と撮影画像信号とを出力する場合における、撮像素子からの信号の読み出し帯域の超過による読み出し誤動作を防止することが可能となる。

本実施形態の撮像装置の構成例を示す図である。 撮像素子の構成の一例を示す図である。 位相差情報取得用画像領域の設定を説明する図である。 位相差情報取得用画像領域の設定を説明する図である。 顔検出枠の合焦位置と焦点位置との関係を示す図である。 実施例１における位相差情報取得用画像領域の設定を説明する図である。 位相差情報取得用画像領域の設定処理を説明するフローチャートである。 位相差情報取得用画像領域の設定処理を説明するフローチャートである。 実施例２における位相差情報取得用画像領域の読み出し時間分割制御を説明する図である。 位相差情報取得用画像の第１の選択枠と他枠の焦点位置算出方法を説明する図である。 実施例３における被写体撮影画像のフレームレートと、位相差情報取得用画像の閾値を説明する図である。 本撮像装置内部に備えたＣＰＵの構成例を示す図である。

撮影画像から検出される被写体（例えば、顔）に対応する撮像素子の読み出し領域を指定し、この読み出し領域から視差画像信号を読み出す撮像装置が考えられる。しかし、検出された被写体の領域（被写体領域）が複数存在する場合には、読み出し帯域が増加して、読み出し誤動作が生じるという課題がある。以下に説明する本実施形態の撮像装置によれば、この課題を解決することができる。

（実施例１）
図１は、本実施形態の撮像装置の構成例を示す図である。
図１に示す撮像装置は、レンズ１乃至ＣＰＵ７を備える。
レンズ１は、被写体を撮像する撮像部を構成する。撮像素子２は、レンズ１からの光信号を電気信号に変換する。撮像素子２は、位相差取得用画像領域を読み出すことが可能なＸ−Ｙアドレスに配置した画素を有する。位相差取得用画像領域は、後述する視差画像を読み出すための読み出し領域である。

撮像素子２は、１つのマイクロレンズと、カラーフィルタに対して、２つのフォトダイオードで構成されている。撮像素子２からは、２つのフォトダイオードからの信号を加算して得られる信号（撮影画像信号）と、２つのフォトダイオードのうちの１つのフォトダイオードからの出力信号（視差画像信号）が、同時に出力される。以下では、撮影画像信号に係る画像を撮影画像または本画像、視差画像信号に係る画像を視差画像または片目画像と記述する。

現像処理部３は、撮像素子２から出力された本画像を現像処理する。顔検出部５は、現像された本画像から顔領域を抽出する。顔検出ライン測定部６は、顔検出部５による出力信号に基づいて、顔領域が抽出された垂直ライン数を測定する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７は、撮像装置全体を制御する。ＣＰＵ７には、顔検出部５からの出力信号と、顔検出ライン測定部６からの出力信号が入力される。ＣＰＵ７は、基準ライン数と、顔検出部５からの出力信号とに基づいて、顔検出枠の優先順位を設定する。基準ライン数は、予め決められた基準となる垂直ライン数である。ＣＰＵ７は、優先順位付けした顔検出枠に応じて、位相差情報取得用画像領域を設定する。

ここで、ＣＰＵ７の内部動作について、図１２を参照しながら説明する。図１２は、本撮像装置内部に備えたＣＰＵの構成例を示す図である。
ＣＰＵ７には、顔検出部５からの出力信号と、顔検出ライン測定部６からの出力信号が入力される。前記顔検出ライン測定部６からの出力信号は、比較器１０１に入力される。比較器１０１には、他方、予め備えた基準ライン数１００から、撮像素子２からの位相差情報取得用画像の総ラインの閾値（基準ライン数）である情報が入力される。比較器１０１は、２つの入力信号から、現在の顔検出枠に対応する位相差情報取得用画像の総ライン数が基準ライン数以上か以下かを判定し、枠選択１０２の情報を出力する。

枠選択１０２には、顔検出部５からの枠情報が入力される。さらに、枠選択１０２には、各顔検出枠のデフォーカス量を算出するデフォーカス量算出１０４を介した位相差情報算出部４からの出力信号についての情報が入力される。さらに、枠選択１０２には、検出した複数の顔検出枠の中で、第１の選択枠に設定された枠の情報も入力される。枠選択１０２は、入力された４つの情報から、検出された複数の顔検出枠の中で優先順位づけと、１フレーム内で読み出す顔検出枠に対応する位相差情報取得用画像の領域情報を、位相差画像読み出し領域設定値算出部１０３に出力する。位相差画像読み出し領域設定値算出部１０３は、撮像素子２に対しての読み出し設定値を算出し、撮像素子２に出力する。

位相差情報算出部４は、本画像（Ｒ＋Ｌ）と、片目画像（Ｌ）とから、もう一方の片目画像（Ｒ）を生成する。位相差情報算出部４は、片目画像（Ｌ）と、片目画像（Ｒ）とに基づいて、位相差情報を算出する。

図２は、撮像素子の構成の一例を示す図である。
撮像素子２は、図２（Ａ）、（Ｂ）に示すように、１つのマイクロレンズと、カラーフィルタに対して、２つのフォトダイオードを備えることで、１つの画素を構成している。画素は、Ｘ−Ｙアドレス上に配置されている。各画素で構成された撮像素子２は、２つのフォトダイオードからの出力信号を加算した本画像と、２つのフォトダイオードのうちの１つのフォトダイオードからの出力信号である片目画像Ｌとを、同時にＲＡＷ画像として出力する。撮像素子２は、本画像を現像処理部３に出力する。また、撮像素子２は、本画像と片目画像とを、位相差情報算出部４に出力する。

現像処理部３は、入力された本画像であるＲＡＷ画像に対して、各画素の補間処理や、色補正処理等の現像処理を行い、現像画像（ＹＵＶ画像）を生成する。現像処理部３は、現像画像を顔検出部５に出力する。

位相差情報算出部４は、入力された本画像から、片目画像（Ｌ）を引くことにより、片目画像（Ｒ）を生成する。位相差情報算出部４は、片目画像（Ｌ）と片目画像（Ｒ）とを比較することにより、位相差情報を算出する。算出した位相差情報は、例えば、フォーカス調整用信号として使用可能であり、レンズ１が備えるフォーカス調整部に制御信号を送信することにより、フォーカス調整を行うことができる。

顔検出部５は、現像処理部３から入力されたＹＵＶ画像内に顔があるか否かの判定を行う。顔があった場合には、顔検出部５は、顔に相当する領域を顔領域として、顔検出ライン測定部６に出力する。また、顔検出部５は、顔領域に相当する垂直方向の位置情報をＣＰＵ７に出力する。

顔検出ライン測定部６は、入力された顔領域情報から、垂直ライン数Ｌｆの測定を行う。顔検出ライン測定部６は、ＣＰＵ７に垂直ライン数Ｌｆの情報を出力する。また、顔検出部５で検出した顔領域が複数ある場合には、顔検出部５は、全ての顔検出枠の情報を、顔検出ライン測定部６に出力する。そして、顔検出ライン測定部６各顔検出枠に相当する領域の垂直ライン数Ｌｆ（１〜Ｎ）の情報をＣＰＵ７に出力する。

ＣＰＵ７は、撮像装置全体を制御する。ＣＰＵ７には、顔検出部５から、顔領域に相当する垂直方向の位置情報が入力される。また、ＣＰＵ７には、顔検出ライン測定部６から、複数の顔領域の垂直ライン数Ｌｆ（１〜Ｎ）の情報が入力される。ＣＰＵ７は、Ｌｆ（１〜Ｎ）の合計値ＬｆＳを算出する。また、ＣＰＵ７は、顔領域の合計垂直ライン数ＬｆＳと比較するための基準ライン数Ｌｃを備える。

また、ＣＰＵ７は、入力された複数の顔領域（顔の位置や大きさ）から、主顔を最優先の選択枠である第１の選択枠に設定し、第１の選択枠の焦点位置と、他枠の焦点位置を計算する。ＣＰＵ７は、第１の選択枠と焦点位置が近い顔領域を、優先順位が第２番目の選択枠である第２の選択枠に設定し、焦点位置が次に近い顔領域を、優先順位が第３番目の選択枠である第３の選択枠に設定する。なお、主顔は、ユーザが任意に設定することも可能である。

ここで、各枠の焦点位置の計算方法を、図１０を参照しながら説明する。図１０は、位相差情報取得用画像の第１の選択枠と他枠の焦点位置算出方法を説明する図である。
撮像素子２からの各枠の位相差情報取得用画像の読み出しは、フレームＡ〜Ｄを読み出す各時間で、時間分割で各枠の位相差情報取得用画像領域を切り替えて読み出す。図１０では、撮像素子２からの位相差情報取得用画像領域を読み出す最大ライン数を７００としており、各顔検出枠に相当する領域は、図４に示すとおり、顔検出枠Ａ：４５０、顔検出枠Ｂ：３３０、顔検出枠Ｃ：２２０である。

また、第１の選択枠は、顔検出枠Ａとする。そのため、はじめにフレームＡの時間では、位相差情報取得用画像領域は、Ａ枠とＢ枠を読み出す。次に、フレームＢの時間では、位相差情報取得用画像領域は、Ａ枠とＣ枠を読み出す。次に、フレームＣの時間では、位相差情報取得用画像領域は、Ａ枠とＢ枠を読み出す。次に、フレームＤの時間では、位相差情報取得用画像領域は、Ａ枠とＣ枠を読み出す。次に、各フレームで読み出した各位相差情報取得用画像領域から、各枠の位相差を算出し、各枠のデフォーカス量の算出を行う。そして、デフォーカス算出結果から、第１の選択枠Ａに近い焦点位置となる枠を判定し、第２の選択枠、第３の選択枠に設定する。

ＣＰＵ７は、顔領域の合計垂直ライン数ＬｆＳと、閾値である基準ライン数Ｌｃとを比較し、比較結果に基づいて、位相差情報取得用画像領域に対応する顔領域（被写体領域）を選択する。具体的には、ＣＰＵ７は、顔領域の合計垂直ライン数ＬｆＳが基準ライン数Ｌｃ以下である場合（ＬｆＳ≦Ｌｃ）には、以下の処理を実行する。ＣＰＵ７は、入力されたすべての顔領域を選択し、当該顔領域に対応する領域を、位相差情報取得用画像領域として、撮像素子２に設定する。

また、ＣＰＵ７は、基準ライン数Ｌｃよりも、顔領域の合計垂直ライン数ＬｆＳが大きい場合（ＬｆＳ＞Ｌｃ）には、以下の処理を実行する。ＣＰＵ７は、第１の選択枠に対応する領域を、位相差情報取得用画像領域に設定する。

また、ＣＰＵ７は、第１の選択枠の垂直ライン数Ｌｆ１が基準ライン数Ｌｃ以下である場合（Ｌｆ１≦Ｌｃ）には、以下の処理を実行する。ＣＰＵ７は、第２の選択枠を選択候補とする。さらに、第１の選択枠の垂直ライン数Ｌｆ１と、第２の選択枠の垂直ライン数Ｌｆ２の合計が、基準ライン数Ｌｃ以下である場合には、ＣＰＵ７は、以下の処理を実行する。ＣＰＵ７は、第１の選択枠と、第２の選択枠を選択し、これらに対応する領域を位相差情報取得用画像読み出し領域に設定する。

さらに、第１の選択枠の垂直ライン数Ｌｆ１と、第２の選択枠の垂直ライン数Ｌｆ２と、第３の選択枠の垂直ライン数Ｌｆ３の合計が、基準ライン数Ｌｃ以下である場合には、以下の処理を実行する。ＣＰＵ７は、第３の選択枠に対応する領域を追加で位相差情報取得用画像読み出し領域に設定する。以上のように、ＣＰＵ７は、選択枠の合計垂直ライン数が基準ライン数Ｌｃを超えないように、優先順位にしたがって、選択枠に対応する領域を位相差情報取得用画像読み出し領域に設定していく。

図３および図４は、位相差情報取得用画像領域の設定を説明する図である。
図３（Ａ）は、本画像を示す。本画像の画像サイズは、４Ｋ＊２Ｋ（４０９６ピクセル＊２１６０ライン）である。図３（Ａ）に示す本画像には、顔検出枠Ａが示されている。ＣＰＵ７内部に備える基準ライン数Ｌｃは、７００ラインに設定している。

図３（Ａ）に示す例では、顔検出枠Ａに対応する領域が位相差情報取得用画像領域Ａとして設定される候補となる。図３（Ｂ）は、位相差情報取得用画像領域Ａを示す図である。位相差情報取得用画像領域Ａの垂直ライン数情報Ｌｆは、４５０ラインである。
図３（Ａ）、（Ｂ）に示す例では、顔検出枠は１つであり、ＬｆＳ＝４５０となるので、ＬｆＳ＜Ｌｃである。したがって、撮像素子２に設定される位相差情報取得用画像領域は、顔検出枠Ａに対応する位相差情報取得用画像領域Ａのみである。

図４（Ａ）に示す例では、撮影画像内に顔検出枠Ａ、Ｂ、Ｃという３つの顔検出枠が存在する。この例では、図４（Ｂ）に示すように、顔検出枠Ａ、Ｂ、Ｃそれぞれに対応する位相差情報取得用画像領域Ａ，Ｂ，Ｃが、設定される位相差情報取得用画像領域の候補となる。位相差情報取得用画像領域Ａ、Ｂ、Ｃそれぞれの垂直ライン数情報ＬｆＡ、ＬｆＢ、ＬｆＣは、４５０ライン、２２０ライン、３３０ラインである。

図４（Ａ），（Ｂ）に示す例では、顔検出枠は３つであるので、ＬｆＳ＝ＬｆＡ＋ＬｆＢ＋ＬｆＣ＝１０００となる。したがって、ＬｆＳ＞Ｌｃとなって、基準値を超えてしまう。このため、全ての位相差情報取得用画像領域を撮像素子２から読み出すことはできない。

図５は、図４に示す複数の顔検出枠の合焦位置と焦点位置との関係を示す図である。
焦点位置が至近から無限遠にかけて、顔検出枠Ａ、顔検出枠Ｂ、顔検出枠Ｃの順に配置されている。図５から、顔検出枠Ａの焦点位置と顔検出枠Ｂの焦点位置とが近いことがわかる。

図６は、実施例１における位相差情報取得用画像領域の設定を説明する図である。
図４（Ｂ）に示すように、撮影画像中に顔検出枠が３つあり、かつ基準ライン数Ｌｃが７００であるものとする。図６（Ａ）は、３つの顔検出枠の中で、顔検出枠Ａが最優先の選択枠である第１の選択枠に指定された場合における、位相差情報取得用画像領域の設定を示す。

顔検出枠Ａに対応する垂直ライン数情報Ｌｆ＝ＬｆＡ＝４５０であり、基準ライン数Ｌｃ＝７００である。したがって、顔検出枠Ａに対応する垂直ラインを位相差情報取得用画像領域として、設定して読み出した場合、まだ基準ライン数Ｌｃに対して、垂直ラインが２５０ライン分余る。

そこで、第１の選択枠、つまり顔検出枠Ａの焦点位置に近い枠である顔検出枠Ｂを、第２の選択枠の候補とする。その場合、垂直ライン数情報は、以下の状態となる。
垂直ライン数情報Ｌｆ＝ＬｆＡ＋ＬｆＢ＝４５０＋２２０＝６７０
基準ライン数Ｌｃ＝７００

本状態から、基準ライン数Ｌｃに対して、顔検出枠Ａに対応する垂直ラインと、顔検出枠Ｂに対応する垂直ラインを、位相差情報取得用画像領域として設定し、読み出した場合でも、まだ基準ライン数Ｌｃに対して、垂直ラインが３０ライン分余る。

次に、顔検出枠Ａの焦点位置に対して、顔検出枠Ｂの次に近い枠である顔検出枠Ｃを、第３の選択枠の候補とする。その場合、垂直ライン数情報は、以下の状態となる。
垂直ライン数情報Ｌｆ＝ＬｆＡ＋ＬｆＢ＋ＬｆＣ＝４５０＋２２０＋３３０＝１０００
基準ライン数Ｌｃ＝７００

本状態の場合、第３の選択枠まで読み出すと、基準ライン数Ｌｃを超えてしまう。したがって、第１の選択枠を顔検出枠Ａとした場合、撮像素子２から読み出す位相差情報取得用画像領域は、顔検出枠Ａと顔検出枠Ｂに対応する位相差情報取得用画像領域となる。

図６（Ｂ）に示す例では、３つの顔検出枠の中で、顔検出枠Ｂが第１の選択枠に指定された場合を想定する。
顔検出枠Ｂが第１の選択枠に選択された状態では、垂直ライン数情報Ｌｆ＝ＬｆＢ＝２２０となる。また、基準ライン数Ｌｃ＝７００である。

本状態から、顔検出枠Ｂに対応する垂直ラインを位相差情報取得用画像領域として設定し、読み出した場合、まだ基準ライン数Ｌｃに対して、垂直ラインが、４８０ライン分余る。そこで、第１の選択枠、つまり顔検出枠Ｂの焦点位置に近い枠である顔検出枠Ｃを、第２の選択枠の候補とする。その場合、前記垂直ライン数情報は、以下の状態となる。
垂直ライン数情報Ｌｆ＝ＬｆＢ＋ＬｆＣ＝２２０＋３３０＝５５０
基準ライン数Ｌｃ＝７００

本状態から、顔検出枠Ｂに対応する垂直ラインと、顔検出枠Ｃに対応する垂直ラインを、位相差情報取得用画像領域として設定し、読み出した場合でも、まだ基準ライン数Ｌｃに対して、垂直ラインが１５０ライン分余る。

次に、顔検出枠Ｃを、第３の選択枠の候補とした場合、顔検出枠Ａの垂直ライン数は、４５０ラインあるので、第３の選択枠まで読み出すと、基準ライン数Ｌｃを超えてしまう。したがって、第１の選択枠を、顔検出枠Ｂとした場合、撮像素子２から読み出す位相差情報取得用画像領域は、顔検出枠Ｂと顔検出枠Ｃに対応する位相差情報取得用画像領域となる。このように、撮影画像中の顔検出枠が複数ある場合は、予め設定した基準ライン数と、第１の選択枠の垂直ライン数とを比較し、余剰がある場合には、第２の選択枠、第３の選択枠というように、設定枠の候補を増やしていく。そして、設定枠の候補の垂直ライン数の合計が基準ライン数を超えないように、位相差情報取得用画像領域を設定する。すなわち、ＣＰＵ７は、主たる被写体の顔検出枠を最優先の優先順位とし、主たる被写体の焦点位置に近い顔検出枠ほど高い優先順位とする。そして、優先順位の高い順に、選択後の被写体領域に対応する垂直ライン数の合計が基準ライン数Ｌｃを超えないように、位相差情報取得用画像領域に対応する顔検出枠を選択する。

図７および図８は、位相差情報取得用画像領域の設定処理を説明するフローチャートである。
Ｓ１０００において、ＣＰＵ７が、撮像素子２からの読み出しを開始し、撮影画像と同時に位相差情報取得用画像を出力する。Ｓ１００１において、顔検出部５が、撮像素子２から出力された撮影画像用のＲＡＷ画像に現像処理を施したＹＵＶ画像から顔領域の抽出（顔検出）を行う。

次に、Ｓ１００２において、ＣＰＵ７が、顔検出の結果から、撮影画像に顔があるか否かを判定する。撮影画像に顔がない場合は、処理がＳ１００３に進む。Ｓ１００３において、ＣＰＵ７が、予め記憶手段に記憶された基準位相差読み出し位置を、位相差情報取得用画像領域に指定する。そして、処理が図８のＳ１０１６に進み、ＣＰＵ７が、撮像素子２に位相差情報取得用画像領域を設定する。

撮影画像に顔がある場合は、ＣＰＵ７が、検出された顔の枠（顔検出枠）を設定して、処理がＳ１００４に進む。Ｓ１００４において、顔検出ライン測定部６が、各々の顔検出枠に相当する垂直ライン数の測定を行う。続いて、Ｓ１００５において、ＣＰＵ７が、算出された各々の顔検出枠に相当する垂直ライン数の総和を算出する。Ｓ１００６において、ＣＰＵ７が、垂直ライン数の総和と、予め記憶手段に記憶された基準ライン数とを比較する。

Ｓ１００７において、ＣＰＵ７が、垂直ライン数の総和が基準ライン数を超えたかを判定する。垂直ライン数の総和が基準ライン数を超えていない場合は、処理が図８のＳ１０１７に進む。そして、Ｓ１０１７において、ＣＰＵ７が、抽出された全ての顔検出枠に相当する垂直ラインの領域を位相差情報取得用画像領域に指定し、処理がＳ１０１６に進む。そして、Ｓ１０１６において、ＣＰＵ７が、撮像素子から指定した位相差情報取得用画像領域から画像を読み出すために、撮像素子２内部に設けられたタイミングジェネレータにデータ設定を行う。

垂直ライン数の総和が基準ライン数を超えた場合は、処理がＳ１００８に進む。Ｓ１００８において、ＣＰＵ７が、顔検出枠の中から、どの顔検出枠が主顔に設定されているかを検出する。ＣＰＵ７は、主顔に設定されている顔検出枠を第１の選択枠とする。続いて、Ｓ１００９において、ＣＰＵ７が、各々の顔検出枠の焦点位置を算出し、第１の選択枠と、他の顔検出枠とで、焦点位置の比較を行う。Ｓ１０１０において、ＣＰＵ７が、Ｓ１００９における比較処理の結果に基づいて、第１の選択枠以外の顔検出枠から、第２の選択枠、第３の選択枠の設定を行う。

図８のＳ１０１１において、ＣＰＵ７が、設定された第１の選択枠と、第２の選択枠に対応する垂直ライン数の算出を行い、垂直ライン数の和を算出する。続いて、Ｓ１００６において、ＣＰＵ７が、Ｓ１０１１において算出された垂直ライン数の和と、基準ライン数とを比較する。

次に、Ｓ１００７において、ＣＰＵ７が、Ｓ１０１６における比較結果に基づいて、垂直ライン数の和が基準ライン数を超えたかを判定する。垂直ライン数の和が基準ライン数を超えた場合は、処理がＳ１０１２に進む。Ｓ１０１２において、ＣＰＵ７が、第１の選択枠に対応する領域を位相差情報取得用画像領域に指定する。そして、Ｓ１０１６において、ＣＰＵ７が、撮像素子内部に設けられたタイミングジェネレータにデータ設定を行う。

垂直ライン数の和が基準ライン数を超えない場合は、処理がＳ１０１３に進む。Ｓ１０１３において、ＣＰＵ７が、第１の選択枠と、第２の選択枠と、第３の選択枠の垂直ライン数の総和を算出する。Ｓ１００６において、ＣＰＵ７が、垂直ライン数の和と基準ライン数とを比較する。

次に、ＣＰＵ７が、垂直ライン数の和が基準ライン数を超えたかを判定する。垂直ライン数の和が基準ライン数を超えた場合は、処理がＳ１０１４に進む。Ｓ１０１４において、ＣＰＵ７が、第１の選択枠と第２の選択枠とに対応する領域を位相差情報取得用画像領域に指定する。そして、Ｓ１０１６において、ＣＰＵ７が、撮像素子内部に設けられたタイミングジェネレータにデータ設定を行う。

垂直ライン数の和が基準ライン数を超えない場合は、処理がＳ１０１５に進む。Ｓ１０１５において、ＣＰＵ７が、第２の選択枠と、第２の選択枠と、第３の選択枠のそれぞれに対応する領域を位相差情報取得用画像領域に指定する。そして、Ｓ１０１６において、ＣＰＵ７が、撮像素子内部に設けられたタイミングジェネレータにデータ設定を行う。以上の処理により、撮影画像中に顔検出枠が複数ある場合でも、顔検出枠の優先順位設定に応じて、どの枠を位相差情報取得用画像領域に指定するかを制御することができる。これにより、撮像素子の読み出し帯域超過による読み出し不良を防止することができる。

（実施例２）
実施例２の撮像装置は、撮影画像中の複数の顔検出枠に連動して、複数の位相差情報取得用画像領域を時間分割で読み出す。

図９は、実施例２における位相差情報取得用画像領域の読み出し時間分割制御を説明する図である。
基準ライン数Ｌｃが５００として説明する。図４（Ｂ）に示す３つの顔検出枠それぞれに対応する位相差情報取得用画像領域の基準ライン数は以下のとおりである。
顔検出枠Ａ：４５０
顔検出枠Ｂ：２２０
顔検出枠Ｃ：３３０
基準ライン数Ｌｃが５００なので、１フレーム内で、全ての顔検出枠に対応する位相差情報取得用画像領域を読み出し対象の領域に設定することはできない。

図９に示す例では、３つの顔検出枠の中で、顔検出枠Ａが第１の選択枠に指定された場合、ＣＰＵ７は、顔検出枠Ａに一番近い焦点位置である顔検出枠Ｂを第２の選択枠に設定する。撮像素子２の読み出しフレームレートは、１２０ｆｐｓ（１秒間に１２０コマの画像を出力）であるものとする。

ＣＰＵ７は、第１の選択枠と、第２の選択枠を時間分割で読み出すように設定する。具体的には、ＣＰＵ７は、第１の選択枠と、第２の選択枠の読み出し時間比率を２：１とする。つまり、ＣＰＵ７は、第１の選択枠を２フレーム読んだ後、第２の選択枠を１フレーム読み出すよう制御する。撮像素子２の読み出しフレームレート１２０ｆｐｓのうち、顔検出枠Ａに対応する位相差情報取得用画像領域は、８０ｆｐｓとなり、顔検出枠Ｂに対応する位相差情報取得用画像領域は、４０ｆｐｓとなる。これにより、複数の顔検出枠が被写体撮影画像中にあり、かつ１つの顔検出枠の位相差情報取得用画像領域しか読み出せない場合でも、複数の顔検出枠に応じた位相差情報取得用画像領域を読み出すことが可能となる。複数の顔検出枠の読み出し時間の比率は、任意の値に設定可能である。また、撮像装置の読み出しフレームレートや、撮像素子の読み出し画素数に応じて、読み出し時間比率を変更可能である。

本実施例では、ＣＰＵ７は、顔検出枠に対応する垂直ライン数と基準ライン数との比較結果に基づいて、１フレーム内で複数の被写体領域を選択できるかを判断する。１フレーム内で複数の被写体領域を選択できない場合に、ＣＰＵ７は、第１の被写体の顔検出枠に対応する位相差情報取得用画像領域と、第２の被写体の顔検出枠に対応する位相差情報取得用画像領域とを時間分割で読み出す制御を行う。ＣＰＵ７は、第１の被写体の顔検出枠に対応する位相差情報取得用画像領域から視差画像信号を読み出す第１のフレームレートに比べて、第２の被写体の顔検出枠に対応する位相差情報取得用画像領域から視差画像信号を読み出す第２のフレームレートを低くする。

また、複数の顔検出枠の優先順位として、予め設定された優先順位を用いてもよいし、ユーザの指定にしたがって、顔検出枠の優先順位を決定してもよい。すなわち、ＣＰＵ７は、主たる被写体を第１の被写体とし、主たる被写体の焦点位置に近い被写体、またはユーザの操作にしたがって指定した被写体を第２の被写体とする。実施例２の撮像装置によれば、撮像素子の読み出し帯域超過による読み出し不良を防止することができる。

（実施例３）
実施例３の撮像装置では、被写体撮影用画像フレームレートと、その際の位相差取得用画像の読み出しラインの閾値の設定方法について、図１１を参照して説明する。
図１１は、被写体撮影用画像フレームレートと、フレームレート選択時の位相差取得用画像の読み出しラインの閾値を示している。

ここで、閾値の算出式（１）を示す。

（Ｈ＊ＬＡＢ＋Ｈ＊ＬＡ）＊Ｆ ＝ Ｘ ・・・（１）

被写体撮影用画像（Ａ＋Ｂ）と位相差取得用画像（Ａ）の水平画素数 ： Ｈ
被写体撮影用画像（Ａ＋Ｂ）の垂直ライン数 ： ＬＡＢ
位相差取得用画像（Ａ）の垂直ライン数 ： ＬＡ
被写体撮影用画像（Ａ＋Ｂ）のフレームレート ： Ｆ
撮像素子の最大読み出しレート ： Ｘ

上記のように算出式が設定されるため、例えば、ＬＡＢが２１６０ライン、Ｘが１４２５６０であった場合、
フレームレートＦ＝２４ｆｐｓの場合、ＬＡ＝３７８０
フレームレートＦ＝６０ｆｐｓの場合、ＬＡ＝２１６
となる。
そのため、被写体撮影用画像の垂直ライン数が２１６０ラインであるため、フレームレートが２４ｆｐｓに設定された場合、全ライン数（２１６０ライン）、またフレームレートが６０ｆｐｓに設定された場合、全ライン数の１０％である２１６ラインが位相差取得用画像の読み出しラインの閾値として設定される。

以上のように、撮像装置が有する被写体撮影用画像のフレームレートや被写体撮影用画像の水平画素数および垂直ライン数の乗算値、つまり１フレームあたりの画素数の設定に応じて、位相差取得用画像の読み出し領域に対応する垂直ライン数の閾値を変更することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５ 顔検出部
６ 顔検出ライン測定部
７ ＣＰＵ

Claims (9)

1. 撮影画像信号と視差画像信号とを出力する撮像素子と、
   前記撮影画像信号に基づいて、被写体領域を選択し、選択した被写体領域に対応する前記撮像素子の読み出し領域から前記視差画像信号を読み出す制御を行う制御手段とを備え、
   前記制御手段は、被写体領域に対応する垂直ライン数と閾値との比較結果に基づいて、前記被写体領域を選択する
   ことを特徴とする撮像装置。
2. 前記制御手段は、被写体領域が複数存在する場合に、前記読み出し領域に対応する垂直ライン数が閾値を超えないように、前記被写体領域を選択する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、被写体領域に対応する焦点位置に基づいて、優先順位を決定し、決定した優先順位に基づいて、前記被写体領域を選択する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、
   主たる被写体の被写体領域を最優先の優先順位とし、前記主たる被写体の焦点位置に近い被写体の被写体領域ほど高い優先順位として、前記優先順位の高い順に、選択後の被写体領域に対応する垂直ライン数の合計が前記閾値を超えないように前記被写体領域を選択する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、第１の被写体の被写体領域に対応する読み出し領域と、第２の被写体の被写体領域に対応する読み出し領域とを時間分割で読み出す制御を行う
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記制御手段は、被写体領域に対応する垂直ライン数と閾値との比較結果に基づいて、１フレーム内で複数の被写体領域を選択できるかを判断し、１フレーム内で複数の被写体領域を選択できない場合に、第１の被写体の被写体領域に対応する読み出し領域と、第２の被写体の被写体領域に対応する読み出し領域とを時間分割で読み出す制御を行う
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記第１の被写体の被写体領域に対応する読み出し領域から前記視差画像信号を読み出す第１のフレームレートに比べて、前記第２の被写体の被写体領域に対応する読み出し領域から前記視差画像信号を読み出す第２のフレームレートを低くする
   ことを特徴とする請求項５または請求項６に記載の撮像装置。
8. 前記制御手段は、主たる被写体を前記第１の被写体とし、前記主たる被写体の焦点位置に近い被写体、またはユーザの操作にしたがって指定した被写体を前記第２の被写体とする
   ことを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置。
9. 撮影画像信号と視差画像信号とを出力する撮像素子を備える撮像装置の制御方法であって、
   前記撮影画像信号に基づいて、被写体領域を選択し、選択した被写体領域に対応する前記撮像素子の読み出し領域から前記視差画像信号を読み出す制御を行う制御工程を有し、
   前記制御工程では、被写体領域に対応する垂直ライン数と閾値との比較結果に基づいて、前記被写体領域を選択する
   ことを特徴とする制御方法。