JP7241511B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は撮像装置およびその制御方法に関する。

従来、デジタル（ビデオ）カメラにおいては、撮像素子から様々な用途の信号を取得することが知られている。特許文献１には、複数の画素を行単位で第１の画素群と第２の画素群とに分けて読み出し可能に構成した撮像素子が開示されている。そして、第１の画素群から得られる画像信号と第２の画素群から得られる画像信号とを同じ用途に用いる場合と、異なる用途に利用する場合とを切り換える技術が開示されている。

特開２０１４―１４３６６７号公報

特許文献１の技術では、第１の画素群と第２の画素群との読み出し方法（電荷蓄積時間およびフレームレート）を異ならせることで、２つの用途に適切な画像信号を得ることができる。しかしながら、さらに別の用途に適した画像信号が必要な場合には、いずれかの画素群の読み出し方法を変更する必要がある。読み出し方法の変更中は画像信号が得られないため、表示が停止したり、撮像装置の応答性低下（例えばシャッタータイムラグ）の原因となる。

本発明はこのような従来技術の課題に鑑みてなされたものである。本発明の一目的は、撮像素子の読み出し方を変更する必要がある場合に、変更に要する時間が撮像装置の動作に与える影響を低減することが可能な、撮像装置およびその制御方法を提供することにある。

上述の目的は、撮像素子から第１の画像データおよび第２の画像データを取得する取得手段と、第２の画像データに基づいて撮影レンズの焦点検出用の情報を生成し、第１の画像データに基づいて表示用の画像データを生成する信号処理手段と、撮像素子の読み出し方法および信号処理手段の動作を制御する制御手段とを有し、制御手段は、静止画撮影の準備指示が検出されると、第１の画像データをフラッシュの発光量を決定するための画像データとして用いるために第１の画像データを取得するための読み出し方法を変更するとともに、第２の画像データに基づいて表示用の画像データを生成するように信号処理手段を制御する、ことを特徴とする撮像装置によって達成される。

本発明によれば、撮像素子の読み出し方を変更する必要がある場合に、変更に要する時間が撮像装置の動作に与える影響を低減することが可能な、撮像装置およびその制御方法を提供することができる。

実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 図１の撮像素子の機能構成例を示すブロック図 実施形態に係る制御動作例のタイミングチャート 実施形態に係る制御動作例のフローチャート 実施形態の変形例に係るデジタルカメラの機能構成例を示すブロック図

以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。なお、以下では、本発明の実施形態に係る、撮像装置の一例としてのデジタルカメラについて説明する。しかしながら、本発明は、撮像素子を利用可能な任意の電子機器や機械に適用可能である。このような電子機器や機械には、パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡ、ゲーム機、ロボット、家庭電化製品、自動車などが含まれるが、これらに限定されない。

図１は本実施形態に係るデジタルカメラ１００（以下、単にカメラ１００という）の機能構成例を示すブロック図である。本実施形態において、カメラ１００はレンズマウント１０２を介して撮影レンズ１２０を着脱可能な構成であるものとするが、撮影レンズ１２０が着脱できない構成であってもよい。

撮影レンズ１２０は被写体の光学像を撮像素子１１０に形成する光学系である。レンズ１０１は、フォーカスレンズや変倍レンズなどの可動レンズを含む複数のレンズと、開口の大きさが可変の絞りと、可変レンズや絞りの駆動回路などを備える。レンズ制御部１４１は、プロセッサ（コンピュータ）、ＲＯＭ、およびＲＡＭを有する。レンズ制御部１４１は、ＲＯＭに記憶されたプログラムをＲＡＭに読み込んでプロセッサで実行することにより、駆動回路の制御を始めとしたレンズ１０１の動作を制御する。撮影レンズ１２０の電源はレンズマウント１０２を通じてカメラ本体から供給される。また、レンズ制御部１４１と後述するカメラ制御部１３１とは、レンズマウント１０２を通じて双方向に通信可能である。

シャッタ１０３は、静止画撮影時に撮像素子１１０の露光時間を調節するフォーカルプレーンシャッタである。なお、撮像素子１１０の露光時間は電子シャッタ（撮像素子１１０の駆動制御）によって調節してもよい。

撮像素子１１０は、行列状に配置された複数の画素（画素群）を備える。各画素には例えばカラーフィルタ、マイクロレンズ、光電変換部などが設けられる。撮像素子１１０は、レンズ１０１が撮像面に形成する光学像を複数の画素によって電気信号（画素信号）に変換する。本実施形態において、撮像素子１１０はＡＤ変換器を備え、画素信号をデジタルデータに変換する。また、撮像素子１１０は、画素群から読み出した画素信号を、２つに分けて出力することができる。

ここで、図２を用いて撮像素子１１０の詳細について説明する。図２は、撮像素子１１０の回路構成例を機能ブロックを用いて示した図である。撮像素子１１０は、画素群２０１、行走査回路２０２、カラムＡＤＣブロック２０３、列走査回路２０４、セレクタ２０５、フレームメモリ２０６、画像変換部２０７、パラレル・シリアル変換部（Ｐ／Ｓ変換部）２０８を有する。

画素群２０１を構成する複数の画素のそれぞれは、露光期間に入射した光の強さに応じた電荷を蓄積する。行走査回路２０２によって画素群２０１の画素を行単位で選択し、選択した画素が蓄積した電荷を変換した電圧（画素信号）を、画素列ごとに設けられたＡＤ変換器を有するカラムＡＤＣブロック２０３でＡＤ変換する。そして、カラムＡＤＣブロック２０３内のＡＤ変換器を列走査回路２０４で１つずつ選択して画素信号を読み出すことにより、１画素行分の、デジタル化された画素データ群（画像データ）を取得することができる。

セレクタ２０５は、列走査回路２０４の動作と連動して、読み出された画素データがフレームメモリ２０６内で保存される領域を振り分けることができる。セレクタ２０５は例えば、４ｎ（ｎは０以上の整数）および４ｎ＋１列目のデータと、４ｎ＋２および４ｎ＋３列目のデータとが、フレームメモリ２０６内の異なる先頭アドレスから保存されるように書き込みアドレスを切り換える。このようにして、撮像素子１１０は、並行して２種類の画像データを取得することができる。本実施形態では、この２種類の画像データをそれぞれ、メインデータ、サブデータと呼び、メインデータをフレームとする動画データをメインストリーム、サブデータをフレームとする動画データをサブストリームと呼ぶ。なお、画素データをどのようにメインデータとサブデータに割り振るかは上述の例に限定されない。

撮像素子１１０には、メインデータ用の画素行と、サブデータ用の画素行とで個別の読み出し方法（電荷蓄積時間、フレームレート、加算読出の有無など）を設定することができる。撮像素子１１０の読み出し方法は、タイミング発生部１４２が撮像素子１１０に与えるタイミング制御信号によって制御することができる。したがって、カメラ制御部１３１がタイミング発生部１４２を制御することによって、メインデータ用の画素行および／またはサブデータ用の画素行の読み出し方法を変更することができる。例えば撮像素子１１０の複数の読み出し方法に対応するタイミング制御パターンをタイミング発生部１４２に予め登録しておき、カメラ制御部１３１からタイミング制御パターンを指定することにより、撮像素子１１０の読み出し方法を変更してもよい。

画像変換部２０７は、フレームメモリ２０６から読み出されるメインストリームおよびサブストリームのフレームに対し、例えばリサイズ処理といった変換処理を適用することができる。

Ｐ／Ｓ変換部２０８は、パラレル・シリアル変換を行い、シリアルデータに変換した画像データを撮像素子１１０から出力する。なお、Ｐ／Ｓ変換部２０８は、メインストリームをメインレーン１１１に、サブストリームをサブレーン１１２に出力することができる。図１に示すように、メインレーン１１１およびサブレーン１１２は、撮像素子１１０と信号処理部１２１とを接続する信号経路である。Ｐ／Ｓ変換部２０８は、メインストリームおよびサブストリームを並列に出力することができる。

信号処理部１２１は、メインレーン１１１およびサブレーン１１２を通じて入力される画像データ（メインストリームおよびサブストリームのフレーム）に対し、所定の画像処理を適用する。ここで、信号処理部１２１が適用する画像処理には、ホワイトバランス調整、色補間、色補正、γ変換、エッジ強調、解像度変換、ノイズ低減といった補正処理がある。信号処理部１２１は、画像処理後の画像データから表示用画像データを生成することができる。表示用画像データは、例えば、画像処理後の画像データの解像度を、表示部１５３の表示領域の解像度に合わせることによって生成することができる。読み出し解像度が表示解像度に等しい場合には、画像処理後の画像データをそのまま表示用画像データとして用いてもよい。なお、他の方法で表示用画像データを生成してもよい。

また、信号処理部１２１はまた、画像処理後の画像データに対して、画像の輝度やコントラスト情報の取得、被写体の検出および／または認識などの解析処理を適用することができる。なお、解析処理で得られた情報は、例えば自動露出制御（ＡＥ）や自動焦点検出（ＡＦ）に用いることができる。撮像素子１１０が焦点検出用画素を有する場合、信号処理部１２１は解析処理により、位相差検出方式のＡＦを実行するための１対の像信号を生成することができる。なお、ここに列挙した画像処理は解析処理は例示であって、全てが必須ではなく、また他の処理が適用されてもよい。

信号処理部１２１は、メインストリームとサブストリームとに同様の処理を適用することができる。信号処理部１２１は、処理を適用したメインストリームおよびサブストリームを、バス１５０を通じてメモリ１３２に出力する。また、信号処理部１２１は、解析処理で得られた情報についてはバス１５０を通じてカメラ制御部１３１に出力する。

メモリ１３２は、画像データなどの一時的な格納や、カメラ制御部１３１が実行するプログラムや、プログラムを実行中の変数値などを格納するために用いられるシステムメモリである。また、メモリ１３２は表示用の画像データを格納するＶＲＡＭとしても用いられる。

不揮発性メモリ１３３は、カメラ制御部１３１が実行するプログラムや、ＧＵＩデータ、各種設定値などを記憶する。なお、不揮発性メモリ１３３は書き換え可能であってよい。
タイミング発生部１４２は、撮像素子１１０や信号処理部１２１などの動作を制御する信号を生成し、提供する。
バス１５０は接続されている構成要素間でデータや制御信号などを通信するための通信路を提供する。

表示部１５３は例えばカラー液晶ディスプレイであり、撮影された画像、カメラ１００の各種情報、ＧＵＩ画面などの表示に用いられる。動画像を撮影しながら表示部１５３に継続的に表示することにより、表示部１５３を電子ビューファインダ（ＥＶＦ）として機能させることができる。表示部１５３をＥＶＦとして機能させるための表示用画像はライブビュー画像とも呼ばれる。表示部１５３にはタッチパネル１５６が設けられており、タッチディスプレイとして機能する。カメラ制御部１３１は、タッチパネル１５６に対する操作の位置や種類を検出することができる。

表示制御部１５１は、バス１５０を介してタイミング発生部１４２から供給される信号に応じて、メモリ１３２のＶＲＡＭ領域に保存された表示用画像データをＤ／Ａ変換部１５２および／またはＨＤＭＩ（登録商標）出力端子１５５に供給する。Ｄ／Ａ変換部１５２は画像データを表示用のアナログ画像信号へと変換し、表示部１５３および／またはＶＩＤＥＯ出力端子１５４に出力する。

カード入出力部１７１は、カードスロット１７２に着脱可能に挿入された記録媒体１７３（例えばメモリカード）にデータを記録したり、記録媒体１７３に記録されているデータを読み出したりすることができる。

発光制御部１８１は、カメラ制御部１３１の指示に応じて、内蔵フラッシュ１８２および／または外部フラッシュ１８３の発光パターンや発光量を制御する。
操作部１６１は、カメラ１００の筐体に設けられたスイッチ、ボタン、ダイヤルなどの総称である。操作部１６１には一般に、例えば電源スイッチ、レリーズボタン、レリーズスイッチ、方向キー、決定(SET)ボタン、メニューボタンなどが含まれるが、これらに限定されない。なお、レリーズスイッチはレリースボタンの半押し操作に応じてＯＮする第１スイッチＳＷ１と、全押し操作に応じてＯＮする第２スイッチＳＷ２とを有する。制御部１３１は、ＳＷ１のＯＮを静止画撮影の準備指示、ＳＷ２のＯＮを静止画撮影の開始指示と認識して、撮影準備処理（ＡＥ，ＡＦなど）、撮影処理（露光、記録など）をそれぞれ実行する。
電源１６０は、カメラ１００の各部に電源を供給する。

カメラ制御部１３１は、例えばＣＰＵなどのプロセッサを有し、不揮発性メモリ１３３に記憶されたプログラムをメモリ１３２に読み込んで実行し、カメラ１００の各部の動作をバス１５０を通じて制御することによりカメラ１００の機能を実現する。本実施形態では、カメラ制御部１３１が、レンズ制御部１４１、タイミング発生部１４２、信号処理部１２１、表示制御部１５１、発光制御部１８１を通じてカメラ１００の各部の制御を実現している。しかし、カメラ制御部１３１がカメラ１００の各部を直接制御する構成であってもよい。また、カメラ制御部１３１を設けず、上述した制御部や処理部が連動して制御（処理）をおこなうことでカメラ１００の各部を制御する構成であってもよい。

カメラ制御部１３１はまた、信号処理部１２１が解析処理によって取得した情報を用いて、ＡＥやＡＦを実行することができる。例えばカメラ制御部１３１は、露出制御に関する設定と、画像の輝度情報とに基づいてシャッタースピード、絞り値、撮影感度、フラッシュ発光量といった露出条件を決定することができる。またカメラ制御部１３１は、コントラスト情報や像信号間の位相差に基づいてレンズ１０１が有するフォーカスレンズを駆動することにより、交換レンズ１２０の焦点を調節することができる。なお、解析処理において顔などの被写体検出を実行する場合、検出結果をＡＥやＡＦに用いることもできる。カメラ制御部１３１が行うＡＥやＡＦの動作は公知の技術を利用できるため、これ以上の詳細については説明を省略する。

次に、カメラ１００における、静止画撮影のスタンバイ状態から撮影開始までのタイミング制御について、図３のタイミングチャートおよび図４のフローチャートを参照して説明する。静止画撮影のスタンバイ状態とは、カメラ１００の電源スイッチがＯＮであり、カメラ１００の動作モードが撮影モードに設定され、かつ第１スイッチＳＷ１および第２スイッチＳＷ２がいずれもＯＦＦの状態である。また、例えばフラッシュの強制発光モードが設定されているなど、記録時にフラッシュを点灯させる必要があるものとする。

静止画撮影のスタンバイ状態において制御部１３１は、動画撮影を開始し（Ｓ１０１）、以下の処理を並列に実行する。
・サブストリームを用いた処理（Ｓ１１１～Ｓ１１５）
・表示用ストリーム選択処理（Ｓ１２１～Ｓ１２３）
・メインストリームを用いた処理（Ｓ１３１～Ｓ１３８）
なお、ここでは、動画の撮影フレームレートが６０ｆｐｓであり、表示部１５３の表示フレームレートが３０ｆｐｓであるものとする。

Ｓ１１１、Ｓ１２１、Ｓ１３１でカメラ制御部１３１は、撮影スタンバイ処理を終了するか否かを判定し、終了すると判定されればＳ１４０へ、判定されなければ処理をＳ１１２、Ｓ１２２、Ｓ１３２にそれぞれ進める。
本実施形態においてカメラ制御部１３１は、例えば再生モードへの変更指示、第２スイッチＳＷ２のＯＮ、電源スイッチのＯＦＦ操作が検出された場合に、撮影スタンバイ処理を終了すると判断することができる。ただし、これらは例示であり、他の条件によって撮影スタンバイ処理を終了すると判定してもよい。

まず、第１スイッチＳＷ１がＯＮになるまでの状態における処理について説明する。
この状態では、表示用ストリーム選択処理（Ｓ１２１～Ｓ１２３）におけるＳ１２２の判定処理において、カメラ制御部１３１は処理をＳ１２３に進める。そして、Ｓ１２３でカメラ制御部１３１は、メインストリームから生成した表示用画像データを表示することを決定し、信号処理部１２１に通知する。

信号処理部１２１は、撮像素子１１０から並列出力されるサブストリームおよびメインストリームを取得し（Ｓ１１２、Ｓ１３２）、画像処理を適用する。そして、信号処理部１２１は、カメラ制御部１３１の制御に従い、メインストリームの画像処理後の画像データから表示用画像データ（ライブビュー画像データ）を生成してメモリ１３２のＶＲＡＭ領域に格納する。信号処理部１２１はさらに、サブストリームの画像処理後の画像データに対して解析処理を適用し、解析結果（例えば焦点検出用のコントラスト情報）をカメラ制御部１３１に供給する。

ここでは、静止画撮影スタンバイ状態における撮像素子１１０の読み出し方法として、メインデータ用の画素行を３０ｆｐｓ、サブデータ用の画素行を６０ｆｐｓで読み出す設定がなされているものとする。

信号処理部１２１は、メインストリームから３０ｆｐｓの表示用画像データを生成し、メモリ１３２のＶＲＡＭ領域に順次格納する。表示制御部１５１は、メモリ１３２のＶＲＡＭ領域から表示用画像データを読み出し、Ｄ／Ａ変換部１５２を通じて表示部１５３に表示させる。これにより、静止画撮影スタンバイ状態において、表示部１５３はＥＶＦとして機能する。

一方、信号処理部１２１はサブストリームについては各フレームについて解析処理を実行し、解析結果を６０回／秒でカメラ制御部１３１に出力する。カメラ制御部１３１は、例えばレンズ１０１のフォーカスレンズを微小範囲で往復駆動（ウォブリング）させながら、解析結果（例えばコントラスト情報）の変化を監視し、レンズ１０１の合焦状態を把握することができる。そして、必要に応じてフォーカスレンズの往復駆動の中心位置を移動させることにより、レンズ１０１の合焦状態を被写体の動きに追従させることができる。また、カメラ制御部１３１は、ウォブリング中に得られるコントラスト情報から、コントラストが最大になるフォーカスレンズ位置を合焦位置として検出する（Ｓ１１３）。

なお、解析処理において位相差検出方式のＡＦ処理に用いる像信号対が得られている場合、カメラ制御部１３１は像信号間の位相差を検出し、位相差をデフォーカス量に換算する。デフォーカス量は合焦位置までのフォーカスレンズの移動方向と移動量を表すため、カメラ制御部１３１はデフォーカス量に基づいてレンズ１０１のフォーカスレンズを合焦位置に駆動する。なお、レンズ１０１に含まれるフォーカスレンズや絞りの駆動は、カメラ制御部１３１からレンズ制御部１４１に命令を与えることによって実現される。

図３は、第１スイッチＳＷ１のＯＮ前後の期間における、メインストリームおよびサブストリームの用途と、関連する処理について経時的に示した図である。なお、図３において「ＡＦ用」と記載しているのは便宜上であって、実際にはＡＥやＡＦに用いるための解析結果を取得する目的であることを示している。図３に示すように、ＳＷ１がＯＮになるまでの期間は、メインストリームが表示用、サブストリームがＡＦ（解析）用である。

次に、レリーズボタンが半押しされ、第１スイッチＳＷ１がＯＮ、第２スイッチＳＷ２がＯＦＦの状態になったときの動作について説明する。
操作部１６１のレリーズボタンが半押し操作され、第１スイッチＳＷ１がＯＮになると、表示用ストリーム選択処理（Ｓ１２１～Ｓ１２３）におけるＳ１２２の判定処理において、カメラ制御部１３１は処理をＳ１２４に進める。そして、Ｓ１２４でカメラ制御部１３１は、サブストリームから生成した表示用画像データを表示することを決定し、信号処理部１２１に通知する。

これにより、信号処理部１２１は、６０ｆｐｓで読み出されているサブストリームから、表示部１５３の表示フレームレートに合わせた３０ｆｐｓの表示用画像データを生成して、ＶＲＡＭ１３２に格納するように動作を変更する。フレームレートを低下させる方法に特に制限は無く、２フレーム分のデータを加算してもよいし、フレームを間引いてもよい。

また、カメラ制御部１３１は、メインストリームを用いる処理において、Ｓ１３３の判定処理からＳ１３４に処理を進め、撮像素子１１０からのメインストリームの読み出し方法を変更する。具体的には、フラッシュの発光量を決定するための画像データを取得するための読み出し方法に変更する。これは、メインストリームの用途を発光量制御用に変更することに相当する。

ここで、サブストリームではなくメインストリームの読み出し方法を変更するのは、解析結果に基づくフォーカスレンズの駆動動作と、プリ発光を用いたフラッシュの発光量決定とを並行して実行できないためである。メインストリームを表示に用い続け、サブストリームの用途をフラッシュの発光量制御用に変更する場合、フォーカスレンズを合焦位置に移動し終えてからサブデータ用の画素行の読み出し方法を変更する必要がある。読み出し方法が変更可能になるまでの待機時間は、レリーズタイムラグの増加要因となる。

メインストリームの読み出し方法を変更することで、読み出しの変更とフォーカスレンズの駆動とを並行して実行できるため、フォーカスレンズの駆動終了後直ちにプリ発光を行うことができ、レリーズタイムラグの短縮が実現できる。

なお、記録用の撮影時の発光量を精度よく行うためには、全体がプリ発光によって露光された画像のデータを取得する必要がある。撮像素子１１０のように、行ごとに蓄積（露光）と読み出しのタイミングが異なる場合、読み出す全ての行が露光期間になるまでプリ発光を待機する必要がある。この待機時間を短縮するため、カメラ制御部１３１は、例えば、メインデータ用の画素行を削減したり、画素加算を行ったり、蓄積時間を減少させたりして、読み出しフレームレートを高めるように読み出し方法を変更することができる。

そして、Ｓ１３５でカメラ制御部１３１は、プリ発光前の画像データを取得したか否かを判定し、取得したと判定されればＳ１３７へ、判定されなければＳ１３６へ処理を進める。
Ｓ１３６でカメラ制御部１３１は、信号処理部１２１に対し、読み出し方法の変更後にメインストリームから得られた画像処理後の画像データ（非発光時の画像データ）をＲＡＭ１３２のＶＲＡＭ領域以外に記憶させ、処理をＳ１３１に戻す。なお、Ｓ１３４における読み出し方法の変更処理は、２度目以降は実行しなくてよい。

Ｓ１３７でカメラ制御部１３１は、発光制御部１８１を通じて内蔵フラッシュ１８２もしくは外部フラッシュ１８３をプリ発光させる。そして、信号処理部１２１に対し、メインストリームから得られた画像処理後の画像データ（プリ発光時の画像データ）をＲＡＭ１３２のＶＲＡＭ領域以外に記憶させ、処理をＳ１３８に進める。

Ｓ１３８でカメラ制御部１３１は、信号処理部１２１に、非発光時の画像データとプリ発光時の画像データとの差分を算出させる。そして、カメラ制御部１３１は、差分に基づいて記録用の撮影時のフラッシュ発光量を決定する。また、カメラ制御部１３１は、プリ発光時の画像データと、決定した発光量とに基づいて、記録用の撮影時の露出条件（シャッタースピード、絞り、撮影感度）を決定する。その後、カメラ制御部１３１はＳ１３１とＳ１３２とを繰り返し実行する。

一方、サブストリームに対する処理において、信号処理部１２１は、サブストリームの画像処理後の画像データから表示用画像データ（ライブビュー画像データ）を生成してメモリ１３２のＶＲＡＭ領域に格納する。信号処理部１２１はさらに、サブストリームの画像処理後の画像データに対して解析処理を適用し、解析結果（例えばコントラスト情報）をカメラ制御部１３１に供給する。

また、カメラ制御部１３１は、Ｓ１１４の判定処理から処理をＳ１１５に進め、Ｓ１１３で求めた合焦位置へフォーカスレンズを駆動する。その後、カメラ制御部１３１は、処理をＳ１１１に戻す。

図３に示すように、第１スイッチＳＷ１のＯＮにより、メインストリームの読み出し方法が変更され、さらに、ライブビュー画像がメインストリームからサブストリームに変更されることにより、ライブビュー表示が中断されずに維持されていることがわかる。さらに、サブストリームを用いたレンズ１０１の合焦制御と、メインストリームの読み出し方法の変更とを並列に実行することにより、フォーカスレンズの駆動完了後ただちにプリ発光を実施することができる。

その後、例えば第２スイッチＳＷ２がＯＮになると、カメラ制御部１３１は処理をＳ１４０へ、さらにＳ１５０に進め、記録用の静止画撮影を実行する。この際、カメラ制御部１３１は、発光制御部１８１を通じ、プリ発光によって決定した発光量でフラッシュを点灯させる。ＳＷ２のＯＮ以外の理由で静止画撮影スタンバイ処理が終了される場合には、Ｓ１４０からそのまま処理を終了する。

なお、ここではフラッシュの強制発光が設定されているものとしたが、例えばＳ１１３において解析結果に基づいてＡＥ処理を実行した結果として、フラッシュの点灯要否が決定されてもよい。

（変形例）
なお、ここでは２つの画像データを並列に出力可能な撮像素子１１０を用いた構成について説明した。しかし、別の方法で２つの画像データを並列に取得する構成であってもよい。例えば図５に示すように、ハーフミラー１０４を用い、反射した被写体光学像と透過した被写体光学像をそれぞれ第一撮像素子１１３と第二撮像素子１１４で撮影するように構成してもよい。

また本実施形態では、画像データの用途を表示用からフラッシュの発光量制御用に変更するために読み出し方法を変更する場合について説明した。しかし、本発明は他の用途変更時においても適用可能である。例えば、サブストリームを用いて焦点検出を行いながら、メインストリームを通常測光用と高輝度測光用とで切り換えることにより、広いダイナミックレンジでの測光を実現してもよい。この場合、カメラ制御部１３１は、メインストリームから得られる画像処理後の画像データを用いて測光処理を実施する。

そして、カメラ制御部１３１は、通常測光（例えば適正露出条件で撮影した画像に基づく測光）が終了したら、メインデータ用の画素行の読み出し方法を、高輝度測光用の画像データを取得するための読み出し方法に変更する。高輝度測光用の画像データは、通常測光用の画像データよりも電荷蓄積時間が短い読み出し方法とすればよい。カメラ制御部１３１は、通常測光処理には表示用画像データを用い、読み出し方法の切り換え処理中および高輝度測光の期間は、表示用画像データをサブストリームから生成するように信号処理部１２１を制御する。

本実施形態によれば、並列に取得した２つの画像データのうち、一方の画像データを焦点検出に用い、他方の画像を焦点検出以外に用いている状態で、撮像素子の読み出し方法を変更する場合、他方の画像データについての読み出し方法を変更するようにした。これにより、焦点検出動作と読み出し変更処理とを並列に実行できるため、例えばシャッタータイムラグを短縮することができる。さらに、他方の画像データの用途に一方の画像データを用いるように変更すれば、他方の画像データを用いていた処理を中断することなく継続できる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１１０…撮像素子、１２１…信号処理部、１３１…カメラ制御部、１４１…レンズ制御部、１５１…表示制御部、１８１…発光制御部

Claims (10)

1. 撮像素子から第１の画像データおよび第２の画像データを取得する取得手段と、
   前記第２の画像データに基づいて撮影レンズの焦点検出用の情報を生成し、前記第１の画像データに基づいて表示用の画像データを生成する信号処理手段と、
   前記撮像素子の読み出し方法および前記信号処理手段の動作を制御する制御手段とを有し、
   前記制御手段は、静止画撮影の準備指示が検出されると、前記第１の画像データをフラッシュの発光量を決定するための画像データとして用いるために前記第１の画像データを取得するための読み出し方法を変更するとともに、前記第２の画像データに基づいて表示用の画像データを生成するように前記信号処理手段を制御する、
   ことを特徴とする撮像装置。
2. 前記制御手段はさらに、前記準備指示を検出すると、前記第２の画像データに基づいて生成された情報に基づいて前記撮影レンズのフォーカスレンズを駆動させることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段はさらに、前記フォーカスレンズの駆動が終了すると、フラッシュをプリ発光させることを特徴とする請求項２に記載の撮像装置。
4. 撮像素子から第１の画像データおよび第２の画像データを取得する取得手段と、
   前記第２の画像データに基づいて撮影レンズの焦点検出用の情報を生成し、前記第１の画像データに基づいて表示用の画像データを生成する信号処理手段と、
   前記撮像素子の読み出し方法および前記信号処理手段の動作を制御する制御手段とを有し、
   前記制御手段は、静止画撮影の準備指示が検出されると、前記第１の画像データを高輝度測光用の画像データとして用いるために、前記第１の画像データを取得するための読み出し方法を変更するとともに、前記第２の画像データに基づいて表示用の画像データを生成するように前記信号処理手段を制御する、ことを特徴とする撮像装置。
5. 前記制御手段は、前記第１の画像データを取得するための読み出し方法を、前記準備指示を検出する前よりも電荷蓄積時間の短い読み出し方法に変更することを特徴とする請求項４に記載の撮像装置。
6. 前記第１の画像データと前記第２の画像データは、前記撮像素子の、異なる画素行から読み出された画像データであることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記撮像素子が、前記第１の画像データを取得するための第１の撮像素子と、前記第２の画像データを取得する第２の撮像素子を含むことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
8. 撮像素子から第１の画像データおよび第２の画像データを取得する取得工程と、
   前記第２の画像データに基づいて撮影レンズの焦点検出用の情報を生成し、前記第１の画像データに基づいて表示用の画像データを生成する信号処理工程と、
   静止画撮影の準備指示が検出されると、前記第１の画像データをフラッシュの発光量を決定するための画像データとして用いるために前記第１の画像データを取得するための読み出し方法を変更するとともに、前記第２の画像データに基づいて表示用の画像データを生成するように前記信号処理工程を制御する制御工程と、
   を有することを特徴とする撮像装置の制御方法。
9. 撮像素子から第１の画像データおよび第２の画像データを取得する取得工程と、
   前記第２の画像データに基づいて撮影レンズの焦点検出用の情報を生成し、前記第１の画像データに基づいて表示用の画像データを生成する信号処理工程と、
   静止画撮影の準備指示が検出されると、前記第１の画像データを高輝度測光用の画像データとして用いるために、前記第１の画像データを取得するための読み出し方法を変更するとともに、前記第２の画像データに基づいて表示用の画像データを生成するように前記信号処理工程を制御する制御工程と、
   を有することを特徴とする撮像装置の制御方法。
10. 撮像装置が有するコンピュータを、請求項１から７のいずれか１項に記載の撮像装置が有する制御手段として機能させるためのプログラム。

Images