JP5932363B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、１つのマイクロレンズに対して複数の受光素子を配置した撮像素子を有する撮像装置およびその制御方法に関するものである。

従来、３次元表示あるいは立体視表示用の画像撮影が可能なステレオカメラが提案されている。特許文献１に開示の装置では、２つの光学手段と２つの撮像素子を使用し、左目用画像と右目用画像からなるステレオ画像のデータを取得する。特許文献２では、１つの光学手段を使用し、左目用画像と右目用画像のデータを取得する方法が開示されている。また、固体撮像素子において、１つの画素を構成する、マイクロレンズおよび分割された複数のフォトダイオードを有する構成が知られている。各フォトダイオードが異なる瞳面の光を受光することを利用して、ステレオ画像データを取得できる。
一方、撮像素子から取り込んだ画像データに従ってリアルタイムで表示し（いわゆるライブビュー）、ユーザが構図を確認しつつ静止画像の撮影が可能なデジタルカメラが普及している。ライブビュー中のオートフォーカス（以下、ＡＦとも記す）制御として、特許文献３では、ライブビュー中にユーザが指定した被写体を自動で追尾しながら、連続的にＡＦ制御を行う方法が開示されている。

特開平０１−２０２９８５号公報 特開昭５８−２４１０５号公報 特開２００８−０２８７４７号公報

撮像装置においてステレオ画像を取得しながらライブビューを行い、同時に被写体を自動で追尾する場合、次のような問題がある。
図１０は左目用画像および右目用画像について、視差のない場合を上段に示し、視差がある場合を下段に示す模式図であり、被写体を三角形で示している。視差がない場合、左目用画像と右目用画像における被写体像の位置は一致する。しかし、視差がある場合、左目用画像と右目用画像における被写体像の位置は一致しない。特に、被写体がカメラの光軸方向に沿って移動した場合、左目用画像と右目用画像とで被写体像の位置は、矢印に例示するようにそれぞれ逆方向に移動することになる。被写体を追尾しながら連続的にＡＦ動作を行う場合、実際の被写***置からずれた位置でＡＦ制御が行われてしまう可能性がある。
そこで、本発明の目的は、左目用画像データと右目用画像データを取得するとともに、被写体を追尾しつつ連続的にＡＦ制御を行うことである。

上記課題を解決するために本発明に係る装置は、１つのマイクロレンズに対して撮像光学系を通過した光束を受光して光電変換する光電変換部を複数有し、第１の視点の画像データと第２の視点の画像データとを出力可能である撮像素子を備える撮像装置であって、前記第１の視点の画像データまたは前記第２の視点の画像データから被写体の動きを検出する動き検出手段と、前記第１の視点の画像データと前記第２の視点の画像データとから第１の視点の画像と第２の視点の画像との位相差に対応する情報を取得する位相差検出手段と、前記位相差検出手段によって検出される位相差に基づいて焦点調節制御を行う制御手段と、を備える。前記位相差検出手段は、前記第１及び第２の視点の画像データの、前記動き検出手段で検出された動きに基づいて決定される各々の領域の画像を比較することで、前記位相差に対応する情報を取得する。

本発明によれば、左目用画像データと右目用画像データを取得するとともに、被写体を追尾しつつ連続的にＡＦ制御を行うことができる。

図２ないし８と併せて本発明の第１実施形態を説明するために、撮像装置の構成例を示す図である。 撮像素子の全体構成を概略的に示す図である。 撮像素子の画素アレイを概略的に示す図である。 物体の結像関係を模式的に示す図である。 動き検出部の構成図である。 位相差検出を模式的に説明する図である。 ライブビュー撮影処理例を示すフローチャートである。 動き検出処理例を示すフローチャートである。 本発明の第２実施形態における動き検出処理例を示すフローチャートである。 ステレオ画像における被写体像の動きを模式的に示す図である。

以下に、本発明の各実施形態を、添付図面に基づいて詳細に説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置の概略構成図である。本実施形態の撮像装置は、例えば、デジタルカメラである。装置本体１００はレンズ部を備えるか、または着脱可能なレンズ装置が取り付けられる。
ＣＰＵ（Central Processing Unit）１０９は撮像装置全体を制御する。電源１１０は、装置本体１００内の各回路に電源を供給する。カードスロット１２０には、着脱可能な記録媒体であるメモリカード１２１を差し込むことができる。メモリカード１２１をカードスロット１２０に差し込んだ状態で、メモリカード１２１はカード入出力部１１９と電気的に接続される。なお、本実施形態では記録媒体としてメモリカード１２１を採用しているが、その他の記録媒体、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを採用してもよい。

レンズ部を構成するレンズ群のうち、図１にはレンズ１０１，１０２だけを示す。レンズ１０２はフォーカスレンズであり、光軸に沿った方向に進退して焦点調節を行う。レンズ群を介して入射する光に対して、絞り１０３は撮像素子１０５への光量を調節する。レンズ１０１、フォーカスレンズ１０２および絞り１０３は、撮像光学系を構成する。撮像素子１０５、映像信号処理部１０７、フレームメモリ１０８は、光電変換系を構成する。この光電変換系は、撮像光学系が形成した被写体像をデジタル画像信号や画像データに変換する。

撮像素子１０５は、撮像光学系が形成した被写体像を光電変換し、画像信号を出力する光電変換手段として機能する。撮像素子１０５は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いた撮像素子である。撮像素子１０５は電子シャッタ機能を有し、露光時間を調整することができる。または、電子シャッタ機能に代えて、機械式シャッタで露光時間を調整する構成でも構わない。撮像素子１０５に設けた第１ＰＤ選択合成部１０６は、フォトダイオード（以下、ＰＤと略記する）を選択する機能と、選択したＰＤによる画像信号を合成して出力する機能を有する。なお、第１ＰＤ選択合成部１０６は撮像素子１０５の外部に設けてもよい。

図２は、本実施形態の撮像装置に適用した撮像素子の構成例を概略的に示す図である。図２（Ａ）は、撮像素子の全体構成を示す。撮像素子１０５は、画素アレイ３０１と、画素アレイ３０１における行を選択する垂直選択回路３０２と、画素アレイ３０１における列を選択する水平選択回路３０４を含む。読み出し回路３０３は、画素アレイ３０１中の画素部のうち垂直選択回路３０２によって選択される画素部の信号を読み出す。読み出し回路３０３は、信号を蓄積するメモリ、ゲインアンプ、Ａ（Analog）／Ｄ（Digital）変換器等を列毎に有する。

シリアルインターフェース（ＳＩ）部３０５は、各回路の動作モード等を、ＣＰＵ１０９からの指示に従って決定する。垂直選択回路３０２は、画素アレイ３０１の複数の行を順次選択し、読み出し回路３０３に画素信号を取り出す。また水平選択回路３０４は、読み出し回路３０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１０５は、図２に示す構成要素以外に、例えば、垂直選択回路３０２、水平選択回路３０４、読み出し回路３０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。

図２（Ｂ）は、撮像素子１０５の画素部の構成例を示す。図２（Ｂ）に示す画素部４００は、光学素子としてのマイクロレンズ４０１と、受光素子としての複数のＰＤ４０２ａ乃至４０２ｉを有する。これらのＰＤは受光した光束を光電変換して画像信号を生成する光電変換部として機能する。なお、図２（Ｂ）に示す例では、１つの画素部が備えるＰＤの数を９個とするが、ＰＤの数は２個以上の任意の数でよい。また、画素部は図示の構成要素以外にも、例えば、ＰＤの信号を読み出し回路３０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチ等を備える。

図３は画素アレイを例示する図である。画素アレイ３０１は、２次元画像を提供するため、水平方向にＮ個、垂直方向にＭ個の画素部４００を２次元アレイ状に配列して構成される。各画素部４００はカラーフィルタを有する。例えば、奇数行が、赤（Ｒ）と緑（Ｇ）のカラーフィルタの繰り返しであり、偶数行が、緑（Ｇ）と青（Ｂ）のカラーフィルタの繰り返しである。すなわち、画素アレイ３０１が備える画素部は、予め決められた画素配列（この例ではベイヤー配列）に従って配置されている。

次に、図３に示す画素構成を有する撮像素子の受光について説明する。図４は撮影レンズの射出瞳から出た光束が撮像素子１０５に入射する様子を表した概念図である。３つの画素アレイの断面５０１にて各画素アレイは、マイクロレンズ５０２、カラーフィルタ５０３、ＰＤ５０４および５０５を有する。ＰＤ５０４は図２（Ｂ）中のＰＤ４０２ａに相当する。また、ＰＤ５０５は図２（Ｂ）中のＰＤ４０２ｃに相当する。

図４には撮影レンズの射出瞳５０６と、マイクロレンズ５０２を有する画素部に対して、射出瞳５０６から出た光束の中心を光軸５０９で示す。射出瞳５０６から出た光は、光軸５０９を中心として撮像素子１０５に入射される。射出瞳５０６における一部領域５０７、５０８は、分割された異なる領域である。光線５１０、５１１は、一部領域５０７を通過する光のうちで最外周の光線である。光線５１２、５１３は、一部領域５０８を通過する光のうちで最外周の光線である。射出瞳５０６からの光束のうち、光軸５０９を境にして、図４の上側に示す光束はＰＤ５０５に入射し、下側の光束はＰＤ５０４に入射する。つまり、ＰＤ５０４とＰＤ５０５は、撮影レンズの射出瞳５０６に対する別の領域の光をそれぞれ受光するという特性を有する。この特性を生かして、撮像装置は、視差のある少なくとも２つの画像を取得することができる。例えば、撮像装置は、画素部内の領域において、複数の左側のＰＤから得られるデータを第１ラインとし、複数の右側のＰＤから得られるデータを第２ラインとして、２つの画像を取得することができる。そして、撮像装置は、この２つの画像を利用して位相差の検知を行って位相差ＡＦを実現することができる。さらに、撮像装置は、上記視差のある２つの画像を左目用画像および右目用画像としてステレオ画像を生成し、ステレオ表示装置上に立体感のある画像を表示することができる。

図１に戻って説明を続けると、第１ＰＤ選択合成部１０６は、図２（Ａ）を参照して説明した垂直選択回路３０２、読み出し回路３０３、水平選択回路３０４、ＳＩ部３０５を備える。第１ＰＤ選択合成部１０６は、ＣＰＵ１０９が設定する動作モードに従って動作する。この動作モードは、撮像装置において開始が検知された撮影の種別に応じて設定され、静止画モードと、通常ライブビューモードと、ステレオライブビューモードが含まれる。静止画モードで第１ＰＤ選択合成部１０６は、全てのＰＤの出力を画像データとして映像信号処理部１０７に出力する。また通常ライブビューモードで第１ＰＤ選択合成部１０６は、画素内の全てのＰＤの出力に対して加算平均演算を行って、演算結果をその画素の出力値とする。ステレオライブビューモードの場合、第１ＰＤ選択合成部１０６は、図２（Ｂ）に示すＰＤ４０２ａ、４０２ｄ、４０２ｇの各出力に対応した加算平均値と、ＰＤ４０２ｃ、４０２ｆ、４０２ｉの出力に対応した加算平均値を算出する。これらの加算平均値は当該画素部の出力値となる。このように複数のＰＤの出力を加算合成し、これらの演算結果を１つの画素の出力とすることで、データ量を低減できる。

ライブビューモードの場合、フレームレートを高くするために、撮像素子１０５から出力するデータ量の低減が更に要求される。そのため、第１ＰＤ選択合成部１０６は、最近接位置での同じカラーフィルタの画素について加算平均演算を行って出力値とする。本実施形態では、ライブビュー時に、水平方向にて同色の３画素の出力について平均し、垂直方向にて３画素毎に１画素を読み出す処理が実行される。これにより、データ量を９分の１に減らすことができる。その場合、使用する画素について図３を参照して具体的に説明する。ここで、図３にて第ｍ行第ｎ列目の画素を「ｍ−ｎ画素部」と表記する。自然数変数ｍおよびｎの範囲はそれぞれ、Ｍ≧ｍ≧１，Ｎ≧ｎ≧１とする。

水平方向での３画素の出力に係る加算平均演算のために使用するのは、１行目の最初の赤色画素部、つまり１−１画素部、１−３画素部、１−５画素部の各出力である。前述のモードに応じて選択される各画素部の出力に対して、加算平均演算が行われて該当画素に対する値が算出される。次の赤色画素部である、１−７画素部，１−９画素部，１−１１画素部に対して同様に演算処理が実行される。１行目の最初の緑色画素部である、１−２画素部、１−４画素部、１−６画素部に対して同様に演算処理が実行される。垂直方向にて２画素分を間引く処理を行う場合、次の行は４行目となり、最初の緑色画素部である、４−１画素部、４−３画素部、４−５画素部に対して同様に演算処理が実行される。４行目の最初の青色画素部は４−２画素部、４−４画素部、４−６画素部であり、これらの画素に対して同様に演算処理が実行される。

図１の映像信号処理部１０７は、デジタル画像信号にシェーディング補正等のカメラで周知の画像信号処理を施す。映像信号処理部１０７は、撮像素子１０５の特性に起因する画像濃度の非線形性や光源に起因する画像色の偏りを補正する。フレームメモリ１０８は、撮像素子１０５と映像信号処理部１０７によって生成される画像データを一時記憶するバッファメモリとして機能する。フレームメモリ１０８に格納される画像データは補正処理等が施されているが、撮像素子１０５の各画素部に蓄積された電荷のエネルギーをそのままデジタルデータ化にしたものに相当する。以下では、フレームメモリ１０８に格納された該画像データをＲＡＷデータと呼ぶ。特に、静止画モードの場合に第１ＰＤ選択合成部１０６で取得したＲＡＷデータを、全ＰＤ−ＲＡＷデータと呼ぶ。また、ステレオライブビューモードの場合に第１ＰＤ選択合成部１０６で取得したＲＡＷデータを、両目用ＲＡＷデータと呼ぶ。両目用ＲＡＷデータについては、フレームレートを高くするために、各画素部内でＰＤの出力に加算平均演算が施されている。一方、全ＰＤ−ＲＡＷデータについては、後工程で各種画像処理にて該データを扱うために、画像データとして極力詳細な情報を得ることを目的としている。そのため、全ＰＤ−ＲＡＷデータは選択処理や合成処理が行われずに、各画素部内の各ＰＤの出力情報に基づくデータが個別にフレームメモリ１０８に格納される。ＲＡＷデータの画像の画質に関するパラメータを撮像パラメータと呼び、絞り１０３の設定値であるＡｖ、シャッタ速度Ｔｖ、ＩＳＯ感度等を含む。

バス１５０には、ＣＰＵ１０９、電源１１０、不揮発性メモリ１１１、現像処理部１１２、ＲＡＭ（Random Access Memory）１１３、表示制御装置１１４、メインスイッチ１１６が接続される。ＣＰＵ１０９は撮像素子１０５の画像信号読み出しを制御し、撮像素子１０５からフレームメモリ１０８までの各部の動作タイミングを制御する。また、バス１５０には、ユーザがレリーズボタンにより操作するレリーズスイッチ１１７，１１８が接続されている。以下、第１レリーズスイッチ１１７を第１スイッチ、また第２レリーズスイッチ１１８を第２スイッチと略称する。第１スイッチ１１７の操作によって撮影準備動作が開始し、第２スイッチ１１８の操作により撮影動作が行われる。この他、バス１５０に接続される操作部１４０として、上下左右選択ボタン１４１、設定ボタン１４２、現像パラメータ変更ボタン１４３、ライブビュー開始／終了ボタン１４４を例示する。バス１５０にはさらに、カード入出力部１１９、第２ＰＤ選択合成部１５１、動き検出部１６１、位相差検出部１６２、撮像光学系の駆動部１６３が接続されている。なお、コントラスト評価値取得部１８１については後述の第２実施形態にて説明する。

不揮発性メモリ１１１は、メインスイッチ１１６の操作により電源１１０が投入された時にカメラに設定する初期カメラ設定値を記憶している。不揮発性メモリ１１１は、電源１１０が遮断された場合でも記録データが失われないように、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等で構成される。

第２ＰＤ選択合成部１５１は、フレームメモリ１０８上またはＲＡＭ１１３上にあるＲＡＷデータの選択合成処理を行い、処理結果のデータをＲＡＭ１１３に格納する。また、撮影画像に係るデータ処理手段を構成する第２ＰＤ選択合成部１５１は、右目用画像データを生成する右目選択合成モードと、左目用画像データを生成する左目選択合成モードを有する。ＣＰＵ１０９が右目選択合成モードでの動作を指示した場合、第２ＰＤ選択合成部１５１は、全ＰＤ−ＲＡＷデータまたは両目用ＲＡＷデータから右目用ＲＡＷデータの取得に必要なＰＤの出力を選択して合成処理を行う。またＣＰＵ１０９が左目選択合成モードでの動作を指示した場合、第２ＰＤ選択合成部１５１は、全ＰＤ−ＲＡＷデータまたは両目用ＲＡＷデータから左目用ＲＡＷデータの取得に必要なＰＤの出力を選択して合成処理を行う。本実施形態では、ＲＡＷデータについて、フレームメモリ１０８またはＲＡＭ１１３を経由して第２ＰＤ選択合成部１５１へ入力しているが、映像信号処理部１０７よりＲＡＷデータを直接入力しても構わない。

現像処理部１１２は、ＣＰＵ１０９が読み出した、フレームメモリ１０８上またはＲＡＭ１１３上にある画素毎に合成されたＲＡＷデータに対して、現像パラメータ設定に基づいて画像処理を施す。現像パラメータとは、デジタル画像データの画質に関するパラメータであり、デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度、画像圧縮等に関するパラメータを含む。以下では、１つ以上の現像パラメータを用いてデジタル画像データの画質を調整または変更する処理を現像処理と呼ぶ。現像処理を施された各画像データは、例えば、ＹＵＶ４２２形式やＹＵＶ４１１形式の画像データとして、ＲＡＭ１１３に格納される。また、圧縮処理を含む現像処理を施された画像データは、例えば、ＪＰＥＧ形式の画像データとして、ＲＡＭ１１３に格納される。ＪＰＥＧは“Joint Photographic Experts Group”の略号である。ＲＡＭ１１３は、現像処理結果である画像データの他、ＣＰＵ１０９が各種処理を行う際に使用するデータを一時的に記憶する。

表示制御装置１１４は、液晶表示素子のＴＦＴ（薄膜トランジスタ）１１５を駆動し、撮像装置本体に搭載した表示部を制御する。また、表示制御装置１１４はＲＡＭ１１３に表示用の画像フォーマットで配置された画像データを、ビデオ出力端子１３２、Ｄ端子１３３、ＨＤＭＩ端子１３４等を介して外部表示装置へ出力する。表示用の画像データが配置されるＲＡＭ１１３をＶＲＡＭと呼ぶ。本実施形態に使用する表示装置はステレオ表示が可能である。ステレオ表示を行うために、ＶＲＡＭは、右目画像用ＶＲＡＭと左目画像用ＶＲＡＭを含む。表示画面上に、右目画像用ＶＲＡＭによる右目用画像データと、左目画像用ＶＲＡＭによる左目用画像データを配置することで、ステレオ表示が行われる。

ＵＳＢ制御装置１２７は、ＵＳＢ端子１２８を介して、撮像装置と外部装置との間の通信を制御する。ＬＡＮ制御装置１２９は、有線ＬＡＮ端子１３０または無線ＬＡＮインタフェース部１３１を介して、撮像装置と外部装置との間の通信を制御する。

動き検出部１６１は、図５に示すように、特徴量算出部６０１と、特徴量比較部６０２から構成され、ＲＡＭ１１３上での現像した画像データから動体の移動量を検出する。特徴量算出部６０１は、ＲＡＭ１１３上の左目用画像データまたは右目用画像データを読み込み、ＣＰＵ１０９が指定した画像上のエリア内における特徴量を算出する。例えば特徴量は、エリア内の画像出力の積分値やヒストグラムである。特徴量比較部６０２は、過去に算出した特徴量の情報と、現在のＲＡＭ１１３上の画像データを読み込み、特徴量の類似度が最も高くなる画像エリアの座標を算出する。

図１の位相差検出部１６２は、ＲＡＭ１１３上にある、現像した右目用画像と左目用画像の各データから位相差を検出する。図６を参照して位相差検出を説明する。図６（Ａ）は、左目用画像および右目用画像において位相差検出部１６２が取得するラインデータの位置を示す。図６（Ｂ）、（Ｃ）は点光源の結像時のラインデータを例示し、被写体にピントが合った状態を（Ｂ）図、ピントが合っていない状態を（Ｃ）図に示す。横軸は、画素位置を表し、縦軸は出力レベルを表す。

まず、位相差検出部１６２は、ＣＰＵ１０９が指定したライン位置（Ｘ１,Ｙ）および（Ｘ２,Ｙ）をもとに、左目用画像と右目用画像の各データから、第１ラインデータと第２ラインデータを各々抽出する。第１ラインデータは左目用画像にて指定されるラインの画像データとし、第２ラインデータは右目用画像にて指定されるラインの画像データとする。次に、位相差検出部１６２は、第１ラインデータおよび第２ラインデータを比較することで、位相差を算出する。図６（Ｂ）に示す合焦状態の場合、第１ラインデータと第２ラインデータは互いに重なっている。これに対し、図６（Ｃ）に示す非合焦状態の場合、第１ラインデータと第２ラインデータは位相差をもち、画素位置がずれている。このずれ量（Δｘ参照）を算出することにより合焦状態からどれだけずれているかが判明する。この方法で位相差が検出され、検出結果に基づいて駆動部１６３がフォーカスレンズ１０２を移動させ、焦点調節制御が行われる。なお、撮像光学系の駆動部１６３は、フォーカスレンズ１０２等の可動レンズを駆動するレンズ駆動部と、絞り１０３を駆動する絞り駆動部を備える。

次に撮像装置の動作を説明する。
ユーザがメインスイッチ１１６をオンにすると、ＣＰＵ１０９は所定のプログラムを実行する。またメインスイッチ１１６をオフにすると、ＣＰＵ１０９が所定のプログラムを実行し、カメラをスタンバイモードに設定する。レリーズボタンの操作によって、第１スイッチ１１７は第１ストローク（半押し状態）でオン状態になり、第２スイッチ１１８はレリーズボタンの第２ストローク（全押し状態）でオン状態となる。第１スイッチ１１７がオン状態となった場合、ＣＰＵ１０９は撮影準備処理（焦点検出処理等）を実行する。第２スイッチ１１８がオン状態となった場合、ＣＰＵ１０９は撮影開始を検知し、撮影動作を実行する。以下、第１スイッチ１１７をＳＷ１と表記し、第２スイッチ１１８をＳＷ２と表記する。

また、ＣＰＵ１０９は上下左右選択ボタン１４１、設定ボタン１４２のユーザ操作に従い、撮像装置の動作状態に応じた制御を行う。例えば、ライブビュー中に、ユーザは上下左右選択ボタン１４１を操作し、ＡＦ対象とする被写体を指定し、さらに設定ボタン１４２を操作してＡＦ動作の開始を装置に指示できる。またユーザは、現像パラメータの設定について、現像パラメータ変更ボタン１４３を使用したメニュー操作により、グラフィカルユーザインタフェースで確認および設定を行える。また、ＣＰＵ１０９はライブビュー開始／終了ボタン１４４の操作を受け付けて、定期的（例えば、１秒に３０回）に撮像素子１０５からＲＡＷデータの取り込み処理を行い、現像処理されたデータをＶＲＡＭへ配置させる。これにより、撮像素子１０５から取り込んだ画像がリアルタイムに表示される。ライブビューの動作中にユーザがライブビュー開始／終了ボタン１４４を操作すると、ライブビューが終了する。

次に、図７および図８のフローチャートを参照して、第１実施形態に係る撮像装置におけるライブビュー撮影処理について説明する。以下の処理はＣＰＵ１０９が所定の制御プログラムを実行することにより実現される。
図７のＳ１００で処理を開始すると、次のＳ１０１に進み、レリーズボタンの操作によるＳＷ２のオン・オフ状態が判定される。ＳＷ２がオン状態の場合、Ｓ１０２へ進み、ＳＷ２がオフ状態の場合、Ｓ１１０へ進む。Ｓ１０２でＣＰＵ１０９は第１ＰＤ選択合成部１０６のモードを静止画モードに設定し、Ｓ１０３へ処理を進める。Ｓ１０３では現時点での撮像パラメータで撮影動作が開始し、フレームメモリ１０８上に全ＰＤ−ＲＡＷデータが取得され、Ｓ１０４へ進む。Ｓ１０４において、フレームメモリ１０８上の全ＰＤ−ＲＡＷデータに対して、ＲＡＷ画像用の現像パラメータを用いて現像処理部１１２が現像を行い、現像後の画像データがＲＡＭ１１３に配置される。次のＳ１０５にて第２ＰＤ選択合成部１５１のモードが右目選択合成モードに設定され、Ｓ１０６へ進む。Ｓ１０６にて、フレームメモリ１０８上の全ＰＤ−ＲＡＷデータが第２ＰＤ選択合成部１５１へ入力され、ＲＡＭ１１３へ右目用のＲＡＷデータが出力される。さらに、ＲＡＭ１１３上の右目用のＲＡＷデータに対して、ＪＰＥＧ画像用の現像パラメータを用いて現像処理部１１２が現像を行い、現像後の画像データがＲＡＭ１１３へ配置されて、Ｓ１０７へ進む。

Ｓ１０７でＣＰＵ１０９は第２ＰＤ選択合成部１５１のモードを左目選択合成モードに設定し、Ｓ１０８へ処理を進める。Ｓ１０８にて、フレームメモリ１０８上の全ＰＤ−ＲＡＷデータが第２ＰＤ選択合成部１５１へ入力され、ＲＡＭ１１３へ左目用のＲＡＷデータが出力される。さらに、ＲＡＭ１１３上の左目用のＲＡＷデータに対して、ＪＰＥＧ画像用の現像パラメータを用いて現像処理部１１２が現像を行い、現像後の画像データがＲＡＭ１１３へ配置されて、Ｓ１０９へ進む。Ｓ１０９では、Ｓ１０４で生成したＲＡＷ画像データと、Ｓ１０６で生成した右目用のＪＥＰＧ画像データと、Ｓ１０８で生成した左目用のＪＰＥＧ画像データが、Ｅｘｉｆ規格に従う１つのファイルとして生成される。このファイルはカード入出力部１１９を経てメモリカード１２１に保存される。Ｅｘｉｆ規格はデジタルスチルカメラ用画像ファイルフォーマット規格である。

Ｓ１０１からＳ１１０に進んだ場合、ライブビューが開始されていない状態においてライブビュー開始／終了ボタン１４４が操作されたか否かをＣＰＵ１０９が判定する。ライブビュー開始／終了ボタン１４４がオン状態であると判定された場合、Ｓ１１１へ進み、ライブビュー開始／終了ボタン１４４がオン状態でない場合、Ｓ１０１へ戻る。また、ライブビューが開始されている状態において、ライブビュー開始／終了ボタン１４４が操作されてオン状態になるとＳ１０１へ戻り、操作されない場合、Ｓ１１１へ進む。

Ｓ１１１にてＣＰＵ１０９は、第１ＰＤ選択合成部１０６のモードをステレオライブビューモードに設定し、Ｓ１１２へ処理を進める。ステレオライブビューモードでの画素出力については、図２（Ｂ）において、右目用画像データを生成するために、ＰＤ４０２ａ、４０２ｄ、４０２ｇの出力に対して加算平均演算が行われる。また、左目用画像データを生成するために、ＰＤ４０２ｃ、４０２ｆ、４０２ｉの出力に対して加算平均演算が行われる。これら２つの値が画素の出力値となる。このように複数のＰＤ出力を合成して２つの値を画素出力値とすることで、データ量を低減できる。次のＳ１１２にてライブビュー用の撮像パラメータで撮影動作が開始し、フレームメモリ１０８上に両目用ＲＡＷデータが取得される。Ｓ１１３にて第２ＰＤ選択合成部１０６のモードが左目選択合成モードに設定され、Ｓ１１４へ進む。Ｓ１１４では、フレームメモリ１０８上の両目用ＲＡＷデータが第２ＰＤ選択合成部１０６へ入力され、これにより、ＲＡＭ１１３上に左目用のＲＡＷデータが取得される。さらに、表示用の現像パラメータを用いて現像処理部１１２が現像を行い、現像後の画像データが左目用のＶＲＡＭへ配置される。次のＳ１１５にて第２ＰＤ選択合成部１０６のモードが右目選択合成モードに設定され、Ｓ１１６へ進む。Ｓ１１６にてフレームメモリ１０８上に右目用ＲＡＷデータが取得され、表示用の現像パラメータを用いて現像処理部１１２が現像を行い、現像後の画像データが右目用のＶＲＡＭへ配置される。次のＳ１１７では動き検出処理が行われ、Ｓ１１０へ戻る。

次に、図８のフローチャートを参照して、Ｓ１１７の動き検出処理について説明する。
Ｓ２００で動き検出処理が開始すると、次のＳ２０１でＣＰＵ１０９は動き検出モードがＯＮになっているか否かを判定する。判定の結果、動き検出モードがＯＦＦの場合、Ｓ２０２に進み、被写***置の指定があるか否かについて判定される。被写***置の指定では、上下左右選択ボタン１４１と設定ボタン１４２を用いたユーザの操作入力をＣＰＵ１０９が判定する。被写***置の指定がない場合、Ｓ２０３に進み、動き検出処理を終了する。一方、Ｓ２０２において、被写***置の指定ありと判定された場合、Ｓ２０４に進む。

Ｓ２０４でＣＰＵ１０９は動き検出モードをＯＮに設定し、指定された被写***置の中心座標のデータをメモリに保存する。以下では撮影画面に設定する２次元座標軸をｘ軸およびｙ軸と定義し、指定された被写***置の中心座標を（ｘ_Ｔ,ｙ_Ｔ）とする。次のＳ２０５でＣＰＵ１０９は、位相差検出部１６２に対して、検出ラインの端点（ｘ_Ｔ−ａ，ｙ_Ｔ）および（ｘ_Ｔ＋ａ，ｙ_Ｔ）を指定する。ａの値は任意であるが、極端に大きな値では遠近競合を惹き起こすおそれがあるため、画像の水平画素数の１／４程度が望ましい。位相差検出部１６２は、現像後の左目用画像と右目用画像の各データにおいて、指定されたライン位置を比較して位相差Δｘを算出する。ＣＰＵ１０９は得られたΔｘを用いて、左目用画像での被写体中心座標（ｘ_Ｌ,ｙ_Ｌ）を以下のように算出する。
（ｘ_Ｌ,ｙ_Ｌ）＝（ｘ_Ｔ＋Δｘ／２，ｙ_Ｔ）
この座標データはメモリに保存されて、Ｓ２０６に進む。

Ｓ２０６でＣＰＵ１０９は、動き検出部１６１に対して、左目用画像での被写体中心座標（ｘ_Ｌ,ｙ_Ｌ）を中心とした矩形エリアを指定する。次に、動き検出部１６１は、左目用画像上で指定された矩形エリアにおける、被写体特徴量を検出してこれをメモリに保存する。次のＳ２０７でＣＰＵ１０９は、Ｓ２０５で求めた位相差Δｘを用いて、合焦位置までのレンズ駆動量を算出し、フォーカスレンズ１０２の駆動を駆動部１６３のレンズ駆動部に指示する。フォーカスレンズ１０２の移動により焦点調節制御が行われ、Ｓ２０３に進む。

また、Ｓ２０１において、動き検出モードがＯＮであると判定された場合、Ｓ２０８に進む。Ｓ２０８でＣＰＵ１０９は、過去に更新した、左目用画像での被写体特徴量および被写体中心座標（ｘ_Ｌ,ｙ_Ｌ）を動き検出部１６１に通知する。動き検出部１６１は、左目用画像データを読み込み、被写体移動量（Δｕ,Δｖ）を算出する。Δｕは、ｘ軸方向における被写体像の位置変化量であり、Δｖは、ｙ軸方向における被写体像の位置変化量である。Ｓ２０９に進み、ＣＰＵ１０９は、被写体移動量（Δｕ,Δｖ）に基づいて動き検出の正否を判定する。被写体の動きが激しい場合や、被写体が画角外に出た場合等では、動き検出が難しくなる。そこで、被写体移動量に対して上限を設け、（Δｕ,Δｖ）の各成分が上限に対応する閾値を超えた場合、ＣＰＵ１０９は動き検出の正否判定結果をＮＧとして、Ｓ２１０に処理を進める。Ｓ２１０でＣＰＵ１０９は動き検出モードをＯＦＦに設定し、Ｓ２０３へ処理を進める。

一方、Ｓ２０９にて被写体移動量（Δｕ,Δｖ）の各成分が閾値以下の場合、ＣＰＵ１０９は、動き検出が成功したと判断し（「ＯＫ」参照）、Ｓ２１１に処理を進める。Ｓ２１１では、ＣＰＵ１０９が被写体移動量（Δｕ,Δｖ）から、左目用画像での被写体中心座標を以下のように更新する。
（ｘ_Ｌ,ｙ_Ｌ）＝（ｘ_Ｌ＋Δｕ，ｙ_Ｌ＋Δｖ）

元の位置座標値に対する被写体移動量（Δｕ,Δｖ）の加算により、被写体中心座標は移動後の値となる。さらに、ＣＰＵ１０９は、更新した（ｘ_Ｌ,ｙ_Ｌ）での被写体特徴量を算出するように、動き検出部１６１に指示し、得られた被写体特徴量のデータを更新して、Ｓ２１２に進む。Ｓ２１２でＣＰＵ１０９は、位相差検出部１６２に対して、検出ラインの端点（ｘ_Ｌ−ａ，ｙ_Ｌ）および（ｘ_Ｌ＋ａ，ｙ_Ｌ）を指定する。ここでｙ軸成分にｙ_Ｌを用いる理由は、左目用画像と右目用画像とで被写***置が垂直方向に関して一致するためである。位相差検出部１６２は、左目用画像と右目用画像の各データについて、指定されたライン位置を比較して位相差Δｘを算出し、Ｓ２１３に進む。

Ｓ２１３でＣＰＵ１０９は、得られた位相差Δｘを用いて被写体中心座標（ｘ_Ｔ,ｙ_Ｔ）を以下のように算出する。
（ｘ_Ｔ,ｙ_Ｔ）＝（ｘ_Ｌ＋Δｘ／２，ｙ_Ｌ）
この座標データはメモリに保存され、Ｓ２１４に進む。Ｓ２１４でＣＰＵ１０９は位相差の有無を判定する。ここで、位相差の判定については、Δｘがゼロであるか否かにより行ってもよいし、またΔｘが所定の閾値を超えた場合に位相差ありと判定してもよい。または、Δｘのデータを複数のフレーム分に亘って保持しておき、複数のΔｘの結果から位相差の有無を判定してもよい。Ｓ２１４にて位相差ありと判定された場合、Ｓ２０７に進み、また位相差なしと判定された場合、Ｓ２０３に進む。

なお、前述の動き検出処理では左目用画像を基準としたが、右目用画像を基準とした場合でも同様の処理を行うことができる。
第１実施形態によれば、ライブビューにおいてステレオ表示をする際に、動き検出を行いつつ連続的なＡＦ動作を実現できる。

［第２実施形態］
次に本発明の第２実施形態を説明する。なお、第１実施形態で説明した、図１に示す各部については説明を省略し、以下では、第１実施形態との相違点を説明する。
撮像装置２００は、バス１５０に接続したコントラスト評価値取得部１８１を備える。コントラスト評価値取得部１８１は、ＲＡＭ１１３上の左目用画像データまたは右目用画像データを読み込み、ＣＰＵ１０９が指定した画像上のエリア内におけるコントラスト評価値を算出する。コントラスト評価値は、画像出力の最大値と最小値との比より算出され、合焦近傍の画像に対して評価値が高くなるという特徴がある。

以下、図７と図９を参照して撮像装置２００におけるライブビュー撮影処理について説明する。なお、図７のＳ１００からＳ１１６までの処理は、第１実施形態の場合と同様であるため、Ｓ１１７に示す動き検出処理について、図９を参照して説明する。
Ｓ３００において動き検出処理が開始し、Ｓ３０１に進む。Ｓ３０１からＳ３０６の処理は、図８に示すＳ２０１からＳ２０６の処理と同様であるため、それらの説明を省略する。
Ｓ３０７でＣＰＵ１０９は、コントラスト評価値取得部１８１に対して、左目用画像での被写体中心座標（ｘ_Ｌ,ｙ_Ｌ）を中心とした矩形エリアを指定する。次に、コントラスト評価値取得部１８１は、左目用画像上に指定された矩形エリアにおける、被写体像のコントラスト評価値を算出してメモリに保存し、Ｓ３０８に進む。Ｓ３０８でＣＰＵ１０９は、Ｓ３０５で求めた位相差Δｘを用いて合焦位置までのレンズ駆動量を算出し、駆動部１６３のレンズ駆動部にフォーカスレンズ１０２の駆動を指示する。そしてＳ３０３に進み、動き検出処理を終了する。

Ｓ３０９からＳ３１２の処理は、図８に示すＳ２０８からＳ２１１の処理と同様であるため、それらの説明を省略する。
Ｓ３１３でＣＰＵ１０９は、コントラスト評価値取得部１８１に対して、左目用画像での被写体中心座標（ｘ_Ｌ,ｙ_Ｌ）を中心とした矩形エリアを指定する。次に、コントラスト評価値取得部１８１は、左目用画像上に指定された矩形エリアにおける、被写体像のコントラスト評価値を算出してＳ３１４に進む。Ｓ３１４でＣＰＵ１０９は、Ｓ３１３で求めたコントラスト評価値を、過去に保存しておいたコントラスト評価値と比較する。過去のコントラスト評価値に比べて、現時点でのコントラスト評価値が低下した場合、Ｓ３１５に進む。Ｓ３１５でＣＰＵ１０９は、位相差検出部１６２に対して、検出ラインの端点（ｘ_Ｌ−ａ，ｙ_Ｌ）および（ｘ_Ｌ＋ａ，ｙ_Ｌ）を指定する。位相差検出部１６２は、左目用画像と右目用画像における指定されたライン位置でのデータを比較し、位相差Δｘを算出してＳ３１６に進む。Ｓ３１６でＣＰＵ１０９は、Ｓ３１３で取得したコントラスト評価値をメモリに保存し、過去に取得したコントラスト評価値を現在の値で上書きすることにより更新する。そして、Ｓ３１８に進む。

一方、Ｓ３１４において、過去のコントラスト評価値に比べて、現時点でのコントラスト評価値が低下していなかった場合、Ｓ３１７に進む。コントラスト評価値が低下していないということは、被写体が光軸方向へ動いていないことを意味する。すなわち、位相差検出処理を行わなくてもよい。よって、Ｓ３１７では位相差検出処理を行わず、位相差Δｘをゼロに設定してメモリに保存する処理が行われ、Ｓ３１６に進む。Ｓ３１８およびＳ３１９の処理は、図８のＳ２１３およびＳ２１４の処理と同様である。

第２実施形態では、第１実施形態の効果に加えて、コントラスト評価値を監視し続けることで、不要な位相差検出処理を省略できる。動き検出処理にてコントラスト評価値が低下していないと判定された場合、位相差検出処理を行う必要がないので、ＣＰＵ１０９の処理負荷や、ＲＡＭ１１３へのアクセス頻度を低減できる。

１００，２００ 装置本体
１０５ 撮像素子
１０６ 第１ＰＤ選択合成部
１０９ ＣＰＵ
１５１ 第２ＰＤ選択合成部
１６１ 動き検出部
１６２ 位相差検出部
１８１ コントラスト評価値取得部
４０１ マイクロレンズ
４０２ａ〜ｉ フォトダイオード
６０１ 特徴量算出部
６０２ 特徴量比較部

Claims (9)

1. １つのマイクロレンズに対して撮像光学系を通過した光束を受光して光電変換する光電変換部を複数有し、第１の視点の画像データと第２の視点の画像データとを出力可能である撮像素子を備える撮像装置であって、
   前記第１の視点の画像データまたは前記第２の視点の画像データから被写体の動きを検出する動き検出手段と、
   前記第１の視点の画像データと前記第２の視点の画像データとから第１の視点の画像と第２の視点の画像との位相差に対応する情報を取得する位相差検出手段と、
   前記位相差検出手段によって検出される位相差に基づいて焦点調節制御を行う制御手段と、を備え、
   前記位相差検出手段は、前記第１及び第２の視点の画像データの、前記動き検出手段で検出された動きに基づいて決定される各々の領域の画像を比較することで、前記位相差に対応する情報を取得することを特徴とする撮像装置。
2. 前記制御手段は、前記動き検出手段によって被写体の動きが検出され、かつ前記位相差が第１の場合に焦点調節制御を行い、 前記動き検出手段が被写体の動きを検出しても、前記位相差が第１の場合よりも小さい第２の場合には、焦点調節制御を行わないことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子により取得した画像データを表示する表示手段を有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記動き検出手段は被写体の動きを検出する場合、所定の被写体像の画角における移動量を検出することによって行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記第１の視点の画像データと前記第２の視点の画像データとから立体表示を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１の視点の画像データまたは前記第２の視点の画像データからコントラスト評価値を取得するコントラスト評価値取得手段をさらに備え、
   前記コントラスト評価値取得手段により取得した前記コントラスト評価値が、保存しておいたコントラスト評価値に比べて低下した場合、前記位相差検出手段によって前記位相差の検出が行われることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記位相差検出手段に対して前記第１の視点の画像データおよび前記第２の視点の画像データに対する検出ラインを指定し、
   前記位相差検出手段は、指定された検出ラインの位置にて画像データを比較して位相差を検出し、
   前記制御手段は、検出された前記位相差から被写***置を算出することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記動き検出手段によって検出された被写体の移動量が閾値以下である場合、前記移動量から第１の視点の画像または第２の視点の画像における被写***置の中心座標を算出し、該中心座標での被写体特徴量の算出を前記動き検出手段に指示することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. １つのマイクロレンズに対して撮像光学系を通過した光束を受光して光電変換する光電変換部を複数有し、第１の視点の画像データと第２の視点の画像データとを出力可能である撮像素子を備える撮像装置の制御方法であって、
   前記第１の視点の画像データまたは前記第２の視点の画像データから被写体の動きを検出する動き検出ステップと、
   前記第１の視点の画像データと前記第２の視点の画像データとから第１の視点の画像と第２の視点の画像との位相差に対応する情報を取得する位相差検出ステップと、
   前記位相差検出ステップにて検出される位相差に基づいて焦点調節制御を行う制御ステップと、を有し、
   前記位相差検出ステップでは、前記第１及び第２の視点の画像データの、前記動き検出ステップで検出された動きに基づいて決定される各々の領域の画像を比較することで、前記位相差に対応する情報を取得することを特徴とする撮像装置の制御方法。
   

Images