JP2010130435A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】静止画像の本撮影前に動画像を安定して表示させつつ、静止画像の本撮影に必要な露出量を確実に取得することが可能な撮像装置及び撮像方法を提供すること。
【解決手段】第１の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と、第１の光学系と異なる第２の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と異なる第２の撮像素子と、静止画像の本撮影前に、第１の撮像素子で変換された電気信号に基づいて動画像用の画像信号を生成する第１の画像信号処理部と、静止画像の本撮影前に、第２の撮像素子で段階露出がされるように露出を制御する露出制御部と、段階露出によって得られる第２の撮像素子で変換された電気信号に基づいて、静止画像の本撮影時の露出量を算出する露出量算出部とを備える。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルスチルカメラやビデオカメラ等の撮像装置が撮影する撮影シーンには、光の当たり方などによって、被写体の最も明るい部分と最も暗い部分の比率で表されるダイナミックレンジが広い場合がある。このとき、許容できるダイナミックレンジが狭い撮像素子を用いて撮影をした場合、被写体を撮影シーンどおりに撮影することができない。このとき、撮像装置は適正な露出ではないため、撮影された結果得られる画像は、暗部が黒くつぶれたり、明部が白く飛んだりする。

ところで、撮像装置には、複数の撮像素子が設けられ、それぞれの撮像素子に対応して複数の撮像系を有するものがある。例えば、特許文献１の撮像装置は、ライブビュー表示用の撮像系と、記録用の撮像系を別々に有し、ライブビュー表示用の撮像系で得られた画像でライブビュー表示用の撮影シーンを判別し、記録用の撮像系で得られた画像で記録用の撮影シーンを判別する。

特開２００７−２８８２４５号公報

ダイナミックレンジが狭い撮像装置を用いて被写体を撮影する場合に、ダイナミックレンジを拡大する方法として、以下のものが知られている。例えば（１）ガンマ、ニーなどの非線形処理、（２）非線形な撮像装置、（３）特性の異なる撮像素子からの画像合成、（４）１つの撮像素子から得られた画像に対する画像信号処理、合成処理などがある。
しかし、撮像装置からのもとの画像入力データのダイナミックレンジが狭いため、上記（１）又は（４）で処理するには限界があるという問題があった。

また、露出の異なる複数枚の画像を合成する合成処理でダイナミックレンジを拡大する方法は、従来、それぞれ撮像した時間が異なる画像を合成していたため、動体を被写体とした撮影や、手振れ等の影響を受けた撮影では、高画質に合成することが困難であった。また、複数の画像のそれぞれで露出を変更して撮影することになるため、ライブビュー表示におけるＥＶＦやＬＣＤの明るさが、明暗を繰り返してしまうという問題や、被写体像の表示において連続性を保つことができないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、静止画像の本撮影前に動画像を安定して表示させつつ、静止画像の本撮影に必要な露出量を確実に取得することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、第１の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と、第１の光学系と異なる第２の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と異なる第２の撮像素子と、静止画像の本撮影前に、第１の撮像素子で変換された電気信号に基づいて動画像用の画像信号を生成する第１の画像信号処理部と、静止画像の本撮影前に、第２の撮像素子で段階露出がされるように露出を制御する露出制御部と、段階露出によって得られる第２の撮像素子で変換された電気信号に基づいて、静止画像の本撮影時の露出量を算出する露出量算出部とを備える撮像装置が提供される。

かかる構成により、静止画像の本撮影前に、第１の撮像素子で変換された電気信号に基づいて動画像用の画像信号が生成され、静止画像の本撮影前に、第２の撮像素子で段階露出がされるように露出が制御される。また、段階露出によって得られる第２の撮像素子で変換された電気信号に基づいて、静止画像の本撮影時の露出量が算出される。

上記算出された露出量に基づいて、同一タイミングにおいて、第１の撮像素子及び第２の撮像素子のいずれか一方をハイライト基準の露出量に設定し、他方をダーク基準の露出量に設定する露出量設定部と、設定された露出量に基づいて静止画像の本撮影がされたとき、第１の撮像素子で変換された電気信号に基づいて静止画像用の第１の画像信号と、第２の撮像素子で変換された電気信号に基づいて第１の画像信号と同一タイミングの静止画像用の第２の画像信号を生成する第２の画像信号処理部とを更に備える。

上記算出された露出量に基づいて、同一タイミングにおいて、第１の撮像素子及び第２の撮像素子の両方を同一の露出量に設定する露出量設定部と、設定された露出量に基づいて静止画像の本撮影がされたとき、第１の撮像素子で変換された電気信号に基づいて静止画像用の第１の画像信号と、第２の撮像素子で変換された電気信号に基づいて第１の画像信号と同一タイミングの静止画像用の第２の画像信号を生成する第２の画像信号処理部とを更に備える。

上記第１の画像信号と第２の画像信号との間の位置ずれを検出する位置ずれ検出部と、検出された位置ずれを用いて第１の画像信号と第２の画像信号を合成する合成部とを更に備える。

また、上記課題を解決するために、本発明の別の観点によれば、第１の撮像素子が第１の光学系を介して受けた被写体からの光を電気信号に変換するステップと、第１の撮像素子と異なる第２の撮像素子が第１の光学系と異なる第２の光学系を介して受けた被写体からの光を電気信号に変換するステップと、静止画像の本撮影前に、第１の撮像素子で変換された電気信号に基づいて動画像用の画像信号を生成するステップと、静止画像の本撮影前に、第２の撮像素子で段階露出がされるように露出を制御するステップと、段階露出によって得られる第２の撮像素子で変換された電気信号に基づいて、静止画像の本撮影時の露出量を算出するステップとを備える撮像方法が提供される。

本発明によれば、静止画像の本撮影前に動画像を安定して表示させつつ、静止画像の本撮影に必要な露出量を確実に取得することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（一実施形態の構成）
まず、本発明の一実施形態に係る撮像装置１００について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。撮像装置１００は、例えば、２つの光学系及び撮像系を備えており、それぞれの系統で被写体を撮影して、それぞれで画像を取得することができる。例えば、ライブビュー表示をしているときは、１つの系統でライブビュー用の画像を取得し、他の系統で測光をする。また、光学系が左右に配置されて撮影をし、同一タイミングで画像を取得することで、ステレオ画像（立体的に被写体を見ることが可能な平面画像）を生成することができる。

撮像装置１００は、例えば、結像光学系１０１、１０２と、イメージセンサ１０３、１０４と、ＳＤＲＡＭ１０５と、メモリカード１０７と、ＲＯＭ１０９と、レリーズボタン１１５と、タイミングジェネレータ１１７と、ＤＳＰ１２１、１２２と、フラッシュコントローラ１３１と、フラッシュ１３３と、ＬＣＤコントローラ１３５と、ＬＣＤ１３７等からなる。

結像光学系１０１、１０２は、第１の光学系、第２の光学系の一例であって、外部の光情報をイメージセンサ１０３、１０４に結像させる光学系システムであり、被写体からの光をイメージセンサ１０３、１０４まで透過させる。結像光学系１０１からの光がイメージセンサ１０３に到達し、結像光学系１０２からの光がイメージセンサ１０４に到達する。結像光学系１０１、１０２は、例えば、ズームレンズ、絞り、フォーカスレンズなどからなる。ズームレンズは、焦点距離を変化させて画角を変えるレンズであり、絞りは、透過する光量を調節する機構である。フォーカスレンズは、一側から他側に、又は他側から一側に移動することでイメージセンサ１０３、１０４の撮像面に被写体像を合焦させる。

イメージセンサ１０３、１０４は、第１の撮像素子、第２の撮像素子（光電変換素子）の一例であり、結像光学系１０１、１０２を透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成される。各素子は受光した光に応じた電気信号を生成する。イメージセンサ１０３、１０４は、ＣＣＤ（charge coupled device）センサー、ＣＭＯＳ（complementary metal oxide semiconductor）センサー等を適用することができる。

なお、イメージセンサ１０３、１０４の露光時間を制御するため、非撮影時に光を遮って撮影時のみ光が当たるように、メカニカルシャッター（図示せず。）を適用することができる。また、これに限定されず、電子シャッター（図示せず。）を適用してもよい。なお、メカニカルシャッター又は電子シャッターの動作は、ＤＳＰ１２１、１２２に接続されたレリーズボタン１１５（操作部材）のスイッチによって行われる。

イメージセンサ１０３、１０４は、更にＣＤＳ／ＡＭＰ部、Ａ／Ｄ変換部を有する。ＣＤＳ／ＡＭＰ部（相関二重サンプリング回路（correlated double sampling）／増幅器（amplifier））は、イメージセンサ１０３、１０４から出力された電気信号に含まれる低周波ノイズを除去すると共に、電気信号を任意のレベルまで増幅する。Ａ／Ｄ変換部は、ＣＤＳ／ＡＭＰ部から出力された電気信号をデジタル変換してデジタル信号を生成する。Ａ／Ｄ変換部は、生成したデジタル信号を画像信号処理部１４１に出力する。

ＳＤＲＡＭ（synchronous DRAM）１０５、１０６は、撮影した画像の画像データを一時的に保存する。ＳＤＲＡＭ１０５、１０６は、複数の画像の画像データを記憶できる記憶容量を有している。また、ＳＤＲＡＭ１０５、１０６は、それぞれＤＳＰ１２１、１２２に接続される。ＳＤＲＡＭ１０５、１０６への画像の読み書きは、メモリコントローラ１５１によって制御される。
なお、ＳＤＲＡＭ１０５には、ＶＲＡＭとしての領域が確保される。ＶＲＡＭは、画像表示用のメモリであり、複数のチャネルを有する。ＶＲＡＭは、画像表示用の画像データの入力と、ＬＣＤコントローラ１３５への画像データの出力を同時に実行できる。ＬＣＤ１３７の解像度や最大発色数はＶＲＡＭの容量に依存する。

メモリカード１０７は、例えば、フラッシュメモリ等の半導体記憶媒体である。撮影によって生成された画像データがメモリカード１０７に記録されたり、メモリカード１０７から読み出されたりする。なお、記録媒体は、フラッシュメモリ等のメモリカード１０７に限定されず、例えば、光ディスク（ＣＤ、ＤＶＤ、ブルーレイディスク等）、光磁気ディスク、磁気ディスクなどでもよい。メモリカード１０７は、撮像装置１００から着脱可能に構成されてもよい。ＲＯＭ１０９は、ＤＳＰ１２１、１２２の動作プログラムを保存する。

レリーズボタン１１５は、ユーザーによる半押し、全押し、解除が可能である。レリーズボタン１１５は、半押し（Ｓ１操作）されたときフォーカス制御開始の操作信号を出力し、半押し解除でフォーカス制御が終了する。また、レリーズボタン１１５は、全押し（Ｓ２操作）されたとき、撮影開始の操作信号を出力する。
なお、撮像装置１００には、レリーズボタン１１５以外の操作部材（図示せず。）が設けられる。操作部材は、例えば、撮像装置１００に設けられた上下左右キー、電源スイッチ、モードダイアルなどである。操作部材は、ユーザーによる操作に基づいて操作信号をＤＳＰ１２１、１２２等に送る。

タイミングジェネレータ１１７は、イメージセンサ１０３、１０４やＣＤＳ／ＡＭＰ部にタイミング信号を出力し、イメージセンサ１０３、１０４を構成している各画素の露光期間の制御や、電荷の読み出し制御を行う。

ＤＳＰ１２１、１２２は、第１の画像信号処理部、第２の画像信号処理部の一例であり、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１００内に設けられた各構成要素の処理を制御する。ＤＳＰ１２１、１２２は、例えば、フォーカス制御や露出制御に基づいてドライバ（図示せず。）に信号を出力して結像光学系１０１、１０２を駆動させる。また、ＤＳＰ１２１、１２２は、操作部材（図示せず。）からの信号に基づいて撮像装置１００の各構成要素を制御する。なお、本実施形態においては、ＤＳＰ１２１、１２２は、図１に示すように、例えば、撮像系毎に設けられる。ＤＳＰ１２１、１２２が信号系の命令と操作系の命令とを別々に行うように個別に構成されている。

なお、図５に示すようにＤＳＰ２２１は、信号系の命令と操作系の命令とを１つのＣＰＵで行うとして１つだけのＣＰＵから構成されてもよい。図５は、本実施形態に係る撮像装置１００の変更例である撮像装置２００を示すブロック図である。詳細部分は、図１に示す撮像装置１００と同様であるため省略する。

フラッシュコントローラ１３１は、ＤＳＰ１２１から受けた信号に基づいて制御信号を生成し、生成した制御信号をフラッシュ１３３に送る。フラッシュ１３３は、本撮影時や本撮影前のフォーカス制御時に被写体に対して光を照射する。

ＬＣＤコントローラ１３５は、例えばエンコーダＬＣＤ制御部１６３から画像データを受けて、ＬＣＤ（liquid crystal display：液晶画面）１３７に画像を表示する。ＬＣＤ１３７は、撮像装置１００本体に設けられる。ＬＣＤ１３７が表示する画像は、例えば、ＳＤＲＡＭ１０５から読み出された撮影前の画像（ライブビュー表示）、撮像装置１００の各種設定画面や、撮像して記録された画像などである。本実施形態では、表示部としてＬＣＤ１３７、表示駆動部としてＬＣＤコントローラ１３５としたが、本発明はかかる例に限定されず、例えば有機ＥＬディスプレイ、その表示制御部などであってもよい。

次に、本実施形態に係る撮像装置１００のＤＳＰ１２１、１２２について説明する。図２は、本実施形態に係る撮像装置１００のＤＳＰ１２１、１２２を示すブロック図である。
ＤＳＰ１２１、１２２は、画像信号処理部１４１と、ＡＥ／ＡＦ／ＡＷＢ算出部１４２と、メモリコントローラ１５１と、画像合成処理部１５２と、対応点・特徴点検出部１５３と、画像相関検出部１５４と、シーン判別部１５５と、記憶媒体制御部１６１と、外部通信制御部１６２と、エンコーダＬＣＤ制御部１６３と、画像圧縮伸張処理部１６４と、ＣＰＵ１７１と、ＳＩＯ１７２と、Ｉ／Ｏポート１７３等からなる。

画像信号処理部１４１は、イメージセンサ１０３、１０４から画像信号を受け、イメージセンサ１０３、１０４のＡ／Ｄ変換部から出力されたデジタル信号に対して処理を施し、画像処理が可能となる画像信号を生成する。画像信号処理部１４１は、ＷＢ制御値、γ値、輪郭強調制御値などに基づいて、画像処理された画像信号を生成する。画像信号処理部１４１は、画像信号に基づいてＡＥ評価値、ＡＷＢ評価値及びＡＦ評価値を算出する。

ＡＥ／ＡＦ／ＡＷＢ算出部１４２は、画像信号処理部１４１で算出されたＡＥ（auto exposure：自動露光）評価値に基づいて、絞りの絞り量やシャッター速度を算出する。ＡＥ／ＡＦ／ＡＷＢ算出部１４２は、画像信号処理部１４１で算出されたＡＷＢ（auto white balance：自動ホワイトバランス）評価値に基づいて、例えば３原色の色信号のゲインを算出する。なお、ＡＥ評価値、ＡＷＢ評価値は、画像信号の輝度値に基づいて画像信号処理部１４１で算出されたものである。

露光制御・ＡＦ動作制御部１４３は、ＡＥ／ＡＦ／ＡＷＢ算出部１４２で算出された絞り量を制御信号として結像光学系１０１のドライバ（図示せず。）に出力する。ドライバは、露光制御・ＡＦ動作制御部１４３から受けた制御信号に基づいて駆動信号を生成する。露光制御・ＡＦ動作制御部１４３は、そのほか露光時間、ゲイン、イメージセンサ１０３、１０４の読出しモードによって露光を制御する。ゲインは、コントラスト値の算出に用いられる。イメージセンサ１０３、１０４の読出しモードとは、例えば、イメージセンサ１０３、１０４から画像データを読み出す際の信号処理モードであり、被写体像が暗いときは画素加算を行う、又は被写体像が明るいときは画素すべてをそのまま読み出すなどの処理である。露光制御・ＡＦ動作制御部１４３は、露出量設定部の一例である。

露光制御・ＡＦ動作制御部１４３は、フォーカス制御開始の操作信号を受けると、フォーカスレンズを一方向に移動する制御信号を生成して、生成した制御信号をドライバ１４３に出力する。露光制御・ＡＦ動作制御部１４３は、画像信号処理部１４１で算出されたＡＦ（auto focus：自動焦点）評価値に基づいて、フォーカスレンズの合焦位置を算出する。なお、ＡＦ評価値は、画像信号の輝度値に基づいて画像信号処理部１４１で算出されたものである。ＡＦ評価値は、例えば画像のコントラスト値であり、コントラスト値がピークとなったとき、被写体像がイメージセンサ１０３、１０４の撮像面で合焦していると判断する（コントラスト検出方式）。
メモリコントローラ１５１は、ＳＤＲＡＭ１０５、１０６への画像データの読み書きを制御する。なお、ＳＤＲＡＭ１０５、１０６は、ＤＲＡＭでもよい。

画像合成処理部１５２は、位置ずれ検出部及び合成部の一例であり、イメージセンサ１０３、１０４において同一又は異なるタイミングで撮影した２枚の画像を合成する。このとき、画像間の位置ずれ量を検出し、その位置ずれ量に基づいて合成処理する。
対応点・特徴点検出部１５３は、フレーム画像から特徴点を抽出し、フレーム画像間で対応点を見付け、画像間の対応付けを行なったり、対応点の追跡を行なったりする。
画像相関検出部１５４は、フレーム画像間の相関を算出する。画像相関検出部１５４は、対応点・特徴点検出部１５３で検出された特徴点が少ないときや対応点がとれないとき、画像間の対応付けを行なうことができる。
シーン判別部１５５は、対応点・特徴点検出部１５３や画像相関検出部１５４の検出結果から、撮影シーンが例えば風景、人物、スポーツ等いずれのシーンであるかを判別する。

記憶媒体制御部１６１は、メモリカード１０７への画像データの書き込み、又はメモリカード１０７に記録された画像データや設定情報などの読み出しを制御する。
外部通信制御部１６２は、ＰＣ、プリンタ等との外部機器と信号を送受信する。

エンコーダＬＣＤ制御部１６３は、画像表示用の画像データをエンコーダ処理して、ＬＣＤ１３７に表示可能なデータを生成する。

画像圧縮伸張処理部１６４は、圧縮処理前の画像信号を受けて、例えばＪＰＥＧ圧縮形式、又はＭＰＥＧ圧縮形式などの圧縮形式で画像信号を圧縮処理する。画像圧縮伸張処理部１６４は、圧縮処理で生成した画像データを例えば記憶媒体制御部１６１に送る。
ＣＰＵ１７１は、ＤＳＰ１２１、１２２の演算処理部及び制御部である。ＳＩＯ１７２又はＩ／Ｏポート１７３を介して外部と信号の送受信をする。

なお、撮像装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

上記の通り、本実施形態は、２つの光学系・撮像系を備える場合について説明したが、３以上の複数の光学系・撮像系を備えてもよい。そして、本実施形態の撮像装置１００は、複数の撮像系を用いて、同一又は異なるタイミングで画像を取得できる。また、本実施形態の撮像装置１００は、取得した画像間の相関度合いを算出する機能を持つ機能ブロックと、特定の形状を含む画像を抽出し物体認識（パターンマッチング）を行う機能ブロックと、認識結果から撮影シーンの判別をするアルゴリズムを有する機能ブロックを備える。また、本実施形態の撮像装置１００は、通常画像（ステレオ画像ではない平面画像）撮影シーケンスとステレオ画像撮影シーケンスの双方が可能である。

（一実施形態の動作）
次に、本実施形態に係る撮像装置１００の動作について説明する。本実施形態の撮像装置１００は、２つの光学系・撮像系を用いて、本撮影で、それぞれ露出パラメータは異なるが、同一タイミングで撮影した２枚の画像を合成する。そして、２次元画像を出力するモードでは、合成した結果により、１つの光学系・撮像系で撮影する場合に比べて、画像のダイナミックレンジを拡大することができる。

更に、ステレオ（３次元）画像を出力するモードでは、測光時の標準値を露出パラメータとしてそれぞれに同じ値を用いて、本撮影を行う。ステレオ画像撮影モードでは、ステレオ画像フォーマット（例えば標準規格）で記録媒体に画像データを記録する。

また、本撮影の事前のライブビュー表示において、２つの光学系・撮像系のうち一方の光学系・撮像系はＬＣＤ１３７に画像を出力することを主機能として作用し、他方の光学系・撮像系は本撮影のための測光を行うことを主機能として作用する。

［ダイナミックレンジ拡大モード］
次に、本実施形態に係る撮像装置１００をダイナミックレンジ拡大モードで使用する場合について説明する。図３は、本実施形態に係る撮像装置１００のダイナミックレンジ拡大モードにおける動作を示すフローチャートである。

ここでは、撮像装置１００がまずＬＣＤ１３７に被写体をライブビュー表示して、その後、レリーズボタン１１５が全押しされたときに本撮影が行われるという流れで説明する。また、図３中のＬは撮像装置１００の左側の光学系・撮像系（以下、Ｌ系という。）を示し、Ｒは撮像装置１００の右側の光学系・撮像系（以下、Ｒ系という。）を示す。本実施形態の光学系・撮像系は、左右ともに同一の性能（解像度等）を有する。

まず、Ｌ系は、ＥＶＦ（電子ビューファイダー）画像出力モードを駆動し、ＬＣＤ１３７でライブビュー表示を開始する（ステップＳ１０１）。Ｒ系は、測光モードを駆動し、Ｒ系のイメージセンサを用いて測光を開始する（ステップＳ１０１）。このとき、Ｒ系のフレームレートをＬ系のフレームレート以上に高く設定しておく。これにより、ＥＶＦの露出調整はＲ系で測定された基準測光値で設定することができる。

次に、Ｌ系は、例えば第ｎ番目のフレーム（第ｎフレーム）で取得した画像から特徴点を抽出する（ステップＳ１０２）。一方、Ｒ系は、例えば第ｎフレームで取得した画像で標準測光した結果からヒストグラムを算出する（ステップＳ１０２）。また、Ｌ系は、例えば第ｎ＋１フレームで取得した画像から特徴点を抽出し、ステップＳ１０２で抽出した特徴点と対応付けをして、特徴点の追跡をする（ステップＳ１０３）。一方、Ｒ系は、例えば第ｎ＋１フレームで取得した画像でハイライト基準測光した結果からヒストグラムを算出する（ステップＳ１０３）。

次に、Ｌ系は、抽出した特徴点や、特徴点の追跡結果から、撮影シーンを判別する（ステップＳ１０４）。例えば、風景、人物、スポーツなど予め記憶された撮影シーンの基準パターンと一致するか否かを判別して、該当する撮影シーンがあるとき、撮影シーンの種類を出力する。これにより、本撮影時に設定する撮影シーンに対応した撮影モードを決定することができ、撮影シーンに適した撮影を容易に行うことができる。Ｌ系は、抽出した特徴点や、特徴点の追跡結果から、例えば第ｎ＋２フレームで取得した画像を用いて、顔認識処理を行ってもよい。

一方、Ｒ系は、例えば第ｎ＋２フレームで取得した画像でダーク（シャドー）基準測光した結果からヒストグラムを算出する（ステップＳ１０４）。

次に、Ｒ系で算出された標準測光、ハイライト基準測光、ダーク基準測光によるヒストグラムに基づいて、本撮影時のダイナミックレンジを算出し、本撮影時に設定するＬ系とＲ系の露出パラメータを算出する。また、撮影シーンに対応した本撮影時に設定する撮影モードを決定する（ステップＳ１０５）。

そして、Ｌ系は、ハイライト基準の露出パラメータを設定し、Ｒ系は、ダーク基準の露出パラメータを設定する（ステップＳ１０６）。これにより、１つの撮像素子で撮影できるダイナミックレンジよりも広いダイナミックレンジで本撮影することが可能となる。そして、露出パラメータが設定された状態で、レリーズボタン１１５の押し下げが検知されたか否かを判断する（ステップＳ１０７）。押し下げが検知されたときは、ステップＳ１０８に進む。一方、押し下げが検知されるまでの間は、ステップＳ１０２〜Ｓ１０６を繰り返して測光や露出パラメータの再設定等を行う。

押し下げが検知されたときは、Ｌ系とＲ系の２系統は同一タイミングで画像データを出力して、画像信号処理部１４１に、Ｌ系からハイライト基準で撮影された画像データと、Ｒ系かちダーク基準で撮影された画像データが入力される（ステップＳ１０８）。

次に、画像相関検出部１５４が、ハイライト基準で撮影された画像データとダーク基準で撮影された画像データについて、パターンマッチングをする（ステップＳ１０９）。具体的には、２つの画像の相関を算出し、位置ずれを検出する。そして、Ｒ系においてハイライト基準で撮影された画像と、Ｌ系においてダーク基準で撮影された画像の２つの画像を合成する（ステップＳ１１０）。このとき、位置ずれが解消するように、２つの画像を合成することによって、ずれのない鮮明な平面画像を取得することができる。また、必要であれば、合成した画像の不要部分の切り出しを行う（ステップＳ１１１）。

左右の光学系は、それぞれ同一の被写体に対する角度が異なるため、互いに近接した位置であっても、左右の光学系・撮像系から得られる画像は、僅かに異なる。そのため、相関計算から位置ずれを検出して、位置ずれを解消するように合成すれば、たとえ僅かに異なる画像が得られたとしても、通常の平面画像を得ることができる。更に、本実施形態では、露出パラメータが異なる画像を同時に取得しているため、合成によってダイナミックレンジが広い画像を得ることができる。

また、本撮影の事前のライブビュー表示において、２つの光学系・撮像系のうち一方の光学系・撮像系はＬＣＤ１３７に画像を出力することを主機能として作用し、他方の光学系・撮像系は本撮影のための測光を行う。そのため、１つの光学系・撮像系で測光を行いつつ、ライブビュー表示用の画像を取得する場合と異なり、ライブビュー表示専用の画像を測光の系統とは別に取得できる。これにより、測光の影響による画像の明暗の繰り返しや、被写体像の表示における不連続性を防止することができる。

なお、上記説明では、本実施形態の光学系・撮像系は、左右ともに同一の性能を有するとしたが、画像処理によって左右画像の画質を同一にすることができれば、互いに解像度等が異なる光学系・撮像系であってもよい。また、上記説明では、Ｒ系は、標準測光→ハイライト基準測光→ダーク基準測光の順番で測光を行うとしたが、本発明はこの順番に限定されず、他の順番で測光を行ってもよい。

［ステレオ画像撮像モード］
次に、本実施形態に係る撮像装置１００をダイナミックレンジ拡大モードではなく、ステレオ画像撮像モードで使用する場合について説明する。図４は、本実施形態に係る撮像装置１００のステレオ画像撮像モードにおける動作を示すフローチャートである。

ここでは、撮像装置１００がまずＬＣＤ１３７に被写体をライブビュー表示して、その後、レリーズボタン１１５が全押しされたときに本撮影が行われるという流れで説明する。また、図３と同様に、図４中のＬは撮像装置１００の左側の光学系・撮像系（以下、Ｌ系という。）を示し、Ｒは撮像装置１００の右側の光学系・撮像系（以下、Ｒ系という。）を示す。本実施形態の光学系・撮像系は、左右ともに同一の性能（解像度等）を有する。

まず、Ｌ系は、ＥＶＦ（電子ビューファイダー）画像出力モードを駆動し、ＬＣＤ１３７でライブビュー表示を開始する（ステップＳ２０１）。Ｒ系は、測光モードを駆動し、Ｒ系のイメージセンサを用いて測光を開始する（ステップＳ２０１）。このとき、Ｒ系のフレームレートをＬ系のフレームレート以上に高く設定しておく。これにより、ＥＶＦの露出調整はＲ系で測定された基準測光値で設定することができる。

次に、Ｌ系は、例えば第ｎ番目のフレーム（第ｎフレーム）の画像を取得し、ＬＣＤ１３７に被写体をライブビュー表示させる（ステップＳ２０２）。一方、Ｒ系は、例えば第ｎフレームで取得した画像で標準測光した結果からヒストグラムを算出する（ステップＳ２０２）。また、Ｌ系は、例えば第ｎ＋１フレームの画像を取得し、ＬＣＤ１３７に被写体をライブビュー表示させる（ステップＳ２０３）。一方、Ｒ系は、例えば第ｎ＋１フレームで取得した画像でハイライト基準測光した結果からヒストグラムを算出する（ステップＳ２０３）。

次に、Ｌ系は、例えば第ｎ＋２フレームの画像を取得し、ＬＣＤ１３７に被写体をライブビュー表示させる（ステップＳ２０４）。一方、Ｒ系は、例えば第ｎ＋２フレームで取得した画像でダーク（シャドー）基準測光した結果からヒストグラムを算出する（ステップＳ２０４）。

次に、Ｒ系で算出された標準測光、ハイライト基準測光、ダーク基準測光によるヒストグラムに基づいて、本撮影時のダイナミックレンジを算出し、本撮影時に設定するＬ系とＲ系の露出パラメータを算出する（ステップＳ２０５）。

そして、Ｌ系、Ｒ系ともに、例えば標準測光値で露出パラメータを設定する（ステップＳ２０６）。なお、設定するパラメータは、Ｌ系、Ｒ系が同一であり、両方に適した値であれば、撮影環境に応じて標準測光値以外の値であってもよい。これにより、Ｒ系で測定された測光によって、本撮影のための露出パラメータを設定することができる。なお、ステップＳ２０２〜Ｓ２０６は省略して、標準測光値のみで露出パラメータを設定してもよい。

次に、露出パラメータが設定された状態で、レリーズボタン１１５の押し下げが検知されたか否かを判断する（ステップＳ２０７）。押し下げが検知されたときは、ステップＳ２０８に進む。一方、押し下げが検知されるまでの間は、ステップＳ２０２〜Ｓ２０６を繰り返して測光や露出パラメータの再設定等を行う。

押し下げが検知されたときは、Ｌ系とＲ系の２系統は同一タイミングで画像データを出力して、画像信号処理部１４１にＬ系で撮影された画像データとＲ系で撮影された画像データが入力される（ステップＳ２０８）。

次に、画像相関検出部１５４が、Ｌ系で撮影された画像データとＲ系で撮影された画像データについて、パターンマッチングをする（ステップＳ２０９）。具体的には、２つの画像の相関を算出し、位置ずれを検出する。そして、Ｒ系で撮影された画像と、Ｌ系で撮影された画像の２つの画像や、位置ずれ量、撮像装置が有する特性などに基づいて、ステレオ画像を生成するためのパラメータを算出する（ステップＳ２１０）。次に、ステレオ画像フォーマットで画像データ及びパラメータをメモリカード１０７等の記録媒体に記録する（ステップＳ２１１）。

左右の光学系は、それぞれ同一の被写体に対する角度が異なるため、左右の光学系・撮像系から得られる画像は、僅かに異なる。そのため、相関計算から位置ずれを検出して、ステレオ画像生成のためのパラメータを算出することで、ステレオ画像を再生することが可能なステレオ画像フォーマットで記録媒体に画像データを記録することができる。

また、本撮影の事前のライブビュー表示において、２つの光学系・撮像系のうち一方の光学系・撮像系はＬＣＤ１３７に画像を出力することを主機能として作用し、他方の光学系・撮像系は本撮影のための測光を行う。そのため、１つの光学系・撮像系で測光を行いつつ、ライブビュー表示用の画像を取得する場合と異なり、ライブビュー表示専用の画像を測光の系統とは別に取得できる。これにより、測光の影響による画像の明暗の繰り返しや、被写体像の表示における不連続性を防止することができる。

なお、ステレオ画像撮像モードでは、標準測光値のみで本撮影を行なうとしたが、例えば本撮影を開始して、任意のフレームでＬ系とＲ系同時にハイライト基準の画像データを取得し、次のフレームでＬ系とＲ系同時にダーク基準の画像データを取得してもよい。そして、僅かな時間差が生じるが、Ｌ系、Ｒ系それぞれで、ハイライト基準の画像データとダーク基準の画像データを合成して、ダイナミックレンジの広い合成画像を生成するとしてもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

本発明の一実施形態に係る撮像装置を示すブロック図である。 同実施形態に係る撮像装置のＤＳＰを示すブロック図である。 同実施形態に係る撮像装置のダイナミックレンジ拡大モードにおける動作を示すフローチャートである。 同実施形態に係る撮像装置のダイナミックレンジ拡大モードにおける動作を示すフローチャートである。 同実施形態に係る撮像装置のステレオ画像撮像モードにおける動作を示すフローチャートである。 同実施形態に係る撮像装置のステレオ画像撮像モードにおける動作を示すフローチャートである。 同実施形態に係る撮像装置の変更例を示すブロック図である。

符号の説明

１００、２００ 撮像装置
１０１、１０２ 結像光学系
１０３、１０４ イメージセンサ
１０５、１０６ ＳＤＲＡＭ
１０７ メモリカード
１０９ ＲＯＭ
１１５ レリーズボタン
１１７ タイミングジェネレータ
１２１、１２２、２２１ ＤＳＰ
１３１ フラッシュコントローラ
１３３ フラッシュ
１３５ ＬＣＤコントローラ
１３７ ＬＣＤ
１４１ 画像信号処理部
１４２ ＡＥ／ＡＦ／ＡＷＢ算出部
１５１ メモリコントローラ
１５２ 画像合成処理部
１５３ 対応点・特徴点検出部
１５４ 画像相関検出部
１５５ シーン判別部
１６１ 記憶媒体制御部
１６２ 外部通信制御部
１６３ エンコーダＬＣＤ制御部
１６４ 画像圧縮伸張処理部
１７１ ＣＰＵ
１７２ ＳＩＯ
１７３ Ｉ／Ｏポート

Claims (5)

1. 第１の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と、
   前記第１の光学系と異なる第２の光学系を介して受けた前記被写体からの光を電気信号に変換する前記第１の撮像素子と異なる第２の撮像素子と、
   静止画像の本撮影前に、前記第１の撮像素子で変換された前記電気信号に基づいて動画像用の画像信号を生成する第１の画像信号処理部と、
   前記静止画像の本撮影前に、前記第２の撮像素子で段階露出がされるように露出を制御する露出制御部と、
   前記段階露出によって得られる前記第２の撮像素子で変換された前記電気信号に基づいて、前記静止画像の本撮影時の露出量を算出する露出量算出部と
   を備える、撮像装置。
2. 前記算出された露出量に基づいて、同一タイミングにおいて、前記第１の撮像素子及び前記第２の撮像素子のいずれか一方をハイライト基準の露出量に設定し、他方をダーク基準の露出量に設定する露出量設定部と、
   前記設定された露出量に基づいて前記静止画像の本撮影がされたとき、前記第１の撮像素子で変換された前記電気信号に基づいて静止画像用の第１の画像信号と、前記第２の撮像素子で変換された前記電気信号に基づいて前記第１の画像信号と同一タイミングの静止画像用の第２の画像信号を生成する第２の画像信号処理部と
   を更に備える、請求項１に記載の撮像装置。
3. 前記算出された露出量に基づいて、同一タイミングにおいて、前記第１の撮像素子及び前記第２の撮像素子の両方を同一の露出量に設定する露出量設定部と、
   前記設定された露出量に基づいて前記静止画像の本撮影がされたとき、前記第１の撮像素子で変換された前記電気信号に基づいて静止画像用の第１の画像信号と、前記第２の撮像素子で変換された前記電気信号に基づいて前記第１の画像信号と同一タイミングの静止画像用の第２の画像信号を生成する第２の画像信号処理部と
   を更に備える、請求項１に記載の撮像装置。
4. 前記第１の画像信号と前記第２の画像信号との間の位置ずれを検出する位置ずれ検出部と、
   前記検出された位置ずれを用いて前記第１の画像信号と前記第２の画像信号を合成する合成部と、
   を更に備える、請求項２又は３に記載の撮像装置。
5. 第１の撮像素子が第１の光学系を介して受けた被写体からの光を電気信号に変換するステップと、
   前記第１の撮像素子と異なる第２の撮像素子が前記第１の光学系と異なる第２の光学系を介して受けた前記被写体からの光を電気信号に変換するステップと、
   静止画像の本撮影前に、前記第１の撮像素子で変換された前記電気信号に基づいて動画像用の画像信号を生成するステップと、
   前記静止画像の本撮影前に、前記第２の撮像素子で段階露出がされるように露出を制御するステップと、
   前記段階露出によって得られる前記第２の撮像素子で変換された前記電気信号に基づいて、前記静止画像の本撮影時の露出量を算出するステップと
   を備える、撮像方法。
   
   

Images