JP2010041381A - 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム - Google Patents

Abstract

【課題】 撮像光学系をより簡素な構成としつつ、撮像時に煩雑な操作を要することなくステレオ画像を取得するための手段を提供する。
【解決手段】 電子カメラは、撮像レンズと、レンズ駆動部と、撮像素子と、制御部とを備える。レンズ駆動部は、撮像レンズの光軸に対して垂直な平面内で撮像レンズをシフトさせる。撮像素子は、撮像レンズを通過した光束による像を撮像する。制御部は、各々の画像の撮像時に撮像レンズの位置を相違させて、視差を有する一対の画像を取得する。
【選択図】 図１

Description

本発明は、ステレオ画像の取得に適した電子カメラとその周辺技術に関する。

従来から、ステレオ画像（立体視画像）を取得する電子カメラについては数多くの提案がなされている。一例として、特許文献１には、撮像光学系に含まれるミラーをシフトさせることによって、視差のある複数の画像を取得するカメラの構成が開示されている。
特開２００３−５３１１号公報

しかし、上記の特許文献１の構成では、ステレオ画像を得るために撮像光学系にミラーが必要となる点で改善の余地があった。

そこで、本発明は、撮像光学系をより簡素な構成としつつ、撮像時に煩雑な操作を要することなくステレオ画像を取得するための手段を提供することを目的とする。

一の態様の電子カメラは、撮像レンズと、レンズ駆動部と、撮像素子と、制御部とを備える。レンズ駆動部は、撮像レンズの光軸に対して垂直な平面内で撮像レンズをシフトさせる。撮像素子は、撮像レンズを通過した光束による像を撮像する。制御部は、各々の画像の撮像時に撮像レンズの位置を相違させて、視差を有する一対の画像を取得する。

上記の一の態様において、撮像レンズは、移動により像のブレを光学的に補正するブレ補正レンズを含んでいてもよい。また、レンズ駆動部は、ブレ補正レンズをシフトさせるようにしてもよい。

上記の一の態様の電子カメラは、被写体距離演算部と、画像処理部とをさらに備えていてもよい。被写体距離演算部は、一対の画像における被写体の位置のズレ量と撮像レンズのシフト量とを用いて被写体の被写体距離を求める。また、画像処理部は、各々の被写体距離に基づいて、被写体をそれぞれ仮想的な投影面上に投影したステレオペア用の投影画像を生成する。

また、電子カメラは、撮像レンズの光軸の角度変化を検出するブレ検出部をさらに備えていてもよい。そして、画像処理部は、一対の画像を取得する間に生じた角度変化を加味して、投影画像での被写体の位置を求めるようにしてもよい。

上記の一の態様の電子カメラは、撮像素子の位置をシフトさせる撮像素子シフト部をさらに備えていてもよい。また、制御部は、各々の画像の撮像時に撮像素子の位置を相違させて、一対の画像を取得するようにしてもよい。

上記の一の態様の電子カメラは、被写体距離を検出する被写体距離検出部をさらに備えていてもよい。また、制御部は、一対の画像を取得したときの被写体距離に応じて、上記の投影画像を生成するか否かを判断してもよい。

上記の一の態様の電子カメラは、撮像レンズの光軸の角度変化を検出するブレ検出部をさらに備えていてもよい。また、制御部は、一対の画像を取得する間に生じた角度変化の大きさに応じて、上記の投影画像を生成するか否かを判断してもよい。

上記の一の態様の電子カメラは、一対の画像のデータと、一対の画像を取得したときの撮像レンズのシフト量を示すデータとを外部の装置に出力するデータ出力部をさらに備えていてもよい。

なお、電子カメラと画像処理装置とを用いて上記の投影画像を生成するステレオ画像生成方法およびステレオ画像生成システムも、本発明の具体的態様として有効である。

本発明によれば、撮像レンズのシフトによって視差を有する一対の画像を容易に取得できる。

＜一の実施形態の構成＞
図１は、一の実施形態における電子カメラの構成例を示すブロック図である。この一の実施形態の電子カメラは、撮影モードの１つとしてステレオ画像撮影モードを有している。ステレオ画像撮影モードでの電子カメラは、撮像光学系の光軸に対して垂直方向にレンズをシフトさせて、視差を有する一対の画像を撮像する。

一の実施形態の電子カメラは、撮像光学系１１と、第１レンズ駆動部１２と、第２レンズ駆動部１３と、ブレ検出部１４と、第３レンズ駆動部１５と、撮像素子１６と、撮像素子シフト部１７と、ＡＦＥ１８と、ＣＰＵ１９と、第１メモリ２０および第２メモリ２１と、記録Ｉ／Ｆ２２と、外部Ｉ／Ｆ２３と、無線通信モジュール２４と、モニタ２５と、操作部２６とを有している。なお、第１レンズ駆動部１２、第２レンズ駆動部１３、ブレ検出部１４、第３レンズ駆動部１５、撮像素子シフト部１７、ＡＦＥ１８、第１メモリ２０、第２メモリ２１、記録Ｉ／Ｆ２２、外部Ｉ／Ｆ２３、無線通信モジュール２４、モニタ２５および操作部２６は、それぞれＣＰＵ１９と接続されている。

撮像光学系１１は、ズームレンズ１１ａ、フォーカシングレンズ１１ｂ、ブレ補正レンズ１１ｃを含む複数のレンズ群で構成されている。ズームレンズ１１ａは、撮影倍率を光学的に変更するためのレンズである。ズームレンズ１１ａのレンズ位置は、第１レンズ駆動部１２によって光軸方向に調整される。また、第１レンズ駆動部１２は、ズームレンズ１１ａの光軸方向の位置を検出するエンコーダを内蔵している。なお、ズームレンズ１１ａのレンズ位置の情報はＣＰＵ１９に入力される。

フォーカシングレンズ１１ｂは、焦点調節を行うためのレンズである。このフォーカシングレンズ１１ｂのレンズ位置は、第２レンズ駆動部１３によって光軸方向に調整される。また、第２レンズ駆動部１３は、フォーカシングレンズ１１ｂの光軸方向の位置を検出するエンコーダを内蔵している。なお、フォーカシングレンズ１１ｂのレンズ位置の情報はＣＰＵ１９に入力される。

ブレ補正レンズ１１ｃは、レンズの移動によって、手ブレによる像のブレを光学的に補正するレンズである。このブレ補正レンズ１１ｃは、撮像光学系１１の光軸に対して垂直な平面内で揺動可能に構成されている。

ブレ検出部１４は、撮像光学系１１の光軸の角度変化を検出する。このブレ検出部１４は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを有している。上記の各々の角速度センサには、例えば回転によるコリオリ力を検出する圧電振動式角速度センサなどが用いられる。なお、ブレ検出部１４が検出する角速度の値はＣＰＵ１９に入力される。

第３レンズ駆動部１５は、ＣＰＵ１９の制御に基づいてブレ補正レンズ１１ｃを揺動させる。この第３レンズ駆動部１５は、ブレ補正レンズ１１ｃを縦方向に揺動させる縦揺動機構と、ブレ補正レンズ１１ｃを横方向に揺動させる横揺動機構とで構成されている。

撮像素子１６は、撮像光学系１１を通過した光束による結像を撮像してアナログの画像信号を生成する。この撮像素子１６の出力はＡＦＥ１８に接続されている。ここで、撮影モードでの撮像素子１６は、後述のレリーズ釦の全押し操作に応答して記録用の静止画像を撮像する。また、撮影モードでの撮像素子１６は、撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。なお、時系列に取得されたスルー画像は、モニタ２５での動画表示やＣＰＵ１９による各種の演算処理に使用される。

撮像素子シフト部１７は、撮像光学系１１の光軸に対して垂直な平面内で撮像素子１６を移動させて、手ブレによる像のブレを光学的に補正する。この撮像素子シフト部１７は、撮像素子１６を縦方向に揺動させる縦揺動機構と、撮像素子１６を横方向に揺動させる横揺動機構とで構成されている。

ＡＦＥ１８は、撮像素子１６の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１８は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。なお、ＡＦＥ１８の出力する画像信号はＣＰＵ１９に入力される。

ＣＰＵ１９は、電子カメラの各部の動作を統括的に制御するプロセッサである。一例として、ＣＰＵ１９は、スルー画像に基づくオートフォーカス（ＡＦ）演算および自動露出（ＡＥ）演算をそれぞれ公知のアルゴリズムで実行する。また、ＣＰＵ１９は、第３レンズ駆動部１５を介してブレ補正レンズ１１ｃをシフトさせるとともに、撮像素子シフト部１７を介して撮像素子１６をシフトさせる。

また、ＣＰＵ１９は、被写体距離演算部２７と、画像処理部２８とを有している。被写体距離演算部２７は、ステレオ画像撮影モードにおいて、一対の画像における被写体の位置のズレ量に基づいて各被写体の被写体距離を幾何学的に求める。

一方、画像処理部２８は、処理対象の画像のデータに対して、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整などの画像処理を実行する。また、画像処理部２８は、ステレオ画像撮影モードにおいて、被写体距離演算部２７が求めた被写体距離に基づいて、被写体をそれぞれ仮想的な投影面上に投影した投影画像を生成する。

第１メモリ２０は、揮発性の記憶媒体（例えばＳＤＲＡＭなど）で構成される。この第１メモリ２０は、画像処理の前工程や後工程で画像のデータなどを一時的に記憶する。

第２メモリ２１は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ２１には、ＣＰＵ１９が実行するプログラムや、各種のテーブルのデータが記憶される。第２メモリ２１に記憶されるテーブルには、ズームレンズ１１ａのレンズ位置と焦点距離との対応関係を示す焦点距離テーブルや、フォーカシングレンズ１１ｂのレンズ位置と被写体距離との対応関係を示す被写体距離テーブルや、ステレオ画像撮影モードで用いられる判定テーブルが含まれる。

ここで、図２を参照しつつ判定テーブルの内容を説明する。判定テーブルは、焦点距離および被写体距離の組み合わせと、ステレオ画像撮影モードでの処理の種類との対応関係を示している。上記のステレオ画像撮影モードでの処理は、「（１）撮像した画像をそのまま使用する」、「（２）：投影画像を生成する」、「（３）：撮影を禁止する」の３種類に分けられる。なお、図２では、上記の処理の種類を括弧付きの数字で表記する。

図２の判定テーブルの内容は、上記の一対の画像で生じる視差の大きさに応じて設定されている。例えば、上記の一対の画像に十分な視差が生じるときには、判定テーブルにおいて上記（１）の処理が選択されるように設定されている。また、上記の一対の画像において視差が少ないときには、判定テーブルにおいて上記（２）の処理が選択されるように設定されている。さらに、上記の一対の画像において視差が生じないとみなせるときには、判定テーブルにおいて上記（３）の処理が選択されるように設定されている。

ここで、レンズを光軸に対して垂直な方向に移動させるときに、焦点距離の値のみを大きくすると画像間での視差は大きくなる。また、レンズを光軸に対して垂直な方向に移動させるときに、被写体距離の値のみを大きくすると画像間での視差は小さくなる。

そのため、図２の例において、焦点距離が最も長くかつ被写体距離が最も短い場合（例えばマクロ撮影の場合）には、判定テーブルにおいて上記（１）の処理が選択される。また、上記（１）の処理が選択される場合よりも被写体距離を長くするか、あるいは焦点距離を短くすると、判定テーブルでは上記（２）の処理が選択されるようになる。さらに、上記（２）の処理が選択される場合よりも被写体距離を長くするか、あるいは焦点距離を短くすると、判定テーブルでは上記（３）の処理が選択されるようになる。したがって、図２の例において、焦点距離が最も短くかつ被写体距離が最も長い場合には、判定テーブルにおいて上記（３）の処理が選択される。

図１に戻って、記録Ｉ／Ｆ２２は、外付けの記憶媒体２９が着脱可能に接続されるコネクタを有している。そして、記録Ｉ／Ｆ２２は、コネクタを介して接続された記憶媒体２９に対して、データの書き込み／読み込みを行う。上記の記憶媒体２９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２９の一例としてメモリカードを図示する。

外部Ｉ／Ｆ２３は、ＵＳＢ（Universal Serial Bus）などのシリアル通信規格の接続端子を有している。そして、外部Ｉ／Ｆ２３は、接続端子を介して接続された外部の装置（コンピュータなど）とのデータ送受信を上記の通信規格に準拠して制御する。

無線通信モジュール２４は、アンテナを介して外部の装置（コンピュータなど）との無線によるデータ送受信を実行する。一の実施形態での無線通信モジュール２４は、例えばＩＥＥＥ８０２．１１などの公知の通信規格に準拠して無線通信を行う。

モニタ２５は、ＣＰＵ１９の指示に応じて各種画像を表示する。例えば、モニタ２５は、ＣＰＵ１９の制御によって、上記のスルー画像によるファインダ像の動画表示や、後述のステレオ画像の再生表示を行うことができる。

操作部２６は、ユーザーからの操作を受け付ける複数のスイッチを有している。一の実施形態の操作部２６には、レリーズ釦、モードダイヤル、十字キー、決定釦、が含まれる。

レリーズ釦は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。また、モードダイヤルは、電子カメラの動作モードの切替入力をユーザーから受け付ける。また、十字キーおよび決定釦は、電子カメラでの各種設定の操作をユーザーから受け付ける。一例として、ＣＰＵ１９は、十字キーおよび決定釦を介して、撮影時における投影画像の生成処理のオン／オフの設定を切り替える（なお、撮像時における投影画像の生成処理については後述する）。

＜一の実施形態での動作説明＞
以下、図３の流れ図を参照しつつ、一の実施形態における電子カメラのステレオ画像撮影モードでの動作例を説明する。ステレオ画像撮影モードにおける電子カメラの動作は、ＣＰＵ１９の実行するプログラムによって制御される。なお、ステレオ画像撮影モードでのＣＰＵ１９は、ブレ検出部１４によって撮像光学系１１の光軸の角度変化をモニタ２５するとともに、第３レンズ駆動部１５および撮像素子シフト部１７によるブレ補正処理を停止する。

ここで、電子カメラがステレオ画像撮影モードで起動すると、ＣＰＵ１９は、撮像素子１６を駆動させてスルー画像の撮像を開始する。そして、ＣＰＵ１９は、スルー画像に基づくファインダ像の動画表示をモニタ２５で行う。これにより、ユーザーは、モニタ２５の画像を参照しつつ、撮影構図を決定するためのフレーミングを行うことができる。その後、ユーザーがレリーズ釦の半押しを行うと、ＣＰＵ１９は、図３に示す一連の処理を開始する。

ステップＳ１０１：ＣＰＵ１９は、スルー画像を用いて公知のコントラスト検出によるＡＦを実行する。その後、ＣＰＵ１９は、ＡＦ制御を停止してフォーカシングレンズ１１ｂの焦点位置を固定する。

ステップＳ１０２：ＣＰＵ１９は、スルー画像を用いて公知のＡＥ演算を実行する。その後、ＣＰＵ１９は、撮影時の絞りおよびシャッタ秒時の設定を上記のＡＥ演算で求めた値で固定する。

ステップＳ１０３：ＣＰＵ１９は、撮像光学系１１の各レンズ位置から焦点距離および被写体距離をそれぞれ検出する。具体的には、ＣＰＵ１９は、第１レンズ駆動部１２からズームレンズ１１ａのレンズ位置の情報を取得するとともに、第２メモリ２１の焦点距離テーブルを参照して焦点距離を求める。また、ＣＰＵ１９は、第２レンズ駆動部１３からフォーカシングレンズ１１ｂのレンズ位置の情報を取得するとともに、第２メモリ２１の被写体距離テーブルを参照して、合焦している被写体までの被写体距離を求める。

ステップＳ１０４：ＣＰＵ１９は、焦点距離および被写体距離の組み合わせ（Ｓ１０３）に基づいて、第２メモリ２１の判定テーブルからステレオ画像撮影モードでの処理の種類を求める。そして、ＣＰＵ１９は、判定テーブルから求めた処理の種類を示すフラグを第１メモリ２０または第２メモリ２１に記録する。

ステップＳ１０５：ＣＰＵ１９は、フラグ（Ｓ１０４）を参照して、判定テーブルが示す処理の種類が「（３）：撮影を禁止する」であるか否かを判断する。上記要件を満たす場合（ＹＥＳ側）にはＳ１０６に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０７に移行する。

ステップＳ１０６：ＣＰＵ１９は、モニタ２５に警告表示（例えば「ステレオ画像を生成できません。」などのメッセージ）を出力する。そして、ＣＰＵ１９は、図３の流れ図の処理を終了する。

ステップＳ１０７：ＣＰＵ１９は、レリーズ釦の全押し操作を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１０９に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０８に移行する。

ステップＳ１０８：ＣＰＵ１９は、レリーズ釦の半押し操作が解除されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ１９は図３の流れ図の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１９はＳ１０７に戻って上記動作を繰り返す。

ステップＳ１０９：ＣＰＵ１９は、第３レンズ駆動部１５および撮像素子シフト部１７を動作させて、ブレ補正レンズ１１ｃおよび撮像素子１６の位置がそれぞれ中央よりも左寄りとなるように水平にシフトさせる。このとき、ＣＰＵ１９は、ブレ補正レンズ１１ｃの光軸のシフト量と同じだけ撮像素子１６を左にシフトさせる。なお、一の実施形態でのブレ補正レンズ１１ｃおよび撮像素子１６の移動方向は、電子カメラの構え方（正位置での撮影、縦位置での撮影など）に応じてＣＰＵ１９が設定する。

ステップＳ１１０：ＣＰＵ１９は、ブレ検出部１４から検出される角速度の積分値を初期化するとともに、角速度の積分動作を開始する。なお、このＳ１１０でのＣＰＵ１９の処理は、後述のＳ１１１の撮像動作とほぼ同時に行われる。

ステップＳ１１１：ＣＰＵ１９は、撮像素子１６を駆動させて１フレーム目の画像（第１画像）を撮像する（図４、図５（ａ）参照）。Ｓ１１１で撮像された第１画像のデータは、画像処理部２８で所定の画像処理が施された後に第１メモリ２０にバッファリングされる。

ステップＳ１１２：ＣＰＵ１９は、第３レンズ駆動部１５および撮像素子シフト部１７を動作させて、ブレ補正レンズ１１ｃおよび撮像素子１６の位置がそれぞれ中央よりも右寄りとなるように水平にシフトさせる。このとき、ＣＰＵ１９は、ブレ補正レンズ１１ｃの光軸のシフト量と同じだけ撮像素子１６を右にシフトさせる。

ステップＳ１１３：ＣＰＵ１９は、撮像素子１６を駆動させて２フレーム目の画像（第２画像）を撮像する（図４、図５（ｂ）参照）。Ｓ１１３で撮像された第２画像のデータは、画像処理部２８で所定の画像処理が施された後に第１メモリ２０にバッファリングされる。

なお、図５に、第１画像および第２画像の例をそれぞれ模式的に示す。第１画像および第２画像は同一の被写体を撮影した画像であるが、各々のブレ補正レンズ１１ｃの位置が光軸と垂直な方向に異なることから画像間に視差が生じることとなる。

ステップＳ１１４：ＣＰＵ１９は、Ｓ１１０から開始された角速度の積分動作を終了して、各々の角速度の積分値を取得する。これにより、ＣＰＵ１９は、第１画像および第２画像（Ｓ１１１、Ｓ１１３）を取得する間に生じた撮像光学系１１の光軸の角度変化を検出することができる。

ステップＳ１１５：ＣＰＵ１９は、撮像光学系１１の光軸の角度変化の大きさ（Ｓ１１４で検出したもの）が閾値より大きいか否かを判定する。これにより、第１画像および第２画像を取得する間に生じた角度変化の大きさに応じて、投影画像を生成するか否かがＣＰＵ１９により判断される。上記要件を満たす場合（ＹＥＳ側）にはＳ１１７に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１１６に移行する。

ステップＳ１１６：ＣＰＵ１９は、フラグ（Ｓ１０４）を参照して、判定テーブルが示す処理の種類が「（２）：投影画像を生成する」であるか否かを判断する。これにより、第１画像および第２画像を取得したときの被写体距離や焦点距離に応じて、投影画像を生成するか否かがＣＰＵ１９によって判断される。

上記要件を満たす場合（ＹＥＳ側）にはＳ１１７に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１１９に移行する。なお、Ｓ１１６のＮＯ側の場合には、ＣＰＵ１９は投影画像を生成せずに、第１画像および第２画像をそのままステレオペア用の画像とする。

ステップＳ１１７：ＣＰＵ１９は、撮像時における投影画像の生成処理がオンに設定されているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１８に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１２０に移行する。

ステップＳ１１８：被写体距離演算部２７および画像処理部２８は、ＣＰＵ１９の指示に応じて、一対の画像（Ｓ１１１、Ｓ１１３）を用いてステレオペア用の投影画像を生成する。一の実施形態では、投影画像はステレオペアの右目用の画像となる。そして、ステレオペアの左目用の画像には第１画像がそのまま用いられるものとする。

具体的には、Ｓ１１８での被写体距離演算部２７および画像処理部２８は、以下の（イ）から（ニ）の処理をそれぞれ実行する。

（イ）画像処理部２８は、第１画像および第２画像に対して、それぞれ特徴点の抽出処理を行う。一例として、画像処理部２８は、第１画像および第２画像に対して公知のエッジ抽出処理を施すとともに、各画像におけるエッジの交点（コーナー）を特徴点とする。

（ロ）画像処理部２８は、それぞれ上記（イ）で抽出した第１画像の特徴点と第２画像の特徴点との対応付けを行う。例えば、画像処理部２８は、各特徴点についてそれぞれ特徴量を求めるとともに、画像間で特徴量が近似する特徴点を対応付けする。なお、特徴点の特徴量としては、一例として特徴点の近傍画素の情報（輝度や色差のヒストグラムなど）を用いることができる。

（ハ）被写体距離演算部２７は、上記（ロ）で対応付けした各特徴点での被写体距離をそれぞれ求める。ここで、第１画像および第２画像での特徴点の位置のズレ量は被写体距離が小さければ大きくなる。そのため、被写体距離演算部２７は、第１画像および第２画像でのブレ補正レンズ１１ｃおよび撮像素子１６のシフト量（レンズの光軸間距離）と、第１画像および第２画像での特徴点の位置のズレ量とから、その特徴点に対応する被写体距離を幾何学的に求める。

なお、図６に示すように、第１画像および第２画像を取得する間に撮像光学系１１の光軸に角度変化があると、上記の角度変化のない場合と比べて第２画像での特徴点の位置にズレが生じるので、被写体距離の演算精度が低下してしまう。そのため、被写体距離演算部２７は、上記（ハ）での被写体距離の演算のときに、上記の角度変化を加味して各特徴点の位置のズレ量を補正する。

（ニ）画像処理部２８は、各々の特徴点の被写体距離に基づいて、第１画像からステレオペア用の投影画像を生成する。一例として、まず、画像処理部２８は、上記（イ）で抽出したエッジによって第１画像を複数の領域に分割する。次に、画像処理部２８は、上記（ハ）で求めた特徴点の被写体距離を用いて各分割領域の被写体距離を決定する。

そして、画像処理部２８は、第１画像を撮像した撮像面の左側に仮想的な投影面（図４参照）を設定するとともに、各分割領域の被写体距離に基づいて、第１画像の各分割領域の画素を上記の投影面にそれぞれ投影した状態を求める。なお、各分割領域の被写体距離には撮像光学系１１の光軸の角度変化が加味されているので、画像処理部２８は投影画像での被写体の位置を精度よく求めることができる。これにより、左目用の投影画像が生成される。

ここで、投影画像において分割領域の画像が重複する場合には、画像処理部２８は奥行側の分割領域の画像をカットして至近側の分割領域の画像を優先する。また、投影画像において画像の空白部分が生じる場合には、画像処理部２８は、第１画像で対応位置にある分割領域よりも奥行側に位置する分割領域の画像に基づいて空白部分を補完する。例えば、画像処理部２８は、空白部分と隣接する分割領域のうちで、被写体距離がより短い分割領域の画像で空白部分を補間する。あるいは、画像処理部２８は、隣接する分割領域の画像を被写体距離に応じた比率でランダムに混ぜ合わせて空白部分の画像を補完してもよい。

ステップＳ１１９：ＣＰＵ１９は、ステレオペア用の一対の画像のデータをステレオ画像用フォーマットに変換する。一例として、ＣＰＵ１９は、ステレオペア用の２つの画像を左右に並べて１フレームのステレオ画像とする。このとき、ＣＰＵ１９は、ステレオペア画像の鑑賞法（平行法または交差法）に応じて２つの画像の左右位置を決定する。その後、ＣＰＵ１９は、上記のステレオ画像のデータを記憶媒体２９に記録して、図３の流れ図の処理を終了する。

ステップＳ１２０：ＣＰＵ１９は、後処理工程でステレオ画像を生成するためのステレオ画像作成ファイルを生成する。このステレオ画像作成ファイルには、（ａ）第１画像および第２画像のデータと、（ｂ）撮像時における撮像光学系１１の設定情報（レンズの焦点距離および被写体距離の情報）と、（ｃ）第１画像および第２画像を取得する間に生じた撮像光学系１１の光軸の角度変化の情報と、（ｄ）第１画像および第２画像でのレンズの光軸間距離の情報と、が含まれる。その後、ＣＰＵ１９は、上記のステレオ画像作成ファイルを記憶媒体２９に記録して、図３の流れ図の処理を終了する。

なお、電子カメラは、上記のステレオ画像作成ファイル（Ｓ１２０）を記録Ｉ／Ｆ２２から読み込むとともに、被写体距離演算部２７および画像処理部２８にＳ１１８と同様の処理を実行させることで、Ｓ１１９と同様のステレオ画像を事後的に生成することができる（個々の処理の内容は上記のステップと重複するので説明を省略する）。

以下、一の実施形態での作用効果を述べる。一の実施形態の電子カメラは、撮像光学系１１の光軸に対して垂直な平面内でブレ補正レンズ１１ｃをシフトさせて第１画像および第２画像を撮像するとともに、これらの視差を有する一対の画像からステレオ画像を生成する。そのため、一の実施形態では、一般的なブレ補正光学系の構成によってステレオ画像を容易に取得できる。また、一の実施形態では撮像素子１６の位置もシフトさせることで、ステレオ画像での撮影範囲をより広く確保できる。

また、一の実施形態の電子カメラは、第１画像および第２画像から各被写体の被写体距離を求めるとともに、被写体をそれぞれ仮想的な投影面上に投影したステレオペア用の投影画像を生成する。これにより、一の実施形態では、例えば、比較的遠方の被写体を撮影する場合のようにレンズの移動では大きな視差を得られない場合にも、立体視に適した見栄えのよいステレオ画像を生成できる。また、一の実施形態では、第１画像および第２画像を取得する間に生じた角度変化を加味して投影画像を生成するので、撮影時に手ブレしていても立体視に適した見栄えのよいステレオ画像を生成できる。

また、一の実施形態の電子カメラは、ステレオ画像作成ファイルから後処理工程でステレオ画像を生成できる。この場合には、撮影現場で時間のかかる画像処理を行う必要がなくなるので、撮影時におけるユーザーの利便性がより向上する。

＜実施形態の補足事項＞
（１）上記実施形態では電子カメラを画像処理装置として、ステレオ画像作成ファイルから後処理工程でステレオ画像を生成する例を説明した。しかし、ステレオ画像作成ファイルから後処理工程でステレオ画像を生成する画像処理装置は、電子カメラに限定されるものではない。例えば、ソフトウエアによってパーソナルコンピュータを上記の被写体距離演算部２７および画像処理部２８として機能させて、ステレオ画像作成ファイルからステレオ画像を生成するようにしてもよい。なお、電子カメラおよび画像処理装置でのステレオ画像作成ファイルの転送は、記憶媒体２９の授受や、外部Ｉ／Ｆ２３または無線通信モジュール２４を介したデータ通信によって行えばよい。

（２）上記実施形態において、ＣＰＵ１９は撮像光学系１１から検出した被写体距離に応じて撮影時の光軸の移動量を調節してもよい。例えば、ＣＰＵ１９は、合焦している被写体までの距離が長い場合には光軸の移動量を大きくしてもよい。また、ＣＰＵ１９は、合焦している被写体までの距離が短い場合には光軸の移動量を小さくしてもよい。

（３）上記実施形態では、レンズとともに撮像素子１６の位置もシフトさせる例を説明したが、撮像素子１６をシフトさせる機構がない電子カメラにも本発明を適用できることはいうまでもない。また、上記実施形態において、撮像素子およびレンズを１つのブロックとしてまとめて光軸に対して垂直にシフトさせるようにしてもよい。

（４）上記実施形態のＳ１１９でのステレオ画像はあくまで一例にすぎず、本発明では他の公知のステレオ画像を生成することも勿論可能である。例えば、液晶シャッタに対応して、左目用画像と右目用画像とが交互に表示されるステレオ画像のデータをＣＰＵ１９が生成してもよい。また、２つの画像が赤青で色の異なるアナグリフ画像をステレオ画像としてＣＰＵ１９が生成してもよい。さらに、左目用画像と右目用画像とが縦方向の縞状に交互に配置された立体テレビ用のステレオ画像をＣＰＵ１９が生成してもよい。

（５）上記実施形態では、静止画像のステレオ画像を生成する例を説明したが、本発明はステレオ画像の動画を生成する場合にも適用できる。なお、動画撮影を行う場合には、ＣＰＵ１９は右目用画像と左目用画像とを別々のファイルで保存してもよい。また、動画撮影を行う場合には、ＣＰＵ１９は右目用画像と左目用画像とを１つのファイルに交互に保存してもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

一の実施形態における電子カメラの構成例を示すブロック図 判定テーブルの一例を示す模式図 電子カメラのステレオ画像撮影モードでの動作例を示す流れ図 第１画像および第２画像の撮影時における各種の位置関係を示す図 （ａ）第１画像の一例を示す図、（ｂ）第２画像の一例を示す図 第１画像および第２画像の撮影時に光軸の角度変化がある場合を示す図

符号の説明

１１…撮像光学系、１１ａ…ズームレンズ、１１ｂ…フォーカシングレンズ、１１ｃ…ブレ補正レンズ、１２…第１レンズ駆動部、１３…第２レンズ駆動部、１４…ブレ検出部、１５…第３レンズ駆動部、１６…撮像素子、１７…撮像素子シフト部、１８…ＡＦＥ、１９…ＣＰＵ、２０…第１メモリ、２１…第２メモリ、２２…記録Ｉ／Ｆ、２３…外部Ｉ／Ｆ、２４…無線通信モジュール、２５…モニタ、２６…操作部、２７…被写体距離演算部、２８…画像処理部、２９…記憶媒体

Claims (10)

1. 撮像レンズと、
   前記撮像レンズの光軸に対して垂直な平面内で前記撮像レンズをシフトさせるレンズ駆動部と、
   前記撮像レンズを通過した光束による像を撮像する撮像素子と、
   各々の画像の撮像時に前記撮像レンズの位置を相違させて、視差を有する一対の画像を取得する制御部と、
   を備えることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記撮像レンズは、移動により像のブレを光学的に補正するブレ補正レンズを含み、
   前記レンズ駆動部は、前記ブレ補正レンズをシフトさせることを特徴とする電子カメラ。
3. 請求項２に記載の電子カメラにおいて、
   前記一対の画像における被写体の位置のズレ量と前記撮像レンズのシフト量とを用いて前記被写体の被写体距離を求める被写体距離演算部と、
   各々の前記被写体距離に基づいて、前記被写体をそれぞれ仮想的な投影面上に投影したステレオペア用の投影画像を生成する画像処理部と、をさらに備えることを特徴とする電子カメラ。
4. 請求項３に記載の電子カメラにおいて、
   前記撮像レンズの光軸の角度変化を検出するブレ検出部をさらに備え、
   前記画像処理部は、前記一対の画像を取得する間に生じた前記角度変化を加味して、前記投影画像での被写体の位置を求めることを特徴とする電子カメラ。
5. 請求項１から請求項４のいずれか１項に記載の電子カメラにおいて、
   前記撮像素子の位置をシフトさせる撮像素子シフト部をさらに備え、
   前記制御部は、各々の画像の撮像時に前記撮像素子の位置を相違させて、前記一対の画像を取得することを特徴とする電子カメラ。
6. 請求項３に記載の電子カメラにおいて、
   被写体距離を検出する被写体距離検出部をさらに備え、
   前記制御部は、前記一対の画像を取得したときの前記被写体距離に応じて、前記投影画像を生成するか否かを判断することを特徴とする電子カメラ。
7. 請求項３に記載の電子カメラにおいて、
   前記撮像レンズの光軸の角度変化を検出するブレ検出部をさらに備え、
   前記制御部は、前記一対の画像を取得する間に生じた前記角度変化の大きさに応じて、前記投影画像を生成するか否かを判断することを特徴とする電子カメラ。
8. 請求項１に記載の電子カメラにおいて、
   前記一対の画像のデータと、前記一対の画像を取得したときの前記撮像レンズのシフト量を示すデータとを外部の装置に出力するデータ出力部をさらに備えることを特徴とする電子カメラ。
9. 各々の画像の撮像時に撮像レンズの位置を相違させて、視差を有する一対の画像を電子カメラで取得する撮像ステップと、
   前記一対の画像のデータと、前記一対の画像を取得したときの前記撮像レンズのシフト量を示すデータとを画像処理装置が前記電子カメラから取得するデータ読込ステップと、
   前記画像処理装置が、前記一対の画像における被写体の位置のズレ量と前記撮像レンズのシフト量とを用いて前記被写体の被写体距離を求める被写体距離演算ステップと、
   前記画像処理装置が、各々の前記被写体距離に基づいて、前記被写体をそれぞれ仮想的な投影面上に投影したステレオペア用の投影画像を生成する投影画像生成ステップと、
   を含むことを特徴とするステレオ画像生成方法。
10. 電子カメラと、画像処理装置とを備えたステレオ画像生成システムであって、
    前記電子カメラは、
    撮像レンズと、
    前記撮像レンズの光軸に対して垂直な平面内で前記撮像レンズをシフトさせるレンズ駆動部と、
    前記撮像レンズを通過した光束による像を撮像する撮像素子と、
    各々の画像の撮像時に前記撮像レンズの位置を相違させて、視差を有する一対の画像を取得する制御部と、
    前記一対の画像のデータと、前記一対の画像を取得したときの前記撮像レンズのシフト量を示すデータとを前記画像処理装置に出力するデータ出力部と、を含み、
    前記画像処理装置は、
    前記一対の画像における被写体の位置のズレ量と前記撮像レンズのシフト量とを用いて前記被写体の被写体距離を求める被写体距離演算部と、
    各々の前記被写体距離に基づいて、前記被写体をそれぞれ仮想的な投影面上に投影したステレオペア用の投影画像を生成する画像処理部と、を含むことを特徴とするステレオ画像生成システム。
    
    

Images