JP2010147695A - 撮像装置 - Google Patents

Abstract

【課題】広角から望遠までの画角変化に対応させた合成画像を得ること。
【解決手段】撮像装置１００は、複数の撮像ユニット１〜５と、複数の撮像ユニット１〜を構成する各撮像ユニットｎの撮影方向を制御し、各撮像ユニットｎによる撮像範囲を他の撮像ユニットによる撮像範囲と重複させる撮影方向制御手段７と、画角調節指示に応じて、重複させる範囲の大小を変化させることにより、複数の撮像ユニット１〜５による全体の撮像範囲の対角線の長さを変えるように撮影方向制御手段７を制御する画角制御手段７と、画角制御手段７による制御後に各撮像ユニットｎが取得した複数の画像に基づいて１つの画像を合成する画像合成手段８とを備える。
【選択図】図１

Description

本発明は、撮像装置に関する。

複数の撮像系を有する複眼撮像装置が知られている（特許文献１参照）。水平方向に並ぶように２つの撮像範囲が構成され、該２つの撮像範囲による画像を合成した１つの画像の中から任意のアスペクト比の画像が切り出されて記録される。

特開平６−２１７１８４号公報

従来技術では、広角から望遠までの画角変化に対応させた合成画像を得ることが困難であった。

本発明による撮像装置は、複数の撮像ユニットと、複数の撮像ユニットを構成する各撮像ユニットの撮影方向を制御し、各撮像ユニットによる撮像範囲を他の撮像ユニットによる撮像範囲と重複させる撮影方向制御手段と、画角調節指示に応じて、重複させる範囲の大小を変化させることにより、複数の撮像ユニットによる全体の撮像範囲の対角線の長さを変えるように撮影方向制御手段を制御する画角制御手段と、画角制御手段による制御後に各撮像ユニットが取得した複数の画像に基づいて１つの画像を合成する画像合成手段とを備えることを特徴とする。

本発明による撮像装置では、広角から望遠までの画角変化に対応させた合成画像を得ることができる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による電子カメラ１００の構成を説明するブロック図である。図１において、電子カメラ１００は、撮像ユニット１と、撮像ユニット２と、撮像ユニット３と、撮像ユニット４と、撮像ユニット５と、操作部材６と、カメラ制御回路７と、画像処理回路８とを含む。

カメラ制御回路７は、内蔵する不揮発性メモリ（不図示）に記憶するプログラムを実行することにより、電子カメラ１００の動作を制御する。カメラ制御回路７は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。

画像処理回路８には、撮像ユニット１〜撮像ユニット５からのアナログ画像信号がそれぞれ入力される。画像処理回路８は、各アナログ画像信号に対してゲイン調整などのアナログ処理を施し、アナログ処理後の画像信号をＡ／Ｄ変換してデジタル画像データにする。そして、デジタル画像データに対して所定の画像処理（色処理など）を施す。画像処理前後の画像データは、内蔵するバッファメモリ（不図示）に一時的に記憶される。画像処理回路８はさらに、撮像ユニット１〜撮像ユニット５で取得された５つの画像データを合成して合成画像を得る。

上記カメラ制御回路７は、フォーカス調節処理も行う。フォーカス調節処理を行う場合のカメラ制御回路７は、各撮像ユニットｎで取得された５つのデジタル画像データを用いて各画像間の位置ズレ量を求め、該位置ズレ量と、対応する撮像ユニットｎ間の光学距離（カメラ本体における配設間隔）とに基づいて、三角測量により被写体距離を算出する。算出した被写体距離に対応するレンズ位置へ撮像ユニットｎのフォーカスレンズを進退移動させることにより、各撮像ユニットｎにおいてピント合わせが行われる。符号のｎは撮像ユニット番号であり、本例の場合は１〜５の値をとる。

操作部材６は、レリーズボタン、ズーム（画角設定）スイッチなどの各種スイッチを含み、それぞれの操作に対応する操作信号をカメラ制御回路７へ送出する。メモリ９は、たとえば、半導体メモリを内蔵したメモリカードなどで構成され、電子カメラ１００に対して着脱自在に構成される。カメラ制御回路７は、装着されたメモリ９に対する合成画像データの書き込みや、メモリ９からのデータの読み込みを行う。

撮像ユニット１〜撮像ユニット５は、それぞれが対物レンズｎ１、撮像素子ｎ２、撮影方向検出センサｎ３、撮影方向変更装置ｎ４、ＡＦ・ズーム(Zoom)モータｎ５、およびＡＦ・ズーム(Zoom)エンコーダｎ６を有する。符号のｎは、対応する撮像ユニット番号である。撮像ユニット１〜撮像ユニット５は共通仕様に基づいて構成され、その光学特性（レンズ諸元等）および撮像画素数は一致している。

対物レンズｎ１は、被写体像を撮像素子ｎ２の撮像面上に結像させる。撮像素子ｎ２は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサなどによって構成される。撮像素子ｎ２は、被写体像を光電変換してアナログ画像信号を生成する。

撮影方向検出センサｎ３は、撮影方向変更装置ｎ４によって変更自在に構成される当該撮像ユニットｎの撮影方向（対物レンズｎ１の光軸の方向）を検出し、検出信号をカメラ制御回路７へ送出する。撮影方向変更装置ｎ４は、撮像ユニットｎを一体として駆動し、その撮影方向を変える。撮影方向変更装置ｎ４の詳細については後述する。

ＡＦ・ズーム(Zoom)モータｎ５は、ＡＦモータとズームモータとを含む。ＡＦモータは、対物レンズｎ１を構成するフォーカスレンズを光軸方向に進退移動させるための駆動源である。ズームモータは、対物レンズｎ１を構成するズームレンズを光軸方向に進退移動させための駆動源である。ＡＦモータおよびズームモータの回転制御は、カメラ制御回路７によって行われる。ＡＦ・ズーム(Zoom)エンコーダｎ６は、ＡＦモータおよびズームモータの回転位置検出を行い、検出信号をカメラ制御回路７へ送出する。

図２は、電子カメラ１００を例示する斜視図である。図２において、カメラ本体の正面側に撮像ユニット１〜撮像ユニット５がそれぞれ配設され、各撮像ユニットｎの対物レンズｎ１が被写体側へ向けられる。撮像ユニット１、撮像ユニット２、撮像ユニット４および撮像ユニット５は、画像処理回路８による合成画像の外形と相似関係を有する矩形の四隅に配設される。撮像ユニット３は該矩形の中央に配設され、その対物レンズ３１の光軸は合成画像の画面中心垂直線と一致するように構成される。

図３は、撮像ユニットｎの詳細を例示する図である。図３(a),(b)において、対物レンズｎ１、撮像素子ｎ２、ＡＦ・ズーム(Zoom)モータｎ５、およびＡＦ・ズーム(Zoom)エンコーダｎ６等が撮像部として一体に保持される。撮影方向変更装置ｎ４は、送りねじ、スライダ、および撮影方向変更モータを含む。

撮影方向変更モータが回転すると送りねじが回転し、該送りねじに螺合するスライダが上下方向に移動する。図３(b)のようにスライダが下方へ移動した場合は、スライダと接続されている撮像部の向き（すなわち、対物レンズｎ１の光軸）が上方へ駆動制御される。撮像部の向きは、当該撮像ユニットｎの撮影方向を示す情報として撮影方向検出センサｎ３によって検出される。

本実施形態では、光学ズーム倍率およびフォーカス調節状態を所定値に揃えた複数の撮像ユニットｎの撮影方向を制御することにより、合成される画像の撮影画角を広角設定から望遠設定までの間で変化させる。
＜広角設定時＞
図４は、電子カメラ１００の撮影画角を広角側に設定した場合の撮像範囲および合成画像を説明する図である。撮像ユニット１〜撮像ユニット５の光学的なズーム倍率は、あらかじめ共通の値に設定されている。また、所定のフォーカス調節エリアで取得した被写体距離情報を全撮像ユニットに適用してフォーカス調節を行う。

図４(a)において、操作部材６から広角端への設定操作信号が入力されると、カメラ制御回路７は、中央に配設されている撮像ユニット３を除く撮像ユニット１，２，４，５の撮影方向（すなわち、対物レンズｎ１の光軸）が、それぞれ撮像ユニット３の撮影方向（すなわち、対物レンズ３１の光軸）に対して外側を向くように制御する。撮像ユニット１，２，４，５による撮像範囲を互いに少しずつ重ならせると、全体の撮像範囲を広くすることができる。この場合の電子カメラ１００による撮影画角は、撮像ユニット１，２，４，５による全体の撮像範囲の対角線の長さに対応する。

図４(b)に例示する画像合成は、撮像ユニット１，２，４，５による撮像範囲の重なり部分を合成代として行い、撮像ユニット３による撮像範囲３と重なる領域については、撮像ユニット３による取得画像を用いる。一般に、撮像範囲の中央の方が端部に比べてレンズ収差等による画質劣化が小さい。撮像ユニット３による取得画像を用いることで、撮像ユニット３による取得画像を用いない場合に比べて、広角設定時における合成画像の中央部での画質を高めることができる。

また、上述した三角測量方式のフォーカス調節時において、画像間の位置ズレ量を求めるために撮像ユニット間で撮像範囲が重なっていることが必要である。撮像ユニット３による取得画像を用いることで、合成画像の中央部で撮像範囲の重なり面積が広く確保されるようになり、該中央部をフォーカス調節エリアとして設定する場合のフォーカス調節性能を高めることができる。

＜望遠設定時＞
図５は、電子カメラ１００の撮影画角を望遠側に設定した場合の撮像範囲および合成画像を説明する図である。図５(a)において、操作部材６から望遠端への設定操作信号が入力されると、カメラ制御回路７は、中央に配設されている撮像ユニット３を除く撮像ユニット１，２，４，５の撮影方向（すなわち、対物レンズｎ１の光軸）が、それぞれ撮像ユニット３の撮影方向（すなわち、対物レンズ３１の光軸）に対して近づくように制御する。撮像ユニット１〜撮像ユニット５による撮像範囲を互いに重ならせると、全体の撮像範囲を狭くすることができる。この場合の電子カメラ１００による撮影画角は、撮像ユニット１つ当たりの撮像範囲の対角線の長さに対応する。

図５(b)に例示する画像合成において、各撮像ユニットｎ間の距離（カメラ本体における配設間隔）と、レンズ諸元とに基づいて公知の超解像処理を行うことにより、１つの撮像ユニットｎで得られる画素数データより多くの画素数データを有する高解像画像が得られる。高解像化した画像に対して電子ズーム処理を施せば、光学ズームのみの場合に比べて変倍比を高めることができる。

また、図５(b)に例示する画像合成において、各撮像ユニットｎによって取得された露出アンダーの画像データを画素単位で加算する場合には、適正露出の合成画像を得ることもできる。

撮像ユニット１〜撮像ユニット５による撮像範囲を互いに重ならせることで、合成画像の全域で重なり領域が確保されるので、広角設定時には、フォーカス調節エリアを任意の位置に設定してフォーカス調節を行うことができる。

以上説明した第一の実施形態によれば、以下の作用効果が得られる。
（１）電子カメラ１００は、複数のカメラユニット１〜５と、複数のカメラユニット１〜５を構成する各カメラユニットｎの撮影方向を制御するに際し、各カメラユニットｎによる撮像範囲を他のカメラユニットによる撮像範囲と重複させ、画角調節指示に応じて、重複させる範囲の大小を変化させることにより、複数のカメラユニット１〜５による全体の撮像範囲の対角線の長さを変えるように制御するカメラ制御回路７と、カメラ制御回路７による制御後に各カメラユニットｎが取得した複数の画像に基づいて１つの画像を合成する画像処理回路８とを備えるようにした。これにより、広角から望遠まで連続する画角変化に対応させた合成画像を、光学ズーム調整を行うことなしに得ることができる。

（２）各カメラユニットｎによる撮像範囲のアスペクト比、各カメラユニットｎによる全体の撮像範囲のアスペクト比、合成後の画像のアスペクト比、および４つのカメラユニットの配設位置が形成する矩形のアスペクト比を合致させたので、不一致の場合に比べて無駄な合成代を設けなくてよい。

（３）複数のカメラユニット１〜５は、４つのカメラユニット１，２，４，５に加えて、４つのカメラユニットの配設位置が形成する矩形の中央に相当する位置にカメラユニット３を設けたので、カメラユニット３による取得画像を用いない場合に比べて、広角設定時における合成画像の中央部での画質を高めることができる。また、三角測量方式のフォーカス調節時において、合成画像の中央部で撮像範囲の重なり面積が広く確保されるようになり、該中央部をフォーカス調節エリアとして設定する場合のフォーカス調節性能を高めることができる。

（４）各カメラユニットｎのフォーカス調節状態および撮影画角を合致させたので、画像合成処理を簡単にすることができる。

なお、第一の実施形態では、広角設定時における合成画像の中央部での画質と、該中央部でのフォーカス調節性能とをよくするようにカメラユニット３を設ける例を説明した。この代わりに、画質やフォーカス調節性能が十分である場合にはカメラユニット３を省略し、矩形の四隅に配設される４つのカメラユニット１，２，４，５で構成してもよい。

（変形例１）
合成後の画像のアスペクト比を変更するように、カメラユニット１〜カメラユニット５の撮影方向を変更してもよい。図６は、変形例１におけるカメラユニット１〜カメラユニット５の撮像範囲および合成画像を説明する図である。図６(a)において、中央に配設されているカメラユニット３を除くカメラユニット１，２，４，５の撮影方向（すなわち、対物レンズｎ１の光軸）は、それぞれがカメラユニット３の撮影方向（すなわち、対物レンズ３１の光軸）に対して近づけるように制御される。ここで、左右（水平方向）の重なりよりも、上下（垂直方向）の重なりを大きくすると、撮像範囲を横長にすることができる。電子カメラ１００による撮影画角がカメラユニット１，２，４，５による全体の撮像範囲の対角線の長さに対応する点は上述したとおりである。

図６(b)に例示する画像合成は、カメラユニット１，２，４，５による撮像範囲の重なり部分を合成代として行い、カメラユニット３による撮像範囲３と重なる領域については、カメラユニット３による取得画像を用いる。各カメラユニットｎのアスペクト比が４（横）：３（縦）の場合に、合成画像のアスペクト比をハイビジョンサイズと呼ばれる１６（横）：９（縦）や、１：１（正方形）、あるいはシネマスコープと呼ばれる２．３５（横）：１（縦）など、任意に指定して構わない。変形例１の構成により、多様なアスペクト比変化に対応させた合成画像を得ることができる。

（第二の実施形態）
カメラ本体におけるカメラユニット１〜カメラユニット５の配設位置を一次元アレイにしてもよい。図７は、第二の実施形態による電子カメラ１００Ｂを例示する斜視図である。図７(a)において、カメラ本体の正面側にカメラユニット１〜カメラユニット５が水平方向に並べて配設され、各カメラユニットｎの対物レンズｎ１が被写体側へ向けられる。カメラユニット３は５つのカメラユニットの中央に配設され、その対物レンズ３１の光軸は合成画像の画面中心垂直線と一致するように構成される。

中央に配設されているカメラユニット３を除くカメラユニット１，２，４，５の撮影方向（すなわち、対物レンズｎ１の光軸）は、それぞれがカメラユニット３の撮影方向（すなわち、対物レンズ３１の光軸）に対して外側を向くように制御される。カメラユニット１，２，４，５による撮像範囲を互いに少しずつ重ならせると、各カメラユニットｎのアスペクト比（４：３）と同じままで撮像範囲を広くすることができる。

図７(a)の場合の画像合成は、カメラユニット１，２，４，５による撮像範囲の重なり部分を合成代として行い、カメラユニット３による撮像範囲３と重なる領域については、カメラユニット３による取得画像を用いる。

図７(b)は、他のアスペクト比の画像合成を説明する図である。図７(b)において、中央に配設されているカメラユニット３を除くカメラユニット１，２，４，５の撮影方向（すなわち、対物レンズｎ１の光軸）は、それぞれがカメラユニット３の撮影方向（すなわち、対物レンズ３１の光軸）に対して左側または右側を向くように制御される。カメラユニット１と２，２と３，３と４、および４と５による撮像範囲を互いに少しずつ重ならせると、水平方向に撮像範囲を広くすることができる（超パノラマ）。

図７(b)の場合と異なり、中央に配設されているカメラユニット３を除くカメラユニット１，２，４，５の撮影方向（すなわち、対物レンズｎ１の光軸）を、それぞれがカメラユニット３の撮影方向（すなわち、対物レンズ３１の光軸）に対して上側または下側を向くようにするとともに、カメラユニット１と２，２と３，３と４、および４と５による撮像範囲を互いに少しずつ重ならせるように制御すると、垂直方向に撮像範囲を広くすることもできる。

図８は、第二の実施形態におけるカメラユニットｎの詳細を例示する図である。図８において、対物レンズｎ１、撮像素子ｎ２、ＡＦ・ズーム(Zoom)モータｎ５、およびＡＦ・ズーム(Zoom)エンコーダｎ６等が撮像部として一体に保持される点は図３の場合と同様である。撮影方向変更装置ｎ４は、送りねじ、スライダ、および撮影方向変更モータ（上下動モータ、左右動モータ）を含む。

上下動モータが回転すると送りねじが回転し、該送りねじに螺合するスライダが上下方向に移動する。スライダが上方または下方に移動すると、スライダと接続されている撮像部の向き（すなわち、対物レンズｎ１の光軸）が下方または上方へ駆動される。撮像部の上下方向の向きは、カメラユニットｎの撮影方向を示す情報として撮影方向検出センサｎ３を構成する上下撮影方向検出センサによって検出される。

左右動モータが回転すると、撮像部の向き（すなわち、対物レンズｎ１の光軸）が左右回転軸の回りに回動される。撮像部の左右方向の向きは、カメラユニットｎの撮影方向を示す情報として撮影方向検出センサｎ３を構成する左右方向検出センサによって検出される。

以上説明した第二の実施形態によれば、カメラ制御回路７は、並べて配設されているカメラユニットｎの配列方向および該配列に直交する二軸方向について各カメラユニットｎの撮影方向を制御するように構成したので、多様な画角とアスペクト比の合成画像が得られる。

（変形例２）
カメラユニットｎの数を３個にしてもよい。この場合は、各カメラユニットｎにおける撮像素子ｎ２のアスペクト比を３（横）：４（縦）にする。図９は、変形例２による電子カメラ１００Ｃの撮像範囲および合成画像を説明する図である。図９(a)において、カメラユニット２は、３つのカメラユニットの中央に配設され、その対物レンズ２１の光軸は合成画像の画面中心垂直線と一致するように構成される。

中央に配設されているカメラユニット２を除くカメラユニット１，３の撮影方向（すなわち、対物レンズｎ１の光軸）は、それぞれがカメラユニット２の撮影方向（すなわち、対物レンズ２１の光軸）に対して左側または右側を向くように制御される。カメラユニット１と２，および２と３による撮像範囲を互いに重ならせると、撮像素子ｎ２のアスペクト比が縦長でありながら、横長の撮像範囲が得られる。

図９(b)に例示する画像合成は、カメラユニット１，２，３による撮像範囲の重なり部分を合成代として行い、カメラユニット２による撮像範囲２と重なる領域については、カメラユニット２による取得画像を用いる。

以上説明した変形例２によれば、複数のカメラユニット１〜３による全体の撮像範囲のアスペクト比および合成後の画像のアスペクト比が第１の値（４（横）：３（縦））を有するとともに、各カメラユニットｎによる撮像範囲のアスペクト比は第１の値と縦横比が逆の第２の値（３（横）：４（縦））を有するようにした。これにより、カメラユニットｎによる撮像範囲のアスペクト比が横長の場合に横長の撮像範囲を得る場合に比べて、撮影画角設定の際の自由度を高めることができる。

上述した各カメラユニットｎが備える撮影方向変更装置の構成は一例であり、説明に用いた構成に限られることはない。また、各カメラユニットｎにそれぞれ個別に撮影方向変更装置を配設する例を説明したが、各カメラユニットｎの撮影方向を同時に連動して制御するように、１つの撮影方向変更装置として一体に構成してもよい。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

本発明の第一の実施形態による電子カメラの構成を説明するブロック図である。 電子カメラを例示する斜視図である。 カメラユニットの詳細を例示する図である。 (a)カメラユニットの撮影画角を広角側に設定した場合の撮像範囲を説明する図、(b)合成画像を説明する図である。 (a)カメラユニットの撮影画角を望遠側に設定した場合の撮像範囲を説明する図、(b)合成画像を説明する図である。 (a)変形例１におけるカメラユニットの撮像範囲を説明する図、(b)合成画像を説明する図である。 (a)第二の実施形態によるカメラユニットの撮像範囲を説明する図、(b)合成画像を説明する図である。 カメラユニットの詳細を例示する図である。 (a)変形例２におけるカメラユニットの撮像範囲を説明する図、(b)合成画像を説明する図である。

符号の説明

１〜５、ｎ…カメラユニット
６…操作部材
７…カメラ制御回路
８…画像処理回路
９…メモリ
１００、１００Ｂ、１００Ｃ…電子カメラ
ｎ１…対物レンズ
ｎ２…撮像素子
ｎ３…撮影方向検出センサ
ｎ４…撮影方向変更装置
ｎ５…ＡＦ・ズーム(Zoom)モータ
ｎ６…ＡＦ・ズーム(Zoom)エンコーダ

Claims (8)

1. 複数の撮像ユニットと、
   前記複数の撮像ユニットを構成する各撮像ユニットの撮影方向を制御し、前記各撮像ユニットによる撮像範囲を他の撮像ユニットによる撮像範囲と重複させる撮影方向制御手段と、
   画角調節指示に応じて、前記重複させる範囲の大小を変化させることにより、前記複数の撮像ユニットによる全体の撮像範囲の対角線の長さを変えるように前記撮影方向制御手段を制御する画角制御手段と、
   前記画角制御手段による制御後に前記各撮像ユニットが取得した複数の画像に基づいて１つの画像を合成する画像合成手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像ユニットは少なくとも４つの撮像ユニットで構成され、
   前記各撮像ユニットによる撮像範囲のアスペクト比、前記各撮像ユニットによる全体の撮像範囲のアスペクト比、前記合成後の画像のアスペクト比、および前記４つの撮像ユニットの配設位置が形成する矩形のアスペクト比が合致していることを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記複数の撮像ユニットは、前記４つの撮像ユニットに加えて、前記矩形の中央に相当する位置に配設される撮像ユニットをさらに有することを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記画角制御手段はさらに、アスペクト比調節指示に応じて、前記重複させる範囲の大小を変化させることにより、前記複数の撮像ユニットによる全体の撮像範囲のアスペクト比および前記合成後の画像のアスペクト比を、前記各撮像ユニットによる撮像範囲のアスペクト比および前記４つの撮像ユニットの配設位置が形成する矩形のアスペクト比と異ならせるように前記撮影方向制御手段を制御することを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、
   前記撮像ユニットは並べて配設され、
   前記撮影方向制御手段は、前記撮像ユニットの配列方向および該配列に直交する二軸方向について各撮像ユニットの撮影方向をそれぞれ制御することを特徴とする撮像装置。
6. 請求項１に記載の撮像装置において、
   前記撮像ユニットは水平方向または垂直方向に並べて配設された少なくとも４つの撮像ユニットで構成されることを特徴とする撮像装置。
7. 請求項１に記載の撮像装置において、
   前記複数の撮像ユニットによる全体の撮像範囲のアスペクト比および前記合成後の画像のアスペクト比が第１の値を有するとともに、前記複数の撮像ユニットを構成する各撮像ユニットによる撮像範囲のアスペクト比は前記第１の値と縦横比が逆の第２の値を有することを特徴とする撮像装置。
8. 請求項１〜７のいずれか一項に記載の撮像装置において、
   前記各撮像ユニットのフォーカス調節状態および撮影画角は合致していることを特徴とする撮像装置。

Images