JP5828039B2

JP5828039B2 - 画像生成装置および画像生成方法

Info

Publication number: JP5828039B2
Application number: JP2014520797A
Authority: JP
Inventors: 平田　真一; 真一平田; 洋大澤; 京子古村
Original assignee: Sony Interactive Entertainment Inc; Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2012-06-11
Filing date: 2012-06-11
Publication date: 2015-12-02
Anticipated expiration: 2032-06-11
Also published as: EP2860963B1; CN104350734B; US9583133B2; JPWO2013186804A1; CN104350734A; WO2013186804A1; EP2860963A4; US20150162048A1; EP2860963A1

Description

この発明は、画像生成装置および方法に関する。特に、合成画像を生成する装置および方法に関する。

デジタルスチルカメラやデジタルビデオカメラが普及しており、撮影した静止画や動画をコンピュータに保存して閲覧、加工したり、ゲーム機やテレビジョン（ＴＶ）システムの画面に表示する機会が多くなっている。また、撮影した動画をインターネットの投稿サイトにアップロードし、他のユーザと動画を共有することも盛んである。

デジタルカメラの中には、パノラマ画像の撮影が可能なものもあり、手軽に視野角の広いパノラマ画像を撮影することができるようになってきた。また、撮影方向を変えながら、デジタルカメラの撮影した複数の画像を貼り合わせることでパノラマ画像を生成するソフトウエアツールもよく利用されている。

また、カメラ付きの携帯電話などの携帯機器にもパノラマ撮影モードやパノラマ画像を合成するアプリケーションが設けられ、携帯機器の傾きを変えながらカメラで撮影し、自動的にパノラマ画像に合成することができるものがある。

特開２０１１−７６２４９号公報

カメラやカメラ付きの携帯機器にパノラマ撮影モードでは、カメラや携帯機器の撮影方向を変えながら撮影するため、位置ずれによる誤差が大きくなる。また、撮影方向の異なる複数の静止画像を逐次的に撮影してパノラマ画像に合成するため、撮影方向の異なる複数の静止画像の間で時間のずれが生じる。そのため、パノラマ静止画を合成できても、パノラマ動画を撮影することは原理的に難しい。そこで、複数のカメラを搭載した多眼カメラを用いて全方位の画像を同時に撮影してパノラマ写真を合成する方法が取られる。

このような全方位多眼式カメラは、複数のカメラを駆動するため消費電力が大きい。また、カメラの個数分の画像データを処理するためにメモリに供給する電力も大きくなる。また、カメラの個数分の画像データを記憶するためのメモリ容量も大きくなるといった問題があった。

本発明はこうした課題に鑑みてなされたものであり、その目的は、多眼カメラを用いた場合でも動画としての画質をさほど損なわずに消費電力を動的に低減することのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像生成装置は、複数の撮像ユニットからの撮像画像をそれぞれ記憶する複数のフレームメモリと、各フレームメモリから各撮像ユニットの撮像画像を読み出し、撮像画像を多重化して画像ストリームを生成する多重化部とを含む。前記多重化部は、少なくとも一つの撮像ユニットの撮像画像の動きを検出する動き検出部と、前記動き検出部により検出された動きの量および当該画像生成装置の消費電力制限の少なくとも一方に応じて、複数の撮像ユニットを同時動作させるモードと、複数の撮像ユニットを間欠動作させるモードのいずれかに設定するモード判定部と、前記モード判定部により設定されたモードに応じて、複数のフレームメモリからの撮像画像の読み出しを制御する制御信号を複数のフレームメモリに供給する制御信号発生部とを含む。

本発明の別の態様は、画像生成方法である。この方法は、複数の撮像ユニットからの撮像画像をそれぞれ記憶する複数のフレームメモリに格納するステップと、各フレームメモリから各撮像ユニットの撮像画像を読み出し、撮像画像を多重化して画像ストリームを生成する多重化ステップとを含む。前記多重化ステップは、少なくとも一つの撮像ユニットの撮像画像の動きを検出する動き検出ステップと、前記動き検出ステップにより検出された動きの量および消費電力制限の少なくとも一方に応じて、複数の撮像ユニットを同時動作させるモードと、複数の撮像ユニットを間欠動作させるモードのいずれかに設定するモード判定ステップと、前記モード判定ステップにより設定されたモードに応じて、複数のフレームメモリからの撮像画像の読み出しを制御する制御信号を複数のフレームメモリに供給する制御信号発生ステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、多眼カメラを用いて容易に合成画像を生成することができる。

実施の形態に係るパノラマ撮像装置の斜視図である。図１のパノラマ撮像装置の多眼撮像部の側面撮像ユニットの画角と操作・表示部の設置位置を説明する図である。図１の多眼撮像部の内部構造を説明する図である。図４（ａ）〜図４（ｃ）は、図３の固定部材に搭載された６つの撮像ユニットの位置関係を説明する図である。６つの撮像ユニットが固定された固定部材と本体部の中心軸を示す図である。図６（ａ）および図６（ｂ）は、多眼撮像部と本体部の分離可能な構成を説明する図である。多眼撮像部の底面にも撮像ユニットを設けた構成を示す図である。図８（ａ）〜図８（ｄ）は、固定部材の側面に設置された撮像ユニットの画角と固定部材の天頂面に設置された撮像ユニットの画角の関係を説明する図である。パノラマ撮像装置の多眼撮像部を上から見た上面図において、固定部材の側面に設置された５つの側面撮像ユニットによる視野の重なりを示す図である。図１０（ａ）および図１０（ｂ）は、操作・表示部に表示される操作画面を説明する図である。本体部のメイン回路に実装されるパノラマ動画ストリーム生成部の機能構成図である。パノラマ動画ストリーム生成部における動画ストリーム切り替え記録制御に関する構成を示す。パノラマ動画ストリーム生成部による動画ストリーム切り替え記録制御手順を説明するフローチャートである。図１４（ａ）および図１４（ｂ）は、動画ストリーム切り替え記録制御により生成されるパノラマ動画ストリームのデータ構造を説明する図である。多眼カメラを選択的に制御するための制御系の構成図である。図１５の多眼カメラ制御系の機能構成を説明する図である。図１７（ａ）は、図１６の多眼カメラ制御系による書き込み処理を説明するフローチャートであり、図１７（ｂ）は、図１６の多眼カメラ制御系による読み込み処理を説明するフローチャートである。図１６の多眼カメラ制御系の実装例を説明する図である。図１６の多眼カメラ制御系の別の実装例を説明する図である。図２０（ａ）および図２０（ｂ）は、操作・表示部４０に表示される操作画面の例を説明する図である。基準カメラを指定して一括共通設定する場合を説明する図である。基準カメラを指定して一括共通設定する場合の操作画面例を示す図である。室内から窓を通して屋外を撮影する場合を説明する図である。室内から窓を通して屋外を撮影する場合の操作画面例を示す図である。室内から窓を通して屋外を撮影する場合の操作画面例を示す図である。一部のカメラをフリーズさせる場合を説明する図である。一部のカメラをフリーズさせる場合の操作画面例を示す図である。多段露出撮影を行うためのパノラマ動画ストリーム生成部の機能構成図である。図２９（ａ）および図２９（ｂ）は、比較のため、複数の撮像ユニットに共通の基準露出値を設定して撮影した撮像画像を説明する図である。図３０（ａ）〜図３０（ｃ）は、図２８の露出設定部により各撮像ユニットに設定される基準露出値および基準露出値を中心に多段変化させた変動露出値を説明する図である。図２８のＨＤＲ合成部によって合成されたパノラマ画像を説明する図である。多段露出撮影の手順を説明するフローチャートである。図３３（ａ）〜図３３（ｃ）は、図２８のＨＤＲ合成部による疑似ＨＤＲ合成の方法を説明する図である。方位合わせを行うことのできるパノラマ動画ストリーム生成部の機能構成図である。正面方向の撮像ユニットの撮影方向を磁北に合わせるためのユーザインタフェースを説明する図である。正面方向の撮像ユニットの撮影方向を磁北に合わせるためのユーザインタフェースを説明する図である。特定の撮像ユニットの撮影方向を磁北に合わせるためのユーザインタフェースを説明する図である。特定の撮像ユニットの撮影方向を磁北に合わせるためのユーザインタフェースを説明する図である。

［パノラマ撮像装置の構成］
図１は、実施の形態に係るパノラマ撮像装置１００の斜視図である。パノラマ撮像装置１００は、多眼撮像部１０と本体部３０を含む。本実施の形態では、多眼撮像部１０と本体部３０は円筒形であり、多眼撮像部１０と本体部３０は中心軸を合わせて連結されている。

多眼撮像部１０は、円筒形状のカメラ筐体１２で覆われており、カメラ筐体１２には複数の撮像ユニット２０Ａ〜２０Ｆ（以下、総称するときは撮像ユニット２０と呼ぶ）が搭載されている。各撮像ユニット２０Ａ〜２０Ｆは、レンズ、撮像素子等、撮影に必要な構成要素を含む。本実施の形態では、円筒形状のカメラ筐体１２の円周にレンズが位置するように５つの撮像ユニット２０Ａ〜２０Ｅ（以下、「側面撮像ユニット」とも呼ぶ）が等角度で配置されており、カメラ筐体１２の上面にレンズが位置するように１つの撮像ユニット２０Ｆ（以下、「天頂部撮像ユニット」とも呼ぶ）が配置されている。

本体部３０は、操作・表示部４０、バッテリ、メイン回路、および外部インタフェースを含む。操作・表示部４０は、円筒形状の本体部３０の外周よりも内側にくぼんだ位置に設けられている。多眼撮像部１０の各撮像ユニット２０Ａ〜２０Ｆにより撮像された動画データはシリアルインタフェースやＵＳＢ（Universal Serial Bus）インタフェースを介して本体部３０のメイン回路に伝送される。メイン回路には、各撮像ユニット２０Ａ〜２０Ｆにより撮像された動画フレームを多重化してパノラマ動画ストリームを生成する機能が実装される。メイン回路は、ＵＳＢメモリなどの外部記録デバイスを接続するための外部インタフェースを含み、生成されたパノラマ動画ストリームは外部インタフェースを介して外部記録デバイスに記録される。

操作・表示部４０は、タッチパネルを備えたディスプレイである。多眼撮像部１０の各撮像ユニット２０Ａ〜２０Ｆにより撮影された各画像をディスプレイに表示する。また、複数の撮像ユニット２０Ａ〜２０Ｆにより撮影された複数の画像を合成したパノラマ画像をディスプレイに表示することもできる。さらに、ディスプレイには操作メニューを表示することもでき、ユーザはディスプレイの画面を見ながら、タッチパネルに指で直接触れることで画面に対する操作を入力することができる。

図２は、パノラマ撮像装置１００の多眼撮像部１０の側面撮像ユニット２０Ａの画角と操作・表示部４０の設置位置を説明する図である。パノラマ撮像装置１００の本体部３０は三脚８０に取り付けられている。

側面撮像ユニット２０Ａによって撮影される視野は、図のように側面撮像ユニット２０Ａの画角θによってその広がりが示される。撮影者は三脚８０の前に座って、下から手を伸ばして操作・表示部４０に表示された操作メニューを操作する。操作・表示部４０は、円筒形状の本体部３０のくぼみ部分に設けられているため、撮影者がタッチパネルに触れて画面上の操作メニューを操作する場合でも、側面撮像ユニット２０Ａの視野の外側でタッチパネルに触れることができる。これによって、撮影者の指が意図せず画像に写り込むことを避けることができる。

さらに、操作・表示部４０が円筒形状の本体部３０のくぼみ部分に設けられていることにより、操作・表示部４０による照明光がいずれかの撮像ユニット２０Ａ〜２０Ｆに写り込むことを避けることができる。操作・表示部４０からの照明光による写り込みの影響が所定のレベル以下にするように、操作・表示部４０が設けられるくぼみの深さやくぼみ部分に設けられる操作・表示部４０の傾きを設計する。

図３は、多眼撮像部１０の内部構造を説明する図である。多眼撮像部１０のカメラ筐体１２の内部では、複数の撮像ユニット２０Ａ〜２０Ｆが一つの固定部材１４に固定されている。複数の撮像ユニット２０Ａ〜２０Ｆを別々の固定部材に固定すると、各固定部材の熱膨張などによる変形のために複数の撮像ユニット２０Ａ〜２０Ｆ間の位置のずれにばらつきが生じる。本実施の形態のように、複数の撮像ユニット２０Ａ〜２０Ｆを一つの固定部材１４に固定すれば、固定部材１４の熱膨張などによる特性変化が撮像ユニット２０Ａ〜２０Ｆに与える影響も一定になるから、複数の撮像ユニット２０Ａ〜２０Ｆ間の位置精度を高めることができる。

本実施の形態では固定部材１４は正５角柱であり、５角柱の５つの側面に５つの側面撮像ユニット２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅが設置されており、５角柱の天頂面に１つの天頂部撮像ユニット２０Ｆが設置されている。本実施の形態では、固定部材１４は５角柱であるが、それ以外の多角柱として、多角柱の周囲の各面に撮像ユニットを設けてもよい。

一般にパノラマ画像は撮影者の水平方向３６０度に撮影対象があり、頭上は空であったり、足下は地面であることが多い。そこで、本実施の形態のように、多角柱の外周面に撮像ユニットを設け、多角柱の上面に１つの撮像ユニットを設ける構成にすれば、撮影者の水平方向に等角度で視線方向を変えた複数の画像を撮影することができる。また、複数の撮像ユニットを均等間隔で配置したことにより、各撮像ユニットの撮像データをつなぎ合わせてパノラマ画像を生成する際の合成処理が容易になる。さらに、従来の多眼カメラとして、正１２面体の各面に撮像ユニット（合計で１２個の撮像ユニット）を設けたものがあるが、それに比べて、本実施の形態では、少ない数の撮像ユニットでパノラマ画像合成に必要な画像を撮影できるという利点もある。

図４（ａ）〜図４（ｃ）は、図３の固定部材１４に搭載された６つの撮像ユニット２０Ａ〜２０Ｆの位置関係を説明する図である。図４（ａ）は、固定部材１４の中心軸の方向（図３のｚ軸方向）から見た上面図であり、図４（ｂ）は、撮像ユニット２０Ａが取り付けられた固定部材１４の角柱の一つの側面に垂直な方向（図３のｘ軸方向）から見た側面図であり、図４（ｃ）は、図３のｘ軸方向およびｚ軸方向と垂直をなす図３のｙ軸方向から見た側面図である。

図４（ａ）の上面図に示すように、５つの側面撮像ユニット２０Ａ〜２０Ｅが水平面において等しい円周角（７２°）で半径Ｌの円をなすように５角柱の固定部材１４の周りに配置されており、各側面撮像ユニット２０Ａ〜２０Ｅの撮影方向は円の径方向である。図４（ｂ）および図４（ｃ）の側面図に示すように、固定部材１４の天頂面に配置された天頂部撮像ユニット２０Ｆと固定部材１４の側面に配置された側面撮像ユニット２０Ｂは、垂直面において円周角９０°で半径Ｌの円をなすように配置されている。天頂部撮像ユニット２０Ｆと固定部材１４の固定部材１４の他の側面に配置された各側面撮像ユニット２０Ａ、２０Ｃ、２０Ｄ、２０Ｅも同様に円周角９０°で半径Ｌの円をなすように配置されている。言い換えれば、６つの撮像ユニット２０Ａ〜２０Ｆは、半径Ｌの球をなすように配置されている。

図５は、６つの撮像ユニット２０Ａ〜２０Ｆが固定された固定部材１４と本体部３０の中心軸を示す図である。図のように、固定部材１４と本体部３０の中心軸が一致するように多眼撮像部１０は本体部３０に連結される。さらに本体部３０の三脚座固定穴５０は本体部３０の中心軸に設けられているため、三脚座固定穴５０に結合される三脚の位置が固定部材１４の中心軸に一致するようになり、三脚に設置された本体部３０を傾けたり、回したりしたときでも、撮影位置や視線方向などの調整がしやすい。

図６（ａ）および図６（ｂ）は、多眼撮像部１０と本体部３０の分離可能な構成を説明する図である。図６（ａ）のように、多眼撮像部１０と本体部３０を分離させ、画像データを、たとえば、ＵＳＢ（Universal Serial Bus）などの周辺機器を接続するためのインタフェース規格に合わせて変換し、延長可能なケーブル等と用いて物理的に離れた位置にある本体部３０と接続してもよい。また、カメラの信号線を延長する、取り外し可能な中継ケーブルを介して多眼撮像部１０と本体部３０を接続してもよい。また、多眼撮像部１０と本体部３０の両方に無線通信機能を設け、両者を無線接続してもよい。これにより、本体部３０を持ち込めないような狭い場所でも多眼撮像部１０だけを持ち込むことでパノラマ撮影が可能になる。たとえば、穴の中に多眼撮像部１０を入れて穴の中のパノラマ撮影ができる。

また、本体部３０はタブレットＰＣや携帯電話などの携帯端末であってもよく、多眼撮像部１０と本体部３０を切り離して多眼撮像部１０と本体部３０の間で無線通信によりデータをやりとりしてもよい。これにより、撮影者は本体部３０を携帯しながら、多眼撮像部１０を遠隔地から操作することが可能になり、撮影者の写り込みを避けることがさらに容易になる。

図６（ｂ）は、多眼撮像部１０の底面に三脚座固定穴５２を設けた構成であり、多眼撮像部１０に直接、三脚を結合することができる。多眼撮像部１０に無線通信機能を設ければ、多眼撮像部１０で撮影されたデータを本体部３０や他の携帯端末に送信することができる。

図７は、多眼撮像部１０の底面にも撮像ユニット２０Ｇを設けた構成を示す図である。このように上面の撮像ユニット２０Ｆ以外に底面にも撮像ユニット２０Ｇを設けたことで、全方位の撮影が可能になる。この場合、底面に三脚を結合することはできないため、天井からワイヤなどで多眼撮像部１０をつるすなどの方法で撮影を行うことになる。あるいは、多眼撮像部１０を空中に投げることで全方位の撮影を行ってもよい。多眼撮像部１０に無線通信機能を設ければ、多眼撮像部１０で撮影されたデータを本体部３０や他の携帯端末に送信することができる。

図８（ａ）〜図８（ｄ）は、固定部材１４の側面に設置された撮像ユニット２０Ａの画角と固定部材１４の天頂面に設置された撮像ユニット２０Ｆの画角の関係を説明する図である。

図８（ａ）は、固定部材１４の側面に設置された側面撮像ユニット２０Ａの視野６０Ａと、固定部材１４の天頂面に設置された天頂部撮像ユニット２０Ｆの視野６０Ｂの関係を示す。図８（ｂ）は、パノラマ撮像装置１００の多眼撮像部１０を上から見た上面図（図３のｚ軸方向から見た図）であり、固定部材１４の側面に設置された側面撮像ユニット２０Ａの視野６０Ａの水平画角θ_ＡＨを示す。図８（ｃ）、図８（ｄ）は、パノラマ撮像装置１００を横から見た側面図（図３のｘ軸方向、ｙ軸方向から見た図）である。図８（ｃ）は、固定部材１４の天頂面に設置された天頂部撮像ユニット２０Ｆの水平画角θ_ＦＨを示す。図８（ｄ）は、固定部材１４の側面に設置された側面撮像ユニット２０Ａの垂直画角θ_ＡＶと、固定部材１４の天頂面に設置された天頂部撮像ユニット２０Ｆの垂直画角θ_ＦＶを示す。

一例として、側面撮像ユニット２０Ａの水平画角θ_ＡＨは、θ_ＡＨ＝１２１°であり、固定部材１４の側面に５つの側面撮像ユニット２０Ａ〜２０Ｅを設置することで水平方向３６０°のパノラマ撮影を可能にする。一方、側面撮像ユニット２０Ａの垂直画角θ_ＡＶは、θ_ＡＶ＝１３４°であり、天頂部撮像ユニット２０Ｆの水平画角θ_ＦＨ（＝１３４°）または垂直画角θ_ＦＶ（＝１２１°）と合わせて垂直方向１８０°のパノラマ撮影を可能にする。

なお、この例では、側面撮像ユニット２０Ａの垂直画角θ_ＡＶと水平画角θ_ＡＨの関係は、θ_ＡＶ＞θ_ＡＨである。通常のレンズでは水平画角が垂直画角よりも大きいが、ここでは、側面撮像ユニット２０Ａ〜２０Ｅの垂直方向の画角を大きくするために、固定部材１４の側面では通常に対して９０°回転させた状態で撮像ユニット２０Ａ〜２０Ｅを設置していることに留意する。

図９は、パノラマ撮像装置１００の多眼撮像部１０を上から見た上面図において、固定部材１４の側面に設置された５つの側面撮像ユニット２０Ａ〜２０Ｅによる視野の重なりを示す図である。各側面撮像ユニット２０Ａ〜２０Ｅの水平画角は一例として、１２１°であり、５つの側面撮像ユニット２０Ａ〜２０Ｅによる撮影画像を組み合わせると、水平方向３６０°のパノラマ撮影ができる。

図１０（ａ）および図１０（ｂ）は、操作・表示部４０に表示される操作画面を説明する図である。図１０（ａ）に示すパノラマ撮像装置１００の６つの撮像ユニット２０Ａ〜２０Ｆにより撮影される画像はそれぞれ、図１０（ｂ）に示す操作画面の領域Ａ〜Ｆに表示される。

タッチパネルにおいて図１０（ｂ）に示す領域Ａ〜Ｆのいずれかを選択することで、撮像ユニット２０Ａ〜２０Ｆのいずれかを基準カメラとして選択することができる。ここでは、領域Ｂが選択されており、たとえば、領域Ｂの枠が別の色で表示されるなど、領域Ｂが強調表示される。領域Ｂは、撮像ユニット２０Ｂに対応しており、撮像ユニット２０Ｂが基準カメラになり、撮像ユニット２０Ｂが露出やホワイトバランスなどの撮影条件を設定する際の基準となる。

撮影者が自動露出（ＡＥ（auto exposure））ロックボタン７４を押すと、自動露出によって基準カメラである撮像ユニット２０Ｂが最適露出値に設定され、その最適露出値が他の撮像ユニット２０Ａ、２０Ｃ、２０Ｄ、２０Ｅ、２０Ｆにも反映される。ＡＥロックボタン７４はトグルになっており、もう一度押すと、ＡＥロックが解除され、各撮像ユニット２０Ａ〜２０Ｆに対して独立に露出を自動調整することができる。

次に、撮影者が自動ホワイトバランス（ＡＷＢ（auto white balance））ロックボタン７６を押すと、自動ホワイトバランスによって基準カメラである撮像ユニット２０Ｂがホワイトバランスが調整され、その補正値が他の撮像ユニット２０Ａ、２０Ｃ、２０Ｄ、２０Ｅ、２０Ｆにも反映される。ＡＷＢロックボタン７６もトグルになっており、もう一度押すと、ＡＷＢロックが解除され、各撮像ユニット２０Ａ〜２０Ｆに対して独立にホワイトバランスを自動調整することができる。

拡張コントロールボタン７８を押すと、各種設定メニューが表示され、撮影パラメータのさらなる設定が可能である。

撮影者が動画記録開始／停止ボタン７０を押すと、各撮像ユニット２０Ａ〜２０Ｆによって動画が撮影され、もう一度、動画記録開始／停止ボタン７０を押すと、動画撮影が停止する。静止画撮影ボタン７２を押すと、各撮像ユニット２０Ａ〜２０Ｆによって静止画像が撮影される。記録された動画または静止画は、本体部３０にメイン回路の外部インタフェースに接続されたＵＳＢメモリなどに記録される。

図１１は、本体部３０のメイン回路に実装されるパノラマ動画ストリーム生成部２００の機能構成図である。

撮影制御部２１０は、多眼撮像部１０の撮像ユニット２０Ａ〜２０Ｆの露出値やホワイトバランス値、フレームレートなどの撮影パラメータを個別または一括で設定する。また、撮影制御部２１０は、撮像ユニット２０Ａ〜２０Ｆのズームや撮影の開始／停止などを制御する。

撮像ユニット２０Ａ〜２０Ｆにより撮影された動画フレームはそれぞれフレームメモリ２２０Ａ〜２２０Ｆに格納される。

動画ストリーム多重化部２３０は、フレームメモリ２２０Ａ〜２２０Ｆに格納された撮像ユニット２０Ａ〜２０Ｆにより撮影された動画フレームを多重化して多眼動画ストリームを生成し、パノラマステッチ部２４２に供給する。パノラマステッチ部２４２は、撮像ユニット２０Ａ〜２０Ｆにより撮影された動画フレームをつなぎ合わせるステッチング処理によってパノラマ動画を合成し、パノラマ動画ストリームを生成する。パノラマステッチ部２４２は、消費電力が制限されている場合は、ステッチング処理を行わずに、多眼動画ストリームをそのまま出力することもできる。また、パノラマステッチ部２４２は、必要に応じて、多眼動画ストリームとパノラマ動画ストリームの両方を出力することもできる。パノラマステッチ部２４２は、多眼動画ストリームおよびパノラマ動画ストリームの少なくとも一方をパノラマ動画記憶部２４０に記録する。

表示制御部２６０は、フレームメモリ２２０Ａ〜２２０Ｆから撮像ユニット２０Ａ〜２０Ｆにより撮影された動画フレームを読み出して操作・表示部４０の画面に表示する。

ユーザインタフェース部２５０は、撮像ユニット２０Ａ〜２０Ｆの操作メニューの情報を表示制御部２６０に与え、表示制御部２６０は操作メニューを操作・表示部４０の画面に表示する。

タッチパネル制御部２７０は、タッチパネルにおけるユーザの指によるタッチ操作を検出し、タッチ位置の情報などをユーザインタフェース部２５０に与える。ユーザインタフェース部２５０は、タッチパネル制御部２７０により与えられたタッチ位置の情報から操作メニューにおいてユーザが選択した操作内容を特定し、撮影制御部２１０に操作コマンドを送る。撮影制御部２１０は、ユーザインタフェース部２５０から与えられた操作コマンドにもとづいて、撮像ユニット２０Ａ〜２０Ｆを制御する。

［動画ストリーム切り替え記録制御］
次に、パノラマ撮像装置１００のパノラマ動画ストリーム生成部２００における動画ストリーム切り替え記録制御について説明する。

図１２は、パノラマ動画ストリーム生成部２００における動画ストリーム切り替え記録制御に関する構成を示す。ここでは、図１１で示した撮影制御部２１０と動画ストリーム多重化部２３０の異なる構成と動作を説明する。図１１のパノラマ動画記憶部２４０、表示制御部２６０、ユーザインタフェース部２５０、タッチパネル制御部２７０の各構成は、ここでは図示を省略する。

図１２において、破線は制御信号線を示し、太い線は画像データの伝送路を示す。図１１で既に説明したように、撮像ユニット２０Ａ〜２０Ｆにより撮影された動画フレームはフレームメモリ２２０Ａ〜２２０Ｆにそれぞれ格納され、動画ストリーム多重化部２３０は、フレームメモリ２２０Ａ〜２２０Ｆに格納された各撮像ユニット２０Ａ〜２０Ｆにより撮影された動画フレームを読み出し、多重化して多眼動画ストリームを生成する。

動画ストリーム多重化部２３０は、各撮像ユニット２０Ａ〜２０Ｆにより撮影された動画フレームを多重化する機能の他、動き検出部２３２、モード判定部２３４、および制御信号発生部２３６の各機能を有する。

動き検出部２３２は、撮像ユニット２０Ａ〜２０Ｆにより撮影された動画フレームＡ〜Ｆにおいて動きベクトルを検出し、動画フレームＡ〜Ｆの動きベクトルの大きさの総和を求める。あるいは、動き検出部２３２は、特定の１つ以上の注目する撮像ユニットにより撮影された動画フレームにおいて動きベクトルを検出し、注目する１以上の動画フレームの動きベクトルの大きさの総和を求めてもよい。

モード判定部２３４は、動き検出部２３２により算出された動きベクトルの大きさの総和が所定の閾値未満である場合、撮像ユニット２０Ａ〜２０Ｆをフレーム周期で順次、間欠動作させて、１フレーム毎に撮像ユニット２０Ａ〜２０Ｆのいずれかに切り替え、切り替え先の１つの撮像ユニットが出力する撮像画像を対応するフレームメモリから読み出し、１つの動画ストリームに多重化する「撮像ユニット間欠動作モード」に設定する。

モード判定部２３４は、動き検出部２３２により算出された動きベクトルの大きさの総和が所定の閾値以上である場合、すべての撮像ユニット２０Ａ〜２０Ｆを同時に動作させ、各撮像ユニット２０Ａ〜２０Ｆが出力する撮像画像をフレームメモリ２２０Ａ〜２２０Ｆから読み出し、１つの動画ストリームに多重化する「撮像ユニット同時動作モード」に設定する。

モード判定部２３４は、設定された撮像ユニットの動作モードの情報を撮影制御部２１０と制御信号発生部２３６に与える。

撮影制御部２１０は、モード判定部２３４により設定される動作モードに応じた制御信号を撮像ユニット２０Ａ〜２０Ｆに供給する。

「撮像ユニット間欠動作モード」の場合、撮影制御部２１０は、撮像ユニット２０Ａ〜２０Ｆをフレーム周期で順次、間欠動作させる制御信号を与える。これにより、動作していない撮像ユニットには電力を供給する必要がなくなり、消費電力を削減できる。

「撮像ユニット同時動作モード」の場合、撮影制御部２１０は、すべての撮像ユニット２０Ａ〜２０Ｆを同時に動作させる制御信号を与える。この場合、すべての撮像ユニット２０Ａ〜２０Ｆを動作させるため、消費電力はかかるが、被写体の動きが激しい場合やシーンが変わる場合でも、合成されるパノラマ動画の画質が劣化しない。

制御信号発生部２３６は、モード判定部２３４により設定される動作モードに応じた制御信号をフレームメモリ２２０Ａ〜２２０Ｆに供給する。「撮像ユニット間欠動作モード」の場合、制御信号発生部２３６は、１フレーム毎にフレームメモリ２２０Ａ〜２２０Ｆのいずれかに切り替え、切り替え先のフレームメモリからの読み出しをアクティブにし、他のフレームメモリからの読み出しを非アクティブにする制御信号を与える。「撮像ユニット同時動作モード」の場合、制御信号発生部２３６は、すべてのフレームメモリ２２０Ａ〜２２０Ｆからの読み出しをアクティブにする制御信号を与える。

ここで、「撮像ユニット同時動作モード」の場合であっても、画像データを伝送するインタフェースの帯域幅が（撮像ユニットの個数）×（１フレームのデータ量）×（フレームレート）よりも大きければ、すべてのフレームメモリ２２０Ａ〜２２０Ｆからの読み出しをアクティブにして、同時に各フレームメモリ２２０Ａ〜２２０Ｆから画像データを読み出しても問題がないが、撮像ユニット１つ分のデータ量しか許容できない場合は、いったんフレームメモリ２２０Ａ〜２２０Ｆに画像データを記録しておき、フレームメモリ２２０Ａ〜２２０Ｆを順次切り替えながら、順次画像データを送出するようにしてもよい。

また、撮像ユニット２０Ａ〜２０Ｆの立ち上がり時間が遅く、撮像ユニット２０Ａ〜２０Ｆの間欠動作をすると支障がある場合は、撮像ユニット２０Ａ〜２０Ｆを連続動作させておいて、フレームメモリ２２０Ａ〜２２０Ｆをフレーム周期で順次、間欠動作させて、１フレーム毎にフレームメモリ２２０Ａ〜２２０Ｆのいずれかに切り替え、切り替え先の１つのフレームメモリから撮像画像を読み出し、１つの動画ストリームに多重化してもよい。これによってもフレームメモリに供給する電力を削減することができる。

また、モード判定部２３４は、撮像画像の動き量だけでなく、パノラマ撮像装置１００のバッテリ残量や許容消費電力に応じて、「撮像ユニット間欠動作モード」と「撮像ユニット同時動作モード」を切り替えてもよい。たとえば長時間動作させるためには単位時間上がりの消費電力を抑える必要があり、「撮像ユニット間欠動作モード」に切り替える。また、バッテリ残量が十分である間は「撮像ユニット同時動作モード」で実行し、バッテリ残量が少なくなると「撮像ユニット間欠動作モード」に切り替えてもよい。また、パノラマ撮像装置１００が内蔵された充電式バッテリにより駆動されている場合は「撮像ユニット間欠動作モード」に設定し、ＡＣアダプタから供給される外部電力によって駆動されている場合は「撮像ユニット同時動作モード」に設定してもよい。

動画ストリーム多重化部２３０は、いずれかの動作モードにおいてフレームメモリ２２０Ａ〜２２０Ｆから送出された画像フレームを多重化して多眼動画ストリームを生成し、メインプロセッサ２８０に与える。

メインプロセッサ２８０は、多眼動画ストリームに対してステッチング処理を施してパノラマ動画ストリームを生成し、フラッシュメモリなどの２次記憶装置２９０に記録する。メインプロセッサ２８０には、パノラマステッチ処理を実行するためにソフトウェアによってパノラマステッチ部２４２および切替部２４６の機能構成が実現される。これらの機能はハードウェアによって実装されてもよい。

パノラマステッチ部２４２は、動画ストリーム多重化部２３０から供給される多眼動画ストリームに含まれる撮像ユニット２０Ａ〜２０Ｆにより撮影された画像フレームをつなぎ合わせてパノラマ画像を合成し、パノラマ画像フレームの時系列データが配置されたパノラマ動画ストリームを生成し、出力する。バッテリ残量や許容消費電力に応じて消費電力が制限されている場合、パノラマステッチ部２４２は、パノラマ画像を合成せずに、多眼動画ストリームをそのまま出力する。

切替部２４６は、消費電力制限に応じて、パノラマステッチ部２４２が出力するパノラマ動画ストリームと多眼動画ストリームを切り替えて２次記憶装置２９０に記録する。たとえば、利用可能な電力の大小に応じて次のような３段階の制御が可能である。

（ａ）利用できる電力が小さい場合、パノラマステッチ部２４２は、パノラマ動画ストリームを生成せずに、多眼動画ストリームを出力する。この場合、切替部２４６は、パノラマ動画ストリームのデータ伝送経路２４３上のスイッチ２４７をオフにし、多眼動画ストリームのデータ伝送経路２４４上のスイッチ２４８をオンにし、多眼動画ストリームを２次記憶装置２９０に記録する。パノラマステッチ処理を行わないことで消費電力を抑えることができる。

（ｂ）利用できる電力が中くらいである場合、パノラマステッチ部２４２は、パノラマ動画ストリームを生成して出力するが、多眼動画ストリームは出力しない。この場合、切替部２４６は、パノラマ動画ストリームのデータ伝送経路２４３上のスイッチ２４７をオンにし、多眼動画ストリームのデータ伝送経路２４４上のスイッチ２４８をオフにし、パノラマ動画ストリームを２次記憶装置２９０に記録する。パノラマステッチ部２４２が動作するため、上記（ａ）の場合よりも電力を消費するが、パノラマ動画がリアルタイムに生成されるというメリットがある。

（ｃ）利用できる電力が大きい場合、パノラマステッチ部２４２は、パノラマ動画ストリームを生成して出力するとともに、多眼動画ストリームも出力する。この場合、この場合、切替部２４６は、パノラマ動画ストリームのデータ伝送経路２４３上のスイッチ２４７をオンにし、多眼動画ストリームのデータ伝送経路２４４上のスイッチ２４８をオンにし、パノラマ動画ストリームと多眼動画ストリームを２次記憶装置２９０に記録する。多眼動画ストリームおよびパノラマ動画ストリームの両方を生成して記録するため、処理量が多く、記録データ量も増え、消費電力が最も大きくなる。しかし、パノラマ動画ストリームだけでなく多眼動画ストリームも記録しておくことで、用途が増えるというメリットがある。

なお、上記の説明では、撮像ユニット２０Ａ〜２０Ｆのフレームレートが同じである場合を説明したが、各撮像ユニット２０Ａ〜２０Ｆによる撮像画像の動き量が異なる場合、各撮像ユニット２０Ａ〜２０Ｆ毎にフレームレートを変えてもよい。その場合は、撮影制御部２１０および制御信号発生部２３６は、フレームレートの比で撮像ユニット２０Ａ〜２０Ｆおよびフレームメモリ２２０Ａ〜２２０Ｆを切り替える比率を変える。すなわち、フレームレートの比で重み付けしたラウンドロビン式制御を行う。

図１３は、パノラマ動画ストリーム生成部２００による動画ストリーム切り替え記録制御手順を説明するフローチャートである。

動き検出部２３２は、各撮像ユニット２０Ａ〜２０Ｆによる撮像画像から動きベクトルを検出する（Ｓ１０）。動き検出部２３２は、全撮像ユニット２０Ａ〜２０Ｆまたは注目する１以上の撮像ユニットの撮像画像の動きベクトルの大きさの総和を求める（Ｓ１２）。

モード判定部２３４は、各撮像画像の動きベクトルの大きさの総和が閾値以上であるかどうかを判定し（Ｓ１４）、各撮像画像の動きベクトルの大きさの総和が閾値未満である場合（Ｓ１４のＮ）、「撮像ユニット間欠動作モード」に設定する（Ｓ２０）。「撮像ユニット間欠動作モード」の場合、低フレームレートで多眼動画ストリームまたはパノラマ動画ストリームが記録される「低フレームレート記録モード」となる。

モード判定部２３４は、各撮像画像の動きベクトルの大きさの総和が閾値以上である場合（Ｓ１４のＹ）、パノラマ撮像装置１００が消費電力制限内で動作しているかどうかを判定する（Ｓ１６）。たとえば、長時間撮影の場合の単位時間当たりの許容消費電力やバッテリ残量などを考慮して、消費電力制限内で動作中であるかどうかを判定する。モード判定部２３４は、パノラマ撮像装置１００が消費電力制限内で動作していなければ（Ｓ１６のＮ）、「撮像ユニット間欠動作モード」に設定し（Ｓ２０）、パノラマ撮像装置１００が消費電力制限内で動作していれば（Ｓ１６のＹ）、「撮像ユニット同時動作モード」に設定する（Ｓ１８）。「撮像ユニット同時動作モード」の場合、高フレームレートで多眼動画ストリームまたはパノラマ動画ストリームが記録される「高フレームレート記録モード」となる。

撮影制御部２１０は、モード判定部２３４によって設定されたモードに応じて、撮像ユニット２０Ａ〜２０Ｆを同時動作または間欠動作に切り替え、制御信号発生部２３６は、モード判定部２３４によって設定されたモードに応じて、フレームメモリ２２０Ａ〜２２０Ｆを同時出力または間欠出力に切り替える（Ｓ２２）。

パノラマ動画ストリーム生成部２００は、各モードに応じてフレームメモリ２２０Ａ〜２２０Ｆから出力されるフレームデータを多重化して多眼動画ストリームまたはパノラマ動画ストリームを生成する（Ｓ２４）。

ユーザにより撮影が停止された場合（Ｓ２６のＹ）、終了し、撮影が停止されない場合（Ｓ２６のＮ）、ステップＳ１０に戻ってＳ１０からの処理を繰り返す。

図１４（ａ）および図１４（ｂ）は、動画ストリーム切り替え記録制御により生成される多眼動画ストリームのデータ構造を説明する図である。ここでは撮像ユニットの個数は４であり、各撮像ユニットのフレームレートは３０ｆｐｓ（フレーム／秒）であるとする。

図１４（ａ）は、「撮像ユニット間欠動作モード」の場合に生成される多眼動画ストリームを示す。撮像ユニット２０Ａ〜２０Ｄはフレーム周期で順次、間欠動作し、各フレーム周期で、撮像ユニット２０Ａにより撮像されたフレームＡ、撮像ユニット２０Ｂにより撮像されたフレームＢ、撮像ユニット２０Ｃにより撮像されたフレームＣ、撮像ユニット２０Ｄにより撮像されたフレームＤの順に多重化される。撮像ユニット２０Ａ〜２０Ｄは４回に１回の割合で間欠動作するため、各撮像ユニット２０Ａ〜２０Ｄの実効フレームレートは３０ｆｐｓ／４＝７．５ｆｐｓとなり、多重化後の多眼動画ストリームの転送レートは３０ｆｐｓ／４×４＝３０ｆｐｓ相当となる。すなわち低フレームレートの多眼動画ストリームが生成される。４つの撮像ユニット２０Ａ〜２０Ｄが間欠動作しているため、４つの撮像ユニット２０Ａ〜２０Ｄにより撮像された４つの撮像画像を合成したパノラマ画像において、隣り合う撮像画像は異なるタイミングに撮像されたものになるが、動きが少ない場合は、時間の異なる撮像画像をつなぎ合わせたパノラマ画像の画質に大きな影響はない。

図１４（ｂ）は、「撮像ユニット同時動作モード」の場合に生成される多眼動画ストリームを示す。撮像ユニット２０Ａ〜２０Ｄは同時動作し、各フレーム周期で撮像ユニット２０Ａにより撮像されたフレームＡ、撮像ユニット２０Ｂにより撮像されたフレームＢ、撮像ユニット２０Ｃにより撮像されたフレームＣ、および撮像ユニット２０Ｄにより撮像されたフレームＤが多重化される。したがって、各撮像ユニット２０Ａ〜２０Ｄの実効フレームレートは３０ｆｐｓのままであり、多重化後の多眼動画ストリームの転送レートは３０ｆｐｓ×４＝１２０ｆｐｓ相当となる。すなわち高フレームレートの多眼動画ストリームが生成される。４つの撮像ユニット２０Ａ〜２０Ｄは同時動作しているため、４つの撮像ユニット２０Ａ〜２０Ｄにより撮像された４つの撮像画像を合成したパノラマ画像において、隣り合う撮像画像は同じタイミングに撮像されたものになるから、動きが激しい場合であっても、撮像画像をつなぎ合わせたパノラマ画像の画質が保たれる。

以上説明したパノラマ動画ストリーム生成部２００の動画ストリーム切り替え記録制御による作用効果を説明する。

一般に、被写体の動きが遅かったり、動きが少ない場合、カメラのフレームレートを落としても画像品質はさほど低下しない。逆に被写体の動きが激しい場合には、カメラのフレームレートを落とす（ＣＭＯＳイメージセンサの場合、シャッタースピードが長くなることに相当する）と、動きブレにより著しく画質が低下してしまう。多眼式カメラの場合、最高フレームレートで全カメラのデータを常に同時に記録すれば、いかなるシーンにおいても最高の画質が得られるが、消費電力増大およびフラッシュメモリ、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等のデータ記憶装置の記録容量を圧迫してしまう問題が生じる。そこで、カメラの動作状態と、記録データをシーンに応じて適応的に制御できることが望ましい。

本実施の形態の動画ストリーム切り替え記録制御によれば、シーンの動きに応じて撮像ユニット２０Ａ〜２０Ｆの動作モードとフレームメモリ２２０Ａ〜２２０Ｆの出力モードを切り替えることができる。シーンの動きが大きいときは、各撮像ユニットの実効フレームレートを確保しなければ画質が劣化するため、消費電力よりは画質を優先して「撮像ユニット同時動作モード」に設定し、シーンの動きが小さいときは、各撮像ユニットの実効フレームレートを落としても画質はそれほど劣化しないため、「撮像ユニット間欠動作モード」に切り替えて消費電力を抑える。このようにシーンの動きに応じて動作モードを切り替えることで、画質をさほど損なわずに、消費電力を抑え、記録容量を削減することができる。また、バッテリ残量や許容消費電力に応じて動作モードを切り替えれば、パノラマ撮像装置１００を効率良く使用することができる。さらに、「撮像ユニット間欠動作モード」では低フレームの画像ストリームが生成されるため、記録容量を削減することができる。

［多眼カメラ制御系］
図１５は、多眼カメラを選択的に制御するための制御系の構成図である。図１２の撮影制御部２１０は、バスインタフェース・カメラ制御インタフェース部３００と、透過マスクレジスタ３１０と、制御データ透過ロジック３２０とを含み、メインプロセッサ２８０からの命令を受けて、複数の撮像ユニット２０Ａ〜２０Ｆの内、任意の撮像ユニットをまとめて選択的に制御する。たとえば、自動露出（ＡＥ）、自動ホワイトバランス（ＡＷＢ)、露出値（ＥＶ）などの制御を一括または選択的に行うことができる。

バスインタフェース・カメラ制御インタフェース部３００は、メインプロセッサ２８０と撮像ユニット２０をつなぐ所定の規格のバスインタフェースおよび撮像ユニット２０Ａ〜２０Ｆを制御するための専用インタフェースであり、メインプロセッサ２８０からの指示を受けて、制御データ透過ロジック３２０へ制御信号を与える。

制御データ透過ロジック３２０は、撮像ユニット２０Ａ〜２０Ｆへの制御データの書き込みまたは撮像ユニット２０Ａ〜２０Ｆからのデータの読み出しを行うための回路である。制御データ透過ロジック３２０は、書き込みに関しては、撮像ユニット２０Ａ〜２０Ｆに対してユニキャスト、マルチキャスト、ブロードキャストのいずれかで書き込みデータを送信し、読み出しに関しては撮像ユニット２０Ａ〜２０Ｆからユニキャストで読み出しデータを受信することを可能にする。

透過マスクレジスタ３１０は、制御データ透過ロジック３２０の回路の入出力動作を制御するためのレジスタである。透過マスクレジスタ３１０は、撮像ユニット２０Ａ〜２０Ｆの個数分の透過マスクレジスタである。

図１６は、図１５の多眼カメラ制御系の機能構成を説明する図である。カメラ制御インタフェース３０２は、図１５のバスインタフェース・カメラ制御インタフェース部３００の一例であり、メインプロセッサ２８０とともにアプリケーションプロセッサ１４０を構成する。アプリケーションプロセッサ１４０は、たとえば、システムオンチップ（ＳｏＣ）技術によって実装される。

図１６の機能構成図において、図１５の制御データ透過ロジック３２０は、Ｉ２ＣやＳＰＩなどのバスインタフェースによってカメラ制御インタフェース３０２と撮像ユニット２０Ａ〜２０Ｆを接続する回路であり、スイッチ１３０Ａ〜１３０Ｆとマルチプレクサ１３２を含む。

カメラ制御インタフェース３０２のデータ送信部Ｔｘは、スイッチ１３０Ａ〜１３０Ｆを経由して撮像ユニット２０Ａ〜２０Ｆと接続され、メインプロセッサ２８０により指示された制御データが撮像ユニット２０Ａ〜２０Ｆに選択的に書き込まれる。制御データ書き込み透過レジスタ１１０（以下、単に「書き込み透過レジスタ」という）は、撮像ユニット２０Ａ〜２０Ｆの個数分の透過マスクレジスタであり、撮像ユニット２０Ａ〜２０Ｆに対応するスイッチ１３０Ａ〜１３０Ｆのオン／オフを切り替えるマスクが設定される。

たとえば、書き込み透過レジスタ１１０の値が‘１１００００’であるとき、２個の撮像ユニット２０Ａおよび２０Ｂに対応するスイッチ１３０Ａおよび１３０Ｂがオンになり、それ以外の４個の撮像ユニット２０Ｃ〜２０Ｆに対応するスイッチ１３０Ｃ〜１３０Ｆがオフになる。これにより、制御データは２個の撮像ユニット２０Ａおよび２０Ｂに選択的に書き込まれる。

撮像ユニット２０Ａ〜２０Ｆは、多入力１出力のマルチプレクサ１３２を介してカメラ制御インタフェース３０２のデータ受信部Ｒｘに接続され、メインプロセッサ２８０からの読み出し指示にしたがって撮像ユニット２０Ａ〜２０Ｆからデータが選択的に読み出される。カメラ設定値読み出し透過レジスタ１２０（以下、単に「読み出し透過レジスタ」という）は、撮像ユニット２０Ａ〜２０Ｆの個数分の透過選択レジスタであり、マルチプレクサ１３２の複数の入力ストリームのうちのひとつを選択するマスクが設定される。

たとえば、読み出し透過レジスタ１２０の値が‘０１００００’であるとき、マルチプレクサ１３２に入力される６つの撮像ユニット２０Ａ〜２０Ｆからの入力ストリームの中から１つの撮像ユニット２０Ｂの入力ストリームが選択され、その撮像ユニット２０Ｂからのデータがマルチプレクサ１３２から出力ストリームとして出力され、カメラ制御インタフェース３０２の受信部Ｒｘに供給される。

図１６の構成では、メインプロセッサ２８０から撮像ユニット２０Ａ〜２０Ｆに対してデータを読み書きするためのインタフェースは一つであり、書き込み透過レジスタ１１０および読み出し透過レジスタ１２０の透過マスクを書き換えるだけで、撮像ユニット２０Ａ〜２０Ｆに対して一括または選択的にデータを読み書きできる。撮像ユニット２０Ａ〜２０Ｆのそれぞれに独立したインタフェースを設けると回路規模が大きくなるが、図１６の構成ではインタフェースを一つにして回路点数を削減することができる。また、書き込み透過レジスタ１１０を書き換えるだけで書き込み対象の撮像ユニットを任意に選択して、選択された撮像ユニットに対して同時にデータを書き込むことができるため、書き込みを高速化できる。

図１７（ａ）は、図１６の多眼カメラ制御系による書き込み処理を説明するフローチャートである。

メインプロセッサ２８０は、撮像ユニット２０Ａ〜２０Ｆに書き込むべき制御データを準備する（Ｓ３０）。制御データは、たとえば、露出値などの撮影条件に関するデータであり、ユーザインタフェース部２５０によってユーザから指定される。

メインプロセッサ２８０は、書き込み対象の撮像ユニットを決定し、書き込み透過レジスタ１１０に書き込み対象の撮像ユニットを指定する値を書き込む（Ｓ３２)。書き込み透過レジスタ１１０が撮像ユニットの個数分の透過マスクである場合、書き込み対象の撮像ユニットを選択する透過マスクを設定する。書き込み透過レジスタ１１０によってスイッチ１２０Ａ〜１２０Ｆのオン／オフ状態が設定される。書き込み透過レジスタ１１０の透過マスクの設定は、書き込み対象の撮像ユニットに制御データを選択的に送信するために必要である。

書き込みに対するアクノレッジ（ＡＣＫ）を必要とする場合、メインプロセッサ２８０は、読み出し対象の撮像ユニットを決定し、読み出し透過レジスタ１２０に読み出し対象の撮像ユニットを指定する値を書き込む（Ｓ３４）。読み出し透過レジスタ１２０が撮像ユニットの個数分の透過マスクである場合、読み出し対象の撮像ユニットを選択する透過マスクを設定する。多入力１出力のマルチプレクサ１３２への複数の入力ストリームの内、読み出し透過レジスタ１２０によって指定された入力ストリームが選択され、出力ストリームとして出力される。読み出し透過レジスタ１２０の透過マスクの設定は、書き込み対象の撮像ユニットから選択的にＡＣＫを受信するために必要である。

ここで、書き込み先の撮像ユニットは各々、書き込みが完了した時点でＡＣＫを返す。本来であれば、書き込み対象の全ての撮像ユニットからＡＣＫを受け取り、ＡＣＫの受信確認を個々に行わなければならないが、もしそのような処理を行おうとすると回路規模が増大し、バス規格とは異なる手順が必要になる。しかし、通常、書き込み処理に失敗することは極めてまれであるから、書き込み対象の撮像ユニットの内、一つの撮像ユニットからのＡＣＫのみを透過させてＡＣＫ確認を行うことで、書き込み対象の全てのＡＣＫ確認の代わりとすることができ、回路も単純になる。このため、本実施の形態では、ＡＣＫ確認の際、読み出し透過レジスタ１２０は１つのビットのみを立てることにしている。もし、各々の撮像ユニットに書き込みが正しく行われたかどうかを厳密に確認したいなら、書き込み処理の後で、各々の撮像ユニットに対して個別にレジスタ値の読み出しを行い、ＡＣＫ確認を行えばよい。

カメラ制御インタフェース３０２は、制御データを書き込むための信号を送信端子Ｔｘからスイッチ１２０Ａ〜１２０Ｆを介して撮像ユニット２０Ａ〜２０Ｆに向けて出力する（Ｓ３６）。このとき、書き込み透過レジスタ１１０による透過マスクにしたがってスイッチ１２０Ａ〜１２０Ｆのオン／オフ状態が切り替えられ、書き込み対象として選択された撮像ユニット２０だけに制御データが書き込まれる。

書き込みに対するＡＣＫが必要である場合、カメラ制御インタフェース３０２は、撮像ユニット２０Ａ〜２０Ｆから、マルチプレクサ１３２を介してＡＣＫ信号を受信端子Ｒｘにて受信する（Ｓ３８）。このとき、読み出し透過レジスタ１２０による透過マスクにしたがって、読み込み対象として選択された撮像ユニットからＡＣＫが確認される。

なお、書き込みに対するＡＣＫが不要である場合は、ステップＳ３４とステップＳ３８の処理を省くことができる。

図１７（ｂ）は、図１６の多眼カメラ制御系による読み込み処理を説明するフローチャートである。

メインプロセッサ２８０は、読み出すべき撮像ユニット２０のレジスタを決定する（Ｓ４０）。

メインプロセッサ２８０は、読み出し対象の撮像ユニットを決定し、書き込み透過レジスタ１１０に読み出し対象の撮像ユニットを指定する値を書き込む（Ｓ４２)。書き込み透過レジスタ１１０が撮像ユニットの個数分の透過マスクである場合、読み出し対象の撮像ユニットを選択する透過マスクを設定する。書き込み透過レジスタ１１０によってスイッチ１２０Ａ〜１２０Ｆのオン／オフ状態が設定される。書き込み透過レジスタ１１０の透過マスクの設定は、読み出し対象の撮像ユニットに選択的に読み出しアドレスを送信するために必要である。

次に、メインプロセッサ２８０は、読み出し対象の撮像ユニットを決定し、読み出し透過レジスタ１２０に読み出し対象の撮像ユニットを指定する値を書き込む（Ｓ４４）。読み出し透過レジスタ１２０が撮像ユニットの個数分の透過マスクである場合、読み出し対象の撮像ユニットを選択する透過マスクを設定する。多入力１出力のマルチプレクサ１３２への複数の入力ストリームの内、読み出し透過レジスタ１２０によって指定された入力ストリームが選択され、出力ストリームとして出力される。読み出し透過レジスタ１２０の透過マスクの設定は、読み出し対象の撮像ユニットから選択的にデータとＡＣＫを受信するために必要である。

カメラ制御インタフェース３０２は、撮像ユニットへの読み出しアドレスを送信端子Ｔｘからスイッチ１２０Ａ〜１２０Ｆを介して撮像ユニット２０Ａ〜２０Ｆに向けて出力する（Ｓ４６）。このとき、書き込み透過レジスタ１１０による透過マスクにしたがってスイッチ１２０Ａ〜１２０Ｆのオン／オフ状態が切り替えられ、データの読み出し対象として選択された撮像ユニット２０だけに読み出しアドレスが送られる。

カメラ制御インタフェース３０２は、撮像ユニット２０Ａ〜２０Ｆから、マルチプレクサ１３２を介して指定されたアドレスに対するデータを受信端子Ｒｘにて受信する（Ｓ４８）。このとき、読み出し透過レジスタ１２０による透過マスクにしたがって、読み出し対象として選択された撮像ユニットからデータが受け取られ、ＡＣＫが確認される。

図１８は、図１６の多眼カメラ制御系の実装例を説明する図である。図１８の実装例では、Ｉ２Ｃ（Inter-Integrated Circuit）と呼ばれる周辺デバイスとのシリアル通信の方式を利用する。ここでは、簡単のため、撮像ユニットの個数が４個（撮像ユニット２０Ａ〜２０Ｄ）の場合を説明する。

Ｉ２Ｃインタフェース３０４は、アプリケーションプロセッサ１４０側にあるインタフェースであり、Ｉ２Ｃ通信のマスタである。撮像ユニット２０Ａ〜２０Ｄは、Ｉ２Ｃ通信のスレーブである。

Ｉ２Ｃステート監視回路１５０は、受信ステートにて受信イネーブルをトライステートバッファ１７０に対してイネーブルする回路である。これにより、マルチプレクサ１７６からのデータの受信がイネーブルされる。書き込み時は、トライステートバッファ１７０はブロックされている。

Ｉ２Ｃインタフェース３０４が出力するＳＤＡＴＡは撮像ユニット２０Ａ〜２０Ｄに対応するトライステートバッファ１７２Ａ〜１７２Ｄに供給される。書き込み透過レジスタ１１０の透過マスクにしたがって書き込み対象の撮像ユニットに対応するトライステートバッファがイネーブルされ、ＳＤＡＴＡは書き込み対象の撮像ユニットだけに送信される。プルアップ抵抗１７４はトライステートバッファ１７２Ａ〜１７２Ｄの出力信号が適切な論理レベルとなるように調整するための抵抗器である。Ｉ２Ｃインタフェース３０４が出力するＳＣＬＫは撮像ユニット２０Ａ〜２０Ｄの同期を取るためのクロック信号である。

読み出し透過レジスタ１２０の透過マスクにしたがって、多入力１出力のマルチプレクサ１３２の入力端子の内、指定された入力端子からの入力値が多重化されて、トライステートバッファ１７０を介してＩ２Ｃインタフェース３０４に供給される。

同図では、書き込み透過レジスタ１１０の透過マスクは‘１１００’であるから、書き込み時には撮像ユニット２０Ａと２０Ｂに制御データが書き込まれる。読み出し透過レジスタ１２０の透過マスクは‘１０００’であるから、読み込み時には撮像ユニット２０ＡからＡＣＫが読み出される。

図１９は、図１６の多眼カメラ制御系の別の実装例を説明する図である。図１９の実装例では、ＳＰＩ（ISerial Peripheral Interface）と呼ばれるコンピュータ内部で使われるデバイス間を接続するバスインタフェースを利用する。ここでも、簡単のため、撮像ユニットの個数が４個（撮像ユニット２０Ａ〜２０Ｄ）の場合を説明する。

ＳＰＩインタフェース３０６は、アプリケーションプロセッサ１４０側にあるインタフェースであり、ＳＰＩ通信のマスタである。撮像ユニット２０Ａ〜２０Ｄは、ＳＰＩ通信のスレーブである。

ＳＰＩインタフェース３０６が出力するＣＳ＃信号はチップセレクト信号であり、ＮＡＮＤ回路１８０Ａ〜１８０Ｄに供給される。書き込み透過レジスタ１１０は、書き込み対象の撮像ユニット２０Ａ〜２０Ｄを選択するための透過マスクであり、撮像ユニット２０Ａ〜２０Ｄに対応するＮＡＮＤ回路１８０Ａ〜１８０Ｄにレジスタ値が供給される。この例では、書き込み透過レジスタ１１０の透過マスクは‘１１００’であり、２つのＮＡＮＤ回路１８０Ａおよび１８０Ｂに１が入力され、残り２つのＮＡＮＤ回路１８０Ｃおよび１８０Ｄに０が入力される。ＮＡＮＤ回路１８０Ａ〜１８０Ｄの出力値ＣＡＭ１_ＣＳ＃〜ＣＡＭ４_ＣＳ＃は、撮像ユニット２０Ａ〜２０Ｄに反転入力される。これにより、２つの撮像ユニット２０Ａおよび２０Ｂがセレクトされ、ＳＰＩインタフェース３０６のＭＯＳＩ（Master Out Slave In）からの制御データＴｘＤａｔａが撮像ユニット２０Ａおよび２０Ｂに送信される。

ＳＰＩインタフェース３０６のＣＬＫからのＳＣＬＫ信号は同期を取るために撮像ユニット２０Ａ〜２０Ｄに供給される。

ＳＰＩインタフェース３０６のＭＩＳＯ（Master In Slave Out）にはマルチプレクサ１８２からの読み出しデータＲｘＤａｔａが受信される。読み出し透過レジスタ１２０は、読み出し対象の撮像ユニット２０Ａ〜２０Ｄを選択するための透過マスクであり、多入力１出力のマルチプレクサ１８２の入力信号を選択するために使われる。この例では、読み出し透過レジスタ１２０の透過マスクは‘１０００’であり、多入力１出力のマルチプレクサ１３２への複数の入力ストリームの内、撮像ユニット２０Ａからの入力ストリームが選択され、マルチプレクサ１３２の出力ストリームとして出力される。

図２０（ａ）および図２０（ｂ）は、操作・表示部４０に表示される操作画面の例を説明する図である。図２０（ａ）に示すパノラマ撮像装置１００の６つの撮像ユニット２０Ａ〜２０Ｆにより撮影される画像はそれぞれ、図２０（ｂ）に示す操作画面の領域Ａ〜Ｆに表示される。

操作画面の領域Ａ〜Ｆの枠は、基準カメラとして選択されたときは、たとえば青色などの色で表示される。また領域がグルーピングされると、各グループごとに枠の色が変わる。基準カメラとしての選択はトグルになっており、クリックするたびに指定／非指定が切り替わる。

動画記録開始／停止ボタン７０、静止画撮影ボタン７２、自動露出ロックボタン７４、自動ホワイトバランスロックボタン７６、および拡張コントロールボタン７８は、図１０（ｂ）で既に説明した通りであるから説明を省略する。

カメラフリーズボタン７５を押すと、選択した撮像ユニットは、現在撮像された画像のままフリーズする。すなわち、撮像ユニットは動作したままで、カメラフリーズボタン７５を押したときの画像を保持し続ける。カメラフリーズボタン７５はトグルになっており、もう一度押すと、カメラフリーズが解除され、選択した撮像ユニットによる撮像が再開する。

グルーピングボタン７７を押すと、複数の領域Ａ〜Ｆの中から任意に選択した領域がグループ化される。言い換えれば、撮像ユニット２０Ａ〜２０Ｆの中から特定の撮像ユニットが選択されてグループ化される。グルーピングしたい領域は、操作画面上で領域をクリックしたり、自由曲線で囲むなどにより、選択することができる。

図２１は、基準カメラを指定して一括共通設定する場合を説明する図であり、図２２は、その場合の操作画面例である。

図２１に示すように、撮像ユニット２０Ａを基準カメラとして設定し、基準カメラの露出値などの撮影パラメータを他の撮像ユニット２０Ｂ〜２０Ｆにも一括設定する。たとえば、屋内撮影をする場合、正面方向の撮像ユニット２０Ａを基準カメラとして設定し、他の撮像ユニット２０Ｂ〜２０Ｆは基準カメラと同じ露出設定で撮影を行う。

図２２に示すように、撮像ユニット２０Ａに対応する領域Ａを基準カメラとして選択し、自動露出ロックボタン７４、自動ホワイトバランスロックボタン７６などを押すと、他の撮像ユニット２０Ｂ〜２０Ｆに対しても同じパラメータが反映される。

読み出し透過レジスタ１２０は、基準カメラとして選択された撮像ユニット２０Ａを読み出し対象の撮像ユニットとして指定する値に設定され、基準カメラである撮像ユニット２０Ａから露出値やホワイトバランス値などの撮影パラメータが読み出される。その後、書き込み透過レジスタ１１０は、基準カメラとして選択された撮像ユニット２０Ａ以外の残りの撮像ユニット２０Ｂ〜２０Ｆを書き込み対象の撮像ユニットとして指定する値に設定され、基準カメラである撮像ユニット２０Ａから読み出された撮影パラメータが残りの撮像ユニット２０Ｂ〜２０Ｆに一括で書き込まれる。

より具体的な操作手順は以下の通りである。
（１）操作画面において正面カメラの領域Ａをクリックする。これにより、領域Ａの枠が青色になり、撮像ユニット２０Ａが基準カメラとなる。
（２）自動ホワイトバランスロックボタン７６を押して、基準カメラである撮像ユニット２０Ａの調整値ですべての撮像ユニット２０Ａ〜２０Ｆのホワイトバランスをロックする。
（３）自動露出ロックボタン７４を押して、基準カメラである撮像ユニット２０Ａの調整値ですべての撮像ユニット２０Ａ〜２０Ｆの露出値をロックする。
（４）動画記録開始／停止ボタン７０または静止画撮影ボタン７２により撮影する。

図２３は、室内から窓を通して屋外を撮影する場合を説明する図であり、図２４および図２５は、その場合の操作画面例である。

図２３に示すように、窓１９０から外を撮影する場合、窓側の撮像ユニット２０Ａ、２０Ｂおよび２０Ｅは屋外撮影用に露出を絞るが、残りの撮像ユニット２０Ｃおよび２０Ｄは屋内撮影用の露出設定で撮影する必要がある。

図２４に示すように、窓側の撮像ユニット２０Ａ、２０Ｂおよび２０Ｅに対応する領域Ａ、ＢおよびＥを自由曲線１９２で囲んで選択する。グルーピングボタン７７を押して、選択された領域Ａ、ＢおよびＥをグループ化する。

次に、図２５に示すように、同一グループに属する領域Ａ、ＢおよびＥの内、領域Ｂを選択して撮像ユニット２０Ｂを基準カメラとして選択する。これにより、基準カメラである撮像ユニット２０Ｂと同一の撮影パラメータが同じグループに属する他の撮像ユニット２０Ａおよび２０Ｅにも反映される。

読み出し透過レジスタ１２０は、グループ内で基準カメラとして選択された撮像ユニット２０Ｂを読み出し対象の撮像ユニットとして指定する値に設定され、基準カメラである撮像ユニット２０Ｂから露出値やホワイトバランス値などの撮影パラメータが読み出される。その後、書き込み透過レジスタ１１０は、グループ内で基準カメラとして選択された撮像ユニット２０Ｂ以外の残りの撮像ユニット２０Ａおよび２０Ｅを書き込み対象の撮像ユニットとして指定する値に設定され、基準カメラである撮像ユニット２０Ｂから読み出された撮影パラメータが残りの撮像ユニット２０Ａおよび２０Ｅに一括で書き込まれる。

より具体的な操作手順は以下の通りである。
（１）操作画面において窓側の撮像ユニット２０Ａ、２０Ｂおよび２０Ｅに対応する領域Ａ、ＢおよびＥを選択する。
（２）グルーピングボタン７７を押して、選択された領域Ａ、ＢおよびＥをグルーピングする。これにより、領域Ａ、ＢおよびＥの枠が緑色になり、第１グループを形成する。残りの領域Ｃ、ＤおよびＦは、第２グループを形成する。
（３）領域Ｂをクリックする。これにより、領域Ｂの枠が青色になり、領域Ｂに対応する撮像ユニット２０Ｂが緑色の第１グループの基準カメラとなる。
（４）領域Ｄをクリックする。これにより、領域Ｄの枠が青色になり、領域Ｄに対応する撮像ユニット２０Ｄが第２グループの基準カメラとなる。
（５）自動ホワイトバランスロックボタン７６を押すと、第１グループにおいて、基準カメラである撮像ユニット２０Ｂの調整値で同一グループ内の撮像ユニット２０Ａ、２０Ｂおよび２０Ｅのホワイトバランスがロックされる。また、第２グループにおいて、基準カメラである撮像ユニット２０Ｄの調整値で同一グループ内の撮像ユニット２０Ｃ、２０Ｄおよび２０Ｆのホワイトバランスがロックされる。
（６）自動露出ロックボタン７４を押すと、第１グループにおいて、基準カメラである撮像ユニット２０Ｂの調整値で同一グループ内の撮像ユニット２０Ａ、２０Ｂおよび２０Ｅの露出値がロックされる。また、第２グループにおいて、基準カメラである撮像ユニット２０Ｄの調整値で同一グループ内の撮像ユニット２０Ｃ、２０Ｄおよび２０Ｆの露出値がロックされる。
（７）動画記録開始／停止ボタン７０または静止画撮影ボタン７２により撮影する。

図２６は、一部のカメラをフリーズさせる場合を説明する図であり、図２７は、その場合の操作画面例である。

図２６に示すように、パノラマ画像の撮影中に人物１９４が進入してきた場合、人物１９４が写っていない状態でカメラの画像をフリーズさせて、そのカメラの撮影を一時的に中断させる。この例では、人物１９４が撮像画像に写らないように、撮像ユニット２０Ａおよび撮像ユニット２０Ｂによる撮像を一時中断させ、人物１９４が写っていない画像でフリーズさせる。

図２７に示すように、フリーズさせたい領域ＡおよびＢを選択し、グルーピングボタン７７を押してグループ化し、その後、領域ＡまたはＢのいずれか一方を基準カメラとして選択してカメラフリーズボタン７５を押す。これにより、同一グループに属する領域ＡおよびＢに対応する撮像ユニット２０Ａおよび２０Ｂを一時停止させて、人物が写っていない画像でフリーズさせることができる。

より具体的な操作手順は以下の通りである。
（１）操作画面においてフリーズさせたい撮像画像の領域ＡおよびＢを選択する。
（２）グルーピングボタン７７を押して、選択された領域ＡおよびＢをグルーピングする。これにより、領域ＡおよびＢの枠が緑色になる。
（３）領域ＡまたはＢをクリックする。これにより選択された方の領域に対応する撮像ユニットが基準カメラとなるが、実際にはカメラをフリーズさせたいグループを指定したのと同じ効果となる。
（４）人物が写っていない状態で、カメラフリーズボタン７５を押す。これにより（３）で指定したカメラグループがフリーズ状態となり、領域ＡおよびＢが人物が写っていない画像でフリーズする。
（５）以後、フリーズしていない残りの撮像ユニット２０Ｃ〜２０Ｆにより撮影する。

以上述べたように、本実施の形態の多眼カメラ制御系によれば、データ書き込み用マスクレジスタとデータ読み出し用選択レジスタを、メインプロセッサがカメラに対してアクセスするインターフェースと各カメラモジュールのインターフェースの間に挿入することで、一括かつ高速にカメラの制御が行えるようになり、結果としてカメラ制御が簡単かつ効率的に行えるようになる。既存インタフェースにレジスタを挿入するだけで多眼カメラ制御系を実現できるため、カメラモジュールやプロセッサのインタフェースを変更する必要がなく、制御系の設計は容易である。

［多段露出撮影］
図２８は、多段露出撮影を行うためのパノラマ動画ストリーム生成部２００の機能構成図である。ここでは、多段露出撮影に関係する構成を図示しており、それ以外の構成は説明の便宜上、省略している。図２８の露出設定部４００は、図１１で説明した撮影制御部２１０に実装することができ、図２８のＨＤＲ合成部４２０は、図１１で説明した動画ストリーム多重化部２３０に実装することができる。

露出設定部４００は、複数の撮像ユニット２０Ａ〜２０Ｆのそれぞれに対して露出値を設定する。具体的には、各撮像ユニット２０Ａ〜２０Ｆに対して個別の基準露出値を設定し、さらにその基準露出値を中心に上下に露出値を数段変化させた相対露出値を設定する。各撮像ユニット２０Ａ〜２０Ｆの個別の基準露出値は、各撮像ユニット２０Ａ〜２０Ｆの自動露出（ＡＥ）機構によって最適な露出値に設定してもよい。

露出設定部４００による各撮像ユニット２０Ａ〜２０Ｆに対する露出値の設定は、図１５で説明した多眼カメラ制御系を用いて一括または選択的に行うことができる。

各撮像ユニット２０Ａ〜２０Ｆによって露出値を変えて撮像された低ダイナミックレンジ（ＬＤＲ；low dynamic range)の撮像画像はフレームバッファ４３０Ａ〜４３０Ｆに保持される。各フレームバッファ４３０Ａ〜４３０Ｆは、各撮像ユニット２０Ａ〜２０Ｆに設定された複数の露出値で撮影された画像を格納する領域を備えたフレームメモリである。

ＨＤＲ合成部４２０は、各フレームバッファ４３０Ａ〜４３０Ｆから各撮像ユニット２０Ａ〜２０Ｆによって撮像された露出値の異なる低ダイナミックレンジの撮像画像を読み出し、最適な露出値の撮像領域をステッチング処理によって合成することにより、高ダイナミックレンジ（ＨＤＲ；high dynamic range)のパノラマ画像を生成する。なお、最終的な出力フォーマットがＬＤＲのパノラマ画像である場合は、ＨＤＲ合成部４２０は、ＨＤＲの合成画像にトーンマッピング処理を施してダイナミックレンジを圧縮したＬＤＲのパノラマ画像を生成することもできる。

ＨＤＲ合成部４２０は、隣接する撮像画像の間で特徴点を抽出し、特徴点をもとに隣接する撮像画像をステッチしてパノラマ画像を合成する。特徴点抽出処理には画像マッチングで用いられる公知の技術を用いることができる。ＨＤＲ合成部４２０により生成されたパノラマ画像はパノラマ画像記憶部４１０に記憶される。

図２９（ａ）および図２９（ｂ）は、比較のため、複数の撮像ユニット２０Ａ〜２０Ｆに共通の基準露出値を設定して撮影した撮像画像を説明する図である。

図２９（ａ）は、ある撮像ユニット２０Ａによって基準露出値（ここでは基準露出値を０とする）を中心に露出値を多段で変化させてブラケット撮影したときの画像４４０Ａ〜４４６Ａを示す。画像４４２Ａは基準露出値ＥＶ＝０で撮影された画像であり、画像４４３Ａ、４４４Ａ、４４５Ａ、４４６Ａは、基準露出値ＥＶ＝０に対して露出値ＥＶをそれぞれ＋１、＋４、＋５、＋７だけ増やして撮像された画像の例である。また、画像４４１Ａ、４４０Ａは、基準露出値ＥＶ＝０に対して露出値ＥＶをそれぞれ−４、−７だけ減らして撮像された画像である。露出値ＥＶを＋１だけ増やすと光量が２倍に増加し、露出値ＥＶを−１だけ減らすと光量が１／２倍に減少する。

図２９（ａ）において、露出値ＥＶ＝−７のときの画像４４０Ａは「黒つぶれ」を起こしており、情報量はゼロである。露出値ＥＶ＝＋７のときの画像４４６Ａは一部に「白とび」を生じている。

図２９（ｂ）は、別の撮像ユニット２０Ｂによって図２９（ａ）と同じ基準露出値ＥＶを中心に露出値を多段で変化させてブラケット撮影したときの画像４４０Ｂ〜４４６Ｂを示す。画像４４２Ｂは基準露出値ＥＶ＝０で撮影された画像であり、画像４４３Ｂ、４４４Ｂ、４４５Ｂ、４４６Ｂは、基準露出値ＥＶ＝０に対して露出値ＥＶをそれぞれ＋１、＋４、＋５、＋７だけ増やして撮像された画像である。また、画像４４１Ｂ、４４０Ｂは、基準露出値ＥＶ＝０に対して露出値ＥＶをそれぞれ−４、−７だけ減らして撮像された画像である。

露出値ＥＶ＝−７およびＥＶ＝−４のときの画像４４０Ｂおよび４４１Ｂは「黒つぶれ」を起こしており、情報量はゼロである。露出値ＥＶ＝＋７のときの画像４４６Ｂは一部に「白とび」を生じている。

このように、すべての撮像ユニット２０Ａ〜２０Ｆにおいて同じ基準露出値を用いて基準露出値の上下で露出値を多段変化させてブラケット撮影を行うと、「黒つぶれ」や「白とび」を起こす画像が撮影され、無駄が生じる。

多眼式カメラでは、各カメラの視野によって適正露出値が大きく異なる。全方位において適正な露出範囲を確保するためには露出値を多段に変化させて撮影するブラケット撮影が有効である。しかし、多眼式カメラでは、カメラアングルによって視野の明るさのダイナミックレンジが大きく異なり、最も暗い視野から最も明るい視野までをカバーする広い露出範囲ですべてのカメラの露出値を多段階で設定してブラケット撮影することが必要になり、画像のデータ量が増えるとともに撮影時間もかかる。また、すべてのカメラについて同じ基準露出値の上下で露出値を多段変化させると、カメラアングルによっては、「白とび」や「黒つぶれ」となる画像が多数撮影されることになり、無駄も多い。

そこで、本実施の形態の多段露出撮影では、撮像ユニット２０Ａ〜２０Ｆ毎に基準露出値を個別に設定し、各撮像ユニット２０Ａ〜２０Ｆにおいて個別の基準露出値の上下で露出値を多段変化させてブラケット撮影を行う。

図３０（ａ）〜図３０（ｃ）は、露出設定部４００により各撮像ユニット２０Ａ〜２０Ｆに設定される基準露出値および基準露出値を中心に所定段数分だけ露出値を多段変化させた相対露出値を説明する図である。図３０（ａ）は、撮像ユニット２０Ａに設定される基準露出値ＥＶａおよび基準露出値ＥＶａに対してプラス方向に３段、マイナス方向に３段だけ露出値を変化させた相対露出値を示す。図３０（ｂ）は、撮像ユニット２０Ｂに設定される基準露出値ＥＶｂおよび基準露出値ＥＶｂに対してプラス方向に３段、マイナス方向に３段だけ露出値を変化させた相対露出値を示す。図３０（ｃ）は、撮像ユニット２０Ｃに設定される基準露出値ＥＶｃおよび基準露出値ＥＶｃに対してプラス方向に３段、マイナス方向に３段だけ露出値を変化させた相対露出値を示す。

各撮像ユニット２０Ａ、２０Ｂ、２０Ｃに設定される基準露出値ＥＶａ、ＥＶｂ、ＥＶｃは、各撮像ユニット２０Ａ、２０Ｂ、２０Ｃの視野において最適な露出値であり、一般には異なる値である。ここでは、各撮像ユニット２０Ａ、２０Ｂ、２０Ｃの基準露出値ＥＶａ、ＥＶｂ、ＥＶｃは２段ずつずれている。各撮像ユニット２０Ａ、２０Ｂ、２０Ｃにおいて２段ずつすれた各基準露出値ＥＶａ、ＥＶｂ、ＥＶｃのそれぞれに対して＋３、＋２、＋１、−１、−２、−３だけ露出値を変化させた多段露出撮影を行うため、結果的には３つの撮像ユニット２０Ａ、２０Ｂ、２０Ｃ全体では合計１１段の異なる露出値で撮影が行われたことになる。

各撮像ユニット２０におけるブラケット撮影の段数は、撮影方向が隣接する撮像ユニット２０間で露出範囲の一部が重複するように決定することが望ましい。ＨＤＲ合成する際、隣接する撮像画像間で露出の相関を取れるようにするためである。

各撮像ユニット２０Ａ、２０Ｂ、２０Ｃでは、それぞれの適正な基準露出値を中心としてプラス方向に３段、マイナス方向に３段だけ露出値を変化させた多段露出撮影が行われているから、各撮像ユニット２０Ａ、２０Ｂ、２０Ｃでは図２９（ａ）および図２９（ｂ）で説明したような「黒つぶれ」や「白とび」の画像は撮影されない。そのため、多段露出撮影に無駄が生じない。また、従来のようにすべての撮像ユニット２０Ａ、２０Ｂ、２０Ｃにおいて１１段分の多段露出撮影をする場合と比べて、撮像ユニット２０Ａ、２０Ｂ、２０Ｃでは基準露出値を含めて＋３〜−３の７段階のブラケット撮影で済むため、ブラケット撮影にかかる時間を大きく短縮することができる。このように、本実施の形態では、各撮像ユニット２０Ａ〜２０Ｆによるブラケット撮影の段数が少なくても、ＨＤＲ合成時のダイナミックレンジが大きく広がり、無駄なく効率的にＨＤＲパノラマ画像合成が可能になる。

図３１は、ＨＤＲ合成部４２０によって合成されたパノラマ画像を説明する図である。各撮像ユニット２０Ａ〜２０Ｆによって複数の露出値で撮影された撮像画像から適正な露出値の撮像領域をステッチして合成することで図３１に示すパノラマ画像が得られる。たとえば、領域４５０は、窓の外の風景であり、ある撮像ユニット２０Ａによって当該撮像ユニット２０Ａの視野での適正露出値で撮影された撮像画像から抽出され、領域４５１は、室内の風景であり、別の撮像ユニット２０Ｂによって当該撮像ユニット２０Ｂの視野での適正露出値で撮影された撮像画像から抽出されたものである。

図３２は、本実施の形態による多段露出撮影の手順を説明するフローチャートである。

撮像ユニット２０Ａ〜２０Ｆのそれぞれにおいて自動露出（ＡＥ)と自動ホワイトバランス（ＡＷＢ）を行い、各撮像ユニット２０Ａ〜２０Ｆを最適な基準露出値に設定して撮影を行う（Ｓ５０）。

露出設定部４００は、各撮像ユニット２０Ａ〜２０Ｆの基準露出値を中心に±Ｎ段の相対露出値を各撮像ユニット２０Ａ〜２０Ｆに設定する（Ｓ５２）。

各撮像ユニット２０Ａ〜２０Ｆにおいて、設定された±Ｎ段の相対露出値でブラケット撮影を行う（Ｓ５４）。

ＨＤＲ合成部４２０は、各撮像ユニット２０Ａ〜２０Ｆによるブラケット撮影で得られた撮像画像から適正露出の領域をステッチング処理により合成することで、ハイダイナミックレンジのパノラマ画像を合成する（Ｓ５６）。

上記の説明では、各撮像ユニット２０Ａ〜２０Ｆにおいて、基準露出値の上下に所定段数分だけ露出値を変化させて多段露出撮影を行い、各撮像ユニット２０Ａ〜２０Ｆにより多段露出撮影された撮像画像から適正露出で撮像された領域をステッチしてハイダイナミックレンジのパノラマ画像を合成した。変形例として、各撮像ユニット２０Ａ〜２０Ｆにおいて個別の基準露出値のもとで撮像された画像から擬似的なハイダイナミックレンジのパノラマ画像を合成することもできる。以下、この擬似ＨＤＲ合成の方法を説明する。

図３３（ａ）〜図３３（ｃ）は、ＨＤＲ合成部４２０による疑似ＨＤＲ合成の方法を説明する図である。

疑似ＨＤＲ合成では、各撮像ユニット２０Ａ〜２０Ｆを個別に自動露出制御、自動ホワイトバランス制御して最適な露出値のもとでそれぞれ１枚の画像を撮影する。ＨＤＲ合成部４２０が、撮影方向が隣接する２枚の撮影画像間で対応点をマッチングさせてＨＤＲパノラマ画像を合成するが、その際、マッチング点の輝度および色は等しいと考えられること、また、各撮像ユニット２０Ａ〜２０Ｆの自動露出による最適な露出値が既知であることから、撮像画像の各画素の輝度および色情報を８ビットに丸め込まずに、ＨＤＲ合成を行う。

具体的には、３つの撮像ユニット２０Ａ、２０Ｂ、２０Ｃの適正露出値のずれによって、撮像ユニット２０Ａにより撮影された画像の８ビットの輝度情報が図３３（ａ）に示す輝度範囲にあり、撮像ユニット２０Ｂにより撮影された画像の８ビットの輝度情報が図３３（ｂ）に示す輝度範囲にあり、撮像ユニット２０Ｃにより撮影された画像の８ビットの輝度情報が図３３（ｃ）に示す輝度範囲にあるとする。

すなわち、３２ビットのハイダイナミックレンジで見た場合、撮像ユニット２０Ｂにより撮影された画像の輝度は、撮像ユニット２０Ａにより撮影された画像の輝度よりも３ビット分だけ明るい範囲にあり、さらに撮像ユニット２０Ｃにより撮影された画像の輝度は、撮像ユニット２０Ｂにより撮影された画像の輝度よりも６ビット分だけ明るい範囲にある。この場合、撮像ユニット２０Ｂにより撮影された画像の画素を撮像ユニット２０Ａにより撮影された画像の画素に比べて３ビットだけビットシフトさせ、撮像ユニット２０Ｃにより撮影された画像の画素は撮像ユニット２０Ａにより撮影された画像の画素に比べて３＋６＝９ビットだけビットシフトさせて、３２ビットのビットレンジで画素値を足すことで実質的に８＋３＋６＝１７ビットのハイダイナミックレンジの画素値を得ることができる。

色差情報についても同様に各撮像ユニット２０Ａ〜２０Ｆの適正露出値に応じてビットシフトさせた上で３２ビット空間で画素値を加算することでハイダイナミックレンジの色差情報を得ることができる。

［方位合わせ］
上記の説明では、撮像ユニットの撮影方向を特定の方角に合わせることをしなかったが、たとえば、正面方向の撮像ユニット２０Ａの撮影方向を磁北に合わせると、ステッチ処理後のパノラマ画像の中心が北を向くようになる。以下では、パノラマ画像の方位合わせを行うための構成と処理を説明する。

図３４は、方位合わせを行うことのできるパノラマ動画ストリーム生成部２００の機能構成図である。図１１のパノラマ動画ストリーム生成部２００と異なる構成と動作について説明する。

パノラマ撮像装置１００の多眼撮像部１０または本体部３０には３軸地磁気センサ２５２と３軸加速度センサ２５４が搭載される。さらに、３軸ジャイロセンサが搭載されてもよい。３軸地磁気センサ２５２は、地磁気ベクトルを３軸で検出し、３軸加速度センサ２５４は、パノラマ撮像装置１００の加速度ベクトルを３軸で検出する。

原理的には、パノラマ撮像装置１００に３軸ジャイロ（角速度）センサ、３軸加速度センサ、および３軸地磁気センサの少なくとも一つが搭載されていれば、パノラマ撮像装置１００の傾きを３軸で検出して、姿勢情報を取得することができる。また、３軸地磁気センサにより、地磁気ベクトルを３軸で検出して、方位情報を取得することができる。

３軸地磁気センサ２５２により取得された方位情報はユーザインタフェース部２５０に供給され、３軸地磁気センサ２５２、３軸加速度センサ２５４および（もし搭載されていれば）３軸ジャイロセンサの少なくとも一つによって取得された姿勢情報はユーザインタフェース部２５０に供給される。

ユーザインタフェース部２５０は、パノラマ撮像装置１００の多眼撮像部１０が撮影している方位およびパノラマ撮像装置１００の姿勢を画面に表示する指示を表示制御部２６０に与え、表示制御部２６０は操作・表示部４０に撮影方位と姿勢に関する情報をグラフィックスを用いて表示する。また、ユーザインタフェース部２５０は、たとえばいずれかの撮像ユニットの撮影方向が磁北になるように多眼撮像部１０の方向をユーザに調整させる指示を画面に表示させる。

図３５（ａ）、（ｂ）および図３６（ａ）、（ｂ）は、正面方向の撮像ユニット２０Ａの撮影方向を磁北に合わせるためのユーザインタフェースを説明する図である。

図３５（ａ）は、パノラマ撮像装置１００の多眼撮像部１０を天頂から見た概略図であり、操作・表示部４０の反対側に正面方向を撮影する撮像ユニット２０Ａがある。この撮像ユニット２０Ａを正面カメラとして、正面カメラの撮影方向を磁北に合わせるようにユーザに多眼撮像部１０の方向を調整させる案内を操作・表示部４０に表示する。３軸地磁気センサ２５２によって測定された磁北は、図３５（ａ）に矢印で示されており、撮像ユニット２０Ａの撮影方向は、磁北からずれている。

図３５（ｂ）は、操作・表示部４０に表示される画面を説明する図である。操作・表示部４０には通常、図１０（ｂ）に示したように、６つの撮像ユニット２０Ａ〜２０Ｆにより撮影される画像が領域Ａ〜Ｆに表示されているが、正面カメラである撮像ユニット２０Ａに対応する領域Ａを選択すると、図３５（ｂ）に示すように、撮像ユニット２０Ａにより撮影される画像だけが操作・表示部４０に大きく表示される。

撮像ユニット２０Ａにより撮影される画像が表示される領域Ａ（符号４２）の下に、３軸地磁気センサ２５２によって測定された磁北が方位磁石の画像によって表示される（符号４４）。さらにその下には、「正面カメラの向きを磁北に合わせてください」というメッセージが表示される（符号４６）。ユーザがパノラマ撮像装置１００の本体部３０を回転させて多眼撮像部１０の向きを変えると、撮像ユニット２０Ａの撮影方向が変わり、それに伴い、方位磁石の磁北の向きも変わる。

ユーザは表示されたメッセージにしたがって、符号４４で表示される方位磁石の磁北がまっすぐ上を向くまで、パノラマ撮像装置１００の本体部３０を回転させて、撮像ユニット２０Ａの向きを変える。

図３６（ａ）、（ｂ）は、正面カメラである撮像ユニット２０Ａの向きが３軸地磁気センサ２５２によって測定された磁北に一致したときの様子を示す。図３６（ａ）に示すように、撮像ユニット２０Ａの向きは磁北に一致しており、このとき、図３６（ｂ）に示すように、方位磁石の磁北はまっすぐ上を向き（符号４４）、「Ｇｏｏｄ！」というメッセージが表示される（符号４６）。

このように、ユーザは正面カメラである撮像ユニット２０Ａの撮影方向が磁北になるようにパノラマ撮像装置１００の本体部３０の向きを設定することができる。これにより、ステッチ処理した後のパノラマ画像の画像中心が真北になる。操作・表示部４０の裏側にある撮像ユニット２０Ａを正面カメラとして、正面カメラの向きを磁北とすることで、正面カメラの撮影方位とパノラマ画像の中心の方角の対応関係が明確になる。なお、パノラマ撮像装置１００には３軸加速度センサ２５４も搭載されることから、水準器などを使わなくても、多眼撮像部１０の傾きを検出して、ステッチ処理の際に水平補正することが可能である。

上記の説明では、正面カメラである撮像ユニット２０Ａの撮影方向を磁北に合わせたが、パノラマ画像の画像中心としたい任意の方角に撮像ユニット２０Ａの撮影方向を合わせるようにしてもよい。また、正面カメラ以外の撮像ユニットの撮影方向を磁北または任意の方角に合わせてもよい。

図３７（ａ）、（ｂ）および図３８（ａ）、（ｂ）は、特定の撮像ユニットの撮影方向を磁北に合わせるためのユーザインタフェースを説明する図である。

３軸地磁気センサ２５２によって測定される磁北は図３７（ａ）の矢印の方向であるとする。ここでは、撮像ユニット２０Ａ〜２０Ｅの内、撮像ユニット２０Ｃがもっとも磁北に近い向きにある。

図３７（ｂ）は、操作・表示部４０に表示される画面であり、撮像ユニット２０Ａ〜２０Ｆにより撮影される画像がそれぞれ領域Ａ〜Ｆに表示されている（符号４２）。撮像ユニット２０Ｃがもっとも磁北に近い向きにあるため、撮像ユニット２０Ｃの撮影画像が表示される領域Ｃに方位磁石が表示され、磁北の方向が示される（符号４４）。下部には「カメラの向きを磁北に合わせてください」というメッセージが表示される（符号４６）。

ユーザは表示されたメッセージにしたがって、符号４４で示される方位磁石の磁北がまっすぐ上を向くまで、パノラマ撮像装置１００の本体部３０を回転させて、撮像ユニット２０Ｃの向きを変える。

図３８（ａ）、（ｂ）は、撮像ユニット２０Ｃの向きが３軸地磁気センサ２５２によって測定された磁北に一致したときの様子を示す。図３８（ａ）に示すように、撮像ユニット２０Ｃの向きは磁北に一致しており、このとき、図３８（ｂ）に示すように、方位磁石の磁北はまっすぐ上を向き（符号４４）、「Ｇｏｏｄ！」というメッセージが表示される（符号４６）。

このように、ユーザは特定の撮像ユニットの撮影方向が磁北になるようにパノラマ撮像装置１００の本体部３０の向きを設定することができる。撮影者の位置によっては、操作・表示部４０の反対側にある撮像ユニット２０Ａの撮影方向を磁北として撮影することが困難な場合があり、そのような場合は、正面カメラ以外のいずれかの撮像ユニットの撮影方向を磁北に設定すればよい。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の説明では、多眼撮像装置の一例として、異なる撮影方向に向けられた複数の撮像ユニット２０Ａ〜２０Ｆを含む多眼撮像部１０と、操作・表示部４０を備えた本体部３０とを含むパノラマ撮像装置１００を説明したが、多眼撮像部１０の複数の撮像ユニットの少なくとも一部は、同一の方向に向けられていてもよい。特に、多眼撮像部１０が同じ撮影方向に向けられた少なくとも２つの撮像ユニットを含み、これら２つの撮像ユニットの視点位置が異なる場合、視差のある画像を撮影することができる。視差画像を用いれば、奥行きが把握できるため、３次元画像を生成することができる。視差画像がパノラマ画像であれば、３次元パノラマ画像を生成することができる。多眼撮像装置の別の例として、このようなステレオ撮像装置を構成してもよく、上述の実施の形態における様々な特徴的な構成および処理は、このようなステレオ撮像装置に対しても当てはまることは当業者に理解されるところである。

本実施の形態では、パノラマ画像として全天球パノラマ画像を例に挙げて説明したが、パノラマ画像は、全天球パノラマ画像である必要はなく、撮影方向の異なる複数のカメラで撮影された複数の画像を合成した画像であってもよい。

なお、本明細書でいう「パノラマ画像」とは、狭義の意味での「パノラマ」画像、すなわち横長または縦長の画像や３６０度の全景画像などに限られるものではなく、単に広い範囲を対象とする画像である。また、実施の形態では、合成画像としてパノラマ画像を生成する例を説明したが、出力される合成画像はいわゆるパノラマ画像である必要はなく、任意のサイズの通常の画像を合成画像としても本発明を適用することができる。あるいは、出力される合成画像は、複数の異なる解像度の画像が階層化された画像であってもよい。そのような階層化された画像は、画像の一部の領域を拡大すると拡大された領域がより解像度の高い画像に置き換わるように構成されてもよい。

１０多眼撮像部、１２カメラ筐体、１４固定部材、２０Ａ〜２０Ｆ撮像ユニット、３０本体部、４０操作・表示部、５０三脚座固定穴、７０動画記録開始／停止ボタン、７２静止画撮影ボタン、７４自動露出ロックボタン、７５カメラフリーズボタン、７６自動ホワイトバランスロックボタン、７７グルーピングボタン、７８拡張コントロールボタン、８０三脚、１００パノラマ撮像装置、２００パノラマ動画ストリーム生成部、２１０撮影制御部、２２０Ａ〜２２０Ｆフレームメモリ、２３０動画ストリーム多重化部、２３２動き検出部、２３４モード判定部、２３６制御信号発生部、２４０パノラマ動画記憶部、２４２パノラマステッチ部、２４６切替部、２５０ユーザインタフェース部、２５２３軸地磁気センサ、２５４３軸加速度センサ、２６０表示制御部、２７０タッチパネル制御部、２８０メインプロセッサ、２９０２次記憶装置、３００バスインタフェース・カメラ制御インタフェース部、３１０透過マスクレジスタ、３２０制御データ透過ロジック、４００露出設定部、４１０パノラマ画像記憶部、４２０ＨＤＲ合成部、４３０Ａ〜４０３Ｆフレームバッファ。

合成画像を生成する技術に利用できる。

Claims

複数の撮像ユニットからの撮像画像をそれぞれ記憶する複数のフレームメモリと、
各フレームメモリから各撮像ユニットの撮像画像を読み出し、撮像画像を多重化して画像ストリームを生成する多重化部とを含み、
前記多重化部は、
少なくとも一つの撮像ユニットの撮像画像の動きを検出する動き検出部と、
前記動き検出部により検出された動きの量および当該画像生成装置の消費電力制限の少なくとも一方に応じて、複数の撮像ユニットを同時動作させるモードと、複数の撮像ユニットを間欠動作させるモードのいずれかに設定するモード判定部と、
前記モード判定部により設定されたモードに応じて、複数のフレームメモリからの撮像画像の読み出しを制御する制御信号を複数のフレームメモリに供給する制御信号発生部とを含むことを特徴とする画像生成装置。
複数の撮像ユニットの動作を制御する撮影制御部をさらに含み、
前記撮影制御部は、前記モード判定部により設定されたモードに応じて、複数の撮像ユニットを同時動作または間欠動作させるための制御信号を複数の撮像ユニットに供給することを特徴とする請求項１に記載の画像生成装置。
前記モード判定部により設定されたモードが複数の撮像ユニットを間欠動作させるモードであっても、複数の撮像ユニットを同時に動作させたまま、前記制御信号発生部が複数のフレームメモリを間欠動作させる制御信号を複数のフレームメモリに供給することを特徴とする請求項２に記載の画像生成装置。
前記モード判定部は、前記動き検出部により検出された動きの量が所定の閾値以上である場合、複数の撮像ユニットを同時動作させるモードに設定し、前記動き検出部により検出された動きの量が所定の閾値未満である場合、複数の撮像ユニットを間欠動作させるモードに設定することを特徴とする請求項１から３のいずれかに記載の画像生成装置。
前記モード判定部は、前記動き検出部により検出された動きの量が所定の閾値以上であっても、当該画像生成装置が消費電力制限内で動作していない場合は、複数の撮像ユニットを間欠動作させるモードに設定し、前記動き検出部により検出された動きの量が所定の閾値以上であり、かつ、当該画像生成装置が消費電力制限内で動作している場合は、複数の撮像ユニットを同時動作させるモードに設定することを特徴とする請求項４に記載の画像生成装置。
前記モード判定部は、当該画像生成装置が消費電力制限内で動作している場合、複数の撮像ユニットを同時動作させるモードに設定し、当該画像生成装置が消費電力制限内で動作していない場合、複数の撮像ユニットを間欠動作させるモードに設定することを特徴とする請求項１から３のいずれかに記載の画像生成装置。
前記モード判定部は、当該画像生成装置が外部電源からの電力の供給を受けて動作している場合、複数の撮像ユニットを同時動作させるモードに設定し、当該画像生成装置が内蔵された充電式バッテリからの電力の供給を受けて動作している場合、複数の撮像ユニットを間欠動作させるモードに設定することを特徴とする請求項１から３のいずれかに記載の画像生成装置。
複数の撮像ユニットからの撮像画像をそれぞれ記憶する複数のフレームメモリに格納するステップと、
各フレームメモリから各撮像ユニットの撮像画像を読み出し、撮像画像を多重化して画像ストリームを生成する多重化ステップとを含み、
前記多重化ステップは、
少なくとも一つの撮像ユニットの撮像画像の動きを検出する動き検出ステップと、
前記動き検出ステップにより検出された動きの量および消費電力制限の少なくとも一方に応じて、複数の撮像ユニットを同時動作させるモードと、複数の撮像ユニットを間欠動作させるモードのいずれかに設定するモード判定ステップと、
前記モード判定ステップにより設定されたモードに応じて、複数のフレームメモリからの撮像画像の読み出しを制御する制御信号を複数のフレームメモリに供給する制御信号発生ステップとを含むことを特徴とする画像生成方法。
複数の撮像ユニットからの撮像画像をそれぞれ記憶する複数のフレームメモリに格納するステップと、
各フレームメモリから各撮像ユニットの撮像画像を読み出し、撮像画像を多重化して画像ストリームを生成する多重化ステップとをコンピュータに実現させるプログラムを格納し、
前記多重化ステップは、
少なくとも一つの撮像ユニットの撮像画像の動きを検出する動き検出ステップと、
前記動き検出ステップにより検出された動きの量および消費電力制限の少なくとも一方に応じて、複数の撮像ユニットを同時動作させるモードと、複数の撮像ユニットを間欠動作させるモードのいずれかに設定するモード判定ステップと、
前記モード判定ステップにより設定されたモードに応じて、複数のフレームメモリからの撮像画像の読み出しを制御する制御信号を複数のフレームメモリに供給する制御信号発生ステップとを含むことを特徴とするコンピュータ読み取り可能な記録媒体。