以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係るカメラを有するカメラシステムの構成を示すブロック図である。図1に示すように、本実施形態におけるカメラシステムは、カメラ100と、フェイスマウントディスプレイ(以下、FMDと記す)200とを有している。カメラ100とFMD200とは互いに通信自在に接続されており、カメラ100で取得された画像をFMD200に送信することで、カメラ100で取得された画像をFMD200で鑑賞することが可能である。
カメラ100は、制御部101と、操作部102と、撮影レンズ103と、撮像部104と、表示部105と、時計部106と、記録部107と、通信部108と、移動方向検知部109とを有している。
制御部101は、カメラ用に構成されたLSI等から構成されており、ユーザによる操作部102の操作を受けて図1のカメラ100内部の各ブロックの制御を行う。また、制御部101は、撮像部104によって取得された画像に対してホワイトバランス補正等の画像処理や圧縮伸張処理等を施すことも行う。さらに、制御部101は画像合成部としての機能も有しており、FMD200における画像表示の際に必要に応じて撮像部104を介して得られた画像を合成して合成画像を生成する。
操作部102は、ユーザがカメラ100の操作を行うための操作部である。操作部102には、例えば、カメラ100の電源のオン/オフを切り替えるための電源ボタン、撮影の準備又は実行を指示するためのレリーズボタン、ユーザが画像の再生を指示するための再生ボタン、ユーザがカメラ100に関する各種の選択操作を行うための選択ボタン等が含まれる。なお、レリーズボタンは半押しされるとAF等の撮影準備の指示がなされ、全押しされると撮影の実行が指示される。
撮影レンズ103は、図示しない被写体からの光束を撮像部104に入射させるためのレンズである。撮像部104は、撮影レンズ103からの光束に基づく被写体の像を電気信号に変換することで画像を取得し、さらにこの画像をデジタルデータとして制御部101に出力する。
表示部105は、例えばカメラ100の背面に設けられ、撮像部104を介して取得された画像や記録部107に記録された画像等の各種の画像を表示する。この表示部105は、例えば液晶ディスプレイ等から構成されている。この表示部105により、ユーザは被写体の構図やシャッターチャンスを確認することができる。
時計部106は、画像の撮影がなされた日時等を計時する。記録部107は、撮像部104を介して取得され、制御部101において圧縮された画像が記録される。この記録部107には、時計部106によって計時された撮影日時等の撮影条件が付加された画像ファイルとして画像が記録される。
通信部108は、FMD200との通信を行うための通信回路であり、制御部101の制御に従ってFMD200に画像を送信する。カメラ100とFMD200との通信方式については特に限定されるものではない。例えば、カメラ100とFMD200との間をUSBケーブル等を介して接続して通信を行う有線通信を用いても良いし、無線LAN等の無線通信を用いても良い。
移動方向検知部109は、ユーザによるカメラ100の移動操作がなされたときに、その移動方向を検知する。この移動方向検知部109は、例えば撮像部104を介して得られる画像から演算される動きベクトルに基づいてカメラ100の移動方向を検知する。なお、動きベクトルは、撮像部104を介して得られる連続動作させて得られる画像間の被写体像のずれ(ずれ方向及びずれ量)を例えばブロックマッチング法によって演算することで求めることが可能である。図2に示すように、動きベクトルが画像全体で略同じであれば、被写体が動いているのではなく、画像全体が動いている、即ちカメラ100が動いていると判定できる。なお、カメラ100の移動方向は専用のセンサを用いて検知するようにしても良い。
本実施形態におけるFMD200は、装着型画像表示装置としての機能を有し、ユーザの目部に装着自在になされている。このFMD200は、制御部201と、通信部202と、記録部203と、表示駆動部204と、シャッタ駆動部205と、光学系206と、補助撮像部207と、操作部208とを有している。
制御部201は、通信部202の動作制御、記録部203に記録された画像の伸張処理、表示駆動部204及びシャッタ駆動部205の動作制御等の、FMD200の各ブロックの制御を行う。
通信部202は、カメラ100との通信を行うための通信回路であり、制御部101の制御に従ってカメラ100から画像を受信する。記録部203は、通信部202で受信された画像が記録される。
表示駆動部204は、制御部201の制御に従って、光学系206に含まれる表示部を駆動させる。シャッタ駆動部205は、制御部201の制御に従って、光学系206に含まれるシャッタを駆動させる。光学系206は、通信部202で受信された画像又は記録部203に記録された画像を表示するための表示部を含む光学系である。この光学系206については後述する。
補助撮像部207は、FMD200の外部の被写体の像を撮像し、撮像により得られた画像をデジタルデータとして表示駆動部204に出力する。
操作部208は、FMD200の電源のオン/オフの切り替えや、FMD200の動作モードの切り替えを行うための各種の操作部である。
図3は、光学系206、補助撮像部207の構成の一例を示す図である。
図3に示すように、光学系206は、表示部301と、光学部302と、遮光マスク303とを有している。
表示部301は、通信部202で受信された画像又は記録部203に記録された画像を表示するための表示部である。図3は、表示部301が液晶表示装置(LCD)である場合の例を示している。この場合の表示部301は、LCDパネル301aとバックライト301bとを有している。LCDパネル301aは、液晶を含む画素が2次元に配列されて構成され、表示駆動部204の制御に従って各画素の光の透過率を変化させるようになされている。バックライト301bは、例えば白色発光ダイオード(LED)を光源とし、表示駆動部204の制御に従ってLCDパネル301aの背面から光照射を行う。なお、図3の例では表示部301にLCDを用いているが、表示部301はLCDに限定されるものではない。例えば、表示部301に有機EL表示装置(OELD)を用いるようにしても良い。
光学部302は、表示部301からの光をユーザの目400に反射させるように曲面が形成された自由曲面プリズム302aを有している。この自由曲面プリズム302aの自由曲面部には反射ミラー302bがコーティングされている。
遮光マスク303は、FMD200の外部から自由曲面プリズム302aへの光の入射を妨げるように自由曲面プリズム302aの前面に配置されている。
また、図3に示すように、補助撮像部207は、撮影レンズ207aと、撮像部207bと、撮像処理部207cとを有している。
撮影レンズ207aは、撮影レンズ103と同様の機能を有し、FMD200の外部の被写体からの光束を撮像部207bに入射させるためのレンズである。撮像部207bは、撮像部104と同様の機能を有し、撮影レンズ207aからの光束に基づく被写体の像を電気信号に変換することで画像を取得し、さらにこの画像をデジタルデータとして撮像処理部207cに出力する。撮像処理部207cは、撮像部207bを介して得られた画像に対する画像処理を施して表示駆動部204に出力する。
このような構成において、表示部301に画像が表示されている場合(バックライト301bが点灯状態の場合)、表示部301に表示されている画像に基づく光は、図3の矢印で示したような光路でユーザの目400に入射する。これにより、ユーザは表示部301に表示された画像を見ることができる。この際、表示部301に表示させる画像を補助撮像部207からの画像とした場合に、ユーザは、自身の視線が向いている方向に存在しているFMD200の外部の像を確認することが可能となる。一方、表示部301に表示させる画像をカメラ100から送信されてきた画像とした場合に、ユーザは、その時点でカメラ100が向いている方向に存在している像を確認することが可能となる。
図4は、FMD200の外観図である。本実施形態におけるFMD200の外観は、図4(a)に示すような、片目のみの略眼鏡状をしており、ユーザは、眼鏡と同様にFMD200に形成された弦部200aを耳にかけ、鼻当て部200bを鼻に当て付けることでFMD200を装着する。
ここで、図4(a)は、FMD200の通信形態が無線通信の場合を示している。この場合、FMD200には、通信部202のアンテナ202aが設けられている。一方、FMD200の通信形態が有線通信の場合には、図4(b)に示すように、FMD200にケーブル202bが接続される。なお、図4(a)、図4(b)では、片目のみ装着可能なFMD200を示しているが、両目に装着可能に構成しても良い。この場合には、図3で示した光学系206は、一対設ける必要がある。
図5は、本実施形態におけるカメラシステムを使用する際の様子を示す図である。本実施形態におけるカメラシステムにおいてFMD200をファインダとして利用する場合、図5に示すように、ユーザは目部にFMD200を装着する。これにより、ユーザは、カメラ100から送信された画像を大画面のような感覚で確認することができる。FMD200の表示部301の表示画面は小さくともユーザの目の近くで表示がなされるので、ユーザは、2m先に数十インチの画像が見えるような体感を得ることができる。
ここで、図6(a)のように、ユーザがカメラ100を構えている状態では、ユーザの見ようとしている方向とカメラ100の撮影範囲とが一致している。したがって、この場合には、FMD200の表示部301にはユーザの見ている方向に存在している被写体の画像が表示される。これに対し、図6(b)のように、ユーザがカメラ100のみを移動させた場合には、ユーザの見ている方向とは異なる方向から見た画像が表示される。このような画像を表示させると、ユーザが混乱するおそれがある。特に、FMD200を両目に装着するタイプとした場合にはユーザは外界の状況を表示部301の画像からでしか認識できないため、混乱する可能性がより高くなる。
このため、本実施形態では、FMD200をファインダとして用いている際に、カメラ100の移動があった場合には、カメラの移動の様子を示す画像をFMD200の表示部301に表示させるようにする。これにより、ユーザにカメラ100が向いている方向を認知させる。
次に、このような本実施形態のカメラシステムの詳細な動作について説明する。
まず、カメラ100の動作について説明する。図7は、カメラ100のメインの動作を示すフローチャートである。ここで、本実施形態におけるカメラ100は動作モードとして撮影モードと再生モードとを有している。撮影モードは、ユーザが記録用の画像を撮影するための動作モードであり、再生モードは記録された画像を再生するためのモードである。これらの動作モードの切り替えは、例えば操作部102の選択ボタンの操作によって行うことができる。
図7において、カメラ100の制御部101は、まず、カメラ100の電源がオンされたか否かを判定する(ステップS101)。ステップS101の判定において、電源がオフされている場合に、制御部101は図7の処理を終了させる。なお、電源オフ時においても通信部108は動作しており、通信部108を介してFMD200からの電源オン指示がなされた場合に制御部101はカメラ100の電源をオンさせる。
一方、ステップS101の判定において、電源がオンされた場合に、制御部101はカメラ100の動作モードが撮影モードであるか否かを判定する(ステップS102)。ステップS102の判定において、カメラ100の動作モードが撮影モードである場合に、制御部101は露出補正を行う(ステップS103)。この露出補正において、制御部101は、撮像部104を介して得られる画像や専用の測光センサの出力に基づいて、被写体の明るさを測定する。そして、測定した被写体の明るさに基づき、制御部101は、撮像部104を介して得られる画像の明るさを適正な明るさとするように画像の明るさを補正する。
次に、制御部101は、通信部108の通信状態からFMD200との通信が可能であるか否かを判定する(ステップS104)。ステップS104の判定において、FMD200との通信が可能である場合に、制御部101は、撮影者によって操作部102のレリーズボタンが半押しされたか否かを判定する(ステップS105)。ステップS105の判定において、レリーズボタンが半押しされていた場合に、制御部101は撮像部104を動作させ、撮像部104を介して得られる画像を記録部107に記録させる(ステップS106)。その後、制御部101は、移動方向検知部109の出力から、カメラ100の移動があったか否かを判定する(ステップS107)。なお、動きベクトルから移動方向を検知する場合、少なくとも2枚の画像が必要であるため、初回はステップS107の判定においてカメラ100の移動が無いと判定される。
ステップS107の判定において、カメラ100の移動が検知された場合に、制御部101は、移動方向検知部109の出力からカメラ100の移動方向を検知する(ステップS108)。次に、制御部101は、ステップS105において記録部107に記録させた画像を合成して合成画像を生成し、この合成画像を、通信部108を介してFMD200に送信する(ステップS109)。なお、この画像の合成については後述する。
また、ステップS105の判定においてレリーズボタンが半押しされていた場合、若しくはステップS107の判定においてカメラ100の移動がない場合に、制御部101は、FMD200の表示部301に通常のスルー画表示を行わせるべく、撮像部104で取得された画像を、通信部108を介してFMD200に送信する(ステップS110)。
また、ステップS104の判定においてFMD200との通信が可能でない場合に、制御部101は表示部105にスルー画表示を行う(ステップS111)。このカメラ100側のスルー画表示において、制御部101は、撮像部104を連続動作させ、この連続動作によって撮像部104を介して逐次得られる画像をリアルタイムに表示部105に表示させる。
スルー画表示又は合成画像の表示の後、制御部101は、撮影者によって操作部102のレリーズボタンが全押しされたか否かを判定する(ステップS112)。ステップS112の判定において、レリーズボタンが全押しされていない場合には、処理がステップS101に戻る。この場合に、制御部101は、カメラ100の電源がオンであるか否かを再び判定する。一方、ステップS112の判定において、レリーズボタンが押された場合に、制御部101は、露出制御(記録用画像の取込み)を行う(ステップS113)。画像の取り込み後、制御部101は取り込んだ画像に対して圧縮処理等の画像処理を施した後、処理後の画像に時計部106で計時される撮影日時等の撮影条件を付加して画像ファイルを生成する。そして、制御部101は、生成した画像ファイルを記録部107に記録させる(ステップS114)。その後、処理がステップS101に戻る。
また、ステップS102の判定において、カメラ100の動作モードが撮影モードでない場合に、制御部101は、カメラ100の動作モードが再生モードであるか否かを判定する(ステップS115)。ステップS115の判定において、カメラ100の動作モードが再生モードでない場合には、処理がステップS101に戻る。一方、ステップS115の判定において、カメラ100の動作モードが再生モードである場合に、制御部101は再生モードの処理を行う(ステップS116)。再生モードの処理後、処理がステップS101に戻る。
図8は、再生モードの処理を示すフローチャートである。図8において、制御部101は、記録部107に記録された画像ファイルの中で最後に記録された画像ファイルを再生の候補画像に設定する(ステップS201)。次に、制御部101は、再生モードの処理を終了するか、即ちユーザにより再生モードの終了操作がなされたか否かを判定する(ステップS202)。再生モードの終了操作とは、例えばカメラ100の動作モードの切り替え操作等である。ステップS202の判定において、再生モードの終了操作がなされた場合に、制御部101は図8の処理を終了させる。
一方、ステップS202の判定において、再生モードの終了操作がなされていない場合に、制御部101は、通信部108の通信状態からFMD200との通信が可能であるか否かを判定する(ステップS203)。
ステップS203の判定において、FMD200との通信が可能でない場合に、制御部101は、候補画像に対応した画像ファイルを記録部107から読み出し、画像ファイル内の画像に伸張処理を施した上で表示部105に表示させる(ステップS204)。一方、ステップS204の判定において、FMD200との通信が可能である場合には、FMD200における画像の再生を行うべく、制御部101は、候補画像に対応した画像ファイルを記録部107から読み出す。そして、制御部101は、読み出した画像ファイルを、通信部108を介してFMD200に送信する(ステップS205)。この際、表示部105は非表示として良い。これは、ユーザがFMD200を装着してカメラ100を構えており、カメラ100の表示部105には注視しないと考えられるためである。
画像の再生の後、制御部101は、再生画像の切り替えを行うか、即ちユーザの操作部102の操作によって、再生画像の切り替え操作がなされたか否かを判定する(ステップS206)。ステップS206の判定において、再生画像の切り替えを行わない場合には処理がステップS201に戻る。この場合に、制御部101は、再生モードの処理を終了するか否かを再び判定する。一方、ステップS206の判定において、再生画像の切り替えを行う場合に、制御部101は、記録部107に記録された画像ファイルの中で次に撮影日時の新しい画像ファイルを次の候補画像に設定する(ステップS207)。その後、処理がステップS201に戻る。
図9は、FMD200のメインの動作を示すフローチャートである。ここで、本実施形態におけるFMD200は動作モードとして、ファインダモードと、再生モードと、外部表示モードとを有している。ファインダモードは、FMD200をカメラ100のファインダに利用するための動作モードである。また、再生モードは、FMD200の記録部203に記録されている画像を再生するための動作モードである。さらに、外部表示モードは、補助撮像部207からの画像を表示部301に表示させることでFMD200の外部の状況を確認できるようにするための動作モードである。なお、ファインダモードと再生モードとの間の切り替えは、FMD200の操作部208によって行うことができる。
図9において、制御部201は、まず、FMD200の電源がオンであるか否かを判定する(ステップS301)。ステップS301の判定において、電源がオフされている場合に、制御部201は図9の処理を終了させる。この場合には、FMD200による画像の表示は行われない。一方、ステップS301の判定において、電源がオンされた場合に、制御部201は、補助撮像部207を制御して、補助撮像部207において得られた画像を表示部301に表示させる(ステップS302)。これにより、ユーザはFMD200の外部の状況を観察することができる。
次に、制御部201は、通信部202を介してカメラ100から画像が受信されたか否かを判定する(ステップS303)。ステップS303の判定において、カメラ100から画像が受信された場合に、制御部201は、補助撮像部207からの画像の表示を停止させる(ステップS304)。その後、制御部201は、表示駆動部204を制御して、通信部202を介して受信された画像を表示部301に表示させる(ステップS305)。
次に、制御部201は、FMD200の動作モードがファインダモードであるか否かを判定する(ステップS306)。ステップS306の判定において、FMD200の動作モードがファインダモードである場合には、処理がステップS303に戻る。そして、制御部201は、カメラ100からの次の画像の受信を待つ。ファインダモードではカメラ100から逐次画像が送信されるので、この画像を表示部301に表示させていくことにより、FMD200においてもカメラ100と同様のスルー画表示を行うことが可能である。
また、ステップS306の判定において、FMD200の動作モードがファインダモードでない、即ち再生モードである場合に、制御部201は通信部202を介して受信された画像ファイルを記録部203に記録させる(ステップS307)。その後、処理がステップS301に戻る。
また、ステップS303の判定において、カメラ100から画像が受信されていない場合に、制御部201は、通信部202を介してカメラ100に対して電源オンの指示を送る(ステップS308)。この指示を受けた場合にも、カメラ100は電源がオンされる。次に、制御部201は、FMD200の動作モードが再生モードであるか否かを判定する(ステップS309)。ステップS309の判定において、FMD200の動作モードが再生モードでない場合には、処理がステップS301に戻る。一方、ステップS309の判定において、FMD200の動作モードが再生モードである場合に、制御部201は、補助撮像部207からの画像の表示を停止させる(ステップS310)。その後、制御部201は、記録部203に記録された画像ファイルの中で最後に記録された画像ファイル内の画像を伸張した上で、表示部301に表示させる(ステップS311)。画像の再生の後、制御部201は、再生画像の切り替えを行うか、即ちユーザの操作部208の操作によって、再生画像の切り替え操作がなされたか否かを判定する(ステップS312)。ステップS312の判定において、再生画像の切り替えを行わない場合には処理がステップS314に移行する。一方、ステップS312の判定において、再生画像の切り替えを行う場合に、制御部201は、記録部203に記録された画像ファイルの中で次に記録日時の新しい画像ファイルを次の候補画像に設定して表示部301に表示させる(ステップS313)。
ステップS312又はステップS313の後、制御部201は、再生モードの処理を終了するか、即ちユーザにより再生モードの終了操作がなされたか否かを判定する(ステップS314)。ステップS314の判定において、再生モードの終了操作がなされた場合には、処理がステップS301に戻る。一方、ステップS314の判定において、再生モードの終了操作がなされていない場合には、処理がステップS312に戻る。この場合、制御部201は、候補画像の再生を継続する。
次に、ステップS109における画像の合成について説明する。図7において説明したように、カメラ100の移動がない場合にはカメラ100の撮像部104を介して得られた画像がFMD200に送信され、図10(a)のようにしてFMD200の表示部301にはカメラ100から送信されてきた画像が表示される。
さらに、本実施形態においては、レリーズボタンが半押しされている際にカメラの移動があった場合には、レリーズボタンが押されている期間中にステップS106において記録された全ての画像を合成してFMD200の表示部301に表示させる。なお、合成する画像をレリーズボタンが半押しされている期間中に得られた画像としているのは、レリーズボタンが半押しされている間はユーザにフレーミングを行おうという意図があると考えられるためである。画像の合成は必ずしもレリーズボタンが半押しされている期間中に撮像された画像のみに対して行う必要はない。
ここで、合成は、例えば撮影順に複数の画像を配置することで行う。さらに、合成した画像の近傍にカメラ100の移動方向を示す画像である指標を合成させる。図10(b)、図10(c)は合成表示の例を示している。
図10(b)は、初期の時点である図10(a)の次の撮像時点においてカメラ100が右方向に移動していた場合の合成表示の例を示している。この場合、図10(b)に示すように、初期の時点において得られた画像501の隣(図10(b)では左隣)に次の画像502が配置されるように合成する。この合成の際には、最新の画像である画像502のサイズを画像501のサイズよりも大きくして合成することがより望ましい。このようにすれば、ユーザは、最新の画像(即ち、現時点でカメラ100が撮像した画像)を直ちに認知することができるようになる。さらに、合成表示の際には、画像501の撮像時から画像502の撮像時の間でのカメラ100の移動方向が分かるように画像502の近傍(図10(b)の例では画像502の上部)に指標502aを合成する。これにより、ユーザはカメラ100の移動方向も認知することが可能となる。
図10(c)は、図10(b)の次の撮像時点においてカメラ100がさらに右方向に移動していた場合の合成表示の例を示している。この場合、図10(c)に示すように、画像502の左隣に次の画像503が配置されるように合成する。この際、最新の画像503のサイズを画像501、502のサイズよりも大きくして合成する。さらに、画像502の撮像時から画像503の撮像時の間でのカメラ100の移動方向が分かるように画像503の近傍(図10(c)の例では画像503の上部)に指標503aを合成する。
4枚目以後の合成についても同様である。即ち、最新の画像はその1つ前に撮像された画像の左隣に他の画像よりも大きなサイズとなるように合成し、且つ該最新の画像の近傍に移動方向を示す指標を合成すれば良い。
以上説明した図10(b)、図10(c)のような画像をFMD200の表示部301に表示させることにより、ユーザは、カメラ100の移動方向とこの移動に伴う画像の遷移とを認知することが可能である。これにより、フレーミングのし易さが向上する。
ここで、図10の例では、最新の画像を順次左方向に合成する例を示したが、画像が時系列に配置されるのであれば合成方向については特に限定されるものではない。また、指標の合成位置も各画像との対応が分かる位置であれば特に限定されるものではない。
また、図10の例ではレリーズボタンが半押しされている期間中に得られた全ての画像を合成するようにしているが、例えばレリーズボタンが半押しされた後で最初に得られた画像と最新の画像のみを合成するようにしても良い。このような場合の合成画像の表示例を図11に示す。
図11(a)は、初期の時点である図10(a)の次の撮像時点においてカメラ100が左方向に移動していた場合の合成表示の例を示している。この場合、図11(a)に示すように、初期の時点において得られた画像601の隣(図11(a)では右隣)に次の画像602が配置されるように合成する。この合成の際においても、図10の場合の例と同様に、最新の画像である画像502のサイズを画像601のサイズよりも大きくして合成することがより望ましい。さらに、合成表示の際には、画像601の撮像時から画像602の撮像時の間でのカメラ100の移動方向が分かるように画像602の近傍(図11(a)の例では画像602の上部)に指標602aを合成する。
図11(b)は、図11(a)の次の撮像時点においてカメラ100がさらに右方向に移動していた場合の合成表示の例を示している。この場合、図11(b)に示すように、画像601の右隣に画像602の次の画像603が配置されるように合成する。この際も最新の画像603のサイズを画像601のサイズよりも大きくして合成する。また、画像602の撮像時から画像603の撮像時の間でのカメラ100の移動方向が分かるように画像603の近傍に指標603aを合成する。なお、この移動方向は最初の画像である601との間での移動方向を表示させるようにしても良い。
さらに、図11の例の場合、最新の画像の合成位置をカメラ100の移動方向に応じて決定するようにしても良い。例えば、最初の画像の撮像時からカメラ100が右方向に移動した場合には、図11(a)や図11(b)のように、画像601の右隣に最新の画像を合成するようにする。また、例えば、最初の画像の撮像時からカメラ100が上方向に移動した場合には、図12のように、最初の画像701の上に最新の画像702を合成するようにする。このような合成表示を行うようにすれば、ユーザは、表示部301に表示された画像のみからカメラ100の移動方向を認知することが可能である。なお、この場合は、指標702aを画像702の上部に合成せず、例えば画像702の左部に合成する。
さらに、上述した実施形態においては、スルー画表示と合成画像表示とを別処理としていたが、スルー画表示を行いつつ、このスルー画表示にさらに合成画像を重畳表示させるようにしても良い。
また、上述した実施形態においては、カメラ100側で画像の合成を行うようにしているが、カメラ100からはレリーズボタンが押されている間に記録された画像とカメラ100の移動方向のみをFMD200に送信し、画像の合成をFMD200によって行うようにしても良い。さらに、FMD200によってカメラ100の移動方向を検出できるようにしても良い。この場合のカメラ100の移動方向の検出手法としては、例えば補助撮像部207を介して得られる画像中のカメラ100の動きベクトルの変化を検出する手法が考えられる。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。