JP2013145983A - 撮像システム、撮像装置、撮像方法、及び撮像プログラム - Google Patents

Abstract

【課題】利便性の高い撮像システム、撮像装置、撮像方法、撮像プログラムを提供する。
【解決手段】本発明の一態様に係る撮像システムは、撮像部１００と、を有する通信端末５と、撮像部１００と、液晶モニタ３０４と、を備えた撮像装置１と、撮像装置１に取り付けられ、撮像部５００で撮像された端末画像と撮像部１００で撮像されたカメラ画像とを合成した合成画像を記録するカード型記録媒体３０２と、備えている。無線モジュール７０９が、端末画像にタイムスタンプ情報を付して、撮像装置１に送信し、撮像装置１が合成画像をカード型記録媒体３０２に記録する際に、タイムスタンプ情報に基づいて、端末画像とカメラ画像とを同期した合成画像をカード型記録媒体３０２に記録し、動画撮影中に液晶モニタ３０４が、非同期状態の合成画像を表示する。
【選択図】図２

Description

本発明は撮像システム、撮像装置、撮像方法、及び撮像プログラムに関する。

２つのアングルから撮影した映像と音声を合成して記録するシステムが特許文献１に記載されている。特許文献１のシステムでは、ビデオカメラで撮像した映像を他のビデオカメラに伝送して、ファインダー内で合成して表示している。特許文献２では、２つの動画像を１つの記録媒体に同時に記録している。

特開平９−９１０７号公報 特開平８−２４２３９９号公報

しかしながら、特許文献１、２では、動画撮影中において、表示する合成画像と、記録媒体に記録する合成画像とで、２つの画像の同期処理をそれぞれ制御する方法については、開示されていない。すなわち、動画再生中に表示する合成画像と、記録媒体に記録する合成画像とで、２つの画像のタイミングを別々に制御する方法については、開示されていない。表示時と記録時において、合成する画像のタイミングを別々に制御することができないため、利便性を高くすることが困難である。

本願発明は、上記課題を鑑み、利便性の高い撮像システム、撮像装置、通信端末、撮像方法、及び撮像プログラムを提供することを目的とする。

本願発明の一態様にかかる撮像システムは、通信端末（５）と撮像装置（１）とを備えた撮像システムであって、前記通信装置（５）は、第１の画像を取得する第１のカメラ（撮像部５００）と、前記第１の画像にタイムスタンプを付加するタイムスタンプ付加部（９０２）と、前記撮像装置に、前記第１の画像を送信する第１の通信手段（無線モジュール７０９）を備え、前記撮像装置（１）は、前記第１の通信手段が送信した前記第１の画像を受信する第２の通信手段（無線モジュール３０９）と、第２の画像を取得する第２のカメラ（撮像部１００）と、前記第２の画像に、前記第２の通信手段が受信した前記第１の画像を合成した合成画像を生成する合成部（４０４）と、前記第１の画像に付されたタイムスタンプ情報に基づいて、前記第１の画像と前記第２の画像とを同期させた同期状態の合成画像を生成するように前記合成部を制御する同期処理部（４０２）と、前記同期状態の前記合成画像を記録媒体（カード型記録媒体３０２）に記録する記録手段（メディア制御部２０７）と、動画撮影中に、前記第１の画像と前記第２の画像とが同期していない非同期状態の前記合成画像を表示するモニタ（液晶モニタ２０４）と、を備えるものである。このようにすることで、動画撮影中には非同期状態の合成画像がモニタに表示され、記録媒体に同期状態の合成画像が記録されるため、利便性を向上することができる。
上記の撮像システムが、動画撮影中に前記モニタ（液晶モニタ２０４）が表示する合成画像を、前記タイムスタンプ情報に基づいて同期させた同期状態で表示する同期モードと、非同期状態で表示する非同期モードとを切り替える切替手段をさらに備えていてもよい。ここのようにすることで、撮影する状況に応じて、モニタに表示する画像を非同期状態とするか、同期状態とするかを選択することができるので、利便性を向上することができる。
本願発明の一態様にかかる撮像装置は、第１のカメラ（撮像部５００）を有する通信端末と通信を行う通信手段（無線モジュール３０９）と、第２のカメラ（撮像部１００）と、前記第１のカメラ（撮像部５００）で撮像された第１の画像と前記第２のカメラ（撮像部１００）で撮像された第２の画像とを合成した合成画像を生成する合成部（４０４）と、前記第１の画像に付されたタイムスタンプ情報に基づいて、前記第１の画像と前記第２の画像とを同期させた同期状態の合成画像を生成するように制御する同期処理部（同期処理部４０２）と、前記同期状態の前記合成画像を記録媒体に記録する記録手段（メディア制御部２０７）と、動画撮影中に、前記第１の画像と前記第２の画像とが同期していない非同期状態の前記合成画像を表示するモニタ（液晶モニタ２０４）と、を備えたものである。このようにすることで、動画撮影中には非同期状態の合成画像がモニタに表示され、記録媒体に同期状態の合成画像が記録されるため、利便性を向上することができる。
上記の撮像装置が、動画撮影中に前記モニタ（液晶モニタ２０４）が表示する合成画像を、前記タイムスタンプ情報に基づいて同期させた同期状態で表示する同期モードと、非同期状態で表示する非同期モードとを切り替える切替手段をさらに備えていてもよい。このようにすることで、撮影する状況に応じて、モニタに表示する画像を非同期状態とするか、同期状態とするかを選択することができるので、利便性を向上することができる。
本願発明の一態様にかかる撮像方法は、第１の通信手段（無線モジュール７０９）と、第１のカメラ（撮像部５００）と、を有する通信端末（５）と、前記第１の通信手段（無線モジュール７０９）と通信可能な第２の通信手段（無線モジュール３０９）と、第２のカメラ（撮像部１００）と、モニタ（液晶モニタ２０４）と、を備えた撮像装置（１）と、を用いて動画を撮影する撮像方法であって、前記第１のカメラ（撮像部５００）が第１の画像を撮像し、かつ前記第２のカメラ（撮像部１００）が第２の画像を撮像するステップと、前記第１の通信手段（無線モジュール７０９）が、前記第１の画像にタイムスタンプ情報を付して、前記撮像装置（１）に送信するステップと、前記第１の画像と前記第２の画像とが同期していない非同期状態で、前記第１の画像と前記第２の画像とを合成した合成画像を生成するステップと、動画撮影中に前記モニタ（液晶モニタ２０４）が、前記非同期状態の前記合成画像を表示するステップと、前記第１の画像に付された前記タイムスタンプ情報に基づいて、前記第１の画像と前記第２の画像とを同期させた同期状態の合成画像を生成するステップと、前記撮像装置が、同期状態の前記合成画像を記録媒体（カード型記録媒体３０２）に記録するステップと、を備えたものである。このようにすることで、動画撮影中には非同期状態の合成画像がモニタに表示され、記録媒体に同期状態の合成画像が記録されるため、利便性を向上することができる。
上記の撮像方法において、動画撮影中に前記モニタ（液晶モニタ２０４）が表示する合成画像を、前記タイムスタンプ情報に基づいて同期させた状態で表示する同期モードと、非同期状態で表示する非同期モードとを切り替え可能としてもよい。このようにすることで、撮影する状況に応じて、モニタに表示する画像を非同期状態とするか、同期状態とするかを選択することができるので、利便性を向上することができる。
本願発明の一態様にかかる撮像プログラムは、第１のカメラ（撮像部５００）を有する通信端末と通信可能な撮像装置に対して、前記第１のカメラ（撮像部５００）で撮像された第１の画像を受信するステップと、第２のカメラ（撮像部１００）によって第２の画像を撮像するステップと、前記第１の画像と前記第２の画像とを合成した合成画像を記録媒体に記録する際に、前記第１の画像に付されたタイムスタンプ情報に基づいて、前記第１の画像と前記第２の画像とを同期させた状態の合成画像を生成して前記記録媒体に記録するステップと、動画撮影中に、前記第１の画像と前記第２の画像とが同期していない非同期状態の前記合成画像をモニタに表示するステップと、を実行させるものである。このようにすることで、動画撮影中には非同期状態の合成画像がモニタに表示され、記録媒体に同期状態の合成画像が記録されるため、利便性を向上することができる。
上記の撮像プログラムにおいて、動画撮影中に前記モニタ（液晶モニタ２０４）が表示する合成画像を、前記タイムスタンプ情報に基づいて同期させた同期状態で表示する同期モードと、非同期状態で表示する非同期モードとを切り替えるようにしてもよい。このようにすることで、撮影する状況に応じて、モニタに表示する画像を非同期状態とするか、同期状態とするかを選択することができるので、利便性を向上することができる。

本願発明は、利便性の高い撮像システム、撮像装置、撮像方法、及び撮像プログラムを提供することができる。

実施の形態にかかる撮像システムの全体構成を模式的に示す図である。 撮像装置の構成を示すブロック図である。 通信端末の構成を示すブロック図である。 非同期モードで表示を行うとき処理を示すタイミングチャートである。 カメラ画像を示す図である。 非同期状態の重畳画像を示す図である。 同期状態の重畳画像を示す図である。 同期モードで表示を行うとき処理を示すタイミングチャートである。

本実施の形態に係る撮像システムについて、図１を用いて説明する。図１は、撮像システムの全体構成を示すブロック図である。撮像システムは、撮像装置１と複数の通信端末５を備えている。撮像装置１は動画像及び静止画像を撮像することができるデジタルカメラを有している。さらに撮像装置１は外部メモリカード等を取り付けるためのスロットを有しており、外部メモリカード等に撮像した画像を記録する。通信端末５は、スマートフォンなどの携帯電話機器である。通信端末５は、各種通信手段と、動画撮影可能なデジタルカメラ等を有している。また、撮像装置１と通信端末５は、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ等によって、直接的に通信可能となっている。また、通信端末５は、他の通信端末５と通話を行うため、基地局と通信可能となっている。通信端末５が基地局と通信することで、通信端末５同士での通話や、メールの送受信、インターネット接続等が可能となる。

さらに、動画撮影時において、撮像装置１と通信端末５とが連携した連携撮影が可能になっている。具体的には、撮像装置１は、撮像装置１で撮像した画像（以下カメラ画像）と、通信端末５で撮像した画像（以下、端末画像）とを重畳して、重畳画像を生成する。こうすることで、ある被写体を別のアングルから同時に撮影した動画や、異なる被写体を同時に撮影した動画を一画面で表示することが可能になる。これにより、撮影の幅を広げることができ、利便性を向上することができる。

連携撮影を行うため、通信端末５は、Ｗｉ−Ｆｉ通信を用いて、撮像した端末画像を撮像装置１に送信する。そして、撮像装置１は、カメラ画像と端末画像とを重畳した重畳画像を生成する。さらに、撮像装置１は、重畳画像をモニタに表示するとともに、記録媒体に記録する。より具体的には、撮像装置１は、カメラ画像に端末画像が埋め込まれたＰＩＰ（Picture in Picture）で動画を記録、再生する。撮像装置１は、表示時と記録時において、重畳画像の同期を別々に制御する。

次に、撮像装置１の構成について説明する。図２は、本発明の実施形態に係る撮像装置１の内部構成の例を示すブロック図である。撮像装置１は動画像及び静止画像を撮像することができる。なお、本発明に係る撮像装置１は、動画像を撮像できるものであれば、その形状、及び構成は特に限定されるものではない。

中央制御部４００はＣＰＵ、各種プログラムが格納されたＲＯＭ、及びワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成され、撮像、各種画像の表示、及び連携撮影に関する情報の送受信等の撮像装置１全体の処理を統括的に制御する。

撮像装置１は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４で構成される撮像部１００を有する。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子１０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。

撮像装置１を用いた撮像は以下の手順で行われる。撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０７は、画像Ａ／Ｄ変換部１０６から出力されたデジタル画像データを撮像データとして取り込んで、バス２００を介してメインメモリ２０６に格納する。

デジタル信号処理部１０８は、バス２００を介して中央制御部４００からの指令に基づき、メインメモリ２０６に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。

マイク１０９は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部１１０がそのアナログ音声信号を増幅した後、音声Ａ／Ｄ変換部１１１が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ１１２は、音声Ａ／Ｄ変換部１１１から出力されたデジタル音声データを撮像データと併せてメインメモリ２０６に格納する。

多重化部１１３は、メインメモリ２０６に格納された撮像データ及びデジタル音声データを多重化しストリームデータを生成する。

圧縮・伸長処理部２０１は、バス２００を介して中央制御部４００からの指示に従い、メインメモリ２０６に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部４００からの指令に従い、カード型記録媒体３０２等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。
なお、本実施の形態の撮像装置１では、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。

音声・画像処理部２０２は、バス２００を介して中央制御部４００の指示に従い、メインメモリ２０６から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やＯＳＤ画像等、各種処理のための画像データを生成し、その画像データをメインメモリ２０６から読み出されたオリジナルの撮像データに重畳させて液晶モニタ３０４に出力する。この出力によって、液晶モニタ３０４に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ３０４の代わりに有機ＥＬ（Electro-Luminescence）モニタ等の他のモニタを用いることも可能である。

ＲＯＭ２０３はバス２００を介して中央制御部４００に接続されており、中央制御部４００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ２０４は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。撮像装置１は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュＲＯＭ２０４に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。
さらに、ＲＯＭ２０３は、連携撮影を行うための制御プログラムが格納されている。

ＶＲＡＭ２０５は、表示用の画像データの一時記憶領域として使用される。メインメモリ２０６は、各種画像データの一時記憶領域として使用されるとともに、中央制御部４００の演算作業領域としても使用される。

メディア制御部２０７は、中央制御部４００の指令に従い、カードＩ／Ｆ３０１を通じてカード型記録媒体３０２へのデータの書き込みやデータの読み出しを制御する。カード型記録媒体３０２はＳＤカードやコンパクトフラッシュ（登録商標）等の外部メモリであり、撮像装置１に対して脱着可能に設けられている。

ジャイロセンサ２０８は、３軸の加速度及び角速度の変化を検出し、撮像装置１のパン・チルト量や上下及び左右の手ぶれ量を検出する。時計２０９は、撮像データの取得日時の情報を生成し、カメラ画像を通信端末５の端末画像と合成する際の、タイムスタンプに使用される。

液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、例えばＶＲＡＭ２０５やメインメモリ２０６に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ３０５は、例えばメインメモリ２０６に一時記録された音声を出力する。操作部３０６は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。

無線モジュール３０９は、バス２００及び無線Ｉ／Ｆ３０８を介して、後述する撮像データを通信端末５との間で送受信する。また、撮像装置１を通信端末５とペアリングする際の、ペアリングに関する情報の送受信を行う。なお、ペアリング処理については後述する。各種情報及び撮像データ等の無線通信はＩＥＥＥ８０２．１１規格に準拠した方式で行われる。より具体的には、無線モジュール３０９は、Ｗｉ−Ｆｉ等の無線ＬＡＮ規格に準拠した通信処理を行う。これにより、通信端末５との通信が可能になる。

中央制御部４００は、ペアリング部４０１と同期処理部４０２と切替部４０３と合成部４０４とを備えている。ペアリング部４０１は、連携撮影を行うためのペアリング処理を行う。ペアリング処理を行うことで、撮像装置１に対してペアとなる通信端末５が特定される。さらに、ペアリングを行うことで、重畳画像における端末画像の解像度等が設定される。従って、ペアリングに関する情報には、ペアとなる撮像装置１及び通信端末５の識別情報や、重畳画像における端末画像の解像度及び位置情報等が含まれている。そして、無線モジュール３０９が、ペアリングに関する情報を送受信する。

合成部４０４は、端末画像とカメラ画像を重畳して、カード型記録媒体３０２に記録する。例えば、ペアリング処理で設定された解像度、及び位置情報に基づいて、カメラ画像中に端末画像を埋め込む。これにより、カメラ画像の一部に端末画像を重ね合わせた重畳画像が生成される。なお、合成部４０４は、メインメモリ２０６等に記憶されている伸長状態のカメラ画像に端末画像を合成する。そして、合成部４０４はメディア制御部２０７を制御して、重畳画像をカード型記録媒体３０２に書き込む。同期処理部４０２は、後述するタイムスタンプ情報に基づいて、端末画像とカメラ画像を同期する処理を行う。これにより、端末画像とカメラ画像とが同期した状態の重畳画像を生成することができる。カード型記録媒体３０２には、同期状態の重畳画像が記録される。切替部４０３は、撮影中に表示する画像を同期した同期モードにするか、同期してない非同期モードにするかを切り替える。なお、連携撮影の処理については後述する。

次に、通信端末５の構成について、図３を用いて説明する。図３は、本発明の実施形態に係る通信端末５の内部構成の例を示すブロック図である。通信端末５は動画像及び静止画像を撮像することができる。さらに、通信端末５は、電話、メールの送受信、インターネット接続等を行うことができる。なお、本発明に係る通信端末５は、動画像を撮像できるものであれば、その形状、及び構成は特に限定されるものではない。よって、通信端末５は、携帯電話機器以外のカメラ付き通信機器であってもよい。

中央制御部９００はＣＰＵ、各種プログラムが格納されたＲＯＭ、及びワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成され、撮像、各種画像の表示、及び連携撮影に関する情報の送受信等の通信端末５全体の処理を統括的に制御する。

通信端末５は、ズームレンズ５０１、フォーカスレンズ５０２、絞り５０３、及び撮像素子５０４で構成される撮像部５００を有する。ズームレンズ５０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ５０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り５０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子５０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。

撮像部５００を用いた撮像は以下の手順で行われる。撮像素子５０４はズームレンズ５０１、フォーカスレンズ５０２、及び絞り５０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部５０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部５０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ５０７は、画像Ａ／Ｄ変換部５０６から出力されたデジタル画像データを撮像データとして取り込んで、バス６００を介してメインメモリ６０６に格納する。

デジタル信号処理部５０８は、バス６００を介して中央制御部９００からの指令に基づき、メインメモリ６０６に格納された撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部５０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。

マイク５０９は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部５１０がそのアナログ音声信号を増幅した後、音声Ａ／Ｄ変換部５１１が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ５１２は、音声Ａ／Ｄ変換部５１１から出力されたデジタル音声データを撮像データと併せてメインメモリ６０６に格納する。

多重化部５１３は、メインメモリ６０６に格納された撮像データ及びデジタル音声データを多重化しストリームデータを生成する。

圧縮・伸長処理部６０１は、バス６００を介して中央制御部９００からの指示に従い、メインメモリ６０６に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部９００からの指令に従い、メインメモリ６０６等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。
なお、本実施の形態の通信端末５では、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。

音声・画像処理部６０２は、バス６００を介して中央制御部９００の指示に従い、メインメモリ６０６から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やＯＳＤ画像等、各種処理のための画像データを生成し、その画像データをメインメモリ６０６から読み出されたオリジナルの撮像データに重畳させて液晶モニタ７０４に出力する。この出力によって、液晶モニタ７０４に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ７０４の代わりに有機ＥＬ（Electro - Luminescence）モニタ等の他のモニタを用いることも可能である。

ＲＯＭ６０３はバス６００を介して中央制御部９００に接続されており、中央制御部４００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ６０４は、ユーザの設定情報等、通信端末５の動作に関する各種設定情報を格納している。

ＶＲＡＭ６０５は、表示用の画像データの一時記憶領域として使用される。メインメモリ６０６は、各種画像データの一時記憶領域として使用されるとともに、中央制御部９００の演算作業領域としても使用される。

ジャイロセンサ６０８は、３軸の加速度及び角速度の変化を検出する。そして、ジャイロセンサ６０８の検出結果に応じて、液晶モニタ７０４の表示向きを変える。時計６０９は、撮像データの取得日時の情報を生成し、端末画像を撮像装置１のカメラ画像と重畳する際の、タイムスタンプの共有に使用される。

液晶モニタ７０４、スピーカ７０５、操作部７０６及び入出力端子７０７は入出力Ｉ／Ｆ７０３に接続されている。液晶モニタ７０４は、例えばＶＲＡＭ６０５やメインメモリ６０６に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ７０５は、例えばメインメモリ６０６に一時記録された音声を出力する。操作部７０６は、操作ボタン、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの通信端末５への操作入力を受け付ける。入出力端子７０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。

無線モジュール７０９は、バス６００及び無線Ｉ／Ｆ７０８を介して、後述する撮像データを撮像装置１との間で送受信する。また、無線モジュール７０９は、通信端末５を撮像装置１とペアリングする際の、ペアリングに関する情報の送受信を行う。ペアリング処理については後述する。各種情報及び撮像データ等の無線通信はＩＥＥＥ８０２．１１規格に準拠した方式で行われる。より具体的には、無線モジュール７０９は、Ｗｉ−Ｆｉ等の無線ＬＡＮ規格に準拠した通信処理を行う。これにより、撮像装置１との通信が可能になる。

中央制御部９００は、ペアリング部９０１とタイムスタンプ付加部９０２と、を備えている。ペアリング部９０１は、連携撮影を行うためのペアリング処理を行う。ペアリング処理を行うことで、通信端末５に対してペアとなる撮像装置１が特定される。さらに、ペアリングを行うことで、重畳画像における端末画像の解像度等が設定される。従って、ペアリングに関する情報には、ペアとなる撮像装置１及び通信端末５の識別情報や、重畳画像における端末画像の解像度及び位置情報等が含まれている。そして、無線モジュール７０９が、ペアリングに関する情報を送受信する。

タイムスタンプ付加部９０２は、カメラ画像と端末画像を同期するためのタイムスタンプ情報を端末画像に付加する。タイムスタンプ情報は、時計２０９が示す時間に基づいて、生成される。例えば、撮像部５００で撮像した動画の各フレームに対して、タイムスタンプ情報を付加する。そして、無線モジュール７０９が、タイムスタンプ情報を含む端末画像を撮像装置１に送信する。

通信モジュール７１１は、バス６００及び通信Ｉ／Ｆ７１０を介して、他の通信端末５の通話、メールの送受信、インターネット接続などを行う。これらの無線通信は、例えば、Ｗ−ＣＤＭＡやＣＤＭＡ２０００等の通信規格に準拠した方式で行われる。これにより、基地局との通信が可能になる。もちろん、通信モジュール７１１での通信による通信規格は特に限定されるものではない。通信モジュール７１１は、無線モジュール７０９と異なる通信方式で無線通信を行う。通信モジュール７１１が音声データを送受信することで、他の通信端末５との通話が可能となる。
メインメモリ６０６、又はＲＯＭ６０３には、アプリケーションプログラム等が格納されている。アプリケーションプログラムには、連携撮影専用のアプリケーションプログラム（以下、アプリとする）が含まれている。

次に、連携撮影の処理について説明する。まず、ペアリング部４０１とペアリング部９０１がＷｉ−Ｆｉ通信を用いて、ペアリングを行う。これにより、撮像装置１とペアとなる通信端末５が特定される。さらに、ペアリングを行うことで、時計２０９と時計６０９の時間合わせが行われる。具体的には、ユーザが、通信端末５に予めインストールされている連携撮影用のアプリを立ち上げる。さらに、ユーザが、撮像装置１の操作部３０６、又は通信端末５の操作部７０６、あるいはその両方を操作して、ペアリングを行う相手方の機器を選択する。こうすることで、撮像装置１と通信端末５との間でペアリングに関する情報が送受信される。なお、ペアリングに関する情報は、Ｗｉ−Ｆｉ通信によって、送受信される。ペアリングが完了すると、１つの撮像装置１と１つの通信端末５とがペアとなり、連携撮影可能な状態になる。

そして、ユーザが撮像装置１の操作部３０６を操作して、撮像部１００による動画撮影を開始する。さらに、ユーザが通信端末５の操作部７０６を操作して、撮像部５００による動画撮影を行う。なお、撮像装置１と通信端末５は撮像を開始すると、互いに撮像が開始したことを示す開始信号がＷｉ−Ｆｉ通信で送受信される。これにより、撮像装置１と通信端末５が連携撮影を開始する。なお、撮像装置１を操作するユーザと、通信端末５を操作するユーザは、同じユーザであってもよく、別のユーザであってもよい。別のユーザが操作することで、様々な角度からの撮影が可能になる。また、撮像装置１を三脚等に固定して、撮影を開始した後に、同じユーザが通信端末５を操作することも可能である。

連携撮影が開始すると、通信端末５は、無線モジュール７０９を介して、撮像装置１に端末画像を送信する。さらに、タイムスタンプ付加部９０２が端末画像にタイムスタンプ情報を付している。端末画像、及びタイムスタンプ情報のデータは、Ｗｉ−Ｆｉ通信で送受信される。なお、通信端末５は、圧縮・伸長処理部２０１によって圧縮された状態の端末画像を撮像装置１に送信する。また、通信端末５は、重畳画像における端末画像に合わせた解像度に、端末画像の解像度を変更して、送信してもよい。このようにすることで、送信する端末画像の解像度を低くすることができる。よって、送受信されるデータ量を抑制することができ、処理を高速化することができる。これにより、通信によりタイムラグを低減することができる。

撮像装置１は、無線モジュール３０９を介して、タイムスタンプ情報が付加された端末画像を受信する。撮像装置１の圧縮・伸長処理部６０１は、端末画像を伸長する。そして、合成部４０４は、メインメモリ２０６などにバッファされているカメラ画像を読み出して、受信した端末画像と合成する。なお、合成部４０４は、ペアリングに関する情報を参照して、カメラ画像中の所定の位置に、所定の解像度の端末画像を重畳している。

カード型記録媒体３０２に重畳画像を記録する場合、同期処理部４０２が、タイムスタンプ情報を参照して、同期処理を行っている。後述するように、同期処理部４０２は、合成部４０４とメディア制御部２０７を、同期状態の画像を生成し、カード型記録媒体３０２に記録させるように制御する。例えば、タイムスタンプ情報の時間と、時間が一致するフレームのカメラ画像を選択する。そして、合成部４０４は、同じタイミングのフレームの端末画像とカメラ画像とを重畳する。これにより、同期状態の重畳画像が生成される。さらに、合成部４０４は、同期状態の重畳画像を圧縮・伸長部２０１に送り、所定の圧縮処理を施して、圧縮データを生成する。そして、合成部４０４は、メディア制御部２０７を制御して、圧縮データをカード型記録媒体３０２に記録する。

一方、動画撮影中の重畳画像を液晶モニタ３０４に表示する場合、液晶モニタ３０４は端末画像とカメラ画像との時間が一致していない非同期状態の重畳画像を表示する。すなわち、重畳された端末画像とカメラ画像とで、フレームの撮像時間が異なっている。したがって、撮像中のカメラ画像をライブ表示している場合に、ライブ表示中のカメラ画像中に、合成部４０４は、受信した端末画像をカメラ画像に随時重ね合わせていく。このようにすることで、動画撮影中では、カメラ画像を速やかに液晶モニタ３０４に表示させることができる。すなわち、ある時間Ｔ１でのフレームの端末画像を受信するのを待つことなく、時間Ｔ１でのカメラ画像を液晶モニタ３０４に表示することができるようになる。

さらに、切替部４０３を設けることで、動画撮影中に液晶モニタ３０４が表示する重畳画像を、タイムスタンプ情報に基づいて同期させた状態で表示する同期モードと、非同期状態で表示する非同期モードとを切り替えるようにすることが好ましい。同期モードとする場合、カード型記録媒体３０２に記録する重畳画像と、動画撮影中に液晶モニタ３０４に表示される重畳画像が同じになる。すなわち、重畳された端末画像とカメラ画像とで、フレームの撮像時間が一致している。

次に、図４〜図７を用いて、非同期モードでの連携撮影について詳細に説明する。図４は、非同期モードでの連携撮影の処理を示すタイミングチャートである。図５は、重畳前の画像を示す図である。図６は、非同期状態の重畳画像を示す図であり、図７は、同期状態の重畳画像を示す図である。図４において、括弧内のｔ１〜ｔ１５は撮像した動画のフレームを示している。図４では、通信端末５（外部端末）で取得した端末画像の撮像フレーム、撮像装置１（ビデオカメラ）で取得したカメラ画像の撮像フレーム、液晶モニタ３０４上のＯＳＤ（On Screen Display）表示のフレーム、カード型記録媒体３０２に記録された記録動画のフレーム、撮像装置１にバッファされたフレームを示している。ＯＳＤ表示、及び記録動画では、枠内の右下の四角形が端末画像のフレームを示している。また、図４〜図７において、端末画像をＴＰ、カメラ画像をＣＰとして示している。図６、図７に示す重畳画像において、カメラ画像ＣＰの右下角の近傍に端末画像ＴＰが重畳されている。

通信端末５と撮像装置１のそれぞれは、同じフレームレートで動画撮影を行っている。例えば、フレームレートを３０ｆ／ｓｅｃとすることができる。また、第１フレームを撮像する前に、ペアリング部４０１、９０１が時計２０９、６０９の時間合わせを行っている。通信端末５の無線モジュール７０９は、第１フレームから順番に端末画像ＴＰを撮像装置１に送信している。上記の通り、タイムスタンプ付加部９０２が時計６０９の時間に基づいて、端末画像ＴＰにタイムスタンプ情報を付している。

通信端末５が端末画像ＴＰを撮像装置１に送信する際、通信によるタイムラグが発生する。一方、撮像装置１の液晶モニタ３０４では、撮像したカメラ画像ＣＰを１フレーム目から順番にＯＳＤ表示させている。通信によるタイムラグが発生しているため、カメラ画像ＣＰの第３フレームまでは、撮像装置１が端末画像ＴＰの第１フレームの受信を完了していない。よって、第１〜第３フレームでは、図５に示すように、液晶モニタ３０４は、重畳画像ではなく、カメラ画像ＣＰ単体を表示する。換言すると、第１〜第３フレームでは、液晶モニタ３０４は、端末画像ＴＰを表示していない。

そして、カメラ画像ＣＰの第４フレームを撮像しているときに、端末画像ＴＰの第１フレームの受信を完了する。すると、合成部４０４がカメラ画像ＣＰと端末画像ＴＰを重畳する。液晶モニタ３０４は、第４フレーム目のカメラ画像ＣＰと、第１フレーム目の端末画像ＴＰとを重畳した重畳画像を表示する。よって、第４フレームでは、図６に示すように非同期状態の重畳画像が表示される。すなわち、液晶モニタ３０４は、２つの画像が合成された画面となる。液晶モニタ３０４に撮影中の動画を表示させる場合は、タイムスタンプ情報によらず、受信が完了した端末画像ＴＰのフレームを、最新のカメラ画像に順次重ね合わせる。従って、液晶モニタ３０４の次のフレームでは、カメラ画像ＣＰの第５フレームと端末画像ＴＰの第２フレームとを重畳した重畳画像が表示される。このように、重畳画像を順次表示させていくことで、液晶モニタ３０４が、非同期状態の動画を表示する。

また、液晶モニタ３０４の表示と並行して、撮像装置１では、圧縮した動画ファイルをカード型記録媒体３０２に記録するために、カメラ画像ＣＰをメインメモリ２０６等にバッファする。そして、同期処理部４０２が、タイムスタンプ情報を参照して、受信した端末画像ＴＰと時間が一致するフレームをバッファされたカメラ画像ＣＰから選択する。時計２０９と時計６０９とが時間合わせされているため、端末画像ＴＰの第１フレームが受信されると、カメラ画像の第１フレームＣＰが選択される。そして、合成部４０４は、端末画像ＴＰの第１フレームとカメラ画像ＣＰの第１フレームを重畳して、同期状態の重畳画像を生成する。同期状態の重畳画像は、図７に示すようになっている。図７では、図５で示したカメラ画像ＣＰと、図６で示した端末画像ＴＰとが重畳されている。

圧縮・伸長処理部２０１は、重畳画像に所定の圧縮処理が施して、圧縮データを生成する。そして、この圧縮データがカード型記録媒体３０２に記録される。さらに、記録用の重畳画像が生成されると、それに用いられたカメラ画像ＣＰの第１フレームはバッファから削除される。そして、第１フレームから順番に、同期した状態の重畳画像を生成して、カード型記録媒体３０２に記録していく。もちろん、撮像装置１と通信端末５の撮影開始タイミングが異なる場合は、同じ時間に撮像されたフレームが重畳され、同期状態の重畳画像が記録される。

このように、同期状態の重畳画像をカード型記録媒体３０２に記録している。このため、撮影を終了した後に、カード型記録媒体３０２に記録された重畳画像の動画ファイルを読み出して、再生する場合、同じタイミングの端末画像ＴＰとカメラ画像ＣＰとが重畳された重畳画像を再生することができる。こうすることで、ある被写体を別のアングルから同時に撮影した動画や、異なる被写体を同時に撮影した動画を一画面で同時に表示することが可能になる。さらに、タイミングが一致しているため、手品とその手品を見たときに驚いた表情などを同時に表示することができる。これにより、撮影の幅を広げることができ、利便性を向上することができる。また、タイムスタンプ情報を付加することで、容易に同期状態の重畳画像を生成することができる。ペアリング時に、時計２０９と時計６０９の時間合わせを行うことで、正確に同期させることができる。さらに、カード型記録媒体３０２は一つの動画ファイルとして、重畳画像の動画が記憶される。よって、端末画像ＴＰとカメラ画像ＣＰの動画ファイルをそれぞれ記録する必要が無くなる。さらに、ＰＣ等で編集して重畳画像を作成する必要が無くなる。このため、利便性を向上することができる。

さらに、撮影中では、非同期状態の重畳画像を表示している。すなわち、撮影中には、液晶モニタ３０４は、通信端末５の端末画像ＴＰのフレームがカメラ画像ＣＰのフレームよりも遅れた状態の重畳画像を表示する。これにより、端末画像ＴＰの通信によるタイムラグを待つことなく、カメラ画像ＣＰを表示することができる。よって、ユーザが液晶モニタ３０４を通じて、速やかに被写体を確認することができる。例えば、速く移動する被写体等を撮像する場合、意図通りに被写体に撮像部１００を向けているかを速やかに認識することができる。よって、利便性を向上することができる。

次に、非同期モードでの連携撮影について図８を用いて説明する。図８は、非同期モードでの連携撮影に付いて示すタイミングチャートである。なお、液晶モニタ３０４でのＯＳＤ表示以外は、図４に示した同期モードでの連携撮影のタイミングチャートと同じであるため、適宜説明を省略する。同期モードにする場合、例えば、ペアリング時に、ユーザが、同期モードを選択するか、非同期モードを選択するかを決定する。より具体的には、モードの選択画面を液晶モニタ３０４上に表示させる。そして、ユーザが操作部２０６を操作して、同期モードを選択すると、同期モードになる。

同期モードでは、上述の通り、カード型記録媒体３０２に記録する重畳画像だけでなく、液晶モニタ３０４上に表示する重畳画像も同期状態になっている。第１フレームの端末画像ＴＰの受信完了後に、液晶モニタ３０４上での重畳画像の表示が開始する。よって、動画撮影中でも、図７に示した同期状態の重畳画像を液晶モニタ３０４が表示する。換言すると、図５に示したような、カメラ画像ＣＰ単体での表示が行われない。このようにすることで、さらに利便性を向上することができる。例えば、動かない被写体や動きの遅い被写体を撮像装置１が撮像する場合に、動画撮影中であっても、カメラ画像を速やかに確認する必要がない。このような場合に、同期モードとすれば、実際にカード型記録媒体３０２に記録する重畳画像を、動画撮影中に確認することができる。よって、撮影する環境や状況に応じて、適宜モードを切り替えることができ、より利便性を向上することができる。

なお、上記の説明では、カメラ画像ＣＰ上に端末画像ＴＰを重畳するように２つの画像を合成したが、２つの画像を合成する方式は特に限定されるものではない。例えば、端末画像ＴＰ上にカメラ画像ＣＰを重畳するように、２つの画像を合成してもよい。あるいは、１画面中の片側半分をカメラ画像ＣＰとし、もう片側半分を端末画像ＴＰとするように、２つの画像を合成してもよい。このような、合成画像中の端末画像ＴＰとカメラ画像ＣＰの位置情報や解像度は、ペアリング時に設定するようにしてもよい。また、３以上の電子機器を用いて、３以上の画像を合成した合成画像を記録、表示するようにしてもよい。この場合、３以上の電子機器をグルーピングして、連携撮影を行う。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上記の連携撮影の処理は、メインプロセッサのＲＯＭ等に格納されたコンピュータプログラムによって実行可能である。上述の例において、各処理をコンピュータ（プロセッサ）に行わせるための命令群を含むプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ 撮像装置
１００ 撮像部
２０２ 音声・画像処理部
２０３ ＲＯＭ
２０４ フラッシュＲＯＭ
２０５ ＶＲＡＭ
２０６ メインメモリ
３０１ カードＩ／Ｆ
３０２ カード型記録媒体
３０３ 入出力Ｉ／Ｆ
３０４ 液晶モニタ
３０５ スピーカ
３０６ 操作部
３０７ 入出力端子
３０８ 無線Ｉ／Ｆ
３０９ 無線モジュール
４００ 中央制御部
５ 通信端末
１００ 撮像部
６０２ 音声・画像処理部
７０６ メインメモリ
７０１ カードＩ／Ｆ
７０２ カード型記録媒体
７０３ 入出力Ｉ／Ｆ
７０４ 液晶モニタ
７０５ スピーカ
７０６ 操作部
７０７ 入出力端子
７０８ 無線Ｉ／Ｆ
７０９ 無線モジュール
９００ 中央制御部
９０１ ペアリング部
９０２ タイムスタンプ付加部

Claims (8)

1. 通信端末と撮像装置とを備えた撮像システムであって、
   前記通信装置は、
   第１の画像を取得する第１のカメラと、
   前記第１の画像にタイムスタンプを付加するタイムスタンプ付加部と、
   前記撮像装置に、前記第１の画像を送信する第１の通信手段を備え、
   前記撮像装置は、
   前記第１の通信手段が送信した前記第１の画像を受信する第２の通信手段と、
   第２の画像を取得する第２のカメラと、
   前記第２の画像に、前記第２の通信手段が受信した前記第１の画像を合成した合成画像を生成する合成部と、
   前記第１の画像に付されたタイムスタンプ情報に基づいて、前記第１の画像と前記第２の画像とを同期させた同期状態の合成画像を生成するように前記合成部を制御する同期処理部と、
   前記同期状態の前記合成画像を記録媒体に記録する記録手段と、
   動画撮影中に、前記第１の画像と前記第２の画像とが同期していない非同期状態の前記合成画像を表示するモニタとを備える撮像システム。
2. 動画撮影中に前記モニタが表示する合成画像を、前記タイムスタンプ情報に基づいて同期させた同期状態で表示する同期モードと、非同期状態で表示する非同期モードとを切り替える切替手段をさらに備える請求項１に記載の撮像システム。
3. 第１のカメラを有する通信端末と通信を行う通信手段と、
   第２のカメラと、
   前記第１のカメラで撮像された第１の画像と前記第２のカメラで撮像された第２の画像とを合成した合成画像を生成する合成部と、
   前記第１の画像に付されたタイムスタンプ情報に基づいて、前記第１の画像と前記第２の画像とを同期させた同期状態の合成画像を生成するように前記合成部を制御する同期処理部と、
   前記同期状態の前記合成画像を記録媒体に記録する記録手段と、
   動画撮影中に、前記第１の画像と前記第２の画像とが同期していない非同期状態の前記合成画像を表示するモニタと、を備えた撮像装置。
4. 動画撮影中に前記モニタが表示する合成画像を、前記タイムスタンプ情報に基づいて同期させた同期状態で表示する同期モードと、非同期状態で表示する非同期モードとを切り替える切替手段をさらに備える請求項３に記載の撮像装置。
5. 第１の通信手段と、第１のカメラと、を有する通信端末と、
   前記第１の通信手段と通信可能な第２の通信手段と、第２のカメラと、モニタと、を備えた撮像装置と、を用いて動画を撮影する撮像方法であって、
   前記第１のカメラが第１の画像を撮像し、かつ前記第２のカメラが第２の画像を撮像するステップと、
   前記第１の通信手段が、前記第１の画像にタイムスタンプ情報を付して、前記撮像装置に送信するステップと、
   前記第１の画像と前記第２の画像とが同期していない非同期状態で、前記第１の画像と前記第２の画像とを合成した合成画像を生成するステップと、
   動画撮影中に前記モニタが、前記非同期状態の前記合成画像を表示するステップと
   前記第１の画像に付された前記タイムスタンプ情報に基づいて、前記第１の画像と前記第２の画像とを同期させた同期状態の合成画像を生成するステップと、
   前記撮像装置が、同期状態の前記合成画像を記録媒体に記録するステップと、を備えた撮像方法。
6. 動画撮影中に前記モニタが表示する合成画像を、前記タイムスタンプ情報に基づいて同期させた状態で表示する同期モードと、非同期状態で表示する非同期モードとを切り替え可能な請求項５に記載の撮像方法。
7. 第１のカメラを有する通信端末と通信を行う撮像装置に対して、
   前記第１のカメラで撮像された第１の画像を受信するステップと、
   第２のカメラによって第２の画像を撮像するステップと、
   前記第１の画像と前記第２の画像とを合成した合成画像を記録媒体に記録する際に、前記第１の画像に付されたタイムスタンプ情報に基づいて、前記第１の画像と前記第２の画像とを同期させた状態の合成画像を生成して前記記録媒体に記録するステップと、
   動画撮影中に、前記第１の画像と前記第２の画像とが同期していない非同期状態の前記合成画像をモニタに表示するステップと、
   を実行させる撮像プログラム。
8. 動画撮影中に前記モニタが表示する合成画像を、前記タイムスタンプ情報に基づいて同期させた同期状態で表示する同期モードと、非同期状態で表示する非同期モードとを切り替える請求項７に記載の撮像プログラム。

Images