JP2008277959A - 撮像装置、再生装置及び記録ファイル作成方法 - Google Patents

Abstract

【課題】動画撮影時に動画像データ、位置／方位情報、並びに地図画像データを対応付けた記録ファイルを生成して記録する。
【解決手段】撮像部１が被写体像を撮像し画像信号を出力し、動画像入力インターフェース２が動画像データを出力し、動画像圧縮部６が動画像データを圧縮符号化し、位置／方位情報取得部１６が撮影時の位置／方位情報を取得し、地図画像取得部１８が、上記位置／方位情報を地図データ提供サーバ１０１に送信し当該位置／方位情報に対応する地図画像データを取得し当該地図画像データを格納した地図動画ファイルを生成し、マイクロコンピュータ１３が上記圧縮符号化後の動画像データを格納した動画ファイルを生成し、当該動画ファイルを上記地図動画ファイルと共にドライブ１１により記録メディア１９に記録するように制御する。
【選択図】 図１

Description

本発明は、例えば位置情報取得機能及び通信機能を備えた撮像装置及びそれに用いる記録ファイルの作成方法及び再生装置に係り、特に少なくとも動画像データと地図画像データとを関連付けた記録ファイルを生成し記録可能な撮像装置、当該記録ファイルの作成方法、当該記録ファイルに基づき再生が可能な再生装置に関する。

従来、デジタルカメラやデジタルビデオカメラ等の撮像装置では、撮影した画像に併せて様々な情報をユーザに提示することが可能となっているが、インターネットを介してサービスプロバイダ等により地図データが提供されるようになり、当該地図データに基づき地図を表示する撮像装置についても種々の提案がなされている。

例えば、特許文献１では、内部に地図データがなくても、地図を表示し、位置情報に関連付けられた任意のデータを地図上に表示して有効利用を図る情報処理装置が開示されている。即ち、同技術では、画像データと、その位置情報及び地図へのリンク情報を有する付加情報とを対応付けてメモリスティックに記憶しておき、表示する際にリンク情報に基づいて地図情報を獲得し、ＬＣＤに表示している。

特開２００２−１９６６６７号公報

しかしながら、従来技術では、コンテンツ単位（例えば、撮影開始されて撮影停止されるまでに撮影された動画像データ等の単位）で撮影時の位置情報等を記録していた為、動画撮影時に場所を大きく移動した場合等においては、動画再生時に動画撮影中のリアルタイムな撮影場所を反映した地図を表示することができない場合があった。

つまり、動画を再生する際に、その動画像データの付加情報として保持されている撮影時の位置情報等に基づいて対応する地図を表示する場合、実際の動画撮影場所と表示される地図上の位置との間に不一致が生じる場合があった。従って、ユーザは、再生時において、動画撮影時の位置を正確に把握することができない場合もあった。

本発明は、撮影した動画の再生時に、動画撮影中のリアルタイムな撮影場所を反映した地図画像を表示することを課題とする。

本発明の第１の観点による撮像装置は、地図データ提供サーバから地図データを取得可能であって、撮像手段が被写体像を撮像し画像信号を出力し、画像信号処理手段が上記画像信号を処理して動画像データを生成し出力し、動画像圧縮手段が上記動画像データを圧縮符号化し、位置／方位情報取得手段が上記撮像手段による撮影時の位置／方位情報を取得し、通信手段が上記位置／方位情報を、外部ネットワークを介して上記地図データ提供サーバに送信し、当該位置／方位情報に対応する地図画像データを取得し、地図画像取得手段が上記地図画像データの取得の処理を制御しつつ、当該地図画像データを格納した地図動画ファイルを生成し、記録手段が上記記録メディアへの上記地図動画ファイル、動画ファイルの記録を行い、このとき、制御手段が上記圧縮符号化後の動画像データを格納した動画ファイルを生成し、当該動画ファイルを上記地図動画ファイルと共に上記記録手段により記録メディアに記録するように制御する。

従って、動画像データを格納した動画ファイルと取得した地図画像データを格納した地図動画ファイルが生成されて記録メディアに記録される。

本発明の第２の観点による再生装置は、記録メディアに少なくとも動画ファイルと地図動画ファイルが記録され、再生手段が上記記録メディアより動画ファイルと地図動画ファイルとを読み出し、動画像復号手段が上記動画ファイルの動画像データを復号し、地図画像復号手段が上記地図画像ファイルの地図画像データを復号し、合成手段が上記復号された動画像データと地図画像データを合成し、保持手段がこの合成された画像に係るデータを一時的に保持し、表示手段がこの保持された画像に係るデータを読み出し表示し、上記記録メディアには動画ファイルと地図動画ファイルとの対応関係に係るデータを保持したコンテンツ管理ファイルが併せて格納されており、制御手段が、上記再生手段による再生に際しては当該コンテンツ管理ファイルに基づき動画ファイルに対応する地図画像ファイルを特定する。

従って、動画再生時に、対応する地図画像が表示される。

本発明の第３の観点による記録ファイル作成・記録方法は、撮影により得られた動画像データと地図データ提供サーバから得た地図画像データをそれぞれ所定のファイル形式で記録メディアに記録する方法であって、撮影により得られた動画像データを圧縮符号化した後に動画ファイルに格納し、上記地図画像データを地図動画ファイルに格納し、上記動画ファイルと上記地図動画ファイルとの対応関係に係るデータを生成しコンテンツ管理ファイルに格納し、上記動画ファイルと上記地図動画ファイルと上記コンテンツ管理ファイルとを対応付けて上記記録ファイルとして記録メディアに記録する。

従って、動画像データが格納された動画ファイルと地図画像データが格納された地図動画ファイルの対応関係がコンテンツ管理ファイルにより管理される。

本発明によれば、動画撮影時に動画像データ、並びに地図画像データを対応付けた記録ファイルを生成して記録し、動画再生時に動画撮影中のリアルタイムな撮影場所を反映した地図画像を表示可能とする撮像装置、及び当該記録ファイルの作成方法及び当該記録ファイルに基づく再生が可能な再生装置を提供することができる。

以下、図面を参照して、本発明を実施するための最良の実施の形態（以下、単に実施の形態と称する）について詳細に説明する。

先ず、図１には本発明の第１の実施の形態に係る撮像装置の構成を示し説明する。

図１に示されるように、撮像装置は、全体の制御を司るマイクロコンピュータ１３を備えている。このマイクロコンピュータ１３は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、シリアルインターフェース、又はパラレルインターフェースなどを内蔵する、所謂「組み込み型」のマイクロコンピュータ等からなる。

このマイクロコンピュータ１３は、バッファメモリ５、動画像圧縮部６、画素数変換部７、静止画圧縮部１２、音声圧縮部８、バッファメモリ１０、ドライブ１１といった各部と制御バスを介して通信自在に接続されている。モードダイアル１４、記録開始停止ボタン１５の出力はマイクロコンピュータ１３の入力に接続されている。

また、マイクロコンピュータ１３は、地図画像取得部１８とも通信自在に接続されており、当該地図画像取得部１８は位置／方位情報取得部１６や外部ネットワーク通信部１７やドライブ１１と通信自在に接続されている。この実施の形態に係る撮像装置では、地図画像取得部１８もマイクロコンピュータにより構成される。但し、マイクロコンピュータ１３に当該地図画像取得部１８の機能を担わせることも可能である。

撮影部１は、例えばレンズや絞り等の光学系及びＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子からなり、当該撮像素子の出力は動画像入力インターフェース２を介してバッファメモリ５に接続されている。音声変換部３６は、例えばマイクロフォン等からなり、その出力は音声入力インターフェース４を介してバッファメモリ５に接続されている。

このバッファメモリ５は、動画像圧縮部６、画素数変換部７、音声圧縮部８に接続されており、動画像圧縮部６、音声圧縮部８の出力はマルチプレクサ９に接続されている。画素数変換部７の出力は静止画像圧縮部１２に接続されており、当該静止画圧縮部１２の出力はバッファメモリ１０に接続されている。マルチプレクサ９はバッファメモリ１０に接続され、当該バッファメモリ１０はドライブ１１と通信自在に接続されている。尚、バッファメモリ５，１０は、例えば、半導体メモリからなる。

このような構成において、マイクロコンピュータ１３は、内蔵のＲＯＭに格納されている制御プログラムを実行して、記録装置の全体を制御する。このマイクロコンピュータ１３、例えば制御手段として機能する。

撮影部１では、レンズや絞りなどの光学系を介して入射された被写体像が撮像素子に結像され、当該撮像素子が動画像に係る画像信号を動画像入力インターフェース２に供給する。この撮影部１の撮像素子は、例えば撮像手段として機能する。

動画像入力インターフェース２は、撮影部１の撮像素子から供給された画像信号をアナログ／デジタル変換し、シリアルパラレル変換して、当該画像信号を所定の方式の動画像データに変換して、当該動画像データをバッファメモリ５に供給する。この動画像入力インターフェース２は、例えば画像信号処理手段として機能する。

一方、音声変換部３は、被写体からの音声またはその周囲の音声を取得して、取得した音声に対応する音声信号を音声入力インターフェース４に供給する。この音声信号は、撮影部１から出力される画像信号に同期している。音声入力インターフェース４は、この音声信号をアナログデジタル変換し、シリアルパラレル変換して、当該音声信号を所定の方式の音声データに変換して、その音声データをバッファメモリ５に供給する。

バッファメモリ５は、動画像入力インターフェース２から供給された動画像データ、及び音声入力インターフェース４から供給された音声データを一時的に記憶する。

そして、バッファメモリ５は、この記憶した動画像データを動画像圧縮部６及び画素数変換部７に供給し、記憶した音声データを音声圧縮部８に供給する。この動画像圧縮部６は、マイクロコンピュータ１３の制御の下、バッファメモリ５から供給された動画像データを、例えばＭＰＥＧ(Moving Pictures Experts Group)２方式等の所定の方式で圧縮符号化して、圧縮符号化された動画像データをマルチプレクサ９に供給する。この動画像圧縮部６は、例えば動画像圧縮手段として機能する。

画素数変換部７は、マイクロコンピュータ１３の制御の下、動画像データから所定のピクチャ（フレームまたはフィールド）を抽出し、ピクチャの画素数を変換する。

例えば、画素数変換部７は、抽出したピクチャから画素を間引くことにより、ピクチャの画素数を変換する。画素数変換部７は、例えば、図４で示されるように、動画像圧縮部６においてＭＰＥＧ２方式で圧縮符号化される動画像データのうち、２つのＧＯＰから１つのフレームを抽出する。より具体的には、例えば、動画像圧縮部６が、１秒あたり３０フレームの動画像を連続する１５フレームからなるＧＯＰを単位として圧縮符号化する場合には、画素数変換部７は、２つのＧＯＰを構成する３０フレームから１つのフレームを抽出し、当該フレームから画素を間引いて画素数を変換する。画像数変換部７は画素数を変換した画像データを静止画像圧縮部１２に供給する。

静止画像圧縮部１２は、マイクロコンピュータ１３の制御の下、画素数変換部７から供給された画像データを、例えばＪＰＥＧ（Joint Photographic Experts Group）方式等といった静止画像を圧縮する圧縮符号化方式で符号化する。静止画像圧縮部１２は、符号化した画像データをサムネイル画像データとしてバッファメモリ１０に供給する。

一方、音声圧縮部８は、マイクロコンピュータ１３の制御の下、バッファメモリ５から供給された音声データを、例えばＡＣ３（Audio Code Number 3（Dolby Digital（登録商標））方式等といった所定の方式で圧縮符号化して、圧縮符号化された音声データをマルチプレクサ９に供給する。尚、音声圧縮部８から出力される音声データは、動画像圧縮部６から出力される画像データに同期している。こうして、音声圧縮部８は、この圧縮符号化された音声データをマルチプレクサ９に供給する。

マルチプレクサ９は、動画像圧縮部６から供給された動画像データ、及び音声圧縮部８から供給された音声データを、例えばＭＰＥＧ２のシステムストリーム等といった動画ストリームとして多重化し、多重化された動画ストリーム（動画像データ及び音声データからなる）をバッファメモリ１０に供給する。バッファメモリ１０は、マルチプレクサ９から供給された動画ストリーム（動画像データ及び音声データからなる）、並びに静止画像圧縮部１２から供給されたサムネイル画像データを一時的に記憶する。

マイクロコンピュータ１３は、所定の制御プログラムを実行して、バッファ１０に記憶されている各種データのファイル方式を整えて、後述する所定のファイル方式とする。

ドライブ１１は、バッファメモリ１０から、多重化された動画ストリーム（動画像データ及び音声データ）、並びに所定のファイル方式とされたサムネイル画像データを読み出して、記録メディア１９に記録する。この記録メディア１９としては、磁気ディスク、光ディスク、又は光磁気ディスクなど、種々のものを採用することが可能である。このドライブ１１は、例えば記録手段として機能する。

この動画撮影時においては、地図画像取得部１８の制御の下、位置／方位情報取得部１６が撮像装置１００の位置／方位情報を取得する。より具体的には、位置／方位情報取得部１６は、例えばＧＰＳ(Global Positioning System)機能により当該撮影時の撮像装置１００の位置情報を取得する。即ち、人工衛星１０３から電波が届くまでの時間を用いて求められる距離を基に、撮像装置１００が地球上のどの位置（緯度・経度）にいるのかを検知する。その結果、位置／方位情報として緯度、経度、方位等の情報が取得される。この位置／方位情報取得部１６は、例えば位置／方位情報取得手段として機能する。

この位置／方位情報取得部１６は、この位置／方位情報を地図画像取得部１８に供給する。地図画像取得部１８は、この位置／方位情報を、外部ネットワーク通信部１７及び例えばインターネット等の外部ネットワーク１０２を介して、地図データ提供サーバ１０１に送信し、当該位置／方位情報に対応する地図データ参照先情報を取得する。この地図データ参照先情報は、例えばＵＲＬ(uniform resource locator)等により表記される。

地図画像取得部１８は地図データ参照先情報を取得することができた場合には、当該参照先にアクセスし、地図画像データを取得する。この地図画像データは、ドライブ１１に供給され、当該ドライブ１１により記録メディア１９に記録される。

即ち、地図画像取得部１８は、地図画像データを詳細は後述するように所定のファイル形式に変換する。そして、地図画像取得部１８は、バッファメモリ１０の動画ファイルとの対応関係を取りながら、ドライバ１１を駆動し、マイクロコンピュータ１３が生成した一のフォルダに対応付けて、記録メディア１９に記録するよう制御する。この地図画像取得部１８は、例えば地図画像取得手段として機能する。

以上の処理の過程で、マイクロコンピュータ１３は、ユーザの操作に応じた記録開始停止ボタン１５やモードダイアル１４からの信号受けると、当該信号に基づいて各部に動作を指示する。例えば、通常モードと特殊モードがある場合、モードダイアル１４の操作によりいずれかのモードが所望されたかを上記信号によりマイクロコンピュータ１３は検知することができ、当該モードに応じて、取得する地図画像データの種別を切り替えることも可能である。即ち、特殊モードが選択されたときには、この種別として例えば、３次元表示（３Ｄ）用の地図画像データや各種縮尺の地図画像データ等を選択して取得することが可能となるが、これには限定されない。尚、通常モード選択時には、地図画像データの取得は行わず、通常の撮影動作が行われる。

ここで、図２には動画の撮影によって記録メディア１９に記録される動画コンテンツのファイル構成の一例を示し説明する。

図２に示されるように、動画の撮影によって記録メディア１９に記録される動画コンテンツは、ファイル群を管理するコンテンツ管理ファイル、例えばＭＰＥＧ２方式による動画ストリーム（動画像データ及び音声データからなる）を格納する動画ファイル（例えばGAZO001.MPG、GAZO002.MPEG…）、当該動画ファイルに対応した地図動画ストリーム（地図画像データからなる）を格納する地図動画ファイル（例えばTIZU001.MAP…）、これら動画ストリームと地図動画ストリームとの関係を保持する地図動画管理ファイル（例えばTIZU001.MNR）からなる。これら動画ファイル、地図動画ファイル、コンテンツ管理ファイルは、例えば記録ファイルに相当するものである。

これら動画ファイル、地図動画ファイル、地図動画管理ファイルの対応関係は、コンテンツ管理ファイルにより、例えば図３で示すようなファイル方式で記録される。

コンテンツ管理ファイルは、ヘッダとボディ部からなり、当該ボディ部は各ファイル群を管理するための画像ファイル管理情報からなる。この画像ファイル管理情報は、動画ファイル名、地図動画ファイル名、地図動画管理ファイル名で構成される。従って、マイクロコンピュータ１３は、この画像ファイル管理情報に基づいて、動画ファイルに対応する地図動画ファイルを簡易且つ迅速に特定することが可能となる。

動画ストリームと地図動画ストリームとの関係は図４に示される通りである。

この図４において、黒塗りで示したのは、各ＧＯＰを構成する先頭フレームである。

同図に示されるように、動画ストリームの所定のフレームに対して地図動画ストリームの地図画像データが関連付けられている。例えば、この実施の形態では、動画ストリームの先頭のフレームＦ１に対して地図画像データＰ１を割り当てることになる。

次いで、地図画像データを取得するための閾値を例えば２ＧＯＰとする場合において２ＧＯＰ後の動画ストリーム記録時に既に初回の地図画像データが取得できている場合には、３ＧＯＰの先頭フレームＦ２に対応した地図画像データＰ２を割り当てる。以降、フレームＦ３には地図画像データＰ３を割り当てる等、２ＧＯＰ毎に一の地図画像データが取得可能な場合、２ＧＯＰ毎に地図画像データが対応付けられて記録される。

次に図５には地図動画ファイルのファイル構造、図６には地図動画管理ファイルのファイル構造を示し、それぞれ詳細に説明する。図５に示されるように、地図動画ファイルには、複数の地図画像データからなる地図動画ストリームが格納されている。

そして、図６に示されるように、地図動画管理ファイルは、ヘッダ部とボディ部からなり、当該ボディ部には地図画像管理情報が格納されている。この地図画像管理情報は、その地図画像データが動画ストリーム中のどのフレームに対応するかを示す動画ストリームフレーム情報、位置/方位情報取得部１６から取得した位置／方位情報、地図データ提供サーバ１０１から地図画像データからなる地図動画ストリームを取得するための地図データ参照先情報、地図動画ファイルに保存した地図画像データの先頭アドレス及びそのデータサイズから構成される。従って、この地図動画管理ファイルを参照すれば、地図画像データが、動画ストリームのどのフレームに対応するか、更には当該地図画像データの格納場所を簡易且つ迅速に検知することが可能となる。

以下、図７乃至図１０のフローチャートを参照して、本発明の第１の実施の形態に係る撮像装置による処理を詳細に説明する。尚、以下の処理の一部或いは全部は、記録ファイル作成方法に相当する。

先ず、図７のフローチャートを参照して、本発明の第１の実施の形態に係る撮像装置による地図動画記録処理について詳細に説明する。

地図動画記録処理を開始すると、マイクロコンピュータ１３の制御の下、動画像圧縮部６がバッファメモリ５より供給された動画像データを圧縮符号化し、この圧縮符号化された動画像データをマルチプレクサ９に送出する（ステップＳ１）。

続いて、音声圧縮部８がバッファメモリ５より供給された音声データを圧縮符号化し、圧縮符号化された音声データをマルチプレクサ９に送出する（ステップＳ２）。

マルチプレクサ９は、この動画像データと音声データを多重化し、動画ストリームとしてバッファメモリ１０に送出する。ドライブ１１は、このバッファメモリ１０から動画ストリームを読み出して、記録メディア１９に記録する（ステップＳ３）。尚、このステップＳ３の動画ストリームの記録処理の詳細については図８で後述する。

続いて、マイクロコンピュータ１３は、前回の地図画像データの取得が終了しているかを判断する（ステップＳ４）。この判断は、外部ネットワーク通信部１７がインターネット等の外部ネットワーク１０２を介して地図データ提供サーバ１０１との間で通信を行って地図画像データを取得する処理が完了するまでは、次の地図画像データの取得処理に移行できないことを考慮したものである。ステップＳ４にて、前回の地図画像データの取得が終了していない場合には（ステップＳ４をＮｏに分岐）、ステップＳ１に戻り動画像データの圧縮符号化、音声データの圧縮符号化の処理を繰り返す。

一方、前回の地図画像データの取得が終了していると判断した場合には（ステップＳ４をＹｅｓに分岐）、動画ストリームの記録ＧＯＰ数が閾値を超えたか否かを判断する（ステップＳ５）。ステップＳ５にて、動画ストリームの記録ＧＯＰ数が閾値を超えていない場合には（ステップＳ５をＮｏに分岐）、ステップＳ１に戻り、上記処理を繰り返す。その一方、動画ストリームの記録ＧＯＰ数が閾値を超えている場合には（ステップＳ５をＹｅｓに分岐）、地図画像取得部１８で次の地図画像データの取得処理を行い（ステップＳ６）、上記ステップＳ１以降の処理を繰り返すことになる。尚、ステップＳ６の地図画像データの取得処理の詳細については図９で後述する。

このように、この地図動画記録処理では、動画像圧縮部６、音声圧縮部８で各処理を実行し、前回処理した地図画像の取得が完了している場合であって、且つ前回地図画像取得処理実行から動画ストリームの記録ＧＯＰ数が閾値を超えた場合には、地図画像取得部１８による地図画像の取得処理を実行することになる。

ここで、図８のフローチャートを参照して、図７のステップＳ３の動画ストリームの記録の処理について更に詳細に説明する。

マイクロコンピュータ１３は、バッファメモリ１０から記憶している動画ストリームのデータ量を取得して、当該バッファメモリ１０に記憶されている動画ストリームのデータ量が、予め定めた動画ストリーム記録開始閾値以上になったか否かを判定する（ステップＳ１１）。ここで、動画ストリームのデータ量がシステムストリーム記録開始閾値以上になるまで、判定の処理を繰り返す（ステップＳ１１をＮｏに分岐）。

一方、ステップＳ１１において、バッファメモリ１０に記憶されている動画ストリームのデータ量が動画ストリーム記録開始閾値以上になったと判定された場合（ステップＳ１１をＹｅｓに分岐）、マイクロコンピュータ１３は、ドライブ１１に、バッファメモリ１０に記憶されている動画ストリームを１クラスタ分だけ記録メディア１９に記録させる（ステップＳ１２）。続いて、マイクロコンピュータ１３は、バッファメモリ１０に記憶されている動画ストリームのデータ量が、１クラスタ未満になったか否かを判定する（ステップＳ１３）。ここで、バッファメモリ１３に記憶されている動画ストリームのデータ量が、１クラスタ未満になっていないと判定された場合、さらにそのストリームユニットに動画ストリームを記録することができるので、ステップＳ１２に戻り、クラスタへの動画ストリームの記録の処理を繰り返す（ステップＳ１３をＮｏに分岐）。

このステップＳ１２，Ｓ１３のループにより、ストリームユニットの終端まで動画ストリームが記録されることになる。一方、ステップＳ１３において、バッファメモリ１０に記憶されている動画ストリームのデータ量が、１クラスタ未満になったと判定された場合（ステップＳ１３をＹｅｓに分岐）、更にそのストリームユニットに動画ストリームを記録することができないので、バッファメモリ１０に動画ストリームが蓄積されるまで待機するために、ステップＳ１１に戻り、上述した処理を繰り返す。

以上の処理により、バッファメモリ１０上の動画ストリームのデータ量が閾値を超えた場合、当該動画ストリームを記録メディア１９に記録することができる。

次に、図９のフローチャートを参照して、図７のステップＳ６で実行される地図画像データの取得処理について更に詳細に説明する。

この地図画像データの取得処理を開始すると、位置／方位情報取得部１６が位置／方位情報を取得する（ステップＳ２１）。続いて、地図画像取得部１８が、外部ネットワーク通信部１７により、インターネット等の外部ネットワーク１０２を介して地図データ提供サーバ１０１と通信を行って地図画像データを取得する（ステップＳ２２）。

地図画像取得部１８は、この地図画像データを取得すると、ドライブ１１を駆動制御して、記録メディア１９上の地図動画ファイルに当該地図画像データを記録する（ステップＳ２３）。そして、地図画像取得部１８は地図動画管理ファイルに詳細は前述したような地図画像管理情報を記録し（ステップＳ２４）、処理を終了する。

以上の処理により、記録メディア１９上の地図動画ファイルに地図画像データを記録して、更に地図動画管理ファイルに地図画像管理情報を記録することができる。

尚、地図データ提供サーバ１０１から提供されるデータは、例えばＪＰＥＧファイルフォーマット形式の画像ファイルとする。また、地図上の撮影位置及び撮影方向が記録された指示情報が合成された画像が提供される。指示情報が合成されない画像が提供される場合は、後述するが再生時に画像合成部で指示情報を合成してもよい。地図データ提供サーバ１０１から提供される地図画像データは、地名情報や建物情報などの文字情報や駅等を表すマークとなるランドマーク情報を地図画像に合成したものでもよい。

次に、図１０のフローチャートを参照して、本発明の第１の実施の形態に係る撮像装置による地図画像データの再取得処理について説明する。

地図画像データの再取得処理を開始すると、マイクロコンピュータ１３は、コンテンツ管理ファイルの地図動画管理ファイルの地図画像管理情報の位置情報存在フラグの状態を確認し（ステップＳ３１０）、当該位置情報存在フラグが“false”である場合には（ステップＳ３１をＮｏに分岐）、リターンする。一方、当該位置情報存在フラグが“true”ならば、マイクロコンピュータ１３は、地図データ参照先情報が設定されているか否かを確認する（ステップＳ３２）。ここで、地図データ参照先情報が設定されていない場合、マイクロコンピュータ１３は地図データ参照先情報を取得する（ステップＳ３３）。

続いて、地図データ参照先情報が取得できたか否かを判断する（ステップＳ３４）。ここで、当該情報を取得できなかったと判断した場合（ステップＳ３４をＮｏに分岐）、この処理を終了してリターンする。一方、地図データ参照先情報を取得できたと判断した場合には（ステップＳ３４をＹｅｓに分岐）、ステップＳ３５に移行する。また、ステップＳ３２で地図データ参照先情報が設定されている場合にも（ステップＳ３２をＹｅｓに分岐）、ステップＳ３５に移行する。こうしてステップＳ３５では、地図データ参照先情報に基づき地図画像データを取得し、この処理を終了してリターンする。

次に図１１には、本発明の第１の実施の形態に係る撮像装置の再生系の構成を示し説明する。この再生系の構成は、例えば再生装置としても機能する。

撮像装置は、全体の制御を司るマイクロコンピュータ６７を有している。

このマイクロコンピュータ６７は、例えば、ＲＯＭ、ＲＡＭ、シリアルインターフェース、又はパラレルインターフェースなどを内蔵する、所謂「組み込み型」のマイクロコンピュータ等からなる。マイクロコンピュータ６７は、ドライブ５２、バッファメモリ５３、動画像伸張部５５、地図画像伸張部５６、ファイルフォーマット変換部５７、音声伸張部５８、バッファメモリ５９、解像度変換部６０、画像合成部６１、バッファメモリ６２と制御バスを介して制御可能に接続されている。モードダイアル６９と再生開始停止ボタン６８の出力はマイクロコンピュータ６７の入力に接続されている。

このような構成において、マイクロコンピュータ６７は、ＲＯＭに格納された所定の制御プログラムを実行して、ユーザの操作に応じた再生開始停止ボタン６８からの信号を基に、各部に動作を指示する。このマイクロコンピュータ６７は、例えば制御手段として機能する。ドライブ５２は、マイクロコンピュータ６７の制御の下、装着された記録メディア５１から、動画ストリーム等を読み出しバッファメモリ５３に記憶させる。このドライブ５１は、例えば再生手段として機能する。

デマルチプレクサ５４は、バッファメモリ５３に記憶されている動画ストリームにおいて多重化されている動画像データと音声データとを分離して、分離した動画像データを動画像伸張部５５に供給し、分離した音声データを音声伸張部５８に供給する。このデマルチプレクサ５４は、例えば分離手段として機能する。

動画像伸張部５５は、マイクロコンピュータ６７の制御の下、デマルチプレクサ５４から供給された、圧縮符号化されている動画像データを復号し、伸張して、解像度変換部６１に送出する。この動画像伸張部５５は、例えば動画像復号手段に相当する。

解像度変換部６０は、この復号された動画像データの解像度を変換し画像合成部６１に送出する。地図画像伸張部５６は、地図動画ストリームの地図画像データを復号し、伸張してバッファメモリ５９に供給する。この地図画像伸張部５６は、例えば地図画像復号手段として機能するものである。バッファメモリ５９の地図画像データは画像合成部６１に送出される。そして、動画像データと地図画像データが合成され、バッファメモリ６２に送出される。この画像合成部６１は、例えば合成手段として機能する。

静止画像伸張部７０は、マイクロコンピュータ６７の制御の下、サムネイル画像データを記憶しているバッファメモリ５３からサムネイル画像データを取得して、ＪＰＥＧ方式等により圧縮符号化されているサムネイル画像データを復号することにより伸張して、復号したサムネイルデータをバッファメモリ６２に供給する。

音声伸張部５８は、マイクロコンピュータ６７の制御の下、デマルチプレクサ５４から供給された、例えばＡＣ３方式等により圧縮符号化されている音声データを復号することにより伸張して、復号した音声データをバッファメモリ６２に供給する。

画像出力インターフェース６３は、バッファメモリ６２から供給された画像データをパラレルシリアル変換するなど、画像データを表示部６４が利用することができる所定の方式の画像信号に変換して、その画像信号を表示部６４に供給する。

表示部６４は、例えばＬＣＤ(Liquid Crystal Display)又は有機ＥＬ（Electro Luminescence）表示装置などからなり、画像出力インターフェース６３を介して供給された画像信号に基づいて、動画像および静止画像を表示することになる。この表示部６４は例えば表示手段として機能するものである。

音声出力インターフェース６５は、バッファメモリ６２から供給された音声データをパラレルシリアル変換するか、またはデジタルアナログ変換するなど、音声データを音声出力部６６が利用することができる所定の方式の音声信号に変換して、その音声信号を音声出力部６６に供給する。音声出力部６６は、オーディオ増幅器又はラウドスピーカなどからなり、音声出力インターフェース６５を介して供給された音声信号に基づいて、音声を出力する。

以下、図１２のフローチャートを参照して、本発明の第１の実施の形態に係る撮像装置による地図画像、動画再生処理について詳細に説明する。

処理を開始すると、マイクロコンピュータ６７は、表示対象フレームが地図画像データと地図画像管理情報で対応付けられている動画像データ（フレーム）か否かを判断する（ステップＳ５１）。ここで、地図画像データと対応付けられている動画像データ（フレーム）でない場合には（ステップＳ５１をＮｏに分岐）、ステップＳ５５に移行する。

一方、ステップＳ５１にて、地図画像データと対応付けられている動画像データ（フレーム）である場合には（ステップＳ５１をＹｅｓに分岐）、マイクロコンピュータ６７は地図動画管理ファイルの地図画像管理情報から地図画像データが対応付けられている動画ストリームフレーム情報を取得し（ステップＳ５２）、地図動画ファイルから対応する地図画像データを取得し（ステップＳ５３）、当該地図画像データを地図画像伸張部５６により伸張し、バッファメモリ５９に記録する（ステップＳ５４）。

続いて、マイクロコンピュータ６７は、デマルチプレクサ５４から分離供給された動画像データを動画像伸張部５５にて伸張し（ステップＳ５５）、動画像データの解像度を解像度変更部６０により変更し（ステップＳ５６）、地図画像データと動画像データを画像合成部６１により合成する（ステップＳ５７）。そして、デマルチプレクサ５４から分離供給された音声データを音声伸張部５８により伸張し（ステップＳ５８）、表示部６４にて合成した画像を再生し（ステップＳ５９）、それと共に音声出力部６６にて音声を再生する（ステップＳ６０）。その後、ステップＳ５１に戻り、再生開始／停止ボタン６８の操作に基づく割り込み処理に移行するまで、上記処理を繰り返す。

以上の処理によって、記録メディア５１上に記録された動画ファイルの動画ストリームと地図動画ファイルの地図動画ストリームが同期して再生される。

ここで、動画コンテンツのサムネイル画像を一覧表示した場合の表示部６４の表示例は例えば図１３に示される通りである。再生モードでは、ユーザは、モードダイアル６９の操作によりアイコン２００ｃ，２００ｄを適宜選択することで、通常再生モードと地図付再生モードを選択することができる。画面２００の動画一覧表示から、表示領域２００ａに表示された動画用サムネイルを参照し、カーソル２００ｂを移動させ選択することで再生を所望とする動画コンテンツを選択する。地図付再生モードを選択した状態で再生する動画コンテンツを選択すると、この選択された動画コンテンツに対して、動画ストリームと同期して地図動画ストリームの再生処理が実行される。

モードダイアル６９の選択により、動画及び地図動画を再生した場合の表示例は、例えば図１４に示される通りである。この場合、表示部６４の画面２０１には動画ストリームと地図動画ストリームが合成されて再生される。具体的には、動画ストリームは動画再生エリア２０１ａに再生され、地図動画ストリームは地図画像表示エリア２０１ｂに再生される。前述したように、動画ストリームの閾値で指定したフレーム毎に、地図画像が更新され、動画ストリームと地図動画ストリームが同期して再生される。このとき、地名情報や建物情報などの文字情報や駅等を表すマークとなるランドマーク情報を、さらには位置／方位情報に基づく指標２０１ｃを地図画像に合成している。

以上説明したように、本発明の第１の実施の形態に係る撮像装置によれば、ユーザは動画に関して正確な撮影時の位置/方向情報を反映した地図を参照すること、動画の付加情報をより正確に知ることが可能となるので、利便性を向上させることができる。

より詳細には、動画ストリーム中の、例えば数ＧＯＰ毎のフレームに対して、当該フレームの撮影位置に対応した地図画像データと撮影時の位置／方位情報を当該フレームに関連させて記録保存することで、その動画ストリームの再生時に、当該動画ストリームに同期させて、動画ストリームの付加情報として対応した地図画像データを再生する際に動画撮影時の位置／方位情報をリアルタイムで表示することができる。従って、ユーザはより正確な撮影時の位置／方位情報を把握することが可能となる。

また、動画再生中に、リアルタイムな撮影位置を反映した地図画像上の地名情報や建物情報を参照することができるため、その時点で再生されている画像に対応した地名情報や建物情報をより正確に把握することが可能となる。更に、撮影位置情報から地図画像を取得する手段が、外部通信機能を利用している場合に関して、動画撮影時に、動画ストリームに同期した地図画像データを記録メディア上に記録しているため、動画再生時に、外部通信機能が通信不良によって、地図画像データが取得できないような状況でも、地図画像を再生することが可能である。また、撮影時の位置／方位情報から地図画像データを取得する手段に関して、当該地図画像データの提供機能が、生成する地図画像に含まれる地図情報を逐次更新されるものである場合であっても、本実施の形態では、撮影時点の地図画像データを記録しているため、動画ストリームと同期して再生される地図画像データは正確な情報として表示することができることとなる。

次に図１５乃至図１７を参照して、本発明の第２の実施の形態について説明する。

前述した第１の実施の形態では、位置／方位情報取得部１６により取得された位置／方位情報に基づいて、対応する地図画像データを外部ネットワーク通信部１７が地図データ提供サーバ１０１から取得していたが、取得する地図画像データの種別については、特に言及しなかった。これに対して、第２の実施の形態に係る撮像装置は、複数の縮尺に係る複数の地図画像データ及び３次元（３Ｄ）表示に係る地図画像データを取得し、複数の縮尺、視点の地図画像の表示を可能とするものである。

ここで、地図の視点とは、地図を上から見た場合の２次元画像や地図を撮影方向に向かってみた場合の３Ｄ画像が挙げられる。

尚、第２の実施の形態に係る撮像装置の記録系、及び表示系のハードウェア構成は、第１の実施の形態（図１、図１１）と同様であるので、以下では同一構成については同一符号を用いて説明する。また、前提として、地図データ提供サーバ１０１は、指定された縮尺/視点の地図画像データを提供できるものとする。

ここで、図１５には動画の撮影によって記録メディア１９に記録される動画コンテンツのファイル構成の一例を示し説明する。動画の撮影によって、記録メディア１９に記録される動画コンテンツは、生成するファイル群を管理するコンテンツ管理ファイル、例えばＭＰＥＧ２方式による動画ストリームを格納する動画ファイル（例えばGAZO001.MPG）、当該動画ファイルに対応した地図動画ストリームを格納する地図動画ファイル（例えばTIZU001.MAP、TIZU002.MAP、TIZU003.MAP）、これら動画ストリームと地図動画ストリームとの関係を保持する地図動画管理ファイル（例えばTIZU001.MNR）からなる。特に、地図動画ファイルとしては、複数の縮尺／視点に係るファイルが設けられる。

そして、特に第２の実施の形態としては、図１６に示されるように、画像ファイル管理情報に、動画ファイル名、地図動画ファイル名、地図動画管理ファイルに加えて、複数の縮尺／視点に係る種別情報が「地図動画種別情報」として格納される。即ち、記録処理時において、画像ファイル管理情報に、指定した縮尺/視点の種別を併せて記録することを可能とする。尚、図１６では、図示を簡略化しているが、この地図動画種別情報は、地図動画ファイル毎の縮尺／視点の種別を表すことになるので、各地図動画ファイル毎に個別に設けられることになる。そして、再生処理時においては、画像合成部６１において、縮尺/視点情報を合成して表示可能とする。

この表示例は、図１７に示される通りである。

この場合、表示部６４の画面２０２には動画ストリームと地図動画ストリームが合成されて再生される。具体的には、動画ストリームは動画再生エリア２０２ａに再生され、地図動画ストリームは地図画像表示エリア２０２ｂに再生される。前述したように、動画ストリームの閾値で指定したフレーム毎に、地図画像が更新され、動画ストリームと地図動画ストリームが同期して再生される。このとき、地名情報や建物情報などの文字情報や駅等を表すマークとなるランドマーク情報を、さらには方位情報に基づく指標２０２ｃを地図画像に合成している。そして、画面右端の“３Ｄ”、“拡大”、“縮小”アイコン２０２ｄ乃至２０２ｆを押下することで、表示される地図の縮尺／視点を適宜変更できる。

以上説明したように、本発明の第２の実施の形態によれば、ユーザが好む動画ストリームの付加情報を記録可能とすることで、ユーザの利便性を向上することができる。

以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。

例えば、前述した実施の形態では、デジタルカメラやデジタルビデオカメラ等の撮像装置への適用例を示したが、これに限定されず、デジタルカメラ機能を備えた携帯電話機やＰＤＡ(Personal Digital Assistants)にも適用可能であることは勿論である。

本発明の第１の実施の形態に係る撮像装置の構成図。 本発明の第１の実施の形態に係る撮像装置による動画の撮影によって記録メディアに記録される動画コンテンツのファイル構成を示す図。 コンテンツ管理ファイルのファイル構造の一例を示す図。 動画ストリームと地図動画ストリームとの関係を示す図。 地図動画ファイルのファイル構造を示す図。 地図動画管理ファイルのファイル構造を示す図。 本発明の第１の実施の形態に係る撮像装置による地図動画記録処理について詳細に説明するフローチャート。 図７のステップＳ３の動画ストリームの記録の処理について更に詳細に説明するフローチャート。 図７のステップＳ６で実行される地図画像データの取得処理について更に詳細に説明するフローチャート。 本発明の第１の実施の形態に係る撮像装置による地図画像データの再取得処理について説明するフローチャート。 本発明の第１の実施の形態に係る撮像装置の再生系の構成図。 本発明の第１の実施の形態に係る撮像装置による地図画像、動画再生処理について詳細に説明するフローチャート。 動画コンテンツのサムネイル画像を一覧表示した場合の表示例を示す図。 動画及び地図動画を再生した場合の表示例を示す図。 本発明の第２の実施の形態に係る撮像装置による動画の撮影によって記録メディアに記録される動画コンテンツのファイル構成の一例を示す図。 画像ファイル管理情報の内容を示す図。 動画及び地図動画を再生した場合の表示例を示す図。

符号の説明

１…撮影部、２…動画像入力インターフェース、３…音声変換部、４…音声入力インターフェース、５…バッファメモリ、６…動画圧縮部、７…画素数変換部、８…音声圧縮部、９…マルチプレクサ、１０…バッファメモリ、１１…ドライブ、１２…静止画圧縮部、１３…マイクロコンピュータ、１４…モードダイアル、１５…記録開始停止ボタン、１６…位置／方位情報取得部、１７…外部ネットワーク通信部、１８…地図画像取得部、１９…記録メディア、５１…記録メディア、５２…ドライブ、５３…バッファメモリ、５４…マルチプレクサ、５５…動画像伸張部、５６…地図画像伸張部、５７…ファイルフォーマット変換部、５８…音声伸張部、５９…バッファメモリ、６０…解像度変換部、６１…画像合成部、６２…バッファメモリ、６３…画像出力インターフェース、６４…表示部、６５…音声出力インターフェース、６６…音声出力部、６７…マイクロコンピュータ、６８…再生開始停止ボタン、６９…モードダイアル、７０…静止画伸張部、１００…撮像装置（記録系）、１０１…地図データ提供サーバ、１０２…外部ネットワーク、１０３…人工衛星、１０４…撮像装置（再生系）

Claims (7)

1. 地図データ提供サーバから地図画像データを取得可能な撮像装置において、
   被写体像を撮像し画像信号を出力する撮像手段と、
   上記画像信号を処理して動画像データを生成し出力する画像信号処理手段と、
   上記動画像データを圧縮符号化する動画像圧縮手段と、
   上記撮像手段による撮影時の位置／方位情報を取得する位置／方位情報取得手段と、
   上記位置／方位情報を外部ネットワークを介して上記地図データ提供サーバに送信し、当該位置／方位情報に対応する地図画像データを取得する通信手段と、
   上記地図画像データの取得の処理を制御しつつ、当該地図画像データを格納した地図動画ファイルを生成する地図画像取得手段と、
   記録メディアへの上記地図動画ファイル、動画ファイルの記録を行う記録手段と、
   上記圧縮符号化後の動画像データを格納した動画ファイルを生成し、当該動画ファイルを上記地図動画ファイルと共に上記記録手段により上記記録メディアに記録するように制御する制御手段とを具備する
   ことを特徴とする撮像装置。
2. 上記記録メディアに記録された動画ファイル及び地図動画ファイルを読み出し、当該動画ファイルに格納されている動画像データ及び上記地図動画ファイルに格納されている地図画像データに係る画像を少なくとも表示する表示手段を有し、
   上記表示手段による表示に際して、上記動画像データのサムネイル画像を表示し、当該サムネイル画像に対応する地図画像データを表示指示するためのアイコンを上記サムネイル画像と併せて表示する
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記記録再生手段により上記記録メディアに動画ファイルと地図動画ファイルを格納するときには、当該動画ファイルと地図動画ファイルとの対応関係に係るデータを保持したコンテンツ管理ファイルを併せて格納する
   ことを更に特徴とする請求項１に記載の撮像装置。
4. 上記撮影時に上記地図データ取得手段により上記位置／方位情報に対応する地図画像データを取得することができなかった場合において、少なくとも上記表示手段による表示が開始されるときには、上記地図データ取得手段は、上記位置／方位情報を再び外部ネットワークを介して上記地図データ提供サーバに送信し、当該位置／方位情報に対応する地図画像データを取得する
   ことを更に特徴とする請求項２に記載の撮像装置。
5. 上記記録メディアに記録された動画ファイル及び地図動画ファイルを読み出し、当該動画ファイルに格納されている動画像データ及び上記地図動画ファイルに格納されている地図画像データに係る画像を少なくとも表示する表示手段を有し、
   上記地図データ取得手段は、上記地図データ提供サーバより複数の縮尺及び視点に係る地図画像データを取得し、上記表示手段による表示に際しては、上記複数の縮尺及び視点に係る地図画像データに係る地図画像を選択的に表示することを可能とする
   ことを特徴とする請求項１に記載の撮像装置。
6. 少なくとも動画ファイルと地図動画ファイルが記録された記録メディアと、
   上記記録メディアより動画ファイルと地図動画ファイルとを読み出す再生手段と、
   上記動画ファイルの動画像データを復号する動画像復号手段と、
   上記地図画像ファイルの地図画像データを復号する地図画像復号手段と、
   上記復号された動画像データと地図画像データを合成する合成手段と、
   この合成された画像に係るデータを一時的に保持する保持手段と、
   この保持された画像に係るデータを読み出し、表示する表示手段と、
   上記記録メディアには動画ファイルと地図動画ファイルとの対応関係に係るデータを保持したコンテンツ管理ファイルが併せて格納されており、上記再生手段による再生に際しては当該コンテンツ管理ファイルに基づき動画ファイルに対応する地図画像ファイルを特定する制御手段とを具備する
   ことを特徴とする再生装置。
7. 撮影により得られた動画像データと地図データ提供サーバから得た地図画像データをそれぞれ所定のファイル形式で記録メディアに記録する方法であって、
   撮影により得られた動画像データを圧縮符号化した後に動画ファイルに格納し、
   上記地図画像データを地図動画ファイルに格納し、
   上記動画ファイルと上記地図動画ファイルとの対応関係に係るデータを生成しコンテンツ管理ファイルに格納し、上記動画ファイルと上記地図動画ファイルと上記コンテンツ管理ファイルとを対応付けて記録ファイルとして記録メディアに記録する
   ことを特徴とする記録ファイル作成方法。

Images