JP2004045651A

JP2004045651A - Motion picture processing method

Info

Publication number: JP2004045651A
Application number: JP2002201729A
Authority: JP
Inventors: Yoshinobu Okamoto; 岡本　義信
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2002-07-10
Filing date: 2002-07-10
Publication date: 2004-02-12

Abstract

<P>PROBLEM TO BE SOLVED: To display video so that the place where the video is photographed is clearly identified regarding the video photographed by a video camera, etc. <P>SOLUTION: Motion picture information recorded in a motion picture recording medium 104 is read from a motion picture playback system 103 and the motion picture information acquired from the motion picture recording medium is displayed on a display section 113. On the other hand, positional information and time information of a vehicle 101 recorded by a car navigation system 102 mounted on the vehicle 101 are read from a recording medium 115. Then, map information corresponding to positional information at the same time that the time information of a frame of a currently displayed motion picture information is read from a map data base 109 by referring to the positional information and the time information of the vehicle and displayed on a display section. Thus, simultaneous display of the video photographed during a travel by vehicle and a map indicating the place where the video is photographed is enabled. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、カーナビゲーションシステムを搭載した自動車などの車両を利用した旅行や取材の際に、ビデオカメラなどを用いて撮影された動画像（以下、動画又は映像と呼ぶこともある）の編集作業を行う動画像処理装置（動画処理装置）における動画像処理方法に関する。
【０００２】
【従来の技術】
近年、家庭用ビデオカメラは低価格化及び小型化が進んでおり、旅行やビジネスなどにおいて、気軽に持ち運び、撮影することが可能となっている。また、自動車（以下、車又は車両とも呼ぶ）を利用した旅行や取材においても、自動車での移動中、又は、様々な観光名所などにおいて、ビデオカメラを利用した撮影を行うことが可能である。さらに、ビデオカメラはデジタル化及びネットワーク対応化が進んでおり、パソコンと接続することによって、撮影した動画を容易に編集することが可能となってきている。
【０００３】
こうした動画の編集では、撮影済みの映像にナレーションなどの音声を吹き込むアフレコ作業、文字を画面に織り込むテロップ作業、複数の画面の合成を行う画面合成作業などが挙げられる。撮影済みの映像に対して上記のような効果を加えることによって、貴重な旅行や取材などの記録の編集を行うことが可能となり、映像コンテンツとしての完成度が高められる。
【０００４】
一方、特開平８−２１９７９６号公報には、音声又は映像を含むユーザのオリジナル情報を地図情報と関連付けて入力又は出力することが可能なカーナビゲーションシステムが開示されている。これによって、ユーザは、例えば、かつて走行したことのあるルートに関する経験的情報や、初めて訪れる友人を自宅まで導くための案内情報などを専用のカーナビゲーションシステムに蓄積して活用することができるとともに、まだ行ったことのない目的地までの走行をカーナビゲーションシステムにより仮想的に体験することが可能となる。この結果、カーナビゲーションシステムなどのナビゲーションシステムの利便性、及び、その付加価値を高めることが可能となる。
【０００５】
【発明が解決しようとする課題】
しかしながら、録画した映像を旅行後に再生した場合、何処で撮影した映像なのか、何処から何処への移動中の映像なのかは、撮影者又は同行者にしか判らないことであり、旅行に同行しなかった第３者に見せる場合には、映像の再生中に、逐一説明する必要がある。このため、撮影時に場所や時刻などを口頭で案内することによって、記録される映像内にこれらの情報が含まれるようにすることも可能であるが、撮影を行う度に撮影時の状況を吹き込むのは面倒であり、また、特に、観光旅行などの場合には、撮影時の状況を報告する取材旅行的な録画の仕方を行うと、旅行の雰囲気を損ねるという問題が生じる。
【０００６】
また、特開平８−２１９７９６号公報に開示されている技術によれば、以前に通ったことのあるルートを再び通る際、音声や動画などによって、さらに分かりやすくナビゲーションを行うことが可能となるが、オリジナル情報及び地図情報（カーナビゲーションの表示画面）は、カーナビゲーション装置に接続されている表示装置のみでしか表示されず、すなわち、車内でしか、この機能を利用することができない。
【０００７】
また、ビデオカメラなどで撮影した映像をオリジナル情報として利用することは可能であるが、こうした映像とカーナビゲーションシステムにおける位置情報及び時刻情報とを関連付けることは不可能である。また、撮影映像と同時に表示される情報は地図のみであり、この地区の名産品に関する情報や、このホテルには温泉が付いているか否かの情報などの情報（現地の詳細なスポット情報）は、ユーザが逐一操作をしないと表示されない。
【０００８】
上記問題に鑑み、本発明は、ビデオカメラなどで撮影された映像に関して、その映像の撮影された場所が明確に判るような映像の表示を行うことを可能とする動画像処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明では、車両に搭載されたカーナビゲーションシステムによって記録された車両の位置情報及び時刻情報を利用して、動画情報の時刻情報から、その動画が撮影された場所を判別し、動画と共に撮影場所付近の地図が表示されるようにする。
【００１０】
すなわち、本発明によれば、車両の位置情報を示すカーナビゲーションシステムを搭載した車両が移動中に前記車両に搭載された撮像手段によって撮像された動画像情報を記録するとともに、前記動画像情報の記録された場所を示す位置情報及び前記動画像情報の記録された時間を示す時間情報を記録する動画像処理方法であって、
前記動画像を記録した動画像情報記録媒体から動画像情報を再生する再生ステップと、
前記位置情報及び前記時間情報を記録した位置時間情報記録媒体から前記再生ステップにて再生された動画像情報に合致した位置情報及び時間情報を読み出す読み出しステップと、
前記位置情報に対応した地図情報を前記カーナビゲーションシステムが有する地図データベースより読み出すステップと、
前記動画像情報と共に前記地図情報を表示するステップとを、
有する動画像処理方法が提供される。
【００１１】
さらに、前記位置情報に対応する付加情報が前記地図データベースに存在する場合、前記付加情報を前記動画像情報及び前記地図情報と共に表示することは、本発明の好ましい態様である。
【００１２】
【発明の実施の形態】
以下、図面を参照しながら、本発明の動画像処理方法の好ましい実施の形態について説明する。図１は、本発明の動画像処理方法を実現する動画処理装置の好ましい実施の形態を示すブロック図である。動画処理装置１０５は、制御部（ＣＰＵ）１０６、記録媒体Ｉ／Ｆ部１０７、動画再生装置Ｉ／Ｆ部１０８、地図データベース１０９、画像合成部１１０、動画記録部１１１、ユーザ入力部１１２、表示部１１３を有している。
【００１３】
制御部１０６は、動画処理装置の内部の各手段を統合的に制御する手段であり、例えば、ＣＰＵや所定のソフトウェアなどによって実現可能である。また、記録媒体Ｉ／Ｆ部１０７は、後述の記録媒体１１５の挿入及び記録媒体１１５内部に記録されているデータの読み出しを可能とするインターフェイスである。また、動画再生装置Ｉ／Ｆ部１０８は、外部の動画再生装置との通信を行うためのインターフェイスであり、例えば、ＩＥＥＥ１３９４やＵＳＢインターフェースボードなどによって実現可能である。
【００１４】
地図データベース１０９は、地図データや各スポット情報などを格納するための手段であり、ＣＤ−ＲＯＭ、ＤＶＤ、ＨＤＤなどによって実現可能である。また、画像合成部１１０は、動画再生装置Ｉ／Ｆ部１０８を介して動画再生装置１０３から読み出された撮影映像や、地図データベース１０９から読み出された地図データや付加情報などの画像又は映像を合成して、１つの動画データを生成する機能を有する手段であり、例えば、ＣＰＵや所定のソフトウェア、さらには、専用のＬＳＩなどによって実現可能である。
【００１５】
動画記録部１１１は、画像合成部１１０によって生成された動画データが記録・格納される手段であり、例えば、ＨＤＤなどによって実現可能である。なお、ここでは、動画処理装置１０５が動画記録部１１１を有している態様が記載されているが、動画記録部１１１を外付けにして、動画処理装置１０５が、外部に設けられた動画記録部１１１に動画データの記録を行うようにすることも可能である。また、ユーザ入力部１１２は、ユーザが情報を入力したり、動画処理装置１０５を操作したりすることを可能とする手段であり、例えば、キーボードやマウス、操作スイッチなどによって実現可能である。また、表示部１１３は、例えば、ディスプレイモニタなどの表示手段であり、ユーザによる動画データの編集の際に必要となる情報を表示することが可能である。なお、画像合成用ソフトウェアを実装したＰＣ（パソコン：Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）によって、上記の動画合成装置１０５を実現することも可能である。
【００１６】
また、図１には、カーナビゲーションシステム１０２が搭載された車両１０１が図示されている。この車両１０１に搭載されたカーナビゲーションシステム１０２は、上述の記録媒体Ｉ／Ｆ部１０７によってデータ読み出しの可能な記録媒体１１５と接続し、不図示のＧＰＳシステムなどによって検出される車両１０１の位置情報とその時刻情報とを、所定の時間毎に記録媒体１１５に記録する機能を有している。なお、記録媒体１１５は、リムーバブルな（持ち運び可能な）記録媒体であることが好ましく、汎用の記録媒体によって実現可能である。
【００１７】
さらに、図１には、動画再生装置１０３が図示されている。この動画再生装置１０３は、例えば、ビデオカセットなどの動画記録媒体１０４を再生する機能を有しており、動画再生装置Ｉ／Ｆ部１０８を介して、動画データの再生映像を動画処理装置１０５に供給することが可能である。なお、動画再生装置１０３として、ビデオカセットなどの再生を行うビデオデッキを用いることも可能であり、撮影時に使用したデジタルビデオカメラそのものを用いることも可能である。
【００１８】
次に、本発明の動画像処理方法による動画編集の前に、準備されるべきデータについて説明する。動画編集の際、本発明の動画像処理方法を実現する動画処理装置に供給されるべきデータは、カーナビゲーションシステムによって記録媒体１１５に記録された車両１０１の位置情報及び時刻情報と、動画再生装置１０３から供給される動画データの再生映像である。
【００１９】
車両１０１の位置情報及び時刻情報は、例えば、以下のようにして、カーナビゲーションシステム１０２によって記録媒体１１５に記録される。まず、ユーザは、車両運転前に、記録媒体１１５を車両１０１内のカーナビゲーションシステム１０２に接続し、車両運転中に、カーナビゲーションシステム１０２が、記録媒体にデータの書き込みを行えるようにする。
【００２０】
カーナビゲーションシステム１０２は、上述のように、不図示のＧＰＳシステムなどによって検出される車両１０１の位置情報（車両が存在する緯度及び経度の座標）とその時刻情報とを、所定の期間毎に記録媒体１１５に記録する機能を有している。例えば、位置情報及び時刻情報は、以下のようなフォーマットで記録媒体１１５に記録される。

なお、上記では、５秒（所定の時間）毎に、位置情報が記録媒体１１５に記録されている一例が示されているが、任意の時間間隔に設定することが可能である。
【００２１】
車両運転後（帰宅後）、ユーザは、車両１０１から記録媒体１１５を取り出して、この記録媒体１１５を動画処理装置１０５に接続することによって、運転中の車両１０１の位置情報及び時刻情報を、動画処理装置１０５に供給することが可能となる。
【００２２】
一方、ユーザは、車両運転前に、デジタルビデオカメラなどに動画撮影装置に、動画記録媒体１０４をセットして、車両１０１に乗り込み、車両運転前から車両運転後までの一連の外出時間中に、この動画撮影装置を用いて、車外の風景などの撮影を行う。車両運転後（帰宅後）、ユーザは、動画撮影装置から記録媒体１０４を取り出して動画再生装置１０３にセットするか、又は、ＩＥＥＥ１３９４ケーブルやＵＳＢケーブルなどを用いて、直接、動画撮影装置を動画再生装置１０３として動画処理装置１０５に接続することによって、車両運転前から車両運転後までの一連の外出時間中に撮影された動画データの再生映像を、動画処理装置１０５に供給することが可能となる。
【００２３】
次に、上記の動画編集の準備が完了した後に行われる本発明の動画像処理方法について説明する。図２は、本発明の動画像処理方法を実現する動画処理装置内の状態遷移を示す模式図である。なお、図２には、動画処理装置１０５の制御部における代表的な処理プロセスの動作が示されている。また、各遷移状態には、ａからｔまでの符号が割り付けられており、太線矢印のプロセス間の情報の受け渡しシグナルには▲１▼から▲５▼までの番号が割り付けられている。この図２の状態遷移を示す模式図を参照しながら、本発明の動画像処理方法における動作について説明する。
【００２４】
図２には、動画処理装置１０５の制御部における代表的な処理プロセスとして、動画制御プロセス、ユーザＩ／Ｆプロセス、車両位置取得プロセス、地図制御プロセス、付加情報プロセスが示されている。ユーザＩ／Ｆプロセスは、ユーザ入力部１１２におけるデータの入出力を行い、主に、ユーザ入力情報の取得を行う処理プロセスである。また、動画制御プロセスは、動画再生装置１０３、表示部１１３におけるデータの入出力を行い、主に、動画再生装置１０３の制御、動画データの加工、時刻情報の取得を行う処理プロセスである。また、車両位置取得プロセスは、記録媒体１１５におけるデータの入出力を行い、主に、車両の位置及び時刻情報の取得を行う処理プロセスである。
【００２５】
また、地図制御プロセスは、地図データベース１０９、表示部１１３におけるデータの入出力を行い、主に、地図データの取得、地図データの表示のための加工、付加情報アイコンの貼付けなどを行う処理プロセスである。また、付加情報プロセスは、地図データベース１０９におけるデータの入出力を行い、主に、付加情報の取得とその表示や制御などを行う処理プロセスである。なお、例えば、画像合成部１１０や記録部１１１とのデータの入出力を行うその他の処理プロセスも存在するが、ここでは、その説明を省略する。
【００２６】
ユーザが、動画処理装置１０５に対して、ユーザ入力部１１２を用いて「再生開始」の指示を行い、この入力を受けて、動画処理装置では以下の処理が行われる。まず、動画処理装置１０５のユーザＩ／Ｆプロセスは、ユーザからの入力を受けて、その入力を認識し、［ａ：アイドル状態］から［ｂ：各プロセスに指示］に移行する。ユーザからの入力は「再生開始」の指示なので、ユーザＩ／Ｆプロセスは、「再生開始」のシグナル▲１▼を動画制御プロセスに送出して、［ａ：アイドル状態］に戻る。また、ユーザが、動画処理装置１０５に対して、ユーザ入力部１１２を用いて「再生停止」の指示を行った場合も、上記の「再生開始」の指示と同様の処理が行われて、「再生停止」のシグナル▲１▼が動画制御プロセスに送出される。
【００２７】
動画制御プロセスは、「再生開始」のシグナル▲１▼を受けて、［ｃ：アイドル状態］から［ｄ：再生開始］に移行し、動画再生装置Ｉ／Ｆ部１０８を介して動画再生装置１０３に「再生開始」の指示を行って、［ｄ：再生開始］から［ｅ：動画データ取得］に移行する。動画再生装置１０３は、この「再生開始」の指示を受けて、動画記録媒体１０４に記録されている動画データを再生し、動画処理装置１０５に出力する。なお、動画再生装置から出力される再生映像ストリームのフォーマットは、例えば、ＤＶフォーマットストリーム、ＭＰＥＧ１／２ストリーム、モーションＪＰＥＧストリームなど、録画した当時の時刻情報が挿入されているフレーム構成を有する様々なフォーマットを利用することが可能である。
【００２８】
動画処理装置１０５は、動画制御プロセスの［ｅ：動画データ取得］において、動画再生装置Ｉ／Ｆ部１０８を介して動画再生装置１０３から再生映像ストリームを受信し、再生映像ストリームのフレームを同期ヘッダコードなどによって認識し、［ｅ：動画データ取得］から［ｆ：時刻情報読み出し］に移行する。そして、動画再生装置１０３から受信した再生映像ストリームのフレームの中から、時刻情報が入っているフィールドを探し出して取得し、「時刻情報」のシグナル▲４▼を車両位置取得プロセスに送出して、［ｆ：時刻情報読み出し］から［ｇ：表示出力］に移行する。そして、再生映像ストリームのフレームに関して、所定のデコード処理を行って表示可能な映像信号を生成し、表示部１１３の第１のウィンドウ３０１（後述の図３を参照）にその映像信号を出力（表示）する。
【００２９】
また、ユーザＩ／Ｆプロセスから「再生停止」の指示であるシグナル▲２▼を受けた場合には、［ｈ：再生停止］に移行し、動画再生装置Ｉ／Ｆ部１０８を介して動画再生装置１０３に「再生停止」の指示を行って、［ｃ：アイドル状態］に戻る。一方、ユーザＩ／Ｆプロセスから「再生停止」の指示であるシグナル▲２▼が到来していない場合には、再び［ｅ：動画データ取得］に移行して、再生映像ストリームの次のフレームの処理を行う。
【００３０】
一方、車両位置取得プロセスは、動画制御プロセスの［ｆ：時刻情報読み出し］で送出された「時刻情報」のシグナル▲４▼を受けて、［ｉ：アイドル状態］から［ｊ：時刻指定］に移行し、記録媒体内に記録されている時刻情報を参照する。そして、［ｊ：時刻指定］から［ｋ：座標取得］に移行して、その時刻における車両の位置を示す座標（すなわち、その時刻情報と関連して記録媒体内に記録されている位置情報）を記録媒体から読み出して、この「位置情報」のシグナル▲５▼を地図制御プロセスに送出し、［ｉ：アイドル状態］に戻る。
【００３１】
地図制御プロセスは、車両位置取得プロセスの［ｋ：座標取得］で送出された「位置情報」のシグナル▲５▼を受けて、［ｌ：アイドル状態］から［ｍ：座標指定］に移行し、受信した位置情報を参照する。そして、［ｍ：座標指定］から［ｎ：地図データ取得］に移行して、地図データベース１０９から、その位置（座標）に対応した地図データを取得し、その位置（座標）に対応する地図データ内の所定の箇所に、車両が存在する位置であることを示す△印などの記号を付加する。
【００３２】
また、さらに、取得した地図データの範囲内に付加情報があるかどうかを判断する。付加情報がある場合には、［ｎ：地図データ取得］から［ｏ：アイコン貼付け］に移行して、取得した地図データ内に、地図データベース１０９に格納されている付加情報オブジェクトファイルとリンクさせるためのコードが埋め込まれたアイコンや記号などを付加して、［ｐ：表示出力］に移行する。なお、付加情報の種類としては、観光名所の紹介、特産物などの地域情報、さらには、店舗の説明やインターネットアドレス（ＵＲＬ：Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）、広告バナーなどが挙げられ、テキストデータファイルの利用がベースとなるが、映像・音声を絡めたマルチメディアオブジェクトファイルを利用することも可能である。
【００３３】
一方、付加情報がない場合には、［ｎ：地図データ取得］から［ｐ：表示出力］に移行する。そして、［ｐ：表示出力］において、地図制御プロセスは、［ｎ：地図データ取得］又は［ｏ：アイコン貼付け］で処理された地図データから映像信号を生成し、表示部１１３の第２のウィンドウ３０２（後述の図３を参照）にその映像信号を表示して、［ｌ：アイドル状態］に戻る。
【００３４】
以上のユーザＩ／Ｆプロセス、動画制御プロセス、車両位置取得プロセス、地図制御プロセスにおける処理を動画再生装置によって再生された映像（再生映像ストリームの各フレーム又は所定の間隔毎に存在するフレーム）に合わせてリアルタイムで行うことにより、表示部１１３の表示画面の所定の箇所（第１のウィンドウ３０１）には、動画記録媒体に記録されている動画データを再生した映像を、表示部１１３の表示画面の別の箇所（第２のウィンドウ３０２）には、第１のウィンドウ３０２で再生されている映像が撮影された場所を示す地図の映像（画像）を同時に表示することが可能となる。したがって、例えば、第１のウィンドウ３０１で、車窓の風景の映像を表示する一方、第２のウィンドウ３０２で、カーナビゲーションシステムにおける表示画面のように地図をリアルタイムでスクロールしながら表示することも可能となる。
【００３５】
また、［ｏ：アイコン貼付け］で地図データに対してアイコンの貼付け処理が行われて、第２のウィンドウ上に付加情報が存在することを示すアイコンが表示されている場合、ユーザが、ユーザ入力部１１２を用いてこのアイコンを選択（例えば、マウスによるダブルクリック）すると、以下の処理が行われる。
【００３６】
まず、動画処理装置１０５のユーザＩ／Ｆプロセスは、ユーザからの入力を受けて、その入力を認識し、［ａ：アイドル状態］から［ｂ：各プロセスに指示］に移行する。ユーザからの入力は「付加情報表示」の指示なので、ユーザＩ／Ｆプロセスは、「付加情報表示」のシグナル▲３▼を付加情報プロセスに送出して、［ａ：アイドル状態］に戻る。
【００３７】
付加情報プロセスは、「付加情報表示」のシグナル▲３▼を受けて、［ｑ：アイドル状態］から［ｒ：リンクコード指定］に移行し、選択されたアイコンに埋め込まれているリンクコードを取得する。そして、［ｒ：リンクコード指定］から［ｓ：付加オブジェクト取得］に移行して、地図データベース１０９から、そのリンクコードに対応した付加情報オブジェクトファイルを取得し、［ｓ：付加オブジェクト取得］から［ｔ：オブジェクト実行］に移行して、取得した付加オブジェクトファイルを実行する。なお、図２には図示省略しているが、［ｔ：オブジェクト実行］で付加情報オブジェクトファイルが実行された場合には、第３のウィンドウ３０３（後述の図３を参照）が生成されて、この第３のウィンドウ３０３に付加情報が表示される。
【００３８】
以上の付加情報プロセスにおける処理によって、ユーザが地図データに貼り付けられたアイコンの選択を行った場合、さらに、選択されたアイコンに関連した付加情報を、第３のウィンドウ３０３に表示することが可能となる。したがって、ユーザは、例えば、第１のウィンドウ３０１上の映像、及び、第２のウィンドウ３０２上の地図を見ながら、さらに、これらの表示に関連したスポット情報などの詳細な情報を、第３のウィンドウ３０３から取得することが可能となる。
【００３９】
また、図３は、動画編集時に、本発明の動画像処理方法を実現する動画処理装置の表示部に表示される表示画面の一例である。動画処理装置１０５の表示部１１３には、第１のウィンドウ３０１、第２のウィンドウ３０２、第３のウィンドウ３０３が表示されている。第１のウィンドウには、動画再生装置１０３から取得された再生映像ストリームに係る映像が表示される。また、第２のウィンドウ３０２には、第１のウィンドウの映像が撮像された場所を示す地図が表示される。また、第３のウィンドウ３０３には、第２のウィンドウ３０２の地図上に貼り付けられたアイコンに係る付加情報が表示される。
【００４０】
さらに、動画処理装置１０５の画像合成部１１０が、図３に示す第１から第３のウィンドウに表示された映像又は画像を合成し、１つの動画データを生成することも可能である。すなわち、動画処理装置１０５の画像合成部１１０が、第１のウィンドウ３０１の映像、第２のウィンドウの地図映像、第３のウィンドウの付加情報に係る映像を所定の位置及び大きさに調整して１つの表示画面に合成し、この表示画面を１つの動画データとして動画記録部１１１に記録することも可能である。
【００４１】
図４は、本発明の動画像処理方法を実現する動画処理装置によって合成及び記録された動画データの再生時の表示画面の一例である。なお、生成及び記録される動画データのフォーマットとしては、ＭＰＥＧ１／２、モーションＪＰＥＧなどが様々なフォーマットが利用可能であり、本発明は、特にこうしたフォーマットを限定するものではない。ただし、動画記録部１１１に記録された動画データを再生する場合に、付加情報の表示／非表示を制御することは不可能なので、あらかじめ動画データの記録時に、各付加情報の表示／非表示の指定が可能となる機能を設け、動画データ内に付加情報を埋め込むか否かを任意に選択できるようにすることが好ましい。
【００４２】
このようにして動画記録部１１１に記録された動画データは、何度でも再生することが可能であり、さらに、ビデオカセット、ＤＶＤ、ＣＤ−ＲＯＭなどの外部の記録手段などに動画を転送して記録することによって、動画データを他のＰＣなどに移すことも可能となる。
【００４３】
また、さらに、記録媒体１１５、地図データベース１０９が無くても上記の動作と同じ処理を行うオブジェクトファイルを生成して動画記録部１１１に記録することも可能である。すなわち、第１のウィンドウ３０１に表示される映像に関連した地図画像や付加情報などを生成することが可能なオブジェクトファイルを動画記録部に記録することも可能である。これによって、例えば、動画記録媒体１０４内の映像に合わせて、ＰＣ上で、上記のオブジェクトファイルを実行することにより、所望のタイミングで、地図や付加情報などの表示を行うことが可能となり、一方的ではないインタラクティブな映像の紹介が可能となり、その映像を見る第３者も退屈することがなくなる。また、特に、図３に示す表示画面や、さらに、合成及び記録された図４に示す動画データの表示画面などは、旅行代理店における各地域への旅行の紹介ツールとして活用することも可能である。
【００４４】
なお、本発明によれば、特許請求の範囲に記載された発明の他に、以下のような発明が提供される。
（１）　請求項１又は２に記載された動画像処理方法において、さらに、前記表示手段に表示される前記動画情報と、前記表示手段に表示される前記地図情報とを１画面に合成し、１つの動画データを作成するステップを有することを特徴とする動画像処理方法。
（２）　請求項２に記載された動画像処理方法において、さらに、ユーザによって前記付加情報を示す情報が選択された場合、前記表示手段に前記付加情報を表示するステップを有することを特徴とする動画像処理方法。
（３）　請求項２に記載された動画像処理方法において、さらに、ユーザによって前記付加情報を示す情報が選択された場合、前記付加情報を表示することが可能なオブジェクトファイルを実行するステップを有することを特徴とする動画像処理方法。
なお、地図データベースは、カーナビゲーションシステム１０２が使用しているものを利用することも可能であり、また、動画処理装置１０５とカーナビゲーションシステム１０２を一体的に構成して、地図データベース１０９を共用することも可能である。
【００４５】
【発明の効果】
以上説明したように、本発明によれば、車両に搭載されたカーナビゲーションシステムによって記録された車両の位置情報及び時刻情報を利用して、動画情報の時刻情報から、その動画が撮影された場所を判別し、動画と共に撮影場所付近の地図が表示されるようにするので、ビデオカメラなどで撮影された映像に関して、その映像の撮影された場所が明確に判るような映像の表示を行うことが可能となり、例えば、この表示画面を鑑賞する第３者は、実際に車両に乗り込んで、カーナビゲーションシステムの表示画面を見ながら、車窓の風景を楽しむ雰囲気を得ることが可能となり、臨場感のある旅行の記録を楽しむことが可能となる。
【００４６】
さらに、本発明によれば、地図データベース上に位置情報に対応する付加情報が存在する場合、付加情報が存在することを示す情報を、表示手段に表示される地図情報上に重ねて表示するので、動画情報、地図情報、さらには、地図情報と連携した付加情報をリアルタイムに同時に表示することが可能となり、より深く、現地の様々な情報を理解することが可能となる。
【図面の簡単な説明】
【図１】本発明の動画像処理方法を実現する動画処理装置の好ましい実施の形態を示すブロック図である。
【図２】本発明の動画像処理方法を実現する動画処理装置内の状態遷移を示す模式図である。
【図３】動画編集時に、本発明の動画像処理方法を実現する動画処理装置の表示部に表示される表示画面の一例である。
【図４】本発明の動画像処理方法を実現する動画処理装置によって合成及び記録された動画データの再生時の表示画面の一例である。
【符号の説明】
１０１　車両
１０２　カーナビゲーションシステム
１０３　動画再生装置
１０４　動画記録媒体
１０５　動画処理装置
１０６　制御部（ＣＰＵ）
１０７　記録媒体Ｉ／Ｆ部
１０８　動画再生装置Ｉ／Ｆ部
１０９　地図データベース
１１０　画像合成部
１１１　動画記録部
１１２　ユーザ入力部
１１３　表示部
１１５　記録媒体
３０１　第１のウィンドウ
３０２　第２のウィンドウ
３０３　第３のウィンドウ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to editing of a moving image (hereinafter, also referred to as a moving image or a video) shot using a video camera or the like when traveling or reporting using a vehicle such as an automobile equipped with a car navigation system. The present invention relates to a moving image processing method in a moving image processing device (moving image processing device) that performs the following.
[0002]
[Prior art]
2. Description of the Related Art In recent years, home video cameras have been reduced in cost and size, and can be easily carried and photographed during travel and business. In addition, when traveling or reporting using a car (hereinafter, also referred to as a car or a vehicle), it is possible to shoot using a video camera while traveling by car or at various tourist attractions. Furthermore, video cameras are becoming more digitized and more compatible with networks, and by connecting to a personal computer, it has become possible to easily edit a shot moving image.
[0003]
Such editing of a moving image includes an after-recording operation for blowing voice such as narration into a shot video, a telop operation for weaving characters on a screen, and a screen synthesizing operation for synthesizing a plurality of screens. By adding the above-described effects to the captured video, it is possible to edit a record of a valuable trip or coverage, and the degree of completion as video content is enhanced.
[0004]
On the other hand, Japanese Unexamined Patent Publication No. 8-219796 discloses a car navigation system capable of inputting or outputting user's original information including audio or video in association with map information. This allows the user to accumulate and utilize, for example, empirical information on a route that has been traveled once, guidance information for guiding a friend who visits for the first time to home, and the like, It is possible to virtually experience traveling to a destination that has not been visited by a car navigation system. As a result, the convenience of a navigation system such as a car navigation system and the added value thereof can be enhanced.
[0005]
[Problems to be solved by the invention]
However, if the recorded video is played back after the trip, it is only the photographer or accompanying person who knows where the video was shot or where the video is being moved. If it is shown to a third party who did not have it, it is necessary to explain it one by one while the video is being reproduced. For this reason, it is possible to include such information in the recorded video by verbally guiding the place and time at the time of shooting, but the situation at the time of shooting is blown every time shooting is performed This is troublesome, and in particular, in the case of a sightseeing trip or the like, if a recording method for reporting a situation at the time of shooting is performed, a problem arises that the atmosphere of the trip is spoiled.
[0006]
Further, according to the technique disclosed in Japanese Patent Application Laid-Open No. 8-219796, it is possible to perform navigation more easily by using a voice or a moving image when re-passing a route that has been taken before. The original information and the map information (display screen of the car navigation system) are displayed only on the display device connected to the car navigation device, that is, this function can be used only in the vehicle.
[0007]
Although it is possible to use a video taken by a video camera or the like as original information, it is impossible to associate such a video with position information and time information in a car navigation system. In addition, the information displayed at the same time as the shooting video is only a map, and information on local specialties in this area and information on whether this hotel has a hot spring (detailed spot information on the spot) Are not displayed unless the user performs the operation one by one.
[0008]
In view of the above problems, the present invention provides a moving image processing method capable of displaying an image captured by a video camera or the like so that the location where the image was captured can be clearly identified. With the goal.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, in the present invention, the location at which the moving image was captured is determined from the time information of the moving image information using the position information and the time information of the vehicle recorded by the car navigation system mounted on the vehicle. Judgment is made, and a map near the shooting location is displayed together with the moving image.
[0010]
That is, according to the present invention, while a vehicle equipped with a car navigation system indicating the position information of the vehicle is moving, the moving image information captured by the imaging means mounted on the vehicle is recorded, and the moving image information is recorded. A moving image processing method for recording position information indicating a recorded location and time information indicating a recording time of the moving image information,
A reproducing step of reproducing moving image information from the moving image information recording medium on which the moving image is recorded,
A reading step of reading out position information and time information matching the moving image information reproduced in the reproduction step from the position time information recording medium on which the position information and the time information are recorded,
Reading map information corresponding to the position information from a map database of the car navigation system;
Displaying the map information together with the moving image information,
A moving image processing method having the same.
[0011]
Further, when additional information corresponding to the position information exists in the map database, displaying the additional information together with the moving image information and the map information is a preferred embodiment of the present invention.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the moving image processing method of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a preferred embodiment of a moving image processing apparatus for realizing the moving image processing method of the present invention. The moving image processing device 105 includes a control unit (CPU) 106, a recording medium I / F unit 107, a moving image reproducing device I / F unit 108, a map database 109, an image synthesizing unit 110, a moving image recording unit 111, a user input unit 112, and a display. A portion 113 is provided.
[0013]
The control unit 106 is a unit that integrally controls each unit inside the moving image processing apparatus, and can be realized by, for example, a CPU or predetermined software. The recording medium I / F unit 107 is an interface that allows a recording medium 115 described later to be inserted and data recorded in the recording medium 115 to be read. The moving image reproducing device I / F unit 108 is an interface for communicating with an external moving image reproducing device, and can be realized by, for example, an IEEE1394 or USB interface board.
[0014]
The map database 109 is means for storing map data, spot information, and the like, and can be realized by a CD-ROM, DVD, HDD, or the like. Further, the image synthesizing unit 110 is configured to control the captured image read from the moving image reproducing device 103 via the moving image reproducing device I / F unit 108, or the image or the image such as the map data or the additional information read from the map database 109. Is a means having a function of generating one moving image data by synthesizing, for example, a CPU, predetermined software, a dedicated LSI, or the like.
[0015]
The moving image recording unit 111 is a unit that records and stores the moving image data generated by the image combining unit 110, and can be realized by, for example, an HDD. Here, the mode in which the moving image processing device 105 includes the moving image recording unit 111 is described. However, the moving image recording device 111 is provided externally, and the moving image processing device 105 is provided with an externally provided moving image recording unit. It is also possible to record moving image data in the unit 111. The user input unit 112 is a unit that enables a user to input information and operate the moving image processing device 105, and can be realized by, for example, a keyboard, a mouse, an operation switch, and the like. The display unit 113 is, for example, a display unit such as a display monitor, and can display information necessary when a user edits moving image data. Note that the moving image synthesizing apparatus 105 can be realized by a PC (Personal Computer) on which image synthesizing software is mounted.
[0016]
FIG. 1 shows a vehicle 101 on which a car navigation system 102 is mounted. The car navigation system 102 mounted on the vehicle 101 is connected to a recording medium 115 from which data can be read by the above-described recording medium I / F unit 107, and the position information of the vehicle 101 detected by a GPS system (not shown) or the like. And the time information thereof on the recording medium 115 at predetermined time intervals. The recording medium 115 is preferably a removable (portable) recording medium, and can be realized by a general-purpose recording medium.
[0017]
Further, FIG. 1 shows a moving image reproducing apparatus 103. The moving image reproducing apparatus 103 has a function of reproducing a moving image recording medium 104 such as a video cassette, for example, and transmits a reproduced image of moving image data to the moving image processing apparatus 105 via the moving image reproducing apparatus I / F unit 108. It is possible to supply. It should be noted that a video deck for reproducing a video cassette or the like can be used as the moving image reproducing device 103, and the digital video camera itself used at the time of shooting can also be used.
[0018]
Next, data to be prepared before moving image editing by the moving image processing method of the present invention will be described. At the time of editing a moving image, the data to be supplied to the moving image processing device for realizing the moving image processing method of the present invention includes the position information and time information of the vehicle 101 recorded on the recording medium 115 by the car navigation system, and the moving image reproducing device. This is a reproduced video of the moving image data supplied from the video data 103.
[0019]
The position information and the time information of the vehicle 101 are recorded on the recording medium 115 by the car navigation system 102 as described below, for example. First, the user connects the recording medium 115 to the car navigation system 102 in the vehicle 101 before driving the vehicle, and enables the car navigation system 102 to write data to the recording medium during driving the vehicle.
[0020]
As described above, the car navigation system 102 records the position information (the coordinates of the latitude and longitude where the vehicle exists) and the time information of the vehicle 101 detected by a GPS system or the like (not shown) every predetermined period. It has a function of recording on the medium 115. For example, the position information and the time information are recorded on the recording medium 115 in the following format.

In the above description, an example in which the position information is recorded on the recording medium 115 every five seconds (predetermined time) is shown, but it is possible to set an arbitrary time interval.
[0021]
After driving the vehicle (after returning home), the user takes out the recording medium 115 from the vehicle 101 and connects the recording medium 115 to the moving image processing device 105, so that the position information and the time information of the driving vehicle 101 can be displayed in the moving image. It can be supplied to the processing device 105.
[0022]
On the other hand, before driving the vehicle, the user sets the moving image recording medium 104 in a moving image photographing device on a digital video camera or the like, gets on the vehicle 101, and during a series of leaving times from before the vehicle driving to after the vehicle driving, Using this moving image photographing apparatus, photographing a scene outside the vehicle or the like is performed. After driving the vehicle (after returning home), the user takes out the recording medium 104 from the moving image photographing device and sets it on the moving image reproducing device 103, or directly reproduces the moving image from the moving image photographing device using an IEEE1394 cable or a USB cable. By connecting to the moving image processing device 105 as the device 103, it is possible to supply the moving image processing device 105 with a playback image of moving image data captured during a series of out-of-home times from before driving to after driving. .
[0023]
Next, a moving image processing method according to the present invention performed after the preparation for the moving image editing is completed will be described. FIG. 2 is a schematic diagram showing a state transition in the moving image processing apparatus that realizes the moving image processing method of the present invention. FIG. 2 shows an operation of a representative processing process in the control unit of the moving image processing device 105. Also, codes from a to t are assigned to each transition state, and numbers from (1) to (5) are assigned to signals for passing information between processes indicated by thick arrows. The operation in the moving image processing method of the present invention will be described with reference to the schematic diagram showing the state transition of FIG.
[0024]
FIG. 2 illustrates a moving image control process, a user I / F process, a vehicle position acquisition process, a map control process, and an additional information process as typical processing processes in the control unit of the moving image processing device 105. The user I / F process is a processing process for inputting and outputting data in the user input unit 112 and mainly for acquiring user input information. The moving image control process is a processing process for inputting and outputting data to and from the moving image reproducing device 103 and the display unit 113, and mainly for controlling the moving image reproducing device 103, processing moving image data, and acquiring time information. The vehicle position acquisition process is a processing process for inputting and outputting data to and from the recording medium 115, and mainly for acquiring vehicle position and time information.
[0025]
The map control process is a processing process for inputting and outputting data in the map database 109 and the display unit 113, and mainly for acquiring map data, performing processing for displaying map data, pasting additional information icons, and the like. is there. The additional information process is a processing process for inputting and outputting data in the map database 109, and mainly for acquiring additional information and displaying and controlling the additional information. Note that, for example, there are other processing processes for inputting and outputting data to and from the image synthesizing unit 110 and the recording unit 111;
[0026]
The user instructs the moving image processing apparatus 105 to "start reproduction" using the user input unit 112, and upon receiving the input, the moving image processing apparatus performs the following processing. First, the user I / F process of the moving image processing apparatus 105 receives an input from the user, recognizes the input, and shifts from [a: idle state] to [b: instruct each process]. Since the input from the user is the instruction of "playback start", the user I / F process sends a signal "1" of "playback start" to the moving picture control process, and returns to [a: idle state]. Also, when the user instructs the moving image processing apparatus 105 to “stop playback” using the user input unit 112, the same processing as the above-described instruction to “start playback” is performed. A signal {circle around (1)} of "reproduction stop" is sent to the moving image control process.
[0027]
In response to the signal (1) of “start reproduction”, the moving image control process shifts from [c: idle state] to [d: start reproduction], and the moving image reproducing device 103 via the moving image reproducing device I / F unit 108. The instruction of "start reproduction" is given to [d: start reproduction], and shift to [e: acquisition of moving image data]. In response to the instruction of “start reproduction”, the moving image reproducing device 103 reproduces the moving image data recorded on the moving image recording medium 104 and outputs the reproduced data to the moving image processing device 105. Note that the format of the reproduced video stream output from the moving image reproducing apparatus is various formats having a frame configuration in which time information at the time of recording is inserted, such as a DV format stream, an MPEG1 / 2 stream, and a motion JPEG stream. It is possible to use.
[0028]
The moving image processing device 105 receives the reproduced video stream from the moving image reproducing device 103 via the moving image reproducing device I / F unit 108 in [e: obtaining moving image data] of the moving image control process, and converts the frame of the reproduced video stream into a synchronous header. Recognition is performed using a code or the like, and the process shifts from [e: obtaining moving image data] to [f: reading time information]. Then, from the frames of the playback video stream received from the video playback device 103, a field containing time information is searched for and obtained, and a signal [4] of "time information" is sent to the vehicle position obtaining process, The processing shifts from [f: read time information] to [g: display output]. Then, a predetermined decoding process is performed on the frame of the reproduced video stream to generate a displayable video signal, and the video signal is output (displayed) to a first window 301 (see FIG. 3 described later) of the display unit 113. ).
[0029]
When receiving a signal (2) indicating “stop playback” from the user I / F process, the process shifts to [h: stop playback] and plays back the moving image via the moving image playback device I / F unit 108. The apparatus 103 is instructed to "stop reproduction" and returns to [c: idle state]. On the other hand, if the signal (2), which is an instruction of “reproduction stop”, has not arrived from the user I / F process, the process again shifts to [e: acquisition of moving image data], and the next frame of the reproduction video stream is reproduced. Perform processing.
[0030]
On the other hand, the vehicle position acquisition process changes from [i: idle state] to [j: time designation] in response to the signal [4] of “time information” transmitted in [f: time information read] of the moving image control process. The process proceeds to refer to the time information recorded in the recording medium. Then, the process shifts from [j: time designation] to [k: coordinate acquisition], and the coordinates indicating the position of the vehicle at that time (that is, the position information recorded in the recording medium in association with the time information). Is read from the recording medium, and a signal (5) of this "position information" is sent to the map control process, and the process returns to [i: idle state].
[0031]
The map control process receives the signal (5) of "position information" transmitted in [k: coordinate acquisition] of the vehicle position acquisition process, and shifts from [l: idle state] to [m: coordinate designation]. Refer to the received location information. Then, the process shifts from [m: coordinate designation] to [n: map data acquisition], acquires map data corresponding to the position (coordinate) from the map database 109, and maps data corresponding to the position (coordinate). A symbol such as a triangle sign indicating that the vehicle is present is added to a predetermined location in the box.
[0032]
Further, it is determined whether or not there is additional information within the range of the acquired map data. If there is additional information, the process moves from [n: map data acquisition] to [o: icon pasting] to link the acquired map data with the additional information object file stored in the map database 109. Then, an icon or symbol with the embedded code is added, and the process proceeds to [p: display output]. Examples of the type of the additional information include local information such as an introduction of a tourist attraction, a special product, a description of a store, an Internet address (URL: Uniform Resource Locator), an advertisement banner, and the like. However, it is also possible to use a multimedia object file containing video and audio.
[0033]
On the other hand, when there is no additional information, the process shifts from [n: map data acquisition] to [p: display output]. Then, in [p: display output], the map control process generates a video signal from the map data processed in [n: map data acquisition] or [o: icon pasting], and the second window of the display unit 113 The video signal is displayed at 302 (see FIG. 3 described later), and the process returns to [1: idle state].
[0034]
The processes in the user I / F process, the moving image control process, the vehicle position acquisition process, and the map control process are adjusted to the video (each frame of the reproduced video stream or a frame existing at a predetermined interval) reproduced by the video reproducing device. In real time, the video reproduced from the moving image data recorded on the moving image recording medium is displayed at a predetermined position (first window 301) on the display screen of the display unit 113. In another location (second window 302), it is possible to simultaneously display a video (image) of a map indicating the location where the video being reproduced in the first window 302 was captured. Therefore, for example, it is possible to display an image of the scenery of a car window in the first window 301 and to scroll and display the map in real time like a display screen in a car navigation system in the second window 302. Become.
[0035]
In addition, when the icon pasting process is performed on the map data in [o: Paste icon] and an icon indicating that additional information is present is displayed on the second window, the user inputs the icon. When this icon is selected (for example, double-clicked with a mouse) using the unit 112, the following processing is performed.
[0036]
First, the user I / F process of the moving image processing apparatus 105 receives an input from the user, recognizes the input, and shifts from [a: idle state] to [b: instruct each process]. Since the input from the user is an instruction of "display additional information", the user I / F process sends a signal "3" of "display additional information" to the additional information process, and returns to [a: idle state].
[0037]
Upon receiving the signal (3) of “display additional information”, the additional information process shifts from [q: idle state] to [r: link code designation], and acquires the link code embedded in the selected icon. I do. Then, the process shifts from [r: specify link code] to [s: obtain additional object], obtains an additional information object file corresponding to the link code from the map database 109, and changes from [s: obtain additional object] to [s: obtain additional object]. t: Execute object], and executes the acquired additional object file. Although not shown in FIG. 2, if the additional information object file is executed at [t: execute object], a third window 303 (see FIG. 3 described later) is generated, Additional information is displayed in the third window 303.
[0038]
When the user selects an icon pasted on the map data by the processing in the above additional information process, additional information related to the selected icon can be further displayed in the third window 303. It becomes. Therefore, while viewing the video on the first window 301 and the map on the second window 302, for example, the user further outputs detailed information such as spot information related to these displays to the third window. It can be obtained from the window 303.
[0039]
FIG. 3 is an example of a display screen displayed on a display unit of a moving image processing apparatus that implements the moving image processing method of the present invention when editing a moving image. The display unit 113 of the moving image processing device 105 displays a first window 301, a second window 302, and a third window 303. In the first window, a video related to the reproduced video stream acquired from the moving image reproducing device 103 is displayed. Further, in the second window 302, a map indicating a place where the video of the first window is captured is displayed. Further, in the third window 303, additional information related to the icon pasted on the map of the second window 302 is displayed.
[0040]
Furthermore, the image combining unit 110 of the moving image processing device 105 can combine the images or images displayed in the first to third windows shown in FIG. 3 to generate one moving image data. That is, the image synthesizing unit 110 of the moving image processing device 105 adjusts the video of the first window 301, the map video of the second window, and the video related to the additional information of the third window to predetermined positions and sizes. It is also possible to combine them on one display screen and record this display screen as one moving image data in the moving image recording unit 111.
[0041]
FIG. 4 is an example of a display screen when reproducing moving image data synthesized and recorded by the moving image processing apparatus that implements the moving image processing method of the present invention. Various formats such as MPEG1 / 2 and motion JPEG can be used as the format of the moving image data to be generated and recorded, and the present invention does not particularly limit such formats. However, since it is impossible to control the display / non-display of the additional information when reproducing the moving image data recorded in the moving image recording unit 111, the display / non-display of each additional information is previously performed when the moving image data is recorded. It is preferable to provide a function that allows specification, and to enable the user to arbitrarily select whether or not to embed additional information in the moving image data.
[0042]
The moving image data recorded in the moving image recording unit 111 in this manner can be reproduced any number of times, and the moving image data is transferred to an external recording means such as a video cassette, DVD, or CD-ROM. By recording, moving image data can be transferred to another PC or the like.
[0043]
Further, even if the recording medium 115 and the map database 109 are not provided, it is also possible to generate an object file that performs the same processing as the above operation and record it in the moving image recording unit 111. That is, it is also possible to record an object file capable of generating a map image, additional information, and the like related to the video displayed in the first window 301 in the moving image recording unit. Thereby, for example, by executing the above-described object file on a PC in accordance with the video in the moving image recording medium 104, it becomes possible to display a map, additional information, and the like at a desired timing. It is possible to introduce a non-target interactive video, and a third person who sees the video does not get bored. In particular, the display screen shown in FIG. 3 and the display screen of the combined and recorded moving image data shown in FIG. 4 can also be used as a tool for introducing a travel agency to travel to each region. is there.
[0044]
According to the present invention, the following inventions are provided in addition to the inventions described in the claims.
(1) In the moving image processing method according to claim 1 or 2, further, the moving image information displayed on the display unit and the map information displayed on the display unit are combined on one screen, A moving image processing method having a step of creating one piece of moving image data.
(2) The moving image processing method according to claim 2, further comprising a step of displaying the additional information on the display means when information indicating the additional information is selected by a user. Moving image processing method.
(3) The moving image processing method according to claim 2, further comprising a step of executing an object file capable of displaying the additional information when information indicating the additional information is selected by a user. A moving image processing method characterized in that:
As the map database, the one used by the car navigation system 102 can be used, and the moving image processing device 105 and the car navigation system 102 are integrally configured to share the map database 109. It is also possible.
[0045]
【The invention's effect】
As described above, according to the present invention, the location where the moving image was captured is obtained from the time information of the moving image information by using the position information and the time information of the vehicle recorded by the car navigation system mounted on the vehicle. And a map near the shooting location is displayed along with the moving image, so it is possible to display a video that was shot with a video camera etc. so that the shooting location of the video can be clearly understood. For example, a third person who watches this display screen can get into the atmosphere of enjoying the scenery of the vehicle window while actually getting into the vehicle and looking at the display screen of the car navigation system. It is possible to enjoy the travel record.
[0046]
Furthermore, according to the present invention, when the additional information corresponding to the position information is present on the map database, the information indicating that the additional information is present is displayed so as to overlap the map information displayed on the display means. , Moving image information, map information, and additional information linked with the map information can be simultaneously displayed in real time, and it is possible to deeply understand various local information.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a preferred embodiment of a moving image processing apparatus for realizing a moving image processing method of the present invention.
FIG. 2 is a schematic diagram showing a state transition in a moving image processing apparatus for realizing the moving image processing method of the present invention.
FIG. 3 is an example of a display screen displayed on a display unit of a moving image processing apparatus that implements the moving image processing method of the present invention when editing a moving image.
FIG. 4 is an example of a display screen when reproducing moving image data synthesized and recorded by a moving image processing apparatus that implements the moving image processing method of the present invention.
[Explanation of symbols]
101 vehicle
102 Car navigation system
103 Video playback device
104 Video recording media
105 video processing device
106 control unit (CPU)
107 Recording medium I / F section
108 Video playback device I / F section
109 Map Database
110 Image Synthesis Unit
111 Movie Recorder
112 User input section
113 Display
115 Recording medium
301 First window
302 Second window
303 Third Window

Claims

車両の位置情報を示すカーナビゲーションシステムを搭載した車両が移動中に前記車両に搭載された撮像手段によって撮像された動画像情報を記録するとともに、前記動画像情報の記録された場所を示す位置情報及び前記動画像情報の記録された時間を示す時間情報を記録する動画像処理方法であって、
前記動画像を記録した動画像情報記録媒体から動画像情報を再生する再生ステップと、
前記位置情報及び前記時間情報を記録した位置時間情報記録媒体から前記再生ステップにて再生された動画像情報に合致した位置情報及び時間情報を読み出す読み出しステップと、
前記位置情報に対応した地図情報を前記カーナビゲーションシステムが有する地図データベースより読み出すステップと、
前記動画像情報と共に前記地図情報を表示するステップとを、
有する動画像処理方法。While the vehicle equipped with the car navigation system indicating the position information of the vehicle is moving, the moving image information captured by the imaging means mounted on the vehicle is recorded, and the position information indicating the location where the moving image information is recorded is recorded. And a moving image processing method for recording time information indicating the recorded time of the moving image information,
A reproducing step of reproducing moving image information from the moving image information recording medium on which the moving image is recorded,
A reading step of reading out position information and time information matching the moving image information reproduced in the reproduction step from the position time information recording medium on which the position information and the time information are recorded,
Reading map information corresponding to the position information from a map database of the car navigation system;
Displaying the map information together with the moving image information,
Moving image processing method.

前記位置情報に対応する付加情報が前記地図データベースに存在する場合、前記付加情報を前記動画像情報及び前記地図情報と共に表示することを特徴とする請求項１に記載の動画像処理方法。The moving image processing method according to claim 1, wherein when additional information corresponding to the position information exists in the map database, the additional information is displayed together with the moving image information and the map information.