JP4109985B2 - Video information display device - Google Patents
Video information display device Download PDFInfo
- Publication number
- JP4109985B2 JP4109985B2 JP2002376437A JP2002376437A JP4109985B2 JP 4109985 B2 JP4109985 B2 JP 4109985B2 JP 2002376437 A JP2002376437 A JP 2002376437A JP 2002376437 A JP2002376437 A JP 2002376437A JP 4109985 B2 JP4109985 B2 JP 4109985B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- shooting
- map
- information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Instructional Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、映像情報表示装置に関し、特に、映像とその撮影位置、撮影方向、撮影時刻等の撮影情報を管理する撮影情報のデータベース技術に関するものである。
【0002】
【従来の技術】
従来、一般的な撮影情報の位置との対応付けの例では、自動車やトラックの運行管理のためにいろいろな地点の道路状況をビデオカメラで撮影してビデオテープに記録し、事務所に持ち帰って各地点の映像を再生する必要がある場合、まず撮影時点でカメラに貯えられているテープカウンタやタイマカウンタを利用して、撮影者が自分で撮影地点とそのカウント値を対応付けて記録しておき、再生時にその記録データを参考にして所望の地点の道路状況の映像を再生するようにしている。
【0003】
また、地図上の地点に映像を関連付ける市販の地図表示ソフトウェアの例では、撮影した映像を地図上の特定の地点と対応付けることができるが、その対応付けは操作員が撮影情報をどの位置と対応付けるか指示する必要があった。また、対応付けた映像は地図上の対応した地点をマウス等の入力装置で指示すると映像が表示できる。
【0004】
また、映像と地図情報を自動的に対応付ける例として、例えば特開平7−248726号公報に示された従来のGPS利用位置映像データ収集およびその再生装置がある。この例では、映像撮影時に位置情報と映像管理データベースを作成する仕組みになっており、撮影時に映像の内部アドレスと位置情報をマッチングしながら記録していくための装置であるアドレス情報マッチング手段が必要である。対応付けた映像は地図上の対応した地点をマウス等の入力装置で指示し、撮影日時をキーボード等で指定すると指定した地点の指定した撮影時間の映像が表示される。
【0005】
【発明が解決しようとする課題】
しかしながら、上述した従来例では下記のような問題点があった。
地図上に対応付けてある動画映像を再生表示するときに、その動画映像を最初から最後まで通して見ることしかできなかったので、例えばある交差点付近の100mの映像といったように見たい範囲だけ見ることができないという問題点があった。
【0006】
また、例えば道路に沿って撮影した映像が地図上に対応付けてあるとき、その映像を再生表示しても映像が1km以上にわたって撮影されている時等は長時間の映像なので、どの地点でどのような映像が撮影されているかの位置関係がわからなくなるという問題点があった。
【0007】
また、例えば道路に沿って撮影した映像が地図上に対応付けてあるとき、地図上にはマークで対応付けてあることが示してあるが、地形や建物の形状を考慮していないので、その位置から撮影した映像にどの範囲まで写っているかがよくわからないという問題点があった。
【0008】
この発明は上記のような問題点を解決するためになされたもので、移動しながらまたは撮影方向を変えながら撮影した映像と映像を撮影したときの撮影情報とを容易に検索することができる映像情報表示装置を得ることを目的とする。
【0009】
【課題を解決するための手段】
この発明に係る映像情報表示装置は、撮影した映像を蓄積した記録媒体と、上記映像の撮影位置を示す情報および撮影方向を示す情報を含む撮影情報を上記映像と対応付けて蓄積した映像データベースと、上記撮影位置を含んだ地域の地図情報を表示する地図情報表示手段と、上記撮影位置の情報と上記地図情報表示手段によって表示された地図上の座標点とを対応付ける対象位置対応手段と、上記対象位置対応手段による対応付けに基き上記撮影位置を上記地図上に表示するとともに、立体地図情報から得た地形の高低と建物の高さのデータ、上記撮影位置を示す情報および上記撮影方向を示す情報に基き上記撮影位置においてどの地点まで映像に写っているかを上記地図上に表示する撮影範囲表示手段とを備えたものである。
【0010】
【発明の実施の形態】
図1はこの発明に係る映像情報表示装置の全体構成図である。
映像情報表示装置のハードウェア構成としては、コンピュータ装置100と、マウス200と、キーボード300及びディスプレイ装置400をもつ。
【0011】
コンピュータ装置100の内部には、映像と撮影情報を蓄積して管理するデータベース部となる地図情報電子データ部101と、映像を検索して表示の指示を行う検索表示ソフトウェア部102と、映像をディスプレイ装置に表示する映像表示部103と、地図をディスプレイ装置に表示する地図表示ソフトウェア部104と、入力手段から地図上に入力を行うインターフェイスソフトウェア部105と、地図で表示する画面上の座標と緯度経度である実際の位置を変換する座標変換ソフトウェア部106と、映像以外の関連情報を検索表示する情報表示ソフトウェア部107と、データベースにデータを蓄積するデータ蓄積ソフトウェア部108を有する。また、コンピュータ装置100の内部の記録媒体または外部の記録媒体に蓄積しておいて利用するデータとして、地図情報電子データ部内の地図のイメージ情報である地図情報7と、撮影情報電子データ部内の撮影情報4と映像3の電子ファイルである撮影関連電子データをもつ。
【0012】
ここで、上記地図情報電子データ部101は、映像データベース5を内蔵し、上記検索表示ソフトウェア部102は、映像検索手段2、軌跡表示手段10、撮影情報地図上表示手段11、対象範囲検索手段18、移動軌跡検索手段20、代表画面表示手段21、代表画面移動表示手段22、撮影範囲表示手段23、指示位置確認手段25及び指示位置表示手段26を内蔵している。
【0013】
また、上記映像表示部103は、映像情報再生手段1、動画強調手段27及び定点映像時間順表示手段16を内蔵し、上記地図表示ソフトウェア部104は、地図情報表示手段8を内蔵し、上記インターフェイスソフトウェア部105は、映像軌跡指示手段12、映像軌跡区間指示手段13、対象位置入力手段14、対象位置検索手段15、対象範囲入力手段17及び移動軌跡入力手段19を内蔵する。
【0014】
また、上記座標変換ソフトウェア部106は、対象位置対応手段9を内蔵し、上記情報表示ソフトウェア部107は、関連情報表示手段24を内蔵し、上記データ蓄積ソフトウェア部108は、映像対応付け手段6を内蔵する。
これら各内蔵手段の機能については後述する各実施の形態で説明する。
以下、各実施の形態に従う構成とその動作及び効果について説明する。
【0015】
実施の形態1.
図2はこの発明の実施の形態1に係る映像情報表示装置の構成を示す構成図である。
図2において、1は映像を再生する映像再生手段、2は映像を検索して取り出す映像検索手段、3は撮影した映像の電子ファイル、5は撮影情報と映像に関連する関連情報を蓄積すると共に、これらと映像を特定するための電子ファイル名等の情報を対応付けて記録する映像データベースである。
【0016】
次に動作について説明する。
まず、操作員が撮影方向、撮影時間、撮影した場所等の撮影情報を検索キーとして映像検索手段2へキーボードやマウスを用いて撮影情報の検索指示をする。撮影した場所指定には、地図情報表示手段8がディスプレシ装置400に表示する例えば市街地地図のような地図上で、マウスを用いて地図上の1つの位置を指定することにより行う。地図情報表示手段8として市販の地図表示ソフトウェアを用いれば、マウスで指示した地図上の点が実際の地球上での経度緯度のソフトウェアで出力できるので、この経度緯度を秒単位まで記録して撮影した場所の指定として用いる。撮影方向は、キーボードから北方向から時計周りに何度傾いた位置かを度分秒で入力する。撮影時間は、キーボードから西暦年月日時分秒を入力する。
次に、映像検索手段2では、撮影情報を検索キーとして、映像データベース5からその撮影情報と一致する映像を特定するための映像特定情報を取り出す。ここで、映像特定情報とは、図3の映像情報に記述してあるように映像の電子ファイル名である。
映像データベース5には、映像を記録した電子ファイル1つに対して、ある位置における撮影時間、影位置記録、撮影方向の3種類のデータが対になった情報が、複数組対応付けて記録してある。撮影位置に番号を付けて管理してあり、位置ごとに異なる番号が撮影時間に従って昇順につけてある。
映像検索手段2では、操作員が指示した撮影時間、撮影位置、撮影方向に一致する撮影位置をこのデータベースの中から決定して、その撮影位置を含む映像特定情報を取り出す。撮影時間、撮影位置、撮影方向は全て指定する必要はなく、少なくとも一つ指定すればその条件にあった撮影位置を含む映像特定情報を取り出す。条件の一致する撮影位置がない場合、映像検索手段2の処理として自動的に条件を緩くして条件の一致する撮影位置を含む映像特定情報を取り出す。具体的には、時間は指示時刻から10秒前後とし、撮影位置の場合、東経北緯を前後1秒の範囲とし、撮影方向は5度前後の範囲とする。
【0017】
次に、映像検索手段2では、映像特定情報を元に映像を記録媒体3から取り出し、取り出した映像を映像再生手段1に渡す。これに基づき、映像再生手段1では、映像を再生する。映像の再生は、コンピュータ装置における市販の映像再生ソフトウェアを用いる。
【0018】
以上のように、実施の形態1によれば、映像データベース5では撮影情報として、撮影方向の情報をもっており、映像検索手段2では操作員の指示に従い撮影方向を検索キーとして映像を検索できるので、撮影位置だけで選んだ画像では見たい位置が写っていないこともあるが、撮影方向を合わせて指定することにより間違いなく見たい画像を検索して表示することができる。
【0019】
実施の形態2.
上述した実施の形態1では、既にデータベースに蓄積してある撮影情報を用いて映像を検索して表示しているが、次に、この撮影情報を映像データベースへ蓄積する場合に、操作員の労力がいらずに自動的に蓄積でき、かつ撮影時に特殊な手段を使わずに蓄積された撮影情報を利用できる実施の形態を示す。
【0020】
図4はこの発明の実施の形態2に係る映像情報表示装置の構成を示す構成図である。
図4において、図2に示す実施の形態1と同一部分は同一符号を示し、その説明は省略する。新たな符号として、4は撮影日時、撮影位置、撮影方向を含む撮影情報、6は撮影情報との対応付けを行い、対応付けの内容と撮影情報を映像データベース5に記録する映像対応付け手段である。
【0021】
次に動作について説明する。
まず、操作員が映像対応付け手段6へ対応付けたい映像の電子ファイル名と、その映像を撮影したときの撮影方向、撮影時間、撮影した場所等の記録である撮影情報の電子ファイル名を指示する。
操作員の指示はキーボードからファイル名を指示することにより行う。映像の電子ファイルと、撮影情報の電子ファイルは、MO等の補助記憶媒体に蓄積してあることを前提としている。
次に、映像対応付け手段6は、新しく映像に付ける電子ファイル名を決め、この新しい映像の電子ファイル名と撮影情報を映像データベース5に書き込む。
映像につける電子ファイル名は、映像データベース5に既に蓄積されている電子ファイル名以外のファイル名となるように決定する。具体的は登録日時により、1998年1月5日10時30分であれば、199801051030というファイル名にする。
【0022】
このとき、映像データベース5は、図3のように、各映像のファイル名とその映像における複数の撮影地点の撮影日時や撮影場所、撮影方向を情報として蓄積し、映像とその映像情報をファイル名で対応付け、映像情報のうち、ある撮影位置がその映像の何秒目の映像かをしりたい場合には、撮影日時を見ればわかるようになる。
対応付けの具体的方法を説明する。
撮影情報の電子ファイルには、複数の撮影時刻の日時、撮影位置の緯度と経度、撮影方向の角度、が1組になって、複数組記録してある。映像対応付け手段6は、これらの情報をすべて読み込み、撮影時刻の時間順に並べ変えて、1組が1行となるように映像データベース5に書き込む。各行は図3のように一番左側の列に前述の例で199801051030と記述した映像につける新しい電子ファイル名を記録し、次の列に、その撮影位置が撮影時刻の時間順の何番目かという撮影位置の番号を記録し、その次の列に撮影時間を記録し、その次の列に撮影した位置の経度緯度を記録し、その次の列に撮影方向の角度を記録する。撮影時刻の記録のある行数だけ記録する。
次に、映像対応付け手段で6は、操作員が指定した映像をコピーし、コピーした電子ファイルに新しい映像の電子ファイル名を付ける。
【0023】
以上のように、この実施の形態2によれば、別々に記録した映像と撮影情報を対応付けて蓄積する映像対応付け手段6により、撮影した映像と別に記録した撮影位置や撮影時間等の撮影情報を撮影情報ファイルの名称を指定するだけで映像データベース5に自動的に書き込むことにより、操作員が映像データベース5を構築する労力を軽減し、特殊な蓄積方法で撮影したデータでなくても容易にデータベース化できる。
【0024】
実施の形態3.
上述した実施の形態1では、操作員が指示した撮影情報に従った映像の検索ができるが、次に、撮影した位置を地図上に分かり易く表示する実施の形態を示す。
【0025】
図5はこの発明の実施の形態3に係る映像情報表示装置の構成を示す構成図である。
図5において、図2に示す実施の形態1と同一部分は同一符号を示し、その説明は省略する。新たな符号として、7は地図のイメージである地図情報、8は地図情報を表示する地図情報表示手段、9は地図上の座標と実際の経度緯度位置との数値変換を行う対象位置対応手段、10は地図上に撮影情報に基づいた撮影位置の軌跡を表示する軌跡表示手段である。
【0026】
次に動作について説明する。
まず、操作員が軌跡表示手段10へ撮影したときの位置の軌跡を地図上に表示するように指示する。これに基づき、軌跡表示手段10では、映像データベースから全ての撮影情報を読み出す。次に、軌跡表示手段10では、撮影情報に含まれる撮影位置の経度緯度情報を地図上での座標に変換するように対象位置対応手段9に依頼する。対象位置対応手段9では、対象となる地図上の座標に変換して軌跡表示手段10へ返す。
【0027】
ここで、経度緯度から地図上の座標への変換には、地図のイメージデータの座標の原点の経度と緯度と、縮尺としてイメージデータの1ドットが何mかという情報を地図情報として地図イメージデータと一緒に予め蓄積してあることとし、座標に変換する経度緯度と地図情報に含まれる地図イメージデータの原点の経度緯度の差を四則計算により求め、この経度緯度の差をメートルに換算し、座標に変換したい位置と地図イメージデータの原点の位置が東西南北どの方向に何メートル離れているかを算出し、この距離に従って原点からの位置を算出することにより計算する。
【0028】
次に、軌跡表示手段10では、地図情報表示手段8へ地図表示の指示を行う。これに基づき、地図情報表示手段8では、地図情報7を読み込み表示し、表示画面では図6の例のように道路や街区を表示する。地図の表示は市販の地図表示ソフトウェアを利用してもよい。
次に、軌跡表示手段10では、軌跡点の地図上の座標を利用して、地図上に軌跡を描いて表示する。軌跡の表示例は図7のようになる。
【0029】
ここで、図3の撮影情報に記述してあるファイル名1の映像の軌跡を地図上に表示する例を示す。ファイル名「1」では撮影位置として、3つの点の記録がある。この3点を時間の古い順にA、B、Cとすると、まずAの点を地図上に表示し、次にBの点を地図上に表示し、最後にCの点を地図上に表示し、A、B、Cを順番に結ぶ線を地図上に表示する。地図上に点や線を表示するしくみに以下に記す。
【0030】
地図情報表示手段8では、表示画面を階層的にもっていて、地図を表示している層の上に文字やグラフィックを描くことのできる表示層がある。この層に点や線を表示する。点や線を表示する位置について説明すると、A、B、Cの各点の位置はそれぞれ図3に示すように経度と緯度がわかる。A,B、Cの各点の経度緯度を上記と同じ手法によって地図上の座標位置に変換し、この位置を表示位置と決める。
【0031】
以上のように、この実施の形態3によれば、地図情報表示手段8により地図を表示し、軌跡表示手段10により、撮影情報に沿った撮影位置の軌跡を地図上に表示でき、道路等に沿って撮影した映像を地図と対応付けて表示する場合、地図上に撮影中の撮影位置の移動軌跡を表示することができ、映像の撮影位置を容易にしることができるようになる。
【0032】
実施の形態4.
上述した実施の形態3では、撮影した位置を地図上に分かり易く表示する実施の形態を示したが、次に、撮影方向や撮影日時を地図上に視覚的に表示する実施の形態を示す。
【0033】
図8はこの発明の実施の形態4に係る映像情報表示装置の構成を示す構成図である。
図8において、図5に示す実施の形態3と同一部分は同一符号を示し、その説明は省略する。新たな符号として、11は撮影した向きや時間等の撮影情報を地図上に表示する撮影情報地図上表示手段である。
【0034】
次に動作について説明する。
まず、操作員が撮影情報地図上表示手段11へ撮影情報表示を指示する。これに基づき、撮影情報地図上表示手段11では、映像データベース5から撮影情報を読み出す。次に、撮影情報地図上表示手段11では、撮影情報に含まれる撮影方向や撮影日時、撮影位置の変化から算出した移動速度を地図上に絵や文字で描く。撮影情報の表示例は、図9のようになり、ある撮影位置の撮影情報としては、カメラの絵の撮影位置を示し、ベクトルの矢印の大きさで移動速度を示し、撮影位置の横に撮影日時を示す。
【0035】
ここで、絵や文字を描く場所の特定方法であるが、図3に示すように、撮影位置には経度緯度情報を含んでいる。この経度緯度情報を、実施の形態3で示したように地図上の座標位置に変換し、この位置を表示位置とする。地図上に線を描く方法は実施の形態3と同じである。また、撮影日時等の文字情報は撮影位置に対応した地図上の座標の横に表示する。撮影方向は、図3のように撮影情報に撮影方向が含まれるので、この方向に向いたカメラの絵で表示する。
【0036】
以上のように、この実施の形態4によれば、撮影情報地図上表示手段11により、映像データベース5に蓄積してある撮影情報である撮影した方向や撮影時間を地図上に絵を用いて分かり易く表示できるので、いつどのようにどの方角を撮影したのかが分かりやすくなる。
【0037】
実施の形態5.
上述した実施の形態3では、撮影した位置を地図上に分かり易く表示する実施の形態を示してあり、さらに、実施の形態1では、映像を映像情報を用いて検索する実施の形態が示してある。次に、地図表示画面上で撮影の軌跡を選択することにより視覚的に映像を選択して検索する実施の形態を示す。
【0038】
図10はこの発明の実施の形態5に係る映像情報表示装置の構成を示す構成図である。
図10において、図5に示す実施の形態3と同一部分は同一符号を示し、その説明は省略する。新たな符号として、12は映像の軌跡を地図上で選択し、その軌道に対応した映像を映像検索手段2を介して検索して表示する映像軌跡指示手段である。
【0039】
次に動作について説明する。
操作員が地図表示画面上で表示してある軌跡を選択する。
ここで、軌跡の選択とは、図11に示すように、操作員の示した地図上の点と、既に表示してある撮影の軌跡を結んだ線の距離が、予め設定しておいた距離以内である場合に、その軌跡を選択したと映像軌跡指示手段12が判断することである。映像軌跡指示手段12は、選択した軌跡の地図上の点の位置を得て、対象位置対応手段9へ地図上の軌跡位置を経度緯度で示す実際の位置に変換する依頼をする。対象位置対応手段9では、操作員が選択した軌跡の点の実際の位置である経度情報を計算し、映像軌跡指示手段12へ送る。
対象位置対応手段9における画面表示した地図上の指定点の経度緯度への変換は以下のように行う。
地図のイメージデータの座標の原点の経度緯度と、縮尺としてイメージデータの1ドットが何メートルかという情報を地図情報として地図イメージデータと一緒に予め蓄積してあることとする。経度緯度に変換する座標上の点が原点から表示座標上の距離で南北方向と東西方向にどれだけ離れているかの距離を計算する。この距離にイメージデータの1ドットのメートル数を掛けると実空間で地図上の原点からの東西南北でどれだけ離れているかの距離が計算できる。原点からの距離として、北に100メートル、西に50メートルであったとする。地図上の原点の緯度経度付近における経度緯度の1秒のずれにつき何メートル離れるかという計算値は容易に計算できるので、この値が仮に緯度で1秒25メートル経度で1秒20メートルであったとすれば、原点からの距離からこの値を割ることにより、地図の原点の経度緯度よりも北に4秒、西に2秒ずれている地点の経度緯度が操作員の指示した地図上の位置の実空間での経度緯度である。
【0040】
映像軌跡指示手段12は、実際の位置を検索キーとして、映像検索手段2へ映像の検索を依頼する。映像検索手段2は、実際の位置を検索キーとして映像データベース5を検索し、映像のファイル名を取り出す。映像検索手段2は、該当する映像のファイルを取り出し、映像再生手段1へ映像のファイルを送る。これに基づき、映像再生手段1では、その映像を再生する。
映像検索手段2において、位置に基づく検索は以下のように行う。
図3で示すように、映像データベースには、撮影した映像の撮影位置の経度緯度が記録してある。これが秒単位で記録してあるとする。撮影位置の経度緯度が操作員が指定した地図上の位置の経度緯度との差が予め設定しておいた範囲以内の場合、この撮影位置を含む映像のファイル名を検索結果とする。予め設定しておく経度緯度の差は例えば経度、緯度共に5秒前後という値になる。
【0041】
以上のように、この実施の形態5によれば、映像軌跡指示手段12を備えることで、操作員が地図上で指示した点に一番近い軌跡で示される映像を再生表示することができ、地図上で対応付けてある映像を検索して再生表示する場合、地図上に表示してある撮影位置の移動軌跡を選択できるので、複数の映像が地図上に対応づけられていても、見たい位置が写っている映像を撮影位置の軌跡を見ながら間違いなく検索できる。
【0042】
実施の形態6.
上述した実施の形態5では、地図上で選択した軌跡で示される映像を検索して表示する例を示したが、次に映像が例えば道路に沿って長距離に渡って撮影されているときなどに、特定の区間の映像だけを検索して再生表示する実施の形態を示す。
【0043】
図12はこの発明の実施の形態6に係る映像情報表示装置の構成を示す構成図である。
図12において、図10に示す実施の形態5と同一部分は同一符号を示し、その説明は省略する。新たな符号として、13は映像の軌跡のある1部分の区間を地図上で選択し、その軌道に対応した映像を映像再生手段を介して検索して表示する映像軌跡区間指示手段であり、図10に示す実施の形態5の映像軌跡指示手段12と入れ替わっている。
【0044】
次に動作について説明する。
操作員が地図表示画面上で表示してある軌跡の区間を2端点で選択する。
ここで、端点の選択とは、実施の形態5と同じように行い、操作員の指示した地図上の点と最も近い軌跡上の映像の撮影位置である点を示す。
映像軌跡区間指示手段13は、選択した軌跡の地図上の2点(始点、終点)の位置を得て、この2点について、対象位置対応手段9へ地図上の軌跡位置を経度緯度で示す実際の位置に変換する依頼をする。
【0045】
対象位置対応手段9では、操作員が選択した軌跡の2点の実際の位置を実施の形態5にように計算し、映像軌跡区間指示手段13へ送る。映像軌跡区間指示手段13は、2点の実際の位置である経度情報を検索キーとして、映像検索手段2へ映像の検索を依頼する。
映像検索手段2は、2点の実際の位置を検索キーとして映像データベース5を検索し、映像のファイル名を取り出す。
映像検索手段2は、実施の形態5における映像検索手段2と同じ処理により、始点として指定した位置に近い撮影位置と、終点と指定した位置に近い撮影位置を検索し、この2つの撮影位置の両方が一つの撮影記録にある映像のファイル名を選択する。
【0046】
映像検索手段2は、その映像の撮影位置の2地点がそれぞれ何時に撮影されたものかを撮影情報から調べ、その2地点の古い方の時間を再生開始時間とし、新しい方の時間を再生終了時間として映像再生手段1へ映像のファイルを送り再生を指示する。これに基づき、映像再生手段1では、指定された再生開始時間と再生終了時間の間の映像を再生する。
映像再生手段1における指定時間の映像再生は以下のように行う。
映像再生手段1は、映像検索手段2から受け取った映像のファイル名をキーとして、映像データベース5の内容を参照し、この映像のファイル名の最初の撮影位置の撮影時間を取り出す。この撮影時間から、再生開始時間、再生終了時間が夫々何秒後かを加減算により計算する。それぞれ20秒、25秒であったとする。映像の動画像ファイルには、映像が時間順に多量に蓄積されていて、予め1秒間の撮影時間における映像のコマ数が決まっていることとする。例えば1秒間に20コマであったとする。この場合、映像再生手段1は、20秒かける20コマである先頭から400コマ目から映像を再生し、25秒かける20コマである先頭から500コマ目まで再生する。
【0047】
以上のように、この実施の形態6によれば、映像軌跡区間指示手段13では、操作員が地図上で指示した軌跡の区間の映像を再生表示することができるので、地図上で対応付けてある映像を検索して再生表示する場合、例えば道路に沿って何キロメートルも撮影した映像であってもある交差点から次の交差点の範囲というように見たい範囲の映像だけを見ることができ、不要に長い映像を見て見たい位置の写っている映像を検索する必要はなくなるという効果がある。
【0048】
実施の形態7.
上述した実施の形態3では、撮影した映像を軌跡で地図上に表示することができるが、次に地図上で指定した特定の場所が写っている映像を検索する実施の形態を示す。
【0049】
図13はこの発明の実施の形態7に係る映像情報表示装置の構成を示す構成図である。
図13において、図5に示す実施の形態3と同一部分は同一符号を示し、その説明は省略する。新たな符号として、14は地図上で見たい個所の位置を入力し、対象位置対応手段9を介して位置の実際の位置に変換する対象位置入力手段、15は映像データベース5から見たい位置が写っている映像を検索して映像検索手段2を介して映像再生手段1により再生させるための対象位置検索手段である。
【0050】
次に動作について説明する。
操作員が地図表示画面上で見たい位置を指示することで、画面から地図上の座標位置を対象位置入力手段14に送る。対象位置入力手段14は、対象位置対応手段9へ、地図上の座標位置を経度緯度で示す実際の位置に変換する依頼をする。対象位置対応手段9では、操作員が指示した点の実際の位置を計算し、対象位置入力手段14へ送る。そして、対象位置入力手段14は、操作員が指示した位置を実際の経度緯度に直した位置を対象位置検索手段15へ送り映像の検索を依頼する。
対象位置対応手段9における操作員の地図上の指示位置の経度緯度への変換は実施の形態5と同じように行う。
【0051】
次に、対象位置検索手段15では、映像データベース5を検索し、操作員の指示した位置に近い撮影位置を取り出す。このとき、近いという判断は、距離が例えば30メートルというように予め決めておく。
何メートル離れているかの判断は、操作員の指示した位置の経度緯度と、映像データベース5から取り出す撮影位置の経度緯度の差を用いて計算する。仮にこの2点間の経度、緯度共に1秒の差があった場合で、かつこの経緯度近辺の緯度1秒の差による距離が25メートルで、経度1秒の差による距離が20メートルであったとすれば、2点の距離は20メートルの二乗と25メートルの二乗を合わせた数の平方根となり約32メートルとなる。
対象位置検索手段15では、検索して取り出した撮影位置の全てについて、操作員が指示した点が写っているかどうかを確認する。この確認方法としては、図14に示すように、撮影位置から撮影方向に向かって予め設定した仰角の範囲内に操作員が指示した点が入り、その距離が予め設定した距離以内であることとする。
撮影位置から撮影方向に向かって予め設定した仰角の範囲内に操作員が指示した点が入っているかの確認は以下のように行う。北緯をY軸、東経をX軸として、X−Y座標と仮にみなし、撮影位置を原点と仮定し、座標の単位をメートルとする。この座標上で、撮影位置と操作員の指定位置の差違の計算と同等に、操作員の指定位置が経度、緯度方向にそれぞれ何メートル離れているかを計算する。これがたとえば、東に10メートル、北に20メートルであった場合、X−Y座標上で指定点(10,20)という点を仮におき、原点から指定点へ向かう指定点ベクトルを設定する。指定点ベクトルの原点からの角度をAとすると、ベクトルの長さをBとして、BcosA=20、BsinA=10となる。これより、A=逆cos(20/B)であり、かつA=逆sin(10/B)となる。このAと撮影位置における撮影角度を比較することにより、撮影範囲に入っているかどうかが確認できる。
【0052】
対象位置検索手段15では、操作員が指示した点が写っている撮影位置を撮影情報にもつ映像を取り出し、操作員が指示した点が写っている撮影位置が写っている映像の撮影時間の前後例えば5秒というように予め設定した時間の映像再生を映像再生手段1へ依頼する。映像再生手段1では、これに従って映像を再生する。
対象位置検索手段15から映像再生手段1への依頼は、再生開始時間、再生終了時間、映像のファイル名を指定して行う。映像の撮影位置における撮影時間の5秒前を再生開始時間とし、撮影位置における撮影時間の5秒後を再生終了時間とする。再生開始時間が該当する映像の最初の撮影位置記録の撮影時間より前の場合は、再生開始時間はこの映像の最初の撮影位置記録の撮影時間とする。また、再生終了時間が該当する映像の最後の撮影位置記録の撮影時間より後の場合は、再生終了時間はこの映像の最後の撮影位置記録の撮影時間となる。指定した時間の範囲だけの映像の再生は、実施の形態6の処理と同様に処理する。
【0053】
以上のように、この実施の形態7によれば、対象位置入力手段14で入力した位置に、対象位置検索手段15を介してその点が写っている映像を検索するようにしたので、地図上で対応付けてある映像を検索して再生表示する場合、見たい位置地点を地図上で指示するだけで、その位置が写っている映像を検索して表示することができるようになり、見たい位置が写っている映像を間違えなく検索することができる。
【0054】
実施の形態8.
上述した実施の形態7では、操作員が指示した点が写っている映像を検索することができるが、次に地図上で指定した位置の映像が複数あったときに、時間順に複数の映像を再生する実施の形態を示す。
【0055】
図15はこの発明の実施の形態8に係る映像情報表示装置の構成を示す構成図である。
図15において、図13に示す実施の形態7と同一部分は同一符号を示し、その説明は省略する。新たな符号として、16は検索して取り出した映像を時間順に再生表示する定点映像時間順表示手段である。
【0056】
次に動作について説明する。
操作員が地図表示画面上で見たい位置を指示することで、画面から地図上の座標位置を対象位置入力手段14に送る。対象位置入力手段14は、対象位置対応手段9へ、地図上の座標位置を経度緯度で示す実際の位置に変換する依頼をする。対象位置対応手段9では、操作員が指示した点の実際の位置を計算し、対象位置入力手段へ送る。以上の処理の詳細は、実施の形態7と同様に処理する。
【0057】
次に、対象位置入力手段14は、操作員が指示した位置を実際の経度緯度に直した位置を対象位置検索手段15へ送り映像の検索を依頼する。これに基づき、対象位置検索手段15では、映像データベース5を検索し、操作員の指示した位置に近い撮影位置を取り出す。このとき、近いという判断は、距離が例えば30メートルというように予め決めておく。対象位置検索手段15では、検索して取り出した撮影位置の全てについて、操作員が指示した点が写っているかどうかを確認する。この確認方法としては、図14に示すように、撮影位置から撮影方向に向かって予め設定した仰角の範囲内に操作員が指示した点が入り、その距離が予め設定した距離以内であることとする。以上の処理の詳細は、実施の形態7と同様に処理する。
【0058】
対象位置検索手段15では、操作員が指示した点が写っている撮影位置を撮影情報にもつ映像を取り出す。この実施の形態8では、操作員が指示した位置が写っている映像は複数あるものとする。対象位置検索手段15では、操作員が指示した点が写っている撮影位置が写っている映像の撮影時間の前後例えば5秒というように予め設定した時間の映像表示を定点映像時間順表示手段16へ依頼する。このとき、映像は複数である。
対象位置検索手段15から定点映像時間順表示手段16への依頼は、再生開始時間、再生終了時間、映像のファイル名を一組として、複数の映像がある場合は映像の数だけ送る。映像の撮影位置における撮影時間の5秒前を再生開始時間とし、撮影位置における撮影時間の5秒後を再生終了時間とする。再生開始時間が該当する映像の最初の撮影位置記録の撮影時間より前の場合は、再生開始時間はこの映像の最初の撮影位置記録の撮影時間とする。また、再生終了時間が該当する映像の最後の撮影位置記録の撮影時間より後の場合は、再生終了時間はこの映像の最後の撮影位置記録の撮影時間となる。
【0059】
複数ある映像の再生順序は以下のように決定する。
定点映像時間順表示手段16では、映像を古い順に再生する指示を映像再生手段1へ送る。一つの映像が再生し終わったら、次に古い映像を再生するように次々と指示を送る。映像再生手段1では、これに従って映像を再生する。
映像を古い順に指定する具体的処理は以下のように行う。
定点映像時間順表示手段16では、対象位置検索手段15から送られた各映像の再生開始時間を比較して、この再生開始時間の最も古い映像の再生開始時間、再生終了時間、映像のファイル名を映像再生手段1へ送る。指定した時間の範囲だけの映像の再生は、実施の形態6の処理と同様に処理する。映像再生手段1は、映像を再生し終わると定点映像時間順表示手段16へ再生終了であることを知らせる。映像時間順表示手段16では、映像再生手段1で再生した映像のファイル名と再生開始時間と再生終了時間を定点映像時間順表示手段16の保持している記録から消す。定点映像時間順表示手段16において保持している残りの映像の映像ファイル、再生開始時間、再生終了時間の組の中から、最も再生開始時間の古い映像を選択して、この再生開始時間の最も古い映像の再生開始時間、再生終了時間、映像のファイル名を映像再生手段1へ送る。この処理を定点映像時間順表示手段16で保持している映像の全てを表示し終わるまで続ける。
【0060】
以上のように、この実施の形態8によれば、対象位置入力手段14で入力した位置を複数の映像で記録してある場合でも、定点映像時間順表示手段16によって順次古い順にその地点の映像を検索することができるようにしたので、地図上である地点に対応付けてある映像を検索する場合、その地点に複数の映像が対応付けてある場合でも、古い順に順次検索して表示するので、何度も同じ地点の映像を何回も検索し直さなくても済む。
【0061】
実施の形態9.
上述した実施の形態3では、撮影した映像を軌跡で地図上に表示することができるが、次に地図上で指定した特定の場所が写っている映像を検索する実施の形態を示す。
【0062】
図16はこの発明の実施の形態9に係る映像情報表示装置の構成を示す構成図である。
図16において、図5に示す実施の形態3と同一部分は同一符号を示し、その説明は省略する。新たな符号として、17は地図上で操作員が見たい範囲を指定するとその範囲の実際の位置を対象位置対応手段9を用いて取得する対象範囲入力手段、18は操作員が指定した範囲が撮影してある映像を映像データベース5から検索し、映像検索手段2と映像再生手段1を介して再生する対象範囲検索手段である。
【0063】
次に動作について説明する。
操作員が地図表示画面上で見たい範囲を指示することで、画面から地図上の範囲を特定できる点の座標位置を対象範囲入力手段17に送る。例として、範囲は4角形とし、特定するために4点を送ることとする。対象範囲入力手段17は、対象位置対応手段9へ、4点の地図上の座標位置を経度緯度で示す実際の位置に変換する依頼をする。
【0064】
対象位置対応手段9では、操作員が指示した範囲を示す4点の実際の位置を計算し、対象範囲入力手段17へ送る。これに基づき、対象範囲入力手段17は、操作員が指示した位置を実際の経度緯度に直した位置を対象範囲検索手段18へ送り映像の検索を依頼する。対象打ち対応手段9における操作員の地図上の指示位置の経度緯度変換は実施の形態5と同じように行う。
【0065】
対象範囲検索手段18では、映像データベース5を検索し、操作員の指定した範囲が写っている撮影位置を取り出す。このとき、指定した範囲が写っているかどうかの判断は、図17のように行う。ある撮影位置から撮影方向に向かって予め設定した仰角の範囲内に操作員の指定した範囲の点が含まれ、その距離が予め設定した距離以内のときは、その範囲がその撮影地点で写っていると判断する。具体的には、対象範囲検索手段18は、映像データベースに含まれる撮影情報のすべての撮影位置を以下のように調べる。先ず、撮影位置を原点として、北方向をY(単位はメートル)東方向をX(単位はメートル)とする座標系を用いて、操作員が指定した4点を北西の角をA、北東の角をB、南東の角をC、南西の角をDと表現する。これらが例えば、A(5,20)、B(20,20)、C(5,5)、D(20,5)であったとする。操作員の指定した範囲は、5≦X≦20かつ5≦Y≦20である。以上の条件を仮に条件1とする。撮影時の撮影範囲を、撮影方向から左右各30度として設定してある場合で、かつ、撮影方向が北に対して東方向に60度であったとする。このとき、撮影範囲は撮影方向から左右30度を示す線の間になり、Y≧0、Y≦√3Xを満たしかつ、X≧0の範囲となる。さらに、撮影位置から30m以内の距離であったとすればXの二乗とYの二乗の合計が30の二乗である900以下にならなくては行けない。以上の条件を条件2とする。
条件1と条件2を同時に満たしていればその撮影位置において、撮影区間が写っていたことになる。
これを簡単に確認する方法として、先ず条件1を満たす座標をメモリ空間内に描く。メモリとは、0または1を記録する記録媒体であり、記録させる仮想の場所を番地によって指定するものであり、メモリ空間内に描くとは、メモリの全ての番地に0を記憶させておき、条件を満たす座標によって指定される番地の記憶内容を1とすることである。番地は例えば16進数で8桁であり最初の4桁を上位番地、下4桁を番地と名づけ、Y座標を上位番地、X座標を下位番地に割り当てる。このとき、1メートルが16進数の10程度になるように細かく分割すれば精度があがる。
次に、条件2を満たす座標を別の記録媒体であるメモリ空間内に同様にして描く。条件1を描いたメモリと、条件2を描いたメモリの全ての同じ番地の記憶内容を比較し、両方とも記憶内容が1である番地がある場合、条件1と条件2を動じに満たす点があることになり、この撮影位置は確かに操作員が指定した範囲内のどこかの点が写っていると判断する。
【0066】
以上のように、この実施の形態9によれば、対象範囲入力手段17で入力した範囲が写っている映像を、対象範囲検索手段18を介して検索することができるようにしたので、地図上のある範囲内に対応付けられている映像を検索する場合、地図上で範囲を指定してその範囲内の映像をまとめて検索することができるので、地図上でみたい範囲の映像を一つ一つ選択して検索しなくてもよくなる。
【0067】
実施の形態10.
上述した実施の形態3では、撮影した映像を軌跡で地図上に表示することができるが、次に地図上である軌跡を通って移動した物体が写っている映像を検索する実施の形態を示す。
【0068】
図18はこの発明の実施の形態10に係る映像情報表示装置の構成を示す構成図である。
図18において、図5に示す実施の形態3と同一部分は同一符号を示し、その説明は省略する。新たな符号として、19は地図上で操作員が見たい位置の移動軌跡とその日時を入力すると、その位置を対象位置対応手段を介して実際の位置に変換する移動軌跡入力手段、20は移動軌跡入力手段19から受け取った時間に同じく受け取った位置が写っている映像を映像データベース5から検索し、映像検索手段2と映像再生手段1を介して再生する移動軌跡検索手段である。
【0069】
次に動作について説明する。
操作員が地図上に検索したい移動軌跡をマウスを使って入力する。軌跡の入力は地図上に複数の点を指示することにより行う。また、指示した点にはその点を通過した時間を入力する。これらの情報は地図表示の画面から移動軌跡入力手段19へ送る。移動軌跡入力手段19では、軌跡として入力した地図上の座標位置を対象位置対応手段9へ送り、座標位置を経度緯度で示す実際の位置に変換する依頼をする。
【0070】
対象位置対応手段9では、軌跡の各点の実際の位置を計算し、移動軌跡入力手段19へ送る。対象位置対応手段9における操作員の地図上の指示位置の経度緯度への変換は実施の形態5と同じように行う。移動軌跡入力手段19では、操作員が入力した軌跡の点における実際の位置とその点に対して入力した時間を移動軌跡検索手段20に送り、その地点にその時間に撮影した映像があるかどうかの検索を依頼する。移動軌跡検索手段20では、映像データベース5を検索し、操作員の指定した軌跡の点に近い撮影位置の撮影情報を取り出す。
【0071】
移動軌跡検索手段20では、検索して取り出した撮影位置の全てについて、操作員が指示した点が写っているかどうかを確認する。写っているかどうかの判断は、実施の形態7と同じであるが、実施の形態10では位置だけではなく撮影時間についても操作員の指定した時間かどうかを調べる。
撮影時間については、映像データベース5の撮影位置のある点において、操作員が指定したある点が写っていると判断したときに、その撮影位置の撮影時間を、操作員が指定した時間と比較し、予め設定しておいた例えば5秒以内という時間差であれば、その時間にその位置が写っていると判断する。
そして、操作員が指示した点が写っている撮影位置を撮影情報にもつ映像を取り出す。移動軌跡検索手段20では、操作員が指示した点が写っている撮影位置が写っている映像の撮影時間の前後例えば5秒というように予め設定した時間の映像再生を映像再生手段1へ依頼する。映像再生手段1では、これに従って映像を再生する。再生の指示と再生の処理は、実施の形態7と同様に処理する。
【0072】
以上のように、この実施の形態10によれば、移動軌跡入力手段19で入力した時間と地点の映像があるかどうかを移動軌跡検索手段20を介して検索することができるようにしたので、例えば過去に地図で示される範囲内を通過した車を撮影した映像を検索する場合、地図上で例えば道路に沿って移動した車の移動経路と例えば大きな交差点のような要所要所の通過地点を指定するだけで、その車の写っている映像を取り出すことができるので、移動経路上の各地点に対応付けられている映像を全て検索したり内容を確認したりする手間が省ける。
【0073】
実施の形態11.
上述した実施の形態3では、撮影した映像を軌跡で地図上に表示することができるが、次に映像の軌跡だけではなく映像の内容の一部も地図上に表示する実施の形態を示す。
【0074】
図19はこの発明の実施の形態11に係る映像情報表示装置の構成を示す構成図である。
図19において、図5に示す実施の形態3と同一部分は同一符号を示し、その説明は省略する。新たな符号として、21は地図上に検索結果である映像の一場面の画像である代表画面を表示する代表画面表示手段である。
【0075】
次に動作について説明する。
まず、操作員が軌跡表示手段10へ撮影したときの位置の軌跡を地図上に表示するように指示することで、軌跡表示手段10では、映像データベース5から全ての撮影情報を読み出す。次に、軌跡表示手段10では、撮影情報に含まれる撮影位置の経度緯度情報を地図上での座標に変換するように対象位置対応手段9に依頼する。
【0076】
対象位置対応手段9では、対象となる地図上の座標に変換して軌跡表示手段10へ返す。
対象位置対応手段9における経度緯度の画面表示した地図上の座標への変換は以下のように行う。
地図のイメージデータの座標の原点の経度緯度と、縮尺として、経度緯度の1秒が地図を示すイメージデータの何ドットかという情報を地図情報として地図イメージデータと一緒に予め蓄積してあることとする。これにより、操作員の指定した経度緯度が、地図上の原点から何秒離れているかがわかる。この秒数に経度緯度の1秒が地図を示すイメージデータの何ドットかという値を掛け合わせて、地図上の座標位置を決定する。
次に、軌跡表示手段10では、地図情報表示手段8へ地図表示の指示を行う。地図情報表示手段8では、地図情報7を読み込み表示し、表示画面は道路や街区を示す。
この処理は例えば市販の地図表示ソフトウェアを用いて行う。
次に、軌跡表示手段10では、軌跡点の地図上の座標を利用して、地図上に軌跡を描いて表示する。軌跡の表示例は図7のようになる。
以上の処理は実施の形態3と同様に処理する。
【0077】
次に、軌跡表示手段10は、代表画面表示手段21へ軌跡を示す撮影情報と地図上の軌跡の表示してある座標位置を送る。代表画面表示手段21は、軌跡を示す映像の電子ファイルを取り出す。すなわち、映像3の電子ファイルから1場面の画像を取り出し地図上の軌跡の横に表示する。
画像の取り出しについては以下のように行う。
撮影情報に映像の電子ファイル名が含まれる。この電子ファイルには、時間順に、例えば1秒に20コマの時間順の静止画が記録されている。例えば電子ファイルの先頭の静止画を読み込むこととする。
表示する位置については、その映像で最も過去に撮影された撮影位置の経度緯度を地図上に座標に直した点の直ぐ横に表示する。
【0078】
以上のように、この実施の形態11によれば、代表画面表示手段21により、軌跡を表示した映像の内容の一部を地図上に表示することができるようにしたので、撮影した映像のうちの1場面の画像を、地図上に対応付けた撮影位置の軌跡と合わせて表示するので、単純に映像の撮影位置がわかるだけではなく、その内容も地図上の表示を見ればわかるようになる。
【0079】
実施の形態12.
上述した実施の形態3では、撮影した映像を軌跡で地図上に表示することができるが、次に映像の軌跡だけではなく映像の内容を撮影位置がわかるように移動しながら地図上に表示する実施の形態を示す。
【0080】
図20はこの発明の実施の形態12に係る映像情報表示装置の構成を示す構成図である。
図20において、図5に示す実施の形態3と同一部分は同一符号を示し、その説明は省略する。新たな符号として、22は地図上に検索結果である映像の一場面の画像を表示するが、その表示方法として、撮影位置に対応する位置に沿って表示位置を移動し、撮影時間に沿った再生内容に表示する画面を切り替える代表画面移動表示手段である。
【0081】
次に動作について説明する。
まず、操作員が軌跡表示手段10へ撮影したときの位置の軌跡を地図上に表示するように指示することで、軌跡表示手段10では、映像データベース5から全ての撮影情報を読み出し、撮影情報に含まれる撮影位置の経度緯度情報を地図上での座標に変換するように対象位置対応手段9に依頼する。対象位置対応手段9では、対象となる地図上の座標に変換して軌跡表示手段10へ返す。座標の変換は、実施の形態11と同じように行う。
【0082】
次に、軌跡表示手段10では、地図情報表示手段8へ地図表示の指示を行う。地図情報表示手段8では、地図情報7を読み込み表示し、表示画面に道路や街区を示す。そして、軌跡表示手段10では、軌跡点の地図上の座標を利用して、地図上に軌跡を描いて表示する。軌跡の表示例は図7のようになる。以上の処理は実施の形態3と同様に処理する。
次に、軌跡表示手段10から代表画面再生移動表示手段22へ軌跡を示す撮影情報と地図上の軌跡の表示してある座標位置が送られる。
【0083】
代表画面再生移動表示手段22は、軌跡を示す映像3の電子ファイルを取り出し、映像を再生し、図21で示すように、その再生中の映像が撮影された地点の地図上の位置に映像を表示するように映像を地図上に移動しながら表示する。
この実施の形態12としては、撮影情報に撮影時間と撮影位置が含まれるので、再生しながらそれに対応した撮影位置を取り出し、その位置に対応した地図上の座標を対象位置対応手段9から取り出し、その座標地点を再生している映像の表示位置とする。
代表画面再生移動表示手段22は、撮影位置の時間順に、映像を撮影位置Aから次の撮影位置であるBまでの時間を一つの区切りとして、その撮影時間の映像の電子ファイルの表示を撮影位置Aの地図上の軌跡の表示位置の横に表示する。この表示が終わったら、撮影位置Bから時間順に告ぎの撮影位置であるCまでの区間の映像を撮影位置Bの地図上の表示位置の横に再生して表示する。これを繰り返す。特定の撮影位置区間の表示については、実施の形態6と同じように行う。
【0084】
以上のように、この実施の形態12によれば、代表画面再生移動表示手段22により、選択した軌跡の映像の内容がその撮影位置がわかる形で地図上に表示するようにしたので、映像を再生するときに、映像を撮影した位置に対応した地図上の位置に映像再生画面を表示することができ、映像の再生時間が長くても、どの位置の再生をしているかが容易にわかる。
【0085】
実施の形態13.
上述した実施の形態3では、撮影した映像を軌跡で地図上に表示することができるが、次に映像の軌跡だけではなく映像が実空間内でどの範囲で撮影できているかの情報を地図上にわかりやすく表示する実施の形態を示す。
【0086】
図22はこの発明の実施の形態13に係る映像情報表示装置の構成を示す構成図である。
図22において、図5に示す実施の形態3と同一部分は同一符号を示し、その説明は省略する。新たな符号として、23は映像の撮影位置の軌跡を地図上に表示するときに、地図上に映像がどの範囲まで写っているかを地図上に表示する撮影範囲表示手段である。
【0087】
次に動作について説明する。
まず、操作員が軌跡表示手段4へ撮影したときの位置の軌跡を地図上に表示するように指示することで、軌跡表示手段4では、映像データベース5から全ての撮影情報を読み出し、撮影情報に含まれる撮影位置の経度緯度情報を地図上での座標に変換するように対象位置対応手段9に依頼する。
【0088】
対象位置対応手段9では、対象となる地図上の座標に変換して軌跡表示手段4へ返す。これに基づき、軌跡表示手段4では、地図情報表示手段8へ地図表示の指示を行う。地図情報表示手段8では、地図情報7を読み込み表示し、表示画面に図6の例のように道路や街区を示す。
この処理は実施の形態11と同様に行う。
【0089】
次に、軌跡表示手段4では、軌跡点の地図上の座標を利用して、地図上に軌跡を描いて表示する。軌跡の表示例は図7のようになる。
軌跡表示手段4から、撮影範囲表示手段23へ軌跡を示す撮影情報の中から撮影位置と撮影方向を取り出して送ることで、撮影範囲表示手段23は、軌跡を示す映像の電子ファイルを取り出し、地図の土地の等高線情報や建物の形状と高さ情報等で構成される立体地図情報を読み込み、撮影位置とその方向から計算して映像に写っている範囲を算出して地図上に表示する。
算出の方法は、図23に示すように、土地と建物の立体モデルにたいして、カメラの視点がどの範囲で届くかを計算する。
具体的な方法を、地図上の座標を用いて説明する。但し東方向をX軸、北方向をY軸とするX−Y座標に高さ方向にZ軸を加えた3次元のX−Y−Z座標を用いて説明する。また、便宜上地図上の座標の1単位は実空間で1メートルであるとする。また、カメラの撮影できる角度をカメラの撮影方向からX−Y平面に平行に左右30度X−Y平面から上方10度、距離50メートルとする。
ある撮影位置の座標をAとすると、Aの座標は(XA,YA,0)であったとする。AからX−Y平面に平行に撮影方向へ直線Lを引く。線を引くとは線のX−Y−Zの関連式を計算することにより行う。
LからX−Y平面に平行に左右に30度の直線をX−Y平面上に引く。これらを直線Mと直線Nとする。MとNの撮影位置の座標点から距離にして、50メートルの座標をB、Cとする。BはLより左の線とする。
BからZ軸にプラスの方向に垂線M2を引く。撮影位置からM2へ到達する線M3を引き、この線のX−Y平面との角度が10度になるようにする。M3とM2の交点をB2とする。
CからZ軸にプラスの方向に垂線N2を引く。撮影位置からN2へ到達する線N3を引き、この線のX−Y平面との角度が10度になるようにする。N3とN2の交点をC2とする。
B、B2、C2、Cを結ぶ長方形の面をSと呼ぶこととする。SをX−Y平面に平行な線で10当分に分割し、かつ、直線LとZ軸からなる平面に平行な線で10当分に分割する。分割された100の長方形をセルと呼ぶこととする。撮影位置から各セルの中心へ線を引く。この直線をSEL1からSEL100と名づける。以上は線の計算式を求めることにより行う。
一方、地図上には建物や斜面等の地形が、ある座標点においては、何メートルというように高さデータが蓄積してあるとする。これを座標空間にあてはめ、座標の1単位を1辺とした立方体を座標空間の中におく。座標空間の中に置くとは、メモリ空間内立体座標を置くことにより行う。メモリとは、0または1を記録する記録媒体であり、記録させる仮想の場所を番地によって指定するものであり、メモリ空間内に置くとは、メモリの全ての番地に0を記憶させておき、条件を満たす座標によって指定される番地の記憶内容を1とすることとする。番地は例えば16進数で12桁であり最初の4桁を上位番地、次の4桁を中間番地、下4桁を番地と名づけ、X座標を上位番地、 Y座標を中間番地、Z座標を下位番地に割り当てる。
次に、SEL1〜SEL100まで以下の処理を行う。例えばSEL1の場合、SEL1の直線式を例えば1<X≦2の場合は2とすることにより、整数値のX、Y、Zの組を全て算出する。次にこのX,Y,Zの組み合わせを前述のメモリ空間内の座標として、番地に割り当て、この番地に立体物があるか無いかを確認する。最も撮影位置に近い点における立体物がある点がその撮影位置のそのSEL1への方向の視界の限界としてその地図上のX,Yの座標を記憶する。立体物が一つも無い場合は、長方形SとSEL1がぶつかる点を視界の限界とする。 以上の繰り返しによって、地図上のどの範囲が見えているかを計算する。
【0090】
以上のように、この実施の形態13によれば、撮影範囲表示手段23により、撮影した映像が実際にどの範囲まで撮影できているかを地図上に詳しく表示することができるようにしたので、映像に写っている範囲が地図上に詳しく表示でき、ビルの横やどての近く等の撮影できているかどうか分かりつらい部分の映像が写っているかどうかを映像を再生しなくても地図上で容易に知ることができる。
【0091】
実施の形態14.
上述した実施の形態3では、撮影した映像を軌跡で地図上に表示することができるが、次に映像の軌跡だけではなく映像に関連付けてある他の情報の検索を行う実施の形態を示す。
【0092】
図24はこの発明の実施の形態14に係る映像情報表示装置の構成を示す構成図である。
図24において、図5に示す実施の形態3と同一部分は同一符号を示し、その説明は省略する。新たな符号として、24は映像に関連する説明文等の情報を検索して表示する関連情報表示手段である。
【0093】
次に動作について説明する。
操作員が、実施の形態3と同じように軌跡を選択し、軌跡で示した映像の関連情報を表示する指示をする。その軌跡の全ての撮影地点地図上の座標位置を関連情報検索手段24で受け取る。関連情報検索手段24では、地図上の座標を実際の位置に変換するように対象位置対応手段9へ指示する。対象位置対応手段9では、地図上の座標を実際の位置に変換して関連情報検索手段24へ返す。
【0094】
これに基づき、関連情報検索手段24では、撮影位置を検索キーとして、映像データベース5から関連情報を取り出して表示する。このとき、映像データベース5に映像についてメモをした文書データや映像に写っている対象物についての説明文書データ等の関連情報を予め撮影位置と関連付けて持っていることとする。
【0095】
以上のように、この実施の形態14によれば、関連情報検索手段24により、撮影した映像に関連する関連情報を検索するようにしたので、地図に対応付けてある映像に関連した関連情報を関連情報専用のデータベースを利用しなくても検索できるようになる。
【0096】
実施の形態15.
上述した実施の形態3では、撮影した映像を軌跡で地図上に表示することができるが、次に、再生表示している映像の中の位置を選択するとその位置が地図上でどこであるかを表示する実施の形態を示す。
【0097】
図25はこの発明の実施の形態15に係る映像情報表示装置の構成を示す構成図である。
図25において、図5に示す実施の形態3と同一部分は同一符号を示し、その説明は省略する。新たな符号として、25は操作員が映像再生中に映像に写っている位置を指定すると、再生時間を元に映像の撮影位置と撮影方向を映像データベース5から検索して取り出し、その位置を確認する指示位置確認手段、26は指示位置確認手段25から受け取った撮影位置を地図上に表示する指示位置表示手段である。
【0098】
次に動作について説明する。
映像が映像再生手段1で再生中であるとき、操作員が画面上の位置を指示位置確認手段25を介して指示すると、指示位置確認手段25は、映像再生手段1から再生中の映像の電子ファイル名と再生がその映像の先頭から何秒目かという再生時間を取得する。これに基づき、指示位置確認手段25は、映像データベース5から映像の電子ファイル名と再生時間を検索のキーとして撮影情報に含まれる撮影位置と撮影方向を取り出す。そして、撮影位置と撮影方向から操作員が画面上で指示した位置が実際の位置でどの位置になるかを計算する。
【0099】
指示位置確認手段25における計算は図26のように行う。すなわち、撮影方向に対して予め設定した範囲の仰角で撮影していると仮定し、その仰角を図26ではCと示す。操作員が指定した点の画面の中心からの距離を図26中のaで示し、操作員が指定した点から画面の右または左の近い方までの距離を図26のbで示す。撮影位置から撮影方向をc×a/(a+b)の角度だけずらした方角を目標位置方向とし、実際の撮影位置から目標方向に向かって予め設定した範囲の例えば幅10メートル長さ200メートルを指示位置の実際の位置として算出する。そして、指示位置確認手段25は、指示位置の実際の位置を指示位置表示手段26へ表示するように指示する。指示位置表示手段26は、指示された範囲を地図上で網目上等の表示方法で表示する。
【0100】
以上のように、この実施の形態15によれば、指示位置確認手段25により操作員が再生中の映像を見ながら画面上で指示した位置が実際の経度緯度で表現できる位置でどこに対応するかがわかり、指示位置表示手段26により、その位置を地図上に表示するようにしたので、地図と対応付けてある映像を再生表示しているときに、映像中の位置または物体を指定するとその位置または物体のある位置が地図上で表示でき、映像に写っている位置の確認が正確でかつ簡単にできる。
【0101】
実施の形態16.
上述した実施の形態7では、指定した特定の場所が写っている映像を検索することができるが、次に地図上で指定した特定の場所が写っている映像を検索し、その表示画面中で指定した位置がどこであるかを強調して表示する実施の形態を示す。
【0102】
図27はこの発明の実施の形態16に係る映像情報表示装置の構成を示す構成図である。
図27において、図13に示す実施の形態7と同一部分は同一符号を示し、その説明は省略する。新たな符号として、27は地図上で操作員が選択した位置を動画中で枠で囲む等のマークを付けることにより強調する動画強調手段である。
【0103】
次に動作について説明する。
操作員が地図表示画面上で見たい位置を指示することで、画面から地図上の座標位置が対象位置入力手段14に送られる。これに基づき、対象位置入力手段14は、対象位置対応手段9へ地図上の座標位置を経度緯度で示す実際の位置に変換する依頼をする。対象位置対応手段9では、操作員が指示した点の実際の位置を計算し、対象位置入力手段14へ送る。これにより、対象位置入力手段14は、操作員が指示した位置を実際の経度緯度に直した位置を対象位置検索手段15へ送り映像の検索を依頼する。
【0104】
対象位置検索手段15では、映像データベース5を検索し、操作員の指示した位置に近い撮影位置を取り出す。このとき、近いという判断は、距離が例えば30メートルというように予め決めておく。対象位置検索手段15では、検索して取り出した撮影位置の全てについて、操作員が指示した点が写っているかどうかを確認する。この確認方法としては、図14に示すように、撮影位置から撮影方向に向かって予め設定した仰角の範囲内に操作員が指示した点が入り、その距離が予め設定した距離以内であることとする。
【0105】
対象位置検索手段15では、操作員が指示した点が写っている撮影位置を撮影情報にもつ映像3を取り出し、操作員が指示した点が写っている撮影位置が写っている映像の撮影時間の前後例えば5秒というように予め設定した時間の映像再生を映像再生手段1へ依頼する。映像再生手段1では、これに従って映像を再生し、また、対象位置検索手段15は、操作員が指定した指定位置が写っている撮影地点とその撮影時間の情報を動画強調手段27へ送る。
【0106】
動画強調手段27は、指定位置が写っている撮影時間に撮影された映像に指定位置を強調する表示を行う。強調する表示とは、図28のように、その位置が写っている部分に例えば四角い枠を表示することである。強調表示を画面上のどの位置に表示するかの判断は撮影方向と操作員が地図上で指定した指定位置の方向のずれである図28のaと、元々のカメラアングルの仰角cを用いて、画面の中心から画面の半分の幅かけるa/cだけずらした点を中心として表示する。画面の上下の位置については、撮影情報に撮影方向の上下についての方向の情報があり、かつ操作員が指示する指定位置の情報に高さ情報がある場合に同様の手法を用いて算出する。
【0107】
以上のように、この実施の形態16によれば、動画強調手段27が、操作員が地図上で指示した点が映像のどこに写っているかの位置を計算するので、操作員が地図上で指示した点を映像上で強調して表示することができ、地図と対応付けてある映像を再生表示しているときに、地図上で選択した位置を映像上で強調して表示するので、映像の中に見たい建物や標識等が写っているかどうかを簡単に表示できる。
【0108】
【発明の効果】
以上のように、この発明によれば、映像に写っている範囲が地図上に詳しく表示できるので、ビルの横やどての近く等の撮影できているかどうか分かりつらい部分の映像が写っているかどうかを映像を再生しなくても地図上で容易に知ることができ、地形や建物のかげになって映像が写っているかどうかの確認を容易に行うことができる。
【図面の簡単な説明】
【図1】 この発明に係る映像情報表示装置の全体構成図である。
【図2】 この発明の実施の形態1に係る映像情報表示装置の構成を示すブロック図である。
【図3】 映像の例と映像データベースの具体的内容の例を示す説明図である。
【図4】 この発明の実施の形態2に係る映像情報表示装置の構成を示すブロック図である。
【図5】 この発明の実施の形態3に係る映像情報表示装置の構成を示すブロック図である。
【図6】 地図表示の例を示す説明図である。
【図7】 地図上に撮影軌跡を表示したときの表示例を示す説明図である。
【図8】 この発明の実施の形態4に係る映像情報表示装置の構成を示すブロック図である。
【図9】 地図上に撮影情報を視覚的に表示したときの表示例を示す説明図である。
【図10】 この発明の実施の形態5に係る映像情報表示装置の構成を示すブロック図である。
【図11】 地図上の撮影軌跡と操作員の指示位置との距離の例を示す説明図である。
【図12】 この発明の実施の形態6に係る映像情報表示装置の構成を示すブロック図である。
【図13】 この発明の実施の形態7に係る映像情報表示装置の構成を示すブロック図である。
【図14】 地図上で操作員が指示した位置が映像に写っているかどうかを撮影情報を元に判断する例を示す説明図である。
【図15】 この発明の実施の形態8に係る映像情報表示装置の構成を示すブロック図である。
【図16】 この発明の実施の形態9に係る映像情報表示装置の構成を示すブロック図である。
【図17】 地図上で操作員が指示した範囲が映像に写っているかどうかを撮影情報を元に判断する例を示す説明図である。
【図18】 この発明の実施の形態10に係る映像情報表示装置の構成を示すブロック図である。
【図19】 この発明の実施の形態11に係る映像情報表示装置の構成を示すブロック図である。
【図20】 この発明の実施の形態12に係る映像情報表示装置の構成を示すブロック図である。
【図21】 代表画面を撮影軌跡に沿って移動しながら表示する表示例を示す説明図である。
【図22】 この発明の実施の形態13に係る映像情報表示装置の構成を示すブロック図である。
【図23】 立体情報を元にした撮影範囲の説明と撮影範囲の地図上の表示例の説明図である。
【図24】 この発明の実施の形態14に係る映像情報表示装置の構成を示すブロック図である。
【図25】 この発明の実施の形態15に係る映像情報表示装置の構成を示すブロック図である。
【図26】 画面中の位置と実際の位置の対応例を示す説明図である。
【図27】 この発明の実施の形態16に係る映像情報表示装置の構成を示すブロック図である。
【図28】 映像表示における指定位置の強調例を示す説明図である。
【符号の説明】
1 映像再生手段、2 映像検索手段、3 撮影した映像の電子ファイル、5映像データベース、6 映像対応付け手段、7 地図情報、8 地図情報表示手段、9 対象位置対応手段、10 軌跡表示手段、11 撮影情報地図上表示手段、12 映像軌跡指示手段、13 映像軌跡区間指示手段、14 対象位置入力手段、15 対象位置検索手段、16 定点映像時間順表示手段、17 対象範囲入力手段、18 対象範囲検索手段、19 移動軌跡入力手段、20 移動軌跡検索手段、21 代表画面表示手段、22 代表画面移動表示手段、23撮影範囲表示手段、24 関連情報表示手段、25 指示位置確認手段、26指示位置表示手段、27 動画強調手段、100 コンピュータ装置、200マウス、300 キーボード、400 ディスプレイ装置。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video information display device, and more particularly, to a video information database technology for managing video information such as video and its shooting position, shooting direction, and shooting time.
[0002]
[Prior art]
Conventionally, in the example of mapping with the position of general shooting information, the road conditions at various points are shot with a video camera and recorded on a video tape for the operation management of cars and trucks, and taken back to the office. When it is necessary to play back the video at each location, first, the photographer uses the tape counter or timer counter stored in the camera at the time of shooting to record the shooting location and its count value. In addition, the video of the road condition at a desired point is reproduced with reference to the recorded data at the time of reproduction.
[0003]
In addition, in the example of commercially available map display software that associates a video with a point on the map, the shot video can be associated with a specific point on the map. I needed to tell you. The associated video can be displayed when the corresponding point on the map is designated by an input device such as a mouse.
[0004]
Further, as an example of automatically associating video with map information, for example, there is a conventional GPS-use position video data collection and playback apparatus disclosed in Japanese Patent Laid-Open No. 7-248726. In this example, the position information and the video management database are created at the time of video shooting, and the address information matching means, which is a device for recording the video while matching the internal address of the video and the position information at the time of shooting is required. It is. As for the associated video, when the corresponding point on the map is designated by an input device such as a mouse and the photographing date and time is designated by a keyboard or the like, the video of the designated photographing time at the designated point is displayed.
[0005]
[Problems to be solved by the invention]
However, the above-described conventional example has the following problems.
When playing and displaying a moving image associated with a map, it was only possible to view the moving image from the beginning to the end. For example, only a desired range such as a 100-meter image near an intersection is viewed. There was a problem that it was not possible.
[0006]
Also, for example, when a video taken along a road is associated with a map, even if the video is played back and displayed, it is a long time video, etc. There is a problem that the positional relationship of whether or not such a picture is being taken is lost.
[0007]
Also, for example, when the video taken along the road is associated on the map, it is shown that it is associated with a mark on the map, but the terrain and the shape of the building are not considered, so There was a problem that it was difficult to know how far the image was taken from the position.
[0008]
The present invention has been made to solve the above-described problems, and can easily search for images taken while moving or changing the shooting direction and shooting information when shooting the images. An object is to obtain an information display device.
[0009]
[Means for Solving the Problems]
The video information display device according to the present invention includes a recording medium in which captured video is stored, a video database in which shooting information including information indicating the shooting position and shooting direction of the video is stored in association with the video. Map information display means for displaying the map information of the area including the shooting position, target position correspondence means for associating the information of the shooting position with the coordinate points on the map displayed by the map information display means, The shooting position is displayed on the map based on the association by the target position corresponding means, and the topographic height and building height data obtained from the three-dimensional map information, the information indicating the shooting position, and the shooting direction are indicated. And a shooting range display means for displaying, on the map, up to what point the video is captured at the shooting position based on the information.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is an overall configuration diagram of a video information display apparatus according to the present invention.
The hardware configuration of the video information display device includes a
[0011]
Inside the
[0012]
Here, the map information electronic data unit 101 incorporates the
[0013]
The
[0014]
The coordinate
The function of each of these built-in means will be described in each embodiment described later.
Hereinafter, the configuration according to each embodiment, its operation, and effects will be described.
[0015]
Embodiment 1 FIG.
FIG. 2 is a block diagram showing the configuration of the video information display apparatus according to Embodiment 1 of the present invention.
In FIG. 2, 1 is a video playback means for playing back video, 2 is a video search means for searching and retrieving video, 3 is an electronic file of the shot video, and 5 is storing shooting information and related information related to the video. This is a video database that records information such as an electronic file name for specifying a video in association with each other.
[0016]
Next, the operation will be described.
First, the operator instructs the video search means 2 to search for shooting information using the keyboard and mouse using the shooting information such as the shooting direction, shooting time, and shooting location as search keys. The photographed location is designated by designating one position on the map using a mouse on a map such as a city map displayed on the
Next, the video search means 2 takes out video specifying information for specifying a video that matches the shooting information from the
In the
The video search means 2 determines a shooting position that matches the shooting time, shooting position, and shooting direction instructed by the operator from the database, and extracts video specifying information including the shooting position. It is not necessary to specify all of the shooting time, shooting position, and shooting direction. If at least one is specified, video specifying information including a shooting position that meets the conditions is extracted. If there is no shooting position that matches the conditions, the video search means 2 automatically relaxes the conditions as processing of the video search means 2 and extracts video specifying information including the shooting positions that match the conditions. Specifically, the time is about 10 seconds from the designated time, and in the case of the shooting position, the north latitude is a range of 1 second before and after, and the shooting direction is a range of about 5 degrees.
[0017]
Next, the video search means 2 takes out the video from the
[0018]
As described above, according to the first embodiment, the
[0019]
In the first embodiment described above, the video is searched and displayed using the shooting information already stored in the database. Next, when this shooting information is stored in the video database, the labor of the operator is required. An embodiment that can automatically store without shooting and can use the stored shooting information without using special means at the time of shooting will be described.
[0020]
FIG. 4 is a block diagram showing the configuration of the video information display apparatus according to
4, the same parts as those in the first embodiment shown in FIG. 2 are denoted by the same reference numerals, and the description thereof is omitted. As new codes, 4 is shooting information including shooting date and time, shooting position and shooting direction, 6 is a video association means for associating with the shooting information and recording the contents of the association and the shooting information in the
[0021]
Next, the operation will be described.
First, the operator designates the electronic file name of the video that the operator wants to associate with the video associating means 6 and the electronic file name of the shooting information that is a record of the shooting direction, shooting time, shooting location, etc. when the video was shot. To do.
The operator's instruction is given by specifying the file name from the keyboard. It is assumed that the video electronic file and the shooting information electronic file are stored in an auxiliary storage medium such as an MO.
Next, the video association unit 6 determines a new electronic file name to be assigned to the video, and writes the new electronic file name and shooting information to the
The electronic file name assigned to the video is determined to be a file name other than the electronic file name already stored in the
[0022]
At this time, as shown in FIG. 3, the
A specific method of association will be described.
In the electronic file of shooting information, a plurality of sets are recorded in which a set of date / time of a plurality of shooting times, latitude and longitude of shooting positions, and an angle of shooting direction are set as one set. The video associating means 6 reads all these information, rearranges them in the order of the shooting times, and writes them in the
Next, the video correlating means 6 copies the video specified by the operator and assigns the electronic file name of the new video to the copied electronic file.
[0023]
As described above, according to the second embodiment, the shooting position and the shooting time recorded separately from the shot video are recorded by the video association unit 6 that stores the video recorded separately and the shooting information in association with each other. By automatically writing information to the
[0024]
In the first embodiment described above, the video can be searched according to the shooting information instructed by the operator. Next, an embodiment in which the shooting position is displayed on the map in an easy-to-understand manner will be described.
[0025]
FIG. 5 is a block diagram showing the configuration of the video information display apparatus according to
In FIG. 5, the same parts as those of the first embodiment shown in FIG. As new codes, 7 is map information that is an image of a map, 8 is map information display means for displaying map information, 9 is target position correspondence means for performing numerical conversion between coordinates on the map and actual longitude and latitude positions, A trajectory display means 10 displays a trajectory of a shooting position based on the shooting information on a map.
[0026]
Next, the operation will be described.
First, the operator instructs the trajectory display means 10 to display the trajectory of the position when the image is taken on the map. Based on this, the trajectory display means 10 reads out all shooting information from the video database. Next, the trajectory display means 10 requests the target position correspondence means 9 to convert the longitude / latitude information of the shooting position included in the shooting information into coordinates on the map. The target position correspondence means 9 converts the coordinates into the coordinates on the target map and returns them to the trajectory display means 10.
[0027]
Here, in order to convert the latitude and longitude into coordinates on the map, the map image data includes the longitude and latitude of the origin of the coordinates of the map image data and the number of meters of one dot of the image data as the map information as map information. The difference between the longitude and latitude of the map image data included in the map information and the longitude and latitude of the map image data included in the map information is obtained by four basic calculations, and the difference between the longitude and latitude is converted to meters. It is calculated by calculating how many meters away from the east, west, south, and north where the position to be converted into coordinates and the position of the origin of the map image data is, and calculating the position from the origin according to this distance.
[0028]
Next, the trajectory display means 10 instructs the map information display means 8 to display a map. Based on this, the map information display means 8 reads and displays the
Next, the trajectory display means 10 draws and displays a trajectory on the map using the coordinates of the trajectory points on the map. A display example of the locus is as shown in FIG.
[0029]
Here, an example of displaying the trajectory of the video of the file name 1 described in the shooting information of FIG. 3 on a map is shown. In the file name “1”, there are three recorded points as shooting positions. If these three points are A, B and C in order of oldest time, point A will be displayed on the map, then point B will be displayed on the map, and point C will be displayed on the map. , A, B, C are displayed on the map in order. The following shows how dots and lines are displayed on the map.
[0030]
The map information display means 8 has a display layer in which display screens are hierarchical and characters and graphics can be drawn on the layer displaying the map. Display dots and lines on this layer. The position where the points and lines are displayed will be described. The positions of the points A, B, and C can be known as longitude and latitude as shown in FIG. The longitude and latitude of points A, B, and C are converted into coordinate positions on the map by the same method as described above, and this position is determined as the display position.
[0031]
As described above, according to the third embodiment, a map is displayed by the map information display means 8, and the locus of the photographing position along the photographing information can be displayed on the map by the locus display means 10. When the video taken along the map is displayed in association with the map, the movement locus of the shooting position being shot can be displayed on the map, and the shooting position of the video can be facilitated.
[0032]
Embodiment 4 FIG.
In the third embodiment described above, an embodiment in which the captured position is displayed on the map in an easy-to-understand manner has been described.
[0033]
FIG. 8 is a block diagram showing the configuration of the video information display apparatus according to Embodiment 4 of the present invention.
In FIG. 8, the same parts as those of the third embodiment shown in FIG. As a new code, reference numeral 11 denotes a shooting information map display means for displaying shooting information such as shooting direction and time on a map.
[0034]
Next, the operation will be described.
First, the operator instructs the photographing information map display means 11 to display photographing information. Based on this, the photographing information map display means 11 reads photographing information from the
[0035]
Here, as a method for specifying a place where a picture or character is drawn, as shown in FIG. 3, the shooting position includes longitude / latitude information. This longitude / latitude information is converted into a coordinate position on the map as shown in the third embodiment, and this position is set as a display position. The method for drawing a line on the map is the same as in the third embodiment. Character information such as the shooting date and time is displayed next to the coordinates on the map corresponding to the shooting position. Since the shooting direction is included in the shooting information as shown in FIG. 3, the shooting direction is displayed with a picture of the camera facing this direction.
[0036]
As described above, according to the fourth embodiment, the shooting information map display means 11 can detect the shooting direction and the shooting time, which are shooting information stored in the
[0037]
In the third embodiment described above, an embodiment in which the captured position is displayed on the map in an easy-to-understand manner is shown. Further, in the first embodiment, an embodiment in which a video is searched using video information is shown. is there. Next, an embodiment in which an image is visually selected and searched by selecting a shooting locus on a map display screen will be described.
[0038]
10 is a block diagram showing a configuration of a video information display apparatus according to
10, the same parts as those in the third embodiment shown in FIG. 5 are denoted by the same reference numerals, and the description thereof is omitted. As a new code,
[0039]
Next, the operation will be described.
The operator selects a trajectory displayed on the map display screen.
Here, as shown in FIG. 11, the trajectory selection means that a distance between a point on the map indicated by the operator and the line connecting the shooting trajectory already displayed is a preset distance. If it is within the range, the video trajectory instructing means 12 determines that the trajectory has been selected. The video
The conversion of the designated point on the map displayed on the screen in the target position correspondence means 9 into the longitude and latitude is performed as follows.
It is assumed that the longitude and latitude of the origin of the coordinates of the map image data and the number of meters of one dot of the image data as the scale are stored in advance together with the map image data as map information. Calculate how far the point on the coordinate to be converted into longitude and latitude is from the origin to the display coordinate in the north-south direction and east-west direction. Multiplying this distance by the number of dots of 1 dot of the image data, it is possible to calculate how far away from the origin on the map in the real space how far away it is. Assume that the distance from the origin is 100 meters north and 50 meters west. Since the calculated value of how many meters away per 1 second of the latitude and longitude in the vicinity of the latitude and longitude of the origin on the map can be easily calculated, if this value was 1 second 20 meters at 25 seconds longitude and 1 second at latitude Then, by dividing this value from the distance from the origin, the longitude and latitude of the point that is 4 seconds north and 2 seconds west of the latitude and longitude of the map origin is the position on the map indicated by the operator. The longitude and latitude in real space.
[0040]
The video
In the video search means 2, the search based on the position is performed as follows.
As shown in FIG. 3, the video database records the longitude and latitude of the shooting position of the shot video. Assume that this is recorded in seconds. When the longitude / latitude of the shooting position is within a preset range, the video file name including the shooting position is used as a search result. The longitude / latitude difference set in advance is, for example, a value of around 5 seconds for both longitude and latitude.
[0041]
As described above, according to the fifth embodiment, by providing the video trajectory instruction means 12, the video indicated by the trajectory closest to the point indicated on the map by the operator can be reproduced and displayed. When searching and playing back videos that are associated on the map, you can select the movement trajectory of the shooting position displayed on the map, so you want to watch even if multiple images are associated on the map You can definitely search for a video showing the position while looking at the locus of the shooting position.
[0042]
Embodiment 6 FIG.
In the fifth embodiment described above, an example is shown in which the video indicated by the locus selected on the map is retrieved and displayed. However, when the video is next photographed over a long distance along the road, for example. An embodiment in which only the video in a specific section is searched and reproduced and displayed is shown.
[0043]
FIG. 12 is a block diagram showing the configuration of the video information display apparatus according to Embodiment 6 of the present invention.
In FIG. 12, the same parts as those of the fifth embodiment shown in FIG. As a new code, reference numeral 13 denotes a video trajectory section instructing means for selecting a section of a portion having a video trajectory on the map, searching for and displaying a video corresponding to the trajectory through the video reproducing means, 10 is replaced with the image trajectory instruction means 12 of the fifth embodiment shown in FIG.
[0044]
Next, the operation will be described.
The operator selects the segment of the locus displayed on the map display screen at two end points.
Here, the selection of the end point is performed in the same manner as in the fifth embodiment, and indicates a point that is the image capturing position on the locus closest to the point on the map instructed by the operator.
The video trajectory section instructing means 13 obtains the positions of two points (start point, end point) on the map of the selected trajectory, and actually indicates the trajectory position on the map in longitude and latitude to the target position corresponding means 9 for these two points. Request to convert to position.
[0045]
In the target position correspondence means 9, the actual positions of the two points of the locus selected by the operator are calculated as in the fifth embodiment and sent to the video locus section instruction means 13. The video trajectory section instructing unit 13 requests the
The video search means 2 searches the
The video search means 2 searches for the shooting position close to the position designated as the start point and the shooting position close to the position designated as the end point by the same processing as the video search means 2 in the fifth embodiment. Select the file name of the video that both are in one shooting record.
[0046]
The video search means 2 checks from the shooting information what time each of the two shooting positions of the video was shot, and uses the oldest time at those two points as the playback start time, and the newer time ends. As a time, a video file is sent to the video playback means 1 to instruct playback. Based on this, the video reproduction means 1 reproduces the video between the designated reproduction start time and reproduction end time.
The video playback for the specified time in the video playback means 1 is performed as follows.
The video playback means 1 refers to the contents of the
[0047]
As described above, according to the sixth embodiment, the video trajectory section instructing unit 13 can reproduce and display the video of the section of the trajectory instructed on the map by the operator. When searching and playing back a certain video, for example, even a video shot for many kilometers along the road, you can see only the video in the range you want to see, such as the range from one intersection to the next, unnecessary. In addition, there is no need to search for a video where the desired position is seen by looking at a long video.
[0048]
In the third embodiment described above, the captured video can be displayed on a map with a trajectory. Next, an embodiment will be described in which a video in which a specific place designated on the map is shown is searched.
[0049]
FIG. 13 is a block diagram showing the configuration of the video information display apparatus according to
In FIG. 13, the same parts as those in the third embodiment shown in FIG. As a new code, reference numeral 14 is a target position input means for inputting the position of a location desired to be viewed on the map and converting it to the actual position of the position via the target position correspondence means 9, and 15 is a position desired to be viewed from the
[0050]
Next, the operation will be described.
When the operator designates a position to be viewed on the map display screen, the coordinate position on the map is sent from the screen to the target position input means 14. The target position input means 14 requests the target position corresponding means 9 to convert the coordinate position on the map into an actual position indicated by longitude and latitude. The target position correspondence means 9 calculates the actual position of the point designated by the operator and sends it to the target position input means 14. Then, the target position input means 14 sends a position obtained by correcting the position designated by the operator to the actual longitude and latitude to the target position search means 15 and requests a search for the video.
The conversion of the designated position on the map of the operator to the longitude / latitude by the target position corresponding means 9 is performed in the same manner as in the fifth embodiment.
[0051]
Next, the target position search means 15 searches the
The determination of how many meters away is calculated using the difference between the longitude and latitude of the position indicated by the operator and the longitude and latitude of the shooting position taken out from the
The target position search means 15 confirms whether or not the points designated by the operator are captured for all of the shooting positions retrieved and retrieved. As this confirmation method, as shown in FIG. 14, the point indicated by the operator is within the range of the elevation angle preset from the imaging position toward the imaging direction, and the distance is within the preset distance. To do.
Whether or not the point designated by the operator is within the preset angle of elevation from the shooting position toward the shooting direction is confirmed as follows. Suppose that the north latitude is the Y axis and the east longitude is the X axis, suppose that the XY coordinates are assumed, the photographing position is the origin, and the coordinate unit is meter. On this coordinate, in the same way as the calculation of the difference between the shooting position and the operator's designated position, the distance between the operator's designated position in the longitude and latitude directions is calculated. For example, if this is 10 meters to the east and 20 meters to the north, a designated point (10, 20) is temporarily placed on the XY coordinates, and a designated point vector from the origin to the designated point is set. If the angle from the origin of the specified point vector is A, the length of the vector is B, and BcosA = 20 and BsinA = 10. Accordingly, A = reverse cos (20 / B) and A = reverse sin (10 / B). By comparing this A with the shooting angle at the shooting position, it can be confirmed whether or not it is within the shooting range.
[0052]
The target position search means 15 takes out an image having the shooting position where the point indicated by the operator is shown in the shooting information, and before and after the shooting time of the video where the shooting position where the point indicated by the operator is shown is shown. For example, the video reproduction means 1 is requested to reproduce video for a preset time such as 5 seconds. The video playback means 1 plays back the video accordingly.
The request from the target
[0053]
As described above, according to the seventh embodiment, since the video in which the point is reflected at the position input by the target position input means 14 is searched via the target position search means 15, If you search for a video that has been associated with and play it back, you can search for and display the video that shows the location by simply pointing the desired location on the map. It is possible to search for a video showing the position without mistake.
[0054]
In the above-described seventh embodiment, it is possible to search for a video in which the point designated by the operator is shown, but when there are a plurality of videos at the designated position on the map next, a plurality of videos are displayed in time order. An embodiment to reproduce is shown.
[0055]
FIG. 15 is a block diagram showing the configuration of the video information display apparatus according to
In FIG. 15, the same parts as those in the seventh embodiment shown in FIG. As a new code,
[0056]
Next, the operation will be described.
When the operator designates a position to be viewed on the map display screen, the coordinate position on the map is sent from the screen to the target position input means 14. The target position input means 14 requests the target position corresponding means 9 to convert the coordinate position on the map into an actual position indicated by longitude and latitude. The target position corresponding means 9 calculates the actual position of the point designated by the operator and sends it to the target position input means. The details of the above processing are the same as in the seventh embodiment.
[0057]
Next, the target position input means 14 sends a position obtained by correcting the position designated by the operator to the actual longitude / latitude to the target position search means 15 and requests a video search. Based on this, the target position searching means 15 searches the
[0058]
The target position search means 15 takes out an image having the shooting position where the point indicated by the operator is shown in the shooting information. In this eighth embodiment, it is assumed that there are a plurality of images in which the position indicated by the operator is shown. The target position searching means 15 displays a video display of a preset time such as 5 seconds before and after the shooting time of the video showing the shooting position where the point indicated by the operator is shown. To request. At this time, there are a plurality of images.
The request from the target position search means 15 to the fixed point video time order display means 16 is sent as many times as the number of videos when there are a plurality of videos, with the playback start time, playback end time and video file names as a set. The reproduction start time is 5 seconds before the shooting time at the image shooting position, and the playback end time is 5 seconds after the shooting time at the shooting position. When the playback start time is earlier than the shooting time of the first shooting position record of the corresponding video, the playback start time is the shooting time of the first shooting position record of the video. When the playback end time is later than the shooting time of the last shooting position record of the corresponding video, the playback end time becomes the shooting time of the last shooting position record of the video.
[0059]
The playback order of a plurality of videos is determined as follows.
The fixed point video time order display means 16 sends an instruction to play the video in the oldest order to the video playback means 1. When one video has been played, instructions are sent one after another to play the next old video. The video playback means 1 plays back the video accordingly.
The specific processing for designating the video in the oldest order is as follows.
The fixed-point video time order display means 16 compares the playback start times of the videos sent from the target position search means 15, and compares the playback start time, playback end time, and video file name of the video with the oldest playback start time. Is sent to the video reproduction means 1. The reproduction of the video for the designated time range is processed in the same manner as the processing in the sixth embodiment. When the video reproduction means 1 finishes reproducing the video, it notifies the fixed point video time order display means 16 that the reproduction is finished. In the video time order display means 16, the file name, the playback start time and the playback end time of the video played back by the video playback means 1 are erased from the record held in the fixed point video time order display means 16. The video having the oldest playback start time is selected from the set of the video files of the remaining video, the playback start time, and the playback end time held in the fixed point video time order display means 16, and the video having the oldest playback start time is selected. The playback start time, playback end time, and video file name of the old video are sent to the video playback means 1. This process is continued until the display of all the videos held by the fixed point video time order display means 16 is completed.
[0060]
As described above, according to the eighth embodiment, even when the position input by the target position input unit 14 is recorded as a plurality of images, the fixed point image time
[0061]
In the third embodiment described above, the captured video can be displayed on a map with a trajectory. Next, an embodiment will be described in which a video in which a specific place designated on the map is shown is searched.
[0062]
FIG. 16 is a block diagram showing the configuration of the video information display apparatus according to
In FIG. 16, the same parts as those of the third embodiment shown in FIG. As a new code, 17 is a target range input means for acquiring the actual position of the range by using the target position corresponding means 9 when the range that the operator wants to see on the map is specified, and 18 is the range specified by the operator This is a target range search means for searching for a shot video from the
[0063]
Next, the operation will be described.
When the operator designates a range to be viewed on the map display screen, the coordinate position of a point where the range on the map can be specified from the screen is sent to the target range input means 17. As an example, the range is a quadrangle, and four points are sent for identification. The target range input means 17 requests the target position corresponding means 9 to convert the coordinate positions of the four points on the map into actual positions indicated by longitude and latitude.
[0064]
In the target position correspondence means 9, four actual positions indicating the range designated by the operator are calculated and sent to the target range input means 17. Based on this, the target range input means 17 sends a position obtained by correcting the position indicated by the operator to the actual longitude / latitude to the target range search means 18 and requests a video search. The longitude / latitude conversion of the designated position on the map of the operator in the target hitting means 9 is performed in the same manner as in the fifth embodiment.
[0065]
The target range search means 18 searches the
If the condition 1 and the
As a method for easily confirming this, first, coordinates satisfying the condition 1 are drawn in the memory space. A memory is a recording medium that records 0 or 1, and designates a virtual location to be recorded by an address. To draw in the memory space, 0 is stored in all addresses of the memory, The stored content of the address designated by the coordinates satisfying the condition is set to 1. The address is, for example, eight hexadecimal digits, the first four digits are named the upper address, the lower four digits are named the address, the Y coordinate is assigned to the upper address, and the X coordinate is assigned to the lower address. At this time, the accuracy can be improved if the data is divided finely so that 1 meter is about 10 in hexadecimal.
Next, the coordinates satisfying the
[0066]
As described above, according to the ninth embodiment, since the video in which the range input by the target range input means 17 is reflected can be searched via the target range search means 18, When searching for videos associated with a certain range, you can specify a range on the map and search for videos in that range all at once. You don't have to select one to search.
[0067]
In the third embodiment described above, the captured video can be displayed on a map with a trajectory. Next, an embodiment for searching for a video in which an object moving through a trajectory on the map is shown is shown. .
[0068]
FIG. 18 is a block diagram showing the configuration of the video information display apparatus according to
In FIG. 18, the same parts as those of the third embodiment shown in FIG. As a new code, 19 is a movement trajectory input means for converting the position into an actual position via the target position corresponding means when the movement trajectory of the position that the operator wants to see on the map and its date and time are input, and 20 is the movement. It is a moving trajectory search means that searches the
[0069]
Next, the operation will be described.
The operator inputs the movement trajectory to be searched on the map using the mouse. The locus is input by specifying a plurality of points on the map. In addition, the time when the point is passed is input to the designated point. These pieces of information are sent from the map display screen to the movement locus input means 19. The movement trajectory input means 19 sends the coordinate position on the map input as the trajectory to the target position correspondence means 9, and requests to convert the coordinate position into an actual position indicated by longitude and latitude.
[0070]
The target position corresponding means 9 calculates the actual position of each point of the trajectory and sends it to the movement trajectory input means 19. The conversion of the designated position on the map of the operator to the longitude / latitude by the target position corresponding means 9 is performed in the same manner as in the fifth embodiment. The movement trajectory input means 19 sends the actual position at the point of the trajectory input by the operator and the time input for the point to the movement trajectory search means 20, and whether or not there is an image taken at that point at that point. Request a search for. The movement trajectory search means 20 searches the
[0071]
The movement trajectory search means 20 confirms whether or not the points designated by the operator are captured for all of the shooting positions retrieved and retrieved. The determination of whether or not the image is shown is the same as in the seventh embodiment, but in the tenth embodiment, not only the position but also the shooting time is examined as to whether or not the time is specified by the operator.
Regarding the shooting time, when it is determined that a certain point designated by the operator is captured at a point at the shooting position in the
Then, an image having the shooting position where the point indicated by the operator is reflected in the shooting information is taken out. The movement trajectory search means 20 requests the video reproduction means 1 to reproduce the video at a preset time such as 5 seconds before and after the imaging time of the video in which the imaging position where the point designated by the operator is reflected is shown. . The video playback means 1 plays back the video accordingly. The playback instruction and playback processing are performed in the same manner as in the seventh embodiment.
[0072]
As described above, according to the tenth embodiment, it is possible to search through the movement trajectory searching means 20 whether or not there is an image of the time and point input by the moving trajectory input means 19. For example, when searching for an image of a car that has passed within the range shown in the past in the map, the travel route of the car that moved along the road on the map and the passing points of important points such as large intersections are displayed. The video showing the car can be taken out simply by specifying it, so that it is possible to save the trouble of searching all the videos associated with each point on the moving route and confirming the contents.
[0073]
Embodiment 11 FIG.
In the third embodiment described above, the captured video can be displayed on the map with a trajectory. Next, an embodiment in which not only the trajectory of the video but also a part of the content of the video is displayed on the map will be described.
[0074]
FIG. 19 is a block diagram showing the configuration of the video information display apparatus according to Embodiment 11 of the present invention.
In FIG. 19, the same parts as those of the third embodiment shown in FIG. As a new code,
[0075]
Next, the operation will be described.
First, the trajectory display means 10 reads out all the shooting information from the
[0076]
The target position correspondence means 9 converts the coordinates into the coordinates on the target map and returns them to the trajectory display means 10.
The conversion of the longitude and latitude into the coordinates on the map displayed on the screen in the target position correspondence means 9 is performed as follows.
The latitude and longitude of the origin of the coordinates of the image data of the map and the number of dots of the image data indicating 1 second of the latitude and longitude as the scale have been previously stored together with the map image data as map information. To do. Thereby, it can be understood how many seconds the longitude and latitude specified by the operator are away from the origin on the map. The coordinate position on the map is determined by multiplying this number of seconds by the value of how many dots of the image data indicate one map of longitude and latitude.
Next, the trajectory display means 10 instructs the map information display means 8 to display a map. The map information display means 8 reads and displays the
This process is performed using, for example, commercially available map display software.
Next, the trajectory display means 10 draws and displays a trajectory on the map using the coordinates of the trajectory points on the map. A display example of the locus is as shown in FIG.
The above processing is performed in the same manner as in the third embodiment.
[0077]
Next, the trajectory display means 10 sends to the representative screen display means 21 the photographing information indicating the trajectory and the coordinate position where the trajectory is displayed on the map. The representative screen display means 21 takes out an electronic file of a video showing the trajectory. That is, an image of one scene is taken out from the electronic file of
The image is extracted as follows.
The electronic file name of the video is included in the shooting information. In this electronic file, still images in time order, for example, 20 frames per second are recorded. For example, the first still image of the electronic file is read.
As for the position to be displayed, the longitude / latitude of the shooting position most recently shot in the video is displayed on the map immediately next to the point corrected to the coordinates.
[0078]
As described above, according to the eleventh embodiment, the representative screen display means 21 can display a part of the content of the video displaying the locus on the map. Since the image of one scene is displayed together with the locus of the shooting position associated with the map, not only the shooting position of the video can be understood, but the contents can also be understood by looking at the display on the map. .
[0079]
In
[0080]
FIG. 20 is a block diagram showing the configuration of the video information display apparatus according to
In FIG. 20, the same parts as those of the third embodiment shown in FIG. As a new code, 22 displays an image of a scene of the video as a search result on the map. As a display method, the display position is moved along the position corresponding to the shooting position, and the shooting time is changed. This is representative screen movement display means for switching the screen to be displayed in the reproduction content.
[0081]
Next, the operation will be described.
First, when the operator instructs the trajectory display means 10 to display the trajectory of the position at the time of shooting on the map, the trajectory display means 10 reads all the shooting information from the
[0082]
Next, the trajectory display means 10 instructs the map information display means 8 to display a map. The map information display means 8 reads and displays the
Next, the shooting information indicating the locus and the coordinate position where the locus on the map is displayed are sent from the locus display means 10 to the representative screen reproduction movement display means 22.
[0083]
The representative screen playback movement display means 22 takes out the electronic file of the
As the twelfth embodiment, since the photographing time and the photographing position are included in the photographing information, the photographing position corresponding to that is taken out while being reproduced, and the coordinates on the map corresponding to the position are taken out from the target position correspondence means 9, The coordinate point is set as the display position of the video being reproduced.
The representative screen reproduction movement display means 22 uses the time from the shooting position A to the next shooting position B as one segment in the time order of the shooting positions, and displays the electronic file display of the video at the shooting time as the shooting position. It is displayed beside the display position of the locus on the map of A. When this display is finished, the video of the section from the shooting position B to the notification position C in time order is reproduced and displayed next to the display position on the map of the shooting position B. Repeat this. The display of a specific shooting position section is performed in the same manner as in the sixth embodiment.
[0084]
As described above, according to the twelfth embodiment, the representative screen playback movement display means 22 displays the video content of the selected trajectory on the map in such a way that the shooting position is known. At the time of playback, the video playback screen can be displayed at a position on the map corresponding to the position where the video was shot, and even if the video playback time is long, it is easy to know which position is being played back.
[0085]
Embodiment 13 FIG.
In
[0086]
FIG. 22 is a block diagram showing the configuration of the video information display apparatus according to Embodiment 13 of the present invention.
In FIG. 22, the same parts as those of the third embodiment shown in FIG. As a new code,
[0087]
Next, the operation will be described.
First, when the operator instructs the trajectory display means 4 to display the trajectory of the position at the time of shooting on the map, the trajectory display means 4 reads out all the shooting information from the
[0088]
The target position correspondence means 9 converts the coordinates into the coordinates on the target map and returns them to the trajectory display means 4. Based on this, the trajectory display means 4 instructs the map information display means 8 to display a map. The map information display means 8 reads and displays the
This process is performed in the same manner as in the eleventh embodiment.
[0089]
Next, the locus display means 4 draws and displays the locus on the map using the coordinates of the locus points on the map. A display example of the locus is as shown in FIG.
By sending out the shooting position and shooting direction from the shooting information indicating the trajectory from the trajectory display means 4 to the shooting range display means 23, the shooting range display means 23 takes out the electronic file of the video showing the trajectory, and maps 3D map information composed of the contour information of the land and the shape and height information of the building, etc. is read, and the range shown in the video is calculated from the shooting position and its direction, and displayed on the map.
As shown in FIG. 23, the calculation method calculates in what range the camera viewpoint reaches the land and building solid model.
A specific method will be described using coordinates on the map. However, description will be made using a three-dimensional XYZ coordinate obtained by adding a Z axis in the height direction to an XY coordinate in which the east direction is the X axis and the north direction is the Y axis. For convenience, it is assumed that one unit of coordinates on the map is 1 meter in real space. In addition, the angle at which the camera can shoot is set to be 30 degrees left and right 10 degrees above the XY plane parallel to the XY plane from the camera shooting direction, and a distance of 50 meters.
If the coordinate of a certain photographing position is A, the coordinate of A is (XA, YA, 0). A straight line L is drawn from A to the photographing direction in parallel to the XY plane. Drawing a line is performed by calculating a relational expression of XYZ of the line.
A straight line of 30 degrees to the left and right is drawn parallel to the XY plane from L on the XY plane. Let these be a straight line M and a straight line N. The coordinates of 50 meters are defined as B and C from the coordinate points of the M and N imaging positions. B is a line to the left of L.
A perpendicular line M2 is drawn in a positive direction from B to the Z axis. A line M3 that reaches M2 from the imaging position is drawn so that the angle of this line with the XY plane is 10 degrees. Let the intersection of M3 and M2 be B2.
A perpendicular line N2 is drawn in a positive direction from C to the Z axis. A line N3 reaching N2 from the imaging position is drawn so that the angle of this line with the XY plane is 10 degrees. Let the intersection of N3 and N2 be C2.
A rectangular surface connecting B, B2, C2, and C is referred to as S. S is divided into 10 portions by a line parallel to the XY plane, and is divided into 10 portions by a line parallel to the plane formed by the straight line L and the Z axis. The divided 100 rectangles are called cells. A line is drawn from the shooting position to the center of each cell. This straight line is named SEL1 to SEL100. The above is done by obtaining a line formula.
On the other hand, it is assumed that topographic data such as buildings and slopes are accumulated on the map, and height data is accumulated such as how many meters at a certain coordinate point. This is applied to the coordinate space, and a cube with one unit of coordinates as one side is placed in the coordinate space. The placing in the coordinate space is performed by placing the solid coordinates in the memory space. A memory is a recording medium that records 0 or 1, and designates a virtual location to be recorded by an address. To place it in the memory space means that 0 is stored in all addresses of the memory, Assume that the stored content of the address specified by the coordinates satisfying the condition is 1. The address is, for example, 12 hexadecimal digits, the first 4 digits are the upper address, the next 4 digits are the intermediate address, the last 4 digits are the address, the X coordinate is the upper address, the Y coordinate is the intermediate address, and the Z coordinate is the lower address. Assign to a street address.
Next, the following processing is performed from SEL1 to SEL100. For example, in the case of SEL1, the linear expression of SEL1 is, for example, 1 When <X ≦ 2, by setting 2, all sets of integer values X, Y, and Z are calculated. Next, this combination of X, Y, and Z is assigned to an address as coordinates in the memory space described above, and it is confirmed whether or not there is a three-dimensional object at this address. A point where there is a three-dimensional object at a point closest to the shooting position stores the coordinates of X and Y on the map as the limit of the field of view of the shooting position in the direction toward SEL1. When there is no solid object, the point where the rectangle S and SEL1 collide is defined as the limit of the field of view. By repeating the above, it is calculated which range on the map is visible.
[0090]
As described above, according to the thirteenth embodiment, the shooting range display means 23 can display in detail on the map how far the shot video is actually shot. You can display the details in the map in detail on the map, and whether it is possible to shoot near the side or near the building, etc. I can know.
[0091]
Embodiment 14 FIG.
In the third embodiment described above, the captured video can be displayed on a map with a trajectory. Next, an embodiment in which not only the trajectory of the video but also other information associated with the video is searched will be shown.
[0092]
FIG. 24 is a block diagram showing the configuration of the video information display apparatus according to Embodiment 14 of the present invention.
In FIG. 24, the same parts as those of the third embodiment shown in FIG. As a new code,
[0093]
Next, the operation will be described.
The operator selects a locus in the same manner as in the third embodiment, and gives an instruction to display the related information of the video indicated by the locus. All the coordinate positions on the shooting point map of the locus are received by the related information search means 24. The related information search means 24 instructs the target position correspondence means 9 to convert the coordinates on the map into actual positions. The target position correspondence means 9 converts the coordinates on the map into actual positions and returns them to the related information search means 24.
[0094]
Based on this, the related information search means 24 takes out the related information from the
[0095]
As described above, according to the fourteenth embodiment, the related
[0096]
In the third embodiment described above, the captured video can be displayed on the map with a trajectory. Next, when a position in the video being reproduced and displayed is selected, the position on the map is determined. The embodiment to display is shown.
[0097]
FIG. 25 is a block diagram showing the configuration of the video information display apparatus according to
In FIG. 25, the same parts as those in the third embodiment shown in FIG. As a new code, when an operator designates a position shown in the video during video playback, 25 retrieves the video shooting position and shooting direction from the
[0098]
Next, the operation will be described.
When the video is being played back by the video playback means 1, when the operator designates the position on the screen via the pointing position checking means 25, the pointing position checking means 25 sends the electronic of the video being played back from the video playing means 1 Get the playback time of the file name and how many seconds the playback is from the beginning of the video. Based on this, the designated position confirmation means 25 takes out the shooting position and shooting direction included in the shooting information from the
[0099]
The calculation in the designated position confirmation means 25 is performed as shown in FIG. That is, it is assumed that the image is captured at an elevation angle within a preset range with respect to the imaging direction, and the elevation angle is indicated as C in FIG. The distance from the center of the screen specified by the operator is indicated by a in FIG. 26, and the distance from the point specified by the operator to the nearer right or left of the screen is indicated by b in FIG. A direction obtained by shifting the shooting direction from the shooting position by an angle of c × a / (a + b) is set as the target position direction, and a predetermined range from the actual shooting position toward the target direction, for example, 10 meters in width and 200 meters in length is indicated. Calculate as the actual position. The designated
[0100]
As described above, according to the fifteenth embodiment, where the position indicated on the screen by the operator while viewing the video being reproduced by the indication position confirmation means 25 corresponds to the position that can be expressed by the actual longitude / latitude. Since the position is displayed on the map by the indicated position display means 26, when a position or an object in the image is specified when the image associated with the map is reproduced and displayed, the position is displayed. Alternatively, the position of the object can be displayed on the map, and the position in the image can be confirmed accurately and easily.
[0101]
In the above-described seventh embodiment, it is possible to search for a video showing the specified specific place. Next, a video showing the specified specific place on the map is searched and displayed on the display screen. An embodiment in which the specified position is highlighted is shown.
[0102]
FIG. 27 is a block diagram showing the configuration of the video information display apparatus according to
In FIG. 27, the same parts as those in the seventh embodiment shown in FIG. As a new code,
[0103]
Next, the operation will be described.
When the operator designates the position to be viewed on the map display screen, the coordinate position on the map is sent from the screen to the target position input means 14. Based on this, the target position input means 14 requests the target position corresponding means 9 to convert the coordinate position on the map into an actual position indicated by longitude and latitude. The target position correspondence means 9 calculates the actual position of the point designated by the operator and sends it to the target position input means 14. As a result, the target position input means 14 sends a position obtained by correcting the position designated by the operator to the actual longitude / latitude to the target position search means 15 to request a video search.
[0104]
The target position search means 15 searches the
[0105]
The target position search means 15 takes out the
[0106]
The moving
[0107]
As described above, according to the sixteenth embodiment, the moving
[0108]
【The invention's effect】
As described above, according to the present invention, since the range shown in the video can be displayed in detail on the map, whether or not the video of the hard part is visible whether it is possible to shoot near the side or near the building, etc. Can be easily found on the map without playing the video, and it can be easily confirmed whether the video is reflected behind the topography or building.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a video information display device according to the present invention.
FIG. 2 is a block diagram showing a configuration of a video information display apparatus according to Embodiment 1 of the present invention.
FIG. 3 is an explanatory diagram showing an example of a video and an example of specific contents of a video database.
FIG. 4 is a block diagram showing a configuration of a video information display apparatus according to
FIG. 5 is a block diagram showing a configuration of a video information display apparatus according to
FIG. 6 is an explanatory diagram showing an example of a map display.
FIG. 7 is an explanatory diagram showing a display example when a shooting locus is displayed on a map.
FIG. 8 is a block diagram showing a configuration of a video information display apparatus according to Embodiment 4 of the present invention.
FIG. 9 is an explanatory diagram illustrating a display example when shooting information is visually displayed on a map;
FIG. 10 is a block diagram showing a configuration of a video information display apparatus according to
FIG. 11 is an explanatory diagram showing an example of a distance between a shooting trajectory on a map and an operator's designated position.
FIG. 12 is a block diagram showing a configuration of a video information display apparatus according to Embodiment 6 of the present invention.
FIG. 13 is a block diagram showing a configuration of a video information display apparatus according to
FIG. 14 is an explanatory diagram showing an example of determining whether or not a position indicated by an operator on a map is shown in a video based on shooting information.
FIG. 15 is a block diagram showing a configuration of a video information display apparatus according to
FIG. 16 is a block diagram showing a configuration of a video information display apparatus according to
FIG. 17 is an explanatory diagram illustrating an example of determining based on shooting information whether a range designated by an operator on a map is reflected in a video;
FIG. 18 is a block diagram showing a configuration of a video information display apparatus according to
FIG. 19 is a block diagram showing a configuration of a video information display apparatus according to Embodiment 11 of the present invention.
FIG. 20 is a block diagram showing a configuration of a video information display apparatus according to
FIG. 21 is an explanatory diagram illustrating a display example in which a representative screen is displayed while moving along a shooting locus.
FIG. 22 is a block diagram showing a configuration of a video information display apparatus according to Embodiment 13 of the present invention.
FIG. 23 is an explanatory diagram of a shooting range based on stereoscopic information and a display example of a shooting range on a map.
FIG. 24 is a block diagram showing a configuration of a video information display apparatus according to Embodiment 14 of the present invention.
FIG. 25 is a block diagram showing a configuration of a video information display apparatus according to
FIG. 26 is an explanatory diagram showing a correspondence example between a position on the screen and an actual position.
FIG. 27 is a block diagram showing a configuration of a video information display apparatus according to
FIG. 28 is an explanatory diagram illustrating an example of emphasizing a designated position in video display.
[Explanation of symbols]
1 video playback means, 2 video search means, 3 electronic file of captured video, 5 video database, 6 video association means, 7 map information, 8 map information display means, 9 target position correspondence means, 10 locus display means, 11 Shooting information map display means, 12 video trajectory instruction means, 13 video trajectory section instruction means, 14 target position input means, 15 target position search means, 16 fixed point video time order display means, 17 target range input means, 18 target range search Means, 19 Movement locus input means, 20 Movement locus search means, 21 Representative screen display means, 22 Representative screen movement display means, 23 Shooting range display means, 24 Related information display means, 25 Instruction position confirmation means, 26 Instruction position display means 27 Moving image enhancement means, 100 computer device, 200 mouse, 300 keyboard, 400 display device.
Claims (1)
上記映像の撮影位置を示す情報および撮影方向を示す情報を含む撮影情報を上記映像と対応付けて蓄積した映像データベースと、
上記撮影位置を含んだ地域の地図情報を表示する地図情報表示手段と、
上記撮影位置の情報と上記地図情報表示手段によって表示された地図上の座標点とを対応付ける対象位置対応手段と、
上記対象位置対応手段による対応付けに基き上記撮影位置を上記地図上に表示するとともに、立体地図情報から得た地形の高低と建物の高さのデータ、上記撮影位置を示す情報および上記撮影方向を示す情報に基き上記撮影位置においてどの地点まで映像に写っているかを上記地図上に表示する撮影範囲表示手段と
を備えたことを特徴とする映像情報表示装置。A recording medium that stores the shot video;
A video database in which shooting information including information indicating a shooting position of the video and information indicating a shooting direction is stored in association with the video;
Map information display means for displaying map information of the area including the shooting position;
Target position correspondence means for associating the information on the photographing position with the coordinate points on the map displayed by the map information display means;
The shooting position is displayed on the map based on the association by the target position corresponding means, and the topographical height and building height data obtained from the three-dimensional map information, the information indicating the shooting position, and the shooting direction are displayed. A video information display device comprising: a shooting range display means for displaying, on the map, to what point the video is captured at the shooting position based on the information shown.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002376437A JP4109985B2 (en) | 2002-12-26 | 2002-12-26 | Video information display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002376437A JP4109985B2 (en) | 2002-12-26 | 2002-12-26 | Video information display device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001131625A Division JP3452910B2 (en) | 2001-04-27 | 2001-04-27 | Video information display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003250107A JP2003250107A (en) | 2003-09-05 |
JP4109985B2 true JP4109985B2 (en) | 2008-07-02 |
Family
ID=28672797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002376437A Expired - Lifetime JP4109985B2 (en) | 2002-12-26 | 2002-12-26 | Video information display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4109985B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4715661B2 (en) * | 2006-07-20 | 2011-07-06 | 株式会社ニコン | Image reproducing apparatus and image reproducing program |
-
2002
- 2002-12-26 JP JP2002376437A patent/JP4109985B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003250107A (en) | 2003-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH11259502A (en) | Image information display device | |
JP3432212B2 (en) | Image processing apparatus and method | |
KR0184245B1 (en) | Electronic camera and image reproducing device therefor | |
US7110592B2 (en) | Image recording apparatus, image reproducing apparatus and methods therefor | |
US7239760B2 (en) | System and method for creating, storing, and utilizing composite images of a geographic location | |
US5768447A (en) | Method for indexing image information using a reference model | |
US7272501B2 (en) | System and method for automatically collecting images of objects at geographic locations and displaying same in online directories | |
CN103455480B (en) | A kind of position search method based on electronic chart and device | |
US20070165968A1 (en) | Image editing system and image editing program | |
JP4210309B2 (en) | Image data display system with map information and image data display program with map information | |
JP2009511965A (en) | How to generate an enhanced map | |
KR100417638B1 (en) | Digital Photogrammetric Manufacturing System using General PC | |
JP2001036840A (en) | Photographed image managing method, photographed image reproducing method using electronic map and device for the same | |
JP4109985B2 (en) | Video information display device | |
JP3452910B2 (en) | Video information display device | |
WO2008072429A1 (en) | System for displaying image data associated with map information | |
JPH11211486A (en) | Navigation device | |
US20030117658A1 (en) | Method for processing map information | |
JP3450311B2 (en) | Video information display device | |
JP3527233B2 (en) | Video information display device | |
JPH1013720A (en) | Information service device | |
JP5176605B2 (en) | Video search device | |
JP2619456B2 (en) | Map data display device | |
JP2004070929A (en) | Image processing device and method | |
JP2010224735A (en) | Three-dimensional space data generating method and three-dimensional space data generating device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080401 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080407 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |