JP2002057967A - Video information display system - Google Patents

Video information display system

Info

Publication number
JP2002057967A
JP2002057967A JP2001131625A JP2001131625A JP2002057967A JP 2002057967 A JP2002057967 A JP 2002057967A JP 2001131625 A JP2001131625 A JP 2001131625A JP 2001131625 A JP2001131625 A JP 2001131625A JP 2002057967 A JP2002057967 A JP 2002057967A
Authority
JP
Japan
Prior art keywords
video
map
shooting
information
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001131625A
Other languages
Japanese (ja)
Other versions
JP3452910B2 (en
Inventor
Satoshi Hisanaga
聡 久永
Hiroto Nagahisa
宏人 長久
Koji Wakimoto
浩司 脇本
Satoshi Tanaka
聡 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2001131625A priority Critical patent/JP3452910B2/en
Publication of JP2002057967A publication Critical patent/JP2002057967A/en
Application granted granted Critical
Publication of JP3452910B2 publication Critical patent/JP3452910B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a video information display system that can easily retrieve video images that are photographed while moving or while changing a photographing direction and photographing information when the video images are photographed. SOLUTION: The video information display system is provided with a recording medium (electronic file 3) storing photographed video images, a video database 5 that stores photographing information in cross-reference with a video image, a video retrieval means 2 that uses at least one set of photographing information among a video image photographing position, a photographing date and time, and a photographing direction to retrieve video images to extract video specific information coincident with the photographing information from the video database and extracts a video image from the recording medium on the basis of the extracted video image specific information and a video image reproduction means 1 that reproduces the video image extracted by the video retrieval means.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、映像情報表示装
置に関し、特に、映像とその撮影位置、撮影方向、撮影
時刻等の撮影情報を管理する撮影情報のデータベース技
術に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video information display device, and more particularly to a video information database technology for managing video information such as a video and its shooting position, shooting direction, and shooting time.

【0002】[0002]

【従来の技術】従来、一般的な撮影情報の位置との対応
付けの例では、自動車やトラックの運行管理のためにい
ろいろな地点の道路状況をビデオカメラで撮影してビデ
オテープに記録し、事務所に持ち帰って各地点の映像を
再生する必要がある場合、まず撮影時点でカメラに貯え
られているテープカウンタやタイマカウンタを利用し
て、撮影者が自分で撮影地点とそのカウント値を対応付
けて記録しておき、再生時にその記録データを参考にし
て所望の地点の道路状況の映像を再生するようにしてい
る。
2. Description of the Related Art Conventionally, in a general example of correspondence with the position of photographing information, road conditions at various points are photographed with a video camera and recorded on a video tape in order to manage the operation of a car or a truck. When it is necessary to take the video back to the office and play back the video at each point, the photographer first uses the tape counter and timer counter stored in the camera at the time of shooting and handles the shooting point and the count value by himself At the time of reproduction, an image of the road condition at a desired point is reproduced with reference to the recorded data.

【0003】また、地図上の地点に映像を関連付ける市
販の地図表示ソフトウェアの例では、撮影した映像を地
図上の特定の地点と対応付けることができるが、その対
応付けは操作員が撮影情報をどの位置と対応付けるか指
示する必要があった。また、対応付けた映像は地図上の
対応した地点をマウス等の入力装置で指示すると映像が
表示できる。
[0003] In an example of commercially available map display software for associating an image with a point on a map, a photographed image can be associated with a specific point on the map. It was necessary to indicate whether to associate with the position. The associated video can be displayed when the corresponding point on the map is designated by an input device such as a mouse.

【0004】また、映像と地図情報を自動的に対応付け
る例として、例えば特開平7−248726号公報に示
された従来のGPS利用位置映像データ収集およびその
再生装置がある。この例では、映像撮影時に位置情報と
映像管理データベースを作成する仕組みになっており、
撮影時に映像の内部アドレスと位置情報をマッチングし
ながら記録していくための装置であるアドレス情報マッ
チング手段が必要である。対応付けた映像は地図上の対
応した地点をマウス等の入力装置で指示し、撮影日時を
キーボード等で指定すると指定した地点の指定した撮影
時間の映像が表示される。
As an example of automatically associating an image with map information, there is a conventional GPS-based position image data collecting and reproducing apparatus disclosed in Japanese Patent Application Laid-Open No. 7-248726. In this example, the location information and the video management database are created when capturing the video,
An address information matching means, which is an apparatus for matching and recording the internal address and position information of a video at the time of shooting, is required. As for the associated video, when the corresponding point on the map is designated by an input device such as a mouse, and the shooting date and time is specified by a keyboard or the like, the video of the specified location at the specified shooting time is displayed.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、上述し
た従来例では下記のような問題点があった。地図上に対
応付けてある動画映像を再生表示するときに、その動画
映像を最初から最後まで通して見ることしかできなかっ
たので、例えばある交差点付近の100mの映像といっ
たように見たい範囲だけ見ることができないという問題
点があった。
However, the above-mentioned prior art has the following problems. When playing back and displaying a moving picture image associated with the map, the user could only view the moving picture image from the beginning to the end. For example, the user could view only the desired range, such as a 100 m image near a certain intersection. There was a problem that it was not possible.

【0006】また、例えば道路に沿って撮影した映像が
地図上に対応付けてあるとき、その映像を再生表示して
も映像が1km以上にわたって撮影されている時等は長
時間の映像なので、どの地点でどのような映像が撮影さ
れているかの位置関係がわからなくなるという問題点が
あった。
Further, for example, when an image taken along a road is associated with a map, and the image is reproduced and displayed, the image is taken for a long time when the image is taken over 1 km or longer. There has been a problem that the positional relationship as to what kind of video is taken at a point cannot be understood.

【0007】また、例えば道路に沿って撮影した映像が
地図上に対応付けてあるとき、地図上にはマークで対応
付けてあることが示してあるが、地形や建物の形状を考
慮していないので、その位置から撮影した映像にどの範
囲まで写っているかがよくわからないという問題点があ
った。
For example, when an image taken along a road is associated with a map on a map, it is shown on the map that the image is associated with a mark, but the topography and the shape of the building are not considered. Therefore, there is a problem in that it is difficult to know to what extent the image captured from that position is captured.

【0008】この発明は上記のような問題点を解決する
ためになされたもので、移動しながらまたは撮影方向を
変えながら撮影した映像と映像を撮影したときの撮影情
報とを容易に検索することができる映像情報表示装置を
得ることを目的とする。
SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and it is an object of the present invention to easily search for a video taken while moving or changing a shooting direction and shooting information at the time of shooting the video. It is an object of the present invention to obtain a video information display device capable of performing the following.

【0009】[0009]

【課題を解決するための手段】この発明に係る映像情報
表示装置は、撮影した映像を蓄積した記録媒体と、上記
映像の撮影位置を示す情報を上記映像と対応付けて蓄積
した映像データベースと、上記撮影位置を含んだ地域の
地図情報を表示する地図情報表示手段と、上記撮影位置
を示す情報と上記地図情報表示手段によって表示された
地図上の座標点とを対応付ける対象位置対応手段と、上
記対象位置対応手段による対応付けに基き上記撮影位置
を上記地図情報表示手段によって表示された地図上に表
示するとともに、上記映像に対応付けられた上記撮影位
置が複数存在する場合に、当該複数の撮影位置を結んだ
線を上記地図上に表示することで上記複数の撮影位置の
移動軌跡を表示する軌跡表示手段と、上記地図上に表示
された移動軌跡の一部の区間を指示する映像軌跡区間指
示手段と、上記映像軌跡区間指示手段によって指示され
た区間に対応する上記撮影位置の情報に基いて上記映像
データベースを検索し、上記撮影位置を示す情報に対応
する映像を上記記憶媒体から取り出す映像検索手段と、
上記映像検索手段により取り出された映像を再生する映
像再生手段とを備えたものである。
According to the present invention, there is provided a video information display apparatus comprising: a recording medium storing a captured video; a video database storing information indicating a shooting position of the video in association with the video; Map information display means for displaying map information of an area including the shooting position; target position correspondence means for associating information indicating the shooting position with coordinate points on a map displayed by the map information display means; The photographing position is displayed on the map displayed by the map information display means based on the correspondence by the target position associating means, and when there are a plurality of the photographing positions associated with the video, the plurality of photographing positions Trajectory display means for displaying a trajectory of the plurality of shooting positions by displaying a line connecting positions on the map, and a trajectory of the trajectory displayed on the map. A video trajectory section instructing means for instructing a section of the section, and searching the video database based on information of the shooting position corresponding to the section instructed by the video trajectory section instructing means, and corresponding to the information indicating the shooting position Video retrieval means for retrieving the video to be retrieved from the storage medium;
Video reproducing means for reproducing the video retrieved by the video searching means.

【0010】この発明に係る映像情報表示装置は、撮影
した映像を蓄積した記録媒体と、上記映像の撮影位置を
示す情報を上記映像と対応付けて蓄積した映像データベ
ースと、上記撮影位置を含んだ地域の地図情報を表示す
る地図情報表示手段と、上記撮影位置を示す情報と上記
地図情報表示手段によって表示された地図上の座標点と
を対応付ける対象位置対応手段と、上記対象位置対応手
段による対応付けに基き上記撮影位置を上記地図情報表
示手段によって表示された地図上に表示するとともに、
上記映像に対応付けられた上記撮影位置が複数存在する
場合に、当該複数の撮影位置を結んだ線を上記地図上に
表示することで上記複数の撮影位置の移動軌跡を表示す
る軌跡表示手段と、上記複数の撮影位置を示す情報に基
いて上記映像データベースを検索し、上記複数の撮影位
置に対応する映像を上記記憶媒体から取り出す映像検索
手段と、上記映像検索手段によって取り出された映像を
再生する映像再生手段と、上記映像再生手段によって再
生される映像を、上記撮影位置の変化に合わせるととも
に上記移動軌跡に沿って移動させて表示する移動表示手
段とを備えたものである。
[0010] A video information display apparatus according to the present invention includes a recording medium in which a captured video is stored, a video database in which information indicating a shooting location of the video is stored in association with the video, and the shooting location. Map information display means for displaying map information of a region; target position correspondence means for associating information indicating the shooting position with coordinate points on the map displayed by the map information display means; correspondence by the target position correspondence means Displaying the photographing position on the map displayed by the map information display means based on the
Trajectory display means for displaying a moving trajectory of the plurality of photographing positions by displaying a line connecting the plurality of photographing positions on the map when there are a plurality of the photographing positions associated with the video; A video search unit that searches the video database based on the information indicating the plurality of shooting positions, retrieves the video corresponding to the plurality of photography positions from the storage medium, and reproduces the video retrieved by the video search unit. And moving display means for displaying the video reproduced by the video reproducing means in accordance with the change of the photographing position and moving the video along the movement locus.

【0011】この発明に係る映像情報表示装置は、撮影
した映像を蓄積した記録媒体と、上記映像の撮影位置を
示す情報および撮影方向を示す情報を含む撮影情報を上
記映像と対応付けて蓄積した映像データベースと、上記
撮影位置を含んだ地域の地図情報を表示する地図情報表
示手段と、上記撮影位置の情報と上記地図情報表示手段
によって表示された地図上の座標点とを対応付ける対象
位置対応手段と、上記対象位置対応手段による対応付け
に基き上記撮影位置を上記地図上に表示するとともに、
立体地図情報から得た地形の高低と建物の高さのデー
タ、上記撮影位置を示す情報および上記撮影方向を示す
情報に基き上記撮影位置においてどの地点まで映像に写
っているかを上記地図上に表示する撮影範囲表示手段と
を備えたものである。
[0011] A video information display apparatus according to the present invention stores a recording medium storing captured video and shooting information including information indicating a shooting position and a shooting direction of the video in association with the video. A video database, map information display means for displaying map information of a region including the shooting position, and target position correspondence means for associating the information on the shooting position with the coordinate points on the map displayed by the map information display means And displaying the shooting position on the map based on the correspondence by the target position correspondence means,
Based on the data of the height of the terrain and the height of the building obtained from the three-dimensional map information, the information indicating the shooting position and the information indicating the shooting direction, the position at which the image is captured in the image at the shooting position is displayed on the map. And a photographing range display means.

【0012】[0012]

【発明の実施の形態】図1はこの発明に係る映像情報表
示装置の全体構成図である。映像情報表示装置のハード
ウェア構成としては、コンピュータ装置100と、マウ
ス200と、キーボード300及びディスプレイ装置4
00をもつ。
FIG. 1 is an overall configuration diagram of a video information display device according to the present invention. The hardware configuration of the video information display device includes a computer device 100, a mouse 200, a keyboard 300, and a display device 4.
With 00.

【0013】コンピュータ装置100の内部には、映像
と撮影情報を蓄積して管理するデータベース部となる地
図情報電子データ部101と、映像を検索して表示の指
示を行う検索表示ソフトウェア部102と、映像をディ
スプレイ装置に表示する映像表示部103と、地図をデ
ィスプレイ装置に表示する地図表示ソフトウェア部10
4と、入力手段から地図上に入力を行うインターフェイ
スソフトウェア部105と、地図で表示する画面上の座
標と緯度経度である実際の位置を変換する座標変換ソフ
トウェア部106と、映像以外の関連情報を検索表示す
る情報表示ソフトウェア部107と、データベースにデ
ータを蓄積するデータ蓄積ソフトウェア部108を有す
る。また、コンピュータ装置100の内部の記録媒体ま
たは外部の記録媒体に蓄積しておいて利用するデータと
して、地図情報電子データ部内の地図のイメージ情報で
ある地図情報7と、撮影情報電子データ部内の撮影情報
4と映像3の電子ファイルである撮影関連電子データを
もつ。
Inside the computer device 100, a map information electronic data unit 101 serving as a database unit for storing and managing video and photographing information, a search and display software unit 102 for searching for video and instructing display are provided; An image display unit 103 for displaying an image on a display device, and a map display software unit 10 for displaying a map on the display device
4, an interface software unit 105 for inputting on the map from the input means, a coordinate conversion software unit 106 for converting the coordinates on the screen displayed on the map and the actual position as latitude and longitude, and related information other than the video. It has an information display software unit 107 for searching and displaying, and a data storage software unit 108 for storing data in a database. Further, as data to be stored and used in a recording medium inside the computer apparatus 100 or an external recording medium, there are map information 7 which is image information of a map in the map information electronic data section and photographing information in the photographing information electronic data section. Information 4 and shooting-related electronic data as an electronic file of the video 3 are provided.

【0014】ここで、上記地図情報電子データ部101
は、映像データベース5を内蔵し、上記検索表示ソフト
ウエア部102は、映像検索手段2、軌跡表示手段1
0、撮影情報地図上表示手段11、対象範囲検索手段1
8、移動軌跡検索手段20、代表画面表示手段21、代
表画面移動表示手段22、撮影範囲表示手段23、指示
位置確認手段25及び指示位置表示手段26を内蔵して
いる。
Here, the map information electronic data unit 101
Incorporates a video database 5, and the search and display software unit 102 includes a video search unit 2, a locus display unit 1,
0, photographing information map display means 11, target range search means 1
8, a moving trajectory search means 20, a representative screen display means 21, a representative screen movement display means 22, an imaging range display means 23, a designated position confirmation means 25, and a designated position display means 26 are built-in.

【0015】また、上記映像表示部103は、映像情報
再生手段1、動画強調手段27及び定点映像時間順表示
手段16を内蔵し、上記地図表示ソフトウエア部104
は、地図情報表示手段8を内蔵し、上記インターフェイ
スソフトウエア部105は、映像軌跡指示手段12、映
像軌跡区間指示手段13、対象位置入力手段14、対象
位置検索手段15、対象範囲入力手段17及び移動軌跡
入力手段19を内蔵する。
The video display unit 103 includes the video information reproducing unit 1, the moving image emphasizing unit 27, and the fixed-point video chronological display unit 16, and the map display software unit 104.
Incorporates the map information display means 8, and the interface software unit 105 includes the image trajectory instruction means 12, the image trajectory section instruction means 13, the target position input means 14, the target position search means 15, the target range input means 17, The trajectory input means 19 is built in.

【0016】また、上記座標変換ソフトウエア部106
は、対象位置対応手段9を内蔵し、上記情報表示ソフト
ウエア部107は、関連情報表示手段24を内蔵し、上
記データ蓄積ソフトウエア部108は、映像対応付け手
段6を内蔵する。これら各内蔵手段の機能については後
述する各実施の形態で説明する。以下、各実施の形態に
従う構成とその動作及び効果について説明する。
The coordinate conversion software unit 106
Has the target position associating means 9, the information display software section 107 has the related information display means 24 therein, and the data storage software section 108 has the video associating means 6. The function of each of these built-in means will be described in each embodiment described later. Hereinafter, the configuration according to each embodiment, its operation and effects will be described.

【0017】実施の形態1.図2はこの発明の実施の形
態1に係る映像情報表示装置の構成を示す構成図であ
る。図2において、1は映像を再生する映像再生手段、
2は映像を検索して取り出す映像検索手段、3は撮影し
た映像の電子ファイル、5は撮影情報と映像に関連する
関連情報を蓄積すると共に、これらと映像を特定するた
めの電子ファイル名等の情報を対応付けて記録する映像
データベースである。
Embodiment 1 FIG. 2 is a configuration diagram showing a configuration of the video information display device according to Embodiment 1 of the present invention. In FIG. 2, reference numeral 1 denotes a video reproducing unit for reproducing a video,
Reference numeral 2 denotes a video search means for searching and extracting a video. 3 denotes an electronic file of a captured video. 5 denotes storage of shooting information and related information relating to the video, and information such as an electronic file name for identifying the video. It is a video database that records information in association with it.

【0018】次に動作について説明する。まず、操作員
が撮影方向、撮影時間、撮影した場所等の撮影情報を検
索キーとして映像検索手段2へキーボードやマウスを用
いて撮影情報の検索指示をする。撮影した場所指定に
は、地図情報表示手段8がディスプレシ装置400に表
示する例えば市街地地図のような地図上で、マウスを用
いて地図上の1つの位置を指定することにより行う。地
図情報表示手段8として市販の地図表示ソフトウェアを
用いれば、マウスで指示した地図上の点が実際の地球上
での経度緯度のソフトウェアで出力できるので、この経
度緯度を秒単位まで記録して撮影した場所の指定として
用いる。撮影方向は、キーボードから北方向から時計周
りに何度傾いた位置かを度分秒で入力する。撮影時間
は、キーボードから西暦年月日時分秒を入力する。次
に、映像検索手段2では、撮影情報を検索キーとして、
映像データベース5からその撮影情報と一致する映像を
特定するための映像特定情報を取り出す。ここで、映像
特定情報とは、図3の映像情報に記述してあるように映
像の電子ファイル名である。映像データベース5には、
映像を記録した電子ファイル1つに対して、ある位置に
おける撮影時間、影位置記録記録、撮影方向の3種類の
データが対になった情報が、複数組対応付けて記録して
ある。撮影位置に番号を付けて管理してあり、位置ごと
に異なる番号が撮影時間に従って昇順につけてある。映
像検索手段2では、操作員が指示した撮影時間、撮影位
置、撮影方向に一致する撮影位置をこのデータベースの
中から決定して、その撮影位置を含む映像特定情報を取
り出す。撮影時間、撮影位置、撮影方向は全て指定する
必要はなく、少なくとも一つ指定すればその条件にあっ
た撮影位置を含む映像特定情報を取り出す。条件の一致
する撮影位置がない場合、映像検索手段2の処理として
自動的に条件を緩くして条件の一致する撮影位置を含む
映像特定情報を取り出す。具体的には、時間は指示時刻
から10秒前後とし、撮影位置の場合、東経北緯を前後
1秒の範囲とし、撮影方向は5度前後の範囲とする。
Next, the operation will be described. First, the operator instructs the video search means 2 to search for the shooting information using the keyboard and mouse with the shooting information such as the shooting direction, shooting time, and shooting location as search keys. The designation of the photographed place is performed by designating one position on the map using a mouse on a map such as a city map displayed on the display device 400 by the map information display means 8. If commercially available map display software is used as the map information display means 8, points on the map designated by the mouse can be output by software of the longitude and latitude on the actual earth. It is used as the designation of the place where it was done. For the shooting direction, the degree of clockwise rotation from the north from the keyboard is input in degrees, minutes, and seconds. For the shooting time, input the year, month, day, hour, minute, and second from the keyboard. Next, the video search means 2 uses the shooting information as a search key,
Video specifying information for specifying a video that matches the shooting information is extracted from the video database 5. Here, the video specifying information is an electronic file name of the video as described in the video information of FIG. In the video database 5,
For each electronic file in which a video is recorded, information in which three types of data of a shooting time at a certain position, a shadow position recording and recording, and a shooting direction are paired and recorded in association with a plurality of sets. The shooting positions are numbered and managed, and different numbers are assigned to the positions in ascending order according to the shooting time. The video search means 2 determines a shooting position that matches the shooting time, shooting position, and shooting direction specified by the operator from this database, and extracts video specifying information including the shooting position. It is not necessary to specify the shooting time, the shooting position, and the shooting direction, and if at least one is specified, the video specifying information including the shooting position meeting the conditions is extracted. If there is no shooting position that matches the condition, the video search unit 2 automatically relaxes the condition and extracts the video specifying information that includes the shooting position that matches the condition. Specifically, the time is about 10 seconds from the instructed time, and in the case of the shooting position, the north latitude and the east longitude are in a range of 1 second before and after, and the shooting direction is in a range of about 5 degrees.

【0019】次に、映像検索手段2では、映像特定情報
を元に映像を記録媒体3から取り出し、取り出した映像
を映像再生手段1に渡す。これに基づき、映像再生手段
1では、映像を再生する。映像の再生は、コンピュータ
装置における市販の映像再生ソフトウェアを用いる。
Next, the video retrieval means 2 retrieves the video from the recording medium 3 based on the video specifying information, and passes the retrieved video to the video reproduction means 1. Based on this, the video reproducing means 1 reproduces a video. The video is reproduced using commercially available video reproduction software in a computer device.

【0020】以上のように、実施の形態1によれば、映
像データベース5では撮影情報として、撮影方向の情報
をもっており、映像検索手段2では操作員の指示に従い
撮影方向を検索キーとして映像を検索できるので、撮影
位置だけで選んだ画像では見たい位置が写っていないこ
ともあるが、撮影方向を合わせて指定することにより間
違いなく見たい画像を検索して表示することができる。
As described above, according to the first embodiment, the video database 5 has shooting direction information as shooting information, and the video search means 2 searches for a video using the shooting direction as a search key in accordance with the instruction of the operator. Since it is possible, the desired position may not be shown in the image selected only by the photographing position. However, by specifying the photographing direction together, the image to be viewed can be retrieved and displayed without fail.

【0021】実施の形態2.上述した実施の形態1で
は、既にデータベースに蓄積してある撮影情報を用いて
映像を検索して表示しているが、次に、この撮影情報を
映像データベースへ蓄積する場合に、操作員の労力がい
らずに自動的に蓄積でき、かつ撮影時に特殊な手段を使
わずに蓄積された撮影情報を利用できる実施の形態を示
す。
Embodiment 2 FIG. In the above-described first embodiment, the video is searched and displayed using the shooting information already stored in the database. However, when this shooting information is stored in the video database, the operator's labor is reduced. An embodiment is shown in which an image can be automatically stored without a gap and the stored shooting information can be used without using any special means at the time of shooting.

【0022】図4はこの発明の実施の形態2に係る映像
情報表示装置の構成を示す構成図である。図4におい
て、図2に示す実施の形態1と同一部分は同一符号を示
し、その説明は省略する。新たな符号として、4は撮影
日時、撮影位置、撮影方向を含む撮影情報、6は撮影情
報との対応付けを行い、対応付けの内容と撮影情報を映
像データベース5に記録する映像映像対応付け手段であ
る。
FIG. 4 is a configuration diagram showing a configuration of a video information display device according to Embodiment 2 of the present invention. 4, the same parts as those in the first embodiment shown in FIG. 2 are denoted by the same reference numerals, and the description thereof will be omitted. As a new code, 4 is shooting information including a shooting date and time, a shooting position, and a shooting direction, 6 is a video-video associating unit that associates with shooting information, and records the content of the association and the shooting information in the video database 5. It is.

【0023】次に動作について説明する。まず、操作員
が映像対応付け手段6へ対応付けたい映像の電子ファイ
ル名と、その映像を撮影したときの撮影方向、撮影時
間、撮影した場所等の記録である撮影情報の電子ファイ
ル名を指示する。操作員の指示はキーボードからファイ
ル名を指示することにより行う。映像の電子ファイル
と、撮影情報の電子ファイルは、MO等の補助記憶媒体
に蓄積してあることを前提としている。次に、映像対応
付け手段6は、新しく映像に付ける電子ファイル名を決
め、この新しい映像の電子ファイル名と撮影情報を映像
データベース5に書き込む。映像につける電子ファイル
名は、映像データベース5に既に蓄積されている電子フ
ァイル名以外のファイル名となるように決定する。具体
的は登録日時により、1998年1月5日10時30分
であれば、199801051030というファイル名にする。
Next, the operation will be described. First, the operator specifies the electronic file name of the video to be associated with the video associating means 6 and the electronic file name of shooting information that is a record of the shooting direction, shooting time, shooting location, and the like when the video was shot. I do. The operator's instruction is performed by designating a file name from the keyboard. It is assumed that the electronic file of the video and the electronic file of the shooting information are stored in an auxiliary storage medium such as an MO. Next, the video association unit 6 determines an electronic file name to be newly assigned to the video, and writes the electronic file name and the shooting information of the new video in the video database 5. The electronic file name given to the video is determined to be a file name other than the electronic file name already stored in the video database 5. Specifically, if the registration date and time is 10:30 on January 5, 1998, the file name is 199801051030.

【0024】このとき、映像データベース5は、図3の
ように、各映像のファイル名とその映像における複数の
撮影地点の撮影日時や撮影場所、撮影方向を情報として
蓄積し、映像とその映像情報をファイル名で対応付け、
映像情報のうち、ある撮影位置がその映像の何秒目の映
像かをしりたい場合には、撮影日時を見ればわかるよう
になる。対応付けの具体的方法を説明する。撮影情報の
電子ファイルには、複数の撮影時刻の日時、撮影位置の
緯度と経度、撮影方向の角度、が1組になって、複数組
記録してある。映像対応付け手段6は、これらの情報を
すべて読み込み、撮影時刻の時間順に並べ変えて、1組
が1行となるように映像データベース5に書き込む。各
行は図3のように一番左側の列に前述の例で1998010510
30と記述した映像につける新しい電子ファイル名を記録
し、次の列に、その撮影位置が撮影時刻の時間順の何番
目かという撮影位置の番号を記録し、その次の列に撮影
時間を記録し、その次の列に撮影した位置の経度緯度を
記録し、その次の列に撮影方向の角度を記録する。撮影
時刻の記録のある行数だけ記録する。次に、映像対応付
け手段で6は、操作員が指定した映像をコピーし、コピ
ーした電子ファイルに新しい映像の電子ファイル名を付
ける。
At this time, as shown in FIG. 3, the video database 5 stores, as information, the file name of each video and the shooting date and time, shooting location, and shooting direction of a plurality of shooting locations in the video, and stores the video and its video information. By file name,
If the user wants to know the image position of a certain image in the image information, the photographing date and time can be understood. A specific method of association will be described. In the electronic file of the shooting information, a plurality of sets of the shooting date and time, the latitude and longitude of the shooting position, and the angle of the shooting direction are recorded as one set. The video associating means 6 reads all of the information, rearranges them in the order of the photographing time, and writes them in the video database 5 so that one set is one line. Each row is in the leftmost column as shown in FIG.
Record the new electronic file name given to the video described as 30 and record the number of the shooting position in the next column, which is the number of the shooting position in the time order of the shooting time, and the shooting time in the next column. Record, record the longitude and latitude of the photographed position in the next column, and record the angle of the photographing direction in the next column. The number of lines with the shooting time is recorded. Next, the video associating means 6 copies the video specified by the operator and gives the copied electronic file an electronic file name of a new video.

【0025】以上のように、この実施の形態2によれ
ば、別々に記録した映像と撮影情報を対応付けて蓄積す
る映像対応付け手段6により、撮影した映像と別に記録
した撮影位置や撮影時間等の撮影情報を撮影情報ファイ
ルの名称を指定するだけで映像データベース5に自動的
に書き込むことにより、操作員が映像データベース5を
構築する労力を軽減し、特殊な蓄積方法で撮影したデー
タでなくても容易にデータベース化できる。
As described above, according to the second embodiment, the photographing position and photographing time recorded separately from the photographed image by the image associating means 6 for associating the separately recorded video with the photographing information and accumulating them. By automatically writing shooting information, such as, to the video database 5 simply by specifying the name of the shooting information file, the labor required for the operator to construct the video database 5 is reduced, and the operator is not required to use data stored in a special storage method. You can easily create a database.

【0026】実施の形態3.上述した実施の形態1で
は、操作員が指示した撮影情報に従った映像の検索がで
きるが、次に、撮影した位置を地図上に分かり易く表示
する実施の形態を示す。
Embodiment 3 FIG. In the above-described first embodiment, a video can be searched in accordance with shooting information instructed by an operator. Next, an embodiment in which a shooting position is displayed on a map in an easily understandable manner will be described.

【0027】図5はこの発明の実施の形態3に係る映像
情報表示装置の構成を示す構成図である。図5におい
て、図2に示す実施の形態1と同一部分は同一符号を示
し、その説明は省略する。新たな符号として、7は地図
のイメージである地図情報、8は地図情報を表示する地
図情報表示手段、9は地図上の座標と実際の経度緯度位
置との数値変換を行う対象位置対応手段、10は地図上
に撮影情報に基づいた撮影位置の軌跡を表示する軌跡表
示手段である。
FIG. 5 is a configuration diagram showing a configuration of a video information display device according to Embodiment 3 of the present invention. 5, the same parts as those in the first embodiment shown in FIG. 2 are denoted by the same reference numerals, and the description thereof will be omitted. As a new code, 7 is map information as an image of a map, 8 is map information display means for displaying map information, 9 is target position correspondence means for performing numerical conversion between coordinates on the map and actual longitude and latitude positions, Reference numeral 10 denotes a trajectory display unit that displays a trajectory of a shooting position based on shooting information on a map.

【0028】次に動作について説明する。まず、操作員
が軌跡表示手段10へ撮影したときの位置の軌跡を地図
上に表示するように指示する。これに基づき、軌跡表示
手段10では、映像データベースから全ての撮影情報を
読み出す。次に、軌跡表示手段10では、撮影情報に含
まれる撮影位置の経度緯度情報を地図上での座標に変換
するように対象位置対応手段9に依頼する。対象位置対
応手段9では、対象となる地図上の座標に変換して軌跡
表示手段10へ返す。
Next, the operation will be described. First, the operator instructs the trajectory display means 10 to display the trajectory of the position at the time of photographing on the map. Based on this, the trajectory display means 10 reads out all photographing information from the video database. Next, the trajectory display means 10 requests the target position correspondence means 9 to convert the longitude / latitude information of the shooting position included in the shooting information into coordinates on a map. The target position correspondence unit 9 converts the coordinates into coordinates on the target map and returns the coordinates to the locus display unit 10.

【0029】ここで、経度緯度から地図上の座標への変
換には、地図のイメージデータの座標の原点の経度と緯
度と、縮尺としてイメージデータの1ドットが何mかと
いう情報を地図情報として地図イメージデータと一緒に
予め蓄積してあることとし、座標に変換する経度緯度と
地図情報に含まれる地図イメージデータの原点の経度緯
度の差を四則計算により求め、この経度緯度の差をメー
トルに換算し、座標に変換したい位置と地図イメージデ
ータの原点の位置が東西南北どの方向に何メートル離れ
てえいるかを算出し、この距離に従って原点からの位置
を算出することにより計算する。
Here, in order to convert the longitude and latitude into the coordinates on the map, the longitude and latitude of the origin of the coordinates of the image data of the map and the information as to how many dots are in one dot of the image data are used as map information. It is assumed that it is stored in advance together with the map image data, and the difference between the longitude and latitude to be converted into coordinates and the longitude and latitude of the origin of the map image data included in the map information is obtained by four arithmetic calculations, and the difference between the longitude and latitude is calculated in meters. It is calculated by calculating in which direction the east, west, north and south and how many meters are away from the position to be converted and converted into coordinates and the origin of the map image data, and calculating the position from the origin according to this distance.

【0030】次に、軌跡表示手段10では、地図情報表
示手段8へ地図表示の指示を行う。これに基づき、地図
情報表示手段8では、地図情報7を読み込み表示し、表
示画面では図6の例のように道路や街区を表示する。地
図の表示は市販の地図表示ソフトウェアを利用してもよ
い。次に、軌跡表示手段10では、軌跡点の地図上の座
標を利用して、地図上に軌跡を描いて表示する。軌跡の
表示例は図7のようになる。
Next, the locus display means 10 instructs the map information display means 8 to display a map. Based on this, the map information display means 8 reads and displays the map information 7, and displays the roads and the blocks on the display screen as in the example of FIG. The map may be displayed using commercially available map display software. Next, the trajectory display means 10 uses the coordinates of the trajectory point on the map to draw and display the trajectory on the map. A display example of the trajectory is as shown in FIG.

【0031】ここで、図3の撮影情報に記述してあるフ
ァイル名1の映像の軌跡を地図上に表示する例を示す。
ファイル名「1」では撮影位置として、3つの点の記録
がある。この3点を時間の古い順にA、B、Cとする
と、まずAの点を地図上に表示し、次にBの点を地図上
に表示し、最後にCの点を地図上に表示し、A、B、C
を順番に結ぶ線を地図上に表示する。地図上に点や線を
表示するしくみに以下に記す。
Here, an example is shown in which the locus of the video of file name 1 described in the photographing information of FIG. 3 is displayed on a map.
In the file name “1”, three points are recorded as shooting positions. Assuming that these three points are A, B, and C in the order of time, the point A is displayed on the map, the point B is displayed on the map, and the point C is displayed on the map. , A, B, C
Is displayed on the map. The mechanism for displaying points and lines on the map is described below.

【0032】地図情報表示手段8では、表示画面を階層
的にもっていて、地図を表示している層の上に文字やグ
ラフィックを描くことのできる表示層がある。この層に
点や線を表示する。点や線を表示する位置について説明
すると、A、B、Cの各点の位置はそれぞれ図3に示す
ように経度と緯度がわかる。A,B、Cの各点の経度緯
度を上記と同じ手法によって地図上の座標位置に変換
し、この位置を表示位置と決める。
The map information display means 8 has a hierarchical display screen, and has a display layer on which characters and graphics can be drawn on the layer displaying the map. Display points and lines on this layer. Explaining the positions at which the points and lines are displayed, the positions of the points A, B, and C can be found from the longitude and latitude as shown in FIG. The longitude and latitude of each of points A, B, and C are converted into coordinate positions on the map by the same method as described above, and these positions are determined as display positions.

【0033】以上のように、この実施の形態3によれ
ば、地図情報表示手段8により地図を表示し、軌跡表示
手段10により、撮影情報に沿った撮影位置の軌跡を地
図上に表示でき、道路等に沿って撮影した映像を地図と
対応付けて表示する場合、地図上に撮影中の撮影位置の
移動軌跡を表示することができ、映像の撮影位置を容易
にしることができるようになる。
As described above, according to the third embodiment, the map is displayed by the map information display means 8, and the locus of the photographing position along the photographing information can be displayed on the map by the locus display means 10. When displaying a video taken along a road or the like in association with a map, the movement locus of the shooting location being shot can be displayed on the map, and the shooting location of the video can be made easier. .

【0034】実施の形態4.上述した実施の形態3で
は、撮影した位置を地図上に分かり易く表示する実施の
形態を示したが、次に、撮影方向や撮影日時を地図上に
視覚的に表示する実施の形態を示す。
Embodiment 4 In the above-described third embodiment, the embodiment in which the photographed position is displayed on the map in an easily understandable manner has been described. Next, an embodiment in which the photographing direction and the photographing date and time are visually displayed on the map will be described.

【0035】図8はこの発明の実施の形態4に係る映像
情報表示装置の構成を示す構成図である。図8におい
て、図5に示す実施の形態3と同一部分は同一符号を示
し、その説明は省略する。新たな符号として、11は撮
影した向きや時間等の撮影情報を地図上に表示する撮影
情報地図上表示手段である。
FIG. 8 is a configuration diagram showing a configuration of a video information display apparatus according to Embodiment 4 of the present invention. 8, the same parts as those in the third embodiment shown in FIG. 5 are denoted by the same reference numerals, and the description thereof will be omitted. As a new code, reference numeral 11 denotes a photographing information map display means for displaying photographing information such as a photographing direction and time on a map.

【0036】次に動作について説明する。まず、操作員
が撮影情報地図上表示手段11へ撮影情報表示を指示す
る。これに基づき、撮影情報地図上表示手段11では、
映像データベース5から撮影情報を読み出す。次に、撮
影情報地図上表示手段11では、撮影情報に含まれる撮
影方向や撮影日時、撮影位置の変化から算出した移動速
度を地図上に絵や文字で描く。撮影情報の表示例は、図
9のようになり、ある撮影位置の撮影情報としては、カ
メラの絵の撮影位置を示し、ベクトルの矢印の大きさで
移動速度を示し、撮影位置の横に撮影日時を示す。
Next, the operation will be described. First, the operator instructs the photographing information map display means 11 to display photographing information. Based on this, the photographing information map display means 11
The photographing information is read from the video database 5. Next, the photographing information map display means 11 draws a moving speed calculated from a change in the photographing direction, the photographing date and time, and the photographing position included in the photographing information on the map by pictures or characters. FIG. 9 shows a display example of the photographing information. The photographing information at a certain photographing position indicates the photographing position of the picture of the camera, the moving speed is indicated by the size of the vector arrow, and the photographing is performed next to the photographing position. Indicates the date and time.

【0037】ここで、絵や文字を描く場所の特定方法で
あるが、図3に示すように、撮影位置には経度緯度情報
を含んでいる。この経度緯度情報を、実施の形態3で示
したように地図上の座標位置に変換し、この位置を表示
位置とする。地図上に線を描く方法は実施の形態3と同
じである。また、撮影日時等の文字情報は撮影位置に対
応した地図上の座標の横に表示する。撮影方向は、図3
のように撮影情報に撮影方向が含まれるので、この方向
に向いたカメラの絵で表示する。
Here, as a method of specifying a place where a picture or a character is to be drawn, as shown in FIG. 3, the photographing position includes longitude and latitude information. This longitude / latitude information is converted into a coordinate position on a map as described in Embodiment 3, and this position is set as a display position. The method of drawing a line on the map is the same as in the third embodiment. Also, character information such as the shooting date and time is displayed beside the coordinates on the map corresponding to the shooting position. Fig. 3
Since the shooting information includes the shooting direction as shown in the above, the image is displayed with a picture of the camera facing this direction.

【0038】以上のように、この実施の形態4によれ
ば、撮影情報地図上表示手段11により、映像データベ
ース5に蓄積してある撮影情報である撮影した方向や撮
影時間を地図上に絵を用いて分かり易く表示できるの
で、いつどのようにどの方角を撮影したのかが分かりや
すくなる。
As described above, according to the fourth embodiment, the photographing direction and photographing time, which are the photographing information stored in the video database 5, are displayed on the map by the photographing information map display means 11. Since it can be displayed in an easy-to-understand manner, it becomes easy to understand when and how the image was taken.

【0039】実施の形態5.上述した実施の形態3で
は、撮影した位置を地図上に分かり易く表示する実施の
形態を示してあり、さらに、実施の形態1では、映像を
映像情報を用いて検索する実施の形態が示してある。次
に、地図表示画面上で撮影の軌跡を選択することにより
視覚的に映像を選択して検索する実施の形態を示す。
Embodiment 5 In the above-described third embodiment, an embodiment in which a photographed position is displayed on a map in an easy-to-understand manner is shown, and in the first embodiment, an embodiment in which a video is searched using video information is shown. is there. Next, an embodiment will be described in which an image is visually selected and searched for by selecting a shooting locus on a map display screen.

【0040】図10はこの発明の実施の形態5に係る映
像情報表示装置の構成を示す構成図である。図10にお
いて、図5に示す実施の形態3と同一部分は同一符号を
示し、その説明は省略する。新たな符号として、12は
映像の軌跡を地図上で選択し、その軌道に対応した映像
を映像検索手段2を介して検索して表示する映像軌跡指
示手段である。
FIG. 10 is a configuration diagram showing a configuration of a video information display device according to Embodiment 5 of the present invention. 10, the same parts as those in the third embodiment shown in FIG. 5 are denoted by the same reference numerals, and the description thereof will be omitted. As a new code, reference numeral 12 denotes a video trajectory instructing means for selecting a trajectory of the video on the map, searching for a video corresponding to the trajectory via the video search means 2, and displaying the video.

【0041】次に動作について説明する。操作員が地図
表示画面上で表示してある軌跡を選択する。ここで、軌
跡の選択とは、図11に示すように、操作員の示した地
図上の点と、既に表示してある撮影の軌跡を結んだ線の
距離が、予め設定しておいた距離以内である場合に、そ
の軌跡を選択したと映像軌跡指示手段12が判断するこ
とである。映像軌跡指示手段12は、選択した軌跡の地
図上の点の位置を得て、対象位置対応手段9へ地図上の
軌跡位置を経度緯度で示す実際の位置に変換する依頼を
する。対象位置対応手段9では、操作員が選択した軌跡
の点の実際の位置である経度情報を計算し、映像軌跡指
示手段12へ送る。対象位置対応手段9における画面表
示した地図上の指定点の経度緯度への変換は以下のよう
に行う。地図のイメージデータの座標の原点の経度緯度
と、縮尺としてイメージデータの1ドットが何メートル
かという情報を地図情報として地図イメージデータと一
緒に予め蓄積してあることとする。経度緯度に変換する
座標上の点が原点から表示座標上の距離で南北方向と東
西方向にどれだけ離れているかの距離を計算する。この
距離にイメージデータの1ドットのメートル数を掛ける
と実空間で地図上の原点からの東西南北でどれだけ離れ
ているかの距離が計算できる。原点からの距離として、
北に100メートル、西に50メートルであったとす
る。地図上の原点の緯度経度付近における経度緯度の1
秒のずれにつき何メートル離れるかという計算値は容易
に計算できるので、この値が仮に緯度で1秒25メート
ル経度で1秒20メートルであったとすれば、原点から
の距離からこの値を割ることにより、地図の原点の経度
緯度よりも北に4秒、西に2秒ずれている地点の経度緯
度が操作員の指示した地図上の位置の実空間での経度緯
度である。
Next, the operation will be described. The operator selects a locus displayed on the map display screen. Here, the selection of the trajectory means that, as shown in FIG. 11, the distance between the point on the map indicated by the operator and the line connecting the already displayed trajectory of the shooting is the predetermined distance. If the distance is within the range, the image path instructing means 12 determines that the path has been selected. The image trajectory indicating means 12 obtains the position of a point on the map of the selected trajectory, and requests the target position correspondence means 9 to convert the trajectory position on the map into an actual position indicated by longitude and latitude. The target position correspondence unit 9 calculates the longitude information which is the actual position of the point of the locus selected by the operator, and sends it to the video locus instruction unit 12. The conversion of the designated point on the map displayed on the screen into the longitude and latitude in the target position correspondence means 9 is performed as follows. It is assumed that the longitude and latitude of the origin of the coordinates of the map image data and the information as to how many dots are in one meter of the image data as the scale are previously stored as map information together with the map image data. Calculate how far the point on the coordinates to be converted into longitude and latitude is from the origin on the display coordinates and how far apart in the north-south direction and the east-west direction. By multiplying this distance by the number of meters of one dot of the image data, it is possible to calculate the distance from the origin on the map in east, west, north and south in the real space. As the distance from the origin,
Suppose 100 meters north and 50 meters west. 1 of longitude and latitude near the latitude and longitude of the origin on the map
Since the calculated value of how many meters apart per second can be easily calculated, if this value is 1 second 25 meters in latitude and 1 second 20 meters in longitude, divide this value from the distance from the origin. Thus, the longitude and latitude of a point shifted 4 seconds to the north and 2 seconds to the west from the longitude and latitude of the origin of the map are the longitude and latitude of the position on the map specified by the operator in the real space.

【0042】映像軌跡指示手段12は、実際の位置を検
索キーとして、映像検索手段2へ映像の検索を依頼す
る。映像検索手段2は、実際の位置を検索キーとして映
像データベース5を検索し、映像のファイル名を取り出
す。映像検索手段2は、該当する映像のファイルを取り
出し、映像再生手段1へ映像のファイルを送る。これに
基づき、映像再生手段1では、その映像を再生する。映
像検索手段2において、位置に基づく検索は以下のよう
に行う。図3で示すように、映像データベースには、撮
影した映像の撮影位置の経度緯度が記録してある。これ
が秒単位で記録してあるとする。撮影位置の経度緯度が
操作員が指定した地図上の位置の経度緯度との差が予め
設定しておいた範囲以内の場合、この撮影位置を含む映
像のファイル名を検索結果とする。予め設定しておく経
度緯度の差は例えば経度、緯度共に5秒前後という値に
なる。
The image trajectory indicating means 12 requests the image search means 2 to search for an image using the actual position as a search key. The video search means 2 searches the video database 5 using the actual position as a search key, and extracts the file name of the video. The video search means 2 retrieves the corresponding video file and sends the video file to the video playback means 1. Based on this, the video reproducing means 1 reproduces the video. In the video search means 2, the search based on the position is performed as follows. As shown in FIG. 3, the video database records the longitude and latitude of the shooting position of the shot video. It is assumed that this is recorded in seconds. If the difference between the longitude and latitude of the shooting position and the longitude and latitude of the position on the map specified by the operator is within a preset range, the file name of the video including this shooting position is used as the search result. The difference between the longitude and latitude set in advance is, for example, a value of about 5 seconds for both longitude and latitude.

【0043】以上のように、この実施の形態5によれ
ば、映像軌跡指示手段12を備えることで、操作員が地
図上で指示した点に一番近い軌跡で示される映像を再生
表示することができ、地図上で対応付けてある映像を検
索して再生表示する場合、地図上に表示してある撮影位
置の移動軌跡を選択できるので、複数の映像が地図上に
対応づけられていても、見たい位置が写っている映像を
撮影位置の軌跡を見ながら間違いなく検索できる。
As described above, according to the fifth embodiment, the provision of the image trajectory instructing means 12 allows the operator to reproduce and display the image indicated by the trajectory closest to the point designated on the map by the operator. When searching and playing back the video associated with the map on the map, you can select the movement trajectory of the shooting position displayed on the map, so even if multiple videos are mapped on the map In addition, the user can search without fail for a video in which the position to be viewed is shown while looking at the locus of the shooting position.

【0044】実施の形態6.上述した実施の形態5で
は、地図上で選択した軌跡で示される映像を検索して表
示する例を示したが、次に映像が例えば道路に沿って長
距離に渡って撮影されているときなどに、特定の区間の
映像だけを検索して再生表示する実施の形態を示す。
Embodiment 6 FIG. In the above-described fifth embodiment, an example has been described in which an image indicated by a locus selected on a map is searched and displayed. However, when an image is shot over a long distance along a road, for example, FIG. 11 shows an embodiment in which only a video in a specific section is searched and reproduced and displayed.

【0045】図12はこの発明の実施の形態6に係る映
像情報表示装置の構成を示す構成図である。図12にお
いて、図10に示す実施の形態5と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、13
は映像の軌跡のある1部分の区間を地図上で選択し、そ
の軌道に対応した映像を映像再生手段を介して検索して
表示する映像軌跡区間指示手段であり、図10に示す実
施の形態5の映像軌跡指示手段12と入れ替わってい
る。
FIG. 12 is a configuration diagram showing a configuration of a video information display device according to Embodiment 6 of the present invention. 12, the same parts as those in the fifth embodiment shown in FIG. 10 are denoted by the same reference numerals, and the description thereof will be omitted. As a new code, 13
Is a video trajectory section instructing means for selecting a part of a trajectory of the video on the map, searching for a video corresponding to the trajectory via the video reproducing means, and displaying the video trajectory. The embodiment shown in FIG. 5 is replaced with the image trajectory instruction means 12.

【0046】次に動作について説明する。操作員が地図
表示画面上で表示してある軌跡の区間を2端点で選択す
る。ここで、端点の選択とは、実施の形態5と同じよう
に行い、操作員の指示した地図上の点と最も近い軌跡上
の映像の撮影位置である点を示す。映像軌跡区間指示手
段13は、選択した軌跡の地図上の2点(始点、終点)
の位置を得て、この2点について、対象位置対応手段9
へ地図上の軌跡位置を経度緯度で示す実際の位置に変換
する依頼をする。
Next, the operation will be described. The operator selects a section of the locus displayed on the map display screen at two end points. Here, the selection of the end point is performed in the same manner as in the fifth embodiment, and indicates a point that is a shooting position of an image on a locus closest to a point on the map specified by the operator. The image trajectory section instructing means 13 determines two points (a start point and an end point) on the map of the selected trajectory.
And the target position corresponding means 9 is obtained for these two points.
A request is made to convert the locus position on the map into an actual position indicated by longitude and latitude.

【0047】対象位置対応手段9では、操作員が選択し
た軌跡の2点の実際の位置を実施の形態5にように計算
し、映像軌跡区間指示手段13へ送る。映像軌跡区間指
示手段13は、2点の実際の位置である経度情報を検索
キーとして、映像検索手段2へ映像の検索を依頼する。
映像検索手段2は、2点の実際の位置を検索キーとして
映像データベース5を検索し、映像のファイル名を取り
出す。映像検索手段2は、実施の形態5における映像検
索手段2と同じ処理により、始点として指定した位置に
近い撮影位置と、終点と指定した位置に近い撮影位置を
検索し、この2つの撮影位置の両方が一つの撮影記録に
ある映像のファイル名を選択する。
The target position correspondence means 9 calculates the actual positions of two points on the trajectory selected by the operator as in the fifth embodiment, and sends them to the video trajectory section instructing means 13. The image trajectory section instructing means 13 requests the image searching means 2 to search for an image using the longitude information, which is the actual positions of the two points, as a search key.
The video search means 2 searches the video database 5 using the two actual positions as search keys, and extracts the file name of the video. The video search means 2 searches for a shooting position close to the position specified as the start point and a shooting position close to the position specified as the end point by the same processing as the video search means 2 in the fifth embodiment. Both select the file name of the video in one shooting record.

【0048】映像検索手段2は、その映像の撮影位置の
2地点がそれぞれ何時に撮影されたものかを撮影情報か
ら調べ、その2地点の古い方の時間を再生開始時間と
し、新しい方の時間を再生終了時間として映像再生手段
1へ映像のファイルを送り再生を指示する。これに基づ
き、映像再生手段1では、指定された再生開始時間と再
生終了時間の間の映像を再生する。映像再生手段1にお
ける指定時間の映像再生は以下のように行う。映像再生
手段1は、映像検索手段2から受け取った映像のファイ
ル名をキーとして、映像データベース5の内容を参照
し、この映像のファイル名の最初の撮影位置の撮影時間
を取り出す。この撮影時間から、再生開始時間、再生終
了時間が夫々何秒後かを加減算により計算する。それぞ
れ20秒、25秒であったとする。映像の動画像ファイ
ルには、映像が時間順に多量に蓄積されていて、予め1
秒間の撮影時間における映像のコマ数が決まっているこ
ととする。例えば1秒間に20コマであったとする。こ
の場合、映像再生手段1は、20秒かける20コマであ
る先頭から400コマ目から映像を再生し、25秒かけ
る20コマである先頭から500コマ目まで再生する。
The video search means 2 examines the photographing information at what time each of the two photographing positions of the video was photographed from the photographing information, and sets the oldest time of the two points as the reproduction start time and the newest time. Is set as the reproduction end time, and a video file is sent to the video reproduction means 1 to instruct reproduction. Based on this, the video reproducing means 1 reproduces the video between the specified reproduction start time and reproduction end time. The video reproduction for the designated time in the video reproduction means 1 is performed as follows. The video playback unit 1 refers to the contents of the video database 5 using the file name of the video received from the video search unit 2 as a key, and extracts the shooting time of the first shooting position of the video file name. From the photographing time, the number of seconds after which the reproduction start time and the reproduction end time are respectively calculated by addition and subtraction. It is assumed that they are 20 seconds and 25 seconds, respectively. In a moving image file of video, a large amount of video is stored in chronological order, and one video is stored in advance.
It is assumed that the number of frames of the video in the shooting time per second is determined. For example, assume that there are 20 frames per second. In this case, the video reproducing means 1 reproduces the video from the 400th frame from the top, which is 20 seconds and 20 frames, and reproduces the 500th frame from the top which is 25 seconds and 20 frames.

【0049】以上のように、この実施の形態6によれ
ば、映像軌跡区間指示手段13では、操作員が地図上で
指示した軌跡の区間の映像を再生表示することができる
ので、地図上で対応付けてある映像を検索して再生表示
する場合、例えば道路に沿って何キロメートルも撮影し
た映像であってもある交差点から次の交差点の範囲とい
うように見たい範囲の映像だけを見ることができ、不要
に長い映像を見て見たい位置の写っている映像を検索す
る必要はなくなるという効果がある。
As described above, according to the sixth embodiment, the image trajectory section instructing means 13 can reproduce and display the image of the section of the trajectory designated by the operator on the map. When searching for and playing back the associated video, for example, even if the video was taken several kilometers along the road, only the video in the range you want to see, such as the range from one intersection to the next, can be seen. There is an effect that it is not necessary to search for an image in a position where the user wants to view an unnecessarily long image.

【0050】実施の形態7.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に地図上で指定した特定の場所が写っている映
像を検索する実施の形態を示す。
Embodiment 7 FIG. In the above-described third embodiment, a captured video can be displayed on a map in a locus. Next, an embodiment will be described in which a video in which a specific location specified on a map is captured is searched.

【0051】図13はこの発明の実施の形態7に係る映
像情報表示装置の構成を示す構成図である。図13にお
いて、図5に示す実施の形態3と同一部分は同一符号を
示し、その説明は省略する。新たな符号として、14は
地図上で見たい個所の位置を入力し、対象位置対応手段
9を介して位置の実際の位置に変換する対象位置入力手
段、15は映像データベース5から見たい位置が写って
いる映像を検索して映像検索手段2を介して映像再生手
段1により再生させるための対象位置検索手段である。
FIG. 13 is a configuration diagram showing a configuration of a video information display device according to Embodiment 7 of the present invention. 13, the same components as those of the third embodiment shown in FIG. 5 are denoted by the same reference numerals, and the description thereof will be omitted. As a new code, 14 is a target position input means for inputting the position of a desired position on the map and converted into an actual position of the position via the target position correspondence means 9, and 15 is a target position to be viewed from the video database 5. This is a target position search unit for searching for a video image and reproducing the video image by the video reproduction unit 1 via the video search unit 2.

【0052】次に動作について説明する。操作員が地図
表示画面上で見たい位置を指示することで、画面から地
図上の座標位置を対象位置入力手段14に送る。対象位
置入力手段14は、対象位置対応手段9へ、地図上の座
標位置を経度緯度で示す実際の位置に変換する依頼をす
る。対象位置対応手段9では、操作員が指示した点の実
際の位置を計算し、対象位置入力手段14へ送る。そし
て、対象位置入力手段14は、操作員が指示した位置を
実際の経度緯度に直した位置を対象位置検索手段15へ
送り映像の検索を依頼する。対象位置対応手段9におけ
る操作員の地図上の指示位置の経度緯度への変換は実施
の形態5と同じように行う。
Next, the operation will be described. When the operator indicates a position to be viewed on the map display screen, the coordinate position on the map is transmitted to the target position input means 14 from the screen. The target position input unit 14 requests the target position corresponding unit 9 to convert the coordinate position on the map into an actual position represented by longitude and latitude. The target position correspondence means 9 calculates the actual position of the point designated by the operator and sends it to the target position input means 14. Then, the target position input unit 14 sends a position obtained by converting the position designated by the operator to the actual longitude and latitude to the target position search unit 15 and requests a search for a video. The conversion of the designated position on the map of the operator into the longitude and latitude by the target position correspondence means 9 is performed in the same manner as in the fifth embodiment.

【0053】次に、対象位置検索手段15では、映像デ
ータベース5を検索し、操作員の指示した位置に近い撮
影位置を取り出す。このとき、近いという判断は、距離
が例えば30メートルというように予め決めておく。何
メートル離れているかの判断は、操作員の指示した位置
の経度緯度と、映像データベース5から取り出す撮影位
置の経度緯度の差を用いて計算する。仮にこの2点間の
経度、緯度共に1秒の差があった場合で、かつこの経緯
度近辺の緯度1秒の差による距離が25メートルで、経
度1秒の差による距離が20メートルであったとすれ
ば、2点の距離は20メートルの二乗と25メートルの
二乗を合わせた数の平方根となり約32メートルとな
る。対象位置検索手段15では、検索して取り出した撮
影位置の全てについて、操作員が指示した点が写ってい
るかどうかを確認する。この確認方法としては、図14
に示すように、撮影位置から撮影方向に向かって予め設
定した仰角の範囲内に操作員が指示した点が入り、その
距離が予め設定した距離以内であることとする。撮影位
置から撮影方向に向かって予め設定した仰角の範囲内に
操作員が指示した点が入っているかの確認は以下のよう
に行う。北緯をY軸、東経をX軸として、X−Y座標と仮
にみなし、撮影位置を原点と仮定し、座標の単位をメー
トルとする。この座標上で、撮影位置と操作員の指定位
置の差違の計算と同等に、操作員の指定位置が経度、緯
度方向にそれぞれ何メートル離れているかを計算する。
これがたとえば、東に10メートル、北に20メートル
であった場合、X−Y座標上で指定点(10,20)と
いう点を仮におき、原点から指定点へ向かう指定点ベク
トルを設定する。指定点ベクトルの原点からの角度をA
とすると、ベクトルの長さをBとして、BcosA=2
0、BsinA=10となる。これより、A=逆cos
(20/B)であり、かつA=逆sin(10/B)と
なる。このAと撮影位置における撮影角度を比較するこ
とにより、撮影範囲に入っているかどうかが確認でき
る。
Next, the target position searching means 15 searches the video database 5 and extracts a photographing position close to the position designated by the operator. At this time, the judgment that the distance is close is determined in advance so that the distance is, for example, 30 meters. The determination of how many meters away is made using the difference between the longitude and latitude of the position designated by the operator and the longitude and latitude of the shooting position retrieved from the video database 5. If there is a difference of 1 second in both longitude and latitude between these two points, and the distance due to the difference of 1 second in the vicinity of the longitude and latitude is 25 meters, and the distance due to the difference of 1 second in longitude is 20 meters. For example, the distance between the two points is the square root of the sum of the square of 20 meters and the square of 25 meters, which is about 32 meters. The target position search means 15 confirms whether or not the points designated by the operator are captured for all of the photographing positions retrieved and retrieved. As this confirmation method, FIG.
As shown in the figure, it is assumed that a point designated by the operator falls within a range of a preset elevation angle from the photographing position toward the photographing direction, and that the distance is within a preset distance. Whether the point designated by the operator is within the range of a preset elevation angle from the shooting position to the shooting direction is confirmed as follows. Assuming that the north latitude is the Y axis and the east longitude is the X axis, it is tentatively assumed to be XY coordinates, the photographing position is assumed to be the origin, and the unit of the coordinates is meters. On these coordinates, it is calculated how many meters the operator's designated position is in the longitude and latitude directions, respectively, in the same way as the calculation of the difference between the photographing position and the operator's designated position.
If this is 10 meters east and 20 meters north, for example, a designated point (10, 20) is temporarily set on the XY coordinates, and a designated point vector from the origin to the designated point is set. The angle from the origin of the specified point vector is A
Then, assuming that the length of the vector is B, BcosA = 2
0, BsinA = 10. From this, A = reverse cos
(20 / B), and A = inverse sin (10 / B). By comparing this A with the photographing angle at the photographing position, it can be confirmed whether or not it is within the photographing range.

【0054】対象位置検索手段15では、操作員が指示
した点が写っている撮影位置を撮影情報にもつ映像を取
り出し、操作員が指示した点が写っている撮影位置が写
っている映像の撮影時間の前後例えば5秒というように
予め設定した時間の映像再生を映像再生手段1へ依頼す
る。映像再生手段1では、これに従って映像を再生す
る。対象位置検索手段15から映像再生手段1への依頼
は、再生開始時間、再生終了時間、映像のファイル名を
指定して行う。映像の撮影位置における撮影時間の5秒
前を再生開始時間とし、撮影位置における撮影時間の5
秒後を再生終了時間とする。再生開始時間が該当する映
像の最初の撮影位置記録の撮影時間より前の場合は、再
生開始時間はこの映像の最初の撮影位置記録の撮影時間
とする。また、再生終了時間が該当する映像の最後の撮
影位置記録の撮影時間より後の場合は、再生終了時間は
この映像の最後の撮影位置記録の撮影時間となる。指定
した時間の範囲だけの映像の再生は、実施の形態6の処
理と同様に処理する。
The target position retrieving means 15 extracts a video having the shooting position at which the point specified by the operator is included in the shooting information, and captures the video at the shooting position at which the point specified by the operator is included. The video reproduction unit 1 is requested to reproduce the video for a preset time such as 5 seconds before and after the time. The video reproducing means 1 reproduces a video in accordance with this. The request from the target position searching means 15 to the video reproducing means 1 is made by designating a reproduction start time, a reproduction end time, and a video file name. The playback start time is 5 seconds before the shooting time at the shooting position of the video, and 5 seconds before the shooting time at the shooting position.
Seconds later is the playback end time. If the playback start time is earlier than the shooting time of the first shooting position record of the corresponding video, the playback start time is the shooting time of the first shooting position record of this video. If the playback end time is later than the shooting time of the last shooting position record of the corresponding video, the playback end time is the shooting time of the last shooting position record of this video. The reproduction of the video only in the designated time range is performed in the same manner as the processing of the sixth embodiment.

【0055】以上のように、この実施の形態7によれ
ば、対象位置入力手段14で入力した位置に、対象位置
検索手段15を介してその点が写っている映像を検索す
るようにしたので、地図上で対応付けてある映像を検索
して再生表示する場合、見たい位置地点を地図上で指示
するだけで、その位置が写っている映像を検索して表示
することができるようになり、見たい位置が写っている
映像を間違えなく検索することができる。
As described above, according to the seventh embodiment, an image in which the point is captured at the position input by the target position input means 14 is searched through the target position search means 15. When searching for and playing back a video that is associated with a map, it is possible to search for and display a video that shows that location simply by specifying the desired location on the map. In addition, it is possible to search for a video in which a position to be viewed is captured without mistake.

【0056】実施の形態8.上述した実施の形態7で
は、操作員が指示した点が写っている映像を検索するこ
とができるが、次に地図上で指定した位置の映像が複数
あったときに、時間順に複数の映像を再生する実施の形
態を示す。
Embodiment 8 FIG. In the above-described seventh embodiment, it is possible to search for a video including a point designated by the operator. However, when there are a plurality of videos at a position specified on the map, a plurality of videos are sequentially sorted in time order. An embodiment for reproducing will be described.

【0057】図15はこの発明の実施の形態8に係る映
像情報表示装置の構成を示す構成図である。図15にお
いて、図13に示す実施の形態7と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、16
は検索して取り出した映像を時間順に再生表示する定点
映像時間順表示手段である。
FIG. 15 is a configuration diagram showing a configuration of a video information display apparatus according to Embodiment 8 of the present invention. 15, the same parts as those in the seventh embodiment shown in FIG. 13 are denoted by the same reference numerals, and the description thereof will be omitted. As a new code, 16
Is a fixed-point video chronological display means for reproducing and displaying video retrieved and retrieved in chronological order.

【0058】次に動作について説明する。操作員が地図
表示画面上で見たい位置を指示することで、画面から地
図上の座標位置を対象位置入力手段14に送る。対象位
置入力手段14は、対象位置対応手段9へ、地図上の座
標位置を経度緯度で示す実際の位置に変換する依頼をす
る。対象位置対応手段9では、操作員が指示した点の実
際の位置を計算し、対象位置入力手段へ送る。以上の処
理の詳細は、実施の形態7と同様に処理する。
Next, the operation will be described. When the operator indicates a position to be viewed on the map display screen, the coordinate position on the map is transmitted to the target position input means 14 from the screen. The target position input unit 14 requests the target position corresponding unit 9 to convert the coordinate position on the map into an actual position represented by longitude and latitude. The target position correspondence means 9 calculates the actual position of the point designated by the operator and sends it to the target position input means. The details of the above processing are performed in the same manner as in the seventh embodiment.

【0059】次に、対象位置入力手段14は、操作員が
指示した位置を実際の経度緯度に直した位置を対象位置
検索手段15へ送り映像の検索を依頼する。これに基づ
き、対象位置検索手段15では、映像データベース5を
検索し、操作員の指示した位置に近い撮影位置を取り出
す。このとき、近いという判断は、距離が例えば30メ
ートルというように予め決めておく。対象位置検索手段
15では、検索して取り出した撮影位置の全てについ
て、操作員が指示した点が写っているかどうかを確認す
る。この確認方法としては、図14に示すように、撮影
位置から撮影方向に向かって予め設定した仰角の範囲内
に操作員が指示した点が入り、その距離が予め設定した
距離以内であることとする。以上の処理の詳細は、実施
の形態7と同様に処理する。
Next, the target position input means 14 sends a position obtained by converting the position designated by the operator to the actual longitude and latitude to the target position search means 15 and requests a search for a video. Based on this, the target position searching means 15 searches the video database 5 and extracts a shooting position close to the position specified by the operator. At this time, the judgment that the distance is close is determined in advance so that the distance is, for example, 30 meters. The target position search means 15 confirms whether or not the points designated by the operator are captured for all of the photographing positions retrieved and retrieved. As a confirmation method, as shown in FIG. 14, the point designated by the operator falls within a range of a preset elevation angle from the photographing position toward the photographing direction, and the distance is within the preset distance. I do. The details of the above processing are performed in the same manner as in the seventh embodiment.

【0060】対象位置検索手段15では、操作員が指示
した点が写っている撮影位置を撮影情報にもつ映像を取
り出す。この実施の形態8では、操作員が指示した位置
が写っている映像は複数あるものとする。対象位置検索
手段15では、操作員が指示した点が写っている撮影位
置が写っている映像の撮影時間の前後例えば5秒という
ように予め設定した時間の映像表示を定点映像時間順表
示手段16へ依頼する。このとき、映像は複数である。
対象位置検索手段15から定点映像時間順表示手段16
への依頼は、再生開始時間、再生終了時間、映像のファ
イル名を一組として、複数の映像がある場合は映像の数
だけ送る。映像の撮影位置における撮影時間の5秒前を
再生開始時間とし、撮影位置における撮影時間の5秒後
を再生終了時間とする。再生開始時間が該当する映像の
最初の撮影位置記録の撮影時間より前の場合は、再生開
始時間はこの映像の最初の撮影位置記録の撮影時間とす
る。また、再生終了時間が該当する映像の最後の撮影位
置記録の撮影時間より後の場合は、再生終了時間はこの
映像の最後の撮影位置記録の撮影時間となる。
The target position retrieving means 15 retrieves a video having the photographing position at which the point designated by the operator is shown in the photographing information. In the eighth embodiment, it is assumed that there are a plurality of images in which the position designated by the operator is shown. The target position searching means 15 displays the image for a preset time, for example, 5 seconds before and after the shooting time of the image in which the shooting position in which the point designated by the operator is shown is displayed, for example, the fixed point video time order displaying means 16. To ask. At this time, there are a plurality of images.
From the target position searching means 15 to the fixed point video time order displaying means 16
When there are a plurality of videos, the number of videos is sent as a set including the reproduction start time, the reproduction end time, and the video file name. The reproduction start time is 5 seconds before the shooting time at the video shooting position, and the playback end time is 5 seconds after the shooting time at the shooting position. If the playback start time is earlier than the shooting time of the first shooting position record of the corresponding video, the playback start time is the shooting time of the first shooting position record of this video. If the playback end time is later than the shooting time of the last shooting position record of the corresponding video, the playback end time is the shooting time of the last shooting position record of this video.

【0061】複数ある映像の再生順序は以下のように決
定する。定点映像時間順表示手段16では、映像を古い
順に再生する指示を映像再生手段1へ送る。一つの映像
が再生し終わったら、次に古い映像を再生するように次
々と指示を送る。映像再生手段1では、これに従って映
像を再生する。映像を古い順に指定する具体的処理は以
下のように行う。定点映像時間順表示手段16では、対
象位置検索手段15から送られた各映像の再生開始時間
を比較して、この再生開始時間の最も古い映像の再生開
始時間、再生終了時間、映像のファイル名を映像再生手
段1へ送る。指定した時間の範囲だけの映像の再生は、
実施の形態6の処理と同様に処理する。映像再生手段1
は、映像を再生し終わると定点映像時間順表示手段16
へ再生終了であることを知らせる。映像時間順表示手段
16では、映像再生手段1で再生した映像のファイル名
と再生開始時間と再生終了時間を定点映像時間順表示手
段16の保持している記録から消す。定点映像時間順表
示手段16において保持している残りの映像の映像ファ
イル、再生開始時間、再生終了時間の組の中から、最も
再生開始時間の古い映像を選択して、この再生開始時間
の最も古い映像の再生開始時間、再生終了時間、映像の
ファイル名を映像再生手段1へ送る。この処理を定点映
像時間順表示手段16で保持している映像の全てを表示
し終わるまで続ける。
The reproduction order of a plurality of videos is determined as follows. The fixed-point video time order display means 16 sends an instruction to the video reproduction means 1 to reproduce the video in chronological order. When one video has been reproduced, the next one is instructed to reproduce the next oldest video. The video reproducing means 1 reproduces a video in accordance with this. The specific processing of designating the images in chronological order is performed as follows. The fixed-point video time order display means 16 compares the reproduction start times of the respective videos sent from the target position search means 15 and reproduces the reproduction start time, the reproduction end time, and the video file name of the oldest reproduction start time. Is sent to the video reproducing means 1. To play the video only for the specified time range,
Processing is performed in the same manner as in the sixth embodiment. Video playback means 1
Means that the fixed point video time order display means 16
To the end of playback. The video time order display means 16 erases the file name, the playback start time, and the playback end time of the video played back by the video playback means 1 from the recording held by the fixed point video time order display means 16. The video with the oldest reproduction start time is selected from the set of the video file of the remaining video, the reproduction start time, and the reproduction end time held by the fixed-point video time order display means 16, and the video with the oldest reproduction start time is selected. The reproduction start time, the reproduction end time, and the video file name of the old video are sent to the video reproduction means 1. This process is continued until all the images held by the fixed point image time order display means 16 have been displayed.

【0062】以上のように、この実施の形態8によれ
ば、対象位置入力手段14で入力した位置を複数の映像
で記録してある場合でも、定点映像時間順表示手段16
によって順次古い順にその地点の映像を検索することが
できるようにしたので、地図上である地点に対応付けて
ある映像を検索する場合、その地点に複数の映像が対応
付けてある場合でも、古い順に順次検索して表示するの
で、何度も同じ地点の映像を何回も検索し直さなくても
済む。
As described above, according to the eighth embodiment, even when the position input by the target position input means 14 is recorded as a plurality of images, the fixed-point image time-order display means 16
, The video of the point can be searched sequentially in the order of the oldest, so when searching for a video associated with a point on the map, even if a plurality of videos are associated with the point, the oldest Since the images are sequentially searched and displayed in order, it is not necessary to search for the video at the same point many times.

【0063】実施の形態9.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に地図上で指定した特定の場所が写っている映
像を検索する実施の形態を示す。
Embodiment 9 FIG. In the above-described third embodiment, a captured video can be displayed on a map in a locus. Next, an embodiment will be described in which a video in which a specific location specified on a map is captured is searched.

【0064】図16はこの発明の実施の形態9に係る映
像情報表示装置の構成を示す構成図である。図16にお
いて、図5に示す実施の形態3と同一部分は同一符号を
示し、その説明は省略する。新たな符号として、17は
地図上で操作員が見たい範囲を指定するとその範囲の実
際の位置を対象位置対応手段9を用いて取得する対象範
囲入力手段、18は操作員が指定した範囲が撮影してあ
る映像を映像データベース5から検索し、映像検索手段
2と映像再生手段1を介して再生する対象範囲検索手段
である。
FIG. 16 is a configuration diagram showing a configuration of a video information display device according to Embodiment 9 of the present invention. 16, the same components as those of the third embodiment shown in FIG. 5 are denoted by the same reference numerals, and the description thereof will be omitted. As a new code, 17 is a target range input means for specifying a range that the operator wants to see on the map and obtaining the actual position of the range using the target position correspondence means 9, and 18 is a range specified by the operator. This is a target range search unit that searches for a shot video from the video database 5 and plays it back via the video search unit 2 and the video playback unit 1.

【0065】次に動作について説明する。操作員が地図
表示画面上で見たい範囲を指示することで、画面から地
図上の範囲を特定できる点の座標位置を対象範囲入力手
段17に送る。例として、範囲は4角形とし、特定する
ために4点を送ることとする。対象範囲入力手段17
は、対象位置対応手段9へ、4点の地図上の座標位置を
経度緯度で示す実際の位置に変換する依頼をする。
Next, the operation will be described. When the operator specifies a range to be viewed on the map display screen, the coordinate position of a point at which the range on the map can be specified from the screen is sent to the target range input means 17. As an example, assume that the range is a rectangle and four points are sent to identify it. Target range input means 17
Requests the target position correspondence means 9 to convert the four coordinate positions on the map into actual positions indicated by longitude and latitude.

【0066】対象位置対応手段9では、操作員が指示し
た範囲を示す4点の実際の位置を計算し、対象範囲入力
手段17へ送る。これに基づき、対象範囲入力手段17
は、操作員が指示した位置を実際の経度緯度に直した位
置を対象範囲検索手段18へ送り映像の検索を依頼す
る。対象打ち対応手段9における操作員の地図上の指示
位置の経度緯度変換は実施の形態5と同じように行う。
The target position correspondence means 9 calculates the actual positions of the four points indicating the range designated by the operator and sends them to the target range input means 17. Based on this, the target range input means 17
Sends a position obtained by converting the position designated by the operator to the actual longitude and latitude to the target range search means 18 and requests a search for a video. The longitude and latitude conversion of the operator's designated position on the map by the target hitting correspondence means 9 is performed in the same manner as in the fifth embodiment.

【0067】対象範囲検索手段18では、映像データベ
ース5を検索し、操作員の指定した範囲が写っている撮
影位置を取り出す。このとき、指定した範囲が写ってい
るかどうかの判断は、図17のように行う。ある撮影位
置から撮影方向に向かって予め設定した仰角の範囲内に
操作員の指定した範囲の点が含まれ、その距離が予め設
定した距離以内のときは、その範囲がその撮影地点で写
っていると判断する。具体的には、対象範囲検索手段1
8は、映像データベースに含まれる撮影情報のすべての
撮影位置を以下のように調べる。先ず、撮影位置を原点
として、北方向をY(単位はメートル)東方向をX(単
位はメートル)とする座標系を用いて、操作員が指定し
た4点を北西の角をA、北東の角をB、南東の角をC、
南西の角をDと表現する。これらが例えば、A(5,2
0)、B(20,20)、C(5,5)、D(20,
5)であったとする。操作員の指定した範囲は、5≦X
≦20かつ5≦Y≦20である。以上の条件を仮に条件
1とする。撮影時の撮影範囲を、撮影方向から左右各3
0度として設定してある場合で、かつ、撮影方向が北に
対して東方向に60度であったとする。このとき、撮影
範囲は撮影方向から左右30度を示す線の間になり、Y
≧0、Y≦√3Xを満たしかつ、X≧0の範囲となる。
さらに、撮影位置から30m以内の距離であったとすれ
ばXの二乗とYの二乗の合計が30の二乗である900
以下にならなくては行けない。以上の条件を条件2とす
る。条件1と条件2を同時に満たしていればその撮影位
置において、撮影区間が写っていたことになる。これを
簡単に確認する方法として、先ず条件1を満たす座標を
メモリ空間内に描く。メモリとは、0または1を記録す
る記録媒体であり、記録させる仮想の場所を番地によっ
て指定するものであり、メモリ空間内に描くとは、メモ
リの全ての番地に0を記憶させておき、条件を満たす座
標によって指定される番地の記憶内容を1とすることで
ある。番地は例えば16進数で8桁であり最初の4桁を
上位番地、下4桁を番地と名づけ、Y座標を上位番地、
X座標を下位番地に割り当てる。このとき、1メートル
が16進数の10程度になるように細かく分割すれば精
度があがる。次に、条件2を満たす座標を別の記録媒体
であるメモリ空間内に同様にして描く。条件1を描いた
メモリと、条件2を描いたメモリの全ての同じ番地の記
憶内容を比較し、両方とも記憶内容が1である番地があ
る場合、条件1と条件2を動じに満たす点があることに
なり、この撮影位置は確かに操作員が指定した範囲内の
どこかの点が写っていると判断する。
The target range searching means 18 searches the video database 5 and takes out a photographing position in which the range specified by the operator is shown. At this time, it is determined whether or not the designated range is shown as shown in FIG. When a point in the range specified by the operator is included in a range of a predetermined elevation angle from a certain shooting position toward the shooting direction, and the distance is within a predetermined distance, the range is captured at the shooting point. Judge that there is. Specifically, target range search means 1
8 checks all shooting positions of the shooting information included in the video database as follows. First, using a coordinate system in which the photographing position is the origin and the north direction is Y (unit is meters) and the east direction is X (units are meters), four points designated by the operator are A at the northwest corner and A at the northeast. The corner is B, the southeast corner is C,
The southwest corner is represented as D. These are, for example, A (5,2
0), B (20, 20), C (5, 5), D (20,
Suppose 5). The range specified by the operator is 5 ≦ X
≦ 20 and 5 ≦ Y ≦ 20. The above condition is temporarily referred to as condition 1. The shooting range at the time of shooting is 3
It is assumed that the angle is set to 0 degrees and the shooting direction is 60 degrees east to the north. At this time, the shooting range is between the lines indicating 30 degrees left and right from the shooting direction.
≧ 0, Y ≦ √3X, and X ≧ 0.
Further, if the distance is within 30 m from the shooting position, the sum of the square of X and the square of Y is 30 square 900
You have to be: The above conditions are referred to as condition 2. If the condition 1 and the condition 2 are satisfied at the same time, it means that the shooting section has been captured at the shooting position. As a method for easily confirming this, first, coordinates satisfying the condition 1 are drawn in the memory space. The memory is a recording medium for recording 0 or 1 and designates a virtual place to be recorded by an address. To draw in the memory space means to store 0 in all addresses of the memory, The storage content of the address specified by the coordinates satisfying the condition is set to 1. The address is, for example, 8 digits in hexadecimal, with the first 4 digits named the upper address, the lower 4 digits named the address, and the Y coordinate as the upper address.
The X coordinate is assigned to a lower address. At this time, if the data is finely divided so that 1 meter is approximately 10 hexadecimal, the accuracy is improved. Next, coordinates satisfying the condition 2 are similarly drawn in a memory space which is another recording medium. The memory contents of condition 1 and the memory of condition 2 are all compared at the same address. If there is an address whose storage contents are both 1, the point that condition 1 and condition 2 are satisfied is determined. That is, it is determined that this photographing position certainly reflects some point within the range designated by the operator.

【0068】以上のように、この実施の形態9によれ
ば、対象範囲入力手段17で入力した範囲が写っている
映像を、対象範囲検索手段18を介して検索することが
できるようにしたので、地図上のある範囲内に対応付け
られている映像を検索する場合、地図上で範囲を指定し
てその範囲内の映像をまとめて検索することができるの
で、地図上でみたい範囲の映像を一つ一つ選択して検索
しなくてもよくなる。
As described above, according to the ninth embodiment, the video in which the range input by the target range input unit 17 is captured can be searched through the target range search unit 18. When searching for a video that is associated with a certain area on the map, you can specify the range on the map and search for the videos within that range at once. You do not have to select each item and search.

【0069】実施の形態10.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に地図上である軌跡を通って移動した物体が写
っている映像を検索する実施の形態を示す。
Embodiment 10 FIG. In the above-described third embodiment, a captured video can be displayed on a map in a locus, but an embodiment in which an image in which an object that has moved through a locus on the map is captured is searched next. .

【0070】図18はこの発明の実施の形態10に係る
映像情報表示装置の構成を示す構成図である。図18に
おいて、図5に示す実施の形態3と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、19
は地図上で操作員が見たい位置の移動軌跡とその日時を
入力すると、その位置を対象位置対応手段を介して実際
の位置に変換する移動軌跡入力手段、20は移動軌跡入
力手段19から受け取った時間に同じく受け取った位置
が写っている映像を映像データベース5から検索し、映
像検索手段2と映像再生手段1を介して再生する移動軌
跡検索手段である。
FIG. 18 is a configuration diagram showing a configuration of a video information display device according to Embodiment 10 of the present invention. In FIG. 18, the same portions as those of the third embodiment shown in FIG. 5 are denoted by the same reference numerals, and description thereof will be omitted. As a new code, 19
When the operator inputs a movement locus of a position desired to be viewed on a map and its date and time, the movement locus input means for converting the position into an actual position via the target position correspondence means, and 20 receives the movement locus from the movement locus input means 19 A moving trajectory search unit that searches the video database 5 for the video in which the received position is shown at the same time, and reproduces the video via the video search unit 2 and the video reproduction unit 1.

【0071】次に動作について説明する。操作員が地図
上に検索したい移動軌跡をマウスを使って入力する。軌
跡の入力は地図上に複数の点を指示することにより行
う。また、指示した点にはその点を通過した時間を入力
する。これらの情報は地図表示の画面から移動軌跡入力
手段19へ送る。移動軌跡入力手段19では、軌跡とし
て入力した地図上の座標位置を対象位置対応手段9へ送
り、座標位置を経度緯度で示す実際の位置に変換する依
頼をする。
Next, the operation will be described. The operator uses the mouse to enter the trajectory to search on the map. The input of the trajectory is performed by designating a plurality of points on the map. In addition, the time at which the user passed the point is input to the designated point. These pieces of information are sent from the map display screen to the movement trajectory input unit 19. The movement trajectory input unit 19 sends the coordinate position on the map input as the trajectory to the target position correspondence unit 9 and requests to convert the coordinate position into an actual position represented by longitude and latitude.

【0072】対象位置対応手段9では、軌跡の各点の実
際の位置を計算し、移動軌跡入力手段19へ送る。対象
位置対応手段9における操作員の地図上の指示位置の経
度緯度への変換は実施の形態5と同じように行う。移動
軌跡入力手段19では、操作員が入力した軌跡の点にお
ける実際の位置とその点に対して入力した時間を移動軌
跡検索手段20に送り、その地点にその時間に撮影した
映像があるかどうかの検索を依頼する。移動軌跡検索手
段20では、映像データベース5を検索し、操作員の指
定した軌跡の点に近い撮影位置の撮影情報を取り出す。
The target position correspondence means 9 calculates the actual position of each point on the trajectory and sends it to the movement trajectory input means 19. The conversion of the designated position on the map of the operator into the longitude and latitude by the target position correspondence means 9 is performed in the same manner as in the fifth embodiment. The movement trajectory input means 19 sends the actual position at the point of the trajectory input by the operator and the time input for that point to the movement trajectory search means 20 to determine whether or not there is a video shot at that time at that point. Request a search for. The moving trajectory searching means 20 searches the video database 5 and extracts photographing information of a photographing position close to the point of the locus specified by the operator.

【0073】移動軌跡検索手段20では、検索して取り
出した撮影位置の全てについて、操作員が指示した点が
写っているかどうかを確認する。写っているかどうかの
判断は、実施の形態7と同じであるが、実施の形態10
では位置だけではなく撮影時間についても操作員の指定
した時間かどうかを調べる。撮影時間については、映像
データベース5の撮影位置のある点において、操作員が
指定したある点が写っていると判断したときに、その撮
影位置の撮影時間を、操作員が指定した時間と比較し、
予め設定しておいた例えば5秒以内という時間差であれ
ば、その時間にその位置が写っていると判断する。そし
て、操作員が指示した点が写っている撮影位置を撮影情
報にもつ映像を取り出す。移動軌跡検索手段20では、
操作員が指示した点が写っている撮影位置が写っている
映像の撮影時間の前後例えば5秒というように予め設定
した時間の映像再生を映像再生手段1へ依頼する。映像
再生手段1では、これに従って映像を再生する。再生の
指示と再生の処理は、実施の形態7と同様に処理する。
The movement trajectory search means 20 checks whether or not the point designated by the operator is captured for all of the photographed positions retrieved and retrieved. The determination as to whether or not the image is shown is the same as that in the seventh embodiment, but is different from the tenth embodiment.
Then, not only the position but also the photographing time is checked whether it is the time designated by the operator. Regarding the shooting time, when it is determined that a certain point specified by the operator is present at a certain point of the shooting position in the video database 5, the shooting time at that shooting position is compared with the time specified by the operator. ,
If there is a preset time difference of, for example, within 5 seconds, it is determined that the position is captured at that time. Then, a video having the shooting position where the point designated by the operator is shown in the shooting information is extracted. In the movement trajectory search means 20,
It requests the video reproducing means 1 to reproduce the video for a preset time, for example, 5 seconds before and after the capturing time of the video in which the capturing position in which the point designated by the operator is captured. The video reproducing means 1 reproduces a video in accordance with this. The reproduction instruction and the reproduction process are performed in the same manner as in the seventh embodiment.

【0074】以上のように、この実施の形態10によれ
ば、移動軌跡入力手段19で入力した時間と地点の映像
があるかどうかを移動軌跡検索手段20を介して検索す
ることができるようにしたので、例えば過去に地図で示
される範囲内を通過した車を撮影した映像を検索する場
合、地図上で例えば道路に沿って移動した車の移動経路
と例えば大きな交差点のような要所要所の通過地点を指
定するだけで、その車の写っている映像を取り出すこと
ができるので、移動経路上の各地点に対応付けられてい
る映像を全て検索したり内容を確認したりする手間が省
ける。
As described above, according to the tenth embodiment, it is possible to search through the movement trajectory search means 20 whether there is an image of the time and the point input by the movement trajectory input means 19. Therefore, for example, when searching for a video image of a car that has passed through the area shown in the map in the past, the route of the car that moved along the road on the map and the important route such as a large intersection By simply specifying the passing point, the image of the car can be taken out, so that it is not necessary to search for all the images associated with each point on the moving route or check the contents.

【0075】実施の形態11.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に映像の軌跡だけではなく映像の内容の一部も
地図上に表示する実施の形態を示す。
Embodiment 11 FIG. In the above-described third embodiment, a captured video can be displayed on a map with a locus. Next, an embodiment will be described in which not only the locus of the video but also a part of the content of the video is displayed on the map.

【0076】図19はこの発明の実施の形態11に係る
映像情報表示装置の構成を示す構成図である。図19に
おいて、図5に示す実施の形態3と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、21
は地図上に検索結果である映像の一場面の画像である代
表画面を表示する代表画面表示手段である。
FIG. 19 is a configuration diagram showing a configuration of a video information display device according to Embodiment 11 of the present invention. In FIG. 19, the same portions as those of the third embodiment shown in FIG. 5 are denoted by the same reference numerals, and description thereof will be omitted. As a new code, 21
Is a representative screen display means for displaying a representative screen which is an image of one scene of a video as a search result on a map.

【0077】次に動作について説明する。まず、操作員
が軌跡表示手段10へ撮影したときの位置の軌跡を地図
上に表示するように指示することで、軌跡表示手段10
では、映像データベース5から全ての撮影情報を読み出
す。次に、軌跡表示手段10では、撮影情報に含まれる
撮影位置の経度緯度情報を地図上での座標に変換するよ
うに対象位置対応手段9に依頼する。
Next, the operation will be described. First, the operator instructs the trajectory display means 10 to display the trajectory of the position at the time of photographing on a map.
Then, all shooting information is read from the video database 5. Next, the trajectory display means 10 requests the target position correspondence means 9 to convert the longitude / latitude information of the shooting position included in the shooting information into coordinates on a map.

【0078】対象位置対応手段9では、対象となる地図
上の座標に変換して軌跡表示手段10へ返す。対象位置
対応手段9における経度緯度の画面表示した地図上の座
標への変換は以下のように行う。地図のイメージデータ
の座標の原点の経度緯度と、縮尺として、経度緯度の1
秒が地図を示すイメージデータの何ドットかという情報
を地図情報として地図イメージデータと一緒に予め蓄積
してあることとする。これにより、操作員の指定した経
度緯度が、地図上の原点から何秒離れているかがわか
る。この秒数に経度緯度の1秒が地図を示すイメージデ
ータの何ドットかという値を掛け合わせて、地図上の座
標位置を決定する。次に、軌跡表示手段10では、地図
情報表示手段8へ地図表示の指示を行う。地図情報表示
手段8では、地図情報7を読み込み表示し、表示画面は
道路や街区を示す。この処理は例えば市販の地図表示ソ
フトウェアを用いて行う。次に、軌跡表示手段10で
は、軌跡点の地図上の座標を利用して、地図上に軌跡を
描いて表示する。軌跡の表示例は図7のようになる。以
上の処理は実施の形態3と同様に処理する。
The target position correspondence means 9 converts the coordinates into coordinates on the target map and returns the coordinates to the locus display means 10. The conversion of the longitude and latitude into the coordinates on the map displayed on the screen in the target position correspondence means 9 is performed as follows. The longitude and latitude of the origin of the coordinates of the map image data and the scale of 1
It is assumed that information indicating the number of dots of the image data indicating the map in seconds is previously stored together with the map image data as map information. Thus, it is possible to know how many seconds the longitude and latitude specified by the operator are away from the origin on the map. The coordinate position on the map is determined by multiplying this number of seconds by the number of dots in the image data representing one second of longitude and latitude on the map. Next, the locus display means 10 instructs the map information display means 8 to display a map. The map information display means 8 reads and displays the map information 7, and the display screen shows roads and blocks. This processing is performed using, for example, commercially available map display software. Next, the trajectory display means 10 uses the coordinates of the trajectory point on the map to draw and display the trajectory on the map. A display example of the trajectory is as shown in FIG. The above processing is performed in the same manner as in the third embodiment.

【0079】次に、軌跡表示手段10は、代表画面表示
手段21へ軌跡を示す撮影情報と地図上の軌跡の表示し
てある座標位置を送る。代表画面表示手段21は、軌跡
を示す映像の電子ファイルを取り出す。すなわち、映像
3の電子ファイルから1場面の画像を取り出し地図上の
軌跡の横に表示する。画像の取り出しについては以下の
ように行う。撮影情報に映像の電子ファイル名が含まれ
る。この電子ファイルには、時間順に、例えば1秒に2
0コマの時間順の静止画が記録されている。例えば電子
ファイルの先頭の静止画を読み込むこととする。表示す
る位置については、その映像で最も過去に撮影された撮
影位置の経度緯度を地図上に座標に直した点の直ぐ横に
表示する。
Next, the trajectory display means 10 sends the photographic information indicating the trajectory and the coordinate position where the trajectory is displayed on the map to the representative screen display means 21. The representative screen display unit 21 extracts an electronic file of a video showing a locus. That is, an image of one scene is extracted from the electronic file of the video 3 and displayed next to the locus on the map. The image is taken out as follows. The shooting information includes the electronic file name of the video. This electronic file contains, for example, two times per second in chronological order.
0 frames of chronological still images are recorded. For example, a leading still image of an electronic file is read. As for the position to be displayed, the longitude and the latitude of the photographing position most recently photographed in the video are displayed on the map immediately beside the point converted into coordinates.

【0080】以上のように、この実施の形態11によれ
ば、代表画面表示手段21により、軌跡を表示した映像
の内容の一部を地図上に表示することができるようにし
たので、撮影した映像のうちの1場面の画像を、地図上
に対応付けた撮影位置の軌跡と合わせて表示するので、
単純に映像の撮影位置がわかるだけではなく、その内容
も地図上の表示を見ればわかるようになる。
As described above, according to the eleventh embodiment, since the representative screen display means 21 can display a part of the contents of the video displaying the locus on the map, the photographing is performed. Since the image of one scene in the video is displayed along with the locus of the shooting position associated with the map,
In addition to simply knowing the shooting position of the video, the contents can be understood by looking at the display on the map.

【0081】実施の形態12.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に映像の軌跡だけではなく映像の内容を撮影位
置がわかるように移動しながら地図上に表示する実施の
形態を示す。
Embodiment 12 FIG. In the above-described third embodiment, the captured video can be displayed on the map using the trajectory. Next, not only the trajectory of the video but also the content of the video is displayed on the map while moving so that the shooting position can be recognized. An embodiment will be described.

【0082】図20はこの発明の実施の形態12に係る
映像情報表示装置の構成を示す構成図である。図20に
おいて、図5に示す実施の形態3と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、22
は地図上に検索結果である映像の一場面の画像を表示す
るが、その表示方法として、撮影位置に対応する位置に
沿って表示位置を移動し、撮影時間に沿った再生内容に
表示する画面を切り替える代表画面移動表示手段であ
る。
FIG. 20 is a configuration diagram showing a configuration of a video information display apparatus according to Embodiment 12 of the present invention. 20, the same components as those of the third embodiment shown in FIG. 5 are denoted by the same reference numerals, and the description thereof will be omitted. As a new code, 22
Displays the image of one scene of the video that is the search result on the map. The display method is to move the display position along the position corresponding to the shooting position and display it as playback content along the shooting time Is a representative screen movement display means for switching the display.

【0083】次に動作について説明する。まず、操作員
が軌跡表示手段10へ撮影したときの位置の軌跡を地図
上に表示するように指示することで、軌跡表示手段10
では、映像データベース5から全ての撮影情報を読み出
し、撮影情報に含まれる撮影位置の経度緯度情報を地図
上での座標に変換するように対象位置対応手段9に依頼
する。対象位置対応手段9では、対象となる地図上の座
標に変換して軌跡表示手段10へ返す。座標の変換は、
実施の形態11と同じように行う。
Next, the operation will be described. First, the operator instructs the trajectory display means 10 to display the trajectory of the position at the time of photographing on a map.
Then, all the shooting information is read from the video database 5 and the target position correspondence unit 9 is requested to convert the longitude / latitude information of the shooting position included in the shooting information into coordinates on a map. The target position correspondence unit 9 converts the coordinates into coordinates on the target map and returns the coordinates to the locus display unit 10. The transformation of coordinates is
This is performed in the same manner as in the eleventh embodiment.

【0084】次に、軌跡表示手段10では、地図情報表
示手段8へ地図表示の指示を行う。地図情報表示手段8
では、地図情報7を読み込み表示し、表示画面に道路や
街区を示す。そして、軌跡表示手段10では、軌跡点の
地図上の座標を利用して、地図上に軌跡を描いて表示す
る。軌跡の表示例は図7のようになる。以上の処理は実
施の形態3と同様に処理する。次に、軌跡表示手段10
から代表画面再生移動表示手段22へ軌跡を示す撮影情
報と地図上の軌跡の表示してある座標位置が送られる。
Next, the locus display means 10 instructs the map information display means 8 to display a map. Map information display means 8
Then, the map information 7 is read and displayed, and the display screen shows roads and blocks. The trajectory display means 10 uses the coordinates of the trajectory point on the map to draw and display the trajectory on the map. A display example of the trajectory is as shown in FIG. The above processing is performed in the same manner as in the third embodiment. Next, the locus display means 10
Then, the photographing information indicating the locus and the coordinate position where the locus on the map is displayed are sent to the representative screen reproduction movement display means 22.

【0085】代表画面再生移動表示手段22は、軌跡を
示す映像3の電子ファイルを取り出し、映像を再生し、
図21で示すように、その再生中の映像が撮影された地
点の地図上の位置に映像を表示するように映像を地図上
に移動しながら表示する。この実施の形態12として
は、撮影情報に撮影時間と撮影位置が含まれるので、再
生しながらそれに対応した撮影位置を取り出し、その位
置に対応した地図上の座標を対象位置対応手段9から取
り出し、その座標地点を再生している映像の表示位置と
する。代表画面再生移動表示手段22は、撮影位置の時
間順に、映像を撮影位置Aから次の撮影位置であるBま
での時間を一つの区切りとして、その撮影時間の映像の
電子ファイルの表示を撮影位置Aの地図上の軌跡の表示
位置の横に表示する。この表示が終わったら、撮影位置
Bから時間順に告ぎの撮影位置であるCまでの区間の映
像を撮影位置Bの地図上の表示位置の横に再生して表示
する。これを繰り返す。特定の撮影位置区間の表示につ
いては、実施の形態6と同じように行う。
The representative screen reproduction movement display means 22 takes out the electronic file of the image 3 indicating the locus, reproduces the image,
As shown in FIG. 21, the video is displayed while moving on the map such that the video is displayed at the position on the map at the point where the video being reproduced is captured. In the twelfth embodiment, since the photographing information includes the photographing time and the photographing position, the photographing position corresponding to the photographing position is taken out while reproducing, and the coordinates on the map corresponding to the position are taken out from the target position correspondence means 9. The coordinate point is set as the display position of the video being reproduced. The representative screen reproduction movement display means 22 displays the electronic file of the video at the shooting time in the order of the shooting position, using the time from the shooting position A to the next shooting position B as one delimiter. A is displayed beside the display position of the locus on the map of A. When the display is completed, the video in the section from the shooting position B to the notification shooting position C in time order is reproduced and displayed beside the display position of the shooting position B on the map. Repeat this. The display of the specific shooting position section is performed in the same manner as in the sixth embodiment.

【0086】以上のように、この実施の形態12によれ
ば、代表画面再生移動表示手段22により、選択した軌
跡の映像の内容がその撮影位置がわかる形で地図上に表
示するようにしたので、映像を再生するときに、映像を
撮影した位置に対応した地図上の位置に映像再生画面を
表示することができ、映像の再生時間が長くても、どの
位置の再生をしているかが容易にわかる。
As described above, according to the twelfth embodiment, the contents of the video image of the selected locus are displayed on the map by the representative screen reproduction movement display means 22 in such a manner that its photographing position can be recognized. When playing back a video, the video playback screen can be displayed at a location on the map that corresponds to the location where the video was taken, making it easy to determine which location is playing even if the video playback time is long. I understand.

【0087】実施の形態13.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に映像の軌跡だけではなく映像が実空間内でど
の範囲で撮影できているかの情報を地図上にわかりやす
く表示する実施の形態を示す。
Embodiment 13 FIG. In the above-described third embodiment, the captured video can be displayed on the map using the trajectory. Next, not only the trajectory of the video but also information on the range in which the video can be captured in the real space is displayed on the map. FIG.

【0088】図22はこの発明の実施の形態13に係る
映像情報表示装置の構成を示す構成図である。図22に
おいて、図5に示す実施の形態3と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、23
は映像の撮影位置の軌跡を地図上に表示するときに、地
図上に映像がどの範囲まで写っているかを地図上に表示
する撮影範囲表示手段である。
FIG. 22 is a configuration diagram showing a configuration of a video information display apparatus according to Embodiment 13 of the present invention. In FIG. 22, the same portions as those of the third embodiment shown in FIG. 5 are denoted by the same reference numerals, and description thereof will be omitted. As a new code, 23
Is a photographing range display means for displaying, on a map, the range of the image on the map when the locus of the photographing position of the image is displayed on the map.

【0089】次に動作について説明する。まず、操作員
が軌跡表示手段4へ撮影したときの位置の軌跡を地図上
に表示するように指示することで、軌跡表示手段4で
は、映像データベース5から全ての撮影情報を読み出
し、撮影情報に含まれる撮影位置の経度緯度情報を地図
上での座標に変換するように対象位置対応手段9に依頼
する。
Next, the operation will be described. First, the operator instructs the trajectory display means 4 to display the trajectory of the position at the time of photographing on the map, so that the trajectory display means 4 reads out all the photographic information from the video database 5 and converts the photographic information into the photographic information. It requests the target position correspondence means 9 to convert the longitude / latitude information of the included shooting position into coordinates on the map.

【0090】対象位置対応手段9では、対象となる地図
上の座標に変換して軌跡表示手段4へ返す。これに基づ
き、軌跡表示手段4では、地図情報表示手段8へ地図表
示の指示を行う。地図情報表示手段8では、地図情報7
を読み込み表示し、表示画面に図6の例のように道路や
街区を示す。この処理は実施の形態11と同様に行う。
The target position correspondence means 9 converts the coordinates into coordinates on the target map and returns the coordinates to the locus display means 4. Based on this, the locus display means 4 instructs the map information display means 8 to display a map. In the map information display means 8, the map information 7
Is read and displayed, and the display screen shows roads and blocks as shown in the example of FIG. This processing is performed in the same manner as in the eleventh embodiment.

【0091】次に、軌跡表示手段4では、軌跡点の地図
上の座標を利用して、地図上に軌跡を描いて表示する。
軌跡の表示例は図7のようになる。軌跡表示手段4か
ら、撮影範囲表示手段23へ軌跡を示す撮影情報の中か
ら撮影位置と撮影方向を取り出して送ることで、撮影範
囲表示手段23は、軌跡を示す映像の電子ファイルを取
り出し、地図の土地の等高線情報や建物の形状と高さ情
報等で構成される立体地図情報を読み込み、撮影位置と
その方向から計算して映像に写っている範囲を算出して
地図上に表示する。算出の方法は、図23に示すよう
に、土地と建物の立体モデルにたいして、カメラの視点
がどの範囲で届くかを計算する。具体的な方法を、地図
上の座標を用いて説明する。但し東方向をX軸、北方向
をY軸とするX−Y座標に高さ方向にZ軸を加えた3次
元のX−Y−Z座標を用いて説明する。また、便宜上地
図上の座標の1単位は実空間で1メートルであるとす
る。また、カメラの撮影できる角度をカメラの撮影方向
からX−Y平面に平行に左右30度X−Y平面から上方
10度、距離50メートルとする。ある撮影位置の座標
をAとすると、Aの座標は(XA,YA,0)であった
とする。AからX−Y平面に平行に撮影方向へ直線Lを
引く。線を引くとは線のX−Y−Zの関連式を計算する
ことにより行う。LからX−Y平面に平行に左右に30
度の直線をX−Y平面上に引く。これらを直線Mと直線
Nとする。MとNの撮影位置の座標点から距離にして、
50メートルの座標をB、Cとする。BはLより左の線
とする。BからZ軸にプラスの方向に垂線M2を引く。
撮影位置からM2へ到達する線M3を引き、この線のX
−Y平面との角度が10度になるようにする。M3とM
2の交点をB2とする。CからZ軸にプラスの方向に垂
線N2を引く。撮影位置からN2へ到達する線N3を引
き、この線のX−Y平面との角度が10度になるように
する。N3とN2の交点をC2とする。B、B2、C
2、Cを結ぶ長方形の面をSと呼ぶこととする。SをX
−Y平面に平行な線で10当分に分割し、かつ、直線L
とZ軸からなる平面に平行な線で10当分に分割する。
分割された100の長方形をセルと呼ぶこととする。撮
影位置から各セルの中心へ線を引く。この直線をSEL
1からSEL100と名づける。以上は線の計算式を求
めることにより行う。一方、地図上には建物や斜面等の
地形が、ある座標点においては、何メートルというよう
に高さデータが蓄積してあるとする。これを座標空間に
あてはめ、座標の1単位を1辺とした立方体を座標空間
の中におく。座標空間の中に置くとは、メモリ空間内立
体座標を置くことにより行う。メモリとは、0または1
を記録する記録媒体であり、記録させる仮想の場所を番
地によって指定するものであり、メモリ空間内に置くと
は、メモリの全ての番地に0を記憶させておき、条件を
満たす座標によって指定される番地の記憶内容を1とす
ることとする。番地は例えば16進数で12桁であり最
初の4桁を上位番地、次の4桁を中間番地、下4桁を番
地と名づけ、X座標を上位番地、 Y座標を中間番地、
Z座標を下位番地に割り当てる。次に、SEL1〜SE
L100まで以下の処理を行う。例えばSEL1の場
合、SEL1の直線式を例えば1<X≦2の場合は2とす
ることにより、整数値のX、Y、Zの組でを全て算出す
る。次にこのX,Y,Zの組み合わせを前述のメモリ空
間内の座標として、番地に割り当て、この番地に立体物
があるか無いかを確認する。最も撮影位置に近い点にお
ける立体物がある点がその撮影位置のそのSEL1への
方向の視界の限界としてその地図上のX,Yの座標を記
憶する。立体物が一つも無い場合は、長方形SとSEL
1がぶつかる点を視界の限界とする。以上の繰り返しに
よって、地図上のどの範囲が見えているかを計算する。
Next, the locus display means 4 draws and displays the locus on the map using the coordinates of the locus point on the map.
A display example of the trajectory is as shown in FIG. By taking out the shooting position and the shooting direction from the shooting information indicating the locus from the locus display means 4 to the shooting range display means 23 and sending the same, the shooting range display means 23 extracts the electronic file of the video showing the locus and outputs the map. 3D map information composed of the contour information of the land and the shape and height information of the building, etc., is read, and the range shown in the video is calculated based on the shooting position and its direction, and is displayed on the map. In the calculation method, as shown in FIG. 23, the range in which the viewpoint of the camera reaches the three-dimensional model of the land and the building is calculated. A specific method will be described using coordinates on a map. However, the description will be made using three-dimensional XYZ coordinates obtained by adding the Z axis in the height direction to the XY coordinates in which the east direction is the X axis and the north direction is the Y axis. For convenience, one unit of coordinates on the map is assumed to be one meter in the real space. The angle at which the camera can shoot is 30 degrees left and right parallel to the XY plane from the shooting direction of the camera, 10 degrees upward from the XY plane, and a distance of 50 meters. Assuming that the coordinates of a certain shooting position are A, the coordinates of A are (XA, YA, 0). A straight line L is drawn from A in the shooting direction parallel to the XY plane. Drawing a line is performed by calculating a related expression of XYZ of the line. 30 from left to right parallel to the XY plane
A straight line of degrees is drawn on the XY plane. These are referred to as a straight line M and a straight line N. The distance from the coordinate point of the shooting position of M and N,
The coordinates at 50 meters are B and C. B is a line to the left of L. A perpendicular M2 is drawn from B to the Z axis in a positive direction.
Draw a line M3 from the shooting position to M2, and
-Make the angle with the Y plane 10 degrees. M3 and M
The intersection of 2 is B2. A perpendicular line N2 is drawn in the positive direction from C to the Z axis. A line N3 from the shooting position to N2 is drawn so that the angle of this line with the XY plane is 10 degrees. The intersection of N3 and N2 is designated as C2. B, B2, C
A rectangular surface connecting C and C is referred to as S. S to X
-Divide into 10 equal parts by a line parallel to the Y plane, and
And a line parallel to the plane consisting of the Z-axis is divided into 10 parts.
The 100 divided rectangles are called cells. Draw a line from the shooting position to the center of each cell. This line is SEL
1 to SEL100. The above is performed by obtaining the calculation formula of the line. On the other hand, it is assumed that terrain such as a building or a slope is accumulated on a map, and height data is accumulated at a certain coordinate point such as how many meters. This is applied to the coordinate space, and a cube having one side of one unit of the coordinate as one side is placed in the coordinate space. Placement in the coordinate space is performed by placing solid coordinates in the memory space. Memory is 0 or 1
Is a recording medium for recording a virtual location to be recorded by an address. To place in a memory space means that 0 is stored in all addresses of the memory and designated by coordinates that satisfy the condition. The storage content of the address is set to 1. The address is, for example, 12 digits in hexadecimal, with the first 4 digits being called the upper address, the next 4 digits being called the intermediate address, the lower 4 digits being called the address, the X coordinate being the upper address, the Y coordinate being the intermediate address,
The Z coordinate is assigned to a lower address. Next, SEL1 to SE
The following processing is performed up to L100. For example, in the case of SEL1, by setting the linear expression of SEL1 to 2, for example, when 1 <X ≦ 2, all of the sets of integer values X, Y, and Z are calculated. Next, the combination of X, Y, and Z is assigned to an address as coordinates in the above-mentioned memory space, and it is confirmed whether or not there is a three-dimensional object at this address. The point where the three-dimensional object at the point closest to the shooting position has the X, Y coordinates on the map is stored as the limit of the field of view of the shooting position toward SEL1. If there is no three-dimensional object, rectangle S and SEL
The point where 1 hits is the limit of the field of view. By repeating the above, what range on the map is visible is calculated.

【0092】以上のように、この実施の形態13によれ
ば、撮影範囲表示手段23により、撮影した映像が実際
にどの範囲まで撮影できているかを地図上に詳しく表示
することができるようにしたので、映像に写っている範
囲が地図上に詳しく表示でき、ビルの横やどての近く等
の撮影できているかどうか分かりつらい部分の映像が写
っているかどうかを映像を再生しなくても地図上で容易
に知ることができる。
As described above, according to the thirteenth embodiment, the photographing range display means 23 can display on the map in detail how far the photographed video has actually been photographed. Therefore, the area shown in the image can be displayed in detail on the map, and it can be determined whether or not it is possible to shoot the side of the building, near the side, etc. You can easily find out.

【0093】実施の形態14.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に映像の軌跡だけではなく映像に関連付けてあ
る他の情報の検索を行う実施の形態を示す。
Embodiment 14 FIG. In the above-described third embodiment, a captured video can be displayed on a map using a locus. Next, an embodiment will be described in which not only the locus of the video but also other information associated with the video is searched.

【0094】図24はこの発明の実施の形態14に係る
映像情報表示装置の構成を示す構成図である。図24に
おいて、図5に示す実施の形態3と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、24
は映像に関連する説明文等の情報を検索して表示する関
連情報表示手段である。
FIG. 24 is a configuration diagram showing a configuration of a video information display apparatus according to Embodiment 14 of the present invention. 24, the same portions as those in Embodiment 3 shown in FIG. 5 are denoted by the same reference numerals, and description thereof will be omitted. As a new code, 24
Is related information display means for retrieving and displaying information such as explanatory text related to the video.

【0095】次に動作について説明する。操作員が、実
施の形態3と同じように軌跡を選択し、軌跡で示した映
像の関連情報を表示する指示をする。その軌跡の全ての
撮影地点地図上の座標位置を関連情報検索手段24で受
け取る。関連情報検索手段24では、地図上の座標を実
際の位置に変換するように対象位置対応手段9へ指示す
る。対象位置対応手段9では、地図上の座標を実際の位
置に変換して関連情報検索手段24へ返す。
Next, the operation will be described. The operator selects a trajectory in the same manner as in the third embodiment, and gives an instruction to display the relevant information of the image indicated by the trajectory. The coordinate positions of all the trajectories on the photographing point map are received by the related information search means 24. The related information search means 24 instructs the target position correspondence means 9 to convert the coordinates on the map to the actual positions. The target position correspondence unit 9 converts the coordinates on the map into an actual position and returns it to the related information search unit 24.

【0096】これに基づき、関連情報検索手段24で
は、撮影位置を検索キーとして、映像データベース5か
ら関連情報を取り出して表示する。このとき、映像デー
タベース5に映像についてメモをした文書データや映像
に写っている対象物についての説明文書データ等の関連
情報を予め撮影位置と関連付けて持っていることとす
る。
On the basis of this, the related information search means 24 extracts related information from the video database 5 and displays it by using the shooting position as a search key. At this time, it is assumed that related information such as document data in which a memo about a video is recorded in the video database 5 and explanatory document data of an object appearing in the video are associated in advance with the shooting position.

【0097】以上のように、この実施の形態14によれ
ば、関連情報検索手段24により、撮影した映像に関連
する関連情報を検索するようにしたので、地図に対応付
けてある映像に関連した関連情報を関連情報専用のデー
タベースを利用しなくても検索できるようになる。
As described above, according to the fourteenth embodiment, the related information search means 24 searches for the related information related to the photographed video. Related information can be searched without using a database dedicated to related information.

【0098】実施の形態15.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に、再生表示している映像の中の位置を選択す
るとその位置が地図上でどこであるかを表示する実施の
形態を示す。
Embodiment 15 FIG. In the above-described third embodiment, the captured video can be displayed on the map with a locus. Next, when a position in the video being reproduced and displayed is selected, the position on the map is determined. The embodiment to be displayed is shown.

【0099】図25はこの発明の実施の形態15に係る
映像情報表示装置の構成を示す構成図である。図25に
おいて、図5に示す実施の形態3と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、25
は操作員が映像再生中に映像に写っている位置を指定す
ると、再生時間を元に映像の撮影位置と撮影方向を映像
データベース5から検索して取り出し、その位置を確認
する指示位置確認手段、26は指示位置確認手段25か
ら受け取った撮影位置を地図上に表示する指示位置表示
手段である。
FIG. 25 is a configuration diagram showing a configuration of a video information display apparatus according to Embodiment 15 of the present invention. 25, the same portions as those in Embodiment 3 shown in FIG. 5 are denoted by the same reference numerals, and description thereof will be omitted. As a new code, 25
When an operator specifies a position shown in the video during video playback, a search position and a shooting direction of the video are searched and retrieved from the video database 5 based on the playback time, and an indicated position confirmation means for confirming the position is provided. Reference numeral 26 denotes designated position display means for displaying the photographing position received from the designated position confirmation means 25 on a map.

【0100】次に動作について説明する。映像が映像再
生手段1で再生中であるとき、操作員が画面上の位置を
指示位置確認手段25を介して指示すると、指示位置確
認手段25は、映像再生手段1から再生中の映像の電子
ファイル名と再生がその映像の先頭から何秒目かという
再生時間を取得する。これに基づき、指示位置確認手段
25は、映像データベース5から映像の電子ファイル名
と再生時間を検索のキーとして撮影情報に含まれる撮影
位置と撮影方向を取り出す。そして、撮影位置と撮影方
向から操作員が画面上で指示した位置が実際の位置でど
の位置になるかを計算する。
Next, the operation will be described. When an operator designates a position on the screen via the designated position confirming unit 25 while the image is being reproduced by the image reproducing unit 1, the designated position confirming unit 25 transmits an electronic image of the reproduced image from the image reproducing unit 1. Obtain the file name and the playback time, which is the number of seconds from the beginning of the video playback. Based on this, the designated position confirmation unit 25 extracts the photographing position and the photographing direction included in the photographing information from the video database 5 using the electronic file name and the reproduction time of the video as search keys. Then, based on the photographing position and the photographing direction, the actual position is calculated as the position designated by the operator on the screen.

【0101】指示位置確認手段25における計算は図2
6のように行う。すなわち、撮影方向に対して予め設定
した範囲の仰角で撮影していると仮定し、その仰角を図
26ではCと示す。操作員が指定した点の画面の中心か
らの距離を図26中のaで示し、操作員が指定した点か
ら画面の右または左の近い方までの距離を図26のbで
示す。撮影位置から撮影方向をc×a/(a+b)の角
度だけずらした方角を目標位置方向とし、実際の撮影位
置から目標方向に向かって予め設定した範囲の例えば幅
10メートル長さ200メートルを指示位置の実際の位
置として算出する。そして、指示位置確認手段25は、
指示位置の実際の位置を指示位置表示手段26へ表示す
るように指示する。指示位置表示手段26は、指示され
た範囲を地図上で網目上等の表示方法で表示する。
The calculation in the pointing position confirmation means 25 is shown in FIG.
Perform as in 6. That is, it is assumed that the image is captured at an elevation angle within a preset range with respect to the imaging direction, and the elevation angle is indicated by C in FIG. The distance from the center of the screen to the point designated by the operator is indicated by a in FIG. 26, and the distance from the point designated by the operator to the right or left side of the screen is indicated by b in FIG. A direction in which the shooting direction is shifted from the shooting position by an angle of c × a / (a + b) is set as a target position direction, and a predetermined range, for example, a width of 10 meters and a length of 200 meters is designated from the actual shooting position toward the target direction. It is calculated as the actual position of the position. Then, the pointing position confirmation means 25
An instruction is given to display the actual position of the designated position on the designated position display means 26. The designated position display means 26 displays the designated range on a map by a display method such as a mesh.

【0102】以上のように、この実施の形態15によれ
ば、指示位置確認手段25により操作員が再生中の映像
を見ながら画面上で指示した位置が実際の経度緯度で表
現できる位置でどこに対応するかがわかり、指示位置表
示手段26により、その位置を地図上に表示するように
したので、地図と対応付けてある映像を再生表示してい
るときに、映像中の位置または物体を指定するとその位
置または物体のある位置が地図上で表示でき、映像に写
っている位置の確認が正確でかつ簡単にできる。
As described above, according to the fifteenth embodiment, the position designated by the operator on the screen while viewing the video being reproduced by the designated position confirmation means 25 is a position where it can be expressed in the actual longitude and latitude. The position is indicated on the map by the designated position display means 26, so when the image associated with the map is reproduced and displayed, the position or object in the image is designated. Then, the position or the position of the object can be displayed on the map, and the position shown in the video can be accurately and easily confirmed.

【0103】実施の形態16.上述した実施の形態7で
は、指定した特定の場所が写っている映像を検索するこ
とができるが、次に地図上で指定した特定の場所をが写
っている映像を検索し、その表示画面中で指定した位置
がどこであるかを強調して表示する実施の形態を示す。
Embodiment 16 FIG. In the above-described seventh embodiment, it is possible to search for a video in which a specified specific location is captured. Next, a video in which a specified specific location is captured on a map is searched. 5 shows an embodiment in which the position designated by is highlighted and displayed.

【0104】図27はこの発明の実施の形態16に係る
映像情報表示装置の構成を示す構成図である。図27に
おいて、図13に示す実施の形態7と同一部分は同一符
号を示し、その説明は省略する。新たな符号として、2
7は地図上で操作員が選択した位置を動画中で枠で囲む
等のマークを付けることにより強調する動画強調手段で
ある。
FIG. 27 is a configuration diagram showing a configuration of a video information display apparatus according to Embodiment 16 of the present invention. 27, the same parts as those in the seventh embodiment shown in FIG. 13 are denoted by the same reference numerals, and the description thereof will be omitted. As a new code, 2
Reference numeral 7 denotes a moving image emphasizing means for emphasizing a position selected by the operator on the map by enclosing the position in a moving image with a frame.

【0105】次に動作について説明する。操作員が地図
表示画面上で見たい位置を指示することで、画面から地
図上の座標位置が対象位置入力手段14に送られる。こ
れに基づき、対象位置入力手段14は、対象位置対応手
段9へ地図上の座標位置を経度緯度で示す実際の位置に
変換する依頼をする。対象位置対応手段9では、操作員
が指示した点の実際の位置を計算し、対象位置入力手段
14へ送る。これにより、対象位置入力手段14は、操
作員が指示した位置を実際の経度緯度に直した位置を対
象位置検索手段15へ送り映像の検索を依頼する。
Next, the operation will be described. When the operator designates a desired position on the map display screen, the coordinate position on the map is sent to the target position input means 14 from the screen. Based on this, the target position input unit 14 requests the target position corresponding unit 9 to convert the coordinate position on the map into an actual position indicated by longitude and latitude. The target position correspondence means 9 calculates the actual position of the point designated by the operator and sends it to the target position input means 14. As a result, the target position input unit 14 sends a position obtained by converting the position designated by the operator to the actual longitude and latitude to the target position search unit 15 and requests a search for a video.

【0106】対象位置検索手段15では、映像データベ
ース5を検索し、操作員の指示した位置に近い撮影位置
を取り出す。このとき、近いという判断は、距離が例え
ば30メートルというように予め決めておく。対象位置
検索手段15では、検索して取り出した撮影位置の全て
について、操作員が指示した点が写っているかどうかを
確認する。この確認方法としては、図14に示すよう
に、撮影位置から撮影方向に向かって予め設定した仰角
の範囲内に操作員が指示した点が入り、その距離が予め
設定した距離以内であることとする。
The target position searching means 15 searches the video database 5 and takes out a photographing position close to the position specified by the operator. At this time, the judgment that the distance is close is determined in advance so that the distance is, for example, 30 meters. The target position search means 15 confirms whether or not the points designated by the operator are captured for all of the photographing positions retrieved and retrieved. As a confirmation method, as shown in FIG. 14, the point designated by the operator falls within a range of a preset elevation angle from the photographing position toward the photographing direction, and the distance is within the preset distance. I do.

【0107】対象位置検索手段15では、操作員が指示
した点が写っている撮影位置を撮影情報にもつ映像3を
取り出し、操作員が指示した点が写っている撮影位置が
写っている映像の撮影時間の前後例えば5秒というよう
に予め設定した時間の映像再生を映像再生手段1へ依頼
する。映像再生手段1では、これに従って映像を再生
し、また、対象位置検索手段15は、操作員が指定した
指定位置が写っている撮影地点とその撮影時間の情報を
動画強調手段27へ送る。
The target position search means 15 extracts the video 3 having the shooting position at which the point specified by the operator is included in the shooting information, and retrieves the video 3 at the shooting position at which the point specified by the operator is displayed. The video reproducing unit 1 is requested to reproduce the video for a preset time, for example, 5 seconds before and after the photographing time. The video reproducing means 1 reproduces the video in accordance with this, and the target position retrieving means 15 sends to the moving image emphasizing means 27 information on the photographing point at which the designated position designated by the operator appears and the photographing time.

【0108】動画強調手段27は、指定位置が写ってい
る撮影時間に撮影された映像に指定位置を強調する表示
を行う。強調する表示とは、図28のように、その位置
が写っている部分に例えば四角い枠を表示することであ
る。強調表示を画面上のどの位置に表示するかの判断は
撮影方向と操作員が地図上で指定した指定位置の方向の
ずれである図28のaと、元々のカメラアングルの仰角
cを用いて、画面の中心から画面の半分の幅かけるa/
cだけずらした点を中心として表示する。画面の上下の
位置については、撮影情報に撮影方向の上下についての
方向の情報があり、かつ操作員が指示する指定位置の情
報に高さ情報がある場合に同様の手法を用いて算出す
る。
The moving image emphasizing means 27 performs a display for emphasizing the designated position on the video photographed during the photographing time in which the designated position is photographed. The emphasized display is to display, for example, a rectangular frame in a portion where the position is shown as shown in FIG. The position of the highlighted display to be displayed on the screen is determined by using a in FIG. 28 which is a shift between the shooting direction and the position specified by the operator on the map, and the elevation angle c of the original camera angle. Multiply half the width of the screen from the center of the screen a /
A point shifted by c is displayed as a center. The upper and lower positions of the screen are calculated using the same method when the photographing information includes information on the up and down directions of the photographing direction and the information on the designated position designated by the operator includes the height information.

【0109】以上のように、この実施の形態16によれ
ば、動画強調手段27が、操作員が地図上で指示した点
が映像のどこに写っているかの位置を計算するので、操
作員が地図上で指示した点を映像上で強調して表示する
ことができ、地図と対応付けてある映像を再生表示して
いるときに、地図上で選択した位置を映像上で強調して
表示するので、映像の中に見たい建物や標識等が写って
いるかどうかを簡単に表示できる。
As described above, according to the sixteenth embodiment, the moving image emphasizing means 27 calculates the position where the point designated by the operator on the map is located in the video, so that the operator The point specified above can be highlighted on the video, and when the video associated with the map is displayed for playback, the position selected on the map is displayed highlighted on the video. In addition, it is possible to easily display whether or not a desired building or sign is included in the video.

【0110】[0110]

【発明の効果】以上のように、この発明によれば、地図
上で対応付けてある映像を検索して再生表示する場合、
例えば道路に沿って何キロメートルも撮影した映像であ
ってもある交差点から次の交差点の範囲というように見
たい範囲の映像だけを見ることができ、不要に長い映像
を見て見たい位置の写っている映像を検索する必要はな
くなり、移動しながら撮影した映像の特定の撮影区間の
検索表示を容易に行うことができる。
As described above, according to the present invention, when a video image associated with a search on a map is searched and reproduced and displayed,
For example, even if you shoot a video for many kilometers along a road, you can see only the video in the range you want to see, such as the range from one intersection to the next, and you can see an unnecessary long video and see the position you want to see This eliminates the need to search for a video that is currently in motion, and makes it easy to search and display a specific shooting section of a video shot while moving.

【0111】また、映像を再生するときに、映像を撮影
した位置に対応した地図上の位置に映像再生画面を表示
するので、映像の再生時間が長くても、どの位置の再生
をしているかが容易にわかり、移動しながら撮影した映
像の撮影位置と撮影内容の関係を簡単にわかるように表
示することができる。
[0111] When a video is played back, the video playback screen is displayed at a position on the map corresponding to the position where the video was taken. Therefore, even if the video playback time is long, which position is being played back. Can be easily understood, and the relationship between the shooting position of the image shot while moving and the shooting content can be easily understood.

【0112】また、映像に写っている範囲が地図上に詳
しく表示できるので、ビルの横やどての近く等の撮影で
きているかどうか分かりつらい部分の映像が写っている
かどうかを映像を再生しなくても地図上で容易に知るこ
とができ、地形や建物のかげになって映像が写っている
かどうかの確認を容易に行うことができる。
Further, since the range shown in the video can be displayed in detail on the map, it is not necessary to play back the video to determine whether or not the video of the hard-to-recognize portion is being shot, such as next to the building or near the building. However, it can be easily known on the map, and it can be easily confirmed whether or not the image is reflected by the terrain or the building.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 この発明に係る映像情報表示装置の全体構成
図である。
FIG. 1 is an overall configuration diagram of a video information display device according to the present invention.

【図2】 この発明の実施の形態1に係る映像情報表示
装置の構成を示すブロック図である。
FIG. 2 is a block diagram showing a configuration of a video information display device according to Embodiment 1 of the present invention.

【図3】 映像の例と映像データベースの具体的内容の
例を示す説明図である。
FIG. 3 is an explanatory diagram showing an example of a video and an example of specific contents of a video database.

【図4】 この発明の実施の形態2に係る映像情報表示
装置の構成を示すブロック図である。
FIG. 4 is a block diagram showing a configuration of a video information display device according to Embodiment 2 of the present invention.

【図5】 この発明の実施の形態3に係る映像情報表示
装置の構成を示すブロック図である。
FIG. 5 is a block diagram showing a configuration of a video information display device according to Embodiment 3 of the present invention.

【図6】 地図表示の例を示す説明図である。FIG. 6 is an explanatory diagram showing an example of a map display.

【図7】 地図上に撮影軌跡を表示したときの表示例を
示す説明図である。
FIG. 7 is an explanatory diagram showing a display example when a shooting locus is displayed on a map.

【図8】 この発明の実施の形態4に係る映像情報表示
装置の構成を示すブロック図である。
FIG. 8 is a block diagram showing a configuration of a video information display device according to Embodiment 4 of the present invention.

【図9】 地図上に撮影情報を視覚的に表示したときの
表示例を示す説明図である。
FIG. 9 is an explanatory diagram showing a display example when photographing information is visually displayed on a map.

【図10】 この発明の実施の形態5に係る映像情報表
示装置の構成を示すブロック図である。
FIG. 10 is a block diagram showing a configuration of a video information display device according to Embodiment 5 of the present invention.

【図11】 地図上の撮影軌跡と操作員の指示位置との
距離の例を示す説明図である。
FIG. 11 is an explanatory diagram showing an example of a distance between a shooting locus on a map and an operator's designated position.

【図12】 この発明の実施の形態6に係る映像情報表
示装置の構成を示すブロック図である。
FIG. 12 is a block diagram showing a configuration of a video information display device according to Embodiment 6 of the present invention.

【図13】 この発明の実施の形態7に係る映像情報表
示装置の構成を示すブロック図である。
FIG. 13 is a block diagram showing a configuration of a video information display device according to Embodiment 7 of the present invention.

【図14】 地図上で操作員が指示した位置が映像に写
っているかどうかを撮影情報を元に判断する例を示す説
明図である。
FIG. 14 is an explanatory diagram illustrating an example in which it is determined based on shooting information whether or not a position designated by an operator on a map is captured in a video.

【図15】 この発明の実施の形態8に係る映像情報表
示装置の構成を示すブロック図である。
FIG. 15 is a block diagram showing a configuration of a video information display device according to Embodiment 8 of the present invention.

【図16】 この発明の実施の形態9に係る映像情報表
示装置の構成を示すブロック図である。
FIG. 16 is a block diagram showing a configuration of a video information display device according to Embodiment 9 of the present invention.

【図17】 地図上で操作員が指示した範囲が映像に写
っているかどうかを撮影情報を元に判断する例を示す説
明図である。
FIG. 17 is an explanatory diagram showing an example in which it is determined based on shooting information whether or not a range designated by an operator on a map is captured in a video.

【図18】 この発明の実施の形態10に係る映像情報
表示装置の構成を示すブロック図である。
FIG. 18 is a block diagram showing a configuration of a video information display device according to Embodiment 10 of the present invention.

【図19】 この発明の実施の形態11に係る映像情報
表示装置の構成を示すブロック図である。
FIG. 19 is a block diagram showing a configuration of a video information display device according to Embodiment 11 of the present invention.

【図20】 この発明の実施の形態12に係る映像情報
表示装置の構成を示すブロック図である。
FIG. 20 is a block diagram showing a configuration of a video information display device according to Embodiment 12 of the present invention.

【図21】 代表画面を撮影軌跡に沿って移動しながら
表示する表示例を示す説明図である。
FIG. 21 is an explanatory diagram illustrating a display example in which a representative screen is displayed while moving along a shooting locus.

【図22】 この発明の実施の形態13に係る映像情報
表示装置の構成を示すブロック図である。
FIG. 22 is a block diagram showing a configuration of a video information display device according to Embodiment 13 of the present invention.

【図23】 立体情報を元にした撮影範囲の説明と撮影
範囲の地図上の表示例の説明図である。
FIG. 23 is an explanatory diagram of a shooting range based on stereoscopic information and a display example of a shooting range on a map.

【図24】 この発明の実施の形態14に係る映像情報
表示装置の構成を示すブロック図である。
FIG. 24 is a block diagram showing a configuration of a video information display device according to Embodiment 14 of the present invention.

【図25】 この発明の実施の形態15に係る映像情報
表示装置の構成を示すブロック図である。
FIG. 25 is a block diagram showing a configuration of a video information display device according to Embodiment 15 of the present invention.

【図26】 画面中の位置と実際の位置の対応例を示す
説明図である。
FIG. 26 is an explanatory diagram showing an example of correspondence between positions on the screen and actual positions.

【図27】 この発明の実施の形態16に係る映像情報
表示装置の構成を示すブロック図である。
FIG. 27 is a block diagram showing a configuration of a video information display device according to Embodiment 16 of the present invention.

【図28】 映像表示における指定位置の強調例を示す
説明図である。
FIG. 28 is an explanatory diagram showing an example of emphasizing a designated position in video display.

【符号の説明】 1 映像再生手段、2 映像検索手段、3 撮影した映
像の電子ファイル、5 映像データベース、6 映像対
応付け手段、7 地図情報、8 地図情報表示手段、9
対象位置対応手段、10 軌跡表示手段、11 撮影
情報地図上表示手段、12 映像軌跡指示手段、13
映像軌跡区間指示手段、14 対象位置入力手段、15
対象位置検索手段、16 定点映像時間順表示手段、
17 対象範囲入力手段、18 対象範囲検索手段、1
9 移動軌跡入力手段、20 移動軌跡検索手段、21
代表画面表示手段、22 代表画面移動表示手段、2
3 撮影範囲表示手段、24 関連情報表示手段、25
指示位置確認手段、26 指示位置表示手段、27
動画強調手段、100 コンピュータ装置、200 マ
ウス、300 キーボード、400 ディスプレイ装
置。
[Description of Signs] 1 video playback means, 2 video search means, 3 electronic file of captured video, 5 video database, 6 video association means, 7 map information, 8 map information display means, 9
Target position correspondence means, 10 trajectory display means, 11 photographing information map display means, 12 video trajectory instruction means, 13
Image trajectory section instructing means, 14 Target position input means, 15
Target position search means, 16 fixed point video time order display means,
17 target range input means, 18 target range search means, 1
9 moving path input means, 20 moving path searching means, 21
Representative screen display means, 22 Representative screen movement display means, 2
3 shooting range display means, 24 related information display means, 25
Pointed position confirmation means, 26 Pointed position display means, 27
Moving image enhancement means, 100 computer device, 200 mouse, 300 keyboard, 400 display device.

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 11/60 300 G06T 11/60 300 5C053 G09B 29/00 G09B 29/00 A Z 29/10 29/10 A H04N 5/765 H04N 5/91 N 5/91 L (72)発明者 脇本 浩司 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 (72)発明者 田中 聡 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 Fターム(参考) 2C032 HB02 HB15 HC13 HC23 5B050 AA10 BA17 CA07 DA01 EA05 EA19 EA21 FA02 FA16 FA19 GA08 5B069 AA12 DD10 DD13 DD17 KA06 LA03 5B075 PP02 PP03 PQ02 PQ69 PR01 UU13 5C052 AC08 DD04 DD10 5C053 FA14 HA29 JA21 KA01 KA24 LA01 LA06 LA11 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06T 11/60 300 G06T 11/60 300 5C053 G09B 29/00 G09B 29/00 AZ 29/10 29/10 A H04N 5/765 H04N 5/91 N 5/91 L (72) Koji Wakimoto 2-3-2 Marunouchi, Chiyoda-ku, Tokyo Mitsui Electric Co., Ltd. (72) Satoshi Tanaka Marunouchi, Chiyoda-ku, Tokyo 2-chome 2-3-3 Mitsubishi Electric Corporation F-term (reference) 2C032 HB02 HB15 HC13 HC23 5B050 AA10 BA17 CA07 DA01 EA05 EA19 EA21 FA02 FA16 FA19 GA08 5B069 AA12 DD10 DD13 DD17 KA06 LA03 5B075 PP02 PP03 PQ02 PQ69 U01 DD04 DD10 5C053 FA14 HA29 JA21 KA01 KA24 LA01 LA06 LA11

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 撮影した映像を蓄積した記録媒体と、 上記映像の撮影位置を示す情報を上記映像と対応付けて
蓄積した映像データベースと、 上記撮影位置を含んだ地域の地図情報を表示する地図情
報表示手段と、 上記撮影位置を示す情報と上記地図情報表示手段によっ
て表示された地図上の座標点とを対応付ける対象位置対
応手段と、 上記対象位置対応手段による対応付けに基き上記撮影位
置を上記地図情報表示手段によって表示された地図上に
表示するとともに、上記映像に対応付けられた上記撮影
位置が複数存在する場合に、当該複数の撮影位置を結ん
だ線を上記地図上に表示することで上記複数の撮影位置
の移動軌跡を表示する軌跡表示手段と、 上記地図上に表示された移動軌跡の一部の区間を指示す
る映像軌跡区間指示手段と、 上記映像軌跡区間指示手段によって指示された区間に対
応する上記撮影位置の情報に基いて上記映像データベー
スを検索し、上記撮影位置を示す情報に対応する映像を
上記記憶媒体から取り出す映像検索手段と、 上記映像検索手段により取り出された映像を再生する映
像再生手段とを有することを特徴とする映像情報表示装
置。
1. A recording medium on which a captured video is stored, a video database storing information indicating a shooting location of the video in association with the video, and a map for displaying map information of an area including the shooting location. Information display means, target position correspondence means for associating information indicating the photographing position with coordinate points on the map displayed by the map information display means, and the photographing position based on the correspondence by the target position correspondence means. By displaying on the map displayed by the map information display means and, when there are a plurality of the shooting positions associated with the video, by displaying a line connecting the plurality of shooting positions on the map. Trajectory display means for displaying the trajectories of the plurality of photographing positions; video trajectory section instructing means for indicating a partial section of the trajectories displayed on the map; Video search means for searching the video database based on the information on the shooting position corresponding to the section specified by the video trajectory section specifying means, and extracting a video corresponding to the information indicating the shooting position from the storage medium, A video information display device comprising: a video playback unit that plays back the video retrieved by the video search unit.
【請求項2】 撮影した映像を蓄積した記録媒体と、 上記映像の撮影位置を示す情報を上記映像と対応付けて
蓄積した映像データベースと、 上記撮影位置を含んだ地域の地図情報を表示する地図情
報表示手段と、 上記撮影位置を示す情報と上記地図情報表示手段によっ
て表示された地図上の座標点とを対応付ける対象位置対
応手段と、 上記対象位置対応手段による対応付けに基き上記撮影位
置を上記地図情報表示手段によって表示された地図上に
表示するとともに、上記映像に対応付けられた上記撮影
位置が複数存在する場合に、当該複数の撮影位置を結ん
だ線を上記地図上に表示することで上記複数の撮影位置
の移動軌跡を表示する軌跡表示手段と、 上記複数の撮影位置を示す情報に基いて上記映像データ
ベースを検索し、上記複数の撮影位置に対応する映像を
上記記憶媒体から取り出す映像検索手段と、 上記映像検索手段によって取り出された映像を再生する
映像再生手段と、 上記映像再生手段によって再生される映像を、上記撮影
位置の変化に合わせるとともに上記移動軌跡に沿って移
動させて表示する移動表示手段とを有することを特徴と
する映像情報表示装置。
2. A recording medium for storing captured video, a video database storing information indicating a shooting position of the video in association with the video, and a map for displaying map information of an area including the shooting location. Information display means, target position correspondence means for associating information indicating the photographing position with coordinate points on the map displayed by the map information display means, and the photographing position based on the correspondence by the target position correspondence means. By displaying on the map displayed by the map information display means and, when there are a plurality of the shooting positions associated with the video, by displaying a line connecting the plurality of shooting positions on the map. Trajectory display means for displaying moving trajectories of the plurality of shooting positions; and searching the video database based on the information indicating the plurality of shooting positions, and Video retrieval means for retrieving a video corresponding to a position from the storage medium; video reproduction means for reproducing the video retrieved by the video retrieval means; and video reproduced by the video reproduction means for changing the shooting position. And a moving display means for moving and displaying the moving image along the moving locus.
【請求項3】 撮影した映像を蓄積した記録媒体と、 上記映像の撮影位置を示す情報および撮影方向を示す情
報を含む撮影情報を上記映像と対応付けて蓄積した映像
データベースと、 上記撮影位置を含んだ地域の地図情報を表示する地図情
報表示手段と、 上記撮影位置の情報と上記地図情報表示手段によって表
示された地図上の座標点とを対応付ける対象位置対応手
段と、 上記対象位置対応手段による対応付けに基き上記撮影位
置を上記地図上に表示するとともに、立体地図情報から
得た地形の高低と建物の高さのデータ、上記撮影位置を
示す情報および上記撮影方向を示す情報に基き上記撮影
位置においてどの地点まで映像に写っているかを上記地
図上に表示する撮影範囲表示手段とを備えたことを特徴
とする映像情報表示装置。
3. A recording medium storing a captured video, a video database storing shooting information including information indicating a shooting position of the video and information indicating a shooting direction in association with the video, Map information display means for displaying map information of the included area; target position correspondence means for associating the photographing position information with coordinate points on the map displayed by the map information display means; The photographing position is displayed on the map based on the association, and the data of the height of the terrain and the height of the building obtained from the three-dimensional map information, the information indicating the photographing position and the information indicating the photographing direction are used for the photographing. An image information display device, comprising: a photographing range display means for displaying on a map the position to which the image is reflected in the position.
JP2001131625A 2001-04-27 2001-04-27 Video information display device Expired - Lifetime JP3452910B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001131625A JP3452910B2 (en) 2001-04-27 2001-04-27 Video information display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001131625A JP3452910B2 (en) 2001-04-27 2001-04-27 Video information display device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP10059897A Division JPH11259502A (en) 1998-03-11 1998-03-11 Image information display device

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2002376437A Division JP4109985B2 (en) 2002-12-26 2002-12-26 Video information display device
JP2003162629A Division JP3527233B2 (en) 2003-06-06 2003-06-06 Video information display device

Publications (2)

Publication Number Publication Date
JP2002057967A true JP2002057967A (en) 2002-02-22
JP3452910B2 JP3452910B2 (en) 2003-10-06

Family

ID=18979780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001131625A Expired - Lifetime JP3452910B2 (en) 2001-04-27 2001-04-27 Video information display device

Country Status (1)

Country Link
JP (1) JP3452910B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006003969A (en) * 2004-06-15 2006-01-05 Sony Corp Content presentation method and content presentation device
JP2006050404A (en) * 2004-08-06 2006-02-16 Hitachi Kokusai Electric Inc Recorded video editing method and display method
WO2011096278A1 (en) * 2010-02-08 2011-08-11 ソニー株式会社 Image processor, image processing method, and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006003969A (en) * 2004-06-15 2006-01-05 Sony Corp Content presentation method and content presentation device
JP2006050404A (en) * 2004-08-06 2006-02-16 Hitachi Kokusai Electric Inc Recorded video editing method and display method
WO2011096278A1 (en) * 2010-02-08 2011-08-11 ソニー株式会社 Image processor, image processing method, and program
JP2011164857A (en) * 2010-02-08 2011-08-25 Sony Corp Apparatus and method for processing image and program
CN102742264A (en) * 2010-02-08 2012-10-17 索尼公司 Image processor, image processing method, and program
US9552844B2 (en) 2010-02-08 2017-01-24 Sony Corporation Image processing apparatus, image processing method and program

Also Published As

Publication number Publication date
JP3452910B2 (en) 2003-10-06

Similar Documents

Publication Publication Date Title
JPH11259502A (en) Image information display device
US10473465B2 (en) System and method for creating, storing and utilizing images of a geographical location
KR0184245B1 (en) Electronic camera and image reproducing device therefor
US5768447A (en) Method for indexing image information using a reference model
CN106170101B (en) Contents providing system, information processing equipment and content reproducing method
US7110592B2 (en) Image recording apparatus, image reproducing apparatus and methods therefor
CN103455480B (en) A kind of position search method based on electronic chart and device
US20070165968A1 (en) Image editing system and image editing program
CN101504805A (en) Electronic map having road side panoramic image tape, manufacturing thereof and interest point annotation method
US20020126913A1 (en) Image processing apparatus and method
JPH11122638A (en) Image processor, image processing method, and computer-readable information recording medium recorded with image processing program
Jensen et al. Alpha: a nonproprietary OS for large, complex, distributed real-time systems
JP2001036840A (en) Photographed image managing method, photographed image reproducing method using electronic map and device for the same
CN102142141B (en) Mobile communication terminal having image conversion function and method
JP2002057967A (en) Video information display system
JP4109985B2 (en) Video information display device
JP3450311B2 (en) Video information display device
JP3527233B2 (en) Video information display device
JP2000112342A (en) Processing method for map information
JP2013214158A (en) Display image retrieval device, display control system, display control method, and program
Guven et al. Interaction techniques for exploring historic sites through situated media
JP2004070929A (en) Image processing device and method
JP3572025B2 (en) Image reproducing apparatus, image processing apparatus and their methods

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080718

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090718

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100718

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100718

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term