JP2011053103A - Data server for transmitting map and animation, and linkage display system for animation-map - Google Patents
Data server for transmitting map and animation, and linkage display system for animation-map Download PDFInfo
- Publication number
- JP2011053103A JP2011053103A JP2009202701A JP2009202701A JP2011053103A JP 2011053103 A JP2011053103 A JP 2011053103A JP 2009202701 A JP2009202701 A JP 2009202701A JP 2009202701 A JP2009202701 A JP 2009202701A JP 2011053103 A JP2011053103 A JP 2011053103A
- Authority
- JP
- Japan
- Prior art keywords
- icon
- display
- moving image
- information
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
Abstract
Description
本発明は、動画および地図を送信するデータサーバおよび動画・地図連動表示システムに関するものである。 The present invention relates to a data server for transmitting a moving image and a map, and a moving image / map linked display system.
従来、地図データをユーザ端末に送信して表示させるデータサーバが利用されている（例えば、特許文献１参照）。例えば、Ｇｏｏｇｌｅ（登録商標）マップというサービスでは、データサーバが地図を配信し、地図を閲覧するユーザが、地図上の各地点に対し、その地点を撮影した動画へのリンクを登録することができ、データサーバは、登録されたリンクを示すマークを地図上に表示させ、そのマークをユーザが選択すると、選択されたマークのリンク先の動画が地図と共に表示させるようになっている。 Conventionally, a data server that transmits map data to a user terminal for display is used (see, for example, Patent Document 1). For example, in a service called Google (registered trademark) map, a data server distributes a map, and a user who views the map can register a link to a video where the point is photographed for each point on the map. The data server displays a mark indicating the registered link on the map, and when the user selects the mark, the link destination moving image of the selected mark is displayed together with the map.
このように、Ｇｏｏｇｌｅ（登録商標）マップでは、ユーザは地図を見て動画を登録したい地点を選び、その地点に当該動画へのリンクを追加することができる。しかし、ユーザは、動画の閲覧中に、情報を登録したい地点（施設、自然構造物等）を動画中に発見したとしても、地図でその地点を探し、探した地点にリンクを登録するという煩雑な作業を行わなければならない。 As described above, in the Google (registered trademark) map, the user can select a point where the user wants to register the moving image by looking at the map and add a link to the moving image at the point. However, even if the user finds a point (facility, natural structure, etc.) in the video to which information is to be registered while browsing the video, the user finds the point on the map and registers the link at the searched point. Must be done.
本発明は上記点に鑑み、地図および動画をユーザ端末に送信して表示させるデータサーバにおいて、ユーザが動画中で見つけた地点（施設、自然構造物等）に対して簡易に情報を登録することができるようにすることを目的とする。 In view of the above points, the present invention easily registers information for a point (facility, natural structure, etc.) found by a user in a moving image in a data server that transmits and displays a map and moving image to a user terminal. The purpose is to be able to.
上記目的を達成するための請求項１に記載の発明は、複数の表示端末（３）と通信し、その通信において地図および動画を前記表示端末（３）に送信することによって、前記複数の表示端末（３）で前記地図および前記動画を表示させるデータサーバであって、前記複数の表示端末（３）に表示させるための地図および複数の動画を記憶すると共に、前記複数の動画の１つ１つについて、当該１つの動画を撮影した撮影経路中の複数の撮影地点を撮影時刻に対応付ける動画経路情報を記憶するデータベース部（２０）と、前記データベース部（２０）に記録された前記複数の動画のそれぞれに対して、当該動画中に表示された地点を指し示すアイコンを登録するため、当該アイコンのアイコンＩＤに当該動画の動画ＩＤが関連付けられた動画−アイコンリンク情報をデータベース部（２０）に記録するアイコン登録手段（１２６、１２７）と、前記複数の動画のうち第１の動画および前記第１の動画の撮影経路を含む地図を、前記複数の表示端末（３）のうち第１の表示端末（３）に表示させると共に、前記第１の動画に登録された第１のアイコンを前記第１の動画中および前記地図中に表示させるため、前記第１の表示端末（３）に情報を送信する地図・動画送信手段（１４２、１６３、１７１）と、を備え、前記アイコン登録手段は：前記複数の表示端末（３）のうちいずれか１つの表示端末において前記複数の動画のうちいずれか１つの動画が表示されているとき、前記１つの表示端末のユーザが、前記１つの動画中において１つのアイコンを表示すべきフレームの区間（以下、アイコン表示フレーム区間という）を指定し、前記アイコン表示フレーム区間内のフレーム中における前記１つのアイコンの表示位置（以下、フレーム中アイコン表示位置という）を指定し、前記１つのアイコンの他の情報を入力したとき、前記１つの表示端末から、前記１つのアイコンについての前記アイコン表示フレーム区間の情報、前記１つのアイコンについての前記フレーム中アイコン表示位置の情報、および前記１つのアイコンについての他の情報を受信するアイコン表示区間・位置受信手段（１２６）と、前記アイコン表示区間・位置受信手段（１２６）が受信した前記１つのアイコンについての前記アイコン表示フレーム区間および前記１つのアイコンについての前記フレーム中アイコン表示位置を、前記１つの動画の動画ＩＤと前記１つのアイコンのアイコンＩＤと共に、前記１つのアイコンに対応する動画−アイコンリンク情報として前記データベース部（２０）に記録し、さらに、前記アイコン表示フレーム区間中の複数のフレームと、前記データベース部（２０）に記録されている前記１つの動画の動画経路情報中の複数の撮影時刻と、を対応付けることで、前記撮影経路のうち前記アイコン表示フレーム区間が撮影された経路を示すアイコン経路情報を算出し、算出した前記アイコン経路情報を前記１つのアイコンに対応するアイコン経路情報として前記データベース部（２０）に記録するアイコン経路情報記録手段（２１０）と、前記１つの動画中のフレームのうち２つのフレームにおける前記フレーム中アイコン表示位置を取得し、また、前記２つのフレームが撮影された撮影経路上の２つの地点を、前記１つのアイコンに対応する前記アイコン経路情報に基づいて取得し、取得した前記２つのフレームにおける前記フレーム中アイコン表示位置と、前記２つの地点と、の関係に基づいて、前記１つのアイコンについての地図上のアイコン表示地点を算出し、算出した前記アイコン表示地点をデータベース部（２０）に記録するアイコン表示地点算出手段（２２０）と、を備え、前記地図・動画送信手段（１４２、１６３、１７１）は、前記第１のアイコンを前記１つのアイコンとすることで前記アイコン表示地点算出手段（２２０）によって前記データベース部（２０）中に記録された、前記第１のアイコンについてのアイコン表示地点を前記第１の表示端末（３）に送信することで、前記地図中の前記アイコン表示地点に該当する地点に、前記第１のアイコンを表示させることを特徴とするデータサーバである。 In order to achieve the above object, the invention according to claim 1 communicates with a plurality of display terminals (3), and transmits the map and the moving image to the display terminals (3) in the communication, thereby the plurality of display terminals. A data server for displaying the map and the moving image on the terminal (3), storing a map and a plurality of moving images to be displayed on the plurality of display terminals (3), and each of the plurality of moving images. A database unit (20) for storing video path information for associating a plurality of shooting points in a shooting path for shooting the one video with a shooting time, and the plurality of videos recorded in the database unit (20). In order to register an icon indicating a point displayed in the video for each of the videos, a video in which the video ID of the video is associated with the icon ID of the icon An icon registration unit (126, 127) for recording icon link information in the database unit (20), and a map including a first moving image and a shooting route of the first moving image among the plurality of moving images. In order to display on the first display terminal (3) of the terminals (3) and to display the first icon registered in the first video in the first video and the map, the first Map / video transmission means (142, 163, 171) for transmitting information to one display terminal (3), wherein the icon registration means: displays any one of the plurality of display terminals (3) When any one of the plurality of moving images is displayed on the terminal, a user of the one display terminal can display a frame section (hereinafter referred to as a frame) in which one icon is displayed in the one moving image. , An icon display frame section), a display position of the one icon in a frame within the icon display frame section (hereinafter referred to as an icon display position in the frame), and other information of the one icon From the one display terminal, information about the icon display frame section for the one icon, information about the icon display position in the frame for the one icon, and other information about the one icon. Icon display section / position receiving means (126) for receiving information, the icon display frame section for the one icon received by the icon display section / position receiving means (126), and the frame for the one icon Move the middle icon display position to the one video Along with the ID and the icon ID of the one icon, the moving image-icon link information corresponding to the one icon is recorded in the database unit (20), and a plurality of frames in the icon display frame section, and the database Icon path information indicating a path in which the icon display frame section of the shooting path is shot by associating with a plurality of shooting times in the moving picture path information of the one moving image recorded in the unit (20) Icon path information recording means (210) that records the calculated icon path information in the database unit (20) as icon path information corresponding to the one icon, and among the frames in the one moving image The icon display position in the frame in two frames is acquired, and the two Two points on the photographing route where the frame was photographed are acquired based on the icon route information corresponding to the one icon, the icon display position in the frame in the two frames obtained, and the two points And an icon display point calculation means (220) for calculating an icon display point on the map for the one icon and recording the calculated icon display point in the database unit (20), The map / video transmission means (142, 163, 171) records the first icon as the one icon and records it in the database section (20) by the icon display point calculation means (220). By transmitting the icon display point for the first icon to the first display terminal (3), The point corresponding to the icon display point serial in the map, a data server, wherein the displaying the first icon.
このように、複数の表示端末（３）のうち任意の（すなわち、不特定な１つの、または、どれでもよい１つの）表示端末（３）のユーザが、データベース部（２０）に記録された任意の（すなわち、不特定な１つの、または、どれでもよい１つの）動画中に対してアイコンを登録し、その際、そのアイコンのアイコン表示フレーム区間およびフレーム中アイコン表示位置を指定することができ、また、データサーバが、その指定されたアイコン表示フレーム区間中の複数のフレームと、登録先の動画についてあらかじめ記録されている動画経路情報中の撮影時刻とを対応付けることで、撮影経路のうちアイコン表示フレーム区間が撮影された経路を示すアイコン経路情報を算出することができる。そして、アイコン表示フレームのうち２つのフレームにおけるフレーム中アイコン表示位置の情報と、算出した経路中でその２つのフレームが撮影された地点との関係に基づいて、地図上でアイコンを表示すべきアイコン表示地点を算出することができる。したがって、表示端末のユーザが動画中で見つけた地点（施設、自然構造物等）に対して簡易に情報を登録することができる。 In this way, a user of an arbitrary display terminal (3) among the plurality of display terminals (3) (that is, an unspecified one or any one) is recorded in the database unit (20). An icon is registered in an arbitrary (that is, one unspecified or any one) moving image, and at that time, an icon display frame section of the icon and an icon display position in the frame are designated. In addition, the data server associates a plurality of frames in the designated icon display frame section with the shooting time in the moving image route information recorded in advance for the registered moving image, so that the It is possible to calculate icon route information indicating a route in which the icon display frame section is photographed. The icon to be displayed on the map based on the relationship between the icon display position information in two frames of the icon display frame and the point where the two frames are photographed in the calculated route. A display point can be calculated. Therefore, it is possible to easily register information for a spot (facility, natural structure, etc.) found by the user of the display terminal in the moving image.
また、請求項２に記載の発明は、請求項１に記載のデータサーバにおいて、前記地図・動画送信手段（１４２、１６３、１７１）は、前記第１の表示端末に前記第１の動画および前記第１の動画の撮影経路を含む地図を表示させ、さらに、前記第１のアイコンに対応するアイコン表示地点に該当する前記地図上の地点に前記第１のアイコンを表示させると共に、前記第１の動画とは別の動画に対して登録されたアイコン（以下、他動画登録アイコンという）を前記１つのアイコンとすることで前記アイコン表示地点算出手段（２２０）によって前記データベース部（２０）中に記録された、前記他動画登録アイコンのアイコン表示地点を、前記データベース部（２０）から読み出し、読み出したアイコン表示地点に該当する前記地図上の地点に前記他動画登録アイコンを表示させることを特徴とする。
The invention according to
このようになっていることで、別々の動画に対して登録された複数のアイコンを同じ地図上にまとめて表示させることができる。 In this way, a plurality of icons registered for different moving images can be displayed together on the same map.
また、請求項３に記載の発明は、請求項１または２に記載のデータサーバにおいて、前記第１の表示端末のユーザが、アイコンを検索するためのアイコン検索操作をしたとき、前記第１の表示端末から、そのアイコン検索操作の内容の情報を受信し、受信したアイコン検索操作の内容に基づいて、前記複数の動画に登録されたアイコンのうちから１つのアイコンを抽出するアイコン検索手段（１５４）と、前記アイコン検索手段（１５４）が抽出したアイコンを前記第１のアイコンとし、前記第１のアイコンに対応する動画−アイコンリンク情報に基づいて、当該動画−アイコンリンク情報中の動画ＩＤに対応する前記第１の動画と、前記動画−アイコンリンク情報中のアイコン表示フレーム区間の始点の情報とを、前記第１の動画の再生開始フレームとして特定する再生開始フレーム決定手段（１６１）と、を備え、前記地図・動画送信手段（１４２、１６３、１７１）は、前記第１の表示端末で前記第１の動画を前記再生開始フレームから再生させるよう、前記再生開始フレームの情報を前記第１の表示端末に送信することを特徴とする。 According to a third aspect of the present invention, in the data server according to the first or second aspect, when the user of the first display terminal performs an icon search operation for searching for an icon, the first display terminal Icon search means (154) which receives information about the contents of the icon search operation from the display terminal and extracts one icon from the icons registered in the plurality of moving images based on the received icon search operation contents. ) And the icon extracted by the icon search means (154) as the first icon, based on the video-icon link information corresponding to the first icon, the video ID in the video-icon link information The corresponding first moving image and the information on the start point of the icon display frame section in the moving image-icon link information are used for the reproduction start of the first moving image. A playback start frame determining means (161) for specifying the frame as a frame, wherein the map / moving picture transmitting means (142, 163, 171) uses the first display terminal to extract the first moving picture from the playback start frame. The reproduction start frame information is transmitted to the first display terminal so as to be reproduced.
このようにすることの意義について、以下説明する。地図上に表示されたアイコンをユーザが選択したときに、そのアイコンが登録された動画の再生をそのアイコンが表示されている地点から開始できるようにすると、再生開始と共にそのアイコンを閲覧することができるので便利である。しかし、地図上のアイコン表示地点は施設が存在する場所であり、その地点を動画再生開始地点としてしまうと、見たい施設の情報をほとんど見ることができない。これを解決するために、アイコン表示地点から一定距離だけ手前からアイコンを表示するようにしてもよいが、このようにすると、アイコン毎にアイコン表示開始のタイミングを変えることができない。 The significance of doing this will be described below. When the user selects an icon displayed on the map, if the playback of the video with the icon registered can be started from the point where the icon is displayed, the icon can be viewed as soon as playback starts. It is convenient because it can. However, the icon display point on the map is a place where the facility exists, and if the point is set as the moving image reproduction start point, it is hardly possible to see the information of the desired facility. In order to solve this, an icon may be displayed from a certain distance from the icon display point. However, if this is done, the icon display start timing cannot be changed for each icon.
そこで、上記のように、動画−アイコンリンク情報において、アイコン毎にアイコンの表示開始・終了フレームを記録しておくことで、アイコン毎に表示開始フレームを設定できる。 Therefore, as described above, in the moving image-icon link information, the display start frame can be set for each icon by recording the icon display start / end frame for each icon.
また、請求項４に記載の発明は、請求項１ないし３のいずれか１つに記載のデータサーバにおいて、前記アイコン表示地点算出手段（２２０）は、請求項１ないし３のいずれか１つに記載のデータサーバにおいて、前記撮影経路中の２つの地点のうち、前記アイコン表示フレーム区間の終了時の撮影地点（５２）を基準とする前記アイコン表示地点の相対位置座標の成分のうち、前記撮影経路の移動方向に平行な成分の値ｘを、ｘ＝Ｌ×Ｒ／（Ｑ−Ｒ）という式で算出し、この際、Ｌは前記２つの地点間の前記移動距離であり、Ｒは、前記アイコン表示フレーム区間の開始時の撮影地点において撮影されたアイコン表示開始フレーム中の、左右方向の中心線（４６ａ）から前記アイコン表示開始フレームにおけるフレーム中アイコン表示位置（４６ｂ）までの距離（４６ｃ）を、当該中心線（４６ａ）から前記アイコン表示開始フレーム（４６）の左右端部までの距離（４６ｄ）で除算した値であり、Ｑは、前記アイコン表示フレーム区間の終了時の撮影地点において撮影されたアイコン表示終了フレーム中の、左右方向の中心線（４７ａ）から前記アイコン表示終了フレームにおけるフレーム中アイコン表示位置（４６ｂ）までの距離（４７ｃ）を、当該中心線（４７ａ）から前記アイコン表示終了フレーム（４７）の左右端部までの距離（４７ｄ）で除算した値であり、前記撮影経路中の２つの地点のうち、前記アイコン表示フレーム区間の終了時の撮影地点（５１）を基準とする前記アイコン表示地点の相対位置座標の成分のうち、前記撮影経路の移動方向に垂直な成分の値ｙを、前記第１の動画を撮影したカメラの画角を特定できる場合、ｙ＝［Ｌ×Ｑ×Ｒ／（Ｑ−Ｒ）］×ｔａｎαという式で算出し、この際、αは、前記画角の１／２であり、前記第１の動画を撮影したカメラの画角を特定できない場合、前記アイコン表示フレーム区間の終了時の撮影地点（５２）から前記値ｘに相当する距離だけ前記撮影経路の移動方向に沿って前方に進んだ地点（５３）から、前記撮影経路の移動方向に垂直な方向に位置する施設のうち、前記前方に進んだ地点地点（５３）に最も近い施設を、地図情報に基づいて検索し、検索の結果抽出した施設の所在位置を、前記アイコン表示地点とし、ただし、前記移動方向に垂直な方向としては、前記アイコン表示開始フレーム（４６）または前記アイコン表示終了フレーム（４７）で左右方向の中心線（４６ａ、４７ａ）に対してアイコンが表示された側のみに限定することを特徴とする。
According to a fourth aspect of the present invention, there is provided the data server according to any one of the first to third aspects, wherein the icon display point calculating means (220) is any one of the first to third aspects. In the data server described, of the two points in the shooting route, the shooting of the relative position coordinate components of the icon display point based on the shooting point (52) at the end of the icon display frame section. The value x of the component parallel to the moving direction of the route is calculated by the equation x = L × R / (Q−R), where L is the moving distance between the two points, and R is The icon display position in the frame in the icon display start frame from the center line (46a) in the left-right direction in the icon display start frame shot at the shooting point at the start of the icon
地図上のアイコン表示地点を特定する方法には、このように動画の撮影地点を元に特定する方法以外にも、フレーム中のアイコン表示位置にある画像と、地図情報中にあらかじめ用意された複数の施設の画像と、の間で画像マッチングを行う方法、ユーザによる地図中の施設の選択を受け付ける方法撮影地点を元に算出する方法などが考えられる。しかし、動画の撮影地点を元にアイコン表示地点情報を算出する方法は、画像マッチングほど処理負荷が高くなく、またアイコン表示地点を直接ユーザに入力してもらうといったユーザに対して手間をかけることのない方法である。そして、カメラ画角が分かっている場合には、その情報を利用してアイコン表示地点の算出を行い、分かっていない場合には画像と地図情報から推定することによって、多くの場合で自動でアイコン表示地点を決めることができるようになる。 In addition to the method of specifying the icon display point on the map based on the shooting point of the video as described above, the image at the icon display position in the frame and a plurality of maps prepared in advance in the map information can be used. A method of performing image matching with an image of a facility, a method of accepting selection of a facility in a map by a user, a method of calculating based on a shooting point, and the like are conceivable. However, the method of calculating the icon display point information based on the shooting point of the video is not as heavy as the image matching, and it takes time and effort for the user to directly input the icon display point. There is no way. If the angle of view of the camera is known, the icon display point is calculated using that information. If the angle of view is not known, the icon is estimated automatically from the image and map information. The display point can be determined.
また、請求項５に記載の発明は、請求項１ないし４のいずれか１つに記載のデータサーバにおいて、前記第１の表示端末において地図および地図上の複数のアイコンが表示されており、前記第１の表示端末のユーザが、前記複数のアイコンを指定する動画検索操作を行ったとき、前記第１の表示端末から、その動画検索操作の内容の情報を受信し、受信した検索操作の内容に基づいて動画を抽出する動画検索手段（１３３、１３４）を備え、前記地図・動画送信手段（１４２、１６３、１７１）は、前記動画検索手段（１３３、１３４）によって抽出された動画を前記第１の動画として前記第１の表示端末に表示させるために、前記抽出された前記第１の動画を前記第１の表示端末に送信し、前記動画検索手段（１３３、１３４）は、前記ユーザによって指定された前記複数のアイコンのいずれか１つ以上のアイコンＩＤを含む動画−アイコンリンク情報から、動画ＩＤを取得し、取得された動画ＩＤを取得回数が多い順に並べたリストを前記第１の表示端末に送信することで、前記ユーザに前記リスト中から動画を選択させることを特徴とする。
The invention according to
動画検索時になるべく多くのアイコンが登録されている動画を見たい場合が考えられる。例えば見たい経路が決まっておりその経路沿いのアイコンの情報を複数見たい場合などである。単一のアイコンを選択して映像を再生する場合、上記のようなニーズには応えられない。逆に経路を指定して映像を検索する場合、アイコンの情報が格納されていない映像も選択されてしまう可能性がある。このような場合、上記のように、動画検索時に複数の地図上のアイコンを指定して、指定したアイコンを多く含む動画を優先的に表示すればよい。このようにすることで、複数個のアイコンを元に動画を検索することができ、見たいアイコンが多く入っている好みの経路を撮影した動画を優先的に再生することができる。 You may want to watch a movie with as many icons as possible when searching for a movie. For example, there is a case where a route to be viewed is determined, and a plurality of icon information along the route is desired to be viewed. When reproducing a video by selecting a single icon, the above-mentioned needs cannot be met. On the other hand, when a video is searched by specifying a route, a video that does not store icon information may be selected. In such a case, as described above, icons on a plurality of maps may be specified at the time of moving image search, and a moving image including many specified icons may be preferentially displayed. In this way, a moving image can be searched based on a plurality of icons, and a moving image obtained by photographing a favorite route containing many icons to be viewed can be preferentially reproduced.
また、上記目的を達成するための請求項６に記載の発明は、請求項１ないし５のいずれか１つに記載のデータサーバと、前記第１の表示端末とを備えた動画・地図連動表示システムであって、前記第１の表示端末は、前記データサーバの前記地図・動画送信手段（１４２、１６３、１７１）によって送信された前記第１の動画、前記地図、および前記アイコン表示地点情報を受信する受信手段（１７２）と、前記受信手段（１７２）が受信した前記地図上の前記アイコン表示地点に基づく位置に、前記第１のアイコンを表示する地図表示手段（１７３）と、前記受信手段（１７２）が受信した前記第１の動画を再生する動画再生手段（１７４）と、を備えたことを特徴とする動画・地図連動表示システムである。このように、データサーバと第１の表示端末とを備えた動画・地図連動表示システムとしても、本発明を捉えることができる。 In order to achieve the above object, an invention according to claim 6 is a video / map interlocking display comprising the data server according to any one of claims 1 to 5 and the first display terminal. In the system, the first display terminal displays the first moving image, the map, and the icon display point information transmitted by the map / moving image transmitting means (142, 163, 171) of the data server. Receiving means (172) for receiving, map display means (173) for displaying the first icon at a position based on the icon display point on the map received by the receiving means (172), and the receiving means (172) is a moving image / map interlocking display system comprising moving image reproducing means (174) for reproducing the received first moving image. Thus, the present invention can also be understood as a moving image / map linked display system including a data server and a first display terminal.
また、請求項７に記載の発明は、請求項６に記載の動画・地図連動表示システムにおいて、前記データサーバの前記アイコン表示区間・位置受信手段（１２６）が受信する前記１つのアイコンの前記他の情報には、前記１つのアイコンの種別の情報および前記１つのアイコンの指し示す地点について説明するアイコン付加情報が含まれ、前記データサーバは更に、前記アイコン表示地点算出手段（２２０）が算出した前記１つのアイコンの前記地図上のアイコン表示地点が、前記データベース部（２０）に記録されている他のアイコンのアイコン表示地点の近傍であり、かつ、前記１つのアイコンの種別と、前記データベース部（２０）に記録されている前記他のアイコンの種別とが同じであることに基づいて、前記１つのアイコンと同一の地点を指し示しているアイコンのアイコンＩＤ（以下、前記１つのアイコンについての同一地点アイコンＩＤという）として、前記他のアイコンのアイコンＩＤをデータベース部（２０）に記録する同一地点アイコンＩＤ記録手段（２５０〜２８０）を備え、前記地図・動画送信手段（１４２、１６３、１７１）は、前記第１の動画、前記地図、および前記アイコン表示地点情報に加え、前記第１の動画についての前記同一地点アイコンＩＤおよび前記同一地点アイコンＩＤに対応するアイコンについて前記データベース部（２０）に記録されているアイコン表示地点情報およびアイコン付加情報を、前記第１の表示端末に送信し、前記第１の表示端末は、
前記受信手段（１７２）が受信した前記同一地点アイコンＩＤに対応するアイコンを、前記地図中および前記第１の動画中に表示させる対象から除外する同一地点アイコン除外手段（８０３、８０５、８１０）と、前記受信手段（１７２）が受信した前記第１のアイコンのアイコン付加情報と共に、前記受信手段（１７２）が受信した前記同一地点アイコンＩＤに対応するアイコンのアイコン付加情報を表示する付加情報表示手段（８１５〜８４０）と、を備えたことを特徴とする。
The invention described in claim 7 is the moving image / map linked display system according to claim 6, wherein the icon display section / position receiving means (126) of the data server receives the other of the one icon. The information includes information on the type of one icon and icon additional information for explaining the point indicated by the one icon, and the data server further calculates the icon display point calculation means (220). The icon display point on the map of one icon is in the vicinity of the icon display point of another icon recorded in the database unit (20), and the type of the one icon and the database unit ( 20) the same type as the one icon based on the fact that the type of the other icon recorded in 20) is the same. Same point icon ID recording means (250) for recording the icon ID of the other icon in the database unit (20) as the icon ID of the icon pointing to the point (hereinafter referred to as the same point icon ID for the one icon). 280), and the map / video transmission means (142, 163, 171) includes the same video icon for the first video in addition to the first video, the map, and the icon display point information. The icon display point information and icon additional information recorded in the database unit (20) for the icon corresponding to the ID and the same point icon ID are transmitted to the first display terminal, and the first display terminal ,
Same spot icon excluding means (803, 805, 810) for excluding the icon corresponding to the same spot icon ID received by the receiving means (172) from the object to be displayed in the map and the first moving image; The additional information display means for displaying the icon additional information of the icon corresponding to the same spot icon ID received by the receiving means (172) together with the icon additional information of the first icon received by the receiving means (172). (815 to 840).
同じ地点を指し示すアイコンが複数個重複して登録された場合、同じ地点に複数のアイコンが重なって表示されてしまい、見栄えが悪い。そこで、上記のように、新たに動画にアイコンを登録する時、同一の地点を指し示しているとみなせるアイコンのアイコンＩＤを記録しておく。そして、表示端末にあるアイコンを表示させる際には、そのアイコンと同一の地点を指し示しているとみなせる他のアイコンを表示対象から除外することで、見栄えを向上させることができる。そしてその上で、表示させたアイコンのアイコン付加情報と共に、そのアイコンと同一の地点を指し示しているとみなせる他のアイコンのアイコン付加情報も表示させることで、その地点について表示される情報の欠落を抑えることができる。 If a plurality of icons pointing to the same point are registered in duplicate, a plurality of icons are displayed overlapping each other at the same point, and the appearance is poor. Therefore, as described above, when an icon is newly registered in a moving image, the icon ID of an icon that can be regarded as pointing to the same point is recorded. And when displaying the icon in a display terminal, an appearance can be improved by removing from the display object the other icon which can be considered that it is pointing to the same point as the icon. Then, along with the icon additional information of the displayed icon, the icon additional information of other icons that can be regarded as pointing to the same point as the icon is also displayed, so that the information displayed for the point is missing. Can be suppressed.
また、請求項８に記載の発明は、請求項６に記載の動画・地図連動表示システムにおいて、前記データサーバは、 前記アイコン表示地点算出手段（２２０）が算出した前記１つのアイコンの前記地図上のアイコン表示地点が、前記データベース部（２０）に記録されている他のアイコンのアイコン表示地点の近傍であり、かつ、前記アイコン表示区間・位置受信手段（１２６）が受信した前記１つのアイコンの種別と、前記データベース部（２０）に記録されている前記他のアイコンの種別とが同じであることに基づいて、前記１つの表示端末のユーザに対して、前記１つのアイコンと前記他のアイコンとが同じ地点を指し示しているかを問い合わせ、その問い合わせに対する回答が肯定的であることに基づいて、前記１つのアイコンと同一の地点を指し示しているアイコンのアイコンＩＤとして、前記他のアイコンのアイコンＩＤをデータベース部（２０）に記録する同一地点アイコンＩＤ記録手段（２５０〜２８０）と、前記アイコン表示地点算出手段（２２０）が算出した前記１つのアイコンのアイコン表示地点の確度を設定し、設定した確度を前記１つのアイコンの前記アイコン表示地点に関連付けて前記データベース部（２０）に記録する確度設定手段（２３０）と、を備え、前記地図・動画送信手段（１４２、１６３、１７１）は、前記第１の動画、前記地図、および前記第１のアイコンのアイコン表示地点情報に加え、前記第１のアイコンの前記アイコン表示地点について設定された確度と、前記同一地点アイコンＩＤに対応するアイコンについてデータベース部（２０）に記録されているアイコン表示地点情報、アイコン付加情報、および当該アイコン表示地点の確度を、前記第１の表示端末に送信し、前記第１の表示端末は、前記受信手段（１７２）が受信した前記同一地点アイコンＩＤに対応するアイコンを、前記地図中に表示させる対象から除外する同一地点アイコン除外手段（８１０）を備え、前記第１の表示端末の前記地図表示手段（１７３）は、前記受信手段（１７２）が受信した前記第１のアイコンについてのアイコン表示地点および当該アイコン表示地点について設定された確度との組、および、前記受信手段（１７２）が受信した前記同一地点アイコンＩＤに対応するアイコンについてのアイコン表示地点および当該アイコン表示地点について設定された確度との組、を用いて、アイコン表示地点の重み付き平均を算出し、この算出の際、各確度の値には、確度が高いほど大きい重み数値を対応付け、算出した重み付き平均の地点に、前記アイコンを表示することを特徴とする。 The invention according to claim 8 is the moving image / map interlocking display system according to claim 6, wherein the data server is configured to display the one icon on the map calculated by the icon display point calculation means (220). The icon display point is in the vicinity of the icon display points of other icons recorded in the database unit (20), and the icon display section / position receiving means (126) receives the one icon. Based on the fact that the type and the type of the other icon recorded in the database unit (20) are the same, for the user of the one display terminal, the one icon and the other icon Point to the same point, and the answer to the query is positive, the same as the one icon Same icon ID recording means (250-280) for recording the icon ID of the other icon in the database part (20) as the icon ID of the icon pointing to the point, and the icon display point calculation means (220) An accuracy setting means (230) for setting the accuracy of the icon display point of the one icon calculated by the computer and recording the set accuracy in the database unit (20) in association with the icon display point of the one icon; The map / video transmission means (142, 163, 171) includes the icon display of the first icon in addition to the icon display point information of the first video, the map, and the first icon. For the accuracy set for the point and the icon corresponding to the same point icon ID, the database part ( 20), the icon display spot information, the icon additional information, and the accuracy of the icon display spot recorded in the first display terminal are transmitted to the first display terminal. The reception means (172) receives the first display terminal. The same point icon excluding means (810) for excluding the received icon corresponding to the same spot icon ID from the target to be displayed in the map is provided, and the map display means (173) of the first display terminal includes: The set of the icon display spot for the first icon received by the receiving means (172) and the accuracy set for the icon display spot, and the same spot icon ID received by the receiving means (172). Using a combination of the icon display point for the corresponding icon and the accuracy set for the icon display point, The weighted average of the display points is calculated, and in this calculation, each accuracy value is associated with a higher weight value as the accuracy is higher, and the icon is displayed at the calculated weighted average point. Features.
同一の地点を指し示すアイコンが複数登録されている場合、仮に初めに付加されたアイコン情報を用いて表示地点を決めてしまうと、後からよりよい位置精度の表示地点が算出されたとしてもそれを反映することができない。 If multiple icons pointing to the same point are registered, if the display point is determined using the icon information added at the beginning, even if a display point with better position accuracy is calculated later, It cannot be reflected.
そこで、上記のように、あるアイコンの表示地点を、そのアイコンと同じ地点を指し示すアイコンの表示地点を用いて補正する。このようにすることで、アイコンの地図上の表示地点をより正確に決定することができる。 Therefore, as described above, the display point of an icon is corrected using the display point of the icon indicating the same point as the icon. By doing in this way, the display point on the map of an icon can be determined more correctly.
また、請求項９に記載の発明は、請求項６ないし８のいずれか１つに記載の動画・地図連動表示システムにおいて、前記第１の表示端末の前記動画再生手段（１７４）は、前記受信手段（１７２）が受信した前記第１の動画を再生する際に、前記第１の動画に登録されたアイコン（以下、再生動画登録アイコン）と、前記第１の動画以外の動画に登録され、かつ、前記第１の動画の撮影経路沿いにあるアイコン（以下、他動画登録アイコンという）を取得し、取得した前記再生動画登録アイコンおよび前記他動画登録アイコンのそれぞれが前記第１の動画中のどのフレーム区間に表示されるべきかを決定する決定処理（６３７）を実行し、その後、前記第１の動画を再生し、その再生中に、前記前記再生動画登録アイコンおよび前記他動画登録アイコンを、前記動画中アイコン表示区間・位置決定処理（６３７）で決定したフレーム区間および位置に表示させ、前記決定処理（６３７）においては：取得した前記再生動画登録アイコンのそれぞれについては、当該再生動画登録アイコンの動画−アイコンリンク情報中のアイコン表示フレーム区間に従って、当該再生動画登録アイコンを前記第１の動画中のどのフレーム区間に表示されるべきかを決定し、取得した前記他動画登録アイコンのそれぞれについては、当該他動画登録アイコンの動画−アイコンリンク情報からアイコン表示フレーム区間およびフレーム中アイコン表示位置を読み出し、当該他動画登録アイコンの登録先の動画（以下、他動画という）と前記第１の動画の移動方向が同じであるか否かを、前記他動画および前記第１の動画の動画経路情報に基づいて判定し、移動方向が同じである場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間（８１ａ〜８１ｂ）に対応する撮影地点範囲（８２ａ〜８２ｂ）と、前記第１の動画において当該他動画登録アイコンを表示する表示フレーム区間（８３ａ〜８３ｂ）に対応する撮影地点範囲（８２ａ〜８２ｂ）とが同じになるよう、前記第１の動画において当該他動画登録アイコンを表示するフレームの区間（８３ａ〜８３ｂ）を決定し、移動方向が同じである場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間（８１ａ〜８１ｂ）に対応する撮影地点範囲（８２ａ〜８２ｂ）と、前記第１の動画において当該他動画登録アイコンを表示する表示フレームの区間（８３ａ〜８３ｂ）に対応する撮影地点範囲（８２ａ〜８２ｂ）とが同じになるよう、前記第１の動画において当該他動画登録アイコンを表示するフレームの区間（８３ａ〜８３ｂ）を決定し、移動方向が逆である場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間（８４ａ〜８４ｂ）に対応する撮影地点範囲（８５ａ〜８５ｂ）の終点（８５ｂ）に対して、当該撮影地点範囲（８５ａ〜８５ｂ）とは逆の方向から到達するような地点範囲（８５ｃ〜８５ｂ）が、前記第１の動画において当該他動画登録アイコンを表示するフレームの区間（８６ｃ〜８６ｂ）に対応する撮影地点範囲（８５ｃ〜８５ｂ）となるよう、前記第１の動画において当該他動画登録アイコンを表示するフレームの区間（８６ｃ〜８６ｂ）を決定することを特徴とする。 The invention described in claim 9 is the moving image / map linked display system according to any one of claims 6 to 8, wherein the moving image reproducing means (174) of the first display terminal is configured to receive the reception. When the means (172) plays back the first video received, the icon registered in the first video (hereinafter referred to as a playback video registration icon) and a video other than the first video are registered. In addition, an icon along the shooting path of the first video (hereinafter referred to as another video registration icon) is acquired, and each of the acquired playback video registration icon and the other video registration icon is included in the first video. A decision process (637) for deciding which frame section should be displayed is executed, and then the first moving image is reproduced. During the reproduction, the reproduction moving image registration icon and the other moving image registration are reproduced. An icon is displayed in the frame section and position determined in the icon display section / position determination process (637) in the moving image, and in the determination process (637): For each of the acquired reproduction moving image registration icons, the reproduction is performed. In accordance with the icon display frame section in the moving picture-icon link information of the moving picture registration icon, it is determined in which frame section in the first moving picture the reproduced moving picture registration icon should be displayed, and the acquired other moving picture registration icon For each of these, the icon display frame section and the icon display position in the frame are read out from the video-icon link information of the other video registration icon, and the registration destination video (hereinafter referred to as other video) of the other video registration icon and the first Whether the moving direction of one moving image is the same or not, When it is determined based on the moving image path information of the first moving image and the moving direction is the same, the shooting point range (82a) corresponding to the icon display frame section (81a to 81b) of the other moving image registration icon in the other moving image. -82b) and the first moving image so that the shooting point range (82a-82b) corresponding to the display frame section (83a-83b) displaying the other moving image registration icon in the first moving image is the same. If the frame section (83a to 83b) for displaying the other video registration icon is determined and the movement direction is the same, the icon display frame section (81a to 81b) of the other video registration icon in the other video is supported. The shooting point range (82a to 82b) to be displayed and the display frame section for displaying the other moving image registration icon in the first moving image. In the first moving image, a frame section (83a to 83b) for displaying the other moving image registration icon is determined so that the shooting point range (82a to 82b) corresponding to the space (83a to 83b) is the same. When the moving direction is opposite, the shooting point is set with respect to the end point (85b) of the shooting point range (85a to 85b) corresponding to the icon display frame section (84a to 84b) of the other moving image registration icon in the other moving image. A point range (85c to 85b) that reaches from a direction opposite to the range (85a to 85b) corresponds to a frame section (86c to 86b) in which the other moving image registration icon is displayed in the first moving image. A frame section (86c to 86b) in which the other moving image registration icon is displayed in the first moving image so as to be in the shooting point range (85c to 85b). And determining the.
決定処理（６３７）がこのようになっていることで、第１の動画中で表示フレーム区間が確定されていない他動画登録アイコンであっても、少なくとも表示区間と方向に基づいて、少ない処理負荷でユーザに分かりやすい情報提示が可能となる。これによって、他動画登録アイコンが表示されないことによるユーザへの不利益や、高負荷処理によるシステム動作不良を抑えることができる。 Since the determination process (637) is as described above, even if the other moving image registration icon in which the display frame section is not fixed in the first moving image is used, the processing load is small based on at least the display section and the direction. This makes it possible to present information that is easy for the user to understand. As a result, it is possible to suppress the disadvantage to the user due to the fact that the other moving image registration icon is not displayed and the system malfunction due to the high load processing.
また、請求項１０に記載の発明は、請求項６ないし９のいずれか１つに記載の動画・地図連動表示システムにおいて、 前記第１の表示端末の前記動画再生手段（１７４）は、前記第１の動画の再生中に、前記第１の動画中に複数のアイコン（９１ａ〜９１ｆ）が表示され、前記複数のアイコン（９１ａ〜９１ｆ）のうちの少なくとも１つのアイコンのアイコン情報として他の情報へのリンクが表示され、そのリンクがユーザによって選択された場合は、一旦リンク先リストに当該リンクを保持し、そして、前記第１の動画中からアイコンがなくなるまでは、アイコン情報中のリンクが選択される度にそのリンクを前記リンク先リストに追加し、前記第１の動画中からアイコンがなくなったタイミングで、前記リンク先リスト中のリンク先のコンテンツを表示して再生動画の再生を一時停止することを特徴とする。
The invention described in
動画再生中にアイコン情報にある他の情報（例えば、他動画、ないしはＷＥＢページ）へのリンクを選択し、その情報が直ちに表示される場合、一旦動画の再生を一時停止しなければリンク先のコンテンツを見ることはできない。例えば、商店街を通過する場合のように、多くのアイコンが一度に動画に表示されている場合には、表示されるリンクの数も多くなるので、リンクを選択する度に動画の再生を中断するとスムーズに動画を見ることができなくなる恐れがある。だからといって、動画終了後まで待った上でリンク先のコンテンツを表示するのでは、表示が遅すぎてどのリンク先のコンテンツを表示したのか分からなくなってしまう。従って、適切なタイミングで動画の再生を一時停止し、リンク先のコンテンツを見る機会を作る必要がある。 When a link to other information (for example, another video or WEB page) in the icon information is selected during video playback and the information is displayed immediately, if the video playback is not paused, the link destination You can't see the content. For example, when many icons are displayed on the video at the same time, such as when passing through a shopping street, the number of links displayed increases, so the video playback is interrupted each time a link is selected. Then there is a risk that you will not be able to watch the video smoothly. However, if the content of the link destination is displayed after waiting until the end of the video, the display is too slow and it is not possible to know which link destination content is displayed. Therefore, it is necessary to pause the playback of the moving image at an appropriate timing and create an opportunity to view the linked content.
そこで、上記のように、第１の動画中に複数のアイコンが表示されているときにリンクが選択された場合、アイコンがひとつも表示されていないフレーム区間になるまでリンク先のコンテンツを表示しないようにし、アイコンがひとつも表示されなくなったタイミングでリンク先のコンテンツを表示する。このように、アイコンの表示が複数表示された場合は、アイコンの表示が途切れるきりのいいタイミングで、リンク先のコンテンツを表示することにより、ユーザに優しい情報表示が可能になる。 Therefore, as described above, when a link is selected when a plurality of icons are displayed in the first video, the linked content is not displayed until the frame section in which no icons are displayed. In this way, the linked content is displayed when no icon is displayed. In this way, when a plurality of icon displays are displayed, it is possible to display information friendly to the user by displaying the linked content at a time when the icon display is interrupted.
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。 In addition, the code | symbol in the bracket | parenthesis in the said and the claim shows the correspondence of the term described in the claim, and the concrete thing etc. which illustrate the said term described in embodiment mentioned later. .
以下、本発明の一実施形態について説明する。図１に示すように、本実施形態に係る動画・地図連動表示システムは、地点情報取得機能付きの複数の動画撮影装置１、データサーバ２、および複数の表示端末３を含んでいる。
Hereinafter, an embodiment of the present invention will be described. As shown in FIG. 1, the moving image / map linked display system according to the present embodiment includes a plurality of moving image capturing devices 1 with a point information acquisition function, a
地点情報取得機能付きの動画撮影装置１のそれぞれは、自機の現在位置を特定する機能を有すると共に、自機の周囲の風景の画像を撮影して動画として記録する機能を有している。記録された動画は、現在位置を特定する機能を用いて特定されたその動画の撮影経路の情報と共に、データサーバ２に送られる。データが送られる方法は、データ通信であってもよいし、そのデータが記憶された記憶媒体を動画撮影装置１からデータサーバ２に付け替える方法であってもよい。また、動画撮影装置１は、車両に搭載されていてもよいし、歩行者に携帯されていてもよい。
Each of the moving image shooting apparatuses 1 with a point information acquisition function has a function of specifying the current position of the own device, and also has a function of shooting an image of a landscape around the own device and recording it as a moving image. The recorded moving image is sent to the
このような動画撮影装置１の例としては、ＧＰＳ（Global Positioning System）機能付きデジタルカメラ１ａ、ＧＰＳ機能付きビデオカメラ１ｂ、ＧＰＳ機能付きドライブレコーダ１ｃがある。ＧＰＳ機能とは、ＧＰＳ衛星からの信号に基づいて現在位置を特定する機能をいう。ＧＰＳ機能付きデジタルカメラ１ａおよびＧＰＳ機能付きビデオカメラ１ｂは、ユーザに携帯されて移動し、その移動の際に自機の周囲の風景を動画として撮影および記録することができる。ＧＰＳ機能付きドライブレコーダ１ｃは、車両に搭載され、車両の移動と共に移動し、その移動の際に車両の周囲の風景を動画として撮影および記録することができる。 Examples of such a moving image photographing apparatus 1 include a digital camera 1a with a GPS (Global Positioning System) function, a video camera 1b with a GPS function, and a drive recorder 1c with a GPS function. The GPS function is a function for specifying the current position based on a signal from a GPS satellite. The digital camera 1a with GPS function and the video camera 1b with GPS function are carried by the user and moved, and the surroundings of the device can be photographed and recorded as moving images during the movement. The GPS-equipped drive recorder 1c is mounted on a vehicle, moves with the movement of the vehicle, and can capture and record the scenery around the vehicle as a moving image during the movement.
データサーバ２は、動画撮影装置１から送られた動画データを蓄積し、それを地図のデータおよび付加情報のデータと共に表示端末３に送信することによって、表示端末３で地図および動画を表示させる装置である。図１に示すように、このデータサーバ２は、動画データサーバ機能、地図データサーバ機能、および付加情報データサーバ機能を有している。本実施形態においては、データサーバ２は、１台でこれら３つの機能を実現するようになっている。しかし、データサーバ２は、複数台でこれら機能を実現するようになっていてもよい。
The
表示端末３のそれぞれは、データサーバ２から受信した動画データ、地図データ、付加情報データを表示する装置である。また、表示端末３は、ユーザの操作に応じて、表示した動画に関連付けた付加情報をデータサーバ２に送信して登録するようにもなっている。このような表示端末３としては、例えば、パーソナルコンピュータ３ａ、携帯電話機３ｂ、通信機能を有するテレビ受像器３ｃ、図示しないＰＮＤ（Portable Navigation Device、携帯型ナビゲーション装置）および図示しない据置型カーナビゲーション装置等がある。
Each of the
図２に、本実施形態における動画撮影装置１、データサーバ２、表示端末３の構成を示す。この図に示すように、動画撮影装置１とデータサーバ２との間のデータ通信は、例えば、無線基地局４、無線基地局と接続する電話局５、および電話局と接続する広域ネットワーク６を介して行う。また、データサーバ２と表示端末３との間のデータ通信は、例えば広域ネットワーク６を介して行う。
In FIG. 2, the structure of the moving image imaging device 1, the
動画撮影装置１は、データ通信部１０、表示部１１、制御部１２、スイッチ情報入力部１３、位置検出部１４、動画保存部１５、動画撮影部１６を備えている。データ通信部１０は、無線基地局４、電話局５、広域ネットワーク６を介してデータサーバ２と通信を行うための周知の無線インターフェース装置である。表示部１１は、制御部１２の制御に従って各種情報を文字または画像で表示する装置である。制御部１２は、データ通信部１０、スイッチ情報入力部１３から受けた信号に応じた処理を行い、その処理において、必要に応じてデータ通信部１０、表示部１１、動画撮影部１６を制御し、位置検出部１４、動画保存部１５から情報を取得する。制御部１２としては、例えばＲＯＭ等に記録されているプログラムを実行することで各種機能を実現する周知のマイクロコンピュータを用いることができる。制御部１２の具体的な処理内容については後述する。
The moving image shooting apparatus 1 includes a
スイッチ情報入力部１３は、ユーザの入力操作を直接受け付け、受け付けた入力操作の内容に応じた信号を制御部１２に出力する。
The switch
位置検出部１４は、動画撮影装置１の現在位置を特定し、特定した現在位置の情報を制御部１２に出力する装置である。このような装置としては、例えば、ＧＰＳ受信機を用いることができる。動画保存部１５は、動画撮影部１６によって撮影された動画データを記憶する記憶媒体（例えば、磁気記憶媒体、フラッシュメモリ等）である。
The
動画撮影部１６は、制御部１２の制御に従って、自機の周囲の風景を所定のフレームレート（例えば１秒に３０フレーム）で繰り返し撮影し、繰り返し撮影された複数の撮影画像（すなわちフレーム）の集合体を、動画像として動画保存部１５に記録する。
Under the control of the
表示端末３は、入力部３０、回線端末装置３１、制御部３２、および表示部３３を有している。入力部３０は、ユーザの入力操作を直接受け付け、受け付けた入力操作の内容に応じた信号を制御部３２に出力する。入力部３０としては、例えば、キーボード、マウス、タッチパネル、リモートコントローラがある。回線端末装置３１は、広域ネットワーク６を介してデータサーバ２との通信を行うためのインターフェース回路である。表示部３３は、制御部３２の制御に従って各種情報を文字または画像で表示する装置である。
The
制御部３２は、回線端末装置３１、制御部３２から受けた信号に応じた処理を行い、その処理において、必要に応じて回線端末装置３１、表示部３３を制御する。制御部３２としては、例えばＲＯＭ等に記録されているプログラムを実行することで各種機能を実現する周知のマイクロコンピュータを用いることができる。制御部３２の具体的な処理内容については後述する。
The
データサーバ２は、データベース部２０、回線端末装置２１、制御部２２、およびを有している。回線端末装置２１は、無線基地局４、電話局５、広域ネットワーク６等を介して動画撮影装置１および表示端末３との通信を行うためのインターフェース回路である。制御部２２は、回線端末装置２１から受けた信号に応じた処理を行い、その処理において、必要に応じてデータベース部２０に対してデータの書き込みおよび読み出しを行う。制御部２２としては、例えばＲＯＭ等に記録されているプログラムを実行することで各種機能を実現する周知のマイクロコンピュータを用いることができる。
The
データベース部２０は、記憶媒体（例えば、磁気記憶媒体、フラッシュメモリ）を有し、この記憶媒体中には、動画データベース２０ａ、地図データベース２０ｂ、アイコンデータベース２０ｃ、リンクデータベース２０ｄが記録されるようになっている。
The database unit 20 includes a storage medium (for example, a magnetic storage medium, a flash memory), and a moving
図３に、各データベース２０ａ〜２０ｄに含まれる情報の一覧を示す。
FIG. 3 shows a list of information included in each of the
動画データベース２０ａには、複数個の動画情報が記録されるようになっている。個々の動画情報中では、１つの動画についての各種情報がまとめられている。具体的には、１つの動画情報中には、１つの動画についての動画ＩＤ、動画データ、撮影日時、再生時間、フォーマット、カメラ特性、投稿者情報、および動画付加情報等の情報が含まれる。
A plurality of pieces of moving picture information are recorded in the moving
動画ＩＤは、その動画を一意に識別するための識別子（例えば識別番号）である。動画データは、当該動画そのもののデータである。撮影日時は、当該動画を撮影した日時の情報である。再生時間は、当該動画の総再生時間である。フォーマットは、当該動画の圧縮フォーマット（例えば、ＭＰＥＧ２、ＭＰＥＧ４）である。カメラ特性は、当該動画の撮影に用いられたカメラの特性（具体的には画角、または画角を決定するための各種カメラ特性）である。投稿者情報は、当該動画をデータサーバ２に送った人を識別する情報（例えば氏名、アカウント名、ニックネーム等）である。
The moving image ID is an identifier (for example, an identification number) for uniquely identifying the moving image. The moving image data is data of the moving image itself. The shooting date and time is information on the date and time when the moving image was shot. The playback time is the total playback time of the moving image. The format is a compression format (for example, MPEG2, MPEG4) of the moving image. The camera characteristic is a characteristic of the camera used for shooting the moving image (specifically, an angle of view or various camera characteristics for determining the angle of view). The poster information is information (for example, name, account name, nickname, etc.) that identifies the person who sent the video to the
動画付加情報は、当該動画の内容をより詳しく説明するための情報である。この動画付加情報は、後述するように、動画撮影装置１を用いて当該動画をデータサーバ２に送信した人、または、表示端末３を用いて当該動画を閲覧した人が付加する情報である。動画付加情報としては、例えば、テキストデータ、画像データ、他の情報源（例えばデータサーバ２内の他の動画、データサーバ２以外のＷｅｂページ）へのリンク（例えばＵＲＬ（Uniform Reference Locator））を示すリンク情報、当該動画の特徴を示す文字列であるタグ、当該動画の再生回数等がある。
The moving image additional information is information for explaining the content of the moving image in more detail. As will be described later, the moving image additional information is information added by a person who transmits the moving image to the
地図データベース２０ｂには、地図情報が記録されている。地図情報は、道路の位置、接続関係、形状を示す道路情報、施設の名称、所在位置、種別を示す施設情報、各種地点の住所を示す住所情報、山、川、海等の自然構造物の位置、種別を示す構造物情報、各地点の標高を示す標高情報等が含まれる。
Map information is recorded in the
アイコンデータベース２０ｃには、複数個のアイコン情報が記録されるようになっている。アイコンとは、後述するように、地点（施設、自然構造物等）を指し示すために表示端末３のユーザによって動画中に登録され、動画中および地図中に表示される絵柄または記号の画像をいう。個々のアイコン情報中では、１つのアイコンについての各種情報がまとめられている。具体的には、１つのアイコン情報中には、１つのアイコンについてのアイコンＩＤ、登録者情報、アイコン付加情報、登録目的、種別、同一地点アイコンＩＤ等の情報が含まれる。
A plurality of pieces of icon information are recorded in the
アイコンＩＤは、当該アイコンを一意に識別するための識別子（例えば識別番号）である。登録者情報は、当該アイコンを登録したユーザを識別する情報（例えば氏名、アカウント名、ニックネーム等）である。 The icon ID is an identifier (for example, an identification number) for uniquely identifying the icon. The registrant information is information (for example, name, account name, nickname, etc.) that identifies the user who registered the icon.
アイコン付加情報は、当該アイコンの指し示す地点をより詳しく説明する情報である。このアイコン付加情報は、後述するように、表示端末３を用いて当該アイコンを登録したユーザ、または、表示端末３を用いて当該アイコンを閲覧したユーザが付加する情報である。アイコン付加情報としては、例えば、テキストデータ、画像データ、他の情報源（例えばＷｅｂサイト、動画）へのリンクを示すリンク情報、当該アイコンの特徴を示す文字列であるタグ、当該アイコンの再生回数等がある。
Icon additional information is information that explains in more detail the point indicated by the icon. As will be described later, this icon additional information is information added by the user who registered the icon using the
登録目的は、当該アイコンが登録された目的（広告する、コメントを付加する、お気に入りであることを示す情報を付加する）である。種別は、当該アイコンが指し示すもの（例えば、施設、自然構造物等）の種別（例えば、コンビニエンスストア、ホテル、飲食店、イベント会場等）である。同一地点アイコンＩＤは、当該アイコンと同一の地点を指し示しているとみなした他のアイコンのアイコンＩＤである。 The purpose of registration is the purpose for which the icon is registered (advertisement, adding a comment, adding information indicating that it is a favorite). The type is a type (for example, a convenience store, a hotel, a restaurant, an event venue, etc.) of an item (for example, a facility, a natural structure, etc.) indicated by the icon. The same spot icon ID is an icon ID of another icon that is regarded as pointing to the same spot as the icon.
リンクデータベース２０ｄは、動画、地図およびアイコン間相互の関連を示すための情報を記録するようになっている。具体的には、複数個の動画−地図リンク情報、複数個の動画−アイコンリンク情報、および、複数個の地図−アイコンリンク情報を含むようになっている。
The
動画−地図リンク情報は１つの動画につき１つ記録されており、個々の動画−地図リンク情報は、１つの動画が地図上のどの道路範囲で撮影されたかを示すための情報である。動画−アイコンリンク情報は１つのアイコンにつき１つ記録されており、個々の動画−アイコンリンク情報は、１つのアイコンがどの動画中のどの範囲に登録されたかを示すための情報である。地図−アイコンリンク情報は１つのアイコンにつき１つ記録されており、個々の地図−アイコンリンク情報は、１つのアイコンが地図上のどの地点を指し示しているかを示すための情報である。 One moving image-map link information is recorded for each moving image, and each moving image-map link information is information for indicating in which road range on the map one moving image is captured. One moving image-icon link information is recorded for each icon, and each moving image-icon link information is information for indicating in which moving image one icon is registered. One map-icon link information is recorded for each icon, and each map-icon link information is information for indicating to which point on the map one icon points.
具体的には、ある動画に対応する動画−地図リンク情報は、当該動画の動画ＩＤ、動画表示地点情報、および動画経路情報を含んでいる。動画表示地点情報は、当該動画の存在を示すマークを地図中のどの地点（または地点範囲）に配置するかを示す。動画経路情報は、当該動画を撮影した経路（以下、撮影経路という）中の複数の撮影地点（撮影開始地点、撮影終了地点、およびそれらの間の複数の中間地点）を、当該撮影地点における撮影時刻に対応付ける情報である。つまり、撮影地点とその撮影地点における撮影時刻との組を複数有する情報である。 Specifically, the moving image-map link information corresponding to a certain moving image includes the moving image ID, moving image display point information, and moving image route information of the moving image. The moving image display point information indicates at which point (or point range) in the map the mark indicating the presence of the moving image is arranged. The video route information is obtained by shooting a plurality of shooting points (shooting start point, shooting end point, and a plurality of intermediate points between them) in a route (hereinafter referred to as a shooting route) where the moving image was shot at the shooting point. This information is associated with the time. That is, the information includes a plurality of sets of shooting points and shooting times at the shooting points.
また、あるアイコンに対応する動画−アイコンリンク情報は、動画ＩＤ、当該アイコンのアイコンＩＤ、表示開始点、表示終了点の情報を含んでいる。動画ＩＤは、当該アイコンが登録された先の動画の動画ＩＤである。表示開始点は、当該動画中で当該アイコンが登録された時間範囲の始点となるフレーム（以下、アイコン表示開始フレームという）、および当該表示開始フレーム中のアイコン登録位置の位置座標（以下、表示開始フレーム中アイコン表示位置という）を含む情報である。表示終了点は、当該動画中で当該アイコンが登録された時間範囲の終点となるフレーム（以下、アイコン表示終了フレームという）、および当該アイコン表示終了フレーム中のアイコン登録位置の位置座標（以下、表示終了フレーム中アイコン表示位置という）を含む情報である。 Also, the moving image-icon link information corresponding to a certain icon includes the moving image ID, the icon ID of the icon, the display start point, and the display end point. The moving image ID is the moving image ID of the previous moving image in which the icon is registered. The display start point includes a frame that is the start point of the time range in which the icon is registered in the video (hereinafter referred to as an icon display start frame), and a position coordinate of an icon registration position in the display start frame (hereinafter, display start point). Information including the icon display position in the frame). The display end point is a frame that is the end point of the time range in which the icon is registered in the video (hereinafter referred to as an icon display end frame), and a position coordinate of the icon registration position in the icon display end frame (hereinafter referred to as a display). Information including the icon display position in the end frame).
また、あるアイコンに対応する地図−アイコンリンク情報は、当該アイコンのアイコンＩＤ、アイコン表示地点情報、アイコン経路情報、およびアイコン表示地点確度情報を含んでいる。 The map-icon link information corresponding to a certain icon includes the icon ID of the icon, icon display point information, icon route information, and icon display point accuracy information.
アイコン表示地点情報は、当該アイコンを地図中のどの位置に配置するかを示す。アイコン経路情報は、動画の撮影経路のうち、動画中においてアイコンが表示されるべき部分である。より具体的には、アイコン経路情報は、動画中の当該アイコンが登録された時間範囲において当該動画を撮影した動画撮影装置１が移動した経路（始点、終点、およびそれらの間の複数の中間地点）を示す。アイコン表示地点確度情報は、当該アイコン表示地点情報の正確度を示す情報である。 The icon display point information indicates where the icon is arranged in the map. The icon route information is a portion in the moving image shooting route where an icon should be displayed in the moving image. More specifically, the icon route information includes a route (start point, end point, and a plurality of intermediate points between them) that the moving image shooting apparatus 1 that has shot the moving image moves in the time range in which the icon in the moving image is registered. ). The icon display point accuracy information is information indicating the accuracy of the icon display point information.
次に、このような構成の動画・地図連動表示システムの作動について説明する。図４は、動画・地図連動表示システムにおいて動画撮影装置１、データサーバ２、表示端末３間でやりとりされるデータの流れを示す図である。以下、この図を適宜参照して作動の説明を行う。なお、上記の各作動において、動画撮影装置１の制御部１２、データサーバ２の制御部２２、表示端末３の制御部３２は、プログラムをＲＯＭ等から読み出して実行することで、そのような作動を実現する。
Next, the operation of the moving image / map interlocking display system having such a configuration will be described. FIG. 4 is a diagram showing a flow of data exchanged between the moving image photographing device 1, the
［１］動画登録
まず、動画を動画撮影装置１からデータサーバ２に登録する際の作動について説明する。図５は、動画の登録時における動画撮影装置１、データサーバ２、表示端末３の作動手順を示すシーケンス図である。動画登録時に動画撮影装置１からデータサーバ２に送信されるデータは、図４に示す通りである。
[1] Movie Registration First, an operation when a movie is registered from the movie shooting device 1 to the
まず動画撮影装置１は、動画撮影を行う（ステップ１０１）、この動画撮影は、動画撮影装置１の移動中にユーザがスイッチ情報入力部１３に対して撮影開始の操作を行ったときに始まり、その後ユーザがスイッチ情報入力部１３に対して撮影終了の操作を行ったときに終了する。つまり、制御部１２が、撮影開始の操作があったときに動画撮影部１６を制御して撮影を開始させ、撮影終了の操作があったときに動画撮影部１６を制御して撮影を終了させる。このようにして撮影された動画は、動画保存部１５に動画データとして記録される。
First, the moving image shooting apparatus 1 performs moving image shooting (step 101). This moving image shooting starts when the user performs an operation of starting shooting on the switch
続いて動画撮影装置１は、撮影された動画データに情報を関連付けて動画保存部１５に記録する（ステップ１０２）。動画データに関連付ける情報は、図４に示す通り、図３に示した動画情報のうち、動画データおよび動画ＩＤ以外の情報がある。 Subsequently, the moving image photographing apparatus 1 associates information with the photographed moving image data and records it in the moving image storage unit 15 (step 102). As shown in FIG. 4, the information associated with the moving image data includes information other than the moving image data and the moving image ID among the moving image information shown in FIG.
動画データに関連付ける撮影日時は、撮影開始時または終了時の日時とする。また、関連付ける再生時間は、撮影開始時刻から撮影終了時刻までの時間とする。関連付けるフォーマット、カメラ特性は、あらかじめ定められた値を用いる。また、関連付ける投稿者情報および動画付加情報は、ユーザがスイッチ情報入力部１３を用いて入力し、その入力された情報を採用してもよい。
The shooting date and time associated with the video data is the date and time at the start or end of shooting. The associated reproduction time is the time from the shooting start time to the shooting end time. Predetermined values are used for the association format and camera characteristics. Further, the poster information and the video additional information to be associated may be input by the user using the switch
さらに動画データに関連付ける情報としては、図４に示す通り、図３に示した動画−地図リンク情報のうち、動画経路情報がある。このために、動画撮影装置１の制御部１２は、動画撮影部１６が撮影を開始したタイミングから撮影を終了するタイミングまで、繰り返し（例えば定期的に１秒周期で）位置検出部１４から現在位置を取得し、取得した現在位置と現在時刻の組を、逐次動画保存部１５に記録しておく。このように記録された情報は、当該動画の撮影開始地点から撮影終了地点までの時刻情報付きの経路データとなり、このデータを、動画経路情報として当該動画に関連付ける。
Further, as information associated with the moving image data, there is moving image route information in the moving image-map link information illustrated in FIG. 3, as illustrated in FIG. For this purpose, the
続いて動画撮影装置１は、データ通信部１０を用いて、ステップ１０２で作成した情報をデータサーバ２に送信する（ステップ１０３）。
Subsequently, the moving image photographing apparatus 1 transmits the information created in
するとデータサーバ２の制御部２２は、回線端末装置２１を介してその情報を受信し（ステップ１０４）、受信した情報中の動画データ用の動画ＩＤを作成する（ステップ１０５）。この動画ＩＤについては、それまでに作成した動画ＩＤとは値が異なるようにする。
Then, the
続いて制御部２２は、当該動画に対応する動画表示地点情報を作成する（ステップ１０６）。本実施形態では、動画撮影装置１から受信した動画経路情報に基づいて、当該動画経路情報が示す経路（すなわち動画撮影時に動画撮影装置１が移動した撮影経路）のすべての範囲を動画表示地点情報とする。しかし、他の例として、当該動画経路情報の始点となる地点、終点となる地点、および、動画経路情報が示す経路（以下、単に撮影経路という）上の始点と終点の中間点のうちいずれか１つを動画表示地点情報としてもよい。
Subsequently, the
続いて、受信した動画データ、撮影日時、再生時間、フォーマット、カメラ特性、投稿者情報、および動画付加情報と、作成した動画ＩＤとの組を、１個の動画情報として動画データベース２０ａに記録する。さらに、受信した動画経路情報と、ステップ１０５で作成した動画ＩＤと、ステップ１０６で作成した動画表示地点情報との組を、１個の動画−地図リンク情報としてリンクデータベース２０ｄに記録する（ステップ１０７）。
Subsequently, the set of the received video data, shooting date / time, playback time, format, camera characteristics, poster information, video additional information, and the generated video ID is recorded in the
このようにして、動画撮影装置１で撮影された動画およびそれに対応する動画情報および動画−地図リンク情報が、データサーバ２のデータベース部２０に登録される。以上のような処理がデータサーバ２と複数の動画撮影装置１との間で繰り返されることにより、データサーバ２の地図データベース中の地図に対する１つの動画の登録が繰り返され、その結果、地図に複数の動画が登録される。なお、登録される動画の撮影経路は、重複する場合もある。
In this way, the moving image captured by the moving image capturing apparatus 1 and the corresponding moving image information and moving image-map link information are registered in the database unit 20 of the
その後、データサーバ２は必要に応じて地図画像のデータおよび動画データを表示端末３に送信し（ステップ１０８）、表示端末３では、回線端末装置３１を介して地図画像データおよび動画データを受信した制御部３２が、これら地図画像のデータおよび動画データを用いて表示部３３に地図画像および動画を表示させる。
Thereafter, the
図６に、データサーバ２から表示端末３に送信される地図および動画の例を示す。データサーバ２の制御部２２は、動画−地図リンク情報中の動画表示地点情報に基づいて、送信用の地図画像中に動画表示地点情報で示された地点が含まれるか否かを判定し、含まれる場合は、地図画像のその地点を強調した画像および当該動画表示地点情報に対応する動画の動画情報および動画−地図リンク情報を表示端末３に送信する。本実施形態の場合、動画表示地点情報で示された地点は、撮影経路の全体である。したがって、図６のように、地図画像４１中において、ある動画が撮影された撮影経路４１ａおよび別の動画が撮影された撮影経路４１ｂが、強調して表示される。
In FIG. 6, the example of the map and moving image transmitted to the
また、表示部３３に地図画像４１が表示されている状態で、表示端末３のユーザが入力部３０を用いて撮影経路４１ａを選択した場合、制御部３２はその選択した撮影経路４１ａに対応する動画情報中の動画データを再生して表示部３３に表示させる。
When the
あるいは、表示部３３に地図画像４１が表示されている状態で、表示端末３のユーザが入力部３０を用いて撮影経路４１ａを選択した場合、制御部３２はその選択した撮影経路４１ａの情報をデータサーバ２に送信し、データサーバ２の制御部２２は、その選択された撮影経路４１ａに対応する動画ＩＤを動画−地図リンク情報から読み出し、読み出した動画ＩＤを有する動画情報を動画データベース２０ａから抽出し、更にこの動画ＩＤを有する動画−地図リンク情報リンクデータベース２０ｄから読み出すようになっていてもよい。この場合制御部２２は、読み出した動画情報および動画−地図リンク情報を表示端末３に送信する。そしてこの動画情報および動画−地図リンク情報を受信した表示端末３の制御部３２は、動画情報中の動画データを再生して表示部３３に表示させる。
Alternatively, when the
なお、動画４２の再生の際、地図画像４１と動画４２とは、表示部３３の同じ画面上に同時に表示させる。そして、動画−地図リンク情報中の動画経路情報（撮影時刻と撮影地点の組を複数有する情報）に基づいて、再生の進行に同期させて地図画像４１中で撮影地点マーク４１ｃを撮影経路４１ａに沿って移動させる。この際、撮影時刻の進行量とフレームの進行量との対応関係は、フレームレートから特定できる。これによって、動画４２が現在表示しているフレーム（コマ）の画像が、撮影経路中のどの位置で撮影されたかが明確に視認できるようになる。
Note that when the moving
なお、ここで示した地図および動画の表示の作動は、概略的なものであり、詳細な作動については後述する。 Note that the operation of displaying the map and the moving image shown here is schematic, and the detailed operation will be described later.
［２］動画へのアイコン登録
次に、動画にアイコンを登録するための動画・地図連動表示システムの作動について説明する。図７は、動画にアイコンを登録する際におけるデータサーバ２、表示端末３の作動のシーケンス図である。動画へのアイコン登録時に表示端末３からデータサーバ２に送信されるデータは、図４に示す通りである。
[2] Icon Registration to Movie Next, the operation of the movie / map linked display system for registering an icon to a movie will be described. FIG. 7 is a sequence diagram of operations of the
まず、上述の通り、表示端末３の制御部３２は、データサーバ２から受信した動画情報中の動画データを再生して表示部３３に表示させる（ステップ１２１）。その再生中は、動画の各フレームが時系列に沿って順番に表示部３３に表示されることになる。
First, as described above, the
動画の再生中、ユーザは入力部３０を操作して、動画中のアイコンの表示開始点（表示開始フレーム、表示開始フレーム中アイコン表示位置）および表示終了点（表示終了フレーム、表示終了フレーム中アイコン表示位置）を指定し（図３の地図−アイコンリンク情報参照）、表示端末３は、その指定を受け付ける（ステップ１２２）。
During the reproduction of the moving image, the user operates the
表示開始点および表示終了点は、（１）動画中の特定のフレーム、および（２）そのフレーム中の特定の位置または領域、として指定される。 The display start point and the display end point are designated as (1) a specific frame in the moving image, and (2) a specific position or region in the frame.
例えば、ユーザは、図８に示すように、表示部３３において地図画像４３の表示と共に撮影経路４３ａの動画４４が表示されているとき、入力部３０に対してアイコンを登録する旨の所定の操作を行う。すると制御部３２は、動画４４中に、表示開始点の指定を促すメッセージ（「アイコン表示開始地点をクリックしてください」）を表示させ、さらに、移動可能なポインタ４４ａに重ねてアイコン４４ｂを表示させる。
For example, as shown in FIG. 8, when the moving
そしてユーザは、表示するフレーム任意に指定できるシークバー４４ｃ、停止ボタン４４ｄ、再生ボタン４４ｅを操作することで、アイコン表示開始フレームにしたいフレームを表示させる。このとき制御部３２は、地図画像４３中で、そのフレームが撮影された地点にマーク４３ｂを移動させる。そして、ユーザは、そのフレーム中で入力部３０を用いてポインタ４４ａおよびアイコン４４ｂを共に移動させ、そのフレーム中の所望の位置にポインタ４４ａおよびアイコン４４ｂが配置されたときに、所定の確定操作（例えばマウスのクリック）を行う。これによって制御部３２は、その確定操作時において表示しているフレーム、およびそのフレーム中のアイコン４４ｂの位置座標を、アイコンの表示開始点（アイコン表示開始フレームおよび表示開始フレーム中アイコン表示位置）として特定する。
The user operates a seek
続いて制御部３２は、図９に示すように、動画４４中に、表示終了点の指定を促すメッセージ（「アイコン表示終了点をクリックしてください」）を表示させ、さらに、ポインタ４４ａに重ねてアイコン４４ｂを表示させる。
Subsequently, as shown in FIG. 9, the
そしてユーザは、シークバー４４ｃ、停止ボタン４４ｄ、再生ボタン４４ｅを操作することで、アイコン表示終了フレームを表示させ、そのフレーム中で入力部３０を用いてポインタ４４ａおよびアイコン４４ｂを共に移動させ、そのフレーム中の所望の位置にポインタ４４ａおよびアイコン４４ｂが配置されたときに、所定の確定操作を行う。これによって制御部３２は、その確定操作時において表示しているフレーム、およびそのフレーム中のアイコン４４ｂの位置座標を、アイコンの表示終了点（アイコン表示終了フレームおよび表示終了フレーム中アイコン表示位置）として特定する。
The user operates the seek
なお、アイコン表示開始点、アイコン表示終了点は、いずれか一方のみユーザが登録する形式としてもよい。 Note that only one of the icon display start point and the icon display end point may be registered by the user.
例えば、アイコン表示開始点をユーザが設定し、アイコン表示終了フレームをアイコン表示開始フレームから一定時間経過後の表示フレーム、または撮影地点が一定距離移動した後の表示フレームとし、表示終了フレーム中のアイコン表示位置を画像マッチング等で求めてもよい。 For example, the icon display start point is set by the user, and the icon display end frame is set as a display frame after a certain period of time has elapsed from the icon display start frame, or a display frame after the shooting point has moved a certain distance, and the icon in the display end frame The display position may be obtained by image matching or the like.
このようにして得られたアイコン表示開始フレームからアイコン表示終了フレームまでの区間は、アイコン表示フレーム区間に相当する。また、表示開始フレーム中アイコン表示位置および表示終了フレーム中アイコン表示位置は、アイコン表示フレーム区間中の２つのフレーム（すなわちアイコン表示フレーム区間の両端のフレーム）におけるフレーム中アイコン表示位置に相当する。 The section from the icon display start frame to the icon display end frame obtained in this way corresponds to the icon display frame section. Further, the icon display position in the display start frame and the icon display position in the display end frame correspond to the icon display position in the frame in two frames in the icon display frame section (that is, the frames at both ends of the icon display frame section).
なお、後述する通り、表示端末３は、動画の再生中に、アイコンを動画に重畳させて表示する。そして、アイコンを表示するフレームの区間（すなわち、アイコン表示フレーム区間）は、上記のように特定されたアイコン表示開始フレームからアイコン表示終了フレームまでのすべての範囲である。
As will be described later, the
続いてユーザは入力部３０を用いて、当該アイコンに付加するアイコン付加情報等（図３のアイコン情報参照）を入力し、制御部３２は、そのアイコン付加情報（他の情報の一例に相当する）の入力を受け付ける（ステップ１２３）。
Subsequently, the user uses the
例えば、制御部３２は、図１０に示すような入力受付画像４５を表示部３３に表示させる。そしてユーザは、この入力受付画像４５に従って、アイコンのタイトル、アイコンの種別、リンク、コメント、関連動画の指定（リンク等）を、入力部３０を用いて入力し、入力後、確定ボタン４４ｆを選択する。
For example, the
続いて制御部３２は、ステップ１２２、１２３で受け付けた情報を元に、アイコン情報および動画−アイコンリンク情報を作成する（ステップ１２４）。
Subsequently, the
ただし、図３と図４の比較からわかる通り、アイコンデータベース２０ｃに記録されるべきアイコン情報のうち、アイコンＩＤおよび同一地点アイコンＩＤは作成しない。また、リンクデータベース２０ｄに記録されるべき動画−アイコンリンク情報のうち、アイコンＩＤは作成しない。アイコンＩＤおよび同一地点アイコンＩＤは、後述するようにデータサーバ２で作成されるからである。ただし、動画ＩＤは、現在再生している動画の動画ＩＤなので、表示端末３側で動画−アイコンリンク情報に含めてもよい。
However, as can be seen from the comparison between FIG. 3 and FIG. 4, the icon ID and the same point icon ID are not created among the icon information to be recorded in the
ここで、アイコン情報に含める登録者情報（他の情報の一例に相当する）は、あらかじめ表示端末３に記録されていてもよいし、ユーザに入力部３０から入力させることで取得してもよい。また、登録目的（他の情報の一例に相当する）についても、ユーザに入力部３０から入力させることで取得してもよい。また、動画−アイコンリンク情報に含める動画ＩＤは、現在再生している動画の動画ＩＤとする。
Here, the registrant information included in the icon information (corresponding to an example of other information) may be recorded in advance on the
続いて制御部３２は、作成したアイコン情報および動画−アイコンリンク情報を、回線端末装置３１を用いてデータサーバ２に送信する（ステップ１２５）。そしてデータサーバ２の制御部２２は、回線端末装置２１を介してそれら情報を受信する（ステップ１２６）。
Subsequently, the
アイコン情報および動画−アイコンリンク情報を受信した制御部２２は、続いてアイコン登録処理を実行する（ステップ１２７）。アイコン登録処理は、表示端末３から受信したアイコン情報および動画−アイコンリンク情報に基づいて、アイコン情報および動画−アイコンリンク情報の不足している情報を作成すると共に、地図−アイコンリンク情報を作成し、それらの情報をデータベース部２０に記録する処理である。図１１に、アイコン登録処理の詳細をフローチャートで示す。
The
この図１１に示すように、制御部２２は、まずステップ２１０で、受信したアイコン情報および動画−アイコンリンク情報に付加するためのアイコンＩＤを作成し、そのアイコンＩＤを当該アイコン情報および動画−アイコンリンク情報に付加し、それらアイコン情報および動画−アイコンリンク情報のそれぞれをアイコンデータベース２０ｃおよびリンクデータベース２０ｄに記録する。また、地図−アイコンリンク情報を作成し、作成した地図−アイコンリンク情報に当該アイコンＩＤおよびアイコン経路情報を付加した上で、リンクデータベース２０ｄに記録する。
As shown in FIG. 11, the
なお、付加するアイコン経路情報は、受信した動画−アイコンリンク情報中の表示点のフレーム（すなわちアイコン表示開始フレーム）および表示終了点のフレーム（すなわちアイコン表示終了フレーム）の情報、および、受信した動画−アイコンリンク情報と同じ動画ＩＤを有する動画−地図リンク情報中の動画経路情報（撮影時刻と撮影地点の組を複数有する情報）内の撮影時刻とを、所定のフレームレートを用いて対応付けることで算出することができる。 The icon path information to be added includes information on the frame of the display point (that is, the icon display start frame) and the frame of the display end point (that is, the icon display end frame) in the received moving image-icon link information, and the received moving image. -A video having the same video ID as the icon link information-By associating the shooting time in the moving image path information (information having a plurality of shooting time and shooting point sets) in the map link information using a predetermined frame rate Can be calculated.
すなわち、アイコン表示開始フレームが当該動画中のＮａ番目のフレームであり、アイコン表示終了フレームが当該動画中のＮｂ番目のフレームであり、当該動画の撮影開始地点における撮影時刻がＴ０［秒］である場合、Ｔａ［秒］＝Ｔ０＋（Ｎａ−１）／Ｒの時刻における撮影地点が表示開始地点となり、Ｔｂ［秒］＝Ｔ０＋（Ｎａ−１）／Ｒの時刻における撮影地点が表示終了地点となる。 That is, the icon display start frame is the Nath frame in the moving image, the icon display end frame is the Nbth frame in the moving image, and the shooting time at the shooting start point of the moving image is T0 [seconds]. In this case, the shooting point at the time Ta [seconds] = T0 + (Na-1) / R is the display start point, and the shooting point at the time Tb [seconds] = T0 + (Na-1) / R is the display end point. .
ただし、Ｒは、［フレーム／秒］の単位で表される所定のフレームレートである。そして、アイコン経路情報は、このようにして算出した表示開始地点から表示終了地点までの動画経路情報に沿った経路を表す情報となる。 Here, R is a predetermined frame rate expressed in units of [frame / second]. The icon route information is information representing a route along the moving image route information from the display start point to the display end point calculated in this way.
このようにすることで、同じ新たなアイコンＩＤを有するアイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報が、データベース部２０中に記録される。つまり、同じ新規アイコンに対応するアイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報が作成される。ただしこの時点では、アイコン情報中の同一地点アイコンＩＤの内容は空であり、当該アイコンに対応する地図−アイコンリンク情報には、アイコン表示地点情報およびアイコン表示地点確度情報が欠けている。 By doing so, icon information having the same new icon ID, moving image-icon link information, and map-icon link information are recorded in the database unit 20. That is, icon information, moving image-icon link information, and map-icon link information corresponding to the same new icon are created. However, at this time, the content of the same spot icon ID in the icon information is empty, and the map display / icon link information corresponding to the icon lacks icon display spot information and icon display spot accuracy information.
制御部２２は、続くステップ２２０のアイコン表示地点仮決定処理で、アイコン表示地点情報を作成して地図−アイコンリンク情報に付加し、さらに続くステップ２３０のアイコン表示地点確度設定処理で、アイコン表示地点確度情報を作成して地図−アイコンリンク情報に付加する。そして続くステップ２４０〜２８０で、必要に応じてアイコン情報中に同一地点アイコンＩＤを付加する。
The
図１２に、アイコン表示地点仮決定処理の詳細をフローチャートで示す。アイコン表示地点仮決定処理で作成するアイコン表示地点情報は、動画に登録されたアイコンを地図上にも表示する際に、どの地点に表示するかを決定するための情報である。登録されるアイコンは、特定の地点（例えば施設の所在地点）を指し示すものであるから、地図上の当該特定の地点にアイコンを表示することが望ましい。本実施形態では、図１３、図１４に示すように、動画４６の撮影の進行に伴って動画撮影装置１が移動することにより、動画４６中で撮影後にアイコンで指し示したい地点４６ｂの位置が変化することを利用して、アイコン表示地点情報を作成する。
FIG. 12 is a flowchart showing details of the icon display point temporary determination process. The icon display point information created by the icon display point provisional determination process is information for determining at which point the icon registered in the moving image is to be displayed on the map. Since the registered icon indicates a specific point (for example, the location point of the facility), it is desirable to display the icon at the specific point on the map. In the present embodiment, as shown in FIGS. 13 and 14, the moving image shooting apparatus 1 moves as the moving
このアイコン表示位置仮決定処理において制御部２２は、まずステップ２２１で、この新規アイコンの表示開始時および終了時における動画撮影装置１の撮影地点の情報を取得する。具体的には、当該新規アイコンに対応する地図−アイコンリンク情報中のアイコン経路情報を利用して取得する。つまり、アイコン経路情報の始点の地点を、アイコン表示開始時における撮影地点として特定し、アイコン経路情報の終点の地点を、アイコン表示終了時における撮影地点として特定する。
In the temporary icon display position determination process, the
続いてステップ２２２では、アイコン表示開始時および表示終了時における動画の撮影方向を取得する。ここでいう撮影方向とは、道路に沿った２つの互いに逆な方向（往路方向、復路方向）のどちらであるかを示せる情報であってもよいし、方位を示す情報であってもよい。この撮影方向は、動画−地図リンク情報中の動画経路情報に基づいて、アイコン表示開始時の撮影地点からアイコン表示終了時の撮影地点までの方向として、特定することができる。
Subsequently, in
続いてステップ２２３では、アイコン表示開始時および表示終了時における、動画のフレーム内でのアイコンの表示位置を座標値で特定する。具体的には、図１３の例においては、アイコン表示開始フレーム４６中の左右方向の中心線４６ａからアイコン４６ｂの表示位置（表示開始フレーム中アイコン表示位置）までの左右方向への変位量４６ｃ、および、アイコン表示開始フレーム４６中のアイコン４６ｂの上下方向の位置を、座標値として算出する。そして、アイコン表示終了フレーム４７中の左右方向の中心線４７ａからアイコン４６ｂの表示位置（表示終了フレーム中アイコン表示位置）までの左右方向への変位量４７ｃ、および、アイコン表示終了フレーム４７中のアイコン４６ｂの上下方向の位置を、座標値として算出する。これら表示位置座標は、動画−アイコンリンク情報の表示開始フレーム中アイコン位置および表示終了フレーム中アイコン位置の情報から特定することができる。
Subsequently, in
続いてステップ２２４では、アイコン表示開始時から表示終了時までの撮影地点の移動距離Ｌを算出する。この移動距離Ｌは、地図−アイコンリンク情報中のアイコン経路情報に基づいて、アイコン表示開始時の撮影地点からアイコン表示終了時の撮影地点までの直線距離（または撮影経路に沿った距離）として、算出することができる。
Subsequently, in
続いてステップ２２５では、図１４に示すｘの値、すなわち、地図上におけるアイコン表示終了時の撮影地点５２を基準とするアイコン表示地点５０の相対位置座標の成分のうち、撮影経路の移動方向に平行な成分の値を算出する。ここで移動方向とは、アイコン表示開始時の撮影地点５１からアイコン表示終了時の撮影地点５２までの方向である。
Subsequently, in
この値ｘは、ｘ＝Ｌ×Ｒ／（Ｑ−Ｒ）という式で算出することができる。ここで、Ｌは、ステップ２２４で算出した移動距離である。またＱは、図１４におけるｐ／ｑの値であり、Ｒは、図１４におけるｐ／ｒの値である。図１４中の角度αは、動画撮影装置１の動画撮影部１６の左右方向のカメラ画角の１／２である。したがって、ｒは、アイコン表示開始時の撮影地点５１から距離（ｘ＋Ｌ）前方における撮影可能な横方向範囲の１／２であり、ｑは、撮影地点５２から距離ｘ前方における撮影可能な横方向範囲の１／２である。なお、ここでいう横方向は、アイコン表示開始時の撮影地点５１からアイコン表示終了時の撮影地点５２までの方向に垂直な方向をいう。
This value x can be calculated by the equation x = L × R / (Q−R). Here, L is the movement distance calculated in
したがって、Ｒ（＝ｐ／ｒ）の値は、撮影地点５１において撮影されたフレーム４６（図１３（ａ）参照）中の、中心線４６ａからアイコン表示位置４６ｂまでの距離４６ｃを、当該中心線４６ａからフレームの左右端部までの距離４６ｄで除算した値である。また、Ｑ（＝ｐ／ｑ）は、撮影地点５２において撮影されたフレーム４６（図１３（ｂ）参照）中の、中心線４６ａからアイコン表示位置４６ｂまでの距離４６ｃを、当該中心線４６ａからフレームの左右端部までの距離４６ｄで除算した値である。したがって、これらＲ、Ｑの値は、ステップ２２３で取得したアイコンの表示位置座標から特定することができる。
Therefore, the value of R (= p / r) is the
続いてステップ２２６では、当該新規アイコンの登録先の動画を撮影した動画撮影部１６について、カメラ特性がわかっているか否かを判定する。具体的には、当該動画の動画情報を動画データベース２０ａから読み出し、その中のカメラ特性の情報中に、カメラの画角２αを特定できるデータ（例えば画角２αそのもの）が含まれているか否かを判定する。
Subsequently, in
カメラ特性がわかっていると判定した場合、続いてステップ２２７で、当該カメラ特性の情報に基づいてカメラの画角を算出し、その算出結果を用いて、図１４に示すｙの値、すなわち、地図上におけるアイコン表示終了時の撮影地点５１を基準としたときの、アイコン表示地点５０の移動方向に直交する成分の値を算出する。この値ｙは、ｙ＝［Ｌ×Ｑ×Ｒ／（Ｑ−Ｒ）］×ｔａｎαという式で算出することができる。
If it is determined that the camera characteristics are known, then in
カメラ特性がわかっていないと判定した場合、続いてステップ２２８では、ステップ２２５で算出した値ｘと地図データベース２０ｂ中の地図情報に基づいて、値ｙを推定する。
If it is determined that the camera characteristics are not known, then in
具体的には、地図情報中の施設を検索する。検索する施設は、アイコン表示終了時の撮影地点５２から値ｘに相当する距離だけ撮影経路の移動方向に沿って前方に進んだ地点５３（図１４参照）から、撮影経路の移動方向（撮影地点５１から撮影地点５２までの方向）に垂直な方向に位置する施設のうち、地点５３に最も近い施設を検索する。ただし、移動方向に垂直な方向としては、地点５１または５２で撮影したフレーム４６、４７中で中心線４６ａ、４７ａに対してアイコンが表示された側のみに限定する。つまり、地点５１または５２で撮影したフレーム中でアイコンが中央より右に位置している場合は、移動方向に垂直な（移動方向を前方としたときの右折方向）右折方向に限定し、当該アイコンが中央より左に位置している場合は、移動方向に垂直な左折方向（移動方向を前方としたときの左折方向）に限定する。そして、検索の結果抽出した施設の所在地点を、アイコン表示地点とする。そして、値ｙは、そのアイコン表示地点の地点を示す値とする。
Specifically, the facility in the map information is searched. The facility to be searched is the moving direction of the shooting route (shooting point) from the point 53 (see FIG. 14) that travels forward along the moving direction of the shooting route by a distance corresponding to the value x from the
ステップ２２７またはステップ２２８に続いては、ステップ２２９で、地図上の算出した値ｘ、ｙの地点５０を、アイコン表示地点情報として、当該新規アイコンに対応する地図−アイコンリンク情報に付加する。本実施形態においては、このアイコン表示地点情報に記録した地点は、後述するように、当該アイコンを表示する地点を決めるための仮の表示地点である。しかし、他の例として、この仮の表示地点を実際の表示地点としてもよい。
Following
このように、アイコンを登録する任意の（すなわち、不特定な１つの、または、どれでもよい１つの）表示端末３のユーザが当該アイコンの登録先の任意の（すなわち、不特定な１つの、または、どれでもよい１つの）動画中のアイコン表示フレーム区間（アイコン表示開始フレームからアイコン表示終了フレームまでの区間）およびフレーム中アイコン表示位置（表示開始フレーム中アイコン表示位置、表示終了フレーム中アイコン表示位置）を指定することができ、また、データサーバ２が、その指定されたアイコン表示フレーム区間と、当該動画についてあらかじめ記録されている動画経路情報中の撮影時刻とを対応付けることで、撮影経路のうちアイコン表示フレーム区間が撮影された経路を示すアイコン経路情報を算出することができる。そして、当該動画のフレームのうち撮影経路中の２つの地点で撮影されたフレーム（アイコン表示開始フレームおよびアイコン表示終了フレーム）におけるフレーム中アイコン表示位置の情報と、アイコン経路情報から得られる当該２つの地点間の移動距離と、の関係に基づいて、当該アイコンが指し示す地点の地図上の位置、すなわち、地図上でアイコンを表示すべきアイコン表示地点を算出することができる。したがって、表示端末３のユーザが動画中で見つけた地点（施設、自然構造物等）に対して簡易に情報を登録することができる。
As described above, the user of any
ステップ２２０に続いてステップ２３０（図１１参照）では、アイコン表示地点確度設定処理を実行する。このアイコン表示地点確度設定処理では、ステップ２２０で算出したアイコン表示地点の正確度を決定する処理である。図１５に、このアイコン表示地点確度設定処理のフローチャートを示す。
Subsequent to step 220, in step 230 (see FIG. 11), icon display point accuracy setting processing is executed. This icon display point accuracy setting process is a process of determining the accuracy of the icon display point calculated in
この処理において制御部２２は、まずステップ２３２で、図１２のステップ２２６と同じ方法でカメラ特性が分かっているか否かを判定し、分かっていれば続いてステップ２３４でアイコン表示地点確度情報の値を“高”に設定し、算出したアイコン表示地点に関連付けたアイコン表示地点確度情報として、地図−アイコンリンク情報に記録する。また、分かっていなければ続いてステップ２３６でアイコン表示地点確度情報の値を“低”に設定し、算出したアイコン表示地点に関連付けたアイコン表示地点確度情報として、地図−アイコンリンク情報に記録する。ステップ２３４または２３６の後、アイコン表示地点確度設定処理を終了する。
In this process, the
地図上のアイコン表示地点を特定する方法には、上記のように動画の撮影地点を元に特定する方法以外にも、フレーム中のアイコン表示位置にある画像と、地図情報中にあらかじめ用意された複数の施設の画像と、の間で画像マッチングを行う方法、ユーザによる地図中の施設の選択を受け付ける方法撮影地点を元に算出する方法などが考えられる。画像マッチングによる方法は、特開２００３−３３７９４７や特開２００８−１５９０３１等にて検討されているので類似の方法を用いれば実現可能である。ユーザによる地図中の施設の選択を受け付ける場合、地図に表示されている該当施設ないしは該当地点を直接選択してもらうことで実現できる。 In addition to the method of specifying the icon display point on the map based on the shooting point of the video as described above, the image at the icon display position in the frame and the map information are prepared in advance. A method of performing image matching between images of a plurality of facilities, a method of accepting selection of a facility on a map by a user, a method of calculating based on a shooting point, and the like can be considered. A method based on image matching has been studied in Japanese Patent Laid-Open No. 2003-337947, Japanese Patent Laid-Open No. 2008-159031, and the like, and can be realized by using a similar method. When the user selects a facility on the map, it can be realized by directly selecting the corresponding facility or the corresponding point displayed on the map.
動画の撮影地点を元にアイコン表示地点情報を算出する方法は、画像マッチングほど処理負荷が高くなく、またアイコン表示地点を直接ユーザに入力してもらうといったユーザに対して手間をかけることのない方法である。 The method for calculating the icon display point information based on the shooting point of the video is not so high in processing load as image matching, and does not require the user to input the icon display point directly. It is.
そして、カメラ特性が分かっている場合には、その情報を利用してアイコン表示地点の算出を行い、特性が分かっていない場合には画像と地図情報から推定することによって、多くの場合で自動でアイコン表示地点を決めることができるようになる。その際、特性が分かっていれば地点情報の確度を高くし、分からない場合には低くすることによって地点情報の補正の度合いを変えることができる。 If the camera characteristics are known, the information is used to calculate the icon display point. If the characteristics are not known, it is automatically estimated in many cases by estimating from the image and map information. The icon display point can be determined. At that time, if the characteristics are known, the accuracy of the point information can be increased, and if not known, the accuracy of the point information can be changed by decreasing the accuracy.
ステップ２３０に続いては、ステップ２４０で、仮の地点として決定したアイコン表示地点の近傍に同じ種別のアイコンが登録されているか否かを判定する。具体的には、リンクデータベース２０ｄ中の複数の地図−アイコンリンク情報から、今回新たに登録される新規アイコンとアイコン表示地点情報が近い（例えば１０メートル等の所定距離以内にある）地図−アイコンリンク情報を抽出する。抽出の母集団となる地図−アイコンリンク情報は、アイコンデータベース２０ｃ中のすべての地図−アイコンリンク情報であり、今回の新規アイコンと同じ動画に登録されたか否かは問わない。そして、抽出した地図−アイコンリンク情報中の各アイコンＩＤに対応する種別を、アイコンデータベース２０ｃ中で当該アイコンＩＤを有するアイコン情報から取得する。そして、それら取得した種別のうち、今回の新規アイコンと同じ種別のアイコンＩＤを最終的に抽出する。
Following
続いてステップ２５０では、近傍に同種別のアイコンが存在するか否かを、ステップ２５０で最終的に抽出されたアイコンが１つ以上あるか否かで判定する。近傍に同種別のアイコン（他のアイコンの一例に相当する）が存在する場合、同一地点アイコンＩＤを追加するために続いてステップ２６０を実行し、近傍に同種別のアイコンが存在しない場合、同一地点アイコンＩＤを追加する必要がないので、アイコン登録処理を終了する。
Subsequently, in
ステップ２６０では、抽出したアイコンが、今回の新規アイコンと同一の地点（同一の施設または同一の自然構造物）を指し示しているとみなすか否かを、今回の新規アイコンの登録者であるユーザに問い合わせる。具体的には、抽出したアイコンＩＤのアイコン情報を読み出し、読み出したアイコン情報を問い合わせ信号に含め、今回の新規アイコンの登録元の表示端末３に、この問い合わせ信号を送信する。
In
この問い合わせ信号を受信した表示端末３の制御部３２は、問い合わせ信号中のアイコン情報を表示部３３に表示させ、登録した新規アイコンと同一の地点にあるか否かを問い合わせる。ユーザがこれに応じて入力部３０を用いて返答（同一の地点にあるか否か）を入力すると、制御部３２は、その返答をデータサーバ２に送信する（図７のステップ１２８）。
The
この返答を受信したデータサーバ２の制御部２２は、ステップ２７０で、返答の内容に基づいて、ユーザが同一地点にあるとみなしたか否かを判定し、みなしていると判定した場合、続いてステップ２８０に進み、みなしていないと判定した場合、同一地点アイコンＩＤを追加する必要がないので、アイコン登録処理を終了する。
The
ステップ２８０では、最終的に抽出したアイコンＩＤのすべてを、同一地点アイコンＩＤとして、今回の新規アイコンのアイコン情報に付加する。それと共に、今回の新規アイコンのアイコンＩＤを、同一地点アイコンＩＤとして、最終的に抽出したアイコンＩＤに対応するアイコン情報のそれぞれに付加する。このようにすることで、同一地点を指し示しているとみなせるアイコンのグループにおいて、各アイコンのアイコン情報は、グループ中の他のアイコンのアイコンＩＤを同一地点アイコンＩＤとして有するようになる。同一地点を指し示しているとみなせるアイコンのグループのうち、すべてが互いに異なる動画に登録されている場合もあれば、一部または全部が同じ動画に登録されている場合もある。ステップ２８０の後、アイコン登録処理を終了する。
In
また、以上のような処理が、登録したいアイコンの数だけ繰り返されることにより、上記動画に対するアイコンの登録または上記動画とは別の動画に対するアイコン（他動画登録アイコンに相当する）の登録が繰り返され、その結果、上記動画および上記動画とは別の複数の動画のそれぞれに１つまたは複数のアイコンが登録される。そして、上記と同様の作動で各アイコンに対応するアイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報が、データベース部２０に記録される。 In addition, by repeating the above-described process as many times as the number of icons to be registered, the registration of the icon for the video or the registration of an icon (corresponding to another video registration icon) for a video different from the video is repeated. As a result, one or more icons are registered in each of the moving image and a plurality of moving images different from the moving image. Then, icon information corresponding to each icon, moving image-icon link information, and map-icon link information is recorded in the database unit 20 by the same operation as described above.
そして、新たに動画にアイコンが登録されたとき、登録したい地点近傍に既に他の動画で登録されている他のアイコンがないか検索し、あれば同一地点（同一施設または同一自然構造物）であるかどうかをユーザに尋ね、同一であった場合は、既存のアイコンと同一地点を指し示している（同一地点である）という情報（つまり、同一地点アイコン情報）を当該新規アイコンのアイコン情報に付加する。 Then, when an icon is newly registered in the video, a search is made for other icons already registered in other videos in the vicinity of the point to be registered, and if there is, the same point (same facility or same natural structure) is found. If it is the same, the information indicating that it is the same point as the existing icon (that is, the same point) is added to the icon information of the new icon. To do.
なお、動画中にアイコンが登録され、その動画を表示端末３が再生する場合、表示端末３の表示部３３における表示は図１６に例示するようなものになる。すなわち、表示部３３は、地図画像６１を表示し、その地図画像６１中には、撮影経路６１ｘで撮影された１つの動画に登録されたアイコン６１ａ〜６１ｄが重畳表示されている。また、別の撮影経路６１ｙで撮影された別の動画に登録されたアイコン６１ｆ、６１ｇも、アイコン６１ａ〜６１ｄと共に同じ地図画像６１中に重畳表示されている。このようになっていることで、別々の動画に対して登録された複数のアイコンを同じ地図上にまとめて表示させることができる。これら地図画像６１中の各アイコン６１ａ〜６１ｄ、６１ｆ、６１ｇの表示位置は、後述するように、それぞれのアイコン表示地点情報およびアイコン表示地点確度情報に基づいて決められている。
In addition, when an icon is registered in a moving image and the
そして、表示部３３には、地図画像６１と同時に撮影経路６１ｘを撮影した動画６２も表示されている。そして、当該動画６２中で、撮影地点がアイコン６１ａの手前となっているフレームでは、アイコン６１ａが当該フレームにも重畳される。さらに動画６２中にアイコン６２ａが表示されている間、表示部３３には、そのアイコン６２ａに対応するアイコン情報（アイコン付加情報、登録者情報、登録目的、種別等）が、地図画像６１および動画６２と同時に表示される。このような地図、動画、アイコン、アイコン情報の表示のための処理の詳細については、後述する。
The
［３］動画検索
次に、動画検索について説明する。データサーバ２において複数の動画およびアイコンが登録されている状態で、ある表示端末３（第１の表示端末に相当する）のユーザは、所望の動画をデータサーバ２に検索させることができる。図１７に、動画を検索するためのデータサーバ２および表示端末３の作動の一例をシーケンス図で表す。
[3] Video Search Next, video search will be described. In a state where a plurality of moving images and icons are registered in the
まず表示端末３の制御部３２は、入力部３０に対するユーザの動画検索操作を受け付け（ステップ１３１）、続いて受け付けた動画検索操作の内容を示す情報をデータサーバ２に送信する（ステップ１３２）。データサーバ２の制御部２２は、この動画検索操作の内容の情報を受信し（ステップ１３３）、受信した情報に応じた方法で動画検索処理を行う（ステップ１３４）。動画検索処理では、動画データベース２０ａから動画検索操作の内容に適合する動画を抽出する。
First, the
抽出できた動画が１つである場合、そのまま抽出した動画（第１の動画の一例に相当する）を表示端末３で表示させるために必要な情報（動画情報、地図情報、アイコン情報、動画−地図リンク情報、動画−アイコンリンク情報、地図−アイコンリンク情報等）をデータベース部２０から取得し（ステップ１４１）、取得した情報をリクエスト元の表示端末３に送信し（ステップ１４２）、表示端末３の制御部３２はこの情報中の動画を受信し、表示部３３に表示および再生させる（ステップ１４３）。
When the number of videos that can be extracted is one, information (video information, map information, icon information, video-necessary for displaying the extracted video (corresponding to an example of the first video) on the
動画検索処理で抽出できた動画が複数個ある場合、抽出した動画のリストおよび動画付加情報等を検索結果として表示端末３に送信する（ステップ１３５）。表示端末３の制御部３２はこの検索結果を受信し（ステップ１３６）、受信した検索結果を表示部３３に表示させる（ステップ１３７）。そして表示端末３のユーザが入力部３０を用いて表示された動画のリストのうちから１つの動画を選択すると（ステップ１３８）、制御部３２はその選択された動画（第１の動画の一例に相当する）を指定する情報をデータサーバ２に送信する（ステップ１３９）。
When there are a plurality of moving images that can be extracted by the moving image search process, the extracted moving image list, moving image additional information, and the like are transmitted as search results to the display terminal 3 (step 135). The
データサーバ２はこの動画を指定する情報を受信し（ステップ１４０）、その後、この指定された動画の表示に必要な情報をデータベース部２０から取得して（ステップ１４１）表示端末３に送信する（ステップ１４２）。
The
ここで、ステップ１３４の動画検索処理について詳細に説明する。図１８に、動画検索処理のフローチャートを示す。動画検索処理においては、表示端末３から受信した動画検索操作の内容の情報に基づいて検索モードを決定する（ステップ３０３）。検索モードとしては、“タグ、キーワード、ランキング検索モード”、“地図から検索モード”、“リンクから検索モード”、“複数アイコンによる検索モード”がある。
Here, the moving image search process in
“タグ、キーワード、ランキング検索モード”は、動画情報中のタグの文字列の検索、動画情報中の各種文字列の検索、あるいは、動画情報中の再生回数の最上位の複数件（例えば上位５件）の検索のうちいずれか１つを実行する検索モードである。 “Tag, keyword, ranking search mode” is a search for a character string of a tag in video information, a search for various character strings in video information, or a plurality of the highest number of playback times in video information (for example, the top five) This is a search mode in which any one search is executed.
表示端末３のユーザが、動画検索操作において、「特定のタグ」、「特定のキーワード」、「再生ランキングで選択する旨」のうちいずれかを指定した場合、検索モードが“タグ、キーワード、ランキング検索モード”となる。
When the user of the
“タグ、キーワード、ランキング検索モード”である場合（ステップ３０５→ＹＥＳ）、制御部２２は続いて、ユーザの動画検索操作に応じた検索を行う（ステップ３１０）。つまり、動画検索操作で特定のタグが指定された場合、その特定のタグを動画付加情報のタグとして含む動画を抽出し、動画検索操作で特定のキーワードが指定された場合、その特定のキーワードを動画付加情報または投稿者情報に含む動画を抽出し、動画検索操作で再生ランキングで選択する旨が指定された場合、すべての動画のうち、動画付加情報中の再生回数が最も高い所定の複数個を抽出する。なお、各動画付加情報中の再生回数の値は、対応する動画の登録時にはゼロに設定され、対応する動画を再生のために表示端末３に１回送信したときに、１回分増加させるようになっている。
In the case of “tag, keyword, ranking search mode” (step 305 → YES), the
“地図から検索モード”は、ユーザが動画検索操作として、表示端末３の表示部３３に強調されて表示されている地図中の撮影経路（例えば、図６の経路４１ａ、４１ｂ）のうち１つを指定した場合の検索モードである。
“Search from map mode” is one of shooting routes (for example,
“地図から検索モード”である場合（ステップ３２５→ＹＥＳ）、制御部２２は続いて、指定された地図上の撮影経路を動画経路情報として有している動画−地図リンク情報をリンクデータベース２０ｄから抽出し、抽出した動画−地図リンク情報に対応する動画を抽出する（ステップ３３０）。
In the case of the “search from map mode” (step 325 → YES), the
“リンクから検索モード”は、ユーザが動画検索操作として、表示端末３の入力部３０にリンク（Ｗｅｂページまたは他の動画へのリンク）として指定されている動画のうち１つを指定した場合の検索モードである。“リンクから検索モード”である場合（ステップ３３５→ＹＥＳ）、制御部２２は続いて、指定されたリンク先の動画を抽出する（ステップ３４０）。
“Search from link mode” is a case where the user specifies one of the videos specified as a link (link to a Web page or another video) in the
“複数アイコンによる検索モード”は、表示端末３の表示部３３に表示されている地図中のアイコン（例えば、図１６のアイコン６１ａ〜６１ｆ）のうち複数を指定した場合の検索モードである。
The “search mode using a plurality of icons” is a search mode when a plurality of icons (for example,
このようなタイプの検索モードは、以下のような目的で設けられている。動画検索時になるべく多くのアイコンが登録されている動画を見たい場合が考えられる。例えば見たい経路が決まっておりその経路沿いのアイコンの情報を複数見たい場合などである。単一のアイコンを選択して映像を再生する場合、上記のようなニーズには応えられない。逆に経路を指定して映像を検索する場合、アイコンの情報が格納されていない映像も選択されてしまう可能性がある。このような場合、動画検索時に複数の地図上のアイコンを指定して、指定したアイコン（またはそれと同じものを指し示す別のアイコン）がより多く登録された動画を優先的に表示すればよい。このようにすることで、複数個のアイコンを元に動画を検索することができ、見たいアイコンが多く登録されている好みの経路を撮影した動画を優先的に再生することができる。 This type of search mode is provided for the following purposes. You may want to watch a movie with as many icons as possible when searching for a movie. For example, there is a case where a route to be viewed is determined, and a plurality of icon information along the route is desired to be viewed. When reproducing a video by selecting a single icon, the above-mentioned needs cannot be met. On the other hand, when a video is searched by specifying a route, a video that does not store icon information may be selected. In such a case, a plurality of icons on the map may be specified at the time of moving image search, and a moving image in which a larger number of the specified icons (or other icons indicating the same icon) are registered may be displayed preferentially. By doing in this way, it is possible to search for a moving image based on a plurality of icons, and it is possible to preferentially reproduce a moving image obtained by photographing a favorite route in which many icons to be viewed are registered.
“複数アイコンによる検索モード”である場合（ステップ３５０→ＹＥＳ）、制御部２２は続いて、複数アイコン選択時用処理を実行する（ステップ３６０）。図１９に、この複数アイコン選択時用処理のフローチャートを示す。また、図２０に、この複数アイコン選択時用処理におけるデータの抽出手順を模式的に示す。
If the “multiple icon search mode” is selected (step 350 → YES), the
この複数アイコン選択時用処理において制御部２２は、まずステップ３６２で、選択された複数のアイコンのいずれかのアイコン情報中に、同一地点アイコンＩＤが含まれているかを判定し、肯定判定となれば続いてステップ３６４に進み、否定判定となれば続いてステップ３６６を実行する。
In this multi-icon selection process, first, in
例えば、図２０の例においては、表示部３３に表示された地図６５中のアイコン６５ａ（アイコンＩＤは１００１）、アイコン６５ｂ（アイコンＩＤは３００２）、アイコン６５ｃ（アイコンＩＤは２００１）が選択され、アイコンデータベース２０ｃ中のデータによれば、アイコン６５ａに対応するアイコン情報には同一地点アイコンＩＤとして３００１が含まれ、アイコン６５ｂに対応するアイコン情報には同一地点アイコンＩＤとして１００２が含まれ、アイコン６５ｃに対応するアイコン情報には同一地点アイコンＩＤとして３００３が含まれている。したがって、この例では、ステップ３６２の判定は肯定判定となる。
For example, in the example of FIG. 20, the
ステップ３６４では、ステップ３６２で見つけた同一地点アイコンが登録された動画の動画ＩＤを取得する。図２０の例では、見つかった同一地点アイコンＩＤ３００１、１００２、３００３をアイコンＩＤとして含む動画−アイコンリンク情報６６ａ〜６６ｃをリンクデータベース２０ｄから抽出し、抽出した動画−アイコンリンク情報中の動画ＩＤ３００、１００、３００を取得する。ステップ３６４に続いてはステップ３６６に進む。
In
ステップ３６６では、表示端末３のユーザの操作によって指定されたアイコンのいずれか１つ以上が登録された動画のすべてについて動画ＩＤを取得する。図２０の例では、指定されたアイコン６５ａ〜６５ｃのアイコンＩＤ１００１、３００２、２００１をアイコンＩＤとして含む動画−アイコンリンク情報６６ｄ〜６６ｆをリンクデータベース２０ｄから抽出し、抽出した動画−アイコンリンク情報中の動画ＩＤ１００、３００、２００を取得する。
In
続いてステップ３６８では、ステップ３６６（および実行していればステップ３６４）で取得した動画ＩＤを、取得回数が大きい順に並べる。取得回数とは、今回のステップ３６６（および実行していれば今回のステップ３６４）で取得された延べ回数である。図２０の例では、動画ＩＤ１００の取得回数は２回であり、動画ＩＤ２００の取得回数は１回であり、動画ＩＤ３００の取得回数は３回である。したがって、動画ＩＤの並び順は、動画ＩＤ３００、動画ＩＤ１００、動画ＩＤ２００となる。そして、表示端末３に送信する動画のリストの表示順は、この並び順と同じにする。このようにすることで、表示端末３の表示部３３において、取得回数のより多い動画が、すなわち、ユーザ所望のアイコン（またはそれと同等のものを指し示すアイコン）をより多く含んでいる動画が、動画リスト中でより上位に表示されることになる。なお、動画のリストに含める動画の数は、取得回数が１回以上のすべての動画であってもよいし、取得回数の多い順に上位からＮ個（Ｎ＝２、３…）であってもよい。また、ステップ３６８では、最も取得回数の多い１つの動画のみを抽出するようになっていてもよい。
Subsequently, in
［４］アイコン検索およびアイコン検索に続く動画再生開始フレーム決定
次に、アイコン検索およびアイコン検索に続く動画再生開始フレーム決定について説明する。データサーバ２において複数の動画およびアイコンが登録されている状態で、表示端末３（第１の表示端末に相当する）のユーザは、データサーバ２に所望のアイコンを検索させ、検索の結果抽出されたアイコン（第１のアイコンの一例に相当する）を、そのアイコンの指し示す地点を撮影した動画（第１の動画の一例に相当する）と共に閲覧することができる。図２１に、アイコン検索およびアイコン検索に続く動画再生開始フレーム決定のためのデータサーバ２および表示端末３の作動の一例をシーケンス図で表す。
[4] Determination of moving image reproduction start frame following icon search and icon search Next, determination of moving image reproduction start frame following icon search and icon search will be described. In a state where a plurality of moving images and icons are registered in the
まず表示端末３の制御部３２は、入力部３０に対するユーザのアイコン検索操作（アイコンを検索するための操作）を受け付け（ステップ１５１）、続いて受け付けたアイコン検索操作の内容を示す情報をデータサーバ２に送信する（ステップ１５２）。データサーバ２の制御部２２は、このアイコン検索操作の内容の情報を受信し（ステップ１５３）、受信した情報に応じた方法でアイコン検索処理を行う（ステップ１５４）。アイコン検索処理では、アイコンデータベース２０ｃからアイコン検索操作の内容に適合するアイコンを抽出する。
First, the
抽出できたアイコンが１つである場合、そのまま抽出したアイコン（第１のアイコンの一例に相当する）を対象として動画再生開始フレーム決定処理を実行し（ステップ１６１）、その際必要であれば表示端末３に対して動画選択の問い合わせを行い、問い合わせを受けた表示端末３の制御部３２は、ユーザの操作に応じて動画を選択し、その選択結果をデータサーバ２に送信する（ステップ１６２）。
When the number of extracted icons is one, the moving image reproduction start frame determination process is executed on the extracted icon (corresponding to an example of the first icon) as it is (step 161), and displayed if necessary. The
そしてデータサーバ２の制御部２２は、動画再生開始フレーム決定処理によって特定した動画の開始フレーム以降を表示端末３に表示させるために必要な情報（動画情報、地図情報、アイコン情報、動画−地図リンク情報、動画−アイコンリンク情報、地図−アイコンリンク情報等）をデータベース部２０から取得して表示端末３に送信し（ステップ１６３）、表示端末３の制御部３２はこの情報中の動画を受信して当該動画の当該開始フレーム以降を再生し、表示部３３に表示させる（ステップ１６４）。
Then, the
ステップ１５４のアイコン検索処理で抽出できたアイコンが複数個ある場合、抽出したアイコンのリストおよびアイコン付加情報等を検索結果として表示端末３に送信する（ステップ１５５）。表示端末３の制御部３２はこの検索結果を受信し（ステップ１５６）、受信した検索結果を表示部３３に表示させる（ステップ１５７）。そして表示端末３のユーザが入力部３０を用いて表示されたアイコンのリストのうちから１つのアイコンを選択すると（ステップ１５８）、制御部３２はその選択されたアイコンを指定する情報をデータサーバ２に送信する（ステップ１５９）。そしてデータサーバ２の制御部２２はこの情報を受信して、受信した情報中の指定に従って、抽出するアイコンを１つ（第１のアイコンの一例に相当する）に絞る（ステップ１６０）。
If there are a plurality of icons extracted by the icon search process in
ここで、ステップ１５４のアイコン検索処理について詳細に説明する。図２２に、アイコン検索処理のフローチャートを示す。アイコン検索処理においては、表示端末３から受信したアイコン検索操作の内容の情報に基づいて検索モードを決定する（ステップ４０３）。検索モードとしては、“タグ、キーワード、種別、ランキング検索モード”、“地図から検索モード”、“動画から検索モード”がある。
Here, the icon search process in
“タグ、キーワード、種別、ランキング検索モード”は、アイコン情報中のタグの文字列の検索、アイコン情報中の各種文字列の検索、アイコン情報中の種別の検索、あるいは、アイコン情報中の選択回数の最上位の複数件（例えば上位５件）の検索のうちいずれか１つを実行する検索モードである。 “Tag, keyword, type, ranking search mode” is a search for a character string of a tag in icon information, a search for various character strings in icon information, a search for a type in icon information, or a selection count in icon information This is a search mode for executing any one of a plurality of top-most searches (for example, top five).
表示端末３のユーザが、アイコン検索操作において、「特定のタグ」、「特定のキーワード」、「特定の種別」、「選択ランキングで選択する旨」のうちいずれかを指定した場合、検索モードが“タグ、キーワード、種別、ランキング検索モード”となる。
When the user of the
“タグ、キーワード、ランキング検索モード”である場合（ステップ４０５→ＹＥＳ）、制御部２２は続いて、ユーザのアイコン検索操作に応じた検索を行う（ステップ４１０）。つまり、アイコン検索操作で特定のタグが指定された場合、その特定のタグをアイコン付加情報のタグとして含むアイコンを抽出し、アイコン検索操作で特定のキーワードが指定された場合、その特定のキーワードをアイコン付加情報または登録者情報に含むアイコンを抽出し、アイコン検索操作で特定の種別が指定された場合、その特定の種別をアイコン情報中の種別の情報に含むアイコンを抽出し、アイコン検索操作で選択回数ランキングで選択する旨が指定された場合、すべてのアイコンのうち、アイコン付加情報中の選択回数が最も高い所定の複数個を抽出する。なお、各アイコン付加情報中の選択回数の値は、対応するアイコンの登録時にはゼロに設定され、対応するアイコンが表示端末３のユーザによって１回選択されたときに、１回分増加させるようになっている。
In the case of “tag, keyword, ranking search mode” (step 405 → YES), the
“地図から検索モード”は、ユーザがアイコン検索操作として、表示端末３の表示部３３に表示されている地図中のアイコン（例えば、図１６の地図画像６１中のアイコン６１ａ〜６１ｆ）のうち１つを指定した場合の検索モードである。“地図から検索モード”である場合（ステップ４２５→ＹＥＳ）、制御部２２は続いて、指定されたアイコンを抽出する（ステップ４３０）。
The “search from map mode” is one of icons in the map (for example,
“動画から検索モード”は、ユーザがアイコン検索操作として、表示端末３の表示部３３に表示されている動画中のアイコン（例えば、図１６の動画６２中のアイコン６１ａ）のうち１つを指定した場合の検索モードである。“動画から検索モード”である場合（ステップ４３５→ＹＥＳ）、制御部２２は続いて、指定されたアイコンを抽出する（ステップ４４０）。
“Search mode from video” designates one of the icons in the video displayed on the
次に、図２１のステップ１６１の動画再生開始フレーム決定処理について詳細に説明する。図２３に、この動画再生開始フレーム決定処理のフローチャートを示す。また、図２４に、この動画再生開始フレーム決定処理における処理手順を模式的に示す。
Next, the moving image reproduction start frame determination process in
まず制御部２２は、ステップ５１０で、ステップ１５４またはステップ１６０において抽出された１つのアイコンのアイコン情報中に、同一地点アイコンＩＤがあるか否かを判定し、なければ続いてステップ５２０に進み、あれば続いてステップ５３０に進む。
First, in
ステップ５２０では、抽出されたアイコン（第１のアイコンの一例に相当する）の登録先の動画（第１の動画の一例に相当する）の動画ＩＤを、当該アイコンに対応する動画−アイコンリンク情報から特定し（図２４の矢印７１参照）、特定した動画ＩＤを含む動画情報を取得する（矢印７２参照）。
In
ステップ５３０では、ステップ５１０で見つけた同一地点アイコンＩＤのそれぞれについて、登録先の動画をステップ５２０と同様に当該同一地点アイコンＩＤに対応する動画−アイコンリンク情報から特定し（矢印７１参照）、特定した動画をリスト化し、そのリストを、アイコン選択の問い合わせとして表示端末３に送信する。なお、この際に、特定した動画と、その動画の特定に用いた動画−アイコンリンク情報との対応関係を記憶しておく。
In
表示端末３の制御部３２は、この問い合わせを受信して表示部３３に表示させ、リストのうち１つの動画（第１の動画の一例に相当する）をユーザの選択操作に応じて選択し、選択結果の動画の動画ＩＤをデータサーバ２に送信する（図２１のステップ１６２）。
The
するとデータサーバ２の制御部２２は、ステップ５４０で、この選択結果を受信すると共に、受信した選択結果の動画ＩＤに対応する動画情報を取得する（矢印７２参照）。
Then, the
ステップ５２０または５４０に続いては、ステップ５５０で、再生する動画に対応する動画−アイコンリンク情報を読み出す。
Subsequent to step 520 or 540, in
ここで、再生する動画に対応する動画−アイコンリンク情報は、ステップ５２０を実行した場合は、抽出されたアイコンに対応する動画−アイコンリンク情報である。
Here, the moving image-icon link information corresponding to the moving image to be reproduced is the moving image-icon link information corresponding to the extracted icon when
また、再生する動画に対応する動画−アイコンリンク情報は、ステップ５３０、５４０を実行した場合は、ステップ５１０で見つけた同一地点アイコンＩＤのそれぞれに対応する動画−アイコンリンク情報のうち、ステップ５４０で受信した選択結果の動画ＩＤを含む動画−アイコンリンク情報である。
Also, the video-icon link information corresponding to the video to be played back is obtained in
続いてステップ５６０では、読み出した動画アイコンリンク情報中の表示開始点情報から、アイコン表示開始フレーム（アイコン表示フレーム区間の始点に相当する）を読み出し、このアイコン表示開始フレームを、動画の再生開始位置として特定する（図２４の矢印７３、７４参照）。ステップ５６０の後、動画再生開始フレーム決定処理を終了する。
Subsequently, in
このように、制御部２２は、表示端末３（第１の表示端末の一例に相当する）のユーザの検索操作に基づいて１つのアイコン（第１のアイコンの一例に相当する）を抽出し、そのアイコン（またはそのアイコンと同じ地点を指し示しているアイコン）が登録された動画を表示端末３で再生させる際に、抽出したアイコンの表示開始フレームの情報を表示端末３に送信することで、表示端末３で、当該アイコンの表示開始フレームから当該動画を再生させる。
As described above, the
このようにすることの意義について、以下説明する。地図上に表示されたアイコンをユーザが選択したときに、そのアイコンが登録された動画の再生をそのアイコンが表示されている地点から開始できるようにすると、再生開始と共にそのアイコンを閲覧することができるので便利である。しかし、地図上のアイコン表示地点は施設が存在する場所であり、その地点を動画再生開始地点としてしまうと、見たい施設の情報をほとんど見ることができない。これを解決するために、アイコン表示地点から一定距離だけ手前からアイコンを表示するようにしてもよいが、このようにすると、アイコン毎にアイコン表示開始のタイミングを変えることができない。 The significance of doing this will be described below. When the user selects an icon displayed on the map, if the playback of the video with the icon registered can be started from the point where the icon is displayed, the icon can be viewed as soon as playback starts. It is convenient because it can. However, the icon display point on the map is a place where the facility exists, and if the point is set as the moving image reproduction start point, it is hardly possible to see the information of the desired facility. In order to solve this, an icon may be displayed from a certain distance from the icon display point. However, if this is done, the icon display start timing cannot be changed for each icon.
そこで、上記のように、動画−アイコンリンク情報において、アイコン毎にアイコンの表示開始・終了フレームを記録しておくことで、アイコン毎に表示開始フレームを設定できる。また、動画情報および地図情報と、動画−アイコンリンク情報を分けて記録し、動画−アイコンリンク情報に表示開始フレームの情報を含めておくことで、アイコンを選択して動画を再生する際、動画毎に違う地点から再生することができ、ユーザにとって見やすい動画を提供することが可能となる。 Therefore, as described above, in the moving image-icon link information, the display start frame can be set for each icon by recording the icon display start / end frame for each icon. In addition, when video information and map information and video-icon link information are recorded separately and information on the display start frame is included in the video-icon link information, when the video is selected and played, Each video can be reproduced from a different point, and it is possible to provide an easy-to-view video for the user.
［５］地図・動画表示
次に、上述した動画検索によって再生する動画が決定し、あるいは、上述した「アイコン検索およびアイコン検索に続く動画再生開始フレーム決定」によって再生する動画および再生開始フレームが決定した後に、地図、動画等を表示端末３に表示させるための作動について説明する。以下では、再生する動画を再生動画（第１の動画の一例に相当する）という。図２５に、地図および動画の表示処理の作動を示すシーケンス図を示す。
[5] Map / Movie Display Next, a movie to be played is determined by the above-described movie search, or a movie to be played and a playback start frame are determined by the above-described “video search start frame determination following icon search and icon search”. After that, an operation for displaying a map, a moving image or the like on the
まずデータサーバ２の制御部２２は、再生動画および再生動画の撮影地点周辺の地図等を表示端末３に表示させるため、必要なデータを表示端末３に送信する（ステップ１７１）。送信するデータは、図４に示すように、動画情報、地図情報、アイコン情報、動画−地図リンク情報、動画−アイコンリンク情報、地図−アイコンリンク情報を含む。そして、「アイコン検索およびアイコン検索に続く動画再生開始フレーム決定」によって再生開始フレームを決定している場合には、更に、再生する動画の再生開始フレームの情報も含む。
First, the
送信する動画情報は、再生する動画の動画情報である。また、送信する地図情報は、再生する動画の撮影経路（動画−地図リンク情報の動画経路情報に基づいて特定する）を含む範囲の地図情報である。 The moving image information to be transmitted is the moving image information of the moving image to be reproduced. The map information to be transmitted is map information in a range including a shooting route of the moving image to be reproduced (specified based on the moving image route information of the moving image-map link information).
また、送信するアイコン情報は、送信する地図範囲中にアイコン表示地点（地図−アイコンリンク情報に基づいて特定する）が存在するすべてのアイコンのアイコン情報に加え、それらアイコン情報中の同一地点アイコンＩＤをアイコンＩＤとして有するすべてのアイコン情報である。 Further, the icon information to be transmitted includes the icon information of all icons having icon display points (specified based on the map-icon link information) in the map range to be transmitted, and the same point icon ID in the icon information. Are all icon information having as an icon ID.
また、送信する動画−地図リンク情報は、送信する動画情報に対応する動画−地図リンク情報、および、送信する地図中に登録されたすべての動画に対応する動画−地図リンク情報である。 Moreover, the moving image-map link information to be transmitted is the moving image-map link information corresponding to the moving image information to be transmitted and the moving image-map link information corresponding to all the moving images registered in the transmitted map.
また、送信する動画−アイコンリンク情報は、送信するアイコン情報に対応するすべての動画−アイコンリンク情報である。また、送信する地図−アイコンリンク情報は、送信するアイコン情報に対応するすべての地図−アイコンリンク情報である。 The moving image-icon link information to be transmitted is all moving image-icon link information corresponding to the transmitted icon information. The map-icon link information to be transmitted is all map-icon link information corresponding to the icon information to be transmitted.
表示端末３の制御部３２は、このようにして送信されたデータを受信すると（ステップ１７２）、地図表示処理を実行する（ステップ１７３）と共に、動画再生処理を実行する（ステップ１７４）。この地図表示処と動画再生処理は、制御部３２において並列処理またはタイムシェアリング方式で実質的に同時に実行されるようになっっていてもよいし、地図表示処、動画再生処理の順に実行されるようになっていてもよい。
When receiving the data transmitted in this way (step 172), the
そして、この動画再生処理において、表示部３３において表示されたリンク先にある情報を必要に応じてデータサーバ２に要求し、その要求を受信したデータサーバ２の制御部２２は、当該リンク先にある情報を要求元の表示端末３に送信する（ステップ１７５）。そしてこのリンク先にある情報を受信した表示端末３の制御部３２は、リンク先にある情報を表示部３３に表示させる。
Then, in this moving image reproduction process, the
ここで、地図表示処理について詳細に説明する。図２６に、地図表示処理のフローチャートを示す。地図表示処理において制御部３２は、まずステップ１５０５で、データサーバ２から受信した地図情報を用いて地図を表示部３３に表示させる。続いてステップ１５１０で、表示させた地図上に再生動画の撮影地点（より具体的には撮影経路）を強調表示させる。再生動画の撮影経路は、再生動画の動画−地図リンク情報中の動画経路情報に基づいて特定する。
Here, the map display process will be described in detail. FIG. 26 shows a flowchart of the map display process. In the map display process, the
続いてステップ１５１５では、受信したすべてのアイコン情報のアイコンリストを作成する。つまり、受信したすべてのアイコン情報中のすべてのアイコンＩＤから成るリストを作成する。続いてステップ１５２０では、アイコンリストから１つのアイコンＩＤを抽出する。この際、抽出したアイコンＩＤはアイコンリストから削除する。 In step 1515, an icon list of all received icon information is created. That is, a list including all icon IDs in all received icon information is created. In step 1520, one icon ID is extracted from the icon list. At this time, the extracted icon ID is deleted from the icon list.
続いてステップ１５２５では、抽出したアイコンＩＤのアイコン情報に同一地点アイコンＩＤが含まれているか否かを判定し、含まれていなければ続いてステップ１５３０を実行し、含まれていれば続いてステップ１５３５を実行する。
Subsequently, in
ステップ１５３０では、抽出したアイコンＩＤの地図−アイコンリンク情報から、アイコン表示地点情報を取得し、続いてステップ１５５０で、取得したアイコン表示地点情報が示す地点を、抽出したアイコンの地図上の表示地点として確定する。
In
抽出したアイコンＩＤのアイコン情報が同一地点アイコンＩＤを含む場合のステップ１５３５では、それら同一地点アイコンＩＤをアイコンＩＤとして有する地図−アイコンリンク情報を読み出し、それら地図−アイコンリンク情報の各々から、アイコン表示地点情報とアイコン表示地点確度情報の組を取り出す。また同様に、ステップ１５２０で抽出したアイコンＩＤの地図−アイコンリンク情報からも、アイコン表示地点情報とアイコン表示地点確度情報の組を取り出す。
In
ステップ１５４０では、取り出したアイコン表示地点情報とアイコン表示地点確度情報の組を用いて、アイコン表示地点の重み付き平均を算出する。この算出の際、アイコン表示地点確度情報の値（すなわち、“高”または“低”。図１５参照。）には、重み数値を対応付ける。具体的には、“高”には正の数値Ａ（例えば０．７）を、“低”には数値Ａより小さい正の数値Ｂ（例えば０．３）を対応付ける。すなわち、確度が高いほど重み数値は大きい。
In
その上で、アイコン表示地点の重み付き平均の算出は、以下のように行う。すなわち、Ｐ＝Σ（ｗｉ×ｘｉ）／Σｗｉを算出する。ここで、Σは添字ｉについての総和を表し、ｉは取り出した各組に１から順に割り当てられる自然数であり、取り出したｉ番目の組の中のアイコン表示地点情報が示す地点がｘｉ（２次元ベクトル値）であり、ｉ番目の組の中のアイコン表示地点確度情報に対応する重み数値がｗｉ（具体的な値はＡまたはＢ）である。 In addition, the calculation of the weighted average of the icon display points is performed as follows. That is, P = Σ (w i × x i ) / Σw i is calculated. Here, Σ represents the sum of the subscript i, i is a natural number assigned to each extracted group in order from 1, and the point indicated by the icon display point information in the extracted i-th group is x i (2 Dimensional vector value), and the weight value corresponding to the icon display point accuracy information in the i-th set is w i (specific value is A or B).
重み付き平均の算出例を、図２７に概略的に示す。動画７５に登録されたアイコン７５ａについては、地図７７上のアイコン７５ａのアイコン表示地点の算出時に、動画７５を撮影した動画撮影部１６のカメラ画角が分からなかったので、アイコン表示地点確度情報の値は“低”になったとする。
An example of calculating the weighted average is schematically shown in FIG. For the
そして、動画７５とは別の動画７６（ただし撮影経路は一部重複している）に登録されたアイコン７６ａについては、地図７７上のアイコン７６ａのアイコン表示地点の算出時に、動画７６を撮影した動画撮影部１６のカメラ画角が分かったので、アイコン表示地点確度情報の値は“高”になったとする。
For the
そして、アイコン７５ａのアイコン情報が同一地点アイコンＩＤとしてアイコン７６ａのアイコンを有しているとする。すると、重み付き平均の算出は、アイコン７５ａ、７６ａの地図上の地点をそれぞれｘ１、ｘ２とすると、Ｐ＝（Ｂ×ｘ１＋Ａ×ｘ２）／（Ａ＋Ｂ）となる。
It is assumed that the icon information of the
続いてステップ１５４５では、同一地点アイコンＩＤと同じアイコンＩＤをアイコンリストから削除する。このようにすることで、同じ地点を指し示す複数のアイコンを地図に重複して表示することがなくなる。続いて、ステップ１５５０では、このようにして算出された地点Ｐ（２次元ベクトル値）を、抽出したアイコンの地図上の表示地点として確定する。
In
ステップ１５５０に続くステップ１５５５では、アイコンリストが空か否かを判定し、空ならば地図表示処理は終了し、空でないなら再度ステップ１５２０に処理を戻す。このようにすることで、異なる地点を指し示しているアイコン毎に、ステップ１５２０〜１５５０の処理が実行され、そのアイコンの地図上の表示地点が確定する。
In
このように、あるアイコンＡを地図上に表示させるときに、そのアイコンと同一の地点（施設、自然構造物等）を指し示す（１つまたは複数の）アイコンＢが他にある場合、それらアイコンＡの仮の表示地点とアイコンＢの仮の表示地点との重み付け平均の結果の位置を、実際の地図上のアイコンＡの表示地点として確定する。そして、重み付け平均に用いる重み数値は、それら仮の表示地点の確度が高いほど大きい。 In this way, when a certain icon A is displayed on the map, if there is another icon (one or more) pointing to the same point (facility, natural structure, etc.) as that icon, these icons A The position of the result of the weighted average of the temporary display point of and the temporary display point of the icon B is determined as the display point of the icon A on the actual map. And the weight numerical value used for a weighted average is so large that the accuracy of these temporary display points is high.
このようにすることの意義について、以下説明する。同一の地点（施設、自然構造物等）を指し示すアイコンが複数登録されている場合、仮にはじめに付加されたアイコン情報を用いて表示地点を決めてしまうと、後からよりよい位置精度の表示地点が算出されたとしてもそれを反映することができない。 The significance of doing this will be described below. If a plurality of icons pointing to the same point (facility, natural structure, etc.) are registered, if the display point is determined using the icon information added at the beginning, a display point with better position accuracy will be obtained later. Even if it is calculated, it cannot be reflected.
そこで、上記のように、あるアイコンの表示地点を、そのアイコンと同じ地点を指し示すアイコンの表示地点を用いて補正する。このようにすることで、アイコンの地図上の表示地点をより正確に決定することができる。 Therefore, as described above, the display point of an icon is corrected using the display point of the icon indicating the same point as the icon. By doing in this way, the display point on the map of an icon can be determined more correctly.
次に、図２６のステップ１７４の動画再生処理について説明する。図２８に、動画再生処理のフローチャートを示す。制御部３２は、この動画再生処理において、まずステップ６０５で、再生動画は動画検索で抽出されたものであるか否かを判定する。再生動画が動画検索で抽出されたものであれば、再生動画の再生開始フレームを指定する情報をデータサーバ２から受けておらず、再生動画が動画検索で抽出されたものでないならば、すなわち、再生動画が「アイコン検索およびアイコン検索に続く動画再生開始フレーム決定」によって決定されている場合は、再生動画の再生開始フレームを指定する情報をデータサーバ２から受けている。したがって、再生動画の再生開始フレームを指定する情報をデータサーバ２から受けていないかいるかに基づいて、上記判定を行うことができる。
Next, the moving image reproduction process in
動画検索である場合、続いてステップ６１０で、再生動画の先頭のフレームを動画再生位置に設定する。動画検索でない場合、続いてステップ６１５で、受信した動画再生開始フレームの指定に従って、再生動画の再生開始フレームを決定する。
If it is a video search, then in
ステップ６１０または６１５に続いては、ステップ６２０で、再生動画に登録されたアイコン（それぞれが第１のアイコンの一例に相当する）のアイコンＩＤを取得する。具体的には、データサーバ２からステップ１７１で受信した動画−アイコンリンク情報のうち、再生動画の動画ＩＤを有する動画−アイコンリンク情報中のアイコンＩＤを取得する。
Subsequent to step 610 or 615, in
続いてステップ６２５では、再生動画以外の動画に登録され、かつ、再生動画の撮影経路沿いにあるアイコンのアイコンＩＤを取得する。具体的には、データサーバ２からステップ１７１で受信した動画−アイコンリンク情報のうち、再生動画以外の動画ＩＤを有する動画−アイコンリンク情報中のアイコンＩＤを抽出し、それら抽出したアイコンＩＤを含む地図−アイコンリンク情報を読み出し、読み出した各地図−アイコンリンク情報中のアイコン表示地点情報の示す地点が、再生動画の撮影経路（再生動画の動画−地図リンク情報に基づいて特定できる）の近傍（例えば所定距離以内）であるか否かを判定する。そして、近傍にあると判定したアイコンＩＤのみを、再生動画以外で登録され、かつ、再生動画の撮影経路沿いにあるアイコンＩＤとして取得する。
Subsequently, in
続いてステップ６３０では、動画中アイコン表示区間・位置決定処理を実行する。この動画中アイコン表示区間・位置決定処理は、ステップ６２０で取得したアイコン（以下、再生動画登録アイコンという）およびステップ６２５で取得したアイコン（以下、他動画登録アイコンという）のそれぞれが、再生動画中のどのフレーム区間のどの位置座標に表示されるべきかを決定する処理である。
Subsequently, in
この動画中アイコン表示区間・位置決定処理のフローチャートを、図２９に示す。制御部３２は、この決定処理において、取得した再生動画登録アイコンおよび他動画登録アイコンのそれぞれを対象として、ステップ６３１〜６３５に示す処理を実行する。まずステップ６３１では、現在の対象となっているアイコン（以下、対象アイコンという）が、再生動画登録アイコン（すなわち、再生中の動画で登録されたアイコン）であるか否かを、対象アイコンの動画−アイコンリンク情報中の動画ＩＤに基づいて判定し、再生動画登録アイコンであれば続いてステップ６３３を実行し、再生動画登録アイコンでなければ、すなわち他動画登録アイコンであれば、続いてステップ６３５を実行する。
FIG. 29 shows a flowchart of this moving image icon display section / position determination process. In this determination process, the
ステップ６３３では、対象アイコンは再生動画に登録されているので、その表示フレームの区間および当該区間内の各フレームにおける表示位置座標は、単純に登録時通りとする。すなわち、対象アイコンの動画−アイコンリンク情報から、アイコン表示開始点情報（アイコン表示開始フレームおよび表示開始フレーム中アイコン表示位置）、およびアイコン表示終了点情報（アイコン表示終了フレームおよび表示終了フレーム中アイコン表示位置）を読み出し、読み出した情報に従って、現在のフレーム中における対象アイコンの表示位置座標を決定する。
In
具体的には、対象アイコンを表示するフレームの区間（アイコンを表示フレーム区間に相当する）は、表示開始フレームから表示終了フレームまでとし、当該フレーム区間中における対象アイコンの表示位置（フレーム中アイコン表示位置に相当する）、表示開始座標から表示終了座標まで一直線に一定速度で移動するよう設定する。なお、一定速度とは、連続する２つのフレーム間での位置座標の移動距離が一定であることをいう。 Specifically, the section of the frame in which the target icon is displayed (the icon corresponds to the display frame section) is from the display start frame to the display end frame, and the display position of the target icon in the frame section (in-frame icon display). It corresponds to the position), and is set to move from the display start coordinate to the display end coordinate in a straight line at a constant speed. The constant speed means that the movement distance of the position coordinates between two consecutive frames is constant.
一方、対象アイコンが他動画登録アイコンである場合は、再生動画以外に登録された他動画登録アイコンを、再生動画に表示するフレーム区間および位置座標を決めなければならない。しかし、その対象アイコンの再生動画中への表示開始フレームおよび位置、表示終了フレームおよび位置は、当該アイコンの動画−アイコンリンク情報には直接記載されていないので、別途算出する必要がある。 On the other hand, when the target icon is an other moving image registration icon, it is necessary to determine a frame section and position coordinates for displaying the other moving image registration icon registered in addition to the reproduced moving image on the reproduced moving image. However, the display start frame and position and the display end frame and position of the target icon in the reproduced moving image are not directly described in the moving image-icon link information of the icon, and need to be calculated separately.
このために例えば、他動画登録アイコンを登録した他動画の場合と地理的に同じ位置、同じタイミングで表示することを実現してもよい。しかし、そのようにする場合、動画のマッチングによる地点同定処理が必要となる。マッチングは処理負荷が高い。動画の配信サービスにおいては、他動画で登録されたアイコン情報の表示には処理負荷が少なく、ユーザに分かりやすい情報表示方法が望ましい。 For this purpose, for example, it may be possible to realize display at the same position and the same timing as in the case of the other moving image in which the other moving image registration icon is registered. However, when doing so, a point identification process by matching of moving images is required. Matching has a high processing load. In the moving image distribution service, it is desirable to display an icon information registered in another moving image with a processing load that is easy for the user to understand.
そこで、ステップ６３５では、対象アイコンが登録された他動画中での対象アイコンのアイコン表示開始点情報（アイコン表示開始フレームおよび表示開始フレーム中アイコン表示位置）、およびアイコン表示終了点情報（アイコン表示終了フレームおよび表示終了フレーム中アイコン表示位置）を読み出す。この情報は、対象アイコンの動画−アイコンリンク情報に含まれている。
Therefore, in
続いてステップ６３７では、他動画登録アイコン表示区間・位置決定処理を実行する。図３０に、この他動画登録アイコン表示区間・位置決定処理のフローチャートを示す。この決定処理は、他の動画に登録されたアイコンを、再生動画中のどのフレーム区間のどの位置座標で表示させるかを決めるための処理である。
In
この決定処理において制御部３２は、まずステップ７０５で、対象アイコンの登録先の他動画と再生動画の移動方向が同じであるか否かを判定する。対象アイコンの登録先の他動画は、対象アイコンの動画−アイコンリンク情報中の動画ＩＤから特定できる。また、当該他動画と再生動画のそれぞれの移動方向は、当該動画の動画−地図リンク情報中の動画経路情報に基づいて特定することができる。ここでいう撮影方向とは、道路に沿った２つの互いに逆な方向（往路方向、復路方向）のどちらであるかを示せる情報である。移動方向が同じであれば続いてステップ７１０に進み、同じでなければ（すなわち逆であれば）続いてステップ７１５に進む。
In this determination process, the
移動方向が同じ場合のステップ７１０では、他動画における対象アイコンのアイコン表示フレーム区間に対応する撮影地点範囲と、再生動画において対象アイコンを表示する表示フレーム区間に対応する撮影地点範囲とが同じになるよう、再生動画において対象アイコンを表示するフレームの区間を決定する。
In
具体的には、図３１に示すように、当該他動画に対象アイコンが登録されたフレーム区間（フレーム８１ａからフレーム８１ｂまで）を、対象アイコンの動画−アイコンリンク情報中の表示開始フレーム、表示終了フレームに基づいて特定し、さらに、そのフレーム区間８１ａ〜８１ｂが撮影された期間に動画撮影装置１が移動した地点範囲８２ａ〜８２ｂを特定し、さらに、その同じ地点範囲８２ａ〜８２ｂを移動したときに撮影された再生動画のフレーム区間（開始フレーム８３ａから終了フレーム８３ｂまでの区間）を特定し、当該フレーム区間８３ａ〜８３ｂを、再生動画において対象アイコンを表示するフレームの区間とする。
Specifically, as shown in FIG. 31, a frame section (from
ここで、フレーム区間８１ａ〜８１ｂの撮影期間に動画撮影装置１が移動した地点範囲８２ａ〜８２ｂは、当該他動画の動画−地図リンク情報中の動画経路情報（撮影時刻と撮影地点の組を複数有する情報）および所定のフレームレートから特定することができる。
Here, the point ranges 82a to 82b to which the moving image shooting apparatus 1 has moved during the shooting period of the
すなわち、他動画の開始フレーム８１ａが他動画中のＮａ番目のフレームであり、終了フレーム８１ｂが他動画中のＮｂ番目のフレームであり、他動画の撮影開始地点における撮影時刻がＴ０［秒］である場合、Ｔａ［秒］＝Ｔ０＋（Ｎａ−１）／Ｒの時刻における撮影地点が表示開始地点８２ａとなり、Ｔｂ［秒］＝Ｔ０＋（Ｎａ−１）／Ｒの時刻における撮影地点が表示終了地点８２ｂとなる。ただし、Ｒは、［フレーム／秒］の単位で表される所定のフレームレートである。
That is, the
また、地点範囲８２ａ〜８２ｂを移動したときに撮影された再生動画のフレーム区間８３ａ〜８３ｂも同様に、再生動画の動画−地図リンク情報中の動画経路情報（撮影時刻と撮影地点の組を複数有する情報）および所定のフレームレートから特定することができる。
Similarly, the
移動方向が逆の場合のステップ７１５では、他動画における対象アイコンの表示フレーム区間に対応する撮影地点範囲の長さを算出する。具体的には、対象アイコンの動画−アイコンリンク情報中の表示開始フレーム、表示終了フレーム、および、対象アイコンの動画−地図リンク情報中の動画経路情報に基づいて、表示開始フレームから表示終了フレームまでが撮影された期間に動画撮影装置１が移動した地図上の地点範囲を決定し、さらにその地点範囲の距離（例えば、直線距離または撮影経路に沿った距離）を算出する。
In
続いてステップ７２０では、他動画における対象アイコンのアイコン表示フレーム区間に対応する撮影地点範囲の終点に対して、当該撮影地点範囲とは撮影経路上で逆の方向から到達するような地点範囲が、再生動画において対象アイコンを表示するフレーム区間に対応する撮影地点範囲となるよう、再生動画において対象アイコンを表示するフレームの区間を決定する。しかも、他動画の表示フレーム区間に対応する撮影地点範囲の長さＡと、再生動画の表示フレーム区間に対応する撮影地点範囲の長さＢとが同じになるようにする。
Subsequently, in
具体的には、図３２に示すように、当該他動画に対象アイコンが登録されたフレーム区間（フレーム８４ａからフレーム８４ｂまで）を、対象アイコンの動画−アイコンリンク情報中の表示開始フレーム、表示終了フレームに基づいて特定し、さらに、そのフレーム区間８４ａ〜８４ｂが撮影された期間に動画撮影装置１が移動した地点範囲８５ａ〜８５ｂを特定する。
Specifically, as shown in FIG. 32, the frame section (from the
さらに、その地点範囲８５ａ〜８５ｂの終点８５ｂを終点とすると共に、当該終点８５から、地点８５ａから地点８５ｂまでの方向と同じ方向に、ステップ７１５で決定した距離だけ（地図情報中の）道路に沿って移動した地点８５ｃを始点とする地点範囲８５ｃ〜８５ｂを設定する。この地点範囲は、他動画の表示フレーム区間８４ａ〜８４ｂに対応する撮影地点範囲８５ａ〜８５ｂの終点８５ｂに対して、当該撮影地点範囲８５ａ〜８５ｂとは逆の方向から到達するような地点範囲８５ｃ〜８５ｂである。
Further, the
さらに、その地点範囲８５ｃ〜８５ｂを移動したときに撮影された再生動画のフレーム区間（開始フレーム８６ｃから終了フレーム８６ｂまでの区間）を特定し、当該フレーム区間８６ｃ〜８６ｂを、再生動画において対象アイコンを表示するフレームの区間とする。
Further, a frame section of a playback video that is shot when the
ここで、フレーム区間８４ａ〜８４ｂの撮影期間に動画撮影装置１が移動した地点範囲８５ａ〜８５ｂは、当該他動画の動画−地図リンク情報中の動画経路情報および所定のフレームレートから特定することができる。また、地点範囲８５ｃ〜８５ｂを移動したときに撮影された再生動画のフレーム区間８６ｃ〜８６ｂも同様に、再生動画の動画−地図リンク情報中の動画経路情報および所定のフレームレートから特定することができる。
Here, the spot ranges 85a to 85b to which the moving image shooting apparatus 1 has moved during the shooting period of the
ステップ７１０、７２０に続くステップ７２５では、再生動画において対象アイコンを表示するフレーム区間中の各フレームにおいて、どの位置座標に対象アイコンを表示するかを決定する。具体的には、再生動画の撮影地点に対し、対象アイコンが左右どちらに地点登録されているかを判定し、フレーム中の判定された側の位置（例えば右上隅、左上隅等）に対象アイコンを表示させる。
In
例えば、図３１に示すように、再生動画と対象アイコンが登録された他動画とで移動方向が同じ場合、当該他動画のフレーム中の対象アイコンの位置８７が中央より右側なら右側に、中央より左側なら左側に、再生動画の各フレーム中の対象アイコンの表示位置８８を決定する。また、図３２に示すように、再生動画と対象アイコンが登録された他動画とで移動方向が逆の場合、当該他動画のフレーム中の対象アイコンの位置８９が中央より右側なら左側に、中央より左側なら右側に、再生動画の各フレーム中の対象アイコンの表示位置９０を決定する。ステップ７２５の後、他動画登録アイコン表示区間・位置決定処理が終了する。他動画登録アイコン表示区間・位置決定処理が終了すると、図２９のステップ６３７も終了する。
For example, as shown in FIG. 31, when the moving direction is the same for the playback video and the other video in which the target icon is registered, if the
他動画登録アイコン表示区間・位置決定処理（決定処理の一例に相当する）がこのようになっていることで、再生動画（第１の動画の一例に相当する）中で表示フレーム区間および表示位置座標が確定されていない他動画登録アイコンであっても、少なくとも表示区間と方向が判断できるような処理を施し、少ない処理負荷でユーザに分かりやすい情報提示を可能とする。これによって、アイコンが表示されないことによるユーザへの不利益や、高負荷処理によるシステム動作不良を抑えることができる。 Since the other moving image registration icon display section / position determining process (corresponding to an example of the determining process) is configured as described above, the display frame section and the display position in the reproduced moving image (corresponding to an example of the first moving image). Even for other moving image registration icons whose coordinates are not fixed, at least a display section and a direction can be determined, and information can be presented easily to the user with a small processing load. As a result, it is possible to suppress the disadvantage to the user due to the icon not being displayed and the system operation failure due to the high load processing.
以上のような動画中アイコン表示区間・位置決定処理（図２８のステップ６３０参照）を実行することで、取得した再生動画登録アイコンおよび他動画登録アイコンのそれぞれについて、再生動画のどのフレーム範囲のどの位置座標に表示させるかが決まる。
By executing the above-described icon display section / position determination process (see
ステップ６３０に続いてステップ６４０では、ステップ６１０または６１５で設定された再生開始フレームから再生動画を再生する。再生開始後は、動画の再生が終了するまで、ステップ６４５〜６７５の処理を繰り返す。
In
ステップ６４５では、再生動画において現在表示中のフレームが、ステップ６２０で取得した再生動画登録アイコンおよびステップ６２５で取得した他動画登録アイコンのいずれかの表示フレーム区間内であるか否かを判定する。各アイコンの再生動画中における表示フレーム区間は、ステップ６３０で既に決定されている。
In
現在のフレームが少なくとも１つのアイコンの表示区間内であれば、ステップ６４５の判定は肯定判定となって処理はステップ６５０に進み、現在のフレームがどのアイコンの表示区間内にもなければ、ステップ６４５の判定は否定判定となって処理はステップ６６５のアイコンリンク先表示処理に進む。
If the current frame is within the display section of at least one icon, the determination at
ステップ６５０では、アイコン表示処理を実行する。図３３に、アイコン表示処理のフローチャートを示す。このアイコン表示処理において制御部３２は、まずステップ８０１で、現在のフレームが表示区間内に入っているすべてのアイコンＩＤ（再生動画登録アイコンおよび他動画登録アイコンのアイコンＩＤ）から成るアイコンリストを作成する。このアイコンリストは、同じ地点を指し示すアイコンを重複して表示しないよう管理するためのリストである。
In
続いてステップ８０３では、アイコンリストから１つのアイコンＩＤを抽出し、抽出したアイコンＩＤをアイコンリスト中から消去する。この際、再生動画登録アイコンのＩＤがアイコンリスト中にある場合は、再生動画登録アイコンのＩＤを他動画登録アイコンのアイコンＩＤよりも優先して抽出する。このようにすることで、同一の地点を指し示す複数のアイコンのうち、再生動画登録アイコン（およびそのアイコン情報）が優先して表示されることになる。
In
続いてステップ８０５では、再生動画の現在表示しているフレーム中に、抽出したアイコン（以下、抽出アイコンという）を重畳表示させる（例えば、図１６のアイコン６１ａ参照）。このとき、当該フレーム中の抽出アイコンの位置は、ステップ６３０で当該抽出アイコンについて決定した位置通りとする。さらに、表示部３３中の抽出アイコンに割り当てられた情報表示画面内に、当該抽出アイコンのアイコン情報（ただし、アイコンＩＤ、同一地点アイコンＩＤは除いてもよいし、あるいは、アイコン付加情報以外を除いてもよい）を表示させる（図３、図１６の情報表示画面６３参照）。
Subsequently, in
続いてステップ８１０では、抽出アイコンと同じ地点を指し示しているアイコンのＩＤ、すなわち、抽出アイコンのアイコン情報に含まれている同一地点アイコンＩＤをすべて読み出す。なお、読み出した同一地点アイコンＩＤと同じアイコンＩＤについては、アイコンリストから削除する。このように、読み出した同一地点アイコンＩＤと同じアイコンＩＤについては、表示対象から除外することで、同じ地点を指し示すアイコンを複数個重複して表示部３３に表示させることがなくなる。
Subsequently, in
続いてステップ８１５では、読み出した同一地点アイコンＩＤに対応するアイコンの表示優先順位を決定する。優先順位は、アイコンの登録日時が新しいほど高い（より１位に近い）ようになっていてもよいし、アイコンの登録先の動画の撮影日時が新しいほど高いようになっていてもよいし、アイコンの登録先の動画の再生回数が多いほど高いようになっていてもよい。
Subsequently, in
ステップ８１５に続いては、ステップ８２０〜８４０を、（ステップ８３０で否定判定となる例外を除いて）読み出した同一地点アイコンＩＤ毎に実行する。
Subsequent to step 815,
まずステップ８２０では、読み出した同一地点アイコンＩＤのうち１つを抽出し、当該同一地点アイコンＩＤをアイコン情報として有するアイコン情報をアイコンデータベース２０ｃから読み出す。ここで、アイコンＩＤの抽出順序は、ステップ８１５で決定した優先順位に従う。つまり、ステップ８２０〜８４０の繰り返しが今回でｋ回目である場合、ステップ８１５で決定した優先順位においてｋ番目となっているアイコンＩＤを抽出する。
First, in
続いてステップ８３０では、今回のステップ８２０で取得したアイコン情報が追加表示可能か否かを判定する。具体的には、表示対象のアイコン情報に今回取得したアイコン情報を加えた場合、表示対象のアイコン情報全体を表示部３３の一画面に表示可能か否かを判定する。これは、例えば、今回取得したアイコン情報が加えら得た場合の表示対象のアイコン情報全体の文字数と、抽出アイコンに割り当てられた情報表示画面内に表示可能な所定の最大文字数との比較に基づいて判定してもよい。
In
追加可能な場合は続いてステップ８４０で、今回のステップ８２０で取得したアイコン情報を、表示部３３中の抽出アイコンに割り当てられた情報表示画面内に追加表示させる。追加表示不可能な場合は、今回のアイコン情報およびそれよりも優先順位の低い同一地点アイコンＩＤのアイコン情報を表示させることなく、８２０〜８４０のループを抜けてステップ８５０に進む。ステップ８２０〜８４０のループが同一地点アイコンＩＤの数と同じ回数だけ実行された後も、ステップ８５０に進む。
If it can be added, then in
ステップ８５０では、アイコンリストが空か否かを判定し、空であればアイコン表示処理を終了し、空でなければステップ８０３に戻る。このようなアイコン表示処理を実行することで、異なる地点を指し示すアイコンのそれぞれについて（８０１、８０３、８５０参照）、フレーム中のステップ６３０で決定した適切な位置に当該アイコンおよびそのアイコン情報を表示する（ステップ８０５参照）。そして、表示されたアイコンと同一地点を指し示すアイコンがあれば（ステップ８１０）、それらのアイコン情報の表示を、当該表示されたアイコンのアイコン情報に追加して表示させる（ステップ８４０）。そしてその追加表示の順序は、各アイコンの重要度に応じて決定されるようになっている（ステップ８２０参照）。そして、アイコン情報の表示のためのスペースが足りなくなった段階で、以降の順位のアイコン情報の追加をやめる（ステップ８３０参照）。
In
このように、同一の地点を指し示す複数のアイコンのアイコン情報をまとめて表示することができる。 Thus, the icon information of a plurality of icons indicating the same point can be displayed together.
例えば、図３４に示すように、動画Ａにアイコン９１ａ、９１ｂ、９１ｃが登録され、動画Ａにアイコン９１ａが登録された際にアイコン情報として動画付加情報９３が追加されたとする。そして、動画Ａとは異なる動画Ｂにアイコン９２ａ、９２ｂ、９２ｃが登録され、再生Ｂにアイコン９２ａが登録された際にアイコン情報として動画付加情報９４が追加されたとする。そして、アイコン９１ａとアイコン９２ａとは、同一の施設を指し示すものであるとして、アイコン９１ａのアイコン情報には同一地点アイコンＩＤとしてアイコン９１ｂのアイコンＩＤが記録されると共に、アイコン９１ｂのアイコン情報には同一地点アイコンＩＤとしてアイコン９１ａのアイコンＩＤが記録される。
For example, as shown in FIG. 34, it is assumed that the
この場合、動画Ａが再生される際には、アイコン９１ａ、９１ｂのうち、再生動画Ａに登録されたアイコン９１ａのみが再生動画中に表示される。同じ地点を指し示すアイコンが複数個重複して登録された場合、同じ地点に複数のアイコンが重なって表示されてしまい、見栄えが悪い。そこで、上記のように、新たに動画にアイコンを登録する時、同一の地点を指し示しているとみなせるアイコンのアイコンＩＤを記録しておく。そして、表示端末にあるアイコンを表示させる際には、そのアイコンと同一の地点を指し示しているとみなせる他のアイコンを表示対象から除外することで、見栄えを向上させることができる。
In this case, when the moving image A is reproduced, only the
そしてその上で、表示させたアイコンのアイコン付加情報と共に、そのアイコンと同一の地点を指し示しているとみなせる他のアイコンのアイコン付加情報も表示させることで、その地点について表示される情報の欠落を抑えることができる。つまり、図３４ではアイコン９１ａの動画付加情報９３と、アイコン９１ｂの動画付加情報９４とは、まとめて１つの付加情報９５として表示部３３に表示される。
Then, along with the icon additional information of the displayed icon, the icon additional information of other icons that can be regarded as pointing to the same point as the icon is also displayed, so that the information displayed for the point is missing. Can be suppressed. That is, in FIG. 34, the moving image
また、すべてのアイコン情報を表示できない場合、投稿順、付加された動画の撮影日時が近い順、付加された動画の再生数順などで表示する情報をフィルタリングする。 Also, if all the icon information cannot be displayed, information to be displayed is filtered in the order of posting, the order of shooting date and time of the added moving image, the order of the playback number of the added moving image, and the like.
このように、同一地点情報を付加することによって、同じ施設・地点であることが表現でき、アイコンの情報をまとめることができる。これによって、アイコンの重なりを防ぐことが可能となる。また、同一地点のアイコン情報を一元化してしまうと必要な情報の取捨選択ができなくなる。アイコン情報を一元化するのではなく、それぞれのアイコン情報に同一地点情報を付加することによってフィルタリングするなどの柔軟な情報表示が可能となる。 In this way, by adding the same point information, it is possible to express the same facility / point, and it is possible to collect icon information. This makes it possible to prevent overlapping of icons. Moreover, if the icon information of the same point is unified, necessary information cannot be selected. Instead of unifying icon information, flexible information display such as filtering can be performed by adding the same spot information to each icon information.
また、同一地点を指し示す複数のアイコンの情報（アイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報）を、１つのアイコンの情報として一元化してしまうと必要な情報の取捨選択ができなくなる。そこで、本実施形態のように、同一地点を指し示すアイコンであっても、それらアイコン毎に情報（アイコン情報、動画−アイコンリンク情報、地図−アイコンリンク情報）を記録することで、上述のフィルタリングなどの柔軟な情報選択、情報表示が可能となる。 Further, if information of a plurality of icons indicating the same point (icon information, moving image-icon link information, map-icon link information) is unified as information of one icon, necessary information cannot be selected. Therefore, even in the case of icons indicating the same point as in the present embodiment, the above-described filtering is performed by recording information (icon information, moving image-icon link information, map-icon link information) for each icon. Flexible information selection and information display.
ステップ６５０に続いては、ステップ６５５で、表示部３３において動画中のアイコンとともに表示されている当該アイコンのアイコン情報（図１６の情報表示６３参照）にＷｅｂページ、他の動画へのリンク等の他情報へのリンクが含まれており、かつ、ユーザが入力部３０を用いてそのリンクを選択したか否かを判定し、選択したと判定した場合続いてステップ６６０に進み、選択していない場合、ステップ６６０をバイパスしてステップ６６５に進む。
Subsequent to step 650, in
ステップ６６０では、アイコンリンク先選択処理を実行する。図３５に、アイコンリンク先選択処理のフローチャートを示す。ステップ６６０に続いては、ステップ６６５を実行する。そしてステップ６６５では、アイコンリンク先表示処理を実行する。図３６に、アイコンリンク先表示処理のフローチャートを示す。以下、このアイコンリンク先選択処理およびアイコンリンク先表示処理を実行する制御部３２の作動について、図３７を参照して説明する。
In
まず、現在動画中にアイコンが表示されていないか（ステップ６４５→ＮＯ）、あるいは表示されていてもユーザがリンクを選択していない（ステップ６５５→ＮＯ）場合について説明する。 First, a case will be described in which an icon is not currently displayed in the moving image (step 645 → NO), or even if the icon is displayed, the user has not selected a link (step 655 → NO).
この場合、制御部３２は、ステップ６６０を実行しないままステップ６６５のアイコンリンク先表示処理の実行を始め、まずステップ９５０では、リンク先リストにリンク（例えばＷｅｂページ、他の動画へのリンク）が登録されているか否かを判定する。リンク先リストは、動画の再生開始時に空にするようになっている。この事例においては、現時点のリンク先リストは空であるとする。したがって制御部３２は、リンクが登録されていないと判定してアイコンリンク先表示処理を終了する。
In this case, the
その後、再生中の動画に１つのアイコンが表示されるようになり（ステップ６４５→ＹＥＳ）、そのアイコンのアイコン情報中にリンクが存在し、ユーザがそのリンクを選択したとする（ステップ６５５→ＹＥＳ）。 Thereafter, one icon is displayed on the video being played back (step 645 → YES), and there is a link in the icon information of the icon, and the user selects the link (step 655 → YES). ).
すると制御部３２は、アイコンリンク先選択処理のステップ９０５でリンク先リストにアイコンが登録されていないと判定し、続いてステップ９１５に進み、動画に複数のアイコンが表示されていないと判定し、続いてステップ９２０に進む。そしてステップ９２０では、選択したリンクのリンク先のコンテンツを表示部３３に表示すると共に、ステップ９２５で、再生中の動画の再生を一時停止する。ここで、リンク先のコンテンツとは、リンク先に記録されている情報であり、例えば、ＵＲＬ（リンク）が示すＷｅｂページの内容がリンク先のコンテンツに相当する。なお、選択したアイコンのリンク先を表示部３３に表示している場合は、表示部３３中に当該動画は表示されなくなる、または別ウィンドウでリンク先のＷｅｂページの内容が表示され、当該動画は一時停止状態となっている。
Then, the
続いて制御部３２は、リンク先のコンテンツの表示を続けながらも、アイコンリンク先選択処理を抜けてアイコンリンク先表示処理に入り、ステップ９５０でリンク先リストにアイコンが登録されていないと判定し、アイコンリンク先表示処理を終了する。
Subsequently, while continuing to display the linked content, the
このように、再生動画中に１つのアイコンのみが表示され、当該アイコンのアイコン情報中のリンクが選択された場合は、動画の再生を中止すると共に選択したリンク先のコンテンツを表示する（ステップ９２０、９２５）。 As described above, when only one icon is displayed in the reproduced moving image and the link in the icon information of the icon is selected, the reproduction of the moving image is stopped and the content of the selected link destination is displayed (step 920). 925).
また、リンク先リストにリンクが登録されていない状態で、図３７に示すように、再生中の動画のフレーム９６内に複数のアイコン９６ａ〜９６ｆが表示されるようになり（ステップ６４５→ＹＥＳ、）、その複数のアイコン９６ａ〜９６ｆの少なくとも１つのアイコン情報中にリンクが存在し、ユーザがそのリンクを選択したとする（ステップ６５５→ＹＥＳ）。
In addition, in the state where the link is not registered in the link destination list, as shown in FIG. 37, a plurality of
すると制御部３２は、アイコンリンク先選択処理のステップ９０５でリンク先リストにアイコンが登録されていないと判定し、続いてステップ９１５に進み、動画に複数のアイコンが表示されていると判定し、続いてステップ９１０に進む。そしてステップ９１０で、選択したアイコンのリンクをリンク先リストに追加登録する。
Then, the
続いて制御部３２は、アイコンリンク先表示処理のステップ９５０で、リンク先リストにリンクが登録されていると判定し、続いてステップ９６０で、動画にアイコンが表示されていると判定し、アイコンリンク先表示処理を終了する。
Subsequently, in
このように、リンク先リストにリンクが登録されておらず、複数のアイコン９６ａ〜９６ｆが動画中に表示されているタイミングでリンクを選択した場合、動画の再生を一時停止してそのリンクのリンク先のコンテンツを表示するのではなく、そのリンクをリンク先リストに含める。つまり、リンク先リストとは、後でリンク先のコンテンツを表示する予定があるリンクのリストである。
As described above, when a link is not registered in the link destination list and a link is selected at the timing when the plurality of
その後、リンク先リストにリンクが登録された状態で、図３７に示すように、再生中の動画のフレーム９７内に１つ以上のアイコン９６ａが表示されて続けているが（ステップ６４５→ＹＥＳ）、ユーザがリンクを選択していない状態であるとする（ステップ６５５→ＮＯ）。
Thereafter, in a state where the link is registered in the link destination list, as shown in FIG. 37, one or
この状態において制御部３２は、アイコンリンク先選択処理をバイパスしてアイコンリンク先表示処理を実行し始め、ステップ９５０でリンク先リストにリンクが登録されていると判定し、続いてステップ９６０で、動画にアイコンが表示されていると判定し、アイコンリンク先表示処理を終了する。
In this state, the
このように、リンク先リストにリンクが登録されていても（ステップ９５０→ＹＥＳ）、動画中にアイコン９６ａが表示されていれば（ステップ９６０→ＹＥＳ）、動画の再生が続き、リスト中のリンク先のコンテンツはまだ表示されない。
Thus, even if the link is registered in the link destination list (step 950 → YES), if the
その後、リンク先リストにリンクが登録された状態で、図３７に示すように、再生中の動画のフレーム９７内に１つ以上のアイコン９６ａが表示されて続けており（ステップ６４５→ＹＥＳ）、かつ、そのアイコン９６ａの少なくとも１つのアイコン情報中にリンクが存在し、ユーザがそのリンクを選択したとする（ステップ６５５→ＹＥＳ）。
Thereafter, in the state where the link is registered in the link destination list, as shown in FIG. 37, one or
すると制御部３２は、アイコンリンク先選択処理のステップ９０５でリンク先リストにリンクが登録されていると判定し、続いてステップ９１０に進み、選択したアイコンのリンクをリンク先リストに追加登録する。続いて制御部３２は、アイコンリンク先表示処理のステップ９５０で、リンク先リストにリンクが登録されていると判定し、続いてステップ９６０で、動画にアイコンが表示されていると判定し、アイコンリンク先表示処理を終了する。
Then, the
このように、リンク先リストにリンクが登録されている場合、新たにリンクが選択されると、そのリンクがリンク先リストに追加登録され、動画の再生が続き、リスト中のリンク先のコンテンツはまだ表示されない。 In this way, when a link is registered in the link destination list, when a new link is selected, the link is additionally registered in the link destination list, video playback continues, and the linked content in the list is Not displayed yet.
その後、リンク先リストにリンクが登録された状態で、図３７に示すように、再生中の動画のフレーム９８内に表示されるアイコンがなくなった（ステップ６４５→ＮＯ）とする。
After that, it is assumed that there is no icon displayed in the
すると制御部３２は、アイコンリンク先選択処理をバイパスしてアイコンリンク先表示処理を実行し始め、ステップ９５０でリンク先リストにリンクが登録されていると判定し、続いてステップ９６０で、動画にアイコンが表示されてないと判定し、ステップ９７０に進む。そして、ステップ９７０では、リンク先リストにあるリンク先のコンテンツ（例えば図３７に示す動画９９）を表示し、続くステップ９８０では、再生動画の再生を一時停止する。なお、ステップ９７０で表示するリンク先のコンテンツは、リンク先リストに含まれるすべてのリンクのリンク先のコンテンツであってもよいし、ユーザが入力部３０を用いて選択した一部のリンク先のコンテンツであってもよい。
Then, the
このように、リンク先リストにリンクが登録された後は、動画中にアイコンが表示されなくなって初めて、そのリンク先リスト中のリンク先のコンテンツを表示部３３に表示させて再生動画の再生を一時停止する（ステップ９６０〜９８０）。
As described above, after the link is registered in the link destination list, the content of the link destination in the link destination list is displayed on the
以上のようなアイコンリンク先選択処理およびアイコンリンク先表示処理の作動により、再生動画中に１つのアイコンが表示され、そのアイコンのアイコン情報としてＷｅｂサイト、データサーバ２内の他の動画等へのリンクが表示され、そのリンクがユーザによって選択された場合は、直ちにそのリンク先のコンテンツを表示して再生動画の再生を一時停止する。
By the operation of the icon link destination selection process and the icon link destination display process as described above, one icon is displayed in the reproduced moving image, and the icon information of the icon is transferred to the website, another moving image in the
しかし、再生動画中に複数のアイコン９１ａ〜９１ｆが表示され、それらのうちの少なくとも１（あるいは２つ以上）つのアイコン９１ａのアイコン情報としてＷｅｂサイト、データサーバ２内の他の動画等へのリンクが表示され、そのリンクがユーザによって選択された場合は、直ちにそのリンク先のコンテンツを表示するのではなく、一旦リンク先リストに当該リンクを保持しておく、そして、再生動画中からアイコンがなくなるまでは、アイコン情報中のリンクが選択される度にそのリンクがリンク先リストに追加される。そして、再生動画中からアイコンがなくなったタイミングで、リンク先リスト中のリンク先のコンテンツを表示して再生動画の再生を一時停止する。
However, a plurality of
このようにすることの意義について、以下に説明する。動画再生中にアイコン情報にある他動画、ないしはＷＥＢページへのリンクを選択し、その情報が直ちに表示される場合、一旦動画の再生を中断しなければリンク先のコンテンツの情報を見ることはできない。 The significance of doing this will be described below. When a link to another video or WEB page in the icon information is selected during video playback and the information is displayed immediately, information on the linked content cannot be viewed unless the video playback is interrupted. .
例えば、商店街を通過する場合のように、多くのアイコンが一度に動画に表示されている場合には、表示されるリンクの数も多くなるので、リンクを選択する度に動画の再生を中断するとスムーズに動画を見ることができなくなる恐れがある。だからといって、動画再生が完全に終了するまで待った上でリンク先のコンテンツを表示するのでは、表示が遅すぎてどのリンク先のコンテンツを表示したのか分からなくなってしまう。よって、適切なタイミングで動画を中断し、リンク先のコンテンツを見る機会を作る必要がある。 For example, when many icons are displayed on the video at the same time, such as when passing through a shopping street, the number of links displayed increases, so the video playback is interrupted each time a link is selected. Then there is a risk that you will not be able to watch the video smoothly. However, if the content of the link destination is displayed after waiting for the video playback to be completed completely, the display of the link destination is too slow to know which link destination content is displayed. Therefore, it is necessary to interrupt the video at an appropriate timing and create an opportunity to view the linked content.
そこで、上記のように、再生動画中に複数のアイコンが表示されているときにリンク先が選択された場合、アイコンがひとつも表示されていないフレーム区間になるまでリンク先のコンテンツを表示しないようにし、アイコンがひとつも表示されなくなったタイミングでリンク先のコンテンツを表示する。 Therefore, as described above, when a link destination is selected when multiple icons are displayed in the playback video, the linked content is not displayed until the frame section in which no icon is displayed. The linked content is displayed when no icon is displayed.
例えば、商店街を通過するときは、商店街を（動画が）進行しながら表示される多数のアイコン情報中の多数のリンクのうち、ユーザは気になったリンクを次々に選択していき、商店街を抜けてアイコンおよびアイコン情報が表示されなくなって一息ついたときに、リンク先のコンテンツが表示されることになる。 For example, when passing through a shopping street, the user selects one of the links that he / she is interested in from among a large number of links in a large number of icon information displayed while the shopping street is moving (video). When the icon and the icon information are no longer displayed through the shopping street and take a break, the linked content is displayed.
このように、アイコンの表示が多く表示された場合は、アイコンの表示が途切れるきりのいいタイミングで、リンク先のコンテンツを表示することにより、ユーザに優しい情報表示が可能になる。 Thus, when many icon displays are displayed, it is possible to display information that is friendly to the user by displaying the linked content at a timing when the icon display is interrupted.
なお、制御部３２は、図２８のステップ６６５に続いて、ステップ６７０で再生動画が一時停止されたか否かを判定し、一時停止されていなければ（動画の再生が終了していない限り）処理をステップ６４５に戻し、一時停止されていれば、続いてステップ６４５で、リンク先のコンテンツを表示部３３に表示させる。なお、ここで表示させるリンク先のコンテンツは、リンク先リストに含まれるリンク先のコンテンツであってもよいし、一時停止時に表示されているフレームに表示されているアイコンに対応するアイコン情報中のリンク先のコンテンツであってもよい。ステップ６７５の後は（動画の再生が終了していない限り）処理をステップ６４５に戻す。
The
ここで、上記実施形態と特許請求の範囲の用語の対応関係についてまとめる。データサーバ２の制御部２２が、ステップ１２６、１２７を実行することで、アイコン登録手段の一例として機能し、ステップ１４２、１６３、１７１を実行することで、地図・動画送信手段の一例として機能し、ステップ１４２、１６３、１７１を実行することで、の地図・動画送信手段一例として機能し、ステップ１２６を実行することで、アイコン表示区間・位置受信手段の一例として機能し、ステップ２１０を実行することで、アイコン経路情報記録手段の一例として機能し、ステップ２２０を実行することで、アイコン表示地点算出手段の一例として機能し、ステップ１５４を実行することで、アイコン検索手段の一例として機能し、ステップ１３３、１３４を実行することで、動画検索手段の一例として機能し、ステップ１６１を実行することで、再生開始フレーム決定手段の一例として機能し、
ステップ２５０〜２８０を実行することで、同一地点アイコンＩＤ記録手段の一例として機能し、ステップ２３０を実行することで、確度設定手段の一例として機能する。
Here, the correspondence relationship between the above embodiment and the terms in the claims will be summarized. The
Executing
また、表示端末３の制御部３２が、ステップ１７２を実行することで、受信手段の一例として機能し、ステップ１７３を実行することで、地図表示手段の一例として機能し、ステップ１７４を実行することで、動画再生手段の一例として機能し、ステップ８０３、８０５、８１０を実行することで、同一地点アイコン除外手段の一例として機能し、ステップ８１５〜８４０を実行することで、付加情報表示手段の一例として機能する。また、複数の表示端末３のうち、図１７、図２１、図２５中の表示端末３が、第１の表示端末に相当する。
Further, the
（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
(Other embodiments)
As mentioned above, although embodiment of this invention was described, the scope of the present invention is not limited only to the said embodiment, The various form which can implement | achieve the function of each invention specific matter of this invention is included. It is.
上記実施形態では、データサーバ２は、動画共有サービスを表示端末３のユーザに提供するためのデータサーバである。しかしデータサーバ２は、このようなものに限らず、プローブカー情報を収集するデータセンタであってもよい。プローブカー情報とは、車両が自車両の周囲を撮影した結果の動画データと、その動画を撮影した位置のデータと、を含む情報である。
In the above embodiment, the
また、上記の動画データベース２０ａは、上記実施形態のデータサーバ２とは異なる動画共有サービスのデータサーバに記録されていてもよい。この場合、データサーバ２と当該動画共有サービスのデータサーバが、本発明のデータサーバを構成する。
The moving
また、上記の地図データベース２０ｂは、上記実施形態のデータサーバ２とは異なるインターネット地図配信用データサーバに記録されていてもよい。この場合、データサーバ２と当該インターネット地図配信用データサーバが、本発明のデータサーバを構成する。
Moreover, said
また、上記実施形態においては、動画−地図リンク情報の動画経路情報中で、撮影位置が撮影時刻に対応づけられている。そして、この撮影時刻は、時、分、秒で表される時刻であった。しかし、この撮影時刻は、時間を表すための表現形態で表されてもよい。例えば、動画の撮影時における当該動画のフレーム番号も、一定時間の経過と共に一定量変化するので、撮影時刻を表す量として使用可能である。この場合は、図１１のステップ２１０で動画経路情報中の撮影時刻と動画−アイコンリンク情報中の表示開始フレーム、表示終了フレームとの対応付けには、フレームレートは不要となる。
In the above embodiment, the shooting position is associated with the shooting time in the moving image route information of the moving image-map link information. The photographing time was a time expressed in hours, minutes, and seconds. However, the photographing time may be expressed in an expression form for representing time. For example, the frame number of the moving image at the time of shooting the moving image changes by a certain amount with the passage of a certain time, and thus can be used as an amount representing the photographing time. In this case, in
また、上記実施形態では、アイコン表示フレーム区間中の２つのフレーム中のフレーム中アイコン表示位置と、当該２つのフレームが撮影された撮影経路上の２つの地点との関係に基づいて、地図中のアイコン表示地点を算出するようになっている。そして、アイコン表示フレーム区間中の２つのフレームとして、アイコン表示開始フレームおよびアイコン表示終了フレームが例示されている。しかし、２つのフレームは、このようなものに限らず、アイコン表示フレーム区間中の異なる２つのフレームであれば、どのようなものであってもよい。また、３以上の整数Ｎについて、Ｎ個のフレーム中のフレーム中アイコン表示位置と、当該Ｎ個のフレームが撮影された撮影経路上のＮ個の地点との関係に基づいて、地図中のアイコン表示地点を算出するようになっていてもよい。すなわち、本発明では、アイコン表示フレーム区間中の少なくとも２つのフレーム中のフレーム中アイコン表示位置と、当該少なくとも２つのフレームが撮影された撮影経路上の少なくとも２つの地点との関係に基づいて、地図中のアイコン表示地点を算出するようになっていればよい。 Moreover, in the said embodiment, based on the relationship between the icon display position in a frame in two frames in an icon display frame area, and two points on the imaging | photography path | route where the said 2 frames were image | photographed, The icon display point is calculated. An icon display start frame and an icon display end frame are illustrated as two frames in the icon display frame section. However, the two frames are not limited to this, and may be any two frames as long as they are two different frames in the icon display frame section. Further, for an integer N of 3 or more, an icon in the map is based on the relationship between the icon display position in the frame in N frames and the N points on the shooting route where the N frames were shot. The display point may be calculated. That is, according to the present invention, the map is displayed based on the relationship between the icon display position in the frame in at least two frames in the icon display frame section and at least two points on the shooting route where the at least two frames are shot. It is only necessary to calculate the icon display point inside.
また、図３０のステップ７２０では、他動画の表示フレーム区間に対応する撮影地点範囲の長さＡと、再生動画の表示フレーム区間に対応する撮影地点範囲の長さＢとが同じになるようにするようになっている。しかし、長さＡと長さＢとは、必ずしも同じでなくともよく、例えば、長さＢが長さＡの２倍であってもよいし、長さＢが長さＡの２倍であってもよい。また例えば、他動画の札絵経路において上記終点の手前の最後の曲折点（右折点、左折点）から、上記終点までの距離を、長さＢとしてもよい。このようにすることで、実際には見えていない地点を指し示すアイコンを動画中に表示してしまう可能性が低減される。
Further, in
また、図１１のステップ２６０では、近傍に同種別のアイコンが存在した場合、同一地点かユーザに問い合わせを行い、ユーザが同一地点とみなした場合のみ同一地点情報にアイコンのＩＤを登録することになっている。しかし、アイコン登録の過程で明らかに同一地点に対するアイコンの登録が行われていることが判別できる場合、ステップ２６０およびステップ２７０を省略してもよい。
Further, in
例えば、再生中の動画（以下、再生動画という）に他の動画で登録されたアイコンが表示されていて、そのアイコンに対しアイコンの付加情報を追加するという操作があった場合、データサーバ２は、再生動画に新たなアイコンを登録するようになっていてもよい。 For example, when an icon registered in another video is displayed on the video being played back (hereinafter referred to as “playback video”), and there is an operation of adding additional icon information to the icon, the data server 2 A new icon may be registered in the playback video.
このようなアイコン登録処理の場合、データサーバ２は、他の動画で登録されたアイコンに対して付加情報を追加する操作があったということに基づいて、ユーザに問い合わせをするまでもなく、新たなアイコンが他動画のアイコンと同一地点であることが判別できるため、ステップ２６０を省略することが可能である。
In the case of such an icon registration process, the
また、上記の実施形態において、データサーバ２の制御部２２、表示端末３の制御部３２がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア（例えば回路構成をプログラムすることが可能なＦＰＧＡ）を用いて実現するようになっていてもよい。
In the above embodiment, each function realized by the program executed by the
１ 動画撮影装置
２ データサーバ
３ 表示端末
２０ データベース部
２０ａ 動画データベース
２０ｂ 地図データベース
２０ｃ アイコンデータベース
２０ｄ リンクデータベース
DESCRIPTION OF SYMBOLS 1
Claims (10)
前記複数の表示端末（３）に表示させるための地図および複数の動画を記憶すると共に、前記複数の動画の１つ１つについて、当該１つの動画を撮影した撮影経路中の複数の撮影地点を撮影時刻に対応付ける動画経路情報を記憶するデータベース部（２０）と、
前記データベース部（２０）に記録された前記複数の動画のそれぞれに対して、当該動画中に表示された地点を指し示すアイコンを登録するため、当該アイコンのアイコンＩＤに当該動画の動画ＩＤが関連付けられた動画−アイコンリンク情報をデータベース部（２０）に記録するアイコン登録手段（１２６、１２７）と、
前記複数の動画のうち第１の動画および前記第１の動画の撮影経路を含む地図を、前記複数の表示端末（３）のうち第１の表示端末（３）に表示させると共に、前記第１の動画に登録された第１のアイコンを前記第１の動画中および前記地図中に表示させるため、前記第１の表示端末（３）に情報を送信する地図・動画送信手段（１４２、１６３、１７１）と、を備え、
前記アイコン登録手段は：
前記複数の表示端末（３）のうちいずれか１つの表示端末において前記複数の動画のうちいずれか１つの動画が表示されているとき、前記１つの表示端末のユーザが、前記１つの動画中において１つのアイコンを表示すべきフレームの区間（以下、アイコン表示フレーム区間という）を指定し、前記アイコン表示フレーム区間内のフレーム中における前記１つのアイコンの表示位置（以下、フレーム中アイコン表示位置という）を指定し、前記１つのアイコンの他の情報を入力したとき、前記１つの表示端末から、前記１つのアイコンについての前記アイコン表示フレーム区間の情報、前記１つのアイコンについての前記フレーム中アイコン表示位置の情報、および前記１つのアイコンについての他の情報を受信するアイコン表示区間・位置受信手段（１２６）と、
前記アイコン表示区間・位置受信手段（１２６）が受信した前記１つのアイコンについての前記アイコン表示フレーム区間および前記１つのアイコンについての前記フレーム中アイコン表示位置を、前記１つの動画の動画ＩＤと前記１つのアイコンのアイコンＩＤと共に、前記１つのアイコンに対応する動画−アイコンリンク情報として前記データベース部（２０）に記録し、さらに、前記アイコン表示フレーム区間中の複数のフレームと、前記データベース部（２０）に記録されている前記１つの動画の動画経路情報中の複数の撮影時刻と、を対応付けることで、前記撮影経路のうち前記アイコン表示フレーム区間が撮影された経路を示すアイコン経路情報を算出し、算出した前記アイコン経路情報を前記１つのアイコンに対応するアイコン経路情報として前記データベース部（２０）に記録するアイコン経路情報記録手段（２１０）と、
前記１つの動画中のフレームのうち２つのフレームにおける前記フレーム中アイコン表示位置を取得し、また、前記２つのフレームが撮影された撮影経路上の２つの地点を、前記１つのアイコンに対応する前記アイコン経路情報に基づいて取得し、取得した前記２つのフレームにおける前記フレーム中アイコン表示位置と、前記２つの地点と、の関係に基づいて、前記１つのアイコンについての地図上のアイコン表示地点を算出し、算出した前記アイコン表示地点をデータベース部（２０）に記録するアイコン表示地点算出手段（２２０）と、を備え、
前記地図・動画送信手段（１４２、１６３、１７１）は、前記第１のアイコンを前記１つのアイコンとすることで前記アイコン表示地点算出手段（２２０）によって前記データベース部（２０）中に記録された、前記第１のアイコンについてのアイコン表示地点を、前記第１の表示端末（３）に送信することで、前記地図中の前記アイコン表示地点に該当する地点に、前記第１のアイコンを表示させることを特徴とするデータサーバ。 A data server that communicates with a plurality of display terminals (3) and transmits the map and the moving image to the display terminal (3) in the communication, thereby displaying the map and the moving image on the plurality of display terminals (3). There,
A map and a plurality of moving images to be displayed on the plurality of display terminals (3) are stored, and, for each of the plurality of moving images, a plurality of photographing points in a photographing route where the one moving image is photographed are stored. A database unit (20) for storing moving picture path information associated with the shooting time;
In order to register an icon indicating a point displayed in the video for each of the plurality of videos recorded in the database unit (20), the video ID of the video is associated with the icon ID of the icon. Icon registration means (126, 127) for recording the video-icon link information in the database unit (20);
A map including a first moving image of the plurality of moving images and a shooting route of the first moving image is displayed on the first display terminal (3) of the plurality of display terminals (3), and the first In order to display the first icon registered in the video in the first video and the map, the map / video transmission means (142, 163, 142) for transmitting information to the first display terminal (3) 171), and
The icon registration means is:
When any one of the plurality of videos is displayed on any one of the plurality of display terminals (3), the user of the one display terminal may A frame section in which one icon is to be displayed (hereinafter referred to as an icon display frame section) is designated, and the display position of the one icon in the frame within the icon display frame section (hereinafter referred to as an icon display position in the frame). When the other information of the one icon is input, the information of the icon display frame section for the one icon and the in-frame icon display position for the one icon are input from the one display terminal. Icon display section and position for receiving the information of and other information about the one icon And signal means (126),
The icon display frame section for the one icon received by the icon display section / position receiving means (126) and the icon display position in the frame for the one icon are set as the moving image ID of the one moving image and the 1 Along with the icon IDs of the two icons, the moving image-icon link information corresponding to the one icon is recorded in the database unit (20), and a plurality of frames in the icon display frame section and the database unit (20) By associating a plurality of shooting times in the moving image route information of the one moving image recorded in the image path information, and calculating icon route information indicating a route in which the icon display frame section is captured in the shooting route, The calculated icon route information is an icon corresponding to the one icon. The database unit as route information and icon path information recording means for recording (20) (210),
The in-frame icon display position in two frames of the frames in the one moving image is acquired, and two points on the photographing route where the two frames are photographed are associated with the one icon. Obtained based on icon path information, and calculates an icon display point on the map for the one icon based on the relationship between the icon display position in the two frames and the two points acquired. And an icon display point calculation means (220) for recording the calculated icon display point in the database unit (20),
The map / video transmission means (142, 163, 171) is recorded in the database unit (20) by the icon display point calculation means (220) by using the first icon as the one icon. The first icon is displayed at a point corresponding to the icon display point in the map by transmitting an icon display point for the first icon to the first display terminal (3). A data server characterized by that.
前記アイコン検索手段（１５４）が抽出したアイコンを前記第１のアイコンとし、前記第１のアイコンに対応する動画−アイコンリンク情報に基づいて、当該動画−アイコンリンク情報中の動画ＩＤに対応する前記第１の動画と、前記動画−アイコンリンク情報中のアイコン表示フレーム区間の始点の情報とを、前記第１の動画の再生開始フレームとして特定する再生開始フレーム決定手段（１６１）と、を備え、
前記地図・動画送信手段（１４２、１６３、１７１）は、前記第１の表示端末で前記第１の動画を前記再生開始フレームから再生させるよう、前記再生開始フレームの情報を前記第１の表示端末に送信することを特徴とする請求項１または２に記載のデータサーバ。 When the user of the first display terminal performs an icon search operation for searching for an icon, information on the content of the icon search operation is received from the first display terminal, and the content of the received icon search operation Based on the icon search means (154) for extracting one icon from the icons registered in the plurality of videos,
The icon extracted by the icon search means (154) is set as the first icon, and based on the moving image-icon link information corresponding to the first icon, the moving image corresponding to the moving image ID in the moving image-icon link information. Replay start frame determining means (161) for identifying a first moving image and information on a start point of an icon display frame section in the moving image-icon link information as a reproduction start frame of the first moving image;
The map / moving image transmitting means (142, 163, 171) transmits information about the reproduction start frame to the first display terminal so that the first display terminal reproduces the first moving image from the reproduction start frame. The data server according to claim 1, wherein the data server is transmitted to the data server.
前記撮影経路中の２つの地点のうち、前記アイコン表示フレーム区間の終了時の撮影地点（５２）を基準とする前記アイコン表示地点の相対位置座標の成分のうち、前記撮影経路の移動方向に平行な成分の値ｘを、
ｘ＝Ｌ×Ｒ／（Ｑ−Ｒ）
という式で算出し、この際、Ｌは前記２つの地点間の前記移動距離であり、Ｒは、前記アイコン表示フレーム区間の開始時の撮影地点において撮影されたアイコン表示開始フレーム中の、左右方向の中心線（４６ａ）から前記アイコン表示開始フレームにおけるフレーム中アイコン表示位置（４６ｂ）までの距離（４６ｃ）を、当該中心線（４６ａ）から前記アイコン表示開始フレーム（４６）の左右端部までの距離（４６ｄ）で除算した値であり、Ｑは、前記アイコン表示フレーム区間の終了時の撮影地点において撮影されたアイコン表示終了フレーム中の、左右方向の中心線（４７ａ）から前記アイコン表示終了フレームにおけるフレーム中アイコン表示位置（４６ｂ）までの距離（４７ｃ）を、当該中心線（４７ａ）から前記アイコン表示終了フレーム（４７）の左右端部までの距離（４７ｄ）で除算した値であり、
前記撮影経路中の２つの地点のうち、前記アイコン表示フレーム区間の終了時の撮影地点（５１）を基準とする前記アイコン表示地点の相対位置座標の成分のうち、前記撮影経路の移動方向に垂直な成分の値ｙを、
前記第１の動画を撮影したカメラの画角を特定できる場合、
ｙ＝［Ｌ×Ｑ×Ｒ／（Ｑ−Ｒ）］×ｔａｎα
という式で算出し、この際、αは、前記画角の１／２であり、
前記第１の動画を撮影したカメラの画角を特定できない場合、前記アイコン表示フレーム区間の終了時の撮影地点（５２）から前記値ｘに相当する距離だけ前記撮影経路の移動方向に沿って前方に進んだ地点（５３）から、前記撮影経路の移動方向に垂直な方向に位置する施設のうち、前記前方に進んだ地点地点（５３）に最も近い施設を、地図情報に基づいて検索し、検索の結果抽出した施設の所在位置を、前記アイコン表示地点とし、ただし、前記移動方向に垂直な方向としては、前記アイコン表示開始フレーム（４６）または前記アイコン表示終了フレーム（４７）で左右方向の中心線（４６ａ、４７ａ）に対してアイコンが表示された側のみに限定することを特徴とする請求項１ないし３のいずれか１つに記載のデータサーバ。 The icon display point calculation means (220)
Of the two points in the shooting route, the component of the relative position coordinates of the icon display point based on the shooting point (52) at the end of the icon display frame section is parallel to the moving direction of the shooting route. X of the component
x = L × R / (Q−R)
In this case, L is the moving distance between the two points, and R is the left-right direction in the icon display start frame taken at the shooting point at the start of the icon display frame section. The distance (46c) from the center line (46a) to the in-frame icon display position (46b) in the icon display start frame from the center line (46a) to the left and right ends of the icon display start frame (46) Q is a value divided by the distance (46d), and Q is the icon display end frame from the center line (47a) in the horizontal direction in the icon display end frame taken at the shooting point at the end of the icon display frame section. The distance (47c) from the center line (47a) to the icon display position (46b) in the frame at the icon is displayed. A value obtained by dividing the distance (47d) to the right and left end portions of the shown end frame (47),
Of the two points in the shooting route, the component of the relative position coordinates of the icon display point with respect to the shooting point (51) at the end of the icon display frame section is perpendicular to the moving direction of the shooting route. The value y of the component
When the angle of view of the camera that shot the first video can be specified,
y = [L × Q × R / (Q−R)] × tan α
In this case, α is ½ of the angle of view,
When the angle of view of the camera that has captured the first moving image cannot be specified, the camera moves forward along the moving direction of the shooting path by a distance corresponding to the value x from the shooting point (52) at the end of the icon display frame section. Based on the map information, the facility closest to the point point (53) proceeding forward is searched for among the facilities located in the direction perpendicular to the moving direction of the photographing route from the point (53) proceeding to The location of the facility extracted as a result of the search is set as the icon display point. However, the direction perpendicular to the moving direction is the left-right direction in the icon display start frame (46) or the icon display end frame (47). The data server according to any one of claims 1 to 3, wherein the data server is limited only to a side where an icon is displayed with respect to the center line (46a, 47a).
前記地図・動画送信手段（１４２、１６３、１７１）は、前記動画検索手段（１３３、１３４）によって抽出された動画を前記第１の動画として前記第１の表示端末に表示させるために、前記抽出された前記第１の動画を前記第１の表示端末に送信し、
前記動画検索手段（１３３、１３４）は、前記ユーザによって指定された前記複数のアイコンのいずれか１つ以上のアイコンＩＤを含む動画−アイコンリンク情報から、動画ＩＤを取得し、取得された動画ＩＤを取得回数が多い順に並べたリストを前記第１の表示端末に送信することで、前記ユーザに前記リスト中から動画を選択させることを特徴とする請求項１ないし４のいずれか１つに記載のデータサーバ。 A map and a plurality of icons on the map are displayed on the first display terminal, and when the user of the first display terminal performs a video search operation for designating the plurality of icons, the first display terminal It includes video search means (133, 134) that receives information on the content of the video search operation from the display terminal and extracts video based on the content of the received search operation.
The map / video transmission means (142, 163, 171) is configured to display the video extracted by the video search means (133, 134) as the first video on the first display terminal. Transmitting the first moving image to the first display terminal,
The moving image search means (133, 134) acquires a moving image ID from moving image-icon link information including one or more icon IDs of the plurality of icons specified by the user, and the acquired moving image ID 5. The method according to claim 1, wherein the user is made to select a moving image from the list by transmitting to the first display terminal a list in which the number of acquisitions is arranged in descending order. Data server.
前記第１の表示端末は、
前記データサーバの前記地図・動画送信手段（１４２、１６３、１７１）によって送信された情報を受信する受信手段（１７２）と、
前記受信手段（１７２）が受信した前記地図上の前記アイコン表示地点に基づく位置に、前記第１のアイコンを表示する地図表示手段（１７３）と、
前記受信手段（１７２）が受信した前記第１の動画を再生する動画再生手段（１７４）と、を備えたことを特徴とする動画・地図連動表示システム。 A video / map interlocking display system comprising the data server according to any one of claims 1 to 5 and the first display terminal,
The first display terminal is
Receiving means (172) for receiving information transmitted by the map / video transmitting means (142, 163, 171) of the data server;
Map display means (173) for displaying the first icon at a position based on the icon display point on the map received by the receiving means (172);
A moving image / map interlocking display system comprising: a moving image reproducing unit (174) for reproducing the first moving image received by the receiving unit (172).
前記データサーバは更に、前記アイコン表示地点算出手段（２２０）が算出した前記１つのアイコンの前記地図上のアイコン表示地点が、前記データベース部（２０）に記録されている他のアイコンのアイコン表示地点の近傍であり、かつ、前記１つのアイコンの種別と、前記データベース部（２０）に記録されている前記他のアイコンの種別とが同じであることに基づいて、前記１つのアイコンと同一の地点を指し示しているアイコンのアイコンＩＤ（以下、前記１つのアイコンについての同一地点アイコンＩＤという）として、前記他のアイコンのアイコンＩＤをデータベース部（２０）に記録する同一地点アイコンＩＤ記録手段（２５０〜２８０）を備え、
前記地図・動画送信手段（１４２、１６３、１７１）は、前記第１の動画、前記地図、および前記アイコン表示地点情報に加え、前記第１の動画についての前記同一地点アイコンＩＤおよび前記同一地点アイコンＩＤに対応するアイコンについて前記データベース部（２０）に記録されているアイコン表示地点情報およびアイコン付加情報を、前記第１の表示端末に送信し、
前記第１の表示端末は、
前記受信手段（１７２）が受信した前記同一地点アイコンＩＤに対応するアイコンを、前記地図中および前記第１の動画中に表示させる対象から除外する同一地点アイコン除外手段（８０３、８０５、８１０）と、
前記受信手段（１７２）が受信した前記第１のアイコンのアイコン付加情報と共に、前記受信手段（１７２）が受信した前記同一地点アイコンＩＤに対応するアイコンのアイコン付加情報を表示する付加情報表示手段（８１５〜８４０）と、を備えたことを特徴とする請求項６に記載の動画・地図連動表示システム。 The other information of the one icon received by the icon display section / position receiving means (126) of the data server includes information describing the type of the one icon and a point indicated by the one icon. Contains additional information,
In the data server, the icon display point on the map of the one icon calculated by the icon display point calculation means (220) is the icon display point of another icon recorded in the database unit (20). And the same point as the one icon based on the fact that the type of the one icon and the type of the other icon recorded in the database unit (20) are the same As the icon ID of the icon pointing to the icon (hereinafter referred to as the same spot icon ID for the one icon), the same spot icon ID recording means (250˜) for recording the icon ID of the other icon in the database unit (20). 280),
The map / video transmission means (142, 163, 171) includes the same video icon, the map, and the icon display spot information, and the same spot icon ID and the same spot icon for the first video. For the icon corresponding to the ID, the icon display point information and the icon additional information recorded in the database unit (20) are transmitted to the first display terminal,
The first display terminal is
Same spot icon excluding means (803, 805, 810) for excluding the icon corresponding to the same spot icon ID received by the receiving means (172) from the object to be displayed in the map and the first moving image; ,
Additional information display means for displaying icon additional information of the icon corresponding to the same spot icon ID received by the receiving means (172) together with the icon additional information of the first icon received by the receiving means (172). 815 to 840), and the moving image / map interlocking display system according to claim 6.
前記アイコン表示地点算出手段（２２０）が算出した前記１つのアイコンの前記地図上のアイコン表示地点が、前記データベース部（２０）に記録されている他のアイコンのアイコン表示地点の近傍であり、かつ、前記アイコン表示区間・位置受信手段（１２６）が受信した前記１つのアイコンの種別と、前記データベース部（２０）に記録されている前記他のアイコンの種別とが同じであることに基づいて、前記１つの表示端末のユーザに対して、前記１つのアイコンと前記他のアイコンとが同じ地点を指し示しているかを問い合わせ、その問い合わせに対する回答が肯定的であることに基づいて、前記１つのアイコンと同一の地点を指し示しているアイコンのアイコンＩＤとして、前記他のアイコンのアイコンＩＤをデータベース部（２０）に記録する同一地点アイコンＩＤ記録手段（２５０〜２８０）と、
前記アイコン表示地点算出手段（２２０）が算出した前記１つのアイコンのアイコン表示地点の確度を設定し、設定した確度を前記１つのアイコンの前記アイコン表示地点に関連付けて前記データベース部（２０）に記録する確度設定手段（２３０）と、を備え、
前記地図・動画送信手段（１４２、１６３、１７１）は、前記第１の動画、前記地図、および前記第１のアイコンのアイコン表示地点情報に加え、前記第１のアイコンの前記アイコン表示地点について設定された確度と、前記同一地点アイコンＩＤに対応するアイコンについてデータベース部（２０）に記録されているアイコン表示地点情報、アイコン付加情報、および当該アイコン表示地点の確度を、前記第１の表示端末に送信し、
前記第１の表示端末は、前記受信手段（１７２）が受信した前記同一地点アイコンＩＤに対応するアイコンを、前記地図中に表示させる対象から除外する同一地点アイコン除外手段（８１０）を備え、
前記第１の表示端末の前記地図表示手段（１７３）は、前記受信手段（１７２）が受信した前記第１のアイコンについてのアイコン表示地点および当該アイコン表示地点について設定された確度との組、および、前記受信手段（１７２）が受信した前記同一地点アイコンＩＤに対応するアイコンについてのアイコン表示地点および当該アイコン表示地点について設定された確度との組、を用いて、アイコン表示地点の重み付き平均を算出し、この算出の際、各確度の値には、確度が高いほど大きい重み数値を対応付け、算出した重み付き平均の地点に、前記アイコンを表示することを特徴とする請求項６に記載の動画・地図連動表示システム。 The data server is
The icon display point on the map of the one icon calculated by the icon display point calculating means (220) is in the vicinity of the icon display point of another icon recorded in the database unit (20), and Based on the fact that the type of the one icon received by the icon display section / position receiving means (126) is the same as the type of the other icon recorded in the database unit (20), The user of the one display terminal is inquired whether the one icon and the other icon point to the same point, and the answer to the inquiry is affirmative, As the icon ID of the icon pointing to the same point, the icon ID of the other icon is used as the database part (2 The same point icon ID recording means (250 to 280) to be recorded in)
The accuracy of the icon display point of the one icon calculated by the icon display point calculation means (220) is set, and the set accuracy is associated with the icon display point of the one icon and recorded in the database unit (20). An accuracy setting means (230) for performing,
The map / video transmission means (142, 163, 171) sets the icon display point of the first icon in addition to the icon display point information of the first video, the map, and the first icon. The icon display point information, icon additional information, and the accuracy of the icon display point recorded in the database unit (20) for the icon corresponding to the same point icon ID are displayed on the first display terminal. Send
The first display terminal includes an identical spot icon excluding means (810) for excluding an icon corresponding to the identical spot icon ID received by the receiving means (172) from an object to be displayed in the map,
The map display means (173) of the first display terminal includes a set of the icon display point for the first icon received by the receiving means (172) and the accuracy set for the icon display point, and The weighted average of the icon display points is calculated using a set of the icon display point for the icon corresponding to the same point icon ID received by the receiving means (172) and the accuracy set for the icon display point. The calculation is performed, and at the time of the calculation, each accuracy value is associated with a higher weight value as the accuracy is higher, and the icon is displayed at the calculated weighted average point. Video / map linked display system.
前記受信手段（１７２）が受信した前記第１の動画を再生する際に、前記第１の動画に登録されたアイコン（以下、再生動画登録アイコン）と、前記第１の動画以外の動画に登録され、かつ、前記第１の動画の撮影経路沿いにあるアイコン（以下、他動画登録アイコンという）を取得し、取得した前記再生動画登録アイコンおよび前記他動画登録アイコンのそれぞれが前記第１の動画中のどのフレーム区間に表示されるべきかを決定する決定処理（６３７）を実行し、その後、前記第１の動画を再生し、その再生中に、前記前記再生動画登録アイコンおよび前記他動画登録アイコンを、前記動画中アイコン表示区間・位置決定処理（６３７）で決定したフレーム区間および位置に表示させ、
前記決定処理（６３７）においては：
取得した前記再生動画登録アイコンのそれぞれについては、当該再生動画登録アイコンの動画−アイコンリンク情報中のアイコン表示フレーム区間に従って、当該再生動画登録アイコンを前記第１の動画中のどのフレーム区間に表示されるべきかを決定し、
取得した前記他動画登録アイコンのそれぞれについては、当該他動画登録アイコンの動画−アイコンリンク情報からアイコン表示フレーム区間およびフレーム中アイコン表示位置を読み出し、当該他動画登録アイコンの登録先の動画（以下、他動画という）と前記第１の動画の移動方向が同じであるか否かを、前記他動画および前記第１の動画の動画経路情報に基づいて判定し、
移動方向が同じである場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間（８１ａ〜８１ｂ）に対応する撮影地点範囲（８２ａ〜８２ｂ）と、前記第１の動画において当該他動画登録アイコンを表示する表示フレーム区間（８３ａ〜８３ｂ）に対応する撮影地点範囲（８２ａ〜８２ｂ）とが同じになるよう、前記第１の動画において当該他動画登録アイコンを表示するフレームの区間（８３ａ〜８３ｂ）を決定し、
移動方向が同じである場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間（８１ａ〜８１ｂ）に対応する撮影地点範囲（８２ａ〜８２ｂ）と、前記第１の動画において当該他動画登録アイコンを表示する表示フレームの区間（８３ａ〜８３ｂ）に対応する撮影地点範囲（８２ａ〜８２ｂ）とが同じになるよう、前記第１の動画において当該他動画登録アイコンを表示するフレームの区間（８３ａ〜８３ｂ）を決定し、
移動方向が逆である場合、前記他動画における当該他動画登録アイコンのアイコン表示フレーム区間（８４ａ〜８４ｂ）に対応する撮影地点範囲（８５ａ〜８５ｂ）の終点（８５ｂ）に対して、当該撮影地点範囲（８５ａ〜８５ｂ）とは逆の方向から到達するような地点範囲（８５ｃ〜８５ｂ）が、前記第１の動画において当該他動画登録アイコンを表示するフレームの区間（８６ｃ〜８６ｂ）に対応する撮影地点範囲（８５ｃ〜８５ｂ）となるよう、前記第１の動画において当該他動画登録アイコンを表示するフレームの区間（８６ｃ〜８６ｂ）を決定することを特徴とする請求項６ないし８のいずれか１つに記載の動画・地図連動表示システム。 The moving image playback means (174) of the first display terminal is
When playing back the first moving image received by the receiving means (172), the icon registered in the first moving image (hereinafter referred to as a reproduction moving image registration icon) and the moving image other than the first moving image are registered. And an icon (hereinafter referred to as another video registration icon) along the shooting path of the first video is acquired, and each of the acquired playback video registration icon and the other video registration icon is the first video. A determination process (637) for determining which frame section in the frame to be displayed is executed, and then the first moving image is played back. During the playback, the playback moving image registration icon and the other moving image registration are performed. An icon is displayed in the frame section and position determined in the icon display section / position determination process (637) in the moving image,
In the determination process (637):
For each of the acquired playback video registration icons, the playback video registration icon is displayed in any frame section in the first video according to the icon display frame section in the video-icon link information of the playback video registration icon. Decide what to do,
For each of the acquired other video registration icons, the icon display frame section and the icon display position in the frame are read from the video-icon link information of the other video registration icon, and the registration destination video of the other video registration icon (hereinafter, Determining whether or not the moving direction of the first video is the same as the other video) based on the video path information of the other video and the first video,
When the moving directions are the same, the other moving image registration in the first moving image and the shooting point range (82a to 82b) corresponding to the icon display frame section (81a to 81b) of the other moving image registration icon in the other moving image. A frame section (83a to 83a) for displaying the other moving image registration icon in the first video so that the shooting point range (82a to 82b) corresponding to the display frame section (83a to 83b) for displaying the icon is the same. 83b)
When the moving directions are the same, the other moving image registration in the first moving image and the shooting point range (82a to 82b) corresponding to the icon display frame section (81a to 81b) of the other moving image registration icon in the other moving image. The frame section (83a) for displaying the other moving image registration icon in the first video so that the shooting spot range (82a to 82b) corresponding to the section (83a to 83b) of the display frame for displaying the icon is the same. ~ 83b)
When the moving direction is opposite, the shooting point is set with respect to the end point (85b) of the shooting point range (85a to 85b) corresponding to the icon display frame section (84a to 84b) of the other moving image registration icon in the other moving image. A point range (85c to 85b) that reaches from the opposite direction to the range (85a to 85b) corresponds to a frame section (86c to 86b) in which the other moving image registration icon is displayed in the first moving image. 9. The frame section (86 c to 86 b) in which the other moving image registration icon is displayed in the first moving image is determined so as to be in the shooting point range (85 c to 85 b). The video / map linked display system described in one.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009202701A JP2011053103A (en) | 2009-09-02 | 2009-09-02 | Data server for transmitting map and animation, and linkage display system for animation-map |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009202701A JP2011053103A (en) | 2009-09-02 | 2009-09-02 | Data server for transmitting map and animation, and linkage display system for animation-map |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011053103A true JP2011053103A (en) | 2011-03-17 |
Family
ID=43942264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009202701A Pending JP2011053103A (en) | 2009-09-02 | 2009-09-02 | Data server for transmitting map and animation, and linkage display system for animation-map |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011053103A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013069121A (en) * | 2011-09-22 | 2013-04-18 | Dentsu Inc | Information provision device, information provision method, and information provision program |
| JP2013183333A (en) * | 2012-03-02 | 2013-09-12 | Alpine Electronics Inc | Augmented reality system |
| JP2013183218A (en) * | 2012-02-29 | 2013-09-12 | Nikon Corp | Moving image reproduction apparatus and moving image reproduction program |
| JP2014077689A (en) * | 2012-10-10 | 2014-05-01 | Jvc Kenwood Corp | Comment creation and display device, comment creation and display method and comment creation and display program |
| JP2015069258A (en) * | 2013-09-27 | 2015-04-13 | 大日本印刷株式会社 | Video capturing/reproduction system, video capturing/reproduction method, video sharing server, video sharing method, and program |
| CN106323325A (en) * | 2016-08-12 | 2017-01-11 | 北京东方车云信息技术有限公司 | Method and device for displaying dynamic driving images |
| JP2017517789A (en) * | 2014-03-27 | 2017-06-29 | ティ・ヴイ・ユー・ネットワークス・コーポレイションＴＶＵ Ｎｅｔｗｏｒｋｓ Ｃｏｒｐｏｒａｔｉｏｎ | Method, apparatus and system for time-based and geographic navigation of video content |
| JP2017528819A (en) * | 2014-08-21 | 2017-09-28 | トヨタ モーター セールス，ユー．エス．エー．，インコーポレイティド | Download video of traffic conditions acquired by requested vehicle |
| JP2020046757A (en) * | 2018-09-14 | 2020-03-26 | 株式会社小松製作所 | Reproduction device, analysis assistance system and reproduction method |
| US10609097B2 (en) | 2014-03-27 | 2020-03-31 | Tvu Networks Corporation | Methods, apparatus, and systems for instantly sharing video content on social media |
| WO2023224036A1 (en) * | 2022-05-17 | 2023-11-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Information processing method, information processing device, and information processing program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001004389A (en) * | 1999-06-23 | 2001-01-12 | Alps Electric Co Ltd | Animation displaying device |
| JP2003227722A (en) * | 2002-02-05 | 2003-08-15 | Mitsubishi Electric Corp | Navigation system |
| JP2003329462A (en) * | 2002-05-08 | 2003-11-19 | Hitachi Ltd | Image distribution device and image information distribution system |
| JP2008059319A (en) * | 2006-08-31 | 2008-03-13 | Mitsubishi Electric Corp | Object recognition device, and image object positioning device |
| JP2009122916A (en) * | 2007-11-14 | 2009-06-04 | Ntt Resonant Inc | Video display system, video display method, client terminal, and client terminal program |
-
2009
- 2009-09-02 JP JP2009202701A patent/JP2011053103A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001004389A (en) * | 1999-06-23 | 2001-01-12 | Alps Electric Co Ltd | Animation displaying device |
| JP2003227722A (en) * | 2002-02-05 | 2003-08-15 | Mitsubishi Electric Corp | Navigation system |
| JP2003329462A (en) * | 2002-05-08 | 2003-11-19 | Hitachi Ltd | Image distribution device and image information distribution system |
| JP2008059319A (en) * | 2006-08-31 | 2008-03-13 | Mitsubishi Electric Corp | Object recognition device, and image object positioning device |
| JP2009122916A (en) * | 2007-11-14 | 2009-06-04 | Ntt Resonant Inc | Video display system, video display method, client terminal, and client terminal program |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013069121A (en) * | 2011-09-22 | 2013-04-18 | Dentsu Inc | Information provision device, information provision method, and information provision program |
| JP2013183218A (en) * | 2012-02-29 | 2013-09-12 | Nikon Corp | Moving image reproduction apparatus and moving image reproduction program |
| JP2013183333A (en) * | 2012-03-02 | 2013-09-12 | Alpine Electronics Inc | Augmented reality system |
| JP2014077689A (en) * | 2012-10-10 | 2014-05-01 | Jvc Kenwood Corp | Comment creation and display device, comment creation and display method and comment creation and display program |
| JP2015069258A (en) * | 2013-09-27 | 2015-04-13 | 大日本印刷株式会社 | Video capturing/reproduction system, video capturing/reproduction method, video sharing server, video sharing method, and program |
| JP2017517789A (en) * | 2014-03-27 | 2017-06-29 | ティ・ヴイ・ユー・ネットワークス・コーポレイションＴＶＵ Ｎｅｔｗｏｒｋｓ Ｃｏｒｐｏｒａｔｉｏｎ | Method, apparatus and system for time-based and geographic navigation of video content |
| US10609097B2 (en) | 2014-03-27 | 2020-03-31 | Tvu Networks Corporation | Methods, apparatus, and systems for instantly sharing video content on social media |
| JP2017528819A (en) * | 2014-08-21 | 2017-09-28 | トヨタ モーター セールス，ユー．エス．エー．，インコーポレイティド | Download video of traffic conditions acquired by requested vehicle |
| CN106323325A (en) * | 2016-08-12 | 2017-01-11 | 北京东方车云信息技术有限公司 | Method and device for displaying dynamic driving images |
| JP2020046757A (en) * | 2018-09-14 | 2020-03-26 | 株式会社小松製作所 | Reproduction device, analysis assistance system and reproduction method |
| JP7372031B2 (en) | 2018-09-14 | 2023-10-31 | 株式会社小松製作所 | Reproduction device, analysis support system and reproduction method |
| WO2023224036A1 (en) * | 2022-05-17 | 2023-11-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Information processing method, information processing device, and information processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011053103A (en) | Data server for transmitting map and animation, and linkage display system for animation-map | |
| US11836194B2 (en) | Mobile information device, image pickup device, and information acquisition system | |
| US9736208B2 (en) | Method and apparatus for sharing media based on social network in communication system | |
| CN101715165B (en) | It is at least partially based on the method and apparatus that path provides media item access | |
| JP4914268B2 (en) | Search service server information search method. | |
| CN105203115B (en) | For generating, managing and the method and apparatus of shared motion path | |
| CN112565552B (en) | Image pickup apparatus, information acquisition system, recording medium, and server | |
| US20070061855A1 (en) | Content display control apparatus and content display control method | |
| US9014969B2 (en) | Guidance system, server, terminal device, and guidance method | |
| JP6142504B2 (en) | Avatar travel management device, avatar travel management method, and program | |
| JP2003329462A (en) | Image distribution device and image information distribution system | |
| CN114398554B (en) | Content searching method, device, equipment and medium | |
| JP2015064675A (en) | Driving support method, center device, and driving support system | |
| JP7465856B2 (en) | Server, terminal, distribution system, distribution method, information processing method, and program | |
| JP2013183218A (en) | Moving image reproduction apparatus and moving image reproduction program | |
| US9417084B2 (en) | Method and navigation device for providing at least one route | |
| JP2005294893A (en) | Image distribution system | |
| JP2009021767A (en) | Image providing device, image providing method, image providing program, and computer readable recording medium recorded with the program thereon | |
| JP2010217229A (en) | Method and device for displaying map information | |
| JP2006112981A (en) | Information processing apparatus | |
| JP2003242152A (en) | Map information system, information processing apparatus, map information providing server, map information providing program, information processing program, and recording medium | |
| JP2008107927A (en) | Information transfer system for vehicle | |
| JP4516374B2 (en) | Mobile object tracking processing program | |
| JP2013134225A (en) | Navigation device, system, method, and computer program | |
| KR101461590B1 (en) | Method for Providing Multimedia Contents based on Location |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111019 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130219 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130618 |