JP2020042025A - Content providing method and device for route guidance - Google Patents
Content providing method and device for route guidance Download PDFInfo
- Publication number
- JP2020042025A JP2020042025A JP2019154778A JP2019154778A JP2020042025A JP 2020042025 A JP2020042025 A JP 2020042025A JP 2019154778 A JP2019154778 A JP 2019154778A JP 2019154778 A JP2019154778 A JP 2019154778A JP 2020042025 A JP2020042025 A JP 2020042025A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user terminal
- frame
- route guidance
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 5
- 230000006855 networking Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/362—Destination input or retrieval received from an external device or application, e.g. PDA, mobile phone or calendar application
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3623—Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
Abstract
Description
実施形態は、経路案内のためのコンテンツをユーザ端末に提供する方法に関し、より詳細には、出発地から目的地へのユーザ端末の移動に伴ってユーザ端末の位置に対応する映像がユーザ端末に表示されるようにする動画形態のコンテンツを経路案内のためのコンテンツとして提供する方法に関する。 Embodiments relate to a method of providing content for route guidance to a user terminal, and more specifically, an image corresponding to the position of the user terminal along with the movement of the user terminal from the departure point to the destination is displayed on the user terminal. The present invention relates to a method for providing moving image content to be displayed as content for route guidance.
ユーザから所定の目的地に対する経路案内要求を受信し、経路要求に含まれる出発地から目的地までの最適経路を検索し、検索された最適経路をユーザ端末に提供して表示されるようにするサービスが広く利用されている。このようなサービスは、地理的位置および場所に関するデータを提供するマップアプリケーションによって提供される。一方、地理的位置および場所と関連し、該当の位置および場所が撮影された映像(image)を提供するストリートビューアプリケーションも広く知られている。 A route guidance request for a predetermined destination is received from a user, an optimum route from a departure point to a destination included in the route request is searched, and the searched optimum route is provided to a user terminal and displayed. The service is widely used. Such services are provided by map applications that provide data regarding geographical location and location. On the other hand, a street view application that provides an image in which the position and the place are photographed in relation to the geographical position and the place is also widely known.
しかし、ユーザが未知の目的地に向かう場合、ユーザは該当の目的地までの経路や周辺の地物を熟知していないため、マップアプリケーションが提供する経路案内サービスだけでは、迅速かつ正確に目的地までたどり着くことは難しい。また、ストリートビューアプリケーションが提供するストリートビューサービス(またはロードビューサービス)は、特定の位置や場所に関するイメージを提供するだけであるため、目的地を探索するための参照資料として活用できるだけであり、目的地に迅速かつ正確に到達のために活用するには困難がある。 However, when the user goes to an unknown destination, the user is not familiar with the route to the destination or the surrounding features, so the route guidance service provided by the map application alone can quickly and accurately determine the destination. It's hard to get to. In addition, since the Street View service (or Road View service) provided by the Street View application only provides an image of a specific location or place, it can only be used as a reference material for searching for a destination. There are difficulties to utilize to reach the ground quickly and accurately.
したがって、ユーザが未知の目的地に向かう場合でも、ユーザが該当の目的地に対して案内された最適経路に沿って正しく移動しているのかをユーザが直観的に確認できるようにする経路案内のためのコンテンツ提供方法が求められている。 Therefore, even when the user is heading to an unknown destination, route guidance is provided so that the user can intuitively confirm whether the user is correctly traveling along the optimal route guided to the destination. There is a demand for a content providing method for the purpose.
特許文献1(登録日2014年03月27日)は、モバイルデバイスにユーザが所望する種類の移動経路に関する情報を伝達できるようにする移動経路案内方法および装置に関し、移動経路の設定に必要な事項を入力するための入力ウィンドウに入力された情報に基づいて移動経路を検索してユーザに提供することにより、ユーザの目的に合った移動経路の設定および提供を可能にする技術を開示している。 Patent Document 1 (registered March 27, 2014) relates to a travel route guidance method and apparatus that enables a user to transmit information about a desired type of travel route to a mobile device, and matters necessary for setting a travel route. Discloses a technology that enables a user to set and provide a travel route that meets a user's purpose by searching for a travel route based on information input to an input window for inputting a user and providing the travel route to a user. .
上述した情報は、理解を助けるためのものに過ぎず、従来技術の一部を形成しない内容を含むこともあるし、従来技術が当業者に提示することのできる内容を含まないこともある。 The information set forth above is for ease of understanding and may include content that does not form part of the prior art or may not include content that the prior art can present to those skilled in the art.
一実施形態は、撮影位置と関連する位置情報、撮影のために使用された装置の姿勢情報、および進行方向情報を含む映像情報を取得しておき、ユーザ端末からの経路案内要求に従って、適切な映像情報を含む経路案内のためのコンテンツをユーザ端末に提供する方法を提供することを目的とする。 In one embodiment, position information related to the photographing position, posture information of the device used for photographing, and video information including the traveling direction information are obtained, and appropriate information is obtained according to a route guidance request from the user terminal. An object of the present invention is to provide a method of providing content for route guidance including video information to a user terminal.
一実施形態は、出発地および目的地を含む経路案内要求に従ってユーザ端末に動画形態の経路案内のためのコンテンツが提供され、このようなコンテンツを利用し、ユーザ端末の出発地から目的地への移動に伴ってユーザ端末で、ユーザ端末の位置および姿勢に対応する適切な映像を表示する方法を提供することを目的とする。 In one embodiment, a content for moving image-type route guidance is provided to a user terminal in accordance with a route guidance request including a departure place and a destination. It is an object of the present invention to provide a method for displaying an appropriate image corresponding to the position and orientation of a user terminal on a user terminal as the user moves.
一実施形態は、複数の撮影者が撮影した映像情報を分析および加工することによって生成された経路案内のためのコンテンツを、経路案内を要求したユーザ端末に提供し、経路内の位置にユーザ端末が位置したときに該当の位置に対して最適化されたフレームをユーザ端末に表示する方法を提供することを目的とする。 One embodiment provides content for route guidance generated by analyzing and processing video information captured by a plurality of photographers to a user terminal that has requested route guidance, and stores the user terminal at a position in the route. It is an object of the present invention to provide a method of displaying, on a user terminal, a frame optimized for a corresponding position when is located.
一側面において、サーバが実行する経路案内のためのコンテンツ提供方法であって、撮影位置と関連する位置情報、撮影のために使用された装置と関連する姿勢情報、および進行方向情報を含む映像情報を取得する映像情報取得段階、および前記位置情報と関連する経路案内要求に従って、前記映像情報を含む経路案内のためのコンテンツを提供するコンテンツ提供段階を含む、経路案内のためのコンテンツ提供方法が提供される。 In one aspect, a method for providing content for route guidance performed by a server, the method comprising providing position information related to a shooting position, posture information related to a device used for shooting, and image information including traveling direction information. And a content providing step of providing content for route guidance including the video information according to a route guidance request related to the location information. Is done.
前記映像情報は、複数のフレームを含んでよい。 The video information may include a plurality of frames.
前記位置情報、前記姿勢情報、および前記進行方向情報は、前記複数のフレームそれぞれが撮影された時点(timing)と関連する情報であってよい。 The position information, the posture information, and the traveling direction information may be information related to a timing at which each of the plurality of frames is photographed.
前記位置情報は、撮影位置のGPS情報を含んでよい。 The position information may include GPS information of a shooting position.
前記進行方向情報は、前記撮影のために使用された装置の進行方向を含んでよい。 The traveling direction information may include a traveling direction of a device used for the photographing.
前記姿勢情報は、前記撮影のために使用された装置のロール(roll)角度、ピッチ(pitch)角度、および前記進行方向にヨー(yaw)角度のうちの少なくとも1つを含んでよい。 The posture information may include at least one of a roll angle, a pitch angle, and a yaw angle of the apparatus used for the shooting.
前記コンテンツ提供段階は、ユーザ端末から前記経路案内要求を受信する段階、および動画形態の前記コンテンツを前記ユーザ端末に送信する段階を含んでよい。 The content providing step may include receiving the route guidance request from a user terminal, and transmitting the moving image content to the user terminal.
前記コンテンツは、前記ユーザ端末の出発地から目的地への移動に伴って前記ユーザ端末の位置に対応する映像が前記ユーザ端末に表示されるように、前記ユーザ端末に提供されてよい。 The content may be provided to the user terminal such that an image corresponding to the position of the user terminal is displayed on the user terminal as the user terminal moves from a departure place to a destination.
前記コンテンツ提供段階は、前記出発地から前記目的地までの最適経路を決定する段階、前記映像情報に含まれる複数のフレームそれぞれと関連する位置情報、姿勢情報、および進行方向情報に基づき、前記最適経路内の位置に対して少なくとも1つの候補フレームを決定する段階、前記候補フレームに基づき、前記位置に対して決定された最適フレームを含む前記動画形態のコンテンツを生成する段階、および前記動画形態のコンテンツを前記ユーザ端末に提供する段階を含んでよい。 Determining the optimal route from the departure point to the destination; and determining the optimal route based on position information, attitude information, and traveling direction information associated with each of the plurality of frames included in the video information. Determining at least one candidate frame for a position in the path, generating the moving image-form content including the optimal frame determined for the position based on the candidate frame; The method may include providing content to the user terminal.
前記候補フレームは複数であり、前記最適フレームは、複数の候補フレームを合成することによって生成された再構成フレームであってよい。 The plurality of candidate frames may be plural, and the optimum frame may be a reconstructed frame generated by combining a plurality of candidate frames.
前記再構成フレームは、前記位置と関連する3次元映像を含んでよい。 The reconstructed frame may include a 3D image associated with the position.
前記最適経路内の位置は複数であり、前記候補フレームおよび前記最適フレームは、前記最適経路内の複数の位置それぞれに対して決定されてよい。 There may be a plurality of positions on the optimal route, and the candidate frame and the optimal frame may be determined for each of the plurality of positions on the optimal route.
前記動画形態のコンテンツは、前記ユーザ端末が前記最適経路に沿って移動するにあたり、前記ユーザ端末が前記複数の位置のうち第1位置に位置したときに前記第1位置と関連する最適フレームが前記ユーザ端末に表示されるように、前記ユーザ端末に提供されてよい。 When the user terminal moves along the optimal route, the optimal frame associated with the first position is determined when the user terminal is located at the first position among the plurality of positions. It may be provided to the user terminal so as to be displayed on the user terminal.
前記動画形態のコンテンツは、前記動画形態のコンテンツのフレームと共に、前記フレームの中心または前記ユーザ端末の画面の中心には第1ガイド情報が、前記フレームと関連する進行方向情報および姿勢情報のうちの少なくとも一方と前記ユーザ端末の姿勢情報および進行方向情報のうちの少なくとも一方に基づいて決定された位置には第2ガイド情報が、前記ユーザ端末に表示されるように、前記ユーザ端末に提供されてよい。 The content in the moving image form includes, together with the frame of the content in the moving image form, first guide information at the center of the frame or the center of the screen of the user terminal, among the traveling direction information and the posture information related to the frame. At least one and a position determined based on at least one of the posture information and the traveling direction information of the user terminal, the second guide information is provided to the user terminal so as to be displayed on the user terminal. Good.
前記第1ガイド情報は、前記ユーザ端末の位置または姿勢を示す情報であってよい。 The first guide information may be information indicating a position or a posture of the user terminal.
前記第2ガイド情報は、前記ユーザ端末の所期の位置または姿勢への操作を誘導する情報であってよい。 The second guide information may be information for guiding an operation of the user terminal to a desired position or posture.
前記候補フレームまたは前記最適フレームは、前記位置に対応する位置情報と関連し、前記位置から前記目的地に向かう道路または道を正面から撮影した進行方向情報および姿勢情報と関連するフレームを含んでよい。 The candidate frame or the optimal frame may include a frame associated with position information corresponding to the position, and associated with traveling direction information and attitude information obtained by photographing a road or a road from the position to the destination from the front. .
前記映像情報を取得する段階は、複数の撮影者によって撮影された映像情報を取得してよい。 The step of obtaining the video information may include obtaining video information captured by a plurality of photographers.
前記候補フレームは、前記複数の撮影者によって撮影された映像情報に含まれる複数のフレームそれぞれと関連する位置情報、姿勢情報、および進行方向情報に基づき、前記最適経路内の位置に対して決定されてよい。 The candidate frame is determined for a position in the optimal route based on position information, attitude information, and traveling direction information associated with each of the plurality of frames included in the video information captured by the plurality of photographers. May be.
他の側面において、ユーザ端末が実行する経路案内のためのコンテンツ提供方法であって、経路案内要求をサーバに送信する送信段階、前記サーバから、出発地から目的地までの経路内に存在する少なくとも1つの位置と関連する映像情報を含むコンテンツを受信する受信段階であって、前記映像情報は、撮影位置と関連する位置情報、撮影のために使用された装置と関連する姿勢情報、および進行方向情報を含む受信段階、および前記コンテンツを利用し、前記ユーザ端末の前記出発地から前記目的地への移動に伴って前記ユーザ端末の位置に対応する映像を表示する表示段階を含む、経路案内のためのコンテンツ提供方法が提供される。 In another aspect, there is provided a method for providing content for route guidance executed by a user terminal, the method comprising: transmitting a route guidance request to a server; and transmitting at least a route guidance request from the server to a destination. Receiving a content including video information related to one position, wherein the video information includes position information related to a shooting position, posture information related to a device used for shooting, and a traveling direction. Receiving information including information, and displaying the image corresponding to the position of the user terminal as the user terminal moves from the departure point to the destination using the content. Content providing method is provided.
前記表示段階は、前記コンテンツに含まれる複数のフレームから前記ユーザ端末の位置に対応するフレームを決定する決定段階であって、前記フレームは、前記フレームと関連する位置情報と前記ユーザ端末の位置情報との比較結果に基づいて決定される決定段階、および前記ユーザ端末が前記位置に位置したときに前記決定されたフレームを表示するフレーム表示段階を含んでよい。 The displaying step is a determining step of determining a frame corresponding to the position of the user terminal from a plurality of frames included in the content, wherein the frame includes position information related to the frame and position information of the user terminal. And a frame display step of displaying the determined frame when the user terminal is located at the position.
前記決定されたフレームは、複数の候補フレームを合成して生成された再構成フレームであってよい。 The determined frame may be a reconstructed frame generated by combining a plurality of candidate frames.
前記フレーム表示段階は、前記決定されたフレームと共に、前記表示される決定されたフレームの中心または前記ユーザ端末の画面の中心に第1ガイド情報を表示する段階を含んでよい。 The displaying the frame may include displaying the first guide information at a center of the determined frame to be displayed or a center of a screen of the user terminal together with the determined frame.
前記第1ガイド情報は、前記ユーザ端末の位置または姿勢を示す情報であってよい。 The first guide information may be information indicating a position or a posture of the user terminal.
前記フレーム表示段階は、前記決定されたフレームおよび前記第1ガイド情報と共に、前記決定されたフレームと関連する進行方向情報および姿勢情報のうちの少なくとも一方と前記ユーザ端末の姿勢情報および進行方向情報のうちの少なくとも一方に基づいて決定された位置に第2ガイド情報を表示する第2ガイド情報表示段階を含んでよい。 The frame display step includes, together with the determined frame and the first guide information, at least one of traveling direction information and posture information related to the determined frame and posture information and traveling direction information of the user terminal. The method may include displaying a second guide information at a position determined based on at least one of the second guide information.
前記第2ガイド情報は、前記ユーザ端末の所期の位置または姿勢への操作を誘導する情報であってよい。 The second guide information may be information for guiding an operation of the user terminal to a desired position or posture.
前記ユーザ端末の所期の位置または姿勢への操作は、前記第1ガイド情報の表示位置と前記第2ガイド情報の表示位置を一致させる前記ユーザ端末の操作であってよい。 The operation of the user terminal to an intended position or posture may be an operation of the user terminal that matches a display position of the first guide information with a display position of the second guide information.
前記第2ガイド情報表示段階は、前記決定されたフレームと関連する進行方向角度(heading angle)と前記ユーザ端末の進行方向角度とを比べることによって方向差角度を計算する段階、前記決定されたフレームと関連する姿勢情報と前記ユーザ端末の姿勢情報とを比べることによって姿勢差角度を計算する段階、および前記方向差角度および前記姿勢差角度に基づいて前記第2ガイド情報の表示位置を決定し、決定された表示位置に前記第2ガイド情報を表示する段階を含んでよい。 The displaying of the second guide information includes calculating a direction difference angle by comparing a heading angle associated with the determined frame with a heading angle of the user terminal; and determining the determined frame. Calculating the posture difference angle by comparing the posture information related to the posture information of the user terminal, and determining the display position of the second guide information based on the direction difference angle and the posture difference angle, The method may include displaying the second guide information at the determined display position.
前記姿勢差角度は、前記決定されたフレームと関連するロール(roll)角度およびピッチ(pitch)角度のうちの少なくとも1つと、前記ユーザ端末と関連するロール(roll)角度およびピッチ(pitch)角度のうちの少なくとも1つとの比較に基づいて生成されてよい。 The attitude difference angle may include at least one of a roll angle and a pitch angle associated with the determined frame and a roll angle and a pitch angle associated with the user terminal. It may be generated based on a comparison with at least one of them.
前記フレーム表示段階は、前記方向差角度および前記姿勢差角度のうちの少なくとも一方が所定の値以上となる場合、通知メッセージを表示する段階を含んでよい。 The displaying the frame may include displaying a notification message when at least one of the direction difference angle and the posture difference angle is equal to or greater than a predetermined value.
前記映像情報は、前記経路内に存在する少なくとも1つの位置を複数の撮影者が撮影した映像情報を含んでよい。 The video information may include video information in which at least one position existing in the route is photographed by a plurality of photographers.
前記映像情報は、ストリートビューまたはロードビューサービスを提供するサーバから取得した前記経路内に存在する少なくとも1つの位置と関連する映像情報を含んでよい。 The video information may include video information related to at least one position existing in the route obtained from a server that provides a street view or road view service.
撮影位置と関連する位置情報、撮影のために使用された装置の姿勢情報、および進行方向情報を含む映像情報が経路案内のためのコンテンツとしてユーザ端末に提供されることにより、ユーザは、ユーザ端末に表示された映像を確認しながら、目的地に対して案内を受けた最適経路に沿って正しく移動しているのかを直観的に確認することができる。すなわち、ユーザは、ユーザ端末に表示された映像と該当の位置の実際の地物とを容易に比べることができ、表示された映像が案内する位置から外れた場合には通知メッセージ(例えば、警報など)を受け取ることができる。 By providing the user terminal with the position information related to the shooting position, the posture information of the device used for shooting, and the video information including the traveling direction information as content for route guidance, the user can use the user terminal. Can be intuitively confirmed whether the user is correctly moving along the optimal route guided to the destination while confirming the image displayed in. That is, the user can easily compare the image displayed on the user terminal with the actual feature at the corresponding position. When the displayed image deviates from the position to be guided, a notification message (for example, an alarm Etc.).
複数の撮影者によって撮影された映像情報を経路案内のためのコンテンツ生成に使用することにより、経路案内が要求された経路内の位置に対して(目的地への経路を識別するために)最適化されたフレームの映像をユーザ端末に表示することができる。 By using video information captured by multiple photographers to generate content for route guidance, it is optimal for the position within the route for which route guidance was requested (to identify the route to the destination) The video of the converted frame can be displayed on the user terminal.
以下、添付の図面を参照しながら、実施形態について詳しく説明する。各図面に提示された同じ参照符号は、同じ部材を示す。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The same reference numerals provided in each drawing indicate the same members.
以下の詳細な説明において、ユーザ端末、サーバ、およびその他の装置に含まれる構成によって実行される機能および/または動作は、説明の便宜上、該当の構成ではなく、該当の構成を含む上位の構成やユーザ端末、サーバ、およびその他の装置によって実行されるものと記載されてよい。 In the following detailed description, the functions and / or operations performed by the components included in the user terminal, the server, and the other devices are not the corresponding components, but are higher-level components including the corresponding components, for convenience of explanation. It may be described as being executed by a user terminal, a server, and other devices.
また、以下の詳細な説明において、経路案内のためのコンテンツの提供を受けたユーザ端末に表示される映像は、映像のフレームを示してよい。すなわち、「映像」および「フレーム」という用語は、互いに代替されて使用されてよく、「映像」という用語は、複数のフレームを含む映像の他にも、1つのフレームを指称するものとして使用されてよい。 Further, in the following detailed description, the video displayed on the user terminal that has been provided with the content for route guidance may indicate a frame of the video. That is, the terms “video” and “frame” may be used interchangeably with each other, and the term “video” may be used to refer to one frame in addition to a video including a plurality of frames. May be.
図1は、一実施形態における、撮影によって取得された映像情報に基づく経路案内のためのコンテンツを、経路案内を要求したユーザ端末に提供する方法を示した図である。 FIG. 1 is a diagram illustrating a method for providing content for route guidance based on video information acquired by shooting to a user terminal that has requested route guidance in one embodiment.
図1では、撮影のために使用される装置110が場所または位置160を撮影することによって生成された映像情報がサーバ(ストリートビューサーバ)120に伝達され、映像情報を含む経路案内のためのコンテンツが、経路案内を要求したユーザ端末130に提供される方法について説明する。
In FIG. 1, video information generated by the
装置110は、場所または位置160に存在する地物(例えば、道路、道、または建物など)を撮影する装置であって、カメラを含んでよい。図に示すように、装置110は、スマートフォンであってよい。装置110は、場所または位置160に存在する地物を撮影することによって映像情報を生成してよい。映像情報は、撮影された映像の他にも、撮影時点(timing)において装置110と関連する位置情報、姿勢情報、および進行方向情報を含んでよい。
The
装置110の具体的な構成とその機能、および動作については、図2を参照しながらさらに詳しく説明する。
The specific configuration, function, and operation of the
装置110は、生成した映像情報を、ネットワーク(例えば、インターネット)を介してサーバ120に送信してよい。サーバ120は、装置110から取得した映像情報をデータベース125に記録してよい。データベース125は、図に示すようにサーバ120と個別に存在してもよいし、図に示すものとは異なるようにサーバ120の内部に存在してもよい。
The
サーバ120は、ユーザ端末130からの所定の目的地への経路案内要求に従って目的地への最適経路を決定し、決定された最適経路に関する情報をユーザ端末130に提供してよい。すなわち、サーバ120は、ユーザ端末130に経路案内サービスを提供する装置であってよい。また、サーバ120は、ユーザ端末130からの要求に従い、ユーザ端末130にストリートビューサービスまたはロードビューサービスを提供する装置であってよい。
The
サーバ120の具体的な構成とその機能、および動作については、図2を参照しながらさらに詳しく説明する。
The specific configuration, function, and operation of the
サーバ120は、装置110から取得した映像情報を利用して経路案内のためのコンテンツを生成してよい。経路案内のためのコンテンツは、上記映像情報を含んでよい。サーバ120は、ユーザ端末130から経路案内要求を受信した場合、経路案内のためのコンテンツを生成して(または、予め生成されたコンテンツを)ユーザ端末130に提供してよい。
The
経路案内のためのコンテンツは、サーバ120が決定した最適経路をユーザ端末130に案内するためのコンテンツであってよい。
The content for route guidance may be content for guiding the
ユーザ端末130は、提供を受けた経路案内のためのコンテンツを利用してユーザ端末130のユーザを目的地まで案内してよい。ユーザ端末130は、そのコンテンツを利用しながら、ユーザ端末130が目的地に移動することに伴ってユーザ端末130の位置に対応する映像150を表示してよい。ユーザ端末130に表示される映像150は、目的地を案内するためのガイド情報(例えば、目的地への方向を示す情報として矢印および/またはテキストを含む情報、目的地への道路/道を視覚的に区別して示すための情報など)を含んでよい。
The
ユーザ端末130が目的地に移動することによる位置変化に伴ってユーザ端末130に表示される映像も変化するという点において、映像情報を含む経路案内のためのコンテンツは、動画形態のコンテンツであってよい。
In the point that the video displayed on the
ユーザ端末130が、サーバ120から映像情報を含む経路案内のためのコンテンツの提供を受け、これを利用してユーザを目的地まで案内することにより、ユーザは、ユーザ端末130に表示された映像と現在地の地物とを比較できるようになり、これにより、ユーザは、目的地に対して案内を受けた最適経路に沿って正しく移動しているのかを直観的に確認することが可能となる。
The
装置110、サーバ120、およびユーザ端末130の具体的な機能および動作と、サーバ120による経路案内のためのコンテンツの提供、およびユーザ端末130での経路案内のためのコンテンツの再生(表示)については、図2〜図12を参照しながらさらに詳しく説明する。
The specific functions and operations of the
図2は、一実施形態における、撮影を実行する装置、経路案内のためのコンテンツを生成するサーバ、および経路案内のためのコンテンツの提供を受けるユーザ端末の構成を示した構造図である。 FIG. 2 is a structural diagram showing a configuration of a device that executes shooting, a server that generates content for route guidance, and a user terminal that receives provision of content for route guidance in one embodiment.
図2を参照しながら、図1で説明した装置110、サーバ120、およびユーザ端末130の構成についてさらに詳しく説明する。
The configurations of the
装置110は、場所または位置160に存在する地物を撮影できるように構成された、いかなる装置であってもよい。例えば、装置110は、カメラ116を含むスマートフォン、PC(personal computer)、ノート型PC(laptop computer)、ラップトップコンピュータ(laptop computer)、タブレット(tablet)、IoT(Internet Of Things)機器、またはウェアラブルコンピュータ(wearable computer)など、ユーザが使用する端末であってよい。
The
装置110は、通信部112、制御部114、カメラ116、およびセンサ部118を含んでよい。
The
通信部112は、装置110がサーバ120や他の装置と通信するための装置であってよい。すなわち、通信部112は、サーバ120などとの間でデータおよび/または情報を送信/受信できるようにする、装置110のネットワークインタフェースカード、ネットワークインタフェースチップ、およびネットワーキングインタフェースポートなどのようなハードウェアモジュールであってもよいし、ネットワークデバイスドライバ(driver)またはネットワーキングプログラムのようなソフトウェアモジュールであってもよい。
The
制御部114は、装置110の構成要素を管理してよく、装置110が使用するプログラムまたはアプリケーションを実行させてよい。例えば、制御部114は、受信した撮影命令に従ってカメラ116を制御して場所または位置160に存在する地物を撮影するようにしたり、撮影による映像情報を生成したりしてよい。制御部114は、映像情報を生成するために要求されるプログラムまたはアプリケーションを実行させてよく、該プログラムまたはアプリケーションの実行およびデータの処理などに必要な演算を処理してよい。制御部114は、装置110の少なくとも1つのプロセッサまたはプロセッサ内の少なくとも1つのコア(core)であってよい。
The
カメラ116は、撮影を実行するための構成であって、イメージセンサを含んでよい。
The
センサ部118は、撮影時点における装置110と関連する位置情報、姿勢情報、および進行方向情報を取得するための装置であってよい。進行方向情報は、装置110の進行方向(すなわち、進行方向を示す情報を含む)を含んでよい。また、センサ部118は、撮影時点における装置110と関連する速度情報を取得してよい。
The
位置情報は、撮影位置のGPS情報として、緯度情報、経度情報、および高度情報を含んでよい。例えば、センサ部118は、撮影時点における装置110と関連する位置情報を取得するためのGPSモジュールおよび高度センサを含んでよい。姿勢情報は、装置110のロール(roll)角度、ピッチ(pitch)角度、およびヨー(yaw)角度のうちの少なくとも1つを含んでよい。姿勢情報は、装置110のロール(roll)角度、ピッチ角度、およびヨー角度をすべて含んでよい。姿勢情報は、姿勢方位基準装置(AHRS:Attitude Heading Reference System)情報を含んでよい。また、姿勢情報は、装置110と関連するオイラー角(euler angle)および/またはクォータニオン情報を含んでよい。
The position information may include latitude information, longitude information, and altitude information as GPS information of the shooting position. For example, the
姿勢情報は、装置110の角度情報を含んでよい。角度情報は、装置の進行方向角度(heading angle)(向首角)を含んでよい。進行方向角度は、装置110のヨー(yaw)角度に対応してよい。ヨー角度は、進行方向情報が示す装置110の進行方向に対するヨー角度であってよい。すなわち、ヨー角度は、装置110の進行方向に対して撮影者(ユーザ)が眺める方向(すなわち、装置100(装置100のカメラ)が向く方向)の角度をさらに考慮したものであってよい。
The posture information may include angle information of the
センサ部118は、地磁気センサ、加速度センサ、およびジャイロセンサを含んでよく、姿勢情報および/または進行方向情報は、このようなセンサのうちの少なくとも1つが取得した値から計算されてよい。速度情報も、センサ部118の構成のうちの少なくとも1つが取得した値から計算されてよい。
The
制御部114の映像情報生成部115は、カメラ116が撮影した映像に、センサ部118が取得した情報を関連させることによって映像情報を生成してよい。生成された映像情報は、通信部112を経てサーバ120に送信されてよい。映像情報生成部115は、ソフトウェアモジュールおよび/またはハードウェアモジュールで実現されてよい。
The video
また、図に示されてはいないが、装置110は、データまたは情報を記録するための装置として格納部を備えてよい。格納部は、生成された映像情報を記録してよい。すなわち、サーバ120に送信される映像情報は、格納部に予め記録されていた映像情報であってよい。
Although not shown, the
サーバ120は、装置110から映像情報を取得し、映像情報を含む経路案内のためのコンテンツを、経路案内を要求したユーザ端末130に提供する装置であってよい。例えば、サーバ120は、ユーザ端末130に経路案内サービスを提供する装置であってよい。また、サーバ120は、ユーザ端末130からの要求に従って、ユーザ端末130にストリートビューサービスまたはロードビューサービスを提供する装置であってよい。
The
サーバ120は、制御部220および通信部210を含んでよい。以下で記載する詳細な説明において、制御部220および通信部210に対して、装置110の制御部114および通信部112と重複する内容については、その説明を省略する。
The
通信部210は、サーバ120が装置110やユーザ端末130と通信するための装置であって、装置110やユーザ端末130との間でデータおよび/または情報を送信/受信できるようにする装置であってよい。
The
制御部220は、サーバ120の構成要素を管理してよく、ユーザ端末130からの経路案内要求に従って、最適経路を計算し、取得した映像情報に基づいて経路案内のためのコンテンツを生成してユーザ端末130に提供する構成であってよい。制御部220は、サーバ120の少なくとも1つのプロセッサまたはプロセッサ内の少なくとも1つのコア(core)であってよい。
The
制御部220は、映像情報取得部222およびコンテンツ提供部224を含んでよい。制御部220の構成222および224のそれぞれは、1つ以上のソフトウェアモジュールおよび/またはハードウェアモジュールによって実現されてよい。
The
映像情報取得部222は、装置110による撮影位置と関連する位置情報、装置110の姿勢情報、および装置110と関連する進行方向情報を含む映像情報を取得してよい。また、映像情報取得部222は、装置110ではなく、ストリートビュー(またはロードビュー)映像を記録しているデータベース(例えば、データベース125)から映像情報を取得してもよい。データベースから取得される映像情報は、装置110からの映像情報と同じように、経路案内のためのコンテンツを構成するために使用されてよく、装置110からの映像情報に対する補助的な情報(すなわち、装置110からの映像情報を補うためのデータ)として使用されてもよい。データベースから取得される映像情報も、撮影時点における位置情報、姿勢情報、および進行方向情報を含んでよい。
The video
すなわち、経路案内のためのコンテンツを生成するために使用される映像情報は、装置110から取得される映像情報の他にも、ストリートビューまたはロードビューサービスを提供するサーバ(例えば、データベース125)から取得される(案内される経路内の位置と関連する)映像情報を含んでよい。
That is, the video information used to generate the content for route guidance is obtained from a server (for example, database 125) that provides a street view or road view service in addition to the video information acquired from the
コンテンツ提供部224は、例えば、ユーザ端末130からの位置情報と関連する経路案内要求に従って、映像情報を含む経路案内のためのコンテンツをユーザ端末130に提供してよい。ユーザは、目的地への移動に伴い、ユーザ端末130に表示される経路案内のためのコンテンツに含まれる映像を参照しながら、迅速かつ正確に目的地に向かうことが可能となる。
The
ユーザ端末130は、サーバ120に対して経路案内を要求し、サーバ120から経路案内のためのコンテンツの提供を受ける、いかなる電子装置であってもよい。例えば、ユーザ端末130は、装置110と同じように、スマートフォン、PC(personal computer)、ノート型PC(laptop computer)、ラップトップコンピュータ(laptop computer)、タブレット(tablet)、IoT(Internet Of Things)機器、またはウェアラブルコンピュータ(wearable computer)など、ユーザが使用する端末であってよい。
The
ユーザ端末130は、通信部230、制御部240、表示部250、およびセンサ部260を含んでよい。ユーザ端末130は、装置110と類似する装置であってよく、通信部230、制御部240、およびセンサ部260に対して、装置110の通信部112、制御部114、およびセンサ部118と重複する内容については、その説明を省略する。
The
通信部230は、ユーザ端末130がサーバ120や他のユーザ端末と通信するための装置であって、サーバ120などとの間でデータおよび/または情報を送信/受信できるようにする装置であってよい。
The
制御部240は、ユーザ端末130の構成要素を管理してよく、経路案内要求を生成し、通信部230を経てサーバ120に経路案内要求を送信し、サーバ120からの経路案内のためのコンテンツを表示部250に表示する構成であってよい。制御部240は、ユーザ端末130の少なくとも1つのプロセッサまたはプロセッサ内の少なくとも1つのコア(core)であってよい。
The
制御部240は、ユーザに経路案内を提供するためのアプリケーションまたはプログラム(例えば、地図アプリケーション、ナビゲーションアプリケーション、ストリートビューまたはロードビューアプリケーションなど)を実行させてよい。
The
制御部240は、経路案内要求部242およびコンテンツ提供部244を含んでよい。制御部240の構成242および244のそれぞれは、1つ以上のソフトウェアモジュールおよび/またはハードウェアモジュールによって実現されてよい。
The
経路案内要求部242は、ユーザが入力または選択した目的地(目的地と同じように、ユーザが入力または選択した目的地であるか、ユーザ端末130の現在地)と出発地を含む経路案内要求を生成してよく、生成された経路案内要求をサーバに送信してよい。 The route guidance request unit 242 generates a route guidance request including the destination input or selected by the user (the destination input or selected by the user similarly to the destination, or the current location of the user terminal 130) and the departure location. It may be generated, and the generated route guidance request may be transmitted to the server.
コンテンツ提供部244は、通信部230を経てサーバ120から経路案内のためのコンテンツを受信してよく、該当のコンテンツに含まれる映像を表示部250に表示してよい。経路案内のためのコンテンツは、出発地から目的地までの経路内に存在する少なくとも1つの位置と関連する映像情報を含んでよい。
The
コンテンツ提供部244は、受信した経路案内のためのコンテンツに含まれる映像(映像のフレーム)のうち、ユーザ端末130の現在地に対応するフレームを表示部250に表示してよい。すなわち、コンテンツ提供部244は、受信したコンテンツを利用しながら、ユーザ端末130が出発地から目的地に移動することに伴ってユーザ端末130の位置に対応する映像を表示部250に表示してよい。
The
表示部250は、ユーザ端末130のユーザが入力したデータを出力する装置であって、経路案内のためのコンテンツに含まれる映像を表示する装置であってよい。例えば、表示部250は、タッチスクリーンを含んでよく、この場合、表示部は、ユーザから設定および要求の入力を受けるための入力部の機能を備えるように構成されてよい。
The
センサ部260は、上述したセンサ部118と類似するように構成されてよい。すなわち、センサ部260は、ユーザ端末130と関連する位置情報、姿勢情報、および進行方向情報を取得するものであってよい。
The
制御部240は、ユーザ端末130の位置に対応する映像を表示部250に表示するにあたり、センサ部260で取得された情報を考慮することにより、ユーザに、目的地に対するより直観的な経路案内を提供することが可能となる。
When displaying the image corresponding to the position of the
装置110による映像情報の生成、サーバ120による経路案内のためのコンテンツの提供、およびユーザ端末130による映像の表示方法については、図3〜図12を参照しながらさらに詳しく説明する。
The generation of video information by the
以上、図1を参照しながら説明した技術的特徴は、図2にもそのまま適用可能であるため、重複する説明は省略する。 Since the technical features described above with reference to FIG. 1 can be applied to FIG. 2 as they are, duplicate description will be omitted.
図3は、一実施形態における、撮影を実行する装置が映像情報を取得(生成)してサーバに送信する方法を示したフローチャートである。 FIG. 3 is a flowchart illustrating a method of acquiring (generating) video information and transmitting the video information to a server, according to an embodiment.
段階310において、装置110は、カメラ116を利用して所定の位置または場所の地物を撮影してよい。地物は、位置または場所内またはその付近の道路、道、または建物などを含んでよい。
In
段階320において、装置110は、段階310における撮影と関連し、撮影位置と関連する位置情報、装置110の姿勢情報、および装置110と関連する進行方向情報を取得してよい。段階320で取得する情報は、センサ部118によって取得されてよい。位置情報、姿勢情報、および進行方向情報は、撮影がなされた時点(timing)と関連する情報(すなわち、撮影がなされた時点に取得した情報)であってよい。
In
段階330において、装置110は、カメラ116を利用して撮影された映像と段階320で取得した位置情報、姿勢情報、および進行方向情報とを互いに関連させることによって映像情報を生成してよい。例えば、位置情報、姿勢情報、および進行方向情報は、撮影された映像に含まれる各フレームと関連してよい。
In
また、位置情報、姿勢情報、および進行方向情報を、所定の時間間隔(例えば、1秒または5秒)で取得して撮影された映像と関連させてもよいし、映像に含まれるフレームのうち所定のキーフレームだけに対して関連させてもよい。 In addition, the position information, the posture information, and the traveling direction information may be acquired at predetermined time intervals (for example, 1 second or 5 seconds) and may be associated with a captured image. It may be related only to a predetermined key frame.
したがって、生成された映像情報は、位置情報、姿勢情報、および進行方向情報を含むようになる。生成された映像情報は複数のフレームを含んでよく、位置情報、姿勢情報、および進行方向情報は、複数のフレームそれぞれが撮影された時点の情報であってよい。また、映像情報は、センサ部118によって取得された装置110の速度情報を含んでよい。速度情報も、類似の方式によって映像情報のフレームと関連させてよい。
Therefore, the generated video information includes the position information, the posture information, and the traveling direction information. The generated video information may include a plurality of frames, and the position information, the posture information, and the traveling direction information may be information at the time when each of the plurality of frames is photographed. Further, the video information may include speed information of the
段階340において、装置110は、生成された映像情報を、通信部112を経てサーバ120に送信してよい。例えば、装置110は、映像情報をサーバ120にアップロードしてよい。
In
一例として、装置110は、SNSアカウントと関連してよく、サーバ120は、SNSサービスを提供するサーバであってよい。このとき、装置110は、自身のSNSアカウントに該当するタイムラインに映像情報をアップロードしてよい。
As an example, the
映像情報に含まれる映像は、複数の場所または位置に存在する地物を撮影したものであってよい。例えば、映像情報に含まれる映像は、装置110のユーザが特定の目的地(例えば、ブロガーであるユーザが紹介しようとする場所)に向かって移動する経路内に存在する場所または位置に存在する地物を撮影したものであってよい。このような映像は、ユーザが移動しながら撮影した動画を含んでよい。これにより、ユーザは、自身が撮影した動画を経路案内のためのコンテンツとしてSNSサービスにアップロードしてよい。
The video included in the video information may be an image of a feature present at a plurality of places or positions. For example, the video included in the video information may be a location that exists in a path or a location that exists in a route that the user of the
サーバ120に送信された映像情報を利用ながら、サーバ120が経路案内のためのコンテンツを生成および提供する方法については、図4〜図12を参照しながらさらに詳しく説明する。
The method by which the
以上、図1および図2を参照しながら上述した技術的特徴についての説明は、図3にもそのまま適用可能であるため、重複する説明は省略する。 The description of the technical features described above with reference to FIGS. 1 and 2 can be applied to FIG. 3 as it is, and a duplicate description will be omitted.
図4は、一実施形態における、サーバが映像情報を取得し、経路案内を要求したユーザ端末に経路案内のためのコンテンツを提供する方法を示したフローチャートである。 FIG. 4 is a flowchart illustrating a method in which a server acquires video information and provides content for route guidance to a user terminal that has requested route guidance in one embodiment.
段階410において、サーバ120の映像情報取得部222は、通信部210を経て撮影位置と関連する位置情報、撮影のために使用された装置の姿勢情報、および撮影のために使用された装置と関連する進行方向情報を含む映像情報を取得してよい。上述したように、映像情報は、装置110によって撮影および生成されて受信された情報であってよい。
In
サーバ120は、複数の撮影者が撮影した映像情報を取得してよい。サーバ120が取得した映像情報は、データベース125に記録されて管理されてよい。
The
段階420において、サーバ120のコンテンツ提供部224は、段階410で取得した映像情報を含むコンテンツを、経路案内のためのコンテンツとして提供してよい。例えば、コンテンツ提供部224は、ユーザ端末130から位置情報と関連する経路案内要求を受信することにより、該当の位置情報を含む映像情報を含んだコンテンツを、経路案内のためのコンテンツとしてユーザ端末130に提供してよい。
In
すなわち、ユーザ端末130からの経路要求に従って、該当の経路要求と関連する位置を撮影した映像を含む経路案内のためのコンテンツが、ユーザ端末130に提供されてよい。
That is, in accordance with the route request from the
段階420については、段階422〜段階429を参照しながらさらに詳しく説明する。
Step 420 will be described in more detail with reference to
段階422において、コンテンツ提供部224は、通信部210を経てユーザ端末130から出発地および目的地を含む経路案内要求を受信してよい。ユーザ端末130からの経路案内要求には目的地(および出発地)が含まれていないこともあるが、このとき、経路案内要求は、サーバ120に対する動画形態のコンテンツの要求であってよい。
In
段階424において、コンテンツ提供部224は、経路案内要求に含まれる出発地から目的地までの最適経路を決定してよい。最適経路は複数であってよく、ユーザ端末130による選択によって最終的に決定されてよい。
In
段階426において、コンテンツ提供部224は、段階410で取得した映像情報に含まれる複数のフレームそれぞれと関連する位置情報、姿勢情報、および進行方向情報に基づき、段階424で決定された最適経路内の少なくとも1つの位置に対して少なくとも1つの候補フレームを決定してよい。候補フレームは、最適経路内の複数の位置に対してそれぞれ決定(割り当て)されてよい。各位置に対する候補フレームは、複数であってよい。
In
候補フレーム(または後述する最適フレーム)は、それが決定される位置に対応する位置情報と関連するものであり、前記位置から目的地に向かう道路または道を正面(または、ほぼ正面を包括する)から撮影した進行方向情報および姿勢情報と関連するフレームを含んでよい。すなわち、最適経路内の特定の位置に対して決定される候補フレームは、その特定の位置で撮影された映像であって、その特定の位置から目的地に向かう道路または道を正面(または、ユーザが道路または道を最も容易に識別できるようにする形態)から撮影した映像を含んでよい。また、候補フレームは、複数のフレームのうち、このような基準に最も適合する所定の数のフレームを含んでよい。 The candidate frame (or the optimal frame described later) is associated with the position information corresponding to the position where the candidate frame is determined, and the front or the road including the road or the road from the position to the destination is included. May include a frame related to the traveling direction information and the posture information captured from the camera. That is, the candidate frame determined for a specific position in the optimal route is a video taken at the specific position, and a road or a road from the specific position to the destination is viewed from the front (or the user). May be included in a form that makes it possible to identify a road or a road most easily. Also, the candidate frames may include a predetermined number of frames that best meet such criteria among a plurality of frames.
一方、上述したように、経路案内のためのコンテンツを生成するための映像情報は、最適経路内に存在する少なくとも1つの位置を複数の撮影者が撮影した映像情報を含むものであってよい。複数の撮影者が撮影した映像情報に基づいて候補フレームが決定される場合、候補フレームは、複数の撮影者が撮影した映像情報に含まれる複数のフレームそれぞれと関連する位置情報、姿勢情報、および進行方向情報に基づき、最適経路内の各位置に対して決定されてよい。 On the other hand, as described above, the video information for generating the content for the route guidance may include video information in which at least one position existing in the optimal route is photographed by a plurality of photographers. When the candidate frame is determined based on video information captured by a plurality of photographers, the candidate frame includes position information, posture information, and position information associated with each of the plurality of frames included in the video information captured by the plurality of photographers. It may be determined for each position in the optimal route based on the traveling direction information.
最適経路内の位置に対して候補フレームを割り当てる(マッチングさせる)方法については、図9を参照しながらさらに詳しく説明する。 A method of assigning (matching) a candidate frame to a position in the optimal route will be described in more detail with reference to FIG.
段階428において、コンテンツ提供部224は、最適経路内の位置に対して決定された候補フレームに基づいて最適フレームを決定してよく、最適フレームを含む動画形態のコンテンツを生成してよい。最適経路内のある位置に対して候補フレームが複数である場合、最適フレームは、複数の候補フレームのうちからコンテンツ提供部224が相応しいフレームとして選択したフレームであってよい。また、最適フレームは、複数の候補フレームを合成して生成された再構成フレームであってよい。再構成フレームは、該当の位置と関連する3次元映像(あるいは、拡張現実またはVR映像)を含んでよい。再構成フレームを生成する方法については、図10を参照しながらさらに詳しく説明する。
In
段階429において、コンテンツ提供部224は、生成された動画形態のコンテンツを、通信部210を経てユーザ端末130に送信してよい。ユーザ端末130に提供されるコンテンツは、ユーザ端末130の出発地から目的地への移動に伴ってユーザ端末130の位置に対応する映像がユーザ端末130に表示されるように提供されるという点において、動画形態のコンテンツに該当するものと見なしてよい。
In
段階424で決定された最適経路内の複数の位置それぞれに対し、候補フレームおよび対応する最適フレームが決定されてよい。このとき、動画形態のコンテンツは、ユーザ端末130が最適経路に沿って移動するにあたり、ユーザ端末130が最適経路内の複数の位置のうち第1位置に位置したときに、第1位置(第1位置に該当する位置情報)と関連する最適フレームがユーザ端末130に表示されるように、ユーザ端末130に提供されてよい。これにより、ユーザは、ユーザ端末130に表示された映像と現在地の地物とを比べることにより、目的地に対して案内を受けた最適経路に沿って正しく移動しているのかを直観的に確認することが可能となる。
For each of the plurality of positions in the optimal path determined in
一方、動画形態のコンテンツは、ユーザ端末130に表示される映像に該当するフレームと共に、表示されるフレームの中心(すなわち、ユーザ端末130の画面の中心)には第1ガイド情報が、前記フレームと関連する進行方向情報および姿勢情報のうちの少なくとも一方とユーザ端末130の姿勢情報および進行方向情報のうちの少なくとも一方に基づいて決定された位置には第2ガイド情報が表示されるように、ユーザ端末130に提供されてよい。
On the other hand, the content in the moving image form includes the frame corresponding to the image displayed on the
第1ガイド情報は、ユーザ端末130の位置または姿勢を示す情報であってよく、第2ガイド情報は、ユーザ端末130の所期の位置または姿勢への操作を誘導する情報であってよい。第1ガイド情報および第2ガイド情報の具体的な例については、図12を参照しながらさらに詳しく説明する。
The first guide information may be information indicating a position or a posture of the
以上、図1〜図3を参照しながら上述した技術的特徴についての説明は、図4にもそのまま適用可能であるため、重複する説明は省略する。 The description of the technical features described above with reference to FIGS. 1 to 3 can be applied to FIG. 4 as it is, and a duplicate description will be omitted.
図5は、一実施形態における、ユーザ端末がサーバに経路案内要求を送信し、サーバから経路案内のためのコンテンツの提供を受ける方法を示したフローチャートである。 FIG. 5 is a flowchart illustrating a method in which the user terminal transmits a route guidance request to the server and receives the provision of content for route guidance from the server according to the embodiment.
図5〜図7を参照しながら、ユーザ端末130の観点から見た、経路案内のためのコンテンツの提供について説明する。
With reference to FIGS. 5 to 7, provision of content for route guidance from the viewpoint of the
段階510において、ユーザ端末130の経路案内要求部242は、通信部230を経て経路案内要求をサーバ120に送信してよい。経路案内要求には、ユーザ端末130によって設定された出発地および目的地が含まれてよい。
In
また、このような経路案内要求には特別な目的地(および出発地)が含まれていないこともある。このとき、経路案内要求は、サーバ120に対する動画形態のコンテンツの要求であってよい。動画形態のコンテンツは、例えば、上述したように、SNSサービスにアップロードされた経路案内のためのコンテンツ(動画)であってよい。経路案内要求は、例えば、SNSサービスにアップロードされた動画をユーザがユーザ端末130にダウンロードするために選択することによってなされてよい。
Such a route guidance request may not include a special destination (and departure place). At this time, the route guidance request may be a request for content in a moving image format to the
段階520において、ユーザ端末130のコンテンツ提供部244は、通信部230により、サーバ120から、出発地から目的地までの経路内に存在する少なくとも1つの位置と関連する映像情報を含むコンテンツを受信してよい。経路は、図4を参照しながら説明した最適経路に対応してよい。映像情報を含むコンテンツは、上述した経路案内のためのコンテンツに対応してよい。サーバ120から受信したコンテンツに含まれる映像情報は、上述した装置110による撮影によって生成されたものであって、撮影位置と関連する位置情報、撮影のために使用された装置110と関連する姿勢情報、および進行方向情報を含んでよい。出発地および/または目的地は、ユーザ端末130によって設定されたものであってよい。
In
経路案内要求に特別な目的地が含まれない、サーバ120に対する動画形態のコンテンツの要求である場合、目的地は、動画形態のコンテンツに含まれている目的地であってよい。ここで、出発地は、ユーザ端末130の現在地であってよい。すなわち、ユーザ端末130は、他のユーザがSNSサービスにアップロードした動画を、経路案内のための動画形態のコンテンツとして受信(ダウンロード)してよい。受信した動画を利用しながら、ユーザ端末130は、ユーザ端末130の出発地から、その動画に含まれる目的地への移動に伴って、ユーザ端末130の位置に対応する映像を表示してよい。したがって、ユーザは、他のユーザがSNSサービスにアップロードした動画と実際に移動中の経路とを比べながら、目的地に移動することが可能となる。
If the route guidance request does not include a special destination and is a request for the moving image content to the
段階530において、コンテンツ提供部244は、受信したコンテンツを利用し、ユーザ端末130の出発地から目的地への移動に伴ってユーザ端末130の位置に対応する映像を表示部250に表示してよい。
In
一例として、ユーザ端末130のユーザがAレストランを目的地とし、現在地(出発地)からAレストランまでの経路案内要求をサーバ120に送信した場合、ユーザ端末130は、Aレストランまでの経路を撮影した映像情報を含むコンテンツを、最適経路の案内のためのコンテンツとしてサーバ120から受信し、このようなコンテンツを利用することで、Aレストランまでの移動過程で撮影された映像による経路案内をユーザに提供してよい。このとき、映像情報は、以前にAレストランを訪問したことのあるユーザが撮影してサーバ120にアップロードしたものであってよい。
As an example, when the user of the
図6を参照しながら、段階530についてさらに詳しく説明する。 Step 530 will be described in more detail with reference to FIG.
図6は、一実施形態における、ユーザ端末が目的地への移動に伴い、ユーザ端末の位置に対応する経路案内のための映像を表示する方法を示したフローチャートである。 FIG. 6 is a flowchart illustrating a method of displaying an image for route guidance corresponding to the position of the user terminal as the user terminal moves to the destination in one embodiment.
段階610において、コンテンツ提供部244は、段階520で受信したコンテンツに含まれる複数のフレームから、ユーザ端末130の位置に対応するフレームを決定してよい。決定されたフレームは、ユーザ端末130が前記位置に位置したときにユーザ端末130に表示される「再生フレーム」であってよい。コンテンツ提供部244は、複数のフレームと関連する位置情報とユーザ端末の位置情報とを比べることにより、ユーザ端末130の位置に対応するフレームを決定してよい。すなわち、複数のフレームのうち、その撮影位置がユーザ端末の(現在)位置に該当するか、その位置に最も近いフレームが、前記位置の再生フレームとして決定されてよい。ユーザ端末130の位置に相応しい再生フレームをマッチングさせる方法については、図11を参照しながらさらに詳しく説明する。
In
段階620において、コンテンツ提供部244は、ユーザ端末130が該当の位置に位置したときに、再生フレーム(段階610で決定されたフレーム)を表示部250に表示してよい。したがって、ユーザ端末130がサーバ120から目的地までの経路の案内を受けるにあたり、ユーザ端末130が経路内の位置に位置することにより、該当の位置の地物を撮影した映像がユーザ端末130に表示されてよい。
In
一方、表示部250に表示される再生フレーム(段階610で決定されたフレーム)は、図4を参照しながら上述した最適フレーム、または複数の候補フレームを合成して生成された再構成フレームであってよい。
On the other hand, the reproduced frame (the frame determined in step 610) displayed on the
段階622において、コンテンツ提供部244は、表示部250において、再生フレームと共に、再生フレームの中心に第1ガイド情報を表示してよい。第1ガイド情報は、ユーザ端末130の位置または姿勢を示す情報であってよい。第1ガイド情報は、ユーザ端末130の基準位置を示す情報であってよい。
In
段階624において、コンテンツ提供部244は、表示部250において、再生フレームおよび第1ガイド情報と共に、再生フレームと関連する進行方向情報および姿勢情報のうちの少なくとも一方とユーザ端末130の姿勢情報および進行方向情報のうちの少なくとも一方に基づいて決定された位置に第2ガイド情報を表示してよい。
In
第2ガイド情報は、ユーザ端末130の所期の位置または姿勢への操作を誘導する情報であってよく、第2ガイド情報によって誘導されるユーザ端末130の所期の位置または姿勢への操作は、第1ガイド情報の表示位置と第2ガイド情報の表示位置とを一致させるユーザ端末130の操作であってよい。
The second guide information may be information that guides an operation to a desired position or posture of the
第1ガイド情報および第2ガイド情報は、再生フレームと重なって表示されてよい。 The first guide information and the second guide information may be displayed so as to overlap the playback frame.
第1ガイド情報および第2ガイド情報の具体的な例については、図12を参照しながらさらに具体的に説明する。 Specific examples of the first guide information and the second guide information will be described more specifically with reference to FIG.
図7を参照しながら、第2ガイド情報を表示する方法についてさらに詳しく説明する。図7は、一実施形態における、ユーザ端末が経路案内のための映像を表示するにあたり、第2ガイド情報を共に表示する方法を示したフローチャートである。 A method for displaying the second guide information will be described in more detail with reference to FIG. FIG. 7 is a flowchart illustrating a method of displaying the second guide information together when the user terminal displays an image for route guidance in one embodiment.
段階710において、コンテンツ提供部244は、再生フレームと関連する進行方向角度(heading angle)とユーザ端末130の進行方向角度(heading angle)とを比べることによって方向差角度を計算してよい。すなわち、方向差角度は、再生フレームの撮影時の進行方向角度とユーザ端末130の進行方向角度との差を示してよい。例えば、方向差角度は、再生フレームの撮影時の再生フレームと関連する進行方向に対するヨー角度(すなわち、進行方向情報による進行方向に対する姿勢情報によるヨー角度)とユーザ端末130のヨー角度(ユーザ端末130の進行方向に対するユーザ端末130のヨー角度)との差を示してよい。
In
段階710において、コンテンツ提供部244は、再生フレームと関連する姿勢情報とユーザ端末130の姿勢情報とを比べることによって姿勢差角度を計算してよい。再生フレームと関連する姿勢情報およびユーザ端末130の姿勢情報はそれぞれ、ロール(roll)角度、ピッチ(pitch)角度、およびヨー(yaw)角度のうちの少なくとも1つを含んでよい。例えば、姿勢差角度は、再生フレームの撮影時のロール角度および/またはピッチ角度と、ユーザ端末130のロール角度および/またはピッチ角度との差を示してよい。姿勢差角度は、ピッチ角度差およびロール角度差をそれぞれ含んでよい。
In
段階730において、コンテンツ提供部244は、計算された方向差角度および姿勢差角度に基づき、第2ガイド情報の表示位置を決定してよい。第2ガイド情報の表示位置は、再生フレームの中心に表示される第1ガイド情報の表示位置を基準にして決定されてよい。例えば、第2ガイド情報の表示位置は、第1ガイド情報の表示位置から方向差角度および姿勢差角度に対応する値だけ移動した位置が決定されてよい。すなわち、第1ガイド情報の表示位置から方向差角度に該当する値だけ横(x軸)に移動し、姿勢差角度(ピッチ角度差および/またはロール角度差)に該当する値だけ縦(y軸)に移動した位置が、第2ガイド情報の表示位置として決定されてよい。一実施形態において、姿勢差角度は、ピッチ角度の差であってよい。
In
段階740において、コンテンツ提供部244は、決定された表示位置に第2ガイド情報を表示してよい。第1ガイド情報および第2ガイド情報は、再生フレームと重なって表示されてよい。
In
ユーザは、表示された第1ガイド情報および第2ガイド情報を参照しながらユーザ端末130を操作することにより(すなわち、動きとして)、第2ガイド情報が再生フレームの中心に表示されるようにしてよく、これにより、第1ガイド情報および第2ガイド情報の表示位置を一致させてよい。これにより、再生フレームの撮影時の進行方向情報および姿勢情報にユーザ端末の進行方向情報および姿勢情報をマッチングさせるようになり、ユーザは、表示された再生フレームと該当の位置の実際の地物とを容易に比較することが可能となる。
The user operates the
段階750において、コンテンツ提供部244は、計算された方向差角度および姿勢差角度のうちの少なくとも一方が所定の値以上となる場合、通知メッセージを表示部250に表示してよい。すなわち、図には示されていないが、コンテンツ提供部244は、計算された方向差角度および姿勢差角度のうちの少なくとも一方が所定の値以上であるかを判定し、通知メッセージを表示するかを決定してよい。
In
通知メッセージは、テキストメッセージ、および/または例えば、矢印のような記号を含んでよい。通知メッセージは、ユーザ端末130が操作されなければならない方向を指示するものであってよい。通知メッセージは、ユーザ端末130に表示される再生フレームと重なって表示されてよい。
The notification message may include a text message and / or a symbol, such as, for example, an arrow. The notification message may indicate a direction in which the
通知メッセージは、視覚的な形態で出力される他にも、効果音や音声のようなサウンドで出力されてもよい。 The notification message may be output as a sound such as a sound effect or a voice, in addition to being output in a visual form.
また、通知メッセージは、案内される経路上の位置(緯度および経度)からユーザ端末130が所定の値以上だけ外れた場合に表示されてよい。通知メッセージは、ユーザ端末130が経路からどの方向に外れているのか、および/またはどのくらい外れているのかを示す矢印のような記号および/またはテキストを含んでよい。
The notification message may be displayed when the
一方、コンテンツ提供部244は、ユーザ端末130のセンサ部260によって取得されるユーザ端末130の位置情報および/または速度情報と、経路案内のためのコンテンツが含む映像情報の位置情報および/または速度情報とを比べることにより、ユーザ端末130に表示される映像(再生フレーム)の再生速度を調節してよい。例えば、経路に沿って移動するユーザ端末130が移動を止めた場合、表示される映像の再生も止められてよい(すなわち、停止画像がユーザ端末130に表示される)。
On the other hand, the
以上、図1〜図4を参照しながら上述した技術的特徴についての説明は、図5〜図7にもそのまま適用可能であるため、重複する説明は省略する。 The description of the technical features described above with reference to FIGS. 1 to 4 can be applied to FIGS. 5 to 7 as they are, and thus redundant description will be omitted.
図8は、一実施形態における、撮影を実行する装置による映像情報の取得方法を示した図である。 FIG. 8 is a diagram illustrating a method of acquiring video information by a device that performs photographing according to an embodiment.
図8は、装置110がカメラ116を利用して場所または位置の地物を撮影する方法を示している。
FIG. 8 illustrates a method in which the
θは、装置110の進行方向角度として、装置110と関連する進行方向情報が示す方向に対する装置110のヨー角度であってよい。装置110と関連する姿勢情報は、図に示すように、装置110のヨー回転、ロール回転、およびピッチ回転によって決定される角度(複数)を含んでよい。
θ may be the yaw angle of the
装置110は、撮影時点(timing)における進行方向情報および姿勢情報と、その位置情報を撮影した映像とを関連させることにより、上述した映像情報を生成してよい。一方、装置110が移動しながら地物を撮影する場合(すなわち、動画撮影を実行する場合)、装置110の速度情報も映像と関連させてよく、生成される映像情報には速度情報が含まれてよい。
The
以上、図1〜図7を参照しながら上述した技術的特徴についての説明は、図8にもそのまま適用可能であるため、重複する説明は省略する。 The description of the technical features described above with reference to FIGS. 1 to 7 can be applied to FIG. 8 as it is, and a duplicate description will be omitted.
図9は、一実施形態における、サーバにおいて、経路案内が要求された経路内の位置に相応しい候補フレームをマッチングさせる方法を示した図である。 FIG. 9 is a diagram illustrating a method of matching candidate frames suitable for a position in a route for which route guidance has been requested in a server according to an embodiment.
図9を参照しながら、サーバ120が取得して管理している映像情報(例えば、複数の撮影者が撮影した映像情報)に含まれる複数のフレームを所定の経路内の位置にマッチングさせる方法について説明する。図に示された経路は、ユーザ端末130が要求した目的地に対する最適経路であってよい。サーバ120は、所定のマッチングアルゴリズムを使用して経路内の各位置に相応しいフレームをマッチングさせてよい。
Referring to FIG. 9, a method for matching a plurality of frames included in video information (for example, video information captured by a plurality of photographers) acquired and managed by
サーバ120は、各フレームと関連する位置情報(緯度、経度、高度)、進行方向情報(進行方向)、および姿勢情報(ロール角度、ピッチ角度、ヨー角度)をインデックス(index)として目的地内の各位置と比べることにより、各位置に相応しいフレームをマッチングさせてよい。例えば、サーバ120は、緯度および経度が一致する(または類似する)位置およびフレームを互いにマッチングさせてよい。
The
緯度および経度値を使用して2つの地点の距離を計算する方法としては、球(地球)の上に位置する2つの点の距離を計算する方法が適用されてよい。すなわち、地球の中心からの夾角を2つの点の内積を利用して求めた後、弧の長さを計算することによって2つの点の距離を計算してよい。または、vincenty方法(https://www.ngs.noaa.gov/PUBS_LIB/inverse.pdf参照)を適用して2つの点の距離を計算してよい。 As a method of calculating the distance between two points using the latitude and longitude values, a method of calculating the distance between two points located on a sphere (the earth) may be applied. That is, after obtaining the included angle from the center of the earth using the inner product of the two points, the distance between the two points may be calculated by calculating the length of the arc. Alternatively, the distance between two points may be calculated by applying the Vincenty method (see http://www.ngs.noaa.gov/PUBS_LIB/inverse.pdf).
すなわち、サーバ120は、DB内のフレームのうちから、ユーザ端末130によって要求された経路内の位置に最も符合して経路案内提供時のユーザ端末130の方向および姿勢と最大限に一致するフレームを選択することにより、ユーザ端末130で自然な映像が再生されるようにすることが可能となる。
That is, the
以上、図1〜図8を参照しながら上述した技術的特徴についての説明は、図9にもそのまま適用可能であるため、重複する説明は省略する。 The description of the technical features described above with reference to FIGS. 1 to 8 can be applied to FIG. 9 as it is, and a duplicate description will be omitted.
図10は、一実施形態における、サーバが複数の撮影者によって撮影された映像情報を分析および加工することによって経路案内のための最適映像を生成する方法を示した図である。 FIG. 10 is a diagram illustrating a method of generating an optimal image for route guidance by analyzing and processing image information captured by a plurality of photographers, according to an embodiment.
図10を参照しながら、上述した複数の候補フレーム(候補映像)に基づいて最適フレーム(最適映像)を生成する方法についてさらに詳しく説明する。図に示された最適映像は、ユーザ端末130に表示される再生フレームに対応してよい。
With reference to FIG. 10, a method for generating an optimal frame (optimal video) based on the above-described plurality of candidate frames (candidate video) will be described in further detail. The optimal video shown in the figure may correspond to a playback frame displayed on the
図に示すように、複数の候補フレームは、複数の撮影者の装置110−1〜110−Nによって撮影されたものであってよい。例えば、装置110−1〜110−Nによって場所または位置160の地物が多数の角度から撮影されたものであってよい。
As shown in the figure, the plurality of candidate frames may have been shot by a plurality of photographers' devices 110-1 to 110-N. For example, a feature at a place or a
装置110−1〜110−Nによって撮影された映像に基づいて生成された映像情報に基づき、経路内の位置160に対する候補映像1〜Nが決定されてよい。
Based on the video information generated based on the video captured by the devices 110-1 to 110-N, the
サーバ120は、候補映像1〜Nを分解、合成、および再構成することにより、最適映像に対応する再構成映像を生成してよい。最適映像は、ユーザ端末130のユーザが位置160に位置したときに、ユーザ端末130が最適映像と位置160の地物とを最も容易に比較できるようにする映像であってよい。最適映像は、候補映像に含まれる歪曲または欠陥が補正された映像であってよい。
The
候補映像1〜Nの分解、合成、および再構成は、例えば、マシンラーニング、ディープラーニング、または人工神経網を基盤とした学習による映像処理方法を使用し、サーバ120または外部サーバによって実行されてよい。
The decomposition, synthesis, and reconstruction of the
したがって、サーバ120が取得した映像情報が多少不完全であって最適映像を含んでいない場合でも、サーバ120は、このような不完全な映像情報に含まれる映像を分解、合成、および再構成することにより、最適映像を含む経路案内のためのコンテンツを生成することが可能となる。
Therefore, even when the video information acquired by the
以上、図1〜図9を参照しながら上述した技術的特徴についての説明は、図10にもそのまま適用可能であるため、重複する説明は省略する。 The description of the technical features described above with reference to FIGS. 1 to 9 can be applied to FIG. 10 as it is, and a duplicate description will be omitted.
図11は、一実施形態における、ユーザ端末が、ユーザ端末の位置に相応しい再生フレームをマッチングさせる方法を示した図である。 FIG. 11 is a diagram illustrating a method in which a user terminal matches a reproduction frame appropriate to a position of the user terminal according to an embodiment.
図11を参照しながら、ユーザ端末130の経路に沿った移動に伴ってユーザ端末130の位置に対応する適切な再生フレームが決定される方法についてさらに詳しく説明する。
With reference to FIG. 11, a method of determining an appropriate playback frame corresponding to the position of the
図に示された経路は、ユーザ端末130が要求した目的地に対する最適経路であってよい。
The route shown in the figure may be the optimal route for the destination requested by the
ユーザ端末130は、経路案内のためのコンテンツが含むフレームの位置情報(緯度および経度)をユーザ端末130の位置情報と比べることにより、ユーザ端末130の位置に相応しい再生フレームを決定してよい。
The
緯度および経度値を利用して2つの地点の距離を計算する方法としては、例えば、上述したvincenty方法(https://www.ngs.noaa.gov/PUBS_LIB/inverse.pdf参照)が適用されてよい。 As a method of calculating the distance between two points using the latitude and longitude values, for example, the above-mentioned Vincenty method (see http://www.ngs.noaa.gov/PUBS_LIB/inverse.pdf) is applied. Good.
すなわち、ユーザ端末130は、自身の位置に最も符合する再生フレームを表示することが可能となり、ユーザは、表示された再生フレームを参照しながら、該当の位置の地物と容易に比べることが可能となる。
That is, the
以上、図1〜図10を参照しながら上述した技術的特徴についての説明は、図11にもそのまま適用可能であるため、重複する説明は省略する。 The description of the technical features described above with reference to FIGS. 1 to 10 can be applied to FIG. 11 as it is, and a duplicate description will be omitted.
図12は、一実施形態における、経路案内のための映像と共にガイド情報をユーザ端末に表示する方法を示した図である。 FIG. 12 is a diagram illustrating a method of displaying guide information on a user terminal together with an image for route guidance in one embodiment.
図12は、経路案内のためのコンテンツに含まれる再生フレームがユーザ端末130に表示された状態を示している。図に示すように、ユーザ端末130には、第1ガイド情報1210と第2ガイド情報1220が再生フレームに重なって表示されてよい。第1ガイド情報1210は、再生フレームの中心(すなわち、ユーザ端末130の画面の中心)に位置するものであって、ユーザ端末130を動かしてもその表示位置は維持されてよい。
FIG. 12 shows a state in which a reproduction frame included in the content for route guidance is displayed on the
第2ガイド情報1220は、図7を参照しながら説明したように、方向差角度および姿勢差角度の値だけ第1ガイド情報1210から離れた位置に表示されてよい。
As described with reference to FIG. 7, the
ユーザは、ユーザ端末130を動かして第1ガイド情報1210および第2ガイド情報1220の表示位置を一致させてよい。これにより、ユーザは、表示された再生フレームと該当の位置の実際の地物とをより容易に比べることが可能となる。
The user may move the
なお、図には示されていないが、ユーザ端末130には、目的地までの全体経路が再生フレームと共に表示されてもよい。全体経路は、例えば、マップアプリケーションが提供する経路のような形態で表示されてよい。これにより、ユーザは、再生フレームと実際の地物とを比べると同時に、目的地までの全体的な経路を確認することが可能となる。
Although not shown in the figure, the entire route to the destination may be displayed on the
以上、図1〜図11を参照しながら上述した技術的特徴についての説明は、図12にもそのまま適用可能であるため、重複する説明は省略する。 The description of the technical features described above with reference to FIGS. 1 to 11 can be applied to FIG. 12 as it is, and a duplicate description will be omitted.
上述した実施形態において、サーバ120およびその構成によって実行される動作は、ユーザ端末130によって実行されるものとして実現されてもよい。例えば、サーバ120は、映像情報を記録および管理するだけであって、経路案内のためのコンテンツを生成するための全般的な動作は、ユーザ端末およびその構成によって実行されるものとして実現されてもよい。
In the embodiments described above, the operations performed by the
言い換えれば、サーバ120によって実行される少なくとも一部の動作は、クライアントに該当するユーザ端末130によっても実行可能である。
In other words, at least some of the operations performed by the
これとは反対に、ユーザ端末130によって実行される少なくとも一部の動作は、クライアントに該当するサーバ120によっても実行可能である。
On the contrary, at least some operations performed by the
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。 The apparatus described above may be realized by hardware components, software components, and / or a combination of hardware components and software components. For example, the devices and components described in the embodiments include, for example, a processor, a controller, an ALU (arithmetic logic unit), a digital signal processor, a microcomputer, a FPGA (field programmable gate array), a PLU (programmable logic unit), and a microcontroller. It may be implemented utilizing one or more general purpose or special purpose computers, such as a processor, or various devices capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the OS. The processing device may also respond to the execution of the software, access the data, and record, manipulate, process, and generate the data. Although one processing device may be described as being used for convenience of understanding, those skilled in the art will appreciate that a processing device may include multiple processing elements and / or multiple types of processing elements. You can understand. For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations, such as a parallel processor, are also possible.
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置、または送信される信号波に永久的または一時的に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。 The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired, or instructing the processing unit independently or collectively. Or you can. The software and / or data may be interpreted on the basis of a processing device or provide any instructions or data to the processing device to provide any type of machine, component, physical device, virtual device, computer storage medium or device, or It may be permanently or temporarily embodied in the transmitted signal wave. The software may be distributed on computer systems connected by a network and recorded or executed in a distributed manner. Software and data may be recorded on one or more computer-readable recording media.
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含んでよい。媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであっても、コンピュータソフトウェアの当業者に公知されて使用可能なものであってもよい。コンピュータ読み取り可能な媒体の例には、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD−ROMおよびDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令が記録されて実行されるように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることのできる高級言語コードが含まれる。上述したハードウェア装置は、実施形態の動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成されてよく、その逆も同じである。 The method according to the embodiments may be implemented in the form of program instructions executable by various computer means and recorded on a computer-readable medium. A computer-readable medium may include program instructions, data files, data structures, etc., alone or in combination. The program instructions recorded on the medium may be those specially designed and configured for the embodiments, or may be those known and usable by those skilled in computer software. Examples of computer readable media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and floppy disks. Included are magneto-optical media and hardware devices specially configured to record and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code, such as that generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって代替されたり置換されたとしても、適切な結果を達成することができる。 As described above, the embodiments have been described based on the limited embodiments and the drawings. However, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in a different order than the described methods, and / or components, such as the described systems, structures, devices, circuits, etc., in different forms than the described methods. Appropriate results may be achieved even when combined or combined, and replaced or replaced by other components or equivalents.
110:装置
120:サーバ
125:データベース
130:ユーザ端末
110: device 120: server 125: database 130: user terminal
Claims (20)
撮影位置と関連する位置情報、撮影のために使用された装置と関連する姿勢情報、および進行方向情報を含む映像情報を取得する映像情報取得段階、および
前記位置情報と関連する経路案内要求に従って、前記映像情報を含む経路案内のためのコンテンツを提供するコンテンツ提供段階
を含む、経路案内のためのコンテンツ提供方法。 A content providing method for route guidance executed by a server,
Position information related to the shooting position, attitude information related to the device used for shooting, and video information obtaining step of obtaining video information including travel direction information, and according to a route guidance request related to the position information, A content providing method for route guidance, comprising: providing a content for providing route guidance including the video information.
前記位置情報、前記姿勢情報、および前記進行方向情報は、前記複数のフレームそれぞれが撮影された時点(timing)と関連する情報である、
請求項1に記載の経路案内のためのコンテンツ提供方法。 The video information includes a plurality of frames,
The position information, the posture information, and the traveling direction information are information related to a timing (timing) at which each of the plurality of frames is captured.
The content providing method for route guidance according to claim 1.
前記進行方向情報は、前記撮影のために使用された装置の進行方向を含み、
前記姿勢情報は、前記撮影のために使用された装置のロール(roll)角度、ピッチ(pitch)角度、および前記進行方向に対するヨー(yaw)角度のうちの少なくとも1つを含む、
請求項1に記載の経路案内のためのコンテンツ提供方法。 The position information includes GPS information of a shooting position,
The traveling direction information includes a traveling direction of the device used for the photographing,
The posture information includes at least one of a roll angle, a pitch angle, and a yaw angle with respect to the traveling direction of the apparatus used for the photographing.
The content providing method for route guidance according to claim 1.
ユーザ端末から前記経路案内要求を受信する段階、および
動画形態の前記コンテンツを前記ユーザ端末に送信する段階
を含み、
前記コンテンツは、前記ユーザ端末の出発地から目的地への移動に伴って前記ユーザ端末の位置に対応する映像を前記ユーザ端末に表示するように、前記ユーザ端末に提供される、
請求項1に記載の経路案内のためのコンテンツ提供方法。 The content providing step includes:
Receiving the route guidance request from a user terminal, and transmitting the moving image-form content to the user terminal,
The content is provided to the user terminal so as to display an image corresponding to the position of the user terminal on the user terminal along with the movement of the user terminal from the departure place to the destination,
The content providing method for route guidance according to claim 1.
前記出発地から前記目的地までの最適経路を決定する段階、
前記映像情報に含まれる複数のフレームそれぞれと関連する位置情報、姿勢情報、および進行方向情報に基づき、前記最適経路内の位置に対して少なくとも1つの候補フレームを決定する段階、
前記候補フレームに基づき、前記位置に対して決定された最適フレームを含む前記動画形態のコンテンツを生成する段階、および
前記動画形態のコンテンツを前記ユーザ端末に提供する段階
を含む、請求項4に記載の経路案内のためのコンテンツ提供方法。 The content providing step includes:
Determining an optimal route from the departure point to the destination,
Determining at least one candidate frame for a position in the optimal path based on position information, attitude information, and traveling direction information associated with each of the plurality of frames included in the video information;
5. The method according to claim 4, further comprising: generating the moving image content including an optimal frame determined for the position based on the candidate frame; and providing the moving image content to the user terminal. 6. Content providing method for route guidance in Japan.
前記最適フレームは、複数の候補フレームを合成することによって生成された再構成フレームである、
請求項5に記載の経路案内のためのコンテンツ提供方法。 The candidate frames are plural,
The optimal frame is a reconstructed frame generated by combining a plurality of candidate frames,
A content providing method for route guidance according to claim 5.
請求項6に記載の経路案内のためのコンテンツ提供方法。 The reconstructed frame includes a three-dimensional image associated with the position;
A content providing method for route guidance according to claim 6.
前記候補フレームおよび前記最適フレームは、前記最適経路内の複数の位置それぞれに対して決定され、
前記動画形態のコンテンツは、前記ユーザ端末が前記最適経路に沿って移動するにあたり、前記ユーザ端末が前記複数の位置のうち第1位置に位置したときに前記第1位置と関連する最適フレームが前記ユーザ端末に表示されるように、前記ユーザ端末に提供される、
請求項5に記載の経路案内のためのコンテンツ提供方法。 A plurality of positions in the optimal route;
The candidate frame and the optimal frame are determined for each of a plurality of positions in the optimal path,
When the user terminal moves along the optimal route, the optimal frame associated with the first position is determined when the user terminal is located at the first position among the plurality of positions. Provided to the user terminal to be displayed on the user terminal;
A content providing method for route guidance according to claim 5.
前記動画形態のコンテンツのフレームと共に、前記フレームの中心または前記ユーザ端末の画面の中心には第1ガイド情報が、前記フレームと関連する進行方向情報および姿勢情報のうちの少なくとも一方と前記ユーザ端末の姿勢情報および進行方向情報のうちの少なくとも一方に基づいて決定された位置には第2ガイド情報が前記ユーザ端末に表示されるように、前記ユーザ端末に提供され、
前記第1ガイド情報は、前記ユーザ端末の位置または姿勢を示す情報であり、
前記第2ガイド情報は、前記ユーザ端末の所期の位置または姿勢への操作を誘導する情報である、
請求項4に記載の経路案内のためのコンテンツ提供方法。 The content in the moving image form includes:
Along with the frame of the moving image content, first guide information is provided at the center of the frame or the center of the screen of the user terminal, at least one of traveling direction information and attitude information related to the frame and the user terminal. At the position determined based on at least one of the posture information and the traveling direction information, the second guide information is provided to the user terminal so as to be displayed on the user terminal,
The first guide information is information indicating a position or a posture of the user terminal,
The second guide information is information for guiding an operation to an intended position or posture of the user terminal.
The content providing method for route guidance according to claim 4.
請求項5に記載の経路案内のためのコンテンツ提供方法。 The candidate frame or the optimal frame is associated with position information corresponding to the position, and includes a frame associated with traveling direction information and posture information obtained by photographing a road or a road from the position to the destination from the front,
A content providing method for route guidance according to claim 5.
前記候補フレームは、前記複数の撮影者によって撮影された映像情報に含まれる複数のフレームそれぞれと関連する位置情報、姿勢情報、および進行方向情報に基づいて前記最適経路内の位置に対して決定される、
請求項5に記載の経路案内のためのコンテンツ提供方法。 The image information obtaining step obtains image information captured by a plurality of photographers,
The candidate frame is determined for a position in the optimal route based on position information, attitude information, and traveling direction information associated with each of the plurality of frames included in the video information captured by the plurality of photographers. ,
A content providing method for route guidance according to claim 5.
経路案内要求をサーバに送信する送信段階、
前記サーバから、出発地から目的地までの経路内に存在する少なくとも1つの位置と関連する映像情報を含むコンテンツを受信する受信段階であって、前記映像情報は、撮影位置と関連する位置情報、撮影のために使用された装置と関連する姿勢情報、および進行方向情報を含む、受信段階、および
前記コンテンツを使用し、前記ユーザ端末の前記出発地から前記目的地への移動に伴って前記ユーザ端末の位置に対応する映像を表示する表示段階
を含む、経路案内のためのコンテンツ提供方法。 A content providing method for route guidance executed by a user terminal,
Transmitting a route guidance request to the server,
A receiving step of receiving, from the server, a content including video information related to at least one position existing in a route from a departure place to a destination, wherein the video information is position information related to a shooting position; A receiving step including attitude information and traveling direction information related to the device used for shooting, and using the content, the user using the content as the user terminal moves from the departure place to the destination. A method for providing content for route guidance, comprising a display step of displaying an image corresponding to a terminal position.
前記コンテンツに含まれる複数のフレームから前記ユーザ端末の位置に対応するフレームを決定する決定段階であって、前記フレームは、前記フレームと関連する位置情報と前記ユーザ端末の位置情報との比較結果に基づいて決定される決定段階、および
前記ユーザ端末が前記位置に位置したときに前記決定されたフレームを表示するフレーム表示段階
を含む、請求項12に記載の経路案内のためのコンテンツ提供方法。 The displaying step includes:
Determining a frame corresponding to the position of the user terminal from a plurality of frames included in the content, wherein the frame is obtained by comparing the position information related to the frame with the position information of the user terminal. The content providing method for route guidance according to claim 12, further comprising: a determining step of determining based on the frame, and a frame displaying step of displaying the determined frame when the user terminal is located at the position.
請求項13に記載の経路案内のためのコンテンツ提供方法。 The determined frame is a reconstructed frame generated by combining a plurality of candidate frames,
The content providing method for route guidance according to claim 13.
前記決定されたフレームと共に、前記表示される決定されたフレームの中心または前記ユーザ端末の画面の中心に第1ガイド情報を表示する段階
を含み、
前記第1ガイド情報は、前記ユーザ端末の位置または姿勢を示す情報である、
請求項13に記載の経路案内のためのコンテンツ提供方法。 The frame display step includes:
Displaying the first guide information at the center of the displayed determined frame or the center of the screen of the user terminal together with the determined frame,
The first guide information is information indicating a position or a posture of the user terminal,
The content providing method for route guidance according to claim 13.
前記決定されたフレームおよび前記第1ガイド情報と共に、前記決定されたフレームと関連する進行方向情報および姿勢情報のうちの少なくとも一方と前記ユーザ端末の姿勢情報および進行方向情報のうちの少なくとも一方に基づいて決定された位置に第2ガイド情報を表示する第2ガイド情報表示段階
を含み、
前記第2ガイド情報は、前記ユーザ端末の所期の位置または姿勢への操作を誘導する情報であり、
前記ユーザ端末の所期の位置または姿勢への操作は、前記第1ガイド情報の表示位置と前記第2ガイド情報の表示位置とを一致させる前記ユーザ端末の操作である、
請求項15に記載の経路案内のためのコンテンツ提供方法。 The frame display step includes:
Along with the determined frame and the first guide information, based on at least one of the traveling direction information and the attitude information related to the determined frame and at least one of the attitude information and the traveling direction information of the user terminal. Displaying the second guide information at the position determined by the second guide information display step,
The second guide information is information for guiding an operation of the user terminal to an intended position or posture,
The operation of the user terminal to an intended position or posture is an operation of the user terminal that matches the display position of the first guide information with the display position of the second guide information.
The content providing method for route guidance according to claim 15.
前記決定されたフレームと関連する進行方向角度(heading angle)と前記ユーザ端末の進行方向角度とを比べることによって方向差角度を計算する段階、
前記決定されたフレームと関連する姿勢情報と前記ユーザ端末の姿勢情報とを比べることによって姿勢差角度を計算する段階、および
前記方向差角度および前記姿勢差角度に基づいて前記第2ガイド情報の表示位置を決定し、決定された表示位置に前記第2ガイド情報を表示する段階
を含み、
前記姿勢差角度は、前記決定されたフレームと関連するロール(roll)角度およびピッチ(pitch)角度のうちの少なくとも1つと前記ユーザ端末と関連するロール(roll)角度およびピッチ(pitch)角度のうちの少なくとも1つとの比較に基づいて生成される、
請求項16に記載の経路案内のためのコンテンツ提供方法。 The second guide information displaying step includes:
Calculating a direction difference angle by comparing a heading angle associated with the determined frame with a heading angle of the user terminal;
Calculating a posture difference angle by comparing posture information related to the determined frame with posture information of the user terminal; and displaying the second guide information based on the direction difference angle and the posture difference angle. Determining a position, and displaying the second guide information at the determined display position.
The attitude difference angle is at least one of a roll angle and a pitch angle related to the determined frame and a roll angle and a pitch angle related to the user terminal. Generated based on a comparison with at least one of
A content providing method for route guidance according to claim 16.
前記方向差角度および前記姿勢差角度のうちの少なくとも一方が所定の値以上となる場合、通知メッセージを表示する段階
を含む、
請求項17に記載の経路案内のためのコンテンツ提供方法。 The frame display step includes:
When at least one of the direction difference angle and the posture difference angle is equal to or more than a predetermined value, a step of displaying a notification message,
A content providing method for route guidance according to claim 17.
請求項12に記載の経路案内のためのコンテンツ提供方法。 The video information includes video information in which at least one position existing in the route is photographed by a plurality of photographers,
The content providing method for route guidance according to claim 12.
請求項12に記載の経路案内のためのコンテンツ提供方法。 The video information includes video information related to at least one position existing in the route obtained from a server that provides a street view or road view service,
The content providing method for route guidance according to claim 12.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180107572A KR102566039B1 (en) | 2018-09-10 | 2018-09-10 | Apparatus and method for providing contents for route guidance |
KR10-2018-0107572 | 2018-09-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020042025A true JP2020042025A (en) | 2020-03-19 |
JP7469008B2 JP7469008B2 (en) | 2024-04-16 |
Family
ID=69798111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019154778A Active JP7469008B2 (en) | 2018-09-10 | 2019-08-27 | Method and device for providing content for route guidance |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7469008B2 (en) |
KR (1) | KR102566039B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021225085A1 (en) * | 2020-05-08 | 2021-11-11 | 株式会社ミックウェア | Information processing system, information processing method, information processing program, and server |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010028492A (en) * | 2008-07-21 | 2010-02-04 | Denso Corp | Photographing information browsing system |
JP2014085192A (en) * | 2012-10-23 | 2014-05-12 | Jvc Kenwood Corp | Navigation system, video server, video management method, video management program and video presentation terminal |
KR101862685B1 (en) * | 2017-02-02 | 2018-05-31 | 주식회사 올포랜드 | Method for generating and searching video data based on location and spatial information |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2005005927A1 (en) | 2003-07-10 | 2007-09-20 | 株式会社アプリコット | Road guidance system and road guidance method |
KR100682976B1 (en) * | 2004-12-16 | 2007-02-15 | 한국전자통신연구원 | System and method for Generation of Image-Based Route Information |
US20100070162A1 (en) * | 2006-10-13 | 2010-03-18 | Navitime Japan Co., Ltd. | Navigation system, mobile terminal device, and route guiding method |
KR20150054282A (en) * | 2013-11-11 | 2015-05-20 | 주식회사 케이티 | System for providing navigation video, method for providing navigation video and device for playing navigation video |
-
2018
- 2018-09-10 KR KR1020180107572A patent/KR102566039B1/en active IP Right Grant
-
2019
- 2019-08-27 JP JP2019154778A patent/JP7469008B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010028492A (en) * | 2008-07-21 | 2010-02-04 | Denso Corp | Photographing information browsing system |
JP2014085192A (en) * | 2012-10-23 | 2014-05-12 | Jvc Kenwood Corp | Navigation system, video server, video management method, video management program and video presentation terminal |
KR101862685B1 (en) * | 2017-02-02 | 2018-05-31 | 주식회사 올포랜드 | Method for generating and searching video data based on location and spatial information |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021225085A1 (en) * | 2020-05-08 | 2021-11-11 | 株式会社ミックウェア | Information processing system, information processing method, information processing program, and server |
Also Published As
Publication number | Publication date |
---|---|
KR20200029153A (en) | 2020-03-18 |
JP7469008B2 (en) | 2024-04-16 |
KR102566039B1 (en) | 2023-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108415705B (en) | Webpage generation method and device, storage medium and equipment | |
US9699375B2 (en) | Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system | |
KR102136210B1 (en) | Method and system for revising correcting panoramic image | |
CN112074797A (en) | System and method for anchoring virtual objects to physical locations | |
JP2014112302A (en) | Prescribed area management system, communication method, and program | |
JP2014131215A (en) | Image management system, image management method, and program | |
WO2019060985A1 (en) | A cloud-based system and method for creating a virtual tour | |
JP6954410B2 (en) | Management system | |
US20180124310A1 (en) | Image management system, image management method and recording medium | |
CN113806306B (en) | Media file processing method, device, equipment, readable storage medium and product | |
US20240007738A1 (en) | Method and Device for Image Frame Selection | |
JP2020042025A (en) | Content providing method and device for route guidance | |
JP2016194783A (en) | Image management system, communication terminal, communication system, image management method, and program | |
WO2023151558A1 (en) | Method and apparatus for displaying images, and electronic device | |
JP2016194784A (en) | Image management system, communication terminal, communication system, image management method, and program | |
CN109816791B (en) | Method and apparatus for generating information | |
GB2513865A (en) | A method for interacting with an augmented reality scene | |
CN114117092A (en) | Remote cooperation method, device, electronic equipment and computer readable medium | |
KR101934799B1 (en) | Method and system for generating content using panoramic image | |
JP6508288B2 (en) | SYSTEM, IMAGE SHARING SYSTEM, COMMUNICATION METHOD, AND PROGRAM | |
US9058674B1 (en) | Enhancing resolution of single images | |
CN111782050B (en) | Image processing method and apparatus, storage medium, and electronic device | |
KR102147485B1 (en) | Guide method and system for taking a picture | |
KR20170139202A (en) | Method and system for generating content using panoramic image | |
CN115375801A (en) | Image processing method, device, equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7469008 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |