WO2020251099A1 - 사용자의 현재 위치로 차량을 호출하는 방법 - Google Patents

사용자의 현재 위치로 차량을 호출하는 방법 Download PDF

Info

Publication number
WO2020251099A1
WO2020251099A1 PCT/KR2019/007225 KR2019007225W WO2020251099A1 WO 2020251099 A1 WO2020251099 A1 WO 2020251099A1 KR 2019007225 W KR2019007225 W KR 2019007225W WO 2020251099 A1 WO2020251099 A1 WO 2020251099A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
coordinates
feature point
server
terminal
Prior art date
Application number
PCT/KR2019/007225
Other languages
English (en)
French (fr)
Inventor
최성환
김중항
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/490,069 priority Critical patent/US20210403053A1/en
Priority to PCT/KR2019/007225 priority patent/WO2020251099A1/ko
Priority to KR1020197019824A priority patent/KR102302241B1/ko
Publication of WO2020251099A1 publication Critical patent/WO2020251099A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/04—Billing or invoicing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253—Taxi operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G01C21/3881—Tile-based structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3889—Transmission of selected map data, e.g. depending on route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3896—Transmission of map data from central databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G08G1/096844—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the complete route is dynamically recomputed based on new data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/202—Dispatching vehicles on the basis of a location, e.g. taxi dispatching
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q2240/00—Transportation facility access, e.g. fares, tolls or parking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Definitions

  • the present invention relates to a method of accurately estimating a user's current location based on GPS coordinates of a user terminal and coordinates of feature points captured by the user terminal, and calling a vehicle with the estimated location.
  • GPS Global Positioning System
  • GPS coordinates have various factors (e.g., radio wave reception conditions, refraction of satellite signals, reflections, noise of the transceiver, and There is a limitation in that it is difficult to indicate the exact location of the user depending on the distance between satellites.
  • An object of the present invention is to accurately estimate a user's current location by using feature points around the user for calling a vehicle.
  • an object of the present invention is to allow a user to identify a vehicle called by the user from among a plurality of vehicles located on a road.
  • an object of the present invention is to allow the user to grasp a boarding location with a lower estimated driving fare to the destination than the current location.
  • the present invention determines the terminal coordinates based on the coordinates of the reference feature points included in the tile data corresponding to the GPS coordinates of the user terminal and the position change of the reference feature point in the image captured by the camera of the user terminal, thereby determining the current location of the user. Can be accurately estimated.
  • the present invention displays an augmented image indicating a transport vehicle in the captured image when an area including vehicle coordinates is photographed by the camera of the user terminal, thereby allowing the user to call from among a plurality of vehicles located on the road. You can make it aware of the vehicle.
  • the present invention determines a proposed boarding location in which the distance to the terminal coordinates is within a preset distance and the estimated driving fare to the destination is lower than the estimated driving fare from the terminal coordinates to the destination, and the determined proposed boarding location is sent to the user terminal. By transmitting, it is possible to allow the user to identify a boarding location with a lower estimated driving fare to the destination than the current location.
  • the vehicle by estimating the location of the user by using the feature points around the user, the vehicle can be called to the correct location of the current user, thereby maximizing the user's convenience in receiving a transportation service.
  • the present invention allows the user to identify the vehicle he has called from among a plurality of vehicles located on the road, so that when a vehicle for providing transportation service arrives near the user, the user does not recognize the vehicle he has called. You can avoid problems.
  • the present invention allows the user to identify a boarding location with a lower estimated driving fee to the destination than the current location, thereby enabling the user to receive a more efficient and economical transportation service.
  • FIG. 1 is a view showing a transport service providing system according to an embodiment of the present invention.
  • FIG. 2 is an internal block diagram of the server, user terminal, and vehicle shown in FIG. 1;
  • FIG. 3 is a flowchart illustrating a vehicle calling method according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of 3D map and tile data stored in a database of a server.
  • FIG. 5 is a diagram illustrating an embodiment of photographing an external image using a camera of a user terminal.
  • FIG. 6 is a diagram illustrating a guide screen for guiding movement of a camera when taking an external image.
  • FIG. 7 is a diagram illustrating an alarm displayed when a feature point is not identified in an external image.
  • FIG. 8 is a diagram illustrating an example of an augmented image indicating a transport vehicle.
  • FIG. 9 is a view showing an example of an augmented image guiding the route to the proposed boarding position and the suggested boarding position.
  • FIG. 10 is a flow chart illustrating a process of operating a server, a user terminal, and a vehicle to provide a transport service.
  • the present invention relates to a method of accurately estimating a user's current location based on GPS coordinates of a user terminal and coordinates of feature points captured by the user terminal, and calling a vehicle with the estimated location.
  • FIGS. 1 to 10 a system for providing a transportation service according to an embodiment of the present invention and a method for calling a vehicle using such a system will be described in detail with reference to FIGS. 1 to 10.
  • FIG. 1 is a diagram illustrating a system for providing a transportation service according to an embodiment of the present invention
  • FIG. 2 is a block diagram of a server, a user terminal, and a vehicle shown in FIG. 1.
  • FIG. 3 is a flowchart illustrating a vehicle calling method according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of 3D map and tile data stored in a database of a server.
  • FIG. 5 is a diagram illustrating an embodiment of photographing an external image using a camera of a user terminal.
  • FIG. 6 is a diagram illustrating a guide screen for guiding movement of a camera when capturing an external image
  • FIG. 7 is a diagram illustrating an alarm displayed when a feature point is not identified in an external image.
  • FIG. 8 is a diagram illustrating an example of an augmented image indicating a transport vehicle
  • FIG. 9 is a diagram illustrating an example of an augmented image guiding a suggested boarding position and a route to the proposed boarding position.
  • FIG. 10 is a flowchart illustrating a process of operating a server, a user terminal, and a vehicle to provide a transport service.
  • a transport service providing system 1 may include a user terminal 100, a server 200, and a vehicle 300.
  • the transport service providing system 1 shown in FIG. 1 is according to an embodiment, and its components are not limited to the embodiment shown in FIG. 1, and some components may be added, changed or deleted as necessary. I can.
  • the user terminal 100, the server 200, and the vehicle 300 constituting the transportation service providing system 1 are connected through a wireless network to perform data communication, and each component is 5G ( 5 th Generation) may use a mobile communication service.
  • 5G 5 th Generation
  • the vehicle 300 is an arbitrary vehicle that provides a transport service to move a user to a destination, and may include a taxi or a shared vehicle currently being used.
  • the vehicle 300 may be a concept including a recently developed autonomous vehicle, an electronic vehicle, a fuel cell electric vehicle, and the like.
  • the vehicle 300 when the vehicle 300 is an autonomous vehicle, the vehicle 300 is an arbitrary artificial intelligence module, a drone, an unmanned aerial vehicle, a robot, and an augmented reality (AR). ) Modules, virtual reality (VR) modules, and 5G mobile communication services and devices.
  • AR augmented reality
  • VR virtual reality
  • the vehicle 300 constituting the transport service providing system 1 is an autonomous vehicle.
  • the vehicle 300 may be operated by a transport company, and a user may board the vehicle 300 in the process of providing a transport service to be described later.
  • a plurality of human machine interfaces may be provided inside the vehicle 300.
  • the HMI may perform a function of visually and aurally outputting information or status of the vehicle 300 to a driver through a plurality of physical interfaces (eg, AVN module 310).
  • the HMI can receive various user operations to provide transportation services, and can output service-related contents to the user. Components inside the vehicle 300 will be described in detail below.
  • the server 200 may be built on a cloud basis, and may store and manage information collected from the user terminal 100 and vehicle 300 connected via a wireless network. Such a server 200 may be managed by a transportation company operating the vehicle 300 and may control the vehicle 300 using wireless data communication.
  • the user terminal 100 includes a camera 110, a display module 120, a GPS module 130, a feature point extraction module 140, and a terminal coordinate calculation module 150.
  • the server 200 may include a vehicle management module 210, a database 220, and a route generation module 230.
  • the vehicle 300 according to an embodiment of the present invention includes an audio, video, navigation (AVN) module 310, an autonomous driving module 320, a GPS module 330 for a vehicle, and a camera module 340 for a vehicle. can do.
  • APN audio, video, navigation
  • the internal components of the user terminal 100, the server 200, and the vehicle 300 shown in FIG. 2 are illustrative, and the components are not limited to the example shown in FIG. 2, and some configurations as necessary Elements can be added, changed or deleted. Meanwhile, although the communication module is not separately shown in FIG. 2, it is natural that the communication module may be included in the user terminal 100, the server 200, and the vehicle 300 for mutual data communication.
  • Each module in the user terminal 100, server 200, and vehicle 300 includes application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and FPGAs.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors processors
  • controllers controllers
  • micro-controllers micro-controllers
  • micro-controllers may be implemented as at least one physical element of the microprocessor (microprocessors).
  • the vehicle calling method includes: taking an external image (S130), extracting a feature point from the captured external image (S140), and identifying a reference feature point 11 matching the extracted feature point from the tile data (S150). ) Can be included.
  • the vehicle calling method includes determining the terminal coordinates according to the coordinates of the reference feature point 11 and the position change of the feature point in the external image (S160), transmitting the terminal coordinates to the server 200 (S170), and the server ( It may include the step (S180) of receiving the vehicle coordinates of the transport vehicle 300 from 200).
  • Such a vehicle calling method may be performed by the user terminal 100 described above, and the user terminal 100 may perform data communication with the server 200 to perform the operation of each step shown in FIG. 3. have.
  • the user terminal 100 may transmit the GPS coordinates of the terminal to the server 200 (S110).
  • the service request signal is a signal for requesting provision of a transport service and may be a signal for initiating a call to the vehicle 300.
  • an application related to a transport service hereinafter, a transport application
  • the transport application may output an interface for inputting a service request signal through the display module 120, and a user may input a service request signal through the interface.
  • the GPS module 130 may obtain 3D coordinates where the GPS module 130 is located by analyzing a satellite signal output from an artificial satellite. Since the GPS module 130 is provided inside the user terminal 100, the 3D coordinates obtained by the GPS module 130 may be the GPS coordinates of the terminal.
  • the GPS module 130 may transmit the GPS coordinates of the terminal to the server 200 in response thereto.
  • the feature point extraction module 140 may receive tile data corresponding to the GPS coordinates of the terminal from the server 200 (S120).
  • the server 200 may include a 3D map 10 composed of a plurality of unit areas 10 ′ and a database 220 in which tile data corresponding to each of the plurality of unit areas 10 ′ is stored in advance. More specifically, information on the 3D map 10 and reference feature points (interest points) included in the 3D map 10 may be stored in advance in the database 220.
  • the 3D map 10 may be composed of a unit region 10 ′, and information on a reference feature point corresponding to each unit region 10 ′ may be defined as tile data.
  • the 3D map 10 may be formed of a plurality of unit areas 10 ′.
  • the unit region 10 ′ may be classified according to various criteria, but hereinafter, for convenience of description, it is assumed that the unit region 10 ′ is divided in a matrix form. That is, the 3D map 10 illustrated in FIG. 4 may be divided into a total of 48 unit areas 10 ′ composed of 6 rows and 8 columns.
  • the vehicle management module 210 in the server 200 may refer to the database 220 to identify a unit area 10 ′ including the GPS coordinates.
  • the database 220 may store 3D coordinates for an arbitrary location on the 3D map 10.
  • the vehicle management module 210 may compare the terminal GPS coordinates received from the user terminal 100 with the 3D coordinates on the 3D map 10 to determine which unit area 10' the terminal GPS coordinates are included in. .
  • the vehicle management module 210 may identify the unit area 10' including the GPS coordinates as a unit area 10' of 4 rows and 4 columns.
  • the vehicle management module 210 may identify the unit area 10' including the GPS coordinates as a unit area 10' of 3 rows and 8 columns.
  • the vehicle management module 210 may extract tile data corresponding to the unit area 10 ′ from the database 220, and use the extracted tile data to the user terminal 100. Can send to.
  • the tile data may include a descriptor of each reference feature point 11 included in the unit region 10 ′.
  • the reference feature point 11 is a feature point stored in the database 220 and may specifically mean a feature point existing in the 3D map 10.
  • the descriptor of the reference feature point 11 is a parameter defining the reference feature point 11, and may include, for example, an angle, a pose, and the like of the reference feature point 11.
  • Such a technician may be extracted through various algorithms known in the art, such as SIFT (Scale-Invariant Feature Transform) and SURF (Speeded Up Robust Features).
  • SIFT Scale-Invariant Feature Transform
  • SURF Speeded Up Robust Features
  • the vehicle management module 210 may identify the unit region 10 ′ including the terminal GPS coordinates and transmit tile data corresponding to the identified unit region 10 ′ to the user terminal 100. have. However, when the reference feature point 11 does not exist in the unit region 10 ′, tile data may not exist as well.
  • the server 200 further extracts tile data corresponding to an adjacent region adjacent to the unit region 10 ′, and the user terminal ( 100) can be sent.
  • tile data corresponding to the corresponding unit area 10 ′ may not exist.
  • the server 200 is adjacent to the corresponding unit area (10') (4 rows and 4 columns), 3 rows 3 columns, 3 rows 4 columns, 3 rows 5 columns, 4 rows 3 columns, 4 rows 5 columns, 5 rows 3 columns, 5 rows 4 columns, 5 rows and 5 columns may be determined as adjacent regions, and tile data corresponding to the adjacent regions may be further extracted and transmitted to the user terminal 100.
  • the user terminal 100 may capture an external image using the camera 110 (S130), and extract the feature point from the captured external image. Can be (S140).
  • the transport application installed in the user module may execute the camera 110 to capture the feature point.
  • the user can take an external image using the camera 110 executed by the transport application.
  • the feature point extraction module 140 may extract feature points from an external image using various algorithms.
  • the feature point extraction module 140 includes Harris Corner, Shi-Tomasi, SIFT (Scale-Invariant Feature Transform), SURF (Speeded Up Robust Features), FAST (Features from Accelerated Segment Test), AGAST (Feature points can be extracted using algorithms such as Adaptive and Generic corner detection based on the Accelerated Segment Test) and Ferns (Fast keypoint recognition in ten lines of code).
  • the external image may be two or more pictures in which the location of the feature point is changed, or may be a video in which the location of the feature point is changed.
  • the user terminal 100 may slide the camera 110 so as to change the position of the feature point in the external image to capture an external image.
  • the camera 110 may be provided to be movable left and right or vertically in the user terminal 100.
  • the transport application may slide the camera 110 left or right or up and down, and the camera 110 may take an external image while moving the slide.
  • the camera 110 may be fixedly provided on the user terminal 100.
  • the transport application may guide the user to manually slide the camera 110, and the user may take an external image while moving the camera 110 horizontally or vertically according to the guide.
  • the transportation application may output a guide screen 20 guiding the movement of the camera 110 through the display module 120.
  • the guide screen 20 may include a guide image 20a and guide text 20b guiding the left and right movement of the camera 110.
  • the user may move the user terminal 100 according to the direction displayed on the guide screen 20, and the camera 110 may move according to the direction displayed on the guide screen 20 to take an external image.
  • the feature point extraction module 140 may identify and extract a feature point in the external image in real time. However, when the feature point is not identified in the external image, the transport application may output an alarm.
  • a user who has a user terminal 100 having a terminal GPS location of Sa may take an external image in the direction (A) using the camera 110.
  • a feature point may not be included in the captured external image, and accordingly, the feature point extraction module 140 may not be able to identify the feature point in the external image.
  • the transport application may output an alarm 30 guiding the camera 110 to change direction through the display module 120.
  • the alarm 30 may include an image 30a and a text 30b guiding the camera 110 to change its direction.
  • the user may change the direction of the camera 110 to the direction (B) shown in FIG. 4 according to the direction indicated on the alarm 30, and the camera 110 may take an external image in the direction (B).
  • the feature point may be included in the external image, and the feature point extraction module 140 may identify and extract the feature point in the external image. .
  • the feature point extraction module 140 may identify any one reference feature point 11 matching a feature point extracted from an external image among a plurality of reference feature points 11 included in the tile data received from the server 200 ( S150).
  • the feature point extracted from the external image may be any one of a plurality of reference feature points 11 included in the tile data.
  • the feature point extraction module 140 may identify any one reference feature point 11 matching the extracted feature point by comparing the feature point extracted from the external image with a plurality of reference feature points 11 included in the tile data.
  • the feature point extraction module 140 may determine a descriptor of a feature point extracted from an external image, and identify any one reference feature point 11 having a descriptor matching the determined descriptor.
  • the feature point extraction module 140 may determine the descriptor of the feature point by extracting the descriptor of the feature point included in the external image. Since the algorithm used for extracting the descriptor has been described above, detailed information will be omitted here.
  • the feature point extraction module 140 compares the extracted descriptor with the descriptor of each reference feature point 11 included in the tile data, and finds any one reference feature point 11 having the same descriptor as the extracted descriptor. Can be identified.
  • the feature point extraction module 140 compares the extracted descriptor with the descriptors of each reference feature point 11 included in the tile data, and any one reference feature point having the highest similarity to the extracted descriptor ( 11) can be identified.
  • the feature point extraction module 140 compares each of the extracted descriptors (eg, angle, pose) of the feature point and each descriptor of each reference feature point 11 included in the tile data, Any one reference feature point 11 whose difference is the smallest can be identified.
  • the extracted descriptors eg, angle, pose
  • the feature point extraction module 140 may generate an affinity matrix based on the extracted descriptor and the descriptor of the reference feature point 11. In this case, the feature point extraction module 140 may identify one reference feature point 11 that has the largest size of an eigenvalue of the similarity matrix.
  • the terminal coordinate calculation module 150 may determine the terminal coordinates based on the coordinates of the reference feature point 11 identified by the above-described method and the position change of the reference feature point 11 in the external image (S160).
  • the tile data received from the server 200 may include 3D coordinates of the reference feature point 11 in the unit area 10 ′. Meanwhile, as described above, since the external image is photographed by sliding the camera 110, the position of the reference feature point 11 in the external image may be changed.
  • the terminal coordinate calculation module 150 is based on the internal parameters of the camera 110, the coordinates of the reference feature point 11, and the amount of change in the position of the reference feature point 11 in the external image, and the three-dimensional between the camera 110 and the object. You can calculate the distance. For example, the terminal calculation module may calculate a three-dimensional distance between the camera 110 and an object using various Structure From Motion (SFM) algorithms.
  • SFM Structure From Motion
  • the terminal coordinate calculation module 150 may calculate a relative distance between the reference feature point 11 and the camera 110 using the SFM algorithm. Then, the terminal coordinate calculation module 150 is based on the calculated relative distance and the pitch, roll, and yaw of the camera 110, the 3 between the reference feature point 11 and the camera 110 A dimensional displacement value may be calculated, and a terminal coordinate may be determined by applying a 3D displacement value to the coordinates of the reference feature point 11.
  • the terminal coordinate calculation module is the reference feature point (11).
  • (X1 + ⁇ X, Y1 + ⁇ Y, Z1 + ⁇ Z) to which the 3D displacement value is applied to the coordinates of may be determined as the terminal coordinate.
  • the user can call the vehicle 300 to the correct location of the current user as described later and receive a transport service accordingly. Can maximize the user's convenience.
  • the terminal coordinate calculation module 150 may transmit the terminal coordinates to the server 200 (S170).
  • the vehicle management module 210 of the server 200 can dispatch the vehicle 300 to the user based on the terminal coordinates received from the user terminal 100, and in this specification transport the vehicle 300 dispatched to the user. It will be defined as the vehicle 300.
  • the server 200 may determine any one vehicle 300 having the shortest distance to the terminal coordinates among the plurality of vehicles 300 currently available for operation as the transport vehicle 300.
  • the vehicle management module 210 may determine any one vehicle 300 having the shortest linear distance to a terminal coordinate among a plurality of vehicles 300 currently available for operation as the transport vehicle 300.
  • the vehicle management module 210 may determine one vehicle 300 having the shortest moving distance to the terminal coordinates among the plurality of vehicles 300 currently available for operation as the transport vehicle 300. More specifically, even when the vehicle 300 having the shortest linear distance to the terminal coordinates is the vehicle A, the vehicle 300 having the shortest moving distance to the terminal coordinates according to the structure of the road may be the vehicle B. In this case, the vehicle management module 210 may determine the vehicle B as the transport vehicle 300.
  • the vehicle management module 210 may transmit the terminal coordinates and the driving route to the terminal coordinates to the transport vehicle 300.
  • the route generation module 230 may identify the current location of the vehicle 300 through the vehicle GPS module 330 of the vehicle 300 and generate a driving route from the identified current location to the terminal coordinates. have.
  • the route generation module 230 may generate a driving route based on traffic situation information, and for this purpose, the route generation module 230 is connected to the traffic information server 400 through a network to Receive context information.
  • the traffic information server 400 is a server that manages traffic-related information, such as road information, traffic congestion, and road conditions in real time, and may be a server operated by the state or the private sector.
  • a method of generating a driving route by reflecting the traffic condition information may follow any method used in the art, and a detailed description thereof will be omitted.
  • the server 200 may transmit the driving route to the transport vehicle 300.
  • the autonomous driving module 320 in the transportation vehicle 300 may autonomously travel according to a driving path received from the server 200.
  • the autonomous driving module 320 can control the driving of the transport vehicle 300 according to the driving route, and for this purpose, maintaining a gap between vehicles, preventing lane departure, lane tracking, traffic light detection, pedestrian detection, structure detection, Algorithms for detecting traffic conditions and autonomous parking can be applied.
  • various algorithms used in the art may be applied for autonomous driving.
  • the server 200 may transmit the vehicle coordinates of the transport vehicle 300 to the user terminal 100, and the user terminal 100 is a transport dispatched to the terminal coordinates. Vehicle coordinates of the vehicle 300 may be received (S180).
  • the vehicle coordinates may be coordinates obtained by the vehicle GPS module 330.
  • the vehicle coordinates may be coordinates calculated by the same method as the method for obtaining terminal coordinates described above.
  • the server 200 may receive GPS coordinates from the vehicle GPS module 330 and transmit tile data corresponding to the received GPS coordinates to the transportation vehicle 300. Subsequently, the transport vehicle 300 may photograph an external image using the vehicle camera module 340 and extract feature points from the photographed external image.
  • the transport vehicle 300 may identify any one reference feature point 11 matching the feature point extracted from the external image among the plurality of reference feature points 11 included in the tile data, and the identified reference feature point 11
  • the vehicle coordinate may be determined based on the coordinate of) and the position change of the reference feature point 11 in the external image.
  • the transport application can display a map through the display module 120 and display the vehicle coordinates as an image on the map. Accordingly, the user can grasp the location of the current transport vehicle 300 in real time.
  • the user terminal 100 may photograph an area including the vehicle coordinates received from the server 200 using the camera 110, and the user terminal 100 An augmented image indicating the transport vehicle 300 located within the photographed area may be displayed.
  • the camera 110 may photograph an area SA including vehicle coordinates (eg, 3D coordinates), that is, an area SA including a location indicated by the vehicle coordinates. Since a plurality of vehicles 300 including the transport vehicle 300 may be located in the corresponding area SA, there may be a plurality of vehicles 300 photographed by the camera 110. In this case, the user terminal 100 may display an augmented image 40 indicating the transport vehicle 300.
  • vehicle coordinates eg, 3D coordinates
  • the user terminal 100 may recognize the location of the transport vehicle 300 by recognizing identification means such as barcodes, QR codes, and vehicle license plates provided in the transport vehicle 300 through the camera 110,
  • the augmented image 40 may be displayed at the identified location.
  • the user terminal 100 converts vehicle coordinates received from the server 200 into two-dimensional coordinates, and displays the augmented image 40 at a location corresponding to the two-dimensional coordinates within the photographed area SA. can do.
  • the user terminal 100 displays the three-dimensional vehicle coordinates (xc, yc, zc) on the display module 120 without the recognition operation for the actual transport vehicle 300. Yc), and the augmented image 40 may be displayed at the converted positions (Xc, Yc).
  • the present invention allows the user to identify the vehicle 300 that he or she has called from among the plurality of vehicles 300 located on the road, so that the vehicle 300 for providing transportation service may have arrived near the user. It is possible to prevent a problem in which the user does not recognize the vehicle 300 called by the user.
  • the transport application may transmit the destination input from the user to the server 200.
  • the server 200 may generate a route from the coordinates of the terminal to the destination, and estimate a driving fee (hereinafter, an estimated driving fee) expected when driving along the corresponding route.
  • the server 200 may transmit the route to the destination and the estimated driving fee to the user terminal 100, and the transport application displays the route received from the server 200 on the map being displayed through the display module 120. Can be displayed.
  • the transportation application may display the estimated driving fee received from the server 200 through an image such as a pop-up.
  • the server 200 may determine a suggested boarding location 60 in which the distance to the terminal coordinates is within a preset distance and the estimated driving fare to the destination is lower than the estimated driving fare from the terminal coordinates to the destination.
  • the server 200 selects a location in which the estimated driving fare to the destination is lower than the estimated driving fare from the current terminal coordinates to the destination, among areas in which the distance to the terminal coordinates is within a preset distance (eg, 100m). Can be identified, and the identified area can be determined as the suggested boarding location 60.
  • a preset distance eg, 100m
  • the server 200 may determine, as the suggested boarding location 60, a location in which the estimated driving amount to the destination is lower than the current location within an area in which the current user can walk on foot.
  • the server 200 may transmit the suggested boarding location 60 to the user terminal 100.
  • the transport application may display the suggested boarding location 60 received from the server 200 on a map being displayed through the display module 120.
  • the user terminal 100 may use the camera 110 to capture an area including the proposed boarding location 60, and the user terminal 100 An augmented image indicating the suggested boarding position 60 located within the designated area may be displayed.
  • the camera 110 may photograph an area SA including a suggested boarding position 60 (eg, a 3D coordinate area).
  • the user terminal 100 may display an augmented image (eg, a green zone) indicating the proposed boarding position 60.
  • the user terminal 100 converts the coordinates of the suggested boarding location 60 received from the server 200 into two-dimensional coordinates to be expressed on the display module 120, and converts the two-dimensional coordinates within the photographed area SA.
  • the augmented image may be displayed at a location corresponding to the coordinates.
  • the user terminal 100 may display the movement path 70 to the suggested boarding position 60 as an augmented image.
  • the movement path 70 may be generated by the user terminal 100 or generated by the server 200 and transmitted to the user terminal 100.
  • the display module 120 of the user terminal 100 has an augmented image indicating the suggested boarding position 60 and a movement path 70 that can be moved to the suggested boarding position 60 by foot. It can be displayed as an image.
  • the display module 120 may display information (Riding at Green Zone to save $5) on the estimated driving fare that can be saved when the boarding position is changed to the suggested boarding position 60.
  • the display module 120 may display a current state of the transport vehicle 300 (Your car is coming) and an expected arrival time (12min) of the transport vehicle 300. In addition to this, it is natural that various information required for transport services can be displayed.
  • the transport application may output an interface for changing the boarding position to the suggested boarding position 60.
  • the transportation application may transmit the signal for changing the location to the server 200.
  • the server 200 may transmit the suggested boarding position 60 and the driving route to the suggested boarding position 60 to the transport vehicle 300 in response to the boarding position change signal.
  • the route generation module 230 in the server 200 identifies the current location of the vehicle 300 moving to the terminal location through the vehicle GPS module 330 of the vehicle 300, and from the identified current location It is possible to create a driving route to the suggested boarding position 60. Since the method of generating a driving route by the route generating module 230 has been described above, detailed descriptions will be omitted here.
  • the present invention allows the user to identify a boarding location with a lower estimated driving fee to the destination than the current location, thereby enabling the user to receive a more efficient and economical transportation service.
  • FIG. 10 is a diagram illustrating a process in which the user terminal 100, the server 200, and the vehicle 300 operate in order to provide a transport service or receive a transport service.
  • a user may input a service request signal through a transport application installed in the user terminal 100 in order to receive a fortune service (S11).
  • a service request signal When a service request signal is input, the user terminal 100 may transmit the GPS coordinates of the terminal to the server 200 (S12).
  • the server 200 may identify tile data corresponding to the GPS coordinates of the terminal with reference to the database 220 (S21) and transmit the identified tile data to the user terminal 100 (S22).
  • the user terminal 100 may capture an external image using the camera 110 executed by the transport application (S13) and extract feature points from the external image (S14). Subsequently, the user terminal 100 may identify the reference feature point 11 matching the extracted feature point from the tile data (S15).
  • the user terminal 100 determines the terminal coordinates based on the coordinates of the reference feature point 11 and the position change of the reference feature point 11 in the external image (S16), and transmits the determined terminal coordinates to the server 200.
  • the server 200 may determine the vehicle 300 closest to the terminal coordinates as the transport vehicle 300 (S22), and transmit the vehicle coordinates of the transport vehicle 300 to the user terminal 100 (S23). In addition, the server 200 may generate a driving route from the current position of the transportation vehicle 300 to the terminal coordinates (S24), and transmit the terminal coordinates and the driving route to the transportation vehicle 300 (S25).
  • the transport vehicle 300 may start autonomous driving according to the driving path received from the server 200 and move to the coordinates of the terminal where the user is located (S31).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Library & Information Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Operations Research (AREA)

Abstract

본 발명은 본 발명은 사용자 단말의 GPS 좌표에 대응하는 타일 데이터에 포함된 기준 특징점의 좌표와, 사용자 단말의 카메라에 의해 촬영된 영상 내 기준 특징점의 위치 변화에 기초하여 단말 좌표를 결정함으로써, 사용자의 현재 위치를 정확히 추정하는 방법에 관한 것이다.

Description

사용자의 현재 위치로 차량을 호출하는 방법
본 발명은 사용자 단말의 GPS 좌표와, 사용자 단말에서 촬영된 특징점의 좌표에 기초하여 사용자의 현재 위치를 정확히 추정하고, 추정된 위치로 차량을 호출하는 방법에 관한 것이다.
택시를 이용한 운송 서비스에 있어서, 종래에는 사용자가 도로변에서 우연히 마주친 택시를 잡아 목적지로 이동해야 했으나, 최근에는 사용자 단말에 설치된 어플리케이션을 통해 택시를 사용자 위치로 호출하여 목적지로 이동하는 방식이 이용되고 있다.
이러한 방식에서 사용자 위치를 결정하는 방법으로는 GPS(Global Positioning System)를 이용한 위치 기반 서비스가 이용되고 있으나, GPS 좌표는 다양한 요인(예컨대, 전파 수신 조건, 위성 신호의 굴절, 반사, 송수신기의 노이즈, 위성간의 거리)에 의해 사용자의 정확한 위치를 나타내기 어렵다는 한계가 있다.
이로 인해, 택시를 호출하였음에도 택시가 사용자를 찾지 못하거나 사용자가 택시를 인지하지 못하는 문제가 발생되고 있다. 특히 교차로에서, 택시가 사용자와 반대편 또는 대각방향에 위치한 차선에 정차하게 되는 경우 사용자가 택시에 승차하는 과정이 매우 불편해질 뿐만 아니라, 목적지까지의 경로 또한 완전히 달라질 수 있어 사용자의 만족도가 매우 저하되며 택시 요금 또한 상승하게 되는 문제가 있다.
이에 따라, 차량 호출 서비스를 이용함에 있어서 차량을 사용자의 정확한 현재 위치로 호출하기 위한 방법이 요구되고 있다.
본 발명은 차량의 호출을 위해 사용자 주변의 특징점을 이용하여 사용자의 현재 위치를 정확히 추정하는 것을 목적으로 한다.
또한, 본 발명은 사용자로 하여금 도로 상에 위치한 복수의 차량 중에서 자신이 호출한 차량을 파악하도록 하는 것을 목적으로 한다.
또한, 본 발명은 사용자로 하여금 현재 위치보다 목적지까지의 예상 주행 요금이 더 낮은 탑승 위치를 파악하도록 하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명은 사용자 단말의 GPS 좌표에 대응하는 타일 데이터에 포함된 기준 특징점의 좌표와, 사용자 단말의 카메라에 의해 촬영된 영상 내 기준 특징점의 위치 변화에 기초하여 단말 좌표를 결정함으로써, 사용자의 현재 위치를 정확히 추정할 수 있다.
또한, 본 발명은 차량 좌표를 포함하는 영역이 사용자 단말의 카메라에 의해 촬영되면 촬영 영상 내에서 운송 차량을 지시하는 증강 이미지를 표시함으로써, 사용자로 하여금 도로 상에 위치한 복수의 차량 중에서 자신이 호출한 차량을 파악하도록 할 수 있다.
또한, 본 발명은 단말 좌표와의 거리가 미리 설정된 거리 이내이고 목적지까지의 예상 주행 요금이 단말 좌표로부터 상기 목적지까지의 예상 주행 요금보다 낮은 제안 탑승 위치를 결정하고, 결정된 제안 탑승 위치를 사용자 단말에 송신함으로써, 사용자로 하여금 현재 위치보다 목적지까지의 예상 주행 요금이 더 낮은 탑승 위치를 파악하도록 할 수 있다.
본 발명은 사용자 주변의 특징점을 이용하여 사용자의 위치를 추정함으로써, 현재 사용자의 정확한 위치로 차량을 호출할 수 있고 이에 따라 운송 서비스를 제공받음에 있어서 사용자의 편의성을 극대화할 수 있다.
또한, 본 발명은 사용자로 하여금 도로 상에 위치한 복수의 차량 중에서 자신이 호출한 차량을 파악하도록 함으로써, 운송 서비스 제공을 위한 차량이 사용자 주변에 도착하였을 때 사용자가 자신이 호출한 차량을 인지하지 못하는 문제를 방지할 수 있다.
또한, 본 발명은 사용자로 하여금 현재 위치보다 목적지까지의 예상 주행 요금이 더 낮은 탑승 위치를 파악하도록 함으로써, 사용자로 하여금 보다 효율적인고 경제적인 운송 서비스를 제공받도록 할 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 일 실시예에 따른 운송 서비스 제공 시스템을 도시한 도면.
도 2는 도 1에 도시된 서버, 사용자 단말 및 차량의 내부 블록도.
도 3은 본 발명의 일 실시예에 따른 차량 호출 방법을 도시한 순서도.
도 4는 서버의 데이터베이스에 저장된 3차원 지도 및 타일 데이터의 예시를 도시한 도면.
도 5는 사용자 단말의 카메라를 이용하여 외부 영상을 촬영하는 일 실시예를 도시한 도면.
도 6은 외부 영상을 촬영할 때 카메라의 이동을 안내하는 안내 화면을 도시한 도면.
도 7는 외부 영상에 특징점이 식별되지 않을 때 표시되는 알람을 도시한 도면.
도 8은 운송 차량을 지시하는 증강 이미지의 일 예를 도시한 도면.
도 9는 제안 탑승 위치와 제안 탑승 위치까지의 경로를 안내하는 증강 이미지의 일 예를 도시한 도면.
도 10은 운송 서비스 제공을 위해 서버, 사용자 단말 및 차량이 동작하는 과정을 도시한 순서도.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
본 발명은 사용자 단말의 GPS 좌표와, 사용자 단말에서 촬영된 특징점의 좌표에 기초하여 사용자의 현재 위치를 정확히 추정하고, 추정된 위치로 차량을 호출하는 방법에 관한 것이다.
이하, 도 1 내지 도 10을 참조하여, 본 발명의 일 실시예에 따른 운송 서비스 제공 시스템과, 이러한 시스템을 이용하여 차량을 호출하는 방법에 대해 구체적으로 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 운송 서비스 제공 시스템을 도시한 도면이고, 도 2는 도 1에 도시된 서버, 사용자 단말 및 차량의 내부 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차량 호출 방법을 도시한 순서도이다.
도 4는 서버의 데이터베이스에 저장된 3차원 지도 및 타일 데이터의 예시를 도시한 도면이다.
도 5는 사용자 단말의 카메라를 이용하여 외부 영상을 촬영하는 일 실시예를 도시한 도면이다.
도 6은 외부 영상을 촬영할 때 카메라의 이동을 안내하는 안내 화면을 도시한 도면이고, 도 7는 외부 영상에 특징점이 식별되지 않을 때 표시되는 알람을 도시한 도면이다.
도 8은 운송 차량을 지시하는 증강 이미지의 일 예를 도시한 도면이고, 도 9는 제안 탑승 위치와 제안 탑승 위치까지의 경로를 안내하는 증강 이미지의 일 예를 도시한 도면이다.
도 10은 운송 서비스 제공을 위해 서버, 사용자 단말 및 차량이 동작하는 과정을 도시한 순서도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 운송 서비스 제공 시스템(1)은 사용자 단말(100), 서버(200) 및 차량(300)을 포함할 수 있다. 도 1에 도시된 운송 서비스 제공 시스템(1)은 일 실시예에 따른 것이고, 그 구성요소들이 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 일부 구성요소가 부가, 변경 또는 삭제될 수 있다.
운송 서비스 제공 시스템(1)을 구성하는 사용자 단말(100), 서버(200) 및 차량(300)은 무선 네트워크로 연결되어 상호 데이터 통신을 수행할 수 있고, 각 구성요소는 데이터 통신을 위해 5G(5th Generation) 이동통신 서비스를 이용할 수 있다.
본 발명에서 차량(300)은 사용자를 목적지까지 이동시키기 위해 운송 서비스를 제공하는 임의의 차량으로, 현재 이용되고 있는 택시나 공유차량(shared vehicle)을 포함할 수 있다. 뿐만 아니라, 차량(300)은 최근 개발되고 있는 자율주행 차량(autonomous vehicle), 전기차(electronic vehicle), 수소연료전지차(fuel cell electric vehicle) 등을 포함하는 개념일 수 있다.
한편, 차량(300)이 자율주행 차량인 경우, 차량(300)은 임의의 인공지능(Artificial Intelligence) 모듈, 드론(drone), 무인항공기(Unmmaned Aerial Vehicle), 로봇, 증강현실(Augmented Reality; AR) 모듈, 가상현실(Virtual reality; VR) 모듈, 5G 이동통신 서비스 및 장치 등과 연계될 수 있다.
이하에서는 설명의 편의를 위해, 운송 서비스 제공 시스템(1)을 구성하는 차량(300)이 자율주행 차량인 것으로 가정하여 설명하도록 한다.
차량(300)은 운송 회사에 의해 운용될 수 있고, 후술하는 운송 서비스 제공 과정에 있어서 차량(300)에는 사용자가 탑승할 수 있다. 이러한 차량(300) 내부에는 다수의 HMI(Human Machine Interface)가 구비될 수 있다. 기본적으로 HMI는 다수의 물리적인 인터페이스(예컨대, AVN 모듈(310))를 통해 차량(300)의 정보나 상태를 운전자에게 시각적 및 청각적으로 출력하는 기능을 수행할 수 있다. 또한, 운송 서비스 제공 과정에 있어서 HMI는 운송 서비스 제공을 위해 다양한 사용자 조작을 입력받을 수 있고, 사용자에게 서비스 관련 내용을 출력할 수도 있다. 차량(300) 내부의 구성요소에 대해서는 아래에서 구체적으로 설명하도록 한다.
서버(200)는 클라우드를 기반으로 구축될 수 있고, 무선 네트워크로 연결된 사용자 단말(100) 및 차량(300)에서 수집된 정보를 저장 및 관리할 수 있다. 이와 같은 서버(200)는 차량(300)을 운용하는 운송 회사에 의해 관리될 수 있고, 무선 데이터 통신을 이용하여 차량(300)을 제어할 수 있다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 사용자 단말(100)은 카메라(110), 디스플레이 모듈(120), GPS 모듈(130), 특징점 추출 모듈(140) 및 단말 좌표 산출 모듈(150)을 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 서버(200)는 차량 관리 모듈(210), 데이터베이스(220) 및 경로 생성 모듈(230)을 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 차량(300)은 AVN(Audio, Video, Navigation) 모듈(310), 자율주행 모듈(320), 차량용 GPS 모듈(330) 및 차량용 카메라 모듈(340)을 포함할 수 있다.
도 2에 도시된 사용자 단말(100), 서버(200) 및 차량(300)의 내부 구성요소는 예시적인 것이고, 그 구성요소들이 도 2에 도시된 예시에 한정되는 것은 아니며, 필요에 따라 일부 구성요소가 부가, 변경 또는 삭제될 수 있다. 한편, 도 2에는 통신 모듈이 별도로 도시되지는 않았으나, 상호 데이터 통신을 위해 사용자 단말(100), 서버(200) 및 차량(300)에 통신 모듈이 포함될 수 있음은 당연하다.
사용자 단말(100), 서버(200) 및 차량(300) 내 각 모듈은 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors) 중 적어도 하나의 물리적인 요소로 구현될 수 있다.
한편, 도 3을 참조하면, 본 발명의 일 실시예에 따른 차량 호출 방법은 단말의 GPS 좌표를 서버(200)로 송신하는 단계(S1110), 서버(200)로부터 단말의 GPS 좌표에 대응하는 타일(tile) 데이터를 수신하는 단계(S120)를 포함할 수 있다.
이어서, 차량 호출 방법은 외부 영상을 촬영하는 단계(S130), 촬영된 외부 영상에서 특징점을 추출하는 단계(S140), 추출된 특징점과 매칭되는 기준 특징점(11)을 타일 데이터로부터 식별하는 단계(S150)를 포함할 수 있다.
이어서, 차량 호출 방법은 기준 특징점(11)의 좌표 및 외부 영상 내 특징점의 위치 변화에 따라 단말 좌표를 결정하는 단계(S160), 서버(200)로 단말 좌표를 송신하는 단계(S170) 및 서버(200)로부터 운송 차량(300)의 차량 좌표를 수신하는 단계(S180)를 포함할 수 있다.
이와 같은 차량 호출 방법은 전술한 사용자 단말(100)에 의해 수행될 수 있으며, 사용자 단말(100)은 도 3에 도시된 각 단계의 동작을 수행하기 위해 서버(200)와 데이터 통신을 수행할 수 있다.
이하에서는 차량 호출 방법을 이루는 각 단계를 도면을 참조하여 구체적으로 설명하도록 한다.
사용자 단말(100)은 서비스 요청 신호가 입력되면 단말의 GPS 좌표를 서버(200)로 송신할 수 있다(S110).
서비스 요청 신호는 운송 서비스의 제공을 요청하는 신호로서, 차량(300)의 호출을 개시하기 위한 신호일 수 있다. 사용자 단말(100)에는 운송 서비스에 관한 어플리케이션(이하, 운송 어플리케이션)이 미리 설치될 수 있다. 운송 어플리케이션은 서비스 요청 신호의 입력을 위한 인터페이스를 디스플레이 모듈(120)을 통해 출력할 수 있고, 사용자는 해당 인터페이스를 통해 서비스 요청 신호를 입력할 수 있다.
한편, 서비스 요청 신호의 입력 여부와 관계 없이 GPS 모듈(130)은 인공위성에서 출력되는 위성신호를 해석함으로써 GPS 모듈(130)이 위치한 3차원 좌표를 획득할 수 있다. GPS 모듈(130)은 사용자 단말(100) 내부에 구비되어 있으므로 GPS 모듈(130)이 획득한 3차원 좌표는 단말의 GPS 좌표일 수 있다.
전술한 바와 같이 서비스 요청 신호가 디스플레이 모듈(120)을 통해 입력되면, 이에 응답하여 GPS 모듈(130)은 단말의 GPS 좌표를 서버(200)로 송신할 수 있다.
이어서, 특징점 추출 모듈(140)은 서버(200)로부터 단말의 GPS 좌표에 대응하는 타일(tile) 데이터를 수신할 수 있다(S120).
서버(200)는 복수의 단위 영역(10')으로 구성된 3차원 지도(10) 및 복수의 단위 영역(10') 각각에 대응하는 타일 데이터가 미리 저장된 데이터베이스(220)를 포함할 수 있다. 보다 구체적으로, 데이터베이스(220)에는 3차원 지도(10)와 3차원 지도(10)에 포함된 기준 특징점(feature point, interest point)에 대한 정보가 미리 저장될 수 있다. 이 때, 3차원 지도(10)는 단위 영역(10')으로 구성될 수 있고, 각 단위 영역(10')에 대응하는 기준 특징점에 대한 정보가 타일 데이터로 정의될 수 있다.
도 4를 참조하면, 3차원 지도(10)는 복수의 단위 영역(10')으로 이루어질 수 있다. 단위 영역(10')은 다양한 기준에 의해 구분될 수 있으나, 이하에서는 설명의 편의를 위해 단위 영역(10')이 매트릭스(matrix) 형태로 구분된 것으로 가정하여 설명하도록 한다. 즉, 도 4에 도시된 3차원 지도(10)는 6행 8열로 구성된 총 48개의 단위 영역(10')으로 구분될 수 있다.
서버(200) 내 차량 관리 모듈(210)은 사용자 단말(100)로부터 단말 GPS 좌표가 수신되면, 데이터베이스(220)를 참조하여 해당 GPS 좌표를 포함하는 단위 영역(10')을 식별할 수 있다. 데이터베이스(220)에는 3차원 지도(10) 상의 임의의 위치에 대한 3차원 좌표가 저장될 수 있다. 차량 관리 모듈(210)은 사용자 단말(100)로부터 수신된 단말 GPS 좌표와 3차원 지도(10) 상의 3차원 좌표를 비교하여 단말 GPS 좌표가 어느 단위 영역(10')에 포함되는지 판단할 수 있다.
예를 들어, 도 4에서 단말 GPS 좌표가 Sa인 경우, 차량 관리 모듈(210)은 GPS 좌표를 포함하는 단위 영역(10')을 4행 4열의 단위 영역(10')으로 식별할 수 있다. 또한, 단말 GPS 좌표가 Sb인 경우, 차량 관리 모듈(210)은 GPS 좌표를 포함하는 단위 영역(10')을 3행 8열의 단위 영역(10')으로 식별할 수 있다.
단위 영역(10')이 식별되면, 차량 관리 모듈(210)은 데이터베이스(220)로부터 해당 단위 영역(10')에 대응하는 타일 데이터를 추출할 수 있고, 추출된 타일 데이터를 사용자 단말(100)에 송신할 수 있다.
타일 데이터에는 단위 영역(10')에 포함된 각 기준 특징점(11)의 기술자(descriptor)가 포함될 수 있다. 여기서 기준 특징점(11)은 데이터베이스(220)에 저장된 특징점으로서, 구체적으로 3차원 지도(10) 내 존재하는 특징점을 의미할 수 있다. 또한, 기준 특징점(11)의 기술자는 기준 특징점(11)을 정의하는 파라미터로서, 예컨대 기준 특징점(11)의 각(angle), 자세(pose) 등을 포함할 수 있다.
이와 같은 기술자는 SIFT (Scale-Invariant Feature Transform), SURF (Speeded Up Robust Features) 등, 당해 기술분야에서 알려진 다양한 알고리즘을 통해 추출될 수 있다.
앞서 설명한 바와 같이 차량 관리 모듈(210)은 단말 GPS 좌표를 포함하는 단위 영역(10')을 식별하고, 식별된 단위 영역(10')에 대응하는 타일 데이터를 사용자 단말(100)에 송신할 수 있다. 다만, 단위 영역(10')에 기준 특징점(11)이 존재하지 않는 경우, 타일 데이터 또한 존재하지 않을 수 있다.
서버(200)는 단말 GPS 좌표를 포함하는 단위 영역(10')에 대응하는 타일 데이터가 존재하지 않으면, 해당 단위 영역(10')에 인접한 인접 영역에 대응하는 타일 데이터를 더 추출하여 사용자 단말(100)에 송신할 수 있다.
예를 들어, 도 4에 도시된 바와 같이 단말 GPS 좌표가 Sa인 경우, 해당 단위 영역(10')에 대응하는 타일 데이터는 존재하지 않을 수 있다. 이 때, 서버(200)는 해당 단위 영역(10')(4행 4열)과 인접한 3행 3열, 3행 4열, 3행 5열, 4행 3열, 4행 5열, 5행 3열, 5행 4열, 5행 5열을 인접 영역으로 결정할 수 있고, 인접 영역에 대응하는 타일 데이터를 더 추출하여 사용자 단말(100)에 송신할 수 있다.
특징점 추출 모듈(140)이 서버(200)로부터 타일 데이터를 수신하면, 사용자 단말(100)은 카메라(110)를 이용하여 외부 영상을 촬영할 수 있고(S130), 촬영된 외부 영상에서 특징점을 추출할 수 있다(S140).
보다 구체적으로, 특징점 추출 모듈(140)이 서버(200)로부터 타일 데이터를 수신하면, 사용자 모듈에 설치된 운송 어플리케이션은 특징점 촬영을 위해 카메라(110)를 실행할 수 있다. 사용자는 운송 어플리케이션에 의해 실행된 카메라(110)를 이용하여 외부 영상을 촬영할 수 있다.
특징점 추출 모듈(140)은 다양한 알고리즘을 이용하여 외부 영상에서 특징점을 추출할 수 있다. 예컨대, 특징점 추출 모듈(140)은 당해 기술분야에서 이용되는 Harris Corner, Shi-Tomasi, SIFT (Scale-Invariant Feature Transform), SURF (Speeded Up Robust Features), FAST (Features from Accelerated Segment Test), AGAST (Adaptive and Generic corner detection based on the Accelerated Segment Test), Ferns (Fast keypoint recognition in ten lines of code) 등의 알고리즘을 이용하여 특징점을 추출할 수 있다.
한편, 외부 영상은 특징점의 위치가 변화된 둘 이상의 사진일 수 있고, 특징점의 위치가 변화되는 동영상일 수도 있다.
도 5를 참조하면, 이와 같은 외부 영상의 촬영을 위해, 사용자 단말(100)은 외부 영상 내에서 특징점의 위치가 변하도록 카메라(110)를 슬라이드 이동하여 외부 영상을 촬영할 수 있다.
일 예에서, 카메라(110)는 사용자 단말(100)에서 좌우 또는 상하로 이동 가능하게 구비될 수 있다. 이 때, 운송 어플리케이션은 카메라(110)를 좌우 또는 상하로 슬라이드 이동시킬 수 있고, 카메라(110)는 슬라이드 이동하면서 외부 영상을 촬영할 수 있다.
다른 예에서, 카메라(110)는 사용자 단말(100)에 고정 구비될 수 있다. 이 때, 운송 어플리케이션은 사용자가 카메라(110)를 수동으로 슬라이드 이동시키도록 안내할 수 있고, 사용자는 안내에 따라 카메라(110)를 좌우 또는 상하로 슬라이드 이동시키면서 외부 영상을 촬영할 수 있다.
보다 구체적으로, 도 6을 참조하면, 카메라(110)가 실행된 후 운송 어플리케이션은 디스플레이 모듈(120)을 통해 카메라(110)의 이동을 안내하는 안내 화면(20)을 출력할 수 있다. 안내 화면(20)은 카메라(110)의 좌우 이동을 안내하는 안내 이미지(20a) 및 안내 텍스트(20b)를 포함할 수 있다. 사용자는 안내 화면(20)에 표시된 방향에 따라 사용자 단말(100)을 이동시킬 수 있고, 카메라(110)는 안내 화면(20)에 표시된 방향에 따라 이동하여 외부 영상을 촬영할 수 있다.
카메라(110)가 외부 영상을 촬영하는 동안, 특징점 추출 모듈(140)은 실시간으로 외부 영상 내 특징점을 식별 및 추출할 수 있다. 다만, 외부 영상에서 특징점이 식별되지 않는 경우 운송 어플리케이션은 알람을 출력할 수 있다.
다시 도 4를 참조하면, 단말 GPS 위치가 Sa인 사용자 단말(100)을 소지한 사용자는 카메라(110)를 이용하여 (A) 방향의 외부 영상을 촬영할 수 있다. 이 때, 촬영된 외부 영상에는 특징점이 포함되지 않을 수 있고, 이에 따라 특징점 추출 모듈(140)은 외부 영상 내 특징점을 식별하지 못할 수 있다.
이 때, 도 7에 도시된 바와 같이 운송 어플리케이션은 디스플레이 모듈(120)을 통해 카메라(110) 방향 전환을 안내하는 알람(30)을 출력할 수 있다. 알람(30)은 카메라(110)의 방향 전환을 안내하는 이미지(30a) 및 텍스트(30b)를 포함할 수 있다.
사용자는 알람(30)에 표시된 방향에 따라 카메라(110)의 방향을 도 4에 도시된 (B) 방향으로 전환시킬 수 있고, 카메라(110)는 (B) 방향의 외부 영상을 촬영할 수 있다. 도 4에 도시된 바와 같이 (B) 방향에는 다수의 기준 특징점(11)이 존재하므로, 외부 영상에는 특징점이 포함될 수 있고, 특징점 추출 모듈(140)은 외부 영상 내 특징점을 식별 및 추출할 수 있다.
특징점 추출 모듈(140)은 서버(200)로부터 수신된 타일 데이터에 포함된 복수의 기준 특징점(11) 중에서 외부 영상에서 추출된 특징점과 매칭되는 어느 하나의 기준 특징점(11)을 식별할 수 있다(S150).
외부 영상에서 추출된 특징점은 타일 데이터에 포함된 복수의 기준 특징점(11) 중 어느 하나일 수 있다. 특징점 추출 모듈(140)은 외부 영상에서 추출된 특징점과 타일 데이터에 포함된 복수의 기준 특징점(11)을 비교하여, 추출된 특징점과 매칭되는 어느 한 기준 특징점(11)을 식별할 수 있다.
보다 구체적으로, 특징점 추출 모듈(140)은 외부 영상에서 추출된 특징점의 기술자를 결정하고, 결정된 기술자와 매칭되는 기술자를 갖는 어느 한 기준 특징점(11)을 식별할 수 있다. 특징점 추출 모듈(140)은 외부 영상에 포함된 특징점의 기술자를 추출함으로써 특징점의 기술자를 결정할 수 있다. 기술자의 추출을 위해 이용되는 알고리즘에 대해서는 전술한 바 있으므로 여기서는 자세한 내용을 생략하도록 한다.
일 예에서, 특징점 추출 모듈(140)은 추출된 기술자와, 타일 데이터에 포함된 각 기준 특징점(11)의 기술자를 비교하여, 추출된 기술자와 동일한 기술자를 갖는 어느 하나의 기준 특징점(11)을 식별할 수 있다.
다른 예에서, 특징점 추출 모듈(140)은 추출된 기술자와, 타일 데이터에 포함된 각 기준 특징점(11)의 기술자를 비교하여, 추출된 기술자와 유사도가 가장 높은 기술자를 갖는 어느 하나의 기준 특징점(11)을 식별할 수 있다.
보다 구체적으로, 특징점 추출 모듈(140)은 추출된 각각의 기술자(예컨대, 특징점의 각(angle), 자세(pose))와 타일 데이터에 포함된 각 기준 특징점(11)의 각 기술자를 비교하여, 그 차이가 최소인 어느 하나의 기준 특징점(11)을 식별할 수 있다.
또한, 특징점 추출 모듈(140)은 추출된 기술자와 기준 특징점(11)의 기술자에 기초하여 유사성 행렬(affinity matrix)를 생성할 수 있다. 이 때, 특징점 추출 모듈(140)은 유사성 행렬의 고유값(eigenvalue)의 크기를 가장 크게 하는 어느 한 기준 특징점(11)을 식별할 수 있다.
단말 좌표 산출 모듈(150)은 전술한 방법에 의해 식별된 기준 특징점(11)의 좌표와 외부 영상 내 기준 특징점(11)의 위치 변화에 기초하여 단말 좌표를 결정할 수 있다(S160).
서버(200)로부터 수신된 타일 데이터에는 단위 영역(10') 내 기준 특징점(11)의 3차원 좌표가 포함될 수 있다. 한편, 전술한 바와 같이 외부 영상은 카메라(110)를 슬라이드 이동시킴으로써 촬영되므로, 외부 영상 내 기준 특징점(11)의 위치는 변화할 수 있다.
단말 좌표 산출 모듈(150)은, 카메라(110)의 내부 파라미터, 기준 특징점(11)의 좌표 및 외부 영상 내에서 기준 특징점(11)의 위치 변화량에 기초하여 카메라(110)와 물체 사이의 3차원 거리를 산출할 수 있다. 예컨대, 단말 산출 모듈은 다양한 SFM(Structure From Motion) 알고리즘을 이용하여 카메라(110)와 물체 사이의 3차원 거리를 산출할 수 있다.
보다 구체적으로, 단말 좌표 산출 모듈(150)은 SFM 알고리즘을 이용하여 기준 특징점(11)과 카메라(110) 사이의 상대 거리를 산출할 수 있다. 이어서, 단말 좌표 산출 모듈(150)은 산출된 상대 거리와 카메라(110)의 피치(pitch), 롤(roll), 요(yaw)에 기초하여 기준 특징점(11)과 카메라(110) 사이의 3차원 변위값을 산출하고, 기준 특징점(11)의 좌표에 3차원 변위값을 적용하여 단말 좌표를 결정할 수 있다.
예를 들어, 기준 특징점(11)의 좌표가 (X1, Y1, Z1)이고, 3차원 변위값이 (△X, △Y, △Z)로 산출되면, 단말좌표 산출 모듈은 기준 특징점(11)의 좌표에 3차원 변위값이 적용된 (X1+△X, Y1+△Y, Z1+△Z)를 단말 좌표로 결정할 수 있다.
본 명세서에서는 3차원 변위값을 산출하기 위해 다양한 SFM 알고리즘을 이용할 수 있다고 간략히 언급하였으나, SFM 알고리즘 외에도 당해 기술분야에서 이용되는 다양한 영상 분석 알고리즘이 적용될 수 있다.
상술한 바와 같이, 본 발명은 사용자 주변의 특징점을 이용하여 사용자의 위치를 추정함으로써, 후술하는 바와 같이 사용자는 현재 자신의 정확한 위치로 차량(300)을 호출할 수 있고 이에 따라 운송 서비스를 제공받음에 있어서 사용자의 편의성을 극대화할 수 있다.
단말 좌표가 결정되면, 단말 좌표 산출 모듈(150)은 단말 좌표를 서버(200)로 송신할 수 있다(S170).
서버(200)의 차량 관리 모듈(210)은 사용자 단말(100)로부터 수신된 단말 좌표에 기초하여 사용자에게 차량(300)을 배차할 수 있고, 본 명세서에서는 사용자에게 배차된 차량(300)을 운송 차량(300)으로 정의하도록 한다.
서버(200)는 현재 운행 가능한 복수의 차량(300) 중 단말 좌표까지의 거리가 가장 짧은 어느 한 차량(300)을 운송 차량(300)으로 결정할 수 있다.
일 예에서, 차량 관리 모듈(210)은 현재 운행 가능한 복수의 차량(300) 중에서 단말 좌표까지의 직선 거리가 가장 짧은 어느 한 차량(300)을 운송 차량(300)으로 결정할 수 있다.
다른 예에서, 차량 관리 모듈(210)은 현재 운행 가능한 복수의 차량(300) 중에서 단말 좌표까지의 이동 거리가 가장 짧은 어느 한 차량(300)을 운송 차량(300)으로 결정할 수 있다. 보다 구체적으로, 단말 좌표까지의 직선 거리가 가장 짧은 차량(300)이 차량 A인 경우에도, 도로의 구조에 따라 단말 좌표까지의 이동 거리가 가장 짧은 차량(300)은 차량 B일 수 있다. 이 때, 차량 관리 모듈(210)은 차량 B를 운송 차량(300)으로 결정할 수 있다.
운송 차량(300)이 결정되면, 차량 관리 모듈(210)은 운송 차량(300)에 단말 좌표 및 단말 좌표까지의 주행 경로를 송신할 수 있다.
보다 구체적으로, 경로 생성 모듈(230)은 차량(300)의 차량용 GPS 모듈(330)을 통해 차량(300)의 현재 위치를 식별하고, 식별된 현재 위치로부터 단말 좌표까지의 주행 경로를 생성할 수 있다.
경로 생성 모듈(230)은 교통 상황 정보에 기초하여 주행 경로를 생성할 수 있고, 이를 위해 경로 생성 모듈(230)은 교통 정보 서버(400)와 네트워크로 연결되어 교통 정보 서버(400)로부터 현재 교통 상황 정보를 수신할 수 있다. 여기서 교통 정보 서버(400)는 도로 정보, 교통 혼잡도, 노면의 상태 등 교통에 관련한 정보를 실시간으로 관리하는 서버로서, 국가 또는 민간에서 운영하는 서버일 수 있다.
교통 상황 정보를 반영하여 주행 경로를 생성하는 방법은 당해 기술분야에서 이용되는 임의의 방법에 따를 수 있는 바, 여기서는 자세한 설명을 생략하도록 한다.
주행 경로가 생성되면, 서버(200)는 주행 경로를 운송 차량(300)에 송신할 수 있다. 운송 차량(300) 내 자율주행 모듈(320)은 서버(200)로부터 수신된 주행 경로에 따라 자율 주행할 수 있다.
보다 구체적으로, 자율주행 모듈(320)은 주행 경로에 따라 운송 차량(300)의 운전을 제어할 수 있고, 이를 위해 차간 간격 유지, 차선 이탈 방지, 차선 트래킹, 신호등 감지, 보행자 감지, 구조물 감지, 교통상황 감지, 자율 주차 등을 위한 알고리즘이 적용될 수 있다. 이 외에도, 자율 주행을 위해 당해 기술분야에서 이용되는 다양한 알고리즘이 적용될 수 있다.
이와 같이 운송 차량(300)이 자율 주행을 시작하면 서버(200)는 운송 차량(300)의 차량 좌표를 사용자 단말(100)에 송신할 수 있고, 사용자 단말(100)은 단말 좌표에 배차된 운송 차량(300)의 차량 좌표를 수신할 수 있다(S180).
여기서 차량 좌표는 차량용 GPS 모듈(330)에서 획득된 좌표일 수 있다. 이와 달리, 차량 좌표는 전술한 단말 좌표 획득 방법과 동일한 방법으로 산출된 좌표일 수도 있다.
보다 구체적으로, 서버(200)는 차량용 GPS 모듈(330)로부터 GPS 좌표를 수신하고, 수신된 GPS 좌표에 대응하는 타일 데이터를 운송 차량(300)에 송신할 수 있다. 이어서, 운송 차량(300)은 차량용 카메라 모듈(340)을 이용하여 외부 영상을 촬영하고, 촬영된 외부 영상에서 특징점을 추출할 수 있다.
이어서, 운송 차량(300)은 타일 데이터에 포함된 복수의 기준 특징점(11) 중에서 외부 영상에서 추출된 특징점과 매칭되는 어느 하나의 기준 특징점(11)을 식별할 수 있고, 식별된 기준 특징점(11)의 좌표와 외부 영상 내 기준 특징점(11)의 위치 변화에 기초하여 차량 좌표를 결정할 수 있다.
좌표를 결정하는 방법에 대해서는 도 3을 참조하여 전술한 바 있으므로, 이하 자세한 설명은 생략하도록 한다.
차량 좌표가 수신되면, 운송 어플리케이션은 디스플레이 모듈(120)을 통해 지도를 표시할 수 있고, 지도 상에 차량 좌표를 이미지로 표시할 수 있다. 이에 따라, 사용자는 현재 운송 차량(300)의 위치를 실시간으로 파악할 수 있다.
운송 차량(300)이 단말 좌표로 이동 중일 때, 사용자 단말(100)은 카메라(110)를 이용하여 서버(200)로부터 수신된 차량 좌표를 포함하는 영역을 촬영할 수 있고, 사용자 단말(100)은 촬영된 영역 내에 위치한 운송 차량(300)을 지시하는 증강 이미지를 표시할 수 있다.
도 8을 참조하면, 카메라(110)는 차량 좌표(예컨대, 3차원 좌표)가 포함되는 영역(SA), 다시 말해 차량 좌표가 지시하는 위치를 포함하는 영역(SA)을 촬영할 수 있다. 해당 영역(SA)에는 운송 차량(300)을 포함하는 복수의 차량(300)이 위치할 수 있으므로, 카메라(110)에 의해 촬영된 차량(300)은 복수 대일 수 있다. 이 때, 사용자 단말(100)은 운송 차량(300)을 지시하는 증강 이미지(40)를 표시할 수 있다.
일 예에서, 사용자 단말(100)은 카메라(110)를 통해 운송 차량(300)에 구비된 바코드, QR 코드, 차량 번호판 등의 식별 수단을 인식하여 운송 차량(300)의 위치를 파악할 수 있고, 파악된 위치에 증강 이미지(40)를 표시할 수 있다.
다른 예에서, 사용자 단말(100)은 서버(200)로부터 수신된 차량 좌표를 2차원 좌표로 변환하고, 촬영된 영역(SA) 내에서 2차원 좌표에 대응하는 위치에 증강 이미지(40)를 표시할 수 있다. 다시 도 8을 참조하면, 사용자 단말(100)은 실제 운송 차량(300)에 대한 인식 동작 없이, 3차원 차량 좌표(xc, yc, zc)를 디스플레이 모듈(120)에 표현할 2차원 좌표(Xc, Yc)로 변환하고, 변환된 위치(Xc, Yc)에 증강 이미지(40)를 표시할 수 있다.
상술한 바와 같이, 본 발명은 사용자로 하여금 도로 상에 위치한 복수의 차량(300) 중에서 자신이 호출한 차량(300)을 파악하도록 함으로써, 운송 서비스 제공을 위한 차량(300)이 사용자 주변에 도착하였을 때 사용자가 자신이 호출한 차량(300)을 인지하지 못하는 문제를 방지할 수 있다.
한편, 사용자는 운송 어플리케이션을 통해 목적지를 입력할 수 있다. 운송 어플리케이션은 사용자로부터 입력된 목적지를 서버(200)로 송신할 수 있다. 서버(200)는 단말 좌표로부터 목적지까지의 경로를 생성할 수 있고, 해당 경로를 따라 주행 시 예상되는 주행 요금(이하, 예상 주행 요금)을 추정할 수 있다.
서버(200)는 목적지까지의 경로와 예상 주행 요금을 사용자 단말(100)에 송신할 수 있고, 운송 어플리케이션은 디스플레이 모듈(120)을 통해 표시 중인 지도 상에, 서버(200)로부터 수신된 경로를 표시할 수 있다. 또한, 운송 어플리케이션은 서버(200)로부터 수신된 예상 주행 요금을 팝업 등의 이미지를 통해 표시할 수 있다.
한편, 서버(200)는 단말 좌표와의 거리가 미리 설정된 거리 이내이고 목적지까지의 예상 주행 요금이 단말 좌표로부터 목적지까지의 예상 주행 요금보다 낮은 제안 탑승 위치(60)를 결정할 수 있다.
보다 구체적으로, 서버(200)는 단말 좌표와의 거리가 미리 설정된 거리(예컨대, 100m) 이내인 영역 중에서, 목적지까지의 예상 주행 요금이 현재의 단말 좌표로부터 목적지까지의 예상 주행 요금보다 낮은 위치를 식별할 수 있고, 식별된 영역을 제안 탑승 위치(60)로 결정할 수 있다.
다시 말해, 서버(200)는 현재 사용자가 도보로 이동할 수 있는 영역 내에서, 현재 위치보다 목적지까지의 예상 주행 금액이 더 낮은 위치를 제안 탑승 위치(60)로 결정할 수 있다. 제안 탑승 위치(60)가 결정되면, 서버(200)는 제안 탑승 위치(60)를 사용자 단말(100)에 송신할 수 있다.
운송 어플리케이션은 디스플레이 모듈(120)을 통해 표시 중인 지도 상에 서버(200)로부터 수신된 제안 탑승 위치(60)를 표시할 수 있다.
서버(200)로부터 제안 탑승 위치(60)가 수신되면, 사용자 단말(100)은 카메라(110)를 이용하여 제안 탑승 위치(60)를 포함하는 영역을 촬영할 수 있고, 사용자 단말(100)은 촬영된 영역 내 위치한 제안 탑승 위치(60)를 지시하는 증강 이미지를 표시할 수 있다.
도 9를 참조하면, 카메라(110)는 제안 탑승 위치(60)(예컨대, 3차원 좌표 영역)가 포함되는 영역(SA)을 촬영할 수 있다. 이 때, 사용자 단말(100)은 제안 탑승 위치(60)를 지시하는 증강 이미지(예컨대, Green Zone)을 표시할 수 있다.
보다 구체적으로, 사용자 단말(100)은 서버(200)로부터 수신된 제안 탑승 위치(60)의 좌표를 디스플레이 모듈(120)에 표현할 2차원 좌표로 변환하고, 촬영된 영역(SA) 내에서 2차원 좌표에 대응하는 위치에 증강 이미지를 표시할 수 있다.
또한, 사용자 단말(100)은 제안 탑승 위치(60)까지의 이동 경로(70)를 증강 이미지로 표시할 수 있다. 이 때, 이동 경로(70)는 사용자 단말(100)에서 생성될 수도 있으며, 서버(200)에서 생성되어 사용자 단말(100)로 송신될 수도 있다.
다시 도 9를 참조하면, 사용자 단말(100)의 디스플레이 모듈(120)에는 제안 탑승 위치(60)를 지시하는 증강 이미지와 제안 탑승 위치(60)까지 도보로 이동할 수 있는 이동 경로(70)가 증강 이미지로 표시될 수 있다.
또한, 디스플레이 모듈(120)에는 제안 탑승 위치(60)로 탑승 위치 변경 시 절약할 수 있는 예상 주행 요금에 대한 정보(Riding at Green Zone to save $5)가 표시될 수 있다. 뿐만 아니라, 디스플레이 모듈(120)에는 현재 운송 차량(300)의 상태(Your car is coming), 운송 차량(300)의 도착 예정 시간(12min)이 표시될 수도 있다. 이 외에도, 운송 서비스에 필요한 다양한 정보가 표시될 수 있음은 당연하다.
한편, 서버(200)로부터 제안 탑승 위치(60)가 수신되면, 운송 어플리케이션은 제안 탑승 위치(60)로 탑승 위치를 변경할 것인지에 대한 인터페이스를 출력할 수 있다. 사용자가 해당 인터페이스를 통해 탑승 위치 변경 신호를 입력하면, 운송 어플리케이션은 위치 변경 신호를 서버(200)로 송신할 수 있다.
서버(200)는 탑승 위치 변경 신호에 응답하여 운송 차량(300)에 제안 탑승 위치(60) 및 제안 탑승 위치(60)까지의 주행 경로를 송신할 수 있다.
보다 구체적으로, 서버(200) 내 경로 생성 모듈(230)은 차량(300)의 차량용 GPS 모듈(330)을 통해 단말 위치로 이동 중인 차량(300)의 현재 위치를 식별하고, 식별된 현재 위치로부터 제안 탑승 위치(60)까지의 주행 경로를 생성할 수 있다. 경로 생성 모듈(230)의 주행 경로 생성 방법에 대해서는 전술한 바 있으므로, 여기서는 자세한 설명을 생략하도록 한다.
상술한 바와 같이, 본 발명은 사용자로 하여금 현재 위치보다 목적지까지의 예상 주행 요금이 더 낮은 탑승 위치를 파악하도록 함으로써, 사용자로 하여금 보다 효율적인고 경제적인 운송 서비스를 제공받도록 할 수 있다.
도 10은 운송 서비스를 제공하거나 운송 서비스를 제공받기 위해, 사용자 단말(100), 서버(200) 및 차량(300)이 동작하는 과정을 시계열적으로 도시한 도면이다.
도 10을 참조하면, 사용자는 운성 서비스를 제공받기 위해 사용자 단말(100)에 설치된 운송 어플리케이션을 통해 서비스 요청 신호를 입력할 수 있다(S11). 서비스 요청 신호가 입력되면 사용자 단말(100)은 단말의 GPS 좌표를 서버(200)로 송신할 수 있다(S12).
서버(200)는 데이터베이스(220)를 참조하여 단말의 GPS 좌표에 대응하는 타일 데이터를 식별하고(S21), 식별된 타일 데이터를 사용자 단말(100)로 송신할 수 있다(S22).
사용자 단말(100)은 운송 어플리케이션에 의해 실행된 카메라(110)를 이용하여 외부 영상을 촬영하고(S13), 외부 영상에서 특징점을 추출할 수 있다(S14). 이어서, 사용자 단말(100)은 추출된 특징점과 매칭되는 기준 특징점(11)을 타일 데이터로부터 식별할 수 있다(S15).
이어서, 사용자 단말(100)은 기준 특징점(11)의 좌표와 외부 영상 내 기준 특징점(11)의 위치 변화에 기초하여 단말 좌표를 결정하고(S16), 결정된 단말 좌표를 서버(200)로 송신할 수 있다(S17).
서버(200)는 단말 좌표에 가장 인접한 차량(300)을 운송 차량(300)으로 결정하고(S22), 운송 차량(300)의 차량 좌표를 사용자 단말(100)에 송신할 수 있다(S23). 또한, 서버(200)는 운송 차량(300)의 현재 위치로부터 단말 좌표까지의 주행 경로를 생성하고(S24), 단말 좌표와 주행 경로를 운송 차량(300)에 송신할 수 있다(S25).
운송 차량(300)은 서버(200)로부터 수신된 주행 경로에 따라 자율 주행을 시작하여 사용자가 위치한 단말 좌표까지 이동할 수 있다(S31).
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (20)

  1. 사용자로부터 서비스 요청 신호가 입력되면 단말의 GPS 좌표를 서버로 송신하는 단계;
    상기 서버로부터 상기 단말의 GPS 좌표에 대응하는 타일(tile) 데이터를 수신하는 단계;
    카메라를 이용하여 외부 영상을 촬영하고, 상기 촬영된 외부 영상에서 특징점을 추출하는 단계;
    상기 타일 데이터에 포함된 복수의 기준 특징점 중에서 상기 외부 영상에서 추출된 특징점과 매칭되는 어느 하나의 기준 특징점을 식별하는 단계;
    상기 식별된 기준 특징점의 좌표와 상기 외부 영상 내 상기 기준 특징점의 위치 변화에 기초하여 단말 좌표를 결정하고, 상기 결정된 단말 좌표를 상기 서버로 송신하는 단계; 및
    상기 단말 좌표에 배차된 운송 차량의 차량 좌표를 상기 서버로부터 수신하는 단계를 포함하는
    차량 호출 방법.
  2. 제1항에 있어서,
    상기 서버는 복수의 단위 영역으로 구성된 3차원 지도 및 상기 복수의 단위 영역 각각에 대응하는 타일 데이터가 미리 저장된 데이터베이스를 포함하고,
    상기 타일 데이터에는 상기 단위 영역에 포함된 각 기준 특징점의 기술자(descriptor)가 포함되는 차량 호출 방법.
  3. 제1항에 있어서,
    상기 서버는
    데이터베이스를 참조하여 상기 단말의 GPS 좌표를 포함하는 단위 영역을 식별하고, 상기 식별된 단위 영역에 대응하는 타일 데이터를 추출하여 사용자 단말에 송신하는 차량 호출 방법.
  4. 제3항에 있어서,
    상기 서버는,
    상기 식별된 단위 영역에 대응하는 타일 데이터가 존재하지 않으면, 상기 단위 영역에 인접한 인접 영역에 대응하는 타일 데이터를 더 추출하여 사용자 단말에 송신하는 차량 호출 방법.
  5. 제1항에 있어서,
    상기 타일 데이터에 포함된 복수의 기준 특징점 중에서 상기 외부 영상에서 추출된 특징점과 매칭되는 어느 하나의 기준 특징점을 식별하는 단계는
    상기 추출된 특징점의 기술자를 결정하는 단계와,
    상기 결정된 기술자와 매칭되는 기술자를 갖는 어느 하나의 기준 특징점을 식별하는 단계를 포함하는 차량 호출 방법.
  6. 제5항에 있어서,
    상기 추정된 특징점의 기술자와 매칭되는 기술자를 갖는 어느 하나의 기준 특징점을 식별하는 단계는
    상기 추정된 특징점의 기술자와 유사도가 가장 높은 기술자를 갖는 어느 하나의 기준 특징점을 식별하는 단계를 포함하는 차량 호출 방법.
  7. 제1항에 있어서,
    상기 카메라를 이용하여 외부 영상을 촬영하는 단계는
    상기 외부 영상 내에서 상기 특징점의 위치가 변하도록 상기 카메라를 슬라이드 이동하여 상기 외부 영상을 촬영하는 단계를 포함하는 차량 호출 방법.
  8. 제1항에 있어서,
    상기 카메라를 이용하여 외부 영상을 촬영하는 단계는
    상기 카메라의 이동을 안내하는 안내 화면을 출력하는 단계와,
    상기 안내 화면에 표시된 방향에 따라 이동하여 상기 외부 영상을 촬영하는 단계를 포함하는 차량 호출 방법.
  9. 제1항에 있어서,
    상기 외부 영상에서 상기 특징점이 식별되지 않으면 알람을 출력하는 단계를 더 포함하는 차량 호출 방법.
  10. 제1항에 있어서,
    상기 식별된 기준 특징점의 좌표와 상기 외부 영상 내 상기 기준 특징점의 위치 변화에 기초하여 단말 좌표를 결정하는 단계는
    상기 기준 특징점의 좌표와 상기 외부 영상 내 상기 기준 특징점의 위치 변화에 기초하여 상기 기준 특징점과 상기 카메라 사이의 3차원 변위값을 산출하고,
    상기 기준 특징점의 좌표에 상기 산출된 3차원 변위값을 적용하여 상기 단말 좌표를 결정하는 단계를 포함하는 차량 호출 방법.
  11. 제1항에 있어서,
    상기 서버는 상기 단말 좌표까지의 거리가 가장 짧은 어느 한 차량을 상기 운송 차량으로 결정하고, 상기 결정된 운송 차량에 상기 단말 좌표 및 상기 단말 좌표까지의 주행 경로를 송신하는 차량 호출 방법.
  12. 제11항에 있어서,
    상기 운송 차량은 상기 서버로부터 수신된 주행 경로에 따라 자율 주행하는 차량 호출 방법.
  13. 제1항에 있어서,
    상기 카메라를 이용하여 상기 서버로부터 수신된 차량 좌표를 포함하는 영역을 촬영하는 단계; 및
    상기 촬영된 영역 내에 위치한 운송 차량을 지시하는 증강 이미지를 표시하는 단계를 더 포함하는 차량 호출 방법.
  14. 제13항에 있어서,
    상기 촬영된 영역 내에 위치한 운송 차량을 지시하는 증강 이미지를 표시하는 단계는
    상기 차량 좌표를 2차원 좌표로 변환하는 단계와,
    상기 촬영된 영역 내 상기 2차원 좌표에 대응하는 위치에 상기 증강 이미지를 표시하는 단계를 포함하는 차량 호출 방법.
  15. 제1항에 있어서,
    상기 사용자로부터 목적지가 입력되면 상기 목적지를 서버로 송신하는 단계; 및
    상기 단말 좌표로부터 상기 목적지까지의 경로 및 예상 주행 요금을 상기 서버로부터 수신하는 단계를 더 포함하는 차량 호출 방법.
  16. 제15항에 있어서,
    상기 서버는, 상기 단말 좌표와의 거리가 미리 설정된 거리 이내이고 상기 목적지까지의 예상 주행 요금이 상기 단말 좌표로부터 상기 목적지까지의 예상 주행 요금보다 낮은 제안 탑승 위치를 결정하고, 상기 결정된 제안 탑승 위치를 사용자 단말에 송신하는 차량 호출 방법.
  17. 제16항에 있어서,
    상기 제안 탑승 위치를 지도상에 표시하는 단계를 더 포함하는 차량 호출 방법.
  18. 제16항에 있어서,
    상기 카메라를 이용하여 상기 제안 탑승 위치를 포함하는 영역을 촬영하는 단계; 및
    상기 촬영된 영역 내 위치한 상기 제안 탑승 위치를 지시하는 증강 이미지를 표시하는 단계를 더 포함하는 차량 호출 방법.
  19. 제18항에 있어서,
    상기 제안 탑승 위치까지의 이동 경로를 증강 이미지로 표시하는 단계를 더 포함하는 차량 호출 방법.
  20. 제16항에 있어서,
    상기 제안 탑승 위치로 탑승 위치를 변경할 것인지에 대한 인터페이스를 출력하는 단계; 및
    상기 사용자로부터 탑승 위치 변경 신호를 수신하고, 수신된 탑승 위치 변경 신호를 상기 서버로 송신하는 단계를 더 포함하고,
    상기 서버는, 상기 탑승 위치 변경 신호에 응답하여 상기 운송 차량에 상기 제안 탑승 위치 및 상기 제안 탑승 위치까지의 주행 경로를 송신하는 차량 호출 방법.
PCT/KR2019/007225 2019-06-14 2019-06-14 사용자의 현재 위치로 차량을 호출하는 방법 WO2020251099A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/490,069 US20210403053A1 (en) 2019-06-14 2019-06-14 Method for calling a vehicle to user's current location
PCT/KR2019/007225 WO2020251099A1 (ko) 2019-06-14 2019-06-14 사용자의 현재 위치로 차량을 호출하는 방법
KR1020197019824A KR102302241B1 (ko) 2019-06-14 2019-06-14 사용자의 현재 위치로 차량을 호출하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/007225 WO2020251099A1 (ko) 2019-06-14 2019-06-14 사용자의 현재 위치로 차량을 호출하는 방법

Publications (1)

Publication Number Publication Date
WO2020251099A1 true WO2020251099A1 (ko) 2020-12-17

Family

ID=73398788

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007225 WO2020251099A1 (ko) 2019-06-14 2019-06-14 사용자의 현재 위치로 차량을 호출하는 방법

Country Status (3)

Country Link
US (1) US20210403053A1 (ko)
KR (1) KR102302241B1 (ko)
WO (1) WO2020251099A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540444B1 (ko) * 2020-10-23 2023-06-05 현대자동차 주식회사 승객 운송 서비스를 제공하는 서버 및 이의 동작 방법
KR102482829B1 (ko) * 2021-07-05 2022-12-29 주식회사 애니랙티브 차량용 ar 디스플레이 장치 및 ar 서비스 플랫폼
WO2023058892A1 (ko) * 2021-10-09 2023-04-13 삼성전자 주식회사 위치 기반 서비스를 제공하기 위한 전자 장치 및 방법
KR102589833B1 (ko) * 2022-10-04 2023-10-16 한국철도기술연구원 가상 정류장 기반의 수요응답형 모빌리티 서비스 제공방법, 장치 및 컴퓨터 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032897A (ja) * 2000-07-18 2002-01-31 Futaba Keiki Kk タクシーの配車サービス方法及びそのシステム
KR101415016B1 (ko) * 2012-11-07 2014-07-08 한국과학기술연구원 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
KR101707878B1 (ko) * 2015-09-09 2017-02-17 한국과학기술연구원 복수의 영상 및 보행자 추측 항법 기술을 이용한 사용자 위치 추정 장치 및 그 방법
US20180374002A1 (en) * 2017-06-21 2018-12-27 Chian Chiu Li Autonomous Driving under User Instructions and Hailing Methods
US20190017839A1 (en) * 2017-07-14 2019-01-17 Lyft, Inc. Providing information to users of a transportation system using augmented reality elements

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101092104B1 (ko) * 2009-08-26 2011-12-12 주식회사 팬택 3차원 위치영상 제공 방법 및 시스템
KR101942288B1 (ko) * 2012-04-23 2019-01-25 한국전자통신연구원 위치 보정 장치 및 방법
KR101442703B1 (ko) * 2013-04-15 2014-09-19 현대엠엔소프트 주식회사 Gps 단말기 및 gps 위치 보정 방법
KR101912241B1 (ko) * 2017-07-11 2018-10-26 부동산일일사 주식회사 부동산의 3차원 형상에 관한 증강 현실 이미지를 제공하는 증강 현실 서비스 제공 장치 및 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032897A (ja) * 2000-07-18 2002-01-31 Futaba Keiki Kk タクシーの配車サービス方法及びそのシステム
KR101415016B1 (ko) * 2012-11-07 2014-07-08 한국과학기술연구원 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
KR101707878B1 (ko) * 2015-09-09 2017-02-17 한국과학기술연구원 복수의 영상 및 보행자 추측 항법 기술을 이용한 사용자 위치 추정 장치 및 그 방법
US20180374002A1 (en) * 2017-06-21 2018-12-27 Chian Chiu Li Autonomous Driving under User Instructions and Hailing Methods
US20190017839A1 (en) * 2017-07-14 2019-01-17 Lyft, Inc. Providing information to users of a transportation system using augmented reality elements

Also Published As

Publication number Publication date
US20210403053A1 (en) 2021-12-30
KR102302241B1 (ko) 2021-09-14
KR20200128343A (ko) 2020-11-12

Similar Documents

Publication Publication Date Title
WO2020251099A1 (ko) 사용자의 현재 위치로 차량을 호출하는 방법
WO2020085881A1 (en) Method and apparatus for image segmentation using an event sensor
WO2015194907A1 (ko) 주차 위치 확인시스템 및 이를 이용한 주차 위치 확인방법
WO2017018744A1 (ko) 무인 스마트카를 이용한 공익서비스 시스템 및 방법
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
WO2020122300A1 (ko) 딥러닝 기반 번호 인식 시스템
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2020189831A1 (ko) 자율주행 차량의 모니터링 및 제어 방법
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
WO2021261656A1 (ko) 엣지 컴퓨팅 기반 보안 감시 서비스 제공 장치, 시스템 및 그 동작 방법
WO2021085771A1 (ko) 하이브리드 교통신호제어시스템 및 그 방법
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2017022994A1 (ko) 그린에서의 퍼팅정보 제공방법
WO2021125578A1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2020171605A1 (ko) 주행 정보 제공 방법, 차량맵 제공 서버 및 방법
WO2022255677A1 (ko) 다중 관측정보를 이용한 고정객체의 위치 결정 방법
CN112289036A (zh) 基于交通语义的场景式违章属性识别***及方法
WO2020166743A1 (ko) 자율주행 차량을 이용한 부동산 서비스 제공 방법
WO2020071573A1 (ko) 딥러닝을 이용한 위치정보 시스템 및 그 제공방법
KR101073053B1 (ko) 자동 교통정보추출 시스템 및 그의 추출방법
JP7107596B2 (ja) 駅監視システム及び駅監視方法
WO2020230921A1 (ko) 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇
WO2022197042A1 (ko) 교차로 꼬리물기 인지 및 영상 저장 장치
WO2020130209A1 (ko) 영상 처리를 이용한 차량 속도 측정 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19932824

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19932824

Country of ref document: EP

Kind code of ref document: A1