WO2010151001A2 - 여행자용 내비게이션 방법 및 그 시스템 - Google Patents

여행자용 내비게이션 방법 및 그 시스템 Download PDF

Info

Publication number
WO2010151001A2
WO2010151001A2 PCT/KR2010/003859 KR2010003859W WO2010151001A2 WO 2010151001 A2 WO2010151001 A2 WO 2010151001A2 KR 2010003859 W KR2010003859 W KR 2010003859W WO 2010151001 A2 WO2010151001 A2 WO 2010151001A2
Authority
WO
WIPO (PCT)
Prior art keywords
spatial
information
search
data
user
Prior art date
Application number
PCT/KR2010/003859
Other languages
English (en)
French (fr)
Other versions
WO2010151001A3 (ko
Inventor
권용진
이용
Original Assignee
한국항공대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교 산학협력단 filed Critical 한국항공대학교 산학협력단
Publication of WO2010151001A2 publication Critical patent/WO2010151001A2/ko
Publication of WO2010151001A3 publication Critical patent/WO2010151001A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present invention relates to a navigation for a traveler, and more particularly, based on a situation-aware sensor and a digital map search, a user accurately recognizes an act of looking at a real-life environment through a camera of a mobile terminal, thereby searching for information on an object to be searched for.
  • the present invention relates to a navigation method and a system for a traveler, which aims to provide convenience to a traveler by accurately providing it to a traveler.
  • a method of acquiring spatial information during an existing trip is as follows.
  • Gyeonggi-do a city of historic cultural arts.
  • the foreigner searched the city information through a web search as a general traveler, and obtains travel information through a travel map that records important tourist information about Gyeonggi-do.
  • the travel map records detailed information on the main tourist information of Gyeonggi-do, and is used as a means of obtaining brief information such as what tourist attractions are near the current location and what history the tourist attractions are.
  • the conventional method of acquiring spatial information during travel has been inconvenient for a traveler to acquire information on a travel destination in advance through an information and communication medium such as the Internet.
  • the present invention is proposed to solve the inconvenience caused during the conventional travel as described above,
  • the technical problem to be solved by the present invention by accurately recognizing the behavior of the user looking at the real-life environment through the camera of the mobile terminal based on the situation sensor and digital map search, providing the user with the information of the target to search accurately To provide a navigation method and a system for a traveler to facilitate the convenience to the.
  • the present invention provides a navigation method and a system thereof.
  • Another technical problem to be solved by the present invention is to search for a space based on a user's location in the ubiquitous space based on the situation recognition information of the user's current situation and a digital map search through a sensor.
  • the present invention provides a navigation method and system for a traveler that can search a space in real time and search and store virtual web information related to a location.
  • Another technical problem to be solved by the present invention is to improve the accuracy of spatial recognition by applying a geometric algorithm that recognizes a user's situational awareness based on a sensor, and recognizes an object based on collected sensing data and a digital map.
  • the present invention provides a navigation method and a system for a traveler.
  • a traveler to provide a virtual reality and information visible to the real eye more realistically by showing a mixture of virtual and real information on the display of the mobile terminal at the same time when providing information
  • a navigation method and a system therefor To provide a navigation method and a system therefor.
  • a spatial search region is generated based on data sensed by a plurality of sensors provided in a mobile terminal carried by a user.
  • the geographic information search of the present invention is characterized by searching for a spatial object for the target object by searching a context database in which video and image information about the name and location of the target object are stored.
  • a mobile terminal having a plurality of sensors for acquiring the user's context information and requesting a search for the spatial information in the ubiquitous space;
  • An object recognizer connected to the integrated platform to generate a spatial search area based on sensing information generated by the mobile terminal, and recognize a search target object in the generated spatial search area;
  • a geo server which is connected to the integrated platform and searches for geographic information on the recognized spatial object and provides spatial information.
  • the plurality of sensors Preferably the plurality of sensors,
  • a GPS for acquiring position and time information through a satellite signal transmitted from a GPS satellite
  • An angular velocity sensor for detecting an angular velocity of the mobile terminal
  • An electronic compass for detecting the azimuth angle of the mobile terminal is an electronic compass for detecting the azimuth angle of the mobile terminal.
  • the mobile terminal includes an ambient browser for simultaneously displaying on the screen the real space and the recognized space information and the virtual information provided from the geo server through the camera.
  • a spatial index database storing a spatial index of a Rotated R * -Tree series for spatial retrieval from geospatial data of a digital map
  • 1 is an explanatory diagram for explaining a conventional travel information search method using a map and the web.
  • FIG. 2 is an exemplary diagram of a real-time spatial search scenario in the present invention.
  • FIG. 4 is a configuration diagram of the spatial information extraction platform of FIG.
  • FIG. 5 is a configuration diagram of a Universal Map DBMS for managing spatial information of FIG.
  • FIG. 6 is an exemplary representation of selective spatial information representation using a drawing API in the present invention.
  • FIG. 7 is a schematic diagram of a traveler navigation method of the present invention.
  • FIG. 8 is an exemplary diagram of a coordinate space representation method for generating a search region.
  • FIG. 9 is a data structure diagram of an R-Tree.
  • 10 is an exemplary diagram of a real space object configured with MBR.
  • 11 and 12 are explanatory diagrams for explaining the problem of spatial recognition when configured with MBR.
  • FIG. 13 is an MBR for the area around the squadron
  • FIG. 14 is a Rotated-MBR for the area around the squadron.
  • Fig. 16 shows an example of calculation between edges of Rotated-MBR and Convex.
  • 17 is an overlap relationship diagram of an MBR.
  • 18 is an overlap relationship diagram between a search area and a building MBR.
  • 19 is an overlap relationship diagram between a search area and a building MBR.
  • 20 and 21 are diagrams illustrating a process of dividing a search area.
  • FIG. 23 is a block diagram of a traveler navigation system according to the present invention.
  • 24 is an exemplary positioning example using a GPS sensor.
  • 25 is an exemplary diagram of tilt positioning of a mobile terminal using an angular velocity sensor.
  • Fig. 26 is an illustration of azimuth positioning using an electronic compass.
  • 27 is a spatial index DB table structure diagram.
  • Fig. 28 is a map DB table type and structure diagram.
  • 29 is an object table type and classification criteria table
  • FIG. 30 is a structure diagram of a Context DB table.
  • 32 is a structure diagram of a Real_Media table.
  • 33 is a flowchart illustrating a traveler navigation method according to the present invention.
  • a sensor that can acquire travel information of a virtual web space accumulated at a specific position in a real space, a current location of a user, and context information about the surrounding environment.
  • the terminal carried by the user has a camera device, and the user expresses his or her interest through the camera.
  • the present invention if there is a system capable of recognizing a user's location and recognizing a space or scene illuminated through a camera image as shown in FIG. You can search for the spatial information you want. Travelers can immediately see the building by simply looking at the building they are interested in as they move around.
  • the location information is also transmitted through the mobile terminal having the GPS device, so that the surrounding map information and the tagged virtual information for the location can be provided together.
  • the present invention is convenient for travel by providing virtual information about the object by recognizing the objects in the area that the user is looking through the camera based on the digital map that expresses the object situation in the ubiquitous space and the real space as it is. It is a traveler's navigation system for planning.
  • U-MAP Universal Map Access Platform
  • LDT Location Determine Technology
  • LEP Location Enabled Platform
  • LAP Location Application Program
  • LDT is a technology for determining the location information of the user
  • LEP is a processing technology for providing the surrounding spatial information based on the location information
  • LAP refers to a variety of application services using the location and the spatial information of the LBS user.
  • LEP is the core technology for LBS service, and the spatial information database and DBMS (Database Management Systems) for managing spatial objects are important.
  • U-MAP which is an integrated platform including API (Application Program Interface) supporting LBS application service development, is constructed using the built database.
  • Universal Map DBMS manages spatial information extracted from various map data formats using spatial information extraction platform.
  • the extracted spatial information stores LBS user's spatial objects based on the original data database and the original database, which can store the vector information of the digital map original data without adding or subtracting to quickly respond to the addition, change and deletion of the spatial object information.
  • Roated-R * -Tree database which is a database of spatial information about building objects using the R-Tree index structure. 3 shows the overall structure of the U-MAP.
  • the spatial information provided to LBS users can generally be obtained from digital maps, which have various types of formats, and each format expresses objects in real space in different ways. .
  • Drawing eXchange Format is an ASCII text file in which several consecutive groups of two lines represent a spatial object.
  • GDF Geographic Data Files
  • identifiers uses identifiers to represent a spatial object with a single row of records.
  • the DXF format reads data line by line and classifies and stores the data according to the normalized code.
  • GDF reads data in block units and analyzes and classifies the content.
  • the spatial information extracted by these different methods not only has location information but also attribute information such as mountains, rivers, roads, buildings, and the like. This attribute information is extracted from different formats, but the spatial objects can be clustered using the similarity of the attribute information between the spatial objects.
  • U-MAP's spatial information extraction platform is a spatial object management model that manages spatial objects using similarity between spatial information extractor that extracts spatial information from each format described in the above example and attribute information of extracted spatial information data. Consists of.
  • the spatial information extractor for each format of the spatial information extraction platform is a plug-in type. When spatial information on a new map data format is needed, only the new extractor can be added and used without changing the entire system.
  • FIG. 4 is a block diagram of a spatial information extraction platform.
  • Spatial information extracted from various map data formats using a spatial information extraction platform as disclosed in FIG. 4 is managed in a Universal Map DBMS.
  • the extracted spatial information stores LBS user's spatial objects based on the original data database and the original database, which can store the vector information of the digital map original data without adding or subtracting to quickly respond to the addition, change and deletion of the spatial object information.
  • Roated-R * -Tree database which uses the Roated-R * -Tree index structure to database spatial information about building objects, and expresses spatial information to users faster based on the original database.
  • the spatial information data in the form of vector is changed into the bitmap form in the raster form and managed by three types of databases, the bitmap data database for fast drawing.
  • FIG. 5 the management of the spatial information extracted from the digital map with each database is disclosed.
  • Drawing and Search Engine define Drawing and Search API to provide location application from Universal Map DBMS that spatial information is saved in three forms.
  • the Drawing API provides a function to selectively represent spatial object information stored separately classified by similar attribute information. For example, when providing spatial information to a vehicle navigation user, road information, building information, administrative area information, and the like may be provided, but unnecessary information such as contour information may not be provided, thereby providing only minimum essential spatial information.
  • FIG. 6 is a diagram for a view of selectively showing spatial information having similar attribute information to a user using a drawing API.
  • the Search API provides a function that can quickly process a user's building target query using the building target Roated-R * -Tree DB, which is constructed using the Roated-R * -Tree index structure.
  • the Search API provides a function that can update data stored in DB using Modifying API.
  • the present invention utilizes data collected from a sensor attached to a mobile terminal to accurately recognize a user's information request through a camera image in a ubiquitous space where virtual and reality are mixed, based on a digital map search. It searches for a spatial object and provides it to the user.
  • S represents a step.
  • steps S101 to S103 generate a spatial search area when a spatial information request is generated by a user; Recognizing a spatial object existing in the created spatial search region (S105); Retrieving geographic information related to the recognized spatial object (S107); Providing the spatial search information based on the searched geographic information result (S109).
  • the spatial object recognition step (S105) may include generating an index for the spatial data for efficiently performing the search for the multidimensional spatial data in the generated spatial search area (S105a); Calculating an overlapping relationship between the search area and the building area (S105b); After calculating the overlapping relationship, the search area is divided, and the search for the divided spatial search area is repeatedly performed (S105c).
  • the user's navigation method generates a user's information request to search by illuminating a space through a camera and recognizes an accurate search target space through sensing information acquired from a mobile terminal. . Also, based on the sensing information, an object reflected on an image is searched through a digital map and a search method proposed by the present invention.
  • the user requests web information about the retrieved spatial object, it retrieves the information from the server based on its location and provides it to the user. At this time, the virtual information is synthesized and displayed on the input image screen of the real space, so that the virtual information and the virtual information coexist.
  • the camera attached to the mobile terminal is a medium for the user to look at the ubiquitous space where a mixture of virtual and reality exists and is a means for expressing the user's information request.
  • the user inputs which part corresponds to the keyword.
  • looking at the search object through the camera means that the four processes simultaneously focus on the search area in the real space, search simultaneously with the request of the search query, and show the result to the user.
  • the user's information request for the real space is expressed through visual and spatial information requests, not keywords.
  • the advantage of the expression of information request is that the act of illuminating the space itself does not go through the process of generating clear keywords for problem solving, such as Taylor's information request specification step to solve the information request, rather than using the information retrieval system.
  • users can search for spatial information without the effort to specify keywords by comparing keyword inputs and information.
  • Situational awareness information sensors attached to mobile terminals include GPS, angular velocity sensors (or gyro sensors), and electronic compasses. Looking at each function, the GPS measures the current position information of the user or the terminal, the angular velocity sensor calculates the angle of inclination of the mobile terminal relative to the horizontal line, so that the user's view of the spatial object, that is, the direction of the camera
  • the electronic compass can be used to calculate azimuth information based on the north latitude, and to measure in which direction the mobile terminal is pointing. Based on this information, a process of recognizing a spatial object in the area is performed by generating a user's information request area. In this case, the process of generating the space area is as follows.
  • the camera of the mobile device When the user wants to search for information on a certain space or spatial object in the real space through the mobile terminal that he / she is carrying, when the camera of the mobile device is pointed toward the target, the current position of the user by GPS and the tilt of the mobile device by the gyro sensor And azimuth information are obtained with the electronic compass.
  • the camera of the mobile terminal has a viewing angle range and a distance of up to what range an image can be acquired.
  • a triangle shape When the obtained value is applied to a digital map having two-dimensional (x, y) coordinates, a triangle shape is obtained. You can create a search area. The triangular region thus created becomes a search region representing the user's information request.
  • FIG. 8 is a diagram briefly illustrating a process of collecting sensing-based information using a mobile terminal and generating the search-based information, and the lower view is a coordinate space based on each sensing information to calculate a search region generation.
  • the data is represented in the figure.
  • the information necessary for generating the search region among the sensing information acquired from the mobile terminal is the current position of the user, the angle of view of the camera, and the azimuth based on the north latitude. Also, this is a distance value in which the user searches for a range. From these four pieces of information, the system can create a triangular search region, which requires the coordinates for points A, B, and C.
  • Points O are the current position of the user (mobile terminal), ⁇ azimuth is the azimuth angle, ⁇ angle is the camera's viewing angle, d is the maximum search distance from the user's current position, and points O, A, B are the three constituents of the search area. Each point is represented.
  • Length of line segment OA length of line segment AC / sin ( ⁇ angle / 2).
  • X-coordinate of point A Cx + (length of line segment OA) -cos ( ⁇ azimuth- ⁇ angle / 2)
  • y-coordinate of point A Cy + (length of line segment OA) -sin ( ⁇ azimuth- ⁇ angle / 2).
  • the coordinate value of the point B is also calculated by repeating the process of obtaining the coordinate value of the point A as follows.
  • X-coordinate of point B Cx + (length of line segment OB) ⁇ cos ( ⁇ azimuth + ⁇ angle / 2)
  • y-coordinate of point B cy + (length of line segment OB) ⁇ sin ( ⁇ azimuth + ⁇ angle / 2).
  • a search area consisting of points O, A, and B can be created. Since each point of the search area is composed of coordinate values of (x, y), the overlap operation is performed from the spatial information of the digital map. To recognize spatial objects in the region.
  • digital maps represent the real world as it is. Therefore, searching for an object viewed in the real world is the same as searching for an object viewed on a digital map.
  • a search algorithm for buildings reflected on camera images is applied based on sensing information collected from mobile terminals.
  • the number of objects in real space consists of a vast and myriad of sets of coordinates. In fact, if we extract spatial objects from Goyang city, Gyeonggi-do, 200,000 building data are extracted, and the number of coordinates of each building is dozens. Therefore, indexing and simplification are necessary to efficiently perform a search from such a complicated spatial object.
  • the spatial data is extracted from the digital map by using the U-MAP to build a database, and the spatial search method is performed based on the database.
  • the amount of data representing the real space is very large and multidimensional, it is necessary to index the multidimensional spatial data in order to efficiently process the queries required for spatial recognition algorithms such as spatial search queries.
  • R-tree index is mainly used as an index for data.
  • R-Tree is similar to B-Tree, but is an index that stores multidimensional spatial data. For example, in geography, R-Tree can quickly answer a query such as "find all cities within 200 km of the current location.”
  • This data structure stores space by dividing the space object into minimum bounding rectangles (MBRs) as shown in FIG. These MBRs may overlap each other, and the higher level MBR is composed of a hierarchical tree structure including the lower level MBRs.
  • MBRs minimum bounding rectangles
  • Each node of the R-Tree has an MBR and a pointer as information of a flexible number of child nodes within a predefined range.
  • R-Tree has the advantage of being a dynamic structure because data can be added or deleted without reorganizing the entire structure, but due to inefficient index structure, many accesses to unnecessary nodes occur for query processing.
  • Rotated R * -Tree is constructed and used in the spatial search algorithm.
  • R * -Tree is composed regardless of the structure of real space objects, so a lot of empty space is generated in the process of approximating spatial objects.
  • the shape of the object in the real space is a lot of objects of the form of Line or LineString long in one direction such as apartment, water pipe, gas pipe.
  • the result is returned more than necessary when performing spatial query such as area query, and as a result, the number of accesses of actual data is returned more than necessary, resulting in a large number of accesses of actual data.
  • the empty space also increases the overlapping area between nodes, resulting in a decrease in search performance of the tree.
  • Figure 10 shows how the shape and structure of the actual building is made using the aerial photo of Goyang-si, Gyeonggi-do.
  • the actual structure of the building has a rectangular shape and it can be seen that it is inclined diagonally. If you configure the MBR in the shape of such a real building, a lot of empty spaces are generated as shown in the drawing. As shown in the right MBR of the drawing, the area of the real building does not overlap, but when the MBR is configured, the overlap occurs.
  • R * -Tree composed of such MBR becomes an important problem in the traveler navigation system proposed by the present invention. Because, the basic method used in the spatial recognition algorithm of the present invention is to calculate the relationship between the MBR of the spatial object and the overlap of the generated triangular search region. Therefore, when the MBR is configured without considering the shape of the real world, problems as shown in FIGS. 11 and 12 may occur.
  • the MBR when the MBR is generated for the building B, and the search area and the overlap relationship are examined, the area overlap may be confirmed.
  • building B is invisible to the real user. Therefore, it should not be included in the search results on the spatial recognition algorithm. This problem occurs because the MBR is configured without considering the shape of the spatial object in the real space.
  • the building B's MBR is applied to the spatial recognition algorithm by generating the MBR almost identical to the shape of building B as shown in Figure 12, the building B is not included in the area.
  • FIG. 13 and 14 illustrate a case in which MBR and Rotated-MBR are configured for spatial data around the Korea Aerospace University. Comparing the two figures, Rotated-MBR takes into account the shape of the objects in real space, so we can create a minimal bounding rectangle with no much more space than MBR of 11.
  • the spatial objects extracted from the digital map are represented by a set of points. Creating an MBR from these sets of points is very simple. To construct a spatial object as an MBR, we only need to know the coordinates of two points. That is, when the X and Y coordinate values corresponding to the maximum and minimum values are obtained, the values become two coordinates forming the MBR.
  • R-MBR Ring-MBR
  • Roated-MBR is composed of four points through a somewhat more complicated process than MBR.
  • the principle of creating a Rotated-MBR is “When a spatial object is Convex, A rectangle containing Convex must contain a straight line that makes up Convex. " The minimum area of the generated MBR is called Roated-MBR.
  • the algorithm for calculating the Roated-MBR is as follows.
  • the spatial object is a polygon with N nodes.
  • Convex is created by applying Graham Scan Method from N nodes, and Convex has m nodes.
  • step (f) If it is smaller than the minimum area, update the value and repeat from step (d).
  • the search area is a triangular search area.
  • MBR and Rotated-MBR to construct spatial objects in real space into R * -Tree. The overlapping relationship between the two areas is calculated to recognize the objects included in the search area.
  • the basic principle of performing the spatial search algorithm is to search for the spatial object closest to the user's current location, and then if the azimuth range formed by the spatial object falls within the azimuth range of the generated search area, that is, the current user Corresponds to the building you want to find.
  • the number of overlap is as follows.
  • the MBR of the spatial object is completely included in the search area, or partially included or not. If the search area is an inclusion relationship between MBRs, as shown in FIG. 17, the MBR can be simply calculated in the range of (x, y). However, in the present invention, a triangular search area, MBR, and Rotated-MBR have to be applied. .
  • the generated search region is used. Since the user knows the azimuth information and the camera angle range, which is information on how far the user is looking based on the north latitude, the minimum and maximum azimuth angles of the search region can be calculated. . From this, an algorithm for performing an overlapping relationship between the MBR of R * -Tree and the generated search region is as follows.
  • the generated search area is the remaining area except the included azimuth range, and several search areas may be generated.
  • FIG. 18 is a diagram illustrating a case where (a) a part of the basic algorithm is completely included in the search range, (b) a part is included, and (c) the part is not included. Since this algorithm is performed recursively, when a spatial object is included as shown in FIGS. 18A and 18B, the algorithm is divided into a new search region, which is a region excluding the overlapped azimuth range.
  • the minimum and maximum azimuth angles of the current search area may be calculated using the azimuth angle and the camera angle angle, and the overlapping may be checked by calculating whether the azimuth range formed by the user's current position and the building is included in the azimuth range.
  • point O (Cx, Cy) is the current position of the user (mobile terminal)
  • ⁇ azimuth is the azimuth angle
  • ⁇ angle is the camera viewing angle
  • d is the maximum search distance from the user's current position
  • MBR_Xmin MBR_Xmax is the minimum / maximum X of the MBR Coordinates
  • MBR_Ymin and MBR_Ymax represent the minimum and maximum Y coordinates of MBR
  • d1, d2, d3, and d4 represent distances between the coordinates forming point O and MBR, respectively.
  • the method of calculating the minimum and maximum azimuth of the building using the user's current position and the coordinates of the building is as follows.
  • Rotated-MBR can be calculated by the same method, only the case where the building area is MBR (Minimum Boundary Rectanlge) will be described.
  • the azimuth angle between the MBR coordinates that make up the spatial object from the user's current position is the trigonometric function of the distance difference between the point O and the linear distances (d1, d2, d3, d4) of each MBR coordinate and the x coordinate of the MBR and the x coordinate of the point O.
  • azimuth angles are calculated for each MBR node and sorted in ascending order, and the azimuth range of the building is obtained based on the current position of the user.
  • the recognition process for the building is performed by comparing the calculated range with the range of the search area to see if there is an overlap area.
  • the search area includes a plurality of spatial objects.
  • the order of recognizing the spatial objects first performs the object closest to the user's current location, and the searching process recursively checks the overlapping area. As shown in FIG. 20, when there are spatial objects A and B, the spatial search algorithm is preferentially executed because the object A is located closer to the user's current position. After the algorithm is performed on the object A, the division of the search area is the remaining area excluding the range of the included azimuth angle, as shown in FIG. 21.
  • the division process of the search region is as follows.
  • FIG. 22 shows the result of performing the navigational navigation algorithm proposed by the present invention after constructing a Rotated R * -Tree of an MBR for a spatial object around Goyang-si, Gyeonggi-do.
  • Information about the spatial object retrieved by the object recognition process is provided to the user by retrieving information related to the object by accessing GeoServer through the Internet only when there is a request for information.
  • the user illuminates the real space using the camera of the mobile terminal.
  • the retrieved object name is displayed as an overlap.
  • various submenus are configured on the display screen of the mobile terminal. In order to obtain information on the spatial object, the relevant information is retrieved by touching the spatial object area.
  • the present invention is to maximize the reality by allowing the virtual information related to the image itself reflected in the camera is embedded, so that the user is looking at the real world, but also the related virtual information that is not visible.
  • the above description has described a spatial search method for recognizing a spatial object based on sensing information and a digital map and providing spatial information to a user in real time, and hereinafter, a next generation mobile terminal based on the spatial search method;
  • the overall structure of a travel navigation system including a real-time spatial information system is described.
  • a traveler navigation system includes a mobile terminal 110, a spatial index database 121, a map database 122, a context database 123, and a geo-server ( 130, the object recognition unit 140, the integrated platform 150, and the browser 160.
  • the mobile device 110 is a terminal that a user carries to search for space information in a ubiquitous space, and various sensors (for example, a GPS sensor, a gyro sensor, and an electronic device for acquiring situation information of the user). Compass) and a camera, and the user expresses the search request by illuminating the real world through the camera of the terminal.
  • various sensors for example, a GPS sensor, a gyro sensor, and an electronic device for acquiring situation information of the user.
  • Compass and a camera, and the user expresses the search request by illuminating the real world through the camera of the terminal.
  • the spatial index database 121 stores the index of Rotated R * -Tree for spatial search from the geospatial data of the vast digital map, and the map database 122 manages the original geospatial data, and the context database 123 Virtual information is managed by tagging based on location.
  • the geo-server 130 performs a function of retrieving and storing related information when a user requests information from the context database 123 tagged based on the location.
  • the object recognizer 140 performs a role of recognizing the spatial object existing in the search area generated from the mobile terminal.
  • the browser 160 performs a function of realistically browsing to the user the virtual space provided by the camera, the real space and the recognized spatial information, and the virtual information provided from the geo server 130.
  • Integration Platform is a platform that manages each of the components, internally includes a U-MAP, and performs the function of managing all messages and transmission data between each component.
  • the mobile terminal 110 is a terminal that a user carries and uses for a ubiquitous space, and various sensors for acquiring the user's context information are embedded.
  • the user expresses the search request by looking at the real world through the camera of the mobile terminal 110.
  • Sensors attached to the mobile terminal 110 acquire information necessary for situation recognition of the user or the mobile terminal 110, respectively, and are used as data for object recognition. Attached sensors are GPS, gyro sensor and electronic compass respectively.
  • the data extraction program from each sensor is implemented in Visual C ++ and added to the real-time spatial retrieval system.
  • the GPS is used to obtain location and time. Twenty four GPS satellites continue to rotate the Earth's atmosphere in different orbits. This is to obtain four or more satellite signals at any time and anywhere on earth. In order to measure position, signals must be received from at least four satellites simultaneously. Of course, if you receive signals from more satellites, you can get more accurate position values.
  • GPS positioning data is a standard positioning service (SPS) provided to the private sector and has an error range within 200m.
  • SPS standard positioning service
  • DGPS differential GPS
  • the margin of error can be reduced to within 5m. Since DGPS is a technique known in the art, detailed description thereof will be omitted.
  • 24 is an example of a result of recording position data while moving around Korea Aerospace University by mounting a real GPS on a mobile terminal used for providing navigation information for travelers, and drawing on aerial photographs.
  • the angular velocity sensor is a gyro sensor which detects the angular velocity, and the unit of measurement thereof is, of course, the angle / time. Generally, it is deg / sec, and the general gyro can obtain only relative angle information. Therefore, it is possible to know exactly how much the angle has changed only when the initial angle is given.
  • the reference posture angle is often an accelerometer.
  • the acceleration signal outputted by this signal can be understood as a signal in which two kinds of acceleration components, acceleration and deceleration, and gravitational acceleration components are inclined. Since the acceleration acceleration component is located at the high frequency component in the frequency domain and the gravity acceleration component is located at the low frequency component, in order to calculate the pose angle, the low frequency component is extracted from the obtained accelerometer signal, and the posture angle is calculated from the extracted low frequency signal.
  • the accelerometer since the accelerometer also detects the acceleration generated according to the motion, the attitude angle is obtained by integrating the time-averaged motion acceleration component, which causes a problem in responsiveness.
  • the accelerometer in combination with a gyro can solve the problem of responsiveness.
  • the posture angle obtained from the gyro for the fast-responsive part of the moving object is the posture angle obtained from the accelerometer.
  • the angle output with good responsiveness can be obtained. 25 is a screen experiment by attaching the actual gyro sensor to the mobile terminal. As shown in FIG. 25, the inclination of the mobile terminal such as up, down, and horizontal may be recognized as a result of differentiating each of the situations in which the mobile terminal is inclined from the sensor.
  • the electronic compass is divided into magnetic compass using geomagnetism and gyrocompass using the principle of the rotating body.
  • the gyro compass is attached to the gyroscope axis rotating at high speed, the axis is automatically affected by the rotation of the earth. It points to the true north, the axis of rotation of the earth, and can be used without correcting the deviation caused by the magnetic compass.
  • Computers and mobile phones have also been developed and put into practical use in the electronic compass that can know the direction of the electronic device.
  • the compass uses magnetic sensors to calculate the strength of the geomagnetism and calculates the north direction, so it is strong in the magnetic influence of the surroundings and quickly analyzes and corrects it even if it is affected. There is an advantage to obtain.
  • azimuth can be acquired as data, and when this data is linked with a computer or navigation system, it is used in many ways. Equipped with an electronic compass in the cell phone, not only can the user know the direction in which the cell phone is going, but also the head-up can be made by aligning the map display with the heading direction. In addition, it is also mounted on mobile terminals such as watches, GPS terminals, binoculars, and digital cameras, and is increasingly used for outdoor sports, cars, leisure boats, and small airplanes.
  • 26 is a result of measuring which direction the camera of the mobile terminal is facing based on the north latitude by attaching an electronic compass to the mobile terminal.
  • the spatial index DB 121 used for efficient management of massive spatial data and spatial retrieval algorithms
  • the map database 122 which is a source geospatial database extracted through U-MAP from digital maps
  • virtual information The context database 123 stores location-based spatial information constructed through tagging.
  • the spatial index database 121 is composed of Rotated R * -Tree based on Rotated-MBR.
  • the spatial index DB 121 is a structure that enables a quick search for a spatial query.
  • the context DB 123 stores Point of Interest (POI) data, that is, location data of the region of interest and interest information.
  • POI Point of Interest
  • the geospatial data 122 is a file DB, and also has bitmap data for high-speed drawing. Each table structure is as follows.
  • FIG. 27 is a table structure that stores the index structure of Rotated R * -Tree, and stores values for node ID, node type, and child node ID.
  • the node ID has a value of 0, 1, 2, and 3.
  • 0 means Inter Node
  • 1 means Leaf Node
  • 2 means Root Node
  • 3 means Element Node.
  • Node type means the shape of the spatial object and has a value from 0 to 5. 0 corresponds to MBR, 1 to SPHERE, 2 to POINT, 3 to OPEN_TRIANGLE, 4 to CLOSE_TRIANGLE, and 5 to Roated-MBR.
  • the method of expressing basic spatial information of the map database 122 is determined in the form of Point, Polyline, Polygon and the like.
  • Map Info Table is a table that manages basic information about the digital map. This table consists of Map_ID, Map_Name, Level, Map_Unit_ID, Path, and Latitude / Longitude.
  • Map_ID is an index of Map Info Table. It acts as a linking key so you can see which map the values in each row belong to in another table.
  • the Map_Name column contains information such as the National Geographic Institute, US maps, and European maps. That is, it contains information on which country the map is used and maintained in. The reason is that different countries use different map formats, so they need to be distinguished in order to manage them in one database.
  • the Level column contains scale information. Digital maps mainly use 1: 1,000, 1: 5,000, and 1: 25,000 maps.
  • Map_Unit_ID has a leaf number. The lobe number is given a basic name based on latitude information, and the number is added as the scale changes. Path stores the path to the folder containing the original numeric map.
  • the latitude / longitude column contains the point coordinate values of the upper right and lower left of each numerical map. That is, it means the maximum and minimum range of the numerical map.
  • the Object Table is a table that stores data about the spatial information of each numerical map.
  • the table consists of GID, Layer_ID, Map_ID, Object_Type, and Object_Info.
  • GID acts as an index of the object table.
  • Layer_ID has information about which layer the data of the object table belongs to. From this value, it acts as a connection key to retrieve data related to a layer from the Layer Table.
  • Map_ID is the ID of the map to which the object belongs.
  • Object Type represents the data type of points, lines, and faces.
  • Object Info has a value whether the data type is polygon or string.
  • the object table having the above structure has the kind shown in FIG. 29 according to the type of data. The classification criteria were classified according to what kind of layer information belongs to the administrative district, the altitude, the crop arrangement, the building, the building symbol, the commercial facility, the culture and the entertainment. The reason for this classification is to increase or decrease the ratio of the spatial information or to selectively view the spatial information.
  • Object Name Table is a table that manages coordinate values corresponding to Object. It is composed of TID, GID, Name_String, and Coordinate.
  • the TID value acts as an index.
  • GID has a GID value of an object table and serves as a connection key.
  • Name_String is the text name value and has the text value of the digital map. For example, if the object is a building, it has a building name corresponding to that building.
  • Coordinate is a coordinate value. Coordinates of an object are managed in the form of a string.
  • Layer Table manages basic information related to layers. Layers are largely based on layer name and color information. The Object_Table name is added to this information. That is, the Object_Table name described above is connected to this table by the Layer_ID value of each Object. Layer_ID serves as an index and Layer_Name is a layer name. Layer_Color contains color information of a layer.
  • the User Map Table is to allow users to manage the table that manages the data of the original map without damaging the data when the user directly adds an object based on the data of the digital map.
  • GID is an index
  • Layer_ID is a layer name
  • Map_ID is a Map_ID value of a Map Info Table.
  • Object type has values of point, line, and plane
  • Object Info has the form of polygon, string, etc.
  • the context DB 123 includes a Geo_Objects table used for a spatial search test of a mobile terminal and a Real_Media table that stores POI (Point of Interest) data of spatial objects, that is, interest information of a region of interest, as shown in FIG. 30.
  • POI Point of Interest
  • Geo_Objectc table The detailed structure of the Geo_Objectc table is shown in FIG. It consists of identification value, digital map ID, type of spatial object, name, total number of vertices forming data, and data.
  • the structure of the Real_Media table is shown in FIG.
  • the geo server 130 is a server that retrieves and stores relevant information when a user requests information from the context database 123 tagged based on the location.
  • the user may acquire an image, a video, etc. of a real space in real time through the mobile terminal 110. For example, if you take a picture in front of a specific building, the name and location of the building is searched and saved with the video and image in the context DB (123). Are recorded correctly. It is responsible for handling requests for such users' retrieval and storage.
  • the object recognition unit 140 When the user's information request occurs, the object recognition unit 140 generates a spatial search region based on the sensing information, and performs a process of recognizing the spatial object based on the map database 122 and the spatial index DB 121. do.
  • the ambient browser 160 is a browser that shows a user realistically the virtual space provided by the camera, the spatial information recognized through the camera, the spatial information recognized through the algorithm, and the virtual information provided from the geo server 130.
  • the integrated platform 150 is a platform that manages all components of the travel navigation system.
  • the integrated platform 150 includes U-MAP, which is well known internally, to handle overall processing such as spatial query for geospatial data.
  • the virtual information is tagged based on the location, and the process of automatically recognizing the spatial object is not a method of extracting and retrieving feature information from an existing image and sensing information collected from a mobile terminal.
  • Objects are recognized in real time by applying geometry based on spatial information extracted from digital maps.
  • the user can easily search for information about the geospatial without restriction of time and space.
  • the sensor collects sensing data on situational awareness by adding various sensors to the mobile terminal for user-centered information provision service, the user can simply In the direction, it automatically recognizes which object you want to search for and provides spatial information automatically.
  • the virtual and the real space information on the screen of the mobile terminal at the same time, there is an advantage that can be confirmed by associating the invisible virtual information with the actual information visible by the real eye.
  • a sensor that can acquire travel information of a virtual web space accumulated at a specific position in a real space, a current location of a user, and context information about the surrounding environment.
  • the terminal carried by the user has a camera device, and the user expresses his or her interest through the camera.
  • the present invention if there is a system capable of recognizing a user's location and recognizing a space or scene illuminated through a camera image as shown in FIG. You can search for the spatial information you want. Travelers can immediately see the building by simply looking at the building they are interested in as they move around.
  • the location information is also transmitted through the mobile terminal having the GPS device, so that the surrounding map information and the tagged virtual information for the location can be provided together.
  • the present invention is convenient for travel by providing virtual information about the object by recognizing the objects in the area that the user is looking through the camera based on the digital map that expresses the object situation in the ubiquitous space and the real space as it is. It is a traveler's navigation system for planning.
  • U-MAP Universal Map Access Platform
  • LDT Location Determine Technology
  • LEP Location Enabled Platform
  • LAP Location Application Program
  • LDT is a technology for determining the location information of the user
  • LEP is a processing technology for providing the surrounding spatial information based on the location information
  • LAP refers to a variety of application services using the location and the spatial information of the LBS user.
  • LEP is the core technology for LBS service, and the spatial information database and DBMS (Database Management Systems) for managing spatial objects are important.
  • U-MAP which is an integrated platform including API (Application Program Interface) supporting LBS application service development, is constructed using the built database.
  • Universal Map DBMS manages spatial information extracted from various map data formats using spatial information extraction platform.
  • the extracted spatial information stores LBS user's spatial objects based on the original data database and the original database, which can store the vector information of the digital map original data without adding or subtracting to quickly respond to the addition, change and deletion of the spatial object information.
  • Roated-R * -Tree database which is a database of spatial information about building objects using the R-Tree index structure. 3 shows the overall structure of the U-MAP.
  • the spatial information provided to LBS users can generally be obtained from digital maps, which have various types of formats, and each format expresses objects in real space in different ways. .
  • Drawing eXchange Format is an ASCII text file in which several consecutive groups of two lines represent a spatial object.
  • GDF Geographic Data Files
  • identifiers uses identifiers to represent a spatial object with a single row of records.
  • the DXF format reads data line by line and classifies and stores the data according to the normalized code.
  • GDF reads data in block units and analyzes and classifies the content.
  • the spatial information extracted by these different methods not only has location information but also attribute information such as mountains, rivers, roads, buildings, and the like. This attribute information is extracted from different formats, but the spatial objects can be clustered using the similarity of the attribute information between the spatial objects.
  • U-MAP's spatial information extraction platform is a spatial object management model that manages spatial objects using similarity between spatial information extractor that extracts spatial information from each format described in the above example and attribute information of extracted spatial information data. Consists of.
  • the spatial information extractor for each format of the spatial information extraction platform is a plug-in type. When spatial information on a new map data format is needed, only the new extractor can be added and used without changing the entire system.
  • FIG. 4 is a block diagram of a spatial information extraction platform.
  • Spatial information extracted from various map data formats using a spatial information extraction platform as disclosed in FIG. 4 is managed in a Universal Map DBMS.
  • the extracted spatial information stores LBS user's spatial objects based on the original data database and the original database, which can store the vector information of the digital map original data without adding or subtracting to quickly respond to the addition, change and deletion of the spatial object information.
  • Roated-R * -Tree database which uses the Roated-R * -Tree index structure to database spatial information about building objects, and expresses spatial information to users faster based on the original database.
  • the spatial information data in the form of vector is changed into the bitmap form in the raster form and managed by three types of databases, the bitmap data database for fast drawing.
  • FIG. 5 the management of the spatial information extracted from the digital map with each database is disclosed.
  • Drawing and Search Engine define Drawing and Search API to provide location application from Universal Map DBMS that spatial information is saved in three forms.
  • the Drawing API provides a function to selectively represent spatial object information stored separately classified by similar attribute information. For example, when providing spatial information to a vehicle navigation user, road information, building information, administrative area information, and the like may be provided, but unnecessary information such as contour information may not be provided, thereby providing only minimum essential spatial information.
  • FIG. 6 is a diagram for a view of selectively showing spatial information having similar attribute information to a user using a drawing API.
  • the Search API provides a function that can quickly process a user's building target query using the building target Roated-R * -Tree DB, which is constructed using the Roated-R * -Tree index structure.
  • the Search API provides a function that can update data stored in DB using Modifying API.
  • the present invention utilizes data collected from a sensor attached to a mobile terminal to accurately recognize a user's information request through a camera image in a ubiquitous space where virtual and reality are mixed, based on a digital map search. It searches for a spatial object and provides it to the user.
  • FIG. 30 is a flowchart illustrating a traveler navigation method according to the present invention, where S represents a step.
  • steps S101 to S103 generate a spatial search area when a spatial information request is generated by a user; Recognizing a spatial object existing in the created spatial search region (S105); Retrieving geographic information related to the recognized spatial object (S107); Providing the spatial search information based on the searched geographic information result (S109).
  • the spatial object recognition step (S105) may include generating an index for the spatial data for efficiently performing the search for the multidimensional spatial data in the generated spatial search area (S105a); Calculating an overlapping relationship between the search area and the building area (S105b); After calculating the overlapping relationship, the search area is divided, and the search for the divided spatial search area is repeatedly performed (S105c).
  • the user's navigation method generates a user's information request to search by illuminating a space through a camera and recognizes an accurate search target space through sensing information acquired from a mobile terminal. . Also, based on the sensing information, an object reflected on an image is searched through a digital map and a search method proposed by the present invention.
  • the user requests web information about the retrieved spatial object, it retrieves the information from the server based on its location and provides it to the user. At this time, the virtual information is synthesized and displayed on the input image screen of the real space, so that the virtual information and the virtual information coexist.
  • the camera attached to the mobile terminal is a medium for the user to look at the ubiquitous space where a mixture of virtual and reality exists and is a means for expressing the user's information request.
  • the user inputs which part corresponds to the keyword.
  • looking at the search object through the camera means that the four processes simultaneously focus on the search area in the real space, search simultaneously with the request of the search query, and show the result to the user.
  • the user's information request for the real space is expressed through visual and spatial information requests, not keywords.
  • the advantage of the expression of information request is that the act of illuminating the space itself does not go through the process of generating clear keywords for problem solving, such as Taylor's information request specification step to solve the information request, rather than using the information retrieval system.
  • users can search for spatial information without the effort to specify keywords by comparing keyword inputs and information.
  • Situational awareness information sensors attached to mobile terminals include GPS, angular velocity sensors (or gyro sensors), and electronic compasses. Looking at each function, the GPS measures the current position information of the user or the terminal, the angular velocity sensor calculates the angle of inclination of the mobile terminal relative to the horizontal line, so that the user's view of the spatial object, that is, the direction of the camera
  • the electronic compass can be used to calculate azimuth information based on the north latitude, and to measure in which direction the mobile terminal is pointing. Based on this information, a process of recognizing a spatial object in the area is performed by generating a user's information request area. In this case, the process of generating the space area is as follows.
  • the camera of the mobile device When the user wants to search for information on a certain space or spatial object in the real space through the mobile terminal that he / she is carrying, when the camera of the mobile device is pointed toward the target, the current position of the user by GPS and the tilt of the mobile device by the gyro sensor And azimuth information are obtained with the electronic compass.
  • the camera of the mobile terminal has a viewing angle range and a distance of up to what range an image can be acquired.
  • a triangle shape When the obtained value is applied to a digital map having two-dimensional (x, y) coordinates, a triangle shape is obtained. You can create a search area. The triangular region thus created becomes a search region representing the user's information request.
  • FIG. 8 is a diagram briefly illustrating a process of collecting sensing-based information using a mobile terminal and generating the search-based information, and the lower view is a coordinate space based on each sensing information to calculate a search region generation.
  • the data is represented in the figure.
  • the information necessary for generating the search region among the sensing information acquired from the mobile terminal is the current position of the user, the angle of view of the camera, and the azimuth based on the north latitude. Also, this is a distance value in which the user searches for a range. From these four pieces of information, the system can create a triangular search region, which requires the coordinates for points A, B, and C.
  • Points O are the current position of the user (mobile terminal), ⁇ azimuth is the azimuth angle, ⁇ angle is the camera's viewing angle, d is the maximum search distance from the user's current position, and points O, A, B are the three constituents of the search area. Each point is represented.
  • Length of line segment OA length of line segment AC / sin ( ⁇ angle / 2).
  • X-coordinate of point A Cx + (length of line segment OA) -cos ( ⁇ azimuth- ⁇ angle / 2)
  • y-coordinate of point A Cy + (length of line segment OA) -sin ( ⁇ azimuth- ⁇ angle / 2).
  • the coordinate value of the point B is also calculated by repeating the process of obtaining the coordinate value of the point A as follows.
  • X-coordinate of point B Cx + (length of line segment OB) ⁇ cos ( ⁇ azimuth + ⁇ angle / 2)
  • y-coordinate of point B cy + (length of line segment OB) ⁇ sin ( ⁇ azimuth + ⁇ angle / 2).
  • a search area consisting of points O, A, and B can be created. Since each point of the search area is composed of coordinate values of (x, y), the overlap operation is performed from the spatial information of the digital map. To recognize spatial objects in the region.
  • digital maps represent the real world as it is. Therefore, searching for an object viewed in the real world is the same as searching for an object viewed on a digital map.
  • a search algorithm for buildings reflected on camera images is applied based on sensing information collected from mobile terminals.
  • the number of objects in real space consists of a vast and myriad of sets of coordinates. In fact, if we extract spatial objects from Goyang city, Gyeonggi-do, 200,000 building data are extracted, and the number of coordinates of each building is dozens. Therefore, indexing and simplification are necessary to efficiently perform a search from such a complicated spatial object.
  • the spatial data is extracted from the digital map by using the U-MAP to build a database, and the spatial search method is performed based on the database.
  • the amount of data representing the real space is very large and multidimensional, it is necessary to index the multidimensional spatial data in order to efficiently process the queries required for spatial recognition algorithms such as spatial search queries.
  • R-tree index is mainly used as an index for data.
  • R-Tree is similar to B-Tree, but is an index that stores multidimensional spatial data. For example, in geography, R-Tree can quickly answer a query such as "find all cities within 200 km of the current location.”
  • This data structure stores space by dividing the space object into minimum bounding rectangles (MBRs) as shown in FIG. These MBRs may overlap each other, and the higher level MBR is composed of a hierarchical tree structure including the lower level MBRs.
  • MBRs minimum bounding rectangles
  • Each node of the R-Tree has an MBR and a pointer as information of a flexible number of child nodes within a predefined range.
  • R-Tree has the advantage of being a dynamic structure because data can be added or deleted without reorganizing the entire structure, but due to inefficient index structure, many accesses to unnecessary nodes occur for query processing.
  • Rotated R * -Tree is constructed and used in the spatial search algorithm.
  • R * -Tree is composed regardless of the structure of real space objects, so a lot of empty space is generated in the process of approximating spatial objects.
  • the shape of the object in the real space is a lot of objects of the form of Line or LineString long in one direction such as apartment, water pipe, gas pipe.
  • the result is returned more than necessary when performing spatial query such as area query, and as a result, the number of accesses of actual data is returned more than necessary, resulting in a large number of accesses of actual data.
  • the empty space also increases the overlapping area between nodes, resulting in a decrease in search performance of the tree.
  • Figure 10 shows how the shape and structure of the actual building is made using the aerial photo of Goyang-si, Gyeonggi-do.
  • the actual structure of the building has a rectangular shape and it can be seen that it is inclined diagonally. If you configure the MBR in the shape of such a real building, a lot of empty spaces are generated as shown in the drawing. As shown in the right MBR of the drawing, the area of the real building does not overlap, but when the MBR is configured, the overlap occurs.
  • R * -Tree composed of such MBR becomes an important problem in the traveler navigation system proposed by the present invention. Because, the basic method used in the spatial recognition algorithm of the present invention is to calculate the relationship between the MBR of the spatial object and the overlap of the generated triangular search region. Therefore, when the MBR is configured without considering the building shape of the real world, a problem as shown in FIG. 11 (a) (b) occurs.
  • the MBR when the MBR is generated for the building B, and the search area and the overlap relationship are examined, the area overlaps can be confirmed.
  • building B is invisible to the real user. Therefore, it should not be included in the search results on the spatial recognition algorithm. This problem occurs because the MBR is configured without considering the shape of the spatial object in the real space.
  • the building B's MBR is applied to the spatial recognition algorithm by generating the MBR almost identical to the shape of building B as shown in 11b, building B is not included in the area.
  • the spatial objects extracted from the digital map are represented by a set of points. Creating an MBR from these sets of points is very simple. To construct a spatial object as an MBR, we only need to know the coordinates of two points. That is, when the X and Y coordinate values corresponding to the maximum and minimum values are obtained, the values become two coordinates forming the MBR.
  • R-MBR Ring-MBR
  • MBR Physical Broadcast Rate
  • the algorithm for calculating the Roated-MBR is as follows.
  • the spatial object is a polygon with N nodes.
  • Convex is created by applying Graham Scan Method from N nodes, and Convex has m nodes.
  • each edge of the Roated-MBR is rotated by an angle. After rotation, find the intersection point of the straight line of Roated-MBR and calculate the area of the rectangle.
  • step (f) If it is smaller than the minimum area, update the value and repeat from step (d).
  • the search area is a triangular search area.
  • MBR and Rotated-MBR to construct spatial objects in real space into R * -Tree. The overlapping relationship between the two areas is calculated to recognize the objects included in the search area.
  • the basic principle of performing the spatial search algorithm is to search for the spatial object closest to the user's current location, and then if the azimuth range formed by the spatial object falls within the azimuth range of the generated search area, that is, the current user Corresponds to the building you want to find.
  • the number of overlap is as follows.
  • the MBR of the spatial object is completely included in the search area, or partially included or not. If the search area is included between MBRs, as shown in FIG. 15, the MBR can be simply calculated in the range of (x, y). However, in the present invention, a triangular search area, MBR, and Rotated-MBR have to be applied. .
  • the generated search region is used. Since the user knows the azimuth information and the camera angle range, which is information on how far the user is looking based on the north latitude, the minimum and maximum azimuth angles of the search region can be calculated. . From this, an algorithm for performing an overlapping relationship between the MBR of R * -Tree and the generated search region is as follows.
  • the generated search area is the remaining area except the included azimuth range, and several search areas may be generated.
  • FIG. 16 is a diagram illustrating a case where (a) a part of the basic algorithm is completely included in the search range range, (b) a part is included, and (c) is not included. Since the algorithm is performed recursively, when a spatial object is included as shown in FIGS. 16A and 16B, the algorithm is divided into a new search region, which is a region excluding the overlapped azimuth range.
  • the minimum and maximum azimuth angles of the current search area may be calculated using the azimuth angle and the camera angle angle, and the overlapping may be checked by calculating whether the azimuth range formed by the user's current position and the building is included in the azimuth range.
  • point O (Cx, Cy) is the current position of the user (mobile terminal)
  • ⁇ azimuth is the azimuth angle
  • ⁇ angle is the camera viewing angle
  • d is the maximum search distance from the user's current position
  • MBR_Xmin MBR_Xmax is the minimum / maximum X of the MBR Coordinates
  • MBR_Ymin and MBR_Ymax represent the minimum and maximum Y coordinates of MBR
  • d1, d2, d3, and d4 represent distances between the coordinates forming point O and MBR, respectively.
  • the method of calculating the minimum and maximum azimuth of the building using the user's current position and the coordinates of the building is as follows.
  • Rotated-MBR can be calculated by the same method, only the case where the building area is MBR (Minimum Boundary Rectanlge) will be described.
  • the azimuth angle between the MBR coordinates that make up the spatial object from the user's current position is the trigonometric function of the distance difference between the point O and the linear distances (d1, d2, d3, d4) of each MBR coordinate and the x coordinate of the MBR and the x coordinate of the point O.
  • the azimuth angle between point O and (MBR_Xmin, MBR_Ymin) asin ((MBR_Xmin-Cx) / d1), and d1 is the distance between point O and MBR coordinates.
  • azimuth angles are calculated for each MBR node and sorted in ascending order, and the azimuth range of the building is obtained based on the current position of the user.
  • the recognition process for the building is performed by comparing the calculated range with the range of the search area to see if there is an overlap area.
  • the search area includes a plurality of spatial objects.
  • the order of recognizing the spatial objects first performs the object closest to the user's current location, and the searching process recursively checks the overlapping area.
  • the spatial search algorithm is preferentially executed because the object A is located closer to the user's current position.
  • the division of the search area is the remaining area except the range of the included azimuth angle, as shown in FIG.
  • the division process of the search region is as follows.
  • Information about the spatial object retrieved by the object recognition process is provided to the user by retrieving information related to the object by accessing GeoServer through the Internet only when there is a request for information.
  • the user illuminates the real space using the camera of the mobile terminal.
  • the retrieved object name is displayed as an overlap.
  • various submenus are configured on the display screen of the mobile terminal. In order to obtain information on the spatial object, the relevant information is retrieved by touching the spatial object area.
  • the present invention is to maximize the reality by allowing the virtual information related to the image itself reflected in the camera is embedded, so that the user is looking at the real world, but also the related virtual information that is not visible.
  • the above description has described a spatial search method for recognizing a spatial object based on sensing information and a digital map and providing spatial information to a user in real time, and hereinafter, a next generation mobile terminal based on the spatial search method;
  • the overall structure of a travel navigation system including a real-time spatial information system is described.
  • the traveler navigation system includes a mobile terminal 110, a spatial index database 121, a map database 122, a context database 123, and a geo-server ( 130, the object recognition unit 140, the integrated platform 150, and the browser 160.
  • the mobile device 110 is a terminal that a user carries to search for space information in a ubiquitous space, and various sensors (for example, a GPS sensor, a gyro sensor, and an electronic device for acquiring situation information of the user). Compass) and a camera, and the user expresses the search request by illuminating the real world through the camera of the terminal.
  • various sensors for example, a GPS sensor, a gyro sensor, and an electronic device for acquiring situation information of the user.
  • Compass and a camera, and the user expresses the search request by illuminating the real world through the camera of the terminal.
  • the spatial index database 121 stores the index of Rotated R * -Tree for spatial search from the geospatial data of the vast digital map, and the map database 122 manages the original geospatial data, and the context database 123 Virtual information is managed by tagging based on location.
  • the geo-server 130 performs a function of retrieving and storing related information when a user requests information from the context database 123 tagged based on the location.
  • the object recognizer 140 performs a role of recognizing the spatial object existing in the search area generated from the mobile terminal.
  • the browser 160 performs a function of realistically browsing to the user the virtual space provided by the camera, the real space and the recognized spatial information, and the virtual information provided from the geo server 130.
  • Integration Platform is a platform that manages each of the components, internally includes a U-MAP, and performs the function of managing all messages and transmission data between each component.
  • the mobile terminal 110 is a terminal that a user carries and uses for a ubiquitous space, and various sensors are built in to acquire user's situation information.
  • the user expresses the search request by looking at the real world through the camera of the mobile terminal 110.
  • Sensors attached to the mobile terminal 110 acquire information necessary for situation recognition of the user or the mobile terminal 110, respectively, and are used as data for object recognition. Attached sensors are GPS, gyro sensor and electronic compass respectively.
  • the data extraction program from each sensor is implemented in Visual C ++ and added to the real-time spatial retrieval system.
  • the GPS is used to obtain location and time. Twenty four GPS satellites continue to rotate the Earth's atmosphere in different orbits. This is to obtain four or more satellite signals at any time and anywhere on earth. In order to measure position, signals must be received from at least four satellites simultaneously. Of course, if you receive signals from more satellites, you can get more accurate position values.
  • GPS positioning data is a standard positioning service (SPS) provided to the private sector and has an error range within 200m.
  • SPS standard positioning service
  • DGPS differential GPS
  • the margin of error can be reduced to within 5m. Since DGPS is a technique known in the art, detailed description thereof will be omitted.
  • FIG. 21 is an example of a result of recording position data while moving around Korea Aerospace University by mounting a real GPS on a mobile terminal used for providing navigation information for travelers, and drawing on aerial photographs.
  • the angular velocity sensor is a gyro sensor which detects the angular velocity, and the unit of measurement thereof is, of course, the angle / time. Generally, it is deg / sec, and the general gyro can obtain only relative angle information. Therefore, it is possible to know exactly how much the angle has changed only when the initial angle is given.
  • the reference posture angle is often an accelerometer.
  • the acceleration signal outputted by this signal can be understood as a signal in which two kinds of acceleration components, acceleration and deceleration, and gravitational acceleration components are inclined. Since the acceleration acceleration component is located at the high frequency component in the frequency domain and the gravity acceleration component is located at the low frequency component, in order to calculate the pose angle, the low frequency component is extracted from the obtained accelerometer signal, and the posture angle is calculated from the extracted low frequency signal.
  • the accelerometer since the accelerometer also detects the acceleration generated according to the motion, the attitude angle is obtained by integrating the time-averaged motion acceleration component, which causes a problem in responsiveness.
  • the accelerometer in combination with a gyro can solve the problem of responsiveness.
  • the posture angle obtained from the gyro for the fast-responsive part of the moving object is the posture angle obtained from the accelerometer.
  • the angle output with good responsiveness can be obtained. 22 is a screen experiment by attaching the actual gyro sensor to the mobile terminal. As shown in FIG. 22, the inclination of the mobile terminal such as up, down, and horizontal may be recognized as a result of differentiating each of the situations in which the mobile terminal is inclined from the sensor.
  • the electronic compass is divided into magnetic compass using geomagnetism and gyrocompass using the principle of the rotating body.
  • the gyro compass is attached to the gyroscope axis rotating at high speed, the axis is automatically affected by the rotation of the earth. It points to the true north, the axis of rotation of the earth, and can be used without correcting the deviation caused by the magnetic compass.
  • Computers and mobile phones have also been developed and put into practical use in the electronic compass that can know the direction of the electronic device.
  • the compass uses magnetic sensors to calculate the strength of the geomagnetism and calculates the north direction, so it is strong in the magnetic influence of the surroundings and quickly analyzes and corrects it even if it is affected. There is an advantage to obtain.
  • azimuth can be acquired as data, and when this data is linked with a computer or navigation system, it is used in many ways. Equipped with an electronic compass in the cell phone, not only can the user know the direction in which the cell phone is going, but also the head-up can be made by aligning the map display with the heading direction. In addition, it is also mounted on mobile terminals such as watches, GPS terminals, binoculars, and digital cameras, and is increasingly used for outdoor sports, cars, leisure boats, and small airplanes.
  • the spatial index DB 121 used for efficient management of massive spatial data and spatial retrieval algorithms
  • the map database 122 which is a source geospatial database extracted through U-MAP from digital maps
  • virtual information The context database 123 stores location-based spatial information constructed through tagging.
  • the spatial index database 121 is composed of Rotated R * -Tree based on Rotated-MBR.
  • the spatial index DB 121 is a structure that enables a quick search for a spatial query.
  • the context DB 123 stores Point of Interest (POI) data, that is, location data of the region of interest and interest information.
  • POI Point of Interest
  • the geospatial data 122 is a file DB, and also has bitmap data for high-speed drawing. Each table structure is as follows.
  • 24 is a table structure that stores the index structure of Rotated R * -Tree, and stores values for node ID, node type, and child node ID.
  • the node ID has a value of 0, 1, 2, and 3.
  • 0 means Inter Node
  • 1 means Leaf Node
  • 2 means Root Node
  • 3 means Element Node.
  • Node type means the shape of the spatial object and has a value from 0 to 5. 0 corresponds to MBR, 1 to SPHERE, 2 to POINT, 3 to OPEN_TRIANGLE, 4 to CLOSE_TRIANGLE, and 5 to Roated-MBR.
  • the method of expressing basic spatial information of the map database 122 is determined in the form of Point, Polyline, Polygon and the like.
  • 25 is a table structure in which spatial information is extracted and classified from a digital map.
  • Map Info Table is a table that manages basic information about the digital map. This table consists of Map_ID, Map_Name, Level, Map_Unit_ID, Path, and Latitude / Longitude.
  • Map_ID is an index of Map Info Table. It acts as a linking key so you can see which map the values in each row belong to in another table.
  • the Map_Name column contains information such as the National Geographic Institute, US maps, and European maps. That is, it contains information on which country the map is used and maintained in. The reason is that different countries use different map formats, so they need to be distinguished in order to manage them in one database.
  • the Level column contains scale information. Digital maps mainly use 1: 1,000, 1: 5,000, and 1: 25,000 maps.
  • Map_Unit_ID has a leaf number. The lobe number is given a basic name based on latitude information, and the number is added as the scale changes. Path stores the path to the folder containing the original numeric map.
  • the latitude / longitude column contains the point coordinate values of the upper right and lower left of each numerical map. That is, it means the maximum and minimum range of the numerical map.
  • Object Table is a table that stores data about the spatial information of each numerical map.
  • the table consists of GID, Layer_ID, Map_ID, Object_Type, and Object_Info.
  • GID acts as an index of the object table.
  • Layer_ID has information about which layer the data of the object table belongs to. From this value, it acts as a connection key to retrieve data related to a layer from the Layer Table.
  • Map_ID is the ID of the map to which the object belongs.
  • Object Type represents the data type of points, lines, and faces.
  • Object Info has a value whether the data type is polygon or string.
  • the object table having the above structure has the kind shown in FIG. 26 according to the type of data. The classification criteria were classified according to what kind of layer information belongs to the administrative district, the altitude, the crop arrangement, the building, the building symbol, the commercial facility, the culture and the entertainment. The reason for this classification is to increase or decrease the ratio of the spatial information or to selectively view the spatial information.
  • Object Name Table is a table that manages coordinate values corresponding to Object. It is composed of TID, GID, Name_String, and Coordinate.
  • the TID value acts as an index.
  • GID has a GID value of an object table and serves as a connection key.
  • Name_String is the text name value and has the text value of the digital map. For example, if the object is a building, it has a building name corresponding to that building.
  • Coordinate is a coordinate value. Coordinates of an object are managed in the form of a string.
  • Layer Table manages basic information related to layers. Layers are largely based on layer name and color information. The Object_Table name is added to this information. That is, the Object_Table name described above is connected to this table by the Layer_ID value of each Object. Layer_ID serves as an index and Layer_Name is a layer name. Layer_Color contains color information of a layer.
  • the User Map Table is to allow users to manage the table that manages the data of the original map without damaging the data when the user directly adds an object based on the data of the digital map.
  • GID is an index
  • Layer_ID is a layer name
  • Map_ID is a Map_ID value of a Map Info Table.
  • Object type has values of point, line, and plane
  • Object Info has the form of polygon, string, etc.
  • the context DB 123 includes a Geo_Objects table used for a spatial search test of a mobile terminal and a Real_Media table that stores POI (Point of Interest) data of spatial objects, that is, interest information of a region of interest.
  • POI Point of Interest
  • Geo_Objectc table The detailed structure of the Geo_Objectc table is shown in FIG. It consists of identification value, digital map ID, type of spatial object, name, total number of vertices forming data, and data.
  • the structure of the Real_Media table is shown in FIG.
  • the geo server 130 is a server that retrieves and stores relevant information when a user requests information from the context database 123 tagged based on the location.
  • the user may acquire an image, a video, etc. of a real space in real time through the mobile terminal 110. For example, if you take a picture in front of a specific building, the name and location of the building is searched and saved with the video and image in the context DB (123). Are recorded correctly. It is responsible for handling requests for such users' retrieval and storage.
  • the object recognition unit 140 When the user's information request occurs, the object recognition unit 140 generates a spatial search region based on the sensing information, and performs a process of recognizing the spatial object based on the map database 122 and the spatial index DB 121. do.
  • the ambient browser 160 is a browser that shows a user realistically the virtual space provided by the camera, the spatial information recognized through the camera, the spatial information recognized through the algorithm, and the virtual information provided from the geo server 130.
  • the integrated platform 150 is a platform that manages all components of the travel navigation system.
  • the integrated platform 150 includes U-MAP, which is well known internally, to handle overall processing such as spatial query for geospatial data.
  • the virtual information is tagged based on the location, and the process of automatically recognizing the spatial object is not a method of extracting and retrieving feature information from an existing image and sensing information collected from a mobile terminal.
  • Objects are recognized in real time by applying geometry based on spatial information extracted from digital maps.
  • the user can easily search for information about the geospatial without restriction of time and space.
  • the sensor collects sensing data on situational awareness by adding various sensors to the mobile terminal for user-centered information provision service, the user can simply In the direction, it automatically recognizes which object you want to search for and provides spatial information automatically.
  • the virtual and the real space information on the screen of the mobile terminal at the same time, there is an advantage that can be confirmed by associating the invisible virtual information with the actual information visible by the real eye.
  • the object can be recognized in real time by applying the geometry based on the sensing information collected from the mobile terminal and the spatial information extracted from the digital map, the user can easily recognize the information about the geospatial space without time and space constraints. There is an advantage that can be convenient to travel to search.
  • the user by adding a variety of sensors to the mobile terminal to collect the sensing data on the situation recognition, the user recognizes the search target only by the act of illuminating the real space through the camera and automatically provides spatial information, user-centered Spatial information provision service has the advantage that it is possible.
  • the user has an advantage that can be confirmed by associating the virtual information invisible with the actual information visible by the real eye.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

상황인식 센서와 디지털 맵 검색기반으로 사용자가 모바일 단말의 카메라를 통해 실생활 환경을 바라보는 행위를 정확하게 인식함으로써, 검색하고자 하는 대상의 정보를 사용자에게 정확하게 제공해주어 여행에 편리함을 도모해주도록 한 여행자용 내비게이션 방법 및 그 시스템이 개시된다. 개시된 여행자용 내비게이션 방법은, 사용자에 의해 공간정보 요구가 발생하면 공간 검색 영역을 생성하는 단계와, 상기 생성한 공간 검색 영역에 존재하는 공간 객체를 인식하는 단계와; 상기 인식한 공간 객체와 관련된 지리 정보를 검색하는 단계와, 상기 검색한 지리정보 결과를 기반으로 공간 검색 정보를 제공해주는 를 포함한다.

Description

여행자용 내비게이션 방법 및 그 시스템
본 발명은 여행자용 내비게이션에 관한 것으로서, 더욱 상세하게는 상황인식 센서와 디지털 맵 검색 기반으로 사용자가 모바일 단말의 카메라를 통해 실생활 환경을 바라보는 행위를 정확하게 인식함으로써, 검색하고자 하는 대상의 정보를 사용자에게 정확하게 제공해주어 여행에 편리함을 도모해주고자 한 여행자용 내비게이션 방법 및 그 시스템에 관한 것이다.
일반적으로, 기존의 여행시 공간 정보를 획득하는 방법을 살펴보면 다음과 같다.
외국인 관광객이 역사적인 문화 예술의 도시인 경기도에 대해 투어를 계획하고 있다고 가정하자. 이 외국인은 경기도에 대한 주요 정보를 얻기 위해서 일반적인 여행객과 마찬가지로 웹 검색을 통해 도시 정보를 검색하였으며, 경기도에 관한 주요 관광 정보를 기록한 여행 지도를 통해 여행 정보를 얻고 있다. 여행 지도에는 경기도의 주요 관광 정보에 대한 자세한 정보를 기록하고 있으며, 현 위치의 주변에는 어떠한 관광지가 있는지, 해당 관광지는 어떠한 역사가 있는지 등의 간략한 정보를 얻을 수 있는 수단으로 사용된다.
도 1에 경기도를 여행할 경우 외국인 관광객이 사전에 관련 정보를 수집해야 하는 상황을 보여주고 있다.
외국인은 수집한 웹 여행 정보와 지도 정보를 비교하면서, 경기도를 여행하다가 웹 여행 정보를 통해 취득한 "행주산성" 사진과 유사하다고 생각되는 유적지 앞에 도착하게 되었다. 외국인은 해당 유적지가 찾고자 하는 목적지인지 주변 사람에게 손으로 해당 유적지를 가리키며 물어보거나, 외국어를 모르는 한국인일 경우에는 사진과 지도의 "행주산성"을 가리키면서 자신이 원하는 목적지를 확인한다.
우연히 경기도를 여행하다가 사람이 북적거리는 거리를 발견했거나, 어떤 문화재로 생각되는 절이나 종을 보았다고 했을 때, 외국인 여행자는 수집한 웹 여행 정보와 지도 정보로부터 해당 문화재와 관련된 정보를 찾게 된다. 그러기 위해서 현재 자신의 위치가 어디인지를 확인해야 하는데, 지도 정보를 자신의 주변 건물의 이름이나 도로 표지판과 일일이 확인하면서 자신의 현 위치를 확인한다. 하지만, 지도에 외국어로 표시되어 있다고 할지라도, 현실에서는 주변 상황에 관한 정보를 습득하기 어렵기 때문에 상당한 시간을 소비하게 된다. 어떤 문화재인지 확인했다고해도 지도에 정보가 있을 경우는 상관없지만, 그렇지 않은 경우에는 다시 관련 정보를 얻기 위한 과정을 반복해야만 하는 불편함이 있다.
주지한 바와 같이, 기존의 여행시 공간 정보를 획득하는 방법은, 여행자가 직접 인터넷 등의 정보 통신 매체를 통해 사전에 여행지에 대한 정보를 획득해야하는 불편함이 있었다.
또한, 여행지에 대한 정보를 사전에 획득한 경우에도 주변 상황이 달라져있을 경우에는 주변 사람에게 다신 물어보아야 하는 불편함도 있었다.
또한, 공간 및 건물 등에 대해 안내판을 이용하여 정보가 기록된 경우에도, 자신이 사용하는 언어 이외의 외국어로 안내 정보가 기재된 경우에는 주변 사람에게 물어 확인을 해야하기 때문에, 여러 가지 불편함이 발생하였다.
이에 본 발명은 상기와 같은 종래의 여행시 발생하는 불편함을 해결하기 위해서 제안된 것으로서,
본 발명이 해결하고자 기술적 과제는, 상황인식 센서와 디지털 맵 검색 기반으로 사용자가 모바일 단말의 카메라를 통해 실생활 환경을 바라보는 행위를 정확하게 인식함으로써, 검색하고자 하는 대상의 정보를 사용자에게 정확하게 제공해주어 여행에 편리함을 도모해주고자 한 여행자용 내비게이션 방법 및 그 시스템을 제공하는 데 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 여행자가 단순히 이동하면서 관심이 가는 건물을 카메라로 바라보는 것만으로 해당 건물의 내용을 즉시 확인할 수 있도록 해줌으로써, 여행에 더욱 편리함을 도모해주고자 한 여행자용 내비게이션 방법 및 그 시스템을 제공하는 데 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 유비쿼터스 공간을 대상으로 사용자의 위치를 기반으로 공간을 검색하기 위해서 센서를 통해 사용자의 현재 상황에 대한 상황인식 정보와 디지털 맵 검색을 기반으로 사용자가 요청한 공간을 실시간으로 검색해주고, 위치와 관련된 가상의 웹 정보를 검색, 저장할 수 있는 여행자용 내비게이션 방법 및 그 시스템을 제공하는 데 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 사용자의 상황인식을 센서를 기반으로 인식하고, 수집되는 감지 데이터와 디지털 맵을 기반으로 객체를 인식하는 기하학 알고리즘을 적용하여 공간 인식의 정확성을 향상시키도록 한 여행자용 내비게이션 방법 및 그 시스템을 제공하는 데 있다.
본 발명이 해결하고자 하는 또 다른 과제는, 정보제공시 가상과 현실의 정보를 모바일 단말의 디스플레이에 동시에 혼합하여 보여줌으로써 보이지 않는 가상의 정보와 실제 눈으로 보이는 현실 정보를 더욱 실감나게 제공해주도록 한 여행자용 내비게이션 방법 및 그 시스템을 제공하는 데 있다.
상기와 같은 기술적 과제들을 해결하기 위한 본 발명에 따른 "여행자용 내비게이션 방법"은,
사용자에 의해 공간 정보 요구가 발생하면, 공간 검색 영역을 생성하는 단계와;
상기 생성한 공간 검색 영역에 존재하는 공간 객체를 인식하는 단계와;
상기 인식한 공간 객체와 관련된 지리정보를 검색하는 단계와;
상기 검색한 지리정보 결과를 기반으로 공간 검색 정보를 제공해주는 단계를 포함한다.
바람직하게 본 발명에서의 공간 검색 영역의 생성은,
사용자가 휴대한 모바일 단말에 구비된 다수의 센서를 통해 센싱된 데이터를 기반으로 공간 검색 영역을 생성하는 것을 특징으로 한다.
바람직하게 본 발명에서 공간 객체 인식은,
상기 생성한 공간 검색 영역 내의 다차원 공간 데이터에 대한 검색을 효율적으로 수행하기 위한 공간 데이터에 대한 인덱스를 생성하는 단계와;
상기 검색 영역과 건물 영역에 대한 겹침(오버랩) 관계를 계산하는 단계와;
상기 겹침 관계를 계산한 후 검색 영역을 분할하고, 상기 분할한 공간 검색 영역에 대한 검색을 반복 수행하는 단계를 포함한다.
바람직하게 본 발명에서의 지리정보 검색은 대상 객체의 이름과 위치에 대한 동영상 및 이미지 정보가 저장된 콘텍스트 데이터베이스를 검색하여 대상 객체에 대한 공간 객체를 검색하는 것을 특징으로 한다.
상기와 같은 기술적 과제들을 해결하기 위한 본 발명에 따른 "여행자용 내비게이션 시스템"은,
사용자의 상황정보를 취득하기 위한 다수의 센서를 구비하고, 유비쿼터스 공간을 대상으로 공간 정보에 대한 검색을 요청하는 모바일 단말과;
상기 모바일 단말에 의해 공간 정보에 대한 검색이 요청되면, 내장된 U-MAP을 통해 지리공간 데이터에 대한 공간 질의와 관리를 수행하는 통합 플랫폼과;
상기 통합 플랫폼과 연계되어, 상기 모바일 단말에 의해 발생한 센싱 정보를 기반으로 공간 검색 영역을 생성하고, 상기 생성한 공간 검색 영역 내의 검색 대상 객체를 인식하는 객체 인식기와;
상기 통합 플랫폼과 연계되어, 상기 인식한 공간 객체에 대한 지리정보를 검색하여 공간 정보를 제공하는 지오 서버를 포함한다.
바람직하게 다수의 센서는,
검색 대상 공간을 촬영하기 위한 카메라와;
GPS 위성으로부터 전송된 위성신호를 통해 위치와 시간 정보를 획득하기 위한 GPS와;
상기 모바일 단말의 각속도를 검출하기 위한 각속도 센서와;
상기 모바일 단말의 방위각을 검출하기 위한 전자 나침반을 포함한다.
본 발명에 따른 모바일 단말은, 상기 카메라를 통해 비추어지는 현실 공간과 인식된 공간 정보 및 상기 지오 서버로부터 제공되는 가상의 정보를 화면에 동시에 표시해주기 위한 엠비언트 브라우저를 포함한다.
또한, 본 발명에 따른 여행자용 내비게이션 시스템은,
디지털 맵의 지리공간 데이터로부터 공간 검색을 위한 Rotated R*-Tree계열의 공간 인덱스가 저장된 공간 인덱스 데이터베이스와;
원본 지리공간 데이터를 관리하는 맵 데이터베이스와;
가상의 정보가 위치를 기반으로 태깅(Tagging)되어 관리되는 콘텍스트 데이터베이스를 더 포함하는 것을 특징으로 한다.
도 1은 종래 지도와 웹을 이용한 여행 정보 검색 방법을 설명하기 위한 설명도.
도 2는 본 발명에서 실시간 공간 검색 시나리오의 예시도.
도 3은 본 발명에 적용된 U-MAP 구조도.
도 4는 도 3의 공간정보 추출 플랫폼의 구성도.
도 5는 도 3의 공간정보를 관리하는 Universal Map DBMS의 구성도.
도 6은 본 발명에서 드로잉 API를 이용한 선택적 공간정보 표현 예시도.
도 7은 본 발명의 여행자용 내비게이션 방법의 개요도.
도 8은 검색 영역 생성을 위한 좌표공간 표현 방법의 예시도.
도 9는 R-Tree의 자료 구조도.
도 10은 MBR로 구성된 현실 공간 객체의 예시도.
도 11 및 도 12는 MBR로 구성할 경우 공간 인식의 문제점을 설명하기 위한 설명도.
도 13은 항공대 주변 지역에 대한 MBR이고, 도 14는 항공대 주변 지역에 대한 Rotated-MBR.
도 15는 공간 객체의 Convex 및 Rotated-MBR의 예시도.
도 16은 Rotated-MBR과 Convex의 에지간 각 계산 예시도.
도 17은 MBR의 오버랩 관계도.
도 18은 검색영역과 건물MBR의 오버랩 관계도.
도 19는 검색영역과 건물MBR의 오버랩 관계도.
도 20 및 도 21은 검색 영역의 분할 과정도.
도 22는 공간검색 결과의 일례도.
도 23은 본 발명에 따른 여행자용 내비게이션 시스템의 구성도.
도 24는 GPS센서를 이용한 위치 측위 예시도.
도 25는 각속도 센서를 활용한 모바일 단말이 기울기 측위 예시도.
도 26은 전자나침반을 활용한 방위각 측위 예시도.
도 27은 공간 인덱스 DB 테이블 구조도.
도 28은 Map DB 테이블 종류 및 구조도.
도 29는 Object Table 종류 및 분류 기준표
도 30은 Context DB 테이블 구조도.
도 31은 Geo_Objects 테이블 구조도.
도 32는 Real_Media 테이블 구조도.
도 33은 본 발명에 따른 여행자용 내비게이션 방법을 보인 흐름도.
이하 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다. 본 발명을 설명하기에 앞서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다.
본 발명을 설명하기에 앞서, 가상의 웹 공간의 여행관련 정보가 현실 공간의 특정 위치에 상호관련성 있게 축적되어 있는 공간과 사용자의 현재 위치, 주위 환경에 대한 상황정보를 취득할 수 있는 센서가 있다고 가정한다. 또한, 사용자가 휴대하고 있는 단말에는 카메라 장치 가지고 있어서, 사용자는 자신의 관심을 카메라를 통해 표출한다.
본 발명은 도 2와 같이 사용자의 위치를 파악하여 카메라 영상을 통해 비추어진 공간이나 장면을 인식할 수 있는 시스템이 있다고 한다면, 여행자는 어떠한 사전 준비 없이 도시를 자유롭게 여행하면서 인터넷이 가능한 모바일 단말을 통해 원하는 공간정보를 검색할 수 있다. 여행자는 단순히 이동하면서 관심이 가는 건물을 카메라로 바라봄으로써 해당 건물을 즉시 확인할 수 있다. GPS장치를 가지고 있는 모바일 단말을 통해 해당 위치정보도 함께 전송되어 해당 위치에 대한 주변 지도 정보 및 태깅된 가상 정보도 함께 제공받을 수 있다.
본 발명은 유비쿼터스 공간에서 객체를 사용자 상황인지와 현실 공간을 있는 그대로 표현한 디지털 맵을 기반으로 사용자가 카메라를 통해 바라보고 있는 영역의 객체들을 인식하여 해당 객체에 대한 가상의 정보를 제공해주어 여행에 편리함을 도모하기 위한 여행자용 내비게이션 시스템이다.
공간 정보를 제공해주기 위해서는, 디지털 맵으로부터 지리정보 추출, 디지털 맵의 지리공간 데이터 관리, 지리공간 객체 검색 등의 다양한 기반 기술들이 필요하다. 이를 위한 기반 기술로 본 발명에서는 제안된 U-MAP(Universal Map Access Platform)을 이용한다.
위치기반서비스는 측위 기술(LDT: Location Determine Technology), 위치 처리 플랫폼(LEP: Location Enabled Platform), 위치 응용 프로그램(LAP: Location Application Program)의 3가지 부분으로 구성된다.
LDT는 사용자의 위치정보를 결정하는 기술이고, LEP는 위치정보를 기반으로 주변의 공간정보를 제공하기 위한 처리 기술이며, LAP는 LBS사용자의 위치와 주변 공간정보를 활용한 다양한 응용 서비스를 말한다. 이 중에서 LEP는 LBS 서비스를 위한 핵심기술로써 공간정보 데이터베이스와 공간객체 관리를 위한 DBMS(DataBase Management Systems)가 중요하다.
대부분의 공간정보 데이터베이스는 디지털 맵을 이용하는데, 디지털 맵은 포맷이 다양하고, 상이한 구조로 이루어져 있다. 그래서 공간정보를 추출하기 위해서는 개별적인 공간정보 추출기가 필요하고, 추출된 공간정보 데이터를 저장하고 관리하기 위한 관리 모델이 지도마다 필요하다. 하지만, 공간객체의 속성정보를 이용하면 상이한 포맷의 공간정보라 할지라도 속성정보의 유사성을 이용하여 하나의 관리 모델로 통합할 수 있다.
상이한 지도에서 공간정보를 추출하는데, 추출된 공간정보의 유사한 속성정보를 활용하여 통합 데이터베이스를 구축한다. 또한, 구축된 데이터베이스를 활용하여 LBS 응용서비스 개발 지원하는 API(Application Program Interface)를 포함하고 있는 통합 플랫폼인 U-MAP을 구성한다.
핵심 구성 플랫폼 중에서 Universal Map DBMS는 공간정보 추출 플랫폼을 이용하여 여러 지도 데이터 포맷들로부터 추출된 공간정보를 관리한다. 추출된 공간정보들은 디지털 맵 원본 데이터의 벡터정보를 가감 없이 저장하여 공간 객체정보의 추가, 변경, 삭제에 빠르게 대응할 수 있도록 하는 원본 데이터 데이터베이스, 원본 데이터베이스를 기반으로 LBS 사용자의 공간 객체에 대한 질의 처리를 빠르게 하기 위해 R-Tree 인덱스 구조를 사용하여 건물 객체에 대한 공간정보를 데이터베이스화한 건물 대상 Roated-R*-Tree 데이터베이스를 가지고 있다. 도 3에 U-MAP의 전체 구조가 개시된다.
공간정보 추출 플랫폼을 살펴보면, LBS 사용자에게 제공하는 공간정보는 일반적으로 디지털 맵으로부터 얻을 수 있는데, 이러한 디지털 맵은 다양한 종류의 포맷이 존재하며 각 포맷은 현실공간의 객체를 서로 다른 방법으로 표현하고 있다.
예를 들어 DXF(Drawing eXchange Format)는 ASCII 텍스트 파일이며, 두 줄로 구성된 여러 개의 연속된 그룹들이 공간 객체를 표현한다. 또한, GDF(Geographic Data Files)는 식별자를 이용하여 여러 줄로 구성된 하나의 레코드가 공간 객체를 표현하고 있다.
이와 같이 상이한 방법으로 공간 객체를 표현하고 있기 때문에, 각 포맷으로부터 공간정보를 추출하기 위해서는 각 포맷별로 정의된 데이터 접근 방법을 이용해야 한다. DXF 포맷은 한 줄씩 읽으며 읽혀진 내용에 따라서 데이터를 정규화된 코드별로 분류하여 저장하며, GDF는 블록 단위로 데이터를 읽어 들인 뒤 내용을 분석하여 분류하고 저장한다.
이러한 상이한 방법으로 추출된 공간 정보들은 위치정보뿐만 아니라 산, 강, 도로, 건물 등과 같은 속성정보를 가지고 있다. 이 속성정보는 상이한 포맷들로부터 추출되지만 공간객체 간의 속성정보의 유사성을 이용하여 공간객체를 클러스터링할 수 있다.
U-MAP의 공간정보 추출 플랫폼은 위의 예시에서 설명한 각 포맷들로부터 공간정보를 추출하는 공간정보 추출기와 추출된 공간정보 데이터들의 속성정보의 유사성을 이용하여 공간객체들을 관리하는 공간객체 관리모델로 구성되어있다. 공간정보 추출 플랫폼의 각 포맷별 공간정보 추출기는 플러그인 형태로써 새로운 지도 데이터 포맷에 대한 공간정보가 필요할 경우 추출기만 새롭게 추가하여 전체 시스템의 변경 없이 사용이 가능하다.
도 4는 공간정보 추출 플랫폼의 구성도를 나타낸다.
도 4에 개시된 바와 같은 공간정보 추출 플랫폼을 이용하여 여러 지도 데이터 포맷들로부터 추출된 공간정보들은 Universal Map DBMS에서 관리한다. 추출된 공간정보들은 디지털 맵 원본 데이터의 벡터정보를 가감 없이 저장하여 공간 객체정보의 추가, 변경, 삭제에 빠르게 대응할 수 있도록 하는 원본 데이터 데이터베이스, 원본 데이터베이스를 기반으로 LBS 사용자의 공간 객체에 대한 질의 처리를 빠르게 하기 위해 Roated-R*-Tree 인덱스 구조를 사용하여 건물 객체에 대한 공간정보를 데이터베이스화한 건물 대상 Roated-R*-Tree 데이터베이스, 또한 원본 데이터베이스를 기반으로 사용자에게 보다 빠른 공간정보를 표현하기 위해 벡터 형태의 공간정보 데이터를 래스터(Raster) 형태의 비트맵 형태로 변경하여 데이터베이스화한 고속 드로윙(Drawing)용 비트맵 데이터 데이터베이스의 세 가지 종류의 데이터베이스로 관리한다. 도 5에 디지털 맵으로부터 추출되는 공간정보들을 각각의 데이터베이스로 관리하는 것이 개시된다.
그리기(Drawing) 및 검색 엔진(Search Engine)에서는 공간정보들이 3가지의 형태로 저장되어 있는 Universal Map DBMS로부터 위치 응용 프로그램에 제공할 Drawing 및 Search API를 정의한다. Drawing API는 비트맵을 이용하여 고속으로 공간정보를 표현하는 것 이외에 유사한 속성정보별로 구분되어 저장돼 있는 공간 객체정보들을 선택적으로 표현할 수 있는 기능을 제공한다. 예를 들어 차량용 내비게이션 사용자에게 공간정보를 제공할 때는 도로정보, 건물정보, 행정구역정보 등은 제공하되 등고선 정보 등 필요하지 않은 정보들은 제공하지 않아 최소한의 필수적인 공간정보만을 제공할 수 있다. 도 6은 Drawing API를 이용하여 사용자에게 유사한 속성정보를 가지는 공간정보를 선택적으로 보여주는 모습을 도시한 것이다.
Search API는 Roated-R*-Tree 인덱스 구조를 사용하여 구축되어 있는 건물 대상 Roated-R*-Tree DB를 이용하여 사용자의 건물 대상 질의를 빠르게 처리할 수 있는 기능을 제공한다. 또한, 공간정보가 추가, 변경, 삭제될 경우에 Modifying API를 이용하여 DB에 저장된 데이터를 갱신할 수 있는 기능을 제공한다.
본 발명은 가상과 현실이 혼합된 유비쿼터스 공간을 대상으로 카메라 영상을 통해 들어오는 사용자의 정보 요구를 정확하게 인식하기 위해 모바일 단말에 부착되어 있는 센서로부터 수집되는 데이터를 어떻게 이용하여, 디지털 맵 검색 기반으로 영상의 공간 객체를 검색하여 이를 사용자에게 화면으로 제공해주기 위한 것이다.
도 33은 본 발명에 따른 여행자용 내비게이션 방법을 보인 흐름도로서, S는 단계(Step)를 나타낸다.
이에 도시된 바와 같이, 사용자에 의해 공간 정보 요구가 발생하면, 공간 검색 영역을 생성하는 단계(S101 ~ S103)와; 상기 생성한 공간 검색 영역에 존재하는 공간 객체를 인식하는 단계(S105)와; 상기 인식한 공간 객체와 관련된 지리정보를 검색하는 단계(S107)와; 상기 검색한 지리정보 결과를 기반으로 공간 검색 정보를 제공해주는 단계(S109)로 이루어진다.
여기서 공간 객체 인식 단계(S105)는, 생성한 공간 검색 영역 내의 다차원 공간 데이터에 대한 검색을 효율적으로 수행하기 위한 공간 데이터에 대한 인덱스를 생성하는 단계(S105a)와; 상기 검색 영역과 건물 영역에 대한 겹침(오버랩) 관계를 계산하는 단계(S105b)와; 상기 겹침 관계를 계산한 후 검색 영역을 분할하고, 상기 분할한 공간 검색 영역에 대한 검색을 반복 수행하는 단계(S105c)를 포함한다.
여행자용 내비게이션 방법은, 도 7에 도시한 것처럼, 사용자는 카메라를 통해 공간을 비추는 행위로 검색하고자 하는 정보요구를 발생시킴과 동시에, 모바일 단말로부터 취득된 센싱 정보를 통해 정확한 검색 대상 공간을 인식한다. 또한, 센싱 정보를 기반으로 디지털 맵과 본 발명에서 제안하는 검색 방법을 통해 영상에 비추어진 객체를 검색한다. 사용자가 검색된 공간 객체에 대한 웹 정보를 요청하면, 서버로부터 위치를 기반으로 정보를 검색해서 사용자에게 제공해준다. 이때, 가상의 정보는 현실 공간의 입력 영상 화면상에 합성되어 표시함으로써, 현실과 가상의 정보가 공존하도록 보여준다.
모바일 단말에 부착되어 있는 카메라는 사용자가 가상과 현실이 혼합되어 존재하는 유비쿼터스 공간을 바라보는 매개체로, 사용자의 정보요구를 표현하는 수단이다. 즉, 유비쿼터스 공간을 대상으로 사용자의 정보요구가 발생할 경우, 어느 부분에 해당하는지를 입력하는 부분으로 정보검색 시스템에서는 사용자가 입력하는 키워드에 해당한다. 카메라를 통해 검색대상을 바라본다는 것은 현실공간의 검색 영역을 정확히 포커싱하고, 검색 질의의 요청과 동시에 검색하여, 사용자에게 결과를 보여주는 4개의 과정이 동시에 일어나는 것이다.
예를 들어, 어떤 위치에서 건물명을 검색하기 위해 카메라로 비추는 행위, "남대문" 앞에서 관련된 가상 정보를 얻기 위해 비추는 것과 같다. 이와 같이 현실 공간에 대한 사용자의 정보요구를 카메라를 통해 키워드가 아닌 시각적이고, 공간적인 정보요구로 표현하는 것이다. 이러한 정보요구 표현의 장점은 정보검색 시스템을 이용하는 방법보다, 정보요구를 해결하기 위한 테일러의 정보요구 구체화단계와 같은 문제해결을 위해 명확한 키워드를 생성하는 과정을 거치지 않고, 공간을 비추는 행위 자체가 정보요구를 표현하고 있기 때문에 사용자는 키워드 입력 및 정보를 비교해서 키워드를 구체화하는 노력 없이 공간 정보를 검색할 수 있다.
모바일 단말에 부착되어 있는 상황인식 정보 취득 센서로는 GPS, 각속도센서(혹은, 자이로센서), 전자 나침반이 있다. 각각의 기능을 살펴보면, GPS는 사용자 혹은 단말의 현재 위치 정보를 측정하는 것이고, 각속도센서는 모바일 단말이 수평선을 기준으로 기울어진 각도를 계산함으로써 공간 객체를 바라보는 사용자의 시야, 즉 카메라의 방향이 어디를 향하고 있는지 구체적으로 확인할 수 있다, 전자나침반은 북위를 기준으로 방위각 정보를 계산하여 사용자가 휴대하고 있는 단말이 어느 방향을 비추고 있는지 측량하는 수단이 된다. 이러한 정보를 기반으로 사용자의 정보요구 영역을 생성하여 영역 내의 공간 객체를 인식하는 과정을 수행하게 되는데, 이때 공간 영역을 생성하는 과정은 다음과 같다.
사용자가 휴대하고 있는 모바일 단말을 통해 현실 공간의 어떤 공간 혹은 공간 객체에 대해서 정보를 검색하고자 할 경우, 모바일 장치의 카메라를 대상을 향해 비추면 GPS로 사용자의 현재 위치, 자이로센서로 모바일 장치의 기울기와 전자나침반으로 방위각 정보를 취득한다. 이때 모바일 단말의 카메라는 최대 어떤 범위까지 영상을 취득할 수 있는지에 대한 시야각 범위와 거리가 존재하는데, 이렇게 취득한 값을 2차원의 (x, y) 좌표값이 있는 디지털 맵에 적용하면 삼각형 모양의 검색 영역을 생성할 수 있다. 이렇게 생성된 삼각형 영역이 곧 사용자의 정보요구를 표현한 검색 영역이 된다. 도 8의 상부 도면은 모바일 단말을 이용한 센싱 기반의 정보를 수집하고, 이를 검색 영역으로 생성하는 과정을 간략히 보여준 도면이고, 하부 도면은 검색 영역 생성을 계산하기 위해 각각의 센싱 정보를 기반으로 좌표공간에 데이터를 표현한 도면이다.
모바일 단말로부터 취득되는 센싱정보 중 검색 영역 생성에 필요한 정보는 사용자의 현재 위치(Point), 카메라의 시야각(Angle)과 북위를 기준으로 한 방위각(Azimuth)이다. 또한, 사용자가 검색하고자 하는 범위를 사전에 설정한 거리(Distance) 값이다. 이 4개의 정보로부터 시스템은 삼각형 검색 영역을 생성할 수 있는데, 이를 위해서는 점A, B, C에 대한 좌표값을 구해야 한다.
점O(Cx, Cy)는 사용자(모바일 단말)의 현재 위치, θazimuth는 방위각, θangle은 카메라 시야각, d는 사용자의 현재 위치로부터 최대 검색 거리, 점O, A, B는 검색 영역을 구성하는 세 점을 각각 나타낸다.
도 8에서 카메라의 앵글로 생성되는 검색 영역의 모양은 삼각형이기 때문에 점A와 B에 대한 좌표값을 구해야한다. 이 좌표값을 구하는 과정은 다음과 같다.
점O의 좌표값(Cx, Cy), θazimuth, d로부터 점C의 (x, y) 좌표는 점O로부터 θazimuth의 각도로 거리 d만큼 떨어진 점E 좌표이다. 따라서 각각의 좌표는, x = Cx + d·cosθazimuth, y = Cy + d·sinθazimuth이다.
다음으로, θangle과 d로부터 선분AC의 거리를 구한다. 이때 선분AC의 거리는 선분BC의 거리와 같다. 선분AC의 거리 = d·tan(θangle/2).
다음으로, 점A의 좌표값을 구하기 위해서는 선분OA의 길이를 구해야 한다. 선분OA의 길이는 sin(θangle/2) = 선분AC의 길이/선분OA의 길이로부터 다음과 같이 구할 수 있다. 선분OA의 길이 = 선분AC의 길이/ sin(θangle/2).
다음으로, 선분AC의 길이와 θazimuth와 θangle로부터 점A의 좌표값은 다음과 같다. 점A의 x좌표 = Cx + (선분OA의 길이)·cos(θazimuth-θangle/2), 점A의 y좌표 = Cy + (선분OA의 길이)·sin(θazimuth-θangle/2).
다음으로, 점B의 좌표값도 점A의 좌표값을 구하는 과정을 반복하여 다음과 같이 산출한다. 점B의 x좌표 = Cx + (선분OB의 길이)·cos(θazimuth+θangle/2), 점B의 y좌표 = Cy + (선분OB의 길이)·sin(θazimuth+θangle/2).
이러한 과정을 통해 점O, A, B로 이루어진 검색 영역을 생성할 수 있으며, 검색 영역의 각 점은 (x, y)의 좌표값으로 구성되어 있기 때문에, 디지털 맵의 공간 정보로부터 Overlap 연산을 수행하여 영역 내의 공간 객체를 인식할 수 있다.
디지털 맵의 장점은 현실 세계를 있는 그대로 표현하고 있다는 것이다. 따라서, 현실 세계에서 바라보고 있는 대상을 검색한다는 것은 디지털 맵 상에서 바라보는 대상을 검색하는 것과 동일하다. 이러한 일대일 대응되는 현실 세계와 디지털 맵의 장점을 활용하여 모바일 단말로부터 수집한 센싱 정보를 기반으로 카메라 영상에 비추어진 건물에 대한 검색 알고리즘을 적용하고 있다. 그런데 현실 공간의 객체의 수는 방대하고 무수히 많은 좌표의 집합으로 이루어져 있다. 실제로 경기도 고양시 디지털 맵으로부터 공간 객체를 추출하면 20만 개의 건물 데이터가 추출되며, 각각의 건물을 이루는 좌표의 개수도 수십 개에 이른다. 따라서, 이러한 복잡한 형태의 공간 객체로부터 검색을 효율적으로 수행하기 위해서는 인덱스 및 단순화 작업이 필요하다.
본 발명에서는 디지털 맵으로부터 U-MAP을 활용하여 공간 데이터를 추출하여 데이터베이스로 구축하고, 이 데이터베이스를 기반으로 공간 검색 방법을 수행하고 있다. 그런데 현실 공간을 표현하는 데이터의 양은 매우 방대하고, 다차원으로 구성되어 있기 때문에 공간 검색 질의와 같은 공간 인식 알고리즘 과정에 필요한 질의를 효율적으로 처리하기 위해서는 다차원 공간 데이터에 대한 인덱스가 필요하며, 일반적으로 공간 데이터에 대한 인덱스로는 R-Tree 인덱스를 주로 사용한다.
R-Tree는 B-Tree와 비슷하지만, 다차원의 공간 데이터를 저장하는 색인이다. 이를테면, 지리학에서 R-Tree는 "현재 위치에서 200Km이내의 모든 도시를 찾아라."와 같은 질의에 대해 빠르게 답을 줄 수 있다.
이 자료구조는 도 9와 같이 공간을 최소 경계 사각형(MBR)들로 공간 객체를 분할하여 저장한다. 이러한 MBR은 서로 겹칠 수도 있으며, 상위 레벨의 MBR은 하위 레벨의 MBR들을 포함하는 계층적인 트리 구조로 구성되어 있다. R-Tree의 각 노드는 미리 정의된 범위 내에서 유동적인 개수의 자식 노드들의 정보로 MBR과 포인터를 가진다.
R-Tree는 전체 구조를 재구성하지 않고도 데이터를 추가하거나 삭제할 수 있기 때문에 동적인 구조라는 장점이 있지만, 비효율적인 인덱스 구조로 인해 질의 처리를 위해서는 불필요한 노드에 대한 많은 접근이 발생한다.
본 발명에서는 다차원 공간 데이터의 효율적인 질의 처리를 위해서 R-Tree보다 질의 처리의 효율성 측면에서 구조를 효율적으로 만든 Rotated R*-Tree를 구축하여 공간 검색 알고리즘에 이용한다. 일반적으로 R*-Tree의 단점이 현실 공간 객체들의 구조와는 상관없이 MBR을 구성하기 때문에 공간 객체를 근사하는 과정에서 빈 공간이 많이 발생한다.
현실 공간의 객체의 모양은 아파트, 수도관, 가스관 등 한쪽 방향으로 긴 Line이나 LineString형태의 객체가 많이 존재한다. 이렇게 빈 공간이 많이 발생하게 되면 영역 질의 등의 공간 질의 수행시 결과가 필요 이상으로 많이 리턴되며, 이로 인해 실제 데이터의 접근횟수가 필요 이상으로 많이 리턴되므로 결과적으로 실제 데이터의 접근횟수가 많아지게 된다. 또한, 빈 공간은 노드 간의 겹침 영역을 증가시켜 결과적으로 트리의 검색 성능을 저하시키게 된다는 문제점도 함께 나타내게 된다.
도 10은 경기도 고양시 지역의 항공사진을 이용하여 실제 건물의 모양과 구조가 어떻게 이루어지고 있는지 보여주고 있다. 도면과 같이 실제 건물의 구조는 직사각형 모양을 이루고 있으며 대각선으로 기울어져 있는 것을 확인할 수 있다. 이러한 실제 건물의 모양에 MBR을 구성해보면 도면과 같이 빈 공간이 많이 발생하게 되며, 도면의 우측 MBR에서처럼 실제 건물의 영역은 겹치지 않지만 MBR로 구성할 경우에는 겹침이 발생함을 확인할 수 있다.
이러한 MBR로 구성된 R*-Tree의 문제점은 본 발명에서 제안하는 여행자용 내비게이션 시스템에서는 중요한 문제가 된다. 왜냐하면, 본 발명의 공간 인식 알고리즘에 사용되는 기본 방법은 공간 객체의 MBR과 생성한 삼각형 모양의 검색 영역의 Overlap을 관계를 계산하는 것이다. 따라서, 현실 세계의 건물 모양을 고려하지 않고 MBR을 구성할 경우에는 도 11 및 도12와 같은 문제가 발생하게 된다.
도 11을 살펴보면 건물B에 대해서 MBR을 생성하고, 검색 영역과 Overlap관계를 살펴보면 영역이 겹침을 확인할 수 있다. 하지만, 실제 사용자의 시야에는 건물B는 보이지 않는 건물이다. 따라서, 공간 인식 알고리즘 상에서는 검색 결과에 포함되어서는 안 된다. 이는 현실 공간의 공간 객체의 모양을 고려하지 않고 MBR을 구성했기 때문에 발생한 문제이다. 그런데 만약 건물B의 MBR을 12와 같이 건물B의 모양과 거의 동일하게 MBR을 생성하여 공간 인식 알고리즘에 적용한다면, 건물B는 영역에 포함되지 않음을 확인할 수 있다.
이에 본 발명에서는 R*-Tree를 구성하는 알고리즘을 기반으로 하지만, 공간 객체의 MBR을 구하는 과정에서 공간 객체의 구조적 모양을 고려한 Rotated-MBR를 제안하고, 이를 기반으로 생성된 Rotated R*-Tree를 구성하여 검색 결과의 정확도를 높인다.
도 13 및 도 14는 실제 한국항공대학교 주변에 대한 공간 데이터에 대해서 MBR과 Rotated-MBR을 구성한 경우이다. 두 그림을 비교해보면, Rotated-MBR은 현실 공간의 객체의 모양을 고려하고 있기 때문에, 11의 MBR보다 훨씬 더 빈 공간이 없는 최소 경계 사각형을 생성할 수 있다.
즉, 기존의 MBR은 디지털 맵으로부터 추출된 공간 객체들은 점들의 집합으로 표현된다. 이 점들의 집합으로부터 MBR을 생성하는 방법은 매우 간단하다. 공간 객체를 MBR로 구성하기 위해서는 2개의 점에 대한 좌표값만을 알고 있으면 된다. 즉, 최대 및 최소값에 해당하는 X, Y좌표값을 구하면 그 값이 MBR을 이루는 2개의 좌표가 된다.
그러나 R-MBR(Rotated-MBR)은 MBR에 비해 다소 복잡한 과정을 통해 4개의 점으로 구성되는데, Roated-MBR을 생성하는 원리는 도 15에 도시한 바와 같이, "공간 객체가 Convex일 때, 이 Convex를 포함하는 사각형은 Convex를 이루는 한 직선을 반드시 포함한다."이다. 그리고 생성되는 MBR중에서 면적이 최소가 되는 것을 공간 객체의 Roated-MBR로 한다.
이러한 Roated-MBR을 구하는 알고리즘은 다음과 같다.
(a) 공간 객체는 N개의 Node로 Polygon이다.
(b) N개의 노드로부터 Graham Scan Method를 적용하여 Convex를 생성하고, Convex는 m개의 Node를 가지고 있다.
(c) m개의 Node 중 최대·최소의 X, Y 좌표값을 가지는 Node를 검색하고, 도 18의 ①과 같이 검색된 Node(0, 1, 3, 4)을 지나는 직선을 생성하고, 각각의 직선이 만나는 교점으로 이루어진 사각형이 시작 Rotated-MBR이며, 사각형의 면적을 계산한다.
(d) 도 19와 같이 Rotated-MBR의 Edge와 Convex가 만나는 Node와 이 Node를 포함하는 Convex의 Edge를 검색하고, Roated-MBR의 Edge와 Convex의 Edge가 이루는 각을 계산한다.
(e) 도 15의 ②와 같이 최소의 값을 가지는 각이 Convex의 Edge(0, 4)일 경우, Roated-MBR의 각각의 Edge를 각만큼 회전한다. 회전 후 Roated-MBR을 이루는 직선이 만나는 교점을 구하고 사각형의 면적을 계산한다.
(f) 최소 면적보다 작을 경우, 값을 업데이트 하고 (d) 단계부터 반복한다.
(g) 회전 각도의 총합이 180°이상이면 알고리즘을 종료한다.
검색 영역을 모바일 단말로부터 취득한 위치와 기울기, 그리고 방위각 정보를 활용하여 사용자가 현재 검색하고자 하는 공간 영역을 삼각형 모양의 검색 영역으로 생성한다. 또한, 현실 공간의 공간 객체를 R*-Tree로 구성하기 위해 MBR, Rotated-MBR을 생성했다. 이 두 영역의 겹침(Overlap) 관계를 계산하여, 검색 영역 내에 포함되어 있는 객체를 인식하게 된다.
공간 검색 알고리즘을 수행하는 기본 원리는 사용자의 현재 위치로부터 가장 가까운 공간 객체를 검색한 후, 해당 공간 객체가 이루는 방위각 범위가, 생성된 검색 영역의 방위각 범위 안에 포함될 경우, 즉 Overlap될 경우가 현재 사용자가 찾고자 하는 건물에 해당한다. 일반적인 MBR기반의 R*-Tree에서는 Overlap되는 경우의 수는 다음과 같다.
검색 영역 안에 공간 객체의 MBR이 완전히 포함되는 경우, 일부 포함되는 경우, 포함되지 않는 경우이다. 만약 검색 영역이 MBR간의 포함관계라면 도 17과 같이 MBR이루는 (x, y)의 범위로 간단히 계산할 수 있지만, 본 발명에서는 삼각형 모양의 검색 영역과 MBR, Rotated-MBR이기 때문에 새로운 방법을 적용해야 한다.
본 발명에서는 생성된 검색 영역을 사용하는데 사용자가 현재 북위를 기준으로 어느 정도의 방향을 바라보고 있는지에 대한 정보인 방위각 정보와 카메라 앵글 범위를 알고 있기 때문에 검색 영역의 최소·최대 방위각을 계산할 수 있다. 이로부터, R*-Tree의 MBR과 생성된 검색 영역에 대해 겹침 관계를 수행하는 알고리즘은 다음과 같다.
(a) R*-Tree로부터 현재 위치와 가장 가까운 거리에 존재하는 공간 객체 검색
(b) 현재 위치와 각각의 공간 객체의 MBR 혹은 Rotated MBR이 이루는 최소 및 최대 방위각 계산
(c) 검색 영역의 방위각 범위에 각각의 공간 객체의 방위각이 포함관계가 있다면, 해당 공간 객체를 검색하고 새로운 검색 영역 생성
(d) 생성되는 검색 영역은 포함된 방위각 범위를 제외한 나머지 영역이며, 여러 개의 검색 영역이 생성될 수 있음
(e) 검색 영역의 방위각 범위가 0°혹은 Overlap되는 건물이 없는 경우까지 위의 과정을 반복
도 18은 이러한 기본 알고리즘에 대해서 (a) 검색 영역 범위 안에 완전히 포함된 경우, (b) 일부 포함되는 경우, (c) 포함되지 않는 경우에 대한 도면이다. 본 알고리즘은 리커시브로 수행되므로 도 18의 (a), (b)와 같이 공간 객체가 포함될 경우 새로운 검색 영역으로 양분되는데, 이 영역의 범위는 Overlap된 방위각 범위를 제외한 영역이 된다.
결국, 방위각과 카메라 앵글각으로 현재 검색 영역의 최소 및 최대 방위각을 계산하고, 이 방위각 범위 내에 사용자의 현재 위치와 건물이 이루는 방위각의 범위가 포함되는지를 계산하여 Overlap 여부를 확인할 수 있다.
도 19에서 점O (Cx, Cy)은 사용자(모바일 단말)의 현재 위치, θazimuth는 방위각, θangle은 카메라 시야각, d는 사용자의 현재 위치로부터 최대 검색 거리, MBR_Xmin, MBR_Xmax은 MBR의 최소/최대 X좌표, MBR_Ymin, MBR_Ymax은 MBR의 최소/최대 Y좌표, d1, d2, d3, d4는 점O와 MBR을 이루는 좌표 간의 거리를 각각 나타낸다.
공간 검색 알고리즘의 (b) 단계에서 사용자의 현재위치와 건물의 좌표값을 이용한 건물의 최소 및 최대 방위각을 계산하는 방법은 다음과 같다. 이때, Rotated-MBR의 경우도 이와 동일한 방법으로 계산할 수 있으므로, 건물의 영역이 MBR(Minimum Boundary Rectanlge)인 경우에 대해서만 설명한다.
사용자의 현재 위치로부터 공간 객체를 이루는 MBR 좌표 간의 방위각은 점O와 각각의 MBR좌표의 직선거리(d1, d2, d3, d4)와 MBR의 x좌표와 점O의 x좌표의 거리차이를 삼각함수 공식에 적용하여 다음과 같이 구할 수 있다. 예를 들어, 점O와 (MBR_Xmin, MBR_Ymin)이 이루는 방위각을 계산해보자.
점O와 (MBR_Xmin, MBR_Ymin)의 방위각 = asin((MBR_Xmin - Cx)/d1)이고, d1은 점O와 MBR좌표 간의 거리이므로,
Figure PCTKR2010003859-appb-I000001
이다.
동일한 방법으로 각 MBR 노드에 대해 방위각 구하고, 오름차순으로 정렬하면, 사용자의 현재 위치를 기준으로 건물의 방위각 범위가 구해진다. 계산된 값의 범위와 검색 영역의 범위를 비교하여 겹침 영역이 있는지를 확인함으로써 건물에 대한 인식과정이 이루어진다.
검색 영역에는 다수의 공간 객체가 포함되는데, 공간 객체를 인식하는 순서가 사용자의 현재 위치에서 가장 가까운 객체를 우선 수행하고 검색 과정은 겹침 영역 확인 과정을 리커시브로 수행하게 된다. 도 20에서와 같이 공간 객체 A와 B가 있을 경우 사용자의 현재위치로부터 객체 A가 더 가까운 위치에 있으므로 공간 검색 알고리즘이 우선적으로 실행된다. 객체 A에 대해서 알고리즘이 수행된 후 검색 영역의 분할은 포함되는 방위각의 범위를 제외한 나머지 영역이며 도 21처럼 된다.
영역의 겹침 관계를 계산한 후 검색 영역의 분할 과정은 다음과 같다.
(a) 현재 위치로부터 검색 영역에 포함되고, 가장 가까운 거리에 있는 공간 객체 검색
(b) 현재 위치와 검색된 건물의 최소 및 최대 방위각을 계산
(c) 검색 영역의 방위각과 (b)에서 구한 방위각을 제외한 나머지 영역을 새로운 검색 영역으로 생성
(d) 분할된 검색 영역에 대해서 위의 과정을 반복
(e) Overlap되는 건물이 없거나, 검색 영역의 방위각 범위가 0°인 경우 종료
도 22는 경기도 고양시 항공대 주변의 공간 객체에 대한 MBR의 Rotated R*-Tree를 구성한 다음 본 발명에서 제안한 여행자용 내비게이션 알고리즘을 수행한 결과이다.
객체 인식 과정에 의해서 검색된 공간 객체에 대한 정보는 정보 요청이 있을 경우에만, 인터넷을 통해 GeoServer에 접속하여 해당 객체와 관련된 정보를 가져와서 사용자에게 제공한다. 카메라 영상에 비추어지는 영역은 사용자가 모바일 단말의 카메라를 이용해 현실 공간을 비추고 있으며, 현실 공간 객체의 인식과정을 실행한 결과, 검색된 객체 이름이 Overlap으로 표시되고 있다. 또한, 정보의 종류가 이미지, 동영상, 텍스트 형태로 다양하기 때문에 모바일 단말의 디스플레이 화면에 다양한 서브 메뉴로 구성하였다. 해당 공간 객체에 대한 정보를 얻기 위해서는 공간 객체 영역을 터치하면 관련 정보가 검색된다.
본 발명은 카메라에 비치는 영상 자체에 관련된 가상의 정보들이 임베딩되어 있도록 하여, 사용자가 현실 세계를 바라보고 있지만, 보이지 않는 가상의 관련 정보도 함께 표현되도록 해줌으로써 리얼리티를 극대화하고 있다.
상술한 바는 센싱정보와 디지털 맵을 기반으로 공간 객체를 인식하고, 사용자에게 공간 정보를 실시간으로 실감 있게 제공해주는 공간 검색 방법을 설명한 것이며, 이하에서는 상기 공간 검색 방법을 기반으로 한 차세대 모바일 단말과 실시간 공간 정보 시스템을 포함한 여행자용 내비게이션 시스템의 전체 구조를 설명한다.
본 발명에 따른 여행자용 내비게이션 시스템은, 도 23에 도시한 바와 같이, 모바일 단말(110), 공간 인덱스 데이터베이스(121), 맵 데이터베이스(122), 콘텍스트 데이터베이스(123), 지오(Geo)-서버(130), 객체 인식부(140), 통합 플랫폼(150) 및 브라우저(160)와 같은 다양한 구성요소로 구성된다.
모바일 단말(Mobile Device)(110)은 유비쿼터스 공간을 대상으로 공간 정보를 검색하기 위해 사용자가 휴대하는 단말로써, 사용자의 상황정보를 취득하기 위해 다양한 센서(예를 들어, GPS센서, 자이로센서, 전자나침반)와 카메라가 내장되어 있으며, 사용자는 단말의 카메라를 통해 현실 세계를 비추는 것으로 검색 요구를 표현하게 된다.
공간 인덱스 데이터베이스(121)는 방대한 디지털 맵의 지리공간 데이터로부터 공간 검색을 위한 Rotated R*-Tree의 인덱스가 저장되며, 맵 데이터베이스(122)는 원본 지리공간 데이터를 관리하게 되고, 콘텍스트 데이터베이스(123)는 가상의 정보가 위치를 기반으로 tagging되어 관리된다.
지오 서버(Geo-Server)(130)는 위치를 기반으로 tagging된 콘텍스트 데이터베이스(123)로부터 사용자의 정보요구가 있을 경우 관련 정보를 검색, 저장해주는 기능을 수행한다.
객체 인식부(140)는 모바일 단말로부터 생성된 검색 영역에 존재하는 공간 객체 인식을 수행하는 역할을 한다.
브라우저(160)는 카메라를 통해 비추어지는 현실 공간과 인식된 공간 정보, 그리고 지오 서버(130)로부터 제공되는 가상의 정보를 사용자에게 실감 있게 브라우징해주는 기능을 수행한다.
통합 플랫폼(Integration Platform)은 상기 각각의 구성요소를 관리하는 플랫폼으로, 내부적으로는 U-MAP을 포함하고 있으며, 각 구성요소 간의 모든 메시지 및 전송데이터를 관리해주는 기능을 수행한다.
이하 상기와 같이 구성된 여행자용 내비게이션 시스템의 동작을 각 구성요소별 및 유기적인 연결 관계를 고려하여 설명하면 다음과 같다.
먼저, 모바일 단말(110)은 유비쿼터스 공간을 대상으로 사용자가 휴대하며 사용하는 단말기로서, 사용자의 상황정보를 취득하기 위한 다양한 센서가 내장되어 있다. 사용자는 모바일 단말(110)의 카메라를 통해 현실 세계를 바라봄으로써 검색 요구를 표현한다. 모바일 단말(110)에 부착되어 있는 센서들은 각각 사용자 혹은 모바일 단말(110)의 상황인식에 필요한 정보를 취득하게 되며, 객체 인식의 데이터로 사용된다. 부착된 센서들은 각각 GPS, 자이로센서 및 전자나침반이다. 각각의 센서로부터 데이터 추출 프로그램은 Visual C++로 구현하였으며, 실시간 공간 검색 시스템에 추가하였다.
상기 GPS는 위치와 시간을 얻기 위한 용도로 사용된다. 24개의 GPS 위성이 서로 다른 궤도로 지구 대기권을 계속 회전하고 있다. 이는 지구상 어느 시간, 어느 곳에서도 4개 이상의 위성신호를 얻을 수 있도록 하기 위함이다. 위치를 측정하기 위해서는 동시에 최소 4개의 위성으로부터 신호를 받아야 한다. 물론 더 많은 위성으로부터 신호를 받으면 더욱 정확한 위치 값을 얻을 수 있다.
GPS 위치측정 데이터는 민간에 제공되는 SPS(Standard Positioning Service)로 200m이내의 오차범위를 가진다. 이러한 오차를 보정하는 방법으로 특정 위치의 좌표값과 그곳의 측정값과의 차이를 이용하여 보정된 데이터를 반영하는 DGPS(Differential GPS)가 사용된다. DGPS를 사용하면 오차범위를 5m이내로 줄일 수 있다. 여기서 DGPS에 대해서는 당해 분야에 공지된 기술이므로 자세한 언급은 생략한다.
도 24는 여행자용 내비게이션 정보 제공을 위해 사용되는 모바일 단말에 실제 GPS를 장착하여 한국항공대학교 주변을 이동하면서 위치 데이터를 기록하고, 항공사진에 드로윙한 결과의 예시이다.
각속도 센서는 자이로 센서로서 각속도를 검출하는 센서이며, 이것의 측정 단위는 당연히 각도/시간이다. 일반적으로 deg/sec인데, 일반적인 자이로는 상대적인 각도정보만을 얻을 수 있다. 따라서, 초기 각도가 주어져야만 얼마만큼의 각도가 변화하였는지를 정확히 알 수 있다.
예를 들어, 이동체의 경우로 가정하면 기준으로 되는 자세 각은 흔히 가속도계(accelerometer)를 이용하고 있다. 이것이 출력하는 가속도신호는, 가감속에 의한 운동가속도 성분과, 경사에 의한 중력가속도 성분의 두 가지가 혼합된 신호로 이해할 수 있다. 운동가속도 성분은 주파수 영역에서 고주파 성분에 위치하고, 중력가속도 성분은 저주파 성분에 위치하므로 자세 각을 산출하기 위해서는, 얻어진 가속도계신호로부터 저주파성분을 추출하고, 추출된 저주파 신호로부터 자세 각을 계산하면 된다.
가속도계는 위와 같이 하면 중력가속도를 검출할 수 있으므로, θ기울기 때의 중력 가속도는 g*SIN(θ)로 된다. 단, g는 중력가속도이다. 따라서, 만일 가속도계가 α가 되는 중력가속도를 검출한 때에는 기울기 각도(자세 각의 정적 성분) θ= SIN-1(α/θ)로 구할 수 있다.
한편, 가속도계는 운동에 따라 발생하는 가속도도 검출하기 때문에, 시간 평균한 운동가속도성분을 적분하여 자세 각을 구하므로, 응답성에 문제가 발생하게 된다. 여기서 자이로와 조합하여 응답성의 문제를 해결할 수 있다.
자이로의 각속도로부터 계산된 자세 각의 동적 부분과, 가속도계의 가속도로부터 계산된 자세 각의 정적부분으로부터, 이동체의 응답성이 빠른 부분은 자이로로 구한 자세 각을, 느린 부분은 가속도계로부터 구한 자세 각을 선택하여 실제의 자세각을 출력하면, 응답성이 좋은 각도 출력을 얻을 수 있게 됩니다. 도 25는 실제 자이로 센서를 모바일 단말에 부착하여 실험한 화면이다. 도 25에서 보는 바와 같이 모바일 단말이 기울어진 상황을 센서로부터 취득하여 각각 미분한 결과로 위, 아래, 수평과 같은 모바일 단말의 기울기를 인지할 수 있다.
전자 나침반은 크게 지자기를 이용한 자기나침반과 회전체의 원리를 이용한 자이로컴파스(gyrocompass)로 나눠지는데, 자이로컴파스는 고속으로 회전하는 자이로스코프 축에 추를 달게 되면 지구 자전의 영향으로 이 축이 자동으로 지구의 자전축인 진북을 가리키게 되어 자기컴퍼스에서 발생되는 편차의 수정 없이 사용할 수 있다.
컴퓨터나 휴대전화에서도 전자장치로 방위를 알 수 있는 전자나침반이 개발되어 실용화되고 있다. 이 나침반은 자기나침반과는 달리 자기센서를 이용해 지자기의 강도를 검출하여 북쪽 방향을 계산해 내기 때문에 주위의 자기 영향에 강하고, 또 자기의 영향을 받더라도 신속히 그것을 분석하여 보정하는 기능이 있어 어디에서나 정확한 방위를 구하는 장점이 있다.
또 방위각을 데이터로 취득할 수 있어 이 데이터를 컴퓨터나 내비게이션 시스템과 연계하면 다방면에 쓰임새가 많아진다. 휴대전화에 전자나침반을 탑재하면 휴대전화로 자기가 가고자하는 방향을 알 수 있을 뿐 아니라 지도 표시를 진행방향에 맞추면 헤드업도 가능해진다. 이 밖에 손목시계, GPS단말기, 쌍안경, 디지털 카메라 등 모바일 단말기에도 탑재되어 아웃도어 스포츠는 물론 자동차나 레저 보트, 소형 비행기에 이르기까지 그 활용도가 점차 확대되어 가고 있다.
도 26은 모바일 단말에 전자나침반을 부착하여 북위를 기준으로 모바일 단말의 카메라가 어느 방향을 바라보고 있는지 측정한 결과이다.
본 발명에서 사용되는 데이터베이스는 세 종류로 구분된다. 방대한 공간 데이터의 효율적 관리와 공간 검색 알고리즘에 사용되는 공간 인덱스 DB(121)와, 디지털 맵으로부터 U-MAP을 통해 추출한 원천의 지리공간 데이터베이스인 맵 데이터베이스(122), 그리고 가상의 정보를 위치기반의 tagging을 통해 구축한 위치기반의 공간 정보가 저장된 콘텍스트 데이터베이스(123)이다.
공간 인덱스 데이터베이스(121)는 Rotated-MBR기반의 Rotated R*-Tree로 구성되어 있다. 이 공간 인덱스 DB(121)는 공간 질의에 대한 빠른 검색이 가능한 구조이다. 콘텍스트 DB(123)에는 POI(Point of Interest) 데이터, 즉 관심지역의 위치 데이터와 관심 정보가 저장되어 있다. 지리공간 데이터(122)는 파일DB이며, 고속의 Drawing을 위한 Bitmap 데이터도 함께 가지고 있다. 각각의 테이블 구조는 다음과 같다.
도 27은 Rotated R*-Tree의 인덱스 구조를 저장하고 있는 테이블의 구조로 노드ID, 노드 종류 및 자식 노드 ID에 대한 값을 저장하고 있다.
노드 ID의 값은 0, 1, 2, 3의 값을 가진다. 0은 Inter Node, 1은 Leaf Node, 2는 Root Node이며 3은 Element Node를 의미한다. 노드 종류는 공간 객체의 모양을 의미하며 0부터 5까지의 값을 가진다. 0은 MBR, 1은 SPHERE, 2는 POINT, 3은 OPEN_TRIANGLE, 4는 CLOSE_TRIANGLE, 5는 Roated-MBR에 해당한다.
맵 데이터베이스(122)의 기본적인 공간 정보를 표현하는 방법은 Point, Polyline, Polygon 등의 형태로 정해져 있다.
도 28은 디지털 맵으로부터 공간 정보를 추출하여 분류한 테이블 구조이다.
여기서 Map Info Table은 수치지도에 대한 기본 정보를 관리하는 테이블이다. 이 테이블은 Map_ID, Map_Name, Level, Map_Unit_ID, Path, 위도/경도로 구성되어 있다.
Map_ID는 Map Info Table의 Index이다. 다른 테이블에서 각각의 행의 값들이 어느 지도에 속하는지에 대한 정보를 확인할 수 있도록 연결키 역할을 하게 된다. Map_Name 열은 국토지리원, 미국지도, 유럽지도 등의 정보를 담고 있다. 즉, 어느 나라에서 사용하고 관리하는 지도인지에 대한 정보를 담고 있다. 이유는, 해당 국가마다 사용하는 지도 포맷이 서로 다르기 때문에 하나의 데이터베이스에서 관리하기 위해서는 구별해줄 필요가 있다. Level열은 축척 정보를 가지고 있다. 수치지도는 크게 1:1,000, 1:5,000, 1:25,000 지도를 주로 사용하게 된다. Map_Unit_ID는 도엽 번호를 가지게 된다. 도엽 번호는 위도정보를 기반으로 기본적인 이름이 정해지게 되고, 축척의 크기가 변함에 따라 숫자가 덧붙여지게 된다. Path는 원본 수치지도를 저장하고 있는 폴더 경로를 저장하고 있다. 마지막으로 위도/경도 열은 각 수치지도의 우상단 및 좌하단 Point좌표값을 가지고 있다. 즉, 해당 수치지도가 가지는 최대, 최소의 범위를 뜻하게 된다.
Object Table은 각각의 수치지도가 가지고 있는 공간정보에 대한 데이터를 저장하고 있는 테이블이다. 테이블 구성은 GID, Layer_ID, Map_ID, Object_Type, Object_Info로 구성되어 있다.
GID는 Object Table의 Index의 역할을 하게 된다. Layer_ID는 Object Table의 데이터가 어느 레이어에 속하는지에 대한 정보를 가지게 된다. 이값으로부터 Layer Table에서 레이어와 관련된 데이터를 가져올 수 있도록 연결키 역할을 하게 된다. Map_ID는 해당 Object가 속하는 지도의 ID값이 오게 된다. Object Type은 점, 선, 면의 데이터 타입을 나타낸다. 마지막으로 Object Info는 해당 데이터 타입이 폴리곤, 스트링인지에 대한 값을 가지게 된다. 위와 같은 구조를 가지는 Object Table은 데이터의 종류에 따라 도 29와 같은 종류를 가지게 된다. 분류 기준은 레이어 정보가 행정구역, 고도, 농작물배치, 건물, 건물기호, 상업시설, 문화 및 오락 등에서 어떤 종류에 속하는지에 따라 분류하였다. 이렇게 분류한 이유는 공간 정보의 분산으로 확대, 축소 비율이나 사용자가 선택적으로 공간정보를 보기 위해서이다.
Object Name Table은 Object에 해당하는 좌표값을 관리하는 테이블로 TID, GID, Name_String, Coordinate로 구성된다. TID값은 Index의 역할을 한다. GID는 Object Table의 GID값을 가지며, 연결키 역할을 한다. Name_String은 텍스트 명의 값으로 수치지도가 가지는 텍스트 값을 가지게 된다. 예를 들어 해당 Object가 건물이면, 그 건물에 해당하는 건물명을 가진다. 마지막으로 Coordinate는 좌표값이다. Object가 가지는 좌표값들을 스트링 형태로 관리하고 있다.
Layer Table은 레이어와 관련된 기본적인 정보를 관리하고 있다. 레이어는 크게 레이어명과 색깔 정보를 기본정보로 하고 있다. 이러한 정보에 Object_Table명을 추가하고 있다. 즉, 앞에서 설명한 Object_Table명에서 각각의 Object가 가지는 Layer_ID값으로 이 테이블과 연결하고 있다. Layer_ID는 Index의 역할을 하며, Layer_Name은 레이어명이다. Layer_Color은 레이어가 가지는 색깔 정보를 담고 있다.
User Map Table은 디지털 맵이 가지고 있는 데이터를 바탕으로 사용자가 직접 Object를 추가할 경우 원본 지도의 데이터를 관리하는 테이블을 손상하지 않고 관리할 수 있도록 하기 위해서이다. GID는 Index, Layer_ID는 레이어명, Map_ID는 Map Info Table의 Map_ID값이다. Object Type은 점, 선, 면의 값을 가지며, Object Info는 폴리곤, 스트링 등의 형태가 있다.
콘텍스트 DB(123)에는 도 30과 같이 모바일 단말의 공간 검색 테스트를 위해 사용되는 Geo_Objects테이블과 공간 객체의 POI(Point of Interest) 데이터, 즉 관심지역의 관심 정보를 저장하고 있는 Real_Media 테이블로 이루어져 있다.
Geo_Objectc 테이블의 세부구조는 도 31과 같다. 식별 값, 디지털 맵 ID, 공간 객체 종류, 이름, 공간 객체를 이루는 Vertex 총 개수 및 데이터로 구성되어 있다. Real_Media 테이블의 구조는 도 32와 같다.
지오 서버(130)는 위치를 기반으로 tagging된 콘텍스트 데이터베이스(123)로부터 사용자의 정보요구가 있을 경우 관련 정보를 검색 및 저장하는 서버이다. 사용자는 모바일 단말(110)을 통해 현실 공간의 이미지, 동영상 등을 실시간으로 취득할 수 있다. 예를 들어 특정 건물 앞에서 사진을 찍을 경우 해당 건물의 이름과 위치를 검색하여 콘텍스트 DB(123)에 동영상, 이미지와 함께 저장하여, 사진에 대한 별도의 tagging작업 없이 사진을 찍은 장소와 위치가 자동으로 정확하게 기록된다. 이러한 사용자의 검색 및 저장에 대한 요청을 처리해주는 역할을 한다.
객체 인식부(140)는 사용자의 정보요구가 발생하면, 센싱 정보를 기반으로 공간 검색 영역을 생성하고, 맵 데이터베이스(122)와 공간 인덱스 DB(121)를 기반으로 공간 객체를 인식하는 과정을 수행한다.
엠비언트 브라우저(160)는 카메라를 통해 비추어지는 현실 공간과 알고리즘을 통해 인식된 공간 정보, 그리고 지오 서버(130)로부터 제공되는 가상의 정보를 사용자에게 실감 있게 보여주는 브라우저이다.
통합 플랫폼(150)은 여행 내비게이션 시스템의 모든 구성요소를 관리하는 플랫폼으로, 내부적으로 주지한 U-MAP을 포함하고 있어 지리공간 데이터에 대한 공간 질의 등의 전반적인 처리를 담당하게 된다.
이상 상술한 본 발명은, 가상의 정보가 위치를 기반으로 태깅되어 있고, 공간 객체를 자동으로 인식하는 과정이 기존의 이미지로부터 특징 정보를 추출하여 검색하는 방법이 아닌 모바일 단말에서 수집되는 센싱 정보와 디지털 맵으로부터 추출한 공간 정보를 기반으로 기하학을 적용하여 실시간으로 객체를 인식하고 있다.
따라서, 사용자는 지리공간에 대한 정보를 시간과 공간의 제약 없이 손쉽게 검색할 수 있다. 특히, 사용자의 상황인식을 통해 사용자 중심의 정보 제공 서비스를 위해 모바일 단말에 다양한 센서를 추가하여 상황인식에 관한 센싱 데이터를 수집하고 있기 때문에, 사용자가 카메라를 통해 현실 공간을 비추는 행위만으로 사용자가 어떤 방향으로, 어떤 대상을 검색하고자 하는지 자동으로 인지하여 공간 정보를 자동으로 제공해주고 있다. 또한, 가상과 현실 공간 정보를 모바일 단말의 화면에 동시에 보여줌으로써 보이지 않는 가상의 정보와 실제 눈으로 보이는 현실 정보를 연관지어 확인할 수 있는 장점이 있다.
본 발명은 상술한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다. 본 발명을 설명하기에 앞서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다.
본 발명을 설명하기에 앞서, 가상의 웹 공간의 여행관련 정보가 현실 공간의 특정 위치에 상호관련성 있게 축적되어 있는 공간과 사용자의 현재 위치, 주위 환경에 대한 상황정보를 취득할 수 있는 센서가 있다고 가정한다. 또한, 사용자가 휴대하고 있는 단말에는 카메라 장치 가지고 있어서, 사용자는 자신의 관심을 카메라를 통해 표출한다.
본 발명은 도 2와 같이 사용자의 위치를 파악하여 카메라 영상을 통해 비추어진 공간이나 장면을 인식할 수 있는 시스템이 있다고 한다면, 여행자는 어떠한 사전 준비 없이 도시를 자유롭게 여행하면서 인터넷이 가능한 모바일 단말을 통해 원하는 공간정보를 검색할 수 있다. 여행자는 단순히 이동하면서 관심이 가는 건물을 카메라로 바라봄으로써 해당 건물을 즉시 확인할 수 있다. GPS장치를 가지고 있는 모바일 단말을 통해 해당 위치정보도 함께 전송되어 해당 위치에 대한 주변 지도 정보 및 태깅된 가상 정보도 함께 제공받을 수 있다.
본 발명은 유비쿼터스 공간에서 객체를 사용자 상황인지와 현실 공간을 있는 그대로 표현한 디지털 맵을 기반으로 사용자가 카메라를 통해 바라보고 있는 영역의 객체들을 인식하여 해당 객체에 대한 가상의 정보를 제공해주어 여행에 편리함을 도모하기 위한 여행자용 내비게이션 시스템이다.
공간 정보를 제공해주기 위해서는, 디지털 맵으로부터 지리정보 추출, 디지털 맵의 지리공간 데이터 관리, 지리공간 객체 검색 등의 다양한 기반 기술들이 필요하다. 이를 위한 기반 기술로 본 발명에서는 제안된 U-MAP(Universal Map Access Platform)을 이용한다.
위치기반서비스는 측위 기술(LDT: Location Determine Technology), 위치 처리 플랫폼(LEP: Location Enabled Platform), 위치 응용 프로그램(LAP: Location Application Program)의 3가지 부분으로 구성된다.
LDT는 사용자의 위치정보를 결정하는 기술이고, LEP는 위치정보를 기반으로 주변의 공간정보를 제공하기 위한 처리 기술이며, LAP는 LBS사용자의 위치와 주변 공간정보를 활용한 다양한 응용 서비스를 말한다. 이 중에서 LEP는 LBS 서비스를 위한 핵심기술로써 공간정보 데이터베이스와 공간객체 관리를 위한 DBMS(DataBase Management Systems)가 중요하다.
대부분의 공간정보 데이터베이스는 디지털 맵을 이용하는데, 디지털 맵은 포맷이 다양하고, 상이한 구조로 이루어져 있다. 그래서 공간정보를 추출하기 위해서는 개별적인 공간정보 추출기가 필요하고, 추출된 공간정보 데이터를 저장하고 관리하기 위한 관리 모델이 지도마다 필요하다. 하지만, 공간객체의 속성정보를 이용하면 상이한 포맷의 공간정보라 할지라도 속성정보의 유사성을 이용하여 하나의 관리 모델로 통합할 수 있다.
상이한 지도에서 공간정보를 추출하는데, 추출된 공간정보의 유사한 속성정보를 활용하여 통합 데이터베이스를 구축한다. 또한, 구축된 데이터베이스를 활용하여 LBS 응용서비스 개발 지원하는 API(Application Program Interface)를 포함하고 있는 통합 플랫폼인 U-MAP을 구성한다.
핵심 구성 플랫폼 중에서 Universal Map DBMS는 공간정보 추출 플랫폼을 이용하여 여러 지도 데이터 포맷들로부터 추출된 공간정보를 관리한다. 추출된 공간정보들은 디지털 맵 원본 데이터의 벡터정보를 가감 없이 저장하여 공간 객체정보의 추가, 변경, 삭제에 빠르게 대응할 수 있도록 하는 원본 데이터 데이터베이스, 원본 데이터베이스를 기반으로 LBS 사용자의 공간 객체에 대한 질의 처리를 빠르게 하기 위해 R-Tree 인덱스 구조를 사용하여 건물 객체에 대한 공간정보를 데이터베이스화한 건물 대상 Roated-R*-Tree 데이터베이스를 가지고 있다. 도 3에 U-MAP의 전체 구조가 개시된다.
공간정보 추출 플랫폼을 살펴보면, LBS 사용자에게 제공하는 공간정보는 일반적으로 디지털 맵으로부터 얻을 수 있는데, 이러한 디지털 맵은 다양한 종류의 포맷이 존재하며 각 포맷은 현실공간의 객체를 서로 다른 방법으로 표현하고 있다.
예를 들어 DXF(Drawing eXchange Format)는 ASCII 텍스트 파일이며, 두 줄로 구성된 여러 개의 연속된 그룹들이 공간 객체를 표현한다. 또한, GDF(Geographic Data Files)는 식별자를 이용하여 여러 줄로 구성된 하나의 레코드가 공간 객체를 표현하고 있다.
이와 같이 상이한 방법으로 공간 객체를 표현하고 있기 때문에, 각 포맷으로부터 공간정보를 추출하기 위해서는 각 포맷별로 정의된 데이터 접근 방법을 이용해야 한다. DXF 포맷은 한 줄씩 읽으며 읽혀진 내용에 따라서 데이터를 정규화된 코드별로 분류하여 저장하며, GDF는 블록 단위로 데이터를 읽어 들인 뒤 내용을 분석하여 분류하고 저장한다.
이러한 상이한 방법으로 추출된 공간 정보들은 위치정보뿐만 아니라 산, 강, 도로, 건물 등과 같은 속성정보를 가지고 있다. 이 속성정보는 상이한 포맷들로부터 추출되지만 공간객체 간의 속성정보의 유사성을 이용하여 공간객체를 클러스터링할 수 있다.
U-MAP의 공간정보 추출 플랫폼은 위의 예시에서 설명한 각 포맷들로부터 공간정보를 추출하는 공간정보 추출기와 추출된 공간정보 데이터들의 속성정보의 유사성을 이용하여 공간객체들을 관리하는 공간객체 관리모델로 구성되어있다. 공간정보 추출 플랫폼의 각 포맷별 공간정보 추출기는 플러그인 형태로써 새로운 지도 데이터 포맷에 대한 공간정보가 필요할 경우 추출기만 새롭게 추가하여 전체 시스템의 변경 없이 사용이 가능하다.
도 4는 공간정보 추출 플랫폼의 구성도를 나타낸다.
도 4에 개시된 바와 같은 공간정보 추출 플랫폼을 이용하여 여러 지도 데이터 포맷들로부터 추출된 공간정보들은 Universal Map DBMS에서 관리한다. 추출된 공간정보들은 디지털 맵 원본 데이터의 벡터정보를 가감 없이 저장하여 공간 객체정보의 추가, 변경, 삭제에 빠르게 대응할 수 있도록 하는 원본 데이터 데이터베이스, 원본 데이터베이스를 기반으로 LBS 사용자의 공간 객체에 대한 질의 처리를 빠르게 하기 위해 Roated-R*-Tree 인덱스 구조를 사용하여 건물 객체에 대한 공간정보를 데이터베이스화한 건물 대상 Roated-R*-Tree 데이터베이스, 또한 원본 데이터베이스를 기반으로 사용자에게 보다 빠른 공간정보를 표현하기 위해 벡터 형태의 공간정보 데이터를 래스터(Raster) 형태의 비트맵 형태로 변경하여 데이터베이스화한 고속 드로윙(Drawing)용 비트맵 데이터 데이터베이스의 세 가지 종류의 데이터베이스로 관리한다. 도 5에 디지털 맵으로부터 추출되는 공간정보들을 각각의 데이터베이스로 관리하는 것이 개시된다.
그리기(Drawing) 및 검색 엔진(Search Engine)에서는 공간정보들이 3가지의 형태로 저장되어 있는 Universal Map DBMS로부터 위치 응용 프로그램에 제공할 Drawing 및 Search API를 정의한다. Drawing API는 비트맵을 이용하여 고속으로 공간정보를 표현하는 것 이외에 유사한 속성정보별로 구분되어 저장돼 있는 공간 객체정보들을 선택적으로 표현할 수 있는 기능을 제공한다. 예를 들어 차량용 내비게이션 사용자에게 공간정보를 제공할 때는 도로정보, 건물정보, 행정구역정보 등은 제공하되 등고선 정보 등 필요하지 않은 정보들은 제공하지 않아 최소한의 필수적인 공간정보만을 제공할 수 있다. 도 6은 Drawing API를 이용하여 사용자에게 유사한 속성정보를 가지는 공간정보를 선택적으로 보여주는 모습을 도시한 것이다.
Search API는 Roated-R*-Tree 인덱스 구조를 사용하여 구축되어 있는 건물 대상 Roated-R*-Tree DB를 이용하여 사용자의 건물 대상 질의를 빠르게 처리할 수 있는 기능을 제공한다. 또한, 공간정보가 추가, 변경, 삭제될 경우에 Modifying API를 이용하여 DB에 저장된 데이터를 갱신할 수 있는 기능을 제공한다.
본 발명은 가상과 현실이 혼합된 유비쿼터스 공간을 대상으로 카메라 영상을 통해 들어오는 사용자의 정보 요구를 정확하게 인식하기 위해 모바일 단말에 부착되어 있는 센서로부터 수집되는 데이터를 어떻게 이용하여, 디지털 맵 검색 기반으로 영상의 공간 객체를 검색하여 이를 사용자에게 화면으로 제공해주기 위한 것이다.
도 30은 본 발명에 따른 여행자용 내비게이션 방법을 보인 흐름도로서, S는 단계(Step)를 나타낸다.
이에 도시된 바와 같이, 사용자에 의해 공간 정보 요구가 발생하면, 공간 검색 영역을 생성하는 단계(S101 ~ S103)와; 상기 생성한 공간 검색 영역에 존재하는 공간 객체를 인식하는 단계(S105)와; 상기 인식한 공간 객체와 관련된 지리정보를 검색하는 단계(S107)와; 상기 검색한 지리정보 결과를 기반으로 공간 검색 정보를 제공해주는 단계(S109)로 이루어진다.
여기서 공간 객체 인식 단계(S105)는, 생성한 공간 검색 영역 내의 다차원 공간 데이터에 대한 검색을 효율적으로 수행하기 위한 공간 데이터에 대한 인덱스를 생성하는 단계(S105a)와; 상기 검색 영역과 건물 영역에 대한 겹침(오버랩) 관계를 계산하는 단계(S105b)와; 상기 겹침 관계를 계산한 후 검색 영역을 분할하고, 상기 분할한 공간 검색 영역에 대한 검색을 반복 수행하는 단계(S105c)를 포함한다.
여행자용 내비게이션 방법은, 도 7에 도시한 것처럼, 사용자는 카메라를 통해 공간을 비추는 행위로 검색하고자 하는 정보요구를 발생시킴과 동시에, 모바일 단말로부터 취득된 센싱 정보를 통해 정확한 검색 대상 공간을 인식한다. 또한, 센싱 정보를 기반으로 디지털 맵과 본 발명에서 제안하는 검색 방법을 통해 영상에 비추어진 객체를 검색한다. 사용자가 검색된 공간 객체에 대한 웹 정보를 요청하면, 서버로부터 위치를 기반으로 정보를 검색해서 사용자에게 제공해준다. 이때, 가상의 정보는 현실 공간의 입력 영상 화면상에 합성되어 표시함으로써, 현실과 가상의 정보가 공존하도록 보여준다.
모바일 단말에 부착되어 있는 카메라는 사용자가 가상과 현실이 혼합되어 존재하는 유비쿼터스 공간을 바라보는 매개체로, 사용자의 정보요구를 표현하는 수단이다. 즉, 유비쿼터스 공간을 대상으로 사용자의 정보요구가 발생할 경우, 어느 부분에 해당하는지를 입력하는 부분으로 정보검색 시스템에서는 사용자가 입력하는 키워드에 해당한다. 카메라를 통해 검색대상을 바라본다는 것은 현실공간의 검색 영역을 정확히 포커싱하고, 검색 질의의 요청과 동시에 검색하여, 사용자에게 결과를 보여주는 4개의 과정이 동시에 일어나는 것이다.
예를 들어, 어떤 위치에서 건물명을 검색하기 위해 카메라로 비추는 행위, "남대문" 앞에서 관련된 가상 정보를 얻기 위해 비추는 것과 같다. 이와 같이 현실 공간에 대한 사용자의 정보요구를 카메라를 통해 키워드가 아닌 시각적이고, 공간적인 정보요구로 표현하는 것이다. 이러한 정보요구 표현의 장점은 정보검색 시스템을 이용하는 방법보다, 정보요구를 해결하기 위한 테일러의 정보요구 구체화단계와 같은 문제해결을 위해 명확한 키워드를 생성하는 과정을 거치지 않고, 공간을 비추는 행위 자체가 정보요구를 표현하고 있기 때문에 사용자는 키워드 입력 및 정보를 비교해서 키워드를 구체화하는 노력 없이 공간 정보를 검색할 수 있다.
모바일 단말에 부착되어 있는 상황인식 정보 취득 센서로는 GPS, 각속도센서(혹은, 자이로센서), 전자 나침반이 있다. 각각의 기능을 살펴보면, GPS는 사용자 혹은 단말의 현재 위치 정보를 측정하는 것이고, 각속도센서는 모바일 단말이 수평선을 기준으로 기울어진 각도를 계산함으로써 공간 객체를 바라보는 사용자의 시야, 즉 카메라의 방향이 어디를 향하고 있는지 구체적으로 확인할 수 있다, 전자나침반은 북위를 기준으로 방위각 정보를 계산하여 사용자가 휴대하고 있는 단말이 어느 방향을 비추고 있는지 측량하는 수단이 된다. 이러한 정보를 기반으로 사용자의 정보요구 영역을 생성하여 영역 내의 공간 객체를 인식하는 과정을 수행하게 되는데, 이때 공간 영역을 생성하는 과정은 다음과 같다.
사용자가 휴대하고 있는 모바일 단말을 통해 현실 공간의 어떤 공간 혹은 공간 객체에 대해서 정보를 검색하고자 할 경우, 모바일 장치의 카메라를 대상을 향해 비추면 GPS로 사용자의 현재 위치, 자이로센서로 모바일 장치의 기울기와 전자나침반으로 방위각 정보를 취득한다. 이때 모바일 단말의 카메라는 최대 어떤 범위까지 영상을 취득할 수 있는지에 대한 시야각 범위와 거리가 존재하는데, 이렇게 취득한 값을 2차원의 (x, y) 좌표값이 있는 디지털 맵에 적용하면 삼각형 모양의 검색 영역을 생성할 수 있다. 이렇게 생성된 삼각형 영역이 곧 사용자의 정보요구를 표현한 검색 영역이 된다. 도 8의 상부 도면은 모바일 단말을 이용한 센싱 기반의 정보를 수집하고, 이를 검색 영역으로 생성하는 과정을 간략히 보여준 도면이고, 하부 도면은 검색 영역 생성을 계산하기 위해 각각의 센싱 정보를 기반으로 좌표공간에 데이터를 표현한 도면이다.
모바일 단말로부터 취득되는 센싱정보 중 검색 영역 생성에 필요한 정보는 사용자의 현재 위치(Point), 카메라의 시야각(Angle)과 북위를 기준으로 한 방위각(Azimuth)이다. 또한, 사용자가 검색하고자 하는 범위를 사전에 설정한 거리(Distance) 값이다. 이 4개의 정보로부터 시스템은 삼각형 검색 영역을 생성할 수 있는데, 이를 위해서는 점A, B, C에 대한 좌표값을 구해야 한다.
점O(Cx, Cy)는 사용자(모바일 단말)의 현재 위치, θazimuth는 방위각, θangle은 카메라 시야각, d는 사용자의 현재 위치로부터 최대 검색 거리, 점O, A, B는 검색 영역을 구성하는 세 점을 각각 나타낸다.
도 8에서 카메라의 앵글로 생성되는 검색 영역의 모양은 삼각형이기 때문에 점A와 B에 대한 좌표값을 구해야한다. 이 좌표값을 구하는 과정은 다음과 같다.
점O의 좌표값(Cx, Cy), θazimuth, d로부터 점C의 (x, y) 좌표는 점O로부터 θazimuth의 각도로 거리 d만큼 떨어진 점E 좌표이다. 따라서 각각의 좌표는, x = Cx + d·cosθazimuth, y = Cy + d·sinθazimuth이다.
다음으로, θangle과 d로부터 선분AC의 거리를 구한다. 이때 선분AC의 거리는 선분BC의 거리와 같다. 선분AC의 거리 = d·tan(θangle/2).
다음으로, 점A의 좌표값을 구하기 위해서는 선분OA의 길이를 구해야 한다. 선분OA의 길이는 sin(θangle/2) = 선분AC의 길이/선분OA의 길이로부터 다음과 같이 구할 수 있다. 선분OA의 길이 = 선분AC의 길이/ sin(θangle/2).
다음으로, 선분AC의 길이와 θazimuth와 θangle로부터 점A의 좌표값은 다음과 같다. 점A의 x좌표 = Cx + (선분OA의 길이)·cos(θazimuth-θangle/2), 점A의 y좌표 = Cy + (선분OA의 길이)·sin(θazimuth-θangle/2).
다음으로, 점B의 좌표값도 점A의 좌표값을 구하는 과정을 반복하여 다음과 같이 산출한다. 점B의 x좌표 = Cx + (선분OB의 길이)·cos(θazimuth+θangle/2), 점B의 y좌표 = Cy + (선분OB의 길이)·sin(θazimuth+θangle/2).
이러한 과정을 통해 점O, A, B로 이루어진 검색 영역을 생성할 수 있으며, 검색 영역의 각 점은 (x, y)의 좌표값으로 구성되어 있기 때문에, 디지털 맵의 공간 정보로부터 Overlap 연산을 수행하여 영역 내의 공간 객체를 인식할 수 있다.
디지털 맵의 장점은 현실 세계를 있는 그대로 표현하고 있다는 것이다. 따라서, 현실 세계에서 바라보고 있는 대상을 검색한다는 것은 디지털 맵 상에서 바라보는 대상을 검색하는 것과 동일하다. 이러한 일대일 대응되는 현실 세계와 디지털 맵의 장점을 활용하여 모바일 단말로부터 수집한 센싱 정보를 기반으로 카메라 영상에 비추어진 건물에 대한 검색 알고리즘을 적용하고 있다. 그런데 현실 공간의 객체의 수는 방대하고 무수히 많은 좌표의 집합으로 이루어져 있다. 실제로 경기도 고양시 디지털 맵으로부터 공간 객체를 추출하면 20만 개의 건물 데이터가 추출되며, 각각의 건물을 이루는 좌표의 개수도 수십 개에 이른다. 따라서, 이러한 복잡한 형태의 공간 객체로부터 검색을 효율적으로 수행하기 위해서는 인덱스 및 단순화 작업이 필요하다.
본 발명에서는 디지털 맵으로부터 U-MAP을 활용하여 공간 데이터를 추출하여 데이터베이스로 구축하고, 이 데이터베이스를 기반으로 공간 검색 방법을 수행하고 있다. 그런데 현실 공간을 표현하는 데이터의 양은 매우 방대하고, 다차원으로 구성되어 있기 때문에 공간 검색 질의와 같은 공간 인식 알고리즘 과정에 필요한 질의를 효율적으로 처리하기 위해서는 다차원 공간 데이터에 대한 인덱스가 필요하며, 일반적으로 공간 데이터에 대한 인덱스로는 R-Tree 인덱스를 주로 사용한다.
R-Tree는 B-Tree와 비슷하지만, 다차원의 공간 데이터를 저장하는 색인이다. 이를테면, 지리학에서 R-Tree는 "현재 위치에서 200Km이내의 모든 도시를 찾아라."와 같은 질의에 대해 빠르게 답을 줄 수 있다.
이 자료구조는 도 9와 같이 공간을 최소 경계 사각형(MBR)들로 공간 객체를 분할하여 저장한다. 이러한 MBR은 서로 겹칠 수도 있으며, 상위 레벨의 MBR은 하위 레벨의 MBR들을 포함하는 계층적인 트리 구조로 구성되어 있다. R-Tree의 각 노드는 미리 정의된 범위 내에서 유동적인 개수의 자식 노드들의 정보로 MBR과 포인터를 가진다.
R-Tree는 전체 구조를 재구성하지 않고도 데이터를 추가하거나 삭제할 수 있기 때문에 동적인 구조라는 장점이 있지만, 비효율적인 인덱스 구조로 인해 질의 처리를 위해서는 불필요한 노드에 대한 많은 접근이 발생한다.
본 발명에서는 다차원 공간 데이터의 효율적인 질의 처리를 위해서 R-Tree보다 질의 처리의 효율성 측면에서 구조를 효율적으로 만든 Rotated R*-Tree를 구축하여 공간 검색 알고리즘에 이용한다. 일반적으로 R*-Tree의 단점이 현실 공간 객체들의 구조와는 상관없이 MBR을 구성하기 때문에 공간 객체를 근사하는 과정에서 빈 공간이 많이 발생한다.
현실 공간의 객체의 모양은 아파트, 수도관, 가스관 등 한쪽 방향으로 긴 Line이나 LineString형태의 객체가 많이 존재한다. 이렇게 빈 공간이 많이 발생하게 되면 영역 질의 등의 공간 질의 수행시 결과가 필요 이상으로 많이 리턴되며, 이로 인해 실제 데이터의 접근횟수가 필요 이상으로 많이 리턴되므로 결과적으로 실제 데이터의 접근횟수가 많아지게 된다. 또한, 빈 공간은 노드 간의 겹침 영역을 증가시켜 결과적으로 트리의 검색 성능을 저하시키게 된다는 문제점도 함께 나타내게 된다.
도 10은 경기도 고양시 지역의 항공사진을 이용하여 실제 건물의 모양과 구조가 어떻게 이루어지고 있는지 보여주고 있다. 도면과 같이 실제 건물의 구조는 직사각형 모양을 이루고 있으며 대각선으로 기울어져 있는 것을 확인할 수 있다. 이러한 실제 건물의 모양에 MBR을 구성해보면 도면과 같이 빈 공간이 많이 발생하게 되며, 도면의 우측 MBR에서처럼 실제 건물의 영역은 겹치지 않지만 MBR로 구성할 경우에는 겹침이 발생함을 확인할 수 있다.
이러한 MBR로 구성된 R*-Tree의 문제점은 본 발명에서 제안하는 여행자용 내비게이션 시스템에서는 중요한 문제가 된다. 왜냐하면, 본 발명의 공간 인식 알고리즘에 사용되는 기본 방법은 공간 객체의 MBR과 생성한 삼각형 모양의 검색 영역의 Overlap을 관계를 계산하는 것이다. 따라서, 현실 세계의 건물 모양을 고려하지 않고 MBR을 구성할 경우에는 도 11(a)(b)와 같은 문제가 발생하게 된다.
도 11a를 살펴보면 건물B에 대해서 MBR을 생성하고, 검색 영역과 Overlap관계를 살펴보면 영역이 겹침을 확인할 수 있다. 하지만, 실제 사용자의 시야에는 건물B는 보이지 않는 건물이다. 따라서, 공간 인식 알고리즘 상에서는 검색 결과에 포함되어서는 안 된다. 이는 현실 공간의 공간 객체의 모양을 고려하지 않고 MBR을 구성했기 때문에 발생한 문제이다. 그런데 만약 건물B의 MBR을 11b와 같이 건물B의 모양과 거의 동일하게 MBR을 생성하여 공간 인식 알고리즘에 적용한다면, 건물B는 영역에 포함되지 않음을 확인할 수 있다.
이에 본 발명에서는 R*-Tree를 구성하는 알고리즘을 기반으로 하지만, 공간 객체의 MBR을 구하는 과정에서 공간 객체의 구조적 모양을 고려한 Rotated-MBR를 제안하고, 이를 기반으로 생성된 Rotated R*-Tree를 구성하여 검색 결과의 정확도를 높인다.
도 12(a)(b)는 실제 한국항공대학교 주변에 대한 공간 데이터에 대해서 MBR과 Rotated-MBR을 구성한 경우이다. 두 그림을 비교해보면, Rotated-MBR은 현실 공간의 객체의 모양을 고려하고 있기 때문에, 11(a)의 MBR보다 훨씬 더 빈 공간이 없는 최소 경계 사각형을 생성할 수 있다.
즉, 기존의 MBR은 디지털 맵으로부터 추출된 공간 객체들은 점들의 집합으로 표현된다. 이 점들의 집합으로부터 MBR을 생성하는 방법은 매우 간단하다. 공간 객체를 MBR로 구성하기 위해서는 2개의 점에 대한 좌표값만을 알고 있으면 된다. 즉, 최대 및 최소값에 해당하는 X, Y좌표값을 구하면 그 값이 MBR을 이루는 2개의 좌표가 된다.
그러나 R-MBR(Rotated-MBR)은 MBR에 비해 다소 복잡한 과정을 통해 4개의 점으로 구성되는데, Roated-MBR을 생성하는 원리는 도 13에 도시한 바와 같이, "공간 객체가 Convex일 때, 이 Convex를 포함하는 사각형은 Convex를 이루는 한 직선을 반드시 포함한다."이다. 그리고 생성되는 MBR중에서 면적이 최소가 되는 것을 공간 객체의 Roated-MBR로 한다.
이러한 Roated-MBR을 구하는 알고리즘은 다음과 같다.
(a) 공간 객체는 N개의 Node로 Polygon이다.
(b) N개의 노드로부터 Graham Scan Method를 적용하여 Convex를 생성하고, Convex는 m개의 Node를 가지고 있다.
(c) m개의 Node 중 최대·최소의 X, Y 좌표값을 가지는 Node를 검색하고, 도 16의 ①과 같이 검색된 Node(0, 1, 3, 4)을 지나는 직선을 생성하고, 각각의 직선이 만나는 교점으로 이루어진 사각형이 시작 Rotated-MBR이며, 사각형의 면적을 계산한다.
(d) 도 17과 같이 Rotated-MBR의 Edge와 Convex가 만나는 Node와 이 Node를 포함하는 Convex의 Edge를 검색하고, Roated-MBR의 Edge와 Convex의 Edge가 이루는 각을 계산한다.
(e) 도 13의 ②와 같이 최소의 값을 가지는 각이 Convex의 Edge(0, 4)일 경우, Roated-MBR의 각각의 Edge를 각만큼 회전한다. 회전 후 Roated-MBR을 이루는 직선이 만나는 교점을 구하고 사각형의 면적을 계산한다.
(f) 최소 면적보다 작을 경우, 값을 업데이트 하고 (d) 단계부터 반복한다.
(g) 회전 각도의 총합이 180°이상이면 알고리즘을 종료한다.
검색 영역을 모바일 단말로부터 취득한 위치와 기울기, 그리고 방위각 정보를 활용하여 사용자가 현재 검색하고자 하는 공간 영역을 삼각형 모양의 검색 영역으로 생성한다. 또한, 현실 공간의 공간 객체를 R*-Tree로 구성하기 위해 MBR, Rotated-MBR을 생성했다. 이 두 영역의 겹침(Overlap) 관계를 계산하여, 검색 영역 내에 포함되어 있는 객체를 인식하게 된다.
공간 검색 알고리즘을 수행하는 기본 원리는 사용자의 현재 위치로부터 가장 가까운 공간 객체를 검색한 후, 해당 공간 객체가 이루는 방위각 범위가, 생성된 검색 영역의 방위각 범위 안에 포함될 경우, 즉 Overlap될 경우가 현재 사용자가 찾고자 하는 건물에 해당한다. 일반적인 MBR기반의 R*-Tree에서는 Overlap되는 경우의 수는 다음과 같다.
검색 영역 안에 공간 객체의 MBR이 완전히 포함되는 경우, 일부 포함되는 경우, 포함되지 않는 경우이다. 만약 검색 영역이 MBR간의 포함관계라면 도 15와 같이 MBR이루는 (x, y)의 범위로 간단히 계산할 수 있지만, 본 발명에서는 삼각형 모양의 검색 영역과 MBR, Rotated-MBR이기 때문에 새로운 방법을 적용해야 한다.
본 발명에서는 생성된 검색 영역을 사용하는데 사용자가 현재 북위를 기준으로 어느 정도의 방향을 바라보고 있는지에 대한 정보인 방위각 정보와 카메라 앵글 범위를 알고 있기 때문에 검색 영역의 최소·최대 방위각을 계산할 수 있다. 이로부터, R*-Tree의 MBR과 생성된 검색 영역에 대해 겹침 관계를 수행하는 알고리즘은 다음과 같다.
(a) R*-Tree로부터 현재 위치와 가장 가까운 거리에 존재하는 공간 객체 검색
(b) 현재 위치와 각각의 공간 객체의 MBR 혹은 Rotated MBR이 이루는 최소 및 최대 방위각 계산
(c) 검색 영역의 방위각 범위에 각각의 공간 객체의 방위각이 포함관계가 있다면, 해당 공간 객체를 검색하고 새로운 검색 영역 생성
(d) 생성되는 검색 영역은 포함된 방위각 범위를 제외한 나머지 영역이며, 여러 개의 검색 영역이 생성될 수 있음
(e) 검색 영역의 방위각 범위가 0°혹은 Overlap되는 건물이 없는 경우까지 위의 과정을 반복
도 16은 이러한 기본 알고리즘에 대해서 (a) 검색 영역 범위 안에 완전히 포함된 경우, (b) 일부 포함되는 경우, (c) 포함되지 않는 경우에 대한 도면이다. 본 알고리즘은 리커시브로 수행되므로 도 16의 (a), (b)와 같이 공간 객체가 포함될 경우 새로운 검색 영역으로 양분되는데, 이 영역의 범위는 Overlap된 방위각 범위를 제외한 영역이 된다.
결국, 방위각과 카메라 앵글각으로 현재 검색 영역의 최소 및 최대 방위각을 계산하고, 이 방위각 범위 내에 사용자의 현재 위치와 건물이 이루는 방위각의 범위가 포함되는지를 계산하여 Overlap 여부를 확인할 수 있다.
도 17에서 점O (Cx, Cy)은 사용자(모바일 단말)의 현재 위치, θazimuth는 방위각, θangle은 카메라 시야각, d는 사용자의 현재 위치로부터 최대 검색 거리, MBR_Xmin, MBR_Xmax은 MBR의 최소/최대 X좌표, MBR_Ymin, MBR_Ymax은 MBR의 최소/최대 Y좌표, d1, d2, d3, d4는 점O와 MBR을 이루는 좌표 간의 거리를 각각 나타낸다.
공간 검색 알고리즘의 (b) 단계에서 사용자의 현재위치와 건물의 좌표값을 이용한 건물의 최소 및 최대 방위각을 계산하는 방법은 다음과 같다. 이때, Rotated-MBR의 경우도 이와 동일한 방법으로 계산할 수 있으므로, 건물의 영역이 MBR(Minimum Boundary Rectanlge)인 경우에 대해서만 설명한다.
사용자의 현재 위치로부터 공간 객체를 이루는 MBR 좌표 간의 방위각은 점O와 각각의 MBR좌표의 직선거리(d1, d2, d3, d4)와 MBR의 x좌표와 점O의 x좌표의 거리차이를 삼각함수 공식에 적용하여 다음과 같이 구할 수 있다. 예를 들어, 점O와 (MBR_Xmin, MBR_Ymin)이 이루는 방위각을 계산해보자.
점O와 (MBR_Xmin, MBR_Ymin)의 방위각 = asin((MBR_Xmin - Cx)/d1)이고, d1은 점O와 MBR좌표 간의 거리이므로, 이다.
동일한 방법으로 각 MBR 노드에 대해 방위각 구하고, 오름차순으로 정렬하면, 사용자의 현재 위치를 기준으로 건물의 방위각 범위가 구해진다. 계산된 값의 범위와 검색 영역의 범위를 비교하여 겹침 영역이 있는지를 확인함으로써 건물에 대한 인식과정이 이루어진다.
검색 영역에는 다수의 공간 객체가 포함되는데, 공간 객체를 인식하는 순서가 사용자의 현재 위치에서 가장 가까운 객체를 우선 수행하고 검색 과정은 겹침 영역 확인 과정을 리커시브로 수행하게 된다. 도 18a에서와 같이 공간 객체 A와 B가 있을 경우 사용자의 현재위치로부터 객체 A가 더 가까운 위치에 있으므로 공간 검색 알고리즘이 우선적으로 실행된다. 객체 A에 대해서 알고리즘이 수행된 후 검색 영역의 분할은 포함되는 방위각의 범위를 제외한 나머지 영역이며 도 18b처럼 된다.
영역의 겹침 관계를 계산한 후 검색 영역의 분할 과정은 다음과 같다.
(a) 현재 위치로부터 검색 영역에 포함되고, 가장 가까운 거리에 있는 공간 객체 검색
(b) 현재 위치와 검색된 건물의 최소 및 최대 방위각을 계산
(c) 검색 영역의 방위각과 (b)에서 구한 방위각을 제외한 나머지 영역을 새로운 검색 영역으로 생성
(d) 분할된 검색 영역에 대해서 위의 과정을 반복
(e) Overlap되는 건물이 없거나, 검색 영역의 방위각 범위가 0°인 경우 종료
도 19는 경기도 고양시 항공대 주변의 공간 객체에 대한 MBR의 Rotated R*-Tree를 구성한 다음 본 발명에서 제안한 여행자용 내비게이션 알고리즘을 수행한 결과이다.
객체 인식 과정에 의해서 검색된 공간 객체에 대한 정보는 정보 요청이 있을 경우에만, 인터넷을 통해 GeoServer에 접속하여 해당 객체와 관련된 정보를 가져와서 사용자에게 제공한다. 카메라 영상에 비추어지는 영역은 사용자가 모바일 단말의 카메라를 이용해 현실 공간을 비추고 있으며, 현실 공간 객체의 인식과정을 실행한 결과, 검색된 객체 이름이 Overlap으로 표시되고 있다. 또한, 정보의 종류가 이미지, 동영상, 텍스트 형태로 다양하기 때문에 모바일 단말의 디스플레이 화면에 다양한 서브 메뉴로 구성하였다. 해당 공간 객체에 대한 정보를 얻기 위해서는 공간 객체 영역을 터치하면 관련 정보가 검색된다.
본 발명은 카메라에 비치는 영상 자체에 관련된 가상의 정보들이 임베딩되어 있도록 하여, 사용자가 현실 세계를 바라보고 있지만, 보이지 않는 가상의 관련 정보도 함께 표현되도록 해줌으로써 리얼리티를 극대화하고 있다.
상술한 바는 센싱정보와 디지털 맵을 기반으로 공간 객체를 인식하고, 사용자에게 공간 정보를 실시간으로 실감 있게 제공해주는 공간 검색 방법을 설명한 것이며, 이하에서는 상기 공간 검색 방법을 기반으로 한 차세대 모바일 단말과 실시간 공간 정보 시스템을 포함한 여행자용 내비게이션 시스템의 전체 구조를 설명한다.
본 발명에 따른 여행자용 내비게이션 시스템은, 도 20에 도시한 바와 같이, 모바일 단말(110), 공간 인덱스 데이터베이스(121), 맵 데이터베이스(122), 콘텍스트 데이터베이스(123), 지오(Geo)-서버(130), 객체 인식부(140), 통합 플랫폼(150) 및 브라우저(160)와 같은 다양한 구성요소로 구성된다.
모바일 단말(Mobile Device)(110)은 유비쿼터스 공간을 대상으로 공간 정보를 검색하기 위해 사용자가 휴대하는 단말로써, 사용자의 상황정보를 취득하기 위해 다양한 센서(예를 들어, GPS센서, 자이로센서, 전자나침반)와 카메라가 내장되어 있으며, 사용자는 단말의 카메라를 통해 현실 세계를 비추는 것으로 검색 요구를 표현하게 된다.
공간 인덱스 데이터베이스(121)는 방대한 디지털 맵의 지리공간 데이터로부터 공간 검색을 위한 Rotated R*-Tree의 인덱스가 저장되며, 맵 데이터베이스(122)는 원본 지리공간 데이터를 관리하게 되고, 콘텍스트 데이터베이스(123)는 가상의 정보가 위치를 기반으로 tagging되어 관리된다.
지오 서버(Geo-Server)(130)는 위치를 기반으로 tagging된 콘텍스트 데이터베이스(123)로부터 사용자의 정보요구가 있을 경우 관련 정보를 검색, 저장해주는 기능을 수행한다.
객체 인식부(140)는 모바일 단말로부터 생성된 검색 영역에 존재하는 공간 객체 인식을 수행하는 역할을 한다.
브라우저(160)는 카메라를 통해 비추어지는 현실 공간과 인식된 공간 정보, 그리고 지오 서버(130)로부터 제공되는 가상의 정보를 사용자에게 실감 있게 브라우징해주는 기능을 수행한다.
통합 플랫폼(Integration Platform)은 상기 각각의 구성요소를 관리하는 플랫폼으로, 내부적으로는 U-MAP을 포함하고 있으며, 각 구성요소 간의 모든 메시지 및 전송데이터를 관리해주는 기능을 수행한다.
이하 상기와 같이 구성된 여행자용 내비게이션 시스템의 동작을 각 구성요소별 및 유기적인 연결 관계를 고려하여 설명하면 다음과 같다.
먼저, 모바일 단말(110)은 유비쿼터스 공간을 대상으로 사용자가 휴대하며 사용하는 단말기로서, 사용자의 상황정보를 취득하기 위한 다양한 센서가 내장되어 있다. 사용자는 모바일 단말(110)의 카메라를 통해 현실 세계를 바라봄으로써 검색 요구를 표현한다. 모바일 단말(110)에 부착되어 있는 센서들은 각각 사용자 혹은 모바일 단말(110)의 상황인식에 필요한 정보를 취득하게 되며, 객체 인식의 데이터로 사용된다. 부착된 센서들은 각각 GPS, 자이로센서 및 전자나침반이다. 각각의 센서로부터 데이터 추출 프로그램은 Visual C++로 구현하였으며, 실시간 공간 검색 시스템에 추가하였다.
상기 GPS는 위치와 시간을 얻기 위한 용도로 사용된다. 24개의 GPS 위성이 서로 다른 궤도로 지구 대기권을 계속 회전하고 있다. 이는 지구상 어느 시간, 어느 곳에서도 4개 이상의 위성신호를 얻을 수 있도록 하기 위함이다. 위치를 측정하기 위해서는 동시에 최소 4개의 위성으로부터 신호를 받아야 한다. 물론 더 많은 위성으로부터 신호를 받으면 더욱 정확한 위치 값을 얻을 수 있다.
GPS 위치측정 데이터는 민간에 제공되는 SPS(Standard Positioning Service)로 200m이내의 오차범위를 가진다. 이러한 오차를 보정하는 방법으로 특정 위치의 좌표값과 그곳의 측정값과의 차이를 이용하여 보정된 데이터를 반영하는 DGPS(Differential GPS)가 사용된다. DGPS를 사용하면 오차범위를 5m이내로 줄일 수 있다. 여기서 DGPS에 대해서는 당해 분야에 공지된 기술이므로 자세한 언급은 생략한다.
도 21은 여행자용 내비게이션 정보 제공을 위해 사용되는 모바일 단말에 실제 GPS를 장착하여 한국항공대학교 주변을 이동하면서 위치 데이터를 기록하고, 항공사진에 드로윙한 결과의 예시이다.
각속도 센서는 자이로 센서로서 각속도를 검출하는 센서이며, 이것의 측정 단위는 당연히 각도/시간이다. 일반적으로 deg/sec인데, 일반적인 자이로는 상대적인 각도정보만을 얻을 수 있다. 따라서, 초기 각도가 주어져야만 얼마만큼의 각도가 변화하였는지를 정확히 알 수 있다.
예를 들어, 이동체의 경우로 가정하면 기준으로 되는 자세 각은 흔히 가속도계(accelerometer)를 이용하고 있다. 이것이 출력하는 가속도신호는, 가감속에 의한 운동가속도 성분과, 경사에 의한 중력가속도 성분의 두 가지가 혼합된 신호로 이해할 수 있다. 운동가속도 성분은 주파수 영역에서 고주파 성분에 위치하고, 중력가속도 성분은 저주파 성분에 위치하므로 자세 각을 산출하기 위해서는, 얻어진 가속도계신호로부터 저주파성분을 추출하고, 추출된 저주파 신호로부터 자세 각을 계산하면 된다.
가속도계는 위와 같이 하면 중력가속도를 검출할 수 있으므로, θ기울기 때의 중력 가속도는 g*SIN(θ)로 된다. 단, g는 중력가속도이다. 따라서, 만일 가속도계가 α가 되는 중력가속도를 검출한 때에는 기울기 각도(자세 각의 정적 성분) θ= SIN-1(α/θ)로 구할 수 있다.
한편, 가속도계는 운동에 따라 발생하는 가속도도 검출하기 때문에, 시간 평균한 운동가속도성분을 적분하여 자세 각을 구하므로, 응답성에 문제가 발생하게 된다. 여기서 자이로와 조합하여 응답성의 문제를 해결할 수 있다.
자이로의 각속도로부터 계산된 자세 각의 동적 부분과, 가속도계의 가속도로부터 계산된 자세 각의 정적부분으로부터, 이동체의 응답성이 빠른 부분은 자이로로 구한 자세 각을, 느린 부분은 가속도계로부터 구한 자세 각을 선택하여 실제의 자세각을 출력하면, 응답성이 좋은 각도 출력을 얻을 수 있게 됩니다. 도 22는 실제 자이로 센서를 모바일 단말에 부착하여 실험한 화면이다. 도 22에서 보는 바와 같이 모바일 단말이 기울어진 상황을 센서로부터 취득하여 각각 미분한 결과로 위, 아래, 수평과 같은 모바일 단말의 기울기를 인지할 수 있다.
전자 나침반은 크게 지자기를 이용한 자기나침반과 회전체의 원리를 이용한 자이로컴파스(gyrocompass)로 나눠지는데, 자이로컴파스는 고속으로 회전하는 자이로스코프 축에 추를 달게 되면 지구 자전의 영향으로 이 축이 자동으로 지구의 자전축인 진북을 가리키게 되어 자기컴퍼스에서 발생되는 편차의 수정 없이 사용할 수 있다.
컴퓨터나 휴대전화에서도 전자장치로 방위를 알 수 있는 전자나침반이 개발되어 실용화되고 있다. 이 나침반은 자기나침반과는 달리 자기센서를 이용해 지자기의 강도를 검출하여 북쪽 방향을 계산해 내기 때문에 주위의 자기 영향에 강하고, 또 자기의 영향을 받더라도 신속히 그것을 분석하여 보정하는 기능이 있어 어디에서나 정확한 방위를 구하는 장점이 있다.
또 방위각을 데이터로 취득할 수 있어 이 데이터를 컴퓨터나 내비게이션 시스템과 연계하면 다방면에 쓰임새가 많아진다. 휴대전화에 전자나침반을 탑재하면 휴대전화로 자기가 가고자하는 방향을 알 수 있을 뿐 아니라 지도 표시를 진행방향에 맞추면 헤드업도 가능해진다. 이 밖에 손목시계, GPS단말기, 쌍안경, 디지털 카메라 등 모바일 단말기에도 탑재되어 아웃도어 스포츠는 물론 자동차나 레저 보트, 소형 비행기에 이르기까지 그 활용도가 점차 확대되어 가고 있다.
도 23은 모바일 단말에 전자나침반을 부착하여 북위를 기준으로 모바일 단말의 카메라가 어느 방향을 바라보고 있는지 측정한 결과이다.
본 발명에서 사용되는 데이터베이스는 세 종류로 구분된다. 방대한 공간 데이터의 효율적 관리와 공간 검색 알고리즘에 사용되는 공간 인덱스 DB(121)와, 디지털 맵으로부터 U-MAP을 통해 추출한 원천의 지리공간 데이터베이스인 맵 데이터베이스(122), 그리고 가상의 정보를 위치기반의 tagging을 통해 구축한 위치기반의 공간 정보가 저장된 콘텍스트 데이터베이스(123)이다.
공간 인덱스 데이터베이스(121)는 Rotated-MBR기반의 Rotated R*-Tree로 구성되어 있다. 이 공간 인덱스 DB(121)는 공간 질의에 대한 빠른 검색이 가능한 구조이다. 콘텍스트 DB(123)에는 POI(Point of Interest) 데이터, 즉 관심지역의 위치 데이터와 관심 정보가 저장되어 있다. 지리공간 데이터(122)는 파일DB이며, 고속의 Drawing을 위한 Bitmap 데이터도 함께 가지고 있다. 각각의 테이블 구조는 다음과 같다.
도 24는 Rotated R*-Tree의 인덱스 구조를 저장하고 있는 테이블의 구조로 노드ID, 노드 종류 및 자식 노드 ID에 대한 값을 저장하고 있다.
노드 ID의 값은 0, 1, 2, 3의 값을 가진다. 0은 Inter Node, 1은 Leaf Node, 2는 Root Node이며 3은 Element Node를 의미한다. 노드 종류는 공간 객체의 모양을 의미하며 0부터 5까지의 값을 가진다. 0은 MBR, 1은 SPHERE, 2는 POINT, 3은 OPEN_TRIANGLE, 4는 CLOSE_TRIANGLE, 5는 Roated-MBR에 해당한다.
맵 데이터베이스(122)의 기본적인 공간 정보를 표현하는 방법은 Point, Polyline, Polygon 등의 형태로 정해져 있다.
도 25는 디지털 맵으로부터 공간 정보를 추출하여 분류한 테이블 구조이다.
여기서 Map Info Table은 수치지도에 대한 기본 정보를 관리하는 테이블이다. 이 테이블은 Map_ID, Map_Name, Level, Map_Unit_ID, Path, 위도/경도로 구성되어 있다.
Map_ID는 Map Info Table의 Index이다. 다른 테이블에서 각각의 행의 값들이 어느 지도에 속하는지에 대한 정보를 확인할 수 있도록 연결키 역할을 하게 된다. Map_Name 열은 국토지리원, 미국지도, 유럽지도 등의 정보를 담고 있다. 즉, 어느 나라에서 사용하고 관리하는 지도인지에 대한 정보를 담고 있다. 이유는, 해당 국가마다 사용하는 지도 포맷이 서로 다르기 때문에 하나의 데이터베이스에서 관리하기 위해서는 구별해줄 필요가 있다. Level열은 축척 정보를 가지고 있다. 수치지도는 크게 1:1,000, 1:5,000, 1:25,000 지도를 주로 사용하게 된다. Map_Unit_ID는 도엽 번호를 가지게 된다. 도엽 번호는 위도정보를 기반으로 기본적인 이름이 정해지게 되고, 축척의 크기가 변함에 따라 숫자가 덧붙여지게 된다. Path는 원본 수치지도를 저장하고 있는 폴더 경로를 저장하고 있다. 마지막으로 위도/경도 열은 각 수치지도의 우상단 및 좌하단 Point좌표값을 가지고 있다. 즉, 해당 수치지도가 가지는 최대, 최소의 범위를 뜻하게 된다.
*Object Table은 각각의 수치지도가 가지고 있는 공간정보에 대한 데이터를 저장하고 있는 테이블이다. 테이블 구성은 GID, Layer_ID, Map_ID, Object_Type, Object_Info로 구성되어 있다.
GID는 Object Table의 Index의 역할을 하게 된다. Layer_ID는 Object Table의 데이터가 어느 레이어에 속하는지에 대한 정보를 가지게 된다. 이값으로부터 Layer Table에서 레이어와 관련된 데이터를 가져올 수 있도록 연결키 역할을 하게 된다. Map_ID는 해당 Object가 속하는 지도의 ID값이 오게 된다. Object Type은 점, 선, 면의 데이터 타입을 나타낸다. 마지막으로 Object Info는 해당 데이터 타입이 폴리곤, 스트링인지에 대한 값을 가지게 된다. 위와 같은 구조를 가지는 Object Table은 데이터의 종류에 따라 도 26과 같은 종류를 가지게 된다. 분류 기준은 레이어 정보가 행정구역, 고도, 농작물배치, 건물, 건물기호, 상업시설, 문화 및 오락 등에서 어떤 종류에 속하는지에 따라 분류하였다. 이렇게 분류한 이유는 공간 정보의 분산으로 확대, 축소 비율이나 사용자가 선택적으로 공간정보를 보기 위해서이다.
Object Name Table은 Object에 해당하는 좌표값을 관리하는 테이블로 TID, GID, Name_String, Coordinate로 구성된다. TID값은 Index의 역할을 한다. GID는 Object Table의 GID값을 가지며, 연결키 역할을 한다. Name_String은 텍스트 명의 값으로 수치지도가 가지는 텍스트 값을 가지게 된다. 예를 들어 해당 Object가 건물이면, 그 건물에 해당하는 건물명을 가진다. 마지막으로 Coordinate는 좌표값이다. Object가 가지는 좌표값들을 스트링 형태로 관리하고 있다.
Layer Table은 레이어와 관련된 기본적인 정보를 관리하고 있다. 레이어는 크게 레이어명과 색깔 정보를 기본정보로 하고 있다. 이러한 정보에 Object_Table명을 추가하고 있다. 즉, 앞에서 설명한 Object_Table명에서 각각의 Object가 가지는 Layer_ID값으로 이 테이블과 연결하고 있다. Layer_ID는 Index의 역할을 하며, Layer_Name은 레이어명이다. Layer_Color은 레이어가 가지는 색깔 정보를 담고 있다.
User Map Table은 디지털 맵이 가지고 있는 데이터를 바탕으로 사용자가 직접 Object를 추가할 경우 원본 지도의 데이터를 관리하는 테이블을 손상하지 않고 관리할 수 있도록 하기 위해서이다. GID는 Index, Layer_ID는 레이어명, Map_ID는 Map Info Table의 Map_ID값이다. Object Type은 점, 선, 면의 값을 가지며, Object Info는 폴리곤, 스트링 등의 형태가 있다.
콘텍스트 DB(123)에는 도 27과 같이 모바일 단말의 공간 검색 테스트를 위해 사용되는 Geo_Objects테이블과 공간 객체의 POI(Point of Interest) 데이터, 즉 관심지역의 관심 정보를 저장하고 있는 Real_Media 테이블로 이루어져 있다.
Geo_Objectc 테이블의 세부구조는 도 28과 같다. 식별 값, 디지털 맵 ID, 공간 객체 종류, 이름, 공간 객체를 이루는 Vertex 총 개수 및 데이터로 구성되어 있다. Real_Media 테이블의 구조는 도 29와 같다.
지오 서버(130)는 위치를 기반으로 tagging된 콘텍스트 데이터베이스(123)로부터 사용자의 정보요구가 있을 경우 관련 정보를 검색 및 저장하는 서버이다. 사용자는 모바일 단말(110)을 통해 현실 공간의 이미지, 동영상 등을 실시간으로 취득할 수 있다. 예를 들어 특정 건물 앞에서 사진을 찍을 경우 해당 건물의 이름과 위치를 검색하여 콘텍스트 DB(123)에 동영상, 이미지와 함께 저장하여, 사진에 대한 별도의 tagging작업 없이 사진을 찍은 장소와 위치가 자동으로 정확하게 기록된다. 이러한 사용자의 검색 및 저장에 대한 요청을 처리해주는 역할을 한다.
객체 인식부(140)는 사용자의 정보요구가 발생하면, 센싱 정보를 기반으로 공간 검색 영역을 생성하고, 맵 데이터베이스(122)와 공간 인덱스 DB(121)를 기반으로 공간 객체를 인식하는 과정을 수행한다.
엠비언트 브라우저(160)는 카메라를 통해 비추어지는 현실 공간과 알고리즘을 통해 인식된 공간 정보, 그리고 지오 서버(130)로부터 제공되는 가상의 정보를 사용자에게 실감 있게 보여주는 브라우저이다.
통합 플랫폼(150)은 여행 내비게이션 시스템의 모든 구성요소를 관리하는 플랫폼으로, 내부적으로 주지한 U-MAP을 포함하고 있어 지리공간 데이터에 대한 공간 질의 등의 전반적인 처리를 담당하게 된다.
이상 상술한 본 발명은, 가상의 정보가 위치를 기반으로 태깅되어 있고, 공간 객체를 자동으로 인식하는 과정이 기존의 이미지로부터 특징 정보를 추출하여 검색하는 방법이 아닌 모바일 단말에서 수집되는 센싱 정보와 디지털 맵으로부터 추출한 공간 정보를 기반으로 기하학을 적용하여 실시간으로 객체를 인식하고 있다.
따라서, 사용자는 지리공간에 대한 정보를 시간과 공간의 제약 없이 손쉽게 검색할 수 있다. 특히, 사용자의 상황인식을 통해 사용자 중심의 정보 제공 서비스를 위해 모바일 단말에 다양한 센서를 추가하여 상황인식에 관한 센싱 데이터를 수집하고 있기 때문에, 사용자가 카메라를 통해 현실 공간을 비추는 행위만으로 사용자가 어떤 방향으로, 어떤 대상을 검색하고자 하는지 자동으로 인지하여 공간 정보를 자동으로 제공해주고 있다. 또한, 가상과 현실 공간 정보를 모바일 단말의 화면에 동시에 보여줌으로써 보이지 않는 가상의 정보와 실제 눈으로 보이는 현실 정보를 연관지어 확인할 수 있는 장점이 있다.
본 발명은 상술한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
본 발명에 따르면, 모바일 단말에서 수집되는 센싱 정보와 디지털 맵으로부터 추출한 공간 정보를 기반으로 기하학을 적용하여 실시간으로 객체를 인식할 수 있으므로, 사용자가 지리공간에 대한 정보를 시간과 공간의 제약 없이 손쉽게 검색할 수 있어 여행에 편리함을 도모해주는 장점이 있다.
또한, 본 발명에 따르면 모바일 단말에 다양한 센서를 추가하여 상황인식에 관한 센싱 데이터를 수집하고, 사용자가 카메라를 통해 현실 공간을 비추는 행위만으로 검색 대상을 인지하고 자동으로 공간 정보를 제공해줌으로써, 사용자 중심의 공간 정보 제공 서비스가 가능한 장점이 있다.
또한, 공간 정보 제공시 가상과 현실 공간 정보를 모바일 단말의 화면에 동시에 보여줌으로써, 사용자는 보이지 않는 가상의 정보와 실제 눈으로 보이는 현실 정보를 연관지어 확인할 수 있는 장점도 있다.

Claims (13)

  1. 사용자에 의해 공간 정보 요구가 발생하면 공간 검색 영역을 생성하는 단계와;
    상기 생성한 공간 검색 영역에 존재하는 공간 객체를 인식하는 단계와;
    상기 인식한 공간 객체와 관련된 지리정보를 검색하는 단계와;
    상기 검색한 지리정보 결과를 기반으로 공간 검색 정보를 제공해주는 단계를 포함하는 것을 특징으로 하는 여행자용 내비게이션 방법.
  2. 제1항에 있어서, 상기 공간 검색 영역의 생성은,
    사용자가 휴대한 모바일 단말에 구비된 다수의 센서를 통해 센싱된 데이터를 기반으로 공간 검색 영역을 생성하는 것을 특징으로 하는 여행자용 내비게이션 방법.
  3. 제2항에 있어서, 상기 센싱된 데이터는,
    모바일 단말의 현재 위치 데이터, 상기 모바일 단말의 기울기 및 카메라의 시야각과 북위를 기준으로 한 방위각 데이터를 포함하는 것을 특징으로 하는 여행자용 내비게이션 방법.
  4. 제2항에 있어서, 상기 공간 검색 영역의 생성은,
    상기 센싱된 데이터를 2차원의 좌표값이 있는 디지털 맵에 적용하여 삼각형 모양의 검색 영역을 추출하여 공간 검색 영역으로 생성하는 것을 특징으로 하는 여행자용 내비게이션 방법.
  5. 제1항에 있어서, 상기 공간 객체 인식은,
    상기 생성한 공간 검색 영역 내의 다차원 공간 데이터에 대한 검색을 효율적으로 수행하기 위한 공간 데이터에 대한 인덱스를 생성하는 단계와;
    상기 검색 영역과 건물 영역에 대한 겹침(오버랩) 관계를 계산하는 단계와;
    상기 겹침 관계를 계산한 후 검색 영역을 분할하고, 상기 분할한 공간 검색 영역에 대한 검색을 반복 수행하는 단계를 포함하는 것을 특징으로 하는 여행자용 내비게이션 방법.
  6. 제1항에 있어서, 상기 지리정보 검색은 대상 객체의 이름과 위치에 대한 동영상 및 이미지 정보가 저장된 콘텍스트 데이터베이스를 검색하여 대상 객체에 대한 공간 객체를 검색하는 것을 특징으로 하는 여행자용 내비게이션 방법.
  7. 제1항에 있어서, 상기 공감 검색 정보의 제공은,
    브라우저를 이용 가상과 현실의 정보를 혼합하여 화면에 표시해주는 것을 특징으로 하는 여행자용 내비게이션 방법.
  8. 사용자의 상황정보를 취득하기 위한 다수의 센서를 구비하고, 유비쿼터스 공간을 대상으로 공간 정보에 대한 검색을 요청하는 모바일 단말과;
    상기 모바일 단말에 의해 공간 정보에 대한 검색이 요청되면, 내장된 U-MAP을 통해 지리공간 데이터에 대한 공간 질의와 관리를 수행하는 통합 플랫폼과;
    상기 통합 플랫폼과 연계되어, 상기 모바일 단말에 의해 발생한 센싱 정보를 기반으로 공간 검색 영역을 생성하고, 상기 생성한 공간 검색 영역 내의 검색 대상 객체를 인식하는 객체 인식기와;
    상기 통합 플랫폼과 연계되어, 상기 인식한 공간 객체에 대한 지리정보를 검색하여 공간 정보를 제공하는 지오 서버를 포함하는 것을 특징으로 하는 여행자용 내비게이션 시스템.
  9. 제8항에 있어서, 상기 다수의 센서는,
    검색 대상 공간을 촬영하기 위한 카메라와;
    GPS 위성으로부터 전송된 위성신호를 통해 위치와 시간 정보를 획득하기 위한 GPS와;
    상기 모바일 단말의 각속도를 검출하기 위한 각속도 센서와;
    상기 모바일 단말의 방위각을 검출하기 위한 전자 나침반을 포함하는 것을 특징으로 하는 여행자용 내비게이션 시스템.
  10. 제8항에 있어서, 상기 모바일 단말은,
    상기 카메라를 통해 비추어지는 현실 공간과 인식된 공간 정보 및 상기 지오 서버로부터 제공되는 가상의 정보를 화면에 동시에 표시해주기 위한 엠비언트 브라우저를 포함하는 것을 특징으로 하는 여행자용 내비게이션 시스템.
  11. 제8항에 있어서, 상기 통합 플랫폼은,
    각 포맷들로부터 공간정보를 추출하는 공간정보 추출기와 추출된 공간정보 데이터들의 속성정보의 유사성을 이용하여 공간객체들을 관리하는 공간객체 관리모델로 이루어진 공간정보 추출 플랫폼을 포함하는 것을 특징으로 하는 여행자용 내비게이션 시스템.
  12. 제8항에 있어서,
    디지털 맵의 지리공간 데이터로부터 공간 검색을 위한 Rotated R*-Tree 공간 인덱스가 저장된 공간 인덱스 데이터베이스와;
    원본 지리공간 데이터를 관리하는 맵 데이터베이스를 더 포함하는 것을 특징으로 하는 여행자용 내비게이션 시스템.
  13. 제12항에 있어서,
    가상의 정보가 위치를 기반으로 태깅(Tagging)되어 관리되는 콘텍스트 데이터베이스를 더 포함하는 것을 특징으로 하는 여행자용 내비게이션 시스템.
PCT/KR2010/003859 2009-06-25 2010-06-16 여행자용 내비게이션 방법 및 그 시스템 WO2010151001A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090057139A KR20100138554A (ko) 2009-06-25 2009-06-25 여행자용 내비게이션 방법 및 그 시스템
KR10-2009-0057139 2009-06-25

Publications (2)

Publication Number Publication Date
WO2010151001A2 true WO2010151001A2 (ko) 2010-12-29
WO2010151001A3 WO2010151001A3 (ko) 2011-03-24

Family

ID=43387008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/003859 WO2010151001A2 (ko) 2009-06-25 2010-06-16 여행자용 내비게이션 방법 및 그 시스템

Country Status (2)

Country Link
KR (1) KR20100138554A (ko)
WO (1) WO2010151001A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015119371A1 (ko) * 2014-02-05 2015-08-13 에스케이플래닛 주식회사 Poi 그룹화를 이용한 poi 정보 제공 장치 및 방법
US10303733B2 (en) 2016-09-27 2019-05-28 International Business Machines Corporation Performing context-aware spatial, temporal, and attribute searches for providers or resources
KR20210040321A (ko) * 2020-06-19 2021-04-13 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 지도 서비스 테스트 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12014703B2 (en) 2022-01-28 2024-06-18 Samsung Electronics Co., Ltd. Electronic device and operation method of electronic device for controlling screen display

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679864B1 (ko) * 2005-10-22 2007-02-07 이정웅 지역정보의 표시가 가능한 이동통신 단말기 및 그 지역정보표시방법
WO2008107876A1 (en) * 2007-03-05 2008-09-12 Link It Ltd. Method for providing photographed image-related information to user, and mobile system therefor
KR100897436B1 (ko) * 2008-06-20 2009-05-14 김한준 지리정보 확인시스템의 제어방법 및 이동단말기

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679864B1 (ko) * 2005-10-22 2007-02-07 이정웅 지역정보의 표시가 가능한 이동통신 단말기 및 그 지역정보표시방법
WO2008107876A1 (en) * 2007-03-05 2008-09-12 Link It Ltd. Method for providing photographed image-related information to user, and mobile system therefor
KR100897436B1 (ko) * 2008-06-20 2009-05-14 김한준 지리정보 확인시스템의 제어방법 및 이동단말기

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOON: 'Real time spartial information system based on context awareness sensors and digital map search' KOREA AEROSPACE UNIVERSITY February 2009, pages 32 - 65 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015119371A1 (ko) * 2014-02-05 2015-08-13 에스케이플래닛 주식회사 Poi 그룹화를 이용한 poi 정보 제공 장치 및 방법
US10303733B2 (en) 2016-09-27 2019-05-28 International Business Machines Corporation Performing context-aware spatial, temporal, and attribute searches for providers or resources
KR20210040321A (ko) * 2020-06-19 2021-04-13 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 지도 서비스 테스트 방법 및 장치
US11630762B2 (en) 2020-06-19 2023-04-18 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for testing map service
KR102565360B1 (ko) * 2020-06-19 2023-08-08 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 지도 서비스 테스트 방법 및 장치

Also Published As

Publication number Publication date
WO2010151001A3 (ko) 2011-03-24
KR20100138554A (ko) 2010-12-31

Similar Documents

Publication Publication Date Title
WO2016200114A1 (ko) 전자 장치 및 전자 장치에서의 전자 지도 표시 방법
WO2010024584A2 (ko) 객체 인식시스템, 이를 갖는 무선 인터넷 시스템 및 이를 이용한 객체기반 무선통신 서비스 방법
WO2016048103A1 (ko) 사용자에게 콘텐트를 제공하기 위한 장치 및 방법
WO2021071279A2 (ko) 지리상의 위치를 특정하는 방법과 이를 이용하는 데이터베이스 및 데이터베이스의 데이터베이스
WO2011055978A2 (en) User terminal, method for providing position and method for guiding route thereof
WO2015119371A1 (ko) Poi 그룹화를 이용한 poi 정보 제공 장치 및 방법
WO2014189200A1 (ko) 영상표시장치 및 영상표시장치의 동작방법
WO2015174764A1 (en) System for providing personalized information and method of providing the personalized information
WO2019168297A1 (en) Method of providing detailed map data and system therefor
WO2014142502A2 (en) Navigation system with dynamic update mechanism and method of operation thereof
WO2014175703A1 (en) User terminal device for providing animation effect and display method thereof
EP3036619A1 (en) User terminal device for displaying map and method thereof
WO2010151001A2 (ko) 여행자용 내비게이션 방법 및 그 시스템
WO2010071296A2 (en) Mobile terminal and method of transferring or receiving data using the same
EP3143782A1 (en) System for providing personalized information and method of providing the personalized information
EP3183640A1 (en) Device and method of providing handwritten content in the same
WO2011093669A2 (ko) 객체 인식시스템 및 이를 이용하는 객체 인식 방법
US20090171579A1 (en) Apparatus with displaying, browsing and navigating functions for photo track log and method thereof
EP2471281A2 (en) Mobile device and server exchanging information with mobile apparatus
WO2022260390A2 (ko) 디지털 지도의 초기 화면에 보이는 장소를 개인화하는 방법 및 이를 이용하는 디지털 지도 시스템
WO2019143102A1 (ko) 태양광 발전 장치의 시뮬레이션 방법, 시스템 및 프로그램
JPWO2012127605A1 (ja) 情報処理装置、及び情報処理方法
WO2021125395A1 (ko) 인공 신경망 기반으로 광학적 항법을 위하여 특이 영역을 결정하는 방법, 온보드 맵 생성 장치, 및 착륙선의 방향을 결정하는 방법
WO2023167454A1 (ko) 실측 기반의 평면도를 사용하는 실내 지도와 그 작성 방법
WO2015037815A1 (ko) 스마트 기기 내 시맨틱 검색 시스템 및 검색방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10792283

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10792283

Country of ref document: EP

Kind code of ref document: A2