WO2020235740A1 - 이미지 기반 실내 측위 서비스 시스템 및 방법 - Google Patents
이미지 기반 실내 측위 서비스 시스템 및 방법 Download PDFInfo
- Publication number
- WO2020235740A1 WO2020235740A1 PCT/KR2019/007581 KR2019007581W WO2020235740A1 WO 2020235740 A1 WO2020235740 A1 WO 2020235740A1 KR 2019007581 W KR2019007581 W KR 2019007581W WO 2020235740 A1 WO2020235740 A1 WO 2020235740A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- node
- service server
- terminal device
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Definitions
- the present invention relates to an image-based indoor positioning service system and method, and more particularly, to an image-based indoor positioning service system and method capable of estimating a user's location using an image photographed through a photographing unit of a terminal device. .
- LBS location-based services
- Such a service is based on a technology for measuring a user's location, and a location-based service may provide a service such as an indoor map by measuring the user's location using Wi-Fi or a beacon.
- a location-based service may provide a service such as an indoor map by measuring the user's location using Wi-Fi or a beacon.
- Wi-Fi Wi-Fi
- the location error of the terminal measured inside the building is large, making it difficult to provide an appropriate location-based service.
- beacon transmitters the spacing of beacon transmitters Therefore, it may be difficult to measure the user's location. For example, in order to measure the user's location using a beacon, the distance between the beacon and the user must be accurately measured. If you actually measure, an error occurs every time you measure the distance between the beacon and the user. The error increases as it gets.
- conventional indoor location estimation techniques have a problem in that expensive equipment or infrastructure needs to be built.
- the present invention was conceived to improve the above problems, and an object of the present invention is to provide an image-based indoor positioning service system and method capable of estimating a user's location using an image captured through a photographing unit of a terminal device. Is to do.
- a service server includes a communication unit for receiving a photographed image from each node set in an indoor map, learning a photographed image from each node received through the communication unit, and collecting objects from the learned photographed image. And a position estimation model generator configured to generate a position estimation model by segmenting and selectively activating the divided objects on the learned image.
- the service server when receiving a location estimation request signal including a photographed image from the terminal device through the communication unit, inputs the photographed image to the position estimation model to estimate the location of the terminal device, and the It may further include a location estimation unit for transmitting the estimated location to the terminal device.
- the position estimating unit divides objects from the photographed image, selectively activates the divided objects on the image of the position estimation model to calculate a probability value, and compares the calculated probability value with a preset threshold. If the value is greater than or equal to the threshold, the corresponding node coordinate may be estimated as the location of the terminal device, and if it is not greater than the threshold, an image retake request signal may be transmitted to the terminal device.
- the location estimation model generation unit includes a collection module for collecting photographed images of each node set on the indoor map, an image classification module learning the collected photographed images of each node, and the learned photographed image as objects.
- An image segmentation module for dividing by, and a determination module for generating a position estimation model by selectively activating the divided objects on the learned image.
- a terminal device includes a communication unit that performs communication with a service server through a communication network, a storage unit in which an indoor map displaying a preset node is stored, a photographing unit, a display unit, and an image captured through the photographing unit.
- a location estimation request signal is transmitted to the service server through the communication unit, and when a location corresponding to the image is received from the service server, the location is displayed on the indoor map through the display unit together with the captured image. It includes a control unit to display.
- the control unit displays an image captured through the photographing unit and the indoor map on the display unit, and sets an initial node through the indoor map, According to a node guide, an image photographed by a corresponding node may be stored, and the stored photographed image of each node may be transmitted to the service server.
- An image-based indoor positioning service method includes the steps of: collecting, by a service server, a photographed image from each node set in an indoor map, wherein the service server learns the photographed image from each of the collected nodes.
- the service server when the service server receives a location estimation request signal including a photographed image from a terminal device, the photographed image is input to the location estimation model to estimate the location of the terminal device, and the estimated location is It may further include transmitting to the terminal device.
- the present invention generates a location estimation model using a selective activation technique and an image segmentation technique for images captured from nodes displayed on an indoor map, thereby reducing the effects of moving objects and environments. Can be minimized.
- the present invention by estimating the location of a user using an image captured by a camera of a user terminal device in an indoor environment, it is possible to accurately estimate the indoor location without constructing expensive equipment or infrastructure.
- the effects of the present invention are not limited to the above-mentioned effects, and various effects may be included within a range that will be apparent to a person skilled in the art from the contents to be described below.
- FIG. 1 is a view for explaining an image-based indoor positioning system according to an embodiment of the present invention.
- FIG. 2 is an exemplary view for explaining an indoor map according to an embodiment of the present invention.
- FIG. 3 is a block diagram showing the configuration of a terminal device according to an embodiment of the present invention.
- FIG 4 is an exemplary view for explaining an image collection screen according to an embodiment of the present invention.
- FIG. 5 is an exemplary view illustrating a location estimation screen according to an embodiment of the present invention.
- FIG. 6 is a block diagram showing the configuration of a service server according to an embodiment of the present invention.
- FIG. 7 is a block diagram showing in detail the configuration of the position estimation model generator shown in FIG. 6.
- FIG. 8 is a diagram illustrating a method of generating a position estimation model according to an embodiment of the present invention.
- FIG. 9 is a diagram for explaining an image-based indoor positioning method according to an embodiment of the present invention.
- the implementation described herein may be implemented in, for example, a method or process, an apparatus, a software program, a data stream or a signal. Although discussed only in the context of a single form of implementation (eg, only as a method), the implementation of the discussed features may also be implemented in other forms (eg, an apparatus or program).
- the device may be implemented with appropriate hardware, software and firmware.
- the method may be implemented in an apparatus such as a processor, which generally refers to a processing device including, for example, a computer, microprocessor, integrated circuit or programmable logic device, or the like. Processors also include communication devices such as computers, cell phones, personal digital assistants ("PDAs”) and other devices that facilitate communication of information between end-users.
- PDAs personal digital assistants
- Figure 1 is a view for explaining an image-based indoor positioning system according to an embodiment of the present invention
- Figure 2 is an exemplary view for explaining an indoor map according to an embodiment of the present invention.
- an image-based indoor positioning system includes a manager terminal 100a, a service server 200, and a user terminal 100b.
- the manager terminal 100a, the service server 200, and the user terminal 100b may be connected to various types of wireless communication networks such as Wifi, 3G, and LTE.
- the manager terminal 100a stores an image collection application, stores images captured by nodes displayed on an indoor map through the image collection application, and transmits the stored captured images for each node to the service server.
- the indoor map is a digitized (vectorized) map created using CAD drawings, Point Cloud Map, Lidar Map, image map, etc., and the digitized map can be used in the manager terminal 100a and the user terminal 100b. It can be a map.
- the indoor map may be a digitized map using a flat image or an architectural drawing.
- the planar image includes a boundary line that divides spaces within buildings such as shopping malls, department stores, public facilities and industrial facilities.
- the boundary line is a component for delimiting each space in the flat image.
- a path through which a user can walk may be set in at least one of the spaces divided by a boundary line in the plan image, and a node may be displayed on the path.
- the architectural drawing is a drawing used for the construction of buildings such as shopping malls, department stores, public facilities and industrial facilities, and may be produced in the form of CAD files or image files.
- a node displayed on an indoor map may mean a set of points where pedestrians are likely to be located in an indoor environment.
- the indoor map may be as shown in FIG. 2, and a black square on the indoor map may be a node.
- coordinates can be set as [0,0] on the upper left, and coordinates of each node can be set based on this.
- the accumulation ratio of the indoor map can be set in advance by the administrator.
- the manager terminal 100a photographs an image at each node displayed on the indoor map, and provides the captured image for each node to the service server 200 to use it as training data for generating a location estimation model.
- the service server 200 collects photographed images from each node set in the indoor map from the manager terminal 100a, learns the collected photographed images for each node, and generates a location estimation model.
- the service server 200 may generate a location estimation model using deep learning.
- the service server 200 may generate a location estimation model by using selective activation and image segmentation.
- selective activation may mean preferentially learning a part to be learned on an image
- image segmentation may mean dividing the image into a set of several objects in order to interpret the image more meaningfully.
- the service server 200 estimates the location of the user terminal 100b by inputting the photographed image into a location estimation model.
- the user terminal 100b stores a location estimation application, photographs the surrounding environment through the location estimation application, transmits a location estimation request signal including the photographed image to the service server 200, and transmits the location estimation request signal to the service server 200. Receive a location corresponding to the captured image.
- the location corresponding to the captured image may be the location of the user terminal 100b.
- the manager terminal 100a and the user terminal 100b have been described separately, but the manager terminal 100a and the user terminal 100b may be the same terminal. Therefore, in the following, for convenience of explanation, the manager terminal 100a and the user terminal 100b will be referred to as the terminal device 100 and described.
- FIG. 3 is a block diagram showing the configuration of a terminal device according to an embodiment of the present invention
- FIG. 4 is an exemplary view for explaining an image collection screen according to an embodiment of the present invention
- FIG. 5 is an embodiment of the present invention. It is an exemplary diagram for explaining the location estimation screen according to.
- a terminal device 100 includes a communication unit 110, a storage unit 120, a photographing unit 130, a display unit 140, and a control unit 150.
- the communication unit 110 is a configuration for communication with the service server 200 through a communication network, and may transmit and receive various information such as an image acquired through the photographing unit 130.
- the communication unit 110 may be implemented in various forms such as a short-range communication module, a wireless communication module, a mobile communication module, and a wired communication module.
- the storage unit 120 is a component that stores data related to the operation of the terminal device 100.
- the storage unit 120 may use a known storage medium, and for example, any one or more of known storage media such as ROM, PROM, EPROM, EEPROM, and RAM may be used.
- the storage unit 120 may store an indoor map including a preset node.
- the storage unit 120 may store an image collection application capable of acquiring a photographed image for each node by driving the photographing unit 130 to collect training data for generating a location estimation model.
- a location estimation application for estimating a current location using an image may be stored in the storage unit 120.
- the photographing unit 130 acquires an image and transmits the acquired image to the control unit 150.
- the photographing unit 130 may be, for example, a camera.
- the display unit 140 is a component that displays various information related to the operation of the terminal device 100.
- the display unit 140 may display an image collection screen when an image collection application is executed, and may display a location estimation screen when a location estimation application is executed.
- the display unit 140 may also operate as an input unit for receiving information from a user.
- the control unit 150 drives the photographing unit 130 and displays an image captured by the photographing unit 130 and an indoor map on the display unit. That is, when the image collection application is executed, the controller 150 displays the image collection screen 400 on which the captured image 410 and the indoor map 420 are displayed as shown in FIG. 4. The user sets an initial node for designating an image collection start place through the indoor map 420 of the image collection screen 400. Then, the controller 150 provides node guidance such as a next node guidance and a previous node guidance, and the user photographs an image at the corresponding node according to the node guidance.
- the node guide may be output as a voice or displayed as a symbol on an indoor map, and a user may take one or more images at each node.
- the controller 150 stores the image captured by each node according to the node guidance, and transmits the stored captured image of each node to the service server 200. That is, when the image collection for all nodes is completed, the controller 150 transmits the collected image and node coordinates to the service server 200.
- the number of nodes on the indoor map and the direction of photographing may be set in advance according to an administrator.
- the controller 150 drives the photographing unit 130 and transmits a location estimation request signal including an image photographed through the photographing unit 130 to the communication unit ( 110) through the service server 200. Thereafter, when a location corresponding to the image is received from the service server 200, the controller 150 displays the location on an indoor map and displays the location along with the captured image through the display unit 140. That is, when the user's location is estimated through the location estimation application, the controller 150 displays the image 510 taken as shown in FIG. 5 and its location A on the indoor map 520. ) Can be displayed.
- the control unit 150 may include at least one operation unit, wherein the operation unit is a general-purpose central operation unit (CPU), a programmable device element (CPLD, FPGA) implemented for a specific purpose, and a custom semiconductor operation. It can be a device (ASIC) or a microcontroller chip.
- the operation unit is a general-purpose central operation unit (CPU), a programmable device element (CPLD, FPGA) implemented for a specific purpose, and a custom semiconductor operation. It can be a device (ASIC) or a microcontroller chip.
- the terminal device 100 configured as described above may be an electronic device capable of photographing a surrounding environment through the photographing unit 130 and applicable to various wired and wireless environments.
- the terminal device 100 includes a PDA (Personal Digital Assistant), a smart phone, a cellular phone, a PCS (Personal Communication Service) phone, a GSM (Global System for Mobile) phone, a W-CDMA (Wideband CDMA) phone, and a CDMA-2000.
- Phones and MBS (Mobile Broadband System) phones are included.
- the terminal device 100 may represent a small portable device, but in the case of including a camcorder or a laptop computer, it may be referred to as a mobile communication terminal, and thus the embodiment of the present invention will not be particularly limited thereto.
- FIG. 6 is a block diagram showing a configuration of a service server according to an embodiment of the present invention
- FIG. 7 is a block diagram showing a detailed configuration of a location estimation model generator illustrated in FIG. 6.
- the service server 200 includes a communication unit 210, a storage unit 220, a position estimation model generation unit 230, a position estimation unit 240, and a control unit 250. ).
- the communication unit 210 receives a photographed image for each node or a position estimation request signal including a photographed image from the terminal device 100.
- the storage unit 220 is a component that stores data related to the operation of the service server 200.
- the storage unit 220 may store an indoor map in which preset nodes are displayed.
- the location estimation model generation unit 230 receives a photographed image for each node coordinate from the terminal device 100 through the communication unit 210, learns a photographed image of each received node coordinate, and converts the learned photographed image into objects. After segmentation, the segmented objects are selectively activated on the learned image to generate a position estimation model. In this case, the location estimation model generation unit 230 may generate a location estimation model using deep learning.
- the position estimation model may be in a form in which an optimal image for each node coordinate is mapped. Accordingly, when an image of which the position is unknown is input, the position estimation model may calculate the node coordinates corresponding to the image as an output value.
- the location estimation model generation unit 230 includes a collection module 232, an image classification module 234, an image segmentation module 236, and a determination module 238.
- the collection module 232 collects photographed images of coordinates of each node set on the indoor map.
- the image classification module 234 learns captured images of coordinates of each node collected by the collection module 232.
- the image classification module 234 may learn captured images of each node using, for example, resnet.
- the image segmentation module 236 divides the captured image learned in the image classification module 234 into objects.
- the image segmentation module 236 may divide the learned image for each object such as a person, a desk, a wall, and a chair, for example, using the Fusion net.
- the determination module 238 generates a position estimation model by selectively activating the object divided by the image segmentation module 236.
- the determination module 238 may generate a position estimation model by selectively activating the divided object using, for example, a softmax function. That is, the determination module 238 increases the weight of the part where the object to be activated is located on the image learned by the image classification module 234, and in the opposite case, decreases the weight, that is, selectively activates it. Finally, only the part you want to learn can be selectively activated. For example, the weight of the part where a person, which is a dynamic object, exists may be set to '0'.
- the position estimation model generation unit 230 generates a position estimation model using an image segmentation technique and a selective activation technique, thereby minimizing the influence of a moving object and environment. .
- the position estimating unit 240 When a position estimation request signal including a photographed image is received from the terminal device 100, the position estimating unit 240 inputs the photographed image to the position estimation model generated by the position estimation model generation unit 230, and the terminal device 100 ), and transmits the estimated location to the terminal device 100.
- the position estimation model can output node coordinates corresponding to the image.
- the position estimation unit 240 divides the image for each object, and calculates a normalized probability value by selectively activating the divided objects on the image of the position estimation model. I can.
- the position estimating unit 240 may calculate a normalized probability value through the Softmax function.
- the location estimating unit 240 compares the calculated probability value with a preset threshold value, and if the comparison result is greater than or equal to the threshold value, estimates the corresponding node coordinate as the user's location, and transmits it to the terminal device 100. have. If the probability value is not equal to or greater than the threshold value, the position estimating unit 240 transmits an image retake request signal to the terminal device 100. Then, the terminal device 100 may request position estimation by retaking the image.
- the position estimation model generation unit 230 and the position estimation unit 240 may be implemented by a processor required to execute a program on a computing device, respectively. As described above, the position estimation model generator 230 and the position estimation unit 240 may be implemented by physically independent components, or may be implemented in a form that is functionally classified within one processor.
- the control unit 250 is configured to control the operation of various components of the service server 200 including the communication unit 210, the storage unit 220, the position estimation model generation unit 230, and the position estimation unit 240. , It may include at least one computing device, wherein the computing device is a general-purpose central computing unit (CPU), a programmable device device (CPLD, FPGA) implemented for a specific purpose, an application-specific semiconductor computing device (ASIC), or It may be a microcontroller chip.
- CPU general-purpose central computing unit
- CPLD programmable device
- FPGA programmable device
- ASIC application-specific semiconductor computing device
- FIG. 8 is a diagram illustrating a method of generating a position estimation model according to an embodiment of the present invention.
- the terminal device 100 drives the photographing unit 130, and displays an image collection screen displaying an image captured through the photographing unit 130 and an indoor map. Display (S820).
- step S820 the terminal device 100 sets an initial node designated through the indoor map of the image collection screen (S830), and captures and stores an image at each node according to the node guidance (S840).
- the terminal device 100 transmits the captured image of each node to the service server 200 (S850).
- step S850 the service server 200 learns the captured image of each node coordinate transmitted from the terminal device 100 (S860), divides the learned captured image into objects (S870), and Are selectively activated on the learned image (S880) to generate a position estimation model (S890).
- the service server 200 may generate a location estimation model using deep learning.
- FIG. 9 is a diagram for explaining an image-based indoor positioning method according to an embodiment of the present invention.
- the terminal device 100 captures an image by driving the photographing unit 130 (S920), and transmits a location request signal including the captured image to the service server. It transmits to 200 (S930).
- the service server 200 calculates a probability value for the location by inputting the captured image into the location estimation model (S940).
- the service server 200 may calculate a normalized probability value by dividing the image for each object and selectively activating the divided objects on the image of the position estimation model.
- step S940 the service server 200 determines whether the calculated probability value is equal to or greater than a preset threshold (S950).
- the service server 200 estimates the corresponding node coordinates as the user's location and transmits it to the terminal device 100 (S960).
- the terminal device 100 displays a location estimation screen displaying the location on the indoor map (S970).
- the service server 200 transmits an image retake request signal to the terminal device 100 (S980). Then, the terminal device 100 may request position estimation by retaking the image.
- the image-based indoor positioning service system and method includes a selective activation technique and image segmentation for images captured by nodes displayed on an indoor map.
- a location estimation model using the technique, it is possible to minimize the effect of moving objects and environments, and by estimating the user's location using the image captured by the camera of the user terminal device in an indoor environment, expensive equipment You can accurately estimate the indoor location without building any infrastructure.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 이미지 기반 실내 측위 서비스 시스템 및 방법이 개시된다. 본 발명의 일 측면에 따른 서비스 서버는, 실내 지도에 설정된 각 노드에서의 촬영 이미지를 수신하는 통신부, 상기 통신부를 통해 수신한 각 노드에서의 촬영 이미지를 학습하고, 상기 학습된 촬영 이미지에서 오브젝트들을 분할하며, 상기 분할된 오브젝트들을 상기 학습된 이미지상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 위치 추정 모델 생성부를 포함한다.
Description
본 발명은 이미지 기반 실내 측위 서비스 시스템 및 방법에 관한 것으로서, 보다 상세하게는 단말장치의 촬영부를 통해 촬영된 이미지를 이용하여 사용자의 위치를 추정할 수 있는 이미지 기반 실내 측위 서비스 시스템 및 방법에 관한 것이다.
다수의 사용자들에게 선택적 데이터를 원하는 장소에서 제공하는 여러 서비스, 즉 사용자의 현재 위치에 기초하여 다양한 위치 기반 서비스(LBS: Location-Based Services), 예컨대 실시간 데이터 팝업 서비스, 사용자 위치에 따른 선택적 데이터 전송 서비스, 실내 네비게이션 서비스가 제공되고 있다.
이러한 서비스는 사용자의 위치를 측정하는 기술을 기반으로 하는데, 위치 기반 서비스는 와이파이(WIFI), 비콘 등을 이용하여 사용자의 위치를 측정하여 실내 지도 등의 서비스를 제공할 수 있다. 이러한 위치 기반 서비스는 적절히 제공하기 위해서는 사용자의 위치를 정확히 파악하는 것이 중요하다. 그런데, 사용자의 위치를 파악하기 위해 와이파이를 사용하는 경우, 건물 내부에서 측정된 단말의 위치 오차가 커서, 적절한 위치 기반 서비스를 제공하는 데 어려움이 있고, 비콘 송신기들을 이용하는 경우, 비콘 송신기들의 배치 간격에 따라 사용자의 위치 측정이 어려울 수 있다. 예를 들어, 비콘을 이용하여 사용자의 위치를 측정하기 위해서는 비콘과 사용자와의 거리가 정확히 측정되어야 하는데, 실제로 측정을 해 보면 비콘과 사용자의 거리를 측정할 때마다 오차가 발생하며 특히 거리가 멀어질수록 오차가 커진다. 또한, 종래의 실내 위치 추정 기술들은 고가의 장비나 인프라를 구축해야 하는 문제점이 있다.
이에, 고가의 장비나 인프라를 구축하지 않아도 실내 위치를 추정할 수 있는 기술 개발이 요구되고 있다.
본 발명과 관련된 선행기술로는 대한민국 공개특허 제2011-00250250호가 있다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 본 발명의 목적은 단말장치의 촬영부를 통해 촬영된 이미지를 이용하여 사용자의 위치를 추정할 수 있는 이미지 기반 실내 측위 서비스 시스템 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 서비스 서버는, 실내 지도에 설정된 각 노드에서의 촬영 이미지를 수신하는 통신부, 상기 통신부를 통해 수신한 각 노드에서의 촬영 이미지를 학습하고, 상기 학습된 촬영 이미지에서 오브젝트들을 분할하며, 상기 분할된 오브젝트들을 상기 학습된 이미지상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 위치 추정 모델 생성부를 포함한다.
본 발명에 있어 상기 서비스 서버는, 상기 통신부를 통해 단말장치로부터 촬영 이미지를 포함하는 위치 추청 요청 신호가 수신되면, 상기 촬영 이미지를 상기 위치 추정 모델에 입력하여 상기 단말장치의 위치를 추정하고, 상기 추정된 위치를 상기 단말장치로 전송하는 위치 추정부를 더 포함할 수 있다.
본 발명에 있어 상기 위치 추정부는, 상기 촬영 이미지에서 오브젝트들을 분할하고, 상기 분할된 오브젝트들을 위치 추정 모델의 이미지상에 선택적으로 활성화시켜 확률값을 산출하며, 상기 산출된 확률값을 기 설정된 임계치와 비교하여, 임계치 이상인 경우 해당 노드 좌표를 상기 단말장치의 위치로 추정하고, 임계치 이상이 아닌 경우 이미지 재촬영 요청 신호를 상기 단말장치로 전송할 수 있다.
본 발명에 있어 상기 위치 추정 모델 생성부는, 상기 실내 지도에 설정된 각 노드의 촬영 이미지를 수집하는 수집모듈, 상기 수집된 각 노드의 촬영 이미지를 학습하는 이미지 분류모듈, 상기 학습된 촬영 이미지를 오브젝트들로 분할하는 이미지 분할모듈, 상기 분할된 오브젝트들을 상기 학습된 이미지 상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 결정모듈을 포함할 수 있다.
본 발명의 다른 측면에 따른 단말장치는, 통신망을 통해 서비스 서버와 통신을 수행하는 통신부, 기 설정된 노드가 표시된 실내 지도가 저장된 저장부, 촬영부, 표시부 및 상기 촬영부를 통해 촬영된 이미지를 포함하는 위치 추정 요청 신호를 상기 통신부를 통해 상기 서비스 서버로 전송하고, 상기 서비스 서버로부터 상기 이미지에 대응하는 위치가 수신되면, 상기 실내 지도상에 상기 위치를 표시하여 상기 촬영된 이미지와 함께 상기 표시부를 통해 디스플레이시키는 제어부를 포함한다.
본 발명에 있어 상기 제어부는, 상기 저장부에 저장된 이미지 수집 애플리케이션이 실행된 경우, 상기 촬영부를 통해 촬영된 이미지와 상기 실내 지도를 상기 표시부에 디스플레이시키고, 상기 실내 지도를 통해 초기 노드를 설정하며, 노드 안내에 따라 해당 노드에서 촬영된 이미지를 저장하고, 상기 저장된 각 노드의 촬영 이미지를 상기 서비스 서버로 전송할 수 있다.
본 발명의 또 다른 측면에 따른 이미지 기반 실내 측위 서비스 방법은, 서비스 서버가 실내 지도에 설정된 각 노드에서의 촬영 이미지를 수집하는 단계, 상기 서비스 서버가 상기 수집된 각 노드에서의 촬영 이미지를 학습하는 단계, 상기 서비스 서버가 상기 학습된 촬영 이미지를 오브젝트들로 분할하는 단계 및 상기 서비스 서버가 상기 분할된 오브젝트들을 상기 학습된 촬영 이미지 상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 단계를 포함한다.
본 발명에 있어 상기 서비스 서버가, 촬영 이미지를 포함하는 위치 추청 요청 신호를 단말장치로부터 수신하면, 상기 촬영 이미지를 상기 위치 추정 모델에 입력하여 상기 단말장치의 위치를 추정하고, 상기 추정된 위치를 상기 단말장치로 전송하는 단계를 더 포함할 수 있다.
본 발명은 실내 지도에 표시된 노드들에서 촬영된 이미지들에 대한 선택적 활성화(selective activation) 기법과 이미지 분할(image segmentation) 기법을 활용하여 위치 추정 모델을 생성함으로써, 유동적인 사물 및 환경에 의한 영향을 최소화할 수 있다.
또한, 본 발명은 실내 환경에서 사용자 단말장치의 카메라로 촬영된 이미지를 이용하여 사용자의 위치를 추정함으로써, 고가의 장비나 인프라를 구축하지 않아도 실내 위치를 정확하게 추정할 수 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 실내 지도를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 단말장치의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 이미지 수집 화면을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 위치추정 화면을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 서비스 서버의 구성을 나타낸 블록도이다.
도 7은 도 6에 도시된 위치 추정 모델 생성부의 구성을 상세히 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른 위치 추정 모델 생성 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 서비스 시스템 및 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
도 1은 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 시스템을 설명하기 위한 도면, 도 2는 본 발명의 일 실시예에 따른 실내 지도를 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 시스템은 관리자 단말(100a), 서비스 서버(200) 및 사용자 단말(100b)을 포함한다. 이때, 관리자 단말(100a), 서비스 서버(200) 및 사용자 단말(100b)은 Wifi, 3G, LTE 등 다양한 형태의 무선 통신망으로 연결될 수 있다.
관리자 단말(100a)은 이미지 수집 애플리케이션이 저장되고, 이미지 수집 애플리케이션을 통해 실내 지도에 표시된 노드들에서 촬영된 이미지들을 저장하며, 저장된 노드별 촬영 이미지를 서비스 서버로 전송한다. 여기서, 실내 지도는 CAD 도면, Point Cloud Map, Lidar Map, 이미지 맵 등을 활용하여 제작된 디지털화(벡터화)된 지도이며, 디지털화된 지도는 관리자 단말(100a) 및 사용자 단말(100b)에서 사용할 수 있는 지도일 수 있다. 예컨대, 실내 지도는 평면 이미지나 건축도면을 활용하여 디지털화된 지도일 수 있다. 평면 이미지는 쇼핑몰, 백화점, 공공 시설물 및 산업 시설물 등의 건물 내 공간을 구획짓는 경계선을 포함한다. 경계선은 평면 이미지 내 각 공간을 구획짓기 위한 컴포넌트이다. 평면 이미지 내 경계선에 의해 구획지어지는 공간 중 적어도 하나는 사용자가 보행할 수 있는 경로가 설정될 수 있고, 경로상에는 노드가 표시될 수 있다. 건축도면은 쇼핑몰, 백화점, 공공 시설물 및 산업 시설물 등과 같은 건축물의 건축에 사용된 도면으로서, 캐드 파일 또는 이미지 파일 형식으로 제작될 수 있다.
실내 지도에 표시된 노드는 실내 환경에서 보행자들이 위치할 가능성이 높은 지점들의 집합을 의미할 수 있다. 예컨대, 실내 지도는 도 2와 같을 수 있고, 실내 지도상의 검정 사각형이 노드일 수 있다. 실내 지도는 좌측 상단을 [0,0]으로 좌표를 설정할 수 있고, 이를 기준으로 각 노드의 좌표가 설정될 수 있다. 이때, 실내 지도의 축적비는 관리자에 의해 사전에 설정할 수 있다.
상술한 바와 같이 관리자 단말은(100a) 실내 지도에 표시된 각 노드에서 이미지를 촬영하고, 노드별 촬영 이미지를 위치 추정 모델 생성을 위한 학습 데이터로 이용하도록 서비스 서버(200)에 제공한다.
서비스 서버(200)는 관리자 단말(100a)로부터 실내 지도에 설정된 각 노드에서의 촬영 이미지를 수집하고, 수집된 노드별 촬영 이미지를 학습하여 위치 추정 모델을 생성한다. 이때, 서비스 서버(200)는 딥 러닝을 이용하여 위치 추정 모델을 생성할 수 있다. 구체적으로, 서비스 서버(200)는 선택적 활성화(selective activation)와 이미지 분할(image segmentation)을 이용하여 위치 추정 모델을 생성할 수 있다. 여기서, 선택적 활성화는 이미지 상에서 학습이 되어야 하는 부분을 우선적으로 학습시키는 것을 의미할 수 있고, 이미지 분할은 이미지를 좀 더 의미 있게 해석하기 위해, 여러 개의 오브젝트의 집합으로 나누는 것을 의미할 수 있다.
또한, 서비스 서버(200)는 사용자 단말(100b)로부터 촬영 이미지를 포함하는 위치 추청 요청 신호가 수신되면, 촬영 이미지를 위치 추정 모델에 입력하여 사용자 단말(100b)의 위치를 추정한다.
이러한 서비스 서버(200)에 대한 상세한 설명은 도 6을 참조하기로 한다.
사용자 단말(100b)은 위치 추정 애플리케이션이 저장되고, 위치 추정 애플리케이션을 통해 주변 환경을 촬영하며, 촬영된 이미지를 포함하는 위치 추청 요청 신호를 서비스 서버(200)로 전송하고, 서비스 서버(200)로부터 촬영된 이미지에 대응하는 위치를 수신한다. 여기서, 촬영된 이미지에 대응하는 위치는 사용자 단말(100b)의 위치일 수 있다.
한편, 본 실시예에서는 관리자 단말(100a)과 사용자 단말(100b)을 분리하여 설명하였으나, 관리자 단말(100a)과 사용자 단말(100b)은 동일한 단말일 수 있다. 따라서, 이하에서는 설명의 편의를 위해 관리자 단말(100a)과 사용자 단말(100b)을 단말장치(100)로 칭하여 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 단말장치의 구성을 나타낸 블록도, 도 4는 본 발명의 일 실시예에 따른 이미지 수집 화면을 설명하기 위한 예시도, 도 5는 본 발명의 일 실시예에 따른 위치추정 화면을 설명하기 위한 예시도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 단말장치(100)는 통신부(110), 저장부(120), 촬영부(130), 표시부(140), 제어부(150)를 포함한다.
통신부(110)는 통신망을 통해 서비스 서버(200)와 통신을 위한 구성으로, 촬영부(130)를 통해 획득된 이미지 등 다양한 정보를 송수신할 수 있다. 이때, 통신부(110)는 근거리 통신모듈, 무선 통신모듈, 이동통신 모듈, 유선 통신모듈 등 다양한 형태로 구현될 수 있다.
저장부(120)는 단말장치(100)의 동작과 관련된 데이터들을 저장하는 구성이다. 여기서 저장부(120)는 공지된 저장매체를 이용할 수 있으며, 예를 들어, ROM, PROM, EPROM, EEPROM, RAM 등과 같이 공지된 저장매체 중 어느 하나 이상을 이용할 수 있다. 특히, 저장부(120)에는 기 설정된 노드를 포함하는 실내 지도가 저장될 수 있다. 또한, 저장부(120)에는 위치 추정 모델 생성을 위한 학습 데이터를 수집하기 위해, 촬영부(130)를 구동시켜 노드별 촬영 이미지를 획득할 수 있는 이미지 수집 애플리케이션이 저장될 수 있다. 또한, 저장부(120)에는 이미지를 이용하여 현재 위치를 추정할 수 있도록 하는 위치 추정 애플리케이션이 저장될 수 있다.
촬영부(130)는 이미지 수집 애플리케이션 또는 이미지 추정 애플리케이션이 실행된 경우 이미지를 획득하고, 획득된 이미지를 제어부(150)로 전송한다. 이러한 촬영부(130)는 예컨대, 카메라일 수 있다.
표시부(140)는 단말장치(100)의 동작과 관련된 다양한 정보를 표시하는 구성이다. 특히, 표시부(140)는 이미지 수집 애플리케이션 실행 시, 이미지 수집화면을 디스플레이할 수 있고, 위치 추정 애플리케이션 실행 시 위치 추정 화면을 디스플레이할 수 있다. 이러한 표시부(140)는 사용자로부터 정보를 입력받기 위한 입력부로도 동작할 수 있다.
제어부(150)는 저장부(120)에 저장된 이미지 수집 애플리케이션이 실행되면, 촬영부(130)를 구동시키고, 촬영부(130)를 통해 촬영된 이미지와 실내 지도를 표시부에 디스플레이한다. 즉, 이미지 수집 애플리케이션이 실행되면, 제어부(150)는 도 4와 같이 촬영 이미지(410)와 실내 지도(420)가 표시된 이미지 수집 화면(400)을 디스플레이한다. 사용자는 이미지 수집 화면(400)의 실내 지도(420)를 통해 이미지 수집 시작 장소를 지정하는 초기 노드를 설정한다. 그러면, 제어부(150)는 다음 노드 안내, 이전 노드 안내 등의 노드 안내를 제공하고, 사용자는 노드 안내에 따라 해당 노드에서 이미지를 촬영한다. 이때, 노드 안내는 음성으로 출력 또는 실내 지도상에 기호로 표시될 수 있고, 사용자는 각 노드에서 하나 이상의 이미지를 촬영할 수 있다. 그러면, 제어부(150)는 노드 안내에 따라 각 노드에서 촬영된 이미지를 저장하고, 저장된 각 노드의 촬영 이미지를 서비스 서버(200)로 전송한다. 즉, 제어부(150)는 모든 노드들에 대해 이미지 수집이 완료되면, 수집된 이미지와 노드 좌표를 서비스 서버(200)로 전송한다. 이때, 실내 지도 상의 노드 수 및 촬영의 방향 등은 관리자에 따라 사전에 설정될 수 있다.
또한, 제어부(150)는 저장부(120)에 저장된 위치 추정 애플리케이션이 실행되면, 촬영부(130)를 구동시키고, 촬영부(130)를 통해 촬영된 이미지를 포함하는 위치 추청 요청 신호를 통신부(110)를 통해 서비스 서버(200)로 전송한다. 그런 후, 서비스 서버(200)로부터 상기 이미지에 대응하는 위치가 수신되면, 제어부(150)는 실내 지도상에 상기 위치를 표시하여 촬영 이미지와 함께 표시부(140)를 통해 디스플레이한다. 즉, 위치 추정 애플리케이션을 통해 사용자의 위치가 추정되면, 제어부(150)는 도 5와 같이 촬영된 이미지(510)와 실내 지도(520)상에 자신의 위치(A)가 표시된 위치 추정 화면(500)을 디스플레이할 수 있다.
이러한 제어부(150)는 적어도 하나의 연산 장치를 포함할 수 있는데, 여기서 상기 연산 장치는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
한편, 상기와 같이 구성된 단말장치(100)는 촬영부(130)를 통해 주변 환경의 촬영이 가능하고, 다양한 유무선 환경에 적용될 수 있는 전자 기기일 수 있다. 예컨대, 단말장치(100)는 PDA(Personal Digital Assistant), 스마트폰, 셀룰러폰, PCS(Personal Communication Service)폰, GSM(Global System for Mobile)폰, W-CDMA(Wideband CDMA)폰, CDMA-2000폰, MBS(Mobile Broadband System)폰 등을 포함한다. 여기서 단말장치(100)는 휴대용 소형기기를 나타낼 수 있지만, 캠코더 또는 랩탑 컴퓨터 등을 포함하는 경우에는 이동통신단말기로 지칭될 수 있으므로, 본 발명의 실시예에서는 이에 특별히 한정하지는 않을 것이다.
도 6은 본 발명의 일 실시예에 따른 서비스 서버의 구성을 나타낸 블록도, 도 7은 도 6에 도시된 위치 추정 모델 생성부의 구성을 상세히 나타낸 블록도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 서비스 서버(200)는 통신부(210), 저장부(220), 위치 추정 모델 생성부(230), 위치 추정부(240), 제어부(250)를 포함한다.
통신부(210)는 단말장치(100)로부터 노드별 촬영 이미지 또는 촬영 이미지를 포함하는 위치 추정 요청 신호를 수신한다.
저장부(220)는 서비스 서버(200)의 동작과 관련된 데이터들을 저장하는 구성이다. 특히, 저장부(220)에는 기 설정된 노드가 표시된 실내 지도가 저장될 수 있다.
위치 추정 모델 생성부(230)는 통신부(210)를 통해 단말장치(100)로부터 노드 좌표별 촬영 이미지를 수신하고, 수신된 각 노드 좌표의 촬영 이미지를 학습하며, 학습된 촬영 이미지를 오브젝트들로 분할하고, 분할된 오브젝트들을 상기 학습된 이미지상에 선택적으로 활성화시켜 위치 추정 모델을 생성한다. 이때, 위치 추정 모델 생성부(230)는 딥 러닝을 이용하여 위치 추정 모델을 생성할 수 있다. 위치 추정 모델은 노드 좌표별 최적 이미지가 매핑된 형태일 수 있다. 따라서, 위치추정 모델은 위치를 모르는 이미지가 입력되면, 그 이미지에 대응하는 노드 좌표를 출력값으로 계산할 수 있다.
이러한 위치 추정 모델 생성부(230)은 수집모듈(232), 이미지 분류모듈(234), 이미지 분할모듈(236), 결정모듈(238)을 포함한다.
수집모듈(232)은 실내 지도에 설정된 각 노드 좌표의 촬영 이미지를 수집한다.
이미지 분류모듈(234)은 수집모듈(232)에서 수집된 각 노드 좌표의 촬영 이미지들을 학습한다. 이때, 이미지 분류모듈(234)은 예컨대, resnet를 이용하여 각 노드의 촬영 이미지들을 학습할 수 있다.
이미지 분할모듈(236)은 이미지 분류모듈(234)에서 학습된 촬영 이미지를 오브젝트로 분할한다. 이때, 이미지 분할모듈(236)은 예컨대, Fusion net를 이용하여 학습된 이미지를 사람, 책상, 벽, 의자 등의 오브젝트 별로 분할시킬 수 있다.
결정모듈(238)은 이미지 분할모듈(236)에서 분할된 오브젝트를 선택적으로 활성화시켜 위치 추정 모델을 생성한다. 이때, 결정모듈(238)은 예컨대, softmax 함수를 이용하여 분할된 오브젝트를 선택적으로 활성화시켜 위치 추정 모델을 생성할 수 있다. 즉, 결정모듈(238)은 이미지 분류모듈(234)에서 학습된 이미지 상에 활성화시키고 싶은 오브젝트가 위치하는 부분의 가중치를 높여주고, 반대의 경우는 가중치를 낮추어 주는 형태로, 즉 선택적으로 활성화시켜 최종적으로 학습하고자 하는 부분만을 선택적으로 활성화 시켜줄 수 있도록 한다. 예를 들어, 다이나믹 오브젝트인 사람이 존재하는 부분의 가중치를 '0'으로 설정할 수 있다.
상술한 바와 같이 위치 추정 모델 생성부(230)는 이미지 분할(image segmentation) 기법과 선택적 활성화(selective activation) 기법을 이용하여 위치 추정 모델을 생성함으로써, 유동적인 오브젝트 및 환경의 영향을 최소화할 수 있다.
위치 추정부(240)는 단말장치(100)로부터 촬영 이미지를 포함하는 위치 추청 요청 신호가 수신되면, 촬영 이미지를 위치 추정 모델 생성부(230)에서 생성된 위치 추정 모델에 입력하여 단말장치(100)의 위치를 추정하고, 추정된 위치를 단말장치(100)로 전송한다. 위치추정 모델은 위치를 모르는 이미지가 입력되면, 그 이미지에 대응하는 노드 좌표를 출력할 수 있다.
구체적으로, 위치 추정부(240)는 이미지를 포함하는 위치 추정 요청 신호가 수신되면, 이미지를 오브젝트별로 분할하고, 분할된 오브젝트들을 위치 추정 모델의 이미지상에 선택적으로 활성화시켜 정규화된 확률값을 산출할 수 있다. 이때, 위치 추정부(240)는 Softmax 함수를 통해 정규화된 확률 값을 산출할 수 있다. 그런 후, 위치 추정부(240)는 산출된 확률값을 기 설정된 임계치(threshold value)와 비교하고, 그 비교결과 임계치 이상인 경우 해당 노드 좌표를 사용자의 위치로 추정하여, 단말장치(100)로 전송할 수 있다. 만약, 확률값이 임계치 이상이 아니면, 위치 추정부(240)는 이미지 재촬영 요청 신호를 단말장치(100)로 전송한다. 그러면, 단말장치(100)는 이미지를 재촬영하여 위치 추정을 요청할 수 있다.
한편, 위치 추정 모델 생성부(230), 위치 추정부(240)는 컴퓨팅 장치상에서 프로그램을 실행하기 위해 필요한 프로세서 등에 의해 각각 구현될 수 있다. 이처럼 위치 추정 모델 생성부(230), 위치 추정부(240)는 물리적으로 독립된 각각의 구성에 의해 구현될 수도 있고, 하나의 프로세서 내에서 기능적으로 구분되는 형태로 구현될 수도 있다.
제어부(250)는 통신부(210), 저장부(220), 위치 추정 모델 생성부(230) 및 위치 추정부(240)를 포함하는 서비스 서버(200)의 다양한 구성부들의 동작을 제어하는 구성으로, 적어도 하나의 연산 장치를 포함할 수 있는데, 여기서 상기 연산 장치는 범용적인 중앙연산장치(CPU), 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA), 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
도 8은 본 발명의 일 실시예에 따른 위치 추정 모델 생성 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 단말장치(100)는 이미지 수집 애플리케이션이 실행되면(S810), 촬영부(130)를 구동시키고, 촬영부(130)를 통해 촬영된 이미지와 실내 지도가 표시된 이미지 수집 화면을 디스플레이한다(S820).
단계 S820이 수행되면, 단말장치(100)는 이미지 수집 화면의 실내 지도를 통해 지정된 초기 노드를 설정하고(S830), 노드 안내에 따라 각 노드에서 이미지를 촬영하여 저장한다(S840).
단계 S840의 수행으로 실내 지도상의 모든 노드에서 이미지 촬영이 완료되면, 단말장치(100)는 각 노드의 촬영 이미지를 서비스 서버(200)로 전송한다(S850).
단계 S850이 수행되면, 서비스 서버(200)는 단말장치(100)로부터 전송된 각 노드 좌표의 촬영 이미지를 학습하고(S860), 학습된 촬영 이미지를 오브젝트들로 분할하며(S870), 분할된 오브젝트들을 학습된 이미지상에 선택적으로 활성화시켜(S880) 위치 추정 모델을 생성한다(S890). 이때, 서비스 서버(200)는 딥 러닝을 이용하여 위치 추정 모델을 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 단말장치(100)는 위치 추정 애플리케이션이 실행되면(S910), 촬영부(130)를 구동시켜 이미지를 촬영하고(S920), 촬영 이미지를 포함하는 위치 추청 요청 신호를 서비스 서버(200)로 전송한다(S930).
단계 S930이 수행되면, 서비스 서버(200)는 촬영 이미지를 위치 추정 모델에 입력하여 위치에 대한 확률값을 산출한다(S940). 이때, 서비스 서버(200)는 이미지를 오브젝트별로 분할하고, 분할된 오브젝트들을 위치 추정 모델의 이미지상에 선택적으로 활성화시켜 정규화된 확률값을 산출할 수 있다.
단계 S940이 수행되면, 서비스 서버(200)는 산출된 확률값이 기 설정된 임계값 이상인지를 판단한다(S950).
단계 S950의 판단결과, 확률값이 임계값 이상이면, 서비스 서버(200)는 해당 노드 좌표를 사용자의 위치로 추정하여, 단말장치(100)로 전송한다(S960).
그러면, 단말장치(100)는 실내 지도상에 상기 위치를 표시된 위치 추정 화면을 디스플레이한다(S970).
만약, 단계 S950의 판단결과 확률값이 임계치 이상이 아니면, 서비스 서버(200)는 이미지 재촬영 요청 신호를 단말장치(100)로 전송한다(S980). 그러면, 단말장치(100)는 이미지를 재촬영하여 위치 추정을 요청할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 이미지 기반 실내 측위 서비스 시스템 및 방법은, 실내 지도에 표시된 노드들에서 촬영된 이미지들에 대한 선택적 활성화(selective activation) 기법과 이미지 분할(image segmentation) 기법을 활용하여 위치 추정 모델을 생성함으로서, 유동적인 사물 및 환경에 의한 영향을 최소화할 수 있고, 실내 환경에서 사용자 단말장치의 카메라로 촬영된 이미지를 이용하여 사용자의 위치를 추정함으로써, 고가의 장비나 인프라를 구축하지 않아도 실내 위치를 정확하게 추정할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
Claims (8)
- 실내 지도에 설정된 각 노드에서의 촬영 이미지를 수신하는 통신부; 및상기 통신부를 통해 수신한 각 노드에서의 촬영 이미지를 학습하고, 상기 학습된 촬영 이미지에서 오브젝트들을 분할하며, 상기 분할된 오브젝트들을 상기 학습된 이미지상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 위치 추정 모델 생성부;를 포함하는 서비스 서버.
- 제1항에 있어서,상기 통신부를 통해 단말장치로부터 촬영 이미지를 포함하는 위치 추정 요청 신호가 수신되면, 상기 촬영 이미지를 상기 위치 추정 모델에 입력하여 상기 단말장치의 위치를 추정하고, 상기 추정된 위치를 상기 단말장치로 전송하는 위치 추정부를 더 포함하는 서비스 서버.
- 제2항에 있어서,상기 위치 추정부는,상기 촬영 이미지에서 오브젝트들을 분할하고, 상기 분할된 오브젝트들을 위치 추정 모델의 이미지상에 선택적으로 활성화시켜 확률값을 산출하며, 상기 산출된 확률값을 기 설정된 임계치와 비교하여, 임계치 이상인 경우 해당 노드 좌표를 상기 단말장치의 위치로 추정하고, 임계치 이상이 아닌 경우 이미지 재촬영 요청 신호를 상기 단말장치로 전송하는 것을 특징으로 하는 서비스 서버.
- 제1항에 있어서,상기 위치 추정 모델 생성부는,상기 실내 지도에 설정된 각 노드의 촬영 이미지를 수집하는 수집모듈;상기 수집된 각 노드의 촬영 이미지를 학습하는 이미지 분류모듈;상기 학습된 촬영 이미지를 오브젝트들로 분할하는 이미지 분할모듈; 및상기 분할된 오브젝트들을 상기 학습된 이미지 상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 결정모듈을 포함하는 것을 특징으로 하는 서비스 서버.
- 통신망을 통해 서비스 서버와 통신을 수행하는 통신부;기 설정된 노드가 표시된 실내 지도가 저장된 저장부;촬영부;표시부; 및상기 촬영부를 통해 촬영된 이미지를 포함하는 위치 추정 요청 신호를 상기 통신부를 통해 상기 서비스 서버로 전송하고, 상기 서비스 서버로부터 상기 이미지에 대응하는 위치가 수신되면, 상기 실내 지도상에 상기 위치를 표시하여 상기 촬영된 이미지와 함께 상기 표시부를 통해 디스플레이시키는 제어부;를 포함하는 단말장치.
- 제5항에 있어서,상기 제어부는,상기 저장부에 저장된 이미지 수집 애플리케이션이 실행된 경우, 상기 촬영부를 통해 촬영된 이미지와 상기 실내 지도를 상기 표시부에 디스플레이시키고, 상기 실내 지도를 통해 초기 노드를 설정하며, 노드 안내에 따라 해당 노드에서 촬영된 이미지를 저장하고, 상기 저장된 각 노드의 촬영 이미지를 상기 서비스 서버로 전송하는 것을 특징으로 하는 단말장치.
- 서비스 서버가 실내 지도에 설정된 각 노드에서의 촬영 이미지를 수집하는 단계;상기 서비스 서버가 상기 수집된 각 노드에서의 촬영 이미지를 학습하는 단계;상기 서비스 서버가 상기 학습된 촬영 이미지를 오브젝트들로 분할하는 단계; 및상기 서비스 서버가 상기 분할된 오브젝트들을 상기 학습된 촬영 이미지 상에 선택적으로 활성화시켜 위치 추정 모델을 생성하는 단계;를 포함하는 이미지 기반 실내 측위 서비스 방법.
- 제7항에 있어서,상기 서비스 서버가, 촬영 이미지를 포함하는 위치 추정 요청 신호를 단말장치로부터 수신하면, 상기 촬영 이미지를 상기 위치 추정 모델에 입력하여 상기 단말장치의 위치를 추정하고, 상기 추정된 위치를 상기 단말장치로 전송하는 단계를 더 포함하는 것을 특징으로 하는 이미지 기반 실내 측위 서비스 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/613,567 US20220245944A1 (en) | 2019-05-23 | 2019-06-24 | Image-based indoor positioning service system and method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190060846A KR102277974B1 (ko) | 2019-05-23 | 2019-05-23 | 이미지 기반 실내 측위 서비스 시스템 및 방법 |
KR10-2019-0060846 | 2019-05-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020235740A1 true WO2020235740A1 (ko) | 2020-11-26 |
Family
ID=73458902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2019/007581 WO2020235740A1 (ko) | 2019-05-23 | 2019-06-24 | 이미지 기반 실내 측위 서비스 시스템 및 방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220245944A1 (ko) |
KR (1) | KR102277974B1 (ko) |
WO (1) | WO2020235740A1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102591370B1 (ko) * | 2021-03-23 | 2023-10-20 | 주식회사 다비오 | 실내 측위 장치 및 그 방법 |
KR102624732B1 (ko) * | 2021-04-21 | 2024-01-11 | 경북대학교 산학협력단 | 실내 네비게이션 서비스 방법 및 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100041926A (ko) * | 2008-10-15 | 2010-04-23 | 에스케이 텔레콤주식회사 | 위치 확인 서비스 시스템 및 방법, 그리고 이를 위한 위치정보 생성 방법 |
KR20160003553A (ko) * | 2014-07-01 | 2016-01-11 | 삼성전자주식회사 | 지도 정보를 제공하기 위한 전자 장치 |
KR20170030010A (ko) * | 2015-09-08 | 2017-03-16 | 한국전자통신연구원 | 이미지 기반의 실내지도 제공 장치 및 이를 이용한 방법 |
US20170169315A1 (en) * | 2015-12-15 | 2017-06-15 | Sighthound, Inc. | Deeply learned convolutional neural networks (cnns) for object localization and classification |
WO2017171005A1 (ja) * | 2016-04-01 | 2017-10-05 | 株式会社wise | 3dグラフィック生成、人工知能の検証・学習システム、プログラム及び方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008310446A (ja) * | 2007-06-12 | 2008-12-25 | Panasonic Corp | 画像検索システム |
JP2009074995A (ja) * | 2007-09-21 | 2009-04-09 | Univ Of Electro-Communications | 移動体情報処理装置、移動体情報処理方法、およびプログラム |
US10068373B2 (en) * | 2014-07-01 | 2018-09-04 | Samsung Electronics Co., Ltd. | Electronic device for providing map information |
US20170307393A1 (en) * | 2014-12-17 | 2017-10-26 | Sony Corporation | Information processing apparatus, information processing method, and program |
KR102460360B1 (ko) * | 2015-05-12 | 2022-11-01 | 삼성전자주식회사 | 무선 통신 시스템에서 위치 추정 장치 및 방법 |
US9892553B2 (en) * | 2015-09-08 | 2018-02-13 | Electronics And Telecommunications Research Institute | Apparatus and method for providing image-based indoor map |
US11144786B2 (en) * | 2017-11-02 | 2021-10-12 | Canon Kabushiki Kaisha | Information processing apparatus, method for controlling information processing apparatus, and storage medium |
US11657506B2 (en) * | 2019-03-06 | 2023-05-23 | General Electric Company | Systems and methods for autonomous robot navigation |
-
2019
- 2019-05-23 KR KR1020190060846A patent/KR102277974B1/ko active IP Right Grant
- 2019-06-24 US US17/613,567 patent/US20220245944A1/en active Pending
- 2019-06-24 WO PCT/KR2019/007581 patent/WO2020235740A1/ko active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100041926A (ko) * | 2008-10-15 | 2010-04-23 | 에스케이 텔레콤주식회사 | 위치 확인 서비스 시스템 및 방법, 그리고 이를 위한 위치정보 생성 방법 |
KR20160003553A (ko) * | 2014-07-01 | 2016-01-11 | 삼성전자주식회사 | 지도 정보를 제공하기 위한 전자 장치 |
KR20170030010A (ko) * | 2015-09-08 | 2017-03-16 | 한국전자통신연구원 | 이미지 기반의 실내지도 제공 장치 및 이를 이용한 방법 |
US20170169315A1 (en) * | 2015-12-15 | 2017-06-15 | Sighthound, Inc. | Deeply learned convolutional neural networks (cnns) for object localization and classification |
WO2017171005A1 (ja) * | 2016-04-01 | 2017-10-05 | 株式会社wise | 3dグラフィック生成、人工知能の検証・学習システム、プログラム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220245944A1 (en) | 2022-08-04 |
KR20200134807A (ko) | 2020-12-02 |
KR102277974B1 (ko) | 2021-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102960036B (zh) | 众包视觉和传感器勘测绘图 | |
WO2016003191A1 (ko) | Ocr를 기반으로 지도 이미지를 인식하는 시스템과 방법, 그리고 기록 매체 및 파일 배포 시스템 | |
WO2015014018A1 (zh) | 移动终端基于图像识别技术的室内定位与导航方法 | |
WO2011139115A2 (ko) | 증강 현실을 이용하여 인물의 정보에 접근하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체 | |
WO2019240452A1 (ko) | 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템 | |
WO2020235740A1 (ko) | 이미지 기반 실내 측위 서비스 시스템 및 방법 | |
KR20210134253A (ko) | 차량 모니터링 방법, 장치 및 클라우드 제어 플랫폼 | |
CN112905350A (zh) | 任务调度方法及装置、电子设备和存储介质 | |
KR102277503B1 (ko) | 객체 인식 기반 실내 측위를 위한 단말장치, 서비스 서버 및 그 방법 | |
EP2902913A1 (en) | Device management apparatus and device search method | |
WO2021125578A1 (ko) | 시각 정보 처리 기반의 위치 인식 방법 및 시스템 | |
EP3576350A1 (en) | System and method for utilizing machine-readable codes for testing a communication network | |
WO2019221416A1 (ko) | 실시간 현장 동영상 중계를 이용한 시각장애인 안내 서비스 제공 방법 | |
CN110619659A (zh) | 一种房源展示方法、装置、终端设备及介质 | |
WO2019235653A1 (ko) | 근거리 무선 통신을 기반으로 근처 지인을 파악하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체 | |
WO2015102126A1 (ko) | 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템 | |
CN111126697A (zh) | 人员情况预测方法、装置、设备及存储介质 | |
JP2022531187A (ja) | 測位方法及び装置、電子機器並びに記憶媒体 | |
JP2023502414A (ja) | 対象表示方法及び電子機器 | |
WO2012091313A2 (ko) | 실내 위치 측정을 위한 장치 및 방법 | |
WO2015023091A1 (ko) | 실내 측위를 이용한 위치기반 서비스 제공장치 및 방법 | |
WO2016117738A1 (ko) | 실내외 연속 지오코딩 장치 및 그 방법 | |
WO2022097765A1 (ko) | 객체 인식 기반 실내 측위를 위한 단말장치, 서비스 서버 및 그 방법 | |
CN115130456A (zh) | 语句解析、匹配模型的训练方法、装置、设备及存储介质 | |
WO2017135490A1 (ko) | 시각적 콘텐츠의 객체 인식 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19929847 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 29.04.2022) |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19929847 Country of ref document: EP Kind code of ref document: A1 |