KR102147661B1 - Position Recognizing System and Method - Google Patents
Position Recognizing System and Method Download PDFInfo
- Publication number
- KR102147661B1 KR102147661B1 KR1020160030736A KR20160030736A KR102147661B1 KR 102147661 B1 KR102147661 B1 KR 102147661B1 KR 1020160030736 A KR1020160030736 A KR 1020160030736A KR 20160030736 A KR20160030736 A KR 20160030736A KR 102147661 B1 KR102147661 B1 KR 102147661B1
- Authority
- KR
- South Korea
- Prior art keywords
- mobile device
- location
- artificial mark
- location recognition
- mark
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G06K9/00791—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
Abstract
본 발명은 인공표식 형성 장치 및 위치 인식 장치가 상호 연동하여 위치를 인식하는 위치 인식 시스템 및 방법에 관한 것으로서, 특정 이동형 장치가 정지한 상태에서 특정 이동형 장치에 설치된 인공표식 형성 장치가 광학식 인공표식을 형성하면, 상기 인공표식을 다른 이동형 장치에 설치된 위치 인식 장치가 촬영하여, 다른 이동형 장치에 설치된 위치를 추정하고, 상기 다른 이동형 장치의 위치 추정이 완료되면, 다른 이동형 장치에 설치된 인공표식 형성 장치가 다른 이동형 장치가 정지한 상태에서 인공표식을 형성하고, 특정 이동형 장치에 설치된 위치 인식 장치가 이를 촬영하여 특정 이동형 장치의 위치를 추정하는 과정을 반복함으로써, 둘 이상의 이동형 장치의 위치를 인식할 수 있으며, 이를 통해 위치 추정을 위한 표식이 존재하지 않는 환경(예를 들면, 야외)에서도 능동적으로 표식을 형성하여 위치를 추정하는 것이 가능하다.The present invention relates to a location recognition system and method for recognizing a location by interworking with an artificial mark forming device and a location recognition device, wherein an artificial mark forming device installed in a specific mobile device when a specific mobile device is stopped generates an optical artificial mark. If formed, the artificial mark is photographed by a position recognition device installed in another mobile device, estimates a position installed in another mobile device, and when the position estimation of the other mobile device is completed, the artificial mark forming device installed in another mobile device is By repeating the process of forming an artificial mark while another mobile device is stationary and estimating the location of a specific mobile device by photographing it by a location recognition device installed on a specific mobile device, the location of two or more mobile devices can be recognized. In this way, it is possible to estimate a location by actively forming a mark even in an environment where a mark for location estimation does not exist (for example, outdoors).
Description
본 발명은 위치 인식 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 특징점을 찾을 수 없는 실외 혹은 실내 벽면, 천장 등에 인공표식 형성 장치가 광학식 인공표식을 형성하고, 이를 이용하여 위치 인식 장치가, 위치 인식 장치가 설치된 이동형 장치의 현재 위치를 추정할 수 있는 위치 인식 시스템 및 방법에 관한 것이다.The present invention relates to a location recognition system and method, and more particularly, an artificial mark forming device on an outdoor or indoor wall, ceiling, etc., in which a feature point cannot be found, forms an optical artificial mark, and by using this, a location recognition device can recognize a location. It relates to a location recognition system and method capable of estimating the current location of a mobile device in which the device is installed.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information on the present embodiment and does not constitute the prior art.
이동하는 물체의 위치를 판단하는 방법으로는 거리를 알고 있는 두 고정점으로부터 방향을 측정하여 다른 지점의 거리를 측정하는 삼각 측량법, GPS(Global Positioning System)을 이용한 위치 측정 방법, 무선 통신 기지국에 등록된 무선 통신 장치를 이용하여 대략적인 위치를 파악하는 방법 등이 존재하여 왔다. 그런데 이러한 종래의 위치 판단 방법은 그 정확도가 낮고, 전파 환경이 양호하지 않은 환경에서 위치를 파악하기 어려운 난점이 존재한다.To determine the location of a moving object, a triangulation method that measures the direction from two fixed points with known distance to measure the distance of another point, a location measurement method using GPS (Global Positioning System), and registration in a wireless communication base station There has been a method of determining an approximate location using a wireless communication device. However, such a conventional location determination method has a low accuracy, and it is difficult to determine a location in an environment in which the propagation environment is not good.
근래에는 이동체가 자신의 위치를 파악하기 위한 새로운 방안이 개발되고 있으며, 이에 따른 결과 중 하나로서 동시적 위치추정 및 지도작성(Simultaneous Localization And Mapping: SLAM) 기술이 개발되었다. SLAM 기술을 이용하면 임의 공간에서 이동하면서 현재 위치를 파악하는 것이 가능하다.In recent years, a new method for moving objects to grasp their location has been developed, and as one of the results, Simultaneous Localization And Mapping (SLAM) technology has been developed. Using SLAM technology, it is possible to determine the current location while moving in an arbitrary space.
SLAM 기술을 이용하여 위치를 추정하기 위해서는 표식(landmark)이 필요하고, 이는 자연적으로 형성된 자연 표식(natural landmark)과 인위적으로 형성된 인공 표식(artificial landmark)로 구분된다.In order to estimate a location using SLAM technology, a landmark is required, which is divided into a natural landmark and an artificial landmark.
그런데 야외 혹은 한 가지 색상만을 가지고 있는 벽면, 천장 등의 경우, 특징점을 추출할 수 있을만한 자연 표식을 찾기 어려워 위치 인식 기술을 적용하기에 적합하지 않다.However, in the case of outdoors or a wall or ceiling that has only one color, it is difficult to find a natural mark capable of extracting feature points, so it is not suitable to apply location recognition technology.
따라서 야외 혹은 한 색상만을 가지고 있는 벽면, 천장 등에서는 공간에서 이동하면서 현재 위치를 파악하는 것이 어렵다는 문제점이 있었다.Therefore, there is a problem in that it is difficult to determine the current location while moving in a space in the outdoors or on a wall or ceiling having only one color.
상술한 문제점을 해결하기 위하여, 야외와 같이 특징점을 추출하기 어려운 장소에서 이동하는 이동형 장치에 설치된 위치 인식 장치가 타 이동형 장치에 설치된 인공표식 형성 장치가 상기 타 이동형 장치가 정지한 상태에서 형성한 인공 표식을 이용하여 위치를 인식할 수 있는 위치 인식 시스템 및 방법을 제공하고자 한다.In order to solve the above-described problem, a position recognition device installed in a mobile device that moves in a place where it is difficult to extract feature points, such as outdoors, is an artificial mark forming device installed in another mobile device. It is intended to provide a location recognition system and method that can recognize a location using a mark.
그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.However, the object of the present invention is not limited to the above object, and other objects that are not mentioned will be clearly understood from the following description.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 위치 인식 시스템은 두 이동형 장치 간의 위치를 인식하기 위한 위치 인식 시스템에 있어서, 특정 이동형 장치에 설치되어 광학식 인공 표식을 형성하는 인공표식 형성 장치 및 다른 이동형 장치에 설치되어, 상기 다른 이동형 장치 주변을 촬영하며, 촬영 영상을 분석하여, 상기 촬영 영상에서 상기 인공 표식의 특징점을 추출하면, 이를 기반으로 상기 다른 이동형 장치의 위치를 추정하는 위치 인식 장치를 포함할 수 있다.A location recognition system according to the present invention for achieving the above object is a location recognition system for recognizing a location between two mobile devices, an artificial mark forming device installed on a specific mobile device to form an optical artificial mark, and other mobile devices. It includes a location recognition device installed in the device, photographing the surrounding of the other mobile device, analyzing the captured image, and extracting the feature point of the artificial mark from the captured image, and estimating the location of the other mobile device based on this can do.
이때, 상기 위치 인식 장치는 상기 다른 이동형 장치 주변을 촬영한 촬영 영상을 수집하는 센싱 모듈 및 상기 센싱 모듈이 수집한 촬영 영상에서 상기 인공 표식의 특징점을 추출하여, 상기 추출된 특징점을 기반으로 상기 다른 이동형 장치의 위치를 추정하는 위치 추정 모듈을 포함할 수 있고, 상기 인공표식 형성 장치는 상기 특정 이동형 장치가 정지한 상태에서 상기 인공 표식을 형성할 수 있으며, 상기 위치 인식 장치는 연속 영상 합산을 통해 상기 특징점의 3차원 정보를 추출하고, 3차원 정보가 추출된 특징점을 지도의 표식으로 등록하여, 상기 지도의 표식을 기반으로 위치를 추정할 수 있다.At this time, the location recognition device extracts a feature point of the artificial mark from a sensing module for collecting a photographed image photographed around the other mobile device and a photographed image collected by the sensing module, and the other device based on the extracted feature point. A position estimation module for estimating the position of the mobile device may be included, and the artificial mark forming device may form the artificial mark while the specific mobile device is stopped, and the position recognition device may include a continuous image summation. The three-dimensional information of the feature point is extracted, and the feature point from which the three-dimensional information is extracted is registered as a marker of the map, and a location may be estimated based on the marker of the map.
또한, 상기 위치 인식 장치는 적어도 하나의 카메라 센서를 이용하여 상기 다른 이동형 장치 주변을 촬영할 수 있고, 상기 인공표식 형성 장치는 IR 패턴, 가시광선 영역의 빔 영상 및 레이저 패턴 중 적어도 하나를 이용하여 인공 표식을 형성할 수 있다.In addition, the location recognition device may photograph the surroundings of the other mobile device using at least one camera sensor, and the artificial mark forming device uses at least one of an IR pattern, a beam image in a visible light region, and a laser pattern. Marks can be formed.
상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 위치 인식 방법은 특정 이동형 장치에 설치된 인공표식 형성 장치가 광학식 인공 표식을 형성하는 단계, 다른 이동형 장치에 설치된 위치 인식 장치가 상기 다른 이동형 장치 주변을 촬영하여, 촬영 영상을 분석하는 단계 및 상기 위치 인식 장치가 상기 촬영 영상에서 상기 인공 표식의 특징점을 추출하여 이를 기반으로 상기 다른 이동형 장치의 위치를 추정하는 단계를 포함할 수 있다.The position recognition method according to an embodiment of the present invention for achieving the above object includes the steps of forming an optical artificial mark by an artificial mark forming device installed on a specific mobile device, and the position recognition device installed on another mobile device is the other mobile device. It may include photographing the surroundings, analyzing the captured image, and estimating a location of the other mobile device based on the extracted feature points of the artificial mark from the captured image by the location recognition device.
이때, 상기 추정하는 단계는 상기 위치 인식 장치가 연속 영상 합산을 통해 상기 특징점의 3차원 정보를 추출하는 단계, 상기 위치 인식 장치가 3차원 정보가 추출된 특징점을 지도의 표식으로 등록하는 단계 및 상기 위치 인식 장치가 상기 지도의 표식을 기반으로 위치를 추정하는 단계를 포함할 수 있다.In this case, the estimating includes: extracting, by the location recognition device, 3D information of the feature point through continuous image summing, and registering the feature point from which the 3D information was extracted by the location recognition device as a marker on a map, and the The location recognition apparatus may include the step of estimating a location based on an indication of the map.
본 발명에 따르면, 제1 이동형 장치가 정지한 상태에서 제1 이동형 장치에 설치된 인공표식 형성 장치가 광학식 인공표식을 형성하면, 상기 인공표식을 제2 이동형 장치에 설치된 위치 인식 장치가 촬영하여, 제2 이동형 장치에 설치된 위치를 추정하고, 상기 제2 이동형 장치의 위치 추정이 완료되면, 제2 이동형 장치에 설치된 인공표식 형성 장치가 제2 이동형 장치가 정지한 상태에서 인공표식을 형성하고, 제1 이동형 장치에 설치된 위치 인식 장치가 이를 촬영하여 제1 이동형 장치의 위치를 추정하는 과정을 반복함으로써, 둘 이상의 이동형 장치의 위치를 인식할 수 있으며, 이를 통해 위치 추정을 위한 표식이 존재하지 않는 환경(예를 들면, 야외)에서도 능동적으로 표식을 형성하여 위치를 추정하는 것이 가능하다.According to the present invention, when the artificial mark forming device installed on the first mobile device forms an optical artificial mark while the first mobile device is stopped, the position recognition device installed on the second mobile device captures the artificial mark. 2 Estimates the position installed in the mobile device, and when the position estimation of the second mobile device is completed, the artificial mark forming device installed in the second mobile device forms an artificial mark while the second mobile device is stopped, and the first The location recognition device installed in the mobile device photographs it and repeats the process of estimating the location of the first mobile device, so that the location of two or more mobile devices can be recognized, through which an environment in which no mark for location estimation exists ( For example, it is possible to estimate the location by actively forming a mark even outdoors).
도1 내지 도2는 본 발명의 실시 예에 따른 위치 인식 시스템을 설명하기 위한 도면이다.
도3은 본 발명에 따른 인공표식 형성 장치 및 위치 인식 장치의 구조를 설명하기 위한 블록도이다.
도4는 본 발명의 실시 예에 따른 위치 인식 방법을 설명하기 위한 흐름도이다.1 to 2 are diagrams illustrating a location recognition system according to an embodiment of the present invention.
3 is a block diagram for explaining the structure of an artificial mark forming apparatus and a location recognition apparatus according to the present invention.
4 is a flowchart illustrating a location recognition method according to an embodiment of the present invention.
하기의 설명에서는 본 발명의 실시 예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.In the following description, it should be noted that only parts necessary to understand the embodiments of the present invention will be described, and descriptions of other parts will be omitted so as not to obscure the subject matter of the present invention.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the specification and claims described below should not be construed as being limited to a conventional or dictionary meaning, and the inventor is appropriate as a concept of terms in order to describe his own invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention on the basis of the principle that it can be defined. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent all of the technical spirit of the present invention, and various equivalents that can replace them at the time of application And it should be understood that there may be variations.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.In addition, embodiments within the scope of the present invention include computer-readable media having or transferring computer-executable instructions or data structures stored in the computer-readable media. Such computer-readable media may be any available media accessible by a general purpose or special purpose computer system. By way of example, such computer readable media may be in the form of RAM, ROM, EPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage, or computer executable instructions, computer readable instructions, or data structures. It may include, but is not limited to, physical storage media such as any other media that can be used to store or deliver certain program code means of the computer and can be accessed by a general purpose or special purpose computer system. .
본 발명은 둘 이상의 이동형 장치가 시스템 적으로 상호 작동하여 각각 자신의 위치를 인식하는 기술에 관한 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 보다 상세하게 설명하도록 한다.The present invention relates to a technique in which two or more mobile devices systematically interact with each other to recognize their own location. Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings.
한편, 설명의 편의를 위하여, 본 발명에 따른 실시 예에 나오는 이동형 장치를 제1 이동형 장치와 제2 이동형 장치로 특정하여 설명한다.Meanwhile, for convenience of description, the mobile device according to the embodiment of the present invention will be described by specifying the first mobile device and the second mobile device.
참고로, 도1 내지 도2에 도시된 이동형 장치 중, 우측에 도시된 이동형 장치를 제1 이동형 장치로, 좌측에 도시된 이동형 장치를 제2 이동형 장치로 명명하여 특정한다.For reference, among the mobile devices shown in FIGS. 1 to 2, the mobile device shown on the right is designated as a first mobile device and the mobile device shown on the left is designated as a second mobile device.
도1 내지 도2는 본 발명의 실시 예에 따른 위치 인식 시스템에서의 위치 인식 방법을 설명하기 위한 도면이다.1 to 2 are diagrams for explaining a location recognition method in a location recognition system according to an embodiment of the present invention.
도1을 참조하면, 본 발명에 따른 위치 인식 시스템은, 광학식 인공표식을 형성하는 인공표식 형성 장치(110a, 110b)와, 상기 광학식 인공표식을 센싱하여 이를 기준으로 위치를 인식하는 위치 인식 장치(130a, 130b)로 이루어질 수 있다. 이때, 상호 연동하는 인공표식 형성 장치(110a, 110b)와 위치 인식 장치(130a, 130b)는 서로 다른 이동형 장치에 설치된다. Referring to FIG. 1, the position recognition system according to the present invention includes an artificial
예를 들어, 제1 이동형 장치(100a)에 설치된 인공표식 형성 장치(110a)와 제2 이동형 장치(100b)에 설치된 위치 인식 장치(130b)가 상호 연동하며, 제2 이동형 장치(100b)에 설치된 인공표식 형성 장치(110b)와 제1 이동형 장치(100a)에 설치된 위치 인식 장치(130a)가 상호 연동한다.For example, the artificial
구체적으로, 제1 이동형 장치(100a)에 설치된 인공표식 형성 장치(110a)는 제1 이동형 장치(100a)가 정지한 상태에서 IR(Infrared Ray) 패턴, 가시광선 영역의 빔 영상, 레이저 패턴 등 광학 기술을 이용한 일정 형태의 광학식 인공표식(200a)을 벽면, 천장, 스크린, 또는 공중에 하나 이상 형성한다.Specifically, the artificial
그러면 제2 이동형 장치(100b)가 이동하는 상태에서 제2 이동형 장치(100b)에 설치된 위치 인식장치(130b)는 적어도 하나의 카메라 센서를 이용하여 제2 이동형 장치(100b)의 주변을 촬영하고, 촬영된 영상을 분석하여, 상기 촬영 영상에서 광학식 인공 표식(200a)의 특징점을 추출하고, 이를 기반으로 제2 이동형 장치(100b)의 위치를 추정한다.Then, while the second
상기와 같은 방식으로 제2 이동형 장치(100b)의 위치를 추정하면, 상술한 것과 같은 방식으로 제1 이동형 장치(100a)의 위치를 추정한다.When the position of the second
이에 대하여 도2를 참조하면, 상기의 방법으로 자신의 위치를 위치 인식 장치(130b)를 통해 지속하여 추정하던 제2 이동형 장치(100b)는 제1 이동형 장치(100a)의 인공표식 형성장치(110a)가 형성한 광학식 인공표식(200a)을 통해 위치를 인식할 수 없는 위치가 되거나, 특정 조건이나 상황에 의해 제2 이동형 장치(100b)가 전진할 수 없는 상황이 되면, 제2 이동형 장치(100b)는 이동을 멈추고, 정지한 상태에서, 제2 이동형 장치(100b)에 설치된 인공표식 형성장치(110b)가 광학식 인공 표식(200b)을 벽면, 천장, 스크린 또는 공중에 형성한다.In contrast, referring to FIG. 2, the second
그러면 정지해 있던, 제1 이동형 장치(100a)가 이동하면서 제1 이동형 장치(100a)에 설치된 위치 인식 장치(130a)가 적어도 하나의 카메라 센서를 이용하여, 제1 이동형 장치(100a)의 주변을 촬영하고, 촬영된 영상을 분석하여 인공표식의 특징점을 추출하여, 이를 기반으로 제1 이동형 장치(100a)의 위치를 추정한다.Then, while the stationary, first
그리고 제1 이동형 장치(100a)가 위치 인식장치(130a)를 통해 자신의 위치를 지속하여 추정하던 중 제2 이동형 장치(100b)의 인공표식 형성장치(110b)가 형성한 인공표식(200b)를 통해 제1 이동형 장치(100a)의 위치를 인식할 수 없게 되거나, 특정 조건 또는 상황에 의해 제1 이동형 장치(100a)의 이동이 어려워지는 경우, 제1 이동형 장치(100a)는 정지하고, 다시 제2 이동형 장치(100b)의 위치를 측정하기 위해 상기 과정들을 반복하여, 반복적으로 제2 이동형 장치(100b)와 제1 이동형 장치(100a)의 위치를 추정한다.And while the first mobile device (100a) is continuously estimating its own position through the position recognition device (130a), the artificial mark (200b) formed by the artificial mark forming device (110b) of the second mobile device (100b) When the position of the first
이상으로 본 발명의 실시 예에 따른 위치 인식 시스템에 대해 설명하였다.In the above, a location recognition system according to an embodiment of the present invention has been described.
이하, 본 발명에 따른 인공표식 형성 장치(110)와 위치인식 장치(130)의 구성에 대하여 설명하도록 한다.Hereinafter, the configuration of the artificial
도3은 본 발명에 따른 이동형 장치(100)에 설치되는 인공표식 형성 장치(110)와 위치인식 장치(130)의 구성을 설명하기 위한 블록도이다.3 is a block diagram for explaining the configuration of the artificial
도3을 참조하면, 인공표식 형성 장치(110)는 인공표식 형성 모듈(111)을 포함하여 구성된다.Referring to Figure 3, the artificial
인공표식 형성 모듈(111)은 이동형 장치(100)가 정지한 상태에서 벽면, 천장, 스크린 또는 공중에 적어도 하나의 인공표식(200)을 형성하는 역할을 한다.The artificial
특히, 본 발명에 따른 실시 예에서 인공표식 형성 모듈(111)은 IR 패턴, 가시광선 영역의 빔 영상, 레이저 패턴 등의 광학 기술을 활용하여 적어도 하나의 인공표식을 형성할 수 있다.In particular, in the embodiment according to the present invention, the artificial
위치 인식 장치(130)는 위치 인식 장치(130)가 설치된 이동형 장치(100)의 위치를 추정하기 위한 장치로서, 센싱 모듈(131), 위치 추정 모듈(133)을 포함하여 구성될 수 있다.The
센싱 모듈(131)은 위치 인식 장치(130)가 설치된 이동형 장치(100)의 주변을 촬영한 촬영 영상을 수집하는 장치로서, 적어도 하나의 카메라 센서로 이루어질 수 있다.The sensing module 131 is a device that collects a photographed image photographed around the mobile device 100 in which the
상기 센싱 모듈(131)은 이동형 장치(100)가 이동함에 따라, 상기 카메라 센서를 통해 이동형 장치(100) 주변을 연속적으로 촬영하고, 촬영한 촬영 영상을 수집하여 위치 추정 모듈(133)이 이동형 장치(100)의 위치를 추정할 수 있도록 한다.As the mobile device 100 moves, the sensing module 131 continuously photographs the surroundings of the mobile device 100 through the camera sensor and collects the captured image, so that the
위치 추정모듈(133)은 상기 위치 인식 장치(130)가 설치된 이동형 장치(100)의 현재 위치를 추정하는 장치로서, 센싱 모듈(131)이 수집한 촬영 영상에서 인공 표식(200)의 특징점을 추출하여 이동형 장치(100)의 위치를 추정한다.The
이 때, 위치 추정 모듈(133)은 단일 인공 표식(200)에서 복수의 특징점을 추출할 수 있고, 인공 표식 형성 장치(110)가 둘 이상의 인공 표식(200)을 형성한 경우, 개별 인공 표식(200) 각각을 단일 특징점으로 파악하여 복수의 특징점을 추출할 수도 있다.At this time, the
위치 추정 모듈(133)은 동시적 위치 추정 및 지도작성(Simultaneous Localization And Mapping, SLAM) 기술을 이용하여 이동형 장치(100)의 현재 위치를 추정할 수 있다. SLAM 기술을 이용하면 위치 인식 장치(130)가 설치된 이동형 장치(100)가 실내외를 이동하면서 주변 환경과 자신이 가지고 있는 지도를 매칭하여 현재 이동형 장치(100)의 위치를 추정할 수 있으며, 사전 정보가 없는 완전히 낯선 환경에서도 지도를 생성하고 저장해 나가면서, 위치 인식 장치(130)가 설치된 이동형 장치(100)의 위치를 지도에 매칭하는 방식으로 현재 위치를 파악하는 것이 가능하다.The
위치 추정 모듈(133)은 카메라 센서를 통해 촬영하여 센싱 모듈(131)이 수집한 영상을 연속된 영상으로 합산하고, 인공표식(200)에 대응되는 특징점의 3차원 정보를 추출한다.The
그리고 위치 추정 모듈(133)은 3차원 정보가 추출된 특징점을 내부에 저장된 지도의 표식으로 등록하며, 해당 지도의 표식을 기반으로 위치 인식 장치(130)가 설치된 이동형 장치(100)의 위치를 추정한다. 이때, 위치 인식 장치(130)는 3차원 좌표(x, y, z)로 이루어진 위치 인식 장치(130)의 위치 추정을 통해 이동형 장치(100)의 위치를 추정할 수 있고, 롤(roll), 피치(pitch), 요(yaw)로 이루어진 위치 인식 장치(130)의 자세 추정을 통해 이동형 장치(100)의 자세를 추정할 수 있다.And the
이상, 본 발명에 따른 인공표식 형성 장치(110)와 위치인식 장치(130)의 구성에 대하여 설명하였다.The configuration of the artificial
이하, 본 발명의 실시 예에 따른 위치 인식 방법에 대해 살펴보도록 한다.Hereinafter, a location recognition method according to an embodiment of the present invention will be described.
도4는 본 발명의 실시 예에 따른 위치 인식 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a location recognition method according to an embodiment of the present invention.
도4를 참조하면, 제1 이동형 장치(100a)에 설치된 인공표식 형성 장치(110a)는 제1 이동형 장치(100a)가 정지한 상태에서 IR 패턴, 가시광선 영역 대의 빔 영상, 레이저 패턴 등을 이용한 광학식 인공 표식(200a)을 벽면, 천장, 스크린 또는 공중에 표시한다(S101).Referring to FIG. 4, the artificial
그러면 제2 이동형 장치(100b)가 이동하면서(S103), 제2 이동형 장치(100b)에 설치된 위치 인식 장치(130b)가 적어도 하나의 카메라 센서를 통해 제2 이동형 장치(100b) 주변을 촬영하고(S105), 촬영 영상에서 인공 표식(200a)에 대응하는 특징점을 추출하여(S107), 특징점의 3차원 정보를 추출한다(S109).Then, while the second
S109단계에서 위치 인식 장치(130b)는 촬영되어 수집된 영상을 연속적으로 합산하여 특징점의 3차원 정보를 추출할 수 있다.In step S109, the
그리고 위치 인식 장치(130b)는 3차원 정보가 추출된 특징점을 실시간으로 생성하여 저장하는 지도의 표식으로 등록한다(S111).In addition, the
이후, 위치 인식 장치(130b)는 등록된 표식을 기반으로 제2 이동형 장치(100b)의 현재 위치를 추정한다(S113).Thereafter, the
그리고, 제2 이동형 장치(100b)의 인식 위치 장치(130b)는 특정 상황 또는 조건에 의해 제2 이동형 장치(100b)가 정지하거나 인공표식(200a)에 의한 위치 추정이 어려워지면, 위치 추정을 멈춘다.In addition, the
그 후, 제1 이동형 장치(100a)의 역할과 제2 이동형 장치(100b)의 역할을 상호 변경하여 S101단계로 돌아간 후, 일련의 단계를 진행한다.Thereafter, the role of the first
즉, 제2 이동형 장치(100b)의 위치 추정이 끝난 후(최초로 S101~S113 단계를 진행 한 후), 도4의 특정 위치 인식 장치는 제2 이동형 장치(100b)가 되고, 다른 위치 인식 장치는 제1 이동형 장치(100a)가 되며, S101~S113 단계를 다시 한번 반복하게 되면, 특정 위치 인식 장치는 제1 이동형 장치(100a)가 되고, 다른 위치 인식 장치는 제2 이동형 장치(100b)가 되어, S101~S113 단계를 반복한다.That is, after the position estimation of the second
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.On the other hand, the embodiments disclosed in the specification and drawings are only presented specific examples to aid understanding, and are not intended to limit the scope of the present invention. It is obvious to those of ordinary skill in the art that other modifications based on the technical idea of the present invention may be implemented in addition to the embodiments disclosed herein. In addition, specific terms have been used in the specification and drawings, but these are merely used in a general meaning to easily describe the technical content of the present invention and to aid understanding of the present invention, and are not intended to limit the scope of the present invention.
본 발명은 위치 인식 기술에 관한 것으로서, 더욱 상세하게는 특징점을 찾을 수 없는 실외 혹은 실내 벽면, 천장 등에 인공표식 형성 장치가 광학식 인공표식을 형성하고, 이를 이용하여 위치 인식 장치가, 위치 인식 장치가 설치된 이동형 장치의 현재 위치를 추정할 수 있는 위치 인식 시스템 및 방법에 관한 것이다.The present invention relates to a location recognition technology, and more particularly, an apparatus for forming an artificial mark on an outdoor or indoor wall, ceiling, etc., in which a feature point cannot be found, forms an optical artificial mark, and by using this, a location recognition device, a location recognition device, It relates to a location recognition system and method capable of estimating the current location of the installed mobile device.
본 발명에 따르면, 제1 이동형 장치가 정지한 상태에서 제1 이동형 장치에 설치된 인공표식 형성 장치가 광학식 인공표식을 형성하면, 상기 인공표식을 제2 이동형 장치에 설치된 위치 인식 장치가 촬영하여, 제2 이동형 장치에 설치된 위치를 추정하고, 상기 제2 이동형 장치의 위치 추정이 완료되면, 제2 이동형 장치에 설치된 인공표식 형성 장치가 제2 이동형 장치가 정지한 상태에서 인공표식을 형성하고, 제1 이동형 장치에 설치된 위치 인식 장치가 이를 촬영하여 제1 이동형 장치의 위치를 추정하는 과정을 반복함으로써, 둘 이상의 이동형 장치의 위치를 인식할 수 있으며, 이를 통해 위치 추정을 위한 표식이 존재하지 않는 환경(예를 들면, 야외)에서도 능동적으로 표식을 형성하여 위치를 추정하는 것이 가능하다.According to the present invention, when the artificial mark forming device installed on the first mobile device forms an optical artificial mark while the first mobile device is stopped, the position recognition device installed on the second mobile device captures the artificial mark. 2 Estimates the position installed in the mobile device, and when the position estimation of the second mobile device is completed, the artificial mark forming device installed in the second mobile device forms an artificial mark while the second mobile device is stopped, and the first The location recognition device installed in the mobile device photographs it and repeats the process of estimating the location of the first mobile device, so that the location of two or more mobile devices can be recognized, through which an environment in which no mark for location estimation exists ( For example, it is possible to estimate the location by actively forming a mark even outdoors).
따라서, 상기의 위치 인식 시스템을 통해 SLAM 기술을 활용한 위치 인식 산업 발전에 이바지 할 수 있고, 더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.Therefore, through the above location recognition system, it is possible to contribute to the development of the location recognition industry using SLAM technology, and in addition, the present invention has sufficient commercial or business possibility, as well as a degree that can be practically clearly implemented. There is this.
100: 이동형 장치 110: 인공표식 형성 모듈 130: 센싱 모듈100: mobile device 110: artificial mark formation module 130: sensing module
Claims (8)
특정 이동형 장치에 설치되어 광학식 인공 표식을 형성하는 인공표식 형성 장치; 및
다른 이동형 장치에 설치되어, 상기 다른 이동형 장치 주변을 촬영하며, 촬영 영상을 분석하여, 상기 촬영 영상에서 상기 인공 표식의 특징점을 추출하면, 이를 기반으로 상기 다른 이동형 장치의 위치를 추정하는 위치 인식 장치;를 포함하며,
상기 특정 이동형 장치와 상기 다른 이동형 장치에는 각각에 상기 인공표식 형성 장치 및 상기 위치 인식 장치가 설치되며, 상기 특정 이동형 장치가 정지한 상태에서 인공표식을 형성하면, 이동하는 상기 다른 이동형 장치가 위치를 추정하고, 상기 다른 이동형 장치의 위치 추정이 완료되면, 상기 다른 이동형 장치가 정지한 상태에서 인공표식을 형성하여 이동하는 상기 특정 이동형 장치의 위치를 추정하는 과정을 반복하는 것을 특징으로 하는 위치 인식 시스템.In a location recognition system for recognizing a location between two or more mobile devices,
An artificial mark forming device installed on a specific mobile device to form an optical artificial mark; And
A location recognition device that is installed in another mobile device, photographs the surroundings of the other mobile device, analyzes a captured image, and extracts a feature point of the artificial mark from the captured image, and estimates the location of the other mobile device based on this Including ;,
The specific movable device and the other movable device are each provided with the artificial mark forming device and the position recognition device, and when the specific movable device is stopped and the artificial mark is formed, the other movable device moves And, when the position estimation of the other mobile device is completed, the process of estimating the location of the specific mobile device that moves by forming an artificial mark while the other mobile device is stopped is repeated. .
상기 다른 이동형 장치 주변을 촬영한 촬영 영상을 수집하는 센싱 모듈; 및
상기 센싱 모듈이 수집한 촬영 영상에서 상기 인공 표식의 특징점을 추출하여, 상기 추출된 특징점을 기반으로 상기 다른 이동형 장치의 위치를 추정하는 위치 추정 모듈;
을 포함하는 것을 특징으로 하는 위치 인식 시스템.The method of claim 1, wherein the location recognition device
A sensing module for collecting a photographed image photographed around the other mobile device; And
A position estimation module for extracting a feature point of the artificial mark from the captured image collected by the sensing module and estimating a location of the other mobile device based on the extracted feature point;
Location recognition system comprising a.
연속 영상 합산을 통해 상기 특징점의 3차원 정보를 추출하고, 3차원 정보가 추출된 특징점을 지도의 표식으로 등록하여, 상기 지도의 표식을 기반으로 위치를 추정하는 것을 특징으로 하는 위치 인식 시스템.The method of claim 1, wherein the location recognition device
A location recognition system, comprising: extracting 3D information of the feature point through continuous image summing, registering the feature point from which the 3D information is extracted as a mark on a map, and estimating a location based on the mark on the map.
적어도 하나의 카메라 센서를 이용하여 상기 다른 이동형 장치 주변을 촬영하는 것을 특징으로 하는 위치 인식 시스템.The method of claim 1, wherein the location recognition device
Location recognition system, characterized in that for photographing the surroundings of the other mobile device using at least one camera sensor.
IR 패턴, 가시광선 영역의 빔 영상 및 레이저 패턴 중 적어도 하나를 이용하여 인공 표식을 형성하는 것을 특징으로 하는 위치 인식 시스템.The method of claim 1, wherein the artificial mark forming device
A position recognition system, characterized in that the artificial mark is formed using at least one of an IR pattern, a beam image in a visible light region, and a laser pattern.
정지한 상태에서 특정 이동형 장치에 설치된 인공표식 형성 장치가 광학식 인공 표식을 형성하는 단계;
이동하는 다른 이동형 장치에 설치된 위치 인식 장치가 상기 다른 이동형 장치 주변을 촬영하여, 촬영 영상을 분석하는 단계;
상기 위치 인식 장치가 상기 촬영 영상에서 상기 인공 표식의 특징점을 추출하여 이를 기반으로 상기 다른 이동형 장치의 위치를 추정하는 단계;
상기 다른 이동형 장치의 위치 추정이 완료되면, 정지한 상태에서 상기 다른 이동형 장치에 설치된 인공표식 형성 장치가 광학식 인공 표식을 형성하는 단계;
이동하는 상기 특정 이동형 장치에 설치된 위치 인식 장치가 상기 다른 이동형 장치 주변을 촬영하여, 촬영 영상을 분석하는 단계; 및
상기 위치 인식 장치가 상기 촬영 영상에서 상기 인공 표식의 특징점을 추출하여 이를 기반으로 상기 특정 이동형 장치의 위치를 추정하는 단계;
를 포함하는 것을 특징으로 하는 위치 인식 방법.In the location recognition method for recognizing the location between two or more mobile devices,
Forming an optical artificial mark by an artificial mark forming device installed on a specific mobile device in a stationary state;
Analyzing the captured image by photographing the surroundings of the other mobile device by a location recognition device installed in another mobile device to be moved;
Extracting, by the location recognition device, a feature point of the artificial mark from the captured image and estimating a location of the other mobile device based on this;
When the position estimation of the other mobile device is completed, forming an optical artificial mark by an artificial mark forming device installed in the other mobile device in a stopped state;
Analyzing a captured image by photographing the surroundings of the other mobile device by a location recognition device installed in the moving specific mobile device; And
Extracting, by the location recognition device, a feature point of the artificial mark from the captured image and estimating a location of the specific mobile device based on this;
Location recognition method comprising a.
상기 위치 인식 장치가 연속 영상 합산을 통해 상기 특징점의 3차원 정보를 추출하는 단계;
상기 위치 인식 장치가 3차원 정보가 추출된 특징점을 지도의 표식으로 등록하는 단계; 및
상기 위치 인식 장치가 상기 지도의 표식을 기반으로 위치를 추정하는 단계;
를 포함하는 것을 특징으로 하는 위치 인식 방법. The method of claim 7, wherein the estimating step
Extracting, by the location recognition device, 3D information of the feature points through continuous image summing;
Registering, by the location recognition device, a feature point from which 3D information is extracted as a mark on a map; And
Estimating, by the location recognition device, a location based on an indication of the map;
Location recognition method comprising a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160030736A KR102147661B1 (en) | 2016-03-15 | 2016-03-15 | Position Recognizing System and Method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160030736A KR102147661B1 (en) | 2016-03-15 | 2016-03-15 | Position Recognizing System and Method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170107604A KR20170107604A (en) | 2017-09-26 |
KR102147661B1 true KR102147661B1 (en) | 2020-08-26 |
Family
ID=60037008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160030736A KR102147661B1 (en) | 2016-03-15 | 2016-03-15 | Position Recognizing System and Method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102147661B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130138246A1 (en) * | 2005-03-25 | 2013-05-30 | Jens-Steffen Gutmann | Management of resources for slam in large environments |
KR101456172B1 (en) * | 2013-07-29 | 2014-10-31 | 인하대학교 산학협력단 | Localization of a mobile robot device, method and mobile robot |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6202559B2 (en) | 2013-07-26 | 2017-09-27 | 積水化学工業株式会社 | Buried pipe measuring device and buried pipe measuring method |
-
2016
- 2016-03-15 KR KR1020160030736A patent/KR102147661B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130138246A1 (en) * | 2005-03-25 | 2013-05-30 | Jens-Steffen Gutmann | Management of resources for slam in large environments |
KR101456172B1 (en) * | 2013-07-29 | 2014-10-31 | 인하대학교 산학협력단 | Localization of a mobile robot device, method and mobile robot |
Also Published As
Publication number | Publication date |
---|---|
KR20170107604A (en) | 2017-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106931945B (en) | Robot navigation method and system | |
KR101329111B1 (en) | System and method for indoor navigation | |
US9921069B2 (en) | Map data creation device, autonomous movement system and autonomous movement control device | |
EP3153816B1 (en) | Method, device and computer programme for extracting information about one or more spatial objects | |
KR20130091908A (en) | Apparatus and method for providing indoor navigation service | |
CN108022264B (en) | Method and equipment for determining camera pose | |
US20130163879A1 (en) | Method and system for extracting three-dimensional information | |
KR102096926B1 (en) | Method and system for detecting change point of interest | |
JP7113611B2 (en) | LOCATION IDENTIFICATION APPARATUS, LOCATION IDENTIFICATION PROGRAM AND LOCATION IDENTIFICATION METHOD, PHOTOGRAPHED IMAGE REGISTRATION APPARATUS, PHOTOGRAPHED IMAGE REGISTRATION PROGRAM AND PHOTOGRAPHIED IMAGE REGISTRATION METHOD | |
CN106501829A (en) | A kind of Navigation of Pilotless Aircraft method and apparatus | |
Yang et al. | Indoor navigation for visually impaired using AR markers | |
US12002237B2 (en) | Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system | |
KR102189926B1 (en) | Method and system for detecting change point of interest | |
Low et al. | SunMap+: An intelligent location-based virtual indoor navigation system using augmented reality | |
CN115808170A (en) | Indoor real-time positioning method integrating Bluetooth and video analysis | |
Varelas et al. | An AR indoor positioning system based on anchors | |
Serrão et al. | Navigation framework using visual landmarks and a GIS | |
KR20130139152A (en) | Method and system of tracking object | |
KR102147661B1 (en) | Position Recognizing System and Method | |
Birla et al. | Disha-indoor navigation app | |
Lee et al. | BIPS: Building Information Positioning System | |
Rettenmund et al. | Accurate visual localization in outdoor and indoor environments exploiting 3d image spaces as spatial reference | |
CN114323013A (en) | Method for determining position information of a device in a scene | |
Higuchi et al. | TweetGlue: Leveraging a crowd tracking infrastructure for mobile social augmented reality | |
CN110146104A (en) | The air navigation aid of electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |