KR100749923B1 - Localization system of mobile robot based on camera and landmarks and method there of - Google Patents

Abstract

본 발명은 카메라와 인공 표식을 이용하여 가정 및 일반 사무환경(작업공간)에서 이동 로봇의 자기 위치를 측정하는 방법에 관한 것으로, 무선 기능을 이용한 비가시광선 영역의 LED 점멸 기능을 가진 인공표식과 광각렌즈를 장착한 카메라, 천정에 부착한 표식을 점멸시킨 후 필터를 부착한 카메라를 이용하여 영상에서 표식의 위치 및 ID를 확인하는 모듈, 정지 상태에서 영상의 두 표식을 이용하여 로봇의 위치 및 방위를 계산하는 모듈, 표식을 부착하는 천정의 높이가 다른 경우 로봇의 위치를 계산하는 모듈, 작업 공간에 새로운 표식을 부착할 경우 표식의 절대 좌표상의 표식의 위치를 계산하는 모듈, 상기 모듈을 이용한 로봇 자율주행 시스템으로 구성함으로써, 본 발명은 두 개의 표식만을 이용하여 로봇의 위치를 계산하고, 로봇으로부터 각 표식 사이의 거리를 필요로 하지 않아 표식의 개수를 계속 늘림으로써 새로운 공간까지도 로봇의 위치/방향을 측정할 수 있다.The present invention relates to a method for measuring a magnetic position of a mobile robot in a home and general office environment (work space) using a camera and an artificial marker, and an artificial marker having an LED blink function in an invisible light region using a wireless function. A module that checks the position and ID of the marker in the image using a camera equipped with a wide-angle lens, a marker attached to the ceiling, and a camera attached with a filter, and the position of the robot using the two markers of the image in the stationary state. Module for calculating azimuth, module for calculating the position of the robot when the height of the ceiling to attach the marker is different, module for calculating the position of the marker on the absolute coordinate of the marker when a new marker is attached to the work space, By constructing a robot autonomous driving system, the present invention calculates the position of the robot using only two markers, and each marker from the robot. By not increasing the distance between them, the number of markers can be increased so that the robot can measure the position / direction of the new space.

카메라, 인공 표식, 광각 렌즈, 로봇 측위, 자율 주행 Camera, Artificial Marking, Wide Angle Lens, Robot Positioning, Autonomous Driving

Description

카메라와 표식을 이용한 이동 로봇의 측위 시스템 및 방법{LOCALIZATION SYSTEM OF MOBILE ROBOT BASED ON CAMERA AND LANDMARKS AND METHOD THERE OF}LOCALIZATION SYSTEM OF MOBILE ROBOT BASED ON CAMERA AND LANDMARKS AND METHOD THERE OF}

도 1은 본 발명의 실시예에 따른 카메라와 표식을 이용한 이동 로봇의 측위 시스템을 개략적으로 설명하는 도,1 is a view schematically illustrating a positioning system of a mobile robot using a camera and a marker according to an embodiment of the present invention;

도 2는 도 1에 나타낸 본 발명의 실시예에 따른 이동 로봇의 측위 시스템의 구성을 구체적으로 나타낸 도,2 is a view showing in detail the configuration of a positioning system of a mobile robot according to an embodiment of the present invention shown in FIG.

도 3은 n개의 표식 중 2개의 표식만을 이용하여 이동 로봇의 위치를 계산하기 위해 필요한 각 좌표계 설정 방법을 나타낸 도,3 is a diagram illustrating a method of setting each coordinate system required to calculate a position of a mobile robot using only two marks among n marks.

도 4는 이동 로봇의 이동 전후의 표식의 위치를 도시한 도,4 is a view showing the position of the marker before and after the movement of the mobile robot,

도 5는 작업 환경의 천정 높이가 다른 경우 표식의 카메라 영상 좌표의 보정 방법을 설명하기 위한 도,5 is a view for explaining a method of correcting the camera image coordinates of the marker when the ceiling height of the working environment is different;

도 6은 토폴로지 맵 구성을 위해 이동 로봇의 작업 공간의 천정에 표식이 설치된 모습을 설명하는 도,FIG. 6 is a view for explaining how a mark is installed on the ceiling of a work space of a mobile robot for constructing a topology map; FIG.

도 7은 본 발명의 실시예에 따른 이동 로봇의 측위 시스템을 이용한 이동 로봇의 측위 방법을 설명하는 흐름도이다.7 is a flowchart illustrating a positioning method of a mobile robot using a positioning system of a mobile robot according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>

100. 이동 로봇 110. 카메라 100. Mobile Robot 110. Camera

111. 적외선 필터 112. 무선 송신모듈111. Infrared filter 112. Wireless transmission module

113. 무선 수신모듈 120. 표식 검출부113. Wireless receiving module 120. Mark detector

130. 로봇위치 검출부 131. 정지상태의 로봇위치 검출모듈130. Robot position detection unit 131. Robot position detection module in stationary state

132. 이동상태의 로봇위치 검출모듈 132.Moving position detection module

133. 천정의 높이가 다른 경우 로봇위치 검출모듈133. Robot position detection module when the height of ceiling is different

140. 표식위치 추정부 150. 토폴로지 맵 구성부140. Marker location estimation unit 150. Topology map configuration unit

160. 로봇 제어부 200. 표식160. Robot control unit 200. Marker

210. 무선 송신모듈 220. 무선 수신모듈210. Wireless Transmission Module 220. Wireless Reception Module

230. 적외선 발광소자230. Infrared light emitting device

본 발명은 카메라와 인공 표식을 이용하여 가정 및 일반 사무환경(작업공간)에서 이동 로봇의 자기 위치를 측정하는 시스템 및 방법에 관한 것으로, 더욱 상세하게는 무선 기능을 이용한 비가시광선 영역의 LED 점멸 기능을 가진 인공표식과 광각렌즈를 장착한 카메라를 구비하여 이동 로봇의 작업 공간 내부 천정에 다수의 표식을 부착하고, 이동 로봇에 장착한 카메라를 이용하여 촬영한 표식을 이용하여 이동 로봇의 위치를 측정하는 카메라와 표식을 이용한 이동 로봇의 측위 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for measuring a magnetic position of a mobile robot in a home and general office environment (work space) using a camera and an artificial mark, and more particularly, LED blinking in an invisible light region using a wireless function. It is equipped with a camera equipped with an artificial marker and a wide-angle lens, and attaches a plurality of markers to the ceiling inside the working space of the mobile robot, and uses the marker captured by the camera mounted on the mobile robot to position the mobile robot. The present invention relates to a positioning system and a method of a mobile robot using a measuring camera and a marker.

일반적으로 자율적인 로봇 주행(autonomous robot navigation)을 실현하기 위한 방법으로는 로봇의 동작 환경 내에서 로봇의 위치 정보를 즉각적으로 파악할 수 있는 측위(localization) 방법, 이로부터 동작 환경 내에서의 이동 경로를 생성하고 해당 경로를 따라 로봇 플랫폼을 제어하는 guidance 방법, 그리고 로봇의 동작 환경에 대한 정보를 수집, 관리하는 환경지도 작성(environment map building) 방법으로 구성된다.In general, a method for realizing autonomous robot navigation includes a localization method capable of immediately grasping position information of a robot in a robot's operating environment, and a moving path within the operating environment. It consists of a guidance method for creating and controlling a robot platform along a corresponding path, and an environment map building method for collecting and managing information on the operation environment of the robot.

우선, 환경지도 작성 방법은 크게 메트릭 맵(metric map)을 작성하는 메트릭(metric) 경로 생성 방법과 토폴로지 맵(topological map)을 작성하는 토폴로지(topological) 경로 생성 방법으로 구분할 수 있고, 메트릭(metric) 경로 생성 방법의 경우 정량적으로 표현된 로봇 환경 데이터로부터 생성된 로봇 경로에 대한 기 설정된 임의의 성능지수를 최적화하는 방식으로 로봇 경로를 선택하는 일련의 방법을 지칭하며, 대표적인 형태로 그리드(grid) 구조를 가지는 실내 평면도 형태의 환경지도와 이 환경지도 내에서 최적 경로 혹은 로봇 플랫폼의 기구학적 구조(kinematic structure)를 고려한 최적 제어방식을 선택하는 경우를 들 수 있다. First of all, the environment mapping method can be largely divided into a metric path generation method for creating a metric map and a topological path generation method for creating a topology map. The path generation method refers to a series of methods for selecting a robot path by optimizing an arbitrary predetermined performance index for the robot path generated from the quantitatively expressed robot environment data. An example of selecting an optimal control method in consideration of an environment map having an indoor planar shape and an optimum path or kinematic structure of the robot platform in the environment map.

반면, 토폴로지(topological) 경로 생성 방법의 경우 로봇 환경내의 특징적인 위치, 예를 들어, 가구나 가전 제품, 문 입구 등을 기준으로 각 특징점간의 공간적 관계(spatial relationship)를 기술하는 그래프(graph) 형태의 환경 지도를 작성하고 이로부터 예를 들어, "문을 지나 냉장고 옆으로 이동"과 같은 형태의 경로를 작성할 수 있다. On the other hand, in the case of the topological path generation method, a graph form describing a spatial relationship between each feature point based on a characteristic position in the robot environment, for example, furniture, home appliances, and door entrances, is described. You can create an environmental map from which you can create a route, for example, "go through the door, next to the refrigerator."

상술한 바와 같이 주어진 경로를 따라 로봇이 주행하거나 새로이 경로를 작성하기 위해서는 로봇의 현재 위치에 대한 정보가 필수적이며 로봇은 자신의 위치 에 대한 정보를 언제든지 확인할 수 있어야 한다. 이러한 목적으로 로봇의 동작 환경 내에 인공 특징점(artificial landmark: 또는 인공 표식)을 설치하거나 자연 특징점(natural landmark: 또는 자연 표식)을 환경 내에서 추출하는 방식을 취하기도 하며, 능동 표식점과 같이 빛이나 RF 신호를 발사하여 해당 신호의 수신 방향(direction of arrival) 등을 측정하여 로봇의 위치를 파악하는 방법을 사용할 수 있다.As described above, in order for the robot to travel along a given path or to create a new path, information about the current location of the robot is essential, and the robot must be able to check information about its location at any time. For this purpose, artificial landmarks (artificial landmarks) may be installed in the robot's operating environment, or natural landmarks (natural landmarks) may be extracted in the environment. By firing an RF signal and measuring the direction of arrival of the signal (direction of arrival) can be used to determine the position of the robot.

따라서, 최근에는 이동로봇이 자신의 위치를 인지하고 있지 못하더라도 주어진 환경지도 정보와 주변의 특징정보를 이용하여 자기위치를 추정할 수 있는 위치인식 기술이 연구되고 있다.Therefore, in recent years, even if the mobile robot does not recognize its own location, a position recognition technology capable of estimating its own location using given environmental map information and surrounding feature information has been studied.

이동로봇과 관련하여 자기위치 추적에 인공표식을 이용한 장치에 관해 그 예가 특2003-0026496호(“이동로봇의 표식기반 자기위치인식을 위한 인공표식장치)에 개시되어 있다. 이 특허는 영상처리 방식을 이용하여 인공표식장치를 인식하는 경우 주변 조도에 따라 결과에 영향을 미치게 되는 단점을 극복하기 위해 일정한 조도를 가질 수 있도록 조명장치를 인공표식점 주변에 설치함으로써 저조도 환경이나 야간 환경에서도 표식인식에 의한 이동로봇의 자율주행이 가능토록 한 것이다. An example of a device using an artificial marker for tracking a magnetic position in relation to a mobile robot is disclosed in Japanese Patent Laid-Open No. 2003-0026496 (“Artificial Marking Device for Marker-Based Magnetic Position Recognition of a Mobile Robot”). This patent uses the image processing method to recognize the artificial markers in order to overcome the disadvantage that affects the result according to the ambient illumination, so that the illumination device is installed around the artificial markers to have a constant illuminance, Even in the night environment, it is possible to autonomously drive the mobile robot by the mark recognition.

그러나, 상기한 바와 같은 종래 기술은 별도의 조명장치를 설치하고, 이 조명장치를 제어하기 위한 조도 제어 장치를 설치해야 하는 불편이 있고, 로봇의 위치한 전체 환경 내에서 전역적인 자기 위치 및 방위각 추정이 불가능할 뿐 아니라 조명변화에 따라서 자기 위치 및 방위각 추정이 어려운 문제점이 있다. However, the prior art as described above is inconvenient to install a separate lighting device, and to install an illumination control device for controlling the lighting device, and the global magnetic position and azimuth angle estimation in the entire environment of the robot is difficult. Not only is it impossible, but it is difficult to estimate the magnetic position and azimuth angle according to the lighting change.

따라서, 본 발명의 목적은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로, 본 발명의 목적은 실내 공간에서 n개의 표식과 카메라를 이용하여 조명변화에 상관없이 이동 로봇의 자기 위치 및 방위(x, y, θ) 정보를 실시간으로 측정할 수 있는 시스템 및 방법을 제공하는 것이다.Accordingly, an object of the present invention is to solve the above-described problems of the prior art, the object of the present invention is to use the magnetic field and orientation (x) of the mobile robot irrespective of the lighting change by using n markers and a camera in the indoor space , y, θ) to provide a system and method that can measure the information in real time.

한편, 본 발명의 다른 목적은 표식의 개수를 계속 늘려감으로써 더 넓고 새로운 공간까지도 로봇의 위치 및 방위를 측정할 수 있어 더욱 간단하고 제약 사항 없이 이동 로봇의 위치 및 방위를 측정할 수 있는 시스템 및 방법을 제공하는 것이다.On the other hand, another object of the present invention is to continue to increase the number of markers to measure the position and orientation of the robot even in a wider and new space, it is simpler and without limitation system for measuring the position and orientation of the mobile robot and To provide a way.

상기와 같은 목적을 달성하기 위한 본 발명의 카메라와 표식을 이용한 이동 로봇의 측위 시스템은 천정에 부착되는 무선 송수신 기능을 가진 n개의 표식 및 상기 표식을 촬영하는 카메라, 천정에 부착된 상기 표식을 점멸시킨 후 상기 카메라를 이용하여 획득한 영상에서 상기 표식의 위치 및 ID를 획득하여 최소 두 개의 표식을 검출하는 표식 검출부, 상기 검출된 표식을 이용하여 이동 로봇의 위치를 계산하는 로봇위치 검출부, 작업 공간에 새로운 표식이 부착될 경우, 상기 새로운 표식의 절대 좌표상의 위치를 계산하는 표식위치 추정부, 상기 계산된 새로운 표식의 위치를 이용하여 이동 로봇의 토폴로지 맵을 만드는 토폴로지 맵 구성부 및 상기 만들어진 토폴로지 맵을 이용하여 이동 로봇의 주행을 제어하는 로봇 제어부를 포함하여 구성되는 이동 로봇을 포함하여 이루어진 것을 특징으로 한다.Positioning system of the mobile robot using the camera and the marker of the present invention for achieving the above object, n marks having a wireless transmission and reception function attached to the ceiling and the camera for photographing the marker, flashing the marker attached to the ceiling A marker detector for detecting at least two markers by acquiring the position and ID of the marker from an image acquired by using the camera, and a robot position detector for calculating the position of the mobile robot using the detected markers and a work space. A marker position estimating unit for calculating a position in absolute coordinates of the new marker when the new marker is attached, a topology map component for creating a topology map of the mobile robot using the calculated position of the new marker, and the created topology map A movement configured to include a robot control unit for controlling the running of the mobile robot using It is characterized by including a robot.

또한, 본 발명의 표식은 특정 ID를 내장하고, 특정 파장 대역에서 발광하는 적외선 발광소자(LED)와 무선 송수신 모듈을 포함하고 있으며, 카메라는 특정 파장 대역만을 통과시켜 표식의 적외선 LED를 검출하는 적외선 필터와 무선 송수신 모듈을 포함하여 구성되고, 로봇위치 검출부는 이동 로봇이 정지 상태이면 검출된 두 개의 표식의 영상을 이용하여 이동 로봇의 현재 위치 및 방위를 계산하는 모듈, 이동 로봇이 이동 상태이면 실시간으로 이동 로봇의 위치를 계산하는 모듈 및 표식이 부착된 천정의 높이가 다른 경우 이동 로봇의 위치를 계산하는 모듈을 포함하여 구성된다.In addition, the mark of the present invention includes an infrared light emitting element (LED) and a wireless transmitting / receiving module that have a specific ID and emit light in a specific wavelength band, and the camera detects the infrared LED of the mark by passing only a specific wavelength band. It is configured to include a filter and a wireless transmission and reception module, the robot position detector is a module that calculates the current position and orientation of the mobile robot using the images of the two markers detected when the mobile robot is stationary, real-time if the mobile robot is mobile It comprises a module for calculating the position of the mobile robot and a module for calculating the position of the mobile robot if the height of the ceiling to which the mark is attached.

또한, 본 발명의 토폴로지 맵 구성부는 표식을 노드로 설정하고, 표식위치 추정부에서 구해진 새로운 표식의 위치 정보에서 설정된 노드와 노드 사이의 거리 정보를 얻어 토폴로지 맵을 구성한다. The topology map constructing unit of the present invention sets the mark as a node and constructs the topology map by obtaining the distance information between the node and the node set in the position information of the new mark obtained by the mark position estimating unit.

한편, 본 발명의 카메라와 표식을 이용한 이동 로봇의 측위 방법은 카메라로 촬영한 표식의 영상에서 표식을 검출하여 이동 로봇의 위치를 계산하는 단계, 새로운 표식이 작업 공간에 추가될 경우, 상기 구해진 이동 로봇의 위치를 이용하여 상기 추가된 표식의 위치를 구하는 단계, 상기 추가된 표식을 노드로 설정하여 토폴로지 맵을 구성하는 단계 및 상기 구성된 토폴로지 맵과 상기 구해진 이동 로봇의 위치를 이용하여 이동 로봇의 주행을 제어하는 단계로 이루어지는 것을 특징으로 한다.On the other hand, the positioning method of the mobile robot using the camera and the marker of the present invention is to calculate the position of the mobile robot by detecting the marker in the image of the marker taken by the camera, when the new marker is added to the work space, the obtained movement Obtaining the location of the added marker using the position of the robot, configuring the topology map by setting the added marker as a node, and traveling the mobile robot using the configured topology map and the obtained location of the mobile robot. It characterized in that the step consisting of controlling.

또한, 본 발명의 카메라로 촬영한 표식의 영상에서 표식을 검출하여 이동 로봇의 위치를 계산하는 단계는 상기 이동 로봇의 무선 송수신 모듈을 이용하여 표식의 ID를 획득하고, 상기 표식을 점멸시킨 후, 카메라로 천정의 표식 영상을 촬영하 는 단계, 상기 촬영한 표식 영상에 대해 이진탐색을 적용하여 최소 두 개의 표식을 검출하는 단계 및 상기 검출된 두 개의 표식을 이용하여 이동 로봇의 위치 및 방위를 계산하는 단계로 이루어지는 것을 특징으로 한다.In addition, the step of detecting the marker in the image of the marker taken by the camera of the present invention to calculate the position of the mobile robot using the wireless transmission and reception module of the mobile robot to obtain the ID of the marker, and then flashing the marker, Photographing the ceiling marker image with a camera; detecting at least two markers by applying binary search to the captured marker image; and calculating the position and orientation of the mobile robot using the detected two markers. It is characterized by consisting of steps.

이하, 본 발명의 카메라와 표식을 이용한 이동 로봇의 측위 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, a positioning system and a method of a mobile robot using a camera and a marker of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 카메라와 표식을 이용한 위치 및 방위 측정 시스템을 설명하기 위한 구성을 개략적으로 나타낸 것으로, 작업 공간(일반 가정 및 사무실 환경)의 천정에 n개의 표식을 설치하고, 최초 2개의 표식을 촬상하기 위하여 이진 탐색방법으로 카메라 영상에 2개의 표식이 검출될 때까지 표식의 LED 점멸을 수행한다.1 schematically shows a configuration for explaining a position and orientation measurement system using a camera and a marker according to an embodiment of the present invention, n markers are installed on the ceiling of a work space (general home and office environment), In order to capture the first two markers, the LED blinking of the markers is performed by a binary search method until two markers are detected in the camera image.

도 1과 같이 본 발명에 따른 시스템은 실내 공간에서 n개의 표식과 카메라를 이용하여 위치 및 방위(x, y, θ) 정보를 실시간으로 얻기 위한 것으로, n개의 표식은 로봇이 활동하는 실내 공간의 천정에 부착되며, 로봇의 상단에는 무선 송수신장치가 장착된 카메라가 부착된다. 로봇은 무선송수신 장치를 이용하여 천정에 설치된 표식의 LED를 점멸시키고, 점멸 전후의 천정 영상을 얻은 후 획득한 영상들로부터 점멸 전후의 영상을 비교하여 얻은 영상좌표상의 표식 위치와 기준(절대) 좌표상의 표식 위치를 이용하여 위치 및 방위 정보를 계산한다.As shown in FIG. 1, a system according to the present invention is to obtain position and orientation (x, y, θ) information in real time using n markers and a camera in an indoor space, and n markers indicate an indoor space in which a robot operates. It is attached to the ceiling, and a camera equipped with a wireless transceiver is attached to the top of the robot. The robot flashes the LED of the mark installed on the ceiling by using a radio transmitter and receiver and obtains the image of the ceiling before and after the flashing, and compares the images before and after the flashing from the images. Position and orientation information is calculated using the marker location on the image.

도 2는 본 발명의 실시예에 따른 이동 로봇 측위 시스템의 구성을 나타낸 것으로, 본 발명은 ID와 무선 송수신 기능을 가진 n개의 표식(200)과 무선 송수신 모듈(적외선 통신, RF, Zigbee, 기타 무선 통신 포함)(112, 113)이 부착된 광각 카메 라(110)를 장착한 이동 로봇(100)으로 구성된다. Figure 2 shows the configuration of a mobile robot positioning system according to an embodiment of the present invention, the present invention is n mark 200 having an ID and a wireless transmission and reception function and a wireless transmission and reception module (infrared communication, RF, Zigbee, other wireless It comprises a mobile robot 100 equipped with a wide-angle camera (110) attached to (112, 113).

본 발명의 실시예에 따른 이동 로봇 측위 시스템에 있어서, 표식(200)은 특정 ID가 내장되어 있으며, 이동 로봇과 무선 통신이 가능한 무선 송수신 모듈(210, 220)과 비가시광선 영역의 특정 파장영역에서 발광하는 적외선 발광소자(LED)(230)를 가진다. 카메라(110)는 광각 렌즈와 표식의 발광 파장 대역만을 선별적으로 통과시키는 적외선 필터(111)를 가진다. 즉, 본 발명에서는 적외선 발광소자(LED)(230)와 적외선 필터(111)를 사용하여 일반 배경화면을 자동으로 필터링하는 것이 가능하기 때문에 조명에 민감한 비젼(카메라) 센서의 단점을 극복할 수 있다. 또한 필터를 통하여 획득한 영상은 Gray Level 영상이며, 배경 화면과 LED의 Gray Level 값은 현저하게 차이가 나기 때문에 특별한 영상처리 절차를 거치지 않고 적정한 임계값을 이용하여 영상에서 LED를 검출할 수 있다. 최대한 적은 수의 표식을 사용하기 위하여 카메라에 광각 렌즈를 사용함으로써 카메라 렌즈의 특성에 따른 영상 왜곡이 발생한다. 로봇의 정확한 위치 측정을 위하여 왜곡 보정은 필수 조건이지만 본 특허에서는 특별히 왜곡 보상 기법을 제안하지 않고 기존의 방법들(Flexible Camera Calibration by Viewing a Plane from Unknown Orientations - Zhang, ICCV99)을 사용하여 왜곡을 보정한다.In the mobile robot positioning system according to an embodiment of the present invention, the marker 200 has a specific ID embedded therein, and the wireless transmission / reception module 210 or 220 capable of wireless communication with the mobile robot and a specific wavelength region of the invisible light region. Infrared light emitting device (LED) 230 to emit light. The camera 110 has a wide-angle lens and an infrared filter 111 for selectively passing only the emission wavelength band of the mark. That is, in the present invention, since it is possible to automatically filter the general background screen using the infrared light emitting device (LED) 230 and the infrared filter 111, the disadvantage of the illumination-sensitive vision (camera) sensor can be overcome. . Also, the image obtained through the filter is a gray level image, and since the gray level value of the background screen and the LED are remarkably different, the LED can be detected from the image using an appropriate threshold value without going through a special image processing procedure. In order to use the smallest number of marks, image distortion occurs according to the characteristics of the camera lens by using a wide-angle lens in the camera. Distortion correction is a prerequisite for accurate positioning of robots, but this patent does not propose distortion compensation techniques, but uses conventional methods (Flexible Camera Calibration by Viewing a Plane from Unknown Orientations-Zhang, ICCV99) to correct distortion. do.

본 발명의 이동 로봇 측위 시스템은 천정에 부착되는 무선 송수신 기능을 가진 n개의 표식(200) 및 표식(200)을 촬영하는 카메라(110), 천정에 부착된 표식(200)을 점멸시킨 후 카메라(110)를 이용하여 촬영한 영상에서 표식(200)의 위치 및 ID를 획득하여 최소 두 개의 표식(200)을 검출하는 표식 검출부(120), 상기 검 출된 표식을 이용하여 이동 로봇(100)의 위치를 계산하는 로봇위치 검출부(130), 작업 공간에 새로운 표식이 부착될 경우, 새로운 표식의 절대 좌표상의 위치를 계산하는 표식위치 추정부(140), 계산된 새로운 표식의 위치를 이용하여 이동 로봇의 토폴로지 맵을 만드는 토폴로지 맵 구성부(150) 및 만들어진 토폴로지 맵을 이용하여 이동 로봇의 주행을 제어하는 로봇 제어부(160)를 포함하여 구성되는 이동 로봇으로 구성된다.In the mobile robot positioning system of the present invention, the cameras (110) photographing the n marks (200) having a wireless transmission / reception function attached to the ceiling and the marker (200), the marker (200) attached to the ceiling, and then flashing the camera ( Marker detection unit 120 to detect the at least two markers 200 by obtaining the position and ID of the marker 200 in the image taken using the 110, the position of the mobile robot 100 using the detected markers Robot position detection unit 130 for calculating the new position, when the new marker is attached to the work space, the marker position estimation unit 140 for calculating the position on the absolute coordinates of the new marker, using the calculated position of the new marker of the mobile robot It consists of a topology map configuration unit 150 for creating a topology map and a robot control unit 160 for controlling the traveling of the mobile robot using the created topology map.

도 2와 같이 구성된 본 발명의 시스템을 이용하여 로봇의 위치를 실시간으로 계산하기 위하여, 도 6과 같이 작업 공간(일반 가정 및 사무실 환경)의 천정에 n개의 표식을 설치한다. 최초 2개의 표식을 촬상하기 위하여 이진 탐색방법으로 카메라 영상에 2개의 표식이 검출될 때까지 카메라(110)의 무선 송신모듈(112)을 이용하여 표식의 LED 점멸 작업을 수행한다.In order to calculate the position of the robot in real time using the system of the present invention configured as shown in FIG. 2, n marks are installed on the ceiling of the work space (general home and office environment) as shown in FIG. In order to capture the first two markers, the LED blinking operation of the markers is performed using the wireless transmission module 112 of the camera 110 until two markers are detected in the camera image by a binary search method.

상세하게는 표식 검출부(120)는 촬영된 카메라 영상에서 천정에 부착한 표식의 위치 및 ID를 검출하기 위해 작업 공간에 설치한 모든 표식에 LED를 On 시키는 명령을 무선 송신모듈(112)을 통해 전송하고, 무선통신을 사용하기 때문에 일정거리 안에 존재하는 표식만 On 명령을 수신하게 된다. On 명령을 수신한 표식만을 대상으로 표식 검출부(120)는 이진 탐색을 이용하여 촬영한 영상에서 2개의 표식을 검출한다. 로봇과 표식 사이에 사용하는 무선 통신은 종류에 관계없이 송수신 거리의 제한을 받는다. 예를 들어, 적외선 통신은 송수신 거리가 10m(제작하는 방법에 따라 편차가 있음)이다. 따라서 적외선 통신 모듈을 사용할 경우 로봇에 장착한 송신 모듈 기준으로 10m 내에 있는 표식만이 로봇이 송신하는 on 신호를 받을 수 있 다. 최초에 이런 방법을 사용함으로써 표식을 찾는데 걸리는 시간을 최소화하고, 10m 내에서 반응하는 표식만을 상대로 이진탐색 방법을 이용하여 표식을 찾는다.In detail, the mark detector 120 transmits a command to turn on the LEDs on all the marks installed in the work space through the wireless transmission module 112 to detect the position and ID of the mark attached to the ceiling from the photographed camera image. And, because the wireless communication is used, only the mark existing within a certain distance receives the On command. The marker detection unit 120 detects two markers from the captured image using binary search only for the markers receiving the On command. Wireless communication used between the robot and the marker is limited by the transmission and reception distance regardless of the type. For example, infrared communication has a transmission / reception distance of 10 m (variation depending on the method of production). Therefore, when using the infrared communication module, only the mark within 10m of the transmission module mounted on the robot can receive the on signal transmitted by the robot. Using this method first minimizes the time it takes to find the marker, and uses the binary search method to find the marker only for markers that respond within 10 meters.

즉, 천정에 설치된 모든 표식에 대해 ON-OFF를 반복하며 촬영한 영상의 차를 비교하면서 찾는다면 시간이 많이 소모되기 때문에, 표식 검출부(120)에서는 이진 탐색(Binary Search) 방법을 적용하여 천정에 붙어 있는 다수개의 표식 중에서, 로봇의 머리 위에 있는 표식, 즉, 로봇에 장착한 카메라가 촬영한 영상에 존재하는 2개의 표식을 찾는다. 이 이진 탐색 방법을 설명하면 다음과 같다. 우선, 촬영한 카메라 영상 안에 존재하는 2개의 표식의 ID를 획득하기 위해 천정에 부착된 모든 표식들 중 1/2에 해당하는 표식에 카메라의 무선 송수신 기능을 이용해 LED ON 신호를 보내고, 카메라를 이용하여 표식을 추출했을 때, 표식이 로봇이 송신한 On 신호를 수신하여 표식의 LED가 ON된 경우에는, 이 표식들만을 대상으로 무작위 1/2에 해당하는 표식에 다시 On 신호를 보내고 카메라를 이용하여 표식을 추출하고, 이 추출된 ON된 표식의 1/2에 해당하는 표식에 On 신호를 보내는 방식으로 1/2씩 표식의 개수를 줄여가며 On 신호를 보내고, 카메라를 이용하여 표식을 추출하는 작업을 반복 수행함으로써 최종적으로 2개의 표식을 검출한다.That is, since it takes a lot of time to repeat the ON-OFF for all the markers installed on the ceiling and compares the difference of the captured images, the marker detection unit 120 applies the binary search method to the ceiling. Among the plurality of markers attached, the marker on the robot's head, that is, the two markers existing in the image captured by the camera mounted on the robot, is found. This binary search method is described as follows. First of all, in order to obtain the IDs of the two markers existing in the captured camera image, the LED ON signal is sent to the one-half of all the markers attached to the ceiling by using the camera's wireless transmit / receive function, and the camera is used. When the marker is extracted, if the marker receives the On signal sent by the robot and the LED of the marker is turned on, the marker is sent to the marker corresponding to the random 1/2 for only these markers and the camera is used. By extracting the marker, and sending the On signal to the marker corresponding to 1/2 of the extracted ON marker by reducing the number of markers by 1/2 and sending the On signal, using the camera to extract the marker By repeating the operation, two markers are finally detected.

위 작업을 통해 획득한 두 표식의 위치(영상)를 이용하여 로봇위치 검출부(130)에서 로봇의 위치 및 방위를 계산한다. 여기서, 작업 환경의 천정에 부착되는 n개의 표식 중 획득되는 최초 2개의 표식은 기준(World coordinate)좌표 상의 실측 위치를 미리 입력하는 선행 작업이 필요하다. 3번째 표식부터는 본 발명에서 제안하는 표식위치 추적부에 의해 기준 좌표상의 표식의 위치를 계산 가능하다.The robot position detection unit 130 calculates the position and orientation of the robot using the positions (images) of the two marks obtained through the above operation. Here, the first two markers obtained from the n markers attached to the ceiling of the working environment require a preliminary operation of inputting the actual measurement position on the world coordinate. From the third mark it is possible to calculate the position of the mark on the reference coordinates by the mark position tracking unit proposed in the present invention.

로봇위치 검출부(130)는 도 3에서 표현된 표식의 기준 좌표 위치와 영상 좌표 위치를 이용하여 다음과 같은 수식(식 (1)부터 식 (8))을 거쳐 이동 로봇의 위치 및 방향을 계산한다. 로봇의 중심에 카메라를 장착할 경우, 로봇의 위치는 카메라 영상의 중심 좌표와 동일하며 로봇의 방향은 도 1과 같이 표현할 수 있다.The robot position detector 130 calculates the position and direction of the mobile robot through the following equations (Equations (1) to (8)) using the reference coordinate position and the image coordinate position of the marker represented in FIG. 3. . When the camera is mounted at the center of the robot, the position of the robot is the same as the center coordinate of the camera image, and the direction of the robot may be expressed as shown in FIG. 1.

우선, 도 3을 이용하여 기준 좌표계(World Coordinate)와 영상 좌표계(Image Coordinate) 그리고 임시 좌표계(Extra Coordinate)의 설정 및 각 좌표계 상에서 표식 및 로봇의 위치를 표현하는 방법을 정의한다. 기준 좌표계는 모든 표식 및 로봇의 위치를 표현하는 기준이 되는 좌표계이다. 영상 좌표계는 카메라 영상의 좌표계를 그대로 사용한다. 임시 좌표계 설정은 영상 처리를 통하여 이미지상에서

의 픽셀위치를 계산한 후, 계산된 위치를 이용하여

을 원점으로

을

축 방향으로 설정하여 임시 좌표계를 설정한다. First, a reference coordinate system (World Coordinate), an image coordinate system (Image Coordinate) and an extra coordinate system (Extra Coordinate) is set and a method of expressing the position of the marker and the robot on each coordinate system is defined. The reference coordinate system is a coordinate system that becomes a reference for expressing all the marks and the position of the robot. The image coordinate system uses the coordinate system of the camera image as it is. Temporary coordinate system setting is performed on the image through image processing.

After calculating the pixel position of, use the calculated position

To origin

of

Set the temporary coordinate system by setting in the axial direction.

다음은 각 좌표계에서 표식 및 이동 로봇의 표현을 정리한 것이다.The following is a summary of markers and mobile robots in each coordinate system.

-

: 기준 좌표계 상에서 이동 로봇과 표식 위치 표현-

: Representation of mobile robot and marker position in reference coordinate system

-

: 영상 좌표계 상에서 이동 로봇과 표식 위치 표현-

: Representation of Mobile Robot and Marker Position in Image Coordinate System

-

: 임시 좌표계 상에서 이동 로봇과 표식 위치 표현-

: Representation of mobile robot and marker position in temporary coordinate system

각 좌표계에서 표식(L) 및 이동 로봇(P)의 표현을 이용하여, 임시 좌표계에서 두 개의 표식을 이용하여 이동 로봇의 위치를 계산하는 수식은 다음과 같다.Equation for calculating the position of the mobile robot using two markers in the temporary coordinate system using the representations of the marker L and the mobile robot P in each coordinate system is as follows.

그리고, 기준 좌표계와 영상좌표계의 단위 통일을 위하여 파라미터를 정의한다.A parameter is defined for unit unification of the reference coordinate system and the image coordinate system.

로봇위치 검출부(130)의 정지상태의 이동 로봇의 위치를 계산하는 모듈(131)은 정지 상태에서의 이동 로봇의 최종 위치를 식(1)과 식(5)를 이용하여 계산한다.The module 131 for calculating the position of the mobile robot in the stationary state of the robot position detector 130 calculates the final position of the mobile robot in the stationary state by using Equations (1) and (5).

로봇의 최종위치 Pw 는 식(5)에 식(1)을 대입하면 식 (12)가 되며, 이동 로봇 최종 위치는 이 식(12)로 계산한다.The final position Pw of the robot is obtained by substituting Eq. (1) into Eq. (5), which is calculated by Equation (12).

여기서, Pw는 계산된 이동 로봇의 최종위치인 기준좌표계상의 이동 로봇의 위치이며, Pi는 영상좌표계상에서 이동 로봇의 위치이고, Rwe는 임시좌표계가 기준(절대)좌표계에 대하여 얼마나 회전이동 했는지 알려주는 회전벡터이고, Rie는 영상좌표계가 임시좌표계에 대하여 얼마나 회전이동 했는지 알려주는 회전 벡터이고, Tie는 영상좌표계가 임시좌표계에 대하여 얼마나 평행이동 했는지 알려주는 평행이동 벡터이고, Twe는 임시좌표계가 기준(절대)좌표계에 대하여 얼마나 평행이동 했는지 알려주는 평행이동 벡터이고, s는 영상 상에서 두 표식과 실제 두 표식 사이의 거리 비율이다.Here, Pw is the position of the mobile robot on the reference coordinate system which is the final position of the calculated mobile robot, Pi is the position of the mobile robot on the image coordinate system, and Rwe indicates how much the temporary coordinate system has rotated relative to the reference (absolute) coordinate system. Is a rotation vector, Rie is a rotation vector indicating how much the video coordinate system has rotated with respect to the temporary coordinate system, Tie is a translation vector indicating how much the image coordinate system has moved with respect to the temporary coordinate system, and Twe is a reference to the temporary coordinate system. It is a translation vector that tells how parallel the coordinate system is, and s is the ratio of the distance between the two markers and the actual two markers on the image.

그리고, 이동 로봇의 방위는And the bearing of the mobile robot

으로 계산한다.Calculate

표식(200)의 LED(230)를 점멸하며 얻은 영상을 이용하여 이동 로봇(100)의 위치를 계산하는 방법은 이동 로봇이 정지한 상태에서만 가능하다. 이동 로봇이 움직이는 상태에서는 LED(230)를 점멸하는 동안 이미 이동 로봇은 위치 이동이 발생한 후이기 때문에 LED(230) 점멸 전후의 영상을 이용하여 영상에서 표식의 위치를 계산하는 것(LED 점멸 전후 영상 픽셀의 Gray level 차이 계산)은 불가능하다. 따라서 본 발명에서는 도 4와 같이 이동 로봇이 이동하는 상태에서도 로봇위치 검출부(130)의 실시간으로 이동상태의 로봇의 위치를 계산하는 모듈(132)에서, 로봇의 위치를 다음과 같이 얻는다.The method of calculating the position of the mobile robot 100 using the image obtained by blinking the LED 230 of the mark 200 is possible only when the mobile robot is stopped. Since the mobile robot is already after position movement while the mobile robot is blinking while the mobile robot is moving, calculating the position of the marker in the image using the image before and after the LED 230 blinks (the image before and after the LED blinking). It is not possible to calculate the gray level difference of pixels. Therefore, in the present invention, the position of the robot is obtained in the module 132 for calculating the position of the robot in the mobile state in real time of the robot position detector 130 even when the mobile robot moves as shown in FIG. 4.

도 4(a)와 같이 정지상태에서 로봇 위치 측위에 필요한 표식 ID와 영상좌표를 표식 검출부(120)에서 획득하고, 획득한 표식의 영상좌표를 중심으로 일정크기의 마스크를 설정한다. 모든 표식의 LED를 On 시키고, 도 4(b)와 같이 로봇 이동 후, 로봇위치 검출부(130)의 실시간으로 로봇의 위치를 계산하는 모듈(132)에서 표식의 영상좌표는 설정한 마스크 영역만을 찾는 방법으로 위치를 계산한다. 로봇의 이동에 따라 이 작업을 반복한다.As shown in FIG. 4A, the marker ID and the image coordinate required for positioning the robot in the stationary state are acquired by the marker detector 120, and a mask having a predetermined size is set based on the image coordinate of the acquired marker. After turning on the LEDs of all the markers and moving the robot as shown in FIG. 4 (b), the image coordinates of the markers in the module 132 calculating the position of the robot in real time by the robot position detector 130 find only the set mask area. To calculate the position. Repeat this operation as the robot moves.

또, 도 5와 같이 높이가 다른 천정에 표식을 설치할 경우, 로봇위치 검출부(130)의 표식(200)이 부착된 천정의 높이가 다른 경우 로봇의 위치를 계산하는 모듈(133)에서, 이동 로봇의 위치를 계산하기 위해서는 표식의 영상좌표를 보정해야 한다.In addition, when installing the mark on the ceiling with a different height as shown in Figure 5, in the module 133 for calculating the position of the robot when the height of the ceiling to which the mark 200 of the robot position detection unit 130 is attached, the mobile robot In order to calculate the position of, the image coordinate of the marker must be corrected.

본 발명에서는 다음과 같은 방법으로 영상을 보정한다.In the present invention, the image is corrected by the following method.

여기서, 카메라 초점 거리

와 각 천정의 높이

는 고정된 값이다. 그러나, d1은 이동 로봇과 표식까지의 거리로, 이동 로봇의 위치에 따라 변하기 때문에 아래와 같은 방법으로 계산하여 식(9)에 대입한다.Where the camera focal length

And the height of each ceiling

Is a fixed value. However, since d1 is the distance between the mobile robot and the mark, and varies depending on the position of the mobile robot, d1 is calculated by the following method and substituted into equation (9).

식 (10)의 d1을 식(9)에 대입하면, 보정된 표식으로부터의 이동 로봇의 위치는,Substituting d1 in equation (10) into equation (9), the position of the mobile robot from the corrected mark is

이다.to be.

표식위치 추정부(140)은 작업 공간에 새로운 표식이 부착될 경우, 표식의 기준 좌표상의 위치를 계산하는 것으로, 새로운 표식의 기준 좌표를 계산하는 방법은 식(1)과 식(5)를 응용하여 계산할 수 있다. 식(1)과 식(5)에서 Pw는 로봇의 기준 좌표계에서 표현된 실제 위치이다. Pw를 계산하기 위하여 Pi를 영상좌표계의 중심이라고 가정하고, 새로운 표식이 영상에 나타날 경우, 이동 로봇의 무선 수신 모듈(113)을 통하여 ID를 확인하고, 영상에 나타난 새로운 표식의 영상좌표를 Pi로 대체하여 로봇의 위치를 계산한다. 이러한 과정을 반복하여 이동 로봇의 위치를 계산함으로써 새로운 표식의 실제 위치를 계산할 수 있다.The marker position estimating unit 140 calculates a position on the reference coordinate of the marker when a new marker is attached to the work space. The method of calculating the reference coordinate of the new marker uses equations (1) and (5). Can be calculated. In equations (1) and (5), Pw is the actual position expressed in the robot's reference coordinate system. In order to calculate Pw, it is assumed that Pi is the center of the image coordinate system, and when a new mark appears in the image, the ID is checked through the wireless receiving module 113 of the mobile robot, and the image coordinate of the new mark shown in the image is Pi. Substitute the position of the robot. By repeating this process, the position of the mobile robot can be calculated to calculate the actual position of the new marker.

즉, 위 식(12)에서 이동 로봇의 영상좌표상의 위치 Pi를 새로운 표식의 영상좌표로 대체하여 계산하여 구한 실제 위치 Pw가 바로 새로운 표식의 실제 위치(기준좌표상의 위치)가 되는 것이다. 식으로 표현하면,That is, the actual position Pw calculated by replacing the position Pi on the image coordinate of the mobile robot with the image coordinate of the new marker in Equation (12) is the actual position of the new marker (the position on the reference coordinate). In expressions,

이다.to be.

여기서, Rwe는 임시좌표계가 기준(절대)좌표계에 대하여 얼마나 회전이동 했 는지 알려주는 회전벡터이고, Rie는 영상좌표계가 임시좌표계에 대하여 얼마나 회전이동 했는지 알려주는 회전 벡터이고, Tie는 영상좌표계가 임시좌표계에 대하여 얼마나 평행이동 했는지 알려주는 평행이동 벡터이고, Twe는 임시좌표계가 기준(절대)좌표계에 대하여 얼마나 평행이동 했는지 알려주는 평행이동 벡터이고, s는 영상 상에서 두 표식과 실제 두 표식 사이의 거리 비율이고, Gi는 새로운 표식의 영상좌표상 위치이며, Gw는 새로운 표식의 실제위치(기준좌표위치)이다.Where Rwe is a rotation vector indicating how much the temporary coordinate system has rotated relative to the reference (absolute) coordinate system, Rie is a rotation vector indicating how much the image coordinate system has rotated relative to the temporary coordinate system, and Tie is a temporary vector A translation vector that tells how parallel the coordinate system has been translated, Twe is a translation vector that tells how the temporary coordinate system has translated to the reference (absolute) coordinate system, and s is the distance between the two markers on the image and the actual two markers. Is the ratio, Gi is the position on the image coordinate of the new marker, and Gw is the actual position (reference coordinate position) of the new marker.

표식위치 추정부(140)에서 계산되는 새로운 표식의 위치를 이용하여 로봇의 토폴로지 맵을 만드는 토폴로지 맵 구성부(150)는 토폴로지 맵(Topology map)을 생성하기 위해 노드(node)를 설정하고, 노드와 노드 사이의 거리 정보를 필요로 한다. The topology map constructing unit 150, which creates a topology map of the robot using the position of the new mark calculated by the mark position estimating unit 140, sets a node to generate a topology map. Needs distance information between and nodes.

본 발명에서는 도 6과 같이 공간에 표식을 설치할 때, 표식 자체를 토폴로지 맵의 노드로 이용한다. 즉, 사거리나 갈림길이 존재하거나 임의로 표식을 설치할 경우, 표식 자체를 토폴로지 맵의 노드로 설정하는 것이다. 각 노드 사이의 거리 정보는 작업 공간에 새로운 표식을 부착할 경우 표식의 절대 좌표상의 표식의 위치를 계산하는 표식위치 추정부(140)를 이용하여 측정함으로써, 토폴로지 맵에서 필요로 하는 노드와 노드 사이의 거리 정보를 얻을 수 있다. 이렇게 얻어진 노드 사이의 거리를 이용하여 토폴로지 맵 구성부(150)는 토폴로지 맵을 구성한다. 이러한 방법을 이용하여 기존의 토폴로지 맵과는 달리 손쉽게 노드를 설정할 수 있으며, 이러한 노드간의 거리 정보는 실측 작업을 거치지 않고도, 본 발명에서 제안한 방법을 이용하여 자동으로 계산 가능하다.In the present invention, when the marker is installed in the space as shown in FIG. 6, the marker itself is used as a node of the topology map. In other words, when there is a crossroad or a crossroad, or arbitrarily installs the marker, the marker itself is set as a node of the topology map. The distance information between each node is measured using the marker position estimator 140 which calculates the position of the marker on the absolute coordinate of the marker when a new marker is attached to the work space. Distance information can be obtained. The topology map constructing unit 150 constructs a topology map by using the distances between the nodes thus obtained. Unlike the existing topology maps, nodes can be easily set using this method, and the distance information between the nodes can be automatically calculated using the method proposed by the present invention without going through the actual work.

로봇 제어부(160)는 토폴로지 맵 구성부(150)에서 만들어진 토폴로지 맵을 이용하여 로봇의 주행을 제어한다. The robot controller 160 controls the running of the robot by using the topology map made by the topology map constructor 150.

그러면, 상기와 같은 구성을 가지는 본 발명에 따른 카메라와 표식을 이용한 이동 로봇의 측위 시스템을 이용한 이동 로봇의 측위 방법에 대해 도 7을 참조하여 설명하기로 한다.Next, a positioning method of the mobile robot using the positioning system of the mobile robot using the camera and the mark according to the present invention having the above configuration will be described with reference to FIG. 7.

도 7은 본 발명의 실시예에 따른 이동 로봇의 측위 시스템을 이용한 이동 로봇의 측위 방법의 흐름도를 나타낸 것이다.  7 is a flowchart illustrating a positioning method of a mobile robot using a positioning system of a mobile robot according to an embodiment of the present invention.

무선 수신 모듈(113)을 통해 표식(200)의 ID를 수신하고, 무선 송신 모듈(112)을 통해 LED ON 명령을 송신하여 특정 파장 대역내의 천정에 부착된 표식(200)을 점멸시킨 후, 적외선 필터(111)가 장착된 카메라를 통해 표식(200)을 촬영한다(S710). 촬영된 영상에 대해 이진 탐색 방법을 이용하여 2개의 표식을 검출한다(S720).After receiving the ID of the mark 200 through the wireless receiving module 113, and transmits the LED ON command through the wireless transmitting module 112 to flash the mark 200 attached to the ceiling in a specific wavelength band, and then infrared The marker 200 is photographed through the camera equipped with the filter 111 (S710). Two markers are detected using the binary search method on the captured image (S720).

이진 탐색 방법(Binary search method)으로 카메라 영상에서 2개의 표식을 찾는 방법은 로봇이 송신한 LED ON 신호를 수신한 표식들만을 대상으로 이 표식들 중의 무작위 1/2에 해당하는 표식에 다시 LED ON 신호를 보내고, 카메라를 이용하여 표식을 추출하고, 다시 1/2씩 표식의 개수를 줄여가면서 LED ON 신호를 보내고, 카메를 이용하여 표식을 추출하는 작업을 반복 수행하여 최종적으로 2개의 표식을 표식 검출부(120)에서 검출한다.The binary search method finds two markers in the camera image.Only for the markers receiving the LED ON signal sent by the robot, the LEDs turn on again at a random half of these markers. Send the signal, extract the markers using the camera, send the LED ON signal while reducing the number of markers by 1/2, and extract the markers using the camera repeatedly to finally mark the two markers. The detection unit 120 detects it.

이렇게 구해진 2개의 표식을 이용하여 로봇위치 검출부(130)에서 이동 로봇의 위치 및 방위를 구한다(S730). 이동 로봇의 위치 및 방위는 로봇의 상태에 따라 구하는 방법이 다르다. 로봇이 정지상태이면, 2개의 표식을 이용하여 식 (1)과 식 (5)를 통해 로봇의 최종 위치를 구하고, 식 (8)을 통해 이동 로봇의 방위를 계산한다. 로봇이 이동상태이면, 이동 로봇의 위치는 구해진 2개의 표식의 영상좌표를 중심으로 일정크기의 마스크를 설정하고, 이동 후의 표식의 영상좌표에 대해 설정한 일정크기의 마스크 영역을 찾는 방법으로 이동 로봇의 위치를 계산한다. 이 작업을 반복함으로써 실시간 로봇의 이동시의 위치를 계산할 수 있다. 또, 도 5와 같이 표식을 부착하는 천정의 높이가 다른 경우, 로봇의 위치는 표식의 영상좌표를 식 (11)과 같이 보정하여 구한다.Using the two marks thus obtained, the robot position detector 130 obtains the position and orientation of the mobile robot (S730). The position and orientation of the mobile robot differ depending on the state of the robot. If the robot is stationary, the final position of the robot is obtained from equations (1) and (5) using two markers, and the orientation of the mobile robot is calculated from equation (8). When the robot is in a moving state, the position of the mobile robot is set by setting a mask of a constant size around the image coordinates of the two markers obtained, and finding a mask area of a predetermined size that is set for the image coordinate of the marker after the movement. Calculate the position of. By repeating this operation, the position at the time of movement of the real-time robot can be calculated. In addition, when the height of the ceiling to which the mark is attached is different as shown in FIG. 5, the position of the robot is obtained by correcting the image coordinate of the mark as shown in Equation (11).

로봇의 위치가 구해지면, 표식위치 추정부(140)에서는 작업 공간에 새로운 표식에 대해 표식의 위치를 계산하고(S740), 이 표식을 토폴로지 맵을 생성하기 위한 노드로 설정하여 토폴로지 맵 구성부(150)에서 토폴로지 맵을 구성한다(S750). 만들어진 토폴로지 맵을 이용하여 로봇 제어부(160)는 로봇의 주행을 제어한다(S760). Once the position of the robot is obtained, the marker position estimating unit 140 calculates the position of the marker for the new marker in the work space (S740), and sets the marker as a node for generating the topology map. In step 150, the topology map is configured. Using the generated topology map, the robot controller 160 controls the driving of the robot (S760).

이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.Although the present invention has been described in more detail with reference to some embodiments, the present invention is not necessarily limited to these embodiments, and various modifications can be made without departing from the spirit of the present invention.

상술한 바와 같이, 본 발명에 의한 카메라와 표식을 이용한 이동 로봇의 측위 시스템 및 방법은 기존의 방법에 비하여 2개의 표식만을 이용하여 로봇의 위치 및 방향을 더욱 쉽고 간편하게 측정할 수 있으며, 새롭게 추가되는 표식의 위치는 실측 작업이 필요 없이 자동으로 계산 가능하고, 또한, 새롭게 설치되는 표식들을 이용하여 로봇의 위치를 측정할 수 있는 공간을 무한히 늘려갈 수 있고, 새롭게 설치되는 표식 자체를 노드로 이용하여 노드 사이의 거리 정보를 자동으로 계산하여 토폴로지 맵을 자동적으로 생성할 수 있어 로봇을 주행할 수 있는 효과가 있다.As described above, the positioning system and method of the mobile robot using the camera and the marker according to the present invention can measure the position and direction of the robot more easily and simply using only two markers, compared to the existing method, and newly added The location of the marker can be calculated automatically without the need for actual measurement work, and the newly installed markers can be used to increase the space for measuring the position of the robot indefinitely, and the newly installed marker itself can be used as a node. The distance map between the two can be automatically calculated to generate the topology map automatically.

Claims (16)

천정에 부착되는 무선 송수신 기능을 가진 n개의 표식; 및N markers with radio transmit / receive functionality attached to the ceiling; And 상기 표식을 촬영하는 카메라;A camera for photographing the mark; 천정에 부착된 상기 표식을 점멸시킨 후 상기 카메라를 이용하여 촬영한 영상에서 상기 표식의 위치 및 ID를 획득하여 최소 두 개의 표식을 검출하는 표식 검출부;A mark detection unit for detecting at least two marks by flashing the mark attached to the ceiling and acquiring the position and ID of the mark in the image photographed using the camera; 상기 검출된 표식을 이용하여 이동 로봇의 위치를 계산하는 로봇위치 검출부;A robot position detector for calculating a position of a mobile robot using the detected mark; 작업 공간에 새로운 표식이 부착될 경우, 상기 새로운 표식의 절대 좌표상의 위치를 계산하는 표식위치 추정부;A marker position estimating unit for calculating a position in absolute coordinates of the new marker when a new marker is attached to a work space; 상기 계산된 새로운 표식의 위치를 이용하여 이동 로봇의 토폴로지 맵을 만드는 토폴로지 맵 구성부; 및 A topology map constructing unit for creating a topology map of the mobile robot using the calculated position of the new mark; And 상기 만들어진 토폴로지 맵을 이용하여 이동 로봇의 주행을 제어하는 로봇 제어부를 포함하여 구성되는 이동 로봇으로 이루어지는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 시스템.Positioning system of a mobile robot using a camera and a marker, characterized in that consisting of a mobile robot comprising a robot control unit for controlling the running of the mobile robot using the topology map. 제 1항에 있어서, The method of claim 1, 상기 표식은 특정 ID를 내장하고, 특정 파장 대역에서 발광하는 적외선 발광 소자(LED)와 무선 송수신 모듈을 포함하고 있으며, 상기 카메라는 상기 특정 파장 대역만을 통과시켜 상기 표식의 적외선 LED를 검출하는 적외선 필터를 포함하여 구성되는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 시스템.The marker includes an infrared light emitting diode (LED) and a wireless transmission / reception module that have a specific ID and emit light in a specific wavelength band, and the camera detects the infrared LED of the marker by passing only the specific wavelength band. Positioning system of a mobile robot using a camera and a marker, characterized in that comprises a. 제 1항에 있어서, 상기 표식 검출부는,The method of claim 1, wherein the marker detection unit, 상기 천정에 부착된 n개의 표식에 대해 이진 탐색(Binary Search)을 적용하여 카메라 영상에 존재하는 최소 두 개의 표식을 검출하는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 시스템.Positioning system of the mobile robot using the camera and the marker, characterized in that for detecting at least two markers present in the camera image by applying a binary search (n Binary Search) for the n markers attached to the ceiling. 제 1항에 있어서, 상기 로봇위치 검출부는,The method of claim 1, wherein the robot position detection unit, 상기 이동 로봇이 정지 상태이면 상기 검출된 두 개의 표식의 영상을 이용하여 이동 로봇의 현재 위치 및 방위를 계산하는 모듈, 상기 이동 로봇이 이동 상태이면 실시간으로 이동 로봇의 위치를 계산하는 모듈 및 표식이 부착된 천정의 높이가 다른 경우 이동 로봇의 위치를 계산하는 모듈을 포함하여 구성되는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 시스템.A module for calculating the current position and orientation of the mobile robot using the images of the detected two marks when the mobile robot is stationary, and a module and a mark for calculating the position of the mobile robot in real time when the mobile robot is moved Positioning system of a mobile robot using a camera and a marker, characterized in that it comprises a module for calculating the position of the mobile robot when the height of the attached ceiling is different. 제 4항에 있어서, 상기 이동 로봇이 정지 상태일 때, 상기 검출된 두 개의 표식의 영상을 이용하여 이동 로봇의 현재 위치 및 방위를 계산하는 모듈은 아래 수학식을 이용하여 이동 로봇의 현재 위치(Pw)를 계산하는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 시스템.According to claim 4, When the mobile robot is stationary, the module for calculating the current position and orientation of the mobile robot by using the images of the two markers detected by using the following equation of the current position of the mobile robot ( Positioning system of a mobile robot using a camera and a marker, characterized in that to calculate Pw).

여기서, Pw는 계산된 이동 로봇의 최종위치인 기준좌표계상의 이동 로봇의 실제 위치, Pi는 영상좌표계상에서 이동 로봇의 위치, Rwe는 임시좌표계가 기준(절대)좌표계에 대하여 얼마나 회전이동 했는지 알려주는 회전벡터, Rie는 영상좌표계가 임시좌표계에 대하여 얼마나 회전이동 했는지 알려주는 회전 벡터, Tie는 영상좌표계가 임시좌표계에 대하여 얼마나 평행이동 했는지 알려주는 평행이동 벡터, Twe는 임시좌표계가 기준(절대)좌표계에 대하여 얼마나 평행이동 했는지 알려주는 평행이동 벡터, s는 영상 상에서 두 표식과 실제 두 표식 사이의 거리 비율이다.Where Pw is the actual position of the mobile robot on the reference coordinate system, the final position of the calculated mobile robot, Pi is the position of the mobile robot on the image coordinate system, and Rwe is the rotation indicating how much the temporary coordinate system has rotated relative to the reference (absolute) coordinate system. Vector, Rie is a rotation vector indicating how much the visual coordinate system has rotated with respect to the temporary coordinate system, and Tie is a translation vector indicating how much the image coordinate system has moved with respect to the temporary coordinate system, and Twe is the temporary coordinate system with the reference (absolute) coordinate system. The translation vector, s, which tells how parallel the translation has been, is the ratio of the distance between the two markers and the actual two markers on the image. 제 5항에 있어서, 상기 이동 로봇이 정지 상태일 때, 상기 검출된 두 개의 표식의 영상을 이용하여 로봇의 현재 위치 및 방위를 계산하는 모듈은 아래의 수학식을 이용하여 이동 로봇의 방위(θr)를 계산하는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 시스템.According to claim 5, When the mobile robot is stationary, the module for calculating the current position and orientation of the robot by using the images of the two markers detected by using the following equation the orientation of the mobile robot (θr Positioning system of a mobile robot using a camera and a marker, characterized in that to calculate.

제 4항에 있어서, 상기 이동 로봇이 이동 상태일 때, 실시간으로 이동 로봇의 위치를 계산하는 모듈은 상기 획득한 표식의 영상좌표를 중심으로 일정크기의 마스크를 설정하고, 이동 로봇의 이동 후의 표식의 영상좌표에 대해 상기 설정한 마스크 영역만을 찾음으로써 이동 로봇의 위치를 계산하는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 시스템.The mobile station of claim 4, wherein the module for calculating the position of the mobile robot in real time when the mobile robot is in a moving state sets a mask having a predetermined size around the image coordinates of the acquired mark, and the marker after the movement of the mobile robot. A positioning system of a mobile robot using a camera and a marker, characterized in that the position of the mobile robot is calculated by finding only the set mask area with respect to the image coordinate. 제 4항에 있어서, 상기 표식이 부착된 천정의 높이가 다른 경우 로봇의 위치를 계산하는 모듈은 상기 표식의 영상좌표를 아래 수학식을 이용하여 보정함으로써 이동 로봇의 위치를 계산하는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 시스템.The method of claim 4, wherein the module for calculating the position of the robot when the height of the ceiling to which the mark is attached is calculated by calculating the position of the mobile robot by correcting the image coordinates of the mark using the following equation. Positioning system of mobile robot using camera and marker.

여기서, P'는 보정된 표식의 영상좌표로부터의 이동 로봇의 위치이고, P는 보정전 표식으로부터 이동 로봇의 위치이고, h1, h2는 천정의 높이이다.Here, P 'is the position of the mobile robot from the image coordinate of the corrected mark, P is the position of the mobile robot from the precorrection mark, and h1 and h2 are the heights of the ceiling. 제 1항에 있어서, 상기 표식위치 추정부는,The method of claim 1, wherein the marker position estimating unit, 작업 공간에 새로운 표식이 부착될 경우, 상기 카메라로 촬영된 상기 새로운 표식의 ID를 확인하고, 수학식 (12)를 이용하여 이동 로봇의 위치(Pw)를 계산함으로써 상기 영상에 나타난 새로운 표식의 기준좌표상의 위치(Gw)를 수학식 (13)과 같이 계산하는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 시스템.When a new mark is attached to the work space, the ID of the new mark photographed by the camera is checked, and the new mark shown in the image is calculated by calculating the position Pw of the mobile robot using Equation (12). A positioning system for a mobile robot using a camera and a marker, which calculates a position Gw in coordinates as shown in Equation (13).

여기서, Pw는 계산된 이동 로봇의 최종위치인 기준좌표계상의 이동 로봇의 실제 위치, Pi는 영상좌표계상에서 이동 로봇의 위치, Rwe는 임시좌표계가 기준(절대)좌표계에 대하여 얼마나 회전이동 했는지 알려주는 회전벡터, Rie는 영상좌표계가 임시좌표계에 대하여 얼마나 회전이동 했는지 알려주는 회전 벡터, Tie는 영상좌표계가 임시좌표계에 대하여 얼마나 평행이동 했는지 알려주는 평행이동 벡터, Twe는 임시좌표계가 기준(절대)좌표계에 대하여 얼마나 평행이동 했는지 알려주는 평행이동 벡터, s는 영상 상에서 두 표식과 실제 두 표식 사이의 거리 비율, Gi는 새로운 표식의 영상좌표상 위치, Gw는 새로운 표식의 실제위치(기준좌표상 위치)이다.Where Pw is the actual position of the mobile robot on the reference coordinate system, the final position of the calculated mobile robot, Pi is the position of the mobile robot on the image coordinate system, and Rwe is the rotation indicating how much the temporary coordinate system has rotated relative to the reference (absolute) coordinate system. Vector, Rie is a rotation vector indicating how much the visual coordinate system has rotated with respect to the temporary coordinate system, and Tie is a translation vector indicating how much the image coordinate system has moved with respect to the temporary coordinate system, and Twe is the temporary coordinate system with the reference (absolute) coordinate system. The translation vector that tells how much the translation has moved relative to the image, where s is the ratio of the distance between the two markers and the actual two markers on the image, Gi is the position on the image coordinate of the new marker, and Gw is the actual position of the new marker (position on the reference coordinate). . 제 9항에 있어서, 상기 토폴로지 맵 구성부는,The method of claim 9, wherein the topology map configuration unit, 상기 표식을 노드로 설정하고, 상기 표식위치 추정부에서 구해진 새로운 표식의 위치를 이용하여 상기 노드와 노드 사이의 거리 정보를 얻어 토폴로지 맵을 구성하는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 시스템.Positioning of the mobile robot using a camera and a marker, wherein the marker is set as a node and a distance map between the node and the node is obtained by using the position of the new marker obtained by the marker position estimating unit. system. 제 2항에 있어서, 상기 표식의 적외선 발광소자(LED)는 상기 표식과 카메라의 무선 통신 기능에 의해 on/off 되는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 시스템.3. The positioning system of a mobile robot using a camera and a marker according to claim 2, wherein the infrared light emitting element (LED) of the marker is turned on / off by the wireless communication function of the marker and the camera. (a) 카메라로 촬영한 표식의 영상에서 표식을 검출하여 이동 로봇의 위치를 계산하는 단계;(a) calculating the position of the mobile robot by detecting the marker in the image of the marker photographed by the camera; (b) 새로운 표식이 작업 공간에 추가될 경우, 상기 구해진 이동 로봇의 위치를 이용하여 상기 추가된 표식의 위치를 구하는 단계; (b) if a new mark is added to the work space, finding the position of the added mark using the obtained position of the mobile robot; (c) 상기 추가된 표식을 노드로 설정하여 토폴로지 맵을 구성하는 단계; 및(c) configuring the added marker as a node to construct a topology map; And (d) 상기 구성된 토폴로지 맵과 상기 구해진 이동 로봇의 위치를 이용하여 이동 로봇의 주행을 제어하는 단계;(d) controlling driving of the mobile robot using the constructed topology map and the obtained position of the mobile robot; 로 이루어지는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측 위 방법.Positioning method of a mobile robot using a camera and a marker, characterized in that consisting of. 제 12항에 있어서, 상기 (a) 단계는,The method of claim 12, wherein step (a) comprises: (e) 상기 이동 로봇의 무선 송수신 모듈을 이용하여 표식의 ID를 획득하고, 상기 표식을 점멸 시킨후, 카메라로 천정의 표식 영상을 촬영하는 단계;(e) acquiring an ID of the mark using a wireless transmission / reception module of the mobile robot, flashing the mark, and photographing the ceiling mark image with a camera; (f) 상기 촬영한 표식 영상에 대해 이진탐색을 적용하여 최소 두 개의 표식을 검출하는 단계; 및 (f) detecting at least two markers by applying binary search to the captured marker image; And (g) 상기 검출된 두 개의 표식을 이용하여 이동 로봇의 위치 및 방위를 계산하는 단계;(g) calculating the position and orientation of the mobile robot using the detected two marks; 로 이루어지는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 방법.Positioning method of a mobile robot using a camera and a marker, characterized in that consisting of. 제 13항에 있어서, 상기 (e) 단계에서, The method of claim 13, wherein in step (e), 상기 표식은 적외선 발광소자(LED)로 구성되고, 상기 카메라는 특정 파장영역만을 통과시키는 적외선 필터로 구성되어 상기 적외선 발광소자(LED)를 점멸시킨 후 상기 표식을 촬영하는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 방법.The marker is composed of an infrared light emitting device (LED), and the camera is composed of an infrared filter passing only a specific wavelength region, the camera and the marker, characterized in that the flashing the infrared light emitting device (LED) and then photographing the marker. Positioning method of mobile robot using 제 13항에 있어서, 상기 (g) 단계는,The method of claim 13, wherein step (g) 상기 이동 로봇이 정지 상태이면, 상기 두 개의 표식을 이용하여 아래의 수학식을 통해 이동 로봇의 최종 위치(Pw)를 계산하고,When the mobile robot is in a stationary state, the final position Pw of the mobile robot is calculated by the following equation using the two marks, 상기 이동 로봇이 이동 상태이면, 상기 두 개의 표식의 영상좌표를 중심으로 일정크기의 마스크를 설정하고, 이동 로봇의 이동 후의 표식의 영상좌표에 대해 상기 설정된 마스크 영역을 찾는 것을 통해 이동 로봇의 위치를 계산하는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 방법.When the mobile robot is in a moving state, a mask having a predetermined size is set around the image coordinates of the two markers, and the position of the mobile robot is determined by finding the set mask area with respect to the image coordinate of the marker after the movement of the mobile robot. Positioning method of a mobile robot using a camera and a marker, characterized in that the calculation.

여기서, Pw는 계산된 이동 로봇의 최종위치인 기준좌표계상의 이동 로봇의 실제 위치, Pi는 영상좌표계상에서 이동 로봇의 위치, Rwe는 임시좌표계가 기준(절대)좌표계에 대하여 얼마나 회전이동 했는지 알려주는 회전벡터, Rie는 영상좌표계가 임시좌표계에 대하여 얼마나 회전이동 했는지 알려주는 회전 벡터, Tie는 영상좌표계가 임시좌표계에 대하여 얼마나 평행이동 했는지 알려주는 평행이동 벡터, Twe는 임시좌표계가 기준(절대)좌표계에 대하여 얼마나 평행이동 했는지 알려주는 평행이동 벡터, s는 영상 상에서 두 표식과 실제 두 표식 사이의 거리 비율이다.Where Pw is the actual position of the mobile robot on the reference coordinate system, the final position of the calculated mobile robot, Pi is the position of the mobile robot on the image coordinate system, and Rwe is the rotation indicating how much the temporary coordinate system has rotated relative to the reference (absolute) coordinate system. Vector, Rie is a rotation vector indicating how much the visual coordinate system has rotated with respect to the temporary coordinate system, and Tie is a translation vector indicating how much the image coordinate system has moved with respect to the temporary coordinate system, and Twe is the temporary coordinate system with the reference (absolute) coordinate system. The translation vector, s, which tells how parallel the translation has been, is the ratio of the distance between the two markers and the actual two markers on the image. 제 15항에 있어서, 상기 (g) 단계에서 이동 로봇의 위치를 계산할 때, 상기 표식이 부착된 천정의 높이가 다른 경우, 상기 표식의 영상좌표를 아래의 수학식을 통해 보정하여 이동 로봇의 위치를 구하는 것을 특징으로 하는 카메라와 표식을 이용한 이동 로봇의 측위 방법.The position of the mobile robot according to claim 15, wherein when calculating the position of the mobile robot in step (g), if the height of the ceiling to which the mark is attached is different, the image coordinate of the mark is corrected through the following equation. Positioning method of a mobile robot using a camera and a marker, characterized in that to obtain a.

여기서, P'는 보정된 표식의 영상좌표로부터의 이동 로봇의 위치이고, P는 보정전 표식으로부터 이동 로봇의 위치이고, h1, h2는 천정의 높이이다.Here, P 'is the position of the mobile robot from the image coordinate of the corrected mark, P is the position of the mobile robot from the precorrection mark, and h1 and h2 are the heights of the ceiling.

Images