KR101439921B1 - Slam system for mobile robot based on vision sensor data and motion sensor data fusion - Google Patents

Slam system for mobile robot based on vision sensor data and motion sensor data fusion Download PDF

Info

Publication number
KR101439921B1
KR101439921B1 KR1020120107975A KR20120107975A KR101439921B1 KR 101439921 B1 KR101439921 B1 KR 101439921B1 KR 1020120107975 A KR1020120107975 A KR 1020120107975A KR 20120107975 A KR20120107975 A KR 20120107975A KR 101439921 B1 KR101439921 B1 KR 101439921B1
Authority
KR
South Korea
Prior art keywords
robot
information
sensor
processing device
map
Prior art date
Application number
KR1020120107975A
Other languages
Korean (ko)
Other versions
KR20140003987A (en
Inventor
조동일
이태재
반욱
이창훈
김태일
장병문
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Publication of KR20140003987A publication Critical patent/KR20140003987A/en
Application granted granted Critical
Publication of KR101439921B1 publication Critical patent/KR101439921B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/026—Acoustical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

환경에 대한 정보와 로봇의 이동 정보를 획득하는 비젼 센서 및 모션 센서; 비젼 센서와 모션센서의 정보를 처리하여 로봇의 위치를 추정하고, 특징점 정보 또는 공간 점유 정보를 계산하는 처리장치; 처리장치에서 계산된 정보를 이용하여 지도를 갱신하는 지도 작성 장치; 및 작성된 지도와 로봇의 위치를 바탕으로 로봇의 주행을 결정하는 주행 결정장치를 포함하는 이동로봇의 SLAM 시스템이 개시된다. 본 발명의 일 실시 예에 따른 비젼 센서 정보와 모션 센서 정보를 융합한 SLAM 시스템을 이용하면 로봇의 위치인식 및 지도 작성의 문제에서 시스템 전체의 정확도가 향상되는 이점이 있다.A vision sensor and a motion sensor for acquiring information on the environment and movement information of the robot; A processing device for processing information of the vision sensor and the motion sensor to estimate the position of the robot, and calculating minutia information or space occupancy information; A map creating device for updating the map using information calculated by the processing device; And a travel determining device for determining the travel of the robot on the basis of the created map and the position of the robot. According to the SLAM system in which vision sensor information and motion sensor information are fused with each other according to an embodiment of the present invention, there is an advantage that accuracy of the entire system is improved in the problem of position recognition and mapping of the robot.

Description

비젼 센서 정보와 모션 센서 정보를 융합한 모바일 로봇용 ＳＬＡＭ 시스템 {SLAM SYSTEM FOR MOBILE ROBOT BASED ON VISION SENSOR DATA AND MOTION SENSOR DATA FUSION}TECHNICAL FIELD [0001] The present invention relates to a SLAM system for mobile robots that combines vision sensor information and motion sensor information,

본 발명은 비젼 센서 정보와 모션 센서 정보를 융합하여 고정확도의 위치인식 및 지도 작성(SLAM : Simultaneous Localization and Mapping)을 수행하는 시스템에 관한 것이다.The present invention relates to a system for performing highly accurate position recognition and mapping (SLAM: Simultaneous Localization and Mapping) by fusing vision sensor information and motion sensor information.

이동로봇은 극한 환경 또는 위험 지역에서 사람을 대신하여 작업을 수행할 수 있기 때문에 최근 많은 각광을 받고 있다. 또한 청소 로봇과 같이 자율적으로 집안을 돌아다니면서 가사 업무를 도와주는 가정용 이동로봇도 다수 보급되었다. 이동로봇이 자율적으로 이동하면서 임무를 수행하기 위해서는 자기 위치인식 및 환경에 대한 인식 기술이 필수적이며, 대표적인 위치인식 및 환경에 대한 인식 기술에는 SLAM(Simultaneous Localization and Mapping) 기법이 있다.Mobile robots have been attracting much attention in recent years because they can perform work on behalf of people in extreme environments or dangerous areas. In addition, a number of home mobile robots, such as cleaning robots, have been widely used to help household workers autonomously while traveling around the house. In order for the mobile robot to perform its mission while moving autonomously, self-location recognition and environment recognition technology are essential. Typical localization and environmental recognition techniques include SLAM (Simultaneous Localization and Mapping).

SLAM은 로봇이 미지의 환경을 돌아다니면서 로봇에 부착되어 있는 센서를 이용하여 스스로 위치를 인식하고 주변 환경에 대한 지도를 작성하는 작업으로 로봇의 자율주행을 위한 핵심 기술이다. SLAM 알고리즘은 초기 위치에서 주변 환경의 지도를 작성하고, 작성된 지도를 바탕으로 다시 이동한 로봇의 위치를 알아내는 과정을 반복하여 로봇의 위치와 주변 환경의 지도를 동시에 추정한다.SLAM is a core technology for autonomous navigation of robots by recognizing its own position using a sensor attached to the robot and creating a map of the surrounding environment while the robot moves around the unknown environment. The SLAM algorithm creates a map of the surrounding environment at the initial position and estimates the position of the robot and the map of the surrounding environment by repeating the process of finding the position of the moved robot based on the created map.

종래의 이동로봇의 SLAM 기술은 대부분 비젼 센서만을 이용하여 위치인식 및 환경에 대한 지도 작성을 수행한다. 하지만 비젼 센서는 로봇의 이동으로 인하여 신호의 번짐(blurring) 현상이 발생할 수 있으며, 동적인 환경에서 비젼 센서의 정확도가 감소하게 되는 문제점이 있다. 따라서 비젼 센서만을 이용하여 위치인식 및 지도 작성을 수행하게 될 경우 센서의 오차로 인하여 위치인식 및 지도 작성의 오차가 커지게 된다.SLAM technology of conventional mobile robots mostly uses the vision sensor to map the location and the environment. However, the vision sensor may cause signal blurring due to movement of the robot, and the accuracy of the vision sensor is reduced in a dynamic environment. Therefore, when the position recognition and the map creation are performed using only the vision sensor, the error of the position recognition and the mapping becomes larger due to the error of the sensor.

상기 문제를 해결하기 위하여 비젼센서 정보와 모션센서 정보를 융합하여 이동로봇의 위치인식 및 지도 작성을 수행하는 시스템을 제안한다. 카메라, 레이저 센서, 초음파 센서 등의 비젼 센서로부터 SLAM을 위한 비젼 정보를 획득할 수 있다. MEMS(Micro Electro Mechanical Systems) 기술의 발달로 저가의 관성센서를 손쉽게 구할 수 있으며, 일반적인 휠 로봇(wheeled robot)에는 엔코더가 장착되어 있다. 관성센서와 엔코더를 이용하면 로봇의 모션 정보를 손쉽게 획득할 수 있다. 본 발명은 비젼 정보와 모션 정보를 융합하여 정확도를 향상시킨 SLAM 방법을 제공하는 것이다.In order to solve the above problem, a system for performing position recognition and mapping of a mobile robot by fusing vision sensor information and motion sensor information is proposed. Vision information for SLAM can be acquired from vision sensors such as cameras, laser sensors, and ultrasonic sensors. With the development of MEMS (Micro Electro Mechanical Systems) technology, low-cost inertial sensors can be easily obtained, and a wheeled robot is equipped with an encoder. The motion information of the robot can be easily obtained by using the inertial sensor and encoder. The present invention provides a SLAM method that improves accuracy by blending vision information and motion information.

전술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이동로봇의 SLAM 시스템은 비젼 센서 정보와 모션 센서 정보를 융합한 SLAM 시스템으로서, 환경에 대한 정보를 획득하는 비젼 센서; 로봇의 모션정보를 획득하는 모션 센서; 상기 비젼 센서와 모션 센서의 정보를 처리하여 특징점 정보 또는 공간 점유 정보를 계산하고 로봇의 위치를 추정하는 처리장치; 상기 처리장치에서 추정한 로봇의 위치와 특징점 정보 또는 공간 점유 정보를 이용하여 지도를 작성하는 지도 작성 장치; 및 상기 로봇의 주행을 결정하는 주행 결정 장치를 포함한다.According to another aspect of the present invention, there is provided an SLAM system for a mobile robot, the SLAM system including a vision sensor information and motion sensor information, the vision sensor comprising: a vision sensor for acquiring information on an environment; A motion sensor for acquiring motion information of the robot; A processing unit for processing information of the vision sensor and the motion sensor to calculate minutia information or space occupancy information and to estimate the position of the robot; A map creating device for creating a map by using the position of the robot and the minutia information or the space occupancy information estimated by the processing device; And a travel determining device for determining the traveling of the robot.

상기 처리장치는, 단안 카메라, 양안 카메라, 레이저 센서 또는 초음파 센서 등으로 구성된 비젼 센서의 데이터를 처리하여 영상 내의 특징점 정보 혹은 공간 점유정보를 계산하고, 이 정보들과 작성된 지도를 이용하여 지도 내에서의 로봇의 위치를 추정하는 제 1 처리장치; 가속도 센서, 각속도 센서 또는 로봇 엔코더로 구성된 모션 센서의 데이터를 처리하여 로봇의 이동정보를 파악하는 제 2 처리장치; 및 제 1 처리장치에서 추정한 로봇의 위치 및 제 2 처리장치에서 파악한 로봇의 이동정보를 융합하여 로봇의 위치를 재추정하는 제 3 처리장치를 포함할 수 있다.The processing apparatus processes data of a vision sensor constituted by a monocular camera, a binocular camera, a laser sensor or an ultrasonic sensor, calculates minutia information or space occupancy information in the image, A first processing device for estimating a position of the robot of the robot; A second processing device for processing data of a motion sensor composed of an acceleration sensor, an angular velocity sensor or a robot encoder to grasp movement information of the robot; And a third processing device for repositioning the robot by fusing the position of the robot estimated by the first processing device and the movement information of the robot detected by the second processing device.

상기 제 1 처리장치에서 추정된 로봇의 위치는 비젼 센서의 정보만을 이용하여 계산한 로봇의 위치이다.The position of the robot estimated by the first processing device is the position of the robot calculated using only the information of the vision sensor.

상기 제 2 처리장치에서 모션센서의 정보를 이용한 로봇의 이동정보는 가속도 센서 및 엔코더로부터 계산된 로봇의 병진운동 성분과 각속도 센서로부터 계산된 로봇의 회전운동 성분을 포함하는 정보가 될 수 있다.The movement information of the robot using the information of the motion sensor in the second processing device may be information including the translational motion component of the robot calculated from the acceleration sensor and the encoder and the rotational motion component of the robot calculated from the angular velocity sensor.

상기 제 1 처리장치에서 비젼센서 정보를 이용한 로봇 위치와 상기 제 2 처리장치에서 모션센서 정보를 이용한 로봇의 이동정보의 계산 과정은 로봇 좌표계 기준의 센서 정보를 월드 좌표계 기준의 정보로 변환하는 과정을 포함할 수 있다.The process of calculating the movement information of the robot using the motion sensor information in the first processing apparatus and the robot position using the vision sensor information and the process of converting the sensor information based on the robot coordinate system into the information based on the world coordinate system, .

상기 제 3 처리장치에서 추정하는 로봇의 위치는 제 1 처리장치에서 전송된 비젼센서의 정보만을 이용하여 계산된 로봇의 위치와, 제 2 처리장치에서 계산된 로봇의 이동 정보를 확률 기반의 데이터 융합 기법을 사용하여 재추정한 로봇의 위치가 될 수 있다.The position of the robot estimated by the third processing device is determined based on the position of the robot calculated using only the information of the vision sensor transmitted from the first processing device and the movement information of the robot calculated by the second processing device, Can be a repositioned robot position.

상기 지도 작성 장치는 제 3 처리장치에서 제 1 처리장치의 정보와 제 2 처리장치의 정보를 융합하여 재추정한 로봇의 위치와 제 1 처리장치에서 획득한 특징점 정보 혹은 공간 점유 정보를 이용하여 지도를 확장 및 갱신할 수 있다.The map generating apparatus is configured to map the position of the robot re-estimated by fusing the information of the first processing apparatus and the information of the second processing apparatus in the third processing apparatus and the minutia information or the space occupancy information acquired by the first processing apparatus, Can be expanded and updated.

상기 주행 결정 장치는 지도 작성 장치에서 갱신된 지도 및 제 3 처리장치에서 추정된 로봇의 위치를 기반으로 지도 작성의 완성을 위한 로봇의 주행 경로를 결정하여 로봇을 이동시킬 수 있다.The driving decision apparatus can move the robot by determining the traveling route of the robot for completion of the map based on the map updated by the map creating apparatus and the position of the robot estimated by the third processing apparatus.

본 발명의 일 실시 예에 따른 비젼 센서 정보와 모션 센서 정보를 융합한 SLAM 시스템을 이용하면 로봇의 위치인식 및 지도 작성의 문제에서 시스템 전체의 정확도가 향상되는 이점이 있다. 구체적으로는, 비젼 센서 외에 모션 센서의 정보를 입력받기 때문에, 동적인 환경에서의 비젼 센서의 부정확성을 보상하여 로봇의 위치인식 성능이 향상되고, 위치인식 성능 향상은 지도 작성의 정확성 증가를 뜻하게 되며, 결국 SLAM 시스템 전체의 정확도가 향상된다.According to the SLAM system in which vision sensor information and motion sensor information are fused with each other according to an embodiment of the present invention, there is an advantage that accuracy of the entire system is improved in the problem of position recognition and mapping of the robot. Specifically, since the information of the motion sensor is input in addition to the vision sensor, the position recognition performance of the robot is improved by compensating the inaccuracy of the vision sensor in the dynamic environment, and the improvement of the position recognition performance means the accuracy of the mapping is increased , Which in turn improves the accuracy of the entire SLAM system.

도 1은 본 발명의 일 실시 예에 따른 비젼 센서와 모션 센서 정보를 융합한 SLAM 시스템의 동작을 개략적으로 나타낸 블록도.
도 2는 본 발명의 일 실시 예에 따른 비젼 센서와 모션 센서 정보를 융합한 SLAM 시스템의 방법을 도시한 순서도.1 is a block diagram schematically illustrating the operation of a SLAM system in which a vision sensor and motion sensor information are fused according to an embodiment of the present invention.
2 is a flowchart illustrating a method of a SLAM system in which a vision sensor and motion sensor information are fused according to an embodiment of the present invention.

이하에서, 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세히 살펴본다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 일 실시 예에 따른 비젼 센서와 모션 센서 정보를 융합한 SLAM 시스템의 동작을 개략적으로 나타낸 블록도이다.1 is a block diagram schematically illustrating the operation of a SLAM system in which a vision sensor and motion sensor information are fused according to an embodiment of the present invention.

도 1을 참조하면, 상기 실시 예에 따른 비젼 센서와 모션 센서 정보를 융합한 SLAM 시스템은 비젼 센서(110), 모션 센서(120), 처리장치(200), 지도 작성 장치(130), 주행 결정장치(140)를 포함하여 구성된다.Referring to FIG. 1, a SLAM system in which a vision sensor and motion sensor information are fused with a vision sensor 110, a motion sensor 120, a processing device 200, a map generating device 130, And a device (140).

본 발명의 일 실시 예에서 비젼 센서(110)는 주변 환경을 파악하는 센서로 단안 카메라, 양안 카메라, 레이저 센서, 초음파 센서 등을 포함할 수 있다.In an exemplary embodiment of the present invention, the vision sensor 110 may include a monocular camera, a binocular camera, a laser sensor, an ultrasonic sensor, and the like.

본 발명의 일 실시 예에서 모션센서(120)는 로봇의 모션을 감지하는 센서로 가속도센서, 각속도센서, 로봇에 부착된 엔코더 등을 포함할 수 있다.In one embodiment of the present invention, the motion sensor 120 may include an acceleration sensor, an angular velocity sensor, an encoder attached to the robot, and the like, for sensing the motion of the robot.

본 발명의 일 실시 예에서 처리장치(200)는 제 1 처리장치(210), 제 2 처리장치(220), 제 3 처리장치(230)를 포함하여 구성된다.In one embodiment of the present invention, the processing apparatus 200 includes a first processing apparatus 210, a second processing apparatus 220, and a third processing apparatus 230.

제 1 처리장치(210)는 비젼 센서(110)로부터 입력되는 주변 환경에 대한 정보를 처리하는 장치이다. 비젼 센서(110)가 단안 카메라 혹은 양안 카메라 등으로 구성되는 경우 제 1 처리장치(210)는 입력된 영상의 특징점을 추출하고, 작성된 특징점 지도의 랜드마크들과의 비교를 통하여 영상 내의 랜드마크의 위치를 검출하고, 새로운 랜드마크를 식별하는 작업을 포함할 수 있다. 미리 위치를 알고 있는 랜드마크가 영상 내에 검출되면, 미리 작성된 특징점 지도를 이용하여 로봇의 위치를 계산할 수 있다. 비젼 센서(110)가 레이저 혹은 초음파 등의 센서로 구성될 경우에는 입력된 데이터를 처리하여 로봇 좌표계 기준의 공간상의 점유를 결정하여 작성된 점유 지도를 이용하여 로봇의 위치를 계산할 수 있다. The first processing device 210 is a device that processes information on the surrounding environment input from the vision sensor 110. When the vision sensor 110 is configured by a monocular camera or a binocular camera, the first processing device 210 extracts the feature points of the input image, compares the generated feature points with the landmarks of the generated feature point map, Detecting the location, and identifying the new landmark. When a landmark having a known position is detected in the image, the position of the robot can be calculated using a previously prepared feature point map. When the vision sensor 110 is constituted by a sensor such as a laser or an ultrasonic wave, input data is processed to determine occupancy in space based on the robot coordinate system, and the position of the robot can be calculated using the created occupancy map.

비젼 센서(110)로부터 입력된 데이터를 처리하여 추정된 로봇의 위치정보는 제3 처리장치(230)로 전송된다. 제 1 처리장치(210)에서 검출된 특징점 정보 또는 공간 점유 정보 또한 제3 처리장치(230)로 전송된다.The position information of the robot, which has been processed by processing the data inputted from the vision sensor 110, is transmitted to the third processing device 230. The minutia information or the space occupancy information detected by the first processing device 210 is also transmitted to the third processing device 230. [

제 2 처리장치(220)는 모션 센서(120)로부터 입력되는 로봇의 이동(odometry)에 대한 정보를 처리하는 장치로 로봇의 이동정보를 계산하는 장치이다. 모션 센서(120)는 가속도 센서, 각속도 센서, 로봇의 엔코더 등을 포함하여 구성될 수 있는데, 가속도 센서 혹은 엔코더 정보를 이용하여 로봇의 병진운동 성분을 계산할 수 있으며 각속도 센서를 이용하여 로봇의 회전운동 성분을 계산할 수 있다. 계산된 로봇의 이동정보는 제 3 처리장치(230)로 전송된다.The second processing device 220 is a device for processing information on odometry of a robot inputted from the motion sensor 120, and calculating the movement information of the robot. The motion sensor 120 may include an acceleration sensor, an angular velocity sensor, and an encoder of the robot. The motion sensor 120 may calculate the translational motion component of the robot using the acceleration sensor or the encoder information, The components can be calculated. The calculated movement information of the robot is transmitted to the third processing device 230.

제 1 처리장치에서 비젼센서 정보를 이용한 로봇 위치와 제 2 처리장치에서 모션센서 정보를 이용한 로봇의 이동정보의 계산 과정에는 로봇 좌표계 기준의 센서 정보를 월드 좌표계 기준의 정보로 변환하는 과정을 포함한다.The process of calculating the movement information of the robot using the robot position using the vision sensor information in the first processing device and the motion sensor information in the second processing device includes a process of converting the sensor information based on the robot coordinate system into the information based on the world coordinate system .

제 3 처리장치(230)는 제 1 처리장치(210)에서 계산된 로봇의 위치와 제 2 처리장치(220)에서 계산된 로봇의 이동정보를 융합하여 로봇의 위치를 재추정하는 장치이다. 비젼센서 정보와 모션센서 정보의 융합을 통하여 로봇 위치 추정의 정확도가 향상된다. 정보를 융합하는 과정은 확률 기반 추정 과정을 포함할 수 있으며, 칼만 필터, 확장 칼만 필터, 파티클 필터, 언센티드(Uncented) 칼만 필터 등을 이용할 수 있다. 제 3 처리장치(230)에서는 추정된 로봇의 위치와 제 1 처리장치(210)에서 입력된 특징점 정보 또는 공간 점유 정보를 지도 작성 장치(130)로 전송한다.The third processor 230 is a device for repositioning the robot by fusing the position of the robot calculated by the first processor 210 and the movement information of the robot calculated by the second processor 220. Accuracy of robot position estimation is improved through fusion of vision sensor information and motion sensor information. The process of fusing information may include a probability-based estimation process, and may employ a Kalman filter, an extended Kalman filter, a particle filter, an Uncented Kalman filter, and the like. The third processing unit 230 transmits the estimated robot position and the minutia information or space occupation information input from the first processing unit 210 to the map generating unit 130.

본 발명의 일 실시 예에서, 지도 작성 장치(130)는 제 3 처리장치(230)에서 입력된 로봇의 위치와 제 1 처리장치에서 계산된 특징점 정보 또는 공간 점유 정보를 바탕으로 환경에 대한 지도를 갱신하는 장치이다. 초기 지도가 작성되지 않은 상태라면, 입력된 특징점 정보 또는 공간 점유 정보를 바탕으로 지도를 작성하기 시작하고, 지도를 작성하는 중에 있다면 현재까지 작성된 지도와 지도 내의 로봇의 위치, 입력된 특징점 정보 또는 점유 정보를 이용하여 지도를 갱신하는 작업을 포함할 수 있다.In an embodiment of the present invention, the map generating device 130 generates a map of the environment based on the position of the robot input by the third processing device 230 and the minutia information or the space occupancy information calculated by the first processing device . If the initial map is not created, the map is started to be created based on the input minutia information or the space occupied information. If the initial map is not created, the position of the robot in the map and the map, And updating the map using the information.

본 발명의 일 실시 예에서, 주행 결정 장치(140)는 로봇의 지도 작성을 위하여 로봇의 주행을 결정하는 장치이다. 지도를 작성하는 중에 있다면, 작성된 지도 상에서 미지의 환경을 향하여 로봇을 주행 시키는 방법 등을 포함할 수 있다.In one embodiment of the present invention, the driving decision apparatus 140 is a device for determining the running of the robot for mapping the robot. And a method of traveling the robot toward an unknown environment on the created map when the map is being created.

도 2는 본 발명의 일 실시 예에 따른 이동로봇의 SLAM 방법을 도시한 순서도 이다.2 is a flowchart illustrating a SLAM method of a mobile robot according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 SLAM 방법은 비젼센서 정보와 모션센서 정보를 융합한 SLAM 방법으로서, 우선, 비젼센서(110) 및 모션센서(120)의 데이터를 처리장치(200)로 전송한다(S210). 비젼센서(110)의 데이터는 제 1 처리장치(210)로 전송되며, 모션센서 정보는 제 2 처리장치(220)로 전송된다. Referring to FIG. 2, the SLAM method of the present invention is a SLAM method of combining vision sensor information and motion sensor information. First, the data of the vision sensor 110 and the motion sensor 120 are transmitted to the processing device 200 (S210). The data of the vision sensor 110 is transmitted to the first processing device 210, and the motion sensor information is transmitted to the second processing device 220.

다음으로, 비젼센서(110)와 모션센서(120)에서 전송된 데이터를 처리하여 로봇의 위치를 추정한다(S220). 로봇의 위치를 추정하는 과정은 제 1 처리장치에서 비젼센서(110) 정보만을 이용하여 로봇의 위치를 계산하는 과정과, 제 2 처리장치에서 모션센서(120) 정보를 이용하여 로봇의 이동정보를 계산하는 과정과, 제 1 처리장치(210)와 제 2 처리장치(220)에서 계산된 정보를 확률기반의 데이터 융합 기법을 이용하여 로봇의 위치를 재추정하는 과정을 포함한다. Next, the position of the robot is estimated by processing the data transmitted from the vision sensor 110 and the motion sensor 120 (S220). The process of estimating the position of the robot includes the steps of calculating the position of the robot using only the vision sensor 110 information in the first processing apparatus and the movement information of the robot using the motion sensor 120 information in the second processing apparatus And a process of repositioning the robot by using a probability-based data fusion technique on the information calculated by the first processing device 210 and the second processing device 220.

이어서, 지도 작성장치(130)에서 추정된 로봇의 위치와 제 1 처리장치(210)에서 계산된 비젼 정보를 이용하여 지도를 작성한다(S230). 제 1 처리장치(210)에서 계산된 비젼 정보란 비젼센서(110)의 데이터를 처리하여 계산한 특징점 정보 또는 공간 점유 정보를 포함한다.Then, a map is created using the position of the robot estimated by the mapping device 130 and the vision information calculated by the first processing device 210 (S230). The vision information calculated by the first processing device 210 includes minutia information or space occupancy information calculated by processing data of the vision sensor 110. [

다음으로, 주행 결정 장치(140)에서 작성된 지도를 바탕으로 로봇의 주행을 결정하고 로봇을 주행시킨다(S240). 로봇의 주행을 결정하는 방법에는 작성된 지도상의 미지의 환경을 향해 로봇을 주행시키는 방법 등을 포함할 수 있다. Next, based on the map generated by the driving decision apparatus 140, the robot is determined to run and the robot is driven (S240). A method for determining the running of the robot may include a method of running the robot toward an unknown environment on the created map.

다음으로, 지도 작성이 완성되었는지를 판단한 후(S250) 지도작성이 완료되지 않았다면 상기 과정을 지도작성이 완료될 때까지 수행한다. 지도작성이 완료되면 전체 과정이 종료된다.Next, it is determined whether or not the map creation is completed (S250). If the map creation is not completed, the process is performed until the map creation is completed. When the mapping is completed, the entire process is ended.

110: 비젼 센서
120: 모션 센서
130: 지도 작성 장치
140: 주행 결정 장치
200: 처리장치
210: 제 1 처리 장치
220: 제 2 처리 장치
230: 제 3 처리 장치110: Vision sensor
120: Motion sensor
130: Mapping device
140:
200: Processing device
210: first processing device
220: second processing device
230: Third processing device

Claims (8)

비젼 센서 정보와 모션 센서 정보를 융합한 SLAM 시스템에 있어서,
환경에 대한 정보를 획득하기 위해 단안 카메라, 양안 카메라, 레이저 센서, 초음파 센서 중 적어도 하나를 포함하는 비젼 센서;
로봇의 모션정보를 획득하는 모션 센서;
상기 비젼 센서로부터 입력된 환경에 대한 정보만을 이용하여, 특징점 정보 또는 공간 점유 정보를 추출하여 로봇의 위치를 추정하고, 상기 모션 센서로부터 입력된 모션정보만을 이용하여 로봇의 이동정보를 계산하고, 추정한 로봇의 위치와 계산된 로봇의 이동정보를 융합하여 로봇의 위치를 재추정하는 처리장치;
상기 처리장치에서 추정한 로봇의 위치와 특징점 정보 또는 공간 점유 정보를 이용하여 지도를 작성하는 지도 작성 장치; 및
상기 로봇의 주행을 결정하는 주행 결정 장치를 포함하되,
상기 처리장치는 단안 카메라 또는 양안 카메라로 구성된 비젼 센서의 데이터를 처리하여 랜드마크의 특징점 정보를 이용하여 미리 작성된 지도 내에서의 로봇의 위치를 추정하거나, 레이저 센서 또는 초음파 센서로 구성된 비젼 센서의 데이터를 처리하여 공간 점유정보를 결정하여 로봇의 위치를 계산하는 제 1 처리장치를 포함하되,
상기 제1처리장치는 입력된 영상의 특징점을 추출하고, 미리 작성된 특징점 지도의 랜드마크들과 비교하여, 미리 위치를 알고 있는 랜드마크가 상기 입력된 영상내에 검출되면, 미리 작성된 특징점 지도를 이용하여 로봇의 위치를 계산하는 것을 특징으로 하는 이동로봇의 SLAM 시스템.In a SLAM system in which vision sensor information and motion sensor information are fused,
A vision sensor including at least one of a monocular camera, a binocular camera, a laser sensor, and an ultrasonic sensor to acquire information about the environment;
A motion sensor for acquiring motion information of the robot;
Estimating a position of the robot by extracting minutia information or space occupancy information using only information on the environment input from the vision sensor, calculating movement information of the robot using only motion information input from the motion sensor, A processing device for repositioning a robot by fusing a position of a robot and movement information of the robot;
A map creating device for creating a map by using the position of the robot and the minutia information or the space occupancy information estimated by the processing device; And
And a traveling determining device for determining the traveling of the robot,
The processing apparatus processes data of a vision sensor constituted by a monocular camera or a binocular camera, estimates the position of the robot in a map created in advance using the minutia information of the landmark, or outputs data of a vision sensor composed of a laser sensor or an ultrasonic sensor To calculate space occupancy information, and calculate a position of the robot,
The first processing device extracts feature points of an input image, compares the extracted feature points with landmarks of a previously generated feature point map, and if a previously recognized landmark is detected in the input image, And the position of the robot is calculated. 제1항에 있어서,
상기 처리장치는,
가속도 센서 또는 로봇 엔코더로 구성된 모션 센서의 데이터를 처리하여 로봇의 병진운동 성분을 계산하거나, 각속도 센서로 구성된 모션 센서의 데이터를 처리하여 로봇의 회전성분을 계산하여 로봇의 이동정보를 파악하는 제 2 처리장치; 및
제 1 처리장치에서 추정한 로봇의 위치 및 제 2 처리장치에서 파악한 로봇의 이동정보를 융합하여 로봇의 위치를 다시 추정하는 제 3 처리장치를 더 포함하는 것을 특징으로 하는 이동로봇의 SLAM 시스템.The method according to claim 1,
The processing apparatus includes:
A motion sensor of an acceleration sensor or a robot encoder to calculate the translational motion component of the robot by processing the data of the motion sensor or the data of the motion sensor composed of the angular velocity sensor to calculate the rotation component of the robot, Processing device; And
Further comprising a third processing device for estimating a position of the robot by fusing the position of the robot estimated by the first processing device and the movement information of the robot detected by the second processing device. 삭제delete 삭제delete 제2항에 있어서,
상기 제 1 처리장치에서 비젼센서 정보를 이용한 로봇 위치와 상기 제 2 처리장치에서 모션센서 정보를 이용한 로봇의 이동정보의 계산 과정은 로봇 좌표계 기준의 센서 정보를 월드 좌표계 기준의 정보로 변환하는 과정을 포함하는 것을 특징으로 하는 이동로봇의 SLAM 시스템.3. The method of claim 2,
The process of calculating the movement information of the robot using the motion sensor information in the first processing apparatus and the robot position using the vision sensor information and the process of converting the sensor information based on the robot coordinate system into the information based on the world coordinate system, And the SLAM system of the mobile robot. 제2항에 있어서,
상기 제 3 처리장치에서 추정하는 로봇의 위치는 제 1 처리장치에서 전송된 비젼센서의 정보만을 이용하여 계산된 로봇의 위치와, 제 2 처리장치에서 계산된 로봇의 이동 정보를 확률 기반의 데이터 융합 기법을 사용하여 추정한 로봇의 위치인 것을 특징으로 하는 이동로봇의 SLAM 시스템.3. The method of claim 2,
The position of the robot estimated by the third processing device is determined based on the position of the robot calculated using only the information of the vision sensor transmitted from the first processing device and the movement information of the robot calculated by the second processing device, Wherein the position of the robot is estimated based on the position of the robot. 제1항에 있어서,
상기 지도 작성 장치는 제 3 처리장치에서 추정된 로봇의 위치와 제 1 처리장치에서 획득한 특징점 정보 혹은 공간 점유 정보를 이용하여 지도를 갱신하는 것을 특징으로 하는 이동로봇의 SLAM 시스템.The method according to claim 1,
Wherein the map creating device updates the map using the position of the robot estimated by the third processing device and the minutia information or the space occupancy information acquired by the first processing device. 제1항에 있어서,
상기 주행 결정 장치는 지도 작성 장치에서 갱신된 지도 및 제 3 처리장치에서 추정된 로봇의 위치를 기반으로 지도 작성의 완성을 위한 로봇의 주행 경로를 결정하여 로봇을 이동시키는 것을 특징으로 하는 이동로봇의 SLAM 시스템.The method according to claim 1,
Wherein the driving decision apparatus determines the traveling path of the robot for completion of the map based on the map updated by the map creating apparatus and the position of the robot estimated by the third processing apparatus, SLAM system.
KR1020120107975A 2012-06-25 2012-09-27 Slam system for mobile robot based on vision sensor data and motion sensor data fusion KR101439921B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120068117 2012-06-25
KR1020120068117 2012-06-25

Publications (2)

Publication Number Publication Date
KR20140003987A KR20140003987A (en) 2014-01-10
KR101439921B1 true KR101439921B1 (en) 2014-09-17

Family

ID=50140245

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120107975A KR101439921B1 (en) 2012-06-25 2012-09-27 Slam system for mobile robot based on vision sensor data and motion sensor data fusion

Country Status (1)

Country Link
KR (1) KR101439921B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988555B1 (en) 2017-12-05 2019-06-12 충북대학교 산학협력단 Simultaneous localization and mapping system using illumination invariant image, and method for mapping pointcloud thereof
KR20200143217A (en) * 2019-06-14 2020-12-23 엘지전자 주식회사 How to update a map in Fusion Slam and a robot that implements it
KR20240064449A (en) 2022-11-04 2024-05-13 주식회사 벰소프트 A Pattern Matching Method for Measuring The Position of A Driving Robot Using Lidar and A Computer-Readable Recording Medium On Which A Program Performing The Same Is Recorded
WO2024106661A1 (en) * 2022-11-17 2024-05-23 재단법인대구경북과학기술원 Robot and method for estimating position of robot

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101536353B1 (en) * 2014-07-16 2015-07-14 주식회사 매크론 A gesture recognition toy
CN107204015B (en) * 2017-05-27 2021-06-08 中山大学 Instant positioning and mapping system based on color image and infrared image fusion
CN108337915A (en) * 2017-12-29 2018-07-27 深圳前海达闼云端智能科技有限公司 Three-dimensional builds drawing method, device, system, high in the clouds platform, electronic equipment and computer program product
WO2019127445A1 (en) * 2017-12-29 2019-07-04 深圳前海达闼云端智能科技有限公司 Three-dimensional mapping method, apparatus and system, cloud platform, electronic device, and computer program product
CN108279688A (en) * 2018-03-29 2018-07-13 西北农林科技大学 A kind of agricultural robot positioning system
KR102033075B1 (en) 2018-10-05 2019-10-16 (주)한국플랫폼서비스기술 A providing location information systme using deep-learning and method it
KR102259247B1 (en) * 2019-12-06 2021-06-01 한국로봇융합연구원 Strong Localization Method and System through Convergence of Multiple Localization Based on Covariance Matrix
KR102162439B1 (en) * 2019-12-17 2020-10-06 에스케이텔레콤 주식회사 Supporting apparatus for autonomous mobile, and control method thereof
KR102456515B1 (en) * 2020-11-04 2022-10-18 포항공과대학교 산학협력단 Method and system for obtaining 3d optical volume model for underwater objects
KR102456516B1 (en) * 2020-11-04 2022-10-18 포항공과대학교 산학협력단 Method and system for obtaining 3d acoustic volume model for underwater objects
KR20230079670A (en) 2021-11-29 2023-06-07 전진택 Path tracking device and method for agricultural self-driving robot.
CN114147717B (en) * 2021-12-09 2024-05-24 乐聚(深圳)机器人技术有限公司 Robot motion track estimation method, device, controller and storage medium
KR102631313B1 (en) * 2023-06-08 2024-01-31 (주)인티그리트 Device capable of correcting location errors using real-time analysis and contrast between vision data and lidar data for the implementation of simultaneous localization and map-building technology
KR102631315B1 (en) * 2023-06-08 2024-02-01 (주)인티그리트 System capable of correcting location errors using real-time analysis and contrast between vision data and lidar data for the implementation of simultaneous localization and map-building technology

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100098997A (en) * 2009-03-02 2010-09-10 엘지전자 주식회사 Robot cleaner and method for detecting position thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100098997A (en) * 2009-03-02 2010-09-10 엘지전자 주식회사 Robot cleaner and method for detecting position thereof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
신승학, '서비스 로봇의 위치추정을 위한 확률기반의 센서 융합 방법', 한국과학기술원 석사학위논문, 2011 *
신승학, '서비스 로봇의 위치추정을 위한 확률기반의 센서 융합 방법', 한국과학기술원 석사학위논문, 2011*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988555B1 (en) 2017-12-05 2019-06-12 충북대학교 산학협력단 Simultaneous localization and mapping system using illumination invariant image, and method for mapping pointcloud thereof
KR20200143217A (en) * 2019-06-14 2020-12-23 엘지전자 주식회사 How to update a map in Fusion Slam and a robot that implements it
KR102246236B1 (en) 2019-06-14 2021-04-28 엘지전자 주식회사 How to update a map in Fusion Slam and a robot that implements it
KR20240064449A (en) 2022-11-04 2024-05-13 주식회사 벰소프트 A Pattern Matching Method for Measuring The Position of A Driving Robot Using Lidar and A Computer-Readable Recording Medium On Which A Program Performing The Same Is Recorded
WO2024106661A1 (en) * 2022-11-17 2024-05-23 재단법인대구경북과학기술원 Robot and method for estimating position of robot

Also Published As

Publication number Publication date
KR20140003987A (en) 2014-01-10

Similar Documents

Publication Publication Date Title
KR101439921B1 (en) Slam system for mobile robot based on vision sensor data and motion sensor data fusion
TWI827649B (en) Apparatuses, systems and methods for vslam scale estimation
ES2770730T3 (en) Location within an environment using sensor fusion
US10006772B2 (en) Map production method, mobile robot, and map production system
KR101725060B1 (en) Apparatus for recognizing location mobile robot using key point based on gradient and method thereof
KR101739996B1 (en) Moving robot and simultaneous localization and map-buliding method thereof
KR101782057B1 (en) Apparatus for building map and method thereof
US8213706B2 (en) Method and system for real-time visual odometry
US20100094460A1 (en) Method and apparatus for simultaneous localization and mapping of robot
KR101598385B1 (en) Autonomous driving method and robot using recognition scene based on straight line information
CN104811683A (en) Method and apparatus for estimating position
KR101423139B1 (en) Method for localization and mapping using 3D line, and mobile body thereof
US11351986B2 (en) In-vehicle processing apparatus
JP2012118909A (en) Travel support device
KR20170088228A (en) Map building system and its method based on multi-robot localization
CN102666032A (en) Slip detection apparatus and method for a mobile robot
KR20130073476A (en) Mobile apparatus and localization method of mobile apparatus
KR102219843B1 (en) Estimating location method and apparatus for autonomous driving
KR20130049610A (en) Mobile object and walking robot
RU2740229C1 (en) Method of localizing and constructing navigation maps of mobile service robot
WO2019031168A1 (en) Mobile body and method for control of mobile body
US20190331496A1 (en) Locating a vehicle
CN114326732A (en) Robot autonomous following system and autonomous following control method
KR100784125B1 (en) Method for extracting coordinates of landmark of mobile robot with a single camera
US20230185317A1 (en) Information processing device, information processing system, method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170824

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180820

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190917

Year of fee payment: 6