KR20120046974A - 이동 로봇 및 이동 로봇의 위치인식 및 지도작성 방법 - Google Patents

이동 로봇 및 이동 로봇의 위치인식 및 지도작성 방법 Download PDF

Info

Publication number
KR20120046974A
KR20120046974A KR1020100108561A KR20100108561A KR20120046974A KR 20120046974 A KR20120046974 A KR 20120046974A KR 1020100108561 A KR1020100108561 A KR 1020100108561A KR 20100108561 A KR20100108561 A KR 20100108561A KR 20120046974 A KR20120046974 A KR 20120046974A
Authority
KR
South Korea
Prior art keywords
image
mobile robot
feature point
omnidirectional camera
mapping
Prior art date
Application number
KR1020100108561A
Other languages
English (en)
Other versions
KR101739996B1 (ko
Inventor
윤석준
노경식
형승용
황효석
안성환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100108561A priority Critical patent/KR101739996B1/ko
Priority to US13/218,844 priority patent/US9058521B2/en
Publication of KR20120046974A publication Critical patent/KR20120046974A/ko
Application granted granted Critical
Publication of KR101739996B1 publication Critical patent/KR101739996B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

이동로봇 및 이동로봇의 위치인식 및 지도작성 방법이 개시된다. 본 발명에 따른 이동로봇의 위치인식 및 지도작성 방법은　전방위 카메라를 포함하는 이동 로봇의 위치 인식 및 지도작성 방법으로서, 전방위 카메라에서 전방위 영상을 획득하고, 획득된 전방위 영상을 미리 설정된 기준으로 상하(上下)　분할하여 하부영상인 제 1 영상 및 상부영상인 제 2 영상을 생성하고, 제 1 영상에서 특징점을 추출하고 추출된 특징점의 위치를 전방위 카메라 위치를 기준으로 추적하는 비쥬얼 오도메트리(Visual Odometry) 정보를 산출하고, 산출된 비쥬얼 오도메트리 정보와 제 2영상을 확장칼만필터(Extended Kalman Filter)의 입력으로 하여 이동로봇의 위치인식 및 지도작성을 수행한다.
따라서, 본 발명은 이동로봇의 주행 경로를 따라 촬상되는 바닥면을 이용하여 오도메트리 정보를 산출하므로 바닥면 상태에 관계없이 정확한 오도메트리 정보의 제공이 가능하며 이로인해 로봇 위치인식 및 지도작성의 성능을 향상시킬 수 있다.

Description

이동 로봇 및 이동 로봇의 위치인식 및 지도작성 방법{Moving robot and simultaneous localization and map-buliding method thereof}
본 발명은 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법에 관한 것으로서, 보다 상세하게는 전방위 영상을 이용하여 이동 로봇의 위치 인식 및 지도 작성을 동시에 수행하는 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법 에 관한 것이다.
장애물이 있는 환경에서 움직이는 로봇의 네비게이션(navigation)을 위해서는 자신의 위치를 추적하고, 주위환경에 대한 지도를 작성하는 것이 필수적이다. 이는 작성된 지도를 이용하여 로봇의 경로계획, 객체의 조작 또는 사람과의 통신 등의 작업을 수행할 수 있기 때문이다.
잘 알려지지 않은 환경에서 네비게이션하기 위해서, 로봇은 자신의 위치를 추적하면서 지도를 작성해야 한다. 그러나, 기본적으로 잡음이 있는 적외선 센서 데이터를 사용하여 위치를 추적하고 지도를 작성하게 되므로 계산에 어려움이 있다.
지도 작성은 센서 데이터를 기반으로 하여 자연 또는 인공 표식들을 관측함으로써 환경을 모델링하는 것이며, 이러한 모델링을 통해 로봇은 자신의 경로를 설정하게 된다. 한편, 복잡한 환경에 대한 모델링을 수행하기 위해서는 위치추적이 보장되어야만 신뢰할만한 지도를 작성할 수 있게 된다.
위치 추적은 여러 센서 정보와 자연 표식(natural landmark) 등을 이용하여 작업환경 내에서 로봇의 절대위치를 파악하는 것을 말한다. 로봇이 주행하는 동안 여러 원인(바퀴와 지면과의 미끄러짐 현상, 바퀴 직경의 변경 등)에 의해 오차가 발생하므로 주행이 진행될수록 로봇의 위치에 오차가 발생하게 된다. 따라서, 이를 보정하기 위한 방법이 필요하다.
본 발명의 일 측면에 의하면 획득된 전방위 영상을 미리 설정된 기준으로 상하분할하고 하부 영상으로 오도메트리 정보를 산출하여 산출된 오도메트리 정보를 기초로 위치인식 및 지도작성을 수행하는 이동로봇 및 이동로봇의 위치인식 및 지도작성 방법을 제공하고자 한다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 이동로봇의 위치인식 및 지도작성 방법은　전방위 카메라를 포함하는 이동 로봇의 위치 인식 및 지도작성 방법으로서, 전방위 카메라에서 전방위 영상을 획득하고, 획득된 전방위 영상을 미리 설정된 기준으로 상하(上下)　분할하여 하부영상인 제 1 영상 및 상부영상인 제 2 영상을 생성하고, 제 1 영상에서 특징점을 추출하고 추출된 특징점의 위치를 전방위 카메라 위치를 기준으로 추적하는 비쥬얼 오도메트리(Visual Odometry) 정보를 산출하고, 산출된 비쥬얼 오도메트리 정보와 제 2영상을 확장칼만필터(Extended Kalman Filter)의 입력으로 하여 이동로봇의 위치인식 및 지도작성을 수행한다.
한편, 전방위 카메라는　이동로봇의 전면에 수평면선과 평행하게 장착될 수 있다.
또한, 비쥬얼 오도메트리의 산출은 제 1 영상에서 특징점을 추출하고, 추출된 특징점의 위치를 현재 전방위 카메라의 위치를 기준으로 산출하고, 전방위 카메라의 이동에 따른 회전벡터(Rotation Vector) 및 병진벡터(Translation Vector)를 산출하고, 산출된 회전벡터 및 병진벡터에 따라 이동된 전방위 카메라의 위치를 기준으로 특징점의 위치를 산출하여 특징점의 위치를 추적하는 과정을 반복할 수 있다.　
또한, 제 1 영상에서의 특징점 추출은 제 1 영상에서 위치가 추적된 특징점이 속하는 영역을 배제한 영역에서 새로운 특징점이 추출될 수 있다.
또한, 미리 설정된 기준은 지표면을 기준으로한 전방위 카메라의 높이일 수 있다.
또한, 이동로봇의 위치인식 및 지도작성은 제 2 영상에서 특징점을 추출하고,산출된 비쥬얼 오도메트리를 주행입력으로 하여 이동로봇과 특징점의 위치를 추정하고, 제 2 영상을 기초로 이동로봇과 특징점의 위치를 보정하여 이동로봇과 특징점의 위치를 갱신할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 이동로봇은 전방위 카메라를 포함하는 이동 로봇으로서, 전방위 카메라에서 획득된 전방위 영상을 미리 설정된 기준으로 상하 분할하여 하부영상인 제 1 영상 및 상부영상인 제 2 영상을 생성하는 영상처리부, 제 1 영상에서 특징점을 추출하고 추출된 특징점의 위치를 전방위 카메라를 기준으로 추적하는 비쥬얼 오도메트리(Visual Odometry)정보 산출부 및 비쥬얼 오도메트리 정보 산출부에서 산출된 비쥬얼 오도메트리 정보와 제 2 영상을 확장칼만필터(Extended Kalman Filter)의 입력으로 하여 이동로봇의 위치인식 및 지도작성을 수행하는 SLAM수행부를 포함한다.
한편, 전방위 카메라는 이동로봇의 전면에 수평면선과 평행하게 장착될 수 있다.
또한, 비쥬얼 오도메트리 산출부는 영상처리부에서 생성된 제 1 영상에서 특징점을 추출하고, 추출된 특징점의 위치를 현재 전방위 카메라의 위치를 기준으로 산출하고, 전방위 카메라의 이동에 따른 회전벡터(Rotation Vector) 및 병진벡터(Translation Vector)를 산출하고, 산출된 회전벡터 및 병진벡터에 따라 이동된 전방위 카메라의 위치를 기준으로 특징점의 위치를 재산출하여 특징점의 위치를 추적하는 과정을 반복할 수 있다.
또한, 비쥬얼 오도메트리 정보 산출부는 제 1 영상에서 위치가 추적된 특징점이 속하는 영역을 배제한 영역에서 새로운 특징점을 추출할 수 있다.
또한, 영상처리부는 지표면을 기준으로한 전방위 카메라의 높이인 미리 설정된 기준으로 획득된 전방위 영상을 분할할 수 있다.
또한, SLAM 수행부는 제 2 영상에서 특징점을 추출하고, 산출된 비쥬얼 오도메트리 정보를 주행입력으로 하여 이동로봇과 추출된 특징점의 위치를 추정하고,제 2 영상을 기초로 이동로봇과 추출된 특징점의 위치를 보정하여 특징점의 위치를 갱신할 수 있다.
상술한 바와 같은 본 발명의 일 실시예에 의한 이동 로봇 및 이동 로봇의 위치인식 및 지도작성 방법에 의하면 로봇의 전면에 장착된 전방위 카메라에서 획득된 영상을 분할하여 생성된 바닥면 영상으로 오도메트리 정보를 산출함으로써 보다 정확한 로봇의 위치인식 및 지도작성이 가능하다.
이로써 이동 로봇의 바퀴가 미끄러지거나 헛돔으로 인한 잘못된 바퀴의 오도메트리 정보를 제공함으로써 유발되었던 로봇 위치인식을 실패하는 문제점을 해결할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇의 외형도이다.
도 2는, 도 1에 도시된 이동 로봇에 설치된 전방위 카메라의 단면도이다.
도 3은 본 발명의 일 실시예에 따른 이동 로봇의 제어블록도이다.
도 4는 본 발명의 다른 실시예에 따른 이동 로봇의 위치 인식 및 지도 작성 방법을 도시한 흐름도이다.
도 5는, 도 1에 도시된 이동 로봇에 설치된 전방위 카메라를 통해 획득된 전방위 영상을 예시한 도면이다.
도 6은, 도 4의 이동 로봇의 동시 위치 인식 및 지도 작성(SLAM)의 개념을 설명하기 위한 도면이다.
도 7은, 도 4의 비쥬얼 오도메트리(Visual Odometry) 정보를 산출하는 방법을 도시한 흐름도이다.
도 8은 특징점 추출을 설명하기 위한 도면이다.
도 9는 이동 로봇이 이동함에 따른 특징점 위치추정을 설명하기 위한 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 이동 로봇 및 이동 로봇의 위치인식 및 지도작성 방법의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇의 외형도이고, 도 2는, 도 1에 도시된 이동 로봇에 설치된 전방위 카메라의 단면도이다.
종래는 이동 로봇의 상면에 장착된 전방위 카메라에서 촬상된 영상을 통해 이동 로봇의 위치인식 및 지도작성을 수행하였다. 이렇게 장착된 전방위 카메라에서 촬상된 영상은 넓은 영역의 정보를 포함하여 장애물 검출 및 회피에 효율적으로 사용될 수 있다는 장점이 있다.
그러나 넓은 영역의 정보를 포함함으로 인해 확률적으로 움직이는 물체가 획득될 가능성이 크며, 이러한 점은 정적 환경을 가정하고 위치를 구하는 위치인식 및 지도작성에 오차를 유발하는 요인이 된다.
또한, 종래의 이동로봇은 바퀴의 오도메트리 정보를 이용하여 위치인식 및 지도작성을 하므로 바닥면의 상태에 따라 바퀴가 미끄러지거나 헛바퀴가 돌경우 잘못된 오도메트리 정보를 제공하여 정확한 이동로봇의 위치인식을 기대할 수 없다.
따라서, 이러한 문제점을 해결하기 위한 본 실시예에 따른 이동 로봇은 도 1에서와 같이 로봇(100)의 전면에 수평면선과 평행하게 전방위 카메라(110)를 장착한다.
상기와 같이 장착된 전방위 카메라(110)로 인해 바닥면 영상의 획득이 가능하고, 상기 획득된 바닥면 영상으로 보다 정확한 이동 로봇(100)의 주행거리를 추정할 수 있다. 상기 추정된 이동 로봇(100)의 주행거리의 정보는 비쥬얼 오도메트리 정보(Visual Odometry)로서, 이에 대한 구체적인 설명은 후술한다.
도 2를 참조하면, 전방위 카메라(110)는 전방위 렌즈(110a)와 CCD 소자(110b)로 구성되며, 전방위 카메라의 전면부에는 곡면 거울이 장착되어 전방위 카메라 주변의 360°영상을 얻을 수 있다. 즉, 임의의 공간 상의 점 Xmir는 곡면 거울 면의 Xmir점에서 반사되어 CCD 소자(110b)에 결상되고 최종적으로 영상 면의 점 Xmir로 나타나는데, 전술한 Xmir는 전방위에 분포하므로 전방위 카메라가 360° 영상을 획득할 수 있는 것이다.
도 3은 본 발명의 일 실시예에 따른 이동 로봇의 제어블록도로서, 전방위 카메라(110), 제어부(120) 및 메모리부(130)를 포함한다.
제어부(120)는 이동 로봇의 전반적인 제어를 수행하는데, 영상처리부(121), 비쥬얼 오도메트리 정보 산출부(122) 및 SLAM 수행부(123)로 구성된다.
영상처리부(121)는 전방위 카메라(110)로부터 획득된 전방위 영상을 메모리부(130)에 저장된 전방위 카메라(110)의 높이(도 1의 h)를 기준으로 상하(上下) 분할한다. 또한, 영상처리부(121)는 분할된 전방위 영상 중 하부영상인 제 1 영상을 비쥬얼 오도메트리 정보 산출부(122)에 전송하고, 상부영상인 제 2 영상은 SLAM 수행부(123)에 전송한다.
비쥬얼 오도메트리 정보 산출부(122)는 영상처리부(121)로부터 전송받은 제 1영상을 이용하여 오도메트리 정보를 산출하고, 그 결과를 SLAM 수행부(123)로 전송한다.
한편, 상기 제 1 영상은 이동 로봇(100)의 주행경로에 따른 바닥면 영상으로서, 비쥬얼 오도메트리 정보 산출부(122)는 이를 이용해 로봇(100)의 주행거리를 정확하게 산출할 수 있도록 한다.
SLAM 수행부(123)는 영상처리부(121)로부터 전송받은 제 2 영상과 오도메트리 정보를 이용하여 이동로봇(100)의 위치인식 및 지도작성을 동시에 수행한다.
구체적으로, SLAM 수행부(123)는 제 2 영상에서 특징점들을 파악하여 추출하여 상기 특징점과 이동 로봇(100)의 위치를 실시간으로 추정하고(Motion Prediction) 제 2 영상을 기초로 이동 로봇(100)의 위치를 보정(Measurement Update)를 수행한다. 또한, 이러한 이동로봇(100)의 위치인식 및 지도작성(SLAM)은 확장칼만필터(Extended Kalman Filter)를 기반으로 구현된다.
한편, 전방위 카메라(110)에서 촬영된 전방위 영상은 360°의 영상이다. 전방위 영상은 배경 및 그 배경과 밝기가 다른 사물 또는 사람과 같은 객체를 담고 있으며, 객체와 배경 사이의 가장자리는 주위 영역보다 어두워 이동 로봇의 위치를 인식하기에 좋은 이정표(Landmark) 역할을 한다. 따라서, 이러한 점들을 본 실시예에서는 특징점이라 칭한다.
도 4는 본 발명의 다른 실시예에 따른 이동 로봇의 위치 인식 및 지도 작성 방법을 도시한 흐름도이다.
먼저, 이동 로봇이 공간 상의 임의의 위치에 놓이면 이동 로봇의 전방위 카메라는 전방위 영상을 촬영한다(210). 전방위 카메라는 SLAM이 수행되는 동안 주기적으로 공간의 전방위 영상을 촬영하여 실시간으로 영상처리부에 제공한다.
영상처리부는 획득된 전방위 영상을 미리 설정된 기준으로 분할한다(220).
구체적으로 영상처리부는 지표면으로부터의 전방위 카메라의 높이(도 1의 h)를 기준으로 전방위 영상을 상하로 분할한다(220). 이로써 영상처리부는 하부영상으로서 바닥면을 촬영한 제 1 영상과 상부영상인 제 2 영상을 생성한다.
도 5는, 도 1에 도시된 이동 로봇에 설치된 전방위 카메라를 통해 획득된 전방위 영상을 예시한 도면으로서, 영상처리부에 의해 미리 설정된 기준(l)으로 하부영상인 제 1 영상(S1) 및 상부영상인 제 2 영상(S2)이 생성됨을 알 수 있다.
전방위 영상이 분할(220)되면, 제 1 영상이 비쥬얼 오도메트리(Visual Odometry) 정보 산출부로 제공된다. 비쥬얼 오도메트리 정보 산출부는 제 1 영상을 이용하여 획득된 바닥면 영상에서 특징점을 추출하고 이를 추적하는 비쥬얼 오도메트리 정보를 산출한다(230).
이는 이동로봇의 바퀴가 바닥면에서 미끄러지거나 헛돌 경우에 실제 주행거리와 바퀴의 주행거리가 상이해지고 이로 인해 이동로봇의 위치인식이 실패하는 문제점을 방지할 수 있다.
한편, 비쥬얼 오도메트리 정보를 산출하는 구체적인 방법은 도 7을 통해 설명한다.
비쥬얼 오도메트리 정보가 산출(230)되면, SLAM 수행부는 영상처리부에서 생성된 제 2 영상과 비쥬얼 오도메트리 정보를 이용하여 이동로봇의 위치인식 및 지도작성을 동시에 수행한다(240).
먼저, 상기 SLAM 수행부에 의한 동시 이동로봇의 위치인식 및 지도작성(SLAM)의 개념을 도 6을 통해 설명한다.
도 6을 참조하면, 이동 로봇(1)이 Xk -1위치에서 측정한 표식(Landmark, 2)의 위치 값 Zk-1은 측정 오차를 가진다. 그리고 위치에서 주행 입력 Uk에 의해 이동 로봇(1)이 Xk위치로 주행 시 오차를 가지며, 이 위치에서 주변 표식(2)의 측정 값 Zk 또한 오차를 가지게 된다. 이러한 오차는 점점 누적이 되어 결국은 이동 로봇(1)의 위치와 표식(2)의 위치를 정확히 추정할 수 없게 된다. 이와 같은 현상을 방지하기 위해 제안된 SLAM은 주변 환경에 대한 사전 정보가 없는 경우 이동 로봇(1)의 위치(좌표)와 표식(2)의 위치를 확률적 접근 방법을 이용하여 동시에 보정하는 기술이다.
이러한 확률적 접근 방법으로 가장 많이 이용되는 것이 확장 칼만 필터(Extended Kalman Filter:EKF)로서, 본 실시예에서는 확장 칼만 필터 기반의 이동 로봇의 위치 인식 및 지도작성을 구현한다.
SLAM 수행부는 이동 로봇의 주행입력을 이용하여 이동 로봇의 위치를 추정(Motion Prediction)하고, 센서 측정 값(예: 초음파 센서나 레이저 센서의 측정 값, 카메라의 영상 등)을 이용하여 이동 로봇과 표식의 위치를 보정(Measurement Update)한다.
구체적으로, SLAM 수행부는 영상처리부에서 전송받은 제 2 영상에서 특징점들을 파악하여 추출하고 이 특징점들의 공간상 위치를 확인하기 위하여 이동로봇의 위치 정보 및 이동로봇과 특징점들이 이루는 각도를 산출한다. 또한, SLAM 수행부는 이동로봇의 위치 및 이동로봇과 특징점들이 이루는 각도가 산출되면 특징점들의 공간상 3차원 좌표(X,Y,Z)를 산출한다.
특징점들의 좌표가 산출되면 SLAM 수행부는 상태벡터(X)를 구성하고 이를 확장칼만필터의 시스템함수에 적용한다.
Figure pat00001
<수학식 1>은 확장칼만 필터의 시스템함수에 적용되는 상태벡터(X)로서 이동로봇의 위치(x,y), 이동로봇과 특징점들 간의 각도(φ) 및 특징점들의 공간상 좌표(Xi,Yi,Zi)로 구성된다.
또한, 확장칼만필터의 시스템 함수는 하기 <수학식 2>와 같다.
Figure pat00002
상기 시스템 함수는 비쥬얼 오도메트리 정보(Uk)를 주행입력으로 하여 t=k-1일 때의 상태벡터(Xk -1)에서 t=k일 때의 이동로봇과 특징점들의 위치를 예측하는 motion prediction을 수행한다. 한편, 이동로봇의 주행입력이나 로봇과 특징점들의 위치를 측정한 값은 오차를 가지기 때문에 이를 고려하여 에러 공분산(error covariance)인 Qv를 고려한다.
이동로봇의 위치가 추정되면, SLAM 수행부는 획득된 제 2 영상을 기초로 측정시스템 함수를 이용하여 이동로봇의 위치를 보정한다. 측정시스템 함수는 하기 <수학식 3>과 같다.
Figure pat00003
측정시스템 함수는 추정된 상태벡터(Xk)와 센서측정값의 오차를 고려한 에러 공분산 QS 및 제 2 영상의 특징점을 이용하여 얻은 Z벡터로 구성된다. 이로써 로봇의 위치와 특징점의 위치(지도)가 갱신된다.
도 7은, 도 4의 비쥬얼 오도메트리(Visual Odometry) 정보를 산출하는 방법을 도시한 흐름도이고, 도 8은 특징점 추출을 설명하기 위한 도면이며, 도 9는 이동 로봇이 이동함에 따른 특징점 위치추정을 설명하기 위한 도면이다.
도 7을 참조하면, 비쥬얼 오도메트리 산출부는 상기 특징점을 추출하고, 전방위 카메라의 이동변환 벡터를 산출하며, 이를 통해 전방위 카메라의 이동에 따른 특징점 위치 추적과정을 반복한다.
구체적으로, 비쥬얼 오도메트리 정보 산출부는 바닥면 영상인 제 1 영상에서 주기적으로 특징점을 추출한다(310). 한편, 도 8에서와 같이 제 1 영상에서 이미 위치가 추적된 특징점이 속하는 영역(점선 아래영역)을 배제한 영역(점선 위영역)에서 새로운 특징점이 추출된다.
특징점이 추출되면(310), 현재 전방위 카메라의 위치를 기준으로 추출된 특징점의 3차원 위치좌표(X,Y,Z)를 산출한다(320).
또한, 비쥬얼 오도메트리 정보 산출부는 이동로봇의 이동에 따른 전방위 카메라의 위치변화에 따른 회전벡터(Rotation Vector) 및 병진벡터(Translation Vector)를 산출한다(330). 즉, 상기 과정(330)은 tk일 때의 전방위 카메라의 위치와 tk +1일 때의 전방위 카메라의 위치간의 변환벡터를 산출하는 것으로서, SVD(Singular Value Decomposition) 또는 Least Square Method 등의 최적화 기법으로 변환벡터를 산출할 수 있다.
도 9를 참조하면, 회전벡터 및 병진벡터로 구성된 변환벡터(T)가 산출되면 이동된 전방위 카메라의 위치(tk +1일 때의 전방위 카메라의 위치)를 기준으로 특징점(x1,x2,x3..)의 3차원 위치좌표를 추정한다(340). 이로써 전방위 카메라의 이동에 따른 특징점(x1,x2,x3..)의 위치를 추적할 수 있다.
상기 이동된 전방위 카메라의 위치를 기준으로 특징점의 3차원 위치좌표를 추정하는 방법(340)은 하기 <수학식 4>와 같다.
Figure pat00004
{ tk +1}xi는 tk + 1일때의 추정된 특징점의 위치이고, { tk +1}T{ tk }는 산출된 회전벡터 및 병진벡터로 구성된 변환벡터([R|T])이며, { tk }xi는 tk일때의 산출된 특징점의 위치이다.
본 실시예는 이동로봇의 주행 경로를 따라 촬상되는 바닥면을 이용하여 오도메트리 정보를 산출하므로 바닥면 상태에 관계없이 정확한 오도메트리 정보의 제공이 가능하며 이로인해 로봇 위치인식 및 지도작성의 성능을 향상시킬 수 있다.
100: 이동 로봇
110: 전방위 카메라

Claims (12)

  1. 전방위 카메라를 포함하는 이동 로봇의 위치 인식 및 지도작성 방법에 있어서,
    상기 전방위 카메라에서 전방위 영상을 획득하고;
    상기 획득된 전방위 영상을 미리 설정된 기준으로 상하(上下)　분할하여 하부영상인 제 1 영상 및 상부영상인 제 2 영상을 생성하고;
    상기 제 1 영상에서 특징점을 추출하고 상기 추출된 특징점의 위치를 상기 전방위 카메라 위치를 기준으로 추적하는 비쥬얼 오도메트리(Visual Odometry) 정보를 산출하고;
    상기 산출된 비쥬얼 오도메트리 정보와 상기 제 2영상을 확장칼만필터(Extended Kalman Filter)의 입력으로 하여 상기 이동로봇의 위치인식 및 지도작성을 수행하는 이동로봇의 위치인식 및 지도작성 방법. 　
  2. 제1항에 있어서,
    상기 전방위 카메라는
    상기 이동로봇의 전면에 수평면선과 평행하게 장착되어 있는 이동로봇의 위치인식 및 지도작성 방법.
  3. 제1항에 있어서,
    상기 비쥬얼 오도메트리의 산출은
    상기 제 1 영상에서 특징점을 추출하고;
    상기 추출된 특징점의 위치를 현재 상기 전방위 카메라의 위치를 기준으로 산출하고;
    상기 전방위 카메라의 이동에 따른 회전벡터(Rotation Vector) 및 병진벡터(Translation Vector)를 산출하고;
    상기 산출된 회전벡터 및 병진벡터에 따라 이동된 전방위 카메라의 위치를 기준으로 상기 특징점의 위치를 산출하여 상기 특징점의 위치를 추적하는 과정을 반복하는 이동로봇의 위치인식 및 지도작성 방법. 　
  4. 제3항에 있어서,
    상기 제 1 영상에서의 특징점 추출은
    상기 제 1 영상에서 상기 위치가 추적된 특징점이 속하는 영역을 배제한 영역에서 새로운 특징점이 추출되는 것인 이동로봇의 위치인식 및 지도작성 방법.
  5. 제1항에 있어서,
    상기 미리 설정된 기준은
    지표면을 기준으로한 상기 전방위 카메라의 높이인 이동로봇의 위치인식 및 지도작성 방법.
  6. 제1항에 있어서,
    상기 이동로봇의 위치인식 및 지도작성은
    상기 제 2 영상에서 특징점을 추출하고;
    상기 산출된 비쥬얼 오도메트리를 주행입력으로 하여 상기 이동로봇과 상기 특징점의 위치를 추정하고;
    상기 제 2 영상을 기초로 상기 이동로봇과 상기 특징점의 위치를 보정하여 상기 이동로봇과 상기 특징점의 위치를 갱신하는 것인 이동로봇의 위치인식 및 지도작성 방법.
  7. 전방위 카메라를 포함하는 이동 로봇에 있어서,
    상기 전방위 카메라에서 획득된 전방위 영상을 미리 설정된 기준으로 상하 분할하여 하부영상인 제 1 영상 및 상부영상인 제 2 영상을 생성하는 영상처리부;
    상기 제 1 영상에서 특징점을 추출하고 상기 추출된 특징점의 위치를 상기 전방위 카메라를 기준으로 추적하는 비쥬얼 오도메트리(Visual Odometry)정보 산출부; 및
    상기 비쥬얼 오도메트리 정보 산출부에서 산출된 비쥬얼 오도메트리 정보와 상기 제 2 영상을 확장칼만필터(Extended Kalman Filter)의 입력으로 하여 상기 이동로봇의 위치인식 및 지도작성을 수행하는 SLAM수행부;를 포함하는 이동로봇.
  8. 제7항에 있어서,
    상기 전방위 카메라는
    상기 이동로봇의 전면에 수평면선과 평행하게 장착된 이동로봇.
  9. 제7항에 있어서,
    상기 비쥬얼 오도메트리 산출부는
    상기 영상처리부에서 생성된 제 1 영상에서 특징점을 추출하고;
    상기 추출된 특징점의 위치를 현재 상기 전방위 카메라의 위치를 기준으로 산출하고;
    상기 전방위 카메라의 이동에 따른 회전벡터(Rotation Vector) 및 병진벡터(Translation Vector)를 산출하고;
    상기 산출된 회전벡터 및 병진벡터에 따라 이동된 전방위 카메라의 위치를 기준으로 상기 특징점의 위치를 재산출하여 상기 특징점의 위치를 추적하는 과정을 반복하는 이동로봇.
  10. 제9항에 있어서,
    상기 비쥬얼 오도메트리 정보 산출부는
    상기 제 1 영상에서 상기 위치가 추적된 특징점이 속하는 영역을 배제한 영역에서 새로운 특징점을 추출하는 이동로봇.
  11. 제7항에 있어서,
    상기 영상처리부는
    지표면을 기준으로한 상기 전방위 카메라의 높이인 상기 미리 설정된 기준으로 상기 획득된 전방위 영상을 분할하는 이동로봇.
  12. 제7항에 있어서,
    상기 SLAM 수행부는
    상기 제 2 영상에서 특징점을 추출하고;
    상기 산출된 비쥬얼 오도메트리 정보를 주행입력으로 하여 상기 이동로봇과 상기 추출된 특징점의 위치를 추정하고;
    상기 제 2 영상을 기초로 상기 이동로봇과 상기 추출된 특징점의 위치를 보정하여 상기 특징점의 위치를 갱신하는 이동로봇.
KR1020100108561A 2010-11-03 2010-11-03 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법 KR101739996B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100108561A KR101739996B1 (ko) 2010-11-03 2010-11-03 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
US13/218,844 US9058521B2 (en) 2010-11-03 2011-08-26 Mobile robot and simultaneous localization and map building method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100108561A KR101739996B1 (ko) 2010-11-03 2010-11-03 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법

Publications (2)

Publication Number Publication Date
KR20120046974A true KR20120046974A (ko) 2012-05-11
KR101739996B1 KR101739996B1 (ko) 2017-05-25

Family

ID=45996834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100108561A KR101739996B1 (ko) 2010-11-03 2010-11-03 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법

Country Status (2)

Country Link
US (1) US9058521B2 (ko)
KR (1) KR101739996B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160020620A (ko) * 2014-08-13 2016-02-24 건국대학교 산학협력단 무인 단말기 제어 방법 및 장치
US9304001B2 (en) 2013-07-03 2016-04-05 Samsung Electronics Co., Ltd Position recognition methods of autonomous mobile robots
US9386209B2 (en) 2014-01-24 2016-07-05 Hanwha Techwin Co., Ltd. Method and apparatus for estimating position
CN107491071A (zh) * 2017-09-04 2017-12-19 中山大学 一种智能多机器人协同测图***及其方法
CN107748562A (zh) * 2017-09-30 2018-03-02 湖南应用技术学院 一种综合***机器人
KR102084756B1 (ko) * 2018-10-30 2020-03-04 한동대학교 산학협력단 Slam 공간 지도의 완성도 판단 방법
CN111322993A (zh) * 2018-12-13 2020-06-23 杭州海康机器人技术有限公司 一种视觉定位方法和装置
WO2020241934A1 (ko) * 2019-05-30 2020-12-03 엘지전자 주식회사 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2023136495A1 (ko) * 2022-01-12 2023-07-20 네이버랩스 주식회사 시각적 측위방법, 이를 이용하는 제어서버 및 건물

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101739996B1 (ko) * 2010-11-03 2017-05-25 삼성전자주식회사 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
US8798840B2 (en) * 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9953618B2 (en) * 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
CN103901774B (zh) * 2012-12-28 2017-02-08 联想(北京)有限公司 高效鲁棒的基于多传感器的slam协调方法及***
US9987184B2 (en) * 2013-02-05 2018-06-05 Valentin Borovinov Systems, methods, and media for providing video of a burial memorial
US9251587B2 (en) 2013-04-05 2016-02-02 Caterpillar Inc. Motion estimation utilizing range detection-enhanced visual odometry
US9449397B2 (en) 2014-10-15 2016-09-20 Caterpillar Inc. Real-time visual odometry system for determining motion of a machine with a range detection unit
CN105869136A (zh) * 2015-01-22 2016-08-17 北京雷动云合智能技术有限公司 一种基于多摄像机的协作式视觉slam方法
US9992482B2 (en) * 2015-08-28 2018-06-05 Disney Enterprises, Inc. Systems, methods, and apparatuses for stereoscopic imaging
CN106595630B (zh) * 2015-10-14 2019-09-24 山东鲁能智能技术有限公司 一种基于激光导航变电站巡检机器人的建图***与方法
CN105953798B (zh) * 2016-04-19 2018-09-18 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN105928505B (zh) * 2016-04-19 2019-01-29 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
KR102350533B1 (ko) * 2017-06-13 2022-01-11 엘지전자 주식회사 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
CN109218755B (zh) * 2017-07-07 2020-08-25 华为技术有限公司 一种媒体数据的处理方法和装置
CN107567036B (zh) * 2017-09-30 2023-07-04 山东大学 基于机器人搜救环境无线自组织局域网的slam***及方法
WO2019089017A1 (en) 2017-10-31 2019-05-09 Hewlett-Packard Development Company, L.P. Mobile robots to generate occupancy maps
CN107784671B (zh) * 2017-12-01 2021-01-29 驭势科技（北京）有限公司 一种用于视觉即时定位与建图的方法与***
DE102018101388A1 (de) * 2018-01-23 2019-07-25 Valeo Schalter Und Sensoren Gmbh Korrigieren einer Position eines Fahrzeugs mit SLAM
US10565714B2 (en) 2018-05-25 2020-02-18 Denso Corporation Feature tracking for visual odometry
CN109739254B (zh) * 2018-11-20 2021-11-09 国网浙江省电力有限公司信息通信分公司 一种电力巡检中采用视觉图像定位的无人机及其定位方法
CN110866927B (zh) * 2019-11-21 2021-07-20 哈尔滨工业大学 一种基于垂足点线特征结合的ekf-slam算法的机器人定位与构图方法
CN111460997B (zh) * 2020-03-31 2021-03-05 山东宝辰建工有限公司 一种基于全方位动态捕捉的人脸识别***及识别方法
US20220191385A1 (en) * 2020-12-16 2022-06-16 Irobot Corporation Dynamic camera adjustments in a robotic vacuum cleaner
CN114721364A (zh) * 2020-12-22 2022-07-08 莱克电气绿能科技(苏州)有限公司 移动机器人控制方法、装置、设备及存储介质
US11429112B2 (en) * 2020-12-31 2022-08-30 Ubtech North America Research And Development Center Corp Mobile robot control method, computer-implemented storage medium and mobile robot
CN113158779B (zh) * 2021-03-09 2024-06-07 美智纵横科技有限责任公司 一种行走方法、装置和计算机存储介质
WO2023204740A1 (en) * 2022-04-19 2023-10-26 Telefonaktiebolaget Lm Ericsson (Publ) Selective localization and mapping of a partially known environment

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5309291B2 (ja) * 2005-04-25 2013-10-09 株式会社ジオ技術研究所 撮影位置解析方法
KR100765209B1 (ko) * 2006-03-23 2007-10-09 삼성전자주식회사 전방향 스테레오 카메라 및 그 제어 방법
KR100966875B1 (ko) * 2006-09-26 2010-06-29 삼성전자주식회사 전방위 영상을 이용한 로봇의 위치 결정방법
KR100941418B1 (ko) * 2007-03-20 2010-02-11 삼성전자주식회사 이동 로봇의 위치 인식 방법
KR20090062881A (ko) * 2007-12-13 2009-06-17 삼성전자주식회사 이동 로봇 및 그 이동 객체 검출 방법
KR100926760B1 (ko) * 2007-12-17 2009-11-16 삼성전자주식회사 이동 로봇의 위치 인식 및 지도 작성 방법
KR100988568B1 (ko) * 2008-04-30 2010-10-18 삼성전자주식회사 로봇 및 그 지도작성방법
KR100955483B1 (ko) * 2008-08-12 2010-04-30 삼성전자주식회사 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법
KR101633620B1 (ko) * 2010-01-04 2016-06-27 삼성전자 주식회사 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
KR101739996B1 (ko) * 2010-11-03 2017-05-25 삼성전자주식회사 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304001B2 (en) 2013-07-03 2016-04-05 Samsung Electronics Co., Ltd Position recognition methods of autonomous mobile robots
US9386209B2 (en) 2014-01-24 2016-07-05 Hanwha Techwin Co., Ltd. Method and apparatus for estimating position
KR20160020620A (ko) * 2014-08-13 2016-02-24 건국대학교 산학협력단 무인 단말기 제어 방법 및 장치
CN107491071A (zh) * 2017-09-04 2017-12-19 中山大学 一种智能多机器人协同测图***及其方法
CN107491071B (zh) * 2017-09-04 2020-10-30 中山大学 一种智能多机器人协同测图***及其方法
CN107748562A (zh) * 2017-09-30 2018-03-02 湖南应用技术学院 一种综合***机器人
KR102084756B1 (ko) * 2018-10-30 2020-03-04 한동대학교 산학협력단 Slam 공간 지도의 완성도 판단 방법
CN111322993A (zh) * 2018-12-13 2020-06-23 杭州海康机器人技术有限公司 一种视觉定位方法和装置
CN111322993B (zh) * 2018-12-13 2022-03-04 杭州海康机器人技术有限公司 一种视觉定位方法和装置
WO2020241934A1 (ko) * 2019-05-30 2020-12-03 엘지전자 주식회사 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
US11579626B2 (en) 2019-05-30 2023-02-14 Lg Electronics Inc. Method of localization by synchronizing multi sensors and robot implementing same
WO2023136495A1 (ko) * 2022-01-12 2023-07-20 네이버랩스 주식회사 시각적 측위방법, 이를 이용하는 제어서버 및 건물

Also Published As

Publication number Publication date
US9058521B2 (en) 2015-06-16
US20120106828A1 (en) 2012-05-03
KR101739996B1 (ko) 2017-05-25

Similar Documents

Publication Publication Date Title
KR101739996B1 (ko) 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
US10962376B2 (en) Adaptive mapping with spatial summaries of sensor data
US10481265B2 (en) Apparatus, systems and methods for point cloud generation and constantly tracking position
KR101976241B1 (ko) 다중로봇의 자기위치인식에 기반한 지도작성 시스템 및 그 방법
KR101439921B1 (ko) 비젼 센서 정보와 모션 센서 정보를 융합한 모바일 로봇용 ｓｌａｍ 시스템
Sadat et al. Feature-rich path planning for robust navigation of MAVs with mono-SLAM
KR101423139B1 (ko) 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체
DK2933604T3 (en) PROCEDURE FOR LOCATING A ROBOT IN A LOCATION PLAN
JP5276931B2 (ja) 移動体および移動体の位置推定誤り状態からの復帰方法
TWI772743B (zh) 資訊處理裝置以及移動機器人
KR20130073476A (ko) 이동 장치 및 이동 장치의 위치 인식 방법
JP2013025401A (ja) 自己位置推定装置、自己位置推定方法およびプログラム
RU2740229C1 (ru) Способ локализации и построения навигационных карт мобильного сервисного робота
US20200292320A1 (en) On-Vehicle Processing Device
JP2016149090A (ja) 自律移動装置、自律移動システム、自律移動方法、およびプログラム
Galioto et al. Sensor fusion localization and navigation for visually impaired people
KR100757937B1 (ko) 로봇의 위치 추적 및 지도 작성 방법
Diamantas et al. Depth estimation for autonomous robot navigation: A comparative approach
JP2018036151A (ja) ランドマークを用いた測位方法
Alpen et al. A real-time on-board orthogonal SLAM for an indoor UAV
Diamantas et al. Depth computation using optical flow and least squares
JP2017129681A (ja) 地図作成方法
Arturo et al. Cooperative simultaneous localisation and mapping using independent rao–blackwellised filters
Gao et al. Research on Mobile Robot SLAM Based on Laser Range Finder
ŽIDEK et al. Environment mapping and localization in mobile robotics

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant