KR20090114786A - 로봇 및 그 지도작성방법 - Google Patents

로봇 및 그 지도작성방법 Download PDF

Info

Publication number
KR20090114786A
KR20090114786A KR1020080040616A KR20080040616A KR20090114786A KR 20090114786 A KR20090114786 A KR 20090114786A KR 1020080040616 A KR1020080040616 A KR 1020080040616A KR 20080040616 A KR20080040616 A KR 20080040616A KR 20090114786 A KR20090114786 A KR 20090114786A
Authority
KR
South Korea
Prior art keywords
surface information
matching
robot
dynamic obstacle
information
Prior art date
Application number
KR1020080040616A
Other languages
English (en)
Other versions
KR100988568B1 (ko
Inventor
윤석준
권웅
형승용
김현규
노경식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080040616A priority Critical patent/KR100988568B1/ko
Priority to US12/289,274 priority patent/US8761925B2/en
Priority to JP2009066988A priority patent/JP5410795B2/ja
Publication of KR20090114786A publication Critical patent/KR20090114786A/ko
Application granted granted Critical
Publication of KR100988568B1 publication Critical patent/KR100988568B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40442Voxel map, 3-D grid map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 동적 장애물을 제거한 3차원 영상의 표면정보를 이용하여 지도를 작성하는 로봇 및 그 지도작성방법에 관한 것이다.
이를 위해 본 발명은 로봇이 주행하는 경로의 제1 및 제2표면정보를 순차적으로 획득하고; 상기 제1 및 제2표면정보를 매칭하여 상기 제1 및 제2표면정보의 차를 구하고; 상기 제1 및 제2표면정보의 차에 따라 상기 제1 및 제2표면정보에 위치하는 동적 장애물을 검출하고; 상기 동적 장애물을 제거한 제3표면정보를 생성하고; 상기 제3표면정보와 상기 제1 및 제2표면정보 중 어느 하나를 매칭하여 지도를 작성하는 것을 포함하여 동적 장애물을 제거한 정확한 지도정보를 작성할 수 있으며, 또한 동적 장애물을 정적 물체로 잘못 인식하여 로봇이 동적 장애물과 충돌하는 경우를 미연에 방지할 수 있다.

Description

로봇 및 그 지도작성방법{ROBOT AND METHOD FOR BUILDING MAP OF THE SAME}
본 발명은 로봇 및 그 지도작성방법에 관한 것으로, 더욱 상세하게는 동적 장애물을 제거한 3차원 영상의 표면정보를 이용하여 지도를 작성하는 로봇 및 그 지도작성방법에 관한 것이다.
일반적으로, 전기적 또는 자기적인 작용을 이용하여 인간의 동작과 닮은 운동을 행하는 기계장치를 로봇이라고 한다. 최근 들어 로봇은 센서 및 제어기의 발달로 다양한 분야에서 활용되고 있으며, 그 예로는 가정에서의 가사 도우미 로봇, 공공장소용 서비스 로봇, 생산 현장에서의 반송 로봇, 작업자 지원 로봇 등이 있다. 이러한 로봇이 자율 주행을 위해서는 주변 환경에 대한 사전 정보 없이 자신의 위치를 인식하고, 환경에 대한 정보로부터 지도를 작성하는 위치 인식(Localization)과 지도 작성(Map-building)의 과정이 동시에 수행되어야 한다. 이를 로봇의 동시 위치 인식 및 지도 작성(Simultaneous Localization And Map-building; SLAM)이라 한다.
이러한 SLAM 방법의 일례가 일본 공개특허공보 평10-160463호에 개시되어 있다.
동 공보에 개시된 SLAM 방법은 전방위 시야를 갖는 전방위 시각센서를 이동체(로봇)에 탑재하고, 이동체를 특정한 경로상으로 이동시키면서 전방위 시각센서에서 이동체 주변의 영상을 시계열적인 표준 패턴으로 획득하였다. 또한, 이동체가 임의의 경로를 주행하면 전방위 시각센서의 획득 영상과 미리 설정된 표준 패턴의 영상을 비교하여 두 영상이 일치하면 표준 패턴의 영상에 연관되는 위치를 검출 결과로 추정하는 방식을 통해 이동체의 위치를 인식하고, 주변 환경에 대한 지도를 작성하였다. 이때 이동체는 주행하는 경로 상에 위치하는 장애물이 고정된 물체(정적 물체)인지 이동하는 물체(동적 물체)인지를 정확히 검지해야 하는데 그 이유는 지도정보가 동적 물체(이하, 동적 장애물이라 한다)을 제거한 고정된 물체(이하, 정적 물체라 한다)를 기반으로 하여 작성되어야 하기 때문이다.
그런데, 종래 SLAM 방법은 이동체의 정확한 위치를 인식하지 못하고 대략적인 위치만을 추정하므로 주행하는 경로 상에 위치하는 장애물이 정적 물체인지 동적 장애물인지를 인식하는데 한계가 있다. 예를 들어 동적 장애물이 정적 물체로 인식되면 정적 물체를 기반으로 하여 작성되는 지도정보가 왜곡되어 지도정보를 바탕으로 구하는 이동체의 위치에 많은 오차를 포함하게 되며, 또한 동적 장애물을 정적 물체로 인식한 경우 이동체가 동적 장애물을 미처 피하지 못하고 충돌하는 경우가 발생하는 문제점이 있다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 두 표면의 3차원 정보로부터 동적 장애물을 검출하는 3차원 표면 매칭법을 이용하여 동적 장애물을 제거한 정확한 지도정보를 작성할 수 있는 로봇 및 그 지도작성방법을 제공하는데 있다.
본 발명의 다른 목적은, 정적 물체나 동적 장애물의 3차원 거리정보를 2차원 그리드 영상으로 변환하여 그리드 영상의 수축/확장을 통해 동적 장애물을 제거할 수 있는 로봇 및 그 지도작성방법을 제공하는데 있다.
상기 목적을 달성하기 위하여 본 발명 로봇의 지도작성방법은 로봇이 주행하는 경로의 제1 및 제2표면정보를 순차적으로 획득하고; 상기 제1 및 제2표면정보를 매칭하여 상기 제1 및 제2표면정보의 차를 구하고; 상기 제1 및 제2표면정보의 차 에 따라 상기 제1 및 제2표면정보에 위치하는 동적 장애물을 검출하고; 상기 동적 장애물을 제거한 제3표면정보를 생성하고; 상기 제3표면정보와 상기 제1 및 제2표면정보 중 어느 하나를 매칭하여 지도를 작성하는 것을 포함한다.
상기 제1 및 제2표면정보는 상기 로봇이 주행하면서 획득한 3차원 영상의 표면정보인 것을 특징으로 한다.
상기 제1 및 제2표면정보를 매칭하는 것은, 상기 제1 및 제2표면정보를 정합하기 위한 ICP 매칭을 1차로 수행하는 것을 특징으로 한다.
또한, 본 발명 로봇의 지도작성방법은 상기 로봇의 운동정보를 획득하고; 상기 운동정보로부터 상기 제1 및 제2표면정보의 강체 변환 행렬을 획득하는 것을 더 포함하고, 상기 ICP 매칭은 상기 강체 변환 행렬을 초기위치로 하여 상기 제1 및 제2표면정보를 정합하는 것을 특징으로 한다.
상기 제1 및 제2표면정보의 차는 상기 ICP 매칭된 상기 제1 및 제2표면정보의 거리차인 것을 특징으로 한다.
상기 동적 장애물을 검출하는 것은, 상기 제1 및 제2표면정보의 거리차가 미리 정해진 일정거리 이상인가를 판단하여 상기 제1 및 제2표면정보의 거리차가 일정거리 이상인 경우 상기 제1 및 제2표면정보에 상기 동적 장애물이 위치한다고 검출하는 것을 특징으로 한다.
상기 동적 장애물을 제거하는 것은, 상기 동적 장애물이 검출된 상기 제1 및 제2표면정보를 2차원 그리드 영상으로 변환하고; 상기 2차원 그리드 영상을 수축/확장하여 상기 동적 장애물을 제거하는 것을 특징으로 한다.
상기 제3표면정보를 생성하는 것은, 상기 제1 및 제2표면정보에서 상기 동적 장애물을 제거한 3차원 영상의 표면정보를 생성하는 것을 특징으로 한다.
상기 제3표면정보와 상기 제1 및 제2표면정보 중 어느 하나를 매칭하는 것은, 상기 제1 및 제2표면정보 중에 동적 장애물이 없는 표면정보와 상기 제3표면정보를 정합하기 위한 ICP 매칭을 2차로 수행하는 것을 특징으로 한다.
상기 2차 ICP 매칭의 초기위치는 상기 1차 ICP 매칭의 위치인 것을 특징으로 한다.
그리고, 본 발명의 로봇은 주행 경로의 제1 및 제2표면정보를 순차적으로 획득하는 표면정보획득부; 상기 제1 및 제2표면정보를 매칭하여 상기 제1 및 제2표면정보에 위치하는 동적 장애물을 검출하고, 상기 동적 장애물을 제거한 제3표면정보를 생성하여 상기 제3표면정보와 상기 제1 및 제2표면정보 중 어느 하나를 매칭하는 제어부를 포함한다.
상기 표면정보획득부는 상기 로봇이 주행하면서 획득하는 3차원 영상의 제1 및 제2표면정보를 측정하는 3차원 측정장비인 것을 특징으로 한다.
상기 제어부는 상기 제3표면정보와 상기 제1 및 제2표면정보 중 어느 하나를 매칭하여 상기 로봇이 주행하는 경로의 지도를 작성하는 것을 특징으로 한다.
또한, 본 발명의 로봇은 상기 제1 내지 제3표면정보를 저장하는 저장부를 더 포함하고, 상기 저장부는 상기 로봇이 주행하면서 순차적으로 획득하는 3차원 영상의 표면정보를 복수 개 저장하는 것을 특징으로 한다.
상기 제어부는 상기 제1 및 제2표면정보를 정합하기 위한 ICP 매칭을 1차로 수행하여 상기 제1 및 제2표면정보의 거리차가 미리 정해진 일정거리 이상인 경우 상기 제1 및 제2표면정보에 상기 동적 장애물이 위치한다고 검출하는 것을 특징으로 한다.
상기 제어부는 상기 동적 장애물로 검출된 상기 제1 및 제2표면정보를 2차원 그리드 영상으로 변환하고, 상기 변환된 2차원 그리드 영상을 수축/확장하여 상기 동적 장애물을 제거하는 것을 특징으로 한다.
상기 제어부는 상기 제1 및 제2표면정보에서 상기 동적 장애물을 제거한 3차원 영상의 상기 제3표면정보를 생성하는 것을 특징으로 한다.
상기 제어부는 상기 제1 및 제2표면정보 중에 동적 장애물이 없는 표면정보와 상기 제3표면정보를 정합하기 위한 ICP 매칭을 2차로 수행하는 것을 특징으로 한다.
이러한 본 발명에 의한 로봇 및 그 지도작성방법은 3차원 측정장비를 이용하여 연속하는 두 표면의 3차원 영상정보를 획득하고, 획득한 두 표면의 3차원 영상정보를 ICP(Iterative Closest Point) 알고리즘을 통해 매칭한 두 표면의 거리차를 구하여 동적 장애물을 검출한 후 동적 장애물을 제거한 3차원 영상의 표면정보를 이용하여 2차 ICP 알고리즘을 수행하는 3차원 표면 매칭법으로 정적 물체만을 기반으로 한 지도정보를 정확하게 작성할 수 있다.
또한, 본 발명의 로봇 및 그 지도작성방법은 정적 물체나 동적 장애물의 3차원 거리정보를 2차원 그리드 영상으로 변환하고, 그리드 영상의 수축/확장 과정을 통하여 동적 장애물을 제거함으로서 로봇이 동적 장애물과 충돌할 수 있는 오차 발생을 제거할 수 있다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 의한 로봇의 외관 구성도이다.
도 1에서, 본 발명의 로봇(10)은 인간과 마찬가지로 두 개의 다리부(11)에 의해 직립 이동하는 2족 보행 로봇으로 상체부(12), 두 개의 팔부(13), 머리부(14)를 구비하여 자율 주행한다.
도 2는 본 발명의 실시예에 의한 로봇의 제어 블록도이다.
도 2에서, 본 발명의 로봇(10)은 표면정보획득부(20), 저장부(22), 운동정보획득부(24), 제어부(26) 및 구동부(28)를 포함한다.
표면정보획득부(20)는 장애물이 있는 환경을 로봇(10)이 주행하면서 일정시간(약 1sec 이내) 간격으로 얻은 3차원 영상의 제1 및 제2표면정보(S1, S2)를 순차적으로 획득하는 3차원 측정장비(예를 들어, 스테레오 카메라, Time of Flight 카메라 등)로, 최근 3차원 측정장비의 기술 발달로 인해 로봇(10)이 주행하는 경로 상에 위치하는 다양한 물체(예를 들어, 동적 장애물이나 정적 물체)의 3차원 정보(S1, S2;물체의 표면정보)를 쉽게 획득할 수 있다.
저장부(22)는 표면정보획득부(20)를 통해 순차적으로 획득되는 3차원 영상의 제1 및 제2표면정보(S1, S2)를 저장하는 메모리로, 표면정보획득부(20)에서 3차원 영상의 제1 및 제2표면정보(S1, S2)를 일정시간(약 1sec 이내) 간격으로 획득하기 때문에 제2표면정보(S2)를 획득하기 이전에 획득하였던 제1표면정보(S1)를 저장하고 있어야 한다. 따라서 저장부(22)에는 연속하는 3차원 영상의 제1 및 제2표면정보(예를 들어, S1, S2)를 포함한 복수 개의 3차원 표면정보가 저장된다.
운동정보획득부(24)는 표면정보획득부(20)에서 일정시간(약 1sec 이내) 간격으로 3차원 영상의 제1 및 제2표면정보(S1, S2)를 순차적으로 획득하는 과정에서 주행 경로를 따라 이동하는 로봇(10)의 운동정보를 오도메트리(Odometry) 등을 이용하여 획득하는 것으로, 제1표면정보(S1)에서 제2표면정보(S2)를 획득할 때까지 주행하는 로봇(10)의 운동정보를 획득한다.
제어부(26)는 운동정보획득부(24)에서 획득한 운동정보를 이용하여 표면정보획득부(20)에서 획득한 3차원 영상의 제1 및 제2표면정보(S1, S2)의 강체 변환 행렬(R, T;Rotation Matrix, Translation Matrix)을 구하고, 이렇게 구한 제1 및 제2표면정보(S1, S2)의 강체 변환 행렬은 많은 오차(슬립 등)을 포함하기 때문에 R, T 매트릭스를 초기위치로 하여 ICP 알고리즘을 1차 수행하여 제1 및 제2표면정보(S1, S2)를 매칭한다. 1차 ICP 매칭한 제1 및 제2표면정보(S1, S2)의 거리차를 계산하여 동적 장애물을 검출한 후 동적 장애물을 제거한 3차원 영상의 제3표면정보(S2')를 생성하고 이를 바탕으로 즉, 동적 장애물을 제거하여 생성된 3차원 영상의 제3표면정보(S2')와 제1 및 제2표면정보(S1, S2) 중 동적 장애물이 없는 3차원 표면정보(S1 또는 S2)를 이용하여 ICP 알고리즘을 2차 수행하는 3차원 표면 매칭법으로 최종 변환 행렬을 획득하여 정적 물체만을 기반으로 한 지도정보를 작성하는 로봇 중앙 연산장치(CPU)이다.
또한, 제어부(26)는 1차 ICP 매칭한 제1 및 제2표면정보(S1, S2)의 거리차가 미리 정해진 일정거리 이상이 되는 부분을 검출하여 제1 및 제2표면정보(S1, S2)의 거리차가 일정거리 이상이면 동적 장애물로 검출하고, 제1 및 제2표면정보(S1, S2)의 거리차가 일정거리 이상이 되는 부분을 2차원 그리드 영상으로 변환하여 이 변환된 2차 그리드 영상의 수축/확장 과정을 통하여 오차를 제거하는 방법으로 동적 장애물을 제거한다.
구동부(28)는 제어부(26)에서 작성된 지도정보를 기반으로 하여 로봇(10)이 장애물과의 충돌없이 주행 경로를 자율적으로 이동하도록 구동한다.
이하, 상기와 같이 구성된 로봇 및 그 지도작성방법의 동작과정 및 작용효과를 설명한다.
본 발명에서 3차원 표면정보를 매칭하기 위해 사용되는 ICP 알고리즘은 두 개의 표면을 정합(Registration)하기 위한 일반적인 방법으로, 두 표면에 존재하는 점들의 거리 총합이 최소가 되는 정밀한 바디 운동(Rigid Body Motion)의 회전(Rotation)과 이동(Translation) 관계를 구하는 것이다. ICP 알고리즘을 구현하는 방법에는 여러 가지가 있다.
호른(Horn)에 의하여 제안된 ICP 알고리즘은 서로 다른 두 좌표시스템 간의 정합 문제를 공분산(covariance) 행렬에 의한 단위 쿼터니온(quaternion)을 이용하여 해결하였다.[B. K. P. Horn, 'Closed-Form Solution of Absolute Orientation Using Unit Quaternions', Journal of the Optical Society of America, A, vol. 4. pp.. 629-642, April 1987]. 반면 베슬(Besl)과 맥케이(Mckay)에 의하여 제안된 ICP 알고리즘은 현재 정합의 문제에 가장 널리 쓰이는 방법으로 일치점의 추출 과정없이 두 데이터 집합간의 가장 가까운 점들의 쌍을 반복적으로 찾아내어 정합을 최적화시킨다[P. J. Besl and N. D. Mckay, 'A Method for Registration of 3-D Shapes, 'IEEE Transactions on Pattern Analysis and Machine Intelligence, 패. 14, no. 2, pp. 239-256, February 1992].
이러한 ICP 알고리즘을 이용하여 3차원 영상의 제1 및 제2표면정보(S1, S2)의 매칭을 수행할 때 동적 장애물이 있는 경우 오차가 존재하게 되므로 본 발명은 동적 장애물로 인한 오차를 제거하는 3차원 표면매칭법을 이용하여 정적 물체만을 가지고 정확한 지도정보를 작성할 수 있도록 구현한 것이다.
도 3은 본 발명의 실시예에 의한 로봇의 주행 경로에 장애물이 위치하는 예를 나타낸 구성도이고, 도 4a 및 도 4b는 본 발명의 실시예에 의한 로봇의 지도작성방법을 도시한 동작 순서도이다.
도 3에 도시한 바와 같이, 장애물이 있는 환경에서 로봇(10)이 주행을 시작하면(100), 제어부(26)는 로봇(10)이 주행하는 경로 상에 위치하는 다양한 물체(예를 들어, 동적 장애물이나 정적 물체)의 3차원 영상의 제1표면정보(S1)를 표면정보획득부(20)를 통해 획득하여(102) 저장부(22)에 저장한다(104).
이후, 제어부(26)는 다음 3차원 영상의 제2표면정보(S2)를 획득할 때까지 주행 경로를 따라 이동하는 로봇(10)의 운동정보를 운동정보획득부(24)를 통해 획득하면서(106) 미리 정해진 일정시간(약 1sec 이내)이 경과하였는지를 판단한다(108).
단계 108의 판단결과, 일정시간이 경과하지 않은 경우 단계 106로 피드백하여 다음 3차원 영상의 제2표면정보(S2)를 획득할 때까지 로봇(10)의 운동정보를 운동정보획득부(24)를 통해 계속 획득하면서 이후의 동작을 진행한다.
한편, 단계 108의 판단결과, 일정시간이 경과한 경우 제어부(26)는 주행하는 경로 상에 위치하는 다음 3차원 영상의 제2표면정보(S2)를 표면정보획득부(20)를 통해 획득하여(110) 저장부(22)에 저장한다(112).
이와 같이, 저장부(22)에 복수 개(예를 들어, 두 개)의 제1 및 제2표면정보(S1, S2)가 저장되면, 제어부(26)는 운동정보획득부(24)에서 획득한 로봇(10)의 운동정보를 이용하여 3차원 영상의 제1 및 제2표면정보(S1, S2)의 강체 변환 행렬[R(회전 변환 행렬), T1(이동 변환 행렬)]을 구한다(114). 로봇(10)의 운동정보를 이용하여 3차원 영상의 제1 및 제2표면정보(S1, S2)의 강체 변환 행렬을 구하는 과정은 ICP 알고리즘에서 두 표면에 존재하는 점들의 거리 총합이 최소화가 되도록 표면의 정밀한 바디 운동(회전, 이동) 관계를 구하는 회전 변환 행렬(Rotation Matrix)과 이동 변환 행렬(Translation Matrix)로 대한민국 공개특허공보 특2003-0040701호와 특2004-0094230호 등 다수의 문헌에 개시되어 있다.
이렇게 구한 제1 및 제2표면정보(S1, S2)의 변환 행렬은 많은 오차(슬립 등)을 포함하기 때문에 R, T 매트릭스를 초기점으로 하는 ICP 알고리즘을 수행하여 3차원 영상의 제1 및 제2표면정보(S1, S2)를 1차로 매칭한다(116). ICP 알고리즘은 두 개의 표면을 반복적인 방식으로 거리의 차의 합이 최소가 되게 정합하는 일반적인 방법이다. ICP 알고리즘의 수행방법은 위에서 언급한 대한민국 공개특허공보 특 2003-0040701호와 특2004-0094230호 등 다수의 문헌에 개시되어 있다.
이러한 ICP 알고리즘 수행으로 3차원 영상의 제1 및 제2표면정보(S1, S2)는 도 5a 내지 도 5c에 도시한 바와 같이, 매칭된다. 이전 3차원 영상의 제1표면정보(S1)를 t시간에서 얻었다면(도 5a 참조), 다음 3차원 영상의 제2표면정보(S2)를 일정시간(약 1sec 이내)이 경과한 t+1시간에서 얻게 되고(도 5b 참조), 이와 같이 순차적으로 획득되는 3차원 영상의 제1 및 제2표면정보(S1, S2)는 도 5c에 도시한 바와 같이, ICP 매칭된다.
ICP 알고리즘의 표면 매칭 과정에서 동적 장애물이 있는 경우 오차가 존재하여 왜곡된 지도정보가 작성될 수 있으므로 제어부(26)는 1차 ICP 매칭한 제1 및 제2표면정보(S1, S2)의 거리차를 계산하여(118), 제1 및 제2표면정보(S1, S2)의 거리차가 미리 정해진 일정거리 이상이 되는 부분이 있는가를 판단한다(120).
단계 120의 판단결과, 제1 및 제2표면정보(S1, S2)의 거리차가 일정거리 이상이 되는 부분이 검출되면, 제어부(26)는 제1 및 제2표면정보(S1, S2)의 거리차가 일정거리 이상이 되는 부분을 도 6에 도시한 바와 같이, 동적 장애물로 검출하고(122), 제1 및 제2표면정보(S1, S2)의 거리차가 일정거리 이상이 되는 부분을 도 7에 도시한 바와 같이, 2차원 그리드 영상으로 변환한다(124).
따라서, 제어부(26)는 2차원 그리드 영상으로 변환한 거리정보를 도 7에 도시한 바와 같이, 수축/확장 과정을 통하여 오차를 제거함으로서(126) 동적 장애물을 제거한 3차원 영상의 제3표면정보(S2')를 생성한다(128).
이에 따라, 제어부(26)는 동적 장애물을 제거한 3차원 영상의 제3표면정 보(S2')와 제1 및 제2표면정보(S1, S2) 중 동적 장애물이 없는 어느 하나의 표면정보(예를 들어, 제1표면정보 "S1")를 이용하여 ICP 알고리즘을 2차로 수행한다. ICP 알고리즘을 2차 수행할 때의 위치는 단계 116과 마찬가지로 R, T 매트릭스를 초기위치로 하여 도 8에 도시한 바와 같이, 제1 및 제3표면정보(S1, S2')를 매칭하는 3차원 표면 매칭법으로 최종 변환 행렬을 획득한다.
따라서, 제어부(26)는 동적 장애물을 제거한 정적 물체만을 기반으로 하여 지도정보를 작성하여 저장부(22)에 저장하고(132), 로봇(10) 주행이 완료되었는가를 판단한다(134).
단계 134의 판단결과, 로봇(10) 주행이 완료되지 않은 경우 단계 102로 피드백하여 장애물이 있는 환경을 로봇(10)이 주행하면서 다음 3차원 영상의 표면정보를 획득하여 ICP 알고리즘을 수행하는 3차원 표면 매칭법으로 동적 장애물을 제거하고, 정적 물체만을 기반으로 한 지도정보를 계속하여 작성하도록 이후의 동작을 반복 진행한다.
한편, 단계 134의 판단결과, 로봇(10) 주행이 완료된 경우 제어부(26)는 구동부(28)를 통해 로봇(10)의 주행을 완료하면서 동작을 종료한다.
도 1은 본 발명의 실시예에 의한 로봇의 외관 구성도이다.
도 2는 본 발명의 실시예에 의한 로봇의 제어 블록도이다.
도 3은 본 발명의 실시예에 의한 로봇의 주행 경로에 장애물이 위치하는 예를 나타낸 구성도이다.
도 4a 및 도 4b는 본 발명의 실시예에 의한 로봇의 지도작성방법을 도시한 동작 순서도이다.
도 5a 내지 도 5c는 본 발명의 실시예에 의한 로봇에서 지도작성을 위해 두 표면을 매칭하는 ICP 알고리즘의 예를 나타낸 도면이다.
도 6은 도 5a 내지 도 5c의 ICP 알고리즘을 통해 동적 장애물을 검출하는 과정을 나타낸 도면이다.
도 7은 도 6을 통해 검출된 동적 장애물을 제거하는 과정을 나타낸 도면이다.
도 8은 도 7을 통해 동적 장애물을 제거한 두 표면의 매칭 결과를 나타낸 도면이다.
*도면의 주요부분에 대한 부호 설명*
10 : 로봇 11 : 다리부
12 : 상체부 13 : 팔부
14 : 머리부 20 : 표면정보획득부
22 : 저장부 24 : 운동정보획득부
26 : 제어부 28 : 구동부

Claims (19)

  1. 로봇이 주행하는 경로의 제1 및 제2표면정보를 순차적으로 획득하고;
    상기 제1 및 제2표면정보를 매칭하여 상기 제1 및 제2표면정보의 차를 구하고;
    상기 제1 및 제2표면정보의 차에 따라 상기 제1 및 제2표면정보에 위치하는 동적 장애물을 검출하고;
    상기 동적 장애물을 제거한 제3표면정보를 생성하고;
    상기 제3표면정보와 상기 제1 및 제2표면정보 중 어느 하나를 매칭하여 지도를 작성하는 것을 포함하는 로봇의 지도작성방법.
  2. 제1항에 있어서,
    상기 제1 및 제2표면정보는 상기 로봇이 주행하면서 획득한 3차원 영상의 표면정보인 로봇의 지도작성방법.
  3. 제1항에 있어서,
    상기 제1 및 제2표면정보를 매칭하는 것은,
    상기 제1 및 제2표면정보를 정합하기 위한 ICP 매칭을 1차로 수행하는 로봇의 지도작성방법.
  4. 제3항에 있어서,
    상기 로봇의 운동정보를 획득하고;
    상기 운동정보로부터 상기 제1 및 제2표면정보의 강체 변환 행렬을 획득하는 것을 더 포함하고,
    상기 ICP 매칭은 상기 강체 변환 행렬을 초기위치로 하여 상기 제1 및 제2표면정보를 정합하는 로봇의 지도작성방법.
  5. 제3항에 있어서,
    상기 제1 및 제2표면정보의 차는 상기 ICP 매칭된 상기 제1 및 제2표면정보의 거리차인 로봇의 지도작성방법.
  6. 제5항에 있어서,
    상기 동적 장애물을 검출하는 것은,
    상기 제1 및 제2표면정보의 거리차가 미리 정해진 일정거리 이상인가를 판단하여 상기 제1 및 제2표면정보의 거리차가 일정거리 이상인 경우 상기 제1 및 제2표면정보에 상기 동적 장애물이 위치한다고 검출하는 로봇의 지도작성방법.
  7. 제6항에 있어서,
    상기 동적 장애물을 제거하는 것은,
    상기 동적 장애물이 검출된 상기 제1 및 제2표면정보를 2차원 그리드 영상으 로 변환하고;
    상기 2차원 그리드 영상을 수축/확장하여 상기 동적 장애물을 제거하는 로봇의 지도작성방법.
  8. 제3항에 있어서,
    상기 제3표면정보를 생성하는 것은,
    상기 제1 및 제2표면정보에서 상기 동적 장애물을 제거한 3차원 영상의 표면정보를 생성하는 로봇의 지도작성방법.
  9. 제8항에 있어서,
    상기 제3표면정보와 상기 제1 및 제2표면정보 중 어느 하나를 매칭하는 것은,
    상기 제1 및 제2표면정보 중에 동적 장애물이 없는 표면정보와 상기 제3표면정보를 정합하기 위한 ICP 매칭을 2차로 수행하는 로봇의 지도작성방법.
  10. 제9항에 있어서,
    상기 2차 ICP 매칭의 초기위치는 상기 1차 ICP 매칭의 위치인 로봇의 지도작성방법.
  11. 주행 경로의 제1 및 제2표면정보를 순차적으로 획득하는 표면정보획득부;
    상기 제1 및 제2표면정보를 매칭하여 상기 제1 및 제2표면정보에 위치하는 동적 장애물을 검출하고, 상기 동적 장애물을 제거한 제3표면정보를 생성하여 상기 제3표면정보와 상기 제1 및 제2표면정보 중 어느 하나를 매칭하는 제어부를 포함하는 로봇.
  12. 제11항에 있어서,
    상기 표면정보획득부는 상기 로봇이 주행하면서 획득하는 3차원 영상의 제1 및 제2표면정보를 측정하는 3차원 측정장비인 로봇.
  13. 제11항에 있어서,
    상기 제어부는 상기 제3표면정보와 상기 제1 및 제2표면정보 중 어느 하나를 매칭하여 상기 로봇이 주행하는 경로의 지도를 작성하는 로봇.
  14. 제11항에 있어서,
    상기 제1 내지 제3표면정보를 저장하는 저장부를 더 포함하고,
    상기 저장부는 상기 로봇이 주행하면서 순차적으로 획득하는 3차원 영상의 표면정보를 복수 개 저장하는 로봇.
  15. 제11항에 있어서,
    상기 제어부는 상기 제1 및 제2표면정보를 정합하기 위한 ICP 매칭을 1차로 수행하여 상기 제1 및 제2표면정보의 거리차가 미리 정해진 일정거리 이상인 경우 상기 제1 및 제2표면정보에 상기 동적 장애물이 위치한다고 검출하는 로봇.
  16. 제15항에 있어서,
    상기 제어부는 상기 동적 장애물로 검출된 상기 제1 및 제2표면정보를 2차원 그리드 영상으로 변환하고, 상기 변환된 2차원 그리드 영상을 수축/확장하여 상기 동적 장애물을 제거하는 로봇.
  17. 제16항에 있어서,
    상기 제어부는 상기 제1 및 제2표면정보에서 상기 동적 장애물을 제거한 3차원 영상의 상기 제3표면정보를 생성하는 로봇.
  18. 제17항에 있어서,
    상기 제어부는 상기 제1 및 제2표면정보 중에 동적 장애물이 없는 표면정보와 상기 제3표면정보를 정합하기 위한 ICP 매칭을 2차로 수행하는 로봇.
  19. 제18항에 있어서,
    상기 2차 ICP 매칭의 초기위치는 상기 1차 ICP 매칭의 위치인 로봇.
KR1020080040616A 2008-04-30 2008-04-30 로봇 및 그 지도작성방법 KR100988568B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080040616A KR100988568B1 (ko) 2008-04-30 2008-04-30 로봇 및 그 지도작성방법
US12/289,274 US8761925B2 (en) 2008-04-30 2008-10-23 Robot and method of building map therefor
JP2009066988A JP5410795B2 (ja) 2008-04-30 2009-03-18 ロボット及びその地図作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080040616A KR100988568B1 (ko) 2008-04-30 2008-04-30 로봇 및 그 지도작성방법

Publications (2)

Publication Number Publication Date
KR20090114786A true KR20090114786A (ko) 2009-11-04
KR100988568B1 KR100988568B1 (ko) 2010-10-18

Family

ID=41257621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080040616A KR100988568B1 (ko) 2008-04-30 2008-04-30 로봇 및 그 지도작성방법

Country Status (3)

Country Link
US (1) US8761925B2 (ko)
JP (1) JP5410795B2 (ko)
KR (1) KR100988568B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130132128A (ko) * 2012-05-25 2013-12-04 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
KR20170061373A (ko) * 2015-11-26 2017-06-05 삼성전자주식회사 이동 로봇 및 그 제어 방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100988568B1 (ko) * 2008-04-30 2010-10-18 삼성전자주식회사 로봇 및 그 지도작성방법
AU2011305154B2 (en) * 2010-09-24 2015-02-05 Irobot Corporation Systems and methods for VSLAM optimization
KR101739996B1 (ko) * 2010-11-03 2017-05-25 삼성전자주식회사 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
JP5429901B2 (ja) * 2012-02-08 2014-02-26 富士ソフト株式会社 ロボット及び情報処理装置のプログラム
JP5886502B2 (ja) * 2012-12-20 2016-03-16 トヨタ自動車株式会社 移動体制御装置、移動体制御方法及び制御プログラム
KR102087595B1 (ko) * 2013-02-28 2020-03-12 삼성전자주식회사 내시경 시스템 및 그 제어방법
CN104537218B (zh) * 2014-12-17 2017-06-16 长安大学 一种基于三维数据的路面错台量检测方法及***
JP6557973B2 (ja) * 2015-01-07 2019-08-14 株式会社リコー 地図生成装置、地図生成方法およびプログラム
CN106767827B (zh) * 2016-12-29 2020-02-28 浙江大学 一种基于激光数据的移动机器人点云地图创建方法
US10824888B1 (en) * 2017-01-19 2020-11-03 State Farm Mutual Automobile Insurance Company Imaging analysis technology to assess movements of vehicle occupants
DE102017109219A1 (de) * 2017-04-28 2018-10-31 RobArt GmbH Verfahren für die Roboternavigation
KR101983448B1 (ko) * 2017-07-11 2019-05-29 한양대학교 산학협력단 자동 주차를 위한 주차선 검출 방법
JP6538793B2 (ja) * 2017-09-20 2019-07-03 株式会社小松製作所 作業機械の制御システム、作業機械、及び作業機械の管理システム
US11703334B2 (en) 2017-10-31 2023-07-18 Hewlett-Packard Development Company. L.P. Mobile robots to generate reference maps for localization
CN109085838A (zh) * 2018-09-05 2018-12-25 南京理工大学 一种基于激光定位的动态障碍物剔除算法
US20200182623A1 (en) * 2018-12-10 2020-06-11 Zebra Technologies Corporation Method, system and apparatus for dynamic target feature mapping
JP7180399B2 (ja) * 2019-01-18 2022-11-30 株式会社豊田自動織機 走行制御装置
CN114503043A (zh) * 2019-08-06 2022-05-13 波士顿动力公司 受限移动性建图
JP7092741B2 (ja) * 2019-12-25 2022-06-28 財団法人車輌研究測試中心 自己位置推定方法
CN113075668B (zh) * 2021-03-25 2024-03-08 广州小鹏自动驾驶科技有限公司 一种动态障碍物对象识别方法和装置
CN113534822A (zh) * 2021-09-14 2021-10-22 深圳市元鼎智能创新有限公司 扫地机器人的路径控制方法、装置及扫地机器人
WO2024022692A1 (de) * 2022-07-26 2024-02-01 Sew-Eurodrive Gmbh & Co. Kg Verfahren zum betrieb einer technischen anlage und technische anlage
KR102517351B1 (ko) * 2022-08-19 2023-04-03 주식회사 트위니 동적 장애물의 제거가 가능한 운송 로봇 및 동적 장애물 제거 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109425A (en) * 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
US5144685A (en) * 1989-03-31 1992-09-01 Honeywell Inc. Landmark recognition for autonomous mobile robots
JP3176701B2 (ja) * 1992-04-15 2001-06-18 本田技研工業株式会社 移動体の現在位置認識処理装置
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
JP3757502B2 (ja) 1996-11-28 2006-03-22 松下電器産業株式会社 移動物体走行制御装置
JP3641335B2 (ja) 1996-12-03 2005-04-20 シャープ株式会社 全方位視覚センサを用いた位置検出方法
JP3237705B2 (ja) * 1999-02-04 2001-12-10 日本電気株式会社 障害物検出装置および障害物検出装置を搭載した移動体
US6476803B1 (en) * 2000-01-06 2002-11-05 Microsoft Corporation Object modeling system and process employing noise elimination and robust surface extraction techniques
KR100956520B1 (ko) * 2002-04-26 2010-05-06 혼다 기켄 고교 가부시키가이샤 다리식 이동 로봇의 자기위치 추정 장치
US6836701B2 (en) * 2002-05-10 2004-12-28 Royal Appliance Mfg. Co. Autonomous multi-platform robotic system
US7162056B2 (en) * 2002-08-16 2007-01-09 Evolution Robotics, Inc. Systems and methods for the automated sensing of motion in a mobile robot using visual data
US7054716B2 (en) * 2002-09-06 2006-05-30 Royal Appliance Mfg. Co. Sentry robot system
US7135992B2 (en) * 2002-12-17 2006-11-14 Evolution Robotics, Inc. Systems and methods for using multiple hypotheses in a visual simultaneous localization and mapping system
JP2005109647A (ja) * 2003-09-29 2005-04-21 Casio Comput Co Ltd 画像処理装置及びプログラム
KR100565066B1 (ko) * 2004-02-11 2006-03-30 삼성전자주식회사 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
JP4459717B2 (ja) * 2004-05-26 2010-04-28 富士フイルム株式会社 地図更新システム
JP5054010B2 (ja) * 2005-09-02 2012-10-24 ニート ロボティックス,インコーポレイティド ロボットのナビゲーション及びロボットの位置を決定するための方法と装置
US7211980B1 (en) * 2006-07-05 2007-05-01 Battelle Energy Alliance, Llc Robotic follow system and method
KR100988568B1 (ko) * 2008-04-30 2010-10-18 삼성전자주식회사 로봇 및 그 지도작성방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130132128A (ko) * 2012-05-25 2013-12-04 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
KR20170061373A (ko) * 2015-11-26 2017-06-05 삼성전자주식회사 이동 로봇 및 그 제어 방법

Also Published As

Publication number Publication date
JP5410795B2 (ja) 2014-02-05
US8761925B2 (en) 2014-06-24
KR100988568B1 (ko) 2010-10-18
JP2009271513A (ja) 2009-11-19
US20090276092A1 (en) 2009-11-05

Similar Documents

Publication Publication Date Title
KR100988568B1 (ko) 로봇 및 그 지도작성방법
KR101581197B1 (ko) 로봇 및 그 제어방법
CA2945860C (en) A method for localizing a robot in a localization plane
KR101705601B1 (ko) 3차원 깊이정보기반 자율주행 로봇의 위치추정 장치 및 그 방법
KR102056147B1 (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
JP2017521761A (ja) 自律ロボットの障害物の不在および存在の一方の確率のマップを構築する方法
KR20110097140A (ko) 이동 로봇의 위치 추정 장치 및 방법
JP2007216350A (ja) 移動型ロボット
Lagisetty et al. Object detection and obstacle avoidance for mobile robot using stereo camera
JP6919882B2 (ja) 人推定システムおよび推定プログラム
CN106909149B (zh) 一种深度摄像头避障的方法及装置
KR20130142336A (ko) 3차원 직선을 이용하여 위치를 인식하고 지도를 생성하는 방법 및 그 방법에 따른 이동체
JP2020163502A (ja) 物体検出方法、物体検出装置およびロボットシステム
JP5698815B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2010112836A (ja) 自己位置同定装置および該自己位置同定装置を備えた移動ロボット
KR100784125B1 (ko) 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
JP4849178B2 (ja) 移動型ロボット
JP2015135333A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN113767421A (zh) 用于监控机器人的环境的方法和设备
JP7365567B2 (ja) 計測システム、計測装置、計測方法及び計測プログラム
JP7448884B2 (ja) 計測システム、計測装置、計測方法、及び計測プログラム
Wang et al. Mobile robot pose estimation using laser scan matching based on fourier transform
Schmitt et al. Single camera-based synchronisation within a concept of robotic assembly in motion
WO2022190285A1 (ja) 自己位置推定システム及び自己位置推定方法
US20240061436A1 (en) Moving apparatus and moving apparatus control method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140922

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150916

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160921

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170918

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 10