KR101868374B1 - 이동 로봇의 제어방법 - Google Patents

이동 로봇의 제어방법 Download PDF

Info

Publication number
KR101868374B1
KR101868374B1 KR1020160136522A KR20160136522A KR101868374B1 KR 101868374 B1 KR101868374 B1 KR 101868374B1 KR 1020160136522 A KR1020160136522 A KR 1020160136522A KR 20160136522 A KR20160136522 A KR 20160136522A KR 101868374 B1 KR101868374 B1 KR 101868374B1
Authority
KR
South Korea
Prior art keywords
map
basic
node
information
boundary
Prior art date
Application number
KR1020160136522A
Other languages
English (en)
Other versions
KR20180043606A (ko
Inventor
임승욱
이태경
노동기
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020160136522A priority Critical patent/KR101868374B1/ko
Priority to US16/343,631 priority patent/US11561549B2/en
Priority to PCT/KR2017/011697 priority patent/WO2018074903A1/ko
Priority to EP17861900.3A priority patent/EP3530416B1/en
Publication of KR20180043606A publication Critical patent/KR20180043606A/ko
Application granted granted Critical
Publication of KR101868374B1 publication Critical patent/KR101868374B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02—Nozzles
    • A47L9/04—Nozzles with driven brushes or agitators
    • A47L9/0461—Dust-loosening tools, e.g. agitators, brushes
    • A47L9/0466—Rotating tools
    • A47L9/0477—Rolls
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02—Nozzles
    • A47L9/04—Nozzles with driven brushes or agitators
    • A47L9/0461—Dust-loosening tools, e.g. agitators, brushes
    • A47L9/0488—Combinations or arrangements of several tools, e.g. edge cleaning tools
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/02—Docking stations; Docking operations
    • A47L2201/022—Recharging of batteries
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009—Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명에 따른 이동 로봇의 제어방법은, 주행 과정에서 획득한 환경 정보에 근거하여 제 1기초맵을 생성하는 제 1기초학습 과정, 별개의 주행 과정에서 획득한 환경 정보에 근거하여 제 2기초맵을 생성하는 제 2기초학습 과정, 및 상기 제 1기초맵 및 제 2기초맵을 병합하여 병합맵을 생성하는 병합 과정을 포함한다.

Description

이동 로봇의 제어방법 {CONTROL METHOD OF A MOVING-ROBOTF}
본 발명은, 이동 로봇 및 이동 로봇의 제어방법에 관한 것으로, 보다 자세하게는 이동 로봇이 맵(map)을 학습하거나 맵 상에서 위치를 인식하는 기술에 관한 것이다.
로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다. 가정에서 사용되는 이동 로봇의 대표적인 예는 로봇 청소기이다.
이동 로봇이 원하는 목적지로 정확하게 이동하기 위해서, 충전대 등의 목적지에서 송출된 적외선(IR: InfraRed)신호 등을 감지하는 방법이 있으나, 이는 적외선 신호 등을 송출하는 제한된 목적지로의 이동을 가능하게 할 뿐 어느 목적지로나 이동은 불가하며, 거리 또는 장애물 등의 이유로 송출된 적외선을 이동 로봇이 감지하지 못 할 경우 목적지를 찾아 배회할 수 있는 문제가 있다.
따라서, 주행 구역 내의 어느 위치로나 이동 하기 위해서는, 맵 상에서 이동 로봇의 현재 위치를 파악할 수 있어야 한다.
이를 위해, 종래에, 이동 로봇의 연속적인 이동 중 자신의 직전 위치에서의 주행 정보(이동 방향 및 이동 속도에 대한 정보 또는 연속적으로 촬영되는 바닥사진 등의 비교 등)를 바탕으로 현재 위치를 지속적으로 파악하는 다양한 방법이 알려져 있다. 또한, 이동 로봇이 스스로 맵(Map)을 학습하는 다양한 방법이 알려져 있다.
그런데, 외부적인 요인에 의해 주행 중인 이동 로봇의 위치가 강제로 변경된 경우, 이동 로봇은 직전 위치에서의 주행 정보를 근거로 미지의 현재 위치를 인식할 수 없게 된다. 일 예로, 사용자가 주행 중인 이동 로봇을 들어서 옮긴 납치(Kidnapping) 상황이 발생한 경우가 그러하다.
상기 납치 상황을 비롯한 '위치 점핑(Jumping) 상황'에서도 이동 로봇이 맵 상에서 현재 위치를 인식(localization)하기 위하여, 특정 지점에서 송출되는 상기 적외선 신호를 이용할 수 있으나 상기한 문제점이 있다. 또한, 위치 점핑 상황에서 현재 위치를 인식하기 위하여 레이져 센서나 초음파 센서를 이용하는 방법이 있으나, 비용이 크게 증가하고 주변 환경에 대해 보다 구체적인 정보를 얻을 수 없다는 한계가 있다.
이에 따라, 종래 기술(한국공개특허공보 10-2010-0104581)은 현재 위치에서 카메라를 통해 촬영된 영상을 이용하여 미지의 현재 위치를 인식하는 기술을 개시한다.
한국공개특허공보 공개번호 10-2010-0104581 (공개일자 2010. 9. 29.)
제 1과제는 효율적이고 정확한 주행 구역 내 위치 인식 기술을 제시하는 것이다.
상기 종래기술은, 같은 주행 구역 상의 같은 부분을 촬영한 어느 한 영상과 인식 영상의 비교에 있어서, 주행 구역 내의 조명 On/Off 여부에 따라 현재 위치의 추정 정확도가 달라질 수 있는 문제가 있다. 제 2과제는 이러한 문제를 해결하여, 조명 On/Off여부와 무관하게 획득한 인식 영상을 기 저장된 영상 들의 비교를 통해서, 미지의 현재 위치를 더 높은 신뢰도로 추정하게 하는 것이다.
또한, 주행 구역 내의 조명 On/Off에 따라 천장의 영상에서 추출되는 특징점 자체가 달라질 수 있다. 예를 들어, 어느 한 특징점이 조명 자체 인 경우, 상기 조명이 On된 상태에서 획득한 영상을 근거로 생성된 복수의 디스크립터와, 상기 조명이 Off된 상태에서 획득한 영상을 근거로 생성된 복수의 디스크립터 사이에 큰 차이가 있을 수 있다. 제 3과제는 동일 주행 구역 내의 가변적인 특징점을 가진 영상을 시간을 달리하여 복수로 획득하고, 이를 기초로 미지의 현재 위치를 추정하게 하는 것이다.
상기 제 1 내지 3과제를 해결하기 위하여, 이동 로봇의 제어방법은, 주행 구역 내 조명이 On인 상태로 1회 주행하여 기초맵을 생성하고, 주행 구역 내 조명이 Off인 상태로 다시 1회 주행하여 다른 기초맵을 생성한 뒤, 두 기초맵을 병합하여 병합맵을 생성하는 학습과정을 포함할 수 있다. 주행 구역 내 조명의 On/Off 여부는 외부의 조건일 뿐이고, 제어방법 자체의 알고리즘에는, 상기 조명 On/Off 여부에 대한 판단 과정이 포함되지 않을 수 있다.
상기 제 1 내지 3과제를 해결하기 위하여, 상기 제어방법은, 주행 과정에서 획득한 환경 정보에 근거하여 제 1기초맵을 생성하는 제 1기초학습 과정, 별개의 주행 과정에서 획득한 환경 정보에 근거하여 제 2기초맵을 생성하는 제 2기초학습 과정, 및 상기 제 1기초맵 및 제 2기초맵을 병합하여 병합맵을 생성하는 병합 과정을 포함한다.
상기 각 기초학습 과정에서 생성한 각 노드 들을 모두 위치 추정의 기초로 삼기 위하여, 상기 제 1기초맵은 주행 구역 내 복수의 제 1지점에 대응하는 복수의 제 1노드를 포함하고, 상기 제 2기초맵은 주행 구역 내 복수의 제 2지점에 대응하는 복수의 제 2노드를 포함하고, 상기 병합맵은 상기 복수의 제 1노드 및 상기 복수의 제 2노드를 포함할 수 있다.
상기 별개의 주행 과정에서 생성된 두 기초맵을 병합하는 기준을 제공하기 위하여, 상기 제 1기초학습 과정에서 제 1주행 장애 요소를 감지하여, 상기 제 1주행 장애 요소에 대응하는 제 1경계 정보를 포함하는 상기 제 1기초맵을 생성할 수 있다. 또한, 상기 제 2기초학습 과정에서, 제 2주행 장애 요소를 감지하여, 상기 제 2주행 장애 요소에 대응하는 제 2경계 정보를 포함하는 상기 제 2기초맵을 생성할 수 있다. 또한, 상기 병합 과정에서, 상기 제 1경계 정보 및 상기 제 2경계 정보를 근거로 상기 제 1기초맵 및 상기 제 2기초맵을 병합할 수 있다.
구체적으로, 상기 제 1기초맵은, 제 1주행 구역의 전체 형상에 대응하는 제 1경계맵과 상기 제 1경계맵에 대한 상대적 좌표 정보를 가진 복수의 제 1노드를 포함할 수 있다. 상기 제 2기초맵은, 제 2주행 구역의 전체 형상에 대응하는 제 2경계맵과 상기 제 2경계맵에 대한 상대적 좌표 정보를 가진 복수의 제 2노드를 포함할 수 있다. 상기 병합 과정에서, 상기 제 1경계맵 및 상기 제 2경계맵을 하나의 좌표 시스템 상에 일치시켜, 상기 좌표 시스템 상의 좌표 정보를 가진 상기 복수의 제 1노드 및 상기 좌표 시스템 상의 좌표 정보를 가진 상기 복수의 제 2노드를 포함하는 상기 병합맵을 생성할 수 있다.
현재 위치에 대응되는 주행 구역 상의 지점을 인식하기 위하여, 상기 제 1기초학습 과정에서, 주행 구역의 복수의 지점에 대응하는 상기 제 1기초맵 상의 복수의 제 1노드를 생성할 수 있다. 상기 제 2기초학습 과정에서, 주행 구역의 복수의 지점에 대응하는 상기 제 2기초맵 상의 복수의 제 2노드를 생성할 수 있다.
각각의 주행 과정에서 획득한 환경 정보는 특정 조건에서의 주행 구역으로부터 획득한 것으로 보고, 이러한 환경 정보 들을 2가지 다른 조건의 주행 구역으로부터 획득하여 추후 위치 인식 시 보다 정확하게 현재 위치를 추정하기 위하여, 상기 제 1기초학습 과정에서, 주행 중 각 제 1지점 별로 환경 정보를 획득하고, 상기 각 제 1지점에 대응하는 상기 제 1기초맵 상의 각 제 1노드를 생성할 수 있다. 상기 제 2기초학습 과정에서, 주행 중 각 제 2지점 별로 환경 정보를 획득하고, 상기 각 제 2지점에 대응하는 상기 제 2기초맵 상의 각 제 2노드를 생성할 수 있다.
상기 제 1기초학습 과정에서의 제 1주행 구역과 상기 제 2기초학습 과정에서의 제 2주행 구역은, 경우에 따라 실제로 서로 다른 주행 구역일 수 있다. 이러한 조건에서는, 상기 제 1기초맵과 상기 제 2기초맵이 병합되지 않을 필요가 있다. 이를 위하여, 상기 제어방법은, 상기 병합 과정 이전에, 상기 제 1기초맵 및 상기 제 2기초맵의 소정의 병합조건 만족여부를 판단하는 병합조건판단 과정을 포함할 수 있다. 구체적으로, 상기 제 1기초학습 과정에서, 제 1주행 장애 요소를 감지하여, 상기 제 1주행 장애 요소에 대응하는 제 1경계 정보를 포함하는 제 1경계맵을 생성할 수 있다. 상기 제 2기초학습 과정에서, 제 2주행 장애 요소를 감지하여, 상기 제 2주행 장애 요소에 대응하는 제 2경계 정보를 포함하는 제 2경계맵을 생성할 수 있다. 상기 병합조건은, 상기 제 1경계맵과 상기 제 2경계맵의 유사도가 소정 기준 이상인 조건을 포함할 수 있다.
위치 인식 과정에서 상기 제 1 및 2 기초학습 과정에서 생성된 노드 정보를 가감 없이 활용하기 위하여, 병합맵 상에서 현재 위치를 추정하는 것이 바람직하다. 상기 제어방법은, 상기 병합 과정 이후에, 병합맵 상에서 현재 위치로 추정되는 노드를 선택하는 노드선택 과정을 더 포함할 수 있다.
구체적으로, 상기 제 1기초학습 과정에서, 주행 중 각 제 1지점 별로 영상을 획득하고, 상기 각 제 1지점에 대응하는 상기 제 1기초맵 상의 각 제 1노드를 생성할 수 있다. 상기 제 2기초학습 과정에서, 주행 중 각 제 2지점 별로 영상을 획득하고, 상기 각 제 2지점에 대응하는 상기 제 2기초맵 상의 각 제 2노드를 생성할 수 있다. 상기 병합 과정에서, 복수의 상기 제 1노드와 복수의 상기 제 2노드를 포함하는 병합맵을 생성할 수 있다. 상기 병합 과정 이후에, 현재 위치에서 인식 영상을 획득하고, 인식 영상 정보를 병합맵 상의 영상 정보와 비교하여, 상기 병합맵 상의 상기 복수의 제 1노드와 상기 복수의 제 2노드 중 상기 현재 위치로 추정되는 노드를 선택하는 노드선택 과정을 포함할 수 있다.
상기 제어방법을 실행시키기 위한 프로그램이 구현될 수 있고, 상기 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 구현될 수 있다.
또한, 각종 규칙들 이나 연산을 실행하기 위한 프로그램이 구현될 수 있고, 상기 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 구현될 수 있다.
상기 해결수단들을 통하여, 주행 구역 내의 조명의 On/Off 여부와 무관하게 높은 정확성으로 미지의 현재 위치를 추정할 수 있는 효과가 있다.
또한, 주행 구역 내의 조명 이외에도 다른 조건에 따라 획득되는 영상이 달라질 수 있는데, 2번의 시간 차를 둔 주행을 통해 획득한 각각의 복수의 영상 정보를 모두 데이터로 하므로, 미지의 현재 위치를 추정하는데 있어서의 신뢰도가 전체적으로 상승하는 효과가 있다.
또한, 이동 로봇의 위치 점핑 상황에서도 맵 상에서 현재 위치를 인식할 수 있는 효과가 있다. 구체적으로, 상기 납치 상황 발생시에도 이를 극복하여, 전역 내 납치 회복(Global Kidnapping Recovery)이 가능하다.
또한, 위치 점핑 상황이 아닌 주행 과정에서 이동 로봇이 기 저장된 맵 상의 위치에 있는 경우, 새로 획득한 영상 정보를 이용하여 기 저장된 영상 정보와 비교하여 맵을 보다 정확하게 갱신할 수 있는 효과가 있다.
또한, 천장 영상 만으로도 본 기술을 구현할 수 있어 장치 구현이 비교적 단순해지는 효과가 있다.
또한, 카메라의 초점거리 정보 및 영상 내의 특징점 2차원 좌표 없이도 현재위치를 인식할 수 있어, 간편하게 기술을 구현할 수 있으면서도, 현재 위치 추정의 정확성을 상승시키는 효과가 있다.
또한, 2차원 맵으로도 본 기술을 구현할 수 있어 메모리의 효율적인 사용이 가능하다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇 및 이동 로봇을 충전시키는 충전대를 도시한 사시도이다.
도 2는 도 1에 도시된 이동 로봇의 상면부를 도시한 것이다.
도 3은 도 1에 도시된 이동 로봇의 정면부를 도시한 것이다.
도 4는 도 1에 도시된 이동 로봇의 저면부를 도시한 것이다.
도 5는 도 1의 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 6은 도 1의 이동 로봇의 일 실시예에 따른 제어방법을 도시한 순서도이다.
도 7은, 도 6의 제어방법에 따라 제어되는 이동 로봇이 수행하는 과정을 일 상황의 시나리오에 따라 도시한 순서도이다.
도 8은, 도 6 및 7의 기초학습단계(S110)의 구체적인 과정을 도시한 순서도이다.
도 9는, 도 6 및 7의 인식 과정(S200)의 구체적인 과정을 도시한 순서도이다.
도 10은, 도 8의 주행 및 환경 정보 획득 과정(S111), 노드 생성 과정(S112), 노드 맵 생성 과정(S113), 경계 생성 과정(S114), 경계맵 생성 과정(S115) 및 디스크립터 생성 과정(S116)을 예시적으로 도시한 개념도이다. 도 10에는, 상기 과정(S111)에서 획득한 영상과 영상 내의 복수의 특징점(f1,f2,f3,f4,f5,f6,f7)이 도시되고, 상기 과정(S116)에서 복수의 특징점(f1,f2,f3,..,fm)에 각각 대응하는 n차원 벡터인 디스크립터(
Figure 112016101986961-pat00001
)를 생성시키는 도식이 도시된다.
도 11은, 도 10의 노드 생성 과정(S112) 및 노드맵 생성 과정(S113)의 일 실시예를 구체적으로 도시한 순서도 이다.
도 12는, 도 11에 따라 생성된 노드(N)의 구성 정보들 및 노드(N)의 정보에 영향을 주는 정보를 나타낸 블록도이다.
도 13은, 도 11에 따라 이동 로봇이 이동하면서 생성하는 복수의 노드(N) 및 노드 들 간의 변위(C)를 도시한 개념도이다.
도 14는, 도 8의 제어방법에 따라 생성된 제 1기초맵(Ma)의 일 예를 도시한 개념도로서, 제 1기초맵이 상기 도 10 내지 13에 따라 생성된 노드맵을 포함하고 있는 그림이다. 또한, 도 14는, 도 6 또는 7에서 먼저 진행(선행)되는 기초 학습 과정(S110a, S110c)에서 생성된 기초맵(Ma)을 도시한 개념도이다.
도 15는, 도 8의 제어방법에 따라 생성된 제 2기초맵(Mb)의 일 예를 도시한 개념도이다. 도 15는, 도 6 또는 7에서 나중에 진행(후행)되는 기초 학습 과정(S110b, S110d)에서 생성된 기초맵(Mb)을 도시한 개념도이다.
도 16은, 도 6 및 7의 병합단계(S135)에서 생성된 병합맵(Mu)을 도시한 개념도로서, 도 14의 기초맵(Ma)과 도 15의 기초맵(Mb)을 병합하여 생성된 병합맵(Mu)을 도시한 그림이다.
도 17은, 도 6 및 7의 병합단계(S135)의 일 예를 도시한 개념도로서, 기초맵(Ma,Mb)에 노드맵을 제외하고 경계맵 만을 도시한 그림이다.
도 18은, 도 9의 인식 영상 획득 과정(S210), 인식 디스크립터의 생성 과정(S220), 노드 선택 과정(S240)을 예시적으로 도시한 개념도이다. 도 18에는, 상기 과정(S210)에서 획득한 영상과 영상 내의 복수의 인식 특징점(h1,h2,h3,h4,h5,h6,h7)이 도시되고, 상기 과정(S220)에서 복수의 인식 특징점(h1,h2,h3,h4,h5,h6,h7)에 각각 대응하는 n차원 벡터인 인식 디스크립터 들(
Figure 112016101986961-pat00002
)을 생성시키는 도식이 도시된다.
명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다.
본 설명 전체에 걸쳐 사용되는 주요 용어를 설명하면 다음과 같다.
'생성'한다는 것은, 기존에 저장되어 있지 않은 데이터를 새롭게 만드는 것을 의미한다. '대상A를 근거로 대상B를 생성시킨다'는 것은 대상A를 입력값으로 한 정보처리 결과 대상B가 생성되는 것을 의미한다.
'대상A와 대상B를 비교한다'는 것은, 이미 공지된 기술 또는 본 발명의 설명에 개시된 실시예에 따른 기술을 통해 대상A와 대상B의 유사 정도를 판단하는 것을 의미한다.
‘산출’한다는 것은 수학적 데이터를 계산하여 결과값인 데이터를 생성시키는 것을 의미한다.
'선택'한다는 것은 복수의 대상 중 어느 하나를 정하는 것을 의미한다.
대상A에 대하여 대상B가 정해질 때, '대상A에 대상B가 대응한다'고 한다. (예를 들어, 각각의 노드에 각각의 영상이 대응한다) 대상A에 대상B가 대응하고 대상B에 대상C가 대응할 때, '대상A에 대상C가 대응한다'고 할 수 있다.
그룹A의 각각의 원소에 대하여 그룹B의 원소가 적어도 한 개 정해질 때, '그룹A에 그룹B가 대응한다'고 한다. (예를 들어, 디스크립터 그룹에 라벨 디스크립터 그룹이 대응한다.)
'대응'이란 일의대응, 일대다대응(One-to-many correspondence) 및 일대일대응(one-to-one correspondence) 중 적어도 어느 하나를 의미한다. 대상A에 하나의 대상B가 대응할 때, '대상A에 대상B가 일의대응 한다'고 한다. 그룹A의 각각의 원소에 고작 그룹B의 원소가 하나 대응할 때, '그룹A에 그룹B가 일의대응 한다'고 한다. 대상A에 복수의 대상B가 대응할 때, '대상A에 대상B가 일대다대응 한다'고 한다. 그룹 A의 적어도 하나의 원소에 그룹B의 원소가 복수 개 대응할 때, '그룹A에 그룹B가 일대다대응 한다'고 한다. 하나의 대상A에 하나의 대상B가 대응할 때, '대상A에 대상B가 일대일대응 한다'고 한다. 그룹A와 그룹B의 원소의 개수가 서로 같고 그룹A의 각각의 원소에 그룹B의 각각 상이한 원소가 대응할 때, '그룹A에 그룹B가 일대일대응한다'고 한다. 예를 들어, 어느 하나의 획득 영상A으로부터 특징점B가 추출되고 특징점B를 근거로 디스크립터C가 생성되는 경우, 디스크립터C에 영상A는 일의대응 한다. 예를 들어, 어느 하나의 획득 영상A로부터 복수의 특징점B,C가 추출되고 복수의 특징점B,C를 근거로 복수의 디스크립터C,D가 생성되는 경우, 영상A에 복수의 디스크립터C,D가 일대다대응 한다. 예를 들어, 복수의 노드와 복수의 영상의 개수가 서로 같고 각각의 노드에 각각 상이한 영상이 대응하면, 복수의 노드에 복수의 영상이 일대일대응한고 한다.
대상A에 대상B가 대응하는 관계를 생성시키는 것을 '대상A에 대상B를 매칭시킨다'고 한다. 예를 들어, 노드에 영상을 매칭시킨다.
'위치 점핑(Jumping) 상황'이란, 맵 상의 이동 경로의 추적이 불가한 상태에서 이동 로봇이 이동된 상황을 의미한다. 구체적으로, 위치 점핑 상황은, 후술할 주행 변위 측정부(165)에 의한 주행 변위를 측정할 수 없는 상태에서 이동 로봇이 이동된 경우에 발생할 수 있다. 위치 점핑 상황의 일 예로, 주행 중인 이동 로봇을 사용자가 강제로 들어서 옮긴 납치(Kidnapping) 상황이나, 이동 로봇의 전원이 오프(off)된 상태에서 이동 로봇의 위치를 강제로 옮긴 상황이 있다.
'학습 과정'이란, 주행 구역 내에서 획득한 정보 들을 이용하여 맵을 생성하거나 갱신하는 과정을 의미한다.
'기초학습 과정'이란 이동 로봇이 주행하여 하나의 맵을 생성하는 학습과정을 의미한다. 기초학습 과정은 제 1기초학습 과정 및 제 2기초학습 과정을 포괄하는 의미로서, 상기 제 1기초학습과정과 상기 제 2기초학습 과정은 별개(separate)의 과정이다. 후술하는 최초의 기초학습 과정(S110a), 별개의 기초학습 과정(S110b), 조명On인 상태에서 기초학습 과정(S110c), 조명Off인 상태에서 기초학습 과정(S110d)은, 각각 하나의 기초학습 과정이다.
'인식 과정'이란, 맵 상의 이동 로봇의 현재 위치를 알아내는 과정을 의미한다.
상기 학습 과정 및 상기 인식 과정은 이동 로봇의 주행 중에 동시에 진행될 수 있고, 이를 Simultaneous Localization And Mapping (SLAM)이라 지칭할 수 있다.
'주행 구역'이란 이동 로봇이 주행하는 외부 세계의 영역을 의미한다. 주행 구역은 제 1주행 구역 및 제 2주행 구역을 포괄하는 의미로서, 상기 제 1주행 구역은 상기 제 1기초학습과정의 주행 구역을 의미하고 상기 제 2주행 구역은 상기 제 2기초학습과정의 주행 구역을 의미한다. 상기 제 1주행 구역 및 제 2주행 구역은 경우에 따라 서로 동일할 수도 있고 서로 다를 수도 있다.
'지점(Point)'이란, 주행 구역 내의 어느 한 위치를 의미한다. 지점은 제 1지점 및 제 2지점을 포괄하는 의미로서, 상기 제 1지점은 상기 제 1주행 구역의 지점을 의미하고 상기 제 2지점은 상기 제 2주행 구역의 지점을 의미한다.
'주행 장애 요소'는, 이동 로봇의 주행에 제한을 주는 요소로서, 이동 로봇이 감지하는 주행 구역 상의 요소를 의미한다. 예를 들어, 상기 주행 장애 요소에는, 장애물(벽체 또는 바닥에 놓여진 물건 등)의 외측면 및 낭떠러지의 시작 부분 등이 있다. 예를 들어, 이동 로봇은, 후술하는 장애물 감지센서(131), 낭떠러지 감지센서(132), 하부 카메라 센서(139), 영상획득부(120) 및 그 밖에 공지된 수단을 이용하여, 상기 주행 장애 요소를 감지할 수 있다. 상기 주행 장애 요소는 제 1주행 장애 요소 및 제 2주행 장애 요소를 포괄하는 의미로서, 상기 제 1주행 장애 요소는 상기 제 1주행 구역의 주행 장애 요소를 의미하고 상기 제 2주행 장애 요소는 상기 제 2주행 구역의 주행 장애 요소를 의미한다.
'맵(Map)'이란, 주행 구역의 소정 정보 들을 소정 형식으로 저장한 데이터를 의미한다.
'기초맵(basic map)'은, 상기 기초학습단계를 통해 생성되는 맵을 의미한다. 기초맵은 제 1기초맵 및 제 2기초맵을 포괄하는 의미로서, 상기 제 1기초맵은 상기 제 1기초학습과정에서 생성된 것을 의미하고, 상기 제 2기초맵은 상기 제 2기초학습과정에서 생성된 것을 의미한다.
'노드(Node)'란, 상기 지점에 대응하는 맵 상의 어느 한 위치를 나타내는 데이터를 의미한다. 노드는 제 1노드 및 제 2노드를 포괄하는 의미로서, 상기 제 1노드는 상기 제 1기초학습과정에서 생성된 것을 의미하고, 상기 제 2노드는 상기 제 2기초학습과정에서 생성된 것을 의미한다.
'노드 정보'란 상기 노드에 대응하는 각종 데이터 들을 의미한다.
'노드맵'은 복수의 노드를 포함하는 맵을 의미한다. 노드맵은 제 1노드맵 및 제 2노드맵을 포괄하는 의미로서, 상기 제 1노드맵은 복수의 제 1노드를 포함하는 맵을 의미하고, 상기 제 2노드맵은 복수의 제 2노드를 포함하는 맵을 의미한다.
'경계(border) 정보'란, 상기 주행 장애 요소에 대응하는 맵 상의 위치를 나타내는 데이터를 의미한다. 경계 정보는 제 1경계 정보 및 제 2경계 정보를 포괄하는 의미로서, 상기 제 1경계 정보는 상기 제 1기초학습과정에서 생성된 것을 의미하고, 상기 제 2경계 정보는 상기 제 2기초학습과정에서 생성된 것을 의미한다.
'경계맵'은 복수의 경계 정보를 포함하는 데이터를 의미한다. 경계맵은 주행 구역의 형상에 대응할 수 있다. 경계맵은 제 1경계맵(Ba) 및 제 2경계맵(Bb)을 포괄하는 의미로서, 상기 제 1경계맵(Ba)은 복수의 제 1경계 정보를 포함하는 맵을 의미하고, 상기 제 2경계맵(Bb)은 복수의 제 2경계 정보를 포함하는 맵을 의미한다.
'병합맵'은 상기 제 1기초맵 및 제 2기초맵을 근거로 생성한 맵을 의미한다.
'환경 정보'란 이동 로봇이 감지하는 외부 세계의 각종 정보를 의미한다. 예를 들어, 환경 정보는, 영상, 물체와의 거리 및/또는 조도를 포함할 수 있다.
'영상'이란, 이동 로봇(100)에 의해 촬영되어 획득된 이미지를 의미한다. '인식 영상'이란, 맵 상에서 현재의 위치를 인식하기 위하여 현재의 위치에서 획득된 영상을 의미한다.
'노드에 대응하는 영상'이란, 노드에 대응하는 지점에서 획득한 영상을 의미한다.
'특징점'이란 영상의 여러 특징 들 중 어느 하나로서 영상 내의 일부의 이미지를 의미한다. '인식 특징점'이란 인식 영상의 여러 특징 들 중 어느 하나로서 인식 영상 내의 일부의 이미지를 의미한다.
'디스크립터(descriptor)'는, 상기 특징점을 나타내기 위한 소정 형식의 데이터를 의미하며, 디스크립터 들 간의 거리 또는 유사도가 산출 가능한 형식의 수학적 데이터를 의미한다. 예를 들어, 디스크립터는 n차원 벡터(n은 자연수) 또는 행렬 형식의 데이터일 수 있다.
디스크립터가 n차원 벡터로 표현될 수 있는 경우, 2개의 디스크립터(
Figure 112016101986961-pat00003
) 사이의 '거리'는 n차원 벡터 간의 거리(d)를 의미하고, 다음의 수학식 1에 의해서 산출될 수 있다. (여기서, n은 자연수)
Figure 112016101986961-pat00004
디스크립터가 n차원 벡터로 표현될 수 있는 경우, x개(여기서, x는 자연수)의 디스크립터가
Figure 112016101986961-pat00005
의 '평균값'(
Figure 112016101986961-pat00006
)(n차원 벡터)은 다음의 수학식 2에 의해서 산출될 수 있다. (여기서, x 및 n은 자연수)
Figure 112016101986961-pat00007
'인식 디스크립터'는 상기 인식 특징점을 나타내기 위한 소정 형식의 데이터를 의미하며, 상기 디스크립터와 같은 형식의 데이터를 의미한다.
'영상 내 복수의 디스크립터'는, 어느 한 영상에서 추출된 복수의 특징점을 각각 나타내기 위한 복수의 디스크립터를 의미한다. '인식 영상 내 복수의 인식 디스크립터'는, 어느 한 인식 영상에서 추출된 복수의 인식 특징점을 각각 나타내기 위한 복수의 인식 디스크립터를 의미한다.
'영상 정보'란 어느 한 영상에 대한 데이터로서, 영상 자체의 이미지, 영상에서 추출된 복수의 특징점 및/또는 영상 내 복수의 디스크립터를 포괄하는 개념이다. '인식 영상 정보'란 어느 한 인식 영상에 대한 데이터로서, 인식 영상 자체의 이미지, 인식 영상에서 추출된 복수의 인식 특징점 및/또는 인식 영상 내 인식 디스크립터를 포괄하는 개념이다.
본 발명인 이동 로봇(100)은 바퀴 등을 이용하여 스스로 이동이 가능한 로봇을 의미하고, 가정 도우미 로봇 및 로봇 청소기 등이 될 수 있다. 이하 도 1 내지 도 4를 참조하여, 이동 로봇 중 로봇 청소기(100)를 예로 들어 설명하나, 반드시 이에 한정될 필요는 없다.
도 1 내지 5를 참고하여, 이동 로봇(100)은 본체(110)와, 본체(110) 주변의 영상을 획득하는 영상획득부(120)를 포함한다. 이하, 본체(110)의 각 부분을 정의함에 있어서, 주행 구역의 천장을 향하는 부분을 상면부(도 2 참고)로 정의하고, 주행 구역의 바닥을 향하는 부분을 저면부(도 4 참고)로 정의하고, 상기 상면부와 저면부 사이에서 본체(110)의 둘레를 이루는 부분 중 주된 주행 방향 부분을 정면부(도 3 참고)라고 정의한다.
이동 로봇(100)는 본체(110)를 이동시키는 주행부(160)를 포함한다. 주행부(160)는 본체(110)를 이동시키는 적어도 하나의 구동 바퀴(136)를 포함한다. 주행부(160)는 구동 모터를 포함할 수 있다. 구동 바퀴(136)는 본체(110)의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜(136(L))과 우륜(136(R))이라고 한다.
좌륜(136(L))과 우륜(136(R))은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜(136(L))을 구동시키는 좌륜 구동 모터와 우륜(136(R))을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜(136(L))과 우륜(136(R))의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체(110)의 주행방향을 전환할 수 있다.
본체(110)의 저면부에는 공기의 흡입이 이루어지는 흡입구(110h)가 형성될 수 있으며, 본체(110) 내에는 흡입구(110h)를 통해 공기가 흡입될 수 있도록 흡입력을 제공하는 흡입장치(미도시)와, 흡입구(110h)를 통해 공기와 함께 흡입된 먼지를 집진하는 먼지통(미도시)이 구비될 수 있다.
본체(110)는 이동 로봇(100)를 구성하는 각종 부품들이 수용되는 공간을 형성하는 케이스(111)를 포함할 수 있다. 케이스(111)에는 상기 먼지통의 삽입과 탈거를 위한 개구부가 형성될 수 있고, 상기 개구부를 여닫는 먼지통 커버(112)가 케이스(111)에 대해 회전 가능하게 구비될 수 있다.
흡입구(110h)를 통해 노출되는 솔들을 갖는 롤형의 메인 브러시(134)와, 본체(110)의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 보조 브러시(135)가 구비될 수 있다. 이들 브러시(134, 135)들의 회전에 의해 청소 구역 내 바닥으로부터 먼지들이 제거되며, 이렇게 바닥으로부터 분리된 먼지들은 흡입구(110h)를 통해 흡입되어 먼지통에 모인다.
배터리(138)는 상기 구동 모터뿐만 아니라, 이동 로봇(100)의 작동 전반에 필요한 전원을 공급하는 것이다. 배터리(138)가 방전될 시, 이동 로봇(100)는 충전을 위해 충전대(200)로 복귀하는 주행을 실시할 수 있으며, 이러한 복귀 주행 중, 이동 로봇(100)는 스스로 충전대(200)의 위치를 탐지할 수 있다.
충전대(200)는 소정의 복귀 신호를 송출하는 신호 송출부(미도시)를 포함할 수 있다. 상기 복귀 신호는 초음파 신호 또는 적외선 신호일 수 있으나, 반드시 이에 한정되어야 하는 것은 아니다.
이동 로봇(100)는 상기 복귀 신호를 수신하는 신호 감지부(미도시)를 포함할 수 있다. 충전대(200)는 신호 송출부를 통해 적외선 신호를 송출하고, 상기 신호 감지부는 상기 적외선 신호를 감지하는 적외선 센서를 포함할 수 있다. 이동 로봇(100)는 충전대(200)로부터 송출된 적외선 신호에 따라 충전대(200)의 위치로 이동하여 충전대(200)와 도킹(docking)한다. 이러한 도킹에 의해 이동 로봇(100)의 충전 단자(133)와 충전대(200)의 충전 단자(210) 간에 충전에 이루어진다.
영상획득부(120)는 청소 구역을 촬영하는 것으로, 디지털 카메라를 포함할 수 있다. 상기 디지털 카메라는 적어도 하나의 광학렌즈와, 상기 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 상기 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 상기 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
바람직하게, 영상획득부(120)는 본체(110)의 상면부에 구비되어, 청지역 내의 천장에 대한 영상을 획득하나, 영상획득부(120)의 위치와 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다. 예를 들어, 영상획득부(120)는 본체(110) 전방의 영상을 획득하도록 구비될 수도 있다.
또한, 이동 로봇(100)는 전방의 장애물을 감지하는 장애물 감지센서(131)를 더 포함할 수 있다. 이동 로봇(100)는 청소 구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지센서(132)와, 바닥의 영상을 획득하는 하부 카메라 센서(139)를 더 포함할 수 있다.
또한, 이동 로봇(100)는 On/Off 또는 각종 명령을 입력할 수 있는 조작부(137)를 포함한다.
도 5를 참고하여, 이동 로봇(100)는 각종 데이터를 저장하는 저장부(150)를 포함한다. 저장부(150)에는 이동 로봇(100)의 제어에 필요한 각종 데이터 들이 기록될 수 있다. 저장부(150)는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 상기 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
저장부(150)에는 주행 구역의 맵이 저장될 수 있다. 상기 맵은 이동 로봇(100)와 유선 또는 무선 통신을 통해 정보를 교환할 수 있는 외부 단말기에 의해 입력된 것일 수도 있고, 이동 로봇(100)가 스스로 학습을 하여 생성한 것일 수도 있다. 전자의 경우, 외부 단말기로는 맵 설정을 위한 어플리케이션(application)이 탑재된 리모컨, PDA, 랩탑(laptop), 스마트 폰, 태블렛 등을 예로 들 수 있다.
상기 맵에는 주행 구역 내의 복수의 지점에 대응(일대일대응)하는 복수의 노드의 위치가 표시될 수 있다. 상기 맵에는 주행 구역 내의 각 지역이 표시될 수 있다. 또한, 이동 로봇(100)의 현재 위치가 상기 맵 상에 표시될 수 있다. 상기 맵 상에서의 이동 로봇(100)의 현재 위치는 주행 과정에서 갱신될 수 있다.
주행 변위는, 이동 로봇의 이동 방향과 이동 거리를 포함하는 개념이다. 주행구역의 바닥면을 X축 및 Y축이 직교하는 평면 상에 있다고 가정할 때, 주행 변위는 (
Figure 112016101986961-pat00008
)로 표현할 수 있다.
Figure 112016101986961-pat00009
는 각각 X축 및 Y축 방향으로의 변위를 의미하고,
Figure 112016101986961-pat00010
는 회전 각도를 의미한다.
주행 변위 측정부(165)는 상기 하부 카메라 센서(139)에서 획득된 영상을 근거로 주행 변위를 측정할 수 있다. 예를 들어, 주행 변위 측정부(165)는 이동 로봇(100)의 연속적인 이동에 따라 달라지는 바닥 영상의 연속적인 픽셀(pixel) 비교를 통해서 주행 변위를 측정할 수 있다.
주행 변위 측정부(165)는 주행부(160)의 동작을 근거로 이동 로봇(100)의 주행 변위를 측정할 수 있다. 예를 들어, 주행제어모듈(141)은 구동 바퀴(136)의 회전속도를 근거로 이동 로봇(100)의 현재 또는 과거의 이동속도, 주행한 거리 등을 측정할 수 있으며, 각 구동 바퀴(136(L), 136(R))의 회전 방향에 따라 현재 또는 과거의 방향 전환 과정 또한 측정할 수 있다.
주행 변위 측정부(165)는 장애물 감지센서(131) 및 영상획득부(120) 중 적어도 어느 하나를 이용하여 상기 주행 변위를 측정하는 것도 가능하다.
제어부(14)는 이렇게 측정된 주행 변위를 바탕으로, 맵 상에서 이동 로봇(100)의 위치를 인식할 수 있다.
송신부(170)는 이동 로봇의 정보를 다른 이동 로봇이나 중앙 서버에 송신해줄 수 있다. 수신부(190)는 다른 이동 로봇이나 중앙 서버로부터 정보를 수신할 수 있다. 송신부(170)가 송신하는 정보 또는 수신부(190)가 수신하는 정보는 후술할 이동 로봇의 노드(N)의 구성 정보를 포함할 수 있다.
이동 로봇(100)는 각종 정보를 처리하고 판단하는 제어부(140)를 포함한다. 제어부(140)는 주행 구역을 학습하는 정보 처리를 수행할 수 있다. 제어부(140)는 맵 상의 현재 위치를 인식하는 정보 처리를 수행할 수 있다. 제어부(140)는 이동 로봇(100)를 구성하는 각종 구성들(예를 들어, 주행 변위 측정부(165), 장애물 감지 센서(131), 영상획득부(120), 조작부(137), 주행부(160), 송신부(170), 수신부(190) 등)의 제어를 통해, 이동 로봇(100)의 동작 전반을 제어할 수 있다. 제어부(140)는, 주행제어모듈(141), 학습모듈(143) 및 인식모듈(144)을 포함할 수 있다.
주행제어모듈(141)은 이동 로봇(100)의 주행을 제어한다. 주행제어모듈(141)은 주행 설정에 따라 주행부(160)의 구동을 제어한다.
학습모듈(143)은 주행 구역의 맵을 생성시킨다. 전역 내 위치 인식을 위해서, 학습모듈(143)은 각 지점에서 획득한 영상을 상기 맵 상의 각 노드(node, N)와 매칭시킨다. 획득 영상 들은 노드 들에 일대일대응할 수 있다.
학습모듈(143)은, 상기 주행 변위 정보를 바탕으로 맵 상의 노드를 생성시킨다. 예를 들어, 후술할 원점 노드(O)를 기준으로 측정한 주행 변위를 근거로 하여, 노드 좌표 정보를 생성할 수 있다. 생성된 노드(N)의 노드 좌표 정보(D186)는 원점 노드(O)에 대한 상대적 좌표값이다. 노드 정보는 노드에 대응하는 영상 정보(D183)를 포함할 수 있다.
학습모듈(143)은 노드(N)와 노드간의 주행 변위를 근거로 하여 맵을 생성할 수 있다. 학습모듈(143)은 경계 정보를 근거로 맵을 생성할 수 있다.
학습모듈(143)은 기 생성된 맵을 갱신할 수 있다. 예를 들어, 학습모듈(143)은 후술하는 루프 변위(LC)를 근거로 하여 기 저장된 노드 좌표 정보(D186)를 갱신할 수 있다.
학습모듈(143)은 소정 기준에 따라 전역(X)을 복수의 지역으로 구분할 수 있다. 학습모듈(143)은 소정 기준에 따라 전역(X)을 복수의 대지역으로 구분할 수 있다. 학습모듈(143)은 소정 기준에 따라 대지역을 복수의 지역으로 구분할 수 있다. 소정 기준에 따라은 소정 기준에 따라 복수의 지역을 그룹핑하여 대지역으로 할 수 있다.
인식모듈(144)은 장애물 감지센서(131) 및 영상획득부(120) 중 적어도 어느 하나를 이용하여, 현재 위치를 인식할 수 있다. 인식모듈(144)은 위치 점핑 상황에서 미지의 현재 위치를 인식할 수 있다. 인식모듈(144)은 맵 상에서 현재 위치를 인식할 수 있다. 인식모듈(144)은 맵 상의 복수의 노드 중 현재 위치에 대응(일의대응)하는 노드를 선택할 수 있다. 이하, 영상획득부(120)를 이용하여 미지의 현재 위치를 인식하는 과정을 예로 들어 설명하나, 반드시 이에 한정될 필요는 없다.
본 발명의 실시예에 따른 이동 로봇의 제어방법은 학습 과정(S100, S150)을 포함한다. 상기 이동 로봇의 제어방법은 인식 과정(S200)을 포함한다.
상기 제어방법은, 주행 과정에서 획득한 환경 정보에 근거하여 제 1기초맵(Ma)을 생성하는 제 1기초학습 과정(S110a)을 포함한다. 상기 제어방법은, 상기 제 1기초맵(Ma) 생성 이후, 제 1기초학습 과정(S110a)의 주행 과정과 별개의 주행 과정에서 획득한 환경 정보에 근거하여 제 2기초맵(Mb)을 생성하는 제 2기초학습 과정(S110b)을 포함한다. 상기 제어방법은, 상기 제 2기초맵(Mb) 생성 이후, 제 1기초맵(Ma) 및 제 2기초맵(Mb)을 병합하여 병합맵(Mu)을 생성하는 병합 과정(S135)을 포함한다.
도 6을 참고하여, 이동 로봇(100)이 주행을 시작하면 기 저장된 병합맵(Mu)의 존재 여부를 판단(S10)한다. 기 저장된 병합맵(Mu)의 존재 여부란 이동 로봇(100)의 저장부(150)에 병합맵(Mu)이 저장되어 있는지 판단하는 과정이 될 수 있다. 상기 과정(S10) 결과 기 저장된 병합맵(Mu)이 존재하지 않으면, 이동 로봇(100)은 기 저장된 기초맵의 존재 여부를 판단(S20)한다. 기 저장된 기초맵의 존재 여부란 이동 로봇(100)의 저장부(150)에 적어도 하나의 기초맵이 저장되어 있는지 판단하는 과정이 될 수 있다. 상기 과정(S20)에서 적어도 하나의 기 저장된 기초맵의 존재 여부를 판단한다. 상기 과정(S20) 결과 기 저장된 기초맵이 존재하지 않으면, 이동 로봇(100)은 최초의 기초학습 과정(S110a)을 시작한다. 최초의 기초학습 과정(S110a)이 종료되면, 이동 로봇(100)은 별개의 기초학습 과정(S110b)을 시작한다. 상기 과정(S110a) 결과 하나의 기초맵(Ma)이 생성된다. 상기 과정(S110b) 결과 기초맵(Mb)이 생성된다. 상기 기초맵(Mb)는 상기 기초맵(Ma)와 다를 수 있다. 이하, 상기 기초맵(Ma)를 제 1기초맵(Ma)이라 지칭하고, 상기 기초맵(Mb)를 제 2기초맵(Mb)이라 지칭한다. 별개의 기초학습 과정(S110b)이 종료되면, 이동 로봇(100)은 제 1기초맵(Ma) 및 제 2기초맵(Mb)의 소정의 병합조건 만족여부를 판단하는 과정(S130)이 진행한다. 상기 과정(S130)에서 상기 병합조건이 만족하면, 이동 로봇(100)은 제 1기초맵(Ma) 및 제 2기초맵(Mb)을 병합하여 병합맵(Mu)을 생성하는 병합 과정(S135)을 진행한다.
상기 과정(S10)에서 기 저장된 병합맵(Mu)이 존재하지 않으면, 이동 로봇(100)은 병합맵(Mu) 상의 현재 위치를 인식하는 과정(S200)을 진행한다. 상기 과정(S200)을 거쳐 획득한 환경 정보에 근거하여, 이동 로봇(100)은 병합맵(Mu)을 갱신하는 학습 과정(S150)을 진행한다. 상기 과정(S150)은, 주행 구역 중 새롭게 주행한 일부 구역에서 얻은 환경 정보를 근거로 기 저장된 병합맵 상에서 새로운 노드를 생성하는 과정을 포함할 수 있다. 또한, 상기 과정(S150)은, 주행 구역에서 얻은 환경 정보를 근거로 기 저장된 병합맵 상의 노드의 정보 중 일부를 갱신하는 과정을 포함할 수 있다. 이러한 방식으로 위치 인식 과정(S200)과 학습 과정(S150)이 지속적으로 동시에 진행될 수 있다.(SLAM) 또한, 상기 과정(S150)은, 주행 구역에서 얻은 환경 정보를 근거로 기 저장된 병합맵 상의 경계 정보 중 일부를 갱신하는 과정을 포함할 수 있다. 이하, 예시적으로 상기 기초맵 및 병합맵을 생성하는 일련의 학습 과정(S100)을 기준으로 설명하나, 반드시 이에 제한될 필요는 없고 맵을 갱신하는 학습 과정(S150)에 이하의 설명 내용이 적용될 수 있다.
상기 과정(S20) 결과 기 저장된 기초맵이 존재하면, 이동 로봇(100)은 최초의 기초학습 과정(S100a)을 진행하지 않고, 바로 별개의 기초학습 과정(S110b)을 시작한다. 기초맵(Ma)이 존재함에도 불구하고 병합맵(Mu)이 존재하지 않는 상황은, 상기 과정(S20) 이전에 이미 최초의 기초학습 과정(S110a)이 진행된 경우에 발생할 수 있다. 또한, 기초맵(Ma)이 존재함에도 불구하고 병합맵(Mu)이 존재하지 않는 상황은, 상기 과정(S20) 이전에 이미 최초의 기초학습 과정(S110a) 및 별개의 기초학습 과정(S110b)이 진행된 경우라 하더라도, 상기 병합조건이 만족하지 않은 경우에 발생할 수 있다.
상기 과정(S130)에서 상기 병합조건이 만족하지 않으면, 이동 로봇(100)은 상기 별개의 기초학습 과정(S110b)을 다시 진행한다. 다시 진행한 별개의 기초학습 과정(S110b) 이후, 다시 상기 병합조건의 만족여부를 판단하는 과정(S130)을 진행한다. 상기 과정(S130)에서 기 저장된 복수의 기초맵 중 어느 두 개가 상기 병합조건을 만족하면, 이동 로봇(100)은 상기 병합 과정(S130)을 진행한다.
상기 최초의 기초학습 과정(S110a)을 제 1기초학습 과정(S110a)이라 지칭한다. 상기 별개의 기초학습 과정(S110b)을 제 2기초학습 과정(S110b)이라 지칭한다. 제 1기초학습 과정(S110a)은 제 2기초학습 과정(S110b) 보다 먼저 진행된다. 제 1기초학습 과정(S110a)의 알고리즘과 제 2기초학습 과정(110b)의 알고리즘은 실질적으로 동일할 수 있다. 학습 과정(S100)은, 제 1기초학습 과정(S110a), 제 2기초학습 과정(S110b) 및 병합 과정(S135)을 포함한다. 학습 과정(S100)은, 제 2기초학습 과정(S110b) 이후 병합 과정(S135) 이전에 상기 병합조건 만족여부를 판단하는 과정(S130)을 포함한다.
도 7을 참고하여, 학습 과정(S100) 및 인식 과정(S200)을 시작하게 되는 시나리오를 예시적으로 설명한다. 조명On인 상태의 주행 구역에서 진행되는 기초학습 과정(S110c) 및 조명Off인 상태의 주행 구역에서 진행되는 기초학습 과정(S110d) 중, 어느 하나는 제 1기초학습 과정(S110a)이 될 수 있고, 다른 하나는 제 2기초학습 과정(S110b)이 될 수 있다. 도 7을 참고한 본 시나리오에서는, 조명On인 상태의 주행 구역에서 진행되는 기초학습 과정(S110c)이 제 1기초학습 과정(S110a)이 되고, 조명Off인 상태의 주행 구역에서 진행되는 기초학습 과정(S110d)이 제 2기초학습 과정(S110b)이 되나, 그 반대가 되어도 무관하다. (다른 예에서는, 조명Off인 상태의 주행 구역에서 진행되는 기초학습 과정(S110d)이 제 1기초학습 과정(S110a)이 되고, 조명On인 상태의 주행 구역에서 진행되는 기초학습 과정(S110c)이 제 2기초학습 과정(S110b)이 될 수 있다.) 사용자가 직접 조명을 On시키거나 Off시킨 상태에서, 이동 로봇(100)의 조작부(137)를 통해 이동 로봇(100)에게 기초학습 과정(S110)을 시작할 것을 지시할 수 있다. 또는, 이동 로봇(100)에 구비된 조도 센서(미도시) 또는 주행 구역 내 설치된 조도 센서를 통해, 이동 로봇(100)이 스스로 주행 구역의 조명 On/Off 여부를 판단하여 기초학습 과정(S110)을 시작하는 것도 가능하다. 어느 경우든, 상기 제어방법은 최소 2회의 기초학습 과정(S110)이 진행된다.
도 7을 참고한 시나리오에서, 제 1기초학습 과정(S110c)을 통해 조명On인 상태의 주행 구역의 환경 정보를 획득하여 제 1기초맵(Ma)이 생성된다.(S110c) 그 후, 제 2기초학습 과정(S110b)을 통해 조명Off인 상태의 주행 구역의 환경 정보를 획득하여 제 2기초맵(Mb)이 생성된다.(S110d) 그 후, 제 1기초맵(Ma) 및 제 2기초맵(Mb)의 상기 병합조건이 만족된다. 그 후, 제 1기초맵(Ma) 및 제 2기초맵(Mb)을 병합하여 병합맵(Mu)을 생성한다.(S135) 그 후, 위치 점핑 상황이 발생한다.(S50) 이에 따라, 이동 로봇(100)은 병합맵(Mu) 상의 현지 위치를 인식하는 과정(S200)을 시작한다.
도 8을 참고하여, 상기 기초학습 과정(S110)을 보다 구체적으로 설명한다. 기초학습 과정(S110)은, 제 1기초학습 과정(S110a) 및 제 2기초학습 과정(S110b) 중 어느 하나이다. 기초학습 과정(S110)은, 최초의 기초학습 과정(S110a), 별개의 기초학습 과정(S110b), 조명On인 상태의 주행 구역에서 진행되는 기초학습 과정(S110c) 및 조명Off인 상태의 주행 구역에서 진행되는 기초학습 과정(S110d) 중 어느 하나이다. 상기 과정 들(S110a, S100b, S110c, S110d)은 각각 기초학습 과정(S110)이다.
기초학습 과정(S110)은 주행 구역을 주행하는 과정을 포함한다. 기초학습 과정(S110)은 주행 중 환경 정보를 획득하는 과정(S111)을 포함한다. 이동 로봇은, 장애물 감지센서(131), 낭떠러지 감지센서(132), 하부 카메라 센서(139), 영상획득부(120) 및 그 밖에 공지된 수단을 이용하여, 상기 환경 정보를 획득할 수 있다.
환경 정보는 영상을 포함한다. 상기 영상은 주행 구역 중 일부분이 촬영된 것이다. 상기 영상은 천장을 촬영한 것일 수 있다. 상기 과정(S111)에서, 이동 로봇(100)이 주행하면서 이격된 각 지점 별로 영상을 획득한다. 각 지점에 각 획득 영상이 대응한다. 복수의 지점에 복수의 획득 영상이 일대일대응할 수 있다.
환경 정보는 주행 장애 요소와의 거리를 포함한다. 예를 들어, 이동 로봇(100)은 어느 한 지점에서 벽체까지의 거리값을 획득할 수 있다.
환경 정보는 주행 구역의 조도를 포함할 수 있다. 예를 들어, 이동 로봇(100)은 주행 구역의 조명 On/Off여부를 감지할 수 있다.
환경 정보는 그 밖에도 주행 구역 내에서 이동 로봇(100)이 감지 할 수 있는 기타 정보 들을 포함할 수 있다.
기초학습 과정(S110)은 상기 획득한 환경 정보를 근거로 노드를 생성하는 과정(S112)을 포함한다. 기초학습 과정(S110)은 상기 측정된 주행 변위를 근거로 노드를 생성하는 과정(S112)을 포함한다. 각각의 노드는 상기 각 지점의 좌표 정보에 대응한다. 각각의 노드는 각 지점에서 획득된 각 영상에 대응한다. 각각의 노드에 각각의 영상 정보가 대응한다. 복수의 노드에 복수의 획득 영상이 일대일대응 할 수 있다. 상기 과정(S112)은 어느 한 지점에서 영상을 획득한 후 다음 지점으로 이동하는 과정 중에 진행될 수 있다. 상기 과정(S112)은 상기 과정(S111)이 진행되는 중에 진행될 수 있다.
기초학습 과정(S110)에서, 주행 구역의 복수의 지점에 대응하는 기초맵(Ma,Mb) 상의 복수의 노드를 생성한다. 제 1기초학습 과정(S110a)에서, 제 1주행 구역의 복수의 지점에 대응하는 제 1기초맵(Ma) 상의 복수의 제 1노드를 생성한다. 제 2기초학습 과정(S110b)에서, 제 2주행 구역의 복수의 지점에 대응하는 제 2기초맵(Mb) 상의 복수의 제 2노드를 생성한다.
기초학습 과정(S110)에서, 주행 중 각 지점 별로 환경 정보를 획득하고, 상기 각 지점에 대응하는 기초맵(Ma,Mb) 상의 각 노드를 생성한다. 제 1기초학습 과정(S110a)에서, 주행 중 각 제 1지점 별로 환경 정보를 획득하고, 상기 각 제 1지점에 대응하는 제 1기초맵(Ma) 상의 각 제 1노드를 생성한다. 제 2기초학습 과정(S110b)에서, 주행 중 각 제 2지점 별로 환경 정보를 획득하고, 상기 각 제 2지점에 대응하는 제 2기초맵(Mb) 상의 각 제 2노드를 생성한다.
기초학습 과정(S110)에서, 주행 중 각 지점 별로 영상을 획득하고, 상기 각 지점에 대응하는 기초맵 상의 각 노드를 생성한다. 제 1기초학습 과정(S110a)에서, 주행 중 각 제 1지점 별로 영상을 획득하고, 상기 각 제 1지점에 대응하는 제 1기초맵(Ma) 상의 각 제 1노드를 생성한다. 제 2기초학습 과정(S110b)에서, 주행 중 각 제 2지점 별로 영상을 획득하고, 상기 각 제 2지점에 대응하는 제 2기초맵(Mb) 상의 각 제 2노드를 생성한다. 병합 과정(S135)에서, 복수의 제 1노드와 복수의 제 2노드를 포함하는 병합맵을 생성한다.
기초학습 과정(S110)은, 상기 과정(S112)을 통해 생성된 복수의 노드로 이루어진 노드맵을 생성하는 과정(S113)을 포함한다. 노드맵은 상기 복수의 노드를 포함한다. 노드맵은 복수의 노드 정보를 포함할 수 있다.
기초학습 과정(S110)은 상기 획득한 환경 정보를 근거로 경계 정보를 생성하는 과정(S114)을 포함한다. 기초학습 과정(S110)은 측정된 주행 장애 요소와의 거리값을 근거로 경계 정보를 생성하는 과정(S114)을 포함한다. 예를 들어, 이동 로봇(100)이 주행 구역 상의 어느 한 지점(P1)에서 전방으로 거리값(d1) 만큼 떨어진 위치에 주행 장애 요소가 있는 것을 감지한 경우, 기초맵 상의 상기 지점(P1)에 대응하는 어느 한 노드(N1)를 기준으로 전방으로 거리값(d1) 만큼 떨어진 위치의 좌표 정보를 가진 경계 정보가 생성된다. 상기 과정(S114)은 어느 한 지점에서 환경 정보를 획득한 후 다음 지점으로 이동하는 과정 중에 진행될 수 있다. 상기 과정(S114)은 상기 과정(S111)이 진행되는 중에 진행될 수 있다.
기초학습 과정(S110)은, 상기 과정(S114)을 통해 생성된 복수의 경계 정보로 이루어진 경계맵을 생성하는 과정(S115)을 포함한다. 경계맵은 복수의 경계정보를 포함한다. 경계맵은 주행 구역의 전체 형상에 대응할 수 있다.
기초학습 과정(S110)에서, 주행 장애 요소를 감지하여, 상기 주행 장애 요소에 대응하는 경계 정보를 포함하는 경계맵을 생성한다. 제 1기초학습 과정(S110a)에서, 제 1주행 장애 요소를 감지하여, 상기 제 1주행 장애 요소에 대응하는 제 1경계 정보를 포함하는 제 1경계맵(Ba)을 생성한다. 제 2기초학습 과정(S110b)에서, 제 2주행 장애 요소를 감지하여, 상기 제 2주행 장애 요소에 대응하는 제 2경계 정보를 포함하는 제 2경계맵(Bb)을 생성한다.
기초맵(Ma,Mb)은 상기 노드맵 및 경계맵을 포함한다. 노드맵은 하나의 기초맵 상의 여러 가지 정보 중 복수의 노드로 이루어진 정보를 지칭하는 것이고, 경계맵은 하나의 기초맵 상의 여러 가지 정보 중 복수의 경계 정보로 이루어진 정보를 지칭하는 것이다. 노드맵과 경계맵은 상기 기초맵의 구성요소로서, 노드맵의 생성 과정(S112,S113)과 경계맵의 생성 과정(S114,S115)은 동시에 진행된다. 예를 들어, 경계 정보는, 특정 지점에서 떨어진 주행 장애 요소의 거리를 측정한 후, 상기 특정 지점에 대응하는 기 저장된 노드의 좌표 정보(D186)를 기준으로 생성될 수 있다. 예를 들어, 노드의 노드 좌표 정보(D186)는 특정 주행 장애 요소에서 떨어진 특정 지점의 거리를 측정한 후, 상기 특정 장애 요소에 대응하는 기 저장된 경계 정보를 기준으로 생성할 수 있다. 노드 및 경계 정보는, 기 저장된 어느 하나에 대한 다른 하나의 상대적 좌표를 근거로, 다른 하나가 기초맵 상에 생성될 수 있다.
기초맵(Ma,Mb)은, 주행 구역 내 복수의 지점에 대응하는 복수의 노드를 포함한다. 제 1기초맵(Ma)은, 제 1주행 구역 내 복수의 제 1지점에 대응하는 복수의 제 1노드를 포함한다. 제 2기초맵(Mb)은, 제 2주행 구역 내 복수의 제 2지점에 대응하는 복수의 제 2노드를 포함한다. 상기 제 1주행 구역 및 제 2주행 구역은 서로 동일할 수도 있고 서로 다를 수도 있다. 이동 로봇(100)은, 제 1주행 구역 및 제 2주행 구역의 동일 여부를 알지 못하고 제 1기초학습 과정(S110a) 및 제 2기초학습 과정(S110b)을 시작하게 된다. 제 2기초학습 과정(S110b) 이후, 상기 병합조건을 만족한다면, 상기 제 1주행 구역 및 제 2주행 구역이 서로 동일한 것으로 보고, 제 1기초맵(Ma)과 제 2기초맵(Mb)을 병합하여 병합맵(Mu)을 생성한다. 병합맵(Mu)은, 상기 복수의 제 1노드 및 상기 복수의 제 2노드를 포함한다.
기초맵(Ma,Mb)은, 주행 구역의 형상에 대응하는 경계맵을 포함할 수 있다. 제 1기초맵(Ma)은, 제 1주행 구역의 형상에 대응하는 제 1경계맵(Ba)를 포함할 수 있다. 제 2기초맵(Mb)은, 제 2주행 구역의 형상에 대응하는 제 2경계맵(Bb)를 포함할 수 있다. 병합 과정(S135)에서, 상기 제 1경계맵(Ba) 및 제 2경계맵(Bb)을 근거로 제 1기초맵(Ma) 및 제 2기초맵(Mb)을 병합한다. 제 1주행 구역과 제 2주행 구역이 서로 동일하다 하더라도, 제 1기초학습 과정(S110a)과 제 2기초학습 과정(S110b)에서 주행 조건의 편차나 측정 편차 등이 발생하여, 상기 제 1경계맵(Ba)과 제 2경계맵(Bb)은 동일하지 않을 수 있다. 상기 병합조건은 상기 제 1경계맵(Ba)과 제 2경계맵(Bb)의 유사도가 소정 기준 이상인 조건을 포함한다. 상기 병합조건이 만족하면, 상기 제 1경계맵(Ba)과 상기 제 2경계맵(Bb) 사이에 일부 차이가 있더라도, 상기 제 1경계맵(Ba)과 상기 제 2경계맵(Bb) 사이의 동일한 부분을 기준으로 제 1기초맵(Ma)과 제 2기초맵(Mb)을 병합한다.
기초맵(Ma,Mb)은, 상기 경계맵과 상기 경계맵에 대한 상대적 좌표 정보를 가진 복수의 노드를 포함한다. 제 1기초맵(Ma)은, 제 1경계맵(Ba)과 상기 제 1경계맵(Ba)에 대한 상대적 좌표 정보를 가진 복수의 제 1노드를 포함한다. 제 2기초맵(Mb)은, 제 2경계맵(Bb)과 상기 제 2경계맵(Bb)에 대한 상대적 좌표 정보를 가진 복수의 제 2노드를 포함한다. 병합 과정(S135)에서, 제 1경계맵(Ba) 및 제 2경계맵(Bb)을 하나의 좌표 시스템 상에 일치시켜, 상기 좌표 시스템 상의 좌표 정보를 가진 상기 복수의 제 1노드 및 상기 좌표 시스템 상의 좌표 정보를 가진 상기 복수의 제 2노드를 포함하는 병합맵(Mu)을 생성한다. 예를 들어, 하나의 좌표 시스템이란 하나의 평면 좌표계(X축-Y축 좌표계)가 될 수 있다. 제 1경계맵(Ba)과 제 2경계맵(Bb) 사이의 소정 기준 이상의 유사도를 가진 부분을 근거로, 제 1기초맵(Ma)과 제 2기초맵(Mb)을 하나의 좌표 시스템 상에 방향과 위치를 일치(Align)시켜, 제 1기초맵(Ma)과 제 2기초맵(Mb)을 병합한다.
기초학습 과정(S110)은, 상기 획득한 영상으로부터 복수의 디스크립터를 생성하는 과정(S116)을 포함한다. 구체적으로, 상기 과정(S116)에서는, 획득한 영상에서 복수의 특징점을 추출한다. 상기 과정(S116)에서는, 추출된 복수의 특징점에 대응하는 각각의 디스크립터를 생성한다. 복수의 특징점에 복수의 디스크립터가 일대일대응 한다. 상기 과정(S116)은 어느 한 지점에서 영상을 획득한 후 다음 지점으로 이동하는 과정 중에 진행될 수 있다. 상기 과정(S116)은 상기 과정(S111)이 진행되는 중에 진행될 수 있다.
상기 과정(S113)에서 노드맵이 생성되고 상기 과정(S115)에서 경계맵이 생성되면, 상기 노드맵 및 경계맵으로 이루어진 기초맵(Ma,Mb)이 생성된다.(S119) 기초맵(Ma,Mb)은 상기 노드맵 및 경계맵을 포함한다. 기초맵(Ma,Mb)은 상기 과정(S116)에서 생성된 영상 정보를 더 포함할 수 있다. 복수의 영상 정보는 복수의 노드에 일대일대응 한다. 특정 영상 정보는 특정 노드에 대응한다.
기초학습 과정(S110)에서, 주행 장애 요소를 감지하여, 상기 주행 장애 요소에 대응하는 경계 정보를 포함하는 기초맵(Ma,Mb)을 생성한다. 제 1기초학습 과정(S110a)에서, 제 1주행 장애 요소를 감지하여, 상기 제 1주행 장애 요소에 대응하는 제 1경계 정보를 포함하는 제 1기초맵(Ma)을 생성한다. 상기 제 2기초학습 과정에서, 제 2주행 장애 요소를 감지하여, 상기 제 2주행 장애 요소에 대응하는 제 2경계 정보를 포함하는 제 2기초맵(Mb)을 생성한다. 병합 과정(S135)에서, 상기 제 1경계 정보 및 상기 제 2경계 정보를 근거로 제 1기초맵(Ma) 및 제 2기초맵(Mb)을 병합한다. 제 1주행 구역과 제 2주행 구역이 서로 동일하다 하더라도, 제 1기초학습 과정(S110a)과 제 2기초학습 과정(S110b)에서 주행 조건의 편차나 측정 편차 등이 발생하여, 복수의 제 1경계 정보와 복수의 제 2경계 정보가 서로 동일하지 않을 수 있다. 상기 병합조건은 상기 복수의 제 1경계 정보와 복수의 제 2경계 정보의 유사도가 소정 기준 이상인 조건을 포함한다. 상기 병합조건이 만족하면, 상기 복수의 제 1경계 정보와 복수의 제 2경계 정보 사이에 일부 차이가 있더라도, 상기 복수의 제 1경계 정보와 복수의 제 2경계 정보 사이의 동일한 부분을 기준으로 제 1기초맵(Ma)과 제 2기초맵(Mb)을 병합한다.
도 9를 참고하여, 상기 인식 과정(S200)은 인식 영상 획득 과정(S210)을 포함한다. 인식 과정(S200)은 인식 영상을 근거로 인식 디스크립터를 생성하는 과정(S220)을 포함한다. 인식 과정(S200)은, 병합맵(Mu) 상의 영상 정보와 인식 영상 정보를 비교하는 과정(S230)을 포함한다. 인식 과정(S200)은, 병합맵(Mu) 상에서 복수의 노드 중 현재 위치로 추정되는 노드를 선택하는 과정(S240)을 포함한다.
인식 영상 획득 과정(S210)에서, 이동 로봇(100)이 미지의 현재 위치에서 인식 영상을 획득한다. 상기 과정(S210)은 위치 점핑 상황 발생시 진행될 수 있다. 상기 과정(S210)은 이동 로봇(100)에 기 저장된 병합맵(Mu)이 존재하는 경우 진행될 수 있다.
인식 디스크립터 생성 과정(S220)에서, 획득된 상기 인식 영상에서 추출된 복수의 인식 특징점에 대응하는 각각의 인식 디스크립터를 생성한다. 복수의 인식 특징점에 복수의 인식 디스크립터가 일대일대응 한다. 상기 과정(S220)은 미지의 현재 위치에서 적어도 하나의 인식 영상을 획득한 후 진행될 수 있다.
일 예로, 상기 비교 과정(S230)에서, 각 비교대상 노드 별로 노드 정보와 상기 현재 위치에서 획득된 인식 영상 정보를 비교한다. 노드 별 영상 정보와 인식 영상 정보를 비교하는 방법은, 이미 공지된 다양한 방법 중 어느 하나를 이용할 수 있다.
다른 예로, 상기 비교 과정(S230)에서, 인식 영상 정보를 병합맵 상의 영상 정보와 비교한다. 복수의 영상 들을 근거로 생성된 복수의 디스크립터와 인식 영상을 근거로 생성된 복수의 인식 디스크립터를 비교하는 방법은, 이미 공지된 다양한 방법 중 어느 하나를 이용할 수 있다.
노드 선택 과정(S240)에서는, 각 비교 대상 노드 별로 산출한 유사도 중 가장 큰 값이 산출된 노드를 선택할 수 있다. 노드 선택 과정(S240)에서, 병합맵(Mu) 상의 복수의 제 1노드와 복수의 제 2노드 중 현재 위치로 추정되는 노드를 선택한다. 이동 로봇(100)은 상기 과정(S270)에서 선택한 노드를 현재 위치로 인식하여, 이를 기초로 이 후의 주행을 계속할 수 있다.
이하, 도 10 내지 15를 참고하여, 기초학습 과정(S110)의 구체적인 예를 설명한다. 주행 구역은 바닥(1)과 천장(2)을 포함한다. 주행 구역은 벽체(3) 및 기타 이동 로봇(100)의 주행에 제한을 주는 수직적인 요소를 포함한다.
도 10을 참고하여, 환경 정보 획득 과정(S111)에서, 이동 로봇(100)이 바닥(1)을 따라 주행하는 중에 영상획득부(120)는 각 지점(예를 들어, P18,P19,P20)에서 영상을 획득한다. 영상은 이동 로봇(100)의 상측을 향해 촬영된다. 영상은 천장(2)을 촬영한 것이다. 도 10에 도시된 영상은 지점(P20)에 대응하는 영상이다. 환경 정보 획득 과정(S111)에서, 이동 로봇(100)이 주행하는 중에 장애물 감지센서(131)는 주행 장애 요소를 감지한다. 장애물 감지센서(131)는, 적외선(IR) 센서, 초음파 센서 및 영상 센서 중 어느 하나일 수 있다. 주행 장애 요소는, 낭떠러지 감지센서(132), 하부 카메라 센서(139), 영상획득부(120) 및 그 밖에 공지된 수단에 의해서 감지되는 것도 가능하다. 이동 로봇(100)은 각 지점(P18,P19,P20)에서 주행 장애 요소를 감지할 수 있다. 이동 로봇은 지점(P20)에서 주행 장애 요소 중 하나인 벽체(3)의 외측면을 감지한다.
도 10을 참고하여, 노드 생성 과정(S112)에서, 이동 로봇(100)은 지점(P20)에 대응하는 노드(Na20)을 생성한다. 노드 생성 과정(S112)에서, 이동 로봇(100)은 각 지점(P18,P19,P20)에 각각 대응하는 각 노드(Na18,Na19,Na20)을 생성한다. 복수의 노드(Na18,Na19,Na20)에 복수의 지점(P18,P19,P20)이 일대일대응 한다. 노드(Na20)에 대응하는 좌표 정보(D186)는 이동 로봇(100)이 측정한 주행 변위를 근거로 생성될 수 있다. 도 10에 도시된 영상은 생성된 노드(Na20)에 대응하는 영상이다.
도 10을 참고하여, 경계 정보 생성 과정(S114)에서, 이동 로봇(100)은 주행 장애 요소(V20)에 대응하는 경계 정보(b20)을 생성한다. 경계 정보 생성 과정(S114)에서, 이동 로봇(100)은 각 주행 장애 요소에 각각 대응하는 각 경계 정보를 생성한다. 복수의 주행 장애 요소에 복수의 경계 정보가 일대일대응 한다. 경계 정보(b20)는 노드(Na20)의 좌표 정보(D186)와 장애물 감지센서(131)가 측정한 거리값을 근거로 생성될 수 있다.
도 10을 참고하여, 노드맵 생성 과정(S113) 및 경계맵 생성 과정(S115)는 동시에 진행된다. 노드맵 생성 과정(S113)에서 복수의 노드(Na18,Na19,Na20 등)를 포함하는 노드맵이 생성된다. 경계맵 생성 과정(S115)에서 복수의 경계 정보(b20 등)를 포함하는 경계맵(Ba)이 생성된다. 노드맵 생성 과정(S113) 및 경계맵 생성 과정(S115)에서 노드맵 및 경계맵(Ba)을 포함하는 기초맵(Ma)이 생성된다. 도 10에는, 노드맵 생성 과정(S113) 및 경계맵 생성 과정(S115)을 통해 생성 중인 기초맵(Ma)을 도시한다.
도 10에 도시된 영상에는, 천장에 위치하는 조명들, 경계(edge), 코너(corner), 얼룩(blob), 굴곡(ridge) 등에 의한 여러 가지 특징점 들이 확인된다. 이동 로봇(100)은 영상으로부터 특징점을 추출한다. 컴퓨터 비전(Computer Vision) 기술 분야에서 영상으로부터 특징점을 추출하는 다양한 방법(Feature Detection)이 잘 알려져 있다. 이들 특징점의 추출에 적합한 여러 특징검출기(feature detector)들이 알려져 있다. 예를 들어, Canny, Sobel, Harris&Stephens/Plessey, SUSAN, Shi&Tomasi, Level curve curvature, FAST, Laplacian of Gaussian, Difference of Gaussians, Determinant of Hessian, MSER, PCBR, Grey-level blobs 검출기 등이 있다.
도 10를 참고하여, 디스크립터 생성 과정(S116)에서, 획득된 영상에서 추출된 복수의 특징점(f1,f2,f3,..,f7)을 근거로 디스크립터(
Figure 112016101986961-pat00011
)를 생성한다. 상기 디스크립터 생성 과정(S116)에서, 획득된 복수의 영상에서 추출된 복수의 특징점(f1,f2,f3,..,fm)을 근거로 디스크립터(
Figure 112016101986961-pat00012
)를 생성한다.(여기서, m은 자연수) 복수의 특징점(f1,f2,f3,..,fm)에 복수의 디스크립터(
Figure 112016101986961-pat00013
)는 일대일대응 한다.
Figure 112016101986961-pat00014
은 n차원 벡터를 의미한다.
Figure 112016101986961-pat00015
의 중괄호 { } 안의 f1(1), f1(2), f1(3),..,f1(n)은
Figure 112016101986961-pat00016
을 이루는 각 차원의 수치를 의미한다. 나머지
Figure 112016101986961-pat00017
에 대한 표기도 이와 같은 방식이므로 설명을 생략한다.
특징 검출을 위해 SIFT(Scale Invariant Feature Transform) 기법을 이용하여, 복수의 특징점(f1,f2,f3,..,fm)에 대응하는 복수의 디스크립터(
Figure 112016101986961-pat00018
)를 생성할 수 있다.
예를들면, SIFT기법을 적용하여, 영상에서 식별이 용이한 특징점(f1,f2,f3,f4,f5,f6,f7)을 선택한 후, 각 특징점(f1,f2,f3,f4,f5,f6,f7) 주변의 일정한 구역에 속한 픽셀들의 밝기 구배(gradient)의 분포 특성(밝기 변화의 방향 및 변화의 급격한 정도)을 근거로 n차원 벡터인 디스크립터를 생성할 수 있다. 여기서, 특징점의 각 밝기 변화의 방향을 각 차원으로 보고, 각 밝기 변화의 방향에 대한 변화의 급격한 정도를 각 차원에 대한 수치로 하는 n차원 벡터(디스크립터)를 생성할 수 있다. SIFT 기법은 촬영 대상의 스케일(scale), 회전, 밝기변화에 대해서 불변하는 특징을 검출할 수 있어, 같은 영역을 이동 로봇(100)의 자세를 달리하며 촬영하더라도 불변하는(즉, 회전 불변한(Rotation-invariant)) 특징을 검출할 수 있다. 물론, 이에 한정되지 않고 다른 다양한 다른 기법(예를 들어, HOG: Histogram of Oriented Gradient, Haar feature, Fems, LBP:Local Binary Pattern, MCT:Modified Census Transform)들이 적용하는 것도 가능하다.
도 11 내지 13을 참고하여, 노드 생성 과정(S112) 및 노드맵 생성 과정(S113)을 보다 자세히 설명하면 다음과 같다. 이동 로봇(100)의 노드맵은 노드 정보(D180)를 근거로 생성된다. 노드 정보(D180)는 이동 로봇(100)에 데이터로 저장될 수 있다.
도 11를 참고하여, 상기 학습 과정은 원점 노드(O)를 설정하는 과정(S31)을 포함한다. 원점 노드(O)는 노드맵 상의 기준 점이다. 노드 좌표 정보(D186)는 원점 노드(O)에 주행 변위를 더하여 생성될 수 있다. 노드 좌표 정보(D186)가 갱신되는 경우에도 원점 노드(O)는 변경되지 않는다.
상기 학습 과정은, 원점 노드(O)를 설정하는 과정(S31) 이후, 이동 로봇(100)의 주행 중 노드(N)를 생성하는 과정(S33)를 포함한다. 상기 과정(S33)에서, 이동 로봇(100)은 노드 정보(D180)를 생성한다.
상기 학습 과정은, 노드(N) 사이의 루프 변위(LC) 측정 여부를 판단하는 과정(S35)를 포함한다. 상기 판단 과정(S35)에서, 루프 변위(LC)가 측정되면 노드(N)의 좌표 정보(D186)를 갱신하는 과정(S37)를 진행하고, 루프 변위(LC)가 측정되지 않으면 이동 로봇(100)의 노드맵 학습 종료여부를 판단하는 과정(S39)를 진행한다. 노드맵 학습 종료여부 판단과정(S39)에서, 노드맵 학습이 종료되지 않으면 다시 주행 중 노드 정보를 생성하는 과정(S33)을 진행할 수 있다. 도 11의 순서도는 일 실시예를 제시한 것이고, 주행 중 노드 정보 생성 과정(S33) 및 노드 간 루프 변위(LC) 측정여부 판단 과정(S35)의 선후 관계는 서로 바뀔 수 있고, 동시에 진행될 수도 있다.
도 12를 참고하여, 노드 정보(D180)는, 복수의 노드 정보(D180)들 중에 어느 노드에 대응하는 노드 정보(D180)인지 식별이 가능케 해주는 노드 고유 인덱스(D181)를 포함할 수 있다.
또한, 노드 정보(D180)는 해당 노드(N)에 대응하는 영상 정보(D183)를 포함한다. 대응하는 영상 정보(D183)는, 해당 노드(N)에 대응하는 주행 구역 내 지점에서 영상획득부(120)를 통해 획득한 영상이다.
또한, 노드 정보(D180)는 해당 노드(N)에서 주변 환경과의 거리 정보(D184)를 포함할 수 있다. 주변 환경과의 거리 정보(D184)는, 해당 노드(N)에 대응하는 지점에서 장애물 감지센서(131) 등이 측정한 거리 데이터일 수 있다. 주변 환경과의 거리 정보(D184)는 주행 장애 요소와의 거리값을 포함할 수 있다.
또한, 노드 정보(D180)는 노드 좌표 정보(D186)를 포함한다. 노드(N) 좌표 정보(D186)는 원점 노드(O) 및 주행 변위를 근거로 생성될 수 있다. 노드(N) 좌표 정보(D186)는 경계 정보 및 주행 장애 요소와의 거리값을 근거로 생성되는 것도 가능하다.
또한, 노드 정보(D180)는 노드 갱신 시각 정보(D188)를 포함할 수 있다. 노드 갱신 시각 정보(D188)는 노드 정보(D180)가 생성 또는 갱신되는 시점에 대한 데이터이다. 예를 들어, 이동 로봇(100)이 기존의 노드 정보(D180)와 노드 고유 인덱스(D181)가 같은 노드 정보(D180)를 외부로부터 수신 받은 경우, 노드 갱신 시각 정보(D188)를 근거로 노드 정보(D180)의 갱신 진행 여부를 판단할 수도 있다. 노드 갱신 시각 정보(D188)는 최신의 노드 정보(D180)로의 갱신 진행 여부를 판단할 수 있게 해준다.
노드 정보(D180)가 생성되는 시점을 기준으로 노드 갱신 시각 정보(D188)가 생성된다. 이때, 생성되는 노드(N2)의 노드 고유 인덱스(D181)가 생성된다. 또한, 생성되는 노드(N2)에 대응하는 영상 정보(D183)가 해당 노드(N2)에 매칭된다. 또한, 생성되는 노드(N2)의 주변 환경과의 거리 정보(D184)가 해당 노드(N2)에 매칭될 수 있다.
한편, 노드 정보(D180)은 인접 노드와의 측정 변위 정보(D165)를 근거로 갱신될 수 있다. 인접 노드와의 측정 변위 정보(D165)는 상기 주행 변위에 대한 데이터를 포함할 수 있다. 인접 노드와의 측정 변위 정보(D165)는 후술할 루프 변위(LC)에 대한 데이터를 포함할 수 있다. 인접 노드와의 측정 변위 정보(D165)가 제어부(140)에 입력되면, 기 저장된 노드 정보(D180)가 생성 또는 갱신될 수 있다.
노드 정보(D180)의 갱신은 노드 좌표 정보 및 노드 갱신 시각 정보(D188)의 갱신일 수 있다. 노드 정보(D180)의 갱신은 대응하는 영상 정보(D183)의 갱신일 수 있다.
도 13을 참고하여, 원점 노드(O)가 설정된 상태에서 주행 변위(C1)가 측정되어 노드(N1)의 정보(D180)가 생성된다. 이후 측정된 주행 변위(C2)의 시점이 되는 노드(N1)의 좌표 정보(D186)에 상기 주행 변위(C2)를 더하여, 상기 주행 변위(C2)의 종점이 되는 노드(N2)의 좌표 정보(D186)를 생성할 수 있다. 노드(N2)의 정보(D180)가 생성된 상태에서 주행 변위(C3)가 측정되어 노드(N3)의 정보(D180)가 생성된다. 이와 같이 순차적으로 측정되는 주행 변위 들(C1,C2,C3,…,C16)을 근거로 순차적으로 노드 들(N1,N2,N3,…,N16)의 정보(D180)가 생성된다.
어느 하나의 주행 변위(C15)의 시점이 되는 노드(C15)를 해당 주행 변위(C15)의 종점이 되는 노드(16)의 '기초 노드'라고 정의할 때, 루프 변위(Loop Constraint, LC)는 어느 한 노드(N15) 및 상기 어느 한 노드(N15)의 상기 '기초 노드(N14)가 아닌' 다른 인접한 노드(N5) 사이의 변위가 측정된 값을 의미한다.
일 예로, 어느 한 노드(N15)에 대응하는 획득영상 정보(D183)와 다른 인접한 노드(N5)에 대응하는 획득영상 정보(D183)가 서로 비교되어 두 노드(N15,N5) 사이의 루프 변위(LC)가 측정될 수 있다. 다른 예로, 어느 한 노드(N15)의 주변 환경과의 거리 정보(D184)와 다른 인접한 노드(N5)의 주변 환경과의 거리 정보(D184)가 서로 비교되어 두 노드(N15,N5) 사이의 루프 변위(LC)가 측정될 수 있다. 도 19에는, 노드 N5와 노드 N15 사이에서 측정된 루프 변위(LC1), 및 노드 N4와 노드 N16 사이에서 측정된 루프 변위(LC2)가 예시적으로 도시되어 있다.
상기 주행 변위를 근거로 생성된 어느 한 노드(N5)의 정보(D180)는 노드 좌표 정보(D186) 및 해당 노드(N5)에 대응하는 영상 정보(D183)를 포함한다. 노드(N5)에 인접하는 다른 노드(N15)가 있을 때, 노드(N15)에 대응하는 영상 정보(D183)를 노드(N5)에 대응하는 영상 정보(D183)와 비교하면 두 노드(N5,N15) 사이의 루프 변위(LC1)가 측정된다. '루프 변위(LC1)'와 '기 저장된 두 노드(N5,N15)의 좌표 정보(D186)에 따라 산출되는 변위'가 서로 다를 경우, 노드 좌표 정보(D186)에 오차가 있는 것으로 보고, 두 노드(N5,N15)의 좌표 정보(D186)를 갱신할 수 있다. 이 경우, 두 노드(N5,N15)와 연결된 다른 노드 들(N6,N7,N8,N9,N10,N11,N12,N13,N14)의 좌표 정보(D186)도 갱신될 수 있다. 또한, 한번 갱신된 노드 좌표 정보(D186)도 계속해서 상기 과정을 거쳐 거듭 갱신될 수 있다.
보다 구체적으로 설명하면 다음과 같다. 루프 변위(LC)가 측정된 두 노드(N)를 각각 제 1루프 노드 및 제 2루프 노드라고 정의한다. 기 저장된 제 1루프 노드의 노드 좌표 정보(D186) 및 제 2루프 노드의 노드 좌표 정보(D186)에 의해 산출되는 '산출 변위(
Figure 112016101986961-pat00019
)'(좌표값의 차에 의해 산출됨)가 루프 변위(LC)(
Figure 112016101986961-pat00020
)와 차이(
Figure 112016101986961-pat00021
1-
Figure 112016101986961-pat00022
)가 발생할 수 있다. 상기 차이가 발생하면, 상기 차이를 오차로 보고 노드 좌표 정보(D186)를 갱신할 수 있는데, 루프 변위(LC)가 상기 산출 변위보다 더 정확한 값이라는 가정하에 노드 좌표 정보(D186)를 갱신한다.
노드 좌표 정보(D186)를 갱신하는 경우, 상기 제 1루프 노드 및 제 2루프 노드의 노드 좌표 정보(D186)만 갱신할 수도 있으나, 상기 오차의 발생은 주행 변위들의 오차가 누적되어 발생된 것이므로 상기 오차를 분산시켜 다른 노드들의 노드 좌표 정보(D186)도 갱신하도록 설정할 수 있다. 예를 들어, 상기 제 1루프 노드와 제 2루프 노드 사이에 상기 주행 변위에 의해 생성된 모든 노드들에, 상기 오차 값을 분산시켜 노드 좌표 정보(D186)를 갱신할 수 있다. 도 13을 참고하여, 루프 변위(LC1)가 측정되고 상기 오차가 산출된 경우, 제 1루프 노드(N15)와 제 2루프 노드(N5)와 사이의 노드 들(N6 내지 N14)에 상기 오차를 분산시켜, 노드 들(N5 내지 N15)의 노드 좌표 정보(D186)가 모두 조금씩 갱신될 수 있다. 물론, 이러한 오차 분산을 확대시켜, 이외의 노드 들(N1 내지 N4)의 노드 좌표 정보(D186)를 같이 갱신할 수도 있음은 물론이다.
도 14에는, 제 1기초학습 과정(S110a)을 거쳐 생성된 제 1기초맵(Ma)의 일 예가 도시된다. 제 1기초맵(Ma)은 제 1노드맵 및 제 1경계맵(Ba)을 포함한다. 상기 제 1노드맵은 복수의 제 1노드(Na1 내지 Na99)를 포함한다. 제 1경계맵(Ba)은 복수의 제 1경계 정보를 포함한다. 제 1경계맵(Ba)은 제 1주행 구역의 전체 형상에 대응한다.
도 15에는, 제 2기초학습 과정(S110b)을 거쳐 생성된 제 2기초맵(Mb)의 일 예가 도시된다. 제 2기초맵(Mb)은 제 2노드맵 및 제 2경계맵(Bb)을 포함한다. 상기 제 2노드맵은 복수의 제 2노드(Nb1 내지 Nb116)를 포함한다. 제 2경계맵(Bb)은 복수의 제 2경계 정보를 포함한다. 제 2경계맵(Bb)은 제 2주행 구역의 전체 형상에 대응한다.
도 14 및 15를 참고하여, 일 예에 따른 제 1기초맵(Ma) 및 제 2기초맵(Mb)을 비교하면, 제 1기초학습 과정(S110a)에서의 이동 로봇(100)의 주행 경로와 제 2기초학습 과정(S110b)에서의 이동 로봇(100)의 주행 경로가 서로 전혀 다름을 알 수 있다. 이에 따라, 제 1기초맵(Ma)의 복수의 제 1노드(Na1 내지 Na99)는 제 2기초맵(Mb)의 복수의 제 2노드(Nb1 내지 Nb116)와 서로 다르다. 제 1기초학습 과정(S110a)에서의 이동 로봇(100)의 주행 경로와 제 2기초학습 과정(S110b)에서의 이동 로봇(100)의 주행 경로가 서로 전혀 다르더라도, 제 1주행 구역과 제 1주행 구역이 동일하다면, 제 1경계맵(Ba)과 제 2경계맵(Bb)은 서로 매우 유사하여 소정 기준 이상의 유사도가 산출될 수 있다. 제 1기초맵(Ma) 및/또는 제 2기초맵(Mb)이 방향을 달리하여 생성되더라도, 제 1경계맵(Ba)과 제 2경계맵(Bb)의 유사도는 불변하게 설정된다. 예를 들어, 도 14의 제 1기초맵(Ma)은 제 1기초맵의 긴 방향이 X축이 되고 제 1기초맵의 짧은 방향이 Y축이 되는 좌표 시스템을 가지나, 도 15의 제 2기초맵(Mb)은 제 2기초맵의 긴 방향이 Y축이 되고 제 2기초맵의 짧은 방향이 X축이 되는 좌표 시스템을 가진다. 이 경우, 제 1기초맵(Ma)과 제 2기초맵(Mb)의 유사도는, 제 2기초맵(Mb)을 반시계 방향으로 90도 회전하면 제 1기초맵(Ma)과 같은 좌표 시스템을 가지게 하여 제 1기초맵(Ma)과 비교하는 산출되는 유사도와 같다.
상기 병합조건은 제 1경계맵(Ba)과 제 2경계맵(Bb)을 비교하여 산출되는 유사도가 소정 값 이상인 조건을 포함할 수 있다. 제 1경계맵(Ba)과 제 2경계맵(Bb)을 비교하여 산출되는 유사도가 소정 값 이상이면, 제 1경계맵(Ba)과 제 2경계맵(Bb)을 병합하여 병합맵(Mu)을 생성한다. 이하, 도 14의 제 1기초맵(Ma)과 도 15의 제 2기초맵(Mb)의 유사도는, 상기 소정 값 이상으로서 상기 병합조건을 만족한 것으로 보고 설명한다.
도 16에는, 도 14의 제 1기초맵(Ma)과 도 15의 제 2기초맵(Mb)이 병합되어 생성된 병합맵(Mu)의 일례가 도시된다. 병합맵(Mu)은 제 1노드맵 및 제 2노드맵을 포함한다. 병합맵(Mu)은 복수의 제 1노드(Na1 내지 Na99) 및 복수의 제 2노드(Nb1 내지 Nb116)를 포함한다.
병합맵(Mu)은, 제 1경계맵(Ba) 및 제 2경계맵(Bb)을 근거로 생성된 병합경계맵(Mu)을 포함한다. 예를 들어, 복수의 제 1경계 정보와 복수의 제 2경계 정보를 서로 매칭시키고, 매칭된 제 1경계 정보와 제 2경계 정보 중 어느 하나를 소정 기준에 따라 선택하여 병합 경계 정보로 하고, 복수의 병합 경계 정보를 포함하는 병합경계맵(Bu)을 생성할 수 있다. 다른 예를 들어, 복수의 제 1경계 정보와 복수의 제 2경계 정보를 서로 매칭시키고, 매칭된 제 1경계 정보와 제 2경계 정보의 대표값(예를 들어, 평균값)을 병합 경계 정보로 하여, 복수의 병합 경계 정보를 포함하는 병합경계맵(Bu)을 생성할 수 있다. 또한, 복수의 제 1경계 정보 및 복수의 제 2경계 정보 중 서로 매칭되지 않는 정보가 있는 경우에는, 구획 영역이 더 넓어질 수 있도록 제 1경계 정보 및 제 2경계 정보 중 어느 하나를 선택하여 병합 경계 정보로 할 수 있다.
도 17을 참고하여, 다른 예에 따른 제 1기초맵(Ma) 및 제 2기초맵(Mb)이 병합되어 병합맵(Mu)이 생성되는 과정을 설명한다. 도 17의 기초맵(Ma,Mb)에는, 노드맵은 생략하고 경계맵(Ba,Bb)만이 도시된다. 제 1기초맵(Ma)의 제 1경계맵(Ba)과 제 2기초맵(Mb)의 제 2경계맵(Bb)은 서로 다른 좌표 시스템 상에서 각각 생성된다. 상기 병합 과정(S135)에서, 제 1기초맵(Ma) 및 제 2기초맵(Mb) 중 어느 하나를 다른 하나의 좌표 시스템 상에 일치(align)시키기 위하여, 상기 어느 하나를 회전시킨다. 또는, 상기 병합 과정(S135)에서, 제 1기초맵(Ma) 및 제 2기초맵(Mb)을 새로운 하나의 좌표 시스템 상에 일치(align)시키기 위하여, 제 1기초맵(Ma) 및 제 2기초맵(Mb) 중 적어도 어느 하나를 회전시키고 상기 새로운 좌표 시스템 상에 배치시킬 수 있다. 제 1기초맵(Ma)과 제 2기초맵(Mb)을 하나의 좌표 시스템 상에 일치시켜 병합맵(Mu)을 생성한다.
도 18을 참고하여, 인식 과정(S210)의 구체적인 예를 설명한다.
위치 점핑 상황의 발생으로 인해서, 이동 로봇(100)의 현재 지점(Pu)이 미지(Unknown)의 상태가 된 경우에, 인식 영상의 획득 과정(S210)이 시작된다. 영상획득부(120)는 미지의 현재 지점(Pu)에서 인식 영상을 획득한다. 인식 영상은 이동 로봇(100)의 상측을 향해 촬영될 수 있다. 인식 영상은 천장(2)을 촬영한 것일 수 있다. 도 18에 도시된 영상은 현재 지점(Pu)에 대응하는 인식 영상이다.
도 18를 참고하여, 인식 디스크립터 생성 과정(S220)에서, 인식 영상에서 추출된 복수의 인식 특징점(h1,h2,h3,..,h7)을 근거로 복수의 인식 디스크립터(
Figure 112016101986961-pat00023
)를 생성한다. 인식 특징점(h1,h2,h3,..,h7)에 복수의 인식 디스크립터(
Figure 112016101986961-pat00024
)는 일대일대응 한다.
도 18에서,
Figure 112016101986961-pat00025
은 n차원 벡터를 의미한다.
Figure 112016101986961-pat00026
의 중괄호 { } 안의 h1(1), h1(2), h1(3),..,h1(n)은
Figure 112016101986961-pat00027
을 이루는 각 차원의 수치를 의미한다. 나머지
Figure 112016101986961-pat00028
에 대한 표기도 이와 같은 방식이므로 설명을 생략한다.
특징 검출을 위해 상기 SIFT 기법을 이용하여, 복수의 인식 특징점(h1,h2,h3,..,h7)에 대응하는 복수의 인식 디스크립터(
Figure 112016101986961-pat00029
)를 생성할 수 있다. 컴퓨터 비전 기술 분야에서 영상으로부터 특징을 검출하는 다양한 방법 및 이들 특징의 검출에 적합한 여러 특징검출기들에 대한 설명은 상기한 바와 같다.
상기 비교 과정(S230)에서, 복수의 인식 디스크립터((
Figure 112016101986961-pat00030
)를 포함하는 인식 영상 정보와, 병합맵(Mu) 상의 복수의 노드에 대응하는 복수의 영상 정보를 비교할 수 있다. 병합맵(Mu) 상의 복수의 노드는 복수의 제 1노드(Na1 내지 Na99)와 복수의 제 2노드(Nb1 내지 Nb116)를 포함한다. 상기 비교 과정(S230)에서, 상기 인식 영상 정보와, 학습과정(S100)에서 획득한 영상 들을 근거로 생성된 복수의 디스크립터를 포함하는 영상정보를 비교할 수 있다. 상기 비교 과정(S230)에서, 병합맵(Mu) 상의 복수의 노드 들에 대응하는 영상 들과 인식 영상을 비교할 수 있다. 상기 비교 과정(S230)에서, 이미 공지된 다양한 방법 중 어느 하나를 이용할 수 있다.
도 18을 참고하여, 상기 비교 과정(S230) 결과 가장 유사도가 높게 산출되는 영상에 대응하는 노드(Nb47)를 최종 노드로 선택한다.

Claims (11)

  1. 주행 과정에서 획득한 환경 정보에 근거하여 제 1기초맵을 생성하는 제 1기초학습 과정;
    별개의 주행 과정에서 획득한 환경 정보에 근거하여 제 2기초맵을 생성하는 제 2기초학습 과정; 및
    상기 제 1기초맵 및 제 2기초맵을 병합하여 병합맵을 생성하는 병합 과정을 포함하고,
    상기 제 1기초맵은, 주행 구역 내 복수의 제 1지점에 대응하는 복수의 제 1노드를 포함하고,
    상기 제 2기초맵은, 주행 구역 내 복수의 제 2지점에 대응하는 복수의 제 2노드를 포함하고,
    상기 병합맵은, 상기 복수의 제 1노드 및 상기 복수의 제 2노드를 포함하는 이동 로봇의 제어방법.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 제 1기초맵은, 제 1주행 구역의 전체 형상에 대응하는 제 1경계맵과 상기 제 1경계맵에 대한 상대적 좌표 정보를 가진 복수의 제 1노드를 포함하고,
    상기 제 2기초맵은, 제 2주행 구역의 전체 형상에 대응하는 제 2경계맵과 상기 제 2경계맵에 대한 상대적 좌표 정보를 가진 복수의 제 2노드를 포함하고,
    상기 병합 과정에서, 상기 제 1경계맵 및 상기 제 2경계맵을 하나의 좌표 시스템 상에 일치시켜, 상기 좌표 시스템 상의 좌표 정보를 가진 상기 복수의 제 1노드 및 상기 좌표 시스템 상의 좌표 정보를 가진 상기 복수의 제 2노드를 포함하는 상기 병합맵을 생성하는 이동 로봇의 제어방법.
  5. 제 1항에 있어서,
    상기 제 1기초학습 과정에서,
    주행 구역의 복수의 지점에 대응하는 상기 제 1기초맵 상의 복수의 제 1노드를 생성하고,
    상기 제 2기초학습 과정에서,
    주행 구역의 복수의 지점에 대응하는 상기 제 2기초맵 상의 복수의 제 2노드를 생성하는 이동 로봇의 제어방법.
  6. 제 1항에 있어서,
    상기 제 1기초학습 과정에서,
    주행 중 각 제 1지점 별로 환경 정보를 획득하고, 각 제 1지점에 대응하는 상기 제 1기초맵 상의 각 제 1노드를 생성하고,
    상기 제 2기초학습 과정에서,
    주행 중 각 제 2지점 별로 환경 정보를 획득하고, 각 제 2지점에 대응하는 상기 제 2기초맵 상의 각 제 2노드를 생성하는 이동 로봇의 제어방법.
  7. 제 1항에 있어서,
    상기 병합 과정 이전에, 상기 제 1기초맵 및 상기 제 2기초맵의 소정의 병합조건 만족여부를 판단하는 병합조건판단 과정을 포함하는 이동 로봇의 제어방법.
  8. 제 7항에 있어서,
    상기 제 1기초학습 과정에서,
    제 1주행 장애 요소를 감지하여, 상기 제 1주행 장애 요소에 대응하는 제 1경계 정보를 포함하는 제 1경계맵을 생성하고,
    상기 제 2기초학습 과정에서,
    제 2주행 장애 요소를 감지하여, 상기 제 2주행 장애 요소에 대응하는 제 2경계 정보를 포함하는 제 2경계맵을 생성하고,
    상기 병합조건은, 상기 제 1경계맵과 상기 제 2경계맵의 유사도가 소정 기준 이상인 조건을 포함하는 이동 로봇의 제어방법.
  9. 제 1항에 있어서,
    상기 병합 과정 이후에, 병합맵 상에서 현재 위치로 추정되는 노드를 선택하는 노드선택 과정을 더 포함하는 이동 로봇의 제어방법.
  10. 제 1항에 있어서,
    상기 제 1기초학습 과정에서,
    주행 중 각 제 1지점 별로 영상을 획득하고,
    상기 제 2기초학습 과정에서,
    주행 중 각 제 2지점 별로 영상을 획득하고,
    상기 병합 과정 이후에, 현재 위치에서 인식 영상을 획득하고, 인식 영상 정보를 병합맵 상의 영상 정보와 비교하여, 상기 병합맵 상의 상기 복수의 제 1노드와 상기 복수의 제 2노드 중 상기 현재 위치로 추정되는 노드를 선택하는 노드선택 과정을 포함하는 이동 로봇의 제어방법.
  11. 주행 과정에서 획득한 환경 정보에 근거하여 제 1기초맵을 생성하는 제 1기초학습 과정;
    별개의 주행 과정에서 획득한 환경 정보에 근거하여 제 2기초맵을 생성하는 제 2기초학습 과정; 및
    상기 제 1기초맵 및 제 2기초맵을 병합하여 병합맵을 생성하는 병합 과정을 포함하고,
    상기 제 1기초학습 과정에서,
    제 1주행 장애 요소를 감지하여, 상기 제 1주행 장애 요소에 대응하는 제 1경계 정보를 포함하는 상기 제 1기초맵을 생성하고,
    상기 제 2기초학습 과정에서,
    제 2주행 장애 요소를 감지하여, 상기 제 2주행 장애 요소에 대응하는 제 2경계 정보를 포함하는 상기 제 2기초맵을 생성하고,
    상기 병합 과정에서, 상기 제 1경계 정보 및 상기 제 2경계 정보를 근거로 상기 제 1기초맵 및 상기 제 2기초맵을 병합하는 이동 로봇의 제어방법.
KR1020160136522A 2016-10-20 2016-10-20 이동 로봇의 제어방법 KR101868374B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160136522A KR101868374B1 (ko) 2016-10-20 2016-10-20 이동 로봇의 제어방법
US16/343,631 US11561549B2 (en) 2016-10-20 2017-10-20 Method of controlling mobile robot
PCT/KR2017/011697 WO2018074903A1 (ko) 2016-10-20 2017-10-20 이동 로봇의 제어방법
EP17861900.3A EP3530416B1 (en) 2016-10-20 2017-10-20 Control method of mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160136522A KR101868374B1 (ko) 2016-10-20 2016-10-20 이동 로봇의 제어방법

Publications (2)

Publication Number Publication Date
KR20180043606A KR20180043606A (ko) 2018-04-30
KR101868374B1 true KR101868374B1 (ko) 2018-06-18

Family

ID=62018669

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160136522A KR101868374B1 (ko) 2016-10-20 2016-10-20 이동 로봇의 제어방법

Country Status (4)

Country Link
US (1) US11561549B2 (ko)
EP (1) EP3530416B1 (ko)
KR (1) KR101868374B1 (ko)
WO (1) WO2018074903A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021112402A1 (ko) * 2019-12-06 2021-06-10 엘지전자 주식회사 이동 로봇 시스템 및 이동 로봇 시스템의 경계 정보 생성 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101868374B1 (ko) * 2016-10-20 2018-06-18 엘지전자 주식회사 이동 로봇의 제어방법
USD906390S1 (en) * 2017-12-14 2020-12-29 The Hi-Tech Robotic Systemz Ltd Mobile robot
USD896858S1 (en) * 2017-12-14 2020-09-22 The Hi-Tech Robotic Systemz Ltd Mobile robot
USD907084S1 (en) * 2017-12-14 2021-01-05 The Hi-Tech Robotic Systemz Ltd Mobile robot
USD879851S1 (en) * 2017-12-29 2020-03-31 Beijing Geekplus Technology Co., Ltd. Robot
USD879852S1 (en) * 2018-03-15 2020-03-31 Beijing Geekplus Technology Co., Ltd. Mobile robot
USD907677S1 (en) * 2018-06-15 2021-01-12 Mobile Industrial Robots A/S Mobile robot
USD929478S1 (en) 2018-06-15 2021-08-31 Mobile Industrial Robots A/S Mobile robot having an illuminated region
USD911406S1 (en) * 2018-08-17 2021-02-23 Grey Orange Pte. Ltd Robot for moving articles within a facility
US10835096B2 (en) 2018-08-30 2020-11-17 Irobot Corporation Map based training and interface for mobile robots
KR102147211B1 (ko) 2018-10-22 2020-08-24 엘지전자 주식회사 인공지능 이동 로봇의 제어 방법
US10399778B1 (en) * 2018-10-25 2019-09-03 Grey Orange Pte. Ltd. Identification and planning system and method for fulfillment of orders
USD917591S1 (en) * 2018-10-31 2021-04-27 Hangzhou Hikrobot Technology Co., Ltd Automatic guided transport vehicle
CN114999308A (zh) * 2018-11-19 2022-09-02 深圳市海柔创新科技有限公司 地图生成方法、装置、计算机可读存储介质和计算机设备
USD898790S1 (en) * 2018-11-26 2020-10-13 Nidec-Shimpo Corporation Automatic guided vehicle
JP1643698S (ko) * 2019-03-22 2019-10-21
WO2020226187A1 (ko) * 2019-05-03 2020-11-12 엘지전자 주식회사 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇
KR102314537B1 (ko) * 2019-06-18 2021-10-18 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN110347153A (zh) * 2019-06-26 2019-10-18 深圳拓邦股份有限公司 一种边界识别方法、***及移动机器人
CN112179361B (zh) 2019-07-02 2022-12-06 华为技术有限公司 更新移动机器人工作地图的方法、装置及存储介质
USD902272S1 (en) * 2019-07-11 2020-11-17 Asti Mobile Robotics Sau Automatic guided vehicle
WO2021010784A2 (ko) * 2019-07-17 2021-01-21 주식회사 유진로봇 객체 영상 생성, 객체 인식과 이동 로봇의 환경 학습을 수행하는 장치 및 방법
KR102301759B1 (ko) * 2019-07-17 2021-09-14 주식회사 유진로봇 자율 주행 이동 로봇의 충전 중 환경 학습 장치 및 환경 학습 방법
KR20220119123A (ko) * 2019-12-20 2022-08-26 나이앤틱, 인크. 매핑 장치로부터의 로컬 지도 병합
US11768504B2 (en) 2020-06-10 2023-09-26 AI Incorporated Light weight and real time slam for robots
CN113806455B (zh) * 2020-06-12 2024-03-29 未岚大陆(北京)科技有限公司 地图构建方法、设备及存储介质
CN112008718B (zh) * 2020-06-12 2022-04-05 特斯联科技集团有限公司 一种机器人控制方法、***、存储介质及智能机器人
CN112605987B (zh) * 2020-11-25 2022-06-03 深圳拓邦股份有限公司 机器人导航工作方法、装置及机器人
USD967883S1 (en) * 2021-01-06 2022-10-25 Grey Orange International Inc. Robot for handling goods in a facility

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1920326A4 (en) * 2005-09-02 2014-01-08 Neato Robotics Inc ROBOT MULTIFUNCTION DEVICE
US7551802B2 (en) * 2005-09-22 2009-06-23 Konica Minolta Systems Laboratory, Inc. Map image matching method and apparatus
KR100748245B1 (ko) * 2005-12-09 2007-08-10 한국전자통신연구원 인공표식과 지역좌표계를 이용한 이동로봇의 환경지도 작성방법 및 이동 방법
US7539557B2 (en) * 2005-12-30 2009-05-26 Irobot Corporation Autonomous mobile robot
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
KR100843085B1 (ko) * 2006-06-20 2008-07-02 삼성전자주식회사 이동 로봇의 격자지도 작성 방법 및 장치와 이를 이용한영역 분리 방법 및 장치
US8965578B2 (en) * 2006-07-05 2015-02-24 Battelle Energy Alliance, Llc Real time explosive hazard information sensing, processing, and communication for autonomous operation
KR100966875B1 (ko) * 2006-09-26 2010-06-29 삼성전자주식회사 전방위 영상을 이용한 로봇의 위치 결정방법
US8214079B2 (en) * 2007-03-30 2012-07-03 Sungkyunkwan University Foundation For Corporate Collaboration Central information processing system and method for service robot having layered information structure according to recognition and reasoning level
KR101553654B1 (ko) 2009-02-13 2015-10-01 삼성전자 주식회사 이동 로봇 및 이동 로봇의 이동 방법
KR101581415B1 (ko) * 2009-02-23 2015-12-30 삼성전자주식회사 맵 빌딩 장치 및 방법
KR101524020B1 (ko) * 2009-03-06 2015-05-29 엘지전자 주식회사 로봇 청소기의 점진적 지도 작성 및 위치 보정 방법
KR101072876B1 (ko) 2009-03-18 2011-10-17 연세대학교 산학협력단 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
JP2011128899A (ja) * 2009-12-17 2011-06-30 Murata Machinery Ltd 自律移動装置
KR101682175B1 (ko) 2010-01-20 2016-12-02 삼성전자주식회사 그리드 맵 생성 장치 및 방법
JP5581770B2 (ja) * 2010-03-26 2014-09-03 ソニー株式会社 ロボット装置及びロボット装置による情報提供方法
KR101731968B1 (ko) * 2010-11-01 2017-05-04 삼성전자주식회사 로봇의 리로케이션 장치 및 방법
FR2977023B1 (fr) * 2011-06-24 2014-02-21 Univ Angers Generation de donnees de carte
KR101956569B1 (ko) * 2012-06-01 2019-03-11 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
KR102328252B1 (ko) 2015-02-13 2021-11-19 삼성전자주식회사 청소 로봇 및 그 제어방법
EP3471924A4 (en) * 2016-06-15 2020-07-29 iRobot Corporation SYSTEMS AND METHODS OF CONTROL OF AN AUTONOMOUS MOBILE ROBOT
US10032276B1 (en) * 2016-08-29 2018-07-24 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous device
KR101868374B1 (ko) * 2016-10-20 2018-06-18 엘지전자 주식회사 이동 로봇의 제어방법
US10918252B2 (en) * 2017-07-27 2021-02-16 Neato Robotics, Inc. Dirt detection layer and laser backscatter dirt detection
US11073828B2 (en) * 2017-12-08 2021-07-27 Samsung Electronics Co., Ltd. Compression of semantic information for task and motion planning
US11614746B2 (en) * 2018-01-05 2023-03-28 Irobot Corporation Mobile cleaning robot teaming and persistent mapping

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021112402A1 (ko) * 2019-12-06 2021-06-10 엘지전자 주식회사 이동 로봇 시스템 및 이동 로봇 시스템의 경계 정보 생성 방법

Also Published As

Publication number Publication date
US11561549B2 (en) 2023-01-24
EP3530416A4 (en) 2020-06-24
EP3530416B1 (en) 2021-07-21
KR20180043606A (ko) 2018-04-30
US20190332115A1 (en) 2019-10-31
EP3530416A1 (en) 2019-08-28
WO2018074903A1 (ko) 2018-04-26

Similar Documents

Publication Publication Date Title
KR101868374B1 (ko) 이동 로봇의 제어방법
JP7150773B2 (ja) 移動ロボット及びその制御方法
KR101982780B1 (ko) 이동 로봇 및 이동 로봇의 제어방법
US9798957B2 (en) Robot cleaner and control method thereof
US10939791B2 (en) Mobile robot and mobile robot control method
US11547261B2 (en) Moving robot and control method thereof
KR101503903B1 (ko) 이동 로봇의 지도 구성 장치 및 방법
KR102024094B1 (ko) 인공지능을 이용한 이동 로봇 및 그 제어방법
KR102159971B1 (ko) 이동 로봇, 복수의 이동 로봇 시스템 및 이동 로봇의 맵 학습방법
US11348276B2 (en) Mobile robot control method
US11709499B2 (en) Controlling method for artificial intelligence moving robot
KR101922953B1 (ko) 이동 로봇 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant