KR20240073270A - 로봇 및 로봇의 위치 추정방법 - Google Patents

로봇 및 로봇의 위치 추정방법 Download PDF

Info

Publication number
KR20240073270A
KR20240073270A KR1020220154600A KR20220154600A KR20240073270A KR 20240073270 A KR20240073270 A KR 20240073270A KR 1020220154600 A KR1020220154600 A KR 1020220154600A KR 20220154600 A KR20220154600 A KR 20220154600A KR 20240073270 A KR20240073270 A KR 20240073270A
Authority
KR
South Korea
Prior art keywords
robot
information
marker
unit
sensor unit
Prior art date
Application number
KR1020220154600A
Other languages
English (en)
Inventor
이현기
강대천
이인원
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020220154600A priority Critical patent/KR20240073270A/ko
Priority to PCT/KR2023/008421 priority patent/WO2024106661A1/ko
Publication of KR20240073270A publication Critical patent/KR20240073270A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)

Abstract

본 발명은 로봇 및 로봇의 위치 추정 방법을 제공하며, 로봇의 외관을 형성하며, 구동부를 포함하는 본체 유닛과 사물의 영상을 촬영하는 비젼 카메라부, 깊이 정보를 획득하는 깊이 센서부 및 사물에 부착된 마커의 위치를 추적하는 마커 추적부를 포함하며, 본체 유닛에 배치되는 센서 유닛과 센서 유닛으로부터 영상 정보, 깊이 정보 및 마커 정보를 제공받고 사물의 위치 정보를 도출하고, 사물의 위치 정보를 이용하여 로봇의 위치 정보를 추정하는 프로세서;를 포함할 수 있다.

Description

로봇 및 로봇의 위치 추정방법{Robot and robot position estimation method}
본 발명은 로봇 및 로봇의 위치 추정방법에 관한 것이다.
글로벌 서비스 시장이 빠르게 변화함에 따라, 소비자 트랜드, 인력난 극복, 생산성 및 비즈니스 효율성의 향상을 위해 다양한 환경에서 사람의 일상생활을 돕기 위한 로봇이 사용되고 있다.
인간을 생활을 보조하기 위한 서빙(serving) 로봇, 안내 로봇 등은 사용자의 조작 없이도 자율적으로 거동하면서 목적하는 작업을 수행한다. 이러한 로봇이 자율적으로 작업을 수행하기 위해서는 로봇의 위치 인식 및 작업 목적이 되는 대상체의 위치 인식이 필수적으로 요구된다.
일반적으로, 로봇의 작업이 수행되는 환경의 맵 및 다양한 센서 데이터를 이용하여 로봇 및 작업 목적이 되는 대상체의 위치나 자세가 인식될 수 있다.
하지만 외부 자극에 의해서 로봇이나 대상체의 예상치 못한 위치, 자세의 변동이 발생하는 경우 혹은, 새로운 환경에서 작업을 수행하게 되는 경우 로봇이 자신의 위치나 대상체의 위치, 자세를 정밀하게 인식하지 못하면, 목적하는 서비스를 제공할 수 없을 것이다.
종래 로봇에 탑재되는 라이다(Lidar) 또는 레이더(Radar) 센서의 경우, 좁은 화각, 낮은 해상도 및 낮은 측정 정확도를 가지며, 이에 따라 로봇이 정밀도 높은 작업을 수행할 수 없어, 목적하는 서비스를 제공할 수 없었다는 문제점이 있었다.
본 발명의 배경 기술은 대한민국 등록특허공보 제10-1012288호(2011.01.26. 등록, 발명의 명칭: 이동식 안내로봇 및 그 시스템)에 게시되어 있다.
본 발명은 서비스 로봇의 작업이 수행되는 주변 환경을 맵핑하고, 대상체의 위치를 파악하기 위한 복합센서를 탑재하여, 로봇의 작업 정밀도 및 효율성을 향상시킬 수 있는 로봇 및 로봇의 위치 추정방법를 제공한다.
본 발명의 일 측면은, 로봇, 상기 로봇의 외관을 형성하며, 구동부를 포함하는 본체 유닛; 사물의 영상을 촬영하는 비젼 카메라부, 깊이 정보를 획득하는 깊이 센서부 및 사물에 부착된 마커의 위치를 추적하는 마커 추적부를 포함하며, 상기 본체 유닛에 배치되는 센서 유닛; 및 상기 센서 유닛으로부터 영상 정보, 깊이 정보 및 마커 정보를 제공받고 사물의 위치 정보를 도출하고, 상기 사물의 위치 정보를 이용하여 상기 로봇의 위치 정보를 추정하는 프로세서;를 포함하는, 로봇을 제공한다.
또한, 상기 센서 유닛은 상기 깊이 센서부, 상기 마커 추적부 및 상기 비젼 카메라부가 배치되는 하우징부를 더 포함할 수 있다.
또한, 상기 하우징부는 상기 깊이 센서부, 상기 마커 추적부 및 상기 비젼 카메라부를 일렬로 배치될 수 있다.
또한, 상기 로봇은 상기 센서 유닛을 둘 이상 구비하고, 상기 프로세서는 둘 이상의 상기 센서 유닛으로부터 제공되는 복수의 마커 정보를 이용하여 상기 로봇의 상대적인 위치를 추정할 수 있다.
또한, 상기 프로세서는, 상기 비젼 카메라부의 좌표를 기준 좌표로 설정하고, 상기 깊이 센서부로부터 획득한 상기 깊이 정보의 좌표 및 상기 마커 추적부로부터 획득한 상기 마커 정보의 좌표를 상기 기준 좌표로 변환하고, 상기 좌표 변환된 복수의 마커 정보를 이용하여 상기 로봇의 상대적인 위치를 추정할 수 있다.
또한, 상기 프로세서는, 상기 로봇을 움직이면서 상기 센서 유닛이 상기 마커 정보를 획득하도록 상기 구동부를 제어하며, 상기 로봇의 움직임에 따라 변화되는 상기 마커 정보를 수집하여 상기 로봇의 상대적인 위치를 추정할 수 있다.
또한, 상기 프로세서는, 초기 지도 정보가 저장되며, 상기 초기 지도 정보를 이용하여 상기 로봇의 맵 데이터를 생성하며, 상기 센서 유닛으로부터 상기 마커 정보가 제공되지 않는 경우, 상기 맵 데이터에 기초하여 상기 로봇의 움직임을 제어하고, 상기 센서 유닛으로부터 상기 마커 정보가 제공되는 경우, 상기 마커 정보를 이용하여 상기 로봇의 위치 데이터를 생성하고, 상기 로봇의 위치 데이터에 기초하여 상기 로봇의 움직임을 제어할 수 있다.
또한, 상기 프로세서는, 상기 마커 정보를 이용하여 상기 로봇의 위치 데이터가 갱신되면, 상기 갱신된 위치 데이터를 이용하여 상기 맵 데이터를 갱신할 수 있다.
또한, 상기 센서 유닛은 상기 둘 이상 구비되는 경우, 상기 센서 유닛 중 하나는 상기 로봇의 정주행 방향을 향하는 상기 본체 유닛의 외부에 배치되고, 상기 센서 유닛 중 나머지는 상기 하나와 다른 방향을 향하는 상기 본체 유닛의 외부에 배치될 수 있다.
본 발명의 다른 측면은, 저장된 초기 지도 정보를 이용하여 로봇의 맵 데이터를 구성하는 단계; 비젼 카메라부, 깊이 센서부 및 마커 추적부를 포함하는 센서 유닛으로부터 영상 정보, 깊이 정보 및 마커 정보를 제공받는 단계; 상기 영상 정보, 상기 깊이 정보 및 상기 마커 정보를 이용하여 마커가 부착된 사물의 위치 정보를 도출하는 단계; 및 상기 맵 데이터 또는 상기 사물의 위치 정보를 이용하여 상기 로봇의 위치 정보를 추정하는 단계;를 포함하는, 로봇의 위치 추정 방법을 제공한다.
또한, 상기 사물의 위치 정보를 도출하는 단계는, 상기 비젼 카메라부의 좌표를 기준 좌표로 설정하고, 상기 깊이 센서부로부터 획득한 상기 깊이 정보의 좌표 및 상기 마커 추적부로부터 획득한 상기 마커 정보의 좌표를 상기 기준 좌표로 변환하고, 상기 로봇의 위치 정보를 추정하는 단계는, 상기 좌표 변환된 마커 정보를 이용하여 상기 로봇의 상대적인 위치를 추정할 수 있다.
또한, 상기 사물의 위치 정보를 도출하는 단계에서, 복수의 센서 유닛으로부터 복수의 마커 정보를 제공받도록 상기 로봇의 구동부를 제어하는 단계;를 더 포함하며, 상기 로봇의 위치 정보를 추정하는 단계는, 상기 로봇의 움직임에 따라 변화되는 상기 마커 정보를 수집하여 상기 로봇의 상대적인 위치를 추정할 수 있다.
또한, 상기 센서 유닛으로부터 상기 마커 정보가 제공되지 않는 경우, 상기 맵 데이터에 기초하여 상기 로봇의 움직임을 제어하고, 상기 센서 유닛으로부터 상기 마커 정보가 제공되는 경우, 상기 마커 정보를 이용하여 상기 로봇의 위치 데이터를 생성하고, 상기 로봇의 위치 데이터에 기초하여 상기 로봇의 움직임을 제어하는 단계;를 더 포함할 수 있다.
또한, 상기 마커 정보를 이용하여 상기 로봇의 위치 데이터가 갱신되면, 상기 갱신된 위치 데이터를 이용하여 상기 맵 데이터를 갱신하는 단계;를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 로봇은 센서 유닛이 사물에 부착되는 마커로부터 사물의 위치 및 자세에 관한 정보를 제공받을 수 있으며, 이로 인하여 로봇의 위치 및 자세에 관한 정보를 추정할 수 있어 로봇이 목적하는 작업의 정확도 및 효율성을 증진시키는 효과가 있다.
또한, 로봇의 서로 다른 장치에서 획득하는 정보를 하나의 좌표계의 데이터로 변환이 가능하여, 더 빠르고 정확한 정보 처리가 가능하다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 로봇의 예시 구성요소를 나타내는 블록도이다.
도 2a는 본 발명의 일 실시예에 따른 로봇의 사시도이다.
도 2b는 본 발명의 일 실시예에 따른 기준 좌표 및 로봇 좌표를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 센서 유닛을 개념적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 맵 데이터를 생성 및 갱신하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 맵 데이터 또는 상기 사물의 위치 정보를 이용하여 상기 로봇의 이동을 제어하는 과정을 상세하게 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 로봇의 움직임에 따라 사물의 위치 정보를 도출하는 과정을 설명하기 위한 도면이다.
도 7은 도 6에서 도출되는 사물의 위치 정보에 따라 로봇의 상대적인 위치를 추정하는 과정을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 이하의 실시예는 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 로봇의 예시 구성요소를 나타내는 블록도이고, 도 2a는 본 발명의 일 실시예에 따른 로봇의 사시도이며, 도 2b는 본 발명의 일 실시예에 따른 기준 좌표 및 로봇 좌표를 설명하기 위한 도면이다. 도 3은 본 발명의 일 실시예에 따른 센서 유닛을 개념적으로 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 맵 데이터를 생성 및 갱신하는 과정을 설명하기 위한 도면이며, 도 5는 본 발명의 일 실시예에 따른 맵 데이터 또는 상기 사물의 위치 정보를 이용하여 상기 로봇의 이동을 제어하는 과정을 상세하게 나타낸 순서도이다. 도 6은 본 발명의 일 실시예에 따른 로봇의 움직임에 따라 사물의 위치 정보를 도출하는 과정을 설명하기 위한 도면이고, 도 7은 도 6에서 도출되는 사물의 위치 정보에 따라 로봇의 상대적인 위치를 추정하는 과정을 설명하기 위한 도면이다.
일반적으로, 로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히 작업 환경을 인식하고 스스로 판단하여 작업을 수행하는 기능을 로봇을 지능형 로봇이라 칭할 수 있으며, 이하에서 "로봇"은 "지능형 로봇"과 동일한 의미로 정의한다.
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신런닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의된다.
자율 주행은 스스로 판단하여 주행하는 기술을 의미하며, 자율 주행 로봇은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 로봇을 의미한다.
예컨대, 자율 주행에는 주행중인 경로를 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술, 외부 환경을 인식하여 최적의 경로를 결정하는 기술 등이 모두 포함될 수 있다.
로봇은 내연 기관만을 구비하는 로봇, 내연 기관과 전기 모터를 함께 구비하는 하이브리드 로봇, 그리고 전기 모터만을 구비하는 로봇을 모두 포괄하며, 서비스 로봇 뿐만 아니라 차량, 운송 기관, 군사수단 등을 포함할 수 있다.
본 발명의 일 실시예에 따른 로봇의 작업 환경의 미리 설정되는 지점에는 마커(MK)가 부착될 수 있으며, 상기 미리 설정되는 지점은 식탁, 의자, 진동벨 또는 다른 로봇 등 정적, 동적인 사물(ob)을 포함할 수 있다.
마커(MK)는 자체적으로 광을 방출하는 액티브(active)마커(MK)일 수 있고, 마커(MK)들을 액티브 마커(MK)로 사용할 경우 로봇은 별도의 광원을 사용할 필요가 없다. 이와 다르게, 마커(MK)는 적어도 하나 이상의 광원으로부터 방출되는 광을 반사시키는 패시브(passive)마커(MK)일 수 있다. 이 경우, 마커(MK)는 로봇에 포함될 수 있는 광원으로부터 방출되는 광을 반사시킬 수 있다. 로봇의 작업 환경에 배치되는 복수 개의 마커(MK)는 부착되는 위치 및 부착되는 사물(ob)의 종류에 따라 액티브 마커(MK)와 패시브 마커(MK)가 혼용될 수 있다.
마커(MK)는 2차원 마커는 물론 3차원 마커가 사용될 수 있고 구체적으로 마커(MK)가 광을 방출 또는 반사하는 면이 2차원 또는 3차원으로 형성될 수 있다.
마커(MK)는 복수 개가 구비될 수 있고 복수 개의 마커(MK) 각각에는 서로 다른 패턴이 형성될 수 있으며, 상기 패턴에 대응되도록 광이 방출 또는 반사될 수 있다.
복수 개의 마커(MK)에 형성되는 패턴 정보는 뒤에 설명할 프로세서에 저장될 수 있으며, 프로세서는 패턴 정보에 대응되는 마커 ID를 각각의 마커(MK)에 할당할 수 있다. 이로 인하여, 프로세서는 마커(MK)로부터 패턴 정보를 입력 받고 이에 대응되는 마커 ID를 추출하여 복수 개의 마커를 식별할 수 있다.
일 실시예로, 프로세서는 마커(MK)로부터 패턴 정보를 입력 받아 복수 개의 마커(MK)를 제1 마커(MK1), 제2 마커(MK2) 제3 마커(MK3) 등으로 식별할 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 로봇은 본체 유닛(100), 센서 유닛(200), 프로세서(300)를 포함할 수 있다.
본 발명의 일 실시예에 따른 본체 유닛(100)은 로봇의 외관을 형성하는 것으로, 구동부(110)를 포함할 수 있다. 구동부(110)는 로봇의 위치를 변화시킬 수 있는 바퀴, 브레이크 등을 구동할 수 있음을 물론 로봇의 작업 목적에 따라 로봇의 팔, 관절을 구동시킬 수 있다.
본 발명의 일 실시예에 따른 구동부(110)는 외부로부터 전원을 공급받을 수 있으며, 전원공급 장치로 배터리를 포함할 수 있다. 여기서 배터리는 재충전이 가능한 2차 배터리로, 충전 단자를 통해 충전대와 전기적으로 연결되어 충전대로부터 전력을 공급받아 충전을 수행할 수 있다. 그러나 이에 한정되는 것은 아니며 구동부(110)는 외부 전원공급 장치와 케이블 등 전장장치로 연결되어 구동될 수 있는 등, 외부로부터 전원을 공급받을 수 있는 기술사상 안에서 다양한 변형실시가 가능하다.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 센서 유닛(200)은 본체 유닛(100)의 일측에 배치될 수 있으며, 사물(ob)의 영상을 촬영하는 비젼 카메라부(210), 깊이 정보를 획득하는 깊이 센서부(220), 사물(ob)에 부착된 마커(MK)의 위치를 추적하는 마커 추적부(230)를 포함할 수 있다.
센서 유닛(200)은 깊이 비젼 카메라부(210), 깊이 센서부(220), 마커 추적부(230)가 배치될 수 있는 하우징부를 더 포함할 수 있으며, 하우징부는 적어도 하나 이상의 비젼 카메라부(210), 깊이 센서부(220), 마커 추적부(230)의 외관을 형성할 수 있다.
하우징부는 복수 개의 비젼 카메라부(210), 깊이 센서부(220), 마커 추적부(230)는 일렬로 배치시킬 수 있으나 이에 한정되는 것은 아니며 단일의 평면상에 배치시킬 수 있는 등 다양한 변형 실시가 가능하다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 센서 유닛(200)은 비젼 카메라부(210), 제1 내지 제3 깊이 센서부(220a, 220b, 220c), 제1,2 마커(MK) 추적부(230a, 230b)를 포함할 수 있으며 비젼 카메라부(210), 제1 내지 제3 깊이 센서부(220a, 220b, 220c), 제1,2 마커(MK) 추적부(230a, 230b)는 하우징부에 의해 일렬로 배치될 수 있다. 구체적으로, 비젼 카메라부(210)가 하우징부의 중앙에 배치되며, 제1,2 마커(MK) 추적부(230a, 230b)가 하우징부의 양 끝부에 각각 배치될 수 있으며, 제1 내지 제3 깊이 센서부(220a, 220b, 220c)는 비젼 카메라부(21)와 제1,2 마커(MK) 추적부(230a, 230b) 사이에 배치될 수 있다.
본 발명의 일 실시예에 따른 비젼 카메라부(210)는 외부 환경, 사물(ob)을 촬영할 수 있는 어떤 촬영 수단이든 사용 가능하며, 예를 들어 RGB 카메라로서 3차원 공간을 2차원 이미지로 촬영하는 장치로 이루어질 수 있다.
비젼 카메라부(210)에서 획득된 외부 환경에 관한 영상 정보를 기반으로 뒤에 설명할 프로세서(300)에서 기준 좌표가 생성될 수 있으며, 깊이 센서부(220)로부터 획득되는 깊이 정보와 마커 추적부(230)로부터 획득되는 마커 정보가 기준 좌표상 데이터로 변환될 수 있다.
비젼 카메라부(210)는 비젼 카메라부(210)로부터 촬영된 영역에서의 외부 환경에 관한 영상 정보 또는 이미지정보를 프로세서(300)로 출력할 수 있다.
본 발명의 일 실시예에 따른 깊이 센서부(220)는 외부 환경, 사물(ob)에 관한 3차원 영상을 촬영하고, 그 촬영 이미지의 각 픽셀의 깊이 정보를 획득할 수 있는 어떤 센서든 사용 가능하며, 예를 들어 스테레오 비전(Stereo Vision) 카메라 또는 TOF 카메라, 깊이 영상 키넥트(Kinect Depth ) 카메라 등 촬영 영역에 포함되는 사물(ob)의 거리 값을 계산할 수 있는 장치로 이루어질 수 있다.
깊이 센서부(220)로부터 획득한 깊이 정보는 프로세서(300)에서 깊이 정보 좌표상에 저장될 수 있으며, 실시간으로 입력되는 깊이 정보 좌표상의 깊이 정보는 기준 좌표상의 데이터로 변환 가능하도록 조합 및 가공될 수 있다.
나아가, 깊이 센서부(220)로부터 획득된 깊이 정보와 비젼 카메라부(210)에서 획득된 영상 정보는 깊이 맵(Depth map)을 생성하기 위해 프로세서(300)에서 좌표 변환 및 데이터 융합과정을 거칠 수 있다.
깊이 센서부(220)는 비젼 카메라부(210)와 별물로 구성될 수 있으나, 이에 한정되는 것은 아니며, 깊이 센서부(220)와 비젼 카메라부(210)는 동일한 영상촬영 모듈을 공유할 수 있다.
본 발명의 일 실시예에 따른 마커 추적부(230)는 외부 환경, 사물(ob)의 미리 설정되는 영역에 부착된 마커(MK)의 위치 및 자세 정보(이하, 마커 정보라고 한다.)를 획득할 수 있는 어떤 측정 수단이든 사용 가능하며, 마커(MK)로부터 방출 또는 반사되는 광의 감도 및 방향 등을 인식하여 마커(MK)의 위치와 자세를 추적할 수 있다.
마커 추적부(230)로부터 획득한 마커 정보는 프로세서(300)에서 마커 정보 좌표상에 저장될 수 있으며, 실시간으로 저장되는 마커 정보는 기준 죄표상의 비젼 카메라부(210)에서 획득된 영상 정보와 조합 및 가공되어 기준 좌표상의 데이터로 변환 입력될 수 있다.
본 발명의 일 실시예에 따른 센서 유닛(200)은 복수 개가 구비될 수 있으며, 센서 유닛(200) 중 하나는 프로세서(300)에서 미리 설정되는 로봇의 정주행 방향을 향하는 본체 유닛(100)의 외부에 배치되며, 상기 본체 유닛(100)과 별물로 구성되는 나머지 본체 유닛(100)은 정주행 방향과 다른 방향을 향하는 본체 유닛(100)의 외부에 배치될 수 있다.
일 실시예로 로봇이 확보할 수 있는 촬영 및 측정 가능 화각이 60도인 제1 센서유닛(200a), 제2 센서유닛(200b), 제3 센서유닛(200c)을 구비하는 경우, 제1 센서유닛(200a)을 미리 설정되는 로봇의 정주행 방향을 향하는 본체 유닛(100)의 외측에 배치시킬수 있으며, 제2 센서유닛(200b), 제3 센서유닛(200c)을 을 제1 센서유닛(200a)과 동일 평면상에 위치시키되 본체 유닛(100)의 외주면 둘레를 따라 본체 유닛(100)의 중심을 기준으로 60도씩 등각 배치할 수 있다. 이로 인하여 좁은 화각의 제1 내지 제3 센서 유닛(200a, 200b, 200c)을 사용하더라도 각각 서로 다른 촬영 및 측정영역을 바라보게끔 배치시킴으로써 180도 화각을 확보할 수 있다.
그러나 이에 한정되는 것은 아니고, 로봇이 구비하는 센서 유닛(200)의 개수, 각 센서 유닛(200)이 이루는 각도와 이격거리 등 복수 개의 센서 유닛(200)의 배치관계는 로봇의 작업목적 및 센서 유닛(200)이 확보 가능한 화각 등에 대응되어 변형 실시될 수 있다.
본 발명의 일 실시예에 따른 로봇은 센서 유닛(200)으로부터 획득된 정보 및 미리 설정된 초기 값에 따라 외부 환경에 관한 정보를 저장 및 가공하고 로봇의 위치 정보를 추정하는 프로세서(300)를 포함할 수 있다.
본 발명의 일 실시예에 따른 프로세서(300)는 센서 유닛(200)으로부터 영상 정보, 깊이 정보 및 마커 정보를 제공받고 사물(ob)의 위치 및 자세 정보를 도출할 수 있으며, 도출된 사물(ob)의 위치 및 자세 정보(이하, 사물 정보라고 한다.)를 이용하여 로봇의 위치 및 자세 정보(이하, 로봇 정보라고 한다.)를 추정 또는 결정할 수 있다.
본 명세서에서 매핑(mapping)은 컴퓨터 그래픽스상, 한 좌표 체계에서 다른 좌표 체계로 변환하는 작업을 의미한다.
프로세서(300)는 비젼 카메라부(210)로부터 획득된 영상 정보를 제공받아 저장할 수 있다. 구체적으로 프로세서(300)는 비젼 카메라부(210)를 기준으로 하여 3차원의 공간 좌표를 할당할 수 있으며, 상기 비젼 카메라부(210)에 할당된 좌표를 기준 좌표로 설정하고 비젼 카메라부(210)로부터 획득된 영상 정보를 기준 좌표에 매핑할 수 있다.
프로세서(300)는 깊이 센서부(220)를 기준으로 하여 3차원 공간 좌표를 할당할 수 있으며, 깊이 센서부(220)로부터 깊이 정보를 제공받아 상기 깊이 센서부(220)를 기준으로 하는 3차원 공간 좌표에 저장할 수 있다. 나아가, 프로세서(300)는 상기 깊이 센서부(220)를 기준으로 하는 3차원 공간 좌표에 저장된 깊이 정보를 기준 좌표에 매핑할 수 있다.
구체적으로 프로세서(300)는 깊이 센서부(220)로부터 깊이 정보를 제공받아 깊이 맵(Depth map)을 추출하고 상기 깊이 센서부(220)를 기준으로 하는 3차원 공간 좌표에 저장할 수 있으며, 비젼 카메라부(210)로부터 제공받은 영상 정보에 대한 2차원 이미지와 깊이 카메라로부터 추출된 깊이 맵을 기준 좌표로 데이터 조합, 가공 및 좌표융합 할 수 있다.
이로 인하여 프로세서(300)부는 비젼 카메라부(210) 및 깊이 센서부(220)로부터 정보를 제공받아 현실의 작업 공간을 가상의 3차원 좌표 공간상 정보로 변환할 수 있다.
그러나 이에 한정되는 것은 아니며, 프로세서(300)는 깊이 센서부(220)에서 획득되는 깊이 정보로부터 깊이 맵을 추출하여 곧바로 기준 좌표상에 매핑할 수 있는 등, 영상 정보와 깊이 정보를 동일한 프로세스를 통해 정보를 가공 및 융합할 수 있다.
프로세서(300)는 비젼 카메라부(210) 및 깊이 센서부(220)로부터 실시간으로 영상 정보와 깊이 정보를 제공받아 새롭게 제공받은 정보를 기반으로 기준 좌표를 갱신할 수 있다.
센서 유닛(200)은 복수 개의 깊이 센서부(220)를 구비할 수 있으며, 프로세서(300)는 각각의 깊이 센서부(220)에 의해 촬영된 프레임들 간 특이점을 추출하고, 상기 특이점을 포함하는 깊이 정보를 기반으로 깊이 센서부(220)의 위치를 추적하여 로봇의 위치를 확률적으로 추정할 수 있다.
일 실시예로, 하나의 센서 유닛(200)은 제1 내지 제3 깊이 센서부(220a, 220b, 220c)를 구비할 수 있으며, 제1 내지 제3 깊이 센서부(220a, 220b, 220c)는 각각 로봇의 작업 환경에 위치하는 사물(ob)에 대한 위치 정보를 포함하는 프레임을 생성할 수 있다. 프로세서는 각각의 깊이 센서부(220a, 220b, 220c)에서 생성된 프레임들 간 특이점 및 프레임이 포함하는 사물(ob)과 각각의 깊이 센서부(220a, 220b, 220c)간 기하학적 위치 관계 정보를 기반으로 로봇의 위치를 확률적으로 추정할 수 있다.
프로세서(300)는 상기 깊이 센서부(220)로부터 추정된 로봇의 위치를 뒤에 설명할 복수 개의 마커 정보로부터 획득된 정보를 기반으로 추정된 로봇의 위치의 정확도를 높이기 위한 보정 데이터로 추출할 수 있다.
프로세서(300)는 마커 추적부(230)로부터 획득된 마커 정보를 마커 추적부(230)를 기준으로 하는 3차원 공간 좌표에 저장할 수 있으며, 상기 마커 정보를 기준 좌표로 매핑할 수 있다. 그러나 이에 한정되는 것은 아니며, 마커 추적부(230)로부터 획득된 마커 정보를 곧바로 기준 좌표상으로 입력할 수 있다.
도 4를 참조하면, 프로세서(300)가 영상 정보, 깊이 정보, 마커 정보를 동일한 좌표상 데이터로 좌표 변환 및 가공하여, 현실의 작업 공간에 기반한 가상의 3차원 좌표 공간상 마커(MK)의 위치 및 자세를 추적할 수 있고, 그 결과 현실의 작업 공간 상 마커(MK)가 부착된 사물(ob)의 위치와 자세를 가상의 3차원 좌표 공간상 마커 정보로 변환하여 저장할 수 있다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 로봇의 작업 환경에는 복수 개의 마커(MK)가 미리 설정되는 지점에 부착될 수 있으며, 프로세서(300)는 복수 개의 마커 정보를 획득하여, 획득된 복수 개의 마커 정보간 상관 관계 및 복수 개의 마커(MK)와 로봇간 상대적 위치를 기반으로 로봇의 위치 및 자세를 추정할 수 있다.
프로세서(300)는 센서 유닛(200)이 마커 정보를 획득하도록 구동부(110)를 제어할 수 있으며, 로봇의 움직임에 따라 변화되는 마커 정보를 수집하여 로봇의 상대적인 위치를 추정할 수 있다.
도 6을 참조하면, 프로세서(300)는 로봇이 마커(MK)가 배치되지 않거나 상대적으로 적게 배치되는 영역에 위치하는 경우에는 마커(MK)가 상대적으로 많이 배치되는 영역으로 로봇을 이동하게끔 구동부(110)를 제어할 수 있으며, 센서 유닛(200)이 측정할 수 있는 화각 범위내에 마커(MK)가 존재하지 않는 경우에는 로봇을 회전하게끔 구동부(110)를 제어할 수 있다.
로봇은 본체 유닛(100) 상 미리 설정되는 영역에 위치하는 복수 개의 센서 유닛(200)을 구비할 수 있으며, 각각의 센서 유닛(200)으로부터 획득되는 영상 정보, 깊이 정보, 마커 정보는 전술한 바와 같이 각각의 센서에 대응되는 기준 좌표상 정보로 변환된다.
일 실시예로 센서 유닛(200)이 세 개가 구비되는 경우, 프로세서(300)는 각각의 센서 유닛(200)에 포함되는 비젼 카메라를 기준으로 서로 다른 세 개의 기준 좌표가 생성할 수 있으며, 각각의 센서 유닛(200)으로부터 획득되는 정보는 상기 세 개의 기준 좌표에 대응되게 매핑 되어 저장된다.
프로세서(300)는 로봇을 원점으로 하는 가상의 3차원 좌표(이하, 로봇 좌표라고 한다.)를 생성할 수 있고, 상기 복수 개의 기준 좌표에 저장되는 정보를 로봇 좌표로 매핑 및 저장할 수 있다.
구체적으로, 서로 다른 영역을 촬영 및 센싱하는 복수 개의 센서 유닛(200)으로부터 영상 정보, 깊이 정보, 마커 정보를 습득하여 기준 좌표상 정보로 매핑한 후, 각각의 센서 유닛(200)에 대응되는 복수 개의 기준 좌표상 정보를 하나의 로봇 좌표 상 정보로 매핑하여 저장할 수 있다. 이로 인하여 서로 다른 좌표 체계상 외부 정보를 하나의 로봇 좌표 체계 내에서 처리하는 것이 가능해지는 효과가 있다.
프로세서(300)는 로봇 좌표상으로 매핑된 영상 정보, 깊이 정보, 마커 정보를 기반으로 사물 정보 및 로봇 정보를 추정할 수 있다.
프로세서(300)는 로봇의 작업 환경에 관한 초기 지도 정보를 저장할 수 있으며, 상기 초기 지도 정보를 기반으로 초기 맵 데이터(mp)를 생성할 수 있다. 초기 맵 데이터(mp)는 로봇이 작업하는 공간의 형상, 사물(ob)의 초기 위치, 작업 대상이 되는 목적물의 위치와 형상 등에 관한 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 맵 데이터(mp)는 센서 유닛(200)으로부터 획득되는 정보에 의해 실시간으로 갱신될 수 있다. 구체적으로 프로세서(300)는 센서 유닛(200)으로부터 실시간으로 획득되는 영상 정보, 깊이 정보, 마커 정보를 기반으로 사물 정보를 도출할 수 있고, 도출된 사물 정보 또는 마커 정보로부터 로봇 정보를 추정할 수 있다. 도출된 사물 정보 및 로봇 정보를 갱신 전 맵 데이터(mp)와 비교하여, 변동된 정보에 따라 맵 데이터(mp)를 갱신할 수 있다.
프로세서(300)는 갱신되는 맵 데이터(mp) 및 프로세서(300)에서 추정한 로봇 정보에 기반하여 구동부(110)를 제어할 수 있다.
구체적으로, 로봇이 마커(MK)가 위치하지 않은 작업 공간의 일 영역에 위치하거나, 센서 유닛(200)의 촬영 및 측정 가능 화각 범위 내에 마커(MK)가 존재하지 않는 경우 등 프로세서(300)가 마커 정보 또는 사물 정보로부터 로봇 정보를 파악할 수 없는 경우, 프로세서(300)는 최근에 갱신된 맵 데이터(mp)를 기반으로 구동부(110)를 제어할 수 있다.
로봇이 마커 정보 또는 사물 정보로부터 로봇 정보를 파악할 수 있는 경우, 프로세서(300)는 마커 정보 또는 사물 정보로부터 추정되는 로봇 정보를 기반으로 구동부(110)를 제어할 수 있다.
그러나 이에 한정되는 것은 아니고, 로봇이 마커 정보 또는 사물 정보로부터 로봇 정보를 파악할 수 있는 경우에도 상기 추정되는 로봇 정보의 정확도를 확보하기 위해 최근에 갱신된 맵 데이터(mp)를 참조 데이터로 이용할 수 있다.
도 6을 참조하면, 로봇의 작업 환경에 복수 개의 마커(MK)가 배치되는 경우, 프로세서(300)는 마커(MK)의 패턴에 대응되게 각각의 마커(MK)에 고유의 ID를 할당할 수 있다.
구체적으로 각각의 마커(MK)는 서로 다른 패턴의 광을 방출 또는 반사할 수 있으며, 프로세서(300)는 마커 추적부(230)를 이용하여 마커(MK)가 방출 또는 반사하는 광의 패턴을 인식하여, 획득한 마커(MK)의 패턴과 대응되는 마커(MK)의 ID를 추출할 수 있다. 다른 실시예로서, 프로세서(300)는 마커(MK)가 방출하는 광의 감도, 진동수 등에 의하여 ID를 인식할 수 있다.
일 실시예로, 도 6을 참조하면 프로세서(300)는 인접한 주변 환경에 배치되는 마커(MK)의 광 패턴을 인식하고, 미리 저장된 마커 ID 정보를 기반으로 제1 마커 내지 제5 마커(MK1, MK2, MK3, MK4, MK5)를 식별할 수 있다.
이하, 상기와 같은 본 발명의 일 실시예에 따른 프로세서(300)가 로봇의 위치를 추정하는 방법에 관해 설명하고자 한다.
본 명세서에서 로봇의 위치 추정 방법은 시계열적인 단계를 일부 포함하나, 이는 설명의 편의를 위한 것일 뿐, 이하에서 설명하는 로봇의 위치 추정 방법은 설명의 순서에 한정되는 것은 아니며, 각 단계는 기재 순서에 관계없이 수행될 수 있다.
프로세서(300)는 초기에 작업 환경에 관한 지도 정보를 입력 받아, 이를 기초로 맵 데이터(mp)를 구성할 수 있다. 상기 지도 정보에는 로봇의 작업이 수행되는 환경에 관한 정보, 사물 정보 또는 로봇의 크기 및 형상에 관한 정보 중 적어도 하나를 포함할 수 있다.
프로세서(300)는 초기 맵 데이터(mp)상 정보를 기반으로 구동부(110)를 구동할 수 있으며, 구동부(110)에 의해 로봇은 맵 데이터(mp)에 의해 설정되는 경로 또는 미지의 영역으로 이동하게 된다.
상기 구동에 의해 로봇에 탑재된 센서 유닛(200)은 로봇의 작업이 수행되는 환경에 관한 정보를 획득하게 된다. 구체적으로 센서 유닛(200)의 비젼 카메라부(210)는 로봇의 일측에 탑재되어 로봇의 작업이 수행되는 환경에 관한 영상 정보를 획득하며, 깊이 센서부(220)는 주변 환경의 임의의 지점에 대한 거리 값을 포함하는 깊이 정보를 획득하고, 마커 추적부(230)는 미리 설정되는 영역에 배치되는 마커(MK)의 위치 및 자세에 관한 마커 정보를 획득할 수 있다.
로봇의 구동에 의해 실시간으로 획득되는 영상 정보, 깊이 정보, 마커 정보는 프로세서(300)에 의해 하나의 원점을 공유하는 가상의 3차원 좌표 공간에 변환될 수 있다.
이하, 영상 정보, 깊이 정보, 마커 정보의 좌표 변환 방법에 대해 설명하고자 한다.
프로세서(300)는 비젼 카메라부(210)를 기준으로 하는 3차원의 기준 좌표를 생성할 수 있다. 이후 센서 유닛(200)으로부터 획득되는 영상 정보, 깊이 정보, 마커 정보를 상기 기준 좌표상 데이터로 변환할 수 있다. 이로 인하여, 단일의 센서 유닛(200)으로부터 획득되는 정보는 상기 센서 유닛(200)과 대응되는 기준 좌표상 데이터로 저장될 수 있다.
로봇은 상대적으로 광범위한 촬영 및 센싱 가능 화각을 확보하기 위해, 또는 상대적으로 높은 측정 정밀도를 확보하기 위해 복수 개의 센서 유닛(200)을 구비할 수 있다. 이 경우 각 센서 유닛(200)으로부터 획득되는 서로 다른 기준 좌표상 데이터가 존재할 수 있으므로 프로세서(300)는 서로 다른 기준 좌표상 데이터를 단일의 로봇 좌표상 데이터로 매핑할 수 있다.
프로세서(300)는 상기 매핑된 데이터에 의하여 로봇의 작업 환경에 위치하는 사물 정보 및 기존 맵 데이터(mp)에 입력되지 않은 정보를 도출할 수 있다.
프로세서(300)가 사물 정보를 도출하는 방법은 이하와 같다.
마커(MK)가 부착되지 않은 사물(ob)의 경우, 복수 개의 깊이 센서부(220)에 의해 획득되는 복수 개의 서로 다른 깊이 값의 특이점을 파악하여 사물 정보를 획득할 수 있으며, 마커(MK)가 부착되어 있는 사물(ob)의 경우, 마커 정보를 획득하여 사물 정보를 도출할 수 있다. 다만 이 경우에도 깊이 정보에 의해 파악되는 사물 정보 값을 참조 데이터로 이용하여, 마커 정보에 의해 도출되는 사물 정보의 정확도를 향상시킬 수 있다.
프로세서(300)는 상기 도출되는 사물 정보 또는 마커 정보로 로봇 정보를 도출할 수 있으며, 프로세서(300)가 로봇 정보를 도출하는 방법은 이하와 같다.
도 6, 도 7을 참조하면, 본 발명의 일 실시예에 따른 프로세서(300)는 사물(ob)에 부착되어 광을 방출하거나 적어도 하나의 광원으로부터 방출되는 광을 반사시키는 복수 개의 마커(MK)들로부터 광을 받아들여, 이에 대응되는 영상을 결상시킴과 동시에 상기 영상을 이용하여 복수 개의 마커(MK)들의 3차원 좌표를 각각 산출한 후, 마커(MK)들의 3차원 좌표와 미리 저장된 인접한 마커(MK)들 간 기하학적 정보 및 센서 유닛(200)의 기준 좌표와 마커(MK)들의 3차원 좌표간 상대적 위치관계 정보 등에 기반하여 로봇 정보를 도출할 수 있다.
센서 유닛(200)이 획득할 수 있는 마커 정보가 존재하지 않는 경우에, 프로세서(300)가 로봇 정보를 도출하는 방법은 이하와 같다.
프로세서(300)는 구동부(110)의 구동을 제어하면서, 구동부(110)에 의한 로봇의 이동거리 및 방향에 관한 정보를 저장하여 로봇의 이동 경로에 대해 정보를 기록할 수 있다. 일 실시예로, 프로세서(300)는 구동부(110)에 구비되는 모터의 회전 수, 회전 각속도, 바퀴의 회전 각도 등에 관한 정보로 로봇의 이동 경로를 추적 및 저장할 수 있다.
이로 인하여 센서 유닛(200)이 획득할 수 있는 마커 정보가 존재하지 않는 경우에, 프로세서(300)는 최근에 갱신된 로봇 정보 및 최근에 갱신된 시점으로부터 상기 추적 및 저장되는 로봇의 이동 경로에 관한 정보를 융합하여 로봇 정보를 도출할 수 있다.
프로세서(300)가 로봇 정보를 도출하는 또 다른 방법은 이하와 같다. 프로세서(300)는 복수 개의 깊이 센서부(220)에 의해 획득되는 복수 개의 서로 다른 깊이 값의 특이점을 파악하여 사물 정보를 획득할 수 있으며, 깊이 정보로 획득된 사물 정보와 로봇 간의 상대적 위치 관계를 파악하여 로봇 정보를 도출할 수 있다.
상기와 같은 방식으로 도출되는 로봇 정보는 마커 정보로부터 도출되는 로봇 정보와 비교하여 상대적으로 낮은 정확도를 가질 수 있으나, 깊이 센서부(220)가 마커 정보를 획득할 수 없는 환경에서 깊이 정보로부터 로봇 정보를 도출할 수 있고, 나아가서 마커 정보를 획득할 수 있는 환경에서도 로봇 정보의 높은 정확도 확보를 위해 참조 데이터로 이용될 수 있다.
본 발명의 일 실시예에 따른 작업 환경에는 복수 개의 로봇이 위치할 수 있으며, 복수 개의 로봇은 각각의 프로세서(300)에 저장된 맵 데이터(mp)를 공유할 수 있다.
복수 개의 로봇의 프로세서(300)에 저장된 맵 데이터(mp)의 상호 공유는 네트워크를 이용하여 통신을 수행할 수 있다. 예를 들어, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함하며, 각 네트워크 구성들이 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다. 또한, 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra-wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
프로세서(300)는 서로 다른 복수 개의 프로세서(300)에서 독립적으로 구축된 맵 데이터(mp)를 참조하여, 맵 데이터(mp) 상 오류를 발견하여 수정할 수 있고, 사물 정보 및 로봇 정보의 정확도를 향상시킬 수 있다.
본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라, 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
10: 로봇 100: 본체 유닛
200: 센서 유닛 300: 프로세서

Claims (14)

  1. 로봇,
    상기 로봇의 외관을 형성하며, 구동부를 포함하는 본체 유닛;
    사물의 영상을 촬영하는 비젼 카메라부, 깊이 정보를 획득하는 깊이 센서부 및 사물에 부착된 마커의 위치를 추적하는 마커 추적부를 포함하며, 상기 본체 유닛에 배치되는 센서 유닛; 및
    상기 센서 유닛으로부터 영상 정보, 깊이 정보 및 마커 정보를 제공받고 사물의 위치 정보를 도출하고, 상기 사물의 위치 정보를 이용하여 상기 로봇의 위치 정보를 추정하는 프로세서;를 포함하는, 로봇.
  2. 제1 항에 있어서,
    상기 센서 유닛은 상기 깊이 센서부, 상기 마커 추적부 및 상기 비젼 카메라부가 배치되는 하우징부를 더 포함하는, 로봇.
  3. 제2 항에 있어서,
    상기 하우징부는 상기 깊이 센서부, 상기 마커 추적부 및 상기 비젼 카메라부를 일렬로 배치시키는, 로봇.
  4. 제1 항에 있어서,
    상기 로봇은 상기 센서 유닛을 둘 이상 구비하고,
    상기 프로세서는 둘 이상의 상기 센서 유닛으로부터 제공되는 복수의 마커 정보를 이용하여 상기 로봇의 상대적인 위치를 추정하는, 로봇.
  5. 제4 항에 있어서,
    상기 프로세서는,
    상기 비젼 카메라부의 좌표를 기준 좌표로 설정하고, 상기 깊이 센서부로부터 획득한 상기 깊이 정보의 좌표 및 상기 마커 추적부로부터 획득한 상기 마커 정보의 좌표를 상기 기준 좌표로 변환하고,
    상기 좌표 변환된 복수의 마커 정보를 이용하여 상기 로봇의 상대적인 위치를 추정하는, 로봇.
  6. 제5 항에 있어서,
    상기 프로세서는,
    상기 로봇을 움직이면서 상기 센서 유닛이 상기 마커 정보를 획득하도록 상기 구동부를 제어하며, 상기 로봇의 움직임에 따라 변화되는 상기 마커 정보를 수집하여 상기 로봇의 상대적인 위치를 추정하는, 로봇.
  7. 제4 항에 있어서,
    상기 프로세서는,
    초기 지도 정보가 저장되며, 상기 초기 지도 정보를 이용하여 상기 로봇의 맵 데이터를 생성하며, 상기 센서 유닛으로부터 상기 마커 정보가 제공되지 않는 경우, 상기 맵 데이터에 기초하여 상기 로봇의 움직임을 제어하고, 상기 센서 유닛으로부터 상기 마커 정보가 제공되는 경우, 상기 마커 정보를 이용하여 상기 로봇의 위치 데이터를 생성하고, 상기 로봇의 위치 데이터에 기초하여 상기 로봇의 움직임을 제어하는, 로봇.
  8. 제7 항에 있어서,
    상기 프로세서는,
    상기 마커 정보를 이용하여 상기 로봇의 위치 데이터가 갱신되면, 상기 갱신된 위치 데이터를 이용하여 상기 맵 데이터를 갱신하는, 로봇.
  9. 제4 항에 있어서,
    상기 센서 유닛은 상기 둘 이상 구비되는 경우, 상기 센서 유닛 중 하나는 상기 로봇의 정주행 방향을 향하는 상기 본체 유닛의 외부에 배치되고, 상기 센서 유닛 중 나머지는 상기 하나와 다른 방향을 향하는 상기 본체 유닛의 외부에 배치되는, 로봇.
  10. 저장된 초기 지도 정보를 이용하여 로봇의 맵 데이터를 구성하는 단계;
    비젼 카메라부, 깊이 센서부 및 마커 추적부를 포함하는 센서 유닛으로부터 영상 정보, 깊이 정보 및 마커 정보를 제공받는 단계;
    상기 영상 정보, 상기 깊이 정보 및 상기 마커 정보를 이용하여 마커가 부착된 사물의 위치 정보를 도출하는 단계; 및
    상기 맵 데이터 또는 상기 사물의 위치 정보를 이용하여 상기 로봇의 위치 정보를 추정하는 단계;를 포함하는, 로봇의 위치 추정 방법.
  11. 제10 항에 있어서,
    상기 사물의 위치 정보를 도출하는 단계는,
    상기 비젼 카메라부의 좌표를 기준 좌표로 설정하고, 상기 깊이 센서부로부터 획득한 상기 깊이 정보의 좌표 및 상기 마커 추적부로부터 획득한 상기 마커 정보의 좌표를 상기 기준 좌표로 변환하고,
    상기 로봇의 위치 정보를 추정하는 단계는, 상기 좌표 변환된 마커 정보를 이용하여 상기 로봇의 상대적인 위치를 추정하는, 로봇의 위치 추정 방법.
  12. 제11 항에 있어서,
    상기 사물의 위치 정보를 도출하는 단계에서, 복수의 센서 유닛으로부터 복수의 마커 정보를 제공받도록 상기 로봇의 구동부를 제어하는 단계;를 더 포함하며,
    상기 로봇의 위치 정보를 추정하는 단계는, 상기 로봇의 움직임에 따라 변화되는 상기 마커 정보를 수집하여 상기 로봇의 상대적인 위치를 추정하는, 로봇의 위치 추정 방법.
  13. 제12 항에 있어서,
    상기 센서 유닛으로부터 상기 마커 정보가 제공되지 않는 경우, 상기 맵 데이터에 기초하여 상기 로봇의 움직임을 제어하고, 상기 센서 유닛으로부터 상기 마커 정보가 제공되는 경우, 상기 마커 정보를 이용하여 상기 로봇의 위치 데이터를 생성하고, 상기 로봇의 위치 데이터에 기초하여 상기 로봇의 움직임을 제어하는 단계;를 더 포함하는, 로봇의 위치 추정 방법.
  14. 제13 항에 있어서,
    상기 마커 정보를 이용하여 상기 로봇의 위치 데이터가 갱신되면, 상기 갱신된 위치 데이터를 이용하여 상기 맵 데이터를 갱신하는 단계;를 더 포함하는, 로봇의 위치 추정 방법.
KR1020220154600A 2022-11-17 2022-11-17 로봇 및 로봇의 위치 추정방법 KR20240073270A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220154600A KR20240073270A (ko) 2022-11-17 2022-11-17 로봇 및 로봇의 위치 추정방법
PCT/KR2023/008421 WO2024106661A1 (ko) 2022-11-17 2023-06-19 로봇 및 로봇의 위치 추정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220154600A KR20240073270A (ko) 2022-11-17 2022-11-17 로봇 및 로봇의 위치 추정방법

Publications (1)

Publication Number Publication Date
KR20240073270A true KR20240073270A (ko) 2024-05-27

Family

ID=91085008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220154600A KR20240073270A (ko) 2022-11-17 2022-11-17 로봇 및 로봇의 위치 추정방법

Country Status (2)

Country Link
KR (1) KR20240073270A (ko)
WO (1) WO2024106661A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101439921B1 (ko) * 2012-06-25 2014-09-17 서울대학교산학협력단 비젼 센서 정보와 모션 센서 정보를 융합한 모바일 로봇용 ｓｌａｍ 시스템
JP2015056057A (ja) * 2013-09-12 2015-03-23 トヨタ自動車株式会社 姿勢推定方法及びロボット
KR102350533B1 (ko) * 2017-06-13 2022-01-11 엘지전자 주식회사 비전 정보에 기반한 위치 설정 방법 및 이를 구현하는 로봇
WO2020241934A1 (ko) * 2019-05-30 2020-12-03 엘지전자 주식회사 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2021002511A1 (ko) * 2019-07-03 2021-01-07 엘지전자 주식회사 마커, 마커 추종 모드로 이동하는 방법 및 이를 구현하는 카트로봇

Also Published As

Publication number Publication date
WO2024106661A1 (ko) 2024-05-23

Similar Documents

Publication Publication Date Title
CN110446159B (zh) 一种室内无人机精确定位与自主导航的***及方法
US10427304B2 (en) Robotic charger alignment
US20190121361A1 (en) Method for constructing a map while performing work
US9020301B2 (en) Method and system for three dimensional mapping of an environment
US10197399B2 (en) Method for localizing a robot in a localization plane
CN207488823U (zh) 一种移动电子设备
Heng et al. Real-time photo-realistic 3d mapping for micro aerial vehicles
US10607079B2 (en) Systems and methods for generating three dimensional skeleton representations
Schneider et al. On the accuracy of dense fisheye stereo
KR101319525B1 (ko) 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、***及无人机
JP2022089269A (ja) キャリブレーション装置およびキャリブレーション方法
CN112991440B (zh) 车辆的定位方法和装置、存储介质和电子装置
KR101319526B1 (ko) 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 방법
JP2021193538A (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP2020149186A (ja) 位置姿勢推定装置、学習装置、移動ロボット、位置姿勢推定方法、学習方法
CN206833252U (zh) 一种移动电子设备
Jensen et al. Laser range imaging using mobile robots: From pose estimation to 3d-models
CN113030960A (zh) 一种基于单目视觉slam的车辆定位方法
CN116957360A (zh) 一种基于无人机的空间观测与重建方法及***
JP7266128B2 (ja) ３次元マップ生成方法及びシステム
KR20240073270A (ko) 로봇 및 로봇의 위치 추정방법
CN115836262A (zh) 基于图像的轨迹规划方法和运动控制方法以及使用该些方法的移动机器
Van Toan et al. A Single 2D LiDAR Extrinsic Calibration for Autonomous Mobile Robots
KR20220050386A (ko) 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템