KR102380807B1 - 문답형 공유제어시스템 및 이를 구비한 이동로봇 - Google Patents

Abstract

본 발명은 이동로봇을 제어하기 위한 문답형 공유제어시스템에 관한 것으로서, 일 실시예에 따른 문답형 공유제어시스템은 센서로부터 수신한 장애물 위치 정보에 기초하여 충돌회피경로들을 계산하고, 상기 충돌회피경로들을 분류 및 병합하여 주행환경 토폴로지를 생성하도록 구성되는 상황인지부; 새롭게 생성되거나 갱신된 주행환경 토폴로지를 저장하고, 가장 최근에 갱신된 주행환경 토폴로지를 공유제어부에 제공하도록 구성되는 저장부; 및 상기 주행환경 토폴로지에 기초하여 교차로를 인식하고, 상기 이동로봇이 교차로에 도달하면 사용자에게 이동명령을 요청하며, 입력된 사용자 이동명령에 따라 상기 이동로봇을 제어하도록 구성되는 공유제어부를 포함한다. 실시예에 따르면, 실시간으로 주변환경을 교차로로 인식한 지점에서만 사용자에게 이동명령을 요청하며 이외의 지점에서는 사용자의 명령 없이도 이동로봇이 자동으로 이동하도록 제어함으로써 조작으로 인한 피로도를 최소화시킬 수 있다. 또한 사용자와의 문답을 통해 이동로봇의 제어가 이루어지므로 주변환경에 대한 사전정보가 없는 경우에도 작동이 용이하다.

Description

문답형 공유제어시스템 및 이를 구비한 이동로봇{CATECHETICAL TYPE SHARED CONTROL SYSTEM AND MOBILE ROBOT HAVING THE SAME}

본 발명은 이동로봇을 제어하기 위한 문답형 공유제어시스템 및 이를 구비한 이동로봇에 관한 것으로서, 더욱 상세하게는 주행환경 토폴로지에 기초하여 교차로를 인식하고 사용자와의 문답을 통해 이동경로를 결정하도록 구성된 공유제어시스템을 통해 사전정보가 없는 낯선 환경에서도 용이하게 주행이 가능한 이동로봇에 관한 것이다.

[국가지원 연구개발에 대한 설명]

본 연구는 한국과학기술연구원의 주관 하에 과학기술정보통신부의 정보통신·방송연구개발사업(생각만으로 실생활 기기 및 AR/VR 디바이스를 제어하는 비침습 BCI 통합 뇌인지컴퓨팅 SW 플랫폼 기술 개발사업, 과제고유번호: 1711080929)의 지원에 의하여 이루어진 것이다.

이동로봇(mobile robot)은 주변환경을 감지할 수 있는 센서와 컴퓨터와 같은 처리장치를 구비하여 인간의 조작에 의해 제어가 가능하거나 스스로 상황을 판단하여 주행이 가능한 수송차량 또는 원격로봇을 의미한다. 전기적으로 제어할 수 있는 동력 장치를 구비하여 자동으로 이동이 가능한 전동 휠체어는 이러한 이동로봇의 예시 중 하나이다. 최근 생활수준의 향상 및 노인 인구의 증가에 따라 전동 휠체어 수요가 점차 증가하는 중이다.

초기의 전동 휠체어는 단순히 전기적으로 제어 가능한 바퀴를 이용하여 사용자(탑승자)가 버튼을 조작함으로써 휠체어의 주행과 정지를 결정하는 단순한 형태였다. 그러나 전동 휠체어를 이용하는 대부분의 사용자는 거동이 불편한 환자 또는 노인인 경우가 많기 때문에 이동을 위해서 장치를 지속적으로 조작해야 하는 상황이 피곤하게 느껴질 수 있다.

이러한 상황을 개선하기 위해, 최근에는 컴퓨터 기술과 센서 기술의 발달에 힘입어 다양한 기능들을 구비한 전동 휠체어가 개발되고 있다. 예를 들어, 선행기술에 따르면 건물 내 목적지를 설정하면 해당 목적지까지 이동로봇(전동 휠체어)가 자동으로 이동하는 기술이 제공될 수 있다. 이와 같은 선행기술은 사용자가 이동로봇의 동작을 위해 별도의 조작을 할 필요가 없어 편리하지만, 건물의 내부 지도 정보가 반드시 미리 입력되어야 하므로 사전정보가 부족한 낯선 환경에서는 적용되기 어렵다는 문제점이 있다.

또 다른 선행기술에 따르면, 건물 내부 지도 정보와 같은 사전정보가 없는 상황에서도 이동로봇을 편리하게 조작하기 위해, 로봇의 전방에 부착된 비전 센서를 이용하여 사용자에게 선택지를 제공하고, 사용자가 목적지를 선택하기만 하면 해당 지점까지 이동로봇이 자동으로 이동하는 기술이 제공될 수 있다. 이에 따르면 이동로봇을 정밀하게 움직일 수는 있으나 매 순간마다 사용자에게 선택을 요구하므로 피로감이 크다는 문제가 있다.

PERRIN, Xavier, et al. Learning user habits for semi-autonomous navigation using low throughput interfaces. In: 2011 IEEE International Conference on Systems, Man, and Cybernetics. IEEE, 2011. p. 1-6. ESCOLANO, Carlos; ANTELIS, Javier Mauricio; MINGUEZ, Javier. A telepresence mobile robot controlled with a noninvasive brain-computer interface. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2011, 42.3: 793-804.

본 발명은 상기한 문제점을 해결하기 위해 착안한 것으로서, 사전정보가 전혀 없는 낯선 환경에서도 목적지까지 최소한의 조작을 통해 이동이 가능하며, 사용자의 결정이 필요한 교차로 지점에서만 사용자의 명령을 요구함으로써 조작의 피로도를 최소한으로 낮출 수 있는 공유제어시스템 기반의 이동로봇을 제공하는 것을 목적으로 한다.

본 발명의 목적을 달성하기 위한 바람직한 실시예들이 다음과 같이 제공된다.

일 실시예에 따른 이동로봇을 위한 문답형 공유제어시스템은, 센서로부터 수신한 장애물 위치 정보에 기초하여 충돌회피경로들을 계산하고, 상기 충돌회피경로들을 분류 및 병합하여 주행환경 토폴로지를 생성하도록 구성되는 상황인지부; 새롭게 생성되거나 갱신된 주행환경 토폴로지를 저장하고, 가장 최근에 갱신된 주행환경 토폴로지를 공유제어부에 제공하도록 구성되는 저장부; 및 상기 주행환경 토폴로지에 기초하여 교차로를 인식하고, 상기 이동로봇이 교차로에 도달하면 사용자에게 이동명령을 요청하며, 입력된 사용자 이동명령에 따라 상기 이동로봇을 제어하도록 구성되는 공유제어부를 포함한다.

일 실시예에서, 상기 충돌회피경로들은 상기 이동로봇을 기준으로 상기 사용자의 이동명령에 대응되는 경로인 기준경로들을 포함하며, 상기 상황인지부는 상기 충돌회피경로들을 상기 기준경로들과의 유사도에 따라 분류하고, 분류된 충돌회피경로들을 기준경로에 병합하여 주행환경 토폴로지를 생성할 수 있다.

일 실시예에서, 상기 주행환경 토폴로지는 이동로봇 주변의 공간을 좌표로 나타내는 노드들과 각 노드 간의 이동가능성을 나타내는 엣지들로 이루어진 그래프일 수 있다.

일 실시예에서, 상기 공유제어부는 상기 주행환경 토폴로지를 이용해 상기 이동로봇의 현재위치와 접근중인 노드 및 상기 노드에 연결된 경로의 방향을 확인하도록 구성될 수 있다.

일 실시예에서, 상기 공유제어부는 상기 접근중인 노드에 연결된 경로가 3개 이상인 경우 상기 노드를 교차로로 인식하여 사용자에게 어느 경로로 이동할지에 대한 이동명령을 요청하도록 구성될 수 있다.

일 실시예에서, 상기 상황인지부는 상기 이동로봇이 입력된 사용자 이동명령에 따른 경로로 이동한 후에 주행환경 토폴로지를 갱신하도록 구성될 수 있다.

일 실시예에서, 상기 공유제어부는 상기 접근중인 노드에 연결된 경로가 1개인 경우 상기 노드를 막다른 길로 인식하여 상기 구동부에 상기 이동로봇을 정지시키기 위한 제어신호를 전송하도록 구성될 수 있다.

일 실시예에서, 상기 공유제어부는 상기 이동로봇이 정지한 상태에서 사용자로부터 이동명령이 입력되면 상기 구동부에 상기 이동로봇을 가장 최근에 지나온 노드로 이동시키기 위한 제어신호를 전송하도록 구성될 수 있다.

실시예들에 따른 문답형 공유제어시스템을 구비한 이동로봇은, 주행환경의 장애물을 감지하기 위한 센서부; 사용자에게 이동명령을 요청하기 위한 출력부; 사용자로부터 이동명령을 수신하기 위한 입력부; 및 상기 이동로봇을 이동시키기 위한 구동부를 포함할 수 있다.

일 실시예에서, 상기 이동로봇은 사용자가 직접 탑승 가능하도록 제작된 전동 휠체어, 또는 사용자가 원격으로 제어할 수 있는 무인로봇일 수 있다.

일 실시예에서, 상기 센서부는 신호를 송출하고 장애물에 반사되어 돌아오는 신호를 수신하여 상기 장애물과 이동로봇 간의 거리를 계산할 수 있도록 구성될 수 있다.

일 실시예에서, 상기 구동부는 상기 이동로봇을 전후 방향으로 이동시킬 수 있는 이동유닛과 상기 이동로봇의 방향을 회전시킬 수 있는 방향회전유닛을 포함할 수 있다.

일 실시예에 따른 문답형 공유제어시스템을 이용하여 이동로봇을 제어하는 방법은, 주행환경의 장애물을 감지하는 단계; 상기 장애물을 고려하여 충돌회피경로들을 결정하는 단계; 상기 충돌회피경로들을 분류 및 병합하여 주행환경 토폴로지를 생성하는 단계; 상기 주행환경 토폴로지에 기초하여 교차로를 인식하고, 상기 이동로봇이 교차로에 도달하면 사용자에게 이동명령을 요청하는 단계; 및 입력된 사용자 이동명령에 따라 상기 이동로봇을 이동시키는 단계를 포함한다.

일 실시예에 따른 이동로봇을 제어하는 방법은, 새롭게 생성되거나 갱신된 주행환경 토폴로지를 저장하는 단계를 더 포함할 수 있다.

실시예들에 따른 문답형 공유제어시스템을 이용하여 이동로봇을 제어하는 방법을 수행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 저장매체가 제공될 수 있다.

본 발명의 일 실시예에 따른 이동로봇은 사용자와의 문답을 통해 로봇의 구동을 제어할 수 있는 공유제어시스템을 구비한다. 실시예에 따른 공유제어시스템은 실시간으로 주변환경을 감지하여 주행환경 토폴로지를 생성하며, 교차로로 인식된 지점에서는 사용자에게 이동명령을 요청하여 입력된 명령에 따라 이동로봇을 이동시키고, 이외의 지점에서는 사용자의 명령 없이도 이동로봇이 자동 이동하도록 제어한다. 이와 같이 협력적 공유제어를 통해 사용자의 피로도를 최소화할 수 있다.

실시예에 따르면 사용자와의 문답을 통해 이동로봇의 제어가 이루어지므로 주변환경에 대한 사전정보(건물 내부 지도 등)가 없는 경우에도 작동이 용이하다. 또한, 로봇이 모든 상황을 스스로 판단하여 동작하거나 모든 상황에 대해 사용자가 수동으로 조작해야 하는 선행기술에 비해 목적지에 도달하는데 걸리는 시간이 현저하게 줄어들 수 있다.

도 1은 일 실시예에 따른 문답형 공유제어시스템을 구비한 이동로봇의 구성을 나타내는 블록도이다.
도 2a 내지 2f는 일 실시예에 따른 문답형 공유제어시스템에서 주행환경 토폴로지를 생성하는 과정을 나타낸다.
도 3은 일 실시예에 따른 문답형 공유제어시스템을 구비한 이동로봇의 작동 과정을 나타낸 도면이다.
도 4는 일 실시예에 따른 문답형 공유제어시스템을 이용하여 이동로봇을 제어하는 방법을 나타낸 순서도이다.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

또한, 본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "유닛(unit)", "장치(device)" 또는 "시스템(system)" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 부, 유닛, 장치 또는 시스템은 플랫폼(platform)의 일부 또는 전부를 구성하는 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 애플리케이션(application) 등의 소프트웨어를 지칭하는 것일 수 있다.

이하에서는 첨부 도면들을 참조하여 실시예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시예들에 의해 제한되거나 한정되지 아니한다.

도 1은 일 실시예에 따른 문답형 공유제어시스템을 구비한 이동로봇의 구성을 나타내는 블록도이다.

도 1을 참조하면, 일 실시예에 따른 이동로봇(10)은 주행환경의 장애물을 감지하기 위한 센서부(100), 주행환경 토폴로지에 기초하여 교차로를 인식하고, 이동로봇(10)이 교차로에 도달하면 사용자에게 이동명령을 요청 및 수신하도록 구성되는 문답형 공유제어시스템(200), 사용자에게 이동명령을 요청하기 위한 출력부(300), 사용자로부터 이동명령을 수신하기 위한 입력부(400) 및 공유제어시스템(200)으로부터 사용자의 이동명령에 따른 제어신호를 수신하여 이동로봇(10)을 이동시키기 위한 구동부(500)로 구성될 수 있다.

이동로봇(10)은 주변환경을 감지할 수 있는 센서와 컴퓨터와 같은 처리장치를 구비하여 스스로 상황을 판단하여 주행이 가능하거나 인간의 조작에 의해 제어할 수 있는 수송차량 또는 원격로봇을 의미한다. 예를 들어, 이동로봇(10)은 사용자가 직접 탑승하여 제어할 수 있도록 구성된 전동 휠체어, 또는 사용자가 탑승하지 않고 통신을 통해 원격으로 제어할 수 있는 무인로봇(공항이나 대형 쇼핑몰 등에서 보행자의 길 안내를 돕는 주행로봇 등)일 수 있다. 본 명세서에서 이동로봇(mobile robot)은 센서와 프로세서를 구비하며 전기적인 제어에 의해 이동이 가능한 장치로서 넓게 해석되어야 하며, 특정 형태나 작동 방식으로 한정되지 아니한다.

일 실시예에 따르면, 센서부(100)는 이동로봇(10)의 신호를 송출하고 장애물에 반사되어 돌아오는 신호를 수신하여 상기 장애물과 이동로봇 간의 거리를 계산하는 방식으로 장애물을 감지할 수 있다. 예를 들어, LiDAR와 같이 레이저 펄스를 송출하고 물체에 반사되어 돌아오는 신호를 수신하여 거리를 측정하는 방식으로 주변환경 정보를 시각적으로 구현할 수 있다. 또 다른 실시예에 따르면, 센서부(100)는 RGB-D 카메라를 구비하여 장애물을 촬영하거나, 적외선 카메라를 구비하여 적외선 신호를 이용하여 장애물을 감지할 수 있다.

센서부(100)는 이동로봇의 전방(사용자가 바라보는 방향)에 설치된 하나의 센서로 구성될 수도 있고, 이동로봇의 전후좌우 방향에 설치된 복수개의 센서로 구성될 수도 있다. 또는, 이동로봇의 상단부에 설치되어 360도 회전하면서 전방향을 감지하도록 구성될 수도 있다.

도 2a 및 2b를 참조하면, 센서부(100)는 로봇의 현재위치(N0)를 기준으로 일정 반경(도 2b의 점선으로 표시된 원)에 대해 장애물의 위치를 감지한다. 도 2c는 로봇 시점에서 관측한 장애물을 실선으로 나타낸 것이다.

문답형 공유제어시스템(200)은 기본적으로 센서부(100)가 감지한 정보에 기초하여 이동로봇(10)이 자율적으로 움직이도록 제어하고, 전방에 교차로가 있는 경우 사용자에게 이동명령을 요청하며 입력된 이동명령에 따라 이동로봇(10)의 이동방향을 제어하도록 구성된다. 공유제어(shared control)는 사용자와 자동화된 장치가 함께 시스템을 제어하는 개념이다. 여기서 자동화된 장치는 일반적으로 로봇을 칭하며, 사용자와 로봇은 공통된 목표를 성취하기 위해 협업하게 된다. 유사한 개념으로 반자동화된 시스템(semi-automated system)이 있지만 이는 장치가 사용자의 제어를 보조하는 것에 가까운 반면, 공유제어시스템에서는 사용자와 로봇이 독립적으로 역할을 수행한다.

도 1을 참조하면, 일 실시예에 따른 문답형 공유제어시스템(200)은 상황인지부(210), 저장부(220) 및 공유제어부(230)로 구성될 수 있다.

상황인지부(210)는 센서부(100)로부터 수신한 장애물 위치 정보에 기초하여 충돌회피경로들을 계산하고, 상기 충돌회피경로들을 분류 및 병합하여 주행환경 토폴로지를 생성한다. 실시예에서, 주행환경 토폴로지는 이동로봇 주변의 공간을 좌표로 나타내는 노드(node)들과 각 노드 간의 이동가능성을 나타내는 엣지(edge)들로 이루어진 그래프를 의미한다. 문답형 공유제어시스템(200)은 생성된 주행환경 토폴로지에 기초하여 이동로봇의 현재위치와 접근중인 노드 및 상기 노드에 연결된 경로의 방향을 확인할 수 있다.

도 2d를 참조하면, 상황인지부(210)는 센서부(100)로부터 수신한 장애물 위치 정보(도 2c의 주변환경 정보)에 기초하여 다수의 충돌회피경로들을 계산한다. 충돌회피경로는 이동로봇(10)이 장애물에 부딪히지 않고 진행할 수 있는(현재위치에서 일정 반경 바깥으로 이동할 수 있는) 경로들을 의미한다. 충돌회피경로의 계산에는 A* algorithm, Timed Elastic Band와 같은 기존의 경로계획법들이 적용될 수 있다.

충돌회피경로들은 이동로봇(10)을 기준으로 사용자의 이동명령에 대응되는 경로인 기준경로들을 포함한다. 예를 들어 사용자는 이동로봇에 전후좌우 방향으로 이동하도록 명령할 수 있고, 이 경우 기준경로는 전방경로, 후방경로, 좌측경로, 우측경로이다. 도 2e를 참조하면, 기준경로들은 실선으로 표현되며 나머지 충돌회피경로들은 점선으로 표현된다.

상황인지부(210)는 충돌회피경로들을 상기 기준경로들과의 유사도에 따라 분류하고, 분류된 충돌회피경로들을 기준경로에 병합하여 주행환경 토폴로지를 생성한다. 도 2e에 도시된 바와 같이, 다양한 방향으로의 충돌회피경로들이 존재할 수 있지만, 기준경로(본 실시예에서는 전후좌우 경로)가 아닌 방향으로는 사용자로부터 이동명령을 받을 수 없기 때문에 충돌회피경로들을 기준경로와의 유사도에 따라 각 방향으로 분류하고, 분류된 경로들을 기준경로에 병합한다. 기준경로와 유사도가 낮은 충돌회피경로는 이동명령에 대응하지 않으므로 제거한다. 이와 같이 기준경로를 설정함으로써 장애물이 전혀 없는 공터에서도 사용자가 명령할 수 없는 상황은 발생하지 않는다.

상황인지부(210)는 기준경로에 병합되지 않은(즉, 기준경로와 유사도가 낮은) 충돌회피경로는 제거하고, 병합된 경로에 따라 주행환경 토폴로지를 생성한다. 도 2f를 참조하면, 현재위치를 나타내는 노드(N0)를 기준으로, 전방으로 노드(N1, N2)가 생성되고, 우측으로는 노드(N3)가 생성되며, 후방으로는 노드(N4)가 생성된다. 좌측에는 벽이 있기 때문에 좌측 방향으로의 충돌회피경로는 생성되지 않고, 더 전진하여 좌측으로 돌아가는 경로는 전방 기준경로와 유사도가 높기 때문에 전방 노드에 병합된다. 각각의 노드를 연결하는 선인 엣지는 노드간의 이동 가능성을 나타낸다. 도 2f에 도시된 것처럼, 이동로봇은 현재위치(N0)에서 노드(N1 또는 N4)로 이동할 수 있으며, 노드(N1)에 도달한 이후에는 노드(N2 또는 N3)로 이동할 수 있음을 의미한다. 즉, 이동로봇은 현재위치에서 교차로에 인접하여 직진, 우회전, 또는 후진이 가능하다.

이렇게 생성된 주행환경 토폴로지는 저장부(220)에 저장된다. 저장부(220)는 주행환경 토폴로지 데이터를 기록하거나 다른 구성요소에 제공하기 위한 저장장치를 의미하며, 새롭게 생성되거나 갱신된 주행환경 토폴로지는 데이터베이스(database) 형태로 저장될 수 있다.

공유제어부(230)는 생성된 주행환경 토폴로지에 기초하여 교차로를 인식하고, 상기 이동로봇이 교차로에 도달하면 사용자에게 이동명령을 요청한다. 일 실시예에서, 공유제어부(230)는 접근중인 노드에 연결된 경로가 3개 이상인 경우 상기 노드를 교차로로 인식하여 사용자에게 어느 경로로 이동할지에 대한 이동명령을 요청한다. 예를 들어, 도 2f에 도시된 것처럼 이동로봇이 현재위치 노드(N0)에 위치하고 노드(N1) 방향으로 이동 중인 경우, 접근하는 노드(N0)에 연결된 경로가 3개이므로(즉, N0, N2, N3 방향으로 연결된 경로) 교차로에 해당한다고 판단할 수 있다.

교차로가 아닌 경우에는 이동로봇이 기준경로를 따라 자동으로 이동하도록 제어하지만, 교차로인 경우에는 사용자가 어느 방향으로 이동할지 결정해야 하므로 출력부(300)를 통해 이동명령을 요청한다. 출력부(300)는 이동명령을 요청하는 프롬프트(prompt)를 출력하기 위한 구성요소로서, 예를 들어 스피커를 통해 "이동방향을 입력해주세요"와 같은 음성메시지를 출력하거나 디스플레이를 통해 "이동방향을 입력해주세요"와 같은 문자메시지를 출력할 수 있다.

사용자는 입력부(400)를 통해 교차로에서 어느 방향으로 이동할지에 관한 명령을 입력한다. 예를 들어, 설치된 마이크를 통해 "왼쪽 방향으로 이동해" 혹은 "계속해서 직진해"와 같은 음성명령을 입력하거나, 설치된 키보드 또는 조작 버튼을 통해 왼쪽 방향이나 직진 방향으로 이동할 것을 명령할 수 있다.

또 다른 실시예에서, 입력부(400)는 사용자의 머리에 부착된 전극을 통해 뇌파 신호를 감지하고, 특정 주파수 및 세기를 갖는 뇌파에 대응하는 신호를 프로세서에 전송하도록 구성되는 BCI(Brain-Computer Interface) 장치를 구비할 수 있다. 각 뇌파에 대응하는 신호와 이동로봇(10)의 제어신호의 매칭 정보가 저장부(220)에 미리 저장되어 있을 수 있다.

공유제어부(230)는 입력된 사용자 이동명령에 따라 이동로봇(10)을 제어한다. 구체적으로는, 이동로봇을 이동시키기 위한 구동부(500)에 사용자 이동명령에 대응하는 제어신호를 전송하여 이동로봇이 해당 명령에 따라 이동하도록 제어한다. 구동부(500)는 이동로봇(10)을 전후 방향으로 이동시킬 수 있는 이동유닛과 상기 이동로봇의 방향을 회전시킬 수 있는 방향회전유닛으로 구성될 수 있다. 예를 들어, 이동유닛은 바퀴이며 방향회전유닛은 바퀴의 축을 회전시킬 수 있는 조향장치일 수 있으나 이는 예시일 뿐이며 특정한 형태나 구성으로 한정되는 것은 아니다. 예시에 따르면, 사용자로부터 왼쪽 방향으로 이동하라는 이동명령이 입력된 경우, 공유제어부(230)는 이동로봇의 조향장치를 제어하여 로봇이 왼쪽을 향하게 한 후 바퀴를 구동시켜 로봇을 주행시킬 수 있다.

이동로봇(10)이 말단 노드에 도달하면 상황인지부(210)는 주행환경 토폴로지를 갱신하여 저장부(220)에 저장한다. 다시 말해, 이동하면서 실시간으로 지도 정보를 생성할 수 있다. 따라서 사용자가 목적지에 도착한 후에 용무를 마치고 다시 출발지점으로 되돌아가고자 하는 경우, 또는 이전 교차로로 되돌아가고자 하는 경우 다시 교차로 선택 과정을 반복할 필요 없이 저장된 주행환경 토폴로지에 기초하여 원하는 지점으로 바로 이동하는 것이 가능하다.

도 3은 일 실시예에 따른 문답형 공유제어시스템을 구비한 이동로봇의 작동 과정을 나타낸 도면이다.

먼저, 이동로봇은 출발 지점에서 출발하여 기준경로를 따라 전진한다. 이 때는 사용자가 이동방향을 결정할 필요가 없으므로 이동명령을 요청하지 않는다. 지점 ①은 처음 도달하는 교차로로서, 사용자가 왼쪽으로 이동할지, 또는 전후방향으로 이동할지 결정해야 한다. 공유제어부(230)는 출력부(300)를 통해 사용자에게 이동명령을 요청한다(예를 들어, 음성메시지 또는 문자메시지를 통해). 사용자가 입력부(400)를 통해 좌측으로 이동할 것을 명령하면(예를 들어, 음성 명령, 버튼 조작, 뇌파 검출 등을 통해) 공유제어부(230)는 구동부(500)를 제어하여 이동로봇을 좌측으로 이동시킨다.

도시된 것처럼, 지점 ②는 교차로가 아니므로 사용자의 명령이 불필요하다. 따라서 기준경로를 따라 전진을 계속한다. 지점 ③에 도달하면 공유제어부(230)는 교차로를 인식하고 사용자에게 이동명령을 요청한다. 이동명령이 입력되면 이에 대응하여 이동로봇(10)을 이동시킨다. 교차로에 해당하는 지점 ④와 지점 ⑤에 대해서도 같은 작업을 반복하면서 주행환경 토폴로지를 지속적으로 업데이트한다. 이와 같은 방식으로 교차로가 아닌 지점에서는 기준경로를 따라 전진하고 교차로를 인식하면 사용자와 간단한 문답을 통해 진행하므로 지역의 사전정보가 없는 경우에도 작동이 용이하며 연산으로 인한 시간 지연을 최소화할 수 있다.

일 실시예에서, 공유제어부(230)는 접근중인 노드에 연결된 경로가 1개인 경우 상기 노드를 막다른 길로 인식하여 이동로봇(10)을 정지시킨다(구체적으로, 구동부(500)를 정지시키기 위한 제어신호를 전송한다). 도 3을 참조하면, 지점 ⑤에서 좌회전을 하면 목적지에 도달하게 된다. 센서부(100)가 장애물을 감지한 결과 전진이나 좌측/우측 방향 이동이 불가능한 경우, 상황인지부(210)는 후방 경로 1개가 연결된 노드로 구성된 주행환경 토폴로지를 생성하고, 공유제어부(230)는 이 지점을 막다른 길로 인식하게 된다. 실시예에 따르면, 막다른 길에 도달한 경우 사용자가 이 위치에서 용무가 있는 것으로 해석하여 이동로봇을 정지시킬 수 있다. 다만 이러한 동작은 예시일 뿐이므로 막다른 길에 도달할 경우 이동로봇이 마지막 교차로 노드로 자동 이동하게 하는 등 목적과 상황에 맞게 로봇의 행동을 설정할 수 있다.

일 실시예에서, 공유제어부(230)는 상기 이동로봇이 정지한 상태에서 사용자로부터 이동명령이 입력되면 상기 구동부에 상기 이동로봇을 가장 최근에 지나온 노드로 이동시킬 수 있다(구체적으로는 구동부(500)에 해당 명령을 수행하기 위한 제어신호를 전송한다). 연결된 노드가 1개밖에 없는 막다른 지점에서는 이동 가능한 방향이 후방으로 정해져 있으므로, 사용자로부터 이동방향에 대한 명령이 아닌 단순 이동명령(예를 들어, "돌아가자", "이동하자" 등)이 입력되면 가장 최근에 지나온 교차로 지점으로 돌아갈 수 있다. 이 때 가장 최근에 갱신된 주행환경 토폴로지를 저장부(220)로부터 읽어 들일 수 있다.

이와 같이, 실시예에 따른 공유제어시스템은 실시간으로 주변환경을 감지하여. 교차로로 인식한 지점에서만 사용자에게 이동명령을 요청하며 이외의 지점에서는 사용자의 명령 없이도 이동로봇이 자동으로 이동하도록 제어함으로써 조작으로 인한 피로도를 최소화시킬 수 있다. 또한 사용자와의 문답을 통해 이동로봇의 제어가 이루어지므로 주변환경에 대한 사전정보가 없는 경우에도 작동이 용이하다.

도 4는 일 실시예에 따른 문답형 공유제어시스템을 이용하여 이동로봇을 제어하는 방법을 나타낸 순서도이다.

실시예에 따르면, 먼저 주행환경의 장애물을 감지하는 단계가 수행된다(S10). 단계(S10)에서 이동로봇은 RGB-D 카메라, 적외선 카메라, LiDAR 등의 센서를 구비하여 주변 장애물을 인식할 수 있다.

이어서, 장애물을 고려하여 충돌회피경로들을 결정하는 단계가 수행된다(S20). 충돌회피경로는 이동로봇이 장애물과 충돌하지 않고 주행할 수 있는 가상의 경로를 의미한다. 이러한 충돌회피경로의 결정에는 기존의 A* algorithm와 같은 경로계획법이 활용될 수 있다.

이어서, 충돌회피경로들을 분류 및 병합하여 주행환경 토폴로지를 생성하는 단계가 수행된다(S30). 실시예에 따른 문답형 공유제어시스템은 충돌회피경로들을 상기 기준경로들과의 유사도에 따라 분류하고, 분류된 충돌회피경로들을 기준경로에 병합하여 주행환경 토폴로지를 생성한다. 기준경로와 유사도가 낮은 충돌회피경로는 이동명령에 대응하지 않는 방향이므로 데이터를 제거한다. 이와 같이 기준경로를 설정함으로써 장애물이 전혀 없는 공터에서도 사용자가 명령할 수 없는 상황은 발생하지 않는다.

이어서, 주행환경 토폴로지에 기초하여 교차로를 인식하고, 이동로봇이 교차로에 도달하면 사용자에게 이동명령을 요청하는 단계가 수행된다(S40). 문답형 공유제어시스템은 주행환경 토폴로지에 기반하여 접근중인 노드에 연결된 경로가 3개 이상인 경우 상기 노드를 교차로로 인식한다. 이 경우 로봇의 이동방향에 대한 사용자의 명령이 요구되므로 디스플레이, 음성스피커 등을 통해 명령을 요청한다.

요청에 따라 사용자가 이동명령을 입력하면, 명령에 따라 이동로봇을 이동시키는 단계가 수행된다(S50). 사용자는 로봇에 설치된 마이크를 통해 음성명령을 입력하거나, 설치된 키보드나 조작 버튼을 통해 이동을 명령하거나, BCI 장치의 뇌파 검출을 통해 제어명령을 입력할 수 있다.

추가적인 실시예에서, 새롭게 생성되거나 갱신된 주행환경 토폴로지를 저장하는 단계가 더 수행될 수 있다(S60). 단계(S60)에서 메모리 등의 저장장치에 저장된 주행환경 토폴로지는 로봇이 막다른 길에 도달했을 때 혹은 사용자의 명령에 따라 이전의 교차로 지점(노드)으로 되돌아가는데 사용될 수 있다.

실시예에 따른 문답형 공유제어시스템을 이용하여 이동로봇을 제어하는 방법은, 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다.

이상에서 설명한 이동로봇을 위한 문답형 공유제어시스템 및 이를 구비한 이동로봇에 의하면, 실시간으로 주변환경을 감지하여 주행환경 토폴로지를 생성하며, 교차로로 인식한 지점에서는 사용자에게 이동명령을 요청하여 입력된 명령에 따라 이동로봇을 이동시키고, 이외의 지점에서는 사용자의 명령 없이도 이동로봇이 자동 이동하도록 제어함으로써 조작으로 인한 피로도를 최소화시킬 수 있다.

실시예에 따르면 사용자와의 문답을 통해 이동로봇의 제어가 이루어지므로 주변환경에 대한 사전정보(건물 내부 지도 등)가 없는 경우에도 작동이 용이하다. 또한, 로봇이 모든 상황을 스스로 판단하여 동작하거나 모든 상황에 대해 사용자가 수동으로 조작해야 하는 선행기술에 비해 목적지에 도달하는데 걸리는 시간이 현저하게 줄어들 수 있다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10: 이동로봇
100: 센서부
200: 문답형 공유제어시스템
210: 상황인지부
220: 저장부
230: 공유제어부
300: 출력부
400: 입력부
500: 구동부
N0 내지 N4: 노드

Claims (15)

1. 이동로봇을 위한 문답형 공유제어시스템으로서,
   센서로부터 수신한 장애물 위치 정보에 기초하여 충돌회피경로들을 계산하고, 상기 충돌회피경로들을 분류 및 병합하여 주행환경 토폴로지를 생성하도록 구성되는 상황인지부;
   새롭게 생성되거나 갱신된 주행환경 토폴로지를 저장하고, 가장 최근에 갱신된 주행환경 토폴로지를 공유제어부에 제공하도록 구성되는 저장부; 및
   상기 주행환경 토폴로지에 기초하여 교차로를 인식하고, 상기 이동로봇이 교차로에 도달하면 사용자에게 이동명령을 요청하며, 입력된 사용자 이동명령에 따라 상기 이동로봇을 제어하도록 구성되는 공유제어부를 포함하며,
   상기 충돌회피경로들은 상기 이동로봇을 기준으로 상기 사용자의 이동명령에 대응되는 경로인 기준경로들을 포함하며,
   상기 상황인지부는 상기 충돌회피경로들을 상기 기준경로들과의 유사도에 따라 분류하고, 분류된 충돌회피경로들을 기준경로에 병합하여 주행환경 토폴로지를 생성하는 것을 특징으로 하는, 이동로봇을 위한 문답형 공유제어시스템.
   
2. 삭제
3. 제1항에 있어서,
   상기 주행환경 토폴로지는 이동로봇 주변의 공간을 좌표로 나타내는 노드들과 각 노드 간의 이동가능성을 나타내는 엣지들로 이루어진 그래프인 것을 특징으로 하는, 이동로봇을 위한 문답형 공유제어시스템.
   
4. 제3항에 있어서,
   상기 공유제어부는 상기 주행환경 토폴로지를 이용해 상기 이동로봇의 현재위치와 접근중인 노드 및 상기 노드에 연결된 경로의 방향을 확인하도록 구성되는 것을 특징으로 하는, 이동로봇을 위한 문답형 공유제어시스템.
   
5. 제4항에 있어서,
   상기 공유제어부는 상기 접근중인 노드에 연결된 경로가 3개 이상인 경우 상기 노드를 교차로로 인식하여 사용자에게 어느 경로로 이동할지에 대한 이동명령을 요청하도록 구성되는 것을 특징으로 하는, 이동로봇을 위한 문답형 공유제어시스템.
   
6. 제5항에 있어서,
   상기 상황인지부는 상기 이동로봇이 입력된 사용자 이동명령에 따른 경로로 이동한 후에 주행환경 토폴로지를 갱신하도록 구성되는 것을 특징으로 하는, 이동로봇을 위한 문답형 공유제어시스템.
   
7. 제4항에 있어서,
   상기 공유제어부는 상기 접근중인 노드에 연결된 경로가 1개인 경우 상기 노드를 막다른 길로 인식하여 상기 이동로봇을 정지시키기 위한 제어신호를 생성하도록 구성되는 것을 특징으로 하는, 이동로봇을 위한 문답형 공유제어시스템.
   
8. 제7항에 있어서,
   상기 공유제어부는 상기 이동로봇이 정지한 상태에서 사용자로부터 이동명령이 입력되면 상기 이동로봇을 가장 최근에 지나온 노드로 이동시키기 위한 제어신호를 생성하도록 구성되는 것을 특징으로 하는, 이동로봇을 위한 문답형 공유제어시스템.
   
9. 제1항, 제3항 내지 제8항 중 어느 한 항에 따른 문답형 공유제어시스템을 구비한 이동로봇으로서,
   주행환경의 장애물을 감지하기 위한 센서부;
   사용자에게 이동명령을 요청하기 위한 출력부;
   사용자로부터 이동명령을 수신하기 위한 입력부; 및
   상기 이동로봇을 이동시키기 위한 구동부를 포함하는 것을 특징으로 하는, 문답형 공유제어시스템을 구비한 이동로봇.
   
10. 제9항에 있어서,
    상기 이동로봇은 사용자가 직접 탑승 가능하도록 제작된 전동 휠체어, 또는 사용자가 원격으로 제어할 수 있는 무인로봇인 것을 특징으로 하는, 문답형 공유제어시스템을 구비한 이동로봇.
    
11. 제9항에 있어서,
    상기 센서부는 신호를 송출하고 장애물에 반사되어 돌아오는 신호를 수신하여 상기 장애물과 이동로봇 간의 거리를 계산할 수 있도록 구성되는 것을 특징으로 하는, 문답형 공유제어시스템을 구비한 이동로봇.
    
12. 제9항에 있어서,
    상기 구동부는 상기 이동로봇을 전후 방향으로 이동시킬 수 있는 이동유닛과 상기 이동로봇의 방향을 회전시킬 수 있는 방향회전유닛을 포함하는 것을 특징으로 하는, 문답형 공유제어시스템을 구비한 이동로봇.
    
13. 문답형 공유제어시스템을 이용하여 이동로봇을 제어하는 방법으로서,
    주행환경의 장애물을 감지하는 단계;
    상기 장애물을 고려하여 충돌회피경로들을 결정하는 단계;
    상기 충돌회피경로들을 분류 및 병합하여 주행환경 토폴로지를 생성하는 단계;
    상기 주행환경 토폴로지에 기초하여 교차로를 인식하고, 상기 이동로봇이 교차로에 도달하면 사용자에게 이동명령을 요청하는 단계; 및
    입력된 사용자 이동명령에 따라 상기 이동로봇을 이동시키는 단계를 포함하며,
    상기 충돌회피경로들은 상기 이동로봇을 기준으로 상기 사용자의 이동명령에 대응되는 경로인 기준경로들을 포함하며,
    상기 충돌회피경로들을 분류 및 병합하여 주행환경 토폴로지를 생성하는 단계는 상기 충돌회피경로들을 상기 기준경로들과의 유사도에 따라 분류하고, 분류된 충돌회피경로들을 기준경로에 병합하여 주행환경 토폴로지를 생성하는 것을 특징으로 하는, 문답형 공유제어시스템을 이용하여 이동로봇을 제어하는 방법.
    
14. 제13항에 있어서,
    새롭게 생성되거나 갱신된 주행환경 토폴로지를 저장하는 단계를 더 포함하는 것을 특징으로 하는. 문답형 공유제어시스템을 이용하여 이동로봇을 제어하는 방법.
    
15. 제13항 또는 제14항에 따른 문답형 공유제어시스템을 이용하여 이동로봇을 제어하는 방법을 수행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 저장매체.

Images