KR101408657B1

KR101408657B1 - 원격 제어 로봇 시스템의 사용자 인터페이스 장치 및 방법

Info

Publication number: KR101408657B1
Application number: KR1020070133260A
Authority: KR
Inventors: 홍순혁; 김기오; 박종호; 박지현; 백승현
Original assignee: 삼성전자주식회사
Priority date: 2007-12-18
Filing date: 2007-12-18
Publication date: 2014-06-17
Also published as: US9757861B2; US20090157228A1; KR20090065774A; US20150209962A1; US9002520B2

Abstract

본 발명은 원격 제어 로봇 시스템의 사용자 인터페이스 장치 및 방법에 관한 것이다. 특히 본 발명의 사용자 인터페이스 장치는 원격 제어 로봇으로부터 카메라 및 거리를 감지하기 위한 적어도 하나의 센서 데이터를 수신하는 무선 통신부, 주화면과 적어도 하나의 보조화면을 구비하는 표시부 및 상기 수신한 카메라 데이터가 정상 조건인지를 판단하는 환경 추론 모듈과 판단 결과에 따라 카메라 데이터가 정상 조건이면 상기 카메라 데이터를 상기 주화면에 표시하는 화면표시방식 변경모듈을 구비하는 제어부를 포함할 수 있다. 또한 본 발명의 사용자 인터페이스 방법은 원격 제어 로봇으로부터 카메라 및 거리를 감지하기 위한 적어도 하나의 센서 데이터를 수신하는 단계, 상기 수신한 카메라 데이터가 정상 조건인지 판단하는 단계, 상기 수신한 카메라 데이터가 정상 조건이면 상기 카메라 데이터를 상기 주화면에 표시하는 단계 및 상기 수신한 카메라 데이터가 비정상 조건이면 상기 센서 데이터를 상기 주화면에 표시하는 단계를 포함할 수 있다.

카메라, 적외선 센서, 초음파 센서, 주화면, 보조화면

Description

원격 제어 로봇 시스템의 사용자 인터페이스 장치 및 방법{Apparatus and method for user interface of remote control system for Robot}

본 발명은 원격 제어 로봇 시스템에서의 사용자 인터페이스 장치 및 방법에 관한 것이다. 특히 본 발명의 사용자 인터페이스는 원격 제어 로봇에서 획득한 원격지 환경 정보를 수신하여 주변 환경의 특징을 파악하고, 작업 환경에 가장 적합한 센서를 이용한 원격지 환경 정보를 표시부의 주화면으로 표시할 수 있다.

최근 홈 네트워크와 지능형 로봇을 연계한 서비스 제공을 위한 새로운 패러다임의 필요성이 대두되면서, 다양한 서비스를 제공하기 위한 지능형 로봇에 대한 연구가 활발히 이루어지고 있다.

특히, 유무선 통신 기술의 발달로 인해 센서 네트워크를 구축할 수 있는 인프라가 이동통신 및 인터넷의 보급과 함께 급속하게 확산되면서 통신 기능을 탑재할 뿐만 아니라 독립적으로 운영될 수 있으며, 언제 어디서든지 서비스를 제공할 수 있는 지능형 유비쿼터스 로봇들이 출시되고 있다. 또한 외형적으로는 로봇의 모습을 갖추고 있지 않지만, 사람들에게 다양한 정보와 서비스를 제공할 수 있는 새로운 형태의 내장형 유비쿼터스 로봇들이 소개되면서 생활공간 속에 퍼져있는 지능 형 로봇에 대한 관심도 증가하고 있다.

그런데, 사용자가 원격지에서 가정에 있는 로봇을 제어하는 경우, 로봇에 장착된 센서 군으로부터 획득한 원격지 환경 정보를 디스플레이 장치에 표시하고, 사용자가 직접 각각의 센서 데이터를 확인하며 로봇 주행 및 작업 환경을 파악한 후, 로봇제어 모듈을 통해 다수의 로봇 군을 제어하는 불편함이 있다. 또한 제어할 로봇의 개수가 증가함에 따라 사용자가 파악해야 할 센서 데이터의 양은 급격히 증가하는 문제가 있어 원격지에서의 로봇 제어가 효율적이지 못하다.

따라서 로봇에서 사용되는 센서를 이용하여 로봇의 작업환경을 인지하고, 작업환경에 필요한 정보를 부각시켜 사용자에게 전달함으로써 사용자가 로봇을 직관적이며 효율적으로 제어할 수 있는 사용자 인터페이스에 대한 필요성이 대두된다.

본 발명은 원격 제어 로봇이 획득하여 전송하는 원격지 환경 정보를 수신하여, 작업 환경에 가장 적합한 환경 정보를 추출하고 이를 표시부의 주화면으로 표시하는 단말기를 제공함에 그 목적이 있다. 또한 본 발명은 주화면에 표시되지 않는 원격지 환경 정보는 표시부의 제1 보조화면 및 제2 보조화면에 표시하는 단말기를 제공함에 그 목적이 있다. 본 발명의 또 다른 목적은 초음파 센서 데이터를 주화면에 표시하고 있는 도중, 적외선 센서에 의해 이동하는 장애물이 감지되면 적외선 센서 데이터를 주화면에 표시하는 단말기를 제공함에 있다.

위와 같은 목적을 해결하기 위한 본 발명의 사용자 인터페이스 장치는 외부기기로부터 카메라 및 거리를 감지하기 위한 적어도 하나의 센서 데이터를 수신하는 무선 통신부, 주화면과 적어도 하나의 보조화면을 구비하는 표시부 및 상기 수신한 카메라 데이터가 정상 조건인지를 판단하는 환경 추론 모듈과 판단 결과에 따라 카메라 데이터가 정상 조건이면 상기 카메라 데이터를 상기 주화면에 표시하는 화면표시방식 변경모듈을 구비하는 제어부를 포함할 수 있다. 그리고 상기 외부 기기는 카메라, 거리를 감지하기 위한 적어도 하나의 센서를 포함하는 센서부, 상기 카메라 및 센서부로부터 데이터를 획득하는 데이터 획득 모듈 및 상기 데이터 획득 모듈이 획득한 데이터를 상기 사용자 인터페이스 장치로 전송하는 무선 통신부를 포함하는 원격 제어 로봇일 수 있다.

또한 위와 같은 목적을 해결하기 위한 본 발명의 사용자 인터페이스 방법은 원격 제어 로봇으로부터 카메라 및 거리를 감지하기 위한 적어도 하나의 센서 데이터를 수신하는 단계, 상기 수신한 카메라 데이터가 정상 조건인지 판단하는 단계, 상기 수신한 카메라 데이터가 정상 조건이면 상기 카메라 데이터를 상기 주화면에 표시하는 단계 및 상기 수신한 카메라 데이터가 비정상 조건이면 상기 센서 데이터를 상기 주화면에 표시하는 단계를 포함할 수 있다.

본 발명의 원격 제어 로봇 시스템의 사용자 인터페이스는 로봇에 장착된 센서 군으로부터 원격지 환경 정보를 획득하여 작업 환경에 가장 적합한 센서를 이용한 원격지 환경 정보를 디스플레이 장치에 표시할 수 있다. 이에 따라 원격지에 있는 사용자는 직접 각각의 센서 데이터를 확인할 필요 없이, 상기 디스플레이 장치에 주 화면으로 표시된 로봇 주변의 작업 환경을 이용하여 직관적이고 편리하게 원격지에 있는 로봇을 제어할 수 있다.

본 발명의 실시예에 따른 단말기는 개인용 컴퓨터(Personal Computer, PC), 노트북 컴퓨터(Notebook Computer), UMPC(Ultra Mobile Personal Computer) 뿐만 아니라, 개인 정보 단말기(Personal Digital Assistant; PDA), 스마트 폰(Smart Phone), IMT-2000(International Mobile Telecommunication 2000) 단말기, UMTS 등의 휴대 단말기를 포함할 수 있다.

본 발명의 원격지 환경 정보는 원격 제어 로봇이 카메라, 초음파 센서, 적외 선 센서 등을 이용하여 획득한 원격 제어 로봇 주변의 카메라 데이터, 초음파 센서 데이터, 적외선 센서 데이터 등을 포함할 수 있다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.

도 1은 본 발명의 실시예에 따른 사용자가 원격지에서 제어할 수 있는 원격 제어 로봇(100)을 나타내는 도면이다.

본 발명의 실시예에 따른 원격 제어 로봇(100)은 자체적으로 카메라 및 센서부를 구비해 주변 환경을 인식할 수 있고, 원격지에 있는 사용자의 명령에 따라 움직이며 청소 등의 집안일을 할 수 있을 뿐만 아니라, 가정용 보안 서비스를 제공할 수도 있다. 특히, 상기 센서부는 로봇의 작업 환경을 인지할 수 있는 모든 센서를 포함할 수 있다. 본 발명의 실시예에서 상기 센서부는 초음파 센서(120), 적외선 센서(130)를 포함할 수 있다. 카메라(110)는 주변의 영상 데이터를 획득하는데 사용될 수 있다. 그리고 초음파 센서(120)는 카메라의 영상 데이터만으로는 주변 환경을 인식하는데 부적합하다고 판단될 때, 초음파 센서 데이터를 획득하는데 사용될 수 있다. 또한 적외선 센서(130)는 카메라의 영상 데이터만으로 주변 환경을 인식하는데 부적합하여 초음파 센서 데이터를 이용하는 상황에서, 초음파 센서로 감지할 수 없는 근거리에서 장애물을 감지하기 위해서 사용될 수 있다. 상기 적외선 센서는 초음파 센서보다 측정거리 오차가 적으며, 초음파 센서가 감지하지 못하는 단거리에 있는 장애물도 감지할 수 있는 특징이 있다. 본 발명의 실시예에 따른 원 격 제어 로봇(100)은 상기 카메라(110), 초음파 센서(120), 적외선 센서(130)에서 획득한 데이터를 무선 통신망을 이용하여 원격지에 있는 사용자의 단말기로 전송할 수 있다.

도 2는 사용자가 원격지에 있는 원격 제어 로봇(100)에서 획득한 원격지 환경 정보를 수신하고, 작업 환경에 가장 적합한 원격지 환경 정보를 주화면으로 표시할 수 있는 단말기(200)를 나타내는 도면이다.

본 발명의 실시예에 따른 단말기(200)는 원격 제어 로봇(100)에서 카메라(110), 초음파 센서(120), 적외선 센서(130)로부터 획득하고 전송하는 원격지 환경정보를 무선 통신망을 이용하여 수신할 수 있다. 또한 상기 단말기(200)는 상기 원격지 환경 정보 중, 작업 환경에 가장 적합한 원격지 환경 정보를 표시부의 주화면(210)으로 표시할 수 있다. 그리고 상기 주화면(210)에 표시 되지 않는 원격지 환경 정보는 표시부의 제1 보조화면(220) 및 제2 보조화면(230)에 표시할 수 있다. 그러면 무선 통신망을 통해 원격 제어 로봇(100)과 접속된 원격지의 사용자는 표시부의 주화면(210)에 표시된 원격지 환경 정보를 이용하여 상기 원격 제어 로봇(100)을 제어할 수 있다.

구체적인 예를 들어 설명하면, 단말기(200)가 원격지 환경 정보를 수신한 후, 카메라(110)로부터 획득된 카메라 데이터가 정상 조건이라고 판단한 경우에는 카메라 데이터를 주화면(210)에 표시한다. 그리고 상기 단말기(200)는 초음파 센서 데이터는 제1 보조화면(220)에, 적외선 센서 데이터는 제2 보조화면(230)에 표시할 수 있다(그 반대도 가능하다). 그리고 작업 도중에 작업 환경이 너무 밝거나 또는 너무 어두워져 카메라 데이터가 비정상 조건이라고 판단되면, 상기 단말기(200)는 초음파 센서 데이터를 주화면(210)에 표시한다. 그리고 상기 단말기(200)는 카메라 데이터는 제1 보조화면(220)에, 적외선 센서 데이터는 제2 보조화면(230)에 표시할 수 있다(그 반대도 가능하다). 또한, 초음파 센서 데이터가 주화면(210)에 표시되고 있는 경우 초음파 센서(120)가 감지할 수 없는 원격 제어 로봇(100) 근방에 장애물이 갑자기 나타난 경우, 상기 단말기(200)는 적외선 센서(130)로부터 획득되는 적외선 센서 데이터를 주화면(210)에 표시한다. 그리고 상기 단말기(200)는 카메라 센서 데이터는 제1 보조화면(220)에, 초음파 센서 데이터는 제2 보조화면(230)에 표시할 수 있다(그 반대도 가능하다).

도 3은 사용자가 본 발명의 실시예에 따른 원격 제어 로봇(100)을 사용자가 단말기(200)를 이용하여 원격에서 제어하는 것을 나타내는 예시도이다.

사용자는 원격 제어 로봇(100)과 무선 통신망를 통하여 접속 가능한 단말기(200)를 이용하여 원격지에서 상기 원격 제어 로봇(100)을 제어할 수 있다. 사용자가 원격지에서 상기 원격 제어 로봇(100)을 제어하여 원하는 작업을 수행하기 위해 선행되어야 하는 것은 상기 원격 제어 로봇(100)을 원하는 목적지(310)까지 안전하게 이동시키는 것이다. 이하 구체적인 예를 들어 설명하기로 한다.

사용자가 원격 제어 로봇(100)을 도 3에 도시된 장소에서 원하는 목적지(310)까지 이동시키기 위해서는 원격 제어 로봇 주변의 고정된 장애물(320, 330) 뿐만 아니라 이동하는 장애물(340)을 피할 필요가 있다. 이를 위하여 사용자는 상기 원격 제어 로봇(100)에서 획득한 원격지 환경 정보를 단말기(110)를 통하여 수 신하여 주변 환경의 특징을 파악하고, 원격 제어 로봇(100)의 방향 및 속도를 제어하여 상기 원격 제어 로봇(100)을 목적지까지 이동시킬 수 있다. 우선, 원격 제어 로봇(100)은 원격지 환경 정보를 카메라(110), 초음파 센서(120), 적외선 센서(130)를 이용하여 획득하고 각각 신호 처리 한 후, 원격지에 있는 사용자의 단말기(200)로 전송한다. 그러면 상기 단말기(200)는 이를 수신하고, 카메라 데이터, 초음파 센서 데이터, 적외선 센서 데이터 중 작업 환경에 가장 적합한 원격지 환경 정보를 표시부의 주화면(210)에 표시한다. 만약, 카메라(110)로부터 전송된 카메라 데이터가 정상 조건인 경우, 카메라 데이터를 주화면(210)에 표시한다. 그러면 사용자는 주화면(210)에 표시된 카메라 데이터를 이용하여, 원격 제어 로봇(100)이 목적지(310)로 이동하도록 제어할 수 있다.

사용자가 원격 제어 로봇(100)을 목적지(310)로 이동시키는 도중, 카메라 데이터가 이동을 위한 충분한 정보를 제공할 수 없어(너무 밝거나 또는 너무 어두운 경우) 비정상 조건이라고 판단되는 경우, 상기 단말기(100)는 초음파 센서 데이터를 주화면(210)에 표시한다. 그리고 상기 단말기(200)는 카메라로부터 획득되는 정보는 제1 보조화면(220)에, 적외선 센서로부터 획득되는 적외선 센서 데이터는 제2 보조화면(230)에 표시할 수 있다. 또한, 사용자가 초음파 센서 데이터를 이용하여 원격 제어 로봇(100)을 이동시키는 도중 초음파 센서(120)로 감지할 수 없는 근거리에, 이동하는 장애물(340)이 출현하면, 상기 단말기(200)는 적외선 센서 데이터를 주화면(210)에 표시한다. 그리고 상기 단말기(200)는 카메라로부터 획득되는 정보는 제1 보조화면(220)에, 초음파 센서로부터 획득되는 초음파 센서 데이터 는 제2 보조화면(230)에 표시할 수 있다.

따라서 사용자는 원격 제어 로봇(100)의 주변 환경이 가변함에 따라, 작업 환경에 가장 적합한 센서를 이용한 원격지 환경 정보를 표시부의 주화면(210)을 통해 확인하고, 원격지에서 상기 원격 제어 로봇(100)을 제어할 수 있다.

도 4는 본 발명의 실시예에 따른 단말기(200)가 원격 제어 로봇(100)이 수집하여 전송한 원격지 환경 정보를 수신하고, 작업 환경에 가장 적합한 센서를 이용한 원격지 환경 정보를 표시부의 주화면(210)에 표시하며, 상기 원격 제어 로봇(100)이 단말기(200)에 입력되어 전송된 제어 신호를 수신하여 사용자의 명령을 실행하는 과정을 나타내는 도면이다.

우선 본 발명의 실시예에 따른 원격 제어 로봇(100)은 카메라(110), 초음파 센서(120), 적외선 센서(130)를 이용하여 S410 단계에서 원격지 환경 정보를 획득한다. 그리고 상기 원격 제어 로봇(100)은 S420 단계에서 상기 획득한 원격지 환경 정보를 신호 처리 하여 무선 통신망을 이용하여 단말기(200)로 전송한다. 그러면 상기 단말기(200)는 원격지 환경 정보를 수신하고 S430 단계에서 상기 카메라(110), 초음파 센서(120), 적외선 센서(130)의 각 데이터를 바탕으로 원격 제어 로봇(100)의 주변 환경에 대한 특징을 파악하고, S440 단계에서 상기 파악된 환경의 특징을 바탕으로 작업 환경에 가장 적합한 센서를 선택한다. 그리고 상기 단말기(200)는 상기 선택된 센서로부터 획득된 원격지 환경 정보를 S450 단계에서 표시부의 주화면(210)에 표시하고, 나머지 센서로부터 획득된 원격지 환경 정보는 표시부의 제1 보조화면(202) 및 제2 보조화면(230)에 표시한다. 사용자는 상기 주화 면(210)에 표시되는 원격지 환경 정보를 확인하며 원격 제어 로봇(100)을 제어할 수 있다. 단말기(200)가 S460 단계에서 원격 제어 로봇(100)을 제어하기 위한 로봇 제어 명령을 수신하면, 상기 제어 명령은 S470 단계에서 무선 통신망을 통하여 원격지에 있는 원격 제어 로봇(100)에 전송될 수 있다. 그러면 상기 원격 제어 로봇(100)은 상기 제어 명령을 수신하고, S480 단계에서 명령을 실행한다.

도 5는 본 발명의 실시예에 따른 원격 제어 로봇(100)의 내부 구조를 나타내는 내부 구조도이다. 상기 원격 제어 로봇(100)은 카메라(110), 센서부(510), 무선 통신부(520), 동작부(530), 제어부(540)를 포함할 수 있다.

카메라(110)는 주변의 영상 데이터를 획득하는데 사용될 수 있다.

센서부(510)는 로봇의 작업 환경을 인지할 수 있는 모든 센서를 포함할 수 있다. 본 발명의 실시예에서 상기 센서부는 초음파 센서(120), 적외선 센서(130)를 포함할 수 있다. 초음파 센서(120)는 카메라 데이터가 비정상 조건일 때, 초음파 센서 데이터를 이용하는데 사용될 수 있다. 또한 적외선 센서(130)는 카메라의 영상 데이터만으로 주변 환경을 인식하는데 부적합하여 초음파 센서 데이터를 이용하여 사용자 인터페이스를 사용하는 상황에서, 초음파 센서로 감지할 수 없는 근거리에서 장애물이 감지된 경우(장애물의 갑작스러운 출현 등)에 적외선 센서 데이터를 이용하는데 사용될 수 있다. 상기 적외선 센서는 초음파 센서보다 측정거리 오차가 적으며, 초음파 센서가 감지하지 못하는 단거리에 있는 장애물도 감지할 수 있다.

무선 통신부(520)는 센서부(510)에서 획득된 원격지 환경 정보를 사용자의 단말기(200)에 전송하고, 사용자의 단말기(200)에서 전송되는 제어 명령을 수신하 기 위한 모든 통신 수단을 포함할 수 있다. 본 발명의 실시예에 따른 무선 통신부(520)는 무선 인터넷에 접속하기 위한 RF 통신 수단이 될 수 있다.

동작부(530)는 사용자 단말기(200)로부터 전송된 제어 명령에 따라 제어되는 원격 제어 로봇(100)의 모든 부분을 포함할 수 있다. 즉, 원격 제어 로봇(100)이 이동하기 위한 하부의 휠, 상기 휠을 동작시키는 모터, 특정 작업을 수행하기 위한 팔, 상기 팔을 동작시키는 모터 등 원격 제어 로봇(100)의 모든 부분을 포함한다.

저장부(540)는 본 발명의 실시예에 따른 원격 제어 로봇(100)이 센서부(510)를 이용하여 원격지 환경 정보를 획득하고, 사용자의 제어 명령을 실행하는 등 전반적인 동작에 필요한 프로그램과 데이터를 저장할 수 있다.

제어부(550)는 본 발명의 실시예에 따른 원격 제어 로봇(100)의 전반적인 동작을 제어한다. 특히 상기 제어부(550)는 센서부(510)가 획득하여 전송하는 원격지 환경 정보를 수신하여 이를 신호 처리하고, 신호 처리된 환경 정보를 무선 통신부(520)를 통하여 사용자 단말기(200)로 전송하도록 제어한다. 또한 상기 제어부(550)는 사용자 단말기(200)로부터 전송되는 제어 명령을 무선 통신부(520)를 통하여 수신하여 전달받아 동작부(530)를 제어하여 사용자의 제어 명령을 실행한다.

보다 구체적으로 상기 제어부(550)는 데이터 획득 모듈(550A)과 로봇 제어 모듈(550B)을 포함할 수 있다. 상기 데이터 획득 모듈(550A)은 카메라(110), 초음파 센서(120), 적외선 센서(130)로부터 획득된 카메라 데이터, 초음파 센서 데이터, 적외선 센서 데이터에 관한 정보를 전달받아 이를 신호 처리한다. 상기 신호 처리된 원격지 환경 정보는 무선 통신부(520)를 통하여 사용자의 단말기(200)로 전 송될 수 있다. 로봇 제어 모듈(550B)은 사용자 단말기(200)로부터 전송된 제어 명령을 무선 통신부(520)를 통하여 수신하여 전달 받아 이를 분석하고, 상기 분석된 제어 명령에 따라 동작부(530)를 제어하여 원격 제어 로봇(100)이 사용자의 제어 명령을 실행할 수 있도록 한다.

도 6은 본 발명의 실시예에 따른 원격 제어 로봇(100)과 무선 접속 가능한 단말기(200)의 내부 구조를 나타내는 내부 구조도이다. 상기 단말기(200)는 무선 통신부(610), 저장부(620), 입력부(630), 표시부(640), 제어부(650)를 포함할 수 있다.

무선 통신부(610)는 원격 제어 로봇(100)에서 획득되어 전송되는 원격지 환경 정보를 수신하고, 사용자의 단말기(200)에서 내려지는 제어 명령을 상기 원격 제어 로봇(100)으로 전송하기 위한 모든 통신 수단을 포함한다. 본 발명의 실시예에 따른 무선 통신부(520)는 무선 인터넷에 접속하기 위한 RF 통신 수단이 될 수 있다.

입력부(620)는 키패드, 터치스크린 또는 터치패드로 구성될 수 있으며 사용자가 명령을 내리거나 원하는 정보를 얻기 위하여 사용된다. 특히, 사용자는 본 발명의 입력부(620)를 이용하여 원격 제어 로봇(100)을 제어하기 위한 제어 명령을 입력할 수 있다.

표시부(630)는 LCD 등으로 이루어 질 수 있으며, 단말기에서 발생하는 각종 표시 데이터와 동작상태를 화면에 표시한다. 특히, 본 발명의 표시부(630)는 원격 제어 로봇(100)에서 획득되어 전송되는 카메라 데이터, 초음파 센서 데이터, 적외 선 센서 데이터 중에서 작업 환경에 가장 적합한 정보를 주화면(210)에 표시하고, 나머지 환경 정보를 제1 보조화면(220) 및 제2 보조화면(230)에 표시할 수 있다.

저장부(640)는 본 발명의 실시예에 따른 단말기(200)의 전반적인 동작에 필요한 프로그램들과 데이터들을 저장한다. 특히, 본 발명의 저장부(640)는 원격 제어 로봇(100)이 전송하는 원격지 환경 정보 중 가장 적합한 환경 정보를 추출하고 이를 표시부(630)의 주화면에 표시하는 동작에 필요한 프로그램을 저장할 수 있다.

제어부(650)는 단말기의 전체적인 동작을 제어한다. 특히, 본 발명의 제어부(650)는 원격 제어 로봇(100)이 획득하여 전송하는 원격지 환경 정보를 무선 통신부(610)를 통하여 수신하여 전달받고, 작업환경에 가장 적합한 환경 정보를 추출한 후, 상기 추출된 환경 정보를 주화면(210)에 표시하고, 나머지 환경 정보를 제1 및 제2 보조화면에 표시하도록 제어할 수 있다. 또한, 상기 제어부(650)는 입력부(620)로부터 입력되는 제어 명령을 무선 통신부(610)를 통하여 원격 제어 로봇(100)에 전송하도록 제어할 수 있다.

상기 제어부(650)는 환경추론 모듈(650A) 및 화면표시방식 변경모듈(650B)을 포함할 수 있다. 상기 환경추론 모듈(650A)은 수신한 원격지 환경 정보를 분석하여 원격 제어 로봇(100) 주변 환경의 특징을 파악하고, 파악된 환경의 특징을 바탕으로 작업 환경에 가장 적합한 정보를 선택할 수 있다. 보다 구체적으로, 상기 환경 추론 모듈(650A)은 수신한 카메라 데이터를 분석하여 상기 카메라 데이터의 밝기가 밝기를 설정하기 위한 제1 기준값과 어두움을 설정하기 위한 제2 기준값 이내이면 상기 카메라 데이터를 정상 조건으로 판단한다. 즉 상기 환경 추론 모듈(650A)은 상기 카메라 데이터의 밝기가 제1 기준값 이상이면 너무 밝다고 판단하고, 상기 카메라 데이터의 밝기가 제2 기준값 이하이면 너무 어둡다고 판단하여 비정상 조건으로 판단한다. 그러면 상기 화면표시방식 변경모듈(650B)은 상기 카메라 데이터를 주화면(210)에 표시하고 상기 초음파 센서 데이터 및 상기 적외선 센서 데이터를 제1 보조화면(220) 및 제2 보조화면(230)에 표시한다.

또한 상기 환경 추론 모듈(650A)은 수신한 카메라 데이터를 분석하여 상기 카메라 데이터의 밝기가 밝기를 설정하기 위한 제1 기준값과 어두움을 설정하기 위한 제2 기준값 이내가 아니면 상기 카메라 데이터를 비정상 조건으로 판단한다. 그러면 상기 화면표시방식 변경모듈(650B)은 상기 초음파 센서 데이터를 주화면(210)에 표시하고 상기 카메라 데이터 및 상기 적외선 센서 데이터를 제1 보조화면(220) 및 제2 보조화면(230)에 표시한다.

그리고 화면표시방식 변경모듈(650B)은 카메라 데이터가 비정상 조건으로 판단되어 초음파 센서 데이터를 주화면(210)에 표시하는 중, 적외선 센서에 의해 움직이는 장애물이 감지된 경우, 상기 적외선 센서 데이터를 주화면(210)에 표시하고, 상기 카메라 데이터 및 상기 초음파 센서 데이터를 제1 보조화면(220) 및 제2 보조화면(230)에 표시한다.

도 7은 본 발명의 실시예에 따른 단말기(200)가 원격 제어 로봇(100)으로부터 획득되어 전송된 원격지 환경 정보를 수신하고, 작업 환경에 가장 적합한 환경 정보를 추출하고 이를 표시부의 주화면(210)에 표시하는 과정을 나타내는 순서도이다.

우선, 단말기의 제어부(650)는 S710 단계에서 원격 제어 로봇(100)과 단말기(200)가 무선 통신망을 통해 상호 접속되도록 제어한다. 본 발명의 실시예에 따르면 상기 원격 제어 로봇(100)과 단말기(200)는 무선 인터넷을 통해 상호 접속될 수 있다. 그리고 상기 제어부(650)는 S720 단계에서 원격 제어 로봇(100)에 의해 획득되어 전송되는 원격지 환경 정보를 무선 통신부(610)를 제어하여 수신할 수 있다. 상기 원격지 환경 정보는 원격 제어 로봇(100)이 카메라, 초음파 센서, 적외선 센서 등을 이용하여 획득한 카메라 데이터, 초음파 센서 데이터, 적외선 센서 데이터 등을 포함할 수 있다. 그러면 환경 추론 모듈(650A)은 S730 단계에서 상기 수신한 카메라 데이터가 정상 조건인지 여부를 판단한다. 보다 구체적으로, 상기 환경 추론 모듈(650A)은 수신한 카메라 데이터를 분석하여 상기 카메라 데이터의 밝기가 밝기를 설정하기 위한 제1 기준값과 어두움을 설정하기 위한 제2 기준값 이내이면 상기 카메라 데이터를 정상 조건으로 판단한다. 즉 상기 환경 추론 모듈(650A)은 상기 카메라 데이터의 밝기가 제1 기준값 이상이면 너무 밝다고 판단하고, 상기 카메라 데이터의 밝기가 제2 기준값 이하이면 너무 어둡다고 판단하여 비정상 조건으로 판단한다. 만약, 카메라 데이터가 정상 조건이라고 판단된 경우에는 화면표시방식 변경모듈(650B)은 S740 단계에서 주화면(210)에 카메라 데이터를 표시한다. 이 경우 상기 화면표시방식 변경모듈(650B)은 초음파 센서 데이터는 제1 보조화면(220)에, 적외선 센서 데이터는 제2 보조화면(230)에 표시할 수 있다(그 반대도 가능하다).

S730 단계에서 카메라 데이터가 비정상 조건이라고 판단된 경우에는, 환경 추론 모듈(650A)은 S750 단계에서 초음파 센서 데이터를 주화면(210)에 표시한다. 이 경우 카메라 데이터는 제1 보조화면(220)에, 적외선 센서 데이터는 제2 보조화면(230)에 표시될 수 있다(그 반대도 가능하다).

도 8은 초음파 센서 데이터를 단말기 표시부의 주화면(210)에 표시하고 있는 상황에서, 원격 제어 로봇(100)의 적외선 센서에 의해 움직이는 물체가 감지되는 경우 적외선 센서 데이터를 주화면(210)에 표시하는 과정을 나타내는 순서도이다.

우선, S810 단계에서 적외선 센서에 의해 움직이는 장애물이 감지되면, 화면표시방식 변경모듈(650B)은 S820 단계에서 현재 주화면(210)에 표시되는 데이터가 초음파 센서 데이터 인지 여부를 확인한다. 상기 표시방식 변경모듈(650B)은 카메라 데이터가 주화면(210)에 표시되는 경우라면 계속하여 카메라 데이터를 주화면(210)에 표시하도록 제어하지만, 초음파 센서 데이터가 주화면(210)에 표시되는 경우라면 S830 단계에서 적외선 센서 데이터를 주화면(210)에 표시하도록 제어한다. 이 경우 카메라 데이터는 제1 보조화면(220)에, 초음파 센서 데이터는 제2 보조화면(230)에 표시될 수 있다(그 반대도 가능하다).

본 발명의 실시예에서는 원격 조종 로봇(100)이 목적지까지 이동하는 경우에 대하여 설명하였으나, 이동뿐만 아니라 움직이는 물체를 파악하고 이를 추적하는 경우에도 적용될 수 있다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

도 1은 본 발명의 실시예에 따른 사용자가 원격지에서 제어할 수 있는 원격 제어 로봇을 나타내는 도면.

도 2는 사용자가 원격지에 있는 원격 제어 로봇에서 획득한 원격지 환경 정보를 수신하고, 작업 환경에 가장 적합한 센서를 이용한 원격지 환경 정보를 주화면으로 표시할 수 있는 단말기를 나타내는 도면.

도 3은 사용자가 본 발명의 실시예에 따른 원격 제어 로봇을 사용자가 단말기를 이용하여 원격에서 제어하는 것을 나타내는 예시도.

도 4는 본 발명의 실시예에 따른 단말기가 원격 제어 로봇이 수집하여 전송한 원격지 환경 정보를 수신하고, 작업 환경에 가장 적합한 센서를 이용한 원격지 환경 정보를 표시부의 주화면에 표시하며, 상기 원격 제어 로봇이 단말기에 입력되어 전송된 제어 신호를 수신하여 사용자의 명령을 실행하는 과정을 나타내는 도면.

도 5는 본 발명의 실시예에 따른 원격 제어 로봇의 내부 구조를 나타내는 내부 구조도.

도 6은 본 발명의 실시예에 따른 원격 제어 로봇과 무선 접속 가능한 단말기의 내부 구조를 나타내는 내부 구조도.

도 7은 본 발명의 실시예에 따른 단말기가 원격 제어 로봇으로부터 획득되어 전송된 원격지 환경 정보를 수신하고, 작업 환경에 가장 적합한 환경 정보를 추출하고 이를 표시부의 주화면에 표시하는 과정을 나타내는 순서도.

도 8은 초음파 센서 데이터를 단말기 표시부의 주화면에 표시하고 있는 상황 에서, 원격 제어 로봇의 적외선 센서에 의해 움직이는 물체가 감지되는 경우 적외선 센서 데이터를 주화면에 표시하는 과정을 나타내는 순서도.

Claims

외부장치로부터 카메라 데이터 및 거리를 감지하기 위한 적어도 하나의 센서 데이터를 수신하는 무선 통신부;

주화면 및 적어도 하나의 보조화면을 구비하는 표시부; 및

상기 카메라 데이터가 정상 조건인지를 판단하는 환경 추론 모듈과, 판단 결과에 따라 상기 카메라 데이터가 정상 조건이면 상기 카메라 데이터를 상기 주화면에 표시하고, 상기 카메라 데이터가 비정상 조건이면 상기 센서 데이터를 상기 주화면에 표시하는 화면표시방식 변경모듈을 구비하는 제어부를 포함하는 것을 특징으로 하는 사용자 인터페이스 장치.
제1항에 있어서, 상기 외부 장치는

카메라;

거리를 감지하기 위한 적어도 하나의 센서를 포함하는 센서부;

상기 카메라 및 센서부로부터 데이터를 획득하는 데이터 획득 모듈; 및

상기 데이터 획득 모듈이 획득한 데이터를 상기 사용자 인터페이스 장치로 전송하는 무선 통신부를 포함하는 원격 제어 로봇인 것을 특징으로 하는 사용자 인터페이스 장치.
제2항에 있어서,

상기 정상 조건은 밝기를 설정하기 위한 제1 기준값과 어두움을 설정하기 위한 제2 기준값 범위 내인 것을 특징으로 하는 사용자 인터페이스 장치.
제2항에 있어서,

상기 센서는 초음파 센서 또는 적외선 센서 중 어느 하나인 것을 특징으로 하는 사용자 인터페이스 장치.
제2항에 있어서,

상기 센서는 초음파 센서 및 적외선 센서이고,

상기 화면표시방식 변경모듈은 카메라 데이터가 정상 조건이면 상기 카메라 데이터를 상기 주화면에 표시하고, 상기 카메라 데이터가 비정상 조건이면 상기 초음파 센서 데이터를 상기 주화면에 표시하는 것을 특징으로 하는 사용자 인터페이스 장치.
제5항에 있어서,

상기 화면표시방식 변경모듈은,

상기 카메라 데이터의 비정상 조건에서, 상기 적외선 센서에 의에 장애물이 감지된 경우, 상기 적외선 센서 데이터를 상기 주화면에 표시하는 것을 특징으로 하는 사용자 인터페이스 장치.
외부장치로부터 카메라 및 거리를 감지하기 위한 적어도 하나의 센서 데이터를 수신하는 단계;

상기 수신한 카메라 데이터가 정상 조건인지 판단하는 단계;

상기 수신한 카메라 데이터가 정상 조건이면 상기 카메라 데이터를 주화면에 표시하는 단계; 및

상기 수신한 카메라 데이터가 비정상 조건이면 상기 센서 데이터를 상기 주화면에 표시하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
제7항에 있어서, 상기 외부 장치는

카메라;

거리를 감지하기 위한 적어도 하나의 센서를 포함하는 센서부;

상기 카메라 및 센서부로부터 데이터를 획득하는 데이터 획득 모듈; 및

상기 데이터 획득 모듈이 획득한 데이터를 상기 사용자 인터페이스 장치로 전송하는 무선 통신부를 포함하는 원격 제어 로봇인 것을 특징으로 하는 사용자 인터페이스 방법.
제8항에 있어서,

상기 정상 조건은 밝기를 설정하기 위한 제1 기준값과 어두움을 설정하기 위한 제2 기준값 범위 내인 것을 특징으로 하는 사용자 인터페이스 방법.
제8항에 있어서,

상기 센서 데이터는 초음파 센서 데이터 또는 적외선 센서 데이터 중 어느 하나인 것을 특징으로 하는 사용자 인터페이스 방법.
제8항에 있어서,

상기 센서 데이터는 초음파 센서 데이터 및 적외선 센서 데이터인 것을 특징으로 하는 사용자 인터페이스 방법.
제11항에 있어서,

상기 적외선 센서에 의해 장애물이 감지되는 단계; 및

상기 주화면에 초음파 센서 데이터가 표시되고 있는 경우, 상기 적외선 센서 데이터를 상기 주화면에 표시하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.