KR20240028216A

KR20240028216A - 로봇 및 그 제어 방법

Info

Publication number: KR20240028216A
Application number: KR1020220106427A
Authority: KR
Inventors: 윤여준; 공진아; 노재연; 이좌영
Original assignee: 삼성전자주식회사
Priority date: 2022-08-24
Filing date: 2022-08-24
Publication date: 2024-03-05
Also published as: WO2024043489A1

Abstract

본 로봇은 마이크, 카메라, 통신 인터페이스 및 마이크를 통해 사용자 음성 입력이 수신되면, 사용자 음성 입력에 대응되는 응답 정보를 획득하고, 카메라를 통해 획득된 촬영 이미지에 기초하여, 사용자가 웨어러블 디바이스를 착용한 상태인지 식별하고, 사용자가 웨어러블 디바이스를 착용한 상태인 것으로 식별되면, 통신 인터페이스를 통해, 응답 정보를 웨어러블 디바이스로 전송하는 적어도 하나의 프로세서를 포함한다.

Description

로봇 및 그 제어 방법{ROBOT AND CONTROLLING METHOD THEREOF}

본 개시는 로봇 및 그 제어방법에 관한 것으로, 더욱 상세하게는 웨어러블 디바이스를 착용하고 있는 사용자에게 서비스를 제공하는 로봇 및 그 제어방법에 대한 것이다.

웨어러블 디바이스를 착용하고 있는 사용자는 웨어러블 디바이스에 포함된 내부 스피커를 통해 오디오 신호를 들을 수 있다. 특히, 최근 노이즈 캔슬링 기능이 웨어러블 디바이스에 포함되어 있어, 사용자는 웨어러블 디바이스에서 제공하는 오디오 신호를 집중하여 듣게 되며 주변 소리를 인식하지 못한다. 여기서, 웨어러블 디바이스는 스피커 기능을 수행하는 이어폰, 헤드폰, HMD(Head Mounted Display) 디바이스, AR 글래스(Augmented Reality Glass) 등을 의미할 수 있다.

사용자는 때때로 자신이 웨어러블 디바이스를 착용하고 있는 사실을 잊고, 로봇에 명령을 내릴 수 있다. 만약, 사용자가 웨어러블 디바이스를 착용하고 있는 상태에서 로봇에 명령을 내리면, 로봇에서 출력되는 오디오 신호를 듣지 못하는 문제점이 발생할 수 있다.

또한, 사용자가 웨어러블 디바이스를 착용한 상태에서 로봇으로부터 정보를 제공받고자 하는 경우, 웨어러블 디바이스를 벗어야 하는 불편함이 있었다.

본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 웨어러블 디바이스를 착용한 사용자에게 사용자 명령에 대응되는 응답 정보가 직접 웨어러블 디바이스에서 출력되도록 제어하는 로봇 및 그의 제어 방법을 제공함에 있다.

본 실시 예에 따른 로봇은 마이크, 카메라, 통신 인터페이스 및 상기 마이크를 통해 사용자 음성 입력이 수신되면, 상기 사용자 음성 입력에 대응되는 응답 정보를 획득하고, 상기 카메라를 통해 획득된 촬영 이미지에 기초하여, 사용자가 웨어러블 디바이스를 착용한 상태인지 식별하고, 상기 사용자가 상기 웨어러블 디바이스를 착용한 상태인 것으로 식별되면, 상기 통신 인터페이스를 통해, 상기 응답 정보를 상기 웨어러블 디바이스로 전송하는 적어도 하나의 프로세서를 포함한다.

한편, 로봇은 스피커를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 사용자가 웨어러블 디바이스를 착용하지 않은 상태인 것으로 식별되면, 상기 스피커를 통해 상기 응답 정보를 출력할 수 있다.

한편, 로봇은 적어도 하나의 웨어러블 디바이스의 식별 정보를 저장하는 메모리를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 사용자가 상기 웨어러블 디바이스를 착용한 상태인 것으로 식별되면, 상기 메모리에 저장된 상기 적어도 하나의 웨어러블 디바이스의 식별 정보 중 상기 사용자가 착용한 상기 웨어러블 디바이스의 식별 정보를 획득하고, 상기 웨어러블 디바이스의 식별 정보에 기초하여 상기 응답 정보를, 상기 통신 인터페이스를 통해, 상기 웨어러블 디바이스로 전송할 수 있다.

한편, 상기 적어도 하나의 프로세서는 상기 웨어러블 디바이스의 출력 타입을 식별하고, 상기 출력 타입에 대응되는 데이터를 포함하는 상기 응답 정보를 획득할 수 있다.

한편, 상기 적어도 하나의 프로세서는 상기 웨어러블 디바이스의 출력 타입이 오디오 출력을 포함하면, 상기 사용자 음성 입력에 대응되는 오디오 응답 데이터를 포함하는 상기 응답 정보를 획득하고, 상기 웨어러블 디바이스의 출력 타입이 오디오 출력 및 이미지 출력을 포함하면, 상기 사용자 음성 입력에 대응되는 이미지 응답 데이터 및 상기 사용자 음성 입력에 대응되는 오디오 응답 데이터를 포함하는 상기 응답 정보를 획득할 수 있다.

한편, 로봇은 디스플레이를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 웨어러블 디바이스의 출력 타입이 오디오 출력을 포함하면, 상기 디스플레이를 통해, 상기 사용자 음성 입력에 대응되는 이미지 응답 데이터를 표시할 수 있다.

한편, 로봇은 디스플레이를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 디스플레이를 통해, 상기 응답 정보가 상기 웨어러블 디바이스를 통해 출력되고 있음을 나타내는 UI를 표시할 수 있다.

한편, 로봇은 거리 센서 및 구동부를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 촬영 이미지에 사용자가 포함되지 않은 것으로 식별되면, 상기 거리 센서를 통해 센싱 데이터를 획득하고, 상기 센싱 데이터를 이용하여 식별된 사용자 위치에 기초하여 상기 로봇이 이동하도록 상기 구동부를 제어할 수 있다.

한편, 로봇은 거리 센서 및 구동부를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 촬영 이미지에 사용자가 포함되지 않은 것으로 식별되면, 상기 거리 센서를 통해 센싱 데이터를 획득하고, 상기 센싱 데이터를 이용하여 식별된 사용자 위치에 기초하여 상기 로봇의 위치를 가이드하기 위한 UI를 획득하고, 상기 UI를, 상기 통신 인터페이스를 통해, 웨어러블 디바이스로 전송할 수 있다.

한편, 상기 적어도 하나의 프로세서는 상기 웨어러블 디바이스(200)로부터 상기 응답 정보를 출력할 수 없음을 나타내는 알림 정보를, 상기 통신 인터페이스를 통해, 수신하면, 상기 응답 정보 또는 상기 알림 정보 중 적어도 하나를 출력할 수 있다.

본 실시 예에 따른 로봇의 제어 방법은 사용자 음성 입력이 수신되면, 상기 사용자 음성 입력에 대응되는 응답 정보를 획득하는 단계, 촬영 이미지에 기초하여, 사용자가 웨어러블 디바이스를 착용한 상태인지 식별하는 단계 및 상기 사용자가 상기 웨어러블 디바이스를 착용한 상태인 것으로 식별되면, 상기 응답 정보를 상기 웨어러블 디바이스로 전송하는 단계를 포함할 수 있다.

한편, 제어 방법은 상기 사용자가 웨어러블 디바이스를 착용하지 않은 상태인 것으로 식별되면, 상기 응답 정보를 출력하는 단계를 더 포함할 수 있다.

한편, 제어 방법은 적어도 하나의 웨어러블 디바이스의 식별 정보를 저장하는 단계 및 상기 사용자가 상기 웨어러블 디바이스를 착용한 상태인 것으로 식별되면, 상기 저장된 상기 적어도 하나의 웨어러블 디바이스의 식별 정보 중 상기 사용자가 착용한 상기 웨어러블 디바이스의 식별 정보를 획득하는 단계를 더 포함하고, 상기 전송하는 단계는 상기 웨어러블 디바이스의 식별 정보에 기초하여 상기 응답 정보를 상기 웨어러블 디바이스로 전송할 수 있다.

한편, 제어 방법은 상기 웨어러블 디바이스의 출력 타입을 식별하는 단계 및 상기 출력 타입에 대응되는 데이터를 포함하는 상기 응답 정보를 획득하는 단계를 더 포함할 수 있다.

한편, 상기 출력 타입에 대응되는 상기 응답 정보를 획득하는 단계는 상기 웨어러블 디바이스의 출력 타입이 오디오 출력을 포함하면, 상기 사용자 음성 입력에 대응되는 오디오 응답 데이터를 포함하는 상기 응답 정보를 획득하고, 상기 웨어러블 디바이스의 출력 타입이 오디오 출력 및 이미지 출력을 포함하면, 상기 사용자 음성 입력에 대응되는 이미지 응답 데이터 및 상기 사용자 음성 입력에 대응되는 오디오 응답 데이터를 포함하는 상기 응답 정보를 획득할 수 있다.

한편, 제어 방법은 상기 웨어러블 디바이스의 출력 타입이 오디오 출력을 포함하면, 상기 사용자 음성 입력에 대응되는 이미지 응답 데이터를 표시하는 단계를 더 포함할 수 있다.

한편, 제어 방법은 상기 응답 정보가 상기 웨어러블 디바이스를 통해 출력되고 있음을 나타내는 UI를 표시하는 단계를 더 포함할 수 있다.

한편, 제어 방법은 상기 촬영 이미지에 사용자가 포함되지 않은 것으로 식별되면, 센싱 데이터를 획득하는 단계 및 상기 센싱 데이터를 이용하여 식별된 사용자 위치에 기초하여 상기 로봇이 이동하도록 제어하는 단계를 더 포함할 수 있다.

한편, 제어 방법은 상기 촬영 이미지에 사용자가 포함되지 않은 것으로 식별되면, 센싱 데이터를 획득하는 단계, 상기 센싱 데이터를 이용하여 식별된 사용자 위치에 기초하여 상기 로봇의 위치를 가이드하기 위한 UI를 획득하는 단계 및 상기 UI를 웨어러블 디바이스로 전송하는 단계를 더 포함할 수 있다.

한편, 제어 방법은 상기 웨어러블 디바이스(200)로부터 상기 응답 정보를 출력할 수 없음을 나타내는 알림 정보를 수신하면, 상기 응답 정보 또는 상기 알림 정보 중 적어도 하나를 출력하는 단계를 더 포함할 수 있다.

도 1은 본 개시의 일 실시 예에 따른 로봇을 도시한 블록도이다.
도 2는 도 1의 로봇의 구체적인 구성을 설명하기 위한 블록도이다.
도 3은 웨어러블 디바이스를 통해 로봇의 응답을 출력하는 동작을 설명하기 위한 도면이다.
도 4는 웨어러블 디바이스 및 단말 장치를 통해 로봇의 응답을 출력하는 동작을 설명하기 위한 도면이다.
도 5는 웨어러블 디바이스, 단말 장치 및 서버를 통해 로봇의 응답을 출력하는 동작을 설명하기 위한 도면이다.
도 6은 웨어러블 디바이스를 통해 로봇의 응답을 출력하는 동작을 설명하기 위한 흐름도이다.
도 7은 웨어러블 디바이스의 식별 정보를 획득하는 동작을 설명하기 위한 흐름도이다.
도 8은 로봇 및 웨어러블 디바이스 사이의 통신 연결을 수행하는 동작을 설명하기 위한 흐름도이다.
도 9는 다양한 실시 예에 따라, 웨어러블 디바이스에서 응답 정보가 출력될 수 없는 경우 로봇에서 표시되는 UI를 설명하기 위한 도면이다.
도 10은 로봇에서 전송되는 정보의 우선 순위를 판단하는 동작을 설명하기 위한 흐름도이다.
도 11은 로봇에서 응답 정보를 출력하는 동작을 설명하기 위한 흐름도이다.
도 12는 다양한 실시 예에 따라, 웨어러블 디바이스에서 응답 정보가 출력되는 경우 로봇에서 표시되는 UI를 설명하기 위한 도면이다.
도 13은 로봇 및 웨어러블 디바이스에서 동시에 정보를 출력하는 동작을 설명하기 위한 흐름도이다.
도 14는 출력 타입을 고려하여 응답 정보를 획득하는 동작을 설명하기 위한 흐름도이다.
도 15는 웨어러블 디바이스의 출력 타입에 따라 제공되는 응답 정보를 설명하기 위한 도면이다.
도 16은 웨어러블 디바이스의 출력 타입에 따라 제공되는 응답 정보를 설명하기 위한 흐름도이다.
도 17은 다양한 실시 예에 따라, 웨어러블 디바이스의 출력 타입에 따라 로봇에서 제공되는 UI를 설명하기 위한 도면이다.
도 18은 출력 타입을 고려하여 응답 데이터를 획득하는 로봇의 동작을 설명하기 위한 흐름도이다.
도 19는 사용자를 식별하는 동작을 설명하기 위한 도면이다.
도 20은 사용자를 식별하는 동작을 설명하기 위한 흐름도이다.
도 21은 동시 발화의 경우 로봇의 동작을 설명하기 위한 도면이다.
도 22는 동시 발화의 경우 로봇의 동작을 설명하기 위한 흐름도이다.
도 23은 사용자의 위치에 따라 로봇이 이동하는 동작을 설명하기 위한 도면이다.
도 24는 사용자의 위치에 따라 로봇이 이동하는 동작을 설명하기 위한 흐름도이다.
도 25는 로봇의 위치를 가이드하는 UI를 설명하기 위한 도면이다.
도 26은 로봇의 위치를 가이드하는 UI를 표시하는 동작을 설명하기 위한 흐름도이다.
도 27은 웨어러블 디바이스를 탐색하는 동작을 설명하기 위한 흐름도이다.
도 28은 복수의 사용자와 관련된 정보를 설명하기 위한 도면이다.
도 29는 단말 장치를 이용하여 응답 정보를 전송하는 동작을 설명하기 위한 흐름도이다.
도 30은 기 설정된 이벤트와 관련된 사용자 명령에 따른 로봇의 동작을 설명하기 위한 흐름도이다.
도 31은 다양한 실시 예에 따라, 로봇의 제어 방법을 설명하기 위한 흐름도이다.

이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.

본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

본 명세서에서, 사용자라는 용어는 로봇을 사용하는 사람 또는 로봇을 사용하는 장치(예: 인공지능 로봇)를 지칭할 수 있다.

이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.

도 1은 본 개시의 일 실시 예에 따른 로봇(100)을 도시한 블록도이다.

도 1을 참조하면, 로봇(100)은 통신 인터페이스(130), 적어도 하나의 프로세서(140), 마이크(180) 또는 카메라(191) 중 적어도 하나를 포함할 수 있다.

여기서, 로봇(100)은 이동형 서비스 로봇일 수 있다. 로봇(100)은 사용자 입력에 대응되는 응답 정보를 제공하는 서비스 로봇일 수 있다. 여기서, 사용자 입력은 사용자 명령을 나타낼 수 있다. 응답 정보는 사용자 입력에 대응되는 결과 정보를 의미할 수 있다. 만약, 사용자 입력이 음성이라면, 응답 정보는 음성 인식 결과일 수 있다.

적어도 하나의 프로세서(140)는 마이크(180)를 통해 사용자 음성 입력을 수신할 수 있다. 여기서, 사용자 음성 입력은 사용자가 발화하는 음성을 의미할 수 있다.

적어도 하나의 프로세서(140)는 카메라(191)를 통해 사용자가 포함된 촬영 이미지를 획득할 수 있다.

적어도 하나의 프로세서(140)는 통신 인터페이스(130)를 통해 웨어러블 디바이스(200)와 연결될 수 있다.

적어도 하나의 프로세서(140)는 마이크(180)를 통해 사용자 음성 입력이 수신되면, 사용자 음성 입력에 대응되는 응답 정보를 획득하고, 카메라(191)를 통해 획득된 촬영 이미지에 기초하여, 사용자가 웨어러블 디바이스(200)를 착용한 상태인지 식별하고, 사용자가 웨어러블 디바이스(200)를 착용한 상태인 것으로 식별되면, 통신 인터페이스(130)를 통해, 응답 정보를 웨어러블 디바이스(200)로 전송할 수 있다.

적어도 하나의 프로세서(140)는 사용자 음성 입력을 마이크(180)를 통해 수신할 수 있다. 여기서, 사용자 음성 입력은 로봇(100)을 호출하는 트리거 워드 또는 웨이크업 워드를 포함할 수 있다. 구체적으로, 사용자 음성 입력은 트리거 워드 및 사용자 명령을 포함할 수 있다. 다만, 아래의 기재에서는 사용자 음성 입력은 사용자 입력 내지 사용자 명령으로 기재될 수 있다.

사용자 음성 입력이 수신되면, 적어도 하나의 프로세서(140)는 카메라(191)를 통해 촬영 이미지를 획득할 수 있다. 적어도 하나의 프로세서(140)는 촬영 이미지에 기초하여 사용자의 모습을 분석할 수 있다. 적어도 하나의 프로세서(140)는 촬영 이미지에 기초하여 사용자가 웨어러블 디바이스(200)를 착용하고 있는지 여부를 분석할 수 있다. 사용자가 웨어러블 디바이스(200)를 착용하고 있는 경우, 로봇(100)에서 직접 오디오 데이터를 출력해도 사용자가 이를 듣지 못할 가능성이 높기 때문이다.

한편, 로봇(100)은 스피커(170)를 더 포함하고, 적어도 하나의 프로세서(140)는 사용자가 웨어러블 디바이스(200)를 착용하지 않은 상태인 것으로 식별되면, 스피커(170)를 통해 응답 정보를 출력할 수 있다.

구체적으로, 적어도 하나의 프로세서(140)는 사용자가 웨어러블 디바이스(200)를 착용한 상태인지 여부를 식별할 수 있다. 사용자가 웨어러블 디바이스(200)를 착용한 상태를 제1 상태로 기재하고, 사용자가 웨어러블 디바이스(200)를 착용하지 않은 상태를 제2 상태로 기재할 수 있다.

촬영 이미지에 기초하여 제1 상태가 식별되면, 적어도 하나의 프로세서(140)는 응답 정보가 웨어러블 디바이스(200)에서 출력되도록 제어할 수 있다. 촬영 이미지에 기초하여 제2 상태가 식별되면, 적어도 하나의 프로세서(140)는 응답 정보를 직접 스피커(170)를 통해 출력할 수 있다.

다양한 실시 예에 따라, 촬영 이미지 이외에 통신 신호를 통해 웨어러블 디바이스(200)의 착용 여부를 판단할 수 있다. 이와 관련된 설명은 도 27에서 기재한다.

여기서, 응답 정보는 사용자 음성 입력에 대응되는 음성 인식 결과를 의미할 수 있다. 응답 정보는 음성 인식 결과 또는 결과 정보로 기재될 수 있다.

한편, 로봇(100)은 적어도 하나의 웨어러블 디바이스(200)의 식별 정보를 저장하는 메모리(120)를 더 포함하고, 적어도 하나의 프로세서(140)는 사용자가 웨어러블 디바이스(200)를 착용한 상태인 것으로 식별되면, 메모리(120)에 저장된 적어도 하나의 웨어러블 디바이스(200)의 식별 정보 중 사용자가 착용한 웨어러블 디바이스(200)의 식별 정보를 획득하고, 웨어러블 디바이스(200)의 식별 정보에 기초하여 응답 정보를 통신 인터페이스(130)를 통해 웨어러블 디바이스(200)로 전송할 수 있다.

여기서, 로봇(100)은 사용자 및 사용자가 이용하는 웨어러블 디바이스를 메모리(120)에 미리 저장할 수 있다. 예를 들어, 로봇(100)은 사용자 등록 과정을 통해 사용자가 이용할 웨어러블 디바이스에 대한 정보를 미리 저장하고 있을 수 있다.

다양한 실시 예에 따라, 적어도 하나의 프로세서(140)는 촬영 이미지에 기초하여 사용자가 착용하고 있는 웨어러블 디바이스(200)를 특정할 수 있다. 적어도 하나의 프로세서(140)는 촬영 이미지에 포함된 웨어러블 디바이스(200)를 인식하여 웨어러블 디바이스(200)의 식별 정보를 획득할 수 있다. 적어도 하나의 프로세서(140)는 이미지 분석을 통해 웨어러블 디바이스와 관련된 오브젝트를 획득할 수 있다. 그리고, 적어도 하나의 프로세서(140)는 오브젝트의 종류 및 오브젝트의 모델명 등을 식별할 수 있다. 여기서, 적어도 하나의 프로세서(140)는 메모리(120)에 기 저장된 정보를 이용할 수 있다. 적어도 하나의 프로세서(140)는 메모리(120)에 기 저장된 웨어러블 디바이스 중 촬영 이미지에 포함된 웨어러블 디바이스(200)를 특정할 수 있다.

다양한 실시 예에 따라, 적어도 하나의 프로세서(140)는 촬영 이미지에 기초하여 사용자를 특정하고, 통신 신호에 기초하여 웨어러블 디바이스를 특정할 수 있다. 이와 관련된 설명은 도 27에서 기재한다.

한편, 적어도 하나의 프로세서(140)는 웨어러블 디바이스(200)의 출력 타입을 식별하고, 출력 타입에 대응되는 데이터를 포함하는 응답 정보를 획득할 수 있다.

여기서, 적어도 하나의 프로세서(140)는 웨어러블 디바이스(200)를 통해 이미지 데이터의 출력이 가능한지 여부 및 웨어러블 디바이스(200)를 통해 오디오 데이터의 출력이 가능한지 여부를 판단할 수 있다. 그리고, 적어도 하나의 프로세서(140)는 웨어러블 디바이스(200)의 출력 가능 방식에 따라 적합한 응답 정보를 제공할 수 있다.

예를 들어, 웨어러블 디바이스(200)가 디스플레이를 포함하지 않아 오디오 데이터 출력만 가능한 경우, 적어도 하나의 프로세서(140)는 오디오 응답 데이터를 포함하는 응답 정보를 웨어러블 디바이스(200)에 전송할 수 있다.

예를 들어, 웨어러블 디바이스(200)가 디스플레이 및 스피커를 모두 포함하고 있어, 오디오 데이터 및 이미지 데이터를 모두 출력 가능한 경우, 적어도 하나의 프로세서(140)는 이미지 응답 데이터 및 오디오 응답 데이터를 포함하는 응답 정보를 웨어러블 디바이스(200)에 전송할 수 있다.

출력 타입과 관련된 구체적인 설명은 도 14 내지 도 18에서 기재한다.

한편, 적어도 하나의 프로세서(140)는 웨어러블 디바이스(200)의 출력 타입이 오디오 출력을 포함하면, 사용자 음성 입력에 대응되는 오디오 응답 데이터를 포함하는 응답 정보를 획득하고, 웨어러블 디바이스(200)의 출력 타입이 오디오 출력 및 이미지 출력을 포함하면, 사용자 음성 입력에 대응되는 이미지 응답 데이터 및 사용자 음성 입력에 대응되는 오디오 응답 데이터를 포함하는 응답 정보를 획득할 수 있다.

한편, 로봇(100)은 디스플레이(110)를 더 포함하고, 적어도 하나의 프로세서(140)는 웨어러블 디바이스(200)의 출력 타입이 오디오 출력을 포함하면, 디스플레이(110)를 통해, 사용자 음성 입력에 대응되는 이미지 응답 데이터를 표시할 수 있다.

여기서, 로봇(100)에는 디스플레이(110)가 존재하고, 웨어러블 디바이스(200)은 디스플레이가 존재하지 않는 것으로 식별되면, 적어도 하나의 프로세서(140)는 웨어러블 디바이스(200)를 통해 오디오 응답 데이터를 출력하고 로봇(100)의 디스플레이(110)를 통해 이미지 응답 데이터를 출력할 수 있다. 이와 관련된 구체적인 설명은 도 12 내지 도 13에서 기재한다.

한편, 로봇(100)은 디스플레이(110)를 더 포함하고, 적어도 하나의 프로세서(140)는 디스플레이(110)를 통해, 응답 정보가 웨어러블 디바이스(200)를 통해 출력되고 있음을 나타내는 UI를 표시할 수 있다.

웨어러블 디바이스(200)에서 응답 정보가 표시되는 상황에서 제공되는 UI는 도 12 및 도 17에서 기재한다. 웨어러블 디바이스(200)에서 응답 정보가 표시될 수 없는 상황에서 제공되는 UI는 도 9 및 도 17에서 기재한다.

한편, 로봇(100)은 거리 센서(192) 및 구동부(160)를 더 포함하고, 적어도 하나의 프로세서(140)는 촬영 이미지에 사용자가 포함되지 않은 것으로 식별되면, 거리 센서(192)를 통해 센싱 데이터를 획득하고, 센싱 데이터를 이용하여 식별된 사용자 위치에 기초하여 로봇(100)이 이동하도록 구동부(160)를 제어할 수 있다.

여기서, 적어도 하나의 프로세서(140)는 사용자 위치에 기초하여 로봇(100)의 위치를 변경할 수 있다. 로봇(100)의 위치를 변경하는 동작은 도 23 내지 도 24에서 기재한다.

한편, 로봇(100)은 거리 센서(192) 및 구동부(160)를 더 포함하고, 적어도 하나의 프로세서(140)는 촬영 이미지에 사용자가 포함되지 않은 것으로 식별되면, 거리 센서(192)를 통해 센싱 데이터를 획득하고, 센싱 데이터를 이용하여 식별된 사용자 위치에 기초하여 로봇(100)의 위치를 가이드하기 위한 UI를 획득하고, UI를 통신 인터페이스(130)를 통해 웨어러블 디바이스(200)로 전송할 수 있다.

로봇(100)의 위치를 가이드하는 동작은 도 25 내지 도 26에 기재한다.

한편, 적어도 하나의 프로세서(140)는 웨어러블 디바이스(200)로부터 응답 정보를 출력할 수 없음을 나타내는 알림 정보를 통신 인터페이스(130)를 통해 수신하면, 응답 정보 또는 알림 정보 중 적어도 하나를 출력할 수 있다.

여기서, 알림 정보는 웨어러블 디바이스(200)에서 응답 정보의 출력과 관련된 정보를 포함할 수 있다. 알림 정보는 웨어러블 디바이스(200)에서 응답 정보의 출력 가능 여부를 나타내는 정보 또는 현재 웨어러블 디바이스(200)에서 오디오 데이터를 출력 중인지 여부를 나타내는 정보 중 적어도 하나를 포함할 수 있다. 알림 정보와 관련된 구체적인 설명은 도 9 내지 도 11에서 기재한다.

다양한 실시 예에 따라, 로봇(100)은 사용자가 웨어러블 디바이스를 착용하고 있는 상태에서는 로봇(100)이 아닌 웨어러블 디바이스(200)에서 직접 오디오가 출력되도록 제어할 수 있다. 따라서, 사용자가 웨어러블 디바이스(200)를 착용하고 있어 로봇(100)에서 출력되는 소리를 놓치는 상황이 발생하지 않을 수 있다. 사용자는 로봇(100)에서 출력되는 소리를 듣기 위해 웨어러블 디바이스(200)를 벗어야 하는 번거로움을 줄일 수 있다.

한편, 이상에서는 로봇(100)을 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현 시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 2를 참조하여 이하에서 설명한다.

도 2는 도 1의 로봇(100)의 구체적인 구성을 설명하기 위한 블록도이다.

도 2는 디스플레이(110), 메모리(120), 통신 인터페이스(130), , 적어도 하나의 프로세서(140), 조작 인터페이스(150), 구동부(160), 스피커(170), 마이크(180) 또는 센서부(190) 중 적어도 하나를 포함할 수 있다.

한편, 앞서 설명한 것과 동일한 동작에 대해서는 중복 설명은 생략한다.

디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110)내에는 a-si TFT(amorphous silicon thin film transistor), LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(110)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display, three-dimensional dispaly) 등으로 구현될 수 있다. 또한, 본 개시의 일 실시 예에 따른, 디스플레이(110)는 이미지를을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.

메모리(120)는 프로세서(140)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(140)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(120)는 데이터 저장 용도에 따라 로봇(100)에 임베디드된 메모리 형태로 구현되거나, 로봇(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 로봇(100)의 구동을 위한 데이터의 경우 로봇(100)에 임베디드된 메모리에 저장되고, 로봇(100)의 확장 기능을 위한 데이터의 경우 로봇(100)에 탈부착이 가능한 메모리에 저장될 수 있다.

한편, 로봇(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 로봇(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.

통신 인터페이스(130)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(130)는 무선 통신 모듈 또는 유선 통신 모듈을 포함할 수 있다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.

무선 통신 모듈은 무선으로 외부 장치와 통신하는 모듈일 수 있다. 예를 들어, 무선 통신 모듈은 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 또는 기타 통신 모듈 중 적어도 하나의 모듈을 포함할 수 있다.

와이파이 모듈, 블루투스 모듈은 각각 와이파이 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID(service set identifier) 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.

적외선 통신 모듈은 가시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.

기타 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.

유선 통신 모듈은 유선으로 외부 장치와 통신하는 모듈일 수 있다. 예를 들어, 유선 통신 모듈은 LAN(Local Area Network) 모듈, 이더넷 모듈, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 UWB(Ultra Wide-Band) 모듈 중 적어도 하나를 포함할 수 있다.

적어도 하나의 프로세서(140)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM(advanced reduced instruction set computer (RISC) machines) 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 적어도 하나의 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 적어도 하나의 프로세서(140)는 메모리에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.

조작 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 로봇(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.

구동부(160)는 로봇(100)의 이동을 제어하기 위한 모터를 포함할 수 있다. 여기서, 모터를 물리적인 힘을 생성할 수 있다.

스피커(170)는 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다.

마이크(180)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환하기 위한 구성이다. 마이크(180)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크(180)는 로봇(100)의 상측이나 전면 방향, 측면 방향 등에 일체형으로 형성될 수 있다. 마이크(180)는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.

센서부(190)는 적어도 하나의 센서를 포함할 수 있다. 여기서, 센서부(190)는 카메라(191), 거리 센서(192), 뎁스 카메라, 이미지 센서, 생체 센서 중 적어도 하나를 포함할 수 있다. 여기서, 생체 센서는 지문 센서, 홍채 센서 등을 의미할 수 있다. 여기서, 이미지 센서는 카메라(191) 이외에 이미지를 센싱하는 다양한 센서를 의미할 수 있다. 여기서, 센서부(190)는 라이다 센서를 포함할 수 있다.

도 3은 웨어러블 디바이스(200)를 통해 로봇(100)의 응답을 출력하는 동작을 설명하기 위한 도면이다.

도 3의 실시 예(310)는, 사용자(10)의 음성을 로봇(100)이 수신함을 나타낸다. 로봇(100)은 사용자(10)가 발화한 음성을 직접 획득할 수 있다. 다양한 실시 예에 따라, 사용자(10)는 음성 이외에 터치 등의 조작 인터페이스를 이용하여 사용자 명령을 로봇(100)에 입력할 수 있다.

도 3의 실시 예(320)는, 로봇(100)이 사용자 입력(사용자 음성)에 대응되는 응답 정보를 직접 출력하지 않고, 웨어러블 디바이스(200)를 통해 출력함을 나타낸다. 사용자(10)가 이미 웨어러블 디바이스(200)를 착용하고 있으므로, 로봇(100)이 오디오 데이터 형태로 응답 정보를 출력하여도 사용자(10)가 이를 직접 듣기 어려울 수 있다. 따라서, 로봇(100)은 응답 정보를 웨어러블 디바이스(200)를 통해 출력할 수 있다.

예를 들어, 사용자(10)가 직접 “삼성봇, 오늘 날씨 어때?”라고 발화하면, 로봇(100)은 “비가 올 예정이에요”라는 응답 정보를 웨어러블 디바이스(200)를 통해 사용자(10)에게 제공할 수 있다.

도 4는 웨어러블 디바이스(200) 및 단말 장치(300)를 통해 로봇(100)의 응답을 출력하는 동작을 설명하기 위한 도면이다.

도 4를 참조하면, 로봇(100), 웨어러블 디바이스(200) 및 단말 장치(300) 사이에 다양한 통신 연결 방식이 적용될 수 있다.

다양한 실시 예에 따라, 멀티 포인트 방식이 적용될 수 있다. 멀티 포인트 방식은 하나의 기기에 2개 이상의 외부 기기가 페어링되는 통신 방식을 의미할 수 있다. 2개 이상의 외부 기기가 서로 다른 프로파일(Profile)을 이용하는 경우, 하나의 기기가 2개의 외부 기기와 동시에 페어링될 수 있다.

프로파일은 A2DP (Advanced Audio Distribution Profile), AVRCP (Audio/Video Remote Control Profile), HSP (Headset Profile), HFP (Hands-Free Profile), HID (Human Interface Device Profile) 등이 있을 수 있다. 여기서, 각각의 기기가 서로 다른 프로파일을 이용하는 경우 멀티 포인트 방식을 통해 통신 연결될 수 있다. 상술한 프로파일의 종류(또는 타입)이 다르면, 2개의 외부 기기가 하나의 기기와 동시에 통신할 수 있다.

도 4의 실시 예(410)에 따라, 로봇(100)은 응답 정보를 바로 웨어러블 디바이스(200)에 전송할 수 있다. 단말 장치(300)는 웨어러블 디바이스(200)와 통신을 수행하고 있는 상태이지만, 로봇(100)이 추가적으로 웨어러블 디바이스(200)에 연결될 수 있다.

예를 들어, 웨어러블 디바이스(200)는 제1 프로파일 타입을 이용하는 로봇(100) 과 제2 프로파일 타입을 이용하는 단말 장치(300)와 동시에 통신을 수행할 수 있다.

도 4의 실시 예(420)예에 따라, 로봇(100)은 응답 정보를 사용자(10)에게 제공하기 위해 단말 장치(300)를 이용할 수 있다. 단말 장치(300)는 웨어러블 디바이스(200)와 통신이 확립된 상태를 의미할 수 있다. 예를 들어, 단말 장치(300)는 웨어러블 디바이스(200)와 블루투스 통신을 수행할 수 있다. 여기서, 로봇(100)은 단말 장치(300)에 응답 정보를 전송할 수 있다. 여기서, 단말 장치(300)는 단말 장치(300)에 응답 정보를 전송할 수 있다.

예를 들어, 단말 장치(300)는 제1 프로파일 타입을 이용하는 로봇(100)과 제2 프로파일 타입을 이용하는 웨어러블 디바이스(200)와 동시에 통신을 수행할 수 있다.

도 5는 웨어러블 디바이스(200), 단말 장치(300) 및 서버(400)를 통해 로봇(100)의 응답을 출력하는 동작을 설명하기 위한 도면이다.

도 5를 참조하면, 제1 공간에 존재하는 로봇(100)과 제2 공간에 존재하는 사용자(10) 사이에 통신을 수행할 수 있다. 서버(400)는 로봇(100)과 단말 장치(300)를 연결하는 서버일 수 있다.

사용자(10)가 밖에서 사용자 입력(삼성봇, 집에 창문이 열려 있는지 확인해줘)을 발화하였다고 가정한다. 단말 장치(300)는 사용자 입력(사용자 음성)을 획득할 수 있다. 단말 장치(300)는 사용자 입력을 서버(400)에 전송할 수 있다. 그리고, 서버(400)는 사용자 입력을 로봇(100)에 전송할 수 있다.

여기서, 로봇(100)은 서버(400)로부터 수신된 사용자 입력에 대응되는 응답 정보를 획득할 수 있다. 그리고, 로봇(100)은 응답 정보를 서버(400)에 전송할 수 있다. 서버(400)는 로봇(100)으로부터 수신한 응답 정보를 단말 장치(300)에 전송할 수 있다. 그리고, 단말 장치(300)는 수신된 응답 정보를 웨어러블 디바이스(200)에 전송할 수 있다. 웨어러블 디바이스(200)는 수신된 응답 정보를 출력할 수 있다.

도 6은 웨어러블 디바이스(200)를 통해 로봇(100)의 응답을 출력하는 동작을 설명하기 위한 흐름도이다.

도 6을 참조하면, 로봇(100)은 사용자 입력을 획득할 수 있다 (S610). 로봇(100)은 사용자 입력에 대응되는 응답 정보를 획득할 수 있다 (S620). 여기서, 응답 정보는 음성 인식 결과를 의미할 수 있다. 로봇(100)은 사용자(10)를 포함하는 촬영 이미지를 획득할 수 있다 (S630).

여기서, 로봇(100)은 사용자(10)가 웨어러블 디바이스(200)를 착용하고 있는지 식별할 수 있다 (S640). 사용자(10)가 웨어러블 디바이스(200)를 착용하고 있지 않은 경우 (S640-N), 로봇(100)은 응답 정보를 출력할 수 있다 (S645). 전자 장치(100)가 웨어러블 디바이스(200)를 착용하지 않다면 로봇(100)에서 출력되는 오디오 데이터를 들을 수 있다. 따라서, 로봇(100)은 직접 오디오 데이터 형태로 응답 정보를 출력할 수 있다.

사용자(10)가 웨어러블 디바이스(200)를 착용한 것으로 식별되면 (S640-Y), 로봇(100)은 응답 정보를 웨어러블 디바이스(200)에 전송할 수 있다 (S660).

웨어러블 디바이스(200)는 로봇(100)로부터 응답 정보를 수신할 수 있다. 그리고, 웨어러블 디바이스(200)는 응답 정보를 출력할 수 있다 (S670).

도 7은 웨어러블 디바이스(200)의 식별 정보를 획득하는 동작을 설명하기 위한 흐름도이다.

도 7의 S710, S720, S730, S740, S745, S760, S770 단계는 도 6의 S610, S620, S630, S640, S645, S660, S670 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.

사용자(10)가 웨어러블 디바이스(200)를 착용한 것으로 식별되면 (S740-Y), 로봇(100)은 통신 인터페이스를 통해 연결 가능한 주변 기기의 식별 정보를 획득할 수 있다. 예를 들어, 로봇(100)은 근거리 통신 연결이 가능한 주변 기기를 탐색할 수 있다. 로봇(100)은 기 등록된 기기 정보 중 현재 연결 가능한 웨어러블 디바이스(200)의 식별 정보를 획득할 수 있다 (S750). 그리고, 로봇(100)은 식별된 웨어러블 디바이스(200)의 식별 정보에 기초하여 웨어러블 디바이스(200)에 응답 정보를 전송할 수 있다 (S760). 이후, 웨어러블 디바이스(200)는 응답 정보를 출력할 수 있다 (S770).

도 8은 로봇(100) 및 웨어러블 디바이스(200) 사이의 통신 연결을 수행하는 동작을 설명하기 위한 흐름도이다.

도 8의 S810, S820, S830, S840, S845, S860, S870 단계는 도 7의 S710, S720, S730, S740, S745, S760, S770 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.

웨어러블 디바이스(200)의 식별 정보를 획득한 후, 로봇(100)은 통신 연결을 요청하는 제어 신호를 웨어러블 디바이스(200)에 전송할 수 있다 (S851).

웨어러블 디바이스(200)는 로봇(100)으로부터 통신 연결 요청과 관련된 제어 신호를 수신할 수 있다. 그리고, 웨어러블 디바이스(200)는 로봇(100)과 통신 연결을 수행할 수 있다 (S852). 웨어러블 디바이스(200)는 통신 연결을 수락하는 제어 신호를 전송할 수 있다 (S853). 다양한 실시 예에 따라, S852 단계는 S853 단계 이후에 수행될 수 있다.

로봇(100)은 웨어러블 디바이스(200)로부터 통신 연결을 수락하는 제어 신호를 수신할 수 있다. 통신 연결을 수락하는 제어 신호가 수신되면, 로봇(100)은 응답 정보를 웨어러블 디바이스(200)에 전송할 수 있다. 이후, S870 단계가 수행될 수 있다.

도 9는 다양한 실시 예에 따라, 웨어러블 디바이스(200)에서 응답 정보가 출력될 수 없는 경우 로봇(100)에서 표시되는 UI를 설명하기 위한 도면이다.

도 9의 실시 예(910)는 로봇(100)이 응답 정보를 이미지 데이터를 이용하여 출력함을 나타낸다. 이미지 데이터는 응답 정보와 관련된 아이콘(911) 또는 응답 정보와 관련된 텍스트(912) 중 적어도 하나를 포함할 수 있다. 예를 들어, 응답 정보와 관련된 텍스트(912)는 “비가 올 예정이에요”라는 내용을 포함할 수 있다.

도 9의 실시 예(920)는 로봇(100)이 응답 정보 및 웨어러블 디바이스(200)와 관련된 정보를 이미지 데이터를 이용하여 출력함을 나타낸다. 여기서, 웨어러블 디바이스(200)와 관련된 정보는 웨어러블 디바이스(200)에서 응답 정보가 출력될 수 있는지 여부를 나타내는 정보를 의미할 수 있다. 웨어러블 디바이스(200)와 관련된 정보는 웨어러블 디바이스(200)로부터 수신되는 알림 정보에 기초하여 획득될 수 있다.

이미지 데이터는 응답 정보와 관련된 아이콘(911), 응답 정보와 관련된 텍스트(912), 웨어러블 디바이스(200)와 관련된 아이콘(921) 또는 웨어러블 디바이스(200)와 관련된 텍스트(922, 923) 중 적어도 하나를 포함할 수 있다. 웨어러블 디바이스(200)와 관련된 텍스트(922, 923)는 현재 웨어러블 디바이스(200)에서 응답 정보를 출력할 수 있는지 여부를 나타내는 텍스트 또는 웨어러블 디바이스(200)에서 응답 정보를 출력할 수 없는 원인을 나타내는 텍스트 중 적어도 하나를 포함할 수 있다.

예를 들어, 웨어러블 디바이스(200)와 관련된 텍스트(922)는 “응답 정보를 출력할 수 없어요”라는 내용을 포함할 수 있다. 또한, 웨어러블 디바이스(200)와 관련된 텍스트(923)는 “우선 권한이 없어요”라는 내용을 포함할 수 있다.

도 9의 실시 예(930)는 로봇(100)이 응답 정보를 오디오 데이터를 이용하여 출력함을 나타낸다. 로봇(100)은 스피커(170)를 통해 응답 정보를 출력할 수 있다. 오디오 데이터는 응답 정보와 관련된 음성 데이터(931)를 포함할 수 있다. 예를 들어, 응답 정보와 관련된 음성 데이터(931)는 “비가 올 예정이에요”라는 내용을 포함할 수 있다.

한편, 도 9에서 기재된 아이콘 이미지, 텍스트 이미지, 음성 데이터 등은 사용자의 설정에 따라 일부가 생략되거나 추가될 수 있다.

도 10은 로봇(100)에서 전송되는 정보의 우선 순위를 판단하는 동작을 설명하기 위한 흐름도이다.

도 10의 S1010, S1020, S1030, S1040, S1045, S1050 단계는 도 7의 S710, S720, S730, S740, S745, S750 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.

웨어러블 디바이스(200)의 식별 정보를 획득한 후, 로봇(100)은 로봇의 식별 정보 및 응답 정보를 웨어러블 디바이스(200)에 전송할 수 있다 (S1060).

웨어러블 디바이스(200)는 오디오 데이터를 출력할 수 있다 (S1065). 오디오 데이터를 출력하는 동안, 웨어러블 디바이스(200)는 로봇(100)으로부터 로봇의 식별 정보 및 응답 정보를 수신할 수 있다. 그리고, 웨어러블 디바이스(200)는 로봇(100)의 우선 순위가 오디오 데이터 출력의 우선 순위보다 높은지 여부를 판단할 수 있다 (S1070). 로봇(100)의 우선 순위가 오디오 데이터 출력의 우선 순위보다 높으면 (S1070-Y), 웨어러블 디바이스(200)은 응답 정보를 출력할 수 있다 (S1075).

로봇(100)의 우선 순위가 오디오 데이터 출력의 우선 순위보다 높지 않으면 (S1070-N), 웨어러블 디바이스(200)는 웨어러블 디바이스(200)에서 응답 정보가 출력될 수 없음을 나타내는 알림 정보를 생성할 수 있다 (S1080). 웨어러블 디바이스(200)는 알림 정보를 로봇(100)에 전송할 수 있다 (S1085).

로봇(100)은 웨어러블 디바이스(200)로부터 알림 정보를 수신할 수 있다. 그리고, 로봇(100)은 응답 정보 또는 알림 정보 중 적어도 하나를 출력할 수 있다 (S1090).

응답 정보만을 오디오 데이터를 이용하여 출력하는 동작은 도 9의 실시 예(910)에 기재하였다.

응답 정보 및 알림 정보를 모두 출력하는 동작은 도 9의 실시 예(920, 930)에 기재하였다.

도 11은 로봇(100)에서 응답 정보를 출력하는 동작을 설명하기 위한 흐름도이다.

도 11을 참조하면, 로봇(100)은 웨어러블 디바이스(200)에서 응답 정보가 출력될 수 없음을 나타내는 알림 정보를 수신할 수 있다 (S1105).

알림 정보는 웨어러블 디바이스(200)와 관련된 정보를 의미할 수 있다. 알림 정보는 웨어러블 디바이스(200)에서 응답 정보의 출력 가능 여부를 나타내는 정보 또는 현재 웨어러블 디바이스(200)에서 오디오 데이터를 출력 중인지 여부를 나타내는 정보 중 적어도 하나를 포함할 수 있다.

웨어러블 디바이스(200)에서 응답 정보가 출력될 수 없는 경우, 응답 정보를 로봇(100)이 직접 출력할 수 있다. 여기서, 로봇(100)은 웨어러블 디바이스(200)에서 오디오 데이터를 출력 중인지 여부를 판단할 수 있다. 사용자(10)가 웨어러블 디바이스(200)를 통해 오디오 컨텐츠를 듣고 있는 경우, 로봇(100)에서 출력되는 소리를 듣지 못할 가능성이 있기 때문이다.

로봇(100)은 알림 정보에 기초하여 웨어러블 디바이스(200)에서 현재 오디오 데이터를 출력하고 있는지 여부를 판단할 수 있다 (S1110). 웨어러블 디바이스(200)에서 현재 오디오 데이터를 출력하고 있는 경우 (S1115-Y), 로봇(100)은 이미지 응답 데이터를 디스플레이(110)를 통해 출력할 수 있다 (S1115). 웨어러블 디바이스(200)에서 현재 오디오 데이터를 출력하고 있지 않은 경우 (S1115-N), 로봇(100)은 오디오 응답 데이터를 스피커(170)를 통해 출력할 수 있다.

도 12는 다양한 실시 예에 따라, 웨어러블 디바이스(200)에서 응답 정보가 출력되는 경우 로봇(100)에서 표시되는 UI를 설명하기 위한 도면이다.

도 12의 실시 예(1210)를 참조하면, 로봇(100)은 사용자(10)가 현재 웨어러블 디바이스(200)를 착용하고 있음을 나타내는 아이콘(1211)을 디스플레이(110)에 표시할 수 있다. 또한, 로봇(100)은 응답 정보와 관련된 아이콘(1212)을 디스플레이(110)에 표시할 수 있다.

도 12의 실시 예(1220)를 참조하면, 로봇(100)은 현재 웨어러블 디바이스(200)를 착용하고 있음을 나타내는 아이콘(1221) 또는 현재 웨어러블 디바이스(200)를 착용하고 있음을 나타내는 텍스트(1222) 중 적어도 하나를 디스플레이(110)에 표시할 수 있다.

도 12의 실시 예(1230)를 참조하면, 로봇(100)은 응답 정보와 관련된 아이콘(1231) 또는 응답 정보와 관련된 텍스트(1232) 중 적어도 하나를 디스플레이(110)에 표시할 수 있다.

도 12의 실시 예(1240)를 참조하면, 응답 정보와 관련된 아이콘(1241), 응답 정보와 관련된 텍스트(1242), 현재 웨어러블 디바이스(200)를 착용하고 있음을 나타내는 아이콘(1243) 또는 현재 웨어러블 디바이스(200)를 착용하고 있음을 나타내는 텍스트(1244) 중 적어도 하나를 표시할 수 있다.

도 13은 로봇(100) 및 웨어러블 디바이스(200)에서 동시에 정보를 출력하는 동작을 설명하기 위한 흐름도이다.

도 13의 S1310, S1320, S1330, S1340, S1345, S1350, S1360, S1370 단계는 도 7의 S710, S720, S730, S740, S745, S750, S760, S770 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.

로봇(100)이 응답 정보를 웨어러블 디바이스(200)에 전송한 후, 로봇(100)은 응답 정보 또는 웨어러블 디바이스(200)와 관련된 정보 중 적어도 하나를 출력할 수 있다 (S1375). 여기서, 응답 정보는 응답 정보와 관련된 아이콘, 응답 정보와 관련된 텍스트 중 적어도 하나를 포함할 수 있다. 여기서, 웨어러블 디바이스(200)와 관련된 정보는 현재 웨어러블 디바이스(200)를 착용하고 있음을 나타내는 아이콘(1243) 또는 현재 웨어러블 디바이스(200)를 착용하고 있음을 나타내는 텍스트(1244) 중 적어도 하나를 포함할 수 있다. 이와 관련된 구체적인 예시는 도 12에서 기재하였다.

도 14는 출력 타입을 고려하여 응답 정보를 획득하는 동작을 설명하기 위한 흐름도이다.

도 14의 S1410, S1420, S1430, S1440, S1445, S1450, S1460, S1470 단계는 도 7의 S710, S720, S730, S740, S745, S750, S760, S770 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.

웨어러블 디바이스(200)의 식별 정보를 획득한 후, 로봇(100)은 웨어러블 디바이스(200)에 대응되는 출력 타입을 식별할 수 있다 (S1460). 출력 타입은 이미지 데이터를 출력할 것인지 오디오 데이터를 출력할 것인지를 나타내는 타입일 수 있다. 예를 들어, 제1 출력 타입은 이미지 데이터를 출력하는 웨어러블 디바이스(200)를 의미할 수 있다. 제2 출력 타입은 오디오 데이터를 출력하는 웨어러블 디바이스(200)를 의미할 수 있다. 제3 출력 타입은 이미지 데이터와 오디오 데이터를 모두 출력하는 웨어러블 디바이스(200)를 의미할 수 있다. 로봇(100)은 기 등록된 웨어러블 디바이스 정보에 기초하여 웨어러블 디바이스(200)가 어느 출력 타입을 갖는지 판단할 수 있다.

여기서, 로봇(100)은 웨어러블 디바이스(200)의 출력 타입에 대응되는 응답 정보를 획득할 수 있다 (S1461). 구체적으로, 로봇(100)은 웨어러블 디바이스(200)의 출력 타입에 기초하여 사용자 입력에 대응되는 이미지 응답 데이터 또는 오디오 응답 데이터 중 적어도 하나를 획득할 수 있다. 응답 정보는 이미지 응답 데이터 또는 오디오 응답 데이터 중 적어도 하나를 포함할 수 있다. 로봇(100)은 웨어러블 디바이스(200)의 출력 타입에 대응되는 응답 정보를 웨어러블 디바이스(200)에 전송할 수 있다 (S1462). S1461 단계에서 획득되는 응답 정보는 S1420 단계에서 획득되는 응답 정보가 특정 형태로 변경된 정보를 의미할 수 있다.

웨어러블 디바이스(200)는 로봇(100)로부터 응답 정보를 수신할 수 있다. 그리고, 웨어러블 디바이스(200)는 응답 정보를 출력할 수 있다 (S1470).

도 15는 웨어러블 디바이스(200)의 출력 타입에 따라 제공되는 응답 정보를 설명하기 위한 도면이다.

도 15의 실시 예(1510)는 웨어러블 디바이스(200)가 오디오 데이터만을 출력하는 디바이스(예를 들어, 이어폰 또는 헤드폰)를 가정한다. 웨어러블 디바이스(200)에서 이미지 데이터를 출력하지 못하기 때문에, 로봇(100)은 웨어러블 디바이스(200)에 이미지 응답 데이터를 전송할 필요가 없다. 따라서. 로봇(100)은 웨어러블 디바이스(200)에 오디오 응답 데이터만을 포함하는 응답 정보를 전송할 수 있다. 웨어러블 디바이스(200)는 로봇(100)으로부터 수신한 응답 정보(예를 들어, “비가 올 예정이에요”)를 내부 스피커를 통해 출력할 수 있다.

도 15의 실시 예(1530)는 웨어러블 디바이스(200)가 웨어러블 디바이스(200)가 이미지 데이터 및 오디오 데이터를 모두 출력하는 디바이스(예를 들어, HMD(Head Mounted Display) 디바이스)를 가정한다. 로봇(100)은 웨어러블 디바이스(200)의 출력 타입에 기초하여 이미지 응답 데이터 및 오디오 응답 데이터를 모두 포함하는 응답 정보를 웨어러블 디바이스(200)에 전송할 수 있다. 여기서, 웨어러블 디바이스(200)은 로봇(100)으로부터 수신된 응답 정보를 출력하는 동작의 우선 순위와 현재 이용 중인 컨텐츠(예를 들어, 게임)를 출력하는 동작의 우선 순위를 비교할 수 있다. 여기서, 웨어러블 디바이스(200)는 우선 순위의 비교 결과에 기초하여 웨어러블 디바이스(200)에서 오디오 응답 데이터를 출력하지 않고 이미지 응답 데이터만을 내부 디스플레이에 표시하는 것으로 결정할 수 있다.

도 15의 실시 예(1530)는 웨어러블 디바이스(200)가 웨어러블 디바이스(200)가 이미지 데이터 및 오디오 데이터를 모두 출력하는 디바이스(예를 들어, HMD(Head Mounted Display) 디바이스)를 가정한다. 웨어러블 디바이스(200)는 우선 순위 비교 결과에 기초하여 로봇(100)으로부터 수신한 응답 정보(예를 들어, “비가 올 예정이에요”)를 내부 스피커 및 내부 디스플레이를 통해 출력할 수 있다.

도 15의 실시 예(1540)는 웨어러블 디바이스(200)가 웨어러블 디바이스(200)가 이미지 데이터 및 오디오 데이터를 모두 출력하는 디바이스(예를 들어, HMD(Head Mounted Display) 디바이스)를 가정한다. 웨어러블 디바이스(200)는 우선 순위 비교 결과에 기초하여 로봇(100)으로부터 수신한 응답 정보(예를 들어, “비가 올 예정이에요”) 중 응답 정보와 관련된 아이콘(1541)만을 내부 디스플레이에 표시할 수 있다. 여기서, 아이콘(1541)은 로봇(100)으로부터 응답 정보가 수신되었음을 알리기 위한 인디케이터를 나타낼 수 있다.

도 16은 웨어러블 디바이스(200)의 출력 타입에 따라 제공되는 응답 정보를 설명하기 위한 흐름도이다.

도 16의 S1610, S1620, S1630, S1640, S1650, S1670 단계는 도 7의 S710, S720, S730, S740, S750, S770 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.

사용자(10)가 웨어러블 디바이스(200)를 착용하고 있지 않은 상태 인 것으로 식별되면 (S1640-N), 로봇(100)은 오디오 응답 데이터를 포함하는 응답 정보를 획득할 수 있다 (S1645). 그리고, 로봇(100)은 응답 정보를 출력할 수 있다 (S1646).

사용자(10)가 웨어러블 디바이스(200)를 착용한 상태인 것으로 식별되면 (S1640-Y), 로봇(100)은 웨어러블 디바이스(200)의 식별 정보를 획득할 수 있다 (S1650). 그리고, 로봇(100)은 웨어러블 디바이스(200)에 대응되는 출력 타입을 식별할 수 있다 (S1660). 로봇(100)은 메모리에 기 저장된 웨어러블 디바이스와 관련된 정보에 기초하여 웨어러블 디바이스(200)의 출력 타입을 식별할 수 있다.

여기서, 로봇(100)은 웨어러블 디바이스(200)가 이미지 데이터를 출력 가능한지 판단할 수 있다 (S1661). 웨어러블 디바이스(200)가 이미지 데이터를 출력 가능하다고 식별되면 (S1661-Y), 로봇(100)은 이미지 응답 데이터 및 오디오 응답 데이터를 포함하는 응답 정보를 획득할 수 있다 (S1662). 여기서, 로봇(100)은 이미지 응답 데이터 및 오디오 응답 데이터를 포함하는 응답 정보를 웨어러블 디바이스(200)에 전송할 수 있다 (S1663). 웨어러블 디바이스(200)는 로봇(100)으로부터 응답 정보를 수신할 수 있다. 그리고, 웨어러블 디바이스(200)는 응답 정보를 출력할 수 있다 (S1670).

웨어러블 디바이스(200)가 이미지 데이터를 출력 가능하지 않다고 식별되면 (S1661-N), 로봇(100)은 오디오 응답 데이터만을 포함하는 응답 정보(제1 응답 정보)를 웨어러블 디바이스(200)에 전송할 수 있다. 웨어러블 디바이스(200)는 로봇(100)으로부터 응답 정보(제1 응답 정보)를 수신할 수 있다. 그리고, 웨어러블 디바이스(200)는 응답 정보(제1 응답 정보)를 출력할 수 있다 (S1670). 그리고, 로봇(100)은 이미지 응답 데이터만을 포함하는 응답 정보(제2 응답 정보)를 획득할 수 있다 (S1672). 그리고, 로봇(100)은 응답 정보(제2 응답 정보)를 출력할 수 있다 (S1673).

도 17은 다양한 실시 예에 따라, 웨어러블 디바이스(200)의 출력 타입에 따라 로봇(100)에서 제공되는 UI를 설명하기 위한 도면이다.

도 17의 실시 예(1710)를 참조하면, 로봇(100)은 사용자(10)가 웨어러블 디바이스(200)를 착용하고 있음을 나타내는 아이콘(1711) 또는 웨어러블 디바이스(200)의 출력 타입을 나타내는 정보(1712) 중 적어도 하나를 출력할 수 있다. 예를 들어, 출력 타입을 나타내는 정보(1712)는 웨어러블 디바이스(200)가 이미지 데이터를 출력할 수 있는 이미지 출력 타입 또는 오디오 데이터를 출력할 수 있는 오디오 출력 타입, 이미지 데이터 및 오디오 데이터를 모두 출력할 수 있는 이미지/오디오 출력 타입임을 나타내는 정보를 포함할 수 있다.

도 17의 실시 예(1720)를 참조하면, 로봇(100)은 응답 정보와 관련된 아이콘(1721), 응답 정보와 관련된 텍스트(1722), 사용자(10)가 웨어러블 디바이스를 착용하고 있지 않음을 나타내는 아이콘(1723), 웨어러블 디바이스(200)가 응답 정보를 출력할 수 없음을 나타내는 텍스트(1724) 또는 웨어러블 디바이스(200)가 응답 정보를 출력할 수 없는 이유를 나타내는 텍스트(1725) 중 적어도 하나를 디스플레이(110)에 표시할 수 있다.

여기서, 로봇(100)은 추가적으로 응답 정보(“비가 올 예정이에요”)를 오디오 응답 데이터로서 스피커(170)를 통해 출력할 수 있다.

도 18은 출력 타입을 고려하여 응답 데이터를 획득하는 로봇(100)의 동작을 설명하기 위한 흐름도이다.

도 18을 참조하면, 로봇(100)은 웨어러블 디바이스(200)에 대응되는 출력 타입을 식별할 수 있다 (S1805). 여기서, S1805 단계는 도 16의 S1660 단계에 대응될 수 있다. 따라서, 중복되는 관련 설명을 생략한다.

로봇(100)은 웨어러블 디바이스(200)의 출력 타입이 오디오 출력 타입인지 식별할 수 있다 (S1810). 웨어러블 디바이스(200)의 출력 타입이 오디오 출력 타입이면 (S1810-Y), 로봇(100)은 웨어러블 디바이스(200)의 출력 타입이 이미지 출력 타입인지 식별할 수 있다 (S1815).

웨어러블 디바이스(200)의 출력 타입이 오디오 출력 타입이나 이미지 출력 타입이 아니면 (S1815-N), 로봇(100)은 오디오 응답 데이터를 획득할 수 있다 (S1820). 그리고, 로봇(100)은 오디오 응답 데이터만을 포함하는 응답 정보를 획득할 수 있다 (S1830). 로봇(100)은 웨어러블 디바이스(200)에 응답 정보를 전송할 수 있다 (S1835).

웨어러블 디바이스(200)의 출력 타입이 오디오 출력 타입 및 이미지 출력 타입이면 (S1815-Y), 로봇(100)은 이미지 응답 데이터 및 오디오 응답 데이터를 획득할 수 있다 (S1825). 그리고, 로봇(100)은 이미지 응답 데이터 및 오디오 응답 데이터를 모두 포함하는 응답 정보를 획득할 수 있다 (S1830). 그리고, 로봇(100)은 웨어러블 디바이스(200)에 응답 정보를 전송할 수 있다 (S1835).

웨어러블 디바이스(200)의 출력 타입이 오디오 출력 타입이 아니면 (S1810-N), 로봇(100)은 웨어러블 디바이스(200)의 출력 타입이 이미지 출력 타입인지 식별할 수 있다 (S1840).

웨어러블 디바이스(200)의 출력 타입이 오디오 출력 타입은 아니나 이미지 출력 타입이면 (S1840-Y), 로봇(100)은 이미지 응답 데이터를 획득할 수 있다 (S1845). 그리고, 로봇(100)은 이미지 응답 데이터만을 포함하는 응답 정보를 획득할 수 있다 (S1830). 로봇(100)은 웨어러블 디바이스(200)에 응답 정보를 전송할 수 있다 (S1835).

웨어러블 디바이스(200)의 출력 타입이 오디오 출력 타입 및 이미지 출력 타입이 모두 아니면 (S1840-N), 웨어러블 디바이스(200)에서 응답 정보의 출력이 불가능함을 알리기 위한 UI를 출력할 수 있다 (S1850).

도 19는 사용자를 식별하는 동작을 설명하기 위한 도면이다.

도 19의 실시 예(1910)를 참조하면, 로봇(100)은 제1 거리(d1)에 있는 제1 사용자(10) 및 제2 거리(d2)에 있는 제2 사용자(20)를 식별할 수 있다. 여기서, 제1 거리(d1)는 로봇(100)과 제1 사용자(10) 사이의 거리를 의미할 수 있다. 여기서, 제2 거리(d2)는 로봇(100)과 제2 사용자(20) 사이의 거리를 의미할 수 있다.

여기서, 로봇(100)이 “오늘 스케쥴 알려줘”라는 사용자 음성을 수신할 수 있다. 로봇(100)은 두 명의 사용자(10, 20) 중 어느 사용자가 발화하였는지를 특정할 필요성이 있다. 스케쥴은 사용자별로 상이할 수 있기 때문이다.

도 19의 실시 예(1920)는 제1 사용자(10) 및 제2 사용자(20)를 포함하는 촬영 이미지를 나타낸다. 로봇(100)은 촬영 이미지에 기초하여 복수의 사용자의 시선을 획득(또는 추적)할 수 있다. 여기서, 로봇(100)은 복수의 사용자 각각의 시선에 기초하여 사용자 입력을 발화한 사용자를 식별할 수 있다.

로봇(100)은 촬영 이미지에 기초하여 제1 사용자(10)의 시선 및 제2 사용자(20)의 시선을 획득할 수 있다. 로봇(100)은 제1 사용자(10)의 시선 및 제2 사용자(20)의 시선에 기초하여 로봇(100)을 향하는 시선을 선택할 수 있다. 그리고, 로봇(100)은 선택된 시선에 대응되는 사용자가 음성을 발화하였다고 식별할 수 있다.

예를 들어, 로봇(100)은 촬영 이미지에 기초하여 제1 사용자(10)의 시선이 로봇(100)을 향하고 있으며, 제2 사용자(20)의 시선이 로봇(100)을 향하고 있지 않다고 식별할 수 있다. 따라서, 로봇(100)은 사용자 음성이 제1 사용자(10)로부터 발화한 것이라고 판단할 수 있다. 그리고, 로봇(100)은 제1 사용자(10)에 대응되는 응답 정보(제1 사용자(10)에 대응되는 스케쥴 정보)를 출력할 수 있다.

다양한 실시 예에 따라, 사용자 입력(또는 사용자 명령)이 사용자를 특정할 필요성이 없는 것으로 식별되면, 로봇(100)은 복수의 사용자를 식별하였음에도 불구하고 사용자를 특정하지 않고 바로 응답 정보를 출력할 수 있다.

도 20은 사용자를 식별하는 동작을 설명하기 위한 흐름도이다.

도 20의 S2010, S2020, S2030, S2040, S2045, S2060, S2070 단계는 도 7의 S710, S720, S730, S740, S745, S760, S770 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.

사용자(10)가 웨어러블 디바이스(200)를 착용한 상태인 것으로 식별되면 (S2040-Y), 로봇(100)은 제1 사용자(10)의 시선 및 제2 사용자(20)의 시선을 획득할 수 있다 (S2051). 그리고, 로봇(100)은 획득된 시선들에 기초하여 제1 사용자(10) 또는 제2 사용자(20) 중 로봇(100)을 바라보는 사용자를 식별할 수 있다 (S2052).

그리고, 로봇(100)은 식별된 사용자에 대응되는 웨어러블 디바이스(200)의 식별 정보를 획득할 수 있다 (S2053). 그리고, 로봇(100)은 식별 정보에 기초하여 응답 정보를 웨어러블 디바이스(200)에 전송할 수 있다 (S2060). 그리고, 웨어러블 디바이스(200)은 수신된 응답 정보를 출력할 수 있다 (S2070).

도 21은 동시 발화의 경우 로봇(100)의 동작을 설명하기 위한 도면이다.

도 21의 실시 예(2110)를 참조하면, 로봇(100)은 임계 시간 동안 복수의 사용자로부터 사용자 음성을 수신할 수 있다. 로봇(100)은 제1 거리(d1)에 있는 제1 사용자(10)와 제2 거리(d2)에 있는 제2 사용자(20)를 식별할 수 있다. 그리고, 로봇(100)은 제1 사용자(10) 및 제2 사용자(20)로부터 각각 별개의 사용자 음성을 임계 시간 이내에 수신함을 가정한다. 제1 사용자(10)는 “삼성봇, 오늘 날씨 어때?”라고 발화할 수 있다. 제2 사용자(20)는 “삼성봇, 오늘 스케쥴 알려줘”라고 발화할 수 있다. 여기서, “삼성봇”은 로봇(100)을 호출하는 웨이크업 워드를 나타낼 수 있다. 로봇(100)은 제1 사용자(10) 및 제2 사용자(20)에게 각각 응답 정보를 제공할 수 있다. 여기서, 로봇(100)은 누구에게 먼저 응답 정보를 제공할 것인지 결정할 수 있다.

도 21의 실시 예(2120)를 참조하면, 로봇(100)은 복수의 사용자로부터 복수의 사용자 입력이 수신되면, 사용자 위치에 기초하여 응답 정보를 제공할 순서를 결정할 수 있다. 로봇(100)은 제1 사용자(10)에 대응되는 제1 거리(d1) 및 제2 사용자(20)에 대응되는 제2 거리(d2)를 비교하여, 로봇(100)으로부터 더 가까운 거리에 존재하는 사용자에게 응답 정보를 제공할 수 있다.

예를 들어, 제1 사용자(10)가 제1 거리(d1)에 있고, 제2 사용자(20)가 제2 거리(d2)에 있다고 가정한다. 제1 거리(d1)는 제2 거리(d2)보다 작다고 가정한다. 여기서, 로봇(100)은 로봇(100)으로부터 가까운 거리에 있는 제1 사용자(10)에게 응답 정보를 먼저 제공할 수 있다. 예를 들어, 로봇(100)은 제1 시간(t1)에 제1 사용자(10)에 대응되는 웨어러블 디바이스(200-1)에 제1 응답 정보(“비가 올 예정이에요”)를 전송할 수 있다. 또한, 로봇(100)은 제2 시간(t2)에 제2 사용자(20)에 대응되는 웨어러블 디바이스(200-2)에 제2 응답 정보(“오늘 2시에 회의가 있어요”)를 전송할 수 있다. 여기서, t1은 t2보다 작은 값일 수 있다.

도 22는 동시 발화의 경우 로봇(100)의 동작을 설명하기 위한 흐름도이다.

도 22를 참조하면, 로봇(100)은 임계 시간 동안 제1 사용자(10)의 제1 사용자 입력 및 제2 사용자(20)의 제2 사용자 입력을 획득할 수 있다 (S2210). 로봇(100)은 제1 사용자 입력에 대응되는 제1 응답 정보 및 제2 사용자 입력에 대응되는 제2 응답 정보를 획득할 수 있다 (S2220). 로봇(100)은 제1 사용자(10) 및 제2 사용자(20)를 포함하는 촬영 이미지를 획득할 수 있다 (S2230).

로봇(100)은 제1 사용자(10) 및 제2 사용자(20)가 모두 웨어러블 디바이스(200-1, 200-2)를 착용하고 있는지 식별할 수 있다 (S2240).

제1 사용자(10) 및 제2 사용자(20)가 모두 웨어러블 디바이스(200-1, 200-2)를 착용하고 있지 않다면, 로봇(100)은 웨어러블 디바이스를 착용하고 있는 사용자를 식별할 수 있다 (S2245). 그리고, 로봇(100)은 식별된 사용자에 대응되는 웨어러블 디바이스에 응답 정보를 전송할 수 있다 (S2246). 만약, 제1 사용자(10) 및 제2 사용자(20) 모두 웨어러블 디바이스를 착용하고 있지 않으면, 로봇(100)은 직접 오디오 응답 데이터를 출력할 수 있다.

제1 사용자(10) 및 제2 사용자(20)가 모두 웨어러블 디바이스(200-1, 200-2)를 착용한 상태인 것으로 식별되면 (S2240-Y), 로봇(100)은 통신 연결을 요청하는 신호를 제1 웨어러블 디바이스(200-1)에 전송할 수 있다 (S2250-1). 또한, 로봇(100)은 통신 연결을 요청하는 신호를 제2 웨어러블 디바이스(200-2)에 전송할 수 있다 (S2250-2).

제1 웨어러블 디바이스(200-1)는 로봇(100)으로부터 통신 연결을 요청하는 신호를 수신할 수 있다. 그리고, 제1 웨어러블 디바이스(200-1)는 통신 연결과 관련된 제1 응답 신호를 로봇(100)에 전송할 수 있다 (S2251-1).

제2 웨어러블 디바이스(200-2)는 로봇(100)으로부터 통신 연결을 요청하는 신호를 수신할 수 있다. 그리고, 제2 웨어러블 디바이스(200-2)는 통신 연결과 관련된 제2 응답 신호를 로봇(100)에 전송할 수 있다 (S2251-2).

로봇(100)은 제1 웨어러블 디바이스(200-1)로부터 통신 연결과 관련된 제1 응답 신호를 수신할 수 있다. 또한, 로봇(100)은 제2 웨어러블 디바이스(200-2)로부터 통신 연결과 관련된 제2 응답 신호를 수신할 수 있다.

로봇(100)은 제1 응답 신호 및 제2 응답 신호에 기초하여 신호 세기를 비교할 수 있다 (S2252). 로봇(100)은 신호 세기에 기초하여 응답 정보의 전송 순서를 결정할 수 있다 (S2253). 예를 들어, 로봇(100)은 신호 세기가 클수록(거리가 가까울수록) 응답 정보를 먼저 제공하는 것으로 결정할 수 있다.

제1 웨어러블 디바이스(200-1)가 제2 웨어러블 디바이스(200-2)보다 로봇(100)에 더 가깝다고 가정한다. 로봇(100)은 제1 응답 정보를 제1 웨어러블 디바이스(200-1)에 전송할 수 있다 (S2260-1). 제1 웨어러블 디바이스(200-1)는 로봇(100)으로부터 수신한 제1 응답 정보를 출력할 수 있다 (S2270-1).

또한, 로봇(100)은 제2 응답 정보를 제2 웨어러블 디바이스(200-2)에 전송할 수 있다 (S2260-2). 제2 웨어러블 디바이스(200-2)는 로봇(100)으로부터 수신한 제2 응답 정보를 출력할 수 있다 (S2270-2).

도 23은 사용자의 위치에 따라 로봇(100)이 이동하는 동작을 설명하기 위한 도면이다.

도 23의 실시 예(2310)는 로봇(100)이 획득하는 촬영 이미지에 사용자(10)가 포함되어 있지 않음을 나타낸다. 사용자 음성(“삼성봇, 오늘 날씨 어때?”)을 획득하면, 로봇(100)은 촬영 이미지를 통해 사용자(10)가 웨어러블 디바이스(200)를 착용하고 있는지 식별할 수 있다. 하지만, 로봇(100)이 촬영 이미지에서 사용자(10)를 식별하지 못할 수 있다. 로봇(100)과 사용자(10)의 거리가 떨어져 있거나, 로봇(100)과 사용자(10) 사이에 장애물이 있는 경우, 로봇(100)은 사용자(10)의 위치를 정확히 식별하지 못할 수 있다.

도 23의 실시 예(2320)는 로봇(100)이 사용자(10) 위치에 기초하여 이동함을 나타낸다. 로봇(100)은 사용자(10) 근처로 이동하여 응답 정보(“비가 올 예정이에요”)를 웨어러블 디바이스(200)에 제공할 수 있다.

도 24는 사용자의 위치에 따라 로봇(100)이 이동하는 동작을 설명하기 위한 흐름도이다.

도 24의 S2410, S2420, S2440, S2445, S2450, S2460, S2470 단계는 도 7의 S710, S720, S740, S745, S750, S760, S770 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.

사용자 입력을 획득한 후, 로봇(100)은 촬영 이미지를 획득할 수 있다 (S2430). 로봇(100)은 촬영 이미지에 기초하여 사용자(10)를 식별할 수 있다 (S2431). 촬영 이미지에 기초하여 사용자(10)가 식별되지 않으면 (S2431-N), 로봇(100)은 센싱 데이터에 기초하여 사용자(10)의 위치를 식별할 수 있다 (S2432). 여기서, 센싱 데이터는 센서부를 통해 획득되는 센싱 데이터를 의미할 수 있다. 로봇(100)은 사용자(10)의 위치를 파악하기 위해 거리 센서 또는 뎁스 카메라를 이용할 수 있다. 로봇(100)은 사용자의 위치에 기초하여 이동할 수 있다 (S2433).

촬영 이미지에 기초하여 사용자(10)가 식별되면 (S2431-Y), 로봇(100)은 S2440 내지 S2470 단계를 수행할 수 있다.

도 25는 로봇(100)의 위치를 가이드하는 UI를 설명하기 위한 도면이다.

도 25를 참조하면, 웨어러블 디바이스(200)는 사용자(10)가 로봇(100)을 바라보도록 가이드하기 위해 UI를 제공할 수 있다. 구체적으로, 웨어러블 디바이스(200)는 디스플레이를 포함할 수 있다. UI는 로봇(100)이 호출되었음을 알리는 텍스트(2501), 로봇(100)의 위치를 가이드하기 위한 아이콘(2502) 또는 로봇(100)의 모습을 나타내는 아이콘(2503) 중 적어도 하나를 포함할 수 있다. 사용자(10)는 웨어러블 디바이스(200)에서 표시되는 UI를 통해 로봇(100)의 위치를 쉽게 파악할 수 있다. 사용자(10)는 웨어러블 디바이스(200)를 로봇(100) 방향으로 회전시킬 수 있다.

여기서, 웨어러블 디바이스(200)는 기존에 제공중인 컨텐츠(예를 들어, 게임)가 출력되는 동안, UI를 표시할 수 있다.

사용자(10)가 웨어러블 디바이스(200)를 회전시키면, 웨어러블 디바이스(200)은 사용자(10) 및 웨어러블 디바이스(200)를 쉽게 촬영할 수 있다.

도 26은 로봇(100)의 위치를 가이드하는 UI를 표시하는 동작을 설명하기 위한 흐름도이다.

도 26의 S2610, S2620, S2630, S2631, S2632, S2640, S2645, S2650, S2660, S2670 단계는 도 24의 S2410, S2420, S2430, S2431, S2432, S2440, S2445, S2450, S2460, S2470 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.

사용자의 위치를 식별한 후, 로봇(100)은 사용자 위치에 기초하여 로봇(100)의 위치를 안내하기 위한 가이드 UI를 생성할 수 있다 (S2633). 그리고, 로봇(100)은 생성된 가이드 UI를 웨어러블 디바이스(200)에 전송할 수 있다 (S2634). 로봇(100)은 가이드 UI를 웨어러블 디바이스(200)에 전송한 후, S2630 내지 S2633 단계를 반복할 수 있다. 만약, 가이드 UI를 출력한 이후 촬영 이미지에 기초하여 사용자가 식별되면 (S2631-Y), 로봇(100)은 S2640 내지 S2670 단계를 수행할 수 있다.

웨어러블 디바이스(200)는 로봇(100)으로부터 가이드 UI를 획득할 수 있다. 그리고, 웨어러블 디바이스(200)는 가이드 UI를 출력할 수 있다 (S2635).

도 27은 웨어러블 디바이스(200)를 탐색하는 동작을 설명하기 위한 흐름도이다.

도 27의 S2710, S2720, S2730, S2745, S2760, S2770 단계는 도 7의 S710, S720, S730, S745, S760, S770 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.

촬영 이미지를 획득한 후, 로봇(100)은 촬영 이미지에 기초하여 사용자를 식별할 수 있다 (S2740). 촬영 이미지에 기초하여 사용자(10)가 식별되지 않으면 (S2740-N), 로봇(100)은 S2730 내지 S2740 단계를 반복할 수 있다.

촬영 이미지에 기초하여 사용자가 식별되면 (S2740-Y), 로봇(100)은 통신 연결 가능한 기기를 탐색할 수 있다 (S2750). 로봇(100)은 탐색된 기기 중 사용자(10)에 대응되는 웨어러블 디바이스(200)를 식별할 수 있다 (S2751). 탐색된 기기 중 사용자(10)에 대응되는 웨어러블 디바이스(200)가 식별되지 않으면 (S2751-N), 로봇(100)은 응답 정보를 출력할 수 있다 (S2745).

탐색된 기기 중 사용자(10)에 대응되는 웨어러블 디바이스(200)가 식별되면 (S2751-Y), 로봇(100)은 웨어러블 디바이스(200)의 식별 정보를 획득할 수 있다 (S2752). 그리고, 로봇(100)은 S2760 내지 S2770 단계를 수행할 수 있다.

도 28은 복수의 사용자와 관련된 정보를 설명하기 위한 도면이다.

도 28의 실시 예(2810)를 참조하면, 로봇(100)은 복수의 사용자와 관련된 정보를 기 저장하고 있을 수 있다. 로봇(100)은 복수의 사용자를 기 등록된 사용자로 설정할 수 있다. 기 등록된 사용자에 대한 정보를 미리 저장하고 있는 경우, 로봇(100)은 기 등록된 사용자에 대해서만 응답 정보를 제공하거나, 기 등록된 사용자에게 적합한 응답 정보를 제공할 수 있다.

기 등록된 사용자 각각에 대응되는 웨어러블 디바이스가 적어도 하나 이상일 수 있다. 예를 들어, 제1 사용자(User A)에 대응되는 웨어러블 기기가 복수 개 일 수 있다.

한편, 로봇(100)은 복수의 사용자 각각의 얼굴 이미지를 획득할 수 있다. 여기서, 얼굴 이미지는 안면 인식과 같은 생체 인증 동작에 이용될 수 있다.

도 29는 단말 장치(300)를 이용하여 응답 정보를 전송하는 동작을 설명하기 위한 흐름도이다.

도 29의 S2910, S2920, S2930, S2940, S2945, S2970 단계는 도 7의 S710, S720, S730, S740, S745, S770 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.

로봇(100)은 응답 정보를 단말 장치(300)를 통해 웨어러블 디바이스(200)에 전송할 수 있다. 구체적으로, 사용자(10)가 웨어러블 디바이스(200)를 착용한 상태인 것으로 식별되면, 로봇(100)은 웨어러블 디바이스(200)와 연결된 단말 장치(300)의 식별 정보를 획득할 수 있다 (S2950).

로봇(100)은 획득된 식별 정보에 기초하여 단말 장치(300)에 응답 정보를 전송할 수 있다 (S2961).

단말 장치(300)는 로봇(100)으로부터 응답 정보를 수신할 수 있다. 그리고, 단말 장치(300)는 응답 정보를 웨어러블 디바이스(200)에 전송할 수 있다 (S2962).

웨어러블 디바이스(200)는 단말 장치(300)로부터 응답 정보를 수신할 수 있다. 그리고, 웨어러블 디바이스(200)는 응답 정보를 출력할 수 있다 (S2970).

도 30은 기 설정된 이벤트와 관련된 사용자 명령에 따른 로봇(100)의 동작을 설명하기 위한 흐름도이다.

도 30의 S3020, S3030, S3040, S3045, S3050, S3060, S3070 단계는 도 7의 S720, S730, S740, S745, S750, S760, S770 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.

로봇(100)은 기 설정된 이벤트의 발생을 조건으로 하는 사용자 입력을 획득할 수 있다 (S3010). 여기서, 기 설정된 이벤트는 사용자의 설정에 미리 정해진 이벤트를 의미할 수 있다. 예를 들어, 기 설정된 이벤트의 발생을 조건으로 하는 사용자 입력은 “손님이 오면 나에게 알려줘”와 같은 명령일 수 있다.

로봇(100)은 기 설정된 이벤트가 발생하였는지 여부를 식별할 수 있다 (S3011). 기 설정된 이벤트가 발생하지 않으면 (S3011-N), 로봇(100)은 기 설정된 이벤트가 발생할 때까지 대기할 수 있다. 기 설정된 이벤트가 발생하면 (S3011-Y), 로봇(100)은 S3020 내지 S3070 단계를 수행할 수 있다.

도 31은 다양한 실시 예에 따라, 로봇(100)의 제어 방법을 설명하기 위한 흐름도이다.

도 31을 참조하면, 로봇의 제어 방법은 사용자 음성 입력이 수신되면, 사용자 음성 입력에 대응되는 응답 정보를 획득하는 단계 (S3105), 촬영 이미지에 기초하여, 사용자가 웨어러블 디바이스를 착용한 상태인지 식별하는 단계 (S3110) 및 사용자가 웨어러블 디바이스를 착용한 상태인 것으로 식별되면, 응답 정보를 웨어러블 디바이스로 전송하는 단계 (S3115)를 포함할 수 있다.

한편, 제어 방법은 사용자가 웨어러블 디바이스를 착용하지 않은 상태인 것으로 식별되면, 응답 정보를 출력하는 단계를 더 포함할 수 있다.

한편, 제어 방법은 적어도 하나의 웨어러블 디바이스의 식별 정보를 저장하는 단계 및 사용자가 웨어러블 디바이스를 착용한 상태인 것으로 식별되면, 저장된 적어도 하나의 웨어러블 디바이스의 식별 정보 중 사용자가 착용한 웨어러블 디바이스의 식별 정보를 획득하는 단계를 더 포함하고, 전송하는 단계는 웨어러블 디바이스의 식별 정보에 기초하여 응답 정보를 웨어러블 디바이스로 전송할 수 있다.

한편, 제어 방법은 웨어러블 디바이스의 출력 타입을 식별하는 단계 및 출력 타입에 대응되는 데이터를 포함하는 응답 정보를 획득하는 단계를 더 포함할 수 있다.

한편, 출력 타입에 대응되는 응답 정보를 획득하는 단계는 웨어러블 디바이스의 출력 타입이 오디오 출력을 포함하면, 사용자 음성 입력에 대응되는 오디오 응답 데이터를 포함하는 응답 정보를 획득하고, 웨어러블 디바이스의 출력 타입이 오디오 출력 및 이미지 출력을 포함하면, 사용자 음성 입력에 대응되는 이미지 응답 데이터 및 사용자 음성 입력에 대응되는 오디오 응답 데이터를 포함하는 응답 정보를 획득할 수 있다.

한편, 제어 방법은 웨어러블 디바이스의 출력 타입이 오디오 출력을 포함하면, 사용자 음성 입력에 대응되는 이미지 응답 데이터를 표시하는 단계를 더 포함할 수 있다.

한편, 제어 방법은 응답 정보가 웨어러블 디바이스를 통해 출력되고 있음을 나타내는 UI를 표시하는 단계를 더 포함할 수 있다.

한편, 제어 방법은 촬영 이미지에 사용자가 포함되지 않은 것으로 식별되면, 센싱 데이터를 획득하는 단계 및 센싱 데이터를 이용하여 식별된 사용자 위치에 기초하여 로봇이 이동하도록 제어하는 단계를 더 포함할 수 있다.

한편, 제어 방법은 촬영 이미지에 사용자가 포함되지 않은 것으로 식별되면, 센싱 데이터를 획득하는 단계, 센싱 데이터를 이용하여 식별된 사용자 위치에 기초하여 로봇의 위치를 가이드하기 위한 UI를 획득하는 단계 및 UI를 웨어러블 디바이스로 전송하는 단계를 더 포함할 수 있다.

한편, 제어 방법은 웨어러블 디바이스(200)로부터 응답 정보를 출력할 수 없음을 나타내는 알림 정보를 수신하면, 응답 정보 또는 알림 정보 중 적어도 하나를 출력하는 단계를 더 포함할 수 있다.

한편, 도 31과 같은 로봇(100)의 제어 방법은 도 1 또는 도 2의 구성을 가지는 로봇 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 로봇 상에서도 실행될 수 있다.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치(로봇)에 설치 가능한 어플리케이션 형태로 구현될 수 있다.

또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치(로봇)에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.

또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치(로봇)에 구비된 임베디드 서버, 또는 전자 장치(로봇) 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.

한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(로봇)를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장 매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 로봇
130: 통신 인터페이스
140: 적어도 하나의 프로세서
180: 마이크
191: 카메라

Claims

로봇에 있어서,
마이크;
카메라;
통신 인터페이스, 및
상기 마이크를 통해 사용자 음성 입력이 수신되면, 상기 사용자 음성 입력에 대응되는 응답 정보를 획득하고,
상기 카메라를 통해 획득된 촬영 이미지에 기초하여, 사용자가 웨어러블 디바이스를 착용한 상태인지 식별하고,
상기 사용자가 상기 웨어러블 디바이스를 착용한 상태인 것으로 식별되면, 상기 통신 인터페이스를 통해, 상기 응답 정보를 상기 웨어러블 디바이스로 전송하는 적어도 하나의 프로세서;를 포함하는, 로봇.
제1항에 있어서,
스피커;를 더 포함하고,
상기 적어도 하나의 프로세서는,
상기 사용자가 웨어러블 디바이스를 착용하지 않은 상태인 것으로 식별되면, 상기 스피커를 통해 상기 응답 정보를 출력하는, 로봇.
제1항에 있어서,
적어도 하나의 웨어러블 디바이스의 식별 정보를 저장하는 메모리;를 더 포함하고,
상기 적어도 하나의 프로세서는,
상기 사용자가 상기 웨어러블 디바이스를 착용한 상태인 것으로 식별되면, 상기 메모리에 저장된 상기 적어도 하나의 웨어러블 디바이스의 식별 정보 중 상기 사용자가 착용한 상기 웨어러블 디바이스의 식별 정보를 획득하고,
상기 웨어러블 디바이스의 식별 정보에 기초하여 상기 응답 정보를, 상기 통신 인터페이스를 통해, 상기 웨어러블 디바이스로 전송하는, 로봇.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 웨어러블 디바이스의 출력 타입을 식별하고,
상기 출력 타입에 대응되는 데이터를 포함하는 상기 응답 정보를 획득하는, 로봇.
제4항에 있어서,
상기 적어도 하나의 프로세서는,
상기 웨어러블 디바이스의 출력 타입이 오디오 출력을 포함하면, 상기 사용자 음성 입력에 대응되는 오디오 응답 데이터를 포함하는 상기 응답 정보를 획득하고,
상기 웨어러블 디바이스의 출력 타입이 오디오 출력 및 이미지 출력을 포함하면, 상기 사용자 음성 입력에 대응되는 이미지 응답 데이터 및 상기 사용자 음성 입력에 대응되는 오디오 응답 데이터를 포함하는 상기 응답 정보를 획득하는, 로봇.
제5항에 있어서,
디스플레이;를 더 포함하고,
상기 적어도 하나의 프로세서는,
상기 웨어러블 디바이스의 출력 타입이 오디오 출력을 포함하면, 상기 디스플레이를 통해, 상기 사용자 음성 입력에 대응되는 이미지 응답 데이터를 표시하는, 로봇.
제1항에 있어서,
디스플레이;를 더 포함하고,
상기 적어도 하나의 프로세서는,
상기 디스플레이를 통해, 상기 응답 정보가 상기 웨어러블 디바이스를 통해 출력되고 있음을 나타내는 UI를 표시하는, 로봇.
제1항에 있어서,
거리 센서; 및
구동부;를 더 포함하고,
상기 적어도 하나의 프로세서는,
상기 촬영 이미지에 사용자가 포함되지 않은 것으로 식별되면, 상기 거리 센서를 통해 센싱 데이터를 획득하고,
상기 센싱 데이터를 이용하여 식별된 사용자 위치에 기초하여 상기 로봇이 이동하도록 상기 구동부를 제어하는, 로봇.
제1항에 있어서,
거리 센서; 및
구동부;를 더 포함하고,
상기 적어도 하나의 프로세서는,
상기 촬영 이미지에 사용자가 포함되지 않은 것으로 식별되면, 상기 거리 센서를 통해 센싱 데이터를 획득하고,
상기 센싱 데이터를 이용하여 식별된 사용자 위치에 기초하여 상기 로봇의 위치를 가이드하기 위한 UI를 획득하고,
상기 UI를, 상기 통신 인터페이스를 통해, 웨어러블 디바이스로 전송하는, 로봇.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 웨어러블 디바이스(200)로부터 상기 응답 정보를 출력할 수 없음을 나타내는 알림 정보를, 상기 통신 인터페이스를 통해, 수신하면, 상기 응답 정보 또는 상기 알림 정보 중 적어도 하나를 출력하는, 로봇.
로봇의 제어 방법에 있어서,
사용자 음성 입력이 수신되면, 상기 사용자 음성 입력에 대응되는 응답 정보를 획득하는 단계;
촬영 이미지에 기초하여, 사용자가 웨어러블 디바이스를 착용한 상태인지 식별하는 단계; 및
상기 사용자가 상기 웨어러블 디바이스를 착용한 상태인 것으로 식별되면, 상기 응답 정보를 상기 웨어러블 디바이스로 전송하는 단계;를 포함하는, 제어 방법.
제11항에 있어서,
상기 사용자가 웨어러블 디바이스를 착용하지 않은 상태인 것으로 식별되면, 상기 응답 정보를 출력하는 단계;를 더 포함하는, 제어 방법.
제11항에 있어서,
적어도 하나의 웨어러블 디바이스의 식별 정보를 저장하는 단계; 및
상기 사용자가 상기 웨어러블 디바이스를 착용한 상태인 것으로 식별되면, 상기 저장된 상기 적어도 하나의 웨어러블 디바이스의 식별 정보 중 상기 사용자가 착용한 상기 웨어러블 디바이스의 식별 정보를 획득하는 단계;를 더 포함하고,
상기 전송하는 단계는,
상기 웨어러블 디바이스의 식별 정보에 기초하여 상기 응답 정보를 상기 웨어러블 디바이스로 전송하는, 제어 방법.
제11항에 있어서,
상기 웨어러블 디바이스의 출력 타입을 식별하는 단계; 및
상기 출력 타입에 대응되는 데이터를 포함하는 상기 응답 정보를 획득하는 단계;를 더 포함하는, 제어 방법.
제14항에 있어서,
상기 출력 타입에 대응되는 상기 응답 정보를 획득하는 단계는,
상기 웨어러블 디바이스의 출력 타입이 오디오 출력을 포함하면, 상기 사용자 음성 입력에 대응되는 오디오 응답 데이터를 포함하는 상기 응답 정보를 획득하고,
상기 웨어러블 디바이스의 출력 타입이 오디오 출력 및 이미지 출력을 포함하면, 상기 사용자 음성 입력에 대응되는 이미지 응답 데이터 및 상기 사용자 음성 입력에 대응되는 오디오 응답 데이터를 포함하는 상기 응답 정보를 획득하는, 제어 방법.
제15항에 있어서,
상기 웨어러블 디바이스의 출력 타입이 오디오 출력을 포함하면, 상기 사용자 음성 입력에 대응되는 이미지 응답 데이터를 표시하는 단계;를 더 포함하는, 제어 방법.
제11항에 있어서,
상기 응답 정보가 상기 웨어러블 디바이스를 통해 출력되고 있음을 나타내는 UI를 표시하는 단계;를 더 포함하는, 제어 방법.
제11항에 있어서,
상기 촬영 이미지에 사용자가 포함되지 않은 것으로 식별되면, 센싱 데이터를 획득하는 단계; 및
상기 센싱 데이터를 이용하여 식별된 사용자 위치에 기초하여 상기 로봇이 이동하도록 제어하는 단계;를 더 포함하는, 제어 방법.
제11항에 있어서,
상기 촬영 이미지에 사용자가 포함되지 않은 것으로 식별되면, 센싱 데이터를 획득하는 단계;
상기 센싱 데이터를 이용하여 식별된 사용자 위치에 기초하여 상기 로봇의 위치를 가이드하기 위한 UI를 획득하는 단계; 및
상기 UI를 웨어러블 디바이스로 전송하는 단계;를 더 포함하는, 제어 방법.
제11항에 있어서,
상기 웨어러블 디바이스(200)로부터 상기 응답 정보를 출력할 수 없음을 나타내는 알림 정보를 수신하면, 상기 응답 정보 또는 상기 알림 정보 중 적어도 하나를 출력하는 단계;를 더 포함하는, 제어 방법.