KR20190066632A

KR20190066632A - 로봇 시스템 및 로봇 대화방법

Info

Publication number: KR20190066632A
Application number: KR1020197014835A
Authority: KR
Inventors: 야스히코 하시모토; 쇼고 하세가와; 마사유키 와나타베; 유이치 오기타
Original assignee: 카와사키 주코교 카부시키 카이샤
Priority date: 2017-02-06
Filing date: 2018-02-05
Publication date: 2019-06-13
Also published as: JP2018126810A; DE112018000702T5; TWI673706B; TW201842493A; US20190389075A1; DE112018000702B4; CN110267774A; WO2018143460A1

Abstract

로봇 시스템은, 작업로봇(4)과, 대화로봇(2)과, 대화로봇(2)과 작업로봇(4)과의 사이에서 정보의 송수신을 행하는 통신수단을 구비한다.
작업로봇(4)은, 작업 중에, 현재 진행중인 작업공정을 식별하는 작업공정식별정보와, 작업공정의 진척상황을 포함하는 진척상황정보를 대화로봇(2)으로 송신하는 진척상황 보고부를 가지고, 대화로봇(2)은, 작업공정 식별정보와 그 작업공정과 대응하는 발화재료 데이터를 관련지어서 기억한 발화재료 데이터 베이스와, 수취한 진척상황정보와 대응하는 발화재료 데이터를 발화재료 데이터 베이스로부터 읽어내고, 읽어낸 발화재료 데이터와 진척상황에 근거하여 로봇 발화 데이터를 생성하고, 생성한 로봇 발화 데이터를 언어동작부로 출력하는 언어동작 제어부를 가진다.

Description

로봇 시스템 및 로봇 대화방법

본 발명은, 로봇끼리의 커뮤니케이션 기능을 구비한 로봇 시스템 및 로봇 대화방법에 관한 것이다.

종래부터, 인간과 대화를 하는 대화로봇이 알려져 있다. 특허문헌 1, 2에서는 이러한 종류의 대화로봇이 개시되어 있다.

특허문헌 1에서는, 복수의 대화로봇을 구비한 대화 시스템이 개시되어 있다. 각 대화로봇의 발화(發話) 동작(언어동작) 및 행동(비언어동작)은, 미리 결정된 스크립트(script)에 따라서 제어된다. 그리고 복수의 로봇이 스크립트를 따라 대화하면서, 가끔 참가자인 인간에게 대화하여 질문을 함(질문이나 동의를 요구를 함)으로써, 복수의 로봇과의 대화에 참가하고 있는 인간에게, 인간과 대화하고 있을 때에 마음에 품게 되는 것과 동등한 대화감각을 주도록 하고 있다.

또, 특허문헌 2에서는, 대화로봇과 생활지원 로봇 시스템을 구비한 대화 시스템이 개시되어 있다. 생활지원 로봇 시스템은, 인간의 생활을 지원하기 위한 서비스를 실행하는 어플라이언스(통신기능을 구비한 가전기기)를 자율적으로 제어한다. 대화로봇은, 유저의 생활환경이나 행동 정보를 취득하여 유저의 상황을 해석하고, 상황에 근거하여 유저에게 제공하는 서비스를 결정하고, 서비스를 인지시켜 제공하기 위한 음성에 의한 질문을 행하고, 유저의 회답에 근거하여 유저의 로봇과의 대화로의 인입(引入)이 성공하였다고 판단한 경우에, 서비스의 실효 요구를 생활로봇 지원시스템 또는 어플라이언스로 송신한다.

특허문헌 1: 일본국 특개2016-133557호 공보 특허문헌 2: 국제공개 PCT/JP2005/086051호 공보

본원의 발명자들은, 상기와 같은 대화로봇을, 작업로봇과 고객을 잇는 인터페이스로서 기능하게 하는 로봇 시스템을 검토하고 있다. 이 로봇 시스템에서는, 대화로봇이 고객에게서 작업의 의뢰를 접수하고, 접수한 의뢰를 작업로봇이 실행한다.

그러나 상기 로봇 시스템에서는, 의뢰의 접수시에 대화로봇이 고객과의 사이에서 구축한 대화감(즉, 고객이 대화로봇과의 대화에 참가하고 있는 감각)이, 작업로봇이 작업을 하고 있는 동안에 손상되어 고객이 지루해하는 경우도 예상된다.

본 발명은 이상의 사정을 감안해서 이루어진 것이며, 작업로봇이 인간에게서 의뢰 받은 작업을 한창 행하고 있는 중에도, 인간에게 대화로봇 및 작업로봇과의 대화에 참가하고 있는 감각을 일으키게 하고, 그것을 유지시킬 수 있는 로봇 시스템 및 로봇 대화방법을 제안한다.

본 발명의 일 태양(一態樣)에 관계되는 로봇 시스템은,

로봇 암(robot arm)과 그 로봇 암의 손끝부에 장착된 엔드 이펙터(end effector)를 가지고, 상기 엔드 이펙터를 사용하여 인간의 의뢰에 따른 작업을 행하는 작업로봇과,

언어동작부와 비언어동작부를 가지고, 상기 작업로봇 및 상기 인간을 향하여 언어동작 및 비언어동작을 행하는 대화로봇과,

상기 대화로봇과 상기 작업로봇과의 사이에서 정보의 송수신을 행하는 통신수단을 구비하고,

상기 작업로봇은, 상기 작업 중에, 현재 진행중인 작업공정을 식별하는 작업공정식별정보와, 상기 작업공정의 진척상황을 포함하는 진척상황정보를 상기 대화로봇으로 송신하는 진척상황보고부를 가지고,

상기 대화로봇은, 상기 작업공정 식별정보와 그 작업공정과 대응하는 발화재료(發話材料) 데이터를 관련지어서 기억한 발화재료 데이터 베이스와, 수취한 상기 진척상황정보와 대응하는 상기 발화재료 데이터를 상기 발화재료 데이터 베이스로부터 판독하고, 판독한 상기 발화재료 데이터와 상기 진척상황에 따라서 로봇 발화 데이터를 생성하고, 생성한 상기 로봇 발화 데이터를 상기 언어동작부로 출력하는 언어동작 제어부를 가지는 것을 특징으로 한다.

또한, 본 발명의 일 태양에 관계되는 로봇 대화방법은,

로봇 암과 해당 로봇 암의 손끝부에 장착된 엔드 이펙터를 가지고, 상기 엔드 이펙터를 이용하여 인간의 의뢰에 따른 작업을 행하는 작업로봇과, 언어동작부와 비언어동작부를 가지고, 상기 작업로봇 및 상기 인간을 향하여 언어동작 및 비언어동작을 행하는 대화로봇에서 행해지는 로봇 대화방법에 있어서,

상기 작업로봇이, 상기 작업중에, 현재 진행중인 작업공정을 식별하는 작업공정식별정보와, 상기 작업공정의 진척상황을 포함하는 진척상황정보를 상기 대화로봇으로 송신하고,

상기 작업로봇이, 수취한 상기 진척상황정보와 대응하는 발화(發話)재료 데이터를 상기 작업공정 식별정보와 그 작업공정과 대응하는 상기 발화재료 데이터를 관련지어서 기억한 발화재료 데이터 베이스로부터 판독하고, 판독한 상기 발화재료 데이터와 상기 진척상황에 따라 로봇 발화 데이터를 생성하고, 생성한 상기 로봇 발화 데이터를 상기 언어동작부에서 출력하는 것을 특징으로 하고 있다.

상기 구성의 로봇 시스템에서는, 작업로봇이 인간에게서 의뢰 받은 작업을 한창 행하고 있는 중에, 대화로봇이 현재 진행중인 작업공정과 대응하는 발화 내용으로 인간이나 작업로봇을 향하여 언어동작을 행한다. 즉, 작업로봇이 작업을 하고 있는 동안에도, 대화로봇의 발화(언어동작)가 중단되지 않으며, 또한 그 발화가 작업로봇의 작업의 내용이나 상황과 대응하고 있다. 이에 따라, 작업로봇의 작업중에, 인간은 대화로봇 및 작업로봇과의 대화에 참가하고 있는 감각이 생기고, 그 감각을 유지할 수 있다.

본 발명에 의하면, 작업로봇이 인간에게서 의뢰 받은 작업을 한창 행하고 있는 동안에도, 인간에게 대화로봇 및 작업로봇과의 대화에 참가하고 있는 감각을 일으켜서, 그것을 유지시킬 수 있는 로봇 시스템을 실현할 수 있다.

도 1은, 본 발명의 일 실시형태에 관계되는 로봇 시스템의 개략도이다.
도 2는, 대화로봇의 제어계통의 구성을 보여주는 블록도이다.
도 3은, 작업로봇의 제어계통의 구성을 보여주는 블록도이다.
도 4는, 로봇 시스템이 구축된 부스(booth)의 평면도이다.
도 5는, 로봇 시스템의 동작의 흐름을 보여주는 타이밍 챠트이다.
도 6은, 필름부착처리의 흐름을 보여주는 도면이다.

다음으로, 도면을 참조하여 본 발명의 실시의 형태를 설명한다. 도 1은, 본 발명의 일 실시형태에 관계되는 로봇 시스템(1)의 개략도이다. 도 1에 나타내는 로봇 시스템(1)은, 인간(10)과 대화하는 대화로봇(2)과, 소정의 작업을 행하는 작업로봇(4)을 구비하고 있다. 대화로봇(2)과 작업로봇(4)은, 서로 정보의 송수신을 행할 수 있도록, 유선 또는 무선의 통신수단(5)에 의해 접속되어 있다.

[대화로봇(2)]

본 실시형태에 관계되는 대화로봇(2)은, 인간(10)과 대화하기 위한 인간형 로봇이다. 단, 대화로봇(2)은 인간형 로봇에 한정되지 않고, 의인화된 동물형 로봇 등이라도 좋으며, 그 외관은 상관없다.

대화로봇(2)은, 몸체부(胴部, 21)와, 몸체부(21)의 상부에 마련된 머리부(頭部, 22)와, 몸체부(21)의 측부에 마련된 좌우의 완부(腕部)(23L, 23R)와, 몸체부(21)의 하부에 마련된 주행장치(24)를 구비하고 있다. 대화로봇(2)의 머리부(22), 몸체부(23L, 23R) 및 주행장치(24)는, 대화로봇(2)의 "비언어동작부"로서 기능한다. 또한, 대화로봇(2)의 비언어동작부는 상기에 한정되지 않고, 예를 들면, 눈, 코, 눈꺼풀 등에 의해 표정을 형성할 수 있는 대화로봇에서는, 그들의 표정형성요소도 비언어동작부에 해당한다.

머리부(22)는, 몸체부(21)에 대하여 목 관절을 통해 회전 및 구부림이 가능하게 접속되어 있다. 완부(23L, 24R)는, 몸체부(21)에 대하여 어깨관절을 통해 회전 가능하게 접속되어 있다. 각 팔부(23L, 23R)는 상완(上腕), 하완(下腕) 및 손을 가지고, 상완과 하완은 팔꿈치 관절을 통해 접속되고, 하완과 손은 손목관절을 통해 접속되어 있다. 대화로봇(2)은, 머리부(22)를 동작하게 하기 위한 머리 구동부(32), 완부(23L, 23R)를 동작하게 하기 위한 완(팔) 구동부(33), 주행장치(24)를 동작하게 하기 위한 주행 구동부(34)를 구비하고 있다(도 2 참조). 각 구동부(32, 33, 34)는, 예를 들면 전동모터 등의 적어도 1 개의 액추에이터를 구비하고 있다. 각 구동부(32, 33, 34)는, 컨트롤러(25)의 제어를 받아 동작한다.

대화로봇(2)은, 머리부(22)에 내장된 카메라(68), 마이크(67), 및 스피커(66)와, 몸체부(21)에 부착된 디스플레이(69)를 구비하고 있다. 스피커(66) 및 디스플레이(69)는, 대화로봇(2)의 "언어동작부"로서 기능한다.

대화로봇(2)의 몸체부(21)에는, 대화로봇(2)의 언어동작 및 비언어동작을 관장하는 컨트롤러(25)가 수용되어 있다. 또한, 대화로봇(2)의 "언어동작"이란, 대화로봇(2)의 언어동작부의 동작(즉, 스피커(66)로부터 나오게 되는 소리나 디스플레이(69)에 표시되는 문자)에 의한, 커뮤니케이션 발신동작을 의미한다. 또, 대화로봇(2)의 "비언어동작"이란, 대화로봇(2)의 비언어동작부의 동작(즉, 머리부(22), 완부(23L, 23R), 및 주행장치(24)의 동작에 의한 대화로봇(2)의 외관의 변화)에 의한, 커뮤니케이션의 발신 동작을 의미한다.

도 2는, 대화로봇(2)의 제어계통의 구성을 보여주는 도면이다. 도 2에 나타내는 바와 같이, 대화로봇(2)의 컨트롤러(25)는, 이른바 컴퓨터로서, CPU 등이 연산처리장치(프로세서)(61), ROM, RAM 등의 기억장치(62), 통신장치(63), 입출력장치(64), 외부기억장치(65), 구동제어장치(70) 등을 가지고 있다. 기억장치(62)에는, 연산처리장치(61)가 실행하는 프로그램, 각종 고정 데이터 등이 기억되어 있다. 연산처리장치(61)는, 통신장치(63)를 통해 무선 또는 유선으로 작업로봇(4)의 컨트롤러(45)와 데이터 송수신을 행한다. 또, 연산처리장치(61)는, 입출력장치(64)를 통해 각종 센서로부터의 검출신호의 입력이나 각종 제어신호의 출력을 행한다. 입출력장치(64)는, 스피커(66), 마이크(67), 카메라(68), 디스플레이(69) 등과 접속되어 있다. 구동제어장치(70)는, 구동부(32, 33, 34)를 동작하게 한다. 연산처리장치(61)는, 외부기억장치(65)에 대하여 데이터의 저장이나 판독을 행한다. 외부기억장치(65)에는, 후술하는 각종 데이터 베이스가 구축되어 있을 수 있다.

컨트롤러(25)는, 화상인식부(250), 음성인식부(251), 언어동작 제어부(252), 비언어동작 제어부(253), 작업로봇 관리부(254)로서 기능한다. 이들의 기능은, 연산처리장치(61)가, 기억장치(62)에 기억된 프로그램 등의 소프트웨어를 읽어내어 실행함으로써 실현된다. 또한, 컨트롤러(25)는 단일의 컴퓨터에 의한 집중제어에 의해 각 처리를 실행하여도 좋으며, 복수의 컴퓨터의 협동에 의한 분산제어에 의해 각 처리를 실행하여도 좋다. 또, 컨트롤러(25)는, 마이크로 컨트롤러(micro controller), 프로그래머블(programmable) 로직 컨트롤러(PLC) 등으로 구성되어 있어도 좋다.

화상 인식부(250)는, 카메라(68)로 촬상한 화상(또는, 영상)을 취득하고, 그것을 화상처리함으로써, 인간(10)의 유무를 검출한다. 또, 화상 인식부(250)는, 카메라(68)로 촬상한 화상(영상)을 취득하고, 인간(10)의 이동, 인간(10)의 몸짓·표정 등을 분석하여, 인간의 동작 데이터를 생성한다.

음성 인식부(251)는, 인간(10)이 발화(發話)한 음성을 마이크(67)로 담아 넣고, 그 음성 데이터의 내용을 인식하여 인간 발화 데이터를 생성한다.

언어동작 제어부(252)는, 미리 기억된 스크립트 데이터(script data) (대본 데이터)나, 인간 동작 데이터, 인간 발화 데이터 등에 근거하여 인간(10)의 상황을 해석하고, 해석한 상황에 따라 로봇 발화 데이터를 생성한다. 언어동작 제어부(252)는, 생성한 로봇 발화 데이터를 대화로봇(2)의 언어동작부(스피커(66), 또는, 스피커(66) 및 디스플레이(69))로 출력한다. 이에 따라, 대화로봇(2)이 언어동작을 행한다.

상기에서 언어동작 제어부(252)가 인간(10)의 상황을 해석할 때에, 인간 동작 데이터나 인간 발화 데이터와 인간의 상황을 관련지어서 미리 인간의 상황 데이터 베이스(651)에 기억해 두고, 인간의 상황 데이터 베이스(651)에 축적된 정보를 사용하여 인간(10)의 상황을 해석해도 좋다. 또, 상기에서 언어동작 제어부(252)가 로봇 발화 데이터를 생성할 때에, 스크립트 데이터와 인간의 상황과 로봇 발화 데이터를 관련 지어서 미리 로봇 발화 데이터 베이스(652)에 기억해 두고, 로봇 발화 데이터 베이스(652)에 축적된 정보를 사용해서 로봇 발화 데이터를 생성하여도 좋다.

또, 언어동작 제어부(252)는, 후술하는 진척상황정보를 작업로봇(4)으로부터 수취하여, 로봇 발화 데이터를 생성하고, 그 로봇 발화 데이터를 대화로봇(2)의 언어동작부(스피커(66), 또는, 스피커(66) 및 디스플레이(69))로 출력한다. 이에 따라, 대화로봇(2)이 언어동작을 행한다.

상기에서, 진척상황정보에는, 작업로봇(4)이 현재 진행중인 작업공정을 식별하는 작업공정 식별정보와, 그 작업공정의 진척상황이 포함되어 있다. 언어동작 제어부(252)는, 로봇 발화(發話) 데이터를 생성할 때에, 작업공정 식별정보와 그 작업공정과 대응하는 발화재료 데이터를 관련지어서 미리 발화재료 데이터 베이스(653)에 기억해 두고, 발화재료 데이터 베이스(653)로부터 수취한 진척상황정보와 대응하는 발화재료 데이터를 읽어낸다. 그리고 언어동작 제어부(252)는, 판독한 발화재료 데이터와 수취한 진척상황에 근거하여, 로봇 발화 데이터를 생성한다.

비언어동작 제어부(253)는, 대화로봇(2)이 언어동작을 행할 때에, 그 언어동작과 대응한 비언어동작을 행하도록 로봇 동작 데이터를 생성한다. 비언어동작 제어부(253)는, 생성한 로봇 동작 데이터를 구동제어장치(70)로 출력하고, 이에 따라 대화로봇(2)은 로봇 동작 데이터에 기초하여 비언어동작을 행한다.

언어동작에 대응한 비언어동작이란, 대화로봇(2)의 언어동작의 내용과 대응한 대화로봇(2)의 행동인 것이다. 예를 들면, 대화로봇(2)이 목표물의 명칭을 발음할 때에, 완(팔)부(23L, 24R)로 그 목표물을 가리킨다거나, 머리부(22)를 목표물로 향하게 한다거나 하는 것이 비언어동작에 해당한다. 또, 예를 들면 대화로봇(2)이 사례(謝禮)를 발음할 때에, 양 손을 합친다거나, 머리부(22)를 숙인다거나 하는 것이 비언어동작에 해당한다.

상기에 있어서 비언어동작 제어부(253)가 로봇 동작 데이터를 생성할 때에, 로봇 발화(發話) 데이터와, 해당 로봇 발화 데이터가 가져오는 언어동작에 대응하는 비언어동작을 대화로봇(2)에게 실행하게 하는 로봇 동작 데이터를 관련 지어서 로봇 동작 데이터 베이스(654)에 미리 기억해 두고, 로봇 동작 데이터 베이스(654)에 축적된 정보로부터 로봇 발화 데이터에 대응하는 로봇 동작 데이터를 읽어내고, 로봇 발화 데이터를 생성해도 좋다.

작업로봇 관리부(254)는, 미리 기억된 스크립트 데이터에 따라, 작업로봇(4)에 대하여 처리개시신호를 송신한다. 또, 작업로봇 관리부(254)는, 작업로봇(4)에 대하여 처리개시신호를 송신하고 나서, 작업로봇(4)으로부터 처리종료신호를 수취할 때까지의 동안, 임의의 타이밍에서 후술하는 진척확인신호를 작업로봇(4)으로 송신한다.

[작업로봇(4)]

작업로봇(4)은, 적어도 1 개의 다관절형 로봇 암(41)과, 로봇 암(41)의 손끝부에 장착되어 작업을 행하는 엔드 이펙터(42)와, 로봇 암(41) 및 엔드 이펙터(42)의 동작을 관장하는 컨트롤러(45)를 구비하고 있다. 본 실시형태에 관계되는 작업로봇(4)은, 협동해서 작업을 행하는 2 개의 로봇 암(41)을 구비한 쌍완(雙腕) 로봇이다. 단, 작업로봇(4)은 본 실시형태에 한정되지 않고, 1 개의 로봇 암(41)을 구비한 단완(單腕) 로봇이라도 좋으며, 3 이상의 복수의 로봇 암(41)을 구비한 다완(多腕) 로봇이어도 좋다.

로봇 암(41)은, 수평 다관절형 로봇 암으로서, 관절을 통해 직렬적으로 연결된 복수의 링크를 가진다. 단, 로봇 암(41)은 본 실시형태에 한정되지 않고, 수직 다관절형이라도 좋다.

로봇 암(41)은, 로봇 암(41)을 동작하게 하기 위한 암 구동부(44)를 가진다(도 3 참조). 암 구동부(44)는, 예를 들면, 각 관절에 대하여 마련된, 구동원으로서의 전동모터와, 전동모터의 회전출력을 링크로 전달하는 기어기구를 포함하고 있다. 암 구동부는, 컨트롤러(45)의 제어를 받아 동작한다.

로봇 암(41)의 손끝부에 장착되는 엔드 이펙터(42)는, 작업로봇(4)이 행하는 작업의 내용에 따른 것이 선택되어도 좋다. 또, 작업로봇(4)은, 작업의 공정마다 엔드 이펙터(42)를 갈아 붙여도 좋다.

도 3은, 작업로봇(4)의 제어계통의 구성을 보여주는 블록도이다. 도 3에 나타내는 바와 같이, 작업로봇(4)의 컨트롤러(45)는, 이른바 컴퓨터로서, CPU 등의 연산처리장치(프로세서)(81), ROM, RAM 등의 기억장치(82), 통신장치(83), 입출력장치(84) 등을 가지고 있다. 기억장치(82)에는, 연산처리장치(81)가 실행하는 프로그램, 각종 고정 데이터 등이 기억되어 있다. 연산처리장치(81)는, 통신장치(83)를 통해 무선 또는 유선으로 대화로봇(2)의 컨트롤러(25)와 데이터 송수신을 행한다. 또, 연산처리장치(81)는, 입출력장치(84)를 통해 카메라(88)나 암 구동부(44)에 마련된 각종 센서로부터의 검출신호의 입력이나 각종 제어신호의 출력을 행한다. 또, 연산처리장치(81)는, 암 구동부(44)에 포함되는 액추에이터를 동작하게 하는 드라이버(90)와 접속되어 있다.

컨트롤러(45)는, 암 제어부(451), 엔드 이펙터 제어부(452), 및 진척상황 보고부(453) 등으로서 기능한다. 이들의 기능은, 연산처리장치(81)가, 미리 기억된 스크립트 데이터에 따라서, 기억장치(82)에 기억된 프로그램 등의 소프트웨어를 읽어내어 실행함으로써 실현된다. 또한, 컨트롤러(45)는 단일의 컴퓨터에 의한 집중제어에 의해 각 처리를 실행하여도 좋으며, 복수의 컴퓨터의 협동에 의한 분산 제어에 의해 각 처리를 실행하여도 좋다. 또, 컨트롤러(45)는, 마이크로 컨트롤러, 프로그래머블 로직 컨트롤러(PLC) 등으로 구성되어도 좋다.

암 제어부(451)는, 미리 기억된 敎示(교시) 데이터에 근거하여, 로봇 암(41)을 동작하게 한다. 구체적으로는, 암 제어부(451)는, 교시 데이터 및 암 구동부(44)에 마련된 각종 센서로부터의 검출정보에 따라 위치지령을 생성하고, 드라이버(90)로 출력한다. 드라이버(90)는 위치지령에 따라 암 구동부(44)에 포함되는 액추에이터를 동작하게 한다.

엔드 이펙터 제어부(452)는, 미리 기억된 동작 데이터에 근거하여, 엔드 이펙터(42)를 동작하게 한다. 엔드 이펙터(42)는, 예를 들면, 전동모터, 에어 실린더, 전자(電磁)밸브 등 중 적어도 1 개의 액추에이터를 포함하여 구성되어 있고, 엔드 이펙터 제어부(452)는 이들의 액추에이터를 로봇 암(41)의 동작에 맞춰서 동작하게 한다.

진척상황 보고부(453)는, 작업로봇(4)의 작업 중에, 진척상황정보를 생성하여 대화로봇(2)으로 송신한다. 진척상황정보에는, 현재 진행중인 작업공정을 식별하는 작업공정 식별정보와, 처리의 정상·이상(異常)이나 진행 등의 그 작업공정의 진척상황이 적어도 포함되어 있다. 또한, 진척상황정보의 생성 및 송신은, 대화로봇(2)으로부터 후술하는 진척확인신호를 취득한 타이밍, 처리에 포함되는 각 작업공정의 개시 및/또는 종료의 타이밍 등, 소정의 타이밍에서 행해져도 좋다.

[로봇 시스템(1)의 동작의 흐름]

여기서, 상기 구성의 로봇 시스템(1)의 동작의 일례를 설명한다. 이 예에서는, 작업로봇(4)이, 스마트폰(태블릿형 통신단말기)의 액정 디스플레이에 보호필름을 붙이는 작업을 행한다. 단, 작업로봇(4)이 행하는 작업의 내용 및 대화로봇(2)의 언어동작·비언어동작의 내용은, 이 예에 한정되지 않는다.

도 4는, 로봇 시스템(1)이 구축된 부스(92)의 평면도이다. 도 4에 나타내는 바와 같이, 대화로봇(2) 및 작업로봇(4)은, 하나의 부스(92) 내에 배치되어 있다. 입구(9)에서부터 부스(92)로 들어간 인간(10)에서부터 바라보면, 대화로봇(2)은 12시의 위치에 배치되고, 작업로봇(4)은 3시의 위치에 배치되어 있다. 작업로봇(4)의 앞에는 작업대(94)가 마련되고, 인간(10)과 작업로봇(4)과의 사이가 작업대(94)로 칸막이되어 있다. 작업대(94)를 사이에 두고 작업로봇(4)의 정면에는 의자(95)가 놓여져 있다.

도 5는, 로봇 시스템(1)의 동작의 흐름을 보여주는 타이밍 챠트이다. 도 5에 나타내는 바와 같이, 대기상태의 작업로봇(4)은, 대화로봇(2)으로부터의 처리개시신호를 기다리고 있다. 한편, 대기상태의 대화로봇(2)은, 부스(92)로 내방하는 인간(10)을 기다리고 있다. 대화로봇(2)은, 카메라(68)의 촬상화상을 감시하고, 촬상 화상으로부터 부스(92)로 내방한 인간(10)을 검출한다(단계 S11).

대화로봇(2)은, 인간(10)이 부스(92)에 내방하면, "어서오십시오, 의자에 앉아 주십시오"라고 인간(10)을 향하여 언어동작(발화)과 비언어동작(몸짓)을 행하고, 인간(10)에게 착석을 재촉한다(단계 S12).

대화로봇(2)은, 촬상 화상으로부터 인간(10)이 착석한 것을 검출하면(단계 13), "당 부스에서는 당신의 스마트폰에 보호실(seal)을 붙이는 서비스를 제공하고 있습니다"라고 인간(10)을 향한 언어동작 및 비언어동작을 행하고, 인간(10)에게 작업로봇(4)이 행하는 작업의 내용을 설명한다(단계 S14).

대화로봇(2)은, 인간(10)의 음성이나 촬상 화상을 해석하고, 인간(10)의 작업 의뢰의 의지를 검출하면(단계 S15), "그럼, 당신의 스마트폰을 작업대 위에 두십시오"라고 인간(10)을 향한 언어동작 및 비언어동작을 행하고, 인간(10)에게 작업대(94)에 스마트폰을 놓도록 재촉한다(단계 S16).

더욱이, 대화로봇(2)은, 작업로봇(4)을 향하여, 처리개시신호를 송신한다(단계 S17). 대화로봇(2)은 처리개시신호를 송신함에 있어, "로봇군, 준비를 시작해 주세요"라고 작업로봇(4)을 향하여 언어동작을 행하는 동시에 작업로봇(4)에게 얼굴을 향하거나 처리의 개시를 재촉하도록 손을 흔들거나 하는 등의 비언어동작을 행한다(단계 S18).

처리개시신호를 취득한 작업로봇(4)은(단계 S41), 필름부착처리를 개시한다(단계 S42). 도 6은, 필름부착처리의 흐름을 보여주는 도면이다. 도 6에 나타내는 바와 같이, 필름부착처리에서는, 작업로봇(4)은, 작업대(94)의 소정 위치에 스마트폰이 놓여진 것을 검출하고(단계 S21), 스마트폰의 종류를 인식하고(단계 S22), 필름 홀더에 있는 필름 중에서 스마트폰의 종류에 적절한 보호필름을 선택한다(단계 S23).

작업로봇(4)은, 작업대(94) 상의 스마트폰을 위치결정하고(단계 S24), 스마트폰의 디스플레이를 닦고(단계 S25), 필름 홀더로부터 보호 필름을 꺼내고(단계 S26), 보호필름에서 대지(台紙)를 박리(剝離)하고(단계 S27), 보호필름을 스마트폰의 디스플레이에 위치결정하고(단계 S28), 보호필름을 스마트폰의 디스플레이에 놓고(단계 S29), 보호필름을 닦는다(단계 S30).

작업로봇(4)은, 필름부착처리에서, 상기 단계 S21~S30의 일련의 공정을 행한다. 작업로봇(4)은, 필름부착처리가 종료되면, 처리종료신호를 대화로봇(2)으로 송신한다(단계 S43).

대화로봇(2)은, 작업로봇(4)이 필름부착처리를 행하고 있는 동안, 임의의 타이밍에서 진척확인신호를 작업로봇(4)으로 송신한다. 예를 들어, 대화로봇(2)은, 30초마다 등의 소정 시간간격으로, 진척확인신호를 작업로봇(4)으로 송신하여도 좋다. 작업로봇(4)은, 진척확인신호를 취득한 것을 트리거(trigger)로서, 진척상황정보를 대화로봇(2)으로 송신한다. 또한, 작업로봇(4)은, 대화로봇(2)으로부터의 진척확인신호의 유무에 관계없이, 작업공정의 개시 및/또는 종료의 타이밍에서 진척상황정보를 대화로봇(2)으로 보내도록 하여도 좋다.

대화로봇(2)은, 작업로봇(4)에게서 진척상황정보를 수취하면, 작업로봇(4)이 현재 진행중인 작업공정과 대응한 언어동작 및 비언어동작을 행한다. 단, 대화로봇(2)은, 진척상황정보의 내용이나, 전회의 언어동작 및 비언어동작의 타이밍과 간격, 인간(10)의 상황 등에 근거하여, 언어동작 및 비언어동작을 행하지 않는다고 판단하여도 좋다.

예를 들면, 작업로봇(4)이 보호 필름의 선택공정(단계 S23)을 마친 타이밍에서, 대화로봇(2)이 "그럼 로봇군, 잘 부탁 드립니다"라고 작업로봇(4)을 향한 언어동작 및 비언어동작을 행한다.

또, 예를 들면, 작업로봇(4)이 스마트폰의 위치결정공정(단계 S24)에서 대지를 박리하는 공정(단계 S27)을 행하고 있는 임의의 타이밍에서, 대화로봇(2)이 "잘 붙일 수 있는지 기대됩니다"라고, 인간(10)을 향한 언어동작 및 비언어동작을 행한다. 더욱이, 이 대화로봇(2)에게서 인간(10)으로의 질문에 대하여 인간(10)이 발화(發話)한 경우에는, 대화로봇(2)이 인간(10)의 발화에 대하여 회답하여도 좋다.

또, 예를 들면, 작업로봇(4)이 보호 필름의 닦기 공정(단계 S30)을 행하고 들어갈 타이밍에서, 대화로봇(2)이 "이제 곧 끝납니다"라고 작업로봇(4) 및/또는 인간(10)을 향한 언어동작 및 비언어동작을 행한다.

상기와 같이, 작업로봇(4)이 묵묵히 작업을 하고 있는 동안에, 대화로봇(2)은 작업로봇(4)을 향하여 발화(發話)하거나, 인간(10)과 대화하거나 한다. 이로써, 작업로봇(4)의 작업중에도, 인간(10)을 질리게 하지 않는다. 또, 대화로봇(2)이 작업중인 작업로봇(4)을 향하여 발화 및 몸짓을 행함으로써, 인간(10)의 내방시에는 대화로봇(2)과 인간(10)뿐이었던 대화멤버에 작업로봇(4)이 추가되게 된다.

이상 설명한 바와 같이, 본 실시형태의 로봇 시스템(1)은, 로봇 암(41)과 그 로봇 암(41)의 손끝부에 장착된 엔드 이펙터(42)를 가지고, 엔드 이펙터(42)를 이용하여 인간(10)의 의뢰에 기초하는 작업을 행하는 작업로봇(4)과, 언어동작부와 비언어동작부를 가지고, 작업로봇(4) 및 인간(10)을 향하여 언어동작 및 비언어동작을 행하는 대화로봇(2)과, 대화로봇(2)과 작업로봇(4)과의 사이에서 정보의 송수신을 행하는 통신수단(5)을 구비하고 있다. 그리고 작업로봇(4)은, 작업중에, 현재 진행중인 작업공정을 식별하는 작업공정 식별정보와, 작업공정의 진척상황을 포함하는 진척상황정보를 대화로봇(2)으로 송신하는 진척상황 보고부(453)를 갖고 있다. 또, 대화로봇(2)은, 작업공정 식별정보와 그 작업공정과 대응하는 발화(發話)재료 데이터를 관련지어서 기억한 발화재료 데이터 베이스(653)와, 수취한 진척상황정보와 대응하는 발화재료 데이터를 발화재료 데이터 베이스(653)로부터 읽어내고, 읽어낸 발화재료 데이터와 진척상황에 근거하여 로봇 발화 데이터를 생성하고, 생성한 로봇 발화 데이터를 언어동작부로 출력하는 언어동작 제어부(252)를 갖고 있다.

또, 본 실시형태의 로봇 대화방법은, 로봇 암(41)과 해당 로봇 암(41)의 손끝부에 장착된 엔드 이펙터(42)를 가지고, 엔드 이펙터(42)를 이용하여 인간(10)의 의뢰에 기초하는 작업을 행하는 작업로봇(4)과, 언어동작부와 비언어동작부를 가지고, 작업로봇(4) 및 인간(10)을 향하여 언어동작 및 비언어동작을 행하는 대화로봇(2)에서 행해지는 로봇 대화방법이다. 그리고 이 로봇 대화방법은, 작업로봇(4)이 작업중에 현재 진행중인 작업공정을 식별하는 작업공정 식별정보와, 작업공정의 진척상황을 포함하는 진척상황정보를 대화로봇(2)으로 송신하고, 대화로봇(2)이, 수취한 진척상황정보와 대응하는 발화재료 데이터를 작업공정 식별정보와 그 작업공정과 대응하는 발화재료 데이터를 관련지어서 기억한 발화재료 데이터 베이스(653)로부터 읽어내고, 읽어낸 발화재료 데이터와 진척상황에 근거하여 로봇 발화 데이터를 생성하고, 생성한 로봇 발화 데이터를 언어동작부에서 출력한다.

상기에서, 대화로봇(2)은, 작업로봇(4)의 작업중에 작업로봇(4)에 대하여 진척확인정보를 송신하는 작업로봇 관리부(254)를 구비하고, 작업로봇(4)은, 진척확인신호를 수취한 것을 트리거로서, 진척상황정보를 대화로봇(2)으로 송신하여도 좋다.

혹은, 상기에서, 작업로봇(4)은, 작업 공정의 개시 및/또는 종료의 타이밍에서, 진척상황정보를 대화로봇(2)으로 송신하여도 좋다.

상기의 로봇 시스템(1) 및 로봇 대화방법에 의하면, 작업로봇(4)이 인간(10)에게서 의뢰 받은 작업을 행하고 있는 동안에, 대화로봇(2)이 현재 진행중인 작업공정과 대응하는 발화(發話)내용으로 인간이나 작업로봇을 향하여 언어동작을 행한다. 즉, 작업로봇(4)이 작업을 하고 있는 동안에도, 대화로봇(2)의 발화(언어동작)이 끊어지지 않으며, 또, 그 발화가 작업로봇(4)의 작업의 내용이나 상황과 대응하고 있다. 이에 따라, 작업로봇(4)의 작업중에, 인간(10)은 대화로봇(2) 및 작업로봇(4)과의 대화에 참가하고 있는 감각(대화감)이 생기고, 그 감각을 유지할 수 있다.

또, 본 실시형태에 관계되는 로봇 시스템(1)에서는, 상기의 대화로봇(2)이, 로봇 발화(發話) 데이터와, 해당 로봇 발화 데이터가 가져오는 언어동작에 대응하는 비언어동작을 대화로봇에게 실행하게 하는 로봇 동작 데이터를 관련지어서 기억한 로봇 동작 데이터 베이스(654)와, 생성한 로봇 발화 데이터에 대응하는 로봇 동작 데이터를 로봇 동작 데이터 베이스(654)로부터 읽어내고, 읽어낸 로봇 동작 데이터를 비언어동작부로 출력하는 비언어동작 제어부(253)를 더 갖고 있다.

마찬가지로, 본 실시형태에 관계되는 로봇 대화 방법에서는, 대화로봇(2)이, 생성한 로봇 발화(發話) 데이터가 가져오는 언어동작에 대응하는 비언어동작을 대화로봇(2)에게 실행하게 하는 로봇 동작 데이터를, 비언어동작부에서 출력한다.

이로써, 대화로봇(2)은, 언어동작에 수반하여 언어동작과 대응하는 비언어동작(즉, 행동)을 행한다. 이 대화로봇(2)의 비언어동작을 본 인간(10)은, 대화로봇(2)이 언어동작만을 행하는 경우와 비교하여, 보다 깊게 로봇(2, 4)과의 대화감을 느낄 수 있다.

또, 본 실시형태에 관계되는 로봇 시스템(1) 및 로봇 대화방법에서는, 대화로봇(2)이, 소정의 스크립트 데이터에 따라, 인간(10)을 향하여 언어동작 및 비언어동작을 행함으로써 인간(10)과 대화하고, 대화의 내용을 해석하여 인간(10)으로부터 의뢰를 취득하고, 의뢰에 기초하여 작업로봇(4)에 대하여 작업의 처리개시신호를 송신함 동시에 작업로봇(4)을 향하여 언어동작 및 비언어동작을 행한다.

이로써, 작업로봇(4)이 행하는 작업의 접수를 대화로봇(2)이 행함으로써, 작업로봇(4)이 행하기 전의 단계로부터, 인간(10)에게 대화로봇(2)과의 대화에 참가하고 있는 감각을 생기게 할 수 있다. 그리고 대화로봇(2)이 작업로봇(4)에게 처리개시신호를 송신할 때에, 대화로봇(2)이 작업로봇(4)에 대하여 언어동작 및 비언어동작을 행함으로써, 이것을 보고 있는 인간(10)에게, 그때까지의 대화로봇(2)과의 대화에 작업로봇(4)이 추가된 것을 느끼게 할 수 있다.

이상에 본 발명의 호적(매우 적당함)한 실시형태를 설명하였는데, 본 발명의 정신을 일탈하지 않는 범위에서 상기의 실시형태의 구체적인 구조 및/또는 기능의 상세를 변경한 것도 본 발명에 포함될 수 있다.

1: 로봇 시스템
2: 대화로봇
4: 작업로봇
5: 통신수단
10: 인간
21: 몸체부
22: 머리부
23L, 23R: 완(팔)부
24: 주행장치
25: 컨트롤러
250: 화상인식부
251: 음성인식부
252: 언어동작 제어부
253: 비언어동작 제어부
254: 작업로봇 관리부
32: 머리 구동부
33: 완(팔) 구동부
34: 주행 구동부
41: 로봇 암
42: 엔드 이펙터
44: 암 구동부
45: 컨트롤러
451: 암 제어부
452: 엔드 이펙터 제어부
453: 진척상황 보고부
61: 연산처리장치
62: 기억장치
63: 통신장치
64: 입출력장치
65: 외부기억장치
651: 인간상황 데이터 베이스
652: 로봇발화(發話) 데이터 베이스
653: 발화재료 데이터 베이스
654: 로봇동작 데이터 베이스
66: 스피커
67: 마이크
68: 카메라
69: 디스플레이
70: 구동제어장치
81: 연산처리장치
82: 기억장치
84: 입출력장치
88: 카메라
90: 드라이버
92: 부스
93: 입구
94: 작업대
95: 의자

Claims

로봇 암(Robot arm)과 그 로봇 암의 손끝부에 장착된 엔드 이펙터(end effector)를 가지고, 상기 엔드 이펙터를 이용하여 인간의 의뢰에 기초하는 작업을 행하는 작업로봇;
언어동작부와 비언어동작부를 가지고, 상기 작업로봇 및 상기 인간을 향하여 언어동작 및 비언어동작을 행하는 대화로봇;
상기 대화로봇과 상기 작업로봇과의 사이에서 정보의 송수신을 행하는 통신수단; 을 구비하고,
상기 작업로봇은, 상기 작업 중에, 현재 진행중인 작업공정을 식별하는 작업공정 식별정보와, 상기 작업공정의 진척상황을 포함하는 진척상황정보를 상기 대화로봇으로 송신하는 진척상황 보고부를 가지고,
상기 대화로봇은, 상기 작업공정 식별정보와 그 작업공정과 대응하는 발화재료 데이터를 관련지어서 기억한 발화재료 데이터 베이스와, 수취한 상기 진척상황정보와 대응하는 상기 발화재료 데이터를 상기 발화재료 데이터 베이스로부터 판독하고, 판독한 상기 발화재료 데이터와 상기 진척상황에 근거하여 로봇 발화 데이터를 생성하고, 생성한 상기 로봇 발화 데이터를 상기 언어동작부로 출력하는 언어동작 제어부를 가지는 것을 특징으로 하는 로봇 시스템.
제1항에 있어서,
상기 대화로봇은:
상기 로봇 발화 데이터와, 해당 로봇 발화 데이터가 가져오는 언어동작에 대응하는 비언어동작을 상기 대화로봇에게 실행하게 하는 로봇 동작 데이터를 관련지어서 기억한 로봇 동작 데이터 베이스;
생성한 상기 로봇 발화 데이터에 대응하는 상기 로봇 동작 데이터를 상기 로봇 동작 데이터 베이스로부터 읽어내고, 읽어낸 상기 로봇 동작 데이터를 상기 비언어동작부로 출력하는 비언어동작 제어부; 를 더 가지는, 로봇 시스템.
제1항 또는 제2항에 있어서,
상기 대화로봇은, 상기 작업로봇의 상기 작업중에, 상기 작업로봇에 대하여 진척확인신호를 송신하는 작업로봇 관리부를 구비하고,
상기 작업로봇은, 상기 진척확인신호를 수취한 것을 트리거로 하여, 상기 진척상황정보를 상기 대화로봇으로 송신하는, 로봇 시스템.
제1항 또는 제2항에 있어서,
상기 작업로봇은, 상기 작업공정의 개시 및/또는 종료의 타이밍에서, 상기 진척상황정보를 상기 대화로봇으로 송신하는, 로봇 시스템.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 대화로봇은, 소정의 스크립트 데이터에 따라서, 상기 인간을 향하여 언어동작 및 비언어동작을 행함으로써 상기 인간과 대화하고, 상기 대화의 내용을 해석하여 상기 인간에게서 상기 의뢰를 취득하고, 상기 의뢰에 근거하여 상기 작업로봇에 대하여 상기 작업의 처리개시신호를 송신함과 동시에 상기 작업로봇을 향하여 언어동작 및 비언어동작을 행하는, 로봇 시스템.
로봇 암과 해당 로봇 암의 손끝부에 장착된 엔드 이펙터를 가지고, 상기 엔드 이펙터를 사용하여 인간의 의뢰에 근거하는 작업을 행하는 작업로봇;
언어 동작부와 비언어 동작부를 가지고, 상기 작업로봇 및 상기 인간을 향하여 언어동작 및 비언어동작을 행하는 대화로봇; 에서 행해지는 로봇 대화방법에 있어서,
상기 작업로봇이 상기 작업 중에, 현재 진행중인 작업공정을 식별하는 작업공정 식별정보와 상기 작업공정의 진척상황을 포함하는 진척상황정보를 상기 대화로봇으로 송신하고,
상기 대화로봇이, 수취한 상기 진척상황정보와 대응하는 발화재료 데이터를 상기 작업공정 식별정보와 그 작업공정과 대응하는 상기 발화재료 데이터를 관련지어서 기억한 발화재료 데이터 베이스로부터 읽어내고, 읽어낸 상기 발화재료 데이터와 상기 진척상황에 근거하여 로봇 발화 데이터를 생성하고, 생성한 상기 로봇 발화 데이터를 상기 언어 동작부에서 출력하는 것을 특징으로 하는, 로봇 대화 방법.
제6항에 있어서,
상기 대화로봇이, 생성한 상기 로봇 발화 데이터가 가져오는 언어동작에 대응하는 비언어동작을 상기 대화로봇에게 실행하게 하는 로봇 동작 데이터를 상기 비언어동작부에서 출력하는, 로봇 대화 방법.
제6항 또는 제7항에 있어서,
상기 대화로봇은, 상기 작업로봇의 상기 작업중에, 상기 작업로봇에 대하여 진척확인신호를 송신하고,
상기 작업로봇은, 상기 진척확인신호를 수취한 것을 트리거(trigger)로 하여, 상기 진척상황정보를 상기 대화로봇으로 송신하는, 로봇 대화 방법.
제6항 또는 제7항에 있어서,
상기 작업로봇은, 상기 작업공정의 개시 및/또는 종료의 타이밍에서, 상기 진척상황정보를 상기 대화로봇으로 송신하는, 로봇 대화 방법.
제6항 내지 제9항 중 어느 한 항에 있어서,
상기 대화로봇은, 소정의 스크립트 데이터(script data)에 따라서, 상기 인간을 향하여 언어동작 및 비언어동작을 행함으로써 상기 인간과 대화하고, 상기 대화의 내용을 해석하여 상기 인간에게서 상기 의뢰를 취득하고, 상기 의뢰에 근거하여 상기 작업로봇에 대하여 상기 작업의 처리개시신호를 송신함과 동시에 상기 작업로봇을 향하여 언어동작 및 비언어동작을 행하는, 로봇 대화 방법.