KR20190114931A - 로봇 및 그의 제어 방법 - Google Patents

로봇 및 그의 제어 방법 Download PDF

Info

Publication number
KR20190114931A
KR20190114931A KR1020190115655A KR20190115655A KR20190114931A KR 20190114931 A KR20190114931 A KR 20190114931A KR 1020190115655 A KR1020190115655 A KR 1020190115655A KR 20190115655 A KR20190115655 A KR 20190115655A KR 20190114931 A KR20190114931 A KR 20190114931A
Authority
KR
South Korea
Prior art keywords
care
information
robot
image information
sound information
Prior art date
Application number
KR1020190115655A
Other languages
English (en)
Inventor
박지윤
신종철
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190115655A priority Critical patent/KR20190114931A/ko
Publication of KR20190114931A publication Critical patent/KR20190114931A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B25J19/061—Safety devices with audible signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)

Abstract

탑재된 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하며, 5G 통신 환경에서 다른 전자 기기들 및 외부 서버와 통신할 수 있는 로봇이 개시된다. 상기 로봇은 카메라, 출력부 및 제어부 등을 포함한다. 상기 로봇이 제공됨으로써, 돌봄 대상의 케어가 효과적으로 수행될 수 있다.

Description

로봇 및 그의 제어 방법{ROBOT AND METHOD FOR CONTROLLING THE SAME}
본 발명은 로봇 및 그의 제어 방법에 관한 것으로, 더 상세하게는 소정 공간에 위치한 돌봄 대상을 케어하는 로봇 및 그의 제어 방법에 관한 것이다.
최근, 전자 및 광학기술이 발달함에 따라 카메라의 성능은 향상되고, 그 크기는 점차 소형화되어, 다양한 IoT(Internet of Things) 기기에 탑재되고 있다.
선행 기술 1에 개시된 돌봄 단말 시스템은 아이, 노인 및 애완 동물 등의 돌봄 대상이 갖고 있는 RFID 단말로부터 위치 정보 및 돌봄 대상의 상태 정보를 실시간으로 수집함으로써, 케어 서비스를 제공한다.
선행 기술 2에 개시된 돌봄 장치는 놀이 시설에 적용 가능하며, 비콘 태그를 지닌 아이의 위치를 실시간으로 추적하고 아이가 배치된 영역의 카메라를 활성화하여 아이를 모니터링한다.
다만, 선행 기술 1 및 2의 경우 카메라를 이용하여 돌봄 대상을 모니터링하는 내용이 개시되기는 하나, 보호자의 상황 관여가 언제 필요한지에 대한 구체적인 내용이 개시되지 않았으며, 돌봄 대상을 인식하는 내용이 개시되지 않아서, 맞춤형으로 돌봄 대상을 케어하기 어려운 한계가 있다.
등록특허공보 제10-1552289호 (등록일: 2015.9.4) 등록특허공보 제10-1617342호 (등록일: 2016.4.26)
본 발명이 해결하고자 하는 과제는 보호자가 부재중인 경우에 소정 공간에 위치된 돌봄 대상의 니즈(Needs)를 맞춤형으로 충족시키는 로봇 및 그의 제어 방법을 제공하는 데에 있다.
본 발명의 또 다른 과제는, 돌봄 대상을 인식하고 돌봄 대상의 나이를 추정하는 로봇 및 그의 제어 방법을 제공하는 데에 있다.
본 발명의 또 다른 과제는, 돌봄 대상과 인터랙션하는 로봇 및 그의 제어 방법을 제공하는 데에 있다.
본 발명의 또 다른 과제는, 돌봄 대상의 케어가 필요한 시점을 결정하는 로봇 및 그의 제어 방법을 제공하는 데에 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 일 실시 예예 따른 로봇은 통신부, 카메라, 마이크, 출력부 및 제어부를 포함한다. 제어부는, 소정 공간에 위치한 돌봄 대상(Caring Target)을 촬영한 영상 정보를 카메라를 통해 획득하거나 돌봄 대상의 사운드 정보를 마이크를 통해 획득하고, 영상 정보 또는 사운드 정보에 기초하여, 로봇이 케어(Care) 모드로 진입할지 여부를 결정하며, 케어 모드의 진입이 결정된 경우, 영상 정보 또는 사운드 정보를 돌봄 대상의 보호자가 컨트롤하는 이동 단말로 통신부를 통해 전송할 수 있다.
로봇의 제어부는 영상 정보 또는 사운드 정보에 대응하는 피드백 정보를 이동 단말로부터 통신부를 통해 수집하며, 피드백 정보에 기초하여, 소정의 메시지를 돌봄 대상을 향하여 출력하도록 구성될 수 있다.
상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 로봇의 제어 방법은 소정 공간에 위치한 돌봄 대상을 촬영한 영상 정보 또는 돌봄 대상의 사운드 정보를 입력받는 단계, 영상 정보 또는 사운드 정보를 케어(Care) 시스템으로 전송하는 단계, 케어 시스템이 영상 정보 또는 사운드 정보에 대응하는 피드백 정보를 돌봄 대상의 보호자로부터 수집하는 경우, 피드백 정보를 케어 시스템으로부터 수신하는 단계 및 수신된 피드백 정보에 기초하여 돌봄 대상을 케어하기 위한 소정의 메시지를 출력하는 단계를 포함할 수 있다.
상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 로봇의 제어 방법은 소정 공간에 위치한 돌봄 대상을 촬영한 영상 정보 또는 돌봄 대상의 사운드 정보를 획득하는 단계, 영상 정보 또는 사운드 정보에 기초하여, 케어(Care) 모드의 진입 여부를 결정하는 단계, 케어 모드의 진입이 결정된 경우, 영상 정보 또는 사운드 정보를 돌봄 대상의 보호자가 컨트롤하는 이동 단말로 전송하는 단계, 영상 정보 또는 사운드 정보에 대응하는 피드백 정보를 상기 이동 단말로부터 수집하는 단계 및 피드백 정보에 기초하여, 소정의 메시지를 상기 돌봄 대상을 향하여 출력하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 보호자가 부재중인 경우에도 소정 공간에 위치된 돌봄 대상의 니즈가 맞춤형으로 충족될 수 있으므로, 사용자 편의가 제고될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 5G 네트워크 기반의 클라우드 시스템을 나타내는 도면,
도 2는 본 발명의 일 실시 예에 따른 돌봄 대상 및 보호자의 인터랙션을 제공하는 로봇을 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 케어 시스템 및 로봇의 구성을 설명하는 상대 블록도,
도 4는 본 발명의 일 실시 예에 따른 돌봄 대상을 케어하기 위한 로봇 및 케어 시스템의 구동을 설명하기 위한 시퀀스도, 그리고,
도 5는 본 발명의 일 실시 예에 따른 로봇의 구동 방법을 나타내는 시퀀스도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 다양한 실시 예는 인공 지능에 관한 기술을 이용할 수 있으므로, 이하에서는, 인공 지능에 대해 개략적으로 설명한다.
인공 지능(AI: Artificial Intelligence)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로서, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)을 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향(Bias) 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망에서 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(Label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
도 1은 본 발명의 일 실시 예에 따른 5G 네트워크 기반의 클라우드 시스템(1000)을 나태낸다.
도 1을 참고하면, 클라우드 시스템(1000)은 로봇(100), 이동 단말(200), 케어 시스템(300), 각종 기기(400) 및 5G 네트워크(500)을 포함할 수 있다.
로봇(100)은 소정 공간에 위치하여 아이, 노인 또는 반려 동물 등의 돌봄 대상을 모니터링할 수 있다. 선택적 실시 예로 로봇(100)은 복수의 휠을 구비하여 이동하도록 구현될 수 있으며, 고정형으로 구현될 수도 있다.
이동 단말(200)은 5G 네트워크(500)를 통해 로봇(100)과 통신할 수 있으며, 이동 단말(200)은 소정 공간에 위치한 돌봄 대상의 보호자가 소지한 기기일 수 있다. 여기서, 이동 단말(100)은 휴대폰, 스마트 폰(smart phone), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display) 등) 를 포함할 수 있다.
케어 시스템(300)은 로봇(100)을 원격으로 제어할 수 있으며, 로봇(100)의 다양한 요청에 응답할 수 있다. 케어 시스템(300)은 보호자의 위치 정보를 로봇(100)에 제공할 수 있으며, 보호자가 발화한 사운드 정보 또는 보호자를 촬영한 영상 정보를 로봇(100)에 제공할 수 있다.
각종 기기(400)는 개인 컴퓨터(PC, 400a), 자율 주행차(400b), 이동 로봇(400c) 등을 포함할 수 있다. 상기 로봇(100)은 이동 로봇(400c)과 통신할 수 있다. 각종 기기(400)는 로봇(100), 이동 단말(200), 케어 시스템(300) 등과 5G 네트워크(500)를 통해 유무선으로 연결될 수 있다.
상기의 로봇(100), 이동 단말(200), 케어 시스템(300) 및 각종 기기(400)는 모두 5G 모듈을 탑재하여 100Mbps 내지 20Gbps(또는, 그 이상) 속도로 데이터를 송수신할 수 있어서 대용량의 동영상 파일을 다양한 기기로 전송할 수 있으며, 저전력으로 구동되어 전력 소비가 최소화되게 할 수 있다. 다만, 상기 전송 속도는 실시 예에 따라 달리 구현될 수 있다.
5G 네트워크(500)는 5G 이동 통신 네트워크, 근거리 네트워크, 인터넷 등을 포함하여 유무선으로 기기들의 통신 환경을 제공할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 돌봄 대상 및 보호자의 인터랙션을 제공하는 로봇(100)을 설명하기 위한 도면이다.
도 2를 참고하면, 예시적으로 아이가 돌봄 대상(Caring Target, Tar)이며, 돌봄 대상(Tar)은 홈(HOME)에 위치할 수 있다. 돌봄 대상(Tar)의 보호자(Prot)는 엄마이며 보호자(Prot)는 이동 단말(200)을 소지할 수 있다. 보호자(Prot)는 상기 소정 공간(HOME)에 위치하지 않고 외출한 상태이다. 참고로, 상기 보호자의 도면 부호인 Prot 및 상기 돌봄 대상의 도면 부호인 Tar는 이하에서도 다양한 보호자 및 돌봄 대상에 기입될 수 있다.
로봇(100)은 홈 로봇으로 구현될 수 있으며, 로봇(100)은 카메라(121)를 통해 소정 영역을 모니터링 할 수 있으며, 돌봄 대상(Tar)이 "엄마, 언제와"(S1)라고 발화하면, 후술할 마이크(도 3의 123)를 통해 발화된 사운드 정보를 입력받을 수 있다.
로봇(100)은 돌봄 대상(Tar)을 케어하기 위한 케어 모드로 진입할지 여부를 결정할 수 있다. 예를 들면, 로봇(100)은 발화된 돌봄 대상(Tar)의 사운드 정보에 보호자(Prot)를 찾는 사운드 정보가 포함되었는지 여부, 촬영된 돌봄 대상(Tar)의 영상 정보에 기초하여, 보호자(Prot)의 관여가 필요한 상황인지를 결정할 수 있다.
로봇(100)은 돌봄 대상(Tar)을 케어하기 위한 케어 모드로 진입을 결정한 경우, 돌봄 대상(Tar)을 촬영한 영상 정보 및/또는 돌봄 대상(Tar)의 사운드 정보를 케어 시스템(300)으로 전송할 수 있다.
케어 시스템(300)은 돌봄 대상(Tar)을 촬영한 영상 정보, 사운드 정보 및/또는 상기 사운드 정보를 STT 알고리즘을 이용하여 변환한 텍스트 정보 중 적어도 하나를 돌봄 대상(Tar)의 보호자(Prot)가 소지한 이동 단말(200)로 전송할 수 있다. 실시 예에 따라서는 상기 보호자(Prot)가 긴급 보호 기관(소방서, 경찰서, 병원 등)을 포함할 수 있다.
이동 단말(200)은 상기 영상 정보, 사운드 정보 및/또는 텍스트 정보 중 적어도 하나를 디스플레이(241)에 출력할 수 있다. 예를 들면, 이동 단말(200)의 디스플레이(241)는 돌봄 대상(TarA)을 표시할 수 있으며, "OO가 엄마를 찾고 있어요. 언제 집에 오시나요"와 같은 문구(L1)를 디스플레이(241)에 출력할 수 있다.
여기서, 돌봄 대상(Tar)의 보호자(Prot)가 출력된 정보에 대한 피드백 정보를 이동 단말(200)에 입력하면, 입력된 피드백 정보는 케어 시스템(300) 및 로봇(100)을 통해 돌봄 대상(Tar)에 제공될 수 있다.
만약, 보호자(Prot)의 피드백 정보가 "30분 후에 도착해"라는 문구를 포함하는 경우, 로봇(100)은 실시간으로 해당 문구를 돌봄 대상(Tar)에게 전달할 수 있으며, 선택적 실시 예로, 로봇(100)은 "30분 후에 엄마가 도착하니, OO 콘텐츠 보면서 기다리자"라고 돌봄 대상(Tar)에게 전달할 수 있다.
이를 위해, 로봇(100)은 돌봄 대상(Tar)에게 Predefined 메시지를 제공할 수 있으며, 피드백 정보를 가공한 메시지를 제공할 수 있고, 피드백 정보를 그대로 돌봄 대상(Tar)에게 제공할 수 있다. 상기 메시지는 다이알로그 매니저(Dialog Manager)에 의해 결정될 수 있다.
아울러, 로봇(100)은 돌봄 대상(Tar)에게 보호자(Prot)의 위치 정보, 상태 정보 및 돌봄 대상(Tar)의 콘텐츠 이용 패턴을 분석하여 콘텐츠를 돌봄 대상(Tar)에게 제공할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 케어 시스템(300) 및 로봇(100)의 구성을 나타내는 상대 블록도이다.
먼저, 로봇(100)은 로봇 통신부(110), 입력부(120), 센싱부(130), 출력부(140), 로봇 메모리(150), 전원 공급부(160) 및 훨 구동부(170)를 포함할 수 있다. 도 3에 도시된 구성요소들은 로봇(100)을 구현하는데 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 로봇(100)은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
로봇 통신부(110)는 케어 시스템(300), 이동 단말(200) 등과 통신할 수 있는 유무선의 통신 모듈을 포함할 수 있다. 선택적 실시 예로 상기 로봇 통신부(110)는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association;IrDA), ZigBee, NFC(Near Field Communication) 통신에 관한 모듈을 탑재할 수 있다.
입력부(120)는 사용자로부터 정보를 입력받기 위한 사용자 입력부를 포함할 수 있다. 선택적 실시 예로 입력부(120)는 영상 신호 입력을 위한 카메라(121), 오디오 신호를 수신하기 위한 마이크로폰(123, "이하, 마이크로 칭함")을 포함할 수 있다. 여기서, 카메라(121)나 마이크(123)를 센서로 취급하여, 카메라(121)나 마이크(123)에서 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때, 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 로봇 제어부(190)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
센싱부(130)는 다양한 센서들을 이용하여 로봇(100)의 내부 정보, 로봇(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(130)는 위성에 기반한 위치 수신 센서, 거리 감지 센서(131), 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크, 라이다 센서, 바로미터 센서, 레이더 등을 포함할 수 있다.
출력부(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있는데, 출력부(140)는 시각 정보를 출력하는 광 출력부, 디스플레이(141, 복수로 구현 가능) 등을 포함할 수 있으며, 청각 정보를 출력하는 스피커(143), 비가청 주파수에 속하는 초음파 신호를 출력하는 초음파 출력부 등을 포함할 수 있고, 촉각 정보를 출력하는 햅틱 모듈을 포함할 수 있다.
로봇 메모리(150)는 로봇(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 로봇(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
아울러, 로봇 메모리(150)는 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다. 로봇 메모리(150)는 심층 신경망 모델을 저장할 수 있다. 상기 심층 신경망 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
전원 공급부(160)는 로봇 제어부(190)의 제어 하에서, 외부의 전원, 내부의 전원을 인가받아 로봇(100)의 각 구성요소들에 전원을 공급한다. 이러한 전원 공급부(160)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다. 상기 배터리는 유선 또는 무선 충전 방식으로 충전될 수 있는데, 무선 충전 방식은 자기 유도 방식 또는 자기 공진 방식을 포함할 수 있다.
휠 구동부(170)는 복수의 휠을 제어하여 로봇(100)을 이동시킬 수 있다. 휠 구동부(170)는 로봇 제어부(190)에 의해 구동될 수 있다.
로봇 제어부(190)는 이동 로봇(100)의 구성들을 컨트롤하는 모듈이다. 상기 로봇 제어부(190)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이하에서는, 로봇 제어부(190)의 구동을 주로 설명하기로 한다.
로봇 제어부(190)는 보호자 정보를 로봇 메모리(150)에 저장할 수 있다. 로봇 제어부(190)는 보호자(Prot)의 안면을 카메라(121)를 통해 입력하거나 보이스를 마이크(123)를 통해 입력할 수 있다. 로봇 제어부(190)는 입력된 보호자 정보를 케어 시스템(300)에 제공할 수 있다.
로봇 제어부(190)는 보호자 정보를 입력받고, 피보호자인 돌봄 대상(Tar)의 정보를 입력받을 수 있다. 예를 들면, 로봇 제어부(190)는 돌봄 대상(Tar)이 사람인지 동물인지 구분할 수 있으며, 사람인 경우 노인인지 아이인지 구분할 수 있다. 아울러, 로봇 제어부(190)는 돌봄 대상(Tar)에게 제공할 메시지를 미리 설정할 수 있다.
로봇 제어부(190)는 소정 공간에 위치한 돌봄 대상(Tar)을 촬영한 영상 정보를 카메라(121)를 통해 획득하거나 돌봄 대상(Tar)의 사운드 정보를 마이크(123)를 통해 획득할 수 있다.
로봇 제어부(190)는 영상 정보 및/또는 사운드 정보에 기초하여, 상기 돌봄 대상이 사람 또는 반려 동물인지 인식 또는 추정할 수 있다. 또한, 로봇 제어부(190)는 돌봄 대상(Tar)이 사람인 경우, 제1 소정 나이 이하 또는 제2 소정 나이 이상인지 추정할 수 있다. 여기서, 제1 소정 나이는 7세로 설정할 수 있으며, 제2 소정 나이는 70세로 설정할 수 있으나, 실시 예에 따라 나이가 다르게 설정될 수 있다.
이에, 로봇 제어부(190)는 돌봄 대상(Tar)이 사람인 경우, 나이가 어린 아이 또는 나이가 많은 노인을 구분할 수 있다. 이에 따라, 로봇 제어부(190)는 인식 또는 추정된 돌봄 대상(Tar)에 따라 맞춤형으로 케어 서비스를 제공할 수 있다.
여기서, 돌봄 대상(Tar)의 사운드 정보는 돌봄 대상(Tar)이 발화하는 사운드 정보를 포함할 수 있으며, 돌봄 대상(Tar)에 의해 발생되는 사운드 정보를 포함할 수 있다.
로봇 제어부(190)는 로봇 메모리(150)에 저장된 심층 신경망 모델을 이용하여 반려 동물, 아이, 노인 등을 구분할 수 있다. 상기 심층 신경망 모델은 입력되는 영상 정보 및 사운드 정보에 기초하여 돌봄 대상(Tar)을 추정하는 모델이며, 레이블(그라운드 트루스(Ground Truth))에 기초하여 모델을 완성하며 모델의 정확도를 높일 수 있다.
로봇 제어부(190)는 돌봄 대상(Tar)에 관련된 영상 정보 또는 사운드 정보에 기초하여, 로봇(100)이 케어(Care) 모드로 진입할지 여부를 결정할 수 있다.
여기서, 케어 모드는 로봇(100)이 돌봄 대상(Tar)을 돌보기 위한 모드로 돌봄 대상(Tar)의 보호자(Prot)의 도움을 받아 케어 서비스를 돌봄 대상(Tar)에 제공할 수 있다.
로봇 제어부(190)는 영상 정보 또는 사운드 정보에 기초하여, 보호자(Prot)의 관여가 필요한 것으로 결정한 경우, 로봇(100)을 케어 모드로 진입시킬 수 있다.
로봇 제어부(190)는 영상 정보에서 획득한 돌봄 대상(Tar)의 모션 정보 또는 사운드 정보를 입력 데이터로 하고, 보호자(Prot)의 관여가 필요한지 여부를 출력 데이터로 하는 기 저장된 심층 신경망 모델을 이용하여, 로봇(100)이 케어 모드로 진입할지 여부를 결정할 수 있다.
예를 들어 돌봄 대상(Tar)이 노인인 경우, 심층 신경망 모델은 돌봄 대상(Tar)이 갑자기 쓰러지는 모션, 괴로운 표정을 지으면서 신체 부위를 움켜지는 모션 등을 입력받는 경우, 보호자(Prot)의 관여가 필요한 것으로 출력할 수 있다.
또한, 돌봄 대상(Tar)이 아이인 경우, 심층 신경망 모델은 돌봄 대상(Tar)이 우는 모션 정보(눈을 비비면서 눈물이 떨어지는 상황), 위험한 곳에 올라가는 모션 정보 등을 입력받는 경우, 보호자(Prot)의 관여가 필요한 것으로 출력할 수 있다.
또한, 돌봄 대상(Tar)이 반려 동물인 경우, 심층 신경망 모델은 돌봄 대상(Tar)이 토하는 모션 정보, 위험한 곳에 올라가는 모션 정보, 배고파서 힘 없이 축 늘어진 모션 정보 등을 입력받는 경우, 보호자(Prot)의 관여가 필요한 것으로 출력할 수 있다.
또한, 상기 심층 신경망 모델은 돌봄 대상(Tar)의 각종 사운드 정보에 기초하여 보호자(Prot)의 관여가 필요한지 여부를 출력할 수 있다. 가령, 심층 신경망 모델은 돌봄 대상(Tar)이 보호자(Prot)를 부르면서 우는 사운드 정보를 입력받는 경우, 보호자(Prot)의 관여가 필요한 것으로 출력할 수 있다.
로봇 제어부(190)는 상기 심층 신경망 모델을 생성, 훈련 및 완성할 수 있다. 이를 위해, 로봇 제어부(190)는 입력되는 영상 정보 및/또는 사운드 정보에 기초하여 출력되는 보호자 관여 여부에 대한 정보를 레이블(그라운드 트루스)에 기초하여 심층 신경망 모델을 훈련시킬 수 있다.
선택적 실시 예로, 로봇 제어부(190)는 사운드만 검출된 경우에는 케어 모드로 진입하지 않다가 아이 사운드가 입력되면, 아이를 위한 케어 모드로 진입할 수 있으며, 반려 동물의 사운드가 입력되면, 반려 동물을 위한 케어 모드로 진입할 수 있다.
선택적 실시 예로, 로봇 제어부(190)는 영상 정보에서 사람이 검출되면, 사람의 나이를 추정하고 추정 나이가 아이인 경우, 아이를 위한 케어 모드로 진입할 수 있으며, 추정 나이가 노인인 경우, 노인을 위한 케어 모드로 진입할 수 있다.
선택적 실시 예로, 로봇 제어부(190)는 돌봄 대상(Tar)이 카메라(121)를 소정 시간 동안 바라보는 경우, 돌봄 대상(Tar)을 촬영한 영상 정보에서 나이에 따른 돌봄 서비스를 제공할 수 있다. 만약, 로봇 제어부(190)는 돌봄 대상(Tar)이 카메라(121)를 바라보지 않는 경우, 돌봄 서비스를 종료할 수 있다.
선택적 실시 예로, 로봇 제어부(190)는 돌봄 대상(Tar)이 소정 거리 내인 경우, 보호자 명칭이 마이크(123)를 통해 입력되는지 모니터링하고, 보호자 명칭이 입력되면, 보호자(Prot)에게 메시지를 전송할 수 있다.
로봇 제어부(190)는 케어 모드의 진입이 결정된 경우, 영상 정보 또는 상기 사운드 정보를 상기 돌봄 대상(Tar)의 보호자(Prot)가 컨트롤하는 이동 단말(200)로 통신부(110)를 통해 전송할 수 있다.
이때, 로봇 제어부(190)는 사운드 정보에 대응하는 텍스트 정보를 STT(Speech To Text) 알고리즘을 이용하여 변환하고, 상기 변환된 텍스트 정보를 이동 단말(200)로 전송할 수 있다. 이를 위해, STT 알고리즘이 상기 로봇 메모리(150)에 저장될 수 있다. 선택적 실시 예로 로봇 제어부(190)는 모션 정보에 대응하는 텍스트 정보를 추출하여 이동 단말(200)로 전송할 수 있다.
로봇 제어부(190)는 영상 정보 또는 사운드 정보에 대응하는 피드백 정보를 이동 단말(200)로부터 로봇 통신부(110)를 통해 수집할 수 있다. 여기서, 피드백 정보는 보호자(Prot)가 제공하는 정보일 수 있다.
선택적 실시 예로 상기 피드백 정보는 외부 병원 시스템, 긴급 출동 서비스 시스템 등을 통해서 수신되는 정보일 수 있다. 특히, 상기 피드백 정보는 돌봄 대상(Tar)을 케어하기 위한 사운드 정보 또는 영상 정보를 포함하는 정보일 수 있다.
로봇 제어부(190)는 피드백 정보를 그대로 포함하는 소정의 메시지를 돌봄 대상(Tar)을 향하여 출력부(140)를 통해 출력할 수 있다. 로봇 제어부(190)는 상기 소정의 메시지를 로봇(100)이 직접 출력할 수 있으며, 연관된 기기(TV, 블루투스 스피커)를 통해 출력할 수 있다.
또한, 로봇 제어부(190)는 피드백 정보에 포함된 영상 정보 및/또는 사운드 정보를 가공한 소정의 메시지를 돌봄 대상(Tar)을 향하여 출력할 수 있다.
예를 들면, 로봇 제어부(190)는 보호자(Prot)가 발화한 사운드 정보를 그대로 전송하지 않고, 발화한 사운드 정보를 STT 알고리즘을 이용하여 텍스트 정보로 바꾼 후, 보호자(Prot)의 발화 내용을 인용하는 방식으로 사운드 정보를 가공하여 돌봄 대상(Tar)에 제공할 수 있다. 가령, "엄마가 30분 후에 오신다고 하네요"와 같이 가공될 수 잇다. 이런 경우, 보호자(Prot)의 사운드 정보 및/또는 영상 정보를 보고 돌봄 대상(Tar)의 감정적 동요를 억제시킬 수 있다.
또한, 상기 로봇 제어부(190)는 피드백 정보에 포함된 보호자(Prot)의 의도에 기초하여 돌봄 대상(Tar)을 향하여 기 설정된 콘텐츠를 제공하거나 돌봄 대상(Tar)을 향하여 특정 활동을 제안할 수 있다.
구체적으로, 로봇 제어부(190)는 보호자(Prot)가 돌봄 대상(Tar)에 만화 영화를 재생해달라고 명령하면, 돌봄 대상(Tar)이 선호하는 콘텐츠를 돌봄 대상(Tar)에게 제공할 수 있다. 또한, 로봇 제어부(190)는 돌봄 대상(Tar)이 좋아하는 책을 읽어주라고 보호자(Prot)가 요청하면, 돌봄 대상(Tar)이 좋아할 법한 책을 선택하여 돌봄 대상(Tar)에게 책을 읽어줄 수 있다. 또한, 로봇 제어부(190)는 돌봄 대상(Tar)이 배고픈 것으로 판단한 경우, 돌봄 대상(Tar)에게 음식을 제공할 수 있으며, 돌봄 대상(Tar)이 약 먹을 시간인 경우, 돌봄 대상(Tar)에게 약을 가져다 줄 수 있다.
또한, 로봇 제어부(190)는 특정 콘텐츠 및/또는 특정 활동을 돌봄 대상(Tar)에게 제공하면서, 돌봄 대상(Tar)의 콘텐츠/활동 몰입도를 모니터링할 수 있다.
가령, 로봇 제어부(190)는 콘텐츠를 바라보는 돌봄 대상(Tar)이 콘텐츠에만 몰입하는 시간 정보, 표정 정보 등을 모니터링한 후, 콘텐츠 별로 선호 순위를 결정할 수 있다. 로봇 제어부(190)는 돌봄 대상(Tar)에게 선호 순위에 기초하여 콘텐츠를 제안할 수 있다.
또한, 로봇 제어부(190)는 돌봄 대상(Tar)의 안면을 인식하여 콘텐츠가 재생 중인 경우, 돌봄 대상(Tar)이 선호하는 콘텐츠 재생을 제공할 수 있다.
만약, 로봇 제어부(190)가 피드백 정보를 수신하지 못하는 경우, 로봇 메모리(150)에 저장된 소정의 메시지를 돌봄 대상(Tar)에게 제공할 수 있다. 가령, 로봇 제어부(190)는 보호자(Prot)가 오는 중이라는 사운드 정보를 돌봄 대상(Tar)에게 제공할 수 있다.
아울러, 로봇 제어부(190)는 돌봄 대상(Tar)에 기 설정된 콘텐츠를 제공하거나 돌봄 대상(Tar)을 향하여 특정 활동을 제안할 수 있다. 로봇 제어부(190)는 이전에 돌봄 대상(Tar)에게 제공한 놀이, 활동 등을 제안할 수 있으며, 돌봄 대상(Tar)이 선호했던 콘텐츠를 돌봄 대상(Tar)에게 제공할 수 있다.
로봇 제어부(190)는 돌봄 대상(Tar)과 소정의 대화(Dialog)를 수행하는 경우(특정 메시지를 전달하는 경우), DM(Dialog Manager)를 이용할 수 있다. DM은 돌봄 대상(Tar)에 따른 미리 설정된 다이알로그와 보호자의 메시지를 가공한 다이알로그, 보호자의 메시지를 그대로 포함하는 다이알로그 등을 포함할 수 있다. 로봇 제어부(190)는 DM에 포함된 다이알로그를 상황에 맞게 맞춤형으로 돌봄 대상(Tar) 별로 다르게 전달할 수 있다.
이하에서는, 케어 시스템(300)의 구성요소들을 설명하기로 한다. 케어 시스템(300)은 시스템 통신부(310), 시스템 메모리(320) 및 시스템 제어부(330)를 포함할 수 있다. 도 3에 도시된 구성요소들은 케어 시스템(300)를 구현하는데 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 케어 시스템(300)은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
시스템 통신부(310)는 하나 이상의 로봇(100 포함), 각종 통신 기기 등과 통신하는 모듈이며, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association;IrDA), ZigBee, NFC(Near Field Communication) 통신에 관한 모듈을 탑재할 수 있다.
시스템 메모리(320)는 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다. 시스템 메모리(320)는 심층 신경망 모델을 저장할 수 있다. 상기 심층 신경망 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
시스템 제어부(330)는 케어 시스템(300)을 전반적으로 제어하는 모듈에 해당된다. 시스템 제어부(330)는 돌봄 대상(Tar)에 제공할 콘텐츠 사용에 대한 제어 기능을 로봇(100) 또는 돌봄 대상(Tar)에게 부여할 것인지 보호자(Prot)의 의사에 의해 또는 자체적으로 결정할 수 있다.
시스템 제어부(330)는 보호자(Prot)의 요청 사항을 돌봄 대상(Tar)에 전달할 수 있으며, 보호자(Prot)의 도착 예정 시간 정보, 보호자(Prot)의 위치 정보 등을 로봇(100)에게 제공할 수 있다.
이하에서는, 도 4의 시퀀스도를 참고하여 본 발명의 일 실시 예에 따른 로봇(100), 보호자(Prot)의 이동 단말(200) 및 케어 시스템(300)의 구동을 설명하기로 한다.
로봇(100)은 홈에 배치되고, 홈 내부에서 돌봄 대상(Tar)의 사운드 정보를 획득한다(S410).
로봇(100)은 바로 케어 모드로 진입(S420)하고, 돌봄 대상(Tar)의 사운드 정보를 케어 시스템(300)으로 전송하며(S425). 대기 상태로 진입한다(S423, 대기중).
선택적 실시 예로 로봇(100)은 돌봄 대상(Tar)의 영상 정보를 획득한 후, 상기 영상 정보를 케어 시스템(300)으로 전송할 수 있다.
케어 시스템(300)은 자연어 처리를 수행하고(S430), 돌봄 대상(Tar)의 요청 정보를 보호자(Prot)의 이동 단말(200)로 전송한다(S435).
케이 시스템(300)은 사운드 정보를 보다 명확하게 가공하거나 사운드 정보의 의미를 보다 명확하게 인식할 수 있다. 케어 시스템(300)은 추가적으로, 다이알로그 매니저(DM)를 실행하여 돌봄 대상(Tar)에 전달될 말을 설정할 수 있다. DM은 돌봄 대상(Tar) 및 상황에 따라 적절한 다이알로그를 생성할 수 있다.
케어 시스템(300)은 보호자(Prot)의 피드백 정보를 수신하고(S440), 보호자(Prot)의 피드백 정보를 로봇(100)에 전송한다(S445).
로봇(100)은 보호자(Prot)의 피드백 정보를 수신하여, 돌봄 대상(Tar)에게 소정의 메시지를 출력한다(S450).
로봇(100)은 소정 시간 동안 보호자의 피드백 정보를 받지 못한 경우, 기 설정된 메시지를 로봇(100)에 전달할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 로봇(100)의 구동 방법을 나타낸 시퀀스도이다.
먼저, 로봇(100)은 소정 공간에 위치한 돌봄 대상(Tar)을 촬영한 영상 정보 및/또는 돌봄 대상(Tar)의 사운드 정보를 획득한다(S710, 획득 단계).
그 다음, 로봇(100)은 영상 정보 또는 사운드 정보에 기초하여, 케어(Care) 모드의 진입 여부를 결정한다(S720, 결정 단계).
로봇(100)은 케어 모드의 진입이 결정된 경우, 영상 정보 또는 사운드 정보를 돌봄 대상(Tar)의 보호자(Prot)가 컨트롤하는 이동 단말(200)로 전송한다(S730, 전송 단계).
그 후에, 로봇(100)은 영상 정보 또는 사운드 정보에 대응하는 피드백 정보를 이동 단말(200)로부터 수집한다(S740, 수집 단계).
이때, 로봇(100)은 이동 단말(200)로부터 이동 단말(200)의 위치 정보(또는 보호자의 위치 정보)를 로봇(100)으로 전송할 수 있다.
그 후에, 로봇(100)은 피드백 정보에 기초하여, 소정의 메시지를 돌봄 대상(Tar)을 향하여 출력한다(S750, 출력 단계).
상기 S720 단계 이전에, 로봇(100)의 구동 방법은 영상 정보 또는 사운드 정보에 기초하여, 돌봄 대상이 사람 또는 반려 동물인지 추정하는 단계 및 돌봄 대상(Tar)을 사람으로 추정한 경우, 추정된 사람의 나이가 제1 소정 나이 이하 또는 제2 소정 나이 이상인지 추정하는 단계를 더 포함할 수 있다.
상기 S730 단계(전송 단계)는, 영상 정보 또는 사운드 정보에 기초하여, 돌봄 대상(Tar)을 케어하는 보호자(Prot)의 관여가 필요한 것으로 결정한 경우, 케어 모드로 진입하는 단계를 포함할 수 있다.
구체적으로, 로봇(100)은 영상 정보에서 수집한 돌봄 대상(Tar)의 모션 정보, 획득한 사운드 정보를 입력 데이터로 하고, 돌봄 대상(Tar)을 케어하는 보호자(Prot)의 관여가 필요한지 여부를 출력 데이터로 하는 기 저장된 심층 신경망 모델을 이용하여, 로봇이 케어 모드로 진입할지 여부를 결정할 수 있다.
또한, S730 단계(전송 단계)는, 상기 케어 모드로 진입이 결정되면, 획득한 상기 영상 정보, 상기 사운드 정보 및 상기 사운드 정보를 STT(Speech To Text) 알고리즘을 이용하여 변환한 텍스트 정보 중 적어도 하나를 상기 이동 단말로 전송하는 단계를 포함할 수 있다.
S740 단계(수집 단계)는, 돌봄 대상(Tar)을 케어하기 위한 사운드 정보 또는 영상 정보를 포함하는 상기 피드백 정보를 상기 이동 단말로부터 수집하는 단계를 포함할 수 있다.
S750 단계(출력 단계)는 피드백 정보를 그대로 포함하는 소정의 메시지를 돌봄 대상(Tar)을 향하여 출력하거나, 피드백 정보에 포함된 영상 정보 또는 사운드 정보에 기초하여 가공한 소정의 메시지를 돌봄 대상(Tar)을 향하여 출력하는 단계를 포함할 수 있다.
S750 단계(출력 단계) 이후에, 상기 로봇(100)의 구동 방법은 피드백 정보에 포함된 상기 돌봄 대상(Tar)의 보호자(Prot)의 의도에 기초하여 상기 돌봄 대상(Tar)을 향하여 기 설정된 콘텐츠를 제공하거나 상기 돌봄 대상(Tar)을 향하여 특정 활동을 제안하는 단계를 더 포함할 수 있다.
한편, 상기 S750 단계(출력 단계)는 피드백 정보를 수신하지 못하는 경우, 기 저장된 소정의 메시지를 상기 돌봄 대상(Tar)을 향하여 출력하는 단계를 포함할 수 있다.
또한, 보호자(Prot)의 이동 단말(200)은 영상 통화를 로봇(100)과 수행할 수 있다. 상기 영상 통화는 이동 단말(200) 또는 로봇(100) 양측에 의해 트리거될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 상기 컴퓨터는 로봇(100)의 프로세서(190)를 포함할 수도 있다.
앞에서, 본 발명의 특정한 실시예가 설명되고 도시되었지만 본 발명은 기재된 실시예에 한정되는 것이 아니고, 이 기술 분야에서 통상의 지식을 가진 자는 본 발명의 사상 및 범위를 벗어나지 않고서 다른 구체적인 실시예로 다양하게 수정 및 변형할 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고 청구범위에 기재된 기술적 사상에 의해 정하여져야 할 것이다.

Claims (20)

  1. 로봇으로서,
    통신부; 카메라; 마이크; 출력부; 및 제어부를 포함하며,
    상기 제어부는,
    소정 공간에 위치한 돌봄 대상(Caring Target)을 촬영한 영상 정보를 상기 카메라를 통해 획득하거나 상기 돌봄 대상의 사운드 정보를 상기 마이크를 통해 획득하고,
    상기 영상 정보 또는 사운드 정보에 기초하여, 상기 로봇이 케어(Care) 모드로 진입할지 여부를 결정하며,
    상기 케어 모드의 진입이 결정된 경우, 상기 영상 정보 또는 상기 사운드 정보를 상기 돌봄 대상의 보호자가 컨트롤하는 이동 단말로 상기 통신부를 통해 전송하고,
    상기 영상 정보 또는 사운드 정보에 대응하는 피드백 정보를 상기 이동 단말로부터 상기 통신부를 통해 수집하며,
    상기 피드백 정보에 기초하여, 소정의 메시지를 상기 돌봄 대상을 향하여 출력하도록 상기 출력부를 제어하도록 구성되는, 로봇.
  2. 제1항에 있어서,
    싱기 제어부는,
    상기 영상 정보 또는 상기 사운드 정보에 기초하여, 상기 돌봄 대상이 사람 또는 반려 동물인지 추정하고, 추정된 상기 돌봄 대상이 사람인 경우, 제1 소정 나이 이하 또는 제2 소정 나이 이상인지 추정하도록 구성되는, 로봇.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 영상 정보 또는 상기 사운드 정보에 기초하여, 상기 보호자의 관여가 필요한 것으로 결정한 경우, 상기 로봇이 상기 케어 모드로 진입하도록 구성되는, 로봇.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 영상 정보에서 획득한 상기 돌봄 대상의 모션 정보 또는 상기 사운드 정보를 입력 데이터로 하고, 상기 보호자의 관여가 필요한지 여부를 출력 데이터로 하는 기 저장된 심층 신경망 모델을 이용하여, 상기 로봇이 상기 케어 모드로 진입할지 여부를 결정하도록 구성되는, 로봇.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 케어 모드로 진입이 결정되면, 획득한 상기 영상 정보, 상기 사운드 정보 및 상기 사운드 정보를 STT(Speech To Text) 알고리즘을 이용하여 변환한 텍스트 정보 중 적어도 하나를 상기 보호자의 이동 단말로 상기 통신부를 통해 전송하도록 구성되는, 로봇.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 돌봄 대상을 케어하기 위한 사운드 정보 또는 영상 정보를 포함하는 상기 피드백 정보를 상기 이동 단말로부터 상기 통신부를 통해 수집하도록 구성되는, 로봇.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 피드백 정보를 그대로 포함하는 상기 소정의 메시지를 상기 돌봄 대상을 향하여 상기 출력부를 통해 출력하거나, 상기 피드백 정보에 포함된 영상 정보 또는 상기 사운드 정보에 기초하여 가공한 소정의 메시지를 상기 돌봄 대상을 향하여 상기 출력부를 통해 출력하도록 구성되는, 로봇.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 피드백 정보에 포함된 상기 보호자의 의도에 기초하여 상기 돌봄 대상을 향하여 기 설정된 콘텐츠를 제공하거나 상기 돌봄 대상을 향하여 특정 활동을 제안하도록 구성되는, 로봇.
  9. 제5항에 있어서,
    상기 제어부는,
    상기 피드백 정보를 수신하지 못하는 경우, 기 저장된 소정의 메시지를 상기 돌봄 대상을 향하여 상기 출력부를 통해 출력하도록 구성되는, 로봇.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 돌봄 대상을 향하여 기 설정된 콘텐츠를 제공하거나 상기 돌봄 대상을 향하여 특정 활동을 상기 출력부를 통해 제안하도록 구성되는, 로봇.
  11. 로봇의 제어 방법으로서,
    소정 공간에 위치한 돌봄 대상을 촬영한 영상 정보 또는 상기 돌봄 대상의 사운드 정보를 입력받는 단계;
    상기 영상 정보 또는 상기 사운드 정보를 케어(Care) 시스템으로 전송하는 단계;
    상기 케어 시스템이 상기 영상 정보 또는 상기 사운드 정보에 대응하는 피드백 정보를 상기 돌봄 대상의 보호자로부터 수집하는 경우, 상기 피드백 정보를 상기 케어 시스템으로부터 수신하는 단계; 및
    수신된 상기 피드백 정보에 기초하여 상기 돌봄 대상을 케어하기 위한 소정의 메시지를 출력하는 단계를 포함하는, 로봇의 제어 방법.
  12. 로봇의 제어 방법으로서,
    소정 공간에 위치한 돌봄 대상(Caring Target)을 촬영한 영상 정보 또는 상기 돌봄 대상의 사운드 정보를 획득하는 단계;
    상기 영상 정보 또는 사운드 정보에 기초하여, 케어(Care) 모드의 진입 여부를 결정하는 단계;
    상기 케어 모드의 진입이 결정된 경우, 상기 영상 정보 또는 상기 사운드 정보를 상기 돌봄 대상의 보호자가 컨트롤하는 이동 단말로 전송하는 단계;
    상기 영상 정보 또는 사운드 정보에 대응하는 피드백 정보를 상기 이동 단말로부터 수집하는 단계; 및
    상기 피드백 정보에 기초하여, 소정의 메시지를 상기 돌봄 대상을 향하여 출력하는 단계를 포함하는, 로봇의 제어 방법.
  13. 제12항에 있어서,
    상기 케어 모드의 진입 여부를 결정하는 단계 이전에,
    상기 영상 정보 또는 상기 사운드 정보에 기초하여, 상기 돌봄 대상이 사람 또는 반려 동물인지 추정하는 단계; 및
    상기 돌봄 대상을 사람으로 추정한 경우, 추정된 사람의 나이가 제1 소정 나이 이하 또는 제2 소정 나이 이상인지 추정하는 단계를 더 포함하는, 로봇의 제어 방법.
  14. 제13항에 있어서,
    상기 케어 모드의 진입 여부를 결정하는 단계는,
    상기 영상 정보 또는 상기 사운드 정보에 기초하여, 상기 돌봄 대상을 케어하는 보호자의 관여가 필요한 것으로 결정한 경우, 상기 케어 모드로 진입하는 단계를 포함하는, 로봇의 제어 방법.
  15. 제14항에 있어서,
    상기 케어 모드의 진입 여부를 결정하는 단계는,
    상기 영상 정보에서 수집한 상기 돌봄 대상의 모션 정보, 상기 획득한 사운드 정보를 입력 데이터로 하고, 상기 돌봄 대상을 케어하는 보호자의 관여가 필요한지 여부를 출력 데이터로 하는 기 저장된 심층 신경망 모델을 이용하여, 상기 로봇이 상기 케어 모드로 진입할지 여부를 결정하는 단계를 포함하는, 로봇의 제어 방법.
  16. 제12항에 있어서,
    상기 전송하는 단계는,
    상기 케어 모드로 진입이 결정되면, 획득한 상기 영상 정보, 상기 사운드 정보 및 상기 사운드 정보를 STT(Speech To Text) 알고리즘을 이용하여 변환한 텍스트 정보 중 적어도 하나를 상기 이동 단말로 전송하는 단계를 포함하는, 로봇의 제어 방법.
  17. 제16항에 있어서,
    상기 이동 단말로부터 수집하는 단계는,
    상기 돌봄 대상을 케어하기 위한 사운드 정보 또는 영상 정보를 포함하는 상기 피드백 정보를 상기 이동 단말로부터 수집하는 단계를 포함하는, 로봇의 제어 방법.
  18. 제17항에 있어서,
    상기 출력하는 단계는,
    상기 피드백 정보를 그대로 포함하는 상기 소정의 메시지를 상기 돌봄 대상을 향하여 출력하거나, 상기 피드백 정보에 포함된 영상 정보 또는 상기 사운드 정보에 기초하여 가공한 소정의 메시지를 상기 돌봄 대상을 향하여 출력하는 단계를 포함하는, 로봇의 제어 방법.
  19. 제18항에 있어서,
    상기 출력하는 단계 이후에,
    상기 피드백 정보에 포함된 상기 돌봄 대상의 보호자의 의도에 기초하여 상기 돌봄 대상을 향하여 기 설정된 콘텐츠를 제공하거나 상기 돌봄 대상을 향하여 특정 활동을 제안하는 단계를 더 포함하는, 로봇의 제어 방법.
  20. 제16항에 있어서,
    상기 출력하는 단계는,
    상기 피드백 정보를 수신하지 못하는 경우, 기 저장된 소정의 메시지를 상기 돌봄 대상을 향하여 출력하는 단계를 포함하는, 로봇의 제어 방법.
KR1020190115655A 2019-09-19 2019-09-19 로봇 및 그의 제어 방법 KR20190114931A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190115655A KR20190114931A (ko) 2019-09-19 2019-09-19 로봇 및 그의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190115655A KR20190114931A (ko) 2019-09-19 2019-09-19 로봇 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
KR20190114931A true KR20190114931A (ko) 2019-10-10

Family

ID=68206197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190115655A KR20190114931A (ko) 2019-09-19 2019-09-19 로봇 및 그의 제어 방법

Country Status (1)

Country Link
KR (1) KR20190114931A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102635981B1 (ko) * 2023-02-06 2024-02-13 김영숙 양육 지원 상담 및 코칭 어플리케이션 제공 장치
WO2024123140A1 (ko) * 2022-12-09 2024-06-13 주식회사 지오비전 표정 및 행동 인식이 가능한 돌봄 로봇 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101552289B1 (ko) 2015-02-16 2015-09-14 이동환 돌봄 단말 시스템 장치
KR101617342B1 (ko) 2015-06-26 2016-05-02 배상윤 놀이시설장소 돌봄 장치 및 돌봄 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101552289B1 (ko) 2015-02-16 2015-09-14 이동환 돌봄 단말 시스템 장치
KR101617342B1 (ko) 2015-06-26 2016-05-02 배상윤 놀이시설장소 돌봄 장치 및 돌봄 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024123140A1 (ko) * 2022-12-09 2024-06-13 주식회사 지오비전 표정 및 행동 인식이 가능한 돌봄 로봇 시스템
KR102635981B1 (ko) * 2023-02-06 2024-02-13 김영숙 양육 지원 상담 및 코칭 어플리케이션 제공 장치

Similar Documents

Publication Publication Date Title
US11217246B2 (en) Communication robot and method for operating the same
US8321221B2 (en) Speech communication system and method, and robot apparatus
KR102281590B1 (ko) 음성인식 성능 향상을 위한 비 지도 가중치 적용 학습 시스템 및 방법, 그리고 기록 매체
CN110291489A (zh) 计算上高效的人类标识智能助理计算机
KR20190084789A (ko) 전자 장치 및 그 제어 방법
US11404066B2 (en) Device and method for providing voice recognition service based on artificial intelligence
EP3756185B1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
US11605379B2 (en) Artificial intelligence server
KR102321855B1 (ko) 음성으로 상호작용하는 인공 지능 장치 및 그 방법
US20230266767A1 (en) Information processing apparatus, information processing method, and program
KR20190019401A (ko) 전자 장치 및 그 제어 방법
US11514269B2 (en) Identification device, robot, identification method, and storage medium
KR20210138181A (ko) 안내 로봇 및 안내 로봇의 동작 방법
US20200001469A1 (en) Robot
KR102206181B1 (ko) 단말기 및 그의 동작 방법
US20210208595A1 (en) User recognition-based stroller robot and method for controlling the same
US11938625B2 (en) Information processing apparatus, information processing method, and program
KR20190114931A (ko) 로봇 및 그의 제어 방법
KR102573023B1 (ko) 수면 유도 장치
US20200098356A1 (en) Electronic device and method for providing or obtaining data for training thereof
KR102511517B1 (ko) 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR20180082777A (ko) 노년층을 위한 교감 로봇시스템
US20210094167A1 (en) Apparatus connected to robot, and robot system including the robot and the apparatus
JP2019175432A (ja) 対話制御装置、対話システム、対話制御方法及びプログラム
US11478925B2 (en) Robot and method for controlling same