KR102519599B1 - Multimodal based interaction robot, and control method for the same - Google Patents
Multimodal based interaction robot, and control method for the same Download PDFInfo
- Publication number
- KR102519599B1 KR102519599B1 KR1020220021935A KR20220021935A KR102519599B1 KR 102519599 B1 KR102519599 B1 KR 102519599B1 KR 1020220021935 A KR1020220021935 A KR 1020220021935A KR 20220021935 A KR20220021935 A KR 20220021935A KR 102519599 B1 KR102519599 B1 KR 102519599B1
- Authority
- KR
- South Korea
- Prior art keywords
- interaction
- robot
- interaction robot
- information
- unit
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 272
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000010365 information processing Effects 0.000 claims abstract description 120
- 238000003860 storage Methods 0.000 claims description 44
- 230000009471 action Effects 0.000 claims description 33
- 238000004891 communication Methods 0.000 claims description 25
- 230000017525 heat dissipation Effects 0.000 claims description 7
- 230000005236 sound signal Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000015541 sensory perception of touch Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 32
- 230000000875 corresponding effect Effects 0.000 description 18
- 210000003128 head Anatomy 0.000 description 15
- 230000008451 emotion Effects 0.000 description 13
- 230000001276 controlling effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 5
- 239000007769 metal material Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 229910000838 Al alloy Inorganic materials 0.000 description 2
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 229910000881 Cu alloy Inorganic materials 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 206010041235 Snoring Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000002079 cooperative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
- B25J13/084—Tactile sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/005—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators using batteries, e.g. as a back-up power source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/0054—Cooling means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Manipulator (AREA)
Abstract
Description
본 발명은 인터랙션 로봇에 관한 것으로서, 보다 상세하게는, 인체의 다중 감각 기능에 대응하는 다중 센싱 구조를 가지는 멀티모달 기반의 인터랙션 로봇을 이용하여 사용자에게 인터랙션 서비스를 제공하는 기술에 관한 것이다. The present invention relates to an interaction robot, and more particularly, to a technology for providing an interaction service to a user using a multimodal-based interaction robot having a multi-sensing structure corresponding to the multi-sensory functions of the human body.
본 출원은 2021년 10월 29일자로 출원된 한국 특허출원 번호 제10-2021-0147193호에 대한 우선권 주장 출원으로서, 해당 출원의 명세서 및 도면에 개시된 모든 내용은 인용에 의해 본 출원에 원용된다. This application is an application claiming priority to Korean Patent Application No. 10-2021-0147193 filed on October 29, 2021, and all contents disclosed in the specification and drawings of the application are incorporated into this application by reference.
최근 안내용 로봇 등, 로봇 기반의 서비스에 대한 수요 및 적용 분야가 지속적으로 보편화되는 추세에 있으며, 특히 사회적으로 1인 자녀를 둔 가구와 노인 인구가 가파르게 증가함에 따라, 사용자 관점에서의 고도화된 인터랙션 서비스에 대한 니즈(needs)를 로봇을 통해 충족시키고자 하는 시도 또한 증대되고 있다.Recently, the demand for and application of robot-based services, such as guidance robots, continues to be common, and in particular, as the number of households with one child and the elderly population increases rapidly, advanced interaction from the user's point of view Attempts to satisfy service needs through robots are also increasing.
기존의 대다수의 로봇 기반 서비스는, 로봇으로 하여금 서비스 대상인 사용자의 명령이나 행동(예, 질문)에 연관된 단편적인 반응이나 정보를 제공하는 수준에 머물러, 로봇과 사용자 간에 보다 고차원적인 인터랙션이 가능하도록 연계시켜주는 기능은 부족한 실정이다.Most of the existing robot-based services stay at the level of providing fragmentary responses or information related to the user's command or action (eg, question), which is the target of service, so that a higher level of interaction between the robot and the user is possible. The function to do so is lacking.
인터랙션 서비스는, 로봇으로부터 사용자 또는 사용자로부터 로봇으로의 단방향 상호작용을 넘어서, 로봇과 사용자 간의 양방향 상호작용을 기반으로 한 로봇 제어를 통해 제공 가능한 서비스이다.An interaction service is a service that can be provided through robot control based on a two-way interaction between a robot and a user, beyond a one-way interaction from a robot to a user or from a user to a robot.
그런데, 로봇이 음성-텍스트 변환 등과 같이 단일 모달리티의 입력 정보(예, 사용자의 음성)를 단차원적으로 해석하여 관련 동작을 수행하는 종래 방식은 자연스러운 대화 등에 대한 사용자의 욕구를 충족시키는 데에 한계가 뚜렷하다.However, the conventional method in which a robot interprets input information (eg, a user's voice) of a single modality in a single dimension, such as voice-to-text conversion, and performs related operations has limitations in satisfying the user's desire for natural conversation. distinct
본 발명은, 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 인체의 다중 감각 기능에 대응하는 다중 센싱 구조를 가지는 멀티모달 기반의 인터랙션 로봇, 및 그 제어 방법을 제공하는 것을 목적으로 한다. The present invention has been made to solve the above problems, and an object of the present invention is to provide a multimodal-based interaction robot having a multi-sensing structure corresponding to the multi-sensory function of the human body, and a control method thereof.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the examples of the present invention. Furthermore, it will be readily apparent that the objects and advantages of the present invention may be realized by means of the instrumentalities and combinations thereof set forth in the claims.
본 발명의 일 측면에 따른 멀티모달 기반의 인터랙션 로봇은, 서로 다른 복수의 모달리티에 일대일로 연관된 복수의 센싱부를 포함하는 정보 수집부; 상기 인터랙션 로봇에 의해 실행되는 동작에 연관된 인터랙션 피드백을 출력하는 정보 출력부; 상기 인터랙션 로봇의 움직임을 제어하는 구동부; 및 상기 복수의 센싱부 중 적어도 하나의 센싱부로부터의 센싱 데이터를 기초로, 상기 사용자 및 상기 인터랙션 로봇 중 적어도 하나에 관하여 인지된 상황을 표현하는 제1 상황 인지 정보를 생성하는 정보 처리부;를 포함한다. 상기 정보 처리부는, 상기 제1 상황 인지 정보를 기초로, 적어도 하나의 인터랙션 동작을 선택하고, 상기 정보 출력부 및 상기 구동부 중 적어도 하나를 제어하여, 상기 선택된 각 인터랙션 동작을 실행하도록 구성된다.A multimodal-based interaction robot according to an aspect of the present invention includes: an information collection unit including a plurality of sensing units that are one-to-one associated with a plurality of different modalities; an information output unit outputting interaction feedback related to the motion executed by the interaction robot; a driving unit controlling movement of the interaction robot; and an information processing unit configured to generate first context-aware information representing a recognized situation with respect to at least one of the user and the interaction robot, based on sensing data from at least one of the plurality of sensing units. do. The information processing unit is configured to select at least one interaction operation based on the first situation awareness information, and execute each selected interaction operation by controlling at least one of the information output unit and the driving unit.
상기 복수의 센싱부는, 상기 인터랙션 로봇 주변의 2차원 영상, 3차원 영상 및 밝기값 중 적어도 하나를 포함하는 제1 센싱 데이터를 생성하는 제1 센싱부를 포함할 수 있다. 상기 정보 처리부는, 상기 제1 센싱 데이터를 기초로, 상기 인터랙션 로봇 주변에 위치하는 객체별 객체 특징을 나타내는 시각 기반-상황 데이터를 생성하고, 상기 시각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성할 수 있다.The plurality of sensing units may include a first sensing unit that generates first sensing data including at least one of a 2D image, a 3D image, and a brightness value around the interaction robot. The information processing unit generates, based on the first sensing data, time-based-situation data representing object characteristics for each object located around the interaction robot, and based on the time-based-situation data, the first situation Cognitive information can be created.
상기 정보 처리부는, 상기 제1 센싱부의 두 카메라로부터의 영상을 비교하여, 상기 인터랙션 로봇 주변의 적어도 한 객체의 위치 데이터를 생성할 수 있다. 상기 시각 기반-상황 데이터는, 상기 적어도 한 객체의 위치 데이터를 포함할 수 있다.The information processing unit may generate position data of at least one object around the interaction robot by comparing images from two cameras of the first sensing unit. The time-based-context data may include location data of the at least one object.
상기 복수의 센싱부는, 상기 인터랙션 로봇 주변의 소리를 감지하여 제2 센싱 데이터를 생성하는 제2 센싱부를 포함할 수 있다. 상기 정보 처리부는, 상기 제2 센싱 데이터를 기초로, 상기 인터랙션 로봇 주변의 청각 기반-상황 데이터를 생성하고, 상기 청각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성할 수 있다.The plurality of sensing units may include a second sensing unit configured to sense sounds around the interaction robot and generate second sensing data. The information processing unit may generate hearing-based context data around the interaction robot based on the second sensing data, and generate the first contextual information based on the hearing-based context data.
상기 정보 처리부는, 상기 제2 센싱부에 포함된 복수의 마이크 중 적어도 두 마이크로부터의 오디오 신호를 비교하여, 상기 인터랙션 로봇 주변의 적어도 한 음원의 위치 데이터를 생성할 수 있다. 상기 청각 기반-상황 데이터는, 상기 적어도 한 음원의 위치 데이터를 포함할 수 있다.The information processing unit may generate position data of at least one sound source around the interaction robot by comparing audio signals from at least two of the plurality of microphones included in the second sensing unit. The auditory-based context data may include location data of the at least one sound source.
상기 복수의 센싱부는, 상기 인터랙션 로봇의 몸체의 소정 영역에 대한 접촉 이벤트를 감지하여 제3 센싱 데이터를 생성하는 제3 센싱부를 포함할 수 있다. 상기 정보 처리부는, 상기 제3 센싱 데이터를 기초로, 상기 인터랙션 로봇의 촉각 기반-상황 데이터를 생성할 수 있다. 상기 촉각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성할 수 있다. The plurality of sensing units may include a third sensing unit generating third sensing data by detecting a contact event with respect to a predetermined region of a body of the interaction robot. The information processing unit may generate tactile-based context data of the interaction robot based on the third sensing data. Based on the tactile-based contextual data, the first contextual information may be generated.
상기 복수의 센싱부는, 상기 인터랙션 로봇 주변의 대기 상태를 감지하여 제4 센싱 데이터를 생성하는 제4 센싱부를 포함할 수 있다. 상기 정보 처리부는, 상기 제4 센싱 데이터를 기초로, 상기 인터랙션 로봇의 후각 기반-상황 데이터를 생성하고, 상기 후각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성할 수 있다.The plurality of sensing units may include a fourth sensing unit configured to sense a standby state around the interaction robot and generate fourth sensing data. The information processing unit may generate olfactory-based context data of the interaction robot based on the fourth sensing data, and may generate the first context-aware information based on the olfactory-based context data.
상기 인터랙션 로봇은, 상기 정보 수집부, 상기 정보 출력부, 상기 구동부 및 상기 정보 처리부에 전력을 공급하는 축전부를 더 포함할 수 있다. 상기 복수의 센싱부는, 상기 축전부의 상태를 감지하여 제6 센싱 데이터를 생성하는 제6 센싱부를 포함할 수 있다. 상기 정보 처리부는, 상기 제6 센싱 데이터를 기초로, 상기 제1 상황 인지 정보를 생성할 수 있다.The interaction robot may further include a power storage unit supplying power to the information collection unit, the information output unit, the driving unit, and the information processing unit. The plurality of sensing units may include a sixth sensing unit configured to sense a state of the power storage unit and generate sixth sensing data. The information processing unit may generate the first contextual information based on the sixth sensing data.
상기 인터랙션 로봇은, 무선 통신망 통해 적어도 하나의 외부 정보 매체에 엑세스하여 상기 정보 수집부를 통해 감지 불가한 외부 상황을 표현하는 제2 상황 인지 정보를 수집하는 무선 통신부를 더 포함할 수 있다. 상기 정보 처리부는, 상기 제2 상황 인지 정보를 더 기초로, 상기 적어도 하나의 인터랙션 동작을 선택할 수 있다.The interaction robot may further include a wireless communication unit that accesses at least one external information medium through a wireless communication network and collects second context awareness information expressing an undetectable external situation through the information collection unit. The information processing unit may select the at least one interaction operation further based on the second context awareness information.
상기 인터랙션 로봇은, 상기 정보 처리부에서 발생되는 열 에너지가 상기 몸체에 전달되도록, 상기 인터랙션 로봇의 외면과 상기 정보 처리부 사이에 기계적으로 결합되는 방열 부재를 더 포함할 수 있다.The interaction robot may further include a heat dissipation member mechanically coupled between an outer surface of the interaction robot and the information processing unit so that thermal energy generated by the information processing unit is transferred to the body.
본 발명의 다른 측면에 따른 상기 인터랙션 로봇의 제어 방법은, 상기 복수의 센싱부 중 적어도 하나의 센싱부로부터의 센싱 데이터를 수집하는 단계; 상기 적어도 하나의 센싱부로부터의 센싱 데이터를 기초로, 상기 사용자 및 상기 인터랙션 로봇 중 적어도 하나에 관하여 인지된 상황을 표현하는 제1 상황 인지 정보를 생성하는 단계; 상기 제1 상황 인지 정보를 기초로, 적어도 하나의 인터랙션 동작을 선택하는 단계; 및 상기 정보 출력부 및 상기 구동부 중 적어도 하나를 제어하여, 상기 선택된 각 인터랙션 동작을 실행하는 단계를 포함한다.The control method of the interaction robot according to another aspect of the present invention includes collecting sensing data from at least one sensing unit among the plurality of sensing units; generating first context-aware information representing a recognized situation with respect to at least one of the user and the interaction robot, based on sensing data from the at least one sensing unit; selecting at least one interaction action based on the first contextual information; and executing each of the selected interaction operations by controlling at least one of the information output unit and the driving unit.
본 발명의 또 다른 측면에 따른 컴퓨터 프로그램은, 상기 인터랙션 로봇의 제어 방법을 실행시킨다.A computer program according to another aspect of the present invention executes the control method of the interaction robot.
본 발명의 실시예들 중 적어도 하나에 의하면, 멀티모달 기반의 인터랙션 로봇은 인체의 다중 감각 기능에 대응하는 다중 센싱 구조를 가지며, 다중 센싱 구조를 통해 감지되는 둘 이상의 모달리티에 연관된 센싱 데이터를 상호 보완적으로 종합하여, 사용자 및 인터랙션 로봇 중 적어도 하나에 연관된 상황을 인간의 오감에 대응하는 수준으로 인지함으로써, 인지된 상황에 대응하는 고도화된 인터랙션 서비스(예, 사용자와 로봇 간 자연스러운 양방향 대화)를 사용자에게 제공할 수 있다.According to at least one of the embodiments of the present invention, the multimodal-based interaction robot has a multi-sensing structure corresponding to the multi-sensory function of the human body, and the sensing data related to two or more modalities sensed through the multi-sensing structure are mutually supplemented. Overall, by recognizing the situation related to at least one of the user and the interaction robot at a level corresponding to the five human senses, the advanced interaction service (e.g., natural two-way conversation between the user and the robot) corresponding to the perceived situation is provided to the user. can be provided to
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 인터랙션 로봇에 구비된 다중 센싱 구조를 통해서는 직접적인 감지가 불가한 외부 상황 정보를 무선 통신망을 통해 수집하고, 다중 센싱 구조를 이용하여 인지되는 상황 정보에 외부 상황 정보를 조합하여, 사용자에 대해 제공되는 적어도 하나의 인터랙션 동작을 선택함으로써, 인터랙션 서비스에 대한 사용자의 만족도를 향상시킬 수 있다.In addition, according to at least one of the embodiments of the present invention, external situation information that cannot be directly sensed through the multi-sensing structure provided in the interaction robot is collected through a wireless communication network, and the situation recognized using the multi-sensing structure. The user's satisfaction with the interaction service may be improved by combining information with external context information and selecting at least one interaction action provided to the user.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 무선 통신망을 통해 엑세스 가능한 IoT 전자 기기와 인터랙션 로봇의 협업을 통해 적어도 하나의 인터랙션 동작을 실행함으로써, 상황 케이스별로 제공 가능한 인터랙션 서비스를 다각화할 수 있다.In addition, according to at least one of the embodiments of the present invention, by executing at least one interaction operation through collaboration between an IoT electronic device accessible through a wireless communication network and an interaction robot, interaction services that can be provided for each situation case can be diversified. there is.
각 인터랙션 동작의 실행 시, 무선 통신망을 통해 엑세스 가능한 IoT 전자 기기의 동작을 추가적으로 제어함으로써, 상황 케이스별로 제공 가능한 인터랙션 서비스를 다각화할 수 있다.When each interaction operation is executed, by additionally controlling the operation of an IoT electronic device accessible through a wireless communication network, it is possible to diversify the interaction services that can be provided for each situation case.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술되는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 인터랙션 로봇의 구성을 예시적으로 나타낸 도면이다.
도 2는 도 1의 인터랙션 로봇이 휴머노이드 형태로 구현된 경우의 전면부 모습을 예시적으로 보여주는 도면이다.
도 3은 도 1의 인터랙션 로봇이 휴머노이드 형태로 구현된 경우의 후면부 모습을 예시적으로 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 인터랙션 로봇의 제어 방법을 예시적으로 보여주는 순서도이다.
도 5 내지 도 8은 도 4의 일 실시예에 따른 제어 방법을 통해 실행 가능한 다양한 인터랙션 동작을 설명하는 데에 참조되는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 인터랙션 로봇의 제어 방법을 예시적으로 보여주는 순서도이다.
도 10 및 도 11은 도 9의 다른 실시예에 따른 제어 방법을 통해 실행 가능한 다양한 인터랙션 동작을 설명하는 데에 참조되는 도면이다.The following drawings attached to this specification illustrate preferred embodiments of the present invention, and together with the detailed description of the present invention serve to further understand the technical idea of the present invention, the present invention is the details described in such drawings should not be construed as limited to
1 is a diagram showing the configuration of an interaction robot according to an embodiment of the present invention by way of example.
FIG. 2 is a view showing a front view of the interaction robot of FIG. 1 implemented in a humanoid form by way of example.
FIG. 3 is a view showing a rear side of the interaction robot of FIG. 1 implemented in a humanoid form by way of example.
4 is a flowchart exemplarily showing a method of controlling an interaction robot according to an embodiment of the present invention.
5 to 8 are diagrams referenced to describe various interaction operations executable through the control method according to the embodiment of FIG. 4 .
9 is a flowchart exemplarily showing a method of controlling an interaction robot according to another embodiment of the present invention.
10 and 11 are diagrams referenced to describe various interaction operations executable through the control method according to another embodiment of FIG. 9 .
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.Objects and technical configurations of the present invention and details of the operational effects thereof will be more clearly understood by the following detailed description based on the accompanying drawings in the specification of the present invention. An embodiment according to the present invention will be described in detail with reference to the accompanying drawings.
본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.The embodiments disclosed herein should not be construed or used as limiting the scope of the present invention. It goes without saying that the description, including the embodiments herein, has a variety of applications for those skilled in the art. Therefore, any embodiments described in the detailed description of the present invention are illustrative for better explaining the present invention, and the scope of the present invention is not intended to be limited to the examples.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.The functional blocks shown in the drawings and described below are only examples of possible implementations. Other functional blocks may be used in other implementations without departing from the spirit and scope of the detailed description. Also, while one or more functional blocks of the present invention are represented as separate blocks, one or more of the functional blocks of the present invention may be a combination of various hardware and software configurations that perform the same function.
제1, 제2 등과 같이 서수를 포함하는 용어들은, 다양한 구성요소들 중 어느 하나를 나머지와 구별하는 목적으로 사용되는 것이고, 그러한 용어들에 의해 구성요소들을 한정하기 위해 사용되는 것은 아니다.Terms including ordinal numbers, such as first and second, are used for the purpose of distinguishing one of the various elements from the rest, and are not used to limit the elements by such terms.
또한, 어떤 구성요소들을 포함한다는 표현은 "개방형"의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.In addition, the expression of including certain components simply indicates that the corresponding components exist as an expression of “open type”, and should not be understood as excluding additional components.
나아가 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는, 그 다른 구성요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다.Furthermore, it should be understood that when a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but other components may exist in the middle. do.
도 1은 본 발명의 일 실시예에 따른 인터랙션 로봇의 구성을 예시적으로 나타낸 도면이고, 도 2는 도 1의 인터랙션 로봇이 휴머노이드 형태로 구현된 경우의 전면부 모습을 예시적으로 보여주는 도면이고, 도 3은 도 1의 인터랙션 로봇이 휴머노이드 형태로 구현된 경우의 후면부 모습을 예시적으로 보여주는 도면이다.1 is a view showing the configuration of an interaction robot according to an embodiment of the present invention by way of example, and FIG. 2 is a view showing the front side of the interaction robot of FIG. 1 exemplarily when implemented in a humanoid form, FIG. 3 is a view showing a rear side of the interaction robot of FIG. 1 implemented in a humanoid form by way of example.
도 1 내지 도 3을 참조하면, 인터랙션 로봇(100)은, 정보 수집부(110), 정보 출력부(120), 구동부(130) 및 정보 처리부(140)를 포함한다. Referring to FIGS. 1 to 3 , the
정보 수집부(110)는, 서로 다른 복수의 모달리티에 일대일로 연관된 복수의 센싱부를 포함하고, 인터랙션 로봇(100)의 내외부 환경 즉, 인터랙션 로봇(100) 및 인터랙션 대상인 사용자가 위치하는 공간의 상황 관련 데이터를 수집하도록 제공된다. 이하에서는, 정보 수집부(110)가 후술된 제1 내지 제6 센싱부(111~116) 중 적어도 둘을 포함하는 것으로 가정한다.The
제1 센싱부(111)는, 인터랙션 로봇(100) 주변의 2차원 영상, 3차원 영상 및 밝기값 중 적어도 하나를 나타하는 제1 센싱 데이터를 생성한다.The
제1 센싱부(111)는, 광각 카메라(211), 망원 카메라(212), 적외선 센서(213), 조도 센서(214), 초음파 센서, 레이저 센서, 레이더, 라이다 등과 같이, 인터랙션 로봇(100)이 위치하는 어떠한 물리적 공간의 적어도 일부분인 감지 대상 영역을 시각적으로 표현하는 시각 기반 데이터를 생성하는 적어도 1종의 센서를 적어도 하나 이상 포함할 수 있다. 제1 센싱부(111)의 센서별로 생성되는 시각 기반 데이터의 모음을 제1 센싱 데이터라고 칭할 수 있다. 제1 센싱 데이터는, 인터랙션 로봇(100) 주변에 위치하는 적어도 하나의 객체의 존재 여부 파악, 객체별 객체 특징의 추출 등에 이용될 수 있다. The
도 2를 참조하면, 제1 센싱부(111)의 적어도 하나의 센서는, 인터랙션 로봇의 머리 부분에 배치될 수 있다. 예컨대, 광각 카메라(211) 및 망원 카메라(212)는 각각 인터랙션 로봇(100)의 왼쪽 눈과 오른쪽 눈에 배치될 수 있다. 다른 예로, 인터랙션 로봇(100)의 왼쪽 눈과 오른쪽 눈 각각에는 스테레오 카메라(망원 카메라(212) 및 광각 카메라(211))가 배치되고, 인터랙션 로봇(100)의 몸체에는 적외선 센서(213)가 배치될 수 있다.Referring to FIG. 2 , at least one sensor of the
정보 처리부(140)는, 제1 센싱 데이터를 기초로, 인터랙션 로봇 주변(100)에 위치하는 객체별 객체 특징을 나타내는 시각 기반-상황 데이터를 생성할 수 있다. 상세하게는, 정보 처리부(140)는, 제1 센싱 데이터를 처리하여, 제1 센싱부(111)의 적어도 하나 감지 대상 영역에 위치하는 적어도 하나의 객체를 인식할 수 있다. 정보 처리부(140)는, 인식된 적어도 하나의 객체 중에서 사용자를 특정(식별)할 수 있다. 예컨대, 정보 처리부(140)는, 미리 저장된 인물 특성 정보(예, 연령, 신장, 몸무게, 성별, 피부색, 복장, 얼굴 생김새 등)에 매칭되는 특성을 가진 객체를 인터랙션 로봇(100)의 인터랙션 서비스의 제공 대상인 사용자로 식별할 수 있다. Based on the first sensing data, the
정보 처리부(140)는, 사용자의 특정 신체 부위(예, 얼굴 전체, 눈, 몸통)을 감지하면서, 사용자의 위치(예, 인터랙션 로봇(100)의 지향 방향에 대한 상대적인 방향, 인터랙션 로봇(100)으로부터의 거리)를 연산할 수 있다. The
정보 처리부(140)는, 각 객체를 인터랙션 로봇(100)으로부터 제1 기준 거리 이내의 근거리 객체 또는 제1 기준 거리 밖의 원거리 객체로 구분할 수 있다. 정보 처리부(140)는, 각 근거리 객체의 객체 특징을 기초로 근거리 상황을 추정할 수 있고, 각 원거리 객체의 객체 특징을 기초로 원거리 상황을 추정할 수 있다. 정보 처리부(140)는, 근거리 상황에 연관된 적어도 하나의 인터랙션 동작에 대해 원거리 상황에 연관된 적어도 하나의 인터랙션 동작보다 높은 우선 순위를 부여할 수 있다. 정보 처리부(140)는, 각 인터랙션 동작의 우선 순위에 따라, 복수의 인터랙션 동작을 순차적으로 실행할 수 있다. 정보 처리부(140)는, 두 카메라 중 어느 하나(예, 광각 카메라(211))로부터의 영상과 다른 하나(예, 망원 카메라(212))로부터의 영상을 비교하여, 두 영상으로부터 두 영상에 중복적으로 캡쳐된 물리적 영역에 대한 두 부분 영상을 추출하고, 딥러닝을 통해 학습된 거리 추정 모델을 이용하여 두 부분 영상이 서로 동일 사이즈와 비율을 갖도록 스케일링 조정함으로써, 두 부분 영상에 공통적으로 존재하는 적어도 하나의 객체의 위치를 표현하는 위치 데이터를 생성할 수 있다. 객체의 위치 데이터는, 해당 객체와 인터랙션 로봇(100) 간의 거리 및 인터랙션 로봇(100)에 대한 해당 객체의 방향을 나타내며, 시각 기반-상황 데이터에 포함될 수 있다.The
정보 처리부(140)는, 제1 센싱 데이터를 처리하여, 사용자의 얼굴 이미지(예, 눈, 눈썹, 코, 입, 안색 등)나 몸 동작(예, 펄쩍 뛰기, 만세, 쭈그려 앉기)에 표현된 사용자의 감정 상태를 다층화하여 분석할 수 있다. 일 예로, 사용자의 감정 상태는 긍정 상태, 부정 상태 및 안정화 상태 중 어느 하나로 1차 분류된 다음, 선택적으로 긍정 상태는 기쁨, 즐거움, 편함, 희망 등으로 2차 분류되고, 부정 상태는 분노, 슬픔, 고통, 흥분 등으로 2차 분류되며, 안정화 상태는 집중, 수면, 일상 등으로 2차 분류될 수 있다.The
제2 센싱부(112)는, 인터랙션 로봇(100) 주변의 소리를 감지하여 제2 센싱 데이터를 생성한다. 제2 센싱부(112)에 의해 감지되는 소리는, 인터랙션 로봇(100)과 사용자가 위치하는 특정 공간 내부 또는 외부의 단일 음원에 의해 발생된 것이거나 둘 이상의 음원에 의해 동시에 발생된 것일 수 있다.The
제2 센싱부(112)는, 복수의 마이크로폰(221)(이하, '마이크(221)'라고 칭함)을 포함할 수 있다. 복수의 마이크(221) 중 적어도 둘은 서로 소정 간격 이상 이격되도록 배치될 수 있다. 제2 센싱부(112)의 마이크별로 생성되는 오디오 신호의 모음을 제2 센싱 데이터라고 칭할 수 있다. 제2 센싱 데이터는, 적어도 하나의 음원별로 발생되는 소리의 음압, 강도, 진폭, 주파수, 피치, 파장, 주기 등을 나타낼 수 있다. 제2 센싱 데이터는, 음원별 위치(예, 방향, 거리)의 식별, 음원별 유형(예, 인물(예, 남, 여, 어른, 어린이), 동물(예, 개, 고양이), 사물(예, 청소기, TV), 외부 환경(예, 천둥, 비, 우박))의 식별, 소리 내용(예, 대화, 노래, 말다툼, 코고는 소리), 사용자로부터의 음성형 명령의 인식 등에 이용될 수 있다. 도 2를 참조하면, 제1 센싱부(111)와 마찬가지로, 제2 센싱부(112)의 적어도 하나의 마이크(221)는, 인터랙션 로봇(100)의 머리 부분에 배치될 수 있다. 예컨대, 제2 센싱부(112)의 어느 한 마이크(221)는 인터랙션 로봇(100)의 왼쪽 귀에, 다른 한 마이크(221)는 인터랙션 로봇(100)의 오른쪽 귀에 배치될 수 있다.The
정보 처리부(140)는, 제2 센싱 데이터를 기초로, 인터랙션 로봇(100) 주변의 청각 기반-상황 데이터를 생성할 수 있다. 정보 처리부(140)는, 제1 센싱 데이터에 대해 전술된 바와 유사하게, 음성-텍스트 변환, 음성-감정 변환, 텍스트-감정 변환 등으로 제2 센싱 데이터를 처리하여, 사용자의 음성(예, 웃음, 한숨, 감탄)에 표현된 사용자의 감정 상태를 다층화하여 분석할 수 있다. 일 예로, 사용자가 "잘 생기셨네요"라고 발화한 경우, 정보 처리부(140)는 발화 음성으로부터 "잘 생기셨네요"라는 텍스트를 획득하고, 발화 음성의 특징 항목(예, 말투, 톤, 어조, 뉘앙스, 주파수 등) 및/또는 사용자의 얼굴 표정을 기초로 발화 음성의 내용이 칭찬의 표현인지 반어적 표현인지 추정할 수 있다.The
정보 처리부(140)는, 제2 센싱부(112)에 포함된 복수의 마이크(221) 중 적어도 두 마이크(221)로부터의 오디오 신호를 비교하여, 인터랙션 로봇(100) 주변의 적어도 한 음원의 위치 데이터를 생성할 수 있다. 음원의 위치 데이터는, 청각 기반-상황 데이터에 포함될 수 있다. 일 예로, 정보 처리부(140)는, 복수의 마이크(221) 각각에 의해 감지된 소리를 표현하는 특성 항목의 수치값(예, 음압 레벨)을 연산하고, 동일한 특성 항목에 대해 연산된 수치값을 비교하고, 이들 간의 차이를 기초로 해당 음원의 위치를 연산하고, 인터랙션 로봇(100)의 머리의 안면부가 상대적으로 높은 수치값에 연관된 소리가 감지되는 방향(즉, 음원의 위치)을 지향하도록, 구동부(130)를 제어할 수 있다.The
제3 센싱부(113)는, 인터랙션 로봇(100)의 몸체의 소정 영역에 대한 접촉 이벤트를 감지하여 제3 센싱 데이터를 생성한다. 제3 센싱부(113)는, 터치 센서(231), 스트레인 게이지(232) 등과 같이, 인터랙션 로봇(100)의 소정 영역에 인체나 사물이 접촉되는 접촉 이벤트의 면적, 크기(강도), 방향 등을 나타내는 촉각 기반 데이터를 생성하는 적어도 1종의 센서를 적어도 하나 이상 포함할 수 있다. 제3 센싱 데이터는, 사용자로부터의 접촉형 명령의 인식, 인터랙션 로봇(100)과 장애물 간의 충돌 여부 판별 등에 이용될 수 있다. 도 2를 참조하면, 인터랙션 로봇(100)의 왼쪽 팔, 왼쪽 손, 오른쪽 팔, 오른쪽 손 및 머리 각각에 적어도 하나의 터치 센서(231)가 배치되고, 인터랙션 로봇(100)의 몸체 후면에는 스트레인 게이지(232)가 배치될 수 있다.The
정보 처리부(140)는, 제3 센싱 데이터를 기초로, 인터랙션 로봇(100)의 촉각 기반-상황 데이터를 생성할 수 있다. 상세하게는, 정보 처리부(140)는, 제3 센싱 데이터를 처리하여, 사용자로부터의 접촉형 명령이나 행동을 검출하거나, 주변 객체와의 충돌 이벤트를 검출할 수 있다. 일 예로, 터치 센서(231)가 배치된 인터랙션 로봇(100)의 머리 상단 부분에 대해 사용자가 터치 액션을 가하는 경우, 정보 처리부(140)는 해당 터치 액션의 패턴(예, 2번 연속 두드리기, 왕복 쓰다듬기)을 식별하고, 식별된 패턴에 따라, 사용자로부터의 접촉형 명령이나 행동의 의미(예, 칭찬, 전원 On, 전원 Off)를 추정할 수 있다. 정보 처리부(140)는, 추정된 의미에 연관된 적어도 인터랙션 동작을 실행할 수 있다.The
제4 센싱부(114)는, 인터랙션 로봇(100) 주변의 대기 상태를 감지하여 제4 센싱 데이터를 생성한다. 제4 센싱부(114)는, 공기질 센서(241), 온도 센서(242), 습도 센서(243) 등과 같이, 대기 상태(예, 일산화탄소, 이산화탄소, 황사, 미세먼지, 유해 가스, 연기의 농도, 대기 온도, 대기 습도 등)를 감지하여 후각 기반 데이터를 생성하는 적어도 1종의 센서를 적어도 하나 이상 포함할 수 있다. 제4 센싱부(114)의 적어도 하나의 센서별로 생성되는 후각 기반 데이터의 모음을 제4 센싱 데이터라고 칭할 수 있다. 도 2 및 도 3을 참조하면, 제4 센싱부(114)의 적어도 한 센서(예, 242, 243)는 인터랙션 로봇(100)의 머리나 몸체의 전/후면 등에 배치될 수 있다.The
정보 처리부(140)는, 제4 센싱 데이터를 기초로, 인터랙션 로봇(100)의 후각 기반-상황 데이터를 생성할 수 있다. 후각 기반-상황 데이터는, 다른 모달리티를 가지는 상황 데이터와 종합적으로 분석되어, 실제 상황에 대한 추정 정확도를 향상시키는 데에 이용될 수 있다. The
제5 센싱부(115)는, 인터랙션 로봇(100)의 움직임을 감지하여 제5 센싱 데이터를 생성한다. 제5 센싱부(115)는, 인체의 소뇌에서 담당하는 신체 기능(예, 운동, 생명, 자세 균형)에 대응하는 것으로서, GPS 수신기, 속도 센서, 자이로 센서, 가속도 센서 등과 같이, 인터랙션 로봇(100)의 움직임(예컨대, 위치, 속도, 방향, 몸체 기울기)을 나타내는 모션 기반 데이터를 생성하는 적어도 1종의 센서를 적어도 하나 이상 포함할 수 있다. 제5 센싱부(115)의 적어도 하나의 센서는 인터랙션 로봇(100)의 몸체 내부에 수용될 수 있다.The
정보 처리부(140)는, 제5 센싱 데이터를 처리하여, 인터랙션 로봇(100)의 움직임 상황(예, 자체적인 이동에 따른 위치 및 방향의 변화, 타 이동체에 의한 위치 및 방향의 변화, 정지, 넘어짐)을 판단하고, 그에 따라 선택적으로 구동부(130)를 제어할 수 있다.The
정보 출력부(120)는, 인터랙션 로봇(100)에 의해 실행되는 동작에 연관된 인터랙션 피드백을 출력한다. 인터랙션 피드백은, 시각적, 청각적 및/또는 촉각적 형태로 사용자에게 피드백되는 일종의 신호일 수 있다. 정보 출력부(120)는, 스피커(121), 디스플레이(122), 광 출력기(123), 진동 모터 등과 같은 적어도 1종의 출력 수단을 적어도 하나 포함할 수 있다. 일 예로, 도 2를 참조하면, 인터랙션 로봇(100)의 머리의 양측부에 배치된 마이크(221)로부터 소정 거리 내에 스피커(121)가 배치되고, 인터랙션 로봇(100)의 몸체에는 디스플레이(122)가 배치되며, 광 출력기(123)는 인터랙션 로봇(100)의 왼쪽 눈 및 오른쪽 눈 중 적어도 하나에 배치될 수 있다.The
정보 처리부(140)는, 조도 센서(214)에 의해 검출된 인터랙션 로봇(100)의 주변 밝기값과 기준 밝기값을 비교하여, 주변 밝기값과 기준 밝기값 간의 차이에 따라 광 출력기(123)가 출력하는 광신호의 광량 및 디스플레이(122)의 화면 밝기 중 적어도 하나를 제어할 수 있다. 일 예로, 주변이 어두운 상황에서는 광신호의 광량 및 디스플레이(122)의 화면 밝기 중 적어도 하나가 감소되고, 주변이 밝은 상황에서는 그 반대일 수 있다. 이에 따라, 사용자에 대한 인터랙션 로봇(100)의 시안성을 증가시키고, 광각 카메라(211) 및 망원 카메라(212)의 영상 품질을 높이며, 축전부(160)에 저장된 전기 에너지의 불필요하게 소모되지 않도록 할 수 있다.The
구동부(130)는, 인터랙션 로봇(100)의 움직임을 제어하기 위한, 복수의 전동 관절(131~136)을 포함할 수 있다. 각 전동 관절은, 인터랙션 로봇(100)의 두 물리적 구성을 기계적으로 연결하고, 두 물리적 구성 중 어느 하나에 대한 다른 하나의 상대적 자세를 제어한다.The driving
제1 전동 관절(131)은, 인터랙션 로봇(100)의 머리와 몸체를 연결한다. 제2 전동 관절(132)은, 왼쪽 팔과 왼쪽 손을 연결한다. 제3 전동 관절(133)은, 오른쪽 팔과 오른쪽 손을 연결한다. 제4 전동 관절(134)은, 왼쪽 팔과 몸체를 연결한다. 제5 전동 관절(135)은, 오른쪽 팔과 몸체를 연결한다. 제6 전동 관절(136) 및 제7 전동 관절(137)은, 인터랙션 로봇(100)의 몸체에 결합된 왼쪽 다리 및 오른쪽 다리에 해당한다. The
각 전동 관절은, 모터의 구동력에 의해 움직임이 일어나는, 자유도가 1 이상인 전동 회전 관절 구조를 가질 수 있다. 예컨대, 제1 전동 관절(131)에 의해 다양한 머리 액션(예, 끄덕임, 갸우뚱, 도리도리, 목례)가 수행되고, 제2 전동 관절(132) 및 제3 전동 관절(133)에 의해 다양한 손 액션(예, 악수, 물체 파지, 손 인사 등)가 수행될 수 있고, 제4 전동 관절(134) 및 제5 전동 관절(135)에 의해 다양한 팔 액션(예, 손에 파지된 물체 들어올리기, 팔 뻗기 등)가 수행될 수 있다.Each power joint may have a power rotation joint structure having one or more degrees of freedom in which movement occurs by a driving force of a motor. For example, various head actions (eg, nodding, tilting, doridori, bowing) are performed by the
제6 전동 관절(136) 및 제7 전동 관절(137) 각각은 그에 구비된 모터의 구동력은 다리에 구비된 마찰 수단(예, 지지판)을 통해 지면에 전달되며, 지면에 대한 인터랙션 로봇(100)의 전후좌우 이동, 제자리 회전 또는 점프 등의 기능을 담당할 수 있다.In each of the
인터랙션 로봇(100)은, 축전부(160)를 더 포함할 수 있다. 축전부(160)는, 인터랙션 로봇(100)의 정보 수집부(110), 정보 출력부(120), 구동부(130) 및 정보 처리부(140) 중 적어도 하나에 전력을 공급한다. 축전부(160)는, 적어도 하나의 재충전 가능 배터리를 포함하고, 각 배터리에 저장된 전기 에너지는 정보 수집부(110), 정보 출력부(120), 구동부(130) 및 정보 처리부(140) 중 적어도 하나의 구동을 위해 사용된다. 정보 처리부(140)는, 축전부(160)를 모니터링하여, 축전부(160)의 상태(예. 배터리 충전량, 배터리 잔여 수명, 배터리 온도)를 나타내는 데이터를 생성할 수 있다. 정보 처리부(140)는, 축전부(160)의 상태에 따라, 축전부(160)의 장기 사용을 위한 사용자 가이드 정보(예, 적정 충전량, 적정 충전 횟수)를 생성하여, 정보 출력부(120)를 통해 사용자에게 출력할 수 있다.The
정보 수집부(110)는, 축전부(160)의 상태를 감지하기 위한 제6 센싱부(116)를 더 포함할 수 있다. 일 예로, 제6 센싱부(116)는, 배터리 온도, 배터리 전압, 배터리 전류, 배터리 충전량, 배터리 잔여 수명 등과 같이 축전부(160)의 상태를 나타내는 항목들 중 적어도 하나를 감지하여 제6 센싱 데이터를 생성할 수 있다. 정보 처리부(140)는, 제6 센싱 데이터를 기초로, 축전부(160)의 양호도(예, 0~100의 범위)를 평가하고, 축전부(160)를 통상 모드, 절전 모드 및 슬립 모드 중 어느 하나로 제어할 수 있다. 통상 모드는 양호도가 제1 수준(예, 80~100)인 경우에 인터랙션 로봇(100)의 모든 기능(동작)을 제한없이 수행하는 모드일 수 있고, 절전 모드는 양호도가 제2 수준(예, 60~80)인 경우에 인터랙션 로봇(100)의 몇몇 비필수 기능을 제한(비활성화)하는 모드일 수 있고, 슬립 모드는 양호도가 제3 수준(예, ~60)인 경우에 인터랙션 로봇(100)의 필수 기능을 제외한 모든 비필수 기능을 비활성화하는 모드일 수 있다. 필수 기능과 비필수 기능을 기술하는 데이터는 정보 저장부(141)에 미리 기록되어 있을 수 있다. 필수 기능(예, 배터리 충전 기능)과 비필수 기능(예, 대화 기능)은 사용자에 의해 등록/변경/삭제될 수 있다. 대안적으로, 정보 처리부(140)는, 제1 상황 인지 정보 및 제2 상황 인지 정보 중 적어도 하나에 연관된 관리 동작으로서, 필수 기능 및 비필수 기능 중 적어도 하나를 자율적으로 등록/변경/삭제할 수 있다.The
인터랙션 로봇(100)은, 무선 통신부(150)를 더 포함할 수 있다. 무선 통신부(150)는, 무선 통신망을 통해 적어도 하나의 외부 정보 매체에 엑세스하여, 정보 수집부(110)를 통한 직접적 감지가 불가한 외부 상황을 표현하는 제2 상황 인지 정보(예, 외부 날씨, 분야별 최신 뉴스, 트랜드 등)를 수집한다.The
인터랙션 로봇(100)은, 방열 부재(180)를 더 포함할 수 있다. 방열 부재(180)는, 정보 처리부(140)의 과도한 온도 상승을 억제하기 위한 것으로서, 정보 처리부(140)에서 발생되는 열 에너지가 인터랙션 로봇(100)의 외부로 방출되도록, 인터랙션 로봇(100)의 외면과 정보 처리부(140) 사이에 기계적으로 결합된다. 예를 들어, 방열 부재(180)는, 일단에 정보 처리부(140)에 결합되고 타단이 인터랙션 로봇(100)의 몸체의 외면에 결합되는 제1 히트파이프(181), 일단에 정보 처리부(140)에 결합되고 타단이 인터랙션 로봇(100)의 머리의 외면에 결합되는 제2 히트파이프(182) 및 적어도 하나의 방열용 홀(hole)이 형성된 방열구(183) 중 적어도 하나를 포함할 수 있다. 이 경우, 제1 히트파이프를 구성하는 제1 금속 재질(예, 알루미늄 합금) 및 제2 히트파이프를 구성하는 제2 금속 재질(예, 구리 합금)은, 정보 처리부(140)의 위치를 기준으로 몸체 외면까지의 거리와 머리 외면까지의 거리 간의 차이에 대응하는 열 전도율의 차이를 가질 수 있다. 예컨대, 제1 금속 재질은 알루미늄 합금이고, 제2 금속 재질은 제1 금속 재질보다 열 전도율이 높은 구리 합금일 수 있다. 이 경우, 사용자가 인터랙션 로봇(100)의 머리 외면에 피부를 접촉할 때에 느껴지는 온도와 인터랙션 로봇(100)의 몸체 외면에 피부를 접촉할 때에 느껴지는 온도가 대략 일치하여, 인터랙션 로봇(100)의 발열 수준에 대한 사용자의 혼동을 저감할 수 있다. 사용자는, 방열 부재(180)를 통해 정보 처리부(140)에 연결된 인터랙션 로봇(100)의 외면의 소정 영역에 피부를 접촉했을 때에 느껴지는 온도감으로 인터랙션 로봇(100)이 정상 상태인지 피로 상태(예, 정보 처리부(140)의 과부하)인지 여부 등을 파악할 수 있다.The
인터랙션 로봇(100)은, 축전부(160)를 위한 충전 포트 외에, 적어도 하나의 기능 포트(180, 예, USB 포트)를 더 포함할 수 있다. 인터랙션 로봇(100)의 사이즈, 제조비, 판매/대여 가격 등은 제한적일 수 있다. 또한, 사용자의 성격, 생활패턴, 성별, 생애주기 등에 따라 사용자에게 필요한 기능들을 실행하는 데에 필요한 센서들의 종류 역시 다르다. 따라서, 전술된 센서들 전부 대신 일부 센서는 인터랙션 로봇(100)의 구성 요소로서 포함되도록 구현하되, 타 센서들(예, 인체용 온도 센서, 심박 센서, 유해물질 센서 등)은 필요 시에 적어도 하나의 기능 포트(170)에 연결 가능하도록 모듈화된 형태 등으로 제공하여 인터랙션 로봇(100)의 감지 가능 항목, 상황 인식 능력 등을 선택적으로 확장/축소하여 인터랙션 로봇(100)의 소프트웨어 자원 및 하드웨어 자원을 효율적으로 운용할 수 있다. 정보 처리부(140)는, 적어도 하나의 기능 포트(170)에 연결된 각 센서를 인식하고, 인식된 각 센서에 연관된 적어도 하나의 기능(예, 데이터 저장, 연관 동작)을 활성화할 수 있다. 예컨대, 정보 처리부(140)는, 기능 포트(170)에 연결된 인체용 온도센서에 의해 감지되는 사용자 체온값을 감지 시각 등에 맵핑하여 정보 저장부(141)에 기록할 수 있다. 다른 예로, 정보 처리부(140)는, 심박 센서가 기능 포트(170)에 연결된 것에 응답하여, 심박 기반의 건강 관리 어플리케이션(앱 서비스)을 실행할 수 있다.The
정보 처리부(140)는, 인터랙션 로봇(100)에 포함된 각 구성 요소에 동작 가능하게 결합되어, 각 구성 요소를 제어한다. 정보 처리부(140)는, 하드웨어적으로, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 마이크(221)로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하도록 구현될 수 있다.The
정보 저장부(141)는, 인터랙션 로봇(100)으로 하여금 후술된 인터랙션 서비스에 연관된 제어 방법을 수행토록 하기 위한 명령들을 포함하는 컴퓨터 프로그램을 저장한다. 정보 저장부(141)는, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크(221)로 타입(multimedia card micro type), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 정보 저장부(141)는, 정보 처리부(140) 내에 구비될 수 있다.The
정보 처리부(140)는, 복수의 센싱부(111~116) 중 적어도 어느 둘로부터의 센싱 데이터를 조합하여 상황 인지를 수행함으로써, 단일의 센싱부로부터의 센싱 데이터 단독으로 상황 인지를 수행하는 방식에 비하여, 사용자에게 제공되는 인터랙션 서비스의 품질을 향상시킬 수 있다. 일 예로, 어느 한 센싱부의 센싱 데이터를 기초로 제1 상황 및 제2 상황이 인지되고, 다른 한 센싱부의 센싱 데이터를 기초로 제2 상황 및 제3 상황이 인지되는 경우, 정보 처리부(140)는 공통적으로 인지된 제2 상황에 연관된 인터랙션 동작을 제1 상황이나 제3 상황에 연관된 인터랙션 동작보다 우선하여 실행할 수 있다.The
도 4는 본 발명의 일 실시예에 따른 인터랙션 로봇의 제어 방법을 예시적으로 보여주는 순서도이다.4 is a flowchart exemplarily showing a method of controlling an interaction robot according to an embodiment of the present invention.
도 1 내지 도 4를 참조하면, 단계 S410에서, 정보 처리부(140)는, 복수의 센싱부(111~116) 중 적어도 하나의 센싱부로부터 센싱 데이터를 수집한다.1 to 4 , in step S410, the
단계 S420에서, 정보 처리부(140)는, 적어도 한 센싱부로부터 수집된 센싱 데이터를 기초로, 사용자 및 인터랙션 로봇(100) 중 적어도 하나에 관하여 인지된 상황을 표현하는 제1 상황 인지 정보를 생성한다. 제1 상황 인지 정보는, 축전부(160)의 상태 데이터에 더 기초할 수 있다. 바람직하게는, 정보 처리부(140)는, 정보 저장부(141)에 미리 저장된 인공지능 기반의 상황 인지 모델을 적어도 두 센싱부로부터 수집된 센싱 데이터에 적용하여, 상황 인지 모델로부터 적어도 두 센싱부로부터 수집된 센싱 데이터가 표현하는, 사용자 단독 관여 상황, 로봇 단독 관여 상황 및 사용자-로봇 복합 관여 상황 중 적어도 하나를 추정할 수 있다. 사용자 단독 관여 상황은, 사용자에게만 관련된, 로봇과는 무관한 상황이다. 반대로, 로봇 단독 관여 상황은, 인터랙션 로봇(100)에게만 관련된, 사용자와는 무관한 상황이다. 다음으로, 사용자-로봇 복합 관여 상황은, 사용자와 인터랙션 로봇(100)이 둘 다 관여된 상황일 수 있다.In step S420, the
단계 S430에서, 정보 처리부(140)는, 제1 상황 인지 정보를 기초로, 적어도 하나의 인터랙션 동작을 선택한다. 즉, 인터랙션 로봇(100)이 제공 가능한 인터랙션 동작은 복수이며, 이들 복수의 인터랙션 동작 중에서 제1 상황 인지 정보에 연관된 하나 또는 둘 이상의 동작이 선택된다.In step S430, the
단계 S440에서, 정보 처리부(140)는, 정보 출력부(120) 및 상기 구동부(130) 중 적어도 하나를 제어하여, 단계 S430에서 선택된 각 인터랙션 동작을 실행한다. 즉, 각 인터랙션 동작은, 정보 출력부(120) 단독에 의해 수행 가능한 것, 구동부(130) 단독에 의해 수행 가능한 것 또는 정보 출력부(120)와 구동부(130)의 협동 액션에 의해 수행 가능한 것일 수 있다.In step S440, the
도 5 내지 도 8은 도 4의 일 실시예에 따른 제어 방법을 통해 실행 가능한 다양한 인터랙션 동작을 설명하는 데에 참조되는 도면이다.5 to 8 are diagrams referenced to describe various interaction operations executable through the control method according to the embodiment of FIG. 4 .
도 5는 다양한 인터랙션 동작 중 하나인 사용자 추종 동작을 설명하는 데에 참조되는 도면이다. 도 5를 참조하면, 정보 처리부(140)는, 제1 센싱 데이터 및 제2 센싱 데이터 중 적어도 하나를 처리하여 획득된 특정 객체(예, 사용자)의 위치를 기초로, 특정 객체에 대한 사용자 추종 동작을 실행하기 위해, 구동부(130)를 제어할 수 있다. 일 예로, 정보 처리부(140)는, 제1 센싱 데이터를 기초로 추정된 사용자의 위치와 제2 센싱 데이터를 기초로 추정된 음원의 위치를 비교하여, 사용자와 음원이 서로 일치하는 것으로 판정되는 경우, 사용자를 추종 대상으로 설정할 수 있다. 정보 처리부(140)는, 슬립 모드에서 제2 센싱부(112)를 활성화시킨 채로 주변 공간의 발화 음성을 모니터링하다가, 인터랙션 로봇(100)을 상대로 하는 음성 호출어(510, 'hotword'라고 칭하기도 함)를 포함하는 사용자의 발화 내용이 감지되는 경우, 슬립 모드에서 기동 모드로 전환하여 사용자를 추종하는 등의 실제적 인터랙션 서비스를 제공할 수 있다. 5 is a diagram referenced to describe a user following operation, which is one of various interaction operations. Referring to FIG. 5 , the
정보 처리부(140)는, 제1 센싱부(111)의 적외선 센서(213)에 의해 인터랙션 로봇(100)에 근접한 사람이 감지되는 것을 조건으로, 제1 센싱부(111)의 광각 카메라(211) 및 망원 카메라(212) 중 적어도 하나를 비활성 상태로부터 활성 상태로 전환함으로써, 적외선 센서(213)보다 전력 소모량이 큰 광각 카메라(211) 및 망원 카메라(212)를 상시 활성화시키는 방식보다 축전부(160)의 전기 에너지를 절약할 수 있다. 또한, 정보 처리부(140)는, 인터랙션 로봇(100)의 슬립 모드에 있을 때, 음성 호출어(510)가 감지되지 않더라도, 사용자가 인터랙션 로봇(100)에 시선을 향한 채로 발화하는 행동 상황이 인식되는 경우, 음성 호출어(510)를 감지했을 때와 동일한 동작 즉, 슬립 모드로부터 기동 모드로의 전환 동작을 수행할 수 있다. 이에 따라, 사용자가 인터랙션 로봇(100)을 슬립 모드로부터 기동시키고자 할 때마다 음성 호출어(510)를 반복적으로 발화해야 함으로 인한 부자연스러움과 불편함을 저감할 수 있다. 참고로, 슬립 모드는 사용자의 호출 명령을 감지하는 데에 필요한 것으로 미리 정해진 일부 기능만을 활성화하고, 나머지 기능은 비활성화시킨 상태를 칭한다. 기동 모드는, 인터랙션 로봇(100)에 의해 실행 가능한 모든 기능을 제한없이 활성화시킨 상태를 칭한다. 각각의 모드는 사용자 명령에 따라 선택되거나, 해당 모드에 연관된 미리 주어진 조건이 만족되는 경우에 자동 선택되는 것일 수 있다.The
사용자 추종 동작은, 사용자 응시 및 추종 이동 중 적어도 하나를 포함한다. The user following operation includes at least one of user gazing and following movement.
사용자 응시는, 인터랙션 로봇(100)의 머리의 안면부가 사용자를 응시하도록 정보 처리부(140)가 제1 전동 관절(131)을 제어함으로써 수행될 수 있다. 제1 전동 관절(131)에 의해 조절 가능한 머리의 회전 각도(예, 팬 가능 범위)가 제한적인 경우, 정보 처리부(140)는 제6 전동 관절(136) 및 제7 전동 관절(137)을 추가적으로 제어하여 인터랙션 로봇(100)의 머리의 안면부가 사용자를 지향하도록 할 수 있다.The gaze of the user may be performed by the
추종 이동은, 사용자로부터 제2 기준 거리 이내의 근접 위치로 인터랙션 로봇(100)이 이동하도록, 정보 처리부(140)가 제6 전동 관절(136) 및 제7 전동 관절(137)을 제어함으로써 수행될 수 있다.The following movement is performed by the
정보 처리부(140)는, 사용자 추종 동작에 연관된 대화 메시지(520, 예컨대 "저에게 하실 말 있으세요?")를 생성하고, 대화 메시지(520)를 정보 출력부(120)를 통해 사용자에게 출력할 수 있다.The
도 6은 다양한 인터랙션 동작 중 하나인 대화 내용 생성 동작을 설명하는 데에 참조되는 도면이다. 정보 처리부(140)는, 인공 지능 기반의 대화 생성 모델을 전술된 복수의 모달리티 중 적어도 둘에 연관된 상황 데이터에 적용하여, 현 상황에 대응하여 사용자에게 피드백되는 대화 메시지를 생성할 수 있다. FIG. 6 is a diagram referenced to describe an operation of creating conversation content, which is one of various interaction operations. The
일 예로, 시각 기반-상황 데이터가 사용자가 주방에 있는 상황을 나타내고, 청각 기반-상황 데이터가 식사 중의 상황을 나타내며, 후각 기반-상황 데이터가 일정 농도 이상의 유해 가스가 검출된 상황을 나타내는 경우, 사용자의 대화 요청이 발생하지 않더라도 선제적으로, "식사 중이신 것 같네요. 혹시 가스레인지는 끄셨나요?", "식사 마치시면 환기하시는 것이 좋을 것 같아요." 등과 같이 인지된 현 상태에 대응하는 내용을 가지는 대화 메시지(610)를 스피커(121) 및 디스플레이(122) 중 적어도 하나를 통해 출력하도록 정보 출력부(120)를 제어할 수 있다. 전술된 바에 따르면, 둘 이상의 서로 다른 모달리티를 가지는 상황 데이터를 종합하여 현 상황을 추정하므로, 상황 추정 정확도를 높일 수 있다. 또한, 추정된 상황에 맞춰 대화 메시지의 내용을 생성하므로, 단일 모달리티를 가지는 상황 데이터만을 단독으로 이용하는 방식에 비하여, 사용자와의 자연스러운 대화 서비스를 제공할 수 있고, 결과적으로 사용자가 기대하는 만족도를 충족시킬 수 있다.For example, when the visual-based context data represents a situation in which the user is in the kitchen, the auditory-based context data represents a situation during eating, and the olfactory-based context data represents a situation in which a harmful gas is detected at a certain concentration or higher, the user Even if a conversation request from does not occur, preemptively, "It looks like you are eating. Did you turn off the gas stove by any chance?" The
도 7은 다양한 인터랙션 동작 중 하나인 대화 음향 제어 동작을 설명하는 데에 참조되는 도면이다. 정보 처리부(140)는, 인공 지능 기반의 음성 제어 모델을 전술된 복수의 모달리티 중 적어도 하나에 연관된 상황 데이터에 적용하여, 현 상황에 대응하여 사용자에게 정보 출력부(120)의 스피커(121)를 통해 사용자에게 피드백되는 음향 효과를 조절할 수 있다.FIG. 7 is a diagram referenced to describe a dialog sound control operation, which is one of various interaction operations. The
정보 처리부(140)는, 인터랙션 로봇과 사용자 간의 거리에 따라, 스피커(121)를 통해 사용자에게 출력되는 대화 메시지의 볼륨을 조절할 수 있다. 여기서, 인터랙션 로봇-사용자 거리와 볼륨 간의 관계 데이터는 정보 저장부(141)에 미리 저장될 수 있다. 일 예로, 로봇-사용자 거리가 제1 거리(예, 5m) 이상인 경우에는 기준값의 1.2배에 해당하는 볼륨의 대화 메시지(710)가 출력되고, 로봇-사용자 거리가 제2 거리(예, 1m) 미만인 경우에는 기준값의 0.8배에 해당하는 볼륨의 대화 메시지(720)가 출력되며, 로봇-사용자 거리가 제1 거리와 제2 거리 사이인 경우에는 기준값에 해당하는 볼륨으로 대화 메시지가 출력될 수 있다. 다른 예로, 청각 기반-상황 데이터가 소정 레벨 이상의 소음이 발생 중인 상황(예, 인터랙션 로봇(100)이 탑승한 차량이 빠른 속도로 주행하여 큰 풍절음이 발생)을 나타내는 경우, 소음의 크기만큼 대화 메시지의 볼륨을 높일 수 있다. 이에 따라, 음성 메시지의 볼륨이 너무 작거나 큰 경우에 사용자가 느끼는 불편감을 저감하고, 축전부(160)에 저장된 전기 에너지의 불필요한 소모를 줄일 수 있다.The
도 8은 다양한 인터랙션 동작 중 하나인 적응적 절전 동작을 설명하는 데에 참조되는 도면이다. 8 is a reference diagram for explaining an adaptive power saving operation, which is one of various interaction operations.
정보 처리부(140)는, 제1 상황 인지 정보를 기초로 선택된 인터랙션 동작이 복수인 경우, 축전부(160)의 양호도에 따라, 복수의 인터랙션 동작을 전부 실행하거나, 복수의 인터랙션 동작 중 일부만을 실행하고 나머지는 미실행하거나, 복수의 인터랙션 동작 중 적어도 하나의 실행 수준을 낮출 수 있다.When a plurality of interaction actions are selected based on the first situation awareness information, the
정보 처리부(140)는, 제1 상황 인지 정보를 기초로, 복수의 인터랙션 동작 간의 우선도를 지정하고, 복수의 인터랙션 동작 중 축전부(160)의 양호도에 대응하는 일정 수준의 우선도를 가지는 인터랙션 동작만을 실행할 수 있다.The
도 8은 제1 상황 인지 정보를 기초로 3개의 인터랙션 동작(사용자 응시, 추종 이동 및 대화 메시지 출력)이 선택된 경우를 예시하고 있다. 먼저, 축전부(160)의 양호도가 제1 수준이면, 정보 처리부(140)는 3개의 인터랙션 동작 모두를 실행 수준의 저감없이 실행할 수 있다. 이때, 대화 메시지는 스피커(121) 및 디스플레이(122) 둘 다를 통해 출력될 수 있다. 다음으로, 축전부(160)의 양호도가 제2 수준이면, 정보 처리부(140)는 3개의 인터랙션 동작 중 어느 하나(예, 추종 이동)는 비활성화하거나 실행 수준을 낮추고, 나머지 2개의 인터랙션 동작(예, 사용자 응시 및 대화 메시지 출력)만을 실행할 수 있다. 이때, 정보 처리부(140)는 추종 이동 동작을 비활성화하는 대신, 축전부(160)의 현 양호도와 제1 수준 간의 차분을 기초로 제2 기준 거리보다 큰 제3 기준 거리를 결정하여, 제2 기준 거리 대신 제3 기준 거리 이내의 근접 위치로 사용자를 추종하도록 추종 이동 동작의 실행 수준을 하향시킬 수 있다. 또한, 대화 메시지 출력 동작의 실행 수준이 낮춰진 경우, 디스플레이(122)는 비활성화되어, 스피커(121)를 통해서만 대화 메시지가 출력될 수 있다. 이어서, 축전부(160)의 양호도가 제3 수준이면, 정보 처리부(140)는 1개의 인터랙션 동작 즉, 스피커(121)를 통한 대화 메시지 출력만이 실행될 수 있다. 이때, 스피커(121)를 통해 출력되는 대화 메시지의 볼륨은, 축전부(160)의 양호도가 제3 수준인 경우에 비하여 축전부(160)의 현 양호도와 제2 수준 간의 차분에 대응하는 만큼 작을 수 있다.8 illustrates a case in which three interaction actions (user gaze, following movement, and outputting a conversation message) are selected based on the first context awareness information. First, if the quality level of the
전술된 바와 같이, 축전부(160)의 양호도에 맞춰 적응적 절전 동작을 실행함으로써, 축전부(160)의 전력 소모량을 저감하여 인터랙션 로봇(100)의 갑작스러운 셧다운을 방지하고, 사용자에 대한 인터랙션 서비스를 지속할 수 있다. (i)상황 케이스, (ii)상황 케이스별로 선택되는 인터랙션 동작 및 (iii)인터랙션 동작의 우선도(및/또는 실행 수준) 간의 상관 관계를 정의하는 규칙 데이터는 정보 저장부(141)에 미리 저장되어 있을 수 있다.As described above, by executing the adaptive power saving operation according to the quality of the
도 9는 본 발명의 다른 실시예에 따른 인터랙션 로봇의 제어 방법을 예시적으로 보여주는 순서도이다. 도 9의 방법을 설명함에 있어서, 도 4를 참조하여 전술된 방법과 공통된 내용 중 적어도 일부에 대해서는 반복 설명이 생략될 수 있음을 미리 밝혀둔다.9 is a flowchart exemplarily showing a method of controlling an interaction robot according to another embodiment of the present invention. In describing the method of FIG. 9 , it is noted in advance that repeated descriptions of at least some of the contents common to the method described above with reference to FIG. 4 may be omitted.
도 1 내지 도 3 및 도 9를 참조하면, 단계 S910에서, 정보 처리부(140)는, 복수의 센싱부(111~116) 중 적어도 하나의 센싱부로부터의 센싱 데이터를 수집한다.1 to 3 and 9 , in step S910, the
단계 S920에서, 정보 처리부(140)는, 적어도 하나의 센싱부로부터 수집된 센싱 데이터를 기초로, 사용자 및 인터랙션 로봇(100) 중 적어도 하나에 관하여 인지된 상황을 표현하는 제1 상황 인지 정보를 생성한다. In step S920, the
단계 S925에서, 정보 처리부(140)는, 무선 통신망을 통해 외부 상황을 표현하는 제2 상황 인지 정보를 수집한다.In step S925, the
단계 S930에서, 정보 처리부(140)는, 제1 상황 인지 정보 및 제2 상황 인지 정보를 기초로, 적어도 하나의 인터랙션 동작을 선택한다. 즉, 도 9의 방법은 인터랙션 동작의 선택에 있어서 제2 상황 인지 정보를 추가적으로 활용한다는 점에서 도 4의 방법과 상이하다. 일 예로, 도 6에 도시된 상황에 있어서, 제2 상황 인지 정보로서 외부 온도가 수집되는 경우, 제1 상황 인지 정보에 기반한 대화 메시지(610)의 내용 일부를 제2 상황 인지 정보를 기초로 수정 또는 보강한 새로운 대화 메시지(예, "식사 중이신 것 같네요. 음식 조리할 때에 연기가 많이 발생한 것 같아요. 주방 온도는 12도쯤인데 밖은 영하 5도로 쌀쌀하니 환기보다는 공기 청정기를 틀어 보세요!" 등)를 출력하도록 정보 출력부(120)를 제어할 수 있다.In step S930, the
단계 S940에서, 정보 처리부(140)는, 정보 출력부(120) 및 구동부(130) 중 적어도 하나와 무선 통신부(150) 중 적어도 하나를 제어하여, 단계 S930에서 선택된 각 인터랙션 동작을 실행한다. 즉, 도 9의 방법은 인터랙션 동작의 실행에 있어서 무선 통신부(150)를 추가적으로 활용한다는 점에서 도 4의 방법과 상이하다.In step S940, the
도 10 및 도 11은 도 9의 다른 실시예에 따른 제어 방법을 통해 실행 가능한 다양한 인터랙션 동작을 설명하는 데에 참조되는 도면이다.10 and 11 are diagrams referenced to describe various interaction operations executable through the control method according to another embodiment of FIG. 9 .
도 10은 다양한 인터랙션 동작 중 하나인 감정 지원 동작을 설명하는 데에 참조되는 도면이다. 사용자의 감정 상태는 수시로 변화한다. 정보 처리부(140)는, 사용자의 감정 변화에 맞춰 대화 메시지의 내용을 적응적으로 변경하는 등의 인터랙션 동작을 실행하면서, 무선 통신부(150)를 통해 수집된 신규 정보 및/또는 정보 저장부(141)에 기록된 과거 정보를 이용하여, 사용자의 긍정적 감정을 강화하거나 부정적 감정을 완화하기 위한 추가적 인터랙션 동작으로서의 감정 지원 동작을 실행할 수 있다.10 is a reference diagram for explaining an emotion support operation, which is one of various interaction operations. The user's emotional state changes from time to time. The
도 10을 참조하면, 정보 처리부(140)는, 제1 상황 인지 정보가 사용자의 긍정 감정 상태를 나타내는 경우, 긍정 감정에 연관된 상황 데이터(예, 웃는 표정의 사용자 얼굴이 포함된 이미지)를 무선 통신망을 통해 사용자의 모바일 단말로 전송할 수 있으며, 이러한 동작 또한 인터랙션 동작에 해당할 수 있다. 모바일 단말은 인터랙션 로봇(100)에서 무선 전송된 해당 상황 데이터를 시간 동기화하여 기록할 수 있고, 사용자는 모바일 단말을 통해 자신의 긍정 감정의 이력(타임라인)을 나타내는 상황 데이터를 확인할 수 있다.Referring to FIG. 10 , the
한편, 정보 처리부(140)는, 제1 상황 인지 정보가 사용자의 부정 감정 상태를 나타내는 경우, 부정 감정에 연관된 컨텐츠 데이터(예, 명언, 종교 교리, 명상 음악, 일상 문구 등)를 적어도 하나의 외부 정보 매체나 정보 저장부(141)에 기 저장된 사용자 이력 정보로부터 수집할 수 있다. 일 예로, 정보 처리부(140)는, 사용자의 현 부정 감정을 표현하는 감정 설명 데이터(대표 태그) 및 주변 상황을 표현하는 상황 설명 데이터를, 외부 정보 매체 또는 정보 저장부(141)에 기록된 컨텐츠 데이터별 감정 설명 데이터 및 상황 설명 데이터와 비교하고, 유사도가 가장 높은 컨텐츠 데이터를 획득할 수 있다. 정보 처리부(140)는, 부정 감정에 연관된 컨텐츠 데이터로부터 사용자와의 교감을 통해 사용자의 부정 감정을 완화하기 위한 대화 메시지를 생성할 수 있다.Meanwhile, when the first situational awareness information indicates a user's negative emotional state, the
도 11은 다양한 인터랙션 동작 중 하나인 주변 기기 제어 동작을 설명하는 데에 참조되는 도면이다. 도 11을 참조하면, 정보 처리부(140)는, 사용자가 발화 중인 대화 음성(1110)을 감지 중, 적어도 하나의 소음이 함께 감지되는 경우, 소음별 소리 특성을 기초로 각 소음을 발생시키는 음원의 유형을 식별할 수 있다.11 is a reference diagram for explaining a peripheral device control operation, which is one of various interaction operations. Referring to FIG. 11 , the
정보 처리부(140)는, 무선 통신망을 통해, IoT(internet on thing) 제어 가능한 것으로 기 등록된 적어도 하나의 전자 기기(예, TV, 무선 로봇 청소기) 각각에 엑세스하여, 각 전자 기기의 동작 상태를 나타내는 정보를 제2 상황 인식 정보로서 수집할 수 있다. 정보 처리부(140)는, 제2 상황 인식 정보에 포함된 적어도 하나의 전자 기기의 동작 상태 정보를 기초로, 각 전자 기기가 현재 동작 중인지 여부를 판정할 수 있고, 추가적으로는 현재 동작 중인 각 전자 기기에서 발생되어 마이크(221)에서 감지되는 소음의 음압 레벨을 추정할 수 있다. 또한, 정보 처리부(140)는, 현재 동작 중인 것으로 판정된 전자 기기가 앞서 식별된 음원의 유형과 일치하는 경우, 해당 전자 기기를 소음 억제 대상으로 설정할 수 있다.The
한편, 정보 처리부(140)는, 마이크(221)에서 감지되는 특정 소음의 음원이 현재 동작 중인 각 전자 기기와 일치하는지 여부를 정확히 판정하기 위해, 각 전자 기기에게 소정의 소리 패턴을 가지는 오디오 신호를 재생할 것을 명령할 수 있다. 그 다음, 정보 처리부(140)는, 마이크(221)에서 감지되는 소리 패턴이 해당 전자 기기에게 재생 명령한 오디오 신호의 소리 패턴과 일치하는 경우, 상기 특정 소음의 음원이 해당 전자 기기인 것으로 확정할 수 있다.Meanwhile, the
정보 처리부(140)는, 무선 통신망을 통해, 소음 억제 대상으로 설정된 각 전자 기기에게 소음 저감 요청을 전송할 수 있다. 이때, 정보 처리부(140)는, 대화 음성(1110)의 음압 레벨을 기초로, 소음 억제 대상인 전자 기기별 음압 레벨을 설정할 수 있다. 일 예로, 대화 음성(1110)의 음압 레벨이 작을수록, 전자 기기별 음압 레벨을 감소시켜, 마이크(221)를 통한 사용자 음성의 감지 정확도를 확보할 수 있다. 소음 저감 요청을 수신한 각 전자 기기는, 동작 수준을 낮추거나, 동작을 정지할 수 있다. 일 예로, 이동형 전자 기기인 무선 로봇 청소기는, 소음 저감 요청에 응답하여, 먼지 흡입력의 레벨을 현재값보다 낮추거나, 잔여 청소 대상 영역 중에서 사용자로부터 최대로 멀리 이격된 영역으로 이동하여 청소를 실시하거나, 일시적으로 청소 동작을 정지할 수 있다. 다른 예로, 비이동형 전자 기기인 TV는, 소음 저감 요청에 응답하여, 전원을 오프하거나, 현 채널의 볼륨을 음소거하거나, 소음 발생도가 낮은 다른 채널로 전환할 수 있다.The
한편, 정보 처리부(140)는, 대화 음성(1110)과 함께 감지되는 소음별 음압 레벨을 기초로, 스피커(121)를 통해 출력되는 사용자에 대한 대화 메시지(1120)의 볼륨을 조절할 수 있다. 일 예로, 특정 전자 기기에서 발생되는 소음의 음압 레벨이 높을수록, 사용자가 대화 메시지(1120)를 충분히 높은 감도로 청취할 수 있도록, 사용자에게 피드백되는 대화 메시지(1120)의 볼륨을 증가시킬 수 있다.Meanwhile, the
이 외에도, 정보 처리부(140)는, 추종 이동 동작(도 5 참조)을 실행 중에 인터랙션 로봇(100)으로부터 사용자로의 경로가 충분히 확보될 수 있도록, 이동형 전자 기기(예, 무선 이동 청소기)에 대한 이동 제한 영역을 설정할 수도 있다. 예를 들어, 정보 처리부(140)는, 시각 기반-상황 데이터, 청각 기반-상황 데이터 및/또는 제2 상황 인지 정보를 기초로, 사용자나 인터랙션 로봇(100)로부터 소정의 안전 거리 이내에 이동형 전자 기기가 위치하고 있는지 여부를 판정할 수 있다. 그 다음, 정보 처리부(140)는, 인터랙션 로봇(100) 및 사용자 각각의 위치를 기초로 인터랙션 로봇(100)으로부터 사용자로의 가상 경로를 생성한 다음, 인터랙션 로봇(100)이 가상 경로를 추종하도록 제6 및 제7 주행부(136, 137)를 제어하면서, 가상 경로로부터 안전 거리 이내의 영역을 이동 제한 영역으로 설정하고, 이동 제한 영역을 표현하는 데이터를 포함하는 이동 제한 명령을 이동형 전자 기기에게 전송할 수 있다. 이동형 전자 기기는, 이동 제한 명령에 응답하여, 이동 제한 영역을 회피하도록 동작할 수 있다. 이에 따라 인터랙션 로봇(100)이 사용자에게로 근접 이동 중, 이동형 전자 기기에 의한 경로 방해 상황을 예방할 수 있다.In addition to this, the
물론, 인터랙션 로봇(100)에 의해 실행 가능한 인터랙션 동작들이 위에서 열거한 예들로 한정되는 것은 아니다. 그 밖에, 인터랙션 로봇(100)이 능동적으로 또는 사용자 요청에 따라 음악을 재생하는 경우, 정보 저장부(141)에 저장된 음악 파일 및 정보 수집부(110)에서 감지한 정보를 음악 재생에 보조적으로 활용할 수 있다. 예컨대, 정보 처리부(140)는, 적어도 하나의 음악 파일 각각의 프로파일(예, 가수, 작곡가, 작사가, 장르(rock, classical 등), BPM)과 시각 기반-센싱 데이터를 기초로 인지된 주변 공간에 연관된 정보(예, 실내외 여부, 실내인 경우 방, 거실, 주방, 화장실 등)를 활용하여, 재생할 음악에 적용할 음향 효과 프로파일 및 공간감 프로파일을 자동으로 판단하고, 현 공간에서 인지되는 상황에 맵핑된 설정값으로 음악을 재생하도록 스피커(121)를 제어할 수 있다.Of course, the interaction operations executable by the
본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 구별되어 이해되어서는 안 될 것이다.The present invention is not limited to the specific embodiments and application examples described above, and various modifications can be made by those skilled in the art without departing from the gist of the present invention claimed in the claims. Of course, these modified implementations should not be understood separately from the technical spirit or perspective of the present invention.
특히, 본 명세서에 첨부된 도면에 도시된 블록도와 순서도에 포함된 본 발명의 기술적 특징을 실행하는 구성들은 상기 구성들 사이의 논리적인 경계를 의미한다. 그러나 소프트웨어나 하드웨어의 실시 예에 따르면, 도시된 구성들과 그 기능들은 독립형 소프트웨어 모듈, 모놀리식 소프트웨어 구조, 코드, 서비스 및 이들을 조합한 형태로 실행되며, 저장된 프로그램 코드, 명령어 등을 실행할 수 있는 프로세서를 구비한 컴퓨터에서 실행 가능한 매체에 저장되어 그 기능들이 구현될 수 있으므로 이러한 모든 실시 예 역시 본 발명의 권리범위 내에 속하는 것으로 보아야 할 것이다.In particular, the components implementing the technical features of the present invention included in the block diagrams and flowcharts shown in the accompanying drawings represent the logical boundaries between the components. However, according to an embodiment of software or hardware, the illustrated components and their functions are executed in the form of independent software modules, monolithic software structures, codes, services, and combinations thereof, and may execute stored program codes, instructions, and the like. Since functions may be implemented by being stored in a medium executable on a computer having a processor, all of these embodiments should also be regarded as falling within the scope of the present invention.
따라서, 첨부된 도면과 그에 대한 기술은 본 발명의 기술적 특징을 설명하기는 하나, 이러한 기술적 특징을 구현하기 위한 소프트웨어의 특정 배열이 분명하게 언급되지 않는 한, 단순히 추론되어서는 안 된다. 즉, 이상에서 기술한 다양한 실시 예들이 존재할 수 있으며, 그러한 실시 예들이 본 발명과 동일한 기술적 특징을 보유하면서 일부 변형될 수 있으므로, 이 역시 본 발명의 권리범위 내에 속하는 것으로 보아야 할 것이다. Accordingly, although the accompanying drawings and description thereof describe technical features of the present invention, they should not be simply inferred unless a specific arrangement of software for implementing these technical features is explicitly mentioned. That is, various embodiments described above may exist, and since such embodiments may be partially modified while retaining the same technical characteristics as the present invention, this should also be regarded as falling within the scope of the present invention.
또한, 순서도의 경우 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 가장 바람직한 결과를 얻기 위하여 도시된 것으로서, 도시된 특정한 순서나 순차적인 순서대로 그러한 동작들을 반드시 실행되어야 한다거나 모든 도시된 동작들이 반드시 실행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티 태스킹과 병렬 프로세싱이 유리할 수 있다. 아울러, 이상에서 기술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다. In addition, in the case of a flow chart, although operations are depicted in a specific order, this is shown in order to obtain the most desirable results, and such operations must be executed in a specific sequence or sequential order shown or all illustrated operations must be executed. It should not be understood as what it should be. In certain cases, multitasking and parallel processing can be advantageous. In addition, the separation of various system components in the embodiments described above should not be understood as requiring such separation in all embodiments, and the described program components and systems are generally integrated together in a single software product or in multiple software products. It should be understood that it can be packaged.
100: 인터랙션 로봇
110: 정보 수집부 111~116: 제1 내지 제6 센싱부
211: 광각 카메라 212: 망원 카메라
213: 적외선 센서 221: 마이크
231: 터치 센서 232: 스트레인 게이지
241: 공기질 센서 242: 온도 센서
243: 습도 센서
120: 정보 출력부 121: 스피커
122: 디스플레이 123: 광 출력기
130: 구동부 131~137: 제1 내지 제7 전동 관절
140: 정보 처리부 150: 무선 통신부
160: 축전부 170: 기능 포트
180: 방열 부재100: interaction robot
110:
211: wide-angle camera 212: telephoto camera
213: infrared sensor 221: microphone
231: touch sensor 232: strain gauge
241: air quality sensor 242: temperature sensor
243 Humidity sensor
120: information output unit 121: speaker
122: display 123: optical output
130: driving
140: information processing unit 150: wireless communication unit
160: power storage unit 170: function port
180: heat dissipation member
Claims (12)
서로 다른 복수의 모달리티에 일대일로 연관된 복수의 센싱부를 포함하는 정보 수집부;
상기 인터랙션 로봇에 의해 실행되는 동작에 연관된 인터랙션 피드백을 출력하는 정보 출력부;
상기 인터랙션 로봇의 움직임을 제어하는 구동부;
무선 통신망 통해, IoT 제어 가능한 것으로 등록된 이동형 전자 기기에 엑세스하는 무선 통신부; 및
상기 복수의 센싱부 중 적어도 하나의 센싱부로부터의 센싱 데이터를 기초로, 사용자 및 상기 인터랙션 로봇 중 적어도 하나에 관하여 인지된 상황을 표현하는 제1 상황 인지 정보를 생성하는 정보 처리부;를 포함하고,
상기 정보 처리부는,
상기 제1 상황 인지 정보를 기초로, 적어도 하나의 인터랙션 동작을 선택하고,
상기 인터랙션 로봇으로부터 제1 기준 거리 이내의 근거리 객체의 객체 특징에 기초한 근거리 상황에 연관된 제1 인터랙션 동작 및 상기 인터랙션 로봇으로부터 상기 제1 기준 거리 밖의 원거리 객체의 객체 특징에 기초한 원거리 상황에 연관된 제2 인터랙션 동작이 선택되는 경우, 상기 제1 인터랙션 동작에 상기 제2 인터랙션 동작보다 높은 우선 순위를 부여하고,
상기 정보 출력부 및 상기 구동부 중 적어도 하나를 제어하여, 각 인터랙션 동작의 우선 순위에 따라, 상기 제1 인터랙션 동작 및 상기 제2 인터랙션 동작을 순차적으로 실행하되,
상기 근거리 객체가 상기 사용자인 경우, 상기 제1 인터랙션 동작은 상기 사용자로부터 제2 기준 거리 이내로 이동하는 추종 이동 동작이고,
상기 정보 처리부는, 상기 추종 이동 동작을 실행 시,
상기 인터랙션 로봇으로부터 상기 사용자로의 가상 경로를 생성하고,
상기 가상 경로로부터 소정의 안전 거리 이내의 영역을 이동 제한 영역으로 설정하고,
상기 무선 통신부를 제어하여, 상기 이동형 전자 기기가 상기 이동 제한 영역을 회피하도록 하는 이동 제한 명령을 상기 무선 통신망을 통해 상기 이동형 전자 기기에게 전송하는, 인터랙션 로봇.
In the multimodal-based interaction robot,
an information collection unit including a plurality of sensing units associated with a plurality of different modalities on a one-to-one basis;
an information output unit outputting interaction feedback related to the motion executed by the interaction robot;
a driving unit controlling movement of the interaction robot;
A wireless communication unit for accessing a mobile electronic device registered as being controllable by IoT through a wireless communication network; and
An information processing unit configured to generate first context-aware information representing a recognized situation with respect to at least one of a user and the interaction robot based on sensing data from at least one of the plurality of sensing units,
The information processing unit,
Selecting at least one interaction action based on the first contextual information;
A first interaction action related to a local situation based on an object feature of a local object within a first reference distance from the interaction robot and a second interaction related to a far situation based on an object feature of a far object outside the first reference distance from the interaction robot When an action is selected, giving the first interaction action a higher priority than the second interaction action;
Controlling at least one of the information output unit and the driving unit to sequentially execute the first interaction operation and the second interaction operation according to the priority of each interaction operation,
When the short-distance object is the user, the first interaction operation is a following movement operation moving within a second reference distance from the user;
When the information processing unit executes the following movement operation,
creating a virtual path from the interaction robot to the user;
An area within a predetermined safety distance from the virtual path is set as a movement restriction area,
and controlling the wireless communication unit to transmit a movement limiting command for the mobile electronic device to avoid the movement restriction area to the mobile electronic device through the wireless communication network.
상기 복수의 센싱부는,
상기 인터랙션 로봇 주변의 2차원 영상, 3차원 영상 및 밝기값 중 적어도 하나를 포함하는 제1 센싱 데이터를 생성하는 제1 센싱부를 포함하고,
상기 정보 처리부는,
상기 제1 센싱 데이터를 기초로, 상기 인터랙션 로봇 주변에 위치하는 객체별 객체 특징을 나타내는 시각 기반-상황 데이터를 생성하고,
상기 시각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성하는, 인터랙션 로봇.
According to claim 1,
The plurality of sensing units,
A first sensing unit configured to generate first sensing data including at least one of a 2D image, a 3D image, and a brightness value around the interaction robot;
The information processing unit,
Based on the first sensing data, visual-based-situation data representing object characteristics for each object located around the interaction robot is generated;
An interaction robot that generates the first context-aware information based on the time-based context data.
상기 정보 처리부는,
상기 제1 센싱부의 두 카메라로부터의 영상을 비교하여, 상기 인터랙션 로봇 주변의 적어도 한 객체의 위치 데이터를 생성하고,
상기 시각 기반-상황 데이터는, 상기 적어도 한 객체의 위치 데이터를 포함하는, 인터랙션 로봇.
According to claim 2,
The information processing unit,
Comparing images from two cameras of the first sensing unit to generate position data of at least one object around the interaction robot;
The time-based-situation data includes location data of the at least one object, the interaction robot.
상기 복수의 센싱부는,
상기 인터랙션 로봇 주변의 소리를 감지하여 제2 센싱 데이터를 생성하는 제2 센싱부를 포함하고,
상기 정보 처리부는,
상기 제2 센싱 데이터를 기초로, 상기 인터랙션 로봇 주변의 청각 기반-상황 데이터를 생성하고,
상기 청각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성하는, 인터랙션 로봇.
According to claim 1,
The plurality of sensing units,
A second sensing unit configured to detect sounds around the interaction robot and generate second sensing data;
The information processing unit,
Based on the second sensing data, hearing-based context data around the interaction robot is generated;
Based on the auditory-based contextual data, the interaction robot for generating the first contextual information.
상기 정보 처리부는,
상기 제2 센싱부에 포함된 복수의 마이크 중 적어도 두 마이크로부터의 오디오 신호를 비교하여, 상기 인터랙션 로봇 주변의 적어도 한 음원의 위치 데이터를 생성하고,
상기 청각 기반-상황 데이터는, 상기 적어도 한 음원의 위치 데이터를 포함하는, 인터랙션 로봇.
According to claim 4,
The information processing unit,
Comparing audio signals from at least two of the plurality of microphones included in the second sensing unit to generate position data of at least one sound source around the interaction robot,
The auditory-based context data includes location data of the at least one sound source.
상기 복수의 센싱부는,
상기 인터랙션 로봇의 몸체의 소정 영역에 대한 접촉 이벤트를 감지하여 제3 센싱 데이터를 생성하는 제3 센싱부를 포함하고,
상기 정보 처리부는,
상기 제3 센싱 데이터를 기초로, 상기 인터랙션 로봇의 촉각 기반-상황 데이터를 생성하고,
상기 촉각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성하는, 인터랙션 로봇.
According to claim 1,
The plurality of sensing units,
A third sensing unit generating third sensing data by detecting a contact event with respect to a predetermined area of the body of the interaction robot;
The information processing unit,
Based on the third sensing data, generating tactile based-situation data of the interaction robot;
Based on the tactile sense-based contextual data, the interaction robot for generating the first contextual information.
상기 복수의 센싱부는,
상기 인터랙션 로봇 주변의 대기 상태를 감지하여 제4 센싱 데이터를 생성하는 제4 센싱부를 포함하고,
상기 정보 처리부는,
상기 제4 센싱 데이터를 기초로, 상기 인터랙션 로봇의 후각 기반-상황 데이터를 생성하고,
상기 후각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성하는, 인터랙션 로봇.
According to claim 1,
The plurality of sensing units,
A fourth sensing unit configured to sense a standby state around the interaction robot and generate fourth sensing data;
The information processing unit,
Based on the fourth sensing data, generating olfactory based-situation data of the interaction robot;
An interaction robot that generates the first context-aware information based on the olfactory-based context data.
상기 정보 수집부, 상기 정보 출력부, 상기 구동부 및 상기 정보 처리부에 전력을 공급하는 축전부;
를 더 포함하고,
상기 복수의 센싱부는,
상기 축전부의 상태를 감지하여 제6 센싱 데이터를 생성하는 제6 센싱부를 포함하고,
상기 정보 처리부는,
상기 제6 센싱 데이터를 기초로, 상기 제1 상황 인지 정보를 생성하는, 인터랙션 로봇.
According to claim 1,
a power storage unit supplying power to the information collection unit, the information output unit, the driving unit, and the information processing unit;
Including more,
The plurality of sensing units,
A sixth sensing unit configured to sense a state of the power storage unit and generate sixth sensing data;
The information processing unit,
An interaction robot generating the first contextual information based on the sixth sensing data.
상기 무선 통신부는,
상기 무선 통신망 통해 적어도 하나의 외부 정보 매체에 엑세스하여 상기 정보 수집부를 통해 감지 불가한 외부 상황을 표현하는 제2 상황 인지 정보를 수집하고,
상기 정보 처리부는,
상기 제2 상황 인지 정보를 더 기초로, 상기 적어도 하나의 인터랙션 동작을 선택하는, 인터랙션 로봇.
According to claim 1,
The wireless communication unit,
Accessing at least one external information medium through the wireless communication network to collect second context-aware information representing an undetectable external situation through the information collection unit;
The information processing unit,
An interaction robot that selects the at least one interaction action further based on the second context awareness information.
상기 정보 처리부에서 발생되는 열 에너지가 상기 인터랙션 로봇의 몸체에 전달되도록, 상기 인터랙션 로봇의 외면과 상기 정보 처리부 사이에 기계적으로 결합되는 방열 부재;
를 더 포함하는, 인터랙션 로봇.
According to claim 1,
a heat dissipation member mechanically coupled between an outer surface of the interaction robot and the information processing unit so that thermal energy generated by the information processing unit is transmitted to the body of the interaction robot;
Further comprising, interaction robot.
상기 복수의 센싱부 중 적어도 하나의 센싱부로부터의 센싱 데이터를 수집하는 단계;
상기 적어도 하나의 센싱부로부터의 센싱 데이터를 기초로, 상기 사용자 및 상기 인터랙션 로봇 중 적어도 하나에 관하여 인지된 상황을 표현하는 제1 상황 인지 정보를 생성하는 단계;
상기 제1 상황 인지 정보를 기초로, 적어도 하나의 인터랙션 동작을 선택하는 단계;
상기 인터랙션 로봇으로부터 제1 기준 거리 이내의 근거리 객체의 객체 특징에 기초한 근거리 상황에 연관된 제1 인터랙션 동작 및 상기 인터랙션 로봇으로부터 상기 제1 기준 거리 밖의 원거리 객체의 객체 특징에 기초한 원거리 상황에 연관된 제2 인터랙션 동작이 선택되는 경우, 상기 제1 인터랙션 동작에 상기 제2 인터랙션 동작보다 높은 우선 순위를 부여하는 단계; 및
상기 정보 출력부 및 상기 구동부 중 적어도 하나를 제어하여, 각 인터랙션 동작의 우선 순위에 따라, 상기 제1 인터랙션 동작 및 상기 제2 인터랙션 동작을 순차적으로 실행하는 단계를 포함하되,
상기 근거리 객체가 상기 사용자인 경우, 상기 제1 인터랙션 동작은 상기 사용자로부터 제2 기준 거리 이내로 이동하는 추종 이동 동작이고,
상기 추종 이동 동작을 실행하는 단계는,
상기 인터랙션 로봇으로부터 상기 사용자로의 가상 경로를 생성하는 단계;
상기 가상 경로로부터 소정의 안전 거리 이내의 영역을 이동 제한 영역으로 설정하는 단계; 및
상기 무선 통신부를 제어하여, IoT 제어 가능한 것으로 등록된 상기 이동형 전자 기기가 상기 이동 제한 영역을 회피하도록 하는 이동 제한 명령을 상기 무선 통신망을 통해 상기 이동형 전자 기기에게 전송하는 단계를 포함하는, 인터랙션 로봇의 제어 방법.
In the control method of the interaction robot according to any one of claims 1 to 10,
collecting sensing data from at least one sensing unit among the plurality of sensing units;
generating first context-aware information representing a recognized situation with respect to at least one of the user and the interaction robot, based on sensing data from the at least one sensing unit;
selecting at least one interaction action based on the first contextual information;
A first interaction action related to a local situation based on an object feature of a local object within a first reference distance from the interaction robot and a second interaction related to a far situation based on an object feature of a far object outside the first reference distance from the interaction robot if an action is selected, giving the first interaction action a higher priority than the second interaction action; and
Controlling at least one of the information output unit and the driving unit to sequentially execute the first interaction operation and the second interaction operation according to the priority of each interaction operation,
When the short-distance object is the user, the first interaction operation is a following movement operation moving within a second reference distance from the user;
In the step of executing the follow-up movement operation,
creating a virtual path from the interaction robot to the user;
setting an area within a predetermined safe distance from the virtual path as a movement restriction area; and
Controlling the wireless communication unit to transmit a movement limiting command for the mobile electronic device registered as IoT controllable to avoid the movement restriction area to the mobile electronic device through the wireless communication network. control method.
A computer program stored in a computer-readable storage medium to execute the control method of the interaction robot according to claim 11.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20210147193 | 2021-10-29 | ||
KR1020210147193 | 2021-10-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR102519599B1 true KR102519599B1 (en) | 2023-04-11 |
KR102519599B9 KR102519599B9 (en) | 2023-06-09 |
Family
ID=85976724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220021935A KR102519599B1 (en) | 2021-10-29 | 2022-02-21 | Multimodal based interaction robot, and control method for the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102519599B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117215682A (en) * | 2023-07-27 | 2023-12-12 | 北京小米机器人技术有限公司 | Interactive event execution method and device, electronic equipment and storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015066625A (en) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | Attention object estimation system, robot, and control program |
KR101659037B1 (en) * | 2015-02-16 | 2016-09-23 | 엘지전자 주식회사 | Robot cleaner, remote controlling system and method of the same |
KR101880775B1 (en) * | 2010-07-23 | 2018-08-17 | 소프트뱅크 로보틱스 유럽 | Humanoid robot equipped with a natural dialogue interface, method for controlling the robot and corresponding program |
KR20190004987A (en) * | 2017-07-05 | 2019-01-15 | 엘지전자 주식회사 | Guidance robot |
KR20190095578A (en) * | 2018-01-22 | 2019-08-16 | 엘지전자 주식회사 | Method for operating moving robot |
-
2022
- 2022-02-21 KR KR1020220021935A patent/KR102519599B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101880775B1 (en) * | 2010-07-23 | 2018-08-17 | 소프트뱅크 로보틱스 유럽 | Humanoid robot equipped with a natural dialogue interface, method for controlling the robot and corresponding program |
JP2015066625A (en) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | Attention object estimation system, robot, and control program |
KR101659037B1 (en) * | 2015-02-16 | 2016-09-23 | 엘지전자 주식회사 | Robot cleaner, remote controlling system and method of the same |
KR20190004987A (en) * | 2017-07-05 | 2019-01-15 | 엘지전자 주식회사 | Guidance robot |
KR20190095578A (en) * | 2018-01-22 | 2019-08-16 | 엘지전자 주식회사 | Method for operating moving robot |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117215682A (en) * | 2023-07-27 | 2023-12-12 | 北京小米机器人技术有限公司 | Interactive event execution method and device, electronic equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
KR102519599B9 (en) | 2023-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220012470A1 (en) | Multi-user intelligent assistance | |
US11217240B2 (en) | Context-aware control for smart devices | |
JP7400923B2 (en) | Information processing device and information processing method | |
WO2017215297A1 (en) | Cloud interactive system, multicognitive intelligent robot of same, and cognitive interaction method therefor | |
US8321221B2 (en) | Speech communication system and method, and robot apparatus | |
WO2018043235A1 (en) | Autonomous behavior type robot recognizing direction of sound source | |
KR20160034243A (en) | Apparatus and methods for providing a persistent companion device | |
JP2017167797A (en) | Robot control system | |
US20230266767A1 (en) | Information processing apparatus, information processing method, and program | |
WO2018021040A1 (en) | Information processing system, recording medium, and information processing method | |
KR102519599B1 (en) | Multimodal based interaction robot, and control method for the same | |
US11938625B2 (en) | Information processing apparatus, information processing method, and program | |
JP2020151070A (en) | Robot and control method of robot | |
JP2003200370A (en) | Growth control system for object and growth control method for object | |
US11511410B2 (en) | Artificial intelligence (AI) robot and control method thereof | |
US11544968B2 (en) | Information processing system, information processingmethod, and recording medium | |
WO2016206646A1 (en) | Method and system for urging machine device to generate action | |
WO2016117514A1 (en) | Robot control device and robot | |
WO2018061346A1 (en) | Information processing device | |
KR20230047434A (en) | Inferring assistant action(s) based on ambient sensing of the assistant device(s) | |
KR20200077936A (en) | Electronic device for providing reaction response based on user status and operating method thereof | |
EP3772735B1 (en) | Assistance system and method for providing information to a user using speech output | |
JP7202836B2 (en) | communication system | |
JP2019207286A (en) | Behavior inducement support system and program | |
KR20190012727A (en) | Device and Method for Acting as Friend in Smart Aging Service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant | ||
G170 | Re-publication after modification of scope of protection [patent] |