KR102519599B1 - Multimodal based interaction robot, and control method for the same - Google Patents

Abstract

Disclosed are a multimodal-based interaction robot and a control method thereof, capable of improving the satisfaction of a user about an interaction service. The interaction robot includes: an information collecting unit including multiple sensing units related to multiple different modalities one to one; an information output unit outputting interaction feedback related to a motion executed by the interaction robot; a driving unit controlling a movement of the interaction robot; and an information processing unit generating first situation recognition information expressing a recognized situation about at least one of the interaction robot and the user based on sensing data from at least one of the multiple sensing units. The information processing unit selects at least one interaction motion based on the first situation recognition information and controls at least one among the information output unit and the driving unit. The information processing unit also executes each interaction motion selected.

Description

멀티모달 기반의 인터랙션 로봇, 및 그 제어 방법{MULTIMODAL BASED INTERACTION ROBOT, AND CONTROL METHOD FOR THE SAME}Multimodal based interaction robot and its control method

본 발명은 인터랙션 로봇에 관한 것으로서, 보다 상세하게는, 인체의 다중 감각 기능에 대응하는 다중 센싱 구조를 가지는 멀티모달 기반의 인터랙션 로봇을 이용하여 사용자에게 인터랙션 서비스를 제공하는 기술에 관한 것이다. The present invention relates to an interaction robot, and more particularly, to a technology for providing an interaction service to a user using a multimodal-based interaction robot having a multi-sensing structure corresponding to the multi-sensory functions of the human body.

본 출원은 2021년 10월 29일자로 출원된 한국 특허출원 번호 제10-2021-0147193호에 대한 우선권 주장 출원으로서, 해당 출원의 명세서 및 도면에 개시된 모든 내용은 인용에 의해 본 출원에 원용된다. This application is an application claiming priority to Korean Patent Application No. 10-2021-0147193 filed on October 29, 2021, and all contents disclosed in the specification and drawings of the application are incorporated into this application by reference.

최근 안내용 로봇 등, 로봇 기반의 서비스에 대한 수요 및 적용 분야가 지속적으로 보편화되는 추세에 있으며, 특히 사회적으로 1인 자녀를 둔 가구와 노인 인구가 가파르게 증가함에 따라, 사용자 관점에서의 고도화된 인터랙션 서비스에 대한 니즈(needs)를 로봇을 통해 충족시키고자 하는 시도 또한 증대되고 있다.Recently, the demand for and application of robot-based services, such as guidance robots, continues to be common, and in particular, as the number of households with one child and the elderly population increases rapidly, advanced interaction from the user's point of view Attempts to satisfy service needs through robots are also increasing.

기존의 대다수의 로봇 기반 서비스는, 로봇으로 하여금 서비스 대상인 사용자의 명령이나 행동(예, 질문)에 연관된 단편적인 반응이나 정보를 제공하는 수준에 머물러, 로봇과 사용자 간에 보다 고차원적인 인터랙션이 가능하도록 연계시켜주는 기능은 부족한 실정이다.Most of the existing robot-based services stay at the level of providing fragmentary responses or information related to the user's command or action (eg, question), which is the target of service, so that a higher level of interaction between the robot and the user is possible. The function to do so is lacking.

인터랙션 서비스는, 로봇으로부터 사용자 또는 사용자로부터 로봇으로의 단방향 상호작용을 넘어서, 로봇과 사용자 간의 양방향 상호작용을 기반으로 한 로봇 제어를 통해 제공 가능한 서비스이다.An interaction service is a service that can be provided through robot control based on a two-way interaction between a robot and a user, beyond a one-way interaction from a robot to a user or from a user to a robot.

그런데, 로봇이 음성-텍스트 변환 등과 같이 단일 모달리티의 입력 정보(예, 사용자의 음성)를 단차원적으로 해석하여 관련 동작을 수행하는 종래 방식은 자연스러운 대화 등에 대한 사용자의 욕구를 충족시키는 데에 한계가 뚜렷하다.However, the conventional method in which a robot interprets input information (eg, a user's voice) of a single modality in a single dimension, such as voice-to-text conversion, and performs related operations has limitations in satisfying the user's desire for natural conversation. distinct

본 발명은, 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 인체의 다중 감각 기능에 대응하는 다중 센싱 구조를 가지는 멀티모달 기반의 인터랙션 로봇, 및 그 제어 방법을 제공하는 것을 목적으로 한다. The present invention has been made to solve the above problems, and an object of the present invention is to provide a multimodal-based interaction robot having a multi-sensing structure corresponding to the multi-sensory function of the human body, and a control method thereof.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the examples of the present invention. Furthermore, it will be readily apparent that the objects and advantages of the present invention may be realized by means of the instrumentalities and combinations thereof set forth in the claims.

본 발명의 일 측면에 따른 멀티모달 기반의 인터랙션 로봇은, 서로 다른 복수의 모달리티에 일대일로 연관된 복수의 센싱부를 포함하는 정보 수집부; 상기 인터랙션 로봇에 의해 실행되는 동작에 연관된 인터랙션 피드백을 출력하는 정보 출력부; 상기 인터랙션 로봇의 움직임을 제어하는 구동부; 및 상기 복수의 센싱부 중 적어도 하나의 센싱부로부터의 센싱 데이터를 기초로, 상기 사용자 및 상기 인터랙션 로봇 중 적어도 하나에 관하여 인지된 상황을 표현하는 제1 상황 인지 정보를 생성하는 정보 처리부;를 포함한다. 상기 정보 처리부는, 상기 제1 상황 인지 정보를 기초로, 적어도 하나의 인터랙션 동작을 선택하고, 상기 정보 출력부 및 상기 구동부 중 적어도 하나를 제어하여, 상기 선택된 각 인터랙션 동작을 실행하도록 구성된다.A multimodal-based interaction robot according to an aspect of the present invention includes: an information collection unit including a plurality of sensing units that are one-to-one associated with a plurality of different modalities; an information output unit outputting interaction feedback related to the motion executed by the interaction robot; a driving unit controlling movement of the interaction robot; and an information processing unit configured to generate first context-aware information representing a recognized situation with respect to at least one of the user and the interaction robot, based on sensing data from at least one of the plurality of sensing units. do. The information processing unit is configured to select at least one interaction operation based on the first situation awareness information, and execute each selected interaction operation by controlling at least one of the information output unit and the driving unit.

상기 복수의 센싱부는, 상기 인터랙션 로봇 주변의 2차원 영상, 3차원 영상 및 밝기값 중 적어도 하나를 포함하는 제1 센싱 데이터를 생성하는 제1 센싱부를 포함할 수 있다. 상기 정보 처리부는, 상기 제1 센싱 데이터를 기초로, 상기 인터랙션 로봇 주변에 위치하는 객체별 객체 특징을 나타내는 시각 기반-상황 데이터를 생성하고, 상기 시각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성할 수 있다.The plurality of sensing units may include a first sensing unit that generates first sensing data including at least one of a 2D image, a 3D image, and a brightness value around the interaction robot. The information processing unit generates, based on the first sensing data, time-based-situation data representing object characteristics for each object located around the interaction robot, and based on the time-based-situation data, the first situation Cognitive information can be created.

상기 정보 처리부는, 상기 제1 센싱부의 두 카메라로부터의 영상을 비교하여, 상기 인터랙션 로봇 주변의 적어도 한 객체의 위치 데이터를 생성할 수 있다. 상기 시각 기반-상황 데이터는, 상기 적어도 한 객체의 위치 데이터를 포함할 수 있다.The information processing unit may generate position data of at least one object around the interaction robot by comparing images from two cameras of the first sensing unit. The time-based-context data may include location data of the at least one object.

상기 복수의 센싱부는, 상기 인터랙션 로봇 주변의 소리를 감지하여 제2 센싱 데이터를 생성하는 제2 센싱부를 포함할 수 있다. 상기 정보 처리부는, 상기 제2 센싱 데이터를 기초로, 상기 인터랙션 로봇 주변의 청각 기반-상황 데이터를 생성하고, 상기 청각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성할 수 있다.The plurality of sensing units may include a second sensing unit configured to sense sounds around the interaction robot and generate second sensing data. The information processing unit may generate hearing-based context data around the interaction robot based on the second sensing data, and generate the first contextual information based on the hearing-based context data.

상기 정보 처리부는, 상기 제2 센싱부에 포함된 복수의 마이크 중 적어도 두 마이크로부터의 오디오 신호를 비교하여, 상기 인터랙션 로봇 주변의 적어도 한 음원의 위치 데이터를 생성할 수 있다. 상기 청각 기반-상황 데이터는, 상기 적어도 한 음원의 위치 데이터를 포함할 수 있다.The information processing unit may generate position data of at least one sound source around the interaction robot by comparing audio signals from at least two of the plurality of microphones included in the second sensing unit. The auditory-based context data may include location data of the at least one sound source.

상기 복수의 센싱부는, 상기 인터랙션 로봇의 몸체의 소정 영역에 대한 접촉 이벤트를 감지하여 제3 센싱 데이터를 생성하는 제3 센싱부를 포함할 수 있다. 상기 정보 처리부는, 상기 제3 센싱 데이터를 기초로, 상기 인터랙션 로봇의 촉각 기반-상황 데이터를 생성할 수 있다. 상기 촉각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성할 수 있다. The plurality of sensing units may include a third sensing unit generating third sensing data by detecting a contact event with respect to a predetermined region of a body of the interaction robot. The information processing unit may generate tactile-based context data of the interaction robot based on the third sensing data. Based on the tactile-based contextual data, the first contextual information may be generated.

상기 복수의 센싱부는, 상기 인터랙션 로봇 주변의 대기 상태를 감지하여 제4 센싱 데이터를 생성하는 제4 센싱부를 포함할 수 있다. 상기 정보 처리부는, 상기 제4 센싱 데이터를 기초로, 상기 인터랙션 로봇의 후각 기반-상황 데이터를 생성하고, 상기 후각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성할 수 있다.The plurality of sensing units may include a fourth sensing unit configured to sense a standby state around the interaction robot and generate fourth sensing data. The information processing unit may generate olfactory-based context data of the interaction robot based on the fourth sensing data, and may generate the first context-aware information based on the olfactory-based context data.

상기 인터랙션 로봇은, 상기 정보 수집부, 상기 정보 출력부, 상기 구동부 및 상기 정보 처리부에 전력을 공급하는 축전부를 더 포함할 수 있다. 상기 복수의 센싱부는, 상기 축전부의 상태를 감지하여 제6 센싱 데이터를 생성하는 제6 센싱부를 포함할 수 있다. 상기 정보 처리부는, 상기 제6 센싱 데이터를 기초로, 상기 제1 상황 인지 정보를 생성할 수 있다.The interaction robot may further include a power storage unit supplying power to the information collection unit, the information output unit, the driving unit, and the information processing unit. The plurality of sensing units may include a sixth sensing unit configured to sense a state of the power storage unit and generate sixth sensing data. The information processing unit may generate the first contextual information based on the sixth sensing data.

상기 인터랙션 로봇은, 무선 통신망 통해 적어도 하나의 외부 정보 매체에 엑세스하여 상기 정보 수집부를 통해 감지 불가한 외부 상황을 표현하는 제2 상황 인지 정보를 수집하는 무선 통신부를 더 포함할 수 있다. 상기 정보 처리부는, 상기 제2 상황 인지 정보를 더 기초로, 상기 적어도 하나의 인터랙션 동작을 선택할 수 있다.The interaction robot may further include a wireless communication unit that accesses at least one external information medium through a wireless communication network and collects second context awareness information expressing an undetectable external situation through the information collection unit. The information processing unit may select the at least one interaction operation further based on the second context awareness information.

상기 인터랙션 로봇은, 상기 정보 처리부에서 발생되는 열 에너지가 상기 몸체에 전달되도록, 상기 인터랙션 로봇의 외면과 상기 정보 처리부 사이에 기계적으로 결합되는 방열 부재를 더 포함할 수 있다.The interaction robot may further include a heat dissipation member mechanically coupled between an outer surface of the interaction robot and the information processing unit so that thermal energy generated by the information processing unit is transferred to the body.

본 발명의 다른 측면에 따른 상기 인터랙션 로봇의 제어 방법은, 상기 복수의 센싱부 중 적어도 하나의 센싱부로부터의 센싱 데이터를 수집하는 단계; 상기 적어도 하나의 센싱부로부터의 센싱 데이터를 기초로, 상기 사용자 및 상기 인터랙션 로봇 중 적어도 하나에 관하여 인지된 상황을 표현하는 제1 상황 인지 정보를 생성하는 단계; 상기 제1 상황 인지 정보를 기초로, 적어도 하나의 인터랙션 동작을 선택하는 단계; 및 상기 정보 출력부 및 상기 구동부 중 적어도 하나를 제어하여, 상기 선택된 각 인터랙션 동작을 실행하는 단계를 포함한다.The control method of the interaction robot according to another aspect of the present invention includes collecting sensing data from at least one sensing unit among the plurality of sensing units; generating first context-aware information representing a recognized situation with respect to at least one of the user and the interaction robot, based on sensing data from the at least one sensing unit; selecting at least one interaction action based on the first contextual information; and executing each of the selected interaction operations by controlling at least one of the information output unit and the driving unit.

본 발명의 또 다른 측면에 따른 컴퓨터 프로그램은, 상기 인터랙션 로봇의 제어 방법을 실행시킨다.A computer program according to another aspect of the present invention executes the control method of the interaction robot.

본 발명의 실시예들 중 적어도 하나에 의하면, 멀티모달 기반의 인터랙션 로봇은 인체의 다중 감각 기능에 대응하는 다중 센싱 구조를 가지며, 다중 센싱 구조를 통해 감지되는 둘 이상의 모달리티에 연관된 센싱 데이터를 상호 보완적으로 종합하여, 사용자 및 인터랙션 로봇 중 적어도 하나에 연관된 상황을 인간의 오감에 대응하는 수준으로 인지함으로써, 인지된 상황에 대응하는 고도화된 인터랙션 서비스(예, 사용자와 로봇 간 자연스러운 양방향 대화)를 사용자에게 제공할 수 있다.According to at least one of the embodiments of the present invention, the multimodal-based interaction robot has a multi-sensing structure corresponding to the multi-sensory function of the human body, and the sensing data related to two or more modalities sensed through the multi-sensing structure are mutually supplemented. Overall, by recognizing the situation related to at least one of the user and the interaction robot at a level corresponding to the five human senses, the advanced interaction service (e.g., natural two-way conversation between the user and the robot) corresponding to the perceived situation is provided to the user. can be provided to

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 인터랙션 로봇에 구비된 다중 센싱 구조를 통해서는 직접적인 감지가 불가한 외부 상황 정보를 무선 통신망을 통해 수집하고, 다중 센싱 구조를 이용하여 인지되는 상황 정보에 외부 상황 정보를 조합하여, 사용자에 대해 제공되는 적어도 하나의 인터랙션 동작을 선택함으로써, 인터랙션 서비스에 대한 사용자의 만족도를 향상시킬 수 있다.In addition, according to at least one of the embodiments of the present invention, external situation information that cannot be directly sensed through the multi-sensing structure provided in the interaction robot is collected through a wireless communication network, and the situation recognized using the multi-sensing structure. The user's satisfaction with the interaction service may be improved by combining information with external context information and selecting at least one interaction action provided to the user.

또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 무선 통신망을 통해 엑세스 가능한 IoT 전자 기기와 인터랙션 로봇의 협업을 통해 적어도 하나의 인터랙션 동작을 실행함으로써, 상황 케이스별로 제공 가능한 인터랙션 서비스를 다각화할 수 있다.In addition, according to at least one of the embodiments of the present invention, by executing at least one interaction operation through collaboration between an IoT electronic device accessible through a wireless communication network and an interaction robot, interaction services that can be provided for each situation case can be diversified. there is.

각 인터랙션 동작의 실행 시, 무선 통신망을 통해 엑세스 가능한 IoT 전자 기기의 동작을 추가적으로 제어함으로써, 상황 케이스별로 제공 가능한 인터랙션 서비스를 다각화할 수 있다.When each interaction operation is executed, by additionally controlling the operation of an IoT electronic device accessible through a wireless communication network, it is possible to diversify the interaction services that can be provided for each situation case.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술되는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 인터랙션 로봇의 구성을 예시적으로 나타낸 도면이다.
도 2는 도 1의 인터랙션 로봇이 휴머노이드 형태로 구현된 경우의 전면부 모습을 예시적으로 보여주는 도면이다.
도 3은 도 1의 인터랙션 로봇이 휴머노이드 형태로 구현된 경우의 후면부 모습을 예시적으로 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 인터랙션 로봇의 제어 방법을 예시적으로 보여주는 순서도이다.
도 5 내지 도 8은 도 4의 일 실시예에 따른 제어 방법을 통해 실행 가능한 다양한 인터랙션 동작을 설명하는 데에 참조되는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 인터랙션 로봇의 제어 방법을 예시적으로 보여주는 순서도이다.
도 10 및 도 11은 도 9의 다른 실시예에 따른 제어 방법을 통해 실행 가능한 다양한 인터랙션 동작을 설명하는 데에 참조되는 도면이다.The following drawings attached to this specification illustrate preferred embodiments of the present invention, and together with the detailed description of the present invention serve to further understand the technical idea of the present invention, the present invention is the details described in such drawings should not be construed as limited to
1 is a diagram showing the configuration of an interaction robot according to an embodiment of the present invention by way of example.
FIG. 2 is a view showing a front view of the interaction robot of FIG. 1 implemented in a humanoid form by way of example.
FIG. 3 is a view showing a rear side of the interaction robot of FIG. 1 implemented in a humanoid form by way of example.
4 is a flowchart exemplarily showing a method of controlling an interaction robot according to an embodiment of the present invention.
5 to 8 are diagrams referenced to describe various interaction operations executable through the control method according to the embodiment of FIG. 4 .
9 is a flowchart exemplarily showing a method of controlling an interaction robot according to another embodiment of the present invention.
10 and 11 are diagrams referenced to describe various interaction operations executable through the control method according to another embodiment of FIG. 9 .

본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.Objects and technical configurations of the present invention and details of the operational effects thereof will be more clearly understood by the following detailed description based on the accompanying drawings in the specification of the present invention. An embodiment according to the present invention will be described in detail with reference to the accompanying drawings.

본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.The embodiments disclosed herein should not be construed or used as limiting the scope of the present invention. It goes without saying that the description, including the embodiments herein, has a variety of applications for those skilled in the art. Therefore, any embodiments described in the detailed description of the present invention are illustrative for better explaining the present invention, and the scope of the present invention is not intended to be limited to the examples.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.The functional blocks shown in the drawings and described below are only examples of possible implementations. Other functional blocks may be used in other implementations without departing from the spirit and scope of the detailed description. Also, while one or more functional blocks of the present invention are represented as separate blocks, one or more of the functional blocks of the present invention may be a combination of various hardware and software configurations that perform the same function.

제1, 제2 등과 같이 서수를 포함하는 용어들은, 다양한 구성요소들 중 어느 하나를 나머지와 구별하는 목적으로 사용되는 것이고, 그러한 용어들에 의해 구성요소들을 한정하기 위해 사용되는 것은 아니다.Terms including ordinal numbers, such as first and second, are used for the purpose of distinguishing one of the various elements from the rest, and are not used to limit the elements by such terms.

또한, 어떤 구성요소들을 포함한다는 표현은 "개방형"의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.In addition, the expression of including certain components simply indicates that the corresponding components exist as an expression of “open type”, and should not be understood as excluding additional components.

나아가 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는, 그 다른 구성요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다.Furthermore, it should be understood that when a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but other components may exist in the middle. do.

도 1은 본 발명의 일 실시예에 따른 인터랙션 로봇의 구성을 예시적으로 나타낸 도면이고, 도 2는 도 1의 인터랙션 로봇이 휴머노이드 형태로 구현된 경우의 전면부 모습을 예시적으로 보여주는 도면이고, 도 3은 도 1의 인터랙션 로봇이 휴머노이드 형태로 구현된 경우의 후면부 모습을 예시적으로 보여주는 도면이다.1 is a view showing the configuration of an interaction robot according to an embodiment of the present invention by way of example, and FIG. 2 is a view showing the front side of the interaction robot of FIG. 1 exemplarily when implemented in a humanoid form, FIG. 3 is a view showing a rear side of the interaction robot of FIG. 1 implemented in a humanoid form by way of example.

도 1 내지 도 3을 참조하면, 인터랙션 로봇(100)은, 정보 수집부(110), 정보 출력부(120), 구동부(130) 및 정보 처리부(140)를 포함한다. Referring to FIGS. 1 to 3 , the interaction robot 100 includes an information collection unit 110 , an information output unit 120 , a driving unit 130 and an information processing unit 140 .

정보 수집부(110)는, 서로 다른 복수의 모달리티에 일대일로 연관된 복수의 센싱부를 포함하고, 인터랙션 로봇(100)의 내외부 환경 즉, 인터랙션 로봇(100) 및 인터랙션 대상인 사용자가 위치하는 공간의 상황 관련 데이터를 수집하도록 제공된다. 이하에서는, 정보 수집부(110)가 후술된 제1 내지 제6 센싱부(111~116) 중 적어도 둘을 포함하는 것으로 가정한다.The information collection unit 110 includes a plurality of sensing units associated with a plurality of different modalities on a one-to-one basis, and is related to the internal and external environment of the interaction robot 100, that is, the situation of the space where the interaction robot 100 and the user as an interaction target are located. Provided to collect data. Hereinafter, it is assumed that the information collection unit 110 includes at least two of the first to sixth sensing units 111 to 116 described below.

제1 센싱부(111)는, 인터랙션 로봇(100) 주변의 2차원 영상, 3차원 영상 및 밝기값 중 적어도 하나를 나타하는 제1 센싱 데이터를 생성한다.The first sensing unit 111 generates first sensing data representing at least one of a 2D image, a 3D image, and a brightness value around the interaction robot 100 .

제1 센싱부(111)는, 광각 카메라(211), 망원 카메라(212), 적외선 센서(213), 조도 센서(214), 초음파 센서, 레이저 센서, 레이더, 라이다 등과 같이, 인터랙션 로봇(100)이 위치하는 어떠한 물리적 공간의 적어도 일부분인 감지 대상 영역을 시각적으로 표현하는 시각 기반 데이터를 생성하는 적어도 1종의 센서를 적어도 하나 이상 포함할 수 있다. 제1 센싱부(111)의 센서별로 생성되는 시각 기반 데이터의 모음을 제1 센싱 데이터라고 칭할 수 있다. 제1 센싱 데이터는, 인터랙션 로봇(100) 주변에 위치하는 적어도 하나의 객체의 존재 여부 파악, 객체별 객체 특징의 추출 등에 이용될 수 있다. The first sensing unit 111 includes a wide-angle camera 211, a telephoto camera 212, an infrared sensor 213, an illuminance sensor 214, an ultrasonic sensor, a laser sensor, a radar sensor, a lidar sensor, and the like, ) may include at least one type of sensor that generates vision-based data that visually expresses a target area to be sensed, which is at least a part of a physical space where the object is located. A collection of time-based data generated for each sensor of the first sensing unit 111 may be referred to as first sensing data. The first sensing data may be used to determine whether or not at least one object located around the interaction robot 100 exists, extract object characteristics for each object, and the like.

도 2를 참조하면, 제1 센싱부(111)의 적어도 하나의 센서는, 인터랙션 로봇의 머리 부분에 배치될 수 있다. 예컨대, 광각 카메라(211) 및 망원 카메라(212)는 각각 인터랙션 로봇(100)의 왼쪽 눈과 오른쪽 눈에 배치될 수 있다. 다른 예로, 인터랙션 로봇(100)의 왼쪽 눈과 오른쪽 눈 각각에는 스테레오 카메라(망원 카메라(212) 및 광각 카메라(211))가 배치되고, 인터랙션 로봇(100)의 몸체에는 적외선 센서(213)가 배치될 수 있다.Referring to FIG. 2 , at least one sensor of the first sensing unit 111 may be disposed on the head of the interaction robot. For example, the wide-angle camera 211 and the telephoto camera 212 may be disposed in the left eye and the right eye of the interaction robot 100, respectively. As another example, stereo cameras (a telephoto camera 212 and a wide-angle camera 211) are disposed in each of the left and right eyes of the interaction robot 100, and an infrared sensor 213 is disposed in the body of the interaction robot 100. It can be.

정보 처리부(140)는, 제1 센싱 데이터를 기초로, 인터랙션 로봇 주변(100)에 위치하는 객체별 객체 특징을 나타내는 시각 기반-상황 데이터를 생성할 수 있다. 상세하게는, 정보 처리부(140)는, 제1 센싱 데이터를 처리하여, 제1 센싱부(111)의 적어도 하나 감지 대상 영역에 위치하는 적어도 하나의 객체를 인식할 수 있다. 정보 처리부(140)는, 인식된 적어도 하나의 객체 중에서 사용자를 특정(식별)할 수 있다. 예컨대, 정보 처리부(140)는, 미리 저장된 인물 특성 정보(예, 연령, 신장, 몸무게, 성별, 피부색, 복장, 얼굴 생김새 등)에 매칭되는 특성을 가진 객체를 인터랙션 로봇(100)의 인터랙션 서비스의 제공 대상인 사용자로 식별할 수 있다. Based on the first sensing data, the information processing unit 140 may generate visual-based-situation data indicating object characteristics for each object located around the interaction robot 100 . In detail, the information processing unit 140 may process the first sensing data to recognize at least one object located in at least one sensing target area of the first sensing unit 111 . The information processing unit 140 may specify (identify) a user from among at least one recognized object. For example, the information processing unit 140 converts an object having characteristics matching pre-stored character characteristic information (eg, age, height, weight, gender, skin color, clothes, facial features, etc.) into an interaction service of the interaction robot 100. It can be identified as the user to whom it is provided.

정보 처리부(140)는, 사용자의 특정 신체 부위(예, 얼굴 전체, 눈, 몸통)을 감지하면서, 사용자의 위치(예, 인터랙션 로봇(100)의 지향 방향에 대한 상대적인 방향, 인터랙션 로봇(100)으로부터의 거리)를 연산할 수 있다. The information processing unit 140 detects the user's specific body part (eg, the entire face, eyes, and torso) while detecting the user's position (eg, the direction relative to the direction of the interaction robot 100, the interaction robot 100) distance) can be calculated.

정보 처리부(140)는, 각 객체를 인터랙션 로봇(100)으로부터 제1 기준 거리 이내의 근거리 객체 또는 제1 기준 거리 밖의 원거리 객체로 구분할 수 있다. 정보 처리부(140)는, 각 근거리 객체의 객체 특징을 기초로 근거리 상황을 추정할 수 있고, 각 원거리 객체의 객체 특징을 기초로 원거리 상황을 추정할 수 있다. 정보 처리부(140)는, 근거리 상황에 연관된 적어도 하나의 인터랙션 동작에 대해 원거리 상황에 연관된 적어도 하나의 인터랙션 동작보다 높은 우선 순위를 부여할 수 있다. 정보 처리부(140)는, 각 인터랙션 동작의 우선 순위에 따라, 복수의 인터랙션 동작을 순차적으로 실행할 수 있다. 정보 처리부(140)는, 두 카메라 중 어느 하나(예, 광각 카메라(211))로부터의 영상과 다른 하나(예, 망원 카메라(212))로부터의 영상을 비교하여, 두 영상으로부터 두 영상에 중복적으로 캡쳐된 물리적 영역에 대한 두 부분 영상을 추출하고, 딥러닝을 통해 학습된 거리 추정 모델을 이용하여 두 부분 영상이 서로 동일 사이즈와 비율을 갖도록 스케일링 조정함으로써, 두 부분 영상에 공통적으로 존재하는 적어도 하나의 객체의 위치를 표현하는 위치 데이터를 생성할 수 있다. 객체의 위치 데이터는, 해당 객체와 인터랙션 로봇(100) 간의 거리 및 인터랙션 로봇(100)에 대한 해당 객체의 방향을 나타내며, 시각 기반-상황 데이터에 포함될 수 있다.The information processing unit 140 may classify each object into a short distance object within a first reference distance or a long distance object outside the first reference distance from the interaction robot 100 . The information processing unit 140 may estimate a local situation based on object characteristics of each local object, and may estimate a far situation based on object characteristics of each far object. The information processing unit 140 may assign a higher priority to at least one interaction operation related to a local situation than at least one interaction operation related to a remote situation. The information processing unit 140 may sequentially execute a plurality of interaction operations according to the priority of each interaction operation. The information processing unit 140 compares an image from one of the two cameras (eg, the wide-angle camera 211) with an image from the other one (eg, the telephoto camera 212), and overlaps the two images from the two images. By extracting two partial images of the physically captured physical area and adjusting the scaling so that the two partial images have the same size and ratio using a distance estimation model learned through deep learning, Location data representing the location of at least one object may be generated. The location data of the object represents the distance between the corresponding object and the interaction robot 100 and the direction of the corresponding object with respect to the interaction robot 100, and may be included in the visual-based situation data.

정보 처리부(140)는, 제1 센싱 데이터를 처리하여, 사용자의 얼굴 이미지(예, 눈, 눈썹, 코, 입, 안색 등)나 몸 동작(예, 펄쩍 뛰기, 만세, 쭈그려 앉기)에 표현된 사용자의 감정 상태를 다층화하여 분석할 수 있다. 일 예로, 사용자의 감정 상태는 긍정 상태, 부정 상태 및 안정화 상태 중 어느 하나로 1차 분류된 다음, 선택적으로 긍정 상태는 기쁨, 즐거움, 편함, 희망 등으로 2차 분류되고, 부정 상태는 분노, 슬픔, 고통, 흥분 등으로 2차 분류되며, 안정화 상태는 집중, 수면, 일상 등으로 2차 분류될 수 있다.The information processing unit 140 processes the first sensing data to obtain information expressed in a user's face image (eg, eyes, eyebrows, nose, mouth, complexion, etc.) or body motion (eg, jumping, hurray, squatting). The user's emotional state can be multi-layered and analyzed. For example, the user's emotional state is first classified as one of a positive state, a negative state, and a stable state, and then the positive state is optionally secondarily classified into joy, pleasure, comfort, hope, etc., and the negative state is anger and sadness. , pain, excitement, etc. are classified as secondary, and the stabilization state can be classified as concentration, sleep, daily life, etc. as secondary.

제2 센싱부(112)는, 인터랙션 로봇(100) 주변의 소리를 감지하여 제2 센싱 데이터를 생성한다. 제2 센싱부(112)에 의해 감지되는 소리는, 인터랙션 로봇(100)과 사용자가 위치하는 특정 공간 내부 또는 외부의 단일 음원에 의해 발생된 것이거나 둘 이상의 음원에 의해 동시에 발생된 것일 수 있다.The second sensing unit 112 detects sounds around the interaction robot 100 and generates second sensing data. The sound detected by the second sensing unit 112 may be generated by a single sound source inside or outside a specific space where the interaction robot 100 and the user are located, or may be simultaneously generated by two or more sound sources.

제2 센싱부(112)는, 복수의 마이크로폰(221)(이하, '마이크(221)'라고 칭함)을 포함할 수 있다. 복수의 마이크(221) 중 적어도 둘은 서로 소정 간격 이상 이격되도록 배치될 수 있다. 제2 센싱부(112)의 마이크별로 생성되는 오디오 신호의 모음을 제2 센싱 데이터라고 칭할 수 있다. 제2 센싱 데이터는, 적어도 하나의 음원별로 발생되는 소리의 음압, 강도, 진폭, 주파수, 피치, 파장, 주기 등을 나타낼 수 있다. 제2 센싱 데이터는, 음원별 위치(예, 방향, 거리)의 식별, 음원별 유형(예, 인물(예, 남, 여, 어른, 어린이), 동물(예, 개, 고양이), 사물(예, 청소기, TV), 외부 환경(예, 천둥, 비, 우박))의 식별, 소리 내용(예, 대화, 노래, 말다툼, 코고는 소리), 사용자로부터의 음성형 명령의 인식 등에 이용될 수 있다. 도 2를 참조하면, 제1 센싱부(111)와 마찬가지로, 제2 센싱부(112)의 적어도 하나의 마이크(221)는, 인터랙션 로봇(100)의 머리 부분에 배치될 수 있다. 예컨대, 제2 센싱부(112)의 어느 한 마이크(221)는 인터랙션 로봇(100)의 왼쪽 귀에, 다른 한 마이크(221)는 인터랙션 로봇(100)의 오른쪽 귀에 배치될 수 있다.The second sensing unit 112 may include a plurality of microphones 221 (hereinafter referred to as 'microphones 221'). At least two of the plurality of microphones 221 may be arranged to be spaced apart from each other by a predetermined distance or more. A collection of audio signals generated for each microphone of the second sensing unit 112 may be referred to as second sensing data. The second sensing data may indicate sound pressure, intensity, amplitude, frequency, pitch, wavelength, period, and the like of sound generated for each of at least one sound source. The second sensing data is identification of the location (eg, direction, distance) of each sound source, type of each sound source (eg, person (eg, male, female, adult, child), animal (eg, dog, cat), object (eg, , vacuum cleaner, TV), identification of external environment (eg, thunder, rain, hail)), sound content (eg, conversation, song, arguing, snoring), and recognition of voice commands from users. . Referring to FIG. 2 , like the first sensing unit 111 , at least one microphone 221 of the second sensing unit 112 may be disposed on the head of the interaction robot 100 . For example, one microphone 221 of the second sensing unit 112 may be disposed in the left ear of the interaction robot 100 and the other microphone 221 may be disposed in the right ear of the interaction robot 100 .

정보 처리부(140)는, 제2 센싱 데이터를 기초로, 인터랙션 로봇(100) 주변의 청각 기반-상황 데이터를 생성할 수 있다. 정보 처리부(140)는, 제1 센싱 데이터에 대해 전술된 바와 유사하게, 음성-텍스트 변환, 음성-감정 변환, 텍스트-감정 변환 등으로 제2 센싱 데이터를 처리하여, 사용자의 음성(예, 웃음, 한숨, 감탄)에 표현된 사용자의 감정 상태를 다층화하여 분석할 수 있다. 일 예로, 사용자가 "잘 생기셨네요"라고 발화한 경우, 정보 처리부(140)는 발화 음성으로부터 "잘 생기셨네요"라는 텍스트를 획득하고, 발화 음성의 특징 항목(예, 말투, 톤, 어조, 뉘앙스, 주파수 등) 및/또는 사용자의 얼굴 표정을 기초로 발화 음성의 내용이 칭찬의 표현인지 반어적 표현인지 추정할 수 있다.The information processing unit 140 may generate auditory-based context data around the interaction robot 100 based on the second sensing data. The information processing unit 140 processes the second sensing data through voice-to-text conversion, voice-to-emotion conversion, text-to-emotion conversion, etc., similarly to the above-described first sensing data, so that the user's voice (eg, laughter) , sigh, admiration) can be multi-layered and analyzed. For example, when the user utters "You're handsome", the information processing unit 140 obtains the text "You're handsome" from the spoken voice, and the characteristic items of the spoken voice (e.g., tone, tone, tone, nuance) , frequency, etc.) and/or the user's facial expression, it is possible to estimate whether the content of the spoken voice is an expression of praise or an expression of irony.

정보 처리부(140)는, 제2 센싱부(112)에 포함된 복수의 마이크(221) 중 적어도 두 마이크(221)로부터의 오디오 신호를 비교하여, 인터랙션 로봇(100) 주변의 적어도 한 음원의 위치 데이터를 생성할 수 있다. 음원의 위치 데이터는, 청각 기반-상황 데이터에 포함될 수 있다. 일 예로, 정보 처리부(140)는, 복수의 마이크(221) 각각에 의해 감지된 소리를 표현하는 특성 항목의 수치값(예, 음압 레벨)을 연산하고, 동일한 특성 항목에 대해 연산된 수치값을 비교하고, 이들 간의 차이를 기초로 해당 음원의 위치를 연산하고, 인터랙션 로봇(100)의 머리의 안면부가 상대적으로 높은 수치값에 연관된 소리가 감지되는 방향(즉, 음원의 위치)을 지향하도록, 구동부(130)를 제어할 수 있다.The information processing unit 140 compares audio signals from at least two microphones 221 among the plurality of microphones 221 included in the second sensing unit 112, and the location of at least one sound source around the interaction robot 100. data can be generated. The location data of the sound source may be included in the auditory-based context data. For example, the information processing unit 140 calculates a numerical value (eg, sound pressure level) of a characteristic item representing the sound detected by each of the plurality of microphones 221, and calculates the numerical value calculated for the same characteristic item. Compare, calculate the position of the sound source based on the difference between them, and direct the face of the head of the interaction robot 100 to the direction in which the sound associated with the relatively high numerical value is detected (ie, the position of the sound source), The driving unit 130 may be controlled.

제3 센싱부(113)는, 인터랙션 로봇(100)의 몸체의 소정 영역에 대한 접촉 이벤트를 감지하여 제3 센싱 데이터를 생성한다. 제3 센싱부(113)는, 터치 센서(231), 스트레인 게이지(232) 등과 같이, 인터랙션 로봇(100)의 소정 영역에 인체나 사물이 접촉되는 접촉 이벤트의 면적, 크기(강도), 방향 등을 나타내는 촉각 기반 데이터를 생성하는 적어도 1종의 센서를 적어도 하나 이상 포함할 수 있다. 제3 센싱 데이터는, 사용자로부터의 접촉형 명령의 인식, 인터랙션 로봇(100)과 장애물 간의 충돌 여부 판별 등에 이용될 수 있다. 도 2를 참조하면, 인터랙션 로봇(100)의 왼쪽 팔, 왼쪽 손, 오른쪽 팔, 오른쪽 손 및 머리 각각에 적어도 하나의 터치 센서(231)가 배치되고, 인터랙션 로봇(100)의 몸체 후면에는 스트레인 게이지(232)가 배치될 수 있다.The third sensing unit 113 detects a contact event with respect to a predetermined area of the body of the interaction robot 100 and generates third sensing data. The third sensing unit 113, such as the touch sensor 231 and the strain gauge 232, is the area, size (strength), direction, etc. of a contact event in which a human body or an object contacts a predetermined area of the interaction robot 100. It may include at least one sensor that generates tactile-based data representing The third sensing data may be used to recognize a contact-type command from a user, determine whether or not a collision occurs between the interaction robot 100 and an obstacle, and the like. Referring to FIG. 2 , at least one touch sensor 231 is disposed on each of the left arm, left hand, right arm, right hand, and head of the interaction robot 100, and a strain gauge is placed on the back of the body of the interaction robot 100. 232 may be placed.

정보 처리부(140)는, 제3 센싱 데이터를 기초로, 인터랙션 로봇(100)의 촉각 기반-상황 데이터를 생성할 수 있다. 상세하게는, 정보 처리부(140)는, 제3 센싱 데이터를 처리하여, 사용자로부터의 접촉형 명령이나 행동을 검출하거나, 주변 객체와의 충돌 이벤트를 검출할 수 있다. 일 예로, 터치 센서(231)가 배치된 인터랙션 로봇(100)의 머리 상단 부분에 대해 사용자가 터치 액션을 가하는 경우, 정보 처리부(140)는 해당 터치 액션의 패턴(예, 2번 연속 두드리기, 왕복 쓰다듬기)을 식별하고, 식별된 패턴에 따라, 사용자로부터의 접촉형 명령이나 행동의 의미(예, 칭찬, 전원 On, 전원 Off)를 추정할 수 있다. 정보 처리부(140)는, 추정된 의미에 연관된 적어도 인터랙션 동작을 실행할 수 있다.The information processing unit 140 may generate tactile based-situation data of the interaction robot 100 based on the third sensing data. In detail, the information processing unit 140 may process the third sensing data to detect a contact-type command or action from the user or a collision event with a nearby object. For example, when a user applies a touch action to the upper part of the head of the interaction robot 100 where the touch sensor 231 is disposed, the information processing unit 140 generates a pattern of the corresponding touch action (e.g., tapping twice in a row, back and forth) stroking), and according to the identified pattern, the meaning of the user's contact command or action (eg, praise, power on, power off) can be estimated. The information processing unit 140 may execute at least an interaction operation related to the estimated meaning.

제4 센싱부(114)는, 인터랙션 로봇(100) 주변의 대기 상태를 감지하여 제4 센싱 데이터를 생성한다. 제4 센싱부(114)는, 공기질 센서(241), 온도 센서(242), 습도 센서(243) 등과 같이, 대기 상태(예, 일산화탄소, 이산화탄소, 황사, 미세먼지, 유해 가스, 연기의 농도, 대기 온도, 대기 습도 등)를 감지하여 후각 기반 데이터를 생성하는 적어도 1종의 센서를 적어도 하나 이상 포함할 수 있다. 제4 센싱부(114)의 적어도 하나의 센서별로 생성되는 후각 기반 데이터의 모음을 제4 센싱 데이터라고 칭할 수 있다. 도 2 및 도 3을 참조하면, 제4 센싱부(114)의 적어도 한 센서(예, 242, 243)는 인터랙션 로봇(100)의 머리나 몸체의 전/후면 등에 배치될 수 있다.The fourth sensing unit 114 detects a standby state around the interaction robot 100 and generates fourth sensing data. The fourth sensing unit 114, such as the air quality sensor 241, the temperature sensor 242, the humidity sensor 243, etc., the atmospheric state (e.g., the concentration of carbon monoxide, carbon dioxide, yellow dust, fine dust, harmful gases, smoke, At least one type of sensor that detects air temperature, air humidity, etc.) and generates olfactory-based data may be included. A collection of olfactory sense-based data generated for each at least one sensor of the fourth sensing unit 114 may be referred to as fourth sensing data. Referring to FIGS. 2 and 3 , at least one sensor (eg, 242 and 243) of the fourth sensing unit 114 may be disposed on the front/rear surface of the head or body of the interaction robot 100.

정보 처리부(140)는, 제4 센싱 데이터를 기초로, 인터랙션 로봇(100)의 후각 기반-상황 데이터를 생성할 수 있다. 후각 기반-상황 데이터는, 다른 모달리티를 가지는 상황 데이터와 종합적으로 분석되어, 실제 상황에 대한 추정 정확도를 향상시키는 데에 이용될 수 있다. The information processing unit 140 may generate olfactory based-situation data of the interaction robot 100 based on the fourth sensing data. The olfactory-based context data can be comprehensively analyzed with context data having other modalities and used to improve estimation accuracy for real situations.

제5 센싱부(115)는, 인터랙션 로봇(100)의 움직임을 감지하여 제5 센싱 데이터를 생성한다. 제5 센싱부(115)는, 인체의 소뇌에서 담당하는 신체 기능(예, 운동, 생명, 자세 균형)에 대응하는 것으로서, GPS 수신기, 속도 센서, 자이로 센서, 가속도 센서 등과 같이, 인터랙션 로봇(100)의 움직임(예컨대, 위치, 속도, 방향, 몸체 기울기)을 나타내는 모션 기반 데이터를 생성하는 적어도 1종의 센서를 적어도 하나 이상 포함할 수 있다. 제5 센싱부(115)의 적어도 하나의 센서는 인터랙션 로봇(100)의 몸체 내부에 수용될 수 있다.The fifth sensing unit 115 detects motion of the interaction robot 100 and generates fifth sensing data. The fifth sensing unit 115 corresponds to bodily functions (eg, exercise, life, balance of posture) in charge of the cerebellum of the human body, such as a GPS receiver, a speed sensor, a gyro sensor, an acceleration sensor, and the like, the interaction robot 100 ) may include at least one type of sensor that generates motion-based data representing movement (eg, position, speed, direction, body tilt). At least one sensor of the fifth sensing unit 115 may be accommodated inside the body of the interaction robot 100 .

정보 처리부(140)는, 제5 센싱 데이터를 처리하여, 인터랙션 로봇(100)의 움직임 상황(예, 자체적인 이동에 따른 위치 및 방향의 변화, 타 이동체에 의한 위치 및 방향의 변화, 정지, 넘어짐)을 판단하고, 그에 따라 선택적으로 구동부(130)를 제어할 수 있다.The information processing unit 140 processes the fifth sensed data and moves the interaction robot 100 (e.g., change in position and direction according to its own movement, change in position and direction due to other moving objects, stop, fall). ), and can selectively control the driving unit 130 accordingly.

정보 출력부(120)는, 인터랙션 로봇(100)에 의해 실행되는 동작에 연관된 인터랙션 피드백을 출력한다. 인터랙션 피드백은, 시각적, 청각적 및/또는 촉각적 형태로 사용자에게 피드백되는 일종의 신호일 수 있다. 정보 출력부(120)는, 스피커(121), 디스플레이(122), 광 출력기(123), 진동 모터 등과 같은 적어도 1종의 출력 수단을 적어도 하나 포함할 수 있다. 일 예로, 도 2를 참조하면, 인터랙션 로봇(100)의 머리의 양측부에 배치된 마이크(221)로부터 소정 거리 내에 스피커(121)가 배치되고, 인터랙션 로봇(100)의 몸체에는 디스플레이(122)가 배치되며, 광 출력기(123)는 인터랙션 로봇(100)의 왼쪽 눈 및 오른쪽 눈 중 적어도 하나에 배치될 수 있다.The information output unit 120 outputs interaction feedback related to an operation executed by the interaction robot 100 . The interaction feedback may be a kind of signal fed back to the user in a visual, auditory and/or tactile form. The information output unit 120 may include at least one type of output means such as a speaker 121, a display 122, an optical output device 123, and a vibration motor. For example, referring to FIG. 2, a speaker 121 is disposed within a predetermined distance from a microphone 221 disposed on both sides of the head of the interaction robot 100, and a display 122 is provided on the body of the interaction robot 100. is disposed, and the light output device 123 may be disposed in at least one of the left eye and the right eye of the interaction robot 100.

정보 처리부(140)는, 조도 센서(214)에 의해 검출된 인터랙션 로봇(100)의 주변 밝기값과 기준 밝기값을 비교하여, 주변 밝기값과 기준 밝기값 간의 차이에 따라 광 출력기(123)가 출력하는 광신호의 광량 및 디스플레이(122)의 화면 밝기 중 적어도 하나를 제어할 수 있다. 일 예로, 주변이 어두운 상황에서는 광신호의 광량 및 디스플레이(122)의 화면 밝기 중 적어도 하나가 감소되고, 주변이 밝은 상황에서는 그 반대일 수 있다. 이에 따라, 사용자에 대한 인터랙션 로봇(100)의 시안성을 증가시키고, 광각 카메라(211) 및 망원 카메라(212)의 영상 품질을 높이며, 축전부(160)에 저장된 전기 에너지의 불필요하게 소모되지 않도록 할 수 있다.The information processing unit 140 compares the ambient brightness value of the interaction robot 100 detected by the illuminance sensor 214 with the reference brightness value, and the light output device 123 operates according to the difference between the ambient brightness value and the reference brightness value. At least one of the light amount of the output optical signal and the screen brightness of the display 122 may be controlled. For example, at least one of the amount of light of the light signal and the screen brightness of the display 122 may be reduced in a dark environment, and vice versa in a bright environment. Accordingly, the visibility of the interaction robot 100 for the user is increased, the image quality of the wide-angle camera 211 and the telephoto camera 212 is improved, and electrical energy stored in the power storage unit 160 is not consumed unnecessarily. can do.

구동부(130)는, 인터랙션 로봇(100)의 움직임을 제어하기 위한, 복수의 전동 관절(131~136)을 포함할 수 있다. 각 전동 관절은, 인터랙션 로봇(100)의 두 물리적 구성을 기계적으로 연결하고, 두 물리적 구성 중 어느 하나에 대한 다른 하나의 상대적 자세를 제어한다.The driving unit 130 may include a plurality of power joints 131 to 136 for controlling the movement of the interaction robot 100 . Each electric joint mechanically connects the two physical components of the interaction robot 100 and controls the relative posture of one of the two physical components to the other.

제1 전동 관절(131)은, 인터랙션 로봇(100)의 머리와 몸체를 연결한다. 제2 전동 관절(132)은, 왼쪽 팔과 왼쪽 손을 연결한다. 제3 전동 관절(133)은, 오른쪽 팔과 오른쪽 손을 연결한다. 제4 전동 관절(134)은, 왼쪽 팔과 몸체를 연결한다. 제5 전동 관절(135)은, 오른쪽 팔과 몸체를 연결한다. 제6 전동 관절(136) 및 제7 전동 관절(137)은, 인터랙션 로봇(100)의 몸체에 결합된 왼쪽 다리 및 오른쪽 다리에 해당한다. The first power joint 131 connects the head and body of the interaction robot 100 . The second power joint 132 connects the left arm and the left hand. The third power joint 133 connects the right arm and the right hand. The fourth power joint 134 connects the left arm and the body. The fifth power joint 135 connects the right arm and the body. The sixth power joint 136 and the seventh power joint 137 correspond to the left leg and the right leg coupled to the body of the interaction robot 100 .

각 전동 관절은, 모터의 구동력에 의해 움직임이 일어나는, 자유도가 1 이상인 전동 회전 관절 구조를 가질 수 있다. 예컨대, 제1 전동 관절(131)에 의해 다양한 머리 액션(예, 끄덕임, 갸우뚱, 도리도리, 목례)가 수행되고, 제2 전동 관절(132) 및 제3 전동 관절(133)에 의해 다양한 손 액션(예, 악수, 물체 파지, 손 인사 등)가 수행될 수 있고, 제4 전동 관절(134) 및 제5 전동 관절(135)에 의해 다양한 팔 액션(예, 손에 파지된 물체 들어올리기, 팔 뻗기 등)가 수행될 수 있다.Each power joint may have a power rotation joint structure having one or more degrees of freedom in which movement occurs by a driving force of a motor. For example, various head actions (eg, nodding, tilting, doridori, bowing) are performed by the first power joint 131, and various hand actions are performed by the second power joint 132 and the third power joint 133 ( For example, shaking hands, grasping an object, greeting a hand, etc.) can be performed, and various arm actions (eg, lifting an object gripped by the hand, extending an arm) can be performed by the fourth power joint 134 and the fifth power joint 135 etc.) can be performed.

제6 전동 관절(136) 및 제7 전동 관절(137) 각각은 그에 구비된 모터의 구동력은 다리에 구비된 마찰 수단(예, 지지판)을 통해 지면에 전달되며, 지면에 대한 인터랙션 로봇(100)의 전후좌우 이동, 제자리 회전 또는 점프 등의 기능을 담당할 수 있다.In each of the sixth power joint 136 and the seventh power joint 137, the driving force of the motor provided thereto is transmitted to the ground through a friction means (eg, a support plate) provided on the leg, and the interaction robot 100 with respect to the ground It can be in charge of functions such as moving back and forth, turning in place, or jumping.

인터랙션 로봇(100)은, 축전부(160)를 더 포함할 수 있다. 축전부(160)는, 인터랙션 로봇(100)의 정보 수집부(110), 정보 출력부(120), 구동부(130) 및 정보 처리부(140) 중 적어도 하나에 전력을 공급한다. 축전부(160)는, 적어도 하나의 재충전 가능 배터리를 포함하고, 각 배터리에 저장된 전기 에너지는 정보 수집부(110), 정보 출력부(120), 구동부(130) 및 정보 처리부(140) 중 적어도 하나의 구동을 위해 사용된다. 정보 처리부(140)는, 축전부(160)를 모니터링하여, 축전부(160)의 상태(예. 배터리 충전량, 배터리 잔여 수명, 배터리 온도)를 나타내는 데이터를 생성할 수 있다. 정보 처리부(140)는, 축전부(160)의 상태에 따라, 축전부(160)의 장기 사용을 위한 사용자 가이드 정보(예, 적정 충전량, 적정 충전 횟수)를 생성하여, 정보 출력부(120)를 통해 사용자에게 출력할 수 있다.The interaction robot 100 may further include a power storage unit 160 . The power storage unit 160 supplies power to at least one of the information collection unit 110, the information output unit 120, the driving unit 130, and the information processing unit 140 of the interaction robot 100. The power storage unit 160 includes at least one rechargeable battery, and electrical energy stored in each battery is transmitted to at least one of the information collection unit 110, the information output unit 120, the driving unit 130, and the information processing unit 140. Used for one drive. The information processing unit 140 may monitor the power storage unit 160 and generate data representing the state of the power storage unit 160 (eg, battery charge level, remaining battery life, battery temperature). According to the state of the power storage unit 160, the information processing unit 140 generates user guide information for long-term use of the power storage unit 160 (eg, an appropriate amount of charge, an appropriate number of times of charging), and outputs the information to the information output unit 120. can be output to the user.

정보 수집부(110)는, 축전부(160)의 상태를 감지하기 위한 제6 센싱부(116)를 더 포함할 수 있다. 일 예로, 제6 센싱부(116)는, 배터리 온도, 배터리 전압, 배터리 전류, 배터리 충전량, 배터리 잔여 수명 등과 같이 축전부(160)의 상태를 나타내는 항목들 중 적어도 하나를 감지하여 제6 센싱 데이터를 생성할 수 있다. 정보 처리부(140)는, 제6 센싱 데이터를 기초로, 축전부(160)의 양호도(예, 0~100의 범위)를 평가하고, 축전부(160)를 통상 모드, 절전 모드 및 슬립 모드 중 어느 하나로 제어할 수 있다. 통상 모드는 양호도가 제1 수준(예, 80~100)인 경우에 인터랙션 로봇(100)의 모든 기능(동작)을 제한없이 수행하는 모드일 수 있고, 절전 모드는 양호도가 제2 수준(예, 60~80)인 경우에 인터랙션 로봇(100)의 몇몇 비필수 기능을 제한(비활성화)하는 모드일 수 있고, 슬립 모드는 양호도가 제3 수준(예, ~60)인 경우에 인터랙션 로봇(100)의 필수 기능을 제외한 모든 비필수 기능을 비활성화하는 모드일 수 있다. 필수 기능과 비필수 기능을 기술하는 데이터는 정보 저장부(141)에 미리 기록되어 있을 수 있다. 필수 기능(예, 배터리 충전 기능)과 비필수 기능(예, 대화 기능)은 사용자에 의해 등록/변경/삭제될 수 있다. 대안적으로, 정보 처리부(140)는, 제1 상황 인지 정보 및 제2 상황 인지 정보 중 적어도 하나에 연관된 관리 동작으로서, 필수 기능 및 비필수 기능 중 적어도 하나를 자율적으로 등록/변경/삭제할 수 있다.The information collection unit 110 may further include a sixth sensing unit 116 for detecting a state of the power storage unit 160 . For example, the sixth sensing unit 116 detects at least one of items indicating the state of the power storage unit 160, such as battery temperature, battery voltage, battery current, battery charge amount, and remaining battery life, to obtain sixth sensing data. can create The information processing unit 140 evaluates the quality of the power storage unit 160 (eg, in the range of 0 to 100) based on the sixth sensing data, and sets the power storage unit 160 to normal mode, power saving mode, and sleep mode. can be controlled by either one. The normal mode may be a mode in which all functions (operations) of the interaction robot 100 are performed without restriction when the goodness level is the first level (eg, 80 to 100), and the power saving mode is when the goodness level is the second level (eg, 80 to 100). For example, 60 to 80), it may be a mode that limits (disables) some non-essential functions of the interaction robot 100, and the sleep mode is an interaction robot when the goodness level is the third level (eg, ~60). It may be a mode for disabling all non-essential functions except for the essential functions of (100). Data describing essential and non-essential functions may be pre-recorded in the information storage unit 141 . Essential functions (eg, battery charging function) and non-essential functions (eg, conversation function) may be registered/changed/deleted by the user. Alternatively, the information processing unit 140 may autonomously register/change/delete at least one of essential functions and non-essential functions as a management operation associated with at least one of the first contextual information and the second contextual information. .

인터랙션 로봇(100)은, 무선 통신부(150)를 더 포함할 수 있다. 무선 통신부(150)는, 무선 통신망을 통해 적어도 하나의 외부 정보 매체에 엑세스하여, 정보 수집부(110)를 통한 직접적 감지가 불가한 외부 상황을 표현하는 제2 상황 인지 정보(예, 외부 날씨, 분야별 최신 뉴스, 트랜드 등)를 수집한다.The interaction robot 100 may further include a wireless communication unit 150 . The wireless communication unit 150 accesses at least one external information medium through a wireless communication network to provide second context-aware information (e.g., external weather, Collect the latest news, trends, etc.) by field.

인터랙션 로봇(100)은, 방열 부재(180)를 더 포함할 수 있다. 방열 부재(180)는, 정보 처리부(140)의 과도한 온도 상승을 억제하기 위한 것으로서, 정보 처리부(140)에서 발생되는 열 에너지가 인터랙션 로봇(100)의 외부로 방출되도록, 인터랙션 로봇(100)의 외면과 정보 처리부(140) 사이에 기계적으로 결합된다. 예를 들어, 방열 부재(180)는, 일단에 정보 처리부(140)에 결합되고 타단이 인터랙션 로봇(100)의 몸체의 외면에 결합되는 제1 히트파이프(181), 일단에 정보 처리부(140)에 결합되고 타단이 인터랙션 로봇(100)의 머리의 외면에 결합되는 제2 히트파이프(182) 및 적어도 하나의 방열용 홀(hole)이 형성된 방열구(183) 중 적어도 하나를 포함할 수 있다. 이 경우, 제1 히트파이프를 구성하는 제1 금속 재질(예, 알루미늄 합금) 및 제2 히트파이프를 구성하는 제2 금속 재질(예, 구리 합금)은, 정보 처리부(140)의 위치를 기준으로 몸체 외면까지의 거리와 머리 외면까지의 거리 간의 차이에 대응하는 열 전도율의 차이를 가질 수 있다. 예컨대, 제1 금속 재질은 알루미늄 합금이고, 제2 금속 재질은 제1 금속 재질보다 열 전도율이 높은 구리 합금일 수 있다. 이 경우, 사용자가 인터랙션 로봇(100)의 머리 외면에 피부를 접촉할 때에 느껴지는 온도와 인터랙션 로봇(100)의 몸체 외면에 피부를 접촉할 때에 느껴지는 온도가 대략 일치하여, 인터랙션 로봇(100)의 발열 수준에 대한 사용자의 혼동을 저감할 수 있다. 사용자는, 방열 부재(180)를 통해 정보 처리부(140)에 연결된 인터랙션 로봇(100)의 외면의 소정 영역에 피부를 접촉했을 때에 느껴지는 온도감으로 인터랙션 로봇(100)이 정상 상태인지 피로 상태(예, 정보 처리부(140)의 과부하)인지 여부 등을 파악할 수 있다.The interaction robot 100 may further include a heat dissipation member 180 . The heat dissipation member 180 is for suppressing an excessive rise in temperature of the information processing unit 140, so that the thermal energy generated in the information processing unit 140 is discharged to the outside of the interaction robot 100, of the interaction robot 100. It is mechanically coupled between the outer surface and the information processing unit 140 . For example, the heat dissipation member 180 includes a first heat pipe 181 having one end coupled to the information processing unit 140 and the other end coupled to the outer surface of the body of the interaction robot 100, and the information processing unit 140 at one end. and at least one of a second heat pipe 182 having the other end coupled to the outer surface of the head of the interaction robot 100 and a heat dissipating hole 183 having at least one hole for heat dissipation. In this case, the first metal material (eg, aluminum alloy) constituting the first heat pipe and the second metal material (eg, copper alloy) constituting the second heat pipe are based on the position of the information processing unit 140. It may have a difference in thermal conductivity corresponding to a difference between the distance to the outer surface of the body and the distance to the outer surface of the head. For example, the first metal material may be an aluminum alloy, and the second metal material may be a copper alloy having higher thermal conductivity than the first metal material. In this case, the temperature felt when the user touches the skin on the outer surface of the head of the interaction robot 100 and the temperature felt when the user touches the skin on the outer surface of the body of the interaction robot 100 are approximately the same, so that the heat generation of the interaction robot 100 Users' confusion about levels can be reduced. The user determines whether the interaction robot 100 is in a normal state or a fatigue state (eg , overload of the information processing unit 140) or the like.

인터랙션 로봇(100)은, 축전부(160)를 위한 충전 포트 외에, 적어도 하나의 기능 포트(180, 예, USB 포트)를 더 포함할 수 있다. 인터랙션 로봇(100)의 사이즈, 제조비, 판매/대여 가격 등은 제한적일 수 있다. 또한, 사용자의 성격, 생활패턴, 성별, 생애주기 등에 따라 사용자에게 필요한 기능들을 실행하는 데에 필요한 센서들의 종류 역시 다르다. 따라서, 전술된 센서들 전부 대신 일부 센서는 인터랙션 로봇(100)의 구성 요소로서 포함되도록 구현하되, 타 센서들(예, 인체용 온도 센서, 심박 센서, 유해물질 센서 등)은 필요 시에 적어도 하나의 기능 포트(170)에 연결 가능하도록 모듈화된 형태 등으로 제공하여 인터랙션 로봇(100)의 감지 가능 항목, 상황 인식 능력 등을 선택적으로 확장/축소하여 인터랙션 로봇(100)의 소프트웨어 자원 및 하드웨어 자원을 효율적으로 운용할 수 있다. 정보 처리부(140)는, 적어도 하나의 기능 포트(170)에 연결된 각 센서를 인식하고, 인식된 각 센서에 연관된 적어도 하나의 기능(예, 데이터 저장, 연관 동작)을 활성화할 수 있다. 예컨대, 정보 처리부(140)는, 기능 포트(170)에 연결된 인체용 온도센서에 의해 감지되는 사용자 체온값을 감지 시각 등에 맵핑하여 정보 저장부(141)에 기록할 수 있다. 다른 예로, 정보 처리부(140)는, 심박 센서가 기능 포트(170)에 연결된 것에 응답하여, 심박 기반의 건강 관리 어플리케이션(앱 서비스)을 실행할 수 있다.The interaction robot 100 may further include at least one function port 180 (eg, a USB port) in addition to the charging port for the power storage unit 160 . The size, manufacturing cost, sales/rental price, etc. of the interaction robot 100 may be limited. In addition, the types of sensors required to execute functions necessary for the user are also different according to the user's personality, life pattern, gender, life cycle, and the like. Therefore, instead of all of the above-described sensors, some sensors are implemented to be included as components of the interaction robot 100, but at least one of the other sensors (eg, human body temperature sensor, heart rate sensor, harmful substance sensor, etc.) is necessary. It is provided in a modular form so as to be connectable to the function port 170 of the interaction robot 100 by selectively expanding/reducing the detectable items and situational awareness capabilities of the interaction robot 100 to increase software and hardware resources of the interaction robot 100. can be operated efficiently. The information processing unit 140 may recognize each sensor connected to at least one function port 170 and activate at least one function (eg, data storage, related operation) related to each recognized sensor. For example, the information processing unit 140 may record the user's body temperature value sensed by the human body temperature sensor connected to the function port 170 in the information storage unit 141 by mapping the sensing time. As another example, the information processor 140 may execute a heartbeat-based health management application (app service) in response to the heartbeat sensor being connected to the function port 170 .

정보 처리부(140)는, 인터랙션 로봇(100)에 포함된 각 구성 요소에 동작 가능하게 결합되어, 각 구성 요소를 제어한다. 정보 처리부(140)는, 하드웨어적으로, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 마이크(221)로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하도록 구현될 수 있다.The information processing unit 140 is operably coupled to each component included in the interaction robot 100 and controls each component. The information processing unit 140, in terms of hardware, includes application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and microphones. As 221, it may be implemented to include at least one of microprocessors and electrical units for performing other functions.

정보 저장부(141)는, 인터랙션 로봇(100)으로 하여금 후술된 인터랙션 서비스에 연관된 제어 방법을 수행토록 하기 위한 명령들을 포함하는 컴퓨터 프로그램을 저장한다. 정보 저장부(141)는, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크(221)로 타입(multimedia card micro type), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 정보 저장부(141)는, 정보 처리부(140) 내에 구비될 수 있다.The information storage unit 141 stores a computer program including instructions for causing the interaction robot 100 to perform a control method related to an interaction service described below. The information storage unit 141 includes a flash memory type, a hard disk type, a solid state disk type (SSD type), a silicon disk drive type (SDD type), and a multimedia card microphone 221. Low type (multimedia card micro type), RAM (random access memory; RAM), SRAM (static random access memory), ROM (read-only memory; ROM), EEPROM (electrically erasable programmable read-only memory), PROM (programmable read-only memory) may include at least one type of storage medium. The information storage unit 141 may be provided in the information processing unit 140 .

정보 처리부(140)는, 복수의 센싱부(111~116) 중 적어도 어느 둘로부터의 센싱 데이터를 조합하여 상황 인지를 수행함으로써, 단일의 센싱부로부터의 센싱 데이터 단독으로 상황 인지를 수행하는 방식에 비하여, 사용자에게 제공되는 인터랙션 서비스의 품질을 향상시킬 수 있다. 일 예로, 어느 한 센싱부의 센싱 데이터를 기초로 제1 상황 및 제2 상황이 인지되고, 다른 한 센싱부의 센싱 데이터를 기초로 제2 상황 및 제3 상황이 인지되는 경우, 정보 처리부(140)는 공통적으로 인지된 제2 상황에 연관된 인터랙션 동작을 제1 상황이나 제3 상황에 연관된 인터랙션 동작보다 우선하여 실행할 수 있다.The information processing unit 140 performs situational awareness by combining sensing data from at least two of the plurality of sensing units 111 to 116, thereby performing situational awareness with only the sensing data from a single sensing unit. In comparison, the quality of the interaction service provided to the user can be improved. For example, when a first situation and a second situation are recognized based on the sensing data of one sensing unit, and a second situation and a third situation are recognized based on the sensing data of another sensing unit, the information processing unit 140 An interaction operation related to the commonly recognized second situation may be executed prior to an interaction operation related to the first situation or the third situation.

도 4는 본 발명의 일 실시예에 따른 인터랙션 로봇의 제어 방법을 예시적으로 보여주는 순서도이다.4 is a flowchart exemplarily showing a method of controlling an interaction robot according to an embodiment of the present invention.

도 1 내지 도 4를 참조하면, 단계 S410에서, 정보 처리부(140)는, 복수의 센싱부(111~116) 중 적어도 하나의 센싱부로부터 센싱 데이터를 수집한다.1 to 4 , in step S410, the information processing unit 140 collects sensing data from at least one sensing unit among the plurality of sensing units 111 to 116.

단계 S420에서, 정보 처리부(140)는, 적어도 한 센싱부로부터 수집된 센싱 데이터를 기초로, 사용자 및 인터랙션 로봇(100) 중 적어도 하나에 관하여 인지된 상황을 표현하는 제1 상황 인지 정보를 생성한다. 제1 상황 인지 정보는, 축전부(160)의 상태 데이터에 더 기초할 수 있다. 바람직하게는, 정보 처리부(140)는, 정보 저장부(141)에 미리 저장된 인공지능 기반의 상황 인지 모델을 적어도 두 센싱부로부터 수집된 센싱 데이터에 적용하여, 상황 인지 모델로부터 적어도 두 센싱부로부터 수집된 센싱 데이터가 표현하는, 사용자 단독 관여 상황, 로봇 단독 관여 상황 및 사용자-로봇 복합 관여 상황 중 적어도 하나를 추정할 수 있다. 사용자 단독 관여 상황은, 사용자에게만 관련된, 로봇과는 무관한 상황이다. 반대로, 로봇 단독 관여 상황은, 인터랙션 로봇(100)에게만 관련된, 사용자와는 무관한 상황이다. 다음으로, 사용자-로봇 복합 관여 상황은, 사용자와 인터랙션 로봇(100)이 둘 다 관여된 상황일 수 있다.In step S420, the information processing unit 140 generates first context-aware information representing a recognized situation with respect to at least one of the user and the interaction robot 100, based on the sensing data collected from at least one sensing unit. . The first context awareness information may be further based on state data of the power storage unit 160 . Preferably, the information processing unit 140 applies the artificial intelligence-based contextual awareness model previously stored in the information storage unit 141 to the sensing data collected from at least two sensing units, and obtains data from the at least two sensing units from the contextual awareness model. At least one of a user-only involvement situation, a robot-only involvement situation, and a user-robot complex involvement situation expressed by the collected sensing data may be estimated. A user-only involvement situation is a situation that concerns only the user and is not related to the robot. Conversely, the robot-only involvement situation is a situation that is related only to the interaction robot 100 and is not related to the user. Next, the user-robot complex involvement situation may be a situation in which both the user and the interaction robot 100 are involved.

단계 S430에서, 정보 처리부(140)는, 제1 상황 인지 정보를 기초로, 적어도 하나의 인터랙션 동작을 선택한다. 즉, 인터랙션 로봇(100)이 제공 가능한 인터랙션 동작은 복수이며, 이들 복수의 인터랙션 동작 중에서 제1 상황 인지 정보에 연관된 하나 또는 둘 이상의 동작이 선택된다.In step S430, the information processing unit 140 selects at least one interaction action based on the first contextual information. That is, there are a plurality of interaction actions that can be provided by the interaction robot 100, and one or two or more actions related to the first contextual information are selected from among the plurality of interaction actions.

단계 S440에서, 정보 처리부(140)는, 정보 출력부(120) 및 상기 구동부(130) 중 적어도 하나를 제어하여, 단계 S430에서 선택된 각 인터랙션 동작을 실행한다. 즉, 각 인터랙션 동작은, 정보 출력부(120) 단독에 의해 수행 가능한 것, 구동부(130) 단독에 의해 수행 가능한 것 또는 정보 출력부(120)와 구동부(130)의 협동 액션에 의해 수행 가능한 것일 수 있다.In step S440, the information processing unit 140 controls at least one of the information output unit 120 and the driving unit 130 to execute each interaction operation selected in step S430. That is, each interaction operation can be performed by the information output unit 120 alone, the drive unit 130 alone, or a cooperative action between the information output unit 120 and the drive unit 130. can

도 5 내지 도 8은 도 4의 일 실시예에 따른 제어 방법을 통해 실행 가능한 다양한 인터랙션 동작을 설명하는 데에 참조되는 도면이다.5 to 8 are diagrams referenced to describe various interaction operations executable through the control method according to the embodiment of FIG. 4 .

도 5는 다양한 인터랙션 동작 중 하나인 사용자 추종 동작을 설명하는 데에 참조되는 도면이다. 도 5를 참조하면, 정보 처리부(140)는, 제1 센싱 데이터 및 제2 센싱 데이터 중 적어도 하나를 처리하여 획득된 특정 객체(예, 사용자)의 위치를 기초로, 특정 객체에 대한 사용자 추종 동작을 실행하기 위해, 구동부(130)를 제어할 수 있다. 일 예로, 정보 처리부(140)는, 제1 센싱 데이터를 기초로 추정된 사용자의 위치와 제2 센싱 데이터를 기초로 추정된 음원의 위치를 비교하여, 사용자와 음원이 서로 일치하는 것으로 판정되는 경우, 사용자를 추종 대상으로 설정할 수 있다. 정보 처리부(140)는, 슬립 모드에서 제2 센싱부(112)를 활성화시킨 채로 주변 공간의 발화 음성을 모니터링하다가, 인터랙션 로봇(100)을 상대로 하는 음성 호출어(510, 'hotword'라고 칭하기도 함)를 포함하는 사용자의 발화 내용이 감지되는 경우, 슬립 모드에서 기동 모드로 전환하여 사용자를 추종하는 등의 실제적 인터랙션 서비스를 제공할 수 있다. 5 is a diagram referenced to describe a user following operation, which is one of various interaction operations. Referring to FIG. 5 , the information processing unit 140 performs a user following operation for a specific object based on the location of the specific object (eg, user) obtained by processing at least one of the first sensing data and the second sensing data. In order to execute, the driving unit 130 may be controlled. For example, the information processing unit 140 compares the location of the user estimated based on the first sensing data with the location of the sound source estimated based on the second sensing data, and determines that the user and the sound source match each other. , users can be set as followers. The information processing unit 140 monitors the spoken voice of the surrounding space with the second sensing unit 112 activated in the sleep mode, and then the voice call word 510 directed to the interaction robot 100 (sometimes referred to as 'hotword') ), it is possible to provide an actual interaction service such as following the user by switching from the sleep mode to the wake mode.

정보 처리부(140)는, 제1 센싱부(111)의 적외선 센서(213)에 의해 인터랙션 로봇(100)에 근접한 사람이 감지되는 것을 조건으로, 제1 센싱부(111)의 광각 카메라(211) 및 망원 카메라(212) 중 적어도 하나를 비활성 상태로부터 활성 상태로 전환함으로써, 적외선 센서(213)보다 전력 소모량이 큰 광각 카메라(211) 및 망원 카메라(212)를 상시 활성화시키는 방식보다 축전부(160)의 전기 에너지를 절약할 수 있다. 또한, 정보 처리부(140)는, 인터랙션 로봇(100)의 슬립 모드에 있을 때, 음성 호출어(510)가 감지되지 않더라도, 사용자가 인터랙션 로봇(100)에 시선을 향한 채로 발화하는 행동 상황이 인식되는 경우, 음성 호출어(510)를 감지했을 때와 동일한 동작 즉, 슬립 모드로부터 기동 모드로의 전환 동작을 수행할 수 있다. 이에 따라, 사용자가 인터랙션 로봇(100)을 슬립 모드로부터 기동시키고자 할 때마다 음성 호출어(510)를 반복적으로 발화해야 함으로 인한 부자연스러움과 불편함을 저감할 수 있다. 참고로, 슬립 모드는 사용자의 호출 명령을 감지하는 데에 필요한 것으로 미리 정해진 일부 기능만을 활성화하고, 나머지 기능은 비활성화시킨 상태를 칭한다. 기동 모드는, 인터랙션 로봇(100)에 의해 실행 가능한 모든 기능을 제한없이 활성화시킨 상태를 칭한다. 각각의 모드는 사용자 명령에 따라 선택되거나, 해당 모드에 연관된 미리 주어진 조건이 만족되는 경우에 자동 선택되는 것일 수 있다.The information processing unit 140 controls the wide-angle camera 211 of the first sensing unit 111 on the condition that a person close to the interaction robot 100 is detected by the infrared sensor 213 of the first sensing unit 111. and the telephoto camera 212 by switching from an inactive state to an active state, so that the wide-angle camera 211 and the telephoto camera 212, which consume more power than the infrared sensor 213, are always activated. ) of electrical energy can be saved. In addition, when the interaction robot 100 is in the sleep mode, the information processing unit 140 recognizes a behavioral situation in which the user utters while looking at the interaction robot 100 even if the voice call word 510 is not detected. In this case, the same operation as when the voice paging word 510 is detected, that is, an operation of switching from the sleep mode to the wake-up mode may be performed. Accordingly, it is possible to reduce unnaturalness and discomfort caused by having to repeatedly utter the voice paging word 510 whenever the user wants to activate the interaction robot 100 from the sleep mode. For reference, the sleep mode refers to a state in which only some pre-determined functions necessary for detecting a user's call command are activated and the remaining functions are deactivated. The activation mode refers to a state in which all functions executable by the interaction robot 100 are activated without limitation. Each mode may be selected according to a user command or automatically selected when a pre-given condition related to the corresponding mode is satisfied.

사용자 추종 동작은, 사용자 응시 및 추종 이동 중 적어도 하나를 포함한다. The user following operation includes at least one of user gazing and following movement.

사용자 응시는, 인터랙션 로봇(100)의 머리의 안면부가 사용자를 응시하도록 정보 처리부(140)가 제1 전동 관절(131)을 제어함으로써 수행될 수 있다. 제1 전동 관절(131)에 의해 조절 가능한 머리의 회전 각도(예, 팬 가능 범위)가 제한적인 경우, 정보 처리부(140)는 제6 전동 관절(136) 및 제7 전동 관절(137)을 추가적으로 제어하여 인터랙션 로봇(100)의 머리의 안면부가 사용자를 지향하도록 할 수 있다.The gaze of the user may be performed by the information processing unit 140 controlling the first electric joint 131 so that the facial part of the head of the interaction robot 100 gazes at the user. When the rotation angle of the head adjustable by the first power joint 131 (eg, the range available for panning) is limited, the information processing unit 140 additionally provides the sixth power joint 136 and the seventh power joint 137. It can be controlled so that the facial part of the head of the interaction robot 100 is directed toward the user.

추종 이동은, 사용자로부터 제2 기준 거리 이내의 근접 위치로 인터랙션 로봇(100)이 이동하도록, 정보 처리부(140)가 제6 전동 관절(136) 및 제7 전동 관절(137)을 제어함으로써 수행될 수 있다.The following movement is performed by the information processing unit 140 controlling the sixth power joint 136 and the seventh power joint 137 so that the interaction robot 100 moves to a proximate position within a second reference distance from the user. can

정보 처리부(140)는, 사용자 추종 동작에 연관된 대화 메시지(520, 예컨대 "저에게 하실 말 있으세요?")를 생성하고, 대화 메시지(520)를 정보 출력부(120)를 통해 사용자에게 출력할 수 있다.The information processing unit 140 may generate a conversation message 520 related to the user following operation (for example, "Do you have something to say to me?") and output the conversation message 520 to the user through the information output unit 120. there is.

도 6은 다양한 인터랙션 동작 중 하나인 대화 내용 생성 동작을 설명하는 데에 참조되는 도면이다. 정보 처리부(140)는, 인공 지능 기반의 대화 생성 모델을 전술된 복수의 모달리티 중 적어도 둘에 연관된 상황 데이터에 적용하여, 현 상황에 대응하여 사용자에게 피드백되는 대화 메시지를 생성할 수 있다. FIG. 6 is a diagram referenced to describe an operation of creating conversation content, which is one of various interaction operations. The information processing unit 140 may generate a dialog message that is fed back to the user in response to the current situation by applying the artificial intelligence-based dialog generation model to context data associated with at least two of the plurality of modalities described above.

일 예로, 시각 기반-상황 데이터가 사용자가 주방에 있는 상황을 나타내고, 청각 기반-상황 데이터가 식사 중의 상황을 나타내며, 후각 기반-상황 데이터가 일정 농도 이상의 유해 가스가 검출된 상황을 나타내는 경우, 사용자의 대화 요청이 발생하지 않더라도 선제적으로, "식사 중이신 것 같네요. 혹시 가스레인지는 끄셨나요?", "식사 마치시면 환기하시는 것이 좋을 것 같아요." 등과 같이 인지된 현 상태에 대응하는 내용을 가지는 대화 메시지(610)를 스피커(121) 및 디스플레이(122) 중 적어도 하나를 통해 출력하도록 정보 출력부(120)를 제어할 수 있다. 전술된 바에 따르면, 둘 이상의 서로 다른 모달리티를 가지는 상황 데이터를 종합하여 현 상황을 추정하므로, 상황 추정 정확도를 높일 수 있다. 또한, 추정된 상황에 맞춰 대화 메시지의 내용을 생성하므로, 단일 모달리티를 가지는 상황 데이터만을 단독으로 이용하는 방식에 비하여, 사용자와의 자연스러운 대화 서비스를 제공할 수 있고, 결과적으로 사용자가 기대하는 만족도를 충족시킬 수 있다.For example, when the visual-based context data represents a situation in which the user is in the kitchen, the auditory-based context data represents a situation during eating, and the olfactory-based context data represents a situation in which a harmful gas is detected at a certain concentration or higher, the user Even if a conversation request from does not occur, preemptively, "It looks like you are eating. Did you turn off the gas stove by any chance?" The information output unit 120 may be controlled to output, through at least one of the speaker 121 and the display 122, a conversation message 610 having content corresponding to the recognized current state, such as the like. As described above, since the current situation is estimated by synthesizing situation data having two or more different modalities, situation estimation accuracy can be increased. In addition, since the content of the conversation message is generated according to the estimated situation, it is possible to provide a natural conversation service with the user compared to a method using only situation data having a single modality, and as a result, satisfy the satisfaction expected by the user. can make it

도 7은 다양한 인터랙션 동작 중 하나인 대화 음향 제어 동작을 설명하는 데에 참조되는 도면이다. 정보 처리부(140)는, 인공 지능 기반의 음성 제어 모델을 전술된 복수의 모달리티 중 적어도 하나에 연관된 상황 데이터에 적용하여, 현 상황에 대응하여 사용자에게 정보 출력부(120)의 스피커(121)를 통해 사용자에게 피드백되는 음향 효과를 조절할 수 있다.FIG. 7 is a diagram referenced to describe a dialog sound control operation, which is one of various interaction operations. The information processing unit 140 applies the artificial intelligence-based voice control model to situation data associated with at least one of the plurality of modalities described above, and provides the user with the speaker 121 of the information output unit 120 in response to the current situation. You can adjust the sound effect that is fed back to the user through this.

정보 처리부(140)는, 인터랙션 로봇과 사용자 간의 거리에 따라, 스피커(121)를 통해 사용자에게 출력되는 대화 메시지의 볼륨을 조절할 수 있다. 여기서, 인터랙션 로봇-사용자 거리와 볼륨 간의 관계 데이터는 정보 저장부(141)에 미리 저장될 수 있다. 일 예로, 로봇-사용자 거리가 제1 거리(예, 5m) 이상인 경우에는 기준값의 1.2배에 해당하는 볼륨의 대화 메시지(710)가 출력되고, 로봇-사용자 거리가 제2 거리(예, 1m) 미만인 경우에는 기준값의 0.8배에 해당하는 볼륨의 대화 메시지(720)가 출력되며, 로봇-사용자 거리가 제1 거리와 제2 거리 사이인 경우에는 기준값에 해당하는 볼륨으로 대화 메시지가 출력될 수 있다. 다른 예로, 청각 기반-상황 데이터가 소정 레벨 이상의 소음이 발생 중인 상황(예, 인터랙션 로봇(100)이 탑승한 차량이 빠른 속도로 주행하여 큰 풍절음이 발생)을 나타내는 경우, 소음의 크기만큼 대화 메시지의 볼륨을 높일 수 있다. 이에 따라, 음성 메시지의 볼륨이 너무 작거나 큰 경우에 사용자가 느끼는 불편감을 저감하고, 축전부(160)에 저장된 전기 에너지의 불필요한 소모를 줄일 수 있다.The information processing unit 140 may adjust the volume of the conversation message output to the user through the speaker 121 according to the distance between the interaction robot and the user. Here, relational data between the interaction robot-user distance and the volume may be previously stored in the information storage unit 141 . For example, when the robot-user distance is equal to or greater than the first distance (eg, 5 m), a dialogue message 710 having a volume corresponding to 1.2 times the reference value is output, and the robot-user distance is the second distance (eg, 1 m). If it is less than the reference value, a conversation message 720 with a volume corresponding to 0.8 times the reference value is output, and if the robot-user distance is between the first distance and the second distance, the conversation message may be output with a volume corresponding to the reference value. . As another example, when the auditory-based situation data indicates a situation in which noise is generated at a predetermined level or higher (eg, a vehicle in which the interaction robot 100 is riding is driving at high speed and a loud wind noise is generated), a conversation message equal to the size of the noise volume can be increased. Accordingly, it is possible to reduce discomfort felt by the user when the volume of the voice message is too low or too high, and unnecessary consumption of electrical energy stored in the power storage unit 160 can be reduced.

도 8은 다양한 인터랙션 동작 중 하나인 적응적 절전 동작을 설명하는 데에 참조되는 도면이다. 8 is a reference diagram for explaining an adaptive power saving operation, which is one of various interaction operations.

정보 처리부(140)는, 제1 상황 인지 정보를 기초로 선택된 인터랙션 동작이 복수인 경우, 축전부(160)의 양호도에 따라, 복수의 인터랙션 동작을 전부 실행하거나, 복수의 인터랙션 동작 중 일부만을 실행하고 나머지는 미실행하거나, 복수의 인터랙션 동작 중 적어도 하나의 실행 수준을 낮출 수 있다.When a plurality of interaction actions are selected based on the first situation awareness information, the information processing unit 140 executes all of the plurality of interaction actions or only some of the plurality of interaction actions according to the quality of the power storage unit 160 . It is possible to execute and not execute the rest, or lower the execution level of at least one of the plurality of interaction operations.

정보 처리부(140)는, 제1 상황 인지 정보를 기초로, 복수의 인터랙션 동작 간의 우선도를 지정하고, 복수의 인터랙션 동작 중 축전부(160)의 양호도에 대응하는 일정 수준의 우선도를 가지는 인터랙션 동작만을 실행할 수 있다.The information processing unit 140 designates priorities among a plurality of interaction operations based on the first situation awareness information, and has a certain level of priority corresponding to the quality level of the power storage unit 160 among the plurality of interaction operations. Only interaction actions can be executed.

도 8은 제1 상황 인지 정보를 기초로 3개의 인터랙션 동작(사용자 응시, 추종 이동 및 대화 메시지 출력)이 선택된 경우를 예시하고 있다. 먼저, 축전부(160)의 양호도가 제1 수준이면, 정보 처리부(140)는 3개의 인터랙션 동작 모두를 실행 수준의 저감없이 실행할 수 있다. 이때, 대화 메시지는 스피커(121) 및 디스플레이(122) 둘 다를 통해 출력될 수 있다. 다음으로, 축전부(160)의 양호도가 제2 수준이면, 정보 처리부(140)는 3개의 인터랙션 동작 중 어느 하나(예, 추종 이동)는 비활성화하거나 실행 수준을 낮추고, 나머지 2개의 인터랙션 동작(예, 사용자 응시 및 대화 메시지 출력)만을 실행할 수 있다. 이때, 정보 처리부(140)는 추종 이동 동작을 비활성화하는 대신, 축전부(160)의 현 양호도와 제1 수준 간의 차분을 기초로 제2 기준 거리보다 큰 제3 기준 거리를 결정하여, 제2 기준 거리 대신 제3 기준 거리 이내의 근접 위치로 사용자를 추종하도록 추종 이동 동작의 실행 수준을 하향시킬 수 있다. 또한, 대화 메시지 출력 동작의 실행 수준이 낮춰진 경우, 디스플레이(122)는 비활성화되어, 스피커(121)를 통해서만 대화 메시지가 출력될 수 있다. 이어서, 축전부(160)의 양호도가 제3 수준이면, 정보 처리부(140)는 1개의 인터랙션 동작 즉, 스피커(121)를 통한 대화 메시지 출력만이 실행될 수 있다. 이때, 스피커(121)를 통해 출력되는 대화 메시지의 볼륨은, 축전부(160)의 양호도가 제3 수준인 경우에 비하여 축전부(160)의 현 양호도와 제2 수준 간의 차분에 대응하는 만큼 작을 수 있다.8 illustrates a case in which three interaction actions (user gaze, following movement, and outputting a conversation message) are selected based on the first context awareness information. First, if the quality level of the power storage unit 160 is the first level, the information processing unit 140 can execute all three interaction operations without reducing the execution level. At this time, the conversation message may be output through both the speaker 121 and the display 122 . Next, if the quality level of the power storage unit 160 is the second level, the information processing unit 140 disables or lowers the execution level of any one of the three interaction operations (eg, follow-up movement), and the other two interaction operations ( eg, user gaze and dialog message output). At this time, the information processing unit 140 determines a third reference distance greater than the second reference distance based on the difference between the first level and the current goodness level of the power storage unit 160 instead of disabling the following movement operation, thereby obtaining the second reference distance. An execution level of the following movement operation may be lowered to follow the user to a nearby location within the third reference distance instead of the distance. Also, when the execution level of the operation of outputting a dialog message is lowered, the display 122 is deactivated, and the dialog message may be output only through the speaker 121 . Subsequently, when the quality level of the power storage unit 160 is the third level, the information processing unit 140 may execute only one interaction operation, that is, outputting a conversation message through the speaker 121 . At this time, the volume of the dialog message output through the speaker 121 is equal to the difference between the current quality level of the power storage unit 160 and the second level compared to the case where the quality level of the power storage unit 160 is the third level. can be small

전술된 바와 같이, 축전부(160)의 양호도에 맞춰 적응적 절전 동작을 실행함으로써, 축전부(160)의 전력 소모량을 저감하여 인터랙션 로봇(100)의 갑작스러운 셧다운을 방지하고, 사용자에 대한 인터랙션 서비스를 지속할 수 있다. (i)상황 케이스, (ii)상황 케이스별로 선택되는 인터랙션 동작 및 (iii)인터랙션 동작의 우선도(및/또는 실행 수준) 간의 상관 관계를 정의하는 규칙 데이터는 정보 저장부(141)에 미리 저장되어 있을 수 있다.As described above, by executing the adaptive power saving operation according to the quality of the power storage unit 160, the power consumption of the power storage unit 160 is reduced to prevent the interaction robot 100 from being suddenly shut down, and the user Interaction service can be continued. Rule data defining the correlation between (i) situation cases, (ii) interaction actions selected for each situation case, and (iii) priority (and/or execution level) of interaction actions are stored in advance in the information storage unit 141 may have been

도 9는 본 발명의 다른 실시예에 따른 인터랙션 로봇의 제어 방법을 예시적으로 보여주는 순서도이다. 도 9의 방법을 설명함에 있어서, 도 4를 참조하여 전술된 방법과 공통된 내용 중 적어도 일부에 대해서는 반복 설명이 생략될 수 있음을 미리 밝혀둔다.9 is a flowchart exemplarily showing a method of controlling an interaction robot according to another embodiment of the present invention. In describing the method of FIG. 9 , it is noted in advance that repeated descriptions of at least some of the contents common to the method described above with reference to FIG. 4 may be omitted.

도 1 내지 도 3 및 도 9를 참조하면, 단계 S910에서, 정보 처리부(140)는, 복수의 센싱부(111~116) 중 적어도 하나의 센싱부로부터의 센싱 데이터를 수집한다.1 to 3 and 9 , in step S910, the information processing unit 140 collects sensing data from at least one sensing unit among the plurality of sensing units 111 to 116.

단계 S920에서, 정보 처리부(140)는, 적어도 하나의 센싱부로부터 수집된 센싱 데이터를 기초로, 사용자 및 인터랙션 로봇(100) 중 적어도 하나에 관하여 인지된 상황을 표현하는 제1 상황 인지 정보를 생성한다. In step S920, the information processing unit 140 generates first context-aware information representing a recognized situation with respect to at least one of the user and the interaction robot 100, based on the sensing data collected from at least one sensing unit. do.

단계 S925에서, 정보 처리부(140)는, 무선 통신망을 통해 외부 상황을 표현하는 제2 상황 인지 정보를 수집한다.In step S925, the information processing unit 140 collects second context-aware information representing an external situation through a wireless communication network.

단계 S930에서, 정보 처리부(140)는, 제1 상황 인지 정보 및 제2 상황 인지 정보를 기초로, 적어도 하나의 인터랙션 동작을 선택한다. 즉, 도 9의 방법은 인터랙션 동작의 선택에 있어서 제2 상황 인지 정보를 추가적으로 활용한다는 점에서 도 4의 방법과 상이하다. 일 예로, 도 6에 도시된 상황에 있어서, 제2 상황 인지 정보로서 외부 온도가 수집되는 경우, 제1 상황 인지 정보에 기반한 대화 메시지(610)의 내용 일부를 제2 상황 인지 정보를 기초로 수정 또는 보강한 새로운 대화 메시지(예, "식사 중이신 것 같네요. 음식 조리할 때에 연기가 많이 발생한 것 같아요. 주방 온도는 12도쯤인데 밖은 영하 5도로 쌀쌀하니 환기보다는 공기 청정기를 틀어 보세요!" 등)를 출력하도록 정보 출력부(120)를 제어할 수 있다.In step S930, the information processing unit 140 selects at least one interaction action based on the first contextual information and the second contextually aware information. That is, the method of FIG. 9 is different from the method of FIG. 4 in that the second contextual information is additionally utilized in selecting an interaction operation. For example, in the situation illustrated in FIG. 6 , when external temperature is collected as the second contextual information, part of the content of the conversation message 610 based on the first contextual information is modified based on the second contextual information. Or new conversational messages that have been augmented (e.g. "Looks like you're eating. There seems to be a lot of smoke while cooking. The temperature in the kitchen is around 12 degrees, but it's -5 degrees outside. Turn on the air purifier instead of ventilating!" etc.) It is possible to control the information output unit 120 to output.

단계 S940에서, 정보 처리부(140)는, 정보 출력부(120) 및 구동부(130) 중 적어도 하나와 무선 통신부(150) 중 적어도 하나를 제어하여, 단계 S930에서 선택된 각 인터랙션 동작을 실행한다. 즉, 도 9의 방법은 인터랙션 동작의 실행에 있어서 무선 통신부(150)를 추가적으로 활용한다는 점에서 도 4의 방법과 상이하다.In step S940, the information processing unit 140 controls at least one of the information output unit 120 and the driving unit 130 and at least one of the wireless communication unit 150 to execute each interaction operation selected in step S930. That is, the method of FIG. 9 is different from the method of FIG. 4 in that the wireless communication unit 150 is additionally utilized in executing the interaction operation.

도 10 및 도 11은 도 9의 다른 실시예에 따른 제어 방법을 통해 실행 가능한 다양한 인터랙션 동작을 설명하는 데에 참조되는 도면이다.10 and 11 are diagrams referenced to describe various interaction operations executable through the control method according to another embodiment of FIG. 9 .

도 10은 다양한 인터랙션 동작 중 하나인 감정 지원 동작을 설명하는 데에 참조되는 도면이다. 사용자의 감정 상태는 수시로 변화한다. 정보 처리부(140)는, 사용자의 감정 변화에 맞춰 대화 메시지의 내용을 적응적으로 변경하는 등의 인터랙션 동작을 실행하면서, 무선 통신부(150)를 통해 수집된 신규 정보 및/또는 정보 저장부(141)에 기록된 과거 정보를 이용하여, 사용자의 긍정적 감정을 강화하거나 부정적 감정을 완화하기 위한 추가적 인터랙션 동작으로서의 감정 지원 동작을 실행할 수 있다.10 is a reference diagram for explaining an emotion support operation, which is one of various interaction operations. The user's emotional state changes from time to time. The information processing unit 140 executes an interaction operation, such as adaptively changing the content of a conversation message according to a change in the user's emotion, while new information collected through the wireless communication unit 150 and/or the information storage unit 141 ), an emotion supporting operation as an additional interaction operation for reinforcing a user's positive emotion or mitigating negative emotion may be executed using past information recorded in ).

도 10을 참조하면, 정보 처리부(140)는, 제1 상황 인지 정보가 사용자의 긍정 감정 상태를 나타내는 경우, 긍정 감정에 연관된 상황 데이터(예, 웃는 표정의 사용자 얼굴이 포함된 이미지)를 무선 통신망을 통해 사용자의 모바일 단말로 전송할 수 있으며, 이러한 동작 또한 인터랙션 동작에 해당할 수 있다. 모바일 단말은 인터랙션 로봇(100)에서 무선 전송된 해당 상황 데이터를 시간 동기화하여 기록할 수 있고, 사용자는 모바일 단말을 통해 자신의 긍정 감정의 이력(타임라인)을 나타내는 상황 데이터를 확인할 수 있다.Referring to FIG. 10 , the information processing unit 140, when the first contextual information indicates a user's positive emotional state, transmits contextual data related to the positive emotion (eg, an image including a user's face with a smiling expression) to a wireless communication network. It can be transmitted to the user's mobile terminal through , and this operation may also correspond to an interaction operation. The mobile terminal may time-synchronize and record the corresponding situation data wirelessly transmitted from the interaction robot 100, and the user may check the situation data representing his/her positive emotion history (timeline) through the mobile terminal.

한편, 정보 처리부(140)는, 제1 상황 인지 정보가 사용자의 부정 감정 상태를 나타내는 경우, 부정 감정에 연관된 컨텐츠 데이터(예, 명언, 종교 교리, 명상 음악, 일상 문구 등)를 적어도 하나의 외부 정보 매체나 정보 저장부(141)에 기 저장된 사용자 이력 정보로부터 수집할 수 있다. 일 예로, 정보 처리부(140)는, 사용자의 현 부정 감정을 표현하는 감정 설명 데이터(대표 태그) 및 주변 상황을 표현하는 상황 설명 데이터를, 외부 정보 매체 또는 정보 저장부(141)에 기록된 컨텐츠 데이터별 감정 설명 데이터 및 상황 설명 데이터와 비교하고, 유사도가 가장 높은 컨텐츠 데이터를 획득할 수 있다. 정보 처리부(140)는, 부정 감정에 연관된 컨텐츠 데이터로부터 사용자와의 교감을 통해 사용자의 부정 감정을 완화하기 위한 대화 메시지를 생성할 수 있다.Meanwhile, when the first situational awareness information indicates a user's negative emotional state, the information processing unit 140 transmits content data (eg, sayings, religious doctrines, meditation music, daily phrases, etc.) related to negative emotions to at least one external device. It may be collected from user history information pre-stored in the information medium or the information storage unit 141 . For example, the information processing unit 140 transmits emotion description data (representative tag) expressing the user's current negative emotion and situation description data expressing the surrounding situation to external information media or content recorded in the information storage unit 141. It is possible to compare each data with emotion description data and situation description data, and obtain content data having the highest similarity. The information processing unit 140 may generate a conversation message for alleviating the user's negative emotion through communication with the user from content data related to the negative emotion.

도 11은 다양한 인터랙션 동작 중 하나인 주변 기기 제어 동작을 설명하는 데에 참조되는 도면이다. 도 11을 참조하면, 정보 처리부(140)는, 사용자가 발화 중인 대화 음성(1110)을 감지 중, 적어도 하나의 소음이 함께 감지되는 경우, 소음별 소리 특성을 기초로 각 소음을 발생시키는 음원의 유형을 식별할 수 있다.11 is a reference diagram for explaining a peripheral device control operation, which is one of various interaction operations. Referring to FIG. 11 , the information processing unit 140 detects at least one noise while detecting the dialog voice 1110 being uttered by the user, the sound source generating each noise based on the sound characteristics of each noise. type can be identified.

정보 처리부(140)는, 무선 통신망을 통해, IoT(internet on thing) 제어 가능한 것으로 기 등록된 적어도 하나의 전자 기기(예, TV, 무선 로봇 청소기) 각각에 엑세스하여, 각 전자 기기의 동작 상태를 나타내는 정보를 제2 상황 인식 정보로서 수집할 수 있다. 정보 처리부(140)는, 제2 상황 인식 정보에 포함된 적어도 하나의 전자 기기의 동작 상태 정보를 기초로, 각 전자 기기가 현재 동작 중인지 여부를 판정할 수 있고, 추가적으로는 현재 동작 중인 각 전자 기기에서 발생되어 마이크(221)에서 감지되는 소음의 음압 레벨을 추정할 수 있다. 또한, 정보 처리부(140)는, 현재 동작 중인 것으로 판정된 전자 기기가 앞서 식별된 음원의 유형과 일치하는 경우, 해당 전자 기기를 소음 억제 대상으로 설정할 수 있다.The information processing unit 140 accesses each of at least one electronic device (eg, TV, wireless robot vacuum cleaner) pre-registered as being controllable over the Internet of Things (IoT) through a wireless communication network, and determines the operating state of each electronic device. The indicated information may be collected as second situational awareness information. The information processing unit 140 may determine whether each electronic device is currently operating based on the operating state information of at least one electronic device included in the second situational awareness information, and additionally, each electronic device currently operating. It is possible to estimate the sound pressure level of the noise generated in and detected by the microphone 221 . In addition, the information processing unit 140 may set the electronic device as a noise suppression target when the electronic device determined to be currently operating matches the previously identified type of sound source.

한편, 정보 처리부(140)는, 마이크(221)에서 감지되는 특정 소음의 음원이 현재 동작 중인 각 전자 기기와 일치하는지 여부를 정확히 판정하기 위해, 각 전자 기기에게 소정의 소리 패턴을 가지는 오디오 신호를 재생할 것을 명령할 수 있다. 그 다음, 정보 처리부(140)는, 마이크(221)에서 감지되는 소리 패턴이 해당 전자 기기에게 재생 명령한 오디오 신호의 소리 패턴과 일치하는 경우, 상기 특정 소음의 음원이 해당 전자 기기인 것으로 확정할 수 있다.Meanwhile, the information processing unit 140 transmits an audio signal having a predetermined sound pattern to each electronic device in order to accurately determine whether the sound source of a specific noise detected by the microphone 221 matches each electronic device currently operating. You can order playback. Next, the information processing unit 140 determines that the source of the specific noise is the corresponding electronic device when the sound pattern detected by the microphone 221 matches the sound pattern of the audio signal that has been commanded to be reproduced by the electronic device. can

정보 처리부(140)는, 무선 통신망을 통해, 소음 억제 대상으로 설정된 각 전자 기기에게 소음 저감 요청을 전송할 수 있다. 이때, 정보 처리부(140)는, 대화 음성(1110)의 음압 레벨을 기초로, 소음 억제 대상인 전자 기기별 음압 레벨을 설정할 수 있다. 일 예로, 대화 음성(1110)의 음압 레벨이 작을수록, 전자 기기별 음압 레벨을 감소시켜, 마이크(221)를 통한 사용자 음성의 감지 정확도를 확보할 수 있다. 소음 저감 요청을 수신한 각 전자 기기는, 동작 수준을 낮추거나, 동작을 정지할 수 있다. 일 예로, 이동형 전자 기기인 무선 로봇 청소기는, 소음 저감 요청에 응답하여, 먼지 흡입력의 레벨을 현재값보다 낮추거나, 잔여 청소 대상 영역 중에서 사용자로부터 최대로 멀리 이격된 영역으로 이동하여 청소를 실시하거나, 일시적으로 청소 동작을 정지할 수 있다. 다른 예로, 비이동형 전자 기기인 TV는, 소음 저감 요청에 응답하여, 전원을 오프하거나, 현 채널의 볼륨을 음소거하거나, 소음 발생도가 낮은 다른 채널로 전환할 수 있다.The information processing unit 140 may transmit a noise reduction request to each electronic device set as a noise suppression target through a wireless communication network. In this case, the information processing unit 140 may set a sound pressure level for each electronic device to be noise suppressed based on the sound pressure level of the conversational voice 1110 . For example, as the sound pressure level of the dialog voice 1110 decreases, the sound pressure level for each electronic device is reduced, thereby ensuring accuracy of sensing the user's voice through the microphone 221 . Each electronic device receiving the noise reduction request may lower the operation level or stop the operation. For example, a wireless robot cleaner, which is a mobile electronic device, in response to a request for noise reduction, lowers the level of dust suction power from the current value, moves to an area farthest from the user among the remaining areas to be cleaned, and cleans the area. , the cleaning operation can be temporarily stopped. As another example, a TV, which is a non-portable electronic device, may turn off power, mute the volume of a current channel, or switch to another channel with a low noise level in response to a request for noise reduction.

한편, 정보 처리부(140)는, 대화 음성(1110)과 함께 감지되는 소음별 음압 레벨을 기초로, 스피커(121)를 통해 출력되는 사용자에 대한 대화 메시지(1120)의 볼륨을 조절할 수 있다. 일 예로, 특정 전자 기기에서 발생되는 소음의 음압 레벨이 높을수록, 사용자가 대화 메시지(1120)를 충분히 높은 감도로 청취할 수 있도록, 사용자에게 피드백되는 대화 메시지(1120)의 볼륨을 증가시킬 수 있다.Meanwhile, the information processor 140 may adjust the volume of the conversation message 1120 for the user output through the speaker 121 based on the sound pressure level for each noise detected together with the conversation voice 1110 . For example, as the sound pressure level of noise generated by a specific electronic device increases, the volume of the chat message 1120 fed back to the user may be increased so that the user can hear the chat message 1120 with a sufficiently high sensitivity. .

이 외에도, 정보 처리부(140)는, 추종 이동 동작(도 5 참조)을 실행 중에 인터랙션 로봇(100)으로부터 사용자로의 경로가 충분히 확보될 수 있도록, 이동형 전자 기기(예, 무선 이동 청소기)에 대한 이동 제한 영역을 설정할 수도 있다. 예를 들어, 정보 처리부(140)는, 시각 기반-상황 데이터, 청각 기반-상황 데이터 및/또는 제2 상황 인지 정보를 기초로, 사용자나 인터랙션 로봇(100)로부터 소정의 안전 거리 이내에 이동형 전자 기기가 위치하고 있는지 여부를 판정할 수 있다. 그 다음, 정보 처리부(140)는, 인터랙션 로봇(100) 및 사용자 각각의 위치를 기초로 인터랙션 로봇(100)으로부터 사용자로의 가상 경로를 생성한 다음, 인터랙션 로봇(100)이 가상 경로를 추종하도록 제6 및 제7 주행부(136, 137)를 제어하면서, 가상 경로로부터 안전 거리 이내의 영역을 이동 제한 영역으로 설정하고, 이동 제한 영역을 표현하는 데이터를 포함하는 이동 제한 명령을 이동형 전자 기기에게 전송할 수 있다. 이동형 전자 기기는, 이동 제한 명령에 응답하여, 이동 제한 영역을 회피하도록 동작할 수 있다. 이에 따라 인터랙션 로봇(100)이 사용자에게로 근접 이동 중, 이동형 전자 기기에 의한 경로 방해 상황을 예방할 수 있다.In addition to this, the information processing unit 140 is configured for a mobile electronic device (e.g., a wireless mobile vacuum cleaner) so that a path from the interaction robot 100 to the user can be sufficiently secured during the following movement operation (see FIG. 5). You can also set a movement restriction area. For example, the information processing unit 140 is a mobile electronic device within a predetermined safe distance from the user or the interaction robot 100 based on the visual-based context data, the auditory-based context data, and/or the second context-aware information. It can be determined whether or not is located. Next, the information processing unit 140 generates a virtual path from the interaction robot 100 to the user based on the positions of the interaction robot 100 and each user, and then causes the interaction robot 100 to follow the virtual path. While controlling the sixth and seventh driving units 136 and 137, an area within a safe distance from the virtual path is set as a movement restriction area, and a movement limiting command including data representing the movement restriction area is transmitted to the mobile electronic device. can transmit The mobile electronic device may operate to avoid the movement restriction area in response to the movement restriction command. Accordingly, while the interaction robot 100 moves close to the user, it is possible to prevent path obstruction by the mobile electronic device.

물론, 인터랙션 로봇(100)에 의해 실행 가능한 인터랙션 동작들이 위에서 열거한 예들로 한정되는 것은 아니다. 그 밖에, 인터랙션 로봇(100)이 능동적으로 또는 사용자 요청에 따라 음악을 재생하는 경우, 정보 저장부(141)에 저장된 음악 파일 및 정보 수집부(110)에서 감지한 정보를 음악 재생에 보조적으로 활용할 수 있다. 예컨대, 정보 처리부(140)는, 적어도 하나의 음악 파일 각각의 프로파일(예, 가수, 작곡가, 작사가, 장르(rock, classical 등), BPM)과 시각 기반-센싱 데이터를 기초로 인지된 주변 공간에 연관된 정보(예, 실내외 여부, 실내인 경우 방, 거실, 주방, 화장실 등)를 활용하여, 재생할 음악에 적용할 음향 효과 프로파일 및 공간감 프로파일을 자동으로 판단하고, 현 공간에서 인지되는 상황에 맵핑된 설정값으로 음악을 재생하도록 스피커(121)를 제어할 수 있다.Of course, the interaction operations executable by the interaction robot 100 are not limited to the examples listed above. In addition, when the interaction robot 100 actively plays music or according to a user's request, the music files stored in the information storage unit 141 and the information detected by the information collection unit 110 are used as an aid to music playback. can For example, the information processing unit 140 is configured to recognize the peripheral space based on the profile of each of at least one music file (eg, singer, composer, lyricist, genre (rock, classical, etc.), BPM) and vision-based sensing data. Using information related to (e.g., indoor/outdoor status, room, living room, kitchen, bathroom, etc. if indoors), the sound effect profile and spatial profile to be applied to the music to be played are automatically determined and mapped to the situation perceived in the current space. The speaker 121 may be controlled to play music with the set value.

본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 구별되어 이해되어서는 안 될 것이다.The present invention is not limited to the specific embodiments and application examples described above, and various modifications can be made by those skilled in the art without departing from the gist of the present invention claimed in the claims. Of course, these modified implementations should not be understood separately from the technical spirit or perspective of the present invention.

특히, 본 명세서에 첨부된 도면에 도시된 블록도와 순서도에 포함된 본 발명의 기술적 특징을 실행하는 구성들은 상기 구성들 사이의 논리적인 경계를 의미한다. 그러나 소프트웨어나 하드웨어의 실시 예에 따르면, 도시된 구성들과 그 기능들은 독립형 소프트웨어 모듈, 모놀리식 소프트웨어 구조, 코드, 서비스 및 이들을 조합한 형태로 실행되며, 저장된 프로그램 코드, 명령어 등을 실행할 수 있는 프로세서를 구비한 컴퓨터에서 실행 가능한 매체에 저장되어 그 기능들이 구현될 수 있으므로 이러한 모든 실시 예 역시 본 발명의 권리범위 내에 속하는 것으로 보아야 할 것이다.In particular, the components implementing the technical features of the present invention included in the block diagrams and flowcharts shown in the accompanying drawings represent the logical boundaries between the components. However, according to an embodiment of software or hardware, the illustrated components and their functions are executed in the form of independent software modules, monolithic software structures, codes, services, and combinations thereof, and may execute stored program codes, instructions, and the like. Since functions may be implemented by being stored in a medium executable on a computer having a processor, all of these embodiments should also be regarded as falling within the scope of the present invention.

따라서, 첨부된 도면과 그에 대한 기술은 본 발명의 기술적 특징을 설명하기는 하나, 이러한 기술적 특징을 구현하기 위한 소프트웨어의 특정 배열이 분명하게 언급되지 않는 한, 단순히 추론되어서는 안 된다. 즉, 이상에서 기술한 다양한 실시 예들이 존재할 수 있으며, 그러한 실시 예들이 본 발명과 동일한 기술적 특징을 보유하면서 일부 변형될 수 있으므로, 이 역시 본 발명의 권리범위 내에 속하는 것으로 보아야 할 것이다. Accordingly, although the accompanying drawings and description thereof describe technical features of the present invention, they should not be simply inferred unless a specific arrangement of software for implementing these technical features is explicitly mentioned. That is, various embodiments described above may exist, and since such embodiments may be partially modified while retaining the same technical characteristics as the present invention, this should also be regarded as falling within the scope of the present invention.

또한, 순서도의 경우 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 가장 바람직한 결과를 얻기 위하여 도시된 것으로서, 도시된 특정한 순서나 순차적인 순서대로 그러한 동작들을 반드시 실행되어야 한다거나 모든 도시된 동작들이 반드시 실행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티 태스킹과 병렬 프로세싱이 유리할 수 있다. 아울러, 이상에서 기술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다. In addition, in the case of a flow chart, although operations are depicted in a specific order, this is shown in order to obtain the most desirable results, and such operations must be executed in a specific sequence or sequential order shown or all illustrated operations must be executed. It should not be understood as what it should be. In certain cases, multitasking and parallel processing can be advantageous. In addition, the separation of various system components in the embodiments described above should not be understood as requiring such separation in all embodiments, and the described program components and systems are generally integrated together in a single software product or in multiple software products. It should be understood that it can be packaged.

100: 인터랙션 로봇
110: 정보 수집부 111~116: 제1 내지 제6 센싱부
211: 광각 카메라 212: 망원 카메라
213: 적외선 센서 221: 마이크
231: 터치 센서 232: 스트레인 게이지
241: 공기질 센서 242: 온도 센서
243: 습도 센서
120: 정보 출력부 121: 스피커
122: 디스플레이 123: 광 출력기
130: 구동부 131~137: 제1 내지 제7 전동 관절
140: 정보 처리부 150: 무선 통신부
160: 축전부 170: 기능 포트
180: 방열 부재100: interaction robot
110: information collection unit 111 to 116: first to sixth sensing unit
211: wide-angle camera 212: telephoto camera
213: infrared sensor 221: microphone
231: touch sensor 232: strain gauge
241: air quality sensor 242: temperature sensor
243 Humidity sensor
120: information output unit 121: speaker
122: display 123: optical output
130: driving unit 131 to 137: first to seventh power joints
140: information processing unit 150: wireless communication unit
160: power storage unit 170: function port
180: heat dissipation member

Claims (12)

멀티모달 기반의 인터랙션 로봇에 있어서,
서로 다른 복수의 모달리티에 일대일로 연관된 복수의 센싱부를 포함하는 정보 수집부;
상기 인터랙션 로봇에 의해 실행되는 동작에 연관된 인터랙션 피드백을 출력하는 정보 출력부;
상기 인터랙션 로봇의 움직임을 제어하는 구동부;
무선 통신망 통해, IoT 제어 가능한 것으로 등록된 이동형 전자 기기에 엑세스하는 무선 통신부; 및
상기 복수의 센싱부 중 적어도 하나의 센싱부로부터의 센싱 데이터를 기초로, 사용자 및 상기 인터랙션 로봇 중 적어도 하나에 관하여 인지된 상황을 표현하는 제1 상황 인지 정보를 생성하는 정보 처리부;를 포함하고,
상기 정보 처리부는,
상기 제1 상황 인지 정보를 기초로, 적어도 하나의 인터랙션 동작을 선택하고,
상기 인터랙션 로봇으로부터 제1 기준 거리 이내의 근거리 객체의 객체 특징에 기초한 근거리 상황에 연관된 제1 인터랙션 동작 및 상기 인터랙션 로봇으로부터 상기 제1 기준 거리 밖의 원거리 객체의 객체 특징에 기초한 원거리 상황에 연관된 제2 인터랙션 동작이 선택되는 경우, 상기 제1 인터랙션 동작에 상기 제2 인터랙션 동작보다 높은 우선 순위를 부여하고,
상기 정보 출력부 및 상기 구동부 중 적어도 하나를 제어하여, 각 인터랙션 동작의 우선 순위에 따라, 상기 제1 인터랙션 동작 및 상기 제2 인터랙션 동작을 순차적으로 실행하되,
상기 근거리 객체가 상기 사용자인 경우, 상기 제1 인터랙션 동작은 상기 사용자로부터 제2 기준 거리 이내로 이동하는 추종 이동 동작이고,
상기 정보 처리부는, 상기 추종 이동 동작을 실행 시,
상기 인터랙션 로봇으로부터 상기 사용자로의 가상 경로를 생성하고,
상기 가상 경로로부터 소정의 안전 거리 이내의 영역을 이동 제한 영역으로 설정하고,
상기 무선 통신부를 제어하여, 상기 이동형 전자 기기가 상기 이동 제한 영역을 회피하도록 하는 이동 제한 명령을 상기 무선 통신망을 통해 상기 이동형 전자 기기에게 전송하는, 인터랙션 로봇.
In the multimodal-based interaction robot,
an information collection unit including a plurality of sensing units associated with a plurality of different modalities on a one-to-one basis;
an information output unit outputting interaction feedback related to the motion executed by the interaction robot;
a driving unit controlling movement of the interaction robot;
A wireless communication unit for accessing a mobile electronic device registered as being controllable by IoT through a wireless communication network; and
An information processing unit configured to generate first context-aware information representing a recognized situation with respect to at least one of a user and the interaction robot based on sensing data from at least one of the plurality of sensing units,
The information processing unit,
Selecting at least one interaction action based on the first contextual information;
A first interaction action related to a local situation based on an object feature of a local object within a first reference distance from the interaction robot and a second interaction related to a far situation based on an object feature of a far object outside the first reference distance from the interaction robot When an action is selected, giving the first interaction action a higher priority than the second interaction action;
Controlling at least one of the information output unit and the driving unit to sequentially execute the first interaction operation and the second interaction operation according to the priority of each interaction operation,
When the short-distance object is the user, the first interaction operation is a following movement operation moving within a second reference distance from the user;
When the information processing unit executes the following movement operation,
creating a virtual path from the interaction robot to the user;
An area within a predetermined safety distance from the virtual path is set as a movement restriction area,
and controlling the wireless communication unit to transmit a movement limiting command for the mobile electronic device to avoid the movement restriction area to the mobile electronic device through the wireless communication network.
제1항에 있어서,
상기 복수의 센싱부는,
상기 인터랙션 로봇 주변의 2차원 영상, 3차원 영상 및 밝기값 중 적어도 하나를 포함하는 제1 센싱 데이터를 생성하는 제1 센싱부를 포함하고,
상기 정보 처리부는,
상기 제1 센싱 데이터를 기초로, 상기 인터랙션 로봇 주변에 위치하는 객체별 객체 특징을 나타내는 시각 기반-상황 데이터를 생성하고,
상기 시각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성하는, 인터랙션 로봇.
According to claim 1,
The plurality of sensing units,
A first sensing unit configured to generate first sensing data including at least one of a 2D image, a 3D image, and a brightness value around the interaction robot;
The information processing unit,
Based on the first sensing data, visual-based-situation data representing object characteristics for each object located around the interaction robot is generated;
An interaction robot that generates the first context-aware information based on the time-based context data.
제2항에 있어서,
상기 정보 처리부는,
상기 제1 센싱부의 두 카메라로부터의 영상을 비교하여, 상기 인터랙션 로봇 주변의 적어도 한 객체의 위치 데이터를 생성하고,
상기 시각 기반-상황 데이터는, 상기 적어도 한 객체의 위치 데이터를 포함하는, 인터랙션 로봇.
According to claim 2,
The information processing unit,
Comparing images from two cameras of the first sensing unit to generate position data of at least one object around the interaction robot;
The time-based-situation data includes location data of the at least one object, the interaction robot.
제1항에 있어서,
상기 복수의 센싱부는,
상기 인터랙션 로봇 주변의 소리를 감지하여 제2 센싱 데이터를 생성하는 제2 센싱부를 포함하고,
상기 정보 처리부는,
상기 제2 센싱 데이터를 기초로, 상기 인터랙션 로봇 주변의 청각 기반-상황 데이터를 생성하고,
상기 청각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성하는, 인터랙션 로봇.
According to claim 1,
The plurality of sensing units,
A second sensing unit configured to detect sounds around the interaction robot and generate second sensing data;
The information processing unit,
Based on the second sensing data, hearing-based context data around the interaction robot is generated;
Based on the auditory-based contextual data, the interaction robot for generating the first contextual information.
제4항에 있어서,
상기 정보 처리부는,
상기 제2 센싱부에 포함된 복수의 마이크 중 적어도 두 마이크로부터의 오디오 신호를 비교하여, 상기 인터랙션 로봇 주변의 적어도 한 음원의 위치 데이터를 생성하고,
상기 청각 기반-상황 데이터는, 상기 적어도 한 음원의 위치 데이터를 포함하는, 인터랙션 로봇.
According to claim 4,
The information processing unit,
Comparing audio signals from at least two of the plurality of microphones included in the second sensing unit to generate position data of at least one sound source around the interaction robot,
The auditory-based context data includes location data of the at least one sound source.
제1항에 있어서,
상기 복수의 센싱부는,
상기 인터랙션 로봇의 몸체의 소정 영역에 대한 접촉 이벤트를 감지하여 제3 센싱 데이터를 생성하는 제3 센싱부를 포함하고,
상기 정보 처리부는,
상기 제3 센싱 데이터를 기초로, 상기 인터랙션 로봇의 촉각 기반-상황 데이터를 생성하고,
상기 촉각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성하는, 인터랙션 로봇.
According to claim 1,
The plurality of sensing units,
A third sensing unit generating third sensing data by detecting a contact event with respect to a predetermined area of the body of the interaction robot;
The information processing unit,
Based on the third sensing data, generating tactile based-situation data of the interaction robot;
Based on the tactile sense-based contextual data, the interaction robot for generating the first contextual information.
제1항에 있어서,
상기 복수의 센싱부는,
상기 인터랙션 로봇 주변의 대기 상태를 감지하여 제4 센싱 데이터를 생성하는 제4 센싱부를 포함하고,
상기 정보 처리부는,
상기 제4 센싱 데이터를 기초로, 상기 인터랙션 로봇의 후각 기반-상황 데이터를 생성하고,
상기 후각 기반-상황 데이터를 기초로, 상기 제1 상황 인지 정보를 생성하는, 인터랙션 로봇.
According to claim 1,
The plurality of sensing units,
A fourth sensing unit configured to sense a standby state around the interaction robot and generate fourth sensing data;
The information processing unit,
Based on the fourth sensing data, generating olfactory based-situation data of the interaction robot;
An interaction robot that generates the first context-aware information based on the olfactory-based context data.
제1항에 있어서,
상기 정보 수집부, 상기 정보 출력부, 상기 구동부 및 상기 정보 처리부에 전력을 공급하는 축전부;
를 더 포함하고,
상기 복수의 센싱부는,
상기 축전부의 상태를 감지하여 제6 센싱 데이터를 생성하는 제6 센싱부를 포함하고,
상기 정보 처리부는,
상기 제6 센싱 데이터를 기초로, 상기 제1 상황 인지 정보를 생성하는, 인터랙션 로봇.
According to claim 1,
a power storage unit supplying power to the information collection unit, the information output unit, the driving unit, and the information processing unit;
Including more,
The plurality of sensing units,
A sixth sensing unit configured to sense a state of the power storage unit and generate sixth sensing data;
The information processing unit,
An interaction robot generating the first contextual information based on the sixth sensing data.
제1항에 있어서,
상기 무선 통신부는,
상기 무선 통신망 통해 적어도 하나의 외부 정보 매체에 엑세스하여 상기 정보 수집부를 통해 감지 불가한 외부 상황을 표현하는 제2 상황 인지 정보를 수집하고,
상기 정보 처리부는,
상기 제2 상황 인지 정보를 더 기초로, 상기 적어도 하나의 인터랙션 동작을 선택하는, 인터랙션 로봇.
According to claim 1,
The wireless communication unit,
Accessing at least one external information medium through the wireless communication network to collect second context-aware information representing an undetectable external situation through the information collection unit;
The information processing unit,
An interaction robot that selects the at least one interaction action further based on the second context awareness information.
제1항에 있어서,
상기 정보 처리부에서 발생되는 열 에너지가 상기 인터랙션 로봇의 몸체에 전달되도록, 상기 인터랙션 로봇의 외면과 상기 정보 처리부 사이에 기계적으로 결합되는 방열 부재;
를 더 포함하는, 인터랙션 로봇.
According to claim 1,
a heat dissipation member mechanically coupled between an outer surface of the interaction robot and the information processing unit so that thermal energy generated by the information processing unit is transmitted to the body of the interaction robot;
Further comprising, interaction robot.
제1항 내지 제10항 중 어느 한 항에 따른 상기 인터랙션 로봇의 제어 방법에 있어서,
상기 복수의 센싱부 중 적어도 하나의 센싱부로부터의 센싱 데이터를 수집하는 단계;
상기 적어도 하나의 센싱부로부터의 센싱 데이터를 기초로, 상기 사용자 및 상기 인터랙션 로봇 중 적어도 하나에 관하여 인지된 상황을 표현하는 제1 상황 인지 정보를 생성하는 단계;
상기 제1 상황 인지 정보를 기초로, 적어도 하나의 인터랙션 동작을 선택하는 단계;
상기 인터랙션 로봇으로부터 제1 기준 거리 이내의 근거리 객체의 객체 특징에 기초한 근거리 상황에 연관된 제1 인터랙션 동작 및 상기 인터랙션 로봇으로부터 상기 제1 기준 거리 밖의 원거리 객체의 객체 특징에 기초한 원거리 상황에 연관된 제2 인터랙션 동작이 선택되는 경우, 상기 제1 인터랙션 동작에 상기 제2 인터랙션 동작보다 높은 우선 순위를 부여하는 단계; 및
상기 정보 출력부 및 상기 구동부 중 적어도 하나를 제어하여, 각 인터랙션 동작의 우선 순위에 따라, 상기 제1 인터랙션 동작 및 상기 제2 인터랙션 동작을 순차적으로 실행하는 단계를 포함하되,
상기 근거리 객체가 상기 사용자인 경우, 상기 제1 인터랙션 동작은 상기 사용자로부터 제2 기준 거리 이내로 이동하는 추종 이동 동작이고,
상기 추종 이동 동작을 실행하는 단계는,
상기 인터랙션 로봇으로부터 상기 사용자로의 가상 경로를 생성하는 단계;
상기 가상 경로로부터 소정의 안전 거리 이내의 영역을 이동 제한 영역으로 설정하는 단계; 및
상기 무선 통신부를 제어하여, IoT 제어 가능한 것으로 등록된 상기 이동형 전자 기기가 상기 이동 제한 영역을 회피하도록 하는 이동 제한 명령을 상기 무선 통신망을 통해 상기 이동형 전자 기기에게 전송하는 단계를 포함하는, 인터랙션 로봇의 제어 방법.
In the control method of the interaction robot according to any one of claims 1 to 10,
collecting sensing data from at least one sensing unit among the plurality of sensing units;
generating first context-aware information representing a recognized situation with respect to at least one of the user and the interaction robot, based on sensing data from the at least one sensing unit;
selecting at least one interaction action based on the first contextual information;
A first interaction action related to a local situation based on an object feature of a local object within a first reference distance from the interaction robot and a second interaction related to a far situation based on an object feature of a far object outside the first reference distance from the interaction robot if an action is selected, giving the first interaction action a higher priority than the second interaction action; and
Controlling at least one of the information output unit and the driving unit to sequentially execute the first interaction operation and the second interaction operation according to the priority of each interaction operation,
When the short-distance object is the user, the first interaction operation is a following movement operation moving within a second reference distance from the user;
In the step of executing the follow-up movement operation,
creating a virtual path from the interaction robot to the user;
setting an area within a predetermined safe distance from the virtual path as a movement restriction area; and
Controlling the wireless communication unit to transmit a movement limiting command for the mobile electronic device registered as IoT controllable to avoid the movement restriction area to the mobile electronic device through the wireless communication network. control method.
제11항에 따른 상기 인터랙션 로봇의 제어 방법을 실행시키기 위해 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램.
A computer program stored in a computer-readable storage medium to execute the control method of the interaction robot according to claim 11.

Images