KR102668933B1 - Apparatus and method for providing customized service - Google Patents

Abstract

본 발명의 실시예에 따른 맞춤형 서비스 제공 장치는 사용자를 인식할 수 있는 장소로 이동하기 위해 제어되는 이동부; 상기 사용자와 관련된 촬영 정보를 수집하는 수집부; 상기 사용자의 상기 맞춤형 서비스를 이용한 내역과 관련된 이용 정보를 저장하는 데이터베이스; 상기 촬영 정보를 입력으로 하는 적어도 하나의 분석 모델의 출력 및 이용 정보에 대한 분석 결과에 기초하여 사용자 정보, 서비스 수행 여부 및 빈도 정보, 취약 콘텐츠 정보 및 콘텐츠 집중도 정보 중 적어도 하나를 포함하는 사용자 분석 정보를 획득하는 분석부; 상기 사용자 분석 정보를 입력으로 하는 맞춤형 서비스 판단 모델의 출력에 기초하여 맞춤형 서비스의 제공 방법을 결정하는 서비스 결정부; 및 상기 서비스 결정부에 의해 결정된 제공 방법에 의한 맞춤형 서비스를 제공하는 서비스 제공부;를 포함한다. A customized service providing device according to an embodiment of the present invention includes a moving unit controlled to move to a place where a user can be recognized; a collection unit that collects shooting information related to the user; a database that stores usage information related to the user's history of using the customized service; User analysis information including at least one of user information, service performance and frequency information, vulnerable content information, and content concentration information based on the output of at least one analysis model that inputs the shooting information and the analysis result of the usage information. Analysis unit to obtain; a service decision unit that determines a method of providing a customized service based on the output of a customized service decision model that inputs the user analysis information; and a service provision unit that provides a customized service according to the provision method determined by the service determination unit.

Description

맞춤형 서비스 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING CUSTOMIZED SERVICE}Apparatus and method for providing customized service {APPARATUS AND METHOD FOR PROVIDING CUSTOMIZED SERVICE}

본 발명은 맞춤형 서비스를 제공하기 위한 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for providing customized services.

최근의 로봇 개발은 이전과 같이 단순히 기계적인 컴퓨팅 장치가 아니라, 인간의 생활에 밀접하게 연관되고 깊숙이 침투할 수 있는 반려 로봇의 개발로 그 방향이 재설정되고 있으며, 이러한 반려 로봇은 인간과 상호작용(Interaction)한다 하여 인터렉션 로봇으로 불리고 있다.Recent robot development is not simply a mechanical computing device as before, but is being redirected toward the development of companion robots that are closely related to and can penetrate deeply into human life, and these companion robots are capable of interacting with humans ( It is called an interaction robot because of its ability to interact.

그러나 현재 출시된 스마트 스피커나 토이 로봇 등과 같은 인터렉션 로봇이 수행하는 상호 작용은 사용자로부터 입력을 수신하고 그에 따른 응답을 출력하는 단순하고 수동적인 동작이 대부분인바, 로봇이 사용자의 상황을 인식하고 상황에 맞도록 사용자에게 필요한 서비스를 능동적으로 제공하기에 무리가 있으며, 단순한 컴퓨팅 장치로 보는 것이 적절하기에 이들과의 차별성이 보다 중요해지고 있다.However, most of the interactions performed by currently released interaction robots, such as smart speakers and toy robots, are simple and passive movements that receive input from the user and output a response accordingly, so the robot recognizes the user's situation and responds to the situation. It is difficult to actively provide the services users need, and it is appropriate to view them as simple computing devices, so differentiation from them is becoming more important.

특히, 집에 거주하는 시간이 긴 노인들의 경우, 노화로 인해 일상적인 생활에 대한 제한이 생기는 경우가 많다. 이에 따라 두뇌 활동이나 신체 활동 등 건강을 위한 다양한 활동을 충분히 할 수 있도록 가족들이나 간병인들의 지원이 요구되나 현실적으로 어려움이 존재한다.In particular, for elderly people who live at home for a long time, aging often results in limitations in their daily lives. Accordingly, support from family members and caregivers is required to enable people to fully engage in various activities for health, such as brain activity and physical activity, but realistic difficulties exist.

하지만, 상기한 바와 같이, 현재 개발된 로봇은 맞춤형 서비스의 제공 대상이 되는 노인 등 사용자의 상황을 정확히 인식하기 어려운 문제점이 있다.However, as mentioned above, currently developed robots have a problem in that it is difficult to accurately recognize the situation of users, such as the elderly, who are the target of customized services.

현재 개발된 맞춤형 서비스 제공 목적의 로봇은 두뇌 활동 또는 신체 활동과 관련된 서비스를 제공하는 경우도 있으나, 이러한 서비스의 제공은 대부분 사용자가 원하는 서비스를 입력한 경우에 제공되는 경우가 많다. 따라서, 로봇이 능동적으로 사용자의 상황을 인식하여 상황에 대응되는 적절한 서비스를 제공하기 어려운 실정이다.Currently developed robots for the purpose of providing customized services sometimes provide services related to brain activity or physical activity, but in most cases, these services are provided when the user inputs the desired service. Therefore, it is difficult for a robot to actively recognize the user's situation and provide appropriate services corresponding to the situation.

한국공개특허공보 제10-2004-0034164호 (2023.02.26. 등록)Korean Patent Publication No. 10-2004-0034164 (registered on February 26, 2023)

로봇을 이용해 능동적으로 사용자의 상황을 정확히 인식하고, 사용자의 상황에 대응되는 맞춤형 서비스를 제공하기 위한 맞춤형 서비스 제공 장치 및 그 방법을 제공하고자 한다.We aim to provide a customized service provision device and method for actively and accurately recognizing the user's situation using a robot and providing customized services corresponding to the user's situation.

또한, 본 발명은 시각적 정보뿐 아니라 다양한 종류의 센싱 데이터를 활용하여, 로봇이 사용자의 상황을 보다 정확히 인식하여 사용자의 로봇 활용성을 보다 증대시킬 수 있는 맞춤형 서비스 제공 장치 및 그 방법을 제공하고자 한다.In addition, the present invention seeks to provide a customized service provision device and method that can utilize not only visual information but also various types of sensing data to enable the robot to more accurately recognize the user's situation and further increase the user's usability of the robot. .

또한, 본 발명은 수집된 정보에 기초하여 사용자의 상황을 판단할 때, 수집된 정보의 상태와 종류에 따라 판단 기준을 달리하여 판단함으로써 사용자의 상황을 잘못 인식할 확률을 감소시키기 위한 맞춤형 서비스 제공 장치 및 그 방법을 제공하고자 한다.In addition, the present invention provides a customized service to reduce the probability of misrecognizing the user's situation by judging the user's situation based on the collected information by varying the judgment criteria depending on the state and type of the collected information. The purpose is to provide a device and method.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. However, the technical challenges that this embodiment aims to achieve are not limited to the technical challenges described above, and other technical challenges may exist.

상술한 기술적 과제를 달성하기 위한 수단으로서 본 발명의 일 실시예는, 사용자 맞춤형 서비스를 제공하는 장치에 있어서, 상기 사용자를 인식할 수 있는 장소로 이동하기 위해 제어되는 이동부; 상기 사용자와 관련된 촬영 정보를 수집하는 수집부; 상기 사용자의 상기 맞춤형 서비스를 이용한 내역과 관련된 이용 정보를 저장하는 데이터베이스; 상기 촬영 정보를 입력으로 하는 적어도 하나의 분석 모델의 출력 및 이용 정보에 대한 분석 결과에 기초하여 사용자 정보, 서비스 수행 여부 및 빈도 정보, 취약 콘텐츠 정보 및 콘텐츠 집중도 정보 중 적어도 하나를 포함하는 사용자 분석 정보를 획득하는 분석부; 상기 사용자 분석 정보를 입력으로 하는 맞춤형 서비스 판단 모델의 출력에 기초하여 맞춤형 서비스의 제공 방법을 결정하는 서비스 결정부; 및 상기 서비스 결정부에 의해 결정된 제공 방법에 의한 맞춤형 서비스를 제공하는 서비스 제공부; 를 포함한다.One embodiment of the present invention as a means to achieve the above-described technical problem is an apparatus for providing customized services, comprising: a moving unit controlled to move to a place where the user can be recognized; a collection unit that collects shooting information related to the user; a database that stores usage information related to the user's history of using the customized service; User analysis information including at least one of user information, service performance and frequency information, vulnerable content information, and content concentration information based on the output of at least one analysis model that inputs the shooting information and the analysis result of the usage information. Analysis unit to obtain; a service decision unit that determines a method of providing a customized service based on the output of a customized service decision model that inputs the user analysis information; and a service provision unit that provides a customized service according to a provision method determined by the service decision unit; Includes.

또한, 본 발명의 다른 실시예는, 사용자 맞춤형 서비스를 제공하는 방법에 있어서, 상기 사용자를 인식할 수 있는 장소로 이동하는 단계; 상기 사용자와 관련된 촬영 정보를 수집하는 단계; 상기 사용자의 상기 맞춤형 서비스를 이용한 내역과 관련된 이용 정보를 저장하는 단계; 상기 촬영 정보를 입력으로 하는 적어도 하나의 분석 모델의 출력 및 이용 정보에 대한 분석 결과에 기초하여 사용자 정보, 서비스 수행 여부 및 빈도 정보, 취약 콘텐츠 정보 및 콘텐츠 집중도 정보 중 적어도 하나를 포함하는 사용자 분석 정보를 획득하는 단계; 상기 사용자 분석 정보를 입력으로 하는 맞춤형 서비스 판단 모델의 출력에 기초하여 맞춤형 서비스의 제공 방법을 결정하는 단계; 및 상기 서비스 결정부에 의해 결정된 제공 방법에 의한 맞춤형 서비스를 제공하는 단계;를 포함한다.In addition, another embodiment of the present invention provides a method for providing a customized service, comprising: moving to a place where the user can be recognized; collecting shooting information related to the user; storing usage information related to the user's history of using the customized service; User analysis information including at least one of user information, service performance and frequency information, vulnerable content information, and content concentration information based on the output of at least one analysis model that inputs the shooting information and the analysis result of the usage information. Obtaining; determining a method of providing a customized service based on the output of a customized service decision model that inputs the user analysis information; and providing a customized service according to the provision method determined by the service decision unit.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described means for solving the problem are merely illustrative and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and detailed description of the invention.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자가 좋아하는 콘텐츠를 더 많이 제안하거나, 혹은 사용자에게 필요하면서 취약한 것을 더 많이 제안하도록 맞춤형 서비스를 제공할 수 있다.According to any one of the means for solving the problems of the present invention described above, a customized service can be provided to suggest more content that the user likes, or more content that the user needs but is vulnerable to.

또한, 본 발명은 콘텐츠 점수 정보를 통해 사용자가 취약한 콘텐츠가 무엇인지 알 수 있다.Additionally, the present invention allows users to know which content they are vulnerable to through content score information.

또한, 본 발명은 표정 정보, 얼굴 방향 정보를 통해 사용자의 콘텐츠에 대한 집중력 및 흥미를 용이하게 파악할 수 있다.Additionally, the present invention can easily determine the user's concentration and interest in content through facial expression information and facial direction information.

또한, 본 발명은 맞춤형 서비스 제공 장치의 스케줄에 따라 서비스를 제공할 때 사용자로부터 획득되는 행동 정보, 위치 정보를 통해 실제 수행 여부를 용이하게 파악할 수 있다.In addition, the present invention can easily determine whether the service is actually performed through behavioral information and location information obtained from the user when providing a service according to a schedule of a customized service provision device.

도 1은 본 발명의 일 실시예에 따른 맞춤형 서비스 제공 장치의 구성도이다.
도 2 내지 도 4은 본 발명의 일 실시예에 따른 분석부의 동작을 예시하여 설명하기 위한 개념도이다.
도 5 내지 도 11은 본 발명의 일 실시예에 따른 맞춤형 서비스 제공 장치에서 촬영 정보를 분석하기 위한 분석 모델들을 예시하여 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 맞춤형 서비스 제공 장치에서 사용자에게 맞춤형 서비스를 제공하는 과정을 예시하여 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 맞춤형 서비스 제공 방법을 설명하기 위한 순서도이다. 1 is a configuration diagram of a customized service provision device according to an embodiment of the present invention.
2 to 4 are conceptual diagrams illustrating and illustrating the operation of the analysis unit according to an embodiment of the present invention.
5 to 11 are diagrams for illustrating and illustrating analysis models for analyzing shooting information in a customized service providing device according to an embodiment of the present invention.
FIG. 12 is a diagram illustrating and illustrating a process of providing a customized service to a user in a customized service providing device according to an embodiment of the present invention.
Figure 13 is a flowchart for explaining a method of providing customized services according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Below, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts unrelated to the description are omitted, and similar parts are given similar reference numerals throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected," but also the case where it is "electrically connected" with another element in between. . In addition, when a part is said to "include" a certain component, this means that it does not exclude other components, but may further include other components, unless specifically stated to the contrary, and one or more other features. It should be understood that it does not exclude in advance the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, 'part' includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Additionally, one unit may be realized using two or more pieces of hardware, and two or more units may be realized using one piece of hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.In this specification, some of the operations or functions described as being performed by a terminal or device may instead be performed on a server connected to the terminal or device. Likewise, some of the operations or functions described as being performed by the server may also be performed on a terminal or device connected to the server.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명의 일 실시예에 따른 맞춤형 서비스 제공 장치(100)의 구성도이다.Figure 1 is a configuration diagram of a customized service providing device 100 according to an embodiment of the present invention.

도 1을 참조하면, 맞춤형 서비스 제공 장치(100)는 이동부(110), 수집부(120), 데이터베이스(130), 분석부(140), 서비스 결정부(150) 및 서비스 제공부(160)를 포함할 수 있다. Referring to Figure 1, the customized service providing device 100 includes a moving unit 110, a collection unit 120, a database 130, an analysis unit 140, a service decision unit 150, and a service provision unit 160. may include.

맞춤형 서비스 제공 장치(100)는 내장된 전원 또는 외부의 전원에 기초하여 동작하며 사용자의 위치를 인식하거나 상호작용하여 맞춤형 서비스를 제공하기 위한 로봇으로 예시될 수 있다. 보다 구체적으로, 맞춤형 서비스 제공 장치(100)는 사용자와 상호 작용하기 위한 기능을 구현하기 위한 이동부(110)와 연동하여 동작할 수 있는 바디부(미도시)가 포함될 수 있고, 기타 로봇의 구동을 위해 필요한 부가적인 구성들 역시 더 포함할 수 있다. The customized service providing device 100 operates based on a built-in power source or an external power source and may be exemplified as a robot for providing customized services by recognizing or interacting with the user's location. More specifically, the customized service provision device 100 may include a body part (not shown) that can operate in conjunction with the moving part 110 to implement functions for interacting with the user, and drives other robots. Additional components necessary for this may also be included.

바디부는 맞춤형 서비스 제공 장치(100)의 주요 부품들, 예를 들어 CPU(미도시), 배터리(미도시), 통신부(미도시) 등과 같은 부품들이 내부에 실장 또는 기타 다른 부품들이 외부에 연결되는 중심 구성으로서, 사용자를 촬영하기 위한 수집부(120), 사용자의 음성이나 주변 소리를 센싱하여 관련 정보를 생성하기 위한 마이크(미도시)와 이미지, 동영상, 텍스트 및 소리 중 적어도 하나 이상으로 구성된 콘텐츠를 출력하기 위한 서비스 제공부(160)를 더 포함할 수 있다.The body part is where the main components of the customized service provision device 100, such as CPU (not shown), battery (not shown), communication unit (not shown), etc. are mounted inside or other components are connected to the outside. As a central component, a collection unit 120 for photographing the user, a microphone (not shown) for generating related information by sensing the user's voice or surrounding sounds, and content consisting of at least one of image, video, text, and sound. It may further include a service providing unit 160 for outputting.

바디부는 이동부(110)를 통해 사용자가 위치하는 방향을 바라보도록 회전되거나 이동될 수 있고, 이를 통해 수집부(120)는 카메라를 통해 사용자를 촬영하여 촬영 정보를 생성할 수 있다. 또한, 수집부(120)의 카메라에도 카메라의 촬영 방향을 제어하기 위한 제어 장치가 구비되어 카메라의 상하 방향이나 좌우 방향 제어를 통해 사용자의 전신을 촬영하거나 사용자의 얼굴이 보다 잘 드러나도록 촬영을 수행할 수 있다. The body part can be rotated or moved to look in the direction in which the user is located through the moving unit 110, and through this, the collection unit 120 can capture the user using the camera and generate capturing information. In addition, the camera of the collection unit 120 is also equipped with a control device to control the shooting direction of the camera, so that the user's whole body is captured or the user's face is more clearly visible by controlling the camera's up and down or left and right directions. can do.

이동부(110)는 맞춤형 서비스 제공 장치(100)를 이동시킬 수 있다. 보다 구체적으로, 이동부(110)는 제어 장치의 이동 명령에 따라 주행과 관련하여 로봇의 바디부가 특정 공간 내를 이동할 수 있는 수단을 제공한다. 보다 구체적으로, 이동부(110)는 모터 및 복수의 바퀴를 포함하며, 이들이 조합되어, 맞춤형 서비스 제공 장치(100)를 주행, 방향 전환, 회전시키는 기능을 수행할 수 있다.The moving unit 110 can move the customized service providing device 100. More specifically, the moving unit 110 provides a means for the body part of the robot to move within a specific space in relation to driving according to a movement command from the control device. More specifically, the moving unit 110 includes a motor and a plurality of wheels, which can be combined to perform functions of driving, changing direction, and rotating the customized service providing device 100.

상기한 바디부 및 이동부(110)에 의해 수행되는 기능들은 바디부 내의 제어부(미도시)에서 출력되는 제어 신호에 의해 수행되나, 설명의 편의를 위해 맞춤형 서비스 제공 장치(100)에 의해 수행되는 것으로 설명을 이어가도록 한다.The functions performed by the body unit and moving unit 110 are performed by control signals output from a control unit (not shown) within the body unit, but for convenience of explanation, they are performed by the customized service providing device 100. Let’s continue the explanation.

수집부(120)는 카메라와 같은 시각 센서를 통해 사용자 또는 사용자 주변의 환경을 촬영할 수 있다. 여기서 시각 센서에 포함되는 구성은 일반적인 RGB(Red Green Blue) 픽셀의 촬영 정보를 생성하는 카메라, 어두운 환경에서 대상을 촬영하기 위한 적외선 카메라, 촬영 대상과의 거리에 대한 깊이 정보를 생성할 수 있는 깊이 카메라와 같은 촬영 장치들이 예시될 수 있다. 촬영 정보는 수집부(120)의 카메라를 통해 촬영된 사용자를 포함하는 이미지를 의미할 수 있다. 촬영 정보는 사용자를 피사체로 하는 이미지 또는 영상을 포함하는 시각적 정보일 수 있으며, 촬영 정보에는 사용자의 신체와 사용자 주변의 물체나 배경도 포함될 수 있다. 촬영 정보는 이후 분석부(140)에 의해 분석되어 이후의 맞춤형 서비스 제공에 활용될 수 있다. The collection unit 120 may photograph the user or the environment around the user through a visual sensor such as a camera. Here, the components included in the visual sensor include a camera that generates shooting information of general RGB (Red Green Blue) pixels, an infrared camera for shooting objects in a dark environment, and a depth camera that can generate depth information about the distance to the photographed object. Photographing devices such as cameras may be exemplified. Captured information may refer to an image including a user captured through the camera of the collection unit 120. The shooting information may be visual information including an image or video with the user as the subject, and the shooting information may also include the user's body and objects or backgrounds around the user. The shooting information can then be analyzed by the analysis unit 140 and used to provide future customized services.

수집부(120)는 카메라를 통해 사용자를 촬영할 수 있으며, 필요에 따라 촬영 각도를 변경하기 위해 상하나 좌우 방향으로 카메라를 회전시킬 수 있다. 예를 들어, 수집부(120)는 제1의 방향에서 촬영된 사용자 이미지 및 제2의 방향에서 촬영된 사용자 이미지를 촬영 정보로써 획득할 수 있다.The collection unit 120 can photograph the user through a camera, and can rotate the camera up or down or left and right to change the photographing angle as needed. For example, the collection unit 120 may acquire a user image captured in a first direction and a user image captured in a second direction as shooting information.

맞춤형 서비스 제공 장치(100)는 통신부(미도시)를 통해 유선 또는 무선의 외부 장치 또는 서버와 연결될 수 있다. 데이터베이스(130)는 맞춤형 서비스 제공 장치(100)의 통신부와 외부 장치 또는 서버 간의 데이터 통신을 통해 업데이트될 수 있다. 예를 들면, 데이터베이스(130)는 외부 장치 또는 서버로부터 통신부를 통해 수신되는 서비스 실행 정보, 신원 정보 및 콘텐츠 점수 정보에 기초하여 데이터베이스(130)에 기저장된 서비스 실행 정보, 신원 정보 및 콘텐츠 점수 정보를 업데이트할 수 있다.The customized service providing device 100 may be connected to a wired or wireless external device or server through a communication unit (not shown). The database 130 may be updated through data communication between the communication unit of the customized service providing device 100 and an external device or server. For example, the database 130 stores the service execution information, identity information, and content score information pre-stored in the database 130 based on the service execution information, identity information, and content score information received through the communication unit from an external device or server. It can be updated.

맞춤형 서비스 제공 장치(100)는 통신부를 이용하여 외부의 서버 또는 장치와 유선 또는 무선의 네트워크(network)를 통해 연결될 수 있다. 예를 들어, 맞춤형 서비스 제공 장치(100)는 외부의 서버(미도시) 또는 다른 로봇(미도시)와 동시에 또는 시간 간격을 두고 네트워크로 연결될 수 있다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.The customized service providing device 100 may be connected to an external server or device through a wired or wireless network using a communication unit. For example, the customized service providing device 100 may be connected to a network with an external server (not shown) or another robot (not shown) simultaneously or at time intervals. In addition, a network refers to a connection structure that allows information exchange between nodes such as terminals and servers, including a local area network (LAN), a wide area network (WAN), and the Internet (WWW). : World Wide Web), wired and wireless data communication networks, telephone networks, and wired and wireless television communication networks. Examples of wireless data communication networks include 3G, 4G, 5G, 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), WIMAX (World Interoperability for Microwave Access), Wi-Fi, Bluetooth communication, infrared communication, and ultrasound. This includes, but is not limited to, communication, Visible Light Communication (VLC), LiFi, etc.

분석부(140)는 촬영 정보를 입력으로 하는 적어도 하나의 분석 모델의 출력 및 이용 정보에 대한 분석 결과에 기초하여 사용자 정보, 서비스 수행 여부 및 빈도 정보, 취약 콘텐츠 정보 및 콘텐츠 집중도 정보 중 적어도 하나를 포함하는 사용자 분석 정보를 획득할 수 있다.The analysis unit 140 generates at least one of user information, service performance and frequency information, vulnerable content information, and content concentration information based on the output of at least one analysis model that inputs shooting information and the results of analysis of usage information. User analysis information including:

예를 들면, 분석부(140)는 골격 추출 모델, 행동 인식 모델, 공간 분류 모델, 물체 감지 모델, 특징점 추출 모델, 표정 분류 모델 및 얼굴 랜드마크 추출 모델 중 적어도 하나의 분석 모델을 이용할 수 있고, 적어도 하나의 분석 모델의 출력 및 이용 정보에 대한 분석 결과에 기초하여 사용자 정보, 서비스 수행 여부 및 빈도 정보, 취약 콘텐츠 정보 및 콘텐츠 집중도 정보 중 적어도 하나를 포함하는 사용자 분석 정보를 획득할 수 있다. 전술한 분석부(140)의 실시예에 대한 상세한 설명은 도 2 내지 도 4를 참조하여 후술하도록 한다.For example, the analysis unit 140 may use at least one analysis model among a skeleton extraction model, an action recognition model, a spatial classification model, an object detection model, a feature point extraction model, an expression classification model, and a facial landmark extraction model, Based on the output of at least one analysis model and the analysis result of the usage information, user analysis information including at least one of user information, service performance and frequency information, vulnerable content information, and content concentration information may be obtained. A detailed description of the embodiment of the above-described analysis unit 140 will be described later with reference to FIGS. 2 to 4.

서비스 결정부(150)는 분석부(140)의 분석 결과에 따라 획득되는 사용자 분석 정보를 입력으로 하는 맞춤형 서비스 판단 모델의 출력에 기초하여 맞춤형 서비스의 제공 방법을 결정할 수 있다. 예를 들어, 맞춤형 서비스의 제공 방법은 맞춤형 서비스를 제공하기 위한 이동 여부 및 이동 위치, 맞춤형 서비스 제공 대상(예: 서비스에 등록된 사용자), 맞춤형 서비스에 따른 게임 콘텐츠 종류, 난이도 및 제공 스케줄 등을 포함할 수 있다.The service decision unit 150 may determine a method of providing a customized service based on the output of a customized service decision model that inputs user analysis information obtained according to the analysis result of the analysis unit 140. For example, the method of providing customized services includes whether and where to move to provide customized services, the target of customized services (e.g. users registered for the service), the type of game content according to the customized service, difficulty level, and provision schedule, etc. It can be included.

서비스 제공부(160)는 서비스 결정부(150)에 의해 결정된 제공 방법에 의한 맞춤형 서비스를 제공할 수 있다. 예를 들면, 서비스 제공부(160)는 사용자가 인식되는 장소로 이동하도록 이동부(110)를 제어하고, 사용자가 인식되면 서비스 결정부(150)에 의해 결정된 제공 방법에 의한 맞춤형 서비스를 제공할 수 있다. 예를 들어, 맞춤형 서비스는 게임 콘텐츠 종류 및 게임 콘텐츠 난이도, 게임 콘텐츠 제공 횟수, 게임 콘텐츠 제공 스케줄 중 적어도 하나를 포함하고, 사용자의 음성 입력에 대응하도록 게임 콘텐츠의 난이도를 조절하는 것을 특징으로 할 수 있다.The service provider 160 may provide a customized service using the provision method determined by the service determination unit 150. For example, the service provider 160 controls the mobile unit 110 to move to a location where the user is recognized, and when the user is recognized, it provides a customized service according to the provision method determined by the service determination unit 150. You can. For example, the customized service may include at least one of the type of game content, the difficulty of the game content, the number of times of game content provision, and the game content provision schedule, and may be characterized by adjusting the difficulty of the game content to respond to the user's voice input. there is.

실시예에서, 서비스 제공부(160)는 디스플레이 및 스피커 중 적어도 하나 이상을 포함할 수 있는데, 이 중 디스플레이는 일종의 액정 표시 장치로서, 소정 정보의 텍스트, 이미지 및 동영상 중 어느 하나 이상이 출력될 수 있다. 여기서 소정 정보는 통신 상태 강도 정보, 배터리 잔량 정보, 무선 인터넷 ON/OFF정보 등과 같은 맞춤형 서비스 제공 장치(100)의 상태 정보를 포함할 수 있다. 디스플레이는 후술할 운동 콘텐츠를 표시할 수 있고, 서비스 제공부(160)의 스피커를 통해 출력하는 음성을 텍스트로 변환한 정보도 표시할 수 있다. 예를 들어, 맞춤형 서비스 제공 장치(100)가 운동 콘텐츠에 대응되는 음성을 사용자에게 제공하는 과정에서 동작 지시를 하는 경우, 이에 대한 텍스트가 "오른팔을 더욱 높게 드세요 "와 같은 텍스트가 디스플레이에 출력될 수 있다.In an embodiment, the service provider 160 may include at least one of a display and a speaker, of which the display is a type of liquid crystal display device, and can output any one or more of text, images, and videos of predetermined information. there is. Here, the predetermined information may include status information of the customized service providing device 100, such as communication status strength information, battery remaining amount information, and wireless Internet ON/OFF information. The display can display exercise content, which will be described later, and can also display information converted from voice output through the speaker of the service provider 160 into text. For example, when the customized service providing device 100 provides an action instruction in the process of providing a voice corresponding to exercise content to the user, text such as "Raise your right arm higher" may be displayed on the display. You can.

이러한 디스플레이에 출력되는 텍스트는 앞서 설명한 정보 중 어느 하나가 반복하여 출력될 수도 있으나, 복수 개의 정보가 번갈아가며 출력되거나, 특정 정보가 디폴트 설정되어 출력될 수도 있다. 예를 들어, 통신 상태 강도 정보, 배터리 잔량 정보, 무선 인터넷 ON/OFF 정보 등과 같은 맞춤형 서비스 제공 장치(100)의 상태 정보는 디스플레이의 상단 또는 하단에 작은 텍스트로 디폴트 설정되어 지속적으로 출력되고, 기타 다른 정보 들이 번갈아가며 출력될 수 있다.The text output on such a display may be one of the pieces of information described above repeatedly, or a plurality of pieces of information may be displayed alternately, or specific information may be displayed as a default. For example, the status information of the customized service providing device 100, such as communication status strength information, battery remaining amount information, wireless Internet ON/OFF information, etc., is continuously output by default as small text at the top or bottom of the display, and other Different information can be output alternately.

한편, 디스플레이는 이미지 및 동영상 중 어느 하나 이상을 출력할 수 있다고 한 바, 이 경우 디스플레이는 시안성 향상을 위해 텍스트만 출력하는 경우보다 고해상도임과 동시에 큰 사이즈의 액정 표시 장치로 구현하는 것이 바람직하다고 할 것이다. 후술하는 바와 같이, 디스플레이는 맞춤형 서비스 제공 장치(100)의 외면 또는 내부에 구성되거나 맞춤형 서비스 제공 장치(100)의 외부에 별도의 장치로 구성될 수도 있다. Meanwhile, it is said that the display can output one or more of images and videos. In this case, it is desirable to implement the display as a high-resolution and large-sized liquid crystal display device compared to the case where only text is output to improve visibility. something to do. As will be described later, the display may be configured on the outside or inside of the customized service providing device 100, or may be configured as a separate device outside of the customized service providing device 100.

스피커는 음성을 포함하는 다양한 소리를 출력할 수 있다. 여기서 음성은 사용자와 인터렉션을 하기 위해 맞춤형 서비스 제공 장치(100)가 출력하는 청각적인 정보에 해당하는 것으로서, 사용자의 단말(미도시)에 설치된 미디어 전용 어플리케이션 또는 맞춤형 서비스 제공 장치(100)에 대한 직접적인 제어를 통해 음성의 종류를 다양하게 설정할 수 있다.Speakers can output various sounds, including voice. Here, the voice corresponds to auditory information output by the customized service providing device 100 to interact with the user, and is directly transmitted to a media-only application installed on the user's terminal (not shown) or to the customized service providing device 100. You can set various types of voices through control.

예를 들어, 스피커를 통해 출력하는 음성의 종류를 남성 목소리, 여성 목소리, 성인 목소리 및 아동 목소리 등과 같이 다양한 목소리 중 어느 하나로 선택할 수 있으며, 한국어, 영어, 일본어 및 불어 등과 같이 언어의 종류까지 선택할 수 있다.For example, you can select the type of voice output through the speaker from a variety of voices such as male, female, adult, and child voices, and even select languages such as Korean, English, Japanese, and French. there is.

한편, 스피커가 음성을 출력하기는 하나, 통상적인 스피커가 수행하는 역할, 예를 들어 보편적인 소리출력을 수행할 수 있다. 예를 들어, 사용자가 맞춤형 서비스 제공 장치(100)를 통해 음악을 감상하고 싶은 경우, 스피커를 통해 음악을 출력할 수 있음은 물론이며, 디스플레이를 통해 동영상을 출력하는 경우, 해당 동영상과 동기화되는 소리는 스피커를 통해 출력될 수 있다.Meanwhile, although the speaker outputs sound, it can perform the role performed by a typical speaker, for example, outputting general sound. For example, if a user wants to listen to music through the customized service provision device 100, music can be output through the speaker, and if a video is output through the display, the sound is synchronized with the video. can be output through a speaker.

후술하는 맞춤형 서비스 제공 장치(100)에 포함되는 각 구성과 해당 구성에 의해 수행되는 기능들은 바디부 내의 제어부(미도시)에서 출력되는 제어 신호에 의해 수행되나, 설명의 편의를 위해 이하 맞춤형 서비스 제공 장치(100)에 의해 수행되는 것으로 설명을 이어가도록 한다.Each component included in the customized service providing device 100, which will be described later, and the functions performed by the component are performed by control signals output from a control unit (not shown) within the body, but for convenience of explanation, the following customized service is provided. The explanation will continue with what is performed by the device 100.

실시예에서, 맞춤형 서비스 제공 장치(100)는 통신부(미도시)를 통해 유선 또는 무선의 외부 장치 또는 서버와 연결될 수 있으며, 데이터 송수신을 통해 외부의 디스플레이 장치 또는 외부의 스피커 장치에 게임 콘텐츠 또는 운동 콘텐츠 등 다양한 콘텐츠를 제공하거나 재생되도록 할 수 있다. In an embodiment, the customized service providing device 100 may be connected to a wired or wireless external device or server through a communication unit (not shown), and may transmit game content or exercise to an external display device or an external speaker device through data transmission and reception. Various contents such as content can be provided or played.

예를 들어, 서비스 제공부(160)는 사용자의 두뇌 활동을 활성화하기 위한 게임 콘텐츠를 제공할 수 있다.For example, the service provider 160 may provide game content to activate the user's brain activity.

여기서 게임 콘텐츠는 사용자의 두뇌 활동을 활성화하여 관련 노인성 질환을 예방하기 위한 콘텐츠일 수 있고, 외부의 장치로부터 맞춤형 서비스 제공 장치(100)에 사전에 입력되거나, 외부의 서버로부터 맞춤형 서비스 제공 장치(100)에 실시간 스트리밍의 형태로 제공될 수도 있다. Here, the game content may be content to prevent related geriatric diseases by activating the user's brain activity, and may be input in advance into the customized service provision device 100 from an external device, or may be input into the customized service provision device 100 from an external server. ) may also be provided in the form of real-time streaming.

게임 콘텐츠는 사용자의 두뇌 활동을 활성화하기 위해 전두엽, 측두엽 등 두뇌의 다양한 영역을 자극할 수 있는 게임 또는 인지 능력을 향상시킬 수 있는 게임 형식의 콘텐츠에 관한 것일 수 있다. 즉, 게임 콘텐츠는 사용자가 보거나 들을 수 있는 콘텐츠에 대한 상호작용 기회를 제공하여 사용자의 두뇌 활동을 활성화하기 위한 콘텐츠를 포함할 수 있다. 그리고 서비스 제공부(160)는 맞춤형 서비스 제공 장치(100)에 구비된 디스플레이 및 스피커 중 적어도 하나 이상을 통해 상기 게임 콘텐츠를 재생할 수 있다.Game content may be about games that can stimulate various areas of the brain, such as the frontal lobe and temporal lobe, to activate the user's brain activity, or game-type content that can improve cognitive abilities. In other words, game content may include content to activate the user's brain activity by providing opportunities for interaction with content that the user can see or hear. And the service provider 160 may play the game content through at least one of a display and a speaker provided in the customized service provision device 100.

다른 실시예에서, 서비스 제공부(160)는 사용자의 운동 수행을 보조하기 위한 운동 콘텐츠를 재생할 수 있다.In another embodiment, the service provider 160 may play exercise content to assist the user in performing exercise.

여기서 운동 콘텐츠는 사용자의 운동을 보조하기 위한 콘텐츠로서, 외부의 장치로부터 맞춤형 서비스 제공 장치(100)에 사전에 입력되거나, 외부의 서버로부터 맞춤형 서비스 제공 장치(100)에 실시간 스트리밍의 형태로 제공될 수도 있다. Here, the exercise content is content to assist the user's exercise, and may be pre-entered into the customized service provision device 100 from an external device or provided in the form of real-time streaming from an external server to the customized service provision device 100. It may be possible.

운동 콘텐츠는 사용자의 신체 능력을 향상시키기 위한 콘텐츠를 포함할 수 있다. 예를 들어, 운동 콘텐츠는 체조, 스트레칭, 부위별 집중체조, 댄스, 에어로빅, 요가 및 건강 박수 등에 대한 콘텐츠를 포함할 수 있으며, 간단한 동작, 심신안정, 스트레칭, 유연성 회복, 신체 근력 강화 등, 신체 기능을 유지 및 향상시키기 위한 콘텐츠에 관한 것일 수 있다. Exercise content may include content to improve the user's physical abilities. For example, exercise content may include content about gymnastics, stretching, intensive gymnastics for each part, dance, aerobics, yoga, and health clapping, as well as simple movements, mental and physical stability, stretching, recovery of flexibility, strengthening of body strength, etc. It may be about content to maintain and improve functionality.

즉, 운동 콘텐츠는 사용자가 보거나 듣고 따라할 수 있는 운동 방법을 제공하여 사용자의 운동 수행을 보조하기 위한 콘텐츠를 포함할 수 있다. 그리고 서비스 제공부(160)는 맞춤형 서비스 제공 장치(100)에 구비된 디스플레이 및 스피커 중 적어도 하나 이상을 통해 상기 운동 콘텐츠를 재생할 수 있다. In other words, exercise content may include content to assist the user in performing exercise by providing exercise methods that the user can see, hear, or follow. Additionally, the service provider 160 may reproduce the exercise content through at least one of a display and a speaker provided in the customized service provision device 100.

본 발명의 실시예에서 운동 콘텐츠는 사용자의 체조 또는 스트레칭을 돕기 위해 모범 자세를 출력하는 콘텐츠로 구성될 수 있다. 모범 자세는 사용자가 재생되는 운동 콘텐츠를 시청하고 따라할 수 있는 실루엣 또는 모델의 포징을 통해 구현될 수 있다. In an embodiment of the present invention, exercise content may consist of content that outputs exemplary postures to help users do gymnastics or stretching. Exemplary postures can be implemented through posing of silhouettes or models that allow users to watch and follow the exercise content being played.

반면, 서비스 제공부(160)는 게임 콘텐츠 또는 운동 콘텐츠를 맞춤형 서비스 제공 장치(100)와 유선 또는 무선으로 연결된 외부의 디스플레이 장치(미도시) 및 유선 또는 무선으로 연결된 외부의 스피커 장치(미도시) 중 적어도 하나 이상을 통해 재생할 수도 있다. 외부의 디스플레이 장치는 맞춤형 서비스 제공 장치(100)에 구비된 디스플레이 보다 대화면 상에서 콘텐츠들을 제공하여 사용자가 콘텐츠들을 보다 정확하게 인지할 수 있다는 장점이 있다. 또한, 외부의 스피커 장치도 맞춤형 서비스 제공 장치(100)에 구비된 스피커보다 고출력으로 콘텐츠들을 재생함으로써 사용자가 재생되는 소리를 정확히 인식할 수 있도록 하는 장점이 있다.On the other hand, the service provider 160 provides game content or exercise content using an external display device (not shown) connected wired or wirelessly to the customized service provision device 100 and an external speaker device (not shown) connected wired or wirelessly. It can also be played through at least one of the following. The external display device has the advantage of providing content on a larger screen than the display provided in the customized service providing device 100 so that the user can perceive the content more accurately. In addition, the external speaker device has the advantage of playing content at a higher output than the speaker provided in the customized service providing device 100, allowing the user to accurately recognize the sound being played.

도 1에 도시되지 않았으나, 맞춤형 서비스 제공 장치(100)는 마이크를 구비할 수 있으며, 마이크는 소리 센서를 통해 사용자 또는 사용자 주변의 환경의 소리를 수신할 수 있다. 여기서 사용자의 음성이나 주변 소리는 사용자와의 인터렉션에 있어서 사용자 입력으로 취급되는 중요한 정보이기에, 마이크가 배치되는 위치는 사용자의 음성이나 주변 소리를 수신하는데 방해되는 요소가 없는 위치에 배치하는 것이 바람직하다. 예를 들어, 맞춤형 서비스 제공 장치(100)의 전면에 형성된 스피커의 홀(Hole) 바로 후면에 배치한다면, 사용자의 음성이나 주변 소리를 직접적으로 수신할 수 있을 것이다.Although not shown in FIG. 1, the customized service providing device 100 may be equipped with a microphone, and the microphone may receive sounds from the user or the environment around the user through a sound sensor. Here, the user's voice or surrounding sounds are important information that is treated as user input in interaction with the user, so it is desirable to place the microphone in a location where there are no elements that interfere with receiving the user's voice or surrounding sounds. . For example, if placed right behind the hole of the speaker formed on the front of the customized service providing device 100, the user's voice or surrounding sounds can be directly received.

한편, 마이크는 후술할 스피커와 별도로 배치된 독립된 구성이 아니라, 스피커와 일체로 형성할 수도 있다. 이 경우, 앞서 설명한 마이크가 배치되는 위치에 대한 사항은 고려할 필요가 없을 것이며, 바디부 내부의 공간 활용성 역시 양호해질 수 있을 것이다.Meanwhile, the microphone may not be an independent structure disposed separately from the speaker, which will be described later, but may be formed integrally with the speaker. In this case, there will be no need to consider the above-described location of the microphone, and space utilization inside the body can also be improved.

이 외에도 맞춤형 서비스 제공 장치(100)는 사용자나 맞춤형 서비스 제공 장치(100) 주변의 상황에 대한 데이터를 획득하기 위한 근접 센서, 레이저 스캐너(라이다 센서), RGBD 센서, 지자기 센서, 초음파 센서, 관성 센서, UWB 센서 등을 구비할 수 있다.In addition, the customized service providing device 100 includes a proximity sensor, laser scanner (LIDAR sensor), RGBD sensor, geomagnetic sensor, ultrasonic sensor, and inertial sensor to acquire data about the situation around the user or the customized service providing device 100. It can be equipped with a sensor, UWB sensor, etc.

이하에서는 분석부(140)의 상세 구성과 실시예들에 대해 살펴보기로 한다.Below, we will look at the detailed configuration and embodiments of the analysis unit 140.

도 2 내지 도 4은 본 발명의 일 실시예에 따른 분석부(140)의 동작을 예시하여 설명하기 위한 개념도이다.2 to 4 are conceptual diagrams illustrating and illustrating the operation of the analysis unit 140 according to an embodiment of the present invention.

도 2를 참조하면, 분석부(140)는 촬영 정보를 입력으로 하는 적어도 하나의 분석 모델(141)의 출력에 기초하여 사용자에 대한 신원 정보, 행동 정보, 위치 정보, 표정 정보 및 얼굴 방향 정보 중 적어도 하나를 획득할 수 있다. 또한, 분석부(140)는 이용 정보를 분석하여 서비스 실행 정보 및 콘텐츠 점수 정보 중 적어도 하나를 획득할 수 있다.Referring to FIG. 2, the analysis unit 140 analyzes the user's identity information, behavior information, location information, facial expression information, and facial direction information based on the output of at least one analysis model 141 that inputs shooting information. You can get at least one. Additionally, the analysis unit 140 may analyze usage information to obtain at least one of service execution information and content score information.

예를 들어, 적어도 하나의 분석 모델(141)은 정해진 입력 데이터에 대해 분석을 수행하여 각 분석 모델(141)별로 소정의 출력 데이터를 도출할 수 있다. 각 분석 모델(141)별로 출력된 출력 데이터는 이후 통합 정보를 구성하는 각각의 요소 정보로 이용될 수 있다. For example, at least one analysis model 141 may perform analysis on predetermined input data and derive predetermined output data for each analysis model 141 . The output data output for each analysis model 141 can then be used as information on each element constituting integrated information.

구체적으로, 분석 모델(141)은 촬영 정보에 포함된 이미지 내 공간의 종류를 판별하기 위한 공간 분류 모델, 촬영 정보에 포함된 이미지 내 물체의 위치와 종류를 판별하기 위한 물체 감지 모델 및 촬영 정보에 포함된 이미지 내 사용자의 자세를 판별하기 위한 행동 인식 모델 중 적어도 하나 이상을 포함할 수 있다.Specifically, the analysis model 141 is a spatial classification model for determining the type of space in the image included in the shooting information, an object detection model for determining the location and type of the object in the image included in the shooting information, and the shooting information. It may include at least one action recognition model for determining the user's posture in the included image.

또한, 분석 모델(141)은 촬영 정보에 포함된 이미지 내 사용자의 얼굴을 감지하여 얼굴의 위치를 판별하기 위한 얼굴 감지 모델을 포함할 수 있다.Additionally, the analysis model 141 may include a face detection model for detecting the user's face in an image included in the shooting information and determining the location of the face.

그리고, 분석 모델(141)은 판별된 얼굴의 위치에 기반하여 생성되는 얼굴 이미지로부터 사용자의 신원을 인식하기 위한 신원 인식 모델, 판별된 얼굴의 위치에 기반하여 생성되는 얼굴 이미지로부터 사용자의 얼굴 표정을 인식하기 위한 표정 인식 모델 및 판별된 얼굴의 위치에 기반하여 생성되는 얼굴 이미지로부터 얼굴 방향을 인식하기 위한 얼굴 방향 인식 모델 중 적어도 하나 이상을 포함할 수 있다. And, the analysis model 141 is an identity recognition model for recognizing the user's identity from the face image generated based on the location of the determined face, and the user's facial expression from the face image generated based on the location of the determined face. It may include at least one of an expression recognition model for recognition and a face direction recognition model for recognizing the face direction from a face image generated based on the location of the determined face.

예를 들어, 신원 정보는 촬영 정보에 따라 인식된 사용자 신원을 나타내는 정보일 수 있고, 행동 정보는 촬영 정보에 따른 사용자의 행동(예: 걷기, 앉기 등)을 나타내는 정보일 수 있고, 위치 정보는 사용자가 어느 장소에 있는지를 나타내는 정보일 수 있고, 표정 정보는 촬영 정보에 따른 사용자의 얼굴에서 나타나는 표정과 관련된 정보일 수 있고, 얼굴 방향 정보는 촬영 정보에 따른 사용자의 얼굴이 어느 방향을 향해있는지를 나타내는 얼굴 방향과 관련된 정보일 수 있다.For example, identity information may be information representing the user's identity recognized according to the shooting information, behavioral information may be information representing the user's behavior (e.g. walking, sitting, etc.) according to the shooting information, and location information may be information representing the user's identity recognized according to the shooting information. It may be information indicating where the user is, facial expression information may be information related to the expression shown on the user's face according to the shooting information, and facial direction information may indicate which direction the user's face is facing according to the shooting information. It may be information related to the direction of the face indicating.

이하에서는 도 5 내지 도 11을 참조하여 골격 추출 모델, 행동 인식 모델, 공간 분류 모델, 얼굴 감지를 위한 물체 감지 모델, 특징점 추출 모델, 표정 분류 모델 및 얼굴 랜드마크 추출 모델에 대해 설명하도록 한다.Hereinafter, with reference to FIGS. 5 to 11, the skeleton extraction model, action recognition model, spatial classification model, object detection model for face detection, feature point extraction model, facial expression classification model, and facial landmark extraction model will be described.

도 5는 도출부에 포함되는 분석 모델 중 공간 분류 모델을 예시하여 설명하기 위한 도면이다. 공간 분류 모델은 공지의 합성곱 신경망(Convolutional Neural Network) 기반의 분류 모델이 이용될 수 있다. 이를 위해, AlexNet, VGG-16, Inception, ResNet, MobileNet 과 같은 합성곱 신경망 아키텍쳐가 사용될 수 있다. Figure 5 is a diagram for illustrating and explaining a spatial classification model among the analysis models included in the derivation unit. As a spatial classification model, a classification model based on a known convolutional neural network may be used. For this purpose, convolutional neural network architectures such as AlexNet, VGG-16, Inception, ResNet, and MobileNet can be used.

도 5와 같이, 공간 분류 모델은 합성곱 연산과 서브샘플링 연산을 반복함으로써 이미지 내 특징들이 포함된 특징 맵을 추출하고 최종적으로 완전 연결층(Fully Connected Layer)를 지나 공간에 대한 점수 벡터가 출력될 수 있다. 미리 설정된 여러 공간에 대한 값 중 가장 점수가 높은 공간이 공간 분류 모델을 통해 최종적으로 인식된 공간이라 볼 수 있다.As shown in Figure 5, the spatial classification model extracts a feature map containing features in the image by repeating the convolution operation and subsampling operation, and finally passes through a fully connected layer to output a score vector for the space. You can. The space with the highest score among the values for several preset spaces can be considered the space finally recognized through the space classification model.

예를 들어, 공간 분류 모델을 통해 출력될 수 있는 공간 클래스에 거실, 부엌, 안방, 베란다가 예시될 수 있고, 도출부가 입력된 촬영 정보를 공간 분류 모델에 적용시킨 결과 거실에 대한 점수가 제일 높게 도출되는 경우, 도출부는 현재 사용자가 위치하는 공간이 거실이라는 결과 값을 요소 정보로서 생성할 수 있다.For example, space classes that can be output through a space classification model may include the living room, kitchen, master bedroom, and veranda, and as a result of applying the shooting information input to the derivation unit to the space classification model, the living room has the highest score. When derived, the derivation unit may generate a result value indicating that the space in which the user is currently located is the living room as element information.

공간 분류 모델을 통한 공간 분류의 정확성을 향상시키기 위하여, 공간 분류 모델의 학습에 있어서 로봇이 사용자가 위치한 공간 내 지도를 그릴 때 공간에 대한 정보와 촬영된 이미지를 같이 사용하여 학습시킬 수 있다.In order to improve the accuracy of spatial classification through a spatial classification model, when the robot draws a map within the space where the user is located, information about the space and captured images can be used together to learn the spatial classification model.

도 6과 도 7은 촬영 정보에 포함된 이미지 내 사용자의 자세를 판별하기 위한 행동 인식 모델을 예시하여 설명하기 위한 도면이다. 사용자의 행동을 인식하기 위해서 사용자의 자세를 인식하는 과정이 선행되어야 하므로, 도 6을 통해 골격 추출(Pose Estimation) 모델을 먼저 설명한다. 골격 추출을 위해서는 2D나 3D 이미지에 합성곱 신경망 기반의 골격 추출 알고리즘을 이용하여 2D/3D의 골격 정보를 추출할 수 있다. 골격 정보 추출 모델로서 합성곱신경망 기반의 특징점 감지 모델이 적용될 수 있고, 예를 들어, MoveNet, PoseNet, OpenPose, MediaPipe, AlphaPose, Nuitrack, Kinecct SDK 등의 알고리즘이 활용될 수 있다. 골격 정보와 이에 기초하여 계산된 값들은 단기간에 변화하지 않는 것으로서 추적 대상의 식별에 효과적으로 활용될 수 있다.Figures 6 and 7 are diagrams for illustrating and illustrating a behavior recognition model for determining the user's posture in an image included in shooting information. Since the process of recognizing the user's posture must be preceded in order to recognize the user's behavior, the skeleton extraction (Pose Estimation) model is first explained through FIG. 6. To extract a skeleton, 2D/3D skeleton information can be extracted using a convolutional neural network-based skeleton extraction algorithm from a 2D or 3D image. As a skeletal information extraction model, a convolutional neural network-based feature point detection model can be applied, and for example, algorithms such as MoveNet, PoseNet, OpenPose, MediaPipe, AlphaPose, Nuitrack, and Kinecct SDK can be used. Skeleton information and values calculated based on it do not change in a short period of time and can be effectively used to identify tracking targets.

도 6을 참조하면, 골격 추출 모델은 2D나 3D 이미지를 입력받아 각 관절에 2D 또는 3D 좌표와 그 신뢰도를 추출할 수 있다. 이 때, 추출되는 관절 데이터는 사람의 머리, 어깨, 가슴, 팔, 엉덩이, 다리 등의 신체를 노드로 하고 각 노드가 엣지를 통해 연결되는 그래프의 형태일 수 있다.Referring to Figure 6, the skeleton extraction model can receive 2D or 3D images as input and extract 2D or 3D coordinates for each joint and their reliability. At this time, the extracted joint data may be in the form of a graph in which the human body such as head, shoulders, chest, arms, hips, legs, etc. are used as nodes and each node is connected through an edge.

골격 추출 모델은 결과의 정확성을 향상시키기 위하여, 로봇이 제공하는 서비스의 종류에 따라 한 사람의 골격만을 추출하는 모델 또는 여러 사람의 골격을 추출하는 모델을 선택하여 관절 정보를 추출할 수 있다. 예를 들어, 1:1형태로 제공되는 서비스의 경우 로봇은 한 사람의 골격 만을 추출하는 모델을 사용할 수 있고, 가정 내 다수의 인원에 대한 서비스를 제공할 때는 다수의 골격을 추출할 수 있는 모델을 사용할 수 있다. 또한, 골격 추출 모델은 물체 감지 모델을 통해 감지된 사람의 수에 따라 골격 추출 모델을 한명 또는 다수의 버전으로 선택할 수도 있다.In order to improve the accuracy of the results, the skeleton extraction model can extract joint information by selecting a model that extracts only the skeleton of one person or a model that extracts the skeletons of multiple people depending on the type of service provided by the robot. For example, in the case of services provided in a 1:1 format, the robot can use a model that extracts only the skeleton of one person, and when providing services to multiple people in the home, a model that can extract multiple skeletons can be used. Additionally, the skeleton extraction model may be selected as one or multiple versions depending on the number of people detected through the object detection model.

도 7은 골격 추출 모델을 통해 생성된 관절 데이터로부터 어떠한 행동을 하는지 분석하기위한 행동 인식 모델을 예시하여 설명하기 위한 도면이다.FIG. 7 is a diagram illustrating and illustrating an action recognition model for analyzing what kind of action is performed from joint data generated through a skeleton extraction model.

입력된 이미지나 영상을 전처리없이 인공지능 모델에 입력하는 경우 처리해야 할 데이터의 크기가 커서 처리속도가 늦어지는 문제점이 있으므로 상기한 바와 같이 입력된 이미지에 대해 골격 추출 모델을 적용하여 관절 데이터를 추출한 후, 이를 기반으로 어떠한 행동을 수행하는지 인식하게 함이 바람직하다. When inputting an input image or video into an artificial intelligence model without preprocessing, there is a problem that the processing speed is slowed due to the large size of the data to be processed. Therefore, as described above, joint data is extracted by applying a skeleton extraction model to the input image. Afterwards, it is desirable to recognize what actions are performed based on this.

행동 인식 모델은 2D/3D 이미지에서 골격 추출 모델로 추출한 2D/3D 골격 정보를 이용하여 행동을 인식할 수 있는데, 이 때, Threshold 기반 방법을 이용하여 행동을 분류하는 규칙 기반 방법(Rule-based method)이 예시될 수 있다. 또 다른 방법으로서, 시계열 데이터 처리에 강력한 신경망으로 시계열 골격정보 기반의 행동 인식에 적합한 순환 신경망(RNN)을 활용하거나 골격 데이터의 그래프 구조를 이용한 GCN(Graph Convolutional Netowork)를 이용하는 머신러닝 기반 방법(Machine learning-based method)이 사용될 수 있다. The action recognition model can recognize actions using 2D/3D skeletal information extracted from 2D/3D images using a skeletal extraction model. In this case, a rule-based method is used to classify actions using a threshold-based method. ) can be exemplified. As another method, use a recurrent neural network (RNN), which is a powerful neural network for time series data processing and is suitable for action recognition based on time series skeletal information, or use a machine learning-based method using GCN (Graph Convolutional Network) using the graph structure of skeletal data. learning-based method) can be used.

도 7을 참조하면, 입력된 이미지에 대해 골격 추출 모델을 적용하여 관절 데이터를 추출한 후, 골격 정보에 기반한 행동 인식 모델을 적용하여 이미지 내 사람의 행동을 인식하는 과정을 알 수 있다. Referring to FIG. 7, you can see the process of extracting joint data by applying a skeleton extraction model to an input image and then recognizing human behavior in the image by applying an action recognition model based on the skeleton information.

행동 추출 모델은 결과의 정확성을 향상시키기 위하여, 인식할 수 있는 행동의 종류를 제한할 수 있다. 예를 들어, 집 안에서 주로 이루어지는 행동만을 인식하도록 출력되는 행동의 종류를 제한할 수 있다. Behavior extraction models can limit the types of behaviors that can be recognized to improve the accuracy of results. For example, you can limit the types of actions output to only recognize actions that are mainly performed inside the home.

도 8은 촬영 정보에 포함된 이미지 내 사용자의 얼굴을 감지하여 얼굴의 위치를 판별하기 위한 얼굴 감지 모델을 예시하여 설명하기 위한 도면이고, 도 9는 판별된 얼굴의 위치에 기반하여 생성되는 얼굴 이미지로부터 사용자의 신원을 인식하기 위한 신원 인식 모델을 예시하여 설명하기 위한 도면이다.FIG. 8 is a diagram illustrating an example of a face detection model for detecting a user's face in an image included in shooting information and determining the location of the face, and FIG. 9 is a face image generated based on the location of the determined face. This is a diagram to illustrate and explain an identity recognition model for recognizing a user's identity.

도 8을 참조하면, 얼굴 감지 모델은 앞서 설명한 물체 감지 모델과 유사한 방법으로 사용될 수 있다. 물체 감지 모델을 통해 이미지 내 특정한 물체를 감지하는 경우와 달리, 얼굴 감지 모델은 이미지 내 얼굴의 위치를 파악하고, 해당 위치에 대응되는 바운딩 박스를 생성할 수 있다. 얼굴 감지 모델은 합성곱신경망(CNN) 기반의 감지 모델이 적용될 수 있고, 예를 들어, RCNN, Fast RCNN, YOLO, Single Shot Detector (SSD), Retina-Net, Pyramid Net 등의 물체 감지 알고리즘이 활용될 수 있다.Referring to FIG. 8, the face detection model can be used in a similar way to the object detection model described above. Unlike the case of detecting a specific object in an image through an object detection model, a face detection model can determine the location of a face in an image and create a bounding box corresponding to that location. The face detection model can be a convolutional neural network (CNN)-based detection model, and for example, object detection algorithms such as RCNN, Fast RCNN, YOLO, Single Shot Detector (SSD), Retina-Net, and Pyramid Net can be used. It can be.

도 9를 참조하면, 신원 인식 모델에 의해 추출된 바운딩 박스의 이미지로부터 특징점이 추출되어 데이터베이스에 저장될 수 있고, 바운딩 박스의 이미지로부터 추출된 특징점을 데이터베이스에 기 저장된 특징점과 비교함으로써 추적 대상의 얼굴이 식별될 수 있다. 신원 인식 모델은 합성곱신경망 기반의 모델이 적용될 수 있고, 예를 들어, VGG-Face, FaceNet, OpenFace, DeepFace, ArcFace 등의 알고리즘 등이 예시될 수 있다. Referring to FIG. 9, feature points can be extracted from the image of the bounding box extracted by the identity recognition model and stored in the database, and the feature point extracted from the image of the bounding box is compared with the feature point previously stored in the database to determine the face of the tracking target. This can be identified. The identity recognition model may be a convolutional neural network-based model, for example, algorithms such as VGG-Face, FaceNet, OpenFace, DeepFace, and ArcFace.

도 9를 참조하면, 사람이 촬영된 이미지에 대해 얼굴 감지 모델을 적용하여 얼굴이 위치한 영역에 대한 바운딩 박스를 생성하여 얼굴 이미지를 추출하고, 이러한 얼굴 이미지를 신원 인식 모델에 입력하여 그 특징값을 추출하고 데이터베이스에 저장하는 것을 알 수 있다. 이후, 새로운 이미지가 입력되면 상기한 얼굴 감지 모델과 신원 인식 모델에 적용하여 추출된 특징값을 기존의 데이터베이스에 저장된 특징값들과 비교 및 매칭하여 신원을 인식할 수 있다.Referring to FIG. 9, a face detection model is applied to an image of a person taken to extract a face image by creating a bounding box for the area where the face is located, and the feature value is input to the identity recognition model. You can see that it is extracted and stored in the database. Afterwards, when a new image is input, the face detection model and the identity recognition model can be applied to the above-mentioned face detection model and the extracted feature values are compared and matched with the feature values stored in the existing database to recognize the identity.

신원 인식 모델은 결과의 정확성을 향상시키기 위하여, 사용자의 얼굴이 로봇의 카메라부를 향하도록 사용자에게 음성 안내를 할 수 있다. 이를 통해, 로봇은 사용자의 얼굴 정면이 촬영된 이미지를 생성할 수 있으므로, 사용자의 신원을 보다 정확하게 인식할 수 있게 된다. 사용자의 얼굴이 카메라부를 향하고 있는지 여부는 후술할 얼굴 방향 인식 모델을 통해 생성되는 결과 데이터를 통해 확인될 수 있다.To improve the accuracy of the results, the identity recognition model can provide voice guidance to the user so that the user's face faces the robot's camera unit. Through this, the robot can create an image of the front of the user's face, allowing it to more accurately recognize the user's identity. Whether the user's face is facing the camera unit can be confirmed through result data generated through a face direction recognition model, which will be described later.

도 10은 판별된 얼굴의 위치에 기반하여 생성되는 얼굴 이미지로부터 사용자의 얼굴 표정을 인식하기 위한 표정 인식 모델을 예시하여 설명하기 위한 도면이다.FIG. 10 is a diagram illustrating an expression recognition model for recognizing a user's facial expression from a facial image generated based on the location of the determined face.

표정 인식 모델은 얼굴 감지 모델을 통해 얼굴 이미지만 따로 추출한 후, 추출된 얼굴 이미지를 입력받을 수 있다. 표정 인식 모델은 합성곱 신경망 기반의 분류 모델을 사용하며 하나 이상의 소정의 표정들에 대한 점수를 출력으로 한다. 표정 인식 모델은 여러 표정 중 가장 점수가 높은 표정을 최종적으로 인식된 표정으로 결정할 수 있다. 표정 인식 모델은 AlexNet, VGG-16, Inception, ResNet, MobileNet 등의 합성곱 신경망 아키텍처가 하나 이상 사용될 수 있다.The facial expression recognition model can extract only the face image separately through the face detection model and then receive the extracted face image as input. The facial expression recognition model uses a convolutional neural network-based classification model and outputs scores for one or more predetermined facial expressions. The expression recognition model can determine the expression with the highest score among several expressions as the final recognized expression. The facial expression recognition model may use one or more convolutional neural network architectures such as AlexNet, VGG-16, Inception, ResNet, and MobileNet.

표정 인식 모델은 정확성을 향상시키기 위하여, 소정의 데이터세트로부터 수집된 표정 데이터를 활용하여 학습된 모델이 사용될 수 있다. 또한, 표정 인식 모델의 학습 과정에서 로봇으로부터 촬영된 사용자의 표정 데이터가 같이 사용될 수 있다. 이를 위해, 로봇은 사용자에게 다양한 표정을 지을 수 있도록 음성안내를 할 수 있다. In order to improve the accuracy of the facial expression recognition model, a model learned using facial expression data collected from a certain dataset can be used. Additionally, the user's facial expression data captured from the robot can be used in the learning process of the facial expression recognition model. To this end, the robot can provide voice guidance to the user so that he or she can make various facial expressions.

도 11a와 도 11b는 판별된 얼굴의 위치에 기반하여 생성되는 얼굴 이미지로부터 얼굴 방향을 인식하기 위한 얼굴 방향 인식 모델을 예시하여 설명하기 위한 도면이다.FIGS. 11A and 11B are diagrams for illustrating and illustrating a face direction recognition model for recognizing the face direction from a face image generated based on the position of the determined face.

얼굴 방향 인식 모델은 얼굴 감지 모델을 통해 추출된 얼굴 이미지가 입력되면, 얼굴에 포함된 랜드마크를 추출할 수 있다. 이러한 과정에서 합성곱 신경망이 사용될 수 있고, 얼굴 방향 인식 모델은 눈의 위치, 코의 위치, 얼굴 윤곽선에 따라 얼굴이 어떤 방향을 바라보는지에 대한 결과값을 출력할 수 있다. When a face image extracted through a face detection model is input, the face direction recognition model can extract landmarks included in the face. In this process, a convolutional neural network can be used, and the facial direction recognition model can output results about which direction the face is looking based on the eye position, nose position, and facial outline.

도 11a를 참조하면, 입력 이미지로부터 얼굴 감지 모델을 통해 얼굴 이미지에 대한 바운딩 박스를 생성하고, 얼굴 이미지가 얼굴 방향 인식 모델에 포함되어 얼굴의 랜드마크가 추출되는 것을 알 수 있다. 도 11b를 참조하면, 추출된 얼굴의 랜드마크로부터 얼굴이 어떤 방향을 바라보는지에 대한 결과값을 출력하는 과정을 알 수 있다.Referring to FIG. 11A, it can be seen that a bounding box for the face image is created from the input image through a face detection model, and the face image is included in the face direction recognition model to extract facial landmarks. Referring to Figure 11b, you can see the process of outputting a result of which direction the face is looking from the landmarks of the extracted face.

실시예에서, 분석부는 공간 분류 모델에 촬영 정보를 입력하여 위치 정보를 획득하고, 골격 추출 모델 및 행동 인식 모델에 촬영 정보를 입력하여 행동 정보를 획득하고, 얼굴 감지를 위한 물체 인식 모델 및 특징점 추출 모델에 촬영 정보를 입력하여 신원 정보를 획득하고, 얼굴 감지를 위한 물체 감지 모델 및 표정 분류 모델에 촬영 정보를 입력하여 표정 정보를 획득하고, 얼굴 감지를 위한 물체 감지 모델 및 얼굴 랜드마크 추출 모델에 촬영 정보를 입력하여 얼굴 방향 정보를 획득할 수 있다.In an embodiment, the analysis unit acquires location information by inputting shooting information into a spatial classification model, acquires behavioral information by inputting shooting information into a skeleton extraction model and a behavior recognition model, and extracts an object recognition model and feature points for face detection. Identity information is obtained by inputting shooting information into the model, facial expression information is obtained by inputting shooting information into the object detection model and facial expression classification model for face detection, and the object detection model and facial landmark extraction model for face detection. Facial direction information can be obtained by inputting shooting information.

다시 도 3을 참조하면, 분석부(140)는 신원 정보에 기초하여 사용자 정보를 획득하고, 서비스 실행 정보, 행동 정보 및 위치 정보에 기초하여 서비스 수행 여부 및 빈도 정보를 획득하고, 콘텐츠 점수 정보에 기초하여 취약 콘텐츠 정보를 획득하고, 표정 정보 및 얼굴 방향 정보에 기초하여 콘텐츠 집중도 정보를 획득할 수 있다.Referring again to FIG. 3, the analysis unit 140 obtains user information based on identity information, obtains service performance information and frequency information based on service execution information, behavior information, and location information, and provides content score information. Based on this, vulnerable content information can be obtained, and content concentration information can be obtained based on facial expression information and facial direction information.

예를 들어, 사용자 정보는 맞춤형 서비스 제공 대상이 되는 사용자를 판단하기 위한 정보일 수 있고, 서비스 수행 여부 및 빈도 정보는 맞춤형 서비스 제공 장치로부터 제공되는 맞춤형 서비스에 따른 콘텐츠에 대한 사용자의 수행 여부와 수행한 빈도를 나타내는 정보일 수 있다. 또한, 취약 콘텐츠 정보는 맞춤형 서비스에 따른 콘텐츠 중 사용자가 취약하거나 강인한 콘텐츠를 나타내는 정보일 수 있고, 콘텐츠 집중도 정보는 맞춤형 서비스에 따른 콘텐츠에 대해 사용자가 얼마나 집중하는지를 나타내는 정보일 수 있다.For example, user information may be information for determining the user subject to customized service provision, and information on whether or not the service is performed and frequency may be information on whether or not the user performs or performs content according to the customized service provided from the customized service provision device. It may be information indicating a certain frequency. Additionally, the vulnerable content information may be information indicating which content the user is vulnerable or strong among among the contents according to the customized service, and the content concentration information may be information indicating how much the user focuses on the content according to the customized service.

구체적으로, 분석부(140)는 사용자가 기설정된 시간(예: 2시)에 특정 위치(예: 거실)에서 맞춤형 서비스에 따른 콘텐츠를 수행해야 하는 스케줄이 실행된 경우, 사용자가 침실에서 나오지 않으면 콘텐츠를 수행하지 않았다고 판단하고, 데이터베이스를 통해 사용자가 수행한 콘텐츠의 종류를 판단하여 서비스 수행 여부 및 빈도 정보를 획득할 수 있다.Specifically, when a schedule is executed that requires the user to perform content according to a customized service in a specific location (e.g., living room) at a preset time (e.g., 2 o'clock), the analysis unit 140 determines whether the user does not come out of the bedroom. It is possible to determine that the content was not performed and determine the type of content performed by the user through the database to obtain information on whether or not the service was performed and the frequency.

또한, 분석부(140)는 게임 콘텐츠 중 측두엽 게임의 평균 점수가 제 1 점수(예: 60점)인 경우 측두엽 게임을 사용자의 취약 콘텐츠로 판단할 수 있고, 전두엽 게임의 평균 점수가 제 2 점수(예: 90점)인 경우 전두엽 게임을 강인 콘텐츠로 판단함으로써 취약 콘텐츠 정보를 획득할 수 있다.In addition, the analysis unit 140 may determine that the temporal lobe game is the user's vulnerable content when the average score of the temporal lobe game among the game contents is the first score (e.g., 60 points), and the average score of the frontal lobe game is the second score. (Example: 90 points), weak content information can be obtained by determining the frontal lobe game as strong content.

관련된 실시예에서, 분석부(140)는 콘텐츠가 제공되는 동안의 사용자의 얼굴 방향 및 표정 정보를 기초로 참여도, 적극성, 흥미도 및 만족도를 산출하는데, 콘텐츠가 제공되는 동안 콘텐츠 제공 화면(예: 서비스 제공부)을 얼마나 정면으로 응시했는지를 나타내는 비율을 산출하고, 콘텐츠가 제공되는 동안 긍정적 또는 부정적 표정을 나타내는 횟수에 대한 비율을 산출하여 참여도, 적극성, 흥미도 및 만족도를 산출할 수 있고, 이에 기초하여 집중도 정보를 획득할 수 있다. 또한, 분석부(140)는 인식된 표정 정보를 통해 콘텐츠 점수의 원인을 파악할 수 있고, 똑같은 점수여도 콘텐츠에 따른 문제를 풀이 시간 또는 힌트 열람 횟수 등 다양한 방법으로 콘텐츠에 따른 문제를 쉽게 풀었는지 또는 어렵게 풀었는지 여부를 판단할 수 있고, 이에 기초하여 집중도 정보를 획득할 수 있다.In a related embodiment, the analysis unit 140 calculates participation, activeness, interest, and satisfaction based on the user's facial direction and expression information while the content is provided, and while the content is provided, the content provision screen (e.g. : Participation, activeness, interest, and satisfaction can be calculated by calculating the ratio of how directly the user looks at the service provider) and calculating the ratio of the number of times positive or negative facial expressions are shown while the content is provided. , Based on this, concentration information can be obtained. In addition, the analysis unit 140 can determine the cause of the content score through the recognized facial expression information, and even if the score is the same, it is possible to determine whether the problem according to the content was easily solved by various methods such as solving time or number of hint views. You can determine whether or not the problem was difficult to solve, and based on this, you can obtain concentration information.

도 4를 참조하면, 분석부(140)는 사용자 정보, 서비스 수행 여부 및 빈도 정보, 취약 콘텐츠 정보 및 집중도 정보 중 적어도 하나를 포함하는 사용자 분석 정보를 획득할 수 있다.Referring to FIG. 4, the analysis unit 140 may obtain user analysis information including at least one of user information, service performance information and frequency information, vulnerable content information, and concentration information.

서비스 결정부(150)는 획득된 사용자 분석 정보를 입력으로 하는 맞춤형 서비스 판단 모델의 출력에 기초하여 맞춤형 서비스의 제공 방법을 결정할 수 있다.The service decision unit 150 may determine a method of providing a customized service based on the output of a customized service decision model that uses the acquired user analysis information as input.

예를 들어, 맞춤형 서비스의 제공 방법은 맞춤형 서비스를 제공하기 위한 이동 여부 및 이동 위치, 맞춤형 서비스 제공 대상(예: 서비스에 등록된 사용자), 맞춤형 서비스에 따른 게임 콘텐츠 종류, 난이도 및 제공 스케줄 등을 포함할 수 있다.For example, the method of providing customized services includes whether and where to move to provide customized services, the target of customized services (e.g. users registered for the service), the type of game content according to the customized service, difficulty level, and provision schedule, etc. It can be included.

서비스 제공부(160)는 맞춤형 서비스의 제공 방법이 결정되면, 사용자가 인식되는 장소로 이동하도록 이동부를 제어하고, 사용자가 인식되면 서비스 결정부에 의해 결정된 제공 방법에 의한 맞춤형 서비스를 제공할 수 있다.When the provision method of the customized service is determined, the service provider 160 controls the moving unit to move to a location where the user is recognized, and when the user is recognized, the service provider 160 can provide the customized service according to the provision method determined by the service determination unit. .

구체적으로, 맞춤형 서비스는 게임 콘텐츠 종류 및 게임 콘텐츠 난이도, 게임 콘텐츠 제공 횟수, 게임 콘텐츠 제공 스케줄 중 적어도 하나를 포함할 수 있다. 맞춤형 서비스는 사용자의 음성 입력에 대응하도록 게임 콘텐츠의 난이도를 조절할 수 있다.Specifically, the customized service may include at least one of the type of game content, game content difficulty, number of times game content is provided, and game content provision schedule. The customized service can adjust the difficulty of game content to respond to the user's voice input.

예를 들어, 분석부(140)에 의해 사용자의 음성 입력이 게임 콘텐츠의 난이도를 기설정 단계만큼 하향할 것을 요청하는 것으로 분석된 경우, 서비스 제공부(160)는 제공 중인 게임 콘텐츠의 난이도를 기설정 단계만큼 하향하여 제공할 수 있다.For example, when the user's voice input is analyzed by the analysis unit 140 as a request to lower the difficulty of the game content by a preset level, the service provider 160 records the difficulty of the game content being provided. It can be provided by lowering the setting level.

실시예에서, 서비스 결정부(150)는 서비스 수행 여부 및 빈도 정보 또는 콘텐츠 집중도 정보 중 적어도 하나에 기초하여 복수의 게임 콘텐츠 종류 중 어느 하나의 게임 콘텐츠 종류에 가중치를 부여하고, 부여된 가중치에 기초하여 맞춤형 서비스의 제공 방법을 결정할 수 있다. 서비스 결정부는 기계학습 혹은 규칙기반 알고리즘을 통해 해당 사용자에게 최적화된 맞춤 서비스를 결정할 수 있다.In an embodiment, the service determination unit 150 assigns a weight to one type of game content among a plurality of game content types based on whether the service is performed and at least one of frequency information or content concentration information, and based on the assigned weight. This allows you to decide how to provide customized services. The service decision unit can determine a customized service optimized for the user through machine learning or rule-based algorithms.

에를 들면, 서비스 결정부(150)는 서비스 수행 여부 및 빈도 정보에 따라 사용자가 기설정된 기간(예: 일주일) 동안 전두엽 게임 콘텐츠를 제 1 횟수(예: 20회), 측두엽 게임 콘텐츠를 제 2 횟수(예: 2회) 수행한 경우, 사용자의 균형 잡힌 인지훈련을 위해 측두엽 게임 콘텐츠에 가중치를 부여하여, 사용자가 전두엽 게임 콘텐츠를 실행하는 경우 전두엽 게임 콘텐츠를 실행하기에 앞서 측두엽 게임 콘텐츠를 제안하는 방식으로 맞춤형 서비스의 제공 방법을 결정할 수 있다.For example, the service decision unit 150 allows the user to use frontal lobe game content a first number of times (e.g., 20 times) and temporal lobe game content a second time during a preset period of time (e.g., a week), depending on whether or not the service is performed and frequency information. When performed (e.g. twice), weight is given to the temporal lobe game content for the user's balanced cognitive training, and when the user executes the frontal lobe game content, the temporal lobe game content is suggested prior to executing the frontal lobe game content. This way, you can decide how to provide customized services.

또한, 예를 들어 서비스 결정부(150)는 콘텐츠 집중도 정보에 따라 게임 콘텐츠(또는, 운동 콘텐츠)에 대한 흥미도가 기설정값 이상으로 나타난 경우, 게임 콘텐츠에 가중치를 부여하여, 게임 콘텐츠를 제공하는 빈도를 증가시키는 방식으로 맞춤형 서비스의 제공 방법을 결정할 수 있다.In addition, for example, when the level of interest in game content (or exercise content) appears to be higher than a preset value according to content concentration information, the service decision unit 150 assigns weight to the game content and provides game content. You can decide how to provide customized services by increasing the frequency of services.

또는, 게임 콘텐츠(또는, 일기쓰기 콘텐츠)에 대한 집중도가 기설정값 이하로 나타난 경우, 서비스 결정부(150)는 게임 콘텐츠에 가중치를 부여하여, 게임 콘텐츠 스케쥴을 조정하여 게임 콘텐츠를 제공하는 빈도를 감소시키거나, 게임 콘텐츠에 대한 중요성을 상기시키는 취지의 알림 또는 메시지를 출력하는 방식으로 맞춤형 서비스의 제공 방법을 결정할 수 있다.Alternatively, if the degree of concentration on game content (or diary writing content) appears to be below the preset value, the service decision unit 150 assigns weight to the game content and adjusts the game content schedule to determine the frequency of providing game content. It is possible to determine how to provide customized services by reducing or outputting a notification or message to remind the user of the importance of game content.

다른 실시예에서, 서비스 결정부(150)는 취약 콘텐츠 정보에 따라 사용자가 측두엽 게임 콘텐츠에 취약한 것으로 나타난 경우, 측두엽 게임 콘텐츠의 난이도 중 측두엽 게임 콘텐츠에 취약한 정도(예: 측두엽 게임 콘텐츠에 대한 취약 정도를 나타내는 제 1 레벨 등)에 대응하는 난이도에 가중치를 부여하여, 측두엽 게임 콘텐츠의 난이도를 가중치가 부여된 난이도로 하향하는 방식으로 맞춤형 서비스의 제공 방법을 결정할 수 있다.In another embodiment, when the user is shown to be vulnerable to temporal lobe game content according to the vulnerable content information, the service decision unit 150 determines the degree of vulnerability to temporal lobe game content among the difficulty levels of temporal lobe game content (e.g., the degree of vulnerability to temporal lobe game content). A method of providing a customized service can be determined by assigning a weight to the difficulty level corresponding to the level (e.g., the first level representing , etc.) and lowering the difficulty level of the temporal lobe game content to the weighted difficulty level.

또는, 서비스 결정부는 취약 콘텐츠 정보에 따라 전두엽 게임 콘텐츠에 강인한 것으로 나타난 경우, 전두엽 게임 콘텐츠의 난이도 중 전두엽 게임 콘텐츠에 강인한 정도(예: 전두엽 게임 콘텐츠에 대한 강인 정도를 나타내는 제 2 레벨 등)에 대응하는 난이도에 가중치를 부여하여, 전두엽 게임 콘텐츠의 난이도를 가중치가 부여된 난이도로 상향하는 방식으로 맞춤형 서비스의 제공 방법을 결정할 수 있다.Alternatively, if it is shown to be robust to frontal lobe game content according to the vulnerable content information, the service decision unit responds to the degree of robustness to frontal lobe game content among the difficulty levels of frontal lobe game content (e.g., the second level indicating the degree of robustness to frontal lobe game content, etc.) By assigning weight to the level of difficulty, it is possible to determine how to provide a customized service by increasing the level of difficulty of the frontal lobe game content to the weighted level of difficulty.

다른 실시예에서, 서비스 수행 여부 및 빈도 정보에 따라 사용자가 전두엽 게임 콘텐츠 스케쥴 3번 중 1번만 수행하였고, 취약 콘텐츠 정보에 따라 사용자가 전두엽 게임 콘텐츠에 취약한 정도가 제 1 레벨이고, 콘텐츠 집중도 정보에 따라 전두엽 게임에 대한 집중도 및 흥미도가 기설정값 이하로 낮은 것으로 결정된 경우, 서비스 결정부는 전두엽 게임에 대한 중요성을 강조하는 취지의 메시지 또는 알림을 출력할 수 있고, 게임 콘텐츠 제공 시 전두엽 게임 콘텐츠의 수행을 우선적으로 제안할 수 있다.In another embodiment, the user performed only 1 of 3 prefrontal game content schedules according to service performance information and frequency information, the user's vulnerability to prefrontal game content according to vulnerable content information is the first level, and the content concentration information Accordingly, if the concentration and interest in the frontal lobe game are determined to be low below the preset value, the service decision unit may output a message or notification to the effect of emphasizing the importance of the frontal lobe game, and when providing game content, the frontal lobe game content may be used. You can suggest implementation with priority.

도 12는 본 발명의 일 실시예에 따른 맞춤형 서비스 제공 장치(100)에서 사용자에게 맞춤형 서비스를 제공하는 과정을 예시하여 설명하기 위한 도면이다.FIG. 12 is a diagram illustrating and illustrating a process of providing a customized service to a user by the customized service providing device 100 according to an embodiment of the present invention.

실시예에서, 맞춤형 서비스 제공 장치(100)는 사용자를 인식할 수 있는 장소로 이동할 수 있다. 이동에 따라 사용자가 인식되는 경우, 사용자와 관련된 촬영 정보를 수집할 수 있다. 맞춤형 서비스 제공 장치(100)는 수집된 촬영 정보와 데이터베이스에 저장된 이용 정보에 기초하여 획득되는 사용자 분석 정보에 기초하여 맞춤형 서비스의 제공 방법을 결정하고, 결정된 제공 방법에 의한 맞춤형 서비스를 제공할 수 있다.In an embodiment, the customized service providing device 100 may move to a location where the user can be recognized. If the user is recognized as he or she moves, shooting information related to the user can be collected. The customized service providing device 100 may determine a method of providing a customized service based on user analysis information obtained based on collected shooting information and usage information stored in a database, and may provide a customized service using the determined provision method. .

도 12를 참조하면, 맞춤형 서비스 제공 장치(100)는 사용자의 게임 콘텐츠 서비스 이용에 따른 복수의 게임 콘텐츠 종류 별 콘텐츠 점수 정보를 날짜별로 기록한 서비스 수행 여부 및 빈도 정보, 취약 콘텐츠 정보에 기초하여 어느 하나의 게임 콘텐츠 종류를 수행할 것을 제안할 수 있다.Referring to FIG. 12, the customized service providing device 100 records content score information for a plurality of game content types according to the user's use of the game content service by date, based on service performance information, frequency information, and vulnerable content information. It can be proposed to perform different types of game content.

예를 들어, 도 12에 도시된 사용자는 서비스 수행 여부 및 빈도 정보, 취약 콘텐츠 정보에 의하면 최근 전두엽 게임 콘텐츠를 자주 수행했고, 전두엽 게임 콘텐츠의 점수가 기설정된 점수 이상(예: 80점)이고, 측두엽 게임 콘텐츠를 최근 기설정 횟수 이하(예: 2회)로 수행했고, 측두엽 게임 콘텐츠의 점수가 기설정 점수 이하(예: 60점)인 것으로 도시되어 있다. 이에 따라, 맞춤형 서비스 제공 장치(100)는 게임 콘텐츠 종류 별 콘텐츠 점수 정보에 기초하여 측두엽 게임 콘텐츠를 수행할 것을 제안할 수 있다.For example, according to the service performance information, frequency information, and vulnerable content information, the user shown in FIG. 12 has recently performed frontal lobe game content frequently, and the score of the frontal lobe game content is higher than a preset score (e.g., 80 points); It is shown that the temporal lobe game content has recently been performed less than a preset number of times (e.g., 2 times), and the score of the temporal lobe game content is less than the preset score (e.g., 60 points). Accordingly, the customized service providing device 100 may suggest performing temporal lobe game content based on content score information for each game content type.

전술한 실시예들에 따르면, 사용자가 좋아하는 콘텐츠를 더 많이 제안하거나, 혹은 사용자에게 필요하면서 취약한 것을 더 많이 제안하도록 맞춤형 서비스를 제공할 수 있다.According to the above-described embodiments, a customized service can be provided to suggest more content that the user likes, or more content that the user needs but is vulnerable to.

도 13은 본 발명의 일 실시예에 따른 맞춤형 서비스 제공 방법을 설명하기 위한 순서도이다.Figure 13 is a flowchart for explaining a method of providing customized services according to an embodiment of the present invention.

도 13을 참조하면, 본 발명의 일 실시예에 따른 맞춤형 서비스 제공 방법은, 맞춤형 서비스 제공 장치가, 사용자를 인식할 수 있는 장소로 이동하는 단계(S10), 사용자와 관련된 촬영 정보를 수집하는 단계(S20), 사용자의 맞춤형 서비스를 이용한 내역과 관련된 이용 정보를 저장하는 단계(S30), 촬영 정보를 입력으로 하는 적어도 하나의 분석 모델의 출력 및 이용 정보에 대한 분석 결과에 기초하여 사용자 정보, 서비스 수행 여부 및 빈도 정보, 취약 콘텐츠 정보 및 콘텐츠 집중도 정보 중 적어도 하나를 포함하는 사용자 분석 정보를 획득하는 단계(S40), 사용자 분석 정보를 입력으로 하는 맞춤형 서비스 판단 모델의 출력에 기초하여 맞춤형 서비스의 제공 방법을 결정하는 단계(S50) 및 서비스 결정부에 의해 결정된 제공 방법에 의한 맞춤형 서비스를 제공하는 단계(S60)를 포함할 수 있다.Referring to FIG. 13, the method of providing a customized service according to an embodiment of the present invention includes the steps of moving a customized service providing device to a place where the user can be recognized (S10), and collecting shooting information related to the user. (S20), storing usage information related to the user's history of using the customized service (S30), user information and service based on the output of at least one analysis model with shooting information as input and the analysis result of the usage information Obtaining user analysis information including at least one of performance and frequency information, vulnerable content information, and content concentration information (S40), providing customized services based on the output of a customized service judgment model with user analysis information as input. It may include a step of determining a method (S50) and a step of providing a customized service according to the provision method determined by the service decision unit (S60).

여기서, 사용자 분석 정보를 획득하는 단계(S40)는 촬영 정보를 입력으로 하는 적어도 하나의 분석 모델의 출력에 기초하여 사용자에 대한 신원 정보, 행동 정보, 위치 정보, 표정 정보 및 얼굴 방향 정보 중 적어도 하나를 획득하는 단계를 포함할 수 있다.Here, the step of acquiring user analysis information (S40) is to obtain at least one of identity information, behavior information, location information, facial expression information, and facial direction information about the user based on the output of at least one analysis model that inputs shooting information. It may include the step of acquiring.

또한, 사용자 분석 정보를 획득하는 단계(S40)는 이용 정보를 분석하여 서비스 실행 정보 및 콘텐츠 점수 정보 중 적어도 하나를 획득하는 단계를 포함할 수 있다.Additionally, the step of acquiring user analysis information (S40) may include analyzing usage information to obtain at least one of service execution information and content score information.

또한, 사용자 분석 정보를 획득하는 단계(S40)는 신원 정보에 기초하여 사용자 정보를 획득하고, 서비스 실행 정보, 행동 정보 및 위치 정보에 기초하여 서비스 수행 여부 및 빈도 정보를 획득하고, 콘텐츠 점수 정보에 기초하여 취약 콘텐츠 정보를 획득하고, 표정 정보 및 얼굴 방향 정보에 기초하여 콘텐츠 집중도 정보를 획득하는 단계를 포함할 수 있다.In addition, in the step of acquiring user analysis information (S40), user information is acquired based on identity information, service performance information and frequency information are acquired based on service execution information, behavior information, and location information, and content score information is obtained. It may include the steps of acquiring vulnerable content information based on the content and obtaining content concentration information based on facial expression information and facial direction information.

또한, 맞춤형 서비스의 제공 방법을 결정하는 단계(S50)는 사용자 정보, 서비스 수행 여부 및 빈도 정보, 취약 콘텐츠 정보 및 콘텐츠 집중도 정보 중 적어도 하나를 입력으로 하는 맞춤형 서비스 판단 모델의 출력에 기초하여 맞춤형 서비스의 제공 방법을 결정하는 단계를 포함할 수 있다.In addition, the step of determining how to provide a customized service (S50) is to provide a customized service based on the output of a customized service judgment model that inputs at least one of user information, service performance information and frequency information, vulnerable content information, and content concentration information. It may include the step of determining how to provide.

또한, 맞춤형 서비스를 제공하는 단계(S60)는 사용자가 인식되는 장소로 이동하도록 이동부를 제어하고, 사용자가 인식되면 서비스 결정부에 의해 결정된 제공 방법에 의한 맞춤형 서비스를 제공하는 단계를 포함할 수 있다.In addition, the step of providing a customized service (S60) may include controlling the moving unit to move to a place where the user is recognized, and providing a customized service according to the provision method determined by the service decision unit when the user is recognized. .

또한, 맞춤형 서비스를 제공하는 단계(S60)는 서비스 수행 여부 및 빈도 정보 또는 콘텐츠 집중도 정보 중 적어도 하나에 기초하여 복수의 게임 콘텐츠 종류 중 어느 하나의 게임 콘텐츠 종류에 가중치를 부여하고, 취약 콘텐츠 정보에 기초하여 복수의 게임 콘텐츠 난이도 중 어느 하나의 게임 콘텐츠 난이도에 가중치를 부여하고, 가중치에 기초하여 맞춤형 서비스의 제공 방법을 결정하는 단계를 포함할 수 있다.In addition, in the step of providing a customized service (S60), a weight is given to one type of game content among a plurality of game content types based on at least one of service performance information and frequency information or content concentration information, and the vulnerable content information is assigned weight. It may include assigning a weight to one of the plurality of game content levels of difficulty based on the level of difficulty, and determining a method of providing a customized service based on the weight.

상기 맞춤형 서비스 제공 방법은 앞서 도 1 내지 도 12을 통해 설명된 실시예를 통해 더 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.The customized service provision method may be further divided into additional steps or combined into fewer steps through the embodiment described above with reference to FIGS. 1 to 12. Additionally, some steps may be omitted or the order between steps may be switched as needed.

상기한 맞춤형 서비스 제공 방법은 컴퓨터에 의해 실행되는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어들을 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 상기한 수면 질 점수화 방법은 컴퓨터에 의해 실행되는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. The above-described customized service provision method may also be implemented in the form of a computer program stored in a computer-readable recording medium executed by a computer or a recording medium containing instructions executable by a computer. Additionally, the sleep quality scoring method described above may also be implemented in the form of a computer program stored in a computer-readable recording medium that is executed by a computer.

컴퓨터 판독 가능 기록매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 기록매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.Computer-readable recording media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable recording media may include computer storage media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The description of the present invention described above is for illustrative purposes, and those skilled in the art will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential features of the present invention. will be. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. For example, each component described as single may be implemented in a distributed manner, and similarly, components described as distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.

100: 맞춤형 서비스 제공 장치
110: 이동부
120: 수집부
130: 데이터베이스
140: 분석부
141: 분석 모델
150: 서비스 결정부
160: 서비스 제공부100: Customized service provision device
110: moving part
120: Collection department
130: database
140: analysis department
141: Analysis model
150: Service decision unit
160: Service provision department

Claims (16)

사용자 맞춤형 서비스를 제공하는 장치에 있어서,
상기 사용자를 인식할 수 있는 장소로 이동하기 위해 제어되는 이동부;
상기 사용자와 관련된 촬영 정보를 수집하는 수집부;
상기 사용자의 상기 맞춤형 서비스를 이용한 내역과 관련된 이용 정보를 저장하는 데이터베이스;
상기 촬영 정보를 입력으로 하는 적어도 하나의 분석 모델의 출력 및 이용 정보에 대한 분석 결과에 기초하여 사용자 정보, 서비스 수행 여부 및 빈도 정보, 취약 콘텐츠 정보 및 콘텐츠 집중도 정보 중 적어도 하나를 포함하는 사용자 분석 정보를 획득하는 분석부;
상기 사용자 분석 정보를 입력으로 하는 맞춤형 서비스 판단 모델의 출력에 기초하여 맞춤형 서비스의 제공 방법을 결정하는 서비스 결정부; 및
상기 서비스 결정부에 의해 결정된 제공 방법에 의한 맞춤형 서비스를 제공하는 서비스 제공부;
를 포함하는 것을 특징으로 하는, 맞춤형 서비스 제공 장치.
In a device that provides customized services,
a moving unit controlled to move to a place where the user can be recognized;
a collection unit that collects shooting information related to the user;
a database that stores usage information related to the user's history of using the customized service;
User analysis information including at least one of user information, service performance and frequency information, vulnerable content information, and content concentration information based on the output of at least one analysis model that inputs the shooting information and the analysis result of the usage information. Analysis unit to obtain;
a service determination unit that determines a method of providing a customized service based on the output of a customized service decision model that inputs the user analysis information; and
a service provision unit that provides a customized service according to a provision method determined by the service decision unit;
A customized service provision device comprising:
제 1 항에 있어서,
상기 분석부는
상기 촬영 정보를 입력으로 하는 상기 적어도 하나의 분석 모델의 출력에 기초하여 상기 사용자에 대한 신원 정보, 행동 정보, 위치 정보, 표정 정보 및 얼굴 방향 정보 중 적어도 하나를 획득하는 것을 특징으로 하는, 맞춤형 서비스 제공 장치.
According to claim 1,
The analysis department
A customized service, characterized in that obtaining at least one of identity information, behavior information, location information, facial expression information, and facial direction information for the user based on the output of the at least one analysis model that inputs the shooting information. Provided device.
제 2 항에 있어서,
상기 분석부는
상기 이용 정보를 분석하여 서비스 실행 정보 및 콘텐츠 점수 정보 중 적어도 하나를 획득하는 것을 특징으로 하는, 맞춤형 서비스 제공 장치.
According to claim 2,
The analysis department
A customized service providing device, characterized in that it acquires at least one of service execution information and content score information by analyzing the usage information.
제 3 항에 있어서,
상기 분석부는
상기 신원 정보에 기초하여 상기 사용자 정보를 획득하고, 상기 서비스 실행 정보, 상기 행동 정보 및 상기 위치 정보에 기초하여 상기 서비스 수행 여부 및 빈도 정보를 획득하고, 상기 콘텐츠 점수 정보에 기초하여 상기 취약 콘텐츠 정보를 획득하고, 상기 표정 정보 및 상기 얼굴 방향 정보에 기초하여 상기 콘텐츠 집중도 정보를 획득하는 것을 특징으로 하는, 맞춤형 서비스 제공 장치.
According to claim 3,
The analysis department
Obtain the user information based on the identity information, obtain information on whether and how often the service is performed based on the service execution information, the behavior information, and the location information, and obtain the vulnerable content information based on the content score information. and obtaining the content concentration information based on the facial expression information and the facial direction information.
제 4 항에 있어서,
상기 서비스 결정부는
상기 사용자 정보, 상기 서비스 수행 여부 및 빈도 정보, 상기 취약 콘텐츠 정보 및 상기 콘텐츠 집중도 정보 중 적어도 하나를 입력으로 하는 상기 맞춤형 서비스 판단 모델의 출력에 기초하여 상기 맞춤형 서비스의 제공 방법을 결정하는 것을 특징으로 하는, 맞춤형 서비스 제공 장치.
According to claim 4,
The service decision department
Characterized by determining a method of providing the customized service based on an output of the customized service decision model that inputs at least one of the user information, service performance information and frequency information, the vulnerable content information, and the content concentration information. A customized service provision device.
제 1 항에 있어서,
상기 서비스 제공부는
상기 사용자가 인식되는 장소로 이동하도록 상기 이동부를 제어하고,
상기 사용자가 인식되면 상기 서비스 결정부에 의해 결정된 제공 방법에 의한 맞춤형 서비스를 제공하는 것을 특징으로 하는, 맞춤형 서비스 제공 장치.
According to claim 1,
The service provider department
Controlling the moving unit to move the user to a recognized location,
A customized service providing device, characterized in that when the user is recognized, a customized service is provided according to a provision method determined by the service determination unit.
제 6 항에 있어서,
상기 맞춤형 서비스는
게임 콘텐츠 종류 및 게임 콘텐츠 난이도, 게임 콘텐츠 제공 횟수, 게임 콘텐츠 제공 스케줄 중 적어도 하나를 포함하고,
상기 사용자의 음성 입력에 대응하도록 게임 콘텐츠의 난이도를 조절하는 것을 특징으로 하는, 맞춤형 서비스 제공 장치.
According to claim 6,
The customized service is
Includes at least one of the type of game content, game content difficulty, number of times game content is provided, and game content provision schedule,
A customized service providing device, characterized in that the difficulty level of game content is adjusted to correspond to the user's voice input.
제 6 항에 있어서,
상기 서비스 결정부는
상기 서비스 수행 여부 및 빈도 정보 또는 콘텐츠 집중도 정보 중 적어도 하나에 기초하여 복수의 게임 콘텐츠 종류 중 어느 하나의 게임 콘텐츠 종류에 가중치를 부여하고
상기 취약 콘텐츠 정보에 기초하여 복수의 게임 콘텐츠 난이도 중 어느 하나의 게임 콘텐츠 난이도에 가중치를 부여하고,
상기 가중치에 기초하여 맞춤형 서비스의 제공 방법을 결정하는 것을 특징으로 하는, 맞춤형 서비스 제공 장치.
According to claim 6,
The service decision department
Weighting is given to any one type of game content among a plurality of game content types based on at least one of the service performance and frequency information or content concentration information, and
Based on the vulnerable content information, a weight is assigned to the difficulty level of any one game content among a plurality of game content levels,
A customized service providing device, characterized in that determining a method of providing customized service based on the weight.
사용자 맞춤형 서비스를 제공하는 방법에 있어서,
상기 사용자를 인식할 수 있는 장소로 이동하는 단계;
상기 사용자와 관련된 촬영 정보를 수집하는 단계;
상기 사용자의 상기 맞춤형 서비스를 이용한 내역과 관련된 이용 정보를 저장하는 단계;
상기 촬영 정보를 입력으로 하는 적어도 하나의 분석 모델의 출력 및 이용 정보에 대한 분석 결과에 기초하여 사용자 정보, 서비스 수행 여부 및 빈도 정보, 취약 콘텐츠 정보 및 콘텐츠 집중도 정보 중 적어도 하나를 포함하는 사용자 분석 정보를 획득하는 단계;
상기 사용자 분석 정보를 입력으로 하는 맞춤형 서비스 판단 모델의 출력에 기초하여 맞춤형 서비스의 제공 방법을 결정하는 단계; 및
상기 결정된 제공 방법에 의한 맞춤형 서비스를 제공하는 단계;
를 포함하는 것을 특징으로 하는, 맞춤형 서비스 제공 방법.
In the method of providing customized services,
moving to a place where the user can be recognized;
collecting shooting information related to the user;
storing usage information related to the user's history of using the customized service;
User analysis information including at least one of user information, service performance and frequency information, vulnerable content information, and content concentration information based on the output of at least one analysis model that inputs the shooting information and the analysis result of the usage information. Obtaining a;
determining a method of providing a customized service based on the output of a customized service decision model that inputs the user analysis information; and
Providing a customized service according to the determined provision method;
A method of providing a customized service, comprising:
제 9 항에 있어서,
상기 사용자 분석 정보를 획득하는 단계는
상기 촬영 정보를 입력으로 하는 상기 적어도 하나의 분석 모델의 출력에 기초하여 상기 사용자에 대한 신원 정보, 행동 정보, 위치 정보, 표정 정보 및 얼굴 방향 정보 중 적어도 하나를 획득하는 것을 특징으로 하는, 맞춤형 서비스 제공 방법.
According to clause 9,
The step of obtaining the user analysis information is
A customized service, characterized in that obtaining at least one of identity information, behavior information, location information, facial expression information, and facial direction information for the user based on the output of the at least one analysis model that inputs the shooting information. How to provide.
제 10 항에 있어서,
상기 사용자 분석 정보를 획득하는 단계는
상기 이용 정보를 분석하여 서비스 실행 정보 및 콘텐츠 점수 정보 중 적어도 하나를 획득하는 것을 특징으로 하는, 맞춤형 서비스 제공 방법.
According to claim 10,
The step of obtaining the user analysis information is
A method of providing a customized service, characterized by obtaining at least one of service execution information and content score information by analyzing the usage information.
제 11 항에 있어서,
상기 사용자 분석 정보를 획득하는 단계는
상기 신원 정보에 기초하여 상기 사용자 정보를 획득하고, 상기 서비스 실행 정보, 상기 행동 정보 및 상기 위치 정보에 기초하여 상기 서비스 수행 여부 및 빈도 정보를 획득하고, 상기 콘텐츠 점수 정보에 기초하여 상기 취약 콘텐츠 정보를 획득하고, 상기 표정 정보 및 상기 얼굴 방향 정보에 기초하여 상기 콘텐츠 집중도 정보를 획득하는 것을 특징으로 하는, 맞춤형 서비스 제공 방법.
According to claim 11,
The step of obtaining the user analysis information is
Obtain the user information based on the identity information, obtain information on whether and how often the service is performed based on the service execution information, the behavior information, and the location information, and obtain the vulnerable content information based on the content score information. , and obtaining the content concentration information based on the facial expression information and the facial direction information.
제 12 항에 있어서,
상기 맞춤형 서비스의 제공 방법을 결정하는 단계는
상기 사용자 정보, 상기 서비스 수행 여부 및 빈도 정보, 상기 취약 콘텐츠 정보 및 상기 콘텐츠 집중도 정보 중 적어도 하나를 입력으로 하는 상기 맞춤형 서비스 판단 모델의 출력에 기초하여 상기 맞춤형 서비스의 제공 방법을 결정하는 것을 특징으로 하는, 맞춤형 서비스 제공 방법.
According to claim 12,
The step of determining how to provide the customized service is
Characterized by determining a method of providing the customized service based on an output of the customized service decision model that inputs at least one of the user information, service performance information and frequency information, the vulnerable content information, and the content concentration information. A method of providing customized services.
제 9 항에 있어서,
상기 맞춤형 서비스를 제공하는 단계는
상기 사용자가 인식되는 장소로 이동하고,
상기 사용자가 인식되면 상기 결정된 제공 방법에 의한 맞춤형 서비스를 제공하는 것을 특징으로 하는, 맞춤형 서비스 제공 방법.
According to clause 9,
The steps for providing the customized service are
Move to a place where the user is recognized,
A customized service provision method, characterized in that when the user is recognized, a customized service is provided according to the determined provision method.
제 14 항에 있어서,
상기 맞춤형 서비스는
게임 콘텐츠 종류 및 게임 콘텐츠 난이도, 게임 콘텐츠 제공 횟수, 게임 콘텐츠 제공 스케줄 중 적어도 하나를 포함하고,
상기 사용자의 음성 입력에 대응하도록 게임 콘텐츠의 난이도를 조절하는 것을 특징으로 하는, 맞춤형 서비스 제공 방법.
According to claim 14,
The customized service is
Includes at least one of the type of game content, game content difficulty, number of times game content is provided, and game content provision schedule,
A method of providing a customized service, characterized in that the difficulty level of game content is adjusted to correspond to the user's voice input.
제 14 항에 있어서,
상기 맞춤형 서비스를 제공하는 단계는
상기 서비스 수행 여부 및 빈도 정보 또는 콘텐츠 집중도 정보 중 적어도 하나에 기초하여 복수의 게임 콘텐츠 종류 중 어느 하나의 게임 콘텐츠 종류에 가중치를 부여하고,
상기 취약 콘텐츠 정보에 기초하여 복수의 게임 콘텐츠 난이도 중 어느 하나의 게임 콘텐츠 난이도에 가중치를 부여하고,
상기 가중치에 기초하여 맞춤형 서비스의 제공 방법을 결정하는 것을 특징으로 하는, 맞춤형 서비스 제공 방법.According to claim 14,
The steps for providing the customized service are
assigning weight to one type of game content among a plurality of game content types based on at least one of the service performance and frequency information or content concentration information;
Based on the vulnerable content information, a weight is assigned to the difficulty level of any one game content among a plurality of game content levels,
A method of providing a customized service, characterized in that determining a method of providing a customized service based on the weight.

Images