WO2019066110A1 - 자율 행동 로봇을 이용하여 대화 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 - Google Patents

자율 행동 로봇을 이용하여 대화 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Download PDF

Info

Publication number
WO2019066110A1
WO2019066110A1 PCT/KR2017/011020 KR2017011020W WO2019066110A1 WO 2019066110 A1 WO2019066110 A1 WO 2019066110A1 KR 2017011020 W KR2017011020 W KR 2017011020W WO 2019066110 A1 WO2019066110 A1 WO 2019066110A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
attribute
conversation
reliability
person
Prior art date
Application number
PCT/KR2017/011020
Other languages
English (en)
French (fr)
Inventor
정준석
Original Assignee
주식회사 토룩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토룩 filed Critical 주식회사 토룩
Priority to JP2020518485A priority Critical patent/JP2021503112A/ja
Priority to PCT/KR2017/011020 priority patent/WO2019066110A1/ko
Priority to US16/652,034 priority patent/US20200251105A1/en
Publication of WO2019066110A1 publication Critical patent/WO2019066110A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Definitions

  • the present invention relates to a method, system and non-temporal computer-readable recording medium for providing an interactive service using an autonomous mobile robot.
  • a robot for generating a conversation based on a user's voice, receiving and outputting a generated content dialogue based on the conversation, and a conversation input from the robot are converted into content sentences ,
  • a conversation service device for transmitting a content dialogue including the converted content sentence and motion information of the robot to the robot has been introduced.
  • Another object of the present invention is to provide an interactive service with a high degree of familiarity with a user on the basis of at least one of the personality attribute of the user and the reliability of the person attribute.
  • a method of providing an interactive service using an autonomous mobile robot comprising the steps of: recognizing a user corresponding to acquired face information; determining a personality attribute of the recognized user and a reliability Determining at least one of the content of the conversation to be provided to the user based on at least one of the plurality of content and the reliability of the person attribute and the person attribute based on the feedback of the user to the content of the conversation / RTI >
  • a system for providing an interactive service using an autonomous mobile robot comprising: a face information management unit for recognizing a user corresponding to obtained face information; And reliability of the person attribute and the reliability of the person attribute based on the feedback of the user to the content of the conversation, / RTI >
  • non-transitory computer readable recording medium for recording another method for implementing the invention, another system, and a computer program for carrying out the method.
  • FIG. 1 is a detailed diagram illustrating an internal configuration of a conversation service providing system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a situation in which a conversation service according to an exemplary embodiment of the present invention is provided.
  • FIG. 3 is a diagram illustrating a process of providing a conversation service according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an exemplary dialog template according to an embodiment of the present invention.
  • FIG. 1 is a detailed diagram illustrating an internal configuration of a conversation service providing system 100 according to an embodiment of the present invention.
  • the interactive service providing system 100 includes a face information managing unit 110, a dialogue managing unit 120, an update managing unit 130, a communication unit 140, (150).
  • the face information management unit 110, the dialogue management unit 120, the update management unit 130, the communication unit 140, and the control unit 150 may be implemented by a program Module.
  • a program module may be included in the conversation service providing system 100 in the form of an operating system, an application program module or other program module, and may be physically stored in various known memory devices.
  • Such a program module may also be stored in a remote storage device capable of communicating with the conversation service providing system 100.
  • Such program modules encompass but are not limited to routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or implement particular abstract data types as described below in accordance with the present invention.
  • conversation service providing system 100 Although described above with respect to the conversation service providing system 100, this description is exemplary and at least some of the components or functions of the conversation service providing system 100 may be provided in an external system (not shown) Or may be included in an external system.
  • the face information managing unit 110 can perform a function of recognizing a user corresponding to the obtained face information.
  • the face information managing unit 110 compares the face information obtained through the camera module (not shown) with the lookup table related to the face information of at least one user, The user corresponding to the obtained face information can be recognized.
  • the face information managing unit 110 extracts main features from the obtained object image and compares the similarity with the main features of the object image of the lookup table (or database)
  • a known face recognition algorithm such as an algorithm can be used.
  • the dialogue management unit 120 determines whether or not the face to be provided to the user based on at least one of the personality attributes perceived by the face information management unit 110 and the reliability of the personality attributes
  • the contents of conversation can be determined.
  • the person attributes according to an embodiment of the present invention include a name, an age, a sex, an appearance (presence or absence of hair, presence or absence of glasses), an emotional state, a recent encounter date and time, a recent chat date and time, a hobby, .
  • each of the person attributes may include reliability as to how reliable the person attribute is.
  • the conversation management unit 120 can determine the type of conversation to be provided to the user based on at least one of the personality attribute of the user and the reliability of the person attribute, The content of the conversation associated with the type can be determined as the conversation content to be provided to the user.
  • the dialogue management unit 120 may determine whether or not a person attribute that has not yet been acquired among the personality attributes, based on at least one of a personality attribute of a user who is a conversation partner and a reliability of the personality attribute At least one type of conversation among a type of conversation for acquiring the characteristic of the person, a type of conversation for updating the reliability of the person attribute, and a type of conversation in which the personality attribute having the reliability of a predetermined level or more is used, As the type of conversation to be applied to the conversation.
  • the dialog management unit 120 refers to a dialog template grouped according to a person attribute, and determines a dialogue content associated with the determined dialogue type as a dialogue content to be provided to the user .
  • the dialogue template may be a database in which words, phrases, paragraphs, etc. for generating conversation contents are classified based on at least one of a personality attribute and a conversation type.
  • some person attributes for example, emotion states
  • the dialogue management unit 120 can determine the conversation contents to be provided to the user corresponding to the interested person among the recognized users.
  • the dialogue management unit 120 can calculate the energy of interest for the user based on at least one of the frequency, the number of times, and the period for which the face information is acquired, In the case where the energy is maintained for a predetermined period of time or longer, it is possible to determine that the user corresponds to a person of interest.
  • the dialogue management unit 120 can determine the initial information of the person attribute of the user by estimating the person attribute related to the user from the face information of the user.
  • the dialogue management unit 120 estimates various information that can be obtained from the external appearance of the face such as age, gender, presence or absence of glasses, It is possible to obtain the initial information of the person attribute. Meanwhile, the dialogue management unit 120 according to an exemplary embodiment of the present invention sets the reliability of the person attribute estimated through the face information of the user to a predetermined initial value (for example, 50% of the reliability 0 to 100% Intermediate value)).
  • a predetermined initial value for example, 50% of the reliability 0 to 100% Intermediate value
  • the update management unit 130 can update at least one of the person attribute related to the user and the reliability of the person attribute based on the user's feedback on the conversation content.
  • the update management unit 130 can update the reliability of the user's person attribute associated with the feedback based on the type of the user's feedback on the conversation content.
  • this type of feedback may include at least one of positive feedback, neutral feedback and negative feedback.
  • the update management unit 130 determines the reliability of the first person attribute And if the feedback of the user is positive feedback on the first person attribute, the reliability of the first person attribute with respect to the user can be changed so as to be upward.
  • the update management unit 130 can use known natural language processing techniques such as morphological analysis, syntax analysis, and semantic analysis to analyze user feedback on conversation contents.
  • the update management unit 130 when feedback of a plurality of person attributes regarding the user is included in the user's feedback on the conversation contents, the update management unit 130 sets the feedback type for each of the person attributes The reliability of each person attribute can be updated with reference to the reference value.
  • the conversation content provided to the user based on the fact that the sex attribute of the person attribute of the user is female and the age is thirty, is " .
  • the update management unit 130 determines that the reliability of each of the person attributes whose sex is female and whose age is thirty is the same as that of the person Down.
  • the update management unit 130 updates the reliability of the person attribute about the user, and when the reliability of the person attribute to be updated becomes lower than a predetermined level, have.
  • the update management unit 130 when the reliability of the person attribute whose sex is female is 50% or less, based on the user's feedback on the conversation contents, It can be changed from female to male.
  • the update management unit 130 sets the reliability of the changed person attribute to an initial value (for example, 50% (Or initialized).
  • the update management unit 130 when the person attribute that is not estimated from the face information of the user among the person attributes about the user is acquired through the feedback of the user, The initial value of the reliability of the person attribute obtained from the feedback of the user can be set to be higher than the initial value of the reliability of the person attribute. That is, according to an embodiment of the present invention, the person attribute information obtained from the user's feedback generated in the conversation is explicitly specified by the user. Therefore, the user attribute information, which is estimated from the user's face information, The acquired person attribute information can be treated as more accurate information.
  • the communication unit 140 can perform a function of enabling data transmission / reception to / from the face information management unit 110, the dialogue management unit 120, and the update management unit 130 .
  • the control unit 150 controls the flow of data between the face information management unit 110, the dialogue management unit 120, the update management unit 130, and the communication unit 140 . That is, the control unit 150 according to the present invention controls the flow of data from / to the outside of the conversation service providing system 100 or the data flow between the respective components of the conversation service providing system 100, ), The dialogue management unit 120, the update management unit 130, and the communication unit 140, respectively.
  • FIG. 2 is a diagram illustrating a situation in which a conversation service according to an exemplary embodiment of the present invention is provided.
  • FIG. 3 is a diagram illustrating a process of providing a conversation service according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an exemplary dialog template according to an embodiment of the present invention.
  • the autonomic behavior robot 300 including the conversation service providing system 100 provides a conversation service to the user 200 .
  • the autonomic behavior robot 300 may acquire the face information of the user 200 from the user 200.
  • the autonomic robot 300 may recognize the user 200 corresponding to the obtained face information (310).
  • the autonomic behavior robot 300 may be a known machine learning (or deep learning) robot such as a CNN (Convolution Neural Network) ) Algorithm to obtain information on the user 200 corresponding to the face information, and recognize the user 200 by referring to the obtained information (320).
  • the autonomic behavior robot 300 can use a known clustering technique such as DBSCAN (Density Based Spatial Clustering of Application with Noise) algorithm to specify the face of the user 200 320).
  • DBSCAN Density Based Spatial Clustering of Application with Noise
  • the autonomic mobile robot 300 may store face information for storing, managing, or learning the face information that the obtained face information is the first recognized face information or the face information for which the user 200 is not specified And may further include a database (not shown).
  • the autonomic behavior robot 300 estimates the person attribute of the user 200 from the face information of the user 200 to determine the initial information of the person attribute (330).
  • the autonomic behavior robot 300 determines whether the recognized user 200 is a person of interest (320) Based on at least one of the reliability of the person attribute and the reliability of the person attribute.
  • the autonomic behavior robot 300 may include a type of conversation (e.g., a name, a name, etc.) necessary for acquiring a person attribute called a name 331 that has not yet been acquired among various person attributes related to the user, Type 1) is determined to be a type of conversation to be provided to the user 200, and the determined conversation type 411 (i.e., type 1) among the plurality of conversation templates 360 grouped according to the person attribute or conversation type, Extracts the dialogue content to be provided to the user 200 from the target dialogue template corresponding to the person attribute 410 (i.e., name) of the corresponding user, or generates the dialogue content to be provided to the user 200 based on the target dialogue template can do.
  • the autonomic behavior robot 300 according to the embodiment of the present invention can provide the user 200 with a dialogue message " What is your name often?
  • the autonomic behavior robot 300 may include a dialog 332 for updating the reliability 333 of the person attribute, which is the age 332 among the plurality of person attributes related to the user 200, (E.g., type 2) as the type of conversation to be provided to the user 200 and determines the type of conversation 421, (E.g., Type 2) and the personality attribute 420 (i.e., age) of the user, or extracts the conversation content to be provided to the user 200 based on the target conversation template (340). ≪ / RTI >
  • the autonomic behavior robot 300 according to the embodiment of the present invention may provide the user 200 with a dialogue entitled " Thorough skin care is required for thirty generations " (340).
  • the autonomic behavior robot 300 may include a personality attribute such as a hobby (334) in which the reliability among the plurality of person attributes related to the user 200 is more than a predetermined level (335) (E.g., type 3) that attempts to engage in a friendly conversation with the user 200 is determined to be a type of conversation to be provided to the user 200, and the top of the plurality of conversation templates 360 grouped according to the character attribute or conversation type Extracts the conversation contents to be provided to the user 200 from the target conversation template corresponding to the determined conversation type 431 (i.e., type 3) and the person attribute (430, i.e., hobby) of the user, And may generate the conversation contents to be provided to the user 200 (340).
  • the autonomic behavior robot 300 according to the embodiment of the present invention can provide the user 200 with a dialogue message " Kim 00 is really the best golf player ".
  • the autonomic behavior robot 300 may be configured such that, for a person attribute whose reliability is higher than a predetermined level among the plurality of person attributes, a conversation type That is, only the above type 3) can determine the content of the conversation to be provided to the user. That is, a person attribute whose reliability is higher than a predetermined level is treated as correct information, and is not changed any more.
  • the autonomic mobile robot 300 may further refer to the dialog database 350 that has been established with respect to the conversation contents associated with the conversation type.
  • the autonomic behavior robot 300 updates at least one of the person attribute and the reliability of the person attribute based on the feedback of the user 200 on the provided conversation contents can do.
  • the autonomic behavior robot 300 may be configured such that the feedback of the user 200 is " I am Kim OO " to the conversation contents provided "
  • the personality attribute 331 of the personality attribute can be obtained from the feedback, and the reliability of the personality attribute 331 is determined by the initial value 50% of the reliability of the personality attribute obtained from the face information,
  • the initial value can be set to a higher value of 75%.
  • the autonomic behavior robot 300 may be configured such that the feedback of the user 200 to the conversation contents provided " 30 years requires thorough skin care & In the case of negative feedback such as " not so, ", the reliability of the person attribute of age 332 in the person attribute can be adjusted to be lower than 50% (333).
  • the autonomic behavior robot 300 may be configured such that the feedback of the user 200 is " yes " to the conversation contents provided that " Kim 00 is really the best golf player & (334) of the personality attribute because there is no negative feedback of the user 200 and the type of the personality attribute of the personality attribute 334 is " The reliability 335 of the first and second memory units can be kept unchanged.
  • the dialogue template 360 may include trigger information for analyzing the feedback of the user 200.
  • the trigger information includes information about at least one of a recognition trigger for acquiring a person attribute, an affirmative trigger for a person attribute, a negative trigger for a person attribute, and a progress trigger for continuing the conversation .
  • the dialog template corresponding to the dialog type (that is, the above type 1) 200 may include information on a trigger for recognizing the personality attribute from the feedback of the person. More specifically, if the conversation content associated with the conversation type is "What is your name?" And the feedback of the user 200 is "My name is kim oo" May be a recognition trigger for acquiring a person attribute.
  • Information about a positive or negative trigger may be included. More specifically, the conversation associated with the conversation type is " a really cool male ", and the feedback of the user 200 is " I am a female? Or “I am a woman", the portion corresponding to " woman” may be a trigger for recognizing the negative of the person attribute.
  • conversations matching the dialogue type may include a progress trigger to continue the conversation.
  • conversations are associated with the dialog type is an "IU really'm the best singer", “think I do,” that the feedback of the users (200) "Yes” or “Yes” or “ I think so too "may be a progressive trigger to continue the conversation.
  • the embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination.
  • the program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention or may be those known and used by those skilled in the computer software arts.
  • Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, medium, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • program instructions include machine language code, such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be modified into one or more software modules for performing the processing according to the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Manipulator (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 일 태양에 따르면, 자율 행동 로봇을 이용하여 대화 서비스를 제공하는 방법으로서, 획득되는 얼굴 정보에 대응하는 사용자를 인식하는 단계, 상기 인식되는 사용자에 관한 인물 속성 및 상기 인물 속성의 신뢰도 중 적어도 하나에 기초하여 상기 사용자에게 제공될 대화 내용을 결정하는 단계, 및 상기 대화 내용에 대한 상기 사용자의 피드백에 기초하여 상기 인물 속성 및 상기 인물 속성의 신뢰도 중 적어도 하나를 갱신하는 단계를 포함하는 방법이 제공된다.

Description

자율 행동 로봇을 이용하여 대화 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
본 발명은 자율 행동 로봇을 이용하여 대화 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.
근래에 들어, 인공지능(artificial intelligence) 및 로봇 기술이 발달하면서, 인간과 자연스럽게 대화하고, 스스로 판단하여 동작할 수 있는 자율 주행 로봇에 관한 많은 연구가 진행되고 있다.
이에 관한, 종래 기술의 일 예로서, 사용자의 음성을 바탕으로 대화문을 생성하고, 그 대화문을 바탕으로 생성된 콘텐츠 대화문을 수신하여 출력하는 로봇, 및 그 로봇으로부터 입력된 대화문을 콘텐츠 문장으로 변환하며, 그 변환된 콘텐츠 문장과 로봇의 모션정보를 포함한 콘텐츠 대화문을 로봇으로 전송하는 대화 서비스 장치가 소개된 바 있다.
하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 사용자에 대한 배경 지식 없이 그 사용자로부터 제공된 대화 내용에 대응하는 단순한 답변 내용만이 제공될 뿐이고, 그 사용자에 관한 다양한 인물 속성(예를 들면, 이름, 나이, 성별, 안경, 수염, 취미 등) 등에 기반한 친밀하고 자연스러운 대화를 제공하지는 못하는 실정이었다.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 사용자에 관한 인물 속성 및 그 인물 속성의 신뢰도 중 적어도 하나에 기초하여 사용자와의 친밀도 높은 대화 서비스를 제공하는 또 다른 목적으로 한다.
또한, 본 발명은, 사용자에 대하여 지속적으로 업데이트되는 정보를 기반으로 정확하고 친숙한 대화 서비스를 제공하는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 자율 행동 로봇을 이용하여 대화 서비스를 제공하는 방법으로서, 획득되는 얼굴 정보에 대응하는 사용자를 인식하는 단계, 상기 인식되는 사용자에 관한 인물 속성 및 상기 인물 속성의 신뢰도 중 적어도 하나에 기초하여 상기 사용자에게 제공될 대화 내용을 결정하는 단계, 및 상기 대화 내용에 대한 상기 사용자의 피드백에 기초하여 상기 인물 속성 및 상기 인물 속성의 신뢰도 중 적어도 하나를 갱신하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 자율 행동 로봇을 이용하여 대화 서비스를 제공하는 시스템으로서, 획득되는 얼굴 정보에 대응하는 사용자를 인식하는 얼굴 정보 관리부, 상기 인식되는 사용자에 관한 인물 속성 및 상기 인물 속성의 신뢰도 중 적어도 하나에 기초하여 상기 사용자에게 제공될 대화 내용을 결정하는 대화 관리부, 및 상기 대화 내용에 대한 상기 사용자의 피드백에 기초하여 상기 인물 속성 및 상기 인물 속성의 신뢰도 중 적어도 하나를 갱신하는 갱신 관리부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 사용자에 관한 인물 속성 및 그 인물 속성의 신뢰도 중 적어도 하나에 기초하여 사용자와의 친밀도 높은 대화 서비스를 제공할 수 있게 된다.
본 발명에 의하면, 사용자에 대하여 지속적으로 업데이트되는 정보를 기반으로 정확하고 친숙한 대화 서비스를 제공할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 대화 서비스 제공 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 대화 서비스가 제공되는 상황을 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 대화 서비스가 제공되는 과정을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 대화 템플릿을 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 대화 서비스 제공 시스템
110: 얼굴 정보 관리부
120: 대화 관리부
130: 갱신 관리부
140: 통신부
150: 제어부
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
대화 서비스 제공 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 대화 서비스 제공 시스템(100)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 1는 본 발명의 일 실시예에 따른 대화 서비스 제공 시스템(100)의 내부 구성을 상세하게 도시하는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 대화 서비스 제공 시스템(100)은, 얼굴 정보 관리부(110), 대화 관리부(120), 갱신 관리부(130), 통신부(140) 및 제어부(150)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 얼굴 정보 관리부(110), 대화 관리부(120), 갱신 관리부(130), 통신부(140) 및 제어부(150)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 대화 서비스 제공 시스템(100)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 대화 서비스 제공 시스템(100)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 대화 서비스 제공 시스템(100)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 대화 서비스 제공 시스템(100)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 외부 시스템(미도시됨) 내에서 실현되거나 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다.
먼저, 본 발명의 일 실시예에 따른 얼굴 정보 관리부(110)는, 획득되는 얼굴 정보에 대응하는 사용자를 인식하는 기능을 수행할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 얼굴 정보 관리부(110)는, 카메라 모듈(미도시됨)을 통해 획득되는 얼굴 정보와, 적어도 한 명의 사용자의 얼굴 정보에 관한 룩업 테이블을 비교함으로써 그 획득되는 얼굴 정보에 대응하는 사용자를 인식할 수 있다.
한편, 본 발명의 일 실시예에 따른 얼굴 정보 관리부(110)는, 획득되는 객체 이미지로부터 주요 특징을 추출하여 룩업 테이블(또는 데이터베이스)의 객체 이미지의 주요 특징과 유사도를 비교함으로써 특정 객체임을 인식하는 알고리즘 등의 공지의 얼굴 인식 알고리즘을 이용할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 대화 관리부(120)는, 얼굴 정보 관리부(110)에 의해 인식되는 사용자에 관한 인물 속성 및 그 인물 속성의 신뢰도 중 적어도 하나에 기초하여 그 사용자에게 제공될 대화 내용을 결정할 수 있다. 본 발명의 일 실시예에 따른 인물 속성에는, 이름, 나이, 성별, 외관(수염 유무, 안경 유무 등), 감정 상태, 최근 만남 일시, 최근 대화 일시, 취미, 좋아하는 가수, 결혼 유무 등이 포함될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 그 인물 속성 각각에는, 그 인물 속성이 얼마나 믿을 수 있는지에 관한 신뢰도가 포함될 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 대화 관리부(120)는, 사용자의 인물 속성 및 그 인물 속성의 신뢰도 중 적어도 하나에 기초하여 그 사용자에게 제공될 대화 유형을 결정할 수 있고, 그 결정되는 대화 유형과 연관되는 대화 내용을 해당 사용자에게 제공될 대화 내용으로 결정할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 대화 관리부(120)는, 대화의 상대방이 되는 사용자의 인물 속성 및 그 인물 속성의 신뢰도 중 적어도 하나에 기초하여, 인물 속성 중 아직 획득하지 못한 인물 속성을 획득하기 위한 대화 유형, 인물 속성의 신뢰도를 갱신하기 위한 대화 유형 및 인물 속성 중 소정 수준 이상의 신뢰도를 가지는 인물 속성을 이용하여 친숙한 대화를 시도하는 대화 유형 중 적어도 하나의 대화 유형을 해당 사용자와의 대화에 적용될 대화 유형으로서 결정할 수 있다. 또한, 본 발명의 일 실시예에 따른 대화 관리부(120)는, 인물 속성에 따라 그룹화되어 있는 대화 템플릿을 참조하여 위의 결정되는 대화 유형과 연관되는 대화 내용을 해당 사용자에게 제공될 대화 내용으로 결정할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 대화 템플릿은, 대화 내용을 생성하기 위한 단어, 문장, 문단 등이 인물 속성 및 대화 유형 중 적어도 하나를 기준으로 하여 구분되어 있는 데이터베이스일 수 있다.
한편, 본 발명의 일 실시예에 따르면, 일부의 인물 속성(예를 들면, 감정 상태)은, 해당 인물 속성에 대한 신뢰도가 존재하지 않거나 해당 인물 속성의 신뢰도가 항상 100%로 간주되도록 설정될 수 있다.
또한, 본 발명의 일 실시예에 따른 대화 관리부(120)는, 위의 인식되는 사용자 중 관심 인물에 해당되는 사용자에 대하여 제공될 대화 내용을 결정할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 대화 관리부(120)는, 얼굴 정보가 획득되는 빈도, 횟수 및 기간 중 적어도 하나에 기초하여 사용자에 대한 관심 에너지를 산출할 수 있고, 그 산출된 관심 에너지가 소정 수준 이상으로 소정 기간 동안 유지되는 경우에, 해당 사용자를 관심 인물에 해당하는 것으로 판단할 수 있다.
또한, 본 발명의 일 실시예에 따른 대화 관리부(120)는, 사용자의 얼굴 정보로부터 그 사용자에 관한 인물 속성을 추정함으로써, 그 사용자의 인물 속성의 초기 정보를 결정할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 대화 관리부(120)는 사용자의 얼굴 정보를 통해 나이, 성별, 안경 유무, 수염 유무 등 얼굴의 외관으로부터 획득될 수 있는 다양한 정보를 추정함으로써, 사용자에 관한 인물 속성의 초기 정보를 획득할 수 있다. 한편, 본 발명의 일 실시예에 따른 대화 관리부(120)는, 사용자의 얼굴 정보를 통해 추정되는 인물 속성의 신뢰도를 기설정된 초기값(예를 들면, 신뢰도 0~100% 중 50%(즉, 중간값))으로 설정되도록 할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 갱신 관리부(130)는, 대화 내용에 대한 사용자의 피드백에 기초하여 해당 사용자에 관한 인물 속성 및 그 인물 속성의 신뢰도 중 적어도 하나를 갱신할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 갱신 관리부(130)는, 대화 내용에 대한 사용자의 피드백의 유형에 기초하여 그 피드백과 연관된 그 사용자의 인물 속성의 신뢰도를 갱신할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 피드백의 유형에는, 긍정적 피드백, 중립적 피드백 및 부정적 피드백 중 적어도 하나가 포함될 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 갱신 관리부(130)는, 대화 내용에 대한 사용자의 피드백이 사용자에 관한 제1 인물 속성에 대한 부정적 피드백이면, 그 사용자에 관한 제1 인물 속성의 신뢰도가 하향되도록 변경하고, 그 사용자의 피드백이 그 제1 인물 속성에 대한 긍정적 피드백이면, 그 사용자에 관한 제1 인물 속성의 신뢰도가 상향되도록 변경할 수 있다.
한편, 본 발명의 일 실시예에 따른 갱신 관리부(130)는, 대화 내용에 대한 사용자의 피드백을 분석하기 위하여, 형태소 분석, 구문 분석, 의미 분석 등의 공지의 자연어 처리 기술을 이용할 수 있다.
또한, 본 발명의 일 실시예에 따르면 대화 내용에 대한 사용자의 피드백에 그 사용자에 관한 복수의 인물 속성에 대한 피드백이 포함되는 경우에, 갱신 관리부(130)는, 인물 속성 각각에 대한 피드백 유형을 참조하여 각 인물 속성의 신뢰도를 갱신할 수 있다.
예를 들면, 본 발명의 일 실시예에 따르면, 사용자에 관한 인물 속성 중 성별이 여성이고, 나이가 30대인 것에 기초하여 그 사용자에게 제공된 대화 내용이, "이 옷은 여성미를 더욱 강조시켜 줘요"인 경우에, 사용자가 "난 남자야. 그리고 20대인 나에겐 그거 안 어울려."라고 피드백하면, 갱신 관리부(130)는, 인물 속성 중 성별이 여성인 것과 나이가 30대인 것 각각에 대한 신뢰도가 하향되도록 변경할 수 있다.
또한, 본 발명의 일 실시예에 따른 갱신 관리부(130)는, 사용자에 관한 인물 속성의 신뢰도를 갱신함에 따라, 그 갱신되는 인물 속성의 신뢰도가 소정 수준 이하가 되면, 해당 인물 속성 자체를 변경할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 갱신 관리부(130)는, 대화 내용에 대한 사용자의 피드백에 기초하여, 성별이 여성인 인물 속성의 신뢰도가 50% 이하가 되면, 성별이라는 인물 속성을 여성에서 남성으로 변경할 수 있다.
한편, 본 발명의 일 실시예에 따른 갱신 관리부(130)는, 인물 속성의 신뢰도가 소정 수준 이하가 되어 그 인물 속성이 변경되면, 그 변경된 인물 속성의 신뢰도가 초기값(예를 들면, 50%)으로 설정(또는 초기화)되도록 할 수 있다.
한편, 본 발명의 일 실시예에 따른 갱신 관리부(130)는, 사용자에 관한 인물 속성 중 사용자의 얼굴 정보로부터 추정되지 못한 인물 속성이 해당 사용자의 피드백을 통해 획득되면, 그 사용자의 얼굴 정보로부터 추정되는 인물 속성의 신뢰도의 초기값보다 그 사용자의 피드백으로부터 획득되는 인물 속성의 신뢰도의 초기값이 높게 설정되도록 할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 대화에서 발생하는 사용자의 피드백으로부터 획득된 인물 속성 정보는 사용자에 의하여 명시적으로 특정되는 것이므로, 사용자의 얼굴 정보로부터 추정된 인물 속성 정보보다는 사용자의 피드백으로부터 획득된 인물 속성 정보가 더 정확한 정보인 것으로 취급될 수 있게 된다.
다음으로, 본 발명의 일 실시예에 따른 통신부(140)는 얼굴 정보 관리부(110), 대화 관리부(120), 갱신 관리부(130)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(150)는 얼굴 정보 관리부(110), 대화 관리부(120), 갱신 관리부(130) 및 통신부(140) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(150)는 대화 서비스 제공 시스템(100)의 외부로부터의/로의 데이터 흐름 또는 대화 서비스 제공 시스템(100)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 얼굴 정보 관리부(110), 대화 관리부(120), 갱신 관리부(130) 및 통신부(140)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 2는 본 발명의 일 실시예에 따른 대화 서비스가 제공되는 상황을 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 대화 서비스가 제공되는 과정을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 대화 템플릿을 예시적으로 나타내는 도면이다.
도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따른 대화 서비스 제공 시스템(100)을 포함하는 자율 행동 로봇(300)이 사용자(200)에게 대화 서비스를 제공하는 상황을 가정해볼 수 있다.
먼저, 본 발명의 일 실시예에 따르면, 자율 행동 로봇(300)이 사용자(200)로부터 그 사용자(200)의 얼굴 정보를 획득할 수 있다.
그 다음에, 본 발명의 일 실시예에 따르면, 자율 행동 로봇(300)은 그 획득되는 얼굴 정보에 대응하는 사용자(200)를 인식할 수 있다(310). 예를 들면, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은, 합성곱 신경망 알고리즘(CNN; Convolution Neural Network) 등의 공지의 머신 러닝(machine learning)(또는, 딥 러닝(deep learning)) 알고리즘을 통해 얼굴 정보에 대응하는 사용자(200)에 관한 정보를 획득할 수 있고, 그 획득된 정보를 참조하여 사용자(200)를 인식할 수 있다(320). 또한, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은 사용자(200)의 얼굴을 특정하기 위하여 DBSCAN(Density Based Spatial Clustering of Application with Noise) 알고리즘 등의 공지의 군집화 기술을 이용할 수 있다(320). 한편, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은 위의 획득되는 얼굴 정보가 처음 인식되는 얼굴 정보이거나 사용자(200)가 특정되지 않는 얼굴 정보를 저장, 관리 또는 학습하기 위한 얼굴 정보 데이터베이스(미도시됨)를 더 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은, 사용자(200)의 얼굴 정보로부터 그 사용자(200)의 인물 속성을 추정함으로써, 그 사용자(200)에 관한 인물 속성의 초기 정보를 획득할 수 있다(330).
그 다음에, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은 위의 인식된 사용자(200)가 관심 인물로 판단되는 경우에(320), 그 사용자(200)에 관한 인물 속성 및 그 인물 속성의 신뢰도 중 적어도 하나에 기초하여 해당 사용자(200)에게 제공될 대화 내용을 결정할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은 해당 사용자에 관한 여러 인물 속성 중 아직 획득되지 않은 이름(331)이라는 인물 속성을 획득하기 위해 필요한 대화 유형(예를 들면, 유형 1)을 해당 사용자(200)에게 제공될 대화 유형으로 결정하고, 인물 속성 또는 대화 유형에 따라 그룹화되어 있는 여러 대화 템플릿(360) 중 위의 결정되는 대화 유형(411, 즉, 유형 1) 및 해당 사용자의 인물 속성(410, 즉, 이름)에 부합하는 타겟 대화 템플릿으로부터 해당 사용자(200)에게 제공될 대화 내용을 추출하거나 타겟 대화 템플릿에 기초하여 해당 사용자(200)에게 제공될 대화 내용을 생성할 수 있다. 이 경우에, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은 해당 사용자(200)에게 "요즘 자주 보네요. 이름이 뭔가요?"라는 대화 내용을 제공할 수 있다(340).
다른 예를 들면, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은 해당 사용자(200)에 관한 여러 인물 속성 중 나이(332)라는 인물 속성에 대한 신뢰도(333)를 갱신하기 위해 필요한 대화 유형(예를 들면, 유형 2)을 해당 사용자(200)에게 제공될 대화 유형으로 결정하고, 인물 속성 또는 대화 유형에 따라 그룹화되어 있는 여러 대화 템플릿(360) 중 위의 결정되는 대화 유형(421, 즉, 유형 2) 및 해당 사용자의 인물 속성(420, 즉, 나이)에 부합하는 타겟 대화 템플릿으로부터 해당 사용자(200)에게 제공될 대화 내용을 추출하거나 타겟 대화 템플릿에 기초하여 해당 사용자(200)에게 제공될 대화 내용을 생성할 수 있다(340). 이 경우에, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은 해당 사용자(200)에게 "30대에는 철저한 피부 관리가 필요합니다."라는 대화 내용을 제공할 수 있다(340).
또 다른 예를 들면, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은 해당 사용자(200)에 관한 여러 인물 속성 중 신뢰도가 소정 수준 이상(335)인 취미(334)라는 인물 속성을 바탕으로 친숙한 대화를 시도하는 대화 유형(예를 들면, 유형 3)을 해당 사용자(200)에게 제공될 대화 유형으로 결정하고, 인물 속성 또는 대화 유형에 따라 그룹화되어 있는 여러 대화 템플릿(360) 중 위의 결정되는 대화 유형(431, 즉, 유형 3) 및 해당 사용자의 인물 속성(430, 즉, 취미)에 부합하는 타겟 대화 템플릿으로부터 해당 사용자(200)에게 제공될 대화 내용을 추출하거나 타겟 대화 템플릿에 기초하여 해당 사용자(200)에게 제공될 대화 내용을 생성할 수 있다(340). 이 경우에, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은 해당 사용자(200)에게 "김00는 정말 최고의 골프 선수에요"라고 대화 내용을 제공할 수 있다(340).
한편, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은, 여러 인물 속성 중 신뢰도가 소정 수준 이상인 인물 속성에 대하여서는 위의 대화 유형 중 인물 속성을 바탕으로 친숙한 대화를 시도하는 대화 유형(즉, 위의 유형 3)만이 사용자에게 제공될 대화 내용으로 결정할 수 있다. 즉, 신뢰도가 소정 수준 이상인 인물 속성은 정확한 정보인 것으로 취급되어 더 이상 변경되지 않게 된다.
한편, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은 대화 유형과 연관되는 대화 내용에 관하여 기구축된 대화 데이터베이스(350)를 더 참조할 수도 있다.
그 다음에, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은 위의 제공된 대화 내용에 대한 위의 사용자(200)의 피드백에 기초하여 인물 속성 및 그 인물 속성의 신뢰도 중 적어도 하나를 갱신할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은, "요즘 자주 보네요. 이름이 뭔가요?"라고 제공된 대화 내용에 대하여 해당 사용자(200)의 피드백이 "나는 김OO이야"인 경우에, 그 피드백으로부터 인물 속성 중 이름(331)이라는 인물 속성을 획득할 수 있고, 그 이름(331)이라는 인물 속성에 대한 신뢰도는 얼굴 정보로부터 획득된 다른 인물 속성의 신뢰도의 초기값 50%보다 높은 값인 75%로 초기값을 설정할 수 있다.
다른 예를 들면, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은, "30대에는 철저한 피부 관리가 필요합니다."라고 제공된 대화 내용에 대하여 해당 사용자(200)의 피드백이 "나는 30대 아닌데요."와 같은 부정적인 피드백인 경우에, 인물 속성 중 나이(332)라는 인물 속성의 신뢰도가 50%(333)보다 하향되도록 조정할 수 있다.
또 다른 예를 들면, 본 발명의 일 실시예에 따른 자율 행동 로봇(300)은, "김00는 정말 최고의 골프 선수에요."라고 제공된 대화 내용에 대하여 해당 사용자(200)의 피드백이 "맞아" 또는 "나도 그렇게 생각해"인 경우에, 해당 대화 유형이 해당 사용자(200)와의 친숙한 대화를 시도하기 위한 대화 유형이고, 해당 사용자(200)의 부정적인 피드백이 없으므로 인물 속성 중 취미(334)라는 인물 속성의 신뢰도(335)를 변경 없이 유지되도록 할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 위의 대화 템플릿(360)에는, 해당 사용자(200)의 피드백을 분석하기 위한 트리거 정보가 포함될 수 있다. 본 발명의 일 실시예에 따른 트리거 정보에는, 인물 속성을 획득하기 위한 인식 트리거, 인물 속성에 대한 긍정 트리거, 인물 속성에 대한 부정 트리거 및 대화를 이어나가기 위한 진행 트리거 중 적어도 하나에 관한 정보가 포함될 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 여러 대화 템플릿(360) 중 아직 획득되지 않은 인물 속성을 획득하기 위해 필요한 대화 유형(즉, 위의 유형 1)에 부합하는 대화 템플릿에는, 해당 사용자(200)의 피드백으로부터 해당 인물 속성을 인식하기 위한 트리거에 관한 정보가 포함될 수 있다. 보다 상세하게는, 해당 대화 유형과 연관되는 대화 내용이 "요즘 자주 보네요. 이름이 뭔가요?"이고, 해당 사용자(200)의 피드백이 "내 이름은 김oo이야"인 경우에, "김oo"에 해당하는 부분이 인물 속성을 획득하기 위한 인식 트리거일 수 있다.
다른 예를 들어, 본 발명의 일 실시예에 따른 여러 대화 템플릿(360) 중 인물 속성에 대한 신뢰도를 갱신하기 위해 필요한 대화 유형(즉, 위의 유형 2)에 부합하는 대화 템플릿에는, 인물 속성에 대한 긍정 또는 부정 트리거에 관한 정보가 포함될 수 있다. 보다 상세하게는, 해당 대화 유형과 연관되는 대화 내용이 "정말 멋진 남성이네요"이고, 해당 사용자(200)의 피드백이 "난 여성인데?" 또는 "나 여성이야"인 경우에, "여성"에 해당하는 부분이 인물 속성에 대한 부정을 인식하기 위한 트리거일 수 있다.
또 다른 예를 들면, 본 발명의 일 실시예에 따른 여러 대화 템플릿(360) 중 신뢰도가 소정 수준 이상인 인물 속성을 바탕으로 친숙한 대화를 시도하는 대화 유형(즉, 위의 유형 3)에 부합하는 대화 템플릿에는, 대화를 이어나가기 위한 진행 트리거가 포함될 수 있다. 보다 상세하게는, 해당 대화 유형과 연관되는 대화 내용이 "아이유는 정말 최고의 가수에요"이고, 해당 사용자(200)의 피드백이 "맞아" 또는 "나도 그렇게 생각해"인 경우에, "맞아" 또는 "나도 그렇게 생각해" 부분이 대화를 이어나가기 위한 진행 트리거일 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (10)

  1. 자율 행동 로봇을 이용하여 대화 서비스를 제공하는 방법으로서,
    획득되는 얼굴 정보에 대응하는 사용자를 인식하는 단계,
    상기 인식되는 사용자에 관한 인물 속성 및 상기 인물 속성의 신뢰도 중 적어도 하나에 기초하여 상기 사용자에게 제공될 대화 내용을 결정하는 단계, 및
    상기 대화 내용에 대한 상기 사용자의 피드백에 기초하여 상기 인물 속성 및 상기 인물 속성의 신뢰도 중 적어도 하나를 갱신하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 결정 단계는,
    상기 인식되는 사용자가 관심 인물에 해당하는지 여부를 판단하는 단계를 더 포함하고,
    상기 관심 인물은, 얼굴 정보가 획득되는 빈도, 횟수 및 기간 중 적어도 하나를 참조하여 결정되는 관심 에너지가 소정 수준 이상으로 소정 기간 동안 유지되는 사용자인
    방법.
  3. 제1항에 있어서,
    상기 결정 단계는,
    상기 인물 속성 및 상기 인물 속성의 신뢰도에 기초하여 상기 사용자에게 제공될 대화 유형을 결정하는 단계, 및
    상기 인물 속성에 따라 그룹화되어 있는 대화 템플릿을 참조하여 상기 대화 유형에 연관되는 대화 내용을 결정하는 단계를 더 포함하는
    방법.
  4. 제1항에 있어서,
    상기 갱신 단계에서, 상기 피드백의 유형을 참조하여 상기 피드백과 연관된 상기 사용자의 인물 속성의 신뢰도를 갱신하는
    방법.
  5. 제1항에 있어서,
    상기 갱신 단계에서, 상기 인물 속성의 신뢰도가 소정 수준 이하로 갱신되는 경우에, 상기 인물 속성을 변경하는
    방법.
  6. 제5항에 있어서,
    상기 인물 속성이 변경되는 경우에, 상기 갱신되는 인물 속성의 신뢰도가 초기화되는
    방법.
  7. 제1항에 있어서,
    상기 인물 속성의 초기 정보는, 상기 사용자의 얼굴 정보로부터 추정되거나 상기 사용자의 피드백으로부터 획득되는
    방법.
  8. 제7항에 있어서,
    상기 사용자의 피드백으로부터 획득되는 인물 속성의 신뢰도의 초기값이 상기 사용자의 얼굴 정보로부터 추정되는 인물 속성의 신뢰도의 초기값보다 높게 설정되는
    방법.
  9. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  10. 자율 행동 로봇을 이용하여 대화 서비스를 제공하는 시스템으로서,
    획득되는 얼굴 정보에 대응하는 사용자를 인식하는 얼굴 정보 관리부,
    상기 인식되는 사용자에 관한 인물 속성 및 상기 인물 속성의 신뢰도 중 적어도 하나에 기초하여 상기 사용자에게 제공될 대화 내용을 결정하는 대화 관리부, 및
    상기 대화 내용에 대한 상기 사용자의 피드백에 기초하여 상기 인물 속성 및 상기 인물 속성의 신뢰도 중 적어도 하나를 갱신하는 갱신 관리부
    를 포함하는 시스템.
PCT/KR2017/011020 2017-09-29 2017-09-29 자율 행동 로봇을 이용하여 대화 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 WO2019066110A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020518485A JP2021503112A (ja) 2017-09-29 2017-09-29 自律行動ロボットを利用して対話サービスを提供する方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
PCT/KR2017/011020 WO2019066110A1 (ko) 2017-09-29 2017-09-29 자율 행동 로봇을 이용하여 대화 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US16/652,034 US20200251105A1 (en) 2017-09-29 2017-09-29 Method and system for providing conversation service by using autonomous behavior robot, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2017/011020 WO2019066110A1 (ko) 2017-09-29 2017-09-29 자율 행동 로봇을 이용하여 대화 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Publications (1)

Publication Number Publication Date
WO2019066110A1 true WO2019066110A1 (ko) 2019-04-04

Family

ID=65903423

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011020 WO2019066110A1 (ko) 2017-09-29 2017-09-29 자율 행동 로봇을 이용하여 대화 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Country Status (3)

Country Link
US (1) US20200251105A1 (ko)
JP (1) JP2021503112A (ko)
WO (1) WO2019066110A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116842156B (zh) * 2023-06-30 2024-05-10 北京百度网讯科技有限公司 数据生成方法及装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003117866A (ja) * 2001-10-16 2003-04-23 Nec Corp ロボット装置及びその制御方法
JP2004252111A (ja) * 2003-02-19 2004-09-09 Sony Corp 学習装置及び学習方法並びにロボット装置
JP2010094799A (ja) * 2008-10-17 2010-04-30 Littleisland Inc 人型ロボット
KR20110124837A (ko) * 2010-05-12 2011-11-18 (주) 퓨처로봇 지능형 로봇 장치의 서비스 시나리오 편집 방법, 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체, 지능형 로봇 장치 및 지능형 로봇의 서비스 방법
KR20130093290A (ko) * 2012-02-14 2013-08-22 (주) 퓨처로봇 감성 교감 로봇 서비스 시스템 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004090109A (ja) * 2002-08-29 2004-03-25 Sony Corp ロボット装置およびロボット装置の対話方法
WO2005076258A1 (ja) * 2004-02-03 2005-08-18 Matsushita Electric Industrial Co., Ltd. ユーザ適応型装置およびその制御方法
US20110125783A1 (en) * 2009-11-19 2011-05-26 Whale Peter Apparatus and method of adaptive questioning and recommending

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003117866A (ja) * 2001-10-16 2003-04-23 Nec Corp ロボット装置及びその制御方法
JP2004252111A (ja) * 2003-02-19 2004-09-09 Sony Corp 学習装置及び学習方法並びにロボット装置
JP2010094799A (ja) * 2008-10-17 2010-04-30 Littleisland Inc 人型ロボット
KR20110124837A (ko) * 2010-05-12 2011-11-18 (주) 퓨처로봇 지능형 로봇 장치의 서비스 시나리오 편집 방법, 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체, 지능형 로봇 장치 및 지능형 로봇의 서비스 방법
KR20130093290A (ko) * 2012-02-14 2013-08-22 (주) 퓨처로봇 감성 교감 로봇 서비스 시스템 및 그 방법

Also Published As

Publication number Publication date
US20200251105A1 (en) 2020-08-06
JP2021503112A (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
CN112131366B (zh) 训练文本分类模型及文本分类的方法、装置及存储介质
US10977452B2 (en) Multi-lingual virtual personal assistant
CN107862000B (zh) 一种农业技术咨询人机对话方法
Scherer et al. A generic framework for the inference of user states in human computer interaction: How patterns of low level behavioral cues support complex user states in HCI
US10169466B2 (en) Persona-based conversation
CN113380271B (zh) 情绪识别方法、***、设备及介质
CN110262665A (zh) 用于输出信息的方法和装置
CN110462676A (zh) 电子装置、其控制方法和非暂态计算机可读记录介质
CN112052318A (zh) 一种语义识别方法、装置、计算机设备和存储介质
Quintas et al. Toward a context-aware human–robot interaction framework based on cognitive development
CN109871807A (zh) 人脸图像处理方法和装置
CN115083434B (zh) 一种情绪识别方法、装置、计算机设备及存储介质
Camgöz et al. Sign language recognition for assisting the deaf in hospitals
KR102544249B1 (ko) 발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법
WO2018212584A2 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
WO2024090713A1 (ko) 공감 심리학 기반의 챗봇 서비스를 통한 유저 심리 관리 시스템
WO2018169276A1 (ko) 언어 정보를 처리하기 위한 방법 및 그 전자 장치
WO2019039659A1 (ko) 감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들
WO2019031621A1 (ko) 통화 중 감정을 인식하여 인식된 감정을 활용하는 방법 및 시스템
Weng et al. [Retracted] Multimodal Emotion Recognition Algorithm for Artificial Intelligence Information System
WO2024090712A1 (ko) 공감대 형성을 통한 심리 치료용 인공지능 대화 시스템
CN109074809A (zh) 信息处理设备、信息处理方法和程序
WO2019066110A1 (ko) 자율 행동 로봇을 이용하여 대화 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2016163565A1 (ko) 멀티모달 다중 에이전트 기반의 감정 통신 시스템
Justo et al. Exploring ontologies to improve the empathy of interactive bots

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17926397

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020518485

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17926397

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17926397

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19/01/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 17926397

Country of ref document: EP

Kind code of ref document: A1