KR101970297B1 - Robot system for generating and representing emotion and method thereof - Google Patents
Robot system for generating and representing emotion and method thereof Download PDFInfo
- Publication number
- KR101970297B1 KR101970297B1 KR1020170074424A KR20170074424A KR101970297B1 KR 101970297 B1 KR101970297 B1 KR 101970297B1 KR 1020170074424 A KR1020170074424 A KR 1020170074424A KR 20170074424 A KR20170074424 A KR 20170074424A KR 101970297 B1 KR101970297 B1 KR 101970297B1
- Authority
- KR
- South Korea
- Prior art keywords
- emotion
- user
- robot system
- voice
- unit
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/026—Acoustical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
감정을 생성하여 표현하는 로봇 시스템과, 그 시스템에서의 감정 생성 및 표현 방법이 개시된다.
이 시스템에서, 얼굴 인식부는 외부의 영상으로부터 얼굴 영상을 인식하고, 음성 인식부는 외부의 음성을 인식한다. 감정 인식부는 신경망 모델을 사용하여 얼굴 영상과 음성에 대응되는 사용자의 감정을 학습하고, 학습 결과를 사용하여 상기 얼굴 인식부에서 인식되는 얼굴 영상과 상기 음성 인식부에 의해 인식되는 음성 인식 결과에 대응되는 사용자의 감정을 인식한다. 감정 생성부는 퍼지 추론(Fuzzy Inference)을 사용하여 사용자의 감정 입력에 대응되는 로봇 시스템의 감정 생성을 학습하고, 학습 결과를 사용하여 상기 감정 인식부에 의해 인식되는 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성한다. 감정 표현부는 상기 감정 생성부에 의해 생성되는 로봇 시스템의 감정을 외부로 표현한다.A robot system for generating and expressing an emotion and a method of generating and expressing an emotion in the system are disclosed.
In this system, the face recognition unit recognizes a face image from an external image, and the voice recognition unit recognizes an external voice. The emotion recognition unit learns the emotions of the user corresponding to the face image and the voice by using a neural network model, and uses the learning result to correspond to the face image recognized by the face recognition unit and the voice recognition result recognized by the voice recognition unit. Be aware of the user's feelings. The emotion generator learns the emotion generation of the robot system corresponding to the emotion input of the user by using fuzzy inference, and uses the learning result of the robot system corresponding to the emotion of the user recognized by the emotion recognizer. Produce emotions. The emotion expression unit expresses the emotion of the robot system generated by the emotion generation unit to the outside.
Description
본 발명은 감정을 생성하여 표현하는 로봇 시스템과, 그 시스템에서의 감정 생성 및 표현 방법에 관한 것이다.The present invention relates to a robot system for generating and expressing emotions, and a method for generating and expressing emotions in the system.
컨시어지(concierge)란 본래 중세 시대에 성을 관리하는 '집사'를 가리키는 말이었으나, 지금은 호텔이나 백화점 등의 업계에서 VIP 고객과 일대일로 대면하며 고객의 편의를 살피는 개념으로 사용되고 있다. Concierge was originally used to refer to a butler who manages a castle in the Middle Ages, but is now used as a concept of face-to-face meetings with VIP customers in industries such as hotels and department stores.
한편, 최근에는 정보 통신 기술 및 로봇 기술의 발전으로, 사람 대신에 로봇을 사용한 컨시어지 서비스는 물론 다양한 형태의 대면 서비스가 가능해졌다. 특히, 최근 유통업계에선 로봇을 이용한 서비스시 인공 지능(Artifictial Intelligence, AI) 기술을 접목한 사례가 늘고 있다. On the other hand, in recent years, with the development of information communication technology and robot technology, various types of face-to-face service as well as concierge service using a robot instead of a human being are possible. In particular, the distribution industry is increasingly using artificial intelligence (AI) technology for robotic service.
그러나, 로봇 기술에 인공 지능을 접목한 서비스의 경우 기술적인의 한계로 인해 현재 제공할 수 있는 서비스가 상품 선택 정도 등으로 다양한 서비스를 제공하기에는 부족한 현실이다.However, in the case of a service combining artificial intelligence with robot technology, due to technical limitations, currently available services are insufficient to provide various services due to the degree of product selection.
따라서, 로봇을 이용한 컨시어지 서비스 등의 대면 서비스시 보다 다양한 기능을 제공할 수 있는 기술이 요구되고 있으며, 특히 사용자의 얼굴이나 음성 인식에 기초하여 사용자의 감정을 인식하고, 인식되는 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하여 표시할 수 있는 기술이 요구된다. Therefore, there is a demand for a technology capable of providing various functions in a face-to-face service such as a concierge service using a robot, and in particular, recognizes a user's emotion based on the user's face or voice recognition and responds to the recognized user's emotion. There is a need for a technology capable of generating and displaying emotions of a robotic system.
본 발명이 이루고자 하는 기술적 과제는 사용자의 감정 상태에 대응되는 감정을 생성하여 표현할 수 있는 로봇 시스템과, 그 시스템에서의 감정 생성 및 표현 방법을 제공한다.SUMMARY OF THE INVENTION The present invention provides a robot system capable of generating and expressing emotions corresponding to an emotional state of a user, and a method of generating and expressing emotions in the system.
본 발명의 한 특징에 따른 로봇 시스템은,Robot system according to one aspect of the invention,
외부의 영상으로부터 얼굴 영상을 인식하는 얼굴 인식부; 외부의 음성을 인식하는 음성 인식부; 신경망 모델을 사용하여 얼굴 영상과 음성에 대응되는 사용자의 감정을 학습하고, 학습 결과를 사용하여 상기 얼굴 인식부에서 인식되는 얼굴 영상과 상기 음성 인식부에 의해 인식되는 음성 인식 결과에 대응되는 사용자의 감정을 인식하는 감정 인식부; 퍼지 추론(Fuzzy Inference)을 사용하여 사용자의 감정 입력에 대응되는 로봇 시스템의 감정 생성을 학습하고, 학습 결과를 사용하여 상기 감정 인식부에 의해 인식되는 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하는 감정 생성부; 및 상기 감정 생성부에 의해 생성되는 로봇 시스템의 감정을 외부로 표현하는 감정 표현부를 포함한다.A face recognition unit recognizing a face image from an external image; A voice recognition unit for recognizing an external voice; A user's emotion corresponding to a face image and a voice is learned using a neural network model, and a face image recognized by the face recognition unit and a voice recognition result recognized by the voice recognition unit are used by using a learning result. An emotion recognition unit that recognizes emotions; Using fuzzy inference to learn the emotion generation of the robot system corresponding to the user's emotion input, using the learning results to generate the emotion of the robot system corresponding to the user's emotion recognized by the emotion recognition unit An emotion generating unit; And an emotion expression unit expressing an emotion of the robot system generated by the emotion generation unit to the outside.
여기서, 상기 감정 생성부는 사용자의 감정을 외부의 클라우드 서버 ― 여기서 클라우드 서버는 퍼지 추론 사용한 학습이 가능한 서버임 ―로 전달하여 사용자의 감정에 대응되는 로봇 시스템의 감정 생성 학습을 수행시킨 후, 상기 감정 인식부로부터 입력되는 사용자의 감정을 상기 클라우드 서버로 전달하여 상기 사용자의 감정에 대응되는 로봇 시스템의 감정 생성을 요청한 후 상기 클라우드 서버로부터 전달되는 로봇 시스템의 감정 생성 결과를 수신하여 로봇 시스템의 감정으로 사용한다.Here, the emotion generating unit transmits the user's emotion to an external cloud server, where the cloud server is a server capable of learning using fuzzy inference, to perform emotion generation learning of the robot system corresponding to the user's emotion, and then the emotion. Sends the emotion of the user input from the recognition unit to the cloud server to request the emotion generation of the robot system corresponding to the emotion of the user, and then receives the emotion generation result of the robot system transmitted from the cloud server to the emotion of the robot system. use.
또한, 상기 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 모델이다.In addition, the neural network model is a convolutional neural network (CNN) model model.
또한, 상기 감정 생성부는, 상기 감정 인식부에 의해 인식되는 사용자의 감정을 입력으로 상기 퍼지 시스템을 사용하여 로봇 시스템의 감정 상태를 감정 이모지값으로 생성하는 감정 이모지값 생성부; 상기 감정 인식부에 의해 인식되는 사용자의 감정을 입력으로 상기 퍼지 시스템을 사용하여 로봇 시스템의 감정 상태를 감정 LED 컬러값으로 생성하는 감정 LED 컬러값 생성부; 상기 감정 인식부에 의해 인식되는 사용자의 감정을 입력으로 상기 퍼지 시스템을 사용하여 로봇 시스템의 감정 상태를 감정 음성값으로 생성하는 감정 음성값 생성부; 및 상기 감정 인식부에 의해 인식되는 사용자의 감정을 입력으로 상기 퍼지 시스템을 사용하여 로봇 시스템의 감정 상태를 감정 모션값으로 생성하는 감정 모션값 생성부를 포함한다.The emotion generation unit may include an emotion emoji value generation unit generating an emotion state of a robot system as an emotion emoji value using the fuzzy system as an input of a user's emotion recognized by the emotion recognition unit; An emotion LED color value generator configured to generate an emotion state of the robot system as an emotion LED color value by using the fuzzy system as an input of the emotion of the user recognized by the emotion recognizer; An emotion voice value generator configured to generate an emotion state of a robot system as an emotion voice value by using the fuzzy system as an input of a user's emotion recognized by the emotion recognizer; And an emotion motion value generator configured to generate an emotion state of the robot system as an emotion motion value using the fuzzy system as an input of the emotion of the user recognized by the emotion recognizer.
또한, 상기 감정 생성부에서의 학습 결과 정보를 저장하는 저장부를 더 포함하고, 상기 감정 생성부는 상기 저장부에 저장된 학습 결과 정보에 기초하여, 상기 감정 인식부로부터 입력되는 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성한다.The apparatus may further include a storage configured to store learning result information in the emotion generating unit, wherein the emotion generating unit corresponds to a user's emotion input from the emotion recognition unit based on the learning result information stored in the storage unit. Generate emotions in the system.
또한, 상기 감정 생성부는 상기 클라우드 서버가 제공하는 API(Application Programming Interface)를 사용하여 상기 클라우드 서버에 접속하여 사용자의 감정에 대응되는 감정 생성의 학습을 요청하고, 학습 결과에 기초하여 상기 감정 인식부에서 출력되는 사용자의 감정에 대응되는 로봇 시스템의 감정 생성을 요청하고, 상기 클라우드 서버에서 제공되는 로봇 시스템의 감정 생성값을 수신하여 사용한다.In addition, the emotion generator is connected to the cloud server using the API (Application Programming Interface) provided by the cloud server to request learning of the emotion generation corresponding to the user's emotion, and based on the learning result the emotion recognition unit Requests the emotion generation of the robot system corresponding to the emotion of the user output from the, and receives and uses the emotion generation value of the robot system provided by the cloud server.
또한, 상기 감정 이모지값 생성부에서 생성되는 감정 이모지값을 사용하여 로봇 시스템의 감정을 표현하는 디스플레이; 상기 감정 LED 컬러값 생성부에서 생성되는 감정 LED 컬러값을 사용하여 로봇 시스템의 감정을 표현하는 복수의 LED; 상기 감정 음성값 생성부에서 생성되는 감정 음성값을 사용하여 로봇 시스템의 감정을 표현하는 음성 출력부; 및 상기 감정 모션값 생성부에서 생성되는 감정 모션값을 사용하여 로봇 시스템의 모션을 제어하여 로봇 시스템의 감정을 표현하는 모션 출력부를 더 포함한다.In addition, a display for expressing the emotion of the robot system using the emotional emoji value generated by the emotional emoji value generator; A plurality of LEDs for expressing emotions of the robot system using the emotion LED color values generated by the emotion LED color value generator; A voice output unit expressing an emotion of the robot system using the emotion voice value generated by the emotion voice value generator; And a motion output unit expressing emotions of the robot system by controlling the motions of the robot system using the emotion motion values generated by the emotion motion value generator.
본 발명의 다른 특징에 따른 로봇 시스템의 감정 생성 및 표현 방법은,Emotion generation and expression method of the robot system according to another aspect of the present invention,
로봇 시스템이 감정을 생성하여 표현하는 방법으로서, 얼굴 영상에 대응되는 사용자의 감정을 신경망 모델을 사용하여 학습하고, 얼굴 영상과 음성에 대응되는 로봇 시스템의 감정 생성을 퍼지 추론을 사용하여 학습하는 단계; 실시간으로 입력되는 사용자의 촬영 영상과 음성으로부터 사용자의 얼굴과 음성을 인식하는 단계; 상기 학습의 정보에 기초하여, 인식되는 얼굴 영상과 음성 인식 결과에 대응되는 사용자의 감정을 인식하는 단계; 및 상기 학습의 정보에 기초하여, 인식되는 상기 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하여 표현하는 단계를 포함한다.A method of generating and expressing emotions by a robotic system, the method comprising: learning a user's emotion corresponding to a face image using a neural network model, and using fuzzy inference to generate emotion of a robot system corresponding to a face image and a voice; ; Recognizing a face and a voice of the user from the captured image and the voice input of the user in real time; Recognizing a user's emotion corresponding to a recognized face image and a voice recognition result based on the learning information; And generating and expressing an emotion of the robot system corresponding to the recognized emotion of the user, based on the learning information.
여기서, 외부의 클라우드 서버 ― 여기서 클라우드 서버는 퍼지 추론 사용한 학습이 가능한 서버임 ―를 사용하여 사용자의 감정에 대응되는 로봇 시스템의 감정 생성 학습을 수행시킨 후, 상기 인식되는 사용자의 감정을 상기 클라우드 서버로 전달하여 상기 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성한다.Here, an external cloud server (where the cloud server is a server capable of learning using fuzzy inference) is used to perform emotion generation learning of the robot system corresponding to the user's emotion, and then the recognized user's emotion is measured by the cloud server. By passing in to generate the emotion of the robot system corresponding to the emotion of the user.
또한, 상기 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 모델이며, 상기 합성곱 신경망 모델은 입력되는 얼굴 영상과 상기 음성 인식 결과에 대해 분노(Anger), 행복(Happiness), 놀람(Surprise), 혐오(Disgust), 슬픔(Sadness), 공포(Fear) 및 무표정(Neutral) 중 하나를 사용자의 감정으로 분류한다.The neural network model is a convolutional neural network (CNN) model model, and the convolutional neural network model is anger, happiness, and surprise with respect to an input face image and the speech recognition result. ), Disgust, Sadness, Fear, and Neutral are classified as user's emotions.
또한, 상기 로봇 시스템의 감정을 생성하여 표현하는 단계에서, 로봇 시스템의 감정을 디스플레이를 통해 표현하는 데 사용되는 감정 이모지값, 로봇 시스템의 감정을 복수의 LED를 통해 표현하는 데 사용되는 감정 LED 컬러값, 로봇 시스템의 감정을 음성 출력을 통해 표현하는 데 사용되는 감정 음성값, 및 로봇 시스템의 감정을 상기 로봇 시스템의 모션을 통해 표현하는 데 사용되는 감정 모션값을 생성한다.In addition, in the step of generating and expressing the emotion of the robot system, the emotion emoji value used to express the emotion of the robot system on the display, the emotion LED color used to express the emotion of the robot system through a plurality of LEDs. A value, an emotional voice value used to express the emotion of the robotic system through the voice output, and an emotional motion value used to express the emotion of the robotic system through the motion of the robotic system.
본 발명의 또 다른 특징에 따른 로봇 시스템은,Robot system according to another feature of the present invention,
감정을 생성하여 표현하는 로봇 시스템으로서, 입력기, 출력기, 메모리 및 프로세서를 포함하며, 상기 입력기는 사용자의 영상 및 음성을 입력받고, 상기 출력기는 상기 로봇 시스템의 감정을 외부로 표현하며, 상기 메모리는 코드의 집합을 저장하도록 구성되고, 상기 코드는, 상기 입력기로부터 입력되는 사용자의 영상으로부터 사용자의 얼굴을 인식하고, 사용자의 음성을 인식하는 동작; 신경망 모델을 통해 얼굴 인식 결과와 음성 인식 결과에 대응되는 사용자의 감정을 인식하는 동작; 퍼지 추론을 통해 사용자의 감정에 대응되는 로봇 시스템의 감정 생성을 학습하는 동작; 및 학습된 정보에 기초하여 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하여 표현하는 동작을 실행하도록 상기 프로세서를 제어하는 데 사용된다.A robot system for generating and expressing emotions, the robot system including an input device, an output device, a memory, and a processor, wherein the input device receives an image and a voice of a user, and the output device expresses the emotion of the robot system to the outside, and the memory Configured to store a set of codes, the codes comprising: recognizing a user's face from an image of the user input from the input device, and recognizing a user's voice; Recognizing a user's emotion corresponding to a face recognition result and a voice recognition result through a neural network model; Learning emotion generation of the robot system corresponding to the emotion of the user through fuzzy inference; And generating and expressing an emotion of the robot system corresponding to the emotion of the user based on the learned information.
여기서, 상기 프로세서는, 상기 입력기를 통해 입력되는 얼굴 영상과 음성에 대응되는 사용자의 감정에 대해 상기 신경망 모델을 사용하여 학습하고, 학습 결과를 사용하여 상기 입력기를 통해 실시간으로 입력되는 얼굴 영상과 음성에 대응되는 사용자의 감정을 인식하는 동작을 더 실행한다.Here, the processor learns the face image input through the input unit and the emotion of the user corresponding to the voice using the neural network model, and uses the learning result to input the face image and voice in real time through the input unit. Recognizing the emotion of the user corresponding to the further operation.
또한, 상기 프로세서는, 외부의 클라우드 서버 ― 여기서 클라우드 서버는 퍼지 추론 사용한 학습이 가능한 서버임 ―를 사용하여 사용자의 감정에 대응되는 로봇 시스템의 감정 생성 학습을 수행시키는 동작; 및 상기 인식되는 사용자의 감정을 상기 클라우드 서버로 전달하여 상기 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하는 동작을 더 실행한다.The processor may further include: performing emotion generation learning of the robot system corresponding to the emotion of the user by using an external cloud server, wherein the cloud server is a server capable of learning using fuzzy inference; And generating the emotion of the robot system corresponding to the emotion of the user by transmitting the recognized emotion of the user to the cloud server.
또한, 상기 프로세서는 로봇 시스템의 감정을 상기 출력기를 통해 이미지로 표현하는 데 사용되는 감정 이모지값, 로봇 시스템의 감정을 상기 출력기를 통해 표현하는 데 사용되는 감정 LED 컬러값, 로봇 시스템의 감정을 음성 출력을 통해 표현하는 데 사용되는 감정 음성값, 및 로봇 시스템의 감정을 모션을 통해 표현하는 데 사용되는 감정 모션값을 생성하는 동작을 더 실행한다.In addition, the processor voices the emotion emoji value used to represent the emotion of the robot system as an image through the output, the emotion LED color value used to express the emotion of the robot system through the output, and the emotion of the robot system. And generating an emotional voice value used to express through the output, and an emotional motion value used to express the emotion of the robotic system through motion.
본 발명에 따르면, 촬영되는 사용자의 영상 및 음성에 기초하여 실시간으로 사용자의 감정을 인식하고, 사용자의 감정 상태에 대응되는 로봇의 감정을 생성할 수 있다.According to the present invention, the emotion of the user may be recognized in real time based on the captured image and voice of the user, and the emotion of the robot corresponding to the emotional state of the user may be generated.
따라서, 컨시어지 서비스를 제공하는 컨시어지 로봇 등에 탑재되어 사용자의 감정에 부합되어 자연스러운 대화 및 사용자 친화적인 대화가 가능하다.Therefore, it is mounted on a concierge robot that provides a concierge service or the like, so that a natural conversation and a user-friendly conversation can be made in accordance with the user's emotion.
또한, 사용자의 감정에 대응되는 로봇 시스템의 감정 생성을 수행하는 기능을 외부의 클라우드 서버를 사용하여 수행함으로써, 로봇 시스템의 구성이 간단해져서 컨시어지 로봇 등으로 사용이 용이하다.In addition, by performing the function of generating the emotion of the robot system corresponding to the emotion of the user by using an external cloud server, the configuration of the robot system is simplified, it is easy to use as a concierge robot.
이와 같이, 이미 검증되어 있고 매우 다양하고 많은 정보를 갖고 있는 클라우드 서버를 사용함으로써 로봇 시스템에 대한 신뢰를 제공할 수 있다.As such, it is possible to provide trust in the robotic system by using a cloud server that has already been verified and has a great variety of information.
도 1은 본 발명의 실시예에 따른 감정을 생성하여 표현하는 로봇 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 로봇 시스템에서 CNN 모델을 사용하여 인식되는 사용자의 감정 분류를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 로봇 시스템이 감정을 생성하는 데 사용되는 퍼지 시스템의 개략적인 구성도이다.
도 4는 본 발명의 실시예에 따른 로봇 시스템에서 사용되는 감정 기준 맵의 예를 도시한 도면이다.
도 5는 도 4에 도시된 감정 기준 맵에 사용자의 감정 인식 결과를 적용한 감정 적용 기준 맵의 예를 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 로봇 시스템의 전면도이다.
도 7은 본 발명의 실시예에 따른 로봇 시스템의 후면 사시도이다.
도 8은 도 1에 도시된 감정 생성부의 구체적인 구성을 도시한 도면이다.
도 9는 도 8에 도시된 감정 이모지값 생성부에 의해 생성되는 감정 이모지 값이 맵핑된 감정 이모지 맵의 예를 나타낸다.
도 10은 도 8에 도시된 감정 LED 컬러값 생성부에 의해 생성되는 감정 LED 컬러값의 예를 나타낸다.
도 11은 본 발명의 실시예에 따른 로봇 시스템의 감정 생성 및 표현 방법의 흐름도이다.
도 12는 본 발명의 다른 실시예에 따른 로봇 시스템의 개략적인 구성도이다.
도 13은 본 발명의 다른 실시예에 따른 로봇 시스템의 감정 생성 및 표현 방법의 흐름도이다.
도 14는 본 발명의 또 다른 실시예에 따른 로봇 시스템의 개략적인 구성 블록도이다.1 is a view schematically showing the configuration of a robot system for generating and expressing emotions according to an embodiment of the present invention.
2 is a diagram illustrating emotion classification of a user recognized using a CNN model in a robot system according to an exemplary embodiment of the present invention.
3 is a schematic structural diagram of a fuzzy system used by a robotic system to generate emotions according to an embodiment of the present invention.
4 is a diagram illustrating an example of an emotion reference map used in a robot system according to an exemplary embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of an emotion application reference map in which a user's emotion recognition result is applied to the emotion reference map shown in FIG. 4.
6 is a front view of a robot system according to an embodiment of the present invention.
7 is a rear perspective view of the robot system according to the embodiment of the present invention.
FIG. 8 is a diagram illustrating a detailed configuration of an emotion generating unit illustrated in FIG. 1.
FIG. 9 illustrates an example of an emotional emoji map to which emotional emoji values generated by the emotional emoji value generator shown in FIG. 8 are mapped.
FIG. 10 shows an example of an emotion LED color value generated by the emotion LED color value generator shown in FIG. 8.
11 is a flowchart of a method for generating and expressing emotions of a robot system according to an exemplary embodiment of the present invention.
12 is a schematic structural diagram of a robot system according to another embodiment of the present invention.
13 is a flowchart illustrating a method of generating and expressing emotions of a robot system according to another exemplary embodiment of the present invention.
14 is a schematic structural block diagram of a robot system according to another embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise. In addition, the terms “… unit”, “… unit”, “module”, etc. described in the specification mean a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. have.
도 1은 본 발명의 실시예에 따른 감정을 생성하여 표현하는 로봇 시스템의 구성을 개략적으로 도시한 도면이다.1 is a view schematically showing the configuration of a robot system for generating and expressing emotions according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 감정을 생성하여 표현하는 로봇 시스템(100)은 영상 촬영부(101), 얼굴 인식부(102), 사용자 인식부(103), 음성 입력부(104), 음성 인식부(105), 감정 인식부(106), 디스플레이(107), 발광부(108), 음성 출력부(109), 모션 출력부(110), 감정 생성부(111), 감정 표현부(112), 저장부(113), 및 제어부(114)를 포함한다.As shown in FIG. 1, the robot system 100 generating and expressing emotions according to an embodiment of the present invention includes an
여기서, 영상 촬영부(101), 음성 입력부(104), 디스플레이(108), 발광부(109) 및 음성 출력부(110)는 사용자 인터페이스 장치를 구성한다. 즉, 사용자로부터 정보를 획득하고, 획득한 정보에 기초하여 사용자에게 출력하는 인터페이스 기능을 한다.Here, the
영상 촬영부(101)는 외부 영상을 촬영하여 영상에 대응되는 영상 신호를 출력한다. 영상 촬영부(101)로는 디지털 카메라인 CCD(Charge Coupled Device) 카메라가 사용될 수 있다. The
얼굴 인식부(102)는 영상 촬영부(101)에서 출력되는 영상 신호에 대응되는 영상을 사용하여 영상 속 인물의 얼굴을 인식한다.The
사용자 인식부(103)는 딥 러닝 기술의 신경망 모델, 특히 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 이용하여 얼굴 인식부(102)에서 출력되는 영상을 학습하여 기등록된 사용자에 대한 학습 정보를 생성할 수 있다.The
그 후, 사용자 인식부(103)는 기등록된 사용자에 대한 학습 정보에 기초하여, 이후 얼굴 인식부(102)에 의해 인식되는 얼굴 영상을 입력으로 하여 CNN 모델을 사용하여 기등록된 사용자 여부를 인식할 수 있다. 사용자 인식부(103)에 의해 기등록된 사용자가 아닌 것으로 인식되는 경우에는 해당 사용자에게 사용자로서의 등록 절차가 진행될 수 있다.Thereafter, the
사용자 인식부(103)는 동일인 및 동일인의 다른 이미지와 전혀 다른 대조군의 이미지를 통한 딥(deep) CNN 학습을 통한 128개의 각각의 개인을 구분하는 특징점을 추출해서 숫자로 표현되는 암호화를 수행하여 학습 정보로서 저장한다.The
또한, 사용자 인식부(103)는 SVM(Support Vector Machine) 알고리즘을 통해 기등록된 사용자인지의 여부를 인식할 수 있다. 여기서, SVM은 데이터들을 분류하기 위한 최적의 분리 경계면을 제공하는 지도 학습 방법으로 최적의 분리 경계면은 각 클래스의 데이터 사이의 중간에 위치하도록 학습된다.In addition, the
음성 입력부(104)는 외부로부터 음성을 입력받는 구성으로, 예를 들어 마이크로폰 어레이가 사용될 수 있다.The
음성 인식부(105)는 음성 입력부(104)를 통해 입력되는 외부 음성을 인식한다. 이러한 음성 인식 기술에 대해서는 이미 잘 알려져 있으므로 여기에서는 구체적인 설명을 생략한다.The
감정 인식부(106)는 전술한 CNN 모델을 이용하여 복수의 얼굴 영상을 학습하여 얼굴 영상이 나타내고 있는 사용자의 감정에 대한 학습을 수행한다.The
그 후, 감정 인식부(106)는 얼굴 인식부(102)에 의해 인식되는 얼굴 영상과 음성 인식부(105)에 의한 음성 인식 결과를 입력으로 하여 CNN 모델을 사용하여 해당 얼굴에 대응되는 사용자 감정을 인식할 수 있다.Thereafter, the
상기한 사용자 인식부(103) 및 감정 인식부(106)에서 사용되는 CNN 모델은 이미지 인식과 음성 인식 등 다양한 곳에서 사용되며, 특히 이미지 인식 분야에서 딥러닝(Deep Learning)을 활용한 기법은 거의 다 CNN을 기반으로 한다.The CNN model used in the
이러한 CNN은 합성곱 계층(Convolutional Layer)과 신경망(Neural Network)으로 구분된다. 여기서, 신경망은 완전 연결 계층(Fully Connected Layer)과 분류 계층을 포함한다.Such CNNs are classified into a convolutional layer and a neural network. Here, the neural network includes a fully connected layer and a classification layer.
합성곱 계층은 입력 영상으로부터 특징을 추출하는 역할을 수행한다. The product multiply layer extracts a feature from an input image.
신경망의 완전 연결 계층(Fully Connected Layer)과 분류 계층은 합성곱 계층에서 추출되는 특징 값을 사용하여 분류를 수행한다. 이러한 신경망은 CNN 이전의 기존의 신경망으로 이전 계층의 모든 뉴런과 결합되어 있는 형태를 말한다. 분류 계층에서는 Softmax 함수가 사용되며, 이러한 Softmax 함수는 전술한 ReLu와 같은 활성 함수의 일종이다.The fully connected layer and classification layer of the neural network perform classification using feature values extracted from the convolutional product layer. This neural network is a conventional neural network before CNN and refers to a form in which all neurons of the previous layer are combined. The Softmax function is used in the classification hierarchy, which is a kind of active function such as ReLu described above.
감정 인식부(106)는 도 2에 도시된 바와 같이, 얼굴 인식부(102)에서 인식되는 얼굴 영상과 음성 인식부(105)에서의 음성 인식 결과에 대해 CNN 모델을 사용하여 사용자의 감정을 인식한다. 예를 들어, 도 2에 도시된 바와 같이, 얼굴 영상과 음성 인식 결과에 대해 학습된 CNN 모델을 통해 본 발명의 실시예에서 학습된 7가지 감정, 즉 분노, 행복, 놀람, 혐오, 슬픔, 공포 및 무표정의 감정 중에서 한 가지 감정을 인식하고, 그 결과를 출력한다.As shown in FIG. 2, the
디스플레이(107)는 로봇 시스템(100)이 수행하는 동작의 정보를 표시하고, 사용자 인식부(103)에 의해 인식되는 사용자 인식 정보를 표시하며, 감정 인식부(106)에 의해 인식되는 사용자의 감정 상태를 표시한다. The
또한, 디스플레이(107)는 로봇 시스템(100)의 감성 생성 정보를 표시하고, 로봇 시스템(100)의 감정을 표시한다.In addition, the
이러한 디스플레이(107)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다. 또한, 디스플레이(108)는 다수개가 구비될 수도 있다.The
발광부(108)는 로봇 시스템(100)이 출력하는 제어 신호에 따라 구동하는 적어도 하나의 LED(Light Emitting Diode)를 포함할 수 있으며, 기본적으로 로봇 시스템(100)의 감정을 표시하는 데 사용된다.The
음성 출력부(109)는 음성을 외부로 출력하며, 이러한 음성 출력부(109)는 TTS(Text to Speech) 기능을 구비한 스피커일 수 있다.The
모션 출력부(110)는 로봇 시스템(100)의 제어에 의해 구동 신호를 발생하는 액추에이터 구동부(미도시)와, 액추에이터 구동부(미도시)의 구동 신호에 따라 구동되어 미리 설정된 각도의 범위에서 회전하거나, 미리 설정된 방향으로 움직이는 작동 부재를 포함할 수 있다. 즉, 모션 출력부(110)는 로봇 시스템(100)의 모션을 제어하기 위한 구동 신호를 출력하며, 기본적으로 로봇 시스템(100)의 감정을 표시하는 데 사용된다. The
감정 생성부(111)는 감정 인식부(106)에 의해 인식되는 사용자의 감정 상태를 입력으로 하여 퍼지 추론 엔진(Fuzzy Inference Engine)을 사용하는 퍼지 시스템을 사용하여 로봇 시스템(100)의 감정 상태를 정의하여 로봇 시스템(100)의 감정을 생성한다.The
한편, 감정 생성부(111)에서 사용되는 퍼지 이론은 애매하고 불분명한 상황에서 여러 문제들을 두뇌가 판단 결정하는 과정에 대하여 수학적으로 접근하려는 이론이다. 이러한 퍼지 이론에 따른 퍼지 시스템은 소속함수와 규칙을 기반으로 언어적 변수를 표현하기에 적절하기 때문에 비선형성이 강하고 복잡한 시스템을 비교적 쉽게 제어할 수 있는 장점을 가지고 있는 구조이다.On the other hand, the fuzzy theory used in the
이러한 퍼지 시스템(200)은 도 3에 개략적으로 도시된 바와 같이, 퍼지 규칙 베이스(Fuzzy Rule Base)(210), 퍼지화기(Fuzzifier)(220), 퍼지 추론 엔진(230) 및 비퍼지화기(Defuzzifier)(240)를 포함한다.Such a purge system 200 is a
퍼지 규칙 베이스(210)는 제어 대상에 대한 지식과 제어 방법을 나타내며 퍼지 IF-THEN 규칙들로 구성되어 있다.The
퍼지화기(220)는 실제 입력 변수가 입력되면 0과 1 사이의 값으로 나타낸 퍼지 집합으로 변환하여 출력한다.The
퍼지 추론 엔진(230)은 퍼지화기(220)를 통해 출력되는 퍼지화된 입력값과 퍼지 규칙 베이스(210)를 기반으로 출력 값을 적절하게 추론하는 논리 연산 부분이다. 이것은 퍼지 규칙 베이스(210)에 존재하는 퍼지 IF-THEN 규칙과 입력에 대한 소속함수(U)의 값으로 출력에 대한 소속함수의 값을 결정한다.The
비퍼지화기(240)는 퍼지 추론 엔진(230)을 통해 추론 과정을 거친 퍼지 집합을 실제 일반적인 값으로 변환하여 출력한다. 제어 대상의 제어 입력 값은 일반적인 집합의 값을 사용하므로 언어적으로 표현된 값을 정량적인 값으로 변환하여 제어 입력으로 만드는 과정이다. The
한편, 감정 생성부(111)는 도 4에 도시된 감정 기준 맵에 감정 인식부(106)에 의해 인식되는 사용자 감정 인식 결과를 적용하여 도 5에 도시된 바와 같은 감정 적용 기준 맵을 사용하여 퍼지 시스템(200)에 의한 퍼지 추론을 수행하고, 그 결과를 로봇 시스템(100)의 감정으로 정의할 수 있다. Meanwhile, the
감정 표현부(112)는 감정 생성부(111)에 의해 생성되는 로봇 시스템(100)의 감정을 외부로 표현하기 위해 디스플레이(107), 발광부(108), 음성 출력부(109) 및 모션 출력부(110)에 대한 제어를 수행한다.The
저장부(113)는 로봇 시스템(100)이 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있다. 일 예로, 저장부(107)는 기등록된 사용자와 관련된 정보를 저장할 수 있다. The storage unit 113 may store data and programs required for the robot system 100 to operate. For example, the
또한, 저장부(113)는 로봇 시스템(100)의 동작 수행을 위한 명령 등을 저장할 수도 있다.In addition, the storage unit 113 may store a command for performing an operation of the robot system 100.
또한, 저장부(113)는 사용자 인식부(103)와 감정 인식부(106)에서의 학습 정보와 감정 생성부(112)에서의 퍼지 추론 결과를 각각 저장할 수 있다.In addition, the storage unit 113 may store the learning information of the
이러한 저장부(113)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.The storage unit 113 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory). ), Magnetic memory, magnetic disk, optical disk, random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), programmable read-only memory (PROM), electrically erasable (EPPROM) Programmable Read-Only Memory) may include at least one storage medium.
제어부(114)는 로봇 시스템(100)의 각 구성요소, 즉 영상 촬영부(101), 얼굴 인식부(102), 사용자 인식부(103), 음성 입력부(104), 음성 인식부(105), 감정 인식부(106), 디스플레이(107), 발광부(108), 음성 출력부(109), 모션 출력부(110), 감정 생성부(111), 감정 표현부(112) 및 저장부(113) 간에 전달되는 신호를 처리한다.The
상기한 로봇 시스템(100)은 로봇의 형태로 구현될 수 있으며, 한 예시로 도 6 및 도 7과 같다. The robot system 100 may be implemented in the form of a robot, as shown in FIGS. 6 and 7 as an example.
도 6은 본 발명의 실시예에 따른 로봇 시스템(100)의 전면도이고, 도 7은 본 발명의 실시예에 따른 로봇 시스템(100)의 후면 사시도이다.6 is a front view of the robot system 100 according to the embodiment of the present invention, and FIG. 7 is a rear perspective view of the robot system 100 according to the embodiment of the present invention.
도 6을 참조하면, 사람과 유사한 로봇 형상을 가지는 본체(310)의 머리 부분에 영상 촬영부(101), 음성 입력부(104)가 장착된다. 그리고 본체(310)의 얼굴 부분에 이모티콘, 이모지(Emoji) 등으로 표시하기 위한 화면을 구비하는 제1 디스플레이(107-1)가 장착된다. Referring to FIG. 6, an
본체(310)의 몸통 전면에는 얼굴 인식 결과, 음성 인식 결과, 감정 인식 결과, 사용자 인식 결과 등을 출력하기 위한 모니터 화면을 구비하는 제2 디스플레이(107-3)가 장착된다. A second display 107-3 having a monitor screen for outputting a face recognition result, a voice recognition result, an emotion recognition result, a user recognition result, and the like is mounted on the front surface of the
도 7을 참조하면, 본체(310)의 얼굴 부분, 몸통 부분에는 각각 LED(108)가 장착된다. 그리고 몸통 전면을 둘러 음성 출력부(109)가 장착된다. Referring to FIG. 7,
본체(310)의 후면에는 로봇 시스템(100)을 제어하는 데 사용되는 리셋 버튼(114), 전원 버튼(115)이 장착되고, 입출력 포트를 포함하는 I/O 박스(116)가 마련되어 있다.A rear button of the
도 8은 도 1에 도시된 감정 생성부(111)의 구체적인 구성을 도시한 도면이다.FIG. 8 is a diagram illustrating a detailed configuration of the
도 8에 도시된 바와 같이, 감정 생성부(111)는 감정 이모지값 생성부(1111), 감정 LED 컬러값 생성부(1112), 감정 음성값 생성부(1113) 및 감정 모션값 생성부(1114)를 포함한다.As shown in FIG. 8, the
감정 이모지값 생성부(1111)는 감정 인식부(106)에 의해 인식되는 사용자의 감정 상태를 입력으로 퍼지 시스템을 사용하여 로봇 시스템(100)의 감정 상태를 감정 이모지값으로 정의하여 로봇 시스템(100)의 감정을 생성한다. The emotional
도 9는 감정 이모지값 생성부(1111)에 의해 생성되는 감정 이모지 값이 맵핑된 감정 이모지 맵의 예를 나타낸다.9 illustrates an example of an emotional emoji map to which emotional emoji values generated by the emotional
따라서, 감정 표현부(112)는 감정 생성부(111)에 의해 생성된 도 9에 도시된 바와 같은 감정 이모지 맵을 사용하여 LCD와 같은 디스플레이(107)를 통해 로봇 시스템(100)의 감정을 표현할 수 있다.Therefore, the
감정 LED 컬러값 생성부(1112)는 감정 인식부(106)에 의해 인식되는 사용자의 감정 상태를 입력으로 퍼지 시스템을 사용하여 로봇 시스템(100)의 감정 상태를 감정 LED 컬러값으로 정의하여 로봇 시스템(100)의 감정을 생성한다. The emotion LED
도 10은 감정 LED 컬러값 생성부(1112)에 의해 생성되는 감정 LED 컬러값의 예를 나타낸다.10 shows an example of an emotion LED color value generated by the emotion LED
따라서, 감정 표현부(112)는 감정 생성부(111)에 의해 생성된 도 10에 도시된 바와 같은 감정 LED 컬러값을 사용하여 LED로 구성되는 발광부(108)를 통해 로봇 시스템(100)의 감정을 표현할 수 있다.Therefore, the
감정 음성값 생성부(1113)는 감정 인식부(106)에 의해 인식되는 사용자의 감정 상태를 입력으로 퍼지 시스템을 사용하여 로봇 시스템(100)의 감정 상태를 감정 음성값으로 정의하여 로봇 시스템(100)의 감정을 생성한다.The emotion
따라서, 감정 표현부(112)는 감정 생성부(111)에 의해 생성된 감정 음성값을 사용하여 스피커를 포함하는 음성 출력부(109)를 통해 로봇 시스템(100)의 감정을 표현할 수 있다.Therefore, the
감정 모션값 생성부(1114)는 감정 인식부(106)에 의해 인식되는 사용자의 감정 상태를 입력으로 퍼지 시스템을 사용하여 로봇 시스템(100)의 감정 상태를 감정 모션값으로 정의하여 로봇 시스템(100)의 감정을 생성한다.The emotion
따라서, 감정 표현부(112)는 감정 생성부(111)에 의해 생성된 감정 모션값을 사용하여 로봇 시스템(100)의 모션을 구동하는 모션 출력부(111)를 통해 로봇 시스템(100)의 감정을 표현할 수 있다.Therefore, the
이하, 본 발명의 실시예에 따른 로봇 시스템(100)을 사용하여 로봇의 감정을 생성하여 표현하는 방법에 대해 설명한다. 본 발명의 실시예에 따른 로봇 시스템(100)을 사용하여 로봇의 감정을 생성하여 표현하는 방법(100)은 제어부(114)의 제어를 통해 수행된다. Hereinafter, a method of generating and expressing emotions of a robot using the robot system 100 according to an exemplary embodiment of the present invention will be described. The method 100 for generating and expressing an emotion of a robot using the robot system 100 according to an embodiment of the present invention is performed through the control of the
도 11은 본 발명의 실시예에 따른 로봇 시스템(100)의 감정 생성 및 표현 방법의 흐름도이다.11 is a flowchart of a method for generating and expressing emotions of the robot system 100 according to an embodiment of the present invention.
도 11을 참조하면, 먼저, 사용자 인식부(103)가 얼굴 인식부(102)에서 인식되는 얼굴 영상을 사용하여 사용자를 인식하기 위한 CNN 모델을 통한 학습, 감정 인식부(106)가 얼굴 인식부(102)에서 인식되는 얼굴 영상과 음성 인식부(105)에서의 음성 인식 결과를 사용하여 사용자 감정을 인식하기 위한 CNN 모델을 통한 학습, 감정 생성부(111)가 감정 인식부(106)에 의해 인식되는 사용자의 감정을 사용하여 로봇 시스템(100)의 감정을 생성하기 위한 퍼지 추론 엔진을 통한 학습이 먼저 수행되어 그 학습 결과가 저장부(113)에 저장된다(S100).Referring to FIG. 11, first, the
그 후, 영상 촬영부(101)를 통해 사용자의 영상을 촬영하고, 음성 입력부(104)를 통해 사용자 음성을 입력받아서(S110), 얼굴 인식부(102)를 통해 촬영된 영상으로부터 얼굴을 인식하고, 음성 인식부(104)를 통해 입력 음성을 인식한다(S120).Thereafter, the image of the user is captured by the
그리고, 인식되는 얼굴에 대해 사용자 인식부(103)를 통해 CNN 모델을 사용하여 기등록된 사용자의 얼굴인지를 인식한다(S130). 이 때, 기등록된 사용자의 얼굴로 인식되면 사용자 인식이 완료되고, 인식된 사용자의 정보를 저장부(113)로부터 추출함으로써 사용자의 정보를 알 수가 있다. 그러나, 기등록된 사용자의 얼굴이 아닌 경우 신규 사용자의 얼굴이므로 신규 사용을 위해 사용자 등록을 수행하는 절차가 개시될 수 있다.In operation S130, the recognized face is recognized through the
다음, 감정 인식부(106)를 통해, 얼굴 인식부(102)에 의해 인식된 얼굴 영상과 음성 인식부(105)에 의해 인식되는 음성 인식 결과에 대해 CNN 모델을 사용하여 사용자의 감정을 인식한다(S140). 이 때, 인식되는 사용자 감성에 대해 디스플레이(107)를 통해 외부로 표시할 수 있다.Next, the
그 후, 감정 생성부(111)는 도 4에 도시된 감정 기준 맵에 감정 인식부(106)에 의해 인식되는 사용자 감정 인식 결과를 적용하여 도 5에 도시된 바와 같은 감정 적용 기준 맵을 생성하고(S150), 생성되는 감정 적용 기준 맵을 사용하여 퍼지 시스템(200)에 의한 퍼지 추론을 수행한 후 그 결과를 로봇 시스템(100)의 감정으로 생성한다(S160).Thereafter, the
다음, 감정 생성부(111)에 의해 생성되는 로봇 시스템(100)의 감정을 외부로 표현하기 위해 디스플레이(107), 발광부(108), 음성 출력부(109) 및 모션 출력부(110)를 통한 감정 출력을 위한 감정값을 생성한다(S170). 즉, 감정 생성부(111)는 퍼지 추론 결과로 정의되는 감정에 대응되는 감정 이모지값, 감정 LED 컬러값, 감정 음성값 및 감정 모션값을 생성한다.Next, the
그 후, 감정 표현부(112)는 상기 단계(S170)에서 생성되는 로봇 감정값에 기초하여 디스플레이(107), 발광부(108), 음성 출력부(109) 및 모션 출력부(110)를 사용하여 로봇 시스템(100)의 감정을 표현한다(S180).Thereafter, the
이와 같이, 본 발명의 실시예에 따른 로봇 시스템(100)의 감정을 생성하여 표현하는 방법에 따르면, 촬영되는 사용자의 영상과 입력되는 사용자의 음성을 인식하여 사용자의 현재 감정 상태를 판단하고, 판단되는 사용자의 감정에 대응되는 로봇 시스템(100)의 감정을 생성하여 표현할 수 있으며, 이러한 특징을 갖는 로봇 시스템(100)의 감정 생성 및 표현 방법에 따라 컨시어지 서비스를 제공하는 컨시어지 로봇 등이 사용자와의 상호작용을 위한 표시나 행동 등에 사용될 수 있다.As described above, according to the method of generating and expressing the emotion of the robot system 100 according to an embodiment of the present invention, the current emotion state of the user is determined by determining the image of the user to be photographed and the voice of the input user. The emotion of the robot system 100 corresponding to the emotion of the user may be generated and expressed. A concierge robot, which provides a concierge service according to the emotion generation and expression method of the robot system 100 having such characteristics, may be used with the user. It can be used as an indication or action for interaction.
한편, 본 발명의 실시예에 따른 로봇 시스템(100)의 감정 생성 및 표현 방법은 상기한 로봇 시스템(100)의 감정을 표현하는 단계(S180) 후에, 영상 촬영부(101)를 통해 사용자의 얼굴을 촬영하여 상기 단계(S180)에서 표현되는 로봇 시스템(100)의 감정에 대응되는 사용자의 반응을 확인함으로써, 로봇 시스템(100)의 감정 표현과 사용자의 반응 간의 상관관계를 측정하고 분석하여 학습함으로써, 사용자의 감정에 대응되는 로봇 시스템(100)의 감정 생성 및 표현의 품질을 향상시킬 수 있으며, 또한 사용자에게 최신, 최적의 로봇 시스템(100)의 감정 표현을 제공할 수 있다.On the other hand, the emotion generation and expression method of the robot system 100 according to an embodiment of the present invention after the step of expressing the emotion of the robot system 100 (S180), the face of the user through the
한편, 상기에서는 촬영된 사용자의 영상으로부터 얼굴을 인식하여 사용자를 인식하는 학습을 수행하고, 학습 결과에 기초하여 새로이 촬영되는 영상을 통해 사용자를 인식하는 사용자 인식부(103)와, 얼굴 영상과 음성 인식 결과 통해 사용자의 감정을 학습하고, 학습 결과에 기초하여 새로이 촬영되어 인식되는 얼굴 영상과 음성 인식 결과에 대응되는 사용자의 감정을 인식하는 감정 인식부(104)가 합성곱 신경망(CNN)을 사용하여 사용자를 인식하고, 사용자의 감정을 인식하는 것으로 설명하였고, 감정 생성부(111)가 감정 인식부(104)에 의해 인식되는 사용자의 감정에 대해 퍼지 추론을 사용하여 로봇 시스템(100)의 감정을 인식하는 것에 대해 설명하였으나, 본 발명의 기술적 범위는 여기에 한정되지 않는다. 예를 들어, 영상과 음성을 사용하여 외부의 인공지능 클라우드 서버를 통한 학습과, 사용자 인식, 감정 인식 및 로봇 시스템(100)의 감정 생성을 수행하는 방식에 대해 설명한다. On the other hand, in the above, the user recognizes the face from the image of the photographed user to perform the learning, and based on the learning result of the
최근에는 각종 자료를 사용자의 컴퓨터나 스마트폰 등 내부 저장 공간이 아닌 외부 클라우드 서버에 저장한 뒤에 다운로드받는 서비스인 클라우드 서비스가 각광을 받고 있으며, 이러한 클라우드 서비스는 인공지능 기술을 제공하는 클라우드 서버에 의해서도 제공될 수 있다. 예를 들어, IBM사의 인공지능 기술인 왓슨(Watson)이나 구글사의 텐서플로우(TesnorFlow) 등이 오픈 소프트웨어로서 잘 알려져 있다. 이들은 인공지능을 활용해 자연어 질문을 알아듣고, 방대한 데이터로부터 관련 있는 사항을 분석, 종합해 적절한 답변을 제공하는 기술이다. 이들은 API(Application Programming Interface)를 통해 인공지능 기술을 사용할 수 있는 클라우드 서비스를 제공하고 있다.Recently, a cloud service, which is a service that is downloaded after storing various data in an external cloud server, such as a user's computer or a smart phone, is in the spotlight, and such a cloud service is also used by a cloud server that provides artificial intelligence technology. Can be provided. For example, IBM's artificial intelligence technologies such as Watson and Google's TessnorFlow are well known as open software. They use artificial intelligence to understand natural language questions, analyze relevant matters from vast data sets, and provide appropriate answers. They are providing cloud services that can use AI technology through an application programming interface (API).
따라서, 본 발명의 다른 실시예에 따른 감정을 생성하고 표현하는 로봇 시스템에서는 영상을 통한 사용자 인식 학습과 영상 및 음성을 통한 사용자 감정 인식 학습, 및 사용자 감정을 통한 로봇 시스템의 감정 생성에 관한 학습, 그리고 학습 결과에 기초한 사용자 인식, 사용자 감정 인식 및 로봇 시스템의 감정 생성을 로봇 시스템에서 직접 수행하지 않고 API를 통해 접속되는 외부의 클라우드 서버에게 영상 정보, 음성 정보 및 사용자 감정 정보를 전달하여 이에 대응되는 사용자 인식 결과, 사용자 감정 인식 결과, 또는 로봇 시스템 감정 결과를 제공받아서 사용한다.Therefore, in the robot system for generating and expressing emotions according to another embodiment of the present invention, learning about user recognition through images and user emotion recognition through images and voices, and learning about emotion generation of robot systems through user emotions, In addition, image recognition, voice information, and user emotion information are transmitted to an external cloud server connected through an API without directly performing user recognition, user emotion recognition, and emotion generation of the robot system based on the learning result. A user recognition result, a user emotion recognition result, or a robot system emotion result is provided and used.
이하, 본 발명의 다른 실시예에 따른 로봇 시스템에 대해 설명한다.Hereinafter, a robot system according to another embodiment of the present invention will be described.
도 12는 본 발명의 다른 실시예에 따른 로봇 시스템의 개략적인 구성도이다.12 is a schematic structural diagram of a robot system according to another embodiment of the present invention.
도 12에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 로봇 시스템(400)은 영상 촬영부(401), 얼굴 인식부(402), 사용자 인식부(403), 음성 입력부(404), 음성 인식부(405), 감정 인식부(406), 디스플레이(407), 발광부(408), 음성 출력부(409), 모션 출력부(410), 감정 생성부(411), 감정 표현부(412), 저장부(413), 서버 인터페이스(414) 및 제어부(415)를 포함한다. 여기서, 영상 촬영부(401), 얼굴 인식부(402), 음성 입력부(404), 음성 인식부(405), 디스플레이(407), 발광부(408), 음성 출력부(409), 모션 출력부(410) 및 감정 표현부(412)는 도 1을 참조하여 설명한 로봇 시스템(100)의 영상 촬영부(101), 얼굴 인식부(102), 음성 입력부(104), 음성 인식부(105), 디스플레이(107), 발광부(108), 음성 출력부(109), 모션 출력부(110) 및 감정 표현부(112)의 기능과 동작이 동일하므로 여기에서는 이들에 대한 구체적인 설명을 생략하고, 그 기능과 동작이 상이한 구성요소들에 대해서만 설명한다.As shown in FIG. 12, the robot system 400 according to another embodiment of the present invention includes an
서버 인터페이스(414)는 외부의 클라우드 서버(500)가 제공한 API를 사용하여 네트워크(600)를 통해 클라우드 서버(500)에 접속되어 정보의 송수신이 가능하도록 하는 기능을 수행한다. 여기서, 클라우드 서버(500)는 IBM사의 왓슨이나 구글사의 텐서플로우와 같이 딥 러닝 기술의 CNN 모델에 따른 정보 학습 및 학습 결과를 이용한 사용자 인식 및 감정 인식과, 퍼지 추론을 통한 학습 및 학습 결과를 이용한 로봇 시스템의 감정 생성이 가능한 서버를 말한다.The
사용자 인식부(403)는 얼굴 인식부(402)에서 출력되는 영상을 서버 인터페이스(414)를 통해 클라우드 서버(500)로 전달하여 사용자 인식에 대한 학습을 수행시킬 수 있다.The
이와 같이, 클라우드 서버(500)를 통한 사용자 인식에 대한 학습이 완료된 후, 사용자 인식부(403)는 얼굴 인식부(402)에서 출력되는 영상을 서버 인터페이스(414)를 통해 클라우드 서버(500)에게 전달하고, 전달된 영상에 대응되어 클라우드 서버(500)로부터 제공되는 사용자 인식 결과를 사용하여 사용자 인식을 수행할 수 있다.As described above, after learning about user recognition through the cloud server 500 is completed, the
또한, 감정 인식부(406)는 얼굴 인식부(402)에서 출력되는 얼굴 영상과 음성 인식부(405)에서 출력되는 음성 인식 결과를 서버 인터페이스(414)를 통해 클라우드 서버(500)로 전달하여 사용자의 감정 인식에 대한 학습을 수행시킬 수 있다.In addition, the
이와 같이, 클라우드 서버(500)를 통한 사용자 감정 인식에 대한 학습이 완료된 후, 감정 인식부(406)는 얼굴 인식부(402)에서 출력되는 영상과 음성 인식부(405)에서 출력되는 음성 인식 결과를 서버 인터페이스(414)를 통해 클라우드 서버(500)에게 전달하고, 전달된 음성 인식 결과에 대응되어 클라우드 서버(450)로부터 제공되는 감정 인식 결과를 사용하여 사용자 감정 인식을 수행할 수 있다.As such, after the learning of the user emotion recognition through the cloud server 500 is completed, the
또한, 감정 생성부(411)는 감정 인식부(406)에서 출력되는 사용자의 감정을 서버 인터페이스(414)를 통해 클라우드 서버(500)로 전달하여 로봇 시스템(400)의 감정 생성에 대한 학습을 수행시킬 수 있다.In addition, the
이와 같이, 클라우드 서버(500)를 통한 로봇 시스템(400)의 감정 생성에 대한 학습이 완료된 후, 감정 생성부(411)는 감정 인식부(406)에서 출력되는 사용자의 감정을 서버 인터페이스(414)를 통해 클라우드 서버(500)에게 전달하고, 전달된 사용자의 감정에 대응되어 클라우드 서버(500)로부터 제공되는 감정 생성 결과를 사용하여 로봇 시스템(100)의 감정을 생성할 수 있다.As described above, after learning about emotion generation of the robot system 400 through the cloud server 500 is completed, the
저장부(413)는 기본적으로는 이전 실시예에서의 로봇 시스템(100)에서의 저장부(113)와 유사하지만, 본 발명의 다른 실시예에서는 얼굴 영상을 통한 사용자 인식, 얼굴 영상과 음성 인식 결과를 통한 사용자의 감정 인식, 및 사용자의 감정을 통한 로봇 시스템(400)의 감정 생성에 대한 학습을 수행하지 않으므로 이러한 학습 정보를 저장하지 않는 부분이 상이하다.The storage unit 413 is basically similar to the storage unit 113 of the robot system 100 in the previous embodiment, but in another embodiment of the present invention, the user recognition through the face image, the face image and the voice recognition result. Since the user does not perform the learning on the emotion recognition of the user, and the emotion generation of the robot system 400 through the user's emotion, the part which does not store such learning information is different.
또한, 제어부(415)도 로봇 시스템(400) 각 구성요소, 즉 영상 촬영부(401), 얼굴 인식부(402), 사용자 인식부(403), 음성 입력부(404), 음성 인식부(405), 감정 인식부(406), 디스플레이(407), 발광부(408), 음성 출력부(409), 모션 출력부(410), 감정 생성부(411), 감정 표현부(412), 저장부(413) 및 서버 인터페이스(414) 간에 전달되는 신호를 처리하며, 이전 실시예에서의 제어부(114)와 상이한 점은 저장부(413)에서와 같이, 영상에 대응되는 사용자 인식, 영상 및 음성 인식 결과에 대응되는 사용자의 감정 인식, 및 사용자의 감정에 대응되는 로봇 시스템(400)의 감정 생성에 대한 학습을 위한 신호 전달 제어 부분이 없다는 것이다.In addition, the
한편, 본 발명의 다른 실시예에서 사용되는 외부의 클라우드 서버(500)가 본 발명의 다른 실시예에서 얼굴 영상에 대응되는 사용자 인식, 얼굴 영상과 음성 인식 결과에 대응되는 사용자의 감정 인식, 및 사용자의 감정에 대응되는 로봇 시스템(400)의 감정 생성을 위한 학습과, 그 학습 정보를 사용하여 얼굴 영상에 대응되어 실시간으로 사용자를 인식하고, 얼굴 영상과 음성 인식 결과에 대응되어 실시간으로 사용자의 감정을 인식하며, 사용자의 감정에 대응되어 실시간으로 로봇 시스템(400)의 감정을 생성하는 기술에 대해서는 API를 제공하여 클라우드 서버(500)로서 동작 가능한 클라우드 서버(500) 고유의 기능으로 이에 대해서는 잘 알려져 있으므로 여기에서는 구체적인 설명을 생략한다.On the other hand, the external cloud server 500 used in another embodiment of the present invention, the user recognition corresponding to the face image, the emotion recognition of the user corresponding to the face image and the voice recognition result in another embodiment of the present invention, and the user Learning for creating an emotion of the robot system 400 corresponding to the emotion of the user, and using the learning information to recognize the user in real time corresponding to the face image, and in real time corresponding to the face image and the voice recognition result It is a well-known feature of the cloud server 500 that can operate as a cloud server 500 by providing an API for a technology that generates emotion of the robot system 400 in real time in response to a user's emotion. Therefore, detailed description is omitted here.
이와 같이, 본 발명의 다른 실시예에 따른 로봇 시스템(400)에서는 얼굴 영상에 대응되는 사용자 인식, 얼굴 영상과 음성 인식 결과에 대응되는 사용자의 감정 인식, 사용자의 감정에 대응되는 로봇 시스템(400)의 감정 생성에 대한 학습을 수행하는 기능을 외부의 클라우드 서버(500)를 사용하여 수행함으로써, 로봇 시스템(400)의 구성이 간단해질 뿐만 아니라, 이미 검증되어 있고 매우 다양하고 많은 정보를 갖고 있는 클라우드 서버(500)를 사용함으로써 로봇 시스템(400)에 대한 신뢰를 제공할 수 있다.As such, in the robot system 400 according to another exemplary embodiment of the present invention, the robot system 400 corresponding to the user recognition corresponding to the face image, the emotion recognition of the user corresponding to the face image and the voice recognition result, and the user emotion are provided. By using the external cloud server 500 to perform the function of learning about the emotion generation of the robot, the configuration of the robot system 400 is not only simplified, but the cloud is already verified and has a great variety of information. By using the server 500, it is possible to provide trust in the robotic system 400.
이하, 상기한 로봇 시스템(400)을 사용하여 로봇 시스템(400)의 감정을 생성하여 표현하는 방법에 대해 설명한다.Hereinafter, a method of generating and expressing emotions of the robot system 400 using the robot system 400 will be described.
도 13은 본 발명의 다른 실시예에 따른 로봇 시스템(400)의 감정 생성 및 표현 방법의 흐름도이다. 13 is a flowchart of a method for generating and expressing emotions of the robot system 400 according to another embodiment of the present invention.
도 13을 참조하면, 먼저, 사용자 인식부(403)가 얼굴 인식부(402)에서 인식되는 얼굴 영상을 네트워크(600)를 통해 외부의 클라우드 서버(500)로 전달하여 CNN 모델을 통해 사용자 인식에 대한 학습을 수행하고, 감정 인식부(406)가 얼굴 인식부(402)에서 인식되는 얼굴 영상과 음성 인식부(405)에서의 음성 인식 결과를 네트워크(600)를 통해 외부의 클라우드 서버(500)로 전달하여 CNN 모델을 통해 사용자 인식에 대한 학습을 수행하며, 감정 생성부(411)가 감정 인식부(406)에 의해 인식되는 사용자의 감정을 네트워크(600)를 통해 외부의 클라우드 서버(500)로 전달하여 퍼지 추론을 통해 로봇 시스템(400)의 감정 생성에 대한 학습을 수행한다(S200).Referring to FIG. 13, first, the
그 후, 영상 촬영부(401)를 통해 사용자의 영상을 촬영하고, 음성 입력부(404)를 통해 사용자 음성을 입력받아서(S210), 얼굴 인식부(402)를 통해 촬영된 영상으로부터 얼굴을 인식하고, 음성 인식부(404)를 통해 입력 음성을 인식한다(S220).Thereafter, the image of the user is captured by the
그리고, 상기 단계(S220)에서 인식되는 얼굴 영상을 외부의 클라우드 서버(500)로 전달하여 대응되는 사용자 인식을 요청한다(S230).Then, the face image recognized in the step (S220) is transferred to the external cloud server 500 to request a corresponding user recognition (S230).
그 후, 클라우드 서버(500)로부터, 전달된 얼굴 영상에 대응되어 수행된 사용자 인식 결과를 수신한다(S240). 즉, 이러한 사용자 인식 결과가 사용자 인식부(403)에서의 사용자 인식 결과가 된다.Thereafter, the cloud server 500 receives a user recognition result performed corresponding to the transferred face image (S240). That is, the user recognition result becomes the user recognition result in the
또한, 상기 단계(S220)에서 실시간으로 인식되는 얼굴 영상과 음성 인식 결과를 외부의 클라우드 서버(500)로 전달하여 대응되는 사용자의 감정 인식을 요청한다(S250).In addition, in step S220, the face image and the voice recognition result recognized in real time are transmitted to an external cloud server 500, and a corresponding user's emotion recognition is requested (S250).
그 후, 클라우드 서버(500)로부터, 전달된 얼굴 영상과 음성 인식 결과에 대응되어 수행된 사용자의 감정 인식 결과를 수신한다(S260). 즉, 이러한 사용자의 감정 인식 결과가 감정 인식부(406)에서의 사용자 감정 인식 결과가 된다.Thereafter, the cloud server 500 receives an emotion recognition result of the user performed in response to the transferred face image and the voice recognition result (S260). That is, the user's emotion recognition result becomes the user's emotion recognition result in the
다음, 상기 단계(S260)에서 인식된 사용자의 감정을 외부의 클라우드 서버(500)로 전달하여 대응되는 로봇 시스템(400)의 감정 생성을 요청한다(S270).Next, the emotion of the user recognized in the step (S260) is transmitted to the external cloud server 500 to request the emotion generation of the corresponding robot system 400 (S270).
마찬가지로, 클라우드 서버(500)로부터, 전달된 사용자의 감정에 대응되는 로봇 시스템(400)의 감정 생성 결과를 수신한다(S280). 즉, 이러한 로봇 시스템(400)의 감정 생성 결과가 감정 생성부(411)에서의 로봇 시스템(400)의 감정 생성 결과가 된다. Similarly, the emotion generation result of the robot system 400 corresponding to the transmitted emotion of the user is received from the cloud server 500 (S280). That is, the emotion generation result of the robot system 400 becomes the emotion generation result of the robot system 400 in the
다음, 감정 생성부(411)에 의해 생성되는 로봇 시스템(100)의 감정을 외부로 표현하기 위해 로봇 시스템(400)의 감정값을 생성하는 단계(S290)과 상기 단계(S290)에서 생성되는 로봇 시스템(400)의 감정값에 기초하여 디스플레이(107), 발광부(108), 음성 출력부(109) 및 모션 출력부(110)를 사용하여 로봇 시스템(100)의 감정을 표현하는 단계(S300)는 도 11을 참조하여 설명한 단계(S170, S180)과 동일하므로 이에 대한 구체적인 설명을 생략한다.Next, in order to express the emotion of the robot system 100 generated by the
이하, 본 발명의 또 다른 실시예에 따른 로봇 시스템에 대해 설명한다.Hereinafter, a robot system according to another embodiment of the present invention will be described.
도 14는 본 발명의 또 다른 실시예에 따른 로봇 시스템의 개략적인 구성 블록도이다.14 is a schematic structural block diagram of a robot system according to another embodiment of the present invention.
도 14를 참조하면, 본 발명의 또 다른 실시예에 따른 로봇 시스템(1000)은 입력기(1100), 출력기(1200), 메모리(1300), 프로세서(1400) 및 버스(1500)를 포함한다.Referring to FIG. 14, the robot system 1000 according to another embodiment of the present invention includes an
입력기(1100)는 외부로부터 영상, 음성 등을 입력받는다. 이러한 입력기(1100)는 구체적으로, 외부의 영상을 촬영 등을 통해 입력받는 영상 입력기(1110), 마이크 등을 통해 음성을 입력받는 음성 입력기(1120)를 포함하낟.The
출력기(1200)는 외부로 영상, 음성, 문자, 행동 등을 출력한다. 이러한 출력기(1200)는 구체적으로, 영상을 출력하는 디스플레이(1210), 빛을 발산하는 LED(1220), 스피커와 같이 음성을 출력하는 음성 출력기(1230) 및 로봇 시스템(1000)의 팬, 틸트 등의 모션 제어를 통한 출력을 수행하는 모션 출력기(1240)를 포함한다.The
메모리(1300)는 코드의 집합을 저장하도록 구성되고, 그 코드는 다음과 같은 동작을 실행하기 위해 프로세서(1400)를 제어하는 데 사용된다. 이러한 동작은, 입력기(1100)를 통해 사용자의 영상과 음성을 입력받는 동작, 영상으로부터 얼굴 영상을 인식하는 동작, 음성을 인식하는 동작, 얼굴 영상과 음성 인식 결과를 학습하여 대응되는 사용자의 감정을 학습하는 동작, 학습된 정보에 기초하여 입력되는 얼굴 영상과 음성 인식 결과에 대응되는 사용자의 감정을 인식하는 동작, 사용자의 감정에 대응되는 로봇 시스템(1000)의 감정 생성을 학습하는 동작, 학습된 정보에 기초하여 입력되는 사용자의 감정에 대응되는 로봇 시스템(1000)의 감정을 생성하는 동작, 로봇 시스템(1000)의 감정을 표현하는 동작을 포함한다.The
버스(1500)는 로봇 시스템(1000)의 모든 구성요소들, 즉 입력기(1100), 출력기(1200), 메모리(1300) 및 프로세서(1400)를 결합하도록 구성된다.The
한편, 메모리(1300)는 ROM(Read Only Memory)과 RAM(Random Access Memory), NVRAM(Non-Volatile Random Access Memory)을 포함할 수 있다. 또한, 프로세서(1400)는 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다. 또한, 프로세서(1400)는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.The
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiments of the present invention described above are not only implemented through the apparatus and the method, but may be implemented through a program for realizing a function corresponding to the configuration of the embodiments of the present invention or a recording medium on which the program is recorded.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
Claims (15)
외부의 음성을 인식하는 음성 인식부;
신경망 모델을 사용하여 얼굴 영상과 음성에 대응되는 사용자의 감정을 학습하고, 학습 결과를 사용하여 상기 얼굴 인식부에서 인식되는 얼굴 영상과 상기 음성 인식부에 의해 인식되는 음성 인식 결과에 대응되는 사용자의 감정을 인식하는 감정 인식부;
퍼지 추론(Fuzzy Inference)을 수행하는 퍼지 시스템을 사용하여 사용자의 감정 입력에 대응되는 로봇 시스템의 감정 생성을 학습하고, 학습 결과를 사용하여 상기 감정 인식부에 의해 인식되는 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하는 감정 생성부;
상기 신경망 모델을 사용하여 얼굴 영상에 대응되는 사용자를 학습하고, 학습 결과를 사용하여 상기 얼굴 인식부에서 인식되는 얼굴 영상에 대응되는 사용자를 인식하는 사용자 인식부; 및
상기 감정 생성부에 의해 생성되는 로봇 시스템의 감정을 외부로 표현하는 감정 표현부
를 포함하고,
상기 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 모델이며,
상기 감정 생성부는,
상기 감정 인식부에 의해 인식되는 사용자의 감정을 입력으로 상기 퍼지 시스템을 사용하여 로봇 시스템의 감정 상태를 감정 이모지값으로 생성하는 감정 이모지값 생성부;
상기 감정 인식부에 의해 인식되는 사용자의 감정을 입력으로 상기 퍼지 시스템을 사용하여 로봇 시스템의 감정 상태를 감정 LED 컬러값으로 생성하는 감정 LED 컬러값 생성부;
상기 감정 인식부에 의해 인식되는 사용자의 감정을 입력으로 상기 퍼지 시스템을 사용하여 로봇 시스템의 감정 상태를 감정 음성값으로 생성하는 감정 음성값 생성부; 및
상기 감정 인식부에 의해 인식되는 사용자의 감정을 입력으로 상기 퍼지 시스템을 사용하여 로봇 시스템의 감정 상태를 감정 모션값으로 생성하는 감정 모션값 생성부
를 포함하고,
상기 사용자 인식부는 상기 사용자의 기등록된 사용자 여부를 인식하고, 상기 사용자가 기등록된 사용자인 경우에 상기 감정 인식부가 기등록된 사용자의 감정을 인식하도록 하며,
상기 감정 생성부는 상기 감정 인식부에 의해 인식되는 상기 기등록된 사용자의 감정 인식 결과를 적용하여 상기 기등록된 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하는 로봇 시스템.A face recognition unit recognizing a face image from an external image;
A voice recognition unit for recognizing an external voice;
A user's emotion corresponding to a face image and a voice is learned using a neural network model, and a face image recognized by the face recognition unit and a voice recognition result recognized by the voice recognition unit are used by using a learning result. An emotion recognition unit that recognizes emotions;
A fuzzy system performing fuzzy inference is used to learn emotion generation of the robot system corresponding to the emotion input of the user, and the robot corresponding to the emotion of the user recognized by the emotion recognition unit using the learning result. An emotion generator configured to generate emotions of the system;
A user recognition unit learning a user corresponding to a face image using the neural network model, and recognizing a user corresponding to a face image recognized by the face recognition unit using a learning result; And
Emotion expression unit for expressing the emotion of the robot system generated by the emotion generation unit to the outside
Including,
The neural network model is a convolutional neural network (CNN) model model,
The emotion generating unit,
An emotion emoji value generator configured to generate an emotional state of the robot system as an emotion emoji value by using the fuzzy system as an input of a user's emotion recognized by the emotion recognizer;
An emotion LED color value generator configured to generate an emotion state of the robot system as an emotion LED color value by using the fuzzy system as an input of the emotion of the user recognized by the emotion recognizer;
An emotion voice value generator configured to generate an emotion state of a robot system as an emotion voice value by using the fuzzy system as an input of a user's emotion recognized by the emotion recognizer; And
Emotion motion value generation unit for generating the emotional state of the robot system as an emotional motion value using the fuzzy system as an input of the user's emotion recognized by the emotion recognition unit
Including,
The user recognition unit recognizes whether or not the user is a registered user, and if the user is a pre-registered user so that the emotion recognition unit recognizes the emotion of the pre-registered user,
And the emotion generator generates emotions of the robot system corresponding to the emotions of the registered user by applying the emotion recognition result of the registered user recognized by the emotion recognizer.
상기 감정 생성부는 사용자의 감정을 외부의 클라우드 서버 ― 여기서 클라우드 서버는 퍼지 추론 사용한 학습이 가능한 서버임 ―로 전달하여 사용자의 감정에 대응되는 로봇 시스템의 감정 생성 학습을 수행시킨 후,
상기 감정 인식부로부터 입력되는 사용자의 감정을 상기 클라우드 서버로 전달하여 상기 사용자의 감정에 대응되는 로봇 시스템의 감정 생성을 요청한 후 상기 클라우드 서버로부터 전달되는 로봇 시스템의 감정 생성 결과를 수신하여 로봇 시스템의 감정으로 사용하는,
로봇 시스템.The method of claim 1,
The emotion generating unit transmits the user's emotion to an external cloud server, where the cloud server is a server capable of learning using fuzzy inference, and performs emotion generation learning of the robot system corresponding to the user's emotion.
Sending the emotion of the user input from the emotion recognition unit to the cloud server to request the emotion generation of the robot system corresponding to the emotion of the user, and then receives the emotion generation result of the robot system delivered from the cloud server of the robot system Used as an emotion,
Robotic system.
상기 감정 생성부에서의 학습 결과 정보를 저장하는 저장부를
더 포함하고,
상기 감정 생성부는 상기 저장부에 저장된 학습 결과 정보에 기초하여, 상기 감정 인식부로부터 입력되는 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하는,
로봇 시스템.The method of claim 1,
A storage unit which stores the learning result information in the emotion generating unit
Including more,
The emotion generation unit generates an emotion of the robot system corresponding to the emotion of the user input from the emotion recognition unit based on the learning result information stored in the storage unit,
Robotic system.
상기 감정 생성부는 상기 클라우드 서버가 제공하는 API(Application Programming Interface)를 사용하여 상기 클라우드 서버에 접속하여 사용자의 감정에 대응되는 감정 생성의 학습을 요청하고, 학습 결과에 기초하여 상기 감정 인식부에서 출력되는 사용자의 감정에 대응되는 로봇 시스템의 감정 생성을 요청하고, 상기 클라우드 서버에서 제공되는 로봇 시스템의 감정 생성값을 수신하여 사용하는,
로봇 시스템.The method of claim 2,
The emotion generating unit requests to learn the emotion generation corresponding to the emotion of the user by accessing the cloud server using an application programming interface (API) provided by the cloud server, and outputs from the emotion recognition unit based on the learning result Requesting the emotion generation of the robot system corresponding to the emotion of the user, and receiving and using the emotion generation value of the robot system provided by the cloud server;
Robotic system.
상기 감정 이모지값 생성부에서 생성되는 감정 이모지값을 사용하여 로봇 시스템의 감정을 표현하는 디스플레이;
상기 감정 LED 컬러값 생성부에서 생성되는 감정 LED 컬러값을 사용하여 로봇 시스템의 감정을 표현하는 복수의 LED;
상기 감정 음성값 생성부에서 생성되는 감정 음성값을 사용하여 로봇 시스템의 감정을 표현하는 음성 출력부; 및
상기 감정 모션값 생성부에서 생성되는 감정 모션값을 사용하여 로봇 시스템의 모션을 제어하여 로봇 시스템의 감정을 표현하는 모션 출력부
를 더 포함하는 로봇 시스템.The method of claim 1,
A display for expressing an emotion of the robot system using the emotional emoji value generated by the emotional emoji value generator;
A plurality of LEDs for expressing emotions of the robot system using the emotion LED color values generated by the emotion LED color value generator;
A voice output unit expressing an emotion of the robot system using the emotion voice value generated by the emotion voice value generator; And
The motion output unit expresses the emotion of the robot system by controlling the motion of the robot system using the emotion motion value generated by the emotion motion value generator.
Robot system further comprising.
얼굴 영상에 대응되는 사용자의 감정을 신경망 모델을 사용하여 학습하고, 얼굴 영상과 음성에 대응되는 로봇 시스템의 감정 생성을 퍼지 추론을 사용하여 학습하는 단계;
실시간으로 입력되는 사용자의 촬영 영상과 음성으로부터 사용자의 얼굴과 음성을 인식하는 단계;
상기 신경망 모델을 사용하여 얼굴 영상에 대응되는 사용자를 학습하고, 학습 결과를 사용하여 상기 인식하는 단계에서 인식되는 얼굴 영상에 대응되는 사용자를 인식하는 단계;
상기 학습의 정보에 기초하여, 인식되는 얼굴 영상과 음성 인식 결과에 대응되는 사용자의 감정을 인식하는 단계; 및
상기 학습의 정보에 기초하여, 인식되는 상기 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하여 표현하는 단계
를 포함하고,
상기 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 모델이며,
상기 합성곱 신경망 모델은 입력되는 얼굴 영상과 상기 음성 인식 결과에 대해 분노(Anger), 행복(Happiness), 놀람(Surprise), 혐오(Disgust), 슬픔(Sadness), 공포(Fear) 및 무표정(Neutral) 중 하나를 사용자의 감정으로 분류하며,
상기 로봇 시스템의 감정을 생성하여 표현하는 단계에서,
로봇 시스템의 감정을 디스플레이를 통해 표현하는 데 사용되는 감정 이모지값, 로봇 시스템의 감정을 복수의 LED를 통해 표현하는 데 사용되는 감정 LED 컬러값, 로봇 시스템의 감정을 음성 출력을 통해 표현하는 데 사용되는 감정 음성값, 및 로봇 시스템의 감정을 상기 로봇 시스템의 모션을 통해 표현하는 데 사용되는 감정 모션값을 생성하고,
상기 사용자를 인식하는 단계에서 상기 사용자의 기등록된 사용자 여부를 인식하고, 상기 사용자가 기등록된 사용자인 경우에 상기 사용자의 감정을 인식하는 단계에서 상기 기등록된 사용자의 감정을 인식하도록 하며,
상기 로봇 시스템의 감정을 생성하여 표현하는 단계에서 상기 사용자의 감정을 인식하는 단계에서 인식되는 상기 기등록된 사용자의 감정 인식 결과를 적용하여 상기 기등록된 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하여 표현하는,
로봇 시스템의 감정 생성 및 표현 방법.In the method in which the robot system generates and expresses emotions,
Learning emotions of a user corresponding to a face image using a neural network model, and learning emotion generation of a robot system corresponding to a face image and a voice using fuzzy inference;
Recognizing a face and a voice of the user from the captured image and the voice input of the user in real time;
Learning a user corresponding to a face image using the neural network model, and recognizing a user corresponding to a face image recognized in the recognizing using a learning result;
Recognizing a user's emotion corresponding to a recognized face image and a voice recognition result based on the learning information; And
Generating and expressing an emotion of the robot system corresponding to the recognized emotion of the user based on the learning information
Including,
The neural network model is a convolutional neural network (CNN) model model,
The composite product neural network model is anger, happiness, surprise, disgust, sadness, fear, and expression on the input face image and the speech recognition result. ) Is categorized as a user's feelings,
In the step of generating and expressing the emotion of the robot system,
Emotion emoji values used to express the emotions of the robot system on the display, emotion LED color values used to express the emotions of the robot system through a plurality of LEDs, and to express emotions of the robot system through the voice output. Generate an emotional voice value, and an emotional motion value used to express the emotion of the robotic system through the motion of the robotic system,
Recognizing whether the user is a pre-registered user in the step of recognizing the user, and in the step of recognizing the emotion of the user when the user is a pre-registered user,
In the generating and expressing the emotion of the robot system, the emotion of the robot system corresponding to the emotion of the registered user is applied by applying the emotion recognition result of the registered user recognized in the step of recognizing the emotion of the user. Generated and represented,
How to create and express emotions in robotic systems.
외부의 클라우드 서버 ― 여기서 클라우드 서버는 퍼지 추론 사용한 학습이 가능한 서버임 ―를 사용하여 사용자의 감정에 대응되는 로봇 시스템의 감정 생성 학습을 수행시킨 후,
상기 인식되는 사용자의 감정을 상기 클라우드 서버로 전달하여 상기 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하는,
로봇 시스템의 감정 생성 및 표현 방법.The method of claim 8,
After using the external cloud server (where the cloud server is a server capable of learning using fuzzy inference)-performs emotion generation learning of the robot system corresponding to the user's emotion,
Generating the emotion of the robot system corresponding to the emotion of the user by transmitting the recognized emotion of the user to the cloud server;
How to create and express emotions in robotic systems.
입력기, 출력기, 메모리 및 프로세서를 포함하며,
상기 입력기는 사용자의 영상 및 음성을 입력받고,
상기 출력기는 상기 로봇 시스템의 감정을 외부로 표현하며,
상기 메모리는 코드의 집합을 저장하도록 구성되고,
상기 코드는,
상기 입력기로부터 입력되는 사용자의 영상으로부터 사용자의 얼굴을 인식하고, 사용자의 음성을 인식하는 동작;
신경망 모델을 통해 얼굴 인식 결과와 음성 인식 결과에 대응되는 사용자의 감정을 인식하는 동작;
상기 신경망 모델을 사용하여 얼굴 영상에 대응되는 사용자를 학습하고, 학습 결과를 사용하여 상기 인식되는 얼굴 영상에 대응되는 사용자를 인식하는 동작;
퍼지 추론을 통해 사용자의 감정에 대응되는 로봇 시스템의 감정 생성을 학습하는 동작; 및
학습된 정보에 기초하여 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하여 표현하는 동작
을 실행하도록 상기 프로세서를 제어하는 데 사용되며,
상기 프로세서는,
상기 입력기를 통해 입력되는 얼굴 영상과 음성에 대응되는 사용자의 감정에 대해 상기 신경망 모델을 사용하여 학습하고, 학습 결과를 사용하여 상기 입력기를 통해 실시간으로 입력되는 얼굴 영상과 음성에 대응되는 사용자의 감정을 인식하는 동작; 및
로봇 시스템의 감정을 상기 출력기를 통해 이미지로 표현하는 데 사용되는 감정 이모지값, 로봇 시스템의 감정을 상기 출력기를 통해 표현하는 데 사용되는 감정 LED 컬러값, 로봇 시스템의 감정을 음성 출력을 통해 표현하는 데 사용되는 감정 음성값, 및 로봇 시스템의 감정을 모션을 통해 표현하는 데 사용되는 감정 모션값을 생성하는 동작;
을 더 실행하고,
상기 사용자를 인식하는 동작에서 상기 사용자의 기등록된 사용자 여부를 인식하고, 상기 사용자가 기등록된 사용자인 경우에 상기 사용자의 감정을 인식하는 동작에서 상기 기등록된 사용자의 감정을 인식하도록 하며,
상기 감정을 생성하여 표현하는 동작에서, 상기 사용자의 감정을 인식하는 동작에서 인식되는 상기 기등록된 사용자의 감정 인식 결과를 적용하여 상기 기등록된 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하여 표현하는,
로봇 시스템.A robotic system that creates and expresses emotions,
Including input, output, memory and processor,
The input unit receives a user's video and audio,
The output unit expresses the emotion of the robot system to the outside,
The memory is configured to store a set of codes,
The code is
Recognizing a user's face from an image of the user input from the input device, and recognizing a user's voice;
Recognizing a user's emotion corresponding to a face recognition result and a voice recognition result through a neural network model;
Learning a user corresponding to a face image using the neural network model and recognizing a user corresponding to the recognized face image using a learning result;
Learning emotion generation of the robot system corresponding to the emotion of the user through fuzzy inference; And
An operation of generating and expressing an emotion of the robot system corresponding to the emotion of the user based on the learned information
Used to control the processor to run the
The processor,
The user's emotion corresponding to the face image input through the input unit and the user's emotion corresponding to the voice are learned using the neural network model, and the user's emotion corresponding to the face image and voice input in real time through the input unit using the learning result. Recognizing; And
Emotion emoji value used to express the emotion of the robot system as an image through the output device, Emotion LED color value used to express the emotion of the robot system through the output device, and to express emotion of the robot system through the voice output. Generating an emotion speech value used to express the emotion of the robotic system through motion;
Run more,
Recognizing whether the user is a pre-registered user in the operation of recognizing the user, if the user is a pre-registered user to recognize the emotion of the registered user in the operation of recognizing the emotion of the user,
In the operation of generating and expressing the emotion, the emotion of the robot system corresponding to the emotion of the registered user is generated by applying the emotion recognition result of the registered user recognized in the operation of recognizing the emotion of the user. Expressing,
Robotic system.
상기 프로세서는,
외부의 클라우드 서버 ― 여기서 클라우드 서버는 퍼지 추론 사용한 학습이 가능한 서버임 ―를 사용하여 사용자의 감정에 대응되는 로봇 시스템의 감정 생성 학습을 수행시키는 동작; 및
상기 인식되는 사용자의 감정을 상기 클라우드 서버로 전달하여 상기 사용자의 감정에 대응되는 로봇 시스템의 감정을 생성하는 동작
을 더 실행하는, 로봇 시스템.The method of claim 12,
The processor,
Performing emotion generation learning of the robot system corresponding to the emotion of the user using an external cloud server, wherein the cloud server is a server capable of learning using fuzzy inference; And
Generating an emotion of the robot system corresponding to the emotion of the user by transmitting the recognized emotion of the user to the cloud server
To run more, the robotic system.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20160156047 | 2016-11-22 | ||
| KR1020160156047 | 2016-11-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180057489A KR20180057489A (en) | 2018-05-30 |
| KR101970297B1 true KR101970297B1 (en) | 2019-08-13 |
Family
ID=62300048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170074424A KR101970297B1 (en) | 2016-11-22 | 2017-06-13 | Robot system for generating and representing emotion and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101970297B1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102012968B1 (en) * | 2018-08-07 | 2019-08-27 | 주식회사 서큘러스 | Method and server for controlling interaction robot |
| JP7222537B2 (en) * | 2019-02-27 | 2023-02-15 | 学校法人 関西大学 | robot equipment |
| KR102277811B1 (en) * | 2019-03-06 | 2021-07-15 | 상명대학교 천안산학협력단 | A Deep learning-based real time emotional recognition system using bi-signal and methodology. |
| KR102433964B1 (en) * | 2019-09-30 | 2022-08-22 | 주식회사 오투오 | Realistic AI-based voice assistant system using relationship setting |
| CN112223295A (en) * | 2020-10-28 | 2021-01-15 | 刘娴 | Robot expression calling method and household robot |
| KR102472786B1 (en) * | 2020-12-17 | 2022-11-30 | 광주대학교산학협력단 | Method and apparatus for providing emotional digital twin |
| KR102669078B1 (en) * | 2021-11-23 | 2024-05-24 | 한국공학대학교산학협력단 | Method and apparatus for generating facial expression data of human-friendly robot |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007087346A (en) * | 2005-09-26 | 2007-04-05 | Canon Inc | Information processing device, control method therefor, computer program, and memory medium |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101336641B1 (en) * | 2012-02-14 | 2013-12-16 | (주) 퓨처로봇 | Emotional Sympathy Robot Service System and Method of the Same |
-
2017
- 2017-06-13 KR KR1020170074424A patent/KR101970297B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007087346A (en) * | 2005-09-26 | 2007-04-05 | Canon Inc | Information processing device, control method therefor, computer program, and memory medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180057489A (en) | 2018-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101970297B1 (en) | Robot system for generating and representing emotion and method thereof | |
| US11584020B2 (en) | Human augmented cloud-based robotics intelligence framework and associated methods | |
| KR102425578B1 (en) | Method and apparatus for recognizing an object | |
| US11887215B2 (en) | Image processing apparatus and method for style transformation | |
| CN111418198B (en) | Electronic device for providing text-related image and method of operating the same | |
| KR102651253B1 (en) | An electronic device for determining user's emotions and a control method thereof | |
| US10335954B2 (en) | Methods and systems for managing dialogs of a robot | |
| KR101887637B1 (en) | Robot system | |
| US11776269B2 (en) | Action classification in video clips using attention-based neural networks | |
| KR20190100090A (en) | Robot and method for recognizing mood using same | |
| US11592825B2 (en) | Electronic device and operation method therefor | |
| KR20190111278A (en) | Electronic device and Method for controlling the electronic device thereof | |
| KR102548732B1 (en) | Apparatus and Method for learning a neural network | |
| KR20210057611A (en) | Artificial intelligence apparatus and method for recognizing object included in image data | |
| KR20190133100A (en) | Electronic device and operating method for outputting a response for a voice input, by using application | |
| US11544886B2 (en) | Generating digital avatar | |
| KR20190105403A (en) | An external device capable of being combined with an electronic device, and a display method thereof. | |
| KR20200036680A (en) | An electronic device and method for obtaining emotional information | |
| KR20190099153A (en) | Electronic device | |
| KR20200050373A (en) | Electronic apparatus and control method thereof | |
| KR20190101333A (en) | Voice recognition device and voice recognition method | |
| KR20210033809A (en) | Control server and method for controlling robot using artificial neural network, and the robot implementing the same | |
| Pineda et al. | Ioca: Interaction-oriented cognitive architecture | |
| Infantino et al. | A cognitive architecture for social robots | |
| KR20200094607A (en) | Electronic device and operating method for generating caption information for a image sequence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |