KR20230103671A - 통신 시스템에서 사용자의 감정에 기반하여 관계를 형성할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치 - Google Patents
통신 시스템에서 사용자의 감정에 기반하여 관계를 형성할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20230103671A KR20230103671A KR1020210194706A KR20210194706A KR20230103671A KR 20230103671 A KR20230103671 A KR 20230103671A KR 1020210194706 A KR1020210194706 A KR 1020210194706A KR 20210194706 A KR20210194706 A KR 20210194706A KR 20230103671 A KR20230103671 A KR 20230103671A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- user
- companion animal
- emotion
- avatar
- Prior art date
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 198
- 230000008451 emotion Effects 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000004891 communication Methods 0.000 title claims abstract description 49
- 230000009471 action Effects 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 51
- 230000015654 memory Effects 0.000 claims description 34
- 230000002996 emotional effect Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 241000894007 species Species 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 27
- 230000006399 behavior Effects 0.000 abstract description 11
- 230000004048 modification Effects 0.000 abstract description 3
- 238000012986 modification Methods 0.000 abstract description 3
- 230000002787 reinforcement Effects 0.000 abstract description 2
- 230000001815 facial effect Effects 0.000 description 22
- 210000001097 facial muscle Anatomy 0.000 description 20
- 230000008909 emotion recognition Effects 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 13
- 210000003205 muscle Anatomy 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 5
- 238000007619 statistical method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000009411 base construction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 206010027940 Mood altered Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000000540 analysis of variance Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000013105 post hoc analysis Methods 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Primary Health Care (AREA)
- Computer Graphics (AREA)
- Marketing (AREA)
- Remote Sensing (AREA)
- Human Resources & Organizations (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Medical Informatics (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 통신 시스템에서 사용자의 감정에 기반하여 관계를 형성할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 통신 시스템에서 메타버스의 가상 현실 내 반려 동물 아바타를 생성하고, 반려 동물 아바타의 동작 화면에 대한 사용자의 반응 얼굴 이미지로부터 사용자의 반응 감정 정보를 분석한 뒤, 사용자의 반응 감정 정보에 기반하여 반려 동물 아바타가 상호 반응 동작을 수행하고, 또한, 사용자의 반응 감정 정보에 기반하여 반려 동물 아바타의 특정 행동 패턴 등에 대한 사용자의 피드백을 반영하여 반려 동물 아바타의 행동 패턴, 성격에 대한 수정 및 강화 학습을 수행함으로써, 사용자와 감정적으로 교감하고 관계를 형성할 수 있는 반려 동물 아바타를 제공하기 위한 방법 및 장치에 관한 것이다.
Description
본 발명은 통신 시스템에서 사용자의 감정에 기반하여 관계를 형성할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 통신 시스템에서 메타버스의 가상 현실 내 반려 동물 아바타를 생성하고, 반려 동물 아바타의 동작 화면에 대한 사용자의 반응 얼굴 이미지로부터 사용자의 반응 감정 정보를 분석한 뒤, 사용자의 반응 감정 정보에 기반하여 반려 동물 아바타가 상호 반응 동작을 수행하고, 또한, 사용자의 반응 감정 정보에 기반하여 반려 동물 아바타의 특정 행동 패턴 등에 대한 사용자의 피드백을 반영하여 반려 동물 아바타의 행동 패턴, 성격에 대한 수정 및 강화 학습을 수행함으로써, 사용자와 감정적으로 교감하고 관계를 형성할 수 있는 반려 동물 아바타를 제공하기 위한 방법 및 장치에 관한 것이다.
최근 1인 가구가 증가하면서 인간과 함께 가족과 같이 생활할 수 있는 반려 동물에 대한 수요가 증가하고 있다. 반려 동물을 키우는 사람들이 일반적으로 반려 동물에게 기대하는 것은 감정을 가진 존재로서 반려 동물과 감정적인 교감을 수행하는 것이다. 그러나, 사람들은 반려 동물과 함께 생활하며 감정적 교감을 주고받기를 원하면서도, 현실적으로 관리 책임의 부담, 시간, 비용, 공간의 문제 등 현실적인 이유로 반려 동물을 키우는 것에 어려움을 느끼고 있다.
최근 메타버스(metaverse)의 가상 현실 관련 기술이 주목을 받고 있다. 메타버스는 가공, 추상을 의미하는 메타(meta)와 현실 세계를 의미하는 유니버스(universe)의 합성어로, 가상 세계를 뜻하는 용어이다. 메타버스로 인하여 현실 세계와 가상 세계의 경계가 점차 희미해지고 있다. 현실 세계에서 수행하는 여러가지 행동을 가상 세계에서 동일 또는 유사하게 진행할 수 있기 때문이다.
메타버스의 가상 현실에서 반려 동물 아바타를 생성하고, 반려 동물 아바타의 동작 화면에 대한 사용자의 반응 얼굴 이미지로부터 사용자의 반응 감정 정보를 분석한 뒤, 사용자의 반응 감정 정보에 기반하여 반려 동물 아바타가 상호 반응 동작을 수행한다면, 사용자와 메타버스 가상 현실 속 반려 동물이 감정적으로 교감을 하는 경험을 사용자가 가질 수 있다. 또한, 사용자의 반응 감정 정보에 기반하여 반려 동물 아바타의 특정 행동 패턴 등에 대한 사용자의 피드백을 반영하여 반려 동물 아바타의 행동 패턴, 성격에 대한 수정 및 강화 학습을 수행한다면, 사용자의 좋고 싫은 반응을 반려 동물 아바타가 인지하고 반영할 수 있기 때문에, 사용자가 반려 동물 아바타를 키우면서 감정적으로 관계를 형성할 수 있다.
따라서, 통신 시스템에서 사용자의 감정에 기반하여 관계를 형성할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치가 필요한 실정이다.
본 발명은 전술한 문제점을 해결하기 위하여 다음과 같은 해결 과제를 목적으로 한다.
본 발명은 통신 시스템에서 사용자의 감정에 기반하여 관계를 형성할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 통신 시스템에서 메타버스의 가상 현실 내 반려 동물 아바타를 생성하고, 반려 동물 아바타의 동작 화면에 대한 사용자의 반응 얼굴 이미지로부터 사용자의 반응 감정 정보를 분석한 뒤, 사용자의 반응 감정 정보에 기반하여 반려 동물 아바타가 상호 반응 동작을 수행하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 통신 시스템에서 사용자의 반응 감정 정보에 기반하여 반려 동물 아바타의 특정 행동 패턴 등에 대한 사용자의 피드백을 반영하여 반려 동물 아바타의 행동 패턴, 성격에 대한 수정 및 강화 학습을 수행하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 통신 시스템에서 사용자와 감정적으로 교감하고 관계를 형성할 수 있는 반려 동물 아바타를 제공하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.
본 발명의 다양한 실시 예들은 통신 시스템에서 사용자의 단말의 동작 방법을 제공한다. 상기 단말은 송수신기, 메모리, 프로세서, 입력 장치, 출력 장치, 카메라를 포함한다. 상기 방법은, 상기 입력 장치를 통해 입력 받은 반려 동물의 설정 정보를 상기 서버에게 전송하는 과정과, 상기 서버로부터 가상 공간 내 반려 동물 아바타의 외관 및 동작에 관한 제1 동작 정보를 수신하는 과정과, 상기 제1 동작 정보에 기반하여 상기 출력 장치를 통해 상기 반려 동물 아바타의 동작을 출력하는 과정과, 상기 카메라를 통해 상기 출력 장치의 상기 반려 동물 아바타를 바라보는 상기 사용자의 얼굴 이미지를 획득하는 과정과, 상기 서버에게 상기 얼굴 이미지에 기반하여 생성한 상기 사용자의 감성 정보를 전송하는 과정과, 상기 서버로부터 상기 감성 정보에 기반하여 생성된 상기 반려 동물 아바타의 제2 동작 정보를 수신하는 과정과, 상기 제2 동작 정보에 기반하여 상기 출력 장치를 통해 상기 가상 공간 내 상기 반려 동물 아바타의 동작을 출력하는 과정을 포함한다.
본 발명의 다양한 실시 예들은 통신 시스템에서 사용자의 단말을 제공한다. 상기 단말은, 메모리, 프로세서, 입력 장치, 출력 장치, 카메라를 포함하고, 상기 프로세서는 본 발명의 다양한 실시 예들에 따른 통신 시스템에서 사용자의 단말의 동작 방법을 수행하도록 구성된다.
본 발명의 다양한 실시 예들은 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램을 제공한다. 상기 컴퓨터 프로그램은 본 발명의 다양한 실시 예들에 따른 통신 시스템에서 사용자의 단말의 동작 방법을 수행하도록 구성된다.
본 발명은 통신 시스템에서 사용자의 감정에 기반하여 관계를 형성할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치를 제공할 수 있다.
본 발명은 통신 시스템에서 메타버스의 가상 현실 내 반려 동물 아바타를 생성하고, 반려 동물 아바타의 동작 화면에 대한 사용자의 반응 얼굴 이미지로부터 사용자의 반응 감정 정보를 분석한 뒤, 사용자의 반응 감정 정보에 기반하여 반려 동물 아바타가 상호 반응 동작을 수행하기 위한 방법 및 장치를 제공할 수 있다.
본 발명은 통신 시스템에서 사용자의 반응 감정 정보에 기반하여 반려 동물 아바타의 특정 행동 패턴 등에 대한 사용자의 피드백을 반영하여 반려 동물 아바타의 행동 패턴, 성격에 대한 수정 및 강화 학습을 수행하기 위한 방법 및 장치를 제공할 수 있다.
본 발명은 통신 시스템에서 사용자와 감정적으로 교감하고 관계를 형성할 수 있는 반려 동물 아바타를 제공하기 위한 방법 및 장치를 제공할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.
도 1은 본 발명의 다양한 실시 예들에 따른 통신 시스템을 도시한다.
도 2는 본 발명의 다양한 실시 예들에 따른 사용자 단말의 구성에 대한 블록도를 도시한다.
도 3은 본 발명의 다양한 실시 예들에 따른 서버의 구성에 대한 블록도를 도시한다.
도 4는 본 발명의 다양한 실시 예들에 따라서 사용자 단말이 메타버스 가상 현실 속 반려 동물 아바타에 대한 행위 지시를 음성 메시지로 수행하기 위한 과정의 일 예를 도시한다.
도 5는 본 발명의 다양한 실시 예들에 따른 기계 학습 모델의 구조를 도시한다.
도 6은 본 발명의 다양한 실시 예들에 따른 생체 정보 획득 과정의 일 예를 도시한다.
도 7은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 8은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 9는 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 10은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 11은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 12는 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 13은 본 발명의 다양한 실시 예들에 따라서 사용자의 화상 이미지로부터 기계 학습 기반으로 사용자의 감정을 인식하는 과정의 일 예를 도시한다.
도 14는 본 발명의 다양한 실시 예들에 따라서 사용자의 이미지 및 음성에서 추출한 감정으로 상호 작용 분류 별 교감도를 부여하거나 차감하는 과정의 일 예를 도시한다.
도 15는 본 발명의 다양한 실시 예들에 따라서 사용자의 얼굴 인식에 따른 사용자의 감정 피드백을 반영하여 반려 동물 아바타의 동작이 결정되는 과정의 일 예를 도시한다.
도 16은 본 발명의 다양한 실시 예들에 따라서 메타버스 가상 현실 속 반려 동물 아바타를 최초 분양 받는 과정의 일 예를 도시한다.
도 17은 본 발명의 다양한 실시 예들에 따라서 반려 동물 아바타에게 음성으로 이름을 지어주고 인식시키는 과정의 일 예를 도시한다.
도 18은 본 발명의 다양한 실시 예들에 따라서 반려 동물 아바타와 훈련을 통해 사용자 감정 인식에 따른 교감도를 반영하는 과정의 일 예를 도시한다.
도 2는 본 발명의 다양한 실시 예들에 따른 사용자 단말의 구성에 대한 블록도를 도시한다.
도 3은 본 발명의 다양한 실시 예들에 따른 서버의 구성에 대한 블록도를 도시한다.
도 4는 본 발명의 다양한 실시 예들에 따라서 사용자 단말이 메타버스 가상 현실 속 반려 동물 아바타에 대한 행위 지시를 음성 메시지로 수행하기 위한 과정의 일 예를 도시한다.
도 5는 본 발명의 다양한 실시 예들에 따른 기계 학습 모델의 구조를 도시한다.
도 6은 본 발명의 다양한 실시 예들에 따른 생체 정보 획득 과정의 일 예를 도시한다.
도 7은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 8은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 9는 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 10은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 11은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 12는 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 13은 본 발명의 다양한 실시 예들에 따라서 사용자의 화상 이미지로부터 기계 학습 기반으로 사용자의 감정을 인식하는 과정의 일 예를 도시한다.
도 14는 본 발명의 다양한 실시 예들에 따라서 사용자의 이미지 및 음성에서 추출한 감정으로 상호 작용 분류 별 교감도를 부여하거나 차감하는 과정의 일 예를 도시한다.
도 15는 본 발명의 다양한 실시 예들에 따라서 사용자의 얼굴 인식에 따른 사용자의 감정 피드백을 반영하여 반려 동물 아바타의 동작이 결정되는 과정의 일 예를 도시한다.
도 16은 본 발명의 다양한 실시 예들에 따라서 메타버스 가상 현실 속 반려 동물 아바타를 최초 분양 받는 과정의 일 예를 도시한다.
도 17은 본 발명의 다양한 실시 예들에 따라서 반려 동물 아바타에게 음성으로 이름을 지어주고 인식시키는 과정의 일 예를 도시한다.
도 18은 본 발명의 다양한 실시 예들에 따라서 반려 동물 아바타와 훈련을 통해 사용자 감정 인식에 따른 교감도를 반영하는 과정의 일 예를 도시한다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 1은 본 발명의 다양한 실시 예들에 따른 통신 시스템을 도시한다.
도 1을 참고하면, 본 발명의 다양한 실시 예들에 따른 통신 시스템은 사용자 단말(100: 100-1, 100-2, ..., 100-n), 서버(200), 유/무선 통신 네트워크(300)를 포함한다.
사용자 단말(100: 100-1, 100-2, ..., 100-n)은 가상 현실 속 반려 동물 아바타를 키우는 사람인 반려인, 즉, 사용자에 의하여 운영되는 단말이다. 사용자 단말(100: 100-1, 100-2, ..., 100-n)은, 유/무선 통신 네트워크(300)를 통하여 서버(200)에게 반려 동물의 특성 정보를 전송하고, 서버(200)로부터 가상 현실 내 반려 동물 아바타의 정보, 반려 동물 아바타가 속한 가상 현실의 정보를 수신할 수 있는 전자 장치이다. 사용자 단말(100: 100-1, 100-2, ..., 100-n)은 퍼스널 컴퓨터, 셀룰러 폰, 스마트 폰, 태블릿 컴퓨터, 송수신이 가능한 VR(virtual reality)용 HMD(head mount display) 장치 등과 같이, 정보를 입력할 수 있는 입력 장치, 정보를 출력할 수 있는 출력 장치, 정보를 저장할 수 있는 메모리, 전면의 오브젝트에 대하여 이미지 촬영을 수행할 수 있는 카메라, 정보의 송수신을 수행할 수 있는 송수신기, 정보의 연산을 수행할 수 있는 적어도 하나의 프로세서를 포함하는 전자 장치일 수 있다.
서버(200)는 메타버스 가상 현실 플랫폼 기반 온라인 서비스 제공자에 의하여 운영되는 서버이다. 서버(200)는 유/무선 통신 네트워크(300)를 통하여 사용자 단말(100: 100-1, 100-2, ..., 100-n)에 의하여 제공되는 반려 동물의 특성 정보에 기반하여 사용자가 의도하는 반려 동물과 외모, 행동 패턴, 성격이 동일 또는 유사한 가상 현실 동물 아바타를 생성하고, 사용자로부터 입력된 특성 정보 또는 피드백 정보에 따라서 가상 현실 동물 아바타의 행동 패턴 및 성격을 훈련 또는 수정하고, 생성된 외모, 행동 패턴, 성격에 기반하여 사용자와 가상 현실 아바타 간 시청각적 커뮤니케이션을 수행하는 서비스의 정보를 사용자 단말(100)에게 제공할 수 있는 전자 장치이다. 서버(200)는 정보를 저장할 수 있는 메모리, 정보의 송수신을 수행할 수 있는 송수신기, 정보의 연산을 수행할 수 있는 적어도 하나의 프로세서를 포함하는 전자 장치일 수 있다.
유/무선 통신 네트워크(300)는, 사용자 단말(100: 100-1, 100-2, ..., 100-n), 및 서버(200)가 서로 신호 및 데이터를 송수신할 수 있는 통신 경로를 제공한다. 유/무선 통신 네트워크(300)는 특정한 통신 프로토콜에 따른 통신 방식에 한정되지 않으며, 구현 예에 따라 적절한 통신 방식이 사용될 수 있다. 예를 들어, 인터넷 프로토콜(internet protocol, IP) 기초의 시스템으로 구성되는 경우 유/무선 통신 네트워크(300)는 유무선 인터넷망으로 구현될 수 있으며, 사용자 단말(100: 100-1, 100-2, ..., 100-n), 및 서버(200)가 이동 통신 단말로서 구현되는 경우 유/무선 통신 네트워크(300)는 셀룰러 네트워크 또는 WLAN(wireless local area network) 네트워크와 같은 무선망으로 구현될 수 있다.
도 2는 본 발명의 다양한 실시 예들에 따른 사용자 단말의 구성에 대한 블록도를 도시한다.
도 2를 참고하면, 본 발명의 다양한 실시 예들에 따른 사용자 단말(100: 100-1, 100-2, ..., 100-n)은 송수신기(110), 메모리(120), 프로세서(130), 입력 장치(110), 출력 장치(120), 및 카메라(160)를 포함한다.
송수신기(110)는, 프로세서(130)와 연결되고 신호를 전송 및/또는 수신한다. 송수신기(110)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 또는 트랜시버(transceiver)로 지칭될 수 있다. 송수신기(110)는 유선 접속 시스템 및 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
메모리(120)는, 송수신기(110), 메모리(120), 프로세서(130), 입력 장치(140), 출력 장치(150)와 연결되고, 입력 장치(140)를 통해 입력된 정보, 송수신기(110)의 통신을 통해 서버(200)로부터 수신한 정보 등을 저장할 수 있다. 또한, 메모리(120)는 카메라(160)에 의하여 촬영된 이미지의 정보 등을 저장할 수 있다. 또한, 메모리(120)는, 프로세서(130)와 연결되고 프로세서(130)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(130)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(120)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(120)는 프로세서(130)의 요청에 따라 저장된 데이터를 제공할 수 있다.
프로세서(130)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(130)는 사용자 단말(100)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(130)는 송수신기(110)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(130)는 메모리(120)에 데이터를 기록하고, 읽는다. 또한, 프로세서(130)는 입력 장치(140)를 통해 정보를 입력 받는다. 또한, 프로세서(130)는 출력 장치(140)를 통해 정보를 출력한다. 또한, 프로세서(130)는 카메라(160)를 통해 이미지를 촬영한다. 프로세서(130)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
입력 장치(140)는, 프로세서(130)와 연결되고 정보 등을 입력할 수 있다. 일 실시 예에 따라서, 입력 장치(140)는 송수신기(130)를 통해 유/무선 통신 네트워크(300)로 연결된 다른 장치로부터 수신한 정보 등을 입력할 수 있다. 입력 장치(140)는 터치 디스플레이, 키 패드, 키보드 등을 포함할 수 있다.
출력 장치(150)는, 프로세서(130)와 연결되고 정보 등을 영상/음성 등의 형태로 출력할 수 있다. 일 실시 예에 따라서, 출력 장치(150)는 송수신기(110)를 통해 유/무선 통신 네트워크(300)로 연결된 다른 장치로부터 수신한 정보 등을 출력할 수 있다. 출력 장치(150)는 디스플레이, 스피커 등을 포함할 수 있다.
카메라(160)는, 프로세서(130)와 연결되고 전방의 오브젝트에 대하여 이미지의 촬영을 수행할 수 있다.
도 3은 본 발명의 다양한 실시 예들에 따른 서버의 구성에 대한 블록도를 도시한다.
도 3을 참고하면, 본 발명의 다양한 실시 예들에 따른 서버(200)는 송수신기(210), 메모리(220) 및 프로세서(230)를 포함한다.
송수신기(210)는, 프로세서(230)와 연결되고 신호를 전송 및/또는 수신한다. 송수신기(210)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 또는 트랜시버(transceiver)로 지칭될 수 있다. 송수신기(210)는 유선 접속 시스템 및 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
메모리(220)는, 송수신기(220)와 연결되고, 송수신기(220)의 통신을 통해 사용자 단말(100: 100-1, 100-2, ..., 100-n), 또는 서비스 단말(300: 300-1, 300-2, ..., 300-n)로부터 수신한 정보 등을 저장할 수 있다. 또한, 메모리(220)는, 프로세서(230)와 연결되고 프로세서(230)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(230)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(220)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(220)는 프로세서(230)의 요청에 따라 저장된 데이터를 제공할 수 있다.
프로세서(230)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(230)는 서버(200)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(230)는 송수신기(210)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(230)는 메모리(220)에 데이터를 기록하고, 읽는다. 프로세서(230)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
도 4는 본 발명의 다양한 실시 예들에 따라서 사용자 단말이 메타버스 가상 현실 속 반려 동물 아바타에 대한 행위 지시를 음성 메시지로 수행하기 위한 과정의 일 예를 도시한다.
S401 단계에서, 사용자는 사용자의 단말 내 출력 장치에 표시된 메타버스 가상 현실 속 반려 동물 아바타에 대한 지시의 음성 메시지를 말할 수 있다. 단말의 입력 장치에 포함된 마이크를 통하여 단말은 사용자의 음성을 수신할 수 있다.
S402 단계에서, 단말은 수신한 음성을 STT(speech to text)로 변환하여, 음성 메시지를 문자 메시지로 변환하고, 기존의 대화 셋과 비교하여 새로 수신한 사용자의 메시지를 인식할 수 있다.
S403 단계에서, 단말로부터 서버에 음성 메시지가 전송되고, 사용자의 메시지에 따른 지시 값과 연결된 반려 동물 아바타의 행동 값의 연결이 수행된다. 즉, 사용자의 지시에 적합한 반려 동물 아바타의 동작이 결정될 수 있다.
S404 단계에서, 서버는 단말에게 반려 동물 아바타에 대하여 최종적으로 결정한 행동 값에 대응하는 동작 정보 및 해당하는 유저 인터페이스 정보를 단말에게 전송한다. 단말은 서버로부터 수신한 반려 동물 아바타의 동작 정보에 기반하여 출력 장치에서 동작하는 반려 동물 아바타의 화면을 출력할 수 있다. 사용자는 이를 통해 음성으로 지시한 사항에 대하여 가상 현실 속 반려 동물 아바타가 반응을 한다고 느낄 수 있다.
이하 도 5 내지 도 13은, 사용자 단말의 출력 장치에서 반려 동물 아바타가 표시된 화면을 바라보는 사용자의 안면의 화상 이미지에 기반하여, 사용자의 감정 정보를 단말의 메모리 내 저장된 기계 학습 모델을 이용하여 인식하는 과정의 일 예를 도시한다. 단말은 단말 내 전면 카메라를 이용하여 단말의 화면을 바라보는 사용자의 안면의 화상 이미지를 획득할 수 있다.
도 5는 본 발명의 다양한 실시 예들에 따른 기계 학습 모델의 구조를 도시한다.
본 발명의 다양한 실시 예들에 따른 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 다층 인공 신경망(multi-layer perceptron, MLP)의 구조를 도시한다.
심층 학습(deep learning)은 최근 기계 학습 분야에서 대두되고 있는 기술 중 하나로써, 복수 개의 은닉 계층(hidden layer)과 이들에 포함되는 복수 개의 유닛(hidden unit)으로 구성되는 신경망(neural network)이다. 심층 학습 모델에 기본 특성(low level feature)들을 입력하는 경우, 이러한 기본 특성들이 복수 개의 은닉 계층을 통과하면서 예측하고자 하는 문제를 보다 잘 설명할 수 있는 상위 레벨 특성(high level feature)로 변형된다. 이러한 과정에서 전문가의 사전 지식 또는 직관이 요구되지 않기 때문에 특성 추출에서의 주관적 요인을 제거할 수 있으며, 보다 높은 일반화 능력을 갖는 모델을 개발할 수 있게 된다. 나아가, 심층 학습의 경우 특징 추출과 모델 구축이 하나의 세트로 구성되어 있기 때문에 기존의 기계학습 이론들 대비 보다 단순한 과정을 통하여 최종 모델을 형성할 수 있다는 장점이 있다.
다층 인공 신경망(multi-layer perceptron, MLP)은 심층 학습에 기반하여 여러 개의 노드가 있는 인공 신경망(artificial neural network, ANN)의 한 종류이다. 각 노드는 동물의 연결 패턴과 유사한 뉴런으로 비선형 활성화 기능을 사용한다. 이 비선형 성질은 분리할 수 없는 데이터를 선형적으로 구분할 수 있게 한다.
도 5를 참고하면, 본 발명의 다양한 실시 예들에 따른 MLP 모델의 인공 신경망(500)은 하나 이상의 입력 계층(input layer)(510), 복수 개의 은닉 계층(hidden layer)(530), 하나 이상의 출력 계층(output layer)(550)으로 구성된다.
입력 계층(510)의 노드에는 단위 시간별 적어도 하나의 초음파 이미지 내 각각의 픽셀의 RGB 값과 같은 입력 데이터가 입력된다. 여기서, 사용자의 생체 정보, 예를 들어, 심전도 정보, 집중도 수치, 행복 감정 비율의 정보, 및, 조정 컨텐츠의 정보, 예를 들어, 컨텐츠 장르, 컨텐츠 주제, 컨텐츠 채널의 정보 각각(511)은 심층 학습 모델의 기본 특성(low level feature)에 해당한다.
은닉 계층(530)의 노드에서는 입력된 인자들에 기초한 계산이 이루어진다. 은닉 계층(530)은 사용자의 생체 정보 및 조정 컨텐츠의 정보(511)를 규합시켜 형성된 복수 개의 노드로 정의되는 유닛들이 저장된 계층이다. 은닉 계층(530)은 도 5에 도시된 바와 같이 복수 개의 은닉 계층으로 구성될 수 있다.
예를 들어, 은닉 계층(530)이 제1 은닉 계층(531) 및 제2 은닉 계층(533)으로 구성될 경우, 제1 은닉 계층(531)은 사용자의 생체 정보 및 조정 컨텐츠의 정보(511)를 규합시켜 형성된 복수 개의 노드로 정의되는 제1 유닛들(532)이 저장되는 계층으로서, 제1 유닛(532)은 사용자의 생체 정보 및 조정 컨텐츠의 정보(511)의 상위 특징에 해당된다. 제2 은닉 계층(533)은 제1 은닉 계층(531)의 제1 유닛들을 규합시켜 형성된 복수 개의 노드로 정의되는 제2 유닛들(534)이 저장되는 계층으로, 제2 유닛(534)은 제1 유닛(532)의 상위 특징에 해당된다.
출력 계층(550)의 노드에서는 계산된 예측 결과를 나타낸다. 출력 계층(550)에는 복수 개의 예측 결과 유닛들(551)이 구비될 수 있다. 구체적으로 복수 개의 예측 결과 유닛들(551)은 참(true) 유닛 및 거짓(false) 유닛의 두 개의 유닛들로 구성될 수 있다. 구체적으로, 참 유닛은 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상일 가능성이 높다는 의미를 지닌 예측 결과 유닛이고, 거짓 유닛은 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상일 가능성이 낮다는 의미를 지닌 예측 결과 유닛이다.
은닉 계층(530) 중 마지막 계층인 제2 은닉 계층(533)에 포함된 제2 유닛들(534)과 예측 결과 유닛들(551) 간의 연결에 대하여 각각의 가중치들이 부여되게 된다. 이러한 가중치에 기초하여 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상일지 여부를 예측하게 된다.
예를 들어, 제2 유닛(534) 중 어느 하나의 유닛이 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율을 임계 집중도 수치 및 임계 행복 감정 비율 이상으로 예측하는 경우 참 유닛 및 거짓 유닛과 각각 연결되는데, 참 유닛 과의 연결에 대해서는 양의 값을 갖는 가중치가 부여될 것이고, 거짓 유닛과의 연결에 대해서는 음의 값을 갖는 가중치가 부여될 것이다. 반대로, 제2 유닛(534) 중 어느 하나의 유닛이 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율을 임계 집중도 수치 및 임계 행복 감정 비율 미만으로 예측하는 경우 참 유닛 및 거짓 유닛과 각각 연결되는데, 참 유닛 과의 연결에 대해서는 음의 값을 갖는 가중치가 부여될 것이고, 거짓 유닛과의 연결에 대해서는 양의 값을 갖는 가중치가 부여될 것이다.
복수 개의 제2 유닛들(534)과 참 유닛 사이에는 복수 개의 연결선들이 형성될 것이다. 복수 개의 연결선들의 총 합이 양의 값을 갖는 경우, 입력 계층(510)에서의 사용자의 생체 정보 및 조정 컨텐츠의 정보(511)은 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상인 인자들로 예측될 것이다. 일 실시 예에 따라서, 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상인지 여부는 복수 개의 연결선들의 총 합과 미리 설정된 값을 비교하여 예측할 수도 있다.
MLP 모델의 인공 신경망(500)은 학습 파라미터들을 조정하여 학습한다. 일 실시 예에 따라서, 학습 파라미터들은 가중치 및 편차 중 적어도 하나를 포함한다. 학습 파라미터들은 기울기 하강법(gradient descent)이라는 최적화 알고리즘을 통해 반복적으로 조정된다. 주어진 데이터 샘플로부터 예측 결과가 계산될 때마다(순방향 전파, forward propagation), 예측 오류를 측정하는 손실 함수를 통해 네트워크의 성능이 평가된다. 인공 신경망(500)의 각 학습 파라미터는 손실 함수의 값을 최소화하는 방향으로 조금식 증가하여 조정되는데, 이 과정은 역 전파(back-propagation)라고 한다.
상기와 같은 모델을 통해 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상인지 여부를 예측하고, 적절한 조정 컨텐츠를 결정할 수 있다.
도 6은 본 발명의 다양한 실시 예들에 따른 생체 정보 획득 과정의 일 예를 도시한다.
도 6을 참조하면, 사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지로부터 사용자의 생체 정보를 획득하는 과정의 일 예를 도시한다.
구체적으로, 단말은 화상 이미지 중 얼굴 내 특정 감정 점들의 패턴, 상반신 내 특정 움직임 점들의 패턴을 분석함으로써 사용자의 감정 종류, 감정 비율의 정보를 획득할 수 있다. 보다 상세하게는, 사용자로부터 기본 표정(무표정)과 이에 비교되는 다수의 감정상태에 따르는 감정 표정의 안면 영상을 획득하고, 기본 표정 또는 감정 표현의 안면 영상에, 안면 부위별 기준 정점을 정의하는 표준 모델을 마스킹(매칭)하여 사용자의 안면 영상에 안면 부위별로 다수의 정점들을 맵핑한 이후에 기본 표정과 감정 표현의 안면 영상에서 동일 안면 부위에서의 정점간의 좌표 변화 값을 추출하고 상기 정점들을 인체 안면에 정의되어 있는 표정단위(Action Unit)으로 별로 그룹화하고, 표정단위 그룹별 정점들의 중점(Centroid)의 변화 값을 포함하는 표정단위 안면 움직임 정보를 추출하고 추출한 안면 움직임 정보를 다수의 감정 상태 별로 데이터 베이스화 하여 감정의 종류와 감정 비율의 정보를 획득할 수 있다.
이 때, 표정단위 안면 움직임 정보는 행복(happy), 중립(neutral), 분노(angry), 공포(fear), 놀람(surprise), 슬픔(sad), 혐오(disgust) 등에 대한 정보를 포함할 수 있다.
도 7은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
본 발명의 다양한 실시 예들에서, 감정과 감성은 서로 대체할 수 있는 용어, 즉, emotion의 동일한 의미를 지칭하는 용어로 사용한다.
본 발명의 다양한 실시 예들에 따르면, 단말은 i) 화상 이미지 중 얼굴 검출, ii) 얼굴 포인트 검출, iii) 얼굴 근육 정의, iv) 근육 움직임 추적, v) 유효 감성 파라미터 추출, vi) 룰 베이스 구축, vii) 감성 인식을 수행할 수 있다.
i) 얼굴 검출에 대하여, 단말은 얼굴 특징 기반 Haar 모델을 이용한 Viola-Jones 알고리즘을 이용한다. 이에 따라, 얼굴 특징 기반으로 기존 색상 기반 모델에 비해 조명으로 인한 항계를 극복하고, 얼굴 모델 기반의 통계적 접근법인 AAM 기반 방법보다 적은 컴퓨팅 비용을 보여 실시간 프로세스에 적용 가능하다.
ii) 얼굴 포인트 검출에 대하여, 단말은 DLIB 기반 Regression Trees 앙상블 알고리즘을 사용하여, 눈, 코, 입에 대한 얼굴 포인트 68개를 검출할 수 있다.
iii) 얼굴 근육 정의에 대하여, 단말은, facial action coding system에 따른 얼굴 포인트 기반 얼굴 근육 정의에 따라서, 표정에 민감한 얼굴 근육 39개를 정의할 수 있다.
iv) 근육 움직임 추적에 대하여, 단말은 영상 프레임에 따른 얼굴 근육의 움직임을 추적하고, 표정에 따른 얼굴 근육의 XY 좌표 및 면적 변화량을 추적할 수 있다.
v) 유효 감성 파라미터 추출에 대하여, 단말은 6가지 기본 감성에 대한 얼굴 근육의 움직임 특징 기반 유효 감성 파라미터를 추출하여, 행복, 슬픔, 놀람, 화남, 역겨움, 두려움의 감정을 추출할 수 있다.
v) 룰 베이스 구축에 대하여, 단말은 실제 얼굴 표정 데이터로부터 감성 인식을 위한 룰 베이스를 구축하여, 보편적 중립 얼굴 모델을 이용해 개인화 문제를 극복하고, 통계 분석 기반 룰 베이스 구축을 통해 감성 인식을 위한 얼굴 모델을 구축할 수 있다.
vi) 감성 인식에 대하여, 단말은 Fuzzy 기반 감성 인식 알고리즘을 이용해, 룰 베이스 기반 각성 별 확률을 계산하고, 각 감성의 확률적 접근을 통해 감성 인식의 민감성을 최소화할 수 있다.
도 8은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 8은 사용자의 얼굴을 포함한 상반신에 대한 화상 이미지로부터 얼굴 이미지 데이터를 추출하는 과정을 도시한다.
우선, 단말은 Haar 특징 추출을 수행한다. 구체적으로, 단말은 눈, 코와 같은 얼굴 특징에 해당하는 커널을 이용해 이미지의 각 부분을 픽셀 단위로 비교하여 입력 영상 이미지로부터 얼굴이 존재할 확률을 계산한다. 단말은 입력 영상에서 검정 영역과 흰색 영역에 해당하는 밝기 값을 빼서 임계 값 이상인 것을 찾는다.
다음으로, 단말은 캐스케이드(cascade) 분류를 수행한다. 구체적으로, 단말은 Haar 특징으로 얼굴 여부를 인식할 수 있는 캐스케이드 분류기를 사용하여 얼굴을 검출한다. 도 8의 실시 예에서는 미리 트레이닝된 Frontalface_alt2 모델을 적용하였다. 단말은 눈과 같은 확실한 Haar 특징으로부터 후보를 축소한 후, 자세한 얼굴 요소의 Haar 특징으로 최종 얼굴을 검출한다.
다음으로, 단말은 랜드마크를 검출한다. 도 8의 실시 예에서는, 단말이 iBUG 300-W 데이터셋으로 트레이닝 된 DLIB 기반 Regression Trees 앙상블 모델을 적용하였다. Haar 모델로부터 검출된 정면 얼굴에 대해 눈, 코, 입, 눈썹, 턱 등에 대한 얼굴 포인트 68개를 검출한다. 각 얼굴 포인트는 2차원 공간에서 x, y 좌표 값을 지니고 있다.
다음으로, 단말은 좌표계 정규화를 수행한다. 구체적으로, 검출된 얼굴 포인트는 화면의 왼쪽 상단을 원점으로 하는 좌표계에 위치하고 있다. 이는 동일한 표정임에도 불구하고 얼굴의 위치에 따라 다른 값을 보일 수 있어 노이즈로 작용한다. 따라서 미간을 원점으로 하는 상대좌표계로 정규화하여 이러한 문제를 해결할 수 있다.
도 9는 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 9는 AU(action unit)의 명칭 별 얼굴 포인트 인덱스를 도시한다.
Facial Action Coding System(FACS)에 따른 얼굴 포인트 기반 얼굴 근육 정의는 다음과 같다. Facial Action Coding System(FACS)은 감성을 표현하는데 사용되는 얼굴 근육의 움직임을 정의한 기준 시스템이다 (Ekman P, 1978). 이에 대응하는 얼굴 근육을 분석하기 위해 얼굴 포인트 68개를 기반으로 얼굴 근육(Action Unit) 39개를 정의한다. 이 때, 얼굴의 해부학적 요인을 고려하여 FACS에서 정의된 근육의 움직임을 적합하게 표현할 수 있도록 고려한다.
도 10은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 10은 폴리곤(polygon) 형태의 얼굴 근육의 예시를 도시한다.
본 발명의 다양한 실시 예들에 따르면, 단말은 얼굴 근육 특징 추출할 수 있다. 구체적으로, 단말은 얼굴 포인트의 XY 좌표로부터 얼굴 근육의 면적과 중심 x, y 좌표를 계산하고, 정형화되지 않은 얼굴 근육의 Polygon 형태를 고려하여 면적을 계산하며, 중심 x, y 좌표 또한 Polygon 형태를 고려하여 무게중심을 계산할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 단말은 얼굴 근육의 움직임을 추적할 수 있다. 구체적으로, 단말은 얼굴 근육의 움직임을 추적하기 위해 매 프레임마다 각 근육의 면적과 중심 x, y 좌표를 추출하고, 평상시 얼굴을 기준으로 현재 얼굴과의 근육 특징의 변화량을 계산하며, 이를 이용해 영상 프레임에 따라 변화하는 근육 움직임을 추적할 수 있다.
도 11은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 11은 얼굴 근육의 움직임에 기초하여 각 감정 또는 감성의 데이터를 획득하는 과정을 도시한다.
본 발명의 다양한 실시 예들에 따르면, 단말은 기본 감성 또는 기본 감정에 따른 얼굴 근육 움직임 특징을 결정할 수 있다. FACS에 의해 정의된 감성에 따른 얼굴 근육의 움직임 특징을 정의한다. 6가지 기본감성인 행복, 슬픔, 놀람, 화남, 역겨움, 두려움을 모두 고려한다.
도 12는 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 12는 감정 인식을 위한 룰 베이스를 도시한다. 도 12의 룰 베이스는 통계 분석 및 룰 베이스 구축을 통해 도출된 결과이다.
구체적으로, 통계 분석은 다음과 같이 수행되었다. 감성 인식을 위한 룰 베이스를 구축하기 위해 실제 얼굴 표정 데이터로부터 근육 움직임 특징 변수에 대한 통계 분석을 실시하고, 62명에 대해 6가지 기본감성인 행복, 슬픔, 놀람, 화남, 역겨움, 두려움의 얼굴 표정 사진을 각각 취득하며, 평상시 사진을 포함하여 7그룹에 대한 특징 변수들의 비교를 위해 ANOVA를 실시하였다. 각 감성의 샘플의 수가 동일하기 때문에 Tukey를 이용해 사후분석을 실시하였다.
또한, 룰 베이스 구축은 다음과 같이 수행되었다. 통계 분석 결과, 감성에 따라 차이를 보이는 근육 움직임 특징 변수들을 감성 인식을 위한 룰 베이스로 구축하였다. 또한 개인마다 약간씩 차이를 보이는 얼굴 구조의 한계를 극복하기 위해 보편적 중립 얼굴 모델을 구축하였다.
최종적으로, 본 발명의 다양한 실시 예들에 따르면, 단말은 Fuzzy 기반 감성 인식 알고리즘으로 감정을 계산한다. 구체적으로, 단말은 실제 데이터로부터 구축된 룰 베이스를 기반으로 현재 얼굴에 대해 각 감성 별로 확률을 계산하고, 최종 감성을 인식하기 위해 하나의 감성이 다른 감성들에 비해 각각 얼마나 높은 확률을 보이는지를 모두 고려하여 최종 확률을 계산한다. 예를 들어, 단말은 현재 얼굴이 행복일 확률을 계산하기 위해서 다음과 같은 조건들을 모두 고려한다. i) 현재 얼굴이 평상시와 비교해 행복일 확률은? ii) 현재 얼굴이 슬픔과 비교해 행복일 확률은? iii) 현재 얼굴이 놀람과 비교해 행복일 확률은? iv) 현재 얼굴이 화남과 비교해 행복일 확률은? v) 현재 얼굴이 역겨움과 비교해 행복일 확률은? vi) 현재 얼굴이 두려움과 비교해 행복일 확률은? 상기 사항들을 고려한 결과, 최종적으로 단말은 가장 확률이 높은 감정을 현재 감정으로 인식한다.
도 13은 본 발명의 다양한 실시 예들에 따라서 사용자의 화상 이미지로부터 기계 학습 기반으로 사용자의 감정을 인식하는 과정의 일 예를 도시한다.
도 13을 참조하면, 사용자의 안면에 대한 화상 이미지가 INPUT으로 입력된 후, 기계 학습 모델을 거친 뒤, 최종적으로 사용자의 감정 정보가 출력되는 과정이 도시된다.
단말은 기계 학습 모델을 통해 사용자가 구체적으로 어떠한 감정을 가지고 있는지 분석할 수 있다. 또한, 사용자는 감정 분석을 통해 사용자가 현재 얼마나 집중도를 가지고 있는지, 예를 들어, 보통 상태인지, 집중 상태인지, 또는 몰입 상태인지 여부에 대하여, 집중도 수치를 0에서 100 사이의 값으로 산출할 수 있다. 이것은 감정의 강도와 연관될 수 있다.
도 14는 본 발명의 다양한 실시 예들에 따라서 사용자의 이미지 및 음성에서 추출한 감정으로 상호 작용 분류 별 교감도를 부여하거나 차감하는 과정의 일 예를 도시한다.
도 14를 참조하면, 사용자와 가상 현실 속 반려 동물 아바타가 상호 작용하는 각각의 상황에 따라 분류된다. 예를 들어, 반려 동물 아바타를 분양하는 상황, 케어하는 상황, 훈련하는 상황, 놀이하는 상황이 분류된다.
또한, 사용자와 가상 현실 속 반려 동물 아바타가 상호 작용하는 각각의 상황에 대하여 구체적인 세부 단계가 분류된다. 예를 들어, 분양에 대하여 아바타 선택 완료, 이름 설정 중 등이 분류된다. 예를 들어, 케어에 대하여, 밥 주기, 똥, 오줌 치우기, 목욕 시키기, 간호하기 등이 분류된다. 예를 들어, 훈륜에 대하여, 이름 부르기, 앉아, 일어나, 기다려, 개인기 등이 분류된다. 예를 들어, 놀이에 대하여, 산책하기, 여행하기 등이 분류된다.
또한, 사용자의 얼굴 이미지, 또는 음성에 기반하여 감정 유형 또는 집중의 분석 소스가 분류된다.
또한, 각각의 감정 유형 또는 집중에 대하여 감정의 강도 또는 집중의 강도가 분석될 수 있다.
또한, 분석된 사용자의 반려 동물 아바타에 대한 감정 유형, 감정의 강도, 또는 집중의 강도에 기반하여 사용자와 반려 동물 아바타의 교감도에 대한 가산 또는 차감이 결정된다.
결정된 교감도의 가산 또는 차감은 이후 반려 동물 아바타의 사용자에 대한 충성도, 훈련 성과, 성장 속도 등 다양한 분야에 영향을 미칠 수 있다. 사용자는 본인의 감정이 반려 동물 아바타에게 영향을 미치는 모습을 보면서 반려 동물 아바타와 감정적으로 상호 작용이 이루어짐을 느낄 수 있다.
도 15는 본 발명의 다양한 실시 예들에 따라서 사용자의 얼굴 인식에 따른 사용자의 감정 피드백을 반영하여 반려 동물 아바타의 동작이 결정되는 과정의 일 예를 도시한다.
도 15를 참조하면, 사용자가 단말에서 반려 동물 아바타의 애플리케이션(앱)을 사용하면, 애플리케이션 내 반려 동물 아바타는 실제 반려 동물에 대하여 주인이 찾는 경우에 대응하여 반응할 수 있다.
단말은 애플리케이션이 동작하면 사용자의 얼굴 이미지를 인식할 수 있다. 이후, 단말은 사용자의 얼굴 이미지 또는 음성으로부터 사용자의 반려 동물 아바타에 대한 감정 및 사용자의 반려 동물 아바타에 대한 집중 상태를 판단할 수 있다.
단말은 사용자의 얼굴 이미지 또는 음성으로부터 사용자의 감정 유형, 감정 강도, 집중도를 분석하고, 사용자의 교감도 측면에서 긍정적인지 부정적인지 여부를 판단하여 사용자의 감정 정보를 생성한 후 서버에게 전송할 수 있다.
서버에서는 단말로부터 수신한 사용자의 감정 정보에 기반하여 사용자의 감정 상태에 대응하는 반려 동물 아바타의 동작을 결정하고, 반려 동물 아바타의 동작 정보를 단말에게 전송할 수 있다. 결정된 반려 동물 아바타의 동작은, 예를 들어, 사용자가 긍정적인 감정을 가지거나 반려 동물 아바타에게 장시간 집중하는 것으로 결정되는 경우에는 애교 부리기 또는 개인기 자랑하기로 결정될 수 있고, 사용자가 중립 또는 부정적인 감정을 가진 것으로 결정되는 경우에는 위로 하기로 결정될 수 있고, 사용자가 단말로부터 자리를 장시간 이탈하여 사용자로부터 일정 시간동안 아무런 감정이 검출되지 않거나 또는 사용자의 반려 동물 아바타에 대한 집중도가 하락하는 것으로 결정되는 경우에는 짖어서 호출하기로 결정될 수 있다.
도 16은 본 발명의 다양한 실시 예들에 따라서 메타버스 가상 현실 속 반려 동물 아바타를 최초 분양 받는 과정의 일 예를 도시한다.
도 16을 참조하면, 사용자가 메타버스 가상 현실 속 반려 동물 아바타와 교감하는 상황 중 하나로서, 반려 동물 아바타를 최초 분양 받는 상황이 도시된다.
사용자는 화면 속 다양한 반려 동물 아바타 중 본인이 마음에 드는 반려 동물 아바타를 선택한 뒤, 가상 현실 속 화폐, 코인 등의 재화를 지불한 후, 반려 동물 아바타를 분양 받을 수 있다.
도 17은 본 발명의 다양한 실시 예들에 따라서 반려 동물 아바타에게 음성으로 이름을 지어주고 인식시키는 과정의 일 예를 도시한다.
도 17을 참조하면, 사용자는 최초 분양 받은 반려 동물 아바타에 대하여 이름을 지어줄 수 있으며, 이름을 음성으로 말하고 단말이 인식할 수 있다. 단말은 STT(speech to text)를 통해 인식된 이름을 사용자로부터 확인하고, 이름을 음성 인식할 때 사용자의 음성 메시지 속 감정을 분석하여, 긍정 감정의 경우 반려 동물 아바타의 사용자에 대한 교감도가 증가하도록 설정할 수 있다.
도 18은 본 발명의 다양한 실시 예들에 따라서 반려 동물 아바타와 훈련을 통해 사용자 감정 인식에 따른 교감도를 반영하는 과정의 일 예를 도시한다.
도 18을 참조하면, 사용자가 반려 동물 아바타와 교감을 할 수 있는 상황 중 하나로서 훈련 상황에서의 반려 동물 아바타의 반응 결정의 일 예가 도시된다.
사용자가 반려 동물 아바타에 대한 지시를 음성 메시지, 또는 버튼 클릭 등으로 입력할 수 있다. 사용자의 지시 메시지를 인식한 단말은 서버에게 사용자의 지시 내용을 전송한다. 서버는 수신한 지시 내용에 기반하여 사용자의 지시에 대응하는 반려 동물 아바타의 동작을 결정할 수 있다. 또한, 단순히 지시 그 자체로만 인식하지 않고, 음성 메시지의 경우 음성 메시지 내 사용자의 감정이 분석될 수 있다. 사용자의 감정 정보에 대한 분석을 통해 반려 동물 아바타에 대한 호감 여부가 분석될 수 있다. 이를 통하여, 반려 동물 아바타에 대한 사용자의 호감이 분석되는 경우, 서버는 반려 동물 아바타에게 지시된 사항 외에 추가적으로 개인기를 동작하도록 결정할 수 있다.
긍정적인 감정이 추출되는 경우 교감도가 증가하고, 부정적인 감정이 추출되는 경우 교감도가 하락하며, 중립적인 감정이 추출되는 경우 교감도에 변동이 없을 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자는 원하는 반려 동물 아바타를 선택하여 분양을 받은 후 메타버스 내 훈련소라는 공간에서 상호 작용을 할 수 있다. 예시적으로 다음의 상호 작용 방식을 통해 사용자와 반려 동물 아바타 사이의 교감도를 높일 수 있다. 예를 들어, 사용자는 반려 동물 아바타에게 이름을 지어 주고 음성으로 이름을 부르는 것과 쓰다듬기라는 메뉴를 통해 주인임을 인식시켜 교감도를 높일 수 있다. 예를 들어, 사용자는 반려 동물 아바타에게 밥 주기, 물 주기, 오줌 및 똥 치우기라는 생존과 직결되는 돌봄 행위의 정기적인 수행을 통해서 교감도를 높일 수 있다. 예를 들어, 사용자는 반려 동물 아바타에게 간식을 주며 하는 간단한 훈련들, 이를 테면, 앉아, 일어나, 엎드려, 뒤집어, 기다려 등의 훈련을 통해서 교감도를 높일 수 있다. 예를 들어, 사용자는 반려 동물 아바타에게 산책, 놀아주기, 여행을 통해서 교감도를 높인다.
상술한 예시적인 상호 작용 과정에서 사용자 얼굴 인식 기반의 감성 인식을 통해 그 결과를 사용자와 반려 동물 아바타 사이의 교감도에 반영할 수 있다. 예를 들어, 사용자의 3가지 집중 유형, 즉, 보통 상태, 집중 상태, 몰입 상태 여부가 측정될 수 있다. 예를 들어, 사용자의 7가지 감정 유형, 즉, 즐거움, 놀람, 슬픔, 화남, 두려움, 불쾌함, 덤덤함 여부가 측정될 수 있다. 각각의 집중 유형, 감정 유형과 함께 집중 정도, 감정의 강도가 함께 측정될 수 있다.
반려 동물 아바타와 상호작용하는 순간의 사용자의 집중도가 높을수록 교감도 상승에 가중치가 부여될 수 있다. 또한, 사용자의 7가지 감정 유형 중 긍정으로 분류되는 즐거움, 또는 놀람의 감정의 경우 교감도 상승에 가중치가 부여될 수 있다.
사용자의 집중도 및 긍정적인 감정이 높을 경우, 가상 세계 속 반려 동물 아바타에게 사용자의 감정이 전달되어, 반려 동물 아바타의 성장 속도, 훈련 속도 및 성과, 충성도가 증가할 수 있다.
교감도가 높은 사용자와 반려 동물 아바타의 경우, 사용자의 얼굴인식 기반의 감정에 반려 동물 아바타가 먼저 반응하여 일정한 행동을 수행할 수 있다. 사용자가 슬픈 경우 위로를 위해 핥아주기, 기분이 나쁜 경우 애교 부리기 또는 사용자가 좋아하는 물건을 물어오기 등의 동작이 사용자의 지시 없이도 먼저 수행될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자가 가상 세계 속 반려 동물 아바타를 양육하고 상호 작용하는 과정에서 단말 화면 속 메뉴 선택, 음성 지시뿐만 아니라 얼굴 인식 기반의 감성 인식을 활용할 수 있다. 그래서, 굳이 사용자가 말을 하거나 몸짓으로 표현하지 않아도 얼굴 표정만으로 반려 동물 아바타가 사용자가 느끼고 있는 감성들을 인식할 수 있고 이를 가상 세계 속 반려 동물 아바타와의 상호 작용에 적극적으로 활용할 수 있다.
본 발명의 다양한 실시 예들에서, 사용자의 감성 지표는 감정지수, 집중지수를 포함한다. 각 지표들의 간단한 설명은 다음과 같다.
사용자의 감정 지수는 7가지 감정 유형, 즉, 즐거움, 놀람, 슬픔, 화남, 두려움, 불쾌함, 덤덤함에 관한 지수를 포함할 수 있으며, 0부터 100 사이의 값으로 표현되며 값이 높을수록 긍정적이다.
사용자의 집중지수는 3단계 집중 상태, 즉, 보통 상태, 집중 상태, 몰입 상태에 관한 지수를 포함할 수 있으며, 0부터 100 사이의 값으로 표현되며 값이 높을수록 집중도가 높다.
반려 동물 아바타의 이름 짓기 및 반려 동물 아바타의 이름 부르기에서 음성을 통한 감성 인식을 통해 긍정적인 감정일수록 교감도가 빠르게 상승한다.
반려 동물 아바타의 훈련에서 사용자의 집중 지수가 높고, 감정 지수의 즐거움과 놀람이 높을수록 교감도가 빠르게 상승한다.
반려 동물 아바타의 산책 및 놀이에서 사용자의 집중 지수가 높고, 감정 지수의 즐거움이 높을수록 교감도가 빠르게 상승한다.
본 발명의 다양한 실시 예들은 통신 시스템에서 사용자의 단말의 동작 방법을 제공한다. 상기 단말은 송수신기, 메모리, 프로세서, 입력 장치, 출력 장치, 카메라를 포함한다. 상기 방법은, 상기 입력 장치를 통해 입력 받은 반려 동물의 설정 정보를 상기 서버에게 전송하는 과정과, 상기 서버로부터 가상 공간 내 반려 동물 아바타의 외관 및 동작에 관한 제1 동작 정보를 수신하는 과정과, 상기 제1 동작 정보에 기반하여 상기 출력 장치를 통해 상기 반려 동물 아바타의 동작을 출력하는 과정과, 상기 카메라를 통해 상기 출력 장치의 상기 반려 동물 아바타를 바라보는 상기 사용자의 얼굴 이미지를 획득하는 과정과, 상기 서버에게 상기 얼굴 이미지에 기반하여 생성한 상기 사용자의 감성 정보를 전송하는 과정과, 상기 서버로부터 상기 감성 정보에 기반하여 생성된 상기 반려 동물 아바타의 제2 동작 정보를 수신하는 과정과, 상기 제2 동작 정보에 기반하여 상기 출력 장치를 통해 상기 가상 공간 내 상기 반려 동물 아바타의 동작을 출력하는 과정을 포함한다.
일 실시 예에 따르면, 상기 반려 동물의 상기 설정 정보는 상기 반려 동물에 대한 동물 종류, 상기 동물 종류 중 상기 반려 동물에 대한 세부 종, 상기 반려 동물의 외관 상 세부 특징 중 적어도 하나를 포함할 수 있다. 상기 반려 동물의 상기 설정 정보는 상기 반려 동물의 신체 특성, 행동 특성, 성격 특성을 포함하는 기본 특성 설정 정보를 더 포함할 수 있다. 상기 기본 특성 설정 정보에 기반하여 상기 반려 동물 아바타의 성격 정보가 생성될 수 있다. 상기 성격 정보는 상기 반려 동물 아바타의 상기 사용자에 대한 교감도, 상기 반려 동물 아바타의 상기 사용자에 대한 충성도, 상기 반려 동물 아바타의 훈련 속도, 상기 반려 동물 아바타의 성장 속도 중 적어도 하나와 관련 있을 수 있다.
일 실시 예에 따르면, 상기 메모리는 상기 사용자의 상기 얼굴 이미지에 기반하여 상기 사용자의 상기 감성 정보를 분석하기 위한 기계 학습 모델을 저장할 수 있다. 상기 사용자의 상기 감성 정보는 미리 결정된 복수의 감정 유형 중 임계 비율 이상 감지되는 하나 이상의 감정 유형의 정보, 미리 결정된 집중도 스케일 중 상기 얼굴 이미지로부터 감지되는 상기 사용자의 상기 반려 동물 아바타에 대한 집중도 수치 값의 정보를 포함할 수 있다. 각각의 상기 미리 결정된 복수의 감정 유형은 상기 반려 동물 아바타와의 관계와 관련하여 긍정 또는 부정의 감정 수치 값이 미리 결정될 수 있다. 상기 감성 정보는 상기 감지되는 하나 이상의 감정에 따른 상기 감정 유형의 정보, 감정 수치 값 및 상기 감지되는 상기 집중도 수치 값을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 감성 정보를 전송하는 과정과 상기 감성 정보에 기반하여 생성된 상기 반려 동물 아바타의 상기 제2 동작 정보를 수신하는 과정을 반복함으로써 상기 반려 동물 아바타의 상기 성격 정보가 수정될 수 있다. 상기 성격 정보에 기반하여 상기 반려 동물 아바타의 새로운 상기 제2 동작 정보가 생성되고 수신될 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 서버로부터 상기 반려 동물 아바타가 처한 제1 상황에 대한 임의의 시뮬레이션 정보를 상기 제1 동작 정보와 함께 수신하는 과정을 더 포함할 수 있다. 상기 감성 정보는 상기 제1 상황에서 상기 반려 동물 아바타의 상기 제1 동작 정보에 기반한 동작에 대한 상기 사용자의 상기 감정 유형의 정보, 상기 감정 수치 값 및 상기 집중도 수치 값을 포함할 수 있다. 상기 제1 상황과 유사한 제2 상황의 시뮬레이션 정보가 상기 제2 동작 정보와 함께 수신되는 경우, 상기 반려 동물 아바타는 상기 감성 정보에 기반하여 생성된 상기 제2 동작 정보에 따라서 동작할 수 있다.
일 실시 예에 따르면, 상기 입력 장치는 마이크를 포함할 수 있다. 상기 방법은, 상기 마이크를 통해 획득한 상기 사용자의 상기 반려 동물 아바타에 대한 음성 메시지를 상기 서버에게 전송하는 과정을 더 포함할 수 있다. 상기 음성 메시지가 설정된 상기 반려 동물 아바타의 이름을 포함할수록 긍정의 감정 수치 값 및 집중도 수치 값이 높게 포함된 상기 감성 정보가 상기 서버에게 전송될 수 있다. 상기 반려 동물 아바타의 상기 성격 정보는 상기 감성 정보에 기반하여 상기 사용자에 대한 교감도가 수정될 수 있다. 상기 성격 정보에 기반하여 상기 반려 동물 아바타의 새로운 상기 제2 동작 정보가 생성되고 수신될 수 있다.
일 실시 예에 따르면, 상기 반려 동물 아바타의 상기 성격 정보는 상기 감성 정보에 기반하여 상기 사용자에 대한 교감도가 수정될 수 있다. 상기 반려 동물 아바타가 처한 상기 제1 상황의 종류에 따라서, 상기 사용자의 상기 감정 유형의 정보, 상기 감정 수치 값 및 상기 집중도 수치 값에 대응하여 상기 반려 동물 아바타의 상기 성격 정보가 수정되는 정도가 결정될 수 있다. 상기 제1 상황의 종류가 미리 결정된 복수의 상황들 중 하나이고, 각각의 상기 미리 결정된 복수의 상황들에 대하여 미리 결정된 각각의 대응되는 감정 유형이 상기 사용자의 상기 감정 유형의 정보에 포함되는 경우, 상기 성격 정보가 수정되는 정도가 높을 수 있다.
일 실시 예에 따르면, 상기 미리 결정된 복수의 감정 유형은 즐거움, 놀람, 슬픔, 화남, 두려움, 불쾌함, 덤덤함 중 하나 이상을 포함할 수 있다. 상기 미리 결정된 복수의 상황들은 훈련, 산책, 놀이를 포함할 수 있다. 상기 제1 상황의 종류가 훈련인 경우, 상기 사용자의 상기 감정 유형의 정보가 즐거움 또는 놀람인 경우, 상기 성격 정보가 수정되는 정도가 높을 수 있다. 상기 제1 상황의 종류가 산책 또는 놀이인 경우, 상기 사용자의 상기 감정 유형의 정보가 즐거움인 경우, 상기 성격 정보가 수정되는 정도가 높을 수 있다.
본 발명의 다양한 실시 예들은 통신 시스템에서 사용자의 단말을 제공한다. 상기 단말은, 메모리, 프로세서, 입력 장치, 출력 장치, 카메라를 포함하고, 상기 프로세서는 본 발명의 다양한 실시 예들에 따른 통신 시스템에서 사용자의 단말의 동작 방법을 수행하도록 구성된다.
본 발명의 다양한 실시 예들은 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램을 제공한다. 상기 컴퓨터 프로그램은 본 발명의 다양한 실시 예들에 따른 통신 시스템에서 사용자의 단말의 동작 방법을 수행하도록 구성된다.
본 발명의 다양한 실시 예들은 통신 시스템에서 사용자의 단말을 제공한다. 상기 단말은, 메모리, 프로세서, 입력 장치, 출력 장치, 카메라를 포함하고, 상기 프로세서는 본 발명의 다양한 실시 예들에 따른 통신 시스템에서 사용자의 단말의 동작 방법을 수행하도록 구성된다.
본 발명의 다양한 실시 예들은 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램을 제공한다. 상기 컴퓨터 프로그램은 본 발명의 다양한 실시 예들에 따른 통신 시스템에서 사용자의 단말의 동작 방법을 수행하도록 구성된다.
하드웨어를 이용하여 본 발명의 실시 예를 구현하는 경우에는, 본 발명을 수행하도록 구성된 ASICs(application specific integrated circuits) 또는 DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays) 등이 본 발명의 프로세서에 구비될 수 있다.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능한 저장 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 포함하는 저장 디바이스를 설명하기 위해 사용될 수 있는 프로그램 저장 디바이스들은, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능한 저장 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.
이상에서 설명된 실시 예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시 예를 구성하는 것도 가능하다. 발명의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시 예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시 예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명이 본 발명의 기술적 사상 및 본질적인 특징을 벗어나지 않고 다른 형태로 구체화될 수 있음은 본 발명이 속한 분야 통상의 기술자에게 명백할 것이다. 따라서, 상기 실시 예는 제한적인 것이 아니라 예시적인 모든 관점에서 고려되어야 한다. 본 발명의 권리범위는 첨부된 청구항의 합리적 해석 및 본 발명의 균등한 범위 내 가능한 모든 변화에 의하여 결정되어야 한다.
100: 사용자 단말 110: 송수신기
120: 메모리 130: 프로세서
140: 입력 장치 150: 출력 장치
160: 카메라 200: 서버
210: 송수신기 220: 메모리
230: 프로세서 300: 유/무선 통신 네트워크
500: 인공 신경망 510: 입력 계층
511: 입력 정보 530: 은닉 계층
531: 제1 은닉 계층 532: 제1 유닛
533: 제2 은닉 계층 534: 제2 유닛
550: 출력 계층 551: 예측 결과 유닛
120: 메모리 130: 프로세서
140: 입력 장치 150: 출력 장치
160: 카메라 200: 서버
210: 송수신기 220: 메모리
230: 프로세서 300: 유/무선 통신 네트워크
500: 인공 신경망 510: 입력 계층
511: 입력 정보 530: 은닉 계층
531: 제1 은닉 계층 532: 제1 유닛
533: 제2 은닉 계층 534: 제2 유닛
550: 출력 계층 551: 예측 결과 유닛
Claims (10)
- 통신 시스템에서 사용자의 단말의 동작 방법에 있어서, 상기 단말은 송수신기, 메모리, 프로세서, 입력 장치, 출력 장치, 카메라를 포함하고,
상기 입력 장치를 통해 입력 받은 반려 동물의 설정 정보를 상기 서버에게 전송하는 과정과,
상기 서버로부터 가상 공간 내 반려 동물 아바타의 외관 및 동작에 관한 제1 동작 정보를 수신하는 과정과,
상기 제1 동작 정보에 기반하여 상기 출력 장치를 통해 상기 반려 동물 아바타의 동작을 출력하는 과정과,
상기 카메라를 통해 상기 출력 장치의 상기 반려 동물 아바타를 바라보는 상기 사용자의 얼굴 이미지를 획득하는 과정과,
상기 서버에게 상기 얼굴 이미지에 기반하여 생성한 상기 사용자의 감성 정보를 전송하는 과정과,
상기 서버로부터 상기 감성 정보에 기반하여 생성된 상기 반려 동물 아바타의 제2 동작 정보를 수신하는 과정과,
상기 제2 동작 정보에 기반하여 상기 출력 장치를 통해 상기 가상 공간 내 상기 반려 동물 아바타의 동작을 출력하는 과정을 포함하는,
방법.
- 제1 항에 있어서,
상기 반려 동물의 상기 설정 정보는 상기 반려 동물에 대한 동물 종류, 상기 동물 종류 중 상기 반려 동물에 대한 세부 종, 상기 반려 동물의 외관 상 세부 특징 중 적어도 하나를 포함하고,
상기 반려 동물의 상기 설정 정보는 상기 반려 동물의 신체 특성, 행동 특성, 성격 특성을 포함하는 기본 특성 설정 정보를 더 포함하고,
상기 기본 특성 설정 정보에 기반하여 상기 반려 동물 아바타의 성격 정보가 생성되고,
상기 성격 정보는 상기 반려 동물 아바타의 상기 사용자에 대한 교감도, 상기 반려 동물 아바타의 상기 사용자에 대한 충성도, 상기 반려 동물 아바타의 훈련 속도, 상기 반려 동물 아바타의 성장 속도 중 적어도 하나와 관련 있는,
방법.
- 제2 항에 있어서,
상기 메모리는 상기 사용자의 상기 얼굴 이미지에 기반하여 상기 사용자의 상기 감성 정보를 분석하기 위한 기계 학습 모델을 저장하고,
상기 사용자의 상기 감성 정보는 미리 결정된 복수의 감정 유형 중 임계 비율 이상 감지되는 하나 이상의 감정 유형의 정보, 미리 결정된 집중도 스케일 중 상기 얼굴 이미지로부터 감지되는 상기 사용자의 상기 반려 동물 아바타에 대한 집중도 수치 값의 정보를 포함하고,
각각의 상기 미리 결정된 복수의 감정 유형은 상기 반려 동물 아바타와의 관계와 관련하여 긍정 또는 부정의 감정 수치 값이 미리 결정되고,
상기 감성 정보는 상기 감지되는 하나 이상의 감정에 따른 상기 감정 유형의 정보, 감정 수치 값 및 상기 감지되는 상기 집중도 수치 값을 더 포함하는,
방법.
- 제3 항에 있어서,
상기 감성 정보를 전송하는 과정과 상기 감성 정보에 기반하여 생성된 상기 반려 동물 아바타의 상기 제2 동작 정보를 수신하는 과정을 반복함으로써 상기 반려 동물 아바타의 상기 성격 정보가 수정되고,
상기 성격 정보에 기반하여 상기 반려 동물 아바타의 새로운 상기 제2 동작 정보가 생성되고 수신되는,
방법.
- 제3 항에 있어서,
상기 서버로부터 상기 반려 동물 아바타가 처한 제1 상황에 대한 임의의 시뮬레이션 정보를 상기 제1 동작 정보와 함께 수신하는 과정을 더 포함하고,
상기 감성 정보는 상기 제1 상황에서 상기 반려 동물 아바타의 상기 제1 동작 정보에 기반한 동작에 대한 상기 사용자의 상기 감정 유형의 정보, 상기 감정 수치 값 및 상기 집중도 수치 값을 포함하고,
상기 제1 상황과 유사한 제2 상황의 시뮬레이션 정보가 상기 제2 동작 정보와 함께 수신되는 경우, 상기 반려 동물 아바타는 상기 감성 정보에 기반하여 생성된 상기 제2 동작 정보에 따라서 동작하는,
방법.
- 제5 항에 있어서,
상기 입력 장치는 마이크를 포함하고,
상기 마이크를 통해 획득한 상기 사용자의 상기 반려 동물 아바타에 대한 음성 메시지를 상기 서버에게 전송하는 과정을 더 포함하고,
상기 음성 메시지가 설정된 상기 반려 동물 아바타의 이름을 포함할수록 긍정의 감정 수치 값 및 집중도 수치 값이 높게 포함된 상기 감성 정보가 상기 서버에게 전송되고,
상기 반려 동물 아바타의 상기 성격 정보는 상기 감성 정보에 기반하여 상기 사용자에 대한 교감도가 수정되고,
상기 성격 정보에 기반하여 상기 반려 동물 아바타의 새로운 상기 제2 동작 정보가 생성되고 수신되는,
방법.
- 제5 항에 있어서,
상기 반려 동물 아바타의 상기 성격 정보는 상기 감성 정보에 기반하여 상기 사용자에 대한 교감도가 수정되고,
상기 반려 동물 아바타가 처한 상기 제1 상황의 종류에 따라서, 상기 사용자의 상기 감정 유형의 정보, 상기 감정 수치 값 및 상기 집중도 수치 값에 대응하여 상기 반려 동물 아바타의 상기 성격 정보가 수정되는 정도가 결정되며,
상기 제1 상황의 종류가 미리 결정된 복수의 상황들 중 하나이고, 각각의 상기 미리 결정된 복수의 상황들에 대하여 미리 결정된 각각의 대응되는 감정 유형이 상기 사용자의 상기 감정 유형의 정보에 포함되는 경우, 상기 성격 정보가 수정되는 정도가 높고,
상기 미리 결정된 복수의 감정 유형은 즐거움, 놀람, 슬픔, 화남, 두려움, 불쾌함, 덤덤함 중 하나 이상을 포함하고,
상기 미리 결정된 복수의 상황들은 훈련, 산책, 놀이를 포함하고,
상기 제1 상황의 종류가 훈련인 경우, 상기 사용자의 상기 감정 유형의 정보가 즐거움 또는 놀람인 경우, 상기 성격 정보가 수정되는 정도가 높고,
상기 제1 상황의 종류가 산책 또는 놀이인 경우, 상기 사용자의 상기 감정 유형의 정보가 즐거움인 경우, 상기 성격 정보가 수정되는 정도가 높은,
방법.
- 제1 항에 있어서,
상기 사용자의 상기 감성 정보는 미리 결정된 복수의 감정 유형 중 임계 비율 이상 감지되는 하나 이상의 감정 유형의 정보를 포함하고,
상기 미리 결정된 복수의 감정 유형은 즐거움, 놀람, 슬픔, 화남, 두려움, 불쾌함, 덤덤함 중 하나 이상을 포함하고,
상기 사용자의 상기 감정 유형의 정보가 슬픔인 경우, 상기 제2 동작 정보는 위로의 동작을 포함하고,
상기 사용자의 상기 감정 유형의 정보가 불쾌함인 경우, 상기 제2 동작 정보는 애교 부리기의 동작 또는 미리 설정된 상기 사용자가 좋아하는 상기 반려 동물 아바타 동작을 포함하는,
방법.
- 통신 시스템에서 사용자의 단말에 있어서,
송수신기, 메모리, 프로세서, 입력 장치, 출력 장치, 카메라를 포함하고,
상기 프로세서는 제1 항 내지 제8 항 중 어느 한 항에 따른 방법을 수행하도록 구성된,
서버.
- 제1 항 내지 제8 항 중 어느 한 항에 따른 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210194706A KR20230103671A (ko) | 2021-12-31 | 2021-12-31 | 통신 시스템에서 사용자의 감정에 기반하여 관계를 형성할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210194706A KR20230103671A (ko) | 2021-12-31 | 2021-12-31 | 통신 시스템에서 사용자의 감정에 기반하여 관계를 형성할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230103671A true KR20230103671A (ko) | 2023-07-07 |
Family
ID=87153766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210194706A KR20230103671A (ko) | 2021-12-31 | 2021-12-31 | 통신 시스템에서 사용자의 감정에 기반하여 관계를 형성할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230103671A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116884068A (zh) * | 2023-07-14 | 2023-10-13 | 广州云天数据技术有限公司 | 基于人工智能的运维和物联网管理方法、平台及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102199843B1 (ko) | 2019-10-12 | 2021-01-07 | 동서대학교 산학협력단 | 증강현실에서 가상의 반려동물 제공 시스템 |
-
2021
- 2021-12-31 KR KR1020210194706A patent/KR20230103671A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102199843B1 (ko) | 2019-10-12 | 2021-01-07 | 동서대학교 산학협력단 | 증강현실에서 가상의 반려동물 제공 시스템 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116884068A (zh) * | 2023-07-14 | 2023-10-13 | 广州云天数据技术有限公司 | 基于人工智能的运维和物联网管理方法、平台及存储介质 |
| CN116884068B (zh) * | 2023-07-14 | 2024-01-26 | 广州云天数据技术有限公司 | 基于人工智能的运维和物联网管理方法、平台及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11210836B2 (en) | Applying artificial intelligence to generate motion information | |
| KR102448382B1 (ko) | 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법 | |
| KR102651253B1 (ko) | 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법 | |
| US10922866B2 (en) | Multi-dimensional puppet with photorealistic movement | |
| US11430247B2 (en) | Image generation using surface-based neural synthesis | |
| Tang et al. | A novel multimodal communication framework using robot partner for aging population | |
| KR102616850B1 (ko) | 전자 장치, 전자 장치와 결합 가능한 외부 디바이스 및 이의 디스플레이 방법 | |
| CN109086860B (zh) | 一种基于虚拟人的交互方法及*** | |
| CN113766168A (zh) | 一种互动处理方法、装置、终端及介质 | |
| US11544886B2 (en) | Generating digital avatar | |
| CN112426724A (zh) | 游戏用户的匹配方法、装置、电子设备及存储介质 | |
| US20230130535A1 (en) | User Representations in Artificial Reality | |
| EP4396669A1 (en) | Conversation guided augmented reality experience | |
| KR20230103671A (ko) | 통신 시스템에서 사용자의 감정에 기반하여 관계를 형성할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치 | |
| US20190050881A1 (en) | Method and apparatus for rewarding reaction of simulation participant | |
| KR102120936B1 (ko) | 스마트 단말의 기능을 탑재한 캐릭터 인형 제작 서비스 제공 시스템 | |
| KR102641886B1 (ko) | 3d 조형물을 활용한 증강현실 연동 시스템 및 방법 | |
| CN111919250A (zh) | 传达非语言提示的智能助理设备 | |
| US11954570B2 (en) | User interface for construction of artificial intelligence based characters | |
| US20220398385A1 (en) | Ensuring User Data Security While Personalizing a Social Agent | |
| US20230260005A1 (en) | Smart window display, and method for operating smart window display | |
| US20240193837A1 (en) | Device and method for controlling a virtual avatar on an electronic device | |
| KR20230103666A (ko) | 통신 시스템에서 행동 및 성격에 대한 학습을 통해 사용자와 음성으로 대화를 수행할 수 있는 메타버스 가상 현실 반려 동물을 제공하기 위한 방법 및 장치 | |
| KR20240016817A (ko) | 사용자의 메타버스 활동 로그에 기초하여 메타버스 속 가상 npc 아바타를 성장시키는 시스템 및 방법 | |
| WO2023212162A1 (en) | Artificial intelligence character models with goal-oriented behavior |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |