KR20240016815A - 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법 - Google Patents

얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법 Download PDF

Info

Publication number
KR20240016815A
KR20240016815A KR1020220095037A KR20220095037A KR20240016815A KR 20240016815 A KR20240016815 A KR 20240016815A KR 1020220095037 A KR1020220095037 A KR 1020220095037A KR 20220095037 A KR20220095037 A KR 20220095037A KR 20240016815 A KR20240016815 A KR 20240016815A
Authority
KR
South Korea
Prior art keywords
user
emotional
emotional state
emotion
index
Prior art date
Application number
KR1020220095037A
Other languages
English (en)
Inventor
임세라
Original Assignee
주식회사 마블러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마블러스 filed Critical 주식회사 마블러스
Priority to KR1020220095037A priority Critical patent/KR20240016815A/ko
Priority to PCT/KR2022/016761 priority patent/WO2024025038A1/ko
Publication of KR20240016815A publication Critical patent/KR20240016815A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

실시예들은 제1 사용자의 제1 전자 장치에서 복수의 다른 사용자를 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방 각각으로 지정하는 단계; 상기 제1 전자 장치에서 전기 통신을 통해 제2 사용자와 상호작용 활동을 개시하는 단계; 상호작용 활동 동안 제1 전자 장치에서 제1 사용자의 이미지, 음성, 텍스트 중 하나 이상의 데이터를 포함한 활동 데이터를 포착하는 단계; 미리 학습된 감정 인식 모델을 이용하여 상기 활동 데이터로부터 제2 사용자에 대한 제1 사용자의 감정 상태 점수를 산출하고, 산출된 감정 상태 점수에 기초하여 상기 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 측정하는 단계;를 포함하는, 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법에 관련된다.

Description

얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법 {System and method for measuring emotion state score of user to interaction partner based on face-recognition}
본 출원의 실시 예들은 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법에 관한 것이다.
기존에는 사용자의 행동 데이터에 기반하여 다른 엔티티에 대한 사용자의 감정의 밀접 정도(예컨대, 호감도)를 측정하였다. 커머스의 경우 상점 엔티티에 대해 사용자의 유입 경로, 머무른 시간, 동일 카테고리 검색횟수, 상품을 클릭한 횟수, 그리고 게임의 경우 다른 사용자 엔티티에 대한 사용자의 호감도를 측정하기 위해 유입경로, 게임을 플레이 한 시간, 대화를 나눈 횟수 등과 같이 게임 빈도와 시간으로 구성된 정보를 사용하였다. 하지만 시간과 빈도에 따른 정보만을 이용하여 엔티티에 대한 사용자의 호감도를 산출할 경우, 자극적인 정보나 과대 포장된 정보에 대해서 사용자들이 실제로 선호하는 정보인지 판단하는데 어려움이 있다.
대한민국 특허공개공보 제10-2021-0026305호 (2021.03.10. 공개)
상술한 문제를 해결하기 위해, 본 출원의 실시 예들은 상대적으로 객관성을 갖는, 상호작용 상대방에 대한 사용자의 얼굴 반응을 인식하는 것에 기반하여 관계 감정 지수를 측정하는 시스템 및 방법을 제공하고자 한다.
본 출원의 일 측면에 따른 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은 하나 이상의 컴퓨팅 장치에 의해 수행된다. 상기 방법은, 제1 사용자의 제1 전자 장치에서 복수의 다른 사용자를 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방 각각으로 지정하는 단계; 상기 제1 전자 장치에서 전기 통신을 통해 제2 사용자와 상호작용 활동을 개시하는 단계 - 상호작용 활동은 각 사용자의 전자 장치를 통해 구현되는 상호작용 행동으로 이루어짐; 상호작용 활동 동안 제1 전자 장치에서 제1 사용자의 이미지, 음성, 텍스트 중 하나 이상의 데이터를 포함한 활동 데이터를 포착하는 단계; 미리 학습된 감정 인식 모델을 이용하여 상기 활동 데이터로부터 제2 사용자에 대한 제1 사용자의 감정 상태 점수를 산출하고, 산출된 감정 상태 점수에 기초하여 상기 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 측정하는 단계;를 포함할 수도 있다.
일 실시 예에서, 상기 제1 사용자의 활동 데이터로부터 제1 사용자의 감정 상태 점수를 판단하는 단계는, 미리 학습된 이미지 기반 감정 인식 모델를 이용하여 제1 사용자의 이미지 데이터로부터 제1 사용자의 제1 감정 상태 점수를 산출하는 단계를 포함할 수도 있다. 상기 이미지 기반 감정 인식 모델은 입력 이미지에서 얼굴 영역을 검출하는 얼굴 검출 유닛, 검출된 얼굴 영역에서 사용자의 이미지 특징을 추출하는 특징 추출 유닛, 및 모델에 미리 지정된 복수의 감정 상태 중에서 추출된 특징에 기초하여 입력 이미지 내 얼굴이 가리키는 사용자의 감정 상태를 분류하는 감정 판단 유닛을 포함한, 기계학습 모델이다. 상기 감정 판단 유닛은 사용자의 감정 유형을 판단하기 위한 제1 감정 판단 유닛, 및 사용자의 감정 종류를 판단하기 위한 제2 감정 판단 유닛을 포함하고, 상기 이미지 기반 감정 인식 모델은 상기 얼굴 영역에서 특징을 추출하여 사용자의 감정 유형을 제1 뎁스로 판단하고, 상기 얼굴 영역에서 특징을 추출하여 사용자의 감정 종류를 제2 뎁스로 판단하도록 구성될 수도 있다.
일 실시 예에서, 상기 제1 사용자의 활동 데이터로부터 제1 사용자의 감정 상태 점수를 판단하는 단계는, 미리 학습된 텍스트 기반 감정 인식 모델를 이용하여 제1 사용자의 텍스트 데이터로부터 제1 사용자의 제2 감정 상태 점수를 산출하는 단계, 및 사용자의 텍스트 데이터로부터 사용자의 제2 감정 상태를 판단하는 단계; 상기 텍스트 기반 감정 인식 모델 또는 미리 학습된 음성 기반 감정 인식 모델을 이용하여 사용자의 음성 데이터로부터 사용자의 제3 감정 상태를 판단하는 단계 중 하나 이상의 단계를 더 포함할 수도 있다.
일 실시 예에서, 상기 제1 사용자의 활동 데이터로부터 제1 사용자의 감정 상태 점수를 판단하는 단계는, 사용자의 제1 내지 제3 감정 상태 중 2이상의 감정 상태가 판단된 경우, 2이상의 감정 상태 각각으로 분류될 확률 값에 기초하여 사용자의 최종 감정 상태를 판단하는 단계를 더 포함할 수도 있다. 상기 최종 감정 상태를 판단하는 단계는, 이미지 데이터로부터 판단된 제1 감정 상태에 대해서는 보다 높은 제1 가중치를 부여하고, 텍스트 데이터로부터 판단된 제2 감정 상태에 대해서는 보다 낮은 제2 가중치를 부여하며, 제1 가중치를 제1 감정 상태의 값에 적용하고 제2 가중치를 제2 감정 상태의 값에 적용한 연산 값에 기초해 최종 감정 상태를 판단할 수도 있다.
일 실시 예에서, 상기 산출된 감정 상태 점수에 기초하여 상기 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 측정하는 단계는, 산출된 제2 사용자에 대한 제1 사용자의 감정 상태 점수 및 제1 사용자와 제2 사용자의 상호작용 활동 동안 상호작용 행동의 회수에 기초하여 상호작용 상대방 유형에 따른 관계 감정 지수를 산출하는 단계를 포함할 수도 있다.
상기 상대방 유형에 따른 관계 감정 지수를 산출하는 단계는, 제2 사용자가 제1 유형의 상호작용 상대방일 경우, 애정도(affection) 지수를 산출하는 단계; 제2 사용자가 제2 유형의 상호작용 상대방일 경우, 호감도(preference) 지수를 산출하는 단계; 및 제2 사용자가 제3 유형의 상호작용 상대방일 경우, 친밀도(affinity) 지수를 산출하는 단계를 포함한다. 상기 감정 상태 점수는 감정 상태의 판단 결과 및 판단 결과의 확률 값으로 표현된다.
일 실시 예에서, 상기 방법은, 제1 사용자의 식별정보, 제2 사용자의 식별정보, 제2 사용자에 대한 제1 사용자의 감정 상태 점수, 및 관계 감정 지수를 포함한 감정 측정 내역을 생성하는 단계를 더 포함할 수도 있다. 상기 감정 상태 점수는 감정 상태 정보 및 해당 점수 값을 포함하고, 상기 관계 감정 지수는 지수 유형 정보 및 해당 지수 값을 포함한다.
상기 감정 측정 내역을 생성하는 단계는, 감정 측정 데이터베이스를 서버에 구축하는 단계; 및 이미 저장된 감정 측정 내역를 새로운 감정 상태 점수, 및 관계 감정 지수로 업데이트하는 단계를 포함한다.
일 실시 예에서, 상기 감정 측정 데이터베이스는 사용자의 개인정보를 저장한 사용자 데이터베이스와 별도로 구축된 것이다. 상기 감정 측정 데이터베이스의 일 축은 제1 사용자의 식별정보, 다른 일 축은 제2 사용자의 식별정보로 이루어지는 2차원 테이블 구조로 구축된다. 상기 2차원 테이블 구조 내에 저장되는 데이터에 할당되는 데이터베이스 주소는 상기 제1 사용자의 식별정보, 및 제2 사용자의 식별정보의 조합으로 표현된다. 상기 데이터베이스 주소에 저장되는 데이터는 관계 감정 지수, 판단된 감정 상태를 포함한다.
일 실시 예에서, 상기 방법은, 서버로부터 복수의 제2 사용자 각각에 대한 감정 측정 내역을 검색하여 상호작용 기록을 전자 장치에서 표시하는 단계를 더 포함할 수도 있다. 상기 표시하는 단계는, 제1 전자 장치가 상호작용 기록 화면 표시 명령을 입력 받아 제1 사용자의 감정 측정 내역 요청을 서버로 전송하는 단계; 서버에서 감정 측정 데이터베이스로부터 제1 사용자의 식별정보를 데이터베이스 주소로 갖는 데이터를 검색하고, 검색된 데이터 및 검색된 데이터의 데이터베이스 주소에 기초하여 제1 사용자와 함께 상호작용 활동했던 제2 사용자에 대한 감정 측정 내역을 형성하여 상기 제1 전자 장치로 전송하는 단계; 제1 전자 장치에서 수신한 제2 사용자에 대한 제1 사용자의 감정 측정 내역에 기초하여 상호작용 기록을 표시한 화면을 표시하고, 상기 제1 전자 장치는 관계 감정 지수 내 지수 유형 정보로부터 제2 사용자의 상호작용 상대방 유형 정보를 도출하고 도출된 상호작용 상대방 유형 정보, 수신된 관계 감정 지수, 및 판단된 감정 상태를 포함한 상호작용 기록 화면을 표시한다.
일 실시 예에서, 상기 방법은, 온라인 공간 또는 지리적 공간 상에서 일정 거리 내에 제2 사용자가 근접할 경우 근접한 제2 사용자에 대해 갖고 있는 제1 사용자의 감정 유형을 확인하고, 제2 사용자에 대한 제1 사용자의 감정 유형이 긍정인 경우 해당 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 전자 장치로 전송하는 단계를 더 포함할 수도 있다.
본 출원의 다른 일 측면에 따른 컴퓨터 판독가능한 기록매체는 상술한 실시 예들에 따른 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법을 수행하기 위한, 프로그램을 기록할 수도 있다.
본 발명의 일 측면에 따른 얼굴 인식 기반 상호작용 상대방에 대한 관계 감정 지수를 측정하는 시스템은 제2 사용자에 대해 사용자가 갖는 감정의 정도가 얼굴 표정으로 발현되는 것을 분석함으로써, 상호작용 상대방의 엔티티가 갖고 있는 정보가 과장되었는지 여부와 무관하게, 제2 사용자에 대한 사용자의 감정 상태를 객관적으로 측정할 수도 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시 예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시 예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시 예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 출원의 일 측면에 따른, 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템의 개략도이다.
도 2는, 본 출원의 일 실시 예에 따른, 전자 장치(110)의 구성을 나타낸 블록도이다.
도 3은, 본 출원의 일 실시 예에 따른, 서버(130)의 구성을 나타낸 블록도이다.
도 4는, 본 출원의 다른 일 측면에 따른, 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법의 흐름도이다.
도 5는, 본 출원의 일 실시 예에 따른, 이미지 기반 감정 인식 모델을 이용하여 제1 사용자의 제1 감정 상태 점수를 산출하는 과정의 흐름도이다.
도 6은, 도 5의 제1 감정 상태 점수를 산출하는 과정의 개략도이다.
도 7은, 본 출원의 일 실시 예에 따른, 제1 사용자의 다중 감정 상태를 판단하는 과정의 개략도이다.
도 8은, 도 7의 과정을 뎁스별로 설명한 세부 개략도이다.
도 9는, 본 출원의 일 실시 예에 따른, 텍스트 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 감정 상태를 판단하는 과정의 흐름도이다.
도 10은, 본 출원의 일 실시 예에 따른, 음성 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 감정 상태를 판단하는 과정의 개략도이다.
도 11은, 본 출원의 일 실시 예에 따른, 통합 감정 인식 모델을 이용하여 다양한 활동 데이터로부터 제1 사용자(100_1)의 감정 상태를 판단하는 과정의 개략도이다.
도 12는, 본 출원의 일 실시 예에 따른, 상호작용 상대방의 유형에 따른 관계 감정 지수를 산출하는 과정의 개략도이다.
도 13은, 본 출원의 다른 일 실시 예에 따른, 상호작용 활동별 가중치를 이용하여 관계 감정 지수를 산출하는 과정의 개략도이다.
도 14는, 본 출원의 일 실시 예에 따른, 상호작용 기록을 표시한 화면을 도시한다.
도 15는, 본 출원의 일 실시 예에 따른, 2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태를 나타낸 컨텐츠를 전송하는 과정의 개략도이다.
도 16은, 본 출원의 일 실시 예에 따른, 근접한 다른 사용자에게 자신의 긍정적 감정 상태를 표시하는 화면을 도시한다.
이하에서, 도면을 참조하여 본 출원의 실시 예들에 대하여 상세히 살펴본다.
그러나, 이는 본 개시(disclosure)를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 명세서에서, "가진다," "가질 수 있다,""포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 단계, 부품, 요소 및/또는 성분 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재나 부가를 제외시키는 것이 아니다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
다양한 실시 예에서 사용된 "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제1 구성요소와 제2 구성요소는, 순서 또는 중요도와 무관하게, 서로 다른 구성요소를 나타낼 수 있다.
본 명세서에서 사용되는 단수 표현의 구성의 실시 예들은 상기 단수 표현과 관련된 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 표현의 구성 들의 실시 예들도 포함한다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to),"또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
도 1은, 본 출원의 일 측면에 따른, 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템의 개략도이다.
실시예들에 따른 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "시스템" 및 "장치" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
도 1을 참조하면, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)은 제1 사용자(100_1)의 제1 전자 장치(110_1), 제2 사용자(100_2)의 제2 전자 장치(110_1), 및 서버(130)를 포함한다.
전기 통신 네트워크를 통해 상기 전자 장치(110)와 서버(130)가 연결된다.
전기 통신 네트워크는, 전자 장치(110)와 서버(130)가 서로 데이터를 송수신할 수 있는 유/무선의 전기 통신 경로를 제공한다. 전기 통신 네트워크는 특정한 통신 프로토콜에 따른 통신 방식에 한정되지 않으며, 구현 예에 따라 적절한 통신 방식이 사용될 수 있다. 예를 들어, 인터넷 프로토콜(IP) 기초의 시스템으로 구성되는 경우, 전기 통신 네트워크는 유선 및/또는 무선 인터넷 망으로 구현될 수 있다. 또는 전자 장치(110)와 서버(130)가 이동 통신 단말로서 구현되는 경우 전기 통신 네트워크는 셀룰러 네트워크 또는 WLAN(wireless local area network) 네트워크와 같은 무선망으로 구현될 수 있다.
상기 전자 장치(110)는 서버(130)와 통신하는 클라이언트 단말 장치로서, 데이터를 처리할 수 있는 적어도 하나의 프로세서, 데이터를 저장하는 메모리, 데이터를 송/수신하는 통신부를 포함한다. 이러한 전자 장치(110)는 예를 들어, 랩탑 컴퓨터, 기타 컴퓨팅 장치, 태블릿, 셀룰러 폰, 스마트 폰, 스마트 워치, 스마트 글래스, 헤드 마운트 디스플레이(HMD), 기타 모바일 장치, 기타 웨어러블 장치로 구현될 수도 있다.
사용자(100)는 제1 사용자(100_1) 및 제2 사용자(100_2)일 수도 있다. 제2 사용자(100_2)는 제1 사용자(100_1)와 상호작용하는 상대방이다. 상기 제1 사용자(100_1)는 상호활동 도중에 제2 사용자(100_2)에 대한 자신의 관계 감정 지수가 측정되는 대상이다. 상호작용 활동이란 제1 사용자(100_1)와 제2 사용자(100_2)가 함께 하는 활동이므로, 모든 사용자(100)는 자신을 기준으로는 제1 사용자(100_1)이고, 상대방을 기준으로는 제2 사용자(100_2)이다.
제1 전자 장치(110_1)는 제1 사용자(100_1)에 대응하는 전자 장치(110)이다. 예를 들어, 제1 전자 장치(110_1)는 상호작용 동안의 제1 사용자(100_1)의 데이터를 포착하고, 제2 사용자에 대한 사용자의 관계 감정 지수를 측정하는 단말 장치를 의미할 수도 있다.
제2 전자 장치(110_2)는 제2 사용자(100_2)에 대응하는 전자 장치(110)이다. 예를 들어, 제2 전자 장치(110_2)는 함께 상호작용하는 제1 사용자(100_1)의 감정 상태 점수를 수신하는 단말 장치를 의미할 수도 있다.
전술한 바와 같이 모든 사용자(100)는 감정 상태 점수가 측정되는 기준 대상 및 제2 사용자가 동시에 될 수도 있어, 제1 전자 장치(110_1) 및 제2 전자 장치(110_2)의 동작은 단일 전자 장치(110)에서 모두 수행될 수도 있다.
도 2는, 본 출원의 일 실시 예에 따른, 전자 장치(110)의 구성을 나타낸 블록도이다.
도 2를 참조하면, 상기 전자 장치(110)는 메모리(111), 통신부(112), 프로세서(113), 입력 장치(114), 및 출력 장치(115), 카메라(116), 마이크(117)를 포함할 수도 있다.
메모리(111)는, 프로세서(113)와 연결되고 프로세서(113)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(113)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 특정 실시 예들에서, 상기 메모리(101)는, 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법을 수행하기 위한 어플리케이션을 저장할 수도 있다. 상기 어플리케이션은 상호작용 활동의 시작과 끝을 알 수 있도록 상호작용 활동이 진행되는 어플리케이션과 연동되거나 그 자체일 수도 있다.
메모리(111)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(111)는 프로세서(113)의 요청에 따라 저장된 데이터를 제공할 수 있다. 또한, 메모리(111)는 통신부(112)에서 수신한 데이터, 입력장치(114)에서 수신한 데이터, 카메라 모듈(116)에서 촬영한 데이터, 마이크(117)에서 생성한 음성 데이터, 프로세서(113)에서 생성되거나 처리된 데이터를 영구적으로 또는 임시로 저장할 수 있다.
예를 들어, 메모리(111)는 HDD(Hard Disk Drive), SSD(Solid State Drive), CD(Compact Disc), RAM(Random Access Memory), Rom(Read Only Memory), 데이터를 영구적, 반영구적 또는 임시적으로 저장하는 다양한 기타 저장 장치를 포함할 수도 있으나, 이에 제한되진 않는다.
통신부(112)는, 프로세서(113)와 연결되어 데이터를 송수신하며, 다른 전자 장치(110) 또는 서비스 서버(130) 등의 외부 장치들과 데이터를 송수신할 수 있다. 통신부(113)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 송수신기(transceiver), 통신부(communication unit), 통신 모뎀(communication model) 또는 통신 회로(communication circuit)로 지칭할 수 있다. 통신부(112)는 유선 접속 시스템 및 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5GNR(new radio) 시스템, 3GPP2 시스템, 블루투스(Bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
프로세서(113)는 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(113)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(113)는 데이터 분석 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 전자 장치(110)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(113)는 전자 장치(110)의 구성 요소들을 제어하여, 결정된 동작을 수행할 수 있다. 이를 위해, 프로세서(113)는 메모리(111)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 전자 장치(110)의 구성 요소들을 제어할 수 있다.
프로세서(113)는 결정된 동작을 수행하기 위하여 서비스 서버(130)와 같은 외부 장치와의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 통신부(112)를 통해 해당 외부 장치에 생성된 제어 신호를 전송할 수 있다.
이러한 프로세서(113)는 적어도 하나의 프로세서로 구현될 수도 있다. 상기 프로세서(113)는, CPU(Central processing unit) 또는 인간의 뇌의 신경세포와 시냅스를 모하여 인공 신경망의 연산에 유리하게 설계된 뉴로모픽 프로세서(Neuromorphic processor) 등을 포함할 수도 있다.
입력장치(114)는 사용자의 입력과 관련된 명령을 수신하도록 구성된 구성요소이다. 상기 입력장치(114)는, 터치 유닛 또는 기타 입력 유닛을 포함할 수도 있다.
터치 유닛은 사용자의 신체 일부 또는 다른 객체가 포인팅 객체로 활용되어 바이어 명령을 입력하는 구성요소이다. 상기 터치 유닛은 감압식 또는 정전기식 센서 등을 포함할 수 있으나, 이에 제한되진 않는다. 상기 기타 입력 유닛은 예를 들어 버튼, 키보드, 다이얼, 스위치, 스틱 등을 포함한다.
출력장치(115)는 전자 장치(110)에 저장 및/또는 처리된 정보를 출력하는 구성요소이다. 상기 출력장치(115)는 디스플레이 장치 및/또는 스피커를 포함할 수도 있다.
디스플레이 장치는 전자 장치(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 디스플레이하는 구성요소로서, 예를 들어, LCD, OLED, 플렉서블 스크린 등을 포함할 수 있으나, 이에 제한되진 않는다.
도 2에서 입력장치(114)와 출력장치(115)이 분리되어 있지만, 많은 실시 예들에서 상기 입력장치(114)와 출력장치(115)는 입력 수신 및 정보 출력을 수행하도록 하나의 구성요소로 구현될 수 있다. 예를 들어, 입력장치(114) 및 출력장치(115)는 스크린과 레이어 구조를 이루는 터치 스크린으로 구현된 터치 패널일 수도 있다. 터치 입력은 (예컨대, 사용자의 신체, 또는 도구 등을 포함한) 포인팅 객체에 의해 입력된다.
스피커는 전자 장치(110)에서 처리된 오디오 데이터를 오디오 데이터를 음파로 출력할 수 있다.
카메라 모듈(116)는 피사체를 촬영하여 정지 이미지 또는 동영상 등의 이미지 프레임을 획득한다. 획득된 이미지 프레임은 출력장치(116)의 디스플레이(Display)에 표시되거나, 통신부(112)를 통해 외부 장치에 전송되거나, 프로세서(103)에 의해 처리되거나, 메모리(111)에 저장될 수 있다.
카메라 모듈(116)는 파장에 반응하여 대상의 이미지를 생성하는 촬영 유닛을 포함한다. 예를 들어, 카메라 모듈(116)는 RGB 센서를 포함하여 RGB 이미지를 획득할 수도 있다. 또한, 카메라 모듈(116)는 IR 센서 또는 깊이 센서를 더 포함하여 IR 이미지 또는 Depth 이미지를 추가로 획득하도록 더 구성될 수도 있다.
마이크 모듈(117)은 음파를 수신하여 전기적인 음성 데이터로 변환할 수 있다. 한편, 마이크 모듈(117)에는 외부의 음파를 수신하는 과정에서 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 적용될 수 있다.
상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)에서 제1 사용자(100_1) 및 제2 사용자(100_2)는 전기 통신 네트워크를 통해 온라인 공간에 접속하여 서로 상호작용 활동을 진행할 수도 있다.
상기 온라인 공간은 상호작용 활동이 진행되는 가상의 공간으로서 사용자 자신(1001)의 제1 전자 장치(1101)의 동작 결과를 업로드하고 제2 사용자(1002)의 제2 전자 장치(1102)의 동작 결과를 확인할 수 있는 공간을 지칭한다. 상기 온라인 공간은, 메타버스 어플리케이션, 소셜 미디어 어플리케이션, 데이트 앱과 같은 매칭 어플리케이션을 통해 구현되거나, 또는 웹 상에 구현될 수도 있다.
메타버스는 가공, 추상을 의미하는 메타(meta)와 현실 세계를 의미하는 유니버스(universe)의 합성어로서, 일반적으로는 현실 세계와 동일하거나 유사한 자극을 전달하고 반응을 구현하는 가상 공간을 지칭한다. 상기 메타버스는 주제에 따라 게임이 될 수도 있고, 혹은 특정 도메인에 맞는 비즈니스 시스템이 될 수 있다. 또는, 메타버스는 형태에 따라 책을 열람하는 도서관이거나, 쇼핑몰 혹은 다양한 체감형의 박물관 형태로 구현될 수도 있다.
메타버스에 접속하여 메타버스와 상호작용하면서 메타버스 내 다양한 활동을 경험한다. 예를 들어, 사용자는 메타버스 내 자신의 아바타를 조작하여 메타버스와 상호작용할 수도 있다. 상기 사용자와 메타버스 간의 상호작용은 상기 사용자의 아바타를 통해 다른 사용자의 아바타와 상호작용하는 것을 포함한다.
특정 실시 예들에서, 상기 제1 전자 장치(1101)는 입력 장치(114)를 통해 다른 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방으로 지정하도록 구성된다.
또한, 상기 제1 전자 장치(110_1)는 카메라(116), 마이크(117), 및 입력 장치(114)를 통해 상호작용 활동하는 동안의 사용자의 이미지, 텍스트, 음성을 포함한 활동 데이터를 포착하도록 구성된다.
상기 활동 데이터는 온라인 공간에서 제2 사용자(100_2)와 상호작용 활동을 진행하는 동안 포착된 데이터이다. 특정 실시 예들에서, 활동 데이터는 상호작용 활동 동안 포착된(captured) 제1 사용자(100_1)의 이미지, 음성, 및 텍스트 데이터 중 하나 이상을 포함할 수도 있다.
상기 제1 사용자(100_1)의 이미지는 상호작용 활동 동안에 제1 사용자(100_1)의 얼굴을 촬영한 이미지이다. 상기 제1 사용자(100_1)의 이미지는 상호작용 활동 도중 순간적으로 촬영되거나, 또는 상호작용 활동의 전체 시간 중 일부 또는 전부의 시간 동안 촬영된 것일 수도 있다.
상기 이미지는 동영상과 같은 연속 이미지 내 개별 이미지, 또는 정지 이미지일 수도 있다. 예를 들어, 상기 제1 사용자(100_1)의 이미지는 정지 이미지일 수도 있다. 상기 정지 이미지는 온라인 공간에서 컨텐츠 또는 제2 사용자(100_2)의 동작을 시청하는 것에 반응하여 촬영된 것일 수도 있다. 또는, 상기 제1 사용자(100_1)의 이미지는 상호작용 활동의 전체 시간 중 일부 또는 전부의 시간 동안 촬영된 비디오의 프레임 이미지일 수도 있다.
일부 실시 예들에서, 상기 사용자(100_1)의 이미지는 상호작용 활동을 이루는 상호작용 동작이 발생하는 것에 반응하여 포착될 수도 있다. 제1 사용자(100_1)의 이미지는 제2 사용자(100_2)에게 채팅 메시지를 전송하거나, 또는 제2 사용자(100_2)로부터 채팅 메시지를 수신한 경우에 포착된다.
상기 제1 사용자(100_1)의 음성은, 음성 채팅, 감탄사, 상호작용 활동의 내용 낭독 등과 같은, 제1 사용자(100_1)의 상호작용 활동과 관련된 음성을 포함한다.
또한, 상기 제1 사용자(100_1)의 텍스트는, 텍스트 채팅 등과 같은, 제1 사용자(100_1)의 상호작용 활동과 관련된 텍스트를 포함한다.
또한, 상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 감정 상태 지수를 산출하여 제1 사용자(100_1)의 상호작용 상대방1002에 대한 감정 상태 지수를 해당 상호작용 상대방1002의 유형에 따라 측정하도록 구성될 수도 있다.
상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 활동 데이터로부터 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수를 산출하고, 산출된 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수 및 제1 사용자(100_1)와 제2 사용자(100_2)의 상호작용 활동 동안 감정 상태 판단의 회수에 기초하여 관계 감정 지수를 측정할 수도 있다. 상기 관계 감정 지수는 제2 사용자(100_2)의 유형에 따라 측정될 수도 있다.
본 명세서에서 관계 감정 지수는 제1 사용자(100_1)가 자신과 제2 사용자(100_2) 사이의 관계에 대해 감정적 측면에서 밀접한 정도를 느낀 것을 수치화한 것이다. 상기 관계 감정 지수는 제1 사용자(100_1)가 자신과 제2 사용자(100_2) 사이의 관계에 따라 느끼는 감정이 얼굴 표정을 통해 발현되면, 발현된 얼굴 표정으로부터 감정 상태를 인식하여 측정된다. 상기 감정 상태의 인식 결과는 감정 상태 점수로 수치화되어 산출될 수도 있다.
상기 관계 감정 지수는 제1 사용자(100_1)와 제2 사용자(100_2) 사이의 사회적 관계에 따라 분류될 수도 있다. 특정 실시 예들에서, 상기 관계 감정 지수는 제2 사용자(100_2)에 따라 친밀도, 호감도, 또는 애정도로 분류될 수도 있다.
애정도는 제1 사용자(100_1)가 자신과 제2 사용자(100_2)의 사회적 관계가 가족이거나 가족으로 발전할 수도 있는 관계(예컨대, 애인, 약혼자)인 경우에 상기 제1 사용자(100_1)와 제2 사용자(100_2) 사이의 관계 감정 지수를 나타낸다. 상기 가족은 혈연상/법률상 가족 또는 한 공간에 함께 거주하는 친족을 포함할 수도 있다. 본 명세서에서 애인 관계의 다른 사용자는 제1 유형의 제2 사용자(100_2)으로 지칭될 수도 있다.
호감도는 제1 사용자(100_1)가 자신과 제2 사용자(100_2)의 사회적 관계가 친구로 등록된 겨웅에 상기 제1 사용자(100_1)와 제2 사용자(100_2) 사이의 관계 감정 지수를 나타낸다. 본 명세서에서 친구 관계의 다른 사용자는 제2 유형의 제2 사용자(100_2)으로 지칭될 수도 있다.
친밀도는 제1 유형의 제2 사용자(100_2), 제2 유형의 제2 사용자(100_2)을 제외한 나머지 다른 사용자(100)와 제1 사용자(100_1) 사이의 관계 감정 지수를 나타낸다. 본 명세서에서 상기 나머지 다른 사용자(100)는 제3 유형의 제2 사용자(100_2)으로 지칭될 수도 있다. 예를 들어, 제3 유형의 제2 사용자(100_2)은 직장 동료, 일면식 없는 사람일 수도 있다.
특정 실시 예들에서, 상기 제1 전자 장치(110_1)는 미리 저장된 감정 인식 모델을 이용하여 제1 사용자(100_1)의 감정 상태 점수를 산출할 수도 있다. 상기 감정 상태 점수는 상호작용 활동 동안에 제1 사용자(100_1)가 제2 사용자(100_2)에 대해 갖는 것으로 판단된 감정 상태를 수치화한 것이다. 상기 감정 상태 점수는 감정 상태의 판단 결과 및 판단 결과의 확률 값으로 표현된다.
상기 감정 인식 모델은 이미지 기반 감정 인식 모델, 텍스트 기반 감정 인식 모델, 또는 통합 감정 인식 모델일 수도 있다. 상기 통합 감정 인식 모델은 제1 사용자(100_1)의 이미지 데이터, 텍스트 데이터, 음성 데이터 중 2이상의 데이터로부터 제1 사용자(100_1)의 감정 상태를 인식하도록 구성된다.
이러한 전자 장치(100)의 동작에 대해서는 아래의 도 4 등을 참조해 보다 상세히 서술한다.
도 3은, 본 출원의 일 실시 예에 따른, 서버(130)의 구성을 나타낸 블록도이다.
서버(130)는 네트워크 서버로 구현되는 다수의 컴퓨터 시스템 또는 컴퓨터 소프트웨어이다. 여기서, 네트워크 서버란, 사설 인트라넷 또는 인터넷과 같은 컴퓨터 네트워크를 통해 다른 네트워크 서버와 통신할 수 있는 하위 장치와 연결되어 작업 수행 요청을 접수하고 그에 대한 작업을 수행하여 수행 결과를 제공하는 컴퓨터 시스템 및 컴퓨터 소프트웨어(네트워크 서버 프로그램)를 의미한다. 그러나 이러한 네트워크 서버 프로그램 이외에도, 네트워크 서버 상에서 동작하는 일련의 응용 프로그램과 경우에 따라서는 내부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다. 상기 서버(130)는 네트워크 서버, 웹 서버, 파일 서버, 슈퍼컴퓨터, 데스크탑 컴퓨터 등과 같은 컴퓨팅 장치들의 임의의 유형 또는 유형들의 조합으로 구현될 수도 있다. 이를 위해, 서버(130)는 데이터를 처리할 수 있는 적어도 하나의 프로세서, 데이터를 저장하는 메모리, 데이터를 송/수신하는 통신부를 포함한다.
도 3을 참조하면, 서버(130)는 메모리(131), 통신부(132) 및 프로세서(133)를 포함할 수 있다.
도 3의 메모리(131), 통신부(132), 및 프로세서(133)는 도 2의 메모리(111), 통신부(112), 및 프로세서(113)와 유사하므로, 차이점을 위주로 서술한다.
메모리(131)는 사용자(100) 각각의 개인정보를 저장할 수도 있다. 사용자(100)의 개인정보는 시스템 내 사용자(10)의 식별정보, 명칭, 프로필 이미지 등을 포함할 수도 있다. 상기 식별정보는 사용자 ID, 기타 식별코드를 포함할 수도 있다.
메모리(131)는 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수를 기록한 감정 상태를 저장할 수도 있다.
일부 실시 예들에서, 메모리(131)에는 복수의 사용자(100)의 개인정보를 기록한 사용자 데이터베이스 및/또는 복수의 사용자(100) 각각의 감정 측정 내역을 포함한 감정 측정 데이터베이스가 구축될 수도 있다. 각 감정 측정 내역은 측정된 감정 상태 점수를 포함한다. 일부 실시 예들에서, 상기 감정 측정 내역은 감정 유형, 감정 종류를 더 포함할 수도 있다.
상기 감정 측정 데이터베이스는 일 축은 제1 사용자(100_1)의 식별정보, 다른 일 축은 제2 사용자(100_2)의 식별정보로 이루어지는 2차원 테이블 구조로 구축될 수도 있다. 구조 내에 저장되는 데이터에 할당되는 데이터베이스 주소는 상기 제1 사용자(100_1)의 식별정보, 및 제2 사용자(100_2)의 식별정보의 조합으로 표현될 수도 있다.
이러한 주소를 가짐으로써, 2차원 테이블 구조 내에 감정 측정 데이터 중에서 일부가 저장된다. 상기 데이터베이스 주소에 저장되는 데이터는 관계 감정 지수, 판단된 감정 상태를 포함할 수도 있다. 일부 실시 예들에서, 상기 관계 감정 지수는 누적 관계 감정 지수를 포함할 수도 있다. 또한 일부 실시 예들에서, 상기 판단된 감정 상태는 가장 최근에 판단된 감정 상태를 포함할 수도 있다.
제1 사용자(100_1)의 식별정보, 및 제2 사용자(100_2)의 식별정보는 구조 내 각각의 공간에 일일히 저장할 필요 없이, 해당 데이터베이스 주소를 검색하는 과정에서 자연스럽게 취득된다.
이를 통해 주소에 저장되는 데이터를 보다 감소화할 수도 있다.
상기 감정 측정 데이터베이스는 사용자 데이터베이스와 별도로 구축된다. 감정 측정 데이터베이스 내 감정 측정 값은 누적되어 변경될 수도 있어 상대적으로 많은 변경이 발생한다. 이와 같이 데이터 변경이 상대적으로 자주 발생하는 데이터베이스를 이원화할 경우 변경 업데이트 동작 시 소모되는 전력, 시간을 최소화할 수도 있다.
또한, 서버(130)는 제1 사용자(100_1)의 제1 전자 장치(110_1)로부터 해당 제1 사용자(100_1)와 관련된 제2 사용자(100_2)의 개인정보 중 일부(예컨대, 식별정보, 명칭)를 포함한 감정 측정 내역 검색 요청을 수신하면, 요청에 매칭하는 감정 측정 내역을 제1 사용자(100_1)의 제1 전자 장치(110_1)로 전송할 수도 있다.
또한, 서버(130)는 제1 사용자(100_1)의 제1 전자 장치(110_1)로부터 제1 사용자(100_1)의 감정 상태를 포함한 감정 알림 요청을 수신한 경우, 상기 감정 알림 요청에 기초하여 요청 내 감정 상태에 대응한 컨텐츠를 포함한 메시지를 상기 상호작용 상대방의 제2 전자 장치(110_2)로 전송할 수도 있다.
이러한 서버(130)의 동작에 대해서는 아래의 도 4 등을 참조해 보다 상세히 서술한다.
상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)이 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)은 데이터 엔트리를 위한 입력 장치, 및 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다. 또한, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)과 외부 장치(예를 들어, 사용자 단말, 또는 외부 데이터베이스 등) 사이를 연결하는 네트워크, 네트워크 인터페이스 및 프로토콜 등을 더 포함할 수 있다.
도 4는, 본 출원의 다른 일 측면에 따른, 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법의 흐름도이다.
도 4를 참조하면, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 복수의 사용자(100) 각각의 전자 장치(110)는 사용자(100)의 개인 정보를 입력하여 서버(130)에 등록하는 단계(S401)를 포함한다.
상기 개인 정보는 감정 상태 정보, 또는 관계 감정 지수를 표시하는 UI 화면을 구성하는데 이용될 수도 있다. 일부 실시 예들에서, 상기 개인정보는 시스템 내 사용자(100)의 식별정보, 명칭, 프로필 이미지 등을 포함할 수도 있다. 상기 프로필 이미지는 사용자를 가리키는 아바타 이미지, 또는 촬영 이미지일 수도 있다.
또한, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 제1 사용자(100_1)의 제1 전자 장치(110_1)에서 다른 사용자(100)를 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방으로 지정하는 단계(S410)를 포함한다.
단계(S410)에서 복수의 다른 사용자를 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방 각각으로 지정할 수도 있다.
예를 들어, 상기 단계(S410)에서 제1 전자 장치(110_1)는 다른 사용자가 애인 관계인 경우 제1 유형의 사용자로 지정할 수도 있다. 또한, 상기 단계(S410)에서 제1 전자 장치(110_1)는 다른 사용자가 친구 관계인 경우 제2 유형의 사용자로 지정할 수도 있다. 상기 제1 유형의 사용자 또는 제2 유형의 사용자로 지정되지 않은 나머지 다른 사용자는 자동으로 제3 유형의 사용자로 지정될 수도 있다.
일부 실시 예들에서, 상기 단계(S410)는, 온라인 공간의 활동 내역을 통해 적어도 친구 관계인 다른 사용자를 서버(130) 또는 메모리111로부터 검색하는 단계; 및 검색된 다른 사용자를 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방으로 지정하는 단계를 포함할 수도 있다.
또한, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 제1 전자 장치(110_1)에서 전기 통신을 통해 제2 사용자와 상호작용 활동을 개시하는 단계(S420)를 포함한다. 상기 상호작용 활동은 전술한 온라인 공간에서 진행된다.
상기 상호작용 활동은 각 사용자(1001, 1002)의 동작(들)로 이루어진다. 상기 상호작용 활동은 각 사용자의 전자 장치를 통해 구현되는 상호작용 행동으로 이루어질 수도 있다.
예를 들어, 채팅 활동은 어느 사용자(1001 또는 1002)로부터 다른 사용자(1002 또는 1001)에 대한 화상 메시지, 음성 메시지, 텍스트 메시지들로 이루어진다.
상기 상호작용 활동은 제1 사용자와 하나 이상의 제2 사용자 간에 진행될 수도 있다. 복수의 제2 사용자와 상호작용 활동이 진행될 경우, 각각의 제2 사용자에 대한 제1 사용자의 관계 감정 지수가 개별적으로 측정될 수도 있다.
또한, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 상호작용 활동 동안 제1 전자 장치(110_1)에서 제1 사용자의 이미지, 음성, 및 텍스트 중 하나 이상을 포함한 활동 데이터를 포착하는 단계(S430)를 포함한다. 상기 활동 데이터는 활동 내용 데이터 또는 활동 반응 데이터일 수도 있다.
활동 반응 데이터는 제2 사용자의 행동에 반응한 사용자의 신체 변화를 포착한 데이터이다. 상기 활동 반응 데이터는 이미지 데이터 및/또는 음성 데이터일 수도 있다.
예를 들어, 상기 제1 전자 장치(110_1)는 상호작용 활동에서 제2 전자 장치(110_2)를 통해 전달된 제2 사용자의 행동에 반응한, 얼굴 표정을 촬영한 사용자의 이미지 또는 감탄사와 같은 음성을 포착할 수도 있다(S430).
활동 내용 데이터는 활동 진행을 위해 제1 사용자가 입력한 데이터이다. 상기 활동 내용 데이터는 이미지, 음성, 텍스트 데이터일 수도 있다.
예를 들어, 상호작용 활동이 화상채팅일 경우 상기 제1 전자 장치(110_1)는 화상 채팅을 진행하기 위한 제1 사용자의 얼굴, 음성을 포착할 수도 있다(S430). 또는, 상호작용 활동이 텍스트 채팅일 경우 상기 제1 전자 장치(110_1)는 채팅 내용을 작성하기 위한 제1 사용자의 텍스트를 포착할 수도 있다(S430).
상기 얼심법은, 미리 학습된 감정 인식 모델을 이용하여 상기 활동 데이터로부터 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수를 산출하고, 산출된 감정 상태 점수에 기초하여 상기 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 관계 감정 지수를 측정하는 단계(S440)를 포함한다.
상기 단계(S440)에서 감정 상태 점수를 산출하는 것은 활동 데이터가 포착될 시점에 판단된 감정 상태를 수치화한 것이다. 상기 감정 상태 점수의 산출 결과는 판단된 감정 상태를 나타낸 제1 값 및 판단되 감정 상태를 수치화한 제2 값을 포함한다.
특정 실시 예들에서, 상기 단계(S440)는 제1 전자 장치(110_1)에서 수행될 수도 있다.
상기 단계(S400)에서 감정 인식 모델은 상기 감정 인식 모델은 이미지 기반 감정 인식 모델, 음성 기반 감정 인식 모델, 텍스트 기반 감정 인식 모델 또는 통합 감정 인식 모델일 수도 있다.
상기 단계(S440)는, 제1 사용자의 이미지 데이터로부터 사용자의 제1 감정 상태 점수를 산출하는 단계, 제1 사용자의 텍스트 데이터로부터 제1 사용자의 제2 감정 상태 점수를 산출하는 단계, 및 제1 사용자의 음성 데이터로부터 제1 사용자의 제3 상태 점수를 산출하는 단계 중 하나 이상의 단계를 포함할 수도 있다.
상기 제1 내지 제3 감정 상태 각각은 판단되는데 이용된 원시 활동 데이터의 유형을 구별하기 위한 것에 불과하며, 제1 내지 제3 감정 상태 모두 제1 사용자의 감정 상태를 예측한 결과를 나타낸다.
도 5는, 본 출원의 일 실시 예에 따른, 이미지 기반 감정 인식 모델을 이용하여 제1 사용자의 제1 감정 상태 점수를 산출하는 과정의 흐름도이고, 도 6은, 도 5의 제1 감정 상태 점수를 산출하는 과정의 개략도이다.
도 5 및 도 6을 참조하면, 상기 제1 전자 장치(110_1)는 제1 사용자의 이미지를 미리 학습된 이미지 기반 감정 인식 모델에 입력하여 제1 사용자의 제1 감정 상태를 판단할 수도 있다.
상기 이미지 기반 감정 인식 모델은, 입력 이미지에서 얼굴 영역을 검출하는 얼굴 검출 유닛, 검출된 얼굴 영역에서 사용자의 이미지 특징을 추출하는 특징 추출 유닛, 및 모델에 미리 지정된 복수의 감정 상태 중에서 추출된 특징에 기초하여 입력 이미지 내 얼굴이 가리키는 사용자의 감정 상태를 분류하는 감정 판단 유닛을 포함한, 기계학습 모델이다. 상기 기계학습 모델은 뉴럴 네트워크 구조를 가진다.
상기 얼굴 검출 유닛은 다양한 얼굴 영역 검출 알고리즘을 통해 제1 사용자의 얼굴 영역을 검출할 수도 있다. 상기 얼굴 영역 검출 알고리즘은, 예를 들어 Haar, NN(Neural Network), SVM(Support Vector Machine), Gabor, 또는 SIFT을 포함할 수도 있으나, 이에 제한되지 않으며 기타 영역 검출 알고리즘일 수도 있다.
일부 실시 예들에서, 상기 제1 사용자의 이미지 특징은 제1 사용자의 얼굴 내 랜드마크(landmarks)를 포함할 수도 있다. 상기 랜드마크는 눈, 코, 입, 귀 등과 같은 얼굴 해부학적 특징에 연관된 정보이다. 상기 랜드마크는 얼굴 내에 서 일정한 상대 위치를 가지며, 얼굴 포즈에 따른 기하학적 관계의 변함이 적다. 여기서, 포즈는 얼굴의 표정, 또는 얼굴의 회전 방향, 기울임 각도 등을 나타낸다. 랜드마크를 추출하는 것은 랜드마크를 식별하고, 식별된 랜드마크의 위치 정보를 산출하는 것을 포함한다.
또한, 상기 제1 사용자의 이미지 특징은 모서리, 에지로 표현 가능한 기하학적 특징을 포함한다. 상기 기학적 특징은 랜드마크 사이를 연결한 에지를 포함할 수도 있다. 상기 모서리는 상기 랜드마크로 추출되지 않은 모서리 포인트일 수도 있다.
상기 특징 추출 유닛은 다양한 특징 추출 알고리즘을 통해 제1 사용자의 이미지 특징을 추출할 수도 있다. 상기 특징 추출 알고리즘은, 예를 들어, ACM(Active Contour Model), ASM(Active Shape Model), AAM(Active Appearance model), SDM(Supervised Descent Method), 또는 이미지 특징을 추출하도록 구성된 뉴럴 네트워크를 포함할 수도 있으나, 이에 제한되지 않으며 기타 랜드마크 추출 알고리즘일 수도 있다. 상기 이미지 특징을 추출하도록 구성된 뉴럴 네트워크는 컨볼루션 레이어, 또는 기타 저차원 필터 레이어를 포함한 뉴럴 네트워크일 수도 있다.
상기 감정 판단 유닛은 입력 이미지로부터 추출된 특징과 감정 상태 간의 상관 관계를 추론하여 제1 사용자의 감정 상태를 판단하도록 구성된 뉴럴 네트워크 구조를 가진다. 상기 감정 판단 유닛은 입력된 특징에 대응한 제1 사용자가 모델에 미리 지정된 복수의 감정 상태 각각에 분류될 확률을 입력된 특징에 기초하여 각각 산출하고, 산출된 확률에 기초하여 제1 사용자의 감정 상태를 판단할 수도 있다. 산출된 확률 값이 가장 높은 감정 상태가 제1 사용자의 감정 상태로 판단될 수도 있다.
상기 뉴럴 네트워크 구조는, 예를 들어 완전 연결 레이어, 또는 MLP(Multi-layer Perceptron)일 수도 있으나, 이에 제한되지 않으며 기타 NN 구조일 수도 있다.
상기 감정 인식 모델은 복수의 트래이닝 샘플로 이루어진 트래이닝 데이터 세트를 이용하여 미리 학습될 수도 있다. 각 트래이닝 샘플은 트래이닝 데이터 및 레이블 데이터를 각각 가진다. 상기 트래이닝 데이터는 제1 사용자의 샘플 이미지 데이터를 포함한다. 상기 레이블 데이터는 샘플 이미지 촬영 당시 제1 사용자의 실제 감정 상태일 수도 있다.
상기 감정 인식 모델은 트래이닝 샘플 각각의 트래이닝 데이터가 입력되면, 내부 파라미터로 트래이닝 데이터를 연산 처리하여 결과 값(즉, 예측된 감정 상태)을 산출한다. 상기 감정 인식 모델의 파라미터는 상기 연산 결과 값과 레이블 데이터의 값(실제 감정 상태) 간의 오차가 보다 감소하도록 학습된다. 학습 완료된 감정 인식 모델은 상기 오차가 최소화되는 파라미터를 가진다.
일부 실시 예들에서, 미리 학습된 감정 인식 모델은 감정 판단 유닛이 학습된 것일 수도 있다. 얼굴 검출 유닛, 및 특징 추출 유닛 중 적어도 하나는 별도의 학습 없이 이미 공개된 알고리즘을 그대로 이용할 수도 있다.
이 경우, 상기 감정 판단 유닛은 복수의 트래이닝 샘플로 이루어진 트래이닝 데이터 세트를 이용하여 미리 학습될 수도 있다. 트래이닝 샘플 내 트래이닝 데이터는 입력 이미지 내 얼굴 영역으로부터 추출된 샘플 특징 데이터를 포함한다. 상기 레이블 데이터는 샘플 특징이 추출된 샘플 이미지 촬영 당시 제1 사용자의 실제 감정 상태일 수도 있다.
감정 판단 유닛의 학습 과정은 감정 인식 모델의 학습과정과 유사하므로, 자세한 설명은 생략한다.
일부 실시 에들에서, 상기 감정 인식 모델은 트래이닝 데이터 세트에 따라 다중 감정 상태를 판단하도록 구성될 수도 있다. 상기 다중 감정 상태는 제1 뎁스의 감정 상태 및 제2 뎁스의 감정 상태를 포함한다.
도 7은, 본 출원의 일 실시 예에 따른, 제1 사용자의 다중 감정 상태를 판단하는 과정의 개략도이고, 도 8은, 도 7의 과정을 뎁스별로 설명한 세부 개략도이다.
도 7 및 도 8을 참조하면, 상기 제1 전자 장치(110_1)는 감정 유형 및 감정 종류 중 적어도 하나를 제1 사용자(100_1)의 감정 상태로 판단할 수도 있다. 상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 이미지에서 얼굴 영역을 검출하고, 상기 얼굴 영역에서 특징을 추출하여 제1 사용자(100_1)의 감정 유형을 제1 뎁스로 판단하고, 상기 얼굴 영역에서 특징을 추출하여 제1 사용자(100_1)의 감정 종류를 제2 뎁스로 판단하도록 구성될 수도 있다.
상기 감정 유형은 긍정 및 부정을 포함한다. 예를 들어, 상기 감정 유형은 긍정, 부정만을 포함하거나, 또는 도 8에 도시된 것처럼 긍정, 중립, 부정을 포함할 수도 있다.
상기 감정 종류는 감정 유형과 다른 차원에서 감정 상태를 보다 세분화한 것이다. 예를 들어, 상기 감정 종류는, 도 8에 도시된 것처럼 7종의 종류를 포함할 수도 있다. 그러나, 도 8의 감정 종류의 수는 단지 예시적인 것으로서, 실시 예들에 따라 그 종류, 수가 변경될 수도 있다.
이를 위해, 상기 감정 인식 모델은 제1 사용자(100_1)의 감정 유형을 판단하기 위한 제1 감정 판단 유닛, 및 제1 사용자(100_1)의 감정 종류를 판단하기 위한 제2 감정 판단 유닛을 포함할 수도 있다.
상기 제1 감정 판단 유닛 및 제2 감정 판단 유닛은 서로 다른 레이블 데이터를 포함한 트래이닝 데이터 세트를 이용하여 학습될 수도 있다. 상기 제1 감정 판단 유닛의 트래이닝 데이터 세트 내 레이블 데이터 각각은 긍정, 부정 또는 중립을 나타낼 수도 있다. 상기 제2 감정 판단 유닛의 트래이닝 데이터 세트 내 레이블 데이터는 7종의 감정 종류 중 어느 하나를 나타낼 수도 있다.
이러한 트래이닝 데이터 세트를 이용하여 학습된 감정 판단 유닛에 의해 감정 유형 및/또는 감정 종류가 감정 상태로 판단되는 과정은 도 4, 도 5의 과정과 유사하므로, 자세한 설명은 생략한다.
다시 도 4를 참조하면, 상기 단계(S440)에서 제1 전자 장치(110_1)는 단일 텍스트 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 음성 데이터 및/또는 제1 사용자(100_1)의 테스트 데이터로부터 제1 사용자(100_1)의 제2, 제3 감정 상태를 판단할 수도 있다.
도 9는, 본 출원의 일 실시 예에 따른, 텍스트 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 감정 상태를 판단하는 과정의 흐름도이다.
도 9를 참조하면, 상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 텍스트 데이터를 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 제1 사용자(100_1)의 제2 감정 상태를 판단할 수도 있다(S440).
도 9에 도시된 것처럼 제1 사용자(100_1)의 텍스트 데이터는 활동 데이터 내 제1 사용자(100_1)의 텍스트 데이터이거나, 또는 활동 데이터 내 제1 사용자(100_1)의 음성 데이터를 텍스트 형식으로 변환한 데이터일 수도 있다.
이를 위해, 상기 제1 전자 장치(110_1)는 입력 음성을 텍스트로 변환하는 STT(Speech-to-text) 유닛을 포함할 수도 있다. 상기 STT 유닛은 음성 데이터에서 음성 특징을 추출하고 추출된 음성 특징에 기초하여 음성 데이트에 대응한 텍스트를 산출하도록 구성된다. 상기 STT 유닛은 인공 신경망으로 이루어질 수도 있다. 상기 STT 유닛의 파라미터는 기계학습 모델의 학습 방식에 의해 트래이닝 데이터 세트의 언어 음성을 언어 텍스트로 변환하기 위한 값을 가질 수도 있다.
상기 텍스트 기반 감정 인식 모델은 입력 텍스트를 복수의 토큰으로 토큰화하고 복수의 토큰 각각을 임베딩 처리하여 텍스트 벡터를 산출하며, 모델에 대해 미리 지정된 복수의 감정 상태 중에서 산출된 텍스트 벡터에 기초하여 입력 텍스트가 가리키는 제1 사용자(100_1)의 감정 상태를 분류하도록 구성된, 기계학습된 자연어 처리 모델이다.
상기 자연어 처리 모델은, 예를 들어 BERT(Bidirectional Encoder Representations from Transformers), ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately)와 같이, 입력 텍스트를 단어 단위로 각각 토큰화하고 임베딩 처리하거나, 토큰화한 단어를 보다 큰 단위의 텍스트(예컨대, 문구, 문장, 단락 등)로 세그먼트화하고 임베딩 처리하거나, 및/또는 토큰 순서대로 인코딩 처리하도록 구성될 수도 있다. 그러나, 상기 자연어 처리 모델은 전술한 모델에 제한되지 않으며, 입력 텍스트로부터 텍스트 벡터를 산출 가능한 다양한 구조를 가질 수도 있다.
상기 자연어 처리 모델의 파라미터는 대상 언어를 처리하기 위한 값을 갖도록 미리 설계된 것일 수도 있다. 예를 들어, 상기 시스템(1)이 한국어 데이터를 처리하도록 설계된 경우, 상기 전처리 유닛은 Colbert, Electra 또는 한국어를 처리하도록 설계된 기타 자연어 처리 모델을 포함할 수도 있다.
상기 자연어 처리 모델의 학습 과정은 도 5 등을 참조해 전술한 이미지 기반 감정 인식 모델의 학습 과정과 유사하므로, 차이점을 위주로 서술한다.
상기 텍스트 벡터는 도 5의 제1 사용자(100_1)의 이미지 특징에 대응한다. 따라서, 상기 자연어 처리 모델은 상기 텍스트 벡터를 포함한 트래이닝 데이터를 이용하여 학습된다.
또한, 일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 텍스트 전처리 유닛을 더 포함할 수도 있다. 상기 제1 전자 장치(110_1)는 활동 데이터 내 제1 사용자(100_1)의 텍스트 데이터이거나, 또는 활동 데이터 내 제1 사용자(100_1)의 음성 데이터를 텍스트 형식으로 변환한 데이터를 텍스트 기반 감정 인식 모델에 입력하기 이전에, 텍스트 전처리 유닛에 의해 전 처리할 수도 있다. 그러면, 전 처리된 텍스트가 상기 텍스트 기반 감정 인식 모델에 입력된다.
상기 텍스트 전처리 유닛은, 토큰화 이전에, 전처리 대상의 텍스트의 말뭉치(corpus)에서 미리 설정된 특수 기호, 불 용어(stop word) 텍스트를 추출하여 제거하거나, 및/또는 정규화 처리를 수행하도록 구성될 수도 있으나, 이에 제한되지 않으며 기타 다양한 텍스트 전처리 동작을 수행할 수도 있다.
일 예에서, 상기 텍스트 전처리 유닛은 특수 기호, 불 용어(stop word)로 미리 등록된 참조 텍스트를 이용하여 전처리 대상의 텍스트의 말뭉치가 특수 기호, 불 용어에 해당한 텍스트를 포함하는 지 확인할 수도 있다. 상기 텍스트 전처리 유닛은 텍스트의 말뭉치에서 특수 기호, 불용어를 제거하고 토큰화 동작을 수행할 수도 있다.
상기 정규화 처리는 갖고 잇는 말뭉치로부터 노이즈 데이터를 제거하는 정제(cleaning) 처리 및/또는 정규 표현식 처리를 포함한다.
상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 텍스트 데이터를 전처리하고, 전처리된 텍스트를 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 입력 텍스트를 임베딩 처리하여 특징 벡터를 산출하고, 산출된 특징 벡터에 기초하여 상기 특징 벡터가 분류될 각각의 확률 값을 산출한 뒤, 산출된 확률 값에 기초하여 제1 사용자(100_1)의 제2 감정 상태를 판단할 수도 있다.
도 10은, 본 출원의 일 실시 예에 따른, 음성 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 감정 상태를 판단하는 과정의 개략도이다.
도 10를 참조하면, 일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 음성 데이터 내 음성 신호로부터 제1 사용자(100_1)의 제3-2 감정 상태를 판단하도록 더 구성될 수도 있다.
이 경우, 상기 음성 데이터로부터 제1 사용자(100_1)의 감정 산출하는 단계는, 제1 사용자(100_1)의 음성 데이터를 텍스트 데이터로 변환하고, 상기 변환된 텍스트 데이터를 미리 학습된 도 8의 텍스트 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 제3-1 감정 상태를 판단하는 단계; 및/또는 미리 학습된 도 10의 음성 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 음성 데이터로부터 제1 사용자(100_1)의 제3-2 감정 상태를 판단하는 단계;를 포함할 수도 있다.
상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 전처리하고, 전처리된 텍스트를 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 입력 텍스트를 임베딩 처리하여 특징 벡터를 산출하고, 산출된 특징 벡터에 기초하여 상기 특징 벡터가 분류될 각각의 확률 값을 산출한 뒤, 산출된 확률 값에 기초하여 제1 사용자(100_1)의 제3-1 감정 상태를 판단할 수도 있다
상기 음성 기반 감정 인식 모델은 입력 신호로부터 음성 특징을 추출하고, 모델에 미리 지정된 복수의 감정 상태 중에서 추출된 음성 특징에 기초하여 입력 신호가 가리키는 제1 사용자(100_1)의 감정 상태를 분류하도록 구성된, 기계학습 모델이다. 상기 기계학습 모델은 신호에서 특징을 추출하고 분류하는 뉴럴 네트워크 구조를 가진다.
상기 음성 기반 감정 인식 모델은 CNN(Convolutional Neural Network), 기타 NN 구조를 가질 수도 있다.
상기 음성 기반 감정 인식 모델은 상기 이미지 기반 감정 인식 모델과 유사하므로, 자세한 설명은 생략한다.
일부 실시 예들에서, 상기 제1 사용자(100_1)의 제3-2 감정 상태를 판단하는 단계는, 음성 신호의 노이즈를 제거하는 단계; 및 노이즈 제거된 음성 신호를 음성 기반 감정 인식 모델에 입력하는 단계를 포함할 수도 있다.
전술한 바와 같이, 제1 전자 장치(110_1)는 음성 특징을 추출하기 이전에 음성 신호의 노이즈를 제거하는 음성 전처리 유닛을 포함할 수도 있다. 그러면 전 처리된 음성 신호가 상기 음성 기반 감정 인식 모델에 입력된다.
도 8과 마찬가지로, 상기 도 9, 도 10의 감정 인식 모델 역시 트래이닝 데이터 세트에 따라 다중 감정 상태를 판단하도록 구성될 수도 있다. 상기 다중 감정 상태는 제1 뎁스의 감정 상태 및 제2 뎁스의 감정 상태를 포함한다.
상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 텍스트, 음성을 처리하여 제1 사용자(100_1)의 감정 유형을 제1 뎁스로 판단하고, 상기 제1 사용자(100_1)의 텍스트, 음성을 처리하여 제1 사용자(100_1)의 감정 종류를 제2 뎁스로 판단하도록 구성될 수도 있다.
도 11은, 본 출원의 일 실시 예에 따른, 통합 감정 인식 모델을 이용하여 다양한 활동 데이터로부터 제1 사용자(100_1)의 감정 상태를 판단하는 과정의 개략도이다.
도 11을 참조하면, 통합 감정 인식 모델은, 도 5의 이미지 기반 감정 인식 모델, 도 9의 텍스트 기반 감정 인식 모델, 및 도 10의 음성 기반 감정 인식 모델 중 2 이상의 모델을 서브 모델로 포함한다. 상기 통합 감정 인식 모델은 제1 사용자(100_1)의 이미지 데이터, 텍스트 데이터, 음성 데이터 중 2이상의 데이터로부터 제1 사용자(100_1)의 감정 상태를 인식할 수도 있다.
상기 제1 전자 장치(110_1)는 활동 데이터 내 제1 사용자(100_1)의 이미지 데이터를 미리 학습된 이미지 기반 감정 인식 모델에 입력하여 제1 사용자(100_1)의 제1 감정 상태를 판단하고, 활동 데이터 내 제1 사용자(100_1)의 텍스트 데이터를 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 제1 사용자(100_1)의 제2 감정 상태를 판단하며, 활동 데이터 내 제1 사용자(100_1)의 음성 데이터를 텍스트 데이터로 변환하여 상기 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 제3-1 감정 상태를 판단하거나 상기 제1 사용자(100_1)의 음성 데이터를 미리 학습된 음성 기반 감정 인식 모델에 입력하여 제3-2 감정 상태를 판단할 수도 있다.
상기 단계(S440)는, 제1 사용자(100_1)의 제1 내지 제3 감정 상태 중 복수의 감정 상태가 판단된 경우, 복수의 감정 상태 각각으로 분류될 확률 값(예를 들어, 판단된 제1 감정 상태로 분류될 확률 값, 판단된 제2 감정 상태로 분류될 확률 값, 및 판단된 제3 감정 상태로 분류될 확률 값)에 기초하여 제1 사용자(100_1)의 최종 감정 상태를 판단하는 단계를 포함한다.
이를 위해, 상기 제1 전자 장치(110_1)는 감정 인식 모델에 의해 각각 판단된 감정 상태로 분류될 각각의 확률 값에 기초하여 제1 사용자(100_1)의 최종 감정 상태를 판단할 수도 있다.
일부 실시 예들에서, 상기 제1 전자 장치(1101)는 활동 데이터에 따라 서로 다른 가중치를 부여하여 제1 사용자(100_1)의 감정 상태를 보다 진실되게 판단할 수도 있다.
사람의 감정 상태는 타인에게 노출되지 않는 측면으로 보다 진실되게 나타난다. 특히, 사람은 부정적인 감정 상태를 타인에게 노출되지 않고 감추는 경향이 있다. 제1 사용자(100_1)의 상호작용 활동에 이용된 활동 데이터는 다른 제1 사용자(100_1)에게 노출되기 때문에, 완전히 거짓된 감정 상태를 나타내거나 진실된 감정 상태이더라도 감정 상태의 수준이 다소 억제된 것을 나타낼 수도 있다.
상기 제1 전자 장치(1101)는 제1 사용자(100_1)의 상호작용 활동에 이용된 활동 데이터로부터 판단된 감정 상태에 대해서는 보다 낮은 가중치를 부여하고, 제1 사용자(100_1)의 상호작용 활동에 이용되지 않은 활동 데이터로부터 판단된 감정 상태에 대해서는 보다 높은 가중치를 부여하도록 구성될 수도 있다.
상호작용 활동에 이용된 데이터는 상호작용 활동을 위해 요구되는 데이터이다. 일부 실시 예들에서, 상기 상호작용 활동을 위해 이용된 데이터는 상호작용 활동 내용을 위한 데이터일 수도 있다.
예를 들어, 상기 활동 데이터가 텍스트 채팅 활동에 의해 수신된 경우, 제1 사용자(100_1)의 상호작용 활동에 이용되지 않은 활동 데이터는 이미지 데이터이고, 제1 사용자(100_1)의 상호작용 활동에 이용된 활동 데이터는 텍스트 데이터이다. 이 경우, 상기 감정 분석 모듈(240)은 이미지 데이터로부터 판단된 제1 감정 상태에 대해서는 보다 높은 제1 가중치를 부여하고, 텍스트 데이터로부터 판단된 제2 감정 상태에 대해서는 보다 낮은 제2 가중치를 부여하며, 제1 가중치를 제1 감정 상태의 값에 적용하고 제2 가중치를 제2 감정 상태의 값에 적용한 연산 값에 기초해 최종 감정 상태를 판단할 수도 있다. 연산 값에 가장 가까운 값을 갖는 감정 상태가 최종 감정 상태로 판단될 수도 있다.
또한, 일부 실시 예들에서, 상기 감정 분석 모듈(240)은 앙상블 유닛(ensemble learning)을 포함할 수도 있다. 상기 앙상블 유닛은 다수의 개별 감정 인식 모델의 판단 결과와 제1 사용자(100_1)의 감정 상태 사이의 상관 관계를 종합적으로 추론하여 제1 사용자(100_1)의 감정 상태를 산출하도록 구성된다. 상기 앙상블 유닛은, 보팅(voting), 배깅(bagging), 부스팅(boosting), 또는 스태킹(stacking) 방식을 이용하도록 구성될 수도 있다.
이 경우, 상기 감정 분석 모듈(240)은 활동 데이터에 따라 부여된 가중치에 해당 감정 상태의 값을 적용한 연산 결과를 앙상블 유닛에 적용하여 제1 사용자(100_1)의 최종 감정 상태를 판단할 수도 있다.
특정 실시 예들에서, 도 5의 이미지 기반 감정 인식 모델, 도 9의 텍스트 기반 감정 인식 모델, 도 10의 음성 기반 감정 인식 모델, 도 11의 통합 감정 인식 모델을 학습하기 위해 이용되는 트래이닝 데이터는 각 모델에 대응한 활동 데이터는 물론, 제2 사용자(100_2)의 상호작용 상대방 유형 정보를 더 포함할 수도 있다. 농담과 같은 활동 내용, 또는 어투와 같은 표현 스타일에 대한 반응으로 감정이 발현되는데, 이 때 발현되는 감정 상태는 동일한 반응을 주는 상호작용 상대방이 누구냐에 따라 상이할 수도 있다. 예를 들어, 사회적 관계가 깊은 제1 유형의 상호작용 상대방으로부터 농담을 수신한 제1 사용자(100_1)는 긍정적인 감정 상태가 판단될 수도 있는 반면, 동일한 내용의 농담을 사회적 관계가 깊지 않는 제3 유형의 상호작용 상대방으로부터 수신한 동일한 제1 사용자(100_1)는 부정적인 감정 상태가 판단될 수도 있다.
본 출원의 감정 인식 모델은 상호작용 상대방의 유형을 고려하도록 학습됨으로써, 상호작용 활동 동안의 제1 사용자의 감정 상태를 보다 정확하게 판단한다.
이와 같이 판단된 제1 감정 상태는 제2 사용자(100_2)와 함께하는 상호작용 활동으로부터 판단된 것이므로, 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수와 관련된다.
상기 제1 전자 장치(110_1)는, 감정 상태(또는 최종 감정 상태)가 판단된 경우, 판단된 감정 상태로 분류될 확률 값에 기초하여 감정 상태 점수의 값을 산출할 수도 있다.
예를 들어, 제1 전자 장치(110_1)가 도 5의 이미지 기반 감정 인식 모델을 이용하여 사용자의 감정 상태를 긍정으로 판단한 경우, 감정 상태가 긍정으로 분류될 확률 값(예컨대, 0.9)을 감정 상태 점수의 값으로 산출할 수도 있다.
일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 판단된 감정 상태로 분류될 확률 값을 미리 지정된 스케일 범위로 변환한 값을 감정 상태 점수의 값으로 산출할 수도 있다. 예를 들어, 제1 전자 장치(110_1)는 확률 값을 백분율로 변환한 값을 감정 상태 점수의 값으로 산출할 수도 있다.
산출된 제1 사용자(100_1)의 감정 상태 점수의 값은 관계 감정 지수를 측정하는데 이용된다.
그리고 판단된 제1 사용자(100_1)의 감정 상태 정보(예컨대, 감정 유형, 감정 종류)는 제2 사용자(100_2)에게 공지될 수도 있다.
단일 상호작용 활동 동안 복수의 감정 판단 동작이 수행되어 2이상의 감정 상태가 판단된 경우, 상기 단일 상호작용 활동에 대한 대표 감정 상태가 판단될 수도 있다.
일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 2이상의 감정 상태 중 가장 많이 판단된 감정 상태를 대표 감정 상태로 판단할 수도 있다.
또한, 다른 일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 2이상의 감정 상태 중 가장 오랜 시간 지속되면서 2이상의 감정 상태 각각의 확률 값 중에서 가장 높은 확률 값이 지속 기간 중에 산출된 감정 상태를 대표 감정 상태로 판단할 수도 있다.
다시 도 4를 참조하면, 상기 산출된 감정 상태 점수에 기초하여 상기 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 관계 감정 지수를 측정하는 단계(S440)는, 산출된 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수 및 제1 사용자(100_1)와 제2 사용자(100_2)의 상호작용 활동 동안 상호작용 행동의 회수에 기초하여 상호작용 상대방 유형에 따른 관계 감정 지수를 측정할 수도 있다. 상기 관계 감정 지수는 제2 사용자(100_2)의 상호작용 상대방 유형에 따라 측정되는 것일 수도 있다. 상기 관계 감정 지수는 상호작용 상대방 유형에 대응한 지수 유형으로 분류될 수도 있다. 상기 지수 유형은 애정도, 호감도, 및/또는 친밀도를 포함할 수도 있다.
상기 단계(S440)는, 제2 사용자(100_2)가 제1 유형의 상호작용 상대방일 경우, 애정도(affection) 지수를 산출하는 단계; 제2 사용자(100_2)가 제2 유형의 상호작용 상대방일 경우, 호감도(preference) 지수를 산출하는 단계; 및 제2 사용자(100_2)가 제3 유형의 상호작용 상대방일 경우, 친밀도(affinity) 지수를 산출하는 단계를 포함할 수도 있다.
상기 관계 감정 지수는 지수 유형 정보, 및 그 값을 포함할 수도 있다. 또한, 일부 실시 예들에서, 상기 관계 감정 지수는 상호작용 상대방의 유형 정보를 더 포함할 수도 있다.
도 12는, 본 출원의 일 실시 예에 따른, 상호작용 상대방의 유형에 따른 관계 감정 지수를 산출하는 과정의 개략도이다.
도 12를 참조하면, 애정도 지수, 호감도 지수, 친밀도 지수는 각각의 상호작용 활동별로 산출될 수도 있다.
도 12에 도시된 것처럼, 각 유형별 관계 감정 지수의 값을 산출하는 수학식은 동일할 수도 있다.
예를 들어, 상기 제1 전자 장치(110_1)는 1회의 상호작용 활동 동안 제1 사용자(100_1)의 상호작용 동작의 회수와 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수의 값의 곱을 관계 감정 지수의 값으로 산출할 수도 있다. 단일 상호작용 활동 동안 복수의 감정 상태 판단 동작이 수행되어 2이상의 감정 상태가 판단된 경우, 대표 감정 상태와 관련된 감정 상태 점수의 값이 도 12의 수학식에 적용된다.
일부 실시 예들에서, 상기 감정 상태 점수의 값은 판단된 감정 상태 정보에 더 기초하여 산출될 수도 있다. 도 12에 도시된 것처럼 판단된 감정 상태 정보에 대응한 가중치가 추가로 곱해질 수도 있다. 상기 가중치는 상기 판단된 감정 유형이 긍정일 경우 제1 양의 값을 가질 수도 있다. 상기 가중치는 감정 유형이 부정일 경우 제1 음의 값을 가질 수도 있다. 일부 실시 예들에서, 판단된 감정 유형이 중립일 경우, 상기 가중치는 제1 음의 값과 제1 양의 값의 사이의 임의의 값일 수도 있다. 일부 실시 예들에서, 상기 판단된 감정 유형이 중립일 경우 가중치는 0일 수도 있다.
도 13은, 본 출원의 다른 일 실시 예에 따른, 상호작용 활동별 가중치를 이용하여 관계 감정 지수를 산출하는 과정의 개략도이다.
도 13을 참조하면, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)은 상호작용 활동별로 지수 가중치를 미리 설정할 수도 있다. 상기 지수 가중치는 제1 사용자(100_1)가 상호활동 행동을 통해 보다 잘 전달되거나 증폭되는 것일수록 더 높은 지수 가중치를 가진다.
예를 들어, 음성 채팅이 텍스트 채팅 보다 더 높은 지수 가중치를 갖도록 설정될 수도 있다. 또한, 보다 풍부한 내용을 전송할 수 있는 텍스트 채팅이 이모티콘 채팅 또는 제스처 채팅 보다 더 높은 지수 가중치를 갖도록 설정될 수도 있다. 또한, 사용자의 감정 상태가 상호활동 행동만으로는 판단되기 어려운 상호작용 활동(에컨대, 행사 공통 참여, 또는 공간 공통 체류)는 가장 낮은 지수 가중치가 설정될 수도 있다.
일부 실시 예들에서, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 제1 사용자(100_1)의 개인정보 중 적어도 일부, 제2 사용자(100_2)의 개인정보 중 적어도 일부, 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수, 및 관계 감정 지수를 포함한 감정 측정 내역을 생성하는 단계(S450)를 포함할 수도 있다.
상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)은 상기 단계(S440)에서 관계 감정 지수가 측정되면, 제1 사용자(100_1)의 개인정보 중 적어도 일부, 제2 사용자(100_2)의 개인정보 중 적어도 일부, 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수, 및 관계 감정 지수를 포함한 감정 측정 내역을 생성하고, 이를 서버(130)에 저장할 수도 있다. 감정 상태 점수는 감정 상태(유형, 종류) 정보, 및 점수 값을 포함한다. 상기 관계 감정 지수는 지수 유형 정보 및 지수 값을 포함한다.
또한, 상기 감정 측정 내역을 생성하는 단계(S450)는, 감정 측정 데이터베이스를 서버(130)에 구축하는 단계를 포함할 수도 있다.
또한, 상기 감정 측정 내역을 생성하는 단계(S450)는 이미 저장된 감정 측정 내역를 새로운 감정 상태 점수, 및 관계 감정 지수로 업데이트하는 단계를 더 포함할 수도 있다.
상기 단계(S450)에서 서버(130)는 개별 상호작용 활동에 따른 제1, 제2 사용자(100_1, 100_2)의 개인정보 중 적어도 일부(예컨대, 식별정보), 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수, 및 관계 감정 지수를 제1 전자 장치(110_1)로부터 수신하고, 감정 측정 내역에 저장된 기존 감정 상태 점수, 및 기존 관계 감정 지수를 신규 감정 상태 점수, 및 관계 감정 지수와 합산하여 누적 감정 상태 점수, 및 관계 감정 지수를 업데이트할 수도 있다.
다시 도 4를 참조하면, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은 단계(S440)에서 측정된, 상기 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 관계 감정 지수를 제1 전자 장치(110_1)에서 표시하는 단계(S460)를 더 포함한다. 일부 실시 예들에서, 상기 단계(S460)는 단계(S450) 이후에 수행되거나 동시에 수행될 수도 있다.
상기 단계(S460)에서 제1 사용자(100_1)는 산출된 관계 감정 지수(예컨대, 호감도 지수)를 출력 장치(150)에 의해 시청할 수 있어 자신이 무의식중에 발현한 관계 감정의 종류/깊이를 정량적으로 확인할 수도 있다.
또한, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 상기 단계(S440)이후에, 서버(130)로부터 복수의 제2 사용자(100_2) 각각에 대한 감정 측정 내역을 검색하여 상호작용 기록을 전자 장치(110_1)에서 표시하는 단계(S470); 및/또는 상호작용 활동 동안 상기 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태에 기초하여 적어도 하나의 컨텐츠를 상기 제2 사용자의 전자 장치(110_2)로 전송하는 단계(S480)를 더 포함할 수도 있다.
도 14는, 본 출원의 일 실시 예에 따른, 상호작용 기록을 표시한 화면을 도시한다.
도 14를 참조하면, 상기 단계(S470)는, 제1 전자 장치(110_1)가 상호작용 기록 화면 표시 명령을 입력 받아 제1 사용자(100_1)의 감정 측정 내역 요청을 서버(130)로 전송하는 단계; 서버(130)에서 감정 측정 데이터베이스에서 제1 사용자(100_1)의 식별정보를 데이터베이스 주소로 갖는 데이터를 검색하고, 검색된 데이터 및 검색된 데이터의 데이터베이스 주소에 기초하여 제1 사용자(100_1)와 함께 상호작용 활동했던 제2 사용자(100_2)에 대한 감정 측정 내역을 형성하여 상기 제1 전자 장치(110_1)로 전송하는 단계; 제1 전자 장치(110_1)에서 수신한 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 측정 내역에 기초하여 상호작용 기록을 표시한 화면을 표시하는 단계를 포함할 수도 있다.
상기 단계(S470)에서 감정 측정 데이터베이스에서 검색되는 데이터는 관계 감정 지수(예컨대, 누적 관계 감정 지수), 판단된 감정 상태(예컨대, 최근 판단 감정 상태)를 포함한다. 상기 제1 전자 장치(110_1)는 관계 감정 지수 내 지수 유형 정보로부터 제2 사용자(100_2)의 상호작용 상대방 유형 정보를 도출하고 도출된 상호작용 상대방 유형 정보, 수신된 관계 감정 지수, 및 판단된 감정 상태를 포함한 상호작용 기록 화면을 표시할 수도 있다.
상기 상호작용 기록 화면에서 복수의 제2 사용자(100_2) 각각에 대한 상호작용 기록은 도 14와 같이 목록 형태로 표시될 수도 있으나, 이에 제한되진 않는다.
또한, 일부 실시 예들에서, 상기 상측법은, 상호기록 화면을 통해 상호작용 상대방의 유형을 재-지정하는 단계(S471)를 더 포함할 수도 있다.
서버(130)는 수신한 신규 감정 상태 점수 내 감정 상태 정보(유형, 종류)에 기초하여 가장 최근에 판단된 감정 상태를 업데이트할 수도 있다.
예를 들어, 제3 유형의 상호작용 상대방의 제2 사용자(100_2)와 지속된 상호작용 활동으로 인해 누적 지수가 높은 것이 상호작용 기록 화면을 통해 확인된다. 그러면, 제1 사용자(100_1)는 제2 사용자(100_2)의 상호작용 상대방의 유형을 제3 유형으로부터 제2 유형으로 자동으로 변경할 수도 있다.
도 15는, 본 출원의 일 실시 예에 따른, 2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태를 나타낸 컨텐츠를 전송하는 과정의 개략도이다.
도 15를 참조하면, 상기 적어도 하나의 컨텐츠를 상기 제2 사용자의 전자 장치(110_2)로 전송하는 단계(S480)는, 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 판단된 감정 상태를 나타낸 제1 컨텐츠를 제2 전자 장치(110_2)로 전송하는 단계를 포함할 수도 있다.
상기 제1 컨텐츠는 상호작용 활동 동안에 판단된 감정 상태를 나타낸 컨텐츠일 수도 있다. 상기 제1 컨텐츠는 이모티콘, 텍스트, 기타 멀티미디어 데이터일 수도 있다.
상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)에는 각각의 감정 상태별 컨텐츠가 미리 저장될 수도 있다. 상기 감정 상태는 긍정, 또는 부정일 수도 있다.
또한, 상기 단계(S480)는, 상기 제1 전자 장치(110_1)에 의해 제1 컨텐츠의 전송 사실을 서버(130)로 전송하는 단계; 및 상기 제1 컨텐츠의 전송 사실을 수신한 경우, 서버(130)는 제1 전송 사실 내 감정 상태에 대응한 컨텐츠를 포함한 메시지를 제2 전자 장치(110_2)로 전송하는 단계를 포함할 수도 있다.
상기 전송 사실은 제1 컨텐츠의 전송을 야기한 제1 사용자(100_1)의 감정 상태를 포함할 수도 있다.
상기 제2 컨텐츠는 감정 상태별로 미리 설정되어 서버(130)에 저장될 수도 있다.
이러한 컨텐츠 메시지를 전송함으로써, 상호작용 상대방이 무례한 행동을 삼가하고, 긍정적인 행동은 더욱 빈번히 하도록 유도할 수도 있다.
또한, 일부 실시 예들에서, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 온라인 공간 또는 지리적 공간 상에서 일정 거리 내에 제2 사용자(100_2)가 근접할 경우 근접한 제2 사용자(100_2)에 대해 갖고 있는 제1 사용자(100_1)의 감정 유형을 확인하고, 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 유형이 긍정인 경우 해당 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 전자 장치(110_2)로 전송하는 단계(S490)를 더 포함할 수도 있다. 상기 일정 거리는 거리 도메인이 온라인 공간인지 지리적 공간인지에 따라 상이한 값으로 설정될 수도 있다. 일부 실시 예들에서, 상기 단계(S490)에서 확인된 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 유형 정보를 더 전송할 수도 있다.
일부 실시 예들에서, 상기 온라인 공간 상에서 제1 사용자(100_1)와 제2 사용자(100_2) 간의 거리는 메타버스 세계 내 각각의 사용자 아바타 간의 메타버스 상에서의 거리일 수도 있다.
일부 실시 예들에서, 상기 전자 장치(110)는 지리적 공간 상에서 사용자(100) 간의 거리를 측정하기 위한 GPS 모듈을 더 포함할 수도 있다.
도 16은, 본 출원의 일 실시 예에 따른, 근접한 다른 사용자에게 자신의 긍정적 감정 상태를 표시하는 화면을 도시한다.
도 16을 참조하면, 근접한 제2 전자 장치(110_2)는 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 관계 감정 지수 및 감정 유형 정보를 수신하고, 제2 사용자(100_2)의 관점에서 제1 사용자(100_1)의 상호작용 상대방의 유형 정보를 검색하고, 검색된 제1 사용자(100_1)의 상호작용 상대방의 유형 정보, 및 관계 감정 지수 및 감정 유형 정보를 포함한 화면을 표시할 수도 있다(S490).
추가적으로, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)은 서버(130)에서 활동 시간 전체를 감정 상태가 판단된 각 사용자별 구간으로 구획하고, 각 사용자의 구획별 감정 유형이 상대방끼리 반대되지 않는 구획의 감정 유형을 선별하고, 선별된 감정 유형에 기초하여 제1 사용자(100_1)와 제2 사용자(100_2) 간의 궁합 점수를 추가로 산출할 수도 있다. 산출된 궁합 점수는 제1 전자 장치(110_1) 또는 제2 전자 장치(110_2)로 전송될 수도 있다.
감정 상태가 상호작용 행동이 발생하는 것에 반응하여 다수 판단될 경우, 각 상호작용 행동의 발생 시점부터 다음 상호작용 행동의 발생 시점까지의 시간을 구획할 수도 있다. 이 경우 각 구획별로 구획의 시작 부분의 상호작용 행동에 따라 판단된 감정 상태가 해당 구획의 감정 상태를 나타낸다.
상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)에서 2개의 감정 유형이 판단 가능할 경우, 반대되지 않는 감정 유형은 동일한 감정 유형을 나타낸다. 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)에서 3개의 감정 유형이 판단 가능할 경우, 반대되지 않는 감정 유형은 긍정-긍정, 부정-부정, 긍정-중립을 나타낸다.
감정 유형이 반대되지 않는 사용자별 구획은 구획 구간이 중첩되거나, 바로 인접한 시간인 구간을 나타낸다. 각자의 상호작용 행동이 서로 교차할 수도 있기 때문이다. 예를 들어, 제1 사용자(100_1)의 구간은 1시부터 1시 5분이고 제2 사용자(100_2)의 구간은 1시 5분부터 1시 10분일 경우, 이 두 구간은 감정 유형이 반대되는지 여부가 판단되는 대상이다.
일인칭 시점에서는 긍정적으로 느끼지만 전지적 시점에서는 둘의 작업 관계가 신통치 않을 수도 있다. 상기 시스템(1)은 자신은 느낄 수 없는 감정 측면의 궁합까지 수치화해서 제공한다.
일부 실시 예들에서, 상기 궁합 점수는 각 사용자(100)의 서로 대응한 구획의 감정 유형이 반대되지 않는 빈도에 기초하여 산출된다. 빈도가 증가할 수록 보다 높은 궁합 점수가 산출된다.
도 1의 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1) 및 도 4의 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법에서는 단계(S440)의 동작은 제1 전자 장치(110_1)에 의해 수행되는 것으로 서술되었으나, 다른 실시 예들에서는 서버(130)에서 수행되는 것으로 변경될 수도 있다. 이 경우, 상기 단계(S440)는, 포착된 데이터를 수신하는 단계; 측정하는 단계; 및 측정 결과를 전송하는 단계를 포함할 수도 있다.
하드웨어를 이용하여 본 발명의 실시 예를 구현하는 경우에는, 본 출원의 실시 예들을 수행하도록 구성된 ASICs(application specific integrated circuits) 또는 DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays) 등이 본 출원의 구성요소에 구비될 수 있다.
이상에서 설명한 본 출원의 실시 예들에 따른 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1) 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (10)

  1. 하나 이상의 컴퓨팅 장치에 의해 수행되는, 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법에 있어서,
    제1 사용자의 제1 전자 장치에서 복수의 다른 사용자를 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방 각각으로 지정하는 단계;
    상기 제1 전자 장치에서 전기 통신을 통해 제2 사용자와 상호작용 활동을 개시하는 단계 - 상호작용 활동은 각 사용자의 전자 장치를 통해 구현되는 상호작용 행동으로 이루어짐;
    상호작용 활동 동안 제1 전자 장치에서 제1 사용자의 이미지, 음성, 텍스트 중 하나 이상의 데이터를 포함한 활동 데이터를 포착하는 단계;
    미리 학습된 감정 인식 모델을 이용하여 상기 활동 데이터로부터 제2 사용자에 대한 제1 사용자의 감정 상태 점수를 산출하고, 산출된 감정 상태 점수에 기초하여 상기 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 측정하는 단계;를 포함하는,
    방법.
  2. 청구항 제1항에 있어서, 상기 제1 사용자의 활동 데이터로부터 제1 사용자의 감정 상태 점수를 판단하는 단계는,
    미리 학습된 이미지 기반 감정 인식 모델를 이용하여 제1 사용자의 이미지 데이터로부터 제1 사용자의 제1 감정 상태 점수를 산출하는 단계를 포함하고,
    상기 이미지 기반 감정 인식 모델은
    입력 이미지에서 얼굴 영역을 검출하는 얼굴 검출 유닛, 검출된 얼굴 영역에서 사용자의 이미지 특징을 추출하는 특징 추출 유닛, 및 모델에 미리 지정된 복수의 감정 상태 중에서 추출된 특징에 기초하여 입력 이미지 내 얼굴이 가리키는 사용자의 감정 상태를 분류하는 감정 판단 유닛을 포함한, 기계학습 모델이며,
    상기 감정 판단 유닛은 사용자의 감정 유형을 판단하기 위한 제1 감정 판단 유닛, 및 사용자의 감정 종류를 판단하기 위한 제2 감정 판단 유닛을 포함하고,
    상기 이미지 기반 감정 인식 모델은 상기 얼굴 영역에서 특징을 추출하여 사용자의 감정 유형을 제1 뎁스로 판단하고, 상기 얼굴 영역에서 특징을 추출하여 사용자의 감정 종류를 제2 뎁스로 판단하도록 구성되는 것을 특징으로 하는,
    방법.
  3. 청구항 제2항에 있어서, 상기 제1 사용자의 활동 데이터로부터 제1 사용자의 감정 상태 점수를 판단하는 단계는,
    미리 학습된 텍스트 기반 감정 인식 모델를 이용하여 제1 사용자의 텍스트 데이터로부터 제1 사용자의 제2 감정 상태 점수를 산출하는 단계, 및 사용자의 텍스트 데이터로부터 사용자의 제2 감정 상태를 판단하는 단계; 상기 텍스트 기반 감정 인식 모델 또는 미리 학습된 음성 기반 감정 인식 모델을 이용하여 사용자의 음성 데이터로부터 사용자의 제3 감정 상태를 판단하는 단계 중 하나 이상의 단계를 더 포함하는 것을 특징으로 하는,
    방법.
  4. 청구항 제3항에 있어서, 상기 제1 사용자의 활동 데이터로부터 제1 사용자의 감정 상태 점수를 판단하는 단계는,
    사용자의 제1 내지 제3 감정 상태 중 2이상의 감정 상태가 판단된 경우, 2이상의 감정 상태 각각으로 분류될 확률 값에 기초하여 사용자의 최종 감정 상태를 판단하는 단계를 더 포함하고,
    상기 최종 감정 상태를 판단하는 단계는,
    이미지 데이터로부터 판단된 제1 감정 상태에 대해서는 보다 높은 제1 가중치를 부여하고, 텍스트 데이터로부터 판단된 제2 감정 상태에 대해서는 보다 낮은 제2 가중치를 부여하며, 제1 가중치를 제1 감정 상태의 값에 적용하고 제2 가중치를 제2 감정 상태의 값에 적용한 연산 값에 기초해 최종 감정 상태를 판단하는 것을 특징으로 하는,
    방법.
  5. 청구항 제1항에 있어서, 상기 산출된 감정 상태 점수에 기초하여 상기 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 측정하는 단계는,
    산출된 제2 사용자에 대한 제1 사용자의 감정 상태 점수 및 제1 사용자와 제2 사용자의 상호작용 활동 동안 상호작용 행동의 회수에 기초하여 상호작용 상대방 유형에 따른 관계 감정 지수를 산출하는 단계를 포함하고,
    상기 상대방 유형에 따른 관계 감정 지수를 산출하는 단계는,
    제2 사용자가 제1 유형의 상호작용 상대방일 경우, 애정도(affection) 지수를 산출하는 단계;
    제2 사용자가 제2 유형의 상호작용 상대방일 경우, 호감도(preference) 지수를 산출하는 단계; 및
    제2 사용자가 제3 유형의 상호작용 상대방일 경우, 친밀도(affinity) 지수를 산출하는 단계를 포함하고,
    상기 감정 상태 점수는 감정 상태의 판단 결과 및 판단 결과의 확률 값으로 표현되는 것을 특징으로 하는,
    방법.
  6. 청구항 제1항에 있어서, 상기 방법은,
    제1 사용자의 식별정보, 제2 사용자의 식별정보, 제2 사용자에 대한 제1 사용자의 감정 상태 점수, 및 관계 감정 지수를 포함한 감정 측정 내역을 생성하는 단계를 더 포함하고,
    상기 감정 상태 점수는 감정 상태 정보 및 해당 점수 값을 포함하고, 상기 관계 감정 지수는 지수 유형 정보 및 해당 지수 값을 포함하며,
    상기 감정 측정 내역을 생성하는 단계는,
    감정 측정 데이터베이스를 서버에 구축하는 단계; 및
    이미 저장된 감정 측정 내역를 새로운 감정 상태 점수, 및 관계 감정 지수로 업데이트하는 단계를 포함하는 것을 특징으로 하는,
    방법.
  7. 청구항 제6항에 있어서,
    상기 감정 측정 데이터베이스는 사용자의 개인정보를 저장한 사용자 데이터베이스와 별도로 구축된 것이고,
    상기 감정 측정 데이터베이스의 일 축은 제1 사용자의 식별정보, 다른 일 축은 제2 사용자의 식별정보로 이루어지는 2차원 테이블 구조로 구축되고,
    상기 2차원 테이블 구조 내에 저장되는 데이터에 할당되는 데이터베이스 주소는 상기 제1 사용자의 식별정보, 및 제2 사용자의 식별정보의 조합으로 표현되며,
    상기 데이터베이스 주소에 저장되는 데이터는 관계 감정 지수, 판단된 감정 상태를 포함하는 것을 특징으로 하는,
    방법.
  8. 청구항 제7항에 있어서, 상기 방법은,
    서버로부터 복수의 제2 사용자 각각에 대한 감정 측정 내역을 검색하여 상호작용 기록을 전자 장치에서 표시하는 단계를 더 포함하고,
    상기 표시하는 단계는,
    제1 전자 장치가 상호작용 기록 화면 표시 명령을 입력 받아 제1 사용자의 감정 측정 내역 요청을 서버로 전송하는 단계;
    서버에서 감정 측정 데이터베이스로부터 제1 사용자의 식별정보를 데이터베이스 주소로 갖는 데이터를 검색하고, 검색된 데이터 및 검색된 데이터의 데이터베이스 주소에 기초하여 제1 사용자와 함께 상호작용 활동했던 제2 사용자에 대한 감정 측정 내역을 형성하여 상기 제1 전자 장치로 전송하는 단계;
    제1 전자 장치에서 수신한 제2 사용자에 대한 제1 사용자의 감정 측정 내역에 기초하여 상호작용 기록을 표시한 화면을 표시하고,
    상기 제1 전자 장치는 관계 감정 지수 내 지수 유형 정보로부터 제2 사용자의 상호작용 상대방 유형 정보를 도출하고 도출된 상호작용 상대방 유형 정보, 수신된 관계 감정 지수, 및 판단된 감정 상태를 포함한 상호작용 기록 화면을 표시하는 것을 특징으로 하는,
    방법.
  9. 청구항 제2항에 있어서, 상기 방법은,
    온라인 공간 또는 지리적 공간 상에서 일정 거리 내에 제2 사용자가 근접할 경우 근접한 제2 사용자에 대해 갖고 있는 제1 사용자의 감정 유형을 확인하고, 제2 사용자에 대한 제1 사용자의 감정 유형이 긍정인 경우 해당 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 전자 장치로 전송하는 단계를 더 포함하는 것을 특징으로 하는,
    방법.
  10. 청구항 제1항 내지 청구항 제9항 중 어느 하나의 청구항에 따른 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법을 수행하기 위한, 프로그램을 기록한 컴퓨터 판독가능한 기록매체.
KR1020220095037A 2022-07-29 2022-07-29 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법 KR20240016815A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220095037A KR20240016815A (ko) 2022-07-29 2022-07-29 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법
PCT/KR2022/016761 WO2024025038A1 (ko) 2022-07-29 2022-10-28 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220095037A KR20240016815A (ko) 2022-07-29 2022-07-29 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20240016815A true KR20240016815A (ko) 2024-02-06

Family

ID=89706862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220095037A KR20240016815A (ko) 2022-07-29 2022-07-29 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20240016815A (ko)
WO (1) WO2024025038A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210026305A (ko) 2019-08-29 2021-03-10 주식회사 룩시드랩스 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101794409B1 (ko) * 2015-08-05 2017-11-06 라인 가부시키가이샤 인스턴트 메시지에 기반하여 사용자의 감정 및 활동을 수집하는 시스템 및 방법
CN110232968A (zh) * 2017-04-23 2019-09-13 奥康科技有限公司 可穿戴装置和校正可穿戴图像传感器的安置的方法及介质
KR102305613B1 (ko) * 2019-12-16 2021-09-27 조선대학교산학협력단 감정 인식 방법 및 장치
KR102275741B1 (ko) * 2020-11-27 2021-07-09 주식회사 지미션 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
KR102466725B1 (ko) * 2021-01-20 2022-11-14 주식회사 한글과컴퓨터 감정 분석 기반의 채팅 기능을 제공하는 전자 장치 및 그 동작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210026305A (ko) 2019-08-29 2021-03-10 주식회사 룩시드랩스 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스

Also Published As

Publication number Publication date
WO2024025038A1 (ko) 2024-02-01

Similar Documents

Publication Publication Date Title
US11089985B2 (en) Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders
US20210081056A1 (en) Vpa with integrated object recognition and facial expression recognition
CN107818798B (zh) 客服服务质量评价方法、装置、设备及存储介质
US11854540B2 (en) Utilizing machine learning models to generate automated empathetic conversations
WO2017112813A1 (en) Multi-lingual virtual personal assistant
US20200135213A1 (en) Electronic device and control method thereof
KR20180111467A (ko) 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
JP6365915B2 (ja) 応対装置、応対システム、応対方法、及び記録媒体
CN111316280B (zh) 用于自然语言处理的基于网络的学习模型
US10836044B2 (en) Robot control device and robot control method
CN113380271A (zh) 情绪识别方法、***、设备及介质
JP2022523921A (ja) 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法
CN112651334A (zh) 机器人视频交互方法和***
Naas et al. Real-time emotion recognition for sales
Banos et al. Mining human behavior for health promotion
US11763239B1 (en) Emotional intelligence assistant
KR102460595B1 (ko) 게임 방송에서의 실시간 채팅 서비스 제공 방법 및 장치
KR20240016815A (ko) 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법
KR20230154380A (ko) 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법
JP7483532B2 (ja) キーワード抽出装置、キーワード抽出方法及びキーワード抽出プログラム
JP2018055232A (ja) コンテンツ提供装置、コンテンツ提供方法、及びプログラム
WO2020087534A1 (en) Generating response in conversation
CN113301352A (zh) 在视频播放期间进行自动聊天
JP7244390B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2022201955A1 (ja) 情報処理装置および情報処理方法