KR20220096383A - Verbal and Nonverbal Integrated Sentiment Analysis System for Evaluating Reliability of Video Contents, method thereof - Google Patents
Verbal and Nonverbal Integrated Sentiment Analysis System for Evaluating Reliability of Video Contents, method thereof Download PDFInfo
- Publication number
- KR20220096383A KR20220096383A KR1020200188769A KR20200188769A KR20220096383A KR 20220096383 A KR20220096383 A KR 20220096383A KR 1020200188769 A KR1020200188769 A KR 1020200188769A KR 20200188769 A KR20200188769 A KR 20200188769A KR 20220096383 A KR20220096383 A KR 20220096383A
- Authority
- KR
- South Korea
- Prior art keywords
- verbal
- sentiment
- value
- positive
- neutral
- Prior art date
Links
- 230000001755 vocal effect Effects 0.000 title claims abstract description 163
- 238000004458 analytical method Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000008451 emotion Effects 0.000 claims abstract description 175
- 238000012552 review Methods 0.000 claims abstract description 100
- 230000007935 neutral effect Effects 0.000 claims abstract description 90
- 239000000284 extract Substances 0.000 claims abstract description 21
- 230000014509 gene expression Effects 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims abstract description 16
- 230000002996 emotional effect Effects 0.000 claims description 94
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000009795 derivation Methods 0.000 claims description 19
- 230000035945 sensitivity Effects 0.000 claims description 13
- 150000001875 compounds Chemical class 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012351 Integrated analysis Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 239000000470 constituent Substances 0.000 claims description 3
- 238000013515 script Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 10
- 230000008921 facial expression Effects 0.000 abstract description 10
- 230000003796 beauty Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 239000000047 product Substances 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 101001001429 Homo sapiens Inositol monophosphatase 1 Proteins 0.000 description 1
- 102100035679 Inositol monophosphatase 1 Human genes 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011999 immunoperoxidase monolayer assay Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- GHZKGHQGPXBWSN-UHFFFAOYSA-N methyl(propan-2-yloxy)phosphinic acid Chemical compound CC(C)OP(C)(O)=O GHZKGHQGPXBWSN-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
- G10L2025/932—Decision in previous or following frames
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Machine Translation (AREA)
Abstract
Description
본 발명은 영상 컨텐츠의 신뢰성 평가를 위한 언어와 비언어 통합 감성 분석 시스템 및 방법에 관한 것으로서, 더욱 자세하게는 제품 리뷰 영상에 대하여 얼굴 표정으로부터 감성을 추출하여 비언어 감성을 정량화하고, 감정 변화 구간의 리뷰어 음성을 텍스트로 변환하여 긍정과 부정으로 언어 감성을 수치화하며, 비언어 감성과 언어 감성의 일치 여부에 따라 신뢰도를 도출함으로써 영상 컨텐츠의 신뢰성 평가 지표를 제공할 수 있도록 하는, 영상 컨텐츠의 신뢰성 평가를 위한 언어와 비언어 통합 감성 분석 시스템 및 방법에 관한 것이다.The present invention relates to a linguistic and non-verbal emotion analysis system and method for evaluating the reliability of video content, and more particularly, to a product review image, extracting emotions from facial expressions to quantify non-verbal emotions, and Reliability evaluation of video content that converts the reviewer's voice into text to quantify linguistic emotions in positive and negative ways, and provides reliability evaluation indicators for video content by deriving reliability according to whether non-verbal emotion and verbal emotion match. It relates to a linguistic and non-verbal integrated sentiment analysis system and method for
최근 제품이나 서비스에 대한 개인적 경험과 평가를 보여주는 리뷰 동영상이 인기를 끌고 있으며, 구매 희망자의 제품 구매와 선택에 있어서도 영상 컨텐츠가 많은 영향을 미치고 있다. Recently, review videos showing personal experiences and evaluations of products or services are gaining popularity, and video content has a great influence on the purchase and selection of products by prospective buyers.
IT 기술 발달에 따른 영상 컨텐츠 생산과 소비가 증가함에 따라 영상 컨텐츠를 통한 제품 리뷰 정보로 구매의사 결정이 빈번해졌다. 따라서, 리뷰 영상에 대한 신뢰성을 평가할 필요가 있다.As the production and consumption of video content increases due to the development of IT technology, purchase decisions are made more frequently with product review information through video content. Therefore, it is necessary to evaluate the reliability of the review image.
이러한 온라인 리뷰에 대한 중요도가 높아짐에 따라 온라인 리뷰를 분석하여 리뷰어의 의견이나 평가, 태도, 감성 등을 추출하는 오피니언 마이닝에 대한 연구가 활발하게 진행되고 있다. As the importance of these online reviews increases, research on opinion mining, which analyzes online reviews and extracts the opinions, evaluations, attitudes, and emotions of reviewers, is being actively conducted.
기존의 리뷰 분석을 위한 방법으로는 댓글을 통한 텍스트 분석이 지배적이었다. Text analysis through comments has been dominant as a method for review analysis in the past.
그러나 영상 속 리뷰어의 정확한 감성 추출을 하기 위해서는 댓글의 분석으로는 정확하지 않다. 실제 리뷰의 모든 요소에 대한 분석을 통해 비로소 리뷰에 대한 평가가 정확하게 이루어질 수 있다. However, in order to accurately extract the emotions of the reviewers in the video, the analysis of comments is not accurate. Only through the analysis of all elements of the actual review can the evaluation of the review be made accurately.
따라서 리뷰 동영상의 음성과 영상을 두루 이용하여 분석할 수 있는 시스템이 요구되고 있다.Therefore, there is a need for a system that can analyze both the audio and video of the review video.
전술한 요구 사항을 해결하기 위한 본 발명의 목적은, 제품 리뷰 영상을 얼굴 표정 분석과 텍스트 마이닝을 통해 리뷰어의 표정과 음성을 분석하여 영상의 신뢰도를 분석하되, 제품 리뷰 영상 내 인물 표정으로부터 감성 값을 추출하는 알고리즘을 활용하여 비언어 감성을 정량화하고, 유의미한 감정 변화 구간을 추출하여, 유의미한 감정 변화 구간의 리뷰어 음성을 텍스트로 변환해 표준어 및 비표준어 감성 사전 활용을 통해 긍정과 부정으로 리뷰에 대한 언어 감성 분석 후 감성을 수치화하며, 비언어 감성 분석과 언어 감성 분석의 결과를 통합하여 일치 여부에 따라 신뢰도를 도출함으로써 영상 컨텐츠의 신뢰성 평가 지표를 제시할 수 있도록 하는, 영상 컨텐츠의 신뢰성 평가를 위한 언어와 비언어 통합 감성 분석 시스템 및 방법을 제공함에 있다.An object of the present invention to solve the above requirements is to analyze the facial expression and voice of the reviewer through facial expression analysis and text mining of the product review image to analyze the reliability of the image, but emotional value from the facial expression of the person in the product review image Quantify non-verbal emotions by using an algorithm to extract A language for evaluating the reliability of video content, which quantifies emotion after emotion analysis, integrates the results of non-verbal emotion analysis and verbal emotion analysis, and derives reliability according to the match and to provide a non-verbal integrated sentiment analysis system and method.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 언어와 비언어 통합 감성 분석 시스템은, 동영상을 입력받아 리뷰어가 리뷰를 진행하는 부분만을 리뷰 영상으로 추출하는 전처리기; 상기 리뷰 영상에서 상기 리뷰어 음성의 문장별 타임 스탬프를 추출하여 구간을 분리하는 구간 분리기; 상기 리뷰어의 음성을 텍스트로 변환하여 감성을 분석해 언어 감성 값으로 추출하는 언어 감성값 추출기; 상기 추출된 언어가 미리 구축된 감성 사전에 없는 단어인 경우 감성 값을 계산해 추가하는 비표준어 감성 사전 구축기; 상기 리뷰어의 표정을 통해 비언어 감성 값을 추출하는 비언어 감성값 추출기; 및 상기 언어 감성 값과 상기 비언어 감성 값에 대하여 각각 긍정, 부정, 중립의 3가지 감성 표현으로 통일하고, 상기 언어 감성 값과 상기 비언어 감성 값의 일치 여부를 토대로 상기 리뷰 영상의 신뢰도를 계산하는 통합 신뢰도 분석기를 포함할 수 있다.In accordance with an embodiment of the present invention for achieving the above object, there is provided a system for integrated verbal and non-verbal sentiment analysis, comprising: a preprocessor for receiving a video input and extracting only a portion in which a reviewer reviews a review video; a section separator for separating sections by extracting a time stamp for each sentence of the reviewer voice from the review image; a language emotion value extractor that converts the reviewer's voice into text, analyzes emotion, and extracts it as a language emotion value; a non-standard language sentiment dictionary builder for calculating and adding a sentiment value when the extracted language is a word that is not in a pre-built sentiment dictionary; a non-verbal emotion value extractor for extracting a non-verbal emotion value through the expression of the reviewer; and unifying three emotional expressions of positive, negative, and neutral for the verbal emotional value and the non-verbal emotional value, respectively, and calculating the reliability of the review image based on whether the verbal emotional value and the non-verbal emotional value match It may include an integrated reliability analyzer.
상기 전처리기는 상기 리뷰어의 얼굴이 화면 내에 디스플레이 되는 영상을 상기 리뷰 영상으로 선정하고, 선정된 상기 리뷰 영상에 대하여 프레임 추출기에 의해 200ms 당 jpg 형식으로 이미지를 추출할 수 있다.The preprocessor may select an image in which the face of the reviewer is displayed on the screen as the review image, and extract the image in jpg format per 200 ms by a frame extractor with respect to the selected review image.
상기 구간 분리기는 상기 리뷰 영상에서 문장별 구간 도출 코드를 통해 해당 컨텐츠의 문장별 문장 시작 시점과 종료 시점을 도출하고, 도출된 시점들을 상기 프레임 추출 단위인 200ms 단위에 맞춰 상기 리뷰 영상의 프레임 구간으로 단위를 변환할 수 있다.The section separator derives the start time and end time of each sentence of the corresponding content through the section derivation code for each sentence in the review image, and sets the derived time points to the frame section of the review image according to the 200 ms unit, which is the frame extraction unit. Units can be converted.
상기 언어 감성값 추출기는, 상기 리뷰 영상에서 상기 리뷰어의 음성 데이터를 텍스트로 변환하고, 변환된 텍스트에 대하여 자바 기반의 형태소 분석기를 통해 형태소를 분석하고, 분석한 문장에 대하여 감성 사전과 비표준어 감성 사전에서 긍정, 부정, 중립의 감성 값을 가져와 언어 감성값 도출 알고리즘을 통해 상기 언어 감성 값을 도출할 수 있다.The language emotion value extractor converts the reviewer's voice data into text in the review image, analyzes the morpheme through a Java-based morpheme analyzer for the converted text, and a sentiment dictionary and a non-standard word sentiment dictionary for the analyzed sentence It is possible to derive the linguistic sensibility value through the linguistic sensibility value derivation algorithm by taking positive, negative, and neutral sensibility values from .
상기 언어 감성값 도출 알고리즘은, 상기 리뷰 영상의 모든 문장이 입력 데이터이고, 상기 입력 데이터는 형태소 분석기를 통해 분석된 1차원 배열들로 구성된 문장들의 2차원 배열이며, 상기 모든 문장에 대해서 문장이 용언이 2개 이상으로 구성된 복합 문장일 경우 용언을 기준으로 단순 문장으로 나누고, 상기 문장의 구성 형태소 중 용언이 있을 경우, 해당 용언의 감성 값을 받아오고, 상기 용언의 부정, 중립, 긍정 감성 값이 0이 있을 경우 해당 문장의 모든 형태소의 해당 감성 값을 0으로 설정하며, 문장별로 부정, 중립, 긍정의 감성 값을 각각 합산하여 저장하고, 표준화를 진행하여 감성에 극성을 부여하되, 감성 극성 기준에 따라 극성을 부여할 수 있다.In the language emotion value derivation algorithm, all sentences of the review image are input data, the input data is a two-dimensional array of sentences composed of one-dimensional arrays analyzed through a morpheme analyzer, and for all the sentences, the sentences are verbs. In the case of a compound sentence composed of two or more, it is divided into simple sentences based on the verb. If there is 0, the corresponding emotional value of all morphemes of the sentence is set to 0, the negative, neutral, and positive emotional values are summed and stored for each sentence, and standardized to give polarity to the emotion, but based on the emotion polarity Depending on the polarity can be given.
상기 감성 극성 기준은 긍정>0.7이면 매우 긍정(+2), 긍정>0.5이면 긍정(+1), 중립>0.5이면 중립(0), 부정>0.5이면 부정(-1), 부정>0.7이면 매우 부정(-2)이 될 수 있다.The emotional polarity criterion is very positive (+2) if positive > 0.7, positive (+1) if positive > 0.5, neutral (0) if neutral > 0.5, negative (-1) if negative > 0.5, very positive if negative > 0.7 It can be negative (-2).
상기 비언어 감성값 추출기는, 프레임 추출기를 통해 문장별로 구간이 분리된 상기 리뷰 영상 속 상기 리뷰어의 감정에 대하여 분노(Anger), 경멸(Contempt), 혐오(Disgust), 공포(Fear), 행복(Happiness), 중립(Neutral), 슬픔(Sadness), 놀라움(Surprise)의 8가지를 도출하고, 도출 결과를 감정 색상의 시계열 그래프로 분석하여 8가지 감정의 평균 변화율을 산출하고, 언어와의 통합 분석을 위하여 상기 8가지 감정을 긍정, 부정, 중립 3가지의 감정으로 분류하고, 긍정, 부정, 중립의 3가지로 나뉜 감성의 감성 값에 대해 긍정과 중립의 경우 평균을, 편차가 큰 부정의 경우에만 최댓값과 평균값의 중간값을 기준으로 감정을 재분류하며, 신뢰도 분석을 위하여 문장별로 재분류된 감성 값을 합산하여 매우 긍정(+2), 긍정(+1), 중립(0), 부정(-1), 매우 부정(-2)의 5가지 극성으로 최종 분류할 수 있다.The non-verbal emotion value extractor includes Anger, Contempt, Disgust, Fear, and happiness (Anger), Contempt, Disgust, Happiness), Neutral, Sadness, and Surprise are derived, and the result is analyzed as a time series graph of emotion color to calculate the average rate of change of the 8 emotions, and integrated analysis with language For this purpose, the eight emotions are classified into three emotions, positive, negative, and neutral, and the average for positive and neutral emotional values divided into positive, negative, and neutral three emotions, and in the case of negation with a large deviation Emotions are reclassified based on the median of the maximum and average values, and the reclassified sentiment values are summed up for each sentence for reliability analysis to be very positive (+2), positive (+1), neutral (0), negative ( It can be finally classified into five polarities: -1) and very negative (-2).
상기 비언어 감성값 추출기는 상기 8가지 감정에 대하여, ‘행복(Happiness)'과 '놀라움(Surprise)'은 긍정, '분노(Anger)', '경멸(Contempt)', '혐오(Disgust)', '공포(Fear)', '슬픔(Sadness)'은 부정, '뉴트럴(Neutral)'은 중립으로 분류할 수 있다.In the non-verbal emotion value extractor, for the eight emotions, 'Happiness' and 'Surprise' are positive, 'Anger', 'Contempt', 'Disgust' , 'Fear' and 'Sadness' can be classified as negative, and 'Neutral' as neutral.
상기 통합 신뢰도 분석기는, 각 문장별로 분류된 언어 극성과 비언어 극성의 차이 값에 대하여, 0이면 매우일치(+1), 1이면 일치(+0.75), 2이면 불일치(+0.25), 3 또는 4이면 매우 불일치(0)로 부여하고, 상기 리뷰 영상의 신뢰도를 다음 수학식에 따라 각각의 결과에 가중치를 주어 모두 합산하고, 전체 문장의 수로 평균을 내어 산출할 수 있다.The integrated reliability analyzer, with respect to the difference value between the verbal polarity and the non-verbal polarity classified for each sentence, is 0 if highly congruent (+1), 1 is congruent (+0.75), 2 is inconsistent (+0.25), 3 or If it is 4, it is given a very inconsistency (0), and the reliability of the review image can be calculated by weighting each result according to the following equation, summing them all up, and averaging the number of sentences.
수학식에서 n은 전체 문장수를 나타내고, Wi는 i번째 문장의 가중치를 나타낸다.In the equation, n represents the total number of sentences, and Wi represents the weight of the i-th sentence.
상기 비표준어 감성 사전 구축기는, 상기 리뷰어의 음성이 텍스트로 변환되고, 형태소 분석기를 통해 영상 스크립트 내 문장을 토큰화하고, 전체 토큰에 대해 코사인 유사도 상위 1000개의 유사 관계 형태소를 추출하며, 추출된 형태소 중 품사가 고유명사(NNP), 일반명사(NNG), 형용사(VA), 동사(VV), 용언 추정(NA), 분석 불가능(NF)인 형태소에 대해서만 데이터베이스(DB)에 저장하고, 저장된 형태소가 표준어 감성 사전 또는 비표준어 감성 사전에 등록되어 있다면, 등록된 감성 값에 해당 형태소의 코사인 유사도를 가중치로 부여하여 찾고자 하는 비표준어의 최종 감성 값을 계산 후 감성 사전에 업데이트할 수 있다.The non-standard word sentiment dictionary builder, in which the reviewer's voice is converted into text, tokenizes the sentences in the video script through a morpheme analyzer, extracts top 1000 similar relational morphemes with cosine similarity for all tokens, and among the extracted morphemes Only morphemes whose parts of speech are proper nouns (NNP), common nouns (NNG), adjectives (VA), verbs (VV), verb estimation (NA), and unanalyzable (NF) are stored in the database (DB), and the stored morphemes are If it is registered in the standard word sentiment dictionary or the non-standard word sentiment dictionary, the final sentiment value of the non-standard word to be searched can be calculated and updated in the sentiment dictionary by weighting the cosine similarity of the corresponding morpheme to the registered sentiment value.
한편, 전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 언어와 비언어 통합 감성 분석 방법은, (a) 전처리기가 동영상을 입력받아 리뷰어가 리뷰를 진행하는 부분만을 리뷰 영상으로 추출하는 단계; (b) 구간 분리기가 상기 리뷰 영상에서 상기 리뷰어 음성의 문장별 타임 스탬프를 추출하여 구간을 분리하는 단계; (c) 언어 감성값 추출기가 상기 리뷰어의 음성을 텍스트로 변환하여 감성을 분석해 언어 감성 값으로 추출하는 단계; (d) 비언어 감성값 추출기가 상기 리뷰어의 표정을 통해 비언어 감성 값을 추출하는 단계; 및 (e) 통합 신뢰도 분석기가 상기 언어 감성 값과 상기 비언어 감성 값에 대하여 각각 긍정, 부정, 중립의 3가지 감성 표현으로 통일하고, 상기 언어 감성 값과 상기 비언어 감성 값의 일치 여부를 토대로 상기 리뷰 영상의 신뢰도를 계산하는 단계를 포함할 수 있다.On the other hand, the method for integrated verbal and non-verbal sentiment analysis according to an embodiment of the present invention for achieving the above object includes the steps of: (a) extracting only a portion in which a reviewer performs a review by receiving a video input by a preprocessor as a review video; (b) separating the sections by extracting, by a section separator, a time stamp for each sentence of the reviewer voice from the review image; (c) extracting, by a language emotion value extractor, a speech emotion value by converting the reviewer's voice into text and analyzing the emotion; (d) extracting, by a non-verbal emotion value extractor, a non-verbal emotion value through the expression of the reviewer; and (e) the integrated reliability analyzer unifies the verbal emotional value and the non-verbal emotional value into three emotional expressions of positive, negative, and neutral, respectively, and based on whether the verbal emotional value and the non-verbal emotional value match It may include calculating the reliability of the review image.
상기 (c) 단계에서 상기 추출된 언어가 미리 구축된 감성 사전에 없는 단어인 경우 비표준어 감성 사전 구축기가 상기 추출된 언어의 감성 값을 계산해 추가할 수 있다.When the extracted language in step (c) is a word that is not in the pre-built sentiment dictionary, the non-standard language sentiment dictionary builder may calculate and add the sentiment value of the extracted language.
상기 (c) 단계에서 상기 언어 감성값 추출기는, 상기 리뷰 영상에서 상기 리뷰어의 음성 데이터를 텍스트로 변환하고, 변환된 텍스트에 대하여 자바 기반의 형태소 분석기를 통해 형태소를 분석하고, 분석한 문장에 대하여 감성 사전과 비표준어 감성 사전에서 긍정, 부정, 중립의 감성 값을 가져와 언어 감성값 도출 알고리즘을 통해 상기 언어 감성 값을 도출할 수 있다.In the step (c), the language emotion value extractor converts the reviewer's voice data into text in the review image, and analyzes the morpheme through a Java-based morpheme analyzer for the converted text. By taking emotional values of positive, negative, and neutral from the sentiment dictionary and the non-standard language sentiment dictionary, the language sentiment value can be derived through a language emotion value derivation algorithm.
상기 언어 감성값 도출 알고리즘은, 상기 리뷰 영상의 모든 문장이 입력 데이터이고, 상기 입력 데이터는 형태소 분석기를 통해 분석된 1차원 배열들로 구성된 문장들의 2차원 배열이며, 상기 모든 문장에 대해서 문장이 용언이 2개 이상으로 구성된 복합 문장일 경우 용언을 기준으로 단순 문장으로 나누고, 상기 문장의 구성 형태소 중 용언이 있을 경우, 해당 용언의 감성 값을 받아오고, 상기 용언의 부정, 중립, 긍정 감성 값이 0이 있을 경우 해당 문장의 모든 형태소의 해당 감성 값을 0으로 설정하며, 문장별로 부정, 중립, 긍정의 감성 값을 각각 합산하여 저장하고, 표준화를 진행하여 감성에 극성을 부여하되, 감성 극성 기준에 따라 극성을 부여할 수 있다.In the language emotion value derivation algorithm, all sentences of the review image are input data, the input data is a two-dimensional array of sentences composed of one-dimensional arrays analyzed through a morpheme analyzer, and for all the sentences, the sentences are verbs. In the case of a compound sentence composed of two or more, it is divided into simple sentences based on the verb. If there is 0, the corresponding emotional value of all morphemes of the sentence is set to 0, the negative, neutral, and positive emotional values are summed and stored for each sentence, and standardized to give polarity to the emotion, but based on the emotion polarity Depending on the polarity can be given.
상기 감성 극성 기준은 긍정>0.7이면 매우 긍정(+2), 긍정>0.5이면 긍정(+1), 중립>0.5이면 중립(0), 부정>0.5이면 부정(-1), 부정>0.7이면 매우 부정(-2)이 될 수 있다.The emotional polarity criterion is very positive (+2) if positive > 0.7, positive (+1) if positive > 0.5, neutral (0) if neutral > 0.5, negative (-1) if negative > 0.5, very positive if negative > 0.7 It can be negative (-2).
상기 (d) 단계에서 상기 비언어 감성값 추출기는, 프레임 추출기를 통해 문장별로 구간이 분리된 상기 리뷰 영상 속 상기 리뷰어의 감정에 대하여 분노(Anger), 경멸(Contempt), 혐오(Disgust), 공포(Fear), 행복(Happiness), 중립(Neutral), 슬픔(Sadness), 놀라움(Surprise)의 8가지를 도출하고, 도출 결과를 감정 색상의 시계열 그래프로 분석하여 8가지 감정의 평균 변화율을 산출하고, 상기 8가지 감정을 긍정, 부정, 중립 3가지의 감정으로 분류하되, ‘행복(Happiness)'과 '놀라움(Surprise)'은 긍정, '분노(Anger)', '경멸(Contempt)', '혐오(Disgust)', '공포(Fear)', '슬픔(Sadness)'은 부정, '뉴트럴(Neutral)'은 중립으로 분류할 수 있다.In the step (d), the non-verbal emotion value extractor performs anger, contempt, disgust, and fear with respect to the reviewer's emotions in the review image in which sections are separated for each sentence through a frame extractor. (Fear), Happiness (Happiness), Neutral (Neutral), Sadness (Sadness), Surprise (Surprise) are derived, and the result is analyzed as a time series graph of emotion color to calculate the average rate of change of the 8 emotions. , the above eight emotions are classified into three emotions: positive, negative, and neutral, but 'Happiness' and 'Surprise' are positive, 'Anger', 'Contempt', ' 'Disgust', 'Fear' and 'Sadness' can be classified as negative, and 'Neutral' can be classified as neutral.
긍정, 부정, 중립의 3가지로 나뉜 감성의 감성 값에 대해, 긍정과 중립의 경우 평균을, 편차가 큰 부정의 경우에만 최댓값과 평균값의 중간값을 기준으로 감정을 재분류하며, 문장별로 재분류된 감성 값을 합산하여 매우 긍정(+2), 긍정(+1), 중립(0), 부정(-1), 매우 부정(-2)의 5가지 극성으로 최종 분류할 수 있다.For the emotional values of emotion divided into positive, negative, and neutral, the emotions are reclassified based on the average in the case of positive and neutral, and the median of the maximum and average values only in the case of negation with a large deviation. By summing the classified sentiment values, it can be finally classified into five polarities: very positive (+2), positive (+1), neutral (0), negative (-1), and very negative (-2).
상기 (e) 단계에서 상기 통합 신뢰도 분석기는, 각 문장별로 분류된 언어 극성과 비언어 극성의 차이 값에 대하여, 0이면 매우일치(+1), 1이면 일치(+0.75), 2이면 불일치(+0.25), 3 또는 4이면 매우 불일치(0)로 부여하고, 상기 리뷰 영상의 신뢰도를 각각의 결과에 가중치를 주어 모두 합산하고, 전체 문장의 수로 평균을 내어 산출할 수 있다.In step (e), the integrated reliability analyzer, with respect to the difference between the verbal polarity and the non-verbal polarity classified for each sentence, is 0 if highly congruent (+1), 1 is congruent (+0.75), and 2 is discordant ( +0.25), 3 or 4 is given as a very inconsistent (0), the reliability of the review image is weighted to each result, all summed up, and the average of the total number of sentences can be calculated.
본 발명에 의하면, 온라인 구전 리뷰의 효과를 검증할 수 있으며, 상품 사용 후기의 방향성이 구매 의도에 영향을 미친다는 것을 확인할 수 있다. According to the present invention, the effectiveness of online word-of-mouth review can be verified, and it can be confirmed that the direction of product use reviews affects purchase intention.
또한, 본 발명에 의하면, 긍정적인 구전일 경우 소비자의 구매 의도가 높아지고 부정적인 구전일 경우 소비자의 구매 의도가 낮아지는 결과를 제공할 수 있다.In addition, according to the present invention, it is possible to provide a result that the purchase intention of the consumer is increased in the case of positive word of mouth and the purchase intention of the consumer is lowered in the case of the negative word of mouth.
또한, 본 발명에 의하면, SNS 등에서 사용되는 인터넷 용어와 표준어와의 상대 유사성을 분석함으로써 비속어 감성 분석 오류를 보완하고, 스파크를 사용하여 빠르고 효율적인 감성 분석 시스템을 제공할 수 있다.In addition, according to the present invention, by analyzing the relative similarity between Internet terms and standard words used in SNS, etc., it is possible to supplement the sentiment analysis error of profanity and provide a fast and efficient sentiment analysis system using spark.
또한, 본 발명에 의하면, 감성 극성 분류가 긍정, 부정, 중립의 3가지에 국한되어 있으며, 복합문이 아닌 단순한 댓글 분석에 치중하는 기존 한계를 넘어서 컨텐츠에 대한 반응 동영상의 시청자 감성 분석을 통해 대상 컨텐츠 속 오브젝트에 대한 시청자의 감성을 파악할 수 있다. In addition, according to the present invention, emotional polarity classification is limited to three types of positive, negative, and neutral, and beyond the existing limit of focusing on simple comment analysis rather than compound sentences, the target through viewer sentiment analysis of reaction videos to content It is possible to grasp the viewer's sensibility toward the object in the content.
또한, 본 발명에 의하면, 반응 동영상의 구간별 시청자 감성을 시계열 데이터로 나타내어 그 변화량이 유의미한 프레임에 등장하는 오브젝트를 식별하고, 해당 오브젝트와 감성 값을 정량화함으로써 인물 감성과 오브젝트에 대한 관계를 분석할 수 있다.In addition, according to the present invention, the relationship between the emotion of a person and the object can be analyzed by identifying the object appearing in a frame in which the amount of change is significant by representing the viewer's emotion for each section of the reaction video as time series data, and quantifying the object and the emotion value. can
또한, 본 발명에 의하면, 기존 Russell의 감성차원 모델(A Circumplex Model)에서 상황 설명 문맥을 이용한 설문을 진행함에 따라 보완하고, 이를 통해 사람이 느끼는 복합적인 감성(mixed feelings)을 표현하는 방법을 제공할 수 있다.In addition, according to the present invention, the existing Russell's emotional dimension model (A Circumplex Model) is supplemented as a questionnaire using the context explanation context is conducted, and through this, a method of expressing the mixed feelings felt by a person is provided. can do.
또한, 본 발명에 의하면, 단일 감성에서, 긍정적인 감성과 부정적인 감성이 상호 배타적이 아닌 독립적이므로 공존할 수 있으며, 복합적인 감성 상태에서는 단일 감성 단어들의 합으로 표현할 수 있음을 분석할 수 있다.Also, according to the present invention, it can be analyzed that, in a single emotion, positive emotion and negative emotion are independent rather than mutually exclusive, so they can coexist, and in a complex emotional state, they can be expressed as a sum of single emotion words.
또한, 본 발명에 의하면, 사용자가 입력한 리뷰 영상의 언어와 비언어 감성을 분석하여 통합 신뢰도를 도출할 수 있다. 즉, IT, 뷰티 2가지 분야에 대해 리뷰 동영상을 선정하여 리뷰어의 음성과 얼굴 표정을 통해 언어 감성 값과 비언어 감성 값을 추출하하고, 추출된 언어, 비언어 감성 값의 일치 여부 판정을 위해 5가지 지표로 통일하였으며, 이들의 일치 여부를 통해 통합 신뢰도 분석을 진행할 수 있다.In addition, according to the present invention, it is possible to derive the integrated reliability by analyzing the verbal and non-verbal emotions of the review image input by the user. In other words, to select review videos for two areas of IT and beauty, extract verbal and non-verbal emotion values through the reviewer's voice and facial expressions, and determine whether the extracted verbal and non-verbal emotion values match. It has been unified into five indicators, and the integrated reliability analysis can be carried out through the consistency of these indicators.
도 1은 본 발명의 실시예에 따른 언어와 비언어 통합 감성 분석 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 언어와 비언어 통합 감성 분석 시스템에서 이용하는 언어 감성값 도출 알고리즘의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 비언어 감성값 추출기에 의해 도출된 리뷰어의 감정을 나타낸 시계열 그래프이다.
도 4 내지 도 9는 본 발명의 실시예에 따른 언어 감성값 도출 알고리즘을 통해 도출한 리뷰 동영상의 언어 감성값 그래프 중 일부를 나타낸 그래프이다.
도 10은 본 발명의 실시예에 따라 '취저'의 감성값 계산 과정을 예시한 도면이다.
도 11은 본 발명의 실시예에 따라 ‘착붙’의 감성값 계산 과정을 예시한 도면이다.
도 12는 본 발명의 실시예에 따라'가전주부 GJJB' 영상의 긍정 표정 구간의 사진을 나타낸 도면이다.
도 13은 본 발명의 실시예에 따라'스완SWAN_현실남자뷰티' 영상의 부정 표정 구간의 사진을 나타낸 도면이다.
도 14 내지 도 17은 본 발명의 실시예에 따른 비언어 감정값 추출기를 통해 도출한 비언어 감성 값 그래프를 나타낸 도면이다.
도 18은 본 발명의 실시예에 따라 ‘가전주부 GJJB'의 문장별 일치율 그래프를 나타낸 도면이다.
도 19는 본 발명의 실시예에 따라 ‘스완(SWAN)_현실남자뷰티'의 문장별 일치율 그래프를 나타낸 도면이다.
도 20 및 도 21은 본 발명의 실시예에 따라 리뷰 동영상별 신뢰도를 보여주는 막대 그래프를 나타낸 도면이다.
도 22는 본 발명의 실시예에 따른 언어와 비언어 통합 감성 분석 방법을 나타낸 동작 흐름도이다. 1 is a configuration diagram schematically showing the overall configuration of a language and non-verbal integrated sentiment analysis system according to an embodiment of the present invention.
2 is a diagram illustrating an example of an algorithm for deriving a linguistic sentiment value used in the linguistic and non-verbal integrated sentiment analysis system according to an embodiment of the present invention.
3 is a time series graph showing the emotions of reviewers derived by the non-verbal emotion value extractor according to an embodiment of the present invention.
4 to 9 are graphs illustrating a part of a graph of a language emotion value of a review video derived through an algorithm for deriving a language emotion value according to an embodiment of the present invention.
10 is a diagram illustrating a process of calculating the emotion value of 'Gyujeo' according to an embodiment of the present invention.
11 is a diagram illustrating a process of calculating the emotion value of 'chuck' according to an embodiment of the present invention.
12 is a view showing a photograph of a positive expression section of the 'household housewife GJJB' image according to an embodiment of the present invention.
13 is a view showing a photograph of the negative expression section of the 'Swan SWAN_Real Male Beauty' image according to an embodiment of the present invention.
14 to 17 are diagrams illustrating non-verbal emotion value graphs derived through a non-verbal emotion value extractor according to an embodiment of the present invention.
18 is a diagram illustrating a graph of the matching rate for each sentence of 'household housewife GJJB' according to an embodiment of the present invention.
19 is a view showing a graph of the matching rate for each sentence of 'SWAN_real man beauty' according to an embodiment of the present invention.
20 and 21 are diagrams showing bar graphs showing reliability for each review video according to an embodiment of the present invention.
22 is an operation flowchart illustrating a method for integrating verbal and non-verbal emotion analysis according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, the embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. The present invention may be implemented in several different forms and is not limited to the embodiments described herein.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly explain the present invention, parts irrelevant to the description are omitted, and the same reference numerals are assigned to the same or similar elements throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.When a part is referred to as being “above” another part, it may be directly on the other part, or the other part may be involved in between. In contrast, when a part refers to being "directly above" another part, no other part is involved in between.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.The terms first, second and third etc. are used to describe, but are not limited to, various parts, components, regions, layers and/or sections. These terms are used only to distinguish one part, component, region, layer or section from another part, component, region, layer or section. Accordingly, a first part, component, region, layer or section described below may be referred to as a second part, component, region, layer or section without departing from the scope of the present invention.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.The terminology used herein is for the purpose of referring to specific embodiments only, and is not intended to limit the present invention. As used herein, the singular forms also include the plural forms unless the phrases clearly indicate the opposite. The meaning of "comprising," as used herein, specifies a particular characteristic, region, integer, step, operation, element and/or component, and includes the presence or absence of another characteristic, region, integer, step, operation, element and/or component. It does not exclude additions.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.Terms indicating a relative space such as “below” and “above” may be used to more easily describe the relationship of one part shown in the drawing to another part. These terms, along with their intended meanings in the drawings, are intended to include other meanings or operations of the device in use. For example, if the device in the drawings is turned over, some parts described as being "below" other parts are described as being "above" other parts. Thus, the exemplary term “down” includes both the up and down directions. The device may be rotated 90 degrees or at other angles, and terms denoting relative space are to be interpreted accordingly.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined otherwise, all terms including technical and scientific terms used herein have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Commonly used terms defined in the dictionary are additionally interpreted as having a meaning consistent with the related technical literature and the presently disclosed content, and unless defined, are not interpreted in an ideal or very formal meaning.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, the embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily carry out the present invention. However, the present invention may be implemented in several different forms and is not limited to the embodiments described herein.
도 1은 본 발명의 실시예에 따른 언어와 비언어 통합 감성 분석 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.1 is a configuration diagram schematically showing the overall configuration of a language and non-verbal integrated sentiment analysis system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시예에 따른 언어와 비언어 통합 감성 분석 시스템(100)은, 전처리기(Pre-processor)(110), 구간 분리기(Section Separator)(120), 언어 감성값 추출기(Verbal Sentiment Value Extractor)(130), 비표준어 감성사전 구축기(Non-Standard Language Sentiment Dictionary Constructor)(140), 비언어 감성값 추출기(Nonverbal Sentiment Value Extractor)(150), 및 통합 신뢰도 분석기(Integrated Reliability Analyzer)(160)를 포함할 수 있다.Referring to FIG. 1 , the integrated verbal and non-verbal
전처리기(110)는 동영상을 입력받아 리뷰어가 리뷰를 진행하는 부분만을 리뷰 영상으로 추출한다. 전처리기(110)는 리뷰어의 얼굴이 화면 내에 디스플레이 되는 영상을 상기 리뷰 영상으로 선정하고, 선정된 리뷰 영상에 대하여 프레임 추출기에 의해 200ms 당 jpg 형식으로 이미지를 추출한다. 예를 들어, 리뷰 동영상은 리뷰어의 얼굴이 확실히 드러나는 것을 기준으로 선정된다. 선정된 동영상은 전처리기(110)를 통해 대상 컨텐츠에 반응하는 부분만을 추출하고, 프레임 추출기에 의해 200ms 당 jpg 형식으로 이미지가 추출되는 것이다.The
구간 분리기(120)는 리뷰 영상에서 리뷰어 음성의 문장별 타임 스탬프(Time Stamp)를 추출하여 구간을 분리한다. 구간 분리기(120)는 리뷰 영상에서 문장별 구간 도출 코드를 통해 해당 컨텐츠의 문장별 문장 시작 시점과 종료 시점을 도출하고, 도출된 시점들을 프레임 추출 단위인 200ms 단위에 맞춰 리뷰 영상의 프레임 구간으로 단위를 변환한다. 예를 들어, 음성 텍스트 변환 결과로 도출된 리뷰어의 음성 txt 파일을 통하여 문장별 구간을 구하기 위해 문장별 구간 도출 코드를 통해 해당 컨텐츠의 문장별 문장 시작 시점과 종료 시점을 도출한다. 도출된 시점들을 앞서 프레임 추출 단위인 200ms 단위에 맞춰 리뷰 동영상의 프레임 구간으로 단위를 변환한다.The
언어 감성값 추출기(130)는 리뷰어의 음성을 텍스트로 변환하여 감성을 분석해 언어 감성 값으로 추출한다. 언어 감성값 추출기(130)는, 리뷰 영상에서 리뷰어의 음성 데이터를 텍스트로 변환하고, 변환된 텍스트에 대하여 자바(Jave) 기반의 형태소 분석기를 통해 형태소를 분석하고, 분석한 문장에 대하여 감성 사전과 비표준어 감성 사전에서 긍정, 부정, 중립의 감성 값을 가져와 언어 감성값 도출 알고리즘을 통해 언어 감성 값을 도출한다. 예를 들면, 리뷰 동영상의 감성값 분석을 위해 Google Cloud의 Speech-to-Text(STT) API를 이용하여 음성 데이터를 텍스트로 변환한다. 변환한 텍스트는 감성 값 분석을 위해 Java 기반의 형태소 분석기 KOMORAN을 이용하여 형태소를 분석한다. 분석한 문장에 대해 감성 사전과 자체 구축한 비표준어 감성 사전에서 긍정, 부정, 중립의 감성 값을 가져와 언어의 감성 값 도출 알고리즘을 통해 언어의 감성 값을 도출하는 것이다.The language
비표준어 감성 사전 구축기(140)는 추출된 언어가 미리 구축된 감성 사전에 없는 단어인 경우 감성 값을 계산해 추가한다. 본 발명의 실시예에서 사용한 실험 대상은 '뷰티'와 'IT' 도메인에 대한 리뷰 영상이다. 같은 도메인의 유튜브 리뷰 영상 50개를 무작위로 추출하고, 크롤링하여 영상 음성 텍스트 변환을 진행한다. KoNLPy의 KOMORAN 한글 형태소 분석기를 통해 영상 스크립트 내 문장을 토큰화한다. 전체 토큰에 대해 Word2Vec Skip-Gram 모델을 생성하여 코사인 유사도 상위 1000개의 유사 관계 형태소를 추출한다. 추출된 형태소 중 품사가 고유명사(NNP), 일반명사(NNG), 형용사(VA), 동사(VV), 용언 추정(NA), 분석 불가능(NF)인 형태소에 대해서만 DB에 저장한다. 저장된 형태소가 표준어 감성 사전 또는 기 구축된 비표준어 감성 사전에 등록되어 있다면, 등록된 감성값에 해당 형태소의 코사인 유사도를 가중치로 부여하여 찾고자 하는 비표준어의 최종 감성값을 계산 후 감성 사전에 업데이트한다.The non-standard language
비언어 감성값 추출기(150)는 리뷰어의 표정을 통해 비언어 감성 값을 추출한다. 이에 대하여 도 3을 통해 좀 더 상세히 설명한다.The non-verbal
통합 신뢰도 분석기(160)는 언어 감성 값과 비언어 감성 값에 대하여 각각 긍정, 부정, 중립의 3가지 감성 표현으로 통일하고, 언어 감성 값과 비언어 감성 값의 일치 여부를 토대로 리뷰 영상의 신뢰도를 계산한다.The integrated
도 2는 본 발명의 실시예에 따른 언어와 비언어 통합 감성 분석 시스템에서 이용하는 언어 감성값 도출 알고리즘의 한 예를 나타낸 도면이다.2 is a diagram illustrating an example of an algorithm for deriving a linguistic sentiment value used in the linguistic and non-verbal integrated sentiment analysis system according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시예에 따른 언어 감성값 도출 알고리즘에서, 알고리즘의 입력 데이터는 해당 리뷰 동영상의 모든 문장이다. 해당 문장은 형태소 분석기를 통해 분석된 1차원 배열들로 구성된 문장들의 2차원 배열이다. Referring to FIG. 2 , in the algorithm for deriving a language sensibility value according to an embodiment of the present invention, input data of the algorithm are all sentences of the corresponding review video. The corresponding sentence is a two-dimensional array of sentences composed of one-dimensional arrays analyzed through a morpheme analyzer.
모든 문장에 대해서 문장이 용언이 2개 이상으로 구성된 복합 문장일 경우 용언을 기준으로 단순 문장으로 나눈다(03-05). For all sentences, if a sentence is a compound sentence composed of two or more verbs, it is divided into simple sentences based on the verb (03-05).
이어, 문장의 구성 형태소 중 용언이 있을 경우, 해당 용언의 감성 값을 받아온다(06-08). Next, if there is a verb among the constituent morphemes of the sentence, the emotional value of the verb is received (06-08).
이어, 용언의 부정, 중립, 긍정 감성 값이 0이 있을 경우, 해당 문장의 모든 형태소의 해당 감성 값을 0으로 정한다(09-14). Next, when the negative, neutral, and positive emotional values of the verb are 0, the corresponding emotional values of all morphemes of the corresponding sentence are set to 0 (09-14).
이어, 문장별로 부정, 중립, 긍정 감성 값을 각각 합산하여 저장한다(15). Next, the negative, neutral, and positive emotion values for each sentence are summed and stored (15).
이후, 문장의 단어 수에 따라 감성 값이 달라지기 때문에, 표준화를 진행하여 감성에 극성을 부여한다(16). Thereafter, since the emotion value varies according to the number of words in the sentence, standardization is performed to give the emotion a polarity (16).
표준화는 문장별로 '감성 / (긍정 + 중립 + 부정)'으로 진행하며, 다음 표 1의 감성 극성 기준에 따라 극성을 부여한다.Standardization proceeds with 'emotional / (positive + neutral + negative)' for each sentence, and polarity is given according to the emotional polarity criteria in Table 1 below.
즉, 감성 극성 기준은 긍정>0.7이면 매우 긍정(+2), 긍정>0.5이면 긍정(+1), 중립>0.5이면 중립(0), 부정>0.5이면 부정(-1), 부정>0.7이면 매우 부정(-2)이 된다.That is, the emotional polarity criterion is very positive (+2) if positive > 0.7, positive (+1) if positive > 0.5, neutral (0) if neutral > 0.5, negative (-1) if negative > 0.5, negative (-1) if negative > 0.7 It becomes very negative (-2).
도 3은 본 발명의 실시예에 따른 비언어 감성값 추출기에 의해 도출된 리뷰어의 감정을 나타낸 시계열 그래프이다.3 is a time series graph showing the emotions of reviewers derived by the non-verbal emotion value extractor according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 실시예에 따른 비언어 감성값 추출기(150)는 리뷰 동영상 속 리뷰어의 감정 분석을 위해 Microsoft Azure의 Face API를 사용한다. 도 3은 유튜버 '가전주부 GJJB'의 에어팟 프로 리뷰의 감정 시계열 그래프를 나타낸 것이다.Referring to FIG. 3 , the non-verbal
비언어 감성값 추출기(150)는 프레임 추출기를 통해 문장별로 구간이 분리된 리뷰 동영상 속 리뷰어의 감정인 분노(Anger), 경멸(Contempt), 혐오(Disgust), 공포(Fear), 행복(Happiness), 중립(Neutral), 슬픔(Sadness), 놀라움(Surprise)의 8가지를 도출한다. The non-verbal
비언어 감성값 추출기(150)는 도출 결과를 도 3에 도시된 시계열 그래프로 분석하여 8가지 감정의 평균 변화율을 구한다. 다음 표 2는 시계열 그래프의 감정에 대한 색상을 나타낸다.The non-verbal
이후, 비언어 감성값 추출기(150)는 언어와의 통합 분석을 위하여 8가지 감정을 긍정, 부정, 중립 3가지의 감정으로 분류한다. 분류 기준은 본 발명의 실시예를 근거로 Face API 결과 감정값 중 ‘행복(Happiness)'과 '놀라움(Surprise)'은 긍정, '분노(Anger)', '경멸(Contempt)', '혐오(Disgust)', '공포(Fear)', '슬픔(Sadness)'은 부정, '뉴트럴(Neutral)'은 중립으로 분류한다.Thereafter, the non-verbal
비언어 감성값 추출기(150)는 긍정, 부정, 중립의 3가지로 나뉜 감성의 감성 값에 대해, 다음 표 3과 같이 긍정과 중립의 경우 평균을, 편차가 큰 부정의 경우에만 최댓값과 평균값의 중간값을 기준으로 감정을 재분류한다. 표 3은 비언어 감성 재분류 표이다.The non-verbal
이후, 비언어 감성값 추출기(150)는 신뢰도 분석을 위하여 문장별로 재분류된 감성 값을 합산하여 매우 긍정(+2), 긍정(+1), 중립(0), 부정(-1), 매우 부정(-2)의 5가지 극성으로 최종 분류한다.Thereafter, the non-verbal
한편, 도 1에서, 통합 신뢰도 분석기(160)는 언어와 비언어의 감정 분석 결과를 통합하여 리뷰 동영상의 신뢰도를 분석한다. 각 문장별로 앞서 구한 언어 극성과 비언어 극성의 차이를 다음 표 4의 기준 표를 참고하여 4가지의 정도를 부여한다. 표 4는 신뢰도 분석의 일치 정도 기준을 나타낸 표이다.Meanwhile, in FIG. 1 , the integrated
통합 신뢰도 분석기(160)는 각 문장별로 분류된 언어 극성과 비언어 극성의 차이 값에 대하여, 0이면매우일치(+1), 1이면 일치(+0.75), 2이면 불일치(+0.25), 3 또는 4이면 매우 불일치(0)로 부여한다.The integrated
또한, 통합 신뢰도 분석기(160)는 리뷰 영상의 신뢰도를 다음 수학식1에 따라 각각의 결과에 가중치를 주어 모두 합산하고, 전체 문장의 수로 평균을 내어 산출한다.In addition, the integrated
수학식 1에서 n은 전체 문장수를 나타내고, Wi는 i번째 문장의 가중치를 나타낸다.In
한편, 본 발명의 실시예에서는 딥러닝 협업을 위해 Google Colab 가상머신을 활용하였다. Ubuntu 18.04.3 LTS, Intel(r) Xeon(R) 듀얼코어, 속도는 2.20GHz이고, 캐시는 56MB이다. 소프트웨어는 Python 3.6.9를 사용한다.On the other hand, in the embodiment of the present invention, a Google Colab virtual machine was used for deep learning collaboration. Ubuntu 18.04.3 LTS, Intel(r) Xeon(R) dual core, speed 2.20GHz, cache 56MB. The software uses Python 3.6.9.
<언어 감성 분석><Language Sentiment Analysis>
본 발명의 실시예에 따른 언어 감성값 추출기(130)는 리뷰 동영상으로부터 언어 감성값을 추출할 수 있다. The language
실험 대상으로 '뷰티', 'IT'의 2가지 분야에 대해서 각각 11개씩 22개의 리뷰 동영상을 선정하였으며, 다음 표 5는 선정한 리뷰 동영상 일부이다.22 review videos were selected for the two fields of 'beauty' and 'IT' as experimental subjects, 11 each. Table 5 below shows some of the selected review videos.
다음 표 6은 IT 분야인 '가전주부 GJJB'와 'nyanji냔지'의 리뷰 영상과 뷰티 분야인 '스완SWAN_현실남자뷰티'와 'You need 윤이든'의 리뷰 영상에 대한 언어 감성 분석 결과 예시이다.Table 6 below is an example of the results of analysis of language sentiment for the review videos of 'Home Appliance Housewives GJJB' and 'nyanji Nyi' in the IT field and the review videos of 'Swan SWAN_Real Man Beauty' and 'You Need Yoon Eden' in the beauty field. .
표 6의 ‘얘는 노이즈 캔슬링일 때도 화이트 노이즈가 없어요'에서 용언은 '없' 1개이며, 부정, 중립, 긍정 감성 값 중 0인 값이 없으므로(표6) 언어의 감성 값 도출 알고리즘에 따라 단어 감성 값의 단순 합을 통하여(표7) 문장 감성 값 4.44(부정), 0.89(중립), 4.95(긍정)을 도출한다. 즉, 해당 문장의 최종 감성 값은 긍정이 된다.In Table 6, 'There is no white noise even when it is noise canceling', the verb is 'No', and there is no 0 value among negative, neutral, and positive emotion values (Table 6), so according to the language's emotion value derivation algorithm Through the simple sum of word sentiment values (Table 7), sentence sentiment values of 4.44 (negative), 0.89 (neutral), and 4.95 (positive) are derived. That is, the final emotional value of the corresponding sentence becomes positive.
표 6의 '발라줬는데 보시면 아시겠지만 굉장히 얇고 자연스럽게 내 피부처럼 밀착이 되고요'에서 용언은 '보', '알', '되'로 총 3개이며 '보'의 중립 감성 값이 0(표6)이므로 해당 문장의 모든 단어의 중립 감성 값을 0으로 정한다. 따라서 중립 감성 값을 제외한 긍정, 부정 감성 값을 합하여(표7) 문장 감성 값 8.97(부정), 0(중립), 12.10(긍정)을 도출한다. 결과적으로, 해당 문장의 최종 감성 값은 긍정이 된다.In Table 6, 'I applied it, and as you can see, it is very thin and naturally adheres like my skin'. Therefore, the neutral sentiment value of all words in the sentence is set to 0. Therefore, by summing the positive and negative sentiment values excluding the neutral sentiment values (Table 7), the sentence sentiment values 8.97 (negative), 0 (neutral), and 12.10 (positive) are derived. As a result, the final emotional value of the corresponding sentence becomes positive.
다음 표 7은 문장별 용언의 감성 점수를 예시한 표이다.Table 7 below is a table that exemplifies the emotional score of verbs for each sentence.
다음 표 8은 문장별 단어의 감성 점수를 예시한 표이다.Table 8 below is a table that exemplifies sentiment scores of words for each sentence.
도 4 내지 도 7은 표 5에 제시한 언어 감성값 도출 알고리즘을 통해 도출한 리뷰 동영상의 언어 감성 값 그래프 중 일부이다. 즉, 도 4는 ‘엠알(MR)'의 언어 감성 값을 나타낸 그래프이고, 도 5는 (IT) 'IT's okay 잇츠 오케이'의 언어 감성 값을 나타낸 그래프이고, 도 6은 (IT) '고나고'의 언어 감성 값을 나타낸 그래프이고, 도 7은 (IT) '가전주부 GJJB'의 언어 감성 값을 나타낸 그래프이다. 그래프의 가로축은 문장 번호이며, 세로축은 언어의 감성 값 도출 알고리즘을 통해 얻은 문장 별 언어의 감성 값이다. 도 4 및 도 5는 감성 값 그래프가 상대적으로 변화 폭이 좁다. 이는 리뷰어가 긍정과 부정의 표현을 자주 번갈아 사용하여 변화도의 격차가 크기 때문이다. 반면, 도 6 및 도 7의 경우 감성 값 그래프가 상대적으로 변화 폭이 넓다. 이는 리뷰어가 제품에 대한 긍정적인 반응과 부정적인 반응을 비교적 지속하며 평가하였기 때문이다.4 to 7 are a portion of a graph of a language emotion value of a review video derived through the algorithm for deriving a language emotion value presented in Table 5. Referring to FIG. That is, FIG. 4 is a graph showing the language sensitivity value of 'MR', FIG. 5 is a graph showing the language sensitivity value of (IT) 'IT's okay It's okay', and FIG. 6 is (IT) 'Gonago' ' is a graph showing the language sensitivity value of ', and FIG. 7 is a graph showing the language sensitivity value of (IT) 'Housewife GJJB'. The horizontal axis of the graph is the sentence number, and the vertical axis is the emotional value of the language for each sentence obtained through the language emotion value derivation algorithm. 4 and 5 show a relatively narrow range of change in the sentiment value graph. This is because reviewers frequently alternately use positive and negative expressions, so there is a large gap in the degree of change. On the other hand, in the case of FIGS. 6 and 7, the sensitivity value graph has a relatively wide range of change. This is because reviewers consistently evaluated positive and negative reactions to the product.
도 8은 (뷰티) 'GAYOON 가윤'의 언어 감성 값을 나타낸 그래프이고, 도 9는 (뷰티) 'Coco Riley' 의 언어 감성 값을 나타낸 그래프이다. 8 is a graph showing the language sensitivity values of 'GAYOON Gayoon (beauty),' and FIG. 9 is a graph showing the language sensitivity values of 'Coco Riley' (beauty).
도 8의 14번 문장의 경우 회색의 긍정 값이 급격히 커지는데 해당 문장은 총 36어절로 이루어진 복합 문장으로 긍정 값을 가지는 단어들이 많이 사용되었기 때문이다. 또한 도 9의 40번 문장에서 파란색의 부정 값이 매우 큰데 이는 총 35어절로 이루어진 복합 문장으로 부정 값을 가지는 단어들이 많이 사용되었기 때문이다.In the case of
전술한 바와 같이 다수의 어절로 구성된 복합 문장의 경우 언어의 감성 값이 문장의 길이에 따라 크게 변화하여 이의 오차를 줄이기 위하여 표준화를 진행하여 극성을 부여하였다.As described above, in the case of a compound sentence composed of a plurality of words, the sensibility value of the language greatly changed according to the length of the sentence, and in order to reduce the error, standardization was performed and polarity was given.
<비표준어 감성 사전 구축><Construction of non-standard language sentiment dictionary>
언어 감성 분석의 정교함을 위해, 본 발명의 실시예에 따른 비표준어 감성사전 구축기(140)는 유튜브에서 자주 사용하는 인터넷 용어와 신조어를 포함하는 비표준어 감성 사전을 구축할 수 있다. For sophistication of language sentiment analysis, the non-standard language
다음 표 9는 앞에서 제시한 비표준어 감성 사전 구축방법으로 생성한 Word2Vec 모델으로 얻은 신조어에 대한 유사 관계 형태소와 코사인 유사도의 일부이다.Table 9 below shows some of the similarity relational morphemes and cosine similarities for new words obtained by the Word2Vec model generated by the non-standard word sentiment dictionary construction method presented above.
‘취저’는 '취향 저격'이라는 뜻의 신조어로, 마음에 드는 물건 혹은 사람을 지칭하는 긍정의 의미를 내포한다. 이 때 유사 관계 형태소로 '감사', '이쁘-', '귀엽-', '띵템'이 있다. 'Chuseo' is a new word meaning 'sniping taste' and has a positive meaning to refer to a favorite object or person. At this time, there are 'thank you', 'pretty-', 'cute-', and 'thingtem' as morphemes with similar relationships.
'취저'의 3가지 감성 점수를 계산하기 위해, 각각의 유사 관계 형태소의 코사인 유사도와 각각의 감성 점수를 곱하여 합산한다. 표 8의 내용만을 가지고 계산한 해당 단어의 감성 점수는 도 10과 같다. 도 10은 본 발명의 실시예에 따라 '취저'의 감성값 계산 과정을 예시한 도면이고, 도 11은 본 발명의 실시예에 따라 ‘착붙’의 감성값 계산 과정을 예시한 도면이다. 즉, '취저'는 긍정의 감성값이 가장 높은 감성어로 분류되며, 긍정 0.9642, 중립 0, 부정 0.0358의 값을 가진다.In order to calculate the three emotional scores of 'Chuseo', the cosine similarity of each similar relational morpheme is multiplied by each emotional score and summed. The emotional score of the corresponding word calculated using only the contents of Table 8 is shown in FIG. 10 . FIG. 10 is a diagram illustrating a process of calculating the emotion value of 'Chuseo' according to an embodiment of the present invention, and FIG. That is, 'gwijeo' is classified as an emotional word with the highest positive emotional value, and has values of 0.9642 positive, 0 neutral, and 0.0358 negative.
아래 표 10은 제시된 방법을 통하여 구축된 비표준어 감성 사전의 예시이다. Table 10 below is an example of a non-standard word sentiment dictionary constructed through the presented method.
품사는 일반명사(NNG)로 저장되게끔 진행하였고, 긍정, 중립, 부정의 감성 중 가장 높은 비율의 감성에 대해 결과를 출력하였다.The part-of-speech was stored as a common noun (NNG), and the result was output for the highest ratio of emotions among positive, neutral, and negative emotions.
도 10과 도 11을 통해 예시를 들어 설명한 '취저'와 '착붙'은 각각 감성 비율 0.5399와 0.548으로 최종 감성 결과가 모두 긍정(POS)이다. 10 and 11, 'Chuseo' and 'Cheak-Gwat' described by way of example have sensibility ratios of 0.5399 and 0.548, respectively, and the final sensibility results are both positive (POS).
상위 5개 유사 관계 형태소에 대해서만 계산한 예시와 다르게, 상위 1000개의 형태소에 대해 모두 계산하였기 때문에, 예시를 통해 계산한 결과와 실제 계산된 최종 긍정 감성 비율은 다르다. Unlike the example in which only the top 5 similar relational morphemes were calculated, since all the top 1000 morphemes were calculated, the result calculated through the example and the actual calculated final positive emotion ratio are different.
부정 감성값 0.4845의 '핑프'는 '핑거 프린스 혹은 핑거 프린세스'의 준말로, 검색하지 않고 묻는 사람을 조롱하는 부정적인 의미이다. 마찬가지로, 부정 감성값 0.4886의 '노답'은 '답이 없다'라는 의미로, 고쳐질 기미가 보이지 않는 사람 혹은 상황에 대한 부정적인 의미이다. 'Ping' with a negative sensibility value of 0.4845 is an abbreviation for 'finger prince or finger princess', which has a negative meaning to ridicule people who ask without searching. Similarly, 'no answer' with a negative sensibility value of 0.4886 means 'no answer', which has a negative meaning for a person or situation that shows no sign of being fixed.
따라서 두 단어 모두 최대 감성값 결과가 부정(NEG)으로 실제 의미와 잘 매칭이 된다. Therefore, for both words, the result of the maximum emotional value is negative (NEG), which matches well with the actual meaning.
또한, 긍정 감성값 0.5913의 '언박싱'은 택배나 포장된 물건을 풀어본다는 긍정의 뜻이다. 긍정 감성값 0.5162의 '꾸안꾸'는 '꾸민 듯 안 꾸민 듯'이라는 뜻으로, 드러나게 꾸미지 않았지만 예쁘다는 의미의 긍정적인 단어이다. In addition, 'unboxing' with a positive emotional value of 0.5913 means the positive meaning of unpacking parcels or packaged goods. 'Kuanku' with a positive emotional value of 0.5162 means 'as if decorated or undecorated,' and it is a positive word meaning that it is not decorated explicitly but is pretty.
이 두 단어 역시 최대 감성값 결과가 긍정(POS)으로 실제 의미와 맞는 결과가 도출되었다. 이러한 방식으로, 본 발명의 실시예에서는 인터넷 용어나 신조어에 해당하는 약 400여 개의 형태소에 대해 비표준어 감성 사전을 구축할 수 있다.For these two words, the result of the maximum emotional value was also positive (POS), and the result matched the actual meaning was derived. In this way, in an embodiment of the present invention, a non-standard word sentiment dictionary can be built for about 400 morphemes corresponding to Internet terms or new words.
< 비언어 감성 분석>< Non-verbal emotion analysis>
본 발명의 실시예에 따른 비언어 감정값 추출기(150)는 도 12에 도시된 바와 같이 이미지로부터 비언어 감성값을 추출할 수 있다.The non-verbal
도 12는 본 발명의 실시예에 따라'가전주부 GJJB' 영상의 긍정 표정 구간의 사진을 나타낸 도면이다. 도 12에서 긍정 구간 표정의 극성별 감정 변화 값은 긍정 값이 7.44 중립 값이 7.20 부정 값이 12.394로 나타났다. 12 is a view showing a photograph of a positive expression section of the 'household housewife GJJB' image according to an embodiment of the present invention. In FIG. 12 , as for the emotional change values for each polarity of the expression in the positive section, the positive value was 7.44, the neutral value was 7.20, and the negative value was 12.394.
해당 영상의 감정값 재분류 기준은 긍정이 0.243, 중립 1.843, 부정 31.020이다. 이를 비언어 감성 재분류 수식에 대입하여 해당 구간의 감정별 극성을 분류하면 긍정(2), 강한 중립(1), 약한 부정(-2)으로 나타나 구간의 감정값 총합이 1로 긍정으로 분류되었다.The criteria for reclassifying the emotional value of the video are 0.243 positive, 1.843 neutral, and 31.020 negative. By substituting this into the non-verbal emotion reclassification formula to classify the polarity of each emotion in the section, it was found to be positive (2), strong neutral (1), and weakly negative (-2). .
도 13은 본 발명의 실시예에 따라'스완SWAN_현실남자뷰티' 영상의 부정 표정 구간의 사진을 나타낸 도면이다. 도 13에서 부정 구간 표정의 극성별 감정 변화 값은 긍정 값 17.995, 중립 값 0, 부정 값 31.201로 나타났다. 13 is a view showing a photograph of the negative expression section of the 'Swan SWAN_Real Male Beauty' image according to an embodiment of the present invention. In FIG. 13 , the emotional change values for each polarity of the facial expression in the negative section were shown as a positive value of 17.995, a neutral value of 0, and a negative value of 31.201.
또한, 해당 영상의 감정값 재분류 기준은 긍정 0.029, 중립 0.745, 부정 29.060이다. 비언어 감성 재분류 수식 대입 결과에 따라 해당 구간의 감정별 극성 값은 매우 긍정(3), 약한 중립(-1), 강한 부정(-3)으로 총합 -1로 부정으로 최종 분류되었다.In addition, the emotional value reclassification criteria for the video are 0.029 positive, 0.745 neutral, and 29.060 negative. According to the result of substituting the non-verbal emotion reclassification formula, the polarity values for each emotion in the corresponding section were classified as very positive (3), weakly neutral (-1), and strongly negative (-3) with a total of -1 and negative.
도 14 내지 도 17은 본 발명의 실시예에 따른 비언어 감정값 추출기를 통해 도출한 비언어 감성 값 그래프이다. 도 14 및 도 15는 IT 분야, 도 16 및 도 17은 뷰티 분야의 비언어 감성 값 그래프이다. 즉, 도 14는 (IT) '고나고'의 비언어 감성값 그래프이고, 도 15는 (IT) '박막례 할머니 Korea Grandma'[21]의 비언어 감성값 그래프이고, 도 16은 (뷰티) 'GAYOON 가윤'의 비언어 감성값 그래프이고, 도 17은 (뷰티) '뷰드름 유투버 인씨'의 비언어 감성값 그래프이다. 제품의 새로운 기능을 소개와 제품의 장점에 대해서 주로 리뷰 하는 것이 많은 리뷰 영상의 특성처럼 전체적 비언어 감성 값 극성 역시 매우 긍정(+2)과 긍정(+1)이 주로 나타나는 경향을 보인다. 14 to 17 are graphs of non-verbal emotion values derived through a non-verbal emotion value extractor according to an embodiment of the present invention. 14 and 15 are graphs of non-verbal emotion values in the IT field, and FIGS. 16 and 17 in the beauty field. That is, FIG. 14 is a graph of non-verbal emotion values of (IT) 'Gonago', FIG. 15 is a graph of non-verbal emotion values of (IT) 'Grandma Park Mak-rye Korea Grandma' [21], and FIG. 16 is (beauty) It is a graph of the non-verbal emotion value of 'GAYOON Gayoon', and FIG. Like the characteristics of review videos that mainly review product advantages and introduction of new functions, the overall non-verbal emotional value polarity also tends to be very positive (+2) and positive (+1).
도 14 및 도 16과 같이 중립의 값이 지속적으로 나타나는 경우는 리뷰어의 표정의 변화가 적은 리뷰어임을 추론할 수 있고, 도 15 및 도 17과 같은 그래프는 긍정, 부정, 중립의 값이 다양하게 나타나 리뷰어의 표정의 변화가 크고 다양하다고 추론할 수 있다.14 and 16 , when the neutral value continuously appears, it can be inferred that the reviewer has a small change in the expression of the reviewer. It can be inferred that the change in the expression of the reviewer is large and varied.
< 통합 신뢰도 분석>< Integrated reliability analysis >
본 발명의 실시예에 따른 통합 신뢰도 분석기(160)는 추출된 언어와 비언어적 감성 값의 일치 여부를 통해 통합 신뢰도 분석을 실행하였다. 본 발명의 실시예에서는'매우 일치'는 1의 가중치, '일치'는 0.75의 가중치, '불일치'는 0.25의 가중치, '매우 불일치'는 0의 가중치를 부여하여 실험하였다. 도 18은 '가전주부 GJJB', 도 19는 '스완SWAN_현실남자뷰티'의 문장별 언어, 비언어 일치율을 보여주는 막대 그래프이다. 이를 통하여 한 영상 속 일치율이 높은 구간과 낮은 구간을 파악할 수 있다. The integrated
일치율 그래프 속 가로축은 유의미한 구간에 해당하는 문장번호이고 세로축은 각 문장 구간에 해당하는 언어, 비언어 일치율이다. 각 문장 별 일치율은 매우 일치, 일치, 불일치, 매우 불일치 4개의 정도 중 하나를 나타낸다. In the coincidence rate graph, the horizontal axis is the sentence number corresponding to a meaningful section, and the vertical axis is the verbal and non-verbal agreement rate corresponding to each sentence section. The concordance rate for each sentence indicates one of four degrees of very agreement, agreement, disagreement, and very disagreement.
신뢰도가 높은 '가전주부 GJJB'의 경우 매우 일치와 일치를 나타내는 비율이 90% 이상이고, 매우 불일치를 나타내는 문장은 없다. In the case of 'household housewife GJJB', which is highly reliable, the ratio indicating very agreement and agreement is more than 90%, and there is no sentence indicating very disagreement.
반면에 신뢰도가 낮은 '스완SWAN_현실남자뷰티'의 경우, 매우 불일치와 불일치를 나타내는 문장의 비율이 60% 이상이며, 특히 매우 불일치의 비율이 40%로 많은 비율을 차지한다. On the other hand, in the case of 'Swan SWAN_Real Men's Beauty', which has low reliability, the proportion of sentences showing very inconsistency and inconsistency is more than 60%, and in particular, the proportion of very inconsistent is 40%, accounting for a large proportion.
따라서 신뢰도가 높은 영상의 경우, 매우 일치와 일치의 비율이 80% 이상으로 크게 나타났고, 매우 불일치의 개수가 현저히 적은 것으로 나타난다. Therefore, in the case of images with high reliability, the ratio of very concordance and concordance was greater than 80%, and the number of very discrepancies was significantly small.
그리고 신뢰도가 낮은 영상의 경우, 매우 불일치와 불일치의 비율이 60%이상으로 높게 나타났으며, 특히 매우 불일치의 개수가 높은 것으로 나타난다.And in the case of images with low reliability, the ratio of inconsistency and inconsistency was as high as 60% or more, and in particular, the number of inconsistencies was very high.
또한 리뷰 동영상의 일치율 그래프를 통하여 일치율이 높은 구간과 낮은 구간이 각각 연속적인 구간 속에 있는 것을 알 수 있었다. 신뢰도가 높은 '가전주부 GJJB'의 일치율 분포를 보면, 일치와 불일치의 문장들이 각각 어떠한 구간에 집중되어 있다.In addition, through the match rate graph of the review video, it was found that the sections with high and low concordance rates were in continuous sections, respectively. Looking at the distribution of the concordance rate of 'Housewife GJJB' with high reliability, sentences of concordance and discordance are concentrated in certain sections, respectively.
‘가전주부 GJJB'의 경우, 15번 문장 이후부터는 연속적으로 일치가 나타남을 알 수 있다. 또한 신뢰도가 낮은 '스완SWAN_현실남자뷰티'의 경우에도, 5-10번 문장, 15-17번 문장, 20-29번 문장, 36-41번 문장 등 불일치의 연속 구간을 이루고 있다.In the case of 'Housewife GJJB', it can be seen that the agreement appears continuously from
도 18의 '가전주부 GJJB'의 일치율 그래프 속 문장 구간들에 대해 살펴보면, 구간 17과 구간 26에 해당하는, 표 6에 제시된 문장의 언어 감성값은 각각 '긍정(+1)'을 나타내는데, 이 때의 비언어 감성값(도 11)은 모두 '긍정(+1)'으로 0의 차이를 가지며 '매우 일치'이다. 도 18은 본 발명의 실시예에 따라 ‘가전주부 GJJB'의 문장별 일치율 그래프를 나타낸 도면이다. 모든 문장 구간에 대하여 일치율을 도출한 결과, '매우 일치'를 나타내는 문장 17개, '일치'를 나타내는 문장 8개, '불일치'를 나타내는 문장 3개, '매우 불일치’를 나타내는 문장 0개로 '가전주부 GJJB' 리뷰 동영상의 신뢰도는 아래 수학식 2와 같이 84.82%로 도출되었다. Looking at the sentence sections in the coincidence rate graph of 'household housewife GJJB' in FIG. 18, the language sensitivity values of the sentences presented in Table 6 corresponding to
도 19의 '스완SWAN_현실남자뷰티'의 일치율 그래프 속 문장 구간 39에 해당하는, 표 6에 제시된 문장의 언어 감성값은 '긍정(+1)'을 나타내지만, 이 때 비언어 감성값(도 12)은 '부정(-1)'을 나타냄에 따라 감성값의 차이가 2로 '불일치'이다. 도 19는 본 발명의 실시예에 따라 ‘스완(SWAN)_현실남자뷰티'의 문장별 일치율 그래프를 나타낸 도면이다. 모든 문장 구간에 대하여 일치율을 도출한 결과, '매우 일치'를 나타내는 문장 2개, '일치'를 나타내는 문장 13개, '불일치'를 나타내는 문장 10개, '매우 불일치'를 나타내는 문장 19개로 '가전주부 GJJB' 리뷰 동영상의 신뢰도는 다음 수학식 3과 같이 32.4%로 도출되었다.The verbal emotional value of the sentence presented in Table 6, which corresponds to the
전술한 바와 같은 방식으로 문장별 일치율을 구하여 총 22개의 모든 리뷰 동영상('이제이EJ', 'ITSub잇섭', '라이브렉스 LiveREX', '만능혁키', '보겸 BK', '임파 IMPA', '아우라M AURA_M', '채우 Chaewoo', '사리*G*O*', 'YOOTRUE ON AIR', '포푼젤 Popunzel')에 대한 신뢰도 도출을 완료하였다. In the same way as described above, the matching rate for each sentence was obtained and a total of 22 review videos ('EJ EJ', 'ITSub Issub', 'Live Rex LiveREX', 'All-round Hyukki', 'Bogyeom BK', 'Impa IMPA', ' Reliability derivation for 'AURA_M', 'Chaewoo', 'Sari*G*O*', 'YOOTRUE ON AIR', and 'Popunzel') was completed.
도 20 및 도 21은 본 발명의 실시예에 따라 리뷰 동영상 별 신뢰도를 보여주는 막대 그래프를 나타낸 도면이다. 도 20은 IT 분야 11개, 도 21은 뷰티 분야 11개의 리뷰 동영상 별 신뢰도를 보여주는 막대 그래프이다. 왼쪽부터 신뢰도가 높은 순서대로 정렬하였을 때, IT와 뷰티로 콘텐츠가 다른 분야임에도 불구하고 IT와 뷰티 분야 모두 신뢰도가 낮은 경우는 30%대로, 높은 경우는 70-80%대로 비슷한 결과를 보여주었다.20 and 21 are diagrams showing bar graphs showing reliability for each review video according to an embodiment of the present invention. 20 is a bar graph showing the reliability of 11 review videos in the IT field and FIG. 21 in the beauty field. When sorted from the left in order of high reliability, even though the contents are different for IT and beauty, both IT and beauty fields showed similar results in the 30% range and 70-80% in the case of high reliability in both fields.
도 22는 본 발명의 실시예에 따른 언어와 비언어 통합 감성 분석 방법을 나타낸 동작 흐름도이다. 22 is an operation flowchart illustrating a method for integrated verbal and non-verbal emotion analysis according to an embodiment of the present invention.
도 22를 참조하면, 본 발명의 실시예에 따른 언어와 비언어 통합 감성 분석 시스템(100)은, 먼저 전처리기(110)가 동영상을 입력받아 리뷰어가 리뷰를 진행하는 부분만을 리뷰 영상으로 추출한다(S2210).Referring to FIG. 22 , in the linguistic and non-verbal
이어, 구간 분리기(120)는 리뷰 영상에서 리뷰어 음성의 문장별 타임 스탬프(Time Stamp)를 추출하여 구간을 분리한다(S2220).Next, the
이어, 언어 감성값 추출기(130)는 리뷰어의 음성을 텍스트로 변환하여 감성을 분석해 언어 감성 값으로 추출한다(S2230).Then, the language
즉, 언어 감성값 추출기(130)는, 리뷰 영상에서 상기 리뷰어의 음성 데이터를 텍스트로 변환하고, 변환된 텍스트에 대하여 자바 기반의 형태소 분석기를 통해 형태소를 분석하고, 분석한 문장에 대하여 감성 사전과 비표준어 감성 사전에서 긍정, 부정, 중립의 감성 값을 가져와 언어 감성값 도출 알고리즘을 통해 언어 감성 값을 도출할 수 있다.That is, the language
이때, 비표준어 감성 사전 구축기(140)는 추출된 언어가 미리 구축된 감성 사전에 없는 단어인 경우 추출된 언어의 감성 값을 계산해 추가할 수 있다.In this case, when the extracted language is a word that is not in the pre-built sentiment dictionary, the non-standard language
이어, 비언어 감성값 추출기(150)는 리뷰어의 표정을 통해 비언어 감성 값을 추출한다(S2240).Next, the non-verbal
즉, 비언어 감성값 추출기(150)는, 프레임 추출기를 통해 문장별로 구간이 분리된 상기 리뷰 영상 속 리뷰어의 감정에 대하여 분노(Anger), 경멸(Contempt), 혐오(Disgust), 공포(Fear), 행복(Happiness), 중립(Neutral), 슬픔(Sadness), 놀라움(Surprise)의 8가지를 도출하고, 도출 결과를 감정 색상의 시계열 그래프로 분석하여 8가지 감정의 평균 변화율을 산출할 수 있다.That is, the non-verbal
또한, 비언어 감성값 추출기(150)는, 8가지 감정을 긍정, 부정, 중립 3가지의 감정으로 분류하되, ‘행복(Happiness)'과 '놀라움(Surprise)'은 긍정, '분노(Anger)', '경멸(Contempt)', '혐오(Disgust)', '공포(Fear)', '슬픔(Sadness)'은 부정, '뉴트럴(Neutral)'은 중립으로 분류할 수 있다.In addition, the non-verbal
그리고, 비언어 감성값 추출기(150)는, 긍정, 부정, 중립의 3가지로 나뉜 감성의 감성 값에 대해, 긍정과 중립의 경우 평균을, 편차가 큰 부정의 경우에만 최댓값과 평균값의 중간값을 기준으로 감정을 재분류하며, 문장별로 재분류된 감성 값을 합산하여 매우 긍정(+2), 긍정(+1), 중립(0), 부정(-1), 매우 부정(-2)의 5가지 극성으로 최종 분류할 수 있다.And, the non-verbal
이어, 통합 신뢰도 분석기(160)는 언어 감성 값과 비언어 감성 값에 대하여 각각 긍정, 부정, 중립의 3가지 감성 표현으로 통일하고, 언어 감성 값과 비언어 감성 값의 일치 여부를 토대로 리뷰 영상의 신뢰도를 계산한다(S2250).Next, the integrated
즉, 통합 신뢰도 분석기(160)는, 각 문장별로 분류된 언어 극성과 비언어 극성의 차이 값에 대하여, 0이면 매우일치(+1), 1이면 일치(+0.75), 2이면 불일치(+0.25), 3 또는 4이면 매우 불일치(0)로 부여하고, 리뷰 영상의 신뢰도를 각각의 결과에 가중치를 주어 모두 합산하고, 전체 문장의 수로 평균을 내어 산출할 수 있다.That is, the integrated
전술한 바와 같이, 본 발명의 실시예에서는 IT, 뷰티 2가지 분야에 대해 리뷰 동영상을 선정하여 리뷰어의 음성과 얼굴 표정을 통해 언어 감성 값과 비언어 감성 값을 추출하였다. 추출된 언어, 비언어 감성 값의 일치 여부 판정을 위해 5가지 지표로 통일하였으며, 이들의 일치 여부를 통해 통합 신뢰도 분석을 실행하였다. 분석 결과 신뢰도가 높은 경우는 70-80%대, 낮은 경우는 30%대로 극명한 차이를 보였다. 이를 통해 본 발명은 사용자가 정보 획득을 위한 리뷰 동영상 선택에 있어 명확한 가이드 라인을 제시할 수 있다.As described above, in the embodiment of the present invention, review videos were selected for two fields of IT and beauty, and verbal and non-verbal emotion values were extracted through the reviewer's voice and facial expressions. Five indices were unified to determine whether the extracted verbal and non-verbal sensibility values match, and an integrated reliability analysis was performed based on whether they matched. As a result of the analysis, the high reliability was in the 70-80% range and the low reliability was 30%. Through this, the present invention can present a clear guideline for the user to select a review video for information acquisition.
전술한 바와 같이 본 발명에 의하면, 제품 리뷰 영상에 대하여 얼굴 표정으로부터 감성을 추출하여 비언어 감성을 정량화하고, 감정 변화 구간의 리뷰어 음성을 텍스트화하여 긍정과 부정으로 언어 감성을 수치화하며, 비언어 감성과 언어 감성의 일치 여부에 따라 신뢰도를 도출함으로써 영상 컨텐츠의 신뢰성 평가 지표를 제시할 수 있도록 하는, 영상 컨텐츠의 신뢰성 평가를 위한 언어와 비언어 통합 감성 분석 시스템 및 방법을 실현할 수 있다.As described above, according to the present invention, non-verbal emotions are quantified by extracting emotions from facial expressions for product review images, and the reviewer's voice in the emotional change section is converted to text to quantify verbal emotions in positive and negative ways, and non-verbal emotions are quantified. It is possible to realize a linguistic and non-verbal emotion analysis system and method for the reliability evaluation of video content, which can present a reliability evaluation index of video content by deriving reliability according to whether emotion and language emotion match.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains should understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential characteristics thereof, so the embodiments described above are illustrative in all respects and not restrictive. only do The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .
100 : 언어와 비언어 통합 감성 분석 시스템
110 : 전처리기
120 : 구간 분리기
130 : 언어 감성값 추출기
140 : 비표준어 감성사전 구축기
150 : 비언어 감성값 추출기
160 : 통합 신뢰도 분석기100: Verbal and non-verbal emotion analysis system
110: preprocessor
120: section separator
130: language sensitivity value extractor
140: Non-standard word sentiment dictionary builder
150: non-verbal emotion value extractor
160: integrated reliability analyzer
Claims (15)
상기 리뷰 영상에서 상기 리뷰어 음성의 문장별 타임 스탬프(Time Stamp)를 추출하여 구간을 분리하는 구간 분리기(Section Separator);
상기 리뷰어의 음성을 텍스트로 변환하여 감성을 분석해 언어 감성 값으로 추출하는 언어 감성값 추출기(Verbal Sentiment Value Extractor);
상기 추출된 언어가 미리 구축된 감성 사전에 없는 단어인 경우 감성 값을 계산해 추가하는 비표준어 감성 사전 구축기(Non-Standard Language Sentiment Dictionary Constructor);
상기 리뷰어의 표정을 통해 비언어 감성 값을 추출하는 비언어 감성값 추출기(Nonverbal Sentiment Value Extractor); 및
상기 언어 감성 값과 상기 비언어 감성 값에 대하여 각각 긍정, 부정, 중립의 3가지 감성 표현으로 통일하고, 상기 언어 감성 값과 상기 비언어 감성 값의 일치 여부를 토대로 상기 리뷰 영상의 신뢰도를 계산하는 통합 신뢰도 분석기(Integrated Reliability Analyzer);
를 포함하는 언어와 비언어 통합 감성 분석 시스템.a pre-processor that receives a video input and extracts only the part that the reviewer reviews as a review video;
a section separator for separating sections by extracting a time stamp for each sentence of the reviewer's voice from the review image;
Verbal Sentiment Value Extractor (Verbal Sentiment Value Extractor) that converts the reviewer's voice into text, analyzes emotion, and extracts it as a linguistic sentiment value;
a Non-Standard Language Sentiment Dictionary Constructor that calculates and adds a sentiment value when the extracted language is a word that is not in a pre-built sentiment dictionary;
Nonverbal Sentiment Value Extractor (Nonverbal Sentiment Value Extractor) for extracting a non-verbal emotional value through the expression of the reviewer; and
Unifying three emotional expressions of positive, negative, and neutral for the verbal emotional value and the non-verbal emotional value, respectively, and calculating the reliability of the review image based on whether the verbal emotional value and the non-verbal emotional value match Integrated Reliability Analyzer;
A linguistic and non-verbal integrated sentiment analysis system that includes.
상기 전처리기는 상기 리뷰어의 얼굴이 화면 내에 디스플레이 되는 영상을 상기 리뷰 영상으로 선정하고, 선정된 상기 리뷰 영상에 대하여 프레임 추출기에 의해 200ms 당 jpg 형식으로 이미지를 추출하고,
상기 구간 분리기는 상기 리뷰 영상에서 문장별 구간 도출 코드를 통해 해당 컨텐츠의 문장별 문장 시작 시점과 종료 시점을 도출하고, 도출된 시점들을 상기 프레임 추출 단위인 200ms 단위에 맞춰 상기 리뷰 영상의 프레임 구간으로 단위를 변환하는, 언어와 비언어 통합 감성 분석 시스템.The method of claim 1,
The preprocessor selects an image in which the face of the reviewer is displayed in the screen as the review image, and extracts the image in jpg format per 200ms by a frame extractor with respect to the selected review image,
The section separator derives the sentence start time and the end time for each sentence of the corresponding content through the section derivation code for each sentence in the review image, and sets the derived time points to the frame section of the review image according to the 200 ms unit, which is the frame extraction unit. An integrated linguistic and non-verbal sentiment analysis system that converts units.
상기 언어 감성값 추출기는, 상기 리뷰 영상에서 상기 리뷰어의 음성 데이터를 텍스트로 변환하고, 변환된 텍스트에 대하여 자바 기반의 형태소 분석기를 통해 형태소를 분석하고, 분석한 문장에 대하여 감성 사전과 비표준어 감성 사전에서 긍정, 부정, 중립의 감성 값을 가져와 언어 감성값 도출 알고리즘을 통해 상기 언어 감성 값을 도출하는, 언어와 비언어 통합 감성 분석 시스템.The method of claim 1,
The language emotion value extractor converts the reviewer's voice data into text in the review image, analyzes the morpheme through a Java-based morpheme analyzer for the converted text, and a sentiment dictionary and a non-standard word sentiment dictionary for the analyzed sentence A linguistic and non-verbal sensibility analysis system that takes positive, negative, and neutral sentiment values from and derives the linguistic sentiment values through a linguistic sentiment value derivation algorithm.
상기 언어 감성값 도출 알고리즘은,
상기 리뷰 영상의 모든 문장이 입력 데이터이고, 상기 입력 데이터는 형태소 분석기를 통해 분석된 1차원 배열들로 구성된 문장들의 2차원 배열이며,
상기 모든 문장에 대해서 문장이 용언이 2개 이상으로 구성된 복합 문장일 경우 용언을 기준으로 단순 문장으로 나누고, 상기 문장의 구성 형태소 중 용언이 있을 경우, 해당 용언의 감성 값을 받아오고, 상기 용언의 부정, 중립, 긍정 감성 값이 0이 있을 경우 해당 문장의 모든 형태소의 해당 감성 값을 0으로 설정하며,
문장별로 부정, 중립, 긍정의 감성 값을 각각 합산하여 저장하고, 표준화를 진행하여 감성에 극성을 부여하되, 감성 극성 기준에 따라 극성을 부여하는, 언어와 비언어 통합 감성 분석 시스템.4. The method of claim 3,
The language sensitivity value derivation algorithm is,
All sentences of the review image are input data, and the input data is a two-dimensional array of sentences composed of one-dimensional arrays analyzed through a morpheme analyzer,
For all the sentences, if the sentence is a compound sentence composed of two or more verbs, it is divided into simple sentences based on the verb, and if there is a verb among the constituent morphemes of the sentence, the emotional value of the verb is received, If there is a negative, neutral, or positive emotional value of 0, the corresponding emotional value of all morphemes in the sentence is set to 0,
An integrated verbal and non-verbal sentiment analysis system that adds and stores negative, neutral, and positive emotional values for each sentence, standardizes them, and assigns polarity to emotions, but assigns polarity according to emotional polarity criteria.
상기 감성 극성 기준은 긍정>0.7이면 '매우 긍정(+2)', 긍정>0.5이면 '긍정(+1)', 중립>0.5이면 '중립(0)', 부정>0.5이면 '부정(-1)', 부정>0.7이면 '매우 부정(-2)'이 되는, 언어와 비언어 통합 감성 분석 시스템.5. The method of claim 4,
The emotional polarity criterion is 'very positive (+2)' if positive > 0.7, 'positive (+1)' if positive > 0.5, 'neutral (0)' if neutral > 0.5, 'negative (-1)' if negative > 0.5 )', 'Very negative (-2)' if negation > 0.7, an integrated verbal and non-verbal sentiment analysis system.
상기 비언어 감성값 추출기는, 프레임 추출기를 통해 문장별로 구간이 분리된 상기 리뷰 영상 속 상기 리뷰어의 감정에 대하여 분노(Anger), 경멸(Contempt), 혐오(Disgust), 공포(Fear), 행복(Happiness), 뉴트럴(Neutral), 슬픔(Sadness), 놀라움(Surprise)의 8가지를 도출하고, 도출 결과를 감정 색상의 시계열 그래프로 분석하여 8가지 감정의 평균 변화율을 산출하고, 언어와의 통합 분석을 위하여 상기 8가지 감정을 긍정, 부정, 중립 3가지의 감정으로 분류하고, 긍정, 부정, 중립의 3가지로 나뉜 감성의 감성 값에 대해 긍정과 중립의 경우 평균을, 편차가 큰 부정의 경우에만 최댓값과 평균값의 중간값을 기준으로 감정을 재분류하며, 신뢰도 분석을 위하여 문장별로 재분류된 감성 값을 합산하여 매우 긍정(+2), 긍정(+1), 중립(0), 부정(-1), 매우 부정(-2)의 5가지 극성으로 최종 분류하는, 언어와 비언어 통합 감성 분석 시스템.The method of claim 1,
The non-verbal emotion value extractor includes Anger, Contempt, Disgust, Fear, and happiness (Anger), Contempt, Disgust, Happiness), Neutral, Sadness, and Surprise are derived, and the result is analyzed as a time series graph of emotion color to calculate the average rate of change of 8 emotions, and integrated analysis with language For this purpose, the eight emotions are classified into three emotions, positive, negative, and neutral, and the average for positive and neutral emotional values divided into positive, negative, and neutral three emotions, and in the case of negation with a large deviation Emotions are reclassified based on the median of the maximum and average values, and the reclassified sentiment values are summed up for each sentence for reliability analysis to be very positive (+2), positive (+1), neutral (0), negative ( An integrated verbal and non-verbal sentiment analysis system that finally classifies into five polarities of -1) and very negative (-2).
상기 비언어 감성값 추출기는 상기 8가지 감정에 대하여, ‘행복(Happiness)'과 '놀라움(Surprise)'은 긍정, '분노(Anger)', '경멸(Contempt)', '혐오(Disgust)', '공포(Fear)', '슬픔(Sadness)'은 부정, '뉴트럴(Neutral)'은 중립으로 분류하는, 언어와 비언어 통합 감성 분석 시스템.7. The method of claim 6,
In the non-verbal emotion value extractor, for the eight emotions, 'Happiness' and 'Surprise' are positive, 'Anger', 'Contempt', 'Disgust' , 'Fear' and 'Sadness' are negative, and 'Neutral' are classified as neutral. An integrated verbal and non-verbal emotion analysis system.
상기 통합 신뢰도 분석기는, 각 문장별로 분류된 언어 극성과 비언어 극성의 차이 값에 대하여, 0이면매우일치(+1), 1이면 일치(+0.75), 2이면 불일치(+0.25), 3 또는 4이면 매우 불일치(0)로 부여하고, 상기 리뷰 영상의 신뢰도를 다음 수학식에 따라 각각의 결과에 가중치를 주어 모두 합산하고, 전체 문장의 수로 평균을 내어 산출하는, 언어와 비언어 통합 감성 분석 시스템.
수학식에서 n은 전체 문장수를 나타내고, Wi는 i번째 문장의 가중치를 나타낸다.The method of claim 1,
The integrated reliability analyzer, with respect to the difference value between the verbal polarity and the non-verbal polarity classified for each sentence, is 0 if very congruent (+1), 1 is congruent (+0.75), 2 is inconsistent (+0.25), 3 or If it is 4, it is given a very inconsistent (0), and the reliability of the review image is weighted to each result according to the following equation, all summed, and the average of the total number of sentences is calculated. system.
In the equation, n represents the total number of sentences, and Wi represents the weight of the i-th sentence.
상기 비표준어 감성 사전 구축기는,
상기 리뷰어의 음성이 텍스트로 변환되고, 형태소 분석기를 통해 영상 스크립트 내 문장을 토큰화하고, 전체 토큰에 대해 코사인 유사도 상위 1000개의 유사 관계 형태소를 추출하며, 추출된 형태소 중 품사가 고유명사(NNP), 일반명사(NNG), 형용사(VA), 동사(VV), 용언 추정(NA), 분석 불가능(NF)인 형태소에 대해서만 데이터베이스(DB)에 저장하고, 저장된 형태소가 표준어 감성 사전 또는 비표준어 감성 사전에 등록되어 있다면, 등록된 감성 값에 해당 형태소의 코사인 유사도를 가중치로 부여하여 찾고자 하는 비표준어의 최종 감성 값을 계산 후 감성 사전에 업데이트하는, 언어와 비언어 통합 감성 분석 시스템.The method of claim 1,
The non-standard word sentiment dictionary builder,
The reviewer's voice is converted to text, the sentences in the video script are tokenized through a morpheme analyzer, the top 1000 similar relational morphemes with cosine similarity are extracted for all tokens, and the part-of-speech among the extracted morphemes is a proper noun (NNP). , common nouns (NNG), adjectives (VA), verbs (VV), verb estimation (NA), and morphemes that cannot be analyzed (NF) are stored in the database (DB), and the stored morphemes are standard word sentiment dictionary or non-standard word sentiment dictionary. If it is registered in , a language and non-verbal sentiment analysis system that assigns the cosine similarity of the corresponding morpheme to the registered sentiment value as a weight, calculates the final sentiment value of the non-standard word to be found, and then updates the sentiment dictionary.
(b) 구간 분리기(Section Separator)가 상기 리뷰 영상에서 상기 리뷰어 음성의 문장별 타임 스탬프(Time Stamp)를 추출하여 구간을 분리하는 단계;
(c) 언어 감성값 추출기(Verbal Sentiment Value Extractor)가 상기 리뷰어의 음성을 텍스트로 변환하여 감성을 분석해 언어 감성 값으로 추출하는 단계;
(d) 비언어 감성값 추출기(Nonverbal Sentiment Value Extractor)가 상기 리뷰어의 표정을 통해 비언어 감성 값을 추출하는 단계; 및
(e) 통합 신뢰도 분석기(Integrated Reliability Analyzer)가 상기 언어 감성 값과 상기 비언어 감성 값에 대하여 각각 긍정, 부정, 중립의 3가지 감성 표현으로 통일하고, 상기 언어 감성 값과 상기 비언어 감성 값의 일치 여부를 토대로 상기 리뷰 영상의 신뢰도를 계산하는 단계;
를 포함하는 언어와 비언어 통합 감성 분석 방법.(a) a pre-processor (pre-processor) receiving a video input and extracting only a portion of a reviewer reviewing the video as a review video;
(b) separating the sections by extracting, by a Section Separator, a time stamp for each sentence of the reviewer's voice from the review image;
(c) a Verbal Sentiment Value Extractor converting the reviewer's voice into text, analyzing the sentiment, and extracting it as a linguistic sentiment value;
(d) extracting, by a Nonverbal Sentiment Value Extractor, a nonverbal sentiment value through the expression of the reviewer; and
(e) the integrated reliability analyzer (Integrated Reliability Analyzer) unifies the verbal emotional value and the non-verbal emotional value into three emotional expressions of positive, negative, and neutral, respectively, and the verbal sensitivity value and the non-verbal emotional value calculating the reliability of the review image based on the match;
An integrated verbal and non-verbal sentiment analysis method, including
상기 (c) 단계에서 상기 추출된 언어가 미리 구축된 감성 사전에 없는 단어인 경우 비표준어 감성 사전 구축기(Non-Standard Language Sentiment Dictionary Constructor)가 상기 추출된 언어의 감성 값을 계산해 추가하는, 언어와 비언어 통합 감성 분석 방법.11. The method of claim 10,
When the extracted language in step (c) is a word that is not in the pre-built sentiment dictionary, a Non-Standard Language Sentiment Dictionary Constructor calculates and adds the sentiment value of the extracted language. Language integrated sentiment analysis method.
상기 (c) 단계에서 상기 언어 감성값 추출기는, 상기 리뷰 영상에서 상기 리뷰어의 음성 데이터를 텍스트로 변환하고, 변환된 텍스트에 대하여 자바 기반의 형태소 분석기를 통해 형태소를 분석하고, 분석한 문장에 대하여 감성 사전과 비표준어 감성 사전에서 긍정, 부정, 중립의 감성 값을 가져와 언어 감성값 도출 알고리즘을 통해 상기 언어 감성 값을 도출하는, 언어와 비언어 통합 감성 분석 방법.11. The method of claim 10,
In step (c), the language emotion value extractor converts the reviewer's voice data into text in the review image, and analyzes the morpheme through a Java-based morpheme analyzer for the converted text. A linguistic and non-verbal sensibility analysis method that derives the linguistic sensibility value through a linguistic sensibility value derivation algorithm by taking positive, negative, and neutral sensibility values from the sentiment dictionary and the non-standard language sentiment dictionary.
상기 언어 감성값 도출 알고리즘은,
상기 리뷰 영상의 모든 문장이 입력 데이터이고, 상기 입력 데이터는 형태소 분석기를 통해 분석된 1차원 배열들로 구성된 문장들의 2차원 배열이며,
상기 모든 문장에 대해서 문장이 용언이 2개 이상으로 구성된 복합 문장일 경우 용언을 기준으로 단순 문장으로 나누고, 상기 문장의 구성 형태소 중 용언이 있을 경우, 해당 용언의 감성 값을 받아오고, 상기 용언의 부정, 중립, 긍정 감성 값이 0이 있을 경우 해당 문장의 모든 형태소의 해당 감성 값을 0으로 설정하며,
문장별로 부정, 중립, 긍정의 감성 값을 각각 합산하여 저장하고, 표준화를 진행하여 감성에 극성을 부여하되, 감성 극성 기준에 따라 극성을 부여하며,
상기 감성 극성 기준은 긍정>0.7이면 '매우 긍정(+2)', 긍정>0.5이면 '긍정(+1)', 중립>0.5이면 '중립(0)', 부정>0.5이면 '부정(-1)', 부정>0.7이면 '매우 부정(-2)'이 되는, 언어와 비언어 통합 감성 분석 방법.13. The method of claim 12,
The language sensitivity value derivation algorithm is,
All sentences of the review image are input data, and the input data is a two-dimensional array of sentences composed of one-dimensional arrays analyzed through a morpheme analyzer,
For all the sentences, if the sentence is a compound sentence composed of two or more verbs, it is divided into simple sentences based on the verb, and if there is a verb among the constituent morphemes of the sentence, the emotional value of the verb is received, If there is a negative, neutral, or positive emotional value of 0, the corresponding emotional value of all morphemes in the sentence is set to 0,
Negative, neutral, and positive emotional values for each sentence are summed and stored, and polarity is given to emotion by standardization, but polarity is given according to the emotional polarity standard,
The emotional polarity criterion is 'very positive (+2)' if positive > 0.7, 'positive (+1)' if positive > 0.5, 'neutral (0)' if neutral > 0.5, 'negative (-1)' if negative > 0.5 )', 'Very negative (-2)' if negation > 0.7, a method for integrating verbal and non-verbal emotion analysis.
상기 (d) 단계에서 상기 비언어 감성값 추출기는,
프레임 추출기를 통해 문장별로 구간이 분리된 상기 리뷰 영상 속 상기 리뷰어의 감정에 대하여 분노(Anger), 경멸(Contempt), 혐오(Disgust), 공포(Fear), 행복(Happiness), 뉴트럴(Neutral), 슬픔(Sadness), 놀라움(Surprise)의 8가지를 도출하고, 도출 결과를 감정 색상의 시계열 그래프로 분석하여 8가지 감정의 평균 변화율을 산출하고,
상기 8가지 감정을 긍정, 부정, 중립 3가지의 감정으로 분류하되, ‘행복(Happiness)'과 '놀라움(Surprise)'은 긍정, '분노(Anger)', '경멸(Contempt)', '혐오(Disgust)', '공포(Fear)', '슬픔(Sadness)'은 부정, '뉴트럴(Neutral)'은 중립으로 분류하고,
긍정, 부정, 중립의 3가지로 나뉜 감성의 감성 값에 대해, 긍정과 중립의 경우 평균을, 편차가 큰 부정의 경우에만 최댓값과 평균값의 중간값을 기준으로 감정을 재분류하며, 문장별로 재분류된 감성 값을 합산하여 매우 긍정(+2), 긍정(+1), 중립(0), 부정(-1), 매우 부정(-2)의 5가지 극성으로 최종 분류하는, 언어와 비언어 통합 감성 분석 방법.11. The method of claim 10,
In step (d), the non-verbal emotion value extractor,
Anger, Contempt, Disgust, Fear, Happiness, Neutral, Eight kinds of sadness and surprise are derived, and the average change rate of eight emotions is calculated by analyzing the derived results as a time series graph of emotion colors,
The above eight emotions are classified into three emotions: positive, negative, and neutral, but 'Happiness' and 'Surprise' are positive, 'Anger', 'Contempt', and 'Hate''Disgust','Fear', and 'Sadness' are classified as negative and 'Neutral' as neutral,
For the emotional values of emotion divided into positive, negative, and neutral, the emotions are reclassified based on the average in the case of positive and neutral, and the median of the maximum and average values only in the case of negation with a large deviation. Verbal and non-verbal, finally classified into five polarities: very positive (+2), positive (+1), neutral (0), negative (-1), and very negative (-2) by summing the classified emotional values Integrated sentiment analysis method.
상기 (e) 단계에서 상기 통합 신뢰도 분석기는, 각 문장별로 분류된 언어 극성과 비언어 극성의 차이 값에 대하여, 0이면 '매우일치(+1)', 1이면 '일치(+0.75)', 2이면 '불일치(+0.25)', 3 또는 4이면 '매우 불일치(0)'로 부여하고, 상기 리뷰 영상의 신뢰도를 각각의 결과에 가중치를 주어 모두 합산하고, 전체 문장의 수로 평균을 내어 산출하는, 언어와 비언어 통합 감성 분석 방법.11. The method of claim 10,
In step (e), the integrated reliability analyzer, with respect to the difference value between the verbal polarity and the non-verbal polarity classified for each sentence, is 'very congruent (+1)' if 0, 'congruent (+0.75)' if 1, If it is 2, it is given as 'discordant (+0.25)', if it is 3 or 4, it is given as 'very inconsistent (0)'. A method for integrated verbal and non-verbal sentiment analysis.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200188769A KR102505780B1 (en) | 2020-12-31 | 2020-12-31 | Verbal and Nonverbal Integrated Sentiment Analysis System for Evaluating Reliability of Video Contents, method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200188769A KR102505780B1 (en) | 2020-12-31 | 2020-12-31 | Verbal and Nonverbal Integrated Sentiment Analysis System for Evaluating Reliability of Video Contents, method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220096383A true KR20220096383A (en) | 2022-07-07 |
| KR102505780B1 KR102505780B1 (en) | 2023-03-06 |
Family
ID=82398225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200188769A KR102505780B1 (en) | 2020-12-31 | 2020-12-31 | Verbal and Nonverbal Integrated Sentiment Analysis System for Evaluating Reliability of Video Contents, method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102505780B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102497436B1 (en) * | 2022-09-16 | 2023-02-08 | 주식회사 액션파워 | Method for acquiring information related to a target word based on content including a voice signal |
| CN116881504A (en) * | 2023-09-06 | 2023-10-13 | 北京橙色风暴数字技术有限公司 | Image information digital management system and method based on artificial intelligence |
| KR102618060B1 (en) * | 2023-03-21 | 2023-12-27 | (주)노웨어소프트 | Apparatus and method for filtering profanity based on artificial intelligence algorithm |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020083071A (en) | 2001-04-26 | 2002-11-01 | 이준환 | Emotion-Based Color Pattern Evaluation And Retrievals |
| KR101739538B1 (en) * | 2016-01-25 | 2017-05-25 | 주식회사 솔트룩스 | System and method for analyzing sentiment based on machine learning and rule |
| KR20200007713A (en) * | 2018-07-12 | 2020-01-22 | 삼성전자주식회사 | Method and Apparatus for determining a topic based on sentiment analysis |
| KR20200031459A (en) * | 2018-09-14 | 2020-03-24 | 엘지전자 주식회사 | Emotion Recognizer, Robot including the same and Server including the same |
-
2020
- 2020-12-31 KR KR1020200188769A patent/KR102505780B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020083071A (en) | 2001-04-26 | 2002-11-01 | 이준환 | Emotion-Based Color Pattern Evaluation And Retrievals |
| KR101739538B1 (en) * | 2016-01-25 | 2017-05-25 | 주식회사 솔트룩스 | System and method for analyzing sentiment based on machine learning and rule |
| KR20200007713A (en) * | 2018-07-12 | 2020-01-22 | 삼성전자주식회사 | Method and Apparatus for determining a topic based on sentiment analysis |
| KR20200031459A (en) * | 2018-09-14 | 2020-03-24 | 엘지전자 주식회사 | Emotion Recognizer, Robot including the same and Server including the same |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102497436B1 (en) * | 2022-09-16 | 2023-02-08 | 주식회사 액션파워 | Method for acquiring information related to a target word based on content including a voice signal |
| KR102618060B1 (en) * | 2023-03-21 | 2023-12-27 | (주)노웨어소프트 | Apparatus and method for filtering profanity based on artificial intelligence algorithm |
| CN116881504A (en) * | 2023-09-06 | 2023-10-13 | 北京橙色风暴数字技术有限公司 | Image information digital management system and method based on artificial intelligence |
| CN116881504B (en) * | 2023-09-06 | 2023-11-24 | 北京橙色风暴数字技术有限公司 | Image information digital management system and method based on artificial intelligence |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102505780B1 (en) | 2023-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gandhi et al. | Multimodal sentiment analysis: A systematic review of history, datasets, multimodal fusion methods, applications, challenges and future directions | |
| Yang et al. | Integrating deep and shallow models for multi-modal depression analysis—hybrid architectures | |
| Kang et al. | Identifying depressive users in Twitter using multimodal analysis | |
| KR20220096383A (en) | Verbal and Nonverbal Integrated Sentiment Analysis System for Evaluating Reliability of Video Contents, method thereof | |
| Östling et al. | Visual iconicity across sign languages: Large-scale automated video analysis of iconic articulators and locations | |
| Menini et al. | Never retreat, never retract: Argumentation analysis for political speeches | |
| Yamamoto et al. | Role of emoticons for multidimensional sentiment analysis of Twitter | |
| CN110825867B (en) | Similar text recommendation method and device, electronic equipment and storage medium | |
| CN113761377B (en) | False information detection method and device based on attention mechanism multi-feature fusion, electronic equipment and storage medium | |
| Al-Azani et al. | Enhanced video analytics for sentiment analysis based on fusing textual, auditory and visual information | |
| CN112418172A (en) | Multimode information fusion emotion analysis method based on multimode information intelligent processing unit | |
| Hassan et al. | Opinion within opinion: segmentation approach for urdu sentiment analysis. | |
| Yamamoto et al. | Multidimensional sentiment calculation method for Twitter based on emoticons | |
| de Velasco et al. | Emotion Detection from Speech and Text. | |
| Sirrianni et al. | Agreement prediction of arguments in cyber argumentation for detecting stance polarity and intensity | |
| CN114547303A (en) | Text multi-feature classification method and device based on Bert-LSTM | |
| Xi et al. | The blame game: Understanding blame assignment in social media | |
| Noor et al. | Depression Detection In Social Media Using Bagging Classifier | |
| Budzynska et al. | Argument Mining. | |
| Heaton et al. | Language models as emotional classifiers for textual conversation | |
| CN117454217A (en) | Deep ensemble learning-based depression emotion recognition method, device and system | |
| Pereira et al. | Multimodal approach for tension levels estimation in news videos | |
| Bhopale et al. | A review-and-reviewer based approach for fake review detection | |
| Khalaf et al. | Elevating metaverse virtual reality experiences through network‐integrated neuro‐fuzzy emotion recognition and adaptive content generation algorithms | |
| Wang et al. | A multibias-mitigated and sentiment knowledge enriched transformer for debiasing in multimodal conversational emotion recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |