KR20200048637A - 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법 및 이를 적용한 평가 분석 단말기 - Google Patents
영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법 및 이를 적용한 평가 분석 단말기 Download PDFInfo
- Publication number
- KR20200048637A KR20200048637A KR1020180130918A KR20180130918A KR20200048637A KR 20200048637 A KR20200048637 A KR 20200048637A KR 1020180130918 A KR1020180130918 A KR 1020180130918A KR 20180130918 A KR20180130918 A KR 20180130918A KR 20200048637 A KR20200048637 A KR 20200048637A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- intention
- emotion
- content
- analyzing
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000008451 emotion Effects 0.000 claims abstract description 170
- 238000004458 analytical method Methods 0.000 claims abstract description 87
- 238000012790 confirmation Methods 0.000 claims abstract description 22
- 210000004243 sweat Anatomy 0.000 claims description 30
- 230000028327 secretion Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 27
- 238000010606 normalization Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 21
- 230000000877 morphologic effect Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 15
- 210000004556 brain Anatomy 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000011953 bioanalysis Methods 0.000 claims description 5
- 230000002996 emotional effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 2
- 230000008961 swelling Effects 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 claims 3
- 238000005259 measurement Methods 0.000 claims 1
- 238000012795 verification Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 210000003128 head Anatomy 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000005923 long-lasting effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A61B5/0476—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
- A61B5/4261—Evaluating exocrine secretion production
- A61B5/4266—Evaluating exocrine secretion production sweat secretion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Psychiatry (AREA)
- Business, Economics & Management (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Cardiology (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Endocrinology (AREA)
- Software Systems (AREA)
- Gastroenterology & Hepatology (AREA)
Abstract
본 발명은, 콘텐츠 제작자의 의도 확인 정보를 포함하는 영상 콘텐츠 정보를 제공 하는 단계; 상기 영상 콘텐츠 정보를 실행하면서 피실험자의 생체 정보를 획득하고, 이를 분석하여 상기 피실험자의 인식 정보 및 감정 정보를 생성하는 단계; 및 상기 의도 확인 정보를 상기 인식 정보 및 상기 감정 정보를 분석하여 상기 영상 콘텐츠 정보를 평가하여 콘텐츠 평가 정보를 생성하는 단계;를 포함하는, 영상 평가 시스템에서의 가상 현실 콘텐츠 정보의 분석 방법 및 이를 적용한 평가 분석 단말기에 관한 것이다.
Description
본 발명은 영상 콘텐츠 서비스를 제공하는데 있어서, 콘텐츠 제작자의 의도가 콘텐츠 이용자에게 정확하게 전달되었는지를 분석하기 위한 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법 및 이를 적용한 평가 분석 단말기에 관한 것이다.
현대의 컴퓨팅 및 디스플레이 기술에 있어서 창작자는 다양한 형태의 영상을 촬영하여 창작해낸다. 통상의 2D 이미지뿐만 아니라 확장된 2D인 Imax 이미지, 3D 영상, 촉감이나 냄새등의 오감을 활용하는 4D 영상등을 목적에 따라 창작해낸다.
이러한 다양한 영상 중에는 가상현실 이미지와 증강 현실 이미지가 있다. 가상 현실(Virtual Reality, VR)은 다른 실제의 실세계 시각 입력에 투명하지 않은 디지털 또는 가상 이미지 정보의 표현을 통상적으로 포함하고, 증강 현실(Full Reality, AR)은 사용자 주위의 실제 세계의 가시화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 표현을 통상적으로 포함한다. 예컨대, 증강 현실 장면은, AR 기술의 사용자가 실세계 객체들(예컨대, 사람들, 나무들, 백그라운드의 빌딩들 등을 특징 짓는 실세계 공원 같은 세팅) 상에 또는 그 가운데 중첩되는 하나 또는 그 초과의 가상 객체들을 볼 수 있게 한다.
이와 같인 다양한 형태의 영상 창작물에서 창작자인 제작자는 영상물을 보는 시청자(또는 사용자)가 특정 지점에서 특정한 반응을 일으키기를 기대하고, 그 반응에 따라 스토리 라인을 전개함으로써 보다 재미있고 현실감 있는 영상물을 제작하기를 희망한다. 하지만 제작 과정에서 영상물에 대한 평가는 단순히 정성적 평가에 불과할 뿐이고, 영상 제작물과 시청자간의 상호 작용성에 대한 평가를 하지 못하고, 이에 따라 완성된 영상 제작물은 영상 제작자의 의도가 시청자에게 충분히 전달되지 않는 경우가 있었다.
특히, 도 1에 도시된 바와 같이 VR 장치를 착용한 사용자가 가상 현실 콘텐츠 서비스를 이용하는 경우, 가상 현실 공간에서 콘텐츠 제작자가 의도에 따라 A 지점에 시선이 집중되어야 하지만 사용자는 이와 달리 B 지점에 시선을 집중하여 A 지점에서 이루어지는 영상을 놓치는 일이 발생할 수 있게 된다.
따라서, 콘텐츠 제작자는 콘텐츠 완성시에 사용자가 A 지점을 보게 되는지에 대한 확인이 필요하게 된다.
이에, 영상 콘텐츠를 완성하기 전, 콘텐츠 제작자의 의도가 정확하게 사용자에게 전달되었는지를 확인하고, 이에 대한 보정하는 것이 필요하게 되었다.
본 발명은 상술한 과제를 해결하기 위하여 안출된 것으로서, 영상 콘텐츠 제작자의 의도 확인 정보가 포함된 영상 콘텐츠 정보를 피실험자에게 제공하고, 영상 콘텐츠 정보에 대한 피실험자의 인식 정보 및 감정 정보를 획득하여 영상 콘텐츠 정보와 비교 및 분석하여 콘텐츠 평가 정보를 생성할 수 있는, 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법 및 이를 적용한 평가 분석 단말기를 제공하기 위한 것이다.
또한, 본 발명은 상술한 과제를 해결하기 위하여 안출된 것으로서, 영상 콘텐츠 정보에 반응하는 피실험자의 감정을 수치화하여 객관적으로 나타낼 수 있는, 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법 및 이를 적용한 평가 분석 단말기를 제공하기 위한 것이다.
또한, 본 발명은 상술한 과제를 해결하기 위하여 안출된 것으로서, 콘텐츠 평가 정보에 기초하여 콘텐츠 보정 가이드 정보를 생성할 수 있는, 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법 및 이를 적용한 평가 분석 단말기를 제공하기 위한 것이다.
상술한 구성을 해결하기 위하여 안출된 본 발명의 일실시예인 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법은, 콘텐츠 제작자의 의도 확인 정보를 포함하는 영상 콘텐츠 정보를 제공하는 단계; 상기 영상 콘텐츠 정보를 실행하면서 피실험자의 생체 정보를 획득하고, 이를 분석하여 생체 분석 정보를 생성하는 단계; 및 상기 의도 확인 정보를 상기 생체 분석 정보를 비교하여 상기 영상 콘텐츠 정보를 평가하여 콘텐츠 평가 정보를 생성하는 단계;를 포함하는, 영상 분석 시스템에서의 영상 콘텐츠 정보의 평가 방법를 포함할 수 있다.
여기서, 상기 의도 확인 정보는 의도 감정 정보와 의도 타겟 정보를 포함할 수 있다.
여기서, 상기 생체 분석 정보는, 인식 정보와 감정 정보를 포함할 수 있다.
여기서, 상기 인식 정보는 시선 정보를 포함하고, 상기 영상 콘텐츠 정보를 실행하면서 피실험자의 생체 정보를 획득하고, 이를 분석하여 생체 분석 정보를 생성하는 단계는, 상기 피실험자의 머리에 장착되는 헤드 마운트 디스플레이 장치에 설치된 시선 인식 센서를 통해 상기 시선 정보를 획득하는 단계; 및 상기 시선 정보를 분석하여 상기 인식 정보를 생성하는 단계;를 포함할 수 있다.
여기서, 상기 감정 정보는 뇌파 정보, 맥박 정보 및 땀분비 정보를 포함하고, 상기 영상 콘텐츠 정보를 실행하면서 피실험자의 생체 정보를 획득하고, 이를 분석하여 생체 분석 정보를 생성하는 단계는, 상기 피실험자의 머리에 부착되는 뇌파 감지 센서를 이용하여 상기 뇌파 정보를 획득하는 단계; 상기 피실험자의 피부에 부착되는 광학 센서를 이용하여 상기 맥박 정보 및 상기 땀분비 정보를 획득하는 단계; 및 상기 뇌파 정보, 상기 맥박 정보 및 상기 땀분비 정보를 분석하여 상기 감정 정보를 생성하는 단계;를 포함할 수 있다.
여기서, 상기 감정 정보를 생성하는 단계는, 상기 상기 뇌파 정보, 상기 맥박 정보 및 상기 땀분비 정보를 정규화 함수를 이용하여 정규화하는 정규화 단계; 상기 정규화된 상기 뇌파 정보, 상기 맥박 정보 및 상기 땀분비 정보를 강도에 따라 지속시간이 반영하여 형태학적 처리하는 형태학적 처리 단계; 및 상기 형태학적 처리된 상기 뇌파 정보, 상기 맥박 정보 및 상기 땀분비 정보를 분석하여 상기 감정 정보로 생성하는 단계;를 포함할 수 있다.
여기서, 상기 정규화 단계는, 하기 수학식 1의 시그모이드 함수를 활용하는 단계;를 포함할 수 있다.
여기서, 상기 생태학적 처리 단계는, 하기 수학식 2의 모폴로지 팽팡 연산을 활용하는 단계를 포함할 수 있다.
여기서, 상기 의도 확인 정보와 상기 생체 분석 정보를 비교하여 상기 영상 콘텐츠 정보를 평가하여 콘텐츠 평가 정보를 생성하는 단계는, 상기 의도 감정 정보와 상기 감정 정보를 분석하여, 상기 의도 감정 정보에 포함되어 있는 의도 구간 데이터 내에서의 상기 의도 감정 정보와 상기 감정 정보를 분석하여 매칭되는 부분을 매칭 점수(true score)로 수치화하는 단계; 및 상기 의도 감정 정보와 상기 감정 정보를 분석하여, 상기 의도 감정 정보에 포함되어 있는 의도 구간 데이터 밖에서의 상기 의도 감정 정보와 상기 감정 정보를 분석하여 비매칭되는 부분을 비매칭 점수(false score)로 수치화하는 단계;를 포함할 수 있다.
여기서, 상기 콘텐츠 평가 정보에 기초하여 콘텐츠 보정 가이드 정보를 생성하는 단계;를 더 포함할 수 있다.
여기서, 상기 영상 콘텐츠 정보는, 3차원 가상 현실 콘텐츠 정보일 수 있다.
본 발명의 다른 실시예인, 영상 콘텐츠 정보의 평가 분석 단말기는, 콘텐츠 제작자의 의도 확인 정보를 포함하는 영상 콘텐츠 정보를 저장하는 메모리부; 상기 가상 콘텐츠 정보를 표시하는 영상 표시부; 피실험자의 생체 정보를 생성하는 생체 정보 센서부; 및 상기 영상 콘텐츠 정보를 실행하여 상기 영상 표시부에 표시하고, 상기 생체 정보를 분석하여 상기 피실험자의 인식 정보 및 감정 정보를 생성하고, 상기 의도 확인 정보를 상기 인식 정보 및 상기 감정 정보를 분석하여 상기 영상 콘텐츠 정보를 평가하여 콘텐츠 평가 정보를 생성하는 분석 제어부;를 포함할 수 있다.
여기서, 상기 분석 제어부는, 상기 뇌파 정보, 상기 맥박 정보 및 상기 땀분비 정보를 정규화 함수를 이용하여 정규화하고, 상기 정규화된 뇌파 정보, 맥박 정보 및 땀분비 정보를 강도에 따라 지속시간을 반영하여 형태학적 처리하며, 상기 형태학적 처리된 뇌파 정보, 맥박 정보 및 땀분비 정보를 분석하여 상기 감정 정보를 생성하는 감정 정보 생성부; 및 상기 시선 정보를 분석하여 상기 인식 정보를 생성하는 인식 정보 생성부;를 포함할 수 있다.
여기서, 상기 분석 제어부는, 상기 의도 확인 정보 중 의도 감정 정보와 상기 감정 정보를 분석하여 상기 의도 감정 정보에 포함되어 있는 의도 구간 데이터 내에서의 상기 의도 감정 정보와 상기 감정 정보를 분석하여 매칭되는 부분을 매칭 점수(true score)로 수치화하고, 상기 의도 확인 정보 중 의도 타겟 정보와 상기 인식 정보를 분석하여 상기 의도 감정 정보에 포함되어 있는 의도 구간 데이터 밖에서의 상기 의도 감정 정보와 상기 감정 정보를 분석하여 비매칭되는 부분을 비매칭 점수(false score)로 수치화하는 수치 산출부;를 포함할 수 있다.
상술한 구성을 가지는 본 발명의 일실시예에 따르면, 영상 콘텐츠 서비스를 제공하기 전에, 콘텐츠 제작자가 제작한 영상 콘텐츠에 대한 평가를 하고, 이에 대한 문제점을 인시하고 보정을 할 수 있도록 함으로써 불필요한 시행착오로 인해 발생하는 비용을 최소화할 수 있다.
또한, 콘텐츠 제작자의 의도와 이에 따른 피실험자의 반응을 분석함으로써, 다양한 형태의 상호작용이 발생하여 퀄리티가 높은 영상 콘텐츠를 제작할 수 있다.
또한, 오감 감지 센서를 이용하여 단순히 시선 처리만을 감지하는 것 아니라 피실험자의 심리상태를 감지함으로써, 더욱 더 정확하게 콘텐츠 제작자의 의도와 피실험자의 반응이 매칭되는지를 분석할 수 있다.
그리고, 콘텐츠 평가 정보에 기초하여 콘텐츠 보정 가이드 정보를 생성하여, 실사용자에게 효율적으로 영상 콘텐츠 서비스를 제공할 수 있다.
도 1은 일반적인 영상 콘텐츠의 사용일예를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예인 영상 평가 시스템에서의 영상 콘텐츠 정보의 평가 분석 시스템을 설명하기 위한 블록 구성도이다.
도 3은 도 2에 도시된 분석 제어부를 설명하기 위한 상세 블록 구성도이다.
도 4는 도 3에 도시된 형태학적 처리 모듈을 통해 생성된 감정 정보를 보여주는 도면이다.
도 5는 본 발명의 일실시예인 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일실시예인 피실험자가 영상 콘텐츠 서비스를 테스트하는 상황을 예시하는 도면이다.
도 7은 도 6에 도시된 생체 분석 정보를 생성하는 단계를 설명하는 상세 흐름도이다.
도 8은 도 6에 도시된 콘텐츠 평가 정보를 생성하는 단계를 설명하는 상세 흐름도이다.
도 9는 본 발명의 일실시예에 따라 생성된 콘텐츠 평가 정보가 디스플레이부에 표시된 예를 설명하는 도면이다.
도 10은 본 발명의 일실시예인 다수의 사용자가 영상 콘텐츠 서비스를 테스트한 경우 생성된 콘텐츠 평가 정보 중 감정 정보에 대한 매칭 점수의 평균을 보여주는 도면이다.
도 2는 본 발명의 일실시예인 영상 평가 시스템에서의 영상 콘텐츠 정보의 평가 분석 시스템을 설명하기 위한 블록 구성도이다.
도 3은 도 2에 도시된 분석 제어부를 설명하기 위한 상세 블록 구성도이다.
도 4는 도 3에 도시된 형태학적 처리 모듈을 통해 생성된 감정 정보를 보여주는 도면이다.
도 5는 본 발명의 일실시예인 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일실시예인 피실험자가 영상 콘텐츠 서비스를 테스트하는 상황을 예시하는 도면이다.
도 7은 도 6에 도시된 생체 분석 정보를 생성하는 단계를 설명하는 상세 흐름도이다.
도 8은 도 6에 도시된 콘텐츠 평가 정보를 생성하는 단계를 설명하는 상세 흐름도이다.
도 9는 본 발명의 일실시예에 따라 생성된 콘텐츠 평가 정보가 디스플레이부에 표시된 예를 설명하는 도면이다.
도 10은 본 발명의 일실시예인 다수의 사용자가 영상 콘텐츠 서비스를 테스트한 경우 생성된 콘텐츠 평가 정보 중 감정 정보에 대한 매칭 점수의 평균을 보여주는 도면이다.
이하, 본 발명의 바람직한 실시 예들을 첨부된 도면을 참고하여 더욱 상세히 설명한다. 본 발명의 실시 예들은 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 설명하는 실시 예들에 한정되는 것으로 해석되어서는 안 된다. 본 실시예들은 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 상세하게 설명하기 위해서 제공되는 것이다.
도 2는 본 발명의 일실시예인 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 시스템을 설명하기 위한 블록 구성도이고, 도 3은 도 2에 도시된 분석 제어부를 설명하기 위한 상세 블록 구성도이며, 도 4는 도 3에 도시된 형태학적 처리 모듈을 통해 생성된 감정 정보를 보여주는 도면이다. 여기서, 영상 콘텐츠 정보는 3차원 가상 현실 콘텐츠 정보를 포함하는 것으로 기재하였지만, 이에 한정하지 않을 수 있다.
우선, 본 발명은 영상 콘텐츠 서비스를 제공하기 전에, 영상 콘텐츠 서비스를 테스트를 통해 콘텐츠 제작자(미도시)는 자신이 제작한 영상 콘텐츠 정보에 의도 감정 정보와 의도 타겟 정보를 추가한다. 여기서, 의도 감정 정보란, 사용자(피실험자)가 영상 콘텐츠 정보를 시청하는 중 발생되는 감정을 예상하여 만들어진 정보로서, 예컨대, 콘텐츠 제작자는 특정 구간 데이터 내에서 또는 특정 오브젝트(예컨대, 영상 콘텐츠 정보에 포함되는 캐릭터(예를 들면, 좀비, 귀신, 미녀등))에 놀람 정도 정보, 안정 정보, 주의 집중 정보, 인지 부하 정보, 스트레스 정보등을 콘텐츠 제작자의 예상에 따라 미리 입력되는 정보이다.
또한, 의도 타켓 정보는 사용자의 시선이 콘텐츠 제작자의 의도된 위치에 있는지를 확인하기 위한 좌표 정보 또는 오브젝트 위치정보일 수 있다.
이때, 의도 감정 정보와 의도 타겟 정보는 의도 확인 정보에 포함될 수 있다.
본 명세서에 후술되는 생체 분석 정보는 사용자가 콘텐츠 제작자가 제작한 영상 콘텐츠 정보의 시청 시에 따라 발생되는 사용자의 인식 정보 및 감정 정보를 의미한다. 여기서, 인식 정보는 시선 정보를 포함할 수 있으며 HUD 장치에 설치된 홍채 인식 센서에 의해 획득되는 눈동자의 위치 정보 또는 HUD 장치에 설치된 지자기 센서에 의해 획득되는 사용자의 움직임 정보를 포함할 수 있다.
또한, 인식 정보는 시선 인식 센서 예를 들어, 머리에 착용 가능한 시각용 VR 장치 일 예로, 헤드 마운트 디스플레이 장치를 통해 시선 정보를 획득할 수 있다. 시선 정보는 시선의 이동 정보와 시선의 집중시간 정보를 포함할 수 있으며, 이를 추후에 시각적으로 표시할 수 있다. 이에 대해서는 도 6에서 보다 상세하게 설명하도록 한다. 이와 달리, 인식 정보는 Eye Tracking 센서를 이용하여 시선 정보를 취득하기 위한 장비로서 FOVE0를 이용할 수도 있으며, 이는 시선을 추적하여 나온 시선 정보를 120Hz로 샘플링 할 수 있으며, HMD착용과 동일한 방식으로 착용하여 측정할 수 있다.
감정 정보는 뇌파 감지센서, 움직임 감지 센서, 맥박 센서, 땀분비 센서 등을 통해 획득되는 다양한 생체 정보를 분석하여 뇌파 정보, 맥박 정보 및 땀분비 정보를 포함할 수 있지만, 이에 한정하는 것은 아니다.
구체적으로, 뇌파 정보는 뇌파측정센서 예를 들어 EEG센서를 이용하여 블루투스를 이용한 무선통신을 사용하며, 머리에 쓰는 형태로 착용하여 측정할 수 있다.
또한, 맥박 정보는 맥박측정센서 예를 들어, HRV(Heart Rate Variability) 센서를 통해 측정할 수 있으며, 땀분비 정보는 피부에 부착되는 광학 센서를 이용하여 측정할 수 있지만 이에 한정하지 않는다. 예를 들어, 반지와 같이 손가락에 끼우는 형태로 착용하여 측정할 수 있다.
이와 같은 생체 분석 정보는 생체 정보들의 시간의 경과에 따른 경향이나, 이벤트 발생에 따른 임계적 움직임이 감지되는 경우, 이를 기초로 하여, 안정 점수, 놀람 점수, 주위 집중 점수, 인지 부하 점수, 스트레스 점수 등의 감정 정보를 생성하게 된다. 이에 대해서는 도 9 및 도 10에서 보다 상세하게 설명하도록 한다.
콘텐츠 평가 정보는 의도 확인 정보와 인식 정보 및 감정 정보를 분석하여 발생하는 오차 또는 평균 데이터를 시각적으로 표시 예를 들어, 숫자를 포함하는 수치적 또는 도표를 포함하는 그래프 방식으로 나타내는 정보일 수 있다.
그리고, 콘텐츠 보정 가이드 정보는 콘텐츠 평가 정보에 기초하여 영상 콘텐츠 정보와 인식 정보 및 감정 정보가 서로 매칭되지 않는 부분에 대해 콘텐츠 제작자가 보완하도록 가이드하는 정보로서, 텍스트 정보, 오브젝트 정보일 수 있다.
다음으로, 도 2 내지 도 10을 참조하여 본 발명의 일실시예인 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법 및 그 방법이 적용된 평가 분석 단말기에 대하여 설명하도록 한다.
우선, 도 2를 참조하면, 영상 콘텐츠 제작 및 평가 시스템은 크게 콘텐츠 제작 단말기(10)와 평가 분석 단말기(20)로 구분될 수 있다.
콘텐츠 제작 단말기(10)는 콘텐츠 제작자에 의해 생산되는 영상 콘텐츠를 제작하고, 저장하며, 이를 평가 분석 단말기(20)로 전송하는 장치이고, 평가 분석 단말기(20)는 콘텐츠 제작 단말기(10)에서 제작된 영상 콘텐츠를 재생하고, 이에 따른 사용자(피실험자)의 인식 정도나 감정 정도를 평가하고, 이를 콘텐츠 제작자의 의도와 매칭시켜서, 얼마나 콘텐츠 제작자의 의도가 사용자에게 잘 전달되는지를 확인 하게 된다.
구체적으로, 콘텐츠 제작 단말기(10)는 제작 DB(11)와, 제작 통신부(12)와 제작 제어부(13)를 포함하여 구성될 수 있다.
제작 DB(11)는 콘텐츠 제작 단말기(10)를 통해 제작된 영상 콘텐츠, 영상 콘텐츠를 제작하기 위한 다양한 프로그램, 저작 도구, 콘텐츠 창작 도구 등을 저장하는 구성요소이다. 여기서, 영상 콘텐츠에는 의도 확인 정보를 포함하게 된다. 의도 확인 정보는 전술한 바와 같이 의도 감정 정보와, 의도 타겟 정보를 포함할 수 있으며, 의도 감정 정보는 콘텐츠 제작자가 콘텐츠의 특정 구간 데이터 내에서, 특정 오브젝트 또는 콘텐츠 스토리 상에서 사용자가 갖게 되는 감정, 예컨대, 놀람, 기쁨, 슬픔 등의 예상 정보 및 대응 시간 정보가 될 것이며, 의도 타겟 정보는 콘텐츠 제작자가 의도한 사용자의 시선정보로서, 오브젝트(캐릭터)가 될 수 있고, 좌표 정보 및 대응 시간 정보가 될 수 있다.
제작 통신부(12)는 영상 콘텐츠를 평가 분석 단말기(20)로 전달하기 위한 구성요소로서 무선 통신 모듈(미도시) 또는 유선 통신 모듈(미도시)이 이용될 수 있다.
또한 제작 통신부(12)는 후술하는 방식에 의해 생성되는 평가 분석 단말기(20)로부터의 콘텐츠 보정 가이드 정보를 수신하는 기능을 한다.
제작 제어부(13)는 제작 단말기(10)의 전체적인 동작을 제어하는 구성요소로서, 사용자 입력부(미도시) 및 제작 DB(11)의 콘텐츠 제작 프로그램을 이용하여 영상 콘텐츠를 제작하고, 이를 제작 DB(11)에 저장하며, 제작 통신부(12)를 제어하여 영상 콘텐츠를 평가 분석 단말기(20)로 전송하는 기능을 한다. 또한, 제작 통신부(12)를 통해 수신하는 콘텐츠 보정 가이드 정보에 기초하여 영상 콘텐츠에 대한 보정 정보를 생성하는 기능을 한다.
그리고, 평가 분석 단말기(20)는 메모리(21), HUD(22), 생체 정보 센서부(23), 스피커(24), 분석 디스플레이부(25), 분석 통신부(26) 및 분석 제어부(27)를 포함하여 구성될 수 있다.
메모리(21)는 물리적으로 다양한 정보를 저장하기 위한 매체로서, 본 발명에서는 분석 통신부(26)를 통해 송수신한 데이터 및 평가 분석 단말기(20)의 운영 프로그램을 저장할 수 있다. 예를 들어, 생체 정보 센서부(23)를 통해 획득되는 생체 정보, 분석 통신부(26)를 통해 수신되는 영상 콘텐츠 정보 및 사용자에 대한 평가 후 생성되는 콘텐츠 평가 정보뿐만 아니라, 영상 콘텐츠 서비스를 제공하기 위한 다수의 응용 프로그램을 저장할 수 있다.
HUD(22)는 영상 콘텐츠를 재생하기 위한 장치로서, 사용자의 머리에 착용되어 3D 영상을 재생하는 기능을 한다. HUD(22)는 헤드 마운트 디스플레이부라고도 하며, 청구항에서는 영상 표시부로 정의된다. 이와 같은 HUD(22)에는 후술하는 시선 인식 센서가 장착되어서, 사용자의 시선이 어디에 향하는지를 나타내는 시선 정보를 생성하기도 한다.
생체 정보 센서부(23)는 사용자에 직접 또는 간접으로 부착되어서 사용자의 생체 정보를 생성하는 기능을 한다. 구체적으로, 시각 정보를 획득하기 위해 사용자의 머리에 장착되는 헤드 마운트 디스플레이 장치에 설치된 시선 인식 센서와, 뇌파 정보를 획득하기 위해 사용자의 머리에 부착되는 뇌파 감지 센서와, 맥박 정보 및 땀분비 정보를 획득하기 위해 사용자의 피부에 부착되는 광학 센서를 포함할 수 있지만, 이에 한정하지 않는다.
스피커(24)는 전술한 영상 콘텐츠에 포함되는 음성 정보를 출력하여서 영상 콘텐츠의 음성 및 음향이 사용자에게 전달되게 하는 구성요소로서, HUD(22)의 일부 구성요소일 수 있다.
분석 디스플레이부(25)는 HUD(22)와는 별도의 구성요소로서, 평가 분석 단말기(20)에 의해 생성된 콘텐츠 평가 정보를 표시하기 위한 구성요소로서 평판형 디스플레이가 분석 디스플레이부(25)로서 이용될 수 있다. 사용자가 영상 콘텐츠를 체험한 후에 생성되는 콘텐츠 평가 정보 숫자를 표시 또는 그래프로 표시될 수 있다.
분석 통신부(26)는 제작단말기와 데이터를 송수신하기 위한 구성요소로서 무선 통신 모듈(미도시) 또는 유선 통신 모듈(미도시)이 이용될 수 있다. 이때, 데이터 수신을 위한 입력단자(미도시) 역시 이에 속할 수 있다.
분석 제어부(27)는 영상 콘텐츠 정보를 실행하여 사용자로부터 획득한 생체 정보를 이용하여 사용자의 인식 정보 및 감정 정보를 생성할 수 있다.
구체적으로, 분석 제어부(27)는 영상 콘텐츠 정보를 실행하여 영상 표시부(22)에 표시하고, 생체 정보를 분석하여 사용자의 인식 정보 및 감정 정보가 포함된 생체 분석 정보를 생성하고, 의도 확인 정보를 생체 분석 정보와 분석하여 영상 콘텐츠 정보를 평가하여 콘텐츠 평가 정보를 생성할 수 있다. 즉, 의도 타겟 정보와 인식 정보를 비교 분석하고, 의도 감정 정보와 감정 정보를 비교 분석하고, 콘텐츠 평가 정보에 기초하여 콘텐츠 보정 가이드 정보를 생성하여, 이를 분석 통신부(26)를 통해 제작 단말기(10)에 전송하며, 콘텐츠 평가 정보를 분석 디스플레이부(25)에 표시하는 기능을 한다.
보다 구체적으로, 도 3을 참조하면, 분석 제어부(27)는 감정 정보 생성부(270)와 인식 정보 생성부(272) 및 수치 산출부(274)를 포함할 수 있다.
감정 정보 생성부(270)는 사용자가 영상 콘텐츠 정보를 테스트하는 경우 콘텐츠 제작자가 의도한 특정 구간 데이터 내에서 또는 특정 오브젝트에 대해서 감정으로 얼마나 충실하게 표출하는지를 객관적으로 생성할 수 있다. 예를 들어, '놀람'이라는 감정 정보는 EEG 센서로부터 출력되는 뇌파신호(raw signal)의 변화량의 급격한 증가(또는 감소)를 이용하여 놀람 정도 정보로 산출될 수 있다. 안정 정보, 주의 집중 정보, 인지 부하 정보, 스트레스 정보 등 역시 놀람 정도 정보와 동일하게 적용할 수 있지만, 이에 한정하는 것은 아니다.
감정 정보 생성부(270)는 정규화 처리 모듈(2700) 및 형태학적 처리 모듈(2702)을 포함할 수 있다.
정규화 처리 모듈(2700)은 뇌파 정보, 맥박 정보 및 땀분비 정보를 정규화 함수를 이용하여 0과 1 사이 값으로 정규화할 수 있다.
사용자가 영상 콘텐츠 정보를 테스트하는 경우 사용자의 생체 정보를 바탕으로 감정 정보를 분석할 수 있지만, 복수의 사용자에게 같은 감정이 발생하였을 때 생체 정보의 변화가 큰 피험자가 있고 그렇지 않은 사용자가 있다. 예를 들어 A와 B라는 사용자가 있을 때, A 사용자는 생체 정보의 변화가 큰 사람이고, B 사용자는 그렇지 않은 사람이라고 가정한다. A와 B 같은 구간 또는 같은 오브젝트에서 동일하게 놀랐다고 하면, A는 큰 값을 가지게 될 것이고 B는 작은 값을 가지게 될 것이다. 이러한 결과로 분석을 진행하면 공정하지 않은 평가가 되며, 이를 바탕으로 영상 콘텐츠를 분석할 경우 신뢰성 있는 결과를 얻을 수 없다. 따라서 생체 신호를 바탕으로 나온 감정 정보를 동일한 범위 내로 정규화 하는 과정이 필요하지만, 사람마다 큰 편차를 보이는 생체 신호의 특성상 정규화 함수의 파라미터를 사람이 스스로 정의 내리기 어려운 부분이 있을 수 있다. 이러한 문제를 해결하기 위하여 본 발명에서는 생체 정보를 정규화 처리하였다. 각 사람별 생체 정보를 올바르게 정규화 하기 위한 방안으로 정규화 함수의 최적 파라미터를 찾는 작업을 수행할 수 있다. 이때, 파라미터는 콘텐츠 제작자로부터 의도된 구간 데이터 내에서 사용자가 느낀 신체 정보(예를 들어, 감정 정보)를 이용하여 정규화 함수의 파라미터를 산출 할 수 있다.
본 개시에서는 아래의 수학식 1과 같은 시그모이드 함수를 사용하였다.
감정 정보 정규화 함수 모델은 신호를 분석할 때 필요한 윈도우 크기, 윈도우 이동 거리, 정규화 함수(정규화 함수를 시그모이드(Sigmoid)로 사용하였다고 가정)의 중간점(m), 기울기(e(E)), 강도(w)의 범위 총 5개의 최적 파라미터를 찾아내어야 한다. 이때, 수학식 1에서 r은 감정데이터이며, S(r)은 시그모이드 함수의 출력값을 의미하는 것으로 0~1 사이의 값으로 출력될 수 있다.
형태학적 처리 모듈(2702)은 정규화 처리 모듈(2700)에서 정규화 처리된 생체 정보를 강도에 따라 지속시간이 반영하여 형태학적 처리할 수 있다.
정규화 처리된 생체 정보는 시시각각 변하는데 이를 바탕으로 콘텐츠 제작자가 의도한 의도 감정 정보와의 일치 여부를 점수로 산출하게 되면 이 결과는 신호적인 측면에서는 옳다고 할 수 있지만, 콘텐츠 제작자가 그래프를 보고 이해하는 데는 어려움이 있다. 왜냐하면 특정 순간에 사용자의 생체 정보의 급격한 감소가 있었다고 가정하면, 신호적인 관점에서는 감정이 순식간에 변하는 것으로 볼 수 있으나 실제로 사용자가 느끼는 감정은 여운의 형태로 존재할 수도 있고 같은 놀람을 느꼈더라도 놀람에 대한 생체 정보 반응은 각 피험자마다 다른 시점에서 발생할 수 있다. 이러한 요인들로 인해 감정 분석 알고리즘대로 감정을 표현하는 것보다는 본 발명에서는 형태학적 처리를 수행할 수 있다.
의도 감정 정보와 여운에 관해서는 영상의 형태학적 처리에서 많이 사용되는 모폴로지 팽창 연산을 감정이 발생한 시점 이후에 적용한다. 이는 강한 감정은 조금 더 오래 지속된다는 가정으로 감정 정보의 크기와 비례하여 팽창 연산을 수행할 수 있다.
다양한 사람의 생체 정보에는 개인별로 감정을 느끼는 시점, 유발된 감정이 유지되는 시간, 감정의 변화시간 등이 반영되어 있을 수 있다. 이러한 다양한 요인들로 인해 생체 정보를 이용하여 분석된 감정을 정량화하기란 쉽지 않다. 그 이유는 동일한 감정을 느끼더라도 유발된 감정이 오래가는 피험자의 경우 높은 점수로 기록될 것이고, 그렇지 않은 사용자의 경우는 작은 값으로 기록될 것이다. 이를 그대로 시각화하여 표현할 경우 신호적인 관점에서 맞을 수 있지만, 결과를 통해 감정을 분석하고자 하는 사람들에게는 유발된 감정이 오래가지 않는 사람이 감정을 거의 느끼지 못했다는 생각 등의 오해를 불러일으킬 소지가 있을 수 있다. 이 때문에 감정이 짧은 시간내(1초) 급격하게 바뀌지 않는다는 가정으로 감정이 발생한 시점에서 유발된 감정의 강도가 강할수록 감정이 오래 유지되도록 표현하여 모두가 비슷한 지속시간을 가지도록 하였다. 표현방법은 영상의 형태학적 처리에서 많이 사용되는 모폴로지(Morphology) 팽창 연산을 수행하여, 강도가 강할수록 반복횟수를 증가시켰다.
도 4는 형태학적 처리 모듈(2702)을 통해 생성된 감정 정보를 보여주는 도면으로서, (a)는 정규화 처리 모듈(2700)을 통해 생성된 생체 정보를 나타내고, (b)는 정규화 처리된 생체 정보를 형태학적 처리하여 생성된 감정 정보를 나타내는 도면이다.
한편, 모폴로지 팽창 연산수식은 수학식 2와 같다. 수학식 2는 주위에 있는 값 중 가장 큰 값으로 대체되며 이를 반복 연산할수록 그래프의 모양은 팽창한다. 강한 강도를 가진 감정일수록 많은 반복연산을 수행하도록 한다.
수치 산출부(274)는 의도 확인 정보 중 의도 감정 정보와 감정 정보를 분석하여 의도 감정 정보에 포함되어 있는 의도 구간 데이터 내에서의 의도 감정 정보와 감정 정보를 분석하여 매칭되는 부분을 매칭 점수(true score)로 수치화하고, 의도 확인 정보 중 의도 타겟 정보와 인식 정보를 분석하여 의도 감정 정보에 포함되어 있는 의도 구간 데이터 밖에서의 의도 감정 정보와 감정 정보를 분석하여 비매칭되는 부분을 비매칭 점수(false score)로 수치화할 수 있다.
구체적으로, 콘텐츠 제작자는 의도에 따라 해당 영상 콘텐츠에서 놀람 감정이 나타나는 특정 구간 데이터 내에서 또는 특정 오브젝트를 설정할 수 있다. 예를 들어, 시간 단위로 1:05시각부터 1:07시각 사이 구간은 매우 놀랐으면 좋겠다는 구간으로 설정하고 놀람의 정도를 설정할 수 있다(1:05 ~ 1:07, 100% 놀람). 이에 따라 영상 콘텐츠 서비스를 테스트하는 경우 느꼈던 감정 정보와 의도 감정 정보를 비교하여 매칭 점수(true score) 및 비매칭 점수(false score)를 산출할 수 있다.
매칭 점수(true score)는 콘텐츠 제작자가 설정한 의도 감정 정보와 사용자의 감정 정보가 일치하는 점수일 수 있다. 매칭 점수(true score)가 높다면 콘텐츠 제작자가 의도한 구간 또는 오브젝트에서 사용자가 실제 해당 감정이 유발되었음을 의미하며, 이는 콘텐츠 제작자가 의도한대로 콘텐츠가 제작되었음을 의미한다. 반대로 매칭 점수(true score)가 낮다면 의도대로 콘텐츠가 제작되지 않았음을 의미한다고 볼 수 있다. 보다 구체적으로는 콘텐츠 제작자가 의도한 구간 또는 오브젝트에서 정규화되고 형태학적 처리가 완료된 감정 정보가 입력되면 이를 누적한 후 구간으로 나눈 평균값을 매칭 점수(true score)로 산출하는 것이다.
한편, 비매칭 점수(false score)는 콘텐츠 제작자가 설정한 의도 감정 정보와 사용자의 감정 정보가 일치하지 않는 점수일 수 있다. 비매칭 점수(false score)가 높다면 콘텐츠 제작자가 의도하지 않은 구간에서 감정 정보가 많이 유발되었음을 의미할 수 있다. 이는 예상외의 감정 유발로 콘텐츠에 직접적으로 영향을 미칠 수도 있고 그렇지 않을 수도 있다. 보다 구체적으로는 콘텐츠 제작자가 의도하지 않은 구간에서 정규화되고 형태학적 처리가 완료된 감정 정보가 입력되면 이를 누적한 후 구간으로 나눈 평균값을 비매칭 점수(false score)로 산출하는 것이다.
본 개시에서는 수치 산출부(274)가 의도 감정 정보와 감정 정보를 분석하여 의도 구간 데이터 내에 또는 밖에서의 매칭 점수 및 비매칭 점수를 수치화하는 것으로 개시하였지만, 이에 한정하지 않고, 의도 타켓 정보와 인식 정보를 분석하여 의도 구간 데이터 내에 또는 밖에서의 매칭 점수 및 비매칭 점수를 수치화할 수 있다.
이하, 도 5 및 도 6을 통해 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법을 설명하도록 한다. 도 5는 본 발명의 일실시예인 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법을 설명하기 위한 흐름도이고, 도 6은 본 발명의 일실시예인 피실험자가 영상 콘텐츠 서비스를 테스트하는 상황을 예시하는 도면이다.
도 6에 도시된 바와 같이 각종 생체 정보 센서부(23)가 피실험자인 사용자에게 부착된 상태에서 영상 콘텐츠 정보를 도 5에서와 같이 수행하게 된다.
우선, 제작 단말기(10)에서는 영상 콘텐츠 정보를 제작 저장한 후, 이를 제작 통신부(12)를 통해 평가 분석 단말기(20)에 전송한다(S11).
상술한 바와 같이, 영상 콘텐츠에는 대해 사용자로부터 획득하고자 하는 의도된 의도 감정 정보와 의도 타겟 정보가 포함되어 있다.
그 다음, 평가 분석 단말기(20)는 분석 통신부(26)를 통해 영상 콘텐츠 정보를 수신한다(S21). 이때, 영상 콘텐츠 정보는 영상 콘텐츠 서비스를 제공하기 위한 프로그램을 포함할 수 있다.
그 다음, 피실험자인 사용자가 도 6에서와 같이 생체 정보 센서부(23)를 장착하게 되고, HUD(22)를 머리에 쓰게 된다. 이 상태에서, 평가 분석 단말기(20)는 영상 콘텐츠 정보를 재생하여 영상 콘텐츠 서비스의 테스트를 실행한다(S22).
다음, 영상 콘텐츠 서비스의 테스트 실행 중에 평가 분석 단말기(20)는 사용자로부터 생체 정보를 측정한다(S23). 여기서, 생체 정보는 시선 정보, 뇌파 정보, 맥박 정보 및 땀분비 정보를 포함할 수 있지만, 이에 한정하지 않는다.
다음, 평가 분석 단말기(20)는 분석 제어부(27)를 통해 사용자로부터 수신한 생체 정보를 분석하여 사용자의 생체 분석 정보를 생성할 수 있다(S24). 여기서, 사용자의 생체 분석 정보를 생성하는 방법은 도 7을 참조하여 상세히 설명한다.
다음, 평가 분석 단말기(20)는 생성된 추출한 의도 확인 정보를 인식 정보 및 감정 정보를 비교 분석하여 영상 콘텐츠 정보를 평가하여 콘텐츠 평가 정보를 생성한다(S25). 이때, 콘텐츠 평가 정보는 숫자로 표시되거나 그래프로 표시되도록 분석 디스플레이부(25)에 표시될 수 있다. 여기서, 콘텐츠 평가 정보를 생성하는 방법은 도 8 내지 도 10을 참고하여 더욱더 자세하고 다양한 예를 설명하도록 한다.
마지막으로, 평가 분석 단말기(20)는 콘텐츠 평가 정보를 다시 분석하여 콘텐츠 보정 가이드 정보를 생성한다(S26). 본 발명에서는 콘텐츠 보정 가이드 정보를 평가 분석 단말기(20)에서 생성하였으나, 제작 단말기(10)에서도 별도의 프로그램을 통해 자동으로 콘텐츠 보정 가이드 정보를 생성할 수 있게 된다. 이와 같은 콘텐츠 보정 가이드 정보는 제작 단말기(10)로 전송될 수 있다(S27).
이와 달리, 평가 분석 단말기(20)가 생성된 콘텐츠 평가 정보를 제작 단말기(10)로 전송하고, 이에 따라, 제작 단말기(10)가 콘텐츠 평가 정보에 기초하여 콘텐츠 보정 가이드 정보를 생성할 수도 있다.
도 7은 도 6에 도시된 생체 분석 정보를 생성하는 단계를 설명하는 상세 흐름도이다.
도 7을 참조하면, 평가 분석 단말기(20)의 분석 제어부(27)는 사용자의 신체 정보를 확인한다(S30). 수신되는 생체 정보의 시간에 따른 경향을 분석하고, 이 경향에 따라 사용자의 인식 정도 및 감정 정보를 분석하게 된다. 여기서, 생체 정보는 시선 정보, 뇌파 정보, 맥박 정보 및 땀분비 정보를 포함할 수 있지만, 이에 한정하지 않는다.
우선, 감정 정보 생성부(270)는 뇌파 정보, 맥박 정보 및 땀분비 정보를 분석하여(S31), 감정 정보를 생성할 수 있다(S34).
구체적으로, 감정 정보 생성부(270)는 정규화 처리 모듈(2700)을 통해 생체 정보 중 뇌파 정보, 맥박 정보 및 땀분비 정보를 정규화 함수를 이용하여 정규화 처리하고(S32), 형태학적 처리 모듈(2702)을 통해 정규화된 뇌파 정보, 맥박 정보 및 땀분비 정보를 강도에 따라 지속시간을 반영하여 형태학적 처리하여(S33), 형태학적 처리된 뇌파 정보, 맥박 정보 및 땀분비 정보를 분석하여 감정 정보를 생성할 수 있다(S34).
이와 달리, 인식 정보 생성부(272)는 생체 정보 중 시선 정보를 분석하여(S35), 인식 정보를 생성할 수 있다(S36).
도 8은 도 6에 도시된 콘텐츠 평가 정보를 생성하는 단계를 설명하는 상세 흐름도이고, 도 9는 본 발명의 일실시예에 따라 생성된 콘텐츠 평가 정보가 분석 디스플레이부에 표시된 예를 설명하는 도면이며, 도 10은 본 발명의 일실시예인 다수의 사용자가 가상 콘텐츠 서비스를 테스트한 경우 생성된 콘텐츠 평가 정보 중 감정 정보에 대한 매칭 점수(true score)의 평균을 보여주는 도면이다.
우선, 도 8을 참조하면, 평가 분석 단말기(20)의 분석 제어부(27)는 의도 확인 정보와 생체 분석 정보를 비교하여 영상 콘텐츠 정보를 평가하여 콘텐츠 평가 정보를 생성하기 위해 의도 확인 정보 중 의도 감정 정보를 확인하여 의도 감정 정보와 감정 정보를 분석할 수 있다(S40). 본 개시에서는 의도 감정 정보와 감정 정보를 분석하는 것으로 기재하였지만, 이와 달리 의도 타겟 정보와 인식 정보를 분석할 수도 있다.
다음, 분석 제어부(27)는 의도 감정 정보와 상기 감정 정보를 분석하여, 의도 감정 정보에 포함되어 있는 의도 구간 데이터 내에서의 의도 감정 정보에 따라 감정 정보가 발생한 경우(S41), 수치 산출부(274)를 통해 의도 감정 정보에 포함되어 있는 의도 구간 데이터 내에서의 의도 감정 정보와 감정 정보를 분석하여 매칭되는 부분을 매칭 점수(true score)로 수치화할 수 있다(S42).
이와 달리, 분석 제어부(27)는 의도 감정 정보와 감정 정보를 분석하여, 의도 감정 정보에 포함되어 있는 의도 구간 데이터 밖에서의 의도 감정 정보가 발생한 경우(S43), 수치 산출부(274)를 통해 의도 감정 정보에 포함되어 있는 의도 구간 데이터 밖에서의 의도 감정 정보와 감정 정보를 분석하여 비매칭되는 부분을 비매칭 점수(false score)로 수치화할 수 있다(S44).
도 9에 도시된 바와 같이, 콘텐츠 평가 정보는 크게 피실험자인 사용자의 시선을 추적하는 시선 추적 영역(100)과, 영상 콘텐츠 시청중 사용자의 감정을 시간의 경과에 따른 그래프로 표시한 감정 평가 영역(200)으로 나눌 수 있다.
시선 추적 영역(100)은 상술한 바와 같은 생체 정보 센서부(23)에서 획득된 시선 정보를 시선 이동 정보와 시선 집중 시간 정보에 따른 시선의 이동 방향 및 시선 정지시간 정보를 선(110)과 원(120)으로 표시하고 있다. 여기서, 선(110)은 시선의 이동 방향을 나타내며, 원(120)은 시선이 집중하는 시간을 나타내며, 집중시간이 길어질수록 그 원(120)의 크기가 커지게 된다. 이와 같은 콘텐츠 평가 정보를 통해 콘텐츠 제작자는 피실험자인 사용자의 시선의 변경과 시선 집중 여부를 한 눈에 확인할 수 있게 된다.
감정 평가 영역(200)에는 상술한 바와 같은 생체 정보 센서부(23)로부터 획득된 놔파 정보, 맥박 정보, 및 땀분비 정보 등의 시간경과에 따른 경향, 이벤트에 따른 임계적 움직임에 기초하여 안정점수, 놀람점수, 주의집중 점수, 인지 부하 점수 및 스트레스 점수라는 항목으로 분류하여 표시하고, 이들 점수가 의도 감정 정보에 포함되어 있는 의도 구간 데이터 내에서 의도 감정 정보와 매칭되는지 여부에 따라 매칭 점수(true score) 또는 이들 점수가 의도 감정 정보에 포함되어 있는 의도 구간 데이터 밖에서 의도 감정 정보와 비매칭되는지 여부에 따라 비매칭 점수(false score)로 시간의 경과에 따른 그래프로 표시될 수 있다.
한편, 도 10에 도시된 바와 같이, 영상 콘텐츠 정보를 다수의 사용자가 테스트하는 경우 각 사용자의 매칭 점수(true score)를 산출한 후, 산출된 매칭 점수(true score)를 평균하여 그룹과 각각의 사용자의 매칭 점수(true score)를 확인 할 수 있다.
상술한 구성을 가지는 본 발명의 일실시예에 따르면, 영상 콘텐츠 서비스를 제공하기 전에, 콘텐츠 제작자가 제작한 영상 콘텐츠에 대한 평가를 하고, 이에 대한 문제점을 인시하고 보정을 할 수 있도록 함으로써 불필요한 시행착오로 인해 발생하는 비용을 최소화할 수 있다.
또한, 콘텐츠 제작자의 의도와 이에 따른 피실험자의 반응을 분석함으로써, 다양한 형태의 상호작용이 발생하여 퀄리티가 높은 영상 콘텐츠를 제작할 수 있다.
또한, 오감 감지 센서를 이용하여 단순히 시선 처리만을 감지하는 것 아니라 피실험자의 심리상태를 감지함으로써, 더욱 더 정확하게 콘텐츠 제작자의 의도와 피실험자의 반응이 매칭되는지를 분석할 수 있다.
그리고, 콘텐츠 평가 정보에 기초하여 콘텐츠 보정 가이드 정보를 생성하여, 실사용자에게 효율적으로 영상 콘텐츠 서비스를 제공할 수 있다.
설명된 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
10 : 제작 단말기
11 : 제작 DB
12 : 제작 통신부
13 : 제작 제어부
20 : 평가 분석 단말기
21 : 메모리
22 : HUD, 영상 표시부
23 : 생체 정보 센서부
24 : 스피커
25 : 분석 디스플레이부
26 : 분석 통신부
27 : 분석 제어부
270 : 감정 정보 생성부
2700 : 정규화 처리 모듈
2702 : 형태학적 처리 모듈
272 : 인식 정보 생성부
274 : 수치 산출부
11 : 제작 DB
12 : 제작 통신부
13 : 제작 제어부
20 : 평가 분석 단말기
21 : 메모리
22 : HUD, 영상 표시부
23 : 생체 정보 센서부
24 : 스피커
25 : 분석 디스플레이부
26 : 분석 통신부
27 : 분석 제어부
270 : 감정 정보 생성부
2700 : 정규화 처리 모듈
2702 : 형태학적 처리 모듈
272 : 인식 정보 생성부
274 : 수치 산출부
Claims (14)
- 콘텐츠 제작자의 의도 확인 정보를 포함하는 영상 콘텐츠 정보를 제공하는 단계;
상기 영상 콘텐츠 정보를 실행하면서 피실험자의 생체 정보를 획득하고, 이를 분석하여 생체 분석 정보를 생성하는 단계; 및
상기 의도 확인 정보를 상기 생체 분석 정보를 비교하여 상기 영상 콘텐츠 정보를 평가하여 콘텐츠 평가 정보를 생성하는 단계;를 포함하는, 영상 분석 시스템에서의 영상 콘텐츠 정보의 평가 방법. - 제 1 항에 있어서,
상기 의도 확인 정보는 의도 감정 정보와 의도 타겟 정보를 포함하는, 영상 분석 시스템에서의 영상 콘텐츠 정보의 평가 방법. - 제 2 항에 있어서,
상기 생체 분석 정보는, 인식 정보와 감정 정보를 포함하는, 영상 분석 시스템에서의 영상 콘텐츠 정보의 평가 방법. - 제 3 항에 있어서,
상기 인식 정보는 시선 정보를 포함하고,
상기 영상 콘텐츠 정보를 실행하면서 피실험자의 생체 정보를 획득하고, 이를 분석하여 생체 분석 정보를 생성하는 단계는,
상기 피실험자의 머리에 장착되는 헤드 마운트 디스플레이 장치에 설치된 시선 인식 센서를 통해 상기 시선 정보를 획득하는 단계; 및
상기 시선 정보를 분석하여 상기 인식 정보를 생성하는 단계;를 포함하는, 영상 분석 시스템에서의 영상 콘텐츠 정보의 평가 방법. - 제 3 항에 있어서,
상기 감정 정보는 뇌파 정보, 맥박 정보 및 땀분비 정보를 포함하고,
상기 영상 콘텐츠 정보를 실행하면서 피실험자의 생체 정보를 획득하고, 이를 분석하여 생체 분석 정보를 생성하는 단계는,
상기 피실험자의 머리에 부착되는 뇌파 감지 센서를 이용하여 상기 뇌파 정보를 획득하는 단계;
상기 피실험자의 피부에 부착되는 광학 센서를 이용하여 상기 맥박 정보 및 상기 땀분비 정보를 획득하는 단계; 및
상기 뇌파 정보, 상기 맥박 정보 및 상기 땀분비 정보를 분석하여 상기 감정 정보를 생성하는 단계;를 포함하는, 영상 분석 시스템에서의 영상 콘텐츠 정보의 평가 방법. - 제 5 항에 있어서,
상기 감정 정보를 생성하는 단계는,
상기 상기 뇌파 정보, 상기 맥박 정보 및 상기 땀분비 정보를 정규화 함수를 이용하여 정규화하는 정규화 단계;
상기 정규화된 상기 뇌파 정보, 상기 맥박 정보 및 상기 땀분비 정보를 강도에 따라 지속시간이 반영하여 형태학적 처리하는 형태학적 처리 단계; 및
상기 형태학적 처리된 상기 뇌파 정보, 상기 맥박 정보 및 상기 땀분비 정보를 분석하여 상기 감정 정보로 생성하는 단계;를 포함하는, 영상 분석 시스템에서의 영상 콘텐츠 정보의 평가 방법. - 제 6 항에 있어서,
상기 정규화 단계는,
하기 수학식 1의 시그모이드 함수를 활용하는 단계;를 포함하는, 영상 분석 시스템에서의 영상 콘텐츠 정보의 평가 방법.
여기서, m은 중간점, r은 감정정보측정값, e(E)는 기울기, w는 강도 - 제 6 항에 있어서,
상기 생태학적 처리 단계는,
하기 수학식 2의 모폴로지 팽팡 연산을 활용하는 단계;를 포함하는, 영상 분석 시스템에서의 영상 콘텐츠 정보의 평가 방법.
- 제 3 항에 있어서,
상기 의도 확인 정보와 상기 생체 분석 정보를 비교하여 상기 영상 콘텐츠 정보를 평가하여 콘텐츠 평가 정보를 생성하는 단계는,
상기 의도 감정 정보와 상기 감정 정보를 분석하여, 상기 의도 감정 정보에 포함되어 있는 의도 구간 데이터 내에서의 상기 의도 감정 정보와 상기 감정 정보를 분석하여 매칭되는 부분을 매칭 점수(true score)로 수치화하는 단계; 및
상기 의도 감정 정보와 상기 감정 정보를 분석하여, 상기 의도 감정 정보에 포함되어 있는 의도 구간 데이터 밖에서의 상기 의도 감정 정보와 상기 감정 정보를 분석하여 비매칭되는 부분을 비매칭 점수(false score)로 수치화하는 단계; 포함하는, 영상 분석 시스템에서의 영상 콘텐츠 정보의 평가 방법. - 제 1 항에 있어서,
상기 콘텐츠 평가 정보에 기초하여 콘텐츠 보정 가이드 정보를 생성하는 단계;를 더 포함하는, 영상 분석 시스템에서의 영상 콘텐츠 정보의 평가 방법. - 제 1 항에 있어서,
상기 영상 콘텐츠 정보는, 3차원 가상 현실 콘텐츠 정보인, 영상 분석 시스템에서의 영상 콘텐츠 정보의 평가 방법. - 콘텐츠 제작자의 의도 확인 정보를 포함하는 영상 콘텐츠 정보를 저장하는 메모리부;
상기 가상 콘텐츠 정보를 표시하는 영상 표시부;
피실험자의 생체 정보를 생성하는 생체 정보 센서부; 및
상기 영상 콘텐츠 정보를 실행하여 상기 영상 표시부에 표시하고, 상기 생체 정보를 분석하여 상기 피실험자의 인식 정보 및 감정 정보를 생성하고, 상기 의도 확인 정보를 상기 인식 정보 및 상기 감정 정보를 분석하여 상기 영상 콘텐츠 정보를 평가하여 콘텐츠 평가 정보를 생성하는 분석 제어부;를 포함하는, 영상 콘텐츠 정보의 평가 분석 단말기. - 제 12 항에 있어서,
상기 분석 제어부는,
상기 뇌파 정보, 상기 맥박 정보 및 상기 땀분비 정보를 정규화 함수를 이용하여 정규화하고, 상기 정규화된 뇌파 정보, 맥박 정보 및 땀분비 정보를 강도에 따라 지속시간을 반영하여 형태학적 처리하며, 상기 형태학적 처리된 뇌파 정보, 맥박 정보 및 땀분비 정보를 분석하여 상기 감정 정보를 생성하는 감정 정보 생성부; 및
상기 시선 정보를 분석하여 상기 인식 정보를 생성하는 인식 정보 생성부;를 포함하는, 영상 콘텐츠 정보의 평가 분석 단말기. - 제 12 항에 있어서,
상기 분석 제어부는,
상기 의도 확인 정보 중 의도 감정 정보와 상기 감정 정보를 분석하여 상기 의도 감정 정보에 포함되어 있는 의도 구간 데이터 내에서의 상기 의도 감정 정보와 상기 감정 정보를 분석하여 매칭되는 부분을 매칭 점수(true score)로 수치화하고, 상기 의도 확인 정보 중 의도 타겟 정보와 상기 인식 정보를 분석하여 상기 의도 감정 정보에 포함되어 있는 의도 구간 데이터 밖에서의 상기 의도 감정 정보와 상기 감정 정보를 분석하여 비매칭되는 부분을 비매칭 점수(false score)로 수치화하는 수치 산출부;를 포함하는, 영상 콘텐츠 정보의 평가 분석 단말기.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180130918A KR102126465B1 (ko) | 2018-10-30 | 2018-10-30 | 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법 및 이를 적용한 평가 분석 단말기 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180130918A KR102126465B1 (ko) | 2018-10-30 | 2018-10-30 | 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법 및 이를 적용한 평가 분석 단말기 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200048637A true KR20200048637A (ko) | 2020-05-08 |
| KR102126465B1 KR102126465B1 (ko) | 2020-06-24 |
Family
ID=70677675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180130918A KR102126465B1 (ko) | 2018-10-30 | 2018-10-30 | 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법 및 이를 적용한 평가 분석 단말기 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102126465B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4327903A1 (en) * | 2022-08-26 | 2024-02-28 | Sony Interactive Entertainment Inc. | Content classification system and method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009134669A (ja) * | 2007-12-03 | 2009-06-18 | Sony Corp | 情報処理装置、情報処理端末、情報処理方法、およびプログラム |
| KR20130065785A (ko) * | 2011-11-30 | 2013-06-20 | 두산동아 주식회사 | 사용자 반응을 이용한 콘텐츠 검증 장치 및 그 방법 |
| KR101535432B1 (ko) * | 2013-09-13 | 2015-07-13 | 엔에이치엔엔터테인먼트 주식회사 | 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법 |
-
2018
- 2018-10-30 KR KR1020180130918A patent/KR102126465B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009134669A (ja) * | 2007-12-03 | 2009-06-18 | Sony Corp | 情報処理装置、情報処理端末、情報処理方法、およびプログラム |
| KR20130065785A (ko) * | 2011-11-30 | 2013-06-20 | 두산동아 주식회사 | 사용자 반응을 이용한 콘텐츠 검증 장치 및 그 방법 |
| KR101535432B1 (ko) * | 2013-09-13 | 2015-07-13 | 엔에이치엔엔터테인먼트 주식회사 | 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4327903A1 (en) * | 2022-08-26 | 2024-02-28 | Sony Interactive Entertainment Inc. | Content classification system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102126465B1 (ko) | 2020-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
| US10802580B2 (en) | Technique for controlling virtual image generation system using emotional states of user | |
| Soleymani et al. | A multimodal database for affect recognition and implicit tagging | |
| Perusquia-Hernandez et al. | A wearable device for fast and subtle spontaneous smile recognition | |
| US11417045B2 (en) | Dialog-based testing using avatar virtual assistant | |
| RU2708807C2 (ru) | Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту | |
| WO2016011457A1 (en) | Generating and using a predictive virtual personification | |
| US20220067376A1 (en) | Method for generating highlight image using biometric data and device therefor | |
| Pepa et al. | Stress detection in computer users from keyboard and mouse dynamics | |
| JP6830829B2 (ja) | プログラム、表示装置、表示方法、放送システム及び放送方法 | |
| JP2022536126A (ja) | 感情認識方法及びそれを利用した感情認識用デバイス | |
| KR20220036368A (ko) | 뇌-컴퓨터 인터페이스 | |
| KR102081752B1 (ko) | 영상평가시스템 및 영상평가방법 | |
| Hossain et al. | Using temporal features of observers’ physiological measures to distinguish between genuine and fake smiles | |
| Ley et al. | Evaluating Methods for Emotion Recognition based on Facial and Vocal Features. | |
| KR102126465B1 (ko) | 영상 평가 시스템에서의 영상 콘텐츠 정보의 분석 방법 및 이를 적용한 평가 분석 단말기 | |
| Cheng et al. | Computer-aided autism spectrum disorder diagnosis with behavior signal processing | |
| US20210303070A1 (en) | Devices and headsets | |
| JP2008046802A (ja) | インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム | |
| Zhang et al. | A survey on mobile affective computing | |
| KR102132294B1 (ko) | 가상 현실 컴퓨터 시스템에서의 가상 현실 콘텐츠 정보의 분석 방법 및 이를 적용한 평가 분석 단말기 | |
| KR102150045B1 (ko) | 시각자극 뇌파신호의 출력향상을 위한 ａｒ 컨텐츠 저작시스템 | |
| Panwar et al. | Providing contextual assistance in response to frustration in visual analytics tasks | |
| JP2019212325A (ja) | 情報処理装置、ミラーデバイス、プログラム | |
| CN116665892B (zh) | 孤独症评估***、方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |