KR102081752B1 - 영상평가시스템 및 영상평가방법 - Google Patents

Abstract

본 발명은 영상평가시스템 및 영상평가방법에 관한 것이다.
본 발명에서는 영상 제작자로부터 특정 감정을 의도한 구간정보를 입력받고, 해당 영상을 시청하는 피험자로부터 해당 구간동안 입력되는 특정 감정을 수치화하여 제공하는 영상평가시스템 및 평가방법이 개시된다.
본 발명에 의해서 제작자가 제작한 영상을 객관적으로 평가할 수 있게 되었다.

Description

영상평가시스템 및 영상평가방법{VIDEO EVALUATION SYSTEM AND VIEDO EVALUATION METHOD}

본 발명은 영상평가시스템 및 영상평가방법에 관한 것으로서, 보다 구체적으로는 영상 제작자의 의도와 영상의 시청한 피험자의 감정의 일치 여부를 점수로 객관화하여 제공하는 영상평가시스템 및 영상평가방법에 관한 것이다.

최근 게임 분야를 포함한 오락 분야의 영상 추이는 VR(Virtual Reality)과 AR(Augmented Reality) 영상을 이용하는 분야라 할 수 있다. 이러한 VR 및 AR 제작에는 상당한 시간과 경비가 소요되므로 기획자가 의도한 바대로 영상 체험자의 반응이 나타나기를 바라지만 영상을 출시하기 전까지 피험자의 반응을 정확히 측정하기 어려운 실정이다.

영상 제작자는 시청자가 제작된 영상을 보고 의도한 바와 같은 반응을 보여주기를 원한다. 예를 들어 공포 영화의 경우 제작자는 상영시점을 기준으로 35분에서 1분간 시청자가 엄청 가장 놀랄 것이라고 생각하고 그 시기에 필요한 사운드도 설정하고 후속 장면을 설정하게 된다. 또 다른 예로는 TV 광고 영상의 경우 궁금증을 유발하다가 궁금점이 유발되는 최고점의 시기에 판매하는 상품 이미지를 보여주기를 원할 것이다. 종래 사용되던 영상평가방법은 대부분이 설문조사의 형태로 피험자가 해당 콘텐츠를 끝까지 시청한 후 문답형식으로 진행되어 왔다. 이러한 방법은 피험자가 실제로 모든 순간을 기억하지 못할 수 있고 피험자가 느낀 감정을 본인도 정확하게 알 수 없기 때문에 정확한 답변이 아닌 모호한 답변으로 표시되는 문제점이 있었다.

한국공개특허 제10-2014-0004740호 (2014.01.13 공개)

본 발명은 상기와 같은 문제점을 해결하고자 하는 것으로서, 영상을 시청하면서 반응하는 체험자의 감정을 객관적으로 표현하는 영상평가시스템 및 방법을 제시하는 것을 목적으로 한다.

본 발명의 상기 목적은 캡쳐영상데이터 및 상기 캡쳐영상데이터를 시청한 피험자가 느끼는 감정을 나타내는 감정데이터를 입력받은 후 상기 피험자의 반응이 상기 캡쳐영상데이터를 제공한 제작자의 의도와 일치하는 정도를 수치화하여 제공하는 영상평가방법으로서, 제작자로부터 의도한 감정이 나타나는 구간(의도구간)을 입력받은 후 의도구간데이터로 저장하는 제1단계와, 의도구간데이터로부터 의도구간 동안 입력되는 감정데이터를 이용하여 의도된 감정에 대한 값을 산출하여 True 점수로 계산하는 제2단계 및 True 점수를 제공하는 제4단계를 포함하고, 1단계와 제4단계 사이에 제공되는 단계로서, 의도구간데이터로부터 의도구간을 제외한 구간(의도외 구간) 동안 입력되는 감정데이터로부터 의도된 감정에 대한 값을 산출하여 False 점수로 계산하는 제3단계를 더 포함하고, 제4단계에서는 상기 False 점수도 더 제공하는 것을 특징으로 하고, 제2단계 이전에 수행되는 단계로서 감정데이터를 0과 1 사이 값으로 정규화하는 제1-2단계와, 제1-2단계에서 정규화된 감정데이터를 모폴로지 팽창 연산을 이용하여 강도를 고려하여 지속시간으로 변환하는 형태학 처리를 수행하는 제1-3단계를 더 포함하고, 제2단계이후 단계에서는 제1-3단계에서 형태학 처리가 완료된 감정데이터를 이용하는 것을 특징으로 하는 영상평가방법에 의해 달성 가능하다.

본 발명이 상기 목적은 캡쳐영상데이터 및 상기 캡쳐영상데이터를 시청한 피험자가 느끼는 감정을 나타내는 감정데이터를 입력받은 후 상기 피험자의 반응이 상기 캡쳐영상데이터를 제공한 제작자의 의도와 일치하는 정도를 수치화하여 제공하는 영상 평가 시스템으로서, 캡쳐영상데이터, 캡쳐영상데이터에서 제작자가 의도한 감정이 나타나는 구간(의도구간)에 대한 의도구간데이터 및 상기 감정데이터를 저장하는 메모리부와, 캡쳐영상데이터를 재생하면서 의도구간데이터로부터 의도구간의 시작과 종료 구간을 인식하고 이를 통지하는 구간인식부 및 상기 구간인식부로 통지되는 의도구간을 이용하여 의도구간 동안 입력되는 감정데이터에 포함된 의도된 감정의 점수를 True 점수로 계산하고, 의도구간을 제외한 구간(의도외 구간) 동안 입력되는 감정데이터에 포함된 의도된 감정의 점수를 False 점수로 계산하는 점수계산부를 포함하는 감정일치연산부와, 캡쳐영상데이터가 재생되는 영상재생영역, 의도구간인지 여부를 표시하는 의도구간표시영역 및 재생되는 캡쳐영상데이터의 구간에 해당하는 실시간 의도된 감정을 단계적으로 제공하는 감정레벨표시영역를 포함하는 영상을 생성하는 영상생성부를 포함하고, 감정데이터로부터 출력되는 값을 0과 1사이값으로 정규화하여 출력하는 정규화처리부 및 정규화처리부로부터 입력되는 정규화된 감정데이터를 모폴로지 팽창 연산을 이용하여 강도를 반영하여 지연시간을 조절하여 출력하는 형태학처리부를 더 포함하고, 감정일치연산부 및 영상생성부는 형태학처리부로부터 출력되는 감정데이터를 이용하는 것을 특징으로 하는 영상평가시스템에 의해서도 달성 가능하다.

본 발명에 따른 영상평가시스템 및 방법을 이용하면 제작자가 제작한 영상을 객관적으로 평가할 수 있다. 특히 VR 콘텐츠 제작자가 본 발명을 이용할 경우 소비자 맞춤형 고품질 VR 콘텐츠 제작이 가능해지므로 저비용 콘텐츠 제작으로 글로벌 신시장에 진출할 수 있으며, 고수익을 창출하는데 도움을 줄 수 있게 되었다.

또한, 영상을 이용하는 다양한 문화 융합 콘텐츠를 제작할 때 본 발명을 이용하면 피험자의 반응을 사전에 정확하게 파악할 수 있기 때문에 저비용으로도 효율적으로 영상 콘텐츠 제작이 가능해지게 되었다.

도 1은 영상을 디스플레이하고, 디스플레이된 영상을 피검자가 보면서 느끼는 감정을 기록하는 시스템의 일 실시예도.
도 2는 본 발명에 따른 영상 콘텐츠 평가 방법을 설명하는 흐름도.
도 3은 형태학적 처리 전후의 감정데이터를 보여주는 그래프.
도 4는 True Score와 False Score를 계산하는 구체적인 일례에 대한 설명도.
도 5는 본 발명에 따른 일 실시예의 영상 평가 시스템 블럭도.
도 6은 본 발명에 따른 영상 생성부에서 제작된 결과 영상의 일예.
도 7은 103초 상영시간을 갖는 캡쳐영상데이터에 복수 개 감정에 대한 제작자의 의도구간을 나타내는 그래프.
도 8은 동일한 영상을 10명으로 구성된 그룹에서 체험시키고, 각각의 True 점수를 평균하여 나타낸 그룹값과 해당 그룹에 속하는 특정 피험자의 각 감정에 대해 측정된 True 점수를 비교하여 나타낸 막대 그래프.

본 발명에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에서, "~ 상에 또는 ~ 상부에" 라 함은 대상 부분의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력 방향을 기준으로 상 측에 위치하는 것을 의미하는 것은 아니다. 또한, 영역, 판 등의 부분이 다른 부분 "상에 또는 상부에" 있다고 할 때, 이는 다른 부분 "바로 상에 또는 상부에" 접촉하여 있거나 간격을 두고 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명은 측정된 감정을 평가하는 시스템 내지는 방법에 관한 것이므로 감정을 측정하는 기술은 본 발명의 범위를 벗어나는 것이다. 측정 가능한 대표적인 감정으로는 놀람(surprise), 안정(cozy), 집중(attention), 인지부하력(cognitive load), 좋은 스트레스(eustress) 및 나쁜 스트레스(distress) 등이 있다.

도 1은 영상을 디스플레이하고, 디스플레이된 영상을 피검자가 보면서 느끼는 감정을 기록하는 시스템의 일 실시예이다. 영상및센서데이터제공장치(100)에는 제작자가 제작한 복수 개 영상이 저장 구비된다. 저장된 영상은 GPU(Graphic Processing Unit)에서 처리된 후 HMD(Head Mounted Display)를 통하여 사용자에게 디스플레이된다. 사용자 신체에는 PPG센서, GSR센서, EEG 센서 및 Eye Tracking 센서가 부착 및 구비된다. GPU에서 처리된 영상 신호는 분배기(spliter)를 통해 별도의 모니터(HMD Mirroring)에 디스플레이됨과 동시에 영상캡쳐보드(capture board)를 이용하여 캡쳐영상데이터로 영상및센서데이터제공장치(100)에 저장된다. 이때, 캡쳐영상데이터와 동기화되어 Eye Tracking 센서로부터 입력되는 시선정보데이터가 저장되며, EEG 센서GSR/PPG센서로부터 출력되는 센서신호도 캡쳐영상데이터와 동기화되면서 영상및센서데이터제공장치(100)에 저장된다. 도 1에 제시된 시스템에서는 영상캡쳐보드를 이용하여 HMD에서 디스플레이되는 이미지를 캡쳐하고 캡쳐된 이미지를 이용하여 캡쳐영상데이터로 저장한다. 영상및센서데이터제공장치(100)는 메모리와 GPU 및 영상캡쳐보드를 갖는 일반적으로 말하는 개인용 컴퓨터로 구현할 수 있다.

EEG센서는 뇌파를 측정하기 위한 센서이다. 본 발명에서는 Interaxon사에서 제공되는 MUSE라는 제품을 사용하였다. 이는 AF7, AF8, TP9, TP10 총 4채널을 사용하는 뇌파 측정 장비이며, 256Hz로 샘플링 가능하고 블루투스를 이용한 무선통신을 사용하며, 머리에 쓰는 형태로 착용하여 측정한다.

GSR/PPG 센서는 피부 반응과 혈류량을 측정하기 위한 장비는 Grove-GSR Sensor와 Laxtha-RP520을 Arduino 보드에 연결하여 사용하였다. 이 두 장비는 100~ 1000Hz 내 원하는 범위의 주파수로 샘플링 가능하다. 반지와 같이 손가락에 끼우는 형태로 착용하여 측정한다.

Eye Tracking 센서는 시선 정보를 취득하기 위한 장비로서 FOVE0를 이용하였다. FOVEO는 Fove사에서 HMD 내부에 시선 추적 기능을 갖는 Eye Tracking 센서를 추가한 장비이다. 이는 시선을 추적하여 나온 시선 정보를 120Hz로 샘플링 할 수 있으며, HMD착용과 동일한 방식으로 착용하여 측정한다.

다양한 센서로부터 입력되는 센서신호를 이용하여 어떠한 감정을 나타내는 것인지 분석하고 각 감정에 대한 감정데이터로 변환하는 기술은 본 발명의 범위를 벗어나는 것이다. 즉, 도 1에 제시된 복수 개 센서로부터 출력되는 센서데이터를 이용하여 놀람, 안정, 집중 등의 감정을 나타내는 감정데이터로 변환(산출)하는 것은 이미 여러가지 방식이 알려져 있으며 본 발명의 범위를 벗어나는 것이다. 본 발명에서는 영상 제작자가 의도한 시점에서 피험자가 의도한 감정을 얼마나 충실하게 표출하는지를 객관적으로 표시하는 것을 대상으로 하는 것이다. 예를 들어, '놀람'이라는 감정은 EEG 센서로부터 출력되는 뇌파신호(raw signal)의 변화량의 급격한 증가(또는 감소)를 이용하여 놀람데이터로 산출할 수 있으며, EEG 센서값으로부터 놀람 데이터를 산출하는 방식은 이미 공지되어 있는 것이므로 본 발명의 대상 범위는 아닌 것이다. 이하에서는 놀람이라는 감정데이터만을 대상으로 설명하겠으나 다른 종류의 감정에도 동일하게 적용할 수 있음은 물론이다.

도 2는 본 발명에 따른 영상 콘텐츠 평가 방법을 설명하는 흐름도이다. 도 1에 제시된 영상및센서데이터제공장치(100)로부터 캡쳐영상데이터와 센서데이터가 제공된다. 센서데이터(ST13)는 별도의 알고리즘(본 발명의 범위가 아님)을 이용하여 감정데이터(ST11)로 변환하여 사용한다. 영상 평가를 수행하기 위한 사전 작업으로 캡쳐영상을 복수 명의 피험자에게 시청하도록 한 후, 해당 피험자가 감정을 느낀 구간을 파악하고 이를 피험자 체험구간데이터로 저장한다(ST31). 캡쳐영상데이터와 피험자감정구간데이터를 이용하여 정규화 함수의 파라미터를 구한다(ST33). ST11단계에서 제공되는 감정데이터를 정규화 함수를 이용하여 정규화하고(ST34), 형태학적 처리를 수행한다(ST35). 영상 제작자로부터 감정이 일어나도록 의도한 구간에 대한 정보를 입력받은 후 이를 제작자 감정의도구간데이터로 저장한다(ST360. 캐쳐영상데이터, 감정의도구간데이터 및 형태학적 처리가 완료된 감정데이터를 이용하여 True Score 및 False Score를 산출(ST37)하고, 이를 결과 영상으로 제공(ST39)한다.

1. 정규화 처리를 위한 함수 파라미터 산출

본원 발명자의 다양한 실험에 의하면 피험자의 생체 신호를 바탕으로 감정 분석을 할 수 있지만, 복수의 피험자에게 같은 감정이 발생하였을 때 생체 신호의 변화가 큰 피험자가 있고 그렇지 않은 피험자가 있다. 예를 들어 A와 B라는 피험자가 있을 때, A는 생체신호의 변화가 큰 사람이고, B는 그렇지 않은 사람이라고 가정한다. A와 B 같은 구간에서 동일하게 놀랐다고 하면, A는 큰 값을 가지게 될것이고 B는 작은 값을 가지게 될 것이다. 이러한 결과로 분석을 진행하면 공정하지 않은 평가가 되며, 이를 바탕으로 영상 콘텐츠를 분석할 경우 신뢰성 있는 결과를 얻을 수 없다. 따라서 생체신호를 바탕으로 나온 감정데이터를 동일한 범위 내로 정규화 하는 과정이 필요하지만, 사람마다 큰 편차를 보이는 생체 신호의 특성상 정규화 함수의 파라미터를 사람이 스스로 정의 내리기 어려운 부분이 있다. 이러한 문제를 해결하기 위하여 본 발명에서는 감정데이터를 정규화 처리하였다.

각 사람별 생체신호를 올바르게 정규화 하기 위한 방안으로 정규화 함수의 최적파라미터를 찾는 작업을 수행한다. 본 발명에서는 수학식 1과 같은 시그모이드 함수를 사용하였다.

감정데이터 정규화 함수 모델은 신호를 분석할 때 필요한 윈도우 크기, 윈도우 이동 거리, 정규화 함수(정규화 함수를 시그모이드(Sigmoid)로 사용하였다고 가정)의 중간점(m), 기울기(e), 강도(w)의 범위 총 5개의 최적 파라미터를 찾아내어야 한다. 수학식 1에서 r은 감정데이터이며, S(r)은 시그모이드 함수의 출력값을 의미하는 것으로 0~1 사이의 값으로 출력된다.

놀람 감정을 측정하기 위해 사용하는 뇌파신호의 경우 한 순간의 감정을 분석하는데 1개의 신호만들 사용하지 않고 구간의 추이를 보고 판단을 한다. 예를 들어, 샘플링 속도가 500hz 라고 가정할 때, 1초 간격으로 결과를 확인하고 싶으면 500개의 데이터를 윈도우로 씌운 후 결과를 산출하는 것이다. 한 번의 결과를 뽑는데 몇 개의 샘플링된 감정데이터를 볼 것인지가 윈도우 크기를 의미하며, 윈도우 이동 거리의 경우에는 1초 간격으로 0.5초씩 이동할 수도 있고 0.1초씩 이동할 수도 있으니 그에 따른 결과도 바뀔 것이다. 이러한 이동에 대해 조금씩 변경해가면서 최적의 이동거리를 찾는 것을 윈동우 이동 거리라 한다.

먼저 캡쳐영상데이터를 복수 명의 피험자에 시청하게 한 후, 각 피험자가 시청하면서 놀람이라는 감정을 느낀 구간을 파악한 후 이를 체험구간데이터로 저장한다. 그리고 해당 피험자가 놀람을 느낀 구간(이를 '체험구간'이라 함)에서 놀람데이터가 측정되는 경우 이를 이용하여 True Score로 산출하고, 해당 피험자가 놀람을 느낀다고 표시하지 않은 구간(이를 '체험외 구간'이라 함)에서 놀람데이터가 측정되는 경우 이를 이용하여 False Score를 산출한다.

감정데이터를 시그모이드 함수를 이용하여 0~1로 정규화 시킨 후, 체험구간 내의 시그모이드 함수 출력값의 평균과 체험외 구간의 평균을 통해 True Score와 False Score를 구하게 된다. 전술한 바와 같이 체험구간이라 함은 캡쳐영상데이터에서 피험자가 놀람을 느꼈다고 표시한 구간(프레임 단위 또는 시간으로 표시함)을 의미하며, 체험외 구간은 캡쳐영상데이터에서 피험자가 놀람을 느꼈지 못했다고 표시한 구간을 의미한다.

모든 파라미터를 일정 범위 내(예로서, 0~10) 작은 값(예로서, 0.01)을 조금씩 변형시켜가며 모든 경우의 수에 관한 결과를 계산하는 Brute Force 방법을 사용하여 각 피험자에 대한 True Score는 최고치로 나타나고 False Score는 최소치가 되는 정규화 함수의 각 파라미터를 구한다. Brute Force 방법을 사용하는 데는 많은 시간이 소요되지만 모든 경우의 수를 계산하는 것이기 때문에 가장 정확하다는 장점이 있다. 모든 파라미터는 무차별 대입법으로 조금씩 수정하며 True Score를 최대화하고, False Score를 억제하는 것을 목표로 모델을 학습한다. 이는 정규화 함수를 사용하여 사용자가 실제로 느낀 감정과 최대한 유사한 결과를 내도록 함수 파라미터가 선택된다.

지금까지 설명으로 정규화 함수로 시그모이드를 사용하는 것으로 설명하였으나 반드시 이에 국한되지 않으며, 감정데이터를 0~1 사이의 값으로 출력하는 정규화 함수면 어떤 것이든 사용할 수 있다. 예로서, Hyperbolic Tangent 함수를 사용할 수도 있음은 물론이다. 또한, 정규화 함수의 파라미터는 Brute Force 방식 외에도 예를 들어 머신 러닝 방식 등을 통해서도 구할 수 있음은 물론이다.

2. 감정 시점과 여운에 관한 형태학적 처리

정규화 처리된 감정데이터는 시시각각 변하는데 이를 바탕으로 제작자가 의도한 감정 구간과의 일치 여부를 점수로 산출하게 되면 이 결과는 신호적인 측면에서는 옳다고 할 수 있지만, 사람(영상제작자 등)이 그래프를 보고 이해하는 데는 어려움이 있다. 왜냐하면 특정 순간에 생체 신호의 급격한 감소가 있었다고 가정하면, 신호적인 관점에서는 감정이 순식간에 변하는 것으로 볼 수 있으나 실제로 사람이 느끼는 감정은 여운의 형태로 존재할 수도 있고 같은 놀람을 느꼈더라도 놀람에 대한 생체 신호 반응은 각 피험자마다 다른 시점에서 발생할 수 있다. 이러한 요인들로 인해 감정 분석 알고리즘대로 감정을 표현하는 것보다는 본 발명에서는 형태학적 처리를 수행한다.

감정 시점과 여운에 관해서는 영상의 형태학적 처리에서 많이 사용되는 모폴로지 팽창 연산을 감정이 발생한 시점이후에 적용한다. 이는 강한 감정은 조금 더 오래 지속된다는 가정으로 감정 신호의 크기와 비례하여 팽창 연산을 수행한다.

다양한 사람의 생체신호에는 개인별로 감정을 느끼는 시점, 유발된 감정이 유지되는 시간, 감정의 변화시간 등이 반영되어있다. 이러한 다양한 요인들로 인해 생체신호를 이용하여 분석된 감정을 정량화하기란 쉽지 않다. 그 이유는 동일한 감정을 느끼더라도 유발된 감정이 오래가는 피험자의 경우 높은 점수로 기록될 것이고, 그렇지 않은 사람의 경우는 작은 값으로 기록될 것이다. 이를 그대로 시각화하여 표현할 경우 신호적인 관점에서 맞을 수 있지만, 결과를 통해 감정을 분석하고자 하는 사람들에게는 유발된 감정이 오래가지 않는 사람이 감정을 거의 느끼지 못했다는 생각 등의 오해를 불러일으킬 소지가 있다. 이 때문에 감정이 짧은 시간 내(1초) 급격하게 바뀌지 않는다는 가정으로 감정이 발생한 시점에서 유발된 감정의 강도가 강할수록 감정이 오래 유지되도록 표현하여 모두가 비슷한 지속시간을 가지도록 하였다. 표현방법은 영상의 형태학적 처리에서 많이 사용되는 모폴로지(Morphology) 팽창 연산을 수행하여, 강도가 강할수록 반복횟수를 증가시켰다. 도 3은 형태학적 처리를 표시한 그래프로서, (a)는 입력된 정규화 처리된 감정데이터이며, (b)는 형태학적 처리까지 완료된 감정데이터를 도시한 그래프이다.

모폴로지 팽창 연산수식은 수학식 2와 같다. 수학식 2는 주위에 있는 값 중 가장 큰 값으로 대체되며 이를 반복 연산할수록 그래프의 모양은 팽창한다. 강한 강도를 가진 감정일수록 많은 반복연산을 수행하도록 한다.

3. 영상 제작자의 의도에 따른 매칭 스코어 산출

영상 콘텐츠 제작자는 제작자 의도에 따라 해당 영상 콘텐츠에서 놀람감정이 나타나는 구간(프레임 단위 또는 시간 단위)을 등록한다. 예를 들어, 시간 단위로 1:05시각부터 1:07시각 사이 구간은 매우 놀랐으면 좋겠다는 구간으로 설정하고 놀람의 정도를 등록한다( 1:05 ~ 1:07 , 100% 놀람). 등록을 마치면 실제 피험자가 콘텐츠를 보며 느꼈던 감정과 비교하여 매칭 스코어를 산출한다.

매칭 스코어는 전술한 바와 같이 두 가지가 존재한다. 첫 번째 점수는 True Score로 콘텐츠 제작자가 설정한 의도 감정 구간(이하, '감정의도구간'이라 함) 내에 해당 감정이 검출되는 것을 표시하는 점수이다. True Score가 높다면 제작자가 의도한 구간에서 피험자가 실제 해당 감정이 유발되었음을 의미하며, 이는 제작자가 의도한대로 콘텐츠가 제작되었음을 의미한다. 반대로 이점수가 낮다면 의도대로 콘텐츠가 제작되지 않았음을 의미한다고 볼 수 있다. 보다 구체적으로는 영상 제작자가 의도한 구간에서 정규화되고 형태학적 처리가 완료된 감정데이터가 입력되면 이를 누적한 후 구간으로 나눈 평균값을 True Score로 산출하는 것이다.

또 다른 매칭스코어는 False Score이다. 이는 콘텐츠 제작자가 설정한 의도 감정 구간 외의 구간(이하, '감정의도외 구간'이라 함)에서 놀람감정이 나타나는 것을 나타내는 점수이다. False 점수가 높다면 제작자가 의도하지 않은 구간에서 놀람 감정이 많이 유발되었음을 의미한다. 이는 예상외의 감정 유발로 콘텐츠에 직접적으로 영향을 미칠 수도 있고 그렇지 않을 수도 있다. 보다 구체적으로는 영상 제작자가 의도하지 않은 구간에서 정규화되고 형태학적 처리가 완료된 감정데이터가 입력되면 이를 평균값을 False Score로 산출하는 것이다. 최종적으로 제작자는 이 두 가지 점수를 통해 콘텐츠를 정량적으로 평가할 수 있다.

도 4는 True Score와 False Score를 계산하는 구체적인 일례에 대한 설명도이다. 전체 영상은 60초의 상영시간으로 구성되고, 기획자는 Z1 구간 및 Z2 구간에서 놀람을 의도하였다고 가정하였다. 또한 Z1구간은 10초로 형성되고, Z1 구간 동안 측정된 놀람데이터의 누적값은 3.5이며, Z2구간은 5초로 형성되고, Z2 구간 동안 측정된 놀람데이터의 누적값은 2.1이라 가정하고, 감정의도외 구간에 측정된 놀람데이터의 누적값은 2.5라고 가정하기로 한다. 도 4의 실시예에서 True Score는 '(3.5+2.1)/15 = 0.37로 계산되며, False Score는 '2.5/45 = 0.05'로 계산된다.

도 5는 본 발명에 따른 일 실시예의 영상 평가 시스템 블럭도이다. 도 5에 도시된 바와 같이 본 발명에 따른 영상 평가 시스템은 메모리부(10), 감정일치연산부(20), 정규화처리부(21), 형태학처리부(23), 정규화함수파라미터산출부(25), 영상생성부(30) 및 디스플레이부(35)로 구성된다.

정규화처리부(21)는 전술한 바와 같이 입력되는 감정데이터를 정규화 함수를 이용하여 피험자의 감정데이터를 0과 1사이값으로 정규화 처리하는 모듈이다. 형태학처리부(23)는 정규화처리부(21)로부터 출력되는 감정데이터를 강도에 따라 여운(지속 시간)이 반영되도록 처리하는 모듈이다. 정규화함수파라미터산출부(25)는 전술한 바와 같이 캡쳐영상데이터와 이를 시청한 복수 명의 피험자로부터 캡쳐된 영상의 어느 구간에서 감정을 느꼈는지를 입력받아 해당 구간에 대한 정보가 기록된 체험구간데이터를 이용하여 정규화 함수의 파라미터를 산출하는 모듈이다. 정규화처리부(21), 형태학처리부(23) 및 정규화함수파라미터산출부(25)는 일반적으로 소프트웨어 모듈로 구비되나 필요한 경우 하드웨어로 구현할 수 있음은 물론이다.

메모리부(10)는 영상및센서데이터제공장치(100)으로 제공받는 캠쳐영상데이터와, 도면에 도시되지 않은 입력장치를 통해 복수 명의 피험자로부터 입력받는 체험구간데이터 및 입력장치를 통해 영상 제작자로부터 입력받는 의도구간데이터를 저장한다. 캡쳐영상데이터, 의도구간데이터 및 형태학 처리된 감정데이터는 감정일치연산부(20)에 입력된다.

감정일치연산부(20)는 구간인식부와 점수계산부로 구성된다. 구간인식부는 입력된 캡쳐영상데이터을 재생하면서 프레임 단위 또는 재생 시간을 카운트하며, 의도구간데이터에 속하는 프레임의 시작과 종료 또는 재생 시간의 시작과 종료 시점을 점수계산부에 통지한다. 점수계산부는 의도외 구간에 해당되는 영상이 재생될 때는 입력되는 감정데이터를 누적하여 False 저장부에 저장하고, 의도 구간에 해당되는 영상이 재생될 때는 입력되는 감정데이터는 누적하여 True 저장부에 저장한다. 영상 재생이 종료되면, 의도외 구간을 구성하는 전체 프레임수 또는 관련된 전체 재생시간을 이용하여 False 저장부에 저장된 누적값을 나누면 해당 피험자의 False 점수가 계산된다. 유사하게 영상 재생이 종료되면, 의도 구간을 구성하는 전체 프레임수 또는 관련된 전체 재생시간을 이용하여 True 저장부에 저장된 누적값을 나누면 해당 피험자의 True 점수가 계산된다. 영상생성부는 캡쳐영상데이터, 의도구간데이터, 형태학 처리된 감정데이터 및 점수계산부에서 산출되는 False 점수와 True 점수를 이용하여 영상 형성부에서는 영상을 구성하고, 이를 디스플레이이부(30)에 표시하게 된다.

감정일치연산부(20)는 정규화함수의 파라미터를 산출하는데도 이용된다. 구간인식부는 입력된 캡쳐영상데이터을 재생하면서 프레임 단위 또는 재생 시간을 카운트하며, 체험구간데이터에 속하는 프레임의 시작과 종료 또는 재생 시간의 시작과 종료 시점을 점수계산부에 통지한다. 점수계산부는 체험외 구간에 해당되는 영상이 재생될 때는 입력되는 감정데이터를 누적하여 False 저장부에 저장하고, 체험 구간에 해당되는 영상이 재생될 때는 입력되는 감정데이터는 누적하여 True 저장부에 저장한다. 영상 재생이 종료되면, 체험외 구간을 구성하는 전체 프레임수 또는 관련된 전체 재생시간을 이용하여 False 저장부에 저장된 누적값을 나누면 해당 피험자의 False 점수가 계산된다. 유사하게 영상 재생이 종료되면, 체험 구간을 구성하는 전체 프레임수 또는 관련된 전체 재생시간을 이용하여 True 저장부에 저장된 누적값을 나누면 해당 피험자의 True 점수가 계산된다. 정규화함수파라미터산출부(25)는 체험구간을 이용한 복수 명 체험자의 True 점수와 False 점수를 산출하고, True 점수는 최고치로 나타나고 False 점수는 최저치로 나타나는 정규함수의 파라미터를 산출하게 되는 것이다.

4. 결과 영상 제공

측정자(피험자)의 감정 결과와 기획자의 의도 감정은 전술한 과정을 설명하는 프로그램이 구비된 장치(컴퓨터)에서는 쉽게 관찰이 가능하다. 하지만 측정자의 결과를 보기 위해 반드시 프로그램에 접속해야 하는 불편함이 있고, 외부에서는 분석된 결과를 볼 수 없다는 단점이 있다. 이러한 문제를 해결하기 위해서 측정자의 감정 분석 결과와 기획자의 의도 감정을 한눈에 볼 수 있는 영상을 제작하여 제공하였다. 도 6은 본 발명에 따른 영상 생성부에서 제작된 결과 영상의 일예이다. 도 6과 같은 결과 영상을 이용하면 추출된 영상을 통해 언제 어디서는 분석된 결과를 확인할 수 있고, 외부에서도 프로그램 없이 동영상으로 결과를 확인할 수 있다. 제작된 영상은 일반 영상과 다른 3가지 특징을 가지고 있다.

(1) 캡쳐영상데이터가 재생되는 영역(영역재생영역)에 피험자가 영상을 시청할 때 수집된 시선 정보를 바탕으로 시선 이력을 표기한다(도 6에서 녹색 사각형으로 표시된 부분).

(2) 피험자가 느낀 감정( (2)로 표기된 영역 )의 종류를 나타내고, 우측에는 강도를 하이파이의 이퀄라이저 형태로 표기( (3)으로 표기된 영역, 감정레벨표시영역 )한다.

(3) 해당 시점에서 기획자가 의도한 감정 구간인지 확인할 수 있도록 하기 위해 LED 점등 형태( (4)로 표기된 영역, 의도구간표시영역 )로 원의 불이 켜지면 해당 감정 유발 구간이며 불이 꺼지면 의도한 감정 구간이 아님을 쉽게 파악할 수 있도록 구현하였다.

지금까지는 놀람이라는 특정 감정만을 대상으로 설명하였으나 전술한 바와 같이 안정, 집중 등과 같은 유사한 감정을 한꺼번에 수치화하여 표현할 수 있다. 도 7은 103초 상영시간을 갖는 캡쳐영상데이터에 놀람(surprise), 안정(cozy), 집중(attention), 인지부하력(cognitive load), 좋은 스트레스(eustress) 및 나쁜 스트레스(distress)에 대한 제작자의 의도구간을 나타내는 그래프이다. 도 7에 도시된 바와 같이 하나의 영상에 여러 가지 의도된 감정이 나타날 것으로 예상한 제작자의 의도 구간을 입력할 수 있음을 알 수 있다. 도 8은 동일한 영상을 10명으로 구성된 그룹에서 체험시키고, 각각의 True 점수를 평균하여 나타낸 그룹값과 해당 그룹에 속하는 특정 피험자의 각 감정에 대해 측정된 True 점수를 비교하여 나타낸 막대 그래프이다. 도 7 및 도 8에 도시된 바와 같이 재생되는 영상을 시청하면서 나타나는 여러 개의 감정을 한꺼번에 수치화하여 제시할 수 있음을 알 수 있다.

상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.

10: 메모리부 20: 감정일치연산부
21: 정규화처리부 23: 형태학처리부
25: 정규화함수파라미터산출부 30: 영상생성부
35: 디스플레이부 100: 영상및센서데이터제공장치

Claims (7)

1. 삭제
2. 삭제
3. 캡쳐영상데이터 및 상기 캡쳐영상데이터를 시청한 피험자가 느끼는 감정을 나타내는 감정데이터를 입력받은 후 상기 피험자의 반응이 상기 캡쳐영상데이터를 제공한 제작자의 의도와 일치하는 정도를 수치화하여 제공하는 영상평가방법으로서,
   상기 제작자로부터 의도한 감정이 나타나는 구간(의도구간)을 입력받은 후 의도구간데이터로 저장하는 제1단계와,
   상기 의도구간데이터로부터 의도구간 동안 입력되는 감정데이터를 이용하여 의도된 감정에 대한 값을 산출하여 True 점수로 계산하는 제2단계 및
   상기 True 점수를 제공하는 제4단계를 포함하고,
   상기 1단계와 상기 제4단계 사이에 제공되는 단계로서,
   상기 의도구간데이터로부터 상기 의도구간을 제외한 구간(의도외 구간) 동안 입력되는 감정데이터로부터 의도된 감정에 대한 값을 산출하여 False 점수로 계산하는 제3단계를 더 포함하고,
   상기 제4단계에서는 상기 False 점수도 더 제공하는 것을 특징으로 하고,
   상기 제2단계 이전에 수행되는 단계로서
   상기 감정데이터를 0과 1 사이 값으로 정규화하는 제1-2단계와,
   상기 제1-2단계에서 정규화된 감정데이터를 모폴로지 팽창 연산을 이용하여 강도를 고려하여 지속시간으로 변환하는 형태학 처리를 수행하는 제1-3단계를 더 포함하고,
   상기 제2단계이후 단계에서는 상기 제1-3단계에서 형태학 처리가 완료된 감정데이터를 이용하는 것을 특징으로 하는 영상평가방법.
   
4. 제3항에 있어서,
   상기 제1-2단계는 정규화 함수를 이용하여 수행되는 것을 특징으로 하는 영상평가방법.
   
5. 제4항에 있어서,
   상기 정규화 함수는 시그모이드 함수인 것을 특징으로 하는 영상평가방법.
   
6. 삭제
7. 캡쳐영상데이터 및 상기 캡쳐영상데이터를 시청한 피험자가 느끼는 감정을 나타내는 감정데이터를 입력받은 후 상기 피험자의 반응이 상기 캡쳐영상데이터를 제공한 제작자의 의도와 일치하는 정도를 수치화하여 제공하는 영상 평가 시스템으로서,
   상기 캡쳐영상데이터, 상기 캡쳐영상데이터에서 상기 제작자가 의도한 감정이 나타나는 구간(의도구간)에 대한 의도구간데이터 및 상기 감정데이터를 저장하는 메모리부와,
   상기 캡쳐영상데이터를 재생하면서 상기 의도구간데이터로부터 상기 의도구간의 시작과 종료 구간을 인식하고 이를 통지하는 구간인식부 및 상기 구간인식부로 통지되는 상기 의도구간을 이용하여 의도구간 동안 입력되는 감정데이터에 포함된 의도된 감정의 점수를 True 점수로 계산하고, 의도구간을 제외한 구간(의도외 구간) 동안 입력되는 감정데이터에 포함된 의도된 감정의 점수를 False 점수로 계산하는 점수계산부를 포함하는 감정일치연산부와,
   상기 캡쳐영상데이터가 재생되는 영상재생영역, 의도구간인지 여부를 표시하는 의도구간표시영역 및 상기 재생되는 캡쳐영상데이터의 구간에 해당하는 실시간 의도된 감정을 단계적으로 제공하는 감정레벨표시영역를 포함하는 영상을 생성하는 영상생성부를 포함하고,
   상기 감정데이터로부터 출력되는 값을 0과 1사이값으로 정규화하여 출력하는 정규화처리부 및
   상기 정규화처리부로부터 입력되는 정규화된 감정데이터를 모폴로지 팽창 연산을 이용하여 강도를 반영하여 지연시간을 조절하여 출력하는 형태학처리부를 더 포함하고, 상기 감정일치연산부 및 상기 영상생성부는 상기 형태학처리부로부터 출력되는 감정데이터를 이용하는 것을 특징으로 하는 영상평가시스템.

Images