KR102285998B1 - 영상 콘텐츠에 대한 공감도 평가 방법 및 장치 - Google Patents

영상 콘텐츠에 대한 공감도 평가 방법 및 장치 Download PDF

Info

Publication number
KR102285998B1
KR102285998B1 KR1020200028657A KR20200028657A KR102285998B1 KR 102285998 B1 KR102285998 B1 KR 102285998B1 KR 1020200028657 A KR1020200028657 A KR 1020200028657A KR 20200028657 A KR20200028657 A KR 20200028657A KR 102285998 B1 KR102285998 B1 KR 102285998B1
Authority
KR
South Korea
Prior art keywords
viewer
empathy
image
facial
character
Prior art date
Application number
KR1020200028657A
Other languages
English (en)
Other versions
KR102285998B9 (ko
Inventor
황민철
조아영
이현우
Original Assignee
(주)감성과학연구센터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)감성과학연구센터 filed Critical (주)감성과학연구센터
Priority to KR1020200028657A priority Critical patent/KR102285998B1/ko
Application granted granted Critical
Publication of KR102285998B1 publication Critical patent/KR102285998B1/ko
Publication of KR102285998B9 publication Critical patent/KR102285998B9/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 영상 콘텐츠에 대한 시청자의 공감 여부를 판단하는 방법 및 장치를 제시한다. 판단 방법:은 등장 인물(character)이 포함된 영상 콘텐츠를 디스플레이 장치를 통해 시청자에게 시현하는 단계; 상기 시청자의 안면 영상을 카메라에 의해 촬영하고, 상기 등장 인물의 안면 영상을 영상 캡쳐기를 이용해 획득하는 단계; 영상 분석기를 통해 상기 두 안면 영상으로부터 등장 인물과 시청자의 안면 미동 데이터를 추출하는 단계; 미동 정보 분석기에 의해 상기 등장 인물과 시청자의 얼굴 미동 데이터의 유사도를 평가하는 단계; 그리고 공감 판단기를 이용해 상기 유사도를 임의 설정된 기준치에 비교하여 등장 인물에 대한 시청자의 안면 미동 동기화를 검출하여 상기 영상 콘텐츠에 대한 상기 시청자의 공감 여부를 판단하는 단계;를 포함한다.

Description

영상 콘텐츠에 대한 공감도 평가 방법 및 장치{Method and apparatus for evaluating empathy for image contents}
본 개시는 영상 콘텐츠에 대한 공감도 평가 방법 및 장치에 관한 것으로 미세움직임을 기반으로 영상 콘텐츠에 대한 시청자의 공감도를 평가하는 방법 및 장치에 관한 것이다.
상업적 미디어 환경에서, 영상 콘텐츠에 대한 영상 콘텐츠 소비자, 즉 시청자의 관심과 참여를 유도하는 경쟁이 매우 치열 하다.
콘텐츠에 반응하는 시청자의 공감은 콘텐츠에 대한 몰입도를 높이고 전달하려는 내재적 메시지에 대한 이해도를 높인다. 따라서 시청자로부터 영상 콘텐츠에 대한 공감을 얻는 것이 매주 중요하다.
영상 콘텐츠에 대한 시청자의 공감도가 높을수록 내포된 메시지에 깊이 감동될 수 있고, 이를 통해 영상 콘텐트 소비자의 자세를 긍정화한다.
상업적 영상 광고 콘텐츠의 경우, 시청자의 관심과 공감도 상승을 통해 영상 콘텐츠를 통해 전달되는 브랜드 및 제품에 대한 깊은 이해와 공감을 통해 제품 구매 의욕을 증대할 수 있다.
영상 광고 콘텐츠에 대한 소비자의 높은 공감 수준은 광고 제품의 이해 및 이의 가치에 대한 통찰력을 깊게 한다. 이는 미디어 제품, 브랜드, 또는 콘텐츠를 개선하기 위한 평가 가이드로 사용될 수 있다.
콘텐츠에 대한 공감도를 측정하기 위한 기존의 방법에는 주관적 방법과 객관적 방법이 있다.
주관적인 방법은 주로 영상 콘텐츠에 노출된 시청자에 대한 주관적 설문에 의존한다. 그러나 이러한 주관적 설문에 의한 공감 평가는 부정확하고 재현성이 낮다. 그리고 객관적이고 정량적인 데이터를 사용한 측정 방법으로는 물리적 장치에 의해 시청자로부터 획득한 생리적 정보를 이용한다. 그러나, 이러한 객관적인 방법은 생리적 정보를 획득하기 위한 물리적 장치에 의존하기 때문에 피험자인 시청자의 심리적 부담을 안겨 준다.
Park, S., Choi, S. J., Mun, S., Whang, M. (2019). Measurement of emotional contagion using synchronization of heart rhythm pattern between two persons: Application to sales managers and sales force synchronization. Physiology and behavior, 200, 148-158. 이동원, 박상인, 문성철, 황민철. (2019). 심장 반응 동기화를 이용한 공감 인식 방법. 감성과학, 22(1), 45-54. Balakrishnan, G., Durand, F., Guttag, J. (2013). Detecting pulse from head motions in video. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 3430-3437).
본 개시는 비접촉 방법에 의해 영상 콘텐츠에 대한 공감도를 평가하는 방법및 이를 적용하는 장치를 제시한다.
본 개시는 안면 미동 유사도 분석을 이용하여 영상 콘텐츠에 대한 공감도를 평가하는 방법 및 이를 적용하는 장치를 제시한다.
본 개시에 따른 하나 또는 그 이상의 실시 예에 따르면
등장 인물이 포함된 영상 콘텐츠를 디스플레이 장치를 통해 시청자에게 제시하는 단계;
카메라를 이용하여 상기 영상 콘텐츠를 시청하는 상기 시청자의 안면 영상을 획득하는 단계;
영상 분석기를 통해 상기 영상 컨텐츠와 안면 영상으로부터 등장 인물과 시청자의 안면 미동 정보를 추출하는 단계;
미동 정보 분석기를 상기 등장 인물과 시청자의 얼굴 미동 정보의 유사도를 평가하는 단계; 그리고
감성 판단기를 이용해 상기 유사도를 임의 설정된 기준치에 비교하여 등장 인물에 대한 시청자의 안면 미동 동기화를 검출하여 상기 영상 콘텐츠에 대한 상기 시청자의 공감 여부를 판단하는 단계;를 포함하는 안면 미동 유사도 분석을 이용한 공감 판단 방법이 제시된다.
본 개시의 다른 실시 예에 따르면, 상기 안면 미동 데이터:는 상기 안면 영상에서 추출되는 특징부의 움직임으로부터 추출될 수 있다.
본 개시의 다른 실시 예에 따르면, 상기 특징부의 움직임은 안면 영상의 전후 프레임간 특징부의 좌표 움직임으로부터 추출될 수 있다.
본 개시의 다른 실시 예에 따르면, 상기 안면 미동 데이터는 상기 특징부의 좌표 움직임 중, 종방향(y축)의 움직임으로부터 추출될 수 있다.
본 개시의 다른 실시 예에 따르면, 상기 안면 미동 데이터는 심장박동에 대응하는 특정 주파수 범위의 필터링에 의해 선택될 수 있다.
본 개시의 다른 실시 예에 따르면, 상기 안면 미동 데이터는 주파수 분석에 의해 0.5~5Hz 의 대역통과필터에 처리될 수 있다.
본 개시의 다른 실시 예에 따르면, 상기 유사도는 상기 등장인물과 시청자의 안면 미동 데이터의 주기성(periodicity)으로부터 얻어질 수 있다.
본 개시에 따른 하나 또는 그 이상의 실시 예에 따르면,
영상 콘텐츠를 제시하는 디스플레이 장치;
등장 인물이 포함된 영상 콘텐츠를 표시하는 디스플레이 장치;
상기 영상 콘텐츠를 시청하는 상기 시청자의 안면 영상을 획득하는 카메라;
상기 영상 컨텐츠와 안면 영상으로부터 등장 인물과 시청자의 안면 미동 정보를 추출하는 영상 분석기;
상기 등장 인물과 시청자의 얼굴 미동 정보의 유사도를 평가하는 미동 정보 분석기; 그리고
상기 유사도를 임의 설정된 기준치에 비교하여 등장 인물에 대한 시청자의 안면 미동 동기화를 검출하여 상기 영상 콘텐츠에 대한 상기 시청자의 공감 여부를 판단하는 공감 판단기;를 포함하는 공감 판단 장치가 제시된다.
본 개시에 따른 다른 실시 예에 따르면, 상기 공감 판단 장치는 영상 표시, 영상 분석, 미동 정보의 분석 및 감성 판단이 가능한 컴퓨터 기반 공감 판단 시스템을 포함할 수 있다.
본 개시의 다른 실시 예에 따르면, 상기 영상 분석기는 상기 안면 영상에서 추출되는 특징부의 움직임으로부터 안면 미동 데이터는 추출될 수 있다.
본 개시의 다른 실시 예에 따르면, 상기 영상 분석기는 상기 특징부의 움직임을 안면 영상의 전후 프레임간 특징부의 좌표 움직임으로부터 추출될 수 있다.
본 개시의 다른 실시 예에 따르면, 상기 영상 분석기는 상기 특징부의 좌표 움직임 중, 종방향 (y축)의 움직임으로부터 추출할 수 있다.
본 개시의 다른 실시 예에 따르면, 상기 영상 분석기:는 안면 미동 데이터에 대한 주파수 분석에 의해 0.75~2.5Hz 범위의 안면 미동 데이터를 선택할 수 있다.
본 개시의 다른 실시 예에 따르면, 상기 감성 판단기는 상기 유사도를 상기 등장인물과 시청자의 안면 미동 데이터의 주기성(periodicity)으로부터 추출할 수 있다.
본 개시에 따른 콘텐츠 공감 분석은 콘텐츠에 등장하는 인물과 콘텐츠를 시청하는 시청자 사이의 공감 정도를 카메라 영상 기반 분석법을 이용해 판단한다.
이러한 방법은 영상 콘텐츠 내 인물의 얼굴 영역에서 추출된 얼굴 미동 정보와 카메라로 영상을 시청하는 사용자의 얼굴 영역을 촬영하여 추출된 얼굴 미동 정보 사이의 동기화를 측정하여 공감 여부를 판단한다. 본 개시에 따른 실시 예에서 정의하는 얼굴 미동은 심장 박동에 의한 주기적인 진동이 사람의 경동맥을 따라 얼굴에도 주기적인 미세한 움직임을 발생시키며 이러한 얼굴에 나타나는 미세한 움직임을 일컫는다. 본 개시에서 제안하는 방법은 생체 신호 측정을 위한 별도의 센서 부착 없이 카메라 기반의 비접촉식 공감 판단이 가능하기 때문에 실용적이다.
도1은 도2는 본 개시의 한 실시 예에 따른 공감 평가 장치의 전체 구조를 예시한다.
도2는 본 개시의 한 실시 예에 따른 공감 평가 장치를 기능적 구성 요소를 보이는 블록 다이어그램이다.
도3은 본 개시의 한 실시 예에 따른 공감 평가 방법의 개략적 흐름도이다.
도4는 본 개시의 한 실시 예를 따라 미동 데이터를 추출하는 과정에 대해 구체적 흐름도이다.
도5은 본 개시의 한 실시 예에 따라 안면 영상 획득으로부터 움직임 데이터 추출까지의 구체적 흐름을 보여준다.
도6은 본 개시의 한 실시 예에 따른 신호 추론(Signal Extination) 및 공감 수준 평가(Classification Empathy Level )분 추출에 대한 흐름도이다. 그리고
도7은 본 개시의 한 실시 예에 따라 3단계에 걸치는 공감 수준 평가의 과정을 논리적으로 보인다.
이하 첨부된 도면을 참조하면서 본 개시에 따른 콘텐츠 공감 평가 방법 및 그 장치에 대해 설명한다.
도1은 본 개시의 한 실시 예에 따른 공감 평가 장치를 개략적으로 도시한다. 상기 공감 평가 장치는 피험자 또는 시청자(20)에게 특정 영상 콘텐츠를 보여 주면서 시청자(20)의 안면 영상을 획득하여 상기 영상 콘텐츠에 대해 상기 안면 영상이 동기하는 지를 평가한다.
구체적으로 상기 공감 평가 장치를 설명하면, 키보드(14), 마우스(15), 모니터(12) 등 입출력 장치 및 이들이 연결되는 본체(11)를 포함하는 컴퓨터 시스템(1)을 기반하는 하드웨어의 구조를 가진다.
상기 하드웨어는 본 개시의 다른 실시 예에 따라 전용화된 시스템에 의해 구현될 수 있다. 이러한 공감 평가 장치는 특정한 하드웨어 시스템에 의해 그 기술적 범위가 제한되지 않는다.
보다 구체적으로서, 본 개시에 따른 공감 평가 방법을 수행하는 본 개시에 따른 공감 평가 장치 또는 시스템은 피험자(20)의 안면을 촬영하는 동영상 카메라(13), 예를 들어 소위 웹 캠 또는 웹 카메라를 포함할 수 있다. 또한, 이러한 시스템은 소프트웨어 형태로 제공되는 분석 알고리즘을 통해서 영상 콘텐츠와 이를 시청하는 피험자로부터 획득된 얼굴 영상을 처리하고 이를 이용하여 상기 영상 콘텐츠에 대한 시청자(20)의 공감 여부를 평가한다.
도2는 상기 공감 평가 장치를 기능적 구성 요소를 보이는 블록 다이어그램이다.
도2에 도시된 바와 같이 디스플레이 장치(12)와 카메라(13)는 시청자(20)를 향하고 있다. 디스플레이 장치(12)는 영상 콘텐츠(114)를 시청자(20)에게 시각적으로 제시하는 장치이다. 카메라(13)는 영상 콘텐츠(114)를 시청하는 시청자(20)의 안면을 촬영하여 영상 콘텐츠(114)에 반응하는 표정을 영상 자료화한다.
상기 카메라(13)와 디스플레이 장치(12)가 연결되는 컴퓨터 기반 공감 평가 시스템(1)은 영상 콘텐츠(114)를 재생하는 영상 재생기(115)와 영상 재생기(115)로부터 디스플레이 장치(12)로 전송되는 영상을 프레임 단위로 캡쳐하는 영상 캡쳐기(116)를 포함한다. 영상 캡쳐기(116)에서 캡쳐된 콘텐츠 영상은 카메라(13)에 의해 촬영된 시청자(20)의 안면 영상과 비교되기 위한 영상 데이터이다.
영상 콘텐츠(114)에는 상기 시청자(20)가 감성적으로 반응할 수 있는 등장 인물(character)이 포함되고, 이 등장 인물의 안면 미동이 추출된다.
영상 분석기(111)는 상기 캡쳐 영상인 등장 인물의 안면 영상과 시청자의 안면 영상을 분석하여 양자의 미동 데이터를 추출한다. 미동 데이터는 심장 데이터에 관계된 미동 성분을 가진다.
미동 분석기(112)는 상기 미동 데이터를 분석하여 등장 인물에 의해 표출되는 감성에 시청자(20)가 감성적으로 공감하는 지를 분석한다.
공감 평가기(113)는 상기 미동 분석(112)로부터의 결과를 이용해 상기 영상 콘텐츠 또는 등장 인물에 의해 표출되는 감성에 공감하는지를 판단한다.
위에서, 상기 영상 분석기, 미동 분석기 및 공감 평가기는 소프트웨어 형태로 제공되는 분석 알고리즘에 의해 제공될 수 있다.
도3은 본 개시의 한 실시 예에 따른 공감 평가 방법의 개략적 흐름도이다.
S1: Facial Video Acquisition
S1 단계는 안면 영상을 획득하는 단계이다. 안면 영상의 획득에는 전술한 바와 같이 카메라에 의한 시청자 안면의 촬영 및 영상 콘텐츠의 연속적 캡쳐가 포함된다. 이 단계에서 예를 들어 30fps의 두 안면 영상을 획득한다.
S2: Signal Extraction
S2 단계는 두 얼굴 영상으로부터 심장 반응에 의한 성분이 포함된 얼굴 미동 신호를 추출하기 위한 과정이다.
S3: Principal Component Analysis
S3 과정은 전과정에서 추출된 얼굴 미동 신호로부터 동일한 성분을 가진 하나의 얼굴 미동 신호를 추출하기 위한 과정으로, 주성분 분석을 통해 다수의 성분(component)를 추출한다.
S4: Similarity Calculation
S4 단계에서는 추출된 두 얼굴 미동 신호에 대해 유사도를 계산하기 위한 과정으로, 각 버퍼 (윈도우) 마다 유클리디안 거리 (Euclidian Distance)를 구한 뒤 평균 값을 계산한다.
S5: Classification Empathy Levels
S5 단계는, 위 단계에서 계산된 유사도 거리 값을 주관적 공감 점수에 따라 공감 수준을 분류한다. 구체적으로 공감 평가 점수가 평균 - 표준편차 값보다 작은 경우에는 두 유사도 거리 값을 공감 수준이 낮은 그룹으로 분류하고, 그리고 공감 평가 점수가 평균 + 표준편차 값보다 큰 경우에는 두 유사도 거리 값을 공감 수준이 높은 그룹으로 분류한다.
도4는 위의 과정에서 미동 데이터를 추출하는 과정에 대해 구체적 흐름도이며, 도5은 안면 영상 획득으로부터 움직임 데이터 추출까지의 구체적 흐름을 보여준다.
S21: Face Detection
S21 단계는 촬영 및 캡쳐된 영상에서 얼굴 영역을 검출한다. 예를 들어, 얼굴 영상(Facial Video)으로부터 사람의 얼굴 부위마다 나타나는 명암의 특징을 이용하는 Viola-Jones 알고리즘을 이용해 얼굴을 검출(Face Detection)할 수 있다.
S22: Area Selection
S22 단계에서는 미동 데이터를 추출하기 위한 특정 영역을 선택하는 과정으로 예를 들어 검출된 얼굴 영역으로부터 얼굴 표정에 의한 노이즈가 가장 적게 나타나는 이마(forehead)와 코(nose) 영역을 선택한다.
S23: Feature Extraction
S23 단계에서는 선택된 영역으로부터 다른 포인트와 대비해 추적하기 위한 다수의 특징점을 추출한다. 이러한 특징점 추출에는 Good-Feature-To-Track (GFTT) 알고리즘, FLD (Facial Landmark Detection) 알고리즘이 적용될 수 있다. 본 실시 예에서는, GFTT 알고리즘을 적용하여 80개의 특징점을 추출한다.
S24: Feature Tracking
S24단계에서는 S23 단계에서 추출된 각 특징점의 움직임 데이터를 구한다. 이러한 특징 추적에는 KLT (Kanade-Lucas-Tomasi) 추적 알고리즘, TM (Transformation Matrix) 기반 추적 알고리즘 등이 적용될 수 있다. 본 실시 예에서는, 연속된 프레임에 대해서 KLT 알고리즘을 이용해 각 특징점 마다 이전 프레임 대비 현재 프레임에서 y좌표 값이 움직인 값을 추적하여 얼굴 미동 신호를 추출한다. 이러한 안면 미동 신호의 추출에는 슬라이딩 윈도우 기법이 이용될 수 있으며, 이때의 윈도우 사이즈는 30s, 인터벌 사이즈는 1s로 설정할 수 있다.
S25: Datal Extraction
신호 추출(Data Extraction) 단계에서 특징 추출(Feature Extraction) 단계에서 추출된 특징점의 개 수만큼의 얼굴 미동 신호(데이터)가 상기 슬라이딩 윈도우 기법의 결과로 얻어진다.
도6은 신호 추론(Signal Extination) 및 공감 수준 평가(Classification Empathy Level )분 추출에 대한 흐름도이며, 도7은 3단계에 걸치는 공감 수준 평가의 과정을 논리적으로 보인다.
신호 추론(Signal Estimation) 단계는 추출된 얼굴 미동 신호 또는 데이터로부터 심장 반응에 의한 성분만을 추출하기 위한 과정이다.
S31: Band Pass Filter
S31 단계는 각 얼굴 미동 신호에서 심박 대역에 해당하는 주파수 성분을 추출한다. 이를 위하여 예를 들어, Butterworth Bandapss Filter (5 order, 0.75-2.5Hz)를 이용해 심박 대역에 해당하는 주파수 대역만을 추출한다.
S32: Principal Component Analysis
S32 단계는 각 특징점에서 추출된 얼굴 미동 신호로부터 동일한 성분을 가진 하나의 얼굴 미동 신호를 추출하기 위한 과정으로, 차원 축소 방법이 적용된다. 상기 차원축소 방법에는 주성분 분석 (Principle Component Analysis, PCA), 독립 성분 분석 (Independent Component Analysis, ICA), 서포트 벡터 분해 (Support Vector Decomposition, SVD) 등이 적용될 수 있다. 본 실시 예에서는, 주성분 분석을 통해 5개의 성분(Component)을 추출한다. 각 성분에 대해 생체 신호는 주기성을 띈다는 특징을 이용해 가장 높은 주기성을 보이는 성분을 최종 얼굴 미동 신호로 추출한다. 주기성(Periodicity)은 다음과 같이 계산된다.
Figure 112020024350460-pat00001
여기에서, s는 시계열 신호, FFT는 시계열 신호를 주파수 대역으로 변환하기 위한 푸리에 분석 방법, PS는 시계열 신호 s에 대한 주파수 대역의 파워 스펙트럼이다.
Figure 112020024350460-pat00002
여기에서 Max Power는 전체 파워 스펙트럼에서 가장 큰 파워 값
Figure 112020024350460-pat00003
여기에서 Total Power 는 전체 파워 스펙트럼의 합이다.
최종적으로 시계열 신호 s 에 대한 주기성(Periodicity)는 다음과 같이 계산된다.
Figure 112020024350460-pat00004
영상 콘텐츠에 대한 시청자의 공감도는 아래와 같이 3 단계의 과정을 통해서판단된다.
S41: Similarity Calculation
S41 단계는 추출된 두 얼굴 미동 신호(content 1, user 1)에 대해 유사도(Similarity)를 계산하기 위한 과정으로, 각 버퍼 (윈도우, W0~Wn) 마다 유클리디안 거리 (Euclidian Distance, EUCd)를 구한 뒤 평균 값(Average)을 계산한다.
S42: Classification Empathy Levels
S42 단계는 위 단계에서 계산된 유사도 거리 값을 주관적 공감 점수에 따라 공감 수준을 분류한다.
S43: Determine Empathy
공감 점수(score)가 결정되었을 때, 평가된 공감 점수(score)가 공감 점수 평균(m) - 표준편차(d) 값보다 작은 경우에는 두 유사도 거리 값을 공감 수준이 낮은 그룹(low level)으로 분류하고, 그리고 공감 평가 점수가 평균(m) + 표준편차(d) 값보다 큰 경우에는 두 유사도 거리 값(EUCd)을 공감 수준이 높은 그룹(high level)으로 분류한다.
본 개시의 실시 예에 따른 콘텐츠 공감 평가의 검증하기 위하여 통계적 분석(Statistical Analysis)에 의한 정규성 검정(Normality Test)을 진행하였다. 이 단계는 공감 점수에 따라 공감의 두 수준으로 분류된 두 얼굴 미동의 유사도 거리 값들이 공감 수준이 높은 그룹은 유사도 거리 값이 작고, 공감 수준이 낮은 그룹은 유사도 거리 값이 큰지 통계적으로 검증하는 단계이다. 이 단계에서 공감 수준이 높은 그룹이 유사도 거리 값이 작다는 것은 공감이 높은 그룹일수록 두 얼굴 미동 사이의 유사도가 높음을 의미한다. 통계적 검증의 구체적인 방법은 유사도 거리 데이터들의 정규성 검정을 통해 정규성을 만족하는 경우 (데이터들이 평균 값을 기준으로 종 형태의 모양, 즉 정규분포를 띄는 경우) 2 수준 간 모수 검정 방법인 Independent T-test 통계 검정 방법을 사용하여 차이를 검증하고, 정규성을 만족하지 못하는 경우 비모수 검정 방법인 Mann-Whitney U-test 통계 검정 방법을 사용한다.
위와 같은 본 개시에 따른 평가 방법을 검증하기 위한 실험을 수행하였다.
위 방법에서 사용되는 로데이터(raw data)는 미동 추출을 위한 얼굴 정면 영상과 공감 수준 분류를 위한 공감 설문 데이터가 있다. 이 데이터들은 실험을 통해 취득될 수 있으며 본 특허에서 사용된 실험 방법은 아래와 같다.
피실험자는 실험에 참여한 60명 중에서 데이터가 누락된 1명을 제외하고 총 59명이었으며, 남자 27명, 여자 31명이었다. 피험자들은 건강에 이상이 없고 안경을 착용하지 않는 대학생 또는 대학원생들로 실험에 자발적으로 참여한 사람들이었다.
실험의 연구가설은 다음과 같다. 사용자의 콘텐츠 공감도에 따라 얼굴 미동 유사도에 차이가 있을 것이며, 이에 따라 독립변수는 사용자의 콘텐츠에 대한 공감 정도이고, 종속변수는 얼굴 미동이다.
실험절차는 4분짜리 감성 유발 영상을 시청하고 3분간 휴식을 취하면서 해당 영상에 대한 주관적 공감도를 평가하는 설문을 진행하였다. 4개의 영상에 대해 위의 과정을 반복하였으며, 자극 영상의 순서는 랜덤하게 제시하였다.
실험에서 사용된 콘텐츠는 총 4개의 감성 유발 비디오로 불쾌-각성 감성을 유발하는 영상, 쾌-각성 감성을 유발하는 영상, 쾌-이완 감성을 유발하는 영상, 불쾌-이완을 유발하는 영상으로 구성되었다. 시청자에게 특정한 감성을 유발하는 영상 콘텐츠가 실제로 그 감성을 유발하는지 검증하기 위해 227명을 대상으로 4개의 감성 자극에 대해 각각 5점 리커트 척도로 각성도와 긍정도를 평가하였고 각성도와 긍정도의 평균 점수를 계산한 결과 각각의 감성을 유발하는 것으로 분명하게 검증되었다.
본 개시에서 특정한 실시 예에 관련하여 도시하고 설명 하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 정신이나 분야를 벗어나지 않는 한도 내에서 본 발명이 다양하게 개량 및 변화될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 알 수 있음을 밝혀 두고자 한다.

Claims (14)

  1. 등장 인물(character)이 포함된 영상 콘텐츠를 디스플레이 장치를 통해 시청자에게 시현하는 단계;
    상기 시청자의 안면 영상을 카메라에 의해 촬영하고, 상기 등장 인물의 안면 영상을 영상 캡쳐기를 이용해 획득하는 단계;
    영상 분석기를 통해 상기 등장 인물과 시청자의 안면 영상으로부터 등장 인물과 시청자의 안면의 특징점을 각각 추적하고, 상기 특징점의 움직임 데이터를 추출하는 단계;
    미동 정보 분석기에 의해 상기 특징점 움직임 데이터로부터 주파수 분석에 의한 0.75~2.5Hz의 심장 대역 신호를 추출하고, 그리고 상기 등장 인물과 시청자의 특징점 움직임 데이터 각각의 유사도를 유클리디안 거리에 의해 평가하는 단계; 그리고
    공감 평가기를 이용해 상기 유사도를 임의 설정된 기준치에 비교하여 등장 인물에 대한 시청자의 공감 여부를 판단하는 단계;를 포함하는 콘텐츠에 대한 공감 평가 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 특징점 움직임 데이터는 안면 영상의 전후 프레임간 상기 특징점의 좌표 움직임으로부터 추출되는, 콘텐츠에 대한 공감 평가 방법.
  4. 제3항에 있어서,
    상기 특징점 움직임 데이터는 상기 특징점의 좌표 움직임 중, 종방향(y축)의 움직임으로부터 추출하는, 콘텐츠에 대한 공감 평가 방법.
  5. 삭제
  6. 삭제
  7. 제1항, 제3항 또는 제4항 중의 어느 한 항에 있어서
    상기 유사도는 상기 등장인물과 시청자의 특징점 움직임 데이터의 주기성(periodicity)으로부터 얻어지는, 콘텐츠에 대한 공감 평가 방법
  8. 등장 인물이 포함된 영상 콘텐츠를 표시하는 디스플레이 장치;
    상기 영상 콘텐츠를 시청하는 시청자의 안면 영상을 획득하는 카메라;
    영상 분석기를 통해 상기 등장 인물과 시청자의 안면 영상으로부터 안면의 특징점을 추적하고, 상기 특징점의 움직임 데이터를 추출하는 영상 분석기;
    상기 등장 인물과 시청자의 특징점 움직임 데이터의 유사도를 평가하는 것으로, 상기 특징점 움직임 데이터로부터 주파수 분석에 의한 0.75~2.5Hz의 심장 대역 신호를 추출하고, 그리고 상기 등장 인물과 시청자의 특징점 움직임 데이터 각각의 유사도를 유클리디안 거리에 의해 평가하는 미동 정보 분석기; 그리고
    상기 유사도를 임의 설정된 기준치에 비교하여 등장 인물에 대한 시청자의 안면 특징부 움직임 데이터의 동기화를 검출하여 상기 영상 콘텐츠에 대한 상기 시청자의 공감 여부를 판단하는 공감 판단기;를 포함하는 공감 판단 장치.
  9. 삭제
  10. 제8항에 있어서,
    상기 영상 분석기는 상기 등장 인물과 시청자의 안면 영상에서 추출되는 특징부의 움직임은 안면 영상의 전후 프레임간 특징부의 좌표 움직임으로부터 추출되는, 공감 판단 장치.
  11. 제10항에 있어서,
    상기 영상 분석기는 상기 특징부의 좌표 움직임 중, 종방향(y축)의 움직임으로부터 추출하는, 공감 판단 장치.
  12. 삭제
  13. 삭제
  14. 제8항, 10항 또는 11항 중의 어느 한 항에 있어서,
    상기 공감 판단기는 상기 유사도를 상기 등장인물과 시청자의 안면 미동 데이터의 주기성 (periodicity)으로부터 추출하는, 공감 판단 장치.
KR1020200028657A 2020-03-06 2020-03-06 영상 콘텐츠에 대한 공감도 평가 방법 및 장치 KR102285998B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200028657A KR102285998B1 (ko) 2020-03-06 2020-03-06 영상 콘텐츠에 대한 공감도 평가 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200028657A KR102285998B1 (ko) 2020-03-06 2020-03-06 영상 콘텐츠에 대한 공감도 평가 방법 및 장치

Publications (2)

Publication Number Publication Date
KR102285998B1 true KR102285998B1 (ko) 2021-08-05
KR102285998B9 KR102285998B9 (ko) 2023-02-21

Family

ID=77316703

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200028657A KR102285998B1 (ko) 2020-03-06 2020-03-06 영상 콘텐츠에 대한 공감도 평가 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102285998B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150086770A (ko) * 2014-01-20 2015-07-29 한국전자통신연구원 영상 내에서 감정 정보를 인식하는 방법 및 장치
KR101795723B1 (ko) * 2017-02-08 2017-12-01 상명대학교산학협력단 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법
KR20180074156A (ko) * 2016-12-23 2018-07-03 (주)감성과학연구센터 영상분석을 이용한 공감 감성 추론 방법 및 시스템
KR101940673B1 (ko) * 2017-09-14 2019-01-21 상명대학교 산학협력단 인체 미동을 이용한 공감도 평가 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150086770A (ko) * 2014-01-20 2015-07-29 한국전자통신연구원 영상 내에서 감정 정보를 인식하는 방법 및 장치
KR20180074156A (ko) * 2016-12-23 2018-07-03 (주)감성과학연구센터 영상분석을 이용한 공감 감성 추론 방법 및 시스템
KR101795723B1 (ko) * 2017-02-08 2017-12-01 상명대학교산학협력단 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법
KR101940673B1 (ko) * 2017-09-14 2019-01-21 상명대학교 산학협력단 인체 미동을 이용한 공감도 평가 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Balakrishnan, G., Durand, F., Guttag, J. (2013). Detecting pulse from head motions in video. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 3430-3437).
Park, S., Choi, S. J., Mun, S., Whang, M. (2019). Measurement of emotional contagion using synchronization of heart rhythm pattern between two persons: Application to sales managers and sales force synchronization. Physiology and behavior, 200, 148-158.
이동원, 박상인, 문성철, 황민철. (2019). 심장 반응 동기화를 이용한 공감 인식 방법. 감성과학, 22(1), 45-54.

Also Published As

Publication number Publication date
KR102285998B9 (ko) 2023-02-21

Similar Documents

Publication Publication Date Title
CN105559802B (zh) 基于注意和情感信息融合的抑郁诊断***及数据处理方法
KR101752872B1 (ko) 신체 미세 움직임을 이용한 사회 관계성 측정 방법 및 시스템
Irani et al. Thermal super-pixels for bimodal stress recognition
Aigrain et al. Person-specific behavioural features for automatic stress detection
US20180242898A1 (en) Viewing state detection device, viewing state detection system and viewing state detection method
JP2017093760A (ja) 心拍に連動する周期的変動の計測装置及び計測方法
Kaufmann et al. Distortions in the brain? ERP effects of caricaturing familiar and unfamiliar faces
Speth et al. Deception detection and remote physiological monitoring: A dataset and baseline experimental results
Dosso et al. Eulerian magnification of multi-modal RGB-D video for heart rate estimation
WO2014145204A1 (en) Mental state analysis using heart rate collection based video imagery
Khoirunnisaa et al. Channel selection of EEG-based cybersickness recognition during playing video game using correlation feature selection (CFS)
KR102081752B1 (ko) 영상평가시스템 및 영상평가방법
KR102285998B1 (ko) 영상 콘텐츠에 대한 공감도 평가 방법 및 장치
Dunbar et al. Automated methods to examine nonverbal synchrony in dyads
KR101795723B1 (ko) 얼굴 미동의 내적 동기화를 이용한 감성 인식 방법
Khan et al. Facial expression recognition using entropy and brightness features
KR101736403B1 (ko) 얼굴 미동의 내적 동기화를 이용한 기본 감성 표정 인식 방법
Wang et al. Micro-expression recognition based on EEG signals
Kumar et al. Depth videos for the classification of micro-expressions
KR101911891B1 (ko) 영상분석을 이용한 공감 감성 추론 방법 및 시스템
KR101807201B1 (ko) 영상분석을 이용한 공감 감성 추론 방법 및 시스템
Tan et al. Vision-Based Gait Analysis for Neurodegenerative Disorders Detection
KR102595838B1 (ko) 영상 콘텐츠의 광고 효과 평가 방법 및 이를 적용하는 시스템
Rawat et al. Real-Time Heartbeat Sensing with Face Video using a Webcam and OpenCV
Lampier et al. A Preliminary Approach to Identify Arousal and Valence Using Remote Photoplethysmography

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]