KR101337833B1 - 컨텐츠에 대한 관객 반응의 판단 방법 - Google Patents

컨텐츠에 대한 관객 반응의 판단 방법 Download PDF

Info

Publication number
KR101337833B1
KR101337833B1 KR1020120109345A KR20120109345A KR101337833B1 KR 101337833 B1 KR101337833 B1 KR 101337833B1 KR 1020120109345 A KR1020120109345 A KR 1020120109345A KR 20120109345 A KR20120109345 A KR 20120109345A KR 101337833 B1 KR101337833 B1 KR 101337833B1
Authority
KR
South Korea
Prior art keywords
audience
pattern
region
area
change amount
Prior art date
Application number
KR1020120109345A
Other languages
English (en)
Inventor
김재경
박승보
유은정
류준모
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020120109345A priority Critical patent/KR101337833B1/ko
Application granted granted Critical
Publication of KR101337833B1 publication Critical patent/KR101337833B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 컨텐츠에 대한 관객 개개인의 반응을 판단하는 방법에 관한 것으로, 보다 구체적으로 획득한 관객 영상에서 얼굴 영역과 기타 영역으로 구분되는 관객 영역을 생성하고, 얼굴 영역과 기타 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객의 반응을 판단하는 방법에 관한 것이다.

Description

컨텐츠에 대한 관객 반응의 판단 방법{Method for estimating response of audience concerning content}
본 발명은 컨텐츠에 대한 관객의 반응을 판단하는 방법에 관한 것으로, 보다 구체적으로 획득한 관객 영상에서 얼굴 영역과 기타 영역으로 구분되는 관객 영역을 생성하고, 얼굴 영역과 기타 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객의 반응을 판단하는 방법에 관한 것이다.
공연, 영화, 박람회 등과 같은 컨텐츠에 대한 관객의 반응을 판단하기 위한 종래 방법은 공연이 끝난 후, 설문지나 직접 질문을 통해 관객의 만족도, 몰입도, 흥미도 등을 판단하게 된다. 그러나 이러한 종래 관객 반응 판단 방법은 컨텐츠 전체에 대한 반응이며, 컨텐츠 중 관객이 흥미를 보이거나 즐거워하는 부분 또는 지루해하거나 관심을 가지지 않는 부분을 개별적으로 평가하기 곤란하다.
종래 컨텐츠에 대한 관객의 반응을 판단하는 다른 방법은 관객 영상에서 관객의 얼굴 패턴 영역을 추출하고 추출한 얼굴 패턴 영역에서 관객의 얼굴 표정 변화를 감지하여 컨텐츠에 대한 관객의 만족도, 흥미도를 평가하였다. 그러나 컨텐츠 종류에 따라 어두운 환경에서 공연되는 경우 관객의 얼굴 패턴 영역을 정확하게 추출하고 추출한 얼굴 패턴 영역에 기초하여 관객의 얼굴 표정 변화를 감지하기 곤란하다. 더욱이 미세한 얼굴 표정 변화만으로 컨텐츠에 대한 관객의 반응을 정확하게 판단하기 곤란하다.
본 발명은 위에서 언급한 종래 컨텐츠 반응 판단 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 관객 영상에서 생성한 관객 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객 반응을 판단하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 관객의 얼굴 표정 인식이 불가능한 어두운 환경에서도 관객 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객 반응을 정확하게 판단할 수 있는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 목적은 관객 영역을 얼굴 영역과 얼굴 영역에 인접한 기타 영역으로 구분하고 얼굴 영역과 기타 영역의 서로 다른 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객의 다양한 반응을 판단하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 목적은 관객 영역의 움직임 변화량에 기초하여 컨텐츠에 대한 관객의 반응을 판단함으로써, 정확한 얼굴 표정 변화에 기초한 종래 반응 판단 장치와 비교하여 저성능의 장비로도 컨텐츠에 대한 관객의 반응을 정확하게 판단할 수 있는 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위하여 본 발명에 따른 관객 반응 판단 방법은 획득한 관객 영상에서 관객이 위치하고 있는 관객 영역을 생성하는 단계와, 생성한 관객 영역과 이전 관객 영상에서 생성한 이전 관객 영역의 차이로부터 관객 영역에 대한 차영상을 획득하고 차영상의 픽셀값 히스토그램으로부터 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 단계와, 현재 시점 움직임 변화량으로부터 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 단계와, 생성한 시계열 패턴과 일치하는 관객의 반응 패턴을 반응 패턴 데이터베이스에서 검색하고 검색한 반응 패턴에 기초하여 관객의 반응을 판단하는 단계를 포함한다.
여기서 획득한 관객 영상에서 관객이 위치하고 있는 관객 영역은 관객 영상에서 얼굴 패턴 영역을 검출하고 검출한 얼굴 패턴 영역으로부터 관객 영역을 생성하는 것을 특징으로 한다.
여기서 움직임 변화량을 계산하는 단계는 생성한 관객 영역과 이전 관객 영역을 서로 차감하여 관객 영역에 대한 차 영상을 생성하는 단계와, 생성한 차 영상을 구성하는 픽셀의 픽셀값으로부터 관객 영역의 밝기 히스토그램을 생성하는 단계와, 생성한 밝기 히스토그램에서 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고 판단한 총수에 기초하여 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 단계를 포함한다.
바람직하게, 현재 시점에서의 움직임 변화량은 관객 영역의 면적으로 나누어져 정규화된다.
바람직하게, 관객 영역은 검출한 얼굴 패턴 영역을 기준으로 얼굴 영역과 얼굴 영역에 인접한 기타 영역으로 분할되어 구성되며, 기타 영역은 적어도 1개 이상의 세부 기타 영역으로 분할되는 것을 특징으로 한다.
여기서 움직임 변화량을 계산하는 단계는 얼굴 영역과 세부 기타 영역 각각에 대한 개별 밝기 히스토그램을 생성하고 생성한 개별 밝기 히스토그램으로부터 얼굴 영역과 세부 기타 영역의 현재 시점에서의 움직임 변화량을 계산하는 것을 특징으로 한다.
여기서 움직임 변화량의 시계열 패턴은 얼굴 영역에 대한 현재 시점에서의 움직임 변화량으로부터 얼굴 영역의 움직임 변화량에 대한 시계열 패턴을 생성하고, 세부 기타 영역에 대한 현재 시점에서의 움직임 변화량으로부터 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴을 생성하는 것을 특징으로 한다.
여기서 관객의 반응을 판단하는 단계는 관객의 얼굴 영역의 움직임 변화량에 대한 시계열 패턴과 관객의 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴으로부터 패턴 조합을 생성하는 단계와, 생성한 패턴 조합과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색하는 단계와, 검색한 반응 패턴에 기초하여 관객의 반응을 판단하는 단계를 포함한다.
바람직하게, 얼굴 영역의 움직임 변화량 또는 세부 기타 영역의 움직임 변화량은 설정 단위 레벨로 분류되는 것을 특징으로 한다.
얼굴 영역의 움직임 변화량에 대한 시계열 패턴 또는 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 일치하는, 패턴 데이터베이스에 저장되어 있는 시계열 패턴의 일치도(P)는 아래의 수학식(1)에 의해 계산되며,
[수학식 1]
Figure 112012079781762-pat00001
P1ti는 ti 시간 단위에서 획득한 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량과 패턴 DB에 저장되어 있는 움직임 변화량의 동일 또는 유사 정도를 나타내는 세부 일치도이며, 패턴 DB에 저장되어 있는 시계열 패턴 중 얼굴 영역의 움직임 변화량에 대한 시계열 패턴과 가장 높은 일치도를 가지는 얼굴 패턴 식별자 또는 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 가장 높은 일치도를 가지는 기타 패턴 식별자가 선택되는 것을 특징으로 한다.
본 발명의 목적을 달성하기 위하여 본 발명에 따른 관객 반응 판단 장치는 획득한 관객 영상에서 관객이 위치하고 있는 관객 영역을 생성하는 관객 영역 검출부와, 관객 영역과 이전 관객 영상에서 생성한 이전 관객 영역의 차이로부터 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 움직임 변화량 계산부와, 현재 시점에서의 움직임 변화량으로부터 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 시계열 패턴 생성부와, 생성한 시계열 패턴과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색하고 검색한 반응 패턴에 기초하여 관객의 반응을 판단하는 반응 판단부를 포함한다.
여기서 관객 영역 검출부는 획득한 관객 영상에서 관객의 얼굴 패턴 형상을 검색하여 얼굴 영역을 판단하는 얼굴 영역 검색부와, 판단한 얼굴 영역에 기초하여 얼굴 영역과 얼굴 영역에 인접한, 적어도 1개 이상의 세부 기타 영역을 구비하는 기타 영역으로 분할하는 영역 분할부와, 얼굴 영역과 기타 영역으로 획득한 관객 영상에서 관객 영역을 생성하는 관객 영역 생성부를 포함하는 것을 특징으로 한다.
여기서 움직임 변화량 계산부는 관객 영역과 이전 관객 영역을 서로 차감하여 차 영상을 생성하는 차영상 생성부와, 생성한 차영상에서, 얼굴 영역의 차영상과 세부 기타 영역 각각의 차영상을 구성하는 픽셀의 픽셀값으로부터 얼굴 영역의 차영상에 대한 밝기 히스토그램과 세부 기타 영역 각각의 차영상에 대한 밝기 히스토그램을 생성하는 히스토그램 생성부와, 얼굴 영역의 차영상에 대한 밝기 히스토그램과 세부 기타 영역 각각의 차영상에 대한 밝기 히스토그램에서 각각 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고 판단한 총수에 기초하여 얼굴 영역에 대한 현재 시점에서의 움직임 변화량과 세부 기타 영역 각각에 대한 현재 시점의 움직임 변화량을 설정된 단위 레벨로 계산하는 변화량 계산부를 포함한다.
여기서 시계열 패턴 생성부는 얼굴 영역에 대한 현재 시점에서의 움직임 변화량에 기초하여 얼굴 영역에 대한 움직임 변화량의 시계열 패턴을 생성하고, 세부 기타 영역 각각에 대한 현재 시점에서의 움직임 변화량에 기초하여 세부 기타 영역 각각에 대한 움직임 변화량의 시계열 패턴을 생성하는 것을 특징으로 한다.
반응 판단부는 얼굴 영역의 움직임 변화량과 세부 기타 영역 각각의 움직임 변화량에 대한 시계열 패턴으로부터 패턴 조합을 생성하는 패턴 조합 생성부와, 생성한 패턴 조합과 반응 패턴 데이터베이스에 저장되어 있는 반응 패턴의 일치도를 계산하여 생성한 패턴 조합에 매핑되는 반응 패턴을 검색하는 반응 패턴 검색부와, 검색한 반응 패턴에 기초하여 관객의 반응을 판단하는 반응 결정부를 포함하는 것을 특징으로 한다.
본 발명에 따른 관객 반응 판단 방법은 종래 관객 반응 판단 방법과 비교하여 다음과 같은 다양한 효과를 가진다.
첫째, 본 발명에 따른 관객 반응 판단 방법은 관객 영상에서 생성한 관객 영역의 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객 반응을 판단함으로써, 어두운 환경에서도 컨텐츠에 대한 관객 반응을 정확하게 판단할 수 있다.
둘째, 본 발명에 따른 관객 반응 판단 방법은 관객 영역을 얼굴 영역과 얼굴 영역에 인접한 기타 영역으로 구분하고 얼굴 영역과 기타 영역의 서로 다른 움직임 변화량의 시계열 패턴에 기초하여 컨텐츠에 대한 관객의 반응을 판단함으로써, 컨텐츠에 대한 관객의 다양한 반응을 정확하게 판단할 수 있다.
셋째, 본 발명에 따른 관객 반응 판단 방법은 관객 영역의 움직임 변화량에 기초하여 컨텐츠에 대한 관객의 반응을 판단함으로써, 정확한 얼굴 표정 변화에 기초한 종래 반응 판단 장치와 비교하여 저성능의 장비로도 컨텐츠에 대한 관객의 반응을 정확하게 판단할 수 있다.
도 1은 본 발명의 일 실시예에 따른 관객 반응 판단 장치를 설명하기 위한 기능 블록도이다.
도 2는 본 발명의 일시예에 따른 관객 영역 검출부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따른 관객 영역에 대한 움직임 변화량 계산부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 4는 본 발명에 따른 반응 판단부를 보다 구체적으로 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 컨텐츠에 대한 관객의 반응 판단 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명에 따라 관객 영상으로부터 관객 영역을 생성하는 방법의 일 예를 설명하는 흐름도이다.
도 7은 관객 영상에서 검색한 얼굴 영역과 관객 영역의 일 예를 도시하고 있다.
도 8은 본 발명에서 관객 영역의 움직임 변화량을 계산하는 방법을 설명하기 위한 흐름도이다.
도 9는 움직임 변화량을 나타내는 차영상의 일 예를 도시하고 있다.
도 10은 본 발명에서 관객의 반응을 판단하는 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 11은 관객 영역에 대한 움직임 변화량의 시계열 패턴의 일 예를 도시하고 있다.
이하 첨부한 도면을 참고로 본 발명에 따른 관객 반응 판단 방법 및 그 장치에 대해 보다 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 관객 반응 판단 장치를 설명하기 위한 기능 블록도이다.
도 1을 참고로 보다 구체적으로 살펴보면, 영상 촬영부(110)는 공연, 뮤지컬, 영화, 전시물 등의 컨텐츠를 관람하는 관객의 영상을 촬영하여 관객 영상을 획득한다. 영상 촬영부(110)는 컨텐츠를 관람하는 관객의 모습을 정확하게 촬영하는 위치에 배치되어 있는데, 예를 들어 관객의 정면에 위치하거나 정면 상부에 위치하거나 옆에 위치할 수 있다. 또한 컨텐츠를 관람하는 관객 반응을 정확하게 판단하기 위하여 영상 촬영부(110)는 여러 장소에 배치되어 컨텐츠를 관람하는 관객의 영상을 촬영할 수 있다.
관객 영역 검출부(120)는 영상 촬영부(110)로부터 획득한 관객 영상에서 관객의 얼굴 패턴 영역을 검색하고 검색한 얼굴 패턴 영역에 기초하여 관객 영상에 위치하는 관객의 얼굴 영역을 판단하여 관객 영상에서 얼굴 영역에 기초하여 관객 영역을 생성한다. 움직임 변화량 계산부(130)는 현재 관객 영상과 이전 관객 영상을 차감하여 관객 영역과 이전 관객 영상의 이전 관객 영역 사이의 현재 시점에서의 움직임 변화량을 계산한다. 여기서 관객 영역 검출부(120)는 설정 시간 단위로 연속하여 획득되는 관객 영상에 대해 순차적으로 관객 영역을 생성하고, 움직임 변화량 계산부(130)는 순차적으로 생성한 관객 영역 에 대한 움직임 변화량을 순차적으로 설정 시간 단위로 계산하여 저장한다.
시계열 패턴 생성부(140)는 순차적으로 설정 시간 단위로 저장되어 있는 관객 영역의 움직임 변화량에 기초하여 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하며, 반응 판단부(160)는 관객 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 반응 패턴을 반응 패턴 데이터베이스(DB)에서 검색하여 컨텐츠에 대한 관객의 반응을 판단한다.
도 2는 본 발명의 일시예에 따른 관객 영역 검출부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 2를 참고로 보다 구체적으로 살펴보면, 얼굴 영역 검색부(121)는 획득한 관객 그룹 영상에서 관객 개개인의 얼굴 영역을 검색한다. 본 발명에서는 어두운 환경에서 얼굴 영역을 검색하기 위하여 얼굴 영역 특징점으로부터 얼굴 영역을 검색하는 Haar 검출 방식을 사용할 수 있다. 획득한 관객 그룹 영상에서 관객의 얼굴 영역을 검색하는 다양한 방법이 공지되어 있는데, 본 발명에서는 다양한 얼굴 영역 검색 방법이 사용될 수 있으며, 이는 본 발명의 범위에 속한다.
영역 분할부(123)는 관객 영상 중 검색한 얼굴 영역에 기초하여 얼굴 영역에 인접하여 위치하는 영역을 기타 영역으로 분할한다. 관객 영역 생성부(125)는 얼굴 영역과 기타 영역으로 구성되는 관객 영역을 생성한다. 본 발명이 적용되는 분야에 따라 영역 분할부(123)는 얼굴 영역의 위치에 기초하여 얼굴 영역에 인접하는 다수의 세부 기타 영역으로 기타 영역을 설정할 수 있으며 이는 본 발명의 범위에 속한다.
도 3은 본 발명의 일 실시예에 따른 관객 영역에 대한 움직임 변화량 계산부를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 3을 참고로 살펴보면, 차영상 생성부(131)는 관객 영상과 이전 관객 영상을 차감하여 관객 영상으로부터 생성한 관객 영역과 이전 관객 영상으로부터 생성한 이전 관객 영역의 차영상을 생성하며, 히스트그램 생성부(133)는 차영상을 구성하는 픽셀들의 밝기 픽셀값에 기초하여 밝기 히스토그램을 생성한다. 여기서 차영상 생성부(131)는 관객 영상을 RGB 색영역에서 YUV 색영역, 즉 휘도와 색차 영역으로 변환하며, 관객 영상과 이전 관객 영상을 차감하여 생성되는 전체 차영상 중 앞서 생성한 관객 영역에 해당하는 영역에 대한 차영상을 생성한다. 본 발명이 적용되는 분야에 따라 관객 영상과 이전 관객 영상을 차감하는 대신, 관객 영상에서 생성한 관객 영역과 이전 관객 영상에서 생성한 이전 관객 영역을 차감하여 차영상을 생성할 수 있으며, 이는 본 발명의 범위에 속한다.
바람직하게, 히스토그램 생성부(133)는 관객 영역 중 얼굴 영역의 차영상에 기초하여 얼굴 영역에 대한 픽셀들의 밝기 히스토그램을 생성하고, 관객 영역 중 기타 영역의 차영상에 기초하여 기타 영역에 대한 픽셀들의 밝기 히스토그램을 생성한다. 더욱 바람직하게, 히스토그램 생성부(133)는 관객 영역 중 얼굴 영역의 차영상에 기초하여 얼굴 영역에 대한 픽셀들의 밝기 히스토그램을 생성하고, 관객 영역 중 기타 영역을 구성하는 세부 기타 영역 각각의 차영상에 기초하여 세부 기타 영역 각각에 대한 픽셀들의 밝기 히스토그램을 생성한다.
변화량 계산부(135)는 밝기 히스토그램의 픽셀값을 누적하고, 밝기 픽셀값의 누적값에 기초하여 관객 영역에 대한 현재 시점의 움직임 변화량을 계산한다. 단위 레벨 매핑부(137)는 계산한 관객 영역에 대한 현재 시점의 움직임 변화량을 설정 단위 레벨로 분류하여 해당 단위 레벨로 매핑하며, 해당 단위 레벨로 매핑한 관객 영역에 대한 현재 시점의 움직임 변화량은 변화량 DB(139)에 저장된다. 시계열 패턴 생성부(140)는 변화량 DB에 저장되어 있는 해당 단위 레벨의 움직임 변화량에 기초하여 단위 시간별로 변화하는 관객 영역의 움직임 변화량으로부터 시계열 패턴을 생성한다.
바림직하게, 변화량 계산부(135)는 얼굴 영역과 세부 기타 영역 각각의 움직임 변화량을 분리하여 계산하며, 단위 레벨 매핑부(137)는 얼굴 영역과 세부 기타 영역의 움직임 변화량을 설정 단위 레벨로 분류하여 매핑된 해당 단위 레벨을 변화량 DB(137)에 저장한다. 시계열 패턴 생성부(140)는 변화량 DB(139)에 저장되어 있는 얼굴 영역과 세부 기타 영역의 움직임 변화량에 기초하여 단위 시간별로 변화하는 얼굴 영역의 움직임 변화량으로부터 얼굴 영역의 시계열 패턴과 세부 기타 영역 각각의 움직임 변화량으로부터 세부 기타 영역 각각의 시계열 패턴을 생성한다.
도 4는 본 발명에 따른 반응 판단부를 보다 구체적으로 설명하기 위한 흐름도이다.
도 4를 참고로 살펴보면, 패턴 검색부(162)는 패턴 DB(161)에 저장되어 있는 시계열 패턴 DB 중 생성한 관객 영역의 시계열 패턴에 일치하는 패턴을 검색하며, 패턴 조합 생성부(163)는 검색한 시계열 패턴으로부터 패턴 조합을 생성한다. 보다 구체적으로 살펴보면, 패턴 검색부(162)는 패턴 DB(161)에서 얼굴 영역에 대한 시계열 패턴과 일치하는 패턴을 검색하며, 패턴 DB(161)에서 세부 기타 영역 각각에 대한 시계열 패턴과 일치하는 패턴을 검색한다. 바람직하게, 패턴 DB(161)에 저장되어 있는 시계열 패턴은 각각 서로 다른 시계열 패턴 식별자로 구분되며, 패턴 조합 생성부(163)는 얼굴 영역의 시계열 패턴에 일치하는 시계열 패턴 식별자와 세부 기타 영역 각각의 시계열 패턴에 일치하는 시계열 패턴 식별자로 패턴 조합을 생성한다.
반응 패턴 검색부(165)는 생성한 패턴 조합에 일치하는 반응 패턴이 패턴 조합 DB(164)에 존재하는지 검색하고, 반응 결정부(166)는 검색한 반응 패턴에 기초하여 관객의 반응을 판단한다. 여기서 패턴 조합 DB에는 시계열 패턴 식별자의 조합으로 이루어진 다양한 패턴 조합과 각 패턴 조합에 설정된 반응이 매핑되어 있다.
도 5는 본 발명의 일 실시예에 따른 컨텐츠에 대한 관객의 반응 판단 방법을 설명하기 위한 흐름도이다.
도 5를 참고로 보다 구체적으로 살펴보면, 영상 촬영부를 통해 컨텐츠를 관람하는 관객의 모습을 명확하게 드러내는 관객 영상을 획득하고(S110), 획득한 관객 영상에서 관객의 얼굴 영역을 검색하여 검색한 얼굴 영역을 기준으로 얼굴 영역과 얼굴 영역에 인접하여 위치하는 기타 영역을 포함하여 관객 영역을 생성한다(S120).
획득한 관객 영상과 이전에 획득한 이전 관객 영상을 차감하여 관객 영역과 이전 관객 영상에서 생성한 이전 관객 영역의 차이를 나타내는 관객 영역에 대한 차영상을 획득하고, 차영상의 픽셀값으로부터 밝기 히스토그램을 생성하여 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산한다(S130). 계산한 움직임 변화량은 변화량 DB에 저장되며, 저장되어 있는 움직임 변화량에 기초하여 관객 영역에 대한 움직임 변화량의 연속적인 변화를 나타내는 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성한다(S140). 생성한 시계열 패턴과 일치하는 관객의 반응 패턴을 반응 패턴 DB에서 검색하고, 검색한 반응 패턴에 기초하여 컨텐츠에 대한 관객의 반응을 판단한다(S150).
도 6은 본 발명에 따라 관객 영상으로부터 관객 영역을 생성하는 방법의 일 예를 설명하는 흐름도이다.
도 6을 참고로 보다 구체적으로 살펴보면, 관객 영상의 픽셀값에 기초하여 획득한 관객 영상에서 관객의 얼굴 영역을 검색한다(S121). 본 발명에서 관객 영상으로부터 얼굴 영역을 검색하는 방식의 일 예를 살펴보면, 획득한 관객 영상으로부터 관객의 피부 영역을 검색하기 위해 관객영상 내에 피부색 매칭 픽셀을 판별한다. 영상의 각 픽셀의 색은 RGB 체계로 표현되어 있으나 휘도와 색차 체계, 즉 YUV 체계로 변환한다. 여기서, YCrCb 체계는 컴포넌트 디지털 비디오의 휘도(Y)와 색차 신호(B-Y, R-Y), R·G·B 신호를 디지털화하는 데 사용되는 색 해상도로써, Y는 Distribution of Luminance Component이고, Cr와 Cb는 적색과 청색의 Distribution of Crominance Component이다. RGB 체계를 YCrCb 체계로 변환하는 것은 당업자에게 공지된 기술이므로, 이에 대한 상세한 설명은 생략한다.
피부색 픽셀에 해당하는 휘도와 색차의 임계값을 설정하고, 관객 영상의 픽셀값을 임계값과 비교하여 임계값과 부합된다면 해당 픽셀은 사용자의 피부를 나타내는 픽셀이라고 간주한다.
피부로 간주되는 픽셀 군집은 서브 윈도우로 분할되며, 서브 윈도우는 얼굴 영역 후보로 간주된다. 여기서, 얼굴 영역의 후보로 간주된 서브윈도우 내의 영상이 얼굴 영상인지 판별하는 것이 요구된다. 이는 얼굴 영상의 후보로 간주된 서브윈도우 내의 영상이 사용자의 손 영상일 수도 있기 때문이다. 이에 본 발명에서는 에이다부스트(Adaboost) 알고리즘을 통해 서브윈도우 내에 영상이 얼굴 영상인지 판별한다. 여기서, 에이다부스트 알고리즘은 공지된 기술이므로, 이에 대한 상세한 설명은 생략한다. 에이다부스트 알고리즘를 수행하여 서브윈도우 내에 영상이 얼굴 영상이 아닐 경우, 서브윈도우는 사용자의 손 영상으로 간주할 수 있다.
관객 영상에서 관객의 얼굴 영역을 검색한 경우, 관객의 얼굴 영역을 기준으로 얼굴 영역에 인접하여 위치하는 영역을 기타 영역으로 결정한다(S123). 기타 영역은 얼굴 영역을 기준으로 위/아래 또는 좌/우 방향으로 얼굴 영역에서 일정 거리에 인접하는 영역으로 설정된다. 본 발명이 적용되는 분야에 따라 기타 영역은 다시 적어도 1개 이상의 세부 기타 영역으로 분할되어 생성될 수 있으며, 이는 본 발명의 범위에 속한다. 관객 영상으로부터 관객의 얼굴 영역과 기타 영역으로 구성되는 관객 영역을 생성한다(S125).
관객 영상에서 검색한 얼굴 영역과 관객 영역의 일 예를 도시하고 있는 도 7을 참고로 살펴보면, 먼저 도 7(a)에 도시되어 있는 것과 같이 관객 영상이 입력되는 경우 관객 영상의 픽셀값에 기초하여 피부색에 해당하는 픽셀 군집들 중 얼굴 영역을 검색한다. 얼굴 영역이 검색되는 경우, 도 7(b)와 같이 얼굴 영역에 인접하여 얼굴 영역의 아래 부분에 기타 영역을 결정한다. 예를 들어, 얼굴 영역(C1)과 얼굴 영역(C1)의 바로 아래 영역에 일정 폭을 가지도록 제1 세부 기타 영역(C2)와 제1 세부 기타 영역(C2)의 바로 아래 영역에 일정 폭을 가지도록 제2 세부 기타 영역(C3)을 설정한다.
도 8은 본 발명에서 관객 영역의 움직임 변화량을 계산하는 방법을 설명하기 위한 흐름도이다.
도 8을 참고로 보다 구체적으로 살펴보면, 획득한 관객 영상과 관객 영상 이전에 획득한 이전 관객 영상을 차감하여 관객 영상의 관객 영역과 이전 관객 영상의 이전 관객 영역 사이의 차 영상을 생성한다(S131). 도 9(a)와 도 9(b)는 각각 관객 영상과 이전 관객 영상을 나타내며, 도 9(c)는 전체 차영상의 일 예를 도시하고 있는데, 원으로 표시된 관객 영상과 이전 관객 영상 사이에 움직임의 변화가 있는 영역의 픽셀들은 높은 휘도값을 가지도록 표현된다. 생성한 차 영상을 구성하는 픽셀의 픽셀값으로부터 관객 영역의 밝기 히스토그램을 생성한다(S133).
생성한 밝기 히스토그램에서 임계 밝기값 이상의 밝기를 가지는 픽셀수의 총수를 카운트하고, 임계 밝기값 이상의 밝기를 가지는 픽셀들의 누적 총수에 기초하여 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산한다(S135). 움직임 변화량은 임계 밝기값 이상의 밝기를 가지는 픽셀들의 총수에 비례하여 큰 값을 가진다. 바람직하게, 계산한 현재 시점의 움직임 변화량은 설정된 단위 레벨로 매핑되며(S137), 매핑된 현재 시점의 움직임 변화량에 대한 단위 레벨값은 변화량 DB에 저장된다(S139). 앞서 S131 내지 S139 단계에서 설명한 바와 동일하게 현재 시점 이후에 연속하여 단위 시간별로 움직임 변화량을 계산하고, 계산한 움직임 변화량에 매핑된 단위 레벨값을 판단하여 변화량 DB에 단위 시간별로 저장한다.
여기서 단위 레벨값이란 움직임 변화값을 내림 또는 올림한 값으로, 예를 들어 현재 시점에서의 움직임 변화량이 23.7인 경우 30으로 올림하거나 20으로 내림한 값을 의미한다. 본 발명의 다른 실시예에서 움직임 변화량의 값은 실제 올림 또는 내림한 값이 아니라 이전 단위 시간보다 현재 단위 시간에서 증가, 감소, 임계범위 내에서 그대로 유지로 구분되어 움직임 변화량이 표현될 수 있다.
바람직하게 관객 영역의 움직임 변화량은 얼굴 영역과 기타 영역별로 각각 생성되거나, 더욱 바람직하게 얼굴 영역과 세부 기타 영역별로 각각 생성될 수 있으며 이는 본 발명의 범위에 속한다.
도 10은 본 발명에서 관객의 반응을 판단하는 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 10을 참고로 보다 구체적으로 살펴보면, 관객 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 패턴 식별자를 패턴 DB에서 검색한다(S151). 바람직하게, 관객 영역의 얼굴 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 얼굴 패턴 식별자를 패턴 DB에서 검색하고, 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 기타 패턴 식별자를 패턴 DB에서 검색한다.
얼굴 영역에 대한 움직임 변화량의 시계열 패턴 또는 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 패턴을 검색하는 일 예를 보다 구체적으로 살펴보면 얼굴 영역의 움직임 변화량에 대한 시계열 패턴과 일치하는 얼굴 패턴 식별자 또는 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 일치하는 기타 패턴 식별자와 패턴 데이터베이스에 저장되어 있는 시계열 패턴의 일치도(P)는 아래의 수학식(1)에 의해 계산되며,
[수학식 1]
Figure 112012079781762-pat00002
P1ti는 얼굴 영역의 움직임 변화량에 대한 시계열 패턴(P1) 또는 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴(P1)에서 ti 시간 단위에서 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량과 동일 시간 단위(ti)에서의 패턴 DB에 저장되어 있는 시계열 패턴의 움직임 변화량의 동일 또는 유사 정도를 나타내는 세부 일치도이며,
패턴 DB에 저장되어 있는 시계열 패턴과 얼굴 영역의 움직임 변화량에 대한 시계열 패턴과 가장 높은 일치도를 가지는 얼굴 패턴 식별자 또는 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 가장 높은 일치도를 가지는 기타 패턴 식별자 선택된다. 여기서 획득한 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량은 실제 내림 또는 올림한 값이며 패턴 DB에 저장되어 있는 움직임 변화량과 실제 내림 또는 올림한 값의 차이로부터 움직임 변화량의 동일 또는 유사 정도를 판단한다. 본 발명의 다른 실시예에서 획득한 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량은 증가, 감소, 유지로 구분되는 값이며 패턴 DB에도 움직임 변화량이 증가, 감소, 유지로 구분되어 저장되어 있는데, 세부 일치도는 획득한 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량과 패턴 DB에 저장되어 있는 움직임 변화량을 각 단위 시간별로 증가, 감소, 유지로 서로 동일 또는 유사한지 여부로 판단한다.
얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 일치하는 얼굴 패턴 식별자 또는 기타 패턴 식별자의 조합으로부터 패턴 조합을 생성하고(S153), 패턴 조합과 일치하는 패턴 조합을 패턴 조합 DB에서 검색한다(S155). 패턴 조합 DB에는 다양한 패턴 조합과 각 패턴 조합에 매핑되어 있는 반응이 저장되어 있다. 검색 결과에 기초하여 검색한 패턴 조합에 매핑되어 있는 반응을 관객의 반응으로 판단한다(S157).
도 11은 관객 영역에 대한 움직임 변화량의 시계열 패턴의 일 예를 도시하고 있다.
도 11(a)는 관객 영역 중 얼굴 영역에 대한 움직임 변화량의 시계열 패턴이며, 11(b)는 관객 영역 중 제1 세부 기타 영역으로 관객의 가슴 영역에 대한 움직임 변화량의 시계열 패턴이며, 도 11(c)는 관객 영역 중 제2 세부 기타 영역으로 관객 손이 위치하는 배 영역에 대한 움직임 변화량의 시계열 패턴이다. 앞서 설명한 수학식(1)의 방식으로 각 시계열 패턴과 가장 일치하는 패턴을 패턴 DB에서 검색하여 얼굴 영역에 대한 움직임 변화량의 시계열 패턴과 가장 일치하는 얼굴 패턴 식별자 P1을 검색하고, 제1 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 가장 일치하는 제1 기타 패턴 식별자 P2을 검색하고, 제1 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴과 가장 일치하는 제2 기타 패턴 식별자 P3를 검색한다. 검색한 패턴으로부터 패턴 조합<P1, P2, P3>을 생성하며, 생성한 패턴 조합과 일치하는 패턴 조합을 패턴 조합 DB에서 검색한다. 검색한 패턴 조합에 매핑되어 있는 반응이 박수인 경우, 관객 반응을 박수로 판단한다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 전기 또는 자기식 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110: 영상 촬영부 120: 관객 영역 검출부
130: 움직임 변화량 계산부 140: 시계열 패턴 판단부
150: 반응 판단부 160: 반응 패턴 DB

Claims (16)

  1. 획득한 관객 영상에서 관객이 위치하고 있는 관객 영역을 생성하는 단계;
    상기 생성한 관객 영역과 이전 관객 영상에서 생성한 이전 관객 영역의 차이로부터 상기 관객 영역에 대한 차영상을 획득하고, 상기 차영상의 픽셀값 히스토그램으로부터 생성한 밝기 히스토그램에서 임계값 이상의 밝기를 가지는 픽셀수의 총수에 기초하여 상기 이전 관객 영역과 상기 관객 영역 사이의 현재 시점에서의 움직임 변화량을 계산하는 단계;
    상기 현재 시점 움직임 변화량으로부터 상기 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 단계; 및
    상기 생성한 시계열 패턴과 일치하는 상기 관객의 반응 패턴을 반응 패턴 데이터베이스에서 검색하고, 상기 검색한 반응 패턴에 기초하여 상기 관객의 반응을 판단하는 단계를 포함하는 것을 특징으로 하는 관객 반응 판단 방법.
  2. 제 1 항에 있어서, 상기 획득한 관객 영상에서 상기 관객이 위치하고 있는 관객 영역은
    상기 관객 영상에서 얼굴 영역을 검출하고, 상기 검출한 얼굴 영역으로부터 관객 영역을 생성하는 것을 특징으로 하는 관객 반응 판단 방법.
  3. 삭제
  4. 제 1 항에 있어서, 상기 관객 반응 판단 방법에서
    상기 움직임 변화량은 상기 관객 영역의 면적으로 나누어져 정규화되는 것을 특징으로 하는 관객 반응 판단 방법.
  5. 제 1 항에 있어서, 상기 관객 영역은 상기 검출한 얼굴 영역을 기준으로 얼굴 영역과 상기 얼굴 영역에 인접한 기타 영역으로 분할되어 구성되는 것을 특징으로 하는 관객 반응 판단 방법.
  6. 제 5 항에 있어서, 상기 기타 영역은 적어도 1개 이상의 세부 기타 영역으로 분할되는 것을 특징으로 하는 관객 반응 판단 방법.
  7. 제 6 항에 있어서, 상기 움직임 변화량을 계산하는 단계는
    상기 얼굴 영역과 상기 세부 기타 영역 각각의 차 영상에 대한 개별 밝기 히스토그램을 생성하고, 상기 생성한 개별 밝기 히스토그램으로부터 상기 얼굴 영역과 상기 세부 기타 영역의 현재 시점에서의 움직임 변화량을 계산하는 것을 특징으로 하는 관객 반응 판단 방법.
  8. 제 7 항에 있어서, 상기 움직임 변화량의 시계열 패턴은
    상기 얼굴 영역에 대한 현재 시점에서의 움직임 변화량으로부터 상기 얼굴 영역의 움직임 변화량에 대한 시계열 패턴을 생성하고,
    상기 세부 기타 영역에 대한 현재 시점에서의 움직임 변화량으로부터 상기 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴을 생성하는 것을 특징으로 하는 관객 반응 판단 방법.
  9. 제 8 항에 있어서, 상기 관객의 반응을 판단하는 단계는
    상기 관객의 얼굴 영역의 움직임 변화량에 대한 시계열 패턴과 일치하는 얼굴 패턴 식별자를 패턴 데이터베이스에서 검색하고 상기 관객의 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 일치하는 기타 패턴 식별자를 패턴 데이터베이스에서 검색하며, 상기 얼굴 패턴 식별자와 상기 기타 패턴 식별자로부터 상기 관객 영역에 대한 움직임 변화량의 패턴 조합을 생성하는 단계;
    상기 생성한 패턴 조합과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색하는 단계; 및
    상기 검색한 반응 패턴에 기초하여 상기 관객의 반응을 판단하는 단계를 포함하는 것을 특징으로 하는 관객 반응 판단 방법.
  10. 제 9 항에 있어서, 상기 얼굴 영역의 움직임 변화량 또는 상기 세부 기타 영역의 움직임 변화량은 설정 단위 레벨로 분류되는 것을 특징으로 하는 관객 반응 판단 방법.
  11. 제 9 항에 있어서, 상기 얼굴 영역의 움직임 변화량에 대한 시계열 패턴 또는 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 일치하는, 상기 패턴 데이터베이스에 저장되어 있는 시계열 패턴의 일치도(P)는 아래의 수학식(1)에 의해 계산되며,
    [수학식 1]
    Figure 112012079781762-pat00003

    P1ti는 상기 얼굴 영역의 움직임 변화량에 대한 시계열 패턴(P1) 또는 세부 기타 영역에 대한 움직임 변화량의 시계열 패턴(P1)에서 ti 시간 단위에서 얼굴 영역 또는 세부 기타 영역에 대한 움직임 변화량과 동일한 시간 단위(ti)에서의 패턴 DB에 저장되어 있는 시계열 패턴의 움직임 변화량의 동일 또는 유사 정도를 나타내는 세부 일치도이며,
    패턴 DB에 저장되어 있는 시계열 패턴 중 얼굴 영역의 움직임 변화량에 대한 시계열 패턴과 가장 높은 일치도를 가지는 얼굴 패턴 식별자 또는 세부 기타 영역의 움직임 변화량에 대한 시계열 패턴과 가장 높은 일치도를 가지는 기타 패턴 식별자가 선택되는 것을 특징으로 하는 관객 반응 판단 방법.
  12. 획득한 관객 영상에서 관객의 얼굴 영역을 판단하는 얼굴 영역 검색부와, 판단한 얼굴 영역에 기초하여 상기 얼굴 영역과 상기 얼굴 영역에 인접한, 적어도 1개 이상의 세부 기타 영역을 구비하는 기타 영역으로 분할하는 영역 분할부와, 얼굴 영역과 상기 기타 영역으로 상기 획득한 관객 영상에서 관객 영역을 생성하는 관객 영역 생성부를 구비하는 관객 영역 검출부;
    상기 관객 영역과 이전 관객 영상에서 생성한 이전 관객 영역의 차이로부터 상기 관객 영역에 대한 현재 시점에서의 움직임 변화량을 계산하는 움직임 변화량 계산부;
    상기 현재 시점에서의 움직임 변화량으로부터 상기 관객 영역에 대한 움직임 변화량의 시계열 패턴을 생성하는 시계열 패턴 생성부; 및
    상기 생성한 시계열 패턴과 일치하는 반응 패턴을 반응 패턴 데이터베이스에서 검색하고, 상기 검색한 반응 패턴에 기초하여 상기 관객의 반응을 판단하는 반응 판단부를 포함하는 것을 특징으로 하는 관객 반응 판단 장치.
  13. 삭제
  14. 제 12 항에 있어서, 상기 움직임 변화량 계산부는
    상기 관객 영역과 이전 관객 영역을 서로 차감하여 차 영상을 생성하는 차영상 생성부;
    상기 생성한 차영상에서, 얼굴 영역의 차영상과 상기 세부 기타 영역 각각의 차영상을 구성하는 픽셀의 픽셀값으로부터 상기 얼굴 영역의 차영상에 대한 밝기 히스토그램과 상기 세부 기타 영역 각각의 차영상에 대한 밝기 히스토그램을 생성하는 히스토그램 생성부; 및
    상기 얼굴 영역의 차영상에 대한 밝기 히스토그램과 상기 세부 기타 영역 각각의 차영상에 대한 밝기 히스토그램에서 각각 임계값 이상의 밝기를 가지는 픽셀수의 총수를 판단하고, 상기 판단한 총수에 기초하여 상기 얼굴 영역에 대한 현재 시점에서의 움직임 변화량과 상기 세부 기타 영역 각각에 대한 현재 시점의 움직임 변화량을 설정된 단위 레벨로 계산하는 변화량 계산부를 포함하는 것을 특징으로 하는 관객 반응 판단 장치.
  15. 제 14 항에 있어서, 상기 시계열 패턴 생성부는
    상기 얼굴 영역에 대한 현재 시점에서의 움직임 변화량에 기초하여 상기 얼굴 영역에 대한 움직임 변화량의 시계열 패턴을 생성하고,
    상기 세부 기타 영역 각각에 대한 현재 시점에서의 움직임 변화량에 기초하여 상기 세부 기타 영역 각각에 대한 움직임 변화량의 시계열 패턴을 생성하는 것을 특징으로 하는 관객 반응 판단 장치.
  16. 제 15 항에 있어서, 상기 반응 판단부는
    상기 얼굴 영역의 움직임 변화량과 상기 세부 기타 영역각각의 움직임 변화량에 대한 시계열 패턴으로부터 패턴 조합을 생성하는 패턴 조합 생성부;
    상기 생성한 패턴 조합과 반응 패턴 데이터베이스에 저장되어 있는 반응 패턴의 일치도를 계산하여 상기 생성한 패턴 조합에 매핑되는 반응 패턴을 검색하는 반응 패턴 검색부; 및
    상기 검색한 반응 패턴에 기초하여 상기 관객의 반응을 판단하는 반응 결정부를 포함하는 것을 특징으로 하는 관객 반응 판단 장치.
KR1020120109345A 2012-09-28 2012-09-28 컨텐츠에 대한 관객 반응의 판단 방법 KR101337833B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120109345A KR101337833B1 (ko) 2012-09-28 2012-09-28 컨텐츠에 대한 관객 반응의 판단 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120109345A KR101337833B1 (ko) 2012-09-28 2012-09-28 컨텐츠에 대한 관객 반응의 판단 방법

Publications (1)

Publication Number Publication Date
KR101337833B1 true KR101337833B1 (ko) 2013-12-06

Family

ID=49987479

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120109345A KR101337833B1 (ko) 2012-09-28 2012-09-28 컨텐츠에 대한 관객 반응의 판단 방법

Country Status (1)

Country Link
KR (1) KR101337833B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150137320A (ko) 2014-05-29 2015-12-09 모젼스랩(주) 관객반응 분석 시스템 및 방법
KR101668387B1 (ko) * 2016-05-16 2016-10-21 정문영 극장 관람객의 행태를 분석하는 관람 행태 분석 장치 및 관람 행태 분석 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004502222A (ja) 2000-06-27 2004-01-22 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 提示される情報のコンテンツを観客に合わせる方法及び装置
KR20080072085A (ko) * 2001-02-06 2008-08-05 소니 가부시끼 가이샤 콘텐츠에 대한 시청자 평가를 수집하는 장치 및 방법
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004502222A (ja) 2000-06-27 2004-01-22 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 提示される情報のコンテンツを観客に合わせる方法及び装置
KR20080072085A (ko) * 2001-02-06 2008-08-05 소니 가부시끼 가이샤 콘텐츠에 대한 시청자 평가를 수집하는 장치 및 방법
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150137320A (ko) 2014-05-29 2015-12-09 모젼스랩(주) 관객반응 분석 시스템 및 방법
KR101668387B1 (ko) * 2016-05-16 2016-10-21 정문영 극장 관람객의 행태를 분석하는 관람 행태 분석 장치 및 관람 행태 분석 방법

Similar Documents

Publication Publication Date Title
Jung Efficient background subtraction and shadow removal for monochromatic video sequences
US9495754B2 (en) Person clothing feature extraction device, person search device, and processing method thereof
US10185877B2 (en) Systems, processes and devices for occlusion detection for video-based object tracking
KR100873638B1 (ko) 영상 처리 방법 및 장치
RU2693906C2 (ru) Основанный на правилах анализ важности видео
JP3740065B2 (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
US8942469B2 (en) Method for classification of videos
US9596520B2 (en) Method and system for pushing information to a client
US10242287B2 (en) Image processing apparatus, image processing method, and recording medium
CN103699532A (zh) 图像颜色检索方法和***
KR20110074107A (ko) 카메라를 이용한 오브젝트 검출 방법
Lefèvre et al. Efficient and robust shot change detection
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
KR101337833B1 (ko) 컨텐츠에 대한 관객 반응의 판단 방법
CN107909078B (zh) 一种图间显著性检测方法
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR101403143B1 (ko) 컨텐츠에 대한 관객 그룹의 반응 판단 방법
KR102413043B1 (ko) 영상 컨텐츠의 샷 분할 방법 및 장치
KR101403244B1 (ko) 컨텐츠에 대한 관객 그룹의 몰입도 판단 방법
KR20160109221A (ko) 시퀀스 간의 유사성을 결정하는 방법 및 디바이스
KR101554784B1 (ko) 컨텐츠에 대한 개인 관객의 몰입도 판단 방법
Song et al. No-reference quality assessment of night-time images via the analysis of local and global features
Fendri et al. Adaptive person re-identification based on visible salient body parts in large camera network
CN108711164A (zh) 一种基于LBP和Color特征的运动检测方法
Conte et al. An algorithm for detection of partially camouflaged people

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161013

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee