KR102179590B1 - 동영상 내 등장인물 갈등정보 추출 장치 - Google Patents

동영상 내 등장인물 갈등정보 추출 장치 Download PDF

Info

Publication number
KR102179590B1
KR102179590B1 KR1020180160193A KR20180160193A KR102179590B1 KR 102179590 B1 KR102179590 B1 KR 102179590B1 KR 1020180160193 A KR1020180160193 A KR 1020180160193A KR 20180160193 A KR20180160193 A KR 20180160193A KR 102179590 B1 KR102179590 B1 KR 102179590B1
Authority
KR
South Korea
Prior art keywords
graph
character
video
person
area
Prior art date
Application number
KR1020180160193A
Other languages
English (en)
Other versions
KR20200072237A (ko
Inventor
박승보
유은순
강수환
김영훈
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020180160193A priority Critical patent/KR102179590B1/ko
Publication of KR20200072237A publication Critical patent/KR20200072237A/ko
Application granted granted Critical
Publication of KR102179590B1 publication Critical patent/KR102179590B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 동영상 내 등장인물 갈등정보 추출장치에 관한 것으로, 동영상에 출연하는 등장인물에 대한 장면별 인물 면적 크기 그래프에서 피크점을 추출하는 그래프 피크 추출부와, 두 등장인물에 대한 상기 장면별 인물 면적 크기 그래프를 차감하여 두 등장인물간 인물 면적 크기 비교 그래프를 생성하는 비교 그래프 생성부를 포함하는 인물 면적 그래프 처리부, 그리고, 상기 인물 면적 그래프 처리부에서 추출한 피크점과 비교 그래프로부터 상기 동영상에 출연하는 등장인물들의 갈등 발생, 갈등 상승 및 갈등 주도 방향 전환 중 적어도 어느 하나를 판단하는 갈등정보 판단부를 포함하여, 상기 동영상의 등장인물의 인물면적 크기 그래프로부터 등장인물간 갈등정보를 추출한다. 이로 인해, 영화 또는 드라마와 같은 동영상에서 등장인물의 갈등정보를 정확하게 분석할 수 있는 효과가 있다.

Description

동영상 내 등장인물 갈등정보 추출 장치{EXTRACTION APPARATUS OF CHARACTER CONFLICT INFORMATION IN VIDEO}
본 발명은 동영상 내 등장인물 갈등정보 추출 장치에 관한 것으로, 좀더 자세하게는 영화 또는 드라마와 같은 동영상에 출연하는 등장인물들간 갈등정보를 추출하는 장치에 관한 것이다.
영화나 드라마와 같이 다수의 등장인물이 출연하는 동영상 미디어에서 등장인물을 자동으로 추출하고, 주연 등장인물 또는 조연 등장인물을 구분하는 기술 및 등장인물의 대사를 기반으로 등장인물간 갈등상황을 판단하는 기술이 연구 및 개발되고 있다.
그러나, 등장인물들의 대사를 이용하여 등장인물간 갈등정보를 추출하는 기술은, 등장인물이 실제로 동영상에서 보여지는 면적, 즉, 해당 등장인물의 중요도와 관계 없이 대사를 이용하는 것으로, 대사만을 이용하여 갈등정보를 추출하는 경우 등장인물간의 실제 갈등정보와는 상이하게 갈등정보가 추출될 수 있어, 동영상에서 등장인물이 차지하는 인물 면적을 반영하여 동영상의 등장인물 간 갈등정보를 추출할 수 있는 처리장치의 연구개발이 필요한 실정이다.
대한민국 등록특허공보 제10-1658413(동영상에서의 인물 정보 추출방법 및 그 장치)
본 발명이 이루고자 하는 기술적 과제는 등장인물의 동영상 내 출연 크기를 반영하여 동영상 내 등장인물 간 갈등정보를 자동으로 추출함으로써, 정확성 및 처리 효율이 향상된 동영상 처리장치를 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치는 동영상에 출연하는 등장인물에 대한 장면별 인물 면적 크기 그래프에서 피크점을 추출하는 그래프 피크 추출부와, 두 등장인물에 대한 상기 장면별 인물 면적 크기 그래프를 차감하여 두 등장인물간 인물 면적 크기 비교 그래프를 생성하는 비교 그래프 생성부를 포함하는 인물 면적 그래프 처리부, 그리고, 상기 인물 면적 그래프 처리부에서 추출한 피크점과 비교 그래프로부터 상기 동영상에 출연하는 등장인물들의 갈등 발생, 갈등 상승 및 갈등 주도 방향 전환 중 적어도 어느 하나를 판단하는 갈등정보 판단부를 포함하여, 상기 동영상의 등장인물의 인물면적 크기 그래프로부터 등장인물간 갈등정보를 추출하는 것을 특징으로 한다.
상기 갈등정보 판단부는, 상기 인물 면적 그래프 처리부에서 추출한 피크점을 포함하는 장면에서의 클로즈업 발생 빈도를 제1 임계값과 비교하고, 상기 피크점을 포함하는 장면의 대화량을 제2 임계값과 비교하여, 상기 동영상에 출연하는 등장인물의 갈등발생으로 판단하는 것을 특징으로 한다.
상기 갈등정보 판단부는, 상기 인물 면적 그래프 처리부에서 생성한 비교 그래프가 인물 면적 크기 차이 값이 음의 값과 양의 값 사이에서 교차점을 갖는 경우, 상기 교차점을 기준으로 상기 두 등장인물간 갈등 주도 방향이 전환되는 것으로 판단하는 것을 특징으로 한다.
상기 갈등정보 판단부는, 상기 인물 면적 그래프 처리부에서 생성한 장면별 인물 면적 크기 그래프에서 적어도 두 등장인물이 동반 상승하는 경우, 상기 구간의 대화량을 제3 임계값과 비교하여, 해당 구간을 상기 두 등장인물의 갈등상승으로 판단하는 것을 특징으로 한다.
동영상에 출연하는 등장인물에 대한 장면별 인물 면적 크기 그래프를 생성하는 인물 면적 그래프 생성부를 더 포함하는 것을 특징으로 한다.
상기 인물 면적 그래프 생성부, 상기 인물 면적 그래프 처리부 및 상기 갈등정보 판단부가 갈등정보 추출부로 형성되고, 동영상 내 인물면적을 추출하여 상기 갈등정보 추출부에 전달하는 동영상 내 인물면적 추출부를 더 포함하는 것을 특징으로 한다.
상기 동영상 내 인물면적 추출부는, 동영상을 프레임, 샷, 장면 단위의 영상으로 추출하는 영상 전처리부, 그리고 상기 영상 전처리부에서 추출된 영상에 포함된 등장인물의 인물 면적 크기를 산출하고 이를 누적하는 인물 면적 처리부를 포함하는 것을 특징으로 한다.
상기 인물 면적 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 면적 크기를 산출하고 이를 프레임 수로 평균내며, 상기 인물 면적 그래프 생성부는 샷에 대한 등장인물의 인물 면적 크기 평균 값을 인물 면적 그래프로 생성하는 것을 특징으로 한다.
상기 인물 면적 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 면적 크기를 누적하여 산출하며, 상기 인물 면적 그래프 생성부는 샷에 대한 등장인물의 인물 면적 크기 누적값을 인물 면적 그래프로 생성하는 것을 특징으로 한다.
이러한 특징에 따르면, 본원 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치는 동영상에 등장하는 인물이 동영상에서 차지하는 면적을 기반으로 그래프를 생성하고 이를 참조하여 동영상 내 등장인물들의 갈등정보를 추출할 수 있게 되어, 영화 또는 드라마와 같은 동영상에서 등장인물의 갈등정보를 정확하게 분석할 수 있는 효과가 있다.
도 1은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 개략적인 구조를 나타낸 블록도이다.
도 2는 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치 중 동영상 내 인물면적 추출부의 개략적인 구조를 나타낸 블록도이다.
도 3은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 인물 면적 처리부가 프레임의 등장 인물에 대한 인물 면적을 추출하는 예시를 나타낸 도면이다.
도 4는 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치가 등장인물별 인물 면적 크기를 장면별 숏에 대해 생성한 그래프이다.
도 5는 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치가 장면별 등장인물의 인물 면적 크기를 하나의 그래프 상에 나타낸 도면이다.
도 6은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 인물 면적 그래프 처리부의 개략적인 구조를 나타낸 블록도이다.
도 7은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 인물 면적 그래프 처리부가 생성하는 등장인물간 인물 면적 크기 비교 그래프이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 개략적인 구조를 나타낸 블록도이고, 도 2는 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치 중 동영상 내 인물면적 추출부의 개략적인 구조를 나타낸 블록도이고, 도 3은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 인물 면적 처리부가 프레임의 등장 인물에 대한 인물 면적을 추출하는 예시를 나타낸 도면이고, 도 4는 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치가 등장인물별 인물 면적 크기를 장면별 숏에 대해 생성한 그래프이고, 도 5는 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치가 장면별 등장인물의 인물 면적 크기를 하나의 그래프 상에 나타낸 도면이고, 도 6은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 인물 면적 그래프 처리부의 개략적인 구조를 나타낸 블록도이고, 도 7은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 인물 면적 그래프 처리부가 생성하는 등장인물간 인물 면적 크기 비교 그래프이다.
본 실시예에서, 동영상 내 등장인물 갈등정보 추출 장치(S)는 동영상 내 인물면적 추출부(100)와 갈등정보 추출부(200)를 포함하는 처리장치로서, 컴퓨터에 장착될 수 있는 프로세서 형태로 구현될 수 있다.
동영상 내 인물면적 추출부(100)는 동영상에 출연하는 등장인물에 대한 인물 면적을 추출하는 부분으로서, 도 2에 도시한 것처럼, 영상 전처리부(110)와 인물 면적 처리부(120)를 포함한다.
이때, 영상 전처리부(110)는 프레임 추출부(111)와 샷 추출부(112), 그리고 장면 추출부(113)를 포함한다. 영상 전처리부(110)는 동영상을 프레임, 샷, 장면 단위의 영상으로 추출하는 부분으로서, 외부로부터 동영상을 처리 대상 동영상으로서 입력받을 수 있다.
프레임 추출부(111)는 처리 대상 동영상을 프레임 단위로 추출하여 이미지를 생성한다. 한 예에서, 영상 전처리부(110)에 입력된 처리 대상 동영상이 60프레임의 동영상인 경우, 프레임 추출부(111)는 처리 대상 동영상의 1초 구간을 60개의 프레임으로 각각 추출하도록 처리한다.
샷 추출부(112)는 처리 대상 동영상에서 샷(Shot)을 추출하는데, 이때, 프레임 추출부(111)에서 추출된 연속하는 프레임들로부터 페이드 인/페이드 아웃과 같이 구분되는 부분을 통해 샷이 구분된다.
예로써, 1초 내지 10분의 동영상에서 3분 시점에서 페이드 인/페이드 아웃을 통한 샷 전환이 있을 때, 샷 추출부(112)는 프레임 추출부(111)에서 3분 시점에 형성된 복수 개의 프레임을 참고하여 해당 시점에 샷 전환이 발생한 것을 감지하여, 3분 이전과 3분 이후를 서로 다른 샷으로 추출한다.
이때, 샷 추출부(112)는 추출된 샷들에 일련번호를 부여할 수 있다.
장면 추출부(113)는 샷 추출부(112)에서 추출한 일련의 샷들을 바탕으로, 서로 다른 장면(Scene)을 추출한다. 한 예에서, 한 샷에서 제1 등장인물이 출연하고, 연속하는 다른 샷에서 제2 등장인물이 출연하나 두 샷에서 나타나는 배경은 동일한 경우, 장면 추출부(113)는 해당 두 샷을 하나의 장면으로 추출한다.
장면 추출부(113)는 연속하는 샷 간의 배경 유사도를 판단하여 장면을 추출할 수 있고, 추출된 장면들에 일련번호를 부여할 수 있다.
한 예에서, 장면 추출부(113)는 샷들 간 장면으로 구분되는 지점을 선택신호 또는 입력신호로서 입력받을 수 있고, 선택신호 또는 입력신호의 구분지점을 기준으로 장면을 추출하여 일련번호를 부여할 수 있다.
인물 면적 처리부(120)는 인물 추출부(121)와 인물 면적 크기 산출부(122)를 포함하는데, 인물 추출부(121)는 처리 대상 동영상에서 인물을 추출한다. 이때, 인물 추출부(121)는 영상 전처리부(110)에서 장면, 샷 및 프레임으로 추출된 영상에서 인물을 추출하며, 이미지에서 인물을 자동으로 감지 및 추출하는 내용은 공지기술이므로 본 명세서에서는 이를 자세하게 설명하지 않으며, 당업자의 수준에서 이해되어야 할 것이다.
이때, 인물추출부(121)는 추출된 인물들을 구분하고, 구분된 인물들에 대해 일련번호를 부여할 수 있다.
인물 면적 크기 산출부(122)는 인물 추출부(121)에서 인물이 추출된 프레임에서 인물 면적의 크기를 산출한다. 인물 면적 크기 산출부(122)는 도 3의 (a)에 도시한 것처럼, 하나의 프레임에 등장한 인물의 면적을 등장인물의 얼굴 윤곽선을 따라 추출하거나 또는 등장인물의 눈, 코, 입, 눈썹을 포함하는 사각형태로 추출할 수 있다.
인물 면적 크기 산출부(122)는 도 3의 (b)에 도시한 것처럼, 하나의 프레임에 등장한 복수의 인물의 면적을 각각 추출한다.
인물 면적 크기 산출부(122)는 도 3과 같이 추출된 인물 면적의 크기를 산출하는 부분으로서, 다음의 식 1을 이용하여 시간, 즉, 프레임에 대한 인물 면적의 크기를 산출한다.
[식 1]
Figure 112018124847032-pat00001
위의 식 1에서, Ci는 i번째 등장인물, t는 시간(프레임)이고, Area()는 크기를 산출하는 함수로서, Area(Ci, t)는 t번째 시간(프레임)에서 Ci 등장인물의 인물 면적 크기이다.
인물 면적 크기 산출부(122)는 다음의 식 2를 이용하여 샷에 대한 인물 면적의 크기를 산출하는데, 이때, 한 샷에 포함되는 프레임들에서 각각 산출되는 인물 면적 크기를 참조하여 샷에 대한 인물 면적 크기를 산출한다.
한 예에서, 인물 면적 크기 산출부(122)는 샷에 포함된 프레임에서 산출된 인물 면적 크기를 누적, 즉, 합산하여 샷에 포함된 특정 등장인물에 대한 인물 면적 크기를 산출한다.
다른 한 예에서, 인물 면적 크기 산출부(122)는 샷에 포함된 프레임에서 산출된 인물 면적 크기를 샷을 구성하는 프레임 수로 나누어, 즉, 평균내여 샷에 포함된 특정 등장인물에 대한 인물 면적 크기를 산출한다.
[식 2]
Figure 112018124847032-pat00002
위의 식 2에서, SHj는 j번째 샷이고, Area(Ci, SHj)는 j번째 샷에서 Ci 등장인물의 인물 면적 크기의 누적값 또는 평균값이다.
인물 면적 크기 산출부(122)는 다음의 식 3을 이용하여 장면에 대한 인물 면적의 크기를 산출하는데, 이때, 한 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 면적 크기를 참조하여 장면에 대한 인물 면적 크기를 산출한다.
한 예에서, 인물 면적 크기 산출부(122)는 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 면적 크기를 누적, 즉, 합산하여 장면에 포함된 특정 등장인물에 대한 인물 면적 크기를 산출한다.
다른 한 예에서, 인물 면적 크기 산출부(122)는 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 면적 크기를 장면을 구성하는 샷 수로 나누어, 즉, 평균내여 장면에 포함된 특정 등장인물에 대한 인물 면적 크기를 산출한다.
[식 3]
Figure 112018124847032-pat00003
위의 식 3에서, SCk는 k번째 장면이고, Area(Ci, SCk)는 k번째 장면에서 Ci 등장인물의 인물 면적 크기의 누적값 또는 평균값이다.
이처럼, 인물 면적 크기 산출부(122)가 등장인물의 인물 면적 크기를 프레임, 샷, 장면 단위로 산출하므로, 프레임, 샷, 장면에서 등장인물의 인물 면적 크기를 비교하여, 이를 등장인물의 중요도를 판단하는 데 이용할 수 있다.
한 예에서, 인물 면적 크기 산출부(122)는 동영상에 대해 산출된 등장인물별 인물 면적 크기를 갈등정보 추출부(200)로 전달한다.
다시 도 1을 참조하여 갈등정보 추출부(200)의 구조를 자세히 설명하면, 갈등정보 추출부(200)는 동영상 내 인물면적 추출부(100)로부터 등장인물별 인물 면적 크기를 전달받아, 동영상에 등장하는 주요 등장인물별 갈등정보를 추출하는 부분으로서, 인물 면적 그래프 생성부(210), 인물 면적 그래프 처리부(220) 및 갈등정보 판단부(230)를 포함한다.
인물 면적 그래프 생성부(210)는 동영상 내 인물면적 추출부(100)에서 샷 단위로 생성한 인물 면적 크기를 각 등장인물에 대해 도 4와 같이 그래프로 도시한다.
인물 면적 크기 그래프 생성부(210)는 도 4의 (a)에 도시한 것처럼, 등장인물 조지와 라이오넬에 대해, 샷 일련번호에 따른 인물 면적 누적 크기의 그래프를 생성한다.
이때, 샷 일련번호에 포함된 프레임들에서 추출된 인물 면적 크기를 누적한 값을 그래프 생성의 데이터로 사용함에 따라, 특정 등장인물이 프레임에서 얼굴 면적 크기가 작게 등장하지만 복수의 프레임에 자주 등장하는 경우 해당 등장인물이 영화 또는 드라마 내에서 높은 중요도를 갖는 것을 그래프 상에 도시할 수 있고, 그래프 결과를 참조하여 등장인물의 중요도 판단에 해석할 수 있는 효과가 있다.
또는, 인물 면적 크기 그래프 생성부(210)는 도 4의 (b)에 도시한 것처럼, 등장인물 조지와 라이오넬에 대해, 샷 일련번호에 따른 인물 면적 평균 크기의 그래프를 생성한다.
이때, 샷 일련번호에 포함된 프레임들에서 추출된 인물 면적 크기를 프레임 개수로 평균낸 값을 그래프 생성의 데이터로 사용함에 따라, 특정 등장인물이 단 1회의 샷 또는 프레임에서 큰 얼굴 면적 크기를 갖도록 등장하였지만 다른 프레임 또는 샷에서는 전혀 등장하지 않는 1회성 등장인 등장인물인 경우, 인물 면적 크기를 프레임 수로 나누어 해당 등장인물의 인물 면적 크기가 극중 중요도와는 달리, 크게 나타날 수 있는 노이즈를 상쇄할 수 있는 효과가 있다.
그리고, 인물 면적 크기 그래프 생성부(210)는 여러 등장인물들의 인물 면적 크기를 도 5에 도시한 것처럼 하나의 장면에 따른 인물 면적 크기 그래프로 도시하고, 이때 그래프에 도시하는 인물 면적 크기는 샷 평균 인물 면적 크기 또는 샷 누적 인물 면적 크기일 수 있으며 이를 한정하지는 않는다.
도 5의 그래프에서, Gi(n)은 i번째 등장인물 Ci의 장면 n에 따른 인물 면적 크기 변화 그래프로 Area(Ci,n)로 나타나고, 장면 흐름에 따른 Area(Ci,n)는 Area(Ci)로 도시된다.
인물 면적 크기 그래프 생성부(210)가 도 5에 도시한 것처럼 여러 등장인물들의 장면별 인물 면적 크기를 하나의 그래프에 도시함에 따라, 등장인물들 중 동영상에서 중요도를 갖는 등장인물을 용이하게 구분할 수 있는 효과가 있다.
또한, 도 5의 그래프를 생성함에 따라, 특정 장면에서 중요도가 큰 등장인물을 용이하게 구분할 수 있다.
인물 면적 크기 그래프 처리부(220)는 도 6에 도시한 것처럼, 그래프 피크 추출부(221)와 비교 그래프 생성부(222)를 포함하여 인물 면적 크기 그래프 생성부(210)에서 생성한 그래프를 처리하는데, 그래프 피크 추출부(221)는 인물 면적 크기 그래프 생성부(210)에서 생성한 그래프에서 피크를 추출한다.
한 예에서, 그래프 피크 추출부(221)는 도 5의 그래프에서 등장인물 C1, C2, C3의 그래프에서 피크점을 각각 추출한다.
비교 그래프 생성부(222)는 인물 면적 크기 그래프 생성부(210)에서 생성한 적어도 두 등장인물에 대한 인물 면적 크기 그래프 중, 하나의 등장인물에 대한 인물 면적 크기 그래프에서 다른 하나의 등장인물에 대한 인물 면적 크기 그래프를 차감하여 도 7과 같이 두 등장인물간 인물 면적 크기 비교 그래프로서 생성한다.
이때, 도 7에서, G'(n)은 두 개의 G(n)을 차감하여 생성한 그래프로서, 다음의 식 4로 표현될 수 있다.
[식 4]
Figure 112018124847032-pat00004
위의 식 4에서, Gi(n)은 i번째 등장인물 Ci의 장면 n에 따른 인물 면적 크기 변화 그래프이고, Gj(n)은 j번째 등장인물 Ci가 장면 n에 따른 인물 면적 크기 변화 그래프로서, G'(n)은 n번째 장면에서 i번째 등장인물과 j번째 등장인물의 인물 면적 크기의 차 그래프이다.
비교 그래프 생성부(220)가 도 7과 같이 등장인물들의 인물 면적 크기 그래프의 차 그래프를 생성함에 따라, 해당 그래프를 참조하여 장면의 흐름에 따라 어떤 등장인물의 인물 면적 크기가 큰지 직관적으로 확인할 수 있는 효과 있다.
그리고, 갈등정보 판단부(230)는 인물 면적 그래프 처리부(220)에서 생성한 장면 흐름에 따른 등장인물별 피크점과 비교 그래프를 이용하여 등장인물간 갈등정보를 판단한다.
갈등정보 판단부(230)는 Gi(n)의 피크점에서, 피크점에 해당하는 장면의 클로즈업 발생 빈도가 제1 임계값 이상이고, 피크점에 해당하는 샷에서의 대화량이 해당 샷을 포함하는 장면의 대화량 대비 제2 임계값 이상인 경우 갈등이 발생하여 심화되는 것으로 판단한다.
한 예에서, 제1 임계값은 5이고, 제2 임계값은 70%일 수 있으나, 제1 및 제2 임계값은 실시 변경될 수 있으며 이를 한정하지는 않는다.
이처럼, 갈등정보 판단부(230)는 도 5의 Gi(n)의 피크점에서 클로즈업 발생 빈도와, 피크점 샷에서의 대화량과 피크점을 포함하는 장면의 대화량 대비 비율의 임계값 비교결과에 따라 해당 피크점에서 갈등발생 및 심화여부를 판단하므로, 동영상에 등장하는 등장인물의 갈등정보를 자동으로 추출할 수 있는 효과가 있다.
그리고, 갈등정보 판단부(230)는 비교 그래프 생성부(222)에서 생성한 도 7의 비교 그래프를 참조하여 갈등 주도 방향을 판단판다. 한 예에서, 갈등정보 판단부(230)는 비교 그래프에서 나타나는 두 등장인물의 인물 면적 크기 차이 값이 0이 되는 지점, 즉, 장면 축(가로 축)에 교차하는 지점을 극중 흐름이 어느 한 등장인물에서 다른 등장인물로 전환되는 것으로 판단한다.
한 예에서, 도 7의 그래프의 장면 초반에서는 등장인물 C1이 등장인물 C2가 갖는 인물 면적 크기보다 작은 값을 가지므로 면적 값 차이가 음의 값을 가지지만, 장면 중반에서는 그 값이 0이 되고, 그 이후에는 등장인물 C1이 등장인물 C2가 갖는 인물 면적 크기보다 큰 값을 가지므로 면적 값 차이가 양의 값을 갖는다. 이에 따라, 갈등정보 판단부(230)는 도 7의 그래프로부터 장면 중반에서 갈등 상황 주도 등장인물이 C1에서 C2로 그 주도권이 전환된 것으로 판단한다.
이처럼, 갈등정보 판단부(230)가 비교 그래프를 이용하여 갈등 상황을 주도하는 등장인물을 자동으로 판단하므로, 동영상에 등장하는 등장인물들 간 갈등정보를 자동으로 추출할 수 있는 효과가 있다.
또한, 갈등정보 판단부(230)는 도 5의 그래프를 참조하여, 등장인물들의 인물 면적 그래프가 동반 상승하는 구간을 판단하고, 동반상승 구간의 대화량이 해당 구간을 포함하는 장면들의 대화량 대비 제3 임계값 이상인 경우 갈등이 상승하는 것으로 판단한다.
한 예에서, 제3 임계값은 50%일 수 있으나, 제3 임계값은 실시 변경될 수 있으며 이를 한정하지는 않는다.
이처럼, 갈등정보 판단부(230)가 도 5의 Gi(n)에서 등장인물별 그래프의 동반상승여부와, 동반상승 구간에서의 대화량과 해당 구간을 포함하는 장면들의 대화량 대비 비율의 임계값 비교결과에 따라 갈등 상승 여부를 판단하므로, 동영상에 등장하는 등장인물들 간의 갈등정보를 자동으로 추출할 수 있는 효과가 있다.
이와 같이, 영화 또는 드라마와 같은 동영상에서 등장인물의 인물 면적 크기에 따라 동영상의 등장인물들 간 갈등정보를 자동으로 판단할 수 있어, 동영상의 등장인물간 갈등정보를 신속하고 정확하게 자동 수집할 수 있는 효과가 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
S : 동영상 내 등장인물 갈등정보 추출 장치
100 : 동영상 내 인물면적 추출부 110 : 영상 전처리부
111 : 프레임 추출부 112 : 샷 추출부
113 : 장면 추출부 120 : 인물 면적 처리부
121 : 인물 추출부 122 : 인물 면적 크기 산출부
200 : 갈등정보 추출부 210 : 인물 면적 그래프 생성부
220 : 인물 면적 그래프 처리부 221 : 그래프 피크 추출부
222 : 비교 그래프 생성부 230 : 갈등정보 판단부

Claims (9)

  1. 동영상에 출연하는 등장인물에 대한 장면별 인물 면적 크기 그래프에서 피크점을 추출하는 그래프 피크 추출부와, 두 등장인물에 대한 상기 장면별 인물 면적 크기 그래프를 차감하여 두 등장인물간 인물 면적 크기 비교 그래프를 생성하는 비교 그래프 생성부를 포함하는 인물 면적 그래프 처리부;
    상기 인물 면적 그래프 처리부에서 추출한 피크점과 비교 그래프로부터 상기 동영상에 출연하는 등장인물들의 갈등 발생, 갈등 상승 및 갈등 주도 방향 전환 중 적어도 어느 하나를 판단하되, 등장인물들의 인물 면적 그래프가 동반 상승하는 구간을 판단하고, 동반상승 구간의 대화량이 해당 구간을 포함하는 장면들의 대화량 대비 제3 임계값 이상인 경우 갈등이 상승하는 것으로 판단하는 갈등정보 판단부; 및
    동영상에 출연하는 등장인물에 대한 장면별 인물 면적 크기 그래프를 생성하는 인물 면적 그래프 생성부
    를 포함하여, 상기 동영상의 등장인물의 인물면적 크기 그래프로부터 등장인물간 갈등정보를 추출하되,
    상기 인물 면적 그래프 생성부, 상기 인물 면적 그래프 처리부 및 상기 갈등정보 판단부가 갈등정보 추출부로 형성되고,
    동영상 내 인물면적을 추출하여 상기 갈등정보 추출부에 전달하는 동영상 내 인물면적 추출부를 더 포함하며,
    상기 동영상 내 인물면적 추출부는,
    동영상을 프레임, 샷, 장면 단위의 영상으로 추출하는 영상 전처리부, 및 상기 영상 전처리부에서 추출된 영상에 포함된 등장인물의 인물 면적 크기를 산출하고 이를 누적하는 인물 면적 처리부를 포함하고,
    상기 인물 면적 처리부는,
    상기 영상 전처리부에서 장면, 샷 및 프레임으로 추출된 영상에서 인물을 추출하고 구분된 인물들에 대해 일련번호를 부여하는 인물 추출부, 및 상기 인물 추출부에서 인물이 추출된 프레임에서 인물 면적의 크기를 산출하되, 하나의 프레임에 등장한 인물의 면적을 등장인물의 얼굴 윤곽선을 따라 추출하거나 등장인물의 눈, 코, 입, 눈썹을 포함하는 사각형태로 추출하는 인물 면적 크기 산출부를 포함하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  2. 제1항에 있어서,
    상기 갈등정보 판단부는, 상기 인물 면적 그래프 처리부에서 추출한 피크점을 포함하는 장면에서의 클로즈업 발생 빈도를 제1 임계값과 비교하고, 상기 피크점을 포함하는 장면의 대화량을 제2 임계값과 비교하여, 상기 동영상에 출연하는 등장인물의 갈등발생으로 판단하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  3. 제1항에 있어서,
    상기 갈등정보 판단부는, 상기 인물 면적 그래프 처리부에서 생성한 비교 그래프가 인물 면적 크기 차이 값이 음의 값과 양의 값 사이에서 교차점을 갖는 경우, 상기 교차점을 기준으로 상기 두 등장인물간 갈등 주도 방향이 전환되는 것으로 판단하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  4. 제1항에 있어서,
    상기 갈등정보 판단부는, 상기 인물 면적 그래프 처리부에서 생성한 장면별 인물 면적 크기 그래프에서 적어도 두 등장인물이 동반 상승하는 경우, 상기 동반상승 구간의 대화량을 제3 임계값과 비교하여, 해당 구간을 상기 두 등장인물의 갈등상승으로 판단하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 인물 면적 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 면적 크기를 산출하고 이를 프레임 수로 평균내며,
    상기 인물 면적 그래프 생성부는 샷에 대한 등장인물의 인물 면적 크기 평균 값을 인물 면적 그래프로 생성하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  9. 제1항에 있어서,
    상기 인물 면적 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 면적 크기를 누적하여 산출하며,
    상기 인물 면적 그래프 생성부는 샷에 대한 등장인물의 인물 면적 크기 누적값을 인물 면적 그래프로 생성하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.

KR1020180160193A 2018-12-12 2018-12-12 동영상 내 등장인물 갈등정보 추출 장치 KR102179590B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180160193A KR102179590B1 (ko) 2018-12-12 2018-12-12 동영상 내 등장인물 갈등정보 추출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180160193A KR102179590B1 (ko) 2018-12-12 2018-12-12 동영상 내 등장인물 갈등정보 추출 장치

Publications (2)

Publication Number Publication Date
KR20200072237A KR20200072237A (ko) 2020-06-22
KR102179590B1 true KR102179590B1 (ko) 2020-11-17

Family

ID=71142418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180160193A KR102179590B1 (ko) 2018-12-12 2018-12-12 동영상 내 등장인물 갈등정보 추출 장치

Country Status (1)

Country Link
KR (1) KR102179590B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053889A (ja) * 2010-02-10 2012-03-15 Panasonic Corp 画像評価装置、画像評価方法、プログラム、集積回路
JP2014187687A (ja) * 2013-02-21 2014-10-02 Mitsubishi Electric Corp 動画像のハイライトシーン抽出装置及び方法
KR101898648B1 (ko) 2018-01-02 2018-09-13 단국대학교 산학협력단 영상 등장 인물들 사이의 상호 작용 그룹 탐지를 위한 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658413B1 (ko) 2009-09-22 2016-09-22 삼성전자주식회사 동영상에서의 인물 정보 추출방법 및 그 장치
KR20150122510A (ko) * 2014-04-23 2015-11-02 엘지전자 주식회사 영상 표시 장치 및 그것의 제어방법
KR20160091672A (ko) * 2015-01-26 2016-08-03 한국기술교육대학교 산학협력단 드라마 등장 인물의 관계 분석 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053889A (ja) * 2010-02-10 2012-03-15 Panasonic Corp 画像評価装置、画像評価方法、プログラム、集積回路
JP2014187687A (ja) * 2013-02-21 2014-10-02 Mitsubishi Electric Corp 動画像のハイライトシーン抽出装置及び方法
KR101898648B1 (ko) 2018-01-02 2018-09-13 단국대학교 산학협력단 영상 등장 인물들 사이의 상호 작용 그룹 탐지를 위한 장치 및 방법

Also Published As

Publication number Publication date
KR20200072237A (ko) 2020-06-22

Similar Documents

Publication Publication Date Title
US11113587B2 (en) System and method for appearance search
US11302315B2 (en) Digital video fingerprinting using motion segmentation
Gygli et al. Creating summaries from user videos
KR100804678B1 (ko) 비디오 인물별 신 분류 방법 및 그 시스템
JP6557592B2 (ja) 映像シーン分割装置及び映像シーン分割プログラム
KR100650407B1 (ko) 멀티 모달 기반의 고속 비디오 요약 생성 방법 및 그 장치
Truong et al. Scene extraction in motion pictures
KR100717402B1 (ko) 멀티미디어 데이터의 장르를 판단하는 장치 및 방법
KR101868103B1 (ko) 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
Wang et al. Affection arousal based highlight extraction for soccer video
KR102221792B1 (ko) 동영상 컨텐츠의 스토리 기반의 장면 추출 장치 및 방법
KR100779074B1 (ko) 시간별 특징값을 이용한 유해 동영상 판별 방법 및 그 장치
Carbonneau et al. Real-time visual play-break detection in sport events using a context descriptor
KR101822443B1 (ko) 샷 경계 및 자막을 이용한 동영상 축약 방법 및 처리 장치
CN113255423A (zh) 从视频提取配色方案的方法及装置
KR102179590B1 (ko) 동영상 내 등장인물 갈등정보 추출 장치
KR102179591B1 (ko) 동영상 내 인물 영역 추출 장치
JP5132509B2 (ja) 移動物体追跡装置
e Souza et al. Survey on visual rhythms: A spatio-temporal representation for video sequences
KR101523439B1 (ko) 영상 기반의 음성 인식 방법
Zhang et al. You Talkin'to Me? Recognizing Complex Human Interactions in Unconstrained Videos
KR20200081613A (ko) 서사의 갈등 상승 구간 검출 시스템 및 방법
Truong et al. Film grammar based refinements to extracting scenes in motion pictures
KR102059667B1 (ko) 동영상에서의 장소 추출 방법 및 장소 추출 시스템
Murthy et al. On the effect of human body parts in large scale human behaviour recognition

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant