KR100681017B1

KR100681017B1 - 동영상의 요약 제공이 가능한 이동통신 단말기 및 이를 이용한 요약 제공 방법

Info

Publication number: KR100681017B1
Application number: KR1020050012514A
Authority: KR
Inventors: 한지석
Original assignee: 엘지전자 주식회사
Priority date: 2005-02-15
Filing date: 2005-02-15
Publication date: 2007-02-09
Also published as: CN1822645A; CN100399804C; KR20060091563A

Abstract

본 발명은 동영상의 요약 제공이 가능한 이동통신 단말기 및 이를 이용한 요약 제공 방법에 관한 것으로, 이동통신 단말기 사용자에게 통계적으로 분석한 선호도에 의해 알고리즘화된 동영상 클립을 제공하는 것이다. 이에, 동영상 표시 기능을 제공하는 이동통신 단말기에 있어서, 상기 이동통신 단말기에 저장된 동영상 혹은 상기 이동통신 단말기가 수신하는 동영상으로부터 상기 동영상의 의미 특징을 이용하여 사용자가 선호하는 특정 장면들을 추출하고, 동영상 클립으로 요약 저장함으로써, 사용자가 필요로 하는 영상 정보를 보다 신속하게 획득할 수 있는 것이다.

이동통신 단말기, 동영상, 특징추출, 동영상 클립, 동영상 분할

Description

동영상의 요약 제공이 가능한 이동통신 단말기 및 이를 이용한 요약 제공 방법{MOBILE TERMINAL CAPABLE OF SUMMARY PROVIDING OF MOVING IMAGE AND SUMMARY PROVIDING METHOD USING IT}

도 1은 본 발명에 따른 동영상의 요약 제공이 가능한 이동통신 단말기의 블럭 구성도,

도 2는 본 발명에 따른 이동통신 단말기의 동영상 요약 제공 과정을 나타낸 순서도,

도 3은 본 발명에 의한 동영상에서 컨텐츠 의미를 가지는 이벤트나 특정 장면에 대한 비디오 클립들로 세그먼트하는 과정의 흐름도이다.

<도면의 주요 부분에 대한 부호의 설명>

10 : 이동통신 단말기 11 : 동영상 수신부

12 : 동영상 저장부 13 : 특징 추출부

14 : 동영상 분할부 15 : 동영상 클립 저장부

16 : 표시부

본 발명은 이동통신 단말기에 관한 것으로, 더욱 상세하게는 이동통신 단말기에 저장된 동영상 혹은 상기 이동통신 단말기가 수신하는 동영상으로부터 상기 동영상의 의미 특징을 이용하여 사용자가 선호하는 특정 장면들을 추출하고, 동영상 클립으로 요약 저장이 가능한 이동통신 단말기 및 이를 이용한 요약 제공 방법에 관한 것이다.

통상적으로 이동통신 단말기는 사용자가 이동하며 통화를 수행하는 장치를 말한다. 이러한 목적으로 개발된 이동통신 단말기는 사용자가 급증하고, 사회 전반에 걸쳐 정보화가 이루어지면서 사용자마다 요구하는 정보의 양이 점점 증가하고 있다. 이러한 추세와 더불어 정보통신 분야의 기술도 급속도로 발전하면서, 차세대 이동통신 방법인 IMT-2000이라는 새로운 이동통신기술의 개발이 활발히 이루어지고 있다. 이러한 차세대 이동통신에서는 가입자의 정보욕구를 만족시키기 위해 많은 노력을 기울이고 있고, 이러한 상황 하에서 이동통신 단말기를 이용하여 가입자간 화상통신을 수용할 수 있도록 발전하고 있다.

한편, 이동통신 단말기를 사용하는 사용자들은 이동통신 단말기에서 단순한 정보의 전송 뿐만 아니라 더 많은 부가적인 기능을 제공해주기를 원하고 있다. 이로 인해 많은 이동통신 단말기를 제조하는 회사에서는 이동통신 단말기에 더 많은 부가 기능의 사용을 가능하게 하려고 노력하고 있다. 이러한 시점에서 차세대 이동통신 단말기로 제공되는 동영상 서비스들을 사용자의 관심사항이나 기호에 관계없이 제공되어 사용자가 원하지 않는 장면들까지 시청해야 함으로 시간낭비의 문제가 있다.

이에, 사용자들은 이동통신 단말기로 제공되는 동영상 서비스들을 사용자 취 향에 맞게 특정 영상만을 추출하여 시청하기를 원하고 있다.

따라서, 본 발명은 상술한 종래의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 이동통신 단말기로 제공되는 동영상 데이터를 사용자 선호도에 따라 특정 장면만을 추출하여 분할 제공함으로써 필요로하는 영상만을 짧은 시간안에 시청할 수 있도록 하는 동영상의 요약 제공이 가능한 이동통신 단말기 및 이를 이용한 요약 제공 방법을 제공함에 있다.

상기의 목적을 달성하기 위한 본 발명의 일 양상으로서, 본 발명에 따른 동영상의 요약 제공 가능한 이동통신 단말기는, 동영상 표시 기능을 제공하는 이동통신 단말기에 있어서, 상기 이동통신 단말기에 저장된 동영상 혹은 상기 이동통신 단말기가 수신하는 동영상으로부터 상기 동영상의 의미 특징을 이용하여 사용자가 선호하는 특정 장면들을 추출하고, 동영상 클립으로 요약 저장하는 것을 특징으로 하여 이루어진다.

상기 입력된 동영상을 클립으로 요약하는 이동통신 단말기는 상기 동영상의 비디오 특징들을 추출하여 동영상을 의미 특징으로 세그먼트하는 특징 추출부와, 상기 특징 추출부에서 추출된 의미 특징이 설정된 알고리즘 임계값을 만족하면, 추출된 의미 특징에 인접한 프레임을 분할하거나 병합하여 동영상 클립을 형성하는 동영상 분할부 및 상기 동영상 분할부에서 형성된 동영상 클립을 저장하는 동영상 클립 저장부를 포함하여 구성되는 것을 특징으로 한다.

상기 특징 추출부는 상기 동영상에서 모션 강도, HSV 칼라 정보 또는 균질 질감으로부터 비디오 특징을 추출하고, 상기 비디오 특징을 이용하여 동영상을 이 벤트나 장면으로 세크먼트하는 것을 특징으로 한다.

상기의 목적을 달성하기 위한 본 발명의 다른 양상으로서, 본 발명에 따른 이동통신 단말기의 동영상 요약 제공 방법은, 동영상 표시 기능을 제공하는 이동통신 단말기에 있어서, 상기 이동통신 단말기에 저장된 동영상 혹은 상기 이동통신 단말기가 수신하는 동영상으로부터 상기 동영상의 의미 특징을 이용하여 사용자가 선호하는 특정 장면들을 추출하고, 동영상 클립으로 요약 저장하는 것을 특징으로 하여 이루어진다.

상기 이동통신 단말기로 입력된 동영상을 클립으로 요약 제공하는 방법은, (a) 입력된 동영상의 비디오 특징들을 추출하여 동영상을 의미 특징으로 세그먼트하는 단계와, (b) 상기 추출된 의미 특징이 설정된 알고리즘 임계값을 만족하면, 추출된 의미 특징에 인접한 프레임을 분할하거나 또는 병합하여 동영상 클립을 형성하는 단계 및 (c) 상기 형성된 동영상 클립을 저장하여 추출된 특정 부분만을 디스플레이 하는 단계로 이루어진다.

상기 (a)단계는 입력된 동영상의 모션 강도, HSV 칼라 정보 또는 균질 질감으로부터 비디오 특징을 추출하고, 상기 비디오 특징을 이용하여 동영상을 이벤트나 장면으로 세크먼트하는 것을 특징으로 한다.

이에, 사용자는 빠른 시간안에 동영상 주요장면을 시청하여 필요한 정보를 용이하게 얻을 수 있다.

이하, 본 발명의 바람직한 실시예에 따른 동영상의 요약 저장이 가능한 이동통신 단말기 및 이를 이용한 저장 방법에 대해 첨부한 도면을 상세하게 설명한다.

도 1은 본 발명에 따른 동영상의 요약 제공이 가능한 이동통신 단말기의 블럭 구성도이다.

도 1에 도시된 바와 같이, 동영상의 요약 제공이 가능한 이동통신 단말기(10)는 동영상 수신부(11), 동영상 저장부(12), 특징 추출부(13), 동영상 분할부(14), 동영상 클립 저장부(15), 표시부(16)로 구성된다.

동영상 수신부(11)는 이동통신 단말기(10)로 수신되는 방송 컨텐츠 등의 동영상을 수신하여 동영상 저장부(12)에 저장하거나, 제어 신호에 따라 사용자에게 실시간으로 수신된 동영상을 제공한다.

특징 추출부(13)는 오디오 및 비주얼 하위 레벨의 특징값들을 이용하여 동영상 컨텐츠의 의미 특징, 즉 이벤트나 장면을 세그먼테이션(segmentation)하고 추출한다. 또한, 추출된 이벤트나 장면에 대한 서술 내용 및 키워드 정보를 포함한다. 예컨대, 스포츠 장르의 컨텐츠의 경우, 축구 경기의 슛 장면, 골인 장면, 패널티 킥 장면, 하이라이트 장면 등에 대해서 세그먼테이션하고 각 장면의 타이틀, 참여되는 선수 이름 등의 서술은 포함할 수 있다.

여기서, 의미 특징이란 동영상 컨텐츠의 상위 레벨 의미들, 즉 사람의 인식에 의해 구분지어지는 동영상 컨텐츠가 지니고 있는 특정 이벤트 및 장면 비디오 클립을 의미한다.

동영상 분할부(14)는 특징 추출부(13)에서 추출된 의미 특징이 설정된 알고리즘 임계값을 만족하면, 추출된 의미 특징에 인접한 프레임을 분할하거나 병합하여 동영상 클립을 형성한다.

동영상 클립 저장부(15)는 동영상 분할부(14)에 의해 요약 편집된 동영상을 저장한다.

표시부(16)는 동영상 클립 저장부(15)에 요약되어 저장된 동영상 클립을 디스플레이 한다.

이에, 사용자는 필요로 하는 영상만을 짧은 시간안에 시청할 수 있어 시간을 절약할 수 있고, 사용자(시청자)들이 선호하는 일반적인 이벤트나 장면들을 선택하여 제공함으로써 보다 용이하게 동영상 정보를 획득할 수 있다.

이와 같은 구성을 갖는 이동통신 단말기의 동영상 요약 제공 방법은, (a) 입력된 동영상의 비디오 특징들을 추출하여 동영상을 의미 특징으로 세그먼트하는 단계와, (b) 상기 추출된 의미 특징이 설정된 알고리즘 임계값을 만족하면, 추출된 의미 특징에 인접한 프레임을 분할하거나 또는 병합하여 동영상 클립을 형성하는 단계 및 (c) 상기 형성된 동영상 클립을 저장하여 추출된 특정 부분만을 디스플레이 하는 단계로 이루어진다.

이와 같이 구성된 본 발명의 작용을 더욱 상세히 설명하면 다음과 같다.

도 2에 도시된 바와 같이, 이동통신 단말기는 서비스 제공자에 의해 제공(S100)되는 동영상을 동영상 저장부(12)에 저장하거나 실시간으로 수신되는 동영상을 특징 추출부(13)를 통해 의미 특징 세그먼트 한다(S110).

여기서, 특징 추출부(13)는 입력된 동영상의 모션 강도, HSV 칼라 정보 또는 균질 질감으로부터 비디오 특징을 추출하고, 비디오 특징을 이용하여 동영상을 이벤트나 장면으로 세그먼트한다.

이 후, 동영상 분할부(14)에서는 특징 추출부(13)에서 추출된 의미 특징이 설정된 알고리즘 임계값을 만족하는가를 판단한다(S120). 설정된 알고리즘 값은 일 반적인 사용자의 선호도 정보를 통해서 판단하는 항목들 동영상의 컨텐츠 장르, 타이틀, 시간, 주인공, 주요장면이다.

그런 다음, 이렇게 추출된 의미 특징에 인접한 프레임을 분할하거나 또는 병합하여 동영상 클립을 형성하고(S130), 동영상 클립 저장부(15)에 저장한다(S140). 이 후, 요약 저장된 동영상 클립을 표시부(16)에 디스플레이 한다.

이러한, 특징 추출부(13) 및 동영상 분할부(14)를 통해 동영상의 특징을 추출하는 방법을 도 3을 참조하여 상세히 설명한다.

도 3에 도시된 바와 같이, 이동통신 단말기(10)의 특징 추출부(13)는 일반적으로 사용자들의 요구에 맞는 비디오 요약을 생성하기 위하여 각각의 컨텐츠들에 대한 의미 특징들을 추출한다. 먼저, 동영상 컨텐츠가 입력되면(S200) 전체 컨텐츠에 대해서 V프레임을 검출한다(이에 따른 식은 일반적인 것으로 생략한다.)(S210). 그런 다음, 프레임을 검출하여 인접한 두개의 프레임간의 특징값들의 차이가 임계값 이상이면 샷 변이가 일어난 것으로 판단한다.

그런 다음, 프렘임 단위로 장면이나 이벤트를 분류하기 위해서 각 프렘임들의 하위레벨의 오디오 및 비주얼 특징을 추출한다(S220). 추출하는 오디오 특징은 기본 주파수(fundamental frequency), 오디오 파워(audio power), 오디오 스펙트럼 편차(audio spectrum deviation), 하모닉 스펙트럼 중심값(harmonic spectrum centroid), 하모닉 스펙트럼 편차값(harmonic spectrum deviation) 이다. 추출하는 비주얼 특징은 모션 강도(motion activity), HSV 칼라정보(HSV color), 균질(homogeneous texture), 그리고 카메라 모션(camera motion)값이 된다.

오디오 특징값을 기반으로 연속되는 프레임들 중 유사한 오디오 특징값들을 갖는 프렘임들을 하나의 프레임으로 통합한다.

인접한 프레임들을 하나의 프레임으로 통합하는 식은 일반적인 것으로 생략한다.

이렇게 인접 프레임들 간에 오디오 특징값의 차이가 임계값 이하인 경우 하나의 프레임으로 보고 병합한다. 즉, 인접한 두 프레임간에 오디오 특징값의 차이가 일정값 이하이면 두 프레임간의 유사한 오디오 정보를 가지고 있다고 판단하고 두 프레임을 하나의 이벤트나 장면으로 규정하여 하나의 프레임으로 병합한다(S230).

동영상의 장르 종류와 추출된 프레임의 길이 정보와 하위레벨의 오디오 및 비주얼 특징을 입력으로 하여 컨텐츠 기반의 분류기(classifier)를 통해 각 프레임들이 해당되는 이벤트나 장면들을 검출하고, 컨텐츠 기반의 분류기는 각 장르마다 다른 이벤트나 장면을 검출한다. 각 분류기는 미리 설정된 이벤트나 장면들에 대해서 특징값을 지니고 있어, 입력된 특징 값들과 유클리안 거리 측정을 통해서 가장 가까운 이벤트나 장면으로 검출된다.

이러한 과정을 통해 수신된 동영상에 대한 특징들을 출력하여 동영상 클립을 형성한 후, 동영상 클립 저장부에 저장한다(S240).

이와 같이, 이동통신 단말기에서 동영상을 요약하여 제공함으로써 신속하게 영상정보를 획득할 수 있어 시간 절약의 효과가 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 또한 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형실시가 가능한 것을 물론이고, 그와 같은 변경은 기재된 청구범위 내에 있게 된다.

위와 같이 설명된 본 발명에 따르면, 이동통신 단말기로 수신되는 동영상을 사용자가 선호하는 이벤트나 장면들만을 추출하여 제공함으로 보다 신속하게 영상 정보를 획득할 수 있다.

Claims

동영상 표시 기능을 제공하는 이동통신 단말기에 있어서,

상기 이동통신 단말기에 저장된 동영상 혹은 상기 이동통신 단말기가 수신하는 동영상으로부터 상기 동영상의 의미 특징을 이용하여 사용자가 선호하는 특정 장면들을 추출하고, 동영상 클립으로 요약 저장하는 동영상의 요약 제공 가능한 이동통신 단말기.
제 1 항에 있어서,

상기 입력된 동영상을 클립으로 요약하는 이동통신 단말기는

상기 동영상의 비디오 특징들을 추출하여 동영상을 의미 특징으로 세그먼트하는 특징 추출부;

상기 특징 추출부에서 추출된 의미 특징이 설정된 알고리즘 임계값을 만족하면, 추출된 의미 특징에 인접한 프레임을 분할하거나 병합하여 동영상 클립을 형성하는 동영상 분할부; 및

상기 동영상 분할부에서 형성된 동영상 클립을 저장하는 동영상 클립 저장부를 포함하여 구성되는 것을 특징으로 하는 동영상의 요약 제공이 가능한 이동통신 단말기.
제 2 항에 있어서,

상기 특징 추출부는 상기 동영상에서 모션 강도, HSV 칼라 정보 또는 균질 질감으로부터 비디오 특징을 추출하고, 상기 비디오 특징을 이용하여 동영상을 이벤트나 장면으로 세크먼트하는 것을 특징으로 하는 동영상의 요약 제공이 가능한 이동통신 단말기.
동영상 표시 기능을 제공하는 이동통신 단말기의 동영상 요약 제공 방법에 있어서,

상기 이동통신 단말기에 저장된 동영상 혹은 상기 이동통신 단말기가 수신하는 동영상으로부터 상기 동영상의 의미 특징을 이용하여 사용자가 선호하는 특정 장면들을 추출하고, 동영상 클립으로 요약 저장하는 것을 특징으로 하는 이동통신 단말기의 동영상 요약 제공 방법.
제 4 항에 있어서,

상기 이동통신 단말기로 입력된 동영상을 클립으로 요약 제공하는 방법은

(a) 입력된 동영상의 비디오 특징들을 추출하여 동영상을 의미 특징으로 세그먼트하는 단계;

(b) 상기 추출된 의미 특징이 설정된 알고리즘 임계값을 만족하면, 추출된 의미 특징에 인접한 프레임을 분할하거나 또는 병합하여 동영상 클립을 형성하는 단계; 및

(c) 상기 형성된 동영상 클립을 저장하여 추출된 특정 부분만을 디스플레이 하는 단계로 이루어지는 것을 특징으로 하는 이동통신 단말기의 동영상 요약 제공 방법.
제 5 항에 있어서,

상기 (a)단계는 입력된 동영상의 모션 강도, HSV 칼라 정보 또는 균질 질감으로부터 비디오 특징을 추출하고, 상기 비디오 특징을 이용하여 동영상을 이벤트나 장면으로 세그먼트하는 것을 특징으로 하는 이동통신 단말기의 동영상 요약 제공 방법.