KR100464076B1 - 동영상 비디오 브라우징 방법과 장치 - Google Patents

동영상 비디오 브라우징 방법과 장치 Download PDF

Info

Publication number
KR100464076B1
KR100464076B1 KR10-2001-0088261A KR20010088261A KR100464076B1 KR 100464076 B1 KR100464076 B1 KR 100464076B1 KR 20010088261 A KR20010088261 A KR 20010088261A KR 100464076 B1 KR100464076 B1 KR 100464076B1
Authority
KR
South Korea
Prior art keywords
video
scene
keyframe
list
content
Prior art date
Application number
KR10-2001-0088261A
Other languages
English (en)
Other versions
KR20030059401A (ko
Inventor
전성배
윤경로
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2001-0088261A priority Critical patent/KR100464076B1/ko
Priority to US10/263,049 priority patent/US20030122861A1/en
Publication of KR20030059401A publication Critical patent/KR20030059401A/ko
Application granted granted Critical
Publication of KR100464076B1 publication Critical patent/KR100464076B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 동영상 비디오의 브라우징 방법과 그 장치에 관한 것이다.
본 발명은 씬의 내용을 표현하기 위한 씬 키프레임들의 리스트를 디스플레이하고, 각 씬의 세부 내용을 표현하기 위한 하나 이상의 키프레임으로 구성된 씬 구조 키프레임 리스트와 샷 키프레임 뷰어를 디스플레이하고, 상기 선택된 키프레임이 대표하는 구간을 재생하는 동영상 뷰어를 포함하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하는 동영상 비디오 브라우징 방법이다.
또한 본 발명은 멀티미디어 콘텐트의 재생과 구조 및 내용이 동시에 표현 가능한 인터페이스를 표시하기 위한 비디오 브라우징 인터페이스수단과, 인덱스 정보를 이용하여 미디어 재생을 제어하고 사용자 요구에 응하여 비선형적인 비디오 브라우징 제어를 수행하는 제어수단과, 비디오 브라우징을 위한 사용자 입력수단과, 브라우징을 위한 미디어 파일을 제공하는 미디어 파일 저장수단과, 상기 미디어 파일 각각에 대한 씬/샷 구조와 그에 연결된 키프레임 구조와 시간 정보가 인덱스되어 저장된 인덱스 정보 저장수단으로 구성된 동영상 비디오 브라우징 장치이다.

Description

동영상 비디오 브라우징 방법과 장치{VIDEO BROWSING SYSTEM BASED ON KEYFRAME}
본 발명은 동영상 비디오의 브라우징 방법과 그 장치에 관한 것이다.
비선형적인 비디오 콘텐트 브라우징(non-linear video content browsing)과 검색을 위하여 가장 기본이 되는 기술은 샷 분할(shot segmentation)과 샷 클러스터링(shot clustering) 기법이다. 비디오 인덱싱 기술은 비디오를 구조적으로 분석하여 샷과 씬을 검출하고 이를 바탕으로 하여 단위 세그먼트인 샷 또는 씬을 대표할 수 있는 키 프레임(key frame)들을 추출하여 각각의 샷이나 씬을 대표하고 비디오 요약을 위한 자료로 활용하거나 원하는 위치로 이동하기 위한 수단으로 사용하고 있다.
종래에 비디오 콘텐트의 전체 내용을 일목요연하게 전달하고 이를 기반으로 하여 비디오를 요약하거나 원하는 위치로 이동하기 위한 기법으로 키프레임 기반의 브라우징 인터페이스 기법이 제안되고 있다.
일반적으로 키프레임은 샷 또는 씬단위를 기준으로 추출된다. 가장 기본적인 스토리보드 형태의 인터페이스는 일반적으로 비디오의 편집 단위인 샷을 기준으로 키프레임을 추출하고 이를 일차원적인 인터페이스에 디스플레이하며, 각각의 키프레임은 비디오 콘텐트에서 시작 시간과 종료 시간을 그 속성 값으로 갖고, 이러한 인터페이스를 이용하여 사용자가 원하는 위치로 현재의 시청 위치를 이동하거나, 원격지에 저장된 비디오 콘텐트에서 원하는 부분만을 다운로드 받을 수 있다.
그러나, 기존의 일차원적인 스토리 보드 인터페이스는 전체 내용을 전달하기 위하여 한번에 디스플레이 되어야 하는 키프레임의 수가 많고, 영화나 드라마와 같은 장르의 콘텐트에서는 씬마다 비슷한 장면들이 반복되기 때문에 사용자에게 불필요한 많은 정보를 제공함으로써 오히려 사용자가 원하는 장면을 쉽게 찾기 어려운 단점이 있다. 또한 키프레임의 수가 많아서 제한된 디스플레이 공간에 많은 내용을 표현하기 어려운 단점이 있다.
이러한 단점을 보완하기 위하여 비디오 콘텐트에서 여러 가지 샷의 특성을 분석하고 이를 바탕으로 논리적인 씬을 검출하고 각각의 씬과 샷을 키프레임으로 대표하여 하나의 인터페이스에 제공하는 TOC(Table Of Contents) 인터페이스가 소개되었다. TOC 인터페이스는 비디오 콘텐트에서 씬과 샷을 대표하는 키프레임들을 추출하고, 이를 트리 형태의 인터페이스로 제공함으로써 사용자가 원하는 부분을 씬을 대표하는 키프레임들에서 검색하고 좀더 자세히 보고 싶은 부분은 샷 레벨까지 확장하여 실제로 원하는 부분으로 이동하는 수단을 제공한다.
이러한 TOC 인터페이스는 비디오 콘텐트의 구조와 내용을 동시에 표현 가능한 인터페이스이다. 그러나 TOC인터페이스는 키보드 또는 마우스와 같은 복잡한 인터페이스가 제공되는 환경에서는 좋은 인터페이스이지만, TV 또는 이동 단말기를 사용하는 환경에서는 이러한 복잡한 인터페이스가 사용자의 이용의 편리성을 저해하기 때문에 좋은 인터페이스가 아니다. 또한 TOC 인터페이스에서는 하나의 키프레임으로부터 하위 구조에 사용자가 실제 자신이 선택하고자 하는 샷이 존재하는지, 또는 실제로 취사 선택하기 위한 씬인지를 판단하여야 하기 때문에 사용의 어려움이 있다.
본 발명은 디지털 비디오 환경에서 비디오 콘텐트의 내용과 구조적인 정보를 동시에 전달 가능하고, 원하는 지점으로 쉽게 이동할 수 있도록 한 비디오 브라우징 방법과 장치를 제공함을 목적으로 한다.
본 발명은 일차원 스토리보드 인터페이스나 TOC인터페이스와 같은 기존의 키프레임 인터페이스에서 내용 전달의 미흡성이나, 한번에 디스플레이되는 키프레임의 개수 제한성, 내용 표현의 모호성, 사용의 불편성을 해소하고 TV나 이동 단말기 장치에도 쉽게 적용될 수 있는, 비디오 콘텐트의 구조와 내용이 동시에 전달 가능하며 원하는 지점으로 쉽게 이동할 수 있도록 하는 비디오 브라우징 방법과 그 장치를 제공함을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은, 물리적인 편집 단위인 샷의 하나 이상의 연속적인 시퀀스로 정의되는 씬의 내용을 표현하기 위한 씬 키프레임들의 리스트를 디스플레이하고, 각 씬의 세부 내용을 표현하기 위한 하나 이상의 키프레임으로 구성된 씬 구조 키프레임 리스트를 디스플레이하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하는 동영상 비디오 브라우징 방법을 제공한다.
또한 상기 목적을 달성하기 위하여 본 발명은, 물리적인 편집 단위인 샷의 하나 이상의 연속적인 시퀀스로 정의되는 씬의 내용을 표현하기 위한 씬 키프레임들의 리스트를 디스플레이하고, 각 씬의 세부 내용을 표현하기 위한 하나 이상의 키프레임으로 구성된 씬 구조 키프레임 리스트를 디스플레이하고, 상기 씬 키프레임 리스트에서 선택된 키프레임이 대표하는 구간을 재생하는 동영상 뷰어를 포함하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하는 동영상 비디오 브라우징 방법을 제공한다.
또한 상기 목적을 달성하기 위하여 본 발명은, 물리적인 편집 단위인 샷의 하나 이상의 연속적인 시퀀스로 정의되는 씬의 내용을 표현하기 위한 씬 키프레임들의 리스트를 디스플레이하고, 각 씬의 세부 내용을 표현하기 위한 하나 이상의 키프레임으로 구성된 씬 구조 키프레임 리스트와 샷 키프레임 리스트를 디스플레이하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하는 동영상 비디오 브라우징 방법을 제공한다.
또한 상기 목적을 달성하기 위하여 본 발명은, 물리적인 편집 단위인 샷의 하나 이상의 연속적인 시퀀스로 정의되는 씬의 내용을 표현하기 위한 씬 키프레임들의 리스트를 디스플레이하고, 각 씬의 세부 내용을 표현하기 위한 하나 이상의 키프레임으로 구성된 씬 구조 키프레임 리스트와 샷 키프레임 리스트를 디스플레이하고, 상기 씬 키프레임 리스트나 샷 키프레임 리스트에서 선택된 키프레임이 대표하는 구간을 재생하는 동영상 뷰어를 포함하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하는 동영상 비디오 브라우징 방법을 제공한다.
또한 상기 목적을 달성하기 위하여 본 발명은, 멀티미디어 콘텐트를 재생하고 구조와 내용이 동시에 표현 가능한 인터페이스를 표시하기 위한 비디오 브라우징 인터페이스수단과, 인덱스 정보를 이용하여 미디어 재생을 제어하고 사용자 요구에 응하여 비선형적인 비디오 브라우징 제어를 수행하는 제어수단과, 비디오 브라우징을 위한 사용자 입력수단과, 브라우징을 위한 미디어 파일을 제공하는 미디어 파일 저장수단과, 상기 미디어 파일 각각에 대한 씬/샷 구조와 그에 연결된 키프레임 구조와 시간 정보가 인덱스되어 저장된 인덱스 정보 저장수단을 포함하여 이루어지는 것을 특징으로 하는 동영상 비디오 브라우징 장치를 제공한다.
도1은 본 발명의 동영상 비디오 브라우징 방법의 제1실시예를 설명하기 위한 브라우징 인터페이스의 예를 나타낸 도면
도2는 본 발명의 동영상 비디오 브라우징 방법의 제2실시예를 설명하기 위한 브라우징 인터페이스의 예를 나타낸 도면
도3은 본 발명의 동영상 비디오 브라우징 방법의 제3실시예를 설명하기 위한 브라우징 인터페이스의 예를 나타낸 도면
도4는 본 발명의 동영상 비디오 브라우징 방법의 제4실시예를 설명하기 위한 브라우징 인터페이스의 예를 나타낸 도면
도5는 본 발명의 동영상 비디오 브라우징 장치의 구성을 나타낸 도면
본 발명의 동영상 비디오 브라우징 시스템에 따르면 사용자 인터페이스는 기본적으로 씬 키프레임 리스트와 선택된 씬에 대한 씬 구조 키프레임 리스트로 구성된다. 본 발명에서는 씬의 정의를 물리적인 편집 단위인 샷의 하나 이상의 연속적인 시퀀스로 정의한다. 본 발명에서 씬 키프레임 리스트는 각각의 씬을 키프레임으로 대표하고, 해당 키프레임들을 시간 순서로 배열함으로써 이루어진다. 즉, 씬 키프레임 리스트는 키프레임의 나열이며, 각각의 키프레임은 하나의 씬을 대표하는 키프레임이다. 그리고 상기 씬 구조 키프레임 리스트는 선택된 또는 현재 디스플레이중인 씬의 내용을 좀더 자세하게 나타내기 위하여 씬 키프레임 이외에 부가적으로 키프레임을 제공하는 뷰이다.
상기 씬 키프레임 리스트와 씬 구조 키프레임 리스트는 사용자의 이해의 용이성을 확보하기 위하여 직교하는 인터페이스로 구성되는 것이 바람직하다.
도1은 본 발명의 제1실시예로 씬 키프레임 리스트와 선택된 씬에 대한 씬구조 키프레임 리스트로 구성된 씬 구조와 내용이 동시에 표현 가능한 구조적 비디오 브라우저의 사용자 인터페이스를 도식화 한 것이다.
도1에 나타낸 본 발명 제1실시예에 따르면, 씬의 내용을 표현하기 위한 씬 키프레임들의 리스트(1)를 디스플레이하고, 각 씬의 세부 내용을 표현하기 위한 하나 이상의 키프레임으로 구성된 씬 구조 키프레임 리스트(2)를 디스플레이하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하고 있다.
도1의 인터페이스에서는 씬 키프레임 리스트(1)가 가로축으로, 선택된 씬에 대한 씬 구조 키프레임 리스트(2)가 세로축으로 제공되었으나, 반대의 경우도 가능하다. 씬 키프레임 리스트(1)는 대강의 내용을 대표하기 위한 인터페이스로 각각의 씬을 하나의 키프레임으로 대표하며, 각각의 씬이 시간 순서로 배열된 것이다. 사용자는 씬 키프레임 인터페이스를 이용하여 시청을 원하는 씬이 어느 부분인지를 판단하고 해당 위치로 쉽게 이동할 수 있다.
씬 구조 키프레임 리스트(2)는 씬에서 중요한 키프레임들을 선택하여 이를 제한된 공간에 표현하기 위한 수단으로서, 선택된 씬의 내부 구성을 몇개의 키프레임으로 대표하는 키프레임 리스트이다. 씬 구조 키프레임 리스트(2)에 디스플레이될 키프레임들은 선택된 씬에서 추출된 키프레임으로서, 이 씬 구조 키프레임 리스트(2)에 디스플레이될 키프레임들을 선택하는 방법은 여러 가지가 있으나, 영화나 드라마의 경우에는 하나의 씬에서 비슷한 장면이 여러 번 반복되는데 이러한 반복성을 기준으로 반복되는 샷들을 하나의 키프레임으로 대표하고, 이를 반복의 횟수나 각각의 반복단위의 러닝타임이 긴 것을 기준으로 하여 선택하는 방법을 이용할 수도 있고, 하나의 씬에서 샷의 반복성이 적은 뉴스나 스포츠 비디오에서는 샷의 정지성 또는 샷의 러닝타임을 기준으로 디스플레이될 키프레임을 선택할 수 있다.
도1의 인터페이스에서 사용자는 두개의 키(key)만을 사용하여도 좌우로 이동하면 씬 단위의 이동을 쉽게 할 수 있으며, 선택된 씬에 대하여서는 씬 구조 키프레임 리스트(2)가 제공되므로 대강의 씬의 내용을 한꺼번에 알 수 있기 때문에 원하는 씬으로 쉽게 이동할 수 있다. 또한 사용자는 씬 키프레임 리스트(1)의 키프레임을 선택함으로써 하나의 씬 내부에서 각 키프레임이 대표하는 세그먼트로 이동하는 보다 자세한 레벨의 비선형적인 비디오 브라우징이 가능하다. 즉, 씬 키프레임리스트(1)의 키프레임을 선택하면 그 키프레임이 대표하는 씬의 처음 장면부터 재생한다. 이를 위하여 각각의 씬은 미디어의 시작 시간을 기준으로 하여 각각의 씬의 시작 시간과 종료 시간 정보가 키프레임과 연결된 인덱스 정보를 이용한다.
이러한 인터페이스는 제한된 공간에 함축적으로 씬의 내용을 전달하여, 사용자가 원하는 위치로 쉽게 재생 위치를 변경하거나 전체 내용을 한번에 이해할 수 있는 수단을 제공한다.
도1에서의 인터페이스는 키프레임 선택단계와 비디오 브라우징 단계가 동시에 제공되지 않는 인터페이스를 설명하였다. 그러나 경우에 따라서는 키프레임 인터페이스와 동영상 브라우징 인터페이스가 동시에 제공되는 것이 사용자에게 편리할 수 있다. 본 발명 제2실시예로서 도2는 동영상 브라우징 인터페이스가 씬 구조와 내용이 동시에 표현 가능한 구조적 비디오 브라우저의 사용자 인터페이스에 함께 포함된 인터페이스이다.
즉, 도2의 인터페이스는 씬 키프레임 리스트(1)와 선택된 씬에 대한 씬구조 키프레임 리스트(2), 동영상 뷰어(3)로 구성된다. 이러한 사용자 인터페이스에서는 씬이 선택되면 동영상 뷰어(3)에서는 해당 씬의 처음 위치부터 미디어가 재생된다.
도2에 나타낸 본 발명 제2실시예에 따르면, 씬의 내용을 표현하기 위한 씬 키프레임들의 리스트(1)를 디스플레이하고, 각 씬의 세부 내용을 표현하기 위한 하나 이상의 키프레임으로 구성된 씬 구조 키프레임 리스트(2)를 디스플레이하고, 상기 씬 키프레임 리스트(1)에서 선택된 키프레임이 대표하는 구간을 재생하는 동영상 뷰어(3)를 포함하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하고 있다.
도2의 본 발명 제2실시예에 따른 동영상 비디오 브라우징 방법은 앞서 설명한 도1의 본 발명 제1실시예에 따른 동영상 비디오 브라우징 방법과 동일하며, 다만 동영상 뷰어(3)를 동시에 한 화면에 포함함으로써, 사용자에 의해서 특정한 씬이 선택되면(즉, 그 씬을 대표하는 씬 키프레임이 선택되면) 동영상 뷰어(3)에서는 해당 씬의 처음 위치부터 미디어를 재생하여 디스플레이하는 것을 특징으로 한다.
도3은 본 발명의 제3실시예로서, 씬 키프레임 리스트(1)와 선택된 씬에 대한 씬구조 키프레임 리스트(2) 이외에 샷 키프레임 리스트(4)가 함께 제공되는 경우의 사용자 인터페이스를 도식화 한 것이다.
이 인터페이스는 디스플레이 공간의 여유가 있는 경우에 선택된 씬에 대한 샷 키프레임 리스트(4)를 제공함으로써, 사용자가 좀더 확실히 전체 내용을 이해할 수 있으며, 좀더 세분화된 단위의 비선형적인 비디오 접근이 가능한 장점이 있다.
도3에 나타낸 본 발명 제3실시예에 따르면, 씬의 내용을 표현하기 위한 씬 키프레임들의 리스트(1)를 디스플레이하고, 각 씬의 세부 내용을 표현하기 위한 하나 이상의 키프레임으로 구성된 씬 구조 키프레임 리스트(2)와 샷 키프레임 리스트(4)를 디스플레이하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하고 있다.
여기서, 샷 키프레임 리스트(4)는 선택된 씬에 대한 각각의 샷들을 시간 순서로 배열하고, 각각의 샷을 하나의 키프레임으로 대표하여 디스플레이 하는 뷰를 말한다. 도3의 본 발명 제3실시예에 따른 동영상 비디오 브라우징 방법은 앞서 설명한 도1의 본 발명 제1실시예에 따른 동영상 비디오 브라우징 방법과 동일하며, 다만 샷 키프레임 리스트(4)를 포함함으로써, 사용자는 샷 키프레임 리스트(4)에 디스플레이된 키프레임들을 보고 씬의 대략적인 이야기 구조를 이해할 수 있으며, 더 나아가서 씬 단위의 비선형적인 접근은 물론이고, 샷 단위의 비 선형적인 접근도 제공할 수 있다. 즉, 샷 키프레임 리스트(4)의 키프레임을 선택하면 해당 샷의 첫 장면부터 동영상을 재생하여 디스플레이하는 것이다.
도4는 본 발명의 제4실시예로써 씬 키프레임 리스트(1)와 선택된 씬에 대한 씬 구조 키프레임 리스트(2), 동영상 뷰어(3), 샷 키프레임 리스트(4)가 하나의 인터페이스에 통합된 형태의 동영상 브라우징 인터페이스를 보여준다. 이러한 인터페이스는 디스플레이 공간의 여유가 많은 경우에 제공 가능한 인터페이스이며, 앞선 제1실시예, 제2실시예, 제3실시예의 장점을 모두 수용한 인터페이스이다.
도4의 본 발명 제4실시예에서 동영상 뷰어(3)는 씬 키프레임 리스트(1)의 키프레임을 선택하거나, 샷 키프레임 리스트(4)의 키프레임을 선택할 때 그 선택된 키프레임이 대표하는 구간의 시작 위치로부터 미디어를 재생하여 디스플레이 해 줄 수 있다. 즉, 씬 키프레임 리스트의 키프레임을 선택하면 해당 씬의 처음 장면부터 재생하고, 샷 키프레임 리스트의 키프레임을 선택하면 해당 샷의 첫 장면부터 재생한다.
도5는 본 발명 씬구조와 내용이 동시에 표현 가능한 구조적 비디오 브라우징 인터페이스를 채용한 비디오 브라우징 시스템 구성의 실시예이다. 시스템은 비디오 브라우징 인터페이스부(11) 및 제어 모듈부(12), 입력 장치부(13)를 포함하며, 독립 시스템인 경우에는 인덱스 구조부(14)와 미디어 파일부(15)가 시스템에 포함되고, 그렇지 않은 경우(서버-클라이언트 환경을 예로 들 수 있다)에는 인덱스 구조부(14)와 미디어 파일부(15)는 서버 시스템에 존재할 수 있다.
비디오 브라우징 인터페이스부(11)는 미디어를 재생하거나 사용자 인터페이스를 디스플레이 하는 장치이며, 제어 모듈(12)은 미디어의 재생을 담당하고, 입력장치에서 발생하는 사용자의 요구를 수용하여 미디어의 재생 방법이나 인터페이스를 제어하는 역할을 담당한다. 입력장치부(13)는 사용자의 입력을 제어 모듈(12)에 전달하는 장치로, 키보드, 리모콘, 마우스 등의 장치가 될 수 있다. 미디어 파일부(15)는 멀티미디어 데이터 파일 또는 그 저장장치를 의미하며, 인덱스 구조부(14)는 미디어 파일에 대한 씬/샷에 해당하는 구조적 정보가 인덱스 되어 있는 부분이며, 키프레임 정보도 포함하고, 이 정보들이 저장된 저장장치를 의미할 수도 있다.
제어 모듈(12)은 선택된 미디어 파일의 정보를 로딩하여, 연결된 인덱스 구조를 준비한다. 사용자가 씬구조와 내용이 동시에 표현 가능한 구조적 비디오 브라우징 인터페이스를 요구하면 해당 인터페이스를 비디오 브라우징 인터페이스(11)에 디스플레이 한다. 이때, 제어 모듈(12)은 인덱스 구조부(14)의 인덱스 구조정보에 명시된 씬/샷 구조와 해당 키프레임을 이용하여 도1 내지 도4에서 설명한 바와 같은 구조적 비디오 브라우징 인터페이스를 제공한다.
사용자는 비디오 브라우징 인터페이스에 디스플레이되는 씬구조와 내용이 동시에 표현 가능한 구조적 비디오 브라우징 인터페이스에서 대강의 콘텐트의 내용과이야기 구조를 이해할 수 있으며 입력 장치부(13)를 이용하여 원하는 씬으로 이동할 수 있으며, 세부적인 샷 키프레임 뷰를 이용하여 세부적으로 원하는 위치로 쉽게 이동할 수 있다. 사용자의 요구가 입력되면 제어 모듈(12)은 사용자의 요구를 해석하고 해당 인덱스 구조를 이용하여 미디어 파일부(15)의 해당 미디어 파일의 현재 위치를 재조정한 후 이를 비디오 브라우징 인터페이스(11)에 출력하는 방식으로 미디어 파일의 비선형적인 브라우징 기능을 제공한다.
본 발명의 동영상 비디오 브라우징 시스템에 따르면, 기존의 일차원 스토리 보드 인터페이스가 콘텐트에 대한 너무 자세한 뷰만을 제공하거나 많은 수의 키프레임을 제한된 공간에 표현하기 어려운 단점 등을 보완하고, TOC 인터페이스의 사용 복잡성을 동시에 극복하기 위한 인터페이스로, 간단한 이차원 공간에 씬의 구조와 내용을 동시에 표현 가능한 인터페이스를 제공할 수 있다.
또한, 사용자는 디스플레이된 키프레임들로부터 직관적으로 콘텐트의 대강의 내용을 이해할 수 있고, 관심 있는 키프레임을 선택함으로써 원하는 위치로 쉽게 이동할 수 있는 장점이 있다. 또한 본 발명의 인터페이스를 이용하면 키프레임간의 네비게이션이 소수의 키만으로 구현이 가능하므로 TV 리모콘 등에 쉽게 적용될 수 있으며 입력 수단이 제한되는 소형 단말기에도 적용이 가능하다. 또한 본 발명의 인터페이스는 단순한 브라우징 용도 뿐만 아니라 비디오 편집을 위한 인터페이스로도 활용이 가능하다. 본 발명의 인터페이스는 독립 시스템에서 사용이 가능하며, 클라이언트-서버 환경에서는 클라이언트 장치에서 활용이 가능하다.

Claims (17)

  1. 하나 이상의 샷의 연속적인 시퀀스로 정의되는 씬의 내용을 표현하기 위한 씬 키프레임들의 리스트를 디스플레이하고, 각 씬의 세부 내용을 표현하기 위한 하나 이상의 키프레임으로 구성된 씬 구조 키프레임 리스트를 디스플레이하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하는 동영상 비디오 브라우징 방법.
  2. 제 1 항에 있어서, 상기 씬 또는 키프레임 선택 시에 해당 동영상 구간을 재생하여 디스플레이하는 동영상 뷰어를 더 포함하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하는 동영상 비디오 브라우징 방법.
  3. 제 1 항에 있어서, 상기 씬 구조 키프레임 리스트에서 선택된 키프레임이 대표하는 동영상 구간의 샷 키프레임 리스트를 함께 디스플레이하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하는 동영상 비디오 브라우징 방법.
  4. 제 1 항에 있어서, 상기 씬 또는 키프레임 선택 시에 해당 동영상 구간을 재생하여 디스플레이하는 동영상 뷰어와 상기 씬 구조 키프레임 리스트에서 선택된 키프레임이 대표하는 동영상 구간의 샷 키프레임 리스트를 함께 디스플레이하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하는 동영상 비디오브라우징 방법.
  5. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서, 상기 씬 키프레임 리스트는 각각의 씬을 대표하는 키프레임 리스트로서 표현되고, 이 씬들이 시간 순서로 배열된 것을 특징으로 하는 동영상 비디오 브라우징 방법.
  6. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서, 상기 씬 구조 키프레임 리스트는 씬의 내부 구성을 대표하는 키프레임 리스트로서 표현되는 것을 특징으로 하는 동영상 비디오 브라우징 방법.
  7. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서, 상기 씬 키프레임 리스트와 씬 구조 키프레임 리스트는 서로 직교하여 디스플레이되는 것을 특징으로 하는 동영상 비디오 브라우징 방법.
  8. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서, 상기 씬은 미디어의 시작 시간을 기준으로 하여 각각의 씬의 시작 시간과 종료 시간정보가 키프레임과 연결된 인덱스 정보를 이용하여 비디오 콘텐트의 구조와 내용을 동시에 표현하는 것을 특징으로 하는 동영상 비디오 브라우징 방법.
  9. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서, 상기 씬 키프레임 리스트의 키프레임을 선택함으로써 씬 단위의 비선형적인 비디오 브라우징이 이루어지는 것을 특징으로 하는 동영상 비디오 브라우징 방법.
  10. 제 3 항 또는 제 4 항에 있어서, 상기 샷 키프레임 리스트에서 키프레임을 선택함으로써 샷 단위의 비선형적인 비디오 브라우징이 이루어지는 것을 특징으로 하는 동영상 비디오 브라우징 방법.
  11. 제 2 항 또는 제 4 항에 있어서, 상기 동영상 뷰어는 선택된 씬의 첫 위치부터 자동으로 미디어를 재생하여 디스플레이함을 특징으로 하는 동영상 비디오 브라우징 방법.
  12. 제 3 항 또는 제 4 항에 있어서, 상기 샷 키프레임 리스트는 선택된 씬의 내부 구조인 샷들을 시간 순서로 표시하며 각각의 샷들을 대표하는 키프레임으로 표현되는 것을 특징으로 하는 동영상 비디오 브라우징 방법.
  13. 제 6 항에 있어서, 상기 씬 구조 키프레임 리스트에 디스플레이되는 키프레임들은 반복되는 장면을 키프레임으로 선정하거나, 러닝 타임이 긴 샷을 대표하는 키프레임을 우선적으로 디스플레이하는 것을 특징으로 하는 동영상 비디오 브라우징 방법.
  14. 멀티미디어 콘텐트의 재생제어 및, 비디오 콘텐트의 구조와 내용이 씬 키프레임 리스트와 씬 구조 키프레임 리스트를 이용하여 동시에 표현 가능한 인터페이스를 표시하기 위한 비디오 브라우징 인터페이스수단과, 인덱스 정보를 이용하여 미디어 재생을 제어하고 사용자 요구에 응하여 상기 씬 키프레임 리스트와 씬 구조 키프레임 리스트를 기반으로 비선형적인 비디오 브라우징 제어를 수행하는 제어수단과, 비디오 브라우징을 위한 사용자 입력수단과, 브라우징을 위한 미디어 파일을 제공하는 미디어 저장수단과, 상기 미디어 파일 각각에 대하여 씬 키프레임 리스트와 씬 구조 키프레임 리스트를 기반으로 하는 브라우징을 포함하는 비디오 브라우징을 위한 씬/샷 구조와 그에 연결된 키프레임 구조와 시간 정보가 인덱스되어 저장된 인덱스 정보 저장수단; 을 포함하여 이루어지는 것을 특징으로 하는 동영상 비디오 브라우징 장치.
  15. 제 14 항에 있어서, 상기 씬 키프레임 리스트와 씬 구조 키프레임 리스트와 함께 동영상 브라우징 인터페이스 수단을 포함하여, 비디오 콘텐트의 구조와 내용을 동시에 표현하고, 상기 선택된 씬이나 키프레임이 대표하는 동영상 구간을 디스플레이하는 것을 특징으로 하는 동영상 비디오 브라우징 장치.
  16. 제 14 항에 있어서, 상기 씬 키프레임 리스트와 씬 구조 키프레임 리스트와 함께, 선택된 씬의 내부 구조인 샷들을 대표하는 샷 키프레임 리스트를 디스플레이하여 비디오 콘텐트의 구조와 내용을 동시에 표현하고 브라우징할 수 있음을 특징으로 하는 동영상 비디오 브라우징 장치.
  17. 제 14 항에 있어서, 동영상 비디오 브라우징을 위하여 서버-클라이언트 환경을 기반으로 할 때, 상기 미디어 저장수단이나 인덱스 정보 저장수단이 서버에 위치하여 통신망을 통해 해당 정보를 클라이언트에 제공하는 것을 특징으로 하는 동영상 비디오 브라우징 장치.
KR10-2001-0088261A 2001-12-29 2001-12-29 동영상 비디오 브라우징 방법과 장치 KR100464076B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2001-0088261A KR100464076B1 (ko) 2001-12-29 2001-12-29 동영상 비디오 브라우징 방법과 장치
US10/263,049 US20030122861A1 (en) 2001-12-29 2002-10-01 Method, interface and apparatus for video browsing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0088261A KR100464076B1 (ko) 2001-12-29 2001-12-29 동영상 비디오 브라우징 방법과 장치

Publications (2)

Publication Number Publication Date
KR20030059401A KR20030059401A (ko) 2003-07-10
KR100464076B1 true KR100464076B1 (ko) 2004-12-30

Family

ID=19717928

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0088261A KR100464076B1 (ko) 2001-12-29 2001-12-29 동영상 비디오 브라우징 방법과 장치

Country Status (2)

Country Link
US (1) US20030122861A1 (ko)
KR (1) KR100464076B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382501B1 (ko) 2007-12-04 2014-04-10 삼성전자주식회사 동영상 촬영 편집 장치 및 방법
KR101506657B1 (ko) * 2013-10-16 2015-03-31 한양대학교 에리카산학협력단 탐색바 로딩모듈을 갖는 스마트 디스플레이를 이용한 광고 방법

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4029569B2 (ja) 2000-12-13 2008-01-09 株式会社日立製作所 ディジタル情報記録再生装置、記録装置、受信装置および送信装置
US7082572B2 (en) * 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
US7437682B1 (en) * 2003-08-07 2008-10-14 Apple Inc. Icon label placement in a graphical user interface
KR100716215B1 (ko) * 2003-08-12 2007-05-10 주식회사 아이큐브 디지털 비디오 재생장치의 재생위치 이동 시스템
JP4047264B2 (ja) * 2003-09-30 2008-02-13 株式会社東芝 動画像処理装置、動画像処理方法および動画像処理プログラム
US20050125838A1 (en) * 2003-12-04 2005-06-09 Meng Wang Control mechanisms for enhanced features for streaming video on demand systems
JP4385974B2 (ja) * 2004-05-13 2009-12-16 ソニー株式会社 画像表示方法、画像処理装置、プログラム及び記録媒体
JP4438994B2 (ja) * 2004-09-30 2010-03-24 ソニー株式会社 動画像データの編集装置および動画像データの編集方法
US7613383B2 (en) 2004-12-02 2009-11-03 Hitachi, Ltd. Editing method and recording and reproducing device
JP2006165824A (ja) * 2004-12-03 2006-06-22 Fuji Xerox Co Ltd 画像表示プログラム、画像表示方法及び画像表示装置
US7659913B2 (en) * 2004-12-17 2010-02-09 Nokia Corporation Method and apparatus for video editing with a minimal input device
JP2006303635A (ja) * 2005-04-15 2006-11-02 Sony Corp 表示装置、表示制御方法および表示制御プログラム、記録再生装置、ならびに、再生装置
JP4701958B2 (ja) * 2005-09-26 2011-06-15 ソニー株式会社 画像処理装置、画像処理方法及びそのプログラム
JP5212610B2 (ja) * 2006-02-08 2013-06-19 日本電気株式会社 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに、代表画像又は代表画像群の選択システム、その方法およびそのプログラム
KR101187787B1 (ko) * 2006-02-18 2012-10-05 삼성전자주식회사 키 프레임을 이용하여 동영상을 검색하는 방법 및 장치
US20090100339A1 (en) * 2006-03-09 2009-04-16 Hassan Hamid Wharton-Ali Content Acess Tree
WO2007110813A1 (en) * 2006-03-29 2007-10-04 Koninklijke Philips Electronics N.V. Method and apparatus for navigating through a video signal
US20070266322A1 (en) * 2006-05-12 2007-11-15 Tretter Daniel R Video browsing user interface
KR101146926B1 (ko) 2006-12-20 2012-05-22 엘지전자 주식회사 이동 단말기에서 비디오의 대표 영상 제공 방법
US7984385B2 (en) * 2006-12-22 2011-07-19 Apple Inc. Regular sampling and presentation of continuous media stream
US8788938B2 (en) * 2007-01-19 2014-07-22 Hewlett-Packard Development Company, L.P. Web-based video browsing
US8751022B2 (en) * 2007-04-14 2014-06-10 Apple Inc. Multi-take compositing of digital media assets
US20080256448A1 (en) * 2007-04-14 2008-10-16 Nikhil Mahesh Bhatt Multi-Frame Video Display Method and Apparatus
US20080263433A1 (en) * 2007-04-14 2008-10-23 Aaron Eppolito Multiple version merge for media production
US20080256136A1 (en) * 2007-04-14 2008-10-16 Jerremy Holland Techniques and tools for managing attributes of media content
US8503523B2 (en) * 2007-06-29 2013-08-06 Microsoft Corporation Forming a representation of a video item and use thereof
JP5060224B2 (ja) * 2007-09-12 2012-10-31 株式会社東芝 信号処理装置及びその方法
US9704532B2 (en) * 2008-01-14 2017-07-11 Apple Inc. Creating and viewing preview objects
KR101750049B1 (ko) * 2009-11-13 2017-06-22 삼성전자주식회사 적응적인 스트리밍 방법 및 장치
KR20110090599A (ko) * 2010-02-04 2011-08-10 삼성전자주식회사 메뉴 표시 방법 및 장치
JP5134651B2 (ja) * 2010-07-07 2013-01-30 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法
JP5678576B2 (ja) * 2010-10-27 2015-03-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および監視システム
US9389765B2 (en) * 2013-03-12 2016-07-12 Google Inc. Generating an image stream
USD803880S1 (en) 2015-01-20 2017-11-28 Apple Inc. Display screen or portion thereof with graphical user interface

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06253255A (ja) * 1993-02-25 1994-09-09 Toshiba Corp 映像インデックス表示装置
JPH0823474A (ja) * 1994-07-05 1996-01-23 Toshiba Corp 動画インデックス表示装置
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
KR20000070701A (ko) * 1997-12-02 2000-11-25 요트.게.아. 롤페즈 키프레임 및 블롭 검색을 최적화하기 위한 장치 및 방법과 기억장치
KR20010009444A (ko) * 1999-07-09 2001-02-05 김영환 계층화된 키프레임의 충실도를 이용한 동영상 검색 및 브라우징 장치 및 그 방법
KR20010050596A (ko) * 1999-10-11 2001-06-15 오길록 효율적인 비디오 개관 및 브라우징을 위한 비디오 요약기술구조와, 그 기술 구조에 따른 요약 비디오 기술데이터 생성방법 및 시스템
KR20010091121A (ko) * 2000-03-13 2001-10-23 구자홍 멀티미디어 스트림의 비선형적 재생 제어 방법과 이를위한 브라우징 인터페이스, 제어 시스템, 입력장치인터페이스

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6525746B1 (en) * 1999-08-16 2003-02-25 University Of Washington Interactive video object processing environment having zoom window
KR100512138B1 (ko) * 2000-03-08 2005-09-02 엘지전자 주식회사 합성 키프레임을 이용한 비디오 브라우징 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06253255A (ja) * 1993-02-25 1994-09-09 Toshiba Corp 映像インデックス表示装置
JPH0823474A (ja) * 1994-07-05 1996-01-23 Toshiba Corp 動画インデックス表示装置
KR20000070701A (ko) * 1997-12-02 2000-11-25 요트.게.아. 롤페즈 키프레임 및 블롭 검색을 최적화하기 위한 장치 및 방법과 기억장치
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
KR20010009444A (ko) * 1999-07-09 2001-02-05 김영환 계층화된 키프레임의 충실도를 이용한 동영상 검색 및 브라우징 장치 및 그 방법
KR20010050596A (ko) * 1999-10-11 2001-06-15 오길록 효율적인 비디오 개관 및 브라우징을 위한 비디오 요약기술구조와, 그 기술 구조에 따른 요약 비디오 기술데이터 생성방법 및 시스템
KR20010091121A (ko) * 2000-03-13 2001-10-23 구자홍 멀티미디어 스트림의 비선형적 재생 제어 방법과 이를위한 브라우징 인터페이스, 제어 시스템, 입력장치인터페이스

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382501B1 (ko) 2007-12-04 2014-04-10 삼성전자주식회사 동영상 촬영 편집 장치 및 방법
KR101506657B1 (ko) * 2013-10-16 2015-03-31 한양대학교 에리카산학협력단 탐색바 로딩모듈을 갖는 스마트 디스플레이를 이용한 광고 방법

Also Published As

Publication number Publication date
KR20030059401A (ko) 2003-07-10
US20030122861A1 (en) 2003-07-03

Similar Documents

Publication Publication Date Title
KR100464076B1 (ko) 동영상 비디오 브라우징 방법과 장치
KR100411340B1 (ko) 뉴스 비디오 콘텐트의 뉴스 기사 기반 요약 및 브라우징시스템
KR100411437B1 (ko) 지능형 뉴스 비디오 브라우징 시스템
JP3921977B2 (ja) ビデオデータを提供する方法およびビデオインデックス付けのためのデバイス
US5963203A (en) Interactive video icon with designated viewing position
US9372604B2 (en) Adaptive intervals in navigating content and/or media
USRE38401E1 (en) Interactive video icon with designated viewing position
KR100584280B1 (ko) 멀티미디어 컨텐트의 재생 제어 방법 및 시스템
US8365235B2 (en) Trick play of streaming media
US20070101266A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
KR20020050264A (ko) 컬러링된 슬라이더 바를 제공하는 재생 장치
KR100422699B1 (ko) 비디오 콘텐트의 재생 제어방법과 장치
KR20070090751A (ko) 화상 표시방법 및 동영상 재생장치
EP1182584A2 (en) Method and apparatus for video skimming
US20100235408A1 (en) System and methods for enhanced metadata entry
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
WO2001027876A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
KR100335817B1 (ko) 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법
WO2008087742A1 (ja) 動画再生システム、情報端末装置および情報表示方法
KR20000038290A (ko) 사건구간을 기반으로 하는 동영상 검색방법과 검색 데이타 구조
CN1574930B (zh) 再现视频内容的装置及方法
JPH0232473A (ja) 動画像検索編集方法
KR100370249B1 (ko) 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템
JPH11239322A (ja) ビデオブラウジング／ビューイングシステム
Adams et al. Towards a video browser for the digital native

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090929

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee