KR20010019342A - 등장인물 관계 기반 동영상 검색 브라우저 - Google Patents

등장인물 관계 기반 동영상 검색 브라우저 Download PDF

Info

Publication number
KR20010019342A
KR20010019342A KR1019990035688A KR19990035688A KR20010019342A KR 20010019342 A KR20010019342 A KR 20010019342A KR 1019990035688 A KR1019990035688 A KR 1019990035688A KR 19990035688 A KR19990035688 A KR 19990035688A KR 20010019342 A KR20010019342 A KR 20010019342A
Authority
KR
South Korea
Prior art keywords
relationship
video
characters
change
event
Prior art date
Application number
KR1019990035688A
Other languages
English (en)
Other versions
KR100370247B1 (ko
Inventor
송정민
이진수
Original Assignee
구자홍
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자 주식회사 filed Critical 구자홍
Priority to KR10-1999-0035688A priority Critical patent/KR100370247B1/ko
Priority to AU67384/00A priority patent/AU6738400A/en
Priority to US09/645,613 priority patent/US7509581B1/en
Priority to PCT/KR2000/000968 priority patent/WO2001015016A1/en
Publication of KR20010019342A publication Critical patent/KR20010019342A/ko
Application granted granted Critical
Publication of KR100370247B1 publication Critical patent/KR100370247B1/ko
Priority to US11/284,657 priority patent/US20060075361A1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/745Browsing; Visualisation therefor the internal structure of a single video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/326Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is a video-frame or a video-field (P.I.P.)
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782Web browsing, e.g. WebTV

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 영화나 드라마 등의 동영상 내용을 검색함에 있어서, 동영상 내용상의 사건전개에 중심이 되는 등장인물들 사이의 관계나 관계의 변화를 이용해서 동영상을 보다 쉽게 검색할 수 있도록 한 동영상 검색 브라우저에 관한 것이다.
본 발명은 동영상 등장인물들 사이의 관계와 그 관계의 변화를 해당 관계나 관계변화가 드러나는(관계를 맺거나 관계변화에 영향을 주는) 중요사건을 연결지어 제시하고, 사용자의 선택에 응답하여 해당 관계와 관계변화가 드러나는 사건구간을 요약(하일라이트)하여 보여주거나, 해당 사건구간을 연결하여 보여주는 동영상 검색 브라우저를 제공한다.
또한 본 발명은 등장인물들의 관계와 관계변화를 트리구조로 제시해주고, 해당 사건구간의 키프레임을 해당 관계가 명시적(직접적) 또는 암시적(간접적)으로 드러나는 사건구간의 키프레임으로 보여주며, 등장인물들의 관계를 가족관계, 사회관계, 감정관계 등의 유형별로 분류하여 제시하고 또 이 것에 응답하여 해당 사건구간을 연결하여 디스플레이해 주는 동영상 검색 브라우저를 제공한다.

Description

등장인물 관계 기반 동영상 검색 브라우저{VIDEO BROWSER BASED ON CHARACTER RELATION}
본 발명은 동영상 브라우저에 관한 것으로서 특히, 동영상의 등장인물들 간의 관계를 중심으로 동영상을 검색하여 보여주는 동영상 브라우저로서; 등장인물들 간의 관계 변화 사이의 사건 구간들을 요약하여 보여줄 수 있고, 또한 등장인물들 간의 관계 변화에 중요한 사건들을 변화된 관계 사이에 연결하여 보여줄 수 있도록 한 동영상 브라우저에 관한 것이다.
또한 본 발명은 동영상의 검색을 위한 자료구조를 등장인물과 등장인물들 사이의 관계, 그리고 그 변화로써 표현하고, 이 자료구조를 이용해서 등장인물들 사이의 해당 관계가 명시적 또는 직접적으로 드러나는 사건 구간의 키프레임(key frame)이나 해당 관계가 암시적 또는 간접적으로 드러나는 사건 구간의 키프레임을 보여줄 수 있도록 한 동영상 브라우저에 관한 것이다.
또한 본 발명은 동영상의 검색을 위한 자료구조를 등장인물과 등장인물들 사이의 관계, 그리고 그 변화로써 표현하고, 이 자료구조를 이용해서 등장인물들 사이의 관계를 가족관계, 사회관계, 감정관계 등으로 분류하여 선택적으로 사용자에게 제공함으로써 등장인물들 사이의 관계와 그 변화를 기반으로 동영상을 검색할 수 있도록 한 동영상 브라우저에 관한 것이다.
종래의 영화나 드라마의 시청 방법은 방송국에서 방송하는 영상 및 음성신호를 그대로 수신해서 보거나, 영화관에서 상영하는 영화를 관람하는 방식으로 시청하였다.
그러나, 사용자는 자신이 원하는 영화나 드라마 혹은 특정 부분(구간)만을 시청하고자 하는 의도를 가질 수 있으며, 각종 영상매체와 기술의 발달로 이와같이 사용자가 원하는 영화나 드라마 혹은 특정 부분만을 선택하여 시청하게 하는 다양한 기술들이 제시되고 있다.
예를 들면, 각종 비디오 자료를 형태군, 색인군, 매체군, 분절군, 대상군, 표현군의 단위로 표현하고, 대상군과 표현군에서 각종 등장인물이나 사물에 대한 정보(대상의 명칭, 화면위에서의 위치, 비디오 자료상에서 그 대상이 나타나는 부분에 대한 수치적인 정보 등)를 나타내어, 사용자가 원할때 그 대상군의 표를 통하여 대상을 선택하면 그 대상이 나타나는 비디오상에서의 특정 부분을 재생시켜 주는 기술이 있다.
또다른 종래의 기술로는, 비디오 자료에 대한 각종 부가적인 정보를 비디오 자료의 제작전에, 혹은 제작중에, 혹은 제작후에 획득하여 이 부가정보들에 대한 표를 구성하여 제공하는 기술이 있다.
상기 부가정보 표에는 배우가 나오는 위치, 그 배우의 배역이 나오는 위치, 소품이 나오는 위치 등을 기록하였으며, 사용자가 그 대상을 상기 부가정보 표로부터 원하는 내용을 선택하면 원하는 장면을 재생해 주고, 원하는 대상이 소품이면 그 소품에 대한 정보(제작사, 가격 등)를 표시하고, 나아가서 그 소품의 제작/판매사로의 네트워크 연결이 가능하게 하는 기술로서 제시되었다.
또다른 종래의 기술로는, 비디오 자료 각 부분에 대한 정보를 담은 비디오 부분지도를 제시하는 기술이 있다.
즉, 비디오 부분지도에는 비디오의 각 부분에 대한 정보(폭력성의 정도, 선정성의 정도, 내용상의 중요도, 등장인물, 위치, 이해의 난이도에 대한 정보)를 표시하고, 사용자는 프로그램 내용 지도의 비디오 부분지도의 해당하는 항목에 대한 선호도를 기입하여, 비디오 자료의 원하는 부분만 재생시키거나, 혹은 확인되지 않은 사용자에게 특정 내용을 전송시키지 않도록 제한하는 방법을 나타내었다.
앞에서 설명한 종래의 동영상 검색기술들은 주로 영화나 드라마에 나타나는 대상에 대하여 단순하게 여러 정보들을 나열한 항목을 보여주고 있으며, 사용자의 선택을 받아들여 그에 대한 응답을 수행하는 방법을 도입하고 있다.
그러나, 영화나 드라마의 내용전개는 등장인물과 등장인물 사이에서 이루어지므로, 영화나 드라마와 같은 동영상 내용을 쉽게 검색하기 위해서는 단순히 나열된 여러개의 항목중의 하나를 선택하여 보는 정도로는 동영상 전개의 내용검색이 일목요연할 수 없고, 동영상의 내용을 실질적으로 이끌어가는 사건전개에 따른 등장인물들의 관계와 그 변화를 이해할 수 없다.
본 발명은 동영상 검색을 수행함에 있어서, 사건 전개에 중심이 되는 동영상내의 등장인물과 등장인물들 사이의 관계와 그 관계의 변화로써 표현한 동영상 검색 자료구조를 가지고, 상기 등장인물들의 관계변화 사이의 사건구간들을 요약하여 보여주는 동영상 검색 브라우저를 제공한다.
또한 본 발명은 동영상 검색을 수행함에 있어서, 사건 전개에 중심이 되는 동영상 내의 등장인물과 등장인물 사이의 관계와 그 관계의 변화로써 표현한 동영상 검색 자료구조를 가지고, 상기 등장인물들의 관계 변화에 중요한 사건들을 그 변화된 관계 사이에 연결하여 보여주는 동영상 검색 브라우저를 제공한다.
또한 본 발명은 동영상 검색을 수행함에 있어서, 사건 전개에 중심이 되는 동영상 내의 등장인물과 등장인물 사이의 관계와 그 관계의 변화로써 표현한 동영상 검색 자료구조를 가지고, 상기 등장인물들 사이의 해당 관계가 명시적 또는 직접적으로 드러나는 사건 구간들의 키프레임이나 해당 관계가 암시적 또는 간접적으로 드러나는 사건 구간들의 키프레임을 보여주는 동영상 검색 브라우저를 제공한다.
또한 본 발명은 동영상 검색을 수행함에 있어서, 사건 전개에 중심이 되는 동영상 내의 등장인물과 등장인물 사이의 관계와 그 관계의 변화로써 표현한 동영상 검색 자료구조를 가지고, 상기 등장인물들의 관계와 그 변화를, 가족관계나, 사회관계나, 감정관계 등으로 분류하여 사용자에게 제공함으로써, 동영상의 내용에 기초해서 그 안에서 존재하는 관계를 미리 분류한 것을 가지고 동영상 검색을 수행할 수 있도록 한 동영상 검색 브라우저를 제공한다.
도1은 본 발명에서, 동영상을 인물관계 중심으로 표현하는 자료구조의 예를 나타낸 도면
도2는 본 발명에서, 동영상을 인물관계가 드러나는 사건들을 요약하여 표현하는 구조의 예를 나타낸 도면
도3은 도2의 자료구조를 이용한 본 발명의 동영상 브라우저를 나타낸 도면
도4는 본 발명에서, 동영상을 인물관계가 변화하는 사건구간을 그 변화와 연결하여 표현하는 구조를 나타낸 도면
도5는 도4의 자료구조를 이용한 본 발명의 동영상 브라우저를 나타낸 도면
도6은 본 발명의 동영상 브라우저를 실시한 한가지 예를 나타낸 도면
도7은 본 발명의 동영상 브라우저를 실시한 다른 예를 나타낸 도면
본 발명의 동영상 검색 브라우저는;
동영상의 등장인물들 사이의 관계와 그 관계의 변화를 등장인물 및 해당 사건구간과 연결지어 표현한 자료구조를 가지고 동영상을 검색함에 있어서,
(a). 상기 등장인물들 사이의 관계와 관계 변화가 나타나는 동영상 구간을 해당 관계나 관계변화가 드러나는 사건구간을 기반으로 하여 해당 동영상 구간을 검색하여 제시하고,
(b). 상기 제시된 사건구간에 대한 사용자의 선택에 응답하여 해당 사건구간의 동영상을 디스플레이하는 것을 특징으로 하는 동영상 검색 브라우저이다.
또한 본 발명의 동영상 검색 브라우저는, 상기 등장인물들의 관계와 관계변화가 드러나는 사건구간을 요약하여 디스플레이하는 것을 특징으로 한다.
또한 본 발명의 동영상 검색 브라우저는, 상기 등장인물들의 관계변화가 있을 때 그 관계변화를 일으키는 중요사건들을 그 변화된 관계 사이에 연결하여 보여주는 것을 특징으로 한다.
또한 본 발명의 동영상 검색 브라우저는, 상기 등장인물들 사이의 관계와 관계변화는 사용자가 선택하는 특정 인물들 사이의 관계와 관계변화나, 사용자가 선택한 특정인물과 관계된 모든 인물과의 사이의 관계와 관계변화로서 제시되고 또 검색되는 것을 특징으로 한다.
또한 본 발명의 동영상 검색 브라우저는, 상기 등장인물들의 관계와 관계변화를 고정관계로부터 변화된 관계에 이르기 까지 트리구조로 제시하는 것을 특징으로 한다.
또한 본 발명의 동영상 검색 브라우저는, 상기 등장인물들의 관계와 관계변화를 소정의 미리 설정된 유형별로 분류하여 제시하는 것을 특징으로 한다.
또한 본 발명의 동영상 검색 브라우저는, 상기 관계유형은 가족관계, 사회관계, 감정관계와 같이 동영상 내용상의 등장인물들 간 의미적 유형으로 미리 설정하여 분류되는 것을 특징으로 한다.
또한 본 발명의 동영상 검색 브라우저는, 상기 등장인물들의 관계와 관계변화가 드러나는 사건구간을 키프레임으로 대표하여 제시하는 것을 특징으로 한다.
또한 본 발명의 동영상 검색 브라우저는, 상기 상기 키프레임은 해당 관계가 명시적(직접적)이나 암시적(간접적)으로 드러나는 사건구간의 키프레임으로 제시하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예로서 본 발명을 더욱 상세하게 설명하면 다음과 같다.
도1은 본 발명의 동영상 검색 브라우저에서, 동영상을 등장인물 사이의 관계 중심으로 표현한 자료구조의 예를 나타낸다.
도1의 자료구조를 보면, 동영상 묘사정보(Visual Description Scheme)(101)는 비주얼DS(102)(Visualization DS), 신택틱DS(103)(Syntactic Structure DS), 시맨틱DS(104)(Symantic Structure DS)의 자료구조를 가진다.
비주얼DS(102)의 하일라이트DS(105)(Highlight View DS)는 동영상에 대한 다단계 요약정보(Level 107, View Type 108, Time DS 109)를 나타내고, 키프레임DS (106)(Key Frame View DS)는 주요 장면에 대한 정보를 다단계로 보여준다(Level 110, Time DS 111).
신택틱DS(103)의 세그먼트DS(112)(Segment DS)는 실제 동영상을 표현하며 그 시간적 위치를 나타내는 데이타 구조(113)(Time DS)를 가지고 있다.
시맨틱DS(104)의 이벤트DS(114)(Event DS)는 사건을 나타내며, 참조 세그먼트(115)(Reference to Segment)를 통해서 사건과 그 사건의 동영상 데이타상에서의 실제 위치를 연결하고, 사건설명DS(116)(Annotation DS)를 통해서 사건의 내용이 기술된다.
오브젝트DS(117)(Object DS)는 등장인물을 나타내며, 인물설명DS(118) (Annotation DS)를 통해서 등장인물의 세부정보를 기술할 수 있다.
이벤트/오브젝트 관계 그래프DS(119) (Event/Object Relation Graphs DS)는 등장인물 사이의 고정관계와 변화관계를 나타내며, 관계 그래프DS(119)의 관계정보(120)(Entity Relation)는 트리 구조화를 가능하게 하는데, 도1에서는 트리의 상단에 등장인물 사이의 고정관계를 기술하고, 트리의 하단에 등장인물 사이의 변환관계를 기술한다.
관계(121)의 명칭(122)(Name)은 관계의 명칭을 표현하고, 타입(123)(Type)은 관계의 설질을 나타낸다.
그리고, 참조 오브젝트(124)(Reference to Object)는 관련된 두 등장인물을 연결하며, 참조 이벤트(125)(Reference to Event)를 통하여 그 특정 관계가 나타나는 사건과의 연결을 표현할 수 있다.
도2는 앞에서 설명한 동영상 내용상의 등장인물들 사이의 관계와 그 관계변화 데이타 구조를 이용해서 동영상을 쉽게 이해하고 검색하는데 있어서, 그 자료구조를 이용하는 방법으로서, 인물1과 인물2의 대표 관계(고정관계)를 트리구조의 상단에 두고, 인물1과 인물2의 관계 변화(관계1,관계2,관계3,관계4)를 트리구조의 하단에 두고, 앞의 관계변화들 사이에는 그 관계변화가 일어나게 되는데 관여하는 중요한 사건들을 요약된 동영상으로서 하일라이트로 보여주는 방법을 보이고 있다.
도2는 도1에서 실체관계(120)의 참조 이벤트(125)를 통하여 이벤트(사건)를 연결하고, 이벤트DS(114)의 참조 세그먼트(115)를 통해서 세그먼트를 연결한 후에, 세그먼트DS(112)의 타임DS(113)를, 비주얼DS(102)의 하일라이트DS(105)에 나타난 레벨(107)의 타임DS(109)와 연결함으로써 이루어진다.
도3은 앞에서 설명한 도2의 자료구조를 이용한 본 발명의 동영상 브라우저(화면)를 보여준다.
등장인물 화면(301)에서는 동영상 내용상에서의 등장인물n을 보여주고, 주화면(302)에서는 동영상을 사용자 인터페이스(303)의 선택조작에 대응하여 보여준다.
예를 들어, 등장인물화면(301)에서 '인물1'과 '인물3'을 선택하면 '인물1'과 '인물3' 사이에 나타나는 관계변화 사이의 중요한 사건들을 도1 및 도2의 자료구조를 이용해서 검색하고 그 검색결과인 해당 내용을 요약해서 주화면(302)에서 재생해 보여주는 것이다.
도4는 본 발명에서 등장인물의 관계의 변화와 그 관계변화에 관련된 중요한 사건을 나타내는 동영사 자료구조를 이용하는 방법을 나타낸다.
인물1과 인물2의 대표관계(고정관계)를 트리구조의 상단에 두고, 두 등장인물 사이의 관계변화를 트리구조의 하단에 두고, 앞의 관계변화들 사이에는 그 관계변화를 일으키는 중요한 사건을 나타내는 방법이다.
이 것은 도1에서 실체관계(120)의 참조 이벤트(125)를 이용함에 있어서, 새로운 관계를 일으키는 중요한 사건 구간을 변화의 전후 관계에 함께 연결함으로써 이루어진다.
도5는 앞에서 설명한 도4의 자료구조를 이용한 동영상 브라우저이다.
등장인물화면(501)에서는 동영상 내용상에서 등장하는 인물들을 보여주고, 인물관계-사건변화 화면(502)에서는 관계의 변화와 사건과의 연결을 보여주며, 주화면(503)에서는 해당 관계변화에 대한 사건구간을 재생시켜 보여준다.
예를 들어, 도5에서 '인물1'과 '인물3'을 선택하면, 그 선택된 인물들 사이의 관계변화와 그 관계 변화에 중요한 영향을 주는 사건을 해당 화면(502)에서 보여주고(여기서 관계나 사건은 대표 장면이나 설명 등으로 보여줄 수 있다), 이 화면에서 선택된 특정 '사건2'의 구간을 주화면(503)에서 재생하여 보여주는 것이다.
도6은 본 발명의 또다른 실시예로서 동영상 검색 브라우저를 보여준다.
등장인물 화면(601)에는 동영상에 등장하는 전체 등장인물들을 보여주고, 관계화면(602)에는 등장인물 화면(601)에서 선택된 인물과 관계를 가지는 다른 등장인물 및 그와의 관계와 관계변화를 보여준다.
이때, 한 등장인물과 다른 등장인물의 고정된 관계를 관계트리의 상단에 보여주고, 그 등장인물들 사이의 관계의 변화를 관계트리의 하단에 보여준다.
주요장면 화면(603)에는 관계화면(602)에서 선택된 등장인물과의 고정관계나 변화관계가 나타나는 사건들에 대한 키프레임을 보여주며, 이때 사건 구간의 의미적 유형에 따른 선택화면(604)을 이용해서 사용자가 선택한 유형 즉, 선택된 관계가 명시적(또는 직접적)으로 드러나는 사건구간이나, 암시적(또는 간접적)으로 드러나는 사건구간의 키프레임을 보여준다.
주화면(605)에서는 주요장면 화면(603)에서 선택된 사건(키프레임으로 대표될 수 있다)에 해당하는 사건 구간을 재생하여 보여준다.
도6에서는 '인물1'을 선택하였을 때, 그 '인물1'과 관계된 다른 '인물2', '인물3', '인물4'을 관계화면으로 보여주고, 여기서 '인물2'와의 '관계2'에 해당하는 명시적 사건구간을 키프레임으로 보여주고, 여기서 선택되는 '사건6'에 해당하는 구간을 주화면에서 재생하여 보여주는 일예를 보여주고 있다.
도6의 동영상 검색 브라우저는 도1과 같은 자료구조에서 관계 타입을 설정함으로써 이루어질 수 있다.
즉, 관계(121)의 타입(123)을 '명시적'이나 '암시적'이라고 정함에 따라서 그 관계에 연결된 사건을 달리함으로써 도6의 브라우징을 수행할 수 있고, 실체관계(120)의 참조 이벤트(125)를 통하여 이벤트(사건)에 연결하고, 이벤트DS(114)의 참조 세그먼트(115)를 통해 세그먼트를 연결한 후에, 세그먼트DS(112)의 타임DS(113)를 비주얼DS(102)의 키프레임DS(106)에 나타난 레벨(110)의 타임DS(113)와 연결함으로써 이루어질 수 있는 것이다.
도7은 본 발명의 또다른 실시예로서 동영상 검색 브라우저를 보여준다.
등장인물 화면(701)에는 동영상에 나타나는 전체 등장인물을 보여주고, 관계화면(702)에는 선택된 등장인물과 관계된 등장인물 및 그 고정관계와 변화관계를 보여주고, 이 관계와 그 변화를 가족관계나, 혹은 사회관계나, 혹은 감정관계 등으로 분류하여 선택하게 하는 수단(703)을 가지고 있다.
그리고, 상기 선택된 특정관계의 사건구간에 대하여 키프레임으로 대표되는 주요장면 화면(704)을 가지며, 선택된 관계와 그 관계의 사건구간에 해당하는 동영상을 재생하여 보여주는 주화면(705)을 가지고 있다.
도7에서는 '인물1'을 선택하였고, '인물1'과 감정관계에 놓이는 다른 등장인물들(인물2,인물3,인물4 등)과, 그 중에서 '인물2'와의 '감정관계2'에 해당하는 '사건6'의 사건구간을 주화면에 재생하여 보여주는 경우이다.
여기서 관계화면(702)에는 한 등장인물과 다른 등장인물의 고정된 관계를 관계트리의 상단에 보여주고, 그 등장인물들 사이의 관계의 변화를 관계트리의 하단에 보여주고 있다.
도7의 동영상 검색 브라우저는 도1의 자료구조에서 관계(121)의 타입(123)을 설정함으로써 브라우징이 이루어질 수 있다.
즉, 관계 타입(123)을 '가족관계'나 '사회관계'나 '감정관계'로 정함에 따라서 그 관계에 연결된 사건을 달리함으로써 브라우징이 수행될 수 있고, 실체관계(120)의 참조 이벤트(125)를 통하여 이벤트(사건)에 연결하고, 이벤트DS(114)의 참조 세그먼트(115)를 통해 세그먼트를 연결한 후에, 세그먼트DS(112)의 타임DS(113)를 비주얼DS(102)의 키프레임DS(106)에 나타난 레벨(110)의 타임DS(113)와 연결함으로써 이루어질 수 있는 것이다.
본 발명은 영화나 드라마의 스토리 전개에 중요한 역할을 하는 등장인물들과 그 등장인물들 사이의 관계 및 관계의 변화를 기반으로 하여 동영상 내용을 검색할 수 있다.
그러므로, 사용자 입장에서 볼 때, 실제 동영상 내용에 중요한 스토리 전개에 관계된 인물,사건,관계 등의 전개를 중심으로 동영상을 쉽게 검색할 수 있게 되며, 등장인물과 그 관계를 나타내는 동영상 데이타 구조를 이용해서 다양한 방식으로 사용자가 원하는 동영상을 이해하고 또 검색해 볼 수 있다.
또한 본 발명은 방송분야에서 VOD시스템에 적용하여 사용자가 원하는 부분만 전송하여 볼 수 있으므로 빠른 시간내에 관심있는 부분을 재생하여 볼 수 있고, 네트워크 자원의 활용면에서도 유용하다.
그리고, 본 발명은 가정용, 방송용 비디오 재생기에 적용하여, 저장된 영화나 드라마의 원하는 부분을 쉽게 검색해 볼 수 있는 비디오 검색 환경을 제공한다.

Claims (9)

  1. 동영상의 등장인물들 사이의 관계와 그 관계의 변화를 등장인물 및 해당 사건구간과 연결지어 표현한 자료구조를 가지고 동영상을 검색함에 있어서,
    (a). 상기 등장인물들 사이의 관계와 관계 변화가 나타나는 동영상 구간을 해당 관계나 관계변화가 드러나는 사건구간을 기반으로 하여 해당 동영상 구간을 검색하여 제시하고,
    (b). 상기 제시된 사건구간에 대한 사용자의 선택에 응답하여 해당 사건구간의 동영상을 디스플레이하는 것을 특징으로 하는 동영상 검색 브라우저.
  2. 제 1 항에 있어서, 상기 등장인물들의 관계와 관계변화가 드러나는 사건구간을 요약하여 디스플레이하는 것을 특징으로 하는 동영상 검색 브라우저.
  3. 제 1 항에 있어서, 상기 등장인물들의 관계변화가 있을 때 그 관계변화를 일으키는 중요사건들을 그 변화된 관계 사이에 연결하여 보여주는 것을 특징으로 하는 동영상 검색 브라우저.
  4. 제 1 항에 있어서, 상기 등장인물들 사이의 관계와 관계변화는 사용자가 선택하는 특정 인물들 사이의 관계와 관계변화나, 사용자가 선택한 특정인물과 관계된 모든 인물과의 사이의 관계와 관계변화로서 제시 및 검색되는 것을 특징으로 하는 동영상 검색 브라우저.
  5. 제 1 항 내지 제 4 항중의 어느 한항에 있어서, 상기 등장인물들의 관계와 관계변화를 고정관계로부터 변화된 관계에 이르기 까지 트리구조로 제시하는 것을 특징으로 하는 동영상 검색 브라우저.
  6. 제 1 항 내지 제 4 항중의 어느 한항에 있어서, 상기 등장인물들의 관계와 관계변화를 소정의 미리 설정된 유형별로 분류하여 제시하는 것을 특징으로 하는 동영상 검색 브라우저.
  7. 제 6 항에 있어서, 상기 관계유형은 가족관계, 사회관계, 감정관계와 같이 동영상 내용상의 등장인물들 사이의 의미적 유형으로 미리 설정하여 분류되는 것을 특징으로 하는 동영상 검색 브라우저.
  8. 제 1 항 내지 제 4 항중의 어느 한항에 있어서, 상기 등장인물들의 관계와 관계변화가 드러나는 사건구간을 키프레임으로 대표하여 제시하는 것을 특징으로 하는 동영상 검색 브라우저.
  9. 제 8 항에 있어서, 상기 상기 키프레임은 해당 관계가 명시적(직접적)이나 암시적(간접적)으로 드러나는 사건구간의 키프레임으로 제시하는 것을 특징으로 하는 동영상 검색 브라우저.
KR10-1999-0035688A 1999-08-26 1999-08-26 등장인물 관계 기반 동영상 검색 방법 KR100370247B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-1999-0035688A KR100370247B1 (ko) 1999-08-26 1999-08-26 등장인물 관계 기반 동영상 검색 방법
AU67384/00A AU6738400A (en) 1999-08-26 2000-08-25 Video browser based on character relation
US09/645,613 US7509581B1 (en) 1999-08-26 2000-08-25 Video browser based on character relation
PCT/KR2000/000968 WO2001015016A1 (en) 1999-08-26 2000-08-25 Video browser based on character relation
US11/284,657 US20060075361A1 (en) 1999-08-26 2005-11-22 Video browser based on character relation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-1999-0035688A KR100370247B1 (ko) 1999-08-26 1999-08-26 등장인물 관계 기반 동영상 검색 방법

Publications (2)

Publication Number Publication Date
KR20010019342A true KR20010019342A (ko) 2001-03-15
KR100370247B1 KR100370247B1 (ko) 2003-01-29

Family

ID=36127136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-0035688A KR100370247B1 (ko) 1999-08-26 1999-08-26 등장인물 관계 기반 동영상 검색 방법

Country Status (4)

Country Link
US (2) US7509581B1 (ko)
KR (1) KR100370247B1 (ko)
AU (1) AU6738400A (ko)
WO (1) WO2001015016A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100518846B1 (ko) * 1999-08-26 2005-09-30 엘지전자 주식회사 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050064150A (ko) * 2003-12-23 2005-06-29 엘지전자 주식회사 고밀도 광디스크의 메뉴 구성방법 및 실행방법과기록재생장치
KR20050066265A (ko) * 2003-12-26 2005-06-30 엘지전자 주식회사 고밀도 광디스크의 메뉴 구성방법 및 실행방법과기록재생장치
KR20050066264A (ko) * 2003-12-26 2005-06-30 엘지전자 주식회사 고밀도 광디스크의 메뉴 구성방법 및 실행방법과기록재생장치
JP2006074343A (ja) * 2004-09-01 2006-03-16 Fujitsu Ten Ltd 放送受信装置
US7797328B2 (en) * 2004-12-21 2010-09-14 Thomas Lane Styles System and method of searching for story-based media
US7912841B2 (en) 2006-09-13 2011-03-22 I. Know Nv. Data processing based on data linking elements
US8584044B2 (en) * 2007-11-16 2013-11-12 Microsoft Corporation Localized thumbnail preview of related content during spatial browsing
US9304992B2 (en) * 2012-07-11 2016-04-05 Cellco Partnership Story element indexing and uses thereof
USD773488S1 (en) * 2012-09-04 2016-12-06 Huawei Technologies Co., Ltd. Display screen with graphical user interface for viewing and installing applications in an electronic mall
USD770486S1 (en) 2014-01-24 2016-11-01 Microsoft Corporation Display screen with graphical user interface
USD749111S1 (en) 2014-01-24 2016-02-09 Microsoft Corporation Display screen with graphical user interface
USD764525S1 (en) 2014-08-28 2016-08-23 Microsoft Corporation Display screen with graphical user interface
USD764524S1 (en) 2014-08-28 2016-08-23 Microsoft Corporation Display screen with graphical user interface
USD794647S1 (en) * 2014-11-21 2017-08-15 General Electric Company Display screen or portion thereof with graphical user interface
KR101968908B1 (ko) * 2015-01-22 2019-04-15 한국전자통신연구원 시각지식 제공 장치 및 방법
US20160373834A1 (en) * 2015-02-06 2016-12-22 Empire Technology Development Llc Rhythm based multimedia generator
USD792902S1 (en) * 2016-04-22 2017-07-25 Cnh Industrial America Llc Display screen or portion thereof with graphical user interface
US11328012B2 (en) 2018-12-03 2022-05-10 International Business Machines Corporation Visualization of dynamic relationships in a storyline
USD919636S1 (en) * 2019-08-22 2021-05-18 Walmart Apollo, Llc Display screen or portion thereof with graphical user interface

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
JPH0728689A (ja) * 1993-07-09 1995-01-31 Hitachi Ltd 情報処理装置
US5982364A (en) 1993-03-12 1999-11-09 Quantel, Ltd. Video processing system including frame position indicators
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
US5574845A (en) * 1994-11-29 1996-11-12 Siemens Corporate Research, Inc. Method and apparatus video data management
US5821945A (en) * 1995-02-03 1998-10-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
JPH0981590A (ja) * 1995-09-13 1997-03-28 Canon Inc マルチメディア情報検索装置
US6323911B1 (en) * 1995-10-02 2001-11-27 Starsight Telecast, Inc. System and method for using television schedule information
US5812945A (en) * 1995-12-22 1998-09-22 Pitney Bowes Inc. Metered payment cellular telephone communication system
US6628303B1 (en) * 1996-07-29 2003-09-30 Avid Technology, Inc. Graphical user interface for a motion video planning and editing system for a computer
JP3162633B2 (ja) * 1996-09-27 2001-05-08 松下電器産業株式会社 放送システム及びこれに用いる情報放送受信端末装置
KR19980059003U (ko) * 1997-02-25 1998-10-26 구자홍 특정인물 탐색장치
US5956026A (en) 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
JPH11203837A (ja) * 1998-01-16 1999-07-30 Sony Corp 編集システムおよび編集方法
US6278446B1 (en) * 1998-02-23 2001-08-21 Siemens Corporate Research, Inc. System for interactive organization and browsing of video
JPH11353325A (ja) * 1998-06-10 1999-12-24 Hitachi Ltd 映像と関連情報の同期表示システム
US6608633B1 (en) * 1998-10-30 2003-08-19 Sony Corporation Visual display of categorical information through visual factors such as scale and location
KR100347710B1 (ko) 1998-12-05 2002-10-25 엘지전자주식회사 등장인물들의관계중심동영상검색데이터구성방법및검색방법
US6492998B1 (en) 1998-12-05 2002-12-10 Lg Electronics Inc. Contents-based video story browsing system
US6236395B1 (en) 1999-02-01 2001-05-22 Sharp Laboratories Of America, Inc. Audiovisual information management system
US6629097B1 (en) * 1999-04-28 2003-09-30 Douglas K. Keith Displaying implicit associations among items in loosely-structured data sets
JP4406800B2 (ja) * 1999-10-29 2010-02-03 ソニー株式会社 情報処理装置および方法、並びに記録媒体
KR100357261B1 (ko) 1999-12-30 2002-10-18 엘지전자 주식회사 멀티미디어 데이터의 의미적/구조적 정보 생성방법 및 그 정보의 기록매체와 멀티미디어 검색 및 브라우징 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100518846B1 (ko) * 1999-08-26 2005-09-30 엘지전자 주식회사 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법

Also Published As

Publication number Publication date
WO2001015016A1 (en) 2001-03-01
AU6738400A (en) 2001-03-19
US7509581B1 (en) 2009-03-24
KR100370247B1 (ko) 2003-01-29
US20060075361A1 (en) 2006-04-06

Similar Documents

Publication Publication Date Title
KR100350787B1 (ko) 멀티미디어 객체의 사용자 프로파일 생성방법과 사용자 프로파일을 이용한 멀티미디어 검색 및 브라우징 방법
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
KR100347710B1 (ko) 등장인물들의관계중심동영상검색데이터구성방법및검색방법
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US7346264B2 (en) Non-linear reproduction control method of multimedia stream and apparatus thereof
JP3810268B2 (ja) オーディオビジュアルシステム
JP5048488B2 (ja) メタデータを含む記録媒体、その再生装置及び方法
US20010020981A1 (en) Method of generating synthetic key frame and video browsing system using the same
US20030084460A1 (en) Method and apparatus reproducing contents from information storage medium in interactive mode
KR100371813B1 (ko) 효율적인 비디오 개관 및 브라우징을 위한 요약 비디오 기술구조 및 이의 기록매체, 이를 이용한 요약 비디오 기술 데이터 생성 방법 및 생성시스템, 요약 비디오 기술 데이터의 브라우징 장치 및 브라우징 방법.
US7996451B2 (en) System, method, and multi-level object data structure thereof for browsing multimedia data
JP2006518063A (ja) メディアストリームの選択用および上演用のブックマークおよびウオッチポイント
JP2005522112A (ja) 映像番組用の補足情報を提供するための方法及びシステム
JP2001157165A (ja) マルチメディアストリームのセグメント間の意味的連結情報の構成方法並びにこれを用いたビデオブラウジング方法
JP2001028722A (ja) 動画像管理装置及び動画像管理システム
KR20030007727A (ko) 자동 비디오 리트리버 제니
JP2001306599A (ja) 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体
KR100319158B1 (ko) 사건구간 기반 동영상 자료 생성방법 및 동영상 검색 방법
US20090328103A1 (en) Genre-based segment collections
JP2007515735A (ja) 検索のためのメタ情報が含まれた記録媒体、再生装置及びその再生方法
MXPA04005085A (es) Procedimiento de navegacion para la seleccion de documentos asociados con identificadores y aparato que implementa el procedimiento.
JP5525154B2 (ja) コンテンツ表示装置
KR100518846B1 (ko) 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법
Zimmerman et al. Interface design for MyInfo: A personal news demonstrator combining Web and TV content
KR100361499B1 (ko) 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080102

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee