KR20030014804A - 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및방법과 그에 따른 내용기반 검색/탐색 방법 - Google Patents

폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및방법과 그에 따른 내용기반 검색/탐색 방법 Download PDF

Info

Publication number
KR20030014804A
KR20030014804A KR1020010048677A KR20010048677A KR20030014804A KR 20030014804 A KR20030014804 A KR 20030014804A KR 1020010048677 A KR1020010048677 A KR 1020010048677A KR 20010048677 A KR20010048677 A KR 20010048677A KR 20030014804 A KR20030014804 A KR 20030014804A
Authority
KR
South Korea
Prior art keywords
closed caption
news video
document
information
video database
Prior art date
Application number
KR1020010048677A
Other languages
English (en)
Other versions
KR100451004B1 (ko
Inventor
김영태
김재곤
장현성
김문철
강경옥
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2001-0048677A priority Critical patent/KR100451004B1/ko
Publication of KR20030014804A publication Critical patent/KR20030014804A/ko
Application granted granted Critical
Publication of KR100451004B1 publication Critical patent/KR100451004B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및 방법과 그에 따른 내용기반 검색/탐색 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 폐쇄자막 문서를 구조화하고, 폐쇄자막 문서를 대상으로 하여 주요 단어 및 이의 부가정보를 추출하여 용어 사전을 구축하고, 분할된 단위의 기사 제목을 추출하고, 폐쇄자막 문자열과 뉴스 비디오와의 동기를 통하여 결과적으로 텍스트 질의 또는 기사탐색기를 통하여 뉴스의 자막문자열과 이에 해당하는 동기화 된 비디오를 정확하게 제공해 주는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및 방법과 그에 따른 내용기반 검색/탐색 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
3. 발명의 해결방법의 요지
본 발명은, 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 있어서, 폐쇄자막 문서를 의미있는 단위로 계층적 분할을 하여 구조화된 자막 문서로 분할하기 위한 자막문서 구조화 수단; 상기 자막문서 구조화 수단에서 의미있는 단위로 계층적으로 분할된 폐쇄자막 문서로부터 색인어와 부가정보를 추출하여 용어사전을 구축하기 위한 색인어 및 부가정보 추출 수단; 및 상기 폐쇄자막 문서의 문자열과디지털 뉴스 비디오의 오디오 신호 구간과의 동기를 맞추기 위한 오디오 자막 동기 수단을 포함함.
4. 발명의 중요한 용도
본 발명은 인터넷 서비스 등에 이용됨.

Description

폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및 방법과 그에 따른 내용기반 검색/탐색 방법{Apparatus and Method for Database Construction of News Video based on Closed Caption and Method of Content-based Retrieval/Serching It}
본 발명은 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및 방법과 그에 따른 내용기반 검색/탐색 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
특히, 본 발명은 내용기반 멀티미디어 검색분야 중 뉴스 비디오 검색에 관한 것으로써, 폐쇄자막 뉴스 문서의 구조화, 색인어 및 이의 부가정보 추출을 통한 용어사전 구축, 폐쇄자막 문자열과 오디오트랙의 음성정보와의 시간적인 정합등을 주요 기능 요소로 하여 뉴스 문자열 및 이와 동기를 이룬 비디오를 검색하기 위한 폐쇄자막 기반의 비디오 데이터베이스 생성 장치 및 방법과 그에 따른 내용기반 검색 장치 및 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
뉴스 비디오 검색방법의 종래 기술을 살펴보면 다음과 같다.
먼저, "M. Bertini" 등이 제안한 "Content Based Annotation and Retrieval of News Videos"(ICME2000 : IEEE International Conference on Multimedia and Expo 2000)에서는 비디오 분할 및 분류, 텍스트 인식, 문자 인식 등을 사용하여 내용기반 뉴스 비디오 검색에 관한 방법을 제안하였다.
상기의 방법은 먼저 비디오를 샷(shot)단위로 분할하고, 분할된 샷이 앵커가 등장하는 앵커 샷(anchor shot)과 그 이외의 서비스 샷(service shot)으로 분류하여, 종국적으로는 샷 단위의 뉴스 비디오 검색 기능을 제공한다.
이에따라, 어의적인(semantic) 주석을 달기 위하여 비디오 내에 자막(caption)이 존재하는 프레임을 검출하여 텍스트와 배경을 분리해 내고, 분리된 텍스트를 인식하여 해당하는 샷에 대한 기술자(textual shot descriptor)로 사용하였다. 또한, 앵커 샷을 대상으로 음성인식을 통해 인식된 단어를 기술자로 사용하였다.
종래의 이러한 방법은 기술(description) 및 검색 단위가 어의적인 단위가 아닌 물리적인 단위의 샷으로 이루어졌다는 문제점과 앵커 샷만을 대상으로 하고, 게다가 음성인식을 통해 인식된 단어만을 기술함으로써, 뉴스 비디오에서 발생한 모든 단어를 데이터베이스로 사용하지 못한다는 문제점이 있다.
한편, "H. Kuwano" 외 5인이 공동으로 발표한 "Telop-on-demand : Video structuring and retrieval based on text recognition"(ICME2000)에서는 뉴스 비디오 자막(Embedded text)과 그것의 크기, 폰트, 위치 등의 정보를 이용하여 비디오를 구조화하고, 자막을 추출하고 인식하여 데이터베이스를 구축하는 방법을 제안하였다.
상기 방법은 뉴스의 중요한 의미가 자막 편집자에 의해 자막에 나타나므로 자막의 크기, 폰트, 위치 등의 부가정보까지 이용하여 구조화에 사용하였다. 또한, 본 논문의 방법에서는 텍스트가 포함된 비디오 프레임으로 요약 비디오를 구성하여 전체 비디오를 짧은 시간에 개괄적으로 볼 수 있는 기능도 제공한다.
그러나, 상기 방법은 뉴스 비디오에 존재하는 자막만을 이용하므로, 뉴스에서 사용된 음성정보 등 그 이외의 많은 정보들을 사용하지 않기 때문에 데이터베이스를 구축하는데 있어서 상당히 제한적인 단점이 있으며, 방송국마다 뉴스의 헤드라인 텍스트 등의 자막을 편집하는 스타일이 다양하므로 단지 자막의 크기 등만을 이용한다는 것은 정확성이 떨어질 수 있는 문제점이 있다.
본 발명은, 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 폐쇄자막 문서를 구조화하고, 폐쇄자막 문서를 대상으로 하여 주요 단어 및 이의 부가정보를 추출하여 용어 사전을 구축하고, 분할된 단위의 기사 제목을 추출하고, 폐쇄자막 문자열과 뉴스 비디오와의 동기를 통하여 결과적으로 텍스트 질의 또는 기사탐색기를 통하여 뉴스의 자막문자열과 이에 해당하는 동기화 된 비디오를 정확하게 제공해 주는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및 방법과 그에 따른 내용기반 검색/탐색 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치의 일실시예 전체 시스템 구성도.
도 2 는 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 포함된 디지털 뉴스 정보 가공부의 일실시예 상세 구성도.
도 3 은 본 발명에 따른 구조화된 폐쇄자막 문서의 예시도.
도 4 는 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 검색 방법의 일실시예 흐름도.
도 5 는 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법의 일실시예 흐름도.
* 도면의 주요 부분에 대한 부호의 설명
101 : 디지털 뉴스 비디오 데이터베이스 생성부
102 : 디지털 뉴스 비디오 검색부
103 : 디지털 뉴스 비디오 정보 취득부
104 : 디지털 뉴스 비디오 정보 가공부
105 : 뉴스 방송 프로그램
106 : 디지털 뉴스 데이터베이스
상기 목적을 달성하기 위한 본 발명은, 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 있어서, 폐쇄자막 문서를 의미있는 단위로 계층적 분할을 하여 구조화된 자막 문서로 분할하기 위한 자막문서 구조화 수단; 상기 자막문서 구조화 수단에서 의미있는 단위로 계층적으로 분할된 폐쇄자막 문서로부터 색인어와 부가정보를 추출하여 용어사전을 구축하기 위한 색인어 및 부가정보 추출 수단; 및 상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오의 오디오 신호 구간과의 동기를 맞추기 위한 오디오 자막 동기 수단을 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 상기 자막문서 구조화 수단에서 의미있는 단위로 계층적으로 분할된 폐쇄자막 문서로부터 단위 기사의 제목을 추출하기 위한 분할단위 제목 추출 수단; 및 디지털 형태의 상기 폐쇄자막 문서와 상기 디지털 뉴스 비디오를 취득하기 위한 디지털 뉴스 비디오 정보 취득 수단을 더 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 적용되는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 방법에 있어서, 폐쇄자막 문서를 의미있는 단위로 계층적 분할을 하여 구조화된 자막 문서 정보를 생성하는 제 1 단계; 상기 제 1 단계에서 생성된 구조화된 자막 문서 정보로부터 색인어와 부가정보를 추출하여 용어 사전 정보를 생성하는 제 2 단계; 상기 제 1 단계에서 생성된 구조화된 자막 문서 정보로부터 단위 기사의 제목 정보를 생성하는 제 3단계; 상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오의 오디오 신호 구간과의 동기를 맞추어 동기화된 시간 코드 정보를 생성하는 제 4 단계; 및 상기 생성된 정보들과 디지털 뉴스 비디오를 바탕으로, 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오를 연계하는 데이터베이스를 생성하는 제 5 단계를 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 의해 생성된 뉴스 비디오 데이터베이스에 대한 내용기반 검색 방법에 있어서, 폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 제 1 단계; 사용자의 텍스트 질의에 따라 상기 제 1 단계에서 생성된 뉴스 비디오 데이터베이스를 검색하는 제 2 단계; 상기 제 2 단계의 검색 결과에 우선순위를 부여하여 출력하는 제 3 단계; 및 상기 제 3 단계의 출력 결과에 대한 사용자의 선택에 따라, 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 제 4 단계를 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 의해 생성된 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법에 있어서, 폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 제 1 단계; 및 사용자의 기사 탐색기를 통한 선택에 따라, 해당 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 제 2 단계를 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 프로세서를 구비한 데이터베이스 생성 장치에, 폐쇄자막 문서를 의미있는 단위로 계층적 분할을 하여 구조화된 자막 문서 정보를 생성하는제 1 기능; 상기 제 1 기능에서 생성된 구조화된 자막 문서 정보로부터 색인어와 부가정보를 추출하여 용어 사전 정보를 생성하는 제 2 기능; 상기 제 1 기능에서 생성된 구조화된 자막 문서 정보로부터 단위 기사의 제목 정보를 생성하는 제 3 기능; 상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오의 오디오 신호 구간과의 동기를 맞추어 동기화된 시간 코드 정보를 생성하는 제 4 기능; 및 상기 생성된 정보들과 디지털 뉴스 비디오를 바탕으로, 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오를 연계하는 데이터베이스를 생성하는 제 5 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 본 발명은, 프로세서를 구비한 검색장치에, 폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 제 1 기능; 사용자의 텍스트 질의에 따라 상기 제 1 기능에서 생성된 뉴스 비디오 데이터베이스를 검색하는 제 2 기능; 상기 제 2 기능의 검색 결과에 우선순위를 부여하여 출력하는 제 3 기능; 및 상기 제 3 기능의 출력 결과에 대한 사용자의 선택에 따라, 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 본 발명은, 프로세서를 구비한 탐색장치에, 폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 제 1 기능; 및 사용자의 기사 탐색기를 통한 선택에 따라, 해당 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 제 2 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치의 일실시예 전체 시스템 구성도이다.
도 1 에 도시된 바와 같이, 도 1 은 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치의 전체 시스템은 디지털 뉴스 비디오 데이터베이스를 구축하는 디지털 뉴스 비디오 데이터베이스 생성부(101)와 이를 이용하여 검색하는 디지털 뉴스 비디오 검색부(102)를 구비한다.
각 부분을 좀 더 상세히 살펴보면, 디지털 뉴스 비디오 데이터베이스 생성부(101)는 디지털 형태의 폐쇄자막 문서와 뉴스 비디오를 취득하는 디지털 뉴스 비디오 정보 취득부(103) 및 상기 취득한 디지털 뉴스 비디오 정보를 가공하여 검색에 적합한 형태로 가공하는 디지털 뉴스 비디오 정보 가공부(104)를 구비한다.
또한, 상기의 디지털 뉴스 비디오 정보 취득부(103)는 입력신호가 아날로그인 경우에 디지털 형태의 뉴스 비디오와 폐쇄자막 문서를 얻는 기능을 수행한다.
여기서, 폐쇄자막(closed caption) 문서는 자막 복호기를 통하여 볼 수 있는 문자열로써 비디오내에 표시되는 자막(embedded text)과 구분된다. 자막 복호기를 통해서 나온 데이터는 화자에 의해 발음된 음성의 문자열 정보와 "앵커", "인터뷰", "기자" 등의 화자에 관한 정보, 그 외 구두점과 같은 부가정보가 포함된 속기사에 의해 기록된 문서이다. 또한, 이 문서에는 자막이 나타나는 시간에 대한 정보가 어절 단위로 포함되어 있다.
디지털 뉴스 비디오 정보 취득부(103)는 동영상 부호화기를 사용하여 뉴스방송 프로그램(105)으로부터 디지털 뉴스 비디오를 얻는다. 입력신호가 디지털 신호인 경우에는 디지털 뉴스 비디오 정보 취득부(103)는 생략된다.
또한, 디지털 뉴스 비디오 정보 가공부(104)에서는 취득한 디지털 형태의 폐쇄자막 문서와 뉴스 비디오를 대상으로 효과적인 멀티 모달 검색에 적합한 형태의 데이터로 가공하는 기능을 수행한다. 이에 대한 상세한 설명은 이하 도 2 에서 하도록 한다.
그리고, 디지털 뉴스 비디오 검색부(102)는 사용자의 선택에 의해, 상기 디지털 뉴스 비디오 데이터베이스 생성부(101)를 통해 생성된 디지털 뉴스 비디오 데이터베이스(106)을 문자열 등의 이용하여 검색하고, 그 검색 결과를 상기 검색 결과에 동기화된 뉴스 비디오 영상과 함께 출력한다.
도 2 는 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 포함된 디지털 뉴스 정보 가공부의 일실시예 상세 구성도이다.
본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 포함된 디지털 뉴스 비디오 정보 가공부는 도 2 에 도시된 바와 같이, 폐쇄자막 문서(201)를 의미있는 단위로 계층적 분할(segmentation)을 하기 위한 자막문서 구조화기(structuring)(203), 상기 자막문서 구조화기(structuring)(203)에서 의미있는 단위로 계층적으로 분할된 폐쇄자막 문서로부터 색인어와 부가정보를 추출하여 용어사전을 구축하기 위한 색인어 및 부가정보 추출기(204), 상기 자막문서 구조화기(structuring)(203)에서 의미있는 단위로 계층적으로 분할된 폐쇄자막 문서로부터 단위 기사의 제목을 추출하는 분할단위 제목 추출기(205) 및 폐쇄자막 문서(201)의 문자열과 디지털 뉴스 비디오(202)의 오디오 신호 구간과의 동기를 맞추는 오디오 자막 동기기(206)를 구비한다.
각각의 구성부분을 좀 더 상세히 살펴보면, 디지털 뉴스 정보 취득부(103)로부터 폐쇄자막 문서(201)를 전달받은 자막문서 구조화기(203)는 상기 전달된 폐쇄자막 문서(201)를 의미 있는 단위로 계층적인 분할(segmentation)을 수행하여 구조화된 자막문서(208)를 추출한다.
여기서, 폐쇄자막 문서(201)에 대한 의미 있는 단위로의 계층적인 분할은 뉴스 검색의 단위로 사용하기 위해서 필요한데, 일반적으로 검색은 기사 단위로 이루어지기 때문에 기사 단위로 분할하는 것이 일반적이지만, 좀 더 세분화하여 검색하기 위해 더 작은 단위로 분할하여 검색하는데 이용되도록 할 수도 있다.
좀 더 자세히 설명하면, 일반적으로 뉴스 비디오에서 하나의 기사는 앵커, 기자, 인터뷰 등의 다수의 화자에 의해 구성되는데, 1회 방송 분량의 뉴스 비디오의 폐쇄자막 문서는 기사 단위 또는 기사 내의 각각의 화자 단위로 계층적 형태의 분할을 할 수 있다. 기사 내의 각각의 화자 단위로 계층적 형태의 분할을 하는 경우, 화자에 대한 분할 정보는 일반적으로 폐쇄자막 복호기에 의해 제공된다. 따라서, 폐쇄자막 복호기에 의해 제공되는 분할 정보에 따라 분할한다.
또한, 기사에 대한 분할은 몇몇 유형의 화자의 전환패턴을 도식화하여 그에 따라 분할하는 방법 등을 이용할 수 있다.
또한, 분할된 단위로 데이터 베이스를 관리하기 위하여 분할 단위의 고유한식별 번호를 할당한다.
그리고, 자막문서 구조화기(203)로부터 의미있는 단위로 계층적 분할된 폐쇄자막 문서를 전달받은 색인어 및 부가정보 추출기(204)는 상기 계층적 분할된 폐쇄자막 문서로부터 색인어와 부가정보를 추출하여 용어사전(207)을 생성한다.
여기서, 색인어란 검색하는 관점에서 볼 때 유용하리라고 판단되는 명사형의 단어를 의미하며, 일반적인 형태소 분석기 방법, 명사추출기 등의 임의적인 방법을 사용하여 추출해 낼 수 있다.
또한, 이에 대한 부가정보로는 용어가 발생한 문서의 빈도수, 용어가 속한 문서의 고유번호(ID), 용어가 발생한 분할 단위의 빈도수, 용어가 발생한 분할 단위의 고유번호(ID), 분할 단위 내 발생한 용어의 빈도수 등이 있다. 이 중에서 빈도수와 관련된 정보는 검색과정에서 순위를 갖는 검색결과를 보여줄 때 가중치로 사용된다. 즉, 용어가 나온 문서의 빈도수가 낮으면서 해당 문서에 그 용어의 빈도수가 높을수록 많은 가중치를 부여한다.
상기 부가 정보에 포함된 빈도수와 관련된 정보들은 검색의 단위에 따라 각각 관련된 빈도수 정보가 틀리게 사용된다. 예를 들어, 기사 단위의 검색을 하는 경우에는 색인어가 나온 기사의 빈도수를 사용한다.
용어의 화자에 대한 정보는 용어가 속한 화자에 관한 정보로, 검색의 범위를 화자 중심으로 앵커, 기자, 리포터 등으로 제한할 때 사용된다.
색인어와 이의 부가정보는 저장 및 검색의 관점에서 효율적으로 이용하기 위하여 임의의 구조화된 형태로 저장할 수 있다.
그리고, 분할단위 제목 추출기(205)는 자막문서 구조화기(203)에 의해서 계층적으로 분할된 폐쇄자막 문서로부터 분할된 단위 기사의 제목을 추출한다. 여기서, 분할된 단위 기사라는 것은 자막문서 구조화기(203)에서 계층적 분할의 단위가 되는 기사 또는 기사 내 화자 단위를 의미한다.
여기서, 제목은 사람이 수동으로 부여할 수도 있으며 자동적으로 결정할 수도 있는데, 자동인 경우에는 해당하는 기사 또는 기사내 화자 단위에서 추출한 색인어의 일부를 선정하여 제목으로 결정한다. 이와 같이, 색인어의 일부를 선정하여 제목을 결정하는 방식은 색인어가 추출된 순서 또는 색인어의 가중치 등을 이용하여 이루어진다. 이와 같이 추출된 각각의 제목은 텍스트 질의를 통한 검색 결과를 제공할 때 사용된다.
그리고, 오디오-자막 동기기(206)는 폐쇄자막 문서(201)의 폐쇄자막 문자열과 디지털 뉴스 비디오(202)의 오디오 신호 구간과의 동기를 맞춘다.
디지털 뉴스 비디오(202)에서 비디오 데이터와 음성 데이터는 원칙적으로 동기가 이루어져 있으나, 폐쇄자막 문서(201)의 폐쇄자막 문자열과 이에 대한 시간 정보는 비디오 프로그램에서 화자가 발생시키는 오디오 트랙의 음성 정보와 정확한 동기가 이루어져 있지 못하다.
일반적으로 폐쇄자막 문서(201)의 폐쇄자막 문자열에 포함된 시간 코드는 비디오 프로그램에서 해당 음성이 발생한 시간의 2~7초 후의 시간 정보가 저장되어 있다. 따라서, 폐쇄자막 문서(201)를 내용기반으로 분할하고 이를 이용해서 해당하는 비디오를 정확하게 분할하기 위해서는 음성인식 기술을 사용해서 자막 문서에있는 시간코드와 비디오 프로그램의 비디오/오디오 신호 구간의 동기를 맞추는 과정이 필요하다.
이에 따라, 폐쇄자막 정보를 이용한 어의적인(semantic) 분할이 곧, 이와 동기를 이룬 해당하는 비디오를 내용기반으로 분할하는 효과를 가져온다.
즉, 오디오-자막 동기기(206)는 폐쇄자막 문서(201)의 폐쇄자막 문자열과 폐쇄자막 문서(201)의 폐쇄자막 문자열이 디지털 뉴스 비디오에 표시되는 시간정보, 그리고 디지털 뉴스 비디오(202)에서 추출한 오디오 정보를 입력으로 사용하여, 입력된 자막 문자열의 시간정보를 실제 발음된 시간정보인 동기화된 시간코드(210)로 갱신시키는 기능을 수행한다.
이때, 음성인식 과정에서는 입력으로 들어온 시간정보를 참조로 하여 일정 구간만을 탐색 범위로 선정하여 계산량을 줄일 수 있다.
그리고, 디지털 뉴스 비디오 정보 가공부(104)에 의해 생성되는 디지털 뉴스 비디오 데이터베이스(106)는 자막문서 구조화기(203)에 의해 구조화된 폐쇄자막 문서(208), 색인어 및 부가정보 추출기(204)에 의해 생성된 용어사전(207), 분할단위 제목 추출기(205)에 의해 생성된 분할단위 제목(209), 오디오-자막 동기기(206)에 의한 폐쇄자막 문자열과 음성신호와의 동기화된 시간코드(210) 및 디지털 뉴스 비디오(202)를 포함한다.
도 3 은 본 발명에 따른 구조화된 폐쇄자막 문서의 예시도이다.
본 발명에 따른 구조화된 자막문서(208)는 화자 등에 대한 정보, 분할 단위로 할당된 고유 식별번호, 분할정보 및 동기화된 시간정보로 구성된다.
도 3 에 도시된 바와 같이, <EVENT>, <ANCHOR> 등으로 표시된 것이 분할정보(303)에 해당된다. 분할정보(303) 이외에도 화자등에 대한 정보(301)와 분할 단위별로 할당된 고유 식별번호(302) 등을 삽입한다.
도 3 에서 화자에 대한 정보(301)로써 앵커인 경우에 "1", 리포트는 "2", 인터뷰에는 "3"을 고유하게 할당하였다. 화자에 대한 번호할당은 사용자가 임의로 할 수 있으며 용어사전을 구성하는 과정에서 색인어의 부가정보중의 하나로 화자에 대한 정보(301)가 사용된다. 이는 검색과정에서 검색의 범위를 선정하는데 사용될 수 있다. 예를 들어 검색범위를 앵커로 제한하는 경우에 용어사전중에서 화자에 대한 부가정보가 앵커(1)인 경우만을 검색한다. 분할 단위별로 할당되는 고유식별 번호는 분할 단위별로 중복된 번호 없이 고유하게 사용자가 할당할 수 있다. 할당하는 규칙은 사용자가 임의로 정하여 사용할 수 있다. 그 이외에 문장 단위로 문자열과 디지털 비디오 음성신호와 동기화된 시간정보(304)등을 포함한다.
도 4 는 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 검색 장치의 일실시예 동작 흐름도이다.
도 4 에 도시된 바와 같이, 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 검색 장치는 사용자의 텍스트 질의를 입력으로 하여 용어사전을 대상으로 검색을 실시하여 해당하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스의 뉴스 비디오와 폐쇄자막 문서를 제공하는 과정을 보여 주고 있다.
우선, 폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하고(401), 사용자가 텍스트 질의를 하면(402), 뉴스 비디오 데이터베이스 내의 용어사전을 대상으로검색을 실시하여(403), 순위가 부여된 검색 결과를 출력한다(404).
여기서, 검색 결과에 대한 순위 부여는 색인어 빈도수와, 검색 문서 전체의 개수에 대한 질의어가 포함된 문서 개수의 비에 관한 정보인 역문헌 빈도수를 이용하여 산출한 가중치를 기반으로 한다.
또한, 사용자의 텍스트 질의에 의한 검색 단위로는 일자, 기사, 기사 내 화자 단위 등으로 지정할 수 있으며 검색 단위의 빈도수 관련 정보를 이용하여 순위를 결정한다. 또한, 용어 사전에는 용어가 속한 화자에 관한 정보가 있으므로 이를 이용하여 검색의 범위를 전체, 앵커, 기자, 인터뷰 등으로 제한하여 검색할 수 있다.
상기와 같이 검색된 결과는 사용자에게 우선, 검색된 뉴스의 날짜, 제목 등을 출력한다(404). 이 결과중에서 사용자가 선택을 하면(405), 선택된 기사의 폐쇄자막 문자열과 뉴스 비디오를 추출하여 사용자에게 제공한다(406). 이와같은 동작은 사용자의 질의가 끝날때까지 반복한다(407).
이때, 폐쇄자막 문자열 및 뉴스 비디오 추출의 내부적인 동작은 검색기의 결과로 검색된 용어의 문서 번호와 문서내 분할 단위의 고유번호를 이용하여 구조화된 폐쇄자막 문서내의 해당 문자열과 비디오를 억세스하여 사용자에게 디스플레이 하는 방법에 의한다.
상기의 구조화된 폐쇄자막 문서에는 분할 단위별로 분할 태그가 삽입되어 있으며, 분할 단위의 고유번호가 삽입되어 있어 해당하는 문자열의 범위를 정확히 추출할 수 있다.
그리고, 폐쇄자막 문자열과 동기화된 뉴스 비디오를 출력하는 것은 오디오-자막 동기기의 동기화 수행 결과로써 디지털 뉴스 데이터베이스내에 존재하는 동기화된 시간코드를 이용하여 분할된 단위로 매칭된 비디오 구간에 관한 정보를 이용한다.
도 5 는 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법의 일실시예 흐름도이다.
우선, 폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하고(401), 사용자가 기사 탐색기를 통해서 탐색을 하다가 원하는 기사를 선택하면(402) 이에 대한 폐쇄자막 문자열과 뉴스 비디오를 제공한다(403). 그리고, 사용자가 원하는 기사를 찾을 때까지 상기 402-403 과정을 반복적으로 수행한다(404).
여기서, 기사 탐색기는 기사의 제목 목차와 이것을 사용자에 요구에 따라 계층적으로 보여주는 기능이 포함되어 있어서 사용자가 효과적으로 기사를 탐색할 수 있도록 도와준다.
제목 목차는 분할단위 제목 추출기에서 추출한 각각의 제목에 이에 해당하는 자막 문자열과 비디오 구간 정보를 연결시켜 전체적으로 모아서 만든 것을 의미한다. 년/월/일/기사/화자 등의 계층적인 목차(Table of Contents)가 구성될 수 있으며, 사용자는 이를 이용하여 원하는 뉴스를 탐색할 수 있다.
예를 들어, 사용자가 특정 일을 선택하면 그 일에 해당하는 기사 제목을 볼 수 있으며, 이중에서 특정 기사를 선택하면 그 기사의 화자별 제목을 볼 수 있다. 이러한 제목을 참조로 하여 사용자가 보기 원하는 기사를 최종적으로 선택하면 문자열 및 비디오 검출기에서 해당하는 뉴스의 문자열과 비디오를 제공해주는 기능을 수행한다.
본 발명에서 본 도 5 의 탐색 방법의 "탐색" 이라는 단어는 도 4 의 검색 방법의 "검색"이라는 단어와 구별되어 사용하였으며, 디지털 뉴스 검색부에서 "검색"의 의미는 텍스트 질의에 의한 용어사전 검색을 통한 방법과 기사탐색기를 통한 뉴스 탐색 방법 모두를 포함하는 광의의 의미로 사용하였다.
양호하게는, 상기의 디지털 뉴스 비디오 데이터베이스 및 검색기는 서버에 위치하며, 텍스트 질의기 및 기사 탐색기는 클라이언트에 위치하여 원격 서비스가 가능한 서버/클라이언트 구조의 뉴스 문자열 및 동기화된 뉴스 비디오 검색 시스템을 구성할 수 있다.
이때, 서버에는 뉴스 비디오를 스트리밍하기 위한 기능이 추가적으로 필요하며, 클라이언트에서는 웹 브라우저를 사용할 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 뉴스 비디오의 폐쇄자막 문서를 내용기반으로 구조화하고, 폐쇄자막 문서로부터 용어사전을 구축하며, 자막 문자열과 디지털 비디오의 오디오 트랙과의 시간적인 정합을 수행하여 문서의 구조화가 곧 내용기반 비디오의 구조화 효과를 유도하고, 분할 단위로 제목을 추출하여 텍스트 검색기, 기사 탐색기등을 통하여 해당 뉴스 기사의 문자열과 비디오를 동시에 검색할 수 있는 효과가 있다.

Claims (18)

  1. 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 있어서,
    폐쇄자막 문서를 의미있는 단위로 계층적 분할을 하여 구조화된 자막 문서로 분할하기 위한 자막문서 구조화 수단;
    상기 자막문서 구조화 수단에서 의미있는 단위로 계층적으로 분할된 폐쇄자막 문서로부터 색인어와 부가정보를 추출하여 용어사전을 구축하기 위한 색인어 및 부가정보 추출 수단; 및
    상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오의 오디오 신호 구간과의 동기를 맞추기 위한 오디오 자막 동기 수단
    을 포함하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
  2. 제 1 항에 있어서,
    상기 자막문서 구조화 수단에서 의미있는 단위로 계층적으로 분할된 폐쇄자막 문서로부터 단위 기사의 제목을 추출하기 위한 분할단위 제목 추출 수단; 및
    디지털 형태의 상기 폐쇄자막 문서와 상기 디지털 뉴스 비디오를 취득하기 위한 디지털 뉴스 비디오 정보 취득 수단
    을 더 포함하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 자막문서 구조화 수단에 의한 계층적 분할을 위한 의미있는 단위는,
    기사 단위인 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 자막문서 구조화 수단에 의한 계층적 분할을 위한 의미있는 단위는,
    기사 내의 화자 단위인 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
  5. 제 1 항에 있어서,
    상기 분할단위 제목 추출 수단은,
    사용자에 의해 제목을 부여하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
  6. 제 1 항에 있어서,
    상기 오디오 자막 동기 수단은,
    음성인식 방법을 사용해서 상기 폐쇄자막 문서의 문자열과 상기 폐쇄자막 문서의 문자열이 디지털 뉴스 비디오에 표시되는 시간정보, 그리고 상기 디지털 뉴스 비디오에서 추출한 오디오 정보를 입력으로 사용하여, 입력된 상기 폐쇄자막 문서의 문자열의 시간정보를 실제 발음된 시간 정보인 동기화된 시간코드로 갱신하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
  7. 제 2 항에 있어서,
    상기 분할단위 제목 추출 수단은,
    상기 분할된 단위 기사의 색인어의 일부를 선정하여 제목을 부여하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
  8. 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 적용되는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 방법에 있어서,
    폐쇄자막 문서를 의미있는 단위로 계층적 분할을 하여 구조화된 자막 문서 정보를 생성하는 제 1 단계;
    상기 제 1 단계에서 생성된 구조화된 자막 문서 정보로부터 색인어와 부가정보를 추출하여 용어 사전 정보를 생성하는 제 2 단계;
    상기 제 1 단계에서 생성된 구조화된 자막 문서 정보로부터 단위 기사의 제목 정보를 생성하는 제 3 단계;
    상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오의 오디오 신호 구간과의 동기를 맞추어 동기화된 시간 코드 정보를 생성하는 제 4 단계; 및
    상기 생성된 정보들과 디지털 뉴스 비디오를 바탕으로, 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오를 연계하는 데이터베이스를 생성하는 제 5 단계
    를 포함하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 방법.
  9. 제 8 항에 있어서,
    상기 구조화된 자막 문서 정보는,
    화자 등에 대한 정보, 분할 단위로 할당된 고유 식별번호, 분할정보 및 동기화된 시간정보를 포함하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 방법.
  10. 제 8 항에 있어서,
    상기 제 2 단계의 부가정보는,
    상기 제 1 단계에서 생성된 구조화된 자막 문서 정보에서 해당 용어가 발생한 문서의 빈도수, 해당 용어가 속한 문서의 고유번호(ID), 해당 용어가 발생한 분할 단위의 빈도수, 해당 용어가 발생한 분할 단위의 고유번호(ID), 분할 단위 내 발생한 해당 용어의 빈도수를 포함하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 방법.
  11. 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 의해 생성된 뉴스 비디오 데이터베이스에 대한 내용기반 검색 방법에 있어서,
    폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 제 1 단계;
    사용자의 텍스트 질의에 따라 상기 제 1 단계에서 생성된 뉴스 비디오 데이터베이스를 검색하는 제 2 단계;
    상기 제 2 단계의 검색 결과에 우선순위를 부여하여 출력하는 제 3 단계; 및
    상기 제 3 단계의 출력 결과에 대한 사용자의 선택에 따라, 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 제 4 단계
    를 포함하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 검색 방법.
  12. 제 11 항에 있어서,
    상기 제 3 단계의 우선순위 부여는,
    색인어 빈도수와, 검색 문서 전체의 개수에 대한 질의어가 포함된 문서 개수의 비에 관한 정보인 역문헌 빈도수를 이용하여 산출한 가중치를 기반으로 하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 검색 방법.
  13. 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 의해 생성된 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법에 있어서,
    폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 제 1 단계; 및
    사용자의 기사 탐색기를 통한 선택에 따라, 해당 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 제 2 단계
    를 포함하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법.
  14. 제 13 항에 있어서,
    상기 기사 탐색기는,
    기사의 제목 목차와 상기 제목 목차를 사용자에 요구에 따라 계층적으로 보여주는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법.
  15. 제 14 항에 있어서,
    상기 제목 목차는,
    년, 월, 일, 기사, 화자를 포함하는 목차인 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법.
  16. 프로세서를 구비한 데이터베이스 생성 장치에,
    폐쇄자막 문서를 의미있는 단위로 계층적 분할을 하여 구조화된 자막 문서 정보를 생성하는 제 1 기능;
    상기 제 1 기능에서 생성된 구조화된 자막 문서 정보로부터 색인어와 부가정보를 추출하여 용어 사전 정보를 생성하는 제 2 기능;
    상기 제 1 기능에서 생성된 구조화된 자막 문서 정보로부터 단위 기사의 제목 정보를 생성하는 제 3 기능;
    상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오의 오디오 신호 구간과의 동기를 맞추어 동기화된 시간 코드 정보를 생성하는 제 4 기능; 및
    상기 생성된 정보들과 디지털 뉴스 비디오를 바탕으로, 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오를 연계하는 데이터베이스를 생성하는 제 5 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  17. 프로세서를 구비한 검색장치에,
    폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 제 1 기능;
    사용자의 텍스트 질의에 따라 상기 제 1 기능에서 생성된 뉴스 비디오 데이터베이스를 검색하는 제 2 기능;
    상기 제 2 기능의 검색 결과에 우선순위를 부여하여 출력하는 제 3 기능; 및
    상기 제 3 기능의 출력 결과에 대한 사용자의 선택에 따라, 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 제 4 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  18. 프로세서를 구비한 탐색장치에,
    폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 제 1 기능; 및
    사용자의 기사 탐색기를 통한 선택에 따라, 해당 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 제 2 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2001-0048677A 2001-08-13 2001-08-13 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및방법과 그에 따른 내용기반 검색/탐색 방법 KR100451004B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0048677A KR100451004B1 (ko) 2001-08-13 2001-08-13 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및방법과 그에 따른 내용기반 검색/탐색 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0048677A KR100451004B1 (ko) 2001-08-13 2001-08-13 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및방법과 그에 따른 내용기반 검색/탐색 방법

Publications (2)

Publication Number Publication Date
KR20030014804A true KR20030014804A (ko) 2003-02-20
KR100451004B1 KR100451004B1 (ko) 2004-10-06

Family

ID=27718956

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0048677A KR100451004B1 (ko) 2001-08-13 2001-08-13 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및방법과 그에 따른 내용기반 검색/탐색 방법

Country Status (1)

Country Link
KR (1) KR100451004B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100767676B1 (ko) * 2005-08-22 2007-10-17 엘지전자 주식회사 영상기기 및 영상기기의 영상 스캔 방법
WO2009117155A1 (en) * 2008-03-19 2009-09-24 Delve Networks, Inc. Method and subsystem for searching media content within a content-search-service system
US7917492B2 (en) 2007-09-21 2011-03-29 Limelight Networks, Inc. Method and subsystem for information acquisition and aggregation to facilitate ontology and language-model generation within a content-search-service system
US8396878B2 (en) 2006-09-22 2013-03-12 Limelight Networks, Inc. Methods and systems for generating automated tags for video files
US8966389B2 (en) 2006-09-22 2015-02-24 Limelight Networks, Inc. Visual interface for identifying positions of interest within a sequentially ordered information encoding
US9015172B2 (en) 2006-09-22 2015-04-21 Limelight Networks, Inc. Method and subsystem for searching media content within a content-search service system
KR102063797B1 (ko) * 2018-07-16 2020-01-08 국민대학교산학협력단 텍스트 자동요약 장치 및 방법
KR102492277B1 (ko) * 2022-06-28 2023-01-26 (주)액션파워 멀티모달 정보를 이용한 질의응답 수행 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100728679B1 (ko) 2005-04-29 2007-06-15 엘지전자 주식회사 자막싱크 보정기능이 구비된 이동통신 단말기 및 동작방법
KR100785927B1 (ko) 2006-06-02 2007-12-17 삼성전자주식회사 데이터 요약 생성 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2809341B2 (ja) * 1994-11-18 1998-10-08 松下電器産業株式会社 情報要約方法、情報要約装置、重み付け方法、および文字放送受信装置。
KR100573042B1 (ko) * 1998-07-04 2006-06-19 엘지전자 주식회사 동영상검색시스템
KR100693650B1 (ko) * 1999-07-03 2007-03-14 엘지전자 주식회사 다중 오브젝트 정보구조를 이용한 동영상 브라우징 시스템
KR20010106975A (ko) * 2000-05-24 2001-12-07 구자홍 멀티미디어 콘텐트에 대한 인덱스 정보 서비스 제공시스템과 제공방법
KR20000054561A (ko) * 2000-06-12 2000-09-05 박성환 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오검색 시스템 및 그 운영방법
KR100547317B1 (ko) * 2000-07-14 2006-01-26 엘지전자 주식회사 인덱스 정보의 추출과 검색이 동시에 가능한 녹화/재생장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100767676B1 (ko) * 2005-08-22 2007-10-17 엘지전자 주식회사 영상기기 및 영상기기의 영상 스캔 방법
US8396878B2 (en) 2006-09-22 2013-03-12 Limelight Networks, Inc. Methods and systems for generating automated tags for video files
US8966389B2 (en) 2006-09-22 2015-02-24 Limelight Networks, Inc. Visual interface for identifying positions of interest within a sequentially ordered information encoding
US9015172B2 (en) 2006-09-22 2015-04-21 Limelight Networks, Inc. Method and subsystem for searching media content within a content-search service system
US7917492B2 (en) 2007-09-21 2011-03-29 Limelight Networks, Inc. Method and subsystem for information acquisition and aggregation to facilitate ontology and language-model generation within a content-search-service system
US8204891B2 (en) 2007-09-21 2012-06-19 Limelight Networks, Inc. Method and subsystem for searching media content within a content-search-service system
WO2009117155A1 (en) * 2008-03-19 2009-09-24 Delve Networks, Inc. Method and subsystem for searching media content within a content-search-service system
KR102063797B1 (ko) * 2018-07-16 2020-01-08 국민대학교산학협력단 텍스트 자동요약 장치 및 방법
KR102492277B1 (ko) * 2022-06-28 2023-01-26 (주)액션파워 멀티모달 정보를 이용한 질의응답 수행 방법
US11720750B1 (en) 2022-06-28 2023-08-08 Actionpower Corp. Method for QA with multi-modal information

Also Published As

Publication number Publication date
KR100451004B1 (ko) 2004-10-06

Similar Documents

Publication Publication Date Title
US6580437B1 (en) System for organizing videos based on closed-caption information
US11197036B2 (en) Multimedia stream analysis and retrieval
KR100922390B1 (ko) 멀티미디어 프리젠테이션들의 자동 콘텐트 분석 및 표현
US20060173916A1 (en) Method and system for automatically generating a personalized sequence of rich media
US20100274667A1 (en) Multimedia access
US20070112838A1 (en) Method and system for classifying media content
US20030065655A1 (en) Method and apparatus for detecting query-driven topical events using textual phrases on foils as indication of topic
KR100451004B1 (ko) 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및방법과 그에 따른 내용기반 검색/탐색 방법
US20070112839A1 (en) Method and system for expansion of structured keyword vocabulary
JP4064902B2 (ja) メタ情報生成方法、メタ情報生成装置、検索方法および検索装置
Toklu et al. Videoabstract: a hybrid approach to generate semantically meaningful video summaries
US20100131464A1 (en) Method and apparatus for enabling simultaneous reproduction of a first media item and a second media item
US20080208872A1 (en) Accessing multimedia
KR102252522B1 (ko) 내용 기반 동영상 목차 자동생성 방법 및 시스템
EP1405212B1 (en) Method and system for indexing and searching timed media information based upon relevance intervals
Hauptmann et al. Artificial intelligence techniques in the interface to a digital video library
Amir et al. Search the audio, browse the video—a generic paradigm for video collections
Dowman et al. Semantically enhanced television news through web and video integration
KR100404322B1 (ko) 멀티모달 특징 기반의 뉴스 비디오 요약 방법
Lindsay et al. Representation and linking mechanisms for audio in MPEG-7
Stein et al. From raw data to semantically enriched hyperlinking: Recent advances in the LinkedTV analysis workflow
Hauptmann et al. Using location information from speech recognition of television news broadcasts
EP1876539A1 (en) Method and system for classifying media content
KR100493635B1 (ko) 멀티미디어 데이터 검색 및 브라우징 시스템
Kim et al. Multimodal approach for summarizing and indexing news video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080905

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee