KR20040102962A - Ｐｖｒ에서의 하이라이트 스트림 생성 장치 및 그 방법 - Google Patents

Ｐｖｒ에서의 하이라이트 스트림 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR20040102962A
KR20040102962A KR1020030034818A KR20030034818A KR20040102962A KR 20040102962 A KR20040102962 A KR 20040102962A KR 1020030034818 A KR1020030034818 A KR 1020030034818A KR 20030034818 A KR20030034818 A KR 20030034818A KR 20040102962 A KR20040102962 A KR 20040102962A
Authority
KR
South Korea
Prior art keywords
scene
highlight
section
stream
video
Prior art date
Application number
KR1020030034818A
Other languages
English (en)
Inventor
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020030034818A priority Critical patent/KR20040102962A/ko
Publication of KR20040102962A publication Critical patent/KR20040102962A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 디지털 TV에 HDD를 장착한 PVR에서 녹화된 방송 프로그램에 대하여 자동적으로 하이라이트 스트림을 생성하여 사용자에게 제공하는 장치 및 그 방법에 관한 것으로서, PVR에서 녹화된 프로그램의 비디오 스트림에 장면 전환 검출 알고리즘을 적용하여 녹화된 프로그램의 비디오 스트림을 다수개의 장면 구간으로 분할한 다음, 각 장면 구간에 대하여 음성 신호를 분석하여 중요도를 계산하고 상기 중요도를 기준으로 선택된 장면 구간을 중심으로 하이라이트 스트림을 생성함으로써, 저장된 프로그램에 대하여 사용자가 우선적으로 시청해야 할 부분을 자동으로 선별해주고, 각 장면 구간에 대하여 음량 정보를 이용하여 중요도를 계산하므로, 자동적인 하이라이트 스트림의 생성시 내용적으로 중요한 의미가 있는 구간의 선별 작업을 위한 정량적인 기준을 제시할 수 있다. 그리고, 하이라이트로 선택된 구간의 비디오 스트림을 직접 저장하지 않고 하이라이트를 구성하는 장면 구간의 시작 및 종료 지점에 대한 포인터 정보만을 저장한 다음, 하이라이트 재생시 포인터 정보를 사용하여 원래의 녹화된 프로그램 중 하이라이트로 설정된 구간만을 선택하여 재생함으로써 하이라이트의 저장에 소요되는 공간을 절약할 수 있는 효과가 있다.

Description

ＰＶＲ에서의 하이라이트 스트림 생성 장치 및 그 방법{Apparatus for generating highlight stream in PVR and method for the same}
본 발명은 디지털 TV에 하드디스크(HDD)를 장착한 개인용 디지털 비디오 녹화기(Personal Video Recorder ; PVR)에서 녹화된 방송 프로그램에 대하여 자동적으로 하이라이트 스트림(highlight stream)을 생성하여 사용자에게 제공하는 장치 및 그 방법에 관한 것이다.
상기 PVR은 디지털 TV에 하드디스크를 장착함으로써 디지털 방송을 하드디스크에 저장할 수 있는 기능을 제공한다. 상기 PVR은 주 기능인 녹화 기능은 물론 타임 시프트(time-shift), 생방송 시청 중 순간 재생(instant replay), 기타 각종 트릭 플레이 기능을 제공하면서 사용자로 하여금 디지털 TV를 보다 다양하게 즐길 수 있는 향상된 기능을 제공한다. 더욱이 HD급 고화질 디지털 방송을 언제든지 하드디스크에 저장하여 볼 수 있다는 장점과 각종 부가 서비스 기능은 사용자에게 커다란 매력으로 존재한다. 그러나, 방대한 분량의 프로그램 콘텐츠에 비해 사용자의 시청 시간은 제한되어 있다. 방대한 분량의 비디오 데이터가 저장되어 있는 환경에서 사용자가 자신이 녹화한 프로그램을 모두 시청하기 위해서는 많은 시간을 할애해야 한다. 이 때문에 원하는 내용을 한정된 시간 내에 쉽고 빠르게 접근하거나 검색할 수 있는 기능이 요구되고 있으며 이러한 문제를 해결하기 위해 짧은 시간 내에 프로그램의 전체적인 내용을 파악할 수 있도록 비디오 데이터를 함축적으로 요약할 수 있는 효과적인 방법이 필요하다.
이러한 방법들 중에서 하이라이트라는 기능은 전체 데이터 중 일부만을 이용하여 해당 비디오 스트림 전체를 대표함으로써 사용자에게 녹화된 프로그램에 대한 함축적인 정보를 제공할 수 있다. 하이라이트 동영상은 전체 비디오 및 오디오 스트림의 특정 구간을 따로 저장 또는 재생하는 것으로, 제한된 시간동안 디지털 비디오 녹화기에 저장된 여러 개의 프로그램 중 하나를 사용자가 선택하여 보기를 원할 때, 사용자는 각 프로그램의 하이라이트 스트림만을 재생함으로써 원하는 프로그램의 내용을 검색하는 데 걸리는 시간을 절약할 수 있다. 특히 스포츠 중계 방송과 같은 프로그램에서 하이라이트 동영상은 전체 경기 장면을 하나의 요약된 비디오로 압축할 수 있다는 장점이 있다. 즉, 득점 장면과 같은 주요 장면만을 선별적으로 정리하여 사용자에게 하나의 요약된 비디오를 제공할 수 있다.
그러나 종래의 방법 중에는 자동적인 방법으로 비디오 및 오디오 데이터에 대하여 하이라이트 스트림을 생성하는 방법이 부족하며, 또한 비디오 및 오디오 스트림에서 하이라이트를 생성할 부분을 따로 추출하는 방법도 미흡하다. 즉, 하이라이트는 프로그램의 내용을 대표할만한 의미가 있는 부분을 따로 추출해내야 하므로 하이라이트를 생성할 구간의 선택 작업은 상당히 까다로운 작업이다. 따라서, 종래에는 프로그램 제공자가 하이라이트 스트림을 따로 제작하는 방식을 사용한다. 이에 따라 사용자가 해당 프로그램에 대한 하이라이트 스트림을 얻기 위해서는 전적으로 콘텐츠 제작 업자에 의존해야 했다. 이는 결국 하이라이트를 제공하지 않는 프로그램의 경우, 사용자가 동시에 다수의 프로그램을 녹화했을 때, 각 프로그램에 대한 정보를 제한된 시간 내에 습득할 수 있는 방법이 없다는 문제가 발생한다.
따라서 위와 같은 문제를 해결하기 위해서는 자동적으로 이러한 하이라이트를 생성해주는 방법이 필요하다. 자동적인 방법으로 하이라이트를 생성하기 위해서는 주어진 비디오 데이터에 대하여 내용적으로 명확하게 구분이 되는 장면적인 개념으로 비디오를 분할해야 하며, 또한 주요 장면의 선별을 위하여 분할된 각 구간에 대하여 중요도를 측정하는 정량적인 방법이 필요하다. 그러나 종래의 방법 중에는 이러한 문제를 해결할 수 있는 기능이 미흡하다는 문제점이 존재한다.
또한, 종래의 하이라이트 생성 방법은 따로 추출한 하이라이트 스트림을 저장하는 효과적인 방법을 제공하지 못한다. 즉, 녹화된 프로그램에서 하이라이트를 구성하는 일부 스트림 데이터를 따로 저장함으로써 하이라이트를 구성한다. 그러나, 이러한 방법은 이미 하드 디스크에 저장된 데이터를 또 다시 일부를 추출하여 다시 저장하는 것으로 결국 중복되는 데이터를 저장함으로써 저장 공간의 낭비를 초래하는 문제점이 발생한다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 장면 전환 검출 알고리즘을 이용하여 저장 매체에 저장된 프로그램에 대하여 장면 분할을 수행한 다음 각 장면 구간에 대한 오디오 스트림의 정량적 분석에 근거하여 주요 장면을 추출함으로써 하이라이트 스트림을 생성하는 장치 및 그 방법을 제공함에 있다.
본 발명의 다른 목적은 녹화된 프로그램에 대한 하이라이트 스트림의 생성에 의하여 추가적으로 발생하는 데이터의 크기를 최소화하는 PVR에서의 하이라이트 생성 장치 및 그 방법을 제공함에 있다.
도 1은 본 발명에 의한 하이라이트 스트림 생성 장치의 일 실시예를 보인 구성 블록도
도 2는 본 발명에 의한 하이라이트 스트림 생성 및 저장 과정의 일 실시예를 보인 흐름도
도 3a는 각 장면 구간에서 하이라이트로 선택된 구간의 일 실시예를 보인 본 발명의 도면
도 3b는 도 3a와 같이 선택된 하이라이트 구간의 포인터 집합 HS를 저장하는 일 실시예를 보인 도면
도 4는 도 3의 포인터 정보를 이용하여 하이라이트를 재생하는 트릭 플레이의 일 실시 예를 보인 본 발명의 흐름도
도면의 주요부분에 대한 부호의 설명
101 : 영상 비교부 102 : 장면 전환 판단부
103 : 오디오 디코딩부 104 : 구간 음량 추정부
105 : 하이라이트 생성부 106 : HDD 인터페이스
상기와 같은 목적을 달성하기 위한 본 발명에 따른 PVR에서의 하이라이트 생성 장치는, 저장 매체에 녹화된 방송 프로그램의 비디오 스트림을 분석하여 해당 프로그램을 장면 전환에 따른 다수개의 구간으로 분할하는 장면 전환 판단부와, 각각의 장면 구간에 대한 음성 신호를 분석하여 각 장면 구간의 중요도를 추정하는 구간 음량 추정부와, 중요도가 높은 장면 구간들을 하이라이트 스트림 생성에 필요한 장면 구간으로 선택하고, 선택된 장면 구간들의 위치 정보를 상기 저장 매체에 저장하는 하이라이트 생성부를 포함하여 구성되는 것을 특징으로 한다.
상기 저장 매체로부터 녹화 방송 프로그램의 비디오 스트림을 입력받아 두 장의 비디오 프레임 신호의 정량적 차이를 비교하여 프레임 오차 값을 상기 장면 전환 판단부로 출력하는 영상 비교부를 더 포함하여 구성되며, 상기 장면 전환 판단부는 상기 프레임 오차 값과 기 설정된 임계 값을 비교하여 상기 비디오 스트림의 장면 전환 여부를 판단하고, 장면 전환을 기준으로 상기 비디오 스트림을 다수개의 장면 구간으로 분할한 후 각 장면 구간의 정보를 출력하는 것을 특징으로 한다.
상기 구간 음량 추정부는 디코딩된 오디오 신호를 입력받아 각 장면 구간의 평균 음량값을 계산하여 각 장면 구간의 중요도 측정에 이용하도록 하는 것을 특징으로 한다.
상기 하이라이트 생성부에서 하이라이트로 선택된 장면 구간의 위치 정보는, 하이라이트를 구성하는 구간으로 선택된 장면 구간의 시작 프레임 및 종료 프레임의 포인터 정보인 것을 특징으로 한다.
본 발명에 따른 PVR에서의 하이라이트 스트림 생성 방법은,
(a) 저장 매체에 녹화된 방송 프로그램의 비디오 스트림을 분석하여 해당 프로그램을 장면 전환에 따른 여러 개의 구간으로 분할하는 단계;
(b) 각 장면 구간에 대하여 음성 신호를 분석하여 각 장면 구간의 중요도를 추정하는 단계; 그리고
(c) 중요도가 높은 장면 구간들을 하이라이트 스트림 생성에 필요한 장면 구간으로 선택하고, 선택된 장면 구간들의 위치 정보를 상기 저장 매체에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기 (b) 단계는 각 장면 구간의 평균 음량값을 계산하여 각 장면 구간의 중요도로 출력하는 것을 특징으로 한다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명은 HDD와 같은 저장 매체에 저장된 MPEG 비디오 스트림에 대하여 장면 전환 검출을 수행하여 여러 개의 구간으로 분할한 다음, 각 구간의 음성 신호 분석에 근거하여 하이라이트 스트림에 포함시킬 구간을 결정하는데 그 특징이 있다.
도 1은 이러한 본 발명에 의한 하이라이트 스트림 생성 장치의 일 실시예를 나타낸 구성 블록도로서, 녹화된 프로그램의 비디오 신호를 저장 매체로부터 입력받아 두 장의 프레임 신호의 정량적 차이를 비교하여 프레임 오차 값을 출력하는 영상 비교부(101), 상기 영상 비교부(101)에서 출력되는 프레임 오차 값과 미리 설정된 임계 값을 비교하여 장면의 전환 여부를 판단하고 장면 전환을 기준으로 저장된 비디오 스트림을 다수개의 장면 구간으로 분할한 후 각 장면 구간의 정보를 출력하는 장면 전환 판단부(102), 녹화된 프로그램의 오디오 신호를 저장 매체로부터 입력받아 오디오의 음량 정보를 추출하는 오디오 디코딩부(103), 상기 오디오의 음량 정보와 장면 구간 정보를 근거로 각 장면 구간에 대하여 평균 음량 값을 구하여 출력하는 구간 음량 추정부(104), 및 각 장면 구간의 음량 정보로부터 하이라이트 스트림 생성에 필요한 장면 구간을 선별하고 선별된 장면 구간의 정보를 출력하는 하이라이트 생성부(105)로 구성된다.
여기서, 상기 하이라이트를 구성하는 구간으로 선별된 장면 구간의 정보는 각 장면 구간의 시작 지점 및 종료 지점에 대한 스트림 내에서의 포인터 정보이며, 도 1의 실시 예에서는 하이라이트 생성부(105)에서 출력되는 하이라이트 포인터 정보가 HDD 인터페이스(106)를 통해 HDD에 저장된다.
상기 하이라이트 포인터 정보에 대한 저장의 다른 실시 예로 메모리 인터페이스를 이용하여 시스템 내의 메모리로 전송하는 방법을 사용할 수도 있다.
도 2는 본 발명에 따른 하이라이트 스트림 생성 방법의 일 실시 예를 보인흐름도로서, 장면 전환 판단부(102)는 영상 비교부(101)를 통해 입력되는 비디오 스트림에 대하여 장면 전환을 검출하고, 검출된 장면 전환을 기준으로 상기 비디오 스트림을 다수개의 장면 구간으로 분할한다(단계 201).
여기서, 상기 장면 전환 검출은 저장된 프로그램의 MPEG 비디오 스트림에 대하여 연속되는 I 픽처에 대하여 프레임 오차를 계산하거나, 각 I 픽처의 Y/Cb/Cr 성분에 대한 히스토그램을 추출하여 히스토그램 오차를 계산하는 방법을 사용할 수 있다. 또한, 보다 정확한 장면 전환 발생 지점의 검출을 위해 P 픽처 또는 B 픽처에 대하여 매크로 블록 타입에 대한 히스토그램을 비교하는 방법 등을 사용할 수 있다.
이때, 장면 전환 검출을 수행함으로써, 비디오 스트림에서 장면 전환이 발생하는 프레임의 위치를 알 수 있다. 그리고, 장면 전환이 발생하는 프레임의 위치는 이후에 설명할 하이라이트 구간 포인터 정보로 사용한다. 이때, 장면 전환이 발생하는 하나의 지점부터 다음 장면 전환이 발생하는 지점에 포함되는 비디오 프레임들은 하나의 장면 구간을 구성한다.
그리고, 상기 단계 201에서 장면 전환에 따른 다수개의 구간이 분할되면 각 구간별로 각 구간에 해당되는 오디오 신호를 오디오 디코딩부(103)에서 디코딩한 다음, 디코딩된 오디오 신호를 이용하여 구간 음량 추정부(104)에서는 그 구간의 평균 음량을 계산한다(단계 202). 이때, i 번째 구간에 대한 음량 정보는 A(i)로 표기한다.
본 발명에서는 실시예로, 각 구간의 중요도를 측정하는 기준으로 평균 음량값을 사용하였다. 특히 스포츠 중계 방송과 같은 경우에, 주요 득점 장면 또는 결정적인 상황이 발생할 때, 관중의 함성 또는 아나운서의 음성의 크기가 증가하며 이로 인해 해당 구간의 오디오 신호의 음량이 증가한다. 따라서, 음량이 큰 구간에서는 결정적인 이벤트가 발생한다고 판단할 수 있다. 이러한 원리에 의하여 본 발명에서는 음량 값을 각 구간의 중요도를 측정하는 기준으로 사용하였다.
한편, 상기 단계 202에서 각 구간별로 각 구간의 평균 음량이 구해지면, 하이라이트 생성부(105)는 상기 각 구간의 평균 음량 값을 기준으로 하이라이트 스트림에 포함될 구간 HS을 결정한다(단계 203). 이때, 상기 하이라이트 생성부(105)는 하이라이트 스트림에 포함될 구간을 결정하기 위하여 각 구간의 음량 값을 미리 설정한 임계 값과 비교하는 작업을 수행한다. 이때, 상기 임계 값은 녹화된 스트림의 오디오 특성에 따라 적응적인 방법으로 설정한다. 그리고, 각 장면 구간은 시작 프레임의 위치와 종료 프레임의 위치로 정의된다. 따라서 이들 프레임 위치를 각 구간의 시작 포인터 및 종료 포인터로 정의하며 이들 포인터 정보를 이용하여 하이라이트 스트림을 재생하는데 필요한 구간을 표현할 수 있다. 이때, 도 2에 표시된 HS는 하이라이트 스트림을 구성하는 구간의 포인터 정보로 이루어진 집합을 나타낸다.
상기된 과정을 통해 상기 단계 203에서 하이라이트 스트림에 포함될 구간이 결정되면 하이라이트 구간 포인터의 집합 HS를 하드 디스크 또는 기타 메모리에 저장한다(단계 204).
한편, 본 발명의 다른 실시예로서, 도 2의 단계 201과 단계 202는 병합되어실시될 수 있다. 즉, 비디오 신호에 대한 장면 전환 검출 작업과 각 비디오 프레임에 해당되는 오디오 신호에 대한 음량 누적 작업을 병행할 수 있다. 이 과정에서 현재 장면 구간에 대한 비디오 프레임 개수와 음량 값의 합계를 계산하며, 장면 전환이 발생하는 경우, 현재까지 계산된 음량 값의 합계를 비디오 프레임의 개수로 나눈 값을 평균 음량 값으로 결정하여 내부 버퍼 또는 외부 메모리에 저장한다. 예를 들어, 현재 장면 구간에서 비디오 프레임을 20개 카운트했을 때 장면 전환이 발생하였다고 가정하고, 상기 비디오 프레임이 20개 카운트될 때까지 누적된 음량 값이 40이라고 가정한다. 그러면, 현재 장면 구간에서 평균 음량값은 2가 된다. 그리고, 평균 음량 값을 저장한 다음, 음량 값의 합계 및 비디오 프레임 개수를 세기 위한 카운터 회로(도시되지 않음)는 리셋 작업을 수행하여 다음 구간에 대하여 새로운 평균 음량 값을 계산할 수 있도록 한다.
도 3a는 본 발명에 의한 하이라이트 스트림 생성 장치 및 그 방법에서 하이라이트 포인터 집합 HS를 생성하는 과정의 일 실시 예를 보인 도면이다. 도 3a를 보면, 상기 설명한 장면 전환 검출 과정에 의하여 녹화된 프로그램은 5개의 장면 구간으로 분할되어 있다. 이때, 녹화된 스트림의 총 길이는 3600 프레임이며, 각 구간의 시작점에 해당하는 프레임 번호는 1, 600, 1600, 2000, 2800이다. 즉, 구간 2는 스트림의 600 번째 프레임부터 1599 번째 프레임에 해당하는 데이터로 구성된다. 이때, 상기 하이라이트 생성부(105)는 상기 구간 음량 추정부(104)에서 계산된 구간별 평균 음량값을 비교하여 구간 3과 구간 5를 하이라이트 스트림에 포함될 구간으로 결정한 예이다.
본 발명의 실시예에 의하여 하이라이트 스트림을 구성할 구간의 포인터를 포함하는 집합 HS는 도 3b에 나타난 표와 같다. 이때, 본 발명의 실시 예에서 하이라이트 포인터 집합 HS는 하이라이트에 포함되는 구간의 개수, 각 구간의 시작 및 종료 시점을 나타내는 스트림 내 프레임 번호로 구성된다. 따라서, 첫 번째 행의 2라는 숫자는 하이라이트가 2개의 장면 구간으로 구성된다는 의미이며, 두 번째 행과 세 번째 행의 값(즉, 『1600,1900』,『2800,3600』)은 각 구간의 시작 및 종료 포인터를 나타낸다.
이때, 상기 하이라이트 포인터 집합 HS를 구성하는 방법은 도 3에 의한 실시 예 이외에 헤더 정보 및 포인터의 집합으로 구성된 형태와 같이 하이라이트 구간을 효과적으로 표현할 수 있는 범위 내에서 다양한 변형이 가능하다.
도 4는 본 발명에 의한 하이라이트 스트림 생성 방법에서 하이라이트 포인터 집합 HS를 이용하여 하이라이트를 재생하는 과정의 일 실시 예를 나타낸 흐름도로서, 하이라이트 포인터 집합은 도 3에 의한 상기의 실시 예에 의하여 주어진다고 가정한다. 즉, 하이라이트 재생 과정에서 하이라이트 스트림은 구간 3과 구간 5로 구성되며, 사용자가 하이라이트 재생 모드를 선택하면 시스템은 구간 3과 구간 5를 재생한다.
이를 위해, 먼저 구간 3의 시작 포인터에 해당하는 1600 번째 프레임으로 이동하여 이 구간에 대한 재생을 수행한다(단계 401). 즉, 1번째 프레임부터 1599번째 프레임은 재생하지 않고 스킵한다. 그리고, 구간 3의 마지막 프레임인 1999 번째 프레임까지의 재생이 끝나면(단계 402), 구간 5의 첫번째 프레임에 해당하는2800 번째 프레임으로 이동한다(단계 403). 그리고, 2800 번째 프레임부터 3600 번째 프레임까지 재생함으로써 하이라이트 스트림의 재생을 완료한다(단계 404). 여기서, 구간 3과 구간 5를 재생할 때 구간 3과 구간 5에 해당하는 오디오도 같이 재생된다.
이때, 각 구간의 포인터가 가리키는 프레임 번호로의 정확한 이동을 위해 본 발명의 일 실시예에서는 프로그램을 녹화할 때, 스트림의 각 프레임이 저장되는 하드 디스크에서의 물리적인 위치를 가리키는 인덱스 파일을 별도로 관리한다고 가정한다.
결과적으로, 본 발명은 하이라이트 스트림을 구성하는 비디오 및 오디오 데이터를 별도로 저장할 필요 없이 이미 저장된 스트림에서의 위치를 가리키는 포인터 정보만을 저장한 다음, 하이라이트의 재생시 포인터를 이용하여 트릭 플레이 과정을 제어하는 방법을 사용함으로써, 하이라이트 스트림의 생성에 의한 추가적인 저장 공간의 소모를 최소화 할 수 있다.
이와 같이 본 발명은 디지털 TV에 하드 디스크를 장착한 PVR에서 녹화된 프로그램에 대한 내용 요약, 녹화된 여러 개의 프로그램에 대한 빠른 검색 등에 적용할 수 있으며, 방대한 분량의 디지털 비디오로 구성된 데이터 베이스 시스템에서 검색 작업 등의 편의를 위한 요약 비디오 생성에 관련된 응용 분야 등에 적용하여 사용자에게 효과적이고 자동적인 하이라이트 스트림을 제공할 수 있게 된다.
이상에서와 같이 본 발명에 따른 PVR에서의 하이라이트 스트림 생성 장치 및그 방법에 의하면, PVR에서 녹화된 프로그램의 비디오 스트림에 장면 전환 검출 알고리즘을 적용하여 녹화된 프로그램의 비디오 스트림을 다수개의 장면 구간으로 분할한 다음, 각 장면 구간에 대하여 중요도를 계산하고 상기 중요도를 기준으로 선택된 장면 구간을 중심으로 하이라이트 스트림을 생성함으로써, 저장된 프로그램에 대하여 사용자가 우선적으로 시청해야 할 부분을 자동으로 선별해주는 효과가 있다.
또한, 본 발명은 각 장면 구간에 대하여 음량 정보를 이용하여 중요도를 계산함으로써, 자동적인 하이라이트 스트림의 생성시 내용적으로 중요한 의미가 있는 구간의 선별 작업을 위한 정량적인 기준을 제시하는 효과가 있다.
그리고, 본 발명은 하이라이트로 선택된 구간의 비디오 스트림을 직접 저장하지 않고 하이라이트를 구성하는 장면 구간의 시작 및 종료 지점에 대한 포인터 정보만을 저장한 다음, 하이라이트 재생시 포인터 정보를 사용하여 원래의 녹화된 프로그램 중 하이라이트로 설정된 구간만을 선택하여 재생함으로써 하이라이트의 저장에 소요되는 공간을 절약할 수 있는 효과가 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.
따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims (9)

  1. 저장 매체에 녹화된 방송 프로그램의 비디오 스트림을 분석하여 해당 프로그램을 장면 전환에 따른 다수개의 구간으로 분할하는 장면 전환 판단부;
    각각의 장면 구간에 대한 음성 신호를 분석하여 각 장면 구간의 중요도를 추정하는 구간 음량 추정부; 그리고
    상기 중요도를 기준으로 하이라이트 스트림 생성에 필요한 장면 구간들을 선택하고, 선택된 장면 구간들의 위치 정보를 상기 저장 매체에 저장하는 하이라이트 생성부를 포함하여 구성되는 것을 특징으로 하는 PVR에서의 하이라이트 스트림 생성 장치.
  2. 제 1 항에 있어서,
    상기 저장 매체로부터 녹화 방송 프로그램의 비디오 스트림을 입력받아 두 장의 비디오 프레임 신호의 정량적 차이를 비교하여 프레임 오차 값을 상기 장면 전환 판단부로 출력하는 영상 비교부를 더 포함하여 구성되며,
    상기 장면 전환 판단부는 상기 프레임 오차 값과 기 설정된 임계 값을 비교하여 상기 비디오 스트림의 장면 전환 여부를 판단하고, 장면 전환을 기준으로 상기 비디오 스트림을 다수개의 장면 구간으로 분할한 후 각 장면 구간의 정보를 출력하는 것을 특징으로 하는 PVR에서의 하이라이트 스트림 생성 장치.
  3. 제 1 항에 있어서,
    상기 장면 전환 판단부에서 장면 전환이 발생하는 하나의 지점부터 다음 장면 전환이 발생하는 지점 직전까지 포함되는 비디오 프레임들은 하나의 장면 구간을 구성하는 것을 특징으로 하는 PVR에서의 하이라이트 스트림 생성 장치.
  4. 제 1 항에 있어서, 상기 구간 음량 추정부는
    디코딩된 오디오 신호를 입력받아 각 장면 구간의 평균 음량값을 계산하여 각 장면 구간의 중요도 측정에 이용하도록 하는 것을 특징으로 하는 PVR에서의 하이라이트 스트림 생성 장치.
  5. 제 1 항에 있어서,
    상기 하이라이트 생성부에서 하이라이트로 선택된 장면 구간의 위치 정보는, 하이라이트를 구성하는 구간으로 선택된 장면 구간의 시작 프레임 및 종료 프레임의 포인터 정보인 것을 특징으로 하는 PVR에서의 하이라이트 스트림 생성 장치.
  6. (a) 저장 매체에 녹화된 방송 프로그램의 비디오 스트림을 분석하여 해당 프로그램을 장면 전환에 따른 여러 개의 구간으로 분할하는 단계;
    (b) 각 장면 구간에 대하여 음성 신호를 분석하여 각 장면 구간의 중요도를 추정하는 단계; 그리고
    (c) 상기 중요도를 기준으로 하이라이트 스트림 생성에 필요한 장면 구간들을 선택하고, 선택된 장면 구간들의 위치 정보를 상기 저장 매체에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 PVR에서의 하이라이트 스트림 생성 방법.
  7. 제 6 항에 있어서, 상기 (b) 단계는
    각 장면 구간의 평균 음량값을 계산하여 각 장면 구간의 중요도로 출력하는 것을 특징으로 하는 PVR에서의 하이라이트 스트림 생성 방법.
  8. 제 6 항에 있어서, 상기 (c) 단계는
    하이라이트를 구성하는 구간으로 선택된 장면 구간의 시작 프레임 및 종료 프레임의 포인터 정보를 하이라이트로 선택된 장면 구간의 위치 정보로 저장하는 것을 특징으로 하는 PVR에서의 하이라이트 스트림 생성 방법.
  9. 제 8 항에 있어서,
    하이라이트의 재생시 상기 저장 매체에 녹화된 방송 프로그램의 비디오 스트림 내에서 해당되는 하이라이트 구간 포인터를 참조하여 트릭 플레이를 제어하는 단계를 더 포함하는 것을 특징으로 하는 PVR에서의 하이라이트 스트림 생성 방법.
KR1020030034818A 2003-05-30 2003-05-30 Ｐｖｒ에서의 하이라이트 스트림 생성 장치 및 그 방법 KR20040102962A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030034818A KR20040102962A (ko) 2003-05-30 2003-05-30 Ｐｖｒ에서의 하이라이트 스트림 생성 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030034818A KR20040102962A (ko) 2003-05-30 2003-05-30 Ｐｖｒ에서의 하이라이트 스트림 생성 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20040102962A true KR20040102962A (ko) 2004-12-08

Family

ID=37379153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030034818A KR20040102962A (ko) 2003-05-30 2003-05-30 Ｐｖｒ에서의 하이라이트 스트림 생성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20040102962A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100861947B1 (ko) * 2007-02-01 2008-10-09 삼성전자주식회사 디지털 방송 녹화장치의 타이틀 관리방법
KR101158435B1 (ko) * 2006-03-03 2012-06-22 엘지전자 주식회사 이동통신 단말기와 우선순위 정보 데이터를 이용한 방송시스템 및 이를 이용한 방송 방법
KR101203380B1 (ko) * 2005-05-11 2012-11-21 (주)휴맥스 디지털 방송 수신기에서의 파일 편집 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101203380B1 (ko) * 2005-05-11 2012-11-21 (주)휴맥스 디지털 방송 수신기에서의 파일 편집 방법
KR101158435B1 (ko) * 2006-03-03 2012-06-22 엘지전자 주식회사 이동통신 단말기와 우선순위 정보 데이터를 이용한 방송시스템 및 이를 이용한 방송 방법
KR100861947B1 (ko) * 2007-02-01 2008-10-09 삼성전자주식회사 디지털 방송 녹화장치의 타이틀 관리방법

Similar Documents

Publication Publication Date Title
JP5227382B2 (ja) 類似のビデオコンテンツへの乗り換えのための方法および装置
JP4000171B2 (ja) 再生装置
JP6266109B2 (ja) 動画画面の処理方法及び装置
US6993245B1 (en) Iterative, maximally probable, batch-mode commercial detection for audiovisual content
US7362950B2 (en) Method and apparatus for controlling reproduction of video contents
KR20060027826A (ko) 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램
KR20030056783A (ko) 비디오 하이라이트 자동 생성 방법 및 장치
KR20020007158A (ko) 특수재생 제어정보 기술방법, 특수재생 제어정보 생성장치및 방법과 영상재생장치 및 방법
JPWO2005069172A1 (ja) 要約再生装置および要約再生方法
JP2005538584A (ja) ビデオシーケンスに対してインデックス付けするシステムおよび方法
US8634708B2 (en) Method for creating a new summary of an audiovisual document that already includes a summary and reports and a receiver that can implement said method
JP2003244589A (ja) 時系列データ記録装置及び時系列データ記録方法
US7801420B2 (en) Video image recording and reproducing apparatus and video image recording and reproducing method
KR100794797B1 (ko) 디지털 ａ/ｖ 데이터의 기록/재생 장치 및 그 제어방법
EP2306719B1 (en) Content reproduction control system and method and program thereof
US7486873B2 (en) Video reproduction apparatus and intelligent skip method therefor
US8234278B2 (en) Information processing device, information processing method, and program therefor
KR20040102962A (ko) Ｐｖｒ에서의 하이라이트 스트림 생성 장치 및 그 방법
US20050232598A1 (en) Method, apparatus, and program for extracting thumbnail picture
JP2006270233A (ja) 信号処理方法及び信号記録再生装置
US20060263062A1 (en) Method of and apparatus for setting video signal delimiter information using silent portions
JP3923918B2 (ja) 番組映像編集装置、番組映像編集方法及びプログラム
JP2012034022A (ja) 映像音声記録再生装置、および映像音声記録再生方法
JP2009135754A (ja) ダイジェスト作成装置及び方法
JP5120479B2 (ja) データ信号記録装置およびデータ信号再生装置

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination