KR100492446B1 - 지능형 pvr 시스템 및 그 운영방법 - Google Patents

지능형 pvr 시스템 및 그 운영방법 Download PDF

Info

Publication number
KR100492446B1
KR100492446B1 KR10-2002-0039410A KR20020039410A KR100492446B1 KR 100492446 B1 KR100492446 B1 KR 100492446B1 KR 20020039410 A KR20020039410 A KR 20020039410A KR 100492446 B1 KR100492446 B1 KR 100492446B1
Authority
KR
South Korea
Prior art keywords
signal
video
user
pvr
input unit
Prior art date
Application number
KR10-2002-0039410A
Other languages
English (en)
Other versions
KR20040005111A (ko
Inventor
박성한
Original Assignee
(주)화인에스아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)화인에스아이 filed Critical (주)화인에스아이
Priority to KR10-2002-0039410A priority Critical patent/KR100492446B1/ko
Priority to AU2003234355A priority patent/AU2003234355A1/en
Priority to PCT/KR2003/001061 priority patent/WO2004006571A1/en
Publication of KR20040005111A publication Critical patent/KR20040005111A/ko
Application granted granted Critical
Publication of KR100492446B1 publication Critical patent/KR100492446B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4435Memory management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147PVR [Personal Video Recorder]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Abstract

개시된 본 발명은 지능형 PVR(개인용 비디오 녹화기:Personal Video Recorder) 시스템에 관한 것으로서, TV신호를 비롯한 디지털 동영상신호를 이용자의 요구에 따라 내용별로 분할하여 동영상 클립신호를 생성 및 저장하고, 이용자가 상기 동영상 클립신호를 재생 요청하면 이용자가 요청하는 동영상 클립신호별로 검출하여 디스플레이부에 재생하여 주는 지능형 PVR 시스템에 관한 것이다.

Description

지능형 PVR 시스템 및 그 운영방법{SYSTEM AND METHOD FOR PVR(PERSONAL VIDEO RECORDER)}
본 발명은 지능형 PVR 시스템 및 그 운영방법에 관한 것으로, 보다 상세하게는 TV신호를 비롯한 디지털 동영상신호를 이용자의 요구에 따라 내용별로 분할하여 동영상 클립신호를 생성 및 저장하고, 이용자가 상기 동영상 클립신호를 재생 요청하면 이용자가 요청하는 동영상 클립신호별로 검출하여 디스플레이부에 재생하여 주는 지능형 PVR 시스템 및 그 운영방법에 관한 것이다.
최근 디지털 기술 및 저장장치 기술의 발달로 셋톱 박스(set-top box)형 개인용 비디오 녹화기(Personal Video Recorder, 이하 'PVR'이라 함)가 개발되어 보급되기 시작하고 있다. 다수의 사람들이 PVR에 많은 관심을 보이고 있으며 앞으로는 PVR 기능을 갖는 TV 및 PC 의 보급이 점차 증가할 것으로 여겨지고 있다.
특히, PVR이 빠르게 확산될 것으로 예상하는 큰 요인 중 하나는, PVR은 전자 프로그램 안내(EPG:Electronic Program Guide)를 내장하고 있으며 시청자들은 상기 EPG를 보고 자신이 관심있는 프로그램을 편리하게 녹화할 수 있게 되며, 현재 이용되고 있는 VCR(Video Cassette Recorder)과는 달리 녹화를 위해 테이프를 넣지 않아도 되며 별도의 녹화기가 없어도 된다는 점이다.
Informa Media가 작성한 개인용 TV에 관한 보고서에 의하면, 2010년에는 모든 가정의 약 50%가 PVR 서비스의 일부를 이용할 것이라고 한다.
한편, 현재 보급이 시작되고 있는 PVR 셋톱 박스는 40-60GB의 하드디스크가 장착되어 있어서 20-30시간 정도 분량의 동영상을 저장할 수 있다.
그러나, 상기와 같이 여러 가지 장점을 가지고 있는데도 불구하고 PVR이 대중적인 상품이 되지 못하고 있는 첫 번째 이유는, 셋톱 박스형 PVR의 가격이 너무 비싸다는 것이다.
두 번째 이유는, 40GB의 하드디스크는 고화질 영상을 12시간 정도밖에 녹화할 수 없고 따라서 하드디스크의 용량이 금방 차버린다.
세 번째 이유는, 동영상 즉, 하나의 프로그램을 통째로 녹화하여 저장한다는 것이다. 이는 현재의 VCR과 별다른 차이 없이 동일한 시간분량에 해당하는 프로그램을 그대로 녹화하는 것에 불과하다. 즉, TV 방송프로그램을 하드디스크에 저장하고 상기 하드디스크에 저장된 프로그램을 재생해 볼 수 있는 기능만이 지원될 뿐이다.
따라서, 녹화된 내용을 보기 위해 시청자가 많은 시간을 소비해야 하며, 시청자가 원하는 부분만을 볼 수 없으며, 하드디스크의 용량도 이를 감당할 수 없게 된다.
본 발명은 상기의 문제점을 해결하기 위해 안출한 것으로서, 본 발명의 PVR 시스템을 이용하는 이용자가 입력되는 동영상 신호 중 원하는 부분만을 편집하여 동영상 클립신호로 저장하고 또한, 상기 동영상 클립신호 중에서도 이용자가 원하는 부분만을 볼 수 있도록 지원하는 지능형 PVR 시스템을 제공함에 첫 번째 목적이 있다.
두 번째 목적은, 본 발명의 지능형 PVR 시스템이 탑재되어 있는 TV나 PC를 통해 이용자가 간단하고 편리하게 동영상을 편집하고 재생할 수 있도록 하고자 한다.
상기 목적을 달성하기 위하여 본 발명의 일 실시 예로서, 청구항 1에 기재된 발명은, TV 방송신호(동영상신호)를 입력받아 디지털로 변환하여 소정의 저장수단에 저장하고, 상기 저장수단에 저장된 디지털 영상신호를 동영상 재생신호에 따라 TV 모니터에 재생하는 PVR(개인용 비디오 녹화기:Personal Video Recorder) 시스템에 있어서, 외부로부터 동영상신호를 입력받기 위한 동영상 입력부; 네트워크 통신망에 연결되어 있는 TV 또는 PC에 탑재되며, 입력되는 동영상신호에 대해 이용자가 이용자 입력부를 조작하여 상기 동영상신호 중 분할하고자 하는 부분을 지정하면 상기 이용자가 지정한 부분만을 검출 및 분할하여 동영상 클립(clip)신호를 생성하고, 생성된 동영상 클립신호를 상기 저장수단에 저장하는 PVR; 및 상기 이용자 입력부를 통해 이용자가 재생하고자 요청하는 동영상 클립신호를 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 지능형 PVR 시스템을 제공한다.
또, 청구항 2에 기재된 발명은, 청구항 1에 있어서, 상기 PVR은 이용자가 이용자 입력부를 통해 편집, 저장, 삭제하고자 하는 신호를 입력하면 상기 입력신호에 따른 제어신호를 송신하는 제어수단; 상기 제어수단으로부터 송신되는 제어신호에 따라 상기 동영상 입력부로부터 수신되는 동영상신호의 움직임 정보를 이용하여 동영상의 장면이 변하는 지점을 인식함으로써 장면별 동영상을 자동 검출 및 분할하는 편집수단; 및 상기 편집수단에서 검출 및 분할된 동영상 클립(clip)신호를 저장하는 저장수단을 포함하여 구성되는 것을 특징으로 하는 지능형 PVR 시스템으로서 상술한 과제를 해결한다.
또, 청구항 3에 기재된 발명은, 청구항 2에 있어서, 상기 PVR은 이용자가 상기 이용자 입력부를 이용하여 상기 저장수단에 저장되어 있는 동영상 클립신호를 소정의 기록매체에 기록하고자 하는 신호를 입력하면, 상기 제어수단의 기록제어신호에 따라 상기 기록매체에 상기 저장수단의 동영상 클립신호를 기록하는 기록수단을 더 포함하는 것을 특징으로 하는 지능형 PVR 시스템으로서 상술한 과제를 해결한다.
또, 청구항 4에 기재된 발명은, 청구항 3에 있어서, 상기 기록수단은 HDD(Hard Disk Drive) 또는 DVD-R/W(Digital Video Disk - Read/Write) 또는 CD-R/W(Compact Disk Read/Write) 인 것을 특징으로 하는 지능형 PVR 시스템으로서 상술한 과제를 해결한다.
또, 청구항 5에 기재된 발명은, 청구항 2에 있어서, 상기 동영상 입력부는 외부로부터 입력되는 동영상신호에 포함되어 있는 자막정보를 추출하는 자막 복호기; 외부로부터 입력되는 동영상신호를 MPEG(Motion Picture Experts Group) 데이터로 변환하는 MPEG 부호기; 외부로부터 입력되는 동영상신호를 체크하여 자막 정보검출 또는 MPEG 데이터 변환용 제어신호를 출력하는 제어기를 포함하는 것을 특징으로 하는 지능형 PVR 시스템으로서 상술한 과제를 해결한다.
또, 청구항 6에 기재된 발명은, 청구항 5에 있어서, 상기 PVR의 편집수단은 상기 자막 복호기를 통해 출력되는 자막 정보에 시스템 시계를 이용하여 생성된 시간 태그를 첨가시키고, 시간 태그가 첨가된 자막 정보를 명사 단위로 하는 색인 자료를 제작하여 출력하는 자막 분석기; 상기 MPEG 부호기를 통해 출력되는 동영상신호를 입력받아 동영상 클립신호를 자동으로 생성하는 장면 분할기; 상기 자막 분석기 및 장면 분할기를 통해 이루어지는 색인 자료 및 이용자가 입력하는 부가정보(주제어)를 생성하여 각 동영상 클립신호에 대응시키는 부가정보 입력기를 포함하는 것을 특징으로 하는 지능형 PVR 시스템으로서 상술한 과제를 해결한다.
또, 청구항 7에 기재된 발명은, 청구항 6에 있어서, 상기 PVR의 편집수단은 상기 동영상 클립신호를 상기 네트워크 통신망을 통해 전송할 수 있도록 스트림 파일로 제작하는 스트림 파일 제작기를 더 포함하는 것을 특징으로 하는 지능형 PVR 시스템으로서 상술한 과제를 해결한다.
또, 청구항 8에 기재된 발명은, 청구항 6에 있어서, 상기 편집수단의 장면 분할기는 입력되는 동영상신호의 종류가 동영상 촬영기를 통해 촬영된 동영상신호인 경우, 이용자가 이용자 입력부를 통해 조작하는 편집신호에 반응하여 상기 동영상신호를 분할, 합성, 삭제하여 동영상 클립신호를 생성하는 것을 특징으로 하는 지능형 PVR 시스템으로서 상술한 과제를 해결한다.
상기 목적을 달성하기 위하여 본 발명의 다른 실시 예로서, 청구항 9에 기재된 발명은, (1) 동영상 입력부를 통해 외부로부터 동영상신호를 입력받는 과정; (2) 입력되는 동영상신호에 대해 이용자가 이용자 입력부를 조작하여 상기 동영상신호 중 분할하고자 하는 부분을 지정하면 상기 이용자가 지정한 부분만을 검출 및 분할하여 동영상 클립(clip)신호를 생성하고, 생성된 동영상 클립신호를 상기 저장수단에 저장하는 과정; 및 (3) 상기 이용자 입력부를 통해 이용자가 재생하고자 요청하는 동영상 클립신호를 디스플레이부에 디스플레이하는 과정을 포함하여 이루어지는 것을 특징으로 하는 지능형 PVR 시스템의 운영방법으로서 상술한 과제를 해결한다.
또, 청구항 10에 기재된 발명은, 청구항 13에 있어서, 상기 (2)과정은 (2-1) 이용자가 이용자 입력부를 통해 편집, 저장, 삭제하고자 하는 신호를 입력함에 따라 제어수단에서 상기 입력신호에 따른 제어신호를 송신하는 과정; (2-2) 상기 제어수단으로부터 송신되는 제어신호에 따라 상기 동영상 입력부로부터 수신되는 동영상신호의 움직임 정보를 이용하여 동영상의 장면이 변하는 지점을 인식함으로써 장면별 동영상을 자동 검출 및 분할하는 과정; 및 (2-3) 상기 (2-2)과정에서 검출 및 분할된 동영상 클립(clip)신호를 저장하는 과정을 포함하는 것을 특징으로 하는 지능형 PVR 시스템의 운영방법으로서 상술한 과제를 해결한다.
또, 청구항 11에 기재된 발명은, 청구항 10에 있어서, 상기 (2)과정은 (2-4) 이용자가 상기 이용자 입력부를 이용하여 상기 저장수단에 저장되어 있는 동영상 클립신호를 소정의 기록매체에 기록하고자 하는 신호를 입력하면, 상기 제어수단의 기록제어신호에 따라 소정의 기록매체에 상기 저장수단의 동영상 클립신호를 기록하는 과정을 더 포함하는 것을 특징으로 하는 지능형 PVR 시스템의 운영방법으로서 상술한 과제를 해결한다.
또, 청구항 12에 기재된 발명은, 청구항 11에 있어서, 상기 (2)과정은 (2-5) 상기 동영상 클립신호를 네트워크 통신망을 통해 전송할 수 있도록 스트림 파일로 제작하는 과정을 더 포함하는 것을 특징으로 하는 지능형 PVR 시스템의 운영방법으로서 상술한 과제를 해결한다.
이하, 첨부한 도면을 참조하여 본 발명의 이들 목적과 특징 및 장점을 상세히 설명하기로 한다.
본 발명의 이해를 돕기 위해 개인용 비디오 녹화기(Personal Video Recorder, 이하'PVR'이라 함)에 대해 살펴보면 다음과 같다.
PVR은, 마그네틱 테이프에 영상신호를 저장하는 VCR(Video Cassette Recorder)과는 달리 하드디스크(hard disk)에 정보를 기록하여 재생하는 디지털 녹화기기로써, 그 기본적인 기능은 방송국에서 송출하는 프로그램을 하드디스크에 저장하였다가 컴퓨터와 같은 파일재생방식으로 재생하는 것이다.
재생을 위한 중앙처리장치(CPU)와 운영체제, 재생소프트웨어 등을 담은 메모리칩, 대용량 하드디스크가 TV 또는 TV와 연결되는 셋톱 박스(set-top box)에 포함되어 있다.
컴퓨터에 사용되는 하드디스크 드라이브를 결합시킨 PVR은 TV 프로그램을 디지털 신호로 전환하여 상기 하드디스크에 저장하고 재생한다.
도 1은 본 발명에 따른 지능형 PVR 시스템의 개략적인 구성을 도시한 블록도이고, 도 2는 도 1의 각 구성요소의 세부 구성요소를 설명하기 위한 블록도이다.
첨부된 도면 도 1에 도시된 바와 같이, 본 발명의 PVR 시스템을 탑재하고 있는 PC(10, TV를 포함하며, 이하에서는 'PC'라 표현하기로 한다)가 네트워크 통신망(2)에 연결되어 있다. 상기 PVR 시스템은 PC(10)에 보드(board) 형태로 장착되며, 상기 PVR 시스템을 제어하기 위한 어플리케이션(S/W)이 상기 PC(10)에 탑재됨은 물론이다.
상기 네트워크 통신망(2)은 유무선 통신망을 포함하며, 상기 네트워크 통신망(2)을 통해 PC(10)는 다양한 종류의 디지털 동영상 정보를 전송받거나, 이용자가 제작한 동영상 클립신호를 다른 PC나 서버로 전송할 수 있다.
본 발명의 지능형 PVR 시스템은 PCI(Peripheral Component Interconnect) Bus 혹은 USB 환경하에 동작하며, 외부로부터 동영상신호를 입력받기 위한 동영상 입력부(100)와, 입력되는 동영상신호에 대해 이용자가 이용자 입력부(200)를 조작하여 상기 동영상신호 중 분할하고자 하는 부분을 지정하면 상기 이용자가 지정한 부분만을 검출 및 분할하여 동영상 클립(clip)신호를 생성하고, 상기 동영상 클립신호를 저장수단(340)에 저장하는 PVR(300), 상기 이용자 입력부(200)를 통해 입력되는 동영상 재생신호에 반응하여 상기 저장수단(340)에 저장된 디지털 영상신호를 디스플레이하는 디스플레이부(400)로 구성된다.
상기 이용자 입력부(200)는 이용자가 상기 동영상 입력부(100)를 통해 입력되는 동영상신호를 편집하도록 지원하는 수단으로써 일반적으로 PC의 키보드 또는 마우스 또는 리모콘이 이에 해당될 수 있으며, 상기 디스플레이부(400)는 PC의 모니터 또는 TV의 화면일 수 있다.
즉, 이용자는 상기 이용자 입력부(200)를 조작함으로써 동영상신호를 편집, 저장, 재생할 수 있으며, 이를 위해 상기 PVR(300)의 편집수단(320)은 편집, 저장, 재생을 위한 메뉴항목을 이용자에게 제시하는 어플리케이션을 포함한다.
상기 동영상 입력부(100)를 통해 입력되는 동영상신호는 TV 프로그램, DVD (Digital Video Disc) 동영상신호, 캠코더(camcoder)로 촬영된 동영상신호 등이 있다.
DVD 동영상신호는 PC(10)에 장착되어 있는 DVD 재생기(player)가 구동되면서 상기 DVD 재생기에 삽입되어 있는 DVD에 기록되어 있는 동영상신호가 동영상 입력부(100)로 입력되며, 캠코더 등의 동영상 촬영기를 이용하여 촬영된 동영상신호는 캠코더와 PC(10)간을 연결하는 수단에 의해 상기 캠코더의 메모리에 저장되어 있는 동영상신호가 동영상 입력부(100)로 입력되게 된다. 상기 동영상 입력부(100)를 통해 입력 및 저장되는 동영상신호의 부가 정보는 메타 데이터 형태로 저장되며, 이용자가 리모컨이나 마우스를 조작함으로써 동영상신호를 편집할 수 있게 된다.
상기 동영상 입력부(100) 및 PVR(300)은, 첨부도면 도 2에 도시된 바와 같은 세부 구성요소로 이루어져 있는데, 이에 대해 좀더 상세히 기술하면 다음과 같다.
동영상 입력부(100)는 외부로부터 입력되는 동영상신호에 포함되어 있는 자막정보를 추출하는 자막 복호기(110)와, 외부로부터 입력되는 동영상신호를 MPEG(Motion Picture Experts Group) 데이터로 변환하는 MPEG 부호기(120), 외부로부터 입력되는 동영상신호를 체크하여 자막 정보검출 또는 MPEG 데이터 변환용 제어신호를 출력하는 제어기(130)로 구성된다.
PVR(300)은 이용자 입력부(200)를 통해 이용자가 분할하여 저장하고자 하는 부분을 지정하면, 상기 이용자 입력부(200)를 통해 전송되는 입력신호에 따른 편집제어신호를 송신하는 제어수단(310)과, 상기 편집제어신호를 수신하여 상기 동영상 입력부(200)를 통해 입력되는 동영상의 움직임 정보를 이용하여 동영상의 장면이 변하는 지점을 인식함으로써 장면별 동영상을 자동 검출 및 분할하는 편집수단(320)과, 상기 편집수단(320)에서 검출 및 분할된 동영상 클립(clip)신호를 저장하는 저장수단(340)으로 이루어지며, 이용자가 상기 이용자 입력부(200)를 이용하여 상기 저장수단(340)에 저장되어 있는 동영상 클립신호를 소정의 기록매체에 기록하고자 하는 신호를 입력하면, 상기 제어수단(310)의 기록제어신호에 따라 소정의 기록매체에 상기 저장수단(340)의 동영상 클립신호를 기록하는 기록수단(330)을 더 포함할 수 있다.
상기 편집수단(320)은 상기 자막 복호기(110)를 통해 출력되는 자막 정보에 시스템 시계를 이용하여 생성된 시간 태그를 첨가시키고, 시간 태그가 첨가된 자막 정보를 명사 단위로 하는 색인 자료를 제작하여 출력하는 자막 분석기(321), 상기 MPEG 부호기(120)를 통해 출력되는 동영상신호를 입력받아 동영상 클립신호를 자동으로 생성하는 장면 분할기(322), 상기 자막 분석기(321) 및 장면 분할기(322)를 통해 이루어지는 색인 영상 자료 및 이용자의 조작에 따라 부가정보(주제어)를 생성하여 각 동영상 클립신호에 대응시키는 부가정보 입력기(324)를 포함하여 이루어진다.
상기 부가정보는 각 동영상 클립신호와 별도의 메타 데이터로 생성되며, 이후 이용자가 부가정보를 이용하여 검색할 때 상기 메타 데이터가 이용되게 된다.
또한, 상기 편집수단(320)은 상기 동영상 클립신호를 네트워크 통신망(2)을 통해 전송할 수 있도록 스트림 파일로 제작하는 스트림 파일 제작기(323)를 더 포함할 수 있다.
도 3에 도시된 바와 같이, 상기 장면 분할기(322)는 MPEG 비트 스트림 데이터를 입력받아 비디오 정보와 오디오 정보로 분할하고, 분할 시 생성되는 타임 스탬프를 테이블로 제작하는 역다중화 및 동기화 모듈(322a), 상기 역다중화 및 동기화 모듈(322a)에 의해 분리된 비디오 영상을 이용하여 각각의 정지영상 간의 프레임별 차이값을 계산하고, 이 차이값을 중간값 필터에 적용시키고, 신경망 회로에 입력시켜 장면 전환지점을 검출하여 장면간을 분리시키는 비디오 분할 모듈(322b), 상기 역다중화 및 동기화 모듈(322a)에 의해 분리된 오디오 데이터를 이용하여 오디오 데이터 중 소리가 없는 묶음 구간을 검출하여 묶음 구간이 상기 임계값을 초과하는 경우 새로운 프레임의 시작임을 인지하는 오디오 분할 모듈(322c), 상기 비디오 분할 모듈(322b)에서 이루어진 결과(분리된 장면)와 오디오 분할 모듈(322c)에서 이루어진 결과(새로운 프레임의 시작정보)를 조건부 확률에 적용시켜 장면이 변하는 시점을 결정하는 정보융합모듈(322d)로 구성된다.
그러면, 상기와 같은 구성으로 이루어지는 지능형 PVR시스템의 운영방법을 도 4내지 도 7을 참조하여 좀더 구체적으로 설명하기로 한다.
먼저, TV 동영상신호나 DVD 동영상신호 또는 캠코더로 촬영된 동영상신호가 동영상 입력부(100)를 통해 입력된다(S100).
상기 동영상 입력부(100)를 통해 입력되는 동영상신호는 모든 동영상기기에서 출력되는 신호를 모두 포함하며, 상기 동영상 입력부(100)를 통해 입력되는 동영상신호에 따라 PVR(300)의 편집수단(320)에서 동영상 클립신호를 생성하는 루틴을 수행하는데(S200), 상기 동영상신호의 종류에 따라 동영상 클립신호를 생성하는 방법은 각각 차이가 있다. 각 동영상신호에 따라 동영상 클립신호를 생성하는 방법에 대한 설명은 동일 출원인에 의해 2000년 6월 12일자로 출원된 출원 명세서(출원번호:10-2000-0032136)에 상세히 기술되어 있으므로 이에 대한 설명은 생략하기로 한다.
상기 기출원된 출원 명세서에 기술된 바에 따라 생성된 동영상 클립신호는 저장수단(340)에 저장되어 있고, 상기 저장수단(340)에 저장되어 있는 동영상 클립신호는 이용자 인터페이스 수단(도면 미도시)을 통해 이용자에게 제시되며, 이용자는 상기 이용자 인터페이스 수단을 통해 원하는 부분만을 선택하여 볼 수 있게 된다.
그러면, 상술한 바와 같은 방식으로 생성된 동영상 클립신호를 이용자가 브라우징(Browsing, 재생)하는 과정을 도 5내지 도 7을 참조하여 이하에서 설명한다.
첨부도면 도 5을 참조하면, 이용자의 요청에 따라 저장수단(340)에 저장되어 있는 동영상신호 전체를 브라우징(재생)하거나(S600) 또는 장르별로 생성되어 있는 동영상 클립신호를 브라우징할 수 있다(S700).
이용자가 원하는 동영상을 브라우징하기 위해 PC(10)에 탑재되는 PVR(300)은 이용자 인터페이스를 위한 어플리케이션을 더 포함해야 하며, 이용자는 이용자 입력부(200)를 조작함으로써 상기 어플리케이션을 통해 디스플레이부(400)에 브라우징하고자 하는 동영상을 선택하게 된다.
도 6에 도시된 바와 같이 동영상신호 전체 브라우징 루틴은, 분할되지 않은 즉, 동영상 입력부(100)를 통해 입력된 동영상신호가 저장수단(340)에 압축되어 저장되어 있는 동영상신호를 이용자가 브라우징하고자 할 때의 루틴이다.
상기 어플리케이션을 통해 상기 저장수단(340)에 저장되어 있는 동영상신호의 목록이 제시되면 이용자가 그 중 원하는 목록을 선택하고(S610), 선택된 상기 동영상신호에 대한 엠펙2(MPEG-2) 동영상이 선택되어 하드웨어(H/W)적으로 디코딩되면서 디스플레이부(400)에 이용자가 선택한 동영상이 브라우징된다(S620, S630).
한편, 도 7에 도시된 바와 같이 장르별 동영상 클립신호의 브라우징 루틴은 다음과 같다.
이용자의 요청에 따라 저장수단(340)에 분할되어 저장되어 있는 동영상 클립신호의 목록이 디스플레이부(400)에 제시된다(S710).
이때, 각 동영상 클립신호에 대한 요약정보 및/또는 동영상 클립을 대표하는 대표 정지영상이 함께 제시되며 상기 요약정보 및/또는 대표 정지영상을 보고 이용자는 원하는 목록을 선택한다(S720, S730).
이용자가 선택한 목록에 대한 MPEG-2 동영상이 저장수단(340)으로부터 판독되어 디스플레이부(400)에 브라우징된다(S740).
즉, 이용자는 상기와 같이 동영상 클립신호에 대한 목록을 보고 원하는 목록을 선택하면 프로그램 전체 중 원하는 일부분만을 볼 수 있게 되며, 상기 목록은 기록수단(330)을 통해 소정의 기록매체에 저장하여 따로 관리하거나 네트워크 통신망(2)을 통해 전송될 수 있다.
이상의 본 발명은 상기에 기술된 실시예들에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.
이상에서 살펴본 바와 같이, 본 발명의 지능형 PVR 시스템은, 이용자들이 친숙하게 사용하는 TV 또는 PC를 이용하여 동영상신호 중 이용자가 원하는 부분만을 편집, 저장할 수 있으므로 이용자들이 편리하게 소정 부분만이 재생되도록 할 수 있다.
또한, 앞으로 시청자들이 접하게 되는 방송이 현재의 공중파 방송 영역을 초월하여 위성방송, 케이블 방송, 디지털 방송 등 더욱 광범위해지므로 이 모든 프로그램을 동시에 볼 수 없게 됨에 따라 보지 못하는 프로그램을 녹화하여 이후에 보고자 하는 욕구를 충분히 만족시킬 수 있게 된다.
그리고, 동영상신호는 대부분 대용량이므로 저장하여 관리하기에 어려움이 있으나, 이용자가 원하는 부분만을 편집하여 저장하므로 관리가 용이해지고, 이용자가 보고자 하는 부분을 쉽게 찾아서 볼 수 있게 된다.
또한, 캠코더 등의 동영상 촬영기기로 촬영한 동영상을 이용하여 이용자가 개인적으로 비디오 앨범을 제작하기가 용이해진다.
또한, 학습용으로 제공되는 교육방송 프로그램 중에서 학생에게 필요한 주제별로 편집하여 학생에게 제공하면 시간에 구애받지 않으면서 또한 시간을 절약할 수 있으며 학습 효과를 크게 올릴 수 있게 될 것이다.
마지막으로, 기존의 셋톱 박스 형으로 제공되던 PVR과는 달리, 본 발명의 PVR 시스템은 PC를 기반으로 하므로 경제적으로 저렴하게 공급할 수 있어, 본 발명의 PVR 시스템이 보다 빠른 속도로 보급될 수 있다.
도 1은 본 발명에 따른 지능형 PVR 시스템의 개략적인 구성을 도시한 블록도,
도 2는 도 1의 각 구성요소의 세부 구성요소를 설명하기 위한 블록도,
도 3은 본 발명에 적용된 비디오 장면 자동 분할 방법을 설명하기 위한 블록 다이어그램 도면,
도 4는 본 발명의 지능형 PVR 시스템의 운영방법을 설명하기 위한 순서도,
도 5 내지 도 7은 이용자가 동영상 클립신호를 브라우징(Browsing, 재생)하는 과정을 설명하기 위한 순서도.
<도면 주요 부분에 대한 부호의 설명>
2: 네트워크 통신망 10: PC
100: 동영상 입력부 110: 자막 복호기
120: MPEG 부호기 130: 제어기
200: 이용자 입력부 300: PVR
310: 제어수단 320: 편집수단
321: 자막 분석기 322: 장면 분할기
323: 스트림파일 제작기 324: 부가정보 입력기
325: DB
330: 기록수단 340: 저장수단
400: 디스플레이부

Claims (12)

  1. 삭제
  2. TV 방송신호(동영상신호)를 입력받아 디지털로 변환하여 소정의 저장수단에 저장하고, 상기 저장수단에 저장된 디지털 영상신호를 동영상 재생신호에 따라 TV 모니터에 재생하는 PVR(개인용 비디오 녹화기:Personal Video Recorder) 시스템에 있어서,
    외부로부터 동영상신호를 입력받기 위한 동영상 입력부;
    네트워크 통신망에 연결되어 있는 TV 또는 PC에 탑재되며, 입력되는 동영상신호에 대해 이용자가 이용자 입력부를 조작하여 상기 동영상신호 중 분할하고자 하는 부분을 지정하면 상기 이용자가 지정한 부분만을 검출 및 분할하여 동영상 클립(clip)신호를 생성하고, 생성된 동영상 클립신호를 상기 저장수단에 저장하는 PVR; 및
    상기 이용자 입력부를 통해 이용자가 재생하고자 요청하는 동영상 클립신호를 디스플레이하는 디스플레이부를 포함하고,
    상기 동영상 입력부는:
    외부로부터 입력되는 동영상신호에 포함되어 있는 자막정보를 추출하는 자막 복호기;
    외부로부터 입력되는 동영상신호를 MPEG(Motion Picture Experts Group) 데이터로 변환하는 MPEG 부호기;
    외부로부터 입력되는 동영상신호를 체크하여 자막 정보검출 또는 MPEG 데이터 변환용 제어신호를 출력하는 제어기를 포함하고,
    상기 PVR은:
    이용자가 이용자 입력부를 통해 편집, 저장, 삭제하고자 하는 신호를 입력하면 상기 입력신호에 따른 제어신호를 송신하는 제어수단;
    상기 제어수단으로부터 송신되는 제어신호에 따라 상기 동영상 입력부로부터 수신되는 동영상신호의 움직임 정보를 이용하여 동영상의 장면이 변하는 지점을 인식함으로써 장면별 동영상을 자동 검출 및 분할하는 편집수단; 및
    상기 편집수단에서 검출 및 분할된 동영상 클립(clip)신호를 저장하는 저장수단을 포함하여 구성되는 것을 특징으로 하는 지능형 PVR 시스템.
  3. 제 2항에 있어서, 상기 PVR은
    이용자가 상기 이용자 입력부를 이용하여 상기 저장수단에 저장되어 있는 동영상 클립신호를 소정의 기록매체에 기록하고자 하는 신호를 입력하면, 상기 제어수단의 기록제어신호에 따라 상기 기록매체에 상기 저장수단의 동영상 클립신호를 기록하는 기록수단을 더 포함하는 것을 특징으로 하는 지능형 PVR 시스템.
  4. 제 3항에 있어서, 상기 기록수단은
    HDD(Hard Disk Drive) 또는 DVD-R/W(Digital Video Disk - Read/Write) 또는 CD-R/W(Compact Disk Read/Write) 인 것을 특징으로 하는 지능형 PVR 시스템.
  5. 삭제
  6. 제 2항에 있어서, 상기 PVR의 편집수단은
    상기 자막 복호기를 통해 출력되는 자막 정보에 시스템 시계를 이용하여 생성된 시간 태그를 첨가시키고, 시간 태그가 첨가된 자막 정보를 명사 단위로 하는 색인 자료를 제작하여 출력하는 자막 분석기;
    상기 MPEG 부호기를 통해 출력되는 동영상신호를 입력받아 동영상 클립신호를 자동으로 생성하는 장면 분할기;
    상기 자막 분석기 및 장면 분할기를 통해 이루어지는 색인 자료 및 이용자가 입력하는 부가정보(주제어)를 생성하여 각 동영상 클립신호에 대응시키는 부가정보 입력기를 포함하는 것을 특징으로 하는 지능형 PVR 시스템.
  7. 제 6항에 있어서, 상기 PVR의 편집수단은
    상기 동영상 클립신호를 상기 네트워크 통신망을 통해 전송할 수 있도록 스트림 파일로 제작하는 스트림 파일 제작기를 더 포함하는 것을 특징으로 하는 지능형 PVR 시스템.
  8. 제 6항에 있어서, 상기 편집수단의 장면 분할기는
    입력되는 동영상신호의 종류가 동영상 촬영기를 통해 촬영된 동영상신호인 경우, 이용자가 이용자 입력부를 통해 조작하는 편집신호에 반응하여 상기 동영상신호를 분할, 합성, 삭제하여 동영상 클립신호를 생성하는 것을 특징으로 하는 지능형 PVR 시스템.
  9. 삭제
  10. 삭제
  11. (1) 동영상 입력부를 통해 외부로부터 동영상신호를 입력받는 과정;
    (2) 입력되는 동영상신호에 대해 이용자가 이용자 입력부를 조작하여 상기 동영상신호 중 분할하고자 하는 부분을 지정하면 상기 이용자가 지정한 부분만을 검출 및 분할하여 동영상 클립(clip)신호를 생성하고, 생성된 동영상 클립신호를 상기 저장수단에 저장하는 과정; 및
    (3) 상기 이용자 입력부를 통해 이용자가 재생하고자 요청하는 동영상 클립신호를 디스플레이부에 디스플레이하는 과정을 포함하고,
    상기 (2)과정은:
    (2-1) 이용자가 이용자 입력부를 통해 편집, 저장, 삭제하고자 하는 신호를 입력함에 따라 제어수단에서 상기 입력신호에 따른 제어신호를 송신하는 과정;
    (2-2) 상기 제어수단으로부터 송신되는 제어신호에 따라 상기 동영상 입력부로부터 수신되는 동영상신호의 움직임 정보를 이용하여 동영상의 장면이 변하는 지점을 인식함으로써 장면별 동영상을 자동 검출 및 분할하는 과정;
    (2-3) 상기 (2-2)과정에서 검출 및 분할된 동영상 클립(clip)신호를 저장하는 과정; 및
    (2-4) 이용자가 상기 이용자 입력부를 이용하여 상기 저장수단에 저장되어 있는 동영상 클립신호를 소정의 기록매체에 기록하고자 하는 신호를 입력하면, 상기 제어수단의 기록제어신호에 따라 소정의 기록매체에 상기 저장수단의 동영상 클립신호를 기록하는 과정을 포함하는 것을 특징으로 하는 지능형 PVR 시스템의 운영방법.
  12. 제 11항에 있어서, 상기 (2)과정은
    (2-5) 상기 동영상 클립신호를 네트워크 통신망을 통해 전송할 수 있도록 스트림 파일로 제작하는 과정을 더 포함하는 것을 특징으로 하는 지능형 PVR 시스템의 운영방법.
KR10-2002-0039410A 2002-07-08 2002-07-08 지능형 pvr 시스템 및 그 운영방법 KR100492446B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR10-2002-0039410A KR100492446B1 (ko) 2002-07-08 2002-07-08 지능형 pvr 시스템 및 그 운영방법
AU2003234355A AU2003234355A1 (en) 2002-07-08 2003-05-30 Personal video recorder capable of dividing and storing a motion image signal according to genre of its contents and method thereof
PCT/KR2003/001061 WO2004006571A1 (en) 2002-07-08 2003-05-30 Personal video recorder capable of dividing and storing a motion image signal according to genre of its contents and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0039410A KR100492446B1 (ko) 2002-07-08 2002-07-08 지능형 pvr 시스템 및 그 운영방법

Publications (2)

Publication Number Publication Date
KR20040005111A KR20040005111A (ko) 2004-01-16
KR100492446B1 true KR100492446B1 (ko) 2005-07-01

Family

ID=30113087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0039410A KR100492446B1 (ko) 2002-07-08 2002-07-08 지능형 pvr 시스템 및 그 운영방법

Country Status (3)

Country Link
KR (1) KR100492446B1 (ko)
AU (1) AU2003234355A1 (ko)
WO (1) WO2004006571A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040039113A (ko) * 2002-11-01 2004-05-10 주식회사 엠트로닉스 동영상 색인, 검색 및 편집 가능한 개인용 디지털 비디오녹화기(pvr) 기능을 탑재한 셋탑박스시스템
KR100494170B1 (ko) * 2002-11-20 2005-06-08 엘지전자 주식회사 개인용 비디오 레코더 시스템의 영상 편집 방법 및 그 장치
EP1867166B1 (de) * 2005-03-30 2014-12-03 Nokia Solutions and Networks GmbH & Co. KG Verfahren und anordnung zum speichern und wiedergeben von tv-sendungen
KR100754188B1 (ko) 2005-10-24 2007-09-03 삼성전자주식회사 컨텐츠 파일 목록 표시 기능을 갖는 기록재생장치 및컨텐츠 파일 목록 표시 방법과 그 기록매체
KR100826175B1 (ko) * 2005-11-07 2008-04-30 엘지전자 주식회사 개인용 비디오 녹화기 및 그 파일 변환 방법
KR101843025B1 (ko) * 2016-12-30 2018-03-28 (주)잼투고 카메라워크 기반 영상합성 시스템 및 영상합성방법
CN111866428B (zh) * 2019-04-29 2023-03-14 杭州海康威视数字技术股份有限公司 一种历史录像数据处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054561A (ko) * 2000-06-12 2000-09-05 박성환 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오검색 시스템 및 그 운영방법
KR20010091121A (ko) * 2000-03-13 2001-10-23 구자홍 멀티미디어 스트림의 비선형적 재생 제어 방법과 이를위한 브라우징 인터페이스, 제어 시스템, 입력장치인터페이스
WO2002001868A1 (fr) * 2000-06-26 2002-01-03 Matsushita Electric Industrial Co., Ltd. Appareil, procede et programme d'edition et de reproduction et support d'enregistrement numerique correspondant
KR20030039595A (ko) * 2001-11-13 2003-05-22 주식회사 휴맥스 디지털 방송 프로그램 데이터 재생방법
KR20030056546A (ko) * 2001-12-28 2003-07-04 삼성전자주식회사 썸네일 탐색화면을 제공하는 동영상 재생장치 및 썸네일탐색화면 제공방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404316A (en) * 1992-08-03 1995-04-04 Spectra Group Ltd., Inc. Desktop digital video processing system
WO1998012702A1 (fr) * 1996-09-20 1998-03-26 Sony Corporation Systeme et procede d'edition, et dispositif et procede de gestion de sequences video
GB2323734B (en) * 1997-03-27 2001-04-11 Quantel Ltd A video processing system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010091121A (ko) * 2000-03-13 2001-10-23 구자홍 멀티미디어 스트림의 비선형적 재생 제어 방법과 이를위한 브라우징 인터페이스, 제어 시스템, 입력장치인터페이스
KR20000054561A (ko) * 2000-06-12 2000-09-05 박성환 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오검색 시스템 및 그 운영방법
WO2002001868A1 (fr) * 2000-06-26 2002-01-03 Matsushita Electric Industrial Co., Ltd. Appareil, procede et programme d'edition et de reproduction et support d'enregistrement numerique correspondant
KR20030039595A (ko) * 2001-11-13 2003-05-22 주식회사 휴맥스 디지털 방송 프로그램 데이터 재생방법
KR20030056546A (ko) * 2001-12-28 2003-07-04 삼성전자주식회사 썸네일 탐색화면을 제공하는 동영상 재생장치 및 썸네일탐색화면 제공방법

Also Published As

Publication number Publication date
WO2004006571A1 (en) 2004-01-15
AU2003234355A1 (en) 2004-01-23
KR20040005111A (ko) 2004-01-16

Similar Documents

Publication Publication Date Title
US8285111B2 (en) Method and apparatus for creating an enhanced photo digital video disc
KR101115701B1 (ko) 음성 인식 기술을 이용하여 생성된 메타데이터로 영상 콘텐츠에 주석을 달기 위한 방법 및 장치
KR101001178B1 (ko) 비디오 재생 디바이스, 이 비디오 재생 디바이스에 있는 장치, 뮤직 비디오 인덱싱 방법 및 컴퓨터-실행가능 명령을 저장한 컴퓨터-판독가능 저장 매체
US7200321B2 (en) Method and apparatus for creating an expanded functionality digital video disc
KR100839251B1 (ko) 썸네일을 이용한 북마킹 방법
JP4188568B2 (ja) 情報再生装置及び情報編集方法
WO2000051346A1 (fr) Procede de surveillance d&#39;ecran
KR20050010935A (ko) 비디오 프로그램용 비디오마크를 제공하는 시스템 및 방법
KR20040040480A (ko) 비디오 세그먼트 우선순위에 기초하여 기록된 비디오의감소된 재생을 위한 시스템 및 방법
JPH07236099A (ja) 情報再生装置を内蔵したテレビジョン装置
KR100492446B1 (ko) 지능형 pvr 시스템 및 그 운영방법
JP2002185889A (ja) コンテンツの検索・提示システム及び方法、並びに記憶媒体
KR100961296B1 (ko) Pvr 시스템에서 녹화 목록 관리 방법
JP2007149235A (ja) コンテンツ編集装置、プログラム、及び記録媒体
KR100566970B1 (ko) 녹화물 복사방법 및 그 방법이 구현된 개인용 비디오 녹화기
JP4230402B2 (ja) サムネイル画像抽出方法、装置、プログラム
JPH1079916A (ja) 映像録画装置
US20060048204A1 (en) Method of storing a stream of audiovisual data in a memory
KR20070075728A (ko) 디지털 방송 수신기에서 녹화물 탐색 방법 및 그 장치
JP2000217055A (ja) 画像処理装置
JP2003224810A (ja) 音声/映像データ記録再生装置および方法、音声/映像データ記録再生装置および方法により記録が行われた記録媒体、音声/映像データ再生装置、音声/映像データ記録再生システムおよび方法、音声/映像データ記録再生システムおよび方法により記録が行われた記録媒体、ならびにデータ構造体
KR20080037417A (ko) 방송 수신기 및 녹화목록 관리 방법
JP3780524B2 (ja) 放送受信記録再生装置
KR20070079270A (ko) 다채널 타임 시프트 지원 dvr 셋탑 박스 및 그 제어방법
KR20050058638A (ko) 저장 매체에 기록된 녹화 목록의 표현 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110627

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee