KR101033593B1 - 그래픽 데이터 재생을 관리하기 위한 데이터 구조를 갖는기록 매체, 그에 따른 기록 및 재생 방법 및 장치 - Google Patents

그래픽 데이터 재생을 관리하기 위한 데이터 구조를 갖는기록 매체, 그에 따른 기록 및 재생 방법 및 장치 Download PDF

Info

Publication number
KR101033593B1
KR101033593B1 KR1020057020582A KR20057020582A KR101033593B1 KR 101033593 B1 KR101033593 B1 KR 101033593B1 KR 1020057020582 A KR1020057020582 A KR 1020057020582A KR 20057020582 A KR20057020582 A KR 20057020582A KR 101033593 B1 KR101033593 B1 KR 101033593B1
Authority
KR
South Korea
Prior art keywords
information
cropping
segment
graphic
data
Prior art date
Application number
KR1020057020582A
Other languages
English (en)
Other versions
KR20060013646A (ko
Inventor
김병진
김형선
양정혜
서강수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20060013646A publication Critical patent/KR20060013646A/ko
Application granted granted Critical
Publication of KR101033593B1 publication Critical patent/KR101033593B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213Read-only discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Optical Recording Or Reproduction (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

본 발명은 그래픽 데이터 재생을 관리하기 위한 데이터 구조를 갖는 기록 매체, 그에 따른 기록 및 재생 방법 및 장치에 관한 것이다. 그래픽 데이터의 재생을 관리하기 위한 데이터 구조에서, 그래픽 정보 영역은 적어도 하나의 디스플레이 정보 세그먼트와 적어도 하나의 컬러 정보 세그먼트를 포함한다. 각 디스플레이 정보 세그먼트는, 일부분이 아닌 전체의 디스플레이를 위한 정보를 제공하고, 컬러 정보군을 식별하는 컬러 정보군 식별자를 포함하며, 상기 컬러 정보 세그먼트는 상기 식별된 컬러 정보군에 속하는 컬러 정보를 제공한다.
데이터 구조, 디스플레이 정보 세그먼트, 컬러 정보 세그먼트

Description

그래픽 데이터 재생을 관리하기 위한 데이터 구조를 갖는 기록 매체, 그에 따른 기록 및 재생 방법 및 장치 {Recording medium having a data structure for managing reproduction of graphic data and methods and apparatuses of recording and reproducing}
본 발명은 고밀도 광 디스크의 그래픽 데이터 관리 및 재생 방법에 관한 것이다.
일반적으로 고화질의 비디오 데이터와 고음질의 오디오 데이터를 장시간 동안 기록 저장할 수 있는 광 디스크, 예를 들어 디브이디(DVD: Digital Versatile Disc)가 개발 출시되어 상용화되고 있으며, 또한 디브이디 플레이어(DVD-Player) 또는 디브이디 레코더(DVD-Recorder) 등과 같은 광 디스크 장치가 개발 출시되어 상용화되고 있다. 이러한 광 디스크는 큰 용량의 고해상도의 비디오 데이터와 고성능의 오디오 데이터를 저장할 수 있다.
일반적으로, 디브이디는 메인 비디오 데이터와 그래픽 데이터를 서브타이틀 데이터로 저장하고, 이런 서브타이틀 데이터는 보통, 비트맵 이미지를 나타내는 텍 스트나 자막 데이터로 여겨진다. 그러나 이런 타입의 서브타이틀 데이터는 이미지 데이터이기 때문에, 유럽형 비디오 방송 표준의 ETSI EN 300 743 V1.2.1 같은 표준들은 서브타이틀 데이터를 서브타이틀이나 그래프를 제공하기 위한 텍스트나 그래픽 정보로 정의한다. 본 명세서에서는 '그래픽 데이터'나 '그래픽 정보'라는 용어를 텍스트나 그래픽 정보를 나타내는 '서브타이틀 데이터'라는 용어로 대체적으로 사용한다.
상기 디브이디에는, 메인 비디오 데이터와 중첩 표시되는 자막 또는 로고 등과 같은 서브타이틀(Subtitle) 데이터가 이미지 데이터로 기록 저장되며, 상기 광 디스크 장치에서는, 상기 메인 비디오 데이터와 함께, 상기 서브타이틀의 자막 및 이미지 데이터를 독출 재생하여, 텔레비전과 같은 외부 연결기기의 화면을 통해 출력 표시하게 된다.
이에 따라, 상기 광 디스크 장치를 구비한 사용자는, 디브이디로부터 독출 재생되는 메인 비디오 데이터의 재생 영상과, 상기 서브타이틀 데이터의 자막 또는 로고 영상 등을, 텔레비전과 같은 외부 연결기기의 화면을 통해 동시에 시청 확인할 수 있게 된다.
한편, 최근에는 디브이디(DVD)에 비해 기록밀도가 높은 고밀도 광 디스크, 예를 들어 재생 전용 블루레이 디스크(BD-ROM)에 대한 규격화 작업이 관련업체들간에 논의되고 있으며, 상기 재생 전용 블루레이 디스크의 서브타이틀을 위한 이미지 데이터, 예를 들어 비엠피(BMP: Bit Map) 데이터와, 그 비엠피 데이터의 재생 제어 정보를 기록 관리하는 방안이 제안되고 있다.
그러나, 상기 재생 전용 블루레이 디스크와 같은 고밀도 광 디스크 내에, 비엠피 데이터와 같은 이미지 데이터를 서브타이틀 데이터로서 기록 저장함과 아울러, 그 서브타이틀 데이터를 다양하게 재생 제어할 수 있도록 하기 위한 효율적인 서브타이틀 데이터의 관리 및 재생 방안이 아직 마련되어 있지 않아, 그 해결방안 마련이 시급히 요구되고 있는 실정이다.
본 발명의 일 실시예에 따른 기록 매체는 그래픽 데이터의 재생을 관리하기 위한 데이터 구조를 포함한다.
본 발명의 일 실시예에서, 상기 기록 매체는 적어도 하나의 그래픽 정보 세그먼트와 적어도 하나의 오브젝트 데이터 세그먼트를 포함하는 그래픽 정보 영역을 포함한다. 각 오브젝트 데이터 세그먼트는 그래픽 이미지 오브젝트의 적어도 일부를 재생하기 위한 데이터를 제공한다. 각 그래픽 정보 세그먼트는 오브젝트 식별자(object identifier)와 오브젝트 크로핑 플래그(object cropping flag)를 포함한다. 상기 오브젝트 식별자는 상기 그래픽 이미지 오브젝트를 식별하고, 상기 오브젝트 크로핑 플래그는 상기 그래픽 정보 세그먼트가 상기 식별된 그래픽 이미지 오브젝트의 크로핑 정보를 포함하는지 여부를 가리킨다.
다른 실시예에서, 상기 기록 매체는 적어도 하나의 디스플레이 정보 세그먼트와 적어도 하나의 컬러 정보 세그먼트를 포함하는 그래픽 정보 영역을 갖는다. 각 디스플레이 정보 세그먼트는 단지 일부분이 아닌 전체의 디스플레이를 위한 정보를 제공한다. 각 디스플레이 정보 세그먼트는 컬러 정보군을 식별하는 컬러 정보군 식별자를 포함하고, 상기 컬러 정보 세그먼트는 식별된 컬러 정보군에 속하는 컬러 정보를 제공한다.
또 다른 실시예에서, 상기 그래픽 정보 영역은 그래픽 이미지 오브젝트의 적어도 일부를 재생하기 위한 데이터를 제공하는 적어도 하나의 오브젝트 데이터 세그먼트를 포함한다. 여기서, 상기 디스플레이 정보 세그먼트는 상기 그래픽 이미지 오브젝트를 식별하는 오브젝트 식별자를 포함한다.
본 발명은 더 나아가, 상기 발명에 따른 데이터 구조와 데이터 스트림들을 기록 및 재생하기 위한 장치 및 방법을 제공한다.
도 1은 본 발명에 따라 하나의 페이지 내에 서브타이틀 데이터라 불리는 다수의 그래픽 데이터 오브젝트들이 표시된 화면에 대한 실시예를 도시한 것이고,
도 2는 본 발명에 따른 계층적 페이지 구조를 도시한 것이고,
도 3은 본 발명에 따른 고밀도의 기록 매체에 기록되는 페이지 컴포지션 세그먼트의 데이터 구조에 대한 실시예를 도시한 것이고,
도 4는 본 발명에 따른 고밀도의 기록 매체에 기록되는 오브젝트 데이터 세그먼트의 데이터 구조에 대한 실시예를 도시한 것이고,
도 5는 본 발명에 따른 고밀도의 기록 매체에 기록되는 컬러 룩업 테이블 정의 세그먼트의 데이터 구조에 대한 실시예를 도시한 것이고,
도 6은 본 발명에 따른 고밀도 광 디스크의 그래픽 데이터 재생 방법이 적용되는 광 디스크 장치에 대한 실시예의 구성을 도시한 것이고,
도 7은 본 발명에 따른 고밀도 광 디스크의 기록 및 재생 장치에 대한 개념도의 예를 도시한 것이다.
이하, 본 발명에 따른 그래픽 데이터의 재생을 관리하기 위한 데이터 구조를 갖는 기록 매체, 그에 따른 기록 및 재생 방법 및 장치에 대한 바람직한 실시예에 대해, 첨부된 도면을 참조하여 상세히 설명한다.
블루레이 디스크(BD-ROM)와 같은 고밀도 기록 매체는 비엠피(BMP) 데이터 등과 같은 소정 포맷의 이미지 데이터가, 자막 또는 로고 등과 같은 다양한 서브타이틀 데이터로서 기록될 수 있다. 본 명세서에서 '그래픽 데이터'나 '그래픽 정보'라는 용어는 텍스트나 그래픽 정보를 의미하는 '서브타이틀 데이터'라는 용어로 교환적으로 사용될 수 있다. 디브이디(DVD)에서, 자막 또는 로고 등과 같은 서브타이틀 데이터는 이미지 데이터의 포맷으로 기록되고 재생시에 메인 비디오 데이터로 합성된다. 즉, 디브이디를 재생시에, 광 디스크 플레이어와 같은 광 디스크 재생 장치는 디브이디에서 메인 비디오 데이터와 함께, 서브타이틀 이미지 데이터를 읽고 합성된 영상을 텔레비전 수상기와 같은 외부출력장치를 통해 출력한다.
도 1은 스크린 출력화면의 실시예로서, 본 발명에 따라 하나의 페이지 내에 서브타이틀 데이터로 불리는 다수의 그래픽 데이터의 오브젝트들을 도시한 것이다. 또한, 상기 서브타이틀 데이터, 예를 들어 도 1에 도시한 바와 같이, 비엠피 포맷을 갖는 자막과 로고 등의 다양한 이미지 데이터가, 각각 서로 다른 오브젝트들(Object 1,2,3)로서, 하나의 디스플레이 화면, 즉 동일한 하나의 페이지 내에 출력 표시될 수 있으며, 상기 각각의 오브젝트들과 하나의 페이지(page)는, 도 2에 도시한 바와 같이, 하나의 페이지 내에 다수의 오브젝트들이 포함 관리되는 계층적 페이지 구조로 기록 관리된다.
도 2에 도시한 바와 같이, 오브젝트들은 하나의 페이지로 관리된다. 상기와 같은 페이지 구조에는, 각 오브젝트 이미지에 대한 컬러 및 휘도, 그리고 투명도 등을 재생 및 제어하기 위한 컬러 룩업 테이블들(CLUT 1.2)이 기록 관리되는 데, 상기 컬러 룩업 테이블은, 하나의 오브젝트 이미지에 연계되거나, 또는 복수의 오브젝트 이미지에 연계될 수 있으며, 또한 다수의 페이지들에 공통적으로 연계되는 그로벌 컬러 룩업 테이블(Global CLUT)이 기록 관리될 수도 있다.
그리고, 상기 오브젝트 이미지 및 재생 제어 정보는, 도 3 내지 도 5에 도시한 바와 같이, 페이지 컴포지션 세그먼트(PCS: Page Composition Segment)와, 오브젝트 데이터 세그먼트(ODS: Object Data Segment), 그리고 컬러 룩업 테이블 정의 세그먼트(CDS: Color Look Up Table Definition Segment)로 구분 기록 및 관리될 수 있다.
한편, 도 3에 도시한 바와 같이, 상기 페이지 컴포지션 세그먼트에는, 동기 바이트(sync byte), 세그먼트 타입(segment type), 페이지 아이디(page id), 세그먼트 렝스(segment length), 페이지 타임 아웃(page time out), 페이지 버전 넘버 (page version number)가 기록될 수 있는 데, 상기 동기 바이트는 동기화를 검증하는데 사용되는 수치를 포함하는 잘 알려진 영역이다. 또한 상기 세그먼트 타입은, 해당 세그먼트가 페이지 컴포지션 세그먼트임을 나타내기 위한 정보이고, 상기 페이지 아이디는, 해당 페이지가 한국어 또는 영어 등과 같은 임의의 특정 언어를 서비스하는 서브타이틀의 페이지임을 나타내기 위한 정보이며, 상기 세그먼트 렝스는 페이지 버전 넘버 영역의 세그먼트 길이를 나타낸다. 또한, 상기 페이지 타임 아웃은, 해당 페이지의 버퍼링 데이터를 버퍼 내에서 삭제 처리하기 위한 정보이다. 상기 페이지 버전 넘버는 상기 페이지 컴포지션 세그먼트(PCS)의 버전을 나타낸다.
그리고, 상기 페이지 컴포지션 세그먼트에는, 컬러 룩업 테이블 아이디(CLUT id), 오브젝트 아이디(object id), 오브젝트 타입(object type), 오브젝트 프로바이더 플래그(object provider flag), 오브젝트 크로핑 플래그(object clopping flag), 오브젝트 수평/수직 포지션(object horizontal/vertical position)이 기록될 수 있다.
상기 컬러 룩업 테이블 아이디(CLUT id)는 상기 PCS에 관련된 컬러 룩업 테이블군을 식별하고 상기 오브젝트 아이디(object id)는 디스플레이 스크린 같은 상기 페이지에 오브젝트가 나타남을 식별한다. 상기 오브젝트 타입(object type)은 비트맵, 문자, 문자 스트링 같은 상기 오브젝트의 타입을 나타낸다. 상기 오브젝트 프로바이더 플래그(object provider flag)는 어떻게 상기 오브젝트 아이디(object id)에 의해서 식별되는 상기 오브젝트가 예를들어 자막데이터 스트림으로 공급되는지를 나타낸다. 상기 오브젝트 크로핑 플래그는 상기 PCS가 상기 오브젝트 아이디 (object id)에 의해서 식별되는 상기 오브젝트를 크로핑하는 영역을 정의하는 크로핑 정보를 포함하는지 여부를 나타낸다. 또한, 상기 오브젝트 크로핑 플래그가, 예를 들어 '1'로 설정되어 있는 경우, 오브젝트 수평/수직 크로핑(object horizontal/vertical clopping), 오브젝트 크로핑 폭/너비(object clopping width/height)가 기록될 수 있는 데, 상기 오브젝트 수평/수직 크로핑과 오브젝트 크로핑 폭/너비는, 하나의 오브젝트 이미지 중, 일부만을 부분적으로 출력 표시하기 위해 기록 관리되는 정보이다. 구체적으로 말하면, 상기 오브젝트 수평/수직 크로핑 정보는 상기 오브젝트 크로핑 폭/너비에 의해서 범위를 갖는 크로핑 영역의 위치를 명시하고 상기 크로핑 영역의 범위안에서의 상기 오브젝트만을 출력한다.
한편, 상기 PCS 또한 오브젝트 수평/수직 크로핑 정보를 갖고, 이는 상기 출력화면상에서 상기 오브젝트 아이디에 의해 확인되는 상기 오브젝트의 위치를 가리킨다.
한편, 도 4에 도시한 바와 같이, 상기 오브젝트 데이터 세그먼트에는, 동기 바이트(sync byte), 세그먼트 타입(segment type), 페이지 아이디(page id), 세그먼트 렝스(segment length), 라스트 인 시퀀스(last in sequence)가 기록될 수 있는 데, 상기 동기 바이트는 동기화를 검증하는데 사용되는 수치를 제공하고, 상기 세그먼트 타입은, 해당 세그먼트가 오브젝트 데이터 세그먼트임을 나타내기 위한 정보이며, 상기 페이지 아이디는, 해당 세그먼트가 속하는 페이지를 나타내는 정보이다. 또한 상기 세그먼트 렝스는 상기 라스트 인 시퀀스영역의 길이를 나타낸다. 상기 라스트 인 시퀀스는 상기 ODS에 의해 그래픽 이미지 데이터가 제공되는 그래 픽 이미지 오브젝트를 재생하는데 필요한 최종 ODS인지 여부를 가리킨다. 다음에 설명하겠지만, 상기 그래픽 이미지 오브젝트를 형성하기 위해서는, 그래픽 이미지 데이터에 대한 하나 이상의 ODS가 필요하다.
그리고, 상기 오브젝트 데이터 세그먼트에는, 오브젝트 아이디(object id), 오브젝트 버전 넘버(object version number), 오브젝트 코딩 방식(object coding method)이 기록되는 데, 상기 오브젝트 아이디는 상기 그래픽 이미지 오브젝트를 식별한다. 상기 오브젝트 아이디는 상기 식별된 그래픽 이미지 오브젝트의 PCS 매니징 디스플레이에서의 상기 오브젝트 아이디와 같은 것이다. 상기 오브젝트 버전 넘버는 상기 ODS에서의 상기 그래픽 이미지 데이터의 버전을 나타내는 것이다. 상기 오브젝트 코딩 방식은 상기 그래픽 이미지 오브젝트의 비트맵 픽셀이나 문자 코드 같은 그래픽 이미지 데이터로의 코딩 방식을 나타낸다.
상기 오브젝트 코딩 방식이 '00'인 경우, 오브젝트의 톱 필드 데이터 개수를 나타내는 톱 필드 데이터 블록 렝스(top field data block length)와, 상기 오브젝트의 버텀 필드 데이터 개수를 나타내는 버텀 필드 데이터 블록 렝스(bottom field data block length), 그리고 상기 그래픽 이미지 오브젝트의 런 렝스 코디드 톱 필드 데이터와 버텀 필드 데이터를 나타내는 픽셀 데이터 서브 블록(pixel data sub block)들이 상기 ODS에 기록된다. 또한, 상기 오브젝트 데이터가 문자 코드(Character code)인 경우, 오브젝트 코딩 방식이 '01'로 기록되는 데, 이때 문자 코드의 개수(number of codes)와 각각의 문자 코드들(character code)이 기록된다.
한편, 도 5에 도시한 바와 같이, 상기 컬러 룩업 테이블 정의 세그먼트에는, 동기 바이트(sync byte), 세그먼트 타입(segment type), 페이지 아이디(page id), 세그먼트 렝스(segment length), 컬러 룩업 테이블 아이디(CLUT id), 컬러 룩업 테이블 버전 넘버(CLUT version number)가 기록될 수 있는 데, 상기 동기 바이트는 동기화를 검증하는데 사용되는 수치를 제공하고, 상기 세그먼트 타입은, 해당 세그먼트가 컬러 룩업 테이블 정의 세그먼트임을 나타내기 위한 정보이며, 상기 페이지 아이디는, 해당 세그먼트가 속하는 페이지를 나타내는 정보이다. 상기 세그먼트 렝스는 상기 컬러 룩업 테이블 버전 넘버의 영역의 세그먼트 길이를 나타내고, 상기 컬러 룩업 테이블 아이디는 상기 CDS가 속하는 컬러 룩업 테이블군을 나타낸다. 또한 상기 CDS는 싱글 컬러 정의(single color definition)를 제공하고, 상기 컬러 룩업 테이블군은 컬러의 선명도를 선택할 수 있는 컬러 팔레트(color palette)를 제공하며, 상기 컬러 룩업 테이블 버전 넘버는 상기 CDS의 버전을 가리킨다.
그리고, 상기 컬러 룩업 테이블 정의 세그먼트에는, 컬러 룩업 테이블 엔트리 아이디(CLUT entry id), 휘도 값(Y-value), 레드 컬러 값(Cr-value), 블루 컬러 값(Cb-value), 그리고 투명도 값(T-value)이 기록된다. 상기 컬러 룩업 테이블 엔트리 아이디는 상기 CDS가 속하는 상기 컬러 룩업 테이블군 내의 상기 CDS의 항목(entry)을 확인한다.
한편, 도 6에 도시한 바와 같이, 본 발명에 따른 고밀도 광 디스크의 서브타이틀 데이터 재생방법이 적용되는 광 디스크 장치에는 디먹스 (demultiplexer : DEMUX) (110), 버퍼(111, 113, 115), 페이지 선택부(112), 디코더(114), 그래픽 생성부(116), 컨트롤러(117), 그리고 A/V 디코더(120) 등이 포함 구성될 수 있다.
그리고, 상기 디먹스(110)에서는, 광 디스크로부터 독출되는 데이터 스트림, 예를 들어 트랜스포트 스트림 중, 패킷 아이디(PID: Packet ID)를 검색 참조하여, 서브타이틀 또는 그래픽 데이터와, A/V 데이터를 분리 출력하게 되고, 상기 A/V 디코더(120)에서는, 상기 분리 출력되는 A/V 데이터를 디코딩하여 오디오 및 비디오로 재생 출력하는 일련의 동작을 수행하게 된다.
반면, 상기 분리 출력되는 서브타이틀 데이터는, 상기 버퍼(111)에 임시 저장된 후, 페이지 선택부(112)에 입력되고, 상기 페이지 선택부(112)에서는, 상기 서브타이틀 데이터에 포함 기록된 페이지 아이디(page id)를 검색 참조하여, 사용자가 원하는 특정 언어의 자막 또는 로고 등에 해당하는 페이지 아이디가 기록된 서브타이틀 데이터, 즉 페이지 컴포지션 세그먼트(PCS)와 오브젝트 데이터 세그먼트(ODS), 그리고 컬러 룩업 테이블 정의 세그먼트(CDS)를 선택 출력하게 된다.
그리고, 상기와 같이 선택 출력되는 페이지 컴포지션 세그먼트(PCS)와 오브젝트 데이터 세그먼트(ODS), 그리고 컬러 룩업 테이블 정의 세그먼트(CDS)는, 상기 버퍼(113)에 임시 저장된 후 디코더(114)로 입력되고, 상기 디코더(114)에서는, 세그먼트들을 디코딩하는 일련의 디코딩 동작을 수행하게 되는 데, 이때 상기 오브젝트 데이터 세그먼트(ODS)에 포함된 이미지 데이터는, 상기 버퍼(115)에 임시 저장된 후, 그래픽 생성부(116)로 입력된다.
반면, 상기 페이지 컴포지션 세그먼트(PCS)와 컬러 룩업 테이블 정의 세그먼트(CDS) 등에 포함된 재생 제어 정보들은, 컨트롤러(117)로 입력되며, 상기 컨트롤러(117)에서는, 상기 재생 제어 정보들을 참조하여, 상기 그래픽 생성부(116)를 동 작 제어하는 일련의 컨트롤 동작을 수행하게 된다.
이에 따라, 상기 그래픽 생성부(116)에서는, 상기 페이지 컴포지션 세그먼트(PCS)와 컬러 룩업 테이블 정의 세그먼트(CDS) 등에 포함된 다양한 재생 제어 정보에 상응하는 서브타이틀의 그래픽 이미지를 생성하여 출력하게 되고, 상기 서브타이틀의 그래픽 이미지는, 상기 A/V 디코더(120)에 의해 재생 출력되는 메인 비디오 영상과 함께, 서브타이틀 영상으로 출력 표시된다.
도 7은 본 발명에 따른 광 디스크 기록 및 재생 장치에 대한 구성을 도시한 것이다. A/V 엔코더(9)는, 데이터(예를 들어, 정지 영상 데이터, 오디오 데이터, 텍스트 서브타이틀 데이터 등)를 입력 받아 엔코딩하여, 코딩 정보와 스트림 속성 정보와 함께 멀티플렉서(Multiplexer)(8)로 출력한다. 멀티플렉서(8)는, 예를 들어, MPEG-2 전송 스트림(MPEG-2 transport stream)을 만들기 위해, 상기 입력되는 코딩 정보와 스트림 속성 정보를 기초로 상기 엔코딩 된 데이터를 다중화한다. 소스 패킷타이저(Source packetizer)(7)는 상기 멀티플렉서(8)로부터 입력되는 전송 패킷들을 광 디스크의 오디오 비디오 포맷에 맞는 소스 패킷으로 패킷화 한다. 도 7에 도시한 바와 같이, 상기 A/V 엔코더(9), 상기 멀티플렉서(8), 그리고 상기 소스 패킷타이저(7)의 동작은 제어기(10)에 의해 조종된다. 상기 제어기(10)가 사용자로부터 기록 명령을 수신하면, 상기 A/V 엔코더(9), 상기 멀티플렉서(8), 그리고 상기 소스 패킷타이저(7)에 제어 정보를 보낸다. 예를 들어, 상기 제어기(10)는, 상기 A/V 엔코더(9)에 실행할 엔코딩 유형을 지시하고, 상기 멀티플렉서(8)에 만들어낼 전송 스트림을 지시하고, 그리고 상기 소스 패킷타이저(7)에 소스 패킷의 포맷을 지시한다. 또한, 상기 제어기(10)는 광 디스크에 상기 소스 패킷타이저(7)의 출력을 기록할 수 있도록 구동기(3)를 제어한다.
예를 들어, 사용자와의 인터페이스(디스크에 저장되어 있거나 컴퓨터 시스템에 의해 인트라넷 또는 인터넷을 통해 제공되는 명령어들)를 통해 받은 정보를 바탕으로, 상기 제어기(10)는 상기 광 디스크에 도 3 내지 도 5의 데이터 구조 중 하나 또는 그 이상을 기록하도록 상기 구동기(3)를 제어한다.
재생하는 동안에는, 상기 제어기(10)는 데이터 구조를 재생하도록 상기 구동기(3)를 제어한다. 즉, 디스크에 담긴 정보와 사용자 인터페이스(기록 및 재생 장치의 조작 버튼 또는 상기 장치와 관련된 원격 조종)를 통해 받은 사용자 입력을 기초로, 상기 제어기(10)는 상기 광 디스크로부터 데이터를 재생하도록 상기 구동기(3)를 제어한다.
소스 디패킷타이저(Source Depacketizer)(4)는 재생된 소스 패킷을 입력 받아 MPEG-2 전송 패킷 스트림과 같은 데이터 스트림으로 전환한다. 디멀티플렉서 (Demultiplexer)(5)는 상기 데이터 스트림을 엔코딩 된 데이터로 역다중화한다. A/V 디코더(6)는 엔코딩 된 데이터를 디코딩 하여 원래의 데이터로 만든다. 재생하는 동안, 상기 소스 디패킷타이저(4), 상기 디멀티플렉서(5), 그리고 상기 A/V 디코더(6)의 동작은 상기 제어기(10)에 의해 조종된다. 상기 제어기(10)가 사용자로부터 재생 명령을 수신하면, 상기 소스 디패킷타이저(4), 상기 디멀티플렉서(5), 그리고 상기 A/V 디코더(6)에 제어 정보를 보낸다. 예를 들어, 상기 제어기(10)는, 상기 소스 디패킷타이저(4)에 소스 패킷의 포맷을 지시하고, 상기 멀티플렉서 (5)에 역다중화할 전송 스트림을 지시하고, 그리고 상기 A/V 디코더(6)에 실행할 디코딩 유형을 지시한다. 상기 도 7의 도시화된 논리 블록도는 상기 도 6과 관련해서 구체적으로 서술되어 있다.
도 7에는 기록과 재생 장치에 관해 도시하고 있으나, 도 7의 구성 요소 일부만으로 기록 동작 또는 재생 동작만 제공하는 전용 기록 장치 또는 전용 재생 장치도 가능하다.
본 발명에 따른 고밀도 기록 매체에 서브타이틀 데이터를 관리하는 방법과 데이터 구조에 의해 상기 서브타이틀 데이터의 효과적인 재생 관리가 가능하다.
본 발명은 서브타이틀 데이터의 재생을 관리하기 위한 데이터 구조를 고밀도 기록 매체에 기록하기 위한 방법 및 장치를 제공한다.
본 발명은, 서브타이틀 데이터의 재생을 관리하기 위한 데이터 구조를 기초로, 서브타이틀을 재생하기 위한 방법 및 장치를 제공한다.
이상, 전술한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것으로, 상기 BD-ROM 이외의 다른 광 디스크에도 확대 적용이 가능하며, 또한 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (49)

  1. 그래픽 데이터의 재생을 관리하기 위한 데이터 구조를 갖는 기록 매체에 있어서,
    적어도 하나의 그래픽 정보 세그먼트와 적어도 하나의 오브젝트 데이터 세그먼트를 포함하는 그래픽 정보 영역을 포함하고,
    상기 오브젝트 데이터 세그먼트는 그래픽 이미지 오브젝트를 재생하기 위한 데이터를 공급하고, 상기 그래픽 정보 세그먼트는 오브젝트 식별자와 오브젝트 크로핑 플래그를 포함하며,
    상기 오브젝트 식별자는 상기 그래픽 이미지 오브젝트를 식별하고, 상기 오브젝트 크로핑 플래그는 상기 그래픽 정보 세그먼트가 상기 식별된 그래픽 이미지 오브젝트에 대한 크로핑 정보를 포함하는지 여부를 가리키는 것을 특징으로 하는 기록 매체.
  2. 제 1항에 있어서,
    상기 오브젝트 크로핑 플래그가 상기 그래픽 정보 세그먼트가 크로핑 정보를 포함함을 가리킬 때, 상기 크로핑 정보는 크로핑 영역에 대한 위치 정보를 포함하는 것을 특징으로 하는 기록 매체.
  3. 삭제
  4. 제 1항에 있어서,
    상기 오브젝트 크로핑 플래그가 상기 그래픽 정보 세그먼트가 크로핑 정보를 포함함을 가리킬 때, 상기 크로핑 정보는 크로핑 영역에 대한 치수 정보를 포함하는 것을 특징으로 하는 기록 매체.
  5. 제 1항에 있어서,
    상기 그래픽 정보 세그먼트는 상기 식별된 그래픽 이미지 오브젝트의 위치에 대한 정보를 포함하는 것을 특징으로 하는 기록 매체.
  6. 제 1항에 있어서,
    상기 그래픽 정보 세그먼트 내의 상기 오브젝트 식별자에 의해 식별되는 그래픽 이미지 오브젝트를 재생하기 위한 데이터를 포함하는 각 오브젝트 데이터 세그먼트는 상기 오브젝트 식별자를 포함하는 것을 특징으로 하는 기록 매체.
  7. 제 6항에 있어서,
    각 오브젝트 데이터 세그먼트는 상기 오브젝트 데이터 세그먼트 내의 데이터 의 버전을 가리키는 버전 번호를 포함하는 것을 특징으로 하는 기록 매체.
  8. 제 6항에 있어서,
    각 오브젝트 데이터 세그먼트는 라스트 인 시퀀스 지시자를 포함하고,
    상기 라스트 인 시퀀스 지시자는 상기 오브젝트 데이터 세그먼트가 상기 오브젝트 데이터 세그먼트 내의 상기 오브젝트 식별자에 의해 식별되는 그래픽 이미지 오브젝트를 재생하는데 필요한 마지막 오브젝트 데이터 세그먼트인지 여부를 가리키는 것을 특징으로 하는 기록 매체.
  9. 제 1항에 있어서,
    상기 그래픽 정보 영역은 적어도 하나의 컬러 정보 세그먼트를 포함하고, 각 컬러 정보 세그먼트는 컬러 정보를 제공하며,
    상기 그래픽 정보 세그먼트는 컬러 정보군을 식별하는 컬러 정보군 식별자를 포함하는 것을 특징으로 하는 기록 매체.
  10. 제 9항에 있어서,
    상기 그래픽 정보 세그먼트 내의 상기 컬러 정보군 식별자에 의해 식별되는 컬러 정보군의 컬러 정보를 포함하는 각 컬러 정보 세그먼트는 상기 컬러 정보군 식별자를 포함하는 것을 특징으로 하는 기록 매체.
  11. 제 10항에 있어서,
    각 컬러 정보 세그먼트는 상기 컬러 정보 세그먼트 내의 상기 컬러 정보의 버전을 가리키는 버전 번호를 포함하는 것을 특징으로 하는 기록 매체.
  12. 제 10항에 있어서,
    각 컬러 정보 세그먼트는, 상기 컬러 정보 세그먼트 내의 상기 컬러 정보군 식별자에 의해 식별되는 상기 컬러 정보군의 상기 컬러 정보의 항목을 가리키는 항목 번호를 포함하는 것을 특징으로 하는 기록 매체.
  13. 제 12항에 있어서,
    상기 컬러 정보는 휘도와 색차 정보를 포함 하는 것을 특징으로 하는 기록 매체.
  14. 제 12항에 있어서,
    상기 컬러 정보 세그먼트는 투명도 정보를 포함하는 것을 특징으로 하는 기록 매체.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 오브젝트 식별자와 오브젝트 크로핑 플래그를 포함하는 적어도 하나의 그래픽 정보 세그먼트와, 그래픽 이미지 오브젝트를 재생하기 위한 데이터를 공급하기 위한 적어도 하나의 오브젝트 데이터 세그먼트를 포함하는 데이터 스트림을 생성하는 단계와;
    상기 생성된 그래픽 스트림을 기록매체에 기록하는 단계를 포함하되,
    상기 오브젝트 식별자는 상기 그래픽 이미지 오브젝트를 식별하고, 상기 오브젝트 크로핑 플래그는 상기 그래픽 이미지 오브젝트에 대한 크로핑 정보를 포함하는지 여부를 가리키는 것을 특징으로 하는 기록매체 기록방법.
  34. 제33항에 있어서,
    상기 오브젝트 크로핑 플래그가 상기 그래픽 정보 세그먼트가 크로핑 정보를 포함함을 가리킬 때, 상기 크로핑 정보는 크로핑 영역에 대한 위치 정보를 포함하는 것을 특징으로 하는 기록매체 기록방법.
  35. 제33항에 있어서,
    상기 오브젝트 크로핑 플래그가 상기 그래픽 정보 세그먼트가 크로핑 정보를 포함함을 가리킬 때, 상기 크로핑 정보는 크로핑 영역에 대한 치수 정보를 포함하는 것을 특징으로 하는 기록매체 기록방법.
  36. 제33항에 있어서,
    상기 그래픽 정보 세그먼트 내의 상기 오브젝트 식별자에 의해 식별되는 그래픽 이미지 오브젝트를 재생하기 위한 데이터를 포함하는 각 오브젝트 데이터 세그먼트는 상기 오브젝트 식별자를 포함하되,
    상기 오브젝트 데이터 세그먼트는 오브젝트 버전 번호와 라시트 인 시퀀스 지시자 중 적어도 하나를 더 포함할 수 있는 것을 특징으로 하는 기록매체 기록매체 기록방법.
  37. 오브젝트 식별자와 오브젝트 크로핑 플래그를 포함하는 적어도 하나의 그래픽 정보 세그먼트와, 그래픽 이미지 오브젝트를 재생하기 위한 데이터를 공급하기 위한 적어도 하나의 오브젝트 데이터 세그먼트를 포함하는 데이터 스트림을 기록매체로부터 독출하는 단계;
    상기 오브젝트 식별자를 통해 재생될 그래픽 이미지 오브젝트를 식별하는 단계;
    상기 오브젝트 크로핑 플래그를 통해 상기 그래픽 이미지 오브젝트가 상기 오브젝트 식별자를 통해 식별된 그래픽 이미지 오브젝트에 대한 크로핑 정보를 포함하는지 여부를 독출하는 단계를 포함하는 것을 특징으로 기록매체 재생방법.
  38. 제37항에 있어서,
    상기 오브젝트 크로핑 플래그가 상기 그래픽 정보 세그먼트가 크로핑 정보를 포함함을 가리킬 때, 상기 크로핑 정보는 크로핑 영역에 대한 위치 정보를 포함하는 것을 특징으로 하는 기록매체 재생방법.
  39. 제37항에 있어서,
    상기 오브젝트 크로핑 플래그가 상기 그래픽 정보 세그먼트가 크로핑 정보를 포함함을 가리킬 때, 상기 크로핑 정보는 크로핑 영역에 대한 치수 정보를 포함하는 것을 특징으로 하는 기록매체 재생방법.
  40. 제37항에 있어서,
    상기 그래픽 정보 세그먼트 내의 상기 오브젝트 식별자에 의해 식별되는 그래픽 이미지 오브젝트를 재생하기 위한 데이터를 포함하는 각 오브젝트 데이터 세그먼트는 상기 오브젝트 식별자를 포함하되,
    상기 오브젝트 데이터 세그먼트는 오브젝트 버전 번호와 라스트 인 시퀀스 지시자 중 적어도 하나를 더 포함할 수 있는 것을 특징으로 하는 기록매체 기록매체 재생방법.
  41. 기록매체에 데이터 스트림을 기록하기 위한 기록부와;
    상기 기록부를 제어하여 상기 데이터 스트림을 기록하도록 하는 제어부를 포함하되,
    상기 제어부는 상기 데이터 스트림이 오브젝트 식별자와 오브젝트 크로핑 플래그를 포함하는 적어도 하나의 그래픽 정보 세그먼트와, 그래픽 이미지 오브젝트를 재생하기 위한 데이터를 공급하기 위한 적어도 하나의 오브젝트 데이터 세그먼트를 포함하도록 하고,
    상기 오브젝트 식별자는 상기 그래픽 이미지 오브젝트를 식별하고, 상기 오브젝트 크로핑 플래그는 상기 그래픽 이미지 오브젝트에 대한 크로핑 정보를 포함하는지 여부를 가리키는 것을 특징으로 하는 기록매체 기록장치.
  42. 제41항에 있어서,
    상기 제어부는, 상기 오브젝트 크로핑 플래그가 상기 그래픽 정보 세그먼트가 크로핑 정보를 포함함을 가리킬 때, 상기 크로핑 정보가 크로핑 영역에 대한 위치 정보를 포함하도록 하는 것을 특징으로 하는 기록매체 기록장치.
  43. 제41항에 있어서,
    상기 제어부는 상기 오브젝트 크로핑 플래그가 상기 그래픽 정보 세그먼트가 크로핑 정보를 포함함을 가리킬 때, 상기 크로핑 정보가 크로핑 영역에 대한 치수 정보를 포함하도록 하는 것을 특징으로 하는 기록매체 기록장치.
  44. 제41항에 있어서,
    상기 제어부는, 상기 그래픽 스트림이 상기 그래픽 정보 세그먼트 내의 상기 오브젝트 식별자에 의해 식별되는 그래픽 이미지 오브젝트를 재생하기 위한 데이터를 포함하는 각 오브젝트 데이터 세그먼트는 상기 오브젝트 식별자를 포함하도록 하되,
    상기 오브젝트 데이터 세그먼트는 오브젝트 버전 번호와 라시트 인 시퀀스 지시자 중 적어도 하나를 더 포함하도록 하는 것을 특징으로 하는 기록매체 기록장치.
  45. 오브젝트 식별자와 오브젝트 크로핑 플래그를 포함하는 적어도 하나의 그래픽 정보 세그먼트와, 그래픽 이미지 오브젝트를 재생하기 위한 데이터를 공급하기 위한 적어도 하나의 오브젝트 데이터 세그먼트를 포함하는 그래픽 스트림을 기록매체로부터 독출하는 재생부와;
    상기 재생부를 제어하여 상기 오브젝트 식별자를 통해 재생될 그래픽 이미지 오브젝트를 식별하고, 상기 오브젝트 크로핑 플래그를 통해 상기 그래픽 이미지 오브젝트가 상기 오브젝트 식별자를 통해 식별된 그래픽 이미지 오브젝트에 대한 크로핑 정보를 포함하는지 여부를 독출하는 제어부를 특징으로 하는 기록매체 재생장치.
  46. 제45항에 있어서,
    상기 오브젝트 크로핑 플래그가 상기 그래픽 정보 세그먼트가 크로핑 플래그를 포함함을 가리킬 때, 상기 제어부는 상기 재생부를 제어하여, 상기 크로핑 정보로부터 크로핑 영역에 대한 위치 정보를 독출하는 것을 특징으로 하는 기록매체 재생장치.
  47. 제45항에 있어서,
    상기 오브젝트 크로핑 플래그가 상기 그래픽 정보 세그먼트가 크로핑 플래그를 포함함을 가리킬 때, 상기 제어부는 상기 재생부를 제어하여, 상기 크로핑 정보로부터 크로핑 영역에 대한 치수 정보를 독출하는 것을 특징으로 하는 기록매체 재생장치.
  48. 제45항에 있어서,
    상기 제어부는 상기 재생부가 상기 오브젝트 데이터 세그먼트에 포함된 상기 오브젝트 식별자를 독출하도록 하는 것을 특징으로 하는 기록매체 재생장치.
  49. 제45항에 있어서, 상기 오브젝트 데이터 세그먼트는 오브젝트 버전 번호와 라스트 인 시퀀스 지시자 중 적어도 하나를 포함하고,
    상기 제어부는 상기 포함된 오브젝트 버전 번호와 라스트 인 시퀀스 지시자를 재생하는 것을 특징으로 하는 기록매체 재생장치.
KR1020057020582A 2003-04-29 2004-04-22 그래픽 데이터 재생을 관리하기 위한 데이터 구조를 갖는기록 매체, 그에 따른 기록 및 재생 방법 및 장치 KR101033593B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020030027274 2003-04-29
KR20030027274 2003-04-29
PCT/KR2004/000921 WO2004097824A1 (en) 2003-04-29 2004-04-22 Recording medium having a data structure for managing reproduction of graphic data and methods and apparatuses of recording and reproducing

Publications (2)

Publication Number Publication Date
KR20060013646A KR20060013646A (ko) 2006-02-13
KR101033593B1 true KR101033593B1 (ko) 2011-05-11

Family

ID=36191669

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057020582A KR101033593B1 (ko) 2003-04-29 2004-04-22 그래픽 데이터 재생을 관리하기 위한 데이터 구조를 갖는기록 매체, 그에 따른 기록 및 재생 방법 및 장치

Country Status (9)

Country Link
US (1) US20040217971A1 (ko)
EP (1) EP1618562A4 (ko)
JP (1) JP4611285B2 (ko)
KR (1) KR101033593B1 (ko)
CN (1) CN1781148B (ko)
BR (1) BRPI0409832A (ko)
RU (1) RU2388073C2 (ko)
TW (1) TWI278776B (ko)
WO (1) WO2004097824A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7505050B2 (en) * 2003-04-28 2009-03-17 Panasonic Corporation Recording medium, reproduction apparatus, recording method, reproducing method, program and integrated circuit for recording a video stream and graphics with window information over graphics display
US7616865B2 (en) 2003-04-30 2009-11-10 Lg Electronics Inc. Recording medium having a data structure for managing reproduction of subtitle data and methods and apparatuses of recording and reproducing
US8472792B2 (en) * 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
US7519274B2 (en) 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
JP5200204B2 (ja) 2006-03-14 2013-06-05 ディブエックス リミテッド ライアビリティー カンパニー 高信頼性システムを含む連合型デジタル権限管理機構
WO2009065137A1 (en) 2007-11-16 2009-05-22 Divx, Inc. Hierarchical and reduced index structures for multimedia files
CA2749170C (en) 2009-01-07 2016-06-21 Divx, Inc. Singular, collective and automated creation of a media guide for online content
BRPI0922899A2 (pt) * 2009-02-12 2019-09-24 Lg Electronics Inc receptor de transmissão e método de processamento de dados de subtítulos 3d
KR20110018261A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치
CN102054508B (zh) * 2009-11-09 2013-05-08 台达电子工业股份有限公司 多媒体播放***、识别一文件的装置及其方法
EP2507995A4 (en) 2009-12-04 2014-07-09 Sonic Ip Inc SYSTEMS AND METHODS FOR TRANSPORTING ELEMENTARY BIT TRAIN CRYPTOGRAPHIC MATERIAL
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
CN103875248B (zh) 2011-08-30 2018-09-07 帝威视有限公司 用于编码和流处理通过使用多个最大比特率级别编码的视频的***和方法
US8818171B2 (en) 2011-08-30 2014-08-26 Kourosh Soroushian Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
US10452715B2 (en) 2012-06-30 2019-10-22 Divx, Llc Systems and methods for compressing geotagged video
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9906785B2 (en) 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
US10397292B2 (en) 2013-03-15 2019-08-27 Divx, Llc Systems, methods, and media for delivery of content
US9094737B2 (en) 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9967305B2 (en) 2013-06-28 2018-05-08 Divx, Llc Systems, methods, and media for streaming media content
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
US10498795B2 (en) 2017-02-17 2019-12-03 Divx, Llc Systems and methods for adaptive switching between multiple content delivery networks during adaptive bitrate streaming

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002008948A2 (en) 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US723687A (en) * 1902-08-14 1903-03-24 Andrew S Lenna Clothes or mop wringer.
US4439759A (en) * 1981-05-19 1984-03-27 Bell Telephone Laboratories, Incorporated Terminal independent color memory for a digital image display system
JPH05144185A (ja) * 1991-11-22 1993-06-11 Sony Corp オーデイオデータの記録方法
US5636631A (en) * 1992-05-12 1997-06-10 Advanced Technology Laboratories, Inc. Ultrasonic image data formats
KR970002862B1 (ko) * 1992-12-17 1997-03-12 삼성전자 주식회사 디스크기록매체와 그 재생방법 및 장치
US5684542A (en) * 1993-12-21 1997-11-04 Sony Corporation Video subtitle processing system
JP2931755B2 (ja) * 1994-04-14 1999-08-09 株式会社東芝 データ再生装置、データエンコード装置、データエンコード方法及びデータ再生システム
KR0120603B1 (ko) * 1994-12-28 1997-10-27 김광호 컴팩트 디스크 영상 노래 반주 재생장치의 배경화면 디스플레이방법
JP3528989B2 (ja) * 1995-01-20 2004-05-24 ソニー株式会社 データ多重化装置、データ多重化方法、多重化データ処理装置および多重化データ処理方法
CA2168641C (en) * 1995-02-03 2000-03-28 Tetsuya Kitamura Image information encoding/decoding system
JP3511721B2 (ja) * 1995-03-15 2004-03-29 ソニー株式会社 情報処理方法及び装置
JPH08265661A (ja) * 1995-03-23 1996-10-11 Sony Corp 字幕データ符号化/復号化方法および装置、および符号化字幕データ記録媒体
EP0737975B1 (en) * 1995-04-11 1999-07-07 Kabushiki Kaisha Toshiba Recording medium, recording apparatus and recording method for recording data into recording medium, and reproducing apparatus and reproducing method for reproducing data from recording medium
AU698969B2 (en) * 1995-04-14 1998-11-12 Kabushiki Kaisha Toshiba Recording medium, device and method for recording data on the medium, and device and method for reproducing data from the medium
US6009234A (en) * 1995-04-14 1999-12-28 Kabushiki Kaisha Toshiba Method of reproducing information
TW430785B (en) * 1995-04-14 2001-04-21 Toshiba Corp Interactively broadcasting recording-media and its regeneration system
JP3608582B2 (ja) * 1995-07-07 2005-01-12 ソニー株式会社 画像符号化装置および方法、画像復号装置および方法
US5841447A (en) * 1995-08-02 1998-11-24 Evans & Sutherland Computer Corporation System and method for improving pixel update performance
US5923627A (en) * 1995-08-21 1999-07-13 Matsushita Electric Industrial Co., Ltd. Optical disc for coordinating the use of special reproduction functions and a reproduction device for the optical disk
EP0788094A4 (en) * 1995-08-21 1998-06-24 Matsushita Electric Ind Co Ltd MULTIMEDIA OPTICAL DISK WHICH CAN COMPLETELY GENERATE UNEXPECTED SCENES THROUGH INTERACTIVE CONTROL, THEIR PLAYBACK DEVICE AND PLAYBACK METHOD
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
DE69710279T2 (de) * 1996-04-05 2002-06-27 Matsushita Electric Industrial Co., Ltd. Optische multimedia-platte mit mehrkanaligen audiodaten und untergeordneten bilddaten zusammen mit zeitlich veränderlichen bilddaten sowie datenwiedergabeverfahren und -vorrichtung dazu
US6044408A (en) * 1996-04-25 2000-03-28 Microsoft Corporation Multimedia device interface for retrieving and exploiting software and hardware capabilities
TW411451B (en) * 1996-05-14 2000-11-11 Toshiba Corp Recording medium storing video data which can forcibly reproduce sub-video in accordance with reproducing state and its reproducing system
KR100203264B1 (ko) * 1996-06-29 1999-06-15 윤종용 디지탈비디오디스크 시스템의 부영상 복호방법 및그장치
JPH1028273A (ja) * 1996-07-11 1998-01-27 Toshiba Corp 映像データ記録媒体及び記録方法と再生装置
KR100496703B1 (ko) * 1996-09-27 2005-11-24 마쯔시다덴기산교 가부시키가이샤 비디오데이터의택일적인재생이가능한멀티미디어스트림생성방법과멀티미디어광디스크오소링시스템
JPH10106142A (ja) * 1996-09-27 1998-04-24 Sony Corp データデコードシステムおよびデータデコード方法、伝送装置および方法、並びに、受信装置および方法
US5917830A (en) * 1996-10-18 1999-06-29 General Instrument Corporation Splicing compressed packetized digital video streams
JP2970558B2 (ja) * 1996-10-25 1999-11-02 日本電気株式会社 オーディオ/ビデオ/コンピュータグラフィクス同期再生合成方式及び方法
JPH10145722A (ja) * 1996-11-07 1998-05-29 Sony Corp 再生制御データ生成装置およびその方法
JP3742167B2 (ja) * 1996-12-18 2006-02-01 株式会社東芝 画像表示制御装置
US6167410A (en) * 1997-01-30 2000-12-26 Casio Computer Co., Ltd. Document processing apparatus for adding predetermined design types to an original document
JPH10224643A (ja) * 1997-01-31 1998-08-21 Canon Inc 画像処理装置及び方法
GB9706321D0 (en) * 1997-03-26 1997-05-14 Zeneca Ltd Catalytic hydrogenation
KR100265112B1 (ko) * 1997-03-31 2000-10-02 윤종용 디브이디 디스크와 디브이디 디스크를 재생하는 장치 및 방법
US6335742B1 (en) * 1997-07-24 2002-01-01 Ricoh Company, Ltd. Apparatus for file management and manipulation using graphical displays and textual descriptions
US5929857A (en) * 1997-09-10 1999-07-27 Oak Technology, Inc. Method and apparatus for dynamically constructing a graphic user interface from a DVD data stream
US6433801B1 (en) * 1997-09-26 2002-08-13 Ericsson Inc. Method and apparatus for using a touch screen display on a portable intelligent communications device
US6046778A (en) * 1997-10-29 2000-04-04 Matsushita Electric Industrial Co., Ltd. Apparatus for generating sub-picture units for subtitles and storage medium storing sub-picture unit generation program
US6035055A (en) * 1997-11-03 2000-03-07 Hewlett-Packard Company Digital image management system in a distributed data access network system
US6430312B1 (en) * 1997-12-29 2002-08-06 Cornell Research Foundation, Inc. Image subregion querying using color correlograms
JPH11205718A (ja) * 1998-01-07 1999-07-30 Hitachi Ltd 情報再生装置及び情報記録再生装置
JP3597690B2 (ja) * 1998-01-21 2004-12-08 株式会社東芝 デジタル情報記録再生システム
KR100329311B1 (ko) * 1998-03-13 2002-03-25 모리시타 요이찌 데이터 저장매체 및 이로부터 데이터를 재생하는 장치 및방법
KR100304644B1 (ko) * 1998-06-19 2001-11-02 윤종용 네트워크를통한정보전송장치및방법
JP3356691B2 (ja) * 1998-07-07 2002-12-16 株式会社東芝 情報記録媒体とその記録方法及び再生方法
US7076149B1 (en) * 1998-07-20 2006-07-11 Thomson Licensing Digital video apparatus user interface
CA2289958C (en) * 1998-11-19 2003-01-21 Tomoyuki Okada Information recording medium, apparatus and method for recording or reproducing data thereof
JP2000187731A (ja) * 1998-12-21 2000-07-04 Ricoh Co Ltd 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000222861A (ja) * 1999-01-28 2000-08-11 Victor Co Of Japan Ltd 光ディスクの登録データ作成装置、光ディスクのアセット情報のデータ構造及びアセット情報管理装置並びにアーカイブシステム
US6286001B1 (en) * 1999-02-24 2001-09-04 Doodlebug Online, Inc. System and method for authorizing access to data on content servers in a distributed network
JP4158262B2 (ja) * 1999-02-26 2008-10-01 ソニー株式会社 情報記録再生装置および方法ならびに記録媒体
KR100540645B1 (ko) * 1999-03-03 2006-01-10 삼성전자주식회사 Dvd 정보 전송 장치 및 그 방법
US6889001B1 (en) * 1999-04-27 2005-05-03 Alpine Electronics, Inc. Disk player with location marking capability
US6330210B1 (en) * 1999-04-29 2001-12-11 Hewlett-Packard Company Data structure for control information on rewriteable data storage media
KR100326400B1 (ko) * 1999-05-19 2002-03-12 김광수 자막지향 탐색정보 생성 및 탐색방법과, 이를 사용하는 재생장치
JP3298564B2 (ja) * 1999-06-14 2002-07-02 日本電気株式会社 映像再生装置及び映像再生装置制御用プログラムを記憶した記憶媒体
US6574417B1 (en) * 1999-08-20 2003-06-03 Thomson Licensing S.A. Digital video processing and interface system for video, audio and ancillary data
US6792154B1 (en) * 1999-10-07 2004-09-14 World Multicast.com, Inc Video compression system and method using time
US6850228B1 (en) * 1999-10-29 2005-02-01 Microsoft Corporation Universal file format for digital rich ink data
US6728477B1 (en) * 1999-12-28 2004-04-27 Lsi Logic Corporation Simultaneous multiple-angle presentation of DVD audio/visual content
US6871008B1 (en) * 2000-01-03 2005-03-22 Genesis Microchip Inc. Subpicture decoding architecture and method
WO2001069919A1 (en) * 2000-03-10 2001-09-20 Datacube, Inc. Image processing system using an array processor
CN1239021C (zh) * 2000-04-21 2006-01-25 索尼公司 信息处理设备及方法、程序和记录介质
WO2001082608A1 (fr) * 2000-04-21 2001-11-01 Sony Corporation Appareil et procede de traitement des informations, programme et support enregistre
KR100424480B1 (ko) * 2000-05-23 2004-03-22 엘지전자 주식회사 디지털 텔레비전이 수용가능한 데이터 포맷의 고밀도 광 기록매체와, 그에 따른 재생장치
TW519840B (en) * 2000-06-02 2003-02-01 Sony Corp Image coding apparatus and method, image decoding apparatus and method, and recording medium
KR100448452B1 (ko) * 2000-06-09 2004-09-13 엘지전자 주식회사 고밀도 광 기록매체의 메뉴 지원방법
US20060064716A1 (en) * 2000-07-24 2006-03-23 Vivcom, Inc. Techniques for navigating multiple video streams
FI20002852A (fi) * 2000-12-22 2002-06-23 Nokia Corp Objektien siirto meneillään olevan tiedonsiirtotoimenpiteen sisällä
US7034848B2 (en) * 2001-01-05 2006-04-25 Hewlett-Packard Development Company, L.P. System and method for automatically cropping graphical images
US6707459B1 (en) * 2001-02-01 2004-03-16 Apple Computer, Inc. Adjustment of color values for optimized image processing
KR100389863B1 (ko) * 2001-02-01 2003-07-04 삼성전자주식회사 서브 타이틀을 타이틀에 관련지어 재생가능한 데이터구조를 갖는 기록매체, 그 재생장치 및 재생방법
KR101035073B1 (ko) * 2001-02-21 2011-05-19 유나이티드 비디오 프로퍼티즈, 인크. 개인용 비디오 녹화 특징을 갖는 대화식 프로그램 가이드를위한 시스템 및 방법
WO2002082810A1 (fr) * 2001-04-02 2002-10-17 Matsushita Electric Industrial Co., Ltd. Appareil de reproduction video de contenu video numerique, procede de reproduction video, programme de reproduction video, et support de progiciel
US20030016302A1 (en) * 2001-07-09 2003-01-23 Brian Fudge Apparatus and method for conditioning digital image data for display of the image represented thereby
KR100405975B1 (ko) * 2001-09-26 2003-11-14 엘지전자 주식회사 Pvr에서의 스트림 점프 방법
US7187780B2 (en) * 2001-12-13 2007-03-06 Digimarc Corporation Image processing methods using reversible watermarking
JP3787529B2 (ja) * 2002-02-12 2006-06-21 株式会社日立製作所 光ディスク記録再生装置
EP1361758A1 (en) * 2002-05-06 2003-11-12 Motorola, Inc. Image content reconfiguration for different device capabilities and methods therefor
US7379496B2 (en) * 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
KR100609392B1 (ko) * 2002-09-05 2006-08-08 엘지전자 주식회사 정지 영상의 재생을 관리하기 위한 재생리스트 마크의데이터 구조를 갖는 기록 매체, 그에 따른 기록 및 재생방법 및 장치
EP1551027A4 (en) * 2002-09-12 2009-08-05 Panasonic Corp RECORDING MEDIUM, REPRODUCTION DEVICE, PROGRAM, REPRODUCTION METHOD, AND RECORDING METHOD
WO2004029960A1 (en) * 2002-09-26 2004-04-08 Koninklijke Philips Electronics N.V. Method and device for recording information on a record medium, record medium containing information, and method and device for reading information from a record medium'
BR122013022769B1 (pt) * 2002-11-15 2016-07-19 Thomson Licensing Sa aparelho para composição de legendas
EP1420580A1 (en) * 2002-11-18 2004-05-19 Deutsche Thomson-Brandt GmbH Method and apparatus for coding/decoding items of subtitling data
KR100984442B1 (ko) * 2003-01-31 2010-09-29 파나소닉 주식회사 재생장치 및 재생방법
CN101231871B (zh) * 2003-02-28 2013-11-20 松下电器产业株式会社 记录介质、再现装置、记录方法、程序和再现方法
US20040213542A1 (en) * 2003-04-22 2004-10-28 Hiroshi Hamasaka Apparatus and method to reproduce multimedia content for a multitude of resolution displays
US7505050B2 (en) * 2003-04-28 2009-03-17 Panasonic Corporation Recording medium, reproduction apparatus, recording method, reproducing method, program and integrated circuit for recording a video stream and graphics with window information over graphics display
CN101026775B (zh) * 2003-06-30 2012-08-22 松下电器产业株式会社 再现装置、记录方法和再现方法
TW200601300A (en) * 2003-06-30 2006-01-01 Matsushita Electric Ind Co Ltd Apparatus and computer-readable program for generating volume image
TW200511296A (en) * 2003-09-01 2005-03-16 Matsushita Electric Ind Co Ltd Method for manufacturing stamper, stamper and optical recording medium
KR100782810B1 (ko) * 2005-01-07 2007-12-06 삼성전자주식회사 확장 검색 기능을 제공하기 위한 메타데이터가 기록된 저장매체를 재생하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002008948A2 (en) 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files

Also Published As

Publication number Publication date
TWI278776B (en) 2007-04-11
KR20060013646A (ko) 2006-02-13
WO2004097824A1 (en) 2004-11-11
RU2388073C2 (ru) 2010-04-27
EP1618562A4 (en) 2011-03-16
JP4611285B2 (ja) 2011-01-12
BRPI0409832A (pt) 2006-04-25
US20040217971A1 (en) 2004-11-04
CN1781148A (zh) 2006-05-31
RU2005132413A (ru) 2007-06-10
EP1618562A1 (en) 2006-01-25
TW200424923A (en) 2004-11-16
CN1781148B (zh) 2012-03-21
JP2006526243A (ja) 2006-11-16

Similar Documents

Publication Publication Date Title
KR101033593B1 (ko) 그래픽 데이터 재생을 관리하기 위한 데이터 구조를 갖는기록 매체, 그에 따른 기록 및 재생 방법 및 장치
KR101024922B1 (ko) 서브타이틀 데이터의 재생을 관리하기 위한 데이터 구조를갖는 기록 매체, 그에 따른 기록 및 재생 방법 및 장치
US8135259B2 (en) Recording medium having a data structure for managing reproduction of text subtitle data and methods and apparatuses of recording and reproducing
US7760989B2 (en) Recording medium having data structure including graphic data and recording and reproducing methods and apparatuses
KR101061414B1 (ko) 기록된 텍스트 서브타이틀 데이터의 재생 관리를 위한데이터 구조를 갖는 기록매체, 그리고 기록/재생 방법 및장치
KR101137353B1 (ko) 기록된 텍스트 서브타이틀 데이터의 재생 관리를 위한데이터 구조를 갖는 기록매체, 그리고 기록/재생 방법 및장치
US7751685B2 (en) Recording medium having data structure including graphic data and recording and reproducing methods and apparatuses

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140414

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160324

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee