KR100981378B1 - 비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스 및 방법, 및 이와 연관된 제품 - Google Patents
비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스 및 방법, 및 이와 연관된 제품Info
- Publication number
- KR100981378B1 KR100981378B1 KR1020040005623A KR20040005623A KR100981378B1 KR 100981378 B1 KR100981378 B1 KR 100981378B1 KR 1020040005623 A KR1020040005623 A KR 1020040005623A KR 20040005623 A KR20040005623 A KR 20040005623A KR 100981378 B1 KR100981378 B1 KR 100981378B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- video
- auxiliary
- module
- communication
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000004891 communication Methods 0.000 claims abstract description 35
- 230000006978 adaptation Effects 0.000 claims abstract description 10
- 239000000872 buffer Substances 0.000 claims description 64
- 230000005540 biological transmission Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000001094 photothermal spectroscopy Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
- H04M1/6041—Portable telephones adapted for handsfree use
- H04M1/6075—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/02—Transmitters
- H04B1/04—Circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
- H04N9/8238—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal for teletext
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
- H04N9/8244—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal involving the use of subcodes
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
Abstract
본 발명은 비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스(1) 및 방법에 관한 것으로, 이들 데이터는 멀티플렉싱된 시간순의 형태로 저장 공간(15)에 리코딩된다.
동기화 디바이스는 리코딩된 데이터를 입력(2)하고 디멀티플렉싱(3)하는 모듈을 포함하며, 비디오 및 보조 데이터는, 이들 데이터를 판독 및 전달하는 비디오 판독 조립체(20) 및 보조 조립체(30)로 각각 송신된다. 또한, 상기 디바이스는, 비디오 데이터의 통신 순간에 관해 비디오 판독 조립체(20)로부터 정보를 얻을 수 있는 통고 모듈(4)과, 상기 통고 모듈(4)에 의해 얻어진 정보의 함수로서 보조 데이터의 보조 판독 조립체(30)에 의해 통신 순간을 조정하도록 설계된 적응 모듈(5)을 포함한다.
Description
도 1은 본 발명에 따른 동기화 디바이스를 포함하는 비디오 디코딩 시스템의 원리를 도시한 도면.
도 2는 도 1의 비디오 디코딩 시스템의 하드 디스크에 리코딩된, N개의 이미지를 나타내는 비디오 데이터 및 이에 대응하는 서브타이틀링 데이터의 멀티플렉싱된 스트링을 도시한 도면.
도 3은 도 1의 디코딩 시스템에 의한 판독-이용, 및 도 2의 데이터 스트링의 초기 단계를 도시한 도면.
도 4는 도 1의 디코딩 시스템에 의한 판독-이용, 및 도 2의 데이터 스트링의 이후의 단계를 도시한 도면.
도 5는 도 1의 디코딩 시스템에 의한 판독-이용, 및 도 2의 데이터 스트링의 후속적인 단계를 도시한 도면.
도 6은 도 1의 디코딩 시스템에 의한 판독-이용, 및 도 2의 데이터 스트링의 마지막 단계를 도시한 도면.
<도면 주요 부분에 대한 부호의 설명>
1: 동기화 디바이스 2: 입력 모듈
3: 디멀티플렉싱 모듈 4: 통고 모듈
5: 적응 모듈 15: 저장 공간
20: 비디오 판독 조립체 21: 버퍼 메모리
22: 비디오 디코딩 유닛 23: 통신 유닛
30: 보조 판독 조립체
본 발명은 비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스 및 방법 및 이와 연관된 제품에 관한 것으로, 이들 데이터는 멀티플렉싱된 시간순의 형태로 저장 공간에 리코팅된다. 본 발명은 특히 리코드 판독 제어 모드("재생")로 텔레텍스트 서브타이틀의 동기화 관리에 적용된다.
저장 기능과 연관된 디지털 텔레비전 디코더에서, 오디오, 비디오, 텔레텍스트/서브타이틀 유형 및 특히 MPEG(Moving Picture Experts Group: 동화상 전문가 그룹) 및 DVB(Digital Video Broadcasting: 디지털 비디오 방송) 표준에 기재된 것과 같은 다른 유형의 다양한 스트림은 나중에 재생되고 디코딩되기 위해 부분 스트림의 형태로 저장 공간에 저장될 수 있다. 디지털 텔레비전 디코더는, 예를 들어 스트림이 저장되는 내장형 하드 디스크가 설치된 개인용 비디오 수신기 또는 PVR(Personal Video Recorder: 개인용 비디오 리코더)이 설치된다.
이들 다양한 스트림은 통상 MPEG 전송 스트림으로 전송되고, 디멀티플렉서에 의해 디멀티플렉싱되고, 오디오, 비디오, 텔레텍스트 또는 서브타이틀 디코딩을 위한 기본 디코더로 각각 송신되고, 데이터(MPEG부 또는 다른 유형의 데이터) 처리용 시스템으로 송신된다. 디코딩 기기로 송신된 스트림은 동기적으로 사용될 수 있다. 이 경우는, 예를 들어 시간 라벨 또는 PTS(Program Time Stamps: 프로그램 시간 스탬프)의 형태인 시간 동기화 정보에 의해 상관되는 오디오 및 비디오 정보에 대한 경우이다. 현재 경우에 디코딩 레벨에서 PCR(Program Clock Reference: 프로그램 클록 기준)로 표시된 시간 기준 신호에 의해 로컬 클록을 갱신하는 것과 조합되는 이러한 정보의 이용은 이미지를 음향과 동기적으로 디스플레이할 수 있게 한다. 이러한 방법은 잘 알려져 있고, 디지털 디코더에 사용된다.
그러나, 동기화 정보의 송신은 서브타이틀/텔레텍스트 데이터의 경우에 DVB 표준에 따라 필수적이지 않다. 실제로, 그 요구조건이 오디오의 경우에서보다 훨씬 더 엄격하지 않은 그러한 데이터에 대한 동기화는 사실상 디멀티플렉서의 출력에서 수신된 데이터의 준-즉시(quasi-immediate) 디코딩(최대 수십ms)에 의해 수행된다. 더 구체적으로, 스트림으로 송신된 2개의 연속적인 패킷을 고려하고 송신시 비디오 및 동기 서브타이틀에 각각 관련시킴으로써, 동기화에 관해 대응하는 에러는,
- 압축된 비디오 이미지 전체를 복구하는데 필요한 지속기간으로부터 야기되고;
- 공칭 비디오 디코딩 구성(regime)을 확립하는데 필요한 지속기간, 즉 이러한 버퍼에는 데이터가 부족하거나("언더플로우") 또는 데이터가 너무 많이 있을 수 없도록("오버플로우") 비디오 기본 디코더의 전송 버퍼 메모리를 채우는 지속기간으로부터 야기되고;
디스플레이가능한 형태인 데이터의 디코딩, 및 비디오 프레임으로 데이터의 디스플레이에 필요한 지속기간으로부터 야기되고;
- 연관된 모든 서브타이틀/텔레텍스트 데이터를 복구하는데 필요한 지속기간으로부터 야기되고;
- 디코더의 스크린 디스플레이 기능 또는 OSD(On-Screen Display: 온 스크린 디스플레이)에 의해 디스플레이가능한 서브타이틀을 디코딩하고 조절하는데 필요한 지속기간으로부터 야기된다.
이러한 지속기간들의 총계는 일반적으로 수십ms에 걸쳐 연장한다. 따라서, 안테나 신호에 따라 공칭 직접 디코딩 모드로 서브타이틀 스트림의 이용의 정황 내에서, 이들 스트림에 동기화 정보가 존재하거나 존재하지 않는 지는 크게 중요하지 않으며, 평균 에러를 고려하는 것은 정밀도를 얻는데 충분하다.
저장 기기로부터 재생된 부분 스트림의 경우에, 다른 한 편으로, 비디오 데이터는 비디오 디코딩 버퍼에 도달하는 속도로 디코딩된다. 저장 기기로부터 재생된 데이터로부터 판독하는 동안 일반적으로 사용된 원리는 사용된 모든 데이터 버퍼를 최대한 채움으로써 저장 기기에 대한 판독 횟수를 버퍼링(즉 버퍼 메모리에 위치시킴)하는 것과, 특히 비디오 디코딩 버퍼에 관한 것이다. 이러한 방식으로, 이들 데이터를 판독할 때의 지연을 수반하는 저장 기기에 관한 어떠한 판독 장애도 볼 수 없다. 따라서, 저장 기기로부터 판독된 모든 데이터(오디오, 비디오, 서브타 이틀 등)는 디멀티플렉서에 제공되며, 피드백 제어는 비디오 디코딩 버퍼의 채움 레벨에 의해 감독된다.
어떠한 사전-발송(pre-dispatch) 동기화 메커니즘(PTS와 같은)도 서브타이틀에 대해 사용되지 않는 경우에, 서브타이틀은 직접 수신과 동일한 방식으로 디멀티플렉서의 출력에서 이용가능하자마자 디코딩된다. 그러므로, 아직 디코딩되지 않은 비디오 데이터는 비디오 디코딩 버퍼에 여전히 존재할 수 있는 반면, 대응하는 서브타이틀은 이미 디스플레이되고 있다. 사실상, 비디오 디코딩 버퍼의 크기 및 통상의 비디오 압축 비트율(디코딩 버퍼의 크기에 대해서는 300k바이트를 초과하고, 약 2.0 M비트/s의 MPEG 비디오 비트율)은 이들 서브타이틀과 아직 디코딩되지 않은 이미지 사이의 수초의 간격을 가질 수 있도록 이루어진다. 그 다음에, 비디오에 대해 서브타이틀의 디스플레이의 일관성은 크게 절충된다.
이러한 문제에 대해 가능한 해결책은 저장 공간에 데이터를 리코딩하기 전에 수신시 시간 라벨을 도입하는 것이다. 그 때, 이들 라벨은 서브타이틀을 동기적으로 판독하는 역할을 한다. 따라서, 생각할 수 있는 방법은, 비디오 전송 패킷 및 기본 비디오 스트림 패킷 또는 PES(Packet Elementary Streams: 패킷 기본 스트림)을 편집하도록 스트림을 분석하고, 로컬 클록을 비디오 PCR 신호로 피드백 제어함으로써, 서브타이틀의 시간 라벨을 결정하기 위해 비디오 PTS를 고려하는 것이다. 이러한 동작은 비교적 복잡하고 구현하는데 다루기 힘들고, 서브타이틀에 대해 생성된 시간 라벨을 저장할 수 있기 위해 필요한 저장 장소를 증가시킨다. 더욱이, 이러한 동작은 비디오 패킷 식별자{PID(Packet Identifiers: 패킷 식별자)라 불림} 를 아는 것이 필요하고, 비디오 PES가 스크램블링될 때 구현의 어려움을 초래한다.
저장 이전에 시간 라벨을 도입하는 다른 방법은, 그러한 추가 라벨을 로컬 클록에 기초하여 모든 패킷에 조직적으로 첨부하는 한편, 분석 동작을 판독으로 전환하는 것이다. 따라서, 저장 공간에 리코딩된 데이터를 판독하는 동안, 리코딩된 데이터는 복구되고, 이러한 추가 라벨로 인해 동기적으로 제 1 모듈로부터 제 2 모듈로 송신되고, 그 다음에 제 2 모듈에 의해 수신된 데이터는 외부 소스로부터 직접 수신된 데이터와 유사하게 처리된다. 그러나, 이러한 기법은 모든 시간 라벨을 저장하기 위한 추가 저장 장치를 필요로 하고, 수단 및 동작에 관해 비교적 다루기 힘든 특정 절차의 구현을 요구함으로써 리코딩 및 판독의 복잡성을 증가시킨다.
예를 들어 DVD(디지털 다기능 디스크) 또는 CD(컴팩트 디스크)와 같은 광 디스크 상에 음성 영상(audiovisual) 데이터 및 보조 정보를 리코딩할 때, 음성 영상 및 보조 데이터와 연관된 시간 라벨을 도입하는 것이 또한 알려져 있다.
따라서, 특허 US-2001/0005447은 음성 영상 디지털 데이터 및 문자를 멀티플렉싱 및 디멀티플렉싱하는 방법을 기재한다. 이들 데이터의 각 리코딩된 패킷은 디코딩 시간 또는 디스플레이 시간을 나타내는 시간 라벨을 포함한다. 리코딩된 데이터를 재생할 동안, 시간 라벨 감독자(supervisor)는 데이터 패킷의 시간 라벨에 관련하여 비디오, 오디오 및 서브타이틀과 각각 연관된 수 개의 디코더의 디코딩의 동기(synchronism)를 제어한다.
이러한 유형의 기법은 예를 들어 특허 US-6,122,434에 설명된 실시예에서 이용될 수 있다. 상기 특허는 재생의 여러 허용 레벨을 수반하는 정보를 리코딩하는 매체 및 장치에 관한 것이다. 상기 특허는 광 디스크에 적용된 모(parental) 감독에 중점을 두는데, 이에 대해 허용 레벨은 국가마다 다르다. 이 개시는 특히 DVD를 리코딩하고 재생하기 위한 시스템에 관한 것으로, 이 시스템은 비디오, 오디오, 서브이미지 및 정보 감독 데이터를 각각 리코딩하고, 동기적으로 재생할 수 있다. 리코딩 매체로부터 추출된 데이터의 동기화는 각각 상기 데이터 카테고리와 연관된 디코딩 이전의 버퍼 메모리에 의해 수행된다. 이들 다중 동기화에 관한 오퍼랜드 방식(modus operandi)이 명백하지 않으면, 시간 라벨에 의한 동기화는 적절한 해결책인 것으로 생각된다.
그러나, 모든 데이터에 대한 시간 라벨의 도입은 특히 터미널에서 수신된 스트림의 리코딩에 거의 적절하지 않은 복잡한 수단을 필요로 하고, 여분의 저장 장치를 필요로 한다.
서브타이틀링 데이터와 함께 수신된 시간 라벨이 존재할 때조차, 저장 공간에서의 데이터의 리코딩에 기초하여 특수 효과 모드(또는 트릭 모드)의 사용에 의해 추가 어려움이 나타난다. 특히, 비디오 데이터의 송신 속도가 정상 속도에 비해 감속되거나 가속되자마자, 비디오 데이터의 이러한 송신 속도의 함수로서 서브타이틀과 연관된 시간 라벨에 대한 보정이 이루어질 필요가 있다. 그러한 동기화의 보정은 트릭 모드에 적응된 특정 처리를 필요로 하는데, 이러한 특정 처리는 특히 마지막 비디오 PTS에 도달한 이래로 경과된 로컬 카운터의 값을 조정하는 것에 달려있을 수 있다. 그러므로, 리코딩된 데이터를 이용할 수 있는 메커니즘의 복잡성은 증가된다.
게다가, 서브타이틀링 데이터와 연관된 시간 라벨이 존재하지 않을 때, 정상 판독 속도에 관해 전술한 문제점은 슬로우 모션 모드에서 더 증가되는데, 그 이유는 서브타이틀의 디스플레잉과 대응하는 비디오 이미지의 디스플레잉 사이의 지연이 더욱 더 커지기 때문이다.
본 발명은 저장 공간에 기초하여 비디오 데이터 및 서브타이틀의 판독-동기화를 위한 디바이스에 관한 것으로, 상기 디바이스는 저장 및 동작에 관해 적은 비용으로도 동기화된 판독을 가능하게 한다. 더욱이, 이러한 디바이스는 비교적 간단히 구현할 수 있다. 특히, 이들 서브타이틀에 시간 라벨을 제공하지 않고도 수신되고 리코딩된 비디오 스트림 및 서브타이틀 스트림에 적용할 수 있다. 따라서, 본 발명의 디바이스는, 부분 전송 스트림이 더 구체적으로 텔레텍스트 유형의 스트림으로 전송된 서브타이틀의 동기화를 위해 하드 디스크로부터 재생되는 경우에, 텔레텍스트 DVB 유형의 스트림에서의 동기화 정보의 결핍을 해결할 수 있다.
본 발명의 동기화는 바람직한 실시예에서, 저장 공간으로부터의 판독 속도가 가속되거나 감속되는지의 여부에 상관없이 특수 효과 모드에 대한 동기화의 적응을 허용한다는 장점을 또한 가질 수 있다.
더 구체적으로, 본 발명은 비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스에 관한 것으로, 이들 데이터는 멀티플렉싱된 시간순의 형태로 저장 공간에 리코딩되고, 전술한 품질을 갖는다.
본 발명은 또한 본 발명의 동기화 디바이스에 대응하는 동기화 방법에 관한 것으로, 비디오 디코딩 시스템은 그러한 디바이스 및 연관된 컴퓨터 프로그램을 포함한다.
본 발명은, 서브타이틀링뿐 아니라, 특히 대화형 프로그램과 연관된 데이터(음향, 화상, 명령 등)의 생성, 및 동기화가 라이브로 수행된 경우 비디오 프로그램 상에 부가(tacked)된 정보의 디스플레잉 또는 음향 송신에 적합한 동기화에 대한 응용을 찾을 수 있다.
이 때문에, 본 발명의 주제는, 이러한 데이터의 동기화 통신을 예상하여 비디오 데이터 및 이들 비디오 데이터와 연관된 보조 데이터의 판독-동기화를 위한 디바이스인데, 비디오 및 보조 데이터는 멀티플렉싱된 시간순의 형태로 저장 공간에 리코딩된다. 동기화 디바이스는,
- 리코딩된 데이터를 저장 공간에 입력하기 위한 모듈과;
- 비디오 및 보조 데이터를 디멀티플렉싱하는 모듈로서, 이들 판독 조립체는 데이터를 판독하고 전달하기 위한 모듈로서, 비디오 데이터를 비디오 판독 조립체로 송신하고 보조 데이터를 보조 판독 조립체로 송신하도록 설계되는, 모듈을 포함한다.
본 발명에 따라, 동기화 디바이스는,
- 비디오 데이터의 통신 순간(instants of communication)에 관해 통고(apprising)하기 위한 모듈로서, 이러한 통신 순간에 관해 비디오 판독 조립체에서 발생하는 정보를 얻을 수 있는, 통고 모듈과;
- 보조 데이터의 통신을 적응시키는 모듈로서, 통고 모듈에 의해 얻어진 정 보의 함수로서, 보조 데이터의 보조 판독 조립체에 의한 통신 순간을 조정하도록 설계되는, 적응 모듈을 또한 포함한다.
데이터의 "통신"이라는 용어는 판독 조립체의 외부 모듈로의 임의의 송신 동작을 의미하는 것으로 이해되며, 그러므로 이것은 특히 스크린 디스플레이, 또는 로컬 레벨에서의 음향 생성(예를 들어, 데이터를 텔레비전 뷰어에 표현), 또는 판독된 데이터의 외부 회로로의 발송{예를 들어, 중앙 집중형 시스템으로부터 개인(property) 또는 회사(enterprise)가 소유하고 있는 텔레비전 세트로 송신}을 초래할 수 있다.
더욱이, 비디오 데이터의 통신 순간에 관해 통고하는 모듈에 의해 얻어진 정보는 간접적 및 부분적일 수 있다. 특히, 비디오 판독 조립체를 통한 통과 지속기간에 관한 정보일 수 있다.
이와 마찬가지로 보조 데이터의 통신 순간을 조정하는 것은 간접적일 수 있다. 따라서, 보조 판독 조립체로의 송신 순간에 관해, 또는 이 조립체의 출력에서의 통신에 관해, 그 외에 아마 일단 보조 판독 조립체에 도달하였으면 예를 들어 보조 데이터의 현재 요소의 디코딩과 같은 중간 단계에 관해 특히 적응 지연을 도입함으로써 작용할 수 있다. 조합된 해결책도 또한 가능하다.
본 발명의 디바이스는 특히 기존의 방법으로서는 예측불가능한데, 그 이유는 보조 데이터에 대한 임의의 여분의 시간 라벨을 구현하지 않기 때문이다. 대조적으로, 디코딩 이전에 비디오 데이터의 비디오-버퍼 저장에 의해 야기된 지연을 고려할 수 있음으로써, 상기 디바이스는 비디오 및 보조 데이터를 판독하는 메커니즘의 실제 동작을 가장 잘 이용한다. 저장 공간에 리코딩된 데이터가 판독될 때 이러한 이용은 실시간으로 수행된다. 더 구체적으로, 동기화는 비디오 데이터의 통신 순간의 함수로서 보조 데이터의 통신 순간의 피드백 제어 형태에 달려있다.
이 디바이스는 특히 종래의 기술의 측면에서, 또는 사실상 당업자가 사실상 원하는 것이라 여겨지는 것(시간 라벨의 도입)에 관해 장점을 가질 수 있다:
- 수신되고 리코딩된 보조 데이터에 대한 임의의 시간 라벨이 없을 때조차 동기화가 가능함;
- 저장 공간에 데이터를 리코딩하기 전에 어떠한 특정 동작도 필요 없음;
- 초과된 정보를 리코딩할 필요 없음(저장 장치의 절감);
- 심지어 리코딩에 관한 임의의 특정한 제공 없이(이용에 대한 유연성), 멀티플렉싱된 시간순의 형태로 비디오 및 보조 데이터의 임의의 리코딩의 가능한 이용;
- 구문 스트림 분석에 대한 추가 동작 필요 없이 종래의 기술에 따라 비디오 판독의 가능성.
바람직하게, 통고 모듈은, 적응 모듈이 이들 데이터 판독의 가속 및 감속을 고려할 수 있는 방식으로, 비디오 데이터의 통신 순간에 관한 정보를 동적으로 얻을 수 있다. 특히 이러한 동적인 얻음(dynamic obtaining)은 측정의 충분히 일시적으로 빠른 샘플링에 의해 수행될 수 있다. 예를 들어, 측정은 비디오 프레임마다 수행된다.
다른 실시예에서, 통고 모듈은 이러한 정보를 정적으로 얻고 난 후, 조직적 인 방식으로 순차적으로 사용하도록 설계된다. 특히, 초기 측정에 기초하여 보조 데이터의 통신 순간 상에 고정된 시간 오프셋을 부여할 수 있다. 이 실시예의 개선된 형태로, 측정은 가속되거나 감속된 작동 속도(running speed)의 경우에 자동적으로 다시 이루어진다(이러한 동작은 속도 또는 특수 효과 모드 신호의 변화에 의해 트리거링됨). 동적 실시예보다 적응의 정밀도 및 유연성이 더 적은 이러한 정적 실시예의 이익은 필요한 동작의 양을 추가로 감소시킨다는 점이다.
데이터의 유리한 형태에서, 모듈은, 보조 데이터가
- 서브타이틀과;
- 적어도 하나의 대화형 프로그램에 관련된 데이터(화상, 음향, 메시지, 명령 등)와;
- 또는 상기 2가지 유형의 데이터의 조합을
포함하도록 설계된다.
모듈은, 데이터가 디지털 형태로, 바람직하게는 DVB 표준에 따라 리코딩되도록 유리하게 설계된다.
통고의 바람직한 형태에 따라, 비디오 판독 조립체는,
- 비디오 데이터의 현재 요소를 일시적으로 포함하도록 의도되는 적어도 하나의 버퍼 메모리와;
- 이러한 버퍼 메모리로부터의 출력상에서 현재 요소를 연속적으로 디코딩하도록 의도되는 비디오 디코딩 유닛과;
- 디코딩된 현재 요소와 통신하도록 의도되는 통신 회로를 포함하며,
통고 모듈은 이러한 버퍼 메모리의 내용에 관련된 적어도 정보를 동적으로 얻도록 설계된다.
이러한 형태의 통고는 특히 효과적이고 적절한 것으로 판명될 수 있다. 이러한 장점은, 비디오 버퍼 메모리의 내용이 보조 데이터에 대해 비디오 데이터의 통신에 관한 시간 오프셋을 나타낸다. 이제, 엄밀히 이러한 오프셋은 비디오와 보조 데이터 사이의 동기화에 대해 문제가 발생한다.
그 다음에, 통고 모듈은, 이러한 정보가
- 비디오를 위한 이러한 버퍼 메모리에 존재하는 현재 요소의 양과;
- 이러한 버퍼 메모리에 들어오는 현재 요소의 인입(incoming) 스트림과;
- 이러한 버퍼 메모리에서 나가는 현재 요소의 떠나는(outgoing) 스트림과;
- 보조 데이터의 미리 정해진 송신 순간 이래로 이러한 버퍼 메모리를 나가는 다수의 현재 요소와;
- 상기 측정 중 적어도 2개의 임의의 조합을
제공하는 측정 중에서 선택되도록 이루어지는 것이 바람직하다.
그러한 통고 모듈의 제 1 유리한 형태에서, 통고 모듈은, 발송되는 비디오 데이터 스트림에 걸친 버퍼 레벨의 지수(quotient)로서, 비디오 버퍼에 존재하는 바이트의 수(B), 및 버퍼의 출력에서의 비디오 비트율(D)을 측정하도록 설계된다. 통고 모듈은, 비율(B/D){비디오 판독 조립체에서의 비디오 데이터 수신과 비디오 데이터의 디코딩(디코딩 유닛에 의해 수신된 마지막 데이터 패킷을 배제) 사이의 대략적인 지연}에 의해 주어진, 비디오 오프셋 지연을 이들 값(B 및 D)으로부터 추 론하게 된다. 그 다음에, 아마 다른 파라미터에 의해 보충되는 이러한 비디오 디코딩 지연은 적응 모듈에 의해 이용가능하다.
제 2 유리한 실시예의 형태에서, 통고 모듈은, 비디오 버퍼에 존재하는 바이트의 수(B)를 확립하고, 버퍼를 나가는 떠나는 비디오 스트림(데이터 소비)을 결정하도록 설계된다. 그 다음에, 통고 모듈은, 바이트의 카운트 시작 이래로 비디오 버퍼에서의 B 바이트의 소비가 완료될 때, 버퍼에서 소비된 바이트의 수를 N과 비교할 수 있고, 트리거 신호를 보조 데이터를 전달하기 위한 적응 모듈로 송신할 수 있다. 이 실시예는, 비트율 값이 고려되지 않기 때문에 고속 전진 또는 슬로우 모션 모드에서 처음 것보다 더 정밀한 것을 보장할 수 있게 한다.
제 3 유리한 실시예의 형태에서, 통고 모듈은, 비디오 버퍼에 존재하는 바이트의 수(B) 및 비디오 디코딩 유닛의 디코딩 속도를 측정하고, 이것을 서로 참고하도록 설계된다. 얻어진 지연은 비디오 판독 조립체에서의 비디오 데이터 수신과 완성된 디코딩 사이에 경과된 시간 기간(span)을 대략 나타내는 비디오 오프셋을 제공한다. 따라서, 실제 비트율은 디코딩 속도가 변하자마자 즉시 변경되어, 이를 통해 이러한 비트율 값이 시간이 지나면서 안정화하도록 대기할 필요가 없어진다.
특히 비디오 버퍼의 내용에 적어도 관련되는 통고에 관한 이전 실시예 중 적어도 하나의 더 세련된 실시예(version)에서, 통고 모듈은 비디오 비트율(제 1 실시예) 또는 디코딩 속도(제 3 실시예)의 값과 같이 샘플링에 의해 동적으로 추정된 값에 저역 필터를 적용하도록 설계된다.
제 4 유리한 실시예의 형태에서, 이전 실시예 중 임의의 하나와 유리하게 조 합되면, 여러 부수적인 지연을 병합하는 오프셋의 고정된 값은 버퍼의 내용에 기초하여 지연 추정에 추가된다. 이 값은 특히,
- 한편으로, 긍정적으로, 압축된 비디오 이미지의 복구의 지속기간과, 디스플레이가능한 형태로의 데이터의 디코딩과, 비디오 프레임에서의 데이터의 디스플레잉을 고려하고;
- 다른 한 편으로, 부정적으로, 비디오 이미지와 연관된 서브타이틀과 같은 보조 데이터 세트의 복구의 지속기간과, 디코더의 OSD의 기능에 의해 디스플레이가능한 이들 서브타이틀의 디코딩 및 결합을 고려할 수 있다.
비디오 판독 조립체에 의한 비디오 데이터의 통신 순간에 관해 다른 형태의 통고에서, 통고 모듈은 비디오 데이터의 디코딩 순긴 또는 통신 순간에서 복귀 신호의 트리거링을 야기하도록 설계된다. 그 다음에, 이들 복귀 신호는 보조 데이터의 통신 순간의 일시적인 조장에 대해 직접 사용될 수 있다. 이전 실시예보다 더 정밀할 수 있는 이들 실시예는 그럼에도 불구하고 더 복잡한 메커니즘(신호 발신될 이미지의 인식)을 필요로 한다.
더욱이, 본 발명은 비디오 디코딩 시스템에 관한 것으로, 본 발명의 실시예 중 임의의 하나에 따라 동기화 디바이스를 포함하는 것을 특징으로 한다.
이러한 비디오 디코딩 시스템은 하드 디스크인 것이 바람직한 저장 공간을 유리하게 포함한다.
본 발명의 주제는, 또한 이들 데이터의 동기화된 통신을 예상하여 비디오 데이터 및 이들 비디오 데이터와 연관된 보조 데이터의 판독-동기화를 위한 방법인 데, 이 방법에서, 리코딩된 비디오 데이터 및 보조 데이터는 비디오 데이터를 비디오 판독 조립체로 송신하고 보조 데이터를 보조 판독 조립체로 송신함으로써 디멀티플렉싱되며, 상기 판독 조립체는 이들 데이터를 판독하고 전달하게 된다.
본 발명에 따라, 보조 데이터의 보조 판독 조립체에 의한 통신 순간은 비디오 데이터의 통신 순간에 관해 비디오 판독 조립체로부터 발생되는 얻어진 정보의 함수로서 조정된다.
동기화 방법은 본 발명의 실시예의 임의의 하나에 따라 동기화 디바이스에 의해 구현되는 것이 바람직하다.
본 발명은, 이 프로그램이 컴퓨터 상에서 수행될 때 본 발명에 따른 방법의 단계를 수행하기 위한 프로그램 코드 지령을 포함하는 컴퓨터 프로그램 제품에 또한 적용된다. "컴퓨터 프로그램 제품"이라는 용어는 컴퓨터 프로그램 지원을 의미하는 것으로 이해되며, 상기 컴퓨터 프로그램 지원은 디스크 또는 카세트와 같은 프로그램을 포함하는 저장 공간, 및 전기 또는 광 신호와 같은 신호로 이루어질 수 있다.
본 발명은 첨부 도면을 참조하여 다음과 같은 완전히 한정되지 않은 예시적인 실시예 및 구현에 의해 더 잘 이해되고 예시될 것이다.
도 1에서, 도시된 모듈은 물리적으로 구별가능한 유닛에 대응할 수 있거나 대응하지 않을 수 있는 기능적 유닛이다. 예를 들어, 이들 모듈 또는 몇몇 모듈은 단일 성분으로 함께 그룹화될 수 있거나, 동일한 부분의 소프트웨어의 기능으로 구 성될 수 있다. 불리한 특정 모듈은 아마 별도의 물리적 본체로 구성될 수 있다.
예를 들어 PVR이 설치된 텔레비전 유형의 비디오 디코딩 시스템(10)(도 1)은, 스트림(F)의 형태로 수신된 음성 영상 프로그램을 수신하고, 텔레비전 뷰어에 직접 상기 프로그램을 송신하거나, 프로그램을 나중에 액세스가능하게 하기 위해 저장 공간(15)에 상기 프로그램을 리코딩하도록 설계되며, 이러한 2가지 동작은 아마 동시에 수행될 것이다. 도 1에서, 리코딩에 연결된 기능만이 나타난다.
비디오 디코딩 시스템(10)은 예를 들어 하드 디스크로 구성된 저장 공간(15) 외에도,
- 음성 영상 스트림(F)을 수신하기 위한 모듈(11)과;
- 이들 스트림(F)의 데이터를 상기 하드 디스크(15) 상에 리코딩하기 위한 모듈(12)과;
- 하드 디스크(15) 상에 리코딩된 데이터를 추출하기 위한 모듈(13)과;
- 추출된 데이터를 디멀티플렉싱할 수 있고 데이터의 유형에 따라 적절한 디코더에 분배할 수 있고, 이러한 다양한 유형의 데이터를 텔레비전 뷰어로의 동기화된 통신을 감시할 수 있는, 동기화 디바이스(1)와;
- 비디오 유형의 데이터를 디코딩하도록 설계된, 비디오 판독 조립체(20)와;
- 서브타이틀 및 텔레텍스트 유형의 데이터를 디코딩하도록 설계된, 보조 판독 조립체(30)와;
- 디코딩된 데이터를 텔레비전 뷰어에 전달하도록 의도되는, 디스플레이 모듈(14)을 포함한다.
비디오 판독 조립체(20)는 디코딩 이전에 비디오 데이터를 저장하기 위한 버퍼(21)와, 기본 비디오 디코더(22)와, 디코딩된 데이터를 디스플레이 모듈(14)로 전달하기 위한 유닛(23)을 포함한다. 유사한 방식으로, 보조 판독 조립체(30)는 디코딩 이전에 서브타이틀 및 텔레텍스트 데이터를 저장하기 위한 버퍼(31)와, 기본 보조 디코더(32)와, 디코딩된 데이터를 디스플레이 모듈(14)로 전달하기 위한 유닛(33)을 포함한다.
부분을 위한 동기화 디바이스(1)에는 하드 디스크(15)로부터 추출된 데이터를 입력하기 위한 모듈(2)과, 이들 데이터를 식별하여 판독 조립체(20 및 30)로 분산시키도록 설계된 디멀티플렉서(3)가 설치된다. 상기 디바이스는 또한 비디오 데이터를 텔레비전 뷰어에 디스플레이하는 순간에 관해 비디오 판독 조립체(20)로부터 발생하는 정보를 얻을 수 있는 통고 모듈(4)과, 이러한 정보의 함수로서 서브타이틀 데이터의 디스플레이 순간을 조정하도록 설계된 적응 모듈(5)을 포함한다.
설명된 실시예에서, 이미 디코딩된 서브타이틀링 데이터에 관해 디스플레이의 지연을 도입함으로써, 또한 보조 판독 조립체(30)를 작동시킴으로써(실선), 조정이 이루어진다. 다른 실시예에서, 적응 모듈(5)은, 디멀티플렉싱(점선) 이후에 서브타이틀링 데이터의 보조 판독 조립체(30)로의 송신 지연을 야기함으로써, 디멀티플렉서(3) 상에서 디코딩의 업스트림을 작동하도록 설계된다. 그러한 실시예는 예를 들어 판독 조립체(30)의 업스트림에서 디멀티플렉서(3)와 연관된 기본 버퍼를 사용함으로써 얻어질 수 있다.
이제, 동기화 디바이스(1)의 실시예에 대한 수 개의 구성은 구현된 예를 통 해 도 2 내지 6을 참조하여 설명될 것이다.
이 예에서, 하드 디스크(15) 상에 리코딩된 데이터 스트링(C)(도 2)은 비디오 이미지(V1, V2, ... VN)의 형태인 비디오 데이터와, 서브타이틀(ST1 및 ST2)의 형태인 서브타이틀링 데이터로 구성되며, 이들 비디오 및 서브타이틀링 데이터는 멀티플렉싱된다. 더 구체적으로, 이미지(V1 및 V2) 사이에 삽입된 서브타이틀(ST1)과, 이미지(VN)의 다운스트림에 배치된 서브타이틀(ST2)은 이미지(V1 및 VN)로 각각 송신되기 시작하도록 설계된다. 따라서, N개의 비디오 이미지(V1 내지 VN)는 2개의 서브타이틀(ST1 및 ST2)의 발송 사이에 연속적으로 디스플레이되어야 하여, 이를 통해 디스플레이 사이의 간격의 지속기간을 결정한다.
도면에서의 간략함을 위해, 비디오 이미지 세트(V1 내지 VN)의 크기가 비디오 디코딩 버퍼(21)의 용량에 대응하고, 이들 이미지가 디코딩을 위해 충분한 인트라(intra) 유형의 MPEG 이미지인 것으로 가정된다. 이러한 완전히 예시적인 예는 더 복잡한 경우를 쉽게 이해할 수 있게 한다. 더욱이, 이후에 제 2 서브타이틀(ST2)의 동기화된 디스플레이를 중점적으로 설명하지만, 개시(startup) 이후에 송신된 제 1 서브타이틀인 서브타이틀(ST1)의 동기화된 디스플레이에 또한 적용될 수 있음이 쉽게 증명될 것이다.
하드 디스크(15)(도 3)로부터 판독할 동안, 이미지(V1)는 디멀티플렉서(3)에 의해 버퍼(21)에 제공되고, 디코더(22)에 의해 디코딩된다. 대응하는 서브타이틀(ST1)은 부분으로서 버퍼(31)에 의해 제공되고 서브타이틀 디코더(32)에 의해 디코딩된다.
하드 디스크(15)로부터 발생된 데이터를 디코딩하는 절차가, 비디오 디코딩 버퍼(21)가 최대로 채워져야 하도록 이루어지므로, 데이터는, 디멀티플렉서(3) 및 2개의 디코딩 버퍼(21 및 31)로 송신되도록 하드 디스크(15)로부터 계속해서 추출될 것이다. 하드 디스크(15)로부터 디코딩 비디오 버퍼(21)로의 비디오 데이터의 전송 비트율은 기존의 상황에 따라 비디오 디코딩의 비트율보다 훨씬 더 크다. 일반적으로, 전송 및 비디오 디코딩 비트율은 각각 대략 40M비트/s 및 2M비트/s이다. 그러므로, 가장 실현성 있는 경우에, 버퍼(21)가 최대 비디오 이미지(V(N-1))까지 채워지는 상태인 반면, 디코딩된 이미지는 단지 이미지(V1 또는 V2)인 것으로 고려될 수 있다.
그 다음에, 비디오(VN)가 비디오 디코딩 버퍼(21)(도 4)에 도달할 때, 서브타이틀(ST2)은 서브타이틀 디코딩 버퍼(31)에 도달하고, 즉시 디코딩된다. 그 때, 한가지 경우는, 서브타이틀(ST2)이, 잠재적으로 비디오 디코딩 버퍼(21)의 거의 전체 내용(전술한 에러 내까지)보다 더 앞서 디스플레이될 준비를 한다는 것이다. 일반적으로, 이러한 진행은 약 300k바이트/[2M비트/2](디코딩 속도보다 큰 디코딩될 비디오 양)인데, 즉 1초보다 크다. 게다가, 비디오 비트율이 증가하면 이러한 랙(lag)은 감소하고, 비디오 비트율이 감소하면 증가한다.
서브타이틀에 대한 PTS의 관리를 통해, 이러한 오프셋은 볼 수 없는데, 그 이유는, 서브타이틀 디코더(32)가 서브타이틀(ST2)을 디코딩하고, 실제로 스크린 상에 디스플레이하기 위해 대응하는 시간 라벨에 의해 주어진 표현 순간이 도달하기를 기다리기 때문이다. 그 때, 서브타이틀(ST2)은 계획된 대로 비디오(VN)로 디 스플레이된다.
동기화 디바이스(1)는, 하드 디스크(15)로부터 추출된 데이터에 존재하는 지의 여부에 상관없이 이들 PTS 없이 이루어진다. 이를 행하기 위해, 이후에 설명되는 알고리즘을 적용한다. T1을 디코딩 버퍼(31)에서의 서브타이틀(ST2)의 도달 시간이라 하고, B를 이 순간(T1)에서 비디오 디코딩 버퍼(21)에 존재하는 바이트의 수라 하고, D를, 비디오 버퍼(21)의 레벨 및 이 버퍼(21)로 발송된 데이터의 수를 일정하게 샘플링함으로써 얻어진 실제 비디오 비트율이라 하자. 서브타이틀(ST2)의 디스플레이 순간(T2)은 비디오 디코더(21)에 의해 B 바이트의 소비에 대응하는 비디오 디코딩 순간을 추정함으로써 계산된다:
T2=T1+B/D
이에 따라 계산된 순간(T2)은, 디코딩된 서브타이틀(ST2)이 디스플레이되는 순간을 제공한다. 따라서, 이미 디코딩된 서브타이틀(ST2)은 이미지(V2 내지 VN)가 차례로 디코딩되기를 기다리는 동안 대기 상태(standby)가 되고(도 5), 적절한 순간(T2), 대략 이미지(VN)와 동시에 디스플레이된다(도 6). 이를 행하기 위해, 예를 들어, 통신 유닛(33)은 신호가 적응 모듈(5)에 의해 트리거링될 때까지 서브타이틀(ST2)을 유지하며, 이는 디스플레이 모듈(14)로의 송신을 야기한다.
실시예의 효과적인 구성에서, 비디오 버퍼(21)의 레벨의 샘플링은 비디오 프레임마다, 즉 PAL/SECAM 유형(50Hz, Phase Alternate Line/SEquential Couleur A Memoire)의 표준화된 유럽형 디코딩 시스템에 대해 20ms마다, 및 NTSC 유형(60Hz, National Television System Committee)의 표준화된 시스템에 대해 16.6ms마다 이 루어진다.
이러한 방법은 일정한 속도로, 및 고속 전진 또는 슬로우 모션 모드로 우수한 정밀도로 동작하는데, 그 이유는 비트율(D)이 판독 속도에 적응되기 때문이다.
전술한 바와 같이, 비디오 이미지(V1)로 개시한 후에 제 1 서브타이틀(ST1)의 동기화가 또한 전술한 방법에 의해 보장된다는 것을 증명할 수 있다. 특히, 서브타이틀(ST1)의 도달시 비디오 버퍼(21)의 용량(B)은 이미지(V1)에 대응한다. 따라서, 비율(B/D)에 의해 주어진 서브타이틀(ST1)을 디스플레이할 때의 추정된 랙은 보조 디코딩 버퍼(31)에서의 서브타이틀(ST1)의 수신으로부터의 이미지(V1)를 디스플레이할 때의 랙에 거의 대응한다.
제 1 변형에서, 비디오 디코딩 버퍼(21)에서의 데이터의 소비를 일정하게 샘플링한다. 이러한 방식으로, 순간(T2)은, 순간(T1)으로부터 비디오 버퍼(21)에서 소비된 바이트의 수와, 이 순간(T1)에서 이러한 버퍼(21)에 존재하는 바이트의 수(B)를 비교함으로써 검출된다. 유리한 실시예에서, 이러한 샘플링은 비디오 프레임마다 이루어진다. 제 1 변형은 고속 전진 또는 슬로우 모션 모드로 더 우수한 정밀도를 보장할 수 있게 하는데, 그 이유는 비트율의 값(D)이 더 이상 고려되지 않기 때문이다.
제 2 변형에서, 저역 필터는 추정된 비트율 값에 적용된다.
제 3 변형에서, 비트율 값은 디코딩 속도 정보를 고려함으로써 보정된다. 그러므로, 실제 비트율은 디코딩 속도가 변하자마자 즉시 변경되어, 이를 통해 이러한 비트율 값이 시간에 걸쳐 안정화하기를 기다릴 필요가 없어진다.
제 4 변형에서, 디스플레이 순간(T2)에 관해 고정된 오프셋 값은, 이 순간(T2)에 관해 초기 근사치에 의해 고려되지 않은 시간 에러의 추정치를 병합하는 방식으로 적용된다.
다른 예시적인 구현에 따라, 서브타이틀(ST2)의 처리에서의 랙은,
- 디멀티플렉싱 이후, 서브타이틀 버퍼(31)로의 송신 이전,
- 버퍼(31)에서의 배치 이후, 디코더(32)에 의한 디코딩 이전,
- 또는 디스플레이 모듈(14)에서, 적응 모듈(5)로부터 발생된 디스플레이 트리거 신호의 수신 이전에 야기된다.
상술한 바와 같이, 본 발명은 비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스 및 방법 및 이와 연관된 제품에 관한 것으로, 이들 데이터는 멀티플렉싱된 시간순의 형태로 저장 공간에 리코팅되며, 본 발명은 특히 리코드 판독 제어 모드("재생")로 텔레텍스트 서브타이틀의 동기화 관리 등에 이용된다.
Claims (11)
- 비디오 데이터(V1 내지 VN) 및 상기 비디오 데이터(V1 내지 VN)와 연관된 보조 데이터(ST1, ST2)의 판독-동기화를 위한 디바이스(1)로서, 상기 데이터의 동기화된 통신을 예상하여 상기 비디오 및 보조 데이터는 멀티플렉싱된 시간순의(chronological) 형태로 저장 공간(15)에 리코딩되고, 상기 동기화 디바이스(1)는,- 상기 저장 공간(15)에 리코딩된 상기 데이터(V1 내지 VN, ST1, ST2)를 입력하기 위한 모듈(2)과;- 상기 비디오 데이터(V1 내지 VN) 및 보조 데이터(ST1, ST2)를 디멀티플렉싱하기 위한 모듈(3)로서, 상기 비디오 데이터를 비디오 판독 조립체(20)로 송신하고 상기 보조 데이터를 보조 판독 조립체(30)로 송신하도록 설계되어, 상기 판독 조립체는 상기 데이터를 판독하고 통신하도록 의도되는, 모듈(3)을포함하는, 동기화 디바이스로서,- 상기 비디오 데이터(V1 내지 VN)의 통신 순간에 관해 통고(apprising)하는 모듈(4)로서, 상기 통신 순간에 관해 비디오 판독 조립체(20)로부터 발생된 정보를 얻을 수 있는, 모듈(4)과;- 상기 보조 데이터(ST1, ST2)의 통신을 적응시키는 모듈(5)로서, 상기 통고 모듈(4)에 의해 얻어진 정보의 함수로서, 상기 보조 데이터의 보조 판독 조립체(30)에 의해 통신 순간을 조정하도록 설계되는, 모듈(5)을또한 포함하는 것을 특징으로 하는, 동기화 디바이스.
- 제 1항에 있어서, 상기 통고 모듈(4)은, 상기 적응 모듈(5)이 상기 비디오 데이터(V1 내지 VN)의 판독의 가속 및 감속을 고려할 수 있는 방식으로 동적으로 상기 정보를 얻을 수 있는 것을 특징으로 하는, 동기화 디바이스.
- 제 1항 또는 제 2항에 있어서, 상기 보조 데이터는 적어도 하나의 서브타이틀을 포함하는 것을 특징으로 하는, 동기화 디바이스.
- 제 1항 또는 제 2항에 있어서, 상기 모듈(2 내지 5)은, 상기 보조 데이터가 적어도 하나의 대화형 프로그램에 관련된 데이터를 포함하도록 설계되는 것을 특징으로 하는, 동기화 디바이스.
- 제 1항 또는 제 2항에 있어서, 상기 모듈(2 내지 5)은, 상기 데이터가 디지털 형태로 리코딩되도록 설계되는 것을 특징으로 하는, 동기화 디바이스.
- 제 1항 또는 제 2항에 있어서, 상기 비디오 판독 조립체(20)는, 상기 비디오 데이터(V1 내지 VN)의 현재 요소(current elements)를 일시적으로 포함하도록 의도되는 적어도 하나의 버퍼 메모리(21)와, 상기 버퍼 메모리(21)로부터 출력 상에서 상기 현재 요소를 연속적으로 디코딩하도록 의도되는 비디오 디코딩 유닛(22)과, 상기 디코딩된 현재 요소와 통신하도록 의도되는 통신 유닛(23)을 포함하며, 상기 통고 모듈(4)은 적어도 상기 버퍼 메모리(21)의 내용에 관련된 정보를 동적으로 얻도록 설계되는 것을 특징으로 하는, 동기화 디바이스.
- 제 6항에 있어서, 상기 통고 모듈(4)은,- 상기 버퍼 메모리(21)에 존재하는 상기 현재 요소의 양(B)과;- 상기 버퍼 메모리(21)에 들어가는 상기 현재 요소의 인입 스트림의 비트율과;- 상기 버퍼 메모리(21)에서 나가는 상기 현재 요소의 떠나는(outgoing) 스트림의 비트율과;- 상기 보조 데이터(ST1)의 미리 정해진 송신 순간 이래로 상기 버퍼 메모리(21)에서 나가는 현재 요소의 수와;- 이들 값 중 적어도 2개의 임의의 조합,중에서 상기 정보가 선택되도록, 이루어지는 것을 특징으로 하는, 동기화 디바이스.
- 비디오 디코딩 시스템(10)으로서,제 1항 또는 제 2항에 기재된 동기화 디바이스(1)를 포함하는 것을 특징으로 하는, 비디오 디코딩 시스템.
- 제 8항에 있어서, 하드 디스크로 이루어진 저장 공간(15)을 포함하는 것을 특징으로 하는, 비디오 디코딩 시스템.
- 비디오 데이터(V1 내지 VN) 및 상기 비디오 데이터(V1 내지 VN)와 연관된 보조 데이터(ST1, ST2)의 판독-동기화를 위한 방법으로서, 데이터의 동기화된 통신을 예상하여, 상기 비디오 및 보조 데이터는 멀티플렉싱된 시간순의 형태로 저장 공간(15)에 리코딩되며, 여기서 상기 리코딩된 비디오 데이터(V1 내지 VN) 및 보조 데이터(ST1, ST2)는 상기 비디오 데이터를 비디오 판독 조립체(20)로 송신하고 상기 보조 데이터를 보조 판독 조립체(30)로 송신함으로써 디멀티플렉싱되며, 상기 판독 조립체는 상기 데이터를 판독하고 전달하도록 의도되는, 판독-동기화 방법으로서,상기 보조 데이터(ST1, ST2)의 상기 보조 판독 조립체(30)에 의한 통신 순간은 상기 비디오 데이터(V1 내지 VN)의 통신 순간에 관해 상기 비디오 판독 조립체(20)로부터 발생되어 얻어진 정보의 함수로서 조정되며,상기 동기화 방법은 제 1항 또는 제 2항에 기재된 동기화 디바이스(1)에 의해 구현되도록 의도되는 것을 특징으로 하는, 판독-동기화 방법.
- 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 기록 매체로서,상기 컴퓨터 프로그램은, 상기 컴퓨터 프로그램이 컴퓨터 상에서 수행될 때, 제 10항에 기재된 방법의 단계를 수행하기 위한 프로그램 코드 지령을 포함하는, 컴퓨터 판독 가능한 기록 매체.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0301282A FR2850820B1 (fr) | 2003-01-31 | 2003-01-31 | Dispositif et procede de synchronisation en lecture de donnees video et de donnees annexes et produits associes |
| FR0301282 | 2003-01-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040070044A KR20040070044A (ko) | 2004-08-06 |
| KR100981378B1 true KR100981378B1 (ko) | 2010-09-10 |
Family
ID=32605999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040005623A KR100981378B1 (ko) | 2003-01-31 | 2004-01-29 | 비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스 및 방법, 및 이와 연관된 제품 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20040184785A1 (ko) |
| EP (1) | EP1443773B1 (ko) |
| JP (1) | JP4468001B2 (ko) |
| KR (1) | KR100981378B1 (ko) |
| CN (1) | CN100589543C (ko) |
| DE (1) | DE602004027181D1 (ko) |
| FR (1) | FR2850820B1 (ko) |
| MX (1) | MXPA04000871A (ko) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2850820B1 (fr) | 2003-01-31 | 2005-06-03 | Thomson Licensing Sa | Dispositif et procede de synchronisation en lecture de donnees video et de donnees annexes et produits associes |
| JP2007518205A (ja) * | 2004-01-06 | 2007-07-05 | エルジー エレクトロニクス インコーポレーテッド | テキスト・サブタイトル・ストリームの再生・記録のための記録媒体、方法及び装置 |
| KR20050072255A (ko) * | 2004-01-06 | 2005-07-11 | 엘지전자 주식회사 | 고밀도 광디스크의 서브타이틀 구성방법 및 재생방법과기록재생장치 |
| US7587405B2 (en) * | 2004-02-10 | 2009-09-08 | Lg Electronics Inc. | Recording medium and method and apparatus for decoding text subtitle streams |
| EP1716566A1 (en) * | 2004-02-10 | 2006-11-02 | LG Electronic Inc. | Recording medium having a data structure for managing font information for text subtitles and recording and reproducing methods and apparatuses |
| KR20070028325A (ko) * | 2004-02-10 | 2007-03-12 | 엘지전자 주식회사 | 텍스트 서브타이틀 디코더 및 텍스트 서브타이틀 스트림디코딩 방법 |
| KR20070007307A (ko) * | 2004-02-10 | 2007-01-15 | 엘지전자 주식회사 | 다양한 데이터를 관리하기 위한 데이터 구조를 갖는 기록매체, 기록 재생 방법 및 그 장치 |
| RU2377669C2 (ru) * | 2004-02-10 | 2009-12-27 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Носитель записи, имеющий структуру данных для управления различными данными, и способ и устройство записи и воспроизведения |
| US20050196146A1 (en) * | 2004-02-10 | 2005-09-08 | Yoo Jea Y. | Method for reproducing text subtitle and text subtitle decoding system |
| WO2005076278A1 (en) * | 2004-02-10 | 2005-08-18 | Lg Electronic Inc. | Recording medium having a data structure for managing data streams associated with different languages and recording and reproducing methods and apparatuses |
| WO2005081643A2 (en) * | 2004-02-26 | 2005-09-09 | Lg Electronics Inc. | Recording medium and method and apparatus for reproducing and recording text subtitle streams |
| EP1657929A1 (fr) | 2004-11-16 | 2006-05-17 | Thomson Licensing | Dispositif et méthode de synchronisation de différentes parties d'un service numérique |
| JP2007036945A (ja) * | 2005-07-29 | 2007-02-08 | Toshiba Corp | 情報再生装置、情報記録媒体、及び情報再生プログラム |
| US20070094612A1 (en) * | 2005-10-24 | 2007-04-26 | Nokia Corporation | Method, a device and a computer program product for dynamically positioning of a pop-up window |
| TWI312992B (en) * | 2005-12-15 | 2009-08-01 | Ind Tech Res Inst | Video disc containing description data structure for displaying a menu and method for selecting an option of the menu from the video disc |
| US8761568B2 (en) | 2005-12-20 | 2014-06-24 | Vestel Elektronik Sanayi Ve Ticaret A.S. | Method and apparatus for synchronizing subtitles with a video |
| FR2926694B1 (fr) | 2008-01-18 | 2010-04-16 | Sagem Comm | Decodeur de donnees video et procede de decodage de donnees video |
| FR2928065A1 (fr) * | 2008-02-27 | 2009-08-28 | France Telecom | Reception de metadonnees sur un terminal. |
| FR2930098A1 (fr) * | 2008-04-10 | 2009-10-16 | Thomson Licensing Sas | Procede de transmission simplifie d'un flux de signaux entre un emetteur et un appareil electronique |
| US20200118593A1 (en) * | 2018-10-16 | 2020-04-16 | Vudu Inc. | Systems and methods for identifying scene changes in video files |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990077749A (ko) * | 1998-03-11 | 1999-10-25 | 이데이 노부유끼 | 정보처리장치, 방법 및 컴퓨터 판독가능 매체 |
| EP1443773A1 (en) | 2003-01-31 | 2004-08-04 | Thomson Licensing S.A. | Device and process for the read-synchronization of video and ancillary data |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3528989B2 (ja) * | 1995-01-20 | 2004-05-24 | ソニー株式会社 | データ多重化装置、データ多重化方法、多重化データ処理装置および多重化データ処理方法 |
| JP3816571B2 (ja) * | 1996-03-15 | 2006-08-30 | パイオニア株式会社 | 情報記録装置及び情報記録方法並びに情報再生装置及び情報再生方法 |
| US6587635B1 (en) * | 1999-03-29 | 2003-07-01 | Sony Corporation | Subpicture master control |
| US6701065B1 (en) * | 2000-01-05 | 2004-03-02 | Genesis Microchip, Inc. | Methods and apparatus for buffering information prior to decoding |
| US7647619B2 (en) * | 2000-04-26 | 2010-01-12 | Sony Corporation | Scalable filtering table |
| JP2002091409A (ja) * | 2000-09-19 | 2002-03-27 | Toshiba Corp | 副映像処理機能付き再生装置 |
| US7054804B2 (en) * | 2002-05-20 | 2006-05-30 | International Buisness Machines Corporation | Method and apparatus for performing real-time subtitles translation |
| US7197234B1 (en) * | 2002-05-24 | 2007-03-27 | Digeo, Inc. | System and method for processing subpicture data |
-
2003
- 2003-01-31 FR FR0301282A patent/FR2850820B1/fr not_active Expired - Fee Related
-
2004
- 2004-01-28 MX MXPA04000871A patent/MXPA04000871A/es active IP Right Grant
- 2004-01-29 EP EP04100312A patent/EP1443773B1/en not_active Expired - Fee Related
- 2004-01-29 DE DE602004027181T patent/DE602004027181D1/de not_active Expired - Lifetime
- 2004-01-29 KR KR1020040005623A patent/KR100981378B1/ko not_active IP Right Cessation
- 2004-01-29 US US10/767,885 patent/US20040184785A1/en not_active Abandoned
- 2004-01-30 JP JP2004023772A patent/JP4468001B2/ja not_active Expired - Fee Related
- 2004-02-02 CN CN200410003229A patent/CN100589543C/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990077749A (ko) * | 1998-03-11 | 1999-10-25 | 이데이 노부유끼 | 정보처리장치, 방법 및 컴퓨터 판독가능 매체 |
| EP1443773A1 (en) | 2003-01-31 | 2004-08-04 | Thomson Licensing S.A. | Device and process for the read-synchronization of video and ancillary data |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1443773A1 (en) | 2004-08-04 |
| DE602004027181D1 (de) | 2010-07-01 |
| MXPA04000871A (es) | 2005-06-17 |
| CN100589543C (zh) | 2010-02-10 |
| JP4468001B2 (ja) | 2010-05-26 |
| EP1443773B1 (en) | 2010-05-19 |
| KR20040070044A (ko) | 2004-08-06 |
| FR2850820A1 (fr) | 2004-08-06 |
| US20040184785A1 (en) | 2004-09-23 |
| FR2850820B1 (fr) | 2005-06-03 |
| CN1520181A (zh) | 2004-08-11 |
| JP2004236338A (ja) | 2004-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100981378B1 (ko) | 비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스 및 방법, 및 이와 연관된 제품 | |
| KR100733856B1 (ko) | 데이터 스트림을 변환하는 방법 및 장치 | |
| KR100226528B1 (ko) | 다중화 압축화상/음성데이타의 복호장치 | |
| US6901078B2 (en) | Method and apparatus for converting data streams | |
| US6101195A (en) | Timing correction method and apparatus | |
| US8620134B2 (en) | Video and audio reproducing apparatus and video and audio reproducing method for reproducing video images and sound based on video and audio streams | |
| JP4778608B2 (ja) | Ｍｐｅｇ復号器の同期方法及び同期装置 | |
| US8750389B2 (en) | Video data decoder and method for decoding video data | |
| KR101014664B1 (ko) | 복수의 데이터 스트림 간의 연속 재생을 보장하는 재생방법 및 그 재생 장치 | |
| US20090046994A1 (en) | Digital television broadcast recording and reproduction apparatus and reproduction method thereof | |
| US20040233996A1 (en) | Reproducing apparatus and method, and recording medium | |
| KR100619041B1 (ko) | 비디오 동기화 장치 및 비디오 동기화 방법 | |
| US8254764B2 (en) | Recording apparatus, image reproducing apparatus, and special reproduction method therefor | |
| WO2004086396A1 (en) | Reproducing apparatus and method, and recording medium | |
| KR100539731B1 (ko) | 전송스트림저장장치및방법 | |
| JP4967402B2 (ja) | 多重化ストリーム変換装置および方法 | |
| US7206502B2 (en) | Apparatus and method for recording and reproducing digital data | |
| JP2002344890A (ja) | データ記録再生装置 | |
| JP2002269897A (ja) | 記録再生装置及び記録再生方法 | |
| JP2009100114A (ja) | データ記録再生方法 | |
| JP2003284069A (ja) | 多重データ復号方法及び多重データ復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130820 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20140826 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20150819 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |