JP4147592B2 - パケット処理方法、記録方法、記録システム - Google Patents

パケット処理方法、記録方法、記録システム Download PDF

Info

Publication number
JP4147592B2
JP4147592B2 JP22308696A JP22308696A JP4147592B2 JP 4147592 B2 JP4147592 B2 JP 4147592B2 JP 22308696 A JP22308696 A JP 22308696A JP 22308696 A JP22308696 A JP 22308696A JP 4147592 B2 JP4147592 B2 JP 4147592B2
Authority
JP
Japan
Prior art keywords
transport stream
recording
packet
additional information
programs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22308696A
Other languages
English (en)
Other versions
JPH1051737A (ja
Inventor
尚史 柳原
雄彦 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP22308696A priority Critical patent/JP4147592B2/ja
Priority to US08/901,289 priority patent/US6697432B2/en
Priority to CA002212333A priority patent/CA2212333C/en
Publication of JPH1051737A publication Critical patent/JPH1051737A/ja
Application granted granted Critical
Publication of JP4147592B2 publication Critical patent/JP4147592B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4135Peripherals receiving signals from specially adapted client devices external recorder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91328Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a copy management signal, e.g. a copy generation management signal [CGMS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、複数のプログラムが多重されているMPEGトランスポートストリームの中から1つ以上のプログラムを選択して記録・再生する方法に関し、詳細には、記録再生装置がトランスポートストリームの内容を知らなくても記録・再生を可能にし、且つ記録・再生したトランスポートストリームを正確にデコードする技術に関する。
【0002】
【従来の技術】
近年、米国や欧州諸国において、MPEG(Moving PictureExperts Group)等の高能率符号化技術を応用して、ビデオ信号及びオーディオ信号を符号化し、通信衛星等を介して伝送し、受信側においてこれを復調するようにしたシステムが普及しつつある。
【0003】
これらのシステムの受信機は一般にセットトップボックスと呼ばれている。セットトップボックスは、まずアンテナで受信され、コンバータで周波数変換された複数チャンネルのトランスポートストリームの中から所望の1つのトランスポンダに対応する1つのチャンネルのトランスポートストリームを選択する。次に、所望のチャンネルのトランスポートストリームの中から所望のプログラムのビデオデータとオーディオデータを分離してデコードする。デコードしたビデオデータとオーディオデータを通常のモニターやアナログビデオテープレコーダに送ることにより、所望のプログラムの鑑賞や記録ができる。
【0004】
【発明が解決しようとする課題】
ビットストリームデータをそのまま記録・再生する機能を有するデジタル記録再生装置が知られている。このようなデジタル記録再生装置に前述したデジタル放送のトランスポートストリームをデコードせずにそのまま記録・再生することができれば、記録・再生過程における信号の劣化がなくなるので、放送を受信してデコードした時と同じ品質の再生画像を鑑賞することができる。
【0005】
ところが、例えば米国において実用化されているディレクTV(DirecTV)のように、そのトランスポートストリームについては、長さが130バイトであることを除けばその詳細が公開されていない信号の場合、トランスポートストリームをそのまま記録・再生し、デコーダに供給してデコードしようとしても、記録したプログラムの番号等の情報がわからないため、正しくデコードすることができない。
【0006】
本発明はこのような問題点に鑑みてなされたものであって、複数のプログラムが多重されているMPEGトランスポートストリームの中から1つ以上のプログラムを選択して記録・再生する際に、記録再生装置がトランスポートストリームの内容を知らなくても記録・再生を可能とし、且つ記録・再生したトランスポートストリームを正確にデコードすることを可能することを目的とする。
【0007】
【課題を解決するための手段】
前記課題を解決するために、本発明に係るパケット処理方法は、複数のプログラムが多重されているMPEGトランスポートストリームから1つ以上のプログラムのトランスポートストリームを選択して、記録装置に出力する際に、少なくとも前記選択したプログラムのトランスポートストリームのパケット毎のエラーの有無を示すエラー情報を含む付加情報を生成し、前記付加情報を前記選択したトランスポートストリームのパケット毎に付加し、前記付加情報が付加されたトランスポートストリームを前記記録装置に出力する。
また、本発明に係る記録方法は、MPEGトランスポートストリーム受信装置によって複数のプログラムが多重されているMPEGトランスポートストリームが受信され1つ以上のプログラムのトランスポートストリームが選択され前記選択されたトランスポートストリームのパケット毎のエラーの有無を示すエラー情報を少なくとも含む付加情報が付加されて出力される、トランスポートストリームを受信し、該受信された前記付加情報が付加されたトランスポートストリームを記録装置によって記録媒体に記録する。
また、本発明に係る記録システムは、複数のプログラムが多重されているMPEGトランスポートストリームを受信し、1つ以上のプログラムのトランスポートストリームを選択し、前記選択したプログラムのトランスポートストリームのパケット毎のエラーの有無を示すエラー情報を少なくとも含む付加情報を生成し、前記選択したトランスポートストリームのパケット毎に前記付加情報を付加して出力するMPEGトランスポートストリーム受信装置と、前記MPEGトランスポートストリーム受信装置によって出力された前記付加情報が付加されたトランスポートストリームを記録媒体に記録する記録装置とを備える。
【0008】
本発明によれば、複数のプログラムが多重されているMPEGトランスポートストリームの中から1つ以上のプログラムのトランスポートストリームを選択して記録する際に、選択したトランスポートストリームのパケット毎に、そのパケットのエラーの有無を示す情報、選択したプログラムの数を示す情報、トランスポートストリームの不連続を示す情報等の所定の情報を記録するので、記録再生装置がトランスポートストリームの内容を知らなくても記録・再生することができ、且つ記録・再生したトランスポートストリームを正確にデコードすることができる。
【0009】
【発明の実施の形態】
以下本発明の実施の形態について図面を参照しながら詳細に説明する。ここでは、北米で行われているディレクTVのセットトップボックスとデジタル記録再生装置をIEEE−1394インターフェースで接続し、トランスポートストリームの記録・再生を行うケースを例に説明する。
【0010】
図1は本発明を適用するデジタル放送受信・記録システムの構成を示すブロック図である。このシステムはパラボラアンテナ1と、パラボラアンテナ1に固定されたコンバータ2と、コンバータ2に接続されたセットトップボックス3と、ビットストリームデータをそのまま記録・再生する機能を有するデジタル記録再生装置4と、モニターテレビ5とから構成されている。そして、セットトップボックス3とデジタル記録再生装置4との間は、IEEE−1394シリアルバスケーブル6で接続されており、セットトップボックス3とモニターテレビ5との間は、AVケーブル7で接続されている。
【0011】
コンバータ2はパラボラアンテナ1で受信したデジタル放送の信号を第1中間周波数のRF信号に変換し、セットトップボックス3に送る。セットトップボックス3はコンバータ2から送られてくる第1中間周波数のRF信号を入力し、所望の1つのトランスポンダに対応する複数プログラムのトランスポートストリームを含む第2中間周波数信号に変換した後、所望の1つ以上のプログラムのトランスポートストリームを分離・復調する。
【0012】
分離・復調されたトランスポートストリームをIEEE−1394シリアルバスケーブル6を介してデジタル記録再生装置4に送り、ここで記録・再生することができる。また、分離・復調されたトランスポートストリームをセットトップボックス3内でデコードしてアナログビデオ信号及びアナログオーディオ信号とし、AVケーブル7を介してモニターテレビ5に送り、ここで映像と音声を再生することができる。さらに、デジタル記録再生装置4で記録・再生したトランスポートストリームをIEEE−1394シリアルバスケーブル6を介してセットトップボックス3に送り、ここでデコードした後、AVケーブル7を介してモニターテレビ5に送り、映像と音声を再生することができる。
【0013】
図2はセットトップボックス3とデジタル記録再生装置4との間で伝送されるパケットのフォーマットを示す図である。ディレクTVの場合、トランスポートストリームのパケットは130バイトである。この130バイトに10バイトの付加情報を加え、さらに4バイトのソースパケットヘッダーと、4バイトのデータCRCと、各4バイトのCIPヘッダー1,2と、4バイトの1394ヘッダーと、4バイトのヘッダーCRCを付加して、アイソクロナス・データブロック・パケットとし、これを伝送する。
【0014】
図3は図2における付加情報の詳細を示す。付加情報は以下の[1]〜[10]のとおりである。
【0015】
[1]TIF(Time Stamp Invalid Flag:タイムスタンプ無効フラグ)
【0016】
後述の27MHzのタイムスタンプフィールドに格納されている値の有効/無効を示す。1ビットの情報で、1=無効、0=有効とする。
【0017】
[2]27MHzタイムスタンプ
ディレクTVのように、パケットの内容を非公開としているトランスポートストリームを記録するために、送信側の機器(セットトップボックス)のMPEG基本クロック(27MHz)情報を受信側の機器(デジタルVTR)に知らせるためのもの。送信側の機器では MPEGの27MHzクロックで12ビットのカウンタを回し、例えばトランスポートストリームパケットの先頭のタイミングにおける値をここに格納する。
【0018】
[3]EF(Error Flag:エラーフラグ)
パケットがエラーかどうかを表す。1ビットの情報で、1=エラー、0=エラーなし、とする。
【0019】
[4]TF(Transition Flag:不連続フラグ)
記録のつなぎ目など、トランスポートストリームが不連続になる部分を示す。デジタル記録再生装置は、不連続部分の周辺でこのビットを適当な期間1にする(通常は0)。セットトップボックスはこのビットが1であることを検出したら、PAT(Program Associayion Table)、PMT(Program Map Table)、SIT(Service Information Table)などのテーブルを更新する。
【0020】
[5]UF(VBV Underflow Flag:VBVアンダーフローフラグ)
【0021】
デジタル記録再生装置が再生時にトリックプレーなどを行う時に1にする(通常再生時は0)。セットトップボックス内のMPEGデコーダーはこれが1の時は、VBVバッファがアンダーフローしてもそれでシステムリセットを行わず、I(イントラ)フレームだけのデコードを行う。
【0022】
[6]CR(Copyright:著作権)
著作権情報を入れるための5ビットのフィールド。
【0023】
[7]MS(Multi/Single:マルチ/シングル)
記録・再生するトランスポートストリームが含むプログラムが1つなのか複数なのかを示す。2ビットの情報で、次のような使い分けをする。
【0024】
00:1つのプログラムだけを含む。
01:未定
10:元のトランスポートストリーム全体を含む。
11:情報なし…後述のチャンネル情報フィールドには情報を持たない。なおトランスポートストリームが含むプログラムについてはMPGの修正などで対応する。MPGとはディレクTVのトランスポートストリームにおいて、プログラム情報を持つパケットのことである。
【0025】
[8]Reserved:予約済(ビットレート用)
現状は未使用フィールド。トランスポートストリームに伝送レートの情報が含まれるようになった時に、それをデジタル記録再生装置に伝えて記録レートを最適化できるようにする(14ビット)。
【0026】
[9]Channel Information:チャンネル情報
前述のMSの値によって意味が変わる。MS=00の場合は記録プログラムの番号を示す(16ビット)。MS=10の場合はトランスポンダの(チャンネル)番号を示す。なお、トランスポンダの番号は8ビットで十分だが、MS=00の場合に合わせて、下位8ビットに予約済を付加して16ビット長にする。
【0027】
[10]スタッフィング
IEEE−1394でのパケット伝送を考えると、パケットのサイズは4の整数倍バイトであることが望ましい。そこでディレクTVのパケット長130バイトに前述のフィールドを付加し、さらにに全長が4の倍数になるよう、3バイトのスタッフィングを行う。
【0028】
次に、以上の付加情報がどのように生成あるいは使用されるかを説明する。図4はセットトップボックスで受信したデジタル放送のトランスポートストリームをIEEE−1394インターフェイスを用いてデジタル記録再生装置(ここではD−VHSデッキ)に伝送し、記録する際のシステムのブロック図である。ここで、図1と同一の部分には図1と同一の番号が付してある。
【0029】
図4に示すように、セットトップボックス3は、このセットトップボックス全体の制御等を行うCPU31と、コンバータ2からの第1中間周波数のRF信号を入力し、所望の1つのトランスポンダに対応する複数プログラムのビットストリームを含む第2中間周波数信号を選択するチューナー32と、チューナー32の出力から所望の1つ以上のプログラムのビットストリームの分離・復調やデスクランブル等を行うトランスポートコントロールブロック33と、トランスポートコントロールブロック33の出力をデコードしてアナログビデオ信号とアナログオーディオ信号に変換するデコーダ34とを備えている。デコーダ34内には、トランスポートストリームデータをデコードする際に一時的に蓄積するためのVBVバッファ341が設けられている。
【0030】
さらに、セットトップボックス3はIEEE−1394インターフェースのリンク層コントロールブロック35と、物理層コントロールブロック36とを備えている。そして、リンク層コントロールブロック35内には、コンフィギュレーションレジスタ等のレジスタ351と、27MHzの基本クロックをカウントする12ビットのカウンタ352と、送信部353とを有する。
【0031】
このセットトップボックス3とIEEE−1394シリアルバスケーブル6により接続されたデジタル記録再生装置4は、このデジタル記録再生装置全体の制御等を行うCPU41と、ビットストリームデータの記録・再生を行うデッキ部42と、ビットストリームデータの記録・再生時に後述する各種処理を行うフィルターブロック43と、IEEE−1394インターフェースのリンク層コントロールブロック44と、物理層コントロールブロック45とを備えている。
【0032】
次に、図4に示したシステムの動作を説明する。コンバータ2から入力された第1中間周波数のRF信号はセットトップボックス3内のチューナー32に入力され、ここで所望の1つのトランスポンダに対応する第2中間周波信号が取り出される。この第2中間周波信号は複数のプログラムを含んでおり、トランスポートコントロールブロック33に入力され、ここでデータのQPSK復調、エラー訂正、デスクランブル等を施され、1つ以上のプログラムのトランスポートストリームが取り出される。このトランスポートストリームはデコーダ34に入力され、アナログビデオ信号とアナログオーディオ信号にデコードされて外部のモニター5へ出力される。
【0033】
また、トランスポートコントロールブロック33は、取り出した1つ以上のプログラムのトランスポートストリーム(TS)、及びトランスポートストリームパケットにエラーが含まれているかどうかを示すエラー情報(Er)を、リンク層コントロールブロック35に出力する。さらに、デコーダ34はMPEGデータの基本クロック(27MHz)をリンク層コントロールブロック35に出力する。また、CPU31は前述した「TIF」、「CR」、「予約済(ビットレート)」、「MS」、「チャンネル情報」の値をリンク層コントロールブロック35内のレジスタ351に設定する。
【0034】
リンク層コントロールブロック35は、トランスポートコントロールブロック33から受け取った27MHzの基本クロックにより12ビットのカウンタ352を作動させ、そのカウント値を送信部353へ与える。送信部353はトランスポートコントロールブロック33から受け取ったトランスポートストリームに対して前述した各種情報を付加する。すなわち、トランスポートコントロールブロック33からトランスポートストリームのパケットを受け取るたびにその先頭のタイミングでカウンタ352の値を得て、「27MHzタイムスタンプ」の値とする。また、そのパケットのエラー情報をEF(エラーフラグ)に反映させる。そして、レジスタ351に設定された「TIF」、「CR」、「予約済(ビットレート)」、「MS」、及び「チャンネル情報」をトランスポートストリームのパケットに付加する。
【0035】
このようにして図3のフォーマットに構成されたパケットは、さらに図2に示したアイソクロナス・データブロック・パケットとされ、物理層コントロールブロック36からIEEE−1394シリアルバスケーブル6へ送出される。
【0036】
IEEE−1394シリアルバスケーブル6へ送出されたアイソクロナス・データブロック・パケットは、デジタル記録再生装置4内の物理層コントロールブロック45と、リンク層コントロールブロック44内の受信部441を経て図3のフォーマットとされ、リンク層コントロールブロック44からフィルターブロック43へ入力される。ここで、IEEE−1394シリアルバスにおける通信でパケットがエラーとなった場合、リンク層コントロールブロック44が「EF」を1にする。また、エラーが27MHzタイムタンプに及ぶ場合は「TIF」も1にする。
【0037】
フィルターブロック43は、記録/再生切換スイッチSW1を通してパケットを受けとり、このパケットにおける「27MHzタイムタンプ」、「TIF」、「予約済(ビットレート)」、「CR」、「TF」のフィールドを参照ないし変更する。
【0038】
まずPLL431において「TIF」を参照し、この値が0でなければ「27MHzタイムタンプ」データを取り出し、この値の変化量をもとにセットトップボックスの27MHzクロックと同期したクロックを生成し、これを使用してトランスポートストリームの記録処理を行うよう、デッキブロック42に供給する。
【0039】
次に「予約済」フィールドにビットレート情報が入っている場合は、ビットレート処理ブロック432でその内容を取り込み、CPU41が参照できるようにする。デッキブロック42がいくつかの記録レートを選択できる場合、CPU41がトランスポートストリームのビットレートに応じて記録レートを切り替えることで記録媒体を有効に使うことができる。
【0040】
次いで著作権情報処理ブロック433で「CR」フィールドを取り込み、CPU41が参照できるようにする。ここの内容によっては、CPU41は記録を中止したり、記録すると共にその履歴を残すためにCRフィールドの内容を更新したりする。
【0041】
次に記録の開始時点から適当な期間、TFフィールドを1にしてデッキブロック42に送る。これは、再生時にトランスポートストリームの不連続点をデコーダー34に検知させるためのものである。このフィールドについては後でも触れる。なお、VBVバッファUF処理ブロック435とエラー処理ブロック436については後述する。
【0042】
以上の処理を経た図3のパケット構造を持つストリームがデッキブロック42に送られ、記録される。
【0043】
図5はデジタル記録再生装置4で再生したトランスポートストリームパケットをIEEE−1394インターフェイスを用いてセットトップボックス3に伝送する際のシステムのブロック図である。ここで、図4と同一の部分には図4と同一の番号が付してある。
【0044】
デッキブロック42は記録されているトランスポートストリームを再現してフィルターブロック43に送る。フィルターブロック43では、まずエラー処理ブロック436において、記録/再生でエラーが生じた場合の対応として「EF」を1にする。次にデッキブロック42がトリックプレーを実行している最中は、VBVバッファUF処理ブロック435において「UF」を1にする。以上の処理を受けたトランスポートストリームは、記録/再生切換スイッチSW1を通ってリンク層コントロールブロック44に出力される。そして、その送信部442から物理層コントロールブロック45に出力され、さらにIEEE−1394シリアルバスケーブル6へ送出される。
【0045】
IEEE−1394シリアルバスケーブル6へ送出されたアイソクロナス・データブロック・パケットは、セットトップボックス3内の物理層コントロールブロック36を経てリンク層コントロールブロック35に入力される。リンク層コントロールブロック35では、受信部354において「TIF」、「MS」、「チャンネル情報」というフィールドの内容を内部のレジスタ351に取り込み、CPU31が参照できるようにする。
【0046】
CPU31はTFが1になったら、受信部354から受け取ったトランスポートストリームが今までとは別のものに変わったと判断し、トランスポートコントロールブロック33から最新のテーブル(PAT、PMT、SITなど)を取り出す。また、「MS」と「チャンネル情報」からはトランスポートストリーム中に含まれているプログラムの内容を把握し、テーブル情報と組み合わせてビデオデータパケット、オーディオデータパケット、その他のデータのパケットのIDを割り出し、デコーダ34内のビデオ、オーディオの各デコーダーおよびその他のパケットの処理ブロックへ該当するパケットを送り込む制御を行う。
【0047】
また、リンク層コントロールブロック35からトランスポートコントロールブロック33へは、元のトランスポートストリームのパケット毎のエラーの有無を示すエラー情報(Er)を渡す。このエラー情報は「EF」の状態により定める。
【0048】
デコーダー34は「UF」が1の時は VBVバッファ341がアンダーフローしてもシステムリセットをかけず、I(イントラ)フレームだけをデコードして出力し、トリックプレーに対応する。
【0049】
【発明の効果】
以上詳細に説明したように、本発明によれば、記録再生装置がトランスポートストリームの内容を知らなくても記録・再生することができ、且つ記録・再生したトランスポートストリームを正確にデコードすることができる。
【図面の簡単な説明】
【図1】本発明を適用するデジタル放送受信・記録システムの構成を示すブロック図である。
【図2】セットトップボックスとデジタル記録再生装置との間で伝送されるパケットのフォーマットを示す図である。
【図3】図2における付加情報の詳細を示す図である。
【図4】セットトップボックスで受信したデジタル放送のトランスポートストリームをIEEE−1394インターフェイスを用いてデジタル記録再生装置に伝送し、記録するシステムのブロック図である。
【図5】デジタル記録再生装置で再生したトランスポートストリームパケットをIEEE−1394インターフェイスを用いてセットトップボックスに伝送するシステムのブロック図である。
【符号の説明】
3…セットトップボックス、4…デジタル記録再生装置、6…IEEE−1394シリアルバスケーブル

Claims (5)

  1. 複数のプログラムが多重されているMPEGトランスポートストリームから1つ以上のプログラムのトランスポートストリームを選択して、記録装置に出力する際に、少なくとも前記選択したプログラムのトランスポートストリームのパケット毎のエラーの有無を示すエラー情報を含む付加情報を生成し、
    前記付加情報を前記選択したトランスポートストリームのパケット毎に付加し、
    前記付加情報が付加されたトランスポートストリームを前記記録装置に出力するパケット処理方法。
  2. 前記付加情報には、選択したプログラムの数を示す情報が含まれている請求項1に記載のパケット処理方法。
  3. 前記記録装置にIEEE−1394インターフェースを介して前記付加情報が付加されたトランスポートストリームを出力するとともに、前記付加情報を付加したパケットの長さがIEEE−1394の規格に適合した値になるようにした請求項1に記載のパケット処理方法。
  4. MPEGトランスポートストリーム受信装置によって複数のプログラムが多重されているMPEGトランスポートストリームが受信され1つ以上のプログラムのトランスポートストリームが選択され前記選択されたトランスポートストリームのパケット毎のエラーの有無を示すエラー情報を少なくとも含む付加情報が付加されて出力される、トランスポートストリームを受信し、
    該受信された前記付加情報が付加されたトランスポートストリームを記録装置によって記録媒体に記録する記録方法。
  5. 複数のプログラムが多重されているMPEGトランスポートストリームを受信し、1つ以上のプログラムのトランスポートストリームを選択し、前記選択したプログラムのトランスポートストリームのパケット毎のエラーの有無を示すエラー情報を少なくとも含む付加情報を生成し、前記選択したトランスポートストリームのパケット毎に前記付加情報を付加して出力するMPEGトランスポートストリーム受信装置と、
    前記MPEGトランスポートストリーム受信装置によって出力された前記付加情報が付加されたトランスポートストリームを記録媒体に記録する記録装置とを備える記録システム。
JP22308696A 1996-08-06 1996-08-06 パケット処理方法、記録方法、記録システム Expired - Fee Related JP4147592B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP22308696A JP4147592B2 (ja) 1996-08-06 1996-08-06 パケット処理方法、記録方法、記録システム
US08/901,289 US6697432B2 (en) 1996-08-06 1997-07-31 Processing of packets in MPEG encoded transport streams using additional data attached to each packet
CA002212333A CA2212333C (en) 1996-08-06 1997-08-05 Processing of packets in mpeg encoded transport streams using additional data attached to each packet

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22308696A JP4147592B2 (ja) 1996-08-06 1996-08-06 パケット処理方法、記録方法、記録システム

Publications (2)

Publication Number Publication Date
JPH1051737A JPH1051737A (ja) 1998-02-20
JP4147592B2 true JP4147592B2 (ja) 2008-09-10

Family

ID=16792628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22308696A Expired - Fee Related JP4147592B2 (ja) 1996-08-06 1996-08-06 パケット処理方法、記録方法、記録システム

Country Status (3)

Country Link
US (1) US6697432B2 (ja)
JP (1) JP4147592B2 (ja)
CA (1) CA2212333C (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619501A (en) * 1994-04-22 1997-04-08 Thomson Consumer Electronics, Inc. Conditional access filter as for a packet video signal inverse transport system
EP0917355A1 (en) * 1997-11-14 1999-05-19 Sony International (Europe) GmbH Distribution of MPEG-2 transport streams on the IEEE 1394-based home network
US6553086B1 (en) * 1998-10-02 2003-04-22 Lg Electronics, Inc. Method and apparatus for recording time information for digital data streams
US6973258B1 (en) * 1998-10-02 2005-12-06 Lg Electronics Inc. Method and apparatus for recording digital data streams
JP3602728B2 (ja) 1998-10-22 2004-12-15 株式会社東芝 ディジタルビデオディスクプレーヤ及び画像表示装置
US6671290B1 (en) * 1998-11-10 2003-12-30 Sony Corporation Receiving apparatus and recording/reproducing system for digital broadcasts
JP2000173181A (ja) 1998-12-04 2000-06-23 Sony Corp データ記録装置及び出力装置、データ出力システム、データ記録方法及び出力方法、並びにデータ記録及び出力方法
KR100326144B1 (ko) * 1999-02-09 2002-03-13 구자홍 기록 디지털 데이터 스트림의 탐색정보 생성방법 및 이를이용한 탐색방법과, 그 장치
JP4501187B2 (ja) * 1999-10-22 2010-07-14 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
US20020039388A1 (en) * 2000-02-29 2002-04-04 Smart Kevin J. High data-rate powerline network system and method
KR100394974B1 (ko) * 2000-05-23 2003-08-19 엘지전자 주식회사 고밀도 광 기록매체에서의 멀티경로 데이터를 수용하는 방법
JP4491918B2 (ja) * 2000-06-14 2010-06-30 ソニー株式会社 データ配信装置及び方法、データ配信システム
JP2002100113A (ja) * 2000-09-25 2002-04-05 Canon Inc 再生装置、再生方法、伝送装置、伝送方法及び記憶媒体
JP2002100114A (ja) * 2000-09-25 2002-04-05 Canon Inc 再生装置、再生方法、伝送装置、伝送方法及び記憶媒体
JP2002157825A (ja) * 2000-11-21 2002-05-31 Ricoh Co Ltd 情報記録装置
US6980567B1 (en) * 2001-05-10 2005-12-27 Cisco Technology, Inc. Method of encoding a data packet
KR20020097454A (ko) 2001-06-21 2002-12-31 엘지전자 주식회사 멀티채널 스트림 기록장치 및 방법과, 그에 따른 기록매체
KR100598285B1 (ko) * 2001-06-21 2006-07-07 엘지전자 주식회사 멀티채널 스트림 기록장치 및 방법과, 그에 따른 기록매체
KR100752480B1 (ko) 2001-06-21 2007-08-28 엘지전자 주식회사 멀티채널 스트림 기록장치 및 방법과, 그에 따른 기록매체
KR100752482B1 (ko) * 2001-07-07 2007-08-28 엘지전자 주식회사 멀티채널 스트림 기록 재생장치 및 방법
US7643727B2 (en) * 2001-07-24 2010-01-05 Lg Electronics Inc. Method and apparatus of recording a multi-channel stream, and a recording medium containing a multi-channel stream recorded by said method
US7088398B1 (en) 2001-12-24 2006-08-08 Silicon Image, Inc. Method and apparatus for regenerating a clock for auxiliary data transmitted over a serial link with video data
US7006152B2 (en) * 2002-03-01 2006-02-28 Broadcom Corporation System and method for providing picture-in-picture timebase management
US7283566B2 (en) 2002-06-14 2007-10-16 Silicon Image, Inc. Method and circuit for generating time stamp data from an embedded-clock audio data stream and a video clock
WO2004001751A1 (en) * 2002-06-24 2003-12-31 Lg Electronics Inc. Recording medium having data structure including navigation control information for managing reproduction of video data recorded thereon and recording and reproducing methods and apparatuses
US7889968B2 (en) * 2002-06-24 2011-02-15 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple reproduction path video data for at least a segment of a title recorded thereon and recording and reproducing methods and apparatuses
CN101350215B (zh) 2002-06-24 2012-08-29 Lg电子株式会社 记录和再现用于视频数据的再现的数据结构的方法及装置
KR20040000290A (ko) 2002-06-24 2004-01-03 엘지전자 주식회사 고밀도 광디스크의 멀티 경로 데이터 스트림 관리방법
CN100580787C (zh) * 2002-06-28 2010-01-13 Lg电子株式会社 具有用于管理记录在其上面的多个重放路径视频数据的再现的数据结构的记录介质以及记录和再现方法及装置
CA2459086C (en) * 2002-06-28 2013-08-13 Lg Electronics Inc. Recording medium having data structure for managing recording and reproduction of multiple path data recorded thereon and recording and reproducing methods and apparatus
PL355743A1 (en) * 2002-08-28 2004-03-08 Advanced Digital Broadcast Polska Spółka z o.o. Method of data flow control in a system with packet data transmission and system for data flow control in a system with packet data tranmission
JP3772822B2 (ja) * 2002-10-17 2006-05-10 ソニー株式会社 情報記録方法、情報記録装置、記録媒体、記録再生システム、および記録再生方法
AU2003276759A1 (en) * 2002-11-08 2004-06-07 Lg Electronics Inc. Method and apparatus for recording a multi-component stream and a high-density recording medium having a multi-component stream recorded theron and reproducing method and apparatus of said recording medium
RU2313139C2 (ru) * 2002-11-12 2007-12-20 Эл Джи Электроникс Инк. Носитель записи со структурой данных для управления воспроизведением записанных на нем видеоданных нескольких каналов воспроизведения и способы и устройства записи и воспроизведения
US7720356B2 (en) * 2002-11-12 2010-05-18 Lg Electronics Inc Recording medium having data structure for managing reproduction of multiple reproduction path video data recorded thereon and recording and reproducing methods and apparatuses
US7783160B2 (en) * 2002-11-20 2010-08-24 Lg Electronics Inc. Recording medium having data structure for managing reproduction of interleaved multiple reproduction path video data recorded thereon and recording and reproducing methods and apparatuses
US7664372B2 (en) * 2002-11-20 2010-02-16 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple component data recorded thereon and recording and reproducing methods and apparatuses
US7606463B2 (en) * 2003-02-24 2009-10-20 Lg Electronics, Inc. Recording medium having data structure for managing playback control and recording and reproducing methods and apparatuses
US7809775B2 (en) 2003-02-27 2010-10-05 Lg Electronics, Inc. Recording medium having data structure for managing playback control recorded thereon and recording and reproducing methods and apparatuses
EP1604356A4 (en) 2003-02-28 2009-12-16 Lg Electronics Inc RECORD MEDIUM WITH A DATA STRUCTURE FOR MANAGING THE RANDOM / SHUFFLE PLAYBACK OF RECORDED VIDEO DATA, AND METHOD AND DEVICES FOR RECORDING AND PLAYING
US7224664B2 (en) 2003-03-25 2007-05-29 Lg Electronics Inc. Recording medium having data structure for managing reproduction of data streams recorded thereon and recording and reproducing methods and apparatuses
US20080035176A1 (en) * 2004-08-25 2008-02-14 Byers Ernest F Automated Cart and Container Cleaning System
JP4691953B2 (ja) * 2004-10-22 2011-06-01 日本電気株式会社 ディジタル信号送受信システム、並びにそれに用いるディジタル信号送信装置及びディジタル信号受信装置
JP4898177B2 (ja) * 2005-09-28 2012-03-14 京セラ株式会社 放送受信装置及び放送受信方法
US9591376B2 (en) * 2006-09-06 2017-03-07 Broadcom Corporation Method and system for synchronizing signals in a communication system
JP5057761B2 (ja) * 2006-12-01 2012-10-24 株式会社東芝 伝送装置
EP2175445A3 (en) 2007-04-17 2010-05-19 Panasonic Corporation Communication system
JP5211569B2 (ja) * 2007-07-26 2013-06-12 ソニー株式会社 コンテンツ再生装置、コンテンツ再生方法、およびプログラム
JP5282383B2 (ja) * 2007-09-06 2013-09-04 ソニー株式会社 コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ再生システム
JP4538488B2 (ja) * 2007-11-26 2010-09-08 日立コンシューマエレクトロニクス株式会社 ストリーム受信装置、ストリーム受信方法、及びストリーム送受信方法
JP4538489B2 (ja) * 2007-11-26 2010-09-08 日立コンシューマエレクトロニクス株式会社 ストリーム受信装置、ストリーム受信方法、及びストリーム送受信方法
JP4737200B2 (ja) * 2008-01-04 2011-07-27 ソニー株式会社 データ伝送方法及び電子機器
JP4702381B2 (ja) * 2008-03-24 2011-06-15 ソニー株式会社 データ出力システム、データ記録及び出力方法
US8645324B2 (en) * 2009-01-09 2014-02-04 Pivotal Software, Inc. Preventing pauses in algorithms requiring pre-image information concerning modifications during data replication
JP4737340B2 (ja) * 2010-07-20 2011-07-27 ソニー株式会社 データ伝送方法及び電子機器
JP5041080B2 (ja) * 2011-01-12 2012-10-03 ソニー株式会社 データ出力システム
CN108123813B (zh) 2016-11-28 2020-06-02 华为技术有限公司 操作、管理和维护oam数据的传输方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5287182A (en) * 1992-07-02 1994-02-15 At&T Bell Laboratories Timing recovery for variable bit-rate video on asynchronous transfer mode (ATM) networks
US5319707A (en) * 1992-11-02 1994-06-07 Scientific Atlanta System and method for multiplexing a plurality of digital program services for transmission to remote locations
US5285497A (en) * 1993-04-01 1994-02-08 Scientific Atlanta Methods and apparatus for scrambling and unscrambling compressed data streams
BR9406125A (pt) * 1993-12-18 1996-02-13 Sony Corp Suporte de armazenamento de dados e aparelho de reprodução de dados
US5543853A (en) * 1995-01-19 1996-08-06 At&T Corp. Encoder/decoder buffer control for variable bit-rate channel
US5619337A (en) * 1995-01-27 1997-04-08 Matsushita Electric Corporation Of America MPEG transport encoding/decoding system for recording transport streams
JPH09139937A (ja) * 1995-11-14 1997-05-27 Fujitsu Ltd 動画ストリーム変換装置
US5703877A (en) * 1995-11-22 1997-12-30 General Instrument Corporation Of Delaware Acquisition and error recovery of audio data carried in a packetized data stream
US5899578A (en) * 1995-12-25 1999-05-04 Sony Corporation Digital signal processor, processing method, digital signal recording/playback device and digital signal playback method
US5635989A (en) * 1996-02-13 1997-06-03 Hughes Electronics Method and apparatus for sorting and searching a television program guide
US5838873A (en) * 1996-05-31 1998-11-17 Thomson Consumer Electronics, Inc. Packetized data formats for digital data storage media
US5847771A (en) * 1996-08-14 1998-12-08 Bell Atlantic Network Services, Inc. Digital entertainment terminal providing multiple digital pictures
US5844636A (en) * 1997-05-13 1998-12-01 Hughes Electronics Corporation Method and apparatus for receiving and recording digital packet data
US6115074A (en) * 1997-07-10 2000-09-05 Ozkan; Mehmet Kemal System for forming and processing program map information suitable for terrestrial, cable or satellite broadcast
JP3622620B2 (ja) * 2000-02-18 2005-02-23 富士写真フイルム株式会社 画像情報取得方法、画像情報送信装置及び画像情報送信システム

Also Published As

Publication number Publication date
US6697432B2 (en) 2004-02-24
CA2212333C (en) 2005-10-25
JPH1051737A (ja) 1998-02-20
CA2212333A1 (en) 1998-02-06
US20030133509A1 (en) 2003-07-17

Similar Documents

Publication Publication Date Title
JP4147592B2 (ja) パケット処理方法、記録方法、記録システム
JP4246836B2 (ja) ディジタル・データストリームを発生する方法およびディジタル装置
JP3305183B2 (ja) ディジタル放送受信端末装置
JP5015707B2 (ja) パーシャルトランスポートストリーム伝送装置、パーシャルトランスポートストリーム伝送方法、及び、トランスポートストリーム受信装置
US6741795B1 (en) Digital video disc player and apparatus for displaying images
US8019193B2 (en) Setting rate for recording broadcast transmission according to transmission rate
JP4190594B2 (ja) 電子機器及び信号処理方法
JP3867516B2 (ja) ディジタル放送受信装置及び方法、情報処理装置及び方法、並びに、情報処理システム
JP4748195B2 (ja) ディジタル放送の受信装置及びトランスポートストリームの処理方法
JP4195081B2 (ja) テレビジョン情報を伝送するのに適しているパケット化ディジタル・データ・ストリームをフォーマット化する装置
JP2003163889A (ja) ストリーム記録再生システム,及びストリーム記録再生装置
JP2002325230A (ja) データ記録装置及び方法、データ再生装置及び方法
JP3593773B2 (ja) 再生装置及び信号処理方法
JP3872915B2 (ja) デコーダ装置
JP3666093B2 (ja) デジタル信号処理装置
JP4192363B2 (ja) 再生装置及び方法
JP3716834B2 (ja) 再生装置及び再生方法
JP3716835B2 (ja) 再生装置及び再生方法
JP3716836B2 (ja) 電子機器及び信号処理方法
JP2000236499A (ja) デジタル放送受信装置
JP3125787B2 (ja) 電子機器及び信号処理方法
JP4277843B2 (ja) デジタル信号記録再生装置及びデジタル信号再生方法
JP4244479B2 (ja) ディジタル放送の受信装置及びトランスポートストリームの処理方法
MXPA97005974A (en) Processing of packages in coordinated transport currents of grouping intelligent images in motion, using additional data fixed to each pack
JP2000209554A (ja) 復号装置及びトランスポートストリームの処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061023

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080421

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080603

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080616

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130704

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees