JP3839089B2 - パケット化されたデータストリームからの所望データの取り込み及び同期化方法 - Google Patents
パケット化されたデータストリームからの所望データの取り込み及び同期化方法 Download PDFInfo
- Publication number
- JP3839089B2 JP3839089B2 JP06167896A JP6167896A JP3839089B2 JP 3839089 B2 JP3839089 B2 JP 3839089B2 JP 06167896 A JP06167896 A JP 06167896A JP 6167896 A JP6167896 A JP 6167896A JP 3839089 B2 JP3839089 B2 JP 3839089B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- header
- information
- pes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000012545 processing Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000006837 decompression Effects 0.000 description 23
- 239000000872 buffer Substances 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000001824 photoionisation detection Methods 0.000 description 2
- 238000003752 polymerase chain reaction Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000003370 grooming effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Systems (AREA)
- Mobile Radio Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオデコンプレッションプロセッサに関し、特に、パケット化データストリームから復号化されるべきビデオデータのような所望のデータを要求するための効果的な方法に関する。
【０００２】
【従来の技術】
テレビ信号のデジタル送信はアナログ技術より非常に高い品質のビデオ及びオーディオサービスを与える。デジタル送信は、特にケーブルテレビネットワークまたは衛星によりケーブルテレビ加入者に及び／または直接的に家庭衛星テレビ受信機に送信される放送に対して有効である。デジタルテレビ送信機及び受信機装置は、オーディオ業界でデジタルコンパクトディスクがアナログレコードに取って替わったように、現在のアナログ装置に取って替わることが期待されている。
【０００３】
実質的な量のデジタルデータがあらゆるデジタルテレビ装置内で送信されなければならない。デジタルテレビ装置において、加入者はビデオ、オーディオ及びデータを加入者に与えるレシーバ／デスクランブラを介してデジタルデータストリームを受信する。有効なラジオ周波数スペクトルを最も効果的に使用するために、送信すべきデジタルデータの量を最小化するべくデジタルテレビ信号を圧縮することが有利である。
【０００４】
テレビ信号のビデオ部分は、一緒になって動画を与えるビデオ“フレーム”の連続から成る。デジタルテレビ装置において、ビデオフレームの各ラインは“画素”と呼ばれる一連のデジタルデータビットにより画成される。大量のデータテレビ信号が各ビデオフレームを画成するのに要求される。例えば、NTSC(National Television System Committee)解像度で、ひとつのビデオフレームを与えるためには７.４メガビットのデータが要求される。これは、６４０画素×４８０本ラインのディスプレイが赤、緑及び青の各３原色に対して８ビットの強度値で使用されることを仮定している。PAL(phase alternating line)解像度では、ひとつのビデオフレームを与えるのに９.７メガビットのデータが必要である。この例では、７０４画素×５７６本ラインのディスプレイが赤、緑及び青の各３原色に対して８ビットの強度値で使用される。この大量のデータを扱うためには、データは圧縮されねばならない。
【０００５】
ビデオ圧縮技術は従来の通信チャネルを通じてデジタルビデオ信号の効果的送信を可能にする。そのような技術は、ビデオ信号内の重要情報のより効果的な表現を引き出すために、隣接画素間の相関関係を利用する圧縮アルゴリズムを使用する。最も強力な圧縮技術は空間的相関関係のみではなく、データをさらに圧縮するために隣接フレームの類似関係をも利用する。そのような装置において、実フレームと実フレームの予測との間の差のみを送信するよう、しばしば差分符号化が使用される。該予測は同一ビデオシーケンスの先行フレームから引き出された情報に基づく。
【０００６】
動き補償を使用したビデオ圧縮装置の例が、Krauseらによる、米国特許第5,057,916号、5,068,724号、5,091,782号、5,093,720号、及び5,235,419号に見られる。概して、そのような動き補償装置はブロックマッチング動き推定アルゴリズムを利用する。この場合、特定のカレントブロックに最も良く類似する先行フレーム内のひとつのブロックを識別することによって、イメージのカレントフレーム内の各ブロックに対してひとつの動きベクトルが決定される。その後、全カレントフレームは対応するブロック対の差を送ることによって、対応する対を識別するのに必要な動きベクトルとともに、デコーダにおいて再構成される。しばしば、送信されたデータ量は置換されたブロック差及び動きベクトル信号の両方を圧縮することによってさらに減少される。ブロックマッチング動き推定アルゴリズムは、離散コサイン変換(DCT)のようなブロックベースの空間圧縮技術と結合された時、特に効果的である。
【０００７】
圧縮されたビデオデータをレシーバへ送信する方法のひとつに、パケット化されたデータストリーム内に含まれるパケット形式がある。典型的に、圧縮ビデオデータを運ぶパケットは、テレビ信号を再構成するのに必要な対応するオーディオデータ及び制御情報を運ぶ他のパケットとともに多重化される。この方法でデジタルテレビ信号を送信するためのひとつの標準規格はMPEG-2規格であり、その詳細はここに参考文献として組み込む、the Telecommunications Standardization Sector、Study Group 15, Experts Group 4ATM-Video Coding of the International Organization for Standardization、 ISO-IEC/JTC1/SC29/WG11により出版された、AVC-491、version 1、April、1993発行の “Coded Representation of Picture and Audio Information”に記載されている。MPEG-2ビデオに対するさらに詳細なビデオシンタックス及びセマンティクスは、同じくここに参考文献として組み入れるInternational Organization for Standardization document ISO/IEC 13818-2 international standard、1995発行の “Generic Cording of Moving Pictures and Associated Audio Information :Video”に記載されている。興味あるものとして、同様に参考文献として組み入れるのはMotorola Microprocessor and Memory Technologies Group、 1994発行のドキュメントMC68VDP/Dの予備データシートの"MPEG-2/DCII Video Decompression Processor"であり、それはMPEG-2及びDigiCipher II規格を使用するビデオデコンプレッションプロセッサを説明する。
【０００８】
MPEG-2装置（及びジェネラル・インスツルメント・コーポレーションの所有の類似DigiCipher II装置）において、トランスポートストリームまたはトランスポートマルチプレクスは、固定長パケットの連続セットから成る。各パケットは長さが全部で１８８バイトあり、その内の最初の４バイトがパケットヘッダとして定義される。したがって各パケットのペイロード(payload)部分は通常１８４バイトである。しかし、可変長付加フィールドが必要に応じヘッダを拡張するのに与えられる。付加フィールドが存在するとき、パケットのペイロード部分は対応して短くなる。
【０００９】
さまざまなタイミング及び識別情報がトランスポートストリームの異なる部分に与えられる。これらは、特定のサービスコンポーネントを運ぶトランスポートパケットを識別するための参照番号を与えるよう各トランスポートパケットのトランスポートヘッド内にあるパケット識別子(PID)を含む。この番号には、テレビ番組信号を再構成するのに要求されるそれらのトランスポートパケットを識別するために、レシーバで使用されるサービス定義またはサービスマップ内に含まれている。PIDはまたさまざまなグルーミング(grooming)及び再多重化機能に対しても参照される。ビデオ、オーディオまたは等時性データにおいて、単一のPIDで表示されたパケットのストリームは、それぞれ単一のビデオ、オーディオまたは等時性データサービスのエレメンタリストリームを表す。
【００１０】
トランスポートストリームにより運ばれたタイミング情報は、サービスマップ内で参照されるPIDから成るサービスの基礎となるシステムタイムクロック(STC)タイムベースのサンプルを効果的に表すプログラムクロックリファレンス(PCR)を含む。PCRとともにパケットを運ぶPIDもまたサービスマップ内で参照される。サービスのビデオ、オーディオ及び等時性データコンポーネントは定義された関係に従ってシステムタイムクロックにロックされる。PCRは転送速度を定義するように機能し、すなわちひとつのPID内のあらゆる２つの連続PCRの間で転送速度は、システムタイムクロックの一単位の時間のPCR内の差で割り算されたPCR間の全トランスポートビット数の比の倍数であるシステムタイムクロック速度と名目的に等しいかまたは定数である。
【００１１】
トランスポートストリームにより運ばれたタイミング情報もまた表示用データの復号化及び表示の開始のためのタイムスタンプを含む。表示タイムスタンプ(PTS)は、サービスコンポーネントの獲得並びにタイミング及びバッファ制御がデコーダにおいて適正に動作しているかどうかを検討するために使用される。デコーダタイムスタンプ(DTS)は、該デコーダがヘッダにDTSを含むパケット化エレメンタリストリーム(PES)パケットのペイロード内のどこからか始まる最初のアクセスユニット（例えば、ビデオフレーム）を復号化し始める時間を示すのに使用される。パケット化エレメンタリデータストリームは可変長でありかつ典型的に固定長トランスポートパケットよりかなり長い端末PESパケットから成るデータストリームである。したがって、典型的にPESパケットは単一PIDを有する複数のトランスポートパケットからのデータから成る。
【００１２】
【発明が解決しようとする課題】
DSTは、ビデオ復号化の開始時間を適正に取るために、ビデオデコンプレッションプロセッサにより要求される。DSTはPESヘッダ内にパッケージ化されているため、レシーバのビデオデコンプレッションプロセッサにとって、解析されるべき関連ビデオデータを受信すると同時にDSTを得ることは困難であり複雑であった。解析前に、ビデオデータは、トランスポートストリームから検索された後に定期的にデータを格納するビデオメモリから検索される。必要なDSTを含むPESヘッダが放棄された後のある時点まで、ビデオデータはビデオデコンプレッションプロセッサによる復号化用に準備されない。
【００１３】
最初にDSTを運んだPESヘッダに再アクセスすることなく、またオーバーヘッドとして残りのPESヘッダを運ぶことなく、ビデオデコンプレッションプロセッサに対しDSTを与えるための方法をもたらすことが有利である。さらに、画像情報が失われた場合にデコーダの迅速な回復を可能にするべく、解圧されるべきビデオデータのフルセットではなく、２つのタイムスタンプの受信を検出するための方法を与えることが有利である。さらに、トランスポートストリームから検索されたビデオデータを格納するべくメモリマップが初期化される時、データが消失しないことを保証するための方法を与えることが有利である。
【００１４】
トランスポートストリームにより運ばれた画像データ内で画像ヘッダの喪失の発生を検知し、かつそのような喪失情報を回復するための方法を与えることが有利である。トランスポートストリームからの静止画像を選択的に復号化し表示するための方法もまた有利である。新規画像がすぐに有効でなければプロセッサのビデオ出力を沈黙させ、新規画像が有効になるまで前の画像を表示するための方法を与えることが所望される。
【００１５】
本発明は、トランスポートストリームからのビデオデータのトラッキング及び取り込み、並びに取り込まれたストリーム内のエラーの検出、マスキング、及び回復のための方法を与える。上記利点を有する本発明について以下に詳細に説明する。
【００１６】
【課題を解決するための手段】
本発明にしたがって、パケット化されたデータストリームから所望のサービス用のビデオデータを取り込むための方法が与えられる。該データストリームは、ビデオコンポーネント、オーディオコンポーネント及び制御コンポーネントのような異なるサービスのコンポーネントを運ぶトランスポートパケットを含む。特定のトランスポートパケットにより運ばれるコンポーネントは当該コンポーネントに対するパケット識別子(PID)により識別される。ひとつのコンポーネントは所望のサービスに対するタイミング情報を与えるプログラムクロックリファレンス(PCR)を含む。方法は、データストリームでPCRを運ぶコンポーネントから、所望のサービス用のPCRを検出する工程から成る。回復されたPCRはエンコーダタイミングに対応するデコーダタイムクロックを取り込みかつトラッキングするのに使用される。その際、トランスポートパケットのPIDは所望のサービスのビデオコンポーネントを運ぶそれらのパケットを回復するべくモニターされる。回復されたトランスポートパケットからのヘッダ情報は、PESヘッダ及び画像情報を有するパケット化エレメンタリストリーム(PES)パケットを回復するべく処理される。タイムスタンプ情報は、少なくとも一つのPESパケットのPESヘッダから得られる。該タイムスタンプ情報はバッファされ、その後メモリに格納するべく関係画像情報へ追加される。このようにして、画像情報はメモリから読み出され、タイムスタンプ情報用のPESヘッダに再アクセスしなくとも追加タイムスタンプ情報を使って復号化され得る。
【００１７】
典型的に画像情報は復号化されるべき連続ビデオイメージ間の境界に画像ヘッダを含む。PESヘッダから得られたタイムスタンプ情報はパケット化データストリーム内のPESヘッダに続く次画像ヘッダ内に挿入される。特に、タイムスタンプ情報は次画像ヘッダ内に含まれる画像開始コードの後に挿入される。
【００１８】
タイムスタンプ情報は復号化されるべき各連続ビデオイメージに対して与えられる。この例において、PESパケットは、エラー発生を示す状態を知るために、介在画像開始コード無しで、タイムスタンプを有する２つのPESヘッダの獲得を検出するためにモニターされる。介在画像開始コード無しで２つのそのようなPESヘッダの受信が検出されるとき、２つのタイムスタンプのうちの最初が無視された状態で、第２のタイムスタンプが次画像開始コードの後に挿入される。後続の処理セクションにエラーの発生を示すため、デコーダによって制御ビットが第２タイムスタンプに関連付けられる。
【００１９】
効果的方法でタイムスタンプ情報の処理に加え、取り込みはメモリの再構成を要求する。画像情報は画素データ及び画素データが如何に復号化されるべきかに関する情報を与えるビデオシーケンスヘッダを含むところの実行において、画像情報を格納するメモリはシーケンスヘッダからの情報に応答して特定のマッピングを獲得すると同時に再構成される。メモリが再構成されている間は、メモリマップの初期化の間にデータが喪失しないことを保証するためにメモリ内に格納されたデータへのアクセスの要求は拒絶される。
【００２０】
所望の静止画像の取り込み、選択及び表示もまたサポートされる。特に、画像情報が連続ビデオ画像の間の境界に画像ヘッダを含む場合、各画像ヘッダは後続ビデオ画像のためのリファレンス番号を含む。特定のビデオ画像がそれに関連するリファレンス番号を参照することによって復号化するために選択される。選択された画像は復号化され、同一のリファレンス番号を有する他の画像が選択され受信され表示されるまで静止画像として表示される。
【００２１】
トランスポートストリームにより運ばれた画像情報は、表示用ビデオプロセッサにより復号化されるべきビデオイメージの終了を示すシーケンスエンドコードを含む。シーケンスエンドコードが検出され、後続ビデオイメージはシーケンスエンドコードに続いて復号化し表示するのに現に有効であるか否かに関する決定が為される。もし、そのような有効な後続ビデオイメージが存在しなければ、ビデオプロセッサのビデオ出力は新規ビデオイメージが有効になるまで沈黙される。替わって、ビデオプロセッサの出力には、新規ビデオ画像が有効になるまで処理された最後のビデオ画像が与えられる。損失画像ヘッダから回復するために、トランスポートストリームから受信された画像情報が画像ヘッダの損失の発生を検知するべくモニターされる。検出と同時に、メモリ内に含まれる最近表示された画像情報の全フレームの表示が、後続画像ヘッダの後に受信されるビデオデータの新規全フレームが表示用に有効になるまで繰り返される。
【００２２】
エラーにより発生するものではないが、エンコーダでスキップされた画像は類似の方法で扱われる。スキップされた画像から回復するために、メモリはフレームの復号化が開始される時、完全なビデオフレーム用のデータがメモリ内に存在するか否かを検出するべくモニターされる。完全なビデオフレームが存在しないと検出されると同時に、メモリ内に含まれている最近表示された復号化画像情報の完全フレームの表示が繰り返される。
【００２３】
無効なタイムスタンプ情報からの回復もまた与えられる。特に、ひとたび有効なDTSに応答して復号化プロセスが開始されると、デコーダは一度にひとつの入力フレームを復号化し続ける。DTSの間、フレームは過去の復号化時間から導かれる時間で復号化される。新規DTSが受信されると、そのDTSにより示された時間は、復号化時間でのデコーダタイムクロックの値と比較される。もしDTSにより示された時間がデコーダタイムクロックの値に先んじたら、（すなわち、DTSがすでに通過してしまったら）同期がくずれかつビデオデコンプレッションプロセッサ(VDP)は復号化処理において後ろにあることが仮定される。したがってそのタイムスタンプ情報に関連する画像情報は放棄され、VDPはその画像を復号化しない。
【００２４】
【発明の実施の形態】
図１は、レシーバでのテレビ番組を再構成するために必要なビデオデータを格納しかつ検索するための外部DRAM22をアドレスするメモリマネージャ30を伴うビデオデコンプレッションプロセッサのブロック図である。符号20で表されるプロセッサは、トランスポートレイヤ（すなわち、制御及びその他のビデオ以外の情報）及び、ビデオプロセッサのトランスポートパケットインタフェースと呼ばれる端子10を通じて入力される圧縮ビットストリームのビデオレイヤの両方を復号化するために設計されたパイプラインプロセッサである。
【００２５】
ユーザプロセッサインタフェースは、プロセッサ20内にさまざまなレジスタを形成するＭバスコントローラ50を通じて、端子14においてビデオデータプロセッサの制御用に与えられる。Ｍバスは、単純でかつ効果的な素子間データ交換のための手段を与える２線式両方向シリアルバスであって、I2Cバス規格と完全にコンパチブルである。
【００２６】
DRAM22へのひとつのインタフェースがアドレスライン24及びデータライン26を通じて与えられる。図１に示された例では、DRAM22は９ビットアドレスポート及び３２ビットデータポートを有する。
【００２７】
ビデオ出力インタフェース38は、例えば、CCIR規格(International Radio Consultive committee)656で、８ビット、２７メガヘルツの多重化ルミナンス(Y)及びクロミナンス(Cr、 Cb)信号として出力される解圧され再構成されるビデオ用に与えられる。
【００２８】
テストインタフェースが端子62を通じて、従来のJTAG(Joint Test Action Group)コントローラ60へ与えられる。JTAGは、内部回路同様にパッケージ及びボード結合における欠陥を検出するためのボードレベル試験用に使用される標準化された境界スキャン方法論である。
【００２９】
ビデオデコンプレッションプロセッサ20は端子12を通じてクロック信号を受信する。該クロックは、トランスポート構文パーザ32が、端子10を通じて入力されたパケット化データストリーム内に含まれるトランスポートパケットからタイミング情報及びビデオ情報を回復可能になるように使用されるタイミング情報を与える。取り込み及びエラーマネージメント回路34は、プログラムクロックリファレンス(PCR)を利用し、画像の復号化の開始と同期化させるべくビデオ構文パーザ40により検出されたタイムスタンプ(DTS)を復号化する。この回路は垂直同期を設定し、すべてのビデオ及び表示機能に対し全体的な同期化を与える。
【００３０】
ビデオレイヤは、メモリマネージャ30により外部DRAM22内に形成された入力バッファ(FIFO)内にバッファされる。ビデオ構文パーザ40はDRAM FIFOから出力された圧縮ビデオデータをメモリマネージャ30を通じて受信し、動きベクトル情報をビデオ情報をもたらす係数から分離する。該係数は、ハフマン(Huffman)デコーダ52、逆量子化器54、及び逆離散コサイン変換(IDCT)プロセッサ56により処理される。
【００３１】
動きベクトルは回復され、カレントビデオフレームを再構成するために必要な先行の復号化ビデオフレームをアドレスするために使用される。特に、動きベクトルデコーダ42はビデオ構文パーザ40から受信された動きベクトルを復号化し、それらを予測アドレスジェネレータ44に送信する。該予測アドレスジェネレータは、予測計算機46がカレントフレームブロックを再構成するのに必要な予測信号を与えることができるように、メモリマネージャ30を通じて必要なアンカーフレーム（すなわち、フレーム内(I)または予測(P)フレーム）データを検索するのに必要なアドレス情報を与える。差分デコーダ48は、デコンプレッションビデオデータを与えるべく、予測データを復号化係数データと結合する。デコンプレッションデータはメモリマネージャ30を通じて、DRAM22の適当なバッファ内に格納される。動きベクトルデコーダ42、予測アドレスジェネレータ44、予測計算機46、差分デコーダ48、ハフマンデコーダ52、逆量子化器54及びIDCT56により実行されるビデオデコンプレッション処理工程は、一般的なものであり当業者に周知の技術であることを認識すべきである。
【００３２】
メモリマネージャ30は、外部DRAMアドレス及びデータバス24、26上のすべての動作を予定し、かつDRAM22を効果的にアドレスする。メモリマネージャは、DRAM22の入力FIFO部分、ビデオ構文パーザ40及びビデオ再構成回路36（予測計算機46及び差分デコーダ48と同様）のデータ送信条件が一致することを保証する。ビデオ再構成回路36はカレント画像を立ち上げ、クローズドキャプション、垂直インターバルテスト信号(VITS)及び/またはテストパターンデータをビデオ出力ライン38への出力用に挿入する。ビデオデータの圧縮フレームのための復号化プロセスは、デコーダタイムクロックにより特定化される時間を、ビデオフレームが復号化されるべき時間を示すデコードタイムスタンプ(DTS)と比較することによって同期化される。デコンプレッションフレームのための表示プロセスはデコーダタイムクロックにより特定化された時間を、ビデオフレームが表示用に与えられるべき時間を示すプレゼンテーションタイムスタンプ(PTS)と比較することにより同期化される。
【００３３】
メモリマネージャはまた、両方向予測フレーム（Ｂフレーム）を伴うかまたは伴わない、例えばNTSCまたはPALの復号化モードに依存するDRAM22のFIFO部分に対し可変サイズをもたらす。ビデオバッファ制御はDRAM22によって与えられるFIFOがオーバーフローまたはアンダーフローしないことを確認する。バッファ制御はPCR及びDTSを含むシステムタイミングパラメータの機能である。
【００３４】
DRAM22は外部メモリとして図示され、８メガビット実行用には２つの４メガビットDRAMを、１６メガビット実行用には４つの４メガビットDRAMを、というように複数のDRAMチップによりもたらされる。将来的には、メモリ技術の進歩によりDRAM22はビデオデコンプレッションプロセッサ内の内部メモリとして与えられるであろう。DRAMは圧縮された入力ビデオビットストリームに対する循環FIFOバッファと同様に、さまざまなデコード及び出力ビデオバッファを与えるべくマッピングされる。DRAMはまた、復号化されたビデオフレームを適正に表示するのに必要なさまざまな画像組立データを格納するとともに、テストパターンバッファ、VITSバッファ、及びクローズドキャプション表示並べ替えバッファを与えるためにも使用される。DRAMは、PALまたはNTSCビデオか、８または１６メガビットメモリ形式か、またBフレームが存在するか否か等により変数が修正されたときに要求されるような異なるメモリマップを与えるために、メモリマネージャ30を通じて再初期化される。
【００３５】
上記したように、メモリマネージャ30は、入力FIFO、ビデオパーザ及びビデオ再構成回路のデータトランスポート条件を含む外部DRAMバス上のすべての動作を予定する。メモリマネージャはまた、従来の方法で、要求されたDRAMをリフレッシュする。例えば、各２つまたは４つの外部DRAM内の同一行が同時にリフレッシュされる。
【００３６】
圧縮ビデオデータを含むパケット化ビットストリームがビデオデコンプレッションプロセッサ20の端子10に入力されるとき、圧縮データにより表されたビデオフレームが一度にひとつずつ再構成される。最初に、完全フレームのビデオデータが受信されDRAM22内に格納されなければならない。後続ビデオフレーム用の情報は、先行ビデオフレーム（DRAM22内に格納された）からの予測データに加えられれば完全フレームを再構成するであろう完全ビデオフレームのサブセットから成る。
【００３７】
図２(A)は、各々がヘッダ(PES-HDR)72及びPESペイロード74を有する連続のPESパケットを運ぶパケット化されたエレメンタリストリームの一部を示す。PESパケット70は可変長である。
【００３８】
典型的に、PESパケットの長さは数千バイトである。それらは、トランスポートパケットペイロード内で分割されたとき、各PESヘッダの最初のバイトがあるトランスポートパケットの最初のペイロード位置に配置されるような方法で並べられるよう要求される。整列PESヘッダを運ぶすべてのトランスポートパケットに対し、ペイロードユニット開始インジケータがトランスポートパケット用のトランスポートヘッダ内にセットされる。MPEG-2及びDigiCipher IIシステムにおいて、PESフォーマットは固有の同期状態にあるすべてのサービスコンポーネントに対して使用される。特に、ビデオ、オーディオ及び等時性データコンポーネントがパケット化エレメンタリストリームとして運ばれ、PESヘッダ72はパケット開始コードプレフィクス、ストリーム識別、及びPESパケット長を含むペイロードを画成するのに必要なさまざまな情報を運ぶ。ヘッダはまたプレゼンテーションタイムスタンプ(PTS)またはPTSとデコードタイムスタンプ(DTS)の両方を含む。ヘッダがPTSのみを運ぶとき、DTSはPTSと同一であると推定される。最初のプレゼンテーションユニット（すなわち、ビデオフレーム、オーディオ同期化フレーム、等時性データアクセスユニット）であってそのアクセスユニットがこのPESパケットのペイロード内のどこかで開始するものが存在するとき、PTSはデコーダ装置タイムクロックリファレンスの対応するバイトが有すべき値を示すフィールドである。ビデオに対して、もし画像開始コードの最初のバイトがPESパケットのペイロード内に存在すれば、アクセスユニットが開始する。オーディオに対して、もしオーディオ同期ワードがこのPESパケットのペイロード内に存在すれば、アクセスユニットが始まる。等時性データに対して、アクセスユニットはPESパケットペイロードの最初のバイトで開始する。PTSフィールドはサービスコンポーネントの取り込みに使用され、タイミング及びバッファ制御がデコーダにおいて適正に動作しているかどうかを評価するために使用される。
【００３９】
デコーダがPESパケットのペイロード内のどこかで開始された最初のアクセスユニットを復号化し始めたとき、DTSは、再構成されたデコーダタイムクロックリファレンスの対応ビットとして持つべき値を示すフィールドである。PTS及びDTSは、ビデオに対してのみ、及びBフレームとともにIフレーム及びPフレームが送信されるようなケースでのみ異なるものである。
【００４０】
PESペイロードはレシーバへ送信されるのを所望される情報データを含む。例えば、ペイロードはレシーバにとってデジタルテレビ信号を復号化し再構成するために必要なすべてのビデオまたはオーディオ情報を一緒に含む。
【００４１】
粗さ及び単純さの要求に合わせるために、固定パケット長アプローチが可変長PESパケットに対し好適である。図２(B)に示されるように、PESパケット70を含むパケット化エレメンタリストリームは固定長トランスポートパケット80のストリームへフォーマットされる。図２(B)に示されたトランスポートパケットは、デジタルテレビ送信のビデオコンポーネントのような同一のサービスコンポーネントに対応している。MPEG-2及びDigiCipher IIの例において、各パケットは全部で１８８バイトの長さを有し、内最初の４バイトがトランスポートパケットヘッダ(XPT HDR)82を構成する。したがって、各パケット80のペイロード部分84は通常１８４バイトである。しかし、トランスポートパケット80’で示されるような付加的なフィールド機構が必要に応じてヘッダを拡張するべく与えられる。付加フィールド86は、すべてのトランスポートパケットに対しては必要でない付加的情報を与える。付加的フィールド(ADPT FIELD)86は、付加フィールドが与えられるときはいつでも１８４バイト以下であるペイロードを犠牲にして標準的トランスポートヘッダ82を拡張する。付加的フィールド86は、そこに含まれる情報量によって可変長である。典型的に、付加フィールドはタイムベースリカバリその他の機能に対する付加的情報をサポートし、またペイロードが１８４バイトすべてを占めないときにペイロードを水増しするための機構も与える。例えば、そのような、水増しは、可変長ビデオPESパケットを固定数のトランスポートパケット内に納めるために使用される。
【００４２】
図２(B)に示されるように、各トランスポートパケットのトランスポートヘッダはトランスポートパケットにより運ばれる特定のサービスコンポーネントを識別するためのPIDを含む。PCRは、所望のサービス用のタイミング情報を与えるべく付加的フィールドにより運ばれる。レシーバにおいて、所望のサービスに対するPCRが付加的フィールドから検出される。特定のPIDのトランスポートパケットは処理中のサービスの特定のコンポーネントを回復するべくモニターされる。図１のビデオデコンプレッションプロセッサはビデオ情報を処理するので、処理中のビデオコンポーネントを示すPIDを有するすべてのトランスポートパケットを探すためにトランスポートパケットをモニターする。ビデオコンポーネントの処理は図３との関係でさらに詳細に説明される。
【００４３】
さまざまなサービスコンポーネントからのトランスポートパケットは図２(C)に示されるようにトランスポートマルチプレクス90で多重化される。トランスポートマルチプレクスは、レシーバにおいてサービスを再構成するのに必要な各異なるコンポーネント（例えば、ビデオ、オーディオ及び制御）からの散在パケットを運ぶ。図２(C)に示された転送多重化の例において、ビデオトランスポートパケット80(A1、A2、A3.....)の次にオーディオトランスポートパケット92(B1、B2、B3......)が続き、その次にさらにトランスポートパケットストリームにより運ばれた他のサービスまたはデータであるコンポーネントパケット94(C1、C2、C3......)が続いている。
【００４４】
図３は、図１に示されたようなビデオデコンプレッションプロセッサによるビデオトランスポートパケットの処理を示したものである。複数のトランスポートパケット80は、連続トランスポートパケットからPESペイロードを再構成するのに必要なペイロード情報を取り去るトランスポート構文パーザ32により受信される。トランスポートヘッダ82内の情報はペイロード情報を識別するのに使用され、その結果PESヘッダ72と同様にPESペイロードデータ74の再構成も可能となる。上記したように、PESパケットは、それらがトランスポートペイロードに分割されたとき、各PESヘッダの最初のバイトがあるトランスポートパケットの最初のペイロード位置で見つかるように並べられる。ペイロードユニット開始インジケータをトランスポートヘッダ内で検出すると同時に、トランスポート構文パーザはそのトランスポートパケット内の最初のペイロード位置にはPESヘッダが含まれていることを知る。
【００４５】
PESヘッダ72内に含まれるアイテムのひとつ（または、PESヘッダ内のPTSから推定されるもの）は、適正に画像データを復号化するためにビデオ構文パーザ40で必要なデコードタイムスタンプ(DTS)104である。本発明にしたがって、DTSはPESヘッダ72から抽出され、DRAM22のFIFO部分内に格納されたビデオ情報（画像データ）102内の画像ヘッダ100の後に再挿入される。DRAM22内に格納されたビデオ情報内へDTSを挿入することによって、デコンプレッションプロセッサがDRAM外のソースからDTSを検索しなくてもビデオ情報を処理することができるようになる。PTSもまた、もしDTSと異なる場合にはDRAM22内に格納される。
【００４６】
本発明の最大の特徴は、DTSが検出され、次に前のDTSがDRAM22に書き込まれることなく２番目のDTSが検出されるような特別のケースにおいて、ビデオ構文パーザに対しこのような状況を指示するべく特別のコードが与えられることである。より詳細には、ビデオ構文パーザはパケットが画像ヘッダを損失したことを知らせ、受信された２番目のDTSが次の画像として適当であろう旨を知らせる。パーザは、画像ヘッダの損失を検出すると、次画像に関連するDTSを捨てる。しかし、状況を識別する特別コードを受信すると同時に、ビデオ構文パーザ40はカレントDTSが先行の未使用DTSを上書きし、カレントDTSが有効であると仮定されていることを知る。
【００４７】
トランスポートストリームのビデオコンポーネントが上記したように取得されている間、ビデオ構文パーザ４０は続けてメモリマネージャ30からデータを要求し続ける。パケットインタフェースによりデータが書き込まれる速度は、それが解析される速度より非常に遅い為、DRAM22内のFIFOはパケットインタフェースがそこにデータを書き込んだ後すぐにはほぼ空白である。それから構文パーザは、DRAM22内のメモリマップを初期化するためにシーケンスヘッダ内で必要な情報のためのデータを解析する。シーケンスヘッダはPESペイロード内で運ばれるビデオ構文の一部であり、新しい一連のビデオ情報（画像）が続くことを示す。シーケンスヘッダは、DRAM22が圧縮されたビデオの解圧用のデータを格納するべく適正にマッピングされるように使用されるビデオコード（例えば、水平サイズ、垂直サイズ、サンプルアスペクト比、フレームレート、ビットレート、及びフレーム内／非フレーム内量子化等）及び画像のパラメータを識別する。シーケンスヘッダに付加されたシーケンス拡張部を検出すると同時に、メモリマップが初期化される。シーケンス拡張部は、ビデオがインタレース方式かプログレッシブ方式のいずれによりスキャンされたかというような付加的情報を与える。メモリマップの初期化中には、DRAM22へのアクセスはすべて拒否される。メモリマップが初期化された後は、DRAMへのアクセスが可能になる。この操作により、メモリマップが初期化される際、DRAM22のFIFO部分内に格納されたデータは喪失しないことが保証される。その後、ビデオ構文パーザ40はビデオデータのデコンプレッションを開始するために有効なDTSを有する最初の画像ヘッダを探し始める。
【００４８】
あらゆるデジタル通信方法において、時々データはトランスポートチャネルを通じて失われることが予想される。ビデオデータがビデオデコンプレッションプロセッサへ通信されるとき、画像ヘッダが損失することは有り得る。また受信ビデオデータを処理している最中に、DRAM22のFIFO部分がオーバーフローまたはアンダーフローすることも有り得る。このような場合には、エラー処理は、テレビスクリーン上で視聴者が気付く程の歪みの可能性を最小化させるように働かねばならない。スキップ画像も処理されねばならない。スキップ画像は送信チャネルから生じたエラーではないが、他のエラー同様に処理される。
【００４９】
MPEG-2及びDigiCipher II規格において、基本的ビデオのユニットはマクロブロックである。マクロブロックは１６×１６のビデオ画素のグループである。ビデオは階層的に符号化される。シーケンスはビデオシーケンスである。シーケンスは画像の集合から作られている。画像の集合は個別の画像から作られている。各画像は動きビデオの単一フレームに対応する。画像はスライス状に分解される。各スライスはマクロブロックから成る。マクロブロックは、１６×１６のルミナンス画素及び８×８のクロミナンス画素の２つのブロックを含む、計６つの８×８ブロックから成る。ブロックとは画素のあらゆる８×８ブロックを説明するのに使用される用語である。
【００５０】
画像ヘッダの損失を検出するために、図１に示されるデコンプレッションプロセッサのビデオ構文パーザ４０は各画像スライスの垂直位置をモニターする。もし、スライス垂直位置ｎ＜スライス垂直位置ｎ−１でありかつスライス垂直位置ｎ及びスライス垂直位置ｎ−１との間に画像ヘッダが存在しないならば、スライス垂直位置ｎは新規画像に属し、画像ヘッダが損失したと仮定される。もしパーザが損失画像ヘッダを検出すれば、それは次の画像ヘッダ上に発見でき取得できるが、もしそれがひとつのDTSを持っており、カレントDTSが有効であると仮定された上書き済みDTSであると知らされていなければ、そのDTSを無視する。もし、DTSが存在しなければ、ビデオ構文パーザは前のタイミング情報に基づいてひとつを予測する。もしエラーのため予測が間違っていたら、次の有効DTSが生まれるまでの短時間の間、装置は非同期状態にある。パケットインタフェースとビデオ構文パーザがいずれも損失した画像ヘッダで画像をカウントしていなかったため、DRAM22のFIFO部分内の画像のカウントは正しいままの状態を保つ。
【００５１】
画像が失われたときはいつでも、前の画像の表示が繰り返される。特に、DRAM22内で有効な最近表示された完全フレームが繰り返される。典型的に、これは最近表示されたIまたはPフレームである。最近のBフレームはDRAM22がBフレームを保持するのに十分に大きくなければ繰り返されず、それは無駄であり好適実施例ではない。
【００５２】
トランスポート構文パーザ32は画像開始コード及びシーケンスエンドコードの発生をモニターすることにより、DRAM22内のFIFO部分に完全画像の存在を検出する。FIFO内の画像数を調べると同時に、もしデコーダが復号化開始時間にFIFO内に完全な画像が存在しないと決定したら、エンコーダにおいてスキップ画像が発生したことが仮定される。
【００５３】
もしスキップ画像が検出されたら、現にFIFO内の不完全画像に関連するDTSが無効であると定義されるため無視される。ビデオプロセッサはDTSを予測しFIFOの状態を調べ続ける。完全画像がFIFO内に存在するとき、復号化が開始される。完全画像がFIFO内に生じるのを待つ間、最近表示された画像が繰り返される。
【００５４】
もしDTSが過去において、すなわち再構成されたデコーダタイムクロックにより指定されたカレント時間以前に存在することを検出されたら、同期はいくらかずれていて復号化処理が遅れてしまったことが仮定される。これが起きると、誤ったDTSに関連する画像データは復号化されず破棄される。もし、次の画像がDTSを持っていなければ、同期のずれは１画像以下であると仮定されてそれは復号化される。もし次の画像がDTSを持っていたら、DTSは過去に存在したか、その場合それは破棄されたかを確かめるべくチェックする必要がある。もしDTSが過去に存在しなければ、該DTSがカレントのとき関連する画像が復号化される。
【００５５】
FIFOがオーバーフローの場合、パケットは破棄され、オーバーフローが止んだあと最初にFIFOに書き込まれるのはシーケンスエラーコードである。復号化処理はこのような場合も他のパケットエラーと同様に扱い、エラーを隠そうとしながら破棄されたパケット内のデータに対しビデオ固定を適用する。アンダーフローは上記したスキップ画像と同じに扱われる。
【００５６】
静止映像は高速または低速モードでサポートされる。高速静止映像モードは、例えばユーザインタフェース14（図１）を通じてビデオプロセッサ内に、例えばカタログショッピングバイトをセットするユーザにより始められる。一度プロセッサがこのモードになると、時間リファレンスがページ番号レジスタ内の時間リファレンスと一致するような画像のみを復号化し表示する。ユーザプロセッサは、このレジスタを設定することによりどのページ（静止映像）が復号化されかつ表示されるかを選択しなければならない。
【００５７】
低速静止映像モードは低速画像ソースを表示するために、スライドショーに似たビデオプロセッサのスキップ画像性質のMPEG-2を使用する。取り込みの後、ビデオプロセッサがFIFO内に完全な画像が存在することを発見するときは常に、バッファ内に次の完全画像が存在するまでこの画像が復号化されかつ表示される。
【００５８】
もし新しい画像がすぐに続いていなければ、ビデオプロセッサはシーケンスエンドコードの後ビデオ出力を遮断するべく実行される。ビデオ再構成回路36のビデオ出力を遮断することは、ユーザのテレビスクリーンを黒くさせることになる。新しい画像が受信されるまでビデオ出力を遮断する替わりに、次の画像が受信されるまでシーケンスの最後の画像が繰り返される。それはケーブルテレビのヘッドエンドなどにコマーシャルを挿入する際に便利である。
【００５９】
本発明は、パケット化されたデータストリームからのビデオデータをトラッキングしかつ取り込むための、並びにそのようなデータ内のエラーを検出し、隠し及び回復するための改良された方法を与えることを認識すべきである。PESヘッダから引き出されたタイミング情報は、画像情報の復号化を容易にするためにビデオメモリ内に画像情報とともに格納される。トランスポートエラーを隠しかつ回復するためのさまざまな技術が与えられる。
【００６０】
発明は特定の実施例に関して説明されてきたが、特許請求の範囲に記載された発明の思想及び態様から離れることなく、さまざまな修正及び変更が可能であることは、当業者の知るところである。
【図面の簡単な説明】
【図１】 本発明の方法において使用するビデオデコンプレッションプロセッサのブロック図である。
【図２】 いかに可変長PESパケットが送信用の転送多重化を与える際に使用するために固定長トランスポートパケット内に再編成されるかを示す図である。
【図３】 いかに受信されたトランスポートパケットがデコーダにおいて、図１のDRAM内に格納するべく、画像情報及びタイムスタンプ情報を回復するために処理されるかを示した図である。
【符号の説明】
70 PESパケット
72 PESヘッダ
74 PESペイロード
80 ビデオトランスポートパケット
80’ トランスポートパケット
82 トランスポートパケットヘッダ
84 ペイロード
86 付加的フィールド
90 トランスポートマルチプレスクス
92 オーディオトランスポートパケット
94 他のコンポーネントパケット
【発明の属する技術分野】
本発明は、ビデオデコンプレッションプロセッサに関し、特に、パケット化データストリームから復号化されるべきビデオデータのような所望のデータを要求するための効果的な方法に関する。
【０００２】
【従来の技術】
テレビ信号のデジタル送信はアナログ技術より非常に高い品質のビデオ及びオーディオサービスを与える。デジタル送信は、特にケーブルテレビネットワークまたは衛星によりケーブルテレビ加入者に及び／または直接的に家庭衛星テレビ受信機に送信される放送に対して有効である。デジタルテレビ送信機及び受信機装置は、オーディオ業界でデジタルコンパクトディスクがアナログレコードに取って替わったように、現在のアナログ装置に取って替わることが期待されている。
【０００３】
実質的な量のデジタルデータがあらゆるデジタルテレビ装置内で送信されなければならない。デジタルテレビ装置において、加入者はビデオ、オーディオ及びデータを加入者に与えるレシーバ／デスクランブラを介してデジタルデータストリームを受信する。有効なラジオ周波数スペクトルを最も効果的に使用するために、送信すべきデジタルデータの量を最小化するべくデジタルテレビ信号を圧縮することが有利である。
【０００４】
テレビ信号のビデオ部分は、一緒になって動画を与えるビデオ“フレーム”の連続から成る。デジタルテレビ装置において、ビデオフレームの各ラインは“画素”と呼ばれる一連のデジタルデータビットにより画成される。大量のデータテレビ信号が各ビデオフレームを画成するのに要求される。例えば、NTSC(National Television System Committee)解像度で、ひとつのビデオフレームを与えるためには７.４メガビットのデータが要求される。これは、６４０画素×４８０本ラインのディスプレイが赤、緑及び青の各３原色に対して８ビットの強度値で使用されることを仮定している。PAL(phase alternating line)解像度では、ひとつのビデオフレームを与えるのに９.７メガビットのデータが必要である。この例では、７０４画素×５７６本ラインのディスプレイが赤、緑及び青の各３原色に対して８ビットの強度値で使用される。この大量のデータを扱うためには、データは圧縮されねばならない。
【０００５】
ビデオ圧縮技術は従来の通信チャネルを通じてデジタルビデオ信号の効果的送信を可能にする。そのような技術は、ビデオ信号内の重要情報のより効果的な表現を引き出すために、隣接画素間の相関関係を利用する圧縮アルゴリズムを使用する。最も強力な圧縮技術は空間的相関関係のみではなく、データをさらに圧縮するために隣接フレームの類似関係をも利用する。そのような装置において、実フレームと実フレームの予測との間の差のみを送信するよう、しばしば差分符号化が使用される。該予測は同一ビデオシーケンスの先行フレームから引き出された情報に基づく。
【０００６】
動き補償を使用したビデオ圧縮装置の例が、Krauseらによる、米国特許第5,057,916号、5,068,724号、5,091,782号、5,093,720号、及び5,235,419号に見られる。概して、そのような動き補償装置はブロックマッチング動き推定アルゴリズムを利用する。この場合、特定のカレントブロックに最も良く類似する先行フレーム内のひとつのブロックを識別することによって、イメージのカレントフレーム内の各ブロックに対してひとつの動きベクトルが決定される。その後、全カレントフレームは対応するブロック対の差を送ることによって、対応する対を識別するのに必要な動きベクトルとともに、デコーダにおいて再構成される。しばしば、送信されたデータ量は置換されたブロック差及び動きベクトル信号の両方を圧縮することによってさらに減少される。ブロックマッチング動き推定アルゴリズムは、離散コサイン変換(DCT)のようなブロックベースの空間圧縮技術と結合された時、特に効果的である。
【０００７】
圧縮されたビデオデータをレシーバへ送信する方法のひとつに、パケット化されたデータストリーム内に含まれるパケット形式がある。典型的に、圧縮ビデオデータを運ぶパケットは、テレビ信号を再構成するのに必要な対応するオーディオデータ及び制御情報を運ぶ他のパケットとともに多重化される。この方法でデジタルテレビ信号を送信するためのひとつの標準規格はMPEG-2規格であり、その詳細はここに参考文献として組み込む、the Telecommunications Standardization Sector、Study Group 15, Experts Group 4ATM-Video Coding of the International Organization for Standardization、 ISO-IEC/JTC1/SC29/WG11により出版された、AVC-491、version 1、April、1993発行の “Coded Representation of Picture and Audio Information”に記載されている。MPEG-2ビデオに対するさらに詳細なビデオシンタックス及びセマンティクスは、同じくここに参考文献として組み入れるInternational Organization for Standardization document ISO/IEC 13818-2 international standard、1995発行の “Generic Cording of Moving Pictures and Associated Audio Information :Video”に記載されている。興味あるものとして、同様に参考文献として組み入れるのはMotorola Microprocessor and Memory Technologies Group、 1994発行のドキュメントMC68VDP/Dの予備データシートの"MPEG-2/DCII Video Decompression Processor"であり、それはMPEG-2及びDigiCipher II規格を使用するビデオデコンプレッションプロセッサを説明する。
【０００８】
MPEG-2装置（及びジェネラル・インスツルメント・コーポレーションの所有の類似DigiCipher II装置）において、トランスポートストリームまたはトランスポートマルチプレクスは、固定長パケットの連続セットから成る。各パケットは長さが全部で１８８バイトあり、その内の最初の４バイトがパケットヘッダとして定義される。したがって各パケットのペイロード(payload)部分は通常１８４バイトである。しかし、可変長付加フィールドが必要に応じヘッダを拡張するのに与えられる。付加フィールドが存在するとき、パケットのペイロード部分は対応して短くなる。
【０００９】
さまざまなタイミング及び識別情報がトランスポートストリームの異なる部分に与えられる。これらは、特定のサービスコンポーネントを運ぶトランスポートパケットを識別するための参照番号を与えるよう各トランスポートパケットのトランスポートヘッド内にあるパケット識別子(PID)を含む。この番号には、テレビ番組信号を再構成するのに要求されるそれらのトランスポートパケットを識別するために、レシーバで使用されるサービス定義またはサービスマップ内に含まれている。PIDはまたさまざまなグルーミング(grooming)及び再多重化機能に対しても参照される。ビデオ、オーディオまたは等時性データにおいて、単一のPIDで表示されたパケットのストリームは、それぞれ単一のビデオ、オーディオまたは等時性データサービスのエレメンタリストリームを表す。
【００１０】
トランスポートストリームにより運ばれたタイミング情報は、サービスマップ内で参照されるPIDから成るサービスの基礎となるシステムタイムクロック(STC)タイムベースのサンプルを効果的に表すプログラムクロックリファレンス(PCR)を含む。PCRとともにパケットを運ぶPIDもまたサービスマップ内で参照される。サービスのビデオ、オーディオ及び等時性データコンポーネントは定義された関係に従ってシステムタイムクロックにロックされる。PCRは転送速度を定義するように機能し、すなわちひとつのPID内のあらゆる２つの連続PCRの間で転送速度は、システムタイムクロックの一単位の時間のPCR内の差で割り算されたPCR間の全トランスポートビット数の比の倍数であるシステムタイムクロック速度と名目的に等しいかまたは定数である。
【００１１】
トランスポートストリームにより運ばれたタイミング情報もまた表示用データの復号化及び表示の開始のためのタイムスタンプを含む。表示タイムスタンプ(PTS)は、サービスコンポーネントの獲得並びにタイミング及びバッファ制御がデコーダにおいて適正に動作しているかどうかを検討するために使用される。デコーダタイムスタンプ(DTS)は、該デコーダがヘッダにDTSを含むパケット化エレメンタリストリーム(PES)パケットのペイロード内のどこからか始まる最初のアクセスユニット（例えば、ビデオフレーム）を復号化し始める時間を示すのに使用される。パケット化エレメンタリデータストリームは可変長でありかつ典型的に固定長トランスポートパケットよりかなり長い端末PESパケットから成るデータストリームである。したがって、典型的にPESパケットは単一PIDを有する複数のトランスポートパケットからのデータから成る。
【００１２】
【発明が解決しようとする課題】
DSTは、ビデオ復号化の開始時間を適正に取るために、ビデオデコンプレッションプロセッサにより要求される。DSTはPESヘッダ内にパッケージ化されているため、レシーバのビデオデコンプレッションプロセッサにとって、解析されるべき関連ビデオデータを受信すると同時にDSTを得ることは困難であり複雑であった。解析前に、ビデオデータは、トランスポートストリームから検索された後に定期的にデータを格納するビデオメモリから検索される。必要なDSTを含むPESヘッダが放棄された後のある時点まで、ビデオデータはビデオデコンプレッションプロセッサによる復号化用に準備されない。
【００１３】
最初にDSTを運んだPESヘッダに再アクセスすることなく、またオーバーヘッドとして残りのPESヘッダを運ぶことなく、ビデオデコンプレッションプロセッサに対しDSTを与えるための方法をもたらすことが有利である。さらに、画像情報が失われた場合にデコーダの迅速な回復を可能にするべく、解圧されるべきビデオデータのフルセットではなく、２つのタイムスタンプの受信を検出するための方法を与えることが有利である。さらに、トランスポートストリームから検索されたビデオデータを格納するべくメモリマップが初期化される時、データが消失しないことを保証するための方法を与えることが有利である。
【００１４】
トランスポートストリームにより運ばれた画像データ内で画像ヘッダの喪失の発生を検知し、かつそのような喪失情報を回復するための方法を与えることが有利である。トランスポートストリームからの静止画像を選択的に復号化し表示するための方法もまた有利である。新規画像がすぐに有効でなければプロセッサのビデオ出力を沈黙させ、新規画像が有効になるまで前の画像を表示するための方法を与えることが所望される。
【００１５】
本発明は、トランスポートストリームからのビデオデータのトラッキング及び取り込み、並びに取り込まれたストリーム内のエラーの検出、マスキング、及び回復のための方法を与える。上記利点を有する本発明について以下に詳細に説明する。
【００１６】
【課題を解決するための手段】
本発明にしたがって、パケット化されたデータストリームから所望のサービス用のビデオデータを取り込むための方法が与えられる。該データストリームは、ビデオコンポーネント、オーディオコンポーネント及び制御コンポーネントのような異なるサービスのコンポーネントを運ぶトランスポートパケットを含む。特定のトランスポートパケットにより運ばれるコンポーネントは当該コンポーネントに対するパケット識別子(PID)により識別される。ひとつのコンポーネントは所望のサービスに対するタイミング情報を与えるプログラムクロックリファレンス(PCR)を含む。方法は、データストリームでPCRを運ぶコンポーネントから、所望のサービス用のPCRを検出する工程から成る。回復されたPCRはエンコーダタイミングに対応するデコーダタイムクロックを取り込みかつトラッキングするのに使用される。その際、トランスポートパケットのPIDは所望のサービスのビデオコンポーネントを運ぶそれらのパケットを回復するべくモニターされる。回復されたトランスポートパケットからのヘッダ情報は、PESヘッダ及び画像情報を有するパケット化エレメンタリストリーム(PES)パケットを回復するべく処理される。タイムスタンプ情報は、少なくとも一つのPESパケットのPESヘッダから得られる。該タイムスタンプ情報はバッファされ、その後メモリに格納するべく関係画像情報へ追加される。このようにして、画像情報はメモリから読み出され、タイムスタンプ情報用のPESヘッダに再アクセスしなくとも追加タイムスタンプ情報を使って復号化され得る。
【００１７】
典型的に画像情報は復号化されるべき連続ビデオイメージ間の境界に画像ヘッダを含む。PESヘッダから得られたタイムスタンプ情報はパケット化データストリーム内のPESヘッダに続く次画像ヘッダ内に挿入される。特に、タイムスタンプ情報は次画像ヘッダ内に含まれる画像開始コードの後に挿入される。
【００１８】
タイムスタンプ情報は復号化されるべき各連続ビデオイメージに対して与えられる。この例において、PESパケットは、エラー発生を示す状態を知るために、介在画像開始コード無しで、タイムスタンプを有する２つのPESヘッダの獲得を検出するためにモニターされる。介在画像開始コード無しで２つのそのようなPESヘッダの受信が検出されるとき、２つのタイムスタンプのうちの最初が無視された状態で、第２のタイムスタンプが次画像開始コードの後に挿入される。後続の処理セクションにエラーの発生を示すため、デコーダによって制御ビットが第２タイムスタンプに関連付けられる。
【００１９】
効果的方法でタイムスタンプ情報の処理に加え、取り込みはメモリの再構成を要求する。画像情報は画素データ及び画素データが如何に復号化されるべきかに関する情報を与えるビデオシーケンスヘッダを含むところの実行において、画像情報を格納するメモリはシーケンスヘッダからの情報に応答して特定のマッピングを獲得すると同時に再構成される。メモリが再構成されている間は、メモリマップの初期化の間にデータが喪失しないことを保証するためにメモリ内に格納されたデータへのアクセスの要求は拒絶される。
【００２０】
所望の静止画像の取り込み、選択及び表示もまたサポートされる。特に、画像情報が連続ビデオ画像の間の境界に画像ヘッダを含む場合、各画像ヘッダは後続ビデオ画像のためのリファレンス番号を含む。特定のビデオ画像がそれに関連するリファレンス番号を参照することによって復号化するために選択される。選択された画像は復号化され、同一のリファレンス番号を有する他の画像が選択され受信され表示されるまで静止画像として表示される。
【００２１】
トランスポートストリームにより運ばれた画像情報は、表示用ビデオプロセッサにより復号化されるべきビデオイメージの終了を示すシーケンスエンドコードを含む。シーケンスエンドコードが検出され、後続ビデオイメージはシーケンスエンドコードに続いて復号化し表示するのに現に有効であるか否かに関する決定が為される。もし、そのような有効な後続ビデオイメージが存在しなければ、ビデオプロセッサのビデオ出力は新規ビデオイメージが有効になるまで沈黙される。替わって、ビデオプロセッサの出力には、新規ビデオ画像が有効になるまで処理された最後のビデオ画像が与えられる。損失画像ヘッダから回復するために、トランスポートストリームから受信された画像情報が画像ヘッダの損失の発生を検知するべくモニターされる。検出と同時に、メモリ内に含まれる最近表示された画像情報の全フレームの表示が、後続画像ヘッダの後に受信されるビデオデータの新規全フレームが表示用に有効になるまで繰り返される。
【００２２】
エラーにより発生するものではないが、エンコーダでスキップされた画像は類似の方法で扱われる。スキップされた画像から回復するために、メモリはフレームの復号化が開始される時、完全なビデオフレーム用のデータがメモリ内に存在するか否かを検出するべくモニターされる。完全なビデオフレームが存在しないと検出されると同時に、メモリ内に含まれている最近表示された復号化画像情報の完全フレームの表示が繰り返される。
【００２３】
無効なタイムスタンプ情報からの回復もまた与えられる。特に、ひとたび有効なDTSに応答して復号化プロセスが開始されると、デコーダは一度にひとつの入力フレームを復号化し続ける。DTSの間、フレームは過去の復号化時間から導かれる時間で復号化される。新規DTSが受信されると、そのDTSにより示された時間は、復号化時間でのデコーダタイムクロックの値と比較される。もしDTSにより示された時間がデコーダタイムクロックの値に先んじたら、（すなわち、DTSがすでに通過してしまったら）同期がくずれかつビデオデコンプレッションプロセッサ(VDP)は復号化処理において後ろにあることが仮定される。したがってそのタイムスタンプ情報に関連する画像情報は放棄され、VDPはその画像を復号化しない。
【００２４】
【発明の実施の形態】
図１は、レシーバでのテレビ番組を再構成するために必要なビデオデータを格納しかつ検索するための外部DRAM22をアドレスするメモリマネージャ30を伴うビデオデコンプレッションプロセッサのブロック図である。符号20で表されるプロセッサは、トランスポートレイヤ（すなわち、制御及びその他のビデオ以外の情報）及び、ビデオプロセッサのトランスポートパケットインタフェースと呼ばれる端子10を通じて入力される圧縮ビットストリームのビデオレイヤの両方を復号化するために設計されたパイプラインプロセッサである。
【００２５】
ユーザプロセッサインタフェースは、プロセッサ20内にさまざまなレジスタを形成するＭバスコントローラ50を通じて、端子14においてビデオデータプロセッサの制御用に与えられる。Ｍバスは、単純でかつ効果的な素子間データ交換のための手段を与える２線式両方向シリアルバスであって、I2Cバス規格と完全にコンパチブルである。
【００２６】
DRAM22へのひとつのインタフェースがアドレスライン24及びデータライン26を通じて与えられる。図１に示された例では、DRAM22は９ビットアドレスポート及び３２ビットデータポートを有する。
【００２７】
ビデオ出力インタフェース38は、例えば、CCIR規格(International Radio Consultive committee)656で、８ビット、２７メガヘルツの多重化ルミナンス(Y)及びクロミナンス(Cr、 Cb)信号として出力される解圧され再構成されるビデオ用に与えられる。
【００２８】
テストインタフェースが端子62を通じて、従来のJTAG(Joint Test Action Group)コントローラ60へ与えられる。JTAGは、内部回路同様にパッケージ及びボード結合における欠陥を検出するためのボードレベル試験用に使用される標準化された境界スキャン方法論である。
【００２９】
ビデオデコンプレッションプロセッサ20は端子12を通じてクロック信号を受信する。該クロックは、トランスポート構文パーザ32が、端子10を通じて入力されたパケット化データストリーム内に含まれるトランスポートパケットからタイミング情報及びビデオ情報を回復可能になるように使用されるタイミング情報を与える。取り込み及びエラーマネージメント回路34は、プログラムクロックリファレンス(PCR)を利用し、画像の復号化の開始と同期化させるべくビデオ構文パーザ40により検出されたタイムスタンプ(DTS)を復号化する。この回路は垂直同期を設定し、すべてのビデオ及び表示機能に対し全体的な同期化を与える。
【００３０】
ビデオレイヤは、メモリマネージャ30により外部DRAM22内に形成された入力バッファ(FIFO)内にバッファされる。ビデオ構文パーザ40はDRAM FIFOから出力された圧縮ビデオデータをメモリマネージャ30を通じて受信し、動きベクトル情報をビデオ情報をもたらす係数から分離する。該係数は、ハフマン(Huffman)デコーダ52、逆量子化器54、及び逆離散コサイン変換(IDCT)プロセッサ56により処理される。
【００３１】
動きベクトルは回復され、カレントビデオフレームを再構成するために必要な先行の復号化ビデオフレームをアドレスするために使用される。特に、動きベクトルデコーダ42はビデオ構文パーザ40から受信された動きベクトルを復号化し、それらを予測アドレスジェネレータ44に送信する。該予測アドレスジェネレータは、予測計算機46がカレントフレームブロックを再構成するのに必要な予測信号を与えることができるように、メモリマネージャ30を通じて必要なアンカーフレーム（すなわち、フレーム内(I)または予測(P)フレーム）データを検索するのに必要なアドレス情報を与える。差分デコーダ48は、デコンプレッションビデオデータを与えるべく、予測データを復号化係数データと結合する。デコンプレッションデータはメモリマネージャ30を通じて、DRAM22の適当なバッファ内に格納される。動きベクトルデコーダ42、予測アドレスジェネレータ44、予測計算機46、差分デコーダ48、ハフマンデコーダ52、逆量子化器54及びIDCT56により実行されるビデオデコンプレッション処理工程は、一般的なものであり当業者に周知の技術であることを認識すべきである。
【００３２】
メモリマネージャ30は、外部DRAMアドレス及びデータバス24、26上のすべての動作を予定し、かつDRAM22を効果的にアドレスする。メモリマネージャは、DRAM22の入力FIFO部分、ビデオ構文パーザ40及びビデオ再構成回路36（予測計算機46及び差分デコーダ48と同様）のデータ送信条件が一致することを保証する。ビデオ再構成回路36はカレント画像を立ち上げ、クローズドキャプション、垂直インターバルテスト信号(VITS)及び/またはテストパターンデータをビデオ出力ライン38への出力用に挿入する。ビデオデータの圧縮フレームのための復号化プロセスは、デコーダタイムクロックにより特定化される時間を、ビデオフレームが復号化されるべき時間を示すデコードタイムスタンプ(DTS)と比較することによって同期化される。デコンプレッションフレームのための表示プロセスはデコーダタイムクロックにより特定化された時間を、ビデオフレームが表示用に与えられるべき時間を示すプレゼンテーションタイムスタンプ(PTS)と比較することにより同期化される。
【００３３】
メモリマネージャはまた、両方向予測フレーム（Ｂフレーム）を伴うかまたは伴わない、例えばNTSCまたはPALの復号化モードに依存するDRAM22のFIFO部分に対し可変サイズをもたらす。ビデオバッファ制御はDRAM22によって与えられるFIFOがオーバーフローまたはアンダーフローしないことを確認する。バッファ制御はPCR及びDTSを含むシステムタイミングパラメータの機能である。
【００３４】
DRAM22は外部メモリとして図示され、８メガビット実行用には２つの４メガビットDRAMを、１６メガビット実行用には４つの４メガビットDRAMを、というように複数のDRAMチップによりもたらされる。将来的には、メモリ技術の進歩によりDRAM22はビデオデコンプレッションプロセッサ内の内部メモリとして与えられるであろう。DRAMは圧縮された入力ビデオビットストリームに対する循環FIFOバッファと同様に、さまざまなデコード及び出力ビデオバッファを与えるべくマッピングされる。DRAMはまた、復号化されたビデオフレームを適正に表示するのに必要なさまざまな画像組立データを格納するとともに、テストパターンバッファ、VITSバッファ、及びクローズドキャプション表示並べ替えバッファを与えるためにも使用される。DRAMは、PALまたはNTSCビデオか、８または１６メガビットメモリ形式か、またBフレームが存在するか否か等により変数が修正されたときに要求されるような異なるメモリマップを与えるために、メモリマネージャ30を通じて再初期化される。
【００３５】
上記したように、メモリマネージャ30は、入力FIFO、ビデオパーザ及びビデオ再構成回路のデータトランスポート条件を含む外部DRAMバス上のすべての動作を予定する。メモリマネージャはまた、従来の方法で、要求されたDRAMをリフレッシュする。例えば、各２つまたは４つの外部DRAM内の同一行が同時にリフレッシュされる。
【００３６】
圧縮ビデオデータを含むパケット化ビットストリームがビデオデコンプレッションプロセッサ20の端子10に入力されるとき、圧縮データにより表されたビデオフレームが一度にひとつずつ再構成される。最初に、完全フレームのビデオデータが受信されDRAM22内に格納されなければならない。後続ビデオフレーム用の情報は、先行ビデオフレーム（DRAM22内に格納された）からの予測データに加えられれば完全フレームを再構成するであろう完全ビデオフレームのサブセットから成る。
【００３７】
図２(A)は、各々がヘッダ(PES-HDR)72及びPESペイロード74を有する連続のPESパケットを運ぶパケット化されたエレメンタリストリームの一部を示す。PESパケット70は可変長である。
【００３８】
典型的に、PESパケットの長さは数千バイトである。それらは、トランスポートパケットペイロード内で分割されたとき、各PESヘッダの最初のバイトがあるトランスポートパケットの最初のペイロード位置に配置されるような方法で並べられるよう要求される。整列PESヘッダを運ぶすべてのトランスポートパケットに対し、ペイロードユニット開始インジケータがトランスポートパケット用のトランスポートヘッダ内にセットされる。MPEG-2及びDigiCipher IIシステムにおいて、PESフォーマットは固有の同期状態にあるすべてのサービスコンポーネントに対して使用される。特に、ビデオ、オーディオ及び等時性データコンポーネントがパケット化エレメンタリストリームとして運ばれ、PESヘッダ72はパケット開始コードプレフィクス、ストリーム識別、及びPESパケット長を含むペイロードを画成するのに必要なさまざまな情報を運ぶ。ヘッダはまたプレゼンテーションタイムスタンプ(PTS)またはPTSとデコードタイムスタンプ(DTS)の両方を含む。ヘッダがPTSのみを運ぶとき、DTSはPTSと同一であると推定される。最初のプレゼンテーションユニット（すなわち、ビデオフレーム、オーディオ同期化フレーム、等時性データアクセスユニット）であってそのアクセスユニットがこのPESパケットのペイロード内のどこかで開始するものが存在するとき、PTSはデコーダ装置タイムクロックリファレンスの対応するバイトが有すべき値を示すフィールドである。ビデオに対して、もし画像開始コードの最初のバイトがPESパケットのペイロード内に存在すれば、アクセスユニットが開始する。オーディオに対して、もしオーディオ同期ワードがこのPESパケットのペイロード内に存在すれば、アクセスユニットが始まる。等時性データに対して、アクセスユニットはPESパケットペイロードの最初のバイトで開始する。PTSフィールドはサービスコンポーネントの取り込みに使用され、タイミング及びバッファ制御がデコーダにおいて適正に動作しているかどうかを評価するために使用される。
【００３９】
デコーダがPESパケットのペイロード内のどこかで開始された最初のアクセスユニットを復号化し始めたとき、DTSは、再構成されたデコーダタイムクロックリファレンスの対応ビットとして持つべき値を示すフィールドである。PTS及びDTSは、ビデオに対してのみ、及びBフレームとともにIフレーム及びPフレームが送信されるようなケースでのみ異なるものである。
【００４０】
PESペイロードはレシーバへ送信されるのを所望される情報データを含む。例えば、ペイロードはレシーバにとってデジタルテレビ信号を復号化し再構成するために必要なすべてのビデオまたはオーディオ情報を一緒に含む。
【００４１】
粗さ及び単純さの要求に合わせるために、固定パケット長アプローチが可変長PESパケットに対し好適である。図２(B)に示されるように、PESパケット70を含むパケット化エレメンタリストリームは固定長トランスポートパケット80のストリームへフォーマットされる。図２(B)に示されたトランスポートパケットは、デジタルテレビ送信のビデオコンポーネントのような同一のサービスコンポーネントに対応している。MPEG-2及びDigiCipher IIの例において、各パケットは全部で１８８バイトの長さを有し、内最初の４バイトがトランスポートパケットヘッダ(XPT HDR)82を構成する。したがって、各パケット80のペイロード部分84は通常１８４バイトである。しかし、トランスポートパケット80’で示されるような付加的なフィールド機構が必要に応じてヘッダを拡張するべく与えられる。付加フィールド86は、すべてのトランスポートパケットに対しては必要でない付加的情報を与える。付加的フィールド(ADPT FIELD)86は、付加フィールドが与えられるときはいつでも１８４バイト以下であるペイロードを犠牲にして標準的トランスポートヘッダ82を拡張する。付加的フィールド86は、そこに含まれる情報量によって可変長である。典型的に、付加フィールドはタイムベースリカバリその他の機能に対する付加的情報をサポートし、またペイロードが１８４バイトすべてを占めないときにペイロードを水増しするための機構も与える。例えば、そのような、水増しは、可変長ビデオPESパケットを固定数のトランスポートパケット内に納めるために使用される。
【００４２】
図２(B)に示されるように、各トランスポートパケットのトランスポートヘッダはトランスポートパケットにより運ばれる特定のサービスコンポーネントを識別するためのPIDを含む。PCRは、所望のサービス用のタイミング情報を与えるべく付加的フィールドにより運ばれる。レシーバにおいて、所望のサービスに対するPCRが付加的フィールドから検出される。特定のPIDのトランスポートパケットは処理中のサービスの特定のコンポーネントを回復するべくモニターされる。図１のビデオデコンプレッションプロセッサはビデオ情報を処理するので、処理中のビデオコンポーネントを示すPIDを有するすべてのトランスポートパケットを探すためにトランスポートパケットをモニターする。ビデオコンポーネントの処理は図３との関係でさらに詳細に説明される。
【００４３】
さまざまなサービスコンポーネントからのトランスポートパケットは図２(C)に示されるようにトランスポートマルチプレクス90で多重化される。トランスポートマルチプレクスは、レシーバにおいてサービスを再構成するのに必要な各異なるコンポーネント（例えば、ビデオ、オーディオ及び制御）からの散在パケットを運ぶ。図２(C)に示された転送多重化の例において、ビデオトランスポートパケット80(A1、A2、A3.....)の次にオーディオトランスポートパケット92(B1、B2、B3......)が続き、その次にさらにトランスポートパケットストリームにより運ばれた他のサービスまたはデータであるコンポーネントパケット94(C1、C2、C3......)が続いている。
【００４４】
図３は、図１に示されたようなビデオデコンプレッションプロセッサによるビデオトランスポートパケットの処理を示したものである。複数のトランスポートパケット80は、連続トランスポートパケットからPESペイロードを再構成するのに必要なペイロード情報を取り去るトランスポート構文パーザ32により受信される。トランスポートヘッダ82内の情報はペイロード情報を識別するのに使用され、その結果PESヘッダ72と同様にPESペイロードデータ74の再構成も可能となる。上記したように、PESパケットは、それらがトランスポートペイロードに分割されたとき、各PESヘッダの最初のバイトがあるトランスポートパケットの最初のペイロード位置で見つかるように並べられる。ペイロードユニット開始インジケータをトランスポートヘッダ内で検出すると同時に、トランスポート構文パーザはそのトランスポートパケット内の最初のペイロード位置にはPESヘッダが含まれていることを知る。
【００４５】
PESヘッダ72内に含まれるアイテムのひとつ（または、PESヘッダ内のPTSから推定されるもの）は、適正に画像データを復号化するためにビデオ構文パーザ40で必要なデコードタイムスタンプ(DTS)104である。本発明にしたがって、DTSはPESヘッダ72から抽出され、DRAM22のFIFO部分内に格納されたビデオ情報（画像データ）102内の画像ヘッダ100の後に再挿入される。DRAM22内に格納されたビデオ情報内へDTSを挿入することによって、デコンプレッションプロセッサがDRAM外のソースからDTSを検索しなくてもビデオ情報を処理することができるようになる。PTSもまた、もしDTSと異なる場合にはDRAM22内に格納される。
【００４６】
本発明の最大の特徴は、DTSが検出され、次に前のDTSがDRAM22に書き込まれることなく２番目のDTSが検出されるような特別のケースにおいて、ビデオ構文パーザに対しこのような状況を指示するべく特別のコードが与えられることである。より詳細には、ビデオ構文パーザはパケットが画像ヘッダを損失したことを知らせ、受信された２番目のDTSが次の画像として適当であろう旨を知らせる。パーザは、画像ヘッダの損失を検出すると、次画像に関連するDTSを捨てる。しかし、状況を識別する特別コードを受信すると同時に、ビデオ構文パーザ40はカレントDTSが先行の未使用DTSを上書きし、カレントDTSが有効であると仮定されていることを知る。
【００４７】
トランスポートストリームのビデオコンポーネントが上記したように取得されている間、ビデオ構文パーザ４０は続けてメモリマネージャ30からデータを要求し続ける。パケットインタフェースによりデータが書き込まれる速度は、それが解析される速度より非常に遅い為、DRAM22内のFIFOはパケットインタフェースがそこにデータを書き込んだ後すぐにはほぼ空白である。それから構文パーザは、DRAM22内のメモリマップを初期化するためにシーケンスヘッダ内で必要な情報のためのデータを解析する。シーケンスヘッダはPESペイロード内で運ばれるビデオ構文の一部であり、新しい一連のビデオ情報（画像）が続くことを示す。シーケンスヘッダは、DRAM22が圧縮されたビデオの解圧用のデータを格納するべく適正にマッピングされるように使用されるビデオコード（例えば、水平サイズ、垂直サイズ、サンプルアスペクト比、フレームレート、ビットレート、及びフレーム内／非フレーム内量子化等）及び画像のパラメータを識別する。シーケンスヘッダに付加されたシーケンス拡張部を検出すると同時に、メモリマップが初期化される。シーケンス拡張部は、ビデオがインタレース方式かプログレッシブ方式のいずれによりスキャンされたかというような付加的情報を与える。メモリマップの初期化中には、DRAM22へのアクセスはすべて拒否される。メモリマップが初期化された後は、DRAMへのアクセスが可能になる。この操作により、メモリマップが初期化される際、DRAM22のFIFO部分内に格納されたデータは喪失しないことが保証される。その後、ビデオ構文パーザ40はビデオデータのデコンプレッションを開始するために有効なDTSを有する最初の画像ヘッダを探し始める。
【００４８】
あらゆるデジタル通信方法において、時々データはトランスポートチャネルを通じて失われることが予想される。ビデオデータがビデオデコンプレッションプロセッサへ通信されるとき、画像ヘッダが損失することは有り得る。また受信ビデオデータを処理している最中に、DRAM22のFIFO部分がオーバーフローまたはアンダーフローすることも有り得る。このような場合には、エラー処理は、テレビスクリーン上で視聴者が気付く程の歪みの可能性を最小化させるように働かねばならない。スキップ画像も処理されねばならない。スキップ画像は送信チャネルから生じたエラーではないが、他のエラー同様に処理される。
【００４９】
MPEG-2及びDigiCipher II規格において、基本的ビデオのユニットはマクロブロックである。マクロブロックは１６×１６のビデオ画素のグループである。ビデオは階層的に符号化される。シーケンスはビデオシーケンスである。シーケンスは画像の集合から作られている。画像の集合は個別の画像から作られている。各画像は動きビデオの単一フレームに対応する。画像はスライス状に分解される。各スライスはマクロブロックから成る。マクロブロックは、１６×１６のルミナンス画素及び８×８のクロミナンス画素の２つのブロックを含む、計６つの８×８ブロックから成る。ブロックとは画素のあらゆる８×８ブロックを説明するのに使用される用語である。
【００５０】
画像ヘッダの損失を検出するために、図１に示されるデコンプレッションプロセッサのビデオ構文パーザ４０は各画像スライスの垂直位置をモニターする。もし、スライス垂直位置ｎ＜スライス垂直位置ｎ−１でありかつスライス垂直位置ｎ及びスライス垂直位置ｎ−１との間に画像ヘッダが存在しないならば、スライス垂直位置ｎは新規画像に属し、画像ヘッダが損失したと仮定される。もしパーザが損失画像ヘッダを検出すれば、それは次の画像ヘッダ上に発見でき取得できるが、もしそれがひとつのDTSを持っており、カレントDTSが有効であると仮定された上書き済みDTSであると知らされていなければ、そのDTSを無視する。もし、DTSが存在しなければ、ビデオ構文パーザは前のタイミング情報に基づいてひとつを予測する。もしエラーのため予測が間違っていたら、次の有効DTSが生まれるまでの短時間の間、装置は非同期状態にある。パケットインタフェースとビデオ構文パーザがいずれも損失した画像ヘッダで画像をカウントしていなかったため、DRAM22のFIFO部分内の画像のカウントは正しいままの状態を保つ。
【００５１】
画像が失われたときはいつでも、前の画像の表示が繰り返される。特に、DRAM22内で有効な最近表示された完全フレームが繰り返される。典型的に、これは最近表示されたIまたはPフレームである。最近のBフレームはDRAM22がBフレームを保持するのに十分に大きくなければ繰り返されず、それは無駄であり好適実施例ではない。
【００５２】
トランスポート構文パーザ32は画像開始コード及びシーケンスエンドコードの発生をモニターすることにより、DRAM22内のFIFO部分に完全画像の存在を検出する。FIFO内の画像数を調べると同時に、もしデコーダが復号化開始時間にFIFO内に完全な画像が存在しないと決定したら、エンコーダにおいてスキップ画像が発生したことが仮定される。
【００５３】
もしスキップ画像が検出されたら、現にFIFO内の不完全画像に関連するDTSが無効であると定義されるため無視される。ビデオプロセッサはDTSを予測しFIFOの状態を調べ続ける。完全画像がFIFO内に存在するとき、復号化が開始される。完全画像がFIFO内に生じるのを待つ間、最近表示された画像が繰り返される。
【００５４】
もしDTSが過去において、すなわち再構成されたデコーダタイムクロックにより指定されたカレント時間以前に存在することを検出されたら、同期はいくらかずれていて復号化処理が遅れてしまったことが仮定される。これが起きると、誤ったDTSに関連する画像データは復号化されず破棄される。もし、次の画像がDTSを持っていなければ、同期のずれは１画像以下であると仮定されてそれは復号化される。もし次の画像がDTSを持っていたら、DTSは過去に存在したか、その場合それは破棄されたかを確かめるべくチェックする必要がある。もしDTSが過去に存在しなければ、該DTSがカレントのとき関連する画像が復号化される。
【００５５】
FIFOがオーバーフローの場合、パケットは破棄され、オーバーフローが止んだあと最初にFIFOに書き込まれるのはシーケンスエラーコードである。復号化処理はこのような場合も他のパケットエラーと同様に扱い、エラーを隠そうとしながら破棄されたパケット内のデータに対しビデオ固定を適用する。アンダーフローは上記したスキップ画像と同じに扱われる。
【００５６】
静止映像は高速または低速モードでサポートされる。高速静止映像モードは、例えばユーザインタフェース14（図１）を通じてビデオプロセッサ内に、例えばカタログショッピングバイトをセットするユーザにより始められる。一度プロセッサがこのモードになると、時間リファレンスがページ番号レジスタ内の時間リファレンスと一致するような画像のみを復号化し表示する。ユーザプロセッサは、このレジスタを設定することによりどのページ（静止映像）が復号化されかつ表示されるかを選択しなければならない。
【００５７】
低速静止映像モードは低速画像ソースを表示するために、スライドショーに似たビデオプロセッサのスキップ画像性質のMPEG-2を使用する。取り込みの後、ビデオプロセッサがFIFO内に完全な画像が存在することを発見するときは常に、バッファ内に次の完全画像が存在するまでこの画像が復号化されかつ表示される。
【００５８】
もし新しい画像がすぐに続いていなければ、ビデオプロセッサはシーケンスエンドコードの後ビデオ出力を遮断するべく実行される。ビデオ再構成回路36のビデオ出力を遮断することは、ユーザのテレビスクリーンを黒くさせることになる。新しい画像が受信されるまでビデオ出力を遮断する替わりに、次の画像が受信されるまでシーケンスの最後の画像が繰り返される。それはケーブルテレビのヘッドエンドなどにコマーシャルを挿入する際に便利である。
【００５９】
本発明は、パケット化されたデータストリームからのビデオデータをトラッキングしかつ取り込むための、並びにそのようなデータ内のエラーを検出し、隠し及び回復するための改良された方法を与えることを認識すべきである。PESヘッダから引き出されたタイミング情報は、画像情報の復号化を容易にするためにビデオメモリ内に画像情報とともに格納される。トランスポートエラーを隠しかつ回復するためのさまざまな技術が与えられる。
【００６０】
発明は特定の実施例に関して説明されてきたが、特許請求の範囲に記載された発明の思想及び態様から離れることなく、さまざまな修正及び変更が可能であることは、当業者の知るところである。
【図面の簡単な説明】
【図１】 本発明の方法において使用するビデオデコンプレッションプロセッサのブロック図である。
【図２】 いかに可変長PESパケットが送信用の転送多重化を与える際に使用するために固定長トランスポートパケット内に再編成されるかを示す図である。
【図３】 いかに受信されたトランスポートパケットがデコーダにおいて、図１のDRAM内に格納するべく、画像情報及びタイムスタンプ情報を回復するために処理されるかを示した図である。
【符号の説明】
70 PESパケット
72 PESヘッダ
74 PESペイロード
80 ビデオトランスポートパケット
80’ トランスポートパケット
82 トランスポートパケットヘッダ
84 ペイロード
86 付加的フィールド
90 トランスポートマルチプレスクス
92 オーディオトランスポートパケット
94 他のコンポーネントパケット
Claims (6)
- サービスの異なるコンポーネントを運ぶトランスポートパケットを含むパケット化データストリームから所望のサービス用のビデオデータを取り込むための方法であり、該コンポーネントがそのコンポーネントに対するパケット識別子(PID)により識別されている特定のトランスポートパケットにより運ばれるところの方法であって、
前記サービスのビデオコンポーネントを運ぶトランスポートパケットを回復するためにトランスポートパケットのPIDをモニターする段階と、
パケット化エレメンタリストリーム(PES)ヘッダ及び画像情報を有するPESパケットを回復するために、回復されたトランスポートパケットからのヘッダ情報を処理する段階であって、前記画像情報は復号化されるべき連続ビデオイメージの間の境界に画像ヘッダを含むところの段階と、
前記PESパケットの少なくともひとつのPESヘッダからタイムスタンプ情報を得る段階と、
前記PESヘッダから得られた前記タイムスタンプ情報が、前記パケット化データストリーム内のPESヘッダより後の次画像ヘッダ内であって、前記次画像ヘッダに含まれる画像開始コードの後ろに挿入されるように、前記タイムスタンプ情報を対応する画像情報に付加してメモリに格納する段階と、
間に画像開始コードを含まないで、タイムスタンプを有する２つの PES パケットヘッダの受信を検出するべく、前記 PES パケットをモニターする段階と、
間に画像開始コードを含まないで、タイムスタンプを有する２つの PES パケットヘッダの受信が検出されるような場合に、前記２つの PES パケットヘッダの最初の方からのタイムスタンプを無視しながら、２番目の PES パケットヘッダからのタイムスタンプを次の画像開始コードの後に挿入する段階と、
から成り、
前記画像情報が、前記タイムスタンプ情報に対する前記PESヘッダを再アクセスせずとも、前記メモリから読み出され、付加されたタイムスタンプ情報を使って復号化される、
ところの方法。 - 請求項１に記載の方法であって、さらに
間に画像開始コードを含まないで、タイムスタンプを有する２つのPESパケットヘッダを受信したことを示すコードを与える段階と、
前記２つのPESパケットヘッダの内２番目の方からのタイムスタンプが無効であるとして無視されることを防止するために前記コードを使用する段階と、
から成る方法。 - 前記画像情報が画素データ及び該画素データが如何に復号化されるかに関する情報を与えるビデオシーケンスヘッダを含むところの請求項１に記載の方法であって、さらに
前記シーケンスヘッダからの情報に応答して、前記メモリをマッピングする段階と、
メモリがマッピングされている間に、当該メモリへの読み書きのアクセス要求が拒否される段階と、
から成る方法。 - 請求項１に記載された方法であって、さらに
画像ヘッダの損失の発生を検出するべく、前記画像情報をモニターする段階と、
そのような検出と同時に、後続画像ヘッダの後ろの新しい完全フレームが表示に有効であるまで、前記メモリ内にまだ含まれている画像情報の最近表示された完全フレームの表示を繰り返す段階と、
から成る方法。 - 前記コンポーネントのひとつが前記所望のサービス用のタイミング情報を与えるプログラムクロックリファレンス(PCR)を含むところの請求項１に記載の方法であって、さらに
前記データストリーム内でPCRを運ぶコンポーネントから前記所望のサービス用のPCRを検出する段階と、
タイムスタンプ情報により表された時間がデコーダタイムクロックの値より先んじているかどうかを決定するために、前記タイムスタンプ情報を前記PCRで同期されたデコーダタイムクロックの値と比較する段階と、
もし先んじていれば、そのタイムスタンプ情報に関連する画像情報を破棄する段階と、
から成る方法。 - 前記画像情報が連続ビデオ映像の間の境界に画像ヘッダを含み、各画像ヘッダが以下のビデオ映像用のリファレンス番号を有するところの請求項１に記載の方法であって、さらに
特定のビデオ映像がそれに関連するリファレンス番号を参照することにより復号化用に選択されることを可能とする段階と、
選択された映像を復号化し、かつ同一リファレンス番号の後続の選択映像が表示準備されるまでそれを静止映像として表示する段階と、
から成る方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US392,421 | 1995-02-28 | ||
| US08/392,421 US5517250A (en) | 1995-02-28 | 1995-02-28 | Acquisition of desired data from a packetized data stream and synchronization thereto |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0937252A JPH0937252A (ja) | 1997-02-07 |
| JP3839089B2 true JP3839089B2 (ja) | 2006-11-01 |
Family
ID=23550520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06167896A Expired - Lifetime JP3839089B2 (ja) | 1995-02-28 | 1996-02-26 | パケット化されたデータストリームからの所望データの取り込み及び同期化方法 |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US5517250A (ja) |
| EP (1) | EP0730384B1 (ja) |
| JP (1) | JP3839089B2 (ja) |
| KR (1) | KR100365384B1 (ja) |
| CN (1) | CN1110958C (ja) |
| AU (1) | AU697213B2 (ja) |
| BR (1) | BR9600831A (ja) |
| CA (1) | CA2169348C (ja) |
| DE (1) | DE69633475T2 (ja) |
| ES (1) | ES2227567T3 (ja) |
| NO (1) | NO314480B1 (ja) |
| TW (1) | TW308775B (ja) |
Families Citing this family (155)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9405914D0 (en) | 1994-03-24 | 1994-05-11 | Discovision Ass | Video decompression |
| US6330665B1 (en) | 1992-06-30 | 2001-12-11 | Discovision Associates | Video parser |
| US5842033A (en) | 1992-06-30 | 1998-11-24 | Discovision Associates | Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system |
| US6047112A (en) | 1992-06-30 | 2000-04-04 | Discovision Associates | Technique for initiating processing of a data stream of encoded video information |
| US5798719A (en) | 1994-07-29 | 1998-08-25 | Discovision Associates | Parallel Huffman decoder |
| JPH08149474A (ja) * | 1994-11-17 | 1996-06-07 | Hitachi Ltd | 動画像復号化装置 |
| KR960036641A (ko) * | 1995-03-21 | 1996-10-28 | 김광호 | 저속의 비디오비트열을 복호하는 고속용 복호화장치 |
| JP3720412B2 (ja) * | 1995-05-01 | 2005-11-30 | キヤノン株式会社 | 情報処理方法及び装置 |
| US5574505A (en) * | 1995-05-16 | 1996-11-12 | Thomson Multimedia S.A. | Method and apparatus for operating a transport stream encoder to produce a stream of packets carrying data representing a plurality of component signals |
| US5982459A (en) * | 1995-05-31 | 1999-11-09 | 8×8, Inc. | Integrated multimedia communications processor and codec |
| US5930493A (en) * | 1995-06-07 | 1999-07-27 | International Business Machines Corporation | Multimedia server system and method for communicating multimedia information |
| US5721815A (en) * | 1995-06-07 | 1998-02-24 | International Business Machines Corporation | Media-on-demand communication system and method employing direct access storage device |
| JP3184763B2 (ja) | 1995-06-07 | 2001-07-09 | インターナショナル・ビジネス・マシーンズ・コーポレ−ション | マルチメディア直接アクセス記憶装置及びフォーマット方法 |
| US6119213A (en) * | 1995-06-07 | 2000-09-12 | Discovision Associates | Method for addressing data having variable data width using a fixed number of bits for address and width defining fields |
| US5721878A (en) * | 1995-06-07 | 1998-02-24 | International Business Machines Corporation | Multimedia control system and method for controlling multimedia program presentation |
| US5699124A (en) | 1995-06-28 | 1997-12-16 | General Instrument Corporation Of Delaware | Bandwidth efficient communication of user data in digital television data stream |
| US5666487A (en) * | 1995-06-28 | 1997-09-09 | Bell Atlantic Network Services, Inc. | Network providing signals of different formats to a user by multplexing compressed broadband data with data of a different format into MPEG encoded data stream |
| JPH0918870A (ja) * | 1995-06-30 | 1997-01-17 | Sony Corp | タイミング検出回路及びその方法 |
| US5742623A (en) * | 1995-08-04 | 1998-04-21 | General Instrument Corporation Of Delaware | Error detection and recovery for high rate isochronous data in MPEG-2 data streams |
| US5959659A (en) * | 1995-11-06 | 1999-09-28 | Stellar One Corporation | MPEG-2 transport stream decoder having decoupled hardware architecture |
| US5771239A (en) * | 1995-11-17 | 1998-06-23 | General Instrument Corporation Of Delaware | Method and apparatus for modifying a transport packet stream to provide concatenated synchronization bytes at interleaver output |
| US5703877A (en) * | 1995-11-22 | 1997-12-30 | General Instrument Corporation Of Delaware | Acquisition and error recovery of audio data carried in a packetized data stream |
| US6169843B1 (en) * | 1995-12-01 | 2001-01-02 | Harmonic, Inc. | Recording and playback of audio-video transport streams |
| US5729292A (en) * | 1995-12-21 | 1998-03-17 | Thomson Multimedia, S.A. | Optimizing performance in a packet slot priority packet transport system |
| US5675511A (en) * | 1995-12-21 | 1997-10-07 | Intel Corporation | Apparatus and method for event tagging for multiple audio, video, and data streams |
| KR100220678B1 (ko) * | 1995-12-29 | 1999-09-15 | 전주범 | 블록 단위 부호화 장치로부터 전송된 영상신호에서의 채널 에러 정정 방법 |
| US5835493A (en) * | 1996-01-02 | 1998-11-10 | Divicom, Inc. | MPEG transport stream remultiplexer |
| US6018765A (en) * | 1996-01-23 | 2000-01-25 | Storage Concepts, Inc. | Multi-channel multimedia data server |
| US6047027A (en) * | 1996-02-07 | 2000-04-04 | Matsushita Electric Industrial Co., Ltd. | Packetized data stream decoder using timing information extraction and insertion |
| US5768537A (en) * | 1996-02-22 | 1998-06-16 | International Business Machines Corporation | Scalable MPEG2 compliant video encoder |
| US5818539A (en) * | 1996-03-29 | 1998-10-06 | Matsushita Electric Corporation Of America | System and method for updating a system time constant (STC) counter following a discontinuity in an MPEG-2 transport data stream |
| CA2204828C (en) * | 1996-05-10 | 2004-11-23 | Ray Nuber | Error detection and recovery for high rate isochronous data in mpeg-2 data streams |
| KR100203262B1 (ko) * | 1996-06-11 | 1999-06-15 | 윤종용 | 픽춰단위 동기화를 위한 비디오디코더의 인터페이스장치 |
| US5864557A (en) * | 1996-09-25 | 1999-01-26 | Thomson Multimedia S.A. | Method and apparatus for opportunistically transferring data in a packet stream encoder |
| EP0841820A3 (en) * | 1996-11-08 | 2005-11-09 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for encoding, multiplexing and transmitting a video signal |
| US6018764A (en) * | 1996-12-10 | 2000-01-25 | General Instrument Corporation | Mapping uniform resource locators to broadcast addresses in a television signal |
| US6359656B1 (en) * | 1996-12-20 | 2002-03-19 | Intel Corporation | In-band synchronization of data streams with audio/video streams |
| JP2000511383A (ja) * | 1997-03-12 | 2000-08-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 記録担体にディジタル情報信号を記録する装置及び方法 |
| JP3554177B2 (ja) * | 1997-04-23 | 2004-08-18 | キヤノン株式会社 | 出力制御装置、出力制御方法、記憶媒体 |
| JP3356203B2 (ja) * | 1997-06-09 | 2002-12-16 | 日本電気株式会社 | Ｍｐｅｇ２トランスポートストリーム分離方法と回路 |
| US5923655A (en) * | 1997-06-10 | 1999-07-13 | E--Net, Inc. | Interactive video communication over a packet data network |
| US6636563B2 (en) * | 1997-06-12 | 2003-10-21 | Sony Corporation | Decoder and decoding method for information signal |
| DE69841532D1 (de) | 1997-08-29 | 2010-04-15 | Panasonic Corp | Optische Platte mit hierarchisch codiertem digitalen Videosignal, Wiedergabevorrichtung und Aufnahmevorrichtung für die optische Platte |
| US6091772A (en) * | 1997-09-26 | 2000-07-18 | International Business Machines, Corporation | Black based filtering of MPEG-2 compliant table sections |
| US6072771A (en) * | 1997-09-26 | 2000-06-06 | International Business Machines Corporation | Detection of errors in table data |
| US6078594A (en) * | 1997-09-26 | 2000-06-20 | International Business Machines Corporation | Protocol and procedure for automated channel change in an MPEG-2 compliant datastream |
| US6356567B2 (en) | 1997-09-26 | 2002-03-12 | International Business Machines Corporation | Embedded clock recovery and difference filtering for an MPEG-2 compliant transport stream |
| US6115422A (en) * | 1997-09-26 | 2000-09-05 | International Business Machines Corporation | Protocol and procedure for time base change in an MPEG-2 compliant datastream |
| US6229801B1 (en) | 1997-09-26 | 2001-05-08 | International Business Machines Corporation | Delivery of MPEG2 compliant table data |
| US6088357A (en) * | 1997-09-26 | 2000-07-11 | International Business Machines Corporation | Auxiliary transport assist processor especially for an MPEG-2 compliant decoder |
| US6195403B1 (en) | 1997-09-26 | 2001-02-27 | International Business Machines Corporation | Pulse generator for a voltage controlled oscillator |
| US6181706B1 (en) | 1997-09-26 | 2001-01-30 | International Business Machines Corporation | Common buffer for multiple streams and control registers in an MPEG-2 compliant transport register |
| US6275507B1 (en) | 1997-09-26 | 2001-08-14 | International Business Machines Corporation | Transport demultiplexor for an MPEG-2 compliant data stream |
| EP0917356A1 (en) * | 1997-11-17 | 1999-05-19 | CANAL+ Société Anonyme | Packet filtering |
| CA2318415C (en) * | 1998-01-14 | 2009-12-15 | Skystream Corporation | Video program bearing transport stream remultiplexer |
| US6148082A (en) * | 1998-01-14 | 2000-11-14 | Skystream Corporation | Scrambling and descrambling control word control in a remultiplexer for video bearing transport streams |
| US6351471B1 (en) | 1998-01-14 | 2002-02-26 | Skystream Networks Inc. | Brandwidth optimization of video program bearing transport streams |
| US6292490B1 (en) * | 1998-01-14 | 2001-09-18 | Skystream Corporation | Receipts and dispatch timing of transport packets in a video program bearing stream remultiplexer |
| US6351474B1 (en) | 1998-01-14 | 2002-02-26 | Skystream Networks Inc. | Network distributed remultiplexer for video program bearing transport streams |
| US6246701B1 (en) | 1998-01-14 | 2001-06-12 | Skystream Corporation | Reference time clock locking in a remultiplexer for video program bearing transport streams |
| US6195368B1 (en) | 1998-01-14 | 2001-02-27 | Skystream Corporation | Re-timing of video program bearing streams transmitted by an asynchronous communication link |
| US6064676A (en) * | 1998-01-14 | 2000-05-16 | Skystream Corporation | Remultipelxer cache architecture and memory organization for storing video program bearing transport packets and descriptors |
| JPH11205696A (ja) * | 1998-01-20 | 1999-07-30 | Sony Corp | 映像伝送装置及び映像伝送方法 |
| JP2978876B2 (ja) * | 1998-04-20 | 1999-11-15 | 日本電気アイシーマイコンシステム株式会社 | Ｐｃｍデータ出力方法および装置 |
| FR2780186B1 (fr) * | 1998-06-23 | 2000-08-11 | St Microelectronics Sa | Procede et dispositif de decodage d'une image, comprimee notamment selon les normes mpeg, en particulier une image bidirectionnelle |
| US6160847A (en) * | 1998-06-26 | 2000-12-12 | Lsi Logic Corporation | Detection mechanism for video channel underflow in MPEG-2 video decoding |
| US6573942B1 (en) | 1998-08-17 | 2003-06-03 | Sharp Laboratories Of America, Inc. | Buffer system for controlled and timely delivery of MPEG-2F data services |
| US6304914B1 (en) * | 1998-09-22 | 2001-10-16 | Microsoft Corporation | Method and apparatus for pre-compression packaging |
| US6434146B1 (en) * | 1998-12-04 | 2002-08-13 | Koninklijke Philips Electronics N.V. | Use of sequencing information in a local header that allows proper synchronization of packets to subsidiary interfaces within the post-processing environment of an mpeg-2 packet demultiplexing architecture |
| US7551672B1 (en) * | 1999-02-05 | 2009-06-23 | Sony Corporation | Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method |
| US6480537B1 (en) * | 1999-02-25 | 2002-11-12 | Telcordia Technologies, Inc. | Active techniques for video transmission and playback |
| JP4292654B2 (ja) * | 1999-03-19 | 2009-07-08 | ソニー株式会社 | 記録装置および方法、再生装置および方法、並びに記録媒体 |
| JP4710211B2 (ja) * | 1999-08-20 | 2011-06-29 | ソニー株式会社 | 情報記録装置、情報再生装置、情報記録再生装置、情報記録方法、情報再生方法、情報記録再生方法並びに記録媒体 |
| US6654389B1 (en) * | 1999-11-23 | 2003-11-25 | International Business Machines Corporation | System and method for searching patterns in real-time over a shared media |
| US6690683B1 (en) | 1999-11-23 | 2004-02-10 | International Business Machines Corporation | Method and apparatus for demultiplexing a shared data channel into a multitude of separate data streams, restoring the original CBR |
| JP2001157204A (ja) * | 1999-11-25 | 2001-06-08 | Nec Corp | 動画像復号化方法及び装置 |
| US6988238B1 (en) | 2000-01-24 | 2006-01-17 | Ati Technologies, Inc. | Method and system for handling errors and a system for receiving packet stream data |
| US7366961B1 (en) | 2000-01-24 | 2008-04-29 | Ati Technologies, Inc. | Method and system for handling errors |
| US6778533B1 (en) | 2000-01-24 | 2004-08-17 | Ati Technologies, Inc. | Method and system for accessing packetized elementary stream data |
| US8284845B1 (en) * | 2000-01-24 | 2012-10-09 | Ati Technologies Ulc | Method and system for handling data |
| US6885680B1 (en) | 2000-01-24 | 2005-04-26 | Ati International Srl | Method for synchronizing to a data stream |
| US6763390B1 (en) * | 2000-01-24 | 2004-07-13 | Ati Technologies, Inc. | Method and system for receiving and framing packetized data |
| US7113546B1 (en) | 2000-05-02 | 2006-09-26 | Ati Technologies, Inc. | System for handling compressed video data and method thereof |
| EP1176833A3 (en) * | 2000-07-25 | 2012-06-27 | Panasonic Corporation | Image decoding method, image decoding apparatus, and data storage medium |
| US7095945B1 (en) | 2000-11-06 | 2006-08-22 | Ati Technologies, Inc. | System for digital time shifting and method thereof |
| US6629261B1 (en) * | 2000-11-21 | 2003-09-30 | At&T Wireless Services, Inc. | Enhanced data link layer selective reject mechanism in noisy wireless environment |
| US6895520B1 (en) | 2001-03-02 | 2005-05-17 | Advanced Micro Devices, Inc. | Performance and power optimization via block oriented performance measurement and control |
| KR100390841B1 (ko) * | 2001-03-27 | 2003-07-10 | 주식회사 하이닉스반도체 | 피아이디 검출을 고속화하기 위한 피아이디 저장 및 비교장치 및 방법 |
| JP3494161B2 (ja) * | 2001-03-30 | 2004-02-03 | ミノルタ株式会社 | 画像処理システム、管理装置、画像処理装置、管理方法、管理プログラム及び記録媒体 |
| WO2002091202A1 (en) * | 2001-05-04 | 2002-11-14 | Globespan Virata Incorporated | System and method for distributed processing of packet data containing audio information |
| EP1393563B1 (en) * | 2001-05-14 | 2004-12-01 | SCM Microsystems GmbH | Simultaneous digital television streams with conditional access |
| KR100470025B1 (ko) * | 2001-06-15 | 2005-02-04 | 엘지전자 주식회사 | 디지털 데이터 스트림 기록장치 및 방법과, 그에 따른기록매체 |
| WO2003017561A1 (en) * | 2001-08-16 | 2003-02-27 | Globespan Virata Incorporated | Apparatus and method for concealing the loss of audio samples |
| US7508874B2 (en) * | 2002-01-29 | 2009-03-24 | Broadcom Corporation | Error concealment for MPEG decoding with personal video recording functionality |
| US8676025B2 (en) * | 2002-03-01 | 2014-03-18 | Broadcom Corporation | Method of timebase management for MPEG decoding with personal video recording functionality |
| US7027520B2 (en) * | 2001-08-30 | 2006-04-11 | Thomson Licensing | Method and apparatus for simultaneously retrieving portions of a data stream from different channels |
| US7215679B2 (en) * | 2001-08-30 | 2007-05-08 | Thomson Licensing | Method, apparatus and data structure enabling multiple channel data stream transmission |
| US8880709B2 (en) * | 2001-09-12 | 2014-11-04 | Ericsson Television Inc. | Method and system for scheduled streaming of best effort data |
| US9497452B2 (en) * | 2002-01-22 | 2016-11-15 | Broadcom Corporation | System and method of transmission and reception of video using compressed differential time stamps |
| AU2003215156A1 (en) * | 2002-02-12 | 2003-09-04 | Digital Interactive Streams, Inc. | System and method for fault tolerant multimedia communication |
| JP2003317447A (ja) * | 2002-04-23 | 2003-11-07 | Konica Minolta Holdings Inc | 画像表示用プログラム及び該プログラムが記録された情報記録媒体 |
| US7706402B2 (en) * | 2002-05-06 | 2010-04-27 | Ikanos Communications, Inc. | System and method for distributed processing of packet data containing audio information |
| US6842432B2 (en) * | 2002-12-10 | 2005-01-11 | Motorola, Inc. | Method for allocating channel resources in a distributed control channel system |
| US7394969B2 (en) * | 2002-12-11 | 2008-07-01 | Eastman Kodak Company | System and method to compose a slide show |
| US7499469B2 (en) * | 2003-01-13 | 2009-03-03 | Broadcom Corporation | Method and system for generating digital video broadcast (DVB) transport stream from direct satellite system (DSS) transport stream |
| CN101668215A (zh) * | 2003-02-18 | 2010-03-10 | 诺基亚有限公司 | 图像解码方法 |
| JP5068947B2 (ja) * | 2003-02-18 | 2012-11-07 | ノキア コーポレイション | ピクチャの符号化方法 |
| US7693394B2 (en) * | 2003-02-26 | 2010-04-06 | Lg Electronics Inc. | Recording medium having data structure for managing reproduction of data streams recorded thereon and recording and reproducing methods and apparatuses |
| WO2004079584A1 (en) * | 2003-03-06 | 2004-09-16 | Lg Electronics Inc. | Interactive medium and method for managing additional data thereof |
| US7817721B2 (en) * | 2003-05-15 | 2010-10-19 | Lsi Corporation | Posting status data in digital transport stream processing |
| US7693222B2 (en) * | 2003-08-13 | 2010-04-06 | Ericsson Television Inc. | Method and system for re-multiplexing of content-modified MPEG-2 transport streams using PCR interpolation |
| US20050060420A1 (en) * | 2003-09-11 | 2005-03-17 | Kovacevic Branko D. | System for decoding multimedia data and method thereof |
| US20050201471A1 (en) * | 2004-02-13 | 2005-09-15 | Nokia Corporation | Picture decoding method |
| US9124907B2 (en) * | 2004-10-04 | 2015-09-01 | Nokia Technologies Oy | Picture buffering method |
| US20060136981A1 (en) * | 2004-12-21 | 2006-06-22 | Dmitrii Loukianov | Transport stream demultiplexor with content indexing capability |
| JP4693427B2 (ja) * | 2005-01-27 | 2011-06-01 | 京セラ株式会社 | ディジタル放送受信装置 |
| US8074248B2 (en) | 2005-07-26 | 2011-12-06 | Activevideo Networks, Inc. | System and method for providing video content associated with a source image to a television in a communication network |
| KR100710393B1 (ko) * | 2005-10-11 | 2007-04-24 | 엘지전자 주식회사 | 압축 스트림의 복호방법 |
| US7339853B2 (en) * | 2005-12-02 | 2008-03-04 | Agilent Technologies, Inc. | Time stamping events for fractions of a clock cycle |
| CN101584130B (zh) * | 2006-10-03 | 2013-06-12 | 维尔塞特公司 | 具有子信道的前向卫星链路 |
| US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
| WO2008088741A2 (en) | 2007-01-12 | 2008-07-24 | Ictv, Inc. | Interactive encoded content system including object models for viewing on a remote device |
| EP3511841B1 (en) | 2007-11-16 | 2021-07-21 | DivX, LLC | Chunk header incorporating binary flags and correlated variable-length fields |
| US8165451B2 (en) | 2007-11-20 | 2012-04-24 | Echostar Technologies L.L.C. | Methods and apparatus for displaying information regarding interstitials of a video stream |
| US8165450B2 (en) | 2007-11-19 | 2012-04-24 | Echostar Technologies L.L.C. | Methods and apparatus for filtering content in a video stream using text data |
| US8136140B2 (en) | 2007-11-20 | 2012-03-13 | Dish Network L.L.C. | Methods and apparatus for generating metadata utilized to filter content from a video stream using text data |
| US8606085B2 (en) * | 2008-03-20 | 2013-12-10 | Dish Network L.L.C. | Method and apparatus for replacement of audio data in recorded audio/video stream |
| JP4327883B1 (ja) * | 2008-04-28 | 2009-09-09 | 株式会社東芝 | 情報処理装置、情報処理方法 |
| US8156520B2 (en) * | 2008-05-30 | 2012-04-10 | EchoStar Technologies, L.L.C. | Methods and apparatus for presenting substitute content in an audio/video stream using text data |
| US20090313674A1 (en) * | 2008-06-17 | 2009-12-17 | Ictv, Inc. | PID Obfuscation |
| EP2353121A4 (en) * | 2008-10-31 | 2013-05-01 | Divx Llc | SYSTEM AND METHOD FOR REPRODUCING CONTENT ON CERTIFIED DEVICES |
| US8411798B2 (en) * | 2008-11-05 | 2013-04-02 | Viasat, Inc. | Reducing receiver power dissipation |
| US8588579B2 (en) * | 2008-12-24 | 2013-11-19 | Echostar Technologies L.L.C. | Methods and apparatus for filtering and inserting content into a presentation stream using signature data |
| US8407735B2 (en) * | 2008-12-24 | 2013-03-26 | Echostar Technologies L.L.C. | Methods and apparatus for identifying segments of content in a presentation stream using signature data |
| US8510771B2 (en) * | 2008-12-24 | 2013-08-13 | Echostar Technologies L.L.C. | Methods and apparatus for filtering content from a presentation stream using signature data |
| US8437617B2 (en) * | 2009-06-17 | 2013-05-07 | Echostar Technologies L.L.C. | Method and apparatus for modifying the presentation of content |
| JP4999915B2 (ja) * | 2009-12-21 | 2012-08-15 | パナソニック株式会社 | Ｄｔｖデータ処理装置 |
| US20110197224A1 (en) * | 2010-02-09 | 2011-08-11 | Echostar Global B.V. | Methods and Apparatus For Selecting Advertisements For Output By A Television Receiver Based on Social Network Profile Data |
| US8934758B2 (en) | 2010-02-09 | 2015-01-13 | Echostar Global B.V. | Methods and apparatus for presenting supplemental content in association with recorded content |
| AU2011315950B2 (en) | 2010-10-14 | 2015-09-03 | Activevideo Networks, Inc. | Streaming digital video between video devices using a cable television system |
| WO2012138660A2 (en) | 2011-04-07 | 2012-10-11 | Activevideo Networks, Inc. | Reduction of latency in video distribution networks using adaptive bit rates |
| EP2815582B1 (en) | 2012-01-09 | 2019-09-04 | ActiveVideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
| US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| US9123084B2 (en) | 2012-04-12 | 2015-09-01 | Activevideo Networks, Inc. | Graphical application integration with MPEG objects |
| WO2014145921A1 (en) | 2013-03-15 | 2014-09-18 | Activevideo Networks, Inc. | A multiple-mode system and method for providing user selectable video content |
| EP3005712A1 (en) | 2013-06-06 | 2016-04-13 | ActiveVideo Networks, Inc. | Overlay rendering of user interface onto source video |
| US9219922B2 (en) | 2013-06-06 | 2015-12-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US9294785B2 (en) | 2013-06-06 | 2016-03-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US10097868B2 (en) | 2013-12-09 | 2018-10-09 | Sony Corporation | Data processing device and data processing method |
| US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
| US10361814B2 (en) * | 2016-06-15 | 2019-07-23 | Friday Harbor Llc | Encoding for frameless packet transmissions |
| US10389764B2 (en) | 2016-10-18 | 2019-08-20 | At&T Intellectual Property I, L.P. | Network data source time management for data streaming processing system |
| TWI718889B (zh) * | 2019-01-10 | 2021-02-11 | 慧榮科技股份有限公司 | 改善快閃記憶體之讀取重試的方法、控制器以及相關儲存裝置 |
| TWI690928B (zh) * | 2019-01-10 | 2020-04-11 | 慧榮科技股份有限公司 | 改善快閃記憶體之讀取重試的方法、控制器以及相關儲存裝置 |
| US11172269B2 (en) | 2020-03-04 | 2021-11-09 | Dish Network L.L.C. | Automated commercial content shifting in a video streaming system |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03141752A (ja) * | 1989-10-27 | 1991-06-17 | Hitachi Ltd | 画像信号伝送方法 |
| US5111292A (en) * | 1991-02-27 | 1992-05-05 | General Electric Company | Priority selection apparatus as for a video signal processor |
| TW237589B (ja) * | 1991-02-27 | 1995-01-01 | Gen Electric | |
| US5289276A (en) * | 1992-06-19 | 1994-02-22 | General Electric Company | Method and apparatus for conveying compressed video data over a noisy communication channel |
| US5497404A (en) * | 1992-07-14 | 1996-03-05 | General Instrument Corporation | Transmission error recovery for digital communication systems using variable length data packets where data is stored in header locations of memory |
| JP3255308B2 (ja) * | 1992-12-18 | 2002-02-12 | ソニー株式会社 | データ再生装置 |
| AU672070B2 (en) * | 1993-02-26 | 1996-09-19 | Sony Corporation | Synchronization of audio/video information |
| US5376969A (en) * | 1993-11-15 | 1994-12-27 | Rca Thomson Licensing Corporation | Method and apparatus for conveying compressed video data over a noisy communication channel |
-
1995
- 1995-02-28 US US08/392,421 patent/US5517250A/en not_active Expired - Lifetime
- 1995-03-14 TW TW084102435A patent/TW308775B/zh active
-
1996
- 1996-02-12 CA CA002169348A patent/CA2169348C/en not_active Expired - Fee Related
- 1996-02-13 ES ES96102058T patent/ES2227567T3/es not_active Expired - Lifetime
- 1996-02-13 DE DE69633475T patent/DE69633475T2/de not_active Expired - Fee Related
- 1996-02-13 EP EP96102058A patent/EP0730384B1/en not_active Expired - Lifetime
- 1996-02-26 JP JP06167896A patent/JP3839089B2/ja not_active Expired - Lifetime
- 1996-02-27 NO NO19960789A patent/NO314480B1/no not_active IP Right Cessation
- 1996-02-27 BR BR9600831A patent/BR9600831A/pt not_active IP Right Cessation
- 1996-02-27 AU AU45772/96A patent/AU697213B2/en not_active Ceased
- 1996-02-28 KR KR1019960004988A patent/KR100365384B1/ko not_active IP Right Cessation
- 1996-02-28 CN CN96102580A patent/CN1110958C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| ES2227567T3 (es) | 2005-04-01 |
| NO314480B1 (no) | 2003-03-24 |
| EP0730384A2 (en) | 1996-09-04 |
| KR100365384B1 (ko) | 2003-03-06 |
| CN1110958C (zh) | 2003-06-04 |
| CA2169348A1 (en) | 1996-08-29 |
| NO960789L (no) | 1996-08-29 |
| DE69633475T2 (de) | 2006-02-23 |
| US5517250A (en) | 1996-05-14 |
| KR960033023A (ko) | 1996-09-17 |
| DE69633475D1 (de) | 2004-11-04 |
| CA2169348C (en) | 2005-09-13 |
| AU697213B2 (en) | 1998-10-01 |
| CN1134646A (zh) | 1996-10-30 |
| NO960789D0 (no) | 1996-02-27 |
| AU4577296A (en) | 1996-09-05 |
| EP0730384A3 (en) | 1997-10-22 |
| JPH0937252A (ja) | 1997-02-07 |
| EP0730384B1 (en) | 2004-09-29 |
| BR9600831A (pt) | 1997-12-30 |
| TW308775B (ja) | 1997-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3839089B2 (ja) | パケット化されたデータストリームからの所望データの取り込み及び同期化方法 | |
| AU688585B2 (en) | Syntax parser for a video decompression processor | |
| KR100380709B1 (ko) | 디지털비디오신장프로세서및디지털비디오신장프로세서의디램을매핑하기위한방법 | |
| CA2179322C (en) | Bandwidth efficient communication of user data in digital television data stream | |
| KR100376207B1 (ko) | 비디오신장프로세서에있어서디램(dram)의효율적인어드레싱을행하기위한방법및장치 | |
| KR0128233B1 (ko) | 디지탈통신 시스템용 전송에러 복구방법 및 그 장치 | |
| US5452006A (en) | Two-part synchronization scheme for digital video decoders | |
| KR19980042224A (ko) | 트랜스포트, 복호화, 시스템 제어기 기능용 통합 메모리를 가지는 엠피이지 복호화기 시스템 및 방법 | |
| JPH10224751A (ja) | デジタルテレビデータストリームでのｖｂｉデータの通信 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050613 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050928 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050928 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060802 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130811 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |