JP3103301B2 - Ｍｐｅｇ１規格により符号化された音声映像信号ストリームの多重化方法 - Google Patents

Ｍｐｅｇ１規格により符号化された音声映像信号ストリームの多重化方法

Info

Publication number
JP3103301B2
JP3103301B2 JP07276410A JP27641095A JP3103301B2 JP 3103301 B2 JP3103301 B2 JP 3103301B2 JP 07276410 A JP07276410 A JP 07276410A JP 27641095 A JP27641095 A JP 27641095A JP 3103301 B2 JP3103301 B2 JP 3103301B2
Authority
JP
Japan
Prior art keywords
data
stream
packet
buffer
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07276410A
Other languages
English (en)
Other versions
JPH08256329A (ja
Inventor
ジヨバンニ・カイレ
ジヤムパオロ・ミキエレツト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telecom Italia Lab SpA
Original Assignee
Telecom Italia Lab SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telecom Italia Lab SpA filed Critical Telecom Italia Lab SpA
Publication of JPH08256329A publication Critical patent/JPH08256329A/ja
Application granted granted Critical
Publication of JP3103301B2 publication Critical patent/JP3103301B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】ここに記載された発明は映画
や関連音声のデジタル記憶に係り、特に、デジタル的に
符号化された音声映像信号、特にISO/IEC 11172 規格に
より符号化された信号のストリームを多重化（マルチプ
レクシング）する方法に関する。
【０００２】
【従来の技術】ここ数年の間に、個人及び公の提供者に
より提供される非常に多くのサービスが、広範囲に受け
入れられつつある。「マルチメディア」サービスとして
知られているこれらのサービスは、一連の映画を含んだ
ビデオ情報、静止画像、文字、音声情報、及び他のデー
タを提供する。これらのサービスの中では、いわゆる
「ビデオ・オン・デマンド(Video on demand) 」が極め
て重要である。これにより、利用者は予めスケジュール
を調べる必要なく、いつでも自分の家から映画を選択す
ることができる。その他のサービスとして、広告ビデオ
や教訓的又は遠隔作業に関するビデオなどを放送するこ
とが挙げられる。これらの用途に対しては、種々のソー
スから発生された信号をデジタル形式に変換する必要が
あり、大量のデータを処理し記録し転送することを伴
う。従って、現在の伝送及び記録サポートの制限された
容量の下では、良質の表現には厳密には必要とされない
情報を全て除去できる符号化方法が必要である。この目
的のために、種々の符号化方法が定められている。その
中で、MPEG1 規格としても知られているISO/IEC 11172
規格で定められた方法がある。このMPEG1 は、それを開
発した映画専門グループ(Moving Picture Expert Grou
p) の頭文字を取ったものである。
【０００３】中央ファイルに記録された一連の映画と関
連音声が遠隔の端末に伝えられるときには、音声と映像
の情報を同時に処理することが必要である。従って、こ
の二種類の情報が多重化プロセスで一つのデジタルスト
リームに結合されなければならない。利用者に提示する
ためには、異なる装置（モニター、拡声器）で情報が表
現されるので、映像と音声情報が逆のデマルチプレクシ
ング・プロセスにより再度分離されなければならない。
一般に、例えば提供中に表示されるべき幾つかの説明字
幕をも多重化ストリーム内に挿入することが望まれると
き、又は、利用者に１つより多くの音声チャンネルを提
供することが予想されるときには、マルチプレクシング
／デマルチプレクシング・プロセスは、二つ以上の基本
ストリームに対して操作できなければならない。従っ
て、MPEG1 による符号化ストリームを作り出す完全なシ
ステムは、各々があるタイプの情報に関係した幾つかの
基本ストリームを含む。各基本ストリームはソース（Ｔ
Ｖカメラ、マイクなど）により発生され、前述の規格に
より符号化される。符号器の下流では、個々の基本スト
リームが一つの多重化ストリームに多重化される。同様
に、復号化システムは、個々の基本ストリームを抽出し
て夫々の復号器に送るデマルチプレクサーを含む。ここ
では、異なる信号が再度それらの元の形式に変換され、
それから表現装置に送られる。
【０００４】MPEG1 規格により採用された多重化プロセ
スは、時分割多重化プロセスである。多重化ストリーム
は、パケットと呼ばれる一連のインターバルとして構成
される。各々のパケットは、パケット自身のヘッダー内
に示されたシングルタイプのデータを含む。各インター
バルの間、マルチプレクサーはパケットを構成するため
に、どの基本ストリームからデータを取るべきかを決め
なければならない。MPEG1 規格は、規格で定義されたモ
デル復号器の入力バッファーにおいてデータのアンダー
フロー又はオーバーフローを発生させることなく、生成
された多重化ストリームがモデル復号器で復号化される
べきであるという制限のみの他はいかなる制限も、この
選択に対して課さない。上述のMPEG1 規格を定義してい
るISO/IEC 11172 書類の付属Ａの第５パラグラフには、
例として「比例レート(Proportional rate) 」と呼ばれ
る戦略を用いた多重化方法が報告されている。多重化さ
れるべき基本ストリームを選択するためのこの戦略は、
固定され周期的に繰り返される構成に基づいている。こ
の構成では、各基本ストリームは公称ビットレートに比
例した数のパケットが割り当てられる。この様に、多重
化ストリーム内の各基本ストリームの平均周波数は、で
きるだけ短い時間インターバルにわたって公称ビットレ
ートに等しい。
【０００５】
【発明が解決しようとする課題】このプロセスの制限
は、基本ストリームの実際のビットレートが、実際には
一定ではなくむしろそれらの公称値の回りで変動してい
るということによる。このことは主に、符号化された画
像の持続時間（画像が可視化されている間の時間インタ
ーバル）が固定されているのに、符号化プロセスに固有
の理由により実質的に可変であるビット数で表されるサ
イズを符号化画像が有するという事実によるものであ
る。従って、一連のものの内で互いに近い幾つかの「大
きい」画像の存在により、復号器がその入力バッファー
からビデオストリームの公称ビットレートより高いスピ
ードでデータを抽出するようになり、よってアンダーフ
ローの問題が起こる。類似して、互いに近い幾つかの
「小さい」画像の存在は、オーバーフローの問題を引き
起こす。
【０００６】
【課題を解決するための手段】これらの欠点は、復号器
入力バッファー内のデータ量の傾向を考慮して、起こり
得るアンダーフロー及びオーバーフロー状態を避ける本
発明に従った方法により除去される。更に、この方法
は、多重化されたストリームを構成する際に特別な複雑
化を導入することなく、幾つかの基本ストリームに適用
できる。特に、本発明は、請求項１の特徴を示した部分
に記載されているように、デジタル符号化されたマルチ
メディア信号ストリームを多重化する方法を提供する。
本発明のこれらの特徴やその他の特徴は、非制限的な例
により与えられた好適実施例の以下の記載、又は添付の
図面によりより明確にされるであろう。
【０００７】
【発明の実施の形態】図１は、MPEG1 規格により構築さ
れた、デジタル符号化されたマルチメディア信号ストリ
ームを送信及び受信するためのシステムの構造を概略的
に示している。最も一般的な場合、送信機は、各々があ
るタイプの情報に関係しているＮ個の基本ストリームの
データを結合することにより、符号化されたストリーム
を送信しなければならないであろう。これらの基本スト
リームとしては、例えば１又はそれ以上のビデオ信号の
ストリーム、その関連音声信号のストリーム、及び規格
により符号化されないであろう他の種類の信号（例え
ば、テキスト）の１又はそれ以上のストリームが挙げら
れる。夫々の（図示されていない）ソースから来る、符
号化されるべき入力信号（一般に、音声及び映像信号）
は、夫々の符号器CD1,...,CDM に送られる。これらの符
号器は、規格で要求されるようにそれらの信号を符号化
し、夫々の公称ビットレート
【外１】 を有する圧縮された音声及び映像基本ストリームを出力
する。圧縮された基本ストリームはマルチプレクシング
・バッファーBM1,...,BMM に送られ、そこで公称ビット
レート値に対する変動を補償する。図中、ＢＭＮで示さ
れた更なるマルチプレクシング・バッファーは、MPEG1
符号化を要しない信号の一時的な記憶のためのものであ
る。バッファーBM1,...,BMN は、一つの記憶装置BM中の
異なる領域とすることができる。バッファー出力はマル
チプレクサーMXに接続され、そこでは制御論理装置ＬＣ
の制御下で多重化ストリームを形成する。MPEG1 規格の
いわゆるシステムレベルにより要求される情報（例え
ば、同期信号を含む。）は、ブロックＩＩＳにより略示
されているように、多重化されたストリームに結合され
るであろう。そして、完全な多重化ストリームが伝送ラ
イン上に送られる。システムレベルは本発明には関係し
ない。従って、ブロックＩＩＳの構造や働きを詳細に記
載する必要はない。
【０００８】多重化されたストリームは、一定のビット
レート
【数１】 (1≦ｉ≦N)を有する。ここで、αは、システム情報によ
るオーバーヘッド・ファクターであり、
【外２】は一般の基本ストリームの公称ビットレートで
ある。多重化されたストリームは、持続時間T = (P +
H)/R を有する一連のタイムスロット又はパケットによ
り形成されている時分割多重化ストリームである。ここ
で、P は各パケットにおけるデータのバイト数であり、
H は各パケットにおけるヘッダーのバイト数である。
【０００９】受信側では、ブロックEIS によるシステム
情報の抽出の後に、デマルチプレクサーDMが多重化され
たストリームを構成要素である基本ストリームに分割す
る。これらは一時的にデマルチプレクシング（又は復号
器入力）バッファーBD1,...,BDi,...,BDN （これらも、
一つの記憶装置BDの異なる領域とできる。）に記憶さ
れ、タイミングセットを有する夫々の復号器DC1,...,DC
i,...,DCN に対して、パケット内に含まれた情報（いわ
ゆる、復号化タイムスタンプ）により与えられる。それ
から、復号化された基本ストリームは表現バッファーBP
1,...,BPi,...,BPN に送られ、パケットに含まれるいわ
ゆる表現タイムスタンプによって、タイミングセットを
有してそこから読み取られる。本明細書の導入部分で述
べたように、マルチプレクサーＭＸの制御論理装置ＬＣ
は、デマルチプレクシング・バッファーでデータのオー
バーフローやアンダーフローを避けるような方法で、個
々のバッファーからデータを抽出し、パケットを形成し
なければならない。本発明により、このことはデマルチ
プレクシング・バッファーBD1,...,BDN の占有状況を考
慮することによって得られる。後に更に説明するよう
に、この目的のために、制御論理装置は基本ストリーム
に含まれる情報にアクセスする。
【００１０】図２では、一般のバッファーBDi に関連し
た一般の基本ストリーム Si について、時間に対するデ
ータ量Ｑが描かれている。特に、線 Ai (t) はデマルチ
プレクサーDMからのデータの到達の傾向を示し、線 Ei
(t) は復号化のためのデータ抽出の傾向を示す。マルチ
プレクサーMXにより発生された多重化ストリームが基本
ストリーム Siのパケットを含むときは、データは逐次B
Di 内に書き込まれるので、線 Ai (t)は全ビットレート
R (t ＜ t1 ) で定められる傾きで立ち上がる。逆に、
多重化ストリームが他の基本ストリームに属するパケッ
トを含むときは、データはバッファーBDi には入らず、
線 Ai (t) は水平である(t1 ＜ｔ＜ t2 ) 。復号化のた
めのデータ抽出に関しては、モデル復号器の定義で特定
されているように、いわゆる「アクセス単位(access un
it) 」の全データがバッファーBDiから同時に抽出され
る。MPEG1 規格で用いられる用語「アクセス単位」は、
例えばビデオ信号のストリームの場合における画像のよ
うに、同時に与えられるべき一組の符号化されたデータ
を意味する。従って、「アクセス単位」が抽出されると
きは、線 Ei (t) は垂直になり(t = t3 ) 、それ以外の
ときは水平になる。バッファーBDi 内にあらゆる瞬間に
存在するデータ量（バッファー占有）は、図中BFi (t)
で示され、 Ai (t) と Ei (t) の差によって与えられ
る。もし抽出されるデータ量が到着するデータ量を越え
ると、BFi (t) は負になりアンダーフローが発生する。
もしBFi (t) がバッファーBDi のサイズ Ci を越える
まで増えれば、オーバーフローが発生する。
【００１１】図３は基本ストリーム Si に対する「将来
のアンダーフロー」の状態を示す。現時点 tc では問題
ないが、マルチプレクサー出力ビットレート、即ち Ai
(t)の傾きが一定と仮定すると、 Ei (ti n ) が Ai (t
i n ) を越えるので、 ti n＞ tc の瞬間にバッファーB
Di では確実にアンダーフローが発生するであろう。図
４は後に基本ストリーム Si の「リラックス(relax) 」
として参照される量Xi を示し、本発明ではこの量 Xi
を用いる。この量 Xi は、 Si に対して「将来のアンダ
ーフロー」状態に入る前に、 Si のデータを有するパケ
ットを構築することなく経過できる最も長い時間インタ
ーバルとして定義される。定量的には、リラックスは次
式で与えられる。 Xi = (ti n - t c ) - [Ei (ti n ) - Ai (tc )]/R 図５は、「リラックス」を定める時間 ti n が、復号化
されるべき次のアクセス単位の内の一つの復号化時間 t
i 1 , ti 2 , ti 3 , ... であることを示す。各時間
ti 1 , ti 2 , ti 3 , ... は異なるリラックス値 X
i 1 , Xi 2 ,Xi 3 , ... を示す。基本ストリーム Si
に対する実際のリラックスは、これらの値の中で最も小
さい図５中の Xi 2 となるであろう。
【００１２】一般には、網羅的なテストを行うことなし
には、復号化されるべき次のアクセス単位のうちのどれ
が実際の「リラックス」値を決めるのかを知ることはで
きない。実際には Xi を計算するために、制限K を設け
て復号化されるべき次のK 個のアクセス単位の復号化時
間 ti k (1≦k ≦K)を考える必要があるであろう。リラ
ックスは次式により計算されるであろう。 Xi = min ｛(ti k - tc ) - [Ei (ti k ) - Ai (tc )]/R｝ 明らかに、K を大きくすれば、実際のリラックスを得る
保証が高まるが、計算の負荷が増す。MPEG1 規格により
符号化された基本ストリームの形の簡単な考察と、実行
された様々なテストにより、正しく符号化された基本ス
トリームに対してはK = 3 で十分な制限であるとの結論
が出た。デマルチプレクシング・バッファーBDi が空に
ならないようにデータを受け取らなければならないとい
う、緊急性の指標として Xi を考えることができる。本
発明の方法は、各パケットの構築前に、多重化される各
基本ストリーム Si に対するリラックスの計算を行う。
最も普通の場合には、パケットは、最も小さいリラック
スを有する基本ストリームのデータ、即ちアンダーフロ
ー問題を避けるのにデータを受け取る最も緊急の必要性
を有する基本ストリームのデータを含むであろう。
【００１３】このように、このプロセスはアンダーフロ
ー状態を避けるのを目的とする。オーバーフロー状態を
避けるためには、パケット内に導入するデータ量を現在
存在するデータ量BFi (tc ) に加えたときに、BDi の総
容量を越えるか否かを調べることで十分である。越える
場合には、基本ストリーム Si はパケットを構築するた
めに用いられない。もし多重化されるべき基本ストリー
ムが無いことによりオーバーフロー問題が生じ得るなら
ば、規格により定められているように、情報内容の無い
架空のパケット（埋込みパケット(padding packet)）が
伝送されるであろう。埋込みパケットはデマルチプレク
サーDM（図１）で捨てられ、従ってデマルチプレクサー
・バッファー内で空白を占めることはないであろう。
【００１４】詳細に方法を説明する前に、更に幾つかの
留意点を示す必要がある。第１の留意点は、本方法の適
用に関するものである。 Xi やBFi (tc ) を計算するた
めには、基本ストリーム Si に割り当てられている復号
器 DCi（図１）により管理されている抽出 Ei (t) の傾
向を知る必要がある。これらの傾向は、種々のアクセス
単位のサイズ（サイズの値は多重化されるべきストリー
ムにて示される）、及びこれらのアクセス単位の復号化
時間（MPEG1 規格に含まれている定義による復号化タイ
ムスタンプ(Decoding Time Stamps)）によってのみ定め
られる。そのような情報は、LCとBM間の接続で示される
ように、マルチプレクサー制御論理装置LC（図１）が利
用できる。第２の留意点は、特別な場合に発生するアン
ダーフロー問題を避けるのに行われるべき幾つかの処置
に関する。特別な場合とは、非常に小さなアクセス単位
（例えば、画像説明字幕）により特徴付けられた基本ス
トリームが、映像及び音声の基本ストリームと共に多重
化されるケースである。このケースは、図６に示されて
おり、２つの基本ストリーム Si 及び Sj に対する到達
と抽出の傾向を示している。
【００１５】図から分かるように、現時点 tc で Xi は
Xj より小さく、基本ストリーム Si が最小リラックス
を有するストリームと仮定すると、マルチプレクサーは
Siのデータを用いて次のパケットを構成するであろ
う。他方、パケットを構築し送ることは、パケット自身
のサイズP + H に比例したある時間T を必要とする。そ
の時間インターバルの間は、基本ストリーム Sj のデー
タを多重化ストリームに挿入できない。従って、基本ス
トリーム Sj に対するバッファーBDj 内にロードされた
データの傾向 Aj (t) は、時間 tc + T まで水平のまま
であり、バッファーBDj でアンダーフローが起こるであ
ろう。よって、そのような場合にはパケットを構築する
前に、更なるチェックを行う必要がある。もし、 Ej (t
c + T)＞ Aj (tc ）（ここで、T = (P + H)/R ）である
基本ストリーム Sj が存在するならば、（たとえリラッ
クスを比較した結果が、基本ストリーム Si が使用され
るべきデータソースであることを示していても）次のパ
ケットは Sj のデータを用いて構築されなければなら
ず、そのようなパケットは減じられたデータバイト数P'
= Ej (tc + T) - Aj (tc ) を有するべきである。実
際、もしP がデータバイト数として維持されたなら、 S
j に対するアンダーフローは避けられたであろうが、 S
i に対する将来のアンダーフローは確実に起こるであろ
う。このようにして、T' = (P' + H)/R が Xi より小さ
いとすると、両方のストリームの復号器のデマルチプレ
クシング・バッファーを空にするのを避けることができ
る。
【００１６】本発明による方法がここで詳細に述べられ
る。それは幾つかのステップで構成され、各ステップに
おいては、現時点 tc での状態が更新され、次のパケッ
トを構築するデータを抜き取るべき基本ストリームが選
択される。幾つかは既に導入されているのであるが、興
味ある量に関する幾つかのシンボルが以下のように定義
される。 N ：多重化されるべき基本ストリームの数 R ：多重化されたストリームのビットレート（一定値に
保たれている。） P + H ：パケットサイズ（ここで、P は各パケットに含
まれるデータのバイト数の適当な値、例えば2048バイト
であり、H はヘッダーのバイト数である。） Ui h ：基本ストリーム Si の一般的なアクセス単位
（復号化タイムスタンプ ti h やサイズ Di h が関連す
る。） Ci ：基本ストリーム Si のデマルチプレクシング・バ
ッファーBDi の容量
【００１７】マルチプレクサー制御論理装置が各ステッ
プで行わなければならない操作は、以下の通りである。
各基本ストリーム Si (1≦i ≦N)に対して、 （１）現時点 tc において、デマルチプレクシング・バ
ッファーBDi から既に抽出されているデータ量 E
i (tc ) = Σ Di n , (ti h ＜ tc ）を更新すること。 （２）現時点 tc まで復号化されていない次のK 個のア
クセス単位を更新すること。 （３）デマルチプレクシング・バッファーBDi に現在含
まれているデータ量を次式により計算すること。 BFi (tc ) = Ai (tc ) - Ei (tc ) （４）もしBFi (tc ) + P ≦ Ci なる条件が成立すれ
ば、次式によりリラックスを計算すること。 Xi = min｛(ti k - t c ) - [Ei (ti k ) - Ai (tc )]/R｝, 1 ≦k ≦K ここで、 Ei (ti k ) = Ei (tc ) + Di 1 + .... + D
i k である。もし上記条件が成立しなければ、基本スト
リーム Si はオーバーフロー問題に対し有効でないと考
えられる。
【００１８】これらの操作が行われた際、オーバーフロ
ー問題に対し有効な基本ストリームが無いなら、架空の
（埋込み）パケットが構築され、さもなければ以下のス
テップが行われる。 （５）最も小さいリラックスを有する基本ストリーム S
l を求め、原則として Sl のデータを用いてP バイトの
データを有するパケットを準備すること。 （６）もし多重化されるべき基本ストリームがその性質
上要求するなら、条件 Ej [tc + (P + H)/R]＞ Aj (tc ) を満たす基本ストリーム Sj (j≠l)が存在するか否かを
調べ、もし Sj が存在するなら、ストリーム Sl をスト
リーム Sj と置き換え、このステップで構築されるべき
パケット内のデータのバイト数をP から P' = Ej [tc + (P + H)/R] - Aj (tc ) に減じること。 （７）もし S* がこれらの操作の終わりで選択された基
本ストリームならば、 S* のデータを用いてサイズ P*
+ H のパケットを構築し、次式 A* [tc + (P* + H)/R] = A* (tc ) + P* により次のステップ（時間 tc + (P* + H)/R）にて考え
られる到着の傾向を更新すること。時間t = 0 で、各ｉ
に対して初期化の目的で Ai (0) が０に設定される。本
方法は図７のフローチャートにおいても示される。この
フローチャートは、基本ストリーム Sj の存在の更なる
チェックが為されるという最も複雑な場合を考慮したも
のである。フローチャートにおいて、実際の機械による
本方法の実行に関わる理由から、初期最大値MAX ＿VAL
がリラックスに対して設定され、最大持続時間MAX ＿DT
が多重化プロセスに対して設定されている。更に、簡単
のため、パラメータ tp が前の多重化時間を示すために
導入されている。フローチャートの更なる説明は必要な
いであろう。ここに記載されたことは、非制限的な例に
より与えられていることは明らかである。変形や変更が
発明の範囲を逸脱することなく可能である。
【図面の簡単な説明】
【図１】符号化された音声映像信号を送信及び受信する
ためのシステムの概略図である。
【図２】復号器の入力バッファー内のデータ量のタイム
図である。
【図３】将来のアンダーフロー状態を示すタイム図であ
る。
【図４】「リラックス(relax) 」量が示されているタイ
ム図である。
【図５】「リラックス(relax) 」量がより良く定められ
ているタイム図である。
【図６】アンダーフロー状態の特別な場合が示されてい
るタイム図である。
【図７Ａ】本発明の方法のフローチャートである。
【図７Ｂ】本発明の方法のフローチャートである。
【符号の説明】
ＣＤ１．．．ＣＤＭ 符号器 ＢＭ１．．．ＢＭＮ マルチプレクシング・バッファー ＭＸ マルチプレクサー ＩＩＳ ブロック ＬＣ 制御論理装置 ＥＩＳ ブロック ＤＭ デマルチプレクサー ＢＤ１．．．ＢＤＮ デマルチプレクシング・バッファ
ー ＤＣ１．．．ＤＣＮ 復号器 ＢＰ１．．．ＢＰＮ 表現バッファー
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジヤムパオロ・ミキエレツト イタリー国ロベナゴ（ヴエーエー) 300300、ヴイア・ドニツエツチ 10／４ (56)参考文献 特開 平６−253277（ＪＰ，Ａ) 特開 平６−205393（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/00 - 7/088 H03M 3/00 - 11/00 H04N 7/24 - 7/68 H04J 3/00 - 3/26 H04L 5/22 - 5/26

Claims (11)

    (57)【特許請求の範囲】
  1. 【請求項１】 マルチメディア信号列に関連した情報を
    表すデジタル符号化されたデータから成るＮ個の基本ス
    トリームを多重化して多重化ストリームを構築する方法
    であって、 前記多重化ストリームは、パケットから構成され、各パ
    ケットは、基本ストリームからのデータを含み、また、
    前記多重化ストリームは、Ｎ個の復号器(DC1,...,DCN)
    を駆動できる遠隔のデマルチプレクサー(DM)にビットレ
    ートＲにて伝送され、各復号器は、基本ストリームのう
    ちの１つに割り当てられ且つ夫々のデマルチプレクシン
    グ・バッファー(BD1,...,BDN) の下流に接続され、パケ
    ットのデータが、デマルチプレクシング・バッファーに
    逐次書き込まれ、サイズ Di h の符号化されたデータ
    （以下「アクセス単位」という）から成るブロックが、
    デマルチプレクシング・バッファーから復号化時間 ti
    h に同時に抽出される、上記方法において、 多重化される各々の基本ストリーム Si に対して、 （ａ）現時点 tc においてデマルチプレクシング・バッ
    ファー(BDi) に既に到着したデータ量 Ai (tc ）とデマ
    ルチプレクシング・バッファー(BDi) から既に抽出され
    たデータ量 Ei (tc ）を算出する操作であって、ここ
    で、 Ei (tc ) = ΣDi h （h は ti h ＜ tc を満た
    す）である前記操作、 （ｂ）前記現時点 tc におけるデマルチプレクシング・
    バッファー(BDi) 内のデータ量BFi (tc ) を、現時点 t
    c までに到着したデータと抽出されたデータの差BFi (t
    c ) = Ai (tc ) - Ei (tc ）として算出する操作、 （ｃ）前記現時点 tc においてまだ復号化されていない
    次のＫ個のアクセス単位に対して、バッファーの占有レ
    ベルに関連したパラメータ Xi （以下「リラックス」と
    いう）を算出する操作であって、該リラックス Xi は、
    バッファー(BDi)が前記アクセス単位の一つの抽出に際
    してアンダーフロー状態の発生を避けるためにデータを
    受け取らなければならない緊急性を表し、基本ストリー
    ム Si に対するリラックスは次式 Xi = min ｛(ti k - tc ) - [Ei (ti k ) - Ai (tc )]/R｝ により求められ、ここで、 minは括弧内の量の最小を示し、 ti k (1≦k ≦K)は次のk 番目のアクセス単位の抽出時
    間であり、 Ei (ti k ) は、 Ei (tc ) + Σ Di m (1≦m ≦k)によ
    り与えられる、上記操作、 を行い、 （ｄ）最小リラックスを有する基本ストリーム Sl を識
    別する操作、 （ｅ）最小リラックスを有する前記基本ストリーム Sl
    の所定のＰバイトのデータを含んだパケットを構築する
    操作、 を行うことを特徴とする上記方法。
  2. 【請求項２】 最小リラックスを有するストリーム Sl
    の識別後、リラックスが最小値より大きい他の基本スト
    リーム Sj に対して、前記現時点 tc で始まり且つ Pバ
    イトのデータと Hバイトのヘッダーを含んだパケットを
    ビットレートR で伝送するのに要求される時間に等しい
    持続時間(T) を有する時間インターバルの間に、バッフ
    ァーにアンダーフロー状態が発生するか否かを調査し、 もし前記調査の結果が否ならば、最小リラックスを有す
    る基本ストリーム Slの前記所定の Pバイトのデータを
    含む前記パケットを構築するのに対し、もし前記調査が
    肯定的結果を与えるならば、前記他の基本ストリーム S
    j の減じられたP'バイトのデータを含むパケットを構築
    することを特徴とする請求項１に記載の方法。
  3. 【請求項３】 前記減じられた数P'は、サイズP' + Hの
    パケットをビットレートR で伝送するのに要求される時
    間T'が最小リラックスより小さくなるような数とするこ
    とを特徴とする請求項２に記載の方法。
  4. 【請求項４】 前記減じられた数P'が、 P' = Ej [tc + (P + H)/R] - Aj (tc ) であることを特徴とする請求項３に記載の方法。
  5. 【請求項５】 基本ストリームのデータを含んだパケッ
    トをデマルチプレクシング・バッファーに書き込んでも
    該バッファーがオーバーフローしないときのみ、基本ス
    トリームに対するリラックスの算出を行うことを特徴と
    する請求項１乃至４のいずれか一つに記載の方法。
  6. 【請求項６】 もし全てのデマルチプレクシング・バッ
    ファーに対してバッファーのオーバーフロー状態が発生
    するなら、情報内容の無い埋込みパケットを構築して多
    重化ストリームに挿入することを特徴とする請求項５に
    記載の方法。
  7. 【請求項７】 時間 tc におけるパケット構築後、時間
    tc + (P* + H)/Rで前記算出を繰り返し、 P* は、パケ
    ット自身が最小リラックスを有するストリーム Sl のデ
    ータ又は前記他のストリーム Sj のデータを有して構築
    されているか否かに依存して、値P 又はP'を有すること
    を特徴とする請求項２乃至６に記載の方法。
  8. 【請求項８】 各i に対して、初期化の目的のために、
    時間t = 0 で Ai (0) が０に設定されることを特徴とす
    る請求項１乃至７に記載の方法。
  9. 【請求項９】 現時点 tc までまだ復号化されてない次
    のアクセス単位の前記数K が３であることを特徴とする
    請求項１乃至８に記載の方法。
  10. 【請求項１０】 パケット内のデータの前記所定のバイ
    ト数P が約２０４８であることを特徴とする請求項１乃
    至９に記載の方法。
  11. 【請求項１１】 前記ストリームがISO/IEC 11172 規格
    （MPEG1 規格）により符号化されることを特徴とする請
    求項１乃至１０に記載の方法。
JP07276410A 1994-09-29 1995-09-29 Ｍｐｅｇ１規格により符号化された音声映像信号ストリームの多重化方法 Expired - Fee Related JP3103301B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IT94TO000758A IT1266945B1 (it) 1994-09-29 1994-09-29 Procedimento di multiplazione per flussi di segnali audiovisivi codificati secondo lo standard mpeg1.
IT94A000758 1994-09-29

Publications (2)

Publication Number Publication Date
JPH08256329A JPH08256329A (ja) 1996-10-01
JP3103301B2 true JP3103301B2 (ja) 2000-10-30

Family

ID=11412791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07276410A Expired - Fee Related JP3103301B2 (ja) 1994-09-29 1995-09-29 Ｍｐｅｇ１規格により符号化された音声映像信号ストリームの多重化方法

Country Status (6)

Country Link
US (1) US5663962A (ja)
EP (1) EP0705042A3 (ja)
JP (1) JP3103301B2 (ja)
CA (1) CA2159255C (ja)
DE (1) DE705042T1 (ja)
IT (1) IT1266945B1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR9606534A (pt) * 1995-07-21 1999-09-21 Philips Electronics Nv Processos de transmissão de um sinal de televisão comprimido e para receber um sinal de televisão comprimido a partir de um transmissor, transmissor para a transmissão de um sinal de televisão comprimido, e, receptor para receber um sinal de televisão comprimido.
EP0763915B1 (en) * 1995-09-18 2006-03-08 Kabushiki Kaisha Toshiba Packet transfer device and method adaptive to a large number of input ports
ES2155498T3 (es) * 1995-10-06 2001-05-16 Cit Alcatel Metodo y aparato para dar forma y multiplexar trafico a rafagas.
US5862140A (en) * 1995-11-21 1999-01-19 Imedia Corporation Method and apparatus for multiplexing video programs for improved channel utilization
US5956088A (en) * 1995-11-21 1999-09-21 Imedia Corporation Method and apparatus for modifying encoded digital video for improved channel utilization
US6055271A (en) * 1996-01-18 2000-04-25 Sony Corporation Signal encoding method and apparatus and signal transmission method and apparatus involving the use of a number of pseudo access units
FI960382A (fi) * 1996-01-26 1997-07-27 Nokia Telecommunications Oy Menetelmä pakettimuotoisen yhteyden toteuttamiseksi
US6023478A (en) * 1996-03-29 2000-02-08 Hewlett-Packard Method and apparatus for communicating data byte streams
FR2749468B1 (fr) * 1996-05-29 1998-08-14 Sgs Thomson Microelectronics Systeme de conversion de signaux de television numeriques avec insertion de menus interactifs
US5844478A (en) * 1996-05-31 1998-12-01 Thomson Consumer Electronics, Inc. Program specific information formation for digital data processing
US5931922A (en) * 1996-07-01 1999-08-03 Sun Microsystems, Inc. Media server system for preventing FIFO buffer underflow during multiple channel startup by waiting until buffer receives plurality of data blocks before enabling buffer to transmit received data
ES2281102T3 (es) * 1996-07-03 2007-09-16 Matsushita Electric Industrial Co., Ltd. Procedimiento de multiplexacion datos, multiplexor datos que utiliza el mismo, repetidor de datos multiples, procedimiento decodificacion datos multiples, dispositivo decodificacion datos multiples que utiliza el mismo, y medios de registro donde se registran los procedimientos.
US6215821B1 (en) * 1996-08-07 2001-04-10 Lucent Technologies, Inc. Communication system using an intersource coding technique
US5905732A (en) * 1996-08-27 1999-05-18 Zenith Electronics Corporation PCR restamper
US6124878A (en) * 1996-12-20 2000-09-26 Time Warner Cable, A Division Of Time Warner Enterainment Company, L.P. Optimum bandwidth utilization in a shared cable system data channel
WO1998043423A1 (fr) * 1997-03-25 1998-10-01 Sony Corporation Procede et dispositif generant un flux d'acheminement et dispositif de transmission de programme
US7284187B1 (en) * 1997-05-30 2007-10-16 Aol Llc, A Delaware Limited Liability Company Encapsulated document and format system
US6438146B1 (en) * 1998-04-13 2002-08-20 International Business Machines Corporation Multiplexed asynchronous serial communication systems methods and computer program products
WO1999060735A1 (en) * 1998-05-18 1999-11-25 Westinghouse Air Brake Company Serial data expansion unit
US6219730B1 (en) * 1998-06-20 2001-04-17 Nghi Nho Nguyen Method and apparatus for producing a combined data stream and recovering therefrom the respective user input stream and at least one additional input signal
US6169747B1 (en) * 1998-07-08 2001-01-02 Ess Technology, Inc. Variable code frame length for multistream applications
JP4427827B2 (ja) * 1998-07-15 2010-03-10 ソニー株式会社 データ処理方法、データ処理装置及び記録媒体
US6411623B1 (en) * 1998-12-29 2002-06-25 International Business Machines Corp. System and method of automated testing of a compressed digital broadcast video network
US6201843B1 (en) * 1999-02-25 2001-03-13 L-3 Communications, Inc. Rapid acquisition dispersive channel receiver integrated circuit
US6658620B1 (en) * 2000-01-11 2003-12-02 Northrop Grumman Corporation Burst and packet wireless transmission using product codes with iterative decoding
US7657913B2 (en) * 2000-06-14 2010-02-02 Sony Corporation Method and apparatus for correcting corrupted digital video transport streams
US6865151B1 (en) * 2000-06-28 2005-03-08 Nortel Networks Limited Methods and systems for optimizing data transmission in networks
US6996101B2 (en) 2000-11-29 2006-02-07 International Business Machines Corporation Re-mapping and interleaving transport packets of multiple transport streams for processing by a single transport demultiplexor
FR2823037B1 (fr) * 2001-03-27 2003-06-20 Thomson Csf Procede d'optimisation de la gestion de la bande passante d'un canal de transmission numerique
WO2002102049A2 (en) * 2001-06-11 2002-12-19 Broadcom Corporation System and method for multi-channel video and audio encoding on a single chip
FR2830158B1 (fr) * 2001-09-24 2004-09-10 Telediffusion De France Tdf Dispositif pour la transmission de plusieurs signaux numeriques sur un support de transmission unique
TW591611B (en) * 2002-03-01 2004-06-11 Mediatek Inc Method to control the integrated decoding unit to read the data in the merged memory device
US7266147B2 (en) 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
US8731378B2 (en) 2003-06-30 2014-05-20 Broadcom Corporation System, method, and apparatus for playing back a plurality of video elementary streams with one playback channel
EP1730899B1 (en) * 2004-01-30 2010-12-08 TELEFONAKTIEBOLAGET LM ERICSSON (publ) Packet scheduling for data stream transmission
US7620137B2 (en) * 2004-11-13 2009-11-17 Microsoft Corporation System and method for clock drift correction for broadcast audio/video streaming
US7839948B2 (en) * 2005-12-02 2010-11-23 Qualcomm Incorporated Time slicing techniques for variable data rate encoding
US20070189186A1 (en) * 2006-02-14 2007-08-16 Memorylink Corporation Multiplexing of DS1 traffic across wired and wireless Ethernet devices
US8315167B2 (en) * 2006-07-18 2012-11-20 Thomas Freeburg Multiplexing of DS1 traffic across wired and wireless Ethernet devices
DE102007031465A1 (de) * 2007-07-05 2009-01-08 Airbus Deutschland Gmbh System und Verfahren zum Übertragen von Audiodaten
US7895629B1 (en) * 2007-11-07 2011-02-22 At&T Mobility Ii Llc Video service buffer management in a mobile rate control enabled network
US9276989B2 (en) 2012-03-30 2016-03-01 Adobe Systems Incorporated Buffering in HTTP streaming client

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5159447A (en) * 1991-05-23 1992-10-27 At&T Bell Laboratories Buffer control for variable bit-rate channel
US5291486A (en) * 1991-08-19 1994-03-01 Sony Corporation Data multiplexing apparatus and multiplexed data demultiplexing apparatus
US5216503A (en) * 1991-12-24 1993-06-01 General Instrument Corporation Statistical multiplexer for a multichannel image compression system
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
US5534944A (en) * 1994-07-15 1996-07-09 Matsushita Electric Corporation Of America Method of splicing MPEG encoded video

Also Published As

Publication number Publication date
JPH08256329A (ja) 1996-10-01
US5663962A (en) 1997-09-02
DE705042T1 (de) 1999-06-10
ITTO940758A0 (it) 1994-09-29
IT1266945B1 (it) 1997-01-21
EP0705042A3 (en) 1998-12-23
ITTO940758A1 (it) 1996-03-29
CA2159255A1 (en) 1996-03-30
EP0705042A2 (en) 1996-04-03
CA2159255C (en) 1999-03-16

Similar Documents

Publication Publication Date Title
JP3103301B2 (ja) Ｍｐｅｇ１規格により符号化された音声映像信号ストリームの多重化方法
US6154496A (en) Video buffer for seamless splicing of MPEG streams
US5534944A (en) Method of splicing MPEG encoded video
EP0460751B1 (en) Method of transmitting audio and/or video signals
EP0692911B1 (en) Method of splicing MPEG encoded video
US7496675B2 (en) Data multiplexer, data multiplexing method, and recording medium
EP0944249B1 (en) Encoded stream splicing device and method, and an encoded stream generating device and method
JP4232209B2 (ja) 圧縮画像データの編集装置及び圧縮画像データの編集方法
US5371535A (en) Multiplexing transmission apparatus for image signal and multiplexing system
JP4014241B2 (ja) 複数の部分に階層的に構造化されたディジタル信号の伝送の方法、符号器及び復号器
US5751694A (en) Methods and apparatus for synchronizing temporally related data streams
US20090190666A1 (en) Hypothetical reference decoder with low start-up delays for compressed image and video
EP1624703B1 (en) Image processing device, image processing method, information processing device, information processing method, information recording device, information recording method, information reproduction device, information reproduction method and program
JPH10224751A (ja) デジタルテレビデータストリームでのｖｂｉデータの通信
WO2012087718A2 (en) Method of processing a sequence of coded video frames
JP2001519992A (ja) 符号化ビデオシーケンスの切り替え方法及びこれに対応する装置
JP3040336B2 (ja) データエンコーダバッファの制御システムとその方法
US7333711B2 (en) Data distribution apparatus and method, and data distribution system
US20020023269A1 (en) Data distribution apparatus and method, and data distribution system
EP1615439A2 (en) Network receiving apparatus and network transmitting apparatus
JP2823806B2 (ja) 画像復号装置
JP2001127726A (ja) 信号処理装置及び方法並びに記録媒体
JP2002171529A (ja) 映像符号化装置及び方法、記録媒体、並びに復号化装置
JPH08191434A (ja) 動画／音声符号化データ多重化方法及び動画／音声符号化データ多重化装置
JP3169767B2 (ja) 蓄積画像データ再生制御方法およびこれを用いたマルチメディア情報蓄積交換システム

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees