JP4074019B2 - 多重化装置 - Google Patents
多重化装置 Download PDFInfo
- Publication number
- JP4074019B2 JP4074019B2 JP00432999A JP432999A JP4074019B2 JP 4074019 B2 JP4074019 B2 JP 4074019B2 JP 00432999 A JP00432999 A JP 00432999A JP 432999 A JP432999 A JP 432999A JP 4074019 B2 JP4074019 B2 JP 4074019B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- multiplexing
- buffer
- time
- delay time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Communication Control (AREA)
- Television Systems (AREA)
- Time-Division Multiplex Systems (AREA)
Description
【発明の属する技術分野】
この発明は、例えばディジタル化されたビデオデータ、オーディオデータ、および汎用データなどのマルチメディアデータを多重化する多重化装置に関するものである。
【0002】
【従来の技術】
従来、多重化装置として、例えば特開平9−116520号公報に示すものがある。
図10は特開平9−116520号公報に示された従来の多重化装置を示す構成図である。
図10において、10a〜10nはビデオ、オーディオなどの各種メディア情報20a〜20nの符号化を行うn個の符号化部、11a〜11nはこの符号化部10a〜10nから出力される符号化データ21a〜21nを蓄積するn個の多重化バッファ手段としての多重化バッファ、12はこの多重化バッファ11a〜11nに蓄積された符号化データ22a〜22nを多重し、多重化ストリームとして出力する多重手段としての多重部、13は上記各多重化バッファ11a〜11nにおける符号化データ21a〜21nのバッファ蓄積量23a〜23nの情報に基づき、上記多重部13により多重して出力する符号化データを上記複数の多重化バッファ11a〜11nに蓄積された符号化データから選択する多重制御手段としての多重制御部である。
【0003】
次に動作について説明する。
符号化部10a〜10nは、メディア情報20a〜20nの符号化を行い、符号化データ21a〜21nとして多重化バッファ11a〜11nに出力する。多重化制御部13は、各多重化バッファ11a〜11nのバッファ蓄積量23a〜23n情報により、多重化すべき符号化データを選択し、多重部12に通知する。多重部12は、その通知により、選択すべき多重化バッファ11より符号化データ22を取り出し、多重化ストリームとして出力する。
【0004】
また、符号化部10a〜10nは、それぞれ対応する多重化バッファ11a〜11nのバッファ蓄積量23a〜23nにより、符号化データ21a〜21nの情報発生量の制御を行う。
【0005】
図10に示す構成では、多重化バッファ11a〜11nのバッファ蓄積量23a〜23nが多いものから多重されるため、各多重化バッファがオーバーフローせず、また、符号化部10a〜10nで発生させた情報発生量に比例して多重化を行うことができる。さらに、多重化バッファ11a〜11nの残量により、符号化部10a〜10nの情報発生量を制御するため、各多重化バッファ11a〜11nがオーバーフローやアンダーフローせずに、多重化部12で多重化を行うことができる。
【0006】
【発明が解決しようとする課題】
しかしながら、上述した従来の多重化装置では、バッファ蓄積量により多重化するメディアを選択していたため、多重化されるまでに多重化バッファに蓄積されている時間(多重時の遅延時間)に関して考慮されていない。
例えば情報発生量が可変のメディアにおいて、一時的に情報発生量が少なくなった時、バッファ蓄積量が増えないため、なかなか多重化されるデータとして選択されず、そのデータの多重時の遅延時間は大きいものとなる。このように、多重時の遅延時間に制限がないため、極端に多重されるのが遅れるという問題点がある。
【0007】
また、バッファ蓄積量によって符号化部の情報発生量を制御するため、常にバッファはある程度満たされた状態となり、バッファからの読み出し量が少ない場合に、バッファ内に蓄積されたデータの遅延時間が増大するという問題点がある。
【0008】
この発明は上記のような問題点を解決するためになされたもので、メディア毎にバッファ内に蓄積される遅延時間を考慮して、多重化部の多重化制御及び符号化部の情報発生量の制御を行うことができる多重化装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
この発明に係る多重化装置は、複数の情報源からのデータを蓄積する複数の多重化バッファ手段と、これら多重化バッファ手段に蓄積されるデータを多重して出力する多重化手段と、上記多重化バッファに蓄積される各データの蓄積時間を測定する遅延測定手段と、データ毎に設定した最大遅延可能時間から上記遅延測定手段によって測定された各多重化バッファにおける遅延時間を引いた値の大小に基づくデータ優先度評価値により、上記多重化手段により多重するデータを選択する多重化制御手段とを備え、上記多重化制御手段で用いられるデータ優先度評価値は、データ毎の最大遅延可能時間から現在までのバッファにおける遅延時間を引いたものを変数xとおいた場合、Ax+Bで表され、Aは正数でレート制御が可能なほど大きく、Bはゼロもしくは正数でデータ廃棄が可能なほど値が大きくなるように設定し、データ優先度評価値が小さいデータより優先的に多重送出するものである。
また、上記遅延測定手段は、各データの符号化単位を認識し、最大遅延可能時間を超過したデータおよび、そのデータと同一の符号化単位のデータを多重化バッファ手段から廃棄することを特徴とするものである。
また、上記多重化制御手段は、各情報源のデータの多重化バッファ手段における遅延時間を基に、各情報源の情報発生量を制御することを特徴とするものである。
さらに、上記多重化制御手段は、複数の情報源を複数のグループに分割し、そのグループ内でn番目に優先度の高いデータのデータ優先度評価値を各グループ間で比較し、優先度の最も高いグループから、n個のデータを選択送出することを特徴とするものである。
【0027】
【発明の実施の形態】
実施の形態1.
図1はこの発明の実施の形態1に係る多重化装置を示す構成図である。
図1において、1aから1cはメディアデータ100a〜100cを蓄積する多重化バッファ手段、2a〜2cはこれら多重化バッファ手段1a〜1cに蓄積されているデータの遅延時間を測定する遅延測定手段、3は各遅延測定手段2a〜2cで検出した遅延時間を基に多重するメディアデータを選択する多重化制御手段、4は多重化制御手段3で選択したメディアデータの蓄積されている多重化バッファ手段1よりデータを読み出し、多重化データ101として出力する多重化手段である。なお、本実施の形態では3系統の入力しか記述していないが、複数系統の入力であればいくつでもよい。
【0028】
次に動作について説明する。
メディアデータ100a〜100cは、対応する多重化バッファ手段1a〜1cに蓄積され多重化されるのを待つ。
遅延測定手段2a〜2cは、各メディアデータ100a〜100cの多重化バッファ手段1a〜1cでの遅延時間を検出し多重化制御手段3に通知する。
【0029】
多重化制御手段3では、遅延測定手段2a〜2cで測定した遅延時間をもとに多重するメディアデータを選択し、多重化部4でそのメディアデータを多重化データとして送出する。
【0030】
多重化時には、複数のメディアデータを選択しながら多重送出するため、各メディアデータ毎に遅延が発生する。
その複数のメディアデータが多重化されたデータを受信する受信装置では、各メディア毎に復号を行う。その際、メディアデータ毎に受信装置で許容できる遅延時間が異なるため、多重化装置では、各メディア毎に多重化の際に発生する遅延時間に限度を設けて、必ず受信装置で許容できる遅延時間以内に各メディアデータを転送する必要がある。
【0031】
そのため、各メディアデータが多重化の際に許容される遅延時間(データ毎の最大遅延可能時間)から、現在までに多重化バッファ内でそのデータが留まっていた時間(現在までのバッファにおける遅延時間)を引いたものが、そのメディアデータの多重化までに残された時間となる。
この残された時間が小さいメディアデータほど優先的に多重する必要がある。
【0032】
多重化制御手段3では、このメディアデータ毎に残された時間を計算し、これを遅延時間変数xとおき、この遅延時間変数xを用いて多重化の際のメディアデータの選択を行う。遅延時間変数xは式(1)の通りである。
【0033】
遅延時間変数xは、各メディアデータの多重化処理での残された時間を示すため、メディアデータが多重化バッファ手段1に到着してから徐々に減っていき、この値が0になった時点でそのメディアデータは受信装置にとって不要となる。そのため、値が0となったメディアデータは多重化の必要はなくなり、多重化装置内で廃棄するのが適当である。
データを廃棄しないためにも、遅延時間変数が0に近いものから多重化データとして選択すべきである。
【0034】
以上のように、多重化制御手段3において、遅延時間変数の小さいメディアデータから多重化にすることによって、各メディアデータの最大遅延可能時間を超えないように多重化を行うことができるという効果がある。
【0035】
図2は、あるメディアデータの遅延時間変数の時間的経過を示した説明図である。
あるメディアデータが多重化バッファ手段1に到着した時点で、遅延時間変数はそのメディアの最大遅延可能時間を示す。
その後、時間経過と共に遅延時間変数は、経過した時間分だけ値が減じられ、最大遅延可能時間経過後に値は0となる。
【0036】
遅延時間変数をそのまま多重の優先順位の評価基準とすることで、一意に多重化の優先順位は決定する。しかしながら、遅延時間変数を用いた関数を評価基準にすることで、遅延時間だけでないメディア独特の優先順位付けも考慮することが可能となる。
【0037】
多重化制御手段3では、遅延時間変数xの関数をデータ優先度評価値f(x)とし、多重化の優先度をこのデータ優先度評価値f(x)により決定する。
データ優先度評価値f(x)を与える関数は、基本的に遅延時間変数xが0に近づくにつれデータ優先度評価値f(x)の値を小さくするものであり、多重化制御手段3は、データ優先度評価値f(x)が小さいものから優先的に多重を行うものとする。
【0038】
多重化制御部3は、データ優先度評価値f(x)の小さいものから多重していくことにより、最大遅延可能時間が迫ってきたメディアデータから多重される。これにより、各メディアデータの許容される遅延時間を使い切らないように、多重化が行われる。
【0039】
以上のように、遅延時間変数xを関数としたデータ優先度評価値f(x)を用いて多重制御を行うことにより、各メディアデータの許容遅延時間を超えないような多重化制御が行えるいう効果がある。
【0040】
また、多重化制御部3では、データ優先度評価値f(x)だけで多重するメディアデータを選択するのではなく、各メディアに依存した情報優先度評価値と併用することでさらに多彩な多重制御が行える。
ここで、情報優先度評価値とは、各メディア(情報源)に固有の多重のための優先度を付与したものである。
【0041】
例として、情報優先度評価値とデータ優先度評価値の2種類の評価値を使用した多重化制御について示す。
オーディオ、ビデオ、汎用データの3種類のメディアが存在し、汎用データのみ情報優先度評価値による優先度が低いとする。多重化制御部3は、まず、ビデオとオーディオのデータ優先度評価値により優先度の高いメディアデータを多重化データとして選択する。その後もビデオとオーディオでデータ優先度評価値により優先度の高いデータを多重化データとして選択し続け、ビデオ、オーディオとも選択できるデータが多重化バッファ手段の中に存在しない場合に、汎用データを多重化データとして選択する。
これにより、ビデオとオーディオは、常に優先されると共に遅延時間を考慮した多重が行える。
【0042】
また、逆に、汎用データのみ情報優先度評価値による優先後が高い場合には、まず、汎用データ用の多重化バッファ手段が空になるまで、汎用データが多重化データとして選択され、その後、ビデオとオーディオがデータ優先度評価値により遅延時間を考慮した多重化データの選択が行われる。
これにより、汎用データは常に優先的に多重化され、残った時間をビデオとオーディオで遅延時間を考慮しながら多重化が行われる。
【0043】
以上のように、情報優先度評価値及びデータ優先度評価値を併用することにより、メディアによる優先度と遅延時間による優先度の2つの優先度を考慮した多重化制御が行えるという効果がある。
【0044】
次に、データ優先度評価値の関数を決定するための手段を以下に示す。例として、遅延時間変数xの1次関数をデータ優先度評価値f(x)とした場合について式(2)に示す。
f(x)=Ax+B ・・・(2)
ここで、A,B:メディア別変数
【0045】
許容可能な遅延時間を越えたものは、その情報に利用価値がないものとして廃棄されるべきである。そのため、遅延時間変数xは負にはならない。
メディアデータの中に廃棄可能なものが存在する場合、それ以外のメディアデータの許容可能な遅延時間を超える前に、廃棄可能なメディアデータを廃棄し、それ以外のメディアデータを多重する割合を増やすことによって、それ以外のメディアデータを許容時間以内に多重化することが可能となる。
そこで、廃棄可能なメディアデータの優先度をある程度以上高くならないようにする。
【0046】
データ優先度評価値f(x)が式(2)で表される場合、廃棄可能なメディアの優先度をある程度以上高くしないためには、データ優先度評価値の値がある程度以上小さくならなければよい。
式(2)の変数Bに正数を設定することで、データ優先度評価値f(x)は常にB(>0)以上となり、そのメディアの優先度が最高(データ優先度評価値=0)となることはない。
【0047】
他のメディアデータのデータ優先度評価値f(x)が常にB以下の場合、つまり多重化のために許容されている遅延時間の残りが少ない場合、廃棄可能なメディアは送信されず廃棄される。一方、他のメディアデータの許容される遅延時間の残りが多いとき、データ優先度評価値はBを超えているため、廃棄可能なメディアは多重化され送信される。
つまり、式(2)の変数Bは、メディア別のデータ廃棄可能な度合いを表す係数、すなわちゼロもしくは正数で、0は廃棄不可を示し、値が大きくなるにつれて、データ廃棄の可能性が高くなる。
【0048】
以上のように、廃棄可能なデータの優先度を定められた値以上高くならないようにすることによって、他のデータの廃棄の可能性が減るような多重化制御、すなわちデータ優先度評価値が小さいデータより優先的に多重伝送が行えるという効果がある。
【0049】
ところで、従来例では、情報発生量を多重化バッファのバッファ蓄積量で行っている。蓄積量が多い場合には情報発生量を減らし、蓄積量が少ない場合には情報発生量を増やして、多重化データ全体の出力レートに個々のメディアデータの入力レートとの合計が一致するようにしている。
【0050】
レート制御を有効に行うためには、レート制御が行えるメディアに対して割り与えられる帯域(レート)を顕著に表すようなバッファ蓄積量の変動が必要である。そのために、レート制御が行えないメディアの優先度を高くして、優先的に多重させ、残った帯域(時間)でレート制御可能なメディアを多重すれば、レート制御可能なメディアに割り与えられるレートと現在の発生レートとの差分が顕著に多重化バッファ手段1の蓄積量に表れる。
【0051】
ただし、レート制御可能なメディアにも、最大遅延可能時間が設定されるため、その時間を超えることは避けなければならず、そのために遅延時間変数xが0に近づいた場合は優先度が最高(データ優先度評価値f(x)=0)となる必要がある。
【0052】
よって、情報源で発生するデータ量を制御可能なデータに対しては、通常優先度を低くし、遅延時間が大きくなる、つまり遅延時間変数xが0に近づくにつれて優先度が最高になるようにする。
【0053】
データ優先度評価値f(x)が式(2)で表される場合、レート制御可能なメディアに対しては、遅延時間変数xが0の時データ優先度評価値f(x)が0になり、かつ他のメディアより通常はデータ優先度評価値f(x)が大きくなる必要がある。
【0054】
式(2)の変数Aの値を大きくすることで、データ優先度評価値f(x)は他のメディアより比較的大きくなり、変数Bが0の場合は遅延時間変数xが0に近づくにつれてデータ優先度評価値f(x)も0に近づき最高の優先度になりうる。つまり、式(2)の変数Aは、メディア別の情報発生量の制御可能な、すなわちレート制御が可能な度合いを表す正数で、値が大きくなるにつれて、制御可能な情報量の範囲が広くなる。
【0055】
以上のように、情報源で発生するデータ量を制御可能なデータに対して、通常優先度を低くし、遅延時間変数xが0に近づくにつれて優先度が最高になるようにすることによって、レート制御をダイナミックに行えるという効果がある。
【0056】
また、遅延時間に制約(制限)のないメディアデータは、いつ多重してもよいため、優先度を最低にして、他のメディアで多重するデータがない場合に、この遅延時間に制約のないメディアデータを多重送信する。
そのため、最大遅延可能時間を考慮したデータ優先度評価値による優先度付けは行わず、情報優先度評価値を用いて、常に優先度を低くする。
【0057】
以上のように、遅延時間に制約のないメディアは、情報優先度評価値による優先度を最低にすることによって、他のメディアの多重すべきデータがない場合だけ選択多重されるため、他のメディアの送出に制限を加えずに多重化が行えるという効果がある。
【0058】
一般に、メディアデータは、ある符号化単位で符号化されている。受信装置では符号化データの一部が廃棄されると、その符号化単位全てが復号できなくなる場合がある。
そこで、多重化装置で、遅延時間超過等により廃棄されるメディアデータ、すなわち、最大遅延可能時間を超過したデータと同一の符号化単位であるメディアデータを同時に廃棄することにより、受信装置で復号不可能なデータを受信せずに済み、また、多重化装置では復号不可能なその同一の符号化単位のデータの伝送時間を他のメディアの伝送に使用できる。
【0059】
以上のように、廃棄するメディアデータと同一の符号化単位のメディアデータも同時に廃棄することによって、受信装置で不要なデータを受信せず、また、多重化装置ではその代わりに他のメディアデータを多重できるため、多重化装置出力の伝送容量を効率的に使用できるという効果がある。
【0060】
さらに、多重化されるのを待っているメディアデータとその同一符号化単位であるメディアデータ全てを送出するために必要な時間を、そのメディアに割り与えられる可能性のある最大レートとから算出し、その同一符号化単位のメディアデータ全てが各々最大遅延可能時間内に遅れそうもない場合、その同一符号化単位のメディアデータ全てを廃棄する。
【0061】
以上のように、同一符号化単位のメディアデータを全て最大遅延可能時間内に送信できない状況を認識し、最大遅延可能時間になる前に廃棄することによって、すなわち、各データの符号化単位をすべて送信するために必要な時間が遅延可能時間より大きい場合に、その符号化単位すべてを多重化バッファ手段から廃棄することによって、受信装置で不要なデータを受信せず、また、多重化装置ではその代わりに他のメディアデータを多重できるため、多重化装置出力の伝送容量を効率的に使用できるという効果がある。
【0062】
また、多重化バッファ手段1内のメディアデータの遅延時間を計測する手段として、符号化単位を検出し、符号化単位の先頭のデータが、多重化バッファ手段1に到着した時にその時刻を記憶し、同一符号化単位の最終データがバッファから出力される時刻までを、それらの同一符号化単位全体の共通の遅延時間として計算する。
このようにすることで、1符号化単位データで1つの時間管理をすればよいので、1バイトずつ時間管理をする必要がなく簡易な装置構成が実現できる。
【0063】
以上のように、遅延時間を測定する単位を符号化単位とすることにより、時間管理を行うデータ数が減り、簡易に遅延時間を測定できるという効果がある。
【0064】
次に、多重化バッファ手段1内のメディアデータの遅延時間を計測する別の手段を示す。
多重化バッファ手段は、1バイト毎に書き込み・読み出しが行えると共に、1バイトのデータに対して1ビットのデータの有無を示すフラグを具備する。
各情報源毎に最大情報発生レートのクロックで多重化バッファ手段1にメディアデータを書きこむ。しかし、必ずしも書きこむデータがあるわけではないため、実際受信したデータを書きこんだ時には上記データの有無を示すフラグを「有」にし、受信したデータがない場合にはこのフラグを「無」にする。
【0065】
多重化バッファ手段1よりデータを読み出す場合には、このフラグが「有」となっているデータのみを読み出す。これにより、有効なデータのみを読み出すことができる。
多重化バッファ手段1には、データを一定レートで書き込みを行っているため、書き込み後まだ読み出しが行われていない部分、つまりバッファ残量(フラグが「無」となっているデータも含む)を計測し、それを書き込みを行ったレート(最大情報発生レート)で除算することにより、先頭のデータの遅延時間を計測することができる。
【0066】
図3は、多重化バッファ手段1の構造の一例を示した説明図である。
多重化バッファの上部より読み込んだ受信データ(8bit)を入れると共に、1ビットのデータ有無のフラグを設定する。バッファの読み出しはバッファ下部より行い、データ有無フラグが「有」となっているデータのみ有効とする。
この時データの書き込みが行われているバッファ残量によって、最も古い(図では最下部に位置する)データの遅延時間が計算できる。
【0067】
以上のように、多重化バッファ手段1に1バイトのデータ書き込み領域に対して1ビットのデータ有無のフラグを具備し、常に各情報源の最大情報発生レートでデータの書き込みを行い、実際に受信データがある場合にのみフラグを「有」にすることによって、バッファ残量を書き込みレートで割ることによりデータの遅延時間を容易に計測できるという効果がある。
【0068】
多重化バッファ手段1内のメディアデータの遅延時間を計測する別の手段を示す。
多重化バッファ手段1には、1バイトのデータを書きこむ領域と、データの書き込みを行った時刻を書きこむ領域が存在する。多重化バッファ手段1は、情報源よりメディアデータを受信したら、1バイトずつ受信データをバッファに書き込みを行うと同時に、書き込みを行った時刻を一緒にバッファへ書き込む。
多重化バッファ手段1よりメディアデータが読み出される時は、読み出されるデータに付随する時刻情報と現在の時刻を比較することによって遅延時間が計算できる。
【0069】
図4は、多重化バッファ手段1の構造の例を示した説明図である。
多重化バッファの上部より読み込んだ受信データ(8bit)を入れると共に、現在の時刻(つまりデータの書き込み時刻)を書き込む。バッファの読み出しはバッファ下部よりデータ部分のみを読み出す。
この時、バッファからデータを読み出す際に、データの書き込みが行われた時刻を参照し、現在の時刻と比較することで、そのデータのバッファにおける遅延時間が算出できる。
【0070】
以上のように、多重化バッファ手段1に1バイトのデータ書き込み領域に対して、時刻情報を書き込む領域を具備することによって、データ読み出し時に時刻情報領域を参照し現在の時刻と比較することによってデータの遅延時間を容易に計測できるという効果がある。
【0071】
さらに、多重化バッファ手段1内のメディアデータの遅延時間を計測する別の手段を示す。
多重化バッファ手段1には、データを書き込む領域と、データN(Nは整数)バイト毎に時刻情報を書き込む領域が存在する。
多重化バッファ手段1は、情報源よりメディアデータを受信したら、1バイトずつ受信データをバッファに書き込みを行うと同時に、データをNバイト書き込む度に現在の時刻を時刻情報領域に書き込む。
多重化バッファ手段1よりメディアデータが読み出される時は、読み出されるデータからNバイト以内に存在する時刻情報と現在の時刻を比較することによって遅延時間が計算できる。
【0072】
図5は、多重化バッファ手段1の構造の別の例を示した説明図である。
多重化バッファの上部より読み込んだ受信データ(8bit)を入れる。データをNバイト書き込んだら、現在の時刻(つまりデータの書き込み時刻)を時刻情報領域に書き込む。バッファの読み出しはバッファ下部よりデータ部分のみを読み出す。
この時、バッファからデータを読み出す際に、読み出すデータのNバイト以内に存在する時刻情報を照し、現在の時刻と比較することで、そのデータのバッファにおける遅延時間が算出できる。
【0073】
以上のように、多重化バッファ手段1にN(Nは整数)バイトのデータ書き込み領域に対して、時刻情報を書き込む領域を具備することによって、データ読み出し時に時刻情報領域を参照し現在の時刻と比較することによってデータの遅延時間を容易に計測できるという効果がある。
【0074】
実施の形態2.
上述した実施の形態1では、多重するデータを選択するための手段についてのものであるが、次に情報源の情報発生量を制御する実施の形態を示す。
図6は、このような場合の多重化装置を示す構成図である。
図において、6は遅延測定手段2a〜2cにより通知されるデータの遅延時間を基に、多重するメディアデータを選択し多重化手段4に通知し、さらに同遅延時間を基に情報源(図示せず)に対して情報量制御データ200a〜200cを用いて情報発生量の制御を行う多重化制御手段である。図6において、図1と同一の参照番号は図1と同一または同等の要素であるので、詳細説明を省略する。
【0075】
次に動作について説明する。
メディアデータ100a〜100cは、対応する多重化バッファ手段1a〜1cに蓄積され多重化されるのを待つ。
遅延測定手段2a〜2cは、各メディアデータ100a〜100cの多重化バッファ手段1a〜1cでの遅延時間を検出し、遅延時間を多重化制御手段3に通知する。
【0076】
多重化制御手段3では、遅延測定手段6a〜6cで検出した遅延時間をもとに多重するメディアデータを選択し、さらにこの遅延時間を基に、情報源(図示せず)に対して情報量制御データ200a〜200cを用いて情報発生量を制御する。多重化部4では多重化制御手段6の選択したメディアデータを多重化データとして送出する。
【0077】
多重化制御手段6では、情報量制御データ200a〜200cを用いて、検出した遅延時間が大きい場合には情報発生量を少なくするように、遅延時間が小さい場合には情報発生量を多くするような情報を通知する。
これにより、多重化バッファ手段1で蓄積されているデータの遅延時間が小さい場合、情報発生量を増加することにより、データ遅延時間が増加し、多重化バッファ手段のアンダーフローを避けることができる。逆に多重化バッファ手段1で蓄積されているデータの遅延時間が大きい場合、情報発生量を減少することにより、データ遅延時間が減少し、多重化バッファ手段のオーバーフローを避けることができる。
【0078】
また、バッファ蓄積量が少なくてもバッファからの出力量が少ないと、バッファにおける遅延時間が増大してしまうが、バッファでの遅延時間を基に情報発生量を決定するためバッファでの遅延時間が大きくなることはなくなる。
【0079】
ここでの情報発生量の制御とは、純粋に情報源で発生させる情報量を制御する場合と、情報源における量子化ステップ等を制御する場合がある。前者は各メディア単位に情報発生量を所望の値に近づけるために、後者は各メディア間の量子化ステップサイズを共通にしさらに全体の情報発生量を制御するために利用できる。
【0080】
以上のように、情報源の情報発生量を各多重化バッファ手段1でのメディアデータの遅延時間によって制御するために、多重化バッファ手段のオーバーフローやアンダーフローおよびバッファ内での遅延時間の増大を防ぐことができるという効果がある。
【0081】
実施の形態3.
以上の実施の形態1、2では、1つの多重化装置について示したものであるが、ここでは多重化装置を多段接続する実施の形態を示す。
図7は、このような場合の多重化装置を示す構成図である。
図7において、7は伝送レートデータ201により出力レートを制御しながら、多重制御手段6で選択したメディアデータの蓄積されている多重化バッファ手段1よりデータを読み出し、多重化データ101として出力する多重化手段である。なお、図7において、図6と同一の参照番号は図6と同一または同等の要素であるので、詳細説明を省略する。
【0082】
次に動作について説明する。
メディアデータ100a〜100cは、対応する多重化バッファ手段1a〜1cに蓄積され多重化されるのを待つ。
遅延測定手段2a〜2cは、各メディアデータ100a〜100cの多重化バッファ手段1a〜1cでの遅延時間を検出し、遅延時間を多重化制御手段6に通知する。
【0083】
多重化制御手段6では、遅延測定手段2a〜2cで検出した遅延時間を基に多重するメディアデータを選択する。さらに、この遅延時間を基に、情報源(図示せず)に対して情報量制御データ200a〜200cを用いて情報発生量を制御する。多重化部7は、出力レートデータ201により出力レートを外部より制御されながら、多重化制御手段3で選択したメディアデータを多重化データとして送出する。
【0084】
多重化制御手段6では、情報量制御データ200a〜200cを用いて、検出した遅延時間が大きい場合には情報発生量を少なくするように、遅延時間が小さい場合には情報発生量を多くするような情報を通知する。
多重化手段7において、出力レートの制御とは、純粋に多重化手段で発生させる出力レートを制御する場合と、情報源における量子化ステップ等を制御する場合がある。前者は出力レートを所望の値に近づけるために、後者は各メディア間の量子化ステップサイズを共通にしさらに出力レートを制御するために利用できる。
【0085】
以上のように、出力レートを外部からの制御データにより制御できるようにしたため、多重化装置の出力データを受信する装置が必要とするだけのデータ量を受信することができるという効果がある。
【0086】
図8は、多重化装置の多段接続の例を示した説明図である。
図8において、9は、図7に示される多重化装置であり、複数段木構造状に多段接続されている。なお、図8において、図7と同一の参照番号は図7と同一または同等の要素であるので、詳細説明を省略する。
【0087】
次に動作について説明する。
メディアデータ100a〜100dは、情報量制御データ200a〜200dにより出力情報量を制御された状態で、多重化装置9a、9cに入力される。多重化装置9a、9cはそれぞれ出力レートデータ201a、201cにより出力レートを制御しながら、メディアデータ100a〜100dを多重して、多重化データ101a、101cを出力する。
【0088】
多重化装置9eでは、この多重化データ101a、101cを受信データ(メディアデータ)100e、100fとして扱い、さらにその情報量の制御を行う出力レートデータ201a、201cを情報量制御データ200eと扱うことで、多重化装置9eは多重化装置9a、9cの出力を多重する多重化装置となる。そしてこの多重化データ101eは出力レートデータ201eにより制御される。
【0089】
多重化装置9eで多重化を行う多重化データの出力情報量は、出力レートデータ201eにより制御される。この出力レートの制御により、受信データ100e、100fを受信するバッファが破綻しないように、情報量制御データ200e、200fを用いて入力レートの制限を行う。
【0090】
多重化装置9a、9cでは、情報量制御データ200e、200fを出力レートデータ201a、201cとみなし、多重化データ101a、101cの出力レートを制限する。またこの出力レートに応じて、メディアデータ100a〜100dの入力レートの制限も行う。
【0091】
このようにすることで、多段に接続された各多重化装置内の受信バッファが破綻することなく多重が行える。
例えば、ディジタル放送などで、ビデオ、オーディオ等を多重して1つの番組を作成し、さらにこれらの番組を複数多重して放送する場合などに、このような多段の多重を用いることができる。
【0092】
以上のように、多重化装置を木構造状に多段に接続しても、入出力のレート制御を適正に行うことができるようにしたので、多重化を複数回繰り返す場合でも多重化装置内のバッファの破綻をきたすことなく多重化を行うことができるという効果がある。
【0093】
実施の形態4.
以上の実施の形態1、2、3では、通信プロトコルにおける1つのレイヤの多重化機能の実現について示したものであるが、ここでは複数のレイヤにおける多重化を一度に行う実施の形態を示す。
このような場合の多重化装置を示す構成図は、図1、図6もしくは図7と同様である。
【0094】
次に動作について説明する。
多重化制御手段は、特定の情報源の中か多重化されるデータを選択する。この場合選択する方法については上記の通り。また、特定の情報源とは、外部から選択されたり、時々刻々と変化するようなものであってもよい。
【0095】
一般に、下位レイヤにおける多重化制御は、ある一定間隔で多重される対象を変更することがある。例えば時分割多重などでは、複数の多重対象をある時間間隔で切り替えて多重を行っている。
【0096】
図9は、このような複数レイヤの同時多重化を行う際の多重化のタイミングを示す説明図である。
図9では、このような時分割多重を用いて2つの番組の多重を行う下位レイヤの多重と、ビデオ、オーディオなどのメディア多重を行う上位レイヤの多重を同時に行う例を示す。
【0097】
2つの番組は、それぞれ複数のメディアからなる。ここでは、番組1はメディアa,b,c、番組2はメディアd,e,fからなるものとする。また下位レイヤの多重化の制約により、番組1と番組2はある一定間隔で交互に送信されるものとする。
【0098】
多重化制御手段は、多重化パターンが番組1を送信する時間であれば、メディアa、b、cの中から、データ優先度評価値などにより多重すべきメディアを選択する。同様に番組2を送信する時間であればメディアd,e,fの中から多重すべきメディアを選択する。
これにより、2つの番組を一定間隔で交互に送るような多重化機能を実現できる。
【0099】
以上のように、多重化制御手段で選択するメディアに制限をつけるようにしたため、時分割多重等の機能も実現でき、複数回の多重化を1度に行えるという効果がある。
【0100】
時分割多重の対象が固定的でない場合、つまり時分割多重の最小多重時間は一定であるが、選択される対象が不定の場合について説明する。
図9において、番組多重パターンは番組1と番組2が交互になっているが、この多重パターンを多重化装置で任意に変更できる場合、多重化装置は送りたい番組を選択して送る。
【0101】
番組にはそれぞれ3つのメディアが多重されており、これらのメディアの中(重複可能)で送信可能なデータのデータ優先度評価値を算出する。
3つのデータ単位に番組多重パターンを変更する場合、それぞれの番組に含まれるメディアグループの中で3番目に優先度の高いデータのデータ優先度評価値を検出する。
そして、番組1と2のそれぞれの3番目のデータ優先度評価値を比較し、優先度の高い方を次回の番組多重パターンに選択し、最小時分割多重時間(図では3)が終了するまでその番組内のメディア(重複可能)の中から優先度の高いデータを3つ選択する。
この動作は最小時分割多重時間単位毎に行われ、その都度どの番組を多重するかを選定する。
【0102】
以上のように、複数の情報源を複数のグループに分割し、そのグループ内でn番目に優先度の高いデータのデータ優先度評価値を各グループ間で比較し、優先度の最も高いグループから、n個のデータを選択送出することにより、グループの効率的な多重化を行うことができるという効果がある。
【0103】
【発明の効果】
以上のように、この発明に係る多重化装置よれば、メディア毎にバッファ内に蓄積される遅延時間を考慮して、多重化部の多重制御及び符号化部の情報発生量の制御を行うことができる。
【図面の簡単な説明】
【図1】 この発明の実施の形態1に係る多重化装置を示す構成図である。
【図2】 あるメディアデータの遅延時間変数の時間的経過を示した説明図である。
【図3】 多重化バッファ手段1の構造の一例を示した説明図である。
【図4】 多重化バッファ手段1の構造の他の例を示した説明図である。
【図5】 多重化バッファ手段1の構造のさらに他の例を示した説明図である。
【図6】 この発明の実施の形態2に係る多重化装置を示す構成図である。
【図7】 この発明の実施の形態3に係る多重化装置を示す構成図である。
【図8】 多重化装置の多段接続の例を示した説明図である。
【図9】 この発明の実施の形態4に係るもので、複数レイヤの同時多重化を行う際の多重化のタイミングを示す説明図である。
【図10】 特開平9−116520号公報に示された従来の多重化装置を示す構成図である。
【符号の説明】
1a,1b,1c 多重化バッファ装置、2a,2b,2c 遅延測定手段、3,6 多重化制御手段、4,7 多重化手段、9a,9c,9e 多重化装置。
Claims (4)
- 複数の情報源からのデータを蓄積する複数の多重化バッファ手段と、
これら多重化バッファ手段に蓄積されるデータを多重して出力する多重化手段と、
上記多重化バッファに蓄積される各データの蓄積時間を測定する遅延測定手段と、
データ毎に設定した最大遅延可能時間から上記遅延測定手段によって測定された各多重化バッファにおける遅延時間を引いた値の大小に基づくデータ優先度評価値により、上記多重化手段により多重するデータを選択する多重化制御手段と
を備え、
上記多重化制御手段で用いられるデータ優先度評価値は、データ毎の最大遅延可能時間から現在までのバッファにおける遅延時間を引いたものを変数xとおいた場合、Ax+Bで表され、Aは正数でレート制御が可能なほど大きく、Bはゼロもしくは正数でデータ廃棄が可能なほど値が大きくなるように設定し、データ優先度評価値が小さいデータより優先的に多重送出する多重化装置。 - 請求項1に記載の多重化装置において、上記遅延測定手段は、各データの符号化単位を認識し、最大遅延可能時間を超過したデータおよび、そのデータと同一の符号化単位のデータを多重化バッファ手段から廃棄することを特徴とする多重化装置。
- 請求項1または2に記載の多重化装置において、上記多重化制御手段は、各情報源のデータの多重化バッファ手段における遅延時間を基に、各情報源の情報発生量を制御することを特徴とする多重化装置。
- 請求項3に記載の多重化装置において、上記多重化制御手段は、複数の情報源を複数のグループに分割し、そのグループ内でn番目に優先度の高いデータのデータ優先度評価値を各グループ間で比較し、優先度の最も高いグループから、n個のデータを選択送出することを特徴とする多重化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00432999A JP4074019B2 (ja) | 1999-01-11 | 1999-01-11 | 多重化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00432999A JP4074019B2 (ja) | 1999-01-11 | 1999-01-11 | 多重化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000209177A JP2000209177A (ja) | 2000-07-28 |
JP4074019B2 true JP4074019B2 (ja) | 2008-04-09 |
Family
ID=11581418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP00432999A Expired - Lifetime JP4074019B2 (ja) | 1999-01-11 | 1999-01-11 | 多重化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4074019B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1547372B1 (en) | 2002-09-26 | 2013-03-13 | Koninklijke Philips Electronics N.V. | Apparatus for receiving a digital information signal |
US7924711B2 (en) | 2004-10-20 | 2011-04-12 | Qualcomm Incorporated | Method and apparatus to adaptively manage end-to-end voice over internet protocol (VolP) media latency |
WO2006077621A1 (ja) * | 2005-01-18 | 2006-07-27 | Mitsubishi Denki Kabushiki Kaisha | 多重化装置及び受信装置 |
JP5199219B2 (ja) * | 2009-11-17 | 2013-05-15 | 株式会社日立国際電気 | デジタル放送装置、デジタル放送方法、および、デジタル放送プログラム |
JP2011223269A (ja) * | 2010-04-08 | 2011-11-04 | Central Res Inst Of Electric Power Ind | 監視制御方法及び監視制御システム |
US11863500B2 (en) * | 2021-02-25 | 2024-01-02 | Sony Semiconductor Solutions Corporation | Communication apparatus, communications system, and communication method |
-
1999
- 1999-01-11 JP JP00432999A patent/JP4074019B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2000209177A (ja) | 2000-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2182296C (en) | Multimedia multiplexing device and method using dynamic packet segmentation | |
CA2255418C (en) | Ring interface and ring network bus flow control system | |
JP2648418B2 (ja) | 可変レート符号器を制御する方法 | |
US5991265A (en) | Asynchronous transfer mode system and method | |
US8310934B2 (en) | Method and device for controlling information channel flow | |
US6452901B1 (en) | Cell loss balance system and method for digital network | |
JP4994698B2 (ja) | 情報伝送装置及び情報伝送方法 | |
JP4074019B2 (ja) | 多重化装置 | |
JP4423301B2 (ja) | 多重化装置及び送受信装置 | |
AU2003211615B2 (en) | Data transmission method for a multi-user, multipoint-to-multipoint digital data transmission system | |
WO2012013226A1 (en) | Improved bitrate distribution | |
JP4164771B2 (ja) | ロードバランス型スイッチ装置、及びロードバランス型スイッチ方法 | |
JP2007208555A (ja) | 伝送装置および回線速度変更方法 | |
KR100463698B1 (ko) | 디지털 방송 신호 다중 송출 장치 | |
JP5481923B2 (ja) | 画像符号化装置、画像符号化方法および画像符号化プログラム | |
EP2557787B1 (en) | Encoding apparatus and the method | |
JP2005245015A (ja) | パケット転送装置 | |
CN116319590A (zh) | 一种队列控制的方法及装置 | |
JP5604919B2 (ja) | パケット転送装置およびパケット転送方法 | |
JP3911960B2 (ja) | 多重化システム | |
US6944160B1 (en) | Method and apparatus for multiplexing voice over ATM or IP data communication channels | |
JPH04157844A (ja) | Atm多重化装置のバッファ構成方式 | |
JP4448245B2 (ja) | データ伝送方法、及びデータ伝送システム | |
JP3785635B2 (ja) | 通信装置とその優先制御方法、及び優先制御プログラム | |
JP2004320084A (ja) | ストリームデータ送信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070925 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071025 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080124 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110201 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120201 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130201 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130201 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140201 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |