JPH0898160A - データ多重化装置 - Google Patents

Abstract

(57)【要約】 【目的】 復号化バッファのオーバーフローまたはアン
ダーフローを生じることなく、転送レート調整用無効デ
ータ等を挿入することなく多重化でき、記録媒体を有効
に使用できる多重化装置を提供する。 【構成】 ＣＰＵ７４は各符号化ストリーム毎に予めＲ
ＯＭ７５に設定された仮想復号化バッファの空き記憶領
域がパックのデータ部分以上になったとき、パケット生
成器７６にパケット要求信号を出力する。このとき、仮
想復号化バッファに空き記憶領域があり、２種類以上の
符号化ストリームをパケット化することが可能ならば、
予め設定された優先度に従い、どの符号化ストリームか
らパケット化するかを決定し、その決定信号を含むパケ
ット要求信号をパケット生成器７６に送出する。パケッ
ト生成器７６により生成されたパケットは、パック生成
器７７に送られ、パック化されて出力バッファ７９を介
して多重化データ列が送出される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、時間的に同期した複数
個のデジタル音声情報のデータと画像情報のデータに各
種情報を付加して一つの時系列的データを形成するデー
タ多重化装置に関する。

【０００２】

【従来の技術】複数のデジタル音声及び画像データを１
系統で伝送するためには、予め所定のフォーマットに従
いデータを多重化してデータ列を作る必要がある。ま
た、受信側では、そのデータ列を再びそのフォーマット
に従い音声及び画像データに分離する（デマルチプレク
スする）必要がある。この多重化のフォーマット例とし
て、ＩＳＯ／ＩＥＣ ＤＩＳ １１１７２（ＭＰＥＧ−
１）パート１がある。ここで規定された多重化データ列
ＩＳＯ１１１７２ストリームは、パックとパケットから
構成されており、パックはパックヘッダと１個以上のパ
ケットから成り、パケットはパケットヘッダと複数のス
トリームから成る。この複数のストリームは音声や画像
の圧縮データまたは文字データであったりする。また、
この多重化データ列ＩＳＯ１１１７２ストリームを実際
の記録媒体に記録するためには、記録媒体（コンパクト
ディスク、ＤＡＴ等）に依存したフォーマットが必要と
なり、ＣＤ−１、ビデオＣＤ、ＣＤ−αとして既に規格
化されている。

【０００３】図４はこの種の従来例に係る多重化装置を
示す構成図である。この図４に示す多重化装置では、各
符号化ストリームを復号化するとき、転送レートが既知
（固定転送レート）であり、復号化バッファのデータ占
有量の推移が予め計算できるものとして、音声と画像の
パケットの比を定めており、それに従ってデータを多重
化するようになされている。図４に示す多重化装置は、
音声や画像のデータを符号化して符号化ストリームとし
て出力する符号化器１１〜１３と各符号化ストリーム毎
に対応する入力バッファ２１〜２３を有しており、入力
バッファ２１〜２３を介したデータは多重化制御器３０
により多重化されて多重化データ列として外部から与え
られる同期信号に基づいて受信側に伝送される。

【０００４】すなわち、多重化制御器３０では、前記入
力バッファ２１〜２３に所定の大きさの音声や画像デー
タが蓄えられると、パケット生成器３１によりパケット
を生成するようになされ、パックを構成する数の画像及
び音声のパケットが生成されたら、パック生成器３２に
より、付加データパケット生成器３３と無効データパケ
ット生成器３４で作られるパケットを結合して多重化デ
ータ列を生成し、該多重化データ列を出力バッファ３５
に送り、この出力バッファ３５に蓄えられた多重化デー
タ列は同期信号に従い受信側に伝送される。

【０００５】図５はこのようにして得られる多重化デー
タ列の一例を模式的に示す図である。すなわち、図５に
示す多重化データ列としては、パックヘッダを先頭と
し、順次、システムヘッダ、付加データパケット、音声
パケット、無効データパケット、音声パケット、無効デ
ータパケット、及び画像パケットから成り、前記画像パ
ケットは、４つのパケットヘッダと画像ストリームから
成っている。

【０００６】次に、前記多重化装置側から伝送される多
重化データ列を受信するデマルチプレクサの構成を図６
に示す。多重化装置より伝送された多重化データ列は、
デマルチプレクスバッファ４１を介してデマルチプレク
ス制御器４２に入力され、ここで、各制御データ、付加
データ等を分離した後、各符号化ストリームに戻され、
各復号化バッファ５１〜５３に送られる。各復号化バッ
ファ５１〜５３からデータが復号化器６１〜６３の要求
に応じて送られる。

【０００７】ところで、上述のように、各符号化ストリ
ームはそれぞれの復号化器６１〜６３で復号化されて音
声や画像データとして出力されるが、このとき、符号化
データが可変長符号化を行っていれば、復号化バッファ
５１〜５３から復号化器６１〜６３に送られるデータ量
は復号化単位毎、例えば画像ならばピクチャー単位毎に
異なる。単位時間毎に一定となるように符号化されてい
れば、各復号化バッファ５１〜５３の変動はこの時間内
で吸収される。

【０００８】この復号化バッファ５１〜５３におけるデ
ータ量の変化の様子を図７に示す。例えば復号化バッフ
ァ５１により多重化データ列の音声パケットＰ１のデー
タを蓄え、復号化バッファ５２により音声パケットＰ２
のデータを蓄え、復号化バッファ５３により画像パケッ
トＰ３のデータを蓄えるとすると、各復号化バッファの
データ量は次のようになる。すなわち、例えば復号化バ
ッファ５１に、音声パケットＰ１の音声符号化ストリー
ムが入力されるとすると、初め復号化バッファ５１への
データ入力はなく、データは復号化器６１に送られるの
みで、復号化バッファ５１のデータ量は時刻ｔ１に至る
まで次第に減っていく。次に、多重化データ列内の音声
パケットＰ１が入力され、デマルチプレクスされた後、
復号化バッファ５１に入力されると、復号化バッファ５
１の入力のデータ量が出力のデータ量を上回るため、次
第に復号化バッファ５１内のデータ量は時刻ｔ２に至る
まで増えていく。その後は、音声パケットＰ１の入力が
なくなり、再び復号化バッファ５１のデータ量は減って
いく。この周期がパックの周期となっている。

【０００９】他の復号化バッファ５２と５３も同様で、
復号化バッファ５２のデータ量は時刻ｔ３に至るまで次
第に減少し、逆に、時刻ｔ３を経て時刻ｔ４に至るまで
は増え、その後、再び減少していく。また、復号化バッ
ファ５３のデータ量は時刻ｔ５に至るまで次第に減少
し、逆に時刻ｔ５を経過した後は増え、その後、再び減
少する。ここで、各符号化ストリームが固定転送レート
であれば、復号化バッファに蓄えられるデータ量の推移
が、図７のようにパック毎の繰り返しになり、復号化バ
ッファのオーバーフローまたはアンダーフローは生じな
い。

【００１０】

【発明が解決しようとする課題】従来の多重化装置は、
上述したように、符号化ストリームが固定転送レートで
あることを前提としているが、符号化ストリームが可変
転送レートの場合に以下の点が問題となる。ここでは、
音声符号化ストリームが固定レートであり、画像符号化
ストリームが可変転送レートの例で説明する。

【００１１】画像符号化ストリーム（例えば、ＩＳＯ／
ＩＥＣ ＤＩＳ １１１７２（ＭＰＥＧ−１）パート２
等）は可変長符号化を行っており、復号化単位毎（ピク
チャー単位）のデータ量が大幅に異なる。そのため、復
号化毎にバッファ内のデータ変動量が大きく、画像用復
号化バッファは固定長符号化ストリームと比較して大き
くする必要がある。また、画像符号化ストリームは、音
声符号化ストリームと比較して復号化から再生までの時
間差が大きいことと、音声用の復号化バッファを小さく
する目的のため、復号化を開始する前に画像用復号化バ
ッファに画像符号化ストリームを音声符号化ストリーム
より先に蓄える必要があった。

【００１２】その際の音声用復号化バッファ及び画像用
復号化バッファのデータ量と復号化の開始タイミングを
図８に示す。初めに、画像符号ストリームを画像用復号
化バッファに所定の量になるまで蓄え復号化を開始しな
い。そのため、画像用復号化バッファのデータ量は時刻
Ｔ１に至るまでは次第に増えていく。音声符号化ストリ
ームは、画像信号が再生されるまで復号化を開始しない
ので、所定の量を音声復号化バッファに蓄えて復号化開
始を待っている。

【００１３】次に、画像符号化ストリームの復号化が時
刻Ｔ１で開始され、再生時刻になる時刻Ｔ２に音声符号
化ストリームの復号化を開始し、画像と同期して音声が
再生できるようにする。従って、音声符号化ストリーム
は、図８に示すように、所定の量が音声用復号化バッフ
ァに蓄えられたら多重化を停止し、画像符号化ストリー
ムの再生が開始されるのを待つことになる。そのため、
多重化ストリームが図５に示す単一フォーマットで構成
されている場合には、多重化データ列は、音声用復号化
バッファに所定のデータ量が蓄えられた後、画像符号化
ストリームの再生が開始されるまで音声パケットを無効
データパケットに置き換えなければならなかった。

【００１４】また、図５に示す従来の多重化データ列の
フォーマットでは、記録媒体が例えばビデオＣＤ等の場
合に、各符号化ストリームをデマルチプレックスしやす
いように記録媒体の管理単位をセクタ単位にしているた
め、音声、画像、その他のデータのパケットの大きさが
決まっているため、符号化レートの関係から転送レート
調整用無効データを挿入する必要があった。最後に、画
像の転送レートが変化する場合、音声データ、画像デー
タのフォーマットを予め固定化することは困難であっ
た。

【００１５】本発明は上記課題を解決するためになされ
たもので、デジタル化された動画像と音声の信号を同一
記録媒体に同時に記録するために多重化する際、復号化
バッファのオーバーフローまたはアンダーフローを生じ
ることなく、また、転送レート調整用無効データ等を挿
入することなく多重化でき、記録媒体を有効に使用でき
る多重化装置を得ることを目的とする。

【００１６】

【課題を解決するための手段】前記目的を達成するため
に、本発明に係る多重化装置は、入力されるデジタル音
声や動画像を符号化して符号化ストリームとして出力す
る複数の符号化器を備え、その複数の符号化ストリーム
を同期再生できるように多重化するデータ多重化装置に
おいて、前記各符号化ストリーム毎に仮想復号化バッフ
ァシミュレーションしてそのバッファ内のデータ占有量
に基づいて多重化要求信号を出力する制御手段と、前記
多重化要求信号に基づいて各符号化ストリームを多重化
する多重化手段とを備えたことを特徴とするものであ
る。

【００１７】また、前記各符号化ストリームに優先度を
設定する手段を設け、前記制御手段は、優先度に従い多
重化すべき多重化要求信号を出力するとともに、前記多
重化手段は、優先度に従って各符号化ストリームを多重
化するよう構成することができる。

【００１８】

【作用】本発明においては、仮想復号化バッファの占有
量の大小に基づいて各符号化ストリームを多重化するこ
とで、復号化バッファの変動量が少なくなり、復号化バ
ッファのオーバーフローまたはアンダーフローがなくな
る。また、パックの構成を予め規定していないため、転
送レート調整用無効データ等でパックを生成する必要が
なく、このため、記録媒体のデータ範囲の有効使用が可
能になる。

【００１９】また、予め設定した優先度に従い符号化ス
トリームを多重化するため、優先度の設定によってデー
タ列の並べ変えが可能になる。

【００２０】

【実施例】以下、本発明の実施例では、２つの音声符号
化ストリームと、１つの画像符号化ストリームを多重化
し、デジタルディスク（コンパクトディスクＣＤ、ハー
ドディスクドライブＨＤＤ等）に多重化データ列を記録
する場合に、１パックが１パケットで構成されている例
について説明する。また、この実施例で用いるフレーム
とは、画像信号でいう一般的な一枚の画像ではなく、復
号化するデータ単位である。

【００２１】図１は本発明の一実施例に係る多重化装置
を示す構成図である。図１において、符号化器１１〜１
３で符号化された複数の音声及び画像符号化ストリーム
は初めに各入力バッファ２１〜２３に読み込まれる。時
刻情報生成器７１は入力バッファ２１〜２３内の各符号
化ストリームのフレームの先頭位置情報に対応する復号
化時刻をフレームタイマ７２から読み出し、復号化時
刻、入力バッファ内アドレスを計算して、フレーム番号
毎にフレームポインタレジスタ７３に記録する。

【００２２】図２はフレームポインタレジスタ７３内に
記録される内容を示す説明図である。フレームタイマ７
２では、各符号化ストリームに応じて、基準クロックに
基づいて時刻情報生成器７１にデータを送る。基準クロ
ックが９００００Ｈｚならば、１画像フレームのクロッ
クの値は、ＮＴＳＣ信号では、３０×１０００／１００
１秒であるから、 ９００００／（３０×１０００／１００１）＝３００３ となり、クロック毎の値を時刻情報生成器７１に送るこ
とになる。

【００２３】時刻情報生成器７１は入力バッファ２１〜
２３内の各符号化ストリームのフレームの先頭位置情報
に対応する復号化時刻をフレームタイマ７２から読み出
し、復号化時刻と入力バッファ内アドレスを計算して、
フレーム番号毎にフレームポインタレジスタ７３に記録
する。このようにして、フレームポインタレジスタ７３
には、例えばフレーム番号１００の復号化時刻として３
００３、入力バッファ内アドレスとして１２０が格納さ
れる。

【００２４】また、ＣＰＵ（中央演算処理装置）７４で
は、ＲＯＭ（リードオンリーメモリ）７５内のプログラ
ムに従い、各符号化ストリーム毎に仮想復号化バッファ
をシミュレーションして、そのバッファ内のデータの占
有量に基づいてパケットを生成すべく制御する。すなわ
ち、ＣＰＵ７４では、各符号化ストリーム毎に予めＲＯ
Ｍ７５に設定された仮想復号化バッファの容量のうち、
空き記憶領域がパックのデータ、つまりパック内でヘッ
ダ情報を除いた部分である符号化ストリームのデータ部
分以上になったとき、パケット生成器７６にパケット要
求信号を出力することにより、パケット生成器７６によ
ってパケットを生成すべく制御する。このとき、ＣＰＵ
７４は、仮想復号化バッファに空き記憶領域があり、２
種類以上の符号化ストリームをパケット化することが可
能ならば、予め設定されている優先度に従い、どの符号
化ストリームからパケット化するかを決定し、この決定
信号を含むパケット要求信号をパケット生成器７６に送
出する。

【００２５】図３はＲＯＭ７５内のプログラムに従い動
作するＣＰＵ７４の制御動作の具体的内容を示すフロー
チャートで、予め設定されている優先度に従い各符号化
ストリーム毎にこの手順通りに動作させる。すなわち、
基準クロックから割り込み信号が供給されると、基準ク
ロックから作られる仮想システムクロックとフレームポ
インタレジスタ７３内の復号化時刻が同じかどうかを調
べ（ステップＳ３１、Ｓ３２）、ＹＥＳならば、仮想復
号化バッファから１フレームデータを取り除く（ステッ
プＳ３３）。

【００２６】ステップＳ３２の判断がＮＯであり、ま
た、ステップＳ３３を経た後は、ステップＳ３４に移行
して仮想復号化バッファの空き記憶領域を算出し、パケ
ットが生成できるかどうかを調べる（ステップＳ３４、
Ｓ３５）。ＹＥＳならば、パケット要求信号をパケット
生成器７６に出力し（ステップＳ３６）、ＮＯならば、
次の基準クロックを待つ。なお、前述したステップＳ３
２でフレームポインタレジスタ７３内の復号化時刻とク
ロックが一致したならば、次のフレームデータの入力バ
ッファアドレスにポインタを移動する。

【００２７】パケット生成器７６は、前記ＣＰＵ７４か
らのパケット要求信号を受け取ると、パケットを生成
し、生成されたパケットはパック生成器７７に送られ、
パック生成器７７はパック化して出力バッファ７９を介
して多重化データ列を送出する。また、付加データを多
重化する場合は、基準クロックに従い付加データパケッ
ト生成器７８からパケットがパック生成器７７に送られ
るので、パック生成器７７は、付加データをも多重化し
てパック化した多重化データ列を出力バッファ７９を介
して送出する。

【００２８】従って、この実施例によれば、デジタル化
された動画像及び音声信号を同一記録媒体に多重化して
記録するときに、仮想復号化バッファの状態を常に監視
し符号化ストリームを多重化するため、復号化バッファ
がオーバーフロー又はアンダーフローしない。また、符
号化ストリームの転送レートが不定であって、予め符号
化ストリーム毎にパケット及びパックの大きさを設定で
きなくても、復号化バッファ量に応じて多重化するため
問題は生じない。さらに、符号化ストリームの転送レー
トが一定であっても、予め符号化ストリーム毎にパケッ
ト及びパックの大きさを設定する必要がなく、復号化器
は同じものが使用でき汎用化することができる。

【００２９】なお、上記実施例において、多重化データ
列の生成は、もちろん符号化ストリームがＮ（Ｎは整
数）個でもよいし、パックを形成するパケットがＮ個で
も可能である。また、ＩＳＯ／ＩＥＣ ＤＩＳ １１１
７２（ＭＰＥＧ−１）パート１の多重化データ列以外で
も、パケットの構成するヘッダに各情報の種別情報（音
声、画像、文字等）と各情報毎に時刻情報を少なくとも
含んでいれば、この装置により多重化データ列を生成す
ることが可能である。

【００３０】

【発明の効果】以上詳述したように、本発明によれば、
仮想復号化バッファの占有量の大小に基づいて各符号化
ストリームを多重化することで、復号化バッファの変動
量が少なくなり、復号化バッファのオーバーフローまた
はアンダーフローがなくなる。また、パックの構成を予
め規定していないため、転送レート調整用無効データ等
でパックを生成する必要がなく、つまり転送レート調整
用無効データ等を多重化時に挿入することが必要なく、
このため、記録媒体のデータ範囲を有効に使用できる。

【００３１】また、予め設定した優先度に従い符号化ス
トリームを多重化するため、優先度の設定によって多重
化データ列のデータの並べ変えができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る多重化装置を示すブロ
ック図である。

【図２】図１のフレームポインタレジスタ内に記録され
る内容を示す説明図である。

【図３】図１のＣＰＵの制御動作を示すフローチャート
である。

【図４】従来の多重化装置の一例を示すブロック図であ
る。

【図５】従来の多重化データ列の一例を示すフォーマッ
ト図である。

【図６】従来のデマルチプレクサを示すブロック図であ
る。

【図７】図６の復号化バッファのデータ量の推移を示す
説明図である。

【図８】図６における復号化の開始時刻と復号化バッフ
ァのデータ量の関係を示す説明図である。

【符号の説明】

１１〜１３ 符号化器 ２１〜２３ 入力バッファ ７１ 時刻情報生成器 ７２ フレームタイマ ７３ フレームポインタレジスタ ７４ ＣＰＵ（制御手段として動作するとともに、ＲＯ
Ｍ７５と共に優先度を設定する手段を構成する） ７５ ＲＯＭ ７６ パケット生成器（パック生成器、付加データパケ
ット生成器と共に多重化手段を構成する） ７７ パック生成器 ７８ 付加データパケット生成器 ７９ 出力バッファ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 入力されるデジタル音声や動画像を符号
   化して符号化ストリームとして出力する複数の符号化器
   を備え、その複数の符号化ストリームを同期再生できる
   ように多重化するデータ多重化装置において、前記各符
   号化ストリーム毎に仮想復号化バッファをシミュレーシ
   ョンして、そのバッファ内のデータ占有量に基づいて多
   重化要求信号を出力する制御手段と、前記多重化要求信
   号に基づいて各符号化ストリームを多重化する多重化手
   段とを備えたことを特徴とするデータ多重化装置。
2. 【請求項２】 前記各符号化ストリームに優先度を設定
   する手段を更に設け、前記制御手段は、前記優先度に従
   い多重化すべき多重化要求信号を出力するとともに、前
   記多重化手段は、前記優先度に従って各符号化ストリー
   ムを多重化するよう構成されていることを特徴とする請
   求項１記載のデータ多重化装置。